QQ在線
企業微信
資訊
425繼國際象棋、圍棋、游戲等領域之后，人工智能首次在深度閱讀理解超越人類。
2019年3月8日，中國人工智能“國家隊”云從科技和上海交通大學聯合宣布，在自然語言處理（NLP Neuro-Linguistic Programming）上取得重大突破，在大型深層閱讀理解任務數據集RACE數據集（ReAding Comprehension dataset collected from English Examinations）登頂第一，并成為世界首個超過人類排名的模型。
有評論認為，這會是機器深層理解人類語言的開端。
論文中，云從科技與上海交通大學基于原創DCMN算法，提出了一種全新的模型，使機器閱讀理解正確率提高了4.2個百分點，并在高中測試題部分首次超越人類（機器正確率69.8%、普通人類69.4%）。
這一研究成果，在應用領域搭配文字識別OCR/語音識別技術后，NLP將會幫助機器更好地理解人類文字/語言，并廣泛應用于服務領域：幫助企業判斷客戶風險、審計內部文檔合規、從語義層面查找相關信息；在社交軟件、推薦引擎軟件內輔助文字審閱工作，從枯燥的人工文字工作中解放人類。
突破語義理解瓶頸
此次云從科技和上海交通大學在自然語言處理（NLP）領域的深度閱讀理解上登頂RACE排行榜第一名。RACE是一個來源于中學考試題目的大規模閱讀理解數據集，包含了大約28000個文章以及近100000個問題。它的形式類似于英語考試中的閱讀理解（選擇題），給定一篇文章，通過閱讀并理解文章（Passage），針對提出的問題（Question）從四個選項中選擇正確的答案（Answers）。該題型的正確答案并不一定直接體現在文章中，只能從語義層面深入理解文章，通過分析文章中線索并基于上下文推理，選出正確答案。相對以往的抽取類閱讀理解，算法要求更高，被認為是“深度閱讀理解”。
RACE數據集的難點在于：由于正確答案并沒有直接使用文章中的話術來回答，不能直接從文中檢索得到答案。必須從語義層面深入理解文章，才能準確回答問題。
解決方案
怎么讓機器在龐大的題庫文章中（28000個）找到正確的答案？
云從科技與上海交通大學首創了一種P、Q、與A之間的匹配機制，稱為Dual Co-Matching Network（簡稱DCMN），并基于這種機制探索性的研究了P、Q、與A的各種組合下的匹配策略。
結果顯示，采用PQ_A的匹配策略，即先將P與Q連接，然后與A匹配，策略都得到了更優的結果。
再將模型（基于PQ_A策略）與其他已知的模型、以及純粹基于BERT自身的模型進行了比較，得到如下的結果：
從RACE leaderboard上結果比較可以得到以下結論：
·云從科技與上海交大的單體模型就已經超越榜單上所有的單體或Ensemble模型；
·云從科技與上海交大的Ensemble模型在高中題目（RACE-H）部分優于人類結果（Turkers）。
論文緣起
這篇論文的作者，來自中國人工智能“國家隊”云從科技與上海交通大學。
云從科技孵化于中國科學院，2017年3月，承擔國家“人工智能”基礎項目——“人工智能基礎資源公共服務平臺”建設任務。
2018年10月的國家“人工智能基礎資源與公共服務平臺”發布會上，云從科技創始人周曦提出了人工智能發展五個階段，核心技術閉環是五個階段的重要基礎。
從感知到認知決策的一系列技術組成了核心技術閉環：
1-感知技術：人臉識別、語音識別、文字識別OCR、體態識別、跨鏡追蹤（ReID）、車輛識別等
2-認知決策：自然語言處理（NLP）、腦科學、大數據分析（風控、精準營銷）等
目前，云從科技承擔了國家發改委與工信部的人工智能基礎平臺、人工智能應用平臺和人工智能的核心芯片平臺項目，包含智能感知技術和認知決策技術為核心的技術閉環，并刷新多項世界紀錄，保持自主核心技術國際領先。
在這個基礎上，云從科技正在致力整合算力、智力、數據等資源及其成果，打造人工智能開放平臺與生態，進一步促進人工智能在金融、安防、交通、零售、商業等重要行業的落地與深度融合。
附：論文解讀
1.DCMN匹配機制
以P與Q之間的匹配為例，說明DCMN的匹配機制。下圖為P與Q之間的DCMN匹配框架。
云從科技和上海交大使用目前NLP最新的研究成果BERT分別為P和Q中的每一個Token進行編碼?；贐ERT的編碼，可以得到的編碼是一個包含了P和Q中各自上下文信息的編碼，而不是一個固定的靜態編碼，如上圖中Hp與Hq；
其次，通過Attention的方式，實現P和Q的匹配。具體來講，是構建P中的每一個Token在Q中的Attendances，即Question-Aware的Passage，如上圖中Mp。這樣得到的每一個P的Token編碼，包含了與Question的匹配信息；
為了充分利用BERT帶來的上下文信息，以及P與Q匹配后的信息，將P中每個Token的BERT編碼Hp，與P中每個Token與Q匹配后的編碼Mp進行融合， 對Hp和Mp進行了元素減法及乘法操作，通過一個激活函數，得到了P與Q的最終融合表示，圖中表示為Spq；
最后通過maxpooling操作得到Cpq，l維向量，用于最后的loss計算。
2.各種匹配策略研究
除了P與A之間的匹配之外，還可以有Q與A、P與Q之間的匹配，以及不同匹配得到的匹配向量間的組合，這些不同的匹配與組合構成了不同的匹配策略。對七種不同的匹配策略分別進行了試驗，以找到更加合適的匹配策略，分別是：
[P_Q； P_A； Q_A]， [P_Q； P_A]， [P_Q； Q_A]， [P_A； Q_A]， [PQ_A]， [P_QA]， [PA_Q]
“PA”表示先將P和A連接為一個序列，再參與匹配，“PQ”與“QA”同理。符號“[ ； ]”表示將多種匹配的結果組合在一起。[P_Q； P_A； Q_A]模式下的模型架構如下圖：
7種不同策略通過試驗，采用PQ_A的匹配策略，即先將P與Q連接，然后與A匹配，無論是在初中題目（RACE-M）、高中題目（RACE-H）還是整體（RACE），該策略都得到了更優的結果。
