【導讀】在被稱為“進階版的圖靈測試” 的 Winograd Schema 挑戰(zhàn)賽上，來源于中國科技大學的參賽者獲冠軍，可是卻沒能拿到2萬5千美圓的大獎。為何？本來，該挑戰(zhàn)賽劃定，要想取得25，000美圓的獎金，正確率最少要到達90%，可是，顯露最好的兩位選手的正確率還唯一48%。這還闡明，讓機械明白知識，現(xiàn)在還并不是一件簡單的事。
首先來看那樣一段人類取蘋果假造助手Siri的對話：
User: Siri, call me anambulance.
Siri: Okay, from nowon I’ll call you “an ambulance.”
用戶對蘋果的假造助手Siri說，幫我叫輛救護車。Siri的答復是，好的，從現(xiàn)在開始，我會叫你“救護車”。
這真是一段讓人犯難堪癥的對話。
雖然2013年 Siri 初次宣布后不久，蘋果公司就修改了這個毛病。可是，一個新挑戰(zhàn)賽后果表現(xiàn)，今朝，計算機仍舊貧乏知識來幸免呈現(xiàn)這種難堪。
本周，正在紐約的一場學術(shù)會議上，研究者展現(xiàn)了 Winograd Schema 挑戰(zhàn)賽的成果，而且提出若干衡量標準，計議要讓計算機變得真正的智能的話終究另有幾許事情要做。
中國選手顯露最好，卻沒能拿下獎金
Winograd Schema挑釁賽請求計算機明白一些有歧義的句子，這一些句子關(guān)于人類來講很輕易明白。沒有過，要正確明白WinogradSchema挑釁給予的有歧義的句子，必必要具有必定的知識。比方這句話“市政廳議員沒有答應示威者的許可證，由于他們懼怕暴力”，“他們”指代誰正在邏輯上是沒有清楚的，可是人類可以正在語境下明白。
比起隨機的挑選，介入挑釁的法式正在挑選句子的精確寄義上，準確度要高一點。然則，顯示最好的兩位選手的精確率還僅到達48%。假如只是隨機挑選謎底，精確率是45%。該挑釁賽劃定，要想得到25，000美圓的獎金，精確率最少要到達90%。
本次挑戰(zhàn)賽中，顯露最好的兩位選手分別是來源于中國科學技術(shù)大學的劉泉（音譯）和來源于Open University of Cypress 的 Nicos Issak。
“機械的準確度才比隨機幾率高一點點，這并不讓人不測，”紐約大學的研討心理學家、此次比賽的參謀Gary Marcus 說。這是由于要給予計算機常識性的常識極度難題。手動將這一些常識編碼極度地耗時，并且，要讓計算機根據(jù)對文本開展統(tǒng)計分析來明白實在的天下還不論是件簡單的事。Winograd Schema 挑釁的絕多數(shù)參與者皆實驗把語法分析手工編碼和常識庫結(jié)合起來運用。
世界水平終究怎樣？
Marcus 仍是一家新AI始創(chuàng)公司 Geometric Intelligence 的結(jié)合創(chuàng)始人。他說，雖然此前谷歌和 Facebook 的研究員說它們正在自然語言明白層面取得了重大進展，然則這兩家公司沒有到場此次比賽?！罢緫撌沁@一些人高調(diào)地走進來然后得100%的正確率，如果那樣的話就震動到我了?！?/p>
媒體曾正在6月9日的頭條文章中報導：加拿大人工智能公司Maluuba宣布了一款基于機械進修的自然語言了解步伐EpiReader，能了解并處置懲罰未經(jīng)組織的自然語言正在機械了解文本，并正在常用的CNN和CBT數(shù)據(jù)集測試中取得了目前為止的最好結(jié)果，超出行業(yè)領(lǐng)導者IBM Waston、Facebook和谷歌 DeepMind。作為該公司垂問，Yoshua Bengio把EpiReader稱為一個有意思的提高，并以為該技能將會推進Siri、Cortana、Alex等智能助理的問答本領(lǐng)。
Maluuba對EpiReader的測試是正在兩個超大型的文本會合舉行的：一個由谷歌Deepmind正在客歲炎天宣布，基于CNN和Daily Mail新聞報道，包含了30萬篇文章（Maluuba只使用了CNN的部門）。另一個是Facebook于本年2月份推出的The Children's Book Test（CBT），由ProjectGutenberg的98本典范兒童讀物構(gòu)成。
EpiReader正在這里兩個數(shù)據(jù)集的瀏覽了解中正確率別離到達74%和67.4%。專家同等以為，正在和兩個數(shù)據(jù)集的瀏覽了解中，這是今朝見到的最好成果，具有里程碑的意義。要知道，人類的準確度還達不到100%，反而是正在80%擺布。
正在CNN消息語料庫中，DeepMind的準確度為63.8%，F(xiàn)acebook為66.8%，IBM Waston為69.5%。而正在CBT語料庫的測試中，F(xiàn)acebook準確度為63%，IBM Waston準確度為63.4%。(見下圖)
Winograd Schema 比賽不僅僅是AI的提高的一個衡量標準，還說明晰要制作直覺更強、加倍良好的談天機器人和練習計算機由文本中提取更多的信息有多災。
谷歌、Facebook、亞馬遜和微軟的研究員正正在將他們的注意力轉(zhuǎn)移到言語上。他們運用最新的機械進修技能，尤其是“深度進修”神經(jīng)網(wǎng)絡(luò)來開辟加倍智能、更有直覺的談天機械人和小我私家助理。跟著談天機械人和語音助理愈來愈普遍和正在圖像辨認和語音辨認獲得重大進展，您也許認為機械正在理解言語上正干的愈來愈好。
正在表示最好的兩名參賽者中，個中一位最好選手運用了最新的機械進修方法。劉泉的團隊（個中包羅來源于多倫多約克大學和加拿大國度研討委員會的研討員）運用深度進修來練習計算機由數(shù)千份文本中了解不一樣事情之間的干系，比方“打籃球”和“贏了”或“受傷”之間的干系。
“我很樂意看到深度進修的利用，”Leidos公司的高等研究員Leora Morgenstern說到。Leios是一家科技咨詢公司，是此次大賽的組織方之一。
劉泉的團隊稱，他們的體系正在明白大賽出的題目時有一個缺點，等他們改正這個缺點后，正確率可達60%。然而Morgenstern提示說，縱然他們真的能保證，機械的正確率照舊遠遠低于人類。
把 Winograd Schema 的句子作為一種權(quán)衡機械理解力的方式，最開端是由多倫多大學的一名AI研究員HectorLevesque提出的。憑據(jù)AI界的先驅(qū)Terry Winograd 的名字定名。Terry Winograd是斯坦福大學的傳授，發(fā)明白第一個對話的計算機步伐。
Winograd Schema挑釁開始于2014年，是一種升級版的圖靈測試。艾倫·圖靈是計算機和人工智能之父，20世紀50年代，他正在想機械是不是有一天會像人類一樣思索，然后提出了一個簡樸的測試機械智能的要領(lǐng)。他的要領(lǐng)便是讓一臺機械騙過一小我，讓這小我認為他是正在和另一小我正在開展文字對話。
圖靈測試的問題在于，計算機只要利用簡樸的魔術(shù)和回避就可以輕松騙過人類。然則，計算機如果沒有知識就不能了解Winograd Schema或是其他帶歧義的句子。
此次比賽意義龐大。“當你起頭和機械開展對話，這類情形就會產(chǎn)生，”Nuance的高等首席研究員Charlie Ortiz說。Nuance是一家干語音辨認和語音交互軟件的公司，是Winograd Schema挑戰(zhàn)賽的資助方。Ortiz說，即使是取計算機簡樸的對話還會需求明白知識?！罢谫徫飼r，假如我說‘我想給我的吉他買一個盒子，它應當很牢靠的。’那末，‘它’是指盒子仍是吉他呢？”
Marcus 填補說，伴隨著智能設(shè)備和可穿著設(shè)備的遍及，了解知識將變得越來越重要?！爱斈蚰耐蟊硖岢鲆粋€題目時，您不消再正在50個備選謎底中開展挑選，”他說?！爱斈湍钠嚮蚴峭蟊碚f話時，您擺脫了打字的費事，可是卻盼望能對前后的對話，還便是上下文連結(jié)高度相關(guān)性。正在說話時，人們會很自然的運用代詞指稱此前提到的器械。而這一些就要求辦理此刻的題目，讓計算機能夠保證那樣”。