目前，人工智能（AI）在圖像和語音識別等領域表現出色，但科學家認為這還遠遠不夠。據美國《麻省理工技術評論》雜志網站近日報道，對于AI的發展來說，理解視頻中的動態行為是接下來的關鍵發展方向，這對于AI用其軟件理解世界至關重要，也有助于AI在醫療、娛樂和教育等領域的廣泛應用。

理解圖像還要理解動作行為

解釋視頻的AI系統，包括自動駕駛汽車中的系統，常常依賴于識別靜態框架中的對象，而非對行為進行解釋。谷歌最近發布了一種能識別視頻中對象的工具，并納為云平臺的一部分，該平臺包含用于處理圖像、音頻和文本的AI工具。 

但對AI來說，能理解貓為何會騎著Room?ba掃地機器人在廚房與鴨子追逐嬉戲，才是彰顯其能力之處。 

因此，科學家面臨的下一個挑戰可能是教會機器不僅理解視頻包含了什么內容，還要理解鏡頭中發生了什么。這可能帶來一些實際的好處，比如帶來強大的搜索、注釋和挖掘視頻片段的新方法，也可以讓機器人或自動駕駛汽車更好地理解周圍的世界如何運轉。

各出奇招用視頻訓練計算機

目前，科學家使用一些視頻數據集來訓練機器，以使其更好地理解真實世界中的行為，麻省理工學院（MIT）和IBM目前正攜手進行相關研究。 

2016年9月，IBM與MIT宣布組建“IBM—MIT腦啟發多媒體機器理解實驗室”，雙方將合作開發具有高級視聽能力的AI。 

前不久，MIT和IBM發布了一個龐大的視頻剪輯數據集，這個名為“時間數據集時刻”的視頻數據集囊括了從釣魚到霹靂舞在內的許多動作的3秒鐘片段。該項目負責人、MIT首席研究科學家奧德·奧利瓦說，世界上許多事情瞬息萬變。如果你想明白為什么有些事情會發生，運動會給你提供很多信息。 

之所以把視頻長度定成3秒，是因為大部分時候，人類需要3秒時間，去觀察并理解一個動作意圖，比如，風吹樹動，或者一個物體從桌上掉落下來等。 

無獨有偶，谷歌去年也發布了一套由800萬個做了標記的YouTube視頻組成的視頻集YouTube-8M；臉譜正在開發名為“場景”“操作”和“對象”集的注釋數據集。 

普林斯頓大學助理教授奧爾加·魯薩克維斯基專門從事計算機視覺工作。他表示，此前科學家認為，很難開發出有用的視頻數據集，因為它們需要比靜止圖像更多的存儲和計算能力。他說：“我很高興能使用這些新的數據集，3秒的時長很棒——它提供了時間上下文，同時對存儲和計算的要求也比較低。” 

還有其他機構在研究更具創造性的方法。位于多倫多和柏林的創業公司“二十億神經元”創造了一個定制數據集。該公司聯合創始人羅蘭梅·尼塞維奇稱，他們還使用了專門處理時間視覺信息的神經網絡，“用其他數據集訓練的AI可以告訴你，視頻中顯示的是足球比賽還是派對；用我們的定制數據集訓練的神經網絡可以告訴你，是否有人剛剛進入房間。”

轉移學習人工智能的未來

按照IBM的解釋，人類能夠觀看一段簡短的視頻并輕松地描繪出視頻內容，甚至能預測后續事件的發生，而這樣的能力對機器來說依然是可望而不可及的。因此，IBM和MIT要做的就是，解決機器在認知和預測上的技術難題，在這一基礎上開發出一套認知系統。 

IBM的丹尼·古特弗羅因德說，有效識別行為要求機器學習某個行動，并將獲得的知識應用于正在進行同樣行動的情境中，這一領域的進步，即轉移學習，對于AI的未來非常重要；而且，這項技術在實際中大有用途，“你可以用它來幫助改善對老年人和殘疾人的護理，比如告訴護理人員是否有老人跌倒，或者他們是否已經吃過藥等等。” 

MIT和IBM也表示，一旦機器能夠看懂視頻，具備視覺能力的高級計算機認知系統將能用于各種行業，不僅僅是醫療，還有教育、娛樂等領域，包括對復雜的機器進行保養和維修等。