2021年5月27日下午，國家廣電總局原副總工程師杜百川在北京國際會議中心舉辦的第二十八屆中國國際廣播電視信息網絡展覽會（CCBN）上做了題為《加快建立智慧廣電開放算法平臺和評估體系》的主題報告。

以下為演講全文：

各位嘉賓下午好！下午說了很多有關人工智能和大數據方面的應用和發展，很令人振奮。但是人工智能的大數據也必須有相應的評價體系，應當說智慧廣電，我的理解是指利用算法、大數據、AI、物聯網、區塊鏈等新技術促進廣電各方面工作的智能、高效、協調、高質量發展。

剛才科大訊飛也說了大數據和AI在整個行業都得到了廣泛的應用，比如說機器主持人、機器人撰稿、內容和演員選擇、節目價值評價，以及傳輸的智能路由、智能邊緣、智能分發、接收的智能操作系統、智能推薦，包括整個的智能運維和安全都已經用到了AI和大數據。但是AI的應用越來越廣泛，正在影響全球商業和私人生活，涉及到巨大的機遇和風險。AI的許多技術活動，包括了網絡優化、飲食安全、數據管理、語義互操作性以及所有領域，這些都必須要考慮人的因素，這里面包括這幾個方面。

第一，在AI使用當中，包括倫理要求，比如說電子衛生保健，飲食安全。第二，通過對使用AI的系統進行適當的測試和評估來確保安全性。第三，克服一些與AI相關的安全性問題，就是有些算法是不透明的，你不知道在干什么，有時候會出現問題。我們前面講的都是好的地方，實際上是有安全問題的。第四是更好地管理和表征AI所使用的數據，包括來自IoT的系統數據。為了加快廣電AI的應用，可靠性和信任度，有必要建立開放的廣電應用算法平臺和建立健全的測試評價體系。

我們可以舉一個例子，歐盟在這方面，對AI要求以人為本，2019年4月，EC HLEG（高級別道德小組）發布了一系列“可信賴AI倫理準則”，包括要求鼓勵在歐盟標準化路線圖中考慮七類要求：可問責，人類代理，技術穩健性，隱私和數據治理，透明度，非歧視性和社會效益。歐洲議會的一項原則，算法問責制和透明度的治理框架建議，創建一個用于算法決策的監管機構，來定義可用于區分可接受的算法和不可接受的算法，以及可接受的決策系統和不可接受決策系統的指標。并不是所有的AI都是可接受的。

2020年2月，EC的AI人工智能白皮書-“歐洲實現卓越和信任方法”確認有必要對個人和整個社會進行風險評估，支持傳統價值觀和基本權利，包括安全和賠償責任，以及消除種族和性別偏見，有必要在當前單獨工作的各個學科之間搭起橋梁。我們要有一個公共的平臺，在這方面，我國的大數據立法，在國家層面已經有了，但還不是很完善，國家層面除了在《中華人民共和國憲法》，《中華人民共和國網絡安全法》，《中華人民共和國民法總責》當中有涉及個人信息和隱私保護條款，還有一些指導意見和行業規范意見當中對數據安全保護提出了宏觀要求，比如說國務院印發的《關于運用大數據加強對市場主體服務和監管的若干意見》，中國人民銀行制定并發布的《個人信用信息基礎數據庫管理暫行辦法》，國家網信辦制定的《個人信息和重要數據出境安全評估辦法（征求意見稿）》對我國境內進行個人信息和重要數據收集的網絡運營商提出了需進行安全評估等要求。

地方層面，2017年浙江省發布《浙江省公共數據和電子政務管理辦法》，2018年貴陽市發布了《貴陽市大數據安全管理條例》，2020年深圳市印發《深圳經濟特區數據條例（征求意稿）》，從個人數據保護、公共數據管理和應用、數據要素市場培育、數據安全管理、法律責任等方面全面對自然人、法人和非法人組織數據的相關權益進行了規范，并首次提出了數據權的概念。

國家層面的大數據的立法，是由信標委來組織的，分成了管理、數據、技術、平臺工具，治理與管理，安全與隱私等方面，非常全面。人工智能方面，也提出了治理的方法和目標，也就是說，要堅持科技造福人類，平衡發展和有效治理的關系，要求全面釋放人工智能帶來的紅利與價值。如何全面釋放，關鍵在于后面要精確防范，并應對人工智能可能帶來的風險，也只有控制好風險，也就是只有你有剎車，你的車才能開得安全。已經發布了多項大數據國標，大概有30多項，我就不一一念了，非常全面，包括評估方面的，成熟度模型等等，總局也加強了大數據的合規管理。2020年4月，國家廣電總局發布了6號令《廣播電視行業統計管理規定》，該規定用于廣播電視主管部門依法調查、搜集、整理、研究和提供廣播電視、網絡視聽節目服務統計資料，包括大數據統計資料，廣播電視行業的統計活動。按照6號令，廣播電視主管部門應當依托大數據統計信息系統，統籌收視收聽率（點擊率），統計工作，對數據的采集、發布進行監督；任何機構和個人不得干擾、破壞廣播電視主管部門依法開展的收視收聽率（點擊率）統計工作，不得制造虛假的收視收聽率（點擊率）。

2020年4月廣電總局下發74號文和修訂版的《廣播電視和網絡視聽統計調查制度》，明確統計對象和范圍為全國廣播電視和網絡視聽行政事業單位、企業單位以及產業活動單位。調查制度還規定調整了網絡視聽節目服務、IPTV、互聯網電視（OTT）和短視頻等網絡視聽報表，新增對產業基地（園區）的統計，并強化了高清超高清、智能終端等內容。

同時，2021年5月科技司制定和發布《網絡視聽收視大數據技術規范第一部分：總體要求》第二部分，數據元素集，第三部分接口，《廣播電視和網絡視聽收視綜合評價數據脫敏規則》，廣電對大數據標準制定了大數據集，跟剛才國家的類似。同時，也制定了大數據治理的框架，這個我就不一一詳細說了。影視保護技術是隨時間進步的，比如說剛開始是匿名化，在大數據時代加了去識別，到了AI和機器學習階段，有了影視增強。隱私保護相關問題，也有一定的相關解決措施，有四個方面。第一個方面是數據偏見，怎么來糾正，拒絕有些錯誤的分類。第二是采取對抗的辦法，這方面相應標準是ISO/IEC的TR24028和24027。數據中毒，加強異常檢測；數據消毒，對新加入數據進行精確的檢查。第三是模式抽取，主要是PATE和誤導對手，這個也有相應的標準。第四是隱藏或者是隱匿，我想辦法躲在你的數據里，采取的什么辦法呢？對抗訓練和深度的池。實際上AI和數據的國際標準，主要是由ISO/IEC/JTC1和SC42，一共有五個工作組，第一個工作組是基礎標準，第二個是大數據，第三個是可信任度，第四個是用例和應用，第五個是AI系統的計算方法和技術特征。我們注意，這個工作組實際上名字是AI工作組，但是大數據是其中的一個分工作組。

各個工作組都制定了相應的標準，已經頒布的就是我現在用粗體字表示的，都是近一兩年，2019年、2018年、2020年有關的標準。國內剛才說的那些標準也是相應采取的。這里面就包括了去年頒布的可信任度的標準評估。第二個是評價，神經網絡魯棒性的評價，有一系列的對AI算法和AI系統的評估。用例和應用當中也有一個，用例已經發過了，還有治理應用，我就不再詳細說了。

對于廣電來說，我們現在盡管大數據和AI得到了廣泛的應用，但是也存在著不少問題，比如說很多地方都是獨立的投入，而且很多是相似的方案，這樣浪費了投資。相對來說，訓練的序列也比較少，所以范圍也小，迭代的機會不高，體量也不高，還缺乏廣電專用的大數據和AI應用算法的開放平臺。我們和訊飛合作，訊飛那兒有，但是廣電還有很多基礎應用上沒有開放的平臺，算法各自也沒有迭代。廣電專用平臺能夠減少整體投資，擴大訓練規模和范圍，加速迭代升級速度來提高質量。我們舉一個例子，GitHub是一個開放的算法平臺，包括騰訊，包括百度，都在這上面有，很多應用范圍都可以直接利用他的算法，包括代碼直接進行升級、運算，同時也提高了平臺算法的進步，增強了他的進步。我一直想這個問題，安卓開始也是開放平臺，中國提供了很多促進他的方式和方法，但是最后不讓我們用。GitHub現在都是公開的，還是可以用，我們有這么大的用戶量，為什么我們自己不弄一個開放平臺。

對于測試來說，最基本的測試，圖靈測試，我們可以看到，評估者不知道的一面墻，響應A是人類，響應B是機器，看看評估者能不能判斷是機器還是人，這是最基本的測試。

但是對于ICT生態系統支持的AI系統應該包括這么幾個鏈條，第一是數據源，包括圖像、文字、IoT，第二個是計算環境，包括邊緣，包括云。第三個是AI引擎，或者是單獨的AI引擎，第四個是AI服務和應用。對于AI和大數據的測試，也包括了這四個方面。

四個方面，因為AI當中總會存在一些失敗點，對于任何AI系統的測試策略都必須仔細構建來降低失敗的風險。為此，首先必須確定一個AI框架是處于哪個部分和階段，然后定義一個跨整個框架要采用哪些特定的測試技術的綜合測試策略，為確保AI系統正常發揮作用，一般有四種常見的測試。第一是基本認知測試，就是單項測試，比如說自然語言處理，語音識別，圖象識別，光學字符識別，根據不同的能力和應用的要求給出相應的指標，這是第一項測試。第二是AI平臺測試，比如說華為的Atlas，百度的PaddlePaddle，騰訊的TI-ONE，IBM的Watson，Azure的ML Studio等等，這都屬于平臺。第三是基于ML的分析模型的測試。第四是AI驅動的解決方案的測試。除了平臺測試以外，這三個測試都比較好理解，我們下面專門說一下平臺的測試，實際上也包括了四個部分。

第一是數據源和整理測試。一要核查不同系統來的數據質量——數據正確性、完整性和適合性，以及格式檢查、數據溯源和樣式分析。二要核查加到原始數據的轉換規則和邏輯，是不是能得到期望的輸出格式，任何性質的數據、表格、純文本或者是大數據，測試方法和自動框架是不是都能起作用。核查輸出查詢或程序可提供想要的數據輸出，還有就是正面和負面的場景測試。第二是算法測試，這個我就不再詳細說了。第三是API的完整性測試，核查每個API的輸入請求和響應，包括相應對是不是完整，測試部件間通信，執行API和算法的完整性測試。第四是系統和回歸測試。

歐洲對AI的測試框架制定了相應的標準，我們就不一一詳細說了，希望我們能夠在不久的將來建立我們自己的測試平臺和相應的評估辦法。謝謝大家！