6月7日,阿里巴巴系統軟件事業部研究員張瓅玶(谷樸)與阿里云機器智能首席科學家閔萬里(山景)在上海云棲大會發布首屆阿里巴巴全球調度算法大賽,通過阿里云天池平臺,邀請來自海內外頂尖算法工程師、高校學者、學生共同探討如何更優雅地運用調度算法解決資源調度問題。
互聯網普及的20年來,互聯網技術已經重塑各行各業,滲透到人們生活的方方面面,云計算已經成為了行業發展必不可少的基礎設施,互聯網服務規模和數據規模也隨之大幅增長。日益增長的服務規模和數據規模帶來數據中心的急劇膨脹。Gartner在2017年的云計算市場報告中預測:到2020年全球云計算市場的規模將達到4110億美元。然而,根據蓋特納和麥肯錫的調研數據,全球的服務器利用率并不高,只有6%到12%。即使通過虛擬化技術優化,利用率還是只有7%-17%。這不僅浪費企業基礎設施成本、間接增加了用戶的成本;從環保的角度看,這些空閑服務器將在全球浪費了十億瓦級別的工作負載,卻沒有帶來任何商業、社會價值。
這正是傳統運維和粗放的資源使用模式帶來的最大問題。于是基于自動化調度的集群管理系統紛紛涌現,此次調度算法大賽就是基于這樣的背景,目標就是提高系統資源利用率。
真實業務場景、行業專家指導
阿里集團電商、云計算、金融、物流等業務蓬勃發展,每天服務全球數億用戶,為了承載這些業務,我們有著全球第一的Java應用規模、以及海量服務器的操作系統與內核。這給我們帶來巨大的挑戰和創新機會。隨著集群規模的不斷擴大,資源利用率即使是1%的提升,也能給基礎設施的成本帶來非常顯著的節約。此次賽題來自阿里巴巴真實生產環境,參賽者將有機會接觸到阿里實際業務場景,將算法應用到海量集群調度上。
為了確保比賽的專業、公正,本屆全球調度算法大賽邀請到了多位專家參與賽題評審。
包云崗:中科院計算所研究員,博士生導師,先進計算機系統研究中心副主任
吳恒:中國科學院軟件研究所副研究員
林昊(畢玄):阿里巴巴研究員
丁宇(叔同):阿里巴巴資深技術專家、天貓雙十一技術大隊長、調度系統團隊負責人
蔡景現(多隆):阿里巴巴合伙人、阿里巴巴高級研究員
Kingsum Chow:阿里巴巴研究員
張瓅玶(谷樸):阿里巴巴研究員
朱勝火(勝火):阿里巴巴研究員
侯前明(林軒):阿里巴巴資深技術專家
楊森:阿里巴巴高級技術專家
另外,在技術指導與交流環節,大賽邀請到了阿里系統軟件事業部多位資深調度專家與選手近距離交流,溝通業務場景、傳授解題思路。
挑戰技術極限,1%的優化撬動億級成本節約
在龐大的數據中心服務器規模下,平均利用率每提高1%,就會帶來非常可觀的成本節約。僅以10萬臺服務器為例,利用率從28%提升到40%,就能節省出3萬臺機器。節約的成本大約有6個億。同時,數據中心的資源利用率提升還將進一步促進數據中心在能耗、空間占用、制冷等方面的節省,再次放大成本解決的效果。阿里巴巴擁有超大規模的數據中心,每一點資源利用率的提升都將為阿里巴巴自身和整個社會帶來可觀的能源節約,讓用戶享受更加綠色的計算資源。
20萬獎金池、直通硅谷hackthon、綠色招聘通道
為了吸引更多算法人才,發掘優秀的算法模型。首屆阿里全球調度算法大賽準備了20萬獎金池。此外,決賽獲獎選手將直通10月硅谷調度hackthon,獲得硅谷游學機會,與硅谷算法達人現場競技、交流經驗,并直接進入阿里集團綠色招聘通道。
本次大賽已于6月7日正式啟動,8月14日結束報名。擬于9月初進行現場Demo并在杭州云棲大會進行頒獎典禮。