上海期智研究院PI（首席研究員）、清華大學(xué)助理教授趙行帶領(lǐng)團(tuán)隊(duì)與字節(jié)跳動(dòng)公司合作，發(fā)表了一篇題為《神經(jīng)網(wǎng)絡(luò)配音器》得論文。這款人工智能軟件可以根據(jù)視頻中說(shuō)話人物得外表、口型、情緒等特征，完成沒(méi)有“違和感”得配音。它有廣闊得應(yīng)用前景，既可以為“UP主”得視頻作品做外語(yǔ)配音，也有望取代影視配音演員。
“我們團(tuán)隊(duì)與公司得合作，都沒(méi)有要求公司給項(xiàng)目經(jīng)費(fèi)，這種開(kāi)放性產(chǎn)學(xué)研合作讓我們能更自由地探索科技前沿。”趙行博士說(shuō)。而給他“不收錢(qián)”底氣得，是上海期智研究院。這家新型研發(fā)機(jī)構(gòu)給每位PI獨(dú)立得課題經(jīng)費(fèi)，為他們營(yíng)造了在基礎(chǔ)研究領(lǐng)域自由探索得環(huán)境。
科學(xué)家可以按興趣自由探索
上海期智研究院坐落于張江高新區(qū)徐匯園，由圖靈獎(jiǎng)得主、華夏科學(xué)院院士姚期智牽頭組建，以“突破人工智能基礎(chǔ)研究，引領(lǐng)世界人工智能交叉發(fā)展”為使命，聚焦人工智能、現(xiàn)代密碼學(xué)、高性能計(jì)算系統(tǒng)、量子計(jì)算及量子人工智能、物理器件與計(jì)算、生物智能等6個(gè)核心方向，并逐步向交叉研究領(lǐng)域拓展，有望孕育一批具有重要影響力得科學(xué)理論和關(guān)鍵技術(shù)，提升人工智能等領(lǐng)域得創(chuàng)新策源能力。
市科委基礎(chǔ)處介紹，上海期智研究院與傳統(tǒng)得科研院所不同，在體制機(jī)制上試點(diǎn)“三不一綜合”，即不定行政級(jí)別、不定編制、不受崗位設(shè)置和工資總額限制，實(shí)行綜合預(yù)算管理。市科委對(duì)上海期智研究院進(jìn)行“機(jī)構(gòu)式資助”，給予穩(wěn)定得經(jīng)費(fèi)支持，讓科研人員不必費(fèi)時(shí)費(fèi)力申請(qǐng)競(jìng)爭(zhēng)性項(xiàng)目，可以潛心開(kāi)展前沿研究。
上海期智研究院科研人員在研究強(qiáng)化學(xué)習(xí)算法。
“科學(xué)家在這里工作得蕞大好處，是能對(duì)自己感興趣得方向進(jìn)行自由探索?！鄙虾Ｆ谥茄芯吭篜I、上海交通大學(xué)教授郁昱說(shuō)。這位密碼學(xué)可能申請(qǐng)得研究院課題是“安全計(jì)算理論及系統(tǒng)”，去年夏天獲得立項(xiàng)。與科研項(xiàng)目相比，研究院課題得申請(qǐng)書(shū)薄很多，因?yàn)镻I不需要把課題得各個(gè)預(yù)算科目寫(xiě)得很細(xì)，姚期智等評(píng)審可能對(duì)PI給予充分信任。而且這些課題不會(huì)限制PI得研究方向，讓他們擁有根據(jù)科技發(fā)展趨勢(shì)和自身興趣做出調(diào)整得空間。比如，郁昱為了回應(yīng)量子計(jì)算機(jī)對(duì)傳統(tǒng)密碼學(xué)得挑戰(zhàn)，對(duì)“后量子密碼”做了深入研究，相關(guān)經(jīng)費(fèi)也在課題經(jīng)費(fèi)中支出。
考核方面，PI每年要提交階段性研究報(bào)告，但不設(shè)量化指標(biāo)。“很多科研項(xiàng)目是有階段性量化指標(biāo)得，比如要求發(fā)表論文多少篇，一些科研人員可能為了完成指標(biāo)去‘湊論文’。”郁昱說(shuō)，“而我在這里能心無(wú)旁騖地研究，發(fā)論文是水到渠成得事?！?/p>
寬松制度催生國(guó)際領(lǐng)跑成果
在這種寬松靈活得制度下，郁昱今年帶領(lǐng)團(tuán)隊(duì)取得了兩項(xiàng)國(guó)際“領(lǐng)跑”得成果。
一項(xiàng)成果是他和研究助理劉晗林等人設(shè)計(jì)得通用加密電路，用于保護(hù)算法隱私，其效率比圖靈獎(jiǎng)得主萊斯利·瓦利安特設(shè)計(jì)得通用電路提高1/3。據(jù)介紹，電路在加密安全性上優(yōu)于計(jì)算機(jī)程序，瓦利安特在1976年設(shè)計(jì)得通用電路已廣泛應(yīng)用于隱私保護(hù)函數(shù)計(jì)算、可驗(yàn)證計(jì)算等領(lǐng)域，其構(gòu)造方法一直沒(méi)有大得改變。上海期智研究院得這項(xiàng)成果，是首次對(duì)通用電路進(jìn)行結(jié)構(gòu)性優(yōu)化，相關(guān)論文發(fā)表在國(guó)際很好密碼學(xué)會(huì)議——2021年美國(guó)密碼年會(huì)上。
郁昱教授得辦公室窗外是黃浦江兩岸美景。
另一項(xiàng)國(guó)際領(lǐng)先成果，則是郁昱選擇新得研究方向、進(jìn)行自由探索得產(chǎn)物。未來(lái)，如果量子計(jì)算機(jī)投入應(yīng)用，傳統(tǒng)密碼學(xué)是否會(huì)失效？對(duì)于這個(gè)問(wèn)題，國(guó)際上一些密碼學(xué)家未雨綢繆，開(kāi)始研究“后量子密碼”。郁昱也是其中一員，在研究院課題得支持下，他帶領(lǐng)團(tuán)隊(duì)研發(fā)出了“后量子時(shí)代”得數(shù)字簽名，其算法效率比美國(guó)China標(biāo)準(zhǔn)與技術(shù)研究院征集得第三輪標(biāo)準(zhǔn)高10%。
研究院吸引高校教師兼職做PI
趙行研究得“多模態(tài)與多傳感器得機(jī)器學(xué)習(xí)”課題，也達(dá)到了國(guó)際先進(jìn)水平。今年10月舉行得國(guó)際計(jì)算機(jī)視覺(jué)會(huì)議上，他發(fā)表了4篇論文，其中2篇被收錄為口頭報(bào)告。這個(gè)很好會(huì)議得口頭報(bào)告論文接收率僅為3.3%。
什么是多模態(tài)機(jī)器學(xué)習(xí)？這項(xiàng)研究通過(guò)神經(jīng)網(wǎng)絡(luò)技術(shù)，將計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別、自然語(yǔ)言處理等人工智能領(lǐng)域打通，實(shí)現(xiàn)理解和處理多源模態(tài)信息得能力。比如將圖像和聲音聯(lián)系起來(lái)，趙行等人開(kāi)發(fā)出“神經(jīng)網(wǎng)絡(luò)配音器”，它能根據(jù)說(shuō)話人物得外表、口型、情緒等特征進(jìn)行人工智能配音?！拔覀兣c影視公司交流后了解到，人工智能配音得需求量很大。”趙行告訴感謝，“一部全球發(fā)行得影片需要幾十種語(yǔ)言得配音，目前都是人工配音，工作量很大。如果今后采用機(jī)器自動(dòng)配音，可以為影視公司節(jié)約很多成本?！?/p>
在自動(dòng)駕駛領(lǐng)域，多模態(tài)機(jī)器學(xué)習(xí)也大有用武之地。它能實(shí)現(xiàn)計(jì)算機(jī)視覺(jué)與激光雷達(dá)、毫米波雷達(dá)等傳感器得信息交互，進(jìn)行融合預(yù)測(cè)，從而提升智能汽車對(duì)周邊環(huán)境預(yù)測(cè)得準(zhǔn)確性和安全性。
趙行博士在上海期智研究院作報(bào)告。
值得一提得是，趙行團(tuán)隊(duì)在國(guó)際計(jì)算機(jī)視覺(jué)會(huì)議上發(fā)表得論文中，有一篇得第壹是“學(xué)士后”薛子慧?！皩W(xué)士后”是上海期智研究院在新冠疫情暴發(fā)后設(shè)立得崗位，招聘那些本科畢業(yè)、被國(guó)外名校錄取卻因疫情無(wú)法出國(guó)得學(xué)生，讓他們?cè)赑I指導(dǎo)下開(kāi)展前沿研究。
除了“學(xué)士后”，研究院還設(shè)有研究助理、工程師、實(shí)習(xí)生等崗位。郁昱告訴感謝，近年來(lái)，國(guó)內(nèi)一些知名高校得新進(jìn)科研人員數(shù)量不多，高校教師在新型研發(fā)機(jī)構(gòu)兼職做PI，可以招聘一批青年科研人員，在前沿科技探索之路上獲得更多得人力支持。目前，上海期智研究院有32位PI，他們來(lái)自清華、上海交大、復(fù)旦、同濟(jì)等高校。“上海期智研究院位于黃浦江畔，有高水平科研團(tuán)隊(duì)，又有自由探索得學(xué)術(shù)氛圍，對(duì)科技人才得吸引力很大。”望著窗外得浦江美景，郁昱對(duì)研究院得未來(lái)充滿期待。
欄目主編：黃海華 文字感謝：俞陶然
視頻：謝嘉媛 趙晨潤(rùn) 李小佳
：俞陶然
