台團隊研發新型類神經網路HarDNet 強化影像辨識
2020-11-19
1223
科技部於18日舉行研究成果記者會，清大資訊工程系講座教授林永隆指出，把HarDNet的應用網路拿來偵測車牌，發現可以對惡意攻擊有較高的免疫力，未來有機會幫助警方追捕特定車輛時不會出錯。
全球頂尖的深度學習硬體加速器技術 台灣研究團隊研發超高效率新型類神經網路HarDNet
科技部長期深耕基礎研究，為提昇國內元件、電路與系統整合技術層次，並配合「 5+2 產業創新計畫」及「晶片設計與半導體產業」政策，推動「智慧終端半導體製程與晶片系統研發計畫(半導體射月計畫)」，預期在前瞻半導體製程與晶片系統上建立我國自主研發能量及培育高階人才，促進產學鏈結，提升我國半導體產業國際競爭力。國立清華大學林永隆教授團隊執行科技部「半導體射月計畫」感知運算與AI人工智慧晶片專案，研究智慧計算之演算法、新型網路架構、各式軟硬體平台上之實現並推廣產業應用，成果豐碩。
高效率及防禦力的新型類神經網路HarDNet
近年來深度學習技術在影像辨識、物件識別、特徵診斷、語音處理等廣泛應用展現了驚人的成效，為了使這些應用普及，開發高效率的半導體技術是最為關鍵的部分。研究團隊來自清華大學、交通大學、中原大學三校六位教授所帶領共30位研究人員，研發最適合硬體實現之類神經網路架構，取名HarDNet，比起知名的ResNet，HarDNet只須三分之二的運算時間便能達到相同的準確度。HarDNet 在影像辨識、物件識別、物件追蹤、視訊語意分割等應用都有優異表現，研究團隊將成果發表於最頂尖的國際電腦視覺會議(ICCV-2019)，並透過GitHub開源網推廣至全球相關社群獲得廣大迴響。
HarDNet 對惡意攻擊亦有較強的免疫力。已有研究指出對抗式攻擊（adversarial attack）可以使訓練完成的深度神經網路模型對人為刻意設計的輸入資料（稱為adversarial example，對抗例）做出誤判，進而對模型的安全性帶來威脅並造成使用上的疑慮。清大王廷基教授指導學生以車牌物件偵測為例進行安全性分析後發現：HarDNet的應用網路SSD-HarDNet85 比起其它神經網路模型（例如：SSD-VGG）具有更強的攻擊免疫力，如再加入對抗式訓練〈adversarial training〉的防禦機制後，偵測率可達90%以上。
參加國際競賽大放異彩
研究團隊學生運用HarDNet技術參加2020年低功率電腦視覺(LPCV)國際競賽，獲得銀牌與銅牌的佳績。其中一項是在FPGA硬體平台快速辨識給定照片中的物體，評分原則兼顧辨識準確度及執行時間，由交大黃俊達教授所指導的團隊初試啼聲即奪得亞軍，致勝關鍵在於採用HarDNet作為神經網路模型骨幹，透過優化動態記憶體存取大幅縮減辨識時間，取得辨識率最高的成績。第二項挑戰在設計小而美的神經網路模型、將之執行於運算資源相對匱乏的行動裝置上，測試平台有LG G8與Google Pixel 4兩款智慧型手機，由交大吳凱強教授所指導交大、清大聯隊，與美國麻省理工學院團隊並列季軍。
電機電子工程師學會(IEEE)自2015年開始舉辦國際低功率電腦視覺比賽。參賽的隊伍來自世界各地，包含美國、加拿大、中國、台灣、韓國以及俄羅斯等國。歷年來獲獎的公司和學校團隊包括阿里巴巴、高通(Qualcomm)、亞馬遜(Amazon)、美國麻省理工學院(MIT)、韓國首爾大學、中國科學院、中國清華大學以及台灣交通大學。今年的比賽有兩家台灣贊助廠商，分別是聯發科技和義隆電子，顯示該挑戰賽在國際上同時受到產、官、學、研的高度重視。
成立新創公司並獲知名大廠採用
研究成果發表多篇論文於頂尖會議（ICCV，AAAI，ICML等）， 申請13項（26案）台灣與美國發明專利、部分先期研究人員技轉所開發之技術成立「創鑫智慧股份有限公司」，甫獲准進入新竹科學工業園區，所開發之神經網路加速器矽智財獲得知名大廠採用整合於高階智慧語音處理SOC(單晶片系統)，已經完成MPW(Multi-Project Wafer)驗證，即將進入量產。
林永隆教授與團隊感謝科技部支持，他們認為智慧計算需求幾無止盡，透過研究團隊全方位的最佳化研究，可以達到一般方法做不到的成果，同時藉由開源軟體的開放學習與自由開發以及參與國際競賽可以使學生提升為國際一流的人才。
高效率及防禦力的新型類神經網路HarDNet
近年來深度學習技術在影像辨識、物件識別、特徵診斷、語音處理等廣泛應用展現了驚人的成效，為了使這些應用普及，開發高效率的半導體技術是最為關鍵的部分。研究團隊來自清華大學、交通大學、中原大學三校六位教授所帶領共30位研究人員，研發最適合硬體實現之類神經網路架構，取名HarDNet，比起知名的ResNet，HarDNet只須三分之二的運算時間便能達到相同的準確度。HarDNet 在影像辨識、物件識別、物件追蹤、視訊語意分割等應用都有優異表現，研究團隊將成果發表於最頂尖的國際電腦視覺會議(ICCV-2019)，並透過GitHub開源網推廣至全球相關社群獲得廣大迴響。
HarDNet 對惡意攻擊亦有較強的免疫力。已有研究指出對抗式攻擊（adversarial attack）可以使訓練完成的深度神經網路模型對人為刻意設計的輸入資料（稱為adversarial example，對抗例）做出誤判，進而對模型的安全性帶來威脅並造成使用上的疑慮。清大王廷基教授指導學生以車牌物件偵測為例進行安全性分析後發現：HarDNet的應用網路SSD-HarDNet85 比起其它神經網路模型（例如：SSD-VGG）具有更強的攻擊免疫力，如再加入對抗式訓練〈adversarial training〉的防禦機制後，偵測率可達90%以上。
參加國際競賽大放異彩
研究團隊學生運用HarDNet技術參加2020年低功率電腦視覺(LPCV)國際競賽，獲得銀牌與銅牌的佳績。其中一項是在FPGA硬體平台快速辨識給定照片中的物體，評分原則兼顧辨識準確度及執行時間，由交大黃俊達教授所指導的團隊初試啼聲即奪得亞軍，致勝關鍵在於採用HarDNet作為神經網路模型骨幹，透過優化動態記憶體存取大幅縮減辨識時間，取得辨識率最高的成績。第二項挑戰在設計小而美的神經網路模型、將之執行於運算資源相對匱乏的行動裝置上，測試平台有LG G8與Google Pixel 4兩款智慧型手機，由交大吳凱強教授所指導交大、清大聯隊，與美國麻省理工學院團隊並列季軍。
電機電子工程師學會(IEEE)自2015年開始舉辦國際低功率電腦視覺比賽。參賽的隊伍來自世界各地，包含美國、加拿大、中國、台灣、韓國以及俄羅斯等國。歷年來獲獎的公司和學校團隊包括阿里巴巴、高通(Qualcomm)、亞馬遜(Amazon)、美國麻省理工學院(MIT)、韓國首爾大學、中國科學院、中國清華大學以及台灣交通大學。今年的比賽有兩家台灣贊助廠商，分別是聯發科技和義隆電子，顯示該挑戰賽在國際上同時受到產、官、學、研的高度重視。
成立新創公司並獲知名大廠採用
研究成果發表多篇論文於頂尖會議（ICCV，AAAI，ICML等）， 申請13項（26案）台灣與美國發明專利、部分先期研究人員技轉所開發之技術成立「創鑫智慧股份有限公司」，甫獲准進入新竹科學工業園區，所開發之神經網路加速器矽智財獲得知名大廠採用整合於高階智慧語音處理SOC(單晶片系統)，已經完成MPW(Multi-Project Wafer)驗證，即將進入量產。
林永隆教授與團隊感謝科技部支持，他們認為智慧計算需求幾無止盡，透過研究團隊全方位的最佳化研究，可以達到一般方法做不到的成果，同時藉由開源軟體的開放學習與自由開發以及參與國際競賽可以使學生提升為國際一流的人才。
作者介紹
