搜索 導航菜單

股票行情 手机网站:騰訊優圖開源深度學習推斷框架TNN

[摘要]6月12日消息,騰訊優圖實驗室宣布開源新一代移動端深度學習推理框架TNN。騰訊優圖希望通過底層技術優化幫助用戶實現人工智能在多個不同平臺...
6月12日消息,騰訊優圖實驗室宣布開源新一代移動端深度學習推理框架TNN。騰訊優圖希望通過底層技術優化幫助用戶實現人工智能在多個不同平臺的輕量部署落地。

000553股票行情 www.907172.tw 據悉,基于TNN,開發者能夠輕松將深度學習算法移植到手機端高效的執行,開發出人工智能 APP,將 AI 帶到指尖。

中國軟件網了解到,TNN是騰訊優圖針對手機端推出的高性能、輕量級移動端推理框架,其在設計之初便將移動端高性能作為核心理念。在開發上,TNN基于騰訊優圖在深度學習方面的技術積累,并借鑒了業內主流框架優點,在2017年開源的ncnn框架進行了重構升級。

得益于在GPU深度調優、ARM SIMD深入匯編指令調優、低精度計算等技術手段上的提升,TNN在多款主流平臺上的性能不凡。騰訊優圖也公布了在驍龍845/835/615以及麒麟970平臺上,TNN與MNN, ncnn框架的性能對比。

對此,騰訊優圖表示,低精度計算的運用對TNN的性能提升發揮了重要作用。TNN引入了INT8、 FP16、 BFP16等多種計算低精度的支持,相比大部分僅提供INT8支持的框架,不僅能靈活適配不同場景,還讓計算性能提升。

數據顯示,TNN通過采用8bit整數代替float進行計算和存儲,模型尺寸和內存消耗均減少至1/4,在計算性能上提升50%以上。同時引入arm平臺BFP16的支持,相比浮點模型,BFP16使模型尺寸、內存消耗減少50%,在中低端機上的性能也提升約20%。

同時,騰訊優圖表示通用、輕便是TNN的另一亮點。TNN設計了與平臺無關的模型表示,為開發人員提供統一的模型描述文件和調用接口,支持主流安卓、iOS等操作系統,適配CPU、 GPU、NPU硬件平臺。

此外,TNN通過ONNX可支持TensorFlow, PyTorch, MXNet, Caffe等多種訓練框架,目前支持ONNX算子超過80個,覆蓋主流CNN網絡。TNN所有算子均為源碼直接實現,不依賴任何第三方,接口易用,切換平臺僅需修改調用參數即可。

中國軟件網認為,人工智能落地難的很重要原因就是要求專業性高、算力充裕以及設施笨重。TNN很好地規避了這些,但也不難看出,TNN的場景更多適用于簡單、入門級的人工智能。




版權聲明:

凡本網注明”來源:中國軟件網(//www.907172.tw)”的所有作品,版權均屬于中國軟件網或昆侖海比(北京)信息技術有限公司,未經本網書面授權,不得轉載、摘編或以其它方式使用上述作品。

任何行業、傳播媒體轉載、摘編中國軟件網(//www.907172.tw)刊登、發布的產品信息及新聞文章,必須按有關規定向本網站載明的相應著作權人支付報酬并在其網站上注明真實作者和真實出處,且轉載、摘編不得超過本網站刊登、轉載該信息的范圍;未經本網站的明確書面許可,任何人不得復制或在非本網站所屬的服務器上做鏡像。

本網書面授權使用作品的,應在授權范圍內使用,并按雙方協議注明作品來源。違反上述聲明者,昆侖海比(北京)信息技術有限公司將追究其相關法律責任。
微信公眾號 微信公眾號
{ganrao}