立可譯-智慧影像轉譯軟體

Nov 11 2019

立可譯-智慧影像轉譯軟體

立可譯-智慧影像轉譯軟體

創作者:AI-30405

藉著深度學習的辨識能力,將偵測到的物品圖像直接翻譯成慣用語言以及想學習的語言,建立第二語言與視覺受器的直接連結,改善語言學習需二度翻譯的學習方式。且將親眼所見即時轉譯成單字,不僅提高學習語言的樂趣,還能在國外旅行時,解決無法描述所見物品的尷尬。

99

// 軟硬體架構


▲圖一、於Server上進行主要Model訓練及相關Fine-tuner及Optimize處理

▲圖二、個人PC測試模型辨識結果及翻譯測試結果

▲圖三、Raspberry pi測試,作為demo之預備

// 成果照片及說明

1. 建立即時辨識系統

於桌上型電腦做為Server,以GTX-2070顯示卡訓練透過Opendata之資料,得到Object Detection Model Weight,再使用OPENVINO架構提供的model-optimizer,將優化後的model,用於OPENVINO API執行物體辨識分類。功能如下:
●自動輸入圖片判斷圖中物品
●輸出辨識結果圖與類別的名稱

 

2. 辨識結果與翻譯功能

▲圖四、辨識結果示意圖

圖一為使用SSD300預訓練模型Fine-tune並Optimized辨識之結果。

▲圖五、翻譯結果示意圖

圖五為使用python相關翻譯API套件測試結果。

 

3. 建立介面與串接

使用QT Creator IDE跨平台的整合開發環境,製作APP、桌面版本demo程式,以C++/python 撰寫。

▲圖六、介面開發過程,圖為以CSS語法設計介面畫面

將訓練執行結果、翻譯等功能建置並串接後,先設計仿真程式介面模擬手機畫面,設計按鈕操控,串聯web camera 拍照執行功能,並將翻譯結果、字典查詢結果顯示於下方欄。

▲圖七、以”書”為測試,操作拍照>辨識>查詢功能畫面

Leave a Reply

Your email address will not be published.

This site uses Akismet to reduce spam. Learn how your comment data is processed.

您的姓名 〈需填寫〉

您的電子郵件信箱 〈需填寫〉

主旨

您的信件內容