Using AI in Technology Art

Nov 11 2019

Using AI in Technology Art

Using AI in Technology Art

創作者:跨領域研究室

本作品從科技藝術的角度出發,利用Intel OpenVINO之視覺辨識將美國紐約大都會藝術博物館與國立故宮博物院的藝術開放資料進行轉譯為裝置作品,使用者能與歷史畫作產生虛實之對映,從遊戲性互動觸發藝術文化的學習動機。

99

// 軟硬體架構

【資料】
1. 美國紐約大都會藝術博物館之開放資料
2. 國立故宮博物院之開放資料

【硬體】
1. linux based PC/NB
2. 外接LCD螢幕輸出/內建螢幕

3. 外接網路攝影機

【軟體】
1. Intel OpenVINO Pretrained Models:
(1) face-detection-adas-0001.xml
(2) face-detection-retail-0005.xml
(3) gaze-estimation-adas-0002.xml
(4) human-pose-estimation-0001.xml

2. Unity / Processing

3. MySQL / PostgreSQL

▲圖一、軟體架構

▲圖二、裝置呈現方式

// 成果照片及說明

美國紐約大都會藝術博物館的文物資料有581074筆紀錄 ,”painting”做為關鍵字篩選得到8460筆紀錄,機器取回5088筆有圖片網址之圖片。盛安執行部分,2682張畫作可辨識出人臉,取得4191張人臉圖像(一張畫作中可能有多個人臉)。
故宮開放資料的精選圖像下載中選擇繪畫類別 ,總數為1248筆,扣除1筆為直接jpg檔案,1筆連結失效,人工取回共1235筆資料 。盛安執行部分106張畫作中有人臉,取得155張人臉圖像,81張有凝視(gaze)角度。

睿祥以更嚴格的條件進行測試,從MET獲得33張資料:
1. face detection 的confidence超過 0.99
2. 五官都在畫面上,然後畫面上只有一個人。(人工確認)
3. head pose的角度是畫面上的。(人工確認) 畫作中人臉是否清晰或者畫作為黑白均會影響到head pose的辨識正確與否,此部分與預訓練模型使用之資料為彩色真實照片可能有很大關聯。

目前進度已完成初步人臉辨識與擷取,下一個階段將把擷取出的人臉建成模型或資料集,讓圖片可以與鏡頭前的使用者互動。

▲大都會博物館畫作之人臉擷取。影片網址:https://youtu.be/iQ7IMq5GmLM

▲故宮畫作之人臉擷取,影片網址:https://youtu.be/BauD16rOr1g

Latest posts by 跨領域研究室 (see all)

Leave a Reply

Your email address will not be published.

This site uses Akismet to reduce spam. Learn how your comment data is processed.

您的姓名 〈需填寫〉

您的電子郵件信箱 〈需填寫〉

主旨

您的信件內容