輸出資料至DataVerse
VisionAI Observ 智慧偵測平台系統能將資料輸出至DataVerse-資料中心,讓您在上面篩選取樣圖片,進行AI模型訓練,讓您的AI模型持續進化。
Last updated
VisionAI Observ 智慧偵測平台系統能將資料輸出至DataVerse-資料中心,讓您在上面篩選取樣圖片,進行AI模型訓練,讓您的AI模型持續進化。
Last updated
輸出資料至DataVerse,強大的資料篩選取樣工具,讓AI模型持續學習。點選下列影片快速瀏覽:
進入「Detection」,切換至「Dataset」,檢視輸出至DataVerse的資料狀態,按下「View」能至DataVerse檢閱資料。
Dataset / Descritpion : 名稱 / 描述
Model : 輸出資料相關連的AI模型
Status:狀態。
View : 當資料匯出成功,可以按 View 在 DataVerse 查看資料狀況,決定如何進行標註以及AI模型訓練。
當批次輸出大量資料時,會有處理及資料傳輸的時間。
於右上方按下 「 Export to DataVerse 」 能將事件圖片,以及預先依照設定收集的圖片匯入DataVerse。
如何拜訪 DataVerse?開始使用 👉 https://linkervision.gitbook.io/dataverse/
您可以選擇將資料匯入現有的DataVerse專案Project,或者新建立一個。
Dataset Name:資料集名稱
Descritpion:資料集描述
Model Repository:選擇要輸出資料相關的AI模型庫。系統會特別針對有此AI Model偵測的任務產出資料作為輸出基底。
Model Version:選擇要輸出資料相關的AI模型版本。系統會特別針對有此AI Model偵測的任務產出資料作為輸出基底。
Task:篩選要輸出的任務名稱。可以針對幾個需要做訓練的攝影機作挑選。
Event & Status:篩選要輸出資料的事件,以及事件狀態。可以針對錯誤警告等資訊做挑選。
Time Range:篩選要輸出資料的時間。可以針對特別景況的時間做篩選。
Generate IQA:是否要在DataVerse產生Image Quality的資訊。細節參照 + DataVerse Generate IQA
按下「Create」建立資料集,並且匯出資料至DataVerse。
提示 💡
我們強烈建議將資料匯出至 DataVerse 前,先擬定資料篩選決策。
過多類似的資料,除了耗費標註資源外,對於訓練 AI 模型的幫助有限。
當面臨重新訓練 AI 模型的需求時,我們可以先了解當前 AI 模型偵測狀況,對事件作標註(正確或錯誤警示等),並且針對偵測較不準的時間區間(例如某個月份,或者某個特別的日期),針對特別不準的場景或攝影機,做資料篩選後再匯入DataVerse。
這樣可以避免大量匯出,在DataVerse面臨大量資料海,難以下手找到合適訓練資料的問題。
DataVerse 以資料中心概念設計而成,方便查找過濾取樣資料,挑選適合的資料進行標注以及AI訓練,之後能再將訓練好的AI模型放回 Observ,實現 AI 模型的持續進化。
您可以在 DataVerse 的 Data Visaulization,您可以看到輸出的資料外,還可以:
Class:透過 Class 查找篩選相關的類別。您可以特別挑選一些較難偵測到的物件為主軸。
IQA:透過圖片分析,過濾一些過暗、過曝、模糊,或是透過這個方式來收尋白天或晚上的圖片。細節參照 + DataVerse Generate IQA
Annotation:篩選 Annotation 來比較即辨識不同 AI Model 產生的結果。
Tag:由 Tag 帶的資訊,來限縮範圍。Observ資料匯出後,還是會將原本任務的屬性放入Tag,讓您方便查詢。包含場景、任務、攝影機、事件、事件狀態、圖片類型(事件或是收集圖片)等等。
最後,您能透過 DataVerse 的 Data Slice 採樣機制來挑選合適標註與訓練的資料,細節參考 + DataVerse Data Sampling
實際狀況發想 🧐
在 Observ 實際應用上,可能會發現固定式攝影機收到的圖片資料大同小異。
您可以透過 Image Collection的設定,設定AI Confidence Score 範圍,或者拉長擷取圖片的間隔時間,來挑選比較特別的照片 +收集您專屬的AI數據資料。
或者,在匯出資料至DataVerse下好資料篩選的決策,預先過濾一次。另外,您也可以透過一些自定義的事件來收集特殊的照片。
當您已經將資料匯入 DataVerse後,您也可以採取 IQA 篩選,Class 挑選,或者 Tag 挑選資料,並利用取樣機制(例如:依照攝影機平均取樣)來製作您專屬的資料集,進行模型的再訓練。