匯入您的資料

DataVerse簡化了資料管理流程，使您更容易組織和視覺化您的資料。

DataVerse 接受各種資料格式，您可以從本地端上傳，從雲端輸入，從現有的專案轉入，或選擇公開資料集作為您的資料來源。

快速開始

不知怎麼上傳圖片或影片？您可以直接從本地端上傳檔案，或直接放入挑選好的公開資料集。

參考實際操作影片：

資料集列表

在資料集頁面上，您可以查看所有已上傳資料集及其狀態的列表。

點擊"Detail"可以查看此資料集的詳細資料，包括上傳是否成功或是否有錯誤訊息。

系統支持從斷點恢復。

點擊"View in Data Visualization"將顯示此資料夾中的所有檔案。

輸入資料集

Dataverse 平台支援多種方法，讓您可以選擇最合適的資料上傳方式。

點擊"Import"，選擇您想上傳的資料格式，並輸入資料上傳設定。

• Upload from Local: 直接從本地資料夾上傳

• Raw Data: 從雲端傳送沒有標註的資料

• Annotated Data: 從雲端傳送帶有標註的資料

• Existing: 從其他專案導入資料集

• Open Dataset: 導入預選的開放資料集

• SDK: 採用SDK從雲端或本地上傳

對於不同的選項，可能需要不同的資料內容來協助資料上傳。

在資料集頁面上，點擊"Import"，根據已上傳的資料內容選擇目標，並輸入資料上傳設定。

---

從本地上傳資料

直接從您的本地資料夾瀏覽並選擇圖片或影片，方便將其導入平台。

1. 圖片上傳

2. 影片上傳

只有單一攝影機的專案適合快速資料夾上傳。

---

已標註資料上傳

平台提供以下資料上傳格式：

1. VisionAI data format

2. VLM data format - VQA

3. KITTI format: http://www.cvlibs.net/datasets/kitti-360/documentation.php

4. Coco format: https://cocodataset.org/#format-data

填寫上傳格式後，指明資料是否為序列資料，或是否只為特定sensors的結果上傳。

點擊"Import"後，系統將根據設定將檔案儲存為資料庫，使您在未來更容易篩選和搜索。

透過AWS上傳

連接到您的AWS S3存儲桶，檔案將被轉移到平台。

• Bucket URL: AWS S3 存儲連結 (Bucket URL)

• Data Folder: 需要導入的檔案資料夾的位置。

• Access Key ID & Secret Access Key (選填): 使用您的AWS S3 私人 Access Key ID and Secret Access Key. 請確保您的 S3 bucket 具有以下權限：GetObject,ListObjects,ListObjectsV2,CopyObject 如果您的 S3 Bucket 設定為公開帳號，則不需要填寫這兩個欄位。

Amazon S3 URL使用以下格式：


https://bucket-name.s3.region-code.amazonaws.com/

透過Azure上傳

連接到您的Azure blob存儲，檔案將被轉移到平台。

• Blob Storage URL: Azure存儲連結 (Blob storage account URL)

• Container Name: Blob存儲容器名稱

• Data Folder: 存儲在容器中需要導入的資料資料夾的位置。

• SAS Token: 提供給Azure blob存儲帳戶的讀取權限的SAS Token。

上傳時，請提供您的Azure Blob Storage帳戶的SAS Token，而不是Container的。

---

放入公開資料集

這邊提供您一些公開資料集，方便您快速取得一些基本的圖片或檔案資料。

• Coco dataset: https://cocodataset.org/#home

• KITTI dataset:https://www.cvlibs.net/datasets/kitti-360/index.php

• LVIS dataset:https://www.lvisdataset.org/

• BDD dataset: https://bdd-data.berkeley.edu/

---

使用Python SDK添加資料集

使用Dataverse-SDK for Python幫助您用Python與Dataverse平台互動。目前，這個library支持：

• 使用project-id獲取專案

• 從您的AWS/Azure存儲或本地上傳資料集

• 使用dataset-id獲取資料集

dataverse-sdk/python/README.md at master · linkervision/dataverse-sdkGitHub

首先，準備目標專案及其ontology。 + Create Project

匯入資料集範例

create_dataset 從您的雲端(Azure或AWS)或本地(Local)輸入資料集。 設定細節請參照github內容。

dataset_data = {
    "name": "Dataset 1",
    "data_source": DataSource.Azure/DataSource.AWS,
    "storage_url": "storage/url",
    "container_name": "azure container name",
    "data_folder": "datafolder/to/vai_anno",
    "sensors": project.sensors,
    "type": DatasetType.ANNOTATED_DATA,
    "annotation_format": AnnotationFormat.VISION_AI,
    "annotations": ["groundtruth"],
    "sequential": False,
    "render_pcd": False,
    "generate_metadata": False,
    "auto_tagging": ["timeofday"],
    "sas_token": "azure sas token",  # only for azure storage
    "access_key_id" : "aws s3 access key id",# only for private s3 bucket, don't need to assign it in case of public s3 bucket or azure data source
    "secret_access_key": "aws s3 secret access key"# only for private s3 bucket, don't need to assign it in case of public s3 bucket or azure data source
}
dataset = project.create_dataset(**dataset_data)

使用SDK需要提供service-id。

您在Import Dataset，選擇SDK，內容會顯示您的Service ID，即可複製使用。

---

從現有資料匯入

系統提供了從另一個專案的現有資料集匯入的選項。此時，需要一個ontology對應來確保資料的兼容性。

---

進階圖像處理

Point Cloud File 2D預覽圖像

系統可以批量生成點雲數據的2D預覽圖像，有助於後續的視覺化瀏覽。

IQA 圖像分析

當開啟自動圖像質量評估生成功能時，系統會批量為每張圖片生成數據，包括亮度、對比度和其他信息。詳情請參考文檔。

影像品質評估 IQA

Auto-Tagging 自動標籤

Dataverse提供了一個進階的自動標籤功能，以簡化資料管理，自動為用戶生成圖像標籤（天氣、場景、白天時分）。

自動標籤 Auto-Tagging