<aside>

[요약] 합성데이터가 실제 환경의 여러 변화를 반영할 수 있도록 도메인 랜덤화 기법을 적용해 데이터 생성 및 학습을 진행하고 실제 물류 환경 이미지에서 객체 검출 실험을 수행

실험과정

1. 합성데이터 생성
   1. 조명 조건, 카메라 시점, 팔레트 텍스쳐, 물류 객체 위치 및 회전 변화
2. 데이터 셋 구축
   1. 실제 데이터 사용량 조정
3. 객체 탐지 모델 학습 1. </aside>

Experiments

1) Synthetic Data

1.1) Generate Synthetic data

sh pallet_datagen.sh

1.2) Data Pre-Processing

     : Transform COCO to YOLO format

# /home/yg-inha/yolov11_v2/syn2yolo/src
# 코드에서 input, ouput 디렉토리 수정
python3 syn2yolo.py
python3 file_name.py

2) Dataset

2.1) LOCO dataset

• [cite] LOCO: Logistics Objects in Context

<aside>

데이터셋 구축 과정

• LOCO에서 제공하고 있는 데이터 셋은 영상같이 이어지는 이미지 데이터로, 학습 데이터와 검증 데이터가 유사하다.
• 따라서, 학습되지 않은 환경에서 객체 검출 결과를 확인하기 위해 다른 subset을 각각 학습과 검증 데이터셋으로 사용한다.
  • 5개의 subset은 다른 창고 환경에서 취득한 데이터이다.
• 또한, 제한적이고 희소성이 있는 실제 데이터라는 실험 조건을 세팅하기 위해, LOCO 데이터 셋을 전부 학습에 사용하지 않고 약 800장 정도의 데이터만 사용한다. </aside>

2.2) Synthetic data

<aside>

데이터셋 구축 과정

• 왼쪽 그림과 같이 합성 데이터는 여러 텍스쳐를 랜덤하게 조정한다.
• 오른쪽 그림과 같이 RGB lighting 변화와 조도 변화를 일정 범위 내에서 랜덤하게 조정한다.
• 카메라 시점을 자율 지게차의 센서 위치 및 사람의 시선 위치 등을 고려하여 랜덤하게 조정한다. </aside>

3) Model

hyper parameter value

• [1] only loco train
• [2] fine-tuning train