건설 현장 이미지 및 영상 오브젝트 검출

건설 현장 이미지 오브젝트 검출

정의

건설 현장 이미지 및 영상에서 객체 검출을 하는 것을 의미한다
'객체 검출’은 카테고리 분류와 위치 추정이 혼합된 형태로서, 활용 목적에 따라 한 종류의 객체 또는 여러 종류의 객체(사람, 중장비, 자재 등) 검출

건설현장의 오브젝트(object) 검출 대상으로는 건설장비와 건설 자재가 있음. 건설 장비의 경우에는 여러 가지 학습데이터 셋이 구축되어 있으며 인공지능 모델의 개발도 활발함. 그러나 건설 자재는 데이터 셋도 부족하고 이에 대한 연구도 부족한 상황임.
본 프로젝트에서는 객체 인식의 대상을 건설 장비로 설정하고 이에 대한 객체 인식 모델을 개발함. 인식된 객체에 대해서는 바운딩 박스(Bounding box)를 통해 이미지에 태깅을 수행하고 건설장비의 정보와 인식 신뢰도를 표시함.
건설자재 인식 인공지능 모델 개발을 위해 학습데이터 셋을 구축하는 연구를 수행함. 건설자재에 대한 학습데이터 셋을 실제 환경에서 구축하기 위해서는 많은 시간과 비용이 소모되어 가상환경을 이용하여 학습데이터 셋을 구축하는 방법을 선택함. 가상 환경을 제어하기 위해 널리 사용되는 유니티와 건설 자재의 3D 모형을 이용하여 학습데이터 셋을 구축하고 이를 학습에 적용하는 모델을 개발함.

‘객체 검출’은 카테고리 분류와 위치 추정이 혼합된 형태로서, 활용 목적에 따라 한 종류의 객체만 검출하기도 하며, 여러 종류의 객체(사람, 중장비, 자재 등)를 함께 검출하기도 함. 건설현장에서는 건설 장비와 건설 자재가 중요한 요소로서 이에 대한 검출 모델이 필요함. 또한 검출 결과를 효과적으로 활용하기 위해 이미지 및 영상 태깅/연동/검색 기술을 개발할 필요성이 있음.
본 프로젝트에서는 이미지 및 영상 태깅/연동/검색 기술의 선행 연구로서 건설장비와 건설자재에 대한 검출 모델을 개발하고 태깅/연동/검색 기술에 대한 설계를 수행함.

건설장비 인식 모델 개발을 위해 관련 자료/문헌 조사를 통해 기반 모델을 연구함. 객체 인식에 활용되는 모델로는 CNN, Faster-RCNN, YOLO 등이 주로 활용되고 있으며, 이미지 와 함께 영상에도 활용하기 위해서는 빠른 속도를 자랑하는 YOLO 가 적합하여 이를 기본 모델로 선정함.
건설 장비 학습데이터로는 ACID basic dataset을 이용하였음. ACID는 학술적 목적으로 공유가능한 데이터 셋으로 건설장비 기본 3종(Excavator, Dump truck, Concrete Mixer truck)을 제공함. ACID 데이터를 Train, Validation, Test의 세가지 데이터 셋으로 분류하고 데이터 레이블링(Labeling)을 수행함. 데이터 레이블링은 데이터 레이블링 툴을 이용하여 수행하였으며, 레이블링된 데이터는 YOLO 학습에 적합하도록 파일 변환을 수행함. 학습 파라미터를 설정하고 전처리된 데이터를 이용여 학습 수행.
ACID 데이터를 이용하여 학습한 모델을 이용하여 테스트한 결과 아래의 그림처럼 건설 현장에서 건설 장비를 인식하고 태깅이 이루어짐을 확인하였음. 그러나 정확도가 80(?)%로 기대했던 수치에 못 미쳤고 3종의 장비에 대해서만 모델이 작동하여 추가적인 모델 개선이 필요하였음.