KR102015947B1 - 자율주행을 위한 학습대상 이미지 추출 장치 및 방법 - Google Patents

Abstract

자율주행을 위한 학습대상 이미지 추출 방법 및 장치가 개시된다. 상기 방법은, 원시 도로주행 영상을 수신하는 원시 동영상 수신 단계, 상기 원시 도로주행 영상의 메타데이터에 기초하여 추출 개수를 결정하고, 상기 원시 도로주행 영상으로부터 상기 결정된 개수의 프레임 이미지를 추출하는 1차 샘플링 단계, 및 상기 결정된 개수의 프레임 이미지 각각의 제1 학습 대상 객체의 포함 여부 및 상기 제1 학습 대상 객체의 이동량에 기초하여, 상기 결정된 개수의 프레임 이미지로부터 하나 이상의 학습 대상 프레임 이미지를 추출하는 2차 샘플링 단계를 포함하고, 상기 원시 도로주행 영상의 상기 메타데이터는 상기 원시 도로주행 영상과 관련된 상기 차량의 GPS 정보, 상기 차량의 이동 속도 정보 및 상기 원시 도로주행 영상의 촬영 시간 중 하나 이상을 포함한다.

Description

자율주행을 위한 학습대상 이미지 추출 장치 및 방법{METHOD FOR EXTRACTING IMAGE OF LEARNING OBJECT FOR AUTONOMOUS DRIVING AND APPARATUS THEREOF}

본 발명은 자율주행을 위한 학습대상 이미지 추출 장치 및 방법에 관한 것이다.

최근 인공지능(Artificial Intelligence, AI) 트렌드는 음성 및 텍스트 인식에서 비디오 영상 인식으로 기술적으로 전환되고 있다. 비디오 영상 인식은 자율주행 자동차의 제어, 블랙박스 영상, CCTV 영상 분석 및 의료 영상의 판독 등에 사용될 수 있어서 다양한 산업에서 파급효가가 매우 크다. 그 중에서, 4단계 자율주행 자동차를 연구개발함에 있어서, 전세계적으로 1,600억 km의 비디오 영상 데이터가 필요하며 도시마다 1억 km의 영상이 필요하다고 판단되고 있다. 또한, 비디오 영상 인식은 수집된 비디오 영상 데이터를 영상 지능화에 사용하기 위해서 별도의 가공 작업을 필요로 하는데, 가공 작업은 사람의 인지능력을 기반으로 수작업으로 진행되어 많은 시간과 비용이 발생한다.

공개특허공보 제10-2004-0026825호, 2004.04.19

본 발명이 해결하고자 하는 과제는 자율주행을 위한 학습대상 이미지 추출 장치 및 방법를 제공하는 것이다.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 자율주행을 위한 학습대상 이미지 추출 장치 및 방법은, 원시 도로주행 영상을 수신하는 원시 동영상 수신 단계, 상기 원시 도로주행 영상의 메타데이터에 기초하여 추출 개수를 결정하고, 상기 원시 도로주행 영상으로부터 상기 결정된 개수의 프레임 이미지를 추출하는 1차 샘플링 단계, 및 상기 결정된 개수의 프레임 이미지 각각의 제1 학습 대상 객체의 포함 여부 및 상기 제1 학습 대상 객체의 이동량에 기초하여, 상기 결정된 개수의 프레임 이미지로부터 하나 이상의 학습 대상 프레임 이미지를 추출하는 2차 샘플링 단계를 포함하고, 상기 원시 도로주행 영상의 상기 메타데이터는 상기 원시 도로주행 영상과 관련된 상기 차량의 GPS 정보, 상기 차량의 이동 속도 정보 및 상기 원시 도로주행 영상의 촬영 시간 중 하나 이상을 포함한다.

일부 실시예에서, 상기 1차 샘플링 단계는, 상기 원시 도로주행 영상과 관련된 지역의 밀집변수를 산출하는 밀집변수 산출 단계를 더 포함하고, 상기 원시 도로주행 영상과 관련된 지역의 상기 밀집변수에 더 기초하여 상기 추출 개수를 결정한다.

일부 실시예에서, 상기 밀집변수 산출 단계는, 상기 원시 도로주행 영상과 관련된 지역의 인구 통계 데이터 또는 차량 통계 데이터 중 하나 이상을 이용하여 상기 원시 도로주행 영상과 관련된 지역의 밀집변수를 산출한다.

일부 실시예에서, 상기 2차 샘플링 단계는, 객체 검출 알고리즘을 이용하여 각각의 상기 결정된 개수의 프레임 이미지 상에서 미리 정해진 하나 이상의 유형의 하나 이상의 상기 제1 학습 대상 객체를 검출하는 제1 학습 대상 객체 검출 단계, 및 제n(n은 2 이상의 자연수) 프레임 이미지 상의 검출된 상기 하나 이상의 제1 학습 대상 객체의 위치와 상기 제n 프레임 이미지의 직전의 제n-1 프레임 이미지 상의 검출된 상기 하나 이상의 제1 학습 대상 객체의 위치를 비교하여, 상기 제n 프레임 이미지 상의 검출된 상기 하나 이상의 제1 학습 대상 객체 각각의 이동량을 측정하는 제1 학습 대상 객체 이동량 측정 단계를 포함한다.

일부 실시예에서, 상기 2차 샘플링 단계는, 각각의 상기 결정된 개수의 프레임 이미지 상에서 상기 제1 학습 대상 객체를 제외한 배경을 제거하는 배경 제거 단계를 더 포함한다.

일부 실시예에서, 상기 하나 이상의 학습 대상 프레임 이미지를 가공 처리하여 학습용 데이터 셋을 생성하는 학습용 데이터 셋 생성 단계를 더 포함한다.

일부 실시예에서, 상기 학습용 데이터 셋 생성 단계는, 상기 학습 대상 프레임 이미지 상에서 미리 정해진 하나 이상의 유형의 하나 이상의 제2 학습 대상 객체를 검출하는 제2 학습 대상 객체 검출 단계, 및 상기 학습 대상 프레임 이미지 상의 검출된 상기 하나 이상의 제2 학습 대상 객체에 대하여 주석화 처리하는 학습 대상 객체 주석화 단계를 포함한다.

일부 실시예에서, 상기 학습용 데이터 셋 생성 단계는, 상기 학습용 데이터 셋의 유효성을 검증하는 유효성 검증 단계를 더 포함한다.

상술한 과제를 해결하기 위한 본 발명의 다른 면에 따른 자율주행을 위한 학습대상 이미지 추출 장치는, 자율주행을 위한 인공지능 학습 대상 이미지 생성 장치에 있어서, 원시 도로주행 영상을 수신하는 원시 도로주행 영상 수신부, 상기 원시 도로주행 영상의 메타데이터에 기초하여 추출 개수를 결정하고, 상기 원시 도로주행 영상으로부터 상기 결정된 개수의 프레임 이미지를 추출하는 제1 샘플링부, 및 상기 결정된 개수의 프레임 이미지 각각의 제1 학습 대상 객체의 포함 여부 및 상기 제1 학습 대상 객체의 이동량에 기초하여, 상기 결정된 개수의 프레임 이미지로부터 하나 이상의 학습 대상 프레임 이미지를 추출하는 제2 샘플링부를 포함하고, 상기 원시 도로주행 영상의 상기 메타데이터는 상기 원시 도로주행 영상과 관련된 상기 차량의 GPS 정보, 상기 차량의 이동 속도 정보 및 상기 원시 도로주행 영상의 촬영 시간 중 하나 이상을 포함한다.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명의 자율주행을 위한 학습대상 이미지 추출 장치 및 방법에 의하면, 제1 샘플링부는 원시 도로주행 영상의 메타데이터에 기초하여 원시 도로주행 영상을 1차 샘플링하기 때문에 이후 진행되는 2차 샘플링 단계 및 학습용 데이터 셋 생성 단계에서 데이터를 처리하는데 소요되는 비용과 시간을 획기적으로 줄일 수 있고, 자율주행을 위한 학습대상 이미지를 추출하는 효율을 높일 수 있다.

또한, 제2 샘플링부는 제1 학습 대상 객체의 이동량의 기준을 설정하여, 사전 결정된 기준 이상인 것에 해당하는 프레임 이미지를 학습 대상 프레임 이미지로 선정함으로써 불필요한 프레임 이미지는 줄이고, 필요한 프레임 이미지만을 선정할 수 있다.

또한, 1차 샘플링 및 2차 샘플링을 통해 핵심적인 프레임 이미지만을 학습 대상 프레임 이미지로 추출함으로써, 학습 대상 프레임 이미지의 개수가 적음에도 불구하고, 샘플링이 없는 프레임 이미지 대비 동등한 수준의 성능의 자율주행을 위한 학습대상 이미지가 추출되도록 할 수 있다.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일 실시예에 따른 자율주행을 위한 학습대상 이미지 추출 방법의 개략적인 순서도이다.
도 2는 본 발명의 일 실시예에 따른 도 1의 1차 샘플링 단계에 의해 추출된 프레임 이미지의 예시도이다.
도 3은 도 1의 2차 샘플링 단계의 개략적인 순서도이다.
도 4는 도 1의 2차 샘플링 단계에서 제1 학습 대상 객체의 이동량을 측정하기 위한 방법을 설명하는 예시도이다.
도 5는 배경 제거 단계가 추가된 도 1의 2차 샘플링 단계의 개략적인 순서도이다.
도 6은 배경 제거 단계가 추가된 도 1의 2차 샘플링 단계에서 배경이 제거된 프레임 이미지를 이용하여 제1 학습 대상 객체의 이동량을 측정하기 위한 방법을 설명하는 예시도이다.
도 7은 본 발명의 다른 실시예에 따른 밀집변수 산출 단계가 추가된 자율주행을 위한 학습대상 이미지 추출 방법의 개략적인 순서도이다.
도 8은 본 발명의 다른 실시예에 따른 학습용 데이터 셋 생성 단계가 추가된 자율주행을 위한 학습대상 이미지 추출 방법의 개략적인 순서도이다.
도 9는 도 8의 학습용 데이터 셋 생성 단계의 개략적인 순서도이다.
도 10은 유효성 검증 단계가 추가된 도 8의 학습용 데이터 셋 생성 단계의 개략적인 순서도이다.
도 11은 도 10의 유효성 검증 단계의 개략적인 순서도이다.
도 12는 본 발명의 다른 실시예에 따른 자율주행을 위한 학습대상 이미지 추출 장치의 개략적인 구성도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 따른 자율주행을 위한 학습대상 이미지 추출 방법의 개략적인 순서도이다.

도 1을 참조하면, 자율주행을 위한 학습대상 이미지 추출 방법은 원시 동영상 수신 단계(S100), 1차 샘플링 단계(S200) 및 2차 샘플링 단계(S300)를 포함한다.

단계 S100에서, 원시 도로주행 영상 수신부(610)는 원시 도로주행 영상을 수신한다. 원시 도로주행 영상은 차량 내외부, 차도 등에 설치된 카메라에서 수집되는 동영상이다. 예를 들어, 자동차의 자율 주행을 위한 인공지능 영상 학습 데이터를 생성하기 위해 원시 도로주행 영상을 수신하는 경우, 원시 도로주행 영상은 자율 주행을 위한 학습 데이터 생성을 위하여 카메라를 부착한 자동차로부터 획득한 동영상 등 자율 주행을 위한 학습 데이터 생성이 가능한 영상이 모두 포함될 수 있으며, 이에 제한되지 않는다.

단계 S200에서, 제1 샘플링부(620)는 원시 도로주행 영상의 메타데이터에 기초하여 추출 개수를 결정하고, 원시 도로주행 영상으로부터 결정된 개수의 프레임 이미지를 추출한다. 원시 도로주행 영상의 메타데이터는 원시 도로주행 영상과 관련된 차량의 GPS 정보, 차량의 이동 속도 정보 및 원시 도로주행 영상의 촬영 시간 중 하나 이상을 포함한다.

일부 실시예에서, 제1 샘플링부(620)는 원시 도로주행 영상의 메타데이터의 차량의 GPS 정보에 기초하여, 상기 차량의 GPS 정보가 사전 결정된 지역에 포함되는 경우 해당 지역에 상응하는 개수의 프레임 이미지를 추출한다. 예를 들어, 제1 샘플링부(620)는 차량이 번화한 A 지역에 있는 경우 초당 30 프레임을 추출하고, 차량이 한적한 B 지역에 있는 경우 초당 15 프레임을 추출할 수 있다.

일부 실시예에서, 제1 샘플링부(620)는 원시 도로주행 영상의 메타데이터의 차량 이동 속도 정보에 기초하여, 차량의 이동 속도가 사전 결정된 속도 범위에 포함되는 경우, 해당 속도 범위에 상응하는 개수의 프레임 이미지를 추출한다. 예를 들어, 제1 샘플링부(620)는 차량의 이동 속도가 상대적으로 고속인 100km/h인 경우 초당 30 프레임을 추출하고, 차량의 이동 속도가 상대적으로 저속인 50km/h인 경우 초당 15 프레임을 추출할 수 있다.

일부 실시예에서, 제1 샘플링부(620)는 원시 도로주행 영상의 메타데이터의 촬영 시간에 기초하여, 차량의 이동 시간이 사전 결정된 시간 범위에 포함되는 경우 해당 시간 범위에 상응하는 개수의 프레임 이미지를 추출한다. 예를 들어, 제1 샘플링부(620)는 차량의 이동 시간이 붐비는 출퇴근 시간인 7시부터 9시 또는 18시부터 20시까지인 경우 초당 30 프레임을 추출하고, 차량의 이동 시간이 한산한 새벽 시간인 1시부터 5시까지인 경우 초당 15 프레임을 추출할 수 있다.

다른 실시예에서, 제1 샘플링부(620)는 원시 도로주행 영상의 메타데이터의 촬영 시간에 상응하는 날씨 정보에 기초하여, 날씨 정보가 사전 결정된 날씨에 포함되는 경우 해당 날씨에 상응하는 개수의 프레임 이미지를 추출한다. 예를 들어, 제1 샘플링부(620)는 촬영 시간에 상응하는 날씨 정보가 흐림, 강풍, 폭우, 폭설 등인 경우 초당 30 프레임으로 추출하고, 날씨 정보가 맑음인 경우 초당 15 프레임으로 추출할 수 있다.

단계 S300에서, 제2 샘플링부(630)는 결정된 개수의 프레임 이미지 각각의 제1 학습 대상 객체의 포함 여부 및 제1 학습 대상 객체의 이동량에 기초하여, 결정된 개수의 프레임 이미지로부터 하나 이상의 학습 대상 프레임 이미지를 추출한다. 2차 샘플링 단계(S300)는 도 5에서 보다 구체적으로 설명한다.

도 2는 본 발명의 일 실시예에 따른 도 1의 1차 샘플링 단계에 의해 추출된 프레임 이미지의 예시도이다.

도 2를 참조하면, 프레임 이미지는 1차 샘플링 단계(S200)에 의해, 예를 들어, 60 fps(frame per second), 30 fps 또는 1 fps으로 추출될 수 있다.

단계 S200에서, 제1 샘플링부(620)는 원시 도로주행 영상의 메타데이터에 기초하여 추출 개수를 결정하고, 원시 도로주행 영상으로부터 결정된 개수의 프레임 이미지를 추출한다. 예를 들어, 원시 도로주행 영상의 프레임 레이트(frame rate)가 60 fps인 경우, 제1 샘플링부(620)는 원시 도로주행 영상의 메타데이터에 따라 1초당 60개, 30개 또는 1개의 프레임을 추출할 수 있다.

단계 S200에서, 제1 샘플링부(620)는 원시 도로주행 영상의 메타데이터에 기초하여 원시 도로주행 영상을 1차 샘플링하기 때문에(즉, 불필요한 데이터를 제거하여 2차 샘플링 단계로 전달되는 데이터의 양을 감소시키기 때문에) 이후 진행되는 2차 샘플링 단계(S300) 및 학습용 데이터 셋 생성 단계(S500)에서 데이터를 처리하는데 소요되는 비용과 시간을 획기적으로 줄일 수 있다.

도 3은 도 1의 2차 샘플링 단계의 개략적인 순서도이다.

도 3을 참조하면, 2차 샘플링 단계(S300)는 제1 학습 대상 객체 검출 단계(S310) 및 제1 학습 대상 객체 이동량 측정 단계(S320)를 포함한다.

단계 S310에서, 제2 샘플링부(630)는 객체 검출 알고리즘을 이용하여 각각의 결정된 개수의 프레임 이미지 상에서 미리 정해진 하나 이상의 유형의 하나 이상의 제1 학습 대상 객체를 검출한다.

제1 학습 대상 객체는 프레임 이미지에 포함되어 있는 객체이다. 프레임 이미지에는 하나 이상의 제1 학습 대상 객체가 포함되고, 하나 이상의 유형의 제1 학습 대상 객체가 포함된다. 예를 들어, 제1 학습 대상 객체는 사람, 자동차, 자전거, 건물, 전봇대, 오토바이, 나무, 꽃, 강아지, 고양이, 도로, 교통 표지판, 과속 방지턱, 교통용 콘, 차선 등을 포함할 수 있으나, 상기 예에 한정되지 않고, 객체로서 구별이 가능한 것들을 모두 포함한다. 또한, 제1 학습 대상 객체의 유형은 객체의 전면, 후면, 우측면, 좌측면 등을 포함하나, 각 학습 대상 객체의 유형은 상기 예에 한정되지 않고, 상기 예보다 세분화시켜 구분할 수 있으며, 상기 예와는 전혀 다른 유형으로서 구분할 수 있다.

제1 학습 대상 객체 검출로써 하나 이상의 유형의 하나 이상의 객체를 검출하는 것은, 객체 검출 알고리즘을 이용하여 검출하는 것이고, 객체 검출 알고리즘은 R-CNN 모델을 포함할 수 있으나, 이에 제한되지 않는다.

단계 S320에서, 제2 샘플링부(630)는 제n(n은 2 이상의 자연수) 프레임 이미지 상의 검출된 하나 이상의 제1 학습 대상 객체의 위치와 제n 프레임 이미지의 직전의 제n-1 프레임 이미지 상의 검출된 하나 이상의 제1 학습 대상 객체의 위치를 비교하여, 제n 프레임 이미지 상의 검출된 하나 이상의 제1 학습 대상 객체 각각의 이동량을 측정한다.

학습 대상 프레임 이미지를 추출하는 방법은, 검출된 하나 이상의 제1 학습 대상 객체의 이동량이 사전 결정된 기준 이상인지를 판단하고, 검출된 하나 이상의 제1 학습 대상 객체 중 미리 정해진 개수 이상의 제1 학습 대상 객체의 이동량이 사전 결정된 기준 이상인 경우, 해당 프레임 이미지를 학습 대상 프레임 이미지로 선정한다. 하지만 검출된 하나 이상의 제1 학습 대상 객체 중 미리 정해진 개수 이상의 제1 학습 대상 객체의 이동량이 사전 결정된 기준 이상에 해당되지 않는 경우, 해당 프레임 이미지를 학습 대상 프레임 이미지로 선정하지 않는다.

제1 학습 대상 객체의 이동량의 기준을 설정하여, 사전 결정된 기준 이상인 것에 해당하는 프레임 이미지를 학습 대상 프레임 이미지로 선정함으로써 불필요한 프레임 이미지는 줄이고, 필요한 프레임 이미지만을 선정할 수 있다.

따라서, 학습 대상 프레임 이미지는 추출된 프레임 이미지 모두 학습 대상 프레임 이미지로 선정되지 않고, 객체의 이동량이 적어 학습에 있어서 영향이 크지 않는 프레임 이미지를 제외하고 남은 프레임 이미지만이 학습 대상 프레임 이미지로 선정됨으로써, 이후 단계에서 학습 데이터 셋의 양을 줄일 수 있다. 따라서, 인공지능 모듈을 학습함에 있어서, 양이 줄어든 학습 데이터 셋을 이용하여 학습에 소요되는 시간이 줄어들 수 있다.

다른 실시예에서, 제2 샘플링부(630)는 프레임 이미지로부터 교통 통제 객체의 유무를 판단하고, 해당 교통 통제 객체가 사전 결정된 기준에 부합되는 경우, 교통 통제 객체에 더 기초하여, 프레임 이미지로부터 하나 이상의 학습 대상 프레임 이미지를 추출한다. 교통 통제 객체는 프레임 이미지 상의 신호기, 교통안전표지, 교통 안전선 및 도로부대시설 등일 수 있으나, 이에 제한되지 않는다. 예를 들어, 제2 샘플링부(630)는 프레임 이미지로부터 신호기가 검출되고, 해당 신호기가 빨간불에서 녹색불로 변경되는 경우 해당 프레임 이미지 전부를 학습 대상 프레임으로 추출하고, 해당 신호기가 빨간불로 유지되는 경우 초당 프레임 이미지의 수를 절반으로 하여 해당 프레임 이미지 중에서 일부만을 학습 대상 프레임으로 추출할 수 있다.

다른 실시예에서, 제2 샘플링부(630)는 원시 도로주행 영상으로부터 촬영할 당시 차량의 내부음 및 외부음 중 적어도 하나를 추출하고, 차량의 내부음 및 외부음의 주파수가 소정의 기준 범위에 있는 경우, 차량의 내부음 및 외부음 중 적어도 하나에 더 기초하여, 프레임 이미지로부터 하나 이상의 학습 대상 프레임 이미지를 추출한다. 예를 들어, 제2 샘플링부(630)는 블랙박스의 도로주행 영상으로부터 오디오 데이터를 추출하고, 해당 오디오 데이터에서 비명 소리가 검출되는 경우 초당 30의 학습 대상 프레임을 추출하고, 아무런 소리가 검출되지 않는 경우 초당 15의 학습 대상 프레임을 추출할 수 있다.

제1 학습 대상 객체 이동량 측정 단계(S320)는 도 4에서 구체적으로 설명한다.

도 4는 도 1의 2차 샘플링 단계에서 제1 학습 대상 객체의 이동량을 측정하기 위한 방법을 설명하는 예시도이다.

도 4를 참조하면, 제1 학습 대상 객체 이동량 측정 단계(S320)에서의 이동량 측정 방법에 대하여 도시된다. 도 4 (a)는 제n-1 프레임 이미지(11), 도 2 (b)는 제n 프레임 이미지(12)를 도시한다.

제1 학습 대상 객체의 이동량 측정은 제n-1 프레임 이미지(11) 상에서의 제1 학습 대상 객체(21)와 제n 프레임 이미지(12) 상에서의 제1 학습 대상 객체(22)의 위치를 비교하는 것이다.

제n-1 프레임 이미지(11) 상에서의 제1 학습 대상 객체(21)와 제n 프레임 이미지(12) 상에서의 제1 학습 대상 객체(22)는 동일한 형태의 객체로서, 제1 학습 대상 객체의 동일한 위치에 해당하는 부분을 먼저 선정한다.

제1 학습 대상 객체의 동일한 위치에 해당하는 부분의 선정은, 컴퓨터가 제n-1 프레임 이미지(11) 상의 제1 학습 대상 객체(21)에서 특정 부분을 A로 선정하였다고 할 때, 제n 프레임 이미지(12) 상의 제1 학습 대상 객체(22)상에서 A와 동일한 위치에 해당하는 부분을 A'로 선정한다.

컴퓨터는 제1 학습 대상 객체의 동일한 위치에 해당하는 부분을 선정한 후, 제n-1 프레임 이미지(11)와 제n 프레임 이미지(12)가 동일한 평면 상에 놓은 후, A 및 A'에 대한 좌표를 추출한다.

컴퓨터는 A 및 A'에 대한 좌표를 추출한 후, A좌표 및 A'좌표의 차이를 이용하여 이동량을 측정한다.

도 5는 배경 제거 단계가 추가된 도 1의 2차 샘플링 단계의 개략적인 순서도이다.

도 5를 참조하면, 배경 제거 단계(S330)는 제1 학습 대상 객체 검출 단계(S310) 이후 진행된다.

단계 S330에서, 제2 샘플링부(630)는 각각의 결정된 개수의 프레임 이미지 상에서 제1 학습 대상 객체를 제외한 배경을 제거한다.

배경 제거 단계(S330)는, 프레임 이미지 상에서 검출된 제1 학습 대상 객체를 제외한 것들을 배경으로 처리하고, 배경 부분을 모두 제거하는 것이다. 배경 부분 제거는 배경에 해당되는 영역의 픽셀의 값을 null 상태로 하거나 소정의 특수한 값으로 처리하는 것을 포함할 수 있다. 예를 들어, 배경에 해당 되는 영역의 픽셀의 그레이(gray)를 0 그레이 또는 256 그레이로 처리할 수 있으나, 이에 제한되지 않는다.

배경 제거 단계(S330)가 추가된 2차 샘플링 단계(S300)는 도 6에서 구체적으로 설명한다.

도 6은 배경 제거 단계가 추가된 도 1의 2차 샘플링 단계에서 배경이 제거된 프레임 이미지를 이용하여 제1 학습 대상 객체의 이동량을 측정하기 위한 방법을 설명하는 예시도이다.

도 6을 참조하면, 도 6 (a)는 1차 샘플링 단계(S200)에 의해 추출된 프레임 이미지(10)를 도시하고 있으며, 프레임 이미지(10)는 제1 학습 대상 객체(20) 및 배경(30)을 포함한다.

도 6을 참조하면, 도 6 (b)는 도 6 (a)인 프레임 이미지(10)에서, 배경 제거 단계(S330)에 의해 배경(30)이 제거된 것을 나타낸 도면으로, 프레임 이미지(10)는 제1 학습 대상 객체(20)만을 포함한다.

도 6을 참조하면, 도 6 (c)는 제n(n은 2이상의 자연수) 프레임 이미지 상의 검출된 하나 이상의 제1 학습 대상 객체(21)의 위치와 제n 프레임 이미지의 직전의 배경이 제거된 제n-1 프레임 이미지 상의 검출된 하나 이상의 제1 학습 대상 객체(22)의 위치를 비교하는 것을 나타낸 도면이다.

컴퓨터는 각각의 제1 학습 대상 객체(21, 22)간의 비교를 통하여, 제1 학습 대상 객체의 이동량을 측정할 수 있다.

제1 학습 대상 객체(21, 22)의 위치 비교를 통하여, 이동량을 측정한 후, 컴퓨터는 검출된 하나 이상의 제1 학습 대상 객체(20) 중 미리 정해진 개수 이상의 제1 학습 대상 객체의 이동량이 미리 정해진 기준 이상인 경우에는, 제n 프레임 이미지를 학습 대상 프레임 이미지로 선정하고, 그렇지 않은 경우에는, 제n 프레임 이미지를 학습 대상 프레임 이미지로 선정하지 않는다.

예를 들어, 컴퓨터는 제1 프레임 이미지 상에서 검출된 제1 학습 대상 객체와 제2 프레임 이미지 상에서 검출된 제1 학습 대상 객체의 이동량을 비교하여 이동량이 미리 정해진 기준 이상인 경우에는, 제2 프레임 이미지를 학습 대상 프레임 이미지로 선정한다. 이동량이 미리 정해진 기준 이상에 해당되지 않는 경우에는, 제2 프레임 이미지를 학습 대상 프레임 이미지로 선정하지 않는다.

또한, 컴퓨터는 제2 프레임 이미지를 학습 대상 프레임 이미지로 선정 또는 선정하지 않은 것에 그치지 않고, 다시 제2 프레임 이미지 상에서 검출된 제1 학습 대상 객체와 제3 프레임 이미지 상에서 검출된 제1 학습 대상 객체의 이동량을 비교하여, 이동량이 미리 정해진 기준 이상인 경우에는, 제3 프레임 이미지를 학습 대상 프레임 이미지로 선정한다.

프레임 이미지 상의 제1 학습 대상 객체의 이동량을 측정하고 학습 대상 프레임 이미지로 선정 또는 선정하지 않는 단계는, 제n(n은 2이상의 자연수) 프레임 이미지 상의 검출된 하나 이상의 제1 학습 대상 객체와 제n-1 프레임 이미지 상의 검출된 하나 이상의 제1 학습 대상 객체의 위치를 비교하는 것으로써, 추출된 모든 프레임 이미지 상의 검출된 하나 이상의 제1 학습 대상 객체에 대하여 비교하여 학습 대상 프레임으로 선정 또는 선정하지 않는 것이 완료될 때까지 반복한다.

제1 학습 대상 객체(20)는 하나 이상으로써, 컴퓨터는 하나의 프레임 이미지(10) 상에 복수의 제1 학습 대상 객체(20)가 있는 경우, 각각의 제1 학습 대상 객체(20)를 비교하여 각각의 제1 학습 대상 객체(20)의 이동량을 측정한다.

예를 들어, 하나의 프레임 이미지(10) 상에 복수의 제1 학습 대상 객체(20)를 포함하는 경우, 컴퓨터는 복수의 제1 학습 대상 객체(20) 전부의 이동량을 측정하여, 미리 정해진 개수의 제1 학습 대상 객체(20)의 이동량이 미리 정해진 기준 이상인 경우 해당 프레임 이미지(10)를 학습 대상 프레임 이미지로 선정한다.

일부 실시예에서, 컴퓨터는 복수의 제1 학습 대상 객체(20) 전부의 이동량을 측정하여, 복수의 제1 학습 대상 객체(20) 전부의 이동량이 미리 정해진 기준 이상인 경우 해당 프레임 이미지(10)를 학습 대상 프레임 이미지로 선정한다.

다른 실시예에서, 컴퓨터는 복수의 제1 학습 대상 객체(20) 중 미리 정해진 개수의 제1 학습 대상 객체(20)의 이동량만을 측정하여, 측정한 제1 학습 대상 객체(20)의 이동량 중 미리 정해진 개수의 제1 학습 대상 객체(20)의 이동량이 미리 정해진 기준 이상인 경우 해당 프레임 이미지(10)를 학습 대상 프레임 이미지로 선정한다.

또 다른 실시예에서, 컴퓨터는 복수의 제1 학습 대상 객체(20) 중 미리 정해진 개수의 제1 학습 대상 객체(20)의 이동량만을 측정하여, 측정한 제1 학습 대상 객체(20) 전부의 이동량이 미리 정해진 기준 이상인 경우 해당 프레임 이미지(10)를 학습 대상 프레임 이미지로 선정한다.

도 6 (c)의 이동량 측정에 의해 선정된 학습 대상 프레임 이미지는, 도 4의 (d)와 같이, 추출된 프레임 이미지(11, 12, 13, 14, 15) 중에서 선정된 학습 대상 프레임 이미지(12, 14)로서 선정된다.

도 7은 본 발명의 다른 실시예에 따른 밀집변수 산출 단계가 추가된 자율주행을 위한 학습대상 이미지 추출 방법의 개략적인 순서도이다.

도 7를 참조하면, 밀집변수 산출 단계(S400)는 원시 동영상 수신 단계(S100) 이후 진행된다.

단계 S400에서, 밀집변수 산출부(640)는 원시 도로주행 영상과 관련된 지역의 밀집변수를 산출한다. 밀집변수는 특정 지역과 관련하여 인구 또는 차량이 밀집되어 있는 정도를 나타낸다. 예를 들어, 밀집변수가 상대적으로 높다면, 해당 지역의 자율주행을 위해서는 상대적으로 많은 데이터의 학습이 필요하다고 해석될 수 있다. 밀집변수 산출부(640)는 특정 지역에 대한 인구 통계 데이터 또는 차량 통계 데이터 중 하나 이상을 이용하여 특정 지역의 밀집 변수를 산출한다. 인구 통계 데이터는 도로주행 영상이 촬영된 위치 및 시간에 대응하는 인구 밀도, 인구 분포 및 유동 인구 중 적어도 하나를 포함할 수 있으나, 이에 제한되지 않는다. 또한, 차량 통계 데이터는 도로주행 영상이 촬영된 위치 및 시간에 대응하는 차량 등록 대수, 시간대 별 교통량 통계 및 대중 교통 분포 중 적어도 하나를 포함할 수 있으나, 이에 제한되지 않는다. 밀집변수 산출부(640)는 원시 도로주행 영상과 관련된 지역의 인구 통계 데이터 또는 차량 통계 데이터 중 하나 이상을 이용하여 원시 도로주행 영상과 관련된 지역의 밀집변수를 산출한다.

제1 샘플링부(620)는 메타데이터 외에도 원시 도로주행 영상과 관련된 지역의 밀집변수에 더 기초하여 추출 개수를 결정하고, 원시 도로주행 영상으로부터 결정된 개수의 프레임 이미지를 추출한다.

일부 실시예에서, 제1 샘플링부(620)는 밀집 변수가 소정의 기준 이상인 경우 프레임 이미지를 소정의 기준 이상의 개수로 추출한다. 예를 들어, 밀집 변수가 1 내지 10의 값을 가질 수 있다고 가정하자. 제1 샘플링부(620)는 밀집 변수가 10으로 상대적으로 높은 지역에서는 초당 30 프레임 이미지를 추출하고, 밀집 변수가 5로 상대적으로 낮은 지역에서는 초당 15 프레임 이미지를 추출할 수 있다.

제1 샘플링부(620)는 공공 데이터 서버를 통해 인구 통계 데이터 또는 차량 통계 데이터에 해당하는 밀집변수를 제공받을 수 있으나, 이에 제한되지 않는다.

도 8은 본 발명의 다른 실시예에 따른 학습용 데이터 셋 생성 단계가 추가된 자율주행을 위한 학습대상 이미지 추출 방법의 개략적인 순서도이다.

도 8을 참조하면, 학습용 데이터 셋 생성 단계(S500)는 2차 샘플링 단계(S300) 이후 진행된다.

단계 S500에서, 학습용 데이터 셋 생성부(650)는 하나 이상의 학습 대상 프레임 이미지를 가공 처리하여 학습용 데이터 셋을 생성한다. 단계 S500은 도 9에서 구체적으로 설명한다.

도 9는 도 8의 학습용 데이터 셋 생성 단계의 개략적인 순서도이다.

도 9를 참조하면, 학습용 데이터 셋 생성 단계(S500)는 제2 학습 대상 객체 검출 단계(S510) 및 제2 학습 대상 객체 주석화 단계(S520)를 포함한다.

단계 S510에서, 학습용 데이터 셋 생성부(650)는 학습 대상 프레임 이미지 상에서 미리 정해진 하나 이상의 유형의 하나 이상의 제2 학습 대상 객체를 검출한다.

제2 학습 대상 객체는 학습 대상 프레임 이미지에 포함되어 있는 객체이다. 학습 대상 프레임 이미지에는 하나 이상의 제2 학습 대상 객체가 포함되고, 하나 이상의 유형의 제1 학습 대상 객체가 포함된다. 예를 들어, 제2 학습 대상 객체는 사람, 자동차, 자전거, 건물, 전봇대, 오토바이, 나무, 꽃, 강아지, 고양이, 도로, 교통 표지판, 과속 방지턱, 교통용 콘, 차선 등을 포함할 수 있으나, 상기 예에 한정되지 않고, 객체로서 구별이 가능한 것들을 모두 포함한다. 또한, 제2 학습 대상 객체의 유형은 객체의 전면, 후면, 우측면, 좌측면 등을 포함하나, 각 학습 대상 객체의 유형은 상기 예에 한정되지 않고, 상기 예보다 세분화시켜 구분할 수 있으며, 상기 예와는 전혀 다른 유형으로서 구분할 수 있다.

상술한 단계 S300에서 제1 학습 대상 객체 검출은 인공지능의 학습을 위한 이미지의 선별, 즉 학습 대상 프레임 이미지의 선별을 위한 것이었다면, 단계 S510에서 제2 학습 대상 객체 검출은 주석화 처리를 위한 대상의 선별을 위한 것이다.

제2 학습 대상 객체 검출로써 하나 이상의 유형의 하나 이상의 객체를 검출하는 것은, 객체 검출 알고리즘을 이용하여 검출하는 것이고, 객체 검출 알고리즘은 R-CNN 모델을 포함할 수 있으나, 이에 제한되지 않는다.

단계 S520에서, 학습용 데이터 셋 생성부(650)는 학습 대상 프레임 이미지 상의 검출된 하나 이상의 제2 학습 대상 객체에 대하여 주석화 처리한다.

주석화 처리는 학습 대상 프레임 이미지 상의 검출된 제2 학습 대상 객체를 설명하는 데이터의 생성 작업을 의미한다. 주석화 처리는 제2 학습 대상 객체에 대하여 라벨링(labeling), 컬러링(coloring) 또는 레이어링(layering)을 하는 것을 포함한다. 또한, 제2 학습 대상 객체가 무엇인지 표시하는 것은 모두 주석화 처리로써 포함될 수 있다. 예를 들어, 학습 대상 프레임 이미지 상의 검출된 하나 이상의 제2 학습 대상 객체는 박스(box) 등의 형태로 영역이 구분되어 표시될 수 있다. 주석화 처리는 자동 처리되는 도구를 활용할 수 있다.

제2 학습 대상 객체로 구분되어 표시된 영역에 대하여, 각 제2 학습 대상 객체가 무엇인지 설명이 작성될 수 있으며, 라벨링은 하나의 단어로 작성될 수 있고, 하나의 단어가 아닌, 문장으로 자세하게 작성될 수 있다.

주석화 처리는 하나 이상의 작업자가 라벨링, 컬러링 또는 레이어링한 정보를 데이터베이스화하고, 컴퓨터에 의해 학습된 모듈을 생성하고, 학습된 모듈에 의해, 새로 들어온 학습 대상 프레임 이미지 상의 제2 학습 대상 객체가 데이터베이스화된 제2 학습 대상 객체와 유사한지를 판단함으로써, 해당 제2 학습 대상 객체에 라벨링, 컬러링 또는 레이어링을 할 수 있다.

다른 실시예에서, 학습용 데이터 셋 생성부(650)는 영상처리를 이용하여, 학습 대상 프레임 이미지 상의 검출된 하나 이상의 제2 학습 대상 객체의 중요도를 판단하고, 중요도가 소정의 기준 이상인 경우 해당 제2 학습 대상 객체에 대한 주석 정보를 생성할 수 있다. 학습용 데이터 셋 생성부(650)는 하나 이상의 제2 학습 대상 객체가 있는 경우, 중요도가 높은 제2 학습 대상 객체에 대해서만 주석 정보를 생성할 수 있다. 예를 들어, 학습 대상 프레임 이미지 상에 자동차, 신호기가 있는 경우, 해당 자동차, 신호기를 중요도가 높다고 판단하고, 해당 학습 자동차, 신호기에 대해서만 주석 정보를 생성할 수 있다.

도 10은 유효성 검증 단계가 추가된 도 8의 학습용 데이터 셋 생성 단계의 개략적인 순서도이다.

도 10을 참조하면, 유효성 검증 단계(S530)는 학습 대상 객체 주석화 단계 이후 진행된다.

단계 S530에서, 검수자는 학습용 데이터 셋의 유효성을 검증한다. 검수자 단말기는 자율주행을 위한 학습대상 이미지 추출 장치(600)로부터 학습용 데이터 셋을 수신한다. 단계 S530은 도 11에서 구체적으로 설명한다.

도 11은 도 10의 유효성 검증 단계의 개략적인 순서도이다.

도 11을 참조하면, 유효성 검증 단계(S530)는 학습용 데이터 셋의 검수 요청하는 단계(S531) 및 학습용 데이터 셋을 검수하는 단계(S532)를 포함한다.

단계 S531에서, 자율주행을 위한 학습대상 이미지 추출 장치(600)는 검수자 단말기로 검수 요청을 한다.

단계 S532에서, 검수자 단말기를 통해 검수자는 학습용 데이터 셋을 수신받고 검수를 진행한다.

일부 실시예에서, 검수자 단말기는 학습용 데이터 셋의 검수 결과 학습용 데이터 셋의 신뢰도가 소정의 기준 이상인 경우 해당 학습용 데이터 셋와 해당 신뢰도를 자율주행을 위한 학습대상 이미지 추출 장치(600)에 송신한다. 따라서, 자율주행을 위한 학습대상 이미지 추출 장치(600)는 해당 학습용 데이터 셋이 인공지능 모듈에 사용하기 적합한 데이터 셋임을 확인할 수 있다.

일부 실시예에서, 학습용 데이터 셋의 검수 결과 학습용 데이터 셋의 신뢰도가 소정의 기준 미만인 경우 해당 학습용 데이터 셋을 반려한다. 이후 검수자 단말기는 자율주행을 위한 학습대상 이미지 추출 장치(600)에 해당 학습용 데이터 셋의 재작업 요청을 한다. 자율주행을 위한 학습대상 이미지 추출 장치(600)에 의해 재작업된 학습용 데이터 셋은 단계 S531 내지 S532의 단계에 의해 재검수 받는다.

도 12는 본 발명의 다른 실시예에 따른 자율주행을 위한 학습대상 이미지 추출 장치의 개략적인 구성도이다.

도 12를 참조하면, 자율주행을 위한 학습대상 이미지 추출 장치(600)는 원시 도로주행 영상 수신부(610), 제1 샘플링부(620), 제2 샘플링부(630), 밀집변수 산출부(640) 및 학습용 데이터 셋 생성부(650)를 포함한다.

도 12의 자율주행을 위한 학습대상 이미지 추출 장치(600)의 구성요소는 도 1 내지 도 11을 참조하여 설명한 방법의 구성요소에 상응한다. 원시 도로주행 영상 수신부(610)는 원시 동영상 수신 단계(S100), 제1 샘플링부(620)는 1차 샘플링 단계(S200), 제2 샘플링부(630)는 2차 샘플링 단계(S300), 밀집변수 산출부(640)는 밀집변수 산출 단계(S400), 학습용 데이터 셋 생성부(650)는 학습용 데이터 셋 생성 단계(S500)를 수행할 수 있다. 이하, 장치(600)의 각 구성요소의 기능 또는 동작을 설명함에 있어서 중복된 설명은 생략하기로 한다.

원시 도로주행 영상 수신부(610)는 원시 도로주행 영상을 수신한다.

제1 샘플링부(620)는 원시 도로주행 영상의 메타데이터에 기초하여 추출 개수를 결정하고, 원시 도로주행 영상으로부터 결정된 개수의 프레임 이미지를 추출한다.

원시 도로주행 영상의 메타데이터는 원시 도로주행 영상과 관련된 차량의 GPS 정보, 차량의 이동 속도 정보 및 원시 도로주행 영상의 촬영 시간 중 하나 이상을 포함한다.

제2 샘플링부(630)는 결정된 개수의 프레임 이미지 각각의 제1 학습 대상 객체의 포함 여부 및 제1 학습 대상 객체의 이동량에 기초하여, 결정된 개수의 프레임 이미지로부터 하나 이상의 학습 대상 프레임 이미지를 추출한다.

밀집변수 산출부(640)는 원시 도로주행 영상과 관련된 지역의 밀집변수를 산출한다.

학습용 데이터 셋 생성부(650)는 하나 이상의 학습 대상 프레임 이미지를 가공 처리하여 학습용 데이터 셋을 생성한다.

본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

600 : 자율주행을 위한 학습대상 이미지 추출 장치
610 : 원시 도로주행 영상 수신부
620 : 제1 샘플링부
630 : 제2 샘플링부
640 : 밀집변수 산출부
650 : 학습용 데이터 셋 생성부

Claims (10)

1. 원시 도로주행 영상을 수신하는 원시 동영상 수신 단계;
   상기 원시 도로주행 영상의 메타데이터에 기초하여 추출 개수를 결정하고, 상기 원시 도로주행 영상으로부터 상기 결정된 개수의 프레임 이미지를 추출하는 1차 샘플링 단계; 및
   상기 결정된 개수의 프레임 이미지 각각의 제1 학습 대상 객체의 포함 여부 및 상기 제1 학습 대상 객체의 이동량에 기초하여, 상기 결정된 개수의 프레임 이미지로부터 하나 이상의 학습 대상 프레임 이미지를 추출하는 2차 샘플링 단계를 포함하고,
   상기 원시 도로주행 영상의 상기 메타데이터는 상기 원시 도로주행 영상과 관련된 차량의 GPS 정보, 차량의 이동 속도 정보 및 상기 원시 도로주행 영상의 촬영 시간 중 하나 이상을 포함하는,
   자율주행을 위한 학습대상 이미지 추출 방법.
2. 제1항에 있어서,
   상기 1차 샘플링 단계는,
   상기 원시 도로주행 영상과 관련된 지역의 밀집변수를 산출하는 밀집변수 산출 단계를 더 포함하고,
   상기 원시 도로주행 영상과 관련된 지역의 상기 밀집변수에 더 기초하여 상기 추출 개수를 결정하는,
   자율주행을 위한 학습대상 이미지 추출 방법.
3. 제2항에 있어서,
   상기 밀집변수 산출 단계는,
   상기 원시 도로주행 영상과 관련된 지역의 인구 통계 데이터 또는 차량 통계 데이터 중 하나 이상을 이용하여 상기 원시 도로주행 영상과 관련된 지역의 밀집변수를 산출하는,
   자율주행을 위한 학습대상 이미지 추출 방법.
4. 제1항에 있어서,
   상기 2차 샘플링 단계는,
   객체 검출 알고리즘을 이용하여 각각의 상기 결정된 개수의 프레임 이미지 상에서 미리 정해진 하나 이상의 유형의 하나 이상의 상기 제1 학습 대상 객체를 검출하는 제1 학습 대상 객체 검출 단계; 및
   제n(n은 2 이상의 자연수) 프레임 이미지 상의 검출된 상기 하나 이상의 제1 학습 대상 객체의 위치와 상기 제n 프레임 이미지의 직전의 제n-1 프레임 이미지 상의 검출된 상기 하나 이상의 제1 학습 대상 객체의 위치를 비교하여, 상기 제n 프레임 이미지 상의 검출된 상기 하나 이상의 제1 학습 대상 객체 각각의 이동량을 측정하는 제1 학습 대상 객체 이동량 측정 단계를 포함하는,
   자율주행을 위한 학습대상 이미지 추출 방법.
5. 제4항에 있어서,
   상기 2차 샘플링 단계는,
   각각의 상기 결정된 개수의 프레임 이미지 상에서 상기 제1 학습 대상 객체를 제외한 배경을 제거하는 배경 제거 단계를 더 포함하는,
   자율주행을 위한 학습대상 이미지 추출 방법.
6. 제1항에 있어서,
   상기 하나 이상의 학습 대상 프레임 이미지를 가공 처리하여 학습용 데이터 셋을 생성하는 학습용 데이터 셋 생성 단계를 더 포함하는,
   자율주행을 위한 학습대상 이미지 추출 방법.
7. 제6항에 있어서,
   상기 학습용 데이터 셋 생성 단계는,
   상기 학습 대상 프레임 이미지 상에서 미리 정해진 하나 이상의 유형의 하나 이상의 제2 학습 대상 객체를 검출하는 제2 학습 대상 객체 검출 단계; 및
   상기 학습 대상 프레임 이미지 상의 검출된 상기 하나 이상의 제2 학습 대상 객체에 대하여 주석화 처리하는 학습 대상 객체 주석화 단계를 포함하는,
   자율주행을 위한 학습대상 이미지 추출 방법.
8. 제7항에 있어서,
   상기 학습용 데이터 셋 생성 단계는,
   상기 학습용 데이터 셋의 유효성을 검증하는 유효성 검증 단계를 더 포함하는,
   자율주행을 위한 학습대상 이미지 추출 방법.
9. 원시 도로주행 영상을 수신하는 원시 도로주행 영상 수신부;
   상기 원시 도로주행 영상의 메타데이터에 기초하여 추출 개수를 결정하고, 상기 원시 도로주행 영상으로부터 상기 결정된 개수의 프레임 이미지를 추출하는 제1 샘플링부; 및
   상기 결정된 개수의 프레임 이미지 각각의 제1 학습 대상 객체의 포함 여부 및 상기 제1 학습 대상 객체의 이동량에 기초하여, 상기 결정된 개수의 프레임 이미지로부터 하나 이상의 학습 대상 프레임 이미지를 추출하는 제2 샘플링부를 포함하고,
   상기 원시 도로주행 영상의 상기 메타데이터는 상기 원시 도로주행 영상과 관련된 차량의 GPS 정보, 차량의 이동 속도 정보 및 상기 원시 도로주행 영상의 촬영 시간 중 하나 이상을 포함하는,
   자율주행을 위한 학습대상 이미지 추출 장치.
10. 컴퓨터와 결합하여, 제1항 내지 제8항 중 어느 하나의 항의 자율주행을 위한 학습대상 이미지 추출 방법을 실행시키기 위하여 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램.

Images