KR102510733B1

KR102510733B1 - 영상에서 학습 대상 이미지 프레임을 선별하는 방법 및 장치

Info

Publication number: KR102510733B1
Application number: KR1020220099942A
Authority: KR
Inventors: 정승권; 김충겸
Original assignee: 주식회사 에이모
Priority date: 2022-08-10
Filing date: 2022-08-10
Publication date: 2023-03-16
Also published as: KR102510733B9

Abstract

본 발명은 영상에서 학습 대상 이미지 프레임을 선별하는 방법 및 장치에 관한 것이다. 본 발명의 일 실시예에 따른 영상에서 학습 대상 이미지 프레임을 선별하는 방법은 이동체에 배치된 복수의 센서들로부터 획득된 운행 정보를 수신하는, 운행 정보 수신 단계, 운행 정보를 이용하여 매 이미지 프레임마다 이동체에 대한 움직임 정보를 획득하는, 움직임 정보 획득 단계, 움직임 정보 및 움직임 정보에 대응하는 미리 설정된 임계값을 비교하는, 움직임 정보 비교 단계, 및 움직임 정보가 임계값 이상일 경우, 움직임 정보에 대응하는 이미지 프레임을 학습 대상 이미지 프레임으로 선별하는, 학습 대상 이미지 프레임 선별 단계를 포함하고, 운행 정보는 시계열적으로 연속된 복수의 이미지 프레임들로 구성된 영상을 포함한다.

Description

영상에서 학습 대상 이미지 프레임을 선별하는 방법 및 장치{Method and apparatus of selecting learning target image frame from an image}

본 발명은 영상에서 학습 대상 이미지 프레임을 선별하는 방법 및 장치에 관한 것으로서, 다양한 이동체가 운행하면서 획득한 정보 및 이동체에 관한 움직임 정보를 이용하여 영상에서 학습 대상 이미지 프레임을 선별하거나 학습 대상 점군 데이터를 선별하는 방법 및 장치에 관한 것이다.

최근, 자율운행 기술을 위한 인공지능 기계학습 모델을 최적화하기 위해 많은 노력이 기울여지고 있다. 일반적으로. 인공지능 모델의 추론 성능은 학습 데이터의 수량에 특정 수준까지 비례하여 향상된다. 하지만, 자율운행용 인공지능 모델은 학습 데이터로써 이미지 프레임이나 텍스트 파일에 비해 상대적으로 용량이 큰 영상이 필요하다. 또한, 영상 데이터는 인공지능 학습을 위한 데이터 가공 단계에서 많은 시간과 비용이 소요된다. 따라서, 자율운행용 학습 데이터의 수량은, 인공지능 모델의 학습 비용을 감소시키고 인공지능 모델의 추론 성능을 향상시키도록 적절한 수량으로 유지되는 것이 중요하다.

또한, 환경 및 객체 인지를 위한 인공지능 데이터의 추론 성능을 향상시키려면, 학습 데이터는 특정 수준 이상의 환경 또는 객체의 변화량이 있어야 한다. 따라서, 자율운행용 인공지능 모델을 효율적으로 학습시키기 위해서는 적절한 학습 데이터 수량에 더불어, 학습 데이터 내에 적절한 변화량이 있어야 한다.

하지만, 종래의 기술은 원시 데이터에서 데이터 생성 시간에 따른 변화를 비교하여 일률적으로 학습 데이터를 선별하였을 뿐이다.

또한, 종래의 기술은 촬영된 환경 또는 객체의 움직임에 따라 학습 데이터를 선별하였을 뿐이다.

이에, 종래의 기술만으로는 인공지능 모델의 성능을 향상시키는데 불필요한 학습 데이터가 선별되거나 학습 데이터를 선별하는 데에 많은 비용이나 시간이 필요한 문제점이 존재하였다.

한편, 전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.

한국등록특허 제10-2015076호 (2019.08.21)

본 발명이 해결하고자 하는 일 과제는 카메라 등의 센서가 배치된 이동체가 이동한 거리에 따라 학습 대상 이미지 프레임을 선별하는, 영상에서 학습 대상 이미지 프레임을 선별하는 방법 및 장치를 제공하는 것이다.

본 발명이 해결하고자 하는 다른 과제는 카메라 등의 센서가 배치된 이동체의 회전각도의 변화량에 따라 학습 데이터를 선별하는, 영상에서 학습 대상 이미지 프레임을 선별하는 방법 및 장치를 제공하는 것이다.

본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 영상에서 학습 대상 이미지 프레임을 선별하는 방법은 이동체에 배치된 복수의 센서들로부터 획득된 운행 정보를 수신하는, 운행 정보 수신 단계, 운행 정보를 이용하여 매 이미지 프레임마다 이동체에 대한 움직임 정보를 획득하는, 움직임 정보 획득 단계, 움직임 정보 및 움직임 정보에 대응하는 미리 설정된 임계값을 비교하는, 움직임 정보 비교 단계, 및 움직임 정보가 임계값 이상일 경우, 움직임 정보에 대응하는 이미지 프레임을 학습 대상 이미지 프레임으로 선별하는, 학습 대상 이미지 프레임 선별 단계를 포함하고, 운행 정보는 시계열적으로 연속된 복수의 이미지 프레임들로 구성된 영상을 포함한다.

본 발명의 다른 특징에 따르면, 움직임 정보는, 이동체의 이미지 프레임별 단위거리당 회전각도의 변화량, 복수의 이미지 프레임들 각각에서의 회전각도 변화량을 누적한 회전각도 변화누적량, 및 회전각도 변화누적량의 절대값을 포함할 수 있고, 움직임 정보 비교 단계는, 회전각도 변화누적량의 절대값 및 회전각도 변화누적량의 절대값에 대응하는 제1 임계값을 비교하는, 각도 비교 단계를 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 회전각도는 이동체의 롤(roll) 축을 기준으로 회전하는 롤의 회전각도를 포함할 수 있고, 각도 비교 단계는, 롤의 회전각도 변화누적량 및 롤의 회전각도 변화누적량에 대응하는 제1 임계값을 비교하는 단계를 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 회전각도는 이동체의 피치(pitch) 축을 기준으로 회전하는 피치의 회전각도를 포함할 수 있고, 각도 비교 단계는, 피치의 회전각도 변화누적량 및 피치의 회전각도 변화누적량에 대응하는 제1 임계값을 비교하는 단계를 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 회전각도는 이동체의 요(yaw) 축을 기준으로 회전하는 요의 회전각도를 포함할 수 있고, 각도 비교 단계는, 요의 회전각도 변화누적량 및 요의 회전각도 변화누적량에 대응하는 제1 임계값을 비교하는 단계를 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 움직임 정보는, 이동체의 이미지 프레임별 이동거리, 및 복수의 이미지 프레임들 각각에서의 이동거리를 누적한 이동거리 누적량을 더 포함할 수 있고, 움직임 정보 비교 단계는, 이동거리 누적량 및 이동거리 누적량에 대응하는 제2 임계값을 비교하는, 거리 비교 단계를 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 학습 대상 이미지 프레임 선별 단계는, 움직임 정보가 임계값 이상이어서 이미지 프레임이 학습 대상 이미지 프레임으로 선별된 경우, 회전각도 변화누적량 및 이동거리 누적량을 초기화시키는 단계를 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, 운행 정보는 시계열적으로 연속된 복수의 점군 데이터를 더 포함하고, 복수의 점군 데이터는 이동체에 배치된 라이다(lidar)센서에 의해 획득되고, 획득된 시간에 따라 영상과 동기화되고, 학습 대상 이미지 프레임 선별 단계 이후에, 학습 대상 이미지 프레임이 선별된 경우 선별된 이미지 프레임이 획득된 시간과 대응하는 시간에 획득된 점군 데이터를 학습 대상 점군 데이터로 선별하는, 학습 대상 점군 데이터 선별 단계를 더 포함할 수 있다.

전술한 바와 같은 과제를 해결하기 위하여 본 발명의 다른 실시예에 따른 영상에서 학습 대상 이미지 프레임을 선별하는 장치는 이동체에 배치된 복수의 센서들로부터 획득된 운행 정보를 저장하는 메모리, 및 메모리와 데이터를 송수신하도록 연결된 프로세서를 포함하고, 프로세서는, 메모리에 저장된 운행 정보를 수신하고, 운행 정보를 이용하여 매 이미지 프레임마다 이동체에 대한 움직임 정보를 획득하고, 움직임 정보 및 움직임 정보에 대응하는 미리 설정된 임계값을 비교하고, 움직임 정보가 임계값 이상일 경우 움직임 정보에 대응하는 이미지 프레임을 학습 대상 이미지 프레임으로 선별하고, 운행 정보는 시계열적으로 연속된 이미지 프레임들로 구성된 영상을 포함한다.

본 발명의 다른 특징에 따르면, 움직임 정보는, 이동체의 이미지 프레임별 단위거리당 회전각도의 변화량, 복수의 이미지 프레임들 각각에서의 회전각도 변화량을 누적한 회전각도 변화누적량, 및 회전각도 변화누적량의 절대값을 포함할 수 있고, 프로세서는, 회전각도 변화누적량의 절대값 및 회전각도 변화누적량의 절대값에 대응하는 제1 임계값을 비교할 수 있다.

본 발명의 또 다른 특징에 따르면, 회전각도는 이동체의 롤(roll) 축을 기준으로 회전하는 롤의 회전각도를 포함할 수 있고, 프로세서는, 롤의 회전각도 변화누적량 및 롤의 회전각도 변화누적량에 대응하는 제1 임계값을 비교할 수 있다.

본 발명의 또 다른 특징에 따르면, 회전각도는 이동체의 피치(pitch) 축을 기준으로 회전하는 피치의 회전각도를 포함할 수 있고, 프로세서는, 피치의 회전각도 변화누적량 및 피치의 회전각도 변화누적량에 대응하는 제1 임계값을 비교할 수 있다.

본 발명의 또 다른 특징에 따르면, 회전각도는 이동체의 요(yaw) 축을 기준으로 회전하는 요의 회전각도를 포함할 수 있고, 프로세서는, 요의 회전각도 변화누적량 및 요의 회전각도 변화누적량에 대응하는 제1 임계값을 비교할 수 있다.

본 발명의 또 다른 특징에 따르면, 움직임 정보는, 이동체의 이미지 프레임별 이동거리, 및 복수의 이미지 프레임들 각각에서의 이동거리를 누적한 이동거리 누적량을 더 포함할 수 있고, 프로세서는, 이동거리 누적량 및 이동거리 누적량에 대응하는 제2 임계값을 비교할 수 있다.

본 발명의 또 다른 특징에 따르면, 프로세서는, 움직임 정보가 임계값 이상이어서 이미지 프레임이 학습 대상 이미지 프레임으로 선별된 경우, 메모리에 저장된 회전각도 변화누적량 및 이동거리 누적량을 초기화시킬 수 있다.

본 발명의 또 다른 특징에 따르면, 운행 정보는 시계열적으로 연속된 복수의 점군 데이터를 더 포함하고, 복수의 점군 데이터는 이동체에 배치된 라이다센서에 의해 획득되고, 획득된 시간에 따라 영상과 동기화되고, 상기 프로세서는, 학습 대상 이미지 프레임이 선별된 경우 선별된 이미지 프레임이 획득된 시간과 대응하는 시간에 획득된 점군 데이터를 학습 대상 점군 데이터로 선별할 수 있다.

본 발명의 과제 해결 수단 중 어느 하나에 의하면, 이동체의 이동거리 또는 단위거리당 이동체의 회전각도의 변화량에 따라 균일한 변화량을 가진 연속적인 학습 대상 이미지 프레임을 선별하므로, 이동체가 이동한 시간에 따라 학습 데이터를 선별하는 방법에 비해, 자율운행용 인공지능 모델의 학습 효율이 향상된다.

본 발명의 과제 해결 수단 중 어느 하나에 의하면, 영상에서 학습 대상 이미지 프레임을 선별하는 방법 및 장치는 촬영된 이미지 내 객체 또는 환경의 변화를 판단하지 않고, 카메라 등의 센서가 배치된 이동체의 의미있고 균일한 움직임을 이용하여 학습 데이터를 선별하므로, 학습 대상 이미지 프레임 선별에 소요되는 연산시간 및 비용이 감소될 수 있다.

본 발명의 과제 해결 수단 중 어느 하나에 의하면, 영상에서 학습 대상 이미지 프레임을 선별하는 방법 및 장치는 이미지 프레임뿐만 아니라 동일 시간에 획득된 점군 데이터도 학습 대상 데이터로 선별하여, 데이터 가공을 수월하게 하고 자율운행 인공지능의 학습 효율을 더욱 향상시킬 수 있다.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일 실시예에 따른 영상에서 학습 대상 이미지 프레임을 선별하는 장치를 설명하기 위한 블록도이다.
도 2는 본 발명의 이동체 및 이동체의 회전각도를 설명하기 위한 사시도이다.
도 3은 본 발명의 또 다른 이동체 및 이동체의 회전각도를 설명하기 위한 사시도이다.
도 4는 본 발명의 일 실시예에 따른 영상에서 학습 대상 이미지 프레임을 선별하는 방법을 설명하기 위한 순서도이다.
도5는 본 발명의 다른 실시예에 따른 영상에서 학습 대상 이미지 프레임을 선별하는 방법을 설명하기 위한 순서도이다.
도 6은 이동체가 유턴할 경우 이미지 프레임이 생성된 시간에 따른 회전각도 변화량에 대한 예시적인 그래프이다.
도 7은 도 6과 대응되는 이미지 프레임이 생성된 시간에 따른 회전각도 변화누적량에 대한 예시적인 그래프이다.
도 8은 이동체가 운행 중 유턴을 시작할 경우 이미지 프레임마다 이동체의 운행 정보, 움직임 정보 및 학습 대상 이미지 프레임 선별 여부를 저장한 예시적인 테이블이다.
도 9는 도 8의 테이블에서 학습 대상 이미지 프레임으로 선별된 192번째 이미지 프레임이다.
도 10은 도 8의 테이블에서 학습 대상 이미지 프레임으로 선별된 253번째 이미지 프레임이다.
도 11은 도 8의 테이블에서 학습 대상 이미지 프레임으로 선별된 257번째 이미지 프레임이다.
도 12는 본 발명의 또 다른 실시예에 따른 영상에서 학습 대상 이미지 프레임을 선별하는 방법을 설명하기 위한 순서도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이다. 본 실시예들은 단지 본 발명의 개시가 완전하도록 하여서 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 즉, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 발명의 실시예를 설명하기 위한 도면에 개시된 형상, 크기, 비율, 각도, 개수 등은 예시적인 것이므로 본 발명이 도시된 사항에 한정되는 것은 아니다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다. 본 명세서 상에서 언급된 '포함한다', '갖는다', '이루어진다' 등이 사용되는 경우 '~만'이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성요소를 단수로 표현한 경우에 특별히 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함한다.

구성요소를 해석함에 있어서, 별도의 명시적 기재가 없더라도 오차 범위를 포함하는 것으로 해석한다.

비록 제1, 제2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않는다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있다.

별도로 명시하지 않는 한 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.

이하, 본 명세서에서 사용되는 용어에 대해 정의한다.

이동체의 운행이란, 차량의 주행, 드론의 비행 및 잠수정이나 선박의 운항을 포함한다. 이동체의 자율운행이란 사람의 조종이 없이도 학습된 인공지능 모델을 이용하여 이동체가 스스로 운행함을 의미한다. 구체적으로, 차량의 자율주행, 드론을 포함한 비행체의 자율비행 또는 잠수정이나 선박의 자율운항은 이동체의 자율운행에 포함된다.

이하, 첨부된 도면을 참조하여, 본 발명을 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 영상에서 학습 대상 이미지 프레임을 선별하는 장치를 설명하기 위한 블록도이다.

먼저 도 1을 참조하면, 영상에서 학습 대상 이미지 프레임을 선별하는 장치(100)는 메모리(110) 및 프로세서(120)를 포함한다. 또한 영상에서 학습 대상 이미지 프레임을 선별하는 장치(100)는 센서부(130), 학습 프로세서(140), 입력부(150), 출력부(160) 및 통신부(170)를 더 포함할 수 있다.

도 1을 참조하면, 메모리(110)는 영상 저장부(111) 및 인공 신경망 모델(112)을 포함할 수 있다. 메모리(110)에는 영상에서 학습 대상 이미지 프레임을 선별하는 장치(100)가 송수신 하는 다양한 데이터가 저장될 수 있다. 즉, 메모리(110)에는 영상에서 학습 대상 이미지 프레임을 선별하는 장치(100)의 입력으로 이용되는 데이터 또는 영상에서 학습 대상 이미지 프레임을 선별하는 장치(100)가 출력한 데이터가 저장될 수 있다. 예컨대, 메모리(110)에는 센서부(130)에서 획득된 영상 등의 이미지 데이터, 회전각도 데이터, 위치(GPS) 데이터 또는 속도 데이터가 저장되거나, 학습 프로세서(140)에 의해 가공된 데이터가 저장될 수 있다. 또한, 메모리(110)에는 입력부(150)에서 사용자의 입력으로 인해 변화된 데이터가 저장되거나, 학습 프로세서(140) 및 메모리(110)에 저장된 학습용 데이터를 통해 학습되는 인공 신경망 모델(112)이 저장될 수 있다. 또한, 메모리(110)에는 운행 정보를 이용해 프로세서(120)가 획득한 움직임 정보가 저장될 수 있다.

또한, 메모리(110)에는 적어도 하나의 명령어가 저장될 수 있다. 또한, 메모리(110)는 복수의 메모리(110)로 구성될 수 있으며, 이러한 경우 각각의 메모리(110)는 다양한 데이터들을 데이터 획득 센서, 데이터 유형, 획득된 시간, 획득된 환경, 활용 단계 또는 데이터 크기에 따라 분산하여 저장할 수 있다.

도 1을 참조하면, 프로세서(120)는 메모리(110), 센서부(130), 학습 프로세서(140), 입력부(150), 출력부(160) 및 통신부(170)와 데이터를 송수신 가능하도록 연결된다. 프로세서(120)는 멀티 프로세서로 구성될 수 있다.

프로세서(120)는 적어도 하나의 명령어를 실행할 수 있다. 따라서, 프로세서(120)는 메모리(110)에 저장된 적어도 하나의 명령어에 대응하는 작업을 수행할 수 있다. 즉, 프로세서(120)는 메모리(110)의 데이터를 요청, 검색, 수신 또는 활용할 수 있고, 상기 적어도 하나의 명령어에 따라 장치(100)의 각 구성요소들을 제어할 수 있다. 이와 같이 프로세서(120)는 영상에서 학습 대상 이미지 프레임을 선택하기 위한 다양한 단계들을 수행하고 데이터를 처리할 수 있으며, 구체적인 단계들에 대해서는 이하 도 2 등을 참조하여 후술한다.

도 1을 참조하면, 센서부(130)는 라이다센서(131), 레이더센서(132), 카메라(133), 적외선센서(134), GPS센서(135), 속도센서(136) 및 초음파센서(137)를 포함할 수 있다. 센서부(130)는 외부의 정보를 센싱하여 이미지, 소리 및 위치 데이터를 포함한 다양한 데이터 또는 메타데이터를 프로세서(120)에 제공할 수 있다. 센서부(130)는 자율운행 학습용 데이터를 수집하기 위한 이동체에 서로 다른 방향을 향해 서로 다른 위치에 배치된 다양한 종류의 복수의 센서들로 구성될 수 있다.

속도센서(136)는 이동체의 속도, 가속도 또는 각속도에 관련된 센서이다. 속도센서(136)는 다양한 종류의 속도 센서, 가속도 센서, 각속도 센서, 자이로 센서 등을 포함할 수 있다. 또한, 속도센서(136)는 롤레이트(roll-rate) 센서, 피치레이트(pitch-rate) 센서, 요레이트(yaw-rate) 센서를 포함한다.

센서부(130)는 동일 시간에 획득된 복수의 다양한 종류의 데이터 또는 메타데이터를 메모리(110)에 저장할 수 있다. 예컨대, 센서부(130)는 시계열적으로 연속된 이미지 프레임들로 구성된 영상, 매 이미지 프레임당 획득 간격, 이미지 프레임 각각의 ID, 이미지 프레임별 단위시간당 회전각도 변화량 및 이미지 프레임별 이동체의 속도를 포함하는 운행 정보를 메모리(110)에 저장할 수 있다. 이에, 프로세서(120)는 센서부(130)로부터 메모리(110)에 저장된 다양한 종류의 데이터들을 이용하여 새로운 데이터를 획득할 수 있다. 예컨대, 프로세서(120)는 메모리(110)에 저장된 운행 정보를 이용하여 이동체의 움직임 정보를 획득할 수 있다.

도 1을 참조하면, 학습 프로세서(140)는 메모리(110)에 저장된 인공 신경망 모델(112)을 학습시킬 수 있다. 예컨대, 학습 프로세서(140)는 센서부(130)가 수집한 원시 이미지 데이터를 이용하여 메모리(110)에 저장된 인공 신경망 모델(112)을 학습시키고, 프로세서(120)는 학습된 인공 신경망 모델(112)을 이용하여 원시 이미지 데이터에 레이블링(labeling) 작업을 할 수 있다. 학습 프로세서(140)는 그래픽 처리 장치(GPU)일 수 있다.

도 1을 참조하면, 입력부(150)는 사용자 입력부(151)를 포함할 수 있다. 입력부(150)는 가공되지 않은 입력 데이터를 획득할 수 있다. 사용자 입력부(151)는 사용자에게서 수신된 명령어나 데이터를 획득할 수 있다. 입력부(150)는 획득한 명령어나 데이터를 영상에서 학습 대상 이미지 프레임을 선별하는 장치(100)의 다른 구성들로 송신할 수 있다.

출력부(160)는 디스플레이(161)를 포함할 수 있다. 디스플레이(161)는 다양한 데이터 및 수치 등을 시각화하여 출력할 수 있다. 예컨대, 디스플레이(161)는 영상에 포함된 이미지 프레임들을 출력할 수 있고, 이미지 프레임들에서 획득된 객체정보들 및 이에 포함된 적어도 하나의 수치를 테이블(table) 또는 그래프로 시각화하여 출력할 수 있다. 나아가, 출력부(160)는 영상에서 학습 대상 이미지 프레임을 선별하는 장치(100)에서 선택된 적어도 하나의 학습 대상 이미지 프레임도 시각화하여 출력할 수 있다.

통신부(170)는 영상에서 학습 대상 이미지 프레임을 선별하는 장치(100)의 외부 신호와 유선 또는 무선으로 데이터를 송수신할 수 있다. 예컨대, 통신부(170)는 외부의 메모리와 유선 또는 무선으로 연결되어, 프로세서(120)로 데이터를 송신하거나, 프로세서(120)가 처리한 데이터를 외부로 송신하도록 할 수 있다.

도 2는 본 발명의 이동체 및 이동체의 회전각도를 설명하기 위한 사시도이다. 도 3은 본 발명의 또 다른 이동체 및 이동체의 회전각도를 설명하기 위한 사시도이다.

도 2를 참조하면, 이동체(200)는 드론으로써 제1센서(233), 제2센서(235) 및 제3센서(236)를 포함한다. 도 3을 참조하면, 이동체(300)는 차량으로써 제1 센서(333), 제2 센서(335) 및 제3 센서(336)를 포함한다.

이동체(200, 300)는 자율운행용 인공지능 모델이 학습하는 대상일 수 있다. 구체적으로, 이동체(200, 300)는 자율운행용 인공지능 모델의 추론 성능을 향상시키도록 학습 대상 이미지 프레임을 수집하는 드론을 포함하는 비행체, 차량, 선박 또는 잠수정일 수 있다. 즉, 이동체(200, 300)의 종류, 크기 또는 형태는 한정되지 않는다. 이동체(200, 300)는 사람이 조종하거나, 사람의 조종이 없이 인공지능을 이용하여 스스로 이동할 수 있다.

도 2 및 도 3을 참조하면, 제1센서(233, 333)는 카메라(133)일 수 있다. 이 경우, 제1센서(233, 333)는 시계열적으로 연속된 복수의 이미지 프레임들로 구성되는 영상을 획득할 수 있다. 제2 센서(235, 335)는 GPS센서(135)일 수 있다. 이 경우, 제2센서(235, 335)는 이동체(200, 300)의 좌표, 좌표의 변화량, 이동방향 또는 이동방향의 변화 각도를 획득할 수 있다. 제3센서(236, 336)는 속도센서(136)일 수 있다. 이 경우, 제3센서(236, 336)는 가속도 센서, 각속도 센서, 자이로 센서, 롤레이트(roll-rate) 센서, 피치레이트(pitch-rate) 센서 또는 요레이트(yaw-rate) 센서 중 적어도 하나일 수 있다. 이에, 제3센서(236, 336)는 이동체(200, 300)의 속도 또는 단위시간당 회전각도 변화량을 획득할 수 있다.

또한, 제1센서(233, 333), 제2센서(235, 335) 및 제3센서(236, 336) 중 적어도 어느 하나는 라이다센서(131)일 수 있다. 라이다센서(131)는 레이저 펄스를 방사하여 점군 데이터를 획득할 수 있다. 점군 데이터는 3D 데이터일 수 있다. 이동체(200, 300)에 배치되는 센서의 배치 위치, 개수 및 종류는 한정되지 않으며, 상술한 센서부(130)의 다양한 센서들로 구성될 수 있다.

도 2 및 도 3을 참조하면, 이동체(200, 300)의 이동방향을 x축(240, 340)으로 볼 수 있다. 이러한 경우, 이동체(200, 300)의 이동방향과 직교하는 축들 중, 이동체(200, 300)의 측부를 관통하는 축은 y축(250, 350)으로 볼 수 있다. 또한, 이동체(200, 300)의 이동방향과 직교하는 축들 중, 이동체(200, 300)의 상하를 관통하는 축은 z축(260, 360)으로 이해될 수 있다. 한편, 기본적인 3개의 축인 x축(240, 340), y축(250, 350) 및 z축(260, 360)을 기준으로 하는 이동체(200, 300)의 회전은 롤(roll), 피치(pitch) 및 요(yaw)를 포함한다. 이에, x축(240, 340)은 롤 축, y축(250, 350)은 피치 축, z축(260, 360)은 요 축으로 이해될 수 있다.

이동체(200, 300)가 회전을 한다면, 이 때의 회전각도는 롤의 회전각도(243, 343), 피치의 회전각도(253, 353) 및 요의 회전각도(263, 363)로 표현될 수 있다. 구체적으로, 이동체(200, 300)가 x축(240, 340)을 기준으로 회전을 하면, 즉 좌측 또는 우측이 상승하거나 하강하는 회전을 하면, 롤의 회전각도(243, 343)가 존재한다. 또는, 이동체(200, 300)가 y축(250, 350)을 기준으로 회전을 하면, 즉 전방 또는 후방이 상승하거나 하강하는 회전을 하면, 피치의 회전각도(253, 353)가 존재한다. 또는, 이동체(200, 300)가 z축(260, 360)을 기준으로 회전을 하면, 즉 좌회전을 하거나 우회전을 한 경우, 요의 회전각도(263, 363)가 존재한다.

이동체(200, 300) 단위시간당 롤의 회전각도 변화량은 롤레이트(roll-rate)로, 단위시간당 피치의 회전각도 변화량은 피치레이트(pitch-rate)로, 단위시간당 요의 회전각도 변화량은 요레이트(yaw-rate)로 이해될 수 있다. 프로세서(120)는 센서부(130)를 통해 획득한 운행 정보인 이동체(200, 300)의 단위시간당 회전각도 변화량을 이동체(200, 300)의 속도로 나눠, 이동체(200, 300)의 움직임 정보인 단위거리당 회전각도 변화량을 산출할 수 있다.

상술한 실시예에 따르면, 이동체(200, 300)의 어떤 회전이라도 롤, 피치 및 요의 회전각도로 표현될 수 있다. 나아가, GPS센서(135) 또는 속도센서(136)는 이동체(200, 300)의 단위시간당 이동거리를 획득할 수 있다. 그리고, 이미지 프레임별 이동체(200, 300)의 회전각도 변화량 및 이동거리를 이용하여 이동체(200, 300)의 모든 움직임이 명확하게 특정될 수 있다. 이로써, 영상에서 학습 대상 이미지 프레임을 선별하는 장치(100)는 이동체(200, 300)에 설치된 센서들(233, 235, 236, 333, 335, 336)로부터 이동체(200, 300)의 운행정보를 수신하고 움직임 정보를 획득할 수 있다. 또한, 운행 정보를 이용하여 획득한 이동체(200, 300)의 움직임 정보를 바탕으로, 프로세서(120)는 자율운행용 인공지능 모델의 추론 성능을 효과적으로 향상시킬 수 있는 이미지 프레임을 학습 대상 이미지 프레임으로 선별할 수 있다.

도 4는 본 발명의 일 실시예에 따른 영상에서 학습 대상 이미지 프레임을 선별하는 방법을 설명하기 위한 순서도이다.

도 4를 참조하면, 영상에서 학습 대상 이미지 프레임을 선별하는 방법은, 프로세서(120)가 메모리(110)에 저장된 이동체에 배치된 복수의 센서들로부터 획득되고 메모리(110)에 저장된 운행 정보를 수신하는 운행 정보 수신 단계(S410), 운행 정보를 이용하여 매 이미지 프레임마다 이동체에 대한 움직임 정보를 획득하는 움직임 정보 획득 단계(S420), 움직임 정보 및 움직임 정보에 대응되는 미리 설정된 임계값을 비교하는 움직임 정보 비교 단계(S430) 및 움직임 정보에 대응되는 이미지 프레임을 학습 대상 이미지 프레임으로 선별하는 학습 대상 이미지 프레임 선별 단계(S440)를 포함한다.

이하, 각 단계들을 순서에 따라 구체적으로 설명하기로 한다. 프로세서(120)는 이동체에 배치된 복수의 센서들로부터 획득되고 메모리(110)에 저장된 운행 정보를 수신한다(S410). 구체적으로, 영상에서 학습 대상 이미지 프레임을 선별하는 장치(100)는 이동체에 배치된 카메라(133)로부터 획득된 영상, 속도센서(136)로부터 획득된 각도 변화량 및 속도를 포함하는 운행 정보를 수신한다.

운행 정보 수신 단계(S410)에서 운행 정보는 이동체에 배치된 복수의 센서들로부터 획득된 이동체의 운행에 대한 다양한 데이터이다. 운행 정보는 센서부(130)에 의해 획득된 시계열적으로 연속된 이미지 프레임들로 구성된 영상, 매 이미지 프레임당 획득 간격 및 영상을 구성하는 이미지 프레임 각각의 ID를 포함할 수 있다. 영상은 이미지(image), 동영상 또는 비디오(video)로 이해될 수 있다. 영상은 이동체에 배치된 복수의 센서들 중 카메라(133)에 의해 획득될 수 있다. 또한 운행 정보는 라이다센서(131)에 의해 획득된 시계열적으로 연속된 복수의 점군 데이터를 포함할 수 있다. 복수의 점군 데이터는 획득된 시간에 따라 영상과 동기화될 수 있다. 따라서, 프로세서(120)는 영상에 포함된 각각의 이미지 프레임들의 획득시간에 대응되는 각각의 점군 데이터를 메모리(110)에서 획득할 수 있다. 예컨대, 프로세서(120)는 어떤 이미지 프레임이 학습 대상 이미지 프레임으로 선별되었다면, 학습 대상 이미지 프레임으로 선별된 이미지 프레임이 획득된 시간과 같은 시간에 획득된 점군 데이터를 식별할 수 있다.

또한, 운행 정보는 센서부(130)에 의해 획득된 이미지 프레임 ID, 이미지 프레임별 단위시간당 회전각도 변화량 및 이미지 프레임별 이동체의 속도를 포함할 수 있다. 이 경우, 운행 정보는 GPS센서(135) 또는 속도센서(136)에 의해 획득될 수 있다. 여기서, 단위 시간은 예컨대 1ms(millisecond) 또는 획득된 이미지 프레임들의 간격일 수 있다. 이미지 프레임들의 획득 주기는 FPS(Frame Per Second) 또는 hz(hertz)를 이용하여 획득될 수 있다.

프로세서(120)는 운행 정보를 이용하여 매 이미지 프레임마다 이동체에 대한 움직임 정보를 획득한다(S420). 구체적으로, 영상에서 학습 대상 이미지 프레임을 선별하는 장치(100)는 영상, 각도 변화량 또는 속도를 포함하는 운행 정보를 이용하여 매 이미지 프레임마다 이동체의 회전각도 변화량, 회전각도 변화누적량, 이동거리 또는 이동거리 누적량을 포함하는 움직임 정보를 획득할 수 있다.

움직임 정보는 매 이미지 프레임마다 이동체의 움직임에 대한 정보이다. 프로세서(120)는 메모리(110)에 저장된 운행 정보를 이용하여 움직임 정보를 획득할 수 있다. 구체적으로, 움직임 정보는 메모리(110)에 저장된 운행 정보 또는 센서부(130)가 데이터를 획득하는 주기 등을 프로세서(120)가 수신하고 연산과정을 거쳐 획득한 데이터일 수 있다.

움직임 정보는 이동체의 이미지 프레임별 단위거리당 회전각도의 변화량, 복수의 이미지 프레임들 각각에서의 회전각도 변화량을 누적한 회전각도 변화누적량 및 회전각도 변화누적량의 절대값을 포함할 수 있다. 이 경우, 이동체의 단위거리당 회전각도는 운행 정보인 이동체의 단위시간당 회전각도의 변화량을 이동체의 속도로 나눈 값일 수 있다.

또한, 움직임 정보는 이동체의 이미지 프레임별 이동거리 및 복수의 이미지 프레임들 각각에서의 이동거리를 누적한 이동거리 누적량을 포함할 수 있다. 이 경우, 이동체의 이동거리는 운행 정보인 이동체의 속도와 매 이미지 프레임당 획득 간격을 곱한 값일 수 있다.

움직임 정보 비교 단계(S330)에서 임계값은 해당 이미지 프레임을 학습 대상 이미지 프레임으로 선별할지 여부를 판단하기 위해 대응되는 움직임 정보와 비교하는 값이다. 예컨대, 움직임 정보가 회전각도 누적변화량의 절대값일 때, 이와 대응되는 임계값은 사전에 10°로 설정되어 메모리(110)에 저장되어 있을 수 있다. 이 경우, 프로세서(120)는 해당 이미지 프레임에서의 회전각도 누적변화량이 10° 이상인지 비교한다.

프로세서는(120)는 움직임 정보에 대응되는 이미지 프레임을 학습 대상 이미지 프레임으로 선별한다. 구체적으로, 영상에서 학습 대상 이미지 프레임을 선별하는 장치(100)는 움직임 정보 비교 단계(S430)에서 움직임 정보 및 대응되는 임계값을 비교한 결과 움직임 정보가 임계값 이상일 경우, 움직임 정보에 대응되는 이미지 프레임을 학습 대상 이미지 프레임으로 선별한다.

상술한 실시예에 따르면, 영상에서 학습 대상 이미지 프레임을 선별하는 방법은 획득된 이미지 내 객체 또는 환경에 대해 판단하여 학습 대상 이미지 프레임을 선별하지 않고 복수의 센서가 배치된 이동체의 움직임만을 이용하여 학습 대상 이미지 프레임을 선별하므로, 학습 대상 이미지 프레임 선별에 소요되는 연산시간 및 비용이 매우 적다.

또한 상술한 실시예에 따르면, 영상에서 학습 대상 이미지 프레임을 선별하는 방법은 시계열적으로 연속되면서 의미있고 균일한 움직임이 존재하는 이미지 프레임만을 선별하므로, 자율운행용 인공지능 모델의 추론 성능을 향상시킬 수 있다.

도 5는 본 발명의 다른 실시예에 따른 영상에서 학습 대상 이미지 프레임을 선별하는 방법을 설명하기 위한 순서도이다. 본 실시예의 일부 구성이 앞서 설명된 다른 실시예의 일부 구성과 실질적으로 동일하거나 대응된다면, 그 구성에 대한 설명은 생략될 수 있다.

도 5를 참조하면, 상술한대로 움직임 정보 획득 단계(S420)에서 움직임 정보는, 이동체의 이미지 프레임별 회전각도 변화량, 회전각도 변화누적량, 회전각도 변화누적량의 절대값, 이동거리 또는 이동거리 누적량을 포함할 수 있다.

이하, 각 움직임 정보에 대해 구체적으로 설명하기로 한다. 회전각도 변화량은 이동체의 해당 이미지 프레임에서의 단위거리당 회전각도의 변화량이다. 따라서 이동체의 회전각도 변화량은 운행 정보인 단위시간당 회전각도 변화량을 속도로 나누어서 획득할 수 있다. 단위시간당 회전각도 변화량은 이동체에 배치된 센서부(130)에 의해 획득된 운행 정보에 포함될 수 있다. 단위시간을 매 이미지 프레임들이 획득된 간격으로 설정한다면, 단위시간당 회전각도 변화량은 직전 이미지 프레임이 생성된 시각부터 해당 이미지 프레임이 생성된 시각까지 이동체의 진행방향이 회전한 각도로 이해될 수 있다. 회전각도 변화량은 양의 값일 수도, 음의 값일 수도 있다. 회전각도 변화량을 산출하는 수식은 다음과 같다.

회전각도 변화누적량은 복수의 이미지 프레임들 각각에서의 회전각도 변화량을 누적한 값이다. 임의의 이미지 프레임으로부터 n번째 이미지 프레임까지의 회전각도 변화누적량을 산출하는 수식은 다음과 같다.

회전각도 변화누적량의 절대값은 회전각도 변화누적량의 부호를 양의 부호로 한 값이다. 학습 대상 이미지 프레임 선별을 위해 이미지 프레임에서 의미있는 변화가 있는지를 판단할 때, 회전각도의 부호 즉, 이동체가 회전한 방향은 중요하지 않기 때문이다.

상술한 회전각도 변화량, 회전각도 변화누적량 및 회전각도 변화누적량의 절대값은 롤, 피치 및 요 축에 대하여 각각 획득될 수 있다.

이동거리는 직전 이미지 프레임이 생성된 시각부터 해당 이미지 프레임이 생성된 시각까지 이동체가 움직인 거리이다. 따라서 이동체의 이동거리는 매 이미지 프레임당 획득 간격 및 해당 이미지 프레임에서의 속도를 곱하여 획득할 수 있다. 또한, 이동거리 누적량은 복수의 이미지 프레임들 각각에서의 이동거리를 누적한 값이다.

상술한 움직임 정보는 프로세서(120)의 연산에 의해 획득될 수 있고, 획득된 움직임 정보는 메모리(110)에 저장될 수 있다. 이 때, 움직임 정보는 이미지 프레임 생성순서로 메모리(110)에 저장될 수 있으며, 출력부(160)에 의해 움직임 정보의 적어도 하나의 수치가 시계열적으로 시각화될 수 있다. 예컨대, 회전각도 변화량은 그래프의 형식으로 디스플레이(161)를 통해 출력될 수 있다.

도 5를 참조하면, 움직임 정보 비교 단계(S430)는 각도 비교 단계(S531) 및 거리 비교 단계(S435)를 포함한다. 구체적으로, 각도 비교 단계(S531)에서 회전각도 변화누적량의 절대값이 그와 대응되는 제1 임계값(θ) 이상일 경우, 프로세서(120)는 해당 이미지 프레임을 학습 대상 이미지 프레임으로 선별(S541)하고, 그렇지 않을 경우 거리 비교 단계(S535)로 진행한다. 거리 비교 단계(S535)에서 이동거리 누적량이 그와 대응되는 제2 임계값(d) 이상일 경우, 프로세서(120)는 해당 이미지 프레임을 학습 대상 이미지 프레임으로 선별한다(S541). 거리 비교 단계(S535)에서 이동거리 누적량이 그와 대응되는 제2 임계값(d) 미만일 경우, 프로세서(120)는 해당 이미지 프레임을 학습데이터로 선별하지 않고(S542), 다음 이미지 프레임에 대해 반복적으로 움직임 정보 비교 단계(S430)를 수행한다. 이 때, 회전각도 변화누적량의 절대값과 제1 임계값(θ)을 비교하는 단계(S531) 및 이동거리 누적량과 제2 임계값(d)을 비교하는 단계(S535)의 순서는 서로 변경될 수 있다.

도 5를 참조하면, 회전각도 누적변화량의 절대값은 롤, 피치 및 요 축에 대하여 각각 산출될 수 있으므로, 그에 대응하는 제1 임계값들(

,

)도 각각 사전에 설정될 수 있다. 또한, 롤, 피치 및 요의 회전각도 누적변화량의 절대값 각각을 그와 대응되는 제1 임계값들과 동시에 비교하거나, 어느 하나만 비교할 수 있다. 예컨대, 요의 회전각도 누적변화량의 절대값만 그와 대응되는 제1 임계값(

)과 비교할 수 있다.

또는, 롤, 피치 및 요의 회전각도 누적변화량의 절대값 각각을 연산해서 산출된 값을 그에 대응되는 하나의 제1 임계값과 비교할 수 있다. 예컨대, 롤, 피치 및 요의 회전각도 누적변화량의 절대값의 평균값이 그와 대응되는 제1 임계값 이상일 경우, 해당 이미지 프레임을 학습 대상 이미지 프레임으로 선별할 수 있다. 또는, 롤, 피치 및 요의 회전각도 누적변화량의 절대값 각각을 3차원 유클리드 공간 속 좌표들로 가정하고, 이 3개의 좌표를 이용하여 3차원 유클리드 거리(Euclidean distance)를 산출하고, 그와 대응되는 제1 임계값 이상일 경우 해당 이미지 프레임을 학습 대상 이미지 프레임으로 선별할 수 있다.

예컨대, 롤의 회전각도 누적변화량의 절대값이 3, 피치의 회전각도 누적변화량의 절대값이 4, 요의 회전각도 누적변화량의 절대값이 12일 때, 3개 수치의 평균값은 6.33 이지만, 3차원 유클리드 거리는 13이다. 이와 같이, 3차원 유클리드 거리는 평균값에 비해, 회전각도 누적변화량이 큰 축의 수치가 지배적인 영향을 발휘한다.

도 5를 참조하면, 자율운행용 인공지능 모델을 효과적으로 학습시키기 위해 이동체가 의미있는 움직임을 보였다고 판단되는 수치를 임계값으로 설정할 수 있다. 예컨대, 회전각도 누적변화량의 절대값에 대응하는 제1 임계값(θ)은 10[deg/m]일 수 있다. 또한, 바람직하게는, 이동거리 누적량에 대응하는 제2 임계값(d)은 10[m]일 수 있다. 이러한 임계값은 인공지능 모델을 효과적으로 학습시키기 위해 효율적인 값으로 설정될 수 있으며, 변경될 수도 있다.

도 5를 참조하면, 학습 대상 이미지 프레임 선별 단계(S440)에서 하나의 이미지 프레임이 학습 대상 이미지 프레임으로 선별(S541)되었을 경우, 프로세서(120)는 메모리(110)에 저장된 회전각도 변화누적량 및 이동거리 누적량을 0으로 초기화시킨다(S443). 이에, 다음으로 선별될 이미지 프레임은 회전각도 변화누적량 또는 이동거리 누적량이 다시 임계값 이상인 이미지 프레임이 되므로, 직전에 선별된 이미지 프레임에 비하여 이동체의 의미있는 움직임을 포함할 수 있다.

회전각도 변화누적량의 절대값이 제1 임계값 미만이고, 이동거리 변화 누적량의 절대값도 제2 임계값 미만인 경우, 프로세서(120)는 해당 이미지 프레임을 학습 대상 이미지 프레임으로 선별하지 않고(S442) 다음 이미지 프레임에 대하여 움직임 정보 비교 단계(S330)를 반복한다.

상술한 실시예에 따르면, 자율운행용 인공지능 모델의 추론 성능을 효과적으로 향상시킬 수 있도록 이동체의 충분한 각도로 회전한 경우 해당 이미지 프레임을 학습 대상 이미지 프레임으로 선별할 수 있다.

또한, 상술한 실시예에 따르면, 이동거리 누적량을 제2 임계값과 비교하므로, 이동체가 운행한 시간을 임계값과 비교하는 경우보다 더욱 균일한 변화량을 가진 연속적인 학습 대상 이미지 프레임을 선별할 수 있다.

또한, 상술한 실시예에 따르면, 한 이미지 프레임이 학습 대상 이미지 프레임으로 선별된 경우, 회전각도 변화누적량 및 이동거리 누적량을 초기화하고, 학습 대상 이미지 프레임으로 선별되지 않은 경우 다음 이미지 프레임에 대하여 움직임 정보 비교 단계(S330)를 반복적으로 진행하므로, 영상에서 학습 대상 이미지 프레임을 자동으로 선별할 수 있다.

도 6은 이동체가 유턴할 경우 이미지 프레임이 생성된 시간에 따른 회전각도 변화량에 대한 예시적인 그래프이다. 도 7은 도 6과 대응되는 이미지 프레임이 생성된 시간에 따른 회전각도 변화누적량에 대한 예시적인 그래프이다.

도 6 및 도 7의 실시예에서 움직임 정보 비교 단계(S430)는 요의 회전각도 변화누적량의 절대값을 비교하는 각도 비교 단계(S531)만을 포함할 수 있다. 이는 예시적인 그래프이므로, 요 뿐만 아니라, 롤 또는 피치의 회전각도 변화누적량의 절대값을 비교하는 각도 비교 단계(S531) 역시 움직임 정보 비교 단계(S430)에 포함될 수 있다. 또한, 회전각도 변화누적량에 대응하는 제1 임계값은 예시적으로 10[deg/m]이다.

도 6의 그래프를 참조하면, 이동체가 약 7초부터 약 17초까지의 구간동안 유턴을 하였다. 그래프를 참조하면, 0초부터 약 7초까지는 이동체는 직선 운행을 하였고, 약 7초부터 획득된 이미지 프레임에서의 이동체의 회전각도 변화량이 증가하기 시작하고, 약 10초부터 높은 회전각도 변화량을 기록했고, 약 12.5초부터 회전각도 변화량이 줄어들기 시작하고, 약 17초가 지난 후 이동체는 유턴을 종료하였다.

도 7의 그래프는 도 6의 그래프의 회전각도 변화량들이 누적된 회전각도 변화누적량에 대한 그래프이다. 어느 이미지 프레임에서의 회전각도 변화누적량의 절대값이 10[deg/m]이상인 경우, 회전각도 변화누적량의 값은 0으로 초기화되고 그 이미지 프레임은 학습 대상 이미지 프레임으로 선별된다.

도 7의 그래프를 참조하면, 회전각도 변화누적량의 절대값이 0에서 10 사이를 반복하는 것으로 도시되어 있다. 특히, 0초부터 약 7초까지의 직선 운행 구간에서는 회전각도 변화누적량이 -10과 0 사이를 반복하면서 학습 대상 이미지 프레임이 적게 선별되었다. 또한, 약 7초부터 약 17초까지의 유턴 구간에서는 회전각도 변화누적량이 0과 10 사이를 매우 자주 반복하면서 학습 대상 이미지 프레임이 매우 자주 선별되었음을 확인할 수 있다. 따라서 상술한 실시예에 따르면, 자율운행용 인공지능 모델의 추론 성능을 효과적으로 향상시킬 만큼 이동체의 움직임에 의미있는 변화가 있는 구간에서 학습 대상 이미지 프레임이 더 자주 선별될 수 있다.

도 8은 이동체가 운행 중 유턴을 시작할 경우 이미지 프레임마다 이동체의 운행 정보, 움직임 정보 및 학습 대상 이미지 프레임 선별 여부를 저장한 예시적인 테이블이다. 도 9는 도 8의 테이블에서 학습 대상 이미지 프레임으로 선별된 192번째 이미지 프레임이다. 도 10은 도 8의 테이블에서 학습 대상 이미지 프레임으로 선별된 253번째 이미지 프레임이다. 도 11은 도 8의 테이블에서 학습 대상 이미지 프레임으로 선별된 257번째 이미지 프레임이다.

도 8 내지 도 11의 실시예에서 움직임 정보 비교 단계(S430)는 요의 회전각도 변화누적량의 절대값을 비교하는 각도 비교 단계(S531) 및 거리 비교 단계(S535)를 포함한다. 또한, 회전각도 변화누적량에 대응하는 제1 임계값은 10[deg/m]이고, 이동거리 누적량에 대응하는 제2 임계값은 10[m]이다.

도 8을 참조하면, 매 이미지 프레임별로 센서부(130)가 획득한 운행 정보(881), 운행 정보(881)를 기초로 프로세서(120)가 획득한 움직임 정보(883) 및 학습 대상 이미지 프레임 선별 여부가 메모리(110)에 테이블(800)로 저장되어 있다. 구체적으로, 매 이미지 프레임마다 연속된 이미지 프레임 ID, 요레이트 및 속도로 구성된 운행 정보(881)가 저장되어 있다. 여기서, 요레이트는 단위시간당 요의 회전각도 변화량으로 이해될 수 있다. 또한, 속도는 단위시간당 이동거리로 이해될 수 있다. 또한, 매 이미지 프레임마다 회전각도 변화량, 회전각도 변화누적량, 이동거리 및 이동거리 누적량으로 구성된 움직임 정보(883)가 저장되어 있다. 또한, 각도 비교 단계(S531) 또는 거리 비교 단계(S535)를 거치면서 학습 대상 이미지 프레임으로 선별되었는지 여부가 저장되어 있다.

도 8을 참조하면, 191번째 이미지 프레임의 회전각도 변화누적량의 절대값은 6.283[deg/m]이며, 이동거리 누적량은 9.977[m]임을 알 수 있다. 그 후, 192번째 이미지 프레임의 이동거리 누적량은 대응하는 제2 임계값인 10[m] 이상이므로, 192번째 이미지 프레임은 학습 대상 이미지 프레임으로 선별되고 회전각도 변화누적량 및 이동거리 누적량은 0으로 초기화된다.

도 9는 192번째 이미지 프레임이다. 이동체가 직선 운행을 하고 있음을 알 수 있다. 여기서 이동체는 차선을 운행중인 차량으로 표현되지만, 이동체는 차량에 한정되지 않는다.

다시 도 8을 참조하면, 252번째 이미지 프레임의 회전각도 변화누적량의 절대값은 8.317[deg/m]이며, 이동거리 누적량은 9.449[m]임을 알 수 있다. 191번째 이미지 프레임과 비교할 때, 회전각도 변화누적량의 절대값이 증가하였음을 알 수 있다. 그 후, 253번째 이미지 프레임의 이동거리 누적량은 대응하는 제2 임계값인 10[m] 이상이므로, 253번째 이미지 프레임은 학습 대상 이미지 프레임으로 선별되고 회전각도 변화누적량 및 이동거리 누적량은 0으로 초기화된다.

도 10은 253번째 이미지 프레임이다. 도 9와 비교할 때, 이동체가 요의 축을 기준으로 반시계 방향으로 살짝 회전하였음을 확인할 수 있다. 따라서 이동체가 속도를 서서히 줄이고 유턴을 시작하고 있음을 확인할 수 있다.

다시 도 8을 참조하면, 257번째 이미지 프레임의 회전각도 변화누적량의 절대값은 7.346[deg/m]이며, 이동거리 누적량은 0.381[m]임을 알 수 있다. 252번째 이미지 프레임과 비교할 때, 회전각도 변화누적량의 절대값이 증가하고, 이동거리 누적량이 급격하게 낮아졌음을 알 수 있다. 그 후, 257번째 이미지 프레임의 회전각도 변화누적량은 대응하는 제1 임계값인 10[deg/m] 이상이므로, 257번째 이미지 프레임은 학습 대상 이미지 프레임으로 선별되고 회전각도 변화누적량 및 이동거리 누적량은 0으로 초기화된다.

도 11은 257번째 이미지 프레임이다. 도 10와 비교할 때, 이동체가 요의 축을 기준으로 반시계 방향으로 확실하게 회전한 반면, 거리 이동은 거의 없었음을 알 수 있다. 따라서 이동체가 직선 운행을 완전히 멈추고 유턴을 하고 있음을 확인할 수 있다.

상술한 실시예에 따르면, 이미지 프레임 내에 포함된 환경 또는 객체들의 위치 변화가 의미있게 발생하면서도 균일한 변화량을 보이는 이미지 프레임들만이 학습 대상 이미지 프레임으로 선별되므로, 인공지능 모델의 추론 성능이 매우 향상될 수 있다.

또한, 상술한 실시예에 따라 선별된 학습 대상 이미지 프레임은 운행 정보를 포함하는 복수의 이미지 프레임들에 대한 데이터들 또는 이를 포함하는 테이블에서, 선별되지 않은 이미지 프레임과 시각적으로 상이하게 표시될 수 있다. 이에, 작업자나 학습 대상 이미지 프레임을 선별하는 장치는, 선별된 학습 대상 이미지 프레임을 보다 용이하게 파악할 수 있고, 학습 대상 이미지 프레임들을 별도로 저장하여 자율운행을 위한 인공지능 모델을 학습시키는데 보다 용이하고 신속하게 처리할 수 있다.

도 12는 본 발명의 또 다른 실시예에 따른 영상에서 학습 대상 이미지 프레임을 선별하는 방법을 설명하기 위한 순서도이다. 본 실시예의 일부 구성이 앞서 설명된 다른 실시예의 일부 구성과 실질적으로 동일하거나 대응된다면, 그 구성에 대한 설명은 생략될 수 있다.

도 12를 참조하면, 영상에서 학습 대상 이미지 프레임을 선별하는 방법은 학습 대상 이미지 프레임 선별 단계(S440) 이후에 학습 대상 점군 데이터 선별 단계(S1250)를 더 포함한다. 상술한대로, 메모리(110)에 저장된 운행 정보에는 이동체에 배치된 라이다센서(131)에 의해 획득된 시계열적으로 연속된 복수의 점군 데이터가 더 포함되어 있고, 복수의 점군 데이터는 획득된 시간에 따라 영상과 동기화된 상태이다. 따라서, 어떤 이미지 프레임이 학습 대상 이미지 프레임으로 선별된다면, 프로세서(120)는 선별된 이미지 프레임이 획득된 시간과 대응하는 시간에 획득된 점군 데이터를 학습 대상 점군 데이터로 선별할 수 있다.

상술한 실시예에 따르면, 이미지 프레임뿐만 아니라 동일 시간에 획득된 점군 데이터도 학습 대상 데이터로 선별된다. 라이다의 3D 점군 데이터는 객체 식별에 용이하고 카메라의 2D 이미지 프레임과 서로 동기화되어 다양한 데이터 가공이 가능하므로, 학습 데이터의 질이 더욱 향상될 수 있다.

본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서에 의해 실행되는 하드웨어, 소프트웨어 모듈 또는 그 2 개의 결합으로 직접 구현될 수도 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM 또는 당업계에 알려진 임의의 다른 형태의 기록 매체 또는 저장 매체에 상주할 수도 있다. 예시적인 기록 매체 또는 저장 매체는 프로세서에 커플링되며, 그 프로세서는 기록 매체 또는 저장 매체로부터 정보를 판독할 수 있고 기록 매체 또는 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 기록 매체 또는 저장 매체는 프로세서와 일체형일 수도 있다. 프로세서 및 기록 매체 또는 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. 주문형 집적회로는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.

이상 첨부된 도면을 참조하여 본 발명의 실시예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형실시될 수 있다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100 영상에서 학습 대상 이미지 프레임을 선별하는 장치
110 메모리
111 영상 저장부
112 인공 신경망 모델
120 프로세서
130 센서부
131 라이다센서
132 레이더센서
133 카메라
134 적외선센서
135 GPS센서
136 속도센서
137 초음파센서
140 학습 프로세서
150 입력부
151 사용자 입력부
160 출력부
161 디스플레이
170 통신부
200 이동체
233 제1센서
235 제2센서
236 제3센서
240 x축
243 롤의 회전각도
250 y축
253 피치의 회전각도
260 z축
263 요의 회전각도
300 이동체
333 제1센서
335 제2센서
336 제3센서
340 x축
343 롤의 회전각도
350 y축
353 피치의 회전각도
360 z축
363 요의 회전각도
800 테이블
881 운행 정보
883 움직임 정보

Claims

이동체에 배치된 복수의 센서들로부터 획득된 운행 정보를 수신하는, 운행 정보 수신 단계;
상기 운행 정보를 이용하여 매 이미지 프레임마다 상기 이동체에 대한 움직임 정보를 획득하는, 움직임 정보 획득 단계;
상기 움직임 정보 및 상기 움직임 정보에 대응하는 미리 설정된 임계값을 비교하는, 움직임 정보 비교 단계; 및
상기 움직임 정보가 상기 임계값 이상일 경우, 상기 움직임 정보에 대응하는 이미지 프레임을 학습 대상 이미지 프레임으로 선별하는, 학습 대상 이미지 프레임 선별 단계를 포함하고,
상기 운행 정보는 시계열적으로 연속된 복수의 이미지 프레임들로 구성된 영상을 포함하고,
상기 움직임 정보는,
상기 이동체의 이미지 프레임별 단위거리당 회전각도의 변화량;
상기 복수의 이미지 프레임들 각각에서의 상기 회전각도의 변화량을 누적한 회전각도의 변화누적량; 및
상기 회전각도의 변화누적량의 절대값을 포함하고,
상기 움직임 정보 비교 단계는,
상기 회전각도의 변화누적량의 절대값 및 상기 회전각도의 변화누적량의 절대값에 대응하는 제1 임계값을 비교하는, 각도 비교 단계를 포함하는,
영상에서 학습 대상 이미지 프레임을 선별하는 방법.
제1항에 있어서,
상기 학습 대상 이미지 프레임 선별 단계는,
상기 움직임 정보가 상기 임계값 이상이어서 이미지 프레임이 학습 대상 이미지 프레임으로 선별된 경우,
상기 회전각도의 변화누적량을 초기화시키는 단계를 포함하는,
영상에서 학습 대상 이미지 프레임을 선별하는 방법.
제1항에 있어서,
상기 회전각도는 상기 이동체의 롤(roll) 축을 기준으로 회전하는 롤의 회전각도를 포함하고,
상기 각도 비교 단계는,
상기 롤의 회전각도의 변화누적량 및 상기 롤의 회전각도의 변화누적량에 대응하는 제1 임계값을 비교하는 단계를 포함하는,
영상에서 학습 대상 이미지 프레임을 선별하는 방법.
제1항에 있어서,
상기 회전각도는 상기 이동체의 피치(pitch) 축을 기준으로 회전하는 피치의 회전각도를 포함하고,
상기 각도 비교 단계는,
상기 피치의 회전각도의 변화누적량 및 상기 피치의 회전각도의 변화누적량에 대응하는 제1 임계값을 비교하는 단계를 포함하는,
영상에서 학습 대상 이미지 프레임을 선별하는 방법.
제1항에 있어서,
상기 회전각도는 상기 이동체의 요(yaw) 축을 기준으로 회전하는 요의 회전각도를 포함하고,
상기 각도 비교 단계는,
상기 요의 회전각도의 변화누적량 및 상기 요의 회전각도의 변화누적량에 대응하는 제1 임계값을 비교하는 단계를 포함하는,
영상에서 학습 대상 이미지 프레임을 선별하는 방법.
제1항에 있어서,
상기 움직임 정보는,
상기 이동체의 이미지 프레임별 이동거리; 및
상기 복수의 이미지 프레임들 각각에서의 상기 이동거리를 누적한 이동거리의 누적량을 더 포함하고,
상기 움직임 정보 비교 단계는,
상기 이동거리의 누적량 및 상기 이동거리의 누적량에 대응하는 제2 임계값을 비교하는, 거리 비교 단계를 포함하는,
영상에서 학습 대상 이미지 프레임을 선별하는 방법.
제6항에 있어서,
상기 학습 대상 이미지 프레임 선별 단계는,
상기 움직임 정보가 상기 임계값 이상이어서 이미지 프레임이 학습 대상 이미지 프레임으로 선별된 경우,
상기 이동거리의 누적량을 초기화시키는 단계를 포함하는,
영상에서 학습 대상 이미지 프레임을 선별하는 방법.
제1항에 있어서,
상기 운행 정보는 시계열적으로 연속된 복수의 점군 데이터를 더 포함하고,
상기 복수의 점군 데이터는 상기 이동체에 배치된 라이다(lidar)에 의해 획득되고, 획득된 시간에 따라 상기 영상과 동기화되고,
상기 학습 대상 이미지 프레임 선별 단계 이후에,
상기 학습 대상 이미지 프레임이 선별된 경우 상기 선별된 이미지 프레임이 획득된 시간과 대응하는 시간에 획득된 상기 점군 데이터를 학습 대상 점군 데이터로 선별하는, 학습 대상 점군 데이터 선별 단계를 더 포함하는,
영상에서 학습 대상 이미지 프레임을 선별하는 방법.
이동체에 배치된 복수의 센서들로부터 획득된 운행 정보를 저장하는 메모리; 및
상기 메모리와 데이터를 송수신하도록 연결된 프로세서를 포함하는,
영상에서 학습 대상 이미지 프레임을 선별하는 장치에 있어서,
상기 프로세서는,
상기 메모리에 저장된 상기 운행 정보를 수신하고,
상기 운행 정보를 이용하여 매 이미지 프레임마다 상기 이동체에 대한 움직임 정보를 획득하고,
상기 움직임 정보 및 상기 움직임 정보에 대응하는 미리 설정된 임계값을 비교하고,
상기 움직임 정보가 상기 임계값 이상일 경우 상기 움직임 정보에 대응하는 이미지 프레임을 학습 대상 이미지 프레임으로 선별하고,
상기 운행 정보는 시계열적으로 연속된 이미지 프레임들로 구성된 영상을 포함하고,
상기 움직임 정보는,
상기 이동체의 이미지 프레임별 단위거리당 회전각도의 변화량;
상기 복수의 이미지 프레임들 각각에서의 상기 회전각도의 변화량을 누적한 회전각도의 변화누적량; 및
상기 회전각도의 변화누적량의 절대값을 포함하고,
상기 프로세서는,
상기 회전각도의 변화누적량의 절대값 및 상기 회전각도의 변화누적량의 절대값에 대응하는 제1 임계값을 비교하는,
영상에서 학습 대상 이미지 프레임을 선별하는 장치.
제9항에 있어서,
상기 프로세서는,
상기 움직임 정보가 상기 임계값 이상이어서 이미지 프레임이 학습 대상 이미지 프레임으로 선별된 경우,
상기 메모리에 저장된 상기 회전각도의 변화누적량을 초기화시키는,
영상에서 학습 대상 이미지 프레임을 선별하는 장치.
제9항에 있어서,
상기 회전각도는 상기 이동체의 롤(roll) 축을 기준으로 회전하는 롤의 회전각도를 포함하고,
상기 프로세서는,
상기 롤의 회전각도의 변화누적량 및 상기 롤의 회전각도의 변화누적량에 대응하는 제1 임계값을 비교하는,
영상에서 학습 대상 이미지 프레임을 선별하는 장치.
제9항에 있어서,
상기 회전각도는 상기 이동체의 피치(pitch) 축을 기준으로 회전하는 피치의 회전각도를 포함하고,
상기 프로세서는,
상기 피치의 회전각도의 변화누적량 및 상기 피치의 회전각도의 변화누적량에 대응하는 제1 임계값을 비교하는,
영상에서 학습 대상 이미지 프레임을 선별하는 장치.
제9항에 있어서,
상기 회전각도는 상기 이동체의 요(yaw) 축을 기준으로 회전하는 요의 회전각도를 포함하고,
상기 프로세서는,
상기 요의 회전각도의 변화누적량 및 상기 요의 회전각도의 변화누적량에 대응하는 제1 임계값을 비교하는,
영상에서 학습 대상 이미지 프레임을 선별하는 장치.
제9항에 있어서,
상기 움직임 정보는,
상기 이동체의 이미지 프레임별 이동거리; 및
상기 복수의 이미지 프레임들 각각에서의 상기 이동거리를 누적한 이동거리의 누적량을 더 포함하고,
상기 프로세서는,
상기 이동거리의 누적량 및 상기 이동거리의 누적량에 대응하는 제2 임계값을 비교하는,
영상에서 학습 대상 이미지 프레임을 선별하는 장치.
제14항에 있어서,
상기 프로세서는,
상기 움직임 정보가 상기 임계값 이상이어서 이미지 프레임이 학습 대상 이미지 프레임으로 선별된 경우,
상기 메모리에 상기 이동거리의 누적량을 초기화시키는,
영상에서 학습 대상 이미지 프레임을 선별하는 장치.
제9항에 있어서,
상기 운행 정보는 시계열적으로 연속된 복수의 점군 데이터를 더 포함하고,
상기 복수의 점군 데이터는 상기 이동체에 배치된 라이다센서에 의해 획득되고, 획득된 시간에 따라 상기 영상과 동기화되고,
상기 프로세서는,
상기 학습 대상 이미지 프레임이 선별된 경우 상기 선별된 이미지 프레임이 획득된 시간과 대응하는 시간에 획득된 상기 점군 데이터를 학습 대상 점군 데이터로 선별하는,
영상에서 학습 대상 이미지 프레임을 선별하는 장치.