KR20200061560A

KR20200061560A - 움직임 객체 gt 생성 방법 및 시스템

Info

Publication number: KR20200061560A
Application number: KR1020180146999A
Authority: KR
Inventors: 양창모; 김동칠; 추유식
Original assignee: 전자부품연구원
Priority date: 2018-11-26
Filing date: 2018-11-26
Publication date: 2020-06-03
Also published as: KR102362318B1; WO2020111506A1

Abstract

본 발명에 따른 움직임 객체의 GT 정보 생성 방법은 GT 정보를 생성할 움직임 객체가 존재하는 장면의 시작 프레임과 마지막 프레임에서 각각 상기 움직임 객체가 존재하는 영역을 특정하는 단계와, 상기 시작 프레임과 마지막 프레임에서 각각 상기 움직임 객체가 존재하는 영역을 기초로, 상기 시작 프레임과 마지막 프레임에 존재하는 하나 이상의 중간 프레임 각각에서 움직임 객체의 존재 영역을 추정하는 단계와, 추정된 상기 존재 영역을 상기 하나 이상의 중간 프레임 각각에서 상기 움직임 객체의 위치로 결정하는 단계를 포함하며, 동영상의 움직임 객체의 GT 정보 생성를 용이하고 정확하게 생성할 수 있다.

Description

움직임 객체 GT 생성 방법 및 시스템{Moving Object Ground Truth generation method and system}

본 발명은 영상 내에서의 객체 GT(Ground Truth)의 정보 생성 방법 및 시스템에 관한 것으로서, 특히 동영상 내의 임직임 객체에 대한 GT 정보 생성 방법에 시스템에 관한 것이다.

영상에서의 객체 인식 및 추적과 관련해서는 물체(객체)를 검출하는 기술이 기본인데, 종래의 객체 검출 방식은 물체의 GT(Ground Truth)를 추출하고 이를 학습시켜서 검출기를 생성하여 객체 검출을 수행하는 방식을 취한다. 따라서, 움직임 객체의 GT 정보는 동영상에서의 객체 움직임 정보를 기반으로 기계학습을 수행하기 위해 필수적인 것이다.

종래의 움직임 객체 GT 정보 생성 방법에서는 사용자가 동영상의 프레임을 일일이 확인하며, 각 프레임에 위치한 움직임 객체의 바운딩 박스(Bounding Box)를 수동으로 지정함으로서 객체의 위치 정보를 수동으로 지정하는 방법이 사용되었다.

그러나 이러한 수동 GT 정보 생성 방법은 방대한 학습용 영상에 대한 움직임 객체의 GT 정보를 사용자가 수동으로 태깅하기 때문에 많은 인력과 시간이 소요되는 단점을 가진다.

전술한 문제점을 해결하기 위하여, 본 발명은 동영상의 움직임 객체 GT 태깅을 자동화함으로써 움직임 객체의 GT 정보 생성을 효율적으로 수행하는 방법 및 시스템을 제시하고자 한다.

또한, 자동화된 GT 정보 생성 결과에 대한 검증 및 수정이 가능한 방법 및 시스템을 제공하는 것을 목적한다.

전술한 과제를 달성하기 위하여, 본 발명에 따른 움직임 객체 GT 정보 생성 방법은, GT 정보를 생성할 움직임 객체가 존재하는 장면의 시작 프레임과 마지막 프레임에서 각각 상기 움직임 객체가 존재하는 영역을 특정하는 단계와, 상기 시작 프레임과 마지막 프레임에서 각각 상기 움직임 객체가 존재하는 영역을 기초로, 상기 시작 프레임과 마지막 프레임에 존재하는 하나 이상의 중간 프레임 각각에서 움직임 객체의 존재 영역을 추정하는 단계와, 추정된 상기 존재 영역을 상기 하나 이상의 중간 프레임 각각에서 상기 움직임 객체의 위치로 결정하는 단계를 포함한다.

상기 존재 영역은 각 프레임에 해당 움직임 객체가 존재하는 영역의 좌상점, 우상점, 좌하점, 우하점의 위치를 지정하는 구조의 바운딩 박스로 표현되고 관리된다.

중간 프레임에서의 객체 위치 추정은, 시작 프레임의 객체 존재 영역(바운딩 박스)과 마지막 프레임에서의 객체 존재 영역의 차이에 기초하여 하나 이상의 각 중간 프레임의 순서대로 선형적으로 추정한다.

또한, 각 객체의 종류나 속성 고려하거나 또는 이들 모두를 고려하여 비선형적으로 추정하는 것도 가능하다.

중간 프레임에 대한 움직임 객체의 위치에 대한 추정 결과는 수정할 수 있으며, 중간 프레임 중 적어도 하나의 프레임에 대해서 움직임 객체의 존재 영역을 추가로 특정하고, 상기 적어도 하나의 프레임에서 추가로 특정된 존재 영역과 상기 시작 프레임과 마지막 프레임간의 존재 영역을 기초로 다른 중간 프레임에서의 객체 존재 영역을 수정하는 단계를 포함한다.

본 발명의 다른 면에 따른 움직임 객체 GT 정보 생성 시스템은, 움직임 객체가 존재하는 동영상을 저장하는 영상 저장부와, 상기 영상 저장부로부터 동영상 파일을 입력받아, 각 프레임에 존재하는 객체별로 GT 정보를 분석하여 생성하는 GT 분석부와, 상기 GT 분석부가 생성한 GT 정보를 수정하는 GT 정보 수정부와, 수정 완료된 GT 정보를 변환하여 메타테이터를 생성하는 메타데이터 생성부를 포함한다.

상기 메타데이터 생성부는, 상기 GT 정보를 XML, EXCEL, JSON, TEXT 중 어느 하나의 포맷으로 변환한다.

본 발명에 따르면, 움직임 객체 GT 태깅 방법을 자동화 하여 GT 정보를 종래의 방법과 비교하여 보다 효율적으로 생성할 수 있다.

또한, 자동 생성된 GT 정보를 용이하게 검토하고 수정할 수 있어 GT 정보의 자동 생성 결과의 신뢰성을 높일 수 있다.

도 1은 본 발명에 따른 움직임 객체 GT 정보 생성 시스템의 구성도.
도 2는 본 발명의 일 실시예에 따른 움직임 객체의 위치 정보를 기술하는 예시도.
도 3(a)는 본 발명에 따른 움직임 객체 GT 정보의 생성 방식을 설명하기 위한 도면.
도 3(b)는 본 발명에 따른 움직임 객체 GT 정보의 수정 방식을 설명하기 위한 도면.
도 4는 본 발명에 따른 움직임 객체 GT 정보 생성 및 수정 방법에 대한 순서도.

본 발명의 목적 및 효과는 이상에서 언급한 것으로 제한되지 않으며, 본 발명의 목적 및 효과, 그리고 그것들을 달성하기 위한 기술적 구성들은 첨부 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.

본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있다. 이하의 각 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며 본 발명의 범위를 제한하고자 하는 것이 아니다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함" 또는 "구비"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...유닛", "...장치", "...디바이스", "...부" 또는 "...모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

한편, 본 발명의 각 실시예에 있어서, 각 구성요소들, 기능 블록들 또는 수단들은 하나 또는 그 이상의 하부 구성요소로 구성될 수 있으며, 각 구성요소들이 수행하는 전기, 전자, 기계적 기능들은 전자회로, 집적회로, ASIC(Application Specific Integrated Circuit) 등 공지된 다양한 소자들 또는 기계적 요소들로 구현될 수 있으며, 각각 별개로 구현되거나 2 이상이 하나로 통합되어 구현될 수도 있다.

이하, 바람직한 몇 실시예를 들어 본 발명에 대하여 상세히 설명한다.

객체의 GT 정보는 아래의 표 1처럼 위치 정보뿐 아니라, 영상 내의 객체의 개수만큼 객체 ID 목록을 구성하고, 각 객체에 대해 객체 ID를 기준으로 객체의 종류, 객체의 자세, 객체의 상태, 객체의 위치 정보, 객체의 속성 정보를 포함할 수 있다

객체의 개수
	객체 ID (LIST)
		객체의 종류
		객체의 자세
		객체의 상태
		객체의 위치 정보
		객체의 속성

객체의 종류는 ‘사람’ 또는 ‘자동차’와 같이 구분되며, 객체의 자세는 이미지나 동영상 프레임에 표현되는 객체의 자세를 ‘앞’, ‘뒤’, ‘좌’, ‘우’, ‘앞-좌’, ‘앞-우’, ‘뒤-우’, ‘뒤-좌’와 같이 8방향으로 구분하여 표현한다.

객체의 상태는 객체의 전체가 이미지나 동영상 프레임에서 보이는지의 유무 혹은 다른 객체와의 겹침 유무에 따라 ‘전체’, ‘잘림’, ‘겹침’으로 구분한다.

객체의 위치 정보는 이미지나 동영상 프레임의 (0, 0)의 좌표를 기준으로 객체의 바운딩 박스(Bounding Box)가 표현되는 4개의 좌표를 표현한다.

객체의 속성 정보는 객체의 종류에 따라 다르게 구성되는데, 객체의 종류가 예컨대 사람인 경우에는 인종, 성별, 나이, 키, 상의 컬러, 하의 컬러, 안경 착용 여부로 구성되며, 객체의 종류가 자동차인 경우에는 자동차 색상, 번호판 번호, 자동차 제조사, 자동차 모델, 자동차 연식으로 구성될 수 있다.

그러나, 설명의 편의와 본 발명의 핵심적 기술 내용에 집중하기 위하여, 본 명세서에서 움직임 객체 GT 정보라는 용어는 동영상 내에서 움직임이 있는 움직임 객체의 각 프레임 내 위치 정보를 의미하는 것으로 이용된다.

또한 움직임 객체라는 용어는 객체 자체가 어떤 장소에서 다른 장소로 이동하는 이동 객체는 물론이고, 동일 장소에서 자세를 바꾸거나 동작을 취하여 프레임간 바운딩 박스의 변형이 있는 객체를 아우르는 의미로 이용된다.

도 1은 본 발명에 따른 움직임 객체 GT 정보 생성 시스템의 기본 구성도이다. 도시된 바와 같이, 시스템은 영상 저장부(100), GT 분석부(110), GT 정보 수정부(120), GT 메타데이터 생성부(130), 메타데이터 저장부(140)를 포함한다.

영상 저장부(100)는 GT 정보를 분석하고 생성할 객체를 담고 있는 동영상 프레임을 저장하고, GT 분석부(110)는 영상 저장부(100)로부터 입력된 영상으로부터 프레임별로 움직임 객체의 GT 위치 정보를 자동 계산한다.

GT 정보 수정부(120)는 GT 분석부가 생성한 움직임 객체의 GT 정보를 사용자가 수정한다.

GT 메타데이터 생성부(130)는 수정이 완료된 GT 정보를 변환하여 메타데이터를 생성하고, 메타데이터 저장부(140)는 메타데이터를 저장한다. 메타데이터 저장부(140)와 영상 저장부(100)는 논리적 관점에서 구분하여 설명한 것이고, 하드웨어적으로는 각각 별도의 기억장치일 수 있고 하나의 물리적 기억장치내에 구성될 수 있음은 물론이다.

이하, 보다 구체적으로 본 발명의 기술적 요지를 설명한다.

본 발명의 일 실시예에서는 움직임 객체의 GT 정보를 기술하기 위해, 프레임별 움직임 객체의 위치 정보를 바운딩 박스(Bounding Box) 형태로 표현하는 방법을 사용한다. 도 2는 하나의 움직임 객체 GT 정보를 기술하는 예를 보여준다.

도 2에서 보듯이, 하나의 움직임 객체 정보는 움직임 객체별로 고유하게 주어지는 움직임 객체 ID(mid)를 기준으로 객체가 출연한 프레임 번호 및 바운딩 박스 형태의 객체 위치 정보를 목록 형태로 구성하여 기술한다.

즉, 본 실시예에서는 움직임 객체 GT 정보는 움직임 객체별로, 동영상의 각 프레임에 해당 움직임 객체가 존재하는 영역의 좌상점, 우상점, 좌하점, 우하점의 위치를 지정하는 구조의 정보로 표현되고 관리된다.

동영상에는 다수개의 움직임 객체가 존재하기 때문에, 다수의 움직임 객체를 기술할 때에는 도 2에서 보여주고 있는 단일 움직임 객체(mobject)를 리스트 형태로 확장하는 방법이 사용된다.

도 3(a)는 본 발명에서 고안한 반자동 움직임 객체 GT 정보 생성 방법의 핵심 개념을 보여준다. 도 3(a)에서 보듯이, 본 발명에서는 움직임 객체가 존재하는 장면의 시작 프레임과 마지막 프레임에서의 객체 위치 정보를 사용자가 바운딩 박스 형태로 지정하면, 시작 및 마지막 프레임 사이에 존재하는 하나 이상의 중간 프레임에서의 객체 위치 정보를 자동으로 추정하여 움직임 GT 정보를 생성한다. 각각의 중간 프레임에서의 객체 위치 정보의 추정은 시작 프레임의 바운딩 박스 영역과 마지막 프레임에서의 바운딩 박스 영역의 차이에 기초하여 각 중간 프레임의 순서대로 선형적으로 추정하는 것으로서, 첫 프레임과 마지막 프레임이 바운딩 박스의 위치를 선형함수를 이용하여 또는 보간법 기반으로 계산하여 수행될 수 있다.

다른 실시예로서, 단순히 바운딩 박스의 위치에 대한 선형적인 계산이외에 객체의 종류 및/또는 속성을 고려하여 비선형적으로 중간 프레임의 바운딩 박스 위치를 추정하여 결정할 수도 있다.

예컨대, 객체의 종류 및 속성에 따라, 예컨대 움직임 객체의 종류가 사람, 자동차, 사슴, 개 등이라면 이들 각 객체마다 움직임 특성이 상이하므로 이를 고려하여 중간 프레임의 바운딩 박스 위치를 결정하고, 또한 사람 중에서도 속성이 어른 또는 어린이, 남아, 여아 등이 될 수 있고 각각 움직임 특성이 상이하므로 객체의 속성에 따른 객체별 움직임 특성을 고려하여 중간 프레임의 바운딩 박스 위치를 비선형적으로 결정할 수 있다. 중간 프레임의 계산은 각 객체의 종류 및/또는 속성에 대한 움직임 모델링을 통한 비선형 함수를 마련하고 이를 토대로 중간 프레임의 바운딩 박스 위치를 계산하거나, AI 모듈이 각 객체의 종류 및 속성에 대하여 학습한 결과를 반영하여 중간 프레임의 바운딩 박스 위치를 비선형적으로 결정할 수도 있다.

또한, 도 4에서 보듯이, 본 발명의 일 실시예에서 자동으로 계산된 움직임 객체의 위치 정보에 대한 검토와 수정이 가능하다.

본 발명에 따른 움직임 객체 GT 정보 생성 시스템의 정보수정부(120)을 통해 사용자가 중간 프레임 중 어느 하나의 프레임에서 객체의 위치를 수정하면, 시작-수정 프레임 및 수정 프레임-마지막 프레임간에 존재하는 프레임에서의 객체의 위치 정보가 전술한 자동 계산 방식으로 자동 연산된다.

이를 확장하여 중간 프레임 중 둘 이상의 프레임에서 객체의 위치를 수정하고 이를 바탕으로 움직임 객체의 위치를 자동으로 수정하여 반영할 수 있음은 물론이다.

본 발명의 바람직한 일 실시예에 따라, 상기와 같은 방법을 적용하여 움직임 객체 GT 정보를 생성하기 위해서는 도 4와 같은 자동화된 움직임 객체 GT 생성 절차가 수행된다.

도 4의 흐름도에 대한 상세한 설명은 다음과 같다.

① 프로그램이 시작된 후, GT 정보를 생성할 동영상 파일의 열기를 수행하는 단계(S410);

② 상기 단계 ①을 끝마친 후, 사용자 입력을 대기하다가 사용자 입력을 수신하는 단계(S420);

③ 상기 단계 ②에서 사용자 입력이 있을 때, 그 사용자 입력이 '신규 움직임 객체 추가'인지를 판단하는 단계(S430);

④ 상기 단계 ③을 통해 사용자 입력인 ‘신규 움직임 객체 추가’인 경우, 신규로 추가할 움직임 객체가 처음 출연한 시작 프레임으로 이동하여 움직임 객체의 위치를 지정하는 단계(S432); 이때, 움직임 객체의 위치 지정을 위해서는 바운딩 박스(Bounding Box)가 사용된다.

⑤ 신규로 추가할 움직임 객체가 사라지는 종료 프레임으로 이동하여 움직임 객체의 위치를 지정하는 단계(S434);

⑥ 상기 단계 ④ 및 단계 ⑤의 과정을 통해 지정된 시작 및 종료 프레임간에 위치한 프레임들에서의 움직임 객체의 위치를 전술한 방식으로 자동으로 연산하는 단계(S436);

⑦ 상기 단계 ⑥을 끝마친 후, 사용자 입력 대기로 되돌아가는 단계;

⑧ 상기 단계 ②에서 사용자 입력이 ‘움직임 객체 수정’인지를 확인하고(S440), 그렇다면 객체의 위치 정보를 수정할 프레임으로 이동한 후, 해당 프레임에서의 움직임 객체의 위치를 지정하는 단계(S442);

⑨ 상기 단계 ⑧의 과정을 끝마친 후, 수정된 프레임을 기준으로 사용자에 의해 객체의 위치가 지정된 이전 프레임 및 이후 프레임 사이에 위치한 프레임들에서의 움직임 객체 위치를 자동으로 계산하는 단계(S444);

⑩ 상기 단계 ⑨를 끝마친 후, 사용자 입력 대기로 되돌아가는 단계;

⑪ 상기 단계 ③을 통해 사용자 입력인 ‘GT 메타데이터 생성’인 경우, ‘신규 움직임 객체 추가’ 및 ‘움직임 객체 수정’을 통해 생성된 움직임 객체의 위치 정보를 메타데이터로 변환하는 단계; 이때, 메타데이터로는 XML, EXCEL, JSON, TEXT 등이 포맷이 사용될 수 있다.

⑫ 상기 단계 ⑪의 과정을 끝마치고, 사용자 입력 대기로 되돌아가서 상기 단계 ②에서 사용자 입력인 ‘종료’인 경우, 반자동 움직임 객체 GT 생성 과정을 종료한다.

이상, 본 발명의 바람직한 실시예에 대하여 개시하였으며, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명할 것이며, 따라서 본 발명의 권리범위의 이하의 특허청구범위의 기재에 의하여 정하여져야 할 것이다.

Claims

움직임 객체의 GT 정보 생성 방법으로서,
GT 정보를 생성할 움직임 객체가 존재하는 장면의 시작 프레임과 마지막 프레임에서 각각 상기 움직임 객체가 존재하는 영역을 특정하는 단계와,
상기 시작 프레임과 마지막 프레임에서 각각 상기 움직임 객체가 존재하는 영역을 기초로, 상기 시작 프레임과 마지막 프레임에 존재하는 하나 이상의 중간 프레임 각각에서 움직임 객체의 존재 영역을 추정하는 단계와,
추정된 상기 존재 영역을 상기 하나 이상의 중간 프레임 각각에서 상기 움직임 객체의 위치로 결정하는 단계
를 포함하는 움직임 객체의 GT 정보 생성 방법.
제1항에 있어서,
상기 존재 영역은 각 프레임에 해당 움직임 객체가 존재하는 영역의 좌상점, 우상점, 좌하점, 우하점의 위치를 지정하는 구조의 정보로 표현되고 관리되는 것인 움직임 객체의 GT 정보 생성 방법.
제1항에 있어서,
상기 추정하는 단계는, 상기 시작 프레임의 객체 존재 영역과 마지막 프레임에서의 객체 존재 영역의 차이에 기초하여 상기 하나 이상의 각 중간 프레임의 순서대로 선형적으로 추정하는 것인 움직임 객체의 GT 정보 생성 방법.
제3항에 있어서,
상기 추정하는 단계는, 각 객체의 종류 및 속성 중 적어도 하나를 더 고려하여 비선형적으로 추정하는 것인 움직임 객체의 GT 정보 생성 방법.
제1항에 있어서,
상기 중간 프레임 중 적어도 하나의 프레임에 대해서 움직임 객체의 존재 영역을 추가로 특정하는 단계와,
상기 적어도 하나의 프레임에서 추가로 특정된 존재 영역과 상기 시작 프레임과 마지막 프레임간의 존재 영역을 기초로 다른 중간 프레임에서의 객체 존재 영역을 수정하는 단계를 더 포함하는 움직임 객체의 GT 정보 생성 방법.
제1항에 있어서,
상기 시작 프레임, 중간 프레임 및 마지막 프레임을 포함하는 각 프레임에서의 움직임 객체에 대한 GT 정보를 변환하여 메타데이터를 생성하는 단계를 더 포함하는 움직임 객체 GT 정보 생성 방법.
움직임 객체가 존재하는 동영상을 저장하는 영상 저장부와,
상기 영상 저장부로부터 동영상 파일을 입력받아, 각 프레임에 존재하는 객체별로 GT 정보를 분석하여 생성하는 GT 분석부와,
상기 GT 분석부가 생성한 GT 정보를 수정하는 GT 정보 수정부와,
수정 완료된 GT 정보를 변환하여 메타테이터를 생성하는 메타데이터 생성부를 포함하는 움직임 객체 GT 정보 생성 시스템.
제7항에 있어서,
상기 메타데이터 생성부는, 상기 GT 정보를 XML, EXCEL, JSON, TEXT 중 어느 하나의 포맷으로 변환하는 것인 움직임 객체 GT 정보 생성 시스템.