KR20210046217A - 복수 영역 검출을 이용한 객체 탐지 방법 및 그 장치 - Google Patents

Abstract

복수 영역 검출을 통하여 객체를 탐지하는 방법 및 그 장치가 제공 된다. 본 발명의 일 실시예에 따른 객체 검출 방법은 복수의 프레임 이미지를 획득하는 단계, 제1 프레임 이미지에서 제1 객체의 제1 바운딩 박스 및 제2 객체의 제2 바운딩 박스를 검출하는 단계, 상기 제1 바운딩 박스에 제1 식별값을 부여하고, 상기 제2 바운딩 박스에 제2 식별값을 부여하는 단계, 제2 프레임 이미지에서의 상기 제1 객체의 가상 바운딩 박스를 생성하는 단계, 제2 프레임 이미지에서 검출된 제1 객체의 제3 바운딩 박스와 상기 가상 바운딩 박스 간 겹치는 영역의 넓이를 기초로, 상기 제3 바운딩 박스에 상기 제1 식별값을 부여하는 단계 및 상기 제1 바운딩 박스와 상기 제2 바운딩 박스 간 겹치는 영역의 넓이를 기초로, 상기 제2 식별값을 상기 제1 식별값으로 변경하는 단계를 포함할 수 있다.

Description

복수 영역 검출을 이용한 객체 탐지 방법 및 그 장치{ METHOD AND APPARATUS FOR DETECTING AN OBJECT USING DETECTION OF A PLURALITY OF REGIONS }

본 발명은 객체의 복수 영역에 대한 검출을 이용하여 객체를 탐지하는 방법 및 그 장치에 관한 것이다.

영상에서 실시간으로 사람을 검출하는 기술은 보안, 감지 시스템 및 지능형 로봇 등 다양한 분야에서 활용된다. 다양한 영상 처리 기법을 이용하여 영상에 포함된 복수의 프레임 이미지 각각에서 사람 객체를 검출할 수 있지만, 복수의 프레임 이미지에서 검출된 사람의 동일성을 판단하는 것은 쉽지 않다. 특히, 영상을 촬영하는 각도 또는 다양한 구조물에 의해 사람 객체의 일부 또는 전부가 손실되는 경우 단일 사람 객체가 복수의 사람 객체로 검출될 수 있다.

따라서, 영상에 포함된 복수의 프레임 이미지에서 사람 객체의 동일성을 정확하게 식별할 수 있는 기술의 제공이 요구된다.

본 발명의 실시예들은 일부 프레임 이미지에서 객체의 일부가 촬영되지 않더라도 복수의 프레임 이미지에서의 해당 객체를 동일하게 인식하는 방법 및 그 장치를 제공한다.

본 발명의 일 실시예에 따른 객체 검출 방법은 복수의 프레임 이미지를 획득하는 단계, 제1 프레임 이미지에서 제1 객체의 제1 바운딩 박스 및 제2 객체의 제2 바운딩 박스를 검출하는 단계, 상기 제1 바운딩 박스에 제1 식별값을 부여하고, 상기 제2 바운딩 박스에 제2 식별값을 부여하는 단계, 제2 프레임 이미지에서의 상기 제1 객체의 가상 바운딩 박스를 생성하는 단계, 제2 프레임 이미지에서 검출된 제1 객체의 제3 바운딩 박스와 상기 가상 바운딩 박스 간 겹치는 영역의 넓이를 기초로, 상기 제3 바운딩 박스에 상기 제1 식별값을 부여하는 단계 및 상기 제1 바운딩 박스와 상기 제2 바운딩 박스 간 겹치는 영역의 넓이를 기초로, 상기 제2 식별값을 상기 제1 식별값으로 변경하는 단계를 포함할 수 있다.

일 실시예에서, 상기 제1 바운딩 박스 및 제2 바운딩 박스를 검출하는 단계는, 상기 제1 바운딩 박스의 중심좌표, 가로길이 및 세로길이를 이용하여 상기 제1 바운딩 박스의 꼭지점 좌표를 획득하고, 상기 제2 바운딩 박스의 중심좌표, 가로길이 및 세로길이를 이용하여 상기 제2 바운딩 박스의 꼭지점 좌표를 획득하는 단계를 포함할 수 있다.

일 실시예에서 상기 가상 바운딩 박스를 생성하는 단계는, 상기 제1 바운딩 박스를 기초로 제1 가상 바운딩 박스를 생성하고, 상기 제3 바운딩 박스와 상기 제1 가상 바운딩 박스를 매핑하는 단계를 포함할 수 있다.

일 실시예에서 상기 제3 바운딩 박스와 상기 가상 바운딩 박스를 매핑하는 단계는, 상기 제3 바운딩 박스가 검출되지 않는 경우, 제3 프레임 이미지에서의 제2 가상 바운딩 박스를 생성하는 단계 및 상기 제3 프레임 이미지에서 검출된 제1 객체의 제4 바운딩 박스와 상기 제2 가상 바운딩 박스를 매핑하는 단계를 포함하고, 상기 제3 바운딩 박스에 상기 제1 식별값을 부여하는 단계는, 상기 제3 프레임 이미지에서 검출된 제1 객체의 제4 바운딩 박스와 상기 제2 가상 바운딩 박스 간 겹치는 영역의 넓이를 기초로, 상기 제4 바운딩 박스에 상기 제1 식별값을 부여하는 단계를 포함할 수 있다.

일 실시예에서 상기 제3 바운딩 박스에 상기 제1 식별값을 부여하는 단계는, 상기 제3 바운딩 박스와 상기 가상 바운딩 박스 간 겹치는 영역의 넓이가 기준치 이상인 경우 상기 제3 바운딩 박스에 상기 제1 식별값을 부여하는 단계를 포함할 수 있다.

일 실시예에서 상기 제2 식별값을 상기 제1 식별값으로 변경하는 단계는, 상기 제1 바운딩 박스와 상기 제2 바운딩 박스 간 겹치는 영역의 넓이가 기준치 이상인 경우 상기 제2 식별값을 상기 제1 식별값으로 변경하는 단계를 포함할 수 있다.

일 실시예에서 상기 제2 바운딩 박스를 검출하는 단계는, 제3 객체에 대한 제5 바운딩 박스를 검출하는 단계를 포함하고, 상기 제2 바운딩 박스에 제2 식별값을 부여하는 단계는, 상기 제5 바운딩 박스에 제3 식별값을 부여하는 단계를 포함하고, 상기 제2 식별값을 상기 제1 식별값으로 변경하는 단계는, 상기 제1 바운딩 박스와 상기 제2 바운딩 박스 간 겹치는 영역보다 상기 제1 바운딩 박스와 상기 제5 바운딩 박스 간 겹치는 영역이 넓은 경우, 상기 제3 식별값을 상기 제1 식별값으로 변경하는 단계를 포함할 수 있다.

본 발명의 다른 실시예에 따른 객체 검출 장치는 프로세서를 포함하고, 상기 프로세서는 복수의 프레임 이미지를 획득하고, 제1 프레임 이미지에서 제1 객체의 제1 바운딩 박스 및 제2 객체의 제2 바운딩 박스를 검출하고, 상기 제1 바운딩 박스에 제1 식별값을 부여하고, 상기 제2 바운딩 박스에 제2 식별값을 부여하며, 제2 프레임 이미지에서의 상기 제1 객체의 가상 바운딩 박스를 생성하고, 제2 프레임 이미지에서 검출된 제1 객체의 제3 바운딩 박스와 상기 가상 바운딩 박스 간 겹치는 영역의 넓이를 기초로, 상기 제3 바운딩 박스에 상기 제1 식별값을 부여하고 상기 제1 바운딩 박스와 상기 제2 바운딩 박스 간 겹치는 영역의 넓이를 기초로, 상기 제2 식별값을 상기 제1 식별값으로 변경할 수 있다.

도 1은 본 발명의 일 실시예에 따른 객체 검출 장치를 포함하는 객체 검출 시스템의 예를 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 객체 검출 장치의 구성 및 동작을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 객체 검출 방법의 순서도이다.
도 4 내지 도 5는 본 발명의 일 실시예에 따라 바운딩 박스를 생성하는 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따라 단일 객체에 대하여 생성된 복수의 바운딩 박스를 설명하기 위한 도면이다.
도 7은 도 3의 일부 동작을 상세히 설명하기 위한 도면이다.
도 8 내지 도 9는 본 발명의 일 실시예에 따라 식별값이 부여된 바운딩 박스의 데이터 포맷을 설명하기 위한 도면이다.
도 10은 도 3의 일부 동작을 상세히 설명하기 위한 도면이다.
도 11은 도 10의 일부 동작을 상세히 설명하기 위한 도면이다.
도 12는 본 발명의 일 실시예에 따라 복수의 객체에 대한 바운딩 박스에 식별값을 부여하는 방법을 설명하기 위한 도면이다.
도 13은 본 발명의 일 실시예에 따라 복수의 바운딩 박스에 식별값을 부여하는 알고리즘을 설명하기 위한 도면이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.

이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 객체 검출 장치를 포함하는 객체 검출 시스템의 예를 도시한 도면이다.

일 실시예에서 카메라(10)에서 촬영된 영상은 네트워크(20)를 통해 NVR(30) 및 영상 획득 장치(40)로 전달될 수 있다. 또한, 영상 획득 장치(40)에서 획득한 영상은 본 발명의 일 실시예에 따른 객체 검출 장치(100)로 전달될 수 있다. 이 경우, 영상 획득 장치(40)와 객체 검출 장치(100)는 네트워크(20)를 통해 데이터를 송수신할 수 있다.

다른 실시예에서 영상 획득 장치(40)는 객체 검출 장치(100)에 내장된 하드웨어 모듈일 수 있고, 객체 검출 장치에서 실행되는 소프트웨어 모듈일 수도 있다. 이 경우, 객체 검출 장치(100)는 네트워크(20)를 통해 카메라(10)에서 촬영된 영상을 바로 획득할 수 있다. 뿐만 아니라, 일 실시예에서 객체 검출 장치(100)는 카메라 모듈을 포함하여, 직접 영상을 촬영할 수도 있다.

일 실시예에서 객체 검출 장치(100)는 영상에 포함된 복수의 프레임 이미지를 획득할 수 있고, 제1 프레임 이미지에서 복수의 객체에 대응되는 바운딩 박스를 검출할 수 있다. 또한, 객체 검출 장치(100)는 각각의 바운딩 박스에 식별값을 부여할 수 있으며, 단일 객체에 대응되는 복수의 바운딩 박스에 동일한 식별값을 부여할 수 있다. 따라서, 일 실시예에서 서로 다른 식별값이 부여된 복수의 바운딩 박스에 대해 후술되는 객체 검출 방법이 수행된 결과, 단일 객체에 대응되는 하나 이상의 바운딩 박스 끼리는 동일한 식별값이 부여될 수 있다.

일 실시예에서 바운딩 박스는 검출된 객체 영역에 대응될 수 있다. 예를 들어 제1 객체가 사람의 머리인 경우 제1 객체에 대응되는 바운딩 박스는 사람의 머리 영역에 대응될 수 있고, 제2 객체가 사람의 몸체인 경우 제2 객체에 대응되는 바운딩 박스는 사람의 몸체 영역에 대응될 수 있다.

일 실시예에서 전술한 식별값은 각각의 객체를 식별하기 위한 데이터일 수 있다. 예를 들어 제1 프레임 이미지에서 특정 사람 객체의 바운딩 박스 및 제2 프레임 이미지에서 검출된 상기 사람 객체의 바운딩 박스에는 동일한 식별값이 부여될 수 있다. 또한, 제1 프레임 이미지에서 상기 사람 객체의 복수의 영역에 대응되는 복수의 바운딩 박스가 검출되는 경우, 상술한 복수의 바운딩 박스에는 모두 동일한 식별값이 부여될 수 있다. 바운딩 박스에 식별값을 부여하여 객체를 검출하는 구체적인 방법에 대하여는 이하 도 3 내지 도 13에서 후술한다.

도 2는 본 발명의 일 실시예에 따른 객체 검출 장치의 구성 및 동작을 설명하기 위한 도면이다.

일 실시예에서 객체 검출 장치(100)는 입출력 인터페이스(140), 메모리(110), 프로세서(120) 및 통신 모듈(130)을 포함할 수 있다. 메모리(110)는 컴퓨터에서 판독 가능한 기록 매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 또한, 메모리(110)에는 객체 검출 장치(100)를 제어하기 위한 프로그램 코드 및 설정, 복수의 프레임 이미지 및 바운딩 박스의 데이터 및 식별값 정보가 저장될 수 있다.

프로세서(120)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(110) 또는 통신 모듈(130)에 의해 프로세서(120)로 제공될 수 있다. 예를 들어 프로세서(120)는 메모리(110)와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다.

통신 모듈(130)은 네트워크를 통해 카메라, 영상 획득 장치 또는 외부 서버와 통신하기 위한 기능을 제공할 수 있다. 일례로, 객체 검출 장치(100)의 프로세서(120)가 메모리(110)와 같은 기록 장치에 저장된 프로그램 코드에 따라 생성한 요청이 통신 모듈(130)의 제어에 따라 네트워크를 통해 외부 서버로 전달될 수 있다. 역으로, 외부 서버의 프로세서의 제어에 따라 제공되는 제어 신호나 명령, 컨텐츠, 파일 등이 네트워크를 거쳐 통신 모듈(130)을 통해 객체 검출 장치(100)로 수신될 수 있다. 예를 들어 통신 모듈(130)을 통해 수신된 외부 서버의 제어 신호나 명령 등은 프로세서(120)나 메모리(110)로 전달될 수 있고, 컨텐츠, 파일 및 데이터 베이스등은 객체 검출 장치(100)가 더 포함할 수 있는 저장 매체로 저장될 수 있다.

또한, 통신 모듈(130)의 통신 방식은 제한되지 않지만, 네트워크는 근거리 무선통신망일 수 있다. 예를 들어, 네트워크는 블루투스(Bluetooth), BLE(Bluetooth Low Energy), Wifi 통신망일 수 있다.

입출력 인터페이스(140)는 사용자의 입력을 수신하고, 출력 데이터를 디스플레이 할 수 있다. 일 실시예에 따른 입출력 인터페이스(140)는 수신한 영상을 디스플레이에 표시할 수 있고, 상기 디스플레이에 검출된 객체에 대응하는 바운딩 박스를 오버레이(overlay) 하여 표시할 수 있다.

또한, 다른 실시예들에서 객체 검출 장치(100)는 도 2의 구성요소들보다 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, 객체 검출 장치(100)는 객체 검출 장치의 내부 구성요소들에 전력을 공급하는 배터리 및 충전 장치를 포함할 수 있고, 상술한 입출력 장치 중 적어도 일부를 포함하도록 구현되거나 또는 트랜시버(transceiver), GPS(Global Positioning System) 모듈, 각종 센서, 데이터베이스 등과 같은 다른 구성요소들을 더 포함할 수도 있다.

또한, 비록 도 2에는 도시되지 않았지만 객체 검출 장치(100)는 하나 이상의 카메라 모듈을 더 포함할 수 있다. 본 발명의 일 실시예에 따르면, 객체 검출 장치(100)는 카메라 모듈을 통해 촬영한 영상을 이용하여 복수의 프레임 이미지를 획득할 수 있다.

도 3은 본 발명의 일 실시예에 따른 객체 검출 방법의 순서도이다.

일 실시예에서 객체 검출 장치는 복수의 프레임 이미지를 획득할 수 있다(S110). 상기 복수의 프레임 이미지는 영상의 프레임 단위로 획득된 이미지로, 시간의 흐름에 따라 순차적으로 획득될 수 있다. 따라서, 이하 후술되는 제1 프레임 이미지 내지 제3 프레임 이미지는 별도의 설명이 없더라도 단일 영상에서 순차적으로 획득된 프레임 이미지임을 가정하고 설명한다.

일 실시예에서 객체 검출 장치는 제1 프레임 이미지에서 제1 객체의 제1 바운딩 박스 및 제2 객체의 제2 바운딩 박스를 검출할 수 있다(S120). 일 실시예에서 객체 검출 장치가 사람 객체를 검출하는 경우, 제1 객체와 제2 객체는 모두 동일한 사람 객체의 일부 영역에 대응될 수 있다. 일 실시예에서 제1 객체는 사람의 머리일 수 있고 제2 객체는 사람의 몸체일 수 있다.

전술한 바, 바운딩 박스는 객체가 검출된 영역에 대응될 수 있다. 따라서, 일 실시예에서 제1 바운딩 박스는 사람의 머리 영역에 대응될 수 있고, 제2 바운딩 박스는 사람의 몸체 영역에 대응될 수 있다.

일 실시예에서 바운딩 박스는 각 꼭지점의 좌표를 이용하여 저장될 수 있다. 바운딩 박스의 형태는 한정되지 않으나, 예를 들어 사각형 형태인 경우 4개의 꼭지점 좌표를 이용하여 바운딩 박스의 데이터를 저장할 수 있다. 또한, 바운딩 박스의 꼭지점 좌표는 프레임 이미지 내에서의 상대 좌표일 수 있다.

일 실시예에서 객체 검출 장치는 제1 바운딩 박스에 제1 식별값을 부여하고, 제2 바운딩 박스에 제2 식별값을 부여할 수 있다(S130). 객체 검출 장치는 우선 검출된 각각의 객체의 바운딩 박스에 대하여 서로 상이한 식별값을 부여할 수 있다. 일 실시예에서 사람의 머리에 대응되는 바운딩 박스와 사람의 몸체에 대응되는 바운딩 박스가 검출되더라도, 동일한 사람의 머리와 몸체에 대한 바운딩 박스가 아닐 수 있다. 따라서, 우선 각각의 바운딩 박스에 모두 상이한 식별값이 부여될 수 있다.

일 실시예에서 객체 검출 장치는 제2 프레임 이미지에서의 제1 객체의 가상 바운딩 박스를 생성할 수 있다(S140). 객체 검출 장치는 제1 프레임 이미지에서의 제1 객체의 제1 바운딩 박스의 위치를 기초로 제2 프레임 이미지에서의 제1 객체의 가상 바운딩 박스의 위치를 추정할 수 있다. 일 실시예에서 객체 검출 장치는 칼만 필터를 이용하여 제1 객체의 가상 바운딩 박스의 위치를 추정할 수 있다. 가상 바운딩 박스는 제2 프레임에서 검출된 바운딩 박스 중 하나와 바운딩 박스 간 겹치는 영역의 넓이를 기초로 매핑될 수 있다.

일 실시예에서 제2 프레임 이미지에서 가상 바운딩 박스와 대응되는 바운딩 박스가 검출되지 않은 경우, 제3 프레임 이미지에서 검출된 바운딩 박스와 가상 바운딩 박스가 매핑될 수 있다. 이하 제2 프레임에서 검출된 제3 바운딩 박스가 가상 바운딩 박스와 매핑되었다고 가정하고 서술한다.

일 실시예에서 객체 검출 장치는 제2 프레임 이미지에서 검출된 제1 객체의 제3 바운딩 박스와 가상 바운딩 박스간 겹치는 영역의 넓이를 기초로, 제3 바운딩 박스에 제1 식별값을 부여할 수 있다(S150). 일 실시예에서 객체 검출 장치는 제3 바운딩 박스와 가상 바운딩 박스간 겹치는 영역의 넓이가 기준치 이상인 경우, 제3 바운딩 박스에 제1 식별값을 부여할 수 있다. 이 경우, 제3 바운딩 박스는 제1 객체의 바운딩 박스일 확률이 높으므로, 객체 검출 장치는 제3 바운딩 박스에 제1 객체의 제1 바운딩 박스 동일한 식별값을 부여할 수 있다.

일 실시예에서 객체 검출 장치는 제1 바운딩 박스와 제2 바운딩 박스간 겹치는 영역의 넓이를 기초로, 제2 식별값을 제1 식별값으로 변경할 수 있다(S160). 일 실시예에서 제1 바운딩 박스가 사람의 머리 영역에 대응되고 제2 바운딩 박스가 사람의 몸체 영역에 대응되는 경우, 제1 바운딩 박스와 제2 바운딩 박스는 동일한 사람 객체 영역에 대하여 생성되는 것이므로 동일한 식별값이 부여될 필요가 있다. 따라서 본 실시예에서 객체 검출 장치는 단일 객체에 대하여 상이하게 부여된 바운딩 박스의 식별값을 통일시킬 수 있다.

이하 각각의 단계에 대한 세부 동작에 대하여 상세히 후술한다.

도 4 내지 도 5는 본 발명의 일 실시예에 따라 바운딩 박스를 생성하는 방법을 설명하기 위한 도면이다.

도 4의 (a)를 참조할 때, 객체 검출 장치는 프레임 이미지에 포함된 객체 영역을 지정된 단위로 분할하여 격자(201)를 형성할 수 있다. 이후, 객체 검출 장치는 객체의 중심점(202)에 해당하는 격자를 획득할 수 있다. 예를 들어 사람의 머리 영역의 중심에 대응되는 격자를 획득할 수도 있고, 같이 사람의 몸체 영역의 중심에 대응되는 격자를 획득할 수도 있다. 이 경우, 도 4의 (b)에 도시된 바와 같이 획득된 객체의 중심점(202)은 프레임 이미지 상에서의 객체 영역의 중심에 해당하므로, 실제 객체의 중심은 아님에 유의한다.

따라서 이후, 객체 검출 장치는 회귀 분석을 수행하여 실제 객체의 크기를 추정할 수 있다. 이를 통해 도 4의 (c)에 도시된 바와 같이 객체 검출 장치는 보정된 객체의 중심점 및 객체의 크기를 이용하여 객체 영역에 대응되는 바운딩 박스(203)를 생성할 수 있다. 바운딩 박스의 형태는 한정되지 않으나, 일 실시예에서 객체 검출 장치는 생성된 바운딩 박스(203)가 사각형인 경우 전술한 객체의 크기 및 보정된 객체의 중심점을 이용하여 바운딩 박스의 꼭지점 좌표 정보를 획득할 수 있다.

도 5는 일 실시예에 따른 바운딩 박스의 데이터 포맷의 일 예이다.

일 실시예에서 프레임 이미지에 포함된 객체의 중심 좌표 (x,y)와 객체의 가로길이 및 세로길이 (w, h) 가 획득된 경우, 바운딩 박스의 좌상단, 우하단 또는 우상단, 좌하단의 꼭지점 좌표 (x1, y1), (x2, y2)가 획득될 수 있다. 이 경우, 해당 프레임 이미지에 포함된 바운딩 박스 데이터(301)는 도 5와 같이 도시될 수 있다.

도 6은 본 발명의 일 실시예에 따라 단일 객체에 대하여 생성된 복수의 바운딩 박스를 설명하기 위한 도면이다. 이하, 도 6을 참조하여 단일 객체의 복수 영역이 검출되는 방법에 대하여 상세히 설명한다.

본 발명의 몇몇 실시예에 따른 객체 검출 장치는 사람을 검출할 수 있고, 보다 구체적으로 사람의 머리와 몸체를 독립적으로 검출할 수 있다. 최종적으로 단일 사람 객체를 검출 하기 위해 사람의 여러 부위를 독립적으로 검출하는 경우, 사람의 일부 영역이 구조물 또는 다른 객체에 의해 가려지더라도 이동하는 사람 객체에 대한 안정적인 추적이 가능하다.

예를 들어 사람 객체를 검출하기 위해 사람의 몸체가 검출되어야 하는 경우, 도 6의 (a)와 같은 프레임 이미지에서는 사람의 몸체가 구조물에 의해 가려지므로 사람 객체의 검출이 불가하다. 반면, 본 발명의 몇몇 실시예에 따라 사람의 여러 부위를 독립적으로 검출하는 경우 사람의 머리 영역만 검출되더라도 사람 객체에 대한 검출이 가능할 수 있다.

특히, 본 발명의 몇몇 실시예에 따른 객체 검출 방법은 제1 프레임 이미지에서 사람의 머리 객체(210a)만 검출되더라도, 이후 제2 프레임 이미지에서 사람의 머리(210b) 및 몸체(212)가 동시에 검출되는 경우의 바운딩 박스 정보를 이용하여 객체 검출 필터의 상수를 갱신할 수 있고, 이를 통해 객체 검출의 정확도가 상승될 수 있다.

이하, 일 실시예에서 객체 검출 장치가 사람 객체를 검출하기 위해 사람의 머리 및 몸체를 각각 검출하는 방법에 있어, 사람의 머리 객체를 검출하는 방법에 대하여 설명한다.

일 실시예에서 객체 추적 장치는 도 6의 (a)에 도시된 제1 프레임 이미지에서 검출된 사람의 머리 객체(210a)에 추적기(tracker)를 할당한다. 추적기는 해당 분야의 통상적인 기술자가 선택할 수 있는 모든 종류의 추적기의 사용이 가능하고, 바람직하게는 칼만 필터(Kalman Filter) 기반의 추적기가 사용될 수도 있다. 이하 명확한 설명을 위해 칼만 필터 추적기를 이용하여 객체를 검출한다고 가정하여 설명한다. 사람의 몸체에 대한 추적도 이와 동일하게 수행될 수 있음은 물론이다.

이후, 도 6의 (b)에 도시된 제2 프레임 이미지를 참조할 때, 칼만 필터를 이용하여 제2 프레임 이미지에서의 제1 객체의 가상 바운딩 박스(211)가 생성될 수 있다. 객체 검출 장치는 생성된 가상 바운딩 박스(211)와 제2 프레임 이미지에서 검출된 제1 객체의 제3 바운딩 박스(210b) 간 겹치는 영역이 기준치 이상인 경우, 가상 바운딩 박스(211)와 제3 바운딩 박스(210b)를 매핑하고, 제1 객체가 검출된 것으로 판단할 수 있다. 또한, 제3 바운딩 박스(210b)를 이용하여 제1 객체를 검출하는 칼만 필터를 갱신할 수 있다.

일 실시예에서 가상 바운딩 박스가 제3 바운딩 박스(210b)와 매핑되지 않은 경우, 객체 검출 장치는 제3 프레임 이미지에서의 제1 객체의 제2 가상 바운딩 박스를 더 생성할 수 있다. 가상 바운딩 박스가 생성되는 최대 프레임 개수는 한정되지 않으며, 일 실시예에서 객체 검출 장치는 메모리 사용량을 제한하기 위해 최대 30 프레임까지의 가상 바운딩 박스를 생성할 수도 있다. 다만 전술한 최대 프레임의 개수는 반드시 30개로 한정되는 것은 아님에 유의한다.

일 실시예에서 칼만 필터 추적기는 제1 프레임 이미지에서 검출된 하나 이상의 객체에 각각 할당될 수 있으므로, 제1 프레임 이미지에서 검출된 하나 이상의 객체에 각각에 대하여 전술한 단계가 모두 수행될 수 있다.

도 7을 참조하여, 일 실시예에서 가상 바운딩 박스가 제3 바운딩 박스와 매핑되지 않은 경우에 대하여 상세히 설명한다.

일 실시예에서 객체 검출 장치는 제1 객체의 가상 바운딩 박스와 제3 바운딩 박스간 겹치는 영역의 넓이가 기준치 이상인지 여부를 확인할 수 있다(S200).

일 실시예에서 객체 검출 장치는 제1 객체의 가상 바운딩 박스와 제3 바운딩 박스간 겹치는 영역의 넓이가 기준치 이상인 경우, 제3 바운딩 박스에 제1 식별값을 부여할 수 있다(S220).

반면, 일 실시예에서 제1 객체의 가상 바운딩 박스와 제3 바운딩 박스간 겹치는 영역의 넓이가 기준치 미만인 경우, 제3 바운딩 박스는 제1 객체에 대응되는 바운딩 박스가 아닐 확률이 높다. 따라서 객체 검출 장치는 제3 바운딩 박스에 제1 객체의 식별값과 상이한 제3 식별값을 부여할 수 있다(S210).

전술한 바와 같이 복수의 프레임 이미지마다 검출된 객체에 대응되는 바운딩 박스를 생성하는 경우, 바운딩 박스 데이터는 다양한 정보를 기준으로 생성될 수 있다.

도 8 및 도 9는 본 발명의 일 실시예에 따라 객체와 바운딩 박스에 관한 데이터 포맷의 일 예이다.

예를 들어 도 8에 도시된 바와 같이 각각의 프레임 이미지를 기준으로 바운딩 박스의 데이터가 생성(302)될 수도 있고, 도 9에 도시된 바와 같이 각각의 객체 식별값을 기준으로 바운딩 박스의 데이터가 생성(303)될 수도 있다.

전술한 바와 같이 프레임 이미지 각각에서 객체를 검출하고, 복수의 프레임 이미지에서 검출된 객체를 추적한 후, 객체 추정 장치는 단일 객체에 대하여 독립적으로 추적된 복수의 영역에 대응되는 바운딩 박스의 식별값을 통일 시킬 수 있다. 즉, 객체 검출 장치가 동일한 사람의 머리와 몸체를 독립적으로 검출하여 추적한 경우, 동일한 사람의 머리에 대응되는 식별값과 몸체에 대응되는 식별값은 통일되어야 한다.

이렇게 머리와 몸체를 독립적으로 검출 및 추적하여 그 결과를 병합함으로써 사람의 가려짐, 겹침 등으로 인해 추적이 어려워지는 경우에도 객체 검출을 수행할 수 있다. 특히, CCTV의 촬영 각도에서는 사람의 머리가 가려지는 경우가 적기 때문에 머리를 검출 및 추적하면 신체 일부의 가려짐 겹침에 강인한 객체 검출 결과를 획득할 수 있다.

도 10은 도 3의 일부 동작을 상세히 설명하기 위한 도면이다.

일 실시예에서 객체 검출 장치는 제1 프레임 이미지에서 제1 바운딩 박스와 제2 바운딩 박스간 겹치는 영역의 넓이가 기준치 이상인지 여부를 확인할 수 있다(S310). 일 실시예에서 제1 바운딩 박스는 사람의 머리 영역에 대응될 수 있고, 제2 바운딩 박스는 사람의 몸체 영역에 대응될 수 있다.

일 실시예에서 제1 바운딩 박스와 제2 바운딩 박스간 겹치는 영역의 넓이가 기준치 미만인 경우 제1 바운딩 박스에 대응되는 사람의 머리와 제2 바운딩 박스에 대응되는 사람의 몸체는 각각 동일한 사람에 대응되는 것이 아닐 수 있으므로, 이 경우 객체 검출 장치는 제2 바운딩 박스에 부여된 제2 식별값을 변경하지 않을 수 있다.

일 실시예에서, 제1 바운딩 박스와 제2 바운딩 박스간 겹치는 영역의 넓이가 기준치 이상인 경우 제1 바운딩 박스에 대응되는 사람의 머리와 제2 바운딩 박스에 대응되는 사람의 몸체는 각각 동일한 사람에게 대응될 수 있다. 따라서, 이 경우 객체 검출 장치는 제2 바운딩 박스에 부여된 제2 식별값을 제1 바운딩 박스에 부여된 제1 식별값으로 변경할 수 있다(S320).

이하 도 11을 참조하여, 바운딩 박스간 중첩 영역이 많은 경우, 각각의 바운딩 박스에 식별값을 부여하는 방법에 대하여 설명한다.

이하, 제1 프레임에서 제1 바운딩 박스, 제2 바운딩 박스 및 제5 바운딩 박스가 검출된 것을 가정한다. 또한 제1 바운딩 박스에는 제1 식별값, 제2 바운딩 박스에는 제2 식별값, 제5 바운딩 박스에는 제3 식별값이 부여된 것을 가정한다.

도 10에서 단계 S310에 따라 제1 프레임 이미지에서 머리 영역에 대응되는 제1 바운딩 박스와 몸체 영역에 대응되는 제2 바운딩 박스간 겹치는 영역의 넓이가 기준치 이상이더라도, 제1 바운딩 박스와 겹치고 다른 몸체 영역에 대응되는 바운딩 박스가 존재하는 경우, 객체 검출 장치는 후술되는 단계 S410을 수행할 수 있다.

일 실시예에서 객체 검출 장치는 제1 프레임 이미지에서 검출된 제5 바운딩 박스와 제1 바운딩 박스간 겹치는 영역의 넓이가 기준 이상인지 여부를 확인할 수 있다(S410).

일 실시예에서 제1 프레임 이미지에서 검출된 제5 바운딩 박스와 제1 바운딩 박스간 겹치는 영역의 넓이가 기준 이상인 경우, 객체 검출 장치는 제1 바운딩 박스와 제2 바운딩 박스간 겹치는 영역보다 제1 바운딩 박스와 제5 바운딩 박스간 겹치는 영역이 넓은지 여부를 확인할 수 있다(S420).

일 실시예에서 제1 바운딩 박스와 제2 바운딩 박스간 겹치는 영역보다 제1 바운딩 박스와 제5 바운딩 박스간 겹치는 영역이 넓은 경우, 제1 바운딩 박스에 대응되는 머리와 제5 바운딩 박스에 대응되는 몸체는 동일한 사람에게 대응될 확률이 높다. 따라서 객체 검출 장치는 제5 바운딩 박스에 부여된 제3 식별값을 제1 바운딩 박스에 부여된 제1 식별값으로 변경할 수 있다(S440).

반면, 일 실시예에서 제1 바운딩 박스와 제5 바운딩 박스간 겹치는 영역보다 제1 바운딩 박스와 제2 바운딩 박스간 겹치는 영역이 넓은 경우, 제1 바운딩 박스에 대응되는 머리와 제2 바운딩 박스에 대응되는 몸체가 동일한 사람에게 대응될 확률이 높다. 따라서 객체 검출 장치는 제2 바운딩 박스에 부여된 제2 식별값을 제1 바운딩 박스에 부여된 제1 식별값으로 변경할 수 있다(S430).

이하 도 12를 참조하여 전술한 머리와 몸체 각각에 대한 바운딩 박스에 식별값을 부여하는 방법에 대하여 상세히 설명한다.

도 12에 도시된 제1 프레임 이미지에서 검출된 바운딩 박스의 데이터에 대하여, 머리 영역에 대응되는 제1 바운딩 박스(240) 및 제3 바운딩 박스(220)가 검출되고, 몸체 영역에 대응되는 제2 바운딩 박스(250) 및 제4 바운딩 박스(230)를 획득한 경우를 가정한다.

도시된 바를 참조할 때, 머리에 대응되는 제1 바운딩 박스(240)는 몸체에 대응되는 제2 바운딩 박스(250)와 중첩되는 영역이 존재한다. 이 경우 객체 검출 장치는 제2 바운딩 박스(250)에 대응되는 몸체와 제1 바운딩 박스(240)에 대응되는 머리가 동일한 사람 객체에게 대응되는 것으로 간주하여, 상기 제2 바운딩 박스(250)의 식별값을 제1 바운딩 박스(240)의 식별값으로 변경할 수 있다.

한편, 머리에 대응되는 제3 바운딩 박스(220)는 몸체에 대응되는 제2 바운딩 박스(250) 및 제4 바운딩 박스(230)와 모두 중첩되는 영역이 존재한다.

일 실시예에서 객체 검출 장치는 제2 바운딩 박스(250)와 제4 바운딩 박스(240)중 제3 바운딩 박스(220)와 중첩되는 영역이 더 넓은 바운딩 박스의 식별값을 제2 바운딩 박스의 식별값으로 변경할 수 있다.

다른 실시예에서 객체 검출 장치는 제2 바운딩 박스(250)와 제4 바운딩 박스(240)중 이미 머리에 대응되는 바운딩 박스의 식별값과 동일한 식별값이 부여된 바운딩 박스의 식별값은 변경하지 않을 수 있다.

또 다른 실시예에서 객체 검출 장치는 제2 바운딩 박스(250)와 제4 바운딩 박스(240)중 이미 제3 바운딩 박스(220)와 식별값이 동일한 제5 바운딩 박스와 동일한 프레임 이미지에서 검출된 바운딩 박스의 식별값은 변경하지 않을 수 있다. 예를 들어, 머리에 대응되는 제3 바운딩 박스(220)와 몸체에 대응되는 제5 바운딩 박스의 식별값이 동일하고, 제4 바운딩 박스(230)와 제5 바운딩 박스가 특정 프레임 이미지에서 동시에 검출된 적이 있는 경우, 상기 제4 바운딩 박스(230)에 대응되는 몸체와 제5 바운딩 박스에 대응되는 몸체는 각각 상이한 사람 객체와 대응될 수 있기 때문이다.

도 13은 본 발명의 일 실시예에 따라 복수의 바운딩 박스에 식별값을 부여하는 알고리즘을 설명하기 위한 도면이다.

이하 일 실시예에서 사람 객체를 검출하기 위하여 사람의 머리와 사람의 몸체를 독립적으로 검출한 경우, 동일한 사람에 대하여 머리에 대응되는 바운딩 박스와 몸체에 대응되는 바운딩 박스의 식별값을 일치시키는 방법에 대하여 설명한다.

일 실시예에서 객체 검출 장치는 프레임 이미지마다 검출된 바운딩 박스 데이터를 획득하고, 몸체의 바운딩 박스를 머리의 바운딩 박스와 매칭할 수 있다. 이후 모든 몸체의 바운딩 박스에 대해 후술되는 단계를 수행한다.

우선 객체 검출 장치는 타겟 머리 바운딩 박스가 검출된 프레임 이미지 중 타겟 몸체 바운딩 박스에 타겟 머리 바운딩 박스가 포함되어 있는 프레임 이미지의 비율을 획득할 수 있다. 객체 검출 장치는 전술한 비율이 5% 이하인 경우, 타겟 머리 바운딩 박스를 몸체 바운딩 박스와 매칭할 후보 목록에서 제외할 수 있다.

일 실시예에서 몸체 바운딩 박스에 머리 바운딩 박스가 포함되어 있는 경우, 머리 바운딩 박스 넓이 대비 몸체 바운딩 박스와 머리 바운딩 박스간 겹치는 영역의 넓이는 바람직 하게 80% 이상일 수 있다. 다만, 본 발명의 몇몇 실시예에 따른 전술한 영역의 넓이의 수치가 이에 한정되는 것은 아님에 유의한다.

이후, 객체 검출 장치는 몸체 바운딩 박스와 매칭할 후보 목록에서 제외되지 않은 하나 이상의 머리 바운딩 박스 목록을 전술한 비율을 기준으로 내림차순 정렬을 수행할 수 있다. 그리고, 객체 검출 장치는 몸체 바운딩 박스와 매칭할 후보 목록의 모든 머리 바운딩 박스에 이미 연결되어 있는 몸체 바운딩 박스의 목록을 획득할 수 있다.

그 다음 객체 검출 장치는 몸체 바운딩 박스와 매칭할 후보 목록에서 제외되지 않은 하나 이상의 머리 바운딩 박스의 목록에 대하여 순차적으로 후술되는 몸체와의 연결 동작을 수행할 수 있다.

모든 몸체 바운딩 박스 목록에서 순차적으로 획득된 몸체 바운딩 박스를 A, 이미 특정 머리 바운딩 박스와 연결되어 있는 몸체 바운딩 박스 중 순차적으로 획득된 몸체 바운딩 박스를 B 라고 가정한다. 일 실시예에서 A가 존재하는 프레임 이미지 중 B가 존재하는 프레임 이미지의 비율, 또는 B가 존재하는 프레임 이미지 중 A가 존재하는 프레임 이미지의 비율이 10% 이상인 B가 적어도 하나 존재하는 경우, A와 B의 몸체 바운딩 박스는 동일한 사람과 대응될 확률이 낮다. 이 경우 객체 검출 장치는 몸체 바운딩 박스와 매칭할 후보 목록의 다음 순서에 대응되는 머리 바운딩 박스에 대해 상기 동작을 반복하여 수행한다.

선택적 실시예에서 객체 검출 장치는 A가 존재하는 프레임 이미지 중 B가 존재하는 프레임 이미지의 비율, 또는 B가 존재하는 프레임 이미지 중 A가 존재하는 프레임 이미지의 비율이 10% 이상인 B가 존재하지 않는 경우, 몸체의 식별값을 머리의 식별값과 동일하게 변경할 수 있다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (7)

1. 객체 검출 장치에 의해 수행되는 객체 검출 방법에 있어서,
   복수의 프레임 이미지를 획득하는 단계;
   제1 프레임 이미지에서 제1 객체의 제1 바운딩 박스 및 제2 객체의 제2 바운딩 박스를 검출하는 단계;
   상기 제1 바운딩 박스에 제1 식별값을 부여하고, 상기 제2 바운딩 박스에 제2 식별값을 부여하는 단계;
   제2 프레임 이미지에서의 상기 제1 객체의 가상 바운딩 박스를 생성하는 단계;
   제2 프레임 이미지에서 검출된 제1 객체의 제3 바운딩 박스와 상기 가상 바운딩 박스 간 겹치는 영역의 넓이를 기초로, 상기 제3 바운딩 박스에 상기 제1 식별값을 부여하는 단계; 및
   상기 제1 바운딩 박스와 상기 제2 바운딩 박스 간 겹치는 영역의 넓이를 기초로, 상기 제2 식별값을 상기 제1 식별값으로 변경하는 단계;
   를 포함하는 객체 검출 방법.
   
2. 제1 항에 있어서,
   상기 제1 바운딩 박스 및 제2 바운딩 박스를 검출하는 단계는,
   상기 제1 바운딩 박스의 중심좌표, 가로길이 및 세로길이를 이용하여 상기 제1 바운딩 박스의 꼭지점 좌표를 획득하고, 상기 제2 바운딩 박스의 중심좌표, 가로길이 및 세로길이를 이용하여 상기 제2 바운딩 박스의 꼭지점 좌표를 획득하는 단계를 포함하는,
   객체 검출 방법.
   
3. 제1 항에 있어서,
   상기 가상 바운딩 박스를 생성하는 단계는,
   상기 제1 바운딩 박스를 기초로 제1 가상 바운딩 박스를 생성하고,
   상기 제3 바운딩 박스와 상기 제1 가상 바운딩 박스를 매핑하는 단계를 포함하는
   객체 검출 방법.
   
4. 제3 항에 있어서,
   상기 제3 바운딩 박스와 상기 가상 바운딩 박스를 매핑하는 단계는,
   상기 제3 바운딩 박스가 검출되지 않는 경우, 제3 프레임 이미지에서의 제2 가상 바운딩 박스를 생성하는 단계; 및
   상기 제3 프레임 이미지에서 검출된 제1 객체의 제4 바운딩 박스와 상기 제2 가상 바운딩 박스를 매핑하는 단계를 포함하고,
   상기 제3 바운딩 박스에 상기 제1 식별값을 부여하는 단계는,
   상기 제3 프레임 이미지에서 검출된 제1 객체의 제4 바운딩 박스와 상기 제2 가상 바운딩 박스 간 겹치는 영역의 넓이를 기초로, 상기 제4 바운딩 박스에 상기 제1 식별값을 부여하는 단계를 포함하는,
   객체 검출 방법.
   
5. 제1 항에 있어서,
   상기 제3 바운딩 박스에 상기 제1 식별값을 부여하는 단계는,
   상기 제3 바운딩 박스와 상기 가상 바운딩 박스 간 겹치는 영역의 넓이가 기준치 이상인 경우 상기 제3 바운딩 박스에 상기 제1 식별값을 부여하는 단계를 포함하는,
   객체 검출 방법.
   
6. 제1 항에 있어서,
   상기 제2 식별값을 상기 제1 식별값으로 변경하는 단계는,
   상기 제1 바운딩 박스와 상기 제2 바운딩 박스 간 겹치는 영역의 넓이가 기준치 이상인 경우 상기 제2 식별값을 상기 제1 식별값으로 변경하는 단계를 포함하는,
   객체 검출 방법.
   
7. 제6 항에 있어서,
   상기 제2 바운딩 박스를 검출하는 단계는,
   제3 객체에 대한 제5 바운딩 박스를 검출하는 단계를 포함하고,
   상기 제2 바운딩 박스에 제2 식별값을 부여하는 단계는,
   상기 제5 바운딩 박스에 제3 식별값을 부여하는 단계를 포함하고,
   상기 제2 식별값을 상기 제1 식별값으로 변경하는 단계는,
   상기 제1 바운딩 박스와 상기 제2 바운딩 박스 간 겹치는 영역보다 상기 제1 바운딩 박스와 상기 제5 바운딩 박스 간 겹치는 영역이 넓은 경우, 상기 제3 식별값을 상기 제1 식별값으로 변경하는 단계를 포함하는,
   객체 검출 방법.

Images