KR20230166840A

KR20230166840A - 인공지능을 이용한 객체 이동 경로 확인 방법

Info

Publication number: KR20230166840A
Application number: KR1020220146450A
Authority: KR
Inventors: 정종암
Original assignee: (주)이앤제너텍
Priority date: 2022-05-30
Filing date: 2022-11-04
Publication date: 2023-12-07
Also published as: KR102465437B1

Abstract

본 발명은 적어도 하나의 카메라로부터 이미지를 수신하는 단계, 제1 카메라로부터 수신한 이미지 상의 객체를 제1 신경망을 이용하여 식별함으로써, 추적대상객체를 선정하는 단계, 상기 이미지, 또는 상기 객체가 식별된 상태의 데이터를 대상으로 제2 신경망을 이용하여, 상기 추적대상객체의 추적을 위한 객체 속성을 적어도 하나 추출하는 단계, 상기 제1 신경망에 의해 선정된 추적대상객체와 상기 제2 신경망에 의해 추출된 객체 속성 사이의 매칭정보를 제3 신경망을 이용해 학습하는 단계, 및 상기 학습된 추적대상객체와 상기 객체 속성 간의 매칭정보를 기초로, 제2 카메라로부터 수신되는 이미지에 대한 분석을 수행함으로써, 상기 추적대상객체로 예상되는 적어도 하나의 추적대상후보를 선정하는 단계를 포함할 수 있다.

Description

인공지능을 이용한 객체 이동 경로 확인 방법{METHOD FOR TRACKING OBJECT MOVEMENT PATH BASED ON ARTIFICIAL INTELLIGENCE}

본 발명은 인공지능을 이용한 객체 이동 경로 확인 방법에 관한 것으로, 보다 상세하게는 카메라로부터 제공된 이미지 상의 객체 및 객체 속성의 매칭결과를 학습에 이용함으로써, 객체의 동선을 추적하는 인공지능을 이용한 객체 이동 경로 확인 방법에 관한 것이다.

근래 인공지능 기반 객체 식별기술이 비약적으로 발전함에 따라, 다양한 목적의 객체 식별 솔루션이 제공되고 있다.

상기 솔루션은 객체의 종류를 식별하지 않고, 미리 객체 정보를 알고 있거나, 객체의 속성을 분류하지 못하는 한계를 나타낸다. 즉, 이 같은 솔루션은 객체가 사람인 경우, 사람의 얼굴, 옷차림, 걸음걸이와 같은 이미지 상의 속성을 식별하지 못하고, 객체가 자동차인 경우 번호판의 번호 외에 자동차 외형 모델 등 속성을 식별하지 못하는 한계가 있다.

이러한 한계점들은, 식별된 객체의 경로를 추적하는 기능을 제공하지 못하게 되는 문제점으로 이어진다.

등록특허공보 제10-1708917호 이동차량 추적에 의한 주차 관제시스템 등록특허공보 제10-1858396호 지능형 침입 탐지 시스템

본 발명이 해결하고자 하는 기술적 과제는, 인공지능 기술을 이용하여, 카메라로부터 제공된 이미지 상의 객체를 식별 및 추적하는 장치를 제공하는 것이다.

구체적으로, 본 발명이 해결하고자 하는 기술적 과제는, 이미지 상의 객체를 객체속성과 매칭하여 학습하고, 이를 바탕으로 객체 추적을 수행하는 장치 및 방법을 제공하는 것이다.

본 발명의 일 실시예에 따른 기술적 과제는, 얼굴, 옷차림, 걸음걸이, 번호판, 자동차 외형 디자인 요소 등을 객체 속성으로 식별하고 학습하여, 객체 이미지로부터 이를 추출하는 객체 추적 장치 및 방법을 제공하는 것이다.

본 발명이 해결하고자 하는 다른 기술적 과제는, 추적대상후보에 대한 다수 카메라를 통한 추적 및 동선을 수행하는 장치 및 방법을 제공하는 것이다.

구체적으로 본 발명이 해결하고자 하는 다른 기술적 과제는, 미리 설정된 시간 동안의 추적 과정에서 객체의 속성을 바탕으로, 추적대상후보를 좁혀, 좁혀진 대상에 대한 이동 경로를 표시하는 인공지능 기반 객체 추적 장치 및 방법을 제공하는 것이다.

본 발명이 해결하고자 하는 또 다른 기술적 과제는, 영상 데이터의 3D 배경을 가상공간으로 매핑하고, 가상공간에서 소실점을 고려한 추적된 객체의 크기 증감을 계산하고, 추적된 객체의 이동 속도를 보정하는 인공지능 기반 객체 추적 장치 및 방법을 제공하는 것이다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명의 기술분야에서의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 인공지능 기반 객체 추적 장치는, 일 실시예에 따르면, 인공지능 기반 객체 추적 장치는, 적어도 하나의 카메라로부터 이미지를 수신하는 네트워크 인터페이스와 제1 카메라로부터 수신한 이미지 상의 객체를 제1 신경망을 이용하여 식별함으로써, 추적대상객체를 선정하는 객체 식별부와 제2 신경망을 이용하여, 상기 추적대상객체의 추적을 위한 객체 속성을 적어도 하나 추출하는, 객체 속성 추출부와 상기 제1 신경망에 의해 선정된 추적대상객체와 상기 제2 신경망에 의해 추출된 객체 속성 사이의 관계를 제3 신경망을 이용해 학습하는 객체 속성 매칭부 및 상기 학습된 추적대상객체와 상기 객체 속성 간의 매칭정보를 기초로, 상기 추적대상객체로부터 미리 설정된 범위 내의 제2 카메라로부터 수신되는 이미지에 대한 분석을 수행함으로써, 상기 추적대상객체로 예상되는 추적대상후보를 선정하는 제어부를 포함할 수 있다.

일 실시예에서, 상기 제어부는, 상기 추적대상객체로부터 미리 설정된 범위 내의 감시 카메라를 식별하되, 상기 선정된 추적대상객체의 벡터정보를 식별하고, 상기 추적대상객체의 이동에 따라 식별되는 복수개의 벡터정보를 기초로 기준으로, 상기 식별된 감시 카메라 중 상기 제2 카메라를 결정할 수 있다.

일 실시예에서, 상기 제어부는, 상기 제1 카메라와 감시범위가 오버랩되는 적어도 하나의 감시 카메라를 식별하되, 상기 선정된 추적대상객체의 벡터정보를 식별하고, 상기 추적대상객체의 이동에 따라 식별되는 복수개의 벡터정보를 기초로 기준으로, 상기 식별된 감시 카메라 중 상기 제2 카메라를 결정할 수 있다.

일 실시예에서, 상기 객체 식별부에 의해 선정된 추적대상객체가 사람이고, 상기 객체 속성 추출부에 의해 추출된 속성 중 하나가 걸음걸이인 경우, 상기 제어부는, 상기 객체 식별부가 상기 추적대상객체를 선정함에 따라, 상기 추적대상객체의 벡터정보를 기초로, 상기 추적대상객체의 이미지 내의 크기 변화, 이동 중인 상기 추적대상객체의 진행방향에 수직하는 좌우방향으로 상기 추적대상객체가 생성하는 변위량 및 상기 진행방향에 수직하는 상하방향으로 상기 추적대상객체가 생성하는 변위량 중 적어도 하나를 이용하여, 상기 추적대상객체인 사람의 걸음걸이 특성 값을 생성할 수 있다.

일 실시예에서, 상기 제어부는, 상기 객체 속성 매칭부에 의해 상기 생성된 걸음걸이 특성 값과 상기 추적대상객체인 사람 간의 매칭정보가 학습되도록 제어할 수 있다.

일 실시예에서, 상기 제어부는, 상기 추적대상후보의 벡터정보를 식별하고, 상기 추적대상후보의 이미지 내의 크기 변화, 이동 중인 상기 추적대상후보의 진행방향에 수직하는 좌우방향으로 상기 추적대상후보가 생성하는 변위량 및 상기 진행방향에 수직하는 상하방향으로 상기 추적대상후보가 생성하는 변위량 중 적어도 하나를 이용하여, 상기 추적대상후보의 걸음걸이 특성 값을 생성하고, 상기 객체 속성 매칭부에 의해 상기 추적대상후보의 걸음걸이 특성 값과 상기 추적대상후보 간의 매칭정보가 학습되도록 제어할 수 있다.

일 실시예에서, 상기 제어부는, 상기 추적대상객체의 걸음걸이 특성 값과 상기 추적대상객체 간의 매칭정보와 상기 추적대상후보의 걸음걸이 특성 값과 상기 추적대상후보 간의 매칭정보의 유사도 정보를 기초로, 상기 추적대상후보를 추적대상객체로 결정할 수 있다.

일 실시예에서, 상기 제어부는, 상기 제1 카메라의 촬영방향 정보 및 상기 제2 카메라의 촬영방향 정보를 기초로, 상기 추적대상후보의 걸음걸이 특성 값과 상기 추적대상후보 간의 매칭정보에 보상 값을 적용할 수 있다.

일 실시예에서, 상기 제어부는, 미리 설정된 제1 시간 동안, 상기 추적대상후보의 진행방향에 수직하는 좌우방향 및 상하방향으로 생성하는 변위량을 이용하여 생성된 추적대상후보의 제1 걸음걸이 특성 값을 기초로 상기 추적대상후보 중 추적 우선순위를 결정할 수 있다.

일 실시예에서, 상기 제어부는, 미리 설정된 제2 시간 동안, 상기 추적대상후보의 진행방향에 수직하는 좌우방향 및 상하방향으로 생성하는 변위량을 이용하여 생성된 추적대상후보의 제2 걸음걸이 특성 값을 기초로 상기 추적 우선순위에 포함된 추적대상후보 중, 상기 추적대상객체를 결정할 수 있다.

일 실시예에서, 상기 객체 속성 추출부가 이미지 구성요소를 속성으로 추출한 경우, 상기 제어부는, 상기 객체 속성 매칭부에 의해 상기 수신된 이미지 상에서 상기 선정된 추적대상객체의 벡터정보를 식별하고, 이동 중인 상기 추적대상객체를 기준으로 상기 이미지 구성요소의 크기, 색상, 형상 및 벡터정보 중 적어도 하나를 상기 매칭정보로 학습되도록 제어할 수 있다.

일 실시예에서, 상기 객체 속성 추출부가 제1 속성 및 제2 속성을 추출한 경우, 상기 제어부는, 상기 학습된 추적대상객체와 상기 제1 속성 간의 매칭정보를 기초로, 복수개의 제2 카메라로부터 수신되는 이미지에 대한 분석을 수행함으로써, 상기 추적대상객체로 예상되는 추적대상후보를 선정할 수 있다.

일 실시예에서, 상기 제어부는, 상기 학습된 추적대상객체와 상기 제2 속성 간의 매칭정보를 기초로, 상기 추적대상후보 중, 추적대상객체를 최종 결정할 수 있다.

일 실시예에서, 상기 객체 속성 추출부가 제1 속성 및 제2 속성을 추출한 경우, 상기 제어부는, 상기 객체 속성 매칭부에서, 상기 제1 속성과 상기 제2 속성 사이의 속성 매칭정보가 상기 제3 신경망을 이용해 학습되도록 제어할 수 있다.

일 실시예에서, 상기 제어부는, 상기 선정된 적어도 하나의 추적대상후보 중, 상기 속성 매칭정보를 기초로, 추적대상객체를 최종 결정할 수 있다.

상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 인공지능 기반 객체 추적 방법은, 인공지능 기반 객체 추적 장치에 의해 수행되는 방법으로서, 적어도 하나의 카메라로부터 이미지를 수신하는 단계와 제1 카메라로부터 수신한 이미지 상의 객체를 제1 신경망을 이용하여 식별함으로써, 추적대상객체를 선정하는 단계와 제2 신경망을 이용하여, 상기 추적대상객체의 추적을 위한 객체 속성을 적어도 하나 추출하는 단계와 상기 제1 신경망에 의해 선정된 추적대상객체와 상기 제2 신경망에 의해 추출된 객체 속성 사이의 매칭정보를 제3 신경망을 이용해 학습하는 단계와 상기 학습된 추적대상객체와 상기 객체 속성 간의 매칭정보를 기초로, 제2 카메라로부터 수신되는 이미지에 대한 분석을 수행함으로써, 상기 추적대상객체로 예상되는 적어도 하나의 추적대상후보를 선정하는 단계를 포함할 수 있다.

본 발명의 일실시예에 따르면, 얼굴, 옷차림, 걸음걸이, 번호판, 자동차 외형 모델 인식의 객체 추적을 수행하고, 객체 추적 명령, 동선 추적을 통해 이동 경로를 표시함으로써 객체의 이동 경로를 확인할 수 있는 효과가 제공된다.

또한, 본 발명의 일실시예에 따르면 복수의 카메라에 추적대상후보에 대한 추적을 명령하고, 객체 속성을 기반으로 추적범위를 좁혀나감으로써 효율적인 추적이 가능해지는 장점이 있다.

또한, 본 발명의 일실시예에 따르면, 객체의 이동 속도에 기초한 카메라의 영상 데이터를 이용하여 동선을 추적함으로써 객체 추적을 효율적으로 수행하는 효과를 가질 수 있다.

또한, 본 발명의 일실시예에 따르면 영상 데이터의 3D 배경을 가상 공간으로 매핑하고, 가상 공간에서 소실점을 고려한 추적된 객체의 사이즈 증감을 계산하고, 추적된 객체의 이동 속도를 보정함으로써 객체 추적의 정확도를 높이는 효과를 가질 수 있다.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 본 발명의 기술분야에서의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일실시예에 따른 인공지능 기반 객체 추적 시스템의 예시이다.
도 2는 본 발명의 일실시예에 따른 인공지능 기반 객체 추적 장치의 예시이다.
도 3은 본 발명의 다른 실시예에 따른 인공지능 기반 객체 추적 방법의 동작을 보인 순서도이다.
도 4는 본 발명의 몇몇 실시예에서 참조되는 감시 카메라 중 제2 카메라 결정 방식을 설명하기 위한 예시도이다.
도 5는 본 발명의 몇몇 실시예에서 참조되는, 추적대상객체의 벡터정보를 설명하기 위한 예시이다.
도 6은 본 발명의 몇몇 실시예에서 참조되는, 객체의 속성에 대한 예시이다.
도 7은 본 발명의 몇몇 실시예에서 참조되는, 추적대상후보의 객체 속성인 걸음걸이 정보 생성을 에 대한 예시이다.
도 8은 본 발명의 또 다른 실시예에 따른, 추적대상후보의 추적범위를 변경하는 방법의 순서도이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.

본 명세서에서, 인공지능 기반 객체 추적 시스템은 추적 시스템으로, 인공지능 기반 객체 추적 장치는 추적 장치로, 인공지능 기반 객체 추적 방법은 추적 방법으로 각각 약칭될 수 있다.

도 1은 본 발명의 일실시예에 따른 인공지능 기반 객체 추적 시스템의 예시이다.

도 1을 참조하면, 추적 시스템은, 추적 장치(100), 복수개의 카메라(201, 202) 및 객체(300)를 포함할 수 있다.

추적 장치(100)는, 영상분석을 수행하고, 외부 장치와 데이터 통신을 수행할 수 있는 컴퓨팅 장치로서, 예를 들어, 서버 장치 또는 클라우드 서버 상의 소정의 컴퓨팅 자원의 결합체일 수 있다.

추적 장치(100)는 본 발명의 실시예에 따른 추적 방법을 수행하기 위한 하나 이상의 애플리케이션을 저장 및 연산할 수 있으며, 본 발명이 속한 분야에서 널리 알려진 하나 이상의 인공신경망을 이용하여 학습을 수행할 수 있다. 추적 장치(100)는, 상기 하나 이상의 인공신경망을 알고리즘으로 저장하거나, 신경망 네트워크에 접속하여 이미지 데이터를 학습할 수 있다.

복수개의 카메라(201, 202)는 예를 들어, CCTV와 같은 감시 카메라일 수 있으며, 민간 설치 카메라 및/또는 공공 설치 카메라를 포함할 수 있다.

도 1에서, 제1 카메라(201)와 제2 카메라(202)는 각각의 촬영 범위를 가지며, 객체(300)가 상기 촬영 범위 내를 이동하는 동안, 복수개의 카메라(201, 202)는 실시간으로 객체(300)에 대한 촬영 이미지를 생성하여 추적 장치(100)에 송신할 수 있다.

일 실시예에 따르면, 객체(300)는 사람 또는 사람의 얼굴일 수 있다.

다른 실시예에 따르면, 객체(300)는 자동차 또는 자동차의 번호판일 수도 있다.

다음으로, 추적 장치(100)에 대하여 상세히 살펴본다.

도 2는 본 발명의 일실시예에 따른 인공지능 기반 객체 추적 장치의 예시이다.

도 2를 참조하면, 추적 장치(100)는, 네트워크 인터페이스(110), 객체 식별부(120), 객체 속성 추출부(130), 객체 속성 매칭부(140) 및 제어부(150)를 포함할 수 있다.

네트워크 인터페이스(110)는, 추적 장치(100)의 유무선 인터넷 통신을 지원한다. 또한, 네트워크 인터페이스(110)는 공중 통신망인 인터넷 외에 다양한 통신 방식을 지원할 수도 있다. 또한, 네트워크 인터페이스(110)는 CCTV시스템과 같은 외부 장치와의 연결을 제공할 수도 있다. 이를 위해, 네트워크 인터페이스(110)는 본 발명의 기술 분야에 잘 알려진 통신 모듈 및 접속 단자 중 적어도 하나를 포함하여 구성될 수 있다.

일 실시예에서, 추적 장치(100)는 적어도 하나의 신경망 알고리즘을 저장할 수 있으며, 연산 효율성을 위해 외부의 신경망에 접근하여 학습에 이용할 수도 있다. 이 경우, 네트워크 인터페이스(110)는 적어도 하나의 외부 신경망을 대한 추적 장치(100)에 접근을 제공할 수 있다.

여기에서, 적어도 하나의 신경망 알고리즘은, 미리 학습되어 이미지를 분석 및 특정 객체를 분류할 수 있으며, 특정 객체 상의 이미지 구성요소를 추출할 수도 있다.

예를 들어, 본 발명의 실시예에서 참조되는 신경망 알고리즘은, 이미지 상에서 자동차와 사람을 식별하고 분류해낼 수 있다.

특히, 본 발명의 실시예에서 참조되는 신경망 알고리즘은, 자동차의 외관 디자인, 색상, 번호판, 번호판 내부의 숫자 및 문자를 추출할 수 있다.

또한, 본 발명의 실시예에서 참조되는 신경망 알고리즘은, 사람의 얼굴, 머리길이, 의류 색상, 안경, 액세서리, 걸음걸이 등을 추출할 수 있다.

본 발명의 실시예에서 참조되는 신경망 알고리즘은, 특히, 제1 신경망 및 제2 신경망은 예를 들어, 합성곱 신경망(Convolutional Neural Network, CNN)일 수 있으나, 본 발명은 이에 한정되지 않는다.

객체 식별부(120)는, 제1 카메라로부터 수신한 이미지 상의 객체를 제1 신경망을 이용하여 식별할 수 있다. 이로써, 객체 식별부(120)는 추적대상객체를 선정할 수 있다. 예를 들어, 제1 카메라로부터 실시간 수신되는 이미지 상에서 추적해야 하는 사람이 있는 경우, 객체 식별부(120)는 미리 학습된 신경망 알고리즘을 이용하여, 이미지 상에서 특정인을 식별할 수 있다. 이때, 최초 특정인의 인상착의 정보는 방범 기관, 경찰 등으로부터 추적 장치(100)에 제공될 수 있다.

객체 속성 추출부(130)는 제2 신경망을 이용하여, 추적대상객체의 추적을 위한 객체 속성을 적어도 하나 추출할 수 있다.

예를 들어, 객체 속성은, 객체가 사람인 경우, 얼굴, 피부색, 착용 중인 의류 디자인, 의류 색상, 안경, 썬글라스, 머리색, 머리 길이 등일 수 있다. 의류나 액세서리의 경우, 사람이 이동 중에 변경할 수 있으며, 머리 색이나 머리 길이 역시, 변장을 통해 변경할 수 있다. 이에 따라, 일 실시예에 따른 객체 속성은, 사람의 걸음걸이 정보와 같이 변경이 어려운 정보를 포함할 수도 있다.

다른 예에서, 객체가 자동차인 경우, 차량 뒷 유리에 붙인 스티커 등 디자인 요소, 차량의 외관 디자인, 차량의 번호판, 번호판 내의 문자 또는 숫자, 문자 또는 숫자와 차량의 디자인 요소간의 거리 등이 객체 속성에 포함될 수 있다.

도 1을 참조하면, 이미지는 객체 식별부(120)에 입력되어, 제1 신경망을 이용하여 분류되고, 객체가 식별될 수 있으며, 별도로 이미지가 객체 속성 추출부(130)에 입력되어 제2 신경망을 이용하여 속성이 추출될 수 있다. 다른 예로, 이미지가 제1 신경망을 이용하여 분류되고, 객체가 식별된 상태에서, 데이터가 객체 속성 추출부(130)에 전달되어, 제2 신경망을 통해 속성이 추출될 수도 있다.

객체 속성 매칭부(140)는, 제1 신경망에 의해 선정된 추적대상객체와 상기 제2 신경망에 의해 추출된 객체 속성 사이의 매칭정보를 제3 신경망을 이용해 학습할 수 있다.

일 실시예에서, 제3 신경망 역시, 제1 및 제2 신경망과 같은 합성곱 신경망일 수 있다.

다른 실시예에서, 제3 신경망은, 이미지 상의 객체와 특정 의미를 갖는 정보, 예를 들어, 텍스트와의 관계를 학습하기 위해 최적화된 신경망일 수도 있다.

객체 속성 매칭부(140)는 추적대상객체와 객체 속성 간의 매칭정보를 생성할 수도 있다.

제어부(150)는, 학습된 추적대상객체와 상기 객체 속성 간의 매칭정보를 기초로, 제2 카메라로부터 수신되는 이미지에 대한 분석을 수행할 수 있다. 또한, 제어부(150)는, 추적대상객체로 예상되는 적어도 하나의 추적대상후보를 선정할 수 있으며, 추적대상후보 중, 진짜 추적대상객체에 해당하는 객체가 무엇인지 최종 결정할 수도 있다.

제어부(150)가 제2 카메라(202)로부터 수신된 이미지 상에서 추적대상객체를 최종 결정함에 따라, 제1 카메라(201)의 촬영 영역으로부터 제2 카메라(202)의 촬영 영역을 통과하는 객체의 이동경로 정보를 생성할 수 있다. 제어부(150)는 생성된 추적대상 객체의 이동경로를 추적 시스템의 출력모듈을 통해 디스플레이할 수도 있다.

제어부(150)는 추적 장치(100), 나아가 추적 시스템의 구성요소의 모든 동작을 제어한다.

제어부(150)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), AP(Application Processor) 또는 본 발명의 기술 분야에 잘 알려진 임의의 형태의 프로세서를 포함하여 구성될 수 있다. 또한, 제어부(150)는 본 발명의 실시예들에 따른 방법을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있다.

도 3은 본 발명의 다른 실시예에 따른 인공지능 기반 객체 추적 방법의 동작을 보인 순서도이다. 추적 방법의 각 단계는, 추적 장치(100)에 의해 수행된다.

추적 장치(100)는 적어도 하나의 카메라로부터 객체를 포함하는 이미지를 수신하고(S10), 제1 신경망을 이용하여 식별된 객체를 추적대상객체로 선정할 수 있다(S20).

추적 장치(100)는 제2 신경망을 이용하여 추적대상객체의 객체 속성을 추출할 수 있다(S30). 또한, 추적 장치(100)는 제3 신경망을 이용하여, 추적대상객체와 객체 속성 사이의 매칭정보를 학습할 수 있다(S40).

예를 들어, 추적대상객체가 A라는 사람이고, A가 B라는 가방을 들고 있는 경우, 추적 장치(100)는 A라는 객체를 추적대상객체로 선정하고, B라는 가방을 객체의 속성으로 추출할 수 있다.

이때, 매칭정보는, A가 오른 손에 가방 B를 들고 있는 경우, 이동 중인 A의 중심점으로부터 오른 손에 쥐어져 위치하는 B까지의 거리, A가 이동하면서 흔들거리면서 A의 이동 방향을 추종하는 B의 이동 방향 등과 같은 A와 B 사이의 관계에 대한 정보일 수 있다.

이에 따라, 추적 장치(100)는 제2 카메라로부터 수신된 이미지 상에서 A와 유사한 A1이 식별되고, B와 유사해 보이는 B1이 추출되고, A1와 B1 사이의 관계에 대한 정보인 매칭정보까지 분석됨에 따라, A1을 추적대상후보, 즉, A를 추적하고자 하는 상황에서 관심대상으로 추적해야 할 후보로 A1을 선정할 수 있다(S50).

도 4는 본 발명의 몇몇 실시예에서 참조되는 감시 카메라 중 제2 카메라 결정 방식을 설명하기 위한 예시도이다.

도 4를 참조하면, 객체(300)는 이동 중이고, 경로(400)을 따라 이동한다. 이때, CCTV1(401)의 촬영범위(411)을 객체(300)가 통과하는 동안, 추적 장치(미도시)는, 추적대상객체(300)의 이동에 따른 벡터정보(421, 422)를 획득할 수 있다.

객체(300)는 이동에 따라 촬영범위(411)을 벗어나게 되는데, 이에 앞서 추적 장치는 추적대상객체(300)로부터, 미리 설정된 범위 내의 감시 카메라, 예를 들어, CCTV2(402), CCTV3(403)을 식별할 수 있다.

CCTV2(402)의 감시 범위는 촬영범위(412)이고, CCTV3(403)의 감시 범위는 촬영범위(413)이다.

다른 실시예에서, 추적 장치는 CCTV1(401)와 감시 범위가 오버랩 되는 CCTV2(402) 및/또는 CCTV3(403)을 식별할 수 있다.

추적 장치는 추적대상객체(300)의 벡터정보를 식별하고, 식별되는 복수개의 벡터정보(421, 422)를 기초로 감시 카메라 중 CCTV2(402)를 카메라를 결정할 수 있다.

이에 따라, 추적 장치는, CCTV1(401)에 이어, CCTV2(402)를 추적대상객체(300)의 추적을 위한 제2 카메라로 결정하고, 제2 카메라의 이미지를 실시간으로 분석한다. 추적 장치는 복수개의 벡터정보(421, 422)를 바탕으로, CCTV3(403)을 제2 카메라 후보에서 제외시키고, CCTV2(402)를 선택함으로써, 추적범위가 좁혀지는 장점이 있다.

경로(400)을 고려 시, 이후, 추적장치는 벡터정보(431, 432)를 바탕으로 제3 카메라를 결정할 수 있다.

도 5는 본 발명의 몇몇 실시예에서 참조되는, 추적대상객체의 벡터정보를 설명하기 위한 예시이다.

도 5를 참조하면, 추적대상객체(300)의 경로(51)는 복수의 벡터로 구성되며, 이때 벡터(501)과 벡터(502)는 미리 설정된 동일 시간 내의 변위 및 평균 방향 정보를 포함할 수 있다. 즉, 벡터(501)과 벡터(502)의 길이를 비교하면, 동일 시간 동안 벡터(501) 대비 벡터(502)에 대응되는 거리만큼 추적대상객체(300)가 이동 하였으므로, 벡터(502)가 속력이 더 빠른 구간에 해당한다.

또한, 연속하는 각 벡터가 나타내는 길이 및 방향의 결합으로 추적대상객체(300)의 경로(51)가 생성될 수 있으며, 추적 장치(100)는 이를 추적 정보(50)로 출력할 수 있다.

도 6은 본 발명의 몇몇 실시예에서 참조되는, 객체의 속성에 대한 예시이다. 도 6에서 객체가 자동차(600)인 경우가 예시되었다.

도 6을 참조하면, 추적 장치(100)는 자동차(600) 이미지로부터, 자동차(600)의 외관(610), 번호판(601), 번호판(601) 내부의 요소인 숫자(611)와 문자(612)를 속성으로 추출할 수 있다. 즉, 본 발명의 일 실시예에 따르면, 추적 장치(100)는 이미지를 구성하는 다른 요소(이하, 이미지 구성요소라 한다) 자체를 객체 속성으로 추출할 수 있다.

이 경우, 제어부(150)는, 객체 속성 매칭부(140)에 의해, 수신된 이미지 상에서 선정된 추적대상객체(300)의 벡터정보를 식별할 수 있다.

예를 들어, 도 6에서 차량(600)이 이동 중인 경우, 이미지는 차량의 뒤쪽을 촬영한 것이므로, 벡터정보의 방향은 차량의 전방이 되고, 수신되는 전체 이미지 중에서 차량(600) 이미지는 점점 작아질 것이다.

제어부(150)는 이동 중인 추적대상객체(300)를 기준으로 이미지 구성요소의 크기, 색상, 형상 및 벡터정보 중 적어도 하나를 매칭정보로 학습되도록 제어할 수 있다.

일 실시예에서, 숫자(611)와 외관(610)의 배치 및/또는 거리가 매칭정보로 학습될 수 있다.

일 실시예에서, 차량(600)의 중앙부와 문자(612)의 배치 및/또는 거리가 매칭정보로 학습될 수 있다.

일 실시예에서, 차량(600)과 번호판(601)이 매칭정보로 학습될 수도 있다.

도 7은 본 발명의 몇몇 실시예에서 참조되는, 추적대상후보의 객체 속성인 걸음걸이 정보 생성을 에 대한 예시이다. 도 7에서 객체 식별부(120)에 의해 선정된 추적대상객체(300)가 사람이고, 추적 장치(100)에 사람(300)이 경로(710)으로 걸어가는 이미지가 수신된 경우가 예로써 도시되었다. 즉, 객체 속성 추출부(130)에서는, 걸음걸이 정보가 객체의 속성으로 추출되었다.

도 7을 참조하면, 사람(300)은 경로(710)로 걸어가면서, 수신된 이미지 상에서 사람(300)이 작아지며, 이동된 사람(301)으로 표현된다.

그림(701)은 사람(300)이 걷는 동안 양발을 내딛을 때 발생하는 좌우 방향의 이동 및/또는 흔들림을 나타내었고, 그림(702)는 사람(300)이 걷는 동안 발을 뒤꿈치부터 구를 때 발생하는 상하 방향의 이동 및/또는 흔들림을 나타내었다. 상기 좌우, 상하 변위량 외의 다양한 요소가 사람(300)의 걸음걸이 특성 값 생성에 이용될 수 있다.

이때, 제어부(150)는, 사람(300)의 벡터정보를 기초로, 사람(300)의 이미지 내의 크기 변화, 이동 중인 사람(300)의 진행방향에 수직하는 좌우방향(720)으로 사람(300)이 생성하는 변위량(721, 722) 및 진행방향에 수직하는 상하방향(730)으로 사람(300)이 생성하는 변위량(731, 732) 중 적어도 하나를 이용하여, 추적대상객체인 사람(300)의 걸음걸이 특성 값을 생성할 수 있다.

제어부(150)는 객체 속성 매칭부(140)에 의해 생성된 걸음걸이 특성 값과 추적대상객체인 사람(300) 간의 매칭정보가 학습되도록 제어할 수 있다.

추적 장치(100)는 같은 동작을 추적대상객체 외에 추적대상후보에 대하여도 수행할 수 있다.

즉, 제어부(150)는, 추적대상객체(300)의 걸음걸이 특성 값과 추적대상객체(300) 간의 제1 매칭정보를 학습할 수 있으며, 추적대상후보의 걸음걸이 특성 값과 추적대상후보 간의 제2 매칭정보 역시 학습할 수 있다.

또한, 제어부(150)는 제1 매칭정보와 제2 매칭정보의 유사도 정보를 판정할 수 있으며, 이를 기초로, 추적대상후보를 추적대상객체로 결정할 수 있다.

보다 자세히 설명하면, 제어부(150)는, 제1 카메라로부터 식별된 사람 a와 a의 걸음걸이 특성 값 사이의 제1 매칭정보를 생성할 수 있다. 또한, 제어부(150)는, 제2 카메라로부터 추적대상후보 a1이 식별되면, a1의 걸음걸이 정보를 객체 속성으로 추출하고, a1의 걸음걸이 특성 값과 a1 사이의 제2 매칭정보를 생성할 수도 있다. 나아가, 제어부(150)는, 제3 카메라로부터 추적대상후보 a2가 식별되면, a2의 걸음걸이 정보를 객체 속성으로 추출하고, a2의 걸음걸이 특성 값과 a2 사이의 제3 매칭정보를 생성할 수도 있다.

제어부(150)는 제1 매칭정보와 제2 매칭정보 사이의 유사도 판단, 제1 매칭정보와 제3 매칭정보 사이의 유사도 판단을 각각 수행하여, 유사도가 높은 추적대상후보 a1을 추적대상객체로 결정할 수 있다. 즉, a와 a1이 동일한 추적대상객체로 인식하는 것이다.

또 다른 실시예에 따르면, 제어부(150)는 추적대상후보 a1, a2와 a3에 대하여, a1 내지 a3이 동일하게 미리 설정된 제1 시간 동안 걸으며 이동함에 따라 발생하는 변위량을 기초로 걸음걸이 특성 값을 생성하고, 이를 바탕으로 a1, a2, a3 차례로 추적 우선순위를 결정할 수 있다.

즉, 제어부(150)는 추적 장치(100)가 서로 다른 영역에 위치하는 다수의 카메라로부터 복수의 추적대상후보(a1, a2, a3)를 포함하는 이미지를 수신하고, a1 내지 a3의 걸음걸이 특성 값을 추출하고, a와 걸음걸이 특성 값 유사도가 높은 순서로 추적 우선순위를 결정할 수 있다. 이에 따라, 제어부(150)는 미리 설정된 시간 동안 이미지 수신 횟수 또는 이미지 분석 횟수를 결정된 우선순위를 기준으로 변경할 수 있다. 예를 들어, a1에 대한 이미지 수신은 실시간으로 지속하고, a3에 대하여 이미지 수신 및 분석은 간격을 갖고 수행할 수 있다.

제어부(150)는 미리 설정된 제2 시간 동안 추가로 추적대상후보 a1 내지 a3이 걸으며 이동함에 따라 발생하는 변위량을 기초로 걸음걸이 특성 값을 생성하고, 이를 바탕으로, 추적 우선순위에 포함된 추적대상후보 중, a1을 추적대상객체로 결정할 수 있다.

즉, a1 내지 a3를 소정의 시간 동안 걸음에 따라 생성된 걸음걸이 특성 값을 비교해보면, a의 걸음걸이 특성 값과 유사하다고 판단할 수 있으며, 이에 따라 추적 장치(100)는 서로 다른 영역의 복수의 카메라로부터 수신되는 이미지에서 추적대상후보를 지속적으로 추적한다.

소정의 시간이 경과하고 더 오래 걷다 보면, 걸음걸이 특성 값의 신뢰도는 높아지고, 추가로 a1이 가장 a의 걸음걸이 특성 값과 유사한 값을 갖는 것으로 확인됨에 따라, 추적 장치(100)는 a1을 최종적으로 a로 간주하고 추적 범위를 좁혀 a1에 대한 추적만을 수행하게 된다.

한편, 제1 카메라의 촬영방향 정보 및 제2 카메라의 촬영방향 정보는 서로 다를 수 있으며, 이를 바탕으로 제어부(150)는 추적대상후보의 걸음걸이 특성 값과 추적대상후보 간의 매칭정보에 보상 값을 적용할 수도 있다.

한편, 제어부(150)는 객체 속성 추출부(130)를 통해 복수개의 속성을 추출할 수 있으며, 복수개의 객체 속성을 이용하여 추적대상후보에 대한 추적범위를 변경할 수 있다.

도 8은 본 발명의 또 다른 실시예에 따른, 추적대상후보의 추적범위를 변경하는 방법의 순서도이다.

도 8을 참조하면, 도 3의 단계(S30)에서, 추적 장치(100)의 객체 속성 추출부(130)가 제1 속성 및 제2 속성을 추출할 수 있다(S31).

제어부(150)는, 객체 속성 매칭부(140)를 이용하여, 추적대상객체와 제1 속성 사이의 제1 매칭정보를 학습할 수 있다(S41).

또한, 추적 장치(100)는 제1 매칭정보를 기초로 복수개의 제2 카메라를 선정하고, 복수개의 제2 카메라로부터 수신 이미지를 분석할 수 있다. 상기 이미지 분석을 통해, 제어부(150)는 추적대상객체로 예상되는 추적대상후보를 선정할 수 있다.

또한, 제어부(150)는, 객체 속성 매칭부(140)를 이용하여, 추적대상객체와 제2 속성 사이의 제2 매칭정보를 학습할 수도 있다. 상기 학습된 추적대상객체와 상기 제2 속성 간의 매칭정보를 기초로, 상기 추적대상후보 중, 추적대상객체를 최종 결정할 수 있다(S51).

또 다른 실시예에 따르면, 추적 장치(100)의 객체 속성 추출부(130)가 추적대상객체에 대하여 제1 속성 및 제2 속성을 추출한 경우, 제어부(150)는 객체 속성 매칭부(140)에서, 제1 속성과 제2 속성 사이의 속성 매칭정보가 상기 제3 신경망을 이용해 학습되도록 제어할 수도 있다. 즉, 제어부(150)는, 속성끼리의 관계를 학습하여 속성 매칭정보를 생성할 수 있다.

이 경우, 제어부(150)는, 선정된 적어도 하나의 추적대상후보 중, 생성된 속성 매칭정보를 기초로, 추적대상객체를 최종 결정할 수도 있다.

한편, 제어부(150)는 이미지 데이터의 3D 배경을 가상 공간으로 매핑하고, 가상 공간에서 소실점을 고려한 추적된 객체의 증감을 계산하고, 추적된 객체의 이동 속도를 보정할 수도 있다.

지금까지 첨부된 도면을 참조하여 설명된 본 발명의 실시예에 따른 제어부의 결정 및/또는 연산 방법들은 컴퓨터가 읽을 수 있는 코드로 구현된 컴퓨터프로그램의 실행에 의하여 수행될 수 있다. 상기 컴퓨터프로그램은 인터넷 등의 네트워크를 통하여 제1 컴퓨팅 장치로부터 제2 컴퓨팅 장치에 송신되어 상기 제2 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 제2 컴퓨팅 장치에서 사용될 수 있다. 상기 제1 컴퓨팅 장치 및 상기 제2 컴퓨팅 장치는, 서버 장치, 데스크탑 PC와 같은 고정식 컴퓨팅 장치, 노트북, 스마트폰, 태블릿 피씨와 같은 모바일 컴퓨팅 장치를 모두 포함한다.

이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다.

100: 인공지능 기반 객체 추적 장치
201: 제1 카메라
202: 제2 카메라
300: 객체
110: 네트워크 인터페이스
120: 객체 식별부
130: 객체 속성 추출부
140: 객체 속성 매칭부
150: 제어부

Claims

인공지능 기반 객체 추적 장치에 의해 수행되는 인공지능 기반 객체 추적 방법으로서,
적어도 하나의 카메라로부터 이미지를 수신하는 단계;
제1 카메라로부터 수신한 이미지 상의 객체를 제1 신경망을 이용하여 식별함으로써, 추적대상객체를 선정하는 단계;
상기 이미지, 또는 상기 객체가 식별된 상태의 데이터를 대상으로 제2 신경망을 이용하여, 상기 추적대상객체의 추적을 위한 객체 속성을 적어도 하나 추출하는 단계;
상기 제1 신경망에 의해 선정된 추적대상객체와 상기 제2 신경망에 의해 추출된 객체 속성 사이의 매칭정보를 제3 신경망을 이용해 학습하는 단계; 및
상기 학습된 추적대상객체와 상기 객체 속성 간의 매칭정보를 기초로, 제2 카메라로부터 수신되는 이미지에 대한 분석을 수행함으로써, 상기 추적대상객체로 예상되는 적어도 하나의 추적대상후보를 선정하는 단계;를 포함하고,
선정된 추적대상객체가 사람이고, 추출된 속성 중 하나가 걸음걸이인 경우,
상기 추적대상객체의 벡터정보를 기초로,
상기 추적대상객체의 이미지 내의 크기 변화, 이동 중인 상기 추적대상객체의 진행방향에 수직하는 좌우방향으로 상기 추적대상객체가 생성하는 변위량 및 상기 진행방향에 수직하는 상하방향으로 상기 추적대상객체가 생성하는 변위량 중 적어도 하나를 이용하여, 상기 추적대상객체인 사람의 걸음걸이 특성 값을 생성하고,
상기 생성된 걸음걸이 특성 값과 상기 추적대상객체인 사람 간의 매칭정보가 학습되도록 제어하는 단계;를 포함하는,
인공지능 기반 객체 추적 방법.
제1 항에 있어서,
상기 추적대상객체로부터 미리 설정된 범위 내의 감시 카메라를 식별하되,
상기 선정된 추적대상객체의 벡터정보를 식별하고, 상기 추적대상객체의 이동에 따라 식별되는 복수개의 벡터정보를 기초로 기준으로, 상기 식별된 감시 카메라 중 상기 제2 카메라를 결정하도록 제어하는 단계;를 포함하는,
인공지능 기반 객체 추적 방법.
제1 항에 있어서,
상기 제1 카메라와 감시범위가 오버랩되는 적어도 하나의 감시 카메라를 식별하되,
상기 선정된 추적대상객체의 벡터정보를 식별하고, 상기 추적대상객체의 이동에 따라 식별되는 복수개의 벡터정보를 기초로 기준으로, 상기 식별된 감시 카메라 중 상기 제2 카메라를 결정하도록 제어하는 단계;를 포함하는,
인공지능 기반 객체 추적 방법.
제1 항에 있어서,
상기 추적대상후보의 벡터정보를 식별하고,
상기 추적대상후보의 이미지 내의 크기 변화, 이동 중인 상기 추적대상후보의 진행방향에 수직하는 좌우방향으로 상기 추적대상후보가 생성하는 변위량 및 상기 진행방향에 수직하는 상하방향으로 상기 추적대상후보가 생성하는 변위량 중 적어도 하나를 이용하여, 상기 추적대상후보의 걸음걸이 특성 값을 생성하고,
상기 객체 속성 매칭부에 의해 상기 추적대상후보의 걸음걸이 특성 값과 상기 추적대상후보 간의 매칭정보가 학습되도록 제어하는 단계;를 포함하는,
인공지능 기반 객체 추적 방법.
제4 항에 있어서,
상기 추적대상객체의 걸음걸이 특성 값과 상기 추적대상객체 간의 매칭정보와 상기 추적대상후보의 걸음걸이 특성 값과 상기 추적대상후보 간의 매칭정보의 유사도 정보를 기초로, 상기 추적대상후보를 추적대상객체로 결정하도록 제어하는 단계;를 포함하는,
인공지능 기반 객체 추적 방법.
제5 항에 있어서,
상기 제1 카메라의 촬영방향 정보 및 상기 제2 카메라의 촬영방향 정보를 기초로,
상기 추적대상후보의 걸음걸이 특성 값과 상기 추적대상후보 간의 매칭정보에 보상 값을 적용하도록 제어하는 단계;를 포함하는,
인공지능 기반 객체 추적 방법.
제5 항에 있어서,
미리 설정된 제1 시간 동안, 상기 추적대상후보의 진행방향에 수직하는 좌우방향 및 상하방향으로 생성하는 변위량을 이용하여 생성된 추적대상후보의 제1 걸음걸이 특성 값을 기초로 상기 추적대상후보 중 추적 우선순위를 결정하고,
미리 설정된 제2 시간 동안, 상기 추적대상후보의 진행방향에 수직하는 좌우방향 및 상하방향으로 생성하는 변위량을 이용하여 생성된 추적대상후보의 제2 걸음걸이 특성 값을 기초로 상기 추적 우선순위에 포함된 추적대상후보 중, 상기 추적대상객체를 결정하도록 제어하는 단계;를 포함하는,
인공지능 기반 객체 추적 방법.
제1 항에 있어서, 상기 객체 속성 추출부가 이미지 구성요소를 속성으로 추출한 경우,
상기 객체 속성 매칭부에 의해 상기 수신된 이미지 상에서 상기 선정된 추적대상객체의 벡터정보를 식별하고, 이동 중인 상기 추적대상객체를 기준으로 상기 이미지 구성요소의 크기, 색상, 형상 및 벡터정보 중 적어도 하나를 상기 매칭정보로 학습되도록 제어하는 단계;를 포함하는,
인공지능 기반 객체 추적 방법.
제1 항에 있어서, 상기 객체 속성 추출부가 제1 속성 및 제2 속성을 추출한 경우,
상기 학습된 추적대상객체와 상기 제1 속성 간의 매칭정보를 기초로, 복수개의 제2 카메라로부터 수신되는 이미지에 대한 분석을 수행함으로써, 상기 추적대상객체로 예상되는 추적대상후보를 선정하고,
상기 학습된 추적대상객체와 상기 제2 속성 간의 매칭정보를 기초로, 상기 추적대상후보 중, 추적대상객체를 최종 결정하도록 제어하는 단계;를 포함하는,
인공지능 기반 객체 추적 방법.
제1 항에 있어서, 상기 객체 속성 추출부가 제1 속성 및 제2 속성을 추출한 경우,
상기 객체 속성 매칭부에서, 상기 제1 속성과 상기 제2 속성 사이의 속성 매칭정보가 상기 제3 신경망을 이용해 학습되도록 제어하는 딘계;를 포함하는,
인공지능 기반 객체 추적 방법.
제10 항에 있어서,
상기 선정된 적어도 하나의 추적대상후보 중, 상기 속성 매칭정보를 기초로, 추적대상객체를 최종 결정하도록 제어하는 단계;를 포함하는,
인공지능 기반 객체 추적 방법.