KR20220082433A - 크라우드소싱 환경에서 객체 정보 분석 방법 및 장치 - Google Patents

Abstract

본 발명에 따르면, 영상 데이터에서 타겟 객체를 포함한 객체들을 탐지하고, 영상 데이터에서 심도를 추정하여, 상대공간 맵을 생성하고, 영상 데이터 별로 탐지한 객체들에 대해 특징 벡터를 추출하여, 다수의 영상 데이터 각각 객체 매칭을 수행하며, 상대공간 맵과 객체 간의 매칭 결과를 이용하여 임의의 두 상대공간 맵 상에서의 객체들 간 위상 유사도를 계산하고, 타겟 객체의 이동 정보를 분석하는 객체 정보 분석 방법 및 장치가 개시된다.

Description

크라우드소싱 환경에서 객체 정보 분석 방법 및 장치 {METHOD AND APPARATUS FOR ANALYZING OBJECT INFORMATION IN CROWDSOURCING ENVIRONMENTS}

본 발명은 크라우드소싱 환경에서 수집된 데이터에서 객체의 이동 정보를 분석하기 위한 방법 및 장치에 관한 것이다.

스마트 시티 응용은 도시 내에서의 교통, 에너지, 환경, 치안 등 여러 문제를 해결하기 위해 도시 내부의 다양한 센서와 이에 대한 분석으로 시민에 대한 서비스를 제공하는 기술이다.

스마트시티의 대표적인 응용인 감시 시스템(Surveillance System)은, 각 영상 센서로부터 영상을 수집하고 해당 영상 내에 존재하는 객체들에 대한 정보를 추출하며, 이 중 원하는 객체에 대한 추적을 제공한다.

현재 객체 추적은 고정된 영상 센서에 대해서는 쉽게 수행할 수 있는데, 이는 기존 CCTV등 정보가 알려진 센서의 경우 적절한 수식을 통해 영상 내 객체의 위치 정보를 추적할 수 있기 때문이다. 하지만, 이러한 고정 센서의 경우 객체의 가림(Occlusion)등의 상황에 대해서 대응이 불가능 하고, 또한 고정된 장소에서 고정된 화각 또는 제한된 화각으로 일정 범위만을 촬영할 수 있어 넓은 범위에서의 효력을 발휘하기 위해서는 추가적인 장비 설치가 필요하게 된다.

이를 극복하기 위해 마련된 현재의 크라우드소싱 기반의 감시 시스템의 경우, 하나의 크라우드소싱 데이터와 다른 하나가 같은 객체를 데이터 내에 포함하고 있다고 하더라도 해당 객체를 촬영한 각도 및 거리가 상이할 수 있고, 이에 따라 두 데이터를 있는 그대로 사용할 경우 두 데이터 간 객체에 대한 정보의 불일치가 생기게 된다. 따라서 이러한 상대성으로부터의 정보 불일치 문제를 해결하기 위해 객체뿐 아니라 해당 객체를 둘러싼 절대 공간상의 배경 및 주변 물체에 대한 전반적이고 입체적인 해석을 할 수 있는 기술이 필요하다.

본 발명의 일 실시예에 따른 해결하고자 하는 과제는, 크라우드소싱 환경에서 수집되는 크라우드소싱 영상 데이터에서 공통되는 객체를 검출하고 이러한 객체간의 상대적인 위상 유사도 연산을 통해 목표로 하는 객체의 이동을 판별하는 것을 포함한다.

본 명세서에 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 수 있다.

상기 과제를 해결하기 위해, 본 발명의 일 실시예에 따른 객체 정보 분석 장치에 의해 수행되는 객체 정보 분석 방법은, 다수의 영상 데이터 각각에 대해 상기 영상 데이터의 심도에 기초하여 상기 영상 데이터에 포함되는 타겟 객체를 포함한 객체들의 위치를 표시하여 상대공간 맵을 생성하는 단계, 상기 다수의 영상 데이터 각각에서 상기 객체들의 특징 벡터를 이용하여 상기 다수의 상대공간 맵 사이에서 서로 유사한 위치에 있는 것으로 판별되는 객체 쌍을 선별하는 단계 및 상기 선별한 객체 쌍이 포함되는 상대공간 맵 각각에 대해 상기 타겟 객체와 객체들 사이의 위치 관계를 비교한 결과를 이용하여, 상기 타겟 객체의 이동 정보를 분석하는 단계를 포함할 수 있다.

여기서, 상기 타겟 객체의 이동 정보를 분석하는 단계는, 상기 상대공간 맵 중에서 제1 상대공간 맵에 포함된 상기 타겟 객체와 객체들 사이의 제1 위치 관계를 연산하고, 제2 상대공간 맵에 포함된 상기 타겟 객체와 객체들 사이의 제2 위치 관계를 연산하여, 상기 제1 위치 관계와 상기 제2 위치 관계의 유사도를 계산하는 단계를 포함할 수 있다.

여기서, 상기 상대공간 맵을 생성하는 단계는, 상기 다수의 영상 데이터 각각에 대하여 타겟 객체를 포함한 객체들을 탐지하는 단계, 상기 다수의 영상 데이터 각각에 대하여 심도를 추정하는 단계 및 상기 영상 데이터의 촬영 지점을 기준 지점으로 하고, 상기 기준 지점으로부터 상기 추정한 심도에 따라 상기 탐지한 객체들의 위치를 표시하여 상기 상대공간 맵을 생성하는 단계를 포함할 수 있다.

여기서, 상기 영상 데이터는, 다수의 사용자들로부터 각각 서로 다른 시점에서 획득한 것일 수 있다.

여기서, 상기 타겟 객체를 포함한 객체들을 탐지하는 단계는, 미리 학습된 딥러닝 모델에 상기 영상 데이터의 복수의 영상 프레임 각각을 입력하여, 상기 타겟 객체를 포함한 객체들을 탐지하고, 상기 딥러닝 모델은, 객체 인식이 가능하도록 학습용 이미지 데이터를 입력 받고, 상기 학습용 이미지 데이터에 대응되는 학습용 객체를 정답으로 하여 미리 학습될 수 있다.

여기서, 상기 다수의 영상 데이터 각각에 대하여 심도를 추정하는 단계는, 미리 학습된 딥러닝 모델에 상기 영상 데이터의 복수의 영상 프레임 각각을 입력하여, 상기 영상 데이터의 픽셀 레벨의 심도를 추정하고, 상기 딥러닝 모델은, 상기 학습용 평면 이미지를 입력 받으면, 픽셀 레벨의 심도를 출력하도록 학습되고, 상기 출력된 심도와 상기 학습용 평면 이미지의 심도 사이의 오차를 피드백 데이터로서 더 입력 받아 더 학습될 수 있다.

여기서, 상기 객체 쌍을 선별하는 단계는, 상기 다수의 영상 데이터 각각에서 객체들의 특징 벡터를 추출하는 단계를 포함하며, 상기 객체들의 특징 벡터를 추출하는 단계는, 미리 학습된 딥러닝 모델에 영상 데이터 별로 탐지한 객체의 이미지를 입력하여, 특징 벡터를 추출하고, 상기 딥러닝 모델은, 특징 벡터 추출이 가능하도록 학습용 객체 이미지 데이터를 입력 받고, 상기 학습용 객체 이미지 데이터에 대응되는 학습용 특징 벡터를 정답으로 하여 미리 학습될 수 있다.

여기서, 상기 객체 쌍을 선별하는 단계는, 상기 다수의 영상 데이터들에 포함되는 제1 영상 데이터의 제1 상대공간 맵에 포함되는 제1 객체들의 특징 벡터의 거리와 다른 영상 데이터들의 상대공간 맵에 포함되는 객체들의 특징 벡터들의 거리를 각각 비교하여, 상기 제1 객체들과 매칭되는 제2 상대공간 맵의 제2 객체들을 선별할 수 있다.

여기서, 상기 제1 위치 관계는, 제1 상대공간 맵에 포함된 상기 타겟 객체와 객체들 간의 위상 배열에 따른 상대적 위치 정보일 수 있다.

여기서, 상기 타겟 객체의 이동 정보를 분석하는 단계는, 상기 제1 위치 관계와 상기 제2 위치 관계의 유사도를 계산한 값이 기 설정한 임계값 이상인 경우, 상기 제1 상대 공간 맵에 대응하는 제1 영상 데이터와 상기 제2 상대 공간 맵에 대응하는 제2 영상 데이터에서 상기 타겟 객체가 이동하지 않은 것으로 판별하는 단계를 포함할 수 있다.

본 발명의 또 다른 실시예에 따른 객체 정보 분석 장치는, 외부의 장치와 통신하는 통신부 및 적어도 하나의 프로세서를 포함하며, 상기 프로세서는, 다수의 영상 데이터 각각에 대하여 타겟 객체를 포함한 객체들의 위치를 심도에 기초하여 표현한 상대공간 맵을 생성하고, 상기 다수의 영상 데이터 각각에서 객체들의 특징 벡터를 이용하여 상기 다수의 상대공간 맵 사이에서 서로 유사한 위치에 있는 것으로 판별되는 객체 쌍을 선별하며, 상기 선별한 객체 쌍이 포함되는 상대공간 맵 각각에 대해 상기 타겟 객체와 객체들 사이의 위치 관계를 비교한 결과를 이용하여, 상기 타겟 객체의 이동 정보를 분석할 수 있다.

또한, 본 발명의 또 다른 실시예에 따른 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서, 상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면 객체 정보 분석 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함하는 컴퓨터 판독 가능한 기록매체를 제공할 수 있다.

또한, 본 발명의 또 다른 실시예에 따른 컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면, 객체 정보 분석 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함하는 컴퓨터 프로그램을 제공할 수 있다.

이상에서 설명한 바와 같이 본 발명의 실시예 및 여러 측면에 의하면, 크라우드소싱 환경에서 수집되는 크라우드소싱 영상 데이터에서 공통되는 객체를 검출하고 이러한 객체간의 상대적인 위상 유사도 연산을 통해 목표로 하는 객체의 이동을 판별할 수 있다.

이를 통해 기존의 고정된 감시 카메라를 이용하는 감시 시스템들이 가지는 근본적인 제약을 극복하고, 스마트 시티 응용에서 필요로 하는 광범위 데이터 분석을 추가적인 투자 없이 해결할 수 있다.

여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급된다.

도 1은 본 발명의 일 실시예에 따른 크라우드소싱 환경에서 객체 정보 분석 장치를 나타낸 블록도이다.
도 2는 본 발명의 실시예들이 적용되는 크라우드소싱 기반 스마트시티 응용의 데이터 생성 과정 및 그 처리 과정을 예로 들어 도시한 것이다.
도 3은 본 발명의 일 실시예에 따른 크라우드소싱 환경에서 객체 정보 분석 방법을 나타낸 흐름도이다.
도 4 내지 도 6은 본 발명의 일 실시예에 따른 크라우드소싱 환경에서 객체 정보 분석 방법에서 상대공간 맵을 생성하는 단계를 설명하기 위한 도면이다.
도 7 및 도 8은 본 발명의 일 실시예에 따른 크라우드소싱 환경에서 객체 정보 분석 방법에서 객체 간의 매칭을 수행하는 단계를 설명하기 위한 도면이다.
도 9 및 도 10은 본 발명의 일 실시예에 따른 크라우드소싱 환경에서 객체 정보 분석 방법에서 객체들 간 위상 유사도를 계산하는 단계를 설명하기 위한 도면이다.

이하, 본 발명에 따른 크라우드소싱 환경에서 객체 정보 분석 방법 및 장치에 대하여 도면을 참조하여 보다 상세하게 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.

이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.

본 발명의 일 실시예는 크라우드소싱 환경에서 객체 정보 분석 방법 및 장치에 관한 것이다.

도 1은 본 발명의 일 실시예에 따른 크라우드소싱 환경에서 객체 정보 분석 장치를 나타낸 블록도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 객체 정보 분석 장치(1)는 프로세서(10), 메모리(20) 및 통신부(30)를 포함한다.

본 발명의 일 실시예에 따른 객체 정보 분석 장치(1)는 크라우드소싱 기반 감시 시스템에서 수집한 데이터에서 3차원 위상 유사도를 기반으로 객체의 이동을 분석하기 위한 장치이다.

구체적으로, 데이터에 포함되는 특정 객체의 3차원 변위를 측정하고, 크라우드소싱 환경에서 수집되는 데이터 특성을 고려하여 여러 참여자로부터 제보 받은 데이터 간 객체 상대위치를 비교하여 변위 추정을 수행한다.

여기서, 객체 정보 분석은, 영상 데이터들에서 특정 객체의 3차원 변위를 측정하여, 이에 대한 변화를 판별하는 것으로, 이하에서 기재될 객체 정보는 객체의 위치 정보, 객체에 대한 정보와 혼용하여 기재할 수 있다.

본 발명의 일 실시예에 따른 객체 정보 분석 장치(1)는 촬영 범위의 물리적 한계를 극복하기 위해 다수의 참여자들이 도로 환경을 촬영 및 제보하여 데이터를 공유할 수 있는 크라우드소싱 환경을 고려한다.

크라우드소싱(crowd sourcing)은 대중들의 참여로 해결책을 얻는 방법으로, 대중들을 활동의 일부 과정에 참여시킴으로써 피드백을 얻을 수 있다.

본 발명의 일 실시예에 따른 객체 정보 분석 장치(1)는 크라우드소싱 환경에서 다수의 참여자들이 도로 환경을 촬영 및 제보하여 데이터를 공유함으로써, 감시 카메라와 같은 추가적인 기반 시설의 설치 필요 없이 다양한 상황의 넓은 범위의 지역에 대한 데이터를 수집 및 활용할 수 있게 한다.

또한, 크라우드소싱 환경에서 참여자들이 이동성을 가질 수 있고, 특정 지역에 대해 다수의 참여자들이 다시점에서 촬영하여 데이터를 수집할 수 있기 때문에 특정 위치에서 가려진 객체들에 대해서도 이동하여 확인하거나 다른 위치에서 촬영한 참여자의 제보 데이터에서 확인이 가능할 수 있다.

프로세서(10)는, 크라우드소싱 환경에서 수집되는 시공간 임의적인 각 크라우드소싱 영상 데이터의 정보에서 공통되는 객체를 검출하고 이러한 객체간의 상대적인 위상 유사도 연산을 통해 목표로 하는 객체의 이동을 판별하는 일련의 과정을 수행한다.

구체적으로, 프로세서(10)는, 다수의 영상 데이터 각각에 대하여 타겟 객체를 포함한 객체들의 위치를 심도에 기초하여 표현한 상대공간 맵을 생성하고, 다수의 영상 데이터 각각에서 객체들의 특징 벡터를 이용하여 다수의 상대공간 맵 사이에서 서로 유사한 위치에 있는 것으로 판별되는 객체 쌍을 선별하며, 선별한 객체 쌍이 포함되는 상대공간 맵 각각에 대해 타겟 객체와 객체들 사이의 위치 관계를 비교한 결과를 이용하여, 타겟 객체의 이동 정보를 분석한다.

본 발명의 일 실시예에 따른 공간 정보 분석 장치(1)의 프로세서(10)는 크라우드소싱 참여자들로부터 수집한 각 영상 데이터에서 목표로 하는 객체 및 이외 주변 객체들을 탐지하는 객체 검출기를 포함할 수 있다.

또한, 영상 데이터의 평면 이미지로부터 입체적인 거리를 추론할 수 있는 단 렌즈 이미지 심도 추정기를 포함할 수 있다.

또한, 객체 검출기를 통해 검출된 객체들에 대해 특징 벡터를 추출하고 벡터 거리 분석을 이용해 크라우드소싱 데이터 간 객체 매칭을 수행하는 객체 재인식기를 포함할 수 있다.

또한, 객체 검출기와 단 렌즈 이미지 심도 추정기를 이용하여 각 검출된 객체의 촬영자 기준 3차원 위치를 기록하는 상대공간 맵 생성기를 포함할 수 있다.

또한, 상대공간 맵 생성기를 통해 각 크라우드소싱 데이터에 대해서 생성된 상대공간 맵과, 객체 재인식기를 이용한 객체 매칭 결과를 이용하여 두 상대공간 맵 상에서의 객체들 간 상대적 위상 유사도를 계산하고, 이를 통해 목표로 하는 객체의 이동을 판별하는 위상 유사도 기반 객체 이동 판별기를 포함할 수 있다.

본 발명의 일 실시예에 따른 공간 정보 분석 장치(1)에서 객체 검출기, 이미지 심도 추정기, 객체 재인식기, 상대공간 맵 생성기 및 객체 단위 공간 관계 정보 비교 분석기는 서로 다른 프로세서로 구현될 수도 있다. 또는, 하나의 프로세서를 논리적으로 구분한 두 개의 이상의 영역으로 구현될 수도 있다.

메모리(20)는 다수의 사용자들로부터 수집한 영상 데이터 및 사용자 정보를 저장하며, 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어, SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 컴퓨터 판독 가능한 저장매체를 포함할 수 있다.

통신부(30)는 객체 정보 분석 장치(1)와 연결되는 적어도 하나의 외부 장치에 필요한 정보를 송수신하기 위한 것으로서, 유선 또는 무신방식으로 연결되는 것이 가능하다. 통신부(30)에서 사용되는 무선 인터넷 기술은 5G(fifth generation mobile communications), WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), WCDMA(Wideband Code Division Multiple Access), HSDPA(High Speed Downlink Packet Access), LTE(Long Term Evolution) 등을 포함할 수 있다.

도 2는 본 발명의 실시예들이 적용되는 크라우드소싱 기반 스마트시티 응용의 데이터 생성 과정 및 그 처리 과정을 예로 들어 도시한 것이다.

크라우드소싱 기반 정보 공유 플랫폼을 이용할 경우 각 크라우드소싱 참여자가 생성하여 공유하는 영상 정보를 통해 추가적인 센서의 설치 및 시스템 확장이 없이도 능동적인 시스템 확장 및 감시 영역의 증대를 이룰 수 있다.

하지만 종래의 크라우드소싱 기반의 감시 시스템은 크라우드소싱 데이터의 생성자인 각 참여자가 임의의 장소 및 시간에서 발생하는 데이터를 보고하는 특성이 생긴다. 이러한 크라우드소싱 데이터의 특성은 그 데이터의 분석을 어렵게 하는데, 이는 각 데이터가 시공간적 임의성을 가지기 때문에 절대적인 좌표 및 시간에 대한 정보를 추가적인 연산을 통해 역산해야 하기 때문이다. 대표적인 예시로써 촬영 시점(viewpoint)의 차이를 들 수 있다. 각 크라우드소싱 데이터가 이미지 또는 비디오 데이터라고 했을 때, 하나의 크라우드소싱 데이터와 다른 하나가 같은 객체를 데이터 내에 포함하고 있다고 하더라도 해당 객체를 촬영한 각도 및 거리가 상이할 수 있고, 이에 따라 두 데이터를 있는 그대로 사용할 경우 두 데이터 간 객체에 대한 정보의 불일치가 생기게 된다. 따라서 이러한 상대성으로부터의 정보 불일치 문제를 해결하기 위해 객체뿐 아니라 해당 객체를 둘러싼 절대 공간상의 배경 및 주변 물체에 대한 전반적이고 입체적인 해석을 필요로 하게 된다.

이를 위해, 본 발명의 일 실시예에 따른 크라우드소싱 환경에서 객체 정보 분석 방법은 크라우드소싱 환경에서 수집되는 크라우드소싱 영상 데이터에서 공통되는 객체를 검출하고 이러한 객체간의 상대적인 위상 유사도 연산을 통해 목표로 하는 객체의 이동을 판별하여 객체뿐 아니라 해당 객체를 둘러싼 절대 공간상의 배경 및 주변 물체에 대한 전반적이고 입체적인 해석이 가능해진다.

도 2는 본 발명의 한 실시예로써, 불법 주정차의 탐지를 위한 크라우드소싱 데이터 수집 시나리오는 각 크라우드소싱 참여자가 생성한 데이터를 엣지 서비스 클라우드 서버(70)에서 수집하여 처리함으로써 동작할 수 있다.

이러한 엣지 서비스 클라우드 서버(70)에서 본 발명의 목적인 크라우드소싱 데이터의 분석 및 처리를 통한 절대공간 상에서의 객체 추적 등 스마트시티 응용을 수행할 수 있다.

도 2를 참조하면, 크라우드소싱 영상 데이터를 수집하는 크라우드 소싱 장비(40)는 녹화 카메라(41), 보행자 단말(42), GPS 추적기(43) 및 감시 카메라(44)를 포함할 수 있다.

크라우드 소싱 장비(40)에서 수집된 크라우드소싱 데이터(50)는 영상 프레임, 뷰-포인트 정보 및 메타 데이터를 포함하는 크라우드 소싱 데이터 구조(60)로 가공되어, 엣지 서비스 클라우드 서버(70)에서 객체의 이동 분석이 수행되고, 수행 결과로서 불법 주차 구역 정보에서 불법 주정차의 탐지를 수행할 수 있게 된다.

도 3은 본 발명의 일 실시예에 따른 크라우드소싱 환경에서 객체 정보 분석 방법을 나타낸 흐름도이다.

도 3을 참조하면, 본 발명의 일 실시예에 따른 크라우드소싱 환경에서 객체 정보 분석 방법은 객체 정보 분석 장치가 영상 데이터에서 타겟 객체를 포함한 객체들을 탐지하고, 영상 데이터에서 심도를 추정하여, 객체들의 위치를 심도에 기초하여 표현한 상대공간 맵을 생성하는 단계(S100)에서 시작한다.

여기서, 영상 데이터는, 다수의 사용자들로부터 각각 서로 다른 시점에서 획득한 것이다.

이후, 단계 S200에서 영상 데이터 별로 탐지한 객체들에 대해 특징 벡터를 추출하고, 벡터 거리 분석을 이용하여 다수의 영상 데이터 각각에서 서로 유사한 위치에 있다고 판별되는 객체 간의 매칭을 수행하며, 구체적으로 특징 벡터를 이용하여 다수의 상대공간 맵 사이에서 서로 유사한 위치에 있는 것으로 판별되는 객체 쌍을 선별한다.

이후, 단계 S300에서 선별한 객체 쌍이 포함되는 상대공간 맵 각각에 대해 타겟 객체와 객체들 사이의 위치 관계를 비교한 결과를 이용하여, 타겟 객체의 이동 정보를 분석한다.

구체적으로, 상대공간 맵 중에서 제1 상대공간 맵에 포함된 타겟 객체와 객체들 사이의 제1 위치 관계를 연산하고, 제2 상대공간 맵에 포함된 타겟 객체와 객체들 사이의 제2 위치 관계를 연산하여, 제1 위치 관계와 제2 위치 관계의 유사도를 계산하고, 제1 위치 관계와 제2 위치 관계의 유사도를 계산한 값이 기 설정한 임계값 이상인 경우, 제1 상대 공간 맵에 대응하는 제1 영상 데이터와 제2 상대 공간 맵에 대응하는 제2 영상 데이터에서 타겟 객체가 이동하지 않은 것으로 판별한다.

여기서, 제1 위치 관계는, 제1 상대공간 맵에 포함된 타겟 객체와 객체들 간의 위상 배열에 따른 상대적 위치 정보이다.

도 4 내지 도 6은 본 발명의 일 실시예에 따른 크라우드소싱 환경에서 객체 정보 분석 방법에서 상대공간 맵을 생성하는 단계를 설명하기 위한 도면이다.

도 4를 참조하면, 본 발명의 일 실시예에 따른 크라우드소싱 환경에서 객체 정보 분석 방법에서 상대공간 맵을 생성하는 단계(S100)는, 단계 S110에서 영상 데이터에서 타겟 객체를 포함한 객체들을 탐지한다.

단계 S120에서 영상 데이터에서 픽셀 단위의 심도를 추정한다.

단계 S130에서 객체들의 위치를 심도에 기초하여 표현한 상대공간 맵을 생성한다.

구체적으로, 객체들의 위치를 심도에 기초하여 표현한 상대공간 맵을 생성하는 것은, 영상 데이터의 촬영 지점을 기준 지점으로 하여, 객체들의 3차원의 위치를 나타내는 것이다.

도 5는 본 발명의 일 실시예에 따른 크라우드소싱 환경에서 객체 정보 분석 방법에서 이미지 입력에 대한 객체 탐지와, 픽셀 단위의 심도를 추정하여 촬영자 기준의 상대공간 맵을 연산하는 과정을 도시한 것이다.

도 5를 참조하면, 먼저 객체 탐지와 픽셀 단위의 심도추정을 수행한다. 이 때, 이 과정의 한 실시예로써, 도 6의 (a)와 같은 Mask R-CNN 객체 탐지 기법과 도 6의 (b)와 같은 비지도 심층 신경망 학습 기반 픽셀 레벨의 심도 추정 기법을 사용하게 된다.

크라우드소싱 데이터가 생성되어, 본 발명의 일 실시예에 따른 객체 정보 분석 장치에 입력되었을 때, 먼저 객체 탐지 기법과 심층 신경망 기반 픽셀 레벨 심도 추정 기법을 이용해 얻은 결과물을 이용하여 도 5에 나타난 상대공간 맵(Relative Position Map)(130)을 얻을 수 있다.

도 5에 나타난 바와 같이, 차량에 해당하는 객체들(A, B, C, D, E)이 포함되는 입력 데이터(100)에서, 이미지 입력에 대한 객체 탐지 결과(110)로 차량에 해당하는 객체들이 인식된 결과(Obj A, Obj B, Obj C, Obj D, Obj E)를 얻을 수 있다.

또한, 별도로 입력 데이터(100)에서 픽셀 별로 심도를 추정하여 픽셀 단위 심도 추정 결과(120)를 얻을 수 있다.

여기서, 디지털 이미지에서 각각의 픽셀에 저장된 비트의 수를 의미한다. 구체적으로, 심도는 초점이 선명하게 포착되는 영역으로 한 피사체을 향하여 초점을 맞출 때 그 피사체의 앞뒤로 초점이 맞는 공간이 형성되어 그 공간에 있는 여타의 피사체도 모두 초점이 맞는 상태가 되며 그 공간을 벗어난 피사체들은 모두 탈초점 상태가 되는데, 바로 초점이 맞는 공간의 범위를 심도라고 한다.

이미지 입력에 대한 객체 탐지 결과(110)와 픽셀 단위 심도 추정 결과(120)를 이용하여 상대공간 맵(Relative Position Map)(130)을 생성하면, 입력 데이터(100)에서 나타나지 않았던 촬영자 기준의 거리에 따른 3차원의 객체들의 위치(Obj A, Obj B, Obj C, Obj D, Obj E)를 파악할 수 있게 된다. 이에 따라, 객체 인식과 심도 추정 결과를 이용하여 촬영자를 기준으로 했을 때, 입력 데이터에 포함되는 각 객체들의 공간의 범위를 추정할 수 있게 된다.

도 6은 영상 데이터에서 객체 탐지를 수행하는 것과 심도를 추정하는 것을 설명하기 위한 도면이다.

도 6의 (a)는 영상 데이터에서 객체 탐지를 수행하는 것을 설명하기 위한 도면이다.

도 6의 (a)를 참조하면, 상대공간 맵 생성기의 실행과정에서 객체 탐지를 위해 Mask all objects in Image 모듈(111)을 이용한다.

구체적으로, 미리 학습된 딥러닝 모델(111)에 영상 데이터(100)의 복수의 영상 프레임 각각을 입력하여, 타겟 객체를 포함한 객체들(112)을 탐지한다. 여기서, 딥러닝 모델(111)은, 객체 인식이 가능하도록 학습용 이미지 데이터를 입력 받고, 학습용 이미지 데이터에 대응되는 학습용 객체를 정답으로 하여 미리 학습된다.

도 6의 (b)는 영상 데이터에서 심도를 추정하는 것을 설명하기 위한 도면이다.

도 6의 (b)를 참조하면, 상대공간 맵 생성기의 실행과정에서 심도 추정을 위해 Per-Pixel Depth Estimation 모듈(121)을 이용한다.

구체적으로, 미리 학습된 딥러닝 모델(121)에 영상 데이터(100)의 복수의 영상 프레임 각각을 입력하여, 영상 데이터의 픽셀 레벨의 심도를 추정(122)하고, 딥러닝 모델(121)은, 비지도 학습에 따라 학습되는 것으로 학습용 평면 이미지를 입력 받으면, 픽셀 레벨의 심도를 출력하도록 학습되고, 출력된 심도와 학습용 평면 이미지의 심도 사이의 오차를 피드백 데이터로서 더 입력 받아 더 학습된다.

도 7 및 도 8은 본 발명의 일 실시예에 따른 크라우드소싱 환경에서 객체 정보 분석 방법에서 객체 간의 매칭을 수행하는 단계를 설명하기 위한 도면이다.

도 7을 참조하면, 본 발명의 일 실시예에 따른 크라우드소싱 환경에서 객체 정보 분석 방법에서 객체 간의 매칭을 수행하는 단계(S200)는, 단계 S210에서 탐지한 객체들에 대해 특징 벡터를 추출한다.

단계 S220에서 최소 거리 벡터 매칭을 통해 객체를 재인식한다.

단계 S230에서 객체 재인식 결과를 기반으로 객체 간의 매칭을 수행한다.

구체적으로, 벡터 거리 분석을 이용하여 다수의 영상 데이터 각각에서 서로 유사한 위치에 있다고 판별되는 객체 간의 매칭을 수행하는 것은, 다수의 영상 데이터들에 포함되는 제1 영상 데이터의 제1 상대공간 맵에 포함되는 제1 객체들의 특징 벡터의 거리와 다른 영상 데이터들의 상대공간 맵에 포함되는 객체들의 특징 벡터들의 거리를 각각 비교하여, 제1 객체들과 매칭되는 제2 상대공간 맵의 제2 객체들을 선별하는 것이다.

상대공간 맵을 생성하는 단계(S100)를 통해 두 크라우드소싱 데이터 입력에 대해 각각 상대공간 맵을 구성할 수 있는데, 이는 동일한 장소에 대해 제보된 크라우드소싱 데이터의 경우 동일한 객체들이 크라우드소싱 데이터의 장면상에 존재할 것을 가정할 수 있다. 이 때, 객체라 함은 본 발명에서 목표로 하는 이동 판별의 대상이 되는 객체와 그 주변의 배경 객체들을 통합하여 지칭한다.

객체 간의 매칭을 수행하는 단계(S200)는 이러한 가정에서부터 두 크라우드소싱 데이터 간 동일하게 존재하는 객체 쌍 정보를 얻기 위해 객체 재인식기를 사용하는데, 이때 도 8은 심층 신경망을 사용한 심층신경망 특징 벡터 추출기를 예로 들어 도시한 것이다. 이러한 추출기로부터 얻은 벡터의 거리를 통해 두 크라우드소싱 데이터 및 상대공간 맵 상에서 동일하게 존재하는 객체들의 쌍 정보를 얻을 수 있게 된다.

도 8은 본 발명의 일 실시예에 따른 크라우드소싱 환경에서 객체 정보 분석 방법에서 영상 데이터 별로 탐지한 객체들에 대해 특징 벡터를 추출하는 것을 설명하기 위한 도면이다.

도 8은 객체 재인식기를 구성하기 위해 하나의 실시예로써 사용될 수 있는 심층신경망 기반 객체 특징 벡터 추출기의 구조를 예로 들어 도시한 것이다.

도 8을 참조하면, 미리 학습된 딥러닝 모델에 영상 데이터 별로 탐지한 객체의 이미지를 입력하여, 특징 벡터를 추출하고, 딥러닝 모델은, 특징 벡터 추출이 가능하도록 학습용 객체 이미지 데이터를 입력 받고, 학습용 객체 이미지 데이터에 대응되는 학습용 특징 벡터를 정답으로 하여 미리 학습된다.

구체적으로, 영상 데이터 별로 탐지한 객체를 포함하는 이미지(211)를 입력으로 하며, CNN Feature Extractor(212)와 Softmax(214)를 포함하는 Classifier(213)를 거쳐 특징 벡터를 추출한 결과를 출력하게 된다.

도 9 및 도 10은 본 발명의 일 실시예에 따른 크라우드소싱 환경에서 객체 정보 분석 방법에서 객체들 간 위상 유사도를 계산하는 단계를 설명하기 위한 도면이다.

도 9를 참조하면, 본 발명의 일 실시예에 따른 크라우드소싱 환경에서 객체 정보 분석 방법에서 객체들 간 위상 유사도를 계산하고, 타겟 객체의 이동 정보를 분석하는 단계(S300)는, 상대공간 맵 중에서 제1 상대공간 맵에 포함된 타겟 객체와 객체들 사이의 제1 위치 관계를 연산하고, 제2 상대공간 맵에 포함된 타겟 객체와 객체들 사이의 제2 위치 관계를 연산하여, 제1 위치 관계와 제2 위치 관계의 유사도를 계산하는 단계를 포함한다.

구체적으로, 단계 S310에서 상대공간 맵 상의 객체들 간의 상대적 위치 정보를 포함하는 위상 배열을 구축한다. 이를 통해 타겟 객체와 객체들 사이의 위치 관계를 나타낼 수 있다.

이후, 단계 S320에서 위상 배열 관계에서 임의의 위상 관계의 변화에 대해 불변 특징값을 계산하고, 불변 특징값을 이용하여 다수의 영상 데이터에 포함되는 제1 영상 데이터와 제2 영상 데이터의 객체들 간의 위상 유사도를 계산한다. 여기서, 불변 특징값은 회전에 의한 경우에도 위치 관계가 변하지 않는 객체들의 특징값을 의미한다.

이후, 단계 S330에서 위상 유사도를 계산한 값과 기 설정한 임계값을 비교하여, 위상 유사도를 계산한 값이 기 설정한 임계값 이상인 경우, 단계 S340에서 제1 영상 데이터와 제2 영상 데이터에서 타겟 객체가 이동하지 않은 것으로 판별하고, 위상 유사도를 계산한 값이 기 설정한 임계값 이상이 아닌 경우, 단계 S350에서 제1 영상 데이터와 제2 영상 데이터에서 타겟 객체가 이동한 것으로 판별한다.

도 10을 참조하면, 도 10의 상단에서 두 크라우드소싱 데이터에서 각각 생성한 상대공간 맵상의 매칭된 객체들이 보이는 위상 배열이 크라우드소싱 데이터 특성에 따라 회전 등 차이를 보일 수 있음을 확인할 수 있다. 또한, 도 10의 하단에서 회전효과를 제거했을 시 위상배열이 유사함을 확인할 수 있다.

구체적으로, 두 영상 데이터에 대해 구성한 상대공간 맵 에서부터 크라우드소싱 데이터 간의 관계성을 분석하기 위해 먼저 각 상대공간 맵 상의 객체들 간 위상배열을 구축할 수 있다. 이러한 위상 배열은 촬영자의 위치 임의성에 무관하게 동일 공간상에서 존재하는 객체간의 상대적 위치 정보를 담게되며, 각각 제1 위치 관계와 제2 위치 관계를 나타낸다.

따라서 도 10 상단의 실시예와 같이 위상 배열이 회전한 상태로 각 크라우드소싱 데이터와 그로부터 연산한 상대공간 맵들간의 차이가 생길 수 있지만, 각 위상 배열은 실질적으로 회전의 효과를 역산했을 시 상동함을 볼 수 있다.

이러한 상동성 혹은 유사성을 정량적으로 계량하기 위해 하기 수학식 3에서 (3)부터 (10)으로 나타나는 회전, 확대, 축소, 반전 등에 독립적인 모먼트를 연산하고 이를 기반으로 하는 7차원 벡터를 각 상대공간 맵들로부터 생성한다.

먼저 하기 수학식 3에서의 7가지 모먼트 계산을 위해 이미지에서의 기본적인 모먼트 연산을 하기 수학식 1에서 2까지의 식을 통해 수행한다.

수학식 1에서의 M은 각 픽셀 좌표 x,y와 해당 픽셀 좌표에 해당하는 픽셀 값(일반적으로 0에서 255로 나타난다.)에 의거하여 계산되는 ij 차원의 이미지 모먼트이다. 상기 수학식 1로부터 아래 수학식 2에서 표현되는 이미지 중심 모먼트(central moment)를 정의할 수 있다.

상기 수학식 2에서 얻은 중심 모먼트는 모든 차원에 대해서 이동 독립성(translational invariant)을 가진다. 이러한 중심 모먼트로부터 아래 수학식 3으로 나타나는 유사도 모먼트를 최종적으로 연산할 수 있다.

상기 수학식 3 에서의 (3)-(10)으로 나타나는 유사도 모먼트들은 7개의 벡터로서 임의의 위상관계에 대해서 translation, rotation, scale에 대한 invariants 특징값으로서 역할을 수행하게 된다. 따라서, 이러한 값을 비교하는 것을 통해 두 위상이 유사함을 수학적으로 나타낼 수 있게 된다. 상기 유사도 모먼트를 통한 크라우드소싱 데이터 간 검출된 객체간 상대위치 기반의 위상 유사도 계산은 하기 수학식 4와 같은 벡터 유사도를 통해 계산이 된다.

이러한 유사도가 높아서 위상 유사도가 높은것으로 판단이 될 경우 상대적인 객체간 공간정보가 크라우드소싱 데이터간에 유지되었으므로, 이는 시공간상에서의 객체가 이동하지 않았음을 판단할 수 있는 근거가 된다. 반대로, 유사도가 낮게 나올 경우, 객체가 두 크라우드소싱 데이터의 생성 이벤트 시점 사이 어느곳에서 이동하였음을 판별할 수 있다. 따라서 본 기술을 이용하면 크라우드소싱 환경에서 각 크라우드소싱 참여자의 공간 임의성으로 인한 객체 추적 어려움을 극복하고 객체의 이동을 판별, 추적할 수 있다.

또한, 본 발명의 또 다른 실시예에 따른 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서, 컴퓨터 프로그램은, 프로세서에 의해 실행되면 객체 정보 분석 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는 컴퓨터 판독 가능한 기록매체를 제공할 수 있다.

또한, 본 발명의 또 다른 실시예에 따른 컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램으로서, 컴퓨터 프로그램은, 프로세서에 의해 실행되면, 객체 정보 분석 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는 컴퓨터 프로그램을 제공할 수 있다.

본 명세서에서 설명한 바와 같이, 본 발명의 일 실시예에 따른 객체 정보 분석 방법 및 장치는 크라우드소싱 환경에서 적용 가능한 3차원 위상 유사도 기반 객체 이동 판별 기법에 관한 것으로, 크라우드소싱 환경에서 시공간 임의성을 보이는 다수의 참여자로부터의 데이터 생성 시 각 데이터 내부에서의 객체 탐지 및 심도추정을 통한 평면-입체 좌표 추정을 수행하고, 이를 통해 구축된 상대공간 맵 상에서 두 데이터간 공통으로 존재하는 객체 쌍들 사이의 위상 유사도를 비교함으로써 두 데이터 생성 시점 사이에서의 목표로 하는 객체의 이동 판별을 가능하게 할 수 있다.

이상의 설명은 본 발명의 일 실시예에 불과할 뿐, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현할 수 있을 것이다. 따라서 본 발명의 범위는 전술한 실시예에 한정되지 않고 특허 청구 범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.

1: 객체 정보 분석 장치
10: 프로세서
20: 메모리
30: 통신부

Claims (13)

1. 객체 정보 분석 장치에 의해 수행되는 객체 정보 분석 방법에 있어서,
   다수의 영상 데이터 각각에 대해 상기 영상 데이터의 심도에 기초하여 상기 영상 데이터에 포함되는 타겟 객체를 포함한 객체들의 위치를 표시하여 상대공간 맵을 생성하는 단계;
   상기 다수의 영상 데이터 각각에서 상기 객체들의 특징 벡터를 이용하여 상기 다수의 상대공간 맵 사이에서 서로 유사한 위치에 있는 것으로 판별되는 객체 쌍을 선별하는 단계; 및
   상기 선별한 객체 쌍이 포함되는 상대공간 맵 각각에 대해 상기 타겟 객체와 객체들 사이의 위치 관계를 비교한 결과를 이용하여, 상기 타겟 객체의 이동 정보를 분석하는 단계;를 포함하는 객체 정보 분석 방법.
2. 제1항에 있어서,
   상기 타겟 객체의 이동 정보를 분석하는 단계는,
   상기 상대공간 맵 중에서 제1 상대공간 맵에 포함된 상기 타겟 객체와 객체들 사이의 제1 위치 관계를 연산하고, 제2 상대공간 맵에 포함된 상기 타겟 객체와 객체들 사이의 제2 위치 관계를 연산하여, 상기 제1 위치 관계와 상기 제2 위치 관계의 유사도를 계산하는 단계;를 포함하는 객체 정보 분석 방법.
3. 제1항에 있어서,
   상기 상대공간 맵을 생성하는 단계는,
   상기 다수의 영상 데이터 각각에 대하여 타겟 객체를 포함한 객체들을 탐지하는 단계;
   상기 다수의 영상 데이터 각각에 대하여 심도를 추정하는 단계; 및
   상기 영상 데이터의 촬영 지점을 기준 지점으로 하고, 상기 기준 지점으로부터 상기 추정한 심도에 따라 상기 탐지한 객체들의 위치를 표시하여 상기 상대공간 맵을 생성하는 단계;를 포함하는 객체 정보 분석 방법.
4. 제1항에 있어서,
   상기 영상 데이터는, 다수의 사용자들로부터 각각 서로 다른 시점에서 획득한 것인 객체 정보 분석 방법.
5. 제3항에 있어서,
   상기 타겟 객체를 포함한 객체들을 탐지하는 단계는,
   미리 학습된 딥러닝 모델에 상기 영상 데이터의 복수의 영상 프레임 각각을 입력하여, 상기 타겟 객체를 포함한 객체들을 탐지하고,
   상기 딥러닝 모델은, 객체 인식이 가능하도록 학습용 이미지 데이터를 입력 받고, 상기 학습용 이미지 데이터에 대응되는 학습용 객체를 정답으로 하여 미리 학습되는 객체 정보 분석 방법.
6. 제3항에 있어서,
   상기 다수의 영상 데이터 각각에 대하여 심도를 추정하는 단계는,
   미리 학습된 딥러닝 모델에 상기 영상 데이터의 복수의 영상 프레임 각각을 입력하여, 상기 영상 데이터의 픽셀 레벨의 심도를 추정하고,
   상기 딥러닝 모델은, 학습용 평면 이미지를 입력 받으면, 픽셀 레벨의 심도를 출력하도록 학습되고, 상기 출력된 심도와 상기 학습용 평면 이미지의 심도 사이의 오차를 피드백 데이터로서 더 입력 받아 더 학습되는 객체 정보 분석 방법.
7. 제1항에 있어서,
   상기 객체 쌍을 선별하는 단계는, 상기 다수의 영상 데이터 각각에서 객체들의 특징 벡터를 추출하는 단계;를 포함하며,
   상기 객체들의 특징 벡터를 추출하는 단계는, 미리 학습된 딥러닝 모델에 영상 데이터 별로 탐지한 객체의 이미지를 입력하여, 특징 벡터를 추출하고,
   상기 딥러닝 모델은, 특징 벡터 추출이 가능하도록 학습용 객체 이미지 데이터를 입력 받고, 상기 학습용 객체 이미지 데이터에 대응되는 학습용 특징 벡터를 정답으로 하여 미리 학습되는 객체 정보 분석 방법.
8. 제1항에 있어서,
   상기 객체 쌍을 선별하는 단계는,
   상기 다수의 영상 데이터들에 포함되는 제1 영상 데이터의 제1 상대공간 맵에 포함되는 제1 객체들의 특징 벡터의 거리와 다른 영상 데이터들의 상대공간 맵에 포함되는 객체들의 특징 벡터들의 거리를 각각 비교하여, 상기 제1 객체들과 매칭되는 제2 상대공간 맵의 제2 객체들을 선별하는 객체 정보 분석 방법.
9. 제2항에 있어서,
   상기 제1 위치 관계는, 제1 상대공간 맵에 포함된 상기 타겟 객체와 객체들 간의 위상 배열에 따른 상대적 위치 정보인 객체 정보 분석 방법.
10. 제2항에 있어서,
    상기 타겟 객체의 이동 정보를 분석하는 단계는,
    상기 제1 위치 관계와 상기 제2 위치 관계의 유사도를 계산한 값이 기 설정한 임계값 이상인 경우, 상기 제1 상대공간 맵에 대응하는 제1 영상 데이터와 상기 제2 상대공간 맵에 대응하는 제2 영상 데이터에서 상기 타겟 객체가 이동하지 않은 것으로 판별하는 단계;를 포함하는 객체 정보 분석 방법.
11. 객체 정보 분석 장치에 있어서,
    외부의 장치와 통신하는 통신부; 및
    적어도 하나의 프로세서;를 포함하며,
    상기 프로세서는, 다수의 영상 데이터 각각에 대하여 타겟 객체를 포함한 객체들의 위치를 심도에 기초하여 표현한 상대공간 맵을 생성하고, 상기 다수의 영상 데이터 각각에서 객체들의 특징 벡터를 이용하여 상기 다수의 상대공간 맵 사이에서 서로 유사한 위치에 있는 것으로 판별되는 객체 쌍을 선별하며, 상기 선별한 객체 쌍이 포함되는 상대공간 맵 각각에 대해 상기 타겟 객체와 객체들 사이의 위치 관계를 비교한 결과를 이용하여, 상기 타겟 객체의 이동 정보를 분석하는 객체 정보 분석 장치.
12. 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서,
    상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면,
    제1항 내지 제10항 중 어느 한 항에 따른 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함하는 컴퓨터 판독 가능한 기록매체.
13. 컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램으로서,
    상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면,
    제1항 내지 제10항 중 어느 한 항에 따른 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함하는 컴퓨터 프로그램.

Images