KR20220015056A

KR20220015056A - 3d 환경 모델을 이용하여 피사체의 실제 크기를 측정 가능한 cctv 관제 시스템

Info

Publication number: KR20220015056A
Application number: KR1020200095071A
Authority: KR
Inventors: 조정현; 김익재; 최희승; 남기표; 김학섭; 박해솔
Original assignee: 한국과학기술연구원
Priority date: 2020-07-30
Filing date: 2020-07-30
Publication date: 2022-02-08
Also published as: KR102473165B1

Abstract

실시예들은 CCTV 화면에 포착된 화면 공간에 관련된 실측 정보에 기초하여 상기 화면 공간을 3차원 가상 공간으로 구현한 3D 환경 모델을 생성하는 3D 모델링부; 상기 3D 환경 모델을 상기 CCTV 화면에 매핑하는 매핑부; 상기 CCTV가 촬영한 CCTV 화면의 영상에서 객체를 탐지하는 객체 검출부; 및 매핑된 3D 환경 모델을 이용하여 상기 탐지된 객체에 포함된 피사체의 3차원 실제 환경 상의 실제 크기를 측정하는 실제 크기 측정부; 및 하나 이상의 CCTV를 포함하는 CCTV 관제 시스템 및 프로세서에 의해 수행되는 3D 환경 모델을 이용하여 피사체의 실제 크기를 측정하는 방법에 관련된다.

Description

3D 환경 모델을 이용하여 피사체의 실제 크기를 측정 가능한 CCTV 관제 시스템{CCTV CONTROL SYSTEM FOR BEING ENABLE TO MEASURE REAL SIZE OF SUBJECT USING 3D ENVIRONMENT MODEL}

본 발명의 실시예들은 CCTV에 의해 촬영된 피사체의 실제 크기를 측정하는 기술에 관한 것으로서, 보다 상세하게는 실측 기반 3D 환경 모델을 이용하여 피사체의 실제 크기를 측정 가능한 CCTV 관제 시스템에 관련된다.

피사체의 실제 크기를 측정하기 위해서는 스테레오스코픽(Stereoscopic) 카메라 등 특수한 카메라를 사용하는 3D-CCTV를 새로 설치해야 하는 것이 일반적이다.

그러나, 이러한 3D CCTV 장비는 가격이 비싸기 때문에 실생활에 구현하기 어려운 문제가 있다.

이를 해결하기 이해 기존의 CCTV 화면의 2차원 영상을 이용하려는 시도(발명의명칭: 위성 사진을 이용한 CCTV 화면에서의 거리 측정 방법, 한국 특허공개공보 제10-2017-0021423호 (2017.02.28.))가 있다. 상기 시도는 위성 사진과 CCTV 화면을 매칭하여 도로와 같이 시설물의 폭 또는 길이 등을 측정한다.

그러나, 이 시도는 반드시 위성 사진이 요구되어야 하고, 또한 시설물과 같은 정적인 피사체에 대해서만 측정 가능하며 동적으로 움직이는 피사체의 길이(예컨대, 보행자의 키)를 측정할 수 없는 한계가 있다.

특허등록공보 제10-1917000호 (2018.11.02.)

본 발명의 일 측면에 따른 실측 기반 3D 환경 모델을 이용하여 CCTV 화면의 2차원 영상에 표시된 피사체의 실제 크기를 측정 가능한 CCTV 관제 시스템을 제공할 수도 있다.

이 외에도, 3D 환경 모델을 이용하여 피사체의 실제 크기를 측정하는 방법 및 이를 수행하는 명령어를 기록한 컴퓨터 판독가능 기록매체를 제공할 수도 있다.

본 발명의 일 측면에 따른 하나 이상의 CCTV가 촬영한 피사체의 실제 크기를 측정하는 CCTV 관제 시스템은: CCTV 화면에 포착된 화면 공간에 관련된 실측 정보에 기초하여 상기 화면 공간을 3차원 가상 공간으로 구현한 3D 환경 모델을 생성하는 3D 모델링부; 상기 3D 환경 모델을 상기 CCTV 화면에 매핑하는 매핑부; 상기 CCTV가 촬영한 CCTV 화면의 영상에서 객체를 탐지하는 객체 검출부; 및 매핑된 3D 환경 모델을 이용하여 상기 탐지된 객체에 포함된 피사체의 3차원 실제 환경 상의 실제 크기를 측정하는 실제 크기 측정부;를 포함할 수도 있다.

일 실시예에서, 상기 3D 모델링부는, 상기 하나 이상의 CCTV에 대응한 가상 카메라를 상기 3차원 가상 공간 상에 생성하도록 더 구성될 수도 있다. 여기서, 상기 가상 카메라는 대응한 CCTV 화면과 동일한 뷰를 가질 수도 있다.

일 실시예에서, 상기 매핑부는, CCTV 화면과 3D 환경 모델을 매핑하기 위해, 상기 가상 카메라의 화면에 포착된 접지면과 상기 3차원 가상 공간 상에 구현된 접지면에 기초하여 상기 가상 카메라의 화면과 상기 3D 환경 모델의 뷰를 정합할 수도 있다.

일 실시예에서, 상기 매핑부는, 다음의 수학식을 통해 가상 카메라 화면과 3D 환경 모델을 정합하고,

[수학식]

여기서, {Ψi, λi}는 삼차원 모델 공간 상의 i번째 투사된 점의 위치와 가상 카메라 영상의 2차원 화면 상의 i번째 점의 위치를 각각 나타내고, dk는 카메라 왜곡(k)을 고려하여 3차원 공간의 점을 카메라 2차원 공간으로 투사하고 다른 2차원 공간의 점과의 거리를 계산하는 함수로서, CCTV의 사양에 기초하고, R 및 t는 가상 카메라의 3차원 공간 상의 각도 및 위치를 각각 나타낼 수도 있다.

일 실시예에서, 상기 객체 검출부는, 입력 영상에서 특징을 추출하고, 추출된 특징에 기초하여 CCTV 화면에 포함된 객체를 탐지하도록 미리 학습된 기계 학습 모델에 상기 CCTV 화면의 영상을 적용하여 상기 객체를 탐지할 수도 있다.

일 실시예에서, 상기 실제 크기 측정부는, 상기 탐지된 객체의 CCTV 화면 내 위치에 대응하는, 매핑된 3D 환경 모델 상의 3차원 가상 위치에서, 픽셀 크기의 값에 매핑된 실제 크기 값을 검색하고, 그리고 검색된 실제 크기 값을 상기 객체의 실제 크기로 결정할 수도 있다.

본 발명의 다른 일 측면에 따른 3D 환경 모델을 이용하여 피사체의 실제 크기를 측정하는 방법은 프로세서에 의해 수행되며, CCTV에 의해 피사체를 포함한 CCTV 화면의 영상을 획득하는 단계; 및 미리 저장된 3D 환경 모델을 이용하여 CCTV 화면의 피사체의 실제 크기를 측정하는 단계를 포함 수도 있다. 여기서, 상기 미리 저장된 3D 환경 모델은 상기 CCTV 화면에 매핑된 모델이다.

일 실시예에서, 상기 3D 환경 모델은, 상기 CCTV 화면에 포착된 화면 공간의 실측 정보에 기초하여 상기 화면 공간을 3차원 렌더링하여 생성될 수도 있다. 또한, 상기 3D 환경 모델은 상기 CCTV에 대응한 가상 카메라를 포함할 수도 있다.

일 실시예에서, 상기 3D 환경 모델은 상기 가상 카메라의 화면에 포착된 (2차원) 접지면과 상기 3차원 가상 공간 상에 구현된 (3차원) 접지면에 기초해 상기 가상 카메라의 화면과 상기 3D 환경 모델의 뷰를 정합하여 상기 CCTV 화면에 매핑될 수도 있다.

일 실시예에서, 상기 3D 환경 모델은, 다음의 수학식을 통해 가상 카메라 화면에 정합되고,

[수학식]

일 실시예에서, 상기 CCTV 화면의 피사체의 실제 크기를 측정하는 단계는, 객체가 탐지된 CCTV 화면에 매핑된 3D 환경 모델 상의 3차원 가상 위치에서의 픽셀 크기의 값에 매핑된 실제 크기 값을 검색하는 단계 및 검색된 실제 크기 값을 상기 객체의 실제 크기로 결정하는 단계를 포함할 수도 있다. 여기서, 상기 3차원 가상 위치는 상기 탐지된 객체의 CCTV 화면 내 위치에 대응하는 매핑된 3D 환경 모델 상의 위치이다.

본 발명의 또 다른 일 측면에 따른 컴퓨터 판독가능 기록매체는 컴퓨팅 장치에 의해 판독가능하고, 상기 컴퓨팅 장치에 의해 동작 가능한 프로그램 명령어를 저장할 수도 있다. 상기 프로그램 명령어는 상기 프로그램 명령어가 상기 컴퓨팅 장치의 프로세서에 의해 실행되는 경우 상기 프로세서가 상술한 실시예들에 따른 3D 환경 모델을 이용하여 피사체의 실제 크기를 측정하는 방법을 수행하게 한다.

본 발명의 일 측면에 따른 CCTV 관제 시스템은, 실측 기반으로 미리 생성된 3D 환경 모델을 이용하여 정적 피사체에 관한 측정 정보뿐만 아니라, CCTV 화면에 촬영된 동적 피사체에 관한 측정 정보를 산출할 수도 있다.

아울러, CCTV 화면의 2차원 영상을 이용하여 피사체를 측정하므로, 위성 사진 등의 CCTV 화면의 2차원 영상을 이외의 추가 영상이 요구되지 않는다.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

본 발명 또는 종래 기술의 실시예의 기술적 해결책을 보다 명확하게 설명하기 위해, 실시예에 대한 설명에서 필요한 도면이 아래에서 간단히 소개된다. 아래의 도면들은 본 명세서의 실시예를 설명하기 목적일 뿐 한정의 목적이 아니라는 것으로 이해되어야 한다. 또한, 설명의 명료성을 위해 아래의 도면들에서 과장, 생략 등 다양한 변형이 적용된 일부 요소들이 도시될 수 있다.
도 1은, 본 발명의 일 실시예에 따른, CCTV 관제 시스템의 개념도이다.
도 2는, 본 발명의 일 실시예에 따른, CCTV 화면과 3D 환경 모델을 매핑한 결과를 도시한 도면이다.
도 3은, 본 발명의 일 실시예에 따른, 매핑된 3D 환경 모델을 통해 CCTV 화면의 피사체의 실측 길이를 산출하는 과정을 설명하기 위한 도면이다.
도 4는, 본 발명의 일 실시예에 따른, 3D 환경 모델을 이용하여 피사체의 실제 크기를 측정하는 방법의 흐름도이다.
도 5는, 본 발명의 일 실시예에 따른, 가상 카메라 화면과 3D 환경 모델을 매핑하는 과정의 흐름도이다.
도 6은, 본 발명의 일 실시예에 따른, CCTV 화면과 3D 환경 모델을 매핑하는 과정의 흐름도이다.

여기서 사용되는 전문 용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다. 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분의 존재나 부가를 제외시키는 것은 아니다.

다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.

본 명세서에서 피사체의 픽셀 크기는 2차원 화면 상의 피사체의 크기를 픽셀 단위로 표현한 값을 의미한다.

본 명세서에서 피사체의 실제 크기는 실제 3차원 공간 상의 피사체의 크기를 통상적으로 사용하는 크기 단위로 표현한 값을 의미한다. 상기 통상적으로 사용하는 크기 단위는 미터(meter) 단위 또는 비-미터 단위를 포함하며, 여기서, 비-미터 단위는 야드(yard), 마일(mile) 단위 등을 포함한다.

이하에서, 도면을 참조하여 본 발명의 실시예들에 대하여 상세히 살펴본다.

도 1은, 본 발명의 일 실시예에 따른, CCTV 관제 시스템의 개념도이다.

도 1을 참조하면, CCTV 관제 시스템(1)은 하나 이상의 CCTV(100); 객체 검출부(250); 및 실제 크기 측정부(270)를 포함할 수도 있다.

특정 실시예들에서, CCTV 관제 시스템(1)은 3D 모델링부(210); 및/또는 매핑부(230)를 더 포함할 수도 있다. 다른 특정 실시예들에서, CCTV 관제 시스템(1)은 3D 환경 모델을 저장하는 모델 저장부(미도시)를 더 포함할 수도 있다. 모델 저장부는 미리 매핑된 3D 환경 모델을 CCTV 관제 시스템(1)의 외부로부터 수신하여 저장한다. 이하, 설명의 명료성을 위해서, 3D 환경 모델을 CCTV 화면에 매핑하는 동작이 CCTV 관제 시스템(1)에 의해 수행되는 실시예들로 본 발명을 보다 상세하게 서술한다.

실시예들에 따른 CCTV 관제 시스템(1)은 전적으로 하드웨어이거나, 전적으로 소프트웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 예컨대, 시스템은 데이터 처리 능력이 구비된 하드웨어 및 이를 구동시키기 위한 운용 소프트웨어를 통칭할 수 있다. 본 명세서에서 "부(unit)", “모듈(module)”“장치” 또는 "시스템" 등의 용어는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭하는 것으로 의도된다. 예를 들어, 하드웨어는 CPU(Central Processing Unit), GPU(Graphic Processing Unit) 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.

CCTV(100)는 영상을 획득하는 장치이다. CCTV100는 화면 상의 객체를 촬영하여 영상을 획득할 수도 있다. CCTV100는 촬영 범위는 화면으로 표현될 수도 있다.

일 실시예에서, 상기 CCTV 관제 시스템(1)은 2차원 영상 데이터를 생성하는 하나 이상의 CCTV100를 포함할 수도 있다.

3D 모델링부(210)는 CCTV 화면에 포착되는 공간(이하, “화면 공간”)에 대한 3D 환경 모델을 생성한다. 3D 모델링부(210)는 화면 공간의 실측 정보; 및/또는 화면 공간 상에 위치한 촬영 객체의 실측 정보에 기초하여 화면 공간을 3차원 가상 공간으로 구현한 3D 환경 모델을 생성한다. 상기 촬영 객체는 화면 공간에 배치되는 정적 객체 및/또는 위치 가능한 동적 객체를 포함한다. 여기서, 정적 객체는 일반적으로 장시간 움직이지 않는 객체로서, (예컨대, 도로, 건물 등의) 시설물, (예컨대, 가구 등의) 구조물을 포함할 수도 있다. 동적 객체는 정적 객체가 아닌 객체로서, 예를 들어, 사람, 자동차 등을 포함할 수도 있다. 일부 실시예들에서, 해당 공간에서 기존에 촬영된 CCTV 화면 상에 나타난 이력이 있는 동적 객체들이 3D 환경 모델에 반영될 수도 있다.

3D 모델링부(210)는 상기 공간이 건물인 경우 BIM(Building information modeling) 정보 등과 같은 공간의 실측 정보에 기초하여 건물 공간에 대한 3D 환경 모델을 생성한다.

3D 모델링부(210)는 상기 공간이 건물 외부인 경우 GIS(Geographic information system) 정보 등과 같은 외부의 실측 정보에 기초하여 건물 공간에 대한 3D 환경 모델을 생성한다.

3D 환경 모델은 실측 정보에 기초하여 해당 공간을 삼차원으로 렌더링한 구조를 포함한다. 또한, 3D 환경 모델은 해당 공간에 관한 정보를 더 포함할 수도 있다. 상기 공간에 관한 정보는, 예를 들어, 실측 정보, 메타 데이터를 포함한다. 상기 메타 데이터는 배경, 객체의 식별 데이터를 포함할 수도 있다.

실측 정보에 기초하여 3D 모델을 생성하는 3D 모델링 과정은 다양한 선행기술에 의해 수행될 수도 있다. 예를 들어, 한국 특허출원(특허공개공보 제10-2008-0111991호 (2008.12.14.))에 의해 공개된 3D 모델링 과정을 통해 화면 공간을 삼차원 구조로 모델링한 3D 환경 모델을 생성할 수도 있다.

3D 모델링부(210)에 의해 생성된 3D 환경 모델은 실측 정보에 기반하므로, 3D 환경 모델 상에 위치한 객체의 공간 크기로부터 객체의 실제 크기를 산출할 수도 있다. 3D 환경 모델 상에 위치한 객체의 공간 크기에 대응한 실제 크기를 결정함으로써 객체의 실제 크기가 산출된다.

또한, 3D 모델링부(210)는 상기 CCTV 관제 시스템(1)에 포함된 하나 이상의 CCTV100에 대응한 가상 카메라를 3D 환경 모델 상에 생성한다. 3D 모델링부(210)에 의해 실제 환경에 설치된 CCTV100에 대응한 가상 카메라가 3차원 가상 공간 상에 모델링된다.

상기 가상 카메라는 CCTV100와 동일한 촬영범위, 즉 동일한 화면을 갖도록 3D 환경 모델 상에 배치된다. 상기 CCTV 관제 시스템(1)은 가상 카메라의 촬영 범위를 이루는 화면을 획득할 수도 있다. 예를 들어, CCTV 관제 시스템(1)은 3차원 가상 공간의 일부가 표현된 가상 카메라 화면의 영상 데이터를 획득할 수도 있다. 상기 가상 카메라에 의해 촬영된 카메라 화면은 CCTV(100)의 화면과 동일하다.

일 실시예에서, CCTV 관제 시스템(1)은 가상 카메라를 통해 3D 환경 모델의 뷰 영상을 CCTV100의 화면으로 결정할 수도 있다.

매핑부(230)는 3D 환경 모델을 생성하는데 사용된 CCTV 화면을 이용하여 CCTV 화면과 3D 환경 모델을 매핑한다.

일 실시예에서, 매핑부(230)는 3D 환경 모델의 뷰(view)를 CCTV 화면에 정합하여 CCTV 화면의 2차원 픽셀 크기를 3D 환경 모델의 3차원 실제 크기와 매핑한다. 상기 3D 환경 모델의 뷰는 가상 카메라를 기준으로 3D 환경 모델을 포착한 영상으로 구현될 수도 있어, 가상 카메라의 화면에 대응한다.

3D 환경 모델을 생성하는데 사용된 CCTV 화면이 매핑에 사용되므로, CCTV 화면에 나타난 객체는 3D 환경 모델에 이미 구현된 상태이다. 또한, CCTV 화면은 가상 카메라 화면과 일치한 상태이다.

매핑부(230)는 가상 카메라 화면에 포착된 2차원 접지면과 3D 환경 모델의 3차원 가상 공간 상에 구현된 3차원 접지면에 기초하여 3D 환경 모델의 뷰와 가상 카메라 화면을 정합(alignment)한다. 가상 카메라 화면은 CCTV 화면과 일치하므로, 결국 3D 환경 모델의 뷰와 가상 카메라 화면이 정합된다.

매핑부(230)는 3D 환경 모델의 접지면에 대응한 2차원 또는 3차원 영역을 검출할 수도 있다.

매핑부(230)는 3차원 공간의 임의의 점(Ψ)을 가상 카메라의 2차원 화면의 공간 상으로 투사할 수도 있다. 상기 임의의 점이 가상 카메라의 설치 위치이면, 투사는 3차원 공간 상에서 가상 카메라의 위치(t)와 각도(R)에 기초하여 수행된다. 투사된 뷰는 가상 카메라 화면으로 구현될 수도 있다.

이와 같이, 가상 카메라 화면은 3D 환경 모델의 삼차원 공간에서 가상 카메라의 설치 지점으로부터 가상 카메라의 촬영 범위로 이루어진 특정한 뷰를 나타낸 것이므로, 매핑부(230)는 가상 카메라 화면의 접지면의 2차원 영역을 검출할 수도 있다.

그러면 CCTV 화면의 2차원 지점 간의 픽셀 길이와 상기 2차원 지점에 대응하는, 가상 공간 상의 3차원 지점 간의 공간 길이가 매핑된다. 매핑은 2차원 픽셀의 개별 위치 및 2차원 픽셀 간의 거리에 기초한다. 픽셀 간의 거리가 동일하더라도, 카메라의 왜곡에 따라 삼차원 공간 거리가 상이해질 수도 있기 때문이다.

이러한 매핑 동작을 통해, CCTV 화면의 픽셀 길이 및 상기 픽셀 길이를 형성하는 2차원 지점의 정보에 기초하여 3D 환경 모델 상의 공간 길이가 획득될 수도 있다.

결국, CCTV 관제 시스템(1)은 매핑된 3D 환경 모델을 이용하여 공간 길이가 나타내는 3차원 객체의 실제 크기에 관한 정보를 획득할 수도 있다.

또한, 매핑부(230)는 투사된 3차원 공간 상의 점(Ψ)과 가상 카메라 화면의 2차원 공간 상의 점(λ)의 거리를 최소화할 수도 있다. 그러면, 가상 카메라 화면과 3D 환경 모델의 뷰가 보다 정확하게 정합된다.

일 실시예에서, 매핑부(230)는 다음의 수학식을 통해 가상 카메라의 화면과 3D 환경 모델의 뷰를 정합할 수도 있다.

여기서, {Ψi, λi}는 삼차원 모델 공간 상의 i번째 점의 위치와 가상 카메라 영상의 2차원 화면 상의 i번째 점의 위치를 각각 나타낸다. R, t는 해당 카메라의 3차원 공간 상의 각도 및 위치를 각각 나타낸다. dk 는 카메라 왜곡(k)을 고려하여 3차원 공간의 점을 카메라 2차원 공간으로 투사하고 다른 2차원 공간의 점과의 거리를 계산하는 함수를 의미한다. 이 함수(dk)는 CCTV(100)의 사양에 기초하여 설정된다.

매핑부(230)는 n개(n>1 이상의 자연수)의 대응점을 이용하여 가상 카메라 화면과 3D 환경 모델의 뷰를 정합할 수도 있다. 매핑부(230)는, 예를 들어, 4개의 점(Ψi, λi, 여기서 i={1, 2, 3, 4})을 이용할 수도 있으나, 이에 제한되진 않는다.

일부 실시예들에서, 대응점 정보는 사용자에 의해 입력될 수도 있다. 다른 일부 실시예들에서, 대응점이 자동으로 선택될 수도 있다.

또한, 매핑부(230)는 3D 환경 모델의 객체에 대응한 CCTV 화면의 객체 영역을 결정할 수도 있다. 이로 인해, 3D 환경 모델의 객체의 실제 크기 정보가 CCTV 화면의 객체의 2차원 크기 정보와 매핑된다.

이러한 매핑이 완료되면, CCTV 화면의 객체의 2차원 픽셀 크기를 3D 환경 모델의 3차원 실제 크기로 변환할 수도 있다. 예를 들어, CCTV 화면 내 두 픽셀 지점이 선택되면, 두 픽셀 지점의 거리에 매핑되는 실측 거리가 획득된다.

도 2는, 본 발명의 일 실시예에 따른, CCTV 화면과 3D 환경 모델을 매핑한 결과를 도시한 도면이다.

도 2를 참조하면, CCTV 화면과 3D 환경 모델의 뷰가 정합된 상태이다. 3D 환경 모델을 생성하기 위해 3D 환경 모델 상의 객체의 실측 정보가 이미 획득되었다. 또한, 3D 환경 모델을 생성하기 위해 CCTV 화면의 객체의 위치, 크기가 검출되었다. 상기 객체의 위치, 크기는 CCTV 화면을 이루는 픽셀 단위로 표현될 수도 있다.

CCTV 관제 시스템(1)은 매핑된 3D 환경 모델을 통해, 객체의 CCTV 화면 내 위치에 대응하는, 상기 객체의 매핑된 3D 환경 모델 상의 3차원 가상 위치를 결정할 수도 있다. 도 2의 사람의 CCTV 화면 내 위치에 대응하는, 렌더링된 사람의 3D 환경 모델 상의 3차원 가상 위치가 결정될 수도 있다. 예를 들어, 도 2의 화면 가운데 위치한 사람의 3D 환경 모델 상의 3차원 가상 위치, 또는 화면 아래에 위치한 사람의 3D 환경 모델 상의 3차원 가상 위치가 결정된다.

그러면, 도 2의 화면 가운데 위치의 사람의 픽셀 크기와 3D 환경 모델 상의 3차원 가상 위치에서의 실제 크기가 매핑된다. 또한, 도 2의 화면 아래 위치한 사람의 픽셀 크기와 3D 환경 모델 상의 3차원 가상 위치에서의 실제 크기가 매핑된다.

객체 검출부(250)는 CCTV100로부터 촬영 데이터를 수신할 수도 있다. 촬영 데이터는 CCTV 화면의 영상으로 구현될 수도 있다. 상기 객체 검출부(250)가 객체 탐지를 위해 사용하는 CCTV 화면의 영상은 3D 모델링부(210)가 모델링을 위해 사용하는 CCTV 화면의 영상과 동일 또는 상이할 수도 있다. 예를 들어, 3D 모델링부(210)가 사용한 CCTV 화면의 영상은 객체 검출부(250)가 촬영한 CCTV 화면의 영상 이전에 샘플용으로 촬영된 것일 수도 있다.

객체 검출부(250)는 CCTV 영상에 포함된 객체를 탐지한다. 탐지 결과, CCTV 영상 내 객체가 차지한 영역이 획득된다. 객체가 차지한 영역의 CCTV 화면 내 크기, 위치가 객체의 크기, 위치로 사용될 수도 있다.

일 실시예에서, 객체 검출부(250)는 기계학습 모델에 CCTV 화면을 적용하여 CCTV 화면 내 객체를 탐지할 수도 있다.

상기 기계학습 모델은 입력 영상에서 특징을 추출하는 부분; 및 추출된 특징에 기초하여 입력 영상의 부분이 객체인지 아닌지, 또는 특정 객체에 대응하는지를 결정하는 부분를 포함할 수도 있다. 상기 기계학습 모델은, 예를 들어 CNN 네트워크, 또는 이에 기반한 다양한 모델일 수도 있다.

실제 크기 측정부(270)는 CCTV 화면의 객체의 실제 크기를 산출한다.

일 실시예에서, 실제 크기 측정부(270)는 CCTV 화면 내 객체 중 일부 또는 전부를 피사체로 선택하고, 피사체의 실제 크기를 산출할 수도 있다. 상기 탐지된 객체는 크기 측정 대상인 피사체를 포함한다.

상기 피사체는 사용자 입력에 반응하여 선택될 수도 있다. 예를 들어, CCTV 화면 내에 표현된, 특정 객체의 영역을 지정하는 사용자 입력이 획득되면, 지정된 영역의 객체 자체 및/또는 이에 연관된 복수의 객체가 피사체로 선택될 수도 있다. 여기서, 연관된 객체는 상기 특정 객체와 동일 또는 유사한 객체이다. 유사한 객체는 하나 이상의 속성을 공유하는 객체로서, 예를 들어 동일한 유형(또는 클래스)에 속하는 객체를 나타낸다.

상기 피사체는 미리 설정된 피사체 룰에 의해 선택될 수도 있다. 예를 들어, 상기 피사체 룰이 특정 객체의 정보를 포함한 경우, 피사체 룰의 특정 객체가 피사체로 자동 선택된다. 또는 상기 피사체 룰이 특정 속성(예컨대, 객체군)의 정보를 포함한 경우, 피사체 룰의 객체군에 속하는 하나 이상의 객체가 피사체로 자동 선택된다.

실제 크기 측정부(270)는 CCTV 화면 내 피사체의 픽셀 크기를 산출한다.

일 실시예에서, 피사체의 픽셀 크기는 점지면을 기준으로 측정될 수도 있다. CCTV 화면 내 피사체의 2차원 픽셀 크기는 피사체가 차지하는 영역에서 접지면으로부터의 픽셀 길이로 측정될 수도 있다. 접지면으로부터의 픽셀 크기는 피사체의 높이로 획득될 수도 있다.

그러나, 피사체의 픽셀 크기는 이에 제한되진 않는다. 예를 들어, 피사체의 너비에 대응하는 픽셀 크기가 측정될 수도 있다.

실제 크기 측정부(270)는 매핑한 3D 환경 모델을 이용하여 CCTV 화면의 피사체의 픽셀 크기를 피사체의 실제 크기로 변환한다.

실제 크기 측정부(270)는 피사체의 CCTV 화면 내 위치 및 픽셀 크기에 기초하여 매핑한 실제 크기 값을 산출함으로써, CCTV 화면의 피사체의 실제 크기로 측정할 수도 있다.

실제 크기를 측정하는 대상인 피사체를 촬영한 CCTV 화면이 이미 3D 환경 모델에 매핑되었기 때문에, 실제 크기 측정부(270)는 CCTV 화면 내 객체 위치에 대응하는 3D 환경 모델의 3차원 공간 상의 객체에 대해서 해당 객체의 픽셀 크기를 실제 크기로 변환할 수도 있다.

도 3은, 본 발명의 일 실시예에 따른, 픽셀 길이로부터 실제 크기를 측정한 결과를 도시한 도면이다.

도 3을 참조하면, 실제 크기 측정부(270)는 피사체의 접지면으로부터의 픽셀 길이를 피사체의 픽셀 크기로 측정한다. 실제 크기 측정부는 미리 매핑된 3D 환경 모델, 즉 뷰가 상기 피사체를 촬영한 CCTV100의 CCTV 화면에 매핑된 3차원 렌더링 모델을 이용하여 상기 피사체의 픽셀 크기를 실제 크기로 변환한다.

예를 들어, 도 3에 도시된 바와 같이, 실제 크기 측정부(270)는 사람의 접지면으로부터의 픽셀 길이를 측정하여 사람의 픽셀 크기를 획득한다. 실제 크기 측정부(270)는 사람의 CCTV 화면 내 위치에 대응하는 매핑된 3D 환경 모델 상의 3차원 가상 위치에서 측정된 픽셀 크기의 값에 매핑한 실제 크기 값을 검색한다. 실제 크기 측정부(270)는 검색된 실제 크기 값을 상기 사람의 실제 크기 값으로 결정한다.

피사체의 실제 크기가 단순히 화면 내 픽셀 크기에만 의존하지 않고, 화면 내 객체의 위치를 더 고려하기 때문에, 도 3의 화면 가운데 사람과 화면 아래의 사람의 픽셀 크기 값이 동일하더라도, 실제 크기 값은 서로 상이할 수도 있다. 반대로, 도 3의 화면 가운데 사람과 화면 아래의 사람의 픽셀 크기 값이 상이하더라도, 실제 크기 값이 서로 동일할 수도 있다.

상기 CCTV 관제 시스템(1)이 본 명세서에 서술되지 않은 다른 구성요소를 포함할 수도 있다는 것이 통상의 기술자에게 명백할 것이다. 예를 들어, 상기 CCTV 관제 시스템(1)은 네트워크 인터페이스, 데이터 엔트리를 위한 입력 장치, 데이터를 저장하는 메모리, 및 디스플레이, 인쇄 또는 다른 데이터 표시를 위한 출력 장치를 포함하는, 본 명세서에 서술된 동작에 필요한 다른 하드웨어 요소를 포함할 수도 있다.

본 발명의 다른 일 측면에 따른 3D 환경 모델을 이용하여 피사체의 실제 크기를 측정하는 방법은 프로세서를 포함한 컴퓨팅 장치에 의해 수행된다. 상기 프로세서를 포함한 컴퓨팅 장치는 컴퓨터, 예를 들어 상기 CCTV 관제 시스템(1)에 의해 수행될 수도 있다.

도 4는, 본 발명의 일 실시예에 따른, 3D 환경 모델을 이용하여 피사체의 실제 크기를 측정하는 방법의 흐름도이다.

도 4를 참조하면, 상기 방법은 CCTV(100)에 의해 피사체를 포함한 CCTV 화면의 영상을 획득하는 단계(S430;) 및 미리 매핑된 3D 환경 모델을 이용하여 피사체의 실제 크기를 산출하는 단계(S450)를 포함한다. 특정 실시예들에서, 상기 방법은 CCTV 화면과 3D 환경 모델을 매핑하는 단계S410를 더 포함할 수도 있다. 상기 단계(S410)는 상기 단계(S450) 이전에 수행된다.

도 4는, 본 발명의 일 실시예에 따른, CCTV 화면과 3D 환경 모델을 매핑하는 과정의 흐름도이다.

도 4를 참조하면, 상기 단계(S410)는: 3D 환경 모델을 생성하는 단계(S411)를 포함한다.

상기 단계(S411)에서 CCTV 화면의 화면 공간에 관한 실측 정보에 기초하여 상기 화면 공간에 대한 3D 환경 모델이 생성된다. 실측 기반으로 생성되었기 때문에, 3D 환경 모델 상의 일 지점에서 다른 일 지점까지의 길이에 대응한 실제 크기가 획득될 수도 있다.

상기 단계(S410)는 가상 카메라를 생성하는 단계(S413)를 포함한다. 상기 단계(S413)에서 실제 설치된 CCTV(100)에 대응하는 가상 카메라가 3D 환경 모델 상에 생성된다. 상기 가상 카메라에 의해 촬영된 화면 영상은 대응한 CCTV(100)에 의해 촬영된 화면 영상과 동일하게 된다. 따라서 가상 카메라의 화면을 다른 화면과 정합한 결과는 CCTV(100)의 화면을 정합한 결과를 나타낸다.

상기 단계(S410)는 CCTV 화면과 3D 환경 모델을 매핑하는 단계(S415)를 포함한다.

일 실시예에서, 상기 단계S415는 상기 단계413의 가상 카메라 화면과 단계(S411)의 3D 환경 모델의 뷰를 정합하는 단계를 포함한다. 가상 카메라의 2차원 화면과 3D 환경 모델의 2차원 뷰가 정합되면, CCTV 화면의 2차원 화면과 3D 환경 모델의 3차원 구조가 정합된다.

일 실시예에서, 상기 가상 카메라의 2차원 화면과 3D 환경 모델의 3차원 구조의 정합은 상기 수학식 1을 통해 수행될 수도 있다(S415).

이와 같이 3D 환경 모델이 가상 카메라 화면에 정합되면, CCTV 화면 내 2차원 지점에 대응하는 3D 환경 모델 상의 3차원 지점이 결정된다. 또한, CCTV 화면 내 위치한 객체에 대응하는 3D 환경 모델 상에 렌더링된 객체의 3차원 크기가 CCTV 화면의 객체의 실제 크기로 결정된다.

도 5는, 본 발명의 일 실시예에 따른, CCTV 화면과 3D 환경 모델을 매핑하는 과정의 흐름도이다.

도 5를 참조하면, 상기 단계(S450)는: 단계(S430)의 CCTV 화면 내 객체를 탐지하는 단계(S451)를 포함한다.

상기 단계(S451)에서 CCTV 화면 내 객체가 탐지된다. 객체의 탐지로 인해 실제 크기를 산출할 대상인 피사체가 획득될 수도 있다.

일 실시예에서, 상기 단계(S430)의 CCTV 화면의 영상을 미리 학습된 기계 학습 모델에 적용하여 CCTV 화면 내 객체를 탐지할 수도 있다.

상기 단계(S450)는: 피사체의 2차원 화면 상의 픽셀 길이를 측정하는 단계(S453)를 포함한다. 단계(S451)에서 객체가 탐지되면, CCTV 화면 내에서 탐지된 객체가 차지하는 영역이 결정되고, 해당 영역의 길이가 피사체의 픽셀 길이로 측정될 수도 있다.

일 실시예에서, 피사체의 픽셀 길이는 점지면을 기준으로 측정될 수도 있다.

일부 실시예에서, 상기 단계(S450)는, 도 5에 도시된 바와 같이, 탐지된 객체 중에서 일부 또는 전부를 피사체로 선택하는 단계(S452)를 더 포함할 수도 있다.

상기 단계(S450)는 매핑된 3D 환경 모델을 이용해 CCTV 화면 상에 표현된 피사체의 실제 크기를 산출하는 단계(S455)를 포함한다.

일 실시예에서, 상기 단계(S455)는: 단계S453의 피사체의 픽셀 크기를 3D 환경 모델 상의 3차원 크기로 변환하는 단계를 포함한다. 매핑된 3D 환경 모델을 통해 객체의 CCTV 화면 내 2차원 위치에 대응하는 3D 환경 모델 상의 3차원 위치가 결정된다. 또한, 매핑된 3D 환경 모델을 통해 해당 2차원 위치에서의 픽셀 크기에 매핑되는 3차원 실제 크기가 검색(retrieving)된다.

결국, 단계(s453)의 픽셀 길이를 갖는 피사체에 대한 3차원 실제 크기가 획득된다(S455).

이상에서 설명한 실시예들에 따른 CCTV 관측 시스템(1) 및 3D 환경 모델을 이용하여 피사체의 실제 크기를 측정하는 방법에 의한 동작은 적어도 부분적으로 컴퓨터 프로그램으로 구현되어, 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 예를 들어, 프로그램 코드를 포함하는 컴퓨터-판독가능 매체로 구성되는 프로그램 제품과 함께 구현되고, 이는 기술된 임의의 또는 모든 단계, 동작, 또는 과정을 수행하기 위한 프로세서에 의해 실행될 수 있다.

상기 컴퓨터는 데스크탑 컴퓨터, 랩탑 컴퓨터, 노트북, 스마트 폰, 또는 이와 유사한 것과 같은 컴퓨팅 장치일 수도 있고 통합될 수도 있는 임의의 장치일 수 있다. 컴퓨터는 하나 이상의 대체적이고 특별한 목적의 프로세서, 메모리, 저장공간, 및 네트워킹 구성요소(무선 또는 유선 중 어느 하나)를 가지는 장치다. 상기 컴퓨터는 예를 들어, 마이크로소프트의 윈도우와 호환되는 운영 체제, 애플 OS X 또는 iOS, 리눅스 배포판(Linux distribution), 또는 구글의 안드로이드 OS와 같은 운영체제(operating system)를 실행할 수 있다.

상기 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록신원확인 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장신원확인 장치 등을 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.

이상에서 살펴본 본 발명은 도면에 도시된 실시예들을 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 발명의 기술적 보호범위 내에 있다고 보아야 한다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.

Claims

하나 이상의 CCTV가 촬영한 피사체의 실제 크기를 측정하는 CCTV 관제 시스템에 있어서,
CCTV 화면에 포착된 화면 공간에 관련된 실측 정보에 기초하여 상기 화면 공간을 3차원 가상 공간으로 구현한 3D 환경 모델을 생성하는 3D 모델링부;
상기 3D 환경 모델을 상기 CCTV 화면에 매핑하는 매핑부;
상기 CCTV가 촬영한 CCTV 화면의 영상에서 객체를 탐지하는 객체 검출부; 및
매핑된 3D 환경 모델을 이용하여 상기 탐지된 객체에 포함된 피사체의 3차원 실제 환경 상의 실제 크기를 측정하는 실제 크기 측정부;를 포함하는 CCTV 관제 시스템.
제1항에 있어서, 상기 3D 모델링부는,
상기 하나 이상의 CCTV에 대응한 가상 카메라를 상기 3차원 가상 공간 상에 생성하도록 더 구성되고,
상기 가상 카메라는 대응한 CCTV 화면과 동일한 뷰를 갖는 것을 특징으로 하는 CCTV 관제 시스템.
제2항에 있어서, 상기 매핑부는,
CCTV 화면과 3D 환경 모델을 매핑하기 위해, 상기 가상 카메라의 화면에 포착된 접지면과 상기 3차원 가상 공간 상에 구현된 접지면에 기초하여 상기 가상 카메라의 화면과 상기 3D 환경 모델의 뷰를 정합하는 것을 특징으로 하는 CCTV 관제 시스템.
제2항에 있어서, 상기 매핑부는,
다음의 수학식을 통해 가상 카메라 화면과 3D 환경 모델을 정합하고,
[수학식]

여기서, {Ψi, λi}는 삼차원 모델 공간 상의 i번째 투사된 점의 위치와 가상 카메라 영상의 2차원 화면 상의 i번째 점의 위치를 각각 나타내고, dk는 카메라 왜곡(k)을 고려하여 3차원 공간의 점을 카메라 2차원 공간으로 투사하고 다른 2차원 공간의 점과의 거리를 계산하는 함수로서, CCTV의 사양에 기초하고, R 및 t는 가상 카메라의 3차원 공간 상의 각도 및 위치를 각각 나타내는 것을 특징으로 하는 CCTV 관제 시스템.
제1항에 있어서, 상기 객체 검출부는,
입력 영상에서 특징을 추출하고, 추출된 특징에 기초하여 CCTV 화면에 포함된 객체를 탐지하도록 미리 학습된 기계 학습 모델에 상기 CCTV 화면의 영상을 적용하여 상기 객체를 탐지하는 것을 특징으로 하는 CCTV 관제 시스템.
제1항에 있어서, 상기 실제 크기 측정부는,
상기 탐지된 객체의 CCTV 화면 내 위치에 대응하는, 매핑된 3D 환경 모델 상의 3차원 가상 위치에서, 픽셀 크기의 값에 매핑된 실제 크기 값을 검색하고, 그리고
검색된 실제 크기 값을 상기 객체의 실제 크기로 결정하는 것을 특징으로 하는 CCTV 관제 시스템
프로세서에 의해 수행되는, 3D 환경 모델을 이용하여 피사체의 실제 크기를 측정하는 방법에 있어서,
CCTV에 의해 피사체를 포함한 CCTV 화면의 영상을 획득하는 단계; 및
미리 저장된 3D 환경 모델을 이용하여 CCTV 화면의 피사체의 실제 크기를 측정하는 단계를 포함하며,
상기 미리 저장된 3D 환경 모델은 상기 CCTV 화면에 매핑된 것을 특징으로 하는 방법.
제7항에 있어서, 상기 3D 환경 모델은,
상기 CCTV 화면에 포착된 화면 공간의 실측 정보에 기초하여 상기 화면 공간을 3차원 렌더링하여 생성된 모델로서, 상기 CCTV에 대응한 가상 카메라를 포함하는 것을 특징으로 하는 방법.
제8항에 있어서, 상기 3D 환경 모델은
상기 가상 카메라의 화면에 포착된 접지면과 상기 3차원 가상 공간 상에 구현된 접지면에 기초해 상기 가상 카메라의 화면과 상기 3D 환경 모델의 뷰를 정합하여 상기 CCTV 화면에 매핑된 것을 특징으로 하는 방법.
제8항에 있어서, 상기 3D 환경 모델은,
다음의 수학식을 통해 가상 카메라 화면에 정합되고,
[수학식]

여기서, {Ψi, λi}는 삼차원 모델 공간 상의 i번째 투사된 점의 위치와 가상 카메라 영상의 2차원 화면 상의 i번째 점의 위치를 각각 나타내고, dk는 카메라 왜곡(k)을 고려하여 3차원 공간의 점을 카메라 2차원 공간으로 투사하고 다른 2차원 공간의 점과의 거리를 계산하는 함수로서, CCTV의 사양에 기초하고, R 및 t는 가상 카메라의 3차원 공간 상의 각도 및 위치를 각각 나타내는 것을 특징으로 하는 방법.
제8항에 있어서, 상기 CCTV 화면의 피사체의 실제 크기를 측정하는 단계는,
객체가 탐지된 CCTV 화면에 매핑된 3D 환경 모델 상의 3차원 가상 위치에서의 픽셀 크기의 값에 매핑된 실제 크기 값을 검색하는 단계; 및
검색된 실제 크기 값을 상기 객체의 실제 크기로 결정하는 단계를 포함하되,
상기 3차원 가상 위치는 탐지된 객체의 CCTV 화면 내 위치에 대응하는 매핑된 3D 환경 모델 상의 가상 위치인 것을 특징으로 하는 방법.
컴퓨팅 장치에 의해 판독가능하고, 상기 컴퓨팅 장치에 의해 동작 가능한 프로그램 명령어를 저장하는 컴퓨터 판독가능 기록매체로서, 상기 프로그램 명령어가 상기 컴퓨팅 장치의 프로세서에 의해 실행되는 경우 상기 프로세서가 제1항 내지 제11항 중 어느 하나의 항에 따른 3D 환경 모델을 이용하여 피사체의 실제 크기를 측정하는 방법을 수행하게 하는 컴퓨터 판독가능 기록매체.