KR102332179B1 - 영상 및 실공간 매핑장치 및 그 장치에서 각 기능을 실행시키기 위해 매체에 저장된 컴퓨터 프로그램 - Google Patents

Abstract

본 발명은, 확장성 및 비용 측면의 한계에서 벗어나, 도로를 촬영하는 카메라로부터 입력되는 촬영영상에서 객체(차량, 사람 등)의 위치, 이동거리 및 속도 등 충분한 정보를 취득(측정)할 수 있는 영상 및 실공간 매핑 기법(기술)에 관한 것이다.

Description

영상 및 실공간 매핑장치 및 그 장치에서 각 기능을 실행시키기 위해 매체에 저장된 컴퓨터 프로그램{MAPPING DEVICE BETWEEN IMAGE AND SPACE, AND COMPUTER TROGRAM THAT PERFORMS EACH STEP OF THE DEVICE}

본 발명은, 도로를 촬영하는 카메라로부터 입력되는 촬영영상에서 객체(차량, 사람 등)의 위치, 이동거리 및 속도를 측정하기 위한 기술에 관한 것이다.

현재, 도로 별 교통 상황을 파악하기 위해서는, 루프 센서와 같은 센서 기반의 전자기적 측정을 통해 차량을 검지하는 장치(차량 검지 장치)가 활용되고 있다.

하지만, 이러한 차량 검지 장치를 활용한 접근 방법은, 도로 노면 하부에 루프 센서와 같은 고가의 센서를 설치하고 이를 운용하기 위해 많은 비용이 요구되며, 차선 별 측정을 위해 모든 차선에 센서를 설치해야 하는 등 확장성에 한계를 갖는다.

한편, 도로 교통 카메라를 활용하여 도로 별 교통 상황을 파악하기 위한 접근 방법은 도로 상의 교통 상황을 원격에서 영상을 통해 시각적으로 확인하는 방식이므로, 촬영영상으로부터 시각적으로 확인하여 취득할 수 있는 정보(예: 객체에 대한 정보)가 한정적인 한계가 있다.

이 외에도 속도 측정 기능 등을 부여한 카메라를 과속 단속 등을 위해 현장에 설치 및 운용하고 있으나, 고가의 정밀 카메라이기 때문에 도시 전체에 설치하여 상시적으로 교통 상황을 모니터링하기 어렵다는 문제가 있다.

한편, 고도화된 영상 인식 기술을 활용하여 도로 교통 카메라의 촬영영상을 분석하여 객체에 대한 정보를 취득하거나 촬영된 도로의 범위를 측정할 수도 있겠으나, 이는 복잡한 카메라 제작 및 설치 조건을 요구하므로 역시나 확장성 및 비용 측면의 한계를 갖는다.

결국, 기존의 도로 영상 카메라는, 단순히 도로의 현재 상황을 시각적으로 확인하기 위한 수단으로 활용되고 있을 뿐이라 하겠다.

이에, 본 발명에서는, 확장성 및 비용 측면의 한계에서 벗어나, 도로를 촬영하는 카메라로부터 입력되는 촬영영상에서 객체(차량, 사람 등)의 위치, 이동거리 및 속도 등 충분한 정보를 취득(측정)할 수 있는 새로운 방식의 기법(기술)을 제안하고자 한다.

본 발명은 상기한 사정을 감안하여 창출된 것으로서, 본 발명에서 도달하고자 하는 목적은, 확장성 및 비용 측면의 한계에서 벗어나, 도로를 촬영하는 카메라로부터 입력되는 촬영영상에서 객체(차량, 사람 등)의 위치, 이동거리 및 속도 등 충분한 정보를 취득(측정)하는데 있다.

상기 목적을 달성하기 위한 본 발명의 제 1 관점에 따른 영상 및 실공간 매핑장치는, 카메라가 촬영한 촬영영상에서 대상 객체의 영상 내 좌표를 확인하는 객체확인부; 상기 카메라의 설치 높이, 틸트 각도, 수평/수직 촬영범위를 근거로, 상기 영상 내 좌표를 상기 수직 촬영범위의 각도 비율이 반영된 상기 촬영영상의 실제 촬영공간에 대한 공간 내 좌표로 변환하는 변환부; 및 상기 변환한 공간 내 좌표를 상기 대상 객체의 상기 촬영공간 내 위치로 사용하는 정보사용부를 포함한다.

구체적으로, 상기 변환부는, 상기 카메라의 설치 높이, 틸트 각도, 수직 촬영범위를 근거로, 상기 영상 내 y 좌표를 이용하여 상기 수직 촬영범위의 각도 비율이 반영된 수직 촬영각도를 계산하고, 상기 수직 촬영각도를 이용하여 상기 영상 내 y 좌표와 매칭되는 상기 공간 내 y 좌표를 계산할 수 있다.

구체적으로, 상기 변환부는, 방위각, 수평 촬영범위를 근거로, 상기 영상 내 x 좌표를 이용하여 수평 촬영각도를 계산하고, 상기 수평 촬영각도 및 상기 수직 촬영범위의 각도 비율을 반영된 상기 공간 내 y 좌표를 이용하여 상기 영상 내 x 좌표와 매칭되는 상기 공간 내 x 좌표를 계산할 수 있다.

구체적으로, 상기 변환부는, 상기 카메라의 설치 높이, 틸트 각도, 수평/수직 촬영범위를 근거로, 상기 촬영영상을 구성하는 픽셀 단위의 좌표를 상기 수직 촬영범위의 각도 비율이 반영된 상기 촬영공간 내의 좌표에 매칭되도록 기 생성된 좌표 매트릭스를 이용하여, 상기 영상 내 좌표를 상기 공간 내 좌표로 변환할 수 있다.

구체적으로, 상기 좌표 매트릭스는, 상기 촬영영상을 구성하는 픽셀 단위의 x 좌표에 대한 x 좌표 매트릭스, 상기 촬영영상을 구성하는 픽셀 단위의 y 좌표에 대한 y 좌표 매트릭스를 각각 포함할 수 있다.

구체적으로, 상기 정보사용부는, 상기 변환한 공간 내 좌표를 상기 대상 객체의 상기 촬영공간 내 위치로 사용하여, 상기 대상 객체에 대해 상기 촬영공간 내 위치의 변경을 추적하여 이동 거리 및 이동 속도 중 적어도 하나를 계산할 수 있다.

구체적으로, 상기 정보사용부는, 상기 카메라가 촬영한 촬영공간 또는 상기 카메라가 설치된 위치의 식별정보 및 상기 촬영영상 내 각 객체 별 촬영공간 내 위치를 서버로 제공하여, 상기 서버에서 상기 식별정보와 맵핑되어 있는 도로링크의 교통상황 분석에 상기 각 객체 별 촬영공간 내 위치가 활용될 수 있도록 한다.

상기 목적을 달성하기 위한 본 발명의 제 2 관점에 따른 하드웨어와 결합되어 다음의 단계를 실행시키기 위해 매체에 저장된 컴퓨터 프로그램은, 카메라가 촬영한 촬영영상에서 대상 객체의 영상 내 좌표를 확인하는 객체확인단계; 상기 카메라의 설치 높이, 틸트 각도, 수평/수직 촬영범위를 근거로, 상기 영상 내 좌표를 상기 수직 촬영범위의 각도 비율이 반영된 상기 촬영영상의 실제 촬영공간에 대한 공간 내 좌표로 변환하는 변환단계; 및 상기 변환한 공간 내 좌표를 상기 대상 객체의 상기 촬영공간 내 위치로 사용하는 정보사용단계를 실행시킨다.

구체적으로, 상기 변환단계는, 상기 카메라의 설치 높이, 틸트 각도, 수직 촬영범위를 근거로, 상기 영상 내 y 좌표를 이용하여 상기 수직 촬영범위의 각도 비율이 반영된 수직 촬영각도를 계산하고, 상기 수직 촬영각도를 이용하여 상기 영상 내 y 좌표와 매칭되는 상기 공간 내 y 좌표를 계산할 수 있다.

구체적으로, 상기 변환단계는, 방위각, 수평 촬영범위를 근거로, 상기 영상 내 x 좌표를 이용하여 수평 촬영각도를 계산하고, 상기 수평 촬영각도 및 상기 수직 촬영범위의 각도 비율을 반영된 상기 공간 내 y 좌표를 이용하여 상기 영상 내 x 좌표와 매칭되는 상기 공간 내 x 좌표를 계산할 수 있다.

구체적으로, 상기 변환단계는, 상기 카메라의 설치 높이, 틸트 각도, 수평/수직 촬영범위를 근거로, 상기 촬영영상을 구성하는 픽셀 단위의 좌표를 상기 수직 촬영범위의 각도 비율이 반영된 상기 촬영공간 내의 좌표에 매칭되도록 기 생성된 좌표 매트릭스를 이용하여, 상기 영상 내 좌표를 상기 공간 내 좌표로 변환할 수 있다.

구체적으로, 상기 좌표 매트릭스는, 상기 촬영영상을 구성하는 픽셀 단위의 x 좌표에 대한 x 좌표 매트릭스, 상기 촬영영상을 구성하는 픽셀 단위의 y 좌표에 대한 y 좌표 매트릭스를 각각 포함할 수 있다.

구체적으로, 상기 정보사용단계는, 상기 변환한 공간 내 좌표를 상기 대상 객체의 상기 촬영공간 내 위치로 사용하여, 상기 대상 객체에 대해 상기 촬영공간 내 위치의 변경을 추적하여 이동 거리 및 이동 속도 중 적어도 하나를 계산하는 단계, 또는 상기 카메라가 촬영한 촬영공간 또는 상기 카메라가 설치된 위치의 식별정보 및 상기 촬영영상 내 각 객체 별 촬영공간 내 위치를 서버로 제공하여, 상기 서버에서 상기 식별정보와 맵핑되어 있는 도로링크의 교통상황 분석에 상기 각 객체 별 촬영공간 내 위치가 활용될 수 있도록 하는 단계를 포함할 수 있다.

상기 목적을 달성하기 위한 본 발명의 제 3 관점에 따른 영상 및 실공간 매핑장치의 동작 방법은, 카메라가 촬영한 촬영영상에서 대상 객체의 영상 내 좌표를 확인하는 객체확인단계; 상기 카메라의 설치 높이, 틸트 각도, 수평/수직 촬영범위를 근거로, 상기 영상 내 좌표를 상기 수직 촬영범위의 각도 비율이 반영된 상기 촬영영상의 실제 촬영공간에 대한 공간 내 좌표로 변환하는 변환단계; 및 상기 변환한 공간 내 좌표를 상기 대상 객체의 상기 촬영공간 내 위치로 사용하는 정보사용단계를 포함한다.

이에, 본 발명에 의하면, 객체(예: 차량, 사람 등)를 인식하는 간단한 영상 인식 기술 만을 활용하여, 도로 영상 카메라에서 촬영하는 촬영영상의 점(Pixel) 단위로 실제 촬영공간을 매핑시키는 방식으로 영상 내 좌표와 실제 공간 내 좌표를 매핑할 수 있는 새로운 방식의 기법(기술)을 구현하고 있다.

이로써, 본 발명에 따르면, 고가의 정밀 카메라, 복잡한 카메라 제작 및 설치 조건 등의 제약에서 벗어나, 기존에 설치된 도로 영상 카메라 인프라를 활용하여, 카메라로부터 입력되는 촬영영상에서 실제 공간 상 객체(차량, 사람 등)의 위치, 이동거리 및 속도 등 충분한 정보를 취득(측정)할 수 있는 효과를 도출한다.

도 1은 본 발명의 일 실시예에 따른 영상 및 실공간 매핑장치의 구성을 보여주는 구성도이다.
도 2는 도로 변 카메라를 통한 촬영영상 및 이와 대응되는 촬영공간을 보여주는 예시도이다.
도 3 및 도 4는 본 발명에서 수직/수평 방향 거리를 측정하는 과정을 설명하기 위한 예시도이다.
도 5는 본 발명에서 영상 내 좌표를 공간 내 좌표로 변환(매핑)하는 과정을 보여주기 위한 예시도이다.
도 6은 본 발명이 기존의 도로 영상 카메라 인프라에 적용되는 경우, 교통상황 분석에 사용되는 일 예시를 보여주는 예시도이다.
도 7은 본 발명의 실시예에 따른 컴퓨터 프로그램에 의해 실행되는 영상 및 실공간 매핑 기법을 보여주는 흐름도이다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예에 대하여 설명한다.

본 발명은, 도로를 촬영하는 카메라로부터 입력되는 촬영영상에서 객체(차량, 사람 등)의 위치, 이동거리 및 속도를 측정하기 위한 기술에 관한 것이다.

현재, 도로 별 교통 상황을 파악하기 위한 다양한 접근 방법이 사용되고 있으며, 본 발명은 특히 도로 교통 카메라를 활용하여 도로 별 교통 상황을 파악하기 위한 접근 방법과 관련이 있다.

도로 교통 카메라를 활용하여 도로 별 교통 상황을 파악하기 위한 접근 방법은, 도로 상의 교통 상황을 원격에서 영상을 통해 시각적으로 확인하는 방식이므로, 도로를 촬영한 촬영영상으로부터 시각적으로 확인하여 취득할 수 있는 정보(예: 객체에 대한 정보)가 한정적인 한계가 있다.

이 외에도 속도 측정 기능 등을 부여한 카메라를 과속 단속 등을 위해 현장에 설치 및 운용하고 있으나, 고가의 정밀 카메라이기 때문에 도시 전체에 설치하여 상시적으로 교통 상황을 모니터링하기 어렵다는 문제가 있다.

한편, 고도화된 영상 인식 기술을 활용하여 도로 교통 카메라의 촬영영상을 분석하여 객체에 대한 정보를 취득하거나 촬영된 도로의 범위를 측정할 수도 있겠으나, 이는 복잡한 카메라 제작 및 설치 조건을 요구하므로 역시나 확장성 및 비용 측면의 한계를 갖는다.

결국, 현재까지는 도로 곳곳에 설치되어 있는 도로 영상 카메라는, 단순히 도로의 현재 상황을 시각적으로 확인하기 위한 수단으로 활용되고 있을 뿐이라 하겠다.

이에, 본 발명에서는, 확장성 및 비용 측면의 한계에서 벗어나, 도로를 촬영하는 카메라로부터 입력되는 촬영영상에서 객체(차량, 사람 등)의 위치, 이동거리 및 속도 등 충분한 정보를 취득(측정)할 수 있는 새로운 방식의 기법(기술)을 제안하고자 한다.

도 1은, 본 발명에서 제안하고자 하는 새로운 방식의 기법(기술, 이하 영상 및 실공간 매핑 기법)을 실현하는 영상 및 실공간 매핑장치의 구성을 보여주고 있다.

도 1에 도시된 바와 같이, 본 발명의 영상 및 실공간 매핑장치(100)는, 객체확인부(110), 변환부(120), 정보사용부(130)를 포함하는 구성으로 이루어진다.

그리고, 본 발명의 영상 및 실공간 매핑장치(100)는, 전술한 구성 이외에, 카메라와 일체로 구현되지 않은 경우 카메라와의 통신 기능, 영상 및 실공간 매핑장치(100)에서 취득(측정)하는 정보를 외부의 서버(예: 도로교통분석 등)에서 활용될 수 있도록 하는 외부와의 통신 기능 등을 담당하는 통신부(140)의 구성을 더 포함할 수 있다.

여기서, 통신부(140)는 예컨대, 안테나 시스템, RF 송수신기, 하나 이상의 증폭기, 튜너, 하나 이상의 발진기, 디지털 신호 처리기, 코덱(CODEC) 칩셋, 및 메모리 등을 포함하지만 이에 제한되지는 않으며, 이 기능을 수행하는 공지의 회로는 모두 포함할 수 있다.

이러한 영상 및 실공간 매핑장치(100)의 구성 전체 내지는 적어도 일부는 하드웨어 모듈 형태 또는 소프트웨어 모듈 형태로 구현되거나, 하드웨어 모듈과 소프트웨어 모듈이 조합된 형태로도 구현될 수 있다.

여기서, 소프트웨어 모듈이란, 예컨대, 영상 및 실공간 매핑장치(100) 내에서 연산을 제어하는 프로세서에 의해 실행되는 명령어로 이해될 수 있으며, 이러한 명령어는 영상 및 실공간 매핑장치(100) 내 메모리에 탑재된 형태를 가질 수 있을 것이다.

결국, 본 발명의 일 실시예에 따른 영상 및 실공간 매핑장치(100)은 전술한 구성을 통해, 본 발명에서 제안하는 기술 즉 확장성 및 비용 측면의 한계에서 벗어나, 도로를 촬영하는 카메라로부터 입력되는 촬영영상에서 객체(차량, 사람 등)의 위치, 이동거리 및 속도 등 충분한 정보를 취득(측정)할 수 있는 영상 및 실공간 매핑 기법(기술)을 실현할 수 있다.

이하에서는, 본 발명에서 제안하는 새로운 방식의 영상 및 실공간 매핑 기법(기술)을 실현하기 위한 영상 및 실공간 매핑장치(100) 내 각 기술 구성에 대해 보다 구체적으로 설명하기로 한다.

객체확인부(110)는, 카메라가 촬영한 촬영영상에서 대상 객체의 영상 내 좌표를 확인하는 기능을 담당한다.

구체적으로 설명하면, 도로 곳곳에서 지정된 도로를 촬영하도록 고정 설치되어 있는 도로 영상 카메라 각각에 대하여, 본 발명의 영상 및 실공간 매핑장치(100)가 구현 또는 연동되도록 설치될 수 있다.

이에, 본 발명의 영상 및 실공간 매핑장치(100) 내 객체확인부(110)는, 영상 및 실공간 매핑장치(100)가 구현 또는 연동되는 도로 영상 카메라(이하, 카메라 통칭)가 도로 상의 실제 공간(이하, 촬영공간)을 촬영한 촬영영상에서 대상 객체 예컨대 차량, 사람 등의 영상 내 좌표를 확인할 수 있다.

이하에서는, 설명의 편의 상, 대상 객체로서 차량을 언급하여 설명하겠다.

예컨대, 객체확인부(110)는, 기존의 영상 내 객체(예: 차량, 사람 등)를 인식하는 간단한 영상 인식 기술을 활용하여, 카메라가 도로 상의 실제 공간 즉 촬영공간을 촬영한 촬영영상에서 대상 객체 예컨대 차량의 영상 내 좌표를 확인할 수 있다.

변환부(120)는, 카메라의 설치 높이, 틸트 각도, 수평/수직 촬영범위를 근거로, 전술의 확인한 영상 내 좌표를 수직 촬영범위의 각도 비율이 반영된 촬영영상의 실제 촬영공간에 대한 공간 내 좌표로 변환하는 기능을 담당한다.

즉, 본 발명의 영상 및 실공간 매핑장치(100) 내 변환부(120)는, 영상 및 실공간 매핑장치(100)가 구현 또는 연동되는 카메라의 설치 높이, 틸트 각도, 수평/수직 촬영범위를 근거로, 해당 카메라가 촬영한 촬영영상에서 확인한 영상 내 좌표를 수직 촬영범위의 각도 비율이 반영된 촬영공간의 공간 내 좌표로 변환하는 것이다.

이하에서는, 대상 객체의 영상 내 좌표를 공간 내 좌표로 변환하는 과정 및 방식에 대하여 구체적으로 설명하겠다.

먼저, 도 2를 참조하여, 본 발명에서 대상 객체의 영상 내 좌표를 공간 내 좌표로 변환하는 과정 및 방식에 대한 개념을 설명할 수 있다.

도 2는 도로 변 카메라를 통한 촬영영상 및 이와 대응되는 촬영공간을 보여주고 있다.

도 2에서 알 수 있듯이, 왼쪽의 카메라가 촬영공간을 촬영한 촬영영상(이미지)는 4개의 모서리가 직각인 사각형 형태이지만, 실제 공간 즉 촬영영상(이미지)에 담겨지는 촬영공간은 카메라의 설치 높이, 틸트 각도, 수평/수직 촬영범위에 따라 그 형태가 촬영영상(이미지)과는 다르며 대표적으로는 도 2의 오른쪽과 같이 윗변이 긴 사다리꼴 형태를 갖는다.

촬영영상(이미지)은 디지털 영상으로서 픽셀(Pixel) 단위로 표현되는데, 전술과 같이 촬영영상(이미지) 및 이와 대응되는 실제 촬영공간의 형태가 다르다는 점을 반영하여, 촬영영상(이미지) 내 각 픽셀 단위의 위치를 실제 촬영공간의 실제 위치와 매핑시켜 변환할 수 있는 기법이 필요하다.

본 발명에서는 이러한 기법 즉 영상 및 실공간 매핑 기법(기술)을 실현하는 것이다.

구체적으로 설명하면, 변환부(120)는, 카메라의 설치 높이(H: height), 틸트 각도(θ), 수직 촬영범위(2α)를 근거로, 촬영영상의 영상 내 y 좌표를 이용하여 수직 촬영범위(2α)의 각도 비율이 반영된 수직 촬영각도를 계산하고, 이처럼 계산한 수직 촬영각도를 이용하여 영상 내 y 좌표와 매칭되는 촬영공간의 공간 내 y 좌표를 계산할 수 있다.

도 3은 본 발명에서 카메라로부터의 수직 방향 거리를 측정하는 개념을 도시하고 있다.

도 3에서 알 수 있듯이, 카메라가 지지대(Pole)에 지상으로부터 H (meter) 거리의 높이에 설치되어 있다고 가정한다.

이러한 설치 높이(H)의 카메라는, 도로 면을 향해 틸트 각도(θ) (0=<θ<90) 만큼 기울어져 있다.

또한 카메라는 수직 촬영범위(2α, 0<α<=180) 만큼의 수직 방향 촬영 각을 갖는다.

이렇게 되면, 카메라부터 수직 방향의 상대적 거리를 기반으로 한 촬영공간은 (Lmin, Lmax)이며, 각각 다음과 같은 수학식 1로 구할 수 있다.

이때, Lmin~Lmax는 수직 촬영범위의 각도(2α)와 대응하며, 이는 촬영영상에서 수직 길이(Height)에 대응한다.

앞서 언급한 바 있듯이, 촬영영상(이미지)은 디지털 영상으로서 픽셀(Pixel) 단위로 표현되기 때문에, 이 촬영영상의 수직 길이(Height)는 #Height 만큼의 픽셀로 구성된다고 가정할 수 있다.

따라서, 수직 촬영범위의 각도(2α)와 #Height는 각도 비율로 대응된다.

즉, 촬영영상의 수직 길이(Height) 기준 하단에 위치한 픽셀일수록 수직 촬영범위의 각도가 작고 상단에 위치한 픽셀일수록 수직 촬영범위의 각도가 클 것이므로, 각도 비율에 따라 촬영영상의 수직 길이(Height) 기준 상단에 위치한 픽셀일수록 큰 수직 촬영범위와 대응되어 매핑되는 실제 촬영공간 상의 수직 거리가, 하단 위치 픽셀과 매핑되는 실제 촬영공간 상의 수직 거리 보다 클(멀) 것이다(도 2 참조).

한편, 도 4는 본 발명에서 카메라로부터의 수평 방향 거리를 측정하는 개념을 도시하고 있다.

도 4에서 알 수 있듯이, 카메라의 수평 방향 거리는 전술의 수직 방향 거리 보다 다소 계산이 복잡하다.

도 4에서 알 수 있듯이, 이러한 설치 높이(H)의 카메라는, 카메라가 고정 설치 기준으로 바라보는 방향(현재는 방위각(azimuth))을 기준으로, 수평 촬영범위(2β, 0<β<=180) 만큼의 수평 방향 촬영 각을 갖는다.

그리고 앞서 언급한 바 있듯이, 실제 촬영공간은 그 형태가 사각형으로 표현되는 촬영영상(이미지)과는 다르며 윗변이 아랫변 보다 긴 긴 사다리꼴을 갖는다.

이에 본 발명에서는, 카메라가 고정 설치 기준으로 바라보는 방향 즉 방위각(azimuth)을 기준으로, 좌측과 우측으로 나누어 카메라부터 수평 방향의 상대적 거리를 다음 수학식 2에 따라 구할 수 있고, 이를 기반으로 한 촬영공간 (bottom_right, bottom_left, top_left, top_right)을 정의할 수 있다.

이때, Bottom은 앞서 계산한 수직 방향의 거리(Lmin)이며, Top은 앞서 계산한 수직 방향의 거리(Lmax)를 의미한다.

앞서 언급한 바 있듯이, 촬영영상(이미지)은 디지털 영상으로서 픽셀(Pixel) 단위로 표현되기 때문에, 이 촬영영상의 수평 길이(또는 폭, Width)는 #Width 만큼의 픽셀로 구성된다고 가정할 수 있다.

따라서, 수직 촬영범위의 각도(2α)와 #Width는 각도 비율로 대응된다.

즉, 촬영영상의 하단(Bottom)에 위치한 픽셀일수록 수직 촬영범위의 각도가 작고 상단(Top)에 위치한 픽셀일수록 수직 촬영범위의 각도가 클 것이므로, 각도 비율에 따라 촬영영상의 상단(Top)에 위치한 픽셀일수록 큰 수직 촬영범위와 대응되어 매핑되는 실제 촬영공간 상의 수평 거리(폭)가, 하단(Bottom) 위치 픽셀과 매핑되는 실제 촬영공간 상의 수평 거리(폭) 보다 클(넓을) 것이다(도 2 참조).

이에, 다시 변환부(120)의 동작 즉 본 발명의 영상 및 실공간 매핑 기법(기술)을 구체적으로 설명하면, 변환부(120)는, 카메라의 설치 높이(H: height), 틸트 각도(θ), 수직 촬영범위(2α)를 근거로, 촬영영상의 영상 내 y 좌표(이하, img.y)를 이용하여 수직 촬영범위(2α)의 각도 비율이 반영된 수직 촬영각도(이하, real.y_angle)를 다음 수학식 3에 따라 계산할 수 있다.

그리고, 변환부(120)는, 전술의 계산한 수직 촬영각도(real.y_angle)를 이용하여, 영상 내 y 좌표(img.y)와 매칭되는 촬영공간의 공간 내 y 좌표(이하, real.y)를 다음 수학식 4에 따라 계산할 수 있다.

한편, 변환부(120)는, 방위각(azimuth), 수평 촬영범위(2β)를 근거로, 촬영영상의 영상 내 x 좌표(이하, img.x)를 이용하여 수평 촬영각도(이하, real.x_angle)를 다음 수학식 5에 따라 계산할 수 있다.

여기서, 객체의 영상 내 x 좌표(img.x)가 방위각(azimuth) 기준 좌측이면 azimuth-β를 사용하고 방위각(azimuth) 기준 우측이면 azimuth+β를 사용하면 된다.

그리고, 변환부(120)는, 전술의 계산한 수평 촬영각도(real.x_angle) 및 수직 촬영범위(2α)의 각도 비율이 반영/계산된 전술의 공간 내 y 좌표(real.y)를 이용하여 영상 내 x 좌표(img.x)와 매칭되는 촬영공간의 공간 내 x 좌표(이하, real.x)를 다음 수학식 6에 따라 계산할 수 있다.

도 5는, 본 발명에서 실현하는 영상 및 실공간 매핑 기법(기술)에 따라, 영상 내 좌표(img.x, img.y)를 공간 내 좌표(real.x, real.y)로 변환(매핑)하는 과정, 달리 말하면 영상을 실공간으로 프로젝션(Projection) 처리하는 일 예를 보여주고 있다.

도 5에서는, 촬영영상 내 객체(예: 차량)의 영상 내 좌표(img.x, img.y)가 방위각(azimuth) 기준, 좌측에 위치하는 경우로 가정하고 있다.

이에, 본 발명에 따르면, 영상 내 좌표(img.x, img.y)를, 전술의 수학식 3 내지 수학식 6을 이용하여 수직 촬영범위의 각도 비율이 반영된 공간 내 좌표(real.x, real.y)로 변환(매핑)하여, 영상을 실공간으로 프로젝션(Projection) 처리할 수 있다.

한편, 본 발명에서는, 전술과 같이 촬영영상 내 객체(예: 차량)의 영상 내 좌표(img.x, img.y)를 공간 내 좌표(real.x, real.y)로 실시간 계산을 통해 변환/매핑하는 방식으로 프로젝션 처리를 수행할 수 있다.

또 다른 실시예에 따르면, 본 발명에서는, 촬영영상을 구성하는 픽셀 단위의 좌표(img.x, img.y)를 수직 촬영범위의 각도 비율이 반영된 촬영공간 내의 좌표 즉 공간 내 좌표(real.x, real.y)에 매칭되도록 하는 좌표 매트릭스를 기 생성할 수도 있다.

즉, 본 발명의 영상 및 실공간 매핑장치(100, 특히 변환부(120))는, 카메라의 설치 높이(H: height), 틸트 각도(θ), 방위각(azimuth), 수직 촬영범위(2α), 수평 촬영범위(2β)를 근거로, 촬영영상을 구성하는 픽셀 단위의 좌표(img.x, img.y)를 수직 촬영범위의 각도 비율이 반영된 촬영공간 내의 좌표 즉 공간 내 좌표(real.x, real.y)에 매칭되도록 하는 좌표 매트릭스를 기 생성할 수 있다.

즉, 영상 및 실공간 매핑(변환) 계산을 위해 필요한 카메라의 파라미터(카메라 위치, 설치 높이, 틸트 각도, 방위각, 수직/수평 촬영범위 등)을 기반으로, 촬영영상을 구성하는 픽셀 단위의 전체 좌표(img.x, img.y) 별로 촬영공간 상에서 매핑시킬 공간 내 좌표(real.x, real.y)를 전처리로 계산하여 좌표 매트릭스를 생성할 수 있다.

그리고, 본 발명의 영상 및 실공간 매핑장치(100, 특히 변환부(120))는, 영상 및 실공간 매핑(변환) 계산을 위해 필요한 카메라의 파라미터(카메라 위치, 설치 높이, 틸트 각도, 방위각, 수직/수평 촬영범위 등)에 변경 발생 시, 좌표 매트릭스를 업데이트할 수 있다.

이때, 좌표 매트릭스는, 촬영영상을 구성하는 픽셀 단위의 x 좌표에 대한 x 좌표 매트릭스, 상기 촬영영상을 구성하는 픽셀 단위의 y 좌표에 대한 y 좌표 매트릭스를 각각 포함할 수 있다.

즉, 촬영영상 사이즈와 동일한 크기(차원)를 갖는 두 개의 매트릭스, 즉 촬영영상을 구성하는 픽셀 단위의 x 좌표에 대한 매트릭스 real.x, 촬영영상을 구성하는 픽셀 단위의 y 좌표에 대한 매트릭스 real.y를 각기 생성할 수도 있다.

이 경우, 본 발명의 영상 및 실공간 매핑장치(100, 특히 변환부(120))는, 영상 및 실공간 매핑(변환) 계산을 위해 필요한 카메라의 파라미터(카메라 위치, 설치 높이, 틸트 각도, 방위각, 수직/수평 촬영범위 등)에 변경 발생 시, 두 개의 매트릭스 real.x 및 매트릭스 real.y 중 금번 파라미터 변경과 관련있는 매트릭스 만을 업데이트할 수도 있다.

이처럼 좌표 매트릭스를 기 생성해 두는 실시예에 따르면, 변환부(120)는, 좌표 매트릭스를 이용하여, 촬영영상 내 객체(예: 차량)의 영상 내 좌표(img.x, img.y)를 공간 내 좌표(real.x, real.y)로 변환/매핑함으로써, 보다 고속의 프로젝션 처리를 수행할 수 있다.

정보사용부(130)는, 전술의 변환한 공간 내 좌표(real.x, real.y)를 대상 객체 예컨대 차량의 촬영공간 내 위치로 사용하는 기능을 담당한다.

구체적으로, 정보사용부(130)는, 변환한 공간 내 좌표(real.x, real.y)를 대상 객체 예컨대 차량의 촬영공간 내 위치로 사용하여, 해당 차량(대상 객체)에 대해 촬영공간 내 위치의 변경을 추적하여 이동 거리 및 이동 속도 중 적어도 하나를 계산할 수 있다.

예를 들면, 대상 객체인 차량의 촬영공간 내 위치 변경(공간 내 좌표(real.x1, real.y1)-> 공간 내 좌표(real.x2, real.y2))이 추적되는 경우로 가정하면, 정보사용부(130)는, 다음 수학식 7에 따라 해당 차량(대상 객체)의 이동 속도를 실공간 기준으로 계산할 수 있고, 이를 근거로 다음 수학식 8에 따라 해당 차량(대상 객체)의 이동 속도를 실공간 기준으로 계산할 수 있다.

그리고, 정보사용부(130)는, 카메라가 촬영한 촬영공간 또는 카메라가 설치된 위치의 식별정보 및 촬영영상 내 각 객체 별 촬영공간 내 위치를 서버로 제공하여, 서버에서 식별정보와 맵핑되어 있는 도로링크의 교통상황 분석에 각 객체 별 촬영공간 내 위치가 활용될 수 있도록 할 수 있다.

즉, 정보사용부(130)는, 카메라가 촬영한 촬영공간에 대한 식별정보(예: 도로링크 식별자, 위치 식별자(위/경도) 등)과 촬영영상 내 각 객체 별로 전술의 프로젝션 처리를 통해 변환(매핑)한 촬영공간 내 위치를 외부의 서버, 예컨대 도로교통분석 등을 수행하는 서버로 제공할 수 있다.

이렇게 되면, 외부의 서버, 예컨대 도로교통분석 등을 수행하는 서버는, 도로 곳곳에 설치된 도로 영상 카메라 각각에 구현 또는 연동되도록 설치된 본 발명의 영상 및 실공간 매핑장치(100)로부터 식별정보 및 객체 별 촬영공간 내 위치를 제공받을 수 있다.

그리고, 외부 서버(예: 도로교통분석 등)에서는, 각 도로 영상 카메라의 영상 및 실공간 매핑장치(100)로부터 제공된 정보를 근거로, 각 식별정보와 맵핑되어 있는 도로링크의 교통상황 분석에 해당 객체 별 촬영공간 내 위치를 활용함으로써, 전국적인 도로 교통 상황을 분석할 수 있다.

이와 같이 카메라에 구현 또는 연동되도록 설치되는 본 발명의 영상 및 실공간 매핑장치(100)는, 촬영영상에서 도로 상의 객체들의 위치(공간 내 좌표), 이동 거리, 이동 속도 등 충분한 정보를 실공간 기준으로 정확도 높게 실시간으로 계산(측정)할 수 있고, 이처럼 계산(측정)한 정보를 외부 서버(예: 도로교통분석, 관제 센터 등)으로 보내 교통 소통 모니터링 및 분석을 위한 데이터로 활용할 수 있게 한다.

이렇게, 본 발명에서는, 촬영영상에서 객체(예: 차량, 사람 등)를 인식하는 간단한 영상 인식 기술 만을 활용하여, 촬영영상의 점(Pixel) 단위로 실제 촬영공간을 매핑시키는 방식으로 영상 내 좌표와 실제 공간 내 좌표를 매핑할 수 있는 새로운 방식의 영상 및 실공간 매핑 기법(기술)을 구현하고 있다.

전술처럼, 본 발명에서 제안하는 영상 및 실공간 매핑 기법(기술)에서는, 촬영공간 범위 특정을 위해, 카메라의 파라미터(카메라 위치, 설치 높이, 틸트 각도, 방위각, 수직/수평 촬영범위 등)와 같은 정보가 필요하지만, 이는 일반적으로 도로 영상 카메라가 고정된 위치에서 고정된 공간을 촬영하는 기존의 교통 카메라의 특성을 고려한다면, 별도의 카메라 파라미터 DB 구축을 통해 기존의 도로 영상 카메라 인프라 상에 손쉽게 적용 또는 구현될 수 있다.

더 나아가, 별도의 카메라 파라미터 DB 구축 방식 외에도, 본 발명에서 제안하는 영상 및 실공간 매핑장치(100)는, 위치 측정 장치(GPS 등), 틸트 측정 장치(자이로/가속도계 등), 컴파스를 포함하는 구성으로 구현되어, 카메라가 지면에서 설치된 높이(H), 카메라 촬영 범위 각도(수평/수직), 틸트 각도, 방위각을 파라미터로 받아 실제 공간(촬영공간)의 범위를 계산할 수도 있다.

이러한 카메라의 파라미터는, 사용자가 지정하는 고정값일 수도 있고 또는 장치로부터 측정되어 자동으로 획득되는 값일 수도 있다.

특히, 본 발명에서는, 카메라의 설치 및 관련 파라미터의 정확한 설정의 어려움을 고려하여, GPS, 자이로/가속도계, 컴파스 등을 포함하여 구현함으로써, 카메라 설치 후에 자동으로 파라미터 값을 획득하는 것이 바람직하다.

도 6은 기존의 도로 영상 카메라 인프라에 적용되는 경우, 교통상황 분석에 사용되는 일 예시를 보여주고 있다. 도 6에서는, 일 예로서 카메라 파라미터 DB 구축 방식을 전제로 도시하고 있다.

이처럼, 기존 도로 영상 카메라에 본 발명의 영상 및 실공간 매핑 기법(기술)을 적용하면, 각 도로 영상 카메라에서 촬영된 촬영영상(도로 영상 데이터)로부터 해당 카메라의 파라미터(카메라 위치, 설치 높이, 틸트 각도, 방위각, 수직/수평 촬영범위 등)를 이용한 촬영공간 범위 계산에 따른 프로젝션 처리를 통해, 객체 위치/이동 거리/이동 속도 등을 측정할 수 있고, 이들을 도로링크 검색 기반으로 취합함으로써, 카메라 별로 모니터링하고 있는 도로 정보를 맵 상에 표출하여 각 도로 별로 교통 소통 상황 정보를 가시화할 수 있다.

이상 설명한 바와 같이, 본 발명의 영상 및 실공간 매핑장치(100)는, 촬영영상에서 객체(예: 차량, 사람 등)를 인식하는 간단한 영상 인식 기술 만을 활용하여, 촬영영상의 점(Pixel) 단위로 실제 촬영공간을 매핑시키는 방식으로 영상 내 좌표와 실제 공간 내 좌표를 매핑할 수 있는 새로운 방식의 영상 및 실공간 매핑 기법(기술)을 구현하고 있다.

이로 인해, 본 발명에 따르면, 고가의 정밀 카메라, 복잡한 카메라 제작 및 설치 조건 등의 제약에서 벗어나, 기존에 설치된 도로 영상 카메라 인프라를 활용하여, 카메라로부터 입력되는 촬영영상에서 실제 공간 상 객체(차량, 사람 등)의 위치, 이동거리 및 속도 등 충분한 정보를 취득(측정)할 수 있는 효과를 도출한다.

특히, 본 발명에 따르면, 별도의 부가적인 장비 설치 비용을 수반하지 않고, 기존의 도로 영상 카메라 인프라를 그대로 활용할 수 있으며, 이로 인해 단순한 시각적 확인의 도로 영상 카메라 수준을 뛰어 넘어 정교한 도로 교통 상황을 측정할 수 있게 되며, 새로운 도로 영상 카메라 장비의 개발이나 설치, 관리의 어려움 없이 도로 영상 카메라를 지능화시킬 수 있는 효과까지 기대할 수 있다.

이하에서는, 도 7을 참조하여, 본 발명의 실시예에 따른 영상 및 실공간 매핑 기법(기술)을 설명하겠다.

이와 같은, 본 발명의 실시예에 따른 영상 및 실공간 매핑 기법(기술)은, 다음의 각 단계를 실행시키기 위해 매체에 저장된 본 발명의 실시예에 따른 컴퓨터 프로그램에 의해 실행된다. 다만 이하에서는 설명의 편의를 위해, 따른 영상 및 실공간 매핑장치(100)을 실행 주체로 언급하여 설명하겠다.

본 발명의 실시예에 따른 영상 및 실공간 매핑 기법에 따르면, 영상 및 실공간 매핑장치(100)는, 기본적으로 영상 및 실공간 매핑(변환) 계산을 위해 필요한 카메라의 파라미터(카메라 위치, 설치 높이, 틸트 각도, 방위각, 수직/수평 촬영범위 등) 설정이 전제된다(S10).

이러한 카메라 파라미터 설정은, 사용자가 지정하는 고정값일 수도 있고 또는 장치(예: 위치 측정 장치, 틸트 장치, 컴파스 등)로부터 측정되어 자동으로 획득되는 값일 수도 있다.

본 발명의 실시예에 따른 영상 및 실공간 매핑 기법에 따르면, 영상 및 실공간 매핑장치(100)는, 영상 및 실공간 매핑장치(100)가 구현 또는 연동되는 카메라가 도로 상의 실제 공간(이하, 촬영공간)을 촬영한 촬영영상을 확인하여(S20), 촬영영상 내 대상 객체의 영상 내 좌표(img.x, img.y)를 확인한다(S30).

그리고, 본 발명의 실시예에 따른 영상 및 실공간 매핑 기법에 따르면, 영상 및 실공간 매핑장치(100)는, 해당 카메라가 촬영한 촬영영상에서 확인한 영상 내 좌표(img.x, img.y)를 수직 촬영범위의 각도 비율이 반영된 촬영공간의 공간 내 좌표로 변환한다(S40).

이하에서는, 대상 객체의 영상 내 좌표를 공간 내 좌표로 변환하는 과정 및 방식에 대하여 구체적으로 설명하겠다.

구체적으로 설명하면 영상 및 실공간 매핑장치(100)는, 카메라의 설치 높이(H: height), 틸트 각도(θ), 수직 촬영범위(2α)를 근거로, 촬영영상의 영상 내 y 좌표(이하, img.y)를 이용하여 수직 촬영범위(2α)의 각도 비율이 반영된 수직 촬영각도(이하, real.y_angle)를 전술의 수학식 3에 따라 계산할 수 있다.

그리고, 영상 및 실공간 매핑장치(100)는, 전술의 계산한 수직 촬영각도(real.y_angle)를 이용하여, 영상 내 y 좌표(img.y)와 매칭되는 촬영공간의 공간 내 y 좌표(이하, real.y)를 전술의 수학식 4에 따라 계산할 수 있다.

한편, 영상 및 실공간 매핑장치(100)는, 방위각(azimuth), 수평 촬영범위(2β)를 근거로, 촬영영상의 영상 내 x 좌표(이하, img.x)를 이용하여 수평 촬영각도(이하, real.x_angle)를 전술의 수학식 5에 따라 계산할 수 있다.

여기서, 객체의 영상 내 x 좌표(img.x)가 방위각(azimuth) 기준 좌측이면 azimuth-β를 사용하고 방위각(azimuth) 기준 우측이면 azimuth+β를 사용하면 된다.

그리고, 영상 및 실공간 매핑장치(100)는, 전술의 계산한 수평 촬영각도(real.x_angle) 및 수직 촬영범위(2α)의 각도 비율이 반영/계산된 전술의 공간 내 y 좌표(real.y)를 이용하여 영상 내 x 좌표(img.x)와 매칭되는 촬영공간의 공간 내 x 좌표(이하, real.x)를 전술의 수학식 6에 따라 계산할 수 있다.

이에, 영상 및 실공간 매핑장치(100)는, 영상 내 좌표(img.x, img.y)를, 전술의 수학식 3 내지 수학식 6을 이용하여 수직 촬영범위의 각도 비율이 반영된 공간 내 좌표(real.x, real.y)로 변환(매핑)하여, 영상을 실공간으로 프로젝션(Projection) 처리할 수 있다.

한편, 본 발명에서 영상 및 실공간 매핑장치(100)는, 전술과 같이 촬영영상 내 객체(예: 차량)의 영상 내 좌표(img.x, img.y)를 공간 내 좌표(real.x, real.y)로 실시간 계산을 통해 변환/매핑하는 방식으로 프로젝션 처리를 수행할 수 있다.

또 다른 실시예에 따르면, 본 발명에서는, 영상 및 실공간 매핑(변환) 계산을 위해 필요한 카메라의 파라미터(카메라 위치, 설치 높이, 틸트 각도, 방위각, 수직/수평 촬영범위 등)을 기반으로, 촬영영상을 구성하는 픽셀 단위의 전체 좌표(img.x, img.y) 별로 촬영공간 상에서 매핑시킬 공간 내 좌표(real.x, real.y)를 전처리로 계산하여 좌표 매트릭스를 생성할 수 있다.

이에, 영상 및 실공간 매핑장치(100)는, 좌표 매트릭스를 이용하여, 촬영영상 내 객체(예: 차량)의 영상 내 좌표(img.x, img.y)를 공간 내 좌표(real.x, real.y)로 변환/매핑함으로써, 보다 고속의 프로젝션 처리를 수행할 수 있다.

본 발명의 실시예에 따른 영상 및 실공간 매핑 기법에 따르면, 영상 및 실공간 매핑장치(100)는, 전술의 변환한 공간 내 좌표(real.x, real.y)를 대상 객체 예컨대 차량의 촬영공간 내 위치로 사용한다(S50).

구체적인 실시예를 설명하면, 영상 및 실공간 매핑장치(100)는, 변환한 공간 내 좌표(real.x, real.y)를 대상 객체 예컨대 차량의 촬영공간 내 위치로 사용하여, 해당 차량(대상 객체)에 대해 촬영공간 내 위치의 변경을 추적하여 이동 거리 및 이동 속도 중 적어도 하나를 계산할 수 있다.

예를 들면, 대상 객체인 차량의 촬영공간 내 위치 변경(공간 내 좌표(real.x1, real.y1)-> 공간 내 좌표(real.x2, real.y2))이 추적되는 경우로 가정하면, 영상 및 실공간 매핑장치(100)는, 전술의 수학식 7에 따라 해당 차량(대상 객체)의 이동 속도를 실공간 기준으로 계산할 수 있고, 이를 근거로 전술의 수학식 8에 따라 해당 차량(대상 객체)의 이동 속도를 실공간 기준으로 계산할 수 있다.

또한, 영상 및 실공간 매핑장치(100)는, 카메라가 촬영한 촬영공간에 대한 식별정보(예: 도로링크 식별자, 위치 식별자(위/경도) 등)과 촬영영상 내 각 객체 별로 전술의 프로젝션 처리를 통해 변환(매핑)한 촬영공간 내 위치를 외부의 서버, 예컨대 도로교통분석 등을 수행하는 서버로 제공할 수 있다.

이렇게 되면, 외부의 서버, 예컨대 도로교통분석 등을 수행하는 서버는, 도로 곳곳에 설치된 도로 영상 카메라 각각에 구현 또는 연동되도록 설치된 본 발명의 영상 및 실공간 매핑장치(100)로부터 식별정보 및 객체 별 촬영공간 내 위치를 제공받을 수 있다.

그리고, 외부 서버(예: 도로교통분석 등)에서는, 각 도로 영상 카메라의 영상 및 실공간 매핑장치(100)로부터 제공된 정보를 근거로, 각 식별정보와 맵핑되어 있는 도로링크의 교통상황 분석에 해당 객체 별 촬영공간 내 위치를 활용함으로써, 전국적인 도로 교통 상황을 분석할 수 있다.

이와 같이 카메라에 구현 또는 연동되도록 설치되는 본 발명의 영상 및 실공간 매핑장치(100)는, 촬영영상에서 도로 상의 객체들의 위치(공간 내 좌표), 이동 거리, 이동 속도 등 충분한 정보를 실공간 기준으로 정확도 높게 실시간으로 계산(측정)할 수 있고, 이처럼 계산(측정)한 정보를 외부 서버(예: 도로교통분석, 관제 센터 등)으로 보내 교통 소통 모니터링 및 분석을 위한 데이터로 활용할 수 있게 한다.

이상 설명한 바와 같이, 본 발명의 영상 및 실공간 매핑 기법(기술)은, 촬영영상에서 객체(예: 차량, 사람 등)를 인식하는 간단한 영상 인식 기술 만을 활용하여, 촬영영상의 점(Pixel) 단위로 실제 촬영공간을 매핑시키는 방식으로 영상 내 좌표와 실제 공간 내 좌표를 매핑할 수 있는 새로운 기법(기술)을 구현하고 있다.

이로 인해, 본 발명에 따르면, 고가의 정밀 카메라, 복잡한 카메라 제작 및 설치 조건 등의 제약에서 벗어나, 기존에 설치된 도로 영상 카메라 인프라를 활용하여, 카메라로부터 입력되는 촬영영상에서 실제 공간 상 객체(차량, 사람 등)의 위치, 이동거리 및 속도 등 충분한 정보를 취득(측정)할 수 있는 효과를 도출한다.

위 설명한 본 발명의 일 실시예에 따른 영상 및 실공간 매핑 기법(기술)은, 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

지금까지 본 발명을 바람직한 실시 예를 참조하여 상세히 설명하였지만, 본 발명이 상기한 실시 예에 한정되는 것은 아니며, 이하의 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 또는 수정이 가능한 범위까지 본 발명의 기술적 사상이 미친다 할 것이다.

본 발명의 영상 및 실공간 매핑장치 및 영상 및 실공간 매핑 기법(기술)에 따르면, 확장성 및 비용 측면의 한계에서 벗어나, 도로를 촬영하는 카메라로부터 입력되는 촬영영상에서 객체(차량, 사람 등)의 위치, 이동거리 및 속도 등 충분한 정보를 취득(측정)할 수 있는 점에서, 기존 기술의 한계를 뛰어 넘음에 따라 관련 기술에 대한 이용만이 아닌 적용되는 장치의 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있는 발명이다.

100 : 영상 및 실공간 매핑장치
110 : 객체확인부 120 : 변환부
130 : 정보사용부

Claims (14)

1. 카메라가 촬영한 촬영영상에서 대상 객체의 영상 내 좌표를 확인하는 객체확인부;
   상기 카메라의 설치 높이, 틸트 각도, 수평/수직 촬영범위를 근거로, 상기 영상 내 좌표를 상기 수직 촬영범위의 각도 비율이 반영된 상기 촬영영상의 실제 촬영공간에 대한 공간 내 좌표로 변환하는 변환부; 및
   상기 변환한 공간 내 좌표를 상기 대상 객체의 상기 촬영공간 내 위치로 사용하는 정보사용부를 포함하며,
   상기 변환부는,
   다음의 수학식 3에 따라 상기 촬영영상의 영상 내 y 좌표(img.y)를 이용하여 수직 촬영각도(real.y_angle)을 계산(다음 수학식 3에서 height는 카메라의 설치 높이고, θ는 틸트 각도이며, 2α는 수직 촬영범위임)하고,
   [수학식 3]
   

   

   
   다음의 수학식 4에 따라 상기 수직 촬영각도(real.y_angle)을 이용하여 상기 촬영공간의 공간 내 y 좌표(real.y)를 계산(H는 카메라의 설치 높이임)하며,
   [수학식 4]
   

   

   
   다음의 수학식 5에 따라 상기 촬영영상의 영상 내 x 좌표(img.x)를 이용하여 수평 촬영각도(real.x_angle)를 계산(다음 수학식 5에서 azimuth는 방위각, 2β는 수평 촬영범위, width는 촬영영상의 수평 길이임)하되, 상기 영상 내 x 좌표(img.x)가 방위각(azimuth) 기준 좌측이면 azimuth-β를 사용하고 방위각(azimuth) 기준 우측이면 azimuth+β를 사용하며,
   [수학식 5]
   

   

   
   다음의 수학식 6에 따라 상기 수평 촬영각도(real.x_angle) 및 상기 공간 내 y 좌표(real.y)를 이용하여 상기 촬영공간의 공간 내 x 좌표(real.x)를 계산
   [수학식 6]
   

   

   
   하는 것을 특징으로 하는 영상 및 실공간 매핑장치.
   
2. 삭제
3. 삭제
4. 제 1 항에 있어서,
   상기 변환부는,
   상기 카메라의 설치 높이, 틸트 각도, 수평/수직 촬영범위를 근거로, 상기 촬영영상을 구성하는 픽셀 단위의 좌표를 상기 수직 촬영범위의 각도 비율이 반영된 상기 촬영공간 내의 좌표에 매칭되도록 기 생성된 좌표 매트릭스를 이용하여, 상기 영상 내 좌표를 상기 공간 내 좌표로 변환하는 것을 특징으로 하는 영상 및 실공간 매핑장치.
5. 제 4 항에 있어서,
   상기 좌표 매트릭스는,
   상기 촬영영상을 구성하는 픽셀 단위의 x 좌표에 대한 x 좌표 매트릭스, 상기 촬영영상을 구성하는 픽셀 단위의 y 좌표에 대한 y 좌표 매트릭스를 각각 포함하는 것을 특징으로 하는 영상 및 실공간 매핑장치.
6. 제 1 항에 있어서,
   상기 정보사용부는,
   상기 변환한 공간 내 좌표를 상기 대상 객체의 상기 촬영공간 내 위치로 사용하여, 상기 대상 객체에 대해 상기 촬영공간 내 위치의 변경을 추적하여 이동 거리 및 이동 속도 중 적어도 하나를 계산하는 것을 특징으로 하는 영상 및 실공간 매핑장치.
7. 제 1 항에 있어서,
   상기 정보사용부는,
   상기 카메라가 촬영한 촬영공간 또는 상기 카메라가 설치된 위치의 식별정보 및 상기 촬영영상 내 각 객체 별 촬영공간 내 위치를 서버로 제공하여, 상기 서버에서 상기 식별정보와 맵핑되어 있는 도로링크의 교통상황 분석에 상기 각 객체 별 촬영공간 내 위치가 활용될 수 있도록 하는 것을 특징으로 하는 영상 및 실공간 매핑장치.
8. 하드웨어와 결합되어, 카메라가 촬영한 촬영영상에서 대상 객체의 영상 내 좌표를 확인하는 객체확인단계;
   상기 카메라의 설치 높이, 틸트 각도, 수평/수직 촬영범위를 근거로, 상기 영상 내 좌표를 상기 수직 촬영범위의 각도 비율이 반영된 상기 촬영영상의 실제 촬영공간에 대한 공간 내 좌표로 변환하는 변환단계; 및
   상기 변환한 공간 내 좌표를 상기 대상 객체의 상기 촬영공간 내 위치로 사용하는 정보사용단계를 실행시키며,
   상기 변환단계는
   다음의 수학식 3에 따라 상기 촬영영상의 영상 내 y 좌표(img.y)를 이용하여 수직 촬영각도(real.y_angle)을 계산(다음 수학식 3에서 height는 카메라의 설치 높이고, θ는 틸트 각도이며, 2α는 수직 촬영범위임)하고,
   [수학식 3]
   

   

   
   다음의 수학식 4에 따라 상기 수직 촬영각도(real.y_angle)을 이용하여 상기 촬영공간의 공간 내 y 좌표(real.y)를 계산(H는 카메라의 설치 높이임)하며,
   [수학식 4]
   

   

   
   다음의 수학식 5에 따라 상기 촬영영상의 영상 내 x 좌표(img.x)를 이용하여 수평 촬영각도(real.x_angle)를 계산(다음 수학식 5에서 azimuth는 방위각, 2β는 수평 촬영범위, width는 촬영영상의 수평 길이임)하되, 상기 영상 내 x 좌표(img.x)가 방위각(azimuth) 기준 좌측이면 azimuth-β를 사용하고 방위각(azimuth) 기준 우측이면 azimuth+β를 사용하며,
   [수학식 5]
   

   

   
   다음의 수학식 6에 따라 상기 수평 촬영각도(real.x_angle) 및 상기 공간 내 y 좌표(real.y)를 이용하여 상기 촬영공간의 공간 내 x 좌표(real.x)를 계산
   [수학식 6]
   

   

   
   하는 것을 특징으로 하는 매체에 저장된 컴퓨터 프로그램.
   
9. 삭제
10. 삭제
11. 제 8 항에 있어서,
    상기 변환단계는,
    상기 카메라의 설치 높이, 틸트 각도, 수평/수직 촬영범위를 근거로, 상기 촬영영상을 구성하는 픽셀 단위의 좌표를 상기 수직 촬영범위의 각도 비율이 반영된 상기 촬영공간 내의 좌표에 매칭되도록 기 생성된 좌표 매트릭스를 이용하여, 상기 영상 내 좌표를 상기 공간 내 좌표로 변환하는 것을 특징으로 하는 매체에 저장된 컴퓨터 프로그램.
12. 제 11 항에 있어서,
    상기 좌표 매트릭스는,
    상기 촬영영상을 구성하는 픽셀 단위의 x 좌표에 대한 x 좌표 매트릭스, 상기 촬영영상을 구성하는 픽셀 단위의 y 좌표에 대한 y 좌표 매트릭스를 각각 포함하는 것을 특징으로 하는 매체에 저장된 컴퓨터 프로그램.
13. 제 8 항에 있어서,
    상기 정보사용단계는,
    상기 변환한 공간 내 좌표를 상기 대상 객체의 상기 촬영공간 내 위치로 사용하여, 상기 대상 객체에 대해 상기 촬영공간 내 위치의 변경을 추적하여 이동 거리 및 이동 속도 중 적어도 하나를 계산하는 단계, 또는
    상기 카메라가 촬영한 촬영공간 또는 상기 카메라가 설치된 위치의 식별정보 및 상기 촬영영상 내 각 객체 별 촬영공간 내 위치를 서버로 제공하여, 상기 서버에서 상기 식별정보와 맵핑되어 있는 도로링크의 교통상황 분석에 상기 각 객체 별 촬영공간 내 위치가 활용될 수 있도록 하는 단계를 포함하는 것을 특징으로 하는 매체에 저장된 컴퓨터 프로그램.
14. 카메라가 촬영한 촬영영상에서 대상 객체의 영상 내 좌표를 확인하는 객체확인단계;
    상기 카메라의 설치 높이, 틸트 각도, 수평/수직 촬영범위를 근거로, 상기 영상 내 좌표를 상기 수직 촬영범위의 각도 비율이 반영된 상기 촬영영상의 실제 촬영공간에 대한 공간 내 좌표로 변환하는 변환단계; 및
    상기 변환한 공간 내 좌표를 상기 대상 객체의 상기 촬영공간 내 위치로 사용하는 정보사용단계를 포함하며,
    상기 변환단계는
    다음의 수학식 3에 따라 상기 촬영영상의 영상 내 y 좌표(img.y)를 이용하여 수직 촬영각도(real.y_angle)을 계산(다음 수학식 3에서 height는 카메라의 설치 높이고, θ는 틸트 각도이며, 2α는 수직 촬영범위임)하고,
    [수학식 3]
    

    

    
    다음의 수학식 4에 따라 상기 수직 촬영각도(real.y_angle)을 이용하여 상기 촬영공간의 공간 내 y 좌표(real.y)를 계산(H는 카메라의 설치 높이임)하며,
    [수학식 4]
    

    

    
    다음의 수학식 5에 따라 상기 촬영영상의 영상 내 x 좌표(img.x)를 이용하여 수평 촬영각도(real.x_angle)를 계산(다음 수학식 5에서 azimuth는 방위각, 2β는 수평 촬영범위, width는 촬영영상의 수평 길이임)하되, 상기 영상 내 x 좌표(img.x)가 방위각(azimuth) 기준 좌측이면 azimuth-β를 사용하고 방위각(azimuth) 기준 우측이면 azimuth+β를 사용하며,
    [수학식 5]
    

    

    
    다음의 수학식 6에 따라 상기 수평 촬영각도(real.x_angle) 및 상기 공간 내 y 좌표(real.y)를 이용하여 상기 촬영공간의 공간 내 x 좌표(real.x)를 계산
    [수학식 6]
    

    

    
    하는 것을 특징으로 하는 영상 및 실공간 매핑장치의 동작 방법.

Images