KR101829415B1 - 가시광 영상 및 비가시광 영상의 입체 영상 생성방법 및 이를 위한 장치 - Google Patents

가시광 영상 및 비가시광 영상의 입체 영상 생성방법 및 이를 위한 장치 Download PDF

Info

Publication number
KR101829415B1
KR101829415B1 KR1020160094147A KR20160094147A KR101829415B1 KR 101829415 B1 KR101829415 B1 KR 101829415B1 KR 1020160094147 A KR1020160094147 A KR 1020160094147A KR 20160094147 A KR20160094147 A KR 20160094147A KR 101829415 B1 KR101829415 B1 KR 101829415B1
Authority
KR
South Korea
Prior art keywords
image
information
edge
weight
stereoscopic
Prior art date
Application number
KR1020160094147A
Other languages
English (en)
Other versions
KR20180011587A (ko
Inventor
김기두
Original Assignee
국민대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국민대학교 산학협력단 filed Critical 국민대학교 산학협력단
Priority to KR1020160094147A priority Critical patent/KR101829415B1/ko
Publication of KR20180011587A publication Critical patent/KR20180011587A/ko
Application granted granted Critical
Publication of KR101829415B1 publication Critical patent/KR101829415B1/ko

Links

Images

Classifications

    • H04N13/004—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H04N13/0022—
    • H04N13/0029—
    • H04N13/0203—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras

Abstract

다양한 실시예들에 따르면, 가시광 카메라 및 비가시광 카메라로부터 각각 제1 영상 및 제2 영상을 획득하는 단계, 상기 제1 영상 및 상기 제2 영상 사이의 시차 정보인 제1 시차 정보를 계산하는 단계, 상기 제1 영상에 제1 가중치를 적용하고, 상기 제2 영상에 상기 제1 가중치와 서로 다른 제2 가중치를 적용하고, 상기 제1 가중치가 적용된 상기 제1 영상 및 상기 제2 가중치가 적용된 상기 제2 영상을 융합하여 융합 영상을 생성하는 단계, 상기 제1 및 제2 영상 중 어느 하나의 영상과 상기 융합 영상 사이의 시차 정보인 제2 시차 정보를 계산하는 단계, 상기 제1 시차 정보와 상기 제2 시차 정보의 정보량을 비교하여, 정보량이 우월한 시차 정보를 선택하는 단계 및 상기 융합 영상에 상기 선택된 시차 정보를 포함시켜 입체 영상을 생성하는 단계를 포함하는 입체 영상 생성방법을 개시한다.

Description

가시광 영상 및 비가시광 영상의 입체 영상 생성방법 및 이를 위한 장치 {A METHOD FOR PROVIDING STEREO-SCOPIC IMAGE OF VISIBLE LIGHT IMAGE AND NON-VISIBLE LIGHT IMAGE AND APPARATUS FOR THE SAME}
본 발명의 실시예들은 가시광 영상 및 비가시광 영상의 입체 영상 제공 방법 및 이를 위한 장치에 관한 것으로, 더 상세하게는 하나의 가시광 카메라와 하나의 비가시광 카메라를 이용하여 획득된 영상을 융합하고, 입체 정보를 부가하여 제공하기 위한 가시광 영상 및 비가시광 영상의 입체 영상 생성방법 및 이를 위한 장치에 관한 것이다.
일반적으로, 주간에는 가시광 카메라를 통한 영상만으로도 주변 상황 정보를 획득할 수 있으나, 야간에는 주변이 어두워 가시광 카메라를 통한 영상만으로는 사물 등을 식별하기 어려우므로 가시광 카메라와 더불어, 적외선 카메라 등을 더 이용하여 주변 상황 정보를 획득할 수 있다.
국내 특허등록공보 제10-1470198호
본 발명의 해결하고자 하는 과제는 가시광 카메라와 비가시광 카메라가 획득한 파장대가 다른 각각의 영상을 융합하고 입체적 정보를 포함시킨 입체 영상을 생성하는 방법 및 장치를 제공한다.
본 발명의 일 측면에 따른 입체 영상의 생성방법은, 가시광 카메라 및 비가시광 카메라로부터 각각 제1 영상 및 제2 영상을 획득하는 단계, 상기 제1 영상 및 상기 제2 영상 사이의 시차 정보인 제1 시차 정보를 계산하는 단계, 상기 제1 영상에 제1 가중치를 적용하고, 상기 제2 영상에 상기 제1 가중치와 서로 다른 제2 가중치를 적용하고, 상기 제1 가중치가 적용된 상기 제1 영상 및 상기 제2 가중치가 적용된 상기 제2 영상을 융합하여 융합 영상을 생성하는 단계, 상기 제1 및 제2 영상 중 어느 하나의 영상과 상기 융합 영상 사이의 시차 정보인 제2 시차 정보를 계산하는 단계, 상기 제1 시차 정보와 상기 제2 시차 정보의 정보량을 비교하여, 정보량이 우월한 시차 정보를 선택하는 단계 및 상기 융합 영상에 상기 선택된 시차 정보를 포함시켜 입체 영상을 생성하는 단계를 포함한다.
입체 영상 생성방법의 일 예에 따르면, 상기 제1 영상 및 제2 영상을 획득하는 단계는, 가시광 카메라 및 비가시광 카메라 각각의 렌즈의 광축이 평행하도록 설정된 상태에서 상기 제1 영상 및 제2 영상을 획득하는 것을 특징으로 한다.
입체 영상 생성방법의 다른 예에 따르면, 상기 제1 영상과 상기 제2 영상의 해상도가 상이한 경우, 상기 제1 영상 및 상기 제2 영상 중 상대적으로 낮은 해상도를 갖는 어느 하나의 영상을 나머지 하나의 영상의 해상도에 맞추어 업스케일하는 단계를 더 포함한다.
입체 영상 생성방법의 다른 예에 따르면, 상기 융합 영상을 생성하는 단계는, 상기 제1 영상 및 상기 제2 영상 중 어느 한 영상을 기준으로 상기 제1 영상 및 상기 제2 영상을 정렬시키는 단계를 더 포함한다.
입체 영상 생성방법의 다른 예에 따르면, 상기 제2 시차 정보를 계산하는 단계는, 상기 제1 영상을 기준으로 상기 제1 영상 및 상기 제2 영상이 정렬된 경우에는 상기 융합 영상과 상기 제2 영상 간의 시차 정보를 계산하고, 상기 제2 영상을 기준으로 상기 제1 영상 및 상기 제2 영상이 정렬된 경우에는 상기 융합 영상과 상기 제1 영상 간의 시차 정보를 계산할 수 있다.
입체 영상 생성방법의 다른 예에 따르면, 상기 제1 영상, 상기 제2 영상의 엣지를 검출하는 단계, 및 상기 융합 영상의 엣지를 검출하는 단계를 더 포함할 수 있다.
입체 영상 생성방법의 다른 예에 따르면, 상기 제1 시차 정보를 계산하는 단계는, 상기 제1 영상과 상기 제2 영상 간의 엣지를 매칭하여 시차 정보를 계산하고, 상기 제2 시차(disparity) 정보를 계산하는 단계는, 상기 정렬 기준인 영상이 제1 영상이면 상기 제2 영상과 상기 융합 영상 간의 엣지를 매칭하고, 상기 정렬 기준인 영상이 제2 영상이면 상기 제1 영상과 상기 융합 영상 간의 엣지를 매칭하여 제2 시차(disparity) 정보를 계산할 수 있다.
입체 영상 생성방법의 다른 예에 따르면, 상기 융합 영상을 생성하는 단계는, 상기 제1 영상에서 검출된 엣지에 상응하는 제1 엣지 지수 및 상기 제2 영상에서 검출된 엣지에 상응하는 제2 엣지 지수를 결정하는 단계, 상기 제1 엣지 지수, 상기 제2 엣지 지수 및 영상획득 시간대 중 하나 이상에 기초하여 상기 제1 가중치 및 상기 제2 가중치를 결정하는 단계를 더 포함한다.
입체 영상 생성방법의 다른 예에 따르면, 상기 엣지를 매칭하는 단계는, 상기 매칭하는 영상들 간에 국부적 상관도를 산출하는 단계를 더 포함한다.
입체 영상 생성방법의 다른 예에 따르면, 상기 국부적 상관도가 높은 적어도 하나의 특징점을 검출하고, 상기 특징점을 기준으로 거리 정보를 획득하는 단계를 더 포함하고, 상기 입체 영상은 상기 거리 정보를 더 포함한다.
본 발명의 일 측면에 따른 입체 영상 생성장치는 가시광 카메라 및 비가시광 카메라로부터 각각 제1 영상 및 제2 영상을 획득하는 영상 획득부, 상기 제1 영상에 제1 가중치를 적용하고, 상기 제2 영상에 상기 제1 가중치와 서로 다른 제2 가중치를 적용하고, 상기 제1 가중치가 적용된 상기 제1 영상 및 상기 제2 가중치가 적용된 상기 제2 영상을 융합하여 융합 영상을 생성하는 융합 영상 생성부, 상기 제1 영상 및 상기 제2 영상 간의 시차 정보인 제1 시차 정보를 계산하고, 상기 제1 영상 및 상기 제2 영상 중 어느 한 영상과 상기 융합 영상 간의 시차 정보인 제2 시차 정보를 계산하는 시차 정보 계산부, 상기 제1 시차 정보와 상기 제2 시차 정보 중 정보량이 우월한 시차 정보를 선택하는 시차 정보 선택부, 및 상기 융합 영상에 상기 선택된 시차 정보를 포함시켜 입체 영상을 생성하는 입체영상 생성부를 포함한다.
입체 영상 생성장치의 일 예에 따르면, 상기 가시광 카메라 및 상기 비가시광 카메라 각각의 렌즈의 광축이 평행하도록 설정된 상태에서 상기 제1 영상 및 제2 영상을 획득하는 것을 특징으로 한다.
입체 영상 생성장치의 다른 예에 따르면, 상기 제1 영상과 상기 제2 영상의 해상도가 상이한 경우, 상기 제1 영상 및 상기 제2 영상 중 상대적으로 낮은 해상도를 갖는 어느 하나의 영상을 나머지 하나의 영상의 해상도에 맞추어 업스케일하는 영상 스케일링부를 더 포함한다.
입체 영상 생성장치의 다른 예에 따르면, 상기 제1 영상 및 상기 제2 영상 중 어느 한 영상을 기준으로 상기 제1 영상 및 상기 제2 영상을 정렬시키는 영상 정렬부를 더 포함한다.
입체 영상 생성장치의 다른 예에 따르면, 상기 시차 정보 계산부는, 상기 제1 영상을 기준으로 상기 제1 영상 및 상기 제2 영상이 정렬된 경우에는 상기 융합 영상과 상기 제2 영상 간의 시차 정보를 계산하고, 상기 제2 영상을 기준으로 상기 제1 영상 및 상기 제2 영상이 정렬된 경우에는 상기 융합 영상과 상기 제1 영상 간의 시차 정보를 계산한다.
입체 영상 생성장치의 다른 예에 따르면, 상기 시차 정보 계산부는, 상기 제1 영상, 상기 제2 영상 및 상기 융합 영상의 엣지를 검출하는 엣지 검출부, 상기 제1 영상 및 상기 제2 영상의 엣지를 매칭하여 제1 시차 정보를 계산하고, 상기 제2 시차(disparity) 정보를 계산하는 단계는, 상기 정렬 기준인 영상이 제1 영상이면 상기 제2 영상과 상기 융합 영상 간의 엣지를 매칭하고, 상기 정렬 기준인 영상이 제2 영상이면 상기 제1 영상과 상기 융합 영상 간의 엣지를 매칭하여 상기 제2 시차(disparity) 정보를 계산하는 특징 매칭부를 더 포함한다.
입체 영상 생성장치의 다른 예에 따르면, 상기 제1 영상에서 검출된 엣지에 상응하는 제1 엣지 지수 및 상기 제2 영상에서 검출된 엣지에 상응하는 제2 엣지 지수를 결정하고, 상기 제1 엣지 지수, 상기 제2 엣지 지수 및 영상 획득 시간대 중 하나 이상을 기초하여 상기 제1 가중치 및 상기 제2 가중치를 결정하는 융합 비율 결정부를 더 포함한다.
본 발명의 다양한 실시예에 따르면, 가시광 영상과 비가시광 영상의 엣지(edge) 등 특징을 추출하고, 추출된 특징을 서로 매칭을 하여 시차 정보를 포함하는 입체 영상을 생성할 수 있다.
또한, 가시광 영상과 비가시광 영상 각각에 가중치를 부과하여 가시광 영상과 비가시광 영상을 융합하고, 가시광 영상과 비가시광 영상을 융합한 융합 영상을 이용하여 시차 정보를 더 획득하여, 가시광 영상과 비가시광 영상의 시차 정보와 비교로 입체적 정보를 더 포함하는 시차 정보를 선택하여 시각적으로 개선 효과가 있는 입체 영상을 생성할 수 있다.
또한, 사용자는 입체 영상 생성장치를 통해 가시광 영상 및 비시광 영상간 상호 보완된 융합 영상을 기초로 입체적 정보가 포함된 입체 영상을 제공받을 수 있다.
도 1은 본 발명의 일 실시예에 따른 입체 영상 생성 시스템을 개략적으로 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 입체 영상 생성장치의 구성을 나타내는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 시차 정보 계산부의 내부를 개략적으로 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 입체 영상을 생성하는 방법을 설명하기 위한 동작 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 융합 영상을 생성하는 방법을 나타내는 동작 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 제1 시차 정보를 계산하는 방법을 나타내는 동작 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 제2 시차 정보를 계산하는 방법을 나타내는 동작 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 거리 정보를 계산하기 방법을 나타내는 동작 흐름도이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. 또한, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 일 실시예에 따른 입체 영상 생성 시스템을 개략적으로 나타내는 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 입체 영상 생성 시스템(10)은 가시광 카메라(110), 비가시광 카메라(120), 가시광 카메라(110) 및 비가시광 카메라(120)와 전기적으로 연결된 입체 영상 생성장치(200)를 포함할 수 있다.
가시광 카메라(110)는 가시광선 영역의 파장을 감지하여 영상 형태로 기록할 수 있는 카메라이고, 비가시광 카메라(120)는 가시광선 영역 이외의 영역의 파장을 감지하여 영상 형태로 기록할 수 있는 카메라이다. 여기서 비가시광 카메라(120)는 열화상 카메라, 적외선 카메라, 또는 UV 카메라일 수 있으나, 본 발명의 사상은 이에 제한되지 아니하며, 가시광이 아닌 광을 센싱하여 영상 형태로 기록할 수 있는 수단이면 제한없이 차용될 수 있다.
두 대의 카메라(110, 120)의 렌즈의 광축은 평행하게 설정될 수 있으며, 두 대의 카메라(110, 120)의 위치는 소정의 이격 거리를 가지고 설정될 수 있다. 이와 같은 설정에 의해, 두 대의 카메라(110, 120)는 마치 사람의 양안과 같이 시차(disparity)를 발생시킬 수 있다.
예컨대, 가시광 카메라(110)가 좌안의 역할을 수행하고, 비가시광 카메라(120)가 우안의 역할을 수행한다고 가정할 때, 두 카메라(110, 120)가 멀리 떨어진 배경을 촬영하면 좌우 시차가 상대적으로 적은 영상이 획득되나, 가까운 전경(객체)을 촬영하면 좌우 시차가 상대적으로 큰 영상이 획득된다.
도 1에서의 경우, 가시광 카메라(110)와 비가시광 카메라(120)가 촬영한 영상 상에서, 전경(객체)의 위치가 상이함을 알 수 있는데, 좌안의 역할을 수행하는 가시광 카메라(110)의 경우, 전경의 위치가 상대적으로 우측에 위치한 영상을 획득하게 되고, 우안의 역할을 수행하는 비가시광 카메라(120)의 경우, 전경의 위치가 상대적으로 좌측에 위치한 영상을 획득하게 된다.
두 영상에서의 전경의 좌우 차이가 심할수록 시차가 큰 것으로 볼 수 있으며, 시차가 클수록 전경이 두 대의 카메라(110, 120)로부터 가깝게 위치하는 것으로 볼 수 있다.
여기서, 본 발명의 일 실시예에 따른 입체 영상 생성장치(200)는 제어부(미도시)를 포함할 수 있는데, 제어부는 적어도 하나의 프로세서(processor)를 포함하고, 위와 같은 작업은 프로세서에 의해 수행될 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
이 때, 제1 영상(111) 및 제2 영상(121)은 서로 다른 파장의 광을 센싱하여 기록한 것이기 때문에 영상 전체에 대해서 시차를 검출하는 경우에는 많은 오차가 발생할 수 있다. 따라서, 본 발명의 일 실시예에 따른 입체 영상 생성장치(200)는 제1 및 제2 영상(111, 121)에 대해 엣지(edge) 등 특징을 검출하고, 검출된 특징들에 대해 대응되는 부분들에 매칭을 수행하고, 대응되지 아니하는 부분들을 제외한 특징들만을 이용하여 시차 정보를 획득함으로써, 영상 전체가 아닌 영상의 일부분에 대해서 시차를 검출해낼 수 있다.
입체 영상 생성장치(200)는 다른 파장대의 제1 및 제2 영상(111, 121) 각각에 제1 가중치와 제2 가중치를 적용하여 제1 영상(111) 및 제2 영상(121)을 융합한 융합 영상을 생성할 수 있다. 상기 융합 영상은 제1 및 제2 영상(111, 121) 간의 단점이 보완된 영상이다. 입체 영상 생성장치(200)는 제1 영상(111) 및 제2 영상(121) 간의 시차 정보를 계산하거나, 상기 융합 영상과 제1 영상(111) 및 제2 영상(121) 중 어느 하나의 영상 간의 시차 정보를 계산하여 상기 융합 영상에 시차 정보를 포함시켜 입체 영상(135)을 생성할 수 있다.
도 2는 본 발명의 일 실시예에 따른 입체 영상 생성장치의 구성을 나타내는 블록도이다.
도 2를 참조하면, 입체영상 생성장치는 영상 획득부(210), 영상 스케일링부(220), 시차 정보 계산부(230), 영상 정렬부(240), 융합 비율 결정부(250), 융합 영상 생성부(260) 시차 정보 선택부(270) 및 입체 영상 생성부(280)를 포함한다.
영상 획득부(210)는 가시광 카메라(110) 및 비가시광 카메라(120)로부터 파장대가 상이한 영역을 감지한 제1 영상(111) 및 제2 영상(121)을 획득한다. 가시광 카메라(110)와 비가시광 카메라(120)는 각각의 렌즈의 광축이 평행하도록 설정되고, 일정 간격만큼 이격되어 영상을 촬영한다. 영상 획득부(210)가 획득한 제1 영상(111)과 제2 영상(121) 중 어느 한 영상은 우안으로 나머지 영상은 좌안에서 획득한 영상과 상응한 양안 시차를 갖는다. 즉, 제1 영상(111)과 제2 영상(121)의 양안 시차 정보를 획득하고 획득한 양안 시차 정보에 기초하여 입체적 정보를 갖는 입체 영상(135)을 생성할 수 있다.
영상 스케일링부(220)는 제1 영상(111)과 제2 영상(121)이 같은 해상도를 갖도록 제1 영상(111) 또는 제2 영상(121)의 해상도를 조정할 수 있다. 예를 들면, 제2 영상(121)이 제1 영상(111)에 비해 낮은 해상도를 갖는 경우, 영상 스케일링부(220)는 제2 영상(121)이 제1 영상(111)과 같은 해상도를 갖도록 제2 영상(121)의 해상도를 업스케일링 할 수 있다. 구체적으로, 영상 스케일링부(220)는 제2 영상(121)의 해상도와 제1 영상(111)의 해상도를 비교하고, 제2 영상(121)과 제1 영상(111)의 해상도 비율을 산출한다. 영상 스케일링부(220)는 상기 해상도의 비율에 기초하여 제2 영상(121)이 제1 영상(111)과 같은 해상도를 갖기 위한 업스케일링하는 비율을 결정할 수 있다.
시차 정보 계산부(230)는 평행한 광축을 갖고 이격된 위치에서 촬영된 두 영상 중 어느 하나를 좌안 영상으로 설정하고, 나머지 하나의 영상을 우안 영상으로 설정하여, 좌안 영상 및 우안 영상을 비교하여 입체 정보를 생성할 수 있다. 예를 들면, 평행한 광축을 갖고 이격된 위치에서 촬영된 두 영상은 동일한 객체의 위치가 서로 상이하다. 이 경우, 시차 정보 계산부(230)는 상기 객체의 위치가 상이한 정도를 계산하면 입체적 정보인 시차(disparity) 정보를 획득할 수 있다. 시차 정보 계산부(230)는 상기 객체의 위치가 상이한 정도를 계산하여 시차 정보를 계산할 수 있다. 또한, 상기 객체의 위치가 상이한 정도를 이용하여 사물과 두 카메라가 떨어진 거리 정보를 계산할 수 있고, 상기 거리 정보도 입체적 정보를 표현하는데 이용된다.
일 실시예에 따르면, 시차 정보 계산부(230)는 제1 시차 정보와 제2 시차 정보를 계산할 수 있다. 제1 시차 정보는 제1 영상(111) 및 제2 영상(121) 중 어느 하나를 좌안 영상으로 설정하고, 나머지 영상을 우안 영상으로 설정할 때, 두 영상간 시차 정보이다. 제2 시차 정보는 후술하는 상기 융합 영상과 제1 영상(111) 및 제2 영상(121) 중 어느 한 영상을 비교하여 계산한 시차 정보이다.
일 실시예에 따르면, 시차 정보 계산부(230)는 제1 영상(111) 및 제2 영상(121) 간의 정확한 시차 정보를 획득하기 위해 영상 전체가 아닌 서로 상응하는 특징적 부분에 대한 시차 정보를 획득할 수 있다. 시차 정보 계산부(230)는 서로 상응하는 특징적 부분을 검출하고, 상기 특징적 부분에 대한 동일한 객체의 위치의 상이한 정도인 시차 정보를 계산할 수 있다. 예를 들면, 시차 정보 계산부(230)는 상기 특징적 부분으로 제1 영상(111) 및 제2 영상(121)의 엣지를 검출할 수 있다. 시차 정보 계산부(230)는 제1 영상(111)의 엣지와 제2 영상(121)의 엣지를 통해 시차 정보인 제1 시차 정보를 계산할 수 있다.
영상 정렬부(240)는 제1 영상(111)과 제2 영상(121)의 객체들이 겹치도록(매칭) 제1 영상(111) 또는 제2 영상(121)의 픽셀 단위로 좌우로 움직일 수 있다. 영상 정렬부(240)는 제1 영상(111) 및 제2 영상(121) 중 정렬의 기준이 되는 영상을 결정하고, 결정된 기준이 되는 영상은 움직이지 않고 기준이 아닌 영상을 좌우로 움직여 제1 영상(111)과 제2 영상(121)을 서로 매칭시킬 수 있다. 예를 들면, 제1 영상(111)이 좌안 영상이고 제2 영상(121)이 우안 영상이며 제1 영상(111)이 정렬의 기준이 되는 영상인 경우, 영상 정렬부(240)는 제1 영상(111)의 특정 객체와 상응하는 객체가 서로 겹치도록 제2 영상(121)을 우측으로 픽셀 단위로 이동시킬 수 있다.
융합 비율 결정부(250)는 제1 영상(111)과 제2 영상(121)을 융합하는데 필요한 제1 가중치와 제2 가중치를 결정할 수 있다. 제1 가중치와 제2 가중치는 제1 영상(111) 및 제2 영상(121)의 엣지의 정보량(엣지의 개수, 굵기, 연속성 등) 또는 주변의 밝기에 따라 결정될 수 있다. 제1 가중치와 제2 가중치에 따라 제1 영상(111)과 제2 영상(121)의 융합 비율이 달라진다. 예를 들면, 비가시광 카메라(120)가 적외선 카메라이고 영상을 획득한 시점이 밤인 경우. 비가시광 카메라(120)가 획득한 영상이 가시광 카메라(110)가 획득한 영상에 비해 많은 엣지 정보량을 가질 수 있다. 따라서, 융합 비율 결정부(250)는 비가시광 카메라(120)가 획득한 영상이 더 높은 비율로 융합되도록 제2 가중치를 제1 가중치 보다 높게 결정할 수 있다. 반대로, 빛이 풍부한 낮에 영상을 획득한 경우, 가시광 카메라(110)가 획득한 영상이 많은 엣지 정보량을 가지고 있는바, 제1 가중치를 제1 가중치보다 높게 결정할 수 있다.
융합 영상 생성부(260)는 영상 정렬부(240)에서 정렬한 제1 영상(111)과 제2 영상(121)을 융합시킬 수 있다. 융합 영상 생성부(260)는 제1 영상(111)에 제1 가중치를 부과하고 제2 영상(121)에는 제2 가중치를 부과한 후 제1 영상(111)과 제2 영상(121)을 융합한다. 융합 영상 생성부(260)는 제1 영상(111)과 제2 영상(121)을 융합시켜, 가시광 카메라(110)에서 획득하기 어려운 파장대의 영상을 비가시광 카메라(120)가 획득하여 보완시킬 수 있다.
시차 정보 선택부(270)는 제1 시차 정보와 제2 시차 정보의 정보량을 분석하고, 제1 시차 정보의 정보량과 제2 시차 정보의 정보량을 비교 연산할 수 있다. 시차 정보는 적어도 하나의 객체에 대한 좌안 영상과 우안 영상의 위치 차이에 대한 정보를 포함하므로, 상기 정보량은 얼마나 많은 객체에 대한 위치 차이에 대한 정보를 포함하는가를 나타낸다. 시차 정보 선택부(270)는 제1 시차 정보와 제2 시차 정보 중 정보량이 우월한 시차 정보를 선택할 수 있다.
입체 영상 생성부(280)는 융합된 영상인 상기 융합 영상에 입체 정보를 포함시켜 입체 영상(135)을 생성할 수 있다. 입체 정보는 시차 정보 및 거리 정보를 포함한다. 입체 영상 생성부(280)는 상기 선택된 시차 정보를 상기 융합 영상에 포함시켜 상기 융합 영상 내 부분적 입체 정보를 더 제공할 수 있고, 사용자에게 보다 유용한 정보를 제공할 수 있다.
도 3은 본 발명의 일 실시예에 따른 시차 정보 계산부의 내부를 개략적으로 도시한 도면이다.
도 3을 참조하면, 시차 정보 계산부(230)는 특징 추출부(231), 특징 매칭부(233) 및 상관도 검출부(235)를 포함한다.
특징 추출부(231)는 영상들의 특징을 검출할 수 있다. 두 개의 영상이 서로 다른 파장대의 빛을 감지한 영상이어도 엣지, 명암, 색 분포 등 두 개의 영상 간에 상응하는 특징이 존재한다. 특징 추출부(231)는 상기 특징들 중 적어도 하나 이상을 검출할 수 있다. 다만, 설명의 편의를 위해, 특징 추출부(231)는 엣지를 추출하는 것으로 이하 설명한다.
특징 추출부(231)는 영상에서 색상 등이 불연속적으로 변하는 객체들의 경계나 가장 자리인 엣지를 영상들로부터 검출할 수 있다. 특징 추출부(231)는 상기 영상들의 엣지를 검출하여 복수의 객체를 추출할 수 있다. 구체적으로, 영상 내에서 특정 픽셀의 값 및 주변 픽셀의 값이 기준 값 이상 차이 나는 경우, 특징 추출부(231)는 해당 픽셀들을 그룹핑하고, 기준 픽셀 수 이상이 되는 그룹들을 엣지로서 검출할 수 있다. 한편, 특징 추출부(231)는 복수의 객체에 대응하는 엣지들을 검출할 수 있고, 상기 엣지들에 대응되는 복수의 객체 중 관심을 갖는 객체만 선별할 수도 있다. 예를 들면, 특징 추출부(231)는 복수의 객체 중 차량 형상인 객체에 대한 엣지만 추출하거나, 복수의 객체 중 사람의 얼굴 형상에 대응하는 엣지만 추출할 수도 있다.
일 실시예에 따르면, 특징 추출부(231)는 제1 영상(111)과 제2 영상(121)의 엣지를 추출한다. 특징 추출부(231)는 제1 영상 및 제2 영상 중 어느 한 영상이 업스케일링된 후에 엣지를 추출하거나, 제1 영상(111) 및 제2 영상(121) 중 어느 한 영상의 해상도가 스케일링업 되기 전에 제1 영상(111) 및 제2 영상(121)의 엣지를 검출할 수도 있다.
일 실시예에 따르면, 특징 추출부(231)는 제1 영상(111) 및 제2 영상(121) 중 상기 영상 정렬부(240)에서 정렬 기준으로 한 영상이 아닌 영상과 상기 융합 영상의 엣지를 검출할 수 있다. 예를 들면, 특징 추출부(231)는 제1 영상(111)을 정렬 기준으로 상기 융합 영상을 생성한 경우에는 상기 융합 영상과 제2 영상(121)의 엣지를 추출할 수 있다.
특징 매칭부(233)는 두 영상 중 어느 하나를 좌안 영상으로 설정하고, 나머지 하나를 우안 영상으로 설정하고, 좌안 영상 및 우안 영상을 이용하여 양안 시차에 따른 시차 정보를 추정할 수 있다. 상기 시차는 좌안 영상 및 우안 영상간에 동일한 객체에 대응한 이미지가 서로 차이가 나는 정도를 말한다. 예컨대, 왼쪽 눈에서는 중심과 좌로 4㎜ 위치에 상이 있다 하고, 오른쪽 눈에서는 역시 좌로 3㎜위치에 상이 있다고 하면 시차는 1㎜이다. 시차 정보는 이런 시차들을 벡터 값으로 표현한 시차 벡터(disparity vector)나 시차 맵(disparity map) 등을 포함하는 시차(disparity)에 관한 데이터를 포함한다. 시차에 의해 사람들은 입체감을 느낄 수 있고, 시차 정보에 기초하여 상기 영상들을 합성하면 입체적 정보를 갖는 영상을 구현할 수 있다.
일 실시예에 따르면, 특징 매칭부(233)는 제1 영상(111) 및 제2 영상(121) 중 어느 한 영상을 기준으로 다른 영상의 픽셀을 좌 또는 우로 이동시켜 제1 영상(111)의 엣지와 제2 영상(121)의 엣지를 매칭(정합)시킬 수 있다. 예를 들면, 제1 영상(111)이 좌안 영상이고 제2 영상(121)이 우안 영상이며 제1 영상(111)이 정렬의 기준이 되는 영상인 경우, 특징 매칭부(233)는 제1 영상(111)의 특정 객체에 대응하는 엣지와 상응하는 제2 영상(121)의 엣지가 서로 겹치도록 제2 영상(121)을 우측으로 픽셀 단위로 이동시킬 수 있다. 특징 매칭부(233)는 적어도 하나의 객체에 대응하는 엣지들 각각을 상술한 바와 같이 이동시켜, 적어도 하나의 객체들의 시차 정보들을 계산할 수 있다. 예컨대, 제1 내지 제3 객체에 상응하는 엣지를 제1 영상(111)과 제2 영상(121)에서 검출할 수 있을 때, 특징 매칭부(233)는 제1 객체에 대응하는 제1 영상(111)의 엣지와 제2 영상(121)의 엣지가 겹칠 때, 제2 객체에 대응하는 제1 영상(111)의 엣지와 제2 영상(121)의 엣지가 겹칠 때, 제3 객체에 대응하는 제1 영상(111)의 엣지와 제2 영상(121)의 엣지가 겹칠 때 각각의 시차 정보를 계산할 수 있다.
상관도 검출부(235)는 두 개의 영상의 특징을 매칭시킬 때에 상기 특징들의 일치 정도인 국부적 상관도를 산출할 수 있다. 상관도 검출부(235)는 상기 국부적 상관도가 높은 적어도 하나의 특징점을 검출할 수 있다. 예를 들면, 상관도 검출부(235)는 상기 국부적 상관도가 미리 설정된 비율인 80% 이상인 특징들을 특징점으로 검출할 수 있다.
일 실시예에 따르면, 특징 매칭부(233)는 상기 특징점들에 대한 거리 정보를 계산할 수 있다. 특징 매칭부(233)는 상기 상관도 검출부(235)에서 검출된 특징점을 기준으로 제1 영상(111)에서 좌표와 제2 영상(121)에서 좌표, 가시광 카메라(110) 및 비가시광 카메라(120)의 초점 거리 및 가시광 카메라(110) 및 비가시광 카메라(120)간 거리를 이용하여 상기 거리 정보의 산출 단계를 포함한다. 이때, 입체 영상 생성장치(200)는 상기 특징점에 대한 거리 값을 먼저 구하고, 상기 구해진 거리 값을 기준으로 하여 나머지 거리 정보를 산출하면 좀 더 정확한 상기 거리 정보를 획득할 수 있다.
도 4는 본 발명의 일 실시예에 따른 입체 영상을 생성하는 방법을 설명하기 위한 동작 흐름도이다.
도 4에 도시된 흐름도는, 도 2에 도시된 입체 영상 생성장치(200)에서 처리되는 단계들로 구성된다. 따라서, 이하에서 생략된 내용이라 하더라도, 도 2에 도시된 구성들에 관하여 이상 기술된 내용은 도 4에 도시된 흐름도에도 적용됨을 알 수 있다.
도 4를 참조하면, 입체 영상 생성장치(200)는 촬영을 시작하면, 가시광 카메라(110)에서 촬영된 제1 영상(111)과 비가시광 카메라(120)에서 촬영된 제2 영상(121)을 획득한다(S101).
입체 영상 생성장치(200)는 제1 영상(111)과 제2 영상(121) 중 해상도가 낮은 영상을 업스케일링 시킨다. 예를 들면, 제1 영상(111)의 해상도가 제2 영상(121)의 해상도보다 높은 경우, 제2 영상(121)이 제1 영상(111)의 해상도와 동일한 해상도를 갖도록 제2 영상(121)을 업스케일링 한다(S103).
입체 영상 생성장치(200)는 제1 영상(111)과 제2 영상(121)의 특징인 엣지를 검출한다. 입체 영상 생성장치(200)는 검출된 제1 영상(111)과 제2 영상(121)의 엣지에 기초하여 제1 영상(111)과 제2 영상(121)을 매칭시킨다. 입체 영상 생성장치(200)는 제1 영상(111)과 제2 영상(121)을 매칭시키면서, 특정 엣지에 대응하는 객체에 대한 제1 영상(111)과 제2 영상(121)의 시차 정보인 제1 시차 정보를 계산한다(S105).
입체 영상 생성장치(200)는 제1 영상(111)과 제2 영상(121)을 융합하여 상기 융합 영상을 생성한다. 입체 영상 생성장치(200)는 제1 영상(111)과 제2 영상(121) 중 어느 한 영상을 정렬 기준으로 하여 제1 영상(111)과 제2 영상(121)을 정렬시킨다. 입체 영상 생성장치(200)는 제1 영상(111)에 부과되는 제1 가중치와 제2 영상(121)에 부과되는 제2 가중치를 상기 검출된 엣지들에 기초한 제1 엣지 지수와 제2 엣지 지수 및 영상 획득 시간대(주변의 밝기)를 고려하여 결정한다. 입체 영상 생성장치(200)는 제1 영상(111)에 상기 결정된 제1 가중치를 부과하고 제2 영상(121)에 상기 결정된 제2 가중치를 부가하여 상기 융합 영상을 생성한다(S107).
입체 영상 생성장치(200)는 제1 영상(111)과 제2 영상(121) 중 상기 정렬의 기준이 아닌 영상과 상기 융합 영상의 엣지를 검출한다. 입체 영상 생성장치(200)는 검출된 엣지를 매칭시키면서 시차 정보인 제2 시차 정보를 계산한다. 예를 들면, 제1 영상(111)이 정렬 기준이 되는 영상인 경우, 입체 영상 생성장치(200)는 상기 융합 영상과 제2 영상(121)의 엣지를 검출하고, 상기 융합 영상의 엣지와 제2 영상(121)의 엣지를 매칭하여 제2 시차 정보를 계산할 수 있다(S109).
입체 영상 생성장치(200)는 제1 시차 정보와 제2 시차 정보의 정보량을 분석하고, 제1 시차 정보의 정보량과 제2 시차 정보의 정보량을 비교하여 시차 정보의 정보량이 우월한 시차 정보를 선택할 수 있다. 이 경우, 시차 정보의 정보량은 복수의 객체에 대응하는 복수의 엣지들이 제1 영상(111)과 제2 영상(121)에서 검출 및 매칭되는 경우, 상기 시차 정보의 정보량은 상기 복수의 객체의 개수나 상기 복수의 엣지들의 픽셀의 개수들을 말한다(S111).
예를 들면, 제1 시차 정보는 3개의 객체에 대한 시차 정보를 포함하고 있고, 제2 시차 정보는 5개의 객체에 대한 시차 정보를 포함하고 있는 경우, 입체 영상 생성장치(200)는 제2 시차 정보를 선택할 수 있다.
제1 시차 정보의 정보량이 우월하여 제1 시차 정보를 선택한 경우, 입체 영상 생성장치(200)는 상기 융합 영상에 제1 시차 정보를 포함시켜 입체 영상(135)을 생성할 수 있다(S113).
제2 시차 정보의 정보량이 우월하여 제2 시차 정보를 선택한 경우, 입체 영상 생성장치(200)는 상기 융합 영상에 제2 시차 정보를 포함시켜 입체 영상(135)을 생성할 수 있다(S115).
이 경우, 입체 영상 생성장치(200)가 융합한 상기 융합 영상은 제1 영상(111)과 제2 영상(121)간의 장단점을 보완한 영상이므로, 제1 영상(111) 및 제2 영상(121) 각각에서 검출한 엣지보다 더 많은 엣지가 검출될 수 있다. 따라서, 제1 영상(111) 및 제2 영상(121)간의 시차 정보보다 상기 융합 영상과 제1 영상(111) 및 제2 영상(121) 중 어느 한 영상 간의 시차 정보가 더 많은 정보량을 가질 수 있다.
이런 점에 비추어 볼 때, 입체 영상 생성장치(200)는 제1 영상(111)과 제2 영상(121)의 시차 정보만 고려한 경우보다 상기 융합 영상을 생성한 후 상기 융합 영상을 통한 시차 정보도 고려하여 입체 영상(135)을 생성할 수 있어서 사용자에게 더 효과적인 입체적 정보를 제공할 수 있다.
도 5는 본 발명의 일 실시예에 따른 융합 영상을 생성하는 방법을 나타내는 동작 흐름도이다.
도 5에 도시된 흐름도는, 도 2에 도시된 입체 영상 생성장치(200)에서 처리되는 단계들로 구성된다. 따라서, 이하에서 생략된 내용이라 하더라도, 도 2에 도시된 구성들에 관하여 이상 기술된 내용은 도 5에 도시된 흐름도에도 적용됨을 알 수 있다.
도 5를 참조하면, 입체 영상 생성장치(200)는 제1 영상(111)과 제2 영상(121)의 엣지를 검출한다. 입체 영상 생성장치(200)는 제1 영상(111)의 엣지와 제2 영상(121)의 엣지를 검출하면 엣지 지수를 결정할 수 있다. 엣지 지수는 검출된 엣지의 개수에 기초하여 결정될 수 있다. 예를 들면, 제1 영상(111)의 엣지 개수가 9개이고 제2 영상(121)의 엣지 개수가 7개인 경우, 입체 영상 생성장치(200)는 제1 영상(111)의 엣지 지수인 제1 엣지 지수를 9로 제2 영상(121)의 엣지 지수인 제2 엣지 지수를 7로 결정할 수 있다. 즉, 입체 영상 생성장치(200)는 제2 영상(121)에서 검출된 엣지의 개수보다 제1 영상(111)에서 검출된 엣지의 개수가 더 많은 경우, 제2 엣지 지수보다 제1 엣지 지수가 더 큰 것으로 판단할 수 있다(S201).
입체 영상 생성장치(200)는 제1 영상(111) 및 제2 영상(121) 중 어느 한 영상을 정렬 기준 영상으로 할 수 있다. 제1 영상(111) 또는 제2 영상(121) 중 정렬 기준인 영상은 도 4를 참조하여 설명한 제1 및 제2 가중치 또는 엣지들의 정보량에 따라 결정되지 않고, 제1 영상(111) 또는 제2 영상(121) 중 사용자의 선택 또는 입체 영상 생성장치(200)가 임의적으로 어느 한 영상을 정렬 기준 영상으로 선택할 수 있다(S203).
입체 영상 생성장치(200)는, 정렬 기준이 되는 영상이 결정되면, 제1 영상(111)에 적용되는 제1 가중치와 제2 영상(121)에 적용되는 제2 가중치를 결정할 수 있다. 제1 가중치와 제2 가중치는 상기 제1 엣지 지수 및 상기 제2 엣지 지수에 기초하여 설정될 수 있다. 즉, 제1 엣지 지수가 제2 엣지 지수가보다 큰 값을 갖는 경우에 제1 가중치는 제2 가중치보다 큰 값을 가지게 된다. 이 경우, 제1 영상(111)은 융합 비율이 제2 영상(121)의 융합 비율보다 높은 상태로 융합될 수 있다(S205).
또한, 입체 영상 생성장치(200)는 영상 획득 시간대에 따라 제1 가중치 및 제2 가중치를 달리 적용할 수 있다. 예를 들면, 영상 획득 시간대가 빛이 풍부한 낮인 경우, 입체 영상 생성장치(200)는 상대적으로 가시광 영상인 제1 영상(111)의 가중치를 높게 결정하고, 시간대가 빛이 부족한 밤인 경우 상대적으로 비가시광 영상인 제2 영상(121)의 가중치를 높게 결정할 수 있다.
다른 실시예에 따르면, 입체 영상 생성장치(200)는 주변의 밝기에 따라 제1 가중치 및 제2 가중치를 달리 적용할 수 있다. 입체 영상 생성장치(200)는 미리 설정된 밝기를 기준으로 상기 밝기 보다 어두운 경우에는 제2 영상(121)의 가중치를 상대적으로 높게 설정하고, 더 밝은 경우 제1 영상(111)의 가중치를 상대적으로 높게 설정할 수 있다. 예를 들면, 상기 미리 설정된 밝기가 1인 경우에, 감지된 주변의 밝기가 2이면, 입체 영상 생성장치(200)는 제1 영상(111)의 가중치를 1.3으로 제2 영상(121)의 가중치를 0.7로 결정할 수 있다. 또한, 빛의 밝기가 더 밝아질수록 제1 가중치를 비례적으로 증가시킬 수 있는데, 감지된 주변의 밝기가 3이면, 입체 영상 생성장치(200)는 제1 영상(111)의 가중치를 1.7 제2 영상(121)의 가중치를 0.3으로 결정할 수 있다.
한편, 입체 영상 생성장치(200)는 제1 영상(111)의 밝기 또는 별도의 주변 밝기를 감지하는 밝기 감지 센서로부터 주변의 밝기를 판단할 수 있으나, 본 발명의 사상은 이에 제한되지 아니하며, 주변의 밝기를 감지할 수 있는 수단이면 제한없이 차용될 수 있다.
다른 실시예에 따르면, 입체 영상 생성장치(200)는 제1 엣지 지수, 제2 엣지 지수 및 주변의 밝기에 기초하여 제1 가중치 및 제2 가중치를 결정할 수 있다. 예를 들면, 입체 영상 생성장치(200)는 제1 엣지 지수 및 제2 엣지 지수에 기초하여 제1 가중치와 제2 가중치를 결정한 후, 상기 주변의 밝기의 변화에 따라 제1 가중치와 제2 가중치를 수시로 보정할 수 있다.
입체 영상 생성장치(200)는 제1 영상(111)에 제1 가중치를 적용하고, 제2 영상(121)에 제1 가중치와 서로 다른 제2 가중치를 적용하고, 제1 가중치가 적용된 제1 영상(111) 및 제2 가중치가 적용된 제2 영상(121)을 결합하여 융합 영상을 생성할 수 있다. 구체적으로, 입체 영상 생성장치(200)는 제1 영상(111)에서 검출된 엣지에 상응하는 제1 엣지 지수 및 제2 영상(121)에서 검출된 엣지에 상응하는 제2 엣지 지수의 비율로 설정된 제1 가중치 및 제2 가중치를 이용하여, 제1 영상(111) 및 제2 영상(121) 각각에 가중치를 적용하여 융합할 수 있다(S207).
도 6은 본 발명의 일 실시예에 따른 제1 시차 정보를 계산하는 방법을 나타내는 동작 흐름도이다.
도 6에 도시된 흐름도는, 도 3에 도시된 시차 정보 계산부(230)에서 처리되는 단계들로 구성된다. 따라서, 이하에서 생략된 내용이라 하더라도, 도 3에 도시된 구성들에 관하여 이상 기술된 내용은 도 5에 도시된 흐름도에도 적용됨을 알 수 있다.
도 6을 참조하면, 입체 영상 생성장치(200)는 제1 영상(111)과 제2 영상(121)의 엣지를 검출한다. 입체 영상 생성장치(200)는 제1 영상(111)과 제2 영상(121)의 엣지를 검출하면서 제1 엣지 지수와 제2 엣지 지수를 결정할 수 있다. 도 5를 참조하여 설명한 바와 같이, 엣지 지수는 각 영상에서 검출된 엣지의 개수에 비례하도록 결정될 수 있다(S301).
제1 영상(111)과 제2 영상(121)에서 엣지가 검출되면, 입체 영상 생성장치(200)는 제1 영상(111)과 제2 영상(121) 중 어느 한 영상을 좌우로 픽셀 단위로 이동시키면서 제1 영상(111)과 제2 영상(121)에서 특정 객체에 상응하는 엣지를 서로 매칭시킬 수 있다. 복수개의 엣지가 존재한다면, 입체 영상 생성장치(200)는 반복하여 복수 엣지들 각각을 매칭시킬 수 있다(S303).
입체 영상 생성장치(200)는 제1 영상(111)과 제2 영상(121)의 엣지를 매칭시키면서 시차 정보를 계산할 수 있다. 입체 영상 생성장치(200)는 제1 영상(111) 및 제2 영상(121) 중 어느 한 영상을 좌 또는 우로 픽셀단위로 이동시킨 정도를 계산하여 시차 정보를 계산할 수 있다(S305).
도 7은 본 발명의 일 실시예에 따른 제2 시차 정보를 계산하는 방법을 나타내는 동작 흐름도이다.
도 7에 도시된 흐름도는, 도 3에 도시된 시차 정보 계산부(230)에서 처리되는 단계들로 구성된다. 따라서, 이하에서 생략된 내용이라 하더라도, 도 3에 도시된 구성들에 관하여 이상 기술된 내용은 도 5에 도시된 흐름도에도 적용됨을 알 수 있다.
도 7을 참조하면, 입체 영상 생성장치(200)는 제1 영상(111)과 제2 영상(121)을 융합하기 위해 제1 영상(111) 및 제2 영상(121) 중 정렬 기준인 영상을 결정한다(S311).
입체 영상 생성장치(200)는 제1 영상(111)에 제1 가중치를 적용하고, 제2 영상(121)에 제1 가중치와 서로 다른 제2 가중치를 적용하고, 제1 가중치가 적용된 제1 영상(111) 및 제2 가중치가 적용된 제2 영상(121)을 결합하여 상기 융합 영상을 생성한다(S313).
입체 영상 생성장치(200)는 제2 시차 정보를 계산하기 위해 정렬 기준이 되는 영상을 확인한다(S315).
입체 영상 생성장치(200)는 제1 영상(111)이 정렬 기준 영상인 경우에 상기 융합 영상과 제2 영상(121) 간의 제2 시차 정보를 계산한다. 입체 영상 생성장치(200)는 상기 융합 영상과 제2 영상(121)의 엣지를 검출한다. 입체 영상 생성장치(200)는 상기 융합 영상과 제2 영상(121)의 엣지를 매칭시키면서 엣지에 대한 시차 정보인 제2 시차 정보를 계산한다(S317).
입체 영상 생성장치(200)는 제2 영상(121)이 정렬 기준 영상인 경우에 상기 융합 영상과 제1 영상(111) 간의 제2 시차 정보를 계산한다. 입체 영상 생성장치(200)는 상기 융합 영상과 제1 영상(111)의 엣지를 검출하고, 엣지를 매칭 시키면서 엣지에 대한 시차 정보인 제2 시차 정보를 계산한다(S319).
도 8은 본 발명의 일 실시예에 따른 거리 정보를 계산하기 방법을 나타내는 동작 흐름도이다.
도 8을 참조하면, 입체 영상 생성장치(200)는 두 영상 간에 시차 정보를 계산하면서 두 영상 간의 엣지의 매칭 비율인 국부적 상관도도 계산할 수 있다(S411).
입체 영상 생성장치(200)는 국부적 상관도가 높은 적어도 하나의 엣지를 특징점으로 검출할 수 있다. 예를 들면, 입체 영상 생성장치(200)는 제1 영상(111)의 엣지의 부분들과 제2 영상(121)의 엣지의 부분들 중 유사도가 높은 적어도 하나의 엣지 부분을 특징점으로 검출한다(S413).
입체 영상 생성장치(200)는 특징점을 기준으로 제1 영상(111)에서 좌표와 제2 영상(121)에서 좌표, 초점 거리 및 가시광 카메라(110)와 비가시광 카메라(120) 간 거리를 이용하여 상기 거리 정보의 산출 단계를 포함한다. 이때, 입체 영상 생성장치(200)는 상기 특징점에 대한 거리 값을 먼저 구하고, 상기 구해진 거리 값을 기준으로 하여 나머지 거리 정보를 산출하면 좀 더 정확한 상기 거리 정보를 획득할 수 있다(S415).
상술한 바와 같이, 사용자는 입체 영상 생성장치(200)를 통해 가시광 영상 및 비시광 영상간 상호 보완된 융합 영상을 기초로 입체적 정보가 포함된 입체 영상(135)을 제공받을 수 있다. 사용자는 입체 영상 생성장치(200)가 제공하는 입체 영상(135)을 가지고 자율차량 사고 방지 및 검증, 로봇 물체 판정, 용접, 용광로, 구조물 또는 전기전자 장비의 이상 여부 조사 판정 및 유지 보수에 유용하게 활용할 수 있다.
이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.
본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.
10: 입체 영상 생성 시스템
110: 가시광 카메라
111: 제1 영상
120: 비가시광 카메라
121: 제2 영상
135: 입체 영상
200: 입체 영상 생성장치
210: 영상 획득부
220: 영상 스케일링부
230: 시차 정보 계산부
231: 특징 추출부
233: 특징 매칭부
235: 상관도 검출부
240: 영상 정렬부
250: 융합 비율 결정부
260: 융합 영상 생성부
270: 시차 정보 선택부
280: 입체 영상 생성부

Claims (18)

  1. 가시광 카메라 및 비가시광 카메라로부터 각각 제1 영상 및 제2 영상을 획득하는 단계;
    상기 제1 영상 및 상기 제2 영상 사이의 시차(disparity) 정보인 제1 시차(disparity) 정보를 계산하는 단계;
    상기 제1 영상에 제1 가중치를 적용하고, 상기 제2 영상에 상기 제1 가중치와 서로 다른 제2 가중치를 적용하고, 상기 제1 가중치가 적용된 제1 영상 및 상기 제2 가중치가 적용된 제2 영상을 융합하여 융합 영상을 생성하는 단계;
    상기 제1 및 제2 가중치가 적용되기 전의 상기 제1 및 제2 영상 중 어느 하나의 영상과 상기 융합 영상 사이의 시차(disparity) 정보인 제2 시차(disparity) 정보를 계산하는 단계;
    상기 제1 시차(disparity) 정보와 상기 제2 시차(disparity) 정보의 정보량을 비교하여, 정보량이 많은 시차 정보를 선택하는 단계; 및
    상기 융합 영상에 상기 선택된 시차 정보를 포함시켜 입체 영상을 생성하는 단계;를 포함하고,
    상기 제1 영상 및 상기 제2 영상을 획득하는 단계는,
    가시광 카메라 및 비가시광 카메라 각각의 렌즈의 광축이 평행하도록 설정된 상태에서 상기 제1 영상 및 상기 제2 영상을 획득하는 것을 특징으로 하는 입체 영상 생성방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 제1 영상과 상기 제2 영상의 해상도가 상이한 경우, 상기 제1 영상 및 상기 제2 영상 중 상대적으로 낮은 해상도를 갖는 어느 하나의 영상을 나머지 하나의 영상의 해상도에 맞추어 업스케일하는 단계;를 더 포함하는 입체 영상 생성방법.
  4. 제3항에 있어서,
    상기 융합 영상을 생성하는 단계는,
    상기 제1 영상 및 상기 제2 영상 중 어느 한 영상을 기준으로 상기 제1 영상 및 상기 제2 영상을 정렬시키는 단계;를 더 포함하는 입체 영상 생성방법.
  5. 제4항에 있어서,
    상기 제2 시차(disparity) 정보를 계산하는 단계는,
    상기 제1 영상을 기준으로 상기 제1 영상 및 상기 제2 영상이 정렬된 경우에는 상기 융합 영상과 상기 제2 영상 간의 시차(disparity) 정보를 계산하고,
    상기 제2 영상을 기준으로 상기 제1 영상 및 상기 제2 영상이 정렬된 경우에는 상기 융합 영상과 상기 제1 영상 간의 시차(disparity) 정보를 계산하는 입체 영상 생성방법.
  6. 제4항에 있어서,
    상기 제1 영상, 상기 제2 영상의 엣지(edge)를 검출하는 단계; 및
    상기 융합 영상의 엣지(edge)를 검출하는 단계;를 더 포함하는 입체 영상 생성방법.
  7. 제6항에 있어서,
    상기 제1 시차(disparity) 정보를 계산하는 단계는, 상기 제1 영상과 상기 제2 영상 간의 엣지를 매칭하여 제1 시차(disparity) 정보를 계산하고,
    상기 제2 시차(disparity) 정보를 계산하는 단계는, 상기 정렬 기준인 영상이 제1 영상이면 상기 제2 영상과 상기 융합 영상 간의 엣지를 매칭하고, 상기 정렬 기준인 영상이 제2 영상이면 상기 제1 영상과 상기 융합 영상 간의 엣지를 매칭하여 상기 제2 시차(disparity) 정보를 계산하는 입체 영상 생성방법.
  8. 제6항에 있어서,
    상기 융합 영상을 생성하는 단계는,
    상기 제1 영상에서 검출된 엣지에 상응하는 제1 엣지 지수 및 상기 제2 영상에서 검출된 엣지에 상응하는 제2 엣지 지수를 결정하는 단계;
    상기 제1 엣지 지수, 상기 제2 엣지 지수 및 영상 획득 시간 중 하나 이상에 기초하여 상기 제1 가중치 및 상기 제2 가중치를 결정하는 단계;를 더 포함하는 입체 영상 생성방법.
  9. 제7항에 있어서,
    상기 엣지를 매칭하는 단계는,
    상기 매칭하는 영상들 간에 국부적 상관도를 산출하는 단계;를 더 포함하는 입체 영상 생성방법.
  10. 제9항에 있어서,
    상기 국부적 상관도가 높은 적어도 하나의 특징점을 검출하고, 상기 특징점을 기준으로 거리 정보를 획득하는 단계;를 더 포함하고,
    상기 입체 영상은 상기 거리 정보를 더 포함하는 입체 영상 생성방법.
  11. 가시광 카메라 및 비가시광 카메라로부터 각각 제1 영상 및 제2 영상을 획득하는 영상 획득부;
    상기 제1 영상에 제1 가중치를 적용하고, 상기 제2 영상에 상기 제1 가중치와 서로 다른 제2 가중치를 적용하고, 상기 제1 가중치가 적용된 제1 영상 및 상기 제2 가중치가 적용된 제2 영상을 융합하여 융합 영상을 생성하는 융합 영상 생성부;
    상기 제1 영상 및 상기 제2 영상 간의 시차(disparity) 정보인 제1 시차(disparity) 정보를 계산하고, 상기 제1 및 제2 가중치가 적용되기 전의 상기 제1 영상 및 상기 제2 영상 중 어느 한 영상과 상기 융합 영상 간의 시차(disparity) 정보인 제2 시차(disparity) 정보를 계산하는 시차 정보 계산부;
    상기 제1 시차 정보와 상기 제2 시차 정보 중 정보량이 많은 시차(disparity) 정보를 선택하는 시차 정보 선택부; 및
    상기 융합 영상에 상기 선택된 시차 정보를 포함시켜 입체 영상을 생성하는 입체영상 생성부;를 포함하고,
    상기 가시광 카메라 및 상기 비가시광 카메라 각각의 렌즈의 광축이 평행하도록 설정된 상태에서 상기 제1 영상 및 상기 제2 영상을 획득하는 것을 특징으로 하는 입체 영상 생성장치.
  12. 삭제
  13. 제11항에 있어서,
    상기 제1 영상과 상기 제2 영상의 해상도가 상이한 경우, 상기 제1 영상 및 상기 제2 영상 중 상대적으로 낮은 해상도를 갖는 어느 하나의 영상을 나머지 하나의 영상의 해상도에 맞추어 업스케일하는 영상 스케일링부;를 더 포함하는 입체 영상 생성장치.
  14. 제13항에 있어서,
    상기 제1 영상 및 상기 제2 영상 중 어느 한 영상을 기준으로 상기 제1 영상 및 상기 제2 영상을 정렬시키는 영상 정렬부;를 더 포함하는 입체 영상 생성장치.
  15. 제14항에 있어서,
    상기 시차 정보 계산부는,
    상기 제1 영상을 기준으로 상기 제1 영상 및 상기 제2 영상이 정렬된 경우에는 상기 융합 영상과 상기 제2 영상 간의 제2 시차 정보를 계산하고,
    상기 제2 영상을 기준으로 상기 제1 영상 및 상기 제2 영상이 정렬된 경우에는 상기 융합 영상과 상기 제1 영상 간의 제2 시차 정보를 계산하는 입체 영상 생성장치.
  16. 제14항에 있어서,
    상기 시차 정보 계산부는,
    상기 제1 영상, 상기 제2 영상 및 상기 융합 영상의 엣지를 검출하는 엣지 검출부;
    상기 제1 영상 및 상기 제2 영상의 엣지를 매칭하여 상기 제1 시차(disparity) 정보를 계산하고,
    상기 정렬 기준인 영상이 제1 영상이면 상기 제2 영상과 상기 융합 영상의 엣지 매칭하고, 상기 정렬 기준인 영상이 제2 영상이면 상기 제1 영상과 상기 융합 영상의 엣지를 매칭하여 상기 제2 시차(disparity) 정보를 계산하는 특징 매칭부;를 더 포함하는 입체 영상 생성장치.
  17. 제16항에 있어서,
    상기 제1 영상에서 검출된 엣지에 상응하는 제1 엣지 지수 및 상기 제2 영상에서 검출된 엣지에 상응하는 제2 엣지 지수를 결정하고,
    상기 제1 엣지 지수, 상기 제2 엣지 지수 및 영상 획득 시간 중 하나 이상에 기초하여 상기 제1 가중치 및 상기 제2 가중치를 결정하는 융합 비율 결정부;를 더 포함하는 입체 영상 생성장치.
  18. 제1항 및 제3항 내지 제10항 중 어느 한 항에 따른 방법을 실행하기 위한 프로그램이 기록되어 있는 컴퓨터 판독 가능한 기록 매체.
KR1020160094147A 2016-07-25 2016-07-25 가시광 영상 및 비가시광 영상의 입체 영상 생성방법 및 이를 위한 장치 KR101829415B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160094147A KR101829415B1 (ko) 2016-07-25 2016-07-25 가시광 영상 및 비가시광 영상의 입체 영상 생성방법 및 이를 위한 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160094147A KR101829415B1 (ko) 2016-07-25 2016-07-25 가시광 영상 및 비가시광 영상의 입체 영상 생성방법 및 이를 위한 장치

Publications (2)

Publication Number Publication Date
KR20180011587A KR20180011587A (ko) 2018-02-02
KR101829415B1 true KR101829415B1 (ko) 2018-02-19

Family

ID=61223175

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160094147A KR101829415B1 (ko) 2016-07-25 2016-07-25 가시광 영상 및 비가시광 영상의 입체 영상 생성방법 및 이를 위한 장치

Country Status (1)

Country Link
KR (1) KR101829415B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102087500B1 (ko) * 2018-05-17 2020-03-10 주식회사 이오씨 직교합성 열화상 처리 장치 및 방법
WO2023107455A2 (en) * 2021-12-07 2023-06-15 The Invisible Pixel Inc. Uv system and methods for generating an alpha channel

Also Published As

Publication number Publication date
KR20180011587A (ko) 2018-02-02

Similar Documents

Publication Publication Date Title
US10452931B2 (en) Processing method for distinguishing a three dimensional object from a two dimensional object using a vehicular system
US10074179B2 (en) Image measurement device
JP7163129B2 (ja) オブジェクトトラッキング方法及び装置
KR101874494B1 (ko) 특징점의 삼차원 위치 계산 장치 및 방법
US20160350975A1 (en) Information processing apparatus, information processing method, and storage medium
CN105574525B (zh) 一种复杂场景多模态生物特征图像获取方法及其装置
US20200210733A1 (en) Enhanced video-based driver monitoring using phase detect sensors
CN108141570A (zh) 校准装置、校准方法以及校准程序
JP2008146356A (ja) 視線方向推定装置及び視線方向推定方法
KR20120051308A (ko) 3ｄ 입체감을 개선하고 시청 피로를 저감하는 방법 및 장치
KR20170002308A (ko) 물체 영역에 근거하여 화상을 처리하는 장치 및 그 방법
KR20180059723A (ko) 이미지 처리 장치, 이미지 처리 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
JP6855872B2 (ja) 顔認識装置
KR101829415B1 (ko) 가시광 영상 및 비가시광 영상의 입체 영상 생성방법 및 이를 위한 장치
CN106991376B (zh) 结合深度信息的侧脸验证方法及装置与电子装置
US20080226159A1 (en) Method and System For Calculating Depth Information of Object in Image
JP6410231B2 (ja) 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム
CN106131448A (zh) 可自动调节成像亮度的三维立体视觉系统
JP4788399B2 (ja) 歩行者検出方法、装置、およびプログラム
KR101766864B1 (ko) 가시광 영상 및 비가시광 영상의 합성 영상 제공 방법 및 이를 위한 장치
JP2013104740A (ja) 画像処理装置及び画像処理方法
JP3994954B2 (ja) 物体検出装置及び物体検出方法
KR20190079503A (ko) 얼굴 인식을 위한 얼굴 자세 등록 장치 및 방법
KR101085435B1 (ko) 다중 카메라를 이용한 얼굴 인식 시스템
KR20190046415A (ko) 복수 개의 파트에 기초한 객체검출기 및 복수 개의 파트에 기초한 객체검출방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant