KR20120067888A - 스테레오 영상 처리 장치 및 그 방법 - Google Patents

스테레오 영상 처리 장치 및 그 방법 Download PDF

Info

Publication number
KR20120067888A
KR20120067888A KR1020100129529A KR20100129529A KR20120067888A KR 20120067888 A KR20120067888 A KR 20120067888A KR 1020100129529 A KR1020100129529 A KR 1020100129529A KR 20100129529 A KR20100129529 A KR 20100129529A KR 20120067888 A KR20120067888 A KR 20120067888A
Authority
KR
South Korea
Prior art keywords
stereo image
stereo
image
region
image processing
Prior art date
Application number
KR1020100129529A
Other languages
English (en)
Inventor
신호철
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020100129529A priority Critical patent/KR20120067888A/ko
Priority to US13/327,751 priority patent/US20120155748A1/en
Publication of KR20120067888A publication Critical patent/KR20120067888A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 적외선 영상들에 의한 스테레오 영상을 처리하는 장치 및 방법에 관한 것으로서, 스테레오 영상의 안정성, 카메라 영상의 특징점 개수, 및 조명 조건 중 적어도 하나를 실시간으로 분석하여 스테레오 매칭을 위한 보정 패턴을 생성하고 이를 피드백 값으로 피사체에 조사시키는 스테레오 영상 처리 장치 및 방법을 제안한다. 본 발명에 따르면, 스테레오 영상의 안정성과 정확성을 향상시킬 수 있다.

Description

스테레오 영상 처리 장치 및 그 방법 {Apparatus and method for processing stereo image}
본 발명은 스테레오 영상을 처리하는 장치 및 방법에 관한 것이다. 보다 상세하게는, 적외선 영상들에 의한 스테레오 영상을 처리하는 장치 및 방법에 관한 것이다.
스테레오 영상은 보안 및 감시, 물체 조작 및 인식, HCI(Human Computer Interface) 등 카메라 영상을 이용한 응용에 있어 유용한 정보를 제공해 줄 수 있다. 스테레오 영상은 복수의 카메라 영상 입력으로부터 각 영상의 특징점의 시차를 이용하여 카메라 영상의 대상체 거리를 계산함으로써 얻을 수 있다. 도 1에서 좌측에 위치하는 세개의 영상들이 카메라 입력 영상이며, 우측에 위치하는 세개의 영상들이 스테레오 영상이다. 도 1을 참조할 때 스테레오 영상이 입력 영상에 가까울수록 밝게 표현되어 있음을 알 수 있다. 그런데, 스테레오 영상을 처리할 때에 조명이 불충분하거나 영상의 특징점들이 부족하면 도 2에 도시된 바와 같이 스테레오 영상의 안정성과 정확성이 떨어지는 문제점이 생긴다. 이는 스테레오 영상이 주변 조명 환경이나 배경, 피사체의 패턴 유무 등에 민감하기 때문이다.
본 발명은 상기한 문제점을 해결하기 위해 안출된 것으로서, 스테레오 영상의 안정성, 카메라 영상의 특징점 개수, 및 조명 조건 중 적어도 하나를 실시간으로 분석하여 스테레오 매칭을 위한 보정 패턴을 생성하고 이를 피드백 값으로 피사체에 조사시키는 스테레오 영상 처리 장치 및 그 방법을 제공함을 목적으로 한다.
본 발명은 상기한 목적을 달성하기 위해 안출된 것으로서, 대상물에 대한 영상들을 처리하는 영상 처리부; 처리된 영상들을 스테레오 매칭시켜 스테레오 영상을 생성하는 스테레오 영상 생성부; 생성된 스테레오 영상에서 불안정 영역을 실시간으로 분석하는 불안정 영역 분석부; 및 분석 결과를 기초로 스테레오 매칭 때에 반영시킬 보정 패턴을 생성하는 보정 패턴 생성부를 포함하는 것을 특징으로 하는 스테레오 영상 처리 장치를 제공한다.
바람직하게는, 스테레오 영상 처리 장치는, 생성된 보정 패턴을 이용하여 조명 패턴을 생성하는 조명 패턴 생성부; 및 생성된 조명 패턴을 피드백 값으로 대상물에 조사시키는 대상물 조사부를 더욱 포함한다.
바람직하게는, 스테레오 영상 처리 장치는, 처리된 영상에 있는 제1 특징점 개수가 스테레오 영상을 생성하기에 적합한 제2 특징점 개수 이상인지 여부를 판별하는 특징점 개수 판별부; 및 제1 특징점 개수가 제2 특징점 개수보다 적으면, 처리된 영상에서 특징점 개수가 부족한 특징점 부족 영역을 실시간으로 추출하는 특징점 부족 영역 추출부를 더욱 포함하며, 보정 패턴 생성부는 보정 패턴을 생성할 때에 추출된 특징점 부족 영역을 더욱 고려한다.
바람직하게는, 스테레오 영상 처리 장치는, 대상물에 대한 영상을 획득하는 카메라를 제어하기 위한 카메라 제어값 및 처리된 영상들을 이용하여 대상물에 대한 조명 상태를 실시간으로 분석하는 조명 상태 분석부를 더욱 포함하며, 보정 패턴 생성부는 보정 패턴을 생성할 때에 조명 상태를 더욱 고려한다.
바람직하게는, 불안정 영역 분석부는, 생성된 스테레오 영상에 불안정 영역으로 왜곡 영역 또는 인접하는 화소들 간 깊이값 차이가 미리 정해진 기준값 이상인 영역이 있는지 여부를 판별하는 불안정 영역 여부 판별부; 및 생성된 스테레오 영상에 불안정 영역이 있으면, 생성된 스테레오 영상에서 불안정 영역을 추출하는 불안정 영역 추출부를 포함한다.
바람직하게는, 스테레오 영상 처리 장치는, 생성된 스테레오 영상을 영상 감시, 대상물 추적, 대상물의 3차원 모델링, 및 인간과 로봇 간의 상호작용 중 적어도 하나의 분야에 응용하는 스테레오 영상 응용부를 더욱 포함한다.
바람직하게는, 영상 처리부는 대상물에 대한 영상으로 적외선 영상을 처리하며, 대상물에 대한 영상들을 동기화시킨 뒤 밝기 조정, 왜곡 보정 및 노이즈 제거 중 적어도 하나의 영상 처리 방법을 이용하여 동기화된 영상들을 처리한다.
또한, 본 발명은 대상물에 대한 영상들을 처리하는 영상 처리 단계; 처리된 영상들을 스테레오 매칭시켜 스테레오 영상을 생성하는 스테레오 영상 생성 단계; 생성된 스테레오 영상에서 불안정 영역을 실시간으로 분석하는 불안정 영역 분석 단계; 및 분석 결과를 기초로 스테레오 매칭 때에 반영시킬 보정 패턴을 생성하는 보정 패턴 생성 단계를 포함하는 것을 특징으로 하는 스테레오 영상 처리 방법을 제공한다.
바람직하게는, 스테레오 영상 처리 방법은 생성된 보정 패턴을 이용하여 조명 패턴을 생성하는 조명 패턴 생성 단계; 및 생성된 조명 패턴을 피드백 값으로 대상물에 조사시키는 대상물 조사 단계를 더욱 포함한다.
바람직하게는, 스테레오 영상 처리 방법은, 처리된 영상에 있는 제1 특징점 개수가 스테레오 영상을 생성하기에 적합한 제2 특징점 개수 이상인지 여부를 판별하는 특징점 개수 판별 단계; 및 제1 특징점 개수가 제2 특징점 개수보다 적으면, 처리된 영상에서 특징점 개수가 부족한 특징점 부족 영역을 실시간으로 추출하는 특징점 부족 영역 추출 단계를 더욱 포함하며, 보정 패턴 생성 단계는 보정 패턴을 생성할 때에 추출된 특징점 부족 영역을 더욱 고려한다.
바람직하게는, 스테레오 영상 처리 방법은, 대상물에 대한 영상을 획득하는 카메라를 제어하기 위한 카메라 제어값 및 처리된 영상들을 이용하여 대상물에 대한 조명 상태를 실시간으로 분석하는 조명 상태 분석 단계를 더욱 포함하며, 보정 패턴 생성 단계는 보정 패턴을 생성할 때에 조명 상태를 더욱 고려한다.
바람직하게는, 불안정 영역 분석 단계는, 생성된 스테레오 영상에 불안정 영역으로 왜곡 영역 또는 인접하는 화소들 간 깊이값 차이가 미리 정해진 기준값 이상인 영역이 있는지 여부를 판별하는 불안정 영역 여부 판별 단계; 및 생성된 스테레오 영상에 불안정 영역이 있으면, 생성된 스테레오 영상에서 불안정 영역을 추출하는 불안정 영역 추출 단계를 포함한다.
바람직하게는, 스테레오 영상 처리 방법은, 생성된 스테레오 영상을 영상 감시, 대상물 추적, 대상물의 3차원 모델링, 및 인간과 로봇 간의 상호작용 중 적어도 하나의 분야에 응용하는 스테레오 영상 응용 단계를 더욱 포함한다.
바람직하게는, 영상 처리 단계는 대상물에 대한 영상으로 적외선 영상을 처리하며, 대상물에 대한 영상들을 동기화시킨 뒤 밝기 조정, 왜곡 보정 및 노이즈 제거 중 적어도 하나의 영상 처리 방법을 이용하여 동기화된 영상들을 처리한다.
본 발명에 따르면, 스테레오 영상의 안정성, 카메라 영상의 특징점 개수, 및 조명 조건 중 적어도 하나를 실시간으로 분석하여 스테레오 매칭을 위한 보정 패턴을 생성하고 이를 피드백 값으로 피사체에 조사시킴으로써, 스테레오 영상의 안정성과 정확성을 향상시킬 수 있다.
도 1은 카메라 입력 영상과 스테레오 영상을 비교하는 도면이다.
도 2는 조명이 불충분하거나 특징점이 부족한 경우 카메라 입력 영상과 스테레오 영상을 도시한 도면이다.
도 3은 본 발명의 바람직한 실시예에 따른 스테레오 영상 처리 장치를 개략적으로 도시한 블록도이다.
도 4는 피드백 적외선 패턴 조명을 이용한 스테레오 영상 장치의 전체 구조도이다.
도 5는 스테레오 영상 불안정 영역 분석의 예시도이다.
도 6은 특징점 위치 분석의 예시도이다.
도 7은 조명 조건 분석 결과의 예시도이다.
도 8은 스테레오 매칭 보정 패턴 생성 결과의 예시도이다.
도 9는 보정 패턴 조사 전/후 영상을 도시한 도면이다.
도 10은 본 발명의 바람직한 실시예에 따른 스테레오 영상 처리 방법을 도시한 순서도이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
도 3은 본 발명의 바람직한 실시예에 따른 스테레오 영상 처리 장치를 개략적으로 도시한 블록도이다. 도 3에 따르면, 스테레오 영상 처리 장치(300)는 영상 처리부(310), 스테레오 영상 생성부(311), 불안정 영역 분석부(312), 보정 패턴 생성부(313), 전원부(320) 및 주제어부(330)를 포함한다.
영상 처리부(310)는 대상물에 대한 영상들을 처리하는 기능을 수행한다. 영상 처리부(310)는 대상물에 대한 영상으로 적외선 영상을 처리하며, 대상물에 대한 영상들을 동기화시킨 뒤 밝기 조정, 왜곡 보정 및 노이즈 제거 중 적어도 하나의 영상 처리 방법을 이용하여 동기화된 영상들을 처리한다.
스테레오 영상 생성부(311)는 처리된 영상들을 스테레오 매칭시켜 스테레오 영상을 생성하는 기능을 수행한다.
불안정 영역 분석부(312)는 생성된 스테레오 영상에서 불안정 영역을 실시간으로 분석하는 기능을 수행한다. 도 9의 (a)와 (b)를 비교하면, 도 9의 (a)에서 상체와 배경에 줄무늬 노이즈가 많음을 알 수 있다. 본 실시예에서는 이러한 노이즈 영역을 불안정 영역으로 정의한다. 불안정 영역 분석부(312)는 불안정 영역 판별부와 불안정 영역 추출부를 포함할 수 있다. 불안정 영역 판별부는 생성된 스테레오 영상에 불안정 영역으로 왜곡 영역 또는 인접하는 화소들 간 깊이값 차이가 미리 정해진 기준값 이상인 영역이 있는지 여부를 판별하는 기능을 수행한다. 불안정 영역 추출부는 생성된 스테레오 영상에 불안정 영역이 있으면, 생성된 스테레오 영상에서 불안정 영역을 추출하는 기능을 수행한다. 본 실시에에서 인접하는 화소들 간 깊이값 차이가 미리 정해진 기준값 이상인 영역은 예컨대 경계값이 뭉개져 있는 영역을 의미한다.
보정 패턴 생성부(313)는 분석 결과를 기초로 스테레오 매칭 때에 반영시킬 보정 패턴을 생성하는 기능을 수행한다.
스테레오 영상 처리 장치(300)는 피드백 신호를 이용하여 스테레오 영상의 안정성과 정확성을 향상시킬 수 있다. 이 점을 고려할 때, 스테레오 영상 처리 장치(300)는 조명 패턴 생성부(340)와 대상물 조사부(341)를 더욱 포함할 수 있다. 조명 패턴 생성부(340)는 생성된 보정 패턴을 이용하여 조명 패턴을 생성하는 기능을 수행한다. 대상물 조사부(341)는 생성된 조명 패턴을 피드백 값으로 대상물에 조사시키는 기능을 수행한다. 대상물 조사부(341)는 적외선을 대상물에 조사시킨다.
스테레오 영상 처리 장치(300)는 다양한 형태의 분석을 통해 보정 패턴을 생성함으로써 스테레오 영상의 안정성과 정확성을 향상시킬 수 있다. 이 점을 고려할 때, 스테레오 영상 처리 장치(300)는 특징점 개수 판별부(350)와 특징점 부족 영역 추출부(351)를 더욱 포함할 수 있다. 특징점 개수 판별부(350)는 처리된 영상에 있는 제1 특징점 개수가 스테레오 영상을 생성하기에 적합한 제2 특징점 개수 이상인지 여부를 판별하는 기능을 수행한다. 특징점 부족 영역 추출부(351)는 제1 특징점 개수가 제2 특징점 개수보다 적으면, 처리된 영상에서 특징점 개수가 부족한 특징점 부족 영역을 실시간으로 추출하는 기능을 수행한다. 스테레오 영상 처리 장치(300)가 특징점 개수 판별부(350)와 특징점 부족 영역 추출부(351)를 더욱 포함할 경우, 보정 패턴 생성부(313)는 보정 패턴을 생성할 때에 추출된 특징점 부족 영역을 더욱 고려한다.
또한, 스테레오 영상 처리 장치(300)는 조명 상태 분석부(360)를 더욱 포함할 수 있다. 조명 상태 분석부(360)는 대상물에 대한 영상을 획득하는 카메라를 제어하기 위한 카메라 제어값 및 처리된 영상들을 이용하여 대상물에 대한 조명 상태를 실시간으로 분석하는 기능을 수행한다. 스테레오 영상 처리 장치(300)가 조명 상태 분석부(360)를 더욱 포함할 경우, 보정 패턴 생성부(313)는 보정 패턴을 생성할 때에 조명 상태를 더욱 고려한다. 조명 상태 분석부(360)는 카메라 제어값으로 예컨대 카메라 주시각 제어값을 이용할 수 있다.
한편, 스테레오 영상의 다양한 응용을 고려할 때, 스테레오 영상 처리 장치(300)는 스테레오 영상 응용부(370)를 더욱 포함할 수 있다. 스테레오 영상 응용부(370)는 생성된 스테레오 영상을 영상 감시, 대상물 추적, 대상물의 3차원 모델링, 및 인간과 로봇 간의 상호작용 중 적어도 하나의 분야에 응용하는 기능을 수행한다. 본 실시예에서는 스테레오 영상 응용부(370)의 역할을 고려하여 스테레오 영상 처리 장치(300)를 영상 감시 시스템, 대상물 추적 시스템, 대상물의 3차원 모델링 시스템, HCI(Human Computer Interface) 시스템 등에 구비시킬 수 있다.
스테레오 영상 처리 장치(300)는 피드백 적외선 패턴 조명을 이용한 스테레오 영상 처리 장치이다. 본 실시예에서 스테레오 영상 처리는 복수의 카메라 입력을 이용하여 각 카메라 사이의 시차로 인한 영상 내 특징점들의 거리 차이를 계산하여 피사체의 3차원 형상과 위치를 계산하는 방법을 의미한다. 스테레오 영상은 넓은 활용 범위와 많은 장점을 가지고 있으나, 주변 조명 환경이나 배경, 피사체의 패턴 유무에 민감하다는 단점이 있다. 본 실시예에서는 이러한 단점을 극복하기 위하여 스테레오 영상의 안정성, 카메라 영상의 특징점 개수, 조명 조건 등을 실시간으로 분석하여 이를 적절히 보정할 수 있는 스테레오 매칭 보정 패턴을 생성하고 생성된 보정 패턴을 기초로 한 적외선 패턴 조명을 피사체에 조사함으로써 스테레오 영상의 안정성과 정확성을 높일 수 있는 방법을 제안한다.
도 4는 피드백 적외선 패턴 조명을 이용한 스테레오 영상 장치의 전체 구조도이다. 도 4에 도시된 스테레오 영상 장치는 다음과 같은 특징이 있다. 첫째, 복수의 카메라를 사용하여 스테레오 영상 처리를 수행함에 있어서, 적외선 패턴 조명을 사용하여 스테레오 영상 처리의 성능을 향상시킨다. 둘째, 영상 데이터와 스테레오 영상의 결과를 피드백 분석하여 적외선 패턴 조명으로 조사(照射)함으로써 스테레오 영상 처리의 성능을 향상시킨다. 세째, 스테레오 영상 분석부, 영상 패턴 분석부, 조명 조건 분석부, 스테레오 매칭 보정 패턴 생성부 등을 통해 얻은 적외선 패턴 조명을 피드백 값으로 조사(照射)한다. 스테레오 영상 장치는 이러한 특징들을 통해 조명 조건이 불충분하거나 특징점이 부족한 경우 피드백 적외선 패턴 조명을 이용하여 이를 보완함으로써 스테레오 영상의 안정성과 정확성을 향상시킬 수 있다.
복수의 카메라들로부터 적외선 영상이 얻어지면 영상 데이터 전처리부(1)에서 각 영상을 동기화하고 밝기 조정, 왜곡 보정, 노이즈 제거 등의 영상 데이터 전처리 과정을 수행한다. 영상 데이터 전처리부(1)는 도 3의 영상 처리부(310)에 대응하는 구성이다. 처리된 영상 데이터는 스테레오 영상 계산부(2)에서 스테레오 매칭이 수행되어 도 1의 우측에 위치한 스테레오 영상으로 변환된다. 스테레오 영상 계산부(2)는 도 3의 스테레오 영상 생성부(311)에 대응하는 구성이다. 변환된 스테레오 영상은 스테레오 영상 분석부(3)에서 영상의 안정성이 부족한 영역을 분석한다. 스테레오 영상 분석부(3)는 도 3의 불안정 영역 분석부(312)에 대응하는 구성이다. 도 5는 스테레오 영상 불안정 영역 분석의 예시이다.
한편, 영상 데이터 전처리부(1)에서 처리된 데이터는 영상 패턴 분석부(4)에서 주어진 영상에서 스테레오 영상 계산을 위한 특징점이 부족한지 여부와 부족한 영역을 분석한다. 영상 패턴 분석부(4)는 도 3의 특징점 개수 판별부(350) 및 특징점 부족 영역 추출부(351)에 대응하는 구성이다. 도 6은 특징점 분석의 예시이다. 조명 조건 분석부(5)에서는 카메라의 제어값과 영상 데이터 전처리부(1)에서 얻어진 결과를 분석하여 피사체(11)의 현재 조명 상태를 분석한다. 조명 조건 분석부(5)는 도 3의 조명 상태 분석부(360)에 대응하는 구성이다. 도 7은 조명 조건 분석 결과의 예시이다.
한편, 계산된 스테레오 영상은 스테레오 영상 응용부(6)로 전달되어 각종 스테레오 영상 응용에 활용된다. 스테레오 영상 분석부(3), 영상 패턴 분석부(4), 조명 조건 분석부(5)에서 분석된 데이터는 스테레오 매칭 보정 패턴 생성부(7)로 전달되어 스테레오 영상의 안정성과 정확성을 최적화시킬 수 있는 보정 패턴을 생성한다. 스테레오 매칭 보정 패턴 생성부(7)는 도 3의 보정 패턴 생성부(313)에 대응하는 구성이다. 도 8은 스테레오 매칭 보정 패턴 생성 결과의 예시이다.
스테레오 영상의 특성상 스테레오 영상의 불안정 영역은 도 2에 도시된 바와 같이 가로 줄무늬 등의 패턴이 나타난다. 도 2에서 얼굴과 팔은 비교적 안정적이지만 옷과 배경에 있어서는 특징적인 형태의 노이즈가 있음을 알 수 있다. 이러한 노이즈 패턴을 분석하면 스테레오 영상의 불안정 영역을 추출해낼 수가 있다. 도 5에 도시된 바와 같이 스테레오 영상의 불안정 영역이 검출되면 불안정 영역에 대해서 도 6에 도시된 바와 같이 원영상 패턴을 분석한다. 또한, 도 7에 도시된 바와 같이 조명 조건을 분석하면 스테레오 영상의 불안정 원인이 원영상의 패턴 부족인지 조명 조건 부족인지를 파악할 수 있다.
불안정 영역과 원인이 계산되면 적절한 보정 패턴을 생성한다. 만약 원영상의 패턴 부족이 원인이라면 도 8에 도시된 바와 같이 원영상의 패턴이 부족한 부분에 대해 세로 줄무늬 등의 인위적인 패턴을 조사하여 패턴을 생성시켜 주고, 조명조건이 원인이라면 조명이 부족한 영역에 대해 밝기를 증가시켜 준다.
생성된 보정 패턴은 패턴 조명 생성부(8)와 패턴 조명 제어부(9)로 전달되어 적외선 영상 투영 장치(10)를 통해 피사체(11)에 적절한 패턴 조명을 조사한다. 도 9에서 (a)는 보정 패턴 조사 전 영상이며, (b)는 보정 패턴 조사 후 영상이다. 도 9에서 알 수 있듯이, 본 실시예에 따라 얻은 보정 패턴이 조사되면 스테레오 영상의 안정성과 정확성이 향상된다. 패턴 조명 생성부(8)는 도 3의 조명 패턴 생성부(340)에 대응하는 구성이며, 적외선 영상 투영 장치(10)는 도 3의 대상물 조사부(341)에 대응하는 구성이다.
다음으로, 스테레오 영상 처리 장치의 스테레오 영상 처리 방법에 대해서 설명한다. 도 10은 본 발명의 바람직한 실시예에 따른 스테레오 영상 처리 방법을 도시한 순서도이다. 이하 설명은 도 10을 참조한다.
먼저, 대상물에 대한 영상들을 처리한다(영상 처리 단계, S400). 바람직하게는, 영상 처리 단계(S400)는 대상물에 대한 영상으로 적외선 영상을 처리하며, 대상물에 대한 영상들을 동기화시킨 뒤 밝기 조정, 왜곡 보정 및 노이즈 제거 중 적어도 하나의 영상 처리 방법을 이용하여 동기화된 영상들을 처리한다.
이후, 처리된 영상들을 스테레오 매칭시켜 스테레오 영상을 생성한다(스테레오 영상 생성 단계, S410).
이후, 생성된 스테레오 영상에서 불안정 영역을 실시간으로 분석한다(불안정 영역 분석 단계, S420). 이때, 불안정 영역 분석 단계(S420)는 불안정 영역 여부 판별 단계와 불안정 영역 추출 단계를 포함할 수 있다. 불안정 영역 여부 판별 단계는 생성된 스테레오 영상에 불안정 영역으로 왜곡 영역 또는 인접하는 화소들 간 깊이값 차이가 미리 정해진 기준값 이상인 영역이 있는지 여부를 판별하는 단계이다. 불안정 영역 추출 단계는 생성된 스테레오 영상에 불안정 영역이 있으면, 생성된 스테레오 영상에서 불안정 영역을 추출하는 단계이다.
이후, 분석 결과를 기초로 스테레오 매칭 때에 반영시킬 보정 패턴을 생성한다(보정 패턴 생성 단계, S430).
본 실시예에서는 피드백 신호를 이용하여 스테레오 영상의 안정성과 정확성을 향상시킬 수 있다. 이 점을 고려할 때, 보정 패턴 생성 단계(S430) 이후에는 조명 패턴 생성 단계와 대상물 조사 단계가 수행될 수 있다. 조명 패턴 생성 단계는 생성된 보정 패턴을 이용하여 조명 패턴을 생성하는 단계이다. 대상물 조사 단계는 생성된 조명 패턴을 피드백 값으로 대상물에 조사시키는 단계이다.
본 실시예에서는 다양한 형태의 분석을 통해 보정 패턴을 생성함으로써 스테레오 영상의 안정성과 정확성을 향상시킬 수 있다. 이 점을 고려할 때, 불안정 영역 분석 단계(S420)와 동시에, 특징점 개수 판별 단계와 특징점 부족 영역 추출 단계가 수행될 수 있다. 특징점 개수 판별 단계는 처리된 영상에 있는 제1 특징점 개수가 스테레오 영상을 생성하기에 적합한 제2 특징점 개수 이상인지 여부를 판별하는 단계이다. 특징점 부족 영역 추출 단계는 제1 특징점 개수가 제2 특징점 개수보다 적으면, 처리된 영상에서 특징점 개수가 부족한 특징점 부족 영역을 실시간으로 추출하는 단계이다. 불안정 영역 분석 단계(S420)와 동시에, 특징점 개수 판별 단계와 특징점 부족 영역 추출 단계가 수행될 경우, 보정 패턴 생성 단계(S430)는 보정 패턴을 생성할 때에 추출된 특징점 부족 영역을 더욱 고려한다. 한편, 특징점 개수 판별 단계와 특징점 부족 영역 추출 단계는 불안정 영역 분석 단계(S420)와 동시 수행됨에 한정되는 것은 아니다. 예컨대, 특징점 개수 판별 단계와 특징점 부족 영역 추출 단계는 스테레오 영상 생성 단계(S410)와 불안정 영역 분석 단계(S420) 사이, 또는 불안정 영역 분석 단계(S420)와 보정 패턴 생성 단계(S430) 사이에 수행되는 것도 가능하다.
또한, 특징점 개수 판별 단계, 특징점 부족 영역 추출 단계 등과 더불어 조명 상태 분석 단계가 더욱 수행될 수 있다. 조명 상태 분석 단계는 대상물에 대한 영상을 획득하는 카메라를 제어하기 위한 카메라 제어값 및 처리된 영상들을 이용하여 대상물에 대한 조명 상태를 실시간으로 분석하는 단계이다. 특징점 개수 판별 단계, 특징점 부족 영역 추출 단계 등과 더불어 조명 상태 분석 단계가 더욱 수행될 경우, 보정 패턴 생성 단계(S430)는 보정 패턴을 생성할 때에 조명 상태를 더욱 고려한다. 한편, 조명 상태 분석 단계는 불안정 영역 분석 단계(S420)와 동시 수행됨에 한정되는 것은 아니다. 예컨대, 조명 상태 분석 단계는 스테레오 영상 생성 단계(S410)와 불안정 영역 분석 단계(S420) 사이, 또는 불안정 영역 분석 단계(S420)와 보정 패턴 생성 단계(S430) 사이에 수행되는 것도 가능하다.
스테레오 영상의 다양한 응용을 고려할 때, 스테레오 영상 생성 단계(S410) 이후, 스테레오 영상 응용 단계가 수행될 수 있다. 스테레오 영상 응용 단계는 생성된 스테레오 영상을 영상 감시, 대상물 추적, 대상물의 3차원 모델링, 및 인간과 로봇 간의 상호작용 중 적어도 하나의 분야에 응용하는 단계이다. 스테레오 영상 응용 단계는 스테레오 영상 생성 단계 이후라면 어느 단계에서 수행되더라도 무방하다. 예컨대, 스테레오 영상 응용 단계는 스테레오 영상 생성 단계와 불안정 영역 분석 단계 사이에 수행될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
본 발명은 영상 처리 기술 분야에 적용될 수 있다. 특히, 본 발명은 스테레오 영상을 이용한 보안 감시 기술 분야, 물체를 인식하고 추적하는 기술 분야, HCI(Human Computer Interface) 기술 분야, 3차원 모델링 기술 분야, 로봇 비전 기술 분야 등에 적용될 수 있다.
300 : 스테레오 영상 처리 장치 310 : 영상 처리부
311 : 스테레오 영상 생성부 312 : 불안정 영역 분석부
313 : 보정 패턴 생성부 320 : 전원부
330 : 주제어부 340 : 조명 패턴 생성부
341 : 대상물 조사부 350 : 특징점 개수 판별부
351 : 특징점 부족 영역 추출부 360 : 조명 상태 분석부
370 : 스테레오 영상 응용부 10 : 적외선 영상 투영 장치
11 : 피사체

Claims (14)

  1. 대상물에 대한 영상들을 처리하는 영상 처리부;
    처리된 영상들을 스테레오 매칭시켜 스테레오 영상을 생성하는 스테레오 영상 생성부;
    생성된 스테레오 영상에서 불안정 영역을 실시간으로 분석하는 불안정 영역 분석부; 및
    분석 결과를 기초로 스테레오 매칭 때에 반영시킬 보정 패턴을 생성하는 보정 패턴 생성부
    를 포함하는 것을 특징으로 하는 스테레오 영상 처리 장치.
  2. 제 1 항에 있어서,
    생성된 보정 패턴을 이용하여 조명 패턴을 생성하는 조명 패턴 생성부; 및
    생성된 조명 패턴을 피드백 값으로 상기 대상물에 조사시키는 대상물 조사부
    를 더욱 포함하는 것을 특징으로 하는 스테레오 영상 처리 장치.
  3. 제 1 항에 있어서,
    처리된 영상에 있는 제1 특징점 개수가 스테레오 영상을 생성하기에 적합한 제2 특징점 개수 이상인지 여부를 판별하는 특징점 개수 판별부; 및
    제1 특징점 개수가 제2 특징점 개수보다 적으면, 처리된 영상에서 특징점 개수가 부족한 특징점 부족 영역을 실시간으로 추출하는 특징점 부족 영역 추출부
    를 더욱 포함하며,
    상기 보정 패턴 생성부는 상기 보정 패턴을 생성할 때에 추출된 특징점 부족 영역을 더욱 고려하는 것을 특징으로 하는 스테레오 영상 처리 장치.
  4. 제 3 항에 있어서,
    대상물에 대한 영상을 획득하는 카메라를 제어하기 위한 카메라 제어값 및 처리된 영상들을 이용하여 대상물에 대한 조명 상태를 실시간으로 분석하는 조명 상태 분석부
    를 더욱 포함하며,
    상기 보정 패턴 생성부는 상기 보정 패턴을 생성할 때에 상기 조명 상태를 더욱 고려하는 것을 특징으로 하는 스테레오 영상 처리 장치.
  5. 제 1 항에 있어서,
    상기 불안정 영역 분석부는,
    생성된 스테레오 영상에 불안정 영역으로 왜곡 영역 또는 인접하는 화소들 간 깊이값 차이가 미리 정해진 기준값 이상인 영역이 있는지 여부를 판별하는 불안정 영역 여부 판별부; 및
    생성된 스테레오 영상에 불안정 영역이 있으면, 생성된 스테레오 영상에서 불안정 영역을 추출하는 불안정 영역 추출부
    를 포함하는 것을 특징으로 하는 스테레오 영상 처리 장치.
  6. 제 1 항에 있어서,
    생성된 스테레오 영상을 영상 감시, 대상물 추적, 대상물의 3차원 모델링, 및 인간과 로봇 간의 상호작용 중 적어도 하나의 분야에 응용하는 스테레오 영상 응용부
    를 더욱 포함하는 것을 특징으로 하는 스테레오 영상 처리 장치.
  7. 제 1 항에 있어서,
    상기 영상 처리부는 대상물에 대한 영상으로 적외선 영상을 처리하며, 대상물에 대한 영상들을 동기화시킨 뒤 밝기 조정, 왜곡 보정 및 노이즈 제거 중 적어도 하나의 영상 처리 방법을 이용하여 동기화된 영상들을 처리하는 것을 특징으로 하는 스테레오 영상 처리 장치.
  8. 대상물에 대한 영상들을 처리하는 영상 처리 단계;
    처리된 영상들을 스테레오 매칭시켜 스테레오 영상을 생성하는 스테레오 영상 생성 단계;
    생성된 스테레오 영상에서 불안정 영역을 실시간으로 분석하는 불안정 영역 분석 단계; 및
    분석 결과를 기초로 스테레오 매칭 때에 반영시킬 보정 패턴을 생성하는 보정 패턴 생성 단계
    를 포함하는 것을 특징으로 하는 스테레오 영상 처리 방법.
  9. 제 8 항에 있어서,
    생성된 보정 패턴을 이용하여 조명 패턴을 생성하는 조명 패턴 생성 단계; 및
    생성된 조명 패턴을 피드백 값으로 상기 대상물에 조사시키는 대상물 조사 단계
    를 더욱 포함하는 것을 특징으로 하는 스테레오 영상 처리 방법.
  10. 제 8 항에 있어서,
    처리된 영상에 있는 제1 특징점 개수가 스테레오 영상을 생성하기에 적합한 제2 특징점 개수 이상인지 여부를 판별하는 특징점 개수 판별 단계; 및
    제1 특징점 개수가 제2 특징점 개수보다 적으면, 처리된 영상에서 특징점 개수가 부족한 특징점 부족 영역을 실시간으로 추출하는 특징점 부족 영역 추출 단계
    를 더욱 포함하며,
    상기 보정 패턴 생성 단계는 상기 보정 패턴을 생성할 때에 추출된 특징점 부족 영역을 더욱 고려하는 것을 특징으로 하는 스테레오 영상 처리 방법.
  11. 제 10 항에 있어서,
    대상물에 대한 영상을 획득하는 카메라를 제어하기 위한 카메라 제어값 및 처리된 영상들을 이용하여 대상물에 대한 조명 상태를 실시간으로 분석하는 조명 상태 분석 단계
    를 더욱 포함하며,
    상기 보정 패턴 생성 단계는 상기 보정 패턴을 생성할 때에 상기 조명 상태를 더욱 고려하는 것을 특징으로 하는 스테레오 영상 처리 방법.
  12. 제 8 항에 있어서,
    상기 불안정 영역 분석 단계는,
    생성된 스테레오 영상에 불안정 영역으로 왜곡 영역 또는 인접하는 화소들 간 깊이값 차이가 미리 정해진 기준값 이상인 영역이 있는지 여부를 판별하는 불안정 영역 여부 판별 단계; 및
    생성된 스테레오 영상에 불안정 영역이 있으면, 생성된 스테레오 영상에서 불안정 영역을 추출하는 불안정 영역 추출 단계
    를 포함하는 것을 특징으로 하는 스테레오 영상 처리 방법.
  13. 제 8 항에 있어서,
    생성된 스테레오 영상을 영상 감시, 대상물 추적, 대상물의 3차원 모델링, 및 인간과 로봇 간의 상호작용 중 적어도 하나의 분야에 응용하는 스테레오 영상 응용 단계
    를 더욱 포함하는 것을 특징으로 하는 스테레오 영상 처리 방법.
  14. 제 8 항에 있어서,
    상기 영상 처리 단계는 대상물에 대한 영상으로 적외선 영상을 처리하며, 대상물에 대한 영상들을 동기화시킨 뒤 밝기 조정, 왜곡 보정 및 노이즈 제거 중 적어도 하나의 영상 처리 방법을 이용하여 동기화된 영상들을 처리하는 것을 특징으로 하는 스테레오 영상 처리 방법.
KR1020100129529A 2010-12-16 2010-12-16 스테레오 영상 처리 장치 및 그 방법 KR20120067888A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100129529A KR20120067888A (ko) 2010-12-16 2010-12-16 스테레오 영상 처리 장치 및 그 방법
US13/327,751 US20120155748A1 (en) 2010-12-16 2011-12-15 Apparatus and method for processing stereo image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100129529A KR20120067888A (ko) 2010-12-16 2010-12-16 스테레오 영상 처리 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20120067888A true KR20120067888A (ko) 2012-06-26

Family

ID=46234500

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100129529A KR20120067888A (ko) 2010-12-16 2010-12-16 스테레오 영상 처리 장치 및 그 방법

Country Status (2)

Country Link
US (1) US20120155748A1 (ko)
KR (1) KR20120067888A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200042790A (ko) * 2018-10-16 2020-04-24 에스케이텔레콤 주식회사 3d 모델링 장치 및 방법
KR20200122870A (ko) * 2019-04-19 2020-10-28 광운대학교 산학협력단 포토그래메트리를 이용한 고품질 3차원 공간 정보 획득 방법

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5807354B2 (ja) * 2011-03-22 2015-11-10 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP2015215235A (ja) * 2014-05-09 2015-12-03 トヨタ自動車株式会社 物体検出装置及び物体検出方法
GB2529847B (en) 2014-09-03 2018-12-19 Dyson Technology Ltd A mobile Robot with Independently Adjustable Light Sources
GB2529846B (en) * 2014-09-03 2019-02-20 Dyson Technology Ltd Illumination Control of a Vision System for a Mobile Robot
JP6939501B2 (ja) * 2017-12-15 2021-09-22 オムロン株式会社 画像処理システム、画像処理プログラム、および画像処理方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8218903B2 (en) * 2007-04-24 2012-07-10 Sony Computer Entertainment Inc. 3D object scanning using video camera and TV monitor
US8121351B2 (en) * 2008-03-09 2012-02-21 Microsoft International Holdings B.V. Identification of objects in a 3D video using non/over reflective clothing

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200042790A (ko) * 2018-10-16 2020-04-24 에스케이텔레콤 주식회사 3d 모델링 장치 및 방법
KR20200122870A (ko) * 2019-04-19 2020-10-28 광운대학교 산학협력단 포토그래메트리를 이용한 고품질 3차원 공간 정보 획득 방법

Also Published As

Publication number Publication date
US20120155748A1 (en) 2012-06-21

Similar Documents

Publication Publication Date Title
KR20120067888A (ko) 스테레오 영상 처리 장치 및 그 방법
CN108549867B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
US20170069071A1 (en) Apparatus and method for extracting person region based on red/green/blue-depth image
CN104581124B (zh) 产生场景的深度图的方法和装置
US9148637B2 (en) Face detection and tracking
KR102460659B1 (ko) ToF 센서를 이용하여 깊이 영상을 획득하는 방법 및 장치
KR101286651B1 (ko) 영상 보정 장치 및 이를 이용한 영상 보정 방법
KR20130044099A (ko) 영상 처리 방법 및 장치
US9582706B2 (en) Face location detection
JP5342413B2 (ja) 画像処理方法
US10764563B2 (en) 3D enhanced image correction
CN109769326B (zh) 一种追光方法、装置及设备
US10748019B2 (en) Image processing method and electronic apparatus for foreground image extraction
JP5336325B2 (ja) 画像処理方法
US20230386256A1 (en) Techniques for detecting a three-dimensional face in facial recognition
CN110310336B (zh) 一种触控投影系统及图像处理方法
JP2022537196A (ja) 表面認識
KR101001184B1 (ko) 얼굴 정규화 벡터를 이용한 반복적 3차원 얼굴 포즈 추정 방법
JP2010113562A (ja) 物体検知追跡装置，物体検知追跡方法および物体検知追跡プログラム
US12088776B2 (en) Video generation apparatus, method and program
JP2014176495A (ja) ベッドの移動制御装置、その移動制御方法及びその移動制御プログラム
KR101775110B1 (ko) 고품질 텍스처 획득 방법 및 이를 위한 장치
JP6306494B2 (ja) 形状推定装置、形状推定方法および形状推定プログラム
KR102171162B1 (ko) 타임 슬라이스 영상 생성 방법 및 장치
US11134232B2 (en) Information processing apparatus, information processing method, and program

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid