KR20180042955A - 영상 처리 장치 및 방법 - Google Patents

영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR20180042955A
KR20180042955A KR1020160135589A KR20160135589A KR20180042955A KR 20180042955 A KR20180042955 A KR 20180042955A KR 1020160135589 A KR1020160135589 A KR 1020160135589A KR 20160135589 A KR20160135589 A KR 20160135589A KR 20180042955 A KR20180042955 A KR 20180042955A
Authority
KR
South Korea
Prior art keywords
point
image
curvature
image processing
value
Prior art date
Application number
KR1020160135589A
Other languages
English (en)
Inventor
안민수
김지연
이형욱
성영훈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160135589A priority Critical patent/KR20180042955A/ko
Priority to US15/677,213 priority patent/US10552972B2/en
Publication of KR20180042955A publication Critical patent/KR20180042955A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G06T5/008—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Analysis (AREA)

Abstract

일실시예에 따른 영상 처리 장치는 스테레오 영상 내의 포인트에 대응하는 디스패러티 값에 기초하여 포인트에 대한 곡률 값을 계산하고, 계산된 곡률 값을 이용하여 디스패러티 값을 보정한다. 일실시예에서, 영상 처리 장치는 스테레오 영상 중 적어도 하나의 영상으로부터 인트린식 영상을 추출하고 인트린식 영상을 이용하여 곡률 값을 계산한다.

Description

영상 처리 장치 및 방법{IMAGE PROCESSING APPARATUS AND METHOD}
영상 처리 장치 및 방법에 연관되며, 보다 구체적으로는 영상 내의 곡률 값에 기초하여 스테레오 영상 간의 대응 관계를 보정하는 영상 처리 장치 및 방법에 연관된다.
일반적으로 깊이 정보를 추출하기 위해서 스테레오 영상의 대응 픽셀 간 디스패러티 값을 계산하는 방식이 이용된다. 그러나, 스테레오 영상의 픽셀 간 대응 관계를 정확하게 찾기 어려운 로우 텍스처(low texture) 환경에서는 대응 관계 오류가 빈번하게 발생하여 깊이 정보 계산 시에 오차가 유발된다.
로우 텍스처 환경에서 깊이 정보 계산 시의 오차를 줄이기 위하여, 영상 내 에지(edge)를 검출하여 오류를 보정하는 방식이 이용된다. 다만, 픽셀 간 대응 관계에 오류가 있는 경우 또는 픽셀 간 대응 관계가 식별되지 않는 경우 에지 주변에서는 여전히 오류가 존재한다.
따라서, 스테레오 영상의 픽셀 간 대응 관계 오류를 보정하여 깊이 정보 계산의 정확도를 향상시킬 수 있는 방법 및 장치가 요구된다.
일측에 따르면, 영상 처리 장치는 스테레오 영상 내의 제1 포인트에 대응하는 디스패러티 값에 기초하여 상기 제1 포인트에 대한 곡률 값을 계산하는 계산부, 및 상기 곡률 값을 이용하여 상기 제1 포인트에 대응하는 디스패러티 값을 보정하는 보정부를 포함한다.
일실시예에서, 상기 계산부는 상기 디스패러티 값을 이용하여 상기 제1 포인트에 대응하는 깊이 값을 계산하고, 상기 깊이 값에 기초하여 상기 곡률 값을 계산한다.
일실시예에서, 상기 계산부는 상기 스테레오 영상 중 적어도 하나의 영상으로부터 인트린식 영상(intrinsic image)을 추출하고 상기 인트린식 영상을 이용하여 상기 곡률 값을 계산한다. 일실시예에서, 상기 계산부는 상기 인트린식 영상을 이용하여 상기 스테레오 영상 중 적어도 하나의 영상으로부터 쉐이딩 성분을 추출하고 상기 쉐이딩 성분에 기초하여 상기 곡률 값을 계산한다.
일실시예에서, 상기 계산부는 상기 스테레오 영상의 적어도 하나의 영역 내의 각 포인트에 대응하는 곡률 값의 분포에 기초하여 상기 제1 포인트에 대응하는 곡률 값의 유효성을 결정한다. 일실시예에서, 상기 곡률 값은 스테레오 영상 간 디스패러티가 발생하는 방향에 따른 곡률에 연관된다.
일실시예에서, 상기 보정부는 상기 제1 포인트에서의 상기 스테레오 영상 간의 대응 관계에 오류가 있는지 여부를 결정하고, 상기 제1 포인트에서의 상기 스테레오 영상 간의 대응 관계에 오류가 있는 경우 상기 대응 관계를 삭제한다.
일실시예에서, 상기 보정부는 상기 스테레오 영상의 적어도 하나의 영역 내의 각 포인트에 대응하는 곡률 값의 분포에 기초하여 상기 스테레오 영상 중 하나에서만 가시적인 영역을 식별하고, 상기 제1 포인트가 상기 스테레오 영상 중 하나에서만 가시적인 영역 내에 위치하는 경우 상기 제1 포인트에서의 상기 스테레오 영상 간의 대응 관계에 오류가 있다고 결정한다.
일실시예에서, 상기 보정부는 상기 스테레오 영상의 적어도 하나의 영역 내의 각 포인트에 대응하는 컬러 값을 이용하여 에지를 추출하고, 상기 추출된 에지를 이용하여 불연속 영역을 식별하고, 상기 불연속 영역에 대응하는 디스패러티 값을 보정한다.
다른 일측에 따르면, 영상 처리 장치는 스테레오 영상 간의 대응 관계에 기초하여 디스패러티 맵을 생성하는 디스패러티 맵 생성부, 및 상기 스테레오 영상 중 적어도 하나의 영상으로부터 인트린식 영상을 추출하고 상기 인트린식 영상 및 상기 디스패러티 맵을 이용하여 상기 스테레오 영상의 적어도 하나의 영역 내의 각 포인트에 대한 곡률 값을 계산하는 계산부를 포함한다.
일실시예에서, 상기 계산부는 상기 인트린식 영상을 이용하여 상기 스테레오 영상 중 적어도 하나의 영상으로부터 쉐이딩 성분을 추출하고 상기 쉐이딩 성분에 기초하여 상기 곡률 값을 계산한다.
일실시예에서, 상기 계산부는 상기 스테레오 영상의 적어도 하나의 영역 내의 각 포인트에 대응하는 곡률 값의 분포에 기초하여 상기 곡률 값의 유효성을 결정한다.
일실시예에서, 상기 영상 처리 장치는 상기 곡률 값을 이용하여 상기 적어도 하나의 영역 내의 각 포인트에 대응하는 디스패러티 값을 보정하는 보정부를 더 포함한다.
다른 일측에 따르면, 영상 처리 방법은 스테레오 영상 내의 제1 포인트에 대응하는 디스패러티 값에 기초하여 상기 제1 포인트에 대한 곡률 값을 계산하는 단계, 및 상기 곡률 값을 이용하여 상기 제1 포인트에 대응하는 디스패러티 값을 보정하는 단계를 포함한다.
일실시예에서, 상기 곡률 값을 계산하는 단계는, 상기 스테레오 영상 중 적어도 하나의 영상으로부터 인트린식 영상을 추출하는 단계, 및 상기 인트린식 영상을 이용하여 상기 곡률 값을 계산하는 단계를 포함한다.
일실시예에서, 상기 디스패러티 값을 보정하는 단계는, 상기 제1 포인트에서의 상기 스테레오 영상 간의 대응 관계에 오류가 있는지 여부를 결정하는 단계, 및 상기 제1 포인트에서의 상기 스테레오 영상 간의 대응 관계에 오류가 있는 경우 상기 대응 관계를 삭제하는 단계를 포함한다.
일실시예에서, 상기 제1 포인트에서의 상기 스테레오 영상 간의 대응 관계에 오류가 있는지 여부를 결정하는 단계는, 상기 스테레오 영상의 적어도 하나의 영역 내의 각 포인트에 대응하는 곡률 값의 분포에 기초하여 상기 스테레오 영상 중 하나에서만 가시적인 영역을 식별하는 단계, 및 상기 제1 포인트가 상기 스테레오 영상 중 하나에서만 가시적인 영역 내에 위치하는 경우 상기 제1 포인트에서의 상기 스테레오 영상 간의 대응 관계에 오류가 있다고 결정하는 단계를 포함한다.
도 1은 일실시예에 따른 영상 처리 장치의 부분 블록도이다.
도 2a 내지 2c는 스테레오 영상의 픽셀 간의 대응 관계 오류를 설명하기 위한 도면이다.
도 3은 일실시예에 따른 영상 처리 방법을 도시한 흐름도이다.
도 4는 일실시예에 따른 영상 처리 방법을 도시한 흐름도이다.
도 5a 및 5b는 일실시예에 따른 디스패러티 값 보정을 설명하기 위한 도면이다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하에서, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 권리범위는 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 일실시예에 따른 영상 처리 장치(100)의 부분 블록도이다. 일실시예에서, 영상 처리 장치(100)는 디스패러티 계산부(110), 곡률 계산부(120) 및 디스패러티 보정부(130)를 포함할 수 있다. 디스패러티 계산부(110), 곡률 계산부(120) 및 디스패러티 보정부(130)는 하나 이상의 프로세서에 의해 구현될 수 있다.
디스패러티 계산부(110)는 입력된 스테레오 영상 또는 다수의 영상으로부터 깊이 값 계산을 위한 디스패러티 값을 계산한다. 디스패러티 계산부(110)는 스테레오 영상 또는 다수의 영상의 픽셀 간에 대응 관계를 설정하고 대응 픽셀 간의 차이에 기초하여 디스패러티 값을 계산한다. 스테레오 영상 또는 다수의 영상의 픽셀 간에 관계를 설정하기 위하여 영상 내의 컬러 정보가 이용될 수 있다.
곡률 계산부(120)는 디스패러티 계산부(110)에 의해 계산된 디스패러티 값을 이용하여 영상 내 포인트의 깊이 값을 계산하고 이에 기초하여 영상 내 포인트의 곡률 값을 추정할 수 있다. 포인트는 예를 들어 하나의 픽셀 또는 인접한 복수의 픽셀의 집합일 수 있다.
대안적으로, 곡률 계산부(120)는 입력된 스테레오 영상 또는 다수의 영상 중 적어도 하나의 영상으로부터 인트린식 영상(intrinsic image)을 추출하고, 인트린식 영상을 이용하여 상기 적어도 하나의 영상의 쉐이딩 성분을 추출하고, 추출된 쉐이딩 성분에 기초하여 영상 내 포인트의 곡률 값을 추정할 수 있다. 예를 들어, 추출된 쉐이딩 성분 내의 적어도 하나의 영역의 그라데이션 분포에 기초하여 각 포인트에 대한 곡률 값을 추정할 수 있다.
일실시예에서, 곡률 계산부(120)는 입력된 스테레오 영상 또는 다수의 영상의 컬러 정보를 이용하여 에지를 추출하고, 추출된 에지와 깊이 값을 이용하여 불연속(discontinuity) 영역을 식별할 수 있다. 곡률 계산부(120)는 불연속 영역에 깊이 값 오차가 포함되어 있는 것으로 가정하고 불연속 영역 내의 디스패러티 값을 보정(refine)하기 위하여 불연속 영역 내의 각 포인트에 대한 곡률 값을 추정할 수 있다.
일실시예에서, 곡률 계산부(120)는 추정된 곡률 값의 유효성을 결정할 수 있다. 예를 들어, 스테레오 영상의 적어도 하나의 영역 내의 각 포인트에 대한 곡률 값의 분포에 기초하여 각 포인트에 대한 곡률 값이 의미를 부여할 수 있을 정도로 유효한 값인지 여부를 결정할 수 있다. 어느 영역 내에서 곡률 값의 분포가 일정한 패턴 또는 경향을 가지지 않는 경우에는 해당 영역 내의 각 포인트의 곡률 값은 유효성이 부정될 수 있다. 이와 같은 유효성 결정 과정을 통하여, 영상 처리 장치(100)는 올바르게 식별된 곡률 값만을 이용하여 디스패러티 값을 보정할 수 있다.
일실시예에서, 곡률 계산부(120)는 스테레오 영상 간 디스패러티가 발생하는 방향에 따른 곡률 값을 계산한다. 예를 들어, 좌 영상과 우 영상 간에 수평 방향의 디스패러티가 발생하는 경우, 곡률 계산부(120)는 수평 방향의 곡률 값을 계산할 수 있다.
디스패러티 보정부(130)는 곡률 계산부(120)에 의해 계산된 곡률 값을 이용하여 디스패러티 값을 보정할 수 있다. 일실시예에서, 디스패러티 보정부(130)는 곡률 계산부(120)에 의해 불연속 영역으로 식별된 영역 내의 디스패러티 값을 보정할 수 있다.
구체적으로, 디스패러티 보정부(130)는 곡률 계산부(120)에 의해 계산된 곡률 값을 이용하여 스테레오 영상 간의 대응 관계에 오류가 있는 지 여부를 결정할 수 있다. 예를 들어, 디스패러티 보정부(130)는 곡률 값을 이용하여 스테레오 영상 중 하나에서만 가시적인 영역을 식별할 수 있다. 스테레오 영상 중 하나에서만 가시적인 영역은 스테레오 영상 간의 대응 관계가 설정될 수 없는 영역이다. 따라서, 디스패러티 보정부(130)는 스테레오 영상 중 하나에서만 가시적인 영역 내에 설정되어 있는 대응 관계를 오류로 인한 것으로 결정하고, 오류로 인한 대응 관계를 삭제하여 디스패러티 값을 보정할 수 있다.
픽셀 간의 대응 관계 오류 발생 및 디스패러티 값 보정에 대하여는 아래에서 도 5A 및 5B를 참조하여 추가적으로 설명된다.
도 2a 내지 2b는 스테레오 영상의 픽셀 간의 대응 관계 오류를 설명하기 위한 도면이다. 도 2a 및 도 2b에는 예시적인 스테레오 영상이 도시된다. 여기서, 도 2a 및 도 2b는 각각 동일한 씬에 대한 좌 영상 및 우 영상일 수 있다.
영상 내의 객체는 곡면을 포함할 수 있다. 일정한 곡률을 가지는 객체로서, 도 2a 및 2b에 도시된 바와 같은 컵을 예로 들 수 있다. 도 2a의 좌 영상 내의 컵(210)과 도 2b의 우 영상 내의 컵(220) 사이에는 위치 상의 디스패러티가 존재하며, 영상 처리 장치의 계산부는 컬러 값을 이용하여 스테레오 영상 내 픽셀 간 대응 관계를 설정한 후 각 픽셀에 대하여 디스패러티 값을 계산할 수 있다.
그러나, 로우 텍스처 환경에서 컬러 값만을 이용하여 스테레오 영상 간 대응 관계를 설정한 경우 디스패러티 값 계산 및 깊이 값 계산의 정확도가 떨어질 수 있으며, 그 결과로서 예를 들어 영상 내의 컵의 경계선 부분의 깊이 값은 올바르게 계산되지 않고 오차를 포함하게 될 수 있다. 이러한 문제점을 완화시키기 위하여, 제안되는 영상 처리 장치는 객체 또는 영역의 곡률 값에 기초하여 스테레오 영상 간 대응 관계의 오류를 정정할 수 있다.
도 3은 일실시예에 따른 영상 처리 방법을 도시한 흐름도이다. 도 3의 영상 처리 방법은 예를 들어 도 1의 영상 처리 장치(100)에 의하여 수행될 수 있다.
단계(310)에서, 복수의 컬러 영상이 입력으로서 수신될 수 있다. 입력되는 복수의 컬러 영상은 예를 들어 동일한 씬에 대한 좌 영상 및 우 영상을 포함하는 스테레오 영상일 수 있다. 일실시예에서, 복수의 컬러 영상은 미리 촬영된 후 수신되는 대신 영상 처리 장치에 의해 직접 촬영될 수도 있다.
단계(320)에서, 복수의 컬러 영상으로부터 디스패러티 값이 계산될 수 있다. 디스패러티 값의 계산을 위하여 복수의 컬러 영상 내의 픽셀 간에 대응 관계가 설정될 수 있다. 대응 관계가 설정된 픽셀 간의 위치 차이에 기초하여 디스패러티 값이 계산될 수 있다.
단계(330)에서, 단계(320)에서 계산된 디스패러티 값을 이용하여 영상 내 포인트의 깊이 값이 계산될 수 있다. 포인트는 예를 들어 하나의 픽셀 또는 인접한 복수의 픽셀의 집합일 수 있다.
단계(340)에서, 단계(330)에서 계산된 깊이 값에 기초하여 영상 내 포인트의 곡률 값이 계산될 수 있다. 곡률 값의 계산에는 해당 포인트의 깊이 값 및 스테레오 영상을 촬영한 카메라 간의 거리가 이용될 수 있다. 바람직하게는, 계산되는 곡률 값은 스테레오 영상 간 디스패러티가 발생하는 방향에 따른 곡률에 연관된다. 일실시예에서, 계산된 곡률 값의 분포를 분석하여, 일정한 패턴 또는 경향을 가지지 않는 영역 내의 곡률 값은 유효한 값으로 인정되지 않을 수 있다.
단계(350)에서, 단계(330)에서 계산된 곡률 값에 기초하여 단계(320)에서 계산되었던 디스패러티 값이 보정될 수 있다. 예를 들어, 곡률 값을 이용하여 스테레오 영상 간의 대응 관계에 오류가 있는지 여부를 결정하고, 오류로 인한 대응 관계를 삭제하거나 수정하여 디스패러티 값을 보정함으로써 깊이 값 계산의 정확도를 향상시킬 수 있다.
도 4는 일실시예에 따른 영상 처리 방법을 도시한 흐름도이다. 도 4의 영상 처리 방법은 예를 들어 도 1의 영상 처리 장치(100)에 의하여 수행될 수 있다.
단계(410)에서, 복수의 컬러 영상이 입력으로서 수신될 수 있다. 입력되는 복수의 컬러 영상은 예를 들어 동일한 씬에 대한 좌 영상 및 우 영상을 포함하는 스테레오 영상일 수 있다. 일실시예에서, 복수의 컬러 영상은 미리 촬영된 후 수신되는 대신 영상 처리 장치에 의해 직접 촬영될 수도 있다.
단계(420)에서, 복수의 컬러 영상으로부터 디스패러티 값이 계산될 수 있다. 디스패러티 값의 계산을 위하여 복수의 컬러 영상 내의 픽셀 간에 대응 관계가 설정될 수 있다. 대응 관계가 설정된 픽셀 간의 위치 차이에 기초하여 디스패러티 값이 계산될 수 있다.
단계(430)에서, 단계(420)에서 계산된 디스패러티 값을 이용하여 영상 내 포인트의 깊이 값이 계산될 수 있다. 포인트는 예를 들어 하나의 픽셀 또는 인접한 복수의 픽셀의 집합일 수 있다.
단계(440)에서, 복수의 컬러 영상 중 적어도 하나의 영상으로부터 에지가 검출될 수 있다. 복수의 컬러 영상 중 적어도 하나의 영상 내의 컬러 정보를 이용하여 에지가 검출되면, 검출된 에지를 이용하여 불연속 영역을 식별할 수 있다.
단계(450)에서, 복수의 컬러 영상 중 적어도 하나의 영상으로부터 인트린식 영상을 추출할 수 있다. 인트린식 영상은 조명 정보 또는 표면의 쉐이딩 정보를 곡률 계산에 반영하기 위하여 추출될 수 있다.
단계(460)에서, 단계(450)에서 추출된 인트린식 영상을 이용하여 복수의 컬러 영상 중 적어도 하나의 영상으로부터 쉐이딩 성분이 추출될 수 있다. 예를 들어, 인트린식 영상에서 알베도 성분을 제거하는 방식에 의해 복수의 컬러 영상 중 적어도 하나의 영상에 대응하는 쉐이딩 성분이 추출될 수 있다.
단계(470)에서, 단계(430)에서 계산된 깊이 값 및/또는 단계(460)에서 추출된 쉐이딩 성분에 기초하여 단계(440)에서 식별된 불연속 영역 내 각 포인트의 곡률 값이 계산될 수 있다. 곡률 값의 계산에는 해당 포인트의 깊이 값 및 스테레오 영상을 촬영한 카메라 간의 거리가 이용될 수 있다. 바람직하게는, 계산되는 곡률 값은 스테레오 영상 간 디스패러티가 발생하는 방향에 따른 곡률에 연관된다. 일실시예에서, 계산된 곡률 값의 분포를 분석하여, 일정한 패턴 또는 경향을 가지지 않는 영역 내의 곡률 값은 유효한 값으로 인정되지 않을 수 있다.
단계(480)에서, 단계(470)에서 계산된 곡률 값에 기초하여 단계(420)에서 계산되었던 디스패러티 값이 보정될 수 있다. 예를 들어, 곡률 값을 이용하여 스테레오 영상 간의 대응 관계에 오류가 있는지 여부를 결정하고, 오류로 인한 대응 관계를 삭제하거나 수정하여 디스패러티 값을 보정함으로써 깊이 값 계산의 정확도를 향상시킬 수 있다.
도 5A 및 5B는 일실시예에 따른 디스패러티 값 보정을 설명하기 위한 도면이다. 도 5A 및 도 5B에는 예시적인 스테레오 영상이 도시된다. 여기서, 도 5A 및 도 5B는 각각 동일한 씬에 대한 좌 영상 및 우 영상일 수 있다.
도 5A 및 도 5B는 각각 곡면을 가지는 객체(510)를 포함한다. 객체(510)는 곡면의 특성에 따라 일정한 곡률을 가질 것으로 예상된다. 일실시예에 따른 영상 처리 장치는 계산된 곡률에 기초하여 스테레오 영상 중 어느 하나에서만 가시적인 영역을 식별할 수 있다. 예를 들어, 영상 처리 장치는 도 5A에서 가시적이고 도 5B에서는 비가시적인 영역(511) 및 도 5B에서 가시적이고 도 5A에서는 비가시적인 영역(512)를 식별할 수 있다. 이러한 영역의 경우, 스테레오 영상 간의 대응 관계가 설정될 수 없는 영역이다. 따라서, 영상 처리 장치는 상기 영역(511, 512) 내에 설정되어 있는 스테레오 영상 간의 대응 관계를 오류로 인한 것으로 결정하고, 오류로 인한 대응 관계를 삭제함으로써 디스패러티 값을 보정할 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (18)

  1. 스테레오 영상 내의 제1 포인트에 대응하는 디스패러티 값에 기초하여 상기 제1 포인트에 대한 곡률 값을 계산하는 계산부; 및
    상기 곡률 값을 이용하여 상기 제1 포인트에 대응하는 디스패러티 값을 보정하는 보정부
    를 포함하는, 영상 처리 장치.
  2. 제1항에 있어서,
    상기 계산부는 상기 디스패러티 값을 이용하여 상기 제1 포인트에 대응하는 깊이 값을 계산하고, 상기 깊이 값에 기초하여 상기 곡률 값을 계산하는,
    영상 처리 장치.
  3. 제1항에 있어서,
    상기 계산부는, 상기 스테레오 영상 중 적어도 하나의 영상으로부터 인트린식 영상(intrinsic image)을 추출하고 상기 인트린식 영상을 이용하여 상기 곡률 값을 계산하는,
    영상 처리 장치.
  4. 제3항에 있어서,
    상기 계산부는, 상기 인트린식 영상을 이용하여 상기 스테레오 영상 중 적어도 하나의 영상으로부터 쉐이딩 성분을 추출하고 상기 쉐이딩 성분에 기초하여 상기 곡률 값을 계산하는,
    영상 처리 장치.
  5. 제1항에 있어서,
    상기 계산부는, 상기 스테레오 영상의 적어도 하나의 영역 내의 각 포인트에 대응하는 곡률 값의 분포에 기초하여 상기 제1 포인트에 대응하는 곡률 값의 유효성을 결정하는,
    영상 처리 장치.
  6. 제1항에 있어서,
    상기 곡률 값은 스테레오 영상 간 디스패러티가 발생하는 방향에 따른 곡률에 연관되는,
    영상 처리 장치.
  7. 제1항에 있어서,
    상기 보정부는, 상기 제1 포인트에서의 상기 스테레오 영상 간의 대응 관계에 오류가 있는지 여부를 결정하고, 상기 제1 포인트에서의 상기 스테레오 영상 간의 대응 관계에 오류가 있는 경우 상기 대응 관계를 삭제하는,
    영상 처리 장치.
  8. 제7항에 있어서,
    상기 보정부는, 상기 스테레오 영상의 적어도 하나의 영역 내의 각 포인트에 대응하는 곡률 값의 분포에 기초하여 상기 스테레오 영상 중 하나에서만 가시적인 영역을 식별하고, 상기 제1 포인트가 상기 스테레오 영상 중 하나에서만 가시적인 영역 내에 위치하는 경우 상기 제1 포인트에서의 상기 스테레오 영상 간의 대응 관계에 오류가 있다고 결정하는,
    영상 처리 장치.
  9. 제1항에 있어서,
    상기 보정부는, 상기 스테레오 영상의 적어도 하나의 영역 내의 각 포인트에 대응하는 컬러 값을 이용하여 에지를 추출하고, 상기 추출된 에지를 이용하여 불연속 영역을 식별하고, 상기 불연속 영역에 대응하는 디스패러티 값을 보정하는,
    영상 처리 장치.
  10. 스테레오 영상 간의 대응 관계에 기초하여 디스패러티 맵을 생성하는 디스패러티 맵 생성부; 및
    상기 스테레오 영상 중 적어도 하나의 영상으로부터 인트린식 영상을 추출하고 상기 인트린식 영상 및 상기 디스패러티 맵을 이용하여 상기 스테레오 영상의 적어도 하나의 영역 내의 각 포인트에 대한 곡률 값을 계산하는 계산부
    를 포함하는, 영상 처리 장치.
  11. 제10항에 있어서,
    상기 계산부는, 상기 인트린식 영상을 이용하여 상기 스테레오 영상 중 적어도 하나의 영상으로부터 쉐이딩 성분을 추출하고 상기 쉐이딩 성분에 기초하여 상기 곡률 값을 계산하는,
    영상 처리 장치.
  12. 제10항에 있어서,
    상기 계산부는, 상기 스테레오 영상의 적어도 하나의 영역 내의 각 포인트에 대응하는 곡률 값의 분포에 기초하여 상기 곡률 값의 유효성을 결정하는,
    영상 처리 장치.
  13. 제10항에 있어서,
    상기 곡률 값을 이용하여 상기 적어도 하나의 영역 내의 각 포인트에 대응하는 디스패러티 값을 보정하는 보정부
    를 더 포함하는, 영상 처리 장치.
  14. 스테레오 영상 내의 제1 포인트에 대응하는 디스패러티 값에 기초하여 상기 제1 포인트에 대한 곡률 값을 계산하는 단계; 및
    상기 곡률 값을 이용하여 상기 제1 포인트에 대응하는 디스패러티 값을 보정하는 단계
    를 포함하는, 영상 처리 방법.
  15. 제14항에 있어서,
    상기 곡률 값을 계산하는 단계는,
    상기 스테레오 영상 중 적어도 하나의 영상으로부터 인트린식 영상을 추출하는 단계; 및
    상기 인트린식 영상을 이용하여 상기 곡률 값을 계산하는 단계
    를 포함하는, 영상 처리 방법.
  16. 제14항에 있어서,
    상기 디스패러티 값을 보정하는 단계는,
    상기 제1 포인트에서의 상기 스테레오 영상 간의 대응 관계에 오류가 있는지 여부를 결정하는 단계; 및
    상기 제1 포인트에서의 상기 스테레오 영상 간의 대응 관계에 오류가 있는 경우 상기 대응 관계를 삭제하는 단계
    를 포함하는, 영상 처리 방법.
  17. 제16항에 있어서,
    상기 제1 포인트에서의 상기 스테레오 영상 간의 대응 관계에 오류가 있는지 여부를 결정하는 단계는,
    상기 스테레오 영상의 적어도 하나의 영역 내의 각 포인트에 대응하는 곡률 값의 분포에 기초하여 상기 스테레오 영상 중 하나에서만 가시적인 영역을 식별하는 단계; 및
    상기 제1 포인트가 상기 스테레오 영상 중 하나에서만 가시적인 영역 내에 위치하는 경우 상기 제1 포인트에서의 상기 스테레오 영상 간의 대응 관계에 오류가 있다고 결정하는 단계
    를 포함하는, 영상 처리 방법.
  18. 제14항 내지 제17항 중 어느 한 항에 따른 영상 처리 방법을 실행하는 프로그램이 수록된 컴퓨터 판독 가능 기록 매체.
KR1020160135589A 2016-10-19 2016-10-19 영상 처리 장치 및 방법 KR20180042955A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160135589A KR20180042955A (ko) 2016-10-19 2016-10-19 영상 처리 장치 및 방법
US15/677,213 US10552972B2 (en) 2016-10-19 2017-08-15 Apparatus and method with stereo image processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160135589A KR20180042955A (ko) 2016-10-19 2016-10-19 영상 처리 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20180042955A true KR20180042955A (ko) 2018-04-27

Family

ID=61904032

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160135589A KR20180042955A (ko) 2016-10-19 2016-10-19 영상 처리 장치 및 방법

Country Status (2)

Country Link
US (1) US10552972B2 (ko)
KR (1) KR20180042955A (ko)

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8300085B2 (en) * 2005-10-14 2012-10-30 Microsoft Corporation Occlusion handling in stereo imaging
US8494251B2 (en) * 2008-01-11 2013-07-23 Sri International System and method for measuring image quality
US20110304618A1 (en) 2010-06-14 2011-12-15 Qualcomm Incorporated Calculating disparity for three-dimensional images
WO2012156518A2 (en) * 2011-05-17 2012-11-22 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Methods and device for processing digital stereo image content
US9621869B2 (en) 2012-05-24 2017-04-11 Sony Corporation System and method for rendering affected pixels
KR101889952B1 (ko) 2012-06-18 2018-08-20 엘지디스플레이 주식회사 신뢰도 기반의 스테레오 매칭 방법 및 장치
TWI516093B (zh) 2012-12-22 2016-01-01 財團法人工業技術研究院 影像互動系統、手指位置的偵測方法、立體顯示系統以及立體顯示器的控制方法
US20140241612A1 (en) 2013-02-23 2014-08-28 Microsoft Corporation Real time stereo matching
KR20140109168A (ko) 2013-03-05 2014-09-15 엘지전자 주식회사 영상 처리 장치 및 그 방법
US10109076B2 (en) 2013-06-12 2018-10-23 Brigham Young University Depth-aware stereo image editing method apparatus and computer-readable medium
US20150022631A1 (en) 2013-07-17 2015-01-22 Htc Corporation Content-aware display adaptation methods and editing interfaces and methods for stereoscopic images
KR20150039463A (ko) 2013-10-02 2015-04-10 삼성전자주식회사 3d 디스플레이장치 및 3d영상처리방법
KR20150105069A (ko) 2014-03-07 2015-09-16 장순철 혼합현실형 가상 공연 시스템을 위한 평면 영상 입체화 합성기법
US9754377B2 (en) * 2014-08-15 2017-09-05 Illinois Institute Of Technology Multi-resolution depth estimation using modified census transform for advanced driver assistance systems
KR102262214B1 (ko) 2014-09-23 2021-06-08 삼성전자주식회사 홀로그래픽 3차원 영상 표시 장치 및 방법

Also Published As

Publication number Publication date
US20180108142A1 (en) 2018-04-19
US10552972B2 (en) 2020-02-04

Similar Documents

Publication Publication Date Title
KR102137264B1 (ko) 카메라 포즈 추정 장치 및 방법
KR102320198B1 (ko) 깊이 영상 보정 방법 및 장치
US20200007842A1 (en) Methods for automatic registration of 3d image data
US9916689B2 (en) Apparatus and method for estimating camera pose
US9070042B2 (en) Image processing apparatus, image processing method, and program thereof
KR102483641B1 (ko) 양안 시차 영상의 처리 방법 및 장치
KR20190042187A (ko) 깊이 값을 추정하는 방법 및 장치
KR20160060403A (ko) 영상 보정 방법 및 장치
KR20180087944A (ko) 스테레오 매칭 방법 및 장치
WO2021115040A1 (zh) 图像校正方法、装置、终端设备和存储介质
KR101842141B1 (ko) 3차원 스캐닝 장치 및 방법
KR102550931B1 (ko) 스테레오 매칭 방법 및 장치
KR102362345B1 (ko) 이미지 처리 방법 및 장치
KR20180047367A (ko) 영상 처리 장치 및 방법
KR101436695B1 (ko) 깊이 영상을 이용한 손 검출 장치 및 방법
KR102190297B1 (ko) 상관필터를 이용한 공중표적 추적방법 및 그 시스템
KR20210075618A (ko) 엣지 이미지를 이용한 시차맵 생성 방법 및 장치
KR101617551B1 (ko) 얼굴 검출 능력 향상을 위한 이미지 처리 방법 및 시스템
KR20180042955A (ko) 영상 처리 장치 및 방법
JP6601893B2 (ja) 画像処理装置、画像処理方法、及びプログラム
KR100961616B1 (ko) 컨투어 정합을 이용한 전방향 카메라 보정 방법 및 시스템
US20170309041A1 (en) Method and apparatus for deriving information about input device using marker of the input device
US11516448B2 (en) Method and apparatus for compensating projection images
KR101590114B1 (ko) 깊이 영상의 홀 채움을 위한 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
WO2017090705A1 (ja) 画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal