KR20100064031A - 깊이 영상을 보정하는 방법 및 장치 - Google Patents

깊이 영상을 보정하는 방법 및 장치 Download PDF

Info

Publication number
KR20100064031A
KR20100064031A KR1020080122440A KR20080122440A KR20100064031A KR 20100064031 A KR20100064031 A KR 20100064031A KR 1020080122440 A KR1020080122440 A KR 1020080122440A KR 20080122440 A KR20080122440 A KR 20080122440A KR 20100064031 A KR20100064031 A KR 20100064031A
Authority
KR
South Korea
Prior art keywords
color
depth
corrected
depth image
value
Prior art date
Application number
KR1020080122440A
Other languages
English (en)
Other versions
KR101497659B1 (ko
Inventor
심재영
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020080122440A priority Critical patent/KR101497659B1/ko
Priority to US12/458,672 priority patent/US8306323B2/en
Priority to EP09168002.5A priority patent/EP2194725B1/en
Publication of KR20100064031A publication Critical patent/KR20100064031A/ko
Application granted granted Critical
Publication of KR101497659B1 publication Critical patent/KR101497659B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Color Image Communication Systems (AREA)
  • Color Television Image Signal Generators (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

보정 대상 컬러의 컬러 식별 정보와, 기준 컬러의 깊이 값과 상기 보정 대상 컬러의 깊이 값의 차이가 반영된 측정 오차 값에 따라 이루어진 테이블을 구성하고, 상기 테이블을 참조하여 피사체의 깊이 영상을 보정하는 장치 및 방법을 개시한다.
Depth camera, 3D, TOF, Time of flight, Depth calibration, 깊이 보정

Description

깊이 영상을 보정하는 방법 및 장치{METHOD AND APPARATUS FOR CORRECTING DEPTH IMAGE}
본 발명의 실시예들은 보정 대상 컬러의 깊이 값과 기준 컬러의 깊이 값의 차이에 기초하여, 깊이 카메라의 깊이 영상의 왜곡을 보정함으로써, 피사체에 대해 정확하고 현실적인 깊이 영상을 생성할 수 있다.
3차원 정보는 많은 응용 분야에 사용할 수 있다. 일반적으로 3차원 정보는 형상(geometry) 정보와 컬러(color) 정보로 이루어진다. 컬러 정보는 CCD(Charged Coupled Device) 카메라나 CMOS(Complementary Metal-Oxide-Semiconductor) 카메라와 같은 영상 취득 장비를 이용하여 컬러 영상의 형태로 취득할 수 있다. 형상 정보는 깊이(depth) 영상의 형태로 취득될 수 있다. 깊이 영상은 여러 장의 컬러 영상들로부터 computer vision 기술을 이용하여 수동적으로 추출할 수도 있지만 이러한 방법은 일반적으로 과정이 복잡하고 정확한 실세계의 깊이 값들을 제공하기 어렵다. 이에 비해 비교적 쉽고 정확하게 깊이 영상을 취득할 수 있는 방법은, 깊이 카메라(depth camera)를 이용하여 피사체를 촬영하는 것이다. 깊이 카메라로 생성된 깊이 영상은, 촬영된 피사체에 대한 픽셀 별 깊이 값을 제공한다.
그러나, 깊이 카메라는 TOF(Time Of Flight)에 기반하여 깊이를 측정하는 방식으로써, 주변 환경이나 피사체의 특성에 따라 측정된 깊이 값의 왜곡이 발생할 수 있다. 구체적으로, 피사체의 컬러들이 깊이 카메라와 동일한 거리 선상에 위치하더라도, 컬러들의 색상 차이로 인해, 서로 다른 거리 선상에 놓인 것처럼 왜곡될 수 있다.
본 발명의 일실시예에 따른 깊이 영상 보정 방법은 보정 대상 컬러의 컬러 식별 정보와, 기준 컬러의 깊이 값과 상기 보정 대상 컬러의 깊이 값의 차이가 반영된 측정 오차 값에 따라 이루어진 테이블을 구성하는 단계, 피사체의 깊이 영상에서 상기 보정 대상 컬러의 부분을 결정하는 단계, 및 상기 테이블을 참조하여, 상기 결정된 부분의 깊이 값을 상기 측정 오차 값으로 보정하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 일실시예에 따른 깊이 영상 보정 장치는 보정 대상 컬러의 컬러 식별 정보와, 기준 컬러의 깊이 값과 상기 보정 대상 컬러의 깊이 값의 차이가 반영된 측정 오차 값에 따라 이루어진 테이블을 저장하는 테이블 저장부, 피사체의 깊이 영상에서 상기 보정 대상 컬러의 부분을 확인하는 보정 대상 컬러 확인부, 및 상기 테이블을 참조하여, 상기 확인된 부분의 깊이 값을 상기 측정 오차 값에 기초하여 보정하는 보정부를 포함하는 것을 특징으로 한다.
본 발명의 일실시예에 따른 깊이 영상 보정 장치는 피사체의 컬러별 깊이 왜곡을 보정함으로써, 피사체의 실제 깊이 특성에 대응하는 깊이 영상을 생성할 수 있다.
본 발명의 일실시예에 따른 깊이 영상 보정 장치는 깊이 카메라의 종류별로 다른 크기의 왜곡을 보정하여, 피사체의 실제 깊이 특성에 대응하는 깊이 영상을 생성할 수 있다.
본 발명의 일실시예에 따른 깊이 영상 보정 장치는 보정을 위한 테이블을 유지함으로써, 본 발명에 따른 보정 기능이 없는 깊이 카메라에도 손쉽게 보정 기능을 추가시킬 수 있다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 깊이 영상 보정 장치의 깊이 영상 보정 방법을 설명하기 위한 흐름도이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 깊이 영상 보정 장치는 보정 대상 컬러의 컬러 식별 정보와 상기 컬러 식별 정보에 대응되는 측정 오차 값에 따라 이루어진 테이블을 구성하고 이를 유지한다(S101).
상기 보정 대상 컬러라 함은, 기준 컬러 이외의 모든 컬러를 의미한다.
또한, 상기 보정 대상 컬러라 함은, 깊이 카메라로부터 상기 기준 컬러까지의 거리와 동일한 거리 상에 놓여 있다 하더라도 상기 기준 컬러의 깊이 값과는 다른 깊이 값을 갖는 컬러로 해석될 수 있다.
즉, 보정 대상 컬러는 실제의 깊이가 왜곡되는 컬러로 해석될 수 있으며, 상기 기준 컬러는 실제의 깊이와 동일한 컬러로 해석될 수 있다. 실제로 기준 컬러도 실제의 깊이와 미세한 왜곡이 있을 수 있으나, 이상적인 환경을 고려하여 왜곡이 없다고 가정한다.
본 발명의 일실시예에 따른 상기 깊이 카메라는 상기 피사체에 조사된 광 신호가 반사되어 돌아오는 시간차(TOF, Time Of Flight)에 기초하여, 상기 깊이 영상을 생성하는 어떠한 카메라로도 해석될 수 있다.
바람직하게, 상기 기준 컬러는 흰색, 검정색, 회색 등의 무채색일 수 있다. 또한, 상기 측정 오차 값은 상기 기준 컬러의 깊이 값과, 상기 보정 대상 컬러의 깊이 값의 차이를 반영하여 결정될 수 있다.
이하에서는 설명의 편의를 위해, 상기 측정 오차 값과, 상기 기준 컬러의 깊이 값에 대한 상기 보정 대상 컬러의 깊이 값의 차이 값을 동일한 것으로 해석한다.
도 2는 본 발명의 일실시예에 따른 보정 대상 컬러와 기준 컬러를 설명하기 위한 도면이다.
본 발명의 일실시예에 따른 깊이 카메라가 촬영하여 생성한 깊이 영상(210)은 기준 컬러(211), 제1 보정 대상 컬러(212), 및 제2 보정 대상 컬러(213)를 포함한다. 기준 컬러(211), 제1 보정 대상 컬러(212), 및 제2 보정 대상 컬러(213)는 각각 다른 주파수 범위를 갖는 컬러이다. 또한, 기준 컬러(211), 제1 보정 대상 컬러(212), 및 제2 보정 대상 컬러(213)는 상기 깊이 카메라의 촬상면으로부터 동일한 거리 상에서 촬영이 되었음을 가정할 때, 실제로 동일한 깊이 값이 측정되어야 함에도 불구하고 서로 다른 깊이 값이 측정된다.
도면부호 220은 깊이 영상(210)을 입체적인 관점에서 바라본 측면도(220)이다. 측면도(220)를 살펴보면, 깊이 영상(210)이 실제로 상기 깊이 카메라의 촬상 면으로부터 동일한 거리 상에서 촬영이 되었음에도 불구하고, 서로 다른 입체를 갖는다. 구체적으로, 기준 컬러(211)에 비해서 제1 보정 대상 컬러(212)는 측정 오차 값(221)만큼 볼록한 입체로 표시되고, 기준 컬러(211)에 비해서 제2 보정 대상 컬러(213)는 측정 오차 값(222)만큼 볼록한 입체로 표시된다.
즉, 제1 보정 대상 컬러(212)의 깊이 값은 실제의 깊이보다 측정 오차 값(221)만큼 얕게 확인되고, 제2 보정 대상 컬러(213)의 깊이 값은 실제의 깊이보다 측정 오차 값(222)만큼 얕게 확인된다.
이 때, 본 발명에 따른 깊이 영상 보정 장치는 단계 101에서 상기 보정 대상 컬러 별로 확인된 측정 오차 값들을 상기 테이블에 기록할 수 있다.
상기 테이블은 도 3을 통해 구체적으로 설명한다.
도 3은 본 발명의 일실시예에 따른 테이블(300)을 설명하기 위한 도면이다.
테이블은 보정 대상 컬러의 컬러 식별 정보를 저장하는 제1 필드와, 상기 제1 필드에 대응하여 측정 오차 값을 저장하는 제2 필드를 포함한다.
예를 들어, 보정 대상 컬러의 컬러 식별 정보인 컬러 식별 정보1(301)은 상기 제1 필드에 저장되며, 측정 오차 값인 a(302)는 상기 제2 필드에 저장된다.
컬러 식별 정보1(301)은 컬러를 고유 식별하고, 전자기적 기록 매체에 저장될 수 있는 어떠한 형태도 가능하다. 또한, 측정 오차 값인 a(302)는 기준 컬러의 깊이 값과 컬러 식별 정보1(301)로 구분되는 보정 대상 컬러의 깊이 값의 차이 값으로서, 선정된 단위의 수치 형태일 수 있다.
즉, 테이블(300)은 가시 대역(visible bandwidth)의 파장을 갖는 보정 대상 컬러들에 대해서, 기준 컬러에 대비하여 산출된 측정 오차 값을 저장한다.
본 발명의 일실시예에 따르면, 상기 테이블을 깊이 카메라의 메모리에 기록함으로써, 보정 기능이 없는 깊이 카메라에도 손쉽게 보정 기능을 추가시킬 수 있다.
다시 도 1을 참조하면, 상기 깊이 영상 보정 장치는 생성한 깊이 영상에서 상기 보정 대상 컬러의 부분을 결정한다(S102).
구체적으로, 상기 깊이 영상 보정 장치는 상기 깊이 영상의 픽셀들이 표현하는 컬러들을 확인하고, 상기 깊이 영상에서 보정 대상 컬러가 어느 픽셀에서 표현되는지를 확인한다.
다음으로, 상기 깊이 영상 보정 장치는 상기 테이블을 참조하여, 상기 보정 대상 컬러에 대응되는 측정 오차 값을 확인하고, 상기 깊이 영상에서 상기 보정 대상 컬러가 위치하는 픽셀에 대한 깊이 값을 보정한다(S103).
본 발명의 일실시예에 따른 깊이 영상 보정 장치는 상기 측정 오차 값 이외에도 제2 측정 오차 값으로 상기 깊이 영상을 보정할 수 있다.
구체적인 예로써, 상기 측정 오차 값은 상기 피사체의 컬러의 특징에 기초하여 산출되는 수치인데 반해, 상기 제2 측정 오차 값은 상기 피사체의 거리 정보, 재질 정보, 온도 정보, 습도 정보, 명도(brightness) 정보, 및 채도(saturation) 정보 중에서 적어도 어느 하나의 정보에 기초하여, 산출될 수 있다. 이에, 상기 깊이 영상 보정 장치는 단계 103 또는 단계 103 이후의 새로운 단계에서, 상기 산출된 제2 측정 오차 값을 이용하여 상기 깊이 영상의 왜곡을 보정할 수 있다. 추 가적으로, 상기 거리 정보는 상기 피사체와 상기 깊이 카메라 간의 거리로 해석이 가능하다.
본 발명의 일실시예에 따른 상기 깊이 영상 보정 장치는 보정 대상 컬러를 변경하면서, 깊이 영상에서 보정 대상 컬러들이 위치하는 픽셀들에 대한 깊이를 보정하고, 결과적으로 깊이 영상에서 컬러 별로 깊이 값이 왜곡된 픽셀들을 보정할 수 있다.
결국, 본 발명의 일실시예에 따른 깊이 영상 보정 장치를 이용하면, 피사체의 컬러에 따른 깊이 왜곡을 보정함으로써, 피사체의 실제 깊이 특성에 대응하는 깊이 영상을 생성할 수 있다. 뿐만 아니라, 본 발명의 일실시예에 따른 깊이 영상 보정 장치를 이용하면, 깊이 카메라의 종류별로 다른 왜곡 특정을 편리하고 신속하게 보정할 수 있으며, 이로 인해, 피사체의 실제 깊이 특성에 대응하는 깊이 영상을 생성할 수 있다.
도 4는 캘리브레이션 패턴을 이용하여, 측정 오차 값을 결정하는 방법을 설명하기 위한 흐름도이다.
본 발명의 일실시예에 따른 깊이 영상 보정 장치는 동일한 평면 상에서 적어도 둘 이상의 컬러를 표시하는 캘리브레이션 패턴을 이용하여, 보정 대상 컬러에 대한 측정 오차 값들을 산출한다. 또한, 상기 산출된 측정 오차 값들을 상기 보정 대상 컬러와 연관지어 테이블을 생성하거나 업데이트한다.
구체적으로, 상기 깊이 영상 보정 장치는 캘리브레이션 패턴을 이용하여, 깊이 영상을 생성한다(S401). 예를 들어, 깊이 영상 보정 장치는 깊이 카메라를 제어하여 상기 캘리브레이션 패턴을 촬영함으로써 상기 깊이 영상을 생성하도록 할 수 있다.
캘리브레이션 패턴은, 특정 깊이 카메라에서 기준 컬러의 깊이 값과 보정 대상 컬러의 깊이 값의 측정 오차 값을 알아보기 위한 것으로써, 동일한 평면 상에서 적어도 둘 이상의 컬러로써 표현된다. 이 때, 상기 캘리브레이션 패턴 중 어느 하나의 컬러가 기준 컬러로 지정되고, 다른 컬러들이 보정 대상 컬러로 지정될 수 있다.
다음으로, 상기 깊이 영상 보정 장치는 상기 캘리브레이션 패턴 상에서, 상기 기준 컬러 및 상기 보정 대상 컬러의 위치를 확인하고(S402), 이에 기초하여 상기 깊이 영상에서 상기 기준 컬러의 위치 및 상기 보정 대상 컬러의 위치를 산출한다(S403). 즉, 상기 깊이 영상 보정 장치는 상기 캘리브레이션 패턴을 참조하여, 촬영된 깊이 영상에서, 기준 컬러가 표시되는 픽셀들과 보정 대상 컬러가 표시되는 픽셀들을 확인한다.
상기 깊이 영상 보정 장치는 상기 산출된 기준 컬러의 위치에서의 깊이 값과 상기 확인된 보정 대상 컬러의 위치에서의 깊이 값의 차이 값을 산출하고, 상기 산출된 차이 값을 상기 보정 대상 컬러에 대한 상기 측정 오차 값으로 결정한다(S404). 깊이 영상으로부터는 픽셀 별로 깊이 값을 알 수 있기 때문에, 상기 깊이 영상 보정 장치는 상기 확인된 픽셀들의 깊이 값들을 산출하여 그 차이 값을 산출할 수 있다.
다음으로, 상기 깊이 영상 보정 장치는 상기 보정 대상 컬러의 컬러 식별 정보와 상기 결정된 측정 오차 값을 연관지어 상기 테이블에 기록한다(S405). 이로써, 상기 깊이 영상 보정 장치는 상기 캘리브레이션 패턴의 깊이 영상을 촬영하여, 테이블을 생성하거나 기존의 테이블을 업데이트할 수 있다.
본 발명의 일실시예에 따른 상기 깊이 영상 보정 장치는 깊이 카메라와 캘리브레이션 패턴 사이의 다양한 거리별로 테이블을 생성할 수도 있다.
뿐만 아니라, 상기 깊이 영상 보정 장치는 깊이 카메라의 종류 정보, 피사체 주변의 환경 정보, 및 캘리브레이션 패턴 정보를 상기 테이블에 더 기록할 수 있다.
도 5는 깊이 영상에서 보정 대상 컬러의 부분을 결정하는 방법을 설명하기 위한 흐름도이다.
상기 깊이 영상 보정 장치는 피사체의 깊이 영상에서 상기 보정 대상 컬러의 부분을 결정하기 위해서, 먼저, 컬러 카메라를 이용하여 상기 피사체의 컬러 영상을 생성하도록 한다(S501). 상기 컬러 카메라는 CMOS(complementary metal-oxide semiconductor) 카메라 또는 CCD(charge-coupled device) 카메라와 같이 피사체의 컬러를 촬영할 수 있는 어떠한 카메라로도 해석될 수 있다.
다음으로, 상기 깊이 영상 보정 장치는 상기 생성된 컬러 영상과 깊이 카메라가 생성한 깊이 영상을 매칭시킨다(S502).
이에, 상기 깊이 영상 보정 장치는 상기 생성된 컬러 영상에서 상기 보정 대상 컬러의 위치를 확인하고, 상기 확인된 보정 대상 컬러의 위치에 기초하여, 상기 깊이 영상에서 상기 보정 대상 컬러의 부분을 결정한다(S503).
구체적인 예로, 상기 깊이 카메라와 상기 컬러 카메라는 상호 연동하여 상기 피사체를 촬영함으로써, 깊이 영상과 컬러 영상을 각각 생성한다. 이에, 상기 깊이 영상 보정 장치는 상기 생성된 컬러 영상에서 상기 보정 대상 컬러의 위치를 산출하고, 카메라 캘리브레이션 기법 등을 이용하여 상기 깊이 카메라와 상기 컬러 카메라와의 변환 정보를 산출한다.
상기 변환 정보는 상기 깊이 카메라와 상기 컬러 카메라와의 위치 관계로 해석될 수 있다. 예를 들어, 상기 변환 정보는 상기 깊이 카메라를 기준으로 컬러 카메라가 이격된 거리와 이격된 방향을 포함하는 벡터 정보일 수 있다.
변환 정보가 산출되면, 상기 깊이 영상 보정 장치는 상기 산출된 보정 대상 컬러의 위치에 상기 산출된 변환 정보를 반영하여, 상기 깊이 영상에서 상기 보정 대상 컬러가 표시되는 부분의 픽셀들을 확인할 수 있다.
도 6은 본 발명의 일실시예에 따른 깊이 영상 보정 장치를 설명하기 위한 블록도이다.
도 6에서 보는 바와 같이, 본 발명의 일실시예에 따른 깊이 영상 보정 장치(600)는 테이블 저장부(610), 보정 대상 컬러 확인부(620), 및 보정부(630)를 포함한다.
먼저, 테이블 저장부(610)는 보정 대상 컬러의 컬러 식별 정보와, 기준 컬러의 깊이 값과 상기 보정 대상 컬러의 깊이 값의 차이가 반영된 측정 오차 값에 따라 구성된 테이블을 저장한다. 이를 위해, 테이블 저장부(610)는 깊이 카메라의 저장 매체에 포함될 수 있으며, 소정의 웹 서버 또는 다른 저장 매체로부터 상기 테이블을 백업받거나, 새로운 테이블로 기존 테이블을 업데이트할 수 있다.
다른 예로써, 테이블 저장부(610)는 상기 깊이 카메라의 롬에 포함될 수 있다. 이 경우, 상기 테이블은 소정의 알고리즘으로 구현되는 프로그램의 형태일 수 있다. 즉, 깊이 카메라가 피사체를 촬영하여 깊이 영상을 생성하면, 상기 롬에 기록되는 테이블은 주변의 램 또는 캐시(Cache) 메모리와 연동하여 상기 알고리즘으로써 상기 깊이 영상을 보정할 수 있다.
다음으로, 보정 대상 컬러 확인부(620)는 상기 피사체의 깊이 영상에서 상기 보정 대상 컬러의 부분을 확인한다. 구체적으로, 보정 대상 컬러 확인부(620)는 컬러 카메라를 이용하여 생성된 상기 피사체의 컬러 영상에서, 상기 보정 대상 컬러의 위치를 확인하고, 상기 확인된 보정 대상 컬러의 위치에 기초하여, 상기 깊이 영상에서 상기 보정 대상 컬러로 표시되는 부분의 위치를 산출한다.
이를 위해, 보정 대상 컬러 확인부(620)는 컬러 영상을 참조하여, 상기 깊이 영상에서 상기 보정 대상 컬러의 부분을 확인할 수 있다.
일례로, 깊이 영상과 컬러 영상이 하나의 모듈로써 촬영되는 경우, 다시 말해, 깊이 카메라가 컬러 영상도 생성할 수 있는 경우는 카메라 모듈 내에서 자동으로 깊이 영상의 특정 픽셀이 피사체의 어느 컬러부분에 대응되는지를 확인할 수 있다.
다른 예로써, 깊이 영상과 컬러 영상이 분리된 모듈로써 촬영되는 경우, 보정 대상 컬러 확인부(620)는 생성된 깊이 영상과 생성된 컬러 영상의 매칭을 통해서 상기 깊이 영상의 특정 픽셀이 피사체의 어느 컬러부분에 대응되는지를 확인할 수 있다. 다른 관점에서 설명하면, 컬러 영상의 특정 픽셀들이 깊이 영상에서 어떤 깊이 값으로 생성되었는지 확인할 수 있다. 또 다른 관점에서 설명하면, 보정 대상 컬러 확인부(620)는 컬러 카메라를 이용하여 생성된 상기 피사체의 컬러 영상에서, 상기 보정 대상 컬러의 위치를 확인하고, 상기 확인된 보정 대상 컬러의 위치에 기초하여, 상기 깊이 영상에서 상기 보정 대상 컬러로 표시되는 부분의 위치를 산출한다.
깊이 영상과 컬러 영상의 매칭을 위한 일례로, 상호 연동하는 깊이 카메라와 컬러 카메라의 위치 관계를 고려하여 컬러 영상과 깊이 영상을 매칭시킬 수 있다.
구체적으로 설명하면, 상기 보정 대상 컬러 확인부(620)는 컬러 카메라를 이용하여 생성된 상기 피사체의 컬러 영상에서 상기 보정 대상 컬러의 위치를 확인한다. 또한, 상기 보정 대상 컬러 확인부(620)는 상기 깊이 카메라와 상기 컬러 카메라와의 위치 관계 중에서 상호 이격된 변환 정보를 산출한다. 이 때, 상기 변환 정보는 이격된 방향의 정보를 포함하여 벡터(vector) 형태로 산출될 수 있다. 다음으로, 상기 보정 대상 컬러 확인부(620)는 상기 산출된 보정 대상 컬러의 위치에 상기 산출된 변환 정보를 반영하여, 상기 깊이 영상에서 상기 보정 대상 컬러로 표시되는 부분을 결정한다. 만약, 컬러 카메라와 깊이 카메라가 피사체로부터 동일한 거리에 떨어져 있지 않은 경우, 상기 산출되는 변환 정보는 상기 컬러 카메라와 상기 깊이 카메라의 이격된 거리를 반영하여, 3차원 벡터 형태로 산출될 수 있다.
다음으로, 보정부(630)는 상기 테이블을 참조하여, 상기 확인된 부분의 깊이 값을 상기 측정 오차 값에 기초하여 보정한다. 예를 들어, 보정부(630)는 상기 보정 대상 컬러의 깊이 갚을 보정하기 위해서, 상기 확인된 부분의 깊이 값에 상기 측정 오차 값을 더해 보정된 깊이 값으로 결정할 수 있다.
본 발명의 일실시예에 따른 깊이 영상 보정 장치(600)는 캘리브레이션부(640)를 더 포함할 수 있다.
캘리브레이션부(640)는 기준 컬러의 위치에 대한 깊이 값과 보정 대상 컬러의 깊이 값의 차이 값을 산출한다. 이에, 테이블 저장부(610)는 상기 산출된 차이 값을 상기 보정 대상 컬러의 측정 오차 값으로 결정하여, 상기 컬러 식별 정보와 상기 결정된 측정 오차 값을 연관지어 상기 테이블에 기록한다.
구체적으로 설명하면, 캘리브레이션부(640)는 상기 기준 컬러 및 상기 보정 대상 컬러를 포함하는 캘리브레이션 패턴의 깊이 영상을 생성한다. 이 후, 캘리브레이션부(640)는 상기 캘리브레이션 패턴에서 상기 기준 컬러 및 상기 보정 대상 컬러의 위치를 확인한다. 또한, 캘리브레이션부(640)는 상기 확인된 기준 컬러의 위치 및 상기 확인된 보정 대상 컬러의 위치에 대응하여, 상기 깊이 영상에서 상기 기준 컬러의 위치 및 상기 보정 대상 컬러의 위치를 산출한다. 다음으로, 캘리브레이션부(640)는 상기 산출된 기준 컬러의 위치에 대한 깊이 값과 상기 확인된 보정 대상 컬러의 깊이 값의 차이 값을 산출한다.
본 발명의 일실시예에 따른 캘리브레이션부(640)는 테이블을 생성 또는 업데이트하는 구성 요소로써, 테이블 저장부(610), 보정 대상 컬러 확인부(620), 및 보정부(630)와는 시계열적으로 독립될 수 있다.
결국, 본 발명에 따른 깊이 영상 보정 장치를 이용하면, 피사체의 컬러에 따른 깊이 왜곡을 보정함으로써, 피사체의 실제 깊이 특성에 대응하는 깊이 영상을 생성할 수 있다. 뿐만 아니라, 깊이 카메라 별로 왜곡의 정도가 다르나, 이런 다양성에 적응하여 피사체의 실제 깊이 특성에 대응하는 깊이 영상을 생성할 수 있다.
본 발명에 깊이 영상 보정 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지 이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
도 1은 본 발명의 일실시예에 따른 깊이 영상 보정 방법을 설명하기 위한 흐름도이다.
도 2는 본 발명의 일실시예에 따른 보정 대상 컬러와 기준 컬러를 설명하기 위한 도면이다.
도 3은 본 발명의 일실시예에 따른 테이블을 설명하기 위한 도면이다.
도 4는 캘리브레이션 패턴을 이용하여, 측정 오차 값을 결정하는 방법을 설명하기 위한 흐름도이다.
도 5는 깊이 영상에서 보정 대상 컬러의 부분을 결정하는 방법을 설명하기 위한 흐름도이다.
도 6은 본 발명의 일실시예에 따른 깊이 영상 보정 장치를 설명하기 위한 블록도이다.
<도면의 주요 부분에 대한 부호의 설명>
600: 깊이 영상 보정 장치
610: 테이블 저장부
620: 보정 대상 컬러 확인부
630: 보정부
640: 캘리브레이션부

Claims (16)

  1. 보정 대상 컬러의 컬러 식별 정보와, 기준 컬러의 깊이 값과 상기 보정 대상 컬러의 깊이 값의 차이가 반영된 측정 오차 값에 따라 이루어진 테이블을 구성하는 단계;
    피사체의 깊이 영상에서 상기 보정 대상 컬러의 부분을 결정하는 단계; 및
    상기 테이블을 참조하여, 상기 결정된 부분의 깊이 값을 상기 측정 오차 값으로 보정하는 단계
    를 포함하는 것을 특징으로 하는 깊이 영상 보정 방법.
  2. 제1항에 있어서,
    상기 기준 컬러 및 상기 보정 대상 컬러를 포함하는 캘리브레이션 패턴(calibration pattern)의 깊이 영상을 생성하는 단계;
    상기 캘리브레이션 패턴에서, 상기 기준 컬러 및 상기 보정 대상 컬러의 위치를 확인하는 단계;
    상기 확인된 기준 컬러의 위치 및 상기 확인된 보정 대상 컬러의 위치에 대응하여, 상기 깊이 영상에서 상기 기준 컬러의 위치 및 상기 보정 대상 컬러의 위치를 산출하는 단계;
    상기 산출된 기준 컬러의 위치에서의 깊이 값과 상기 확인된 보정 대상 컬러의 위치에서의 깊이 값의 차이 값을 산출하는 단계;
    상기 산출된 차이 값을 상기 보정 대상 컬러에 대한 상기 측정 오차 값으로 결정하는 단계; 및
    상기 컬러 식별 정보와 상기 결정된 측정 오차 값을 연관지어 상기 테이블에 기록하는 단계
    를 더 포함하는 것을 특징으로 하는 깊이 영상 보정 방법.
  3. 제1항에 있어서,
    상기 피사체의 거리 정보, 재질 정보, 온도 정보, 습도 정보, 명도(brightness) 정보, 및 채도(saturation) 정보 중에서 적어도 어느 하나의 정보에 기초하여, 제2 측정 오차 값을 산출하는 단계; 및
    상기 산출된 제2 측정 오차 값으로, 상기 보정된 깊이 값을 2차 보정하는 단계
    를 더 포함하는 것을 특징으로 하는 깊이 영상 보정 방법.
  4. 제1항에 있어서,
    피사체의 깊이 영상에서 상기 보정 대상 컬러의 부분을 결정하는 상기 단계는,
    컬러 카메라를 이용하여 상기 피사체의 컬러 영상을 생성하는 단계; 및
    상기 생성된 컬러 영상에서 상기 보정 대상 컬러의 위치를 확인하고, 상기 확인된 보정 대상 컬러의 위치에 기초하여, 상기 깊이 영상에서 상기 보정 대상 컬 러의 부분을 결정하는 단계
    를 포함하는 것을 특징으로 하는 깊이 영상 보정 방법.
  5. 제4항에 있어서,
    상기 컬러 카메라는 CMOS(complementary metal-oxide semiconductor) 카메라 및 CCD(charge-coupled device) 카메라 중에서 적어도 어느 하나인 것을 특징으로 하는 깊이 영상 보정 방법.
  6. 제1항에 있어서,
    피사체의 깊이 영상에서 상기 보정 대상 컬러의 부분을 결정하는 상기 단계는,
    상기 깊이 영상을 생성하는 깊이 카메라와 연동하는, 컬러 카메라를 이용하여 상기 피사체의 컬러 영상을 생성하는 단계;
    상기 생성된 컬러 영상에서 상기 보정 대상 컬러의 위치를 산출하는 단계;
    상기 깊이 카메라와 상기 컬러 카메라와의 변환 정보를 산출하는 단계; 및
    상기 산출된 보정 대상 컬러의 위치에 상기 산출된 변환 정보를 반영하여, 상기 깊이 영상에서 상기 보정 대상 컬러의 부분을 결정하는 단계
    를 포함하는 것을 특징으로 하는 깊이 영상 보정 방법.
  7. 제6항에 있어서,
    상기 깊이 카메라는 상기 피사체에 조사된 광 신호가 반사되어 돌아오는 시간차(TOF, Time Of Flight)에 기초하여, 상기 깊이 영상을 생성하는 것을 특징으로 하는 깊이 영상 보정 방법.
  8. 제1항에 있어서,
    상기 기준 컬러와 상기 보정 대상 컬러는 상기 깊이 영상을 생성하는 깊이 카메라로부터 동일한 거리 상에서 촬영되는 것을 특징으로 하는 깊이 영상 보정 방법.
  9. 제1항에 있어서,
    상기 기준 컬러는 흑색, 백색, 및 회색 중에서 어느 하나의 컬러인 것을 특징으로 하는 깊이 영상 보정 방법.
  10. 제1항 내지 제9항 중 어느 한 항의 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
  11. 보정 대상 컬러의 컬러 식별 정보와, 기준 컬러의 깊이 값과 상기 보정 대상 컬러의 깊이 값의 차이가 반영된 측정 오차 값에 따라 이루어진 테이블을 저장하는 테이블 저장부;
    피사체의 깊이 영상에서 상기 보정 대상 컬러의 부분을 확인하는 보정 대상 컬러 확인부; 및
    상기 테이블을 참조하여, 상기 확인된 부분의 깊이 값을 상기 측정 오차 값에 기초하여 보정하는 보정부
    를 포함하는 것을 특징으로 하는 깊이 영상 보정 장치.
  12. 제11항에 있어서,
    상기 기준 컬러 및 상기 보정 대상 컬러를 포함하는 캘리브레이션 패턴(calibration pattern)의 깊이 영상을 생성하고, 상기 캘리브레이션 패턴에서 상기 기준 컬러 및 상기 보정 대상 컬러의 위치를 확인하는 캘리브레이션부
    를 더 포함하는 것을 특징으로 하는 깊이 영상 보정 장치.
  13. 제12항에 있어서,
    상기 캘리브레이션부는, 상기 확인된 기준 컬러의 위치 및 상기 확인된 보정 대상 컬러의 위치에 대응하여, 상기 깊이 영상에서 상기 기준 컬러의 위치 및 상기 보정 대상 컬러의 위치를 산출하고, 상기 산출된 기준 컬러의 위치에 대한 깊이 값과 상기 확인된 보정 대상 컬러의 깊이 값의 차이 값을 산출하며,
    상기 테이블 저장부는 상기 산출된 차이 값을 상기 보정 대상 컬러의 측정 오차 값으로 결정하고,
    상기 컬러 식별 정보와 상기 결정된 측정 오차 값을 연관지어 상기 테이블에 기록하는 것을 특징으로 하는 깊이 영상 보정 장치.
  14. 제11항에 있어서,
    상기 보정 대상 컬러 확인부는,
    컬러 카메라를 이용하여 생성된 상기 피사체의 컬러 영상에서, 상기 보정 대상 컬러의 위치를 확인하고, 상기 확인된 보정 대상 컬러의 위치에 기초하여, 상기 깊이 영상에서 상기 보정 대상 컬러로 표시되는 부분의 위치를 산출하는 것을 특징으로 하는 깊이 영상 보정 장치.
  15. 제11항에 있어서,
    상기 보정 대상 컬러 확인부는,
    상기 깊이 영상을 생성하는 깊이 카메라와 연동하는, 컬러 카메라를 이용하여 생성된 상기 피사체의 컬러 영상에서 상기 보정 대상 컬러의 위치를 확인하고, 상기 깊이 카메라와 상기 컬러 카메라와의 변환 정보를 산출하는 것을 특징으로 하는 깊이 영상 보정 장치.
  16. 제15항에 있어서,
    상기 보정 대상 컬러 확인부는,
    상기 산출된 보정 대상 컬러의 위치에 상기 산출된 변환 정보를 반영하여, 상기 깊이 영상에서 상기 보정 대상 컬러로 표시되는 부분을 결정하는 것을 특징으로 하는 깊이 영상 보정 장치.
KR1020080122440A 2008-12-04 2008-12-04 깊이 영상을 보정하는 방법 및 장치 KR101497659B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020080122440A KR101497659B1 (ko) 2008-12-04 2008-12-04 깊이 영상을 보정하는 방법 및 장치
US12/458,672 US8306323B2 (en) 2008-12-04 2009-07-20 Method and apparatus for correcting depth image
EP09168002.5A EP2194725B1 (en) 2008-12-04 2009-08-17 Method and apparatus for correcting a depth image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080122440A KR101497659B1 (ko) 2008-12-04 2008-12-04 깊이 영상을 보정하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20100064031A true KR20100064031A (ko) 2010-06-14
KR101497659B1 KR101497659B1 (ko) 2015-03-02

Family

ID=41668432

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080122440A KR101497659B1 (ko) 2008-12-04 2008-12-04 깊이 영상을 보정하는 방법 및 장치

Country Status (3)

Country Link
US (1) US8306323B2 (ko)
EP (1) EP2194725B1 (ko)
KR (1) KR101497659B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101300350B1 (ko) * 2011-08-09 2013-08-28 삼성전기주식회사 영상 처리 장치 및 영상 처리 방법
WO2014051320A1 (ko) * 2012-09-28 2014-04-03 삼성전자주식회사 움직임 벡터와 변이 벡터를 예측하는 영상 처리 방법 및 장치
US9350925B2 (en) 2011-11-02 2016-05-24 Samsung Electronics Co., Ltd. Image processing apparatus and method
US9554120B2 (en) 2012-06-29 2017-01-24 Samsung Electronics Co., Ltd. Apparatus and method for generating depth image using transition of light source
US9819879B2 (en) 2011-07-12 2017-11-14 Samsung Electronics Co., Ltd. Image filtering apparatus and method based on noise prediction using infrared ray (IR) intensity
US10324033B2 (en) 2012-07-20 2019-06-18 Samsung Electronics Co., Ltd. Image processing apparatus and method for correcting an error in depth

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7716565B2 (en) * 2004-08-20 2010-05-11 Broadcom Corporation Method and system for decoding video, voice, and speech data using redundancy
KR101281961B1 (ko) * 2009-12-21 2013-07-03 한국전자통신연구원 깊이 영상 편집 방법 및 장치
US8823776B2 (en) * 2010-05-20 2014-09-02 Cisco Technology, Inc. Implementing selective image enhancement
US8866889B2 (en) 2010-11-03 2014-10-21 Microsoft Corporation In-home depth camera calibration
US8448056B2 (en) * 2010-12-17 2013-05-21 Microsoft Corporation Validation analysis of human target
US8769409B2 (en) * 2011-05-27 2014-07-01 Cyberlink Corp. Systems and methods for improving object detection
US8773499B2 (en) 2011-06-24 2014-07-08 Microsoft Corporation Automatic video framing
CN102645231B (zh) * 2012-05-03 2014-11-19 中国科学院长春光学精密机械与物理研究所 基于编码器特征点的光学圆靶标动态误差标定方法
KR102137266B1 (ko) * 2012-09-28 2020-07-23 삼성전자주식회사 움직임 벡터와 변이 벡터를 예측하는 영상 처리 방법 및 장치
CN109242901B (zh) * 2017-07-11 2021-10-22 深圳市道通智能航空技术股份有限公司 应用于三维相机的图像校准方法和装置
CN107564020B (zh) * 2017-08-31 2020-06-12 北京奇艺世纪科技有限公司 一种图像区域确定方法及装置
US10951859B2 (en) 2018-05-30 2021-03-16 Microsoft Technology Licensing, Llc Videoconferencing device and method
JP7291276B2 (ja) * 2018-09-10 2023-06-14 京セラ株式会社 電磁波検出装置の調整方法、及び、判定方法
CN111537074A (zh) * 2020-03-31 2020-08-14 深圳奥比中光科技有限公司 一种温度测量方法及系统
CN112291445B (zh) * 2020-10-28 2023-04-25 北京字节跳动网络技术有限公司 图像处理的方法、装置、设备和存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08249491A (ja) * 1995-02-14 1996-09-27 Internatl Business Mach Corp <Ibm> 奥行き情報を含むテクスチャ・イメージを用いる３ｄグラフィック装置
JP2003018604A (ja) * 2001-07-04 2003-01-17 Matsushita Electric Ind Co Ltd 画像信号符号化方法、画像信号符号化装置および記録媒体
US7171045B1 (en) * 2001-12-28 2007-01-30 Packeteer, Inc. System and method for determining a natural color depth of a digital image
WO2004107266A1 (en) 2003-05-29 2004-12-09 Honda Motor Co., Ltd. Visual tracking using depth data
US8134637B2 (en) * 2004-01-28 2012-03-13 Microsoft Corporation Method and system to increase X-Y resolution in a depth (Z) camera using red, blue, green (RGB) sensing
US7672028B2 (en) * 2005-09-29 2010-03-02 Hewlett-Packard Development Company, L.P. Color target layout
US7869649B2 (en) * 2006-05-08 2011-01-11 Panasonic Corporation Image processing device, image processing method, program, storage medium and integrated circuit
US7724253B1 (en) * 2006-10-17 2010-05-25 Nvidia Corporation System and method for dithering depth values
US7737989B2 (en) * 2006-10-27 2010-06-15 Texas Instruments Incorporated System and method for computing color correction coefficients
KR100873638B1 (ko) * 2007-01-16 2008-12-12 삼성전자주식회사 영상 처리 방법 및 장치
CA2627999C (en) 2007-04-03 2011-11-15 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry Through The Communications Research Centre Canada Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images
KR100891549B1 (ko) * 2007-05-22 2009-04-03 광주과학기술원 깊이 카메라를 이용하여 보완한 깊이 정보 생성 방법 및장치, 그리고 그 방법을 수행하는 프로그램이 기록된 기록매체

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9819879B2 (en) 2011-07-12 2017-11-14 Samsung Electronics Co., Ltd. Image filtering apparatus and method based on noise prediction using infrared ray (IR) intensity
KR101300350B1 (ko) * 2011-08-09 2013-08-28 삼성전기주식회사 영상 처리 장치 및 영상 처리 방법
US9350925B2 (en) 2011-11-02 2016-05-24 Samsung Electronics Co., Ltd. Image processing apparatus and method
US9554120B2 (en) 2012-06-29 2017-01-24 Samsung Electronics Co., Ltd. Apparatus and method for generating depth image using transition of light source
US10324033B2 (en) 2012-07-20 2019-06-18 Samsung Electronics Co., Ltd. Image processing apparatus and method for correcting an error in depth
WO2014051320A1 (ko) * 2012-09-28 2014-04-03 삼성전자주식회사 움직임 벡터와 변이 벡터를 예측하는 영상 처리 방법 및 장치

Also Published As

Publication number Publication date
EP2194725B1 (en) 2016-03-30
EP2194725A1 (en) 2010-06-09
US8306323B2 (en) 2012-11-06
KR101497659B1 (ko) 2015-03-02
US20100142815A1 (en) 2010-06-10

Similar Documents

Publication Publication Date Title
KR20100064031A (ko) 깊이 영상을 보정하는 방법 및 장치
CN113256730B (zh) 用于阵列相机的动态校准的系统和方法
CN110809786B (zh) 校准装置、校准图表、图表图案生成装置和校准方法
JP5961945B2 (ja) 画像処理装置、その画像処理装置を有するプロジェクタ及びプロジェクタシステム、並びに、画像処理方法、そのプログラム、及び、そのプログラムを記録した記録媒体
KR102085228B1 (ko) 깊이 센서의 깊이 보정을 위한 이미지 처리방법 및 그 장치
JP6394081B2 (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
CN112150528A (zh) 一种深度图像获取方法及终端、计算机可读存储介质
US20110310376A1 (en) Apparatus and method to correct image
JP2015128242A (ja) 画像投影装置及びそのキャリブレーション方法
CN107808398B (zh) 摄像头参数算出装置以及算出方法、程序、记录介质
JP2005326247A (ja) 校正装置及び校正方法並びに校正プログラム
US20120162387A1 (en) Imaging parameter acquisition apparatus, imaging parameter acquisition method and storage medium
JP2013041167A (ja) 画像処理装置、プロジェクタ、プロジェクタシステム、画像処理方法、そのプログラム、及び、そのプログラムを記録した記録媒体
JP2016218815A (ja) ラインセンサカメラのキャリブレーション装置及び方法
US11284052B2 (en) Method for automatically restoring a calibrated state of a projection system
TWI462056B (zh) 影像處理方法，裝置及電腦程式產品
JP6088864B2 (ja) キャリブレーションシステム、およびキャリブレーション方法
JP2019091122A (ja) デプスマップフィルタ処理装置、デプスマップフィルタ処理方法及びプログラム
US20170256046A1 (en) Information processing apparatus, method of controlling information processing apparatus, and storage medium
US20210256729A1 (en) Methods and systems for determining calibration quality metrics for a multicamera imaging system
JP2018009927A (ja) 画像処理装置、画像処理方法及びプログラム
US11166005B2 (en) Three-dimensional information acquisition system using pitching practice, and method for calculating camera parameters
CN115471566A (zh) 一种双目标定方法和系统
KR20130041440A (ko) 영상 처리 장치 및 방법
CN112262411A (zh) 图像关联方法、系统和装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180117

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20200120

Year of fee payment: 6