KR20110052993A - 영상 보정 장치 및 영상 보정 방법 - Google Patents

영상 보정 장치 및 영상 보정 방법 Download PDF

Info

Publication number
KR20110052993A
KR20110052993A KR1020090109769A KR20090109769A KR20110052993A KR 20110052993 A KR20110052993 A KR 20110052993A KR 1020090109769 A KR1020090109769 A KR 1020090109769A KR 20090109769 A KR20090109769 A KR 20090109769A KR 20110052993 A KR20110052993 A KR 20110052993A
Authority
KR
South Korea
Prior art keywords
depth
measured
correction
depth value
value
Prior art date
Application number
KR1020090109769A
Other languages
English (en)
Other versions
KR101626072B1 (ko
Inventor
심현정
심재영
김도균
안정환
호르넝 알렉산더
그로스 마커스
아델스베르거 롤프
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090109769A priority Critical patent/KR101626072B1/ko
Priority to US12/926,370 priority patent/US8339582B2/en
Publication of KR20110052993A publication Critical patent/KR20110052993A/ko
Priority to US13/685,032 priority patent/US8743349B2/en
Application granted granted Critical
Publication of KR101626072B1 publication Critical patent/KR101626072B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)

Abstract

영상 보정 장치 및 영상 보정 방법이 제공된다.
수신부는 깊이 센서에 의해 측정된 깊이값 및 측정된 광도를 수신할 수 있다.
보정부는 측정된 깊이값 및 측정된 광도에 매핑되는 보정용 깊이값을 제1저장부로부터 독출하고, 독출된 보정용 깊이값을 이용하여 측정된 깊이값을 보정할 수 있다.
보정용 깊이값들은 서로 다른 복수의 깊이 정보 및 서로 다른 복수의 광도에 의해 매핑될 수 있다.
깊이 카메라, 깊이값, 광도, intensity, 보정

Description

영상 보정 장치 및 영상 보정 방법{Method and Apparatus for Compensating Image}
영상 보정 장치 및 영상 보정 방법에 관한 것이며, 측정된 거리와 측정된 광도에 따라 발생하는 깊이값의 왜곡 보정에 관련된 것이다.
깊이 카메라(Depth camera)는 TOF(Time of Flight) 정보를 측정하여 물체까지의 거리를 계산하여 깊이 영상(Depth image)을 획득한다. TOF 정보는 카메라로부터 방출된 광이 대상체에 의해 반사되어 카메라의 센서로 수광되는 시간을 측정한 것이다. 깊이 카메라는 TOF 정보와 광의 속도를 이용하여 대상체와 깊이 카메라간의 거리를 산출하고, 그 결과 깊이 영상을 획득한다.
그러나, 깊이 카메라는 TOF 정보에 기반하여 깊이를 측정하므로, 깊이 카메라와 대상체 간의 측정 거리와 반사광의 세기(intensity)에 따라 측정된 깊이 값에 왜곡이 발생할 수 있다. 따라서, 깊이 카메라로부터 측정된 TOF 정보를 3D 정보(3-dimensional information)로 모델링할 때, 왜곡을 보정할 수 있는 기술이 필요하다.
제안되는 실시예에 따른 영상 보정 장치는, 깊이 센서에 의해 측정된 깊이값 및 측정된 광도를 수신하는 깊이값 수신부; 및 상기 측정된 깊이값 및 상기 측정된 광도에 매핑되는 보정용 깊이값을 제1저장부로부터 독출하고, 상기 독출된 보정용 깊이값을 이용하여 상기 측정된 깊이값을 보정하는 보정부를 포함하고, 상기 보정용 깊이값들은 서로 다른 복수의 깊이 정보 및 서로 다른 복수의 광도에 의해 매핑되어 저장될 수 있다.
상기 보정부는, 상기 저장된 보정용 깊이값들 중, 상기 깊이 센서에 의해 측정된 깊이값과 측정된 광도에 동시에 매핑되는 보정용 깊이값을 확인하고, 상기 측정된 깊이값을 상기 확인된 보정용 깊이값으로 대체할 수 있다.
상기 보정용 깊이값들은 기준 컬러의 실제 깊이값과 상기 기준 컬러의 측정된 깊이값의 차이인 측정 오차값을 반영하여 생성될 수 있다.
상기 보정용 깊이값들은 상기 기준 컬러와 상기 깊이 센서 간의 거리를 변경하면서 산출될 수 있다.
상기 보정용 깊이값들은 상기 깊이 센서에 의해 측정된 반사광의 세기인 광도와 측정 거리에 따른 왜곡을 보정하기 위한 것이다.
복수의 깊이 촬영장치들을 통해 생성되는 깊이 영상들 간의 위치 및 방향 교정(calibration)을 위한 교정 정보를 저장하는 제2저장부; 및 상기 생성되는 깊이 영상들이 서로 매칭되도록 상기 저장된 정보에 기초하여 상기 깊이 영상들의 위 치와 방향을 교정하는 교정부를 더 포함할 수 있다.
상기 교정 정보는 기준 패턴을 촬영한 광도 영상으로부터 획득되는 복수개의 3D 포인트를 이용하여 산출되는 상기 각 깊이 촬영장치의 위치 정보 및 방향 정보를 포함할 수 있다.
한편, 제안하는 실시예에 따른 영상 보정 방법은, 깊이 센서에 의해 측정된 깊이값 및 측정된 광도를 수신하는 단계; 상기 측정된 깊이값 및 상기 측정된 광도에 매핑되는 보정용 깊이값을 저장된 룩업테이블로부터 독출하는 단계; 및 상기 독출된 보정용 깊이값을 이용하여 상기 측정된 깊이값을 보정하는 단계를 포함하고, 상기 보정용 깊이값들은 서로 다른 복수의 깊이 정보 및 서로 다른 복수의 광도에 의해 매핑되어 있을 수 있다.
상기 확인하는 단계는, 상기 기저장된 보정용 깊이값들 중, 상기 깊이 센서에 의해 측정된 깊이값과 측정된 광도에 동시에 매핑되는 보정용 깊이값을 확인하고, 상기 보정하는 단계는, 상기 측정된 깊이값을 상기 확인된 보정용 깊이값으로 대체할 수 있다.
복수의 깊이 촬영장치들을 통해 생성되는 깊이 영상들 간의 위치 및 방향 교정(calibration)을 위한 교정 정보를 이용하여, 상기 깊이 영상들 간의 위치 및 방향을 교정하는 단계를 더 포함할 수 있다.
상기 교정 정보는 기준 패턴을 촬영한 광도 영상으로부터 획득되는 복수개의 3D 포인트를 이용하여 산출되는 상기 각 깊이 촬영장치의 위치 정보 및 방향 정보를 포함할 수 있다.
한편, 제안하는 실시예에 따른 영상 보정 방법은, 일정 거리에서 피사체를 촬영하여 복수의 광도 및 깊이값을 측정하는 단계; 상기 복수의 측정된 광도 및 상기 복수의 측정된 깊이값을 이용하여, 상기 일정 거리에 대응하는 깊이 오차값을 산출하기 위한 관계식을 구하는 단계; 상기 구한 관계식을 이용하여, 상기 측정된 광도와 상기 일정 거리에 의해 왜곡된 깊이값을 보정하기 위한 상기 보정용 깊이값을 산출하는 단계; 및 상기 산출된 보정용 깊이값을 저장하는 단계를 포함할 수 있다.
상기 일정 거리를 변경하고, 상기 변경된 거리에 대응하는 보정용 깊이값을 산출하는 단계를 더 포함할 수 있다.
제안되는 실시예에 따르면, 깊이 촬영장치의 센서에서 IR 반사광의 세기와 측정 거리에 의해 발생하는 깊이값의 오차를, LUT 형태로 저장된 보정용 깊이값을 이용하여 보다 정확하고 신뢰도있게 보정할 수 있다.
보정용 깊이값은 피사체와 깊이 카메라간의 촬영 거리를 고려하고, 복수의 광도와 복수의 깊이값에 매핑되어 저장되므로, 측정된 깊이값은 보다 정확하고 신속히 보정할 수 있다.
또한, 복수의 깊이 촬영장치 간의 위치와 방향을 교정하는데 필요한 정보를 미리 저장해 놓음으로써, 서로 다른 촬영장치에서 취득한 형상 정보를 신속히 교정하고, 정확하게 정합할 수 있다.
또한, 깊이 촬영장치와 컬러 카메라를 이용하는 멀티뷰 캡쳐링 시스템에서, 깊이 촬영장치와 컬러 촬영장치 간의 변환 관계를 기산출하여 저장해 놓음으로써, 물체의 3D 형상 및 색상정보를 정확하게 정합하여 표현할 수 있다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 제안되는 실시예에 따른 영상 보정 장치를 도시한 블록도이다.
도 1에 도시된 영상 보정 장치(100)는 복수의 깊이 촬영장치 및 복수의 컬러 촬영장치를 이용하여 획득한 깊이 영상과 광도 영상의 깊이를 보정하고, 각 영상간의 위치와 방향 교정(calibration)을 수행할 수 있다.
깊이 촬영장치는 적외선(IR: Ingra Red)과 같은 광원을 피사체에 조사하고, 피사체로부터 반사된 광을 깊이 센서를 통해 감지하여 시간차(TOF : Time of Flight)를 측정한다. 즉, 깊이 촬영장치는 광을 피사체로 조사한 시점부터 피사체로부터 반사된 광이 감지되는 시점까지의 시간을 고려하여 깊이값을 산출하고, 산출된 깊이값을 영상으로 표현함으로써 피사체를 나타내는 깊이 영상을 획득한다. 깊이값(depth)은 깊이 카메라와 피사체의 각 지점(예를 들어, 픽셀)까지의 측정된 거리를 의미한다. 이하에서는 깊이 촬영장치를 깊이 카메라라 한다.
또한, 깊이 카메라는 감지된 광의 세기(intensity)를 측정한다. 그 결과 깊이 카메라는 감지된 광의 세기를 나타내는 광도 영상과 측정된 깊이 영상을 획득할 수 있다. 광도는 깊이 센서가 방출하는 광원이 측정하고자 하는 피사체에서 반사되어 다시 깊이 센서로 돌아온 광의 밝기 또는 세기를 나타낸다.
컬러 촬영장치는 피사체의 컬러 영상을 생성한다. 컬러 촬영장치는 CMOS(complementary metal-oxide semiconductor) 카메라 또는 CCD(charge-coupled device) 카메라와 같이 피사체의 컬러를 촬영할 수 있는 어떠한 장치로도 이해될 수 있다. 이하에서는 컬러 촬영장치를 컬러 카메라라 한다.
3D 입체 영상을 촬영하기 위하여, 각 깊이 카메라(11, 12)는 서로 다른 위치에서 동일한 피사체를 촬영하며, 이로써, 피사체를 이루는 각 픽셀의 깊이값과 광도를 측정할 수 있다. 하나의 깊이 카메라와 하나의 컬러 카메라는 페어(pair)를 이루어 동일한 위치에 설치될 수 있다. 도 1의 경우, 깊이 카메라(11)와 컬러 카메라(21)가 페어이며, 깊이 카메라(12)와 컬러 카메라(22)가 페어를 이루고 있다.
도 1을 참조하면, 영상 보정 장치(100)는 수신부(105), 제1저장부(110), 제2저장부(120), 깊이 카메라 보정부(130), 컬러 카메라 보정부(140) 및 상호 교정부(150)를 포함할 수 있다.
수신부(105)는 깊이 카메라(11, 12)로부터 촬영된 깊이 영상과 광도 영상을 수신하고, 컬러 카메라(21, 22)로부터 촬영된 컬러 영상을 수신할 수 있다.
제1저장부(110) 및 제2저장부(120)는 비휘발성 메모리로서 깊이 카메라와 컬러 카메라를 통해 획득된 영상을 보정하는데 필요한 정보를 저장할 수 있다.
구체적으로, 제1저장부(110)에는 각 깊이 카메라(11, 12)로부터 측정된 깊이값, 측정된 광도, 측정 거리를 고려하여, 측정된 깊이값의 왜곡을 보정하기 위한 보정용 깊이값이 저장될 수 있다. 즉, 제안되는 보정용 깊이값들은 깊이 센서에 의해 측정된 광도(IR intensity)와 측정 거리에 의해 발생한 깊이값의 왜곡을 보정 하기 위한 것이다.
제1저장부(110)에는 서로 다른 복수의 깊이 정보 및 서로 다른 복수의 광도에 매핑되는 보정용 깊이값들이 [표 1]과 같이 룩업테이블 형태로 저장될 수 있다. 깊이 정보는 기준 패턴을 기측정하여 획득된 깊이값을 의미할 수 있다.
IN OUT
측정된 깊이값 측정된 광도 보정용 깊이값
[표 1]을 참조하면, 깊이 카메라(11, 12)로부터 측정된 깊이값과 측정된 광도가 입력(IN)으로 저장되며, 보정용 깊이값은 그에 대응하는 출력으로 저장될 수 있다. [표 1]의 룩업테이블은 도 2로부터 생성되는 것이다.
룩업테이블에 저장되는 깊이값은 실험 단계에서 사용된 측정 거리 또는 실측된 거리일 수 있다. 보정용 깊이값들은 실험과정에서 사용되는 기준 패턴 중 기준 컬러의 실제 깊이값과 측정된 깊이값의 차이인 측정 오차값을 반영하여 생성될 수 있다. 기준 컬러는 기준 패턴을 이루는 복수의 픽셀들 중 임의 픽셀의 컬러일 수 있다.
이러한 보정용 깊이값들은 기준 패턴과 깊이 카메라 간의 거리를 변경하면서 산출될 수 있다.
도 2는 제1저장부에 저장된 보정용 깊이값의 분포도를 도시한 도면이다.
도 2에 도시된 분포도는, 측정된 깊이값이 동일할 때, 측정된 IR 광도가 변하면 실제 깊이값이 다르다는 것을 보여준다. 이하에서는 제1저장부(110)에 저장되는 룩업테이블(LUT: Look-Up Table)을 생성하는 과정에 대해 설명한다. LUT는 영상보정장치를 생산하는 단계에서 생성되어 제품화될 수 있다.0044
LUT 산출부(미도시)는 실험을 통하여 얻은 측정값(즉, 측정된 깊이값)과 실제 보정 물체가 가지는 반사값(즉, 광도)을 비교하여 에러 분포도를 생성하고, 생성된 에러 분포도로부터 보정을 위한 수학적인 모델을 산출할 수 있다. LUT 산출부는 영상 보정 장치(100)에 포함되거나 또는 별도의 중앙 컴퓨터일 수 있다.
보정 물체의 예로는 도 3에 도시된 바와 같이 밝기가 수평 방향으로 선형적으로 변하는 기준 패턴을 사용할 수 있다. 도 3의 x 축 및 y축은 기준 패턴을 이루는 각 픽셀의 밝기를 나타낸다.
도 3에 도시된 기준 패턴 중 일부 영역을 깊이 카메라를 이용하여 측정한 깊이 오차값(error)은 도 4에 도시된 바와 같다. 도 4를 참조하면, 직선은 기준 패턴과 깊이 카메라의 실제 거리(즉, 실제 깊이값), 곡선은 기준 패턴과 깊이 카메라의 측정된 깊이값이다. 상기 실제 거리는 실험 단계에서 설정되는 값이므로 설계자는 실제 거리를 알 수 있다. [수학식 1]은 도 4의 분포도를 기초로 하여 유출된 깊이 오차값의 수학적 모델이다.
Figure 112009069883164-PAT00001
[수학식 1]을 참조하면, x는 측정된 광도, 즉, IR intensity, E(x)는 깊이 오차값, α, β, г 및 δ는 보정 함수를 위한 상수이다. LUT 산출부는 [수학식 1]에 도 3의 광도, 오차값 등을 여러 번 대입하여 α, β, г 및 δ를 구할 수 있다. 즉, 설계자는 기준 패턴을 측정한 거리를 알고 있으므로, 임의 거리에서 측정한 깊이값과 실제 거리의 차이에 의해 깊이 오차값을 알 수 있다. 따라서, 설계자는 [수학식 1]에 임의 거리에서 측정된 광도와 이미 알고 있는 깊이 오차값을 대입하여 임의 거리에서의 상수α, β, г 및 δ를 획득한다. 그리고, α, β, г 및 δ를 [수학식 1]에 대입하여 임의 거리에 대응하는 관계식을 생성할 수 있다.
제안되는 실시예에 따르면, α, β, г 및 δ를 산출함으로써, E(x)가 가지고 있는 노이즈를 제거할 수 있으며, 후술할 측정되지 않은 거리, 즉, 보간이 필요한 거리에서 α, β, г 및 δ를 이용하여 효율적으로 보간할 수 있다.
α, β, г 및 δ를 구함으로써 [수학식 1]이 완성되면, 설계자는 기준 패턴의 위치를 일정 거리만큼 변경한다. LUT 산출부는 변경된 거리에서 기준 패턴을 촬영하여 광도와 깊이값을 측정할 수 있다. 즉, LUT 산출부는 기준 패턴과 깊이 카메라간의 거리를 변경하면서 각 거리에 대응하는 광도와 깊이값을 측정하고, 측정된 깊이값과 실제 거리를 비교할 수 있다. LUT 산출부는 예를 들어, 50cm, 1m와 같이 일정 간격만큼 변경하면서 기준 패턴을 촬영할 수 있다.
예를 들어, 먼저 50cm에서 기준 패턴을 측정한 경우, LUT 산출부는 기준 패턴을 측정한 거리 50cm를 알고 있다. 따라서, LUT 산출부는 50cm에서 기준 패턴을 측정한 깊이값과 실제 거리 50cm의 차이를 구하여 깊이 오차값을 획득한다. LUT 산출부는 [수학식 1]에 임의 거리 50cm에서 측정된 광도와 기산출한 깊이 오차값을 대입하여 임의 거리 50cm에서의 α, β, г 및 δ를 획득한다.
이로써 임의 거리 50cm에서의 깊이 오차값을 구하는 일반화된 [수학식 1]이 생성된다. LUT 산출부는 임의 거리에서 생성된 [수학식 1]에 임의 거리에서 측정된 모든 광도를 대입하여 각 광도에 대응하는 깊이 오차값을 산출하고, 산출된 깊이 오차값과 측정된 깊이값을 가산하여 보정용 깊이값을 생성할 수 있다.
설계자는 다시 거리를 변경하며, LUT 산출부는 변경된 거리, 예를 들어, 1m에서의 [수학식 1]을 상술한 방법을 통해 생성하고, 다른 거리에 대응하는 [수학식 1]을 생성한다.
이를 도식화한 도면이 도 5에 도시된다. 도 5는 기준 패턴과 깊이 카메라간의 거리를 변경하면서 측정한 깊이값과 광도에 따른 실제값을 도시한 도면이다.
즉, LUT 산출부는 각 실험 거리에서 측정된 광도를 이용하여 각 실험 거리에 대응하는 [수학식 1]의 상수를 산출하고, 산출된 상수를 [수학식 1]에 적용한다. 그리고, [수학식 1]에 광도를 대입하여 깊이 오차값을 산출하고, 산출된 오차값과 측정된 오차값을 가산함으로써 실제 깊이값(즉, 보정용 깊이값)을 출력하는 LUT을 생성할 수 있다.
이 때, 사용되지 않은 거리, 즉, 측정되지 않은 기준 패턴과 깊이 카메라간의 거리에 해당하는 보정용 깊이값은 보간에 의해 획득될 수 있다. 도 2는 도 5의 분포도를 보간한 결과를 도시한 도면이다. 이로써, 모든 거리에 대해 보정용 깊이값을 산출하지 않아도 보다 간단히 각 거리에 대응하는 보정용 깊이값을 산출하여 LUT 형태로 저장할 수 있다.
제1저장부(110)의 LUT에 정의되는 구간의 간격(resolution)은 사용자 또는 설계자의 선택에 따라 달라질 수 있다. 구간의 간격은 실험 과정에서 사용되는 기준 패턴과 깊이 카메라간의 거리를 변경할 때 사용되는 간격이다. 예를 들어, 50cm에서 1m로 변경된 경우, 구간의 간격은 1m-50cm= 50cm이다.
다시 도 1을 참조하면, 제2저장부(120)에는 복수의 카메라 간의 교정(calibration)을 위한 정보가 저장될 수 있다. 구체적으로, 제2저장부(120)에는 깊이 카메라(11, 12) 간의 위치와 방향을 교정하기 위한 정보, 컬러 카메라(21, 22) 간의 위치와 방향을 보정하기 위한 정보와 광학적 렌즈의 왜곡을 교정하기 위한 정보가 저장될 수 있다. 또한, 제2저장부(120)에는 깊이 카메라(11, 12)와 컬러 카메라(21, 22) 간의 위치와 방향을 교정하기 위한 정보가 저장될 수 있다.
이하에서는 카메라 간의 교정을 위한 정보를 산출하는 과정에 대해 설명한다.
각 카메라(11, 12, 21, 22) 간의 교정을 위해 산출해야 하는 정보는 교정 정보 산출부에 의해 산출될 수 있으며, 교정 정보 산출부는 영상 보정 장치(100)에 포함되거나 또는 별도의 중앙 컴퓨터로 구현될 수 있다.
각 카메라(11, 12, 21, 22) 간의 교정을 위해 산출해야 하는 정보를 정리하면 다음 [표 2]와 같다.
깊이 카메라 간 EXTRINSIC 상수(rotation 상수, translation 상수)
컬러 카메라 간 INTRINSIC 상수(예: focal length)
EXTRINSIC 상수(rotation 상수, translation 상수)
깊이 카메라와 컬러 카메라 EXTRINSIC 상수(rotation 상수, translation 상수)
[표 2]를 참조하면, 깊이 카메라(11, 12) 간의 위치와 방향을 교정하기 위해 필요한 정보는 EXTRINSIC 상수이다. EXTRINSIC 상수는 카메라의 방향 정보인 rotation 상수와 카메라의 위치 정보인 translation 상수를 포함한다. 위치 정보는 모든 카메라들이 공통으로 사용하는 기준점을 중심으로 산출될 수 있다.
컬러 카메라 간의 보정을 위해 필요한 정보는 INTRINSIC 상수와 EXTRINSIC 상수이다. INTRINSIC 상수는 컬러 카메라의 광학적 렌즈 왜곡을 보정하기 위한 정보이다.
또한, 깊이 카메라와 컬러 카메라 간의 보정을 위해 필요한 정보는 EXTRINSIC 상수이다.
먼저, 깊이 카메라 간의 위치와 방향 교정을 위한 제1정보를 산출하는 것에 대해 설명한다. 제안되는 실시예에 의하면, 깊이 카메라는 일반적으로 저해상도 영상과 관련되므로, 보다 정확한 calibration을 위하여, 3D 포인트 기반의 캘리브레이션 방식을 사용할 수 있다.
교정 정보 산출부(미도시)는 격자판(checkerboard)를 촬영한 2D amplitude 영상으로부터 2D 포인트를 n개 추출할 수 있다. 교정 정보 산출부는 추출된 n개의 2D 포인트에 대응하는 3D 포인트를 저장된 3D 좌표 테이블로부터 확인하고, 3D 포인트들이 대표하는 면(plnae)을 도 6에 도시된 바와 같이 계산할 수 있다.
n개의 3D 포인트는 모두 하나의 격자판에 존재하므로, 교정 정보 산출부는 3D 포인트들을 대표하는 면에 수직방향으로 재투영함으로써 노이즈에 안정적인 면과 포인트를 획득할 수 있다. 재투영은 3D 포인트들을 상기 대표하는 면의 위로 이동시키는 것을 의미할 수 있다. 이로써, 각 깊이 카메라마다 n개의 3D 포인트들이 정해지며, 이 n개의 3D 포인트들은 서로 다른 깊이 카메라마다 대응되는 포인트로 존재한다. 단, 각 3D 포인트들의 좌표(x,y,z)는 깊이 카메라마다 다를 수 있다.
교정 정보 산출부는 복수의 깊이 카메라들 중 기준 카메라를 정하고, 기준 카메라와 그 외 깊이 카메라간의 rotation 상수와 translation 상수를 [수학식 2]를 이용하여 산출할 수 있다.
Figure 112009069883164-PAT00002
[수학식 2]를 참조하면, pj는 j번째 깊이 카메라의 3D 포인트 좌표, pi는 i번째 깊이 카메라의 3D 포인트 좌표, Rij는 i번째 깊이 카메라에서 j번째 깊이 카메라에 대응하는 rotation 매트릭스, Tij는 i번째 깊이 카메라에서 j번째 깊이 카메라에 대응하는 translation 벡터를 나타낸다. rotation 매트릭스와 translation 벡터는 각각 rotation 상수 및 translation 상수이다. [수학식 2]를 사용하여 산출되는 모든 깊이 카메라의 rotation 상수와 translation 상수는 제2저장부(120)에 저장된다.
도 1에 도시된 바와 같이 깊이 카메라가 2개 구비되는 경우, 제1정보는 기준 카메라(예를 들어, 11)를 중심으로 깊이 카메라(12)에 대한 1개의 정보가 산출될 수 있다. 또한, 깊이 카메라가 3개 구비되는 경우, 제1정보는 하나의 기준 카 메라를 중심으로 2개 산출될 수 있다.
둘째, 컬러 카메라 간의 위치와 방향 교정을 위한 제2정보를 산출하는 것에 대해 설명한다.
컬러 카메라는 일반적으로 고화질 영상을 제공하며, 광학적 왜곡이 심각하지 않다. 따라서, 제2정보는 주지된 알고리즘을 이용하여 산출될 수 있다. 제2정보를 산출하기 위한 알고리즘의 예로는 격자패턴의 영상, 즉, checkerboard의 영상을 이용하여 컬러 카메라들의 INSTRINSIC 상수와 INSTRINSIC 상수를 산출하는 Bouguet 알고리즘(Jean-Yves Bouguet, Camera calibration toolbox for MATLAB)을 들 수 있다. 컬러 카메라가 3대 구비되는 경우, 제2정보 중 INSTRINSIC 상수와 INSTRINSIC 상수는 각각 2개 산출될 수 있다.
셋째, 깊이 카메라와 컬러 카메라 간의 위치와 방향 교정을 위한 제3정보를 산출하는 것에 대해 설명한다. 제3정보 역시 주지된 Bouguet 알고리즘 또는 그 외 다양한 기술을 이용하여 산출될 수 있다. 예를 들어, 격자패턴 위의 포인트들은 컬러 카메라와 깊이 카메라의 출력값인 amplitude 영상을 통해 관찰할 수 있으므로, 관찰을 통해 두 카메라 간의 변환을 위한 제3정보를 산출할 수 있다. 깊이 카메라가 3대, 컬러 카메라가 3대 구비되는 경우, 제3정보는 3개 산출될 수 있다.
상술한 방법에 의해 산출된 제1 내지 제3정보는 제2저장부(120)에 저장될 수 있다.
다시 도 1을 참조하면, 깊이 카메라 보정부(130)는 각 깊이 카메라(11, 12)에 의해 측정된 영상을 보정할 수 있다.
특히, 깊이값 보정부(131)는 깊이 카메라에 의해 측정된 광도 및 측정 거리에 따른 왜곡을 보정할 수 있다. 구체적으로, 깊이값 보정부(131)는, 각 깊이 카메라(11, 12)로부터 측정된 깊이값과 측정된 광도가 수신부(105)로부터 입력되면, 측정된 깊이값과 측정된 광도에 동시에 매핑되는 보정용 깊이값을 제1저장부(110)에 저장된 LUT로부터 확인할 수 있다. 그리고, 깊이값 보정부(131)는 픽셀에 대해 측정된 깊이값을 확인된 보정용 깊이값으로 대체하여, 측정된 깊이값의 왜곡을 보정할 수 있다.
또한, 깊이 카메라 보정부(130)는 temporal 필터링을 이용하여, 시간에 따른 깊이 센서의 노이즈를 보정할 수 있으며, 광도 영상의 픽셀 위치에 따른 왜곡을 보정할 수 있으며, 광학적 렌즈에 의한 왜곡을 보정할 수 있다.
상술한 바와 같이 모든 보정이 수행되면, 깊이 카메라 보정부(130)는 보정된 깊이 영상을 상호 교정부(150)로 제공할 수 있다. 깊이 카메라 보정부(130)는 다른 깊이 카메라에 대해 측정된 깊이값에 대해서도 동일하게 보정하여 보정된 깊이 영상을 상호 교정부(150)로 제공할 수 있다.
컬러 카메라 보정부(140)는 수신부(105)로부터 입력되는 컬러 영상을 컬러 양자화를 이용하여 보정할 수 있다. 컬러 카메라 보정부(140)는 각 컬러 카메라(21, 22) 별로 보정된 컬러 영상을 상호 교정부(150)로 제공할 수 있다.
상호 교정부(150)는 카메라 간의 위치와 방향 보정 또는 카메라의 광학 렌즈 보정을 수행할 수 있으며, 제1교정부(151), 제2교정부(152) 및 제3교정부(153)를 포함할 수 있다.
제1교정부(151)는 제2저장부(120)에 저장된 제1정보를 이용하여 깊이 카메라(11, 12) 간의 위치와 방향을 보정할 수 있다.
도 1에는 두 개의 깊이 카메라(11, 12)가 도시되어 있으나, 제1 내지 제3깊이 카메라가 구비된 경우를 예로 들어 설명한다. 제1 내지 제3깊이 카메라로 동일한 피사체를 촬영하여 획득한 영상을 각각 제1 내지 제3깊이 영상이라 한다. 제1 내지 제3깊이 카메라 중 가운데에 설치되는 제1카메라를 기준 카메라로 정한 경우, 제1정보는 제1깊이 카메라를 기준으로 하는 제2깊이 카메라의 EXTRINSIC 상수와 제3깊이 카메라의 EXTRINSIC 상수를 포함한다.
제1교정부(151)는 제2깊이 영상에 상기 저장된 제2깊이 카메라의 EXTRINSIC 상수(rotation 매트릭스와 translation 벡터)를 반영하여 제2깊이 영상의 위치와 방향을 교정할 수 있다. 또한, 제1교정부(151)는 제3깊이 영상에 상기 저장된 제3깊이 카메라의 EXTRINSIC 상수(rotation 매트릭스와 translation 벡터)를 반영하여 제3깊이 영상의 위치와 방향을 교정할 수 있다.
제2교정부(152)는 제2저장부(120)에 저장된 제2정보를 이용하여 컬러 카메라(21, 22) 간의 위치와 방향을 보정하고, 광학적 특성에 의한 왜곡을 보정할 수 있다.
제3교정부(153)는 제2저장부(120)에 저장된 제3정보를 이용하여 깊이 카메라(11, 12)와 컬러 카메라(21, 22) 간의 위치와 방향을 보정하고, 광학적 특성에 의한 왜곡을 보정할 수 있다. 제3교정부(153)는 제3정보를 이용하여 깊이 카메라(11, 12)와 그에 대응하는 컬러 카메라(21, 22) 간의 위치와 방향을 변환할 수 있다. 예를 들어, 제3교정부(153)는 컬러 카메라(21)로부터 깊이 카메라(11)의 축으로, 또는 깊이 카메라(11)로부터 컬러 카메라(21)의 축으로 변환하기 위하여 rotation 매트릭스와 translation 벡터를 이용한다. 이로써, 물체의 3D 형상 및 색상정보를 정확하게 정합하여 표현할 수 있다.
상호 교정부(150)에 의해 광학적 특성, 위치와 방향이 보정된 각 깊이 영상 또는 컬러 영상은 렌더링 과정에 의해 3D 영상으로 생성될 수 있다.
이하, 상기와 같이 구성된 영상 보정 방법을 아래에서 도면을 참조하여 설명한다.
도 7은 제안되는 실시예에 따른 영상 보정 방법을 설명하기 위한 흐름도이다.
도 7을 참조하면, 710단계에서, 각 깊이 카메라(11, 12)는 피사체를 촬영하여 깊이값과 광도를 측정하고, 각 컬러 카메라(21, 22)는 피사체를 촬영하여 컬러 영상을 획득할 수 있다. 측정된 깊이값으로 이루어지는 것은 깊이 영상, 측정된 광도로 이루어지는 것을 광도 영상이라 한다.
720단계에서, 깊이값 보정부(131)는 각 깊이 카메라(11, 12)로부터 측정된 깊이값과 측정된 광도가 수신부(105)를 통해 입력되면, 측정된 깊이값과 측정된 광도에 동시에 매핑되는 보정용 깊이값을 저장된 LUT로부터 확인할 수 있다.
730단계에서, 깊이값 보정부(131)는 710단계에서 측정된 깊이값을 720단계에서 확인된 보정용 깊이값으로 대체하여, 측정된 깊이값의 왜곡을 보정할 수 있다.
740단계에서, 깊이 카메라 보정부(130)는 시간에 따른 깊이 영상의 노이즈, 광도 영상의 픽셀 위치에 따른 왜곡 또는 광학적 렌즈에 의한 왜곡을 보정할 수 있다. 또한, 740단계에서, 컬러 카메라 보정부(140)는 각 컬러 카메라(21, 22)를 통해 측정된 컬러 영상을 컬러 양자화를 이용하여 보정할 수 있다.
750단계에서, 제1교정부(151)는 제2저장부(120)에 저장된 제1정보를 이용하여 깊이 카메라(11, 12) 간의 위치와 방향을 보정할 수 있다. 제1정보는 깊이 카메라의 위치 정보(translation 벡터)와 방향 정보(rotation 매트릭스)를 포함할 수 있다. 즉, 750단계에서 제1교정부(151)는 각 깊이 카메라(11, 12)로부터 촬영된 깊이 영상이 서로 매칭되도록 제1정보를 이용하여 위치와 방향을 교정할 수 있다.
760단계에서, 제2교정부(152)는 제2저장부(120)에 저장된 제2정보를 이용하여 컬러 카메라(21, 22) 간의 위치와 방향을 보정하고, 광학적 특성에 의한 왜곡을 보정할 수 있다.
770단계에서, 제3교정부(153)는 제2저장부(120)에 저장된 제3정보를 이용하여 깊이 카메라(11, 12)와 컬러 카메라(21, 22) 간의 위치와 방향을 보정하고, 광학적 특성에 의한 왜곡을 보정할 수 있다.
상술한 과정에 의해 보정된 각 영상은 렌더링 과정을 거쳐 3D 영상으로 생성될 수 있다.
도 8은 제안되는 실시예에 따른 보정용 깊이값을 산출하는 방법을 설명하기 위한 흐름도이다.
도 8을 참조하면, 810단계에서, 깊이 카메라는 거리(d)에서 도 3과 같은 기 준 패턴을 촬영하여 피사체를 이루는 각 픽셀의 광도와 깊이값을 측정할 수 있다. 거리(d)는 깊이 카메라와 피사체 간의 촬영 거리로서, 설계자는 이 값을 미리 알고 있다.
820단계에서, 각 픽셀에 대해 측정된 깊이값과 측정된 광도를 이용하여, 깊이 오차값을 산출하기 위한 관계식이 [수학식 1]과 같이 생성될 수 있다.
830단계에서, 생성된 [수학식 1]을 이용하여 거리(d)에 대응하는 보정용 오차값이 산출될 수 있다.
840단계에서, 거리(d)에 대응되도록 보정용 오차값이 LUT 형태로 저장될 수 있다. 즉, 거리(d)에서 기준 패턴을 촬영하여 측정된 광도와 측정된 깊이값에 대응하는 보정용 오차값이 LUT 형태로 저장될 수 있다.
850단계에서 측정이 종료되지 않으면, 즉, 보정용 오차값을 생성하기 위한 과정이 종료되지 않으면, 860단계에서 설계자는 거리를 일정 간격(n) 변경할 수 있다.
일정 간격만큼 변경된 거리에서 깊이 카메라는 기준 패턴을 촬영하며, LUT 산출부(미도시)는 변경된 거리에 대응하는 보정용 오차값을 810단계 내지 840단계를 수행하여 산출할 수 있다. 이에 의해, 도 5와 같은 분포도가 생성될 수 있다.
850단계에서 측정이 종료되면, 870단계에서, LUT 산출부(미도시)는 미측정된 거리에 대응하는 보정용 오차값을 보간에 의해 산출하고, 산출된 보정용 오차값을 보간된 거리에 대응하여 저장할 수 있다. 이로써, 제1저장부(110)에는 입력으로서 측정된 광도, 측정된 깊이값, 출력으로서 보정용 깊이값을 포함하는 LUT이 저 장될 수 있다.
도 9는 제안되는 실시예에 따른 깊이 카메라 간의 교정 정보를 산출하는 방법을 설명하기 위한 흐름도이다.
도 9를 참조하면, 910단계에서, 교정 정보 산출부(미도시)는 격자판(checkerboard)를 촬영하여 n개의 2D 포인트를 추출할 수 있다.
920단계에서, 교정 정보 산출부는 추출된 n개의 2D 포인트를 3D 포인트로 변환할 수 있다. 일반적으로, 깊이 카메라에 의해 촬영된 깊이 영상은 각 픽셀마다 (x, y, z) 좌표, 즉, 3D 포인트를 가지고 있다. 따라서, 교정 정보 산출부는 추출된 n개에 대응하는 좌표를 깊이 영상으로 확인하고, 확인된 좌표 중 x좌표를 이용하여 3D 포인트로 변환할 수 있다.
930단계에서, 교정 정보 산출부는 n개의 3D 포인트들이 대표하는 면(plnae)을 도 6에 도시된 바와 같이 계산할 수 있다.
940단계에서, 교정 정보 산출부는 n개의 3D 포인트들을 계산된 면에 재투영하여 노이즈를 제거할 수 있다.
950단계에서, 교정 정보 산출부는 [수학식 2]를 이용하여 깊이 카메라 간의 교정 정보, 즉, rotation 상수와 translation 상수를 산출할 수 있다. rotation 상수는 카메라의 방향 정보를 나타내며 매트릭스로 표현될 수 있다. translation 상수는 카메라의 위치 정보를 나타내며 벡터로 표현될 수 있다.
950단계에서 산출되는 각 깊이 카메라의 교정 정보는 제2저장부(120)에 저장되어 실제 깊이 카메라 간의 교정 시 사용될 수 있다.
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
도 1은 제안되는 실시예에 따른 영상 보정 장치를 도시한 블록도이다.
도 2는 제1저장부에 저장된 보정용 깊이값의 분포도를 도시한 도면,
도 3은 보정용 깊이값을 구하는데 사용되는 기준 패턴의 일 예를 도시한 도면,
도 4는 도 3의 기준 패턴을 촬영하여 측정된 깊이값과 깊이 오차값을 설명하기 위한 도면,
도 5는 각 거리 별로 측정한 깊이값과 광도에 따른 실제값을 도시한 도면,
도 6은 교정 정보를 산출시 사용되는 3D 포인트를 설명하기 위한 도면,
도 7은 제안되는 실시예에 따른 영상 보정 방법을 설명하기 위한 흐름도,
도 8은 제안되는 실시예에 따른 보정용 깊이값을 산출하는 방법을 설명하기 위한 흐름도, 그리고,
도 9는 제안되는 실시예에 따른 깊이 카메라 간의 교정 정보를 산출하는 방법을 설명하기 위한 흐름도이다.
<도면의 주요 부분에 대한 부호의 설명>
100 : 영상 보정 장치 105 : 깊이값 수신부
110 : 제1저장부 120 : 제2저장부
130 : 깊이 카메라 보정부 140 : 컬러 카메라 보정부
150 : 상호 교정부

Claims (17)

  1. 깊이 센서에 의해 측정된 깊이값 및 측정된 광도를 수신하는 수신부; 및
    상기 측정된 깊이값 및 상기 측정된 광도에 매핑되는 보정용 깊이값을 제1저장부로부터 독출하고, 상기 독출된 보정용 깊이값을 이용하여 상기 측정된 깊이값을 보정하는 보정부를 포함하고,
    상기 보정용 깊이값들은 서로 다른 복수의 깊이 정보 및 서로 다른 복수의 광도에 의해 매핑되어 있는 영상 보정 장치.
  2. 제 1항에 있어서,
    상기 보정부는, 상기 저장된 보정용 깊이값들 중, 상기 깊이 센서에 의해 측정된 깊이값과 측정된 광도에 동시에 매핑되는 보정용 깊이값을 확인하고, 상기 측정된 깊이값을 상기 확인된 보정용 깊이값으로 대체하는 영상 보정 장치.
  3. 제 1항에 있어서,
    상기 보정용 깊이값들은 기준 컬러의 실제 깊이값과 상기 기준 컬러의 측정된 깊이값의 차이인 측정 오차값을 반영하여 생성되는 영상 보정 장치.
  4. 제 3항에 있어서,
    상기 보정용 깊이값들은 상기 기준 컬러와 상기 깊이 센서 간의 거리를 변 경하면서 산출되는 영상 보정 장치.
  5. 제 1항에 있어서,
    상기 보정용 깊이값들은 상기 깊이 센서에 의해 측정된 반사광의 세기인 광도와 측정 거리에 따른 왜곡을 보정하기 위한 영상 보정 장치.
  6. 제 1항에 있어서,
    복수의 깊이 촬영장치들을 통해 생성되는 깊이 영상들 간의 위치 및 방향 교정(calibration)을 위한 교정 정보를 저장하는 제2저장부; 및
    상기 생성되는 깊이 영상들이 서로 매칭되도록 상기 저장된 정보에 기초하여 상기 깊이 영상들의 위치와 방향을 교정하는 교정부
    를 더 포함하는 영상 보정 장치.
  7. 제 6항에 있어서,
    상기 교정 정보는 기준 패턴을 촬영한 광도 영상으로부터 획득되는 복수개의 3D 포인트를 이용하여 산출되는 상기 각 깊이 촬영장치의 위치 정보 및 방향 정보를 포함하는 영상 보정 장치.
  8. 깊이 센서에 의해 측정된 깊이값 및 측정된 광도를 수신하는 단계;
    상기 측정된 깊이값 및 상기 측정된 광도에 매핑되는 보정용 깊이값을 저장 된 룩업테이블로부터 독출하는 단계; 및
    상기 독출된 보정용 깊이값을 이용하여 상기 측정된 깊이값을 보정하는 단계를 포함하고,
    상기 보정용 깊이값들은 서로 다른 복수의 깊이 정보 및 서로 다른 복수의 광도에 의해 매핑되어 있는 영상 보정 방법.
  9. 제 8항에 있어서,
    상기 확인하는 단계는, 상기 기저장된 보정용 깊이값들 중, 상기 깊이 센서에 의해 측정된 깊이값과 측정된 광도에 동시에 매핑되는 보정용 깊이값을 확인하고,
    상기 보정하는 단계는, 상기 측정된 깊이값을 상기 확인된 보정용 깊이값으로 대체하는 영상 보정 방법.
  10. 제 8항에 있어서,
    상기 보정용 깊이값들은 기준 컬러의 실제 깊이값과 상기 기준 컬러의 측정된 깊이값의 차이인 측정 오차값을 반영하여 생성되는 영상 보정 방법.
  11. 제 10항에 있어서,
    상기 보정용 깊이값들은 상기 기준 컬러와 상기 깊이 센서 간의 거리를 변경하면서 산출되는 영상 보정 방법.
  12. 제 8항에 있어서,
    상기 보정용 깊이값들은 상기 깊이 센서에 의해 측정된 반사광의 세기인 광도와 측정 거리에 따른 왜곡을 보정하기 위한 영상 보정 방법.
  13. 제 8항에 있어서,
    복수의 깊이 촬영장치들을 통해 생성되는 깊이 영상들 간의 위치 및 방향 교정(calibration)을 위한 교정 정보를 이용하여, 상기 깊이 영상들 간의 위치 및 방향을 교정하는 단계
    를 더 포함하는 영상 보정 방법.
  14. 제 13항에 있어서,
    상기 교정 정보는 기준 패턴을 촬영한 광도 영상으로부터 획득되는 복수개의 3D 포인트를 이용하여 산출되는 상기 각 깊이 촬영장치의 위치 정보 및 방향 정보를 포함하는 영상 보정 방법.
  15. 일정 거리에서 피사체를 촬영하여 복수의 광도 및 깊이값을 측정하는 단계;
    상기 복수의 측정된 광도 및 상기 복수의 측정된 깊이값을 이용하여, 상기 일정 거리에 대응하는 깊이 오차값을 산출하기 위한 관계식을 구하는 단계;
    상기 구한 관계식을 이용하여, 상기 측정된 광도와 상기 일정 거리에 의해 왜곡된 깊이값을 보정하기 위한 상기 보정용 깊이값을 산출하는 단계; 및
    상기 산출된 보정용 깊이값을 저장하는 단계
    를 포함하는 영상 보정 방법.
  16. 제 15항에 있어서,
    상기 일정 거리를 변경하고, 상기 변경된 거리에 대응하는 보정용 깊이값을 산출하는 단계
    를 더 포함하는 영상 보정 방법.
  17. 제 8항의 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체.
KR1020090109769A 2009-11-13 2009-11-13 영상 보정 장치 및 영상 보정 방법 KR101626072B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020090109769A KR101626072B1 (ko) 2009-11-13 2009-11-13 영상 보정 장치 및 영상 보정 방법
US12/926,370 US8339582B2 (en) 2009-11-13 2010-11-12 Apparatus and method to correct image
US13/685,032 US8743349B2 (en) 2009-11-13 2012-11-26 Apparatus and method to correct image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090109769A KR101626072B1 (ko) 2009-11-13 2009-11-13 영상 보정 장치 및 영상 보정 방법

Publications (2)

Publication Number Publication Date
KR20110052993A true KR20110052993A (ko) 2011-05-19
KR101626072B1 KR101626072B1 (ko) 2016-06-13

Family

ID=44362777

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090109769A KR101626072B1 (ko) 2009-11-13 2009-11-13 영상 보정 장치 및 영상 보정 방법

Country Status (2)

Country Link
US (2) US8339582B2 (ko)
KR (1) KR101626072B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013148308A1 (en) * 2012-03-28 2013-10-03 Intel Corporation Systems, methods, and computer program products for low-latency warping of a depth map
KR20160148596A (ko) * 2014-04-22 2016-12-26 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 깊이 센서 교정 및 픽셀별 보정
US9679395B2 (en) 2014-01-24 2017-06-13 Samsung Electronics Co., Ltd. Method and apparatus for image processing
US10091491B2 (en) 2012-06-05 2018-10-02 Samsung Electronics Co., Ltd. Depth image generating method and apparatus and depth image processing method and apparatus
US11196982B2 (en) 2018-07-13 2021-12-07 Sony Semiconductor Solutions Corporation Time-of-flight camera, electronic device and calibration method
WO2022025630A1 (ko) * 2020-07-31 2022-02-03 삼성전자 주식회사 거리 센서를 포함하는 전자 장치 및 오토 포커스 수행 방법

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9071719B2 (en) 2011-05-11 2015-06-30 I-Cubed Research Center Inc. Image processing apparatus with a look-up table and a mapping unit, image processing method using a look-up table and a mapping unit, and storage medium in which program using a look-up table and a mapping unit is stored
US9560314B2 (en) * 2011-06-14 2017-01-31 Microsoft Technology Licensing, Llc Interactive and shared surfaces
US8830302B2 (en) * 2011-08-24 2014-09-09 Lg Electronics Inc. Gesture-based user interface method and apparatus
KR101913321B1 (ko) * 2012-05-10 2018-10-30 삼성전자주식회사 깊이 센서 기반 반사 객체의 형상 취득 방법 및 장치
KR101893771B1 (ko) * 2012-05-10 2018-08-31 삼성전자주식회사 3d 정보 처리 장치 및 방법
JP5847674B2 (ja) * 2012-09-10 2016-01-27 株式会社東芝 Ｘ線厚さ計
JP6250035B2 (ja) * 2012-10-31 2017-12-20 サムスン エレクトロニクス カンパニー リミテッド 奥行きセンサベース反射物体の形状取得方法及び装置
KR101941907B1 (ko) * 2013-01-03 2019-01-24 삼성전자주식회사 깊이 정보를 이용하는 내시경 및 깊이 정보를 이용하는 내시경에 의한 용종 검출 방법
US10230934B2 (en) * 2013-06-14 2019-03-12 Microsoft Tehcnology Licensing, Llc Depth map correction using lookup tables
US9542749B2 (en) 2014-01-06 2017-01-10 Microsoft Technology Licensing, Llc Fast general multipath correction in time-of-flight imaging
WO2016068997A1 (en) * 2014-10-31 2016-05-06 Hewlett-Packard Development Company, L.P. Cross-calibration of imagers
WO2016081722A1 (en) * 2014-11-20 2016-05-26 Cappasity Inc. Systems and methods for 3d capture of objects using multiple range cameras and multiple rgb cameras
US11054664B2 (en) * 2015-06-18 2021-07-06 Apple Inc. Monitoring DOE performance using software scene evaluation
US9536287B1 (en) * 2015-07-09 2017-01-03 Intel Corporation Accelerated lens distortion correction with near-continuous warping optimization
US10742961B2 (en) * 2015-09-02 2020-08-11 Industrial Technology Research Institute Depth sensing apparatus with self-calibration and self-calibration method thereof
JP6643122B2 (ja) * 2016-02-03 2020-02-12 キヤノン株式会社 距離画像装置、撮像装置、および距離画像補正方法
JP6702766B2 (ja) * 2016-03-15 2020-06-03 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
JP2017198477A (ja) * 2016-04-25 2017-11-02 スタンレー電気株式会社 距離画像生成装置
CN108377327B (zh) * 2016-11-03 2020-01-10 深圳市掌网科技股份有限公司 全景相机以及深度信息获取方法
EP4254928A1 (en) * 2022-03-31 2023-10-04 Infineon Technologies AG Apparatus and method for processing an image

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980033069A (ko) * 1996-10-18 1998-07-25 니시무로 다이조 정보입력장치, 정보입력방법 및 고체촬상장치

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1126377C (zh) * 1995-03-08 2003-10-29 皇家菲利浦电子有限公司 三维图象显示系统
EP0815536A1 (en) * 1995-03-22 1998-01-07 IDT INTERNATIONAL DIGITAL TECHNOLOGIES DEUTSCHLAND GmbH Method and apparatus for coordination of motion determination over multiple frames
JP3453734B2 (ja) 1996-08-07 2003-10-06 株式会社小松製作所 キャリブレーション方法
US5878152A (en) * 1997-05-21 1999-03-02 Cognex Corporation Depth from focal gradient analysis using object texture removal by albedo normalization
DE69913534T2 (de) 1998-07-15 2004-09-30 Kodak Polychrome Graphics Llc, Norwalk Verfahren und vorrichtung zur bilderzeugung
JP4040825B2 (ja) * 2000-06-12 2008-01-30 富士フイルム株式会社 画像撮像装置及び距離測定方法
US6917702B2 (en) 2002-04-24 2005-07-12 Mitsubishi Electric Research Labs, Inc. Calibration of multiple cameras for a turntable-based 3D scanner
DE10259135A1 (de) 2002-12-18 2004-07-01 Conti Temic Microelectronic Gmbh Verfahren und Anordnung zur Referenzierung von 3D Bildaufnehmern
US8134637B2 (en) 2004-01-28 2012-03-13 Microsoft Corporation Method and system to increase X-Y resolution in a depth (Z) camera using red, blue, green (RGB) sensing
JP2007526453A (ja) 2004-01-28 2007-09-13 カネスタ インコーポレイテッド 単一チップの赤、緑、青、距離（ｒｇｂ−ｚ）センサー
WO2005083377A1 (en) * 2004-03-01 2005-09-09 Iatia Imaging Pty Ltd Method and apparatus for producing an image containing depth information
US7471376B2 (en) 2006-07-06 2008-12-30 Canesta, Inc. Method and system for fast calibration of three-dimensional (3D) sensors
KR100891549B1 (ko) 2007-05-22 2009-04-03 광주과학기술원 깊이 카메라를 이용하여 보완한 깊이 정보 생성 방법 및장치, 그리고 그 방법을 수행하는 프로그램이 기록된 기록매체
KR100920225B1 (ko) 2007-12-17 2009-10-05 한국전자통신연구원 영상을 이용한 3차원 그래픽 모델의 정확도 측정 방법 및장치
KR101433108B1 (ko) 2007-12-21 2014-08-22 엘지디스플레이 주식회사 유기전계 발광 디스플레이 장치 및 그 구동방법
KR101367282B1 (ko) 2007-12-21 2014-03-12 삼성전자주식회사 깊이 정보에 대한 적응적 정보 표현 방법 및 그 장치
JP5183381B2 (ja) * 2008-09-16 2013-04-17 キヤノン株式会社 測定装置及び測定方法
WO2010052741A1 (en) * 2008-11-07 2010-05-14 Telecom Italia S.P.A. Method and system for producing multi-view 3d visual contents
KR20110116325A (ko) * 2010-04-19 2011-10-26 삼성전자주식회사 영상 처리 장치 및 그 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980033069A (ko) * 1996-10-18 1998-07-25 니시무로 다이조 정보입력장치, 정보입력방법 및 고체촬상장치

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013148308A1 (en) * 2012-03-28 2013-10-03 Intel Corporation Systems, methods, and computer program products for low-latency warping of a depth map
US9159135B2 (en) 2012-03-28 2015-10-13 Intel Corporation Systems, methods, and computer program products for low-latency warping of a depth map
US10091491B2 (en) 2012-06-05 2018-10-02 Samsung Electronics Co., Ltd. Depth image generating method and apparatus and depth image processing method and apparatus
US9679395B2 (en) 2014-01-24 2017-06-13 Samsung Electronics Co., Ltd. Method and apparatus for image processing
KR20160148596A (ko) * 2014-04-22 2016-12-26 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 깊이 센서 교정 및 픽셀별 보정
US11196982B2 (en) 2018-07-13 2021-12-07 Sony Semiconductor Solutions Corporation Time-of-flight camera, electronic device and calibration method
WO2022025630A1 (ko) * 2020-07-31 2022-02-03 삼성전자 주식회사 거리 센서를 포함하는 전자 장치 및 오토 포커스 수행 방법

Also Published As

Publication number Publication date
KR101626072B1 (ko) 2016-06-13
US8743349B2 (en) 2014-06-03
US20130083309A1 (en) 2013-04-04
US20110310376A1 (en) 2011-12-22
US8339582B2 (en) 2012-12-25

Similar Documents

Publication Publication Date Title
KR101626072B1 (ko) 영상 보정 장치 및 영상 보정 방법
KR101706093B1 (ko) 3차원 좌표 추출 시스템 및 그 방법
JP7350343B2 (ja) 対象物の３次元画像を生成するための方法およびシステム
Khoshelham Accuracy analysis of kinect depth data
US10237532B2 (en) Scan colorization with an uncalibrated camera
KR101497659B1 (ko) 깊이 영상을 보정하는 방법 및 장치
KR20110116325A (ko) 영상 처리 장치 및 그 방법
US8144974B2 (en) Image processing apparatus, method, and program
KR20150112362A (ko) 깊이 센서의 깊이 보정을 위한 이미지 처리방법 및 그 장치
TWI393980B (zh) The method of calculating the depth of field and its method and the method of calculating the blurred state of the image
CN107808398B (zh) 摄像头参数算出装置以及算出方法、程序、记录介质
JP2015021862A (ja) ３次元計測装置及び３次元計測方法
JP2009284188A (ja) カラー撮像装置
JP5849522B2 (ja) 画像処理装置、プロジェクタ、プロジェクタシステム、画像処理方法、そのプログラム、及び、そのプログラムを記録した記録媒体
CN112686961B (zh) 一种深度相机标定参数的修正方法、装置
JP2015135317A (ja) 画像処理装置、システム、画像処理方法およびプログラム
JP2016217833A (ja) 画像処理システム及び画像処理方法
CN111462331B (zh) 扩展对极几何并实时计算三维点云的查找表方法
Yang et al. 3D color reconstruction based on underwater RGB laser line scanning system
JP2017181114A (ja) 放射線強度分布測定システム及び方法
KR20130041440A (ko) 영상 처리 장치 및 방법
JP2006023133A (ja) ３次元形状測定装置および方法
US20200234458A1 (en) Apparatus and method for encoding in structured depth camera system
CN109565544B (zh) 位置指定装置及位置指定方法
JP3852285B2 (ja) ３次元形状計測装置および３次元形状計測方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190422

Year of fee payment: 4