KR20130099735A - 원거리 획득이 가능한 ｔｏｆ카메라와 스테레오 카메라의 합성 시스템 및 방법 - Google Patents

원거리 획득이 가능한 ｔｏｆ카메라와 스테레오 카메라의 합성 시스템 및 방법 Download PDF

Info

Publication number
KR20130099735A
KR20130099735A KR1020120021462A KR20120021462A KR20130099735A KR 20130099735 A KR20130099735 A KR 20130099735A KR 1020120021462 A KR1020120021462 A KR 1020120021462A KR 20120021462 A KR20120021462 A KR 20120021462A KR 20130099735 A KR20130099735 A KR 20130099735A
Authority
KR
South Korea
Prior art keywords
image
depth
pixel
camera
depth image
Prior art date
Application number
KR1020120021462A
Other languages
English (en)
Other versions
KR101862199B1 (ko
Inventor
최욱
이승규
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120021462A priority Critical patent/KR101862199B1/ko
Priority to US13/780,555 priority patent/US9538162B2/en
Publication of KR20130099735A publication Critical patent/KR20130099735A/ko
Application granted granted Critical
Publication of KR101862199B1 publication Critical patent/KR101862199B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Abstract

원거리 획득이 가능한 TOF 카메라와 스테레오 카메라의 합성 시스템 및 방법이 제공된다. 일 측면에 따른 TOF 카메라와 스테레오 카메라의 합성 시스템은 깊이 영상의 픽셀별 오차값을 추정하고, 깊이 영상의 픽셀별 오차값, 좌 컬러 영상 및 우 컬러 영상을 이용해서 상기 깊이 영상의 픽셀별 최대거리 배수값을 계산하고, 깊이 영상의 픽셀별 최대거리 배수값을 이용해서 깊이 영상의 원거리 깊이를 복원해서 복원된 깊이영상을 생성할 수 있다.

Description

원거리 획득이 가능한 ＴＯＦ카메라와 스테레오 카메라의 합성 시스템 및 방법{Method and Fusion system of time-of-flight camera and stereo camera for reliable wide range depth acquisition}
기술분야는 3차원 장면 모델링에 관한 것으로, 깊이 영상 촬영시 원거리의 깊이를 복원하는 시스템 및 방법에 관한 것이다.
깊이 카메라의 일종인 ToF(Time-of-Flight) 카메라는 실시간으로 장면(Scene)의 깊이(Depth) 정보를 제공하는 장점으로 인해 휴먼 모션 추적, 객체 모델링 등의 목적에 널리 사용 되고 있다.
ToF 카메라는 적외선 광을 조사하는 LED와 같은 광 조사 장치와 빛을 검출(Detection)하는 센서로 구성된다. 조사된 광이 물체에 반사되어 센서로 돌아오는 시간을 측정하여 아래 <수학식 1>과 같이 거리를 계산할 수 있다.
[수학식 1]
Figure pat00001
여기서, r은 물체와의 거리이고, c는 빛의 속도이고, ttime - of - flight는 조사된 광이 물체에 반사되어 센서로 돌아오는 시간이다.
하지만 빛의 속도가 너무 빠르기 때문에 ttime - of - flight를 측정하기 어려운 문제가 있어 이를 해결하기 위해 조사광을 주파수를 이용해서 변조해서 조사되며, ttime - of - flight는 2개 이상의 다른 위상을 이용해서 도 1과 같이 간접적으로 계산된다.
도 1은 반사되어 측정된 빛을 이용해서 거리를 계산하는 개략적인 거리 측정 장치의 구성을 도시한 도면이다.
도 1을 참조하면 종래의 거리 측정 장치는 제1 믹서(110), 제2 믹서(120), 제1 로우패스 필터(130) 및 제2 로우패스 필터(140)를 포함한다.
제1 믹서(110)는 주파를 이용해서 변조된 조사광(102)과 반사되어 돌아온 광(106)을 혼합해서 제1 로우패스 필터(130)로 제공한다.
제2 믹서(120)는 조사광(102)과 다른 위상의 조사광(104)과 반사되어 돌아온 광(106)을 혼합해서 제2 로우패스 필터(140)로 제공한다.
제1 로우패스 필터(130)와 제2 로우패스 필터(140) 각각은 제공받은 신호를 필터링해서 출력한다.
제1 로우패스 필터(130)와 제2 로우패스 필터(140)의 출력신호는 아래 <수학식 2>과 같은 형태로 표현될 수 있다.
[수학식 2]
Figure pat00002
그리고, <수학식 2>와 조사광(102)와 반사되어 돌아온 광(106)를 이용하면 아래 <수학식 3>을 유도할 수 있다.
[수학식 3]
Figure pat00003
도 1, <수학식 2> 및 <수학식 3>에서 r은 물체와의 거리이고,
Figure pat00004
는 조사된 빛과 돌아온 빛의 위상차이고, f는 변조에 사용되는 주파수이고, rmax는 모호함(ambiguity) 없이 측정할 수 있는 최대한의 거리이다.
ttime - of - flight은
Figure pat00005
에 비례한다. . 위상차가 2π보다 큰 경우에는 실제 위상차보다 작은 0과 2π사이의 위상차로 측정되고, 이 때 정확한 거리를 계산하기 위해서는 측정된 위상차인
Figure pat00006
에 2πn을 더한 값인
Figure pat00007
+2πn을 이용하여 r+nrmax을 계산해야 한다. 현재 상용화된 ToF 카메라의 깊이 측정방식으로는 n값(0보다 크거나 같은 정수이고, 본 명세서에서 n을 최대거리 배수값이라 칭한다.)을 결정할 수 없으므로 최대 측정 거리는 rmax로 주어지고, rmax보다 먼 거리의 물체에 대해서는 실제보다 짧은 잘못된 거리값을 얻게 된다.
일 측면에 있어서, 깊이 카메라에서 촬영된 깊이 영상과 스테레오 카메라에서 촬영된 좌 컬러 영상과 우 컬러 영상을 수신하는 영상 수신 단계와, 상기 깊이 영상의 픽셀별 오차값을 추정하는 단계와, 상기 깊이 영상의 픽셀별 오차값, 상기 좌 컬러 영상 및 상기 우 컬러 영상을 이용해서 상기 깊이 영상의 픽셀별 최대거리 배수값을 계산하는 단계 및 상기 깊이 영상의 픽셀별 최대거리 배수값을 이용해서 상기 깊이 영상의 원거리 깊이를 복원해서 복원된 깊이영상을 생성하는 단계를 포함하는 TOF 카메라와 스테레오 카메라의 합성 시스템에서 원거리 복원 방법이 제공된다.
이때, 상기 깊이 영상의 픽셀별 오차값을 추정하는 단계는, 각 픽셀을 포함하는 기설정된 크기의 윈도우들 중에서 원도우들 별로 포함된 픽셀들의 깊이를 이용해 계산한 표준편차들 중에서 가장 작은 표준편차를 상기 오차값으로 추정할 수 있다.
이때, 상기 깊이 영상의 픽셀별 오차값을 추정하는 단계는, 각 픽셀을 포함하는 기설정된 크기의 윈도우들 별로 상기 원도우에 포함된 픽셀들의 깊이를 이용해서 평면을 생성하고, 상기 평면과의 거리를 이용해 표준편차를 계산하는 단계 및 상기 평면과의 거리를 이용한 상기 원도우들의 표준편차 중에서 가장 작은 표준편차를 상기 오차값으로 추정하는 단계를 포함할 수 있다.
이때, 상기 최대거리 배수값을 계산하는 단계는, 상기 깊이 영상의 픽셀별 오차범위에 대응하는 상기 좌 컬러 영상의 영역과 상기 우 컬러 영상의 영역 간의 색상차를 기설정한 최대거리 배수값 별로 계산해서, 상기 색상차가 최소인 최대거리 배수값을 해당 픽셀의 최대거리 배수값으로 계산할 수 있다.
이때, 상기 최대거리 배수값을 계산하는 단계는, 상기 깊이 영상의 픽셀별 거리가 인접 픽셀의 거리 간의 차이가 기설정한 값보다 작으면, 상기 인접 픽셀과 동일한 최대거리 배수값을 가지도록 계산할 수 있다.
이때, 상기 깊이 영상의 원거리 깊이를 복원하는 단계는, 상기 깊이 영상의 픽셀별 최대거리 배수값을 이용해서 상기 깊이 영상의 원거리 깊이를 복원한 후, 중간 필터링(median filtering)을 통해 잡음을 제거할 수 있다.
이때, 상기 영상 수신 단계 이전에, 상기 깊이 카메라와 상기 스테레오 카메라 각각의 고유의(Intrinsic) 파라메터와 상기 깊이 카메라와 상기 스테레오 카메라 간의 상관관계를 나타내는 외부(Extrinsic) 파라메터를 추정하는 전처리 단계를 더 포함할 수 있다.
이때, 상기 전처리 단계는, 상기 깊이 카메라와 상기 스테레오 카메라를 통해 촬영된 다수의 영상들을 비교해서 상기 고유의 파라메터와 상기 외부 파라메터를 추정할 수 있다.
이때, 상기 좌 컬러 영상과 상기 우 컬러 영상 각각을 텍스처(Texture)가 독특하고 분명한 독특한(Distinctive) 영역과 그렇지 못한 평평한 영역으로 분석하는 단계와, 상기 좌 컬러 영상과 상기 우 컬러 영상 각각을 대응하는 다른쪽 스테레오 영상에도 존재하는 영역인 존재영역과 대응하는 다른쪽 스테레오 영상에는 존재하지 않는 영역인 미존재영역으로 분석하는 단계와, 상기 독특한 영역이면서 상기 존재영역인 경우 상기 좌 컬러 영상과 상기 우 컬러 영상을 비교해서 상기 독특한 영역이면서 상기 존재영역의 픽셀별 차이값(Disparity)을 추정하는 스테레오 매칭 1단계와, 상기 독특한 영역이면서 상기 존재영역이 아닌 경우 상기 복원된 깊이영상을 이용해서 상기 독특한 영역이면서 상기 존재영역이 아닌 영역의 픽셀별 차이값(Disparity)을 추정하는 스테레오 매칭 2단계 및 상기 스테레오 매칭 1단계와 상기 스테레오 매칭 2단계를 통해 추정된 차이값들을 이용해서 좌 디스페리티(Disparity) 영상과 우 디스페리티(Disparity) 영상을 생성하는 단계를 더 포함할 수 있다.
이때, 상기 스테레오 매칭 2단계는, 상기 복원된 깊이영상에서 상기 독특한 영역이면서 상기 존재영역이 아닌 영역의 픽셀별 깊이를 각 오차범위에 고려해서 상기 좌 컬러 영상과 상기 우 컬러 영상에 투영하는 단계 및 상기 좌 컬러 영상과 상기 우 컬러 영상 각각의 투영된 범위 내에서 가장 작은 차이값을 해당 픽셀의 차이값으로 추정하는 단계를 포함할 수 있다.
이때, 상기 좌 디스페리티 영상과 상기 우 디스페리티 영상을 생성하는 단계 이후에, 상기 좌 디스페리티 영상과 상기 우 디스페리티 영상을 이용해서 상기 복원된 깊이 영상을 보정하는 단계를 더 포함할 수 있다.
이때, 상기 복원된 깊이 영상을 보정하는 단계는, 상기 좌 디스페리티 영상과 우 디스페리티 영상 각각을 대응하는 다른쪽 디스페리티 영상에도 존재하는 영역인 존재영역과 대응하는 다른쪽 디스페리티 영상에는 존재하지 않는 영역인 미존재영역으로 분석하는 단계 및 상기 좌 디스페리티 영상과 우 디스페리티 영상의 존재영역의 차이값을 이용해서 상기 복원된 깊이 영상의 대응하는 영역의 깊이를 보정하는 단계를 포함할 수 있다.
일 측면에 있어서, 빛이 물체에 반사되어 도착한 시간을 이용해서 깊이 영상을 촬영하는 깊이 카메라와, 3차원 영상을 위한 좌 컬러 영상과 우 컬러 영상을 촬영하는 스테레오 카메라와, 상기 깊이 영상의 픽셀별 오차값을 추정하는 오차 추정부 및 상기 깊이 영상의 픽셀별 오차값, 상기 좌 컬러 영상 및 상기 우 컬러 영상을 이용해서 상기 깊이 영상의 픽셀별 최대거리 배수값을 계산하고, 상기 깊이 영상의 픽셀별 최대거리 배수값을 이용해서 상기 깊이 영상의 원거리 깊이를 복원해서 복원된 깊이영상을 생성하는 깊이영상 복원부를 포함하는 TOF 카메라와 스테레오 카메라의 합성 시스템이 제공된다.
이때, 상기 깊이영상 복원부는, 상기 깊이 영상의 픽셀별 오차범위에 대응하는 상기 좌 컬러 영상의 영역과 상기 우 컬러 영상의 영역 간의 색상차를 기설정한 최대거리 배수값 별로 계산해서, 상기 색상차가 최소인 최대거리 배수값을 해당 픽셀의 최대거리 배수값으로 계산할 수 있다.
이때, 상기 깊이영상 복원부는, 상기 깊이 영상의 픽셀별 거리가 인접 픽셀의 거리 간의 차이가 기설정한 값보다 작으면, 상기 인접 픽셀과 동일한 최대거리 배수값을 가지도록 계산할 수 있다.
이때, 상기 깊이 카메라와 상기 스테레오 카메라 각각의 고유의(Intrinsic) 파라메터와 상기 깊이 카메라와 상기 스테레오 카메라 간의 상관관계를 나타내는 외부(Extrinsic) 파라메터를 추정하는 전처리부를 더 포함할 수 있다.
이때, 상기 좌 컬러 영상과 상기 우 컬러 영상 각각을 텍스처(Texture)가 독특하고 분명한 독특한(Distinctive) 영역과 그렇지 못한 평평한 영역으로 분석하고, 상기 좌 컬러 영상과 상기 우 컬러 영상 각각을 대응하는 다른쪽 스테레오 영상에도 존재하는 영역인 존재영역과 대응하는 다른쪽 스테레오 영상에는 존재하지 않는 영역인 미존재영역으로 분석하는 영상 분석부 및 상기 독특한 영역이면서 상기 존재영역인 경우 상기 좌 컬러 영상과 상기 우 컬러 영상을 비교해서 상기 독특한 영역이면서 상기 존재영역의 픽셀별 차이값(Disparity)을 추정하고, 상기 독특한 영역이면서 상기 존재영역이 아닌 경우 상기 복원된 깊이영상을 이용해서 상기 독특한 영역이면서 상기 존재영역이 아닌 영역의 픽셀별 차이값(Disparity)을 추정하고, 추정된 차이값들을 이용해서 좌 디스페리티(Disparity) 영상과 우 디스페리티(Disparity) 영상을 생성하는 스테레오 매칭부를 더 포함할 수 있다.
이때, 상기 스테레오 매칭부는, 상기 독특한 영역이면서 상기 존재영역이 아닌 영역의 픽셀별 차이값을 추정할 때, 상기 복원된 깊이영상에서 상기 독특한 영역이면서 상기 존재영역이 아닌 영역의 픽셀별 깊이를 각 오차범위에 고려해서 상기 좌 컬러 영상과 상기 우 컬러 영상에 투영하고, 상기 좌 컬러 영상과 상기 우 컬러 영상 각각의 투영된 범위 내에서 가장 작은 차이값을 해당 픽셀의 차이값으로 추정할 수 있다.
이때, 상기 좌 디스페리티 영상과 우 디스페리티 영상 각각을 대응하는 다른쪽 디스페리티 영상에도 존재하는 영역인 존재영역과 대응하는 다른쪽 디스페리티 영상에는 존재하지 않는 영역인 미존재영역으로 분석하고, 상기 좌 디스페리티 영상과 우 디스페리티 영상의 존재영역의 차이값을 이용해서 상기 복원된 깊이 영상의 대응하는 영역의 깊이를 보정하는 깊이영상 보정부를 더 포함할 수 있다.
본 발명은 원거리 획득이 가능한 TOF 카메라와 스테레오 카메라의 합성 시스템을 이용해서 깊이 영상 촬영시 원거리의 깊이를 복원하고, 복원된 깊이 영상을 이용해서 향상된 스테레오 디스페리티 영상을 생성하는 방법에 관한 것으로, 카메라가 움직이고 장면에 독립적으로 움직이는 물체가 있는 상황에서도 ToF 카메라의 최대 취득 거리 이상의 원거리 깊이를 복원할 수 있다. 또한 스테레오 컬러 영상과 함께 향상된 스테레오 디스페리티 영상을 제공하여 3차원 객체의 모델링에 적용하기 용의하다.
도 1은 반사되어 측정된 빛을 이용해서 거리를 계산하는 개략적인 거리 측정 장치의 구성을 도시한 도면,
도 2는 실시예에 따라 TOF 카메라와 스테레오 카메라의 합성 시스템을 구성한 예를 도시한 도면,
도 3은 실시예에 따른 TOF 카메라와 스테레오 카메라의 합성 시스템에서 깊이 영상의 원거리 복원하고, 디스페리티 영상을 생성하는 과정을 도시한 흐름도,
도 4는 실시예에 따른 합성 시스템의 전처리 과정의 예를 도시한 도면,
도 5는 실시예에 따른 TOF 카메라와 스테레오 카메라에서 촬영된 영상의 예를 도시한 도면,
도 6은 실시예에 따른 합성 시스템에서 최대거리 배수값 별로 깊이영상의 거리를 오차범위를 고려해서 좌 컬러 영상과 우 컬러 영상에 투영시킨 예를 도시한 도면,
도 7은 실시예에 따른 합성 시스템에서 원거리 깊이를 복원한 예를 도시한 도면,
도 8은 실시예에 따른 합성 시스템에서 영상 분석을 통해 분석한 독특한(Distinctive) 영역의 예를 도시한 도면,
도 9는 실시예에 따른 합성 시스템에서 영상 분석을 통해 분석한 스테레오 영상의 한쪽에만 있는 미존재 영역의 예를 도시한 도면,
도 10은 실시예에 따른 생성된 디스페리티 영상들과 기존의 스테레오 매칭을 통해 생성된 디스페리티 영상들을 도시한 도면 및,
도 11은 실시예에 따른 합성 시스템에서 분석한 스테레오 디스페리티 영상의 한쪽에만 있는 미존재 영역의 예를 도시한 도면이다.
이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 2는 실시예에 따라 TOF 카메라와 스테레오 카메라의 합성 시스템을 구성한 예를 도시한 도면이다.
도 2를 참조하면, 합성 시스템(200)은 제어부(210), 깊이 카메라(220), 스테레오 카메라(230), 전처리부(211), 오차 추정부(212), 깊이영상 복원부(213), 영상 분석부(214), 스테레오 매칭부(215) 및 깊이영상 보정부(216)를 포함할 수 있다.
깊이 카메라(220)는 빛이 물체에 반사되어 도착한 시간을 이용해서 깊이 영상을 촬영한다.
스테레오 카메라(230)는 3차원 영상을 위한 좌 컬러 영상과 우 컬러 영상을 촬영한다.
이하의 설명에서 아래 도 5의 예를 이용해서 설명하고자 한다.
도 5는 실시예에 따른 TOF 카메라와 스테레오 카메라에서 촬영된 영상의 예를 도시한 도면이다.
도 5를 참조하면, (a)는 깊이 카메라(220)를 통해 촬영된 깊이 영상이고, (b)는 스테레오 카메라(230)에 포함된 왼쪽 카메라에 의해 촬영된 좌 컬러 영상이고, (c)는 스테레오 카메라(230)에 포함된 오른쪽 카메라에 의해 촬영된 우 컬러 영상이다.
전처리부(211)는 깊이 카메라(220)와 스테레오 카메라(230)를 이용해서 많은 영상을 촬영하고, 촬영된 영상을 이용해서 깊이 카메라(220)와 스테레오 카메라(230) 각각의 고유의(Intrinsic) 파라메터와 깊이 카메라(220)와 스테레오 카메라(230) 간의 상관관계를 나타내는 외부(Extrinsic) 파라메터를 추정한다. 전처리 방법을 아래 도 4를 참조해서 후술한다.
도 4는 실시예에 따른 합성 시스템의 전처리 과정의 예를 도시한 도면이다.
도 4를 참조하면, 깊이 영상의 한 픽셀 xToF에서 측정된 카메라 좌표계의 한 3차원의 한점 XToF는 좌 컬러 영상에 대응하는 좌표 XLeft로 변환되고, 또한 한 3차원의 한점 XToF는 우 컬러 영상에 대응하는 좌표 XRight로 변환될 수 있다.
대응하는 좌표의 변환은 아래 <수학식 4>를 통해 가능하다.
[수학식 4]
Figure pat00008
여기서, 고유의(Intrinsic) 파라메터는 (f, xc, yc)이고, 외부(Extrinsic) 파라메터는 (RToF → Left, tToF → Left, b)이고, f는 초점 거리(focal length)이고, xc는 영상에서 x축의 중심이고, yc는 영상에서 y축의 중심이고, RToF → Left는 좌표축의 회전 크기를 나타내고, tToF → Left는 좌표축의 평행이동 크기를 나타내고, b는 기선(baseline)의 거리이다. 여기서, 이미 교정(Rectification)된 스테레오 카메라를 가정하여, 왼쪽 카메라와 오른쪽 카메라 사이의 외부(Extrinsic) 파라메터를 b로 표현하였으나, 교정 되어있지 않은 경우에는 일반적인 회전 변환(Rotation Matrix)과 평행 이동(Translation)으로 표현 가능하다.
전처리부(211)는 <수학식 4>의 고유의 파라메터와 외부 파라메터를 추정함으로써, 추후 깊이영상 복원부(213), 스테레오 매칭부(215) 및 깊이영상 보정부(216)에서 XToF를 스테레오 영상에 투영해서 대응하는 xLeft 또는 xRight를 추정할 수 있다.
오차 추정부(212)는 깊이 영상의 픽셀별 오차값을 추정한다.
오차 추정부(212)는 깊이 영상의 각 픽셀을 포함하는 기설정된 크기의 윈도우들 중에서 원도우들 별로 포함된 픽셀들의 깊이를 이용해 계산한 표준편차들 중에서 가장 작은 표준편차를 오차값으로 추정할 수 있다.
다른 방법으로 오차 추정부(212)는 깊이 영상의 각 픽셀을 포함하는 기설정된 크기의 윈도우들 별로 원도우에 포함된 픽셀들의 깊이를 이용해서 물체의 평면을 생성하고, 평면과의 거리를 이용해 표준편차를 계산한다. 그리고, 오차 추정부(212)는 평면과의 거리를 이용한 원도우들의 표준편차 중에서 가장 작은 표준편차를 오차값으로 추정할 수 있다.
깊이영상 복원부(213)는 깊이 영상의 픽셀별 오차값, 좌 컬러 영상 및 상기 우 컬러 영상을 이용해서 깊이 영상의 픽셀별 최대거리 배수값을 계산하고, 깊이 영상의 픽셀별 최대거리 배수값을 이용해서 상기 깊이 영상의 원거리 깊이를 복원해서 복원된 깊이영상을 생성한다.
깊이영상 복원부(213)는 아래 도 6과 같이 깊이 영상의 픽셀별 오차범위에 대응하는 좌 컬러 영상의 영역과 우 컬러 영상의 영역 간의 색상차를 기설정한 최대거리 배수값 별로 계산해서, 색상차가 최소인 최대거리 배수값을 해당 픽셀의 최대거리 배수값으로 계산하거나 비용(cost) 계산에 고려할 수 있다.
도 6은 실시예에 따른 합성 시스템에서 최대거리 배수값 별로 깊이영상의 거리를 오차범위를 고려해서 좌 컬러 영상과 우 컬러 영상에 투영시킨 예를 도시한 도면이다.
도 6을 참조하면, 깊이영상 복원부(213)는 최대거리 배수값(0, 1) 별로 깊이 영상의 픽셀별 오차범위(641, 651)에 대응하는 좌 컬러 영상(620)의 영역(642, 652)과 우 컬러 영상(630)의 영역(643, 653) 간의 색상차를 기설정한 계산해서, 색상차가 최소인 최대거리 배수값을 해당 픽셀의 최대거리 배수값으로 계산하거나 또한, 비용계산에 고려할 수 있다.
깊이영상 복원부(213)는 깊이 영상의 픽셀별 거리가 인접 픽셀의 거리 간의 차이가 기설정한 값보다 작으면, 인접 픽셀과 동일한 최대거리 배수값을 가지도록 하거나, 비용(cost) 계산에 고려할 수 있다.
깊이영상 복원부(213)는 아래 <수학식 5>의 비용 값인 E의 값이 최소가 되는 n 값을 상기 최대거리 배수값으로 계산할 수도 있다.
[수학식 5]
Figure pat00009
여기서,
Figure pat00010
은 i번째 픽셀의 최대거리 배수값이고, j는 i번째 픽셀과 인접한 픽셀을 나타내고,
Figure pat00011
는 깊이영상의 i번째 픽셀에서 벡터값이고,
Figure pat00012
는 좌 컬러 영상의 영역과 우 컬러 영상을 이용한 비용 함수이고,
Figure pat00013
는 깊이영상에서 해당 픽셀의 인접픽셀들을 이용한 비용 함수이고,
Figure pat00014
는
Figure pat00015
와
Figure pat00016
간의 비중을 조절하기 위한 가중치 이고, N는 깊이영상의 모든 이웃한 픽셀의 집합이고, P는 깊이영상의 모든 픽셀의 집합이고,
Figure pat00017
는 i번째 픽셀의 오차값이고,
Figure pat00018
는 확률 분포의 신뢰구간이고,
Figure pat00019
는 깊이 영상의 이웃한 벡터 값의 유사도를 판단하기 위한 문턱치이고,
Figure pat00020
은 X가 좌 컬러 영상과 우 컬러 영상에 투영된 점인
Figure pat00021
와
Figure pat00022
에서의 밝기 차이 또는 텍스처(Texture) 차이를 나타낸다.
한편, 깊이영상 복원부(213)는 깊이 영상의 픽셀별 최대거리 배수값을 이용해서 깊이 영상의 원거리 깊이를 복원한 후, 중간 필터링(median filtering)을 통해 잡음을 제거할 수도 있다.
도 7은 실시예에 따른 합성 시스템에서 원거리 깊이를 복원한 예를 도시한 도면이다.
도 7에서 (a)는 깊이 카메라(220)에 의해 촬영된 깊이 영상이다, (b)는 깊이영상 복원부(213)에 의해 원거리가 복원된 깊이 영상이다. (c)는 원거리가 복원된 깊이영상을 중간 필터를 이용해서 필터링한 깊이 영상이다.
도 7을 참조하면, (a)와 (b)를 비교해보면 (a)에서 표현하고 있지 못한 원거리의 깊이 정보가 (b)에서 복원되어 있음을 확인할 수 있다. 그리고, (c)를 살펴보면 (b)에 남아있던 좌측과 영상의 일부에 노이즈가 제거 되었음을 확인할 수 있다.
영상 분석부(214)는 아래 도 8과 같이 좌 컬러 영상과 우 컬러 영상 각각을 텍스처(Texture)가 독특하고 분명한 독특한(Distinctive) 영역과 그렇지 못한 평평한 영역으로 분석한다.
스테레오 매칭(Stereo Matching)은 텍스처가 독특하고 분명한 영역에 대해서는 신뢰할 만한 결과를 준다. 이러한 영역에 대해서는 깊이 영상의 도움 없이 일반적인 스테레오 매칭을 통해 좋은 결과를 얻을 수 있다.
도 8은 실시예에 따른 합성 시스템에서 영상 분석을 통해 분석한 독특한(Distinctive) 영역의 예를 도시한 도면이다.
도 8에서 (a)는 도 5의 (b)영상을 분석한 결과 독특한 영역과 평평한 영역이 표시된 영상이고, (b)는 도 5의 (c)영상을 분석한 결과 독특한 영역과 평평한 영역이 표시된 영상이다.
도 8을 참조하면, 하얀색으로 표시된 영역이 텍스처(Texture)가 독특하고 분명한 독특한 영역이고, 검은색으로 표시된 영역이 텍스처가 독특하지 못한 평평한 영역이다.
또한, 영상 분석부(214)는 아래 도 9와 같이 좌 컬러 영상과 우 컬러 영상 각각을 대응하는 다른쪽 스테레오 영상에도 존재하는 영역인 존재영역과 대응하는 다른쪽 스테레오 영상에는 존재하지 않는 영역인 미존재영역으로 분석한다.
도 9는 실시예에 따른 합성 시스템에서 영상 분석을 통해 분석한 스테레오 영상의 한쪽에만 있는 미존재 영역의 예를 도시한 도면이다.
도 9에서 (a)는 도 5의 (b)영상을 분석한 결과 존재영역과 미존재영역이 표시된 영상이고, (b)는 도 5의 (c)영상을 분석한 결과 존재영역과 미존재영역이 표시된 영상이다.
도 9를 참조하면, 하얀색으로 표시된 영역이 다른쪽 스테레오 영상에도 존재하는 영역인 존재영역이고, 검은색으로 표시된 영역이 대응하는 다른쪽 스테레오 영상에는 존재하지 않는 영역인 미존재영역이다.
스테레오 매칭부(215)는 영상 분석부(214)의 분석결과를 이용해서 독특한 영역이면서 상기 존재영역인 경우 기존의 스테레오 매칭을 이용해서 독특한 영역이면서 존재영역의 픽셀별 차이값(Disparity)을 추정한다.
스테레오 매칭부(215)는 스테레오 매칭의 대표적인 예로 아래 <수학식 6>을 이용해서 좌 컬러 영상과 우 컬러 영상에 대해서 다음과 같은 형태의 Markov Random Field에 기초한 비용 함수를 최소화하는 차이값(disparity)을 찾을 수 있다. 는다.
[수학식 6]
Figure pat00023
여기서, FLeft는 왼쪽 영상의 차이값(disparity)을 찾기 위한 비용함수이고, FRight는 오른쪽 영상의 차이값(disparity)을 찾기 위한 비용함수이고, i, j, k는 좌 컬러 영상 또는 우 컬러 영상의 한 픽셀을 의미하고, d는 픽셀별 차이값(disparity)을 의미하고, Wi는 픽셀 i를 중심으로 하는 윈도우 영역이고, wi ,k는 data cost를 집합(aggregation)하기 위한 가중치이고, V는 픽셀 i와 j의 차이값의 유사성에 대한 비용이고,
Figure pat00024
는 D와 V간에 균형을 맞추기 위한 상수이다.
스테레오 매칭부(215)는 독특한 영역이면서 존재영역이 아닌 경우 깊이영상 복원부(213)를 통해 복원된 깊이영상을 이용해서 독특한 영역이면서 존재영역이 아닌 영역의 픽셀별 차이값(Disparity)을 추정하고, 추정된 차이값들을 이용해서 좌 디스페리티(Disparity) 영상과 우 디스페리티(Disparity) 영상을 생성한다.
보다 상세하게는 스테레오 매칭부(215)는 독특한 영역이면서 존재영역이 아닌 영역의 픽셀별 차이값을 추정할 때, 복원된 깊이영상에서 상기 독특한 영역이면서 존재영역이 아닌 영역의 픽셀별 깊이를 각 오차범위에 고려해서 좌 컬러 영상과 상기 우 컬러 영상에 투영하고, 좌 컬러 영상과 우 컬러 영상 각각의 투영된 범위 내에서 가장 작은 차이값을 해당 픽셀의 차이값으로 추정한다.
도 10은 실시예에 따른 생성된 디스페리티 영상들과 기존의 스테레오 매칭을 통해 생성된 디스페리티 영상들을 도시한 도면이다.
도 10에서 (a)는 기존의 스테레오 매칭 만을 이용해서 생성한 좌 디스페리티 영상이고, (b)는 기존의 스테레오 매칭 만을 이용해서 생성한 우 디스페리티 영상이고, (c)는 실시예에 따라 복원된 깊이영상을 이용해서 스테레오 매칭한 좌 디스페리티 영상이고, (d)는 실시예에 따라 복원된 깊이영상을 이용해서 스테레오 매칭한 우 디스페리티 영상이다.
도 10을 참조하면, 기존의 스테레오 매칭에 의한 결과인 (a), (b)와 제안하는 실시 예에 따른 결과인 (c), (d)를 비교하면 알수 있듯이 기존 스테레오 매칭 만으로는 정확하게 매칭하기 어려운 영역에서 더욱 정확한 결과를 보임을 알 수 있다.
깊이영상 보정부(216)는 좌 디스페리티 영상과 우 디스페리티 영상 각각을 대응하는 다른쪽 디스페리티 영상에도 존재하는 영역인 존재영역과 대응하는 다른쪽 디스페리티 영상에는 존재하지 않는 영역인 미존재영역으로 분석하고, 좌 디스페리티 영상과 우 디스페리티 영상의 존재영역의 차이값을 이용해서 복원된 깊이 영상의 대응하는 영역의 깊이를 보정할 수 있다.
깊이영상 보정부(216)는 복원된 깊이영상을 좌 디스페리티 영상과 우 디스페리티 영상을 이용해서 추가로 보정하는 장치로서, 합성 시스템(200)에 포함되지 않을 수도 있다.
도 11은 실시예에 따른 합성 시스템에서 분석한 스테레오 디스페리티 영상의 한쪽에만 있는 미존재 영역의 예를 도시한 도면이다.
도 11에서 (a)는 도 10의 (c)영상을 분석한 결과 존재영역과 미존재영역이 표시된 영상이고, (b)는 도 10의 (d)영상을 분석한 결과 존재영역과 미존재영역이 표시된 영상이다.
도 11을 참조하면, 좌 디스페리티 영상과 우 디스페리티 영상에서 서로 일치(Consistent)하지 않은 부분인 미존재영역은 검은색으로 표현되었고, 그 외의 부분인 존재영역은 정상적인 차이값(disparity)을 가진다.
제어부(210)는 합성 시스템(200)의 전반적인 동작을 제어할 수 있다. 그리고, 제어부(210)는 전처리부(211), 오차 추정부(212), 깊이영상 복원부(213), 영상 분석부(214), 스테레오 매칭부(215) 및 깊이영상 보정부(216)의 기능을 수행할 수 있다. 제어부(210), 전처리부(211), 오차 추정부(212), 깊이영상 복원부(213), 영상 분석부(214), 스테레오 매칭부(215) 및 깊이영상 보정부(216)를 구분하여 도시한 것은 각 기능들을 구별하여 설명하기 위함이다. 따라서 제어부(210)는 전처리부(211), 오차 추정부(212), 깊이영상 복원부(213), 영상 분석부(214), 스테레오 매칭부(215) 및 깊이영상 보정부(216) 각각의 기능을 수행하도록 구성된(configured) 적어도 하나의 프로세서를 포함할 수 있다. 또한, 제어부(210)는 전처리부(211), 오차 추정부(212), 깊이영상 복원부(213), 영상 분석부(214), 스테레오 매칭부(215) 및 깊이영상 보정부(216) 각각의 기능 중 일부를 수행하도록 구성된(configured) 적어도 하나의 프로세서를 포함할 수 있다.
이하, 상기와 같이 구성된 본 발명에 따른 합성 시스템에서 깊이 영상의 원거리 복원하고, 디스페리티 영상을 생성하는 방법을 아래에서 도면을 참조하여 설명한다.
도 3은 실시예에 따른 TOF 카메라와 스테레오 카메라의 합성 시스템에서 깊이 영상의 원거리 복원하고, 디스페리티 영상을 생성하는 과정을 도시한 흐름도이다.
도 3을 참조하면, 합성 시스템(200)은 310단계에서 전처리를 수행해서 깊이 카메라와 스테레오 카메라 각각의 고유의(Intrinsic) 파라메터와 깊이 카메라와 스테레오 카메라 간의 상관관계를 나타내는 외부(Extrinsic) 파라메터를 추정한다.
그리고, 합성 시스템(200)은 312단계에서 깊이 카메라에서 촬영된 깊이 영상과 스테레오 카메라에서 촬영된 좌 컬러 영상과 우 컬러 영상의 수신 여부를 확인한다.
312단계의 확인결과 깊이 영상, 좌 컬러 영상 및 우 컬러 영상이 수신되면, 합성 시스템(200)은 314단계에서 깊이 영상의 픽셀별 오차값을 추정한다. 합성 시스템(200)은 깊이 영상의 각 픽셀을 포함하는 기설정된 크기의 윈도우들 중에서 원도우들 별로 포함된 픽셀들의 깊이를 이용해 계산한 표준편차들 중에서 가장 작은 표준편차를 오차값으로 추정할 수 있다. 또는 합성 시스템(200)은 깊이 영상의 각 픽셀을 포함하는 기설정된 크기의 윈도우들 별로 원도우에 포함된 픽셀들의 깊이를 이용해서 물체의 평면을 생성하고, 평면과의 거리를 이용해 표준편차를 계산하고, 평면과의 거리를 이용한 원도우들의 표준편차 중에서 가장 작은 표준편차를 오차값으로 추정할 수 있다.
그리고, 합성 시스템(200)은 316단계에서 깊이 영상의 픽셀별 오차값, 좌 컬러 영상 및 우 컬러 영상을 이용해서 깊이 영상의 픽셀별 최대거리 배수값을 계산한다. 보다 상세하게는 합성 시스템(200)은 상술한 <수학식 5>를 이용해서 비용이 최소가 되는 최대거리 배수값을 계산할 수 있다.
그리고, 합성 시스템(200)은 318단계에서 깊이 영상의 픽셀별 최대거리 배수값을 이용해서 깊이 영상의 원거리 깊이를 복원해서 복원된 깊이영상을 생성한다.
그리고, 합성 시스템(200)은 320단계에서 좌 컬러 영상과 우 컬러 영상을 분석한다. 보다 상세하게는 합성 시스템(200)은 좌 컬러 영상과 우 컬러 영상 각각을 텍스처(Texture)가 독특하고 분명한 독특한(Distinctive) 영역과 그렇지 못한 평평한 영역으로 분석한다. 그리고, 합성 시스템(200)은 좌 컬러 영상과 우 컬러 영상 각각을 대응하는 다른쪽 스테레오 영상에도 존재하는 영역인 존재영역과 대응하는 다른쪽 스테레오 영상에는 존재하지 않는 영역인 미존재영역으로 분석한다.
그리고, 합성 시스템(200)은 322단계에서 스테레오 매칭을 통해 좌 디스페리티 영상과 우 디스페리티 영상을 생성한다. 보다 상세하게는 합성 시스템(200)은 독특한 영역이면서 존재영역인 경우 좌 컬러 영상과 우 컬러 영상을 비교해서 독특한 영역이면서 존재영역의 픽셀별 차이값(Disparity)을 추정한다. 그리고, 합성 시스템(200)은 독특한 영역이면서 존재영역이 아닌 경우 복원된 깊이영상을 이용해서 독특한 영역이면서 존재영역이 아닌 영역의 픽셀별 차이값(Disparity)을 추정한다. 그리고, 합성 시스템(200)은 추정된 차이값들을 이용해서 좌 디스페리티(Disparity) 영상과 우 디스페리티(Disparity) 영상을 생성한다.
그리고, 합성 시스템(200)은 324단계에서 좌 디스페리티 영상과 우 디스페리티 영상 각각을 대응하는 다른쪽 디스페리티 영상에도 존재하는 영역인 존재영역과 대응하는 다른쪽 디스페리티 영상에는 존재하지 않는 영역인 미존재영역으로 분석하고, 좌 디스페리티 영상과 우 디스페리티 영상의 존재영역의 차이값을 이용해서 복원된 깊이 영상의 대응하는 영역의 깊이를 보정한다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (21)

  1. 깊이 카메라에서 촬영된 깊이 영상과 스테레오 카메라에서 촬영된 좌 컬러 영상과 우 컬러 영상을 수신하는 영상 수신 단계;
    상기 깊이 영상의 픽셀별 오차값을 추정하는 단계;
    상기 깊이 영상의 픽셀별 오차값, 상기 좌 컬러 영상 및 상기 우 컬러 영상을 이용해서 상기 깊이 영상의 픽셀별 최대거리 배수값을 계산하는 단계; 및
    상기 깊이 영상의 픽셀별 최대거리 배수값을 이용해서 상기 깊이 영상의 원거리 깊이를 복원해서 복원된 깊이영상을 생성하는 단계를 포함하는
    TOF 카메라와 스테레오 카메라의 합성 시스템에서 원거리 복원 방법.
  2. 제1항에 있어서,
    상기 깊이 영상의 픽셀별 오차값을 추정하는 단계는,
    각 픽셀을 포함하는 기설정된 크기의 윈도우들 중에서 원도우들 별로 포함된 픽셀들의 깊이를 이용해 계산한 표준편차들 중에서 가장 작은 표준편차를 상기 오차값으로 추정하는
    TOF 카메라와 스테레오 카메라의 합성 시스템에서 원거리 복원 방법.
  3. 제1항에 있어서,
    상기 깊이 영상의 픽셀별 오차값을 추정하는 단계는,
    각 픽셀을 포함하는 기설정된 크기의 윈도우들 별로 상기 원도우에 포함된 픽셀들의 깊이를 이용해서 평면을 생성하고, 상기 평면과의 거리를 이용해 표준편차를 계산하는 단계; 및
    상기 평면과의 거리를 이용한 상기 원도우들의 표준편차 중에서 가장 작은 표준편차를 상기 오차값으로 추정하는 단계를 포함하는
    TOF 카메라와 스테레오 카메라의 합성 시스템에서 원거리 복원 방법.
  4. 제1항에 있어서,
    상기 최대거리 배수값을 계산하는 단계는,
    상기 깊이 영상의 픽셀별 오차범위에 대응하는 상기 좌 컬러 영상의 영역과 상기 우 컬러 영상의 영역 간의 색상차를 기설정한 최대거리 배수값 별로 계산해서, 상기 색상차가 최소인 최대거리 배수값을 해당 픽셀의 최대거리 배수값으로 계산하는
    TOF 카메라와 스테레오 카메라의 합성 시스템에서 원거리 복원 방법.
  5. 제1항에 있어서,
    상기 최대거리 배수값을 계산하는 단계는,
    상기 깊이 영상의 픽셀별 거리가 인접 픽셀의 거리 간의 차이가 기설정한 값보다 작으면, 상기 인접 픽셀과 동일한 최대거리 배수값을 가지도록 계산하는
    TOF 카메라와 스테레오 카메라의 합성 시스템에서 원거리 복원 방법.
  6. 제1항에 있어서,
    상기 최대거리 배수값을 계산하는 단계는,
    아래 <수학식 7>의 E의 값이 최소가 되는 n 값을 상기 최대거리 배수값으로 계산하는
    TOF 카메라와 스테레오 카메라의 합성 시스템에서 원거리 복원 방법.
    [수학식 7]
    Figure pat00025

    여기서,
    Figure pat00026
    은 i번째 픽셀의 최대거리 배수값이고, j는 i번째 픽셀과 인접한 픽셀을 나타내고,
    Figure pat00027
    는 깊이영상의 i번째 픽셀에서 벡터값이고,
    Figure pat00028
    는 좌 컬러 영상의 영역과 우 컬러 영상을 이용한 비용 함수이고,
    Figure pat00029
    는 깊이영상에서 해당 픽셀의 인접픽셀들을 이용한 비용 함수이고,
    Figure pat00030
    는
    Figure pat00031
    와
    Figure pat00032
    간의 비중을 조절하기 위한 가중치 이고, N는 깊이영상의 모든 이웃한 픽셀의 집합이고, P는 깊이영상의 모든 픽셀의 집합 이고,
    Figure pat00033
    는 i번째 픽셀의 오차값이고,
    Figure pat00034
    는 확률 분포의 신뢰구간이고,
    Figure pat00035
    는 깊이 영상의 이웃한 벡터 값의 유사도를 판단하기 위한 문턱치이고,
    Figure pat00036
    은 X가 좌 컬러 영상과 우 컬러 영상에 투영된 점인
    Figure pat00037
    와
    Figure pat00038
    에서의 밝기 차이 또는 텍스처(Texture) 차이를 나타낸다.
  7. 제1항에 있어서,
    상기 깊이 영상의 원거리 깊이를 복원하는 단계는,
    상기 깊이 영상의 픽셀별 최대거리 배수값을 이용해서 상기 깊이 영상의 원거리 깊이를 복원한 후, 중간 필터링(median filtering)을 통해 잡음을 제거하는
    TOF 카메라와 스테레오 카메라의 합성 시스템에서 원거리 복원 방법.
  8. 제1항에 있어서,
    상기 영상 수신 단계 이전에,
    상기 깊이 카메라와 상기 스테레오 카메라 각각의 고유의(Intrinsic) 파라메터와 상기 깊이 카메라와 상기 스테레오 카메라 간의 상관관계를 나타내는 외부(Extrinsic) 파라메터를 추정하는 전처리 단계를 더 포함하는
    TOF 카메라와 스테레오 카메라의 합성 시스템에서 원거리 복원 방법.
  9. 제8항에 있어서,
    상기 전처리 단계는,
    상기 깊이 카메라와 상기 스테레오 카메라를 통해 촬영된 다수의 영상들을 비교해서 상기 고유의 파라메터와 상기 외부 파라메터를 추정하는
    TOF 카메라와 스테레오 카메라의 합성 시스템에서 원거리 복원 방법.
  10. 제1항에 있어서,
    상기 좌 컬러 영상과 상기 우 컬러 영상 각각을 텍스처(Texture)가 독특하고 분명한 독특한(Distinctive) 영역과 그렇지 못한 평평한 영역으로 분석하는 단계;
    상기 좌 컬러 영상과 상기 우 컬러 영상 각각을 대응하는 다른쪽 스테레오 영상에도 존재하는 영역인 존재영역과 대응하는 다른쪽 스테레오 영상에는 존재하지 않는 영역인 미존재영역으로 분석하는 단계;
    상기 독특한 영역이면서 상기 존재영역인 경우 상기 좌 컬러 영상과 상기 우 컬러 영상을 비교해서 상기 독특한 영역이면서 상기 존재영역의 픽셀별 차이값(Disparity)을 추정하는 스테레오 매칭 1단계;
    상기 독특한 영역이면서 상기 존재영역이 아닌 경우 상기 복원된 깊이영상을 이용해서 상기 독특한 영역이면서 상기 존재영역이 아닌 영역의 픽셀별 차이값(Disparity)을 추정하는 스테레오 매칭 2단계; 및
    상기 스테레오 매칭 1단계와 상기 스테레오 매칭 2단계를 통해 추정된 차이값들을 이용해서 좌 디스페리티(Disparity) 영상과 우 디스페리티(Disparity) 영상을 생성하는 단계를 더 포함하는
    TOF 카메라와 스테레오 카메라의 합성 시스템에서 원거리 복원 방법.
  11. 제10항에 있어서,
    상기 스테레오 매칭 2단계는,
    상기 복원된 깊이영상에서 상기 독특한 영역이면서 상기 존재영역이 아닌 영역의 픽셀별 깊이를 각 오차범위에 고려해서 상기 좌 컬러 영상과 상기 우 컬러 영상에 투영하는 단계; 및
    상기 좌 컬러 영상과 상기 우 컬러 영상 각각의 투영된 범위 내에서 가장 작은 차이값을 해당 픽셀의 차이값으로 추정하는 단계를 포함하는
    TOF 카메라와 스테레오 카메라의 합성 시스템에서 원거리 복원 방법.
  12. 제10항에 있어서,
    상기 좌 디스페리티 영상과 상기 우 디스페리티 영상을 생성하는 단계 이후에,
    상기 좌 디스페리티 영상과 상기 우 디스페리티 영상을 이용해서 상기 복원된 깊이 영상을 보정하는 단계를 더 포함하는
    TOF 카메라와 스테레오 카메라의 합성 시스템에서 원거리 복원 방법.
  13. 제12항에 있어서,
    상기 복원된 깊이 영상을 보정하는 단계는,
    상기 좌 디스페리티 영상과 우 디스페리티 영상 각각을 대응하는 다른쪽 디스페리티 영상에도 존재하는 영역인 존재영역과 대응하는 다른쪽 디스페리티 영상에는 존재하지 않는 영역인 미존재영역으로 분석하는 단계; 및
    상기 좌 디스페리티 영상과 우 디스페리티 영상의 존재영역의 차이값을 이용해서 상기 복원된 깊이 영상의 대응하는 영역의 깊이를 보정하는 단계를 포함하는
    TOF 카메라와 스테레오 카메라의 합성 시스템에서 원거리 복원 방법.
  14. 빛이 물체에 반사되어 도착한 시간을 이용해서 깊이 영상을 촬영하는 깊이 카메라;
    3차원 영상을 위한 좌 컬러 영상과 우 컬러 영상을 촬영하는 스테레오 카메라;
    상기 깊이 영상의 픽셀별 오차값을 추정하는 오차 추정부; 및
    상기 깊이 영상의 픽셀별 오차값, 상기 좌 컬러 영상 및 상기 우 컬러 영상을 이용해서 상기 깊이 영상의 픽셀별 최대거리 배수값을 계산하고, 상기 깊이 영상의 픽셀별 최대거리 배수값을 이용해서 상기 깊이 영상의 원거리 깊이를 복원해서 복원된 깊이영상을 생성하는 깊이영상 복원부를 포함하는
    TOF 카메라와 스테레오 카메라의 합성 시스템.
  15. 제14항에 있어서,
    상기 깊이영상 복원부는,
    상기 깊이 영상의 픽셀별 오차범위에 대응하는 상기 좌 컬러 영상의 영역과 상기 우 컬러 영상의 영역 간의 색상차를 기설정한 최대거리 배수값 별로 계산해서, 상기 색상차가 최소인 최대거리 배수값을 해당 픽셀의 최대거리 배수값으로 계산하는
    TOF 카메라와 스테레오 카메라의 합성 시스템.
  16. 제14항에 있어서,
    상기 깊이영상 복원부는,
    상기 깊이 영상의 픽셀별 거리가 인접 픽셀의 거리 간의 차이가 기설정한 값보다 작으면, 상기 인접 픽셀과 동일한 최대거리 배수값을 가지도록 계산하는
    TOF 카메라와 스테레오 카메라의 합성 시스템.
  17. 제14항에 있어서,
    상기 깊이영상 복원부는,
    아래 <수학식 8>의 E의 값이 최소가 되는 n 값을 상기 최대거리 배수값으로 계산하는
    TOF 카메라와 스테레오 카메라의 합성 시스템.
    [수학식 8]
    Figure pat00039

    여기서,
    Figure pat00040
    은 i번째 픽셀의 최대거리 배수값이고, j는 i번째 픽셀과 인접한 픽셀을 나타내고,
    Figure pat00041
    는 깊이영상의 i번째 픽셀에서 벡터값이고,
    Figure pat00042
    는 좌 컬러 영상의 영역과 우 컬러 영상을 이용한 비용 함수이고,
    Figure pat00043
    는 깊이영상에서 해당 픽셀의 인접픽셀들을 이용한 비용 함수이고,
    Figure pat00044
    는
    Figure pat00045
    와
    Figure pat00046
    간의 비중을 조절하기 위한 가중치 이고, N는 깊이영상의 모든 이웃한 픽셀의 집합 이고, P는 깊이영상의 모든 픽셀의 집합 이고,
    Figure pat00047
    는 i번째 픽셀의 오차값이고,
    Figure pat00048
    는 확률 분포의 신뢰구간이고,
    Figure pat00049
    는 깊이 영상의 이웃한 벡터 값의 유사도를 판단하기 위한 문턱치이고,
    Figure pat00050
    은 X가 좌 컬러 영상과 우 컬러 영상에 투영된 점인
    Figure pat00051
    와
    Figure pat00052
    에서의 밝기 차이 또는 텍스처(Texture) 차이를 나타낸다.
  18. 제14항에 있어서,
    상기 깊이 카메라와 상기 스테레오 카메라 각각의 고유의(Intrinsic) 파라메터와 상기 깊이 카메라와 상기 스테레오 카메라 간의 상관관계를 나타내는 외부(Extrinsic) 파라메터를 추정하는 전처리부를 더 포함하는
    TOF 카메라와 스테레오 카메라의 합성 시스템.
  19. 제14항에 있어서,
    상기 좌 컬러 영상과 상기 우 컬러 영상 각각을 텍스처(Texture)가 독특하고 분명한 독특한(Distinctive) 영역과 그렇지 못한 평평한 영역으로 분석하고, 상기 좌 컬러 영상과 상기 우 컬러 영상 각각을 대응하는 다른쪽 스테레오 영상에도 존재하는 영역인 존재영역과 대응하는 다른쪽 스테레오 영상에는 존재하지 않는 영역인 미존재영역으로 분석하는 영상 분석부; 및
    상기 독특한 영역이면서 상기 존재영역인 경우 상기 좌 컬러 영상과 상기 우 컬러 영상을 비교해서 상기 독특한 영역이면서 상기 존재영역의 픽셀별 차이값(Disparity)을 추정하고, 상기 독특한 영역이면서 상기 존재영역이 아닌 경우 상기 복원된 깊이영상을 이용해서 상기 독특한 영역이면서 상기 존재영역이 아닌 영역의 픽셀별 차이값(Disparity)을 추정하고, 추정된 차이값들을 이용해서 좌 디스페리티(Disparity) 영상과 우 디스페리티(Disparity) 영상을 생성하는 스테레오 매칭부를 더 포함하는
    TOF 카메라와 스테레오 카메라의 합성 시스템.
  20. 제19항에 있어서,
    상기 스테레오 매칭부는,
    상기 독특한 영역이면서 상기 존재영역이 아닌 영역의 픽셀별 차이값을 추정할 때, 상기 복원된 깊이영상에서 상기 독특한 영역이면서 상기 존재영역이 아닌 영역의 픽셀별 깊이를 각 오차범위에 고려해서 상기 좌 컬러 영상과 상기 우 컬러 영상에 투영하고, 상기 좌 컬러 영상과 상기 우 컬러 영상 각각의 투영된 범위 내에서 가장 작은 차이값을 해당 픽셀의 차이값으로 추정하는
    TOF 카메라와 스테레오 카메라의 합성 시스템.
  21. 제19항에 있어서,
    상기 좌 디스페리티 영상과 우 디스페리티 영상 각각을 대응하는 다른쪽 디스페리티 영상에도 존재하는 영역인 존재영역과 대응하는 다른쪽 디스페리티 영상에는 존재하지 않는 영역인 미존재영역으로 분석하고, 상기 좌 디스페리티 영상과 우 디스페리티 영상의 존재영역의 차이값을 이용해서 상기 복원된 깊이 영상의 대응하는 영역의 깊이를 보정하는 깊이영상 보정부를 더 포함하는
    TOF 카메라와 스테레오 카메라의 합성 시스템.
KR1020120021462A 2012-02-29 2012-02-29 원거리 획득이 가능한 ｔｏｆ카메라와 스테레오 카메라의 합성 시스템 및 방법 KR101862199B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120021462A KR101862199B1 (ko) 2012-02-29 2012-02-29 원거리 획득이 가능한 ｔｏｆ카메라와 스테레오 카메라의 합성 시스템 및 방법
US13/780,555 US9538162B2 (en) 2012-02-29 2013-02-28 Synthesis system of time-of-flight camera and stereo camera for reliable wide range depth acquisition and method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120021462A KR101862199B1 (ko) 2012-02-29 2012-02-29 원거리 획득이 가능한 ｔｏｆ카메라와 스테레오 카메라의 합성 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20130099735A true KR20130099735A (ko) 2013-09-06
KR101862199B1 KR101862199B1 (ko) 2018-05-29

Family

ID=49002441

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120021462A KR101862199B1 (ko) 2012-02-29 2012-02-29 원거리 획득이 가능한 ｔｏｆ카메라와 스테레오 카메라의 합성 시스템 및 방법

Country Status (2)

Country Link
US (1) US9538162B2 (ko)
KR (1) KR101862199B1 (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160047891A (ko) * 2014-10-23 2016-05-03 삼성전자주식회사 영상을 처리하는 전자 장치 및 방법
KR20160098012A (ko) * 2015-02-09 2016-08-18 삼성전자주식회사 영상 매칭 방법 및 장치
KR20160100785A (ko) * 2015-02-16 2016-08-24 삼성전자주식회사 복수의 센서 데이터를 처리하는 데이터 처리 장치 및 상기 장치를 포함하는 데이터 처리 시스템
KR20200047474A (ko) * 2020-04-23 2020-05-07 엘지이노텍 주식회사 깊이 정보 추출 장치 및 방법
WO2021066219A1 (ko) * 2019-10-01 2021-04-08 엘지전자 주식회사 이동단말기
CN112702575A (zh) * 2020-12-23 2021-04-23 杭州中威电子股份有限公司 一种基于图像融合技术的多焦距图像采集装置及分析方法
US11049212B2 (en) 2015-02-16 2021-06-29 Samsung Electronics Co., Ltd. Data processing device for processing multiple sensor data and system including the same
KR20210108283A (ko) * 2020-02-25 2021-09-02 광운대학교 산학협력단 깊이영상 카메라로부터 획득된 3d 영상의 품질 향상 방법
KR20230010289A (ko) 2021-07-12 2023-01-19 에스케이하이닉스 주식회사 티오에프 카메라의 영상 획득 방법

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10154177B2 (en) 2012-10-04 2018-12-11 Cognex Corporation Symbology reader with multi-core processor
LU92173B1 (en) * 2013-03-20 2014-09-22 Iee Sarl Distance determination method
CN104284172A (zh) * 2013-07-04 2015-01-14 联咏科技股份有限公司 影像匹配方法及立体匹配系统
US9805454B2 (en) * 2014-07-15 2017-10-31 Microsoft Technology Licensing, Llc Wide field-of-view depth imaging
KR101566543B1 (ko) * 2014-09-03 2015-11-05 재단법인 실감교류인체감응솔루션연구단 공간 정보 증강을 이용하는 상호 인터랙션을 위한 방법 및 시스템
US9702976B2 (en) 2014-10-27 2017-07-11 Microsoft Technology Licensing, Llc Time of flight camera
US9823352B2 (en) * 2014-10-31 2017-11-21 Rockwell Automation Safety Ag Absolute distance measurement for time-of-flight sensors
KR101622344B1 (ko) * 2014-12-16 2016-05-19 경북대학교 산학협력단 적응적 영역 가중치가 적용된 센서스 변환 기반 스테레오 정합을 통한 시차 계산 방법 및 그 시스템
US20160205378A1 (en) * 2015-01-08 2016-07-14 Amir Nevet Multimode depth imaging
CN106527761A (zh) 2015-09-10 2017-03-22 义明科技股份有限公司 非接触式光学感测装置及三维空间物件深度位置感测方法
TWI575248B (zh) * 2015-09-10 2017-03-21 義明科技股份有限公司 非接觸式光學感測裝置及感測三維空間之物件深度位置的方法
US10445885B1 (en) * 2015-10-01 2019-10-15 Intellivision Technologies Corp Methods and systems for tracking objects in videos and images using a cost matrix
TWI570387B (zh) 2015-11-09 2017-02-11 財團法人工業技術研究院 影像測距系統、光源模組及影像感測模組
US10341634B2 (en) 2016-01-29 2019-07-02 Samsung Electronics Co., Ltd. Method and apparatus for acquiring image disparity
JP6727539B2 (ja) * 2016-03-04 2020-07-22 株式会社リコー 距離センサ、走行体、ロボット及び３次元計測装置
US10598783B2 (en) * 2016-07-07 2020-03-24 Microsoft Technology Licensing, Llc Multi-frequency unwrapping
JP6776692B2 (ja) * 2016-07-25 2020-10-28 株式会社リコー 視差演算システム、移動体及びプログラム
US10002424B2 (en) * 2016-09-22 2018-06-19 Sony Corporation Image processing system and method to reconstruct a three-dimensional (3D) anatomical surface
US10284836B2 (en) * 2017-02-08 2019-05-07 Microsoft Technology Licensing, Llc Depth camera light leakage avoidance
CN107147891B (zh) * 2017-05-17 2019-03-01 浙江大学 光轴可调节式三目深度获取摄像机
CN109242782B (zh) * 2017-07-11 2022-09-09 深圳市道通智能航空技术股份有限公司 噪点处理方法及装置
CN108805868B (zh) * 2018-05-25 2020-07-31 哈尔滨市科佳通用机电股份有限公司 一种电务车载车下走行部设备故障检测的图像处理方法及故障检测方法
CN109005348A (zh) * 2018-08-22 2018-12-14 Oppo广东移动通信有限公司 电子装置和电子装置的控制方法
CN108965732B (zh) 2018-08-22 2020-04-14 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN110956657B (zh) * 2018-09-26 2023-06-30 Oppo广东移动通信有限公司 深度图像获取方法及装置、电子设备及可读存储介质
CN109615652B (zh) * 2018-10-23 2020-10-27 西安交通大学 一种深度信息获取方法及装置
KR102552923B1 (ko) 2018-12-03 2023-07-10 삼성전자 주식회사 복수의 카메라들 또는 깊이 센서 중 적어도 하나를 이용하여 깊이 정보를 획득하는 전자 장치
CN110009672A (zh) * 2019-03-29 2019-07-12 香港光云科技有限公司 提升ToF深度图像处理方法、3D图像成像方法及电子设备
CN110390719B (zh) * 2019-05-07 2023-02-24 香港光云科技有限公司 基于飞行时间点云重建设备
CN110488240A (zh) * 2019-07-12 2019-11-22 深圳奥比中光科技有限公司 深度计算芯片架构
CN110490920A (zh) * 2019-07-12 2019-11-22 深圳奥比中光科技有限公司 融合深度计算处理器及3d图像设备
WO2021087812A1 (zh) * 2019-11-06 2021-05-14 Oppo广东移动通信有限公司 图像的深度值的确定方法、图像处理器以及模组
US11330246B2 (en) 2019-11-21 2022-05-10 Microsoft Technology Licensing, Llc Imaging system configured to use time-of-flight imaging and stereo imaging
CN112419389B (zh) * 2020-11-25 2024-01-23 中科融合感知智能研究院(苏州工业园区)有限公司 一种实现双目增量视差匹配算法的方法及装置
WO2022194352A1 (en) 2021-03-16 2022-09-22 Huawei Technologies Co., Ltd. Apparatus and method for image correlation correction
CN113837033A (zh) * 2021-09-08 2021-12-24 江西合力泰科技有限公司 一种搭载有tof模组的人脸识别方法
US11682140B1 (en) * 2022-06-30 2023-06-20 Plusai, Inc. Methods and apparatus for calibrating stereo cameras using a time-of-flight sensor

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100513055B1 (ko) 2003-12-11 2005-09-06 한국전자통신연구원 변이지도 및 깊이지도의 융합을 통한 3차원 장면 모델생성 장치 및 그 방법
JP4939901B2 (ja) 2006-11-02 2012-05-30 富士フイルム株式会社 距離画像生成方法及びその装置
JP4452951B2 (ja) 2006-11-02 2010-04-21 富士フイルム株式会社 距離画像生成方法及びその装置
JP2009047496A (ja) 2007-08-17 2009-03-05 Fujifilm Corp 立体撮像装置および立体撮像装置の制御方法並びにプログラム
JP2009047498A (ja) 2007-08-17 2009-03-05 Fujifilm Corp 立体撮像装置および立体撮像装置の制御方法並びにプログラム
JP2009139995A (ja) 2007-12-03 2009-06-25 National Institute Of Information & Communication Technology ステレオ画像対における画素のリアルタイムマッチングのための装置及びプログラム
KR101420684B1 (ko) * 2008-02-13 2014-07-21 삼성전자주식회사 컬러 영상과 깊이 영상을 매칭하는 방법 및 장치
KR101310213B1 (ko) 2009-01-28 2013-09-24 한국전자통신연구원 깊이 영상의 품질 개선 방법 및 장치
EP2251832A1 (en) 2009-05-14 2010-11-17 Alcatel Lucent Method for generating a 3-dimensional model of an object
KR101666854B1 (ko) 2010-06-14 2016-10-17 삼성전자주식회사 복수 개의 깊이 영상에 기초한 깊이 영상 접힘 제거 장치 및 방법
US20120056982A1 (en) * 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
US8548270B2 (en) * 2010-10-04 2013-10-01 Microsoft Corporation Time-of-flight depth imaging
US20120162386A1 (en) * 2010-12-22 2012-06-28 Electronics And Telecommunications Research Institute Apparatus and method for correcting error in stereoscopic image
US8873835B2 (en) * 2011-11-30 2014-10-28 Adobe Systems Incorporated Methods and apparatus for correcting disparity maps using statistical analysis on local neighborhoods

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160047891A (ko) * 2014-10-23 2016-05-03 삼성전자주식회사 영상을 처리하는 전자 장치 및 방법
US10970865B2 (en) 2014-10-23 2021-04-06 Samsung Electronics Co., Ltd. Electronic device and method for applying image effect to images obtained using image sensor
US11455738B2 (en) 2014-10-23 2022-09-27 Samsung Electronics Co., Ltd. Electronic device and method for applying image effect to images obtained using image sensor
KR20160098012A (ko) * 2015-02-09 2016-08-18 삼성전자주식회사 영상 매칭 방법 및 장치
KR20160100785A (ko) * 2015-02-16 2016-08-24 삼성전자주식회사 복수의 센서 데이터를 처리하는 데이터 처리 장치 및 상기 장치를 포함하는 데이터 처리 시스템
US11049212B2 (en) 2015-02-16 2021-06-29 Samsung Electronics Co., Ltd. Data processing device for processing multiple sensor data and system including the same
WO2021066219A1 (ko) * 2019-10-01 2021-04-08 엘지전자 주식회사 이동단말기
KR20210108283A (ko) * 2020-02-25 2021-09-02 광운대학교 산학협력단 깊이영상 카메라로부터 획득된 3d 영상의 품질 향상 방법
KR20200047474A (ko) * 2020-04-23 2020-05-07 엘지이노텍 주식회사 깊이 정보 추출 장치 및 방법
CN112702575A (zh) * 2020-12-23 2021-04-23 杭州中威电子股份有限公司 一种基于图像融合技术的多焦距图像采集装置及分析方法
KR20230010289A (ko) 2021-07-12 2023-01-19 에스케이하이닉스 주식회사 티오에프 카메라의 영상 획득 방법
US11915393B2 (en) 2021-07-12 2024-02-27 SK Hynix Inc. Image acquisition method for time of flight camera

Also Published As

Publication number Publication date
US20130222550A1 (en) 2013-08-29
KR101862199B1 (ko) 2018-05-29
US9538162B2 (en) 2017-01-03

Similar Documents

Publication Publication Date Title
KR101862199B1 (ko) 원거리 획득이 가능한 ｔｏｆ카메라와 스테레오 카메라의 합성 시스템 및 방법
EP3491332B1 (en) Reflectivity map estimate from dot based structured light systems
Reynolds et al. Capturing time-of-flight data with confidence
US20130194390A1 (en) Distance measuring device
EP2064676B1 (en) A method and system for three-dimensional model acquisition
KR101706093B1 (ko) 3차원 좌표 추출 시스템 및 그 방법
US9424650B2 (en) Sensor fusion for depth estimation
EP2848003B1 (en) Method and apparatus for acquiring geometry of specular object based on depth sensor
US9514537B2 (en) System and method for adaptive depth map reconstruction
JP6239594B2 (ja) ３ｄ情報処理装置及び方法
KR101815407B1 (ko) 시차 연산 시스템, 정보 처리 장치, 정보 처리 방법 및 기록 매체
US20150294473A1 (en) Processing of Depth Images
KR20160121509A (ko) 2개의 카메라로부터의 곡선의 세트의 구조형 광 매칭
CN111179329A (zh) 三维目标检测方法、装置及电子设备
KR102490335B1 (ko) 타임 오브 플라이트 데이터를 비닝하는 방법
CN103900494A (zh) 用于双目视觉三维测量的同源点快速匹配方法
CN112313541A (zh) 设备和方法
KR20200132065A (ko) 3d 포인트 클라우드를 이용한 2d 영상에서의 피사체 위치 계측 시스템
Fischer et al. Combination of time-of-flight depth and stereo using semiglobal optimization
JP5501084B2 (ja) 平面領域検出装置及びステレオカメラシステム
EP3756164B1 (en) Methods of modeling a 3d object, and related devices and computer program products
Weinmann et al. Semi-automatic image-based co-registration of range imaging data with different characteristics
Zhang et al. High quality depth maps from stereo matching and ToF camera
US9064310B2 (en) Position estimation device, position estimation method, and computer program product
Vaida et al. Automatic extrinsic calibration of LIDAR and monocular camera images

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant