KR20130003135A - 다시점 카메라를 이용한 라이트 필드 형상 캡처링 방법 및 장치 - Google Patents

다시점 카메라를 이용한 라이트 필드 형상 캡처링 방법 및 장치 Download PDF

Info

Publication number
KR20130003135A
KR20130003135A KR1020110064221A KR20110064221A KR20130003135A KR 20130003135 A KR20130003135 A KR 20130003135A KR 1020110064221 A KR1020110064221 A KR 1020110064221A KR 20110064221 A KR20110064221 A KR 20110064221A KR 20130003135 A KR20130003135 A KR 20130003135A
Authority
KR
South Korea
Prior art keywords
images
shape
information
cameras
color
Prior art date
Application number
KR1020110064221A
Other languages
English (en)
Inventor
이승규
김도균
심현정
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020110064221A priority Critical patent/KR20130003135A/ko
Priority to US13/483,435 priority patent/US20130002827A1/en
Publication of KR20130003135A publication Critical patent/KR20130003135A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

시점이 상이한 복수의 카메라들에서 획득된 영상 내에서 빛에 따라 변화하는 라이트 필드 형상을 개선하여 3차원 영상을 복원하는 다시점 카메라를 이용한 라이트 필드 형상 캡처링 방법 및 장치에 관한 것이다.

Description

다시점 카메라를 이용한 라이트 필드 형상 캡처링 방법 및 장치{APPARATUS AND METHOD FOR CAPTURING LIGHT FIELD GEOMETRY USING MULTI-VIEW CAMERA}
3차원 장면의 라이트 필드를 기반으로 형상을 획득하는 기술에 관한 것이다.
종래의 3차원 형상 획득 방식은 주로 시점이 서로 상이한 다수의 컬러 카메라 셋으로부터, 색상 정보 일관성(consistency)을 이용하여 형상 정보를 획득하는 방식을 취하고 있다. 이러한 상기 3차원 형상 획득 방식은 스테레오 매칭(stereo matching) 기술이나 다시점 스테레오(Multi View Stereo; MVS) 방식들이 공통적으로 취하고 있는 3차원 형상 획득 방식이다.
그러나, 상기 3차원 형상 획득 방식은 초기 획득되는 형상의 정밀도가 저하될 뿐만 아니라, 형상 정보를 개선(refinement)하는 과정에서도 다시점에서 얻어지는 해당 컬러 정보가 일치(consistent)해야 한다는 가정에서만 수행될 수 있다. 보다 실제와 가까운 3차원 정보를 획득을 위해 필수적인 조명이나 재질 정보를 고려한다면, 시점에 따라 변하는 라이트 필드(Light Field)를 획득하는 것이 이론적으로 불가능하다.
다시점 카메라를 이용한 라이트 필드 형상 캡처링 장치는 복수의 깊이 카메라들 또는 복수의 컬러 카메라들의 위치를 선정하여 상기 깊이 카메라들 또는 상기 컬러 카메라들의 서로 상이한 시점을 정합(calibration)하는 카메라 제어부, 및 상기 정합된 깊이 카메라들 또는 상기 정합된 컬러 카메라들로부터 영상들을 획득하고, 상기 획득한 영상들로부터 형상 정보를 획득하는 형상 획득부를 포함한다.
상기 카메라 제어부는 제한 조건을 이용하여 상기 깊이 카메라들 또는 상기 컬러 카메라들의 위치를 선정할 수 있다.
상기 카메라 제어부는 상기 깊이 카메라들 또는 상기 컬러 카메라들로부터 각각 획득한 영상들의 디스플레이 환경으로부터 공간 관점, 객체 관점, 객체 위치, 카메라의 개수, 각 카메라의 배치, 각 카메라의 시점, 및 각 카메라의 파라미터 중 적어도 하나를 제한 조건으로 획득할 수 있다.
상기 카메라 제어부는 상기 깊이 카메라들 또는 상기 컬러 카메라들로부터 각각 획득한 영상들의 정합 정확도, 상기 영상들의 형상 정확도, 상기 영상들의 색상 유사도, 및 각 카메라에 의한 객체 커버리지 중 적어도 하나를 고려하여 상기 깊이 카메라들 또는 상기 컬러 카메라들의 개수 또는 위치를 선정할 수 있다.
상기 라이트 필드 형상 캡처링 장치는 상기 획득한 형상 정보를 상기 획득한 영상들로 투영하고, 투영된 영상들 내에 각 픽셀당 컬러 세트 정보를 획득하고, 다수의 투영된 영상들과 상기 컬러 세트 정보가 상이한 소수의 투영된 영상 내의 픽셀값을 변경하여 상기 형상 정보를 개선하는 형상 개선부를 더 포함할 수 있다.
다른 실시예의 다시점 카메라를 이용한 라이트 필드 형상 캡처링 장치는 시점이 상이한 복수의 정합된 카메라들로부터 인트린식(intrinsic) 영상들을 획득하여, 상기 인트린식 영상들로부터 형상 정보를 획득하는 형상 획득부, 및 상기 획득된 형상 정보에 기초하여 상기 인트린식 영상들을 복원하는 영상 복원부를 포함한다.
상기 형상 획득부는 ISO-BRDF(International Organization for Standardization-Bidirectional Reflectance Distribution Function) 방식의 인트린식 영상들을 획득할 수 있다.
상기 영상 복원부는 상기 형상 정보에 기초하여 상기 인트린식 영상들로부터 반사 영역이 포함된 인트린식 영상을 삭제하고, 삭제되지 않은 인트린식 영상들 내에서 컬러 정보의 변화가 임계값 이하인 인트린식 영상들을 이용하여 상기 인트린식 영상들을 복원할 수 있다.
또 다른 실시예의 다시점 카메라를 이용한 라이트 필드 형상 캡처링 장치는 각각 상이한 시점을 갖는 복수의 정합된 카메라들로부터 영상들을 획득하고, 상기 획득한 영상들로부터 형상 정보를 획득하는 형상 획득부, 상기 획득한 영상들 간의 특징 유사도를 이용하여 상기 획득된 형상 정보를 개선하는 형상 개선부, 및 상기 개선된 형상 정보에 기초하여 상기 획득한 영상들을 복원하는 영상 복원부를 포함한다.
상기 형상 개선부는 상기 획득한 영상들을 상기 획득한 형상 정보로 투영하고, 투영된 영상들 간의 컬러 패턴 유사도 비교를 통해 상기 획득한 형상 정보를 개선할 수 있다.
상기 형상 개선부는 상기 획득한 영상들을 상기 획득한 형상 정보로 투영하고, 투영된 영상들 간의 구조 유사도 비교를 통해 상기 획득한 형상 정보를 개선할 수 있다.
상기 형상 개선부는 상호 정보(Mutual Information) 연관 계수를 이용하여 상기 투영된 영상들 간의 구조 유사도를 비교할 수 있다.
상기 형상 개선부는 상기 투영된 영상들로부터 에지를 추출하고, 추출된 에지 간의 비교를 통해 상기 투영된 영상들 간의 구조 유사도를 비교할 수 있다.
상기 형상 개선부는 상기 획득한 영상들을 상기 획득한 형상 정보로 투영하고, 투영된 영상들 내에서 컬러 유사도 비교를 통해 상기 획득한 형상 정보를 개선할 수 있다.
상기 형상 개선부는 상기 투영된 영상들 중 어느 하나의 영상 내에서 컬러 정보들 각각과 이웃하는 주변 컬러 정보가 임계치 내에서 동일한지 여부에 따라 상기 컬러 정보들을 보정하여 상기 획득한 형상 정보를 개선할 수 있다.
상기 영상 복원부는 신뢰 전파(Belief Propagation) 알고리즘을 이용하여 상기 개선된 형상 정보로부터 상기 획득한 영상들 내 각 픽셀의 주변 확률(Marginal Propagation)을 산출하고, 산출된 주변 확률을 통해 상기 획득한 영상들을 복원할 수 있다.
다시점 카메라를 이용한 라이트 필드 형상 캡처링 방법은 각각 상이한 시점을 갖는 복수의 정합된 카메라들로부터 영상들을 획득하는 단계, 상기 획득한 영상들로부터 형상 정보를 획득하는 단계, 상기 획득한 영상들 간의 특징 유사도를 이용하여 상기 획득된 형상 정보를 개선하는 단계, 및 상기 개선된 형상 정보에 기초하여 상기 획득한 영상들을 복원하는 단계를 포함한다.
복수의 카메라들의 위치 선정을 통해 상기 복수의 카메라들의 서로 상이한 시점을 정합함으로써, 정합된 카메라들로부터 획득한 영상들 내에서 라이트 필드 3차원 형상을 용이하게 획득할 수 있다.
ISO-BRDF 방식의 인트린식 영상을 이용하여 3차원 형상을 용이하게 획득할 수 있다.
복수의 정합된 카메라들로부터 획득한 영상들의 특징 유사도를 이용하여 형상 정보를 개선함으로써, 개선된 형상 정보에 기초하여 영상들을 효율적으로 복원할 수 있다.
영상들간의 컬러 패턴 유사도, 영상들간의 구조 유사도 또는 영상의 컬러 유사도를 통해 형상 정보를 개선함으로써, 카메라 시점에 따라 변화하는 라이트 필드 형상을 용이하게 획득할 수 있다.
도 1은 본 발명의 일실시예에 따른 다시점 카메라를 이용한 라이트 필드 형상 캡처링 장치의 구성을 도시한 블록도이다.
도 2는 영상들의 디스플레이 환경으로부터 제한 조건을 획득하는 일례를 도시한 도면한다.
도 3은 본 발명의 다른 실시예에 따른 다시점 카메라를 이용한 라이트 필드 형상 캡처링 장치의 구성을 도시한 블록도이다.
도 4는 본 발명의 또 다른 실시예에 따른 다시점 카메라를 이용한 라이트 필드 형상 캡처링 장치의 구성을 도시한 블록도이다.
도 5는 영상들 간의 컬러 패턴 유사도를 이용하여 형상 정보를 개선하는 일례를 도시한 도면이다.
도 6은 영상들 간의 구조 유사도를 이용하여 형상 정보를 개선하는 일례를 도시한 도면이다.
도 7은 영상 내 컬러 유사도를 이용하여 형상 정보를 개선하는 일례를 도시한 도면이다.
도 8은 형상 정보에 기초하여 영상을 복원하는 일례를 도시한 도면이다.
도 9는 본 발명의 일실시예에 따른 다시점 카메라를 이용한 라이트 필드 형상 캡처링 방법의 순서를 도시한 흐름도이다.
이하, 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 다양한 실시예를 상세하게 설명하지만, 본 발명이 실시예에 의해 제한되거나 한정되는 것은 아니다.
도 1은 본 발명의 일실시예에 따른 다시점 카메라를 이용한 라이트 필드 형상 캡처링 장치의 구성을 도시한 블록도이다.
도 1을 참고하여, 다시점 카메라를 이용한 라이트 필드 형상 캡처링 장치(100, 이하 '라이트 필드 형상 캡처링 장치'라 함)는 카메라 제어부(110), 형상 획득부(120), 및 형상 개선부(130)를 포함할 수 있다.
서로 상이한 시점에 위치한 복수의 컬러 카메라들과 복수의 깊이 카메라들로부터 획득한 영상들을 이용하여 형상 정보를 복원하는 방식은 종래의 컬러 카메라들만을 이용하는 경우와 달리, 3차원 깊이 정보를 이용하여 보다 높은 정밀도의 형성 정보 획득이 가능하다.
이렇게, 라이트 필드 형상 캡처링 장치(100)는 컬러 카메라와 깊이 카메라의 개수 및 상대적인 카메라의 위치 또는 카메라의 방향 등이 획득되는 형상 정보의 정밀도에 영향을 미친다.
이를 위해, 카메라 제어부(110)는 복수의 깊이 카메라들 또는 복수의 컬러 카메라들의 위치를 선정하여 상기 깊이 카메라들 또는 상기 컬러 카메라들의 서로 상이한 시점을 정합한다. 즉, 카메라 제어부(110)는 각 카메라들이 갖는 시점을 고려하여 상기 깊이 카메라들 또는 상기 컬러 카메라들의 위치를 각각 선정함으로써, 선정된 위치의 상기 깊이 카메라들 또는 상기 컬러 카메라들로부터 획득된 영상들의 형상 정보 정밀도를 높일 수 있다.
실시예로, 카메라 제어부(110)는 제한 조건을 이용하여 상기 깊이 카메라들 또는 상기 컬러 카메라들의 위치를 선정할 수 있다. 예컨대, 카메라 제어부(110)는 상기 깊이 카메라들 또는 상기 컬러 카메라들로부터 각각 획득한 영상들의 디스플레이 환경으로부터 공간 관점, 객체 관점, 객체 위치, 카메라의 개수, 각 카메라의 배치, 각 카메라의 시점, 및 각 카메라의 파라미터 중 적어도 하나를 제한 조건으로 획득할 수 있다.
도 2는 영상들의 디스플레이 환경으로부터 제한 조건을 획득하는 일례를 도시한 도면한다.
도 2를 참고하여, 공간 관점(Space Dimensions)은 영상을 X, Y, Z 좌표계에 투영한 경우, 0부터 X, Y, Z 각각의 최대값까지 가질 수 있다.
객체 관점(Object Dimensions)은 상기 공간 관점 내에서 객체의 중심을 기준으로 0부터 x, y, z 좌표값의 최대값까지 가질 수 있다 .
또한, 카메라 제어부(110)는 객체 위치(X1, Y1, Z1), 카메라의 개수(Nc, Nd), 각 카메라의 배치, 각 카메라의 시점, 및 각 카메라의 파라미터 중 적어도 하나를 제한 조건으로 획득함으로써, 획득한 제한 조건을 이용하여 상기 복수의 카메라들의 위치를 선정할 수 있다.
다른 실시예로, 카메라 제어부(110)는 상기 깊이 카메라들 또는 상기 컬러 카메라들로부터 각각 획득한 영상들의 정합 정확도, 상기 영상들의 형상 정확도, 상기 영상들의 색상 유사도, 및 각 카메라에 의한 객체 커버리지 중 적어도 하나를 고려하여 상기 깊이 카메라들 또는 상기 컬러 카메라들의 개수 또는 위치를 선정할 수 있다. 카메라 제어부(110)는 상기 획득한 영상들과 상기 카메라의 파라미터 등을 이용하여 상기 획득한 영상들의 정합 정확도, 상기 영상들의 형상 정확도, 상기 영상들의 색상 유사도, 및 각 카메라에 의한 객체 커버리지를 측정함으로써, 획득할 수 있다.
예를 들어, 두 개의 컬러 카메라간의 거리는 넓을수록 카메라의 광선 교차(ray intersection)와 3차원 구조의 정밀도가 높다. 반면, 두 개의 컬러 카메라 간의 거리가 좁을수록 영상 매칭이 좋아져 데이터 정합에 좋다.
또 다른 예로는, 영상 내에서 픽셀당 샘플 색상 정보가 많을수록 정확한 평가가 가능하므로, 컬러 카메라가 많을수록 높은 정밀도를 얻을 수 있는 반면, 카메라 세트 크기가 커지고 비용이 증가할 수 있다.
따라서, 카메라 제어부(110)는 영상들의 정합 정확도, 상기 영상들의 형상 정확도, 상기 영상들의 색상 유사도, 및 각 카메라에 의한 객체 커버리지 중 적어도 하나를 고려하여, 형상 정보 획득에 주어진 깊이 카메라와 컬러 카메라에서 최적의 카메라간 위치를 선정하고, 선정된 위치에서 획득한 형상 복원 정밀도에 기초하여 최종 카메라 개수를 결정할 수 있다.
형상 획득부(120)는 상기 정합된 깊이 카메라들 또는 상기 정합된 컬러 카메라들로부터 영상들을 획득하고, 상기 획득한 영상들로부터 형상 정보를 획득할 수 있다. 실시예로, 형상 획득부(120)는 상기 획득한 영상들로부터 포인트 클라우드(Point Cloud)들을 획득하고, 획득한 포인트 클라우드들을 정합하여 포인트 클라우드 세트를 생성하고, 매쉬 모델링 기법을 이용하여 상기 생성된 포인트 클라우드 세트로부터 상기 형상 정보를 1차적으로 획득할 수 있다.
상기 복수의 카메라에 포함된 깊이 카메라는 광학적, 기계적, 알고리즘 잡음 등을 포함하고 있기 때문에, 1차로 얻어진 형상 정보는 많은 에러를 포함하고 있다.
이를 해결하기 위하여, 형상 개선부(130)는 상기 획득된 형상 정보를 상기 획득한 영상들로 투영함으로써, 투영된 영상들 내에 각 픽셀당 컬러 세트 정보를 획득할 수 있다. 형상 개선부(130)는 다수의 투영된 영상들과 상기 컬러 세트 정보가 상이한 소수의 투영된 영상 내의 픽셀값을 변경하여 상기 형상 정보를 개선할 수 있다. 즉, 형상 개선부(130)는 서로 상이한 컬러 정보가 동일하게 유지되는 방향으로, 특이한 픽셀값을 갖는 컬러 정보를 다수의 픽셀값을 갖는 컬러 정보로 대체함으로써, 형상 정보를 개선할 수 있다.
서로 다른 시점에서 서로 빛 정보가 관찰된다는 사실에 기초할 때, 서로 다른 시점에서 획득한 컬러 정보를 이용하여 스테레오 매칭 또는 색상 정보 일치성(consistency)를 이용하는 방식에는 한계가 발생할 수 있다.
이와 같은 방식을 쉽게 보완 하기 위해서, 입력 영상 전체가 ISO-BRDF 가정하에 인트린식 영상을 획득하고, 획득한 인트린식 영상을 이용하여 도 1과 같은 방식으로 형상 정보를 획득하는 것이 가능할 수 있다.
도 3은 본 발명의 다른 실시예에 따른 다시점 카메라를 이용한 라이트 필드 형상 캡처링 장치의 구성을 도시한 블록도이다.
도 3을 참고하여, 라이트 필드 형상 캡처링 장치(300)는 형상 획득부(310), 및 영상 복원부(320)를 포함할 수 있다.
형상 획득부(310)는 시점이 상이한 복수의 정합된 카메라들로부터 인트린식 영상들을 획득하고, 상기 인트린식 영상들로부터 형상 정보를 획득한다. 실시예로, 형상 획득부(310)는 ISO-BRDF 방식의 인트린식 영상들을 획득할 수 있다.
영상 복원부(320)는 상기 획득된 형상 정보에 기초하여 상기 인트린식 영상들을 복원한다. 실시예로, 영상 복원부(320)는 상기 형상 정보에 기초하여 상기 인트린식 영상들로부터 반사 영역이 포함된 인트린식 영상을 삭제하고, 삭제되지 않은 인트린식 영상들 내에서 컬러 정보의 변화가 임계값 이하인 인트린식 영상들을 이용하여 상기 인트린식 영상들을 복원할 수 있다. 상기 임계값은 상기 삭제되지 않은 인트린식 영상들로 상기 인트린식 영상을 복원하는데 적절한 값으로 설정될 수 있다. 영상 복원부(320)는 상기 획득한 인트린식 영상들이 비교적 많은 경우, 인트린식 영상들로부터 반사 영역이 포함되는지 여부를 판단할 수 있다.
도 4는 본 발명의 또 다른 실시예에 따른 다시점 카메라를 이용한 라이트 필드 형상 캡처링 장치의 구성을 도시한 블록도이다.
도 4를 참고하여, 라이트 필드 형상 캡처링 장치(400)는 형상 획득부(410), 형상 개선부(420), 및 영상 복원부(430)를 포함할 수 있다.
형상 획득부(410)는 각각 상이한 시점을 갖는 복수의 정합된 카메라들로부터 영상들을 획득할 수 있다. 여기서, 복수의 카메라는 복수의 컬러 카메라들과 복수의 깊이 카메라들을 포함할 수 있다. 실시예로, 형상 획득부(410)는 복수의 카메라들의 위치 선정을 통해 상기 복수의 카메라들의 서로 상이한 시점을 정합한 후, 정합된 카메라들로부터 영상들을 획득할 수 있다.
형상 획득부(410)는 상기 획득한 영상들로부터 형상 정보를 획득한다.
실시예로, 형상 획득부(410)는 상기 획득한 영상들로부터 포인트 클라우드들을 획득하고, 상기 획득한 포인트 클라우드들을 정합하여 포인트 클라우드 세트를 생성함으로써, 매쉬 모델링 기법을 이용하여 상기 생성된 포인트 클라우드 세트로부터 상기 형상 정보를 획득할 수 있다.
형상 개선부(420)는 상기 획득한 영상들 간의 특징 유사도를 이용하여 상기 획득된 형상 정보를 개선한다. 여기서, 특징 유사도는 상기 획득한 영상들간의 컬러 패턴 유사도, 상기 획득한 영상들간의 구조 유사도, 상기 획득한 영상들 각각에서의 컬러 유사도를 포함할 수 있다.
이하, 도 5에서는 형상 정보가 선형적(Linear)으로 변화하는 경우에 이용할 수 있다.
도 5는 영상들 간의 컬러 패턴 유사도를 이용하여 형상 정보를 개선하는 일례를 도시한 도면이다.
도 5를 참고하여, 형상 개선부(420)는 상기 획득한 영상들을 상기 획득한 형상 정보로 투영하고, 투영된 영상들(영상 1, 영상 2) 간의 컬러 패턴 유사도 비교를 통해 상기 획득한 형상 정보를 개선할 수 있다. 즉, 형상 개선부(420)는 정규화(Normalized)된 로컬 영역의 컬러 및 패턴 유사도를 기반으로 픽셀 형상을 최적화할 수 있다.
예컨대, 형상 개선부(420)는 영상 1과 영상 2에서 대응되는 픽셀 간의 컬러(검은색, 회색, 흰색) 유사도와 패턴(동그라미 모양의 패턴) 유사도를 비교함으로써, 상기 획득한 형상 정보를 개선할 수 있다. 도 5에 도시한 바와 같이, 형상 개선부(420)는 영상 1에서는 검은색으로 표기된 픽셀(맨 위 동그라미)이 영상 2에서는 회색으로 표기되고, 영상 1에서는 회색으로 표기된 픽셀(맨 아래 동그라미)이 영상 2에서는 흰색으로 표기되어, 컬러값에는 차이가 나지만, 픽셀 간의 컬러 유사도는 있다고 보고, 영상 1과 영상 2간의 형상 정보를 서로 매칭할 수 있다.
즉, 형상 개선부(420)는 대응되는 픽셀 간의 컬러값이나 패턴이 정확히 일치하지 않아도, 기준 범위 내에서 픽셀 간의 컬러값이나 패턴이 변화하는 정도가 동일하다면 두 픽셀 간의 컬러와 패턴이 유사한 것으로 볼 수 있다.
이하, 도 6에서는 형상 정보가 비선형적(Non-linear)으로 변화하는 경우에 이용할 수 있다.
도 6은 영상들 간의 구조 유사도를 이용하여 형상 정보를 개선하는 일례를 도시한 도면이다.
도 6을 참고하여, 형상 개선부(420)는 상기 투영된 영상들(영상 1, 영상 2) 간의 구조 유사도 비교를 통해 상기 획득한 형상 정보를 개선할 수 있다. 예컨대, 형상 개선부(420)는 상호 정보 연관 계수를 이용하여 상기 투영된 영상들 간의 구조 유사도를 비교할 수 있다. 즉, 형상 개선부(420)는 영상 1과 영상 2의 각각의 구조가 정확히 일치하지 않아도, 상호 의존적으로 일정한 구조를 가지는 경우, 영상 1과 영상 2가 구조 유사도를 가지는 것으로 보고, 영상 1과 영상 2간의 형상 정보를 서로 매칭할 수 있다.
또는, 형상 개선부(420)는 상기 투영된 영상들로부터 에지를 추출하고, 추출된 에지 간의 비교를 통해 상기 투영된 영상들 간의 구조 유사도를 비교할 수 있다. 즉, 형상 개선부(420)는 영상 1과 영상 2에서 추출된 에지가 유사한 경우, 영상 1과 영상 2가 구조 유사도를 가지는 것으로 보고, 영상 1과 영상 2간의 형상 정보를 서로 매칭할 수 있다.
이하, 도 7에서는 도 5와 도 6에서 형상 정보가 매칭되지 않는 경우 이용할 수 있다.
도 7은 영상 내 컬러 유사도를 이용하여 형상 정보를 개선하는 일례를 도시한 도면이다.
도 7을 참고하여, 형상 개선부(420)는 상기 획득한 영상들을 상기 획득한 형상 정보로 투영하고, 투영된 영상들 내에서 컬러 유사도 비교를 통해 상기 획득한 형상 정보를 개선할 수 있다. 예컨대, 형상 개선부(420)는 영상 1에서 획득한 컬러 정보(검은색)들 각각과 이웃하는 주변 컬러 정보(검은색)가 임계치 내에서 동일한지 여부에 따라 상기 획득한 컬러 정보들을 보정하여 상기 획득한 형상 정보를 개선할 수 있다. 즉, 형상 개선부(420)는 제1 컬러 정보가 옆, 위 또는 아래에 위치한 이웃하는 주변 컬러 정보와 임계치 내에서 동일한 경우, 제1 컬러 정보를 그대로 유지하거나, 제1 컬러 정보를 주변 컬러 정보로 대체할 수 있다.
영상 복원부(430)는 상기 개선된 형상 정보에 기초하여 상기 획득한 영상들을 복원한다.
도 5 내지 도 7을 참고하여 설명한 특징 유사도 방식은 각각 3차원 형상 정보를 얻기 위한 관측(observation)값들로 해석할 수 있다. 즉, 관측값들은 현재 그래픽 모델링된 형상 정보의 현재 픽셀의 주변 가능성을 구하기 위하여 관찰된 관측 세트들이다. 예를 들어, 3차원 픽셀 하나의 관측값은 다른 주변 픽셀들의 관측값들의 관계로 표현될 수 있다. 따라서, 3차원 픽셀 하나의 형상 정보 변경은 이웃 픽셀의 형상 정보에 영향을 줄 수 있다.
영상 복원부(430)는 이웃한 3차원 픽셀 간의 관계를 결합 확률(Joint Probability)로 표현하고 그래픽 모델링할 수 있다.
도 8은 형상 정보에 기초하여 영상을 복원하는 일례를 도시한 도면이다.
도 8을 참고하여, 영상 복원부(430)는 컬러 패턴 유사도(Pc1), 구조 유사도(Pc2), 컬러 유사도(Pc3)를 통해 개선된 형상 정보 중에서, 가장 적절한 어느 하나의 유사도(Pc)를 선택함으로써, 선택된 유사도에 의해 개선된 형상 정보를 이용하여 상기 획득한 영상들을 복원할 수 있다. 이때, 영상 복원부(430)는 각 유사도 앞에 기재된 α, β, γ의 상수를 변경함으로써, 가장 적절한 하나의 유사도를 선택할 수 있다.
실시예로, 영상 복원부(430)는 신뢰 전파 알고리즘을 이용하여 상기 개선된 형상 정보로부터 상기 획득한 영상들 내 각 픽셀의 주변 확률을 산출하고, 산출된 주변 확률을 통해 상기 획득한 영상들을 복원할 수 있다. 즉, 영상 복원부(430)는 이웃한 픽셀 간의 관계를 통해 상기 획득한 영상들을 복원할 수 있다.
도 9는 본 발명의 일실시예에 따른 다시점 카메라를 이용한 라이트 필드 형상 캡처링 방법의 순서를 도시한 흐름도이다.
도 9를 참고하여, 단계 910에서, 라이트 필드 형상 캡처링 장치는 각각 상이한 시점을 갖는 복수의 정합된 카메라들로부터 영상들을 획득한다. 상기 라이트 필드 형상 캡처링 장치는 상기 복수의 카메라들의 위치를 선정하여 상기 복수의 카메라들의 서로 상이한 시점을 정합함으로써, 상기 정합된 카메라들로부터 영상들을 획득할 수 있다. 이때, 상기 복수의 카메라는 복수의 컬러 카메라들과 복수의 깊이 카메라들을 포함할 수 있다.
상기 라이트 필드 형상 캡처링 장치는 상기 획득한 영상들로부터 형상 정보를 획득한다. 상기 라이트 필드 형상 캡처링 장치는 상기 획득한 영상들로부터 포인트 클라우드(Point Cloud)들을 획득하고, 획득한 포인트 클라우드들을 정합하여 포인트 클라우드 세트를 생성하고, 매쉬 모델링 기법을 이용하여 상기 생성된 포인트 클라우드 세트로부터 상기 형상 정보를 1차적으로 획득할 수 있다.
상기 복수의 카메라에 포함된 깊이 카메라는 광학적, 기계적, 알고리즘 잡음 등을 포함하고 있기 때문에, 1차로 얻어진 형상 정보는 많은 에러를 포함하고 있다.
단계 920에서, 상기 라이트 필드 형상 캡처링 장치는 상기 획득한 영상들 간의 특징 유사도를 이용하여 상기 획득된 형상 정보를 개선한다.
실시예로, 상기 라이트 필드 형상 캡처링 장치는 상기 획득한 영상들을 상기 획득한 형상 정보로 투영하고, 투영된 영상들 간의 컬러 패턴 유사도 비교를 통해 상기 획득한 형상 정보를 개선할 수 있다.
다른 실시예로, 상기 라이트 필드 형상 캡처링 장치는 상기 획득한 영상들을 상기 획득한 형상 정보로 투영하고, 투영된 영상들 간의 구조 유사도 비교를 통해 상기 획득한 형상 정보를 개선할 수 있다. 예컨대, 상기 라이트 필드 형상 캡처링 장치는 상호 정보 연관 계수를 이용하여 상기 투영된 영상들 간의 구조 유사도를 비교할 수 있다. 또는, 상기 라이트 필드 형상 캡처링 장치는 상기 투영된 영상들로부터 에지를 추출하고, 추출된 에지 간의 비교를 통해 상기 투영된 영상들 간의 구조 유사도를 비교할 수 있다.
또 다른 실시예로, 상기 라이트 필드 형상 캡처링 장치는 상기 획득한 영상들을 상기 획득한 형상 정보로 투영하고, 투영된 영상들 내에서 컬러 유사도 비교를 통해 상기 획득한 형상 정보를 개선할 수 있다. 상기 라이트 필드 형상 캡처링 장치는 상기 투영된 영상들 중 어느 하나의 영상 내에서 컬러 정보들 각각과 이웃하는 주변 컬러 정보가 임계치 내에서 동일한지 여부에 따라 상기 컬러 정보들을 보정하여 상기 획득한 형상 정보를 개선할 수 있다.
단계 930에서, 상기 라이트 필드 형상 캡처링 장치는 상기 개선된 형상 정보에 기초하여 상기 획득한 영상들을 복원한다. 실시예로, 상기 라이트 필드 형상 캡처링 장치는 신뢰 전파 알고리즘을 이용하여 상기 개선된 형상 정보로부터 상기 획득한 영상들 내 각 픽셀의 주변 확률을 산출하고, 산출된 주변 확률을 통해 상기 획득한 영상들을 복원할 수 있다.
본 발명의 실시예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
400: 라이트 필드 형상 캡처링 장치
410: 형상 획득부
420: 형상 개선부
430: 영상 복원부

Claims (23)

  1. 복수의 깊이 카메라들 또는 복수의 컬러 카메라들의 위치를 선정하여 상기 깊이 카메라들 또는 상기 컬러 카메라들의 서로 상이한 시점을 정합 (calibration)하는 카메라 제어부; 및
    상기 정합된 깊이 카메라들 또는 상기 정합된 컬러 카메라들로부터 영상들을 획득하고, 상기 획득한 영상들로부터 형상 정보를 획득하는 형상 획득부
    를 포함하는, 다시점 카메라를 이용한 라이트 필드 형상 캡처링 장치.
  2. 제1항에 있어서,
    상기 카메라 제어부는,
    제한 조건을 이용하여 상기 깊이 카메라들 또는 상기 컬러 카메라들의 위치를 선정하는, 다시점 카메라를 이용한 라이트 필드 형상 캡처링 장치.
  3. 제1항에 있어서,
    상기 카메라 제어부는,
    상기 깊이 카메라들 또는 상기 컬러 카메라들로부터 획득한 영상들의 디스플레이 환경으로부터 공간 관점, 객체 관점, 객체 위치, 카메라의 개수, 각 카메라의 배치, 각 카메라의 시점, 및 각 카메라의 파라미터 중 적어도 하나를 제한 조건으로 획득하는, 다시점 카메라를 이용한 라이트 필드 형상 캡처링 장치.
  4. 제1항에 있어서,
    상기 카메라 제어부는,
    상기 깊이 카메라들 또는 상기 컬러 카메라들로부터 획득한 영상들의 정합 정확도, 상기 영상들의 형상 정확도, 상기 영상들의 색상 유사도, 및 각 카메라에 의한 객체 커버리지 중 적어도 하나를 고려하여 상기 깊이 카메라들 또는 상기 컬러 카메라들의 개수 또는 위치를 선정하는, 다시점 카메라를 이용한 라이트 필드 형상 캡처링 장치.
  5. 제1항에 있어서,
    상기 획득한 형상 정보를 상기 획득한 영상들로 투영하고, 투영된 영상들 내에 각 픽셀당 컬러 세트 정보를 획득하고, 다수의 투영된 영상들과 상기 컬러 세트 정보가 상이한 소수의 투영된 영상 내의 픽셀값을 변경하여 상기 형상 정보를 개선하는 형상 개선부
    를 더 포함하는, 다시점 카메라를 이용한 라이트 필드 형상 캡처링 장치.
  6. 시점이 상이한 복수의 정합된 카메라들로부터 인트린식(intrinsic) 영상들을 획득하여, 상기 인트린식 영상들로부터 형상 정보를 획득하는 형상 획득부; 및
    상기 획득된 형상 정보에 기초하여 상기 인트린식 영상들을 복원하는 영상 복원부
    를 포함하는, 다시점 카메라를 이용한 라이트 필드 형상 캡처링 장치.
  7. 제6항에 있어서,
    상기 형상 획득부는,
    ISO-BRDF(International Organization for Standardization-Bidirectional Reflectance Distribution Function) 방식의 인트린식 영상들을 획득하는, 다시점 카메라를 이용한 라이트 필드 형상 캡처링 장치.
  8. 제6항에 있어서,
    상기 영상 복원부는,
    상기 형상 정보에 기초하여 상기 인트린식 영상들로부터 반사 영역이 포함된 인트린식 영상을 삭제하고, 삭제되지 않은 인트린식 영상들 내에서 컬러 정보의 변화가 임계값 이하인 인트린식 영상들을 이용하여 상기 인트린식 영상들을 복원하는, 다시점 카메라를 이용한 라이트 필드 형상 캡처링 장치.
  9. 각각 상이한 시점을 갖는 복수의 정합된 카메라들로부터 영상들을 획득하고, 상기 획득한 영상들로부터 형상 정보를 획득하는 형상 획득부;
    상기 획득한 영상들 간의 특징 유사도를 이용하여 상기 획득된 형상 정보를 개선하는 형상 개선부; 및
    상기 개선된 형상 정보에 기초하여 상기 획득한 영상들을 복원하는 영상 복원부
    를 포함하는, 다시점 카메라를 이용한 라이트 필드 형상 캡처링 장치.
  10. 제9항에 있어서,
    상기 형상 개선부는,
    상기 획득한 영상들을 상기 획득한 형상 정보로 투영하고, 투영된 영상들 간의 컬러 패턴 유사도 비교를 통해 상기 획득한 형상 정보를 개선하는, 다시점 카메라를 이용한 라이트 필드 형상 캡처링 장치.
  11. 제9항에 있어서,
    상기 형상 개선부는,
    상기 획득한 영상들을 상기 획득한 형상 정보로 투영하고, 투영된 영상들 간의 구조 유사도 비교를 통해 상기 획득한 형상 정보를 개선하는, 다시점 카메라를 이용한 라이트 필드 형상 캡처링 장치.
  12. 제11항에 있어서,
    상기 형상 개선부는,
    상호 정보(Mutual Information) 연관 계수를 이용하여 상기 투영된 영상들 간의 구조 유사도를 비교하는, 다시점 카메라를 이용한 라이트 필드 형상 캡처링 장치.
  13. 제11항에 있어서,
    상기 형상 개선부는,
    상기 투영된 영상들로부터 에지를 추출하고, 추출된 에지 간의 비교를 통해 상기 투영된 영상들 간의 구조 유사도를 비교하는, 다시점 카메라를 이용한 라이트 필드 형상 캡처링 장치.
  14. 제9항에 있어서,
    상기 형상 개선부는,
    상기 획득한 영상들을 상기 획득한 형상 정보로 투영하고, 투영된 영상들 내에서 컬러 유사도 비교를 통해 상기 획득한 형상 정보를 개선하는, 다시점 카메라를 이용한 라이트 필드 형상 캡처링 장치.
  15. 제14항에 있어서,
    상기 형상 개선부는,
    상기 투영된 영상들 중 어느 하나의 영상 내에서 컬러 정보들 각각과 이웃하는 주변 컬러 정보가 임계치 내에서 동일한지 여부에 따라 상기 컬러 정보들을 보정하여 상기 획득한 형상 정보를 개선하는, 다시점 카메라를 이용한 라이트 필드 형상 캡처링 장치.
  16. 제9항에 있어서,
    상기 영상 복원부는,
    신뢰 전파(Belief Propagation) 알고리즘을 이용하여 상기 개선된 형상 정보로부터 상기 획득한 영상들 내 각 픽셀의 주변 확률(Marginal Propagation)을 산출하고, 산출된 주변 확률을 통해 상기 획득한 영상들을 복원하는, 다시점 카메라를 이용한 라이트 필드 형상 캡처링 장치.
  17. 각각 상이한 시점을 갖는 복수의 정합된 카메라들로부터 영상들을 획득하는 단계;
    상기 획득한 영상들로부터 형상 정보를 획득하는 단계;
    상기 획득한 영상들 간의 특징 유사도를 이용하여 상기 획득된 형상 정보를 개선하는 단계; 및
    상기 개선된 형상 정보에 기초하여 상기 획득한 영상들을 복원하는 단계
    를 포함하는, 다시점 카메라를 이용한 라이트 필드 형상 캡처링 방법.
  18. 제17항에 있어서,
    상기 영상들을 획득하는 단계는,
    상기 복수의 카메라들의 위치를 선정하여 상기 복수의 카메라들의 서로 상이한 시점을 정합하는 단계; 및
    상기 정합된 카메라들로부터 영상들을 획득하는 단계
    를 포함하는, 다시점 카메라를 이용한 라이트 필드 형상 캡처링 방법.
  19. 제17항에 있어서,
    상기 특징 유사도를 이용하여 상기 획득된 형상 정보를 개선하는 단계는,
    상기 획득한 영상들을 상기 획득한 형상 정보로 투영하는 단계; 및
    상기 투영된 영상들 간의 컬러 패턴 유사도 비교를 통해 상기 획득한 형상 정보를 개선하는 단계
    를 포함하는, 다시점 카메라를 이용한 라이트 필드 형상 캡처링 방법.
  20. 제17항에 있어서,
    상기 특징 유사도를 이용하여 상기 획득된 형상 정보를 개선하는 단계는,
    상기 획득한 영상들을 상기 획득한 형상 정보로 투영하는 단계;
    상호 정보 연관 계수를 이용하여 상기 투영된 영상들 간의 구조 유사도를 비교하는 단계; 및
    상기 비교 결과에 기초하여 상기 획득한 형상 정보를 개선하는 단계
    를 포함하는, 다시점 카메라를 이용한 라이트 필드 형상 캡처링 방법.
  21. 제17항에 있어서,
    상기 특징 유사도를 이용하여 상기 획득된 형상 정보를 개선하는 단계는,
    상기 획득한 영상들을 상기 획득한 형상 정보로 투영하는 단계;
    상기 투영된 영상들로부터 에지를 추출하는 단계;
    상기 추출된 에지 간의 비교를 통해 상기 투영된 영상들 간의 구조 유사도를 비교하는 단계; 및
    상기 비교 결과에 기초하여 상기 획득한 형상 정보를 개선하는 단계
    를 포함하는, 다시점 카메라를 이용한 라이트 필드 형상 캡처링 방법.
  22. 제17항에 있어서,
    상기 특징 유사도를 이용하여 상기 획득된 형상 정보를 개선하는 단계는,
    상기 획득한 영상들을 상기 획득한 형상 정보로 투영하는 단계;
    상기 투영된 영상들 중 어느 하나의 영상 내에서 컬러 정보들 각각과 이웃하는 주변 컬러 정보가 임계치 내에서 동일한지 여부를 비교하는 단계; 및
    상기 비교 결과에 따라 상기 컬러 정보들을 보정하여 상기 획득한 형상 정보를 개선하는 단계
    를 포함하는, 다시점 카메라를 이용한 라이트 필드 형상 캡처링 방법.
  23. 제17항에 있어서,
    상기 획득한 영상들을 복원하는 단계는,
    신뢰 전파 알고리즘을 이용하여 상기 개선된 형상 정보로부터 상기 획득한 영상들 내 각 픽셀의 주변 확률을 산출하는 단계; 및
    상기 산출된 주변 확률을 통해 상기 획득한 영상들을 복원하는 단계
    를 포함하는, 다시점 카메라를 이용한 라이트 필드 형상 캡처링 방법.
KR1020110064221A 2011-06-30 2011-06-30 다시점 카메라를 이용한 라이트 필드 형상 캡처링 방법 및 장치 KR20130003135A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110064221A KR20130003135A (ko) 2011-06-30 2011-06-30 다시점 카메라를 이용한 라이트 필드 형상 캡처링 방법 및 장치
US13/483,435 US20130002827A1 (en) 2011-06-30 2012-05-30 Apparatus and method for capturing light field geometry using multi-view camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110064221A KR20130003135A (ko) 2011-06-30 2011-06-30 다시점 카메라를 이용한 라이트 필드 형상 캡처링 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20130003135A true KR20130003135A (ko) 2013-01-09

Family

ID=47390259

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110064221A KR20130003135A (ko) 2011-06-30 2011-06-30 다시점 카메라를 이용한 라이트 필드 형상 캡처링 방법 및 장치

Country Status (2)

Country Link
US (1) US20130002827A1 (ko)
KR (1) KR20130003135A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9524420B2 (en) 2014-01-23 2016-12-20 Samsung Electronics Co., Ltd. User authentication method and apparatus
CN107977998A (zh) * 2017-11-30 2018-05-01 浙江大学 一种基于多视角采样的光场校正拼接装置及方法
KR20180057385A (ko) * 2016-11-22 2018-05-30 삼성전자주식회사 영상 처리 방법 및 영상 처리 장치

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BE1022580A9 (fr) * 2014-10-22 2016-10-06 Parallaxter Méthode d'obtention de vidéos immersives avec parallaxe interactive et méthode de visualisation de vidéos immersives avec parallaxe interactive
EP3144885A1 (en) 2015-09-17 2017-03-22 Thomson Licensing Light field data representation
EP3350769A1 (en) 2015-09-17 2018-07-25 Thomson Licensing Light field data representation
EP3264759A1 (en) 2016-06-30 2018-01-03 Thomson Licensing An apparatus and a method for generating data representative of a pixel beam
EP3545675A4 (en) 2016-11-24 2020-07-01 The University of Washington CAPTURE AND RESTITUTION OF LIGHT FIELD FOR HEADSETS
JP7164968B2 (ja) 2018-05-07 2022-11-02 キヤノン株式会社 画像処理装置、画像処理装置の制御方法及びプログラム
JP7150501B2 (ja) * 2018-07-05 2022-10-11 キヤノン株式会社 制御装置、制御方法、及びプログラム
WO2020101891A1 (en) 2018-11-12 2020-05-22 Magic Leap, Inc. Depth based dynamic vision sensor
WO2020163662A1 (en) * 2019-02-07 2020-08-13 Magic Leap, Inc. Lightweight cross reality device with passive depth extraction
KR102349590B1 (ko) * 2019-10-14 2022-01-11 한국전자기술연구원 Lf 콘텐츠의 저작권 보호 방법

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6211881B1 (en) * 1998-05-13 2001-04-03 Compaq Computer Corporation Image format conversion with transparency color adjustment
JP2002300384A (ja) * 2001-03-30 2002-10-11 Minolta Co Ltd 画像復元装置、画像復元方法、プログラム及び記録媒体
US20030210329A1 (en) * 2001-11-08 2003-11-13 Aagaard Kenneth Joseph Video system and methods for operating a video system
JP2005110176A (ja) * 2003-10-02 2005-04-21 Nikon Corp ノイズ除去方法、ノイズ除去処理プログラム、およびノイズ除去装置
KR100603601B1 (ko) * 2004-11-08 2006-07-24 한국전자통신연구원 다시점 콘텐츠 생성 장치 및 그 방법
US8044994B2 (en) * 2006-04-04 2011-10-25 Mitsubishi Electric Research Laboratories, Inc. Method and system for decoding and displaying 3D light fields
US8199246B2 (en) * 2007-05-30 2012-06-12 Fujifilm Corporation Image capturing apparatus, image capturing method, and computer readable media
KR101367284B1 (ko) * 2008-01-28 2014-02-26 삼성전자주식회사 시점 변화에 따른 영상 복원 방법 및 장치
KR101419979B1 (ko) * 2008-01-29 2014-07-16 톰슨 라이센싱 2ｄ 이미지 데이터를 스테레오스코픽 이미지 데이터로 변환하기 위한 방법 및 시스템
WO2010025655A1 (zh) * 2008-09-02 2010-03-11 华为终端有限公司 3d视频通信方法、发送设备、系统及图像重构方法和系统
US8437537B2 (en) * 2009-03-27 2013-05-07 Mitsubishi Electric Research Laboratories, Inc. Method and system for estimating 3D pose of specular objects
US8797231B2 (en) * 2009-04-15 2014-08-05 Nlt Technologies, Ltd. Display controller, display device, image processing method, and image processing program for a multiple viewpoint display
JP5267954B2 (ja) * 2010-02-01 2013-08-21 富士ゼロックス株式会社 画像処理装置、画像形成装置およびプログラム
US8749620B1 (en) * 2010-02-20 2014-06-10 Lytro, Inc. 3D light field cameras, images and files, and methods of using, operating, processing and viewing same

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9524420B2 (en) 2014-01-23 2016-12-20 Samsung Electronics Co., Ltd. User authentication method and apparatus
KR20180057385A (ko) * 2016-11-22 2018-05-30 삼성전자주식회사 영상 처리 방법 및 영상 처리 장치
CN107977998A (zh) * 2017-11-30 2018-05-01 浙江大学 一种基于多视角采样的光场校正拼接装置及方法
CN107977998B (zh) * 2017-11-30 2021-01-26 浙江大学 一种基于多视角采样的光场校正拼接装置及方法

Also Published As

Publication number Publication date
US20130002827A1 (en) 2013-01-03

Similar Documents

Publication Publication Date Title
KR20130003135A (ko) 다시점 카메라를 이용한 라이트 필드 형상 캡처링 방법 및 장치
JP7403528B2 (ja) シーンの色及び深度の情報を再構成するための方法及びシステム
US8791941B2 (en) Systems and methods for 2-D to 3-D image conversion using mask to model, or model to mask, conversion
US20120176478A1 (en) Forming range maps using periodic illumination patterns
US20120176380A1 (en) Forming 3d models using periodic illumination patterns
US20080228449A1 (en) Systems and methods for 2-d to 3-d conversion using depth access segments to define an object
US20080225045A1 (en) Systems and methods for 2-d to 3-d image conversion using mask to model, or model to mask, conversion
US20080226194A1 (en) Systems and methods for treating occlusions in 2-d to 3-d image conversion
US20080226128A1 (en) System and method for using feature tracking techniques for the generation of masks in the conversion of two-dimensional images to three-dimensional images
KR102199458B1 (ko) 3차원 컬러 메쉬 복원 방법 및 장치
US9147279B1 (en) Systems and methods for merging textures
JP2021520008A (ja) 車両検査システムとその方法
US10169891B2 (en) Producing three-dimensional representation based on images of a person
US10893259B2 (en) Apparatus and method for generating a tiled three-dimensional image representation of a scene
KR101495299B1 (ko) 3차원 형상 획득 장치 및 그 획득 방법
KR102158390B1 (ko) 영상 처리 방법 및 장치
KR101086274B1 (ko) 깊이정보 추출 장치 및 추출 방법
KR20170025214A (ko) 다시점 깊이맵 생성 방법
US20150145861A1 (en) Method and arrangement for model generation
JP2018032938A (ja) 画像処理装置、画像処理の方法およびプログラム
KR20170047780A (ko) 적응적 윈도우 마스크를 이용하는 로우 코스트 계산장치 및 그 방법
KR102122523B1 (ko) 3차원 입체 영상용 깊이지도 보정장치 및 보정방법
JP6991700B2 (ja) 情報処理装置、情報処理方法、プログラム
KR20120065093A (ko) 깊이 지도 생성 방법 및 장치
KR101855370B1 (ko) 실공간정보를 폴리곤으로 변환한 오브젝트 모델 기반 집적영상 생성기법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application