KR101799522B1 - 교환렌즈 형태를 채용한 3차원 영상 획득 장치 - Google Patents

교환렌즈 형태를 채용한 3차원 영상 획득 장치 Download PDF

Info

Publication number
KR101799522B1
KR101799522B1 KR1020110054642A KR20110054642A KR101799522B1 KR 101799522 B1 KR101799522 B1 KR 101799522B1 KR 1020110054642 A KR1020110054642 A KR 1020110054642A KR 20110054642 A KR20110054642 A KR 20110054642A KR 101799522 B1 KR101799522 B1 KR 101799522B1
Authority
KR
South Korea
Prior art keywords
image
lens
unit
lens unit
depth
Prior art date
Application number
KR1020110054642A
Other languages
English (en)
Other versions
KR20120135751A (ko
Inventor
유장우
박용화
이원기
조용철
송미정
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to KR1020110054642A priority Critical patent/KR101799522B1/ko
Priority to US13/462,522 priority patent/US20120314039A1/en
Publication of KR20120135751A publication Critical patent/KR20120135751A/ko
Application granted granted Critical
Publication of KR101799522B1 publication Critical patent/KR101799522B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/236—Image signal generators using stereoscopic image cameras using a single 2D image sensor using varifocal lenses or mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/663—Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/001—Constructional or mechanical details

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Structure And Mechanism Of Cameras (AREA)

Abstract

3차원 영상 획득 장치가 개시된다. 개시된 3차원 영상 획득 장치는 피사체에 광을 조사하는 조명부, 피사체의 컬러 영상을 결상하는 컬러영상렌즈부 및 피사체의 깊이 영상 정보를 획득하는 것으로, 깊이영상렌즈부가 구비된 깊이영상촬영부를 포함하는 교환렌즈부; 상기 교환렌즈부가 탈착되는 곳으로, 상기 컬러영상렌즈부에 의해 결상된 광학상을 전기 신호로 전환하는 제1 이미지 센서와, 상기 제1 이미지 센서에서의 전기 신호와 상기 깊이영상촬영부에서의 깊이 정보를 이용하여 3차원 영상을 형성하는 영상처리부를 구비하는 본체부;를 포함한다.

Description

교환렌즈 형태를 채용한 3차원 영상 획득 장치{3D image acquisition apparatus employing interchangeable lens type}
본 개시는 교환렌즈 형태를 채용한 3차원 영상 획득 장치에 관한 것이다.
최근, 광학상을 전기 신호로 변환하는 CCD (Charge Coupled Device)나 CMOS (Complementary Metal-Oxide Semiconductor)와 같은 고체 촬상 소자를 이용한 디지털 카메라 등의 결상광학기기가 급속히 확대 보급되고 있다.
디지털 카메라는 고급형 디지털 일안 리플렉스(digital single lens reflex;DSLR) 카메라, 보급형 컴팩트 디지털 (compact digital) 카메라로 크게 나눌 수 있으며, 둘 사이의 장점을 결합한 미러리스(mirrorless) 카메라가 등장한 이래로, 다양한 진화가 진행중이다.
한편, 3D 디스플레이 장치의 발전 및 수요 증가와 함께 3D 컨텐츠의 중요성이 부각되고 있다. 이에 따라, 일반 사용자가 3D 컨텐츠를 직접 제작할 수 있는 3D 카메라가 연구되고 있다. 이러한 3D 카메라는 기존의 2차원 RGB 컬러 영상 정보와 함께 3차원 영상 정보를 함께 측정하게 된다. 3차원 영상 정보의 측정 방식은 크게, 스테레오(stereo) 방식과 깊이(depth) 측정 방식이 있다. 스테레오 방식은 2-렌즈, 2-센서를 사용하여 좌안 영상과 우안 영상을 측정하고, 깊이감을 인간의 두뇌에 의해서 처리하는 방식이며, 깊이 측정 방식은 3차원 거리 정보를 예를 들어, 삼각측량법(Triangulation)이나 광시간비행법(Time-of-Flight:TOF)을 이용하여 직접 측정하는 방식이다.
본 개시는 교환렌즈 형태를 채용한 3차원 영상 획득 장치를 제시하고자 한다.
일 유형에 따르는 3차원 영상 획득 장치는 피사체에 광을 조사하는 조명부, 피사체의 컬러 영상을 결상하는 컬러영상렌즈부 및 피사체의 깊이 영상 정보를 획득하는 것으로, 깊이영상렌즈부가 구비된 깊이영상촬영부를 포함하는 교환렌즈부; 상기 교환렌즈부가 탈착되는 곳으로, 상기 컬러영상렌즈부에 의해 결상된 광학상을 전기 신호로 전환하는 제1 이미지 센서와, 상기 제1 이미지 센서에서의 전기 신호와 상기 깊이영상촬영부에서의 깊이 정보를 이용하여 3차원 영상을 형성하는 영상처리부를 구비하는 본체부;를 포함한다.
상기 깊이영상촬영부는 상기 조명부로부터 피사체에 조사된 후, 피사체로부터 반사된 광을 포커싱하는 상기 깊이영상렌즈부; 상기 깊이영상렌즈부에서 포커싱된 광을 감지하는 제2 이미지센서;를 포함하여 이루어질 수 있다.
상기 조명부는 적외선 광을 조사하는 광원으로 이루어질 수 있다.
상기 깊이영상렌즈부를 투과한 광을 변조하는 광변조기를 더 구비할 수 있다.
상기 광변조기는 반사형 또는 투과형 광변조기로 이루어질 수 있다.
상기 제2 이미지센서는 상기 깊이영상렌즈부에서 포커싱된 광으로부터 피사체의 깊이 정보를 직접 감지하는 깊이영상센서를 포함할 수 있다.
상기 조명부는 피사체에 패턴광을 조사하도록 구성될 수 있으며, 예를 들어, 상기 조명부는 광원과, 상기 광원에서 조사된 광을 회절시키는 회절 광학 소자를 포함할 수 있다.
상기 조명부는 피사체에 광을 스캐닝하며 조사하도록 구성될 수 있으며, 예를 들어, 상기 조명부는 광원과, 상기 광원에서 조사된 광을 콜리메이팅하는 콜리메이션 렌즈 및 스캐닝미러를 포함할 수 있으며, 상기 센서부는 포인트센서를 포함할 수 있다.
상기 컬러영상렌즈부의 광축과 상기 본체부의 광축이 서로 일치하지 않게 배치될 수 있다.
상기 컬러영상렌즈부는 좌안용영상을 결상하는 좌안렌즈; 우안용영상을 결상하는 우안렌즈;를 포함하여 이루어질 수 있다.
상기 좌안렌즈와 우안렌즈는 각각 상기 제1이미지센서의 영역을 절반씩 사용하도록 배치될 수 있다.
상기 깊이영상렌즈부의 광축과 상기 본체부의 광축이 서로 일치하게 배치될 수 있다.
상기 좌안렌즈와 우안렌즈 중 어느 하나는 상기 깊이영상렌즈부의 기능을 겸하도록 배치될 수 있으며, 이 경우, 상기 교환렌즈부는 상기 좌안렌즈와 우안렌즈 중 상기 깊이영상렌즈부의 기능을 겸하도록 배치된 렌즈를 투과한 광을 상기 제1 이미지센서를 향하는 방향과 상기 제2 이미지센서를 향하는 방향으로 분리하는 빔스플리터를 더 구비할 수 있다.
상기 컬러영상렌즈부의 광축과 상기 본체부의 광축이 서로 일치하게 배치될 수 있으며, 이 경우, 상기 깊이영상렌즈부의 광축과 상기 컬러영상렌즈부의 광축의 일부가 겹치도록 배치될 수 있다.
상기 컬러영상렌즈부와 상기 깊이영상렌즈부는 피사체의 컬러 영상 및 깊이 영상을 동시에 결상하는 결상렌즈를 공유할 수 있으며, 이 경우, 상기 결상렌즈에서 결상된 상기 컬러 영상과 깊이 영상을 각각 제1 이미지센서 및 제2 이미지센서를 향하는 방향으로 분리하는 빔스플리터가 교환렌즈부에 더 구비될 수 있다.
상기 컬러영상렌즈부는 상기 결상렌즈에서 결상된 상을 상기 제1이미지센서로 전달하는 릴레이렌즈를 더 구비할 수 있다.
상기 깊이영상렌즈부는 상기 결상렌즈에서 결상된 상을 상기 제2이미지센서에 대응하는 크기로 확대 또는 축소하는 변환렌즈를 더 구비할 수 있다.
상기 교환렌즈부는 상기 교환렌즈부는 상기 결상렌즈를 포함하는 제1 교환렌즈부와, 상기 조명부, 빔스플리터, 릴레이 렌즈, 변환 렌즈 및 제2 이미지센서를 포함하는 제2 교환렌즈부로 나뉘어지며, 상기 제1교환렌즈부는 상기 제2 교환렌즈부에 탈착 가능하도록 구성될 수 있다.
깊이영상촬영부가 본체에 탈착 가능한 교환렌즈 형태로 구비됨에 따라, 기존의 2차원 영상 촬영을 위한 컬러영상렌즈부나 카메라 본체에 대한 설계 수정이 없이도 3차원 영상 획득 장치가 용이하게 구현될 수 있다.
도 1은 실시예들에 따른 3차원 영상 획득 장치가 채용하는 기본적인 구성을 보인 개념적인 블록도이다.
도 2는 실시예에 따른 3차원 영상 획득 장치의 개략적인 구성을 보인 단면도이다.
도 3 내지 도 5는 도 2의 3차원 영상 획득 장치의 변형예들을 보인다.
도 6은 다른 실시예에 따른 3차원 영상 획득 장치의 개략적인 구성을 보인 단면도이다.
도 7은 또 다른 실시예에 따른 3차원 영상 획득 장치의 개략적인 구성을 보인 단면도이다.
도 8은 또 다른 실시예에 따른 3차원 영상 획득 장치의 개략적인 구성을 보인 단면도이다.
도 9는 또 다른 실시예에 따른 3차원 영상 획득 장치의 개략적인 구성을 보인 단면도이다.
도 10은 또 다른 실시예에 따른 3차원 영상 획득 장치의 개략적인 구성을 보인 단면도이다.
도 11은 또 다른 실시예에 따른 3차원 영상 획득 장치의 개략적인 구성을 보인 단면도이다.
도 12는 또 다른 실시예에 따른 3차원 영상 획득 장치의 개략적인 구성을 보인 단면도이다.
<도면의 주요 부분에 대한 부호의 설명>
100, 200, 300, 400, 500, 600, 700, 800...3차원 영상 획득 장치
110...광원 120, 420, 620... 컬러영상렌즈부
140, 540, 640... 깊이영상촬영부 141,641...깊이영상렌즈부
143, 343...광변조기 145...제2 이미지센서
160...제1 이미지센서 170...영상처리부
421...좌안렌즈 423...우안렌즈
621...결상렌즈 623...릴레이 렌즈
631...변환렌즈 550, 650...빔스플리터
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이하의 도면들에서 동일한 참조부호는 동일한 구성요소를 지칭하며, 도면상에서 각 구성요소의 크기는 설명의 명료성과 편의상 과장되어 있을 수 있다.
도 1은 실시예들에 따른 3차원 영상 획득 장치가 채용하는 기본적인 구성을 보인 개념적인 블록도이다.
도면을 참조하면, 3차원 영상 획득 장치는 교환렌즈부와, 교환렌즈부가 탈착되는 본체부를 포함한다. 교환렌즈부는 피사체(OBJ)의 2차원 영상을 촬영하는 컬러영상렌즈부와 피사체(OBJ)의 깊이 영상을 촬영하는 깊이영상촬영부를 포함한다. 또한, 깊이 영상 촬영을 위해 가시광(Lv)과 구별되는, 예를 들어, 적외선광(Li)을 조사하는 조명부가 교환렌즈부에 구비된다.
컬러영상렌즈부는 피사체(OBJ)의 가시광(Lv)에 대한 영상을 이미지센서에 결상한다. 깊이영상촬영부는 피사체(OBJ)의 적외선광(Li)에 대한 영상을 결상하기 위한 깊이영상렌즈부를 구비하며, 깊이 정보를 획득하는 다양한 방법을 사용할 수 있다. 예를 들어, 피사체(OBJ)로부터 반사된 적외선광(Li)을 변조하여 변조된 광의 이미지를 센서에서 수광한 후, 이로부터 깊이 정보를 연산할 수 있으며, 변조기를 사용하지 않고 깊이 정보를 직접 측정하는 깊이 센서를 사용할 수도 있다.
본체부는 컬러영상렌즈부에 의해 결상된 광학상을 전기 신호로 전환하는 이미지 센서와, 이미지 센서에서의 전기 신호와 깊이영상촬영부에서의 깊이 정보를 이용하여 3차원 영상을 형성하는 영상처리부를 포함한다.
깊이영상촬영부가 교환렌즈부에 구비됨에 따라 기존의 2차원 영상 촬영을 위한 컬러영상렌즈부나 카메라 본체에 대한 설계 수정이 없이도 3차원 영상 획득 장치로 용이하게 이용될 수 있다.
또한, 깊이영상렌즈부의 F수를 낮출 수 있어 그만큼 많은 광량을 얻을 수 있으며, 따라서, 신호대잡음비(SNR; Signal-to-Noise Ratio)를 높여 보다 정밀도 높은 깊이 영상을 얻을 수 있다.
이하, 3차원 영상 획득 장치를 구현하는 다양한 구성예들을 살펴보기로 한다.
도 2는 실시예에 따른 3차원 영상 획득 장치(100)의 개략적인 구성을 보인 단면도이다.
도면을 참조하면, 3차원 영상 획득 장치(100)는 교환렌즈부(C)와 본체부(B)를 포함한다.
교환렌즈부(C)는 피사체에 광을 조사하는 광원(110), 피사체의 컬러 영상을 결상하는 컬러영상렌즈부(120) 및 피사체의 깊이 영상 정보를 획득하는 깊이영상촬영부(140)를 포함한다. 본체부(B)는 교환렌즈부(C)가 탈착되는 곳으로, 컬러영상렌즈부(120)에 의해 결상된 광학상을 전기 신호로 전환하는 제1 이미지 센서(160)와, 제1 이미지센서(160)에서의 전기 신호와 깊이영상촬영부(140)에서의 깊이 정보를 이용하여 3차원 영상을 형성하는 영상처리부(170)를 포함한다.
광원(110)은 피사체의 깊이 영상 정보 획득에 필요한 광을 피사체에 조사하는 조명부로서 마련되는 것으로, LD(laser diode), LED(light emitting diode), SLD(super luminescent diode)등으로 이루어질 수 있으며, 적외선광(Li)으로 예를 들어 750nm 이상 2500nm 이하의 파장 대역의 광을 조사하는 것으로 구성될 수 있다. 광원(110)은 소정 주파수로 변조된 광을 피사체에 조사하도록 구성될 수 있다. 조명부는 광원(110) 외에, 조사광의 경로등을 조절하거나, 또는 줌(zoom) 기능을 위한 기타의 광학부재를 더 포함할 수 있다.
컬러영상렌즈부(120)는 피사체로부터 반사된 가시광(R,G,B)을 제1 이미지센서(160)에 결상하여 2차원 영상정보를 얻기 위해 마련된다. 도면에는 하나의 렌즈로 도시되어 있으나, 이는 예시적인 것이고, 결상성능이나 수차 보정, 또는 줌(zoom) 기능 등이 고려된 다수의 렌즈로 구성될 수도 있다.
깊이영상촬영부(140)는 광원(110)으로부터 피사체에 조사된 후, 피사체로부터 반사된 광(Li)을 포커싱하는 깊이영상렌즈부(141), 깊이영상렌즈부(141)를 투과한 광을 변조하는 광변조기(143) 및 광변조기(143)에서 변조된 광을 감지하는 제2 이미지센서(145)를 포함한다. 이러한 구조의 깊이영상촬영부(140)는 피사체로부터 반사되는 광(Li)이 제2 이미지센서(145)에 수광되기까지의 광 비행시간을 측정하는 광시간비행법 (Time-of-Flight; TOF)을 이용하여 깊이 정보를 획득할 수 있다.
깊이영상렌즈부(141)는 하나의 렌즈로 도시되어 있으나, 이는 예시적인 것이고, 결상성능이나 수차 보정, 또는 줌(zoom) 기능 등이 고려된 다수의 렌즈로 구성될 수도 있다.
광변조기(143)는 예를 들어, TOF방식을 사용하여 깊이 정보를 연산함에 있어서, 피사체로부터 반사된 광을 일련의 처리 방식에 알맞은 형태로 변조하기 위한 것이다. 예를 들어, 광변조기(143)는 광원(110)에서 조사되는 광의 변조 주파수와 동일한 주파수로, 위상차를 두어, 반사광을 변조한다. 이러한 변조 조건에 따라 제2 이미지센서(145)에 감지된 이미지들로부터 광 비행시간이 연산되고, 깊이 정보가 추출될 수 있다. 광변조기(143)는 반사형 또는 투과형 타입이 채용될 수 있으며, 이에 따라 깊이영상촬영부(140)의 광학적 배치가 달라지게 된다. 도시된 구조에서, 광변조기(143)는 투과형 타입으로 채용된 경우이다.
제1 이미지센서(160)는 피사체에서 반사된 가시광(R,G,B)이 컬러영상렌즈부(120)를 지나며 결상되는 곳으로, 광학상을 전기적 신호로 전환하는 소자로 이루어진다. 제1 이미지센서(160)로는 예를 들어, CCD (Charge Coupled Device)나 CMOS (Complementary Metal-Oxide Semiconductor)와 같은 고체 촬상 소자가 채용될 수 있다.
영상처리부(170)는 깊이영상촬영부(140)에서 획득된 깊이 정보와 제1 이미지센서(160)에서 획득된 2차원 영상 정보를 이용하여 피사체의 3차원 영상을 생성한다.
3차원 영상 획득 장치(100)는 광원(110)과 깊이영상촬영부(140)를 제어하고, 깊이 영상 정보의 획득 및 데이터 교환을 위해서 기존 렌즈 교환식 카메라가 줌(zoom)과 포커스(focus) 등을 제어하기 위해 사용하는 접점을 활용할 수 있다. 다른 방법으로, 본체부(B)에 USB(미도시)와 같은 입출력 단자를 마련하고 교환렌즈부(C)와 외부에서 전선으로 연결하여 제어 신호 전송 및 영상 데이터를 입출력할 수도 있다. 이외에도, 배터리나 회로, 신호전송용 커넥터 등이 교환렌즈부(C)에 내장될 수 있다.
도시된 구조에서, 컬러영상렌즈부(120)의 광축과 본체부(B)의 광축이 서로 일치하게 배치되어 있으나, 이는 예시적인 것이고, 다른 구성요소들과의 배치상의 편이를 위해, 컬러영상렌즈부(120)의 광축과 본체부(B)의 광축이 서로 일치하지 않게 배치되는 것도 가능하다.
깊이영상촬영부(140)는 상술한 구조 이외에도, 깊이 정보를 얻는 다양한 방법을 사용하도록 구성될 수 있으며, 예를 들어, 삼각측량방식(Triangulation)을 이용하는 구조가 채용될 수 있다. 또한, Microsoft社의 Kinect와 같은 Light Coding방식을 사용하는 구조나, PMD社나 CSEM社와 같이 광변조기를 사용하지 않고 영상 센서 자체가 깊이(depth)를 직접 측정할 수 있는 깊이 센서(depth sensor) 방식을 사용하는 구조도 채용될 수 있다. 또한, 피사체 전체의 깊이 영상을 얻기 위해, 1차원 스캐닝(point scanning), 2차원 스캐닝(line scanning)과 같은 기계적인 스캐닝을 이용하는 구조가 채용될 수도 있다.
도 3 내지 도 5는 도 2의 3차원 영상 획득 장치(100)의 변형예들(101, 102, 103)로서, 깊이영상촬영부가 광변조기를 구비하지 않는 경우의 구성을 보인다.
도 3의 3차원 영상 획득 장치(101)는 깊이영상촬영부(147)의 구성에서 도 2의 3차원 영상 획득 장치(100)와 차이가 있다. 즉, 깊이영상촬영부(147)는 광변조기를 구비하지 않으며, 깊이영상렌즈부(141)에서 포커싱된 광으로부터 피사체의 깊이(depth) 정보를 직접 감지하는 깊이영상센서(142)를 구비한다. 이러한 깊이영상센서(142)로는 예를 들어, PMD社나 CSEM社에서 사용하는 센서가 채용될 수 있다.
도 4의 3차원 영상 획득 장치(102)는 깊이 영상을 얻기 위해 키넥트(Kinect) 방식을 사용한다. 이를 위하여, 조명부는 광원(110)과 회절광학소자(112)를 포함하며, 깊이영상촬영부(148)는 깊이영상렌즈부(141)와 흑백 이미지센서(144)를 포함한다. 회절광학소자(112)를 이용하여 피사체에 패턴광을 조사하고, 피사체로부터 반사된 패턴광을 흑백 이미지센서(144)로 감지하여 광삼각법으로 깊이 영상을 얻을 수 있다.
도 5를 참조하면, 3차원 영상 획득 장치(103)에서 조명부는 피사체에 광을 스캐닝방식으로 조사하기 위해, 광원(110), 콜리메이션 렌즈(114), 스캐닝미러(118)를 포함할 수 있으며, 예를 들어, 도시된 바와 같이, 래스터 스캐닝 방식으로 광이 조사된다. 깊이영상촬영부(149)는 깊이영상렌즈부(141)와, PD(photodiode) 또는 APD(avalanche photo diode)와 같은 포인트센서(146)를 포함한다. 스캐닝미러(119)의 2축 스캔을 위해서 멤스(MEMS) 스캐닝 미러가 사용될 수 있으며, 예를 들어, 이축(bi-axial) 회전미러나, 회전축이 직교배치되는 두 개의 일축(uni-axial) 회전미러가 사용될 수 있다.
도 6은 다른 실시예에 따른 3차원 영상 획득 장치(200)의 개략적인 구성을 보인 단면도이다.
본 실시예는 도 2의 3차원 영상 획득 장치(100)와 비교할 때, 컬러영상렌즈부(120)의 광축과 본체부(B)의 광축이 서로 일치하지 않게 배치된 점에 차이가 있다. 이와 같은 배치에 따라, 컬러영상렌즈부(120)는 제1 이미지센서(160)의 일부 영역만을 유효하게 사용할 수 있다. 다만, 이러한 배치는 예를 들어, 도시된 바와 같이, 광원(110)을 복수개로 구비함에 있어 깊이영상촬영부(140)의 배치 위치를 변경할 수 있는 편이에 따라 선택될 수 있다.
도 7은 또 다른 실시예에 따른 3차원 영상 획득 장치(300)의 개략적인 구성을 보인 단면도이다.
본 실시예는 도 6의 3차원 영상 획득 장치(200)와 비교할 때, 깊이영상촬영부(140)가 반사형 타입의 광변조기(343)를 채용한 점에 차이가 있다.
도 8은 또 다른 실시예에 따른 3차원 영상 획득 장치(400)의 개략적인 구성을 보인 단면도이다.
본 실시예의 3차원 영상 획득 장치(400)는 3차원 영상을 형성함에 있어 스테레오 방식과 깊이 측정 방식을 함께 적용하는 구조로 제시된다.
컬러영상렌즈부(420)는 좌안용영상을 결상하는 좌안렌즈(421), 우안용영상을 결상하는 우안렌즈(423)를 포함하여 이루어지며, 좌안렌즈(421)와 우안렌즈(423)는 각각 제1 이미지센서(160)의 영역을 대략 절반씩 사용하게 된다.
이러한 구조에서, 컬러영상렌즈부(420)의 광축과 본체부(B)의 광축은 서로 일치하지 않게 배치되며, 깊이영상렌즈부(141)의 광축과 본체부(B)의 광축이 서로 일치하게 배치될 수 있다.
깊이영상촬영부(140)는 깊이영상렌즈부(141), 광변조기(143) 및 제2 이미지센서(145)를 포함하는 구조로서, 전술한 바와 같이, 깊이영상촬영부(140)는 피사체로부터 반사되는 광(Li)이 제2 이미지센서(145)에 수광되기까지의 광 비행시간을 측정하는 광시간비행법 (Time-of-Flight; TOF)을 이용하여 깊이 정보를 획득할 수 있다.
영상처리부(170)는 깊이영상촬영부(140)에서 획득된 깊이 정보와 제1 이미지센서(160)에서 획득된 좌안 영상 정보 및 우안 영상 정보를 이용하여 피사체의 3차원 영상을 생성한다.
도 9는 또 다른 실시예에 따른 3차원 영상 획득 장치(500)의 개략적인 구성을 보인 단면도이다.
본 실시예의 3차원 영상 획득 장치(500)는 좌안렌즈(421)와 우안렌즈(423) 중 어느 하나가 깊이영상렌즈부의 기능을 겸하도록 배치된 점에 도 5의 3차원 영상 획득 장치(400)와 차이가 있다. 도시된 바와 같이, 우안렌즈(423), 광변조기(143), 제2 이미지센서(145)가 깊이영상촬영부(540)를 이루고 있다. 이에 따라, 교환렌즈부(C)에는 깊이영상렌즈부의 기능을 겸하도록 배치된 렌즈(423)를 투과한 광을 제1 이미지센서(160)를 향하는 방향과 제2 이미지센서(145)를 향하는 방향으로 분리하는 빔스플리터(550)가 더 구비된다. 구체적으로, 피사체에서 반사된 광 중, 가시광(R,G,B)은 제1 이미지센서(160)를 향하는 방향으로, 적외선광(Li)은 제2 이미지센서(145)를 향하는 방향으로 분기된다.
도 10은 또 다른 실시예에 따른 3차원 영상 획득 장치(600)의 개략적인 구성을 보인 단면도이다.
본 실시예의 3차원 영상 획득 장치(600)는 컬러영상렌즈부(620)의 광축과 본체부(B)의 광축이 서로 일치하게 배치된 구조를 갖는다. 또한, 깊이영상촬영부(640)의 광축과 컬러영상렌즈부(620)의 광축의 일부가 겹치도록 배치되어 있는데, 구체적으로, 컬러영상렌즈부(620)와 깊이영상렌즈부(641)는 광축이 일부 겹치는 형태로서, 피사체의 컬러 영상 및 깊이 영상을 동시에 결상하는 결상렌즈(621)를 공유하고 있다.
이러한 동축(co-axial) 구조는 컬러 영상과 깊이 영상의 시점이 일치한다는 장점을 갖게 되며, 따라서, 별도의 시점 보정 작업이 최소화될 수 있다. 이러한 배치에 따라, 결상렌즈(621)에서 결상된 컬러 영상과 깊이 영상을 각각 제1 이미지센서(160) 및 제2 이미지센서(145)를 향하는 방향으로 분리하는 빔스플리터(650)가 더 구비되게 되며, 또한, 컬러영상렌즈부(620)는 결상렌즈(621)에서 결상된 상을 제1 이미지센서(160)로 전달하는 릴레이렌즈(623)를 더 포함할 수 있다. 또한, 제1 이미지센서(160)와 제2 이미지센서(145)는 크기가 서로 다를 수 있으며, 이에 따라, 깊이영상렌즈부(641)는 결상렌즈(621)에서 결상된 상을 제2 이미지센서(145)에 대응하는 크기로 확대 또는 축소하는 변환렌즈(631)를 포함할 수 있다.
도 11은 또 다른 실시예에 따른 3차원 영상 획득 장치(700)의 개략적인 구성을 보인 단면도이다.
본 실시예의 3차원 영상 획득 장치(700)는 깊이영상렌즈부(641)와 컬러영상렌즈부(620)가 공유하는 결상렌즈(621)가 교환 가능한 형태로 구성된 점에서 도 7의 3차원 영상 획득 장치(600)와 차이가 있다. 즉, 교환렌즈부(C)는 결상렌즈(621)를 포함하는 제1 교환렌즈부(C1)와, 광원(110), 빔스플리터(650), 릴레이 렌즈(623), 변환 렌즈(631), 광변조기(143) 및 제2 이미지센서(145)를 포함하는 제2 교환렌즈부(C2)로 나뉘어지며, 제1 교환렌즈부(C1)는 제2 교환렌즈부(C2)에 탈착 가능하도록 구성되어 있다.
도 12는 또 다른 실시예에 따른 3차원 영상 획득 장치(800)의 개략적인 구성을 보인 단면도이다.
본 실시예의 3차원 영상 획득 장치(800)는 광원(110)의 배치에서 도 8의 영상 획득 장치(700)와 차이가 있으며, 즉, 피사체에 조사되는 광의 경로도 동축으로 구현하고 있다.
도 6 내지 도 12에서 설명한 3차원 영상 획득 장치의 깊이영상촬영부는 모두 광변조기를 구비하는 것으로 도시되어 있으나 이는 예시적인 것으로 이에 한정되지 않는다. 예를 들어, 도 3 내지 도 6에서 설명한 3차원 영상 획득 장치에서 채용되는 깊이영상촬영부나 이를 위해 변형되는 조명부 구성이 채용되는 것도 가능하다.
상술한 3차원 영상 획득 장치에서 설명된 구체적인 광학적 배치들은 피사체의 깊이 영상 정보를 획득하는 깊이영상촬영부가 교환렌즈 형태로 채용된 구조에 대한 다양한 예시로서 설명된 것이다. 따라서, 도시된 구조에 한정되지 않으며, 예를 들어, 채용되는 렌즈의 종류, 개수 배치등이 변경될 수 있으며, 기타, 광경로 변경등을 위한 광학부재가 더 구비될 수도 있다.
이러한 본원 발명은 이해를 돕기 위하여 도면에 도시된 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위에 의해 정해져야 할 것이다.

Claims (24)

  1. 피사체에 광을 조사하는 조명부, 피사체의 컬러 영상을 결상하는 컬러영상렌즈부 및 피사체의 깊이 영상 정보를 획득하는 것으로, 상기 조명부로부터 피사체에 조사된 후 피사체로부터 반사된 광을 포커싱하는 깊이영상렌즈부와 상기 깊이영상렌즈부에서 포커싱되는 광을 센싱하는 제2 이미지센서가 구비된 깊이영상촬영부를 포함하는 교환렌즈부;
    상기 교환렌즈부가 탈착되는 곳으로,
    상기 컬러영상렌즈부에 의해 결상된 광학상을 전기 신호로 전환하는 제1 이미지 센서와, 상기 제1 이미지센서에서의 전기 신호와 상기 깊이영상촬영부에서의 깊이 정보를 이용하여 3차원 영상을 형성하는 영상처리부를 구비하는 본체부;를 포함하는 3차원 영상 획득 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 조명부는 적외선 광을 조사하는 광원을 포함하는 3차원 영상 획득 장치.
  4. 제1항에 있어서,
    상기 깊이영상렌즈부를 투과한 광을 변조하는 광변조기를 더 구비하는 3차원 영상 획득 장치.
  5. 제4항에 있어서,
    상기 광변조기는 반사형 또는 투과형 광변조기로 이루어지는 3차원 영상 획득 장치.
  6. 제1항에 있어서,
    상기 제2 이미지센서는 상기 깊이영상렌즈부에서 포커싱된 광으로부터 피사체의 깊이 정보를 직접 감지하는 깊이영상센서를 포함하는 3차원 영상 획득 장치.
  7. 제1항에 있어서,
    상기 조명부는 피사체에 패턴광을 조사하도록 구성되는 3차원 영상 획득 장치.
  8. 제7항에 있어서,
    상기 조명부는 광원과, 상기 광원에서 조사된 광을 회절시키는 회절 광학 소자를 포함하는 3차원 영상 획득 장치.
  9. 제1항에 있어서,
    상기 조명부는 피사체에 광을 스캐닝하며 조사하도록 구성되는 3차원 영상 획득 장치.
  10. 제9항에 있어서,
    상기 조명부는
    광원과, 상기 광원에서 조사된 광을 콜리메이팅하는 콜리메이션 렌즈 및 스캐닝미러를 포함하는 3차원 영상 획득 장치.
  11. 제10항에 있어서,
    상기 제2이미지센서는 포인트센서를 포함하는 3차원 영상 획득 장치.
  12. 제1항에 있어서,
    상기 컬러영상렌즈부의 광축과 상기 본체부의 광축이 서로 일치하지 않게 배치된 3차원 영상 획득 장치.
  13. 제12항에 있어서,
    상기 컬러영상렌즈부는
    좌안용영상을 결상하는 좌안렌즈;
    우안용영상을 결상하는 우안렌즈;를 포함하여 이루어진 3차원 영상 획득 장치.
  14. 제13항에 있어서,
    상기 좌안렌즈와 우안렌즈는 각각 상기 제1이미지센서의 영역을 절반씩 사용하는 3차원 영상 획득 장치.
  15. 제13항에 있어서,
    상기 깊이영상렌즈부의 광축과 상기 본체부의 광축이 서로 일치하게 배치된 3차원 영상 획득 장치.
  16. 제13항에 있어서,
    상기 좌안렌즈와 우안렌즈 중 어느 하나는 상기 깊이영상렌즈부의 기능을 겸하도록 배치되는 3차원 영상 획득 장치.
  17. 제16항에 있어서,
    상기 교환렌즈부는
    상기 좌안렌즈와 우안렌즈 중 상기 깊이영상렌즈부의 기능을 겸하도록 배치된 렌즈를 투과한 광을 상기 제1 이미지센서를 향하는 방향과 상기 제2 이미지센서를 향하는 방향으로 분리하는 빔스플리터를 더 구비하는 3차원 영상 획득 장치.
  18. 제1항에 있어서,
    상기 컬러영상렌즈부의 광축과 상기 본체부의 광축이 서로 일치하게 배치된 3차원 영상 획득 장치.
  19. 제18항에 있어서,
    상기 깊이영상렌즈부의 광축과 상기 컬러영상렌즈부의 광축의 일부가 겹치도록 배치된 3차원 영상 획득 장치.
  20. 제19항에 있어서,
    상기 컬러영상렌즈부와 상기 깊이영상렌즈부는
    피사체의 컬러 영상 및 깊이 영상을 동시에 결상하는 결상렌즈를 공유하는 3차원 영상 획득 장치.
  21. 제20항에 있어서,
    상기 결상렌즈에서 결상된 상기 컬러 영상과 깊이 영상을 각각 상기 제1 이미지센서 및 제2 이미지센서를 향하는 방향으로 분리하는 빔스플리터가 구비된 3차원 영상 획득 장치.
  22. 제21항에 있어서,
    상기 컬러영상렌즈부는 상기 결상렌즈에서 결상된 상을 상기 제1이미지센서로 전달하는 릴레이렌즈를 더 구비하는 3차원 영상 획득 장치.
  23. 제22항에 있어서,
    상기 깊이영상렌즈부는 상기 결상렌즈에서 결상된 상을 상기 제2이미지센서에 대응하는 크기로 확대 또는 축소하는 변환렌즈를 더 구비하는 3차원 영상 획득 장치.
  24. 제23항에 있어서,
    상기 교환렌즈부는
    상기 결상렌즈를 포함하는 제1 교환렌즈부와,
    상기 조명부, 빔스플리터, 릴레이 렌즈, 변환 렌즈 및 제2 이미지센서를 포함하는 제2 교환렌즈부로 나뉘어지며,
    상기 제1 교환렌즈부는 상기 제2 교환렌즈부에 탈착 가능하도록 구성된 3차원 영상 획득 장치.
KR1020110054642A 2011-06-07 2011-06-07 교환렌즈 형태를 채용한 3차원 영상 획득 장치 KR101799522B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110054642A KR101799522B1 (ko) 2011-06-07 2011-06-07 교환렌즈 형태를 채용한 3차원 영상 획득 장치
US13/462,522 US20120314039A1 (en) 2011-06-07 2012-05-02 3d image acquisition apparatus employing interchangable lens

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110054642A KR101799522B1 (ko) 2011-06-07 2011-06-07 교환렌즈 형태를 채용한 3차원 영상 획득 장치

Publications (2)

Publication Number Publication Date
KR20120135751A KR20120135751A (ko) 2012-12-17
KR101799522B1 true KR101799522B1 (ko) 2017-11-21

Family

ID=47292848

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110054642A KR101799522B1 (ko) 2011-06-07 2011-06-07 교환렌즈 형태를 채용한 3차원 영상 획득 장치

Country Status (2)

Country Link
US (1) US20120314039A1 (ko)
KR (1) KR101799522B1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI471630B (zh) * 2012-06-01 2015-02-01 Hon Hai Prec Ind Co Ltd 主動式距離對焦系統及方法
KR101858577B1 (ko) 2012-10-10 2018-05-16 삼성전자주식회사 결상 광학계 및 이를 포함하는 3차원 영상 획득 장치
US9402067B2 (en) 2012-10-22 2016-07-26 Samsung Electronics Co., Ltd. Imaging optical system for 3D image acquisition apparatus, and 3D image acquisition apparatus including the imaging optical system
US9857470B2 (en) * 2012-12-28 2018-01-02 Microsoft Technology Licensing, Llc Using photometric stereo for 3D environment modeling
US9940553B2 (en) 2013-02-22 2018-04-10 Microsoft Technology Licensing, Llc Camera/object pose from predicted coordinates
KR20140133093A (ko) * 2013-05-09 2014-11-19 한국전자통신연구원 인식 장치 및 그 방법
EP3004924B1 (en) * 2013-06-06 2021-10-06 Heptagon Micro Optics Pte. Ltd. Sensor system with active illumination
TW201501519A (zh) * 2013-06-21 2015-01-01 Ability Entpr Co Ltd 攝像裝置與影像串流輸出方法
KR20150010230A (ko) * 2013-07-18 2015-01-28 삼성전자주식회사 단일 필터를 이용하여 대상체의 컬러 영상 및 깊이 영상을 생성하는 방법 및 장치.
US9918024B2 (en) * 2015-05-22 2018-03-13 Google Llc Multi functional camera with beam splitter
US20170214861A1 (en) * 2015-05-22 2017-07-27 Massachusetts Institute Of Technology Rapid and precise optically multiplexed imaging
JP6648375B2 (ja) * 2018-05-21 2020-02-14 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 撮像システム、及び移動体
KR102505817B1 (ko) * 2020-09-18 2023-03-06 문명일 3차원 이미지 획득 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001141430A (ja) * 1999-11-16 2001-05-25 Fuji Photo Film Co Ltd 画像撮像装置及び画像処理装置
JP2002341474A (ja) * 2001-05-18 2002-11-27 Olympus Optical Co Ltd 立体画像撮影用アダプタ及び立体画像撮影装置
US20050285966A1 (en) * 2004-01-28 2005-12-29 Canesta, Inc. Single chip red, green, blue, distance (RGB-Z) sensor
US20110037832A1 (en) * 2009-08-11 2011-02-17 California Institute Of Technology Defocusing Feature Matching System to Measure Camera Pose with Interchangeable Lens Cameras

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3868621B2 (ja) * 1998-03-17 2007-01-17 株式会社東芝 画像取得装置、画像取得方法、及び記録媒体
US6556307B1 (en) * 1998-09-11 2003-04-29 Minolta Co., Ltd. Method and apparatus for inputting three-dimensional data
US6411918B1 (en) * 1998-12-08 2002-06-25 Minolta Co., Ltd. Method and apparatus for inputting three-dimensional data
JP2007003646A (ja) * 2005-06-22 2007-01-11 Fujifilm Holdings Corp カメラシステム、レンズユニット、及びアクセサリ
US7375803B1 (en) * 2006-05-18 2008-05-20 Canesta, Inc. RGBZ (red, green, blue, z-depth) filter system usable with sensor systems, including sensor systems with synthetic mirror enhanced three-dimensional imaging
JP2008275732A (ja) * 2007-04-26 2008-11-13 Sony Corp 撮像装置
US8305485B2 (en) * 2010-04-30 2012-11-06 Eastman Kodak Company Digital camera with coded aperture rangefinder

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001141430A (ja) * 1999-11-16 2001-05-25 Fuji Photo Film Co Ltd 画像撮像装置及び画像処理装置
JP2002341474A (ja) * 2001-05-18 2002-11-27 Olympus Optical Co Ltd 立体画像撮影用アダプタ及び立体画像撮影装置
US20050285966A1 (en) * 2004-01-28 2005-12-29 Canesta, Inc. Single chip red, green, blue, distance (RGB-Z) sensor
US20110037832A1 (en) * 2009-08-11 2011-02-17 California Institute Of Technology Defocusing Feature Matching System to Measure Camera Pose with Interchangeable Lens Cameras

Also Published As

Publication number Publication date
US20120314039A1 (en) 2012-12-13
KR20120135751A (ko) 2012-12-17

Similar Documents

Publication Publication Date Title
KR101799522B1 (ko) 교환렌즈 형태를 채용한 3차원 영상 획득 장치
US9451240B2 (en) 3-dimensional image acquisition apparatus and 3D image acquisition method for simultaneously obtaining color image and depth image
US9998678B2 (en) Camera for acquiring optical properties and spatial structure properties
KR101858577B1 (ko) 결상 광학계 및 이를 포함하는 3차원 영상 획득 장치
US10715711B2 (en) Adaptive three-dimensional imaging system and methods and uses thereof
US9402067B2 (en) Imaging optical system for 3D image acquisition apparatus, and 3D image acquisition apparatus including the imaging optical system
KR101974578B1 (ko) 3차원 영상 획득 장치용 결상 광학계 및 이를 포함하는 3차원 영상 획득 장치
JP2009300268A (ja) ３次元情報検出装置
US20130182169A1 (en) Imaging apparatus
KR101691156B1 (ko) 조명 광학계와 결상 광학계가 통합된 광학계 및 이를 포함하는 3차원 영상 획득 장치
CN113302541A (zh) 用于捕获任意平面之间的全光图像的过程和装置
JP2022177056A (ja) 焦点検出装置
JPWO2019026929A1 (ja) 医療用観察装置
US11803107B2 (en) Interchangeable lens, focus detecting device, and camera body
CN107846542A (zh) 一种3d摄像头及3d图像的生成方法
CN213091888U (zh) 深度测量系统及电子设备
KR20180130378A (ko) 산란매질 신호처리 기능이 탑재된 라이트필드 카메라 어뎁터
WO2020213594A1 (ja) 交換レンズ、情報処理装置、情報処理方法、及び、プログラム
JP2005173270A (ja) 立体撮影用光学装置、撮影装置、立体撮影システム及び立体撮影装置
Koyama et al. A 3D vision 2.1 Mpixel image sensor for single-lens camera systems
JP2013046395A (ja) 撮像装置及びその制御方法、プログラム、及び記録媒体
JP2002077944A (ja) 立体映像装置
KR101041407B1 (ko) 입체 내시경 광학계
JP6249367B2 (ja) 海底撮像装置
JP5963483B2 (ja) 撮像装置および撮像装置の制御方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right