KR20150090685A - 센서 모듈 및 이를 포함하는 3차원 영상 - Google Patents

센서 모듈 및 이를 포함하는 3차원 영상 Download PDF

Info

Publication number
KR20150090685A
KR20150090685A KR1020140011596A KR20140011596A KR20150090685A KR 20150090685 A KR20150090685 A KR 20150090685A KR 1020140011596 A KR1020140011596 A KR 1020140011596A KR 20140011596 A KR20140011596 A KR 20140011596A KR 20150090685 A KR20150090685 A KR 20150090685A
Authority
KR
South Korea
Prior art keywords
light
light source
reflected
frame period
holographic element
Prior art date
Application number
KR1020140011596A
Other languages
English (en)
Other versions
KR102117561B1 (ko
Inventor
정성기
서은성
이기석
이명욱
이세규
한경하
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to KR1020140011596A priority Critical patent/KR102117561B1/ko
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Priority to CN202010940599.2A priority patent/CN112180397B/zh
Priority to PCT/KR2015/000911 priority patent/WO2015115797A1/ko
Priority to EP15743813.6A priority patent/EP3101382A4/en
Priority to US15/115,159 priority patent/US10338221B2/en
Priority to CN201580006696.1A priority patent/CN106030239B/zh
Priority to JP2016549148A priority patent/JP6693880B2/ja
Publication of KR20150090685A publication Critical patent/KR20150090685A/ko
Priority to US16/424,284 priority patent/US10802148B2/en
Priority to JP2020073440A priority patent/JP6910499B2/ja
Priority to KR1020200063037A priority patent/KR102284673B1/ko
Application granted granted Critical
Publication of KR102117561B1 publication Critical patent/KR102117561B1/ko
Priority to US17/016,061 priority patent/US11680789B2/en
Priority to JP2021111252A priority patent/JP7237114B2/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/09—Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
    • G02B27/0938—Using specific optical elements
    • G02B27/0944—Diffractive optical elements, e.g. gratings, holograms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Holo Graphy (AREA)

Abstract

본 발명의 일 실시 예에 따르면 센서 모듈은, 물체로 광을 조사하는 광원, 상기 광원과 상기 물체 사이에 배치되며, 상기 광원의 조사영역을 조절하는 홀로그래픽 소자, 제1 및 제2프레임주기에서의 상기 조사영역이 서로 다르도록, 상기 홀로그래픽 소자를 구동하는 액추에이터(actuator), 상기 물체에 의해 반사되는 반사광을 수광하는 수광렌즈, 그리고 상기 수광렌즈를 통해 상기 반사광을 수광하며, 상기 제1 및 제2프레임주기 각각에 동기화하여 제1 및 제2영상신호를 출력하는 센서부를 포함한다.

Description

센서 모듈 및 이를 포함하는 3차원 영상{SENSOR MODULE AND 3D IMAGE CAMERA INCLUDING THE SAME}
본 발명은 센서 모듈 및 이를 포함하는 3차원 영상 카메라에 관한 것이다.
비행시간(Time of Flight, TOF) 센서는 광원에서 방출되는 광이 물체에 의해 반사되어 돌아오는 것을 감지하는 센서이다. TOF 센서는 깊이 정보(depth image)를 생성하는 3차원 영상 카메라와 연결되어, 특정 물체까지의 거리를 산출하거나 물체의 움직임을 인식하기 위해 사용될 수 있다.
한편, 3차원 영상 카메라를 이용하여 물체의 움직임을 인식함에 있어, MOS(Minimum Object Size)는 중요한 요소로 작용한다. MOS는 센서로부터 추출한 깊이 영상(depth image)의 해상력에 따라서 달라질 수 있다.
따라서, 움직임 인식 성능을 향상시키기 위해서는 깊이 영상의 해상력을 향상시킬 필요가 있다.
한편, TOF 센서의 구동을 위해 사용하는 광원의 경우, 광의 발산각 조절이 어려워, 센서의 화각을 벗어나는 영역에도 광이 조사되고 이로 인해 광손실이 발생하는 문제가 있다. 또한, 필요한 광량을 얻기 위해 다수의 발광소자를 사용하고 있어 3차원 카메라의 전체적인 사이즈가 증가하는 문제가 있다.
본 발명이 이루고자 하는 기술적 과제는, 해상도가 향상된 깊이 영상을 제공하기 위한 센서 모듈 및 이를 포함하는 3차원 영상 카메라를 제공하는 것이다.
본 발명의 일 실시 예에 따르면 센서 모듈은, 물체로 광을 조사하는 광원, 상기 광원과 상기 물체 사이에 배치되며, 상기 광원의 조사영역을 조절하는 홀로그래픽 소자, 제1 및 제2프레임주기에서의 상기 조사영역이 서로 다르도록, 상기 홀로그래픽 소자를 구동하는 액추에이터(actuator), 상기 물체에 의해 반사되는 반사광을 수광하는 수광렌즈, 그리고 상기 수광렌즈를 통해 상기 반사광을 수광하며, 상기 제1 및 제2프레임주기 각각에 동기화하여 제1 및 제2영상신호를 출력하는 센서부를 포함한다.
본 발명의 다른 실시 예에 따르면 센서 모듈은, 서로 이격 배치되며, 물체로 광을 조사하는 제1 및 제2광원, 상기 제1 및 제2광원과 상기 물체 사이에 각각 배치되며, 상기 제1 및 제2광원의 조사영역이 서로 다르도록, 상기 제1 및 제2광원의 조사영역을 조절하는 제1 및 제2홀로그래픽 소자, 제1프레임주기에는 상기 제1광원이 발광하고, 제2프레임주기에는 상기 제2광원이 발광하도록, 상기 제1 및 제2광원의 점등을 제어하는 제어부, 상기 물체에 의해 반사되는 반사광을 수광하는 수광렌즈, 그리고 상기 수광렌즈를 통해 상기 반사광을 수광하며, 상기 제1 및 제2프레임주기 각각에 동기화하여 제1 및 제2영상신호를 출력하는 센서부를 포함한다.
본 발명의 일 실시 예에 따른 3차원 영상 카메라는, 물체로 광을 조사하는 광원, 상기 광원과 상기 물체 사이에 배치되며, 상기 광원의 조사영역을 조절하는 홀로그래픽 소자, 제1 및 제2프레임주기에서의 상기 조사영역이 서로 다르도록, 상기 홀로그래픽 소자를 구동하는 액추에이터, 상기 물체에 의해 반사되는 반사광을 수광하는 수광렌즈, 상기 수광렌즈를 통해 상기 반사광을 수광하며, 상기 제1 및 제2프레임주기 각각에 동기화하여 제1 및 제2영상신호를 출력하는 센서부, 상기 제1 및 제2영상신호를 신호처리하여 제1 및 제2프레임을 생성하는 신호처리부, 그리고 상기 제1 및 제2프레임을 결합하여 깊이 영상을 생성하는 디인터레이서(De-interlacer)를 포함한다.
본 발명의 다른 실시 예에 따른 3차원 영상 카메라는 서로 이격 배치되며, 물체로 광을 조사하는 제1 및 제2광원, 상기 제1 및 제2의 광원과 상기 물체 사이에 각각 배치되며, 상기 제1 및 제2광원의 조사영역이 서로 다르도록, 상기 제1 및 제2광원의 조사영역을 조절하는 제1 및 제2홀로그래픽 소자, 제1프레임주기에는 상기 제1광원이 발광하고, 제2프레임주기에는 상기 제2광원이 발광하도록, 상기 제1 및 제2광원의 점등을 제어하는 제어부, 상기 물체에 의해 반사되는 반사광을 수광하는 수광렌즈, 상기 수광렌즈를 통해 상기 반사광을 수광하며, 상기 제1 및 제2프레임주기 각각에 동기화하여 제1 및 제2영상신호를 출력하는 센서부, 상기 제1 및 제2영상신호를 신호처리하여 제1 및 제2프레임을 생성하는 신호처리부, 그리고 상기 제1 및 제2프레임을 결합하여 깊이 영상을 생성하는 디인터레이서를 포함한다.
본 발명의 실시 예에 따르면, 홀로그래픽 소자를 사용하여 홀수 프레임주기와 짝수 프레임주기의 광원의 조사영역을 다르게 조절하고, 이에 따라 얻어지는 홀수 프레임과 짝수 프레임을 결합하여 하나의 깊이 영상을 생성함으로써 깊이 영상의 해상도를 향상시키는 효과가 있다.
또한, 홀로그래픽 소자를 이용하여 광 발산각을 조절함으로써, 광효율을 향상시키는 효과가 있다.
도 1은 본 발명의 일 실시 예에 따른 3차원 영상 카메라를 대략적으로 도시한 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 홀로그래픽 소자에 의해 발산각 제어하는 일 예를 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시 예에 따른 3차원 영상 카메라에서 프레임주기에 동기화하여 프레임을 생성하는 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시 예에 따른 3차원 영상 카메라의 깊이 영상 생성 방법을 도시한 흐름도이다.
도 6은 본 발명의 다른 실시 예에 따른 3차원 영상 카메라를 대략적으로 도시한 블록도이다.
도 7은 본 발명의 다른 실시 예에 따른 3차원 영상 카메라에서 프레임주기에 동기화하여 프레임을 생성하는 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 다른 실시 예에 따른 3차원 영상 카메라에서 깊이 영상을 획득하는 방법을 도시한 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제2, 제1 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
또한, 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부된 도면을 참조하여 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 대응하는 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
이하, 도 1 내지 도 5를 참조하여, 본 발명의 일 실시 예에 따른 깊이 영상 생성방법 및 이를 수행하기 위한 센서 모듈 및 3차원 영상 카메라의 구성에 대하여 상세하게 설명하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 3차원 영상 카메라를 대략적으로 도시한 블록도이다. 도 2는 본 발명의 일 실시 예에 따른 홀로그래픽 소자에 의해 발산각 제어하는 일 예를 설명하기 위한 도면이다. 도 3은 본 발명의 일 실시 예에 따른 3차원 영상 카메라에서 프레임주기에 동기화하여 프레임을 생성하는 방법을 설명하기 위한 도면이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 3차원 영상 카메라는 깊이 센서 모듈(10), 신호처리부(31) 및 디인터레이서(De-interlacer, 32)를 포함할 수 있다. 도 1에 도시된 구성요소들은 필수적인 것은 아니어서, 본 발명의 일 실시 예에 따른 3차원 영상 카메라는 그 보다 더 많거나 더 적은 구성요소를 포함할 수 있다.
깊이 센서 모듈(10)은 비행시간(Time Of Flight, TOF) 센서모듈로서, 발광부와 수광부를 포함할 수 있다.
깊이 센서 모듈(10)의 발광부는 광원(11), 렌즈(12), 홀로그래픽(Holograhic) 소자(13), 액추에이터(actuator, 14) 및 제어부(15)를 포함할 수 있다.
광원(11)은 발광소자를 포함하며, 발광소자를 구동하여 일정한 위상을 가지는 광을 물체(OB)로 조사하는 기능을 수행한다. 광원(11)은 기 설정된 프레임주기에 동기화하여 점멸을 반복하도록 동작할 수 있다.
광원(11)에 포함되는 발광소자로는 레이저(Laser), 레이저 다이오드(Laser Diode) 등이 포함될 수 있으나, 그 외 다른 종류의 광원도 사용될 수 있다.
레이저 또는 레이저 다이오드로부터 조사되는 광은 발광 다이오드(Light Emitting Diode, LED)로부터 조사되는 광에 비해 상대적으로 지향성이 뛰어난 특성이 있다. 따라서, 레이저 또는 레이저 다이오드를 광원(11)으로 사용하는 경우, 발산각 및 조사영역 조절이 용이하다.
광원(11)에서 조사되는 광의 파장은 적외선(Infrared Ray) 대역에 포함될 수있으나, 그 외 다른 파장 대역에 포함될 수도 있다.
렌즈(12)는 광원(11)으로부터 조사되는 광의 광경로 상에 배치되며, 점광원인 광원(11)으로부터 조사되는 광을 면광원화하는 기능을 수행한다. 레이저의 경우 지향성이 뛰어나나, 상대적으로 발산각이 작은 특성이 있다. 따라서, 깊이 영상을 획득하기 위해서는 물체(OB) 전체로 균일하게 광을 조사하도록 렌즈(12)를 사용할 수 있다.
홀로그래픽 소자(13)는 광원(11)과 물체(OB) 사이, 또는 렌즈(12)와 물체(OB) 사이에 배치되며, 광원(11)으로부터 조사되는 광의 발산각 및 조사영역을 제어하는 기능을 수행한다.
도 2의 (a)는 광원(LED)으로부터 조사되는 광이 홀로그래픽 소자(13) 없이 물체(OB)로 조사되는 경우를 도시한 것이고, 도 2의 (b)는 광원(LD)으로부터 조사되는 광이 홀로그래픽 소자(13)에 의해 발산각이 조절되어 물체(OB)로 조사되는 경우를 도시한 것이다.
도 2의 (a)를 보면, LED로부터 조사되는 광은 센서에 상이 맺히는 영역 외에 다른 영역(a1, a2)에도 조사되어, 광효율이 떨어진다.
반면에, 도 2의 (b)를 참조하면, LD로부터 조사되는 광은, 홀로그래픽 소자(13)에 의해 센서에 상이 맺히는 영역(화각)을 크게 벗어나지 않도록 발산각이 조절되어, 낭비되는 광이 최소화되고 광효율이 향상될 수 있다.
한편, 렌즈(12)는 필수적인 것은 아니어서, 홀로그래픽 소자(13)에 의해 조도 균일도가 확보되는 경우에는 생략될 수도 있다.
다시, 도 1을 보면, 홀로그래픽 소자(13)는 컴퓨터 홀로그램(Computer Generated Hologram, CGH) 방식으로 제조될 수 있다. 홀로그램(hologram)은 물체로부터 산란되는 정보가 담긴 물체파(signal wave)와 가간섭 참조파(reference wave)로부터 생기는 간섭패턴으로, CGH는 컴퓨터를 이용하여 이러한 간섭패턴을 수학적으로 계산하여 만드는 방식이다.
홀로그래픽 소자(13)는 컴퓨터에 의해 계산된 간섭패턴을 기록매질에 기록하여 형성될 수 있다.
홀로그래픽 소자(13)에서 간섭패턴이 기록되는 기록매질은 감광재료로 형성된 기판을 포함할 수 있다. 감광 재료로는 포토폴리머(photopolymer), UV 포토폴리머, 포토레지스트(photoresist), 실버 팔라이드 에멀젼(silver halide emulsion), 중크롬산 젤라틴(dichromated gelatin), 포토그래픽 에멀젼(photographic emulsion), 포토써모플라스틱(photothermoplastic), 광회절(photorefractive) 재료 등이 사용될 수 있다.
홀로그래픽 소자(13)는 체적 홀로그래픽(volume holographic) 소자 또는 표면 홀로그래픽(surface holographic) 소자일 수 있다.
체적 홀로그래픽 소자는 물체파와 참조파의 간섭으로 공간에 만들어져 있는 간섭패턴을 기록매질에 3차원적으로 기록한 홀로그래픽 광학소자이다. 반면에, 표면 홀로그래픽 소자는 물체파와 참조파의 간섭으로 공간에 만들어져 있는 간섭패턴을 기록매질의 표면에 기록한 홀로그래픽 광학소자이다.
홀로그래픽 소자(13)가 표면 홀로그래픽 소자인 경우, 간섭패턴은 광원(11)으로부터 입사한 광이 출사하는 출사면에 형성될 수 있다.
홀로그래픽 소자(13)는 액추에이터(14)에 연결되며, 액추에이터(14)에 의해 위치, 기울기(tilting) 등이 조절될 수 있다.
액추에이터(14)는 홀로그래픽 소자(13)를 구동하는 구동장치로서, 광원(11)의 광축(Optic Axis)을 기준으로 홀로그래픽 소자(13)의 위치, 기울기(tilting) 등을 조절할 수 있다.
홀로그래픽 소자(13)의 위치, 기울기 등이 변경되면, 홀로그래픽 소자(13)를 통과한 광이 물체(OB)에 조사되는 조사영역이 이동(shift)하며, 이로 인해 물체(OB)에 의해 반사된 광이 센서부(22)의 각 셀에 맺히는 영역 또한 이동하게 된다.
액추에이터(14)는 제어부(15)의 제어신호를 토대로, 홀로그래픽 소자(13)의조사영역이 스위칭되도록 홀로그래픽 소자(13)를 구동시킬 수 있다. 즉, 액추에이터(14)는 홀수번째 프레임주기에 홀로그래픽 소자(13)의 조사영역이, 짝수번째 프레임주기에서의 홀로그래픽 소자(13)의 조사영역과 다르도록 홀로그래픽 소자(13)를 구동할 수 있다.
홀수번째 프레임주기에서의 홀로그래픽 소자(13)의 조사영역은, 짝수번째 프레임주기에서의 홀로그래픽 소자(13)의 조사영역에 비해, 센서부(22)의 한 셀에 매칭되는 영역만큼 위 또는 아래로 이동한 영역일 수 있다. 즉, 홀로그래픽 소자(13)의 조사영역은, 홀수번째 프레임주기에서의 센서부(22)의 셀에 맺히는 위치와, 짝수번째 프레임주기에서의 센서부(22)의 셀에 맺히는 위치가 하나의 셀만큼 차이나도록, 매 프레임주기마다 조절될 수 있다. 이에 따라, 동일한 지점에서 반사된 광이더라도 홀수번째 프레임주기에서 센서부(22)의 셀에 맺히는 위치와, 짝수번째 프레임주기에서 센서부(22)의 셀에 맺히는 위치가 하나의 셀만큼 차이날 수 있다.
액추에이터(14)는 VCM(Voice Coil Moto) 액추에이터 또는 MEMS(Microelectromechanical Systems) 액추에이터일 수 있다.
제어부(15)는 기 설정된 프레임(frame)주기를 토대로 광원(11)의 온(On)/오프(Off)를 제어할 수 있다.
도 3을 예로 들면, 제어부(15)는 매 프레임주기마다 광원(11)이 점멸하도록, 광원(11)을 주기적으로 온(On)/오프(Off)할 수 있다. 즉, 제어부(15)는 프레임주기(T1, T2)가 시작되면 광원(11)을 온하여 광을 조사하고, 소정 시간이 흐르면 광원(11)을 오프하여 프레임주기(T1, T2)가 끝날때까지 광 조사를 중단하도록 제어하는 동작을, 매 프레임주기(T1, T2)마다 수행할 수 있다.
제어부(15)는 매 프레임주기마다 홀로그래픽 소자(13)의 조사영역이 스위칭되도록 액추에이터(14)를 제어할 수 있다.
깊이 센서 모듈(10)의 수광부는 수광렌즈(21) 및 센서부(22)를 포함할 수 있다.
수광렌즈(21)는 물체(OB)와 센서부(22) 사이에 배치되며, 물체(OB)측으로부터 반사되는 반사광을 수광하여 센서부(22)로 입사시키는 기능을 수행한다.
센서부(22)는 수광렌즈(21)를 통해 물체(OB)로부터 반사되는 반사광을 수광하고, 이를 전기신호로 변환하여 영상신호를 출력한다.
센서부(22)는 복수의 셀로 이루어지며, 각 셀은 프레임을 구성하는 각 픽셀(pixel)에 대응될 수 있다. 센서부(22)는 셀 단위로 광을 수광하며, 셀 단위로 영상신호를 출력할 수 있다.
센서부(22)를 구성하는 각 셀은, 광을 전기신호로 변환하는 소자를 포함할 수 있다. 각 셀은 이로 한정되는 것은 아니나, 금속산화물반도체(Metal-Oxide Semiconductor,MOS), 전하결합소자(Charge Coupled Device, CCD) 등을 포함할 수 있다.
센서부(22)는 기 설정된 프레임주기에 동기화하여 반사광을 수광하고, 이를 영상신호로 변환하여 출력할 수 있다.
한편, 홀로그래픽 소자(13)에 의해 매 프레임주기마다 조사영역이 스위칭됨에 따라, 센서부(22)에 상이 맺히는 위치 또한 매 프레임주기마다 스위칭될 수 있다.
홀로그래픽 소자(13)는 엑추에이터(14)에 의해 홀수번째 프레임주기와 짝수번째 프레임주기에서 서로 다른 영역에 광을 조사한다. 이에 따라, 물체(OB)의 똑같은 위치에서 반사된 광이라도 홀수번째 프레임주기에서 센서부(22)에 상이 맺히는 위치와 짝수번째 프레임주기에서 센서부(22)에 상이 맺히는 위치가 다를 수 있다.
홀수번째 프레임주기에 센서부(22)에 맺히는 상은 짝수번째 프레임주기에 센서부(22)에 맺히는 상에 비해, 한 셀만큼 위/아래로 이동하여 맺힐 수 있다.
신호처리부(31)는 센서부(22)로부터 출력되는 영상신호에 대해 샘플링(sampling) 등의 신호처리를 수행하여 프레임을 생성한다. 여기서, 프레임은 복수의 픽셀을 포함하며, 각 픽셀의 픽셀값은 각 픽셀에 대응하는 영상신호로부터 획득할 수 있다.
신호처리부(31)는 프레임주기에 대응하여 센서부(22)로부터 출력되는 영상신호를 프레임으로 변환하여 출력할 수 있다.
도 3을 예로 들면, 신호처리부(31)는 매 프레임주기마(T1, T2)다 영상신호를 프레임(5a, 5b)으로 변환하여 출력하며, 홀수번째 프레임주기(T1)와 짝수번째 프레임주기(T2)에 각각 동기화하여 홀수 프레임(5a)과 짝수 프레임(5b)을 출력할 수 있다.
신호처리부(31)는 센서부(22)의 각 셀을 통해 수광한 광과 광원(11)에 의해 조사된 광과의 위상차를 토대로 각 셀 즉, 각 픽셀에 대응하는 깊이정보를 산출할 수도 있다. 산출한 깊이정보는 프레임을 구성하는 각 픽셀에 대응하여 저장된다.
디인터레이서(32)는 신호처리부(31)로부터 홀수 프레임과 짝수 프레임을 각각 수신하고, 두 프레임을 결합하여 하나의 깊이 영상을 생성할 수 있다.
디인터레이서(32)는 신호처리부(31)에서 출력되는 홀수 프레임과 짝수 프레임을 행(line) 단위로 번갈아가며 삽입함으로써, 해상도가 센서부(22)의 해상도보다 2배로 증가한 깊이 영상을 생성할 수 있다. 도 4를 예로 들면, 홀수 프레임과 짝수 프레임은 각각 10(행)ㅧ10(열) 픽셀의 해상도를 가지고, 두 프레임을 행 단위로 교차 결합한 깊이 영상의 해상도는 20(행)ㅧ10(열) 픽셀로, 수직 방향 해상도가 센서부(22)의 해상도보다 2배 증가하였다.
도 5는 본 발명의 일 실시 예에 따른 3차원 영상 카메라의 깊이 영상 생성 방법을 도시한 흐름도이다.
도 5를 참조하면, 깊이 센서 모듈(10)은 홀수번째 프레임주기에 동기화하여 광을 조사하도록 광원(11)을 제어한다(S101).
상기 S101 단계에서, 광원(11)에서 조사된 광은 홀로그래픽 소자(13)에 의해 조사 영역이 제어될 수 있다.
광원(11)으로부터 조사된 광이 물체로부터 반사되어 센서부(22)로 입사함에 따라, 센서부(22)는 이에 대응하는 영상신호를 각 픽셀 단위로 생성한다. 또한, 신호처리부(31)는 센서부(22)로부터 출력되는 영상신호를 신호처리하여 홀수 프레임을 생성한다(S102).
홀수 프레임이 획득되면, 깊이 센서 모듈(10)은 홀로그래픽 소자(13)를 제어하여 물체에 광이 조사되는 조사영역을 이동시킨다(S103).
상기 S103 단계에서, 깊이 센서 모듈(10)은 액추에이터(14)를 제어하여 홀로그래픽 소자(13)의 기울기를 조절함으로써, 조사영역을 이동시킬 수 있다.
짝수번째 프레임주기가 시작되면, 깊이 센서 모듈(10)은 이에 동기화하여 물체로 광을 조사하도록 광원(11)을 제어한다(S104).
상기 S104 단계에서, 광원(11)에서 조사된 광은 홀로그래픽 소자(13)에 의해 짝수번째 프레임주기와 조사 영역이 다를 수 있다.
광원(11)으로부터 조사된 광이 물체로부터 반사되어 센서부(22)로 입사함에 따라, 센서부(22)는 이에 대응하는 영상신호를 각 픽셀 단위로 생성한다. 또한, 신호처리부(31)는 센서부(22)로부터 출력되는 영상신호를 신호처리하여 짝수 프레임을 생성한다(S105).
디인터레이서(32)는 프레임을 구성하는 픽셀 어레이의 행 단위로 홀수 프레임과 짝수 프레임을 결합하여 깊이 영상을 생성한다(S106).
상기 S106 단계에서, 디인터레이서(32)는 홀수 프레임과 짝수 프레임의 픽셀 행을 순차적으로 교차 결합함으로써 깊이 영상을 생성할 수 있다.
이하, 도 6 내지 도 8을 참조하여, 본 발명의 다른 실시 예에 따른 깊이 영상 생성방법 및 이를 수행하기 위한 센서 모듈 및 3차원 영상 카메라의 구성에 대하여 상세하게 설명하기로 한다.
도 6은 본 발명의 다른 실시 예에 따른 3차원 영상 카메라를 대략적으로 도시한 블록도이다. 도 7은 본 발명의 다른 실시 예에 따른 3차원 영상 카메라에서 프레임주기에 동기화하여 프레임을 생성하는 방법을 설명하기 위한 도면이다.
아래에서는, 중복 설명을 피하기 위해 도 1을 참조하여 설명한 본 발명의 일 실시 예에 따른 3차원 영상 카메라와 그 기능이 동일한 구성요소에 대해서는 상세한 설명을 생략한다.
도 6을 참조하면, 본 발명의 다른 실시 예에 따른 3차원 영상 카메라는 깊이 센서 모듈(10), 신호처리부(31) 및 디인터레이서(32)를 포함할 수 있다. 도 6에 도시된 구성요소들은 필수적인 것은 아니어서, 본 발명의 다른 실시 예에 따른 3차원 영상 카메라는 그 보다 더 많거나 더 적은 구성요소를 포함할 수 있다.
깊이 센서 모듈(10)은 TOF 센서모듈로서, 복수의 발광부와 수광부를 포함할 수 있다.
깊이 센서 모듈(10)을 구성하는 복수의 발광부는, 광원(11a, 11b), 렌즈(12a, 12b) 및 홀로그래픽 소자(13a, 13b)를 각각 포함할 수 있다. 복수의 발광부는 또한 제어부(15)를 더 포함할 수 있다.
복수의 발광부(11a, 11b)는 서로 소정 간격 이격되어 배치될 수 있다. 복수의 발광부(11a, 11b) 사이에는 깊이 센서 모듈(10)의 센서부(22)가 배치될 수 있다.
아래에서는 설명의 편의를 위해, 복수의 발광부를 각각 제1 및 제2발광부로 명명하여 사용하고, 제1발광부를 구성하는 구성요소들을 제1광원(11a), 제1렌즈(12a) 및 제1홀로그래픽 소자(13a)로 명명하여 사용한다. 또한, 제2발광부를 구성하는 구성요소들을 제2광원(11b), 제2렌즈(12b) 및 제2홀로그래픽 소자(13b)로 명명하여 사용한다. 그러나, 상기 구성요소들은 제1, 제2 등과 같이 서수를 포함하는 용어들에 의해 한정되지는 않는다.
제1 및 제2광원(11a, 11b)은 서로 소정 간격 이격되어 배치되며, 발광소자를 구동하여 일정한 위상을 가지는 광을 물체(OB)로 조사하는 기능을 수행한다.
제1 및 제2광원(11a, 11b)에 포함되는 발광소자로는 레이저, 레이저 다이오드 등이 포함될 수 있으나, 그 외 다른 종류의 광원도 사용될 수 있다. 제1 및 제2광원(11a, 11b)에서 조사되는 광의 파장은 적외선 대역에 포함될 수 있으나, 그 외 다른 파장 대역에 포함될 수도 있다.
제1 및 제2광원(11a, 11b)은 서로 다른 프레임주기에 발광하도록 점멸이 제어될 수 있다. 예를 들어, 제1광원(11a)은 홀수번째 프레임주기에 동기화하여 발광하고, 제2광원(11b)은 짝수번째 프레임주기에 동기화하여 발광할 수 있다.
제1렌즈(12a)는 제1광원(11a)으로부터 조사되는 광의 광경로 상에 배치되며, 점광원인 제1광원(11a)으로부터 조사되는 광을 면광원화하는 기능을 수행한다. 또한, 제2렌즈(12b)는 제2광원(12b)으로부터 조사되는 광의 광경로 상에 배치되며, 점광원인 제2광원(11b)으로부터 조사되는 광을 면광원화하는 기능을 수행한다.
제1홀로그래픽 소자(13a)는 제1광원(11a)과 물체(OB) 사이, 또는 제1렌즈(12a)와 물체(OB) 사이에 배치되며, 제1광원(11a)으로부터 조사되는 광의 발산각 및 조사영역을 제어하는 기능을 수행한다. 또한, 제2홀로그래픽 소자(13b)는 제2광원(11b)과 물체(OB) 사이, 또는 제2렌즈(12b)와 물체(OB) 사이에 배치되며, 제2광원(11b)으로부터 조사되는 광의 발산각 및 조사영역을 제어하는 기능을 수행한다.
한편, 제1 및 제2렌즈(12a, 12b)는 필수적인 것은 아니어서, 제1 및 제2홀로그래픽 소자(13a, 13b)에 의해 조도 균일도가 확보되는 경우에는 생략될 수도 있다.
제1 및 제2홀로그래픽 소자(13a, 13b)는 CGH 방식으로 제조될 수 있다.
제1 및 제2홀로그래픽 소자(13a, 13b)는 컴퓨터에 의해 계산된 간섭패턴을 기록매질에 기록하여 형성되며, 간섭패턴이 기록되는 기록매질은 포토폴리머, UV 포토폴리머, 포토레지스트, 실버 팔라이드 에멀젼, 중크롬산 젤라틴, 포토그래픽 에멀젼, 포토써모플라스틱, 광회절 재료 등 감광재료가 사용될 수 있다.
제1 및 제2홀로그래픽 소자(13a, 13b)는 체적 홀로그래픽 소자 또는 표면 홀로그래픽 소자일 수 있다.
제1 및 제2홀로그래픽 소자(13a, 13b)에 기록되는 간섭패턴은, 제1광원(11a) 및 제2광원(11b)에 의해 조사된 광이 물체(OB)의 서로 다른 영역에 조사되도록 형성될 수 있다.
예를 들어, 제1광원(11a)에서 출사되는 광이 조사되는 영역과, 제2광원(11b)에서 출사되는 광이 조사되는 영역이, 서로 센서부(22)의 한 셀에 매칭되는 영역만큼 차이가 나도록 제1홀로그래픽 소자(13a)와 제2홀로그래픽 소자(13b)의 간섭패턴이 형성될 수 있다.
제어부(15)는 기 설정된 프레임(frame)주기를 토대로 제1 및 제2광원(11a, 11b)의 온/오프를 제어할 수 있다. 도 7을 예로들면, 제어부(15)는 홀수번째 프레임주기(T1)에 동기화하여 제1광원(11a)이 발광하고, 짝수번째 프레임주기(T2)에 동기화하여 제2광원(11b)이 발광하도록 제1 및 제2광원(11a, 11b)의 온/오프를 제어할 수 있다.
이에 따라, 매 프레임주기마다 물체(OB)로 광을 조사하는 광원이 스위칭되고, 제1 및 제2홀로그래픽 소자(13a, 13b)에 의해 광이 조사되는 영역 또한 광원의 스위칭에 대응하여 스위칭될 수 있다.
깊이 센서 모듈(10)의 수광부는 수광렌즈(21) 및 센서부(22)를 포함할 수 있다.
수광렌즈(21)는 물체(OB)와 센서부(22) 사이에 배치되며, 물체(OB)측으로부터 반사되는 반사광을 수광하여 센서부(22)로 입사시키는 기능을 수행한다.
센서부(22)는 복수의 셀로 이루어지며, 각 셀은 프레임을 구성하는 각 픽셀(pixel)에 대응될 수 있다. 센서부(22)는 셀 단위로 광을 수광하며, 셀 단위로 영상신호를 출력할 수 있다.
센서부(22)를 구성하는 각 셀은, 이로 한정되는 것은 아니나, MOS, CCD 등을 포함할 수 있다.
센서부(22)는 기 설정된 프레임주기에 동기화하여 반사광을 수광하고, 이를 영상신호로 변환하여 출력할 수 있다.
매 프레임주기마다 물체(OB)로 광을 조사하는 광원이 스위칭됨에 따라, 센서부(22)에 상이 맺히는 위치 또한 매 프레임주기마다 스위칭될 수 있다. 즉, 광원의 스위칭으로, 홀수번째 프레임주기에서의 광 조사영역과 짝수번째 프레임주기에서의 광 조사영역이 서로 다르며, 이로 인해 홀수번째 프레임주기에 센서부(22)에 맺히는 상과 짝수번째 프레임주기에 센서부(22)에 맺히는 상은 약간의 위치 차이가 발생할 수 있다. 예를 들어, 홀수번째 프레임주기에 센서부(22)에 맺히는 상은, 짝수번째 프레임주기에 센서부(22)에 맺히는 상에 비해, 한 셀만큼 위/아래로 이동하여 맺힐 수 있다.
신호처리부(31)는 프레임주기에 대응하여 센서부(22)로부터 출력되는 영상신호를 프레임으로 변환하여 출력할 수 있다.
도 7을 예로 들면, 신호처리부(31)는 매 프레임주기(T1, T2)마다 영상신호를 프레임(5a, 5b)으로 변환하여 출력하며, 홀수번째 프레임주기(T1)와 짝수번째 프레임주기(T2)에 각각 동기화하여 홀수 프레임(5a)과 짝수 프레임(5b)을 출력할 수 있다.
신호처리부(31)는 센서부(22)의 각 셀을 통해 수광한 광과 제1 및 제2광원(11a, 11b)에 의해 조사된 광과의 위상차를 토대로 각 셀 즉, 각 픽셀에 대응하는 깊이정보를 산출할 수도 있다. 산출한 깊이정보는 프레임을 구성하는 각 픽셀에 대응하여 저장된다.
디인터레이서(32)는 신호처리부(31)로부터 홀수 프레임과 짝수 프레임을 각각 수신하고, 두 프레임을 결합하여 하나의 깊이 영상을 생성할 수 있다.
디인터레이서(32)는 도 4에 도시된 바와 같이, 신호처리부(31)에서 출력되는 홀수 프레임과 짝수 프레임을 행 단위로 번갈아가며 삽입함으로써, 해상도가 센서부(22)의 해상도보다 2배로 증가한 깊이 영상을 생성할 수 있다.
도 8은 본 발명의 다른 실시 예에 따른 3차원 영상 카메라에서 깊이 영상을 획득하는 방법을 도시한 흐름도이다.
도 8을 참조하면, 깊이 센서 모듈(10)은 홀수번째 프레임주기에 동기화하여 광을 조사하도록 제1광원(11a)을 제어한다(S201).
상기 S201 단계에서, 제1광원(11a)에서 조사된 광은 제1홀로그래픽 소자(13a)에 의해 조사 영역이 제어될 수 있다.
제1광원(11a)으로부터 조사된 광이 물체로부터 반사되어 센서부(22)로 입사함에 따라, 센서부(22)는 이에 대응하는 영상신호를 각 픽셀 단위로 생성한다. 또한, 신호처리부(31)는 센서부(22)로부터 출력되는 영상신호를 신호처리하여 홀수 프레임을 생성한다(S202).
다음으로, 깊이 센서 모듈(10)은 짝수번째 프레임주기에 동기화하여 광을 조사하도록 제2광원(11b)을 제어한다(S203).
상기 S203 단계에서, 제2광원(11b)에서 조사된 광은 제2홀로그래픽 소자(13b)에 의해 상기 S201 단계에서의 조사영역으로부터 위 또는 아래 방향으로 이동하여 조사될 수 있다.
제2광원(11b)으로부터 조사된 광이 물체로부터 반사되어 센서부(22)로 입사함에 따라, 센서부(22)는 이에 대응하는 영상신호를 각 픽셀 단위로 생성한다. 또한, 신호처리부(31)는 센서부(22)로부터 출력되는 영상신호를 신호처리하여 짝수 프레임을 생성한다(S204).
광원(11)으로부터 조사된 광이 물체로부터 반사되어 센서부(22)로 입사함에 따라, 센서부(22)는 이에 대응하는 영상신호를 각 픽셀 단위로 생성한다. 또한, 신호처리부(31)는 센서부(22)로부터 출력되는 영상신호를 신호처리하여 짝수 프레임을 생성한다(S204).
디인터레이서(32)는 프레임을 구성하는 픽셀 어레이의 행 단위로 홀수 프레임과 짝수 프레임을 결합하여 깊이 영상을 생성한다(S205).
상기 S106 단계에서, 디인터레이서(32)는 홀수 프레임과 짝수 프레임의 픽셀 행을 순차적으로 교차 결합함으로써 깊이 영상을 생성할 수 있다.
본 발명의 실시 예에 따르면, 홀로그래픽 소자를 사용하여 홀수 프레임주기와 짝수 프레임주기의 광원의 조사영역을 다르게 조절하고, 이에 따라 얻어지는 홀수 프레임과 짝수 프레임을 결합하여 하나의 깊이 영상을 생성함으로써 깊이 영상의 해상도를 향상시키는 효과가 있다.
또한, 홀로그래픽 소자를 이용하여 광 발산각을 조절함으로써, 광효율을 향상시키는 효과가 있다.
본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field-programmable gate array) 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 기록 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
상기에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (14)

  1. 물체로 광을 조사하는 광원,
    상기 광원과 상기 물체 사이에 배치되며, 상기 광원의 조사영역을 조절하는 홀로그래픽 소자,
    제1 및 제2프레임주기에서의 상기 조사영역이 서로 다르도록, 상기 홀로그래픽 소자를 구동하는 액추에이터(actuator),
    상기 물체에 의해 반사되는 반사광을 수광하는 수광렌즈, 그리고
    상기 수광렌즈를 통해 상기 반사광을 수광하며, 상기 제1 및 제2프레임주기 각각에 동기화하여 제1 및 제2영상신호를 출력하는 센서부
    를 포함하는 센서 모듈.
  2. 제1항에 있어서,
    상기 액추에이터는 상기 제1 및 제2프레임주기에서의 상기 조사영역이 다르도록 상기 홀로그래픽 소자의 위치 또는 기울기를 조절하는 센서 모듈.
  3. 제1항에 있어서,
    상기 제2프레임주기에서의 조사영역은 상기 제1프레임주기에서의 조사영역보다, 상기 센서부를 구성하는 하나의 셀에 대응하는 영역만큼 위 또는 아래로 이동하는 센서 모듈.
  4. 제1항에 있어서,
    상기 광원과 상기 홀로그래픽 소자 사이에 배치되는 렌즈를 더 포함하는 센서 모듈.
  5. 제1항에 있어서,
    상기 광원은 레이저 또는 레이저 다이오드를 포함하는 센서 모듈.
  6. 서로 이격 배치되며, 물체로 광을 조사하는 제1 및 제2광원,
    상기 제1 및 제2광원과 상기 물체 사이에 각각 배치되며, 상기 제1 및 제2광원의 조사영역이 서로 다르도록, 상기 제1 및 제2광원의 조사영역을 조절하는 제1 및 제2홀로그래픽 소자,
    제1프레임주기에는 상기 제1광원이 발광하고, 제2프레임주기에는 상기 제2광원이 발광하도록, 상기 제1 및 제2광원의 점등을 제어하는 제어부,
    상기 물체에 의해 반사되는 반사광을 수광하는 수광렌즈, 그리고
    상기 수광렌즈를 통해 상기 반사광을 수광하며, 상기 제1 및 제2프레임주기 각각에 동기화하여 제1 및 제2영상신호를 출력하는 센서부
    를 포함하는 센서 모듈.
  7. 제6항에 있어서,
    상기 제1광원의 조사영역은 상기 제2광원의 조사영역에 비해, 상기 센서부를 구성하는 하나의 셀에 대응하는 영역만큼 위 또는 아래로 이동하는 센서 모듈.
  8. 제6항에 있어서,
    상기 제1 및 제2광원은 레이저 또는 레이저 다이오드를 포함하는 센서 모듈.
  9. 물체로 광을 조사하는 광원,
    상기 광원과 상기 물체 사이에 배치되며, 상기 광원의 조사영역을 조절하는 홀로그래픽 소자,
    제1 및 제2프레임주기에서의 상기 조사영역이 서로 다르도록, 상기 홀로그래픽 소자를 구동하는 액추에이터,
    상기 물체에 의해 반사되는 반사광을 수광하는 수광렌즈,
    상기 수광렌즈를 통해 상기 반사광을 수광하며, 상기 제1 및 제2프레임주기 각각에 동기화하여 제1 및 제2영상신호를 출력하는 센서부,
    상기 제1 및 제2영상신호를 신호처리하여 제1 및 제2프레임을 생성하는 신호처리부, 그리고
    상기 제1 및 제2프레임을 결합하여 깊이 영상을 생성하는 디인터레이서(De-interlacer)
    를 포함하는 3차원 영상 카메라.
  10. 제9항에 있어서,
    상기 디인터레이서는 행(line) 단위로 상기 제1 및 제2프레임을 구성하는 픽셀들을 교차 삽입하여 상기 깊이 영상을 생성하는 3차원 영상 카메라.
  11. 제9항에 있어서,
    상기 신호처리부는 상기 광원으로부터 조사되는 광과 상기 반사광 간의 위상차를 토대로 깊이정보를 산출하는 3차원 영상 카메라.
  12. 서로 이격 배치되며, 물체로 광을 조사하는 제1 및 제2광원,
    상기 제1 및 제2의 광원과 상기 물체 사이에 각각 배치되며, 상기 제1 및 제2광원의 조사영역이 서로 다르도록, 상기 제1 및 제2광원의 조사영역을 조절하는 제1 및 제2홀로그래픽 소자,
    제1프레임주기에는 상기 제1광원이 발광하고, 제2프레임주기에는 상기 제2광원이 발광하도록, 상기 제1 및 제2광원의 점등을 제어하는 제어부,
    상기 물체에 의해 반사되는 반사광을 수광하는 수광렌즈,
    상기 수광렌즈를 통해 상기 반사광을 수광하며, 상기 제1 및 제2프레임주기 각각에 동기화하여 제1 및 제2영상신호를 출력하는 센서부,
    상기 제1 및 제2영상신호를 신호처리하여 제1 및 제2프레임을 생성하는 신호처리부, 그리고
    상기 제1 및 제2프레임을 결합하여 깊이 영상을 생성하는 디인터레이서
    를 포함하는 3차원 영상 카메라.
  13. 제12항에 있어서,
    상기 디인터레이서는 행 단위로 상기 제1 및 제2프레임을 구성하는 픽셀들을 교차 삽입하여 상기 깊이 영상을 생성하는 3차원 영상 카메라.
  14. 제12항에 있어서,
    상기 신호처리부는 상기 제1 및 제2광원으로부터 조사되는 광과 상기 반사광 간의 위상차를 토대로 깊이정보를 산출하는 3차원 영상 카메라.
KR1020140011596A 2014-01-29 2014-01-29 센서 모듈 및 이를 포함하는 3차원 영상 KR102117561B1 (ko)

Priority Applications (12)

Application Number Priority Date Filing Date Title
KR1020140011596A KR102117561B1 (ko) 2014-01-29 2014-01-29 센서 모듈 및 이를 포함하는 3차원 영상
PCT/KR2015/000911 WO2015115797A1 (ko) 2014-01-29 2015-01-28 깊이 정보 추출 장치 및 방법
EP15743813.6A EP3101382A4 (en) 2014-01-29 2015-01-28 Device for extracting depth information and method thereof
US15/115,159 US10338221B2 (en) 2014-01-29 2015-01-28 Device for extracting depth information and method thereof
CN201580006696.1A CN106030239B (zh) 2014-01-29 2015-01-28 用于提取深度信息的装置及方法
JP2016549148A JP6693880B2 (ja) 2014-01-29 2015-01-28 深さ情報抽出装置および方法
CN202010940599.2A CN112180397B (zh) 2014-01-29 2015-01-28 用于提取深度信息的装置及方法
US16/424,284 US10802148B2 (en) 2014-01-29 2019-05-28 Device for extracting depth information and method thereof
JP2020073440A JP6910499B2 (ja) 2014-01-29 2020-04-16 深さ情報抽出装置および方法
KR1020200063037A KR102284673B1 (ko) 2014-01-29 2020-05-26 센서 모듈 및 이를 포함하는 3차원 영상
US17/016,061 US11680789B2 (en) 2014-01-29 2020-09-09 Device for extracting depth information and method thereof
JP2021111252A JP7237114B2 (ja) 2014-01-29 2021-07-05 深さ情報抽出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140011596A KR102117561B1 (ko) 2014-01-29 2014-01-29 센서 모듈 및 이를 포함하는 3차원 영상

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020200063037A Division KR102284673B1 (ko) 2014-01-29 2020-05-26 센서 모듈 및 이를 포함하는 3차원 영상

Publications (2)

Publication Number Publication Date
KR20150090685A true KR20150090685A (ko) 2015-08-06
KR102117561B1 KR102117561B1 (ko) 2020-06-01

Family

ID=53885356

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140011596A KR102117561B1 (ko) 2014-01-29 2014-01-29 센서 모듈 및 이를 포함하는 3차원 영상

Country Status (1)

Country Link
KR (1) KR102117561B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180103393A (ko) * 2017-03-09 2018-09-19 엘지이노텍 주식회사 거리 정보 추출 장치 및 광학 기기
KR20190062923A (ko) * 2017-11-29 2019-06-07 에이테크솔루션(주) TOF(Time-Of-Flight) 카메라를 이용한 거리 측정 장치 및 방법
WO2020036309A1 (ko) * 2018-08-17 2020-02-20 삼성전자 주식회사 심도센싱장치 및 심도센싱장치의 동작 방법
CN112615979A (zh) * 2020-12-07 2021-04-06 江西欧迈斯微电子有限公司 图像获取方法、图像获取装置、电子装置和存储介质
CN113841394A (zh) * 2019-05-13 2021-12-24 Lg伊诺特有限公司 相机模块

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021246555A1 (ko) * 2020-06-04 2021-12-09 엘지전자 주식회사 카메라 장치, 및 이를 구비한 전자기기

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000333204A (ja) * 1999-05-20 2000-11-30 Nippon Telegr & Teleph Corp <Ntt> 三次元表示システム
KR20100081197A (ko) * 2009-01-05 2010-07-14 엘지이노텍 주식회사 촬영 장치 및 이의 영상 제어방법
KR20100122988A (ko) * 2009-05-14 2010-11-24 삼성전자주식회사 3차원 영상 처리 장치 및 그 방법
KR20130098042A (ko) * 2012-02-27 2013-09-04 삼성전자주식회사 깊이 정보 생성 장치 및 이를 포함하는 촬영 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000333204A (ja) * 1999-05-20 2000-11-30 Nippon Telegr & Teleph Corp <Ntt> 三次元表示システム
KR20100081197A (ko) * 2009-01-05 2010-07-14 엘지이노텍 주식회사 촬영 장치 및 이의 영상 제어방법
KR20100122988A (ko) * 2009-05-14 2010-11-24 삼성전자주식회사 3차원 영상 처리 장치 및 그 방법
KR20130098042A (ko) * 2012-02-27 2013-09-04 삼성전자주식회사 깊이 정보 생성 장치 및 이를 포함하는 촬영 장치

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180103393A (ko) * 2017-03-09 2018-09-19 엘지이노텍 주식회사 거리 정보 추출 장치 및 광학 기기
KR20190062923A (ko) * 2017-11-29 2019-06-07 에이테크솔루션(주) TOF(Time-Of-Flight) 카메라를 이용한 거리 측정 장치 및 방법
WO2020036309A1 (ko) * 2018-08-17 2020-02-20 삼성전자 주식회사 심도센싱장치 및 심도센싱장치의 동작 방법
KR20200020422A (ko) * 2018-08-17 2020-02-26 삼성전자주식회사 심도센싱장치 및 심도센싱장치의 동작 방법
US11610323B2 (en) 2018-08-17 2023-03-21 Samsung Electronics Co., Ltd. Depth sensing apparatus and operating method of depth sensing apparatus
CN113841394A (zh) * 2019-05-13 2021-12-24 Lg伊诺特有限公司 相机模块
CN113841394B (zh) * 2019-05-13 2024-04-19 Lg伊诺特有限公司 相机模块
CN112615979A (zh) * 2020-12-07 2021-04-06 江西欧迈斯微电子有限公司 图像获取方法、图像获取装置、电子装置和存储介质

Also Published As

Publication number Publication date
KR102117561B1 (ko) 2020-06-01

Similar Documents

Publication Publication Date Title
JP7237114B2 (ja) 深さ情報抽出装置
KR20150090685A (ko) 센서 모듈 및 이를 포함하는 3차원 영상
CN111295624B (zh) 全息光检测和测距
KR102696783B1 (ko) 센서 모듈 및 이를 포함하는 3차원 영상
CN106997603B (zh) 基于vcsel阵列光源的深度相机
US9036246B2 (en) 3-dimensional image display apparatus
JP6784295B2 (ja) 距離測定システム、距離測定方法およびプログラム
JP6386194B2 (ja) ステレオカメラと構造化光とを使用したヘッドマウントディスプレイでの深度マッピング
KR20190011269A (ko) 차량 헤드라이트
CN110596677A (zh) 基于多空间光调制器拼接激光雷达扫描装置及系统
KR102257712B1 (ko) 홀로그램 광 검출 및 측량
CN211627812U (zh) 基于多空间光调制器拼接激光雷达扫描装置
CN110750041A (zh) 基于空间光调制器的光场三维成像装置及系统
KR101429493B1 (ko) 디지털 이미지에 기반을 둔 홀로그래픽 스테레오그램의 마스터 홀로그램을 제작하는 시스템
KR20200137227A (ko) 카메라 모듈
CN112567286A (zh) 具有增加的均匀性的扫描显示器
KR20230027863A (ko) 카메라 모듈
GB2586552A (en) Holographic light detection and ranging
JP4449592B2 (ja) ホログラフィック記録装置
KR20150063843A (ko) 레이저 스캐너 장치 및 이를 구비하는 카메라 장치

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant