KR20210138451A - 카메라 장치 - Google Patents

카메라 장치 Download PDF

Info

Publication number
KR20210138451A
KR20210138451A KR1020200056780A KR20200056780A KR20210138451A KR 20210138451 A KR20210138451 A KR 20210138451A KR 1020200056780 A KR1020200056780 A KR 1020200056780A KR 20200056780 A KR20200056780 A KR 20200056780A KR 20210138451 A KR20210138451 A KR 20210138451A
Authority
KR
South Korea
Prior art keywords
light
light emitting
optical member
light source
depth image
Prior art date
Application number
KR1020200056780A
Other languages
English (en)
Inventor
김상우
김대근
이창혁
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Priority to KR1020200056780A priority Critical patent/KR20210138451A/ko
Publication of KR20210138451A publication Critical patent/KR20210138451A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H04N5/2256—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명의 실시예에 따른 카메라 장치는 면 패턴 및 상기 면 패턴과 중첩하는 도트 패턴 을 포함하는 패턴광을 제1 객체로 출력하는 발광부; 상기 제1 객체로부터 반사된 상기 패턴광을 수광하여 제1 신호를 생성하는 제1 수광부; 그리고 상기 제1 신호를 수신하는 처리부;를 포함하며, 상기 처리부는, 비행시간 기반의 제1 깊이영상; 및 상기 패턴광에 대응하는 픽셀영역의 삼각측량(triangulation) 기반의 제2 깊이영상을 생성하고, 상기 제2 깊이영상을 통해 상기 제1 깊이영상의 픽셀값을 보정하여 제3 깊이 영상을 생성한다.

Description

카메라 장치{CAMERA DEVICE}
실시 예는 카메라 장치에 관한 것이다.
3 차원 콘텐츠는 게임, 문화뿐만 아니라 교육, 제조, 자율주행 등 많은 분야에서 적용되고 있으며, 3차원 콘텐츠를 획득하기 위하여 깊이 정보(Depth Map)가 필요하다. 깊이 정보는 공간 상의 거리를 나타내는 정보이며, 2차원 영상의 한 지점에 대하여 다른 지점의 원근 정보를 나타낸다.
깊이 정보를 획득하는 방법으로, IR(Infrared) 구조광을 객체에 투사하는 방식, 스테레오 카메라를 이용하는 방식, TOF(Time of Flight) 방식 등이 이용되고 있다. TOF 방식에 따르면, 비행 시간, 즉 빛을 쏘아서 반사되어 오는 시간을 측정함으로써 물체와의 거리를 계산한다. ToF 방식의 가장 큰 장점은 3차원 공간에 대한 거리정보를 실시간으로 빠르게 제공한다는 점에 있다. 또한 사용자가 별도의 알고리즘 적용이나 하드웨어적 보정을 하지 않고도 정확한 거리 정보를 얻을 수 있다. 또한 매우 가까운 피사체를 측정하거나 움직이는 피사체를 측정하여도 정확한 깊이 정보를 획득할 수 있다.
다만, ToF 방식의 경우 정반사 성질을 가진 금속이나 거울 등의 물체 측정시 깊이 정보가 측정되지 않거나 부정확한 깊이 정보가 생성되는 문제점이 있다.
실시 예는 높은 정밀도의 깊이 정보를 제공하는 카메라 장치를 제공할 수 있다.
실시 예는 객체의 광특성 정보를 제공하는 카메라 장치를 제공할 수 있다.
실시 예는 다른 물체에 의해 가려진 객체에 대한 거리 정보를 제공하는 카메라 장치를 제공할 수 있다.
실시 예에서 해결하고자 하는 과제는 이에 한정되는 것은 아니며, 아래에서 설명하는 과제의 해결수단이나 실시 형태로부터 파악될 수 있는 목적이나 효과도 포함된다고 할 것이다.
본 발명의 실시예에 따른 카메라 장치는 면 패턴 및 상기 면 패턴과 중첩하는 도트 패턴 을 포함하는 패턴광을 제1 객체로 출력하는 발광부; 상기 제1 객체로부터 반사된 상기 패턴광을 수광하여 제1 신호를 생성하는 제1 수광부; 그리고 상기 제1 신호를 수신하는 처리부 ;를 포함하며, 상기 처리부는, 비행시간 기반의 제1 깊이영상; 및 상기 패턴광에 대응하는 픽셀영역의 삼각측량(triangulation) 기반의 제2 깊이영상을 생성하고, 상기 제2 깊이영상을 통해 상기 제1 깊이영상의 픽셀값을 보정하여 제3 깊이 영상을 생성한다.
상기 발광부는, 상기 도트 패턴에 대응하는 발광영역에서 빛을 출력하지 않을 수 있다.
상기 발광부는, 광원; 및 상기 광원의 상단에 배치되는 제1 광학부재 ;를 포함하고, 상기 제1 광학부재는, 상기 도트 패턴에 대응하여 빛을 투과시키지 않는 제1 광학영역 ; 및 상기 면 패턴에 대응하여 빛을 투과시키는 제2 광학영역;을 포함할 수 있다.
광원;을 포함하고, 상기 광원은, 제1 발광영역 및 제2 발광영역을 포함하고, 상기 제1 발광영역의 상단에는 상기 제1 발광영역으로부터 출력된 빛을 산란시키는 제2 광학부재 가 배치되고, 상기 제2 발광영역의 상단에는 제1 광학부재가 배치되며, 상기 제1 광학부재는, 소정의 패턴에 따라 배치되며 상기 제2 발광영역으로부터 출력된 빛을 투과시키지 않는 제1 광학영역; 및 상기 제2 발광영역으로부터 출력된 빛을 투과시키는 제2 광학영역;을 포함할 수 있다.
상기 발광부는, 제1 발광영역에 대응하여 면광원을 방출하고 상기 제2 발광영역에 대응하여 점광원을 방출하며, 상기 면광원과 점광원이 오버랩된 도트 패턴을 포함하는 상기 패턴광을 생성할 수 있다.
상기 발광부는, 서로 다른 패키지로 구분되는 제1 발광부 및 제2 발광부를 포함하고, 상기 제1 발광부는, 제1 광원; 및 상기 제1 광원의 상단에 배치되어 상기 제1 광원으로부터 출력된 빛을 산란시키는 제2 광학부재를 포함하고, 상기 제2 발광부는, 제2 광원; 및 상기 제2 광원의 상단에 배치되는 제1 광학부재를 포함하며, 상기 제1 광학부재는, 소정의 패턴에 따라 배치되며 상기 제2 광원으로부터 출력된 빛을 투과시키지 않는 제1 광학영역; 및 상기 제2 광원으로부터 출력된 빛을 투과시키는 제2 광학영역;을 포함할 수 있다.
상기 발광부는, 제1 발광부를 통해 면광원을 방출하고 상기 제2 발광부를 통해 점광원을 방출하며, 상기 면광원과 점광원이 오버랩된 도트 패턴을 포함하는 상기 패턴광을 생성할 수 있다.
상기 제1 신호는, 제1-1 신호 및 상기 제1-1 신호보다 늦게 생성된 제1-2 신호를 포함하고, 상기 처리부는, 상기 제1-1 신호 및 상기 제1-2 신호 중 적어도 하나를 이용하여 상기 제1 깊이 영상을 생성할 수 있다.
상기 처리부는, 상기 제1-1 신호를 통해 생성된 제1 IR 영상의 상기 도트 패턴에 대응하는 픽셀영역과 상기 제1-2 신호를 통해 생성된 제2 IR 영상의 상기 도트 패턴에 대응하는 픽셀영역 사이의 거리값을 산출하고, 상기 거리값을 이용한 삼각측량에 기초하여 제2 깊이 영상을 생성할 수 있다.
상기 처리부는, 상기 제1 깊이영상과 상기 제2 깊이영상 사이에 대응하는 픽셀의 차이값을 계산하고, 상기 대응하는 픽셀의 차이값이 임계값보다 작은 제1 픽셀에는 상기 제1 깊이영상의 픽셀값을 배치하고, 상기 대응하는 픽셀값의 차이값이 임계값보다 크거나 같은 제2 픽셀에는 상기 제2 깊이영상의 픽셀값을 배치하여 상기 제3 깊이영상을 생성할 수 있다.
상기 처리부는, 상기 대응하는 픽셀의 차이값이 임계값보다 크거나 같으면, 상기 제2 픽셀에 대응하는 객체를 정반사(specular reflection)를 일으키는 물질로 판단할 수 있다.
상기 처리부는, 상기 대응하는 픽셀의 차이값이 임계값보다 크거나 같으면, 상기 제2 픽셀에 대응하는 객체의 면 및 상기 면의 법선 을 산출하고, 상기 제2 픽셀에 대응하는 제1 깊이 영상의 픽셀값과 상기 산출된 법선에 기초하여 제2 객체를 검출할 수 있다.
객체로부터 반사된 상기 빛을 수광하여 제2 신호를 생성하는 제2 수광부를 포함할 수 있다.
상기 제1 수광부는, ToF 이미지 센서를 포함하고, 상기 제2 수광부는, IR 이미지 센서를 포함할 수 있다.
상기 처리부는, 상기 제1 신호를 통해 생성된 제3 IR 영상의 제2 픽셀영역과 상기 제2 신호를 통해 생성된 제4 IR 영상의 제2 픽셀 영역에서 서로 대응하는 픽셀의 사이의 거리값을 산출하고, 상기 산출된 거리값을 이용한 삼각측량에 기초하여 제2 깊이영상을 생성할 수 있다.
실시 예에 따르면, 높은 정확도의 깊이 정보를 제공할 수 있다.
객체의 광특성 정보를 제공할 수 있다.
다른 객체에 의해 가려진 객체에 대한 위치 정보를 제공할 수 있다.
본 발명의 다양하면서도 유익한 장점과 효과는 상술한 내용에 한정되지 않으며, 본 발명의 구체적인 실시형태를 설명하는 과정에서 보다 쉽게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 카메라 장치의 구성을 나타낸 도면이다.
도 2는 본 발명의 제1 실시예에 따른 발광부를 설명하기 위한 도면이다.
도 3은 본 발명의 제2 실시예에 따른 발광부를 개략적으로 도시한 도면이다.
도 4는 본 발명의 제3 실시예에 따른 발광부를 개략적으로 도시한 도면이다.
도 5는 본 발명의 제1 내지 3 실시예에 따른 발광부에 의해 출력된 패턴광을 설명하기 위한 도면이다.
도 6은 본 발명의 제4 실시예에 따른 발광부를 개략적으로 도시한 도면이다.
도 7은 본 발명의 제5 실시예에 따른 발광부를 개략적으로 도시한 도면이다.
도 8은 본 발명의 제6 실시예에 따른 발광부를 개략적으로 도시한 도면이다.
도 9는 본 발명의 실시예에 따른 제4 내지 6 발광부에 의해 출력된 패턴광을 설명하기 위한 도면이다.
도 10은 본 발명의 제7 실시예에 따른 수광부를 설명하기 위한 도면이다.
도 11은 본 발명의 제8 실시예에 따른 수광부를 설명하기 위한 도면이다.
도 12는 본 발명의 제9 실시예에 따른 수광부를 설명하기 위한 도면이다.
도 13은 본 발명의 일 실시예에 따른 처리부의 프로세스를 설명하기 위한 도면이다.
도 14는 본 발명의 다른 실시예에 따른 처리부의 프로세스를 설명하기 위한 도면이다.
도 15a 내지 도 15d는 본 발명의 실시예에 따른 제3 깊이영상의 생성과정을 설명하기 위한 도면이다.
도 16a 내지 도 16c는 본 발명의 실시예에 따른 객체의 위치 검출 과정을 설명하기 위한 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.
다만, 본 발명의 기술 사상은 설명되는 일부 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 기술 사상 범위 내에서라면, 실시 예들간 그 구성 요소들 중 하나 이상을 선택적으로 결합, 치환하여 사용할 수 있다.
또한, 본 발명의 실시예에서 사용되는 용어(기술 및 과학적 용어를 포함)는, 명백하게 특별히 정의되어 기술되지 않는 한, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 일반적으로 이해될 수 있는 의미로 해석될 수 있으며, 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미를 고려하여 그 의미를 해석할 수 있을 것이다.
또한, 본 발명의 실시예에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다.
본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함할 수 있고, "A 및(와) B, C 중 적어도 하나(또는 한 개 이상)"로 기재되는 경우 A, B, C로 조합할 수 있는 모든 조합 중 하나 이상을 포함할 수 있다.
또한, 본 발명의 실시 예의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다.
이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등으로 한정되지 않는다.
그리고, 어떤 구성 요소가 다른 구성요소에 '연결', '결합' 또는 '접속'된다고 기재된 경우, 그 구성 요소는 그 다른 구성 요소에 직접적으로 연결, 결합 또는 접속되는 경우뿐만 아니라, 그 구성 요소와 그 다른 구성 요소 사이에 있는 또 다른 구성 요소로 인해 '연결', '결합' 또는 '접속' 되는 경우도 포함할 수 있다.
또한, 각 구성 요소의 "상(위) 또는 하(아래)"에 형성 또는 배치되는 것으로 기재되는 경우, 상(위) 또는 하(아래)는 두 개의 구성 요소들이 서로 직접 접촉되는 경우뿐만 아니라 하나 이상의 또 다른 구성 요소가 두 개의 구성 요소들 사이에 형성 또는 배치되는 경우도 포함한다. 또한, "상(위) 또는 하(아래)"으로 표현되는 경우 하나의 구성 요소를 기준으로 위쪽 방향뿐만 아니라 아래쪽 방향의 의미도 포함할 수 있다.
도 1은 본 발명의 실시예에 따른 카메라 장치의 구성을 나타낸 도면이다.
도 1을 참조하면, 본 발명의 실시예에 따른 카메라 장치(10)는 발광부(100), 수광부(200) 및 처리부(300)를 포함할 수 있다.
발광부(100)는 객체를 향해 빛을 출력한다. 발광부(100)는 회로기판 및 광원을 포함한다. 발광부(100)는 복수의 광학부재 중 적어도 하나를 포함할 수 있다.
회로기판의 일면에는 광원이 배치될 수 있다. 회로기판에는 광원을 구동하기 위한 전기소자들이 배치될 수 있으며, 광원 및 전기소자들을 연결할 수 있는 회로가 인쇄될 수 있다. 회로광원과 전기적으로 연결되며 회로기판은 인쇄회로기판(Printed Circuit Board, PCB)을 포함할 수 있다.
광원은 빛을 생성하여 방출한다. 광원은 회로기판과 접촉하는 하부면에 대향하는 상부면으로 광을 방출할 수 있다. 광원은 복수의 층(layer)이 적층된 구조로서, 전류가 인가되면 복수의 층에서 광이 생성될 수 있다. 생성된 광은 광원 내부의 애퍼처를 통과한 후 상부면에 배치된 복수의 개구부를 통해 출력될 수 있다. 애퍼처는 복수일 수 있고, 각각의 애퍼처는 복수의 개구부 각각에 대응할 수 있다. 따라서, 애퍼처의 개수와 개구부의 개수는 동일할 수 있다. 실시예에 따르면, 광원은 수직 캐비티 표면 광방출 레이저(vertical-cavity surface-emitting laser, VCSEL) 어레이(array)일 수 있다.
일 실시예에 따르면, 광원은 부분적으로 구동될 수 있다. 광원은 복수의 애퍼처 중 일부 애퍼처에서 광이 방출되지 않도록 구동될 수 있다. 예를 들어, 광원은 일부 애퍼처에 대응하는 개구부가 형성되지 않을 수 있다. 광원은 광이 방출되지 않도록 일부 애퍼처에 대응하는 개구부가 막혀있을 수 있다. 이 경우, 광원은 일부 애퍼처에서 광을 생성하나 외부로 방출하지 않을 수 있다. 다른 예로, 광원은 구동시 일부 애퍼처에 전력을 공급하지 않음으로써 광이 방출되지 않도록 구동될 수 있다.
제1 광학부재는 광원으로부터 방출된 빛 중 일부를 통과시키고 일부는 통과시키지 않을 수 있다. 제1 광학부재는 광원의 상단에 배치될 수 있다. 광원의 상단이란 광원이 빛을 방출하는 일면을 의미할 수 있다.
일 실시예로, 제1 광학부재는 소정의 패턴에 따라 배치되며 빛을 투과시키지 않는 제1 광학영역 및 빛을 투과시키는 제2 광학영역을 포함할 수 있다. 제1 광학부재는 빛을 통과시키는 스크린(screen)에 소정의 패턴으로 빛을 통과시키지 않는 마스크(mask)가 배치된 광학부재일 수 있다. 즉, 제1 광학부재는 스크린에서 면 패턴에 대응하는 부분에 마스크가 배치된 형상으로 구현될 수 있다. 마스크는 스크린의 일면에 부착되거나 스크린과 함께 형성될 수 있다. 소정의 패턴은 당업자에 의해 설계 변경이 가능하다. 일례로, 소정의 패턴은 제1 광학영역의 면적이 제2 광학영역의 면적보다 작게 형성되도록 설계될 수 있다. 제1 광학부재는 스크린에 도트 형상의 마스크가 규칙적 또는 불규칙적인 패턴으로 배치된 형상일 수 있다. 다른 예로, 소정의 패턴은 제1 광학영역의 면적이 제2 광학영역의 면적보다 크게 형성되도록 설계될 수 있다. 제1 광학부재는 도트 패턴의 홀이 복수로 형성된 마스크가 스크린에 배치된 형상일 수 있으며, 도트 형상의 홀은 규칙적 또는 불규칙적인 패턴으로 형성될 수 있다.
제2 광학부재는 빛을 산란시킬 수 있다. 제2 광학부재는 광원으로부터 방출된 빛을 산란시켜 방출할 수 있다. 제2 광학부재는 디퓨저일 수 있다. 제2 광학부재는 제1면과 제2면을 포함하는 플레이트 형태로 구현될 수 있다. 제2 광학부재의 제1면은 광원이 출력된 광을 입력받는 면일 수 있다. 제2 광학부재의 제1면에는 마이크로렌즈(micro lens)가 일정한 피치에 따라 배치된다. 이때, 마이크로 렌즈의 크기, 곡률, 굴절률, 피치의 크기 등에 따라 제1면을 통해 집광되는 광의 각도를 조절함으로써 입력되는 광을 산란시켜 제2면을 통해 출력한다. 마이크로 렌즈의 크기, 곡률, 굴절률, 피치의 크기는 본 발명의 실시예에 따른 카메라 모듈의 용도, 제2 광학부재 모듈과 광원 사이의 간격, 광원의 형태 및 종류 등을 고려하여 당업자에 의해 설계 변경이 가능하다. 제2 광학부재의 제2면은 제1면을 통해 입력된 광이 산란된 후 출력되는 면일 수 있다. 제2 광학부재의 제2면은 구면 또는 평면으로 구현될 수 있으며, 이는 당업자에 의해 설계 변경이 가능하다.
제3 광학부재는 빛을 복제하여 출력할 수 있다. 제3 광학부재는 회절 광학부재(Diffractive optical element) 일 수 있다. 제3 광학부재의 일면에는 특정한 주기 구조(periodic structures)가 형성되며, 해당 주기 구조에 의한 빛의 회절(diffraction)에 의해 빛이 복제될 수 있다. 제3 광학부재는 제1 광학부재의 제4 영역을 통과하며 형성된 도트광을 소정의 개수만큼 복제하여 출력할 수 있다.
제4 광학부재는 빛을 집광하여 출력한다. 일 실시예로, 제4 광학부재는 마이크로렌즈어레이(micro lens array) 일 수 있다. 마이크로렌즈어레이의 마이크로 렌즈는 제3 광학부재로부터 복제된 각각의 도트광에 대응하여 배치될 수 있으나, 이에 한정되지 않는다. 다른 실시예로, 제4 광학부재는 렌즈일 수 있다. 제4 광학부재는 콜리메이터 렌즈(Collimator Lens) 일 수 있다. 렌즈는 광원으로부터 출력된 광을 포커싱(focusing)하여 출력할 수 있다.
발광부(100)는 하나의 패키지(package)로 형성되거나, 두 개의 패키지(제1 발광부 및 제2 발광부)로 형성될 수 있다.
수광부(200)는 객체로부터 반사된 빛을 수광하여 신호를 생성한다. 수광부(200)는 회로기판, 센서, 필터 및 렌즈를 포함한다.
회로기판의 일면에는 센서가 배치될 수 있다. 회로기판에는 센서를 구동하기 위한 전기소자들이 배치될 수 있으며, 센서와 전기소자들을 전기적으로 연결할 수 있는 회로가 인쇄될 수 있다. 회로기판은 인쇄회로기판(Printed Circuit Board, PCB)을 포함할 수 있다. 회로기판은 발광부(100)의 회로기판과 동일한 기판일 수 있다.
센서는 회로기판에 배치될 수 있다. 센서는 적외선을 감지할 수 있다. 센서는 적외선 중 특정 파장의 광을 감지할 수 있다. 센서는 필터를 통과한 광을 감지할 수 있다. 센서는 광원의 파장 대역의 빛을 감지할 수 있다. 일 실시예로, 센서는 ToF(Time of Flight) 센서일 수 있다. ToF 센서는 광원으로부터 방출되어 피사체에 반사된 광을 센서가 감지하여 피사체의 3D 이미지 정보를 센싱할 수 있다. 일 실시예로, 센서는 IR(InfraRed) 센서일 수 있다. IR 센서는 적외선 광을 감지하여 2D 이미지 정보를 센싱할 수 있다.
렌즈는 수광된 빛을 집광할 수 있다. 렌즈는 배럴 내에 고정될 수 있다. 렌즈는 플라스틱 사출물일 수 있다. 렌즈는 플라스틱 사출에 의해 형성될 수 있다. 렌즈는 복수의 렌즈를 포함할 수 있다.
필터는 특정 파장 대의 광을 통과시키는 대역 통과 필터(band pass filter)일 수 있다. 필터는 적외선을 통과시킬 수 있다. 필터는 적외선 중 특정 파장의 광을 통과시킬 수 있다. 필터는 광원이 방출하는 빛의 파장 대역의 빛을 통과시킬 수 있다. 필터는 가시광선을 차단할 수 있다. 필터는 렌즈와 센서 사이에 배치될 수 있다.
수광부(200)는 하나이거나 복수일 수 있다. 수광부(200)가 1개로 구성될 경우, 센서는 ToF 센서일 수 있다. 수광부(200)가 2개로 구성될 경우, 제1 수광부의 센서는 ToF 센서이고, 제2 수광부의 센서는 IR 센서 또는 ToF 센서일 수 있다.
처리부(300)는 카메라 장치(10)에 배치될 수 있다. 처리부(300)는 연산 처리가 가능한 프로세서일 수 있다. 일예로, 처리부(300)는 카메라 장치(10)에 배치된 어플리케이션 프로세서(Application Processor, AP) 일 수 있다. 다른 예로, 처리부(300)는 카메라 장치(10)에 배치된 이미지 신호 프로세서(Image Signal Processor, ISP) 일 수 있다. 이외에도, 처리부(300)는 신호를 처리할 수 있는 다양한 칩 형태로 구현될 수도 있다. 처리부(300)는 데이터를 처리하고 저장하기 위한 메모리를 포함할 수 있다.
처리부(300)는 수광부(200)로부터 수신된 신호에 기초하여 영상을 생성할 수 있다. 처리부(300)는 수광부(200)의 센서로부터 전기신호를 수신하고, 전기신호에 기초하여 영상을 생성할 수 있다.
처리부(300)는 수광부(200)로부터 수신된 신호에 기초하여 3차원의 제1 깊이영상을 생성할 수 있다. 처리부(300)는 ToF 센서로부터 수신된 제1 신호에 기초하여 깊이영상을 생성할 수 있다.
처리부(300)는 수광부(200)로부터 수신된 신호에 기초하여 2차원의 IR 영상을 생성할 수 있다. 처리부(300)는 ToF 센서로부터 수신된 제1 신호에 기초하여 IR 영상을 생성할 수 있다. 처리부(300)는 IR 센서로부터 수신된 제2 신호에 기초하여 IR 영상을 생성할 수 있다.
처리부(300)는 IR 영상에 기초하여 제2 깊이영상을 생성할 수 있다. 처리부(300)는 IR 영상 내 특정 픽셀영역을 이용한 삼각측량(triangulation)에 기초하여 제2 깊이영상을 생성할 수 있다. 처리부(300)는 복수의 IR 영상에 기초하여 제2 깊이영상을 생성할 수 있다. 처리부(300)는 복수의 IR 영상 내 특정 픽셀영역을 이용한 삼각측량(triangulation)에 기초하여 제2 깊이영상을 생성할 수 있다.
처리부(300)는 제2 깊이영상을 통해 제1 깊이영상의 픽셀값을 보정하여 제3 깊이영상을 생성할 수 있다. 처리부(300)는 제1 깊이영상과 제2 깊이영상 사이에 대응하는 픽셀의 차이값을 계산할 수 있다. 처리부(300)는 대응하는 픽셀의 차이값이 임계값보다 작은 제1 픽셀에는 제1 깊이영상의 픽셀값을 배치하고, 대응하는 픽셀값의 차이값이 임계값보다 크거나 같은 제2 픽셀에는 제2 깊이영상의 픽셀값을 배치하여 제3 깊이영상을 생성할 수 있다.
처리부(300)는 객체의 특성을 판단할 수 있다. 처리부(300)는 객체의 광특성을 판단할 수 있다. 처리부(300)는 대응하는 픽셀의 차이값이 임계값보다 크거나 같으면, 제2 픽셀에 대응하는 객체를 정반사(specular reflection)를 일으키는 물질로 판단할 수 있다.
처리부(300)는 장애물에 가려진 객체를 검출할 수 있다. 처리부(300)는 영상 내 실상(real image)과 허상(virtual image)을 구분하여 제1 객체와 제2 객체를 구분할 수 있다. 처리부(300)는, 대응하는 픽셀의 차이값이 임계값보다 크거나 같으면, 제2 픽셀에 대응하는 객체의 곡면 및 곡면의 법선을 산출하고, 제2 픽셀에 대응하는 제1 깊이영상의 픽셀값과 산출된 법선에 기초하여 제2 객체를 검출할 수 있다.
도 2는 본 발명의 제1 실시예에 따른 발광부를 설명하기 위한 도면이다.
도 2의 (a)는 제1 실시예에 따른 발광부(100)의 평면도를 개략적으로 도시한다.
도 2의 (a)에서 각 셀은 하나의 발광소자 또는 발광 영역을 나타낸다. 음영이 표시된 셀(122)은 광원(120)에서 빛이 방출되지 않는 발광소자(또는 발광 영역)을 나타내고, 음영이 표시되지 않은 셀(121)은 광원(120)에서 빛이 방출되는 발광소자(또는 발광영역)을 나타낸다. 이와 같이, 발광부(100)는 광원(120)의 일부 발광소자(발광영역)에서 빛을 방출하지 않는다. 객체에 조사되는 패턴광은 면 패턴과 면 패턴 내에 배치되는 도트 패턴을 포함하며, 발광부(100)는 도트 패턴에 대응하는 광원(120)의 발광소자(또는 발광영역)에서 빛을 출력하지 않는다. 발광부(100)는 빛을 방출하지 않는 발광소자(발광영역)는 소정의 패턴에 따라 배치될 수 있다.
광원(120)은 전력 공급을 차단하여 도트 패턴에 대응하는 발광소자(또는 발광영역)에서 빛을 출력하지 않을 수 있다. 즉, 광원(120)은 도트 패턴에 대응하는 발광소자(또는 발광영역)에 구동 전력을 공급하지 않음으로써 빛을 출력하지 않을 수 있다.
광원(120)은 구조적으로 빛의 생성을 차단하여 도트 패턴에 대응하는 발광소자(또는 발광영역)에서 빛을 출력하지 않을 수 있다. 예를 들어, 광원(120)은 소정의 패턴에 따른 도트 패턴에 대응하는 발광소자(또는 발광영역)의 애퍼처를 형성하지 않음으로써 빛을 출력하지 않을 수 있다.
광원(120)은 구조적으로 빛의 방출을 차단하여 패턴광의 도트 패턴에 대응하는 발광소자(또는 발광영역)에서 빛을 출력하지 않을 수 있다. 예를 들어, 광원(120)은 소정의 패턴에 따른 도트 패턴에 대응하는 발광소자(또는 발광영역)의 개구부를 형성하지 않거나 막음으로써 빛을 출력하지 않을 수 있다.
도 2의 (b)는 제1 실시예에 따른 발광부(100)의 측면도를 개략적으로 도시한다.
도 2의 (b)를 살펴보면, 제1 실시예에 따른 발광부(100)는 회로기판(110), 광원(120) 및 제4 광학부재(160)를 포함할 수 있다. 제4 광학부재(160)는 광원(120)의 상단에 배치된다. 제4 광학부재(160)는 광원(120)으로부터 소정의 거리만큼 이격되어 배치될 수 있다. 제4 광학부재(160)는 광원(120)으로부터 출력된 빛을 집광하여 객체로 출력할 수 있다. 제4 광학부재(160)는 마이크로렌즈어레이 또는 렌즈일 수 있다.
도 3은 본 발명의 제2 실시예에 따른 발광부를 개략적으로 도시한 도면이다.
도 3의 (a)는 제2 실시예에 따른 발광부(100)의 평면도를 개략적으로 도시한다. 도 3의 (b)는 제2 실시예에 따른 발광부(100)의 측면도를 개략적으로 도시한다.
도 3을 참조하면 제2 실시예에 따른 발광부(100)는 회로기판(110), 광원(120), 제1 광학부재(130) 및 제4 광학부재(160)를 포함할 수 있다. 제2 실시예에 따른 발광부(100)는 회로기판(110)의 상단에 광원(120)이 배치되고, 광원(120)의 상단에 제1 광학부재(130) 및 제4 광학부재(160)가 배치될 수 있다. 제1 광학부재(130)는 광원(120)과 소정의 거리만큼 이격되어 배치될 수 있다. 제4 광학부재(160)는 제1 광학부재(130)와 소정의 거리만큼 이격되어 배치될 수 있다.
광원(120)은 도 2와 달리 발광소자가 배치된 전체 영역에서 빛을 생성 및 방출할 수 있다. 광원(120)에서 출력된 빛은 제1 광학부재(130)를 향해 방출될 수 있다.
제1 광학부재(130)는 광원(120)의 평면 면적보다 클 수 있다. 제1 광학부재(130)는 소정의 패턴에 따라 배치되며 광원(120)으로부터 방출된 빛을 투과시키지 않는 제1 광학영역(132) 및 빛을 투과시키는 제2 광학영역(131)을 포함할 수 있다. 따라서, 제1 광학부재(130)는 광원(120)으로부터 방출된 빛 중 일부를 통과시키지 않을 수 있다. 제1 광학부재(130)에서 제1 광학영역(131)의 전체 면적은 제2 광학영역(132)의 전체 면적보다 작을 수 있다.
제1 광학부재(130)를 통과한 빛은 제4 광학부재(160)에 입력될 수 있다. 제4 광학부재(160)는 제1 광학부재(130)를 통과한 빛을 집광하여 객체로 출력할 수 있다. 제4 광학부재(160)는 마이크로렌즈어레이 또는 렌즈일 수 있다.
도 4는 본 발명의 제3 실시예에 따른 발광부를 개략적으로 도시한 도면이다.
도 4의 (a)는 제3 실시예에 따른 발광부(100)의 평면도를 개략적으로 도시한다. 도 4의 (b)는 제3 실시예에 따른 발광부(100)의 측면도를 개략적으로 도시한다.
도 4를 참조하면 제3 실시예에 따른 발광부(100)는 회로기판(110), 광원(120), 제1 광학부재(130), 제3 광학부재(150) 및 제4 광학부재(160)를 포함할 수 있다. 제2 실시예에 따른 발광부(100)는 회로기판(110)의 상단에 광원(120)이 배치되고, 광원(120)의 상단에 제1 광학부재(130), 제3 광학부재(150) 및 제4 광학부재(160)가 배치될 수 있다. 제1 광학부재(130)는 광원(120)과 소정의 거리만큼 이격되어 배치될 수 있다. 제3 광학부재(150)는 제1 광학부재(130)와 소정의 거리만큼 이격되어 배치될 수 있다. 제4 광학부재(160)는 제3 광학부재(150)와 소정의 거리만큼 이격되어 배치될 수 있다. 제3 실시예에 따른 발광부(100)는 회로기판(110), 광원(120), 제1 광학부재(130), 제3 광학부재(150) 및 제4 광학부재(160)가 순차적으로 배치될 수 있다.
광원(120)은 도 2와 달리 발광소자가 배치된 전체 영역에서 빛을 생성 및 방출할 수 있다. 광원(120)에서 출력된 빛은 제1 광학부재(130)를 향해 방출될 수 있다.
제1 광학부재(130)는 광원(120)의 평면 면적보다 클 수 있다. 제1 광학부재(130)는 소정의 패턴에 따라 배치되며 광원(120)으로부터 방출된 빛을 투과시키지 않는 제1 광학영역(132) 및 빛을 투과시키는 제2 광학영역(131)을 포함할 수 있다. 따라서, 제1 광학부재(130)는 광원(120)으로부터 방출된 빛 중 일부를 통과시키지 않을 수 있다. 제1 광학부재(130)에서 제1 광학영역(131)의 전체 면적은 제2 광학영역(132)의 전체 면적보다 작을 수 있다.
제1 광학부재(130)를 통과한 빛은 제3 광학부재(150)에 입력될 수 있다. 제3 광학부재(150)는 제1 광학부재(130)를 통과한 빛을 복제하여 출력할 수 있다. 제3 광학부재(150)에서 복제된 빛은 제4 광학부재(160)에 입력될 수 있다. 제4 광학부재(160)는 제3 광학부재(150)를 통해 복제된 빛을 집광하여 객체로 출력할 수 있다. 제4 광학부재(160)는 마이크로렌즈어레이 또는 렌즈일 수 있다.
도 5는 본 발명의 제1 내지 3 실시예에 따른 발광부에 의해 출력된 패턴광을 설명하기 위한 도면이다.
발광부로부터 방출된 빛은 객체에 조사될 수 있다. 본 발명의 실시예에 따른 카메라 장치(10)는 발광부로부터 방출된 패턴광(20)을 객체에 조사할 수 있다.
도 5를 참조하면, 패턴광(20)은 면 패턴(21)과 도트 패턴(22)을 포함할 수 있다. 패턴광(20)은 면 패턴(21) 및 면 패턴(21)과 중첩하는 도트 패턴(22)을 포함할 수 있다. 제1 내지 3 실시예에 따른 발광부는 광원이 방출한 빛 중 일부를 제1 광학부재에서 차단하여 객체로 출력하게 된다. 발광부는 제1 광학부재의 제1 광학영역을 통해 광원이 방출한 빛 중 일부를 차단하여 객체로 출력하게 된다. 따라서, 패턴광(20)은 빛이 도달하는 면 패턴(21) 내에 빛이 도달하지 않는 도트 패턴(22)이 도트 형태로 배치될 수 있다.
도 6은 본 발명의 제4 실시예에 따른 발광부를 개략적으로 도시한 도면이다.
도 6의 (a)는 제4 실시예에 따른 발광부(100)의 평면도를 개략적으로 도시한다. 도 6의 (b)는 제4 실시예에 따른 발광부(100)의 측면도를 개략적으로 도시한다.
도 6을 참조하면 제4 실시예에 따른 발광부(100)는 회로기판(110), 광원(120), 제1 광학부재(130), 제2 광학부재(140), 제3 광학부재(150) 및 제4 광학부재(160)를 포함할 수 있다.
광원(120)은 회로기판(110) 상단에 배치된다. 제1 발광영역(zone1)과 제2 발광영역(zone2)은 제1 발광영역(zone1) 및 제2 발광영역(zone2)을 포함할 수 있다. 광원(120)은 제1 발광영역(zone1) 및 제2 발광영역(zone2)으로 구분될 수 있다.
제2 광학부재(140)는 광원(120)의 제1 발광영역(zone1) 상단에 배치될 수 있다. 제2 광학부재(140)는 광원(120)의 제1 발광영역(zone1) 상단에 이격되어 배치될 수 있다. 제2 광학부재(140)는 광원(120)의 제1 발광영역(zone1)으로부터 방출된 빛을 산란시켜 방출할 수 있다.
제1 광학부재(130)는 광원(120)의 제2 발광영역(zone2) 상단에 배치될 수 있다. 제1 광학부재(130)는 광원(120)과 소정의 거리만큼 이격되어 배치될 수 있다. 제1 광학부재(130)는 소정의 패턴에 따라 배치되며 광원(120)의 제2 발광영역(zone2)으로부터 방출된 빛을 투과시키지 않는 면 패턴(132) 및 광원(120)의 제2 발광영역(zone2)으로부터 빛을 투과시키는 도트 패턴(131)을 포함할 수 있다. 따라서, 제1 광학부재(130)는 광원(120)으로부터 방출된 빛 중 일부를 통과시키지 않을 수 있다. 제1 광학부재(130)에서 면 패턴(132)의 전체 면적은 도트 패턴(131)의 전체 면적보다 클 수 있다.
제3 광학부재(150)는 제1 광학부재(130)와 소정의 거리만큼 이격되어 배치될 수 있다. 제1 광학부재(130)를 통과한 빛은 제3 광학부재(150)에 입력될 수 있다. 제3 광학부재(150)는 제1 광학부재(130)를 통과한 빛을 복제하여 출력할 수 있다.
제4 광학부재(160)는 제3 광학부재(150)와 소정의 거리만큼 이격되어 배치될 수 있다. 제3 광학부재(150)에서 복제된 빛은 제4 광학부재(160)에 입력될 수 있다. 제4 광학부재(160)는 제3 광학부재(150)를 통해 복제된 빛을 집광하여 객체로 출력할 수 있다. 제4 광학부재(160)는 마이크로렌즈어레이 또는 렌즈일 수 있다.
도 7은 본 발명의 제5 실시예에 따른 발광부를 개략적으로 도시한 도면이다.
도 7의 (a)는 제6 실시예에 따른 발광부(100)의 평면도를 개략적으로 도시한다. 도 7의 (b)는 제6 실시예에 따른 발광부(100)의 측면도를 개략적으로 도시한다.
도 7을 참조하면, 제6 실시예에 따른 발광부(100)는 서로 다른 패키지(package)로 구분될 수 있는 제1 발광부(package1) 및 제2 발광부(package2)를 포함할 수 있다.
제1 발광부(package1)는 회로기판(110), 제1 광원(120) 및 제2 광학부재(140)를 포함할 수 있다.
회로기판(110)의 상단에는 제1 광원(120-1)이 배치될 수 있다.
제1 광원(120-1)의 상단에는 제2 광학부재(140)가 배치될 수 있다. 제2 광학부재(140)는 제1 광원(120-1)의 상단에 이격되어 배치될 수 있다. 제2 광학부재(140)는 제1 광원(120-1) 으로부터 방출된 빛을 산란시켜 방출할 수 있다.
제2 발광부(package2)는 회로기판(110), 제2 광원(120), 제1 광학부재(130) 및 제4 광학부재(160)를 포함할 수 있다.
회로기판(110)의 상단에는 제2 광원(120-2)이 배치될 수 있다. 회로기판(110)은 제1 발광부(package1)의 회로기판(110)과 다를 수도 있다.
제1 광학부재(130)는 제2 광원(120-2)의 상단에 배치될 수 있다. 제1 광학부재(130)는 제2 광원(120-2)과 소정의 거리만큼 이격되어 배치될 수 있다. 제1 광학부재(130)는 소정의 패턴에 따라 배치되며 제2 광원(120-2)으로부터 방출된 빛을 투과시키지 않는 제1 광학영역(132) 및 제2 광원(120-2)으로부터 빛을 투과시키는 제2 광학영역(131)을 포함할 수 있다. 따라서, 제1 광학부재(130)는 제2 광원(120)으로부터 방출된 빛 중 일부를 통과시키지 않을 수 있다. 제1 광학부재(130)에서 제1 광학영역(131)의 전체 면적은 제2 광학영역(132)의 전체 면적보다 클 수 있다.
제4 광학부재(160)는 제1 광학부재(130)와 소정의 거리만큼 이격되어 배치될 수 있다. 제1 광학부재(130)를 통과한 빛은 제4 광학부재(160)에 입력될 수 있다. 제4 광학부재(160)는 제1 광학부재(130)를 통과한 빛을 집광하여 객체로 출력할 수 있다. 제4 광학부재(160)는 마이크로렌즈어레이 또는 렌즈일 수 있다.
도 8은 본 발명의 제6 실시예에 따른 발광부를 개략적으로 도시한 도면이다.
도 8의 (a)는 제5 실시예에 따른 발광부(100)의 평면도를 개략적으로 도시한다. 도 8의 (b)는 제5 실시예에 따른 발광부(100)의 측면도를 개략적으로 도시한다.
도 8을 참조하면, 제4 실시예에 따른 발광부(100)는 서로 다른 패키지(package)로 구분될 수 있는 제1 발광부(package1) 및 제2 발광부(package2)를 포함할 수 있다.
제1 발광부(package1)는 회로기판(110), 제1 광원(120-1) 및 제2 광학부재(140)를 포함할 수 있다.
회로기판(110)의 상단에는 제1 광원(120-1)이 배치될 수 있다.
제1 광원(120-1)의 상단에는 제2 광학부재(140)가 배치될 수 있다. 제2 광학부재(140)는 제1 광원(120-1)의 상단에 이격되어 배치될 수 있다. 제2 광학부재(140)는 제1 광원(120-1) 으로부터 방출된 빛을 산란시켜 방출할 수 있다.
제2 광학부재(140)는 제1 광원(120-1)의 상단에 배치될 수 있다. 제2 광학부재(140)는 제1 광원(120-1)으로부터 방출된 빛을 산란시켜 방출할 수 있다.
제2 발광부(package2)는 회로기판(110), 제2 광원(120-2), 제1 광학부재(130), 제3 광학부재(150) 및 제4 광학부재(160)를 포함할 수 있다.
회로기판(110)의 상단에는 제2 광원(120)이 배치될 수 있다. 회로기판(110)은 제1 발광부(package1)의 회로기판(110)과 다를 수도 있다.
제1 광학부재(130)는 제2 광원(120-2)의 상단에 배치될 수 있다. 제1 광학부재(130)는 제2 광원(120-2)과 소정의 거리만큼 이격되어 배치될 수 있다. 제1 광학부재(130)는 소정의 패턴에 따라 배치되며 제2 광원(120-2)으로부터 방출된 빛을 투과시키지 않는 제1 광학영역(132) 및 제2 광원(120)으로부터 빛을 투과시키는 제2 광학영역(131)을 포함할 수 있다. 따라서, 제1 광학부재(130)는 제2 광원(120-2)으로부터 방출된 빛 중 일부를 통과시키지 않을 수 있다. 제1 광학부재(130)에서 제2 광학영역(131)의 전체 면적은 제1 광학영역(132)의 전체 면적보다 클 수 있다.
제3 광학부재(150)는 제1 광학부재(130)와 소정의 거리만큼 이격되어 배치될 수 있다. 제1 광학부재(130)를 통과한 빛은 제3 광학부재(150)에 입력될 수 있다. 제3 광학부재(150)는 제1 광학부재(130)를 통과한 빛을 복제하여 출력할 수 있다.
제4 광학부재(160)는 제3 광학부재(150)와 소정의 거리만큼 이격되어 배치될 수 있다. 제3 광학부재(150)에서 복제된 빛은 제4 광학부재(160)에 입력될 수 있다. 제4 광학부재(160)는 제3 광학부재(150)를 통해 복제된 빛을 집광하여 객체로 출력할 수 있다. 제4 광학부재(160)는 마이크로렌즈어레이 또는 렌즈일 수 있다.
도 9는 본 발명의 실시예에 따른 제4 내지 6 발광부에 의해 출력된 패턴광을 설명하기 위한 도면이다.
발광부로부터 방출된 빛은 객체에 조사될 수 있다. 본 발명의 실시예에 따른 카메라 장치(10)는 발광부로부터 방출된 패턴광(20)을 객체에 조사할 수 있다.
제4 실시예에 따른 발광부는 제1 발광영역에 대응하여 면광원을 방출하고 제2 발광영역에 대응하여 점광원을 방출할 수 있다. 그리고, 제4 실시예에 따른 발광부는 면광원과 점광원을 오버랩시켜 패턴광을 생성할 수 있다.
제5 실시예 및 제6 실시예에 따른 발광부는 제1 발광부를 통해 면광원을 방출하고 제2 발광부를 통해 점광원을 방출할 수 있다. 제5 실시예 및 제6 실시예에 따른 발광부는 면광원과 점광원을 오버랩시켜 패턴광을 생성할 수 있따.
도 9를 참조하면, 패턴광(20)은 면 패턴(21)과 도트 패턴(22)을 포함할 수 있다. 패턴광(20)은 면 패턴(21) 및 면 패턴(21)과 중첩하는 도트 패턴(22)을 포함할 수 있다. 면 패턴(21)은 제1 발광영역 또는 제1 발광부에 의해 출력된 빛이 조사되는 영역이고, 도트 패턴(22)은 제2 발광영역 또는 제2 발광부에 의해 출력된 빛이 조사되는 영역일 수 있다. 면 패턴(21)에는 제1 발광영역 또는 제1 발광부에 의해 출력된 면광원이 조사되고, 도트 패턴(22)에는 제2 발광영역 또는 제2 발광부에 의해 출력된 점광원이 조사되므로, 도트 패턴(22)에는 제1 발광영역 또는 제1 발광부에 의해 출력된 빛과 제2 발광영역 또는 제2 발광부에 의해 출력된 빛이 오버랩된다. 따라서, 도트 패턴(22)은 면 패턴(21)에 비해 더 많은 양의 빛이 조사될 수 있으며, 이에 따라 패턴광(20)은 면 패턴(21) 내에 도트 패턴(22)이 소정의 패턴으로 배치된 형태일 수 있다.
도 10은 본 발명의 제7 실시예에 따른 수광부를 설명하기 위한 도면이다.
도 10을 참조하면, 본 발명의 실시예에 따른 카메라 장치는 발광부(100), 제1 수광부(200-1) 및 제2 수광부(200-2)를 포함할 수 있다.
제1 수광부(200-1)는 회로기판(110), 제1 센서(210-1), 제1 IR 필터(210-1), 제5 광학부재(230-1) 및 제6 광학부재(240-1)를 포함할 수 있다.
회로기판(110)의 상단에는 제1 센서(210-1)가 배치될 수 있다. 제1 센서(210-1)는 ToF 이미지 센서일 수 있다. 제1 센서(210-1)는 객체로부터 반사된 빛을 수광하여 제1 신호를 생성할 수 있다. 제1 신호는 깊이정보를 생성하기 위한 전기신호일 수 있다.
제1 센서(210-1)의 상단에는 제1 IR 필터(210-1), 제5 광학부재(230-1) 및 제6 광학부재(240-1)가 배치될 수 있다. 제1 IR 필터(210-1)는 적외선 파장대의 빛을 통과시키고 가시광선 파장대의 빛을 차단할 수 있다. 제5 광학부재(230-1)는 마이크로렌즈어레이일 수 있고, 제6 광학부재(240-1)는 렌즈일 수 있다. 제5 광학부재(230-1)와 제6 광학부재(240-1)는 객체로부터 반사된 빛을 집광하여 제1 센서(210-1)로 전달할 수 있다. 본 예시에서 제1 IR 필터(210-1), 제5 광학부재(230-1) 및 제6 광학부재(240-1)의 배치순서는 당업자에 의해 설계변경이 가능하다.
제2 수광부(200-2)는 회로기판(110), 제2 센서(210-2), 제2 IR 필터(210-2), 제7 광학부재(230-2) 및 제8 광학부재(240-2)를 포함할 수 있다.
회로기판(110)의 상단에는 제2 센서(210-2)가 배치될 수 있다. 제2 센서(210-2)는 IR 이미지 센서일 수 있다. 제2 센서(210-2)는 객체로부터 반사된 빛을 수광하여 제2 신호를 생성할 수 있다. 제2 신호는 2차원의 IR 이미지를 생성하기 위한 전기신호일 수 있다.
제2 센서(210-2)의 상단에는 제2 IR 필터(210-2), 제7 광학부재(230-2) 및 제8 광학부재(240-2)가 배치될 수 있다. 제2 IR 필터(210-2)는 적외선 파장대의 빛을 통과시키고 가시광선 파장대의 빛을 차단할 수 있다. 제7 광학부재(230-2)는 마이크로렌즈어레이일 수 있고, 제8 광학부재(240-2)는 렌즈일 수 있다. 제7 광학부재(230-2)와 제8 광학부재(240-2)는 객체로부터 반사된 빛을 집광하여 제2 센서(210-2)로 전달할 수 있다. 본 예시에서 제2 IR 필터(210-2), 제7 광학부재(230-2) 및 제8 광학부재(240-2)의 배치순서는 당업자에 의해 설계변경이 가능하다.
발광부(100)는 회로기판(110), 광원(120) 및 제4 광학부재(160)를 포함할 수 있다. 발광부(100)는 앞서 설명한 제1 실시예에 따른 발광부(100)일 수 있다. 도 10에서는 제1 실시예에 따른 발광부(100)를 도시하고 있으나, 도 10에서 도시한 발광부(100)는 제2 실시예에 따른 발광부(100) 및 제3 실시예에 따른 발광부(100)일 수도 있다.
도 11은 본 발명의 제8 실시예에 따른 수광부를 설명하기 위한 도면이다.
도 11을 참조하면, 본 발명의 실시예에 따른 카메라 장치는 발광부(100), 제1 수광부(200-1) 및 제2 수광부(200-2)를 포함할 수 있다.
제1 수광부(200-1)는 회로기판(110), 제1 센서(210-1), 제1 IR 필터(210-1), 제5 광학부재(230-1) 및 제6 광학부재(240-1)를 포함할 수 있다.
회로기판(110)의 상단에는 제1 센서(210-1)가 배치될 수 있다. 제1 센서(210-1)는 ToF 이미지 센서일 수 있다. 제1 센서(210-1)는 객체로부터 반사된 빛을 수광하여 제1 신호를 생성할 수 있다. 제1 신호는 깊이정보를 생성하기 위한 전기신호일 수 있다.
제1 센서(210-1)의 상단에는 제1 IR 필터(210-1), 제5 광학부재(230-1) 및 제6 광학부재(240-1)가 배치될 수 있다. 제1 IR 필터(210-1)는 적외선 파장대의 빛을 통과시키고 가시광선 파장대의 빛을 차단할 수 있다. 제5 광학부재(230-1)는 마이크로렌즈어레이일 수 있고, 제6 광학부재(240-1)는 렌즈일 수 있다. 제5 광학부재(230-1)와 제6 광학부재(240-1)는 객체로부터 반사된 빛을 집광하여 제1 센서(210-1)로 전달할 수 있다. 본 예시에서 제1 IR 필터(210-1), 제5 광학부재(230-1) 및 제6 광학부재(240-1)의 배치순서는 당업자에 의해 설계변경이 가능하다.
제2 수광부(200-2)는 회로기판(110), 제2 센서(210-2), 제2 IR 필터(210-2), 제7 광학부재(230-2) 및 제8 광학부재(240-2)를 포함할 수 있다.
회로기판(110)의 상단에는 제2 센서(210-2)가 배치될 수 있다. 제2 센서(210-2)는 IR 이미지 센서일 수 있다. 제2 센서(210-2)는 객체로부터 반사된 빛을 수광하여 제2 신호를 생성할 수 있다. 제2 신호는 2차원의 IR 이미지를 생성하기 위한 전기신호일 수 있다.
제2 센서(210-2)의 상단에는 제2 IR 필터(210-2), 제7 광학부재(230-2) 및 제8 광학부재(240-2)가 배치될 수 있다. 제2 IR 필터(210-2)는 적외선 파장대의 빛을 통과시키고 가시광선 파장대의 빛을 차단할 수 있다. 제7 광학부재(230-2)는 마이크로렌즈어레이일 수 있고, 제8 광학부재(240-2)는 렌즈일 수 있다. 제7 광학부재(230-2)와 제8 광학부재(240-2)는 객체로부터 반사된 빛을 집광하여 제2 센서(210-2)로 전달할 수 있다. 본 예시에서 제2 IR 필터(210-2), 제7 광학부재(230-2) 및 제8 광학부재(240-2)의 배치순서는 당업자에 의해 설계변경이 가능하다.
발광부(100)는 회로기판(110), 광원(120) 및 제4 광학부재(160)를 포함할 수 있다. 발광부(100)는 앞서 설명한 제4 실시예에 따른 발광부(100)일 수 있다. 도 10에서는 제1 실시예에 따른 발광부(100)를 도시하고 있으나, 도 11에서 도시한 발광부(100)는 제5 실시예에 따른 발광부(100) 및 제6 실시예에 따른 발광부(100)일 수도 있다.
도 12는 본 발명의 제9 실시예에 따른 수광부를 설명하기 위한 도면이다.
도 12를 참조하면, 본 발명의 실시예에 따른 카메라 장치는 발광부(100), 제1 수광부(200-1) 및 제2 수광부(200-2)를 포함할 수 있다.
제1 수광부(200-1)는 회로기판(110), 제1 센서(210-1), 제1 IR 필터(210-1), 제5 광학부재(230-1) 및 제6 광학부재(240-1)를 포함할 수 있다.
회로기판(110)의 상단에는 제1 센서(210-1)가 배치될 수 있다. 제1 센서(210-1)는 ToF 이미지 센서일 수 있다. 제1 센서(210-1)는 객체로부터 반사된 빛을 수광하여 제1 신호를 생성할 수 있다. 제1 신호는 깊이정보를 생성하기 위한 전기신호일 수 있다.
제1 센서(210-1)의 상단에는 제1 IR 필터(210-1), 제5 광학부재(230-1) 및 제6 광학부재(240-1)가 배치될 수 있다. 제1 IR 필터(210-1)는 적외선 파장대의 빛을 통과시키고 가시광선 파장대의 빛을 차단할 수 있다. 제5 광학부재(230-1)는 마이크로렌즈어레이일 수 있고, 제6 광학부재(240-1)는 렌즈일 수 있다. 제5 광학부재(230-1)와 제6 광학부재(240-1)는 객체로부터 반사된 빛을 집광하여 제1 센서(210-1)로 전달할 수 있다. 본 예시에서 제1 IR 필터(210-1), 제5 광학부재(230-1) 및 제6 광학부재(240-1)의 배치순서는 당업자에 의해 설계변경이 가능하다.
제2 수광부(200-2)는 회로기판(110), 제2 센서(210-2), 제2 IR 필터(210-2), 제7 광학부재(230-2) 및 제8 광학부재(240-2)를 포함할 수 있다.
회로기판(110)의 상단에는 제2 센서(210-2)가 배치될 수 있다. 제2 센서(210-2)는 IR 이미지 센서일 수 있다. 제2 센서(210-2)는 객체로부터 반사된 빛을 수광하여 제2 신호를 생성할 수 있다. 제2 신호는 2차원의 IR 이미지를 생성하기 위한 전기신호일 수 있다.
제2 센서(210-2)의 상단에는 제2 IR 필터(210-2), 제7 광학부재(230-2) 및 제8 광학부재(240-2)가 배치될 수 있다. 제2 IR 필터(210-2)는 적외선 파장대의 빛을 통과시키고 가시광선 파장대의 빛을 차단할 수 있다. 제7 광학부재(230-2)는 마이크로렌즈어레이일 수 있고, 제8 광학부재(240-2)는 렌즈일 수 있다. 제7 광학부재(230-2)와 제8 광학부재(240-2)는 객체로부터 반사된 빛을 집광하여 제2 센서(210-2)로 전달할 수 있다. 본 예시에서 제2 IR 필터(210-2), 제7 광학부재(230-2) 및 제8 광학부재(240-2)의 배치순서는 당업자에 의해 설계변경이 가능하다.
발광부(100)는 회로기판(110), 광원(120) 및 제4 광학부재(160)를 포함할 수 있다. 회로기판(110)의 상단에는 광원(120)이 배치되고, 광원(120)의 상단에는 제4 광학부재(160)가 배치될 수 있다. 발광부(100)는 광원(120)으로부터 방출된 빛을 제4 광학부재(160)가 산란시켜 객체에 조사할 수 있다.
도 13은 본 발명의 일 실시예에 따른 처리부의 프로세스를 설명하기 위한 도면이다.
도 13은 수광부가 1개의 센서를 포함하는 경우에서 처리부의 프로세스를 나타낸다.
도 14를 참조하면, 제1-1 신호 및 제1-2 신호는 수광부로부터 생성된 신호일 수 있다. 제1-1 신호 및 제 1-2 신호는 수광부로부터 생성되어 처리부로 전달될 수 있다. 제1-1 신호는 제1-2 신호보다 먼저 생성된 신호일 수 있다. 수광부는 제1-1 신호를 생성한 후 제1-2 신호를 생성할 수 있다.
제1 깊이영상은 수광부에 의해 제1-1 신호로부터 생성될 수 있다. 다른 예로, 도 14에는 도시되지 않았으나, 제1 깊이영상은 수광부에 의해 제1-2 신호로부터 생성될 수도 있다.
일 실시예에 따르면, 처리부(300)는 아래의 수학식 1 및 수학식 2를 이용하여 깊이영상을 생성할 수 있다. 처리부(300)는 아래의 수학식 1을 이용하여 출력광 신호(발광부로부터 출력되는 광)와 입력광 신호(수광부로 입력되는 광) 사이의 위상차(td)를 계산할 수 있다.
Figure pat00001
여기서, Q1 내지 Q4는 4개의 전기 신호 각각의 전하 충전량이다. Q1은 출력광 신호와 동일한 위상의 기준신호에 대응하는 전기신호의 전하량이다. Q2는 출력광 신호보다 위상이 180도 느린 기준신호에 대응하는 전기신호의 전하량이다. Q3는 출력광 신호보다 위상이 90도 느린 기준신호에 대응하는 전기신호의 전하량이다. Q4는 출력광 신호보다 위상이 270도 느린 기준신호에 대응하는 전기신호의 전하량이다.
그리고, 처리부는 출력광 신호와 입력광 신호의 위상차를 이용하여 객체와 카메라 장치 사이의 거리를 계산할 수 있다. 이때, 처리부는 아래의 수학식 2를 이용하여 객체와 카메라 장치 사이의 거리(d)를 계산할 수 있다.
Figure pat00002
여기서, c는 빛의 속도이고, f는 출력광의 주파수이다.
제1 IR 영상은 처리부에 의해 제1-1 신호로부터 생성될 수 있다. 제2 IR 영상은 처리부에 의해 제1-2 신호로부터 생성될 수 있다.
일 실시예에 따르면, 4 개의 위상 영상을 이용하여 수학식 3과 같이 연산하면, 처리부는 ToF IR 영상인 앰플리튜드 영상(amplitude image)을 얻을 수 있다.
Figure pat00003
여기서, Raw(x0)은 phase 0°에서 센서가 받아들이는 픽셀 별 데이터 값이고, Raw(x90)은 phase 90°에서 센서가 받아들이는 픽셀 별 데이터 값이며, Raw(x180)은 phase 180°에서 센서가 받아들이는 픽셀 별 데이터 값이고, Raw(x270)은 phase 270°에서 센서가 받아들이는 픽셀 별 데이터 값일 수 있다.
다른 실시예로, 도 6의 4개의 위상 영상을 이용하여 수학식 4와 같이 연산하면, 처리부는 다른 ToF IR 영상인 인텐시티 영상(intensity image)을 얻을 수도 있다.
Figure pat00004
여기서, Raw(x0)은 phase 0°에서 센서가 받아들이는 픽셀 별 데이터 값이고, Raw(x90)은 phase 90°에서 센서가 받아들이는 픽셀 별 데이터 값이며, Raw(x180)은 phase 180°에서 센서가 받아들이는 픽셀 별 데이터 값이고, Raw(x270)은 phase 270°에서 센서가 받아들이는 픽셀 별 데이터 값일 수 있다.
제2 깊이영상은 처리부에 의해 제1 IR 영상 및 제2 IR 영상을 통해 생성될 수 있다. 제2 깊이영상은 삼각측량 알고리즘에 의해 제1 IR 영상 및 제2 IR 영상으로부터 생성될 수 있다. 처리부는 제1 IR 영상의 도트 패턴에 대응하는 픽셀영역과 제2 IR 영상의 도트 패턴에 대응하는 픽셀영역 사이의 거리값을 산출하고, 거리값을 이용한 삼각측량에 기초하여 제2 깊이영상을 생성할 수 있다.
제3 깊이영상은 제1 깊이영상과 제2 깊이영상을 이용하여 생성될 수 있다. 제3 깊이영상은 제1 깊이영상과 제2 깊이영상 사이의 픽셀값을 비교한 결과에 따라 제1 깊이영상의 픽셀값을 제2 깊이영상의 픽셀값으로 보정함으로써 생성될 수 있다. 구체적으로, 제3 깊이영상은 제1 깊이영상과 제2 깊이영상 사이에 대응하는 픽셀의 차이값이 임계값보다 작은 제1 픽셀에는 제1 깊이영상의 픽셀값을 배치하고, 픽셀값의 차이값이 임계값보다 크거나 같은 제2 픽셀에는 제2 깊이영상의 픽셀값을 배치함으로써 생성될 수 있다.
도 14는 본 발명의 다른 실시예에 따른 처리부의 프로세스를 설명하기 위한 도면이다.
도 14는 본 발명의 실시예에 따른 카메라 장치가 제1 수광부 및 제2 수광부로 구성되는 경우에서 처리부의 프로세스를 나타낸다.
도 14를 참조하면, 제1 신호는 제1 수광부로부터 생성된 신호일 수 있다. 제2 신호는 제2 수광부로부터 생성된 신호일 수 있다. 제1 신호 및 제 2 신호는 제1 수광부 및 제2 수광부로부터 생성되어 처리부로 전달될 수 있다. 제1 신호는 깊이 정보를 포함하는 전기신호일 수 있다. 제2 신호는 깊이 정보를 포함하지 않는 전기신호일 수 있다. 즉, 제1 신호는 3차원 깊이영상을 생성할 수 있는 전기신호일 수 있고, 제2 신호는 2차원 IR영상을 생성할 수 있는 전기신호일 수 있다.
제1 깊이영상은 수광부에 의해 제1 신호로부터 생성될 수 있다. 제1 IR 영상은 처리부에 의해 제1 신호로부터 생성될 수 있다. 제2 IR 영상은 처리부에 의해 제2 신호로부터 생성될 수 있다.
제2 깊이영상은 처리부에 의해 제1 IR 영상 및 제2 IR 영상을 통해 생성될 수 있다. 제2 깊이영상은 삼각측량 알고리즘에 의해 제1 IR 영상 및 제2 IR 영상으로부터 생성될 수 있다. 처리부는 제1 IR 영상의 도트 패턴에 대응하는 픽셀영역과 제2 IR 영상의 도트 패턴에 대응하는 픽셀영역 사이의 거리값을 산출하고, 거리값 및 제1 수광부와 제2 수광부 사이의 거리값 등을 이용한 삼각측량에 기초하여 제2 깊이영상을 생성할 수 있다.
제3 깊이영상은 제1 깊이영상과 제2 깊이영상을 이용하여 생성될 수 있다. 제3 깊이영상은 제1 깊이영상과 제2 깊이영상 사이의 픽셀값을 비교한 결과에 따라 제1 깊이영상의 픽셀값을 제2 깊이영상의 픽셀값으로 보정함으로써 생성될 수 있다. 구체적으로, 제3 깊이영상은 제1 깊이영상과 제2 깊이영상 사이에 대응하는 픽셀의 차이값이 임계값보다 작은 제1 픽셀에는 제1 깊이영상의 픽셀값을 배치하고, 픽셀값의 차이값이 임계값보다 크거나 같은 제2 픽셀에는 제2 깊이영상의 픽셀값을 배치함으로써 생성될 수 있다.
도 15a 내지 도 15d는 본 발명의 실시예에 따른 제3 깊이영상의 생성과정을 설명하기 위한 도면이다.
도 15a는 제1 객체(obj1)의 촬상예를 나타낸다. 도 15a를 참조하면, 바닥(floor)에 제1 객체(obj1)가 배치되고, 제1 객체(obj1)의 뒤에는 산란물체(scattering obj)가 배경으로 배치될 수 있다. 카메라 장치(10)는 객체(obj1)를 향해 패턴광을 조사한 후 반사된 빛을 수광하여 신호를 생성한다.
여기서, 바닥면(floor)은 금속이나 거울과 같은 빛의 정반사를 일으키는 물체일 수 있다. 산란물체(scattering obj)는 하얀색의 벽면과 같이 빛의 난반사를 일으키는 물체일 수 있다.
도 15b는 도 15a의 촬상예에서 생성된 제1 깊이영상을 설명하기 위한 도면이다. 제1 객체(obj1)의 뒤에 배치된 산란물체(scattering obj)의 경우 빛의 난반사가 발생할 수 있으므로, 카메라 장치(10)의 수광부는 반사된 빛을 수광할 수 있다. 제1 객체(obj1)의 경우에도 난반사 물질이 포함되어 있지 않은 경우, 카메라 장치(10)의 수광부는 반사된 빛을 수광할 수 있다. 즉, 산란물체(scattering obj) 및 제1 객체(obj1)를 향해 조사된 빛은 반사되어 카메라 장치(10)에 수광될 수 있다.
하지만, 정반사 성질을 가진 바닥면(floor)을 향한 빛의 경우, 일부 빛(light1)은 카메라 장치(10)로 수광되지 않을 수 있다. 즉, 정반사로 인해 빛이 공간 상으로 방출될 수 있다. 해당 빛(light) 성분의 경우에는 카메라 장치(10)에 수광되지 않으므로, 제1 깊이영상에서는 해당 지점에 대한 깊이정보가 생성되지 않는다.
그리고, 바닥면(floor)을 향한 빛의 일부(light2)는 정반사 후 난반사 성질을 가진 제1 객체(obj1) 등에 반사되어 카메라 장치(10)에 수광될 수 있다. 이 경우, 제1 깊이영상은 제1 객체(obj1)에 대응하는 허상(virtual)에 대한 깊이정보가 생성될 수 있다.
결과적으로, 제1 깊이영상은 바닥면(floor)에 대한 깊이정보를 포함하지 않을 수 있고, 실제 존재하지 않는 허상(virtual)에 대한 깊이정보를 포함할 수 있다.
도 15c는 도 15a의 촬상예에서 생성된 제2 깊이영상을 설명하기 위한 도면이다.
제2 깊이영상은 제1 IR 영상 및 제2 IR 영상에 기초하여 삼각측량 기법으로 생성된 깊이정보를 포함한다. 그러므로, 제2 깊이영상은 정반사 성질을 가진 바닥면(floor)으로 빛이 향하더라도 깊이정보에 허상이 포함되지 않으며 바닥면(floor)에 대한 깊이정보 측정이 가능하다. 다만, 제2 깊이영상은 제1 IR 영상에서 패턴광의 도트 패턴에 대응하는 픽셀과 제2 IR 영상에서 패턴광의 도트 패턴에 대응하는 픽셀을 이용한 삼각측량을 통해 깊이정보가 생성되므로, 제1 깊이영상에 비해 영상 정밀도가 낮을 수 있다.
도 15d는 제1 깊이영상과 제2 깊이영상으로부터 제3 깊이영상이 생성되는 광정을 나타낸다.
도 15d의 (a)는 제1 깊이영상을 나타낸다. 제1 깊이영상의 경우 앞서 설명한 것처럼 바닥면의 정반사 성질로 인해 깊이 정보가 거의 측정되지 않고 있음을 알 수 있다. 이에 따라, 바닥면과 산란물체 사이에 경계가 불명확하게 표현됨을 알 수 있다. 또한, 제1 깊이영상에서 제1 객체의 아래부분에 허상에 대한 깊이정보가 생성되어 있음을 알 수 있다.
도 15d의 (b)는 제2 깊이영상을 나타낸다. 제2 깊이영상은 앞서 설명한 것처럼 바닥면에 대한 깊이정보를 포함함 알 수 있다. 또한, 제2 깊이영상은 허상에 대한 깊이정보가 포함되지 않았음을 알 수 있다. 다만, 제2 깊이영상은 제1 깊이영상에 비해 깊이정보가 정확도가 낮음을 알 수 있다.
도 15d의 (c)는 제1 깊이영상과 제2 깊이영상 사이의 픽셀 차이값을 나타낸 영상이다. 정반사가 발생하는 바닥면과 제1 깊이영상의 허상 영역에서 차이값이 크게 발생하고 있음을 알 수 있다.
도 15d의 (d)는 제3 깊이영상을 나타낸다. 제3 깊이영상은 제1 깊이영상에서 깊이정보가 측정되지 않은 영역의 픽셀값을 제2 깊이영상의 픽셀값으로 보정하고, 허상 영역과 같이 픽셀차이값이 큰 영역의 픽살값을 제2 깊이영상의 픽셀값으로 보정한 영상이다. 제3 깊이영상의 깊이 정보의 정확도가 제1 깊이영상 및 제2 깊이영상에 비해 크게 향상되었음을 확인할 수 있다.
한편, 처리부는 제1 깊이영상과 제2 깊이영상의 픽셀값을 비교하여 물체의 성질을 구분할 수 있다. 처리부는 제1 깊이영상과 제2 깊이영상의 대응하는 픽셀의 차이값이 소정의 값보다 크면 해당 물체를 정반사 물질로 판단하고, 그렇지 않으면 난반사 물질로 판단할 수 있다.
도 16a 내지 도 16c는 본 발명의 실시예에 따른 객체의 위치 검출 과정을 설명하기 위한 도면이다.
도 16a는 본 발명의 실시예에 따른 촬상예를 나타낸다. 도 16a에서는 제1 객체(obj1), 제2 객체(obj2) 및 제3 객체(obj3)가 배치된 상태에서 본 발명의 실시예에 따른 카메라 장치(10)가 촬영하는 촬상예를 도시한다.
제1 객체(obj1)는 및 제2 객체(obj2)는 빛에 대해 산란 성질을 가진 물체일 수 있고, 제3 객체(obj3)는 정반사 성질을 가진 물체일 수 있다. 제2 객체(obj2)가 제1 객체(obj1)의 뒤에 배치되어, 카메라 장치(10)로부터 방출된 빛이 직접 도달하지 못하는 상황을 가정한다.
도 16b는 도 16a의 촬상예에 따른 제1 깊이영상을 설명하기 위한 도면이다.
본 발명의 실시예에 따른 카메라 장치(10)에서 방출된 빛 중 일부는 광경로에 따라 제1 객체(obj1)로 조사된다. 해당 빛은 제1 객체(obj1)로부터 반사되어 카메라 장치(10)에 수광되며 제1 깊이영상은 제1 객체(obj1)에 대한 깊이정보를 포함하게 된다.
제2 객체(obj2)의 경우에는 카메라 장치(10)에서 방출된 빛의 광경로 상에 제1 객체(obj1)가 배치되어 있어 방출된 빛이 직접 도달하지 못한다. 그러므로, 제1 깊이영상은 제2 객체(obj2)에 대한 깊이정보를 포함하지 않을 수 있다.
정반사 성질을 가진 제3 객체(obj3)를 향한 빛의 경우, 일부 빛은 카메라 장치(10)로 수광되지 않을 수 있다. 즉, 정반사로 인해 빛이 공간 상으로 방출될 수 있다. 해당 빛 성분의 경우에는 카메라 장치(10)에 수광되지 않으므로, 제1 깊이영상에서는 제3 객체(obj3)에 대한 깊이정보가 생성되지 않는다.
제3 객체(obj3)를 향한 빛의 일부는 정반사 후 난반사 성질을 가진 제2 객체(obj2) 등에 반사되어 카메라 장치(10)에 수광될 수 있다. 이 경우, 제1 깊이영상은 제2 객체(obj2)에 대응하는 허상(virtual)에 대한 깊이정보가 생성될 수 있다.
본 발명의 실시예에 따른 카메라 장치(10)는 허상(virtual)에 대한 정보를 이용하여 제1 객체(obj1)에 의해 가려진 제2 객체(obj2)에 대한 위치 등을 검출할 수 있다. 도 16b를 참조하면, 카메라 장치(10)는 제1 깊이영상로부터 허상(virtual)에 대한 깊이정보를 획득할 수 있으며, 해당 깊이정보는 카메라 모듈(10)에서 제3 객체(obj3)의 a지점까지 거리(l1) 및 제3 객체(obj3)의 a지점에서 제2 객체(obj2)까지의 거리(l2)를 합산한 거리가 될 수 있다. 제3 객체(obj3)의 a지점에서 제2 객체(obj2)까지의 거리(l2)는 결국 제3 객체(obj3)의 a지점에서 허상(virtual)까지의 거리(l2')와 동일할 수 있다.
입사각(θ1)은 제1 깊이영상의 허상 정보와 제2 깊이영상 및 제3 깊이영상 중 적어도 하나를 통해 산출될 수 있다. 예를 들어, 카메라 모듈(10)은 제1 깊이영상의 허상 정보와 제2 깊이영상에 기초하여 제3 객체(obj3)의 a지점에 대한 위치를 검출할 수 있고, 이에 기초하여 빛의 입사각(θ1)을 산출할 수 있다. 정반사 성질로 인해 법선(normal)을 기준으로 입사각(θ1)과 반사각(θ2)은 동일할 수 있다.
따라서, 카메라 장치(10)는 허상(virtual)의 거리 정보(l1+l2'), 제3 객체(obj3)의 a지점까지의 거리 및 반사각(θ2)을 알 수 있으므로, 해당 정보를 이용하여 제2 객체(obj2)의 위치 정보를 검출할 수 있다. 예를 들어, 카메라 장치(10)는 삼각함수를 이용한 알고리즘과 카메라 장치(10)와 상기 정보에 기초하여 제2 객체(obj2)에 대한 위치를 산출할 수 있다.
도 16c는 도 16a의 촬상예에 따른 제2 깊이영상을 설명하기 위한 도면이다.
제2 깊이영상은 제1 IR 영상 및 제2 IR 영상에 기초하여 삼각측량 기법으로 생성된 깊이정보를 포함한다. 그러므로, 제2 깊이영상은 제3 객체(obj3)로부터 정반사되어 제2 객체(obj2)에 도달한 빛에 대응하는 깊이 정보를 포함하지 않는다, 즉, 제2 깊이영상은 허상의 깊이정보를 포함하지 않는다. 따라서, 제2 깊이영상은 제1 객체(obj1) 및 제3 객체(obj3)에 대한 깊이정보만을 포함한다.
처리부는 상기와 같은 제1 깊이영상과 제2 깊이영상의 픽셀값을 비교하여 제1 깊이영상에서 나타난 실상과 허상을 구분할 수 있다. 처리부는 제1 깊이영상과 제2 깊이영상의 대응하는 픽셀의 차이값이 소정의 값보다 크면 해당 물체를 허상으로 판단하고, 그렇지 않으면 실상으로 판단할 수 있다.
제1 깊이영상에 허상이 존재한다고 판단되면, 처리부는 제3 깊이정보로부터 정반사를 일으킨 제3 객체(obj3)와 카메라 장치(10) 사이의 거리 및 제3 객체(obj3)에 의해 정반사된 빛의 반사각을 산출하여 허상에 대응하는 물체의 위치를 검출할 수 있다.
이상에서 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
10 : 카메라 장치
100 : 발광부
200 : 수광부
300 : 처리부

Claims (15)

  1. 면 패턴 및 상기 면 패턴과 중첩하는 도트 패턴을 포함하는 패턴광을 제1 객체로 출력하는 발광부;
    상기 제1 객체로부터 반사된 상기 패턴광을 수광하여 제1 신호를 생성하는 제1 수광부; 그리고
    상기 제1 신호를 수신하는 처리부;를 포함하며,
    상기 처리부는,
    비행시간 기반의 제1 깊이영상; 및
    상기 패턴광에 대응하는 픽셀영역의 삼각측량(triangulation) 기반의 제2 깊이영상을 생성하고,
    상기 제2 깊이영상을 통해 상기 제1 깊이영상의 픽셀값을 보정하여 제3 깊이 영상을 생성하는 카메라 장치.
  2. 제1항에 있어서,
    상기 발광부는,
    상기 도트 패턴에 대응하는 발광영역에서 빛을 출력하지 않는 카메라 장치.
  3. 제1항에 있어서,
    상기 발광부는,
    광원; 및
    상기 광원의 상단에 배치되는 제1 광학부재;를 포함하고,
    상기 제1 광학부재는,
    상기 도트 패턴에 대응하여 빛을 투과시키지 않는 제1 광학영역; 및 상기 면 패턴에 대응하여 빛을 투과시키는 제2 광학영역;을 포함하는 카메라 장치.
  4. 제1항에 있어서,
    광원;을 포함하고,
    상기 광원은,
    제1 발광영역 및 제2 발광영역을 포함하고,
    상기 제1 발광영역의 상단에는 상기 제1 발광영역으로부터 출력된 빛을 산란시키는 제2 광학부재가 배치되고,
    상기 제2 발광영역의 상단에는 제1 광학부재가 배치되며,
    상기 제1 광학부재는,
    소정의 패턴에 따라 배치되며 상기 제2 발광영역으로부터 출력된 빛을 투과시키지 않는 제1 광학영역; 및 상기 제2 발광영역으로부터 출력된 빛을 투과시키는 제2 광학영역;을 포함하는 카메라 장치.
  5. 제4항에 있어서,
    상기 발광부는,
    제1 발광영역에 대응하여 면광원을 방출하고 상기 제2 발광영역에 대응하여 점광원을 방출하며, 상기 면광원과 점광원이 오버랩된 도트 패턴을 포함하는 상기 패턴광을 생성하는 카메라 장치.
  6. 제1항에 있어서,
    상기 발광부는,
    서로 다른 패키지로 구분되는 제1 발광부 및 제2 발광부를 포함하고,
    상기 제1 발광부는,
    제1 광원; 및 상기 제1 광원의 상단에 배치되어 상기 제1 광원으로부터 출력된 빛을 산란시키는 제2 광학부재를 포함하고,
    상기 제2 발광부는,
    제2 광원; 및 상기 제2 광원의 상단에 배치되는 제1 광학부재를 포함하며,
    상기 제1 광학부재는,
    소정의 패턴에 따라 배치되며 상기 제2 광원으로부터 출력된 빛을 투과시키지 않는 제1 광학영역; 및 상기 제2 광원으로부터 출력된 빛을 투과시키는 제2 광학영역;을 포함하는 카메라 장치.
  7. 제6항에 있어서,
    상기 발광부는,
    제1 발광부를 통해 면광원을 방출하고 상기 제2 발광부를 통해 점광원을 방출하며, 상기 면광원과 점광원이 오버랩된 도트 패턴을 포함하는 상기 패턴광을 생성하는 카메라 장치.
  8. 제1항에 있어서,
    상기 제1 신호는,
    제1-1 신호 및 상기 제1-1 신호보다 늦게 생성된 제1-2 신호를 포함하고,
    상기 처리부는,
    상기 제1-1 신호 및 상기 제1-2 신호 중 적어도 하나를 이용하여 상기 제1 깊이 영상을 생성하는 카메라 장치.
  9. 제8항에 있어서,
    상기 처리부는,
    상기 제1-1 신호를 통해 생성된 제1 IR 영상의 상기 도트 패턴에 대응하는 픽셀영역과 상기 제1-2 신호를 통해 생성된 제2 IR 영상의 상기 도트 패턴에 대응하는 픽셀영역 사이의 거리값을 산출하고, 상기 거리값을 이용한 삼각측량에 기초하여 제2 깊이 영상을 생성하는 카메라 장치.
  10. 제9항에 있어서,
    상기 처리부는,
    상기 제1 깊이영상과 상기 제2 깊이영상 사이에 대응하는 픽셀의 차이값을 계산하고, 상기 대응하는 픽셀의 차이값이 임계값보다 작은 제1 픽셀에는 상기 제1 깊이영상의 픽셀값을 배치하고, 상기 대응하는 픽셀값의 차이값이 임계값보다 크거나 같은 제2 픽셀에는 상기 제2 깊이영상의 픽셀값을 배치하여 상기 제3 깊이영상을 생성하는 카메라 장치.
  11. 제10항에 있어서,
    상기 처리부는,
    상기 대응하는 픽셀의 차이값이 임계값보다 크거나 같으면,
    상기 제2 픽셀에 대응하는 객체를 정반사(specular reflection)를 일으키는 물질로 판단하는 카메라 장치.
  12. 제9항에 있어서,
    상기 처리부는,
    상기 대응하는 픽셀의 차이값이 임계값보다 크거나 같으면,
    상기 제2 픽셀에 대응하는 객체의 면 및 상기 면의 법선을 산출하고, 상기 제2 픽셀에 대응하는 제1 깊이 영상의 픽셀값과 상기 산출된 법선에 기초하여 제2 객체를 검출하는 카메라 장치.
  13. 제1항에 있어서,
    객체로부터 반사된 상기 빛을 수광하여 제2 신호를 생성하는 제2 수광부를 포함하는 카메라 장치.
  14. 제13항에 있어서,
    상기 제1 수광부는, ToF 이미지 센서를 포함하고,
    상기 제2 수광부는, IR 이미지 센서를 포함하는 카메라 장치.
  15. 제14항에 있어서,
    상기 처리부는,
    상기 제1 신호를 통해 생성된 제3 IR 영상의 제2 픽셀영역과 상기 제2 신호를 통해 생성된 제4 IR 영상의 제2 픽셀 영역에서 서로 대응하는 픽셀의 사이의 거리값을 산출하고, 상기 산출된 거리값을 이용한 삼각측량에 기초하여 제2 깊이영상을 생성하는 카메라 장치.
KR1020200056780A 2020-05-12 2020-05-12 카메라 장치 KR20210138451A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200056780A KR20210138451A (ko) 2020-05-12 2020-05-12 카메라 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200056780A KR20210138451A (ko) 2020-05-12 2020-05-12 카메라 장치

Publications (1)

Publication Number Publication Date
KR20210138451A true KR20210138451A (ko) 2021-11-19

Family

ID=78718076

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200056780A KR20210138451A (ko) 2020-05-12 2020-05-12 카메라 장치

Country Status (1)

Country Link
KR (1) KR20210138451A (ko)

Similar Documents

Publication Publication Date Title
CN210983445U (zh) 电子设备
US11002537B2 (en) Distance sensor including adjustable focus imaging sensor
EP3645965B1 (en) Detector for determining a position of at least one object
KR102405110B1 (ko) 비행시간 센서를 포함하는 광학 이미징 모듈들 및 광학 검출 모듈들
CN100592029C (zh) 测距设备
JP6578006B2 (ja) 少なくとも１個の物体の位置を光学的に求めるための検出器
CN110824490B (zh) 一种动态距离测量系统及方法
KR102237828B1 (ko) 동작 인식 장치 및 이를 이용한 동작 인식 방법
KR20220103962A (ko) 디스플레이를 통한 깊이 측정
EP3928059A1 (en) Detector with a projector for illuminating at least one object
CN110658529A (zh) 一种集成分束扫描单元及其制造方法
KR20220075283A (ko) ToF 모듈
US20220113127A1 (en) A detector for determining a position of at least one object
KR20210141504A (ko) 비행 시간 기반 3차원 감지 시스템
US20220350156A1 (en) Projector for Illuminating at Least One Object
TWI747289B (zh) 成像裝置及成像方法
US20160337633A1 (en) 3d camera module
KR20210138451A (ko) 카메라 장치
KR20210028520A (ko) Tof 장치
WO2022088492A1 (zh) 一种采集器、距离测量系统及电子设备
CN211785087U (zh) 4d摄像装置及电子设备
CN114051656A (zh) 从具有机发光二极管显示屏幕的设备投射结构光图案
CN112834435A (zh) 4d摄像装置及电子设备
TWI838490B (zh) 基於飛行時間的三維感測系統
JP2005331413A (ja) 距離画像取得システム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal