KR102184210B1 - 3차원 카메라 시스템 - Google Patents

3차원 카메라 시스템 Download PDF

Info

Publication number
KR102184210B1
KR102184210B1 KR1020190175648A KR20190175648A KR102184210B1 KR 102184210 B1 KR102184210 B1 KR 102184210B1 KR 1020190175648 A KR1020190175648 A KR 1020190175648A KR 20190175648 A KR20190175648 A KR 20190175648A KR 102184210 B1 KR102184210 B1 KR 102184210B1
Authority
KR
South Korea
Prior art keywords
unit
camera
depth
center
cells
Prior art date
Application number
KR1020190175648A
Other languages
English (en)
Inventor
박배억
Original Assignee
박배억
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 박배억 filed Critical 박배억
Priority to KR1020190175648A priority Critical patent/KR102184210B1/ko
Application granted granted Critical
Publication of KR102184210B1 publication Critical patent/KR102184210B1/ko
Priority to PCT/KR2020/019060 priority patent/WO2021133082A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H04N5/2254—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

고해상도 및 넓은 화각의 영상을 획득할 수 있고, 렌즈와 이미지 센서 간의 거리를 줄여 소형화를 달성할 수 있는 카메라 시스템과, 촬영 대상체의 심도 정보 및 색 정보를 동시에 획득하여 촬영 대상체를 색 정보가 가미된 3차원으로 생성할 수 있는 3차원 카메라 시스템이 개시된다. 일 실시예에 따른 3차원 카메라 시스템은, 촬영 대상체로부터의 입사광을 집광시키는 렌즈와 상기 렌즈를 통해 집광되는 상기 입사광을 수신하여 전기적 신호로 변환하는 수광부를 각각 포함하는 복수의 단위 카메라 셀들이 인접하게 배치되는 광학 카메라 모듈; 각각 상기 복수의 단위 카메라 셀과 전후(前後)로 배치되고 또한 각각 빔을 방출하는 발광부와 촬영 대상체에 의해 반사되는 상기 빔을 수신하는 수광부를 포함하는 복수의 단위 심도 셀들이 인접하게 배치되고, 상기 광학 카메라 모듈의 후방에 배치되는 심도 센서 모듈; 및 상기 복수의 단위 카메라 셀 각각의 수광부에서 출력되는 전기적 신호를 이용하여 상기 촬영 대상체의 색 정보를 생성하고, 상기 복수의 단위 심도 셀들의 수광부에서 수신되는 상기 반사되는 빔을 이용하여 상기 촬영 대상체의 3차원 좌표를 산출하며, 상기 색 정보 및 상기 3차원 좌표를 이용하여 상기 촬영 대상체를 3차원으로 구성하는 제어부를 포함한다.

Description

3차원 카메라 시스템{3D CAMERA SYSTEM}
본 발명은 카메라 시스템에 관한 것으로, 보다 구체적으로 고화질의 영상 생성이 가능하고, 또한 촬영 대상체를 3차원으로 생성할 수 있는 3차원 카메라 시스템에 관한 것이다.
종래의 이미지 카메라 시스템의 경우 하나의 렌즈로 하나의 이미지 센서에 상을 형성한다. 따라서 렌즈와 이미지 센서 간에는 적지 않은 거리가 확보되어야 한다. 따라서 카메라 시스템의 크기가 커질 수밖에 없고 소형화가 어렵다. 또한, 종래의 이미지 카메라 시스템의 경우 렌즈의 광학적 중심을 기준으로 입사광이 교차되어 영상이 반전되는 양상을 보이며, 특히 평면으로 형성된 카메라 이미지면에 투사되므로, 중심부에 비해 가장자리의 영상이 압축되는 현상이 발생한다.
한편, 현재의 3차원 카메라 시스템은 촬영 대상체의 심도 정보(Depth information)를 획득하는 카메라 시스템으로서 촬영 대상체(예, 얼굴이나 물체)의 심도를 계산한 후 3차원으로 재구성한다. 그런데 현재의 3차원 카메라 시스템은 색 정보와 분리된 심도 정보만으로 공간 및 객체를 3차원으로 구성함으로써 색 개념이 없어 범용성과 확장성이 부족하다. 별도의 3차원 어플리케이션을 사용하여 3차원 센싱 카메라로 촬영하여 구성한 3차원 공간 또는 객체에 색을 가미할 수 있지만, 이때의 색은 실제 공간 또는 객체의 색이 아닌 가상의 색으로서 현실감이 떨어진다. 즉, 범용적이지 못하고 확장성이 부족하다.
특히, 현재의 3차원 카메라 시스템의 심도 센서 모듈은 평면 형상이고 2차원 이미지 카메라는 볼록 렌즈를 사용하여 상호 정보 획득 방식이 달라 2차원 이미지의 색 정보를 3차원 카메라 시스템으로 획득한 3차원 공간 또는 객체에 적용하거나, 또는 3차원 카메라 시스템으로 획득한 심도 정보를 2차원 이미지에 적용하기가 어렵다.
본 발명은 상술한 문제점을 해결하기 위해 제안된 것으로, 고해상도 및 넓은 화각의 영상을 획득할 수 있고, 렌즈와 이미지 센서 간의 거리를 줄여 소형화를 달성할 수 있는 카메라 시스템을 제공하는 데 그 목적이 있다.
또한, 본 발명은 촬영 대상체의 심도 정보 및 색 정보를 동시에 획득하여 촬영 대상체를 색 정보가 가미된 3차원으로 생성할 수 있는 3차원 카메라 시스템을 제공하는 데 다른 목적이 있다.
일 실시예에 따른 카메라 시스템은, 외부의 입사광을 집광시키는 렌즈와 상기 렌즈를 통해 집광되는 상기 입사광을 수신하여 전기적 신호로 변환하는 수광부를 각각 포함하는 복수의 단위 카메라 셀들이 인접하게 배치되는 광학 카메라 모듈; 및 상기 복수의 단위 카메라 셀 각각의 수광부에서 출력되는 전기적 신호를 이용하여 이미지면에 색 정보를 설정하는 제어부를 포함한다.
상기 수광부는, 적어도 하나의 셀들로 구성되고, 상기 제어부는, 상기 수광부의 각 셀들의 화소 값을 하나로 통합하여 상기 이미지면의 하나의 픽셀의 값으로 설정할 수 있다.
상기 광학 카메라 모듈은, 소정의 곡률을 갖는 구(sphere)의 일부 형상을 이루어, 각 단위 카메라 셀의 상기 렌즈의 중심 및 상기 수광부의 중심을 관통하는 중심축이 상기 구의 곡률 중심을 향할 수 있다.
상기 카메라 시스템은, 각각 상기 복수의 단위 카메라 셀과 전후(前後)로 배치되고 또한 각각 빔을 방출하는 발광부와 촬영 대상체에 의해 반사되는 상기 빔을 수신하는 수광부를 포함하는 복수의 단위 심도 셀들이 인접하게 배치되는 심도 센서 모듈을 더 포함하고, 상기 제어부는, 상기 복수의 단위 심도 셀들의 수광부에서 수신되는 상기 반사되는 빔을 이용하여 상기 촬영 대상체의 3차원 좌표를 산출하여 상기 촬영 대상체를 3차원으로 구성하면서 상기 색 정보를 반영할 수 있다.
상기 각 단위 카메라 셀의 수광부 및 상기 각 단위 심도 셀의 수광부는 공통 영역이고, 상기 공통 영역을 기준으로 일 측에 상기 렌즈가 설치되고 다른 측에 상기 발광부가 설치되며, 상기 공통 영역의 중심부에 상기 발광부에서 방출하는 빔을 통과시키는 빔 방출구가 형성될 수 있다.
상기 광학 카메라 모듈 및 상기 심도 센서 모듈은, 소정의 곡률을 갖는 구(sphere)의 일부 형상을 이루어, 상기 렌즈, 상기 수광부 및 상기 발광부의 중심을 하나의 중심축이 관통하고 상기 중심축은 상기 구의 곡률 중심을 향할 수 있다.
상기 제어부는, 상기 복수의 단위 심도 셀들에 수신되는 상기 반사되는 빔을 이용하여 상기 곡률 중심을 원점으로 하는 구면 좌표계 상에서의 상기 촬영 대상체를 구성하는 점들의 3차원 좌표를 산출할 수 있다.
상기 카메라 시스템은, 상기 각 단위 심도 셀들의 상기 곡률 중심을 원점으로 한 구면 좌표계 상에서의 좌표 값과, 상기 구의 반지름을 저장하는 저장부를 더 포함하고, 상기 제어부는, 상기 곡률 중심으로부터 상기 촬영 대상체를 구성하는 각 점까지의 직선 거리를 산출하고, 상기 저장부에서 상기 각 단위 심도 셀의 상기 구면 좌표계 상에서의 (φ, θ) 값을 확인하며, 상기 산출된 직선 거리 및 상기 (φ, θ) 값을 이용하여 상기 각 점의 상기 구면 좌표계 상에서의 3차원 좌표 값을 산출할 수 있다.
상기 제어부는, 상기 복수의 단위 심도 셀들에 수신되는 상기 반사되는 빔을 이용하여 상기 곡률 중심을 원점으로 하는 직교 좌표계 상에서의 상기 촬영 대상체를 구성하는 점들의 3차원 좌표를 산출할 수 있다.
상기 카메라 시스템은, 상기 각 단위 심도 셀들의 상기 곡률 중심을 원점으로 한 구면 좌표계 상에서의 좌표 값과, 상기 구의 반지름을 저장하는 저장부를 더 포함하고, 상기 제어부는, 상기 곡률 중심으로부터 상기 촬영 대상체를 구성하는 각 점까지의 직선 거리를 산출하고, 상기 저장부에서 상기 각 단위 심도 셀의 상기 구면 좌표계 상에서의 (φ, θ) 값을 확인하며, 상기 산출된 직선 거리 및 상기 (φ, θ) 값을 이용하여 상기 각 점의 상기 구면 좌표계 상에서의 좌표 값을 산출하고, 그 산출된 구면 좌표계 상에서의 좌표 값을 상기 곡률 중심을 원점으로 한 직교 좌표계 상에서의 (X, Y, Z) 좌표 값으로 변환할 수 있다.
상기 제어부는, 상기 촬영 대상체의 각 점의 3차원 좌표와, 상기 각 단위 카메라 셀에 대응하는 상기 이미지면의 각 픽셀의 색 정보를 이용하여, 상기 촬영 대상체를 3차원으로 구성할 수 있다.
상기 복수의 단위 카메라 셀 및 상기 복수의 단위 심도 셀은 1열로 배열될 수 있다. 이때 상기 광학 카메라 모듈 및 상기 심도 센서 모듈은, 소정의 곡률을 갖는 구(sphere)의 일부 형상을 이루어, 상기 렌즈, 상기 수광부 및 상기 발광부의 중심을 하나의 중심축이 관통하고 상기 중심축은 상기 구의 곡률 중심을 향할 수 있으며, 상기 곡률 중심이 상기 촬영 대상체의 중심일 수 있다.
상기 광학 카메라 모듈 및 상기 심도 센서 모듈은, 디스플레이 장치의 전체 화면 영역에 통합되고, 상기 제어부는, 상기 디스플레이 장치의 상기 전체 화면 면적에 걸쳐 상기 광학 카메라 모듈 및 상기 심도 센서 모듈을 통해 3차원 이미지를 획득하여 얼굴 인식 또는 지문 인식을 수행할 수 있다.
본 발명은, 초소형의 단위 카메라 셀들을 배열하여 카메라 시스템을 구현함으로써, 고해상도의 영상을 획득할 수 있고, 렌즈의 구경과 부피를 줄여 렌즈와 이미지 센서 간의 거리를 현저하게 줄여 소형화를 달성할 수 있다.
본 발명은 단위 카메라 셀들에 단위 심도 셀들을 조합하여 색 정보가 가미된 3차원 객체 생성을 가능하도록 함으로써 얼굴 인식이나 지문을 포함한 손가락 3마디 전체 혹은 손바닥을 인증에 활용할 수 있고, 빛 투과율을 높여 밝은 영상물을 획득할 수 있다.
또한, 본 발명은 단위 셀들을 구의 일부 형상을 갖도록 하여 촬영 대상체의 심도 정보 및 색 정보를 획득함으로써 화각을 넓힐 수 있고 영상 왜곡을 방지할 수 있으로, 실제 촬영 대상체에 대응하는 3차원 가상 객체를 손쉽게 생성할 수 있다.
도 1은 본 발명의 일 실시예에 따른 카메라 시스템을 나타낸 도면이다.
도 2는 도 1의 광학 카메라 모듈 및 이미지면을 나타낸 도면이다.
도 3은 본 발명의 다른 실시예에 따른 카메라 시스템을 나타낸 도면이다.
도 4는 도 3의 광학 카메라 모듈 및 이미지면을 나타낸 도면이다.
도 5는 본 발명의 또 다른 실시예에 따른 카메라 시스템을 나타낸 도면이다.
도 6은 본 발명의 또 다른 실시예에 따른 카메라 시스템을 나타낸 도면이다.
도 7은 도 6의 광학 카메라 모듈, 심도 센서 모듈 및 이미지면을 나타낸 도면이다.
도 8은 구면 좌표계를 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른 3차원 카메라 시스템에서 촬영 대상체를 구성하는 점들의 3차원 좌표를 산출하는 방법을 설명하는 도면이다.
도 10은 본 발명의 일 실시예에 따른 이미지면과 3차원 카메라 모듈 그리고 피사체면을 나타낸 도면이다.
도 11은 본 발명의 일 실시예에 따른 구(sphere)형의 3차원 라인 스캔 카메라 시스템을 나타낸 도면이다.
도 12는 본 발명의 일 실시예에 따른 수렴형의 3차원 라인 스캔 카메라 시스템을 나타낸 도면이다.
도 13은 본 발명의 또 다른 실시예에 따른 카메라 시스템을 나타낸 도면이다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 카메라 시스템을 나타낸 도면이다. 도 1을 참조하면, 본 실시예에 따른 카메라 시스템은, 복수의 단위 카메라 셀(110)들이 인접하게 배치되는 광학 카메라 모듈(100) 및 상기 광학 카메라 모듈(100)에서 측정한 정보를 이용하여 이미지를 생성하는 제어부(120)를 포함한다.
광학 카메라 모듈(100)은, 도 1에 도시된 바와 같이, 인접하게 연속으로 배치되는 복수의 단위 카메라 셀(110)들을 포함한다. 각 단위 카메라 셀(110)은, 렌즈(111), 렌즈 지지대(112) 및 수광부(113)를 포함한다. 렌즈(111)는 렌즈 지지대(112)에 의해 지지되고 외부의 입사광을 집광한다. 수광부(113)는 이미지 센서로서 예를 들어, CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal Oxide Semiconductor)일 수 있다. 수광부(113)는 렌즈(111)를 통해 집광되는 광을 수신하여 전기적 신호로 변환한다. 복수의 단위 카메라 셀(110)은 N×M(N, M은 자연수)의 배열로 구성될 수 있다. 도 1을 참조한 실시예에서, 복수의 단위 카메라 셀(110)은 동일 평면 상에 배열된다. 통상적인 CCD 구조는 포토다이오드로 이루어지는 광전 변환부와, 수직 전송로 및 수평 전송로를 포함하여 구성된다. 수직 전송로는 광전 변환부의 포토다이오드에서 광전 변환된 전기적 신호의 전하를 받아들여 저장하고, 수평 전송로는 수평 주사 기간마다 수직 전송로에서 전하를 수신하여 외부로 전송한다. 광전 변환부와 수직 전송로는 동일 층에 형성되고 수평 전송로는 상위 층에 형성된다. 따라서 수광부(113)를 CCD 구조로 구현할 경우 광전 변환부 사이의 수직 전송로가 각 단위 카메라 셀(110)들 사이에 형성되도록 하고, 수평 전송로는 렌즈 지지대(112)의 폭과 같거나 작게 구성하여 렌즈 지지대(112) 내부에 은폐되도록 하는 것이 바람직하다.
제어부(120)는 상기 광학 카메라 모듈(100)에서 측정한 정보를 이용하여 이미지면에 색이 반영된 이미지를 생성한다. 바람직하게, 제어부(120)는 상기 복수의 단위 카메라 셀(110)에서 출력되는 전기적 신호를 이용하여 이미지면에 이미지를 생성하며 여기서 이미지면은 디스플레이 장치의 전체 화면 영역일 수 있고, 또는 디스플레이 장치의 전체 화면 영역 중 이미지가 표시되는 일부 화면 영역을 의미할 수 있다. 제어부(120)는, 별도의 독립된 컴퓨팅 장치일 수 있고, 또는 이미지 처리 프로세서일 수도 있고, 메모리에 저장된 프로그램에 따라 동작할 수 있다.
도 2는 도 1의 광학 카메라 모듈 및 이미지면을 나타낸 도면으로, 도 2에 도시된 바와 같이, 광학 카메라 모듈(100)의 복수의 단위 카메라 셀(110)은 평면상에 N×M(N, M은 자연수) 개의 배열로 구성된다. 각 단위 카메라 셀(110)의 수광부(113)는, K×K(K는 자연수) 개의 셀로 구성될 수 있다. 도 2에 도시된 바와 같이, 각 단위 카메라 셀(110)이 이미지면(S1, 200)을 구성하는 각 픽셀이 대응할 수 있다. 예를 들어, (X, Y) 위치의 단위 카메라 셀(110)은 이미지면(S1, 200)의 동일 (X, Y) 위치의 픽셀에 대응한다. 이 경우 제어부(120)는 각 단위 카메라 셀(110)의 수광부(113)의 각 개별 셀들의 화소 값을 하나의 화소 값으로 통합하여(예를 들어, 평균 화소 값) 이미지면(S1, 200)의 대응하는 픽셀의 값으로 설정한다. 또는 각 단위 카메라 셀(110)의 수광부(113)를 구성하는 개별 셀이 상기 이미지면(S1, 200)을 구성하는 각 픽셀에 대응할 수 있다. 따라서, 제어부(120)는 수광부(113)의 각 셀의 화소 값을 상기 이미지면(S1, 200)의 대응하는 각 픽셀의 값으로 설정할 수 있다.
종래에는 렌즈와 이미지 센서 간에는 적지 않은 거리가 확보되어야 하고, 따라서 카메라 시스템의 크기가 커질 수밖에 없고 소형화가 어렵다. 반면, 도 1 및 도 2를 참조한 실시예에 따르면, 초소형의 단위 카메라 셀(110)들을 배열하여 카메라 시스템을 구현함으로써, 고해상도의 영상을 획득할 수 있고, 렌즈의 구경과 부피를 줄여 렌즈와 이미지 센서 간의 거리를 현저하게 줄여 소형화를 달성할 수 있다. 이에 따라 카메라 시스템의 부피와 두께를 줄이는 효과를 발생시켜 이동식 단말기 등에 유리하게 활용될 수 있고, 특히 최소 초점거리를 획기적으로 줄일 수 있어 복강경 등의 카메라 활용에 적합하다.
도 3은 본 발명의 다른 실시예에 따른 카메라 시스템을 나타낸 도면이다. 도 1을 참조한 실시예에서 광학 카메라 모듈(100)의 복수의 단위 카메라 셀(110)은 평면상에 N×M(N, M은 자연수) 개의 배열로 구성된다. 반면, 도 3을 참조한 본 실시예에서 광학 카메라 모듈(100)의 복수의 단위 카메라 셀(110)은 구(sphere)의 일부 형상을 이루어, 각 단위 카메라 셀(110)의 상기 렌즈(111)의 중심 및 상기 수광부(113)의 중심을 관통하는 중심축이 상기 구의 곡률 중심(Q2)을 향한다. 즉, 광학 카메라 모듈(100)의 어느 부분이든 곡률(1/반지름)이 일정하도록 제작된다.
도 4는 도 3의 광학 카메라 모듈 및 이미지면을 나타낸 도면으로, 도 4에 도시된 바와 같이, 광학 카메라 모듈(100)의 복수의 단위 카메라 셀(110)은 구면 상에 N×M(N, M은 자연수) 개의 배열로 구성된다. 각 단위 카메라 셀(110)의 수광부(113)는, K×K(K는 자연수) 개의 셀로 구성될 수 있다. 도 4에 도시된 바와 같이, 각 단위 카메라 셀(110)이 이미지면(S1, 200)을 구성하는 각 픽셀이 대응할 수 있다. 예를 들어, 도 4의 (X0, Y0) 위치의 단위 카메라 셀(110)(TO)은 이미지면(S1, 200)의 (X1, Y1) 위치의 픽셀(T1)에 대응한다. 이 경우 제어부(120)는 각 단위 카메라 셀(110)의 수광부(113)의 각 개별 셀들의 화소 값을 하나의 화소 값으로 통합하여(예를 들어, 평균 화소 값) 이미지면(S1, 200)의 대응하는 픽셀의 값으로 설정한다. 또는 각 단위 카메라 셀(110)의 수광부(113)를 구성하는 개별 셀이 상기 이미지면(S1, 200)을 구성하는 각 픽셀에 대응할 수 있다. 따라서, 제어부(120)는 수광부(113)의 각 셀의 화소 값을 상기 이미지면(S1, 200)의 대응하는 각 픽셀의 값으로 설정할 수 있다.
종래의 이미지 카메라의 경우 렌즈의 광학적 중심을 기준으로 입사광이 교차되어 영상이 반전되는 양상을 보이며, 특히 평면으로 형성된 이미지 면에 투사되므로, 중심부에 비해 가장자리의 영상이 압축되는 현상이 발생한다. 이러한 현상은 렌즈의 화각이 큰 광각렌즈일수록 심하게 발생한다. 하지만 도 3 및 도 4를 참조한 실시예의 카메라 시스템은, 단위 카메라 셀(110)당 단일 화소 값을 생성할 때 영상의 반전이 발생하지 않는다. 또한 180도 화각 이상의 범위를 촬영하더라도 가장자리 영상이 압축되는 왜곡현상이 발생하지 않아 CCTV 등 넓은 범위 촬영과 고화질 촬영에 적합하다.
도 5는 본 발명의 또 다른 실시예에 따른 카메라 시스템을 나타낸 도면이다. 도 5를 참조한 본 실시예에서 광학 카메라 모듈(100)의 하단에 심도 센서 모듈(500)이 배치되어 광학 카메라 모듈(100)과 심도 센서 모듈(500)은 3차원 카메라 모듈을 형성함으로써 3차원 카메라 시스템이 구현된다. 심도 센서 모듈(500)은 도 5에 도시된 바와 같이 복수의 단위 심도 셀(510)들이 인접하게 연속으로 배치된다. 따라서, 광학 카메라 모듈(100)의 각 단위 카메라 셀(110)의 하단에 각 단위 심도 셀(510)이 배치된다. 즉, 광학 카메라 모듈(100)은 촬영 대상체를 향하는 전방에 배치되고 심도 센서 모듈(500)은 후방에 배치된다.
도 5에 도시된 바와 같이, 각 단위 심도 셀(510)은 각 단위 카메라 셀(110)을 지지하는 단위 카메라 셀 지지대(512)와 그 단위 카메라 셀 지지대(512) 내에 배치되어 빔을 방출하는 발광부(511)를 포함한다. 발광부(511)는 레이저 소자 또는 적외선 소자 등이 활용될 수 있고, 바람직하게 발광부(511)는 표면 방출 레이저(VCSEL)가 사용될 수 있다. 본 실시예에서 각 단위 심도 셀(510)은 각 단위 카메라 셀(110)의 수광부(113)를 각 단위 카메라 셀(110)과 공동으로 사용한다. 그리고, 수광부(113)의 중심부와 이에 대응하는 단위 카메라 셀 지지대(512)의 상부 중심부는 상기 발광부(511)에서 방출되는 빔을 통과시키는 빔 방출구(513)가 형성된다. 수광부(113)를 복수의 셀(K×K, K는 자연수)로 구성할 경우, 예를 들어 9개의 셀로 구성할 경우, 중심부 셀을 빔 방출구로 활용하고, 나머지 셀들을 색 정보 생성 및 심도 정보(즉, 거리 정보)를 생성하는데 활용하고, 중심부 셀의 색 정보는 나머지 셀들의 색 정보를 추론하여 가상으로 생성할 수 있다.
제어부(520)는, 각 단위 심도 셀(510)의 발광부(511)에서 동시에 빔을 방출하도록 제어한다. 제어부(520)는, 촬영 대상체의 각 부위에서 반사된 빔이 수광부(113)에 수신되면, 발광부(511)에서의 빔의 방출과 수광부(113)에서의 빔의 수신 사이의 경과 시간(time of flight)을 이용하여 심도 센서 모듈(500), 구체적으로는 각 단위 심도 셀(510)로부터 빔이 반사된 촬영 대상체의 특정 지점까지의 거리를 계산한다. 각 단위 심도 셀(510) 내의 발광부(511)에서 방출되는 빔은 촬영 대상체에서 반사되어 동일 단위 심도 셀(510) 내의 수광부(113)에 수신되는데, 이때 다른 단위 심도 셀(510) 내의 발광부(511)에서 방출된 빔이 반사되어 수신될 수도 있으나, 이 빔에 의한 전기적 신호의 크기는 기준 값보다 작아 무시할 수 있다. 또는 소정의 시간 동안 빔의 방출과 수신을 반복하여 연속적으로 진행하여 가장 빈도가 높은 빔의 경과 시간(time of flight))을 선택하여 거리 계산을 할 수 있다. 제어부(520)는, 광학 카메라 모듈(100)과 심도 센서 모듈(500) 중 하나를 선택적으로 동작시킬 수 있다. 제어부(520)는 광학 카메라 모듈(100)과 심도 센서 모듈(500)를 교호적으로 번갈아가며 동작시킬 수 있다.
저장부(530)는, 임의의 기준점을 원점으로 하는 직교 좌표계에서의 각 단위 심도 셀(510)의 위치 좌표를 저장한다. 제어부(520)는, 각 단위 심도 셀(510)을 통해 계산된 각 단위 심도 셀(510)로부터 촬영 대상체의 특정 지점까지의 거리와, 상기 저장부(530)에 저장된 각 단위 심도 셀(510)의 위치 좌표를 이용하여, 상기 직교 좌표계에서의 촬영 대상체를 구성하는 점들의 3차원 좌표를 산출하고, 그 산출된 3차원 좌표를 이용하여 상기 촬영 대상체의 3차원 공간 또는 객체를 생성할 수 있다. 이때 제어부(520)는, 각 단위 카메라 셀(110)을 통해 산출한 화소 값을 이용하여 각 단위 카메라 셀(110)에 대응하는 각 단위 심도 셀(510)에 의해 거리가 계산된 촬영 대상체의 특정 점의 색상을 설정한다. 따라서, 3차원 공간 또는 객체에 색상이 반영된다. 또는, 제어부(520)는 각 단위 카메라 셀(110)에 대응하는 이미지면의 각 픽셀에 심도 정보, 즉 거리 값을 설정할 수 있다.
일 실시예에서, 광학 카메라 모듈(100)에서 수광부(113)를 제외한 렌즈(111) 및 렌즈 지지대(112)만을 렌즈 모듈로 구성하고, 그 렌즈 모듈을 심도 센서 모듈(500)의 상부에 결합 및 분리가 가능한 커버(Cover)형이나 필터 방식으로 제작할 수 있다.
도 5를 참조한 실시예의 3차원 카메라 시스템은, 스마트폰 등과 같은 이동형 단말기의 디스플레이 장치의 하부 레이어에 위치하거나, 디스플레이 장치에 일체로 제작되어, 디스플레이 장치의 전체 화면 영역을 촬영 영역으로 활용하여 얼굴 인식 및 지문 인식에 활용할 수 있다. 이 경우 종래의 지문 인식 기술에서 광학식 2차원 이미지에서 벗어나 3차원 이미지로 데이터를 획득하여 분석함으로써 위변조를 방지할 수 있다. 또한 디스플레이 장치의 전체 화면 영역을 활용함으로써, 지문을 포함한 손가락 3마디 전체 혹은 손바닥을 인증에 활용할 수 있다. 또한 이러한 방식을 언더 디스플레이 카메라(UDC:Under Display Camera) 기술이라 하는데, 종래의 카메라의 경우 렌즈 구경이 작아 입사광이 디스플레이 장치를 거치며 빛 투과율이 낮아지기에 카메라 이미지가 뿌옇게 나타나는 결과를 피하기 어려웠다. 그러나 본 실시예의 3차원 카메라 시스템을 활용할 경우 렌즈 구경 영역을 디스플레이 전체 영역으로 확대하여 빛 투과율을 높여 밝은 영상물을 획득할 수 있다. 또한 본 실시예의 3차원 카메라 시스템을 지능형 거울의 디스플레이 장치의 하부에 위치시켜 거울을 통한 사용자 얼굴을 분석하여 건강상태나 가상 피팅에 활용할 수 있다.
도 6은 본 발명의 또 다른 실시예에 따른 카메라 시스템을 나타낸 도면이다. 도 5를 참조한 실시예에서 광학 카메라 모듈(100) 및 심도 센서 모듈(500)로 이루어지는 3차원 카메라 모듈은 평면을 구성한다. 반면, 도 6을 참조한 본 실시예에서 광학 카메라 모듈(100) 및 심도 센서 모듈(500)로 이루어지는 3차원 카메라 모듈은 구(sphere)의 일부 형상을 이룬다. 즉, 각 단위 카메라 셀(110)의 렌즈(111)의 중심, 수광부(113)의 중심, 그리고 각 단위 심도 셀(510)의 발광부(511)의 중심을 관통하는 중심축이 상기 구의 곡률 중심(Q2)을 향한다. 즉, 광학 카메라 모듈(100) 및 심도 센서 모듈(500)로 구성되는 3차원 카메라 모듈의 어느 부분이든 곡률(1/반지름)이 일정하도록 제작된다.
도 7은 도 6의 광학 카메라 모듈, 심도 센서 모듈 및 이미지면을 나타낸 도면으로, 도 7에 도시된 바와 같이, 광학 카메라 모듈(100) 및 심도 센서 모듈(500)로 이루어진 3차원 카메라 모듈은 구의 일부 형상을 이룬다. 3차원 카메라 모듈의 단위 카메라 셀(110) 및 단위 심도 셀(510)이 구성하는 단위 셀은, 이미지면(S1, 200)을 구성하는 각 픽셀에 대응할 수 있다. 예를 들어, 도 4의 (X0, Y0) 위치의 단위 셀(T0)은 이미지면(S1, 200)의 (X1, Y1) 위치의 픽셀(T1)에 대응한다. 이 경우 제어부(520)는 각 단위 셀의 수광부(113)의 각 개별 셀들의 화소 값을 하나의 화소 값으로 통합하여(예를 들어, 평균 화소 값) 이미지면(S1, 200)의 대응하는 픽셀의 값으로 설정한다. 또는 각 단위 셀의 수광부(113)를 구성하는 개별 셀이 상기 이미지면(S1, 200)을 구성하는 각 픽셀에 대응할 수 있다. 따라서, 제어부(520)는 수광부(113)의 각 셀의 화소 값을 상기 이미지면(S1, 200)의 대응하는 각 픽셀의 값으로 설정할 수 있다.
저장부(530)는, 곡률 중심(Q2)에서 심도 센서 모듈(500)까지의 거리(즉, 구의 일부 형상이므로 구의 반지름), 심도 센서 모듈(500)의 각 단위 심도 셀(510)들의 상기 곡률 중심을 원점으로 하는 구면 좌표계 상의 위치 좌표, 그리고 제어부(520)에서 처리되는 결과 값을 저장한다. 또한 저장부(530)는 제어부(520)의 동작을 위한 프로그램이 저장된다. 저장부(530)는 메모리일 수 있고, 이러한 메모리는 하나 이상의 프로세서로부터 멀리 떨어져 위치하는 저장 장치, 예를 들어 통신 회로와, 인터넷, 인트라넷, LAN(Local Area Network), WLAN(Wide LAN), SAN(ST0rage Area Network) 등, 또는 이들의 적절한 조합과 같은 통신 네트워크(도시하지 않음)를 통하여 액세스되는 네트워크 부착형(attached) 저장 장치를 포함할 수 있다. 제어부(520)는, 상기 심도 센서 모듈(500)에서 측정된 정보를 이용하여 촬영 대상체를 구성하는 점들의 3차원 좌표를 산출하고, 그 산출된 3차원 좌표를 이용하여 상기 촬영 대상체의 3차원 공간 또는 객체를 생성한다. 제어부(520)에서 구의 일부 형상인 심도 센서 모듈(500)을 이용하여 촬영 대상체의 3차원 좌표를 산출하는 과정은 도 8 및 도 9를 참조하여 이하에서 설명한다.
도 8은 구면 좌표계를 나타낸 도면이다. 도 8을 참조하면, 구면 위의 한 점 P는 구면 좌표계 (ρ, φ, θ)로 나타낼 수 있다. 여기서 ρ는 원점으로부터 점 P까지의 거리를 뜻하며 ρ≥0이다. φ는 양의 Z 축으로부터 점 P까지 이루는 각도이며 0≤φ≤π이다. θ는 양의 X 축으로부터 XY 평면에 점 P가 사영된 점까지 이루는 각도이며 0≤θ≤2π이다. 이러한 구면 좌표계 (ρ, φ, θ)는 아래와 같이 직교 좌표계 (x, y, z)로 변환될 수 있다. 본 발명에 있어서 도 8에 도시된 원점은 심도 센서 모듈(500)의 곡률 중심에 대응하고 양의 Z 축은 심도 센서 모듈(500)의 곡률 중심에서 심도 센서 모듈(500)의 중심을 향하는 축일 수 있다.
x=ρsinφcosθ,
y=ρsinφsinθ,
z=ρcosφ
도 9는 본 발명의 일 실시예에 따른 3차원 카메라 시스템에서 촬영 대상체를 구성하는 점들의 3차원 좌표를 산출하는 방법을 설명하는 도면이다. 도 9는 심도 센서 모듈(500)(S0) 및 피사체면(S2)을 도시한다. 피사체면(S2)은 촬영 대상체를 구성하는 어느 한 점(T2), 즉 피사체가 존재하는 피사체면(object plane)이다. 심도 센서 모듈(500)의 발광부(511)에서 방출된 빔은 피사체(T2)에서 반사되어 심도 센서 모듈(500)의 곡률 중심(O)을 향하고 심도 센서 모듈(500)의 특정 지점(T0)의 수광부(113)로 입사된다. 촬영 대상체를 구성하는 모든 점들의 3차원 좌표를 산출하면 촬영 대상체를 3차원으로 구성할 수 있다. 여기서 점의 크기 등의 기준은 설정에 따라 달라진다. 심도 센서 모듈(500)의 중심은 P0, 피사체면(S2)의 중심은 P2, 그리고 심도 센서 모듈(500)의 곡률 중심은 O으로 표기한다.
구체적으로, 도 9를 참조하여 상기 피사체(T2)의 3차원 좌표를 산출하는 방법은 다음과 같다. 심도 센서 모듈(500)의 발광부(511)에서 방출된 빔은 피사체(T2)에서 반사되어 심도 센서 모듈(500)의 T0 지점의 수광부(113)로 되돌아온다. 따라서, 심도 센서 모듈(500)의 T0 지점을 곡률 중심(O)을 원점으로 하는 구면 좌표계로 표현하면 다음과 같다.
T0 = (R0, φ0, θ0)
여기서 R0는 곡률 중심(O)에서 T0 지점까지의 거리이고, φ0는 양의 Z 축으로부터 T0 지점까지 이루는 각도이며, θ0는 양의 X 축으로부터 XY 평면에 T0 지점이 사영된 점까지 이루는 각도이다.
다음으로, 피사체(T2)를 구면 좌표계로 표현하면 다음과 같다.
T2 = (R2, φ0, θ2)
여기서 R2는 곡률 중심(O)에서 T2 지점까지의 거리이고, φ0는 양의 Z 축으로부터 T2 지점까지 이루는 각도이며, θ2는 양의 X 축으로부터 XY 평면에 T2가 사영된 점까지 이루는 각도이다.
피사체(T2)에서 반사되는 빔은 심도 센서 모듈(500)의 T0 지점으로 입사되므로, 심도 센서 모듈(500)의 T0 지점의 구면 좌표계에서의 φ 값과, 피사체(T2)의 구면 좌표계에서의 φ 값은 φ0로 동일하다. 또한, T0 지점의 구면 좌표계에서의 θ0와 피사체(T2)의 구면 좌표계에서의 θ2도 서로 동일하다. 따라서, 심도 센서 모듈(500)의 곡률 중심(0)을 원점으로 하는 구면 좌표계에서 T0 지점과 피사체(T2)는 거리, 즉 R0와 R2에서만 다르다. 심도 센서 모듈(500)의 각 단위 심도 셀(510)들의 구면 좌표계에서의 (R, φ, θ) 값은 저장부(530)에 저장되어 있으므로, 피사체(T2)에서 반사되는 빔이 심도 센서 모듈(500)의 T0 지점으로 입사되었을 때, 해당 T0 지점의 (φ, θ) 값, 즉 (φ0, θ0)를 추출하고, 곡률 중심(0)에서 피사체(T2)까지의 거리 R2만 알게 되면, 최종적으로 피사체(T2)의 곡률 중심(0)을 원점으로 한 구면 좌표계에서의 3차원 좌표 값을 계산할 수 있다.
또는, 구면 좌표계에서의 3차원 좌표 값을 직교 좌표계에서의 (X, Y, Z) 좌표 값으로 변환하여 계산할 수 있다. 직교 좌표계에서의 (X, Y, Z) 좌표 값은, 피사체(T2)의 구면 좌표계의 (R2, φ0, θ2) 좌표 값을 직교 좌표계의 좌표 값으로 변환함으로써 구해진다. 즉, 피사체(T2)의 (X, Y, Z) 좌표 값인 (X2, Y2, Z2)는, 구면 좌표계 (R2, φ0, θ2)를 통해 아래와 같이 구해진다.
X2 = R2sinφ0cosθ2
Y2 = R2sinφ0sinθ2
Z2 = R2cosφ0
이와 같이 입체물인 촬영 대상체를 구성하는 점들의 상기 곡률 중심(O)를 원점으로 한 구면 좌표계 상의 또는 직교 좌표계 상의 좌표 값을 구하게 되면, 최종적으로 촬영 대상체의 3차원 형상을 얻을 수 있다.
제어부(520)는, 상기 촬영 대상체를 구성하는 점들의 구면 좌표계 또는 직교 좌표계에서의 좌표 값이 구해지면, 이 좌표 값을 이용하여 촬영 대상체의 색 정보가 없는 3차원 형상을 얻을 수 있다. 제어부(520)는, 각 단위 심도 셀(510)과 쌍을 이루는 각 단위 카메라 셀(110)을 이용하여 측정한 색 정보를 촬영 대상체의 점들에 반영함으로써 촬영 대상체의 색 정보가 있는 3차원 형상을 얻을 수 있다.
도 10은 본 발명의 일 실시예에 따른 이미지면과 3차원 카메라 모듈 그리고 피사체면을 나타낸 도면이다. 도 10은 이미지면(S1), 3차원 카메라 모듈(100, 500)(S0), 그리고 피사체면(S2)을 도시한다. 피사체면(S2)은 촬영 대상체를 구성하는 어느 한 점(T2), 즉 피사체가 존재하는 피사체면(object plane)이다. 피사체(T2)에서 반사되는 빛은 구의 곡률 중심(Q2)을 향해 3차원 카메라 모듈(S0)로 입사된다. 피사체면(S2)은 이미지면(S1)과 평행하다. 촬영 대상체를 구성하는 모든 점들의 3차원 좌표를 곡률 중심(Q2)을 원점으로 하여 산출하면 촬영 대상체를 3차원으로 구성할 수 있다. 여기서 점의 크기 등의 기준은 설정에 따라 달라진다. 이미지면(S1)의 중심은 P1, 3차원 카메라 모듈(S0)의 중심은 P0, 그리고 피사체면(S2)의 중심은 P2로 표기한다. 3차원 카메라 모듈(S0)을 구성하는 각 단위 셀(110, 510)들의 3차원 카메라 모듈(S0) 내에서의 위치는 이미지면(S1)에 적합하게 제작될 수 있다. 이를 설명하면 다음과 같다.
먼저, 이미지면(S1)의 T1 지점을 구면 좌표계로 표시하면 다음과 같다.
T1 = (R1, φ1, θ1)
여기서 R1은 곡률 중심(Q2)에서 T1 지점까지의 거리이고, φ1는 양의 Z 축으로부터 T1 지점까지 이루는 각도이며, θ1는 양의 X 축으로부터 XY 평면에 T1 지점이 사영된 점까지 이루는 각도이다. 보다 구체적으로, (R1, φ1, θ1)의 값은 다음과 같이 구할 수 있다.
F=곡률 중심(Q2) ~ P1 거리
S=P1 ~ T1 거리
R1=√(F2 + S2),
φ1=cos-1(F/R1)
θ1=cos-1(X1/S)
다음으로, 3차원 카메라 모듈(S0)의 T0 지점을 구면 좌표계로 표현하면 다음과 같다.
T0 = (R0, φ0, θ0)
여기서 R0는 곡률 중심(Q2)에서 T0 지점까지의 거리이고, φ0는 양의 Z 축으로부터 T0 지점까지 이루는 각도이며, θ0는 양의 X 축으로부터 XY 평면에 T0 지점이 사영된 점까지 이루는 각도이다.
곡률 중심(Q2)을 원점으로 하는 동일 구면 좌표계를 기준으로 할 때, T1 지점과 T0 지점은 180도의 차이가 있지만, 원점만을 동일하게 하고 축의 방향을 180도 달리하는 두 개의 구면 좌표계를 생각하면, T1의 φ1과 T0의 φ0은 동일하고, 또한 T1의 θ1과 T0의 θ0는 동일하다. 따라서, 곡률 중심(Q2)을 기준으로 한 구면 좌표계에서 볼 때, T1 및 T0는 φ와 θ는 동일하고 곡률 중심(Q2)으로부터의 거리인 R1과 R0만 차이가 있다. 따라서, 이미지면(S1)에 적합한 3차원 카메라 모듈(S0)을 제작하기 위해서는, (1) 이미지면(S1)의 픽셀들을 구면 좌표계의 좌표 값으로 변환한 후, (2) 곡률 중심(Q2)에서의 각 픽셀까지의 거리(즉, R1)를 곡률 중심(Q2)에서 3차원 카메라 모듈(S0)까지의 거리(R0)로 교체하고, (3) 그 거리가 교체된 구면 좌표계의 좌표 값을 이용하여 3차원 카메라 모듈(S0)의 각 단위 셀들을 위치시켜 제작하면 된다. 즉, 이미지면(S1)의 각 픽셀의 위치를 곡률 중심(Q2)을 중심으로 180도 회전하면서 거리를 R0로 설정하면 된다. 상기 곡률 중심(Q2)을 중심으로 상기 이미지면(S1)의 각 픽셀의 방향과 180도 반대 방향의 지점이면서 상기 곡률 중심(Q2)으로부터 상기 구의 반지름만큼 떨어진 위치에 상기 3차원 카메라 모듈(S0)의 각 단위 셀이 위치하는 것이다. 이와 같이 하게 되면, 3차원 카메라 모듈(S0)의 각 단위 셀은 이미지면(S1)의 각 픽셀에 대응하게 되어, 이미지면(S1)의 각 픽셀에 심도 값을 적용할 수 있다. 이러한 실시예는 3차원 카메라 모듈(S0)이 이미지면(S1)을 커버하는 면적을 가질 때 바람직하다.
이상에서 설명한 실시예에 따른 3차원 카메라 시스템은, 얼굴 인식, 파노라마 이미지를 활용한 3D 공간의 생성, VR 피팅, 자율 주행차 등에서 활용될 수 있다. 예를 들어 VR 피팅의 경우, 사용자는 스마트폰의 3차원 카메라 시스템을 이용하여 자신의 인체를 3D 객체로 생성하여 저장한 후, 어플리케이션을 통해서 온라인 쇼핑몰에서 3D 의류를 제공받아 자신의 3D 객체에 적용시켜 의류가 잘 어울리는지 등을 확인할 수 있다. 또 다른 예로 얼굴 인식의 경우, 종래에는 2차원 이미지에서 얼굴을 인식하여 동일인 여부를 판단한다. 본 발명에 따른 3차원 카메라 시스템이 스마트폰에 설치되었을 때, 사용자는 스마트폰의 3차원 카메라 시스템을 이용하여 자신의 얼굴을 인식하여 등록한다. 이때 3차원 카메라 시스템은 두 눈의 중심 간 거리를 측정하여 저장하고, 이 두 눈의 중심 간 거리를 얼굴 인식의 기준으로 활용할 수 있다. 본 발명의 3차원 카메라 시스템은 두 눈의 중심 간 거리를 측정할 때 단순히 2차원 이미지에서의 직선 거리를 측정하는 것이 아니라, 심도 값을 이용한 3차원 상의 곡선 거리이기 때문에, 사진을 조작할 경우 얼굴 인증에 실패하게 된다.
또한, 3차원 카메라 시스템의 각 단위 셀 사이의 경계면, 보다 구체적으로 렌즈(111)들 사이에 빛이 전방으로 향하도록 LED 모듈을 설치하고 해당 LED 모듈을 조명으로 활용할 수도 있다. 이 경우 3차원 카메라 시스템을 특수 카메라인 복강경으로 활용할 때 유용하다.
본 발명의 3차원 카메라 시스템은 에어리어 스캔(Area Scan) 카메라 형태로 이용할 수 있을 뿐만 아니라, 라인 스캔(Line Scan) 카메라 형태로도 이용할 수 있다. 360도 촬영시 에어리어 스캔 카메라는 여러 대가 필요하지만, 라인 스캔 카메라의 경우 하나의 라인 스캔 카메라로 360도 촬영이 가능하다. 본 발명의 실시예에 따른 3차원 라인 스캔 카메라 시스템은, 3차원 카메라 모듈의 단위 셀이 1열로만 배열된다. 즉, 쌍을 이루는 단위 카메라 셀(110) 및 단위 심도 셀(510)이 1열로만 배열된다. 3차원 라인 스캔 카메라 시스템은 촬영 대상체의 이동 속도에 맞추어 촬영을 연속적으로 끊임없이 하여 초고화질을 구현할 수 있고 스캔 속도 또한 대단히 빠르다.
3차원 라인 스캔 카메라 시스템은, 1열로 배열된 단위 셀들이 곡률 없이 평평하게 배치되어 촬영 대상체를 향하는 일반형과, 1열로 배열된 단위 셀들이 구의 일부 형상을 이루고 단위 셀들의 곡률 중심이 구의 중심인 구(sphere)형과, 1열로 배열된 단위 셀들의 곡률 중심이 촬영 대상체의 중심이며 각 단위 셀의 렌즈(111)가 촬영 대상체를 향하도록 구성된 수렴형으로 분류할 수 있다. 수렴형의 경우 단위 셀들의 곡률 중심과 촬영 대상체의 중심이 일치한다.
도 11은 본 발명의 일 실시예에 따른 구(sphere)형의 3차원 라인 스캔 카메라 시스템을 나타낸 도면이다. 도 11을 참조하면, 구형의 3차원 라인 스캔 카메라 시스템(1110)은, 단위 셀이 1열로만 배열된 3차원 카메라 모듈(1120)을 포함하고, 3차원 카메라 모듈(1120)을 통해 스캔 영역(1130)을 촬영하여 스캔 영역(1130)에 대한 3차원 객체를 생성할 수 있다. 3차원 라인 스캔 카메라 시스템(1110)은, 고정된 위치에서 회전하면서 360도 전방향에 대한 3차원을 구성할 수 있다. 3차원 라인 스캔 카메라 시스템(1110)은 도 11에 도시된 바와 같이 고정된 위치에서 회전하는 형태로 설계될 수 있으나, 회전하지 않고 이동하는 구조로 설계될 수도 있다. 예를 들어 제품을 검사하기 위해 컨베이어 위에 설치하는 경우와, 반대로 이동이 쉽지 않은 구조물의 표면을 측정하기 위해 3차원 라인 스캔 카메라 시스템(1110)을 직선 이동하여야 하는 경우를 들 수 있다.
구(sphere)형의 3차원 라인 스캔 카메라 시스템은, 촬영 대상체를 촬영할 때 화각에 따른 왜곡이 발생할 수 있다. 가령 3차원 라인 스캔 카메라 시스템이 향하는 촬영 대상체가 평면에 가까운 경우 영상의 가장자리부가 중심부에 비해 압축되어 단위 픽셀에 기록됨을 알 수 있다. 이러한 단점을 보완하기 위해 일반형의 3차원 라인 스캔 카메라 시스템으로 촬영하여 촬영 대상체의 상태를 정밀 분석하는 것이 효율적일 수 있다.
도 12는 본 발명의 일 실시예에 따른 수렴형의 3차원 라인 스캔 카메라 시스템을 나타낸 도면이다. 도 12를 참조하면, 수렴형의 3차원 라인 스캔 카메라 시스템(1204)은, 지지대(1203) 위에 지지된다. 촬영 대상체(1201)는 피사물 받침대(1205)에 올려지고 피사물 받침대(1205)를 회전시키면서 수렴형의 3차원 라인 스캔 카메라 시스템(1204)로 촬영 대상체(1201)를 촬영하여 촬영 대상체의 3차원 객체를 생성한다. 촬영 대상체(1201)의 중심(Q2)을 수렴형 3차원 라인 스캔 카메라 시스템(1204)의 곡률 중심으로 설정한다. 원형 레일(1202)을 따라 수렴형 3차원 라인 스캔 카메라 시스템(1204)을 수직 이동시키고 다시 피사물 받침대(1205)를 회전시키면서 수렴형의 3차원 라인 스캔 카메라 시스템(1204)으로 촬영 대상체(1201)를 촬영한다. 이와 같은 방식으로 수렴형의 3차원 라인 스캔 카메라 시스템(1204)은 촬영 대상체(1201)의 3차원 객체를 생성할 수 있다. 가까운 미래 현대인의 생활 주변에 가상 현실(VR), 증강 현실(AR), 혼합 현실(MR) 등의 가상 환경이 급속도로 증가하게 된다. 이러한 가상 환경 내부에 객체들은 3차원으로 구성되며 이에 현실 세계의 사물들을 3차원 객체로 재구성하는 문제가 발생한다. 그 해결책으로 수렴형 3차원 라인 스캔 카메라 시스템이 효율적으로 사용될 수 있다.
도 13은 본 발명의 또 다른 실시예에 따른 카메라 시스템을 나타낸 도면이다. 상술한 도 5를 참조한 실시예에서, 단위 카메라 셀(110)과 단위 심도 셀(510)은 수광부(113)를 공동으로 사용하였다면, 도 13을 참조한 본 실시예에서 단위 카메라 셀(110)과 단위 심도 셀(510)은 각각 개별적으로 수광부(113-1, 113-2)를 구비할 수 있다. 즉, 단위 카메라 셀(110)의 수광부(113-1)의 중심부에, 빔 방출구(513)보다 직경이 큰 홀을 형성하고, 그 홀에 노출되는 단위 카메라 셀 지지대(512)의 상부 부분에 단위 심도 셀(510)의 수광부(113-2)를 구현한다. 따라서, 단위 카메라 셀(110)은 수광부(113-1)를 통해 입사광을 수신하고, 단위 심도 셀(510)은 수광부(113-2)를 통해 발광부(511)에서 방출되어 촬영 대상체에서 반사되는 빔을 수신한다. 본 실시예에 따르면, 광학 카메라 모듈(100)과 심도 센서 모듈(500)을 동시에 동작시킬 수 있다.
본 명세서는 많은 특징을 포함하는 반면, 그러한 특징은 본 발명의 범위 또는 특허청구범위를 제한하는 것으로 해석되어서는 안 된다. 또한, 본 명세서에서 개별적인 실시예에서 설명된 특징들은 단일 실시예에서 결합되어 구현될 수 있다. 반대로, 본 명세서에서 단일 실시예에서 설명된 다양한 특징들은 개별적으로 다양한 실시예에서 구현되거나, 적절히 결합되어 구현될 수 있다. 이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
100 : 광학 카메라 모듈
110 : 단위 카메라 셀
111 : 렌즈
112 : 렌즈 지지대
113 : 수광부
120, 520 : 제어부
530 : 저장부
500 : 심도 센서 모듈
510 : 단위 심도 셀
511 : 발광부
512 : 단위 카메라 셀 지지대
513 : 빔 방출구

Claims (13)

  1. 3차원 카메라 시스템에 있어서,
    촬영 대상체로부터의 입사광을 집광시키는 렌즈와 상기 렌즈를 통해 집광되는 상기 입사광을 수신하여 전기적 신호로 변환하는 수광부를 각각 포함하는 복수의 단위 카메라 셀들이 인접하게 배치되는 광학 카메라 모듈;
    각각 상기 복수의 단위 카메라 셀과 전후(前後)로 배치되고 또한 각각 빔을 방출하는 발광부와 촬영 대상체에 의해 반사되는 상기 빔을 수신하는 수광부를 포함하는 복수의 단위 심도 셀들이 인접하게 배치되며, 상기 광학 카메라 모듈의 후방에 배치되는 심도 센서 모듈; 및
    상기 복수의 단위 카메라 셀 각각의 수광부에서 출력되는 전기적 신호를 이용하여 상기 촬영 대상체의 색 정보를 생성하고, 상기 복수의 단위 심도 셀들의 수광부에서 수신되는 상기 반사되는 빔을 이용하여 상기 촬영 대상체의 3차원 좌표를 산출하며, 상기 색 정보 및 상기 3차원 좌표를 이용하여 상기 촬영 대상체를 3차원으로 구성하는 제어부를 포함하는 3차원 카메라 시스템.
  2. 제 1 항에 있어서,
    상기 각 단위 카메라 셀의 수광부 및 상기 각 단위 심도 셀의 수광부는 공통 영역이고,
    상기 공통 영역을 기준으로 상기 촬영 대상체 측에 상기 렌즈가 설치되고 반대 측에 상기 발광부가 설치되며,
    상기 공통 영역의 중심부에 상기 발광부에서 방출하는 빔을 통과시키는 빔 방출구가 형성된 것을 특징으로 하는 3차원 카메라 시스템.
  3. 제 1 항에 있어서,
    상기 광학 카메라 모듈 및 상기 심도 센서 모듈은,
    소정의 곡률을 갖는 구(sphere)의 일부 형상을 이루어,
    상기 렌즈와, 상기 광학 카메라 모듈 및 상기 심도 센서 모듈의 수광부와, 상기 발광부의 중심을 하나의 중심축이 관통하고 상기 중심축은 상기 구의 곡률 중심을 향하는 것을 특징으로 하는 3차원 카메라 시스템.
  4. 제 3 항에 있어서,
    상기 제어부는,
    상기 복수의 단위 심도 셀들에 수신되는 상기 반사되는 빔을 이용하여 상기 곡률 중심을 원점으로 하는 구면 좌표계 상에서의 상기 촬영 대상체를 구성하는 점들의 3차원 좌표를 산출하는 것을 특징으로 하는 3차원 카메라 시스템.
  5. 제 4 항에 있어서,
    상기 각 단위 심도 셀들의 상기 곡률 중심을 원점으로 한 구면 좌표계 상에서의 좌표 값과, 상기 구의 반지름을 저장하는 저장부를 더 포함하고,
    상기 제어부는,
    상기 곡률 중심으로부터 상기 촬영 대상체를 구성하는 각 점까지의 직선 거리를 산출하고, 상기 저장부에서 상기 각 단위 심도 셀의 상기 구면 좌표계 상에서의 (φ, θ) 값을 확인하며, 상기 산출된 직선 거리 및 상기 (φ, θ) 값을 이용하여 상기 각 점의 상기 구면 좌표계 상에서의 3차원 좌표 값을 산출하는 것을 특징으로 하는 3차원 카메라 시스템.
  6. 제 3 항에 있어서,
    상기 제어부는,
    상기 복수의 단위 심도 셀들에 수신되는 상기 반사되는 빔을 이용하여 상기 곡률 중심을 원점으로 하는 직교 좌표계 상에서의 상기 촬영 대상체를 구성하는 점들의 3차원 좌표를 산출하는 것을 특징으로 하는 3차원 카메라 시스템.
  7. 제 6 항에 있어서,
    상기 각 단위 심도 셀들의 상기 곡률 중심을 원점으로 한 구면 좌표계 상에서의 좌표 값과, 상기 구의 반지름을 저장하는 저장부를 더 포함하고,
    상기 제어부는,
    상기 곡률 중심으로부터 상기 촬영 대상체를 구성하는 각 점까지의 직선 거리를 산출하고, 상기 저장부에서 상기 각 단위 심도 셀의 상기 구면 좌표계 상에서의 (φ, θ) 값을 확인하며, 상기 산출된 직선 거리 및 상기 (φ, θ) 값을 이용하여 상기 각 점의 상기 구면 좌표계 상에서의 좌표 값을 산출하고, 그 산출된 구면 좌표계 상에서의 좌표 값을 상기 곡률 중심을 원점으로 한 직교 좌표계 상에서의 (X, Y, Z) 좌표 값으로 변환하는 것을 특징으로 하는 3차원 카메라 시스템.
  8. 제 4 항 내지 제 7 항 중 어느 한 항에 있어서,
    상기 제어부는,
    상기 촬영 대상체의 각 점의 3차원 좌표와, 상기 각 단위 카메라 셀에 대응하는 이미지면의 각 픽셀의 색 정보를 이용하여, 상기 촬영 대상체를 3차원으로 구성하는 것을 특징으로 하는 3차원 카메라 시스템.
  9. 제 1 항에 있어서,
    상기 수광부는, 적어도 하나의 셀들로 구성되고,
    상기 제어부는, 상기 수광부의 각 셀들의 화소 값을 하나로 통합하여 상기 이미지면의 하나의 픽셀의 값으로 설정하는 것을 특징으로 하는 3차원 카메라 시스템.
  10. 제 1 항에 있어서,
    상기 복수의 단위 카메라 셀 및 상기 복수의 단위 심도 셀은 1열로 배열되는 것을 특징으로 하는 3차원 카메라 시스템.
  11. 제 10 항에 있어서,
    상기 광학 카메라 모듈 및 상기 심도 센서 모듈은,
    소정의 곡률을 갖는 구(sphere)의 일부 형상을 이루어,
    상기 렌즈와, 상기 광학 카메라 모듈 및 상기 심도 센서 모듈의 수광부와, 상기 발광부의 중심을 하나의 중심축이 관통하고 상기 중심축은 상기 구의 곡률 중심을 향하는 것을 특징으로 하는 3차원 카메라 시스템.
  12. 제 11 항에 있어서,
    상기 곡률 중심이 상기 촬영 대상체의 중심인 것을 특징으로 하는 3차원 카메라 시스템.
  13. 제 1 항에 있어서,
    상기 광학 카메라 모듈 및 상기 심도 센서 모듈은, 디스플레이 장치의 전체 화면 영역에 통합되고,
    상기 제어부는, 상기 디스플레이 장치의 상기 전체 화면 면적에 걸쳐 상기 광학 카메라 모듈 및 상기 심도 센서 모듈을 통해 3차원 이미지를 획득하여 얼굴 인식 또는 지문 인식을 수행하는 것을 특징으로 하는 3차원 카메라 시스템.
KR1020190175648A 2019-12-26 2019-12-26 3차원 카메라 시스템 KR102184210B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190175648A KR102184210B1 (ko) 2019-12-26 2019-12-26 3차원 카메라 시스템
PCT/KR2020/019060 WO2021133082A1 (ko) 2019-12-26 2020-12-24 3차원 카메라 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190175648A KR102184210B1 (ko) 2019-12-26 2019-12-26 3차원 카메라 시스템

Publications (1)

Publication Number Publication Date
KR102184210B1 true KR102184210B1 (ko) 2020-11-27

Family

ID=73641697

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190175648A KR102184210B1 (ko) 2019-12-26 2019-12-26 3차원 카메라 시스템

Country Status (2)

Country Link
KR (1) KR102184210B1 (ko)
WO (1) WO2021133082A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021133082A1 (ko) * 2019-12-26 2021-07-01 박배억 3차원 카메라 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100026093A (ko) * 2008-08-29 2010-03-10 (주)이오시스템 광 스캐너
KR20120111092A (ko) * 2011-03-31 2012-10-10 삼성전자주식회사 촬상 장치
KR20140046335A (ko) * 2012-10-10 2014-04-18 삼성전자주식회사 결상 광학계 및 이를 포함하는 3차원 영상 획득 장치
KR20170071411A (ko) * 2015-12-15 2017-06-23 삼성전자주식회사 볼륨 최근접 거리 접근법을 이용한 3차원 모델 생성 방법 및 장치
US20180300891A1 (en) * 2015-10-15 2018-10-18 Hangzhou Hikvision Digital Technology Co., Ltd. Method for obtaining combined depth image, and depth camera

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102184210B1 (ko) * 2019-12-26 2020-11-27 박배억 3차원 카메라 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100026093A (ko) * 2008-08-29 2010-03-10 (주)이오시스템 광 스캐너
KR20120111092A (ko) * 2011-03-31 2012-10-10 삼성전자주식회사 촬상 장치
KR20140046335A (ko) * 2012-10-10 2014-04-18 삼성전자주식회사 결상 광학계 및 이를 포함하는 3차원 영상 획득 장치
US20180300891A1 (en) * 2015-10-15 2018-10-18 Hangzhou Hikvision Digital Technology Co., Ltd. Method for obtaining combined depth image, and depth camera
KR20170071411A (ko) * 2015-12-15 2017-06-23 삼성전자주식회사 볼륨 최근접 거리 접근법을 이용한 3차원 모델 생성 방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021133082A1 (ko) * 2019-12-26 2021-07-01 박배억 3차원 카메라 시스템

Also Published As

Publication number Publication date
WO2021133082A1 (ko) 2021-07-01

Similar Documents

Publication Publication Date Title
ES2864834T3 (es) Dispositivo y método para obtener información de distancia de las vistas
EP3422955B1 (en) System and method for assisted 3d scanning
US10085005B2 (en) Capturing light-field volume image and video data using tiled light-field cameras
Matsuda et al. Mc3d: Motion contrast 3d scanning
KR102483838B1 (ko) Vr/ar 응용에서 심도 증강을 위한 다중-기선 카메라 어레이 시스템 아키텍처
US20170139131A1 (en) Coherent fiber array with dense fiber optic bundles for light-field and high resolution image acquisition
WO2019100933A1 (zh) 用于三维测量的方法、装置以及系统
US20210360154A1 (en) Display and image-capture device
CN106454287A (zh) 组合摄像系统、移动终端及图像处理方法
WO2017121058A1 (zh) 一种全光信息采集系统
WO2019184185A1 (zh) 目标图像获取系统与方法
WO2019184184A1 (zh) 目标图像获取系统与方法
WO2019184183A1 (zh) 目标图像获取系统与方法
KR20210051242A (ko) 멀티 렌즈 영상 복원 장치 및 방법
JP2010250452A (ja) 任意視点画像合成装置
JP2000102040A (ja) 電子ステレオカメラ
US9532030B2 (en) Integrated three-dimensional vision sensor
KR102184210B1 (ko) 3차원 카메라 시스템
CN112866512A (zh) 复眼摄像装置及复眼系统
CN113424522A (zh) 使用半球形或球形可见光深度图像进行三维跟踪
KR20190019059A (ko) 수평 시차 스테레오 파노라마를 캡쳐하는 시스템 및 방법
US20110018872A1 (en) Real-time high-speed three dimensional modeling system
JP2000184398A (ja) 仮想画像立体合成装置、仮想画像立体合成方法、ゲ―ム装置及び記録媒体
JP2023535538A (ja) 構造光を使用した深度マッピングのための赤外線・非赤外線チャネルブレンダ
CN109084679A (zh) 一种基于空间光调制器的3d测量及获取装置

Legal Events

Date Code Title Description
GRNT Written decision to grant