KR102660776B1 - 정보 처리 장치 및 정보 처리 방법 - Google Patents

정보 처리 장치 및 정보 처리 방법 Download PDF

Info

Publication number
KR102660776B1
KR102660776B1 KR1020227029613A KR20227029613A KR102660776B1 KR 102660776 B1 KR102660776 B1 KR 102660776B1 KR 1020227029613 A KR1020227029613 A KR 1020227029613A KR 20227029613 A KR20227029613 A KR 20227029613A KR 102660776 B1 KR102660776 B1 KR 102660776B1
Authority
KR
South Korea
Prior art keywords
information
unit
dimensional
image
display
Prior art date
Application number
KR1020227029613A
Other languages
English (en)
Other versions
KR20220133267A (ko
Inventor
간타 시미즈
Original Assignee
가부시키가이샤 리코
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2020050539A external-priority patent/JP2021150880A/ja
Priority claimed from JP2020050608A external-priority patent/JP2021150882A/ja
Application filed by 가부시키가이샤 리코 filed Critical 가부시키가이샤 리코
Publication of KR20220133267A publication Critical patent/KR20220133267A/ko
Application granted granted Critical
Publication of KR102660776B1 publication Critical patent/KR102660776B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/293—Generating mixed stereoscopic images; Generating mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/158—Switching image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

수광된 광에 기초하여 결정되는 3차원 정보를 출력하기 위한 정보 처리 장치(1)는 2차원 이미지 정보를 캡처하도록 구성된 이미지 캡처 유닛(11); 및 디스플레이하기 위한 상기 2차원 이미지 정보와, 상기 2차원 이미지 정보의 좌표와 연관된 상기 3차원 정보를 출력하도록 구성된 출력 유닛(170, 180)을 포함한다.

Description

정보 처리 장치 및 정보 처리 방법
본 개시는 정보 처리 장치 및 정보 처리 방법에 관한 것이다.
JP-2018-077071-A는 물체까지의 범위(range) 또는 거리(distance)를 안정적이고 정확하게 측정할 수 있는 거리 측정 디바이스(ranging device)를 기술한다.
JP-2011-077606-A는 캡처된 이미지에 손가락 등이 포함되어 있을 때 캡처된 이미지에서 손가락 등이 포함된 것의 영향을 줄이기 위해 이미지 처리를 수행하는 이미징 장치(imaging apparatus)를 기술한다.
[인용 목록]
[특허문헌]
[PTL1]
JP-2018-077071-A
[PTL2]
JP-2011-077606-A
본 개시는 상술한 문제를 감안하여 고안되어 원하지 않는 물체가 없는 바람직한 3차원 정보가 획득된 것을 용이하게 확인할 수 있는 정보 처리 장치 및 정보 처리 방법을 제공하는 실시예를 개시한다.
본 발명의 일 양태에서, 수광된 광에 기초하여 결정되는 3차원 정보를 출력하기 위한 정보 처리 장치는, 2차원 이미지 정보를 캡처하도록 구성된 이미지 캡처 유닛; 및 디스플레이하기 위한 2차원 이미지 정보와, 상기 2차원 이미지 정보의 좌표와 연관된 3차원 정보를 출력하도록 구성된 출력 유닛을 포함한다.
본 개시의 하나 이상의 실시예에서는, 원하지 않는 물체 없가 없는 바람직한 3차원 정보가 획득되었음을 용이하게 확인할 수 있는 정보 처리 장치 및 정보 처리 방법이 제공될 수 있다.
첨부된 도면은 본 발명의 예시적인 실시예를 도시하기 위한 것이고 본 발명의 범위를 제한하는 것으로 해석되어서는 안 된다. 첨부 도면은 명시적으로 언급되지 않는 한 일정한 축척으로 그려진 것으로 간주되지 않는다. 또한, 동일하거나 유사한 참조 번호는 여러 도면들에 걸쳐 동일하거나 유사한 구성요소를 나타낸다.
도 1은 본 개시의 일 실시예에 따른 이미징 장치의 외관에 대한 일 예이다.
도 2는 본 개시의 일 실시예에 따른 이미징 장치의 구성을 나타내는 단면도이다.
도 3a는 본 개시의 일 실시예에 따른 이미징 장치를 사용하는 상황의 일 예이다.
도 3b는 본 개시의 일 실시예에 따른 이미징 장치를 사용하는 상황의 일 예이다.
도 3c는 본 개시의 일 실시예에 따른 이미징 장치를 사용하는 상황의 일 예이다.
도 3d는 본 개시의 일 실시예에 따른 이미징 장치를 사용하는 상황의 일 예이다.
도 4는 본 개시의 일 실시예에 따른 처리 회로의 기능 블록도의 일 예이다.
도 5는 본 개시의 일 실시예에 따른 이미징 장치의 처리 회로의 동작 흐름도의 일 예이다.
도 6a는 본 개시의 일 실시예에 따른 풀-뷰 구면 이미지(full-view spherical image)의 이미지 데이터를 생성하는 흐름도의 일 예이다.
도 6b는 본 개시의 일 실시예에 따른 풀뷰 구면 이미지의 이미지 데이터를 생성하는 흐름도의 일 예이다.
도 7은 본 개시의 일 실시예에 따른 근접 물체를 판단하는 흐름도의 일 예이다.
도 8은 본 개시의 일 실시예에 따른 디스플레이 유닛을 사용하여 내용을 디스플레이하는 뷰(view)의 일 예이다.
도 9는 본 개시의 일 실시예에 따른 제1 변형예의 이미징 장치의 외관의 일 예이다.
도 10은 본 개시의 일 실시예에 따른 제1 변형예의 처리 회로의 기능 블록도의 일 예이다.
도 11은 본 개시의 일 실시에 따른 제2 변형예의 이미징 장치의 외관의 일 예이다.
도 12는 본 개시의 일 실시예에 따른 제2 변형예의 처리 회로의 기능 블록도의 일 예이다.
도 13은 본 개시의 일 실시예에 따른 제2 변형예의 근접 물체를 판단하는 흐름도의 일 예이다.
도 14는 본 개시의 일 실시예에 따른 제3 변형예의 이미징 장치의 구성을 나타내는 단면도이다.
본 명세서에서 사용된 용어는 단지 특정 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 본 명세서에 사용된 단수 형태("a", "an" 및 "the")는 문맥이 명백하게 달리 나타내지 않는 한 복수 형태도 포함하는 것으로 의도된다. 도면에 도시된 실시예들을 설명함에 있어서, 명확성을 위해 특정 용어가 사용되었다. 그러나, 본 명세서의 개시는 그렇게 선택된 특정 용어에 한정되도록 의도되지 않으며, 각각의 특정 요소는 유사한 기능을 갖고 유사한 방식으로 동작하여, 유사한 결과를 달성하는 모든 기술적 등가물을 포함하는 것으로 이해되어야 한다. 이하, 도면을 참조하여 본 발명을 실시하기 위한 구성을 설명한다.
이하, 첨부된 도면을 참조하여 이미징 장치, 이미지 캡처/처리 방법, 정보 처리 장치 및 정보 처리 방법의 하나 이상의 실시예에 대해 상세하게 설명한다.
도 1은 본 개시의 일 실시예에 따른 이미징 장치(1)의 외관의 일 예이다. 도 2는 이미징 장치(1) 구성의 단면도의 일 예이다. 도 2는 도 1의 이미징 장치(1)의 내부 구성을 나타낸다.
이미징 장치(1)는 수광된 광에 기초하여 결정되는 3차원 정보를 출력하는 정보 처리 장치의 일 예이다.
도 1에 도시된 바와 같이, 이미징 장치(1)는 예를 들어, 이미지 캡처 유닛(11)(즉, 카메라), 투사 유닛(12), 거리 정보 획득 유닛(13)을 포함하고, 이들은 하우징(10)(또는 케이싱(10))에 일체로 수용된다.
투사 유닛(12)은 레인지 센서(range sensor)에 제공되는 발광 유닛에 해당되며, 가시광선 이외의 광을 투사한다.
거리 정보 획득 유닛(13)은 레인지 센서에 제공되는 수광 유닛에 해당되며, 투사 유닛(12)에 의해 투사되고 물체에서 반사된 광에 기초하여 거리 정보를 획득한다. 이들 각각의 유닛들은 동기화 신호선(L)(도 2 참조)을 통해 하우징(10) 내에 배치된 처리 회로(14)(도 2 참조)에 전기적으로 접속되고, 서로 동기하여 동작하도록 구성된다.
도 1에 도시된 바와 같이, 이미징 장치(1)는 사용자가 처리 회로(14)에 이미지 캡처 지시 신호를 입력하기 위해 사용하는 이미지 캡처 스위치(15)를 더 포함한다.
도 1에 도시된 바와 같이, 이미징 장치(1)는 처리 회로(14)로부터 수신된 출력 신호에 대응하는 내용을 디스플레이하는 디스플레이 유닛(20)을 더 포함할 수 있다. 디스플레이 유닛(20)은 예를 들어, 액정 스크린 등을 채용한다. 디스플레이 유닛(20)은 예를 들어, 사용자에 의한 조작 입력을 수신하기 위해 터치 패널을 채용한다.
처리 회로(14)는 상술한 각각의 유닛을 제어하여 레드/그린/블루(RGB) 이미지 데이터 및 거리 정보 데이터와 같은 정보를 획득하고, 획득된 RGB 이미지 데이터 및 거리 정보 데이터에 기초하여 획득된 거리 정보 데이터를 고밀도 3차원 점군 데이터(higher-density three-dimensional point group data)로 재구성한다. 3차원 점군 데이터는 거리 정보 데이터를 처리하지 않고 상기 거리 정보 데이터를 사용하여 구성될 수 있지만, 이 경우 3차원 점군 데이터의 정밀도(precision)는 거리 정보 획득 유닛(13)의 픽셀 수(즉, 해상도)로 제한된다.
본 개시의 실시예에서는, 거리 정보 데이터를 고밀도 3차원 점군 데이터로 재구성하기 위한 처리가 기술된다. 재구성된 데이터는 휴대용 기록 매체나 통신망을 통해 퍼스널 컴퓨터(PC) 등과 같은 외부 장치나 디바이스로 출력되어 3차원 복원(restoration) 모델을 디스플레이하는 데 사용된다.
상술한 각각의 유닛 및 처리 회로(14) 각각은 하우징(10)에 포함된 배터리로부터 파워가 공급된다. 대안적으로, 파워는 연결 코드를 통해 또는 무선으로 하우징(10) 외부로부터 공급될 수 있다.
2차원 이미지 정보를 캡처하는 이미지 캡처 유닛(11)은, 예를 들면 이미지 캡처 소자(11a, 11A), 및 어안(fish-eye) 렌즈(11b, 11B)를 포함한다. 어안 렌즈는 광각(wide-angle) 렌즈의 일 예이다.
투사 유닛(12)은 예를 들어, 광원 유닛(12a, 12A), 및 광각 렌즈(12b, 12B)를 포함한다.
거리 정보 획득 유닛(13)은 예를 들면, 타임-오브-플라이트(Time-of-Flight, TOF) 센서(13a, 13A), 및 광각 렌즈(13b, 13B)를 포함한다.
도시되지는 않았지만, 각 유닛은 프리즘과 렌즈군을 포함하는 광학계(optical system)를 사용하여 구성될 수 있다. 예를 들어, 이미지 캡처 유닛(11)은 이미지 캡처 소자(11a, 11A)에 어안 렌즈(11b, 11B)에 의해 수집된 광을 집속하기 위한 광학계를 사용하여 구성될 수 있다. 또한, 투사 유닛(12)은 광원 유닛(12a, 12A)으로부터 광각 렌즈(12b, 12B)로 광을 가이드하기 위한 광학계를 사용하여 구성될 수 있다. 또한, 거리 정보 획득 유닛(13)은 광각 렌즈(13b, 13B)에 의해 수집된 광을 TOF 센서(13a, 13A)에 집속하기 위한 광학계를 사용하여 구성될 수 있다. 각 광학계는 이미지 캡처 소자(11a, 11A), 광원 유닛(12a, 12A), 및 TOF 센서(13a, 13A)의 구성 및 배열에 따라 적절히 설계될 수 있다. 본 명세서에서 프리즘과 렌즈군을 포함하는 광학계는 설명에서 생략된다.
이미지 캡처 소자(11a, 11A), 광원 유닛(12a, 12a), 및 TOF 센서(13a, 13A)는 하우징(10)에 일체로 수용된다. 어안 렌즈(11b), 광각 렌즈(12b), 광각 렌즈(13b), 및 디스플레이 유닛(20)은 하우징(10)의 제1 면(즉, 전면)에 제공된다. 제1 면에서, 어안 렌즈(11b), 광각 렌즈(12b), 및 광각 렌즈(13b) 각각은 내부의 개방된 공간을 갖는다.
또한, 어안 렌즈(11B), 광각 렌즈(12B), 광각 렌즈(13B), 및 이미지 캡처 스위치(15)는 하우징(10)의 제2 면(즉, 후면)에 제공된다. 제2 면에서, 어안 렌즈(11B), 광각 렌즈(12B), 및 광각 렌즈(13B) 각각은 내부의 개방된 공간을 갖는다.
이미지 캡처 소자(11a, 11A)는 소정의 2차원 해상도를 갖는 이미지 센서(또는 에어리어(area) 센서)이다. 각각의 이미지 캡처 소자(11a, 11A)는 각각의 픽셀에 대응하는 다수의 수광 소자(예를 들면, 포토다이오드)가 2차원 방향으로 배열된 이미지 캡처 영역을 구비한다. 이미지 캡처 영역에는 예를 들어, 가시광선을 수광하기 위한 바이어 배열(Bayer arrangement)을 사용하여 레드(R), 그린(G) 및 블루(B)의 컬러 필터가 제공되며, 컬러 필터를 통과하는 광은 포토다이오드에 전기로 축적된다. 본 설명에서는 더 넓은 각도 영역(예를 들어, 도 2에 도시된 이미지 캡처 방향을 전면(front side)으로 설정하는 180도 둘레를 갖는 반구의 범위)의 2차원 이미지가 더 높은 해상도로 획득될 수 있도록 많은 수의 픽셀들을 갖는 이미지 센서가 사용된다.
각각의 이미지 캡처 소자(11a, 11A)는 이미지 캡처 영역에 집속된 광을 각 픽셀에 제공된 픽셀 회로를 이용하여 전기 신호로 변환한 다음, 고해상도의 RGB 이미지 데이터를 출력한다.
각각의 어안 렌즈(11b, 11B)는 더 넓은 각도 영역(예를 들어, 도 2에 도시된 이미지 캡처 방향을 전면으로 하는 180도 둘레를 갖는 반구의 범위)으로부터 광을 수집하여, 상기 광을 각각의 이미지 캡처 소자(11a, 11A)의 이미지 캡처 영역 상에 집속시킨다.
각각의 광원 유닛(12a, 12A)은, 예를 들어 범위 또는 거리를 측정하기 위해 가시광선 영역 이외의 파장 대역을 갖는 레이저 빔(예를 들어, 적외선 광)을 방출하는 반도체 레이저이다. 각각의 광원 유닛(12a, 12A)은 단일의 반도체 레이저 또는 복수의 반도체 레이저의 조합을 사용할 수 있다. 또한, 반도체 레이저는 수직 캐비티 표면 방출 레이저(Vertical Cavity Surface Emitting Laser, VCSEL)와 같은 표면 방출형 반도체 레이저를 사용할 수 있다.
또한, 반도체 레이저의 광을 수직으로 긴 광으로 형성하도록 광학 렌즈가 배치될 수 있고, 그 다음 상기 수직으로 긴 광은 MEMS(micro electro mechanical systems) 미러와 같은 광편향(optical deflection) 소자를 사용하여 측정 범위의 1차원 방향으로 주사될 수 있다.
본 명세서에서, 광원 유닛(12a, 12A)은 MEMS 미러와 같은 광편향 소자를 사용하지 않고 광각 렌즈(12b, 12B)를 통해 반도체 레이저(LA)의 광을 더 넓은 각도 영역으로 방출한다.
광원 유닛(12a, 12A)의 광각렌즈(12b, 12b)는 광원 유닛(12a, 12A)에서 방출된 광을 더 넓은 각도 영역(예를 들어, 도 2에 도시된 이미지 캡처 방향을 전면으로 하는 180도 둘레를 갖는 반구의 범위)으로 확장시키는 기능을 한다.
거리 정보 획득 유닛(13)의 각각의 광각 렌즈(13b, 13B)는 측정 범위(예를 들어, 도 2에 도시된 이미지 캡처 방향을 전면으로 하는 180도 둘레를 갖는 반구의 범위)인, 광각 영역(wider-angle area)의 각 방향으로부터 투사 유닛(12)에 의해 투사된 광에 해당하는 광원 유닛(12a, 12A)의 반사광을 각각 수광하고, 상기 광을 TOF 센서(13a, 13A)의 수광 영역에 각각 집속시킨다.
상기 측정 범위는 광이 투사될 하나 이상의 물체(예를 들어, 건물과 같은 타겟 물체)를 포함하는 공간을 나타낸다. 타겟 물체로부터 반사된 광(반사광)은 광각 렌즈(13b, 13B) 각각에 들어간다. 반사광은 예를 들면, 각각의 광각 렌즈(13b, 13B)의 전체 면 상에 적외선 파장 범위보다 짧은 파장 범위의 광을 차단(cutting)하는 필터를 제공함으로써 수광될 수 있다. 또한, 그 구성은 이에 한정되지 않는다. 예를 들어, 적외선 영역의 광이 수광 영역에 들어가면 충분하므로 필터와 같은 적외선 영역의 광을 통과시키기 위한 유닛이 광각 렌즈(13b, 13B)로부터 수광 영역까지의 광로(optical path)에 제공될 수 있다.
각각의 TOF 센서(13a, 13A)는 2차원 해상도를 갖는 광 센서이다. 각각의 TOF 센서(13a, 13A)는 다수의 수광 소자(예를 들어, 포토다이오드)가 2차원 방향으로 배열된 수광 영역을 갖는다. 본 명세서에서 각각의 TOF 센서(13a, 13A)는 "제2 이미징 수광 유닛"으로 지칭될 수 있다. 각각의 TOF 센서(13a, 13A)는 각 영역에 대응하는 수광 소자를 이용하여 측정 범위 내의 각 영역(각 영역은 위치(position)라고도 함)의 반사광을 수광하고, 그 다음 각각의 수광 소자에 의해 검출된 광에 기초하여 각 영역까지의 거리 또는 범위를 측정하거나 계산한다.
본 실시예에서, 거리는 위상차 검출 방법을 사용하여 측정된다. 위상차 검출 방법에서는 기본 주파수에서 진폭을 변조한 레이저 빔을 측정 범위로 조사하여 반사광을 수광하고, 그 다음 조사광과 반사광의 위상차를 측정하여 조사광의 방출 시작 시간과 반사광의 수광 시간 사이의 시간 기간(time period)을 획득 또는 얻고, 그 다음 상기 시간 기간에 광의 속도를 곱하여 거리를 계산한다. 위상차 검출은 일정 수준의 해상도를 확보할 수 있다.
각각의 TOF 센서(13a, 13A)는 투사 유닛(12)에 의한 조사광의 투사에 동기하여 구동되며, (각 픽셀에 대응하는) 각 수광 소자의 반사광에 대한 위상차로부터 각 픽셀에 대응하는 거리를 계산하고, 측정 범위 내의 각 영역까지의 거리를 나타내는 정보가 픽셀 정보와 연관되어 있는 거리 정보가 포함된(distance-information-included) 이미지 데이터(이하 "거리 이미지" 또는 "TOF 이미지"라고 함)를 출력한다.
또한, 각각의 TOF 센서(13a, 13A)는 위상 정보가 픽셀 정보와 연관되어 있는 위상 정보 이미지 데이터를 출력하고, 후 처리를 수행함으로써 위상 정보 이미지 데이터에 기초하여 거리 정보가 포함된 이미지 데이터를 획득하도록 구성될 수 있다.
또한, 측정 범위에서 분할되는 영역의 수는 수광 영역의 해상도를 고려하여 결정될 수 있다. 따라서, 장치의 크기를 줄이기 위해 더 낮은 해상도가 사용되는 경우, 거리 이미지 데이터의 픽셀 정보의 수가 감소하고, 이에 의해 3차원 점군의 수도 감소한다.
또한, 위상차 검출 방식 대신 펄스 방식을 이용하여 거리가 측정될 수도 있다. 펄스 방식에서는, 예를 들면, 각각의 광원 유닛(12a, 12A)이 수 나노초(ns)의 상승 시간 및 더 강한 세기 피크 파워를 갖는 초단 펄스(ultra-short pulse)의 조사 펄스(P1)를 방출하고, 조사 펄스(P1)의 방출에 동기하여 각각의 TOF 센서(13a, 13A)는 광원 유닛(12a, 12A)에서 방출된 조사 펄스(P1)에 대응하는 반사광인 반사 펄스(P2)를 수신하는 데 필요한 시간(t)을 측정한다. 펄스 방식을 사용하는 경우, 예를 들어, 각각의 TOF 센서(13a, 13A)는 수광 소자의 출력측에서 시간을 측정하기 위한 하나 이상의 회로를 포함한다. 각각의 회로는 각각의 광원 유닛(12a, 12A)으로부터 조사 펄스(P1)를 방출한 후 반사 펄스(P2)를 수신하는 데 필요한 시간 기간을 각각의 수광 소자에 대한 거리 정보로 변환하여 각 영역까지의 거리를 획득 또는 얻는다.
펄스 방식은 피크 광을 이용하여 세기가 더 강한 광을 출력할 수 있기 때문에 이미징 장치(1)의 광각 영역(wider-angle area)을 설정하는 데 적합하다. 또한, MEMS 미러 등이 광을 발진 또는 조사하는데 사용되는 경우, 광의 확산각(spread angle)을 감소시키면서 세기가 강한 광이 멀리 조사될 수 있어 이것으로 측정 거리가 증가될 수 있다. 이 경우, 광원 유닛(12a, 12A), 광각 렌즈(12b, 12B), MEMS 미러는 각각의 광원 유닛(12a, 12A)에서 방출된 레이저 빔이 MEMS 미러에 의해 광각 렌즈(12b, 12B)를 향해 조사 또는 편향되도록 소정의 구성으로 배열된다.
또한, 이미지 캡처 유닛(11)의 유효 화각(angle of view)과 거리 정보 획득 유닛(13)의 유효 화각은, 예를 들어 180도 이상으로 서로 일치하는 것이 바람직하지만, 이미지 캡처 유닛(11)의 유효 화각과 거리 정보 획득 유닛(13)의 유효 화각이 반드시 서로 일치하는 것은 아니다. 이미지 캡처 유닛(11)의 유효 화각과 거리 정보 획득 유닛(13)의 유효 화각은 필요에 따라 각각 감소될 수 있다.
본 실시예에서, 이미지 캡처 유닛(11) 및 거리 정보 획득 유닛(13)은 이미징 장치(1)의 본체 및 거리 정보 획득 유닛(13)이 화각에 포함되지 않도록 유효 픽셀의 수를, 예를 들면 100도 내지 180도 범위 내로 감소시킨다.
또한, 이미징 장치(1)의 크기 감소 또는 소형화에 우선순위를 두기 위해 TOF 센서(13a, 13A)의 해상도는 이미지 캡처 소자(11a, 11A)의 해상도보다 낮게 설정될 수 있다. TOF 센서(13a, 13A)의 해상도를 이미지 캡처 소자(11a, 11A)의 해상도보다 낮게 설정함으로써, 수광 영역의 크기가 감소될 수 있기 때문에 이미징 장치(1)의 크기가 감소될 수 있다. 따라서, 각각의 TOF 센서(13a, 13A)는 더 낮은 해상도로 설정될 수 있고, 각각의 TOF 센서(13a, 13A)에 의해 획득되거나 얻어지는 3차원 점군은 더 낮은 밀도를 가지지만, "획득 유닛"으로 사용되는 처리 회로(14)가 제공되기 때문에 상기 3차원 점군은 더 높은 밀도의 3차원 점군으로 변환될 수 있다. 처리 회로(14)를 사용하여 더 높은 밀도의 3차원 점군으로 변환하기 위한 처리는 후술될 것이다.
본 실시예에서는, 일 예로서, 이미지 캡처 소자(11a), 광원 유닛(12a), 및 TOF 센서(13a)가 하우징(10)의 길이 방향을 따라 일직선 상에 정렬된다. 유사하게, 이미지 캡처 소자(11A), 광원 유닛(12A), 및 TOF 센서(13A)가 하우징(10)의 길이 방향을 따라 일직선 상에 정렬된다. 이하에서는, 이미지 캡처 소자(11a), 광원 유닛(12a), 및 TOF 센서(13a)의 예가 설명될 것이다.
도 2에 도시된 바와 같이, 이미지 캡처 소자(11a)의 이미지 캡처 영역(이미지 캡처면)과 TOF 센서(13a)의 수광 영역(수광면)은 길이 방향에 직교하는 방향을 따라 배열될 수 있거나, 광 방향의 경로(광로)를 90도 변경하는 프리즘 등을 제공함으로써 길이 방향을 따라 배열될 수 있다. 또한, 이미지 캡처 소자(11a), 광원 유닛(12a), 및 TOF 센서(13a)는 다양한 구성에 따라 임의의 방향을 따라 배열될 수 있다. 즉, 이미지 캡처 소자(11a), 광원 유닛(12a), 및 TOF 센서(13a)는 타겟 물체까지의 거리를 측정하기 위해 동일한 측정 범위가 설정될 수 있도록 임의의 방향을 따라 배열된다. 이미지 캡처 유닛(11), 투사 유닛(12), 및 거리 정보 획득 유닛(13)은 하우징(10)의 일 측면에 측정 범위를 향하도록 배치된다. 이 구성에서, 이미지 캡처 소자(11a) 및 TOF 센서(13a)는 평행 스테레오(parallel stereo) 구성을 설정하기 위해 동일한 베이스 라인을 따라 배열될 수 있다. 이미지 캡처 소자(11a)와 TOF 센서(13a)를 평행 스테레오 구성으로 배치함으로써, 이미지 캡처 소자(11a)의 수가 1개라도 TOF 센서(13a)의 출력을 이용하여 디스패리티(disparity) 데이터가 획득 또는 얻어질 수 있다. 광원 유닛(12a)은 TOF 센서(13a)의 측정 범위에 광을 조사하도록 구성된다.
(처리회로)
이하, 처리 회로(14)의 처리에 대해 설명한다. TOF 센서(13a, 13A)에 의해 획득 또는 얻어진 TOF 이미지는 저해상도를 갖는다. 따라서, 본 실시예에서는, 처리 회로(14)에 의해 해상도가 증가된 다음, 고밀도 3차원 점군 데이터가 재구성된다. 또한, 처리 회로(14)와 같은 "정보 처리 유닛"에 의해 수행되는 다음 처리의 일부 또는 전부는 외부 디바이스 또는 장치에 의해 수행될 수 있다.
상술한 바와 같이, 이미징 장치(1)에 의해 재구성된 3차원 점군 데이터는 휴대용 기록 매체 또는 통신망을 통해 외부 디바이스(예를 들어, PC)로 출력되어 3차원 복원 모델을 디스플레이하는데 사용된다.
이러한 구성으로, 이미징 장치(1)가 3차원 복원 모델을 이미징 장치(1)에 디스플레이하는 경우에 비해, 데이터 처리 속도가 더 빠르고, 소형이며, 경량인 이미징 장치(1)가 제공될 수 있다.
그러나, 3차원 정보를 획득한 현장(site)을 떠나 외부 디바이스에 의해 3차원 정보가 복원된 후에, 사용자는 캡처된 이미지에 사용자 자신 또는 삼각대가 포함되어 있는 것과, 원하는 레이아웃의 3차원 정보가 획득되지 않은 것을 인식할 수 있다. 이러한 상황에서 사용자는 3차원 정보를 획득한 현장을 다시 방문하기 위해 추가적인 시간과 노력을 필요로 한다.
이 문제는 3차원 복원 디바이스를 현장에 가져가면 해결될 수 있지만, 사용자가 3차원 복원 디바이스를 가져가면, 더 높은 처리 속도로 데이터를 처리할 수 있고 소형이며 경량인 이미징 장치가 고안될 수 없다.
또한, 이러한 문제는 획득된 3차원 정보를 통신 회선을 통해 외부 디바이스로 전송하고 외부 디바이스로부터 복원된 3차원 정보를 수신함으로써 해결될 수 있다. 그러나 이 방법은 더 높은 처리 속도의 장점이 없고, 나아가 3차원 정보는 정보량이 많기 때문에 사용자가 캡처된 이미지에 사용자 자신, 삼각대 등이 포함된 것을 확인하기 어렵다.
특히, 풀-뷰 구면 3차원 정보의 경우, 사용자가 캡처된 이미지에 사용자 자신, 삼각대 등이 포함되어 있는 것을 시각적으로 확인하기가 극히 어렵다.
캡처된 이미지에 사용자 자신, 삼각대 등이 포함되어 있고, 원하는 레이아웃의 3차원 정보가 획득되지 않은 상술한 문제점은 본 실시예의 도 1의 이미징 장치(1)를 사용하여 실시간으로 용이하게 확인될 수 있다.
도 3a, 도 3b, 도 3c 및 도 3d는 본 실시예에 따른 이미징 장치(1)를 사용하는 상황의 예이다.
도 3a에 도시된 상황에서, 사용자(M)와 이미징 장치(1)를 유지하는 셀피스틱(selfie stick)(1A)은 풀-뷰 구면 이미지 캡처 범위(R)에 포함되어 있지 않으므로 사용자(M)와 셀피스틱(1A)은 풀-뷰 구면 이미지(즉, 캡처된 이미지)에 포함되지 않는다. 이 설명에서, 사용자(M)는 이미지를 캡처하기 위해 이미징 장치(1)를 작동시킨다.
도 3b에 도시된 상황에서, 사용자(M)는 풀-뷰 구면 이미지 캡처 범위(R)에 포함되므로 사용자(M)는 풀-뷰 구면 이미지(즉, 캡처된 이미지)에 포함된다.
도 3c에 도시된 상황에서, 이미징 장치(1)를 유지하는 삼각대(1B)가 풀-뷰 구면 이미지 캡처 범위(R)에 포함되므로 삼각대(1B)는 풀-뷰 구면 이미지(즉, 캡처된 이미지)에 포함된다.
도 3d에 도시된 상황에서, 사용자(M)와 이미징 장치(1)를 유지하는 셀피스틱(1A)은 풀-뷰 구면 이미지 캡처 범위(R)에 포함되지 않으므로, 사용자(M)와 셀피스틱(1A)은 풀-뷰 구면 이미지(즉, 캡처된 이미지)에 포함되지 않는다. 그러나, 외부 광(예를 들어, 태양광, 조명 디바이스의 광)이 세기가 강하기 때문에 캡처된 이미지에 물체가 포함되어 있다고 잘못 판단할 가능성이 있다.
또한, 도 3b 및 도 3c에 나타낸 상황에서, 캡처된 이미지에 포함되는 물체의 색상, 타입 및 외관이 다양하기 때문에, 종래의 방법들은 캡처된 이미지에 사용자 등의 물체가 포함되어 있는지 여부를 판단하기 어렵다.
도 3b 및 도 3c에 나타낸 상술한 상황들이 발생하면, TOF 센서(13a, 13A)에서 출력된 거리 정보가 포함된 이미지 데이터에 기초하여 사용자 자신, 및 삼각대와 같은 특정 물체(예를 들어, 근접 물체)의 유무를 결정할 때, 특정 물체가 실제로 존재하는지 여부 또는 외부 광이 너무 강한 것인지 여부를 구별하기 어렵다.
즉, TOF 센서(13a, 13A)의 특정 픽셀의 전하량(charge amount)이 포화된 경우, TOF 센서(13a, 13A)의 출력만으로는 상기 포화된 전하량이 특정 물체의 존재에 의한 것인지, 또는 외부 광의 너무 강한 세기로 인해 발생한 것인지 여부를 구별하기 어렵다.
상술한 문제점을 고려하여, 이미징 장치(1)는 사용자 자신, 또는 근접 물체(예를 들어, 삼각대)와 같은 특정 물체가 캡처된 이미지에 포함되어 있는지 여부를 특정 물체와 외부 광의 영향을 구별함으로써 정확하게 확인하도록 구성된다.
도 4는 처리 회로(14)의 기능 블록도의 일 예이다. 도 4에 도시한 바와 같이, 처리 회로(14)는, 예를 들면 제어 유닛(141), RGB 이미지 데이터 획득 유닛(142), 흑백(monochrome) 처리 유닛(143), TOF 이미지 데이터 획득 유닛(144), 고해상도 처리 유닛(145), 매칭 처리 유닛(146), 재투영(re-projection) 처리 유닛(147), 시맨틱 세그멘테이션(semantic segmentation) 유닛(148), 디스패리티 계산 유닛(149), 3차원 재구성 처리 유닛(150), 판단 유닛(160), 디스플레이 제어 유닛(170)(출력 유닛의 예) 및 송수신 유닛(180)(출력 유닛의 예)을 포함한다. 도 4에서 실선 화살표는 신호의 흐름을 나타내고, 파선 화살표는 데이터의 흐름을 나타낸다.
이미지 캡처 스위치(15)로부터 온(ON) 신호(즉, 이미지 캡처 개시 신호)를 수신하는 것에 응답하여, 제어 유닛(141)은 이미지 캡처 소자(11a, 11A), 광원 유닛(12a, 12A), TOF 센서(13a, 13A)에 동기화 신호를 출력하고, 처리 회로(14)를 전체적으로 제어한다.
먼저, 제어 유닛(141)은 광원 유닛(12a, 12A)에 초단 펄스광을 방출하도록 지시하는 신호를 출력하고, TOF 센서(13a, 13A)에 동일한 타이밍에 TOF 이미지 데이터를 생성하도록 지시하는 신호를 출력한다. 또한, 제어 유닛(141)은 이미지 캡처 소자(11a, 11A)에 이미지를 캡처하도록 지시하는 신호를 출력한다. 이 구성에서, 이미지 캡처 소자(11a, 11A)에 의한 이미지 캡처는 광원 유닛(12a, 12A)으로부터 광이 방출되고 있는 기간 동안, 또는 광원 유닛(12a, 12A)으로부터 광이 방출되기 직전과 직후의 기간 동안 수행될 수 있다.
RGB 이미지 데이터 획득 유닛(142)은 제어 유닛(141)으로부터의 이미지 캡처 지시에 기초하여 이미지 캡처 소자(11a, 11A)에 의해 캡처된 RGB 이미지 데이터를 획득하고, 풀-뷰 구면 이미지의 RGB 이미지 데이터를 출력한다.
흑백 처리 유닛(143)은 TOF 센서(13a, 13A)로부터 획득 또는 얻어진 TOF 이미지 데이터와의 매칭 처리를 위해 데이터 타입을 설정하기 위한 처리를 수행한다. 이 예의 경우에, 흑백 처리 유닛(143)은 풀-뷰 구면 이미지의 RGB 이미지 데이터를 풀-뷰 구면 이미지의 흑백 이미지 데이터로 변환한다.
TOF 이미지 데이터 획득 유닛(144)은 제어 유닛(141)에 의한 TOF 이미지 데이터의 생성 지시에 기초하여 TOF 센서(13a, 13A)에 의해 생성된 TOF 이미지 데이터를 획득하고, 풀-뷰 구면 이미지의 TOF 이미지 데이터를 출력한다.
고해상도 처리 유닛(145)은 풀-뷰 구면 이미지의 TOF 이미지 데이터를 흑백 이미지 데이터로 가정하고, TOF 이미지 데이터의 해상도를 증가시킨다. 구체적으로, 고해상도 처리 유닛(145)은 풀-뷰 구면 이미지의 TOF 이미지 데이터의 각 픽셀과 연관된 거리 값을 풀-뷰 구면 이미지의 흑백 이미지 데이터의 값(그레이스케일 값)으로 대체한다.
또한, 고해상도 처리 유닛(145)은 풀-뷰 구면 이미지의 흑백 이미지 데이터의 해상도를 이미지 캡처 소자(11a, 11A)로부터 획득 또는 얻어진 풀-뷰 구면 이미지의 RGB 이미지 데이터의 해상도로 증가시킨다. 더 높은 해상도로의 변환은 예를 들어, 통상의 변환 증가 처리(normal conversion increase processing)를 수행함으로써 수행된다.
또한, 다른 변환 방법이 적용될 수 있다. 예를 들어, 연속적으로 생성된 풀-뷰 구면 이미지의 복수 프레임의 TOF 이미지들이 획득된 다음, 초해상도(super-resolution) 처리가 상기 프레임들을 사용하여 인접한 지점의 거리를 추가함으로써 수행된다.
매칭 처리 유닛(146)은 풀-뷰 구면 이미지의 TOF 이미지 데이터를 고해상도 이미지 데이터로 변환하여 획득 또는 얻어진 풀-뷰 구면 이미지의 흑백 이미지 데이터
및 풀-뷰 구면 이미지의 RGB 이미지 데이터에 대응하는 풀-뷰 구면 이미지의 흑백 이미지 데이터에서 텍스처가 있는 부분의 특징량(feature amount)을 추출하고, 그 다음 상기 추출된 특징량에 기초하여 매칭 처리를 수행한다. 예를 들어, 매칭 처리 유닛(146)은 각각의 흑백 이미지 데이터로부터 에지(edge)를 추출하고, 그 다음 상기 추출된 에지 정보에 대해 매칭 처리를 수행한다.
또한, 다른 변환 방법이 적용될 수 있다. 예를 들어, SIFT(scale-invariant feature transform)와 같이 텍스처 변화를 정량화하는 방법을 사용하여 매칭 처리가 수행될 수 있다. 본 설명에서 매칭 처리는 대응하는 픽셀을 탐색하는 것을 의미한다.
매칭 처리의 한 방법으로서, 예를 들어 블록 매칭이 사용될 수 있다. 블록 매칭은 참조될 픽셀 주변에서 M×M(M은 양의 정수) 픽셀 크기의 블록으로 잘라낸 픽셀 값과, 탐색될 중심 픽셀 주변에서 M×M 픽셀 크기의 블록으로 잘라낸 픽셀 값 사이의 유사도(degree of similarity)를 계산하여, 유사도가 가장 높은 중심 픽셀을 대응 픽셀로 설정하는 방법이다.
유사도를 계산하기 위해 다양한 방법이 사용될 수 있다. 예를 들어, 정규화된 자기상관 계수(normalized autocorrelation coefficient)와 같은 정규화된 상관 계수(Normalized Correlation Coefficient, NCC)를 나타내는 식이 사용될 수 있다. NCC는 수치가 높을수록 유사도가 높음을 나타내며, 블록들의 픽셀 값들이 완전히 매칭될 때 NCC의 값은 1이 된다.
또한, 풀-뷰 구면 이미지의 TOF 이미지 데이터로부터 텍스처-레스(texture-less) 영역의 거리 데이터도 획득 또는 얻어지므로, 영역에 따른 가중치를 설정함으로써 매칭 처리가 수행될 수 있다. 예를 들어, NCC를 나타내는 식을 이용하여 계산을 수행할 때, 에지 이외의 부분(텍스처-레스 영역)에 가중치를 설정하여 계산을 수행할 수 있다.
또한, NCC를 나타내는 식 대신에 선택적 상관 계수(Selective Correlation Coefficient, SCC)가 사용될 수도 있다.
재투영 처리 유닛(147)은 측정 범위 내 각 위치의 거리를 나타내는 풀-뷰 구면 이미지의 TOF 이미지 데이터를 이미지 캡처 유닛(11)의 2차원 좌표(스크린 좌표계)에 재투영한다. 재투영은 TOF 센서(13a, 13A)에 의해 계산된 어떤 3차원 점들이 이미지 캡처 소자(11a, 11A)에 의해 캡처된 이미지들의 어떤 2차원 좌표에 투영되어야 하는지를 결정하기 위해 수행된다.
풀-뷰 구면 이미지의 TOF 이미지 데이터는 거리 정보 획득 유닛(13)(주로 광각 렌즈(13b, 13B))을 중심으로 하는 좌표계에서 각각의 3차원 점의 위치를 나타낸다.
따라서, 풀-뷰 구면 이미지의 TOF 이미지 데이터에 의해 표시된 3차원 점은 이미지 캡처 유닛(11)(주로 어안 렌즈(11b, 11B))을 중심으로 하는 좌표계에 재투영된다. 예를 들어, 재투영 처리 유닛(147)은 풀-뷰 구면 이미지의 TOF 이미지 데이터의 3차원 점들의 좌표를 이미지 캡처 유닛(11)을 중심으로 하는 3차원 점들의 좌표로 평행 이동하고, 평행 이동 후에, 재투영 처리 유닛(147)은 TOF 이미지 데이터의 3차원 점들의 좌표를 풀-뷰 구면 이미지의 RGB 이미지 데이터에 의해 표시된 2차원 좌표계(스크린 좌표계)로 변환한다.
이러한 구성으로, 풀-뷰 구면 이미지의 TOF 이미지 데이터의 3차원 점들의 좌표와 2차원 이미지 정보의 좌표가 서로 연관될 수 있다.
재투영 처리 유닛(147)은 풀-뷰 구면 이미지의 TOF 이미지 데이터의 3차원 점들의 좌표와 이미지 캡처 유닛(11)에 의해 캡처된 풀-뷰 구면 이미지의 2차원 이미지 정보의 좌표를 연관시킨다.
디스패리티 계산 유닛(149)은 매칭 처리에 의해 획득된, 대응 픽셀에 대한 거리의 편차(deviation) 또는 변동(fluctuation)으로부터 각 위치의 디스패리티를 계산한다.
또한, 디스패리티 매칭 처리는 재투영 처리 유닛(147)에 의해 변환된 재투영 좌표를 이용하여 재투영 좌표의 위치에서 주변 픽셀들을 탐색함으로써 수행될 수 있으며, 이로 인해 처리 시간이 단축되고 보다 상세하고 보다 높은 해상도의 거리 정보가 획득되거나 얻어질 수 있다.
또한, 시맨틱 세그멘테이션 유닛(148)을 이용하여 시맨틱 세그멘테이션 처리를 수행함으로써 획득 또는 얻어진 세그멘테이션 데이터가 디스패리티 매칭 처리에 사용될 수 있다. 이 경우 보다 상세하고 보다 높은 해상도의 거리정보가 획득되거나 얻어질 수 있다.
또한, 디스패리티 매칭 처리는 에지 또는 특징량이 더 많은 부분에 대해서만 수행될 수 있고, 다른 부분에 대해서는 전파(propagation) 처리가 풀-뷰 구면 이미지의 TOF 이미지 데이터, 및 예를 들어 풀-뷰 구면 이미지의 RGB 이미지 특징과 확률적 기법을 사용하여 수행될 수 있다.
시맨틱 세그멘테이션 유닛(148)은 딥 러닝을 이용하여 측정 범위의 입력 이미지에 대해 타겟 물체를 나타내는 세그멘테이션 라벨(segmentation label)을 적용한다. 이 처리에 의해, 풀-뷰 구면 이미지의 TOF 이미지 데이터의 각 픽셀이 각 거리에 대해 분할된 복수의 거리 영역 중 임의의 하나에 고정될 수 있고, 이로 인해 계산의 신뢰성이 더욱 향상될 수 있다.
3차원 재구성 처리 유닛(150)은 RGB 이미지 데이터 획득 유닛(142)으로부터 풀-뷰 구면 이미지의 RGB 이미지 데이터를 획득하고, 디스패리티 계산 유닛(149)으로부터 출력된 거리 정보에 기초하여 풀-뷰 구면 이미지의 3차원 데이터를 재구성하고, 그 다음 각각의 3차원 점에 컬러 정보를 추가한 풀-뷰 구면 이미지의 고밀도 3차원 점군을 출력한다.
3차원 재구성 처리 유닛(150)은 3차원 정보를 결정하는 3차원 정보 결정 유닛의 일 예이다.
판단 유닛(160)은 RGB 이미지 데이터 획득 유닛(142)으로부터 풀-뷰 구면 이미지의 RGB 이미지 데이터를 획득하고, 또한 재투영 처리 유닛(147)으로부터 풀-뷰 구면 이미지의 RGB 이미지 데이터에 의해 표시된 2차원 좌표계로 변환된 풀-뷰 구면 이미지의 TOF 이미지 데이터를 획득하고, 그 다음 이들 데이터에 기초하여 캡처된 이미지에 특정 물체가 포함되어 있는지 여부를 판단하고, 판단 결과를 디스플레이 제어 유닛(170)에 출력한다.
디스플레이 제어 유닛(170)은 RGB 이미지 데이터 획득 유닛(142)으로부터 풀-뷰 구면 이미지의 RGB 이미지 데이터를 획득하고, 풀-뷰 구면 이미지의 획득된 RGB 이미지 데이터에 기초하여 디스플레이 유닛(20)에 2차원 이미지 정보를 디스플레이하도록 지시한다.
또한, 디스플레이 제어 유닛(170)은 판단 유닛(160)으로부터 획득 또는 얻어진 판단 결과를 나타내는 정보를 2차원 이미지 정보에 중첩한 다음, 디스플레이 유닛(20)에 상기 2차원 이미지 정보를 디스플레이하도록 지시한다.
디스플레이 제어 유닛(170)은 3차원 정보와 별도로 이미지 캡처 유닛(11)에 의해 캡처된 2차원 이미지 정보를 출력하는 출력 유닛의 일 예이다. 디스플레이 유닛(20)은 2차원 이미지 정보가 출력되는 출력 목적지의 일 예이다.
디스플레이 제어 유닛(170)은 3차원 재구성 처리 유닛(150)으로부터 풀-뷰 구면 이미지의 3차원 데이터를 획득하거나 얻고, 3차원 정보를 디스플레이하도록 디스플레이 유닛(20)에 지시하도록 구성될 수 있다. 구체적으로, 디스플레이 제어 유닛(170)은 미리 설정된 조건에 따라 디스플레이 제어 유닛(170)이 디스플레이 유닛(20)에 2차원 이미지 정보를 디스플레이하도록 지시하는 하나의 모드와, 디스플레이 제어 유닛(170)이 디스플레이 유닛(20)에 3차원 정보를 디스플레이하도록 지시하는 다른 모드를 선택할 수 있다. 이러한 구성에 의해, 디스플레이 제어 유닛(170)은 3차원 정보와 별도로 2차원 이미지 정보를 출력할 수 있다.
송수신 유닛(180)은 유선 또는 무선으로 외부 디바이스와 통신한다. 송수신 유닛(180)은 3차원 재구성 처리 유닛(150)에서 출력된 풀-뷰 구면 이미지의 3차원 데이터와, RGB 이미지 데이터 획득 유닛(142)에서 출력된 풀-뷰 구면 이미지의 2차원 이미지 정보를 네트워크(400)를 통해 3차원 복원 처리를 수행하는 외부 디바이스(300)에 전송 또는 출력한다.
본 명세서에서, 이미지 캡처 유닛(11)에 의해 캡처된 2차원 이미지 정보는 "디스플레이하기 위한 2차원 이미지 데이터" 또는 "디스플레이하기 위한 2차원 이미지 정보"를 생성하기 위해 사용되는 "원본 2차원 이미지 정보"를 의미한다. 예를 들어, 이미지 캡처 유닛(11)에 의해 캡처된 2차원 이미지 정보(즉, 원본 2차원 이미지 정보)는 이미징 장치(1) 내부에서 처리되어 "디스플레이하기 위한 2차원 이미지 데이터, 또는 2차원 이미지 정보"를 생성할 수 있다. 이미지 캡처 유닛(11)에 의해 캡처된 이미지 정보(즉, 원본 2차원 이미지 정보)는 이미징 장치(1)에서 외부 디바이스로 전송된 다음, 외부 디바이스가 상기 "원본 2차원 이미지 정보"로부터 "디스플레이하기 위한 2차원 이미지 데이터"를 생성할 수 있다.
송수신 유닛(180)은 3차원 정보를 출력하는 출력 유닛의 일 예이다. 외부 디바이스(300)는 3차원 정보가 출력되는 출력 목적지의 일 예이다.
또한, 송수신 유닛(180)은 풀-뷰 구면 이미지의 2차원 이미지 정보를 전송하지 않고, 풀-뷰 구면 이미지의 3차원 데이터만 전송하도록 구성될 수 있다. 또한, 송수신 유닛(180)은 SD(Secure Digital) 카드와 같은 휴대용 저장 매체 및 퍼스널 컴퓨터와 통신할 수 있는 인터페이스 회로를 사용하여 구성될 수 있다.
(처리회로의 동작)
도 5는 이미징 장치(1)의 처리 회로(14)의 동작의 흐름도의 일 예이다. 사용자에 의해 이미지 캡처 스위치(15)가 온으로 되고 이미지 캡처 지시 신호가 입력되면, 처리 회로(14)의 제어 유닛(141)은 다음의 방법(이미지 캡처/처리 방법 및 정보 처리 방법의 일 예)을 사용하여 고밀도 3차원 점군을 생성하는 작업을 수행한다.
먼저, 제어 유닛(141)은 광원 유닛(12a, 12A), TOF 센서(13a, 13A), 및 이미지 캡처 소자(11a, 11A)를 구동하여 측정 범위의 이미지를 캡처한다(단계 S1). 제어 유닛(141)은 광원 유닛(12a, 12A)에 적외선 광을 방출하도록 지시하고(광 투사 단계의 일 예), 그 다음에 TOF 센서(13a, 13A)는 물체에서 반사된 광을 수광한다(수광 단계의 일 예). 또한, 이미지 캡처 소자(11a, 11A)는 광원 유닛(12a, 12A)의 구동 개시 타이밍에 또는 광원 유닛(12a, 12A)의 구동 개시 타이밍에 바로 근접한 기간에 측정 범위의 이미지를 캡처한다(이미지 캡처 단계의 일 예).
그 다음에, RGB 이미지 데이터 획득 유닛(142)은 이미지 캡처 소자(11a, 11A)로부터 측정 범위의 RGB 이미지 데이터를 획득한다(단계 S2).
그 다음에, 디스플레이 제어 유닛(170)은 RGB 이미지 데이터 획득 유닛(142)으로부터 풀-뷰 구면 이미지의 RGB 이미지 데이터를 획득한 다음, 그 다음에 디스플레이 유닛(20)에 획득된 풀-뷰 구면 이미지의 RGB 이미지 데이터에 기초하여 2차원 이미지 정보를 디스플레이하도록 지시한다(2차원 이미지 정보 출력 단계의 일 예)(단계 S3).
디스플레이 제어 유닛(170)은 디스플레이 유닛(20)에 풀-뷰 구면 이미지의 획득된 RGB 이미지 데이터의 일부 영역의 2차원 이미지 정보를 디스플레이하도록 지시하고, 그 다음에 사용자에 의해 입력된 다양한 지시를 수신하는 것에 응답하여 디스플레이 유닛(20)에 의해 디스플레이되는 2차원 이미지 정보의 영역을 변경한다. 예를 들어, 이미징 장치(1)에 이미지 캡처 스위치(15) 이외의 하나 이상의 조작 스위치 또는 터치 패널과 같은 입력 수단으로서 디스플레이 유닛(20)이 제공되는 경우, 사용자는 이러한 스위치들 및 유닛을 사용하여 다양한 명령을 입력할 수 있다.
단계(S3)에서, 사용자는 디스플레이 유닛(20)을 이용하여 디스플레이된 2차원 이미지 정보를 봄으로써, 사용자 자신, 삼각대 등이 캡처된 이미지에 포함되어 있는지, 원하는 레이아웃의 2차원 이미지 정보가 획득되었는지 여부를 확인할 수 있다.
그 다음에, TOF 이미지 데이터 획득 유닛(144)은 TOF 센서(13a, 13A)로부터 2차원 영역에서의 각 위치의 거리를 나타내는 TOF 이미지 데이터를 획득한다(단계 S4).
그 다음에, 흑백 처리 유닛(143)은 RGB 이미지 데이터를 흑백 이미지 데이터로 변환한다(단계 S5). TOF 이미지 데이터는 거리 데이터인 반면 RGB 이미지 데이터는 RGB 데이터이기 때문에(즉, TOF 이미지 데이터와 RGB 이미지 데이터의 데이터 타입이 상이함), TOF 이미지 데이터와 RGB 이미지 데이터에 대한 매칭은 수행될 수 없다. 따라서, 먼저 TOF 이미지 데이터 및 RGB 이미지 데이터 각각은 흑백 이미지 데이터로 변환된다. TOF 이미지 데이터에 대해, 고해상도 처리 유닛(145)은 해상도 개선을 수행하기 전에 각 픽셀의 거리를 나타내는 값을 흑백 이미지 데이터의 값으로 직접 대체함으로써 각 픽셀의 거리를 나타내는 값을 변환한다.
그 다음에, 고해상도 처리 유닛(145)은 TOF 이미지 데이터의 해상도를 증가시킨다(단계 S6).
그 다음에, 매칭 처리 유닛(146)은 각각의 흑백 이미지 데이터에 대해 텍스처를 갖는 부분의 특징량을 추출한 다음, 추출된 특징량을 사용하여 매칭 처리를 수행한다(단계 S7).
그 다음에, 디스패리티 계산 유닛(149)은 대응하는 픽셀의 거리 편차로부터 각 위치의 디스패리티를 계산하여 거리를 계산한다(단계 S8).
그 다음에, 판단 유닛(160)은 RGB 이미지 데이터 획득 유닛(142)으로부터 풀-뷰 구면 이미지의 RGB 이미지 데이터를 획득하고, 재투영 처리 유닛(147)으로부터 RGB 이미지 데이터에 의해 표시된 2차원 좌표계로 변환된 풀-뷰 구면 이미지의 TOF 이미지 데이터를 또한 획득하고, 그 다음에 풀-뷰 구면 이미지의 RGB 이미지 데이터 및 풀-뷰 구면 이미지의 TOF 이미지 데이터에 기초하여 캡처된 이미지에서 근접 물체(즉, 특정 물체)의 유무를 판단하고, 그 다음에 디스플레이 제어 유닛(170)에 판단 결과를 출력한다.
그 다음에, 디스플레이 제어 유닛(170)은 판단 유닛(160)으로부터 획득 또는 얻어진 판단 결과를 나타내는 정보를 2차원 이미지 정보에 중첩하고, 디스플레이 유닛(20)에 2차원 이미지 정보를 디스플레이하도록 지시한다(디스플레이 단계의 일 예)(단계 S9).
그 다음에, 3차원 재구성 처리 유닛(150)은 RGB 이미지 데이터 획득 유닛(142)으로부터 RGB 이미지 데이터를 획득하고, 디스패리티 계산 유닛(149)으로부터 출력된 거리 정보에 기초하여 3차원 데이터를 재구성한 다음, 각각의 3차원 점에 컬러 정보가 추가된 고밀도의 3차원 점군을 출력한다(단계 S10).
그 다음에, 송수신 유닛(180)은 3차원 재구성 처리 유닛(150)에서 출력된 3차원 데이터와 RGB 이미지 데이터 획득 유닛(142)에서 출력된 2차원 이미지 정보를 네트워크(400)를 통해 3차원 복원 처리를 수행하는 외부 디바이스(300)로 전송한다(3차원 정보 출력 단계의 일 예)(단계 S11).
송수신 유닛(180)은 RGB 이미지 데이터 획득 유닛(142)에서 출력된 2차원 이미지 정보를 전송하지 않고 3차원 재구성 처리 유닛(150)에서 출력된 3차원 데이터를 전송하도록 구성될 수 있다.
상술한 바와 같이, 이미징 장치(1)는 이미지 캡처 유닛(11), 및 이미지 캡처 유닛(11)에 의해 캡처된 2차원 이미지 정보를 3차원 정보와 별도로 출력하는 디스플레이 제어 유닛(170)을 포함한다.
이와 같은 구성으로, 사용자는 3차원 정보를 확인하지 않고도 2차원 이미지 정보로부터 사용자 자신, 삼각대 등이 캡처된 이미지에 포함되어 있는지 여부, 및 원하는 레이아웃의 3차원 정보가 획득되었는지 여부를 쉽게 확인할 수 있다.
따라서, 사용자가 3차원 정보가 획득된 현장을 떠난 후 캡처된 이미지에 사용자 자신, 삼각대 등이 포함되어 있거나, 원하는 레이아웃의 3차원 정보가 획득되지 않은 것을 인식하는 경우와 비교하여, 사용자는 3차원 정보가 획득 또는 획득된 현장에 머무르면서 3차원 정보를 재획득할 수 있어 이를 통해 3차원 정보가 획득 또는 얻어진 현장을 재방문하는 작업 또는 수고가 감소될 수 있다.
본 설명에서, 3차원 정보는 예를 들어, 풀-뷰 구면 이미지의 3차원 정보를 포함한다. 이 경우, 풀-뷰 구면 3차원 정보가 캡처되고 사용자가 상기 캡처된 이미지에 사용자 자신, 삼각대 등이 포함되어 있는지 여부, 및 원하는 레이아웃의 3차원 정보가 획득되었는지 여부를 확인하는데 어려움이 있으면, 사용자는 이미지 캡처 유닛(11)에 의해 캡처된 2차원 이미지 정보로부터 캡처된 이미지에 사용자 자신, 삼각대 등이 포함되어 있는지 여부, 및 원하는 레이아웃의 3차원 정보가 획득되었는지 여부를 용이하게 확인할 수 있다.
디스플레이 제어 유닛(170)은 송수신 유닛(180)이 단계(S11)에서 3차원 정보를 전송 또는 출력하기 전에 단계(S3)에서 2차원 이미지 정보(G)를 출력한다. 또한, 디스플레이 제어 유닛(170)은 3차원 재구성 처리 유닛(150)이 단계(S10)에서 3차원 정보를 결정하기 전에 단계(S3)에서 2차원 이미지 정보(G)를 출력한다.
이와 같은 구성으로, 3차원 정보를 확인하기 전에 사용자는 2차원 이미지 정보로부터 캡처된 이미지에 사용자 자신, 삼각대 등이 포함되어 있는지 여부, 및 원하는 레이아웃의 3차원 정보가 획득되었는지 여부를 확인할 수 있다.
이미징 장치(1)에는 디스플레이 유닛(20)이 구비될 수 있으며, 디스플레이 제어 유닛(170)은 디스플레이 유닛(20)에 2차원 이미지 정보를 디스플레이하도록 지시한다.
이와 같은 구성으로, 사용자는 디스플레이 유닛(20)을 이용하여 디스플레이되는 2차원 이미지 정보로부터 캡처된 이미지에 사용자 자신, 삼각대 등이 포함되어 있는지 여부, 및 원하는 레이아웃의 3차원 정보가 획득되었는지 여부를 용이하게 확인할 수 있다.
디스플레이 제어 유닛(170)은 2차원 이미지 정보를 디스플레이 유닛(20)에 출력할 수 있으며, 디스플레이 유닛(20)은 송수신 유닛(180)이 3차원 정보를 출력하는 외부 디바이스(300)와 상이하다.
이와 같은 구성으로, 사용자는 캡처된 이미지에 사용자 자신, 삼각대 등이 포함되어 있는지 여부, 및 원하는 레이아웃의 3차원 정보가 획득되었는지 여부를 외부 디바이스(300)로 출력되는 3차원 정보를 확인하지 않고, 외부 디바이스(300)와 상이한 디스플레이 유닛(20)에 출력되는 2차원 이미지 정보로부터 확인할 수 있다.
이미징 장치(1)에는 거리 정보 획득 유닛(13)으로부터의 출력에 기초하여 3차원 정보를 결정하는 3차원 재구성 처리 유닛(150)이 구비될 수 있다. 3차원 재구성 처리 유닛(150)은 거리 정보 획득 유닛(13)으로부터 수신된 출력 및 2차원 이미지 정보에 기초하여 3차원 정보를 결정한다.
이와 같은 구성으로, 사용자는 캡처된 이미지에 사용자 본인, 삼각대 등이 포함되어 있는지 여부, 및 원하는 레이아웃의 3차원 정보가 획득되었는지 여부를, 3차원 재구성 처리 유닛(150)에 의해 결정된 3차원 정보를 확인하지 않고, 이미지 캡처 유닛(11)에 의해 캡처된 2차원 이미지 정보로부터 확인할 수 있다.
도 6은 본 실시예에 따른 풀-뷰 구면 이미지의 이미지 데이터를 생성하는 프로세스의 흐름도의 일 예이다.
도 6a는 도 5를 참조하여 설명된 단계(S2)에 대응하는 풀-뷰 구면 이미지의 RGB 이미지 데이터를 생성하는 프로세스의 흐름도의 일 예이다.
RGB 이미지 데이터 획득 유닛(142)은 어안(fish-eye) 이미지 포맷의 2개 프레임의 RGB 이미지 데이터를 입력한다(단계 S201).
그 다음에, RGB 이미지 데이터 획득 유닛(142)은 2개 프레임의 RGB 이미지 데이터의 각각을 등장방형(equirectangular) 이미지 포맷의 이미지 데이터로 변환한다(단계 S202). RGB 이미지 데이터 획득 유닛(142)은 2개 프레임의 RGB 이미지 데이터를 동일한 좌표계에 기반한 등장방형 이미지 포맷을 갖는 이미지 데이터로 변환하여 다음 단계(S203)에서의 이미지 결합 또는 스티칭(stitching)을 용이하게 한다. RGB 이미지 데이터는 필요에 따라 등장방형 이미지 포맷 이외의 하나 이상의 이미지 포맷을 사용하는 이미지 데이터로 변환될 수 있는 점이 언급된다. 예를 들어, RGB 이미지 데이터는 임의의 면에 투시화법으로(perspectively) 투영된 이미지의 좌표 또는 임의의 다면체의 각 면에 투시화법으로 투영된 이미지의 좌표로 변환될 수 있다.
이하에서, 등장방형 이미지 포맷에 대해 설명한다. 등장방형 이미지 포맷은 풀-뷰 구면 이미지를 표현할 수 있는 포맷으로, 등장방형 도법을 사용하여 생성된 이미지(즉, 등장방형 이미지)의 포맷이다. 등장방형 도법은 지구의 위도와 경도와 같은 두 변수가 3차원 방향을 나타내고 위도와 경도가 서로 직교하는 평면 이미지를 디스플레이하는 도법이다. 따라서, 등장방형 이미지는 등장방형 도법을 사용하여 생성된 이미지이며, 구면 좌표계의 두 각도 변수를 두 개 축으로 갖는 좌표를 사용하여 표현된다.
그 다음에, RGB 이미지 데이터 획득 유닛(142)은 단계(S202)에서 생성된 2개 프레임의 RGB 이미지 데이터를 결합하거나 스티칭하여 하나의 이미지의 풀-뷰 구면 이미지의 RGB 이미지 데이터를 생성한다(단계 S203). 입력된 2개 프레임의 RGB 이미지 데이터의 각각은 총 화각(angle of view)이 180도를 초과하는 영역을 커버한다. 따라서, 2개 프레임의 RGB 이미지 데이터를 적절하게 결합하거나 스티칭하여 생성된 풀-뷰 구면 이미지의 RGB 이미지 데이터는 풀-뷰 구면 이미지 영역을 커버할 수 있다.
또한, 단계(S203)의 결합 또는 스티칭 처리는 복수의 이미지를 결합 또는 스티칭하기 위한 임의의 공지된 기술을 사용할 수 있으며, 그 방법은 특별히 제한되지 않는다.
도 6b는 도 5를 참조하여 설명된 단계(S4)에 대응하여 풀-뷰 구면 이미지의 TOF 이미지 데이터를 생성하는 프로세스를 나타내는 흐름도이다.
TOF 이미지 데이터 획득 유닛(144)은 어안 이미지 포맷을 갖는 2개 프레임의 거리 이미지 데이터를 획득한다(단계 S401).
그 다음에, TOF 이미지 데이터 획득 유닛(144)은 어안 이미지 포맷을 갖는 상기 2개 프레임의 TOF 이미지 데이터를 등장방형 이미지 포맷의 이미지 데이터로 변환한다(단계 S402). 상술한 바와 같이, 등장방형 이미지 포맷은 풀-뷰 구면 이미지를 표현할 수 있는 포맷이다. 단계(S402)에서, 2개 프레임의 TOF 이미지 데이터는 동일한 좌표계에 기반한 등장방형 이미지 포맷을 갖는 이미지 데이터로 변환되어 다음 단계(S403)에서의 이미지 결합 또는 스티칭 처리를 용이하게 한다.
그 다음에, TOF 이미지 데이터 획득 유닛(144)은 단계(S402)에서 생성된 2개 프레임의 TOF 이미지 데이터를 결합하거나 또는 스티칭하여 하나의 풀-뷰 구면 이미지의 TOF 이미지 데이터를 생성한다(단계 S403). 입력된 2개 프레임의 TOF 이미지 데이터의 각각은 총 화각이 180도를 초과하는 영역을 커버한다. 따라서, 2개 프레임의 TOF 이미지 데이터를 적절하게 결합하거나 스티칭하여 생성된 풀-뷰 구면 이미지의 TOF 이미지 데이터는 풀-뷰 구면 이미지 영역을 커버할 수 있다.
또한, 단계(S403)의 결합 또는 스티칭 처리는 복수의 이미지를 결합 또는 스티칭하기 위한 임의의 공지된 기술을 사용할 수 있으며, 그 방법은 특별히 제한되지 않는다.
도 7은 본 실시예에 따른 근접 물체를 판단하는 프로세스를 나타내는 흐름도의 일 예이다.
도 7은 근접 물체가 캡처된 이미지에 포함되어 있는지 여부를 판단하는 프로세스를 도시하는 흐름도이고, 이는 도 5를 참조하여 설명한 단계(S9)에 대응한다.
판단 유닛(160)은 재투영 처리 유닛(147)으로부터 획득 또는 얻어진 풀-뷰 구면 이미지의 TOF 이미지 데이터에 기초하여, 풀-뷰 구면 이미지의 TOF 이미지 데이터가 포화된 전하량을 갖는 하나 이상의 픽셀을 갖는지 여부를 판단한다(단계 S801).
판단 유닛(160)이 단계(S801)에서 풀-뷰 구면 이미지의 TOF 이미지 데이터가 포화된 전하량을 갖는 하나 이상의 픽셀을 갖는다고 판단하면(S801: YES), RGB 이미지 데이터 획득 유닛(142)으로부터 획득 또는 얻어진 풀-뷰 구면 이미지의 RGB 이미지 데이터에 기초하여, 판단 유닛(160)은 풀-뷰 구면 이미지의 RGB 이미지 데이터가 단계(S801)에서 전하량이 포화된 하나 이상의 픽셀과 동일한 좌표를 갖는 하나 이상의 픽셀이 포화된 전하량을 갖는지 여부를 판단한다(단계 S802).
판단 유닛(160)이 단계(S802)에서 풀-뷰 구면 이미지의 RGB 이미지 데이터가 전하량이 포화된 하나 이상의 픽셀을 갖는 것으로 판단하면(S802: YES), 판단 유닛(160)은 단계(S801)에서 포화된 전하량을 갖는 픽셀이 외부 광(예를 들어, 태양광, 조명 디바이스의 광)에 기인한 것으로 판단하고, 디스플레이 제어 유닛(170)에 에러 정보를 출력한다. 그 다음에, 상기 판단 유닛(160)으로부터 획득 또는 얻어진 에러 정보에 기초하여, 디스플레이 제어 유닛(170)은 2차원 이미지 정보에 에러 정보를 중첩한 다음, 에러 정보가 중첩된 상기 2차원 이미지 정보를 디스플레이하도록 디스플레이 유닛(20)에 지시한다(단계 S803).
판단 유닛(160)이 단계(S802)에서 풀-뷰 구면 이미지의 RGB 이미지 데이터가 전하량이 포화된 픽셀을 갖지 않는다고 판단하면(S802: NO), 판단 유닛(160)은 단계(S801)에서 포화된 전하량을 갖는 픽셀은 근접 물체의 존재에 기인한 것으로 판단하고, 단계(S801)에서 포화된 전하량을 갖는 픽셀의 좌표 위치 정보를 디스플레이 제어 유닛(170)에 출력한다.
그 다음에, 판단 유닛(160)으로부터 획득 또는 얻어진 픽셀에 대한 좌표 위치 정보에 기초하여, 디스플레이 제어 유닛(170)은 2차원 이미지 정보 상에 근접 물체를 식별시키는 식별 정보를 중첩한 다음, 2차원 이미지 정보 상에 중첩된 근접 물체를 식별시키는 식별 정보를 디스플레이하도록 디스플레이 유닛(20)에 지시한다(단계 S804).
판단 유닛(160)은 단계(S801)에서 풀-뷰 구면 이미지의 TOF 이미지 데이터가 전하량이 포화된 픽셀을 가지지 않는다고 판단하면(S801:NO), 재투영 처리 유닛(147)으로부터 획득 또는 얻어진 풀-뷰 구면 이미지의 TOF 이미지 데이터에 기초하여, 판단 유닛(160)은 풀-뷰 구면 이미지의 TOF 이미지 데이터가 풀-뷰 구면 이미지의 TOF 이미지 데이터에서 0.5m 이하와 같은 소정의 거리 정보를 나타내는 하나 이상의 픽셀을 갖는지 여부를 판단한다(단계 S805).
판단 유닛(160)이 단계(S805)에서 풀-뷰 구면 이미지의 TOF 이미지 데이터가 0.5m 이하의 거리 정보를 나타내는 픽셀을 가지지 않는다고 판단하면(S805: NO), 판단유닛(160)은 시퀀스를 종료한다.
판단 유닛(160)이 단계(S805)에서 풀-뷰 구면 이미지의 TOF 이미지 데이터가 0.5m 이하의 거리 정보를 나타내는 하나 이상의 픽셀을 가진다고 판단하면(S805: YES), 판단 유닛(160)은 단계(S804)로 시퀀스를 진행한다.
단계(S805)가 YES인 경우, 판단 유닛(160)은 0.5m 이하의 거리 정보를 나타내는 픽셀이 근접 물체의 존재에 기인한 것으로 판단하고, 단계(S805)에서 0.5m 이하의 거리 정보를 나타내는 픽셀의 좌표 위치 정보를 디스플레이 제어 유닛(170)에 출력한다.
그 다음에, 단계(S804)에서, 판단 유닛(160)으로부터 획득 또는 얻어진 픽셀의 좌표 위치 정보에 기초하여, 디스플레이 제어 유닛(170)은 2차원 이미지 정보 상에 근접 물체를 식별시키는 식별 정보를 중첩함으로써 근접 물체를 식별시키는 식별 정보를 디스플레이하도록 디스플레이 유닛(20)에 지시한다.
상술한 바와 같이, 판단 유닛(160)이 근접 물체가 존재하는 것으로 판단하면 디스플레이 제어 유닛(170)은 2차원 이미지 정보 상에 식별 정보를 중첩하고, 판단 유닛(160)이 근접 물체가 존재하지 않는다고 판단하면 디스플레이 제어 유닛(170)은 2차원 이미지 정보 상에 식별 정보를 중첩하지 않는다.
즉, 디스플레이 제어 유닛(170)은 근접 물체의 유무에 따라 디스플레이 유닛(20)에 상이한 디스플레이를 출력하도록 지시한다.
또한, 판단 유닛(160)으로부터 획득 또는 얻어진 픽셀의 좌표 위치 정보에 기초하여, 디스플레이 제어 유닛(170)은 디스플레이 유닛(20)에 2차원 이미지 정보 상에 근접 물체를 식별시키는 식별 정보를 디스플레이하도록 지시한다.
즉, 디스플레이 제어 유닛(170)은 디스플레이 유닛(20)에 공간에서 근접 물체의 위치에 따라 근접 물체의 디스플레이 위치를 설정하도록 지시하며, 이는 상기 공간에서 각각의 근접 물체의 위치에 따라 각각의 근접 물체의 디스플레이 위치가 달라지는 것을 의미한다.
도 8은 본 발명의 실시예에 따른 디스플레이 유닛을 사용하여 내용을 디스플레이하는 뷰의 일 예이다.
도 8은 도 5의 단계(S3) 및 도 7의 단계(S803, S804)에 대응하는 도면이다.
도 8에 도시된 바와 같이, 디스플레이 제어 유닛(170)은 디스플레이 유닛(20)에 2차원 이미지 정보(G)를 디스플레이하도록 지시한다. 또한, 도 8에 도시된 바와 같이, 디스플레이 제어 유닛(170)은 디스플레이 유닛(20)에 각각의 근접 물체들(예를 들어, 손가락, 삼각대)을 식별시키는 식별 정보(G1, G2)와, 에러 정보(G3)를 2차원 이미지 정보(G) 상에 상기 식별 정보(G1, G2) 및 에러 정보(G3)를 중첩함으로써 디스플레이하도록 지시한다. 에러 정보(G3)는 도 8에 도시된 바와 같이 "태양광" 또는 "조명 디바이스"를 나타내는 마크일 수 있다.
상술한 바와 같이, 이미징 장치(1)는 타겟 물체의 이미지를 캡처하는 이미지 캡처 유닛(11), 상기 타겟 물체 상으로 광을 투사하는 투사 유닛(12), 상기 타겟 물체로부터 반사된 광을 수광하는 거리 정보 획득 유닛(13), 및 상기 거리 정보 획득 유닛(13)으로부터 수신된 출력정보와 상기 이미지 캡처 유닛(11)의 출력정보에 기초하여 결정되는 근접 물체의 유무에 따라 디스플레이 유닛(20)에 상이한 디스플레이를 출력하도록 지시하는 디스플레이 제어 유닛(170)을 포함한다.
이와 같은 구성으로, 사용자는 근접 물체와 외부 광의 영향을 구별하여 캡처된 이미지에 사용자 자신, 및 근접 물체(예를 들어, 삼각대)가 포함되어 있는지 여부를 정확하게 확인할 수 있다.
상술한 바와 같이, 이미징 장치(1)에는 디스플레이 유닛(20)이 구비된다. 이와 같은 구성으로, 사용자는 캡처된 이미지에 근접 물체가 포함되어 있는지 여부를 정확하게 확인할 수 있다.
상술한 바와 같이, 디스플레이 제어 유닛(170)은 디스플레이 유닛(20)에 공간에서 근접 물체의 위치에 따라 근접 물체의 디스플레이 위치를 설정하도록 지시하며, 이는 상기 공간에서 각각의 근접 물체의 위치에 따라 근접 물체의 디스플레이 위치가 달라지는 것을 의미한다. 이와 같은 구성으로, 사용자는 캡처된 이미지에 포함된 각각의 근접 물체의 위치를 확인할 수 있다.
상술한 바와 같이, 디스플레이 제어 유닛(170)은 디스플레이 유닛(20)에 이미지 캡처 유닛(11)에 의해 캡처된 이미지 정보(G)를 디스플레이하도록 지시하고, 디스플레이 유닛(20)에 각각의 근접 물체를 식별시키는 식별 정보(G1, G2)를 상기 이미지 정보 상에 상기 식별정보(G1, G2)를 중첩함으로써 디스플레이하도록 지시한다. 이와 같은 구성으로, 사용자는 캡처된 이미지에 포함된 각각의 근접 물체의 위치를 정확하게 확인할 수 있다.
상술한 바와 같이, 이미징 장치(1)에는 판단 유닛(160)이 구비되고, 판단 유닛(160)은 거리 정보 획득 유닛(13)에 의해 수광된 광에 의한 전하량이 포화되어 있고, 이미지 캡처 유닛(11)에서의 픽셀의 전하량이 포화되어 있지 않을 때, 근접 물체가 존재한다고 판단한다.
이와 같은 구성으로, 사용자는 근접 물체와 외부 광의 영향을 구별함으로써 캡처된 이미지에 근접 물체가 포함되어 있는지 여부를 정확하게 확인할 수 있다.
도 9는 본 실시예에 따른 제1 변형예의 이미징 장치(1)의 외관의 일 예이다. 도 10은 본 실시예에 따른 제1 변형예의 처리 회로의 기능 블록도의 일 예이다.
제1 변형예에서, 디스플레이 제어 유닛(170)은 RGB 이미지 데이터 획득 유닛(142)으로부터 풀-뷰 구면 이미지의 RGB 이미지 데이터를 획득한 다음, 디바이스(500)의 디스플레이 유닛(520)에 풀-뷰 구면 이미지의 상기 획득된 RGB 이미지 데이터에 기초하여 2차원 이미지 정보를 디스플레이하도록 디스플레이 지시한다. 디스플레이 유닛(520)은 2차원 이미지 정보가 출력되는 출력 목적지의 일 예이다.
이와 같은 구성으로, 사용자는 디스플레이 유닛(520)에 의해 디스플레이된 2차원 이미지 정보로부터 사용자 자신, 삼각대 등이 캡처된 이미지에 포함되어 있는지 여부, 및 원하는 레이아웃의 3차원 정보가 획득되었는지 여부를 용이하게 확인할 수 있다.
디스플레이 제어 유닛(170)은 2차원 이미지 정보를 디스플레이 유닛(520)에 출력하고, 이는 송수신 유닛(180)이 3차원 정보를 출력하는 외부 디바이스(300)와 상이하다.
이와 같은 구성으로, 사용자는 캡처된 이미지에 사용자 자신, 삼각대 등이 포함되어 있는지 여부, 및 원하는 레이아웃의 3차원 정보가 획득되었는지 여부를, 외부 디바이스(300)로 출력되는 3차원 정보를 확인하지 않고, 외부 디바이스(300)와 상이한 디스플레이 유닛(520)에 출력된 2차원 이미지 정보로부터 확인할 수 있다.
또한, 디스플레이 제어 유닛(170)은 3차원 재구성 처리 유닛(150)으로부터 풀-뷰 구면 이미지의 3차원 데이터를 획득하거나 얻고, 3차원 정보를 디스플레이하도록 디스플레이 유닛(520)에 지시하도록 구성될 수 있다. 구체적으로, 디스플레이 제어 유닛(170)은 미리 설정된 조건에 따라, 디스플레이 제어 유닛(170)이 디스플레이 유닛(520)에 2차원 이미지 정보를 디스플레이하도록 지시하는 하나의 경우와, 디스플레이 제어 유닛(170)이 디스플레이 유닛(520)에 3차원 정보를 디스플레이하도록 지시하는 다른 경우를 선택할 수 있다. 이와 같은 구성으로, 디스플레이 제어 유닛(170)은 3차원 정보와 별도로 2차원 이미지 정보를 출력할 수 있다.
디스플레이 제어 유닛(170)은 판단 유닛(160)으로부터 획득 또는 얻어진 에러 정보에 기초하여 2차원 이미지 정보 상에 에러 정보를 중첩하고, 디스플레이 유닛(520)에 에러 정보와 중첩된 2차원 이미지 정보를 디스플레이하도록 지시한다.
디스플레이 제어 유닛(170)은 판단 유닛(160)으로부터 획득 또는 얻어진 픽셀의 좌표 위치 정보에 기초하여 2차원 이미지 정보 상에 중첩된 근접 물체를 식별시키는 식별 정보를 디스플레이하도록 디스플레이 유닛(520)에 지시한다.
즉, 디스플레이 제어 유닛(170)은 거리 정보 획득 유닛(13)으로부터 수신된 출력 정보와 이미지 캡처 유닛(11)의 출력 정보에 기초하여 판단된 근접 물체의 유무에 따라 디스플레이 유닛(520)에 상이한 디스플레이를 출력하도록 지시한다.
이와 같은 구성으로, 사용자는 근접 물체를 외부 광의 영향과 구별하여, 캡처된 이미지에 사용자 자신, 및 근접 물체(예를 들어, 삼각대)가 포함되어 있는지 여부를 정확하게 확인할 수 있다.
상술한 바와 같이, 디스플레이 제어 유닛(170)은 디스플레이 유닛(520)에 공간에서 근접 물체의 위치에 따라 근접 물체의 디스플레이 위치를 설정하도록 지시하며, 이는 근접 물체의 디스플레이 위치가 공간에서 각각의 근접 물체의 위치에 따라 달라지는 것을 의미한다. 이와 같은 구성으로, 사용자는 캡처된 이미지에 포함된 각각의 근접 물체의 위치를 확인할 수 있다.
디스플레이 제어 유닛(170)은 이미지 캡처 유닛(11)에 의해 캡처된 이미지 정보를 디스플레이 유닛(520)에 디스플레이하도록 지시하고, 또한 근접 물체를 식별시키는 식별 정보를 이미지 정보 상에 중첩하여 디스플레이하도록 디스플레이 유닛(520)에 지시한다. 이와 같은 구성으로, 사용자는 캡처된 이미지에 포함된 각각의 근접 물체의 위치를 정확하게 확인할 수 있다.
도 11은 본 실시예에 따른 제2 변형예의 이미징 장치(1)의 외관의 일 예이다. 도 12는 본 실시예에 따른 제2 변형예의 처리 회로의 기능 블록도의 일 예이다.
도 11에 도시된 제2 변형예에서는, 이미징 장치(1)가 도 1에 도시된 디스플레이 유닛(20) 대신에, 예를 들어 복수의 디스플레이 유닛(20a, 20A)을 포함한다. 각각의 디스플레이 유닛(20a, 20A)에는, 예를 들면 발광 다이오드(LED) 등이 구성될 수 있고, 처리 회로(14)로부터의 출력 신호에 기초하여 광을 점멸(flash)한다.
디스플레이 유닛(20a)은 하우징(10)의 제1 면(예를 들어, 하우징(10)의 전면)에 구비되고, 디스플레이 유닛(20A)은 하우징(10)의 제2 면(예를 들어, 하우징(10)의 후면)에 구비된다.
도 12에 도시된 제2 변형예에서는, 디스플레이 제어 유닛(170)이 판단 유닛(160)으로부터 획득 또는 얻어진 판단 결과를 나타내는 정보 또는 신호를 디스플레이하도록 디스플레이 유닛(20a, 20A)에 지시한다. 예를 들어, 디스플레이 유닛(20a, 20b)은 이미징 장치(1)의 각 측에 근접한 물체가 있으면 적색으로 점멸할 수 있다.
또한, 송수신 유닛(180)은 RGB 이미지 데이터 획득 유닛(142)에서 출력된 풀-뷰 구면 이미지의 2차원 이미지 정보를 네트워크(400)를 통해 디스플레이 디바이스(500)로 전송 또는 출력한다. 디스플레이 디바이스(500)는 2차원 이미지 정보가 출력되는 출력 목적지의 일 예이다.
즉, 제2 변형예에서는, 도 5의 단계(S3)에서, 송수신 유닛(180)이 RGB 이미지 데이터 획득 유닛(142)으로부터 풀-뷰 구면 이미지의 RGB 이미지 데이터를 획득한 다음, 풀-뷰 구면 이미지의 획득된 RGB 이미지 데이터에 기초한 2차원 이미지 정보를 디스플레이 디바이스(500)로 전송 또는 출력한다.
디스플레이 디바이스(500)의 송수신 유닛(510)은 이미징 장치(1)의 송수신 유닛(180)으로부터 전송된 2차원 이미지 정보를 수신한다.
디스플레이 디바이스(500)의 제어 유닛(530)은 송수신 유닛(510)에 의해 수신된 2차원 이미지 정보를 디스플레이하도록 디스플레이 유닛(520)에 지시한다.
상술한 바와 같이, 이미징 장치(1)는 이미지 캡처 유닛(11), 및 이미지 캡처 유닛(11)에 의해 캡처된 2차원 이미지 정보를 3차원 정보와 별도로 출력하는 송수신 유닛(180)을 포함한다.
이와 같은 구성으로, 사용자는 캡처된 이미지에 사용자 자신, 삼각대 등이 포함되어 있는지 여부, 및 원하는 레이아웃의 3차원 정보가 획득되었는지 여부를 3차원 정보를 확인하지 않고 2차원 이미지 정보로부터 용이하게 확인할 수 있다.
따라서, 사용자가 3차원 정보가 획득 또는 얻어진 현장을 떠난 후에 캡처된 이미지에 사용자 자신, 삼각대 등이 포함되어 있거나, 원하는 레이아웃의 3차원 정보가 획득 또는 얻어지지 않은 것을 인식하는 경우에 비교하여, 사용자는 3차원 정보가 획득 또는 얻어진 현장에 머무르면서 3차원 정보를 재획득할 수 있게 되어 이를 통해 3차원 정보가 획득 또는 얻어진 현장을 재방문하는 작업이나 수고가 줄어들 수 있다.
송수신 유닛(180)은 단계(S11)에서 3차원 정보를 전송 또는 출력하기 전에 단계(S3)에서 2차원 이미지 정보(G)를 전송 또는 출력한다. 또한, 송수신 유닛(180)은 3차원 재구성 처리 유닛(150)이 단계(S10)에서 3차원 정보를 결정하기 전에 단계(S3)에서 2차원 이미지 정보(G)를 전송 또는 출력한다.
이와 같은 구성으로, 사용자는 3차원 정보를 확인하기 전에 2차원 이미지 정보로부터 사용자 자신, 삼각대 등이 캡처된 이미지에 포함되어 있는지 여부, 및 원하는 레이아웃의 3차원 정보가 획득되었는지 여부를 확인할 수 있다.
송수신 유닛(180)은 2차원 이미지 정보를 디스플레이 디바이스(500)로 전송하고, 디스플레이 디바이스(500)는 2차원 이미지 정보를 디스플레이하도록 디스플레이 유닛(520)에 지시한다.
이와 같은 구성으로, 사용자는 디스플레이 유닛(520)에 의해 디스플레이되는 2차원 이미지 정보로부터 사용자 자신, 삼각대 등이 캡처된 이미지에 포함되어 있는지 여부, 및 원하는 레이아웃의 3차원 정보가 획득되었는지 여부를 용이하게 확인할 수 있다.
송수신 유닛(180)은 2차원 이미지 정보를 3차원 정보가 출력되는 외부 디바이스(300)와 상이한 디스플레이 디바이스(500)로 전송한다.
이와 같은 구성으로, 사용자는 캡처된 이미지에 사용자 자신, 삼각대 등이 포함되어 있는지 여부, 및 원하는 레이아웃의 3차원 정보가 획득되었는지 여부를, 외부 디바이스(300)로 출력되는 3차원 정보를 확인하지 않고, 외부 디바이스(300)와 상이한 디스플레이 유닛(520)으로 출력되는 2차원 이미지 정보로부터 확인할 수 있다.
또한, 송수신 유닛(180)은 3차원 정보를 디스플레이 디바이스(500)로 전송하도록 구성될 수 있다. 구체적으로, 송수신 유닛(180)은 미리 설정된 조건에 따라, 송수신 유닛(180)이 2차원 이미지 정보를 디스플레이 디바이스(500)에 전송하는 하나의 경우, 및 송수신 유닛(180)이 3차원 정보를 디스플레이 디바이스(500)로 전송하는 다른 경우를 선택할 수 있다. 이와 같은 구성으로, 송수신 유닛(180)은 2차원 이미지 정보를 3차원 정보와 별도로 디스플레이 디바이스(500)로 전송할 수 있다.
도 13은 본 실시예에 따른 제2 변형예의 근접 물체를 판단하는 흐름도의 일 예이다.
도 13은 제2 변형예에 따른 캡처된 이미지에 근접 물체가 포함되어 있는지 여부를 판단하는 프로세스를 나타낸 흐름도로서, 도 5를 참조하여 설명된 단계(S9)에 대응한다.
판단 유닛(160)은 재투영 처리 유닛(147)으로부터 획득 또는 얻어진 풀-뷰 구면 이미지의 TOF 이미지 데이터에 기초하여, 풀-뷰 구면 이미지의 TOF 이미지 데이터가 포화된 전하량을 갖는 하나 이상의 픽셀을 갖는지 여부를 판단한다(단계 S811).
판단 유닛(160)이 단계(S811)에서 풀-뷰 구면 이미지의 TOF 이미지 데이터가 포화된 전하량을 갖는 하나 이상의 픽셀을 갖는다고 판단하면(S811: YES), RGB 이미지 데이터 획득 유닛(142)으로부터 획득 또는 얻어진 풀-뷰 구면 이미지의 RGB 이미지 데이터에 기초하여, 판단 유닛(160)은 풀-뷰 구면 이미지의 RGB 이미지 데이터가 단계(S811)에서 전하량이 포화된 픽셀과 동일한 좌표를 갖는 하나 이상의 픽셀이 포화된 전하량을 갖는지 여부를 판단한다(단계 S812).
판단 유닛(160)인 단계(S812)에서 풀-뷰 구면 이미지의 RGB 이미지 데이터가 전하량이 포화된 하나 이상의 픽셀을 갖는다고 판단하면(S812: YES), 판단 유닛(160)은 단계(S811)에서 포화된 전하량을 갖는 픽셀은 외부 광에 기인한 것으로 판단하고 디스플레이 제어 유닛(170)에 에러 정보를 출력한다.
그 다음에, 판단 유닛(160)으로부터 획득 또는 얻어진 에러 정보에 기초하여, 디스플레이 제어 유닛(170)은 2차원 이미지 정보에 에러 정보를 중첩한 다음, 에러 정보를 디스플레이하도록 디스플레이 유닛(20a) 또는 디스플레이 유닛(20A)에 지시한다(단계 S813).
판단 유닛(160)이 단계(S812)에서 풀-뷰 구면 이미지의 RGB 이미지 데이터가 전하량이 포화된 픽셀을 갖지 않는다고 판단하면(S812: NO), 판단 유닛(160)은 단계(S811)에서 포화된 전하량을 갖는 픽셀은 근접 물체에 기인한 것이라고 판단하고, 단계(S811)에서 포화된 전하량을 갖는 픽셀의 좌표 위치 정보를 디스플레이 제어 유닛(170)으로 출력한다.
그 다음에, 디스플레이 제어 유닛(170)은 판단 유닛(160)으로부터 획득 또는 얻어진 픽셀의 좌표 위치 정보에 기초하여, 그 좌표 위치 정보가 하우징(10)의 전면을 나타내는지 여부를 판단한다(단계 S814).
판단 유닛(160)은 단계(S811)에서 풀-뷰 구면 이미지의 TOF 이미지 데이터가 전하량이 포화된 픽셀을 가지지 않는다고 판단하면(S811: NO), 재투영 처리 유닛(147)으로부터 획득 또는 얻어진 풀-뷰 구면 이미지의 TOF 이미지 데이터에 기초하여, 판단 유닛(160)은 풀-뷰 구면 이미지의 TOF 이미지 데이터에서 풀-뷰 구면 이미지의 TOF 이미지 데이터가 소정의 거리 정보(예를 들어, 0.5m 이하)를 나타내는 하나 이상의 픽셀을 갖는지 여부를 판단한다(단계 S815).
판단 유닛(160)이 단계(S815)에서 풀-뷰 구면 이미지의 TOF 이미지 데이터가 소정의 거리 정보(예를 들어, 0.5m 이하)를 나타내는 픽셀을 가지지 않는다고 판단하면(S815: NO), 판단 유닛(160)은 시퀀스를 종료한다.
판단 유닛(160)이 단계(S815)에서 풀-뷰 구면 이미지의 TOF 이미지 데이터가 소정의 거리 정보(예를 들어, 0.5m 이하)를 나타내는 하나 이상의 픽셀을 가진다고 판단하면(S815: YES), 판단 유닛(160)은 단계(S814)로 시퀀스를 진행한다.
단계(S815)가 YES인 경우, 판단 유닛(160)은 0.5m 이하의 거리 정보를 나타내는 픽셀이 근접 물체의 존재에 기인한 것으로 판단하고, 단계(S815)에서 0.5m 이하의 거리 정보를 나타내는 픽셀의 좌표 위치 정보를 디스플레이 제어 유닛(170)에 출력한다.
그 다음에, 단계(S814)에서, 판단 유닛(160)으로부터 획득 또는 얻어진 픽셀의 좌표 위치 정보에 기초하여, 디스플레이 제어 유닛(170)은 픽셀의 좌표 위치 정보가 하우징(10)의 전면을 나타내는지 여부를 판단한다.
디스플레이 제어 유닛(170)이 단계(S814)에서 픽셀의 좌표 위치 정보가 전면을 나타내는 것으로 판단하면(S814: YES), 디스플레이 제어 유닛(170)은 하우징(10)의 전면에 배치된 디스플레이 유닛(20a)에 광을 점멸하도록 지시한다(단계 S816).
디스플레이 제어 유닛(170)이 단계(S814)에서 픽셀의 좌표 위치 정보가 전면을 나타내지 않는다고 판단하면(S814: NO), 디스플레이 제어 유닛(170)은 하우징(10)의 후면에 배치된 디스플레이 유닛(20A)에 광을 점멸하도록 지시한다(단계 S817).
상술한 바와 같이, 디스플레이 제어 유닛(170)은 근접 물체가 존재한다고 판단한 경우 디스플레이 유닛(20a) 또는 디스플레이 유닛(20A)에 광을 점멸하도록 지시하고, 근접 물체가 존재하지 않는 것으로 판단한 경우 디스플레이 유닛(20a) 또는 디스플레이 유닛(20A)에 광을 점멸하도록 지시하지 않는다.
즉, 디스플레이 제어 유닛(170)은 근접 물체의 유무에 따라 디스플레이 유닛(20a) 또는 디스플레이 유닛(20A)에 상이한 디스플레이를 출력하도록 지시한다.
이와 같은 구성으로, 사용자는 근접 물체를 외부 광의 영향과 구별하여 캡처된 이미지에 사용자 자신 또는 근접 물체(예를 들어, 삼각대)가 포함되어 있는지 여부를 정확하게 확인할 수 있다.
또한, 디스플레이 제어 유닛(170)은 판단 유닛(160)으로부터 획득 또는 얻어진 픽셀의 좌표 위치 정보에 기초하여 디스플레이 유닛(20a) 또는 디스플레이 유닛(20A)에 광을 점멸하도록 지시한다.
즉, 디스플레이 제어 유닛(170)은 공간에서 근접 물체의 위치에 따라 디스플레이 유닛(20a) 또는 디스플레이 유닛(20A)에 근접 물체의 위치를 디스플레이하도록 지시하고, 이는 근접 물체의 위치가 상기 공간에서의 각 근접 물체의 위치에 따라 상이하게 디스플레이되는 것을 의미한다. 이와 같은 구성으로, 사용자는 캡처된 이미지에 포함된 각 근접 물체의 위치를 확인할 수 있다.
그 다음에, 디스플레이 제어 유닛(170)은 디스플레이 유닛들(20a, 20A) 중 근접 물체에 더 가까운 어느 하나에 근접 물체의 유무에 따라 상이한 디스플레이를 출력하도록 지시한다. 이와 같은 구성으로, 사용자는 캡처된 이미지에 포함된 특정 물체의 위치를 정확하게 확인할 수 있다.
도 14는 본 실시예에 따른 제3 변형예의 이미징 장치(1)의 구성을 나타내는 단면도이다.
도 14에 도시된 제3 변형예에서는, 도 2에 도시된 구성에 부가하여, 이미징 장치(1)가 예를 들어, 또 다른 이미지 캡처 소자(111a, 111A), 및 또 다른 어안 렌즈(광각 렌즈)(111b, 111B)를 갖는 또 다른 이미지 캡처 유닛(111)을 포함한다.
제3 변형예에서, RGB 이미지 캡처 유닛(11) 및 또 다른 이미지 캡처 유닛(111)은 동일한 베이스 라인에 제공된다. 이 구성에서, 처리 회로(14)는 복수의 눈(eyes)을 갖는 구성에 대한 처리를 수행할 수 있다. 즉, 일 면을 따라 이미지 캡처 유닛(11)과 또 다른 이미지 캡처 유닛(111) 사이에 소정의 미리 설정된 거리가 마련된, 이미지 캡처 유닛(11)과 또 다른 이미지 캡처 유닛(111)을 동시에 구동함으로써 2개 시점(viewpoints)의 RGB 이미지들이 획득 또는 얻어질 수 있다. 따라서 2개의 RGB 이미지들에서 계산된 디스패리티가 사용될 수 있으며 전체 측정 범위의 거리 정밀도가 향상될 수 있다.
구체적으로, RGB 이미지 데이터를 캡처하기 위해 이미지 캡처 유닛(11)과 또 다른 이미지 캡처 유닛(111)이 제공되는 경우, SSD(Sum of the Squared Differences)를 사용하는 MSB(multi-Baseline Stereo) 및 EPI(Epipolar Plane Image) 처리가 종래의 디스패리티 계산에서와 같이 사용될 수 있다. 따라서, 이미지 캡처 유닛(11) 및 또 다른 이미지 캡처 유닛(111)을 사용함으로써, 디스패리티의 신뢰성이 증가될 수 있고, 더 높은 공간 해상도 및 더 높은 정밀도가 달성될 수 있다.
상술한 바와 같이, 이미징 장치(1)는 또 다른 이미지 캡처 유닛(111)과, 거리 정보 획득 유닛(13)으로부터 수신된 출력 정보, 2차원 이미지 정보, 및 또 다른 이미지 캡처 유닛(111)에 의해 캡처된 또 다른 2차원 이미지 정보에 기초하여 3차원 정보를 결정하는 3차원 재구성 처리 유닛(150)을 포함한다.
또한, 이미징 장치(1)는 거리 정보 획득 유닛(13)으로부터의 출력 정보를 이용하지 않고, 또 다른 이미지 캡처 유닛(111)과, 2차원 이미지 정보 및 또 다른 이미지 캡처 유닛(111)에 의해 캡처된 또 다른 2차원 이미지 정보에 기초하여 3차원 정보를 결정하는 3차원 정보 결정 유닛을 포함할 수 있다.
이와 같은 구성으로, 사용자는 캡처된 이미지에 사용자 자신, 삼각대 등이 포함되어 있는지 여부, 및 원하는 레이아웃의 3차원 정보가 획득되었는지 여부를, 2차원 이미지 정보에 기초하여 3차원 재구성 처리 유닛(150)에 의해 결정된 3차원 정보를 확인하지 않고 이미지 캡처 유닛(11)에 의해 캡처된 2차원 이미지 정보로부터 확인할 수 있다.
상술한 실시예에서, 이미징 장치(1)(정보 처리 장치의 일 예)는 2차원 이미지 정보를 캡처하는 이미지 캡처 유닛(11), 디스플레이하기 위한 2차원 이미지 정보(G) 및 2차원 이미지 정보의 좌표와 연관된 3차원 정보를 출력하는 출력 유닛을 포함한다.
출력 유닛은 디스플레이 제어 유닛(170)으로 구현될 수 있다. 이 경우, 디스플레이 제어 유닛(170)은 디스플레이하기 위한 2차원 이미지 정보 및 3차원 정보를 출력한다.
또한, 출력 유닛은 송수신 유닛(180)으로 구현될 수 있다. 이 경우, 송수신 유닛(180)은 디스플레이하기 위한 2차원 이미지 정보를 외부 디바이스로 출력하고, 3차원 정보를 외부 디바이스로 출력한다.
또한, 출력 유닛은 디스플레이 제어 유닛(170) 및 송수신 유닛(180)으로 구현될 수 있다. 이 경우, 디스플레이 제어 유닛(170)은 디스플레이하기 위한 2차원 이미지 정보를 출력하고, 송수신 유닛(180)은 3차원 정보를 외부 디바이스로 출력한다. 대안적으로, 디스플레이 제어 유닛(170)은 3차원 정보를 외부 디바이스로 출력하고, 송수신 유닛(180)은 디스플레이하기 위한 2차원 이미지 정보를 출력한다.
이와 같은 구성으로, 사용자는 사용자 자신, 삼각대 등이 캡처된 이미지에 포함되어 있는지 여부, 및 원하는 레이아웃의 3차원 정보가 획득되었는지 여부를, 3차원 정보를 확인하지 않고 2차원 이미지 정보로부터 용이하게 확인할 수 있다.
따라서, 사용자가 3차원 정보가 획득 또는 얻어진 현장을 떠난 후 캡처된 이미지에 사용자 자신, 삼각대 등이 포함되어 있거나, 원하는 레이아웃의 3차원 정보가 획득 또는 얻어지지 않은 것을 인식한 경우에 비교하여, 사용자는 3차원 정보가 획득 또는 얻어진 현장에 머무르면서 3차원 정보를 재획득할 수 있어, 이를 통해 3차원 정보가 획득 또는 얻어진 현장을 재방문하는 수고 또는 작업이 줄어들 수 있다.
디스플레이 제어 유닛(170) 또는 송수신 유닛(180)은 3차원 정보를 출력하기 전에 2차원 이미지 정보(G)를 출력한다. 또한, 디스플레이 제어 유닛(170) 또는 송수신 유닛(180)은 3차원 정보를 결정하기 전에 2차원 이미지 정보(G)를 출력한다.
이와 같은 구성으로, 사용자는 캡처된 이미지에 사용자 자신, 삼각대 등이 포함되어 있는지 여부, 및 원하는 레이아웃의 3차원 정보가 획득되었는지 여부를, 3차원 정보를 확인하기 전에 2차원 이미지 정보로부터 확인할 수 있다.
디스플레이 제어 유닛(170)은 디스플레이 유닛(20) 및 디스플레이 유닛(520)에 2차원 이미지 정보(G)를 디스플레이하도록 지시한다. 이미징 장치(1)에는 디스플레이 유닛(20)이 구비된다.
이와 같은 구성으로, 사용자는 사용자 자신, 삼각대 등이 캡처된 이미지에 포함되어 있는지 여부 및 원하는 레이아웃의 3차원 정보가 획득되었는지 여부를, 디스플레이 유닛에 의해 디스플레이되는 2차원 이미지 정보로부터 용이하게 확인할 수 있다.
디스플레이 제어 유닛(170) 또는 송수신 유닛(180)은 2차원 이미지 정보(G)를, 3차원 정보가 출력되는 외부 디바이스(300)(출력 목적지의 일 예)와 상이한 디스플레이 유닛(20) 및 디스플레이 유닛(520)(출력 목적지의 일 예)으로 출력한다.
이와 같은 구성으로, 사용자는 캡처된 이미지에 사용자 자신, 삼각대 등이 포함되어 있는지 여부, 및 원하는 레이아웃의 3차원 정보가 획득되었는지 여부를, 외부 디바이스(300)(출력 목적지의 일 예)에 출력되는 3차원 정보를 확인하지 않고, 외부 디바이스(300)와 상이한 디스플레이 유닛(20) 및 디스플레이 유닛(520)에 출력되는 2차원 이미지 정보로부터 확인할 수 있다.
이미징 장치(1)는 타겟 물체에 광을 투사하는 투사 유닛(12), 상기 타겟 물체로부터 반사된 광을 수광하기 위한 거리 정보 획득 유닛부(13)(수광 유닛의 일 예), 및 상기 거리 정보 획득 유닛(13)으로부터 수신된 출력 정보에 기초하여 3차원 정보를 결정하기 위한 3차원 재구성 처리 유닛(150)(3차원 정보 결정 유닛의 일 예)을 포함한다. 3차원 재구성 처리 유닛(150)은 거리 정보 획득 유닛(13)으로부터 수신된 출력 정보 및 2차원 이미지 정보에 기초하여 3차원 정보를 결정한다.
이와 같은 구성으로, 사용자는 캡처된 이미지에 사용자 자신, 삼각대 등이 포함되어 있는지 여부, 및 원하는 레이아웃의 3차원 정보가 획득되었는지 여부를 3차원 재구성 처리 유닛(150)에 의해 결정된 3차원 정보를 확인하지 않고 이미지 캡처 유닛(11)에 의해 캡처된 2차원 이미지 정보로부터 확인할 수 있다.
이미징 장치(1)는 또 다른 이미지 캡처 유닛(111)과, 거리 정보 획득 유닛(13)으로부터 수신된 출력 정보, 2차원 이미지 정보, 및 또 다른 이미지 캡처 유닛(111)에 의해 캡처된 또 다른 2차원 이미지 정보에 기초하여 3차원 정보를 결정하는 3차원 재구성 처리 유닛(150)을 포함한다.
상술한 바와 같이, 이미징 장치(1)는 거리 정보 획득 유닛(13)으로부터의 출력 정보를 사용하지 않고, 또 다른 이미지 캡처 유닛(111)과, 2차원 이미지 정보, 및 또 다른 이미지 캡처 유닛(111)에 의해 캡처된 또 다른 2차원 이미지 정보에 기초하여 3차원 정보를 결정하는 3차원 정보 결정 유닛을 포함할 수 있다.
이와 같은 구성으로, 사용자는 캡처된 이미지에 사용자 자신, 삼각대 등이 포함되어 있는지 여부, 및 원하는 레이아웃의 3차원 정보가 획득되었는지 여부를, 2차원 이미지 정보에 기초하여 3차원 재구성 처리 유닛(150)에 의해 결정된 3차원 정보를 확인하지 않고, 이미지캡처 유닛(11)에 의해 캡처된 2차원 이미지 정보로부터 확인할 수 있다.
3차원 정보는 예를 들어, 풀-뷰 구면 3차원 정보를 포함한다. 이 경우, 사용자가 풀-뷰 구면 3차원 정보에서, 캡처된 이미지에 사용자 자신, 삼각대 등이 포함되어 있는지 여부, 및 원하는 레이아웃의 3차원 정보가 획득되었는지 여부를 확인하기 어려운 경우에도, 사용자는 캡처된 이미지에 사용자 자신, 삼각대 등이 포함되어 있는지 여부, 및 원하는 레이아웃의 3차원 정보가 획득되었는지 여부를 이미지 캡처 유닛(11)에 의해 캡처된 2차원 이미지 정보로부터 용이하게 확인할 수 있다.
상술한 실시예에서, 이미징 장치(1)(정보 처리 장치의 일례)는 타겟 물체의 이미지를 캡처하는 이미지 캡처 유닛(11), 타겟 물체에 광을 투사하는 투사 유닛(12), 타겟 물체로부터 반사된 광을 수광하는 거리 정보 획득 유닛(13)(수광 유닛의 일 예), 및 디스플레이 유닛(20)과 디스플레이 유닛(520)에 거리 정보 획득 유닛(13)의 출력 정보와 이미지 캡처 유닛(11)의 출력 정보에 기초하여 결정되는 특정 물체의 유무에 따라 상이한 디스플레이를 출력하도록 지시하는 디스플레이 제어 유닛(170)을 포함한다.
이와 같은 구성을 통해, 사용자는 특정 물체와 외부 광의 영향을 구별함으로써 캡처된 이미지에 사용자 자신, 또는 근접 물체(예를 들어, 삼각대)와 같은 특정 물체가 포함되어 있는지 여부를 정확하게 확인할 수 있다.
이미징 장치(1)는 디스플레이 유닛(20)을 포함한다. 이와 같은 구성으로, 사용자는 캡처된 이미지에 특정 물체가 포함되어 있는지 여부를 정확하게 확인할 수 있다.
디스플레이 제어 유닛(170)은 디스플레이 유닛(20) 및 디스플레이 유닛(520)에 공간에서 특정 물체의 위치에 따라 특정 물체의 디스플레이 위치를 설정하도록 지시하며, 이는 각각의 특정 물체의 디스플레이 위치가 상기 공간에서의 각각의 특정 물체의 위치에 따라 달라지는 것을 의미한다. 이와 같은 구성으로, 사용자는 캡처된 이미지에 포함된 특정 물체의 위치를 정확하게 확인할 수 있다.
디스플레이 유닛(20)은 복수의 디스플레이 유닛(20A, 20a)을 포함한다. 디스플레이 제어 유닛(170)은 특정 물체의 유무에 따라 근접 물체에 더 가까운 디스플레이 유닛(20A) 또는 디스플레이 유닛(20a)에 상이한 디스플레이를 출력하도록 지시한다. 이와 같은 구성으로, 사용자는 캡처된 이미지에 포함된 특정 물체의 위치를 정확하게 확인할 수 있다.
디스플레이 제어 유닛(170)은 디스플레이 유닛(20) 및 디스플레이 유닛(520)에 이미지 캡처 유닛(11)에 의해 캡처된 이미지 정보(G)를 디스플레이하도록 지시하고, 디스플레이 유닛(20) 및 디스플레이 유닛(520)에 특정 물체를 식별시키는 식별 정보(G1, G2)를 상기 이미지 정보(G)에 상기 식별 정보(G1, G2)를 중첩함으로써 디스플레이하도록 지시한다. 이와 같은 구성으로, 사용자는 캡처된 이미지에 포함된 특정 물체의 위치를 정확하게 확인할 수 있다.
이미징 장치(1)에는 거리 정보 획득 유닛(13)에 의해 수광된 광에 기인한 전하량이 포화되어 있고, 이미지 캡처 유닛(11) 내의 픽셀의 전하량이 포화되어 있지 않을 때 특정 물체가 존재한다고 판단하는 판단 유닛(160)이 구비된다.
이와 같은 구성으로, 사용자는 특정 물체와 외부 광의 영향을 구별함으로써 캡처된 이미지에 특정 물체가 포함되어 있는지 여부를 정확하게 확인할 수 있다.
또한, 상술한 실시예들의 각각의 기능은 하나 이상의 처리 회로 또는 회로부에 의해 구현될 수 있다. 프로세서가 회로부를 포함하는 것처럼 처리 회로는 프로그래밍된 프로세서를 포함한다. 처리 회로는 또한 ASIC(application specific integrated circuit), DSP(digital signal processor), FPGA(field programmable gate array) 및 기재된 기능들을 수행하도록 배열된 종래의 회로 구성요소와 같은 디바이스들을 포함한다. 상술한 실시예들을 수행하기 위해 사용되는 프로그램은 캐리어(carrier) 수단 또는 저장 매체에 저장될 수 있다.
이 특허 출원은 일본 특허청에 2020년 3월 23일에 출원된 일본 특허출원 제2020-050539호 및 2020년 3월 23일에 출원된 일본 특허출원 제2020-050608호에 기초하고 이들에 우선권을 주장하며, 그 전체 개시내용이 본 명세서에 참고로 포함된다.
1 이미징 장치(정보 처리 장치의 예)
10 하우징
11 이미지 캡처 유닛
11a, 11A 이미지 캡처 소자
11b, 11B 어안 렌즈
12 투사 유닛
12a, 12A 광원 유닛
12b, 12B 광각 렌즈
13 거리 정보 획득 유닛(수광부의 예)
13a, 13A TOF 센서
13b, 13B 광각 렌즈
14 처리 회로
15 이미지 캡처 스위치
20 디스플레이 유닛
20A, 20a 디스플레이 유닛
111 또 다른 이미지 캡처 유닛
150 3차원 재구성 처리 유닛(3차원 정보 결정 유닛의 예)
160 판단 유닛
170 디스플레이 제어 유닛(출력 유닛의 예)
180 송수신 유닛(출력 유닛의 예)
300 외부 디바이스(출력 목적지의 예)
500 디스플레이 디바이스(출력 목적지의 예)
520 디스플레이 유닛(출력 목적지의 예)
L 동기화 신호선

Claims (21)

  1. 수광된 광에 기초하여 결정되는 3차원 정보를 출력하기 위한 정보 처리 장치(1)로서,
    2차원 이미지 정보를 캡처하도록 구성된 이미지 캡처 유닛(11); 및
    디스플레이하기 위한 상기 2차원 이미지 정보와, 상기 2차원 이미지 정보의 좌표와 연관된 3차원 정보를 출력하도록 구성된 출력 유닛(170, 180)
    을 포함하고,
    상기 출력 유닛(170, 180)은 상기 3차원 정보가 결정되기 전에 상기 2차원 이미지 정보를 디스플레이하도록 디스플레이 유닛(20, 520)에 지시하도록 구성되는 것인, 정보 처리 장치(1).
  2. 제1 항에 있어서,
    상기 디스플레이 유닛(20, 520)을 더 포함하는, 정보 처리 장치(1).
  3. 제1 항에 있어서,
    상기 출력 유닛(170, 180)은 상기 2차원 이미지를 하나의 출력 목적지에 출력하도록 구성되며, 상기 하나의 출력 목적지는 상기 3차원 정보가 출력되는 또 다른 출력 목적지와는 상이한 것인, 정보 처리 장치(1).
  4. 제1 항에 있어서,
    공간에 광을 투사하도록 구성된 투사 유닛(12);
    상기 공간에 존재하는 하나 이상의 물체로부터 반사된 광을 수광하도록 구성된 수광 유닛(13); 및
    상기 수광 유닛(13)의 출력에 기초하여 상기 3차원 정보를 결정하도록 구성된 3차원 정보 결정 유닛(150)
    을 더 포함하는, 정보 처리 장치(1).
  5. 제4 항에 있어서,
    상기 3차원 정보 결정 유닛(150)은 상기 수광 유닛(13)의 출력과, 상기 2차원 이미지 정보에 기초하여 상기 3차원 정보를 결정하는 것인, 정보 처리 장치(1).
  6. 제5 항에 있어서,
    또 다른 이미지 캡처 유닛(111)을 더 포함하고,
    상기 3차원 정보 결정 유닛(150)은 상기 수광 유닛(13)의 출력, 상기 2차원 이미지 정보, 및 상기 또 다른 이미지 캡처 유닛(111)에 의해 캡처된 또 다른 2차원 이미지 정보에 기초하여 상기 3차원 정보를 결정하는 것인, 정보 처리 장치(1).
  7. 제1 항에 있어서,
    또 다른 이미지 캡처 유닛(111), 및
    상기 2차원 이미지 정보와, 상기 또 다른 이미지 캡처 유닛(111)에 의해 캡처된 또 다른 2차원 이미지 정보에 기초하여 상기 3차원 정보를 결정하도록 구성된 3차원 정보 결정 유닛(150)
    을 더 포함하는, 정보 처리 장치(1).
  8. 제1 항에 있어서,
    상기 3차원 정보는 풀-뷰 구면(full-view spherical) 3차원 정보를 포함하는 것인, 정보 처리 장치(1).
  9. 제1 항에 있어서,
    공간에 광을 투사하도록 구성된 투사 유닛(12);
    상기 공간에 존재하는 하나 이상의 물체로부터 반사된 광을 수광하도록 구성된 수광 유닛(13);
    상기 수광 유닛(13)의 출력 정보와 상기 이미지 캡처 유닛(11)의 출력 정보에 기초하여 결정된 특정 물체의 유무에 따라 상이하게 디스플레이하도록 디스플레이 유닛(20, 520, 20A, 20a)에 지시하도록 구성된 디스플레이 제어 유닛(170)
    을 더 포함하는, 정보 처리 장치(1).
  10. 제9 항에 있어서,
    상기 디스플레이 유닛(20, 520, 20A, 20a)을 더 포함하는, 정보 처리 장치(1).
  11. 제9 항에 있어서,
    상기 디스플레이 제어 유닛(170)은 공간에서 상기 특정 물체의 위치에 따라 상기 특정 물체의 디스플레이 위치를 설정하도록 상기 디스플레이 유닛(20, 520)에 지시하는 것인, 정보 처리 장치(1).
  12. 제9 항에 있어서,
    상기 디스플레이 제어 유닛(170)은 상기 이미지 캡처 유닛(11)에 의해 캡처된 이미지 정보를 디스플레이하도록 상기 디스플레이 유닛(20, 520)에 지시하고, 상기 이미지 정보 상의 상기 특정 물체를 식별시키는 식별 정보를 상기 이미지 정보 상에 상기 식별 정보를 중첩함으로써 디스플레이하도록 상기 디스플레이 유닛(20, 520)에 지시하는 것인, 정보 처리 장치(1).
  13. 제9 항에 있어서,
    상기 수광 유닛(13)에 의해 수광된 광에 의한 전하량이 포화되어 있고 상기 이미지 캡처 유닛(11)의 픽셀의 전하량이 포화되어 있지 않은 경우, 상기 특정 물체가 존재한다고 판단하도록 구성된 판단 유닛(160)을 더 포함하는, 정보 처리 장치(1).
  14. 정보 처리 방법으로서,
    2차원 이미지 정보를 캡처하는 단계;
    디스플레이하기 위해 상기 2차원 이미지 정보를 출력하는 단계; 및
    수광된 광에 기초하여 결정되고 상기 2차원 이미지 정보의 좌표와 연관된 3차원 정보를 출력하는 단계
    를 포함하고,
    상기 3차원 정보를 결정하기 전에 상기 2차원 이미지 정보가 디스플레이되는 것인, 정보 처리 방법.
  15. 제14 항에 있어서,
    공간에 광을 투사하는 단계;
    상기 공간에 존재하는 하나 이상의 물체로부터 반사된 광을 수광하는 단계;
    상기 2차원 이미지 정보와 상기 3차원 정보에 기초하여 캡처된 이미지에 포함된 특정 물체의 유무를 결정하는 단계; 및
    상기 특정 물체의 유무에 따라 상이한 디스플레이를 출력하는 단계
    를 더 포함하는, 정보 처리 방법.
  16. 수광된 광에 기초하여 결정되는 3차원 정보를 출력하기 위한 정보 처리 장치(1)로서,
    2차원 이미지 정보를 캡처하도록 구성된 이미지 캡처 유닛(11);
    디스플레이하기 위한 상기 2차원 이미지 정보와, 상기 2차원 이미지 정보의 좌표와 연관된 3차원 정보를 출력하도록 구성된 출력 유닛(170, 180); 및
    상기 2차원 이미지 정보와 상기 3차원 정보에 기초하여 캡처된 이미지에 포함된 특정 물체의 존재를 판단하도록 구성된 판단 유닛(160)
    을 포함하는, 정보 처리 장치(1).
  17. 제16 항에 있어서,
    공간에 광을 투사하도록 구성된 투사 유닛(12);
    상기 공간에 존재하는 하나 이상의 물체로부터 반사된 광을 수광하도록 구성된 수광 유닛(13);
    상기 특정 물체의 유무에 따라 상이하게 디스플레이하도록 디스플레이 유닛(20, 520, 20A, 20a)에 지시하도록 구성된 디스플레이 제어 유닛
    을 더 포함하는, 정보 처리 장치(1).
  18. 제17 항에 있어서,
    상기 디스플레이 유닛(20, 520, 20A, 20a)을 더 포함하는, 정보 처리 장치(1).
  19. 제17 항에 있어서,
    상기 디스플레이 제어 유닛은 공간에서 상기 특정 물체의 위치에 따라 상기 특정 물체의 디스플레이 위치를 설정하도록 상기 디스플레이 유닛(20, 520)에 지시하는 것인, 정보 처리 장치(1).
  20. 제17 항에 있어서,
    상기 디스플레이 제어 유닛은 상기 이미지 캡처 유닛(11)에 의해 캡처된 이미지 정보를 디스플레이하도록 상기 디스플레이 유닛(20, 520)에 지시하고, 상기 이미지 정보 상의 상기 특정 물체를 식별시키는 식별 정보를 상기 이미지 정보 상에 상기 식별 정보를 중첩함으로써 디스플레이하도록 상기 디스플레이 유닛(20, 520)에 지시하는 것인, 정보 처리 장치(1).
  21. 제17 항에 있어서,
    상기 판단 유닛(160)은 또한, 상기 수광 유닛(13)에 의해 수광된 광에 의한 전하량이 포화되어 있고 상기 이미지 캡처 유닛(11)의 픽셀의 전하량이 포화되어 있지 않은 경우, 상기 특정 물체가 존재한다고 판단하도록 구성되는 것인, 정보 처리 장치(1).
KR1020227029613A 2020-03-23 2021-02-10 정보 처리 장치 및 정보 처리 방법 KR102660776B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2020050539A JP2021150880A (ja) 2020-03-23 2020-03-23 撮像装置および撮像処理方法
JPJP-P-2020-050608 2020-03-23
JPJP-P-2020-050539 2020-03-23
JP2020050608A JP2021150882A (ja) 2020-03-23 2020-03-23 撮像装置および撮像処理方法
PCT/IB2021/051052 WO2021191694A1 (en) 2020-03-23 2021-02-10 Information processing apparatus and method of processing information

Publications (2)

Publication Number Publication Date
KR20220133267A KR20220133267A (ko) 2022-10-04
KR102660776B1 true KR102660776B1 (ko) 2024-04-24

Family

ID=74661420

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227029613A KR102660776B1 (ko) 2020-03-23 2021-02-10 정보 처리 장치 및 정보 처리 방법

Country Status (6)

Country Link
US (1) US20230145521A1 (ko)
EP (1) EP4128748A1 (ko)
KR (1) KR102660776B1 (ko)
CN (1) CN115280767A (ko)
CA (1) CA3166988A1 (ko)
WO (1) WO2021191694A1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002216167A (ja) 2001-01-12 2002-08-02 Namco Ltd 画像生成システム、プログラム及び情報記憶媒体
US20160148433A1 (en) 2014-11-16 2016-05-26 Eonite, Inc. Systems and methods for augmented reality preparation, processing, and application
US20180139431A1 (en) * 2012-02-24 2018-05-17 Matterport, Inc. Capturing and aligning panoramic image and depth data

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100238139A1 (en) * 2009-02-15 2010-09-23 Neonode Inc. Optical touch screen systems using wide light beams
JP5049300B2 (ja) * 2009-01-20 2012-10-17 クラリオン株式会社 障害物検出表示装置
JP5423287B2 (ja) 2009-09-29 2014-02-19 リコーイメージング株式会社 撮像装置
US20120056982A1 (en) * 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
US9279661B2 (en) * 2011-07-08 2016-03-08 Canon Kabushiki Kaisha Information processing apparatus and information processing method
US9361283B2 (en) * 2011-11-30 2016-06-07 Google Inc. Method and system for projecting text onto surfaces in geographic imagery
US9542045B2 (en) * 2012-03-14 2017-01-10 Texas Instruments Incorporated Detecting and tracking touch on an illuminated surface using a mean-subtracted image
WO2017006546A1 (ja) * 2015-07-03 2017-01-12 パナソニックＩｐマネジメント株式会社 距離測定装置および距離画像合成方法
JP6659130B2 (ja) * 2015-12-04 2020-03-04 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
CN108027238B (zh) * 2016-09-01 2022-06-14 索尼半导体解决方案公司 成像装置
KR102580327B1 (ko) * 2016-09-09 2023-09-19 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
EP3301480A1 (en) * 2016-10-03 2018-04-04 Xenomatix NV System and method for determining a distance to an object
JP6922187B2 (ja) 2016-11-08 2021-08-18 株式会社リコー 測距装置、監視カメラ、３次元計測装置、移動体、ロボット及び光源駆動条件設定方法
US10445928B2 (en) * 2017-02-11 2019-10-15 Vayavision Ltd. Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types
JP7133145B2 (ja) 2018-09-26 2022-09-08 日本電気硝子株式会社 シミュレーション方法およびシミュレーションプログラム
JP7158974B2 (ja) 2018-09-27 2022-10-24 小林製薬株式会社 義歯洗浄剤
JP7306089B2 (ja) * 2019-06-17 2023-07-11 株式会社リコー 画像処理システム、撮像システム、画像処理装置、撮像装置およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002216167A (ja) 2001-01-12 2002-08-02 Namco Ltd 画像生成システム、プログラム及び情報記憶媒体
US20180139431A1 (en) * 2012-02-24 2018-05-17 Matterport, Inc. Capturing and aligning panoramic image and depth data
US20160148433A1 (en) 2014-11-16 2016-05-26 Eonite, Inc. Systems and methods for augmented reality preparation, processing, and application

Also Published As

Publication number Publication date
EP4128748A1 (en) 2023-02-08
CN115280767A (zh) 2022-11-01
CA3166988A1 (en) 2021-09-30
WO2021191694A1 (en) 2021-09-30
US20230145521A1 (en) 2023-05-11
KR20220133267A (ko) 2022-10-04

Similar Documents

Publication Publication Date Title
EP1792282B1 (en) A method for automated 3d imaging
US20140055565A1 (en) 3-dimensional image acquisition apparatus and 3d image acquisition method for simultaneously obtaining color image and depth image
US10884127B2 (en) System and method for stereo triangulation
US10962764B2 (en) Laser projector and camera
JP7409443B2 (ja) 撮像装置
KR102660776B1 (ko) 정보 처리 장치 및 정보 처리 방법
JP6868167B1 (ja) 撮像装置および撮像処理方法
CN109587304B (zh) 电子设备和移动平台
CN111510700A (zh) 图像采集装置
WO2022202775A1 (en) Imaging device, imaging method, and information processing device
JP6868168B1 (ja) 撮像装置および撮像処理方法
JP7120365B1 (ja) 撮像装置、撮像方法および情報処理装置
WO2022202536A1 (en) Information processing apparatus and information processing method
JP6966011B1 (ja) 撮像装置、撮像方法および情報処理装置
JP7006824B1 (ja) 情報処理装置
JP7031771B1 (ja) 撮像装置、撮像方法および情報処理装置
JP7040660B1 (ja) 情報処理装置および情報処理方法
CN117121479A (zh) 信息处理装置和信息处理方法
JP2021150882A (ja) 撮像装置および撮像処理方法
JP2021150880A (ja) 撮像装置および撮像処理方法
Bonin‐Font et al. New solutions in underwater imaging and vision systems
JP2022147124A (ja) 情報処理装置
KR102302424B1 (ko) 오브젝트 인식을 위한 센서 장치
JP7446455B2 (ja) 位置情報取得システム、位置情報取得方法、および位置情報取得装置
WO2021253308A1 (zh) 图像采集装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant