KR20190125171A - 측거 처리 장치, 측거 모듈, 측거 처리 방법 및 프로그램 - Google Patents

측거 처리 장치, 측거 모듈, 측거 처리 방법 및 프로그램 Download PDF

Info

Publication number
KR20190125171A
KR20190125171A KR1020190040503A KR20190040503A KR20190125171A KR 20190125171 A KR20190125171 A KR 20190125171A KR 1020190040503 A KR1020190040503 A KR 1020190040503A KR 20190040503 A KR20190040503 A KR 20190040503A KR 20190125171 A KR20190125171 A KR 20190125171A
Authority
KR
South Korea
Prior art keywords
phase
detection signal
ranging
detection
unit
Prior art date
Application number
KR1020190040503A
Other languages
English (en)
Inventor
?타로 아오타케
토모노리 마수노
타쿠로 카미야
Original Assignee
소니 세미컨덕터 솔루션즈 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 세미컨덕터 솔루션즈 가부시키가이샤 filed Critical 소니 세미컨덕터 솔루션즈 가부시키가이샤
Publication of KR20190125171A publication Critical patent/KR20190125171A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out
    • G01S7/4914—Circuits for detection, sampling, integration or read-out of detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4915—Time delay measurement, e.g. operational details for pixel components; Phase measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)
  • Automatic Focus Adjustment (AREA)
  • Stored Programmes (AREA)
  • Multi Processors (AREA)
  • Debugging And Monitoring (AREA)

Abstract

본 발명에 따른 측거 처리 장치는, 제1 위상 내지 제4 위상의 조사광 각각에 대해서 2개씩 검출되는 8개의 검출 신호를 모두 사용하여, 물체까지의 거리를 나타내는 뎁스(depth)를 구하는 연산을 행하는 4 위상 측거 연산부와, 상기 8개의 검출 신호 중, 상기 제1 위상의 조사광과 상기 제2 위상의 조사광에 기초하는 4개의 검출 신호와 상기 제3 위상의 조사광과 상기 제4 위상의 조사광에 기초하는 4개의 검출 신호를 교대로 사용하여, 상기 물체까지의 거리를 나타내는 뎁스를 구하는 연산을 행하는 2 위상 측거 연산부와, 상기 검출 신호에 기초한 조건 판단을 행하고, 상기 4 위상 측거 연산부 및 상기 2 위상 측거 연산부 간을 절환하여 사용하는 조건 판단부를 포함한다.

Description

측거 처리 장치, 측거 모듈, 측거 처리 방법 및 프로그램{RANGING PROCESSING DEVICE, RANGING MODULE, RANGING PROCESSING METHOD AND PROGRAM}
본 개시는, 측거 처리 장치(ranging processing device), 측거 모듈(ranging module), 측거 처리 방법 및 프로그램에 관한 것으로, 특히, 보다 고성능화를 도모할 수 있도록 한 측거 처리 장치, 측거 모듈, 측거 처리 방법 및 프로그램에 관한 것이다.
최근, 반도체 기술의 진보에 의해, 물체까지의 거리를 측정하는 측거 모듈의 소형화가 진행되고 있다. 이에 따라, 예를 들면, 통신 기능을 구비한 소형의 정보처리 장치인, 이른바 스마트 폰 등의 모바일 단말에 측거 모듈을 탑재하는 것이 실현되고 있다.
일반적으로, 측거 모듈에 있어서의 측거 방법으로는, Indirect TOF(Time of Flight) 방식 및 Structured Light 방식의 2 종류가 있다. Indirect ToF 방식에서는, 광을 물체를 향해 조사하여 물체의 표면에서 반사하여 오는 광을 검출하고, 그 광의 비행 시간을 측정한 측정치에 기초하여 물체까지의 거리가 산출된다. Structured Light 방식에서는, 패턴광을 물체를 향해 조사하고, 물체의 표면에 있어서의 패턴의 왜곡을 촬상한 화상에 기초하여 물체까지의 거리가 산출된다.
예를 들면, 일본특허공개 특개 2017-150893호 공보에서는, ToF 방식에서 측거하는 측거 시스템에 있어서, 검출 기간 내에 있어서의 물체의 이동을 판정함으로써, 거리를 정확하게 측정하는 기술이 개시되어 있다.
그런데, 상술한 바와 같이, 측거 모듈을 모바일 단말에서 이용하려면, 프레임 레이트, 소비 전력, 데이터 전송 대역 등의 성능을 향상시키는 것이 요구된다.
본 개시는, 이러한 상황을 감안하여 이루어진 것으로, 보다 고성능화를 도모할 수 있도록 한다.
본 개시의 일 실시예에 따르면, 제1 위상 내지 제4 위상의 조사광을 물체에 조사하고, 상기 물체에 의해 반사된 반사광을 수광함으로써 발생하는 전하가, 상기 물체까지의 거리에 따라 제1 탭과 제2 탭에 배분되었을 때, 상기 제1 위상 내지 제4 위상의 조사광 각각에 대해서 2개씩 검출되는 8개의 검출 신호를 모두 사용하여, 상기 물체까지의 거리를 나타내는 뎁스(depth)를 구하는 연산을 행하도록 구성된 4 위상 측거 연산부와,
상기 8개의 검출 신호 중, 상기 제1 위상의 조사광과 제2 위상의 조사광에 기초하는 4개의 검출 신호와 상기 제3 위상의 조사광과 제4 위상의 조사광에 기초하는 4개의 검출 신호를 교대로 사용하여, 상기 물체까지의 거리를 나타내는 뎁스를 구하는 연산을 행하도록 구성된 2 위상 측거 연산부와,
상기 검출 신호에 기초한 조건 판단을 행하고, 상기 4 위상 측거 연산부 및 상기 2 위상 측거 연산부를 절환하여 사용하도록 구성된 조건 판단부를 구비한다.
본 개시의 일 실시예에 따르면, 제1 위상 내지 제4 위상의 조사광을 물체에 조사하도록 구성된 발광부와, 상기 물체에 의해 반사된 반사광을 수광함으로써 발생하는 전하가, 상기 물체까지의 거리에 따라 제1 탭과 제2 탭에 배분되었을 때, 상기 제1 위상 내지 제4 위상의 조사광 각각에 대해서 2개씩 검출된 8개의 검출 신호를 출력하도록 구성된 수광부와,
상기 8개의 검출 신호를 모두 사용하여, 상기 물체까지의 거리를 나타내는 뎁스를 구하는 연산을 행하도록 구성된 4 위상 측거 연산부와,
상기 8개의 검출 신호 중, 상기 제1 위상의 조사광과 상기 제2 위상의 조사광에 기초하는 4개의 검출 신호와 상기 제3 위상의 조사광과 상기 제4 위상의 조사광에 기초하는 4개의 검출 신호를 교대로 사용하여, 상기 물체까지의 거리를 나타내는 뎁스를 구하는 연산을 행하도록 구성된 2 위상 측거 연산부와,
상기 검출 신호에 기초한 조건 판단을 행하고, 상기 4 위상 측거 연산부 및 상기 2 위상 측거 연산부 간을 절환하도록 구성된 조건 판단부를 포함한다.
본 개시의 일 실시예에 따르면, 측거 처리를 행하는 측거 처리 장치에 의해 수행되는 측거 처리 방법이 제공되며, 상기 측거 처리 방법은, 제1 위상 내지 제4 위상의 조사광을 물체에 조사하고, 상기 물체에 의해 반사된 반사광을 수광함으로써 발생하는 전하가, 상기 물체까지의 거리에 따라 제1 탭과 제2 탭에 배분되었을 때, 상기 제1 위상 내지 제4 위상의 조사광 각각에 대해서 2개씩 검출된 8개의 검출 신호를 모두 사용하여, 상기 물체까지의 거리를 나타내는 뎁스를 구하는 연산을 행하는 4 위상 측거 연산 처리를 행하는 단계와,
상기 8개의 검출 신호 중, 상기 제1 위상의 조사광과 제2 위상의 조사광에 기초하는 4개의 검출 신호와 상기 제3 위상의 조사광과 상기 제4 위상의 조사광에 기초하는 4개의 검출 신호를 교대로 사용하여, 상기 물체까지의 거리를 나타내는 뎁스를 구하는 연산을 행하는 2 위상 측거 연산 처리를 행하는 단계와,
상기 검출 신호에 기초한 조건 판단을 행하고, 상기 4 위상 측거 연산 처리 및 상기 2 위상 측거 연산 처리 간에 절환하여 사용하는 단계를 포함한다.
본 개시의 일 실시예에 따르면, 측거 처리를 행하는 측거 처리 장치의 컴퓨터에 측거 처리를 실행시키기 위한 프로그램이 제공되며, 상기 측거 처리는, 제1 위상 내지 제4 위상의 조사광을 물체에 조사하고, 상기 물체에 의해 반사된 반사광을 수광함으로써 발생하는 전하가, 상기 물체까지의 거리에 따라 제1 탭과 제2 탭에 배분되었을 때, 상기 제1 위상 내지 제4 위상의 조사광 각각에 대해서 2개씩 검출된 8개의 검출 신호를 모두 사용하여, 상기 물체까지의 거리를 나타내는 뎁스를 구하는 연산을 행하는 4 위상 측거 연산 처리를 행하는 단계와,
상기 8개의 검출 신호 중, 상기 제1 위상의 조사광과 상기 제2 위상의 조사광에 기초하는 4개의 검출 신호와 상기 제3 위상의 조사광과 상기 제4 위상의 조사광에 기초하는 4개의 검출 신호를 교대로 사용하여, 상기 물체까지의 거리를 나타내는 뎁스를 구하는 연산을 행하는 2 위상 측거 연산 처리를 행하는 단계와,
상기 검출 신호에 기초한 조건 판단을 행하고, 상기 4 위상 측거 연산 처리 및 상기 2 위상 측거 연산 처리 간을 절환하여 사용하는 단계를 포함한다.
본 개시의 일 실시예에 따르면, 제1 위상 내지 제4 위상의 조사광을 물체에 조사하여, 상기 물체에 의해 반사된 반사광을 수광함으로써 발생하는 전하가, 물체까지의 거리에 따라 제1 탭과 제2 탭에 배분되었을 때, 상기 제1 위상 내지 제4 위상의 조사광 각각에 대해서 2개씩 검출되는 8개의 검출 신호를 모두 사용하여, 상기 물체까지의 거리를 나타내는 뎁스(depth)를 구하는 연산을 행하도록 구성된 4 위상 측거 연산 처리를 하게 된다. 그리고, 상기 8개의 검출 신호 중, 상기 제1 위상의 조사광과 제2 위상의 조사광에 기초하는 4개의 검출 신호와 상기 제3 위상의 조사광과 상기 제4 위상의 조사광에 기초하는 4개의 검출 신호를 교대로 사용하여, 상기 물체까지의 거리를 나타내는 뎁스를 구하는 연산을 행하도록 구성된 2 위상 측거 연산 처리를 하며, 상기 검출 신호에 기초한 조건 판단을 행하고, 상기 4 위상 측거 연산 처리 및 2 위상 측거 연산 처리가 절환되어 사용된다.
본 개시의 일 실시예에 의하면, 보다 고성능화를 도모할 수 있다.
또한, 여기에 기재된 효과는 한정되는 것은 아니다. 본 발명은 본 명세서 중에 기재되어 있는 임의의 효과를 나타낼 수 있다.
본 개시의 이들 및 다른 목적, 특징 및 이점은, 첨부된 도면에 도시된 바와 같이, 본 발명의 최상의 모드 실시예에 대한 다음의 상세한 설명에 비추어, 보다 명백해질 수 있다.
[도 1] 본 기술을 적용한 측거 모듈의 일 실시형태의 구성예를 나타내는 블록도이다.
[도 2] 화소 회로에 있어서의 전하의 배분을 설명하는 도면이다.
[도 3] 90°마다 위상이 지연된 네 가지의 조사광의 일례를 나타내는 도면이다.
[도 4] 90°마다 위상이 지연된 네 가지의 조사광에 의한 4개의 검출 기간을 이용한 측거에 대해 설명하는 도면이다.
[도 5] 위상 지연 0°의 조사광에 의한 검출 기간에서의 검출 신호의 일례를 나타내는 도면이다.
[도 6] 위상 지연 90°의 조사광에 의한 검출 기간에서의 검출 신호의 일례를 나타내는 도면이다.
[도 7] 위상 지연 180°의 조사광에 의한 검출 기간에서의 검출 신호의 일례를 나타내는 도면이다.
[도 8] 위상 지연 270°의 조사광에 의한 검출 기간에서의 검출 신호의 일례를 나타내는 도면이다.
[도 9] 검출 신호 A0 내지 A270 및 검출 신호 B0 내지 B270의 관계를 설명하는 도면이다.
[도 10] 보정 연산에 대해 설명하는 도면이다.
[도 11] 2개의 검출 기간을 이용한 측거에 대해 설명하는 도면이다.
[도 12] 측거 연산 처리부의 제1 구성예를 나타내는 블록도이다.
[도 13] 측거 연산 처리의 제1 처리예를 설명하는 플로우차트이다. 　
[도 14] 측거 연산 처리부의 제2 구성예를 나타내는 블록도이다.
[도 15] 측거 결과를 합성하는 것에 의한 프레임 레이트의 향상에 대해 설명하는 도면이다.
[도 16] 측거 결과를 합성하는 것에 의한 소비 전력의 저하에 대해 설명하는 도면이다.
[도 17] 측거 연산 처리의 제2 처리예를 설명하는 플로우차트이다.
[도 18] 1매의 뎁스맵(depth map)을 출력하기 위한 발광 및 수광의 타이밍의 일례를 나타내는 도면이다.
[도 19] 발광 패턴의 변형을 나타내는 도면이다.
[도 20] 발광 패턴의 변형을 나타내는 도면이다.
[도 21] 발광 패턴의 변형을 나타내는 도면이다.
[도 22] 측거 연산 처리부의 제3 구성예를 나타내는 블록도이다.
[도 23] 움직임 검지에 기초한 측거 결과의 합성에 대해 설명하는 도면이다.
[도 24] 측거 연산 처리의 제3 처리예를 설명하는 플로우차트이다.
[도 25] 측거 모듈을 탑재한 전자기기의 구성예를 나타내는 블록도이다.
[도 26] 본 기술을 적용한 컴퓨터의 일 실시형태의 구성예를 나타내는 블록도이다.
[도 27] 차량 제어 시스템의 개략적인 구성의 일례를 나타내는 블록도이다.
[도 28] 차외 정보 검출부 및 촬상부의 설치 위치의 일례를 나타내는 설명도이다.
이하, 본 기술을 적용한 구체적인 실시형태에 대해, 도면을 참조하면서 상세하게 설명한다.
＜측거 모듈의 구성예＞
도 1은, 본 기술을 적용한 측거 모듈의 일 실시형태의 구성예를 나타내는 블록도이다.
도 1에 나타낸 바와 같이, 측거 모듈(11)은, 발광부(12), 발광 제어부(13), 수광부(14) 및 측거 연산 처리부(15)를 구비하여 구성된다. 예를 들면, 측거 모듈(11)은, 물체에 대해서 광을 조사하고, 그 광(조사광)이 물체에서 반사된 광(반사광)을 수광하여, 물체까지의 거리를 나타내는 뎁스(depth)를 측정한다.
발광부(12)는, 발광 제어부(13)에 의한 제어에 따라, 발광 제어부(13)로부터 공급되는 발광제어 신호에 따른 타이밍에 변조하면서 발광하여, 물체에 대해서 조사광을 조사한다.
발광 제어부(13)는, 소정의 주파수(예를 들면, 20 MHz 등)의 발광 제어 신호를 발광부(12)에 공급하여, 발광부(12)의 발광을 제어한다. 또한, 발광부(12)에 있어서의 발광의 타이밍에 맞추어 수광부(14)를 구동시키기 위해서, 발광 제어부(13)는, 수광부(14)에도 발광 제어 신호를 공급한다.
수광부(14)는, 복수의 화소가 행렬 형상으로 배치된 센서면에서, 물체로부터의 반사광을 수광한다. 그리고, 수광부(14)는, 각각의 화소가 수광한 반사광의 수광량에 따른 검출 신호로 구성되는 화상 데이터를, 측거 연산 처리부(15)에 공급한다.
측거 연산 처리부(15)는, 수광부(14)로부터 공급되는 화상 데이터에 기초하여, 측거 모듈(11)로부터 물체까지의 뎁스를 구하는 연산을 행한다. 그리고, 측거 연산 처리부(15)는, 물체까지의 뎁스가 화소마다 나타내진 뎁스맵과, 각각의 뎁스에 대한 신뢰도가 화소마다 나타내진 신뢰도맵을 생성하여, 도시하지 않는 후단의 제어 유닛(예를 들면, 도 25의 어플리케이션 처리부(121)나 오퍼레이션 시스템 처리부(122) 등)에 출력한다. 또한, 측거 연산 처리부(15)의 상세한 구성에 대해서는, 도 12를 참조하여 후술한다.
또한, 수광부(14)에는, 복수의 화소 회로(21)가 행렬 형상으로 배치된 화소 어레이부(22)가 설치되어 있고, 화소 어레이부(22)의 주변 영역에 구동 제어 회로(23)가 배치되어 있다. 화소 어레이부(22)는, 반사광을 수광하는 센서면이다. 구동 제어 회로(23)는, 예를 들면, 발광 제어부(13)로부터 공급되는 발광 제어 신호 등에 기초하여, 화소 회로(21)의 구동을 제어하기 위한 제어 신호(예를 들면, 후술하는 배분 신호(DIMIX)나, 선택 신호(ADDRESS DECODE), 리셋 신호(RST) 등)를 출력한다.
화소 회로(21)는, 하나의 포토 다이오드(31)에서 발생한 전하가 탭(32A) 및 탭(32B)에 배분되도록 구성되어 있다. 그리고, 포토 다이오드(31)에서 발생한 전하 중, 탭(32A)에 배분된 전하가 신호선(33A)으로부터 읽어내어져 검출 신호(A)로서 이용되고, 탭(32B)에 배분된 전하가 신호선(33B)으로부터 읽어내어져 검출 신호(B)로서 이용된다.
탭(32A)은, 전송 트랜지스터(41A), FD(Floating Diffusion)부(42A), 선택 트랜지스터(43A) 및 리셋 트랜지스터(44A)에 의해 구성된다. 마찬가지로, 탭(32B)은, 전송 트랜지스터(41B), FD부(42B), 선택 트랜지스터(43B) 및 리셋 트랜지스터(44B)에 의해 구성된다.
도 2를 참조하여, 화소 회로(21)에 있어서의 전하의 배분에 대해 설명한다.
도 2에 나타내는 바와 같이, 조사 시간(T)으로 조사의 온/오프를 반복하도록 변조(1주기=2T)된 조사광이 발광부(12)로부터 출력되며, 물체까지의 거리에 따른 지연 시간(TRT)만큼 지연되어, 포토 다이오드(31)에서 반사광이 수광된다. 또한, 배분 신호(DIMIX_A)는, 전송 트랜지스터(41A)의 온/오프를 제어하고, 배분 신호(DIMIX_B)는, 전송 트랜지스터(41B)의 온/오프를 제어한다. 도 2에 나타낸 바와 같이, 배분 신호(DIMIX_A)가, 조사광과 동일한 위상인 한편, 배분 신호(DIMIX_B)는, 배분 신호(DIMIX_A)를 반전한 위상이 된다.
따라서, 포토 다이오드(31)가 반사광을 수광함으로써 발생하는 전하는, 배분 신호(DIMIX_A)에 따라 전송 트랜지스터(41A)가 온이 되는 동안에는 FD부(42A)에 전송되고, 배분 신호(DIMIX_B)에 따라 전송 트랜지스터(41B)가 온이 되는 동안에는 FD부(42B)에 전송된다. 이에 따라, 조사 시간(T)의 조사광의 조사가 주기적으로 행해지는 소정의 기간에 있어서, 전송 트랜지스터(41A)를 거쳐서 전송된 전하는 FD부(42A)에 순차로 축적되고, 전송 트랜지스터(41B)를 거쳐서 전송된 전하는 FD부(42B)에 순차로 축적된다.
그리고, 전하를 축적하는 기간의 종료 후, 선택 신호(ADDRESS DECODE_A)에 따라 선택 트랜지스터(43A)가 온이 되면, FD부(42A)에 축적되어 있는 전하가 신호선(33A)을 거쳐서 읽어내어져, 그 전하량에 따른 검출 신호(A)가 수광부(14)로부터 출력된다. 마찬가지로, 선택 신호(ADDRESS DECODE_B)에 따라 선택 트랜지스터(43B)가 온이 되면, FD부(42B)에 축적되어 있는 전하가 신호선(33B)을 거쳐서 읽어내어져, 그 전하량에 따른 검출 신호(B)가 수광부(14)로부터 출력된다. 또한, FD부(42A)에 축적되어 있는 전하는, 리셋 신호(RST_A)에 따라 리셋 트랜지스터(44A)가 온이 되면 배출되고, FD부(42B)에 축적되어 있는 전하는, 리셋 신호(RST_B)에 따라 리셋 트랜지스터(44B)가 온이 되면 배출된다.
이와 같이, 화소 회로(21)는, 포토 다이오드(31)가 수광한 반사광에 의하여 발생하는 전하를, 지연 시간(TRT)에 따라 탭(32A) 및 탭(32B)에 배분하여, 검출 신호(A) 및 검출 신호(B)를 출력할 수 있다. 그리고, 지연 시간(TRT)은, 발광부(12)로부터 발광한 광이 물체까지 비행하여, 물체에서 반사된 후에 수광부(14)까지 비행하는 시간에 따른 것, 즉, 물체까지의 거리에 따른 것이다. 따라서, 측거 모듈(11)은, 검출 신호(A) 및 검출 신호(B)에 기초하여, 지연 시간(TRT)에 따라 물체까지의 거리(뎁스)를 구할 수 있다.
그런데, 측거 모듈(11)에서는, 개개의 화소 회로(21)가 갖는 포토 다이오드(31) 등의 각 소자의 특성의 편차로 인해, 화소 회로(21)마다 다른 영향이 검출 신호(A) 및 검출 신호(B)에 미친다. 따라서, 일반적으로, 위상이 다른 조사광을 이용하여, 여러 차례, 각각의 위상의 조사광에 의한 반사광으로부터 검출되는 검출 신호(A) 및 검출 신호(B)에 기초하여, 개개의 특성의 편차에 의한 영향을 캔슬하는 연산을 행한다.
예를 들면, 도 3에 나타내는 바와 같이, 90°마다 위상이 지연된 4가지의 조사광이 이용된다. 즉, 위상 지연 0°의 조사광을 기준으로서, 위상 지연 90°의 조사광, 위상 지연 180°의 조사광 및 위상 지연 270°의 조사광을 이용하여, 각각 검출 신호(A) 및 검출 신호(B)를 검출하는 기간(quad)이 4회 설치된다.
즉, 도 4에 나타낸 바와 같이, 예를 들면, 위상 지연 0°의 조사광에 의한 반사광을 검출하는 검출 기간(Q0), 위상 지연 90°의 조사광에 의한 반사광을 검출하는 검출 기간(Q1), 위상 지연 180°의 조사광에 의한 반사광을 검출하는 검출 기간(Q2) 및 위상 지연 270°의 조사광에 의한 반사광을 검출하는 검출 기간(Q3)이 연속적으로 설치된다. 또한, 검출 기간(Q0), 검출 기간(Q1), 검출 기간(Q2) 및 검출 기간(Q3)에서는, 전하를 리셋하는 리셋 기간, 전하를 축적하는 인테그레이션 기간, 전하를 읽어내는 리드 아웃 기간이 각각 설치되고 있다.
그리고, 검출 기간(Q0), 검출 기간(Q1), 검출 기간(Q2) 및 검출 기간(Q3)으로부터의 검출 기간과, 그 후의 대기 기간(dead time/idle time)에 의하여, 1매의 뎁스맵을 출력하기 위한 하나의 뎁스 프레임이 구성된다. 이러한 하나의 뎁스 프레임이 반복되어, 프레임 번호가 t인 뎁스 프레임, 프레임 번호가 t＋1인 뎁스 프레임, 프레임 번호가 t＋2인 뎁스 프레임과 같이, 소정의 프레임 레이트로 연속적으로 뎁스 프레임이 출력된다.
도 5에는, 검출 기간(Q0)에 있어서의 조사광, 반사광, 배분 신호(DIMIX_A 및 DIMIX_B) 및 검출 신호(A 및 B)의 일례가 나타나고 있다. 도 5에 나타내는 바와 같이, 지연 시간(TRT)에 따른 전하량으로 탭(32A) 및 탭(32B)에 전하가 배분되어, 인테그레이션 기간에 있어서 전하가 각각 축적된다. 그 후, 리드 아웃 기간에 있어서, 각각 인테그레이션 기간에 축적된 전하량의 전하가 읽어내어져, 검출 기간(Q0)에 있어서의 검출 신호(A0) 및 검출 신호(B0)가 출력된다.
도 6에는, 검출 기간(Q1)에 있어서의 조사광, 반사광, 배분 신호(DIMIX_A 및 DIMIX_B) 및 검출 신호(A 및 B)의 일례가 나타나고 있다. 도 6에 나타낸 바와 같이, 지연 시간(TRT)에 따른 전하량으로 탭(32A) 및 탭(32B)에 전하가 배분되어, 인테그레이션 기간에 있어서 전하가 각각 축적된다. 그 후, 리드 아웃 기간에 있어서, 각각 인테그레이션 기간에 축적된 전하량의 전하가 읽어내어져, 검출 기간(Q1)에 있어서의 검출 신호(A90) 및 검출 신호(B90)가 출력된다.
도 7에는, 검출 기간(Q2)에 있어서의 조사광, 반사광, 배분 신호(DIMIX_A 및 DIMIX_B) 및 검출 신호(A 및 B)의 일례가 나타나고 있다. 도 7에 나타내는 바와 같이, 지연 시간(TRT)에 따른 전하량으로 탭(32A) 및 탭(32B)에 전하가 배분되어, 인테그레이션 기간에 있어서 전하가 각각 축적된다. 그 후, 리드 아웃 기간에 있어서, 각각 인테그레이션 기간에 축적된 전하량의 전하가 읽어내어져, 검출 기간(Q2)에 있어서의 검출 신호(A180) 및 검출 신호(B180)가 출력된다.
도 8에는, 검출 기간(Q3)에 있어서의 조사광, 반사광, 배분 신호(DIMIX_A 및 DIMIX_B) 및 검출 신호(A 및 B)의 일례가 나타나고 있다. 도 8에 나타내는 바와 같이, 지연 시간(TRT)에 따른 전하량으로 탭(32A) 및 탭(32B)에 전하가 배분되어, 인테그레이션 기간에 있어서 전하가 각각 축적된다. 그 후, 리드 아웃 기간에 있어서, 각각 인테그레이션 기간에 축적된 전하량의 전하가 읽어내어져, 검출 기간(Q3)에 있어서의 검출 신호(A270) 및 검출 신호(B270)가 출력된다.
이와 같이, 검출 기간(Q0)에서는 위상 지연 0°의 조사광을 이용하여 검출 신호(A0) 및 검출 신호(B0)가 검출되고, 검출 기간(Q1)에서는 위상 지연 90°의 조사광을 이용하여 검출 신호(A90) 및 검출 신호(B90)가 검출된다. 마찬가지로, 검출 기간(Q2)에서는 위상 지연 180°의 조사광을 이용하여 검출 신호(A180) 및 검출 신호(B180)가 검출되고, 검출 기간(Q3)에서는 위상 지연 270°의 조사광을 이용하여 검출 신호(A270) 및 검출 신호(B270)가 검출된다.
여기서, 도 9에는, 위상 지연을 횡축으로 하고, 신호의 강도(Intensity)를 세로축으로 했을 때의, 검출 신호(A0 내지 A270) 및 검출 신호(B0 내지 B270)의 관계가 나타나고 있다.
그리고, 검출 신호(A0)와 검출 신호(B0)의 관계, 검출 신호(A90)와 검출 신호(B90)의 관계, 검출 신호(A180)와 검출 신호(B180)의 관계 및 검출 신호(A270)와 검출 신호(B270)의 관계는, 다음의 식(1)에 나타내는 바와 같이 모델화된다.
Figure pat00001
이러한 모델화를 행하여, 이 식(1)으로부터 오프셋(offset), 게인(Gain) 및 각도(θ)를 구함으로써, 예를 들면, 탭(32A)과 탭(32B)의 특성의 편차에 의한 영향을 캔슬한 측거를 행할 수 있다. 즉, 탭(32A)과 탭(32B)에 있어서의 오프셋(offset) 및 게인(Gain)의 차이를 캔슬하기 위해서, 4회의 검출 기간(Q0 내지 Q3)으로 검출되는 8개의 검출 신호(검출 신호(A0 내지 A270) 및 검출 신호(B0 내지 B270))가 필요하게 된다.
한편, 측거 모듈(11)에서는, 탭(32A)의 오프셋 및 게인과, 탭(32B)의 오프셋 및 게인을 구하여, 그들간의 편차를 보상한다. 이에 따라, 측거 모듈(11)은, 2회의 검출 기간(Q0 및 Q1)(또는 검출 기간(Q2 및 Q3)) 각각에 있어서 검출 신호(A)와 검출 신호(B)를 검출하는 것만으로, 탭(32A)과 탭(32B)의 특성의 편차에 의한 영향을 캔슬한 측거를 행할 수 있다.
예를 들면, 탭(32A)의 오프셋(Offset_A) 및 게인(Gain_A) 및 탭(32B)의 오프셋(Offset_B) 및 게인(Gain_B)에는, 다음의 식(2)에 나타내는 관계가 있다.
Figure pat00002
여기서, 오프셋(Offset_A 및 Offset_B)는, 화소 회로(21)마다 고정의 값이 되며, 사전에 구할 수 있다. 한편, 게인(Gain_A 및 Gain_B)에 대해서는, 화소 회로(21)의 구조에 따라서는 광의 입사각에 따라 변동하는 경우가 있기 때문에, 뎁스 프레임마다 산출할 필요가 있다.
즉, 측거 모듈(11)에서는, 사전에, 또는, 측거를 행하는 초기의 처리에서, 검출 신호(A0 내지 A270) 및 검출 신호(B0 내지 B270)를 검출하여, 다음의 식(3)에 나타내는 연립 방정식을 푸는 것에 의해, 오프셋(Offset_A 및 Offset_B)이 구해진다.
Figure pat00003
그리고, 측거 모듈(11)에서는, 오프셋(Offset_A 및 Offset_B)이 오프셋 파라미터로서 저장된다.
그 후, 측거 모듈(11)에서, 검출 신호(A0), 검출 신호(B0), 검출 신호(A90) 및 검출 신호(B90)가 검출된 타이밍에, 다음의 식(4)에 나타내는 게인 파라미터(Gain_A/Gain_B)가 구해진다. 　
Figure pat00004
또한, 측거 모듈(11)에서, 검출 신호(A180 및 A270) 및 검출 신호(B180 및 B270)가 검출된 타이밍에, 다음의 식(5)에 나타내는 게인 파라미터(Gain_A/Gain_B)가 구해진다.
Figure pat00005
따라서, 측거 모듈(11)에서, 검출 신호(A0), 검출 신호(B0), 검출 신호(A90) 및 검출 신호(B90)가 검출된 타이밍에, 다음의 식(6)에 따라, 오프셋 파라미터(Offset_A, Offset_B) 및 게인 파라미터(Gain_A/Gain_B)를 이용한 보정을 할 수가 있다.
Figure pat00006
이에 따라, 측거 모듈(11)에서, 검출 신호(A)를 기준으로 하는 경우에는, 보정 검출 신호(A＇180 및 A＇270)가 구해지고, 검출 신호(B)를 기준으로 하는 경우에는, 보정 검출 신호(B＇180 및 B＇270)가 구해진다.
즉, 도 10에 나타내는 바와 같이, 검출 신호(B0)에 대한 보정에 의해 보정 검출 신호(A＇180)가 구해지는 것과 함께, 검출 신호(B90)에 대한 보정에 의해 보정 검출 신호(A＇270)가 구해진다. 또는, 검출 신호(A0)에 대한 보정에 의해 보정 검출 신호(B＇180)가 구해지는 것과 함께, 검출 신호(A90)에 대한 보정에 의해 보정 검출 신호(B＇270)가 구해진다.
따라서, 측거 모듈(11)은, 검출 신호(A0), 검출 신호(A90), 보정 검출 신호(A＇180) 및 보정 검출 신호(A＇270)를 이용하여 탭(32A)과 탭(32B)의 특성의 편차에 의한 영향을 캔슬하여, 뎁스와 신뢰도를 구할 수 있다. 또는, 측거 모듈(11)은, 검출 신호(B0), 검출 신호(B90), 보정 검출 신호(B＇180) 및 보정 검출 신호(B＇270)를 이용하여 탭(32A)과 탭(32B)의 특성의 편차에 의한 영향을 캔슬하여, 뎁스와 신뢰도를 구할 수 있다.
마찬가지로, 측거 모듈(11)에서, 검출 신호(A180), 검출 신호(B270), 검출 신호(A180) 및 검출 신호(B270)가 검출된 타이밍에, 다음의 식(7)에 따라, 오프셋 파라미터(Offset_A, Offset_B) 및 게인 파라미터(Gain_A/Gain_B)를 이용한 보정을 할 수가 있다.
Figure pat00007
이에 따라, 측거 모듈(11)에서, 검출 신호(A)를 기준으로 하는 경우에는, 보정 검출 신호(A＇0 및 A＇90)가 구해지고, 검출 신호(B)를 기준으로 하는 경우에는, 보정 검출 신호(B＇0 및 B＇90)가 구해진다.
따라서, 측거 모듈(11)은, 보정 검출 신호(A＇0), 보정 검출 신호(A＇90), 검출 신호(A180) 및 검출 신호(A270)를 이용하여, 탭(32A)과 탭(32B)의 특성의 편차에 의한 영향을 캔슬하여, 뎁스와 신뢰도를 구할 수 있다. 또는, 측거 모듈(11)은, 보정 검출 신호(B＇0), 보정 검출 신호(B＇90), 검출 신호(B180), 및 검출 신호(B270)를 이용하여, 탭(32A)과 탭(32B)의 특성의 편차에 의한 영향을 캔슬하여, 뎁스와 신뢰도를 구할 수 있다.
이와 같이, 측거 모듈(11)에서, 오프셋 파라미터(Offset_A, Offset_B)를 사전에 구하고, 게인 파라미터(Gain_A/Gain_B)를 뎁스 프레임마다 구함으로써, 탭(32A)과 탭(32B)의 특성의 편차에 의한 영향을 캔슬한 측거를 행한다.
예를 들면, 도 11에 나타낸 바와 같이, 측거 모듈(11)은, 2회의 검출 기간(Q0 및 Q1)에 있어서, 4개의 검출 신호(검출 신호(A0), 검출 신호(B0), 검출 신호(A90) 및 검출 신호(B90))를 검출하여, 프레임 번호가 t인 뎁스 프레임을 출력한다. 계속하여, 측거 모듈(11)은, 2회의 검출 기간(Q2 및 Q3)에 있어서, 4개의 검출 신호(검출 신호(A180), 검출 신호(B180), 검출 신호(A270) 및 검출 신호(B270))를 검출하여, 프레임 번호가 t＋1인 뎁스 프레임을 출력한다.
따라서, 도 4를 참조하여 상술한 4회의 검출 기간(Q0 내지 Q3)에 의하여 하나의 뎁스 프레임이 출력되는 측거 방법과 비교하여, 측거 모듈(11)은, 하나의 뎁스 프레임을 출력하는데 필요한 시간을 반으로 단축할 수 있다. 즉, 측거 모듈(11)은, 종래보다 프레임 레이트를 2배로 할 수 있다.
＜측거 연산 처리부의 구성예＞　
도 12는, 측거 연산 처리부(15)의 제1 구성예를 나타내는 블록도이다.
측거 연산 처리부(15)는, 수광부(14)로부터 화상 데이터로서 공급되는 검출 신호(A(t)) 및 검출 신호(B(t))를 이용하여, 프레임 번호가 t인 뎁스맵을 구성하는 뎁스(d(t))와 프레임 번호가 t인 신뢰도맵을 구성하는 신뢰도(c(t))를 출력한다.
우선, 측거 연산 처리부(15)는, 위상 지연 0° 및 90°의 조사광으로 검출되는 4개의 검출 신호(검출 신호(A0(t)), 검출 신호(B0(t)), 검출 신호(A90(t)), 및 검출 신호(B90(t)))가 공급되면, 프레임 번호가 t인 뎁스 프레임의 뎁스(d(t)) 및 신뢰도(c(t))를 출력한다. 계속하여, 측거 연산 처리부(15)는, 위상 지연 180° 및 270°의 조사광으로 검출되는 4개의 검출 신호(검출 신호(A180(t＋1)), 검출 신호(B180(t＋1)), 검출 신호(A270(t＋1)) 및 검출 신호(B270(t＋1)))가 공급되면, 프레임 번호가 t＋1인 뎁스 프레임을 구성하는 뎁스(d(t＋1)) 및 신뢰도(c(t＋1))를 출력한다.
도 12에 나타내는 바와 같이, 측거 연산 처리부(15)는, 보정 파라미터 산출부(51) 및 측거부(52)를 포함한다. 또한, 보정 파라미터 산출부(51)는, 편차 보정 파라미터 계산부(61) 및 편차 보정 파라미터 저장부(62)를 포함하며, 측거부(52)는, 보정 연산부(71) 및 측거 연산부(72)를 포함한다.
편차 보정 파라미터 계산부(61)는, 예를 들면, 측거 개시시의 수개의 프레임에 있어서, 다음의 식(8)을, 오프셋(Offset_A 및 Offset_B)에 대해 푼다.
Figure pat00008
이에 따라, 편차 보정 파라미터 계산부(61)는, 오프셋(Offset_A 및 Offset_B)을 구하여, 편차 보정 파라미터 저장부(62)에 저장한다. 또한, 오프셋(Offset_A 및 Offset_B)을, 예를 들면, 측거 모듈(11)의 검사시 등에 있어서 사전에 구하여, 측거 모듈(11)의 출하시에 편차 보정 파라미터 저장부(62)에 저장되도록 해도 된다.
그리고, 편차 보정 파라미터 계산부(61)는, 위상 지연 0° 및 90°의 조사광으로 검출되는 4개의 검출 신호(검출 신호(A0(t)), 검출 신호(B0(t)), 검출 신호(A90(t)) 및 검출 신호(B90(t)))가 공급되면, 다음의 식(9)을 계산한다. 이에 따라, 편차 보정 파라미터 계산부(61)는, 게인 파라미터(Gain_A/Gain_B(t))를 구하여, 측거부(52)의 보정 연산부(71)에 공급한다.
Figure pat00009
계속하여, 편차 보정 파라미터 계산부(61)는, 위상 지연 180° 및 270°의 조사광으로 검출되는 4개의 검출 신호(검출 신호(A180(t＋1)), 검출 신호(B180(t＋1)), 검출 신호(A270(t＋1)) 및 검출 신호(B270(t＋1)))가 공급되면, 다음의 식(10)을 계산한다. 이에 의하여, 편차 보정 파라미터 계산부(61)는, 게인 파라미터(Gain_A/Gain_B(t＋1))를 구하여, 측거부(52)의 보정 연산부(71)에 공급한다.
Figure pat00010
편차 보정 파라미터 저장부(62)는, 편차 보정 파라미터 계산부(61)에 의하여 계산된 오프셋 파라미터(Offset_A, Offset_B)를 저장하여, 측거부(52)의 보정 연산부(71)에 공급한다. 또한, 편차 보정 파라미터 계산부(61)는, 화소 회로(21)마다 게인 파라미터 및 오프셋 파라미터를 구하고, 편차 보정 파라미터 저장부(62)는, 화소 회로(21)마다 오프셋 파라미터를 보관 유지한다.
보정 연산부(71)에는, 위상 지연 0° 및 90°의 조사광으로 검출되는 4개의 검출 신호(검출 신호(A0(t)), 검출 신호(B0(t)), 검출 신호(A90(t)) 및 검출 신호(B90(t)))가 공급되는 타이밍에, 편차 보정 파라미터 계산부(61)로부터 게인 파라미터(Gain_A/Gain_B(t))가 공급된다. 따라서, 이 타이밍에서, 보정 연산부(71)는, 다음의 식(11)에 나타내는 연산을 행함으로써, 보정 검출 신호(A＇180(t) 및 A＇270(t)), 또는, 보정 검출 신호(B＇180(t) 및 B＇270(t))를 구할 수 있다.
Figure pat00011
이에 따라, 보정 연산부(71)는, 위상 지연 0° 및 90°의 조사광으로 검출되는 4개의 검출 신호가 공급되는 타이밍에서, 보정 검출 신호(A＇180(t) 및 A＇270(t)), 또는, 보정 검출 신호(B＇180(t) 및 B＇270(t))를 측거 연산부(72)에 공급한다.
계속하여, 보정 연산부(71)에는, 위상 지연 180° 및 270°의 조사광으로 검출되는 4개의 검출 신호(검출 신호(A180(t＋1)), 검출 신호(B180(t＋1)), 검출 신호(A270(t＋1)) 및 검출 신호(B270(t＋1)))가 공급되는 타이밍에, 편차 보정 파라미터 계산부(61)로부터 게인 파라미터(Gain_A/Gain_B(t＋1))가 공급된다. 따라서, 이 타이밍에서, 보정 연산부(71)는, 다음의 식(12)에 나타내는 연산을 행함으로써, 보정 검출 신호(A＇0(t＋1) 및 A＇90(t＋1)), 또는, 보정 검출 신호(B＇0(t＋1) 및 B＇90(t＋1))를 구할 수 있다. 　　
Figure pat00012
이에 따라, 보정 연산부(71)는, 위상 지연 180° 및 270°의 조사광으로 검출되는 4개의 검출 신호가 공급되는 타이밍에, 보정 검출 신호(A＇0(t＋1) 및 A＇90(t＋1)), 또는, 보정 검출 신호(B＇0(t＋1) 및 B＇90(t＋1))를 측거 연산부(72)에 공급한다.
측거 연산부(72)에는, 위상 지연 0° 및 90°의 조사광으로 검출되는 4개의 검출 신호(검출 신호(A0(t)), 검출 신호(B0(t)), 검출 신호(A90(t)) 및 검출 신호(B90(t)))가 공급되는 타이밍에, 보정 연산부(71)로부터 보정 검출 신호(A＇180(t) 및 A＇270(t)), 또는, 보정 검출 신호(B＇180(t) 및 B＇270(t))가 공급된다. 그리고, 측거 연산부(72)는, 다음의 식(13)에 나타내는 연산을 행함으로써, 프레임 번호가 t인 뎁스 프레임의 뎁스(d(t)) 및 신뢰도(c(t))를 구할 수 있다.
Figure pat00013
단, 측거 연산부(72)는, 이 식(13)에 있어서, D0(t)=A0(t), D2(t)=A'180(t), D1(t)=A90(t), D3(t)=A'270(t) 및 D2(t)=B'180(t), D0(t)=B0(t), D1(t)=B'270(t), D3(t)=B90(t) 중, 어느 일방을 이용할 수 있다. 또는, 측거 연산부(72)는, 이 식(13)에 있어서, D0(t)=A0(t), D2(t)=A'180(t), D1(t)=A90(t), D3(t)=A'270(t)과 D2(t)=B'180(t), D0(t)=B0(t), D1(t)=B'270(t), D3(t)=B90(t)의 평균을 이용하여도 된다. 계속하여, 측거 연산부(72)에는, 위상 지연 180° 및 270°의 조사광으로 검출되는 4개의 검출 신호(검출 신호(A180(t＋1)), 검출 신호(B180(t＋1)), 검출 신호(A270(t＋1)) 및 검출 신호(B270(t＋1)))가 공급되는 타이밍에, 보정 연산부(71)로부터 보정 검출 신호(A＇0(t＋1) 및 A＇90(t＋1)), 또는, 보정 검출 신호(B＇0(t＋1) 및 B＇90(t＋1))가 공급된다. 그리고, 측거 연산부(72)는, 다음의 식(14)에 나타내는 연산을 행함으로써, 프레임 번호가 t＋1인 뎁스 프레임의 뎁스(d(t＋1)) 및 신뢰도(c(t＋1))를 구할 수 있다.
Figure pat00014
단, 측거 연산부(72)는, 이 식(14)에 있어서, D2(t+1)=A180(t+1), D0(t+1)=A'0(t+1), D3(t+1)=A270(t+1), D1(t+1)=A'90(t+1) 및 D0(t+1)=B'0(t+1), D2(t+1)=B180(t+1), D1(t+1)=B'90(t+1), D3(t+1)=B270(t+1) 중, 어느 일방을 이용할 수 있다. 또는, 측거 연산부(72)는, 이 식(14)에 있어서, D0(t+1)=A0(t+1), D2(t+1)=A'180(t+1), D1(t+1)=A90(t+1), D3(t+1)=A'270(t+1)과 D2(t+1)=B'180(t+1), D0(t+1)=B0(t+1), D1(t+1)=B'270(t+1), D3(t+1)=B90(t+1)와의 평균을 이용하여도 된다.
이상과 같이 구성되는 측거 연산 처리부(15)는, 위상 지연 0° 및 90°의 조사광으로 검출되는 4개의 검출 신호로부터 뎁스를 구하거나, 또는, 위상 지연 180° 및 270°의 조사광으로 검출되는 4개의 검출 신호로부터 뎁스를 구할 수 있다. 따라서, 예를 들면, 종래와 같이 8개의 검출 신호로부터 뎁스를 구하는 경우와 비교하여, 프레임 레이트를 2배로 향상시킬 수가 있다.
또한, 측거 연산 처리부(15)는, 프레임 레이트를 향상시키지 않을 때에는, 2회의 조사광을 발광하기만 하면 되기 때문에, 종래와 같이 4회의 조사광의 발광을 행하는 경우와 비교하여, 소비 전력을 저하시킬 수가 있다. 또한, 측거 연산 처리부(15)는, 하나의 뎁스 프레임을 출력함에 있어 검출이 필요한 검출 신호를, 종래의 1/2로 할 수 있으므로, 데이터 전송 대역의 삭감을 도모할 수 있다.
따라서, 측거 연산 처리부(15)를 갖추는 측거 모듈(11)은, 종래보다 고성능화를 도모할 수 있다.
＜측거 연산 처리의 제1 처리예＞
도 13은, 측거 연산 처리부(15)에서 실행되는 측거 연산 처리의 제1 처리예를 설명하는 플로우차트이다.
예를 들면, 도시하지 않는 상위의 제어 유닛에 의하여 측거 연산 처리를 실행하도록 제어되면 처리가 개시된다. 스텝(S11)에 있어서, 측거 연산 처리부(15)는, 위상 지연이 다른 2개의 조사광 각각으로, 2개의 검출 신호를 취득한다. 즉, 측거 연산 처리부(15)는, 예를 들면, 위상 지연 0°의 조사광으로 검출되는 2개의 검출 신호(A0) 및 검출 신호(B0)와, 위상 지연 90°의 조사광을 이용하여 검출되는 2개의 검출 신호(A90) 및 검출 신호(B90)를 취득한다. 또는, 측거 연산 처리부(15)는, 예를 들면, 위상 지연 180°의 조사광으로 검출되는 2개의 검출 신호(A180) 및 검출 신호(B180)와, 위상 지연 270°의 조사광을 이용하여 검출되는 2개의 검출 신호(A270) 및 검출 신호(B270)를 취득한다.
스텝(S12)에 있어서, 편차 보정 파라미터 계산부(61)는, 오프셋 파라미터(Offset_A, Offset_B)가 편차 보정 파라미터 저장부(62)에 저장이 완료된 상태인지 아닌지를 판정한다.
스텝(S12)에 있어서, 편차 보정 파라미터 계산부(61)가, 오프셋 파라미터(Offset_A, Offset_B)가 편차 보정 파라미터 저장부(62)에 저장이 완료된 상태가 아니라고 판정했을 경우, 처리는 스텝(S13)으로 진행된다.
스텝(S13)에 있어서, 편차 보정 파라미터 계산부(61)는, 오프셋 파라미터(Offset_A, Offset_B)의 계산에 필요한, 위상 지연이 다른 4개의 조사광 각각으로, 2개의 검출 신호가 취득되고 있는지 아닌지를 판정한다. 예를 들면, 편차 보정 파라미터 계산부(61)는, 검출 신호(A0 내지 A270) 및 검출 신호(B0 내지 B270)의 8개의 검출 신호를 취득하고 있는 경우, 위상 지연이 다른 4개의 조사광 각각으로, 2개의 검출 신호가 취득되고 있다고 판정한다.
스텝(S13)에 있어서, 편차 보정 파라미터 계산부(61)가, 위상 지연이 다른 4개의 조사광 각각으로, 2개의 검출 신호가 취득되고 있지 않다고 판정했을 경우, 처리는 스텝(S11)으로 돌아온다. 예를 들면, 이 경우, 검출 신호(A0 및 A90) 및 검출 신호(B0 및 B90)가 취득된 상태이며, 편차 보정 파라미터 계산부(61)는, 다음의 스텝(S11)에서, 검출 신호(A180 및 A270) 및 검출 신호(B180 및 B270)를 취득한다.
한편, 스텝(S13)에 있어서, 편차 보정 파라미터 계산부(61)가, 위상 지연이 다른 4개의 조사광 각각으로, 2개의 검출 신호가 취득되고 있다고 판정했을 경우, 처리는 스텝(S14)으로 진행된다.
스텝(S14)에 있어서, 편차 보정 파라미터 계산부(61)는, 상술한 식(3)에 나타내는 연립 방정식을 푸는 것에 의해, 오프셋(Offset_A 및 Offset_B)을 산출한다.
그리고, 편차 보정 파라미터 계산부(61)가, 오프셋(Offset_A 및 Offset_B)을 편차 보정 파라미터 저장부(62)에 저장한 후, 처리는 스텝(S15)으로 진행된다. 한편, 스텝(S12)에 있어서, 편차 보정 파라미터 계산부(61)가, 오프셋 파라미터(Offset_A, Offset_B)가 편차 보정 파라미터 저장부(62)에 저장이 완료된 상태라고 판정했을 경우, 처리는 스텝(S15)으로 진행된다.
스텝(S15)에 있어서, 편차 보정 파라미터 계산부(61)는, 상술한 식(4) 또는 식(5)에 따라 게인 파라미터(Gain_A/Gain_B)를 산출한다. 그리고, 편차 보정 파라미터 계산부(61)는, 산출한 게인 파라미터(Gain_A/Gain_B)를 보정 연산부(71)에 공급하고, 편차 보정 파라미터 저장부(62)는, 저장하고 있는 오프셋 파라미터(Offset_A, Offset_B)를 보정 연산부(71)에 공급한다.
스텝(S16)에 있어서, 보정 연산부(71)는, 스텝(S11)에서 취득된 4개의 검출 신호에 대한 보정 연산을 행하여, 4개의 보정 검출 신호를 취득하여, 측거 연산부(72)에 공급한다.
예를 들면, 보정 연산부(71)는, 스텝(S11)에서 검출 신호(A0 및 A90) 및 검출 신호(B0 및 B90)가 취득되고 있는 경우, 상술한 식(6)에 따른 보정 연산을 행하여, 보정 검출 신호(A＇180 및 A＇270), 또는, 보정 검출 신호(B＇180 및 B＇270)를 취득한다. 또한, 보정 연산부(71)는, 스텝(S11)에서 검출 신호(A180 및 A270) 및 검출 신호(B180 및 B270)가 취득되고 있는 경우, 상술한 식(7)에 따른 보정 연산을 행하여, 보정 검출 신호(A＇0 및 A＇90), 또는, 보정 검출 신호(B＇0 및 B＇90)를 취득한다.
스텝(S17)에 있어서, 측거 연산부(72)는, 스텝(S11)에서 취득된 4개의 검출 신호와, 스텝(S16)의 보정 연산에 의하여 취득된 4개의 보정 검출 신호를 이용하여, 뎁스 및 신뢰도를 산출한다.
예를 들면, 스텝(S11)에서 검출 신호(A0 및 A90) 및 검출 신호(B0 및 B90)가 취득되고, 스텝(S16)에서 보정 검출 신호(A＇180 및 A＇270), 또는, 보정 검출 신호(B＇180 및 B＇270)가 취득되고 있다고 한다. 이 때, 측거 연산부(72)는, 상술한 식(13)에 나타내는 연산을 행함으로써, 뎁스 및 신뢰도를 산출한다. 또한, 스텝(S11)에서 검출 신호(A180 및 A270) 및 검출 신호(B180 및 B270)가 취득되어 스텝(S16)에서 보정 검출 신호(A＇0 및 A＇90), 또는, 보정 검출 신호(B＇0 및 B＇90)가 취득되고 있다고 한다. 이 때, 측거 연산부(72)는, 상술한 식(14)에 나타내는 연산을 행함으로써, 뎁스 및 신뢰도를 산출한다.
스텝(S18)에 있어서, 측거 연산 처리부(15)는, 예를 들면, 도시하지 않는 상위의 제어 유닛에 의한 측거 연산 처리에 대한 제어에 따라, 측거를 계속할지 아닌지를 판정한다.
스텝(S18)에 있어서, 측거 연산 처리부(15)가, 측거를 계속한다고 판정했을 경우, 처리는 스텝(S11)으로 돌아와, 이하, 마찬가지의 처리가 반복되어진다. 한편, 스텝(S18)에 있어서, 측거 연산 처리부(15)가, 측거를 계속하지 않는다고 판정했을 경우, 측거 연산 처리는 종료된다.
이상과 같이, 측거 연산 처리부(15)는, 검출 신호(A0 및 A90) 및 검출 신호(B0 및 B90)를 취득하고, 또는, 검출 신호(A180 및 A270) 및 검출 신호(B180 및 B270)를 취득하여, 뎁스 및 신뢰도를 산출할 수 있다. 따라서, 측거 연산 처리부(15)는, 뎁스 및 신뢰도의 산출에 필요한 검출 신호의 검출에 필요한 시간을 짧게 할 수 있고, 예를 들면, 견고성(robustness)을 높일 수가 있다.
＜측거 연산 처리부의 제2 구성예＞
도 14는, 측거 연산 처리부(15)의 제2 구성예를 나타내는 블록도이다. 또한, 도 14에 나타내는 측거 연산 처리부(15A)에 있어서, 도 12의 측거 연산 처리부(15)와 공통되는 구성에 대해서는 동일한 부호를 부여하고, 그 상세한 설명은 생략한다.
즉, 측거 연산 처리부(15A)는, 보정 파라미터 산출부(51) 및 측거부(52A)를 구비하여 구성되며, 보정 파라미터 산출부(51)는, 도 12의 측거 연산 처리부(15)와 마찬가지로, 편차 보정 파라미터 계산부(61) 및 편차 보정 파라미터 저장부(62)를 포함하고 있다.
측거부(52A)는, 도 12의 측거 연산 처리부(15)와 마찬가지로, 보정 연산부(71) 및 측거 연산부(72)를 갖는 한편, 측거 결과 저장부(73) 및 결과 합성부(74)를 갖고 있는 점에서, 도 12의 측거 연산 처리부(15)와 다른 구성이 되고 있다.
또한, 측거부(52A)는, 상술한 바와 같이 측거 연산부(72)에 의하여 구해진 뎁스(d(t)) 및 신뢰도(c(t))가, 측거 결과로서 측거 결과 저장부(73) 및 결과 합성부(74)에 공급되도록 구성된다. 그리고, 측거부(52A)는, 측거 결과 저장부(73)로부터 결과 합성부(74)에 하나의 프레임 전의 측거 결과, 즉, 뎁스(d(t-1)) 및 신뢰도(c(t-1))가 공급되도록 구성된다.
측거 결과 저장부(73)는, 측거 연산부(72)로부터 공급되는 뎁스(d(t)) 및 신뢰도(c(t))를, 하나의 프레임분만큼 저장할 수 있고, 하나의 프레임 전의 뎁스(d(t-1)) 및 신뢰도(c(t-1))를 결과 합성부(74)에 공급한다.
결과 합성부(74)는, 측거 연산부(72)로부터 공급되는 뎁스(d(t)) 및 신뢰도(c(t))와, 측거 결과 저장부(73)로부터 공급되는 뎁스(d(t-1)) 및 신뢰도(c(t-1))를 합성하여, 그 합성 결과로서 구해지는 뎁스(d(t)) 및 신뢰도(c(t))를 출력한다.
여기서, 측거 연산부(72)로부터 측거 결과 저장부(73) 및 결과 합성부(74)에 공급되는 뎁스(d(t)) 및 신뢰도(c(t))를 뎁스(d＇(t)) 및 신뢰도(c＇(t))로, 결과 합성부(74)에 의한 합성 결과를 뎁스(d(t)) 및 신뢰도(c(t))로 한다. 이 경우, 결과 합성부(74)는, 신뢰도(c＇(t))에 기초하는 가중치(g)를 이용하여, 다음의 식(15)에 나타내는 가중치 연산에 의해 측거 결과를 합성할 수 있다.
Figure pat00015
이와 같이, 측거 연산 처리부(15A)에서는, 현재의 프레임의 측거 결과와 하나의 프레임 전의 측거 결과의 합성(이하, 슬라이드 윈도우라고도 칭한다)을 행함으로써, SN(Signal Noise) 비를 향상시켜서, 합성 결과를 저노이즈화 시킬 수가 있다.
예를 들면, 슬라이드 윈도우를 행하지 않는 경우와 검출 기간(Q0 내지 Q3)이 동일한 경우, 4회의 검출 기간(Q0 내지 Q3)에서 검출되는 8개의 검출 신호를 이용한 측거 결과와 비교하여, 2회의 검출 기간(Q0 내지 Q1)으로 검출되는 4개의 검출 신호를 이용한 측거 결과는, SN비가 저하하게 된다. 이에, 측거 연산 처리부(15A)에서는, 슬라이드 윈도우를 행함으로써, 하나의 프레임 전을 포함한 8개의 검출 신호를 이용한 측거 결과를 행하게 되므로, SN비의 저하를 억제할 수 있다.
또한, 측거 연산 처리부(15A)에서는, 하나의 뎁스 프레임에 있어서의 검출 기간을 단축해도, 슬라이드 윈도우를 행함으로써, 하나의 뎁스 프레임에서 검출 신호의 취득에 필요한 파워 근처의 SN비(frame × SNR / power)의 향상을 도모할 수 있다.
따라서, 측거 연산 처리부(15A)는, 슬라이드 윈도우를 행함으로써 저노이즈화를 도모할 수 있기 때문에, 도 15에 나타낸 바와 같이, 도 4와 비교하여 검출 기간(Q0 내지 Q3)을 반으로 할 수 있다. 즉, 측거 연산 처리부(15A)는, 검출 신호(A 및 B)의 취득 속도를 2배로 향상시켜, 프레임 레이트를 2배로 할 수 있다.
여기서, 예를 들면, 슬라이드 윈도우를 행하지 않는 경우, 하나의 뎁스 프레임에 대해서 검출 신호의 취득에 필요한 파워를 변경하지 않고, 그리고, 프레임 레이트를 2배로 하는 조건에서는, 검출 기간(Q0 내지 Q3)이 단축되는 분만큼 SN비가 저하하게 된다. 이에 반하여, 측거 연산 처리부(15A)에서는, 하나의 뎁스 프레임에서 검출 신호의 취득에 필요한 파워를 바꾸지 않고, 프레임 레이트를 2배로 해도, 슬라이드 윈도우를 행함으로써, SN비가 저하하는 것을 회피할 수 있다.
또는, 도 16에 나타낸 바와 같이, 도 4와 동일한 시간의 검출 기간(Q0 내지 Q3)으로 하여 프레임 레이트를 변경하지 않고, 그리고, SN비를 변경시키지 않는 조건에서는, 하나의 뎁스 프레임에서 검출 신호의 취득에 필요한 파워를 저하시킬 수가 있다. 즉, 측거 연산 처리부(15A)는, 슬라이드 윈도우를 행함으로써, 저소비 전력화를 도모할 수 있다.
또한, 측거 연산 처리부(15A)에서는, 결과 합성부(74)가, 신뢰도에 기초한 가중치 연산을 행하여 측거 결과를 합성하는 처리를 행하는 것 이외에, 예를 들면, 단순평균에 의하여 측거 결과를 합성해도 되고, 신뢰도 이외의 기준에 기초하는 가중치에 의해 측거 결과를 합성해도 된다.
또한, 예를 들면, 결과 합성부(74)에 의하여 측거 결과를 합성하는 처리를, 도 4를 참조하여 상술한 4회의 검출 기간(Q0 내지 Q3)에 의하여 하나의 뎁스 프레임이 출력되는 구성에 적용해도 된다. 즉, 본 처리는, 2회의 검출 기간(Q0 및 Q1)에 의하여 검출되는 4개의 검출 신호, 또는, 2회의 검출 기간(Q2 및 Q3)에 의하여 검출되는 4개의 검출 신호에 기초하여, 하나의 뎁스 프레임이 출력되는 구성에 적용하는 것에 한정되지 않는다.
＜측거 연산 처리의 제2 처리예＞　
도 17은, 측거 연산 처리부(15A)에서 실행되는 측거 연산 처리의 제2 처리예를 설명하는 플로우차트이다.
스텝(S21 내지 S27)에 있어서, 도 13의 스텝(S11 내지 S17)과 마찬가지의 처리를 행한다.
그리고, 스텝(S27)에서는, 산출된 뎁스 및 신뢰도가 측거 결과 저장부(73) 및 결과 합성부(74)에 공급되어, 스텝(S28)에 있어서, 결과 합성부(74)는, 측거 결과 저장부(73)에 측거 결과가 저장되고 있는지 아닌지를 판정한다.
스텝(S28)에 있어서, 결과 합성부(74)가, 측거 결과 저장부(73)에 측거 결과가 저장되어 있지 않다고 판정했을 경우, 처리는 스텝(S21)으로 돌아온다. 즉, 이 경우, 측거 결과 저장부(73)에는 하나의 프레임 전의 뎁스 및 신뢰도가 저장되어 있지 않고, 결과 합성부(74)는, 측거 결과를 합성하는 처리를 행하지 않는다.
한편, 스텝(S28)에 있어서, 결과 합성부(74)가, 측거 결과 저장부(73)에 측거 결과가 저장되어 있다고 판정했을 경우, 처리는 스텝(S29)으로 진행된다.
스텝(S29)에 있어서, 결과 합성부(74)는, 하나의 프레임 전의 뎁스 및 신뢰도를 측거 결과 저장부(73)로부터 읽어낸다. 그리고, 결과 합성부(74)는, 스텝(S27)에서 공급된 뎁스 및 신뢰도와, 측거 결과 저장부(73)로부터 읽어낸 하나의 프레임 전의 뎁스 및 신뢰도를, 신뢰도에 기초한 가중치 연산을 행함으로써 측정 결과를 합성한 합성 측거 결과를 출력한다.
그 후, 스텝(S30)에 있어서, 도 13의 스텝(S18)과 마찬가지의 처리를 행하고, 측거를 계속하지 않는다고 판정되었을 경우, 측거 연산 처리는 종료된다.
이상과 같이, 측거 연산 처리부(15A)는, 신뢰도에 기초한 가중치 연산에 의하여 측정 결과를 합성함으로써, 측정 결과의 SN비의 저감을 도모할 수 있어, 보다 정확한 측거를 행할 수 있다. 또한, 측거 연산 처리부(15A)는, 프레임 레이트의 향상(도 15 참조), 또는, 소비 전력의 저감(도 16 참조)을 도모할 수 있다.
＜발광부 및 수광부의 동작＞
도 18 내지 도 21을 참조하여, 발광부(12) 및 수광부(14)의 동작에 대해 설명한다.
도 18에는, 1매의 뎁스맵을 출력하기 위한 발광 및 수광의 타이밍의 일례가 나타나고 있다.
예를 들면, 측거 모듈(11)은, 뎁스맵을 출력하는 하나의 프레임을 하나의 서브 프레임으로 설정할 수 있고, 하나의 서브 프레임은, 검출 기간(Q0), 검출 기간(Q1), 검출 기간(Q2) 및 검출 기간(Q3)으로 4 분할된다. 또한, 검출 기간(Q0), 검출 기간(Q1), 검출 기간(Q2) 및 검출 기간(Q3) 각각의 인테그레이션 기간에 있어서, 발광부(12)는, 변조 신호에 따른 타이밍에 조사광을 발광하여, 그 반사광을 수광부(14)가 수광한다. 도 1을 참조하여 설명한 바와 같이, 배분 신호(DIMIX_A 및 DIMIX_B)에 따라, 하나의 포토 다이오드(31)에서 발생한 전하가 탭(32A) 및 탭(32B)에 배분되어, 인테그레이션 기간에 있어서 수광한 광량에 따른 전하가 축적된다.
여기서, 상술의 도 4에 나타낸 예에서는, 검출 기간(Q0), 검출 기간(Q1), 검출 기간(Q2) 및 검출 기간(Q3)의 후에, 하나의 뎁스 프레임분의 대기 기간이 설치되고 있다. 이에 반하여, 도 18에 나타내는 예에서는, 검출 기간(Q0), 검출 기간(Q1), 검출 기간(Q2) 및 검출 기간(Q3) 각각의 후에 4 분할된 대기 기간이 설치된다.
이와 같이, 검출 기간(Q0), 검출 기간(Q1), 검출 기간(Q2) 및 검출 기간(Q3)마다 대기 기간을 설치함으로써, 각각의 인테그레이션 기간의 간격을 균등하게 할 수 있다.
즉, 도 19에 나타낸 바와 같이, 위상 지연 0°의 조사광의 발광 타이밍, 위상 지연 90°의 조사광의 발광 타이밍, 위상 지연 180°의 조사광의 발광 타이밍 및 위상 지연 270°의 조사광의 발광 타이밍이, 등간격으로 설정된다. 이와 같이, 서로 등간격인 발광 타이밍을 채용함으로써, 예를 들면, 측거 연산 처리부(15A)와 같이 슬라이드 윈도우를 행할 때에, 그러한 간격이 다름에 의한 악영향을 억제할 수 있다.
또한, 도 20에 나타내는 발광 타이밍을 채용해도 된다. 상술한 바와 같이, 측거 연산 처리부(15)는, 4개의 검출 신호(A0), 검출 신호(B0), 검출 신호(A90) 및 검출 신호(B90)로부터 하나의 뎁스 프레임을 취득하고, 4개의 검출 신호(A180), 검출 신호(B180), 검출 신호(A270) 및 검출 신호(B270)로부터 하나의 뎁스 프레임을 취득한다.
따라서, 도 20에 나타내는 바와 같이, 어느 하나의 뎁스 프레임을 취득하기 위한 위상 지연 0°의 조사광의 발광 타이밍과 위상 지연 90°의 조사광의 발광 타이밍이 근접함과 함께, 다음의 하나의 뎁스 프레임을 취득하기 위한 위상 지연 180°의 조사광의 발광 타이밍과 위상 지연 270°의 조사광의 발광 타이밍이 근접하는 것이 바람직하다. 예를 들면, 하나의 뎁스 프레임을 취득하기 위한 발광 타이밍을 근접시킴으로써, 물체가 움직이고 있는 경우, 그 움직임에 의하여, 발광 타이밍이 떨어져 있음에 의하여 생기는 영향을 억제할 수 있다.
또한, 측거 연산 처리부(15A)와 같이 슬라이드 윈도우를 행할 때에, 어느 하나의 뎁스 프레임을 취득하기 위한 발광 타이밍과, 다음의 하나의 뎁스 프레임을 취득하기 위한 발광 타이밍이 등간격이 됨으로써, 이들간의 간격이 다름에 의한 악영향을 억제할 수 있다.
또한, 도 21에 나타내는 발광 타이밍을 채용해도 된다. 즉, 측거 연산 처리부(15)는, 오프셋(Offset_A 및 Offset_B)이 사전에 구해지면, 위상 지연 0°의 조사광과, 위상 지연 90°의 조사광만을 이용하여 뎁스 프레임을 취득할 수 있다.
또한, 발광부(12)의 발광 타이밍은, 도 18 내지 도 21에 나타내는 예로 한정되지 않고, 그 외의 다양한 발광 타이밍을 채용할 수 있다.
＜측거 연산 처리부의 제3 구성예＞
도 22는, 측거 연산 처리부(15)의 제3 구성예를 나타내는 블록도이다.
도 22에 나타내는 측거 연산 처리부(15B)는, 검출 신호 저장부(81), 움직임 검지부(82), 4 위상 측거 연산부(83), 2 위상 측거 연산부(84), 측거 결과 저장부(85) 및 결과 합성부(86)를 구비하여 구성된다.
또한, 측거 연산 처리부(15B)에는, 도 12를 참조하여 설명한 것과 마찬가지로, 위상 지연 0° 및 90°의 조사광으로 검출되는 4개의 검출 신호가 공급되는 것과 함께, 위상 지연 180° 및 270°의 조사광으로 검출되는 4개의 검출 신호가 공급된다. 즉, 측거 연산 처리부(15B)에는, 검출 신호(A0(t)), 검출 신호(B0(t)), 검출 신호(A90(t)) 및 검출 신호(B90(t))가 공급되고, 계속하여, 검출 신호(A180(t＋1)), 검출 신호(B180(t＋1)), 검출 신호(A270(t＋1)) 및 검출 신호(B270(t＋1))가 공급된다.
검출 신호 저장부(81)는, 4개의 검출 신호를 저장할 수 있고, 4개의 검출 신호가 공급될 때마다, 저장하고 있던 4개의 이전의 검출 신호를 움직임 검지부(82)에 공급한다.
즉, 검출 신호 저장부(81)는, 검출 신호(A0(t)), 검출 신호(B0(t)), 검출 신호(A90(t)) 및 검출 신호(B90(t))가 공급되는 타이밍에서, 검출 신호(A180(t-1)), 검출 신호(B180(t-1)), 검출 신호(A270(t-1)) 및 검출 신호(B270(t-1))를 저장하고 있고, 그들을 움직임 검지부(82)에 공급한다. 또한, 검출 신호 저장부(81)는, 검출 신호(A180(t＋1)), 검출 신호(B180(t＋1)), 검출 신호(A270(t＋1)) 및 검출 신호(B270(t＋1))가 공급되는 타이밍에서, 검출 신호(A0(t)), 검출 신호(B0(t)), 검출 신호(A90(t)) 및 검출 신호(B90(t))를 저장하고 있고, 그들을 움직임 검지부(82)에 공급한다.
움직임 검지부(82)는, 수광부(14)의 화소마다 피사체의 움직임을 검지하여, 소정의 역치(th)에 기초하여, 이동하는 피사체가 비쳐지고 있는지 아닌지의 판단을 행한다.
즉, 움직임 검지부(82)는, 검출 신호(A0(t)), 검출 신호(B0(t)), 검출 신호(A90(t)) 및 검출 신호(B90(t))가 공급되는 타이밍에서, 다음의 식(16)에 나타내는 판정 조건에 따른 판단을 행한다.
Figure pat00016
예를 들면, 움직임 검지부(82)는, 식(16)의 판정 조건이 만족되고 있는 경우, 검출 신호(A0(t)), 검출 신호(B0(t)), 검출 신호(A90(t)) 및 검출 신호(B90(t))에 기초하여 취득되는 뎁스 프레임에는 이동하는 피사체가 비쳐지지 않는다고 판단한다. 이 경우, 움직임 검지부(82)는, 이동하는 피사체가 비쳐지지 않음을 나타내는 이동 피사체 검출 신호(M(t)=0)를 출력하고, 검출 신호(A0(t)), 검출 신호(B0(t)), 검출 신호(A90(t)) 및 검출 신호(B90(t))를 4 위상 측거 연산부(83)에 공급한다. 또한, 이 경우, 움직임 검지부(82)는, 검출 신호 저장부(81)로부터 공급되는 검출 신호(A180(t-1)), 검출 신호(B180(t-1)), 검출 신호(A270(t-1)) 및 검출 신호(B270(t-1))를 4 위상 측거 연산부(83)에 공급한다.
한편, 움직임 검지부(82)는, 식(16)의 판정 조건이 만족되지 않은 경우, 검출 신호(A0(t)), 검출 신호(B0(t)), 검출 신호(A90(t)) 및 검출 신호(B90(t))에 기초하여 취득되는 뎁스 프레임에는 이동하는 피사체가 나타난다고 판단한다. 이 경우, 움직임 검지부(82)는, 이동하는 피사체가 비쳐지고 있음을 나타내는 이동 피사체 검출 신호(M(t)=1)를 출력하고, 검출 신호(A0(t)), 검출 신호(B0(t)), 검출 신호(A90(t)) 및 검출 신호(B90(t))를 2 위상 측거 연산부(84)에 공급한다.
마찬가지로, 움직임 검지부(82)는, 검출 신호(A180(t＋1)), 검출 신호(B180(t＋1)), 검출 신호(A270(t＋1)) 및 검출 신호(B270(t＋1))가 공급되는 타이밍에서, 다음의 식(17)에 나타내는 판정 조건에 따른 판단을 행한다.
Figure pat00017
예를 들면, 움직임 검지부(82)는, 식(17)의 판정 조건이 만족되고 있는 경우, 검출 신호(A180(t＋1)), 검출 신호(B180(t＋1)), 검출 신호(A270(t＋1)), 및 검출 신호(B270(t＋1))에 기초하여 취득되는 뎁스 프레임에는 이동하는 피사체가 나타나지 않는다고 판단한다. 이 경우, 움직임 검지부(82)는, 이동하는 피사체가 비쳐지지 않음을 나타내는 이동 피사체 검출 신호(M(t)=0)를 출력하고, 검출 신호(A180(t＋1)), 검출 신호(B180(t＋1)), 검출 신호(A270(t＋1)) 및 검출 신호(B270(t＋1))를 4 위상 측거 연산부(83)에 공급한다. 또한, 이 경우, 움직임 검지부(82)는, 검출 신호 저장부(81)로부터 공급되는 검출 신호(A0(t)), 검출 신호(B0(t)), 검출 신호(A90(t)) 및 검출 신호(B90(t))를 4 위상 측거 연산부(83)에 공급한다.
한편, 움직임 검지부(82)는, 식(17)의 판정 조건을 만족되지 않은 경우, 검출 신호(A180(t＋1)), 검출 신호(B180(t＋1)), 검출 신호(A270(t＋1)) 및 검출 신호(B270(t＋1))에 기초하여 취득되는 뎁스 프레임에는 이동하는 피사체가 나타난다고 판단한다. 이 경우, 움직임 검지부(82)는, 이동하는 피사체가 비쳐지고 있음을 나타내는 이동 피사체 검출 신호(M(t)=1)를 출력하고, 검출 신호(A180(t＋1)), 검출 신호(B180(t＋1)), 검출 신호(A270(t＋1)) 및 검출 신호(B270(t＋1))를 2 위상 측거 연산부(84)에 공급한다.
4 위상 측거 연산부(83)는, 움직임 검지부(82)에 의해 이동하는 피사체가 나타나지 않는다고 판단되었을 경우에, 위상 지연 0°의 조사광, 위상 지연 90°의 조사광, 위상 지연 180°의 조사광 및 위상 지연 270°의 조사광에 의하여 검출되는 8개의 검출 신호를 이용한 연산에 의하여 측거하는 처리(이하, 4 위상 측거 연산 처리라고 칭한다)를 행한다.
예를 들면, 이 경우, 움직임 검지부(82)로부터 4 위상 측거 연산부(83)에, 검출 신호(A180(t-1)), 검출 신호(B180(t-1)), 검출 신호(A270(t-1)), 검출 신호(B270(t-1)), 검출 신호(A0(t)), 검출 신호(B0(t)), 검출 신호(A90(t)) 및 검출 신호(B90(t))가 공급된다.
따라서, 4 위상 측거 연산부(83)는, 다음의 식(18)에 따른 연산을 행함으로써, 뎁스(d(t)) 및 신뢰도(c(t))를 구하여, 측거 결과 저장부(85) 및 결과 합성부(86)에 공급한다.
Figure pat00018
마찬가지로, 4 위상 측거 연산부(83)는, 검출 신호(A0(t)), 검출 신호(B0(t)), 검출 신호(A90(t)), 검출 신호(B90(t)), 검출 신호(A180(t＋1)), 검출 신호(B180(t＋1)), 검출 신호(A270(t＋1)) 및 검출 신호(B270(t＋1))를 이용하여, 뎁스(d(t＋1)) 및 신뢰도(c(t＋1))를 구할 수 있다.
2 위상 측거 연산부(84)는, 도 12의 측거 연산 처리부(15)와 동일한 기능을 갖추고 있어, 도 12에 나타낸 보정 파라미터 산출부(51) 및 측거부(52)를 갖고 있다.
즉, 2 위상 측거 연산부(84)는, 움직임 검지부(82)에 의하여 이동하는 피사체라고 판단되었을 경우에, 위상 지연 0°의 조사광 및 위상 지연 90°의 조사광에 의하여 검출되는 4개의 검출 신호, 또는, 위상 지연 180°의 조사광 및 위상 지연 270°의 조사광에 의하여 검출되는 4개의 검출 신호를 이용한 연산에 의하여 측거하는 처리(이하, 2 위상 측거 연산 처리라고 칭한다)를 행한다. 그리고, 2 위상 측거 연산부(84)는, 2 위상 측거 연산 처리를 행하여 구한 뎁스(d) 및 신뢰도(c)를, 측거 결과 저장부(85) 및 결과 합성부(86)에 공급한다.
측거 결과 저장부(85) 및 결과 합성부(86)는, 도 14의 측거 결과 저장부(73) 및 결과 합성부(74)와 동일한 기능을 갖추고 있다. 즉, 측거 결과 저장부(85)는, 하나의 프레임 전의 측거 결과를 결과 합성부(86)에 공급하고, 결과 합성부(86)는, 현재의 프레임의 측거 결과와 하나의 프레임 전의 측거 결과를 합성할 수 있다.
이와 같이 구성되는 측거 연산 처리부(15B)는, 도 23에 나타내는 바와 같이, 프레임마다 움직임 검지의 결과에 따라, 연속하는 2개의 뎁스 프레임을 합성하여, 하나의 뎁스 프레임으로서 출력할 수 있다.
예를 들면, 측거 연산 처리부(15B)는, 프레임 번호가 t인 뎁스 프레임을 출력하는 타이밍에, 측거 결과가 합성되기 전의 프레임 번호가 t-1인 측거 결과의 움직임 검지의 결과, 이동하는 피사체가 비쳐지고 있는 경우에는, 프레임 번호가 t인 측거 결과를 그대로 뎁스 프레임으로서 출력한다. 한편, 측거 연산 처리부(15B)는, 프레임 번호가 t인 뎁스 프레임을 출력하는 타이밍에서, 측거 결과가 합성되기 전의 프레임 번호가 t-1인 뎁스 프레임의 움직임 검지의 결과, 이동하는 피사체가 비쳐지지 않은 경우에는, 그 프레임 번호가 t-1인 측거 결과의 합성을 행한 합성 측거 결과를 프레임 번호가 t인 뎁스 프레임으로서 출력한다.
이상과 같이, 측거 연산 처리부(15B)는, 움직임 검지의 결과에 따라, 4 위상 측거 연산 처리와 2 위상 측거 연산 처리를 절환할 수가 있다. 따라서, 측거 연산 처리부(15B)는, 예를 들면, 이동하는 피사체가 비쳐지고 있는 경우에는 2 위상 측거 연산 처리를 행함으로써, 보다 높은 프레임 레이트로 뎁스 프레임을 구하고, 이동하는 피사체에 대한 측정 정밀도를 향상시킬 수가 있다. 이에 따라, 측거 연산 처리부(15B)는, 이동하는 피사체에 대한 견고성을 향상시킬 수가 있다. 또한, 측거 연산 처리부(15B)는, 이동하는 피사체가 비쳐지지 않은 경우에는 4 위상 측거 연산 처리를 행함으로써, 보다 저노이즈화를 도모할 수 있다. 또한, 움직임 검지부(82)는, 검출 신호로부터 구해지는 밝기에 기초하여 조건 판단을 실시하거나, 하나의 프레임 전의 신뢰도에 기초하여 조건 판단을 실시하거나 하여, 4 위상 측거 연산부(83)와 2 위상 측거 연산부(84)의 처리를 절환하여도 된다.
＜측거 연산 처리의 제3 처리예＞
도 24는, 측거 연산 처리부(15B)에서 실행되는 측거 연산 처리의 제3 처리예를 설명하는 플로우차트이다.
스텝(S41)에 있어서, 도 13의 스텝(S11)과 마찬가지의 처리를 행하고, 측거 연산 처리부(15B)는, 위상 지연이 다른 2개의 조사광 각각으로, 2개의 검출 신호를 취득한다.
스텝(S41)에 있어서, 움직임 검지부(82)는, 검출 신호가 검출 신호 저장부(81)에 저장이 완료된 상태인지 아닌지를 판정한다.
스텝(S41)에 있어서, 움직임 검지부(82)가, 검출 신호가 검출 신호 저장부(81)에 저장이 완료된 상태가 아니라고 판정했을 경우, 처리는 스텝(S41)으로 돌아온다. 즉, 이 경우, 검출 신호 저장부(81)에는 하나의 프레임 전의 검출 신호가 저장되어 있지 않고, 움직임 검지부(82)는, 움직임을 검출하는 처리를 행하지 않는다.
한편, 스텝(S42)에 있어서, 움직임 검지부(82)가, 검출 신호가 검출 신호 저장부(81)에 저장이 완료된 상태라고 판정했을 경우, 처리는 스텝(S43)으로 진행된다. 스텝(S43)에 있어서, 움직임 검지부(82)는, 상술한 식(16) 또는 식(17)에 나타내는 판정 조건에 따라, 이동하는 피사체가 비쳐지고 있는지 아닌지를 판정한다.
스텝(S43)에 있어서, 움직임 검지부(82)가, 이동 피사체가 비쳐지지 않는다고 판정했을 경우, 처리는 스텝(S44)으로 진행된다. 스텝(S44)에 있어서, 4 위상 측거 연산부(83)는, 상술한 4 위상 측거 연산 처리를 행함으로써 뎁스 및 신뢰도를 구하여, 측거 결과로서 측거 결과 저장부(85) 및 결과 합성부(86)에 공급하고, 처리는 스텝(S46)으로 진행된다.
한편, 스텝(S43)에 있어서, 움직임 검지부(82)가, 이동 피사체가 비쳐지고 있다고 판정했을 경우, 처리는 스텝(S45)으로 진행된다. 스텝(S45)에 있어서, 2 위상 측거 연산부(84)는, 상술한 2 위상 측거 연산 처리를 행함으로써 뎁스 및 신뢰도를 구하여, 측거 결과로서 측거 결과 저장부(85) 및 결과 합성부(86)에 공급하고, 처리는 스텝(S46)으로 진행된다.
스텝(S46 내지 S48)에 있어서, 도 17의 스텝(S28 내지 S30)과 마찬가지의 처리를 행하고, 스텝(S48)에 있어서, 측거를 계속하지 않는다고 판정되었을 경우, 측거 연산 처리는 종료된다.
이상과 같이, 측거 연산 처리부(15B)는, 움직임 검지의 결과에 따라, 4 위상 측거 연산 처리와 2 위상 측거 연산 처리를 절환함으로써, 이동 피사체에 대응하여 적절한 측거를 행할 수 있다.
또한, 본 기술은, Indirect ToF 방식 중에서도 Continuous-Wave 방식으로 칭하여 지는, 물체에 투광하는 광을 진폭변조 하는 시스템에 적용할 수 있다. 또한, 수광부(14)의 포토 다이오드(31)의 구조로서는, CAPD(Current Assisted Photonic Demodulator) 구조의 심도 센서로 한정되지 않고, 2개의 탭(32A) 및 탭(32B)에 전하를 배분하는 구조의 심도 센서에 적용할 수 있다.
＜전자기기의 구성예＞
상술한 측거 모듈(11)은, 예를 들면, 스마트 폰 등의 전자기기에 탑재할 수 있다.
도 25는, 전자기기에 탑재되는 촬상 장치의 구성예를 나타내는 블록도이다.
도 25에 나타낸 바와 같이, 전자기기(101)는, 측거 모듈(102), 촬상 장치(103), 디스플레이(104), 스피커(105), 마이크로폰(106), 통신 모듈(107), 센서 유닛(108), 터치 패널(109) 및 제어 유닛(110)이, 버스(111)를 통해 접속되어 구성된다. 또한, 제어 유닛(110)는, CPU가 프로그램을 실행함으로써, 어플리케이션 처리부(121) 및 오퍼레이션 시스템 처리부(122)로서의 기능을 가진다.
측거 모듈(102)에서는, 도 1의 측거 모듈(11)이 적용된다. 예를 들면, 측거 모듈(102)은, 전자기기(101)의 전면에 배치되어, 전자기기(101)의 유저를 대상으로 하는 측거를 행함으로써, 그 유저의 얼굴이나 손, 손가락 등의 표면 형상의 뎁스를 측거 결과로서 출력할 수 있다.
촬상 장치(103)는, 전자기기(101)의 전면에 배치되어, 전자기기(101)의 유저를 피사체로 하는 촬상을 행함으로써, 그 유저가 찍힌 화상을 취득한다. 또한, 도시하지 않았지만, 전자기기(101)의 배면에 촬상 장치(103)가 배치된 구성이어도 된다.
디스플레이(104)는, 어플리케이션 처리부(121) 및 오퍼레이션 시스템 처리부(122)에 의한 처리를 행하기 위한 조작 화면이나, 촬상 장치(103)가 촬상한 화상 등을 표시한다. 스피커(105) 및 마이크로폰(106)은, 예를 들면, 전자기기(101)에 의해 통화를 행할 때에, 상대측의 음성의 출력 및 유저의 음성의 수음을 행한다.
통신 모듈(107)은, 통신 네트워크를 통한 통신을 행한다. 센서 유닛(108)은, 속도나 가속도, 근접도 등을 센싱하고, 터치 패널(109)은, 디스플레이(104)에 표시되어 있는 조작 화면에 대한 유저에 의한 터치 조작을 취득한다.
어플리케이션 처리부(121)는, 전자기기(101)에 의해 다양한 서비스를 제공하기 위한 처리를 행한다. 예를 들면, 어플리케이션 처리부(121)는, 측거 모듈(102)로부터 공급되는 뎁스에 기초하여, 유저의 표정을 가상(virtual)으로 재현한 컴퓨터 그래픽에 의한 얼굴을 작성하여, 디스플레이(104)에 표시하는 처리를 행할 수 있다. 또한, 어플리케이션 처리부(121)는, 측거 모듈(102)로부터 공급되는 뎁스에 기초하여, 예를 들면, 임의의 입체적인 물체의 삼차원 형상 데이터를 작성하는 처리를 행할 수 있다.
오퍼레이션 시스템 처리부(122)는, 전자기기(101)의 기본적인 기능 및 동작을 실현하기 위한 처리를 행한다. 예를 들면, 오퍼레이션 시스템 처리부(122)는, 측거 모듈(102)로부터 공급되는 뎁스에 기초하여, 유저의 얼굴을 인증하여, 전자기기(101)의 잠금을 해제하는 처리를 행할 수 있다. 또한, 오퍼레이션 시스템 처리부(122)는, 측거 모듈(102)로부터 공급되는 뎁스에 기초하여, 예를 들면, 유저의 제스처를 인식하는 처리를 행하여, 그 제스처에 따른 각종의 조작을 입력하는 처리를 행할 수 있다.
이와 같이 구성되는 전자기기(101)에서는, 상술한 측거 모듈(11)을 적용함으로써, 예를 들면, 프레임 레이트의 향상이나, 소비 전력의 저감, 데이터 전송 대역의 저감을 실현할 수 있다. 이에 따라, 전자기기(101)는, 보다 매끄럽게 움직이는 얼굴을 컴퓨터 그래픽으로 작성하거나, 고정밀도로 얼굴 인증을 행하거나, 배터리의 소비를 억제하거나, 데이터 전송을 협대역으로 행할 수 있다.
＜컴퓨터의 구성예＞
다음으로, 상술한 일련의 처리는, 하드웨어에 의하여 행할 수도 있고, 소프트웨어에 의하여 행할 수도 있다. 일련의 처리를 소프트웨어에 의하여 행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 범용의 컴퓨터 등에 인스톨된다.
도 26은, 상술한 일련의 처리를 실행하는 프로그램이 인스톨되는 컴퓨터의 일 실시형태의 구성예를 나타내는 블록도이다.
컴퓨터에 있어서, CPU(Central Processing Unit)(201), ROM(Read Only Memory)(202), RAM(Random Access Memory)(203) 및 EEPROM(Electronically Erasable and Programmable Read Only Memory)(204)는, 버스(205)에 의하여 서로 접속되고 있다. 버스(205)에는, 또한, 입출력 인터페이스(206)가 접속되고 있고, 입출력 인터페이스(206)가 외부로 접속된다.
이상과 같이 구성되는 컴퓨터에서는, CPU(201)가, 예를 들면, ROM(202) 및 EEPROM(204)에 기억되고 있는 프로그램을, 버스(205)를 거쳐서 RAM(203)에 로드하여 실행함으로써, 상술한 일련의 처리를 행한다. 또한, 컴퓨터(CPU(201))가 실행하는 프로그램은, ROM(202)에 미리 기입해 두는 것 이외에, 입출력 인터페이스(206)를 거쳐서 외부로부터 EEPROM(204)에 인스톨하거나 갱신할 수 있다.
이에 따라, CPU(201)는, 상술한 플로우차트에 따른 처리, 또는 상술한 블록도의 구성에 의해 행해지는 처리를 행한다. 그리고, CPU(201)는, 그 처리 결과를, 필요에 따라서, 예를 들면, 입출력 인터페이스(206)를 거쳐서, 외부로 출력할 수 있다.
여기서, 본 명세서에 있어서, 컴퓨터가 프로그램에 따라 행하는 처리는, 반드시 플로우차트로서 기재된 순서에 따라 시계열로 행해질 필요는 없다. 즉, 컴퓨터가 프로그램에 따라 행하는 처리는, 병렬적 또는 개별적으로 실행되는 처리(예를 들면, 병렬처리 또는 오브젝트에 의한 처리)도 포함한다.
또한, 프로그램은, 하나의 컴퓨터(프로세서)에 의해 처리되는 것이어도 되고, 복수의 컴퓨터에 의해 분산처리 되는 것이어도 된다. 또한, 프로그램은, 원격 컴퓨터에 전송되어 실행되는 것이어도 된다.
또한, 본 명세서에 있어서, 시스템이란, 복수의 구성요소(장치, 모듈(부품) 등)의 집합을 의미하며, 모든 구성요소가 동일 케이스 중에 있는지 아닌지는 묻지 않는다. 따라서, 별개의 케이스에 수납되어, 네트워크를 거쳐서 접속되고 있는 복수의 장치 및 하나의 케이스 안에 복수의 모듈이 수납되고 있는 하나의 장치는, 모두, 시스템이다.
또한, 예를 들면, 하나의 장치(또는 처리부)로서 설명한 구성을 분할하여, 복수의 장치(또는 처리부)로서 구성하게 해도 된다. 반대로, 이상에 있어서 복수의 장치(또는 처리부)로서 설명한 구성을 합하여 하나의 장치(또는 처리부)로서 구성되도록 해도 된다. 또한, 각 장치(또는 각 처리부)의 구성에 상술한 이외의 구성을 부가하도록 해도 된다. 또한, 시스템 전체적으로의 구성이나 동작이 실질적으로 같으면, 어느 장치(또는 처리부)의 구성의 일부를 다른 장치(또는 다른 처리부)의 구성에 포함하도록 해도 된다.
또한, 예를 들면, 본 기술은, 하나의 기능을, 네트워크를 거쳐서 복수의 장치로 분담, 공동하여 처리하는 클라우드 컴퓨팅의 구성을 취할 수 있다.
또한, 예를 들면, 상술한 프로그램은, 임의의 장치에 있어서 실행할 수 있다. 그 경우, 그 장치가, 필요한 기능(기능 블록 등)을 갖고, 필요한 정보를 얻을 수 있도록 하면 충분하다.
또한, 예를 들면, 상술의 플로우차트로 설명한 각 스텝은, 하나의 장치로 실행하는 것 외, 복수의 장치로 분담하여 실행할 수 있다. 또한, 하나의 스텝에 복수의 처리가 포함되는 경우에는, 그 하나의 스텝에 포함되는 복수의 처리는, 하나의 장치로 실행하는 것 외, 복수의 장치로 분담하여 실행할 수 있다. 바꾸어 말하면, 하나의 스텝에 포함되는 복수의 처리를, 복수의 스텝의 처리로서 실행할 수도 있다. 반대로, 복수의 스텝으로서 설명한 처리를 하나의 스텝으로 합하여 실행할 수도 있다.
또한, 컴퓨터가 실행하는 프로그램은, 프로그램을 기술하는 스텝의 처리가, 본 명세서에서 설명하는 순서에 따라 시계열로 실행되도록 해도 되고, 병렬로, 또는 호출을 했을 때 등의 필요한 타이밍에 개별적으로 실행되도록 해도 된다. 즉, 모순이 생기지 않는 이상, 각 스텝의 처리가 상술한 순서와 다른 순서로 실행되도록 해도 된다. 또한, 이 프로그램을 기술하는 스텝의 처리가, 다른 프로그램의 처리와 병렬로 실행되도록 해도 되고, 다른 프로그램의 처리와 조합하여 실행되도록 해도 된다.
또한, 본 명세서에 있어서 설명한 복수의 본 기술은, 모순이 생기지 않는 이상, 각각 독립적으로 단독으로 실시할 수 있다. 물론, 임의의 복수의 본 기술을 병용하여 실시할 수도 있다. 예를 들면, 어느 실시형태에 있어서 설명한 본 기술의 일부 또는 전부를, 다른 실시형태에 있어서 설명한 본 기술의 일부 또는 전부와 조합하여 실시할 수도 있다. 또한, 상술한 임의의 본 기술의 일부 또는 전부를, 상술하고 있지 않는 다른 기술과 병용하여 실시할 수도 있다.
＜이동체로의 응용예＞
본 개시와 관련되는 기술(본 기술)은, 다양한 제품에 응용할 수 있다. 예를 들면, 본 개시와 관련되는 기술은, 자동차, 전기 자동차, 하이브리드 전기 자동차, 자동이륜차, 자전거, 퍼스널 모빌리티, 비행기, 드론, 선박, 로보트 등의 어느 종류의 이동체에 탑재되는 장치로서 실현되어도 된다.
도 27는, 본 개시와 관련되는 기술이 적용될 수 있는 이동체 제어 시스템의 일례인 차량 제어 시스템의 개략적인 구성예를 나타내는 블록도이다.
차량 제어 시스템(12000)은, 통신 네트워크(12001)를 통해 접속된 복수의 전자 제어 유닛을 구비한다. 도 27에 나타낸 예에서는, 차량 제어 시스템(12000)은, 구동계 제어 유닛(12010), 보디계 제어 유닛(12020), 차외 정보 검출 유닛(12030), 차내 정보 검출 유닛(12040) 및 통합 제어 유닛(12050)을 구비한다. 또한, 통합 제어 유닛(12050)의 기능 구성으로서, 마이크로 컴퓨터(12051), 음성 화상 출력부(12052) 및 차재 네트워크 I/F(interface)(12053)가 도시되고 있다.
구동계 제어 유닛(12010)은, 각종 프로그램에 따라 차량의 구동계에 관련되는 장치의 동작을 제어한다. 예를 들면, 구동계 제어 유닛(12010)은, 내연기관 또는 구동용 모터 등의 차량의 구동력을 발생시키기 위한 구동력 발생 장치, 구동력을 차륜에 전달하기 위한 구동력 전달 기구, 차량의 타각을 조절하는 스티어링 기구 및 차량의 제동력을 발생시키는 제동 장치 등의 제어장치로서 기능한다.
보디계 제어 유닛(12020)은, 각종 프로그램에 따라 차체에 장비된 각종 장치의 동작을 제어한다. 예를 들면, 보디계 제어 유닛(12020)은, 키레스 엔트리 시스템, 스마트 키 시스템, 파워 윈도우 장치, 또는, 헤드 램프, 백 램프, 브레이크 램프, 깜빡이 또는 안개등 등의 각종 램프의 제어장치로서 기능한다. 이 경우, 보디계 제어 유닛(12020)에는, 열쇠를 대체하는 휴대기로부터 발신되는 전파 또는 각종 스위치의 신호가 입력될 수 있다. 보디계 제어 유닛(12020)은, 이러한 전파 또는 신호의 입력을 받아들여, 차량의 도어록 장치, 파워 윈도우 장치, 램프 등을 제어한다.
차외 정보 검출 유닛(12030)은, 차량 제어 시스템(12000)을 탑재한 차량의 외부의 정보를 검출한다. 예를 들면, 차외 정보 검출 유닛(12030)에는, 촬상부(12031)가 접속된다. 차외 정보 검출 유닛(12030)은, 촬상부(12031)에 차외의 화상을 촬상시키는 것과 함께, 촬상된 화상을 수신한다. 차외 정보 검출 유닛(12030)은, 수신한 화상에 기초하여, 사람, 차, 장애물, 표지 또는 노면 상의 문자 등의 물체 검출 처리 또는 거리 검출 처리를 행해도 된다.
촬상부(12031)는, 광을 수광하여, 그 광의 수광량에 따른 전기신호를 출력하는 광 센서이다. 촬상부(12031)는, 전기신호를 화상으로서 출력할 수도 있고, 측거의 정보로서 출력할 수도 있다. 또한, 촬상부(12031)가 수광하는 광은, 가시광이어도 되고, 적외선 등의 비가시광이어도 된다.
차내 정보 검출 유닛(12040)은, 차내의 정보를 검출한다. 차내 정보 검출 유닛(12040)에는, 예를 들면, 운전자의 상태를 검출하는 운전자 상태 검출부(12041)가 접속된다. 운전자 상태 검출부(12041)는, 예를 들면 운전자를 촬상하는 카메라를 포함하고, 차내 정보 검출 유닛(12040)은, 운전자 상태 검출부(12041)로부터 입력되는 검출 정보에 기초하여, 운전자의 피로 정도 또는 집중 정도를 산출해도 되고, 운전자가 졸고 있지 않은지를 판별해도 된다.
마이크로 컴퓨터(12051)는, 차외 정보 검출 유닛(12030) 또는 차내 정보 검출 유닛(12040)으로 취득되는 차내외의 정보에 기초하여, 구동력 발생 장치, 스티어링 기구 또는 제동 장치의 제어 목표치를 연산하여, 구동계 제어 유닛(12010)에 대해서 제어 지령을 출력할 수 있다. 예를 들면, 마이크로 컴퓨터(12051)는, 차량의 충돌 회피 또는 충격 완화, 차간거리에 기초하는 추종 주행, 차속 유지 주행, 차량의 충돌 경고, 또는 차량의 레인 일탈 경고 등을 포함하는 ADAS(Adｖanced　Driｖer　Assistance　System)의 기능 실현을 목적으로 한 협조 제어를 행할 수 있다.
또한, 마이크로 컴퓨터(12051)는, 차외 정보 검출 유닛(12030) 또는 차내 정보 검출 유닛(12040)으로 취득되는 차량의 주위의 정보에 기초하여 구동력 발생 장치, 스티어링 기구 또는 제동 장치 등을 제어함으로써, 운전자의 조작에 의하지 않고 자율적으로 주행하는 자동 운전 등을 목적으로 한 협조 제어를 행할 수 있다.
또한, 마이크로 컴퓨터(12051)는, 차외 정보 검출 유닛(12030)으로 취득되는 차외의 정보에 기초하여, 보디계 제어 유닛(12020)에 대해서 제어 지령을 출력할 수 있다. 예를 들면, 마이크로 컴퓨터(12051)는, 차외 정보 검출 유닛(12030)으로 검지한 선행차 또는 대향차의 위치에 따라 헤드 램프를 제어하여, 하이 빔을 로우 빔으로 절환하는 등의 눈부심 방지(防眩)를 도모하는 것을 목적으로 한 협조 제어를 행할 수 있다.
음성 화상 출력부(12052)는, 차량의 탑승자 또는 차외에 대해서, 시각적 또는 청각적으로 정보를 통지하는 것이 가능한 출력장치에 음성 및 화상 중 적어도 일방의 출력 신호를 송신한다. 도 27의 예에서는, 출력장치로서, 오디오 스피커(12061), 표시부(12062) 및 인스트루멘트 패널(12063)이 예시되고 있다. 표시부(12062)는, 예를 들면, 온 보드 디스플레이 및 헤드 업 디스플레이의 적어도 하나를 포함하고 있어도 된다.
도 28은, 촬상부(12031)의 설치 위치의 예를 나타내는 도면이다.
도 28에서는, 차량(12100)은, 촬상부(12031)로서, 촬상부(12101, 12102, 12103, 12104, 12105)를 갖는다.
촬상부(12101, 12102, 12103, 12104, 12105)는, 예를 들면, 차량(12100)의 프런트노즈, 사이드 미러, 리어범퍼, 백 도어 및 차실내의 프런트 글래스의 상부 등의 위치에 설치된다. 프런트노즈에 갖춰질 수 있는 촬상부(12101) 및 차실내의 프런트 글래스의 상부에 갖춰질 수 있는 촬상부(12105)는, 주로 차량(12100)의 전방의 화상을 취득한다. 사이드 미러에 갖춰질 수 있는 촬상부(12102, 12103)는, 주로 차량(12100)의 측방의 화상을 취득한다. 리어범퍼 또는 백 도어에 갖춰질 수 있는 촬상부(12104)는, 주로 차량(12100)의 후방의 화상을 취득한다. 촬상부(12105)로 취득되는 전방의 화상은, 주로 선행 차량 또는, 보행자, 장애물, 신호기, 교통 표지 또는 차선 등의 검출에 이용된다.
또한, 도 28에는, 촬상부(12101 내지 12104)의 촬영 범위의 일례가 나타나고 있다. 촬상 범위(12111)는, 프런트노즈에 설치된 촬상부(12101)의 촬상 범위를 나타내고, 촬상 범위(12112, 12113)는, 각각 사이드 미러에 설치된 촬상부(12102, 12103)의 촬상 범위를 나타내며, 촬상 범위(12114)는, 리어범퍼 또는 백 도어에 설치된 촬상부(12104)의 촬상 범위를 나타낸다. 예를 들면, 촬상부(12101 내지 12104)로 촬상된 화상 데이터가 중합됨으로써, 차량(12100)을 상방으로부터 본 부감 화상을 얻을 수 있다.
촬상부(12101 내지 12104)의 적어도 하나는, 거리 정보를 취득하는 기능을 갖고 있어도 된다. 예를 들면, 촬상부(12101 내지 12104)의 적어도 하나는, 복수의 촬상 소자로 이루어지는 스테레오 카메라여도 되고, 위상차 검출용의 화소를 갖는 촬상 소자여도 된다.
예를 들면, 마이크로 컴퓨터(12051)는, 촬상부(12101 내지 12104)로부터 얻어지는 거리 정보를 기초로, 촬상 범위(12111 내지 12114)내에 있어서의 각 입체물까지의 거리와, 이 거리의 시간적 변화(차량(12100)에 대한 상대속도)를 구함으로써, 특히 차량(12100)의 진행 노상에 있는 가장 가까운 입체물로, 차량(12100)과 대략 같은 방향으로 소정의 속도(예를 들면, 0 km/h 이상)로 주행하는 입체물을 선행차로서 추출할 수 있다. 또한, 마이크로 컴퓨터(12051)는, 선행차의 앞에 미리 확보해야 하는 차간거리를 설정하여, 자동 브레이크 제어(추종 정지 제어도 포함한다)나 자동 가속 제어(추종 발진 제어도 포함한다) 등을 행할 수 있다. 이와 같이 운전자의 조작에 의하지 않고 자율적으로 주행하는 자동 운전 등을 목적으로 한 협조 제어를 행할 수 있다.
예를 들면, 마이크로 컴퓨터(12051)는, 촬상부(12101 내지 12104)로부터 얻어지는 거리 정보를 바탕으로, 입체물에 관한 입체물 데이터를, 2 윤차, 보통 차량, 대형차량, 보행자, 전주 등 그 외의 입체물로 분류하여 추출하고, 장애물의 자동 회피에 이용할 수 있다. 예를 들면, 마이크로 컴퓨터(12051)는, 차량(12100)의 주변의 장애물을, 차량(12100)의 드라이버가 시인 가능한 장애물과 시인 곤란한 장애물로 식별한다. 그리고, 마이크로 컴퓨터(12051)는, 각 장애물과의 충돌의 위험도를 나타내는 충돌 리스크를 판단하여, 충돌 리스크가 설정치 이상으로 충돌 가능성이 있는 상황일 때는, 오디오 스피커(12061)나 표시부(12062)를 거쳐서 드라이버에 경보를 출력하거나, 구동계 제어 유닛(12010)을 거쳐서 강제 감속이나 회피 조타를 행함으로써, 충돌 회피를 위한 운전 지원을 행할 수 있다.
촬상부(12101 내지 12104)의 적어도 하나는, 적외선을 검출하는 적외선 카메라여도 된다. 예를 들면, 마이크로 컴퓨터(12051)는, 촬상부(12101 내지 12104)의 촬상 화상 중에 보행자가 존재하는지 아닌지를 판정함으로써 보행자를 인식할 수 있다. 이러한 보행자의 인식은, 예를 들면, 적외선 카메라로서의 촬상부(12101 내지 12104)의 촬상 화상에 있어서의 특징점을 추출하는 순서와, 물체의 윤곽을 나타내는 일련의 특징점에 패턴 매칭 처리를 행하여 보행자인지 아닌지를 판별하는 순서에 의해 행해진다. 마이크로 컴퓨터(12051)가, 촬상부(12101 내지 12104)의 촬상 화상 중에 보행자가 존재한다고 판정하고, 보행자를 인식하면, 음성 화상 출력부(12052)는, 당해 인식된 보행자에 강조를 위한 방형 윤곽선을 중첩 표시하도록, 표시부(12062)를 제어한다. 또한, 음성 화상 출력부(12052)는, 보행자를 나타내는 아이콘 등을 소망한 위치에 표시하도록 표시부(12062)를 제어해도 된다.
이상, 본 개시와 관련되는 기술이 적용될 수 있는 차량 제어 시스템의 일례에 대해 설명했다. 본 개시와 관련되는 기술은, 이상 설명한 구성 중, 차내 정보 검출 유닛(12040)에 적용될 수 있다. 구체적으로는, 측거 모듈(11)에 의한 측거를 이용함으로써, 보다 정확하게 운전자 상태를 검출할 수 있다. 또한, 측거 모듈(11)에 의한 측거를 이용하여, 운전자의 제스처를 인식하는 처리를 행하여, 그 제스처에 따른 각종의 조작을 실행하도록 해도 된다.
＜구성의 조합예＞
또한, 본 기술은 이하와 같은 구성도 취할 수 있다.
(1)
제1 위상 내지 제4 위상의 조사광을 물체에 조사하고, 상기 물체에 의해 반사된 반사광을 수광함으로써 발생하는 전하가, 상기 물체까지의 거리에 따라 제1 탭과 제2 탭에 배분되어, 상기 제1 위상 내지 제4 위상의 조사광에 대해서 2개씩 검출되는 상기 8개의 검출 신호를 모두 이용하여, 상기 물체까지의 거리를 나타내는 뎁스를 구하는 연산을 행하는 4 위상 측거 연산부와,
상기 8개의 검출 신호 중, 제1 위상의 조사광과 제2 위상의 조사광에 기초하는 4개의 상기 검출 신호와 제3 위상의 조사광과 제4 위상의 조사광에 기초하는 4개의 상기 검출 신호를 교대로 이용하여, 상기 물체까지의 거리를 나타내는 뎁스를 구하는 연산을 행하는 2 위상 측거 연산부와,
상기 검출 신호에 기초한 조건 판단을 행하고, 상기 4 위상 측거 연산부 및 상기 제2 측거 연산부를 절환하여 이용하는 조건 판단부를 구비하는, 측거 처리 장치.
(2)
(1)에 있어서,
제1 위상의 조사광의 상기 반사광이 수광되는 제1 검출 기간에 있어서, 상기 제1 탭과 상기 제2 탭에 교대로 전하가 복수 배분되고, 상기 제1 탭에 배분되어 축적한 전하에 따른 제1 검출 신호와, 상기 제2 탭에 배분되어 축적한 전하에 따른 제2 검출 신호가 검출되고,
제2 위상의 조사광의 상기 반사광이 수광되는 제2 검출 기간에 있어서, 상기 제1의 탭과 상기 제2 탭에 교대로 전하가 복수 배분되고, 상기 제1의 탭에 배분되어 축적한 전하에 따른 제3 검출 신호와, 상기 제2 탭에 배분되어 축적한 전하에 따른 제4 검출 신호가 검출되고,
제3 위상의 조사광의 상기 반사광이 수광되는 제3 검출 기간에 있어서, 상기 제1 탭과 상기 제2 탭에 교대로 전하가 복수 배분되고, 상기 제1 탭에 배분되어 축적한 전하에 따른 제5 검출 신호와, 상기 제2 탭에 배분되어 축적한 전하에 따른 제6 검출 신호가 검출되고,
제4 위상의 조사광의 상기 반사광이 수광되는 제4 검출 기간에 있어서, 상기 제1 탭과 상기 제2 탭에 교대로 전하가 복수 배분되고, 상기 제1 탭에 배분되어 축적한 전하에 따른 제7 검출 신호와, 상기 제2 탭에 배분되어 축적한 전하에 따른 제8 검출 신호가 검출되는, 측거 처리 장치.
(3)
(2)에 있어서,
상기 4 위상 측거 연산부는,
상기 제1 검출 신호와 상기 제2 검출 신호의 차분, 상기 제3 검출 신호와 상기 제4 검출 신호의 차분, 상기 제5 검출 신호와 상기 제6 검출 신호와의 차분 및 상기 제7 검출 신호와 상기 제8 검출 신호의 차분을 이용하여, 상기 제1 탭과 상기 제2 탭의 특성의 편차에 의한 영향을 캔슬시켜 상기 뎁스를 구하는, 측거 처리 장치.
(4)
(3)에 있어서,
상기 2 위상 측거 연산부는,
상기 제1 내지 제4 검출 신호를 이용하여 상기 제1 탭과 상기 제2 탭의 특성의 편차를 보정하는 보정 파라미터를 산출하여, 상기 제1 내지 제4 검출 신호와 상기 보정 파라미터에 기초하여 상기 뎁스를 구하는 것과,
상기 제5 내지 제8의 검출 신호를 이용하여 상기 제1의 탭과 상기 제2 탭의 특성의 편차를 보정하는 보정 파라미터를 산출하여, 상기 제5 내지 제8의 검출 신호와 상기 보정 파라미터에 기초하여 상기 뎁스를 구하는 것을 교대로 행하는, 측거 처리 장치.
(5)
(1) 내지 (4) 중 어느 하나에 있어서,
상기 4 위상 측거 연산부 또는 상기 2 위상 측거 연산부에 의해 구해진 상기 뎁스를 저장하는 측거 결과 저장부와, 상기 측거 결과 저장부에 저장된 하나의 프레임 전의 상기 뎁스와 현재의 프레임의 상기 뎁스를 합성하여 출력하는 결과 합성부를 더 갖추는, 측거 처리 장치.
(6)
(5)에 있어서,
상기 4 위상 측거 연산부 및 상기 2 위상 측거 연산부는, 상기 뎁스와 함께 상기 뎁스에 대한 신뢰도를 구하고,
상기 측거 결과 저장부에는, 상기 뎁스와 함께 상기 신뢰도가 저장되고,
상기 결과 합성부는, 상기 신뢰도에 따른 가중치 가산을 행함으로써, 하나의 프레임 전의 상기 뎁스와, 현재의 프레임의 상기 뎁스를 합성하는, 측거 처리 장치.
(7)
(5) 또는 (6)에 있어서,
상기 결과 합성부는, 상기 4 위상 측거 연산부에 의해 8개의 상기 검출 신호를 모두 이용하여 구할 수 있는 하나의 프레임 전의 상기 뎁스와, 상기 4 위상 측거 연산부에 의해 8개의 상기 검출 신호를 모두 이용하여 구할 수 있는 현재의 프레임의 상기 뎁스를 합성하는, 측거 처리 장치.
(8)
(5) 또는 (6)에 있어서,
상기 결과 합성부는, 상기 2 위상 측거 연산부에 의해 상기 제1 위상의 조사광과 제2 위상의 조사광에 기초하는 4개의 상기 검출 신호를 이용하여 구할 수 있는 뎁스와, 상기 2 위상 측거 연산부에 의해 상기 제3 위상의 조사광과 제4 위상의 조사광에 기초하는 4개의 상기 검출 신호를 이용하여 구할 수 있는 뎁스의, 일방을 하나의 프레임 전으로, 타방을 현재의 프레임으로서, 상기 뎁스의 합성을 행하는, 측거 처리 장치.
(9)
(1) 내지 (8) 중 어느 하나에 있어서,
상기 조건 판단부는, 상기 반사광을 수광하는 수광부의 화소마다 조건 판단을 행하고, 상기 4 위상 측거 연산부 및 상기 2 위상 측거 연산부에 의해 상기 뎁스를 구하는 연산을 상기 화소마다 절환하는, 측거 처리 장치.
(10)
(2) 내지 (9) 중 어느 하나에 있어서,
상기 조건 판단부는, 상기 제1 위상의 조사광 및 상기 제2 위상 조사광에 기초하는 4개의 상기 검출 신호와, 상기 제3 위상의 조사광 및 상기 제4 위상의 조사광에 기초하는 4개의 상기 검출 신호를 비교함으로써 검지되는 상기 물체의 움직임에 기초하여 상기 조건 판단을 행하고,
상기 물체에 움직임이 있는 것이 검지되었을 경우에는, 상기 2 위상 측거 연산부에 의해 상기 뎁스를 구하는 연산을 행하고,
상기 물체에 움직임이 없는 것이 검지되었을 경우에는, 상기 4 위상 측거 연산부에 의해 상기 뎁스를 구하는 연산을 행하는, 측거 처리 장치.
(11)
(2) 내지 (9) 중 어느 하나에 있어서,
상기 조건 판단부는,
상기 제1 위상의 조사광 및 상기 제2 위상의 조사광에 기초하는 4개의 상기 검출 신호로부터 구해지는 밝기와,
상기 제3의 위상의 조사광 및 상기 제4의 위상의 조사광에 기초하는 4개의 상기 검출 신호로부터 구해지는 밝기에 기초하여 상기 조건 판단을 행하고,
상기 밝기에 따라, 상기 4 위상 측거 연산부 및 상기 2 위상 측거 연산부를 절환하는, 측거 처리 장치.
(12)
(2) 내지 (9) 중 어느 하나에 있어서,
상기 4 위상 측거 연산부 및 상기 2 위상 측거 연산부는, 상기 뎁스와 함께 상기 뎁스에 대한 신뢰도를 구하고,
상기 조건 판단부는, 하나의 프레임 전에 구해진 상기 신뢰도에 기초하여 상기 조건 판단을 행하고, 상기 신뢰도에 따라, 상기 4 위상 측거 연산부 및 상기 2 위상 측거 연산부를 절환하는, 측거 처리 장치.
(13)
(2) 내지 (12) 중 어느 하나에 있어서,
상기 제1 검출 기간, 상기 제2 검출 기간, 상기 제3 검출 기간, 상기 제4 검출 기간이 대략 등간격으로 설정되는, 측거 처리 장치.
(14)
제1 위상 내지 제4 위상의 조사광을 물체에 조사하는 발광부와,
상기 물체에 의해 반사된 반사광을 수광함으로써 발생하는 전하가, 상기 물체까지의 거리에 따라 제1 탭과 제2 탭에 배분되어, 상기 제1 위상 내지 제4 위상의 조사광에 대해서 2개씩 검출되는 상기 8개의 검출 신호를 출력하는 수광부와,
상기 8개의 검출 신호를 모두 이용하여, 상기 물체까지의 거리를 나타내는 뎁스를 구하는 연산을 행하는 4 위상 측거 연산부와,
상기 8개의 상기 검출 신호 중, 제1 위상의 조사광과 제2 위상의 조사광에 기초하는 4개의 상기 검출 신호와 제3 위상의 조사광과 제4 위상의 조사광에 기초하는 4개의 상기 검출 신호를 교대로 이용하여, 상기 물체까지의 거리를 나타내는 뎁스를 구하는 연산을 행하는 2 위상 측거 연산부와,
상기 검출 신호에 기초한 조건 판단을 행하고, 상기 4 위상 측거 연산부 및 상기 2 위상 측거 연산부를 절환하여 이용하는 조건 판단부를 구비하는, 측거 모듈.
(15)
측거 처리를 행하는 측거 처리 장치에 의해 수행되는 측거 처리 방법으로서,
제1 위상 내지 제4 위상의 조사광을 물체에 조사하고, 상기 물체에 의해 반사된 반사광을 수광함으로써 발생하는 전하가, 상기 물체까지의 거리에 따라 제1 탭과 제2 탭에 배분되어, 상기 제1 위상 내지 제4 위상의 조사광에 대해서 2개씩 검출되는 상기 8개의 검출 신호를 모두 이용하여, 상기 물체까지의 거리를 나타내는 뎁스를 구하는 연산을 행하는 4 위상 측거 연산 처리를 행하는 단계와,
상기 8개의 검출 신호 중, 제1 위상의 조사광과 제2 위상의 조사광에 기초하는 4개의 상기 검출 신호와 제3 위상의 조사광과 제4 위상의 조사광에 기초하는 상기 4개의 상기 검출 신호를 교대로 이용하여, 상기 물체까지의 거리를 나타내는 뎁스를 구하는 연산을 행하는 2 위상 측거 연산 처리를 행하는 단계와,
상기 검출 신호에 기초한 조건 판단을 행하고, 상기 4 위상 측거 연산 처리 및 상기 2 위상 측거 연산 처리를 절환하여 이용하는 단계를 포함하는, 측거 처리 방법.
(16)
측거 처리를 행하는 측거 처리 장치의 컴퓨터에 측거 처리를 실행시키기 위한 프로그램으로서,
상기 측거 처리는,
제1 위상 내지 제4 위상의 조사광을 물체에 조사하고, 상기 물체에 의해 반사된 반사광을 수광함으로써 발생하는 전하가, 상기 물체까지의 거리에 따라 제1 탭과 제2 탭에 배분되어, 상기 제1 위상 내지 제4 위상의 조사광에 대해서 2개씩 검출되는 상기 8개의 검출 신호를 모두 이용하여, 상기 물체까지의 거리를 나타내는 뎁스를 구하는 연산을 행하는 4 위상 측거 연산 처리를 행하는 단계와,
상기 8개의 상기 검출 신호 중, 제1 위상의 조사광과 제2 위상의 조사광에 기초하는 4개의 상기 검출 신호와 제3 위상의 조사광과 제4 위상의 조사광에 기초하는 4개의 상기 검출 신호를 교대로 이용하여, 상기 물체까지의 거리를 나타내는 뎁스를 구하는 연산을 행하는 2 위상 측거 연산 처리를 행하는 단계와,
상기 검출 신호에 기초한 조건 판단을 행하고, 상기 4 위상 측거 연산 처리 및 상기 2 위상 측거 연산 처리를 절환하여 이용하는 단계를 포함하는, 측거 처리를 실행시키기 위한 프로그램.
또한, 본 실시형태는, 상술한 실시형태로 한정되는 것은 아니고, 본 개시의 요지를 일탈하지 않는 범위에 있어서 다양한 변경이 가능하다. 또한, 본 명세서에 기재된 효과는 어디까지나 예시이며 한정되는 것은 아니고, 다른 효과가 있어도 된다.
11: 측거 모듈
12: 발광부
13: 발광 제어부
14: 수광부
15: 측거 연산 처리부
21: 화소 회로
22: 화소 어레이부
23: 구동 제어 회로
31: 포토 다이오드
32A 및 32B: 탭
33A 및 33B: 신호선
41A 및 41B: 전송 트랜지스터
42A 및 42B: FD부
43A 및 43B: 선택 트랜지스터
44A 및 44B: 리셋 트랜지스터
51: 보정 파라미터 산출부
52: 측거부
61: 편차 보정 파라미터 계산부
62: 편차 보정 파라미터 저장부
71: 보정 연산부
72: 측거 연산부
73: 측거 결과 저장부
74: 결과 합성부
81: 검출 신호 저장부
82: 움직임 검지부
83: 4 위상 측거 연산부
84: 2 위상 측거 연산부
85: 측거 결과 저장부
86: 결과 합성부

Claims (16)

  1. 측거 처리 장치로서,
    제1 위상 내지 제4 위상의 조사광을 물체에 조사하여, 상기 물체에 의해 반사된 반사광을 수광함으로써 발생하는 전하가, 상기 물체까지의 거리에 따라 제1 탭과 제2 탭에 배분되었을 때, 상기 제1 위상 내지 제4 위상의 조사광 각각에 대해서 2개씩 검출되는 8개의 검출 신호를 모두 사용하여, 상기 물체까지의 거리를 나타내는 뎁스(depth)를 구하는 연산을 행하도록 구성된 4 위상 측거 연산부와,
    상기 8개의 검출 신호 중, 상기 제1 위상의 조사광과 상기 제2 위상의 조사광에 기초하는 4개의 검출 신호와 상기 제3 위상의 조사광과 상기 제4 위상의 조사광에 기초하는 4개의 검출 신호를 교대로 사용하여, 상기 물체까지의 거리를 나타내는 뎁스를 구하는 연산을 행하도록 구성된 2 위상 측거 연산부와,
    상기 검출 신호에 기초한 조건 판단을 행하고, 상기 4 위상 측거 연산부 및 상기 2 위상 측거 연산부 간을 절환하여 사용하도록 구성된 조건 판단부
    를 구비하는, 측거 처리 장치.
  2. 제1항에 있어서,
    상기 제1 위상의 상기 조사광으로부터 생성된 상기 반사광이 수광되는 제1 검출 기간에 있어서, 상기 제1 탭과 상기 제2 탭에 교대로 전하가 복수 배분되고, 상기 제1 탭에 배분되어 축적된 전하에 따른 제1 검출 신호와, 상기 제2 탭에 배분되어 축적된 전하에 따른 제2 검출 신호가 검출되고,
    상기 제2 위상의 상기 조사광으로부터 생성된 상기 반사광이 수광되는 제2 검출 기간에 있어서, 상기 제1 탭과 상기 제2 탭에 교대로 전하가 복수 배분되고, 상기 제1 탭에 배분되어 축적된 전하에 따른 제3 검출 신호와, 상기 제2 탭에 배분되어 축적된 전하에 따른 제4 검출 신호가 검출되고,
    상기 제3 위상의 상기 조사광으로부터 생성된 상기 반사광이 수광되는 제3 검출 기간에 있어서, 상기 제1 탭과 상기 제2 탭에 교대로 전하가 복수 배분되고, 상기 제1 탭에 배분되어 축적된 전하에 따른 제5 검출 신호와, 상기 제2 탭에 배분되어 축적된 전하에 따른 제6 검출 신호가 검출되고,
    상기 제4 위상의 상기 조사광으로부터 생성된 상기 반사광이 수광되는 제4 검출 기간에 있어서, 상기 제1 탭과 상기 제2 탭에 교대로 전하가 복수 배분되고, 상기 제1 탭에 배분되어 축적된 전하에 따른 제7 검출 신호와, 상기 제2 탭에 배분되어 축적된 전하에 따른 제8 검출 신호가 검출되도록 구성되는, 측거 처리 장치.
  3. 제2항에 있어서,
    상기 4 위상 측거 연산부는,
    상기 제1 검출 신호와 상기 제2 검출 신호의 차분, 상기 제3 검출 신호와 상기 제4 검출 신호의 차분, 상기 제5 검출 신호와 상기 제6 검출 신호의 차분, 및 상기 제7 검출 신호와 상기 제8 검출 신호의 차분을 사용함으로써, 상기 제1 탭과 상기 제2 탭의 특성의 편차에 의한 영향을 캔슬시켜 상기 뎁스를 구하도록 구성된, 측거 처리 장치.
  4. 제2항에 있어서,
    상기 2 위상 측거 연산부는,
    상기 제1 내지 제4 검출 신호를 사용하여 상기 제1 탭과 상기 제2 탭 간의 특성의 편차를 보정하는 보정 파라미터를 산출하고, 상기 제1 내지 제4 검출 신호와 상기 보정 파라미터에 기초하여 상기 뎁스를 구하는 것과,
    상기 제5 내지 제8 검출 신호를 사용하여 상기 제1 탭과 상기 제2 탭 간의 특성의 편차를 보정하는 보정 파라미터를 산출하고, 상기 제5 내지 제8 검출 신호와 상기 보정 파라미터에 기초하여 상기 뎁스를 구하는 것을 교대로 행하도록 구성된, 측거 처리 장치.
  5. 제1항에 있어서,
    상기 4 위상 측거 연산부와 상기 2 위상 측거 연산부 중 하나에 의해 구해진 상기 뎁스를 저장하는 측거 결과 저장부와,
    상기 측거 결과 저장부에 저장된 이전 프레임의 상기 뎁스와 현재의 프레임의 상기 뎁스를 합성하여 출력하는 결과 합성부를 더 포함하는, 측거 처리 장치.
  6. 제5항에 있어서,
    상기 4 위상 측거 연산부 및 상기 2 위상 측거 연산부는, 상기 뎁스와 함께 상기 뎁스에 대한 신뢰도를 구하도록 구성되고,
    상기 측거 결과 저장부에는, 상기 뎁스와 함께 상기 신뢰도가 저장되도록 구성되며,
    상기 결과 합성부는, 상기 신뢰도에 따른 가중치 가산을 행함으로써, 이전 프레임의 상기 뎁스와, 현재의 프레임의 상기 뎁스를 합성하도록 구성되는, 측거 처리 장치.
  7. 제5항에 있어서,
    상기 결과 합성부는, 상기 4 위상 측거 연산부에 의해 8개의 상기 검출 신호를 모두 이용하여 구해진 이전 프레임의 상기 뎁스와, 상기 4 위상 측거 연산부에 의해 8개의 상기 검출 신호를 모두 이용하여 구해진 현재의 프레임의 상기 뎁스를 합성하도록 구성되는, 측거 처리 장치.
  8. 제5항에 있어서,
    상기 결과 합성부는, 상기 제1 위상의 조사광과 상기 제2 위상의 조사광에 기초한 상기 4개의 검출 신호를 사용하여 상기 2 위상 측거 연산부에 의해 구해진 뎁스와, 상기 제3 위상의 조사광과 상기 제4 위상의 조사광에 기초한 상기 4개의 검출 신호를 사용하여 상기 2 위상 측거 연산부에 의해 구해진 뎁스 중, 일방을 이전 프레임의 상기 뎁스로 하고, 타방을 현재의 프레임의 상기 뎁스로 하여, 이들의 합성을 행하도록 구성되는, 측거 처리 장치.
  9. 제1항에 있어서,
    상기 조건 판단부는, 상기 반사광을 수광하는 수광부의 화소마다 조건 판단을 행하고, 상기 4 위상 측거 연산부 및 상기 2 위상 측거 연산부에 의해 상기 뎁스를 구하는 연산을 상기 화소마다 절환하도록 구성되는, 측거 처리 장치.
  10. 제1항에 있어서,
    상기 조건 판단부는, 상기 제1 위상의 조사광 및 상기 제2 위상의 조사광에 기초하는 상기 4개의 검출 신호와, 상기 제3 위상의 조사광 및 상기 제4 위상의 조사광에 기초하는 상기 4개의 검출 신호를 비교함으로써 검지되는 상기 물체의 움직임에 기초하여 상기 조건 판단을 행하고,
    상기 물체에 움직임이 있는 것이 검지되었을 경우에는, 상기 2 위상 측거 연산부에 의해 상기 뎁스를 구하는 연산을 행하고,
    상기 물체에 움직임이 없는 것이 검지되었을 경우에는, 상기 4 위상 측거 연산부에 의해 상기 뎁스를 구하는 연산을 행하도록 구성되는, 측거 처리 장치.
  11. 제1항에 있어서,
    상기 조건 판단부는,
    상기 제1 위상의 조사광 및 상기 제2 위상의 조사광에 기초하는 상기 4개의 검출 신호로부터 구해지는 밝기와,
    상기 제3 위상의 조사광 및 상기 제4 위상의 조사광에 기초하는 상기 4개의 검출 신호로부터 구해지는 밝기에 기초하여 상기 조건 판단을 행하고,
    상기 밝기에 따라, 상기 4 위상 측거 연산부 및 상기 2 위상 측거 연산부 간을 절환하도록 구성되는, 측거 처리 장치.
  12. 제1항에 있어서,
    상기 4 위상 측거 연산부 및 상기 2 위상 측거 연산부는, 상기 뎁스와 함께 상기 뎁스에 대한 신뢰도를 구하도록 구성되고,
    상기 조건 판단부는, 이전 프레임에서 구해진 상기 신뢰도에 기초하여 상기 조건 판단을 행하고, 상기 신뢰도에 따라, 상기 4 위상 측거 연산부 및 상기 2 위상 측거 연산부 간을 절환하도록 구성되는, 측거 처리 장치.
  13. 제2항에 있어서,
    상기 제1 검출 기간, 상기 제2 검출 기간, 상기 제3 검출 기간, 상기 제4 검출 기간이 실질적으로 등간격으로 설정되는, 측거 처리 장치.
  14. 측거 모듈로서,
    제1 위상 내지 제4 위상의 조사광을 물체에 조사하도록 구성된 발광부와,
    상기 물체에 의해 반사된 반사광을 수광함으로써 발생하는 전하가, 상기 물체까지의 거리에 따라 제1 탭과 제2 탭에 배분되었을 때, 상기 제1 위상 내지 제4 위상의 조사광 각각에 대해서 2개씩 검출된 8개의 검출 신호를 출력하도록 구성된 수광부와,
    상기 8개의 검출 신호를 모두 사용하여, 상기 물체까지의 거리를 나타내는 뎁스를 구하는 연산을 행하도록 구성된 4 위상 측거 연산부와,
    상기 8개의 검출 신호 중, 상기 제1 위상의 조사광과 상기 제2 위상의 조사광에 기초하는 4개의 검출 신호와 상기 제3 위상의 조사광과 상기 제4 위상의 조사광에 기초하는 4개의 검출 신호를 교대로 사용하여, 상기 물체까지의 거리를 나타내는 뎁스를 구하는 연산을 행하도록 구성된 2 위상 측거 연산부와,
    상기 검출 신호에 기초한 조건 판단을 행하고, 상기 4 위상 측거 연산부 및 상기 2 위상 측거 연산부 간을 절환하도록 구성된 조건 판단부
    를 포함하는, 측거 모듈.
  15. 측거 처리 방법으로서,
    제1 위상 내지 제4 위상의 조사광을 물체에 조사하고, 상기 물체에 의해 반사된 반사광을 수광함으로써 발생하는 전하가, 상기 물체까지의 거리에 따라 제1 탭과 제2 탭에 배분되었을 때, 상기 제1 위상 내지 제4 위상의 조사광 각각에 대해서 2개씩 검출된 8개의 검출 신호를 모두 사용하여, 상기 물체까지의 거리를 나타내는 뎁스를 구하는 연산을 행하는 4 위상 측거 연산 처리를 행하는 단계와,
    상기 8개의 검출 신호 중, 상기 제1 위상의 조사광과 상기 제2 위상의 조사광에 기초하는 4개의 검출 신호와 상기 제3 위상의 조사광과 상기 제4 위상의 조사광에 기초하는 4개의 검출 신호를 교대로 사용하여, 상기 물체까지의 거리를 나타내는 뎁스를 구하는 연산을 행하는 2 위상 측거 연산 처리를 행하는 단계와,
    상기 검출 신호에 기초한 조건 판단을 행하고, 상기 4 위상 측거 연산 처리 및 상기 2 위상 측거 연산 처리 간을 절환하여 사용하는 단계
    를 포함하는, 측거 처리 방법.
  16. 측거 처리를 행하는 측거 처리 장치의 컴퓨터에 측거 처리를 실행시키기 위한 프로그램으로서,
    상기 측거 처리는,
    제1 위상 내지 제4 위상의 조사광을 물체에 조사하여, 상기 물체에 의해 반사된 반사광을 수광함으로써 발생하는 전하가, 상기 물체까지의 거리에 따라 제1 탭과 제2 탭에 배분되었을 때, 상기 제1 위상 내지 제4 위상의 조사광 각각에 대해서 2개씩 검출된 8개의 검출 신호를 모두 사용하여, 상기 물체까지의 거리를 나타내는 뎁스를 구하는 연산을 행하는 4 위상 측거 연산 처리를 행하는 단계와,
    상기 8개의 검출 신호 중, 상기 제1 위상의 조사광과 상기 제2 위상의 조사광에 기초하는 4개의 검출 신호와 상기 제3 위상의 조사광과 상기 제4 위상의 조사광에 기초하는 4개의 검출 신호를 교대로 사용하여, 상기 물체까지의 거리를 나타내는 뎁스를 구하는 연산을 행하는 2 위상 측거 연산 처리를 행하는 단계와,
    상기 검출 신호에 기초한 조건 판단을 행하고, 상기 4 위상 측거 연산 처리 및 상기 2 위상 측거 연산 처리 간을 절환하여 사용하는 단계
    를 포함하는, 측거 처리를 실행시키기 위한 프로그램.
KR1020190040503A 2018-04-27 2019-04-07 측거 처리 장치, 측거 모듈, 측거 처리 방법 및 프로그램 KR20190125171A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2018-087513 2018-04-27
JP2018087513A JP7030607B2 (ja) 2018-04-27 2018-04-27 測距処理装置、測距モジュール、測距処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
KR20190125171A true KR20190125171A (ko) 2019-11-06

Family

ID=66239947

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190040503A KR20190125171A (ko) 2018-04-27 2019-04-07 측거 처리 장치, 측거 모듈, 측거 처리 방법 및 프로그램

Country Status (6)

Country Link
US (1) US11561303B2 (ko)
EP (1) EP3561544A1 (ko)
JP (1) JP7030607B2 (ko)
KR (1) KR20190125171A (ko)
CN (1) CN110412598A (ko)
TW (1) TWI798408B (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11561085B2 (en) 2019-06-05 2023-01-24 Qualcomm Incorporated Resolving multipath interference using a mixed active depth system
WO2021177045A1 (ja) * 2020-03-04 2021-09-10 ソニーグループ株式会社 信号処理装置、信号処理方法、および、測距モジュール
US11563873B2 (en) * 2020-04-14 2023-01-24 Qualcomm Incorporated Wide-angle 3D sensing

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1668384B1 (en) * 2004-09-17 2008-04-16 Matsushita Electric Works, Ltd. A range image sensor
JP2008209298A (ja) * 2007-02-27 2008-09-11 Fujifilm Corp 測距装置及び測距方法
KR101710514B1 (ko) 2010-09-03 2017-02-27 삼성전자주식회사 깊이 센서 및 이를 이용한 거리 추정 방법
EP2477043A1 (en) * 2011-01-12 2012-07-18 Sony Corporation 3D time-of-flight camera and method
DE102011081567B4 (de) * 2011-08-25 2023-08-31 pmdtechnologies ag Empfänger für einen optischen Entfernungsmesser
KR102194233B1 (ko) 2014-05-19 2020-12-22 삼성전자주식회사 깊이 영상 생성 장치 및 방법
JP6507529B2 (ja) 2014-08-29 2019-05-08 株式会社デンソー 光飛行型測距装置
US10061029B2 (en) * 2015-01-06 2018-08-28 Samsung Electronics Co., Ltd. Correction of depth images from T-O-F 3D camera with electronic-rolling-shutter for light modulation changes taking place during light integration
JP6558122B2 (ja) 2015-07-30 2019-08-14 株式会社デンソー 光飛行型測距装置
EP3185037B1 (en) * 2015-12-23 2020-07-08 STMicroelectronics (Research & Development) Limited Depth imaging system
JP2017150893A (ja) 2016-02-23 2017-08-31 ソニー株式会社 測距モジュール、測距システム、および、測距モジュールの制御方法
JP7214363B2 (ja) 2018-04-27 2023-01-30 ソニーセミコンダクタソリューションズ株式会社 測距処理装置、測距モジュール、測距処理方法、およびプログラム

Also Published As

Publication number Publication date
US20200025924A1 (en) 2020-01-23
CN110412598A (zh) 2019-11-05
US11561303B2 (en) 2023-01-24
JP2019191119A (ja) 2019-10-31
TW201945758A (zh) 2019-12-01
JP7030607B2 (ja) 2022-03-07
TWI798408B (zh) 2023-04-11
EP3561544A1 (en) 2019-10-30

Similar Documents

Publication Publication Date Title
JP7214363B2 (ja) 測距処理装置、測距モジュール、測距処理方法、およびプログラム
WO2020241294A1 (ja) 信号処理装置、信号処理方法、および、測距モジュール
US10771711B2 (en) Imaging apparatus and imaging method for control of exposure amounts of images to calculate a characteristic amount of a subject
KR20190125171A (ko) 측거 처리 장치, 측거 모듈, 측거 처리 방법 및 프로그램
JP7305535B2 (ja) 測距装置、及び、測距方法
WO2021177045A1 (ja) 信号処理装置、信号処理方法、および、測距モジュール
WO2021065494A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
WO2020209079A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
US20220381917A1 (en) Lighting device, method for controlling lighting device, and distance measurement module
US20220113410A1 (en) Distance measuring device, distance measuring method, and program
WO2021065495A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
WO2021065500A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
WO2020203331A1 (ja) 信号処理装置、信号処理方法、および、測距モジュール
WO2022004441A1 (ja) 測距装置および測距方法
US20220413144A1 (en) Signal processing device, signal processing method, and distance measurement device
US20240168159A1 (en) Distance measuring device, distance measuring system, and distance measuring method
JP2023009480A (ja) 測距装置及び測距方法

Legal Events

Date Code Title Description
A201 Request for examination