JP7022057B2 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP7022057B2
JP7022057B2 JP2018513025A JP2018513025A JP7022057B2 JP 7022057 B2 JP7022057 B2 JP 7022057B2 JP 2018513025 A JP2018513025 A JP 2018513025A JP 2018513025 A JP2018513025 A JP 2018513025A JP 7022057 B2 JP7022057 B2 JP 7022057B2
Authority
JP
Japan
Prior art keywords
camera
flight time
light
ranging camera
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018513025A
Other languages
English (en)
Other versions
JPWO2018042801A1 (ja
Inventor
英史 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of JPWO2018042801A1 publication Critical patent/JPWO2018042801A1/ja
Application granted granted Critical
Publication of JP7022057B2 publication Critical patent/JP7022057B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G01C3/085—Use of electric radiation detectors with electronic parallax measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Measurement Of Optical Distance (AREA)

Description

本技術は、撮像装置に関する。詳しくは、被写体との距離を計測する撮像装置、および、これらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
近年の撮像装置では、被写体の画像信号を取得するだけでなく、距離情報を画素単位で表したデプスマップを取得する技術が用いられている。距離情報を取得するための技術として、例えば、被写体からの反射光に含まれる変調成分の光飛行時間（ＴｏＦ：Time of Flight）に基づいて距離を計測するＴｏＦ方式や、２つの画像のずれ量から距離を計測するステレオ方式が知られている。これらの距離情報を取得するための技術には一長一短があり、例えば、ステレオ方式では、２つのカメラ間の距離である基線長を調整することにより測距対象距離を調整できるという利点がある。また、アクティブ光源を加えることにより、暗所や非エッジ部における測距を補うことができる。一方、ＴｏＦ方式では、位相のずれから距離を換算するため、計算は簡易であるが、物体のエッジ部分においてマルチパスなどの複数の計測結果が混在して測距性能が低下するという問題がある。そのため、ＴｏＦ方式とステレオ方式の両者を組み合わせた方式が提案されている（例えば、特許文献１および特許文献２参照。）。
国際公開第２０１２／１３７４３４号 特開２００５－０７７１３０号公報
上述の従来技術では、ＴｏＦ方式とステレオ方式の両者による距離情報を統合することにより、それぞれの方式によって精度よく計測できているもの同士を空間的に合成して、品質の高い距離情報を得ることが考えられる。しかしながら、両者を単純に組み合わせると、同一シーンを２つの光源によって投影することになり、互いの投影光が干渉してしまい、それらが互いにノイズ成分となり、結果的に測距精度が悪化してしまうおそれがある。
本技術はこのような状況に鑑みて生み出されたものであり、投影光の干渉を避けながら、複数の測距方式を組み合わせて測距精度を向上させることを目的とする。
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、強度変調された空間パターン光を投影する光源投影部と、上記空間パターン光の被写体からの反射光に含まれる変調成分の光飛行時間に基づいて上記被写体との距離を計測する光飛行時間測距カメラと、上記反射光に含まれる空間情報に基づいて上記被写体との距離を計測する空間情報測距カメラと、上記光飛行時間測距カメラおよび上記空間情報測距カメラにおける距離の計測結果を合成して上記光飛行時間測距カメラまたは上記空間情報測距カメラにより撮像された画像の各画素位置のデプス値を決定するデプス合成部とを具備する撮像装置である。これにより、光飛行時間測距カメラおよび空間情報測距カメラにおける距離の計測結果を合成して測距精度を向上させるという作用をもたらす。
また、この第１の側面において、上記光源投影部は、所定の変調信号および垂直同期信号に従って強度変調された光源を発生する光源発生部と、上記光源を空間位置に応じて変形させて上記空間パターン光を生成する光学素子とを備えてもよい。これにより、強度変調された空間パターン光を投影するという作用をもたらす。
また、この第１の側面において、上記光飛行時間測距カメラおよび上記空間情報測距カメラの各々は、上記計測結果として各画素位置のデプス値とその信頼度とを生成し、上記デプス合成部は、上記計測結果における上記信頼度の大きさに基づいて各画素位置のデプス値を決定するようにしてもよい。これにより、光飛行時間測距カメラおよび上記空間情報測距カメラのデプス値の信頼度の大きさに基づいてデプス値を決定するという作用をもたらす。この場合において、上記デプス合成部は、上記計測結果のうち上記信頼度が最も高いデプス値を画素ごとに選択して各画素位置のデプス値を決定するようにしてもよい。
また、この第１の側面において、上記空間情報測距カメラは、左右の２つの撮像素子を備え、上記反射光に含まれる上記空間情報について上記２つの撮像素子から得られた左右画像から求められた各画素位置における視差量および上記２つの撮像素子の基線長に基づいて上記被写体との距離を計測するステレオカメラであってもよい。これにより、ステレオカメラにおける距離の計測結果を利用して測距精度を向上させるという作用をもたらす。
また、この第１の側面において、上記空間情報測距カメラは、上記反射光に含まれる上記空間情報について三角測量計算に基づいて上記被写体との距離を計測するストラクチャライトカメラであってもよい。これにより、ストラクチャライトカメラにおける距離の計測結果を利用して測距精度を向上させるという作用をもたらす。
また、この第１の側面において、上記空間パターン光の被写体からの反射光に含まれる変調成分の光飛行時間に基づいて上記被写体との距離を計測する第２の光飛行時間測距カメラをさらに具備し、上記光飛行時間測距カメラおよび上記第２の光飛行時間測距カメラは、上記空間情報測距カメラとして動作するようにしてもよい。これにより、２つの光飛行時間測距カメラにおける距離の計測結果を利用して測距精度を向上させるという作用をもたらす。この場合において、上記光飛行時間測距カメラおよび上記第２の光飛行時間測距カメラの各々は、上記計測結果として各画素位置のデプス値とその信頼度とを生成し、上記光飛行時間測距カメラおよび上記第２の光飛行時間測距カメラは、上記空間情報測距カメラとしての上記計測結果である各画素位置のデプス値とその信頼度とを生成し、上記デプス合成部は、上記光飛行時間測距カメラおよび上記第２の光飛行時間測距カメラの各々の上記計測結果と上記空間情報測距カメラとしての上記計測結果とのうち上記信頼度が最も高いデプス値を画素ごとに選択して各画素位置のデプス値を決定するようにしてもよい。
また、この第１の側面において、上記光飛行時間測距カメラおよび空間情報測距カメラは、上記反射光に含まれる変調成分の光飛行時間に基づいて上記被写体との距離を計測するとともに、上記反射光に含まれる上記空間情報について三角測量計算に基づいて上記被写体との距離を計測する、一体化されたカメラであってもよい。これにより、一体化されたカメラにおける複数の計測結果を利用して測距精度を向上させるという作用をもたらす。
本技術によれば、投影光の干渉を避けながら、複数の測距方式を組み合わせて測距精度を向上させることができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の実施の形態における撮像装置１００の構成例を示す図である。 本技術の実施の形態における撮影制御部１８０の構成例を示す図である。 本技術の実施の形態における光源投影部１３０の構成例を示す図である。 本技術の実施の形態における空間パターン光の態様の一例を示す図である。 本技術の第１の実施の形態におけるＴｏＦカメラ１１０の構成例を示す図である。 本技術の実施の形態における測距方式の一例としてのパルス法を示す図である。 本技術の第１の実施の形態におけるステレオカメラ１２０の構成例を示す図である。 本技術の第１の実施の形態におけるデプス合成部１６０の構成例を示す図である。 本技術の実施の形態における撮影制御部１８０の動作手順例を示す流れ図である。 本技術の実施の形態における光源投影部１３０の動作手順例を示す流れ図である。 本技術の第１の実施の形態におけるＴｏＦカメラ１１０の動作手順例を示す流れ図である。 本技術の第１の実施の形態におけるステレオカメラ１２０の動作手順例を示す流れ図である。 本技術の第２の実施の形態におけるＴｏＦカメラ１１０およびカメラ１２６の構成例を示す図である。 本技術の第３の実施の形態におけるストラクチャライトカメラ１４０の構成例を示す図である。 本技術の第４の実施の形態におけるＴｏＦカメラ１１０およびＴｏＦカメラ１１６の構成例を示す図である。 本技術の第５の実施の形態におけるカメラ１５０の構成例を示す図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。 内視鏡手術システムの概略的な構成の一例を示す図である。 カメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（ＴｏＦカメラとステレオカメラを用いた例）
２．第２の実施の形態（ＴｏＦカメラと単眼カメラを用いた例）
３．第３の実施の形態（ＴｏＦカメラとストラクチャライトカメラを用いた例）
４．第４の実施の形態（２台のＴｏＦカメラを用いた例）
５．第５の実施の形態（ＴｏＦカメラとストラクチャライトカメラを一体化させた例）
６．移動体への応用例
７．内視鏡手術システムへの応用例
＜１．第１の実施の形態＞
［撮像装置の構成］
図１は、本技術の実施の形態における撮像装置１００の構成例を示す図である。この撮像装置１００は、被写体２０を撮像して、被写体の画像信号および距離情報を取得するものである。この撮像装置１００は、光飛行時間測距カメラ１１と、空間情報測距カメラ１２と、光源投影部１３０と、デプス合成部１６０と、入力受付部１７０と、撮影制御部１８０とを備えている。
光飛行時間測距カメラ１１は、被写体からの反射光に含まれる変調成分の光飛行時間に基づいて被写体との距離を計測するカメラである。空間情報測距カメラ１２は、被写体からの反射光に含まれる空間情報に基づいて被写体との距離を計測するカメラである。これら光飛行時間測距カメラ１１および空間情報測距カメラ１２は、通常のカメラと同様に、撮像した画像を生成するとともに、距離情報を画素単位で表したデプスマップを生成する。以下では、撮像された画像については省略し、距離情報の取り扱いに着目して説明する。
光源投影部１３０は、光飛行時間測距カメラ１１および空間情報測距カメラ１２における測距に必要な光を投影するものである。ここで、光飛行時間測距カメラ１１は変調光を利用して距離を計測するため、光源には変調成分が含まれている必要がある。一方、空間情報測距カメラ１２は空間情報を利用して距離を計測するため、光源には空間パターンが含まれている必要がある。上述のように、単純に２つの光源を投影した場合には、互いの投影光が干渉してしまい、測距精度が悪化するおそれがある。そこで、この光源投影部１３０は、１つの光源により、強度変調された空間パターン光を投影する。なお、被写体２０には環境光が照射されていてもよい。
デプス合成部１６０は、光飛行時間測距カメラ１１および空間情報測距カメラ１２における距離の計測結果を合成して、撮像された画像の各画素位置のデプス値を決定するものである。このデプス合成部１６０は、光飛行時間測距カメラ１１からデプス値およびその信頼度を、信号線１１９および１１８を介して受け取る。また、このデプス合成部１６０は、空間情報測距カメラ１２からデプス値およびその信頼度を、信号線１２９および１２８を介して受け取る。
入力受付部１７０は、外部からの入力を受け付けるものである。この入力受付部１７０としては、例えば、撮影開始コマンドや撮影終了コマンドの入力を受け付ける撮影ボタンなどが想定される。この入力受付部１７０は、受け付けた入力を、信号線１７９を介して撮影制御部１８０に供給する。
撮影制御部１８０は、光源投影部１３０における投影動作を制御するとともに、光飛行時間測距カメラ１１および空間情報測距カメラ１２における撮影動作の制御を行うものである。この撮影制御部１８０から光源投影部１３０、光飛行時間測距カメラ１１および空間情報測距カメラ１２に対する制御信号は、信号線１８８および１８９を介して供給される。
図２は、本技術の実施の形態における撮影制御部１８０の構成例を示す図である。この撮影制御部１８０は、垂直同期生成部１８１と、変調信号発生部１８２とを備える。これら垂直同期生成部１８１および変調信号発生部１８２は、入力受付部１７０において例えば撮影開始コマンドや撮影終了コマンドの入力が受け付けられると、信号線１７９を介してその旨を検知して所定の動作を行う。
垂直同期生成部１８１は、撮影に必要な垂直同期（Ｖ同期）信号を生成するものである。垂直同期信号は、一定の間隔で動画フレームを撮影するために必要な信号であり、通常は３０Ｈｚから１２０Ｈｚ程度の周期の信号である。この垂直同期生成部１８１は、撮影開始コマンドが入力されると垂直同期信号の出力を開始し、撮影終了コマンドが入力されると垂直同期信号の出力を終了する。この垂直同期信号は、信号線１８９を介して光源投影部１３０、光飛行時間測距カメラ１１および空間情報測距カメラ１２に供給される。
変調信号発生部１８２は、撮影に必要な変調信号を生成するものである。変調信号は、光飛行時間測距カメラ１１における距離計測に必要な信号であり、２０ＭＨｚから１００ＭＨｚ程度の周期の信号である。この変調信号発生部１８２は、撮影開始コマンドが入力されると変調信号の出力を開始し、撮影終了コマンドが入力されると変調信号の出力を終了する。この変調信号は、信号線１８８を介して光源投影部１３０および光飛行時間測距カメラ１１に供給される。
図３は、本技術の実施の形態における光源投影部１３０の構成例を示す図である。この光源投影部１３０は、光源発生部１３１と、光学素子１３３と、光源制御部１３５とを備える。
光源発生部１３１は、投影光を生成するための光源を発生するものである。この光源発生部１３１としては、例えば、ＬＥＤ（Light Emitting Diode）やレーザダイオードなどを用いることができる。この光源発生部１３１は、光源制御部１３５から供給された変調信号に従って強度変調された光源を発生する。変調信号が供給されない間は変調されない定常光を発生する。光源発生の開始および終了についても、光源制御部１３５からの投影の開始指示および終了指示に従う。
光学素子１３３は、光源発生部１３１からの光源を空間位置に応じて変形させて空間パターン光を生成するものである。空間パターン光としては、例えば、格子模様、ランダム点集合またはランダムな濃淡を投影するもの、距離によって点形状が変化するよう投影するものなどが想定され、任意に設計することができる。
光源制御部１３５は、撮影制御部１８０から信号線１８８および１８９を介して供給された変調信号および垂直同期信号に従って、光源発生部１３１を制御するものである。この光源制御部１３５は、垂直同期信号を受信した直後は、変調信号に従って強度変調された光源を発生するよう光源発生部１３１を制御する。そして、垂直同期信号の受信タイミングから光飛行時間測距カメラ１１の露光時間が経過すると、変調信号の供給を停止して、変調されない定常光を発生するよう光源発生部１３１を制御する。その後、空間情報測距カメラ１２の露光時間が経過すると、光源の発生を終了するよう光源発生部１３１を制御する。
このように、強度変調された投影光は、光飛行時間測距カメラ１１の露光時間分だけ継続する。空間情報測距カメラ１２については変調した投影光、または、変調していない定常光のいずれによる投影でも測距できる。そのため、光飛行時間測距カメラ１１の露光が先に完了した場合、残った空間情報測距カメラ１２の露光時間は定常光を投影する。変調光はパルス光のため、全体時間に対する投影時間は半分であり、空間情報測距カメラ１２にとって光量が半分になってしまうため、定常光による投影の方が感度よく撮影できるからである。
図４は、本技術の実施の形態における空間パターン光の態様の一例を示す図である。本技術の実施の形態における空間パターン光は、任意の模様を用いることができる。ここでは、一例として、ドットパターンを示している。
光学素子１３３は、例えば、このようなドットパターンを投影するような回折格子を用いる。このような回折格子は、レーザ光源のビーム形状を自由な形状に変形するよう、回折格子の表面にその特性に合わせてマイクロ構造を造り込んで光子を導くものである。石英ガラスやガラス素材をエッチングしたり、ポリマー素材をエンボス加工したりして製造される。また、回折格子の設計によって、距離に応じて点形状が変化するような設計も可能で、例えば近景では平面光に近く、距離が離れるほど点に集光していくようにすることができる。また、点に集光することによって、投光距離を伸ばすことも可能である。
また、空間パターン光は、スリット光でもよい。また、複数の周波数スリット光を時分割で切り替えたものでもよい。
図５は、本技術の第１の実施の形態におけるＴｏＦカメラ１１０の構成例を示す図である。この第１の実施の形態では、光飛行時間測距カメラ１１としてＴｏＦ（Time of Flight）カメラ１１０を想定する。このＴｏＦカメラ１１０は、ＴｏＦ画素１１１と、デプス計算部１１３と、露光制御部１１５とを備える。
露光制御部１１５は、撮影制御部１８０から信号線１８８および１８９を介して供給された変調信号および垂直同期信号に従って、ＴｏＦ画素１１１の露光を制御するものである。この露光制御部１１５は、垂直同期信号を受信すると、露光を開始するようＴｏＦ画素１１１を制御する。そして、垂直同期信号の受信タイミングからＴｏＦカメラ１１０の露光時間が経過すると、露光を終了するようＴｏＦ画素１１１を制御する。
ＴｏＦ画素１１１は、被写体２０に当って跳ね返ってくる変調された反射光を受光して、画像信号として光電変換するものである。このＴｏＦ画素１１１は、反射光を光電変換する際、後述するように、１つの画素により純相と逆相の２つのウィンドウで電荷を積算する。
デプス計算部１１３は、ＴｏＦ画素１１１により生成された画像信号と変調信号との相関関係から位相遅れ量（位相ずれ量）を求めて、この位相遅れ量を、奥行きを表すデプス値に変換するものである。また、このデプス計算部１１３は、デプス値の信頼度を生成する。このデプス計算部１１３によって生成されたデプス値およびその信頼度は、信号線１１９および１１８を介してデプス合成部１６０に供給される。
図６は、本技術の実施の形態における測距方式の一例としてのパルス法を示す図である。光源投影部１３０は、変調信号の変調周波数に合わせたパルス波を一定期間（Δｔ）投影する。被写体２０から反射された投影光は、位相遅れ量（φ）だけ遅れてＴｏＦカメラ１１０において観測される。このとき、ＴｏＦ画素１１１は、光源投影部１３０から投影されたパルス波と同期した順相（０°）および逆相（１８０°）の２つのウィンドウで反射光を積算して計測する（Ｑ１、Ｑ２）。この計測された電荷Ｑ１およびＱ２を用いて、次式により被写体２０との距離ｄを算出することができる。ただし、ｃは光の速度である。
ｄ＝（１／２）・ｃ・Δｔ・（Ｑ２／（Ｑ１＋Ｑ２））
このとき、電荷Ｑ１およびＱ２の合計値は、被写体２０からの反射光の強さであり、より強い応答が得られる方が、信号のＳＮ比（Signal-Noise ratio）は良いと考えて、この値を信頼度として使う。すなわち、信頼度ｒは次式により得られる。
ｒ＝Ｑ１＋Ｑ２
なお、ここでは、測距方式の一例としてパルス法について説明したが、連続波法（Continuous Wave）などの他の方法を用いてもよい。
図７は、本技術の第１の実施の形態におけるステレオカメラ１２０の構成例を示す図である。この第１の実施の形態では、空間情報測距カメラ１２としてステレオカメラ１２０を想定する。このステレオカメラ１２０は、左側撮像素子１２１と、右側撮像素子１２２と、デプス計算部１２３と、露光制御部１２５とを備える。
露光制御部１２５は、撮影制御部１８０から信号線１８９を介して供給された垂直同期信号に従って、左側撮像素子１２１および右側撮像素子１２２の露光を制御するものである。この露光制御部１２５は、垂直同期信号を受信すると、露光を開始するよう左側撮像素子１２１および右側撮像素子１２２を制御する。そして、垂直同期信号の受信タイミングからステレオカメラ１２０の露光時間が経過すると、露光を終了するよう左側撮像素子１２１および右側撮像素子１２２を制御する。
左側撮像素子１２１および右側撮像素子１２２は、被写体２０に当って跳ね返ってくる反射光を受光して、左右画像の画像信号として光電変換するものである。
デプス計算部１２３は、左右画像から各画素位置における視差量を計算して、左側撮像素子１２１と右側撮像素子１２２との間の基線長に基づいて距離を計算して出力するものである。視差量を計算するためには、片方の画像において注目画素を含むＮ×Ｎ画素のパッチ画像が、もう一方の画像のどの位置に類似パッチ画像として現れるかを、その位置をシフトしながら誤差最小のパッチ画像を探索するブロックマッチング法を用いることができる。
パッチ画像の模様がない平坦な部位のオブジェクトであった場合には、ステレオカメラ１２０では距離をうまく求めることができないおそれがある。ただし、パターン光によって投影された光が十分なコントラストを持って観測されれば、そのパターン光の模様を手掛かりに視差量を計算することが可能である。
また、ステレオカメラ１２０は、パッチ画像のシフト量を画素より細かい精度で計算することでデプス値の精度を向上させることができるため、左側撮像素子１２１および右側撮像素子１２２の解像度を上げることによって、デプス値の精度を上げることができる。また、左側撮像素子１２１と右側撮像素子１２２との間の基線長を調整することにより、測定できる距離のレンジを容易に調整することができる。
このように、ステレオカメラ１２０は、撮影制御部１８０から垂直同期信号を受信して左側撮像素子１２１および右側撮像素子１２２の撮影を制御する。そして、デプス計算部１２３は、撮影された左右画像から視差量を計算し、各画素位置のデプス値を決定してデプスマップとして出力する。また、デプス計算部１２３は、計算過程で得られる信頼度を出力する。
視差の量は、例えば以下の絶対値差分の式で計算することができる。パッチ絶対値差分ＲSADは、画像Ｌのパッチの画素Ｉ（ｉ，ｊ）と画像Ｒのパッチの画素Ｔ（ｉ，ｊ）の画素値の絶対差分をパッチ内の画素分だけ積算した値である。パッチの画像が似ているほどパッチ絶対値差分ＲSADの値は小さくなる。これを画像Ｌのパッチの基準位置をシフト量分だけずらしながら、最小のパッチ絶対値差分を求める。この最小の差分時のシフト量が視差であり、その位置における奥行き値となる。
Figure 0007022057000001
また、信頼度は、例えば第二最小値との比率として計算することができる。最小の絶対値差分をＲSAD1、それとは異なるシフト位置の第二最小の絶対値差分をＲSAD2とし、それらの比率を１から引いた値である信頼度ＣSADを求める。この値は、二つの信頼度の差分が大きいほど大きくなり、差分が大きいほどそのシフト量が他のシフト量と区別できているということを意味する。
ＣSAD＝１．０－ＲSAD1／ＲSAD2
図８は、本技術の第１の実施の形態におけるデプス合成部１６０の構成例を示す図である。このデプス合成部１６０は、座標変換部１６１および１６２と、デプス合成処理部１６３とを備える。
座標変換部１６１は、光飛行時間測距カメラ１１から信号線１１９および１１８を介して供給されたデプス値および信頼度に対して座標変換操作を適用して、デプスマップの座標位置を揃える処理を行うものである。
座標変換部１６２は、空間情報測距カメラ１２から信号線１２９および１２８を介して供給されたデプス値および信頼度に対して座標変換操作を適用して、デプスマップの座標位置を揃える処理を行うものである。
デプス合成処理部１６３は、座標変換部１６１および１６２によって座標位置が揃えられた２つのデプス値を信頼度の大きさに基づいて統合して出力するものである。例えば、最も信頼度の高いデプス値を画素ごとに選択して、デプス合成を行うことができる。
座標変換に必要なパラメータは、光飛行時間測距カメラ１１と空間情報測距カメラ１２のそれぞれのカメラ位置によって決定されるため、事前にキャリブレーションしておき、パラメータを求め、その値を利用する。このパラメータは、例えばカメラの外部パラメータ、内部パラメータ、レクティフィケーションパラメータと呼ばれているものであり、一般的には以下の形式で表される。
内部パラメータは、次式の行列式により表現される。ただし、ｆxおよびｆyは、ピクセル単位で表される焦点距離である。ｃxおよびｃyは、カメラの主点である。
Figure 0007022057000002
外部パラメータは、以下の行列式により表現される。ただし、ｒは回転行列の要素、ｔは並進移動の要素であり、これらをまとめた同時変換行列となっている。
Figure 0007022057000003
レクティフィケーションパラメータは、３×３行列の９つのパラメータであり、カメラを平行化して、ブロックマッチングなどの探索をエピポーラ直線上で求めるようにするものである。
この第１の実施の形態における撮像装置については、ＴｏＦカメラ１１０およびステレオカメラ１２０の測距範囲を考慮した設定が必要である。すなわち、ＴｏＦカメラ１１０においては、変調周波数が測距分解能と限界測距距離を決定し、変調光の強度や露光時間が測距対象の距離を決定する。変調光強度が強くまたは露光時間が長ければ、より遠方まで光が届くが、近いオブジェクトが飽和して観測されて測距できないおそれもある。一方、ステレオカメラ１２０においては、左側撮像素子１２１と右側撮像素子１２２との間の基線長が測距分解能と限界測距距離を決定し、投影パターン光の強度や露光時間が測距対象の距離を決定する。
一般に、ＴｏＦカメラは低解像度であり、ステレオカメラは写真や動画撮影用センサなど高解像度のものが利用されることが多い。したがって、ＴｏＦカメラ１１０を近景用、ステレオカメラ１２０を遠景用に設定して、合成したデプスマップを得ることが考えられる。
露光時間については、ＴｏＦカメラ１１０を短露光時間に、ステレオカメラ１２０を長露光時間に設定することが考えられる。このように設定すると、近距離のＴｏＦデプスマップと遠距離のステレオデプスマップとが得られる。これにより、パターン光に起因してステレオカメラにおいて発生する平面部の穴あきを軽減することができ、また、面光源よりも点光源に集光することによって投影強度を強めるという効果がある。これにより、距離方向に広いダイナミックレンジを持つ測距を行うことが可能になる。
このように、変調を利用した測距とパターンを利用した測距とを１つの光源で実現することにより、投影光を無駄なく使うことができ、消費電力の観点で、単純に２つを組み合わせたものよりも有利である。また、２つの異なる光源による干渉ノイズを避けることができる。また、光源が少なくなる分、モジュールサイズが小さくなり、サイズおよびコスト面でも有利になる。
［撮像装置の動作］
図９は、本技術の実施の形態における撮影制御部１８０の動作手順例を示す流れ図である。
撮影開始コマンドを受信する前は（ステップＳ９１２：Ｎｏ）、撮影制御部１８０はスタンバイ状態にある（ステップＳ９１１）。撮影開始コマンドが入力されると（ステップＳ９１２：Ｙｅｓ）、垂直同期生成部１８１は垂直同期信号の出力を開始し（ステップＳ９１３）、変調信号発生部１８２は変調信号の出力を開始する（ステップＳ９１４）。
その後、撮影終了コマンドが入力されると（ステップＳ９１５：Ｙｅｓ）、垂直同期生成部１８１は垂直同期信号の出力を終了し（ステップＳ９１６）、変調信号発生部１８２は変調信号の出力を終了する（ステップＳ９１７）。
図１０は、本技術の実施の形態における光源投影部１３０の動作手順例を示す流れ図である。
垂直同期信号を受信する前は（ステップＳ９２２：Ｎｏ）、光源投影部１３０はスタンバイ状態にある（ステップＳ９２１）。垂直同期信号が入力されると（ステップＳ９２２：Ｙｅｓ）、光源発生部１３１は強度変調された光源を発生し、変調光による投影が開始される（ステップＳ９２３）。
その後、垂直同期信号の受信タイミングから光飛行時間測距カメラ１１の露光時間が経過すると（ステップＳ９２４：Ｙｅｓ）、光源発生部１３１は変調されない定常光を発生し、定常光による投影が開始される（ステップＳ９２５）。
その後、空間情報測距カメラ１２の露光時間が経過すると（ステップＳ９２６：Ｙｅｓ）、光源発生部１３１は光源の発生を停止し、投影が終了する（ステップＳ９２７）。
図１１は、本技術の第１の実施の形態におけるＴｏＦカメラ１１０の動作手順例を示す流れ図である。
垂直同期信号を受信する前は（ステップＳ９３２：Ｎｏ）、ＴｏＦカメラ１１０はスタンバイ状態にある（ステップＳ９３１）。垂直同期信号が入力されると（ステップＳ９３２：Ｙｅｓ）、ＴｏＦ画素１１１は露光を開始する（ステップＳ９３３）。
その後、垂直同期信号の受信タイミングからＴｏＦカメラ１１０の露光時間が経過すると（ステップＳ９３４：Ｙｅｓ）、ＴｏＦ画素１１１は露光を終了する（ステップＳ９３５）。
そして、デプス計算部１１３は、画像信号と変調信号との相関関係から位相遅れ量を求めて、この位相遅れ量を、奥行きを表すデプス値に変換する（ステップＳ９３６）。また、デプス計算部１１３は、デプス値の信頼度を生成して、デプス値およびその信頼度を出力する（ステップＳ９３７）。
図１２は、本技術の第１の実施の形態におけるステレオカメラ１２０の動作手順例を示す流れ図である。
垂直同期信号を受信する前は（ステップＳ９４２：Ｎｏ）、ＴｏＦカメラ１１０はスタンバイ状態にある（ステップＳ９４１）。垂直同期信号が入力されると（ステップＳ９４２：Ｙｅｓ）、左側撮像素子１２１および右側撮像素子１２２は露光を開始する（ステップＳ９４３）。
その後、垂直同期信号の受信タイミングからステレオカメラ１２０の露光時間が経過すると（ステップＳ９４４：Ｙｅｓ）、左側撮像素子１２１および右側撮像素子１２２は露光を終了する（ステップＳ９４５）。
そして、デプス計算部１２３は、左右画像から各画素位置における視差量を計算して、左側撮像素子１２１と右側撮像素子１２２との間の基線長に基づいて距離を計算する（ステップＳ９４６）。また、デプス計算部１２３は、デプス値の信頼度を生成して、デプス値およびその信頼度を出力する（ステップＳ９４７）。
このように、本技術の第１の実施の形態によれば、ＴｏＦカメラ１１０とステレオカメラ１２０のそれぞれにより得られたデプス値および信頼度を合成することにより、測距精度を向上させることができる。光源投影部１３０から投影される投影光は強度変調された空間パターン光であり、ＴｏＦカメラ１１０に必要な変調成分と、ステレオカメラ１２０に必要な空間パターンの両者を含む。したがって、１つの光源のみが使用されるため、投影光の干渉を避けることができる。
＜２．第２の実施の形態＞
上述の第１の実施の形態では、ＴｏＦカメラ１１０の他にステレオカメラ１２０を設けていたが、ＴｏＦカメラ１１０によって左右画像の一方を撮像することにより、ステレオカメラ１２０ではなく通常の単眼カメラを利用することが可能となる。ＴｏＦカメラ１１０のＱ１＋Ｑ２の値はシーンを撮影した画像そのものであるため、ＴｏＦカメラ１１０からはデプス値と通常画像も同時に取得される。この第２の実施の形態では、ＴｏＦカメラ１１０による撮影画像を左右画像の一方とするものであり、ＴｏＦカメラ１１０と通常の単眼カメラを組み合わせて、左右画像を取得することを想定する。
なお、撮像装置としての全体構成は第１の実施の形態と同様であるため、詳細な説明は省略する。
図１３は、本技術の第２の実施の形態におけるＴｏＦカメラ１１０およびカメラ１２６の構成例を示す図である。この第２の実施の形態では、空間情報測距カメラ１２としてＴｏＦカメラ１１０とカメラ１２６との組み合わせを想定する。なお、光飛行時間測距カメラ１１については、第１の実施の形態と同様にＴｏＦカメラ１１０を想定する。
カメラ１２６は、単眼カメラであり、左右画像の左画像を撮像するものである。このとき、左右画像の右画像はＴｏＦカメラ１１０のＴｏＦ画素１１１によって撮像されたものを使用する。なお、この左右画像の分担は一例であり、ＴｏＦカメラ１１０において左画像を撮像して、カメラ１２６において右画像を撮像するようにしてもよい。
このカメラ１２６は、左側撮像素子１２１と、デプス計算部１２３と、露光制御部１２５とを備える。
露光制御部１２５は、撮影制御部１８０から信号線１８９を介して供給された垂直同期信号に従って、左側撮像素子１２１の露光を制御するものである。
左側撮像素子１２１は、被写体２０に当って跳ね返ってくる反射光を受光して、左画像の画像信号として光電変換するものである。
デプス計算部１２３は、左側撮像素子１２１およびＴｏＦ画素１１１から得られた左右画像から各画素位置における視差量を計算して、左側撮像素子１２１とＴｏＦ画素１１１との間の基線長に基づいて距離を計算して出力するものである。
このように、本技術の第２の実施の形態によれば、ＴｏＦカメラ１１０の撮像画像を左右画像の一方の画像として利用することにより、カメラの数を減らし、ＴｏＦカメラとステレオカメラを組み合わせた場合と同様に測距精度を向上させることができる。
＜３．第３の実施の形態＞
上述の第１の実施の形態では、空間情報測距カメラ１２としてステレオカメラ１２０を想定していたが、空間情報を利用して測距できれば他の種類のカメラであってもよい。この第３の実施の形態では、空間情報測距カメラ１２としてストラクチャライトカメラを想定する。
なお、撮像装置としての全体構成は第１の実施の形態と同様であるため、詳細な説明は省略する。
図１４は、本技術の第３の実施の形態におけるストラクチャライトカメラ１４０の構成例を示す図である。このストラクチャライトカメラ１４０は、三次元の形状をカメラとパターン投影によって取得するカメラである。このストラクチャライトカメラ１４０は、撮像素子１４１と、デプス計算部１４３と、露光制御部１４５とを備える。
露光制御部１４５は、撮影制御部１８０から信号線１８９を介して供給された垂直同期信号に従って、撮像素子１４１の露光を制御するものである。撮像素子１４１は、被写体２０に当って跳ね返ってくる反射光を受光して、画像信号に光電変換するものである。デプス計算部１４３は、既知のパターンを投影したシーンにおいてそのパターンがどのように変形したか、また、そのパターンが撮影シーン内のどこに現れるかを分析し、三角測量計算によって奥行き距離を計算するものである。
このストラクチャライトカメラ１４０を用いることにより、ステレオカメラを使用するよりもカメラの数を減らすことができる。
このように、本技術の第３の実施の形態によれば、ＴｏＦカメラ１１０とストラクチャライトカメラ１４０のそれぞれにより得られたデプス値および信頼度を合成することにより、測距精度を向上させることができる。
＜４．第４の実施の形態＞
上述の第２の実施の形態では、ＴｏＦカメラ１１０とカメラ１２６を組み合わせていたが、カメラ１２６を他のＴｏＦカメラに置き換えてもよい。この第４の実施の形態では、ＴｏＦカメラ１１０による撮影画像を左右画像の一方とするものであり、ＴｏＦカメラ１１０と他のＴｏＦカメラを組み合わせて、左右画像を取得することを想定する。
なお、撮像装置としての全体構成は第１の実施の形態と同様であるため、詳細な説明は省略する。
図１５は、本技術の第４の実施の形態におけるＴｏＦカメラ１１０およびＴｏＦカメラ１１６の構成例を示す図である。この第４の実施の形態では、空間情報測距カメラ１２としてＴｏＦカメラ１１０とＴｏＦカメラ１１６との組み合わせを想定する。なお、光飛行時間測距カメラ１１については、第１の実施の形態と同様にＴｏＦカメラ１１０を想定する。
ＴｏＦカメラ１１６は、ＴｏＦカメラ１１０とは別のＴｏＦカメラであり、左右画像の左画像を撮像するものである。このとき、左右画像の右画像はＴｏＦカメラ１１０のＴｏＦ画素１１１によって撮像されたものを使用する。なお、この左右画像の分担は一例であり、ＴｏＦカメラ１１０において左画像を撮像して、ＴｏＦカメラ１１６において右画像を撮像するようにしてもよい。
これらＴｏＦカメラ１１０および１１６により生成されたデプス値およびその信頼度は、デプス合成部１６５において合成される。デプス合成部１６５は、ＴｏＦカメラ１１０単体のデプス値および信頼度、ＴｏＦカメラ１１６単体のデプス値および信頼度、ＴｏＦカメラ１１０を右画像としてＴｏＦカメラ１１６を左画像とした左右画像のデプス値および信頼度、の３組を利用できる。このとき、最も信頼度の高いデプス値を画素ごとに選択して、デプス合成を行うことができる。
この第４の実施の形態において、ＴｏＦカメラとしての撮像とステレオカメラとしての撮像とで露光時間を変えることにより、明るさのダイナミックレンジを広げることができる。また、ＴｏＦカメラ１１０とＴｏＦカメラ１１６との間の基線長を変えることにより、測距のダイナミックレンジを広げることができる。また、例えば、近距離に対してはＴｏＦカメラ１１０および１１６のそれぞれ単体によるデプス値を使用し、遠距離に対してはＴｏＦカメラ１１０および１１６のアクティブステレオによるデプス値を使用することが考えられる。
このように、本技術の第４の実施の形態によれば、ＴｏＦカメラ１１０および１１６のそれぞれにより得られたデプス値および信頼度を合成することにより、測距精度をさらに向上させることができる。
＜５．第５の実施の形態＞
上述の第３の実施の形態では、ＴｏＦカメラ１１０とストラクチャライトカメラ１４０を組み合わせていたが、これらを１台のカメラに一体化してもよい。この第５の実施の形態では、光飛行時間測距カメラ１１および空間情報測距カメラ１２として一体化されたカメラを想定する。
図１６は、本技術の第５の実施の形態におけるカメラ１５０の構成例を示す図である。このカメラ１５０は、ＴｏＦカメラおよびストラクチャライトカメラを一体化したものである。このカメラ１５０は、ＴｏＦ画素１５１と、デプス計算部１５３および１５４と、露光制御部１５５とを備える。
露光制御部１５５は、撮影制御部１８０から信号線１８８および１８９を介して供給された変調信号および垂直同期信号に従って、ＴｏＦ画素１５１の露光を制御するものである。ＴｏＦ画素１５１は、被写体２０に当って跳ね返ってくる変調された反射光を受光して、画像信号として光電変換するものである。
デプス計算部１５３は、ＴｏＦ画素１５１により生成された画像信号と変調信号との相関関係から位相遅れ量を求めて、この位相遅れ量を、奥行きを表すデプス値に変換するものである。デプス計算部１５４は、既知のパターンを投影したシーンにおいてそのパターンがどのように変形したか、また、そのパターンが撮影シーン内のどこに現れるかを分析し、三角測量計算によって奥行き距離を計算するものである。すなわち、デプス計算部１５３によって変調信号を利用した測距が行われ、デプス計算部１５４によってパターンを利用した測距が行われる。
このように、本技術の第５の実施の形態によれば、一体化されたカメラにより変調信号を利用した測距とパターンを利用した測距の両者を行うことにより、カメラの台数を減らしながら測距精度を向上させることができる。
これまで説明した通り、本技術の実施の形態は以下のような利点を有する。
第１に、光源において空間情報と時間情報とを重畳することにより、投影光の干渉を避けることができる。空間方向（構造光）と時間方向（変調）はそれぞれ独立であり、これらの情報を無駄なく活用することができる。
第２に、反射光の見え方という観点からすると、ＴｏＦカメラは低解像度であるため、高解像度の構造光のパターンは見えず、ほぼ面発光と等価として扱うことができ、高速変調による測距が可能である。アクティブステレオにとって、光源の変調は十分高速であるため、一定強度で投影していることと等価であり、高解像度空間パターンを利用した測距を行うことが可能である。
第３に、ＴｏＦカメラおよびステレオカメラの特性を利用して、測距範囲の分担を変えることができる。ＴｏＦカメラは、短露光で測距可能であり、近距離でも飽和し難いため、デプス値の手前側を担当することに適している。一方、アクティブステレオカメラは、長露光であり高解像度で高感度なため、デプス値の奥側を担当することに適している。
第４に、ステレオカメラの特性を利用することにより、ＴｏＦカメラだけでは不可能な性能を発揮させることができる。すなわち、アクティブステレオは、高解像度パターンを利用することにより、テクスチャのない面の測距を可能とし、集光による到達距離を長距離化することができる。
＜６．移動体への応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
図１７は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１７に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１７の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
図１８は、撮像部１２０３１の設置位置の例を示す図である。
図１８では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図１８には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１に適用され得る。
＜７．内視鏡手術システムへの応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
図１９は、本開示に係る技術（本技術）が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。
図１９では、術者（医師）１１１３１が、内視鏡手術システム１１０００を用いて、患者ベッド１１１３３上の患者１１１３２に手術を行っている様子が図示されている。図示するように、内視鏡手術システム１１０００は、内視鏡１１１００と、気腹チューブ１１１１１やエネルギー処置具１１１１２等の、その他の術具１１１１０と、内視鏡１１１００を支持する支持アーム装置１１１２０と、内視鏡下手術のための各種の装置が搭載されたカート１１２００と、から構成される。
内視鏡１１１００は、先端から所定の長さの領域が患者１１１３２の体腔内に挿入される鏡筒１１１０１と、鏡筒１１１０１の基端に接続されるカメラヘッド１１１０２と、から構成される。図示する例では、硬性の鏡筒１１１０１を有するいわゆる硬性鏡として構成される内視鏡１１１００を図示しているが、内視鏡１１１００は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。
鏡筒１１１０１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１１１００には光源装置１１２０３が接続されており、当該光源装置１１２０３によって生成された光が、鏡筒１１１０１の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者１１１３２の体腔内の観察対象に向かって照射される。なお、内視鏡１１１００は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
カメラヘッド１１１０２の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ： Ｃａｍｅｒａ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）１１２０１に送信される。
ＣＣＵ１１２０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等によって構成され、内視鏡１１１００及び表示装置１１２０２の動作を統括的に制御する。さらに、ＣＣＵ１１２０１は、カメラヘッド１１１０２から画像信号を受け取り、その画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。
表示装置１１２０２は、ＣＣＵ１１２０１からの制御により、当該ＣＣＵ１１２０１によって画像処理が施された画像信号に基づく画像を表示する。
光源装置１１２０３は、例えばＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等の光源から構成され、術部等を撮影する際の照射光を内視鏡１１１００に供給する。
入力装置１１２０４は、内視鏡手術システム１１０００に対する入力インタフェースである。ユーザは、入力装置１１２０４を介して、内視鏡手術システム１１０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡１１１００による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示等を入力する。
処置具制御装置１１２０５は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具１１１１２の駆動を制御する。気腹装置１１２０６は、内視鏡１１１００による視野の確保及び術者の作業空間の確保の目的で、患者１１１３２の体腔を膨らめるために、気腹チューブ１１１１１を介して当該体腔内にガスを送り込む。レコーダ１１２０７は、手術に関する各種の情報を記録可能な装置である。プリンタ１１２０８は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
なお、内視鏡１１１００に術部を撮影する際の照射光を供給する光源装置１１２０３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置１１２０３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
また、光源装置１１２０３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
また、光源装置１１２０３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Ｎａｒｒｏｗ Ｂａｎｄ Ｉｍａｇｉｎｇ）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること（自家蛍光観察）、又はインドシアニングリーン（ＩＣＧ）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置１１２０３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。
図２０は、図１９に示すカメラヘッド１１１０２及びＣＣＵ１１２０１の機能構成の一例を示すブロック図である。
カメラヘッド１１１０２は、レンズユニット１１４０１と、撮像部１１４０２と、駆動部１１４０３と、通信部１１４０４と、カメラヘッド制御部１１４０５と、を有する。ＣＣＵ１１２０１は、通信部１１４１１と、画像処理部１１４１２と、制御部１１４１３と、を有する。カメラヘッド１１１０２とＣＣＵ１１２０１とは、伝送ケーブル１１４００によって互いに通信可能に接続されている。
レンズユニット１１４０１は、鏡筒１１１０１との接続部に設けられる光学系である。鏡筒１１１０１の先端から取り込まれた観察光は、カメラヘッド１１１０２まで導光され、当該レンズユニット１１４０１に入射する。レンズユニット１１４０１は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。
撮像部１１４０２は、撮像素子で構成される。撮像部１１４０２を構成する撮像素子は、１つ（いわゆる単板式）であってもよいし、複数（いわゆる多板式）であってもよい。撮像部１１４０２が多板式で構成される場合には、例えば各撮像素子によってＲＧＢそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部１１４０２は、３Ｄ（Ｄｉｍｅｎｓｉｏｎａｌ）表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成されてもよい。３Ｄ表示が行われることにより、術者１１１３１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部１１４０２が多板式で構成される場合には、各撮像素子に対応して、レンズユニット１１４０１も複数系統設けられ得る。
また、撮像部１１４０２は、必ずしもカメラヘッド１１１０２に設けられなくてもよい。例えば、撮像部１１４０２は、鏡筒１１１０１の内部に、対物レンズの直後に設けられてもよい。
駆動部１１４０３は、アクチュエータによって構成され、カメラヘッド制御部１１４０５からの制御により、レンズユニット１１４０１のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部１１４０２による撮像画像の倍率及び焦点が適宜調整され得る。
通信部１１４０４は、ＣＣＵ１１２０１との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４０４は、撮像部１１４０２から得た画像信号をＲＡＷデータとして伝送ケーブル１１４００を介してＣＣＵ１１２０１に送信する。
また、通信部１１４０４は、ＣＣＵ１１２０１から、カメラヘッド１１１０２の駆動を制御するための制御信号を受信し、カメラヘッド制御部１１４０５に供給する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、ユーザによって適宜指定されてもよいし、取得された画像信号に基づいてＣＣＵ１１２０１の制御部１１４１３によって自動的に設定されてもよい。後者の場合には、いわゆるＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）機能、ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）機能及びＡＷＢ（Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）機能が内視鏡１１１００に搭載されていることになる。
カメラヘッド制御部１１４０５は、通信部１１４０４を介して受信したＣＣＵ１１２０１からの制御信号に基づいて、カメラヘッド１１１０２の駆動を制御する。
通信部１１４１１は、カメラヘッド１１１０２との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４１１は、カメラヘッド１１１０２から、伝送ケーブル１１４００を介して送信される画像信号を受信する。
また、通信部１１４１１は、カメラヘッド１１１０２に対して、カメラヘッド１１１０２の駆動を制御するための制御信号を送信する。画像信号や制御信号は、電気通信や光通信等によって送信することができる。
画像処理部１１４１２は、カメラヘッド１１１０２から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。
制御部１１４１３は、内視鏡１１１００による術部等の撮像、及び、術部等の撮像により得られる撮像画像の表示に関する各種の制御を行う。例えば、制御部１１４１３は、カメラヘッド１１１０２の駆動を制御するための制御信号を生成する。
また、制御部１１４１３は、画像処理部１１４１２によって画像処理が施された画像信号に基づいて、術部等が映った撮像画像を表示装置１１２０２に表示させる。この際、制御部１１４１３は、各種の画像認識技術を用いて撮像画像内における各種の物体を認識してもよい。例えば、制御部１１４１３は、撮像画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具１１１１２の使用時のミスト等を認識することができる。制御部１１４１３は、表示装置１１２０２に撮像画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させてもよい。手術支援情報が重畳表示され、術者１１１３１に提示されることにより、術者１１１３１の負担を軽減することや、術者１１１３１が確実に手術を進めることが可能になる。
カメラヘッド１１１０２及びＣＣＵ１１２０１を接続する伝送ケーブル１１４００は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
ここで、図示する例では、伝送ケーブル１１４００を用いて有線で通信が行われていたが、カメラヘッド１１１０２とＣＣＵ１１２０１との間の通信は無線で行われてもよい。
以上、本開示に係る技術が適用され得る内視鏡手術システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、カメラヘッド１１１０２の撮像部１１４０２に適用され得る。
なお、ここでは、一例として内視鏡手術システムについて説明したが、本開示に係る技術は、その他、例えば、顕微鏡手術システム等に適用されてもよい。
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
なお、本技術は以下のような構成もとることができる。
（１）強度変調された空間パターン光を投影する光源投影部と、
前記空間パターン光の被写体からの反射光に含まれる変調成分の光飛行時間に基づいて前記被写体との距離を計測する光飛行時間測距カメラと、
前記反射光に含まれる空間情報に基づいて前記被写体との距離を計測する空間情報測距カメラと、
前記光飛行時間測距カメラおよび前記空間情報測距カメラにおける距離の計測結果を合成して前記光飛行時間測距カメラまたは前記空間情報測距カメラにより撮像された画像の各画素位置のデプス値を決定するデプス合成部と
を具備する撮像装置。
（２）前記光源投影部は、
所定の変調信号および垂直同期信号に従って強度変調された光源を発生する光源発生部と、
前記光源を空間位置に応じて変形させて前記空間パターン光を生成する光学素子と
を備える前記（１）に記載の撮像装置。
（３）前記光飛行時間測距カメラおよび前記空間情報測距カメラの各々は、前記計測結果として各画素位置のデプス値とその信頼度とを生成し、
前記デプス合成部は、前記計測結果における前記信頼度の大きさに基づいて各画素位置のデプス値を決定する
前記（１）または（２）に記載の撮像装置。
（４）前記デプス合成部は、前記計測結果のうち前記信頼度が最も高いデプス値を画素ごとに選択して各画素位置のデプス値を決定する
前記（３）に記載の撮像装置。
（５）前記空間情報測距カメラは、左右の２つの撮像素子を備え、前記反射光に含まれる前記空間情報について前記２つの撮像素子から得られた左右画像から求められた各画素位置における視差量および前記２つの撮像素子の基線長に基づいて前記被写体との距離を計測するステレオカメラである
前記（１）から（４）のいずれかに記載の撮像装置。
（６）前記空間情報測距カメラは、前記反射光に含まれる前記空間情報について三角測量計算に基づいて前記被写体との距離を計測するストラクチャライトカメラである
前記（１）から（４）のいずれかに記載の撮像装置。
（７）前記空間パターン光の被写体からの反射光に含まれる変調成分の光飛行時間に基づいて前記被写体との距離を計測する第２の光飛行時間測距カメラをさらに具備し、
前記光飛行時間測距カメラおよび前記第２の光飛行時間測距カメラは、前記空間情報測距カメラとして動作する
前記（１）から（４）のいずれかに記載の撮像装置。
（８）前記光飛行時間測距カメラおよび前記第２の光飛行時間測距カメラの各々は、前記計測結果として各画素位置のデプス値とその信頼度とを生成し、
前記光飛行時間測距カメラおよび前記第２の光飛行時間測距カメラは、前記空間情報測距カメラとしての前記計測結果である各画素位置のデプス値とその信頼度とを生成し、
前記デプス合成部は、前記光飛行時間測距カメラおよび前記第２の光飛行時間測距カメラの各々の前記計測結果と前記空間情報測距カメラとしての前記計測結果とのうち前記信頼度が最も高いデプス値を画素ごとに選択して各画素位置のデプス値を決定する
前記（７）に記載の撮像装置。
（９）前記光飛行時間測距カメラおよび空間情報測距カメラは、前記反射光に含まれる変調成分の光飛行時間に基づいて前記被写体との距離を計測するとともに、前記反射光に含まれる前記空間情報について三角測量計算に基づいて前記被写体との距離を計測する、一体化されたカメラである
前記（１）から（４）のいずれかに記載の撮像装置。
１１ 光飛行時間測距カメラ
１２ 空間情報測距カメラ
２０ 被写体
１００ 撮像装置
１１０、１１６ ＴｏＦカメラ
１１１ ＴｏＦ画素
１１３ デプス計算部
１１５ 露光制御部
１２０ ステレオカメラ
１２１ 左側撮像素子
１２２ 右側撮像素子
１２３ デプス計算部
１２５ 露光制御部
１２６ カメラ
１３０ 光源投影部
１３１ 光源発生部
１３３ 光学素子
１３５ 光源制御部
１４０ ストラクチャライトカメラ
１４１ 撮像素子
１４３ デプス計算部
１４５ 露光制御部
１５０ カメラ（ＴｏＦカメラ兼ストラクチャライトカメラ）
１５１ ＴｏＦ画素
１５３、１５４ デプス計算部
１５５ 露光制御部
１６０、１６５ デプス合成部
１６１、１６２ 座標変換部
１６３ デプス合成処理部
１７０ 入力受付部
１８０ 撮影制御部
１８１ 垂直同期生成部
１８２ 変調信号発生部

Claims (8)

  1. 強度変調された空間パターン光を投影する光源投影部と、
    前記空間パターン光の被写体からの反射光に含まれる変調成分の光飛行時間に基づいて前記被写体との距離を計測する光飛行時間測距カメラと、
    前記反射光に含まれる空間情報に基づいて前記被写体との距離を計測する空間情報測距カメラと、
    前記光飛行時間測距カメラおよび前記空間情報測距カメラにおける距離の計測結果を合成して前記光飛行時間測距カメラまたは前記空間情報測距カメラにより撮像された画像の各画素位置のデプス値を決定するデプス合成部と
    を具備し、
    前記光飛行時間測距カメラおよび前記空間情報測距カメラの各々は、前記計測結果として各画素位置のデプス値とその信頼度とを生成し、
    前記デプス合成部は、前記計測結果における前記信頼度の大きさに基づいて各画素位置のデプス値を決定する
    撮像装置。
  2. 前記光源投影部は、
    所定の変調信号および垂直同期信号に従って強度変調された光を発生する光源発生部と、
    前記強度変調された光を空間位置に応じて変形させて前記空間パターン光を生成する光学素子と
    を備える請求項１記載の撮像装置。
  3. 前記デプス合成部は、前記計測結果のうち前記信頼度が最も高いデプス値を画素ごとに選択して各画素位置のデプス値を決定する
    請求項２記載の撮像装置。
  4. 前記空間情報測距カメラは、左右の２つの撮像素子を備え、前記反射光に含まれる前記空間情報について前記２つの撮像素子から得られた左右画像から求められた各画素位置における視差量および前記２つの撮像素子の基線長に基づいて前記被写体との距離を計測するステレオカメラである
    請求項１記載の撮像装置。
  5. 前記空間情報測距カメラは、前記反射光に含まれる前記空間情報について三角測量計算に基づいて前記被写体との距離を計測するストラクチャライトカメラである
    請求項１記載の撮像装置。
  6. 前記光飛行時間測距カメラおよび空間情報測距カメラは、前記反射光に含まれる変調成分の光飛行時間に基づいて前記被写体との距離を計測するとともに、前記反射光に含まれる前記空間情報について三角測量計算に基づいて前記被写体との距離を計測する、一体化されたカメラである
    請求項１記載の撮像装置。
  7. 強度変調された空間パターン光を投影する光源投影部と、
    前記空間パターン光の被写体からの反射光に含まれる変調成分の光飛行時間に基づいて前記被写体との距離を計測する光飛行時間測距カメラと、
    前記反射光に含まれる空間情報に基づいて前記被写体との距離を計測する空間情報測距カメラと、
    前記光飛行時間測距カメラおよび前記空間情報測距カメラにおける距離の計測結果を合成して前記光飛行時間測距カメラまたは前記空間情報測距カメラにより撮像された画像の各画素位置のデプス値を決定するデプス合成部と、
    前記空間パターン光の被写体からの反射光に含まれる変調成分の光飛行時間に基づいて前記被写体との距離を計測する第２の光飛行時間測距カメラとを
    具備し、
    前記光飛行時間測距カメラおよび前記第２の光飛行時間測距カメラは、前記空間情報測距カメラとして動作する
    撮像装置。
  8. 前記光飛行時間測距カメラおよび前記第２の光飛行時間測距カメラの各々は、前記計測結果として各画素位置のデプス値とその信頼度とを生成し、
    前記光飛行時間測距カメラおよび前記第２の光飛行時間測距カメラは、前記空間情報測距カメラとしての前記計測結果である各画素位置のデプス値とその信頼度とを生成し、
    前記デプス合成部は、前記光飛行時間測距カメラおよび前記第２の光飛行時間測距カメラの各々の前記計測結果と前記空間情報測距カメラとしての前記計測結果とのうち前記信頼度が最も高いデプス値を画素ごとに選択して各画素位置のデプス値を決定する
    請求項７記載の撮像装置。
JP2018513025A 2016-09-01 2017-06-05 撮像装置 Active JP7022057B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016171048 2016-09-01
JP2016171048 2016-09-01
PCT/JP2017/020862 WO2018042801A1 (ja) 2016-09-01 2017-06-05 撮像装置

Publications (2)

Publication Number Publication Date
JPWO2018042801A1 JPWO2018042801A1 (ja) 2019-06-24
JP7022057B2 true JP7022057B2 (ja) 2022-02-17

Family

ID=61300336

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018513025A Active JP7022057B2 (ja) 2016-09-01 2017-06-05 撮像装置

Country Status (6)

Country Link
US (1) US10866321B2 (ja)
EP (1) EP3508814B1 (ja)
JP (1) JP7022057B2 (ja)
KR (1) KR102499586B1 (ja)
CN (1) CN108027238B (ja)
WO (1) WO2018042801A1 (ja)

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7103354B2 (ja) * 2017-05-24 2022-07-20 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム
US10891745B1 (en) * 2017-08-14 2021-01-12 Apple Inc. Hybrid system with a structured-light stereo device and a time of flight device
US10613228B2 (en) 2017-09-08 2020-04-07 Microsoft Techology Licensing, Llc Time-of-flight augmented structured light range-sensor
TW201939452A (zh) * 2018-03-15 2019-10-01 艾沙技術有限公司 移動載具、安全警示裝置及安全警示方法
CN110603457A (zh) * 2018-04-12 2019-12-20 深圳市汇顶科技股份有限公司 影像传感系统及电子装置
US10663567B2 (en) * 2018-05-04 2020-05-26 Microsoft Technology Licensing, Llc Field calibration of a structured light range-sensor
US11187804B2 (en) 2018-05-30 2021-11-30 Qualcomm Incorporated Time of flight range finder for a structured light system
EP3581881A1 (de) * 2018-06-15 2019-12-18 Hexagon Technology Center GmbH Oberflächenvermessung mittels angeregter fluoreszenz
EP3811113A1 (en) * 2018-06-22 2021-04-28 Ams Ag Using time-of-flight and pseudo-random bit sequences to measure distance to object
JP7121269B2 (ja) * 2018-07-06 2022-08-18 ミツミ電機株式会社 測距カメラ
US10791277B2 (en) * 2018-09-11 2020-09-29 Cognex Corporation Methods and apparatus for optimizing image acquisition of objects subject to illumination patterns
JP7195093B2 (ja) * 2018-09-18 2022-12-23 直之 村上 テレビカメラの映す画像の距離を計測する方法
US11353588B2 (en) * 2018-11-01 2022-06-07 Waymo Llc Time-of-flight sensor with structured light illuminator
JP7036227B2 (ja) * 2018-11-19 2022-03-15 日本電気株式会社 画像処理方法および画像処理装置
JP7395511B2 (ja) * 2019-01-16 2023-12-11 株式会社小糸製作所 イメージング装置、その演算処理装置、車両用灯具、車両、センシング方法
JP2020122774A (ja) * 2019-01-29 2020-08-13 ソニーセミコンダクタソリューションズ株式会社 測距装置、測距方法、並びにプログラム
US20220110511A1 (en) * 2019-02-19 2022-04-14 Sony Group Corporation Medical observation system, medical system, and distance measuring method
DE112020001760T5 (de) * 2019-04-05 2022-01-13 Sony Group Corporation Signalverarbeitungsvorrichtung, signalverarbeitungsverfahren undentfernungsmessmodul
CN109889809A (zh) * 2019-04-12 2019-06-14 深圳市光微科技有限公司 深度相机模组、深度相机、深度图获取方法以及深度相机模组形成方法
CN110095781B (zh) * 2019-05-06 2021-06-01 歌尔光学科技有限公司 基于lbs投影系统的测距方法、设备及计算机可读存储介质
JP7346080B2 (ja) * 2019-05-22 2023-09-19 日立Astemo株式会社 ステレオカメラシステム、及び測距方法
JP7290485B6 (ja) * 2019-06-26 2023-06-30 株式会社 日立産業制御ソリューションズ 距離画像生成装置
CN110471080A (zh) * 2019-07-12 2019-11-19 深圳奥比中光科技有限公司 基于tof图像传感器的深度测量装置
US20220268942A1 (en) * 2019-07-16 2022-08-25 Sony Group Corporation Light receiving device and method for driving light receiving device
WO2021030034A1 (en) 2019-08-15 2021-02-18 Apple Inc. Depth mapping using spatial multiplexing of illumination phase
JP2021056141A (ja) * 2019-09-30 2021-04-08 ソニーセミコンダクタソリューションズ株式会社 測距センサ、信号処理方法、および、測距モジュール
WO2021085128A1 (ja) * 2019-10-28 2021-05-06 ソニーセミコンダクタソリューションズ株式会社 測距装置、測定方法、および、測距システム
CN110909617B (zh) * 2019-10-28 2022-03-25 广州多益网络股份有限公司 基于双目视觉的活体人脸检测方法及装置
US11763433B2 (en) * 2019-11-14 2023-09-19 Samsung Electronics Co., Ltd. Depth image generation method and device
US20210156881A1 (en) * 2019-11-26 2021-05-27 Faro Technologies, Inc. Dynamic machine vision sensor (dmvs) that performs integrated 3d tracking
JPWO2021140886A1 (ja) * 2020-01-10 2021-07-15
JP7328437B2 (ja) 2020-02-17 2023-08-16 ファナック株式会社 ３次元点の位置情報を生成する三次元測定装置
WO2021176873A1 (ja) * 2020-03-03 2021-09-10 ソニーグループ株式会社 情報処理装置と情報処理方法およびプログラム
KR102660776B1 (ko) * 2020-03-23 2024-04-24 가부시키가이샤 리코 정보 처리 장치 및 정보 처리 방법
US11763472B1 (en) 2020-04-02 2023-09-19 Apple Inc. Depth mapping with MPI mitigation using reference illumination pattern
CN111708039B (zh) * 2020-05-24 2023-09-05 奥比中光科技集团股份有限公司 一种深度测量装置、方法及电子设备
WO2021252153A1 (en) 2020-06-11 2021-12-16 Apple Inc. Global-shutter image sensor with time-of-flight sensing capability
DE102020117060B4 (de) * 2020-06-29 2022-05-05 Audi Aktiengesellschaft Vorrichtung und Verfahren zur Umfelderfassung eines Fahrzeugs
US11276154B2 (en) * 2020-07-17 2022-03-15 Samsung Electronics Co., Ltd. Multi-frame depth-based multi-camera relighting of images
US11659290B2 (en) * 2020-07-21 2023-05-23 Canon Kabushiki Kaisha Light detection system
US20240099572A1 (en) * 2020-11-11 2024-03-28 New View Surgical, Inc. Multi-camera imaging system
CN112255639B (zh) * 2020-12-23 2021-09-03 杭州蓝芯科技有限公司 一种感兴趣区域深度感知传感器及深度感知传感模块
JP2022165344A (ja) * 2021-04-19 2022-10-31 ソニーセミコンダクタソリューションズ株式会社 測距装置及び測距システム
CN113382165B (zh) * 2021-05-31 2023-03-24 上海集成电路制造创新中心有限公司 相机对焦方法及相机对焦系统
CN113466884B (zh) * 2021-06-30 2022-11-01 深圳市汇顶科技股份有限公司 飞行时间深度测量发射装置及电子设备
CN113484852B (zh) * 2021-07-07 2023-11-07 烟台艾睿光电科技有限公司 一种测距方法及系统
US11922606B2 (en) 2021-10-04 2024-03-05 Samsung Electronics Co., Ltd. Multipass interference correction and material recognition based on patterned illumination without frame rate loss
WO2023058839A1 (en) * 2021-10-04 2023-04-13 Samsung Electronics Co., Ltd. Multipass interference correction and material recognition based on patterned illumination without frame rate loss
CN115143929A (zh) * 2022-03-28 2022-10-04 南京大学 一种基于光纤束的内窥测距仪
CN115442591B (zh) * 2022-11-04 2023-03-24 合肥的卢深视科技有限公司 相机质量测试方法、系统、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001337166A (ja) 2000-05-26 2001-12-07 Minolta Co Ltd ３次元入力方法および３次元入力装置
JP2008145263A (ja) 2006-12-11 2008-06-26 Fujifilm Corp 撮影装置および方法並びにプログラム
JP2013104784A (ja) 2011-11-14 2013-05-30 Mitsubishi Electric Corp 光３次元カメラ
US20150070684A1 (en) 2013-09-09 2015-03-12 Samsung Electronics Co., Ltd. Methods for calculating distance using depth sensor and apparatuses performing the same
WO2017159312A1 (ja) 2016-03-15 2017-09-21 ソニー株式会社 画像処理装置、撮像装置、および画像処理方法、並びにプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3614935B2 (ja) * 1995-06-20 2005-01-26 オリンパス株式会社 三次元画像計測装置
JP4402400B2 (ja) 2003-08-28 2010-01-20 オリンパス株式会社 物体認識装置
KR20110087112A (ko) * 2010-01-25 2011-08-02 현대모비스 주식회사 Ｔｏｆ 원리를 이용한 3ｄ 영상 표시 장치 및 그 방법
US9414051B2 (en) * 2010-07-20 2016-08-09 Memory Engine, Incorporated Extensible authoring and playback platform for complex virtual reality interactions and immersive applications
JP5979500B2 (ja) 2011-04-07 2016-08-24 パナソニックＩｐマネジメント株式会社 立体撮像装置
US9318877B2 (en) * 2012-03-01 2016-04-19 Iee International Electronics & Engineering S.A. Compact laser source for active illumination for hybrid three-dimensional imagers
RU2012154657A (ru) * 2012-12-17 2014-06-27 ЭлЭсАй Корпорейшн Способы и устройство для объединения изображений с глубиной, генерированных с использованием разных способов формирования изображений с глубиной
JP6476831B2 (ja) * 2013-12-26 2019-03-06 株式会社リコー 視差演算システム、情報処理装置、情報処理方法及びプログラム
KR102144543B1 (ko) * 2014-05-08 2020-08-18 주식회사 히타치엘지 데이터 스토리지 코리아 Tof 카메라에서 신호 검출 방법
US20160205378A1 (en) * 2015-01-08 2016-07-14 Amir Nevet Multimode depth imaging
CN105869167A (zh) * 2016-03-30 2016-08-17 天津大学 基于主被动融合的高分辨率深度图获取方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001337166A (ja) 2000-05-26 2001-12-07 Minolta Co Ltd ３次元入力方法および３次元入力装置
JP2008145263A (ja) 2006-12-11 2008-06-26 Fujifilm Corp 撮影装置および方法並びにプログラム
JP2013104784A (ja) 2011-11-14 2013-05-30 Mitsubishi Electric Corp 光３次元カメラ
US20150070684A1 (en) 2013-09-09 2015-03-12 Samsung Electronics Co., Ltd. Methods for calculating distance using depth sensor and apparatuses performing the same
WO2017159312A1 (ja) 2016-03-15 2017-09-21 ソニー株式会社 画像処理装置、撮像装置、および画像処理方法、並びにプログラム

Also Published As

Publication number Publication date
CN108027238A (zh) 2018-05-11
US20180275278A1 (en) 2018-09-27
EP3508814B1 (en) 2023-08-23
EP3508814A1 (en) 2019-07-10
KR20190042485A (ko) 2019-04-24
EP3508814A4 (en) 2020-03-11
WO2018042801A1 (ja) 2018-03-08
CN108027238B (zh) 2022-06-14
US10866321B2 (en) 2020-12-15
KR102499586B1 (ko) 2023-02-14
JPWO2018042801A1 (ja) 2019-06-24

Similar Documents

Publication Publication Date Title
JP7022057B2 (ja) 撮像装置
US11847759B2 (en) Image processing device, image processing method, and image processing program
WO2018159738A1 (ja) 固体撮像装置および電子機器
US11029579B2 (en) Imaging apparatus and electronic apparatus for controlling a position of a lens
US11750932B2 (en) Image processing apparatus, image processing method, and electronic apparatus
JP2018200980A (ja) 撮像装置および固体撮像素子、並びに電子機器
CN111886541B (zh) 成像装置和电子设备
US11330209B2 (en) Imaging device and electronic device enabled to control position of lens
JP2021051015A (ja) 測距装置、測距方法、並びにプログラム
US20220279134A1 (en) Imaging device and imaging method
WO2021075116A1 (ja) 固体撮像装置及び電子機器
US11838656B2 (en) Imaging device and correction method for reducing image height dependency of a depth
WO2019082775A1 (ja) 画像処理装置、画像処理方法および撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210622

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210806

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220111

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220204

R150 Certificate of patent or registration of utility model

Ref document number: 7022057

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150