JP7472136B2 - イメージング装置およびその照明装置、車両、車両用灯具 - Google Patents

イメージング装置およびその照明装置、車両、車両用灯具 Download PDF

Info

Publication number
JP7472136B2
JP7472136B2 JP2021533048A JP2021533048A JP7472136B2 JP 7472136 B2 JP7472136 B2 JP 7472136B2 JP 2021533048 A JP2021533048 A JP 2021533048A JP 2021533048 A JP2021533048 A JP 2021533048A JP 7472136 B2 JP7472136 B2 JP 7472136B2
Authority
JP
Japan
Prior art keywords
image data
pixels
imaging device
pixel
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021533048A
Other languages
English (en)
Other versions
JPWO2021010339A1 (ja
Inventor
輝明 鳥居
祐太 春瀬
真太郎 杉本
健人 新田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koito Manufacturing Co Ltd
Original Assignee
Koito Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koito Manufacturing Co Ltd filed Critical Koito Manufacturing Co Ltd
Publication of JPWO2021010339A1 publication Critical patent/JPWO2021010339A1/ja
Application granted granted Critical
Publication of JP7472136B2 publication Critical patent/JP7472136B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/0017—Devices integrating an element dedicated to another function
    • B60Q1/0023—Devices integrating an element dedicated to another function the element being a sensor, e.g. distance sensor, camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/23—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on positionally close patterns or neighbourhood relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Description

本発明は、イメージング装置に関する。
自動運転やヘッドランプの配光の自動制御のために、車両の周囲に存在する物体の位置および種類をセンシングする物体識別システムが利用される。物体識別システムは、センサと、センサの出力を解析する演算処理装置を含む。センサは、カメラ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ミリ波レーダ、超音波ソナーなどの中から、用途、要求精度やコストを考慮して選択される。
イメージング装置（センサ）のひとつとして、ゴーストイメージングの原理を利用したもの（以下、量子レーダと称する）が知られている。ゴーストイメージングは、参照光の強度分布（パターン）をランダムに切り替えながら物体に照射し、パターンごとに反射光の光検出強度を測定する。光検出強度はある平面にわたるエネルギーあるいは強度の積分値であり、強度分布ではない。そして、対応するパターンと光検出強度との相関をとることにより、物体の復元画像を再構成（reconstruct）する。
特許第６４１２６７３号公報
量子レーダは、霧中などの視界不良な環境下において、通常の二次元イメージセンサ（カメラ）では撮影できない物体を撮影することができるが、１枚の画像を復元するために、参照光を複数回、照射する必要があり、一般的なカメラに比べてフレームレートが低くなる。したがって、視界が良好な環境下では、量子レーダよりも二次元イメージセンサの方が好ましい状況が生じうる。
１． 本発明のある態様は係る状況においてなされたものであり、その例示的な目的のひとつは、高画質と高フレームレートを両立したイメージング装置およびその照明装置の提供にある。
２． また本発明のある態様の目的のひとつは、量子レーダと二次元イメージセンサの利点を併せ持つイメージング装置の提供にある。
１． 本発明のある態様は相関計算を利用したイメージング装置に関する。イメージング装置は、均一な強度分布を有する光ビームを生成する光源と、二階調の第１画像データに応じて、光ビームの強度分布を変調するパターニングデバイスと、物体からの反射光を測定する光検出器と、光検出器の出力にもとづく検出強度と、ｍ階調（ｍ≧２）の第２画像データとの相関計算を行い、物体の復元画像を再構成する演算処理装置と、を備える。第１画像データの画素数は第２画像データの画素数より多い。第２画像データの１画素は、第１画像データの複数Ｌ個の画素を含むピクセル群に対応付けられる。第２画像データのある画素の正規化された階調値をｋ、それと対応するピクセル群に含まれる値が１である画素の個数をｌとするとき、ｌ＝Ｌ×ｋが成り立つ。
本発明の別の態様は、相関計算を利用したイメージング装置に用いられる照明装置に関する。照明装置は、均一な強度分布を有する光ビームを生成する光源と、第１画素数の画素のアレイを含み、第１画素数を有し、かつ二階調の第１画像データに応じて光ビームの強度分布を変調するパターニングデバイスと、第１画素数より少ない第２画素数を有し、かつランダムなｍ階調（ｍ≧２）の第２画像データを生成して相関計算に提供するとともに、第２画像データを第１画像データに変換し、パターニングデバイスに供給するコントローラと、を備える。
２． 本発明の別の態様は、イメージング装置に関する。イメージング装置は、強度分布を制御可能な赤外の参照光を物体に照射する照明装置と、赤外線領域に感度を有する二次元イメージセンサと、二次元イメージセンサが撮影した画像を処理する演算処理装置と、を備える。（i）第１モードにおいて、照明装置は、複数Ｍ個のパターニングデータのシーケンスにもとづいて参照光の強度分布を変化させる。それと並行して、二次元イメージセンサは複数（Ｍ枚）の画像を撮影する。演算処理装置は、複数の画像それぞれについて複数の画素の積算値に応じた光検出強度を計算する。そして演算処理装置は、複数の画像に対応する複数の光検出強度と複数のパターニングデータとの相関計算を行い、第１出力画像を出力する。（ii）第２モードにおいて、演算処理装置は、二次元イメージセンサが撮影した画像にもとづく第２出力画像を出力する。
本発明のある態様によれば、高画質と高フレームレートを両立できる。また別の態様によれば、量子レーダと二次元イメージセンサの利点を併せ持つイメージング装置を提供できる。
実施形態１に係るイメージング装置を示す図である。 図２（ａ）～（ｃ）は、パターニングデバイスであるＤＭＤの画素を説明する図である。 第２画像データと第１画像データの関係を説明する図である。 第１画像データと第２画像データの具体例を示す図である。 図５（ａ）、（ｂ）は、配置規則の例を示す図である。 比較技術に係るイメージング装置の１フレームのセンシングを示すタイムチャートである。 図１のイメージング装置の１フレームのセンシングを示すタイムチャートである。 第２画像データと第１画像データの一例を示す図である。 シミュレーション結果を示す図である。 図１０（ａ）～（ｃ）は、変形例１．１に係る第２画像データを示す図である。 変形例１．２に係る第１画像データと第２画像データを示す図である。 実施形態２に係るイメージング装置を示す図である。 図１２のイメージング装置の動作のフローチャートである。 第１モード、第２モード、第３モードにおける照明装置、二次元イメージセンサ、演算処理装置の状態および処理を示す図である。 図１５（ａ）～（ｃ）は、ハイブリッドモードを説明する図である。 物体識別システムのブロック図である。 物体識別システムを備える自動車を示す図である。 物体検出システムを備える車両用灯具を示すブロック図である。
（実施形態の概要）
本開示のいくつかの例示的な実施形態の概要を説明する。この概要は、後述する詳細な説明の前置きとして、実施形態の基本的な理解を目的として、１つまたは複数の実施形態のいくつかの概念を簡略化して説明するものであり、発明あるいは開示の広さを限定するものではない。またこの概要は、考えられるすべての実施形態の包括的な概要ではなく、実施形態の欠くべからざる構成要素を限定するものではない。便宜上、「一実施形態」は、本明細書に開示するひとつの実施形態（実施例や変形例）または複数の実施形態（実施例や変形例）を指すものとして用いる場合がある。
１． 一実施形態は、相関計算を利用したイメージング装置に関する。イメージング装置は、均一な強度分布を有する光ビームを生成する光源と、二階調の第１画像データに応じて、光ビームの強度分布を変調するパターニングデバイスと、物体からの反射光を測定する光検出器と、光検出器の出力にもとづく検出強度と、ｍ階調（ｍ≧２）の第２画像データとの相関計算を行い、物体の復元画像を再構成する演算処理装置と、を備える。第１画像データの画素数は第２画像データの画素数より多い。第２画像データの１画素は、第１画像データの複数Ｌ個の画素を含むピクセル群に対応付けられる。第２画像データのある画素の正規化された階調値をｋ、それと対応するピクセル群に含まれる値が１である画素の個数をｌとするとき、ｌ＝Ｌ×ｋが成り立つ。
一般的に、パターニングデバイスを多階調で動作させる場合、フレームレートが低下する。この実施形態によれば、相関計算に用いる第２画像データよりも、画素数が多いパターニングデバイスを用い、パターニングデバイスを１ビット動作させることで、高フレームレートを実現できる。パターニングデバイスが生成する参照光の強度分布は、第２画像データの画素数（解像度）でみたときには多階調表現されているため、高画質も実現できる。
イメージング装置は、第２画像データを生成するコントローラをさらに備えてもよい。コントローラは、第２画像データを変換して、第１画像データを生成してもよい。
コントローラは、所定の配置規則にしたがって、ピクセル群に値１，０を割り当ててもよい。
配置規則は、ピクセル群の中央の画素から優先的に値１が埋まるように定められてもよい。この場合、パターニングデバイスの隣接するピクセル群同士の干渉を低減できる。
配置規則は、ピクセル群において、値１が均一に配置されるように定められてもよい。
ピクセル群において、値１と０はランダムに配置されてもよい。
第２画像データを構成する画素のサイズは、位置に応じて異なってもよい。これにより、局所的に分解能を制御することができる。
パターニングデバイスはＤＭＤ（Digital Micromirror Device）であってもよい。
照明装置は、相関計算を利用したイメージング装置に利用できる。イメージング装置は、照明装置に加えて、物体からの反射光を測定する光検出器と、光検出器の出力にもとづく検出強度と第２画像データの相関計算を行い、物体の復元画像を再構成する演算処理装置と、を備える。
２． 一実施の形態に係るイメージング装置は、強度分布を制御可能な赤外の参照光を物体に照射する照明装置と、赤外線領域に感度を有する二次元イメージセンサと、二次元イメージセンサが撮影した画像を処理する演算処理装置と、を備える。イメージング装置は、第１モードと第２モードが切り替え可能である。
（i）第１モード
照明装置は、複数のパターニングデータのシーケンスにもとづいて参照光の強度分布を変化させる。この間に、二次元イメージセンサは複数の画像を撮影する。演算処理装置は、複数の画像それぞれについて複数の画素の積算値に応じた光検出強度を計算し、複数の画像に対応する複数の光検出強度と複数のパターニングデータとの相関計算を行い、第１出力画像を出力する。
（ii）第２モード
演算処理装置は、二次元イメージセンサが撮影した画像にもとづく第２出力画像を出力するように構成される。
このイメージング装置は、第１モードにおいて量子レーダとして動作し、第２モードにおいてカメラ（二次元イメージセンサ）として動作するため、量子レーダと二次元イメージセンサの利点を併せ持つことができる。
また、第１モードと第２モードとで、二次元イメージセンサおよび光学系を共有できるため、第１モードと第２モードとで、同じ画角の画像を得ることができ、２つのモード間の視差も存在しない。
第２モードにおいて、照明装置は均一な強度分布を有する参照光を照射してもよい。二次元イメージセンサは、物体からの参照光の反射光を検出するアクティブセンサとして動作してもよい。イメージング装置を、暗視カメラとして使用することができる。
演算処理部は、視界の良・不良を判定可能に構成され、視界不良と判定されたとき、第１モードが選択され、視界良好と判定されたとき、第２モードが選択されてもよい。
第３モードにおいてイメージング装置は、パッシブセンサとして動作してもよい。第３モードにおいて、照明装置は発光を停止してもよい。演算処理装置は、二次元イメージセンサが撮影した画像にもとづく第３出力画像を出力してもよい。
二次元イメージセンサは、赤外線領域に加えて可視光領域に感度を有してもよい。第３出力画像は可視光画像であってもよい。
演算処理部は、視界の良・不良および周囲の明るさを判定可能に構成され、（i）視界不良と判定されたとき、第１モードが選択され、（ii）視界良好であり、かつ周囲が暗いと判定されたとき、第２モードが選択され、（iii）視界良好であり、かつ周囲が明るいと判定されたとき、第３モードが選択されてもよい。
第３出力画像は赤外光画像であってもよい。
イメージング装置は、ハイブリッドモードをサポートしてもよい。
ハイブリッドモードにおいて、照明装置は、参照光の第１部分の強度分布を変化させ、参照光の第２部分の強度分布を均一とし、演算処理装置は、参照光の第１部分の照射範囲について、相関計算により第１出力画像を生成し、参照光の第２部分の照射範囲については、二次元イメージセンサが撮影した画像にもとづく第２出力画像を生成する。
これにより、局所的に視界が悪いような状況において、視界が悪い領域のみ、量子レーダとして動作させることができる。
第２モードにおいてイメージング装置は、パッシブセンサとして動作してもよい。第２モードにおいて、照明装置は発光を停止してもよい。
以下、本発明を好適な実施形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施形態は、発明を限定するものではなく例示であって、実施形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。
本明細書における「強度分布がランダム」とは、完全なランダムであることを意味するものではなく、ゴーストイメージングにおいて画像を再構築できる程度に、ランダムであればよい。したがって本明細書における「ランダム」は、その中にある程度の規則性を内包することができる。また「ランダム」は、完全に予測不能であることを要求するものではなく、予想可能、再生可能であってもよい。
（実施形態１）
図１は、実施形態１に係るイメージング装置１００を示す図である。イメージング装置１００はゴーストイメージングの原理を用いた相関関数イメージセンサであり、照明装置１１０、光検出器１２０、演算処理装置１３０を備える。イメージング装置１００を、量子レーダカメラとも称する。
照明装置１１０は、疑似熱光源であり、実質的にランダムとみなしうる強度分布Ｉ（ｘ，ｙ）を有する参照光Ｓ１を生成し、物体ＯＢＪに照射する。物体ＯＢＪへの参照光Ｓ１の照射は、その強度分布を、複数のＭ通りのパターンに応じて変化させながら行われる。
照明装置１１０は、光源１１２、パターニングデバイス１１４、コントローラ１１６を含む。光源１１２は、均一な強度分布を有する光ビームＳ０を生成する。光源１１２は、レーザや発光ダイオードなどを用いてもよい。好ましくは光ビームＳ０は赤外光であるが、その波長やスペクトルは特に限定されず、複数のあるいは連続スペクトルを有する白色光であってもよいし、所定の波長を含む単色光であってもよい。
パターニングデバイス１１４は、第１画素数（Ｘ×Ｙ）の画素のアレイを含む。パターニングデバイス１１４は、第１画素数（Ｘ×Ｙ）を有し、かつ二階調の第１画像データＩＭＧ１を受け、第１画像データＩＭＧ１に応じて、画素のアレイを制御し、光ビームＳ０の強度分布を変調する。パターニングデバイス１１４としては、ＤＭＤ（Digital Micromirror Device）や液晶デバイスを用いることができる。本実施形態においてパターニングデバイス１１４はＤＭＤであるもとする。
図２（ａ）～（ｃ）は、パターニングデバイス１１４であるＤＭＤの画素を説明する図である。図２（ａ）に示すように、ＤＭＤは、Ｙ行Ｘ列のマトリクス状に配置される複数のマイクロミラー（画素ＰＩＸ）のアレイである。図２（ｂ）に示すように、各画素ＰＩＸは、正方形のミラーであり、対角に設けられたヒンジを軸として、ＯＮ方向とＯＦＦ方向に傾動可能となっている。パターニングデバイス１１４は、全画素を独立してオン、オフ制御可能に構成される。以下の説明では、マトリクスの形状を図２（ｃ）のように簡略化して示す。
図１に戻る。ＤＭＤを構成する各マイクロミラーの状態は、第１画像データＩＭＧ１の対応する画素と対応付けられる。すなわち、第１画像データＩＭＧ１のある画素ＰＢ（ｉ，ｊ）の値が１のとき、その画素ＰＢ（ｉ，ｊ）に対応するマイクロミラーはオン側に傾動し、ある画素ＰＢ（ｉ，ｊ）の値が０のとき、その画素に対応するマイクロミラーはオフ側に傾動する。かくして、光ビームＳ０が第１画像データＩＭＧ１に応じてパターニングされ、強度分布Ｉｒ（Ｘ，Ｙ）を有する参照光Ｓ１が生成され、前方の物体に照射される。
コントローラ１１６は、パターニングデバイス１１４を制御するための第１画像データＩＭＧ１に加えて、相関計算に用いる第２画像データＩＭＧ２を生成する。第２画像データＩＭＧ２は第２画素数（ｘ×ｙ）を有しており、各画素はｍ階調（ｍ≧３）である。第２画素数ｘ×ｙは、第１画素数Ｘ×Ｙよりも少ない。Ｘはｘの整数倍、Ｙはｙの整数倍の関係を満たす。
Ｘ＝ａｘ
Ｙ＝ｂｙ
（ａ，ｂは自然数であり、少なくとも一方は二以上）
本実施形態において、コントローラ１１６は、第２画像データＩＭＧ２を生成し、第２画像データＩＭＧ２にもとづいて第１画像データＩＭＧ１を生成する。第２画像データＩＭＧ２は、再構成処理部１３４に供給され、復元画像Ｇ（ｘ，ｙ）の生成のための相関計算に利用される。
光検出器１２０は、物体ＯＢＪからの反射光を測定し、検出信号Ｄｒを出力する。検出信号Ｄｒは、強度分布Ｉｒを有する参照光を物体ＯＢＪに照射したときに、光検出器１２０に入射する光エネルギー（あるいは強度）の空間的な積分値である。したがって光検出器１２０は、シングルピクセルのデバイス（フォトディテクタ）を用いることができる。光検出器１２０からは、複数Ｍ通りの強度分布Ｉ１～ＩＭそれぞれに対応する複数の検出信号Ｄ１～ＤＭが出力される。
演算処理装置１３０は、再構成処理部１３４を含む。再構成処理部１３４は、複数の第２画像データＩＭＧ２が規定する複数の強度分布Ｉ１～ＩＭと、複数の検出強度ｂ１～ｂＭの相関計算を行い、物体ＯＢＪの復元画像Ｇ（ｘ，ｙ）を再構成する。最終的な復元画像Ｇ（ｘ，ｙ）の画素数は、第２画像データＩＭＧ２の画素数と一致しており、パターニングデバイス１１４の画素数より少ない。
検出強度ｂ１～ｂＭは、検出信号Ｄ１～ＤＭにもとづいている。検出強度ｂｒと検出信号Ｄｒの関係は、光検出器１２０の種類や方式などを考慮して定めればよい。
ある強度分布Ｉｒの参照光Ｓ１を、ある照射期間にわたり照射するとする。また検出信号Ｄｒは、ある時刻（あるいは微小時間）の受光量、すなわち瞬時値を表すとする。この場合、照射期間において検出信号Ｄｒを複数回サンプリングし、検出強度ｂｒを、検出信号Ｄｒの全サンプリング値の積分値、平均値あるいは最大値としてもよい。あるいは、全サンプリング値のうちのいくつかを選別し、選別したサンプリング値の積分値や平均値、最大値を用いてもよい。複数のサンプリング値の選別は、たとえば最大値から数えて序列ａ番目からｂ番目を抽出してもよいし、任意のしきい値より低いサンプリング値を除外してもよいし、信号変動の大きさが小さい範囲のサンプリング値を抽出してもよい。
光検出器１２０として、カメラのように露光時間を設定可能なデバイスを用いる場合には、光検出器１２０の出力Ｄｒをそのまま、検出強度ｂｒとすることができる。
検出信号Ｄｒから検出強度ｂｒへの変換は、演算処理装置１３０が実行してもよいし、演算処理装置１３０の外部で行ってもよい。
相関には、式（１）の相関関数が用いられる。Ｉｒは、ｒ番目の第２画像データＩＭＧ２の画素値の分布であり、ｂｒはｒ番目の検出強度の値である。
Figure 0007472136000001
演算処理装置１３０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、マイコンなどのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装することができる。演算処理装置１３０は、複数のプロセッサの組み合わせであってもよい。あるいは演算処理装置１３０はハードウェアのみで構成してもよい。コントローラ１１６は、演算処理装置１３０の内部に実装してもよい。
以上がイメージング装置１００の全体の基本構成である。続いて、第１画像データＩＭＧ１と第２画像データＩＭＧ２について説明する。
図３は、第２画像データＩＭＧ２と第１画像データＩＭＧ１の関係を説明する図である。第２画像データＩＭＧ２のｉ行ｊ列目（ｉ＝１～ｘ、ｊ＝１～ｙ）の画素をＰｍ（ｉ，ｊ）と表すものとする。同様に第１画像データＩＭＧ１のＩ行Ｊ列目（Ｉ＝１～Ｘ、Ｊ＝１～Ｙ）の画素をＰＢ（Ｉ，Ｊ）と表すものとする。
第２画像データＩＭＧ２の任意の画素Ｐｍ（ｉ，ｊ）について、その正規化された階調値をｋとする。たとえば第２画像データＩＭＧ２が２ビット４階調である場合、正規化された階調値ｋは０，１／３，２／３，１の４値を取り得る。第２画像データＩＭＧ２が６階調である場合、正規化された階調値ｋは０，１／５，２／５，３／５，４／５，５／５の６値を取り得る。一般化すると、第２画像データＩＭＧ２がｍ階調（ｍ≧３）である場合、正規化された階調値ｋは０，１／（ｍ－１），２／（ｍ－１），…，（ｍ－２）／（ｍ－１），１のｍ値を取り得る。
第２画像データＩＭＧ２の１画素Ｐｍ（ｉ，ｊ）は、第１画像データＩＭＧ１の複数Ｌ個の画素を含むピクセル群ＰＧ（ｉ，ｊ）に対応付けられる。具体的には図３に示すように、第１画像データＩＭＧ１と第２画像データＩＭＧ２を同じサイズにスケーリングした状態で、それらを重ねたときに、第２画像データＩＭＧ２の任意の画素Ｐｍ（ｉ，ｊ）には、第１画像データＩＭＧ１のうち複数Ｌの画素ＰＢがオーバーラップする。この画素Ｐｍ（ｉ，ｊ）とオーバーラップするＬ個の画素ＰＢの集合が、ピクセル群ＰＧ（ｉ，ｊ）である。
第２画像データＩＭＧ２のある画素Ｐｍ（ｉ，ｊ）の正規化された階調値をｋとする。またその画素Ｐｍ（ｉ，ｊ）に対応するピクセル群ＰＧ（ｉ，ｊ）に含まれるＬ個の画素のうち、値が１である画素の個数をｌとする。このとき、ｌ＝Ｌ×ｋが成り立つ。なお、（Ｌ×ｋ）が非整数の場合、ｌは、（i）Ｌ×ｋと最近接する整数、（ii）Ｌ×ｋの小数点以下を切り捨てた整数、あるいは（iii）Ｌ×ｋの小数点以下を切り上げた整数、あるいは（iv）Ｌ×ｋの小数点第１位を四捨五入した整数のいずれかとすればよい。
図４は、第１画像データＩＭＧ１と第２画像データＩＭＧ２の具体例を示す図である。この例では、ｘ＝５，ｙ＝４，Ｘ＝１５，Ｙ＝１２であって、ａ＝ｂ＝３であり、１つのピクセル群ＰＧには、Ｌ（＝ａ×ｂ）個の画素ＰＢが含まれる。なお、実際の画素数ｘ、ｙはそれぞれ、数十～数百のオーダーである。
図４において、第２画像データＩＭＧ２の階調数は４であり、正規化された階調値ｋは０，１／３，２／３，１のいずれかをとるとする。
第２画像データＩＭＧ２の画素Ｐｍ（１，１）の階調値はｋ＝１であり、対応する第１画像データＩＭＧ１のピクセル群ＰＧ（１，１）は、Ｌ個のうちＬ個すべての値が１である。
たとえば第２画像データＩＭＧ２の画素Ｐｍ（３，２）の階調値ｋは１／３であり、対応する第１画像データＩＭＧ１のピクセル群ＰＧ（３，２）は、Ｌ個の画素のうちｌ＝３個が１であり、６個が０である。
また第２画像データＩＭＧ２の画素Ｐｍ（２，１）の階調値ｋは０であり、対応する第１画像データＩＭＧ１のピクセル群ＰＧ（２，１）のうち、値が１の画素の数ｌは０であり、Ｌ個すべてが０となる。
第１画像データＩＭＧ１を、第２画像データＩＭＧ２の画素数の画像としてみたときには、言い換えると第１画像データＩＭＧ１を、ピクセル群ＰＧを１画素とする画像としてみたときには、ピクセル群ＰＧの実効的な値は、それに含まれる複数の画素の値の平均であり、したがって対応する第２画像データＩＭＧ２の画素Ｐｍの値に応じて多階調制御されている。
このような第１画像データＩＭＧ１にもとづいてパターニングされた参照光Ｓ１を物体に照射し、反射光から得られる検出強度ｂと、第２画像データＩＭＧ２との相関計算を行うことで、高画質を得ることができる。
ピクセル群ＰＧ内の値１と０の配置を説明する。コントローラ１１６は、所定の配置規則にしたがって、ピクセル群ＰＧ内の値１，０を配置してもよい。図５（ａ）、（ｂ）は、配置規則の例を示す図である。これらの例ではピクセル群ＰＧは５×５＝２５画素を含む。図５（ａ）に示す第１配置規則は、ピクセル群の中央の画素から優先的に１が埋まるように定められる。光源１１２が生成する光ビームＳ０が大きな広がり角を有する場合、各ピクセル群ＰＧで反射された光束が広がり、隣接するピクセル群同士で干渉するおそれがある。この場合に、中央に値１の画素を集中させることで、隣接するピクセル群の干渉を低減できる。
図５（ｂ）の第２配置規則は、ピクセル群ＰＧ内において、１が均一に配置されるように定められる。
あるいは、配置規則を定めずに、１と０をランダムに配置してもよい。
以上がイメージング装置１００の構成である。続いてイメージング装置１００の動作を説明する。イメージング装置１００の利点は、比較技術との対比によって明確となる。そこで比較技術におけるセンシングを説明する。
比較技術では、パターニングデバイスを、ｘ×ｙの画素数の、ｍ階調の画像データにもとづいて制御する。また相関計算も、ｘ×ｙの画素数でｍ階調の同じ画像データにもとづいて制御する。
図６は、比較技術に係るイメージング装置の１フレームのセンシングを示すタイムチャートである。１枚の復元画像Ｇ（ｘ，ｙ）を生成するためにＭ回のパターン照射が行われる。比較技術では、相関計算に、多階調の画像データが使用され、パターニングデバイスの実効的な画素数は、画像データの画素数と等しい。パターニングデバイスは、多階調モード（マルチビットモード）で動作する。
ＤＭＤの各画素（マイクロミラー）は、図２に示すようにオン状態とオフ状態の２状態を取り得る。したがって、多階調のＤＭＤは、オン状態とオフ状態を高速にスイッチングし、オン状態とオフ状態の時間比率（デューティ比）を変化させることにより多階調を実現する。かかる理由から、多階調モードのＤＭＤは、１ビットモードのＤＭＤよりもフレーム周期が長くなる。
したがって比較技術では、１つの画像データにもとづく参照光Ｓ１の照射時間が長くなる。１回目の参照光Ｓ１の照射が完了すると、検出強度ｂ１が得られ、２回目の参照光Ｓ１の照射に移行する。Ｍ回の照射が完了し、検出強度ｂ１～ｂＭが得られると、相関計算が行われ、復元画像Ｇ（ｘ，ｙ）が得られる。１枚の復元画像Ｇ（ｘ、ｙ）の生成に要する時間は、参照光Ｓ１の照射時間が長いほど、長くなる。
続いて図１のイメージング装置１００の動作を説明する。図７は、図１のイメージング装置１００の１フレームのセンシングを示すタイムチャートである。本実施形態では、相関計算には、多階調・低画素数の第２画像データＩＭＧ２が使用される一方、パターニングデバイス１１４には、二階調・高画素数の第１画像データＩＭＧ１が使用される。
本実施形態では、パターニングデバイス１１４は１ビットモードで動作するため、多階調モードのようなデューティ比制御が不要である。したがって、ＤＭＤによる１回の参照光Ｓ１の照射時間が、比較技術に比べて短くなる。その結果、１枚の復元画像Ｇ（ｘ、ｙ）の生成に要する時間を、比較技術に比べて短縮でき、フレームレートを高めることができる。
また実施形態１によれば、参照光Ｓ１の強度分布は、ピクセル群ＰＧ単位で多階調制御されているため、比較技術と同等の画質を得ることができる。このことを確認するために行ったシミュレーションについて説明する。シミュレーションでは、ｘ＝ｙ＝３２，Ｘ＝Ｙ＝６４０とした。また第２画像データＩＭＧ２の階調数をｍ＝６階調としている。図８は、第２画像データＩＭＧ２と第１画像データＩＭＧ１の一例を示す図である。
図９は、シミュレーション結果を示す図である。シミュレーションは、Ｍ＝１０００，５０００，１００００，５００００の４通りについて行った。図９の上段には、比較技術について得られた結果が示される。図９の中段は、実施形態１に係る方法であって第１配置規則を用いた場合の結果が示される。図９の下段は、実施形態１に係る方法であって第２配置規則を用いた場合の結果が示される。本実施形態によれば、比較技術と同等の画質を得ることができることが分かる。
すなわち、実施形態１に係るイメージング装置１００によれば、高画質と高フレームレートを両立することができる。
続いて実施形態１に関連する変形例について説明する。
（変形例１．１）
実施形態では、第２画像データＩＭＧ２を構成する画素の大きさおよび形状を均一としたが、不均一としてもよい。すなわち局所的に画素サイズを大きくしてもよいし、小さくしてもよい。図１０（ａ）～（ｃ）は、変形例１．１に係る第２画像データＩＭＧ２を示す図である。たとえば復元画像の中央において高い解像度が必要な場合、図１０（ａ）に示すように、第２画像データＩＭＧ２の中央の画素の大きさを小さくすればよく、復元画像の下方において高い解像度が必要な場合、図１０（ｂ）に示すように、第２画像データＩＭＧ２の下方の画素の大きさを小さくすればよく。また図１０（ｃ）に示すように、第２画像データＩＭＧ２は、長方形の画素を含んでもよい。
（変形例１．２）
実施形態では、第２画像データＩＭＧ２を生成した後に、それを第１画像データＩＭＧ１に変換したが、順序を入れ替えてもよい。すなわち、１ビット二階調で第１画素数（Ｘ×Ｙ）のランダムな第１画像データＩＭＧ１を生成した後に、それを第２画像データＩＭＧ２に変換してもよい。この場合、第１画像データＩＭＧ１の、あるピクセル群ＰＧ（ｉ，ｊ）の画素数がＬであり、値が１である画素の個数がｌであるとき、対応する第２画像データＩＭＧ１の画素Ｐｍ（ｉ，ｊ）の値（正規化値）を、ｌ／Ｌとすればよい。
図１１は、変形例１．２に係る第１画像データＩＭＧ１と第２画像データＩＭＧ２を示す図である。図１１に示すように、画素数（Ｘ×Ｙ）、二階調の第１画像データＩＭＧ１から、画素数と階調数の組み合わせの異なる複数の第２画像データＩＭＧ２を生成することができる。言い換えれば、復元画像Ｇ（ｘ，ｙ）の解像度を、検出強度ｂ１～ｂＭの取得後においても柔軟に変更することができる。
（実施形態２）
図１２は、実施形態２に係るイメージング装置１００を示す図である。イメージング装置１００は、照明装置１１０、二次元イメージセンサ１２０、演算処理装置１３０を備える。
イメージング装置１００は、３つのモード（第１モード～第３モード）が切り替え可能に構成される。
照明装置１１０は、強度分布を制御可能な赤外の参照光Ｓ１を物体に照射する。たとえば照明装置１１０は、光源１１２、パターニングデバイス１１４およびパターン発生器１１６を含む。光源１１２は、均一な強度分布を有する光ビームＳ０を生成する。光源１１２は、レーザや発光ダイオードなどを用いてもよい。参照光Ｓ１の波長やスペクトルは特に限定されないが、本実施形態において赤外である。
パターニングデバイス１１４は、マトリクス状に配置される複数の画素を有し、複数の画素のオン、オフの組み合わせにもとづいて、光の強度分布Ｉを空間的に変調可能に構成される。本明細書においてオン状態の画素をオン画素、オフ状態の画素をオフ画素という。なお、以下の説明では理解の容易化のために、各画素は、オンとオフの２値（１，０）のみをとるものとするがその限りでなく、中間的な階調をとってもよい。
パターニングデバイス１１４としては、反射型のＤＭＤ（Digital Micromirror Device）や透過型の液晶デバイスを用いることができる。パターニングデバイス１１４には、パターン発生器１１６が発生するパターニングデータＰＴＮ（画像データ）が与えられている。
パターン発生器１１６は、参照光Ｓ１の強度分布Ｉｒを指定するパターニングデータＰＴＮｒを発生する。パターン発生器１１６の動作およびパターニングデータＰＴＮｒは、モードに応じて異なる。パターン発生器１１６は、演算処理装置１３０の内部に実装してもよい。
二次元イメージセンサ１２０は、赤外線領域および可視光領域に感度を有している。二次元イメージセンサ１２０は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサやＣＣＤ（Charge Coupled Device）である。
演算処理装置１３０は、二次元イメージセンサ１２０が撮影した画像ＩＭＧ０を処理する。演算処理装置１３０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、マイコンなどのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装することができる。演算処理装置１３０は、複数のプロセッサの組み合わせであってもよい。あるいは演算処理装置１３０はハードウェアのみで構成してもよい。
続いて、第１モードから第３モードについて説明する。
（第１モード）
第１モードにおいてイメージング装置１００は、量子レーダとして動作する。照明装置１１０は、疑似熱光源として動作し、実質的にランダムとみなしうる強度分布Ｉ（ｘ，ｙ）を有する参照光Ｓ１を生成し、物体ＯＢＪに照射する。第１モードにおいてパターン発生器１１６は、実質的にランダムなＭ個のパターニングデータＰＴＮ１～ＰＴＮＭのシーケンスを生成する。したがって物体ＯＢＪへの参照光Ｓ１の照射は、その強度分布を、複数のＭ個のパターニングデータＰＴＮ１～ＰＴＮＭのシーケンスに応じて変化させながら行われる。
二次元イメージセンサ１２０は、複数のパターニングデータＰＴＮ１～ＰＴＮＭにもとづくＭ回の参照光Ｓ１の照射に対応して、複数の画像ＩＭＧ０１～ＩＭＧＭを撮影する。第１モードにおいて二次元イメージセンサ１２０には赤外光のみが入射し、可視光はフィルタによって除去される。
たとえばイメージング装置１００は、二次元イメージセンサ１２０の入射光路上に設けられた可視光フィルタと赤外線フィルタを備え、モードに応じて、可視光フィルタと赤外線フィルタを機械的に入れ替えるようにしてもよい。
あるいはイメージング装置１００は、可視光フィルタを透過して二次元イメージセンサ１２０に入射する光路と、赤外線フィルタを透過して二次元イメージセンサ１２０に入射する光路と、を含み、モードに応じて光路を選択可能に構成されてもよい。あるいは、波長可変フィルタを用い、モードに応じて透過波長を制御してもよい。
演算処理装置１３０は、複数の画像ＩＭＧ０１～ＩＭＧ０Ｍそれぞれについて、複数の画素の積算値に応じた光検出強度ｂ１～ｂＭを計算する。もっとも典型的には、演算処理装置１３０は、各画像ＩＭＧ０ｒの全画素の値を積算（あるいは平均）し、光検出強度ｂｒを計算することができる。
そして演算処理装置１３０は、複数の画像ＩＭＧ０１～ＩＭＧ０Ｍに対応する複数の光検出強度ｂ１～ｂＭと複数のパターニングデータＰＴＮ１～ＰＴＮＭとの相関計算を行い、復元画像Ｇ（ｘ，ｙ）を生成する。
相関には、式（１）の相関関数が用いられる。Ｉｒは、ｒ番目の強度分布であり、ｂｒはｒ番目の検出強度の値である。
Figure 0007472136000002
演算処理装置１３０は、復元画像Ｇ（ｘ，ｙ）にもとづく第１出力画像ＩＭＧ１を出力する。
（ii）第２モード
演算処理装置１３０は、二次元イメージセンサ１２０が撮影した画像ＩＭＧ０にもとづく第２出力画像ＩＭＧ２を出力するように構成される。より具体的には照明装置１１０は均一な強度分布を有する赤外光の参照光Ｓ１を照射する。二次元イメージセンサ１２０は、物体ＯＢＪからの参照光Ｓ１の反射光Ｓ２を検出するアクティブセンサとして動作する。第２モードにおいても二次元イメージセンサ１２０には赤外光のみが入射し、可視光はフィルタによって除去される。第２モードにおいて、イメージング装置１００は暗視カメラとして動作する。
（ii）第３モード
演算処理装置１３０は、二次元イメージセンサ１２０が撮影した画像ＩＭＧ０にもとづく第３出力画像ＩＭＧ３を出力するように構成される。第３モードと第２モードとでは、照明装置１１０の動作が異なっており、第３モードにおいて照明装置１１０は発光を停止する。また第３モードにおいて二次元イメージセンサ１２０には可視光のみが入射し、赤外光はフィルタによって除去される。すなわち、第３モードにおいてイメージング装置１００は可視光のパッシブセンサ、言い換えれば一般的なカメラとして動作する。
演算処理装置１３０は、視界の良・不良を判定可能に構成される。視界の良否の判定手法は特に限定されないが、演算処理装置１３０は、外部情報にもとづいて、視界の良否を判定してもよい。たとえば信号機等の交通インフラに設置したセンサから、霧発生情報を取得してもよいし、ダイナミックマップの準動的情報（狭域気象情報）を取得してもよい。
あるいは演算処理装置１３０は、二次元イメージセンサ１２０の画像ＩＭＧ０を画像処理することにより、視界の良否を判定してもよい。一例として、（i）機械学習にもとづくクラス分類や（ii）白線の認知可能距離、（iii）先行車の距離情報と輝度の関係にもとづいて、視認性を判定してもよい。あるいは水滴の均一性と大きさにもとづいて判定してもよい。
あるいは、同じシーンで第１モードと第２モードを切り替えて撮影し、各モードで得られる画像ＩＭＧ１，ＩＭＧ２の差分にもとづいて視界の良否を判定してもよい。
あるいは、演算処理装置１３０は、運転者からの指示入力にもとづいて、視界の良否を判定してもよい。
あるいはイメージング装置１００は、視界の良否の判断材料を提供しうるセンサを備え、演算処理装置１３０は、このセンサの出力にもとづいて視界の良否を判定してもよい。たとえば、パルス光を照射し、反射光強度を検出するセンサを用いてもよいし、視程計を用いてもよい。
演算処理装置１３０は、視界の良否に加えて、周囲の明るさを判定可能に構成される。たとえば演算処理装置１３０は図示しない照度センサと接続されており、照度センサの出力にもとづいて明るさを判定してもよい。あるいは時間帯やＧＰＳ情報に基づいて周囲の明るさを推定してもよい。
上述の第１モードから第３モードは、視界の良否および周囲の明るさにもとづいて選択される。図１３は、図１２のイメージング装置１００の動作のフローチャートである。
視界の良否が判定される（Ｓ１００）。そして視界が悪いときには（Ｓ１００のＮ）、第１モードが選択され（Ｓ１０２）、イメージング装置１００は量子レーダとして動作する。
視界が良好なときには（Ｓ１００のＹ）、周囲の明るさが判定される（Ｓ１０４）。そして周囲が暗いときには（Ｓ１０４のＮ）、第２モードが選択され（Ｓ１０６）、イメージング装置１００は暗視カメラとして動作する。周囲が明るいときには（Ｓ１０４のＹ）、第３モード（Ｓ１０８）が選択され、イメージング装置１００は通常の可視光カメラとして動作する。
図１４は、第１モード、第２モード、第３モードにおける照明装置１１０、二次元イメージセンサ１２０、演算処理装置１３０の状態および処理を示す図である。第１モードでは、照明装置１１０はランダムな強度分布の参照光を照射する。また二次元イメージセンサ１２０の検出波長は参照光と同じ赤外であり、全画素が合成され、仮想的にシングルピクセルの光検出器として動作する。演算処理装置１３０は、相関計算により画像を復元する。
第２モードでは、照明装置１１０は均一な強度分布の参照光を照射する。また二次元イメージセンサ１２０の検出波長は参照光と同じ赤外である。二次元イメージセンサ１２０は、物体からの赤外の反射光を撮影する。
第３モードでは、照明装置１１０はオフとなる。二次元イメージセンサ１２０の検出波長は可視光領域であり、物体が、環境光（主として太陽光）を反射した光を撮影する。
以上がイメージング装置１００の動作である。このイメージング装置１００は、視界が悪い状態では第１モードを選択して、量子レーダとして動作させることで、通常のカメラでは検出しにくい物体を検出することができる。また視界が良い状態では、第２モードあるいは第３モードを選択することで、高いフレームレートで画像を生成することができる。すなわちイメージング装置１００は、量子レーダと二次元イメージセンサの利点を併せ持つことができる。
また、第１モード～第３モードで、二次元イメージセンサ１２０および図示しない光学系を共有できるため、ハードウェアのコストを下げることができ、さらに３つのモードで同じ画角の画像を得ることができる。また３つのモード間の視差も存在しないという利点がある。
続いて、ハイブリッドモードを説明する。イメージング装置１００は、第１モードと第２モードの組み合わせであるハイブリッドモードをサポートできる。
図１５（ａ）～（ｃ）は、ハイブリッドモードを説明する図である。図１５（ａ）は、ハイブリッドモードが適用される走行シーンの一例を示す。この例では、中央に濃い霧が発生しており部分的に視界が悪くなっており、その他の部分の視界は良好である。イメージング装置１００は、視界が悪い範囲について、第１モードで動作し、視界が良好な範囲について第２モードで動作する。
ハイブリッドモードにおいて照明装置１１０は、参照光Ｓ１の第１部分Ｘの強度分布をランダムに変化させ、参照光Ｓ１の第２部分Ｙの強度分布を固定して均一照射する。
図１５（ｂ）には、二次元イメージセンサ１２０が撮影する画像ＩＭＧ０ｒを示す図である。一枚の画像ＩＭＧ０ｒにおいて、第１部分Ｘに対応する領域Ｒｘには、ランダムな強度分布を有する参照光Ｓ１を、物体ＯＢＪ３が反射した光が写っている。
一方で、画像ＩＭＧ０ｒの第２部分Ｙに対応する領域Ｒｙに注目すると、イメージング装置１００の前方に存在する物体ＯＢＪ１，ＯＢＪ２が、均一な参照光Ｓ０を反射した光が写る。つまり領域Ｒｙは通常の暗視カメラである。
演算処理装置１３０は、画像ＩＭＧ０ｒの参照光Ｓ１の第１部分Ｘの照射範囲Ｒｘについて、複数の画像ＩＭＧ０１～ＩＭＧＭについて、第１モードで説明した相関計算を行い、第１出力画像ＩＭＧ１＝Ｇ（ｘ，ｙ）を復元する。すなわち、各画像ＩＭＧ０ｒについて、照射範囲Ｒｘの画素値を積算し、光検出強度ｂｒを計算する。そして式（１）にもとづく相関計算により第１出力画像Ｇ（ｘ，ｙ）を復元する。
図１５（ｃ）には、ハイブリッドモードにおいて最終的にえられる画像ＩＭＧ４が示される。この画像ＩＭＧ４は、中央部分に、第１出力画像Ｇ（ｘ，ｙ）を含み、周囲に第２出力画像ＩＭＧ２を含む。第１出力画像Ｇ（ｘ，ｙ）には、霧の向こう側に存在する物体ＯＢＪ３の形状が写っている。
このようにハイブリッドモードによれば、前方の一部分の視界が悪いような状況において、視界が悪い領域のみ、量子レーダとして動作させ、視界が良好な部分は、暗視カメラとして動作させることができる。
なおハイブリッドモードは、第１モードと第３モードの組み合わせでも動作しうる。この場合、第２部分Ｙについては、参照光Ｓ１の強度はゼロとなる。
続いて実施形態２に関連する変形例を説明する。
（変形例２．１）
実施形態２では、照明装置１１０を、光源１１２とパターニングデバイス１１４の組み合わせで構成したがその限りでない。たとえば照明装置１１０は、マトリクス状に配置される複数の半導体光源（ＬＥＤ（発光ダイオード）やＬＤ（レーザダイオード））のアレイで構成し、個々の半導体光源のオン、オフ（あるいは輝度）を制御可能に構成してもよい。
（変形例２．２）
実施形態では、第１～第３モードをサポートしたが、イメージング装置１００は、第１モードと第２モードのみ、あるいは第１モードと第３モードのみをサポートしてもよい。
（変形例２．３）
イメージング装置１００が第１モード（あるいはハイブリッドモード）で動作する際に、二次元イメージセンサ１２０が撮影した画像ＩＭＧ０の一部分の画素値が飽和した場合、飽和した画素を除外して相関計算を行うようにしてもよい。従来のシングルピクセルの光検出器を用いたゴーストイメージングでは、光検出器の出力が飽和すると、画像を復元できなくなる。これに対して二次元イメージセンサ１２０を用いた量子レーダでは、飽和した画素を除外することにより、その他の部分については、画像を復元することが可能となる。
（変形例２．４）
実施形態では、第３モードにおいて、二次元イメージセンサ１２０によって可視光画像を撮影したがその限りでなく、二次元イメージセンサ１２０は赤外線画像を撮影してもよい。すなわちイメージング装置１００を、赤外線のパッシブセンサとして動作させてもよい。
（変形例２．５）
複数のモードの切りかえは、運転者がマニュアルで操作するようにしてもよい。
（変形例６）
あるいは、周囲の明るさや霧の有無等にかかわらず、複数のモード（第１モード～第３モード）を周期的に自動で切り替えてもよい。
（用途）
続いてイメージング装置１００の用途を説明する。図１６は、物体識別システム１０のブロック図である。この物体識別システム１０は、自動車やバイクなどの車両に搭載され、車両の周囲に存在する物体ＯＢＪの種類（カテゴリ）を判定する。
物体識別システム１０は、イメージング装置１００と、演算処理装置４０を備える。イメージング装置１００は、上述のように、物体ＯＢＪに参照光Ｓ１を照射し、反射光Ｓ２を測定することにより、物体ＯＢＪの復元画像Ｇを生成する。
演算処理装置４０は、イメージング装置１００の出力画像Ｇを処理し、物体ＯＢＪの位置および種類（カテゴリ）を判定する。
演算処理装置４０の分類器４２は、画像Ｇを入力として受け、それに含まれる物体ＯＢＪの位置および種類を判定する。分類器４２は、機械学習によって生成されたモデルにもとづいて実装される。分類器４２のアルゴリズムは特に限定されないが、ＹＯＬＯ（You Only Look Once）、ＳＳＤ（Single Shot MultiBox Detector）、R-CNN（Region-based Convolutional Neural Network）、SPPnet（Spatial Pyramid Pooling）、Faster R-CNN、DSSD（Deconvolution -SSD）、Mask R-CNNなどを採用することができ、あるいは、将来開発されるアルゴリズムを採用できる。
以上が物体識別システム１０の構成である。物体識別システム１０のセンサとして、イメージング装置１００を用いることで、以下の利点を得ることができる。
イメージング装置１００すなわち量子レーダカメラを用いることで、ノイズ耐性が格段に高まる。たとえば、降雨時、降雪時、あるいは霧の中を走行する場合、肉眼では物体ＯＢＪを認識しにくいが、イメージング装置１００を用いることで、雨、雪、霧の影響を受けずに、物体ＯＢＪの復元画像Ｇを得ることができる。
図１７は、物体識別システム１０を備える自動車を示す図である。自動車３００は、前照灯３０２Ｌ，３０２Ｒを備える。イメージング装置１００は、前照灯３０２Ｌ，３０２Ｒの少なくとも一方に内蔵される。前照灯３０２は、車体の最も先端に位置しており、周囲の物体を検出する上で、イメージング装置１００の設置箇所として最も有利である。
図１８は、物体検出システム２１０を備える車両用灯具２００を示すブロック図である。車両用灯具２００は、車両側ＥＣＵ３０４とともに灯具システム３１０を構成する。車両用灯具２００は、光源２０２、点灯回路２０４、光学系２０６を備える。さらに車両用灯具２００には、物体検出システム２１０が設けられる。物体検出システム２１０は、上述の物体識別システム１０に対応しており、イメージング装置１００および演算処理装置４０を含む。
演算処理装置４０が検出した物体ＯＢＪに関する情報は、車両用灯具２００の配光制御に利用してもよい。具体的には、灯具側ＥＣＵ２０８は、演算処理装置４０が生成する物体ＯＢＪの種類とその位置に関する情報にもとづいて、適切な配光パターンを生成する。点灯回路２０４および光学系２０６は、灯具側ＥＣＵ２０８が生成した配光パターンが得られるように動作する。
また演算処理装置４０が検出した物体ＯＢＪに関する情報は、車両側ＥＣＵ３０４に送信してもよい。車両側ＥＣＵは、この情報にもとづいて、自動運転を行ってもよい。
なおイメージング装置１００の用途は車載に限定されず、その他の用途にも適用できる。
実施形態にもとづき、具体的な語句を用いて本発明を説明したが、実施形態は、本発明の原理、応用の一側面を示しているにすぎず、実施形態には、請求の範囲に規定された本発明の思想を逸脱しない範囲において、多くの変形例や配置の変更が認められる。
本発明は、イメージング装置に関する。
ＯＢＪ 物体
１０ 物体識別システム
４０ 演算処理装置
４２ 分類器
１００ イメージング装置
１１０ 照明装置
１１２ 光源
１１４ パターニングデバイス
１１６ コントローラ
１２０ 光検出器
１３０ 演算処理装置
１３４ 再構成処理部
２００ 車両用灯具
２０２ 光源
２０４ 点灯回路
２０６ 光学系
３００ 自動車
３０２ 前照灯
３１０ 灯具システム
３０４ 車両側ＥＣＵ
ＩＭＧ１ 第１画像データ
ＩＭＧ２ 第２画像データ

Claims (11)

  1. 相関計算を利用したイメージング装置であって、
    均一な強度分布を有する光ビームを生成する光源と、
    二階調の第１画像データに応じて、前記光ビームの強度分布を変調するパターニングデバイスと、
    物体からの反射光を測定する光検出器と、
    前記光検出器の出力にもとづく検出強度と、ｍ階調（ｍ≧２）の第２画像データとの相関計算を行い、前記物体の復元画像を再構成する演算処理装置と、
    を備え、
    前記第１画像データの画素数は前記第２画像データの画素数より多く、
    前記第２画像データの１画素は、前記第１画像データの複数Ｌ個の画素を含むピクセル群に対応付けられ、
    前記第２画像データのある画素の正規化された階調値をｋ、それと対応する前記ピクセル群に含まれる値が１である画素の個数をｌとするとき、ｌ＝Ｌ×ｋが成り立つことを特徴とするイメージング装置。
  2. 前記第２画像データを生成するコントローラをさらに備え、
    前記コントローラは、前記第２画像データを変換して、前記第１画像データを生成することを特徴とする請求項１に記載のイメージング装置。
  3. 前記コントローラは、所定の配置規則にしたがって、前記ピクセル群に値１，０を割り当てることを特徴とする請求項２に記載のイメージング装置。
  4. 前記配置規則は、前記ピクセル群の中央の画素から優先的に値１が埋まるように定められることを特徴とする請求項３に記載のイメージング装置。
  5. 前記配置規則は、前記ピクセル群において、値１が均一に配置されるように定められることを特徴とする請求項３に記載のイメージング装置。
  6. 前記ピクセル群において、値１と０はランダムに配置されることを特徴とする請求項２に記載のイメージング装置。
  7. 前記第２画像データを構成する画素のサイズは、位置に応じて異なることを特徴とする請求項１から６のいずれかに記載のイメージング装置。
  8. 前記パターニングデバイスはＤＭＤ（Digital Micromirror Device）であることを特徴とする請求項１から７のいずれかに記載のイメージング装置。
  9. 請求項１から８のいずれかに記載のイメージング装置を備えることを特徴とする車両用灯具。
  10. 請求項１から８のいずれかに記載のイメージング装置を備えることを特徴とする車両。
  11. 相関計算を利用したイメージング装置に用いられる照明装置であって、
    均一な強度分布を有する光ビームを生成する光源と、
    第１画素数の画素のアレイを含み、前記第１画素数を有し、かつ二階調の第１画像データに応じて前記光ビームの強度分布を変調するパターニングデバイスと、
    前記第１画素数より少ない第２画素数を有し、ランダムなｍ階調（ｍ≧２）の第２画像データを生成して相関計算に提供するとともに、前記第２画像データを前記第１画像データに変換し、前記パターニングデバイスに供給するコントローラと、
    を備えることを特徴とする照明装置。
JP2021533048A 2019-07-12 2020-07-10 イメージング装置およびその照明装置、車両、車両用灯具 Active JP7472136B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2019130478 2019-07-12
JP2019130478 2019-07-12
JP2019131347 2019-07-16
JP2019131347 2019-07-16
PCT/JP2020/027092 WO2021010339A1 (ja) 2019-07-12 2020-07-10 イメージング装置およびその照明装置、車両、車両用灯具

Publications (2)

Publication Number Publication Date
JPWO2021010339A1 JPWO2021010339A1 (ja) 2021-01-21
JP7472136B2 true JP7472136B2 (ja) 2024-04-22

Family

ID=74210943

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021533048A Active JP7472136B2 (ja) 2019-07-12 2020-07-10 イメージング装置およびその照明装置、車両、車両用灯具

Country Status (5)

Country Link
US (1) US12047667B2 (ja)
EP (1) EP3998767B1 (ja)
JP (1) JP7472136B2 (ja)
CN (1) CN114128245B (ja)
WO (1) WO2021010339A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4035942A4 (en) * 2019-09-24 2022-11-30 Sony Semiconductor Solutions Corporation IMAGING DEVICE
JPWO2023085329A1 (ja) * 2021-11-12 2023-05-19
US20230186593A1 (en) * 2021-12-13 2023-06-15 Nvidia Corporation Glare mitigation using image contrast analysis for autonomous systems and applications

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104570000A (zh) 2015-01-07 2015-04-29 太原理工大学 一种基于混沌压缩编码的光学综合孔径成像系统及方法
JP2017525952A (ja) 2014-07-31 2017-09-07 レイセオン カンパニー 線形モード計算センシングレーザーレーダー
WO2017187484A1 (ja) 2016-04-25 2017-11-02 株式会社日立製作所 物体撮像装置
CN108363069A (zh) 2018-01-18 2018-08-03 中国科学院理化技术研究所 基于分布式半导体激光阵列的关联成像装置及方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003252253A1 (en) * 2002-07-26 2004-02-16 Olympus Optical Co., Ltd. Image processing system
US20050133879A1 (en) * 2003-04-07 2005-06-23 Takumi Yamaguti Solid-state imaging device, signal processing device, camera, and spectral device
JP5092613B2 (ja) * 2007-08-06 2012-12-05 日産自動車株式会社 距離計測方法および装置、ならびに距離計測装置を備えた車両
JP2013117575A (ja) * 2011-12-01 2013-06-13 Nippon Hoso Kyokai <Nhk> 立体画像表示装置
JP6019621B2 (ja) * 2012-03-01 2016-11-02 日産自動車株式会社 距離計測装置
CN103363924B (zh) * 2013-07-15 2016-02-03 中国科学院空间科学与应用研究中心 一种压缩的三维计算鬼成像系统及方法
JP2015045587A (ja) * 2013-08-28 2015-03-12 株式会社キーエンス 三次元画像処理装置、三次元画像処理装置の状態変化判定方法、三次元画像処理装置の状態変化判定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
CN106455974B (zh) * 2014-06-20 2018-12-14 拉姆伯斯公司 用于有透镜和无透镜的光学感测的系统和方法
JP6528264B2 (ja) * 2015-01-27 2019-06-12 国立研究開発法人理化学研究所 イメージング装置及び方法
CN107229056A (zh) * 2016-03-23 2017-10-03 松下知识产权经营株式会社 图像处理装置、图像处理方法以及记录介质
JP6741467B2 (ja) * 2016-05-12 2020-08-19 株式会社小糸製作所 車両用灯具
JP6685887B2 (ja) * 2016-12-13 2020-04-22 株式会社日立製作所 撮像装置
JP6765687B2 (ja) * 2016-12-29 2020-10-07 国立大学法人 東京大学 イメージング装置及び方法
WO2018179093A1 (ja) * 2017-03-28 2018-10-04 マクセル株式会社 車載用前照灯および光の投射方法
JP6412673B1 (ja) 2017-07-21 2018-10-24 学校法人玉川学園 画像処理装置及び方法、並びに、プログラム
JP6826972B2 (ja) * 2017-11-16 2021-02-10 株式会社日立製作所 撮像装置
CN109343078A (zh) * 2018-11-27 2019-02-15 北京理工大学 一种具有目标导向性切片三维鬼成像实现方法
WO2021030178A1 (en) * 2019-08-09 2021-02-18 Clearview Ai, Inc. Methods for providing information about a person based on facial recognition

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017525952A (ja) 2014-07-31 2017-09-07 レイセオン カンパニー 線形モード計算センシングレーザーレーダー
CN104570000A (zh) 2015-01-07 2015-04-29 太原理工大学 一种基于混沌压缩编码的光学综合孔径成像系统及方法
WO2017187484A1 (ja) 2016-04-25 2017-11-02 株式会社日立製作所 物体撮像装置
CN108363069A (zh) 2018-01-18 2018-08-03 中国科学院理化技术研究所 基于分布式半导体激光阵列的关联成像装置及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MEI, Xiaodong et al.，Experimental demonstration of Vehicle-borne Near Infrared Three-Dimensional Ghost Imaging LiDAR，2019 Conference on Lasers and Electro-Optics (CLEO) [online]，米国，IEEE，2019年07月01日，インターネット:<URL: https://ieeexplore.ieee.org/document/8749837><DOI: 10.1364/CLEO_AT.2019.JW2A.7>
廣田修 外１名，自動運転用の量子及び古典レーダーカメラと霧の効果，情報理論とその応用シンポジウム予稿集[CD-ROM]，日本，2017年11月，Pages 353-358

Also Published As

Publication number Publication date
EP3998767B1 (en) 2023-10-11
EP3998767A4 (en) 2022-08-31
CN114128245B (zh) 2024-08-20
WO2021010339A1 (ja) 2021-01-21
CN114128245A (zh) 2022-03-01
EP3998767A1 (en) 2022-05-18
US12047667B2 (en) 2024-07-23
US20220132022A1 (en) 2022-04-28
JPWO2021010339A1 (ja) 2021-01-21

Similar Documents

Publication Publication Date Title
JP7472136B2 (ja) イメージング装置およびその照明装置、車両、車両用灯具
CN113227838B (zh) 车辆用灯具及车辆
JP7463297B2 (ja) 車載用イメージング装置、車両用灯具、自動車
JP2004538545A (ja) 車両のヘッドランプまたは他の車両機器を制御するための画像処理システム
WO2020218282A1 (ja) イメージング装置、車両用灯具、自動車、イメージング方法
CN113383280A (zh) 用于经由雾的图像增强的弹道光调制
JP7252755B2 (ja) アクティブセンサ、物体識別システム、車両、車両用灯具
US20230009034A1 (en) Imaging apparatus
WO2022091972A1 (ja) イメージング装置および車両用灯具、車両
WO2021079810A1 (ja) イメージング装置、車両用灯具、車両、イメージング方法
CN111965664B (zh) 光发射装置、成像系统和发射光调制方法
CN114556136A (zh) 照明设备、光检测设备以及方法
WO2023074759A1 (ja) イメージング装置、車両用灯具、車両
WO2022270476A1 (ja) イメージング装置および車両用灯具、車両
JP7395511B2 (ja) イメージング装置、その演算処理装置、車両用灯具、車両、センシング方法
JP7524207B2 (ja) イメージング装置、車両用灯具、車両、イメージング方法
WO2023085329A1 (ja) イメージングシステム、センサユニット、車両用灯具、車両
WO2021015208A1 (ja) アクティブセンサ、ゲーティングカメラ、自動車、車両用灯具
WO2022044961A1 (ja) イメージング装置、イメージング方法および車両用灯具、車両
WO2022102775A1 (ja) センシング装置、車両用灯具、車両
WO2023013777A1 (ja) ゲーティングカメラ、車両用センシングシステム、車両用灯具
WO2022014416A1 (ja) ゲーティングカメラ、車両用センシングシステム、車両用灯具
JP7298562B2 (ja) 車両の周辺検知装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240410

R150 Certificate of patent or registration of utility model

Ref document number: 7472136

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150