JP6862255B2 - 撮像装置、撮像方法および撮像プログラム - Google Patents

撮像装置、撮像方法および撮像プログラム Download PDF

Info

Publication number
JP6862255B2
JP6862255B2 JP2017079119A JP2017079119A JP6862255B2 JP 6862255 B2 JP6862255 B2 JP 6862255B2 JP 2017079119 A JP2017079119 A JP 2017079119A JP 2017079119 A JP2017079119 A JP 2017079119A JP 6862255 B2 JP6862255 B2 JP 6862255B2
Authority
JP
Japan
Prior art keywords
light
imaging
subject
value
objective function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017079119A
Other languages
English (en)
Other versions
JP2018182521A5 (ja
JP2018182521A (ja
Inventor
考洋 増村
考洋 増村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017079119A priority Critical patent/JP6862255B2/ja
Priority to US15/945,056 priority patent/US10757336B2/en
Publication of JP2018182521A publication Critical patent/JP2018182521A/ja
Publication of JP2018182521A5 publication Critical patent/JP2018182521A5/ja
Application granted granted Critical
Publication of JP6862255B2 publication Critical patent/JP6862255B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/136—Liquid crystal cells structurally associated with a semi-conducting layer or substrate, e.g. cells forming part of an integrated circuit
    • G02F1/1362—Active matrix addressed cells
    • G02F1/136277—Active matrix addressed cells formed on a semiconductor substrate, e.g. of silicon
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/671—Focus control based on electronic image sensor signals in combination with active ranging signals, e.g. using light or sound signals emitted toward objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F2203/00—Function characteristic
    • G02F2203/11—Function characteristic involving infrared radiation
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F2203/00—Function characteristic
    • G02F2203/12—Function characteristic spatial light modulator
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F2203/00—Function characteristic
    • G02F2203/50—Phase-only modulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Nonlinear Science (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Mathematical Physics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Studio Devices (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Description

本発明は、撮像技術に関する。
大気中に存在する霧や煙等の微粒子や、大気による空間の屈折率の揺らぎ等に起因して生じる光の散乱の影響を低減することにより、被写体像の歪み成分を低減して撮像を行うことが可能な撮像装置が知られている。特許文献１および非特許文献１は、撮像装置として、光を被写体に向けて照射し、光が被写体で反射して戻ってきた瞬間のみ撮像を行うＧＡＩ（Gated Active Imaging）装置を開示している。霧等の散乱体により散乱した光と被写体で反射された光とでは撮像装置に戻ってくる時間が異なるため、光を発してから撮像を行うまでの遅延時間を適切に制御することで、散乱光による歪み成分を低減した撮像を行うことができる。
ただし、大気中の微粒子の濃度が高く光が散乱される量が多いと、被写体からの反射光（信号光）が微弱になり、反射光と同じ遅延時間で入射する散乱光も増加するため、撮像画像のＳＮ（Signal-to-Noise ratio）が劣化する。この問題に対して特許文献２は、被写体からの反射光と参照光を干渉させて測定したホログラムから反射光の波面を算出し、その位相共役波を空間光変調器によって生成し、位相共役波の時間反転性を利用してこれを散乱体越しに被写体に照射する手法を開示している。
また、非特許文献２は、蛍光顕微鏡において、散乱体に入射する光の波面を最適化処理を用いて空間光変調器により成形して、散乱体越しに蛍光サンプルに光を照射することで、位相共役波を用いる場合と同様の効果を得る方法を開示している。
特開平１１−１０２００１号公報 米国特許出願公開第２０１４／０２６８０９６号
Benjamin Gohler and Peter Lutzmann, "SWIR laser gated-viewing at Fraunhofer IOSB", Proc. of SPIE Vol. 9649 964902 (2015) I.M.Vellekoop and C. M. Aegerter, "Scattered light fluorescence microscopy: imaging through turbid layers", Optics Letters Vol.35,No.8 (2010)
しかしながら、特許文献２が開示する方法は、参照光を用いてホログラムを計測するために、複雑な光学系を設ける必要があり、また振動等のノイズに弱い。
一方、非特許文献２が開示する方法は、最適化処理を行う際の最適化のターゲット（目的関数）として、散乱光に対して容易かつ明確に区別できる蛍光の強度を用いることができる。しかし、この方法をＧＡＩ装置に適用しようしとても、蛍光のように散乱光と明確に区別できる光がないため、目的関数をどのように設定するかが課題となる。
本発明は、簡易な構成で、散乱が強い条件下でも高ＳＮで被写体を撮像することが可能な撮像装置装置等を提供する。
本発明の一側面としての撮像装置は、光源から被写体に向かう光の波面を成形する空間光変調手段と、該被写体の撮像を行って画像データを生成する撮像手段と、光源から光が出射してから撮像手段に撮像を行わせるまでの遅延時間を設定する制御手段とを有する。制御手段は、画像データにおける写体に対応するターゲット領域の輝度値に基づいて設定された目的関数の値が最大値又は最小値にするように空間光変調手段の最適化制御を行うことを特徴とする。
また、本発明の他の一側面としての撮像方法は、光源から被写体に向かう光の波面を成形する第１ステップと遅延時間を設定し、光源から光が出射してから該遅延時間が経過したタイミングで該被写体の撮像を行って画像データを生成する第２ステップと、該画像データにおける該被写体に対応するターゲット領域の輝度値を用いて設定された目的関数の値が最大値又は最小値に近づくように、第１ステップの最適化を行う第３ステップとを有することを特徴とする。
また、本発明の他の一側面としての撮像装置は、光源から被写体に向かう光の波面を成形する空間光変調手段と、該被写体の撮像を行って画像データを生成する撮像手段と、光源から光が出射してから撮像手段に撮像を行わせるまでの遅延時間を設定する制御手段とを有する。制御手段は、空間光変調手段により複数の基底パターンを用いて波面が成形された光のうち被写体を介した光の波面に基づいて透過行列を生成し、該光の波面が、画像データにおける被写体に対応するターゲット領域と透過行列とに基づいて得られた変調波面となるように空間光変調手段を制御することを特徴とする。
また、本発明の他の一側面としての撮像方法は、光源から被写体に向かう光の波面を成形する第１ステップと、遅延時間を設定し、光源から光が出射してから該遅延時間が経過したタイミングで該被写体の撮像を行って画像データを生成する第２ステップと、第１ステップにより複数の基底パターンを用いて波面が成形された光のうち該被写体を介した光の波面に基づいて透過行列を生成する第３ステップと、該光の波面が、該画像データにおける該被写体に対応するターゲット領域と透過行列とに基づいて得られた変調波面となるように第１ステップの変更を行う第４ステップとを有することを特徴とする。
なお、コンピュータに上記撮像方法に従う処理を実行させるコンピュータプログラムとしての撮像プログラムも、本発明の他の一側面を構成する。
本発明によれば、簡易な構成で、散乱が強い条件下でも高ＳＮで被写体を撮像することができる。
本発明の実施例１であるゲーテッドイメージング装置の構成を示す図。 実施例１における測定処理を示すフローチャート。 実施例１における（ａ）被写体、（ｂ）波面成形前のゲーテッドイメージング装置、（ｃ）２値化されたターゲット領域、（ｄ）波面成形後のＧＡＩ装置を示す図。 実施例１における波面成形処理を示すフローチャート。 実施例１における基底パターンを示す図。（ａ）セグメントを用いたパターン、（ｂ）ランダムパターンおよび（ｃ）アダマール基底を示す。 実施例１における複数のターゲット領域を示す図。 実施例１における照射光のスキャンを示す図。 本発明の実施例２であるゲーテッドイメージング装置の構成を示す図。 図８の構成の一部を示す図。
以下、本発明の実施例について図面を参照しながら説明する。
図１は、本発明の実施例１である、撮像装置としてのゲーテッドイメージング装置の構成を示している。ゲーテッドイメージング装置１００は、光源部１１０、カメラ部１２０、制御・処理部１３０および表示部１４０から構成される。カメラ部１２０が撮像手段に相当し、制御・処理部１３０が制御手段に相当する。
ゲーテッドイメージング装置１００は、大気中の散乱体２００越しに被写体３００を撮像する。散乱体２００は、霧、靄、煙、スモッグ、大きさがマイクロメーターサイズの土壌や粉塵等の大気中に浮遊する微粒子である。また、散乱体２００として、雪、雨および大気の温度分布のむらによる屈折率の揺らぎ等も含まれる。
光源部１１０は、主にレーザ光源１１１と空間光変調器（Spatial Light Modulator：空間光変調手段に相当し、以下ＳＬＭという）１１３とから構成される。レーザ光源１１１は、一般的にアイセーフレーザ（eye-safe laser）と呼ばれる波長が１．４〜１．８μｍである短波赤外（Short-Wavelength Infrared：ＳＷＩＲ）のパルス光ビーム（以下、単にパルス光という）を放出する。本実施例では、波長１．５μｍ、パルス幅１〜数１０ｎｓｅｃのパルス光である。ただし、撮像条件によっては、上記以外の波長帯域およびパルス幅であってもよい。また、パルスの繰り返し周波数は、例えば、数Ｈｚ〜数１００ｋＨｚの範囲で任意に選択することができる。
レーザ光源１１１からコリメートされて放出されたパルス光は、ミラー１１２で反射されてＳＬＭ１１３に入射する。パルス光のビームサイズは、ＳＬＭ１１３の有効変調領域（位相変調が可能な全画素領域）に収まるように設定されている。ＳＬＭ１１３は、例えば、Liquid Crystal on Silicon（ＬＣＯＳ）や、Digital Mirror Device（ＤＭＤ）を用いることができる。また、ＳＬＭ１１３として透過型の液晶を用いたデバイスであってもよい。ＳＬＭ１１３が偏光依存性のあるデバイスである場合には、ＳＬＭ１１３に入射する光の偏光方向を、ＳＬＭ１１３にて位相変調が行われる偏光方向と一致するように調整される。
ＳＬＭ１１３は、後述する最適化制御（最適化処理）が行われることによって画素ごと又は後述するセグメント領域ごとに入射したパルス光の位相を変調する。ＳＬＭ１１３にて位相変調され、かつ反射したパルス光１６０は、光学系１１４を通ってビームサイズや照射方向が調整されて光源部１１０から出射する。この際、必要に応じて、ガルバノミラーを用いてパルス光１６０を走査してもよい。パルス光１６０の出力強度は、被写体（人等の生物か無生物か）や被写体までの距離等の条件に応じて適切に調整される。例えば、出力強度は数１０〜数１００ｍＪの範囲である。
光源部１１０から発せられたパルス光１６０が大気中の散乱体２００を通過する際にはその一部が散乱光１６１となり、残りの光が被写体３００まで伝搬する。さらに、被写体３００で反射したパルス光が再び散乱体２００を通過する際にその一部が散乱光１７１となり、残りの光がカメラ部１２０に戻ってくる。被写体３００は、例えば１００ｍ〜数１０ｋｍの遠方に存在する。本実施例では、被写体３００に向けて照射するパルス光１６０を、上述したＳＷＩＲ帯域の光とする。これは、可視光よりも散乱を抑えられ、かつ被写体３００が人物の場合でも、安全基準上、可視光に比べて強い強度で照射できるからである。
カメラ部１２０は、波長１．５μｍの光を十分透過するカメラレンズ（撮像光学系）１２０ａと、同波長に感度を有するアレイセンサ１２０ｂと、画像生成部１２０ｃとにより構成される。カメラレンズ１２０ａは、被写体３００からのパルス光（反射光としての被写体光）を結像させる。カメラレンズ１２０ａの焦点距離は、被写体３００までの距離に応じて適宜選択される。被写体３００が上述した遠方に位置する場合は、例えば焦点距離１０００ｍｍ以上の望遠レンズが用いられる。アレイセンサ１２０ｂとしては、ＳＷＩＲ帯域に感度を有するＩｎＧａＡｓを用いたイメージセンサであり、カメラレンズ１２０ａにより形成された被写体像を光電変換（撮像）する。アレイセンサ１２０ｂにおけるシャッタ時間（ゲート時間）は、例えば、数１０ｎｓｅｃ〜数μｓｅｃの範囲で選択される。画像生成部１２０ｃは、被写体像を光電変換したアレイセンサ１２０ｂから出力された撮像信号を用いて撮像画像（画像データ）を生成する。
カメラ部１２０で生成された画像データは、制御・処理部１３０に転送される。パーソナルコンピュータ等のコンピュータにより構成される制御・処理部１３０は、後述する測定処理を行って光源部１１０やカメラ部１２０を制御する。また、制御・処理部１３０は、後述する波面成形処理において、光源部１１０から被写体３００に向けて照射されるパルス光１６０の波面を最適化するようにＳＬＭ１１３の最適化制御を行う。表示部１４０は、撮像画像を表示する。また、表示部１４０は、測定処理の途中での撮像により生成された画像データや波面成形処理の経過を表示してもよい。
図２のフローチャートは、制御処理としての測定処理（ゲーテッドイメージング方法）の流れを示している。制御・処理部１３０は、コンピュータプログラムとしてのゲーテッドイメージングプログラムに従って本処理を実行する。以下の説明において、Ｓはステップを意味する。
Ｓ１００において、制御・処理部１３０は、光源部１１０からパルス光１６０を被写体３００に向けて照射させ、この照射の時刻から以下に説明する遅延時間τを経過したタイミングにおいてカメラ部１２０に撮像（以下、遅延撮像という）を行わせる。遅延時間τは、光源部１１０からのパルス光１６０の照射時刻から被写体３００で反射した反射光がカメラ部１２０（アレイセンサ１２０ｂ）に到達する時刻までの時間［ｓｅｃ］である。大気中の光速をｃとすると、カメラ部１２０は、ゲーテッドイメージング装置１００からの距離（撮像距離）Ｌ＝τｃ／２[ｍ]に位置する被写体３００からの反射光を撮像することになる。
撮像距離Ｌに撮像対象である被写体３００が存在しない場合は、被写体３００に関連する有意な撮像信号を取得することができない。例えば、撮像距離Ｌに大気中の散乱体２００以外にパルス光を反射する物体が存在しない場合は、撮像画像には散乱によるフレアしか写らない。また、撮影距離Ｌに被写体３００以外の別の物体が存在する場合には、その物体が撮像される。このため、Ｓ１００では、制御・処理部１３０は、被写体３００までの撮像距離Ｌが事前に分かっている場合には、その撮像距離Ｌに対応する遅延時間τを設定してカメラ部１２０に遅延撮像を行わせる。この際、被写体像またはその一部に対応する撮像信号のうち最も信号強度（輝度値）が高くなる又は最もコントラスト（輝度値の差）が高くなる新たな遅延時間がある場合には、設定した遅延時間τをその新たな遅延時間に変更してもよい。すなわち、事前の撮像により得られた輝度値に基づいて遅延時間τを調整してもよい。また、被写体３００が事前に明確でない場合は、遅延時間τを徐々に変更しながらカメラ部１２０に遅延撮像を行わせ、得られた複数の撮像画像中に有意な信号が確認できた時点で、それを被写体３００に対応する撮像信号として、以降の処理を実行してもよい。
本実施例においては、まずＳ１００において、被写体３００からの反射光を撮像して被写体像（被写体光）に対応する撮像信号を得ることが必要である。この被写体像に対応する撮像信号（以下、被写体観測信号という）被写体観測信号は、大気中の散乱や屈折率の揺らぎによって歪められた被写体像またはその一部に対応するものであってもよい。
図３（ａ），（ｂ）は、本実施例における測定処理をシミュレーションした結果得られた撮像画像を示す。図３（ａ）は、収差（散乱による劣化）のない理想的な被写体像の撮像画像を示している。図３（ｂ）は、散乱によって歪んだ被写体像の撮像画像を示している。
撮像画像から被写体観測信号の領域を判定する条件としては、その領域の輝度値が所定の判定閾値（所定値）以上であること又は被写体像の特徴的な形状が確認できること等が設定される。撮像画像に対してエッジ処理やフィルタ処理を行うことで特徴的な形状を抽出してもよい。または、予め様々な散乱条件下で撮像した人工物や人物等の物体の画像を学習しておき、その特徴量を参考として被写体観測信号の領域を判定することも可能である。
次にＳ２００において、制御・処理部１３０は、Ｓ３００の波面成形処理における最適化制御のターゲットとなる目的関数を設定する。Ｓ１００において被写体観測信号を取得しているのでこれを利用して目的関数を設定する。
具体例として、まずＳ１００で得た撮像画像のうち被写体観測信号（図３（ｂ））の領域に対して、ある２値化閾値を設定して２値化処理を行い、その結果から抽出した領域全体を図３（ｃ）に示すようにターゲット領域とする。２値化閾値は、撮像画像の輝度値のヒストグラムを参考として決定してもよい。また、ターゲット領域が極端に小さくならないように、できるだけ２値化閾値を大きく設定することが望ましい。これにより、２値化処理によって被写体観測信号に付随して取得された散乱光成分等のノイズ成分を除去することができるためである。
そして、このターゲット領域内の被写体観測信号（画素）の輝度値の平均値または総和を目的関数として設定する。また、ターゲット領域内の任意の１画素以上の部分領域における輝度値の和を目的関数としてもよい。部分領域とは、撮影者が注目する任意の領域として設定することができる。
また、ターゲット領域が複数に分かれていても、上記のように目的関数を設定すればよい。もしくは、後述するように、ターゲット領域ごとに目的関数を設定して、それぞれ独立にＳ３００の波面成形処理を行ってもよい。さらに、撮像画像におけるターゲット領域の輝度値とその周辺（近傍）の非ターゲット領域の輝度値とから算出される画像のコントラスト値を目的関数としてもよい。このように、Ｓ２００においては、Ｓ１００での撮像（測定）で得られた被写体観測信号に基づいて最適化制御における目的関数の設定に用いる信号（輝度値の平均値、総和またはコントラスト値）を取得する。
本実施例のように撮像画像に基づく最適化処理によって波面を成形する場合には、目的関数を設定する位置や領域を明確に決めておく必要がある。この目的関数は、Ｓ１００の結果に基づいて撮影者が任意に設定してもよいし、制御・処理部１３０が自動的に設定してもよい。すなわち、Ｓ１００の結果に基づいて目的関数が設定（用意）されればよい。また、被写体３００について何らかの事前情報がある場合には、その事前情報に基づいてターゲット領域および目的関数を設定してもよい。
次にＳ３００では、制御・処理部１３０は、Ｓ２００で設定した目的関数の値が最大になるように、光源部１１０から被写体３００に向けて照射されるパルス光１６０の波面を最適解としての最適波面に近づけるようにＳＬＭ１１３の最適化制御を行う。この最適化制御（最適化処理）では、まず任意の波面（例えば平面波）が成形されたパルス光１６０を光源部１１０から被写体３００に向けて照射し、遅延時間τだけ遅れたタイミングでカメラ部１２０に撮像を行わせて得られた目的関数の値を評価する。制御・処理部１３０は、これら波面成形、パルス光照射、遅延撮像および目的関数の値の評価を反復して目的関数の値が向上する、すなわち最大により近づくように波面を最適化する。反復は、予め設定した反復回数または所定の目的関数の値に達するまで行う。
次にＳ４００では、制御・処理部１３０は、光源部１１０にＳ３００で波面が最適化されたパルス光１６０を被写体３００に向けて照射させ、カメラ部１２０に遅延時間τだけ遅れたタイミングで遅延撮像を行わせて図３（ｄ）に示す最終的な撮像画像を取得する。Ｓ３００の処理によって、被写体３００にパルス光１６０をより効果的に照射することが可能となり、この結果、カメラ部１２０は、散乱体２００越しの被写体３００を高ＳＮで撮像することができる。
次に、図４を用いて、Ｓ３００の最適化処理についてより具体的に説明する。まずＳ３１０において、制御・処理部１３０は、評価条件を設定する。すなわち、評価条件として、最適化のアルゴリズムを選択し、反復回数Ｎその他の最適化の収束条件を設定し、位相変調を行う基底パターンを設定し、位相変調する際の位相のステップサイズ（更新量）Δφやステップ回数（更新回数）Ｋを設定する。さらに、評価条件として、目的関数の値を複数の撮像画像の輝度値の平均値を用いて評価する場合には、その撮像画像数Ｐを設定する。
最適化のアルゴリズムとしては、I.M.Vellekoop, A.P.Mosk, “Phase control algorithms for focusing light through turbid media”,Optics Communications, 281 (2008) 3071-3080が開示している、シーケンシャル法（stepwise sequential algorithm）や、パーティショニング法（partitioning algorithm）を用いることができる。また、D.B.Conkey et al., “Genetic algorithm optimization for focusing through turbid media in noisy environments”, Optics Express, Vol.20, No.5, 4840-4849 (2012)が開示している遺伝的アルゴリズムを用いてもよい。
反復回数Ｎについては、Ｎを直接設定してもよいし、目的関数の目標値を設定して、目的関数の値がその目標値に到達するまで反復を繰り返すように設定することもできる。最適化のアルゴリズムとしてシーケンシャル法を用いる場合には、図５（ａ）に示すＳＬＭ１１３の有効変調領域内において黒で示す複数のセグメント領域４１１（ｊ＝１，２，３，…，Ｎ）に分割してもよい。この場合、波面成形処理では、位相変調を行うセグメント領域（位相変調領域）４１１と位相変調を行わない非位相変調領域４１０を順次変えながらそれぞれのセグメント領域４１１が独立かつ一様に位相変調を行うようにＳＬＭ１１３を制御する。なお、セグメント領域４１１は有効変調領域の全域において順次変更される。このため、変更されるセグメント領域４１１の数が反復回数Ｎになる。セグメント領域４１１のサイズは、任意に設定することが可能であり、最小サイズはＳＬＭ１１３の画素サイズとなる。
また、最適化のアルゴリズムとしてパーティショニング法を用いる場合には、図５（ｂ）に示すランダムな基底パターンや図５（ｃ）に示すアダマール基底の基底パターンを順次変更して位相変調を行う。これらの基底パターン（位相変調パターン）は、ＳＬＭ１１３の有効変調領域に、図中に黒で示す位相変調領域４２１，４３１と図中に白く示す非位相変調領域４２０，４３０とを設定する。ＳＬＭ１１３は、各基底パターンに従う位相変調領域に入射した光の位相のみを変調する。変更される基底パターンの数が反復回数Ｎとして設定される。
なお、基底パターンをＳ３１０の時点で計算して生成してもよいし、予め生成されて制御・処理部１３０内のメモリに保存されているものを読み出して用いてもよい。その他、測定時間等の装置側の設定や撮影者の要求に応じて反復回数Ｎを設定してもよい。
位相のステップサイズΔφは、０〜２πまでの位相をＭ分割して、Δφ＝２π／Ｍとする。位相変調において位相はステップ回数Ｋだけ位相がΔφずつインクリメントされる。したがって、位相を０から変調した場合には、２πＫ／Ｍまで位相を変調する。また、撮像画像の平均化は、目的関数の値がノイズに強く影響されるような場合に有効である。
以下では、最適化のアルゴリズムとしてシーケンシャル法を用いる場合について、Ｓ３２０以降の波面成形処理を説明する。
Ｓ３２０では、制御・処理部１３０は、実際の反復回数ｊが、Ｓ３１０で設定した反復回数Ｎに到達したか否かを判定する。制御・処理部１３０は、ｊ≧Ｎであれば本処理を終了し、ｊ＜Ｎの場合はＳ３３０に進む。Ｓ３３０では、制御・処理部１３０は、ＳＬＭ１１３に位相変調するｊ番目のセグメント領域を設定する。
次にＳ３４０において、制御・処理部１３０は、ＳＬＭ１１３にセグメント領域ｊでの位相変調を行わせる。ここでは、セグメント領域ｊの位相φ（ｘ，ｙ）を、
φｋ（ｘ，ｙ）＝φｋ−１（ｘ，ｙ）＋Δφｋ
と設定する。ｘ，ｙはＳＬＭ１１３の画素の座標であり、φｋ（ｘ，ｙ）はｋ回目の処理後の位相である。Δφｋはｋ回目の位相のステップサイズであり、Δφｋ＝ｋ×Δφ（ｋ＝１〜Ｋ）である。制御・処理部１３０は、セグメント領域ｊの位相を更新した後にレーザ光源１１１にパルス光を放射させる。これにより、ＳＬＭ１１３にて位相変調されたパルス光１６０が光源部１１０から被写体３００に向けて照射される。この光源部１１０からのパルス光１６０の照射時刻をｔ１とする。
次にＳ３５０では、制御・処理部１３０は、ｔ１からＳ１００で被写体観測信号を取得したときの遅延時間τが経過したタイミングｔ２において、カメラ部１２０に遅延撮像を行わせる。これにより、被写体３００からの反射光により形成された被写体像が撮像される。また、制御・処理部１３０は、目的関数の値を複数の撮像画像の輝度値の平均値を用いて評価するために設定された撮像画像数Ｐに応じた回数のパルス光照射と遅延撮像とを行わせる。
次にＳ３６０では、制御・処理部１３０は、カメラ部１２０により生成された撮像画像を用いてＳ２００で設定した目的関数の値を評価する。評価した目的関数の値は、位相φ（ｘ，ｙ）の値とともに、制御・処理部１３０内のメモリに保存する。
次にＳ３７０では、制御・処理部１３０は、実際の位相のステップ回数ｋが設定されたステップ回数Ｋを超えたか否かを判定する。制御・処理部１３０は、ｋ＜Ｋである場合はＳ３７１に進み、ｋをインクリメント（ｋ→ｋ＋１）してセグメント領域ｊの位相φ（ｘ，ｙ）を更新する。そして制御・処理部１３０は、この更新された位相に対してＳ３４０〜Ｓ３６０を再度行う。このようにステップ回数Ｋだけレーザ光源１１１からのパルス光放射、ＳＬＭ１１３による位相変調、カメラ部１２０による遅延撮像および目的関数の値の評価を繰り返す。
Ｓ３７０でｋ≧Ｋ、すなわちステップ回数Ｋの処理が完了すると、制御・処理部１３０はＳ３８０に進む。Ｓ３８０では、制御・処理部１３０は、メモリに保存された目的関数の値の評価結果から、目的関数の値が最大となる位相を読み出し、セグメント領域ｊの位相に設定する。ここまでのＳ３２０〜Ｓ３８０の処理が、１つのセグメント領域に対して行われる処理である。
Ｓ３９０では、制御・処理部１３０は、次のセグメント領域で同様にＳ３２０〜Ｓ３８０の処理を反復し、目的関数の値が向上するようにパルス光１６０の波面を最適化する。この最適化処理によって撮像画像における被写体像に対応する撮像信号（被写体観測信号）の強度が高くなり、この結果、波面成形処理を行わない場合に比べて高ＳＮな撮像画像を取得することが可能になる。なお、図４に示した波面成形処理は例に過ぎず、使用する最適化アルゴリズムに応じて異なる波面成形処理を行ってもよい。
ＳＬＭ１１３としてＤＭＤを用いる場合には、位相変調ではなく振幅変調によってパルス光１６０を変調することもできる。例えば、ＤＭＤの画素のうちオンとなることで目的関数の値が向上する（最大により近づく）画素をオンとし、目的関数の値が低下する（最大から離れる）画素をオフにすることで、バイナリの振幅変調を行ってもよい。また、A.M.Caravaca-Aguirre,et al.,“Real-time resilient focusing through a bending multimode fiber”, Optics Express, Vol.21, No.10, 12881-12887 (2013)が開示しているように、バイナリの振幅変調用のＤＭＤを用いて、位相変調を行うこともできる。ＳＬＭ１１３はできるだけ高速で応答するものが望ましいため、ＬＣＯＳよりも応答速度が高速なＤＭＤを用いる方が望ましい。
また、位相変調による目的関数の値の変化が微小である場合やノイズの影響が大きい場合には、パーティショニング法や遺伝的アルゴリズムを用いた最適化処理が有効である。また、シーケンシャル法を用いて最初に大き目のセグメント領域で最適化処理を行い、目的関数の値が向上した後により小さなセグメント領域で最適化処理を行ってもよい。
例えば、図５（ａ）に示すセグメント領域４１１のサイズを大きく設定し、ＳＬＭ１１３の最適化制御として、制御・処理部１３０は目的関数が最大になるように最適化処理を実行する。この第１の最適化処理（第１の制御）の終了後に、セグメント領域４１１のサイズを小さく設定して第２の最適化処理（第２の制御）を実行する。このとき、第１の最適化処理の結果得られた位相分布を第２の最適化処理時における初期値として用いる。このように、ノイズ成分の影響を考慮して最適化処理（最適化制御）を調整するとよい。
波面成形処理は、散乱が強い場合には反復回数Ｎを増やすほど波面成形による効果が大きくなり、目的関数の値も向上する。ただし、反復回数Ｎを増やすと、より長い測定時間を要する。この長い測定時間中に散乱が変化すると、波面成形の効果が小さくなる。一方、散乱が小さい場合には、散乱が強い場合に比べて反復回数Ｎが少なくても波面成形による効果がある。したがって、波面成形による効果と測定時間とのバランスを考慮して反復回数Ｎを設定するとよい。例えば、Ｓ１００での被写体観測信号の取得において、被写体像の歪みが小さい（散乱が小さい）場合であれば、空間周波数が低い基底パターン（または大きなセグメント領域サイズ）を用いて、少ない反復回数Ｎの処理を行うようにしてもよい。散乱光の影響は、Ｓ１００で被写体観測信号を取得する際に、ターゲット領域以外の領域に発生しているフレア量を評価することで見積もってもよい。
また、測定時間を短くするためには、反復回数Ｎを小さくするだけでなく、Ｓ３４０〜Ｓ３７０の処理時間を短くすればよい。これには、パルス光放射から位相変調、パルス光照射および遅延撮像のそれぞれに要する時間が短縮できればよい。このため、パルス光源１１１の繰り返し周波数、ＳＬＭ１１３のリフレッシュレートおよびカメラ部１２０での撮像フレームレートは高速であることが望ましい。例えば、撮像に用いられる画素数を抑えることで、撮像フレームレートを上げることができる。このため、波面成形処理Ｓ３００（またはＳ１００〜Ｓ３００）において、カメラ部１２０（アレイセンサ１２０ｂ）における撮像画素数をビニングによって抑えることで撮像フレームレートを高速化してもよい。さらに、撮像画像中のターゲット領域をＲＯＩ（Region Of Interest）として設定し、そのＲＯＩのみを撮像することで、撮像画素数を抑えて撮像フレームレートを高速化することも可能である。波面成形処理後におけるＳ４００での遅延撮像では、ビニングはせずに通常通りの撮像画素数での撮像を行えばよい。
また、被写体３００までの撮像距離Ｌや、ゲーテッドイメージング装置１００および被写体３００の周囲の風速や気温等の気象条件を考慮して上記評価条件を決めてもよい。
このように本実施例は、遅延撮像により得られた撮像画像から被写体観測信号が得られる領域としてのターゲット領域を特定する。そして、該ターゲット領域の輝度値を用いて目的関数を設定し、光源部１１０から出射するパルス光１６０の波面を目的関数が最大となる最適波面に近づけるように成形する最適化処理（ＳＬＭ１１３の最適化制御）を行う。
次に、Ｓ２００において２値化処理によりターゲット領域が複数に分割されて抽出され、それぞれを別のターゲット領域として互いに独立に目的関数を設定して波面成形処理を行う場合について説明する。図６は、Ｓ１００において撮像画像５００に対して２値化処理を行うことにより抽出されたターゲット領域５０１，５０２，５０３を模式的に示す。このように３つのターゲット領域５０１，５０２，５０３が存在する場合には、前述したようにこれら３つをまとめて１つのターゲット領域とし、ターゲット領域５０１，５０２，５０３の輝度値の総和を目的関数として設定することができる。
一方、ターゲット領域５０１，５０２，５０３を別々のターゲット領域として扱う場合は、以下の２つの方法がある。１つ目の方法は、単純にターゲット領域５０１，５０２，５０３に対して互いに独立に目的関数を設定する方法である。この場合、ターゲット領域５０１内にある輝度値の和を目的関数としてＳ２００〜Ｓ４００の処理を行う。同様にターゲット領域５０２およびターゲット領域５０３についてもＳ２００〜Ｓ４００の処理を行う。Ｓ４００では、取得した複数の撮像画像を、必要に応じて一部重複を許して繋ぎ合わせて最終的な１つの撮像画像を生成することができる。
２つめの方法は、ターゲット領域５０１，５０２，５０３を所定の基準に基づいてグループ分けし、そのグループごとに目的関数を設定する方法である。例えば、図６に示すように、ターゲット領域５０１，５０２，５０３のおおよその中心（または重心）の位置間の距離をターゲット領域相互間の距離ｄとして算出する。そして、算出距離ｄと所定の基準距離ｄｒとを比較して、算出された距離ｄが基準距離ｄｒより長ければ、該距離ｄだけ離れた２つのターゲット領域を互いに独立したターゲット領域として扱い、ターゲット領域ごとに目的関数を設定する。また、算出された距離ｄが基準距離ｄｒ以下であれば、該距離ｄだけ離れた２つのターゲット領域を１つのターゲット領域として扱い、１つの目的関数を設定する。
図６では、ターゲット領域５０１を他のターゲット領域５０２，５０３から独立したターゲット領域として扱い、このターゲット領域５０１には個別の目的関数を設定する。また、ターゲット領域５０２，５０３を１つのターゲット領域として扱い、これらに対して共通の１つの目的関数を設定する。ターゲット領域５０２，５０３に対する目的関数は、該ターゲット領域５０２，５０３の輝度値の和とすればよい。基準距離ｄｒは、例えば次式（１）から算出される大気による波面の揺らぎの形状が同一であると見なせる角度θ（isoplanatic angle）に基づいて算出してもよい。
Figure 0006862255
ｋは波数、Ｃｎ ２は大気の屈折率の構造定数、Ｌは光路長である。これを用いて、基準距離ｄｒを次式（２）を用いて、
Figure 0006862255
のように算出することができる。ただし、ｄｒはカメラ部１２０のカメラレンズ１２０ａの倍率から、アレイセンサ１２０ｂの撮像面上の距離に換算する。また、構造定数Ｃｎ ２は、別途測定しておくか、何等かの事前情報や前提に基づいて算出する等しておく必要がある。また、Ｓ１００の処理を行う前に行った複数回の撮像により得られた複数の撮像画像から散乱波面の相関長を算出し、その相関長に基づいて基準距離ｄｒを決めてもよい。なお、複数のターゲット領域を１つのターゲット領域に統合して波面成形処理を行っても目的関数が十分に向上しない場合は、これらターゲット領域を分けてそれぞれに対して独立に波面成形処理を行ってもよい。
またＳ４００の処理の後に、図７に示すように、Ｓ３００で成形された波面１６１を有するパルス光を被写体３００上のターゲット領域３０１，３０２に対してその照射角度を変えながら照射して（被写体３００をスキャンしながら）遅延撮像を行ってもよい。被写体３００上のターゲット領域３０１，３０２は、撮像画像におけるターゲット領域に対応する領域である。
このときのスキャン量３１０は、例えばＳＬＭ１１３にスキャン量に応じた線形の位相シフト量を、Ｓ３００で得られた位相分布（ＳＬＭ１１３の位相変調パターン）に足し合わせて設定してもよい。また、スキャン光学系を別途設けて、これを用いてスキャンを行ってもよい。このスキャンは、散乱の相関が保持される範囲で行われる。被写体３００におけるパルス光の照射領域（つまりはパルス光の入射角度）を変えても散乱に相関がある範囲では、Ｓ３００による波面成形の効果が保持されるため、この効果を利用してターゲット領域の近傍をイメージングすることも可能である。スキャンの範囲は、式（１）を用いて設定してもよいし、照射角度を変えて撮像した結果からＳ２００で設定した目的関数をモニタすることで設定してもよい。例えば、目的関数がＳ３００の処理の初期値より大きい範囲であればよい。
さらに、上述したようにパルス光による被写体３００のスキャンを行った結果、撮像画像中の被写体像の輝度値が低下したと判定した場合には、再度、波面成形処理を行ってもよい。この場合、前回の波面成形処理による効果が消滅する前に再度の波面成形処理を行うことが望ましい。すなわち、前回の波面成形処理の効果によって被写体像の輝度値がその波面成形処理の前よりも大きくなった状態で、再度、Ｓ３００の波面成形処理を含むＳ１００〜Ｓ４００の測定処理を行う。前回の波面成形処理の効果が残っているために、全く最初から再度の波面成形処理を行うよりも短時間でＳＮがより良好な撮像画像が得られる。
例えば、パルス光により被写体をスキャンしながら遅延撮像を行う過程で目的関数の値をモニタし、モニタ値が前回の波面成形処理で得られた値に対して所定値（例えば、半分の値）を下回ることに応じて再度、波面成形処理を行う。この際、モニタするのは、被写体３００の一部の輝度値であってもよい。また、波面成形処理（最適化処理）の初期値の波面は、前回の波面成形処理で得られた波面とする。このように、パルス光による被写体３００のスキャンとパルス光の波面成形とを繰り返しながら、より広い画角範囲に対して高ＳＮの遅延撮像を行うことも可能である。最終的には、それぞれの波面成形処理で取得された撮像画像を繋げて表示部１４０に表示すればよい。
本実施例では、光源部１１０とカメラ部１２０とが一体化されたゲーテッドイメージング装置１００と被写体３００とが一直線上に位置するline-of-sight（またはmono-static）の構成でイメージングを行う場合について説明した。これに対して、非特許文献１が開示しているように、光源部とカメラ部とがそれぞれ別々の離れた位置にあり、光源部と被写体とカメラ部とがある角度をもった位置関係で撮像を行うようなbi-staticの構成であってもよい。この場合も、光源部とカメラ部とを有するゲーテッドイメージング装置であることには変わりはない。上記角度は０〜１８０度の間で任意に選択可能である。該角度が１８０度である場合は、透過光測定を行う配置となる。透過光測定を行う配置であっても、本実施例にて説明した波面成形処理を適用することが可能である。また、本実施例は、１００ｍ〜数１０ｋｍの遠方の被写体を監視する撮像システム等に適用することができる。
また、本実施例では、目的関数の値を最大とするように波面を成形する最適化処理を行う場合について説明したが、目的関数の設定に応じてその値を最小とするように波面を成形する最適化処理を行ってもよい。
図８は、本発明の実施例２であるゲーテッドイメージング装置の構成を示している。基本的構成は、図１に示した実施例１の装置の構成と同様である。本実施例のゲーテッドイメージング装置６００は、光源・撮像部６１０、制御・処理部６３０および表示部６４０により構成される。光源・撮像部６１０に撮像手段が含まれ、制御・処理部６３０が制御手段に相当する。
光源・撮像部６１０においてレーザ光源６１１からは可視〜近赤外の波長域（例えば波長４００ｎｍ〜１１００ｎｍ）のパルス光が放射される。波長以外のパルス光の条件は、実施例１と同様である。レーザ光源６１１からコリメートされて放射されたパルス光は、ミラー６１２で反射され、ビームスプリッタ６１４を透過してＳＬＭ６１３に入射する。ＳＬＭ６１３で波面が成形されたパルス光６６０は、ビームスプリッタ６１４で反射され、光学系６１７を通って光源・撮像部６１０から出射する。光学系６１７は、可視〜近赤外の波長帯域用に設計されている。
光源・撮像部６１０から発せられ、不図示の被写体で反射されて光源・撮像部６１０に戻ってきたパルス光（反射光としての被写体光）６７０は、光学系６１７およびビームスプリッタ６１４を透過してカメラ６２０に入射する。カメラ６２０に入射したパルス光は、カメラレンズ６２０ａにより結像されてアレイセンサ６２０ｂに到達する。カメラ６２０内の画像生成部６２０ｃは、被写体像を光電変換したアレイセンサ１２０ｂから出力された撮像信号を用いて撮像画像（画像データ）を生成する。
制御・処理部６３０は、この反射光のアレイセンサへの到達タイミング（遅延時間だけ遅れたタイミング）でカメラ６２０に遅延撮像を行わせる。アレイセンサは、ゲート機能を有するＣＭＯＳセンサにより構成されている。ただし、通常のＣＣＤやＣＭＯＳセンサにイメージインテンシファイアを組み合わせたアレイセンサを用いてもよい。この場合、イメージインテンシファイアによりゲートを制御する。
本実施例において、制御・処理部６３０は、基本的に実施例１において図２および図４に示した測定処理および波面成形処理と同様な処理を行う。すなわち、制御・処理部６３０は、Ｓ１００において被写体観測信号を取得し、Ｓ２００でターゲット領域を設定する。ただし、本実施例では、ターゲット領域の輝度値から目的関数を設定してＳ３００の波面成形処理において最適化処理を行うのではなく、透過行列（transmission matrix）を利用した処理を行う。透過行列ｔは、散乱体に入力される電場をＥａとし、散乱体から出力（透過）される電場をＥｂとするとき、次式（３）に示すように線形的な入出力応答として定義される。
Figure 0006862255
式（３）に基づいて様々な入力（基底、すなわちＳＬＭ６１３の位相変調パターン）のＥａに対して出力（遅延撮像により取得された反射光の波面）Ｅｂを測定することで、透過行列ｔを得ることができる。この透過行列を利用してパルス光６６０の波面を適切に成形することで、実施例１と同様に、散乱体越しの被写体を高ＳＮでイメージングすることができる。
図９は、ＳＬＭ６１３の有効変調領域を示している。制御・処理部６３０は、ＳＬＭ６１３の有効変調領域内に、図中にチェッカー模様で示す位相変調を行う位相変調領域６１５と、その外側において位相変調を行わない非位相変調領域６１６とを設定する。制御・処理部６３０は、位相変調領域６１５に基底のパターン（Ｅａ）を描画し、位相変調領域６１５と非位相変調領域６１６との間に位相差を与えながら位相シフト法を行うことで、出力Ｅｂを測定する。この場合、被写体に照射するパルス光とは異なる参照光用の光路を別途設ける必要がないので、装置構成を簡略化することができる。
制御・処理部６３０は、位相シフト法を、基底のパターン数Ｎだけ反復し、それぞれの基底で測定した波面を列ベクトルとして行列にスタックすることで、透過行列ｔを生成する。すなわち、複数の基底パターンを用いてＳＬＭ６１３で波面を成形して反射光の波面を測定した結果に基づいて透過行列ｔを生成する。
Ｎ個の基底についてＭ画素のアレイセンサにより反射光の波面を測定した場合には、Ｍ行Ｎ列の透過行列ｔが得られる。このとき、透過行列ｔのｊ列目の成分は、ｊ番目の基底で測定した波面に対応する。基底のパターンとしては、アダマール基底の基底パターン、ランダムな基底パターン、ツェルニケ多項式を用いて生成した基底パターン等を用いることができる。
制御・処理部６３０は、透過行列ｔを生成（測定）した後、この透過行列ｔを用いてＳＬＭ６１３にパルス光６６０の波面を成形させる。ここでは、Ｓ２００で設定したターゲット領域を用いる。例えば、図３（ｃ）に示した２値化処理により抽出されたターゲット領域を、透過行列ｔを用いて再生する電場の振幅分布Ｅtargetとして設定する。位相についての設定は任意である。制御・処理部６３０は、このＥtargetを用いて、パルス光６６０の変調波面としてのＥａを次式（４）から算出する。
Figure 0006862255
†は転置共役を示す。式（４）は、変調波面（Ｅａ）を、ターゲット領域に対応するベクトル（Ｅtarget)と透過行列tの転置共役†との積を用いて算出することを示している。式（４）で表現されるＥａは、カメラ６２０のアレイセンサの撮像面で測定した被写体からの反射光の波面の位相共役波を表す。
ただし、透過行列ｔを生成した際に用いた基底パターンによっては、式（４）で得られたＥａに対して、さらに基底の変換が必要である。具体的には、図５（ｂ），（ｃ）に示した基底パターンは、図５（ａ）に示したセグメント領域ベースのパターンとは異なり、ＳＬＭ６１３の座標と対応していない。したがって、制御・処理部６３０は、式（４）で算出したＥａをＳＬＭ６１３の座標に対応する基底パターンに変換する処理を行う。これは、式（４）で算出されたベクトルと、これに対応する基底パターンとの線形結合を求めればよい。なお、カメラ６２０の撮像面とＳＬＭ６１３とは被写体までの光路長が等しくなるように調整されている。
上述したように式（４）で算出されたＥａ（変調波面）は、被写体からの反射光の波面の位相共役波に相当する。したがって、Ｅａを有するパルス光を被写体に向けて照射する、言い換えれば被写体に向けて照射されるパルス光の波面を変調波面で変調するようにＳＬＭ６１３を制御することで、実施例１と同様に散乱体越しの被写体を高ＳＮでイメージングすることができる。
さらに、取得した透過行列ｔを特異値分解することで、透過行列ｔの固有値の分布を解析することができる。固有値は、固有空間における透過率（透過固有値）を表す。したがって、透過固有値が小さい固有ベクトルは本測定における信号強度への寄与が小さい。例えば、透過行列ｔの全体の透過率がいくつかの固有ベクトルの透過固有値の和でほぼ近似できる条件では、それら固有ベクトルのみを用いてパルス光６６０の波面を成形してもよい。それ以外の固有ベクトルは信号強度にほとんど寄与しないために無視してよい。
また、透過行列tの固有値を解析し、該固有値の分布から、大気の散乱または揺らぎに起因するノイズ成分の波面に関する統計的性質を推定し、該統計的性質に基づいて、基底パターンの種類、基底パターンの空間周波数範囲および基底パターン数を設定してもよい。また、信号強度に主に寄与する固有ベクトルの空間周波数を解析し、測定される散乱波面の周波数成分の上限または周波数範囲を推定し、この推定結果に基づいて上述した基底パターンを生成してもよい。例えば、図２に示す測定処理の前段に、プレ測定として上記固有ベクトルの解析までを行い、波面成形に用いる基底パターンの種類、基底パターンの空間周波数範囲および基底パターン数Ｎを設定することも可能である。プレ測定時には、少し多めの基底パターン数Ｎで高空間周波数の基底パターンについてまで測定しておいてもよい。また、基底パターンを変えながら複数の条件で測定し、波面成形処理においてどの基底パターンを用いるかの指標にしてもよい。
プレ測定後は、このプレ測定の解析結果を利用して、本実施例の測定処理を行ってもよいし、実施例１で説明した最適化処理による波面成形にこの解析結果を適用してもよい。散乱波面は、ある相関時間以上経過すれば、異なる波面になる。一方で、散乱波面の統計的性質は、相関時間ほどの短時間では変化しないと考えてもよい。したがって、プレ測定の解析結果は、図２に示した測定処理を繰り返す間等、所定時間の間（例えば、大気の屈折率の構造定数Ｃｎ ２が大きく変化するまで）利用することが可能である。
本実施例は、可視〜近赤外帯域の光を用いた近距離（数ｍ〜１００ｍ程度）の被写体を監視する撮像システム等に適用可能である。
また、本発明は、ゲート撮像装置以外にも、ＴＯＦ（Time-of-Flight；飛行時間）測定可能なエリアセンサを搭載した撮像装置にも適用可能である。ＴＯＦ測定可能なエリアセンサとは、各画素単位で、光源部から照射されたパルス光をＴＯＦごとに時間分解して撮像可能なアレイセンサである。例えば、ＳＷＩＲ帯域では、ＩｎＧａＡｓで構成されるＡＰＤ（Avalanche PhotoDiode）アレイを用いることができる。また、単一素子のＡＰＤセンサを２次元平面に並べたものであってもよい。さらに、周波数領域でＴＯＦ測定可能なアレイセンサであってもよい。例えば、可視・近赤外帯域で、ロックイン検出可能なロックインＣＭＯＳセンサなども適用できる。この場合、照射するビームはパルス光でなく、強度をある周波数の正弦波で変調した強度変調光であってもよい。光源を変調している変調信号と、被写体から反射・透過してくる変調光の変調信号との位相差から、ＴＯＦ測定することができる。これらＴＯＦ測定可能なアレイセンサは、ゲート撮像装置と同様に、ある遅延時間で撮像装置に到達する光強度分布を選択的に撮像することができる。このように任意の遅延時間の光強度分布を選択的に測定できるエリアセンサを用いた撮像装置であれば本発明の実施例に含まれる。
以上説明したように、各実施例は、遅延撮像により得られた撮像画像から被写体に対応する信号（被写体観測信号）を特定し、該信号の強度が増加するにように、被写体に向けて照射される光の波面を成形する。そして、被写体からの反射光（または透過光）に対する遅延撮像を行うことで、散乱体越しの被写体を高ＳＮで撮像することができる。
なお、各実施例で説明した撮像装置の構成、波面を成形するための最適化処理の方法および透過行列の生成方法は例にすぎず、他の構成や方法を用いることができる。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
１１０ 光源部
１１３，６１３ 空間光変調器
１２０ カメラ部
１３０，６３０ 制御・処理部
６１０ 光源・撮像部

Claims (17)

  1. 光源から被写体に向かう光の波面を成形する空間光変調手段と、
    前記被写体の撮像を行って画像データを生成する撮像手段と、
    前記光源から前記光が出射してから前記撮像手段に撮像を行わせるまでの遅延時間を設定する制御手段とを有し、
    前記制御手段は、前記画像データにおける前記被写体に対応するターゲット領域の輝度値に基づいて設定された目的関数の値が最大値又は最小値に近づくように、前記空間光変調手段の最適化制御を行うことを特徴とする撮像装置。
  2. 前記制御手段は、前記画像データに対して画像処理を行うことで前記ターゲット領域を抽出することを特徴とする請求項１に記載の撮像装置。
  3. 前記画像処理は、２値化処理、エッジ処理、及びフィルタ処理の少なくとも一つを含むことを特徴とする請求項２に記載の撮像装置。
  4. 前記目的関数は、前記ターゲット領域における少なくとも一部の輝度値の平均値又は和であることを特徴とする請求項１から３のいずれか一項に記載の撮像装置。
  5. 前記目的関数は、前記画像データにおける前記ターゲット領域及び該ターゲット領域以外の領域のそれぞれの輝度値から算出されるコントラスト値であることを特徴とする請求項１から４のいずれか一項に記載の撮像装置。
  6. 前記制御手段は、基底パターンに基づく前記光の位相変調又は振幅変調を行うように前記空間光変調手段を制御することを特徴とする請求項１から５のいずれか一項に記載の撮像装置。
  7. 前記最適化制御は、第１の基底パターンを用いる第１の制御と、前記ターゲット領域及び前記目的関数を再設定して前記第１の基底パターンよりも空間周波数が高い第２の基底パターンを用いる第２の制御とを含むことを特徴とする請求項１から６のいずれか一項に記載の撮像装置。
  8. 前記制御手段は、複数の前記ターゲット領域を設定し、互いの距離が基準距離よりも長い二つのターゲット領域については互いに異なる前記目的関数を設定し、互いの距離が前記基準距離より短い二つのターゲット領域については共通の前記目的関数を設定することを特徴とする請求項１から７のいずれか一項に記載の撮像装置。
  9. 前記制御手段は、大気の屈折率の構造定数に基づいて前記基準距離を設定することを特徴とする請求項８に記載の撮像装置。
  10. 前記制御手段は、前記被写体に対する前記光の照射角度を変えながら前記撮像手段に撮像を行わせることを特徴とする請求項１から９のいずれか一項に記載の撮像装置。
  11. 前記制御手段は、前記目的関数の値が所定値を下回ることに応じて前記最適化制御を繰り返すことを特徴とする請求項１から１０のいずれか一項に記載の撮像装置。
  12. 光源から被写体に向かう光の波面を成形する第１ステップと、
    遅延時間を設定し、前記光源から前記光が出射してから該遅延時間が経過したタイミングで前記被写体の撮像を行って画像データを生成する第２ステップと、
    前記画像データにおける前記被写体に対応するターゲット領域の輝度値を用いて設定された目的関数の値が最大値又は最小値に近づくように、前記第１ステップの最適化を行う第３ステップとを有することを特徴とする撮像方法。
  13. 光源から被写体に向かう光の波面を成形する空間光変調手段と、
    前記被写体の撮像を行って画像データを生成する撮像手段と、
    前記光源から前記光が出射してから前記撮像手段に撮像を行わせるまでの遅延時間を設定する制御手段とを有し、
    前記制御手段は、
    前記空間光変調手段により複数の基底パターンを用いて波面が成形された前記光のうち前記被写体を介した光の波面に基づいて透過行列を生成し、
    前記光の波面が、前記画像データにおける前記被写体に対応するターゲット領域と前記透過行列とに基づいて得られた変調波面となるように前記空間光変調手段を制御することを特徴とする撮像装置。
  14. 前記制御手段は、前記ターゲット領域に対応するベクトルと前記透過行列の転置共役との積に基づいて前記変調波面を算出することを特徴とする請求項１３に記載の撮像装置。
  15. 前記制御手段は、前記透過行列の固有値の分布に基づいて大気の散乱又は揺らぎに起因するノイズ成分の波面に関する統計的性質を推定し、該統計的性質に基づいて前記基底パターンの種類、数、及び空間周波数範囲を設定することを特徴とする請求項１３又は１４に記載の撮像装置。
  16. 光源から被写体に向かう光の波面を成形する第１ステップと、
    遅延時間を設定し、前記光源から前記光が出射してから該遅延時間が経過したタイミングで前記被写体の撮像を行って画像データを生成する第２ステップと、
    前記第１ステップにより複数の基底パターンを用いて波面が成形された前記光のうち前記被写体を介した光の波面に基づいて透過行列を生成する第３ステップと、
    前記光の波面が、前記画像データにおける前記被写体に対応するターゲット領域と前記透過行列とに基づいて得られた変調波面となるように前記第１ステップの変更を行う第４ステップと
    を有することを特徴とする撮像方法。
  17. 請求項１２又は１６に記載の撮像方法をコンピュータに実行させることを特徴とする撮像プログラム。
JP2017079119A 2017-04-12 2017-04-12 撮像装置、撮像方法および撮像プログラム Active JP6862255B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017079119A JP6862255B2 (ja) 2017-04-12 2017-04-12 撮像装置、撮像方法および撮像プログラム
US15/945,056 US10757336B2 (en) 2017-04-12 2018-04-04 Image capturing apparatus, image capturing method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017079119A JP6862255B2 (ja) 2017-04-12 2017-04-12 撮像装置、撮像方法および撮像プログラム

Publications (3)

Publication Number Publication Date
JP2018182521A JP2018182521A (ja) 2018-11-15
JP2018182521A5 JP2018182521A5 (ja) 2020-05-28
JP6862255B2 true JP6862255B2 (ja) 2021-04-21

Family

ID=63791052

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017079119A Active JP6862255B2 (ja) 2017-04-12 2017-04-12 撮像装置、撮像方法および撮像プログラム

Country Status (2)

Country Link
US (1) US10757336B2 (ja)
JP (1) JP6862255B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6826972B2 (ja) * 2017-11-16 2021-02-10 株式会社日立製作所 撮像装置
KR102562360B1 (ko) * 2018-10-05 2023-08-02 엘지이노텍 주식회사 깊이 정보를 획득하는 방법 및 카메라 모듈
JP2020112674A (ja) * 2019-01-11 2020-07-27 ソニーセミコンダクタソリューションズ株式会社 表示装置、および表示装置の調整方法
JP2022517985A (ja) * 2019-01-28 2022-03-11 スタンレー電気株式会社 霧を介した画像強調のための弾道光変調
US11016024B2 (en) * 2019-02-19 2021-05-25 Kla Corporation Air scattering standard for light scattering based optical instruments and tools
US11698441B2 (en) * 2019-03-22 2023-07-11 Viavi Solutions Inc. Time of flight-based three-dimensional sensing system
CN112798603A (zh) * 2021-01-06 2021-05-14 深圳技术大学 一种成像系统及其成像方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3286893B2 (ja) 1996-08-30 2002-05-27 三菱電機株式会社 レーザレーダ装置
JPH11102001A (ja) 1997-09-29 1999-04-13 Ishikawajima Harima Heavy Ind Co Ltd レンジゲートカメラ
ES2301835T3 (es) * 2002-08-05 2008-07-01 Elbit Systems Ltd. Metodo y sistema de formacion de imagenes de vision nocturna montado en vehiculo.
US10194100B2 (en) * 2006-10-06 2019-01-29 California Institute Of Technology Glare suppression through fog by optical phase conjugation assisted active cancellation
US20120127557A1 (en) * 2010-11-19 2012-05-24 Canon Kabushiki Kaisha Apparatus and method for irradiating a medium
US8817255B2 (en) * 2010-12-17 2014-08-26 Canon Kabushiki Kaisha Apparatus and method for irradiating a scattering medium
CN104395985B (zh) * 2012-05-02 2018-01-30 株式会社尼康 光瞳亮度分布的评价方法和改善方法、照明光学系统及其调整方法、曝光装置、曝光方法以及器件制造方法
US9476824B2 (en) * 2012-10-12 2016-10-25 Purdue Research Foundation Optical chemical classification
US9664781B2 (en) 2013-03-14 2017-05-30 The United States Of America, As Represented By The Secretary Of The Navy Time-gated image reconstruction using phase conjugation
CN106796355B (zh) * 2014-07-31 2020-09-22 Mtt创新公司 用于自由曲面透镜构造的数值方法：面积参数化自由曲面透镜构造
JP6697758B2 (ja) 2014-09-03 2020-05-27 パナソニックＩｐマネジメント株式会社 測定システム
JP2016217860A (ja) * 2015-05-20 2016-12-22 キヤノン株式会社 制御装置、測定装置、制御方法、プログラム、記憶媒体
CN106331442B (zh) * 2015-07-02 2021-01-15 松下知识产权经营株式会社 摄像装置
US10545016B2 (en) * 2016-08-18 2020-01-28 Nec Corporation Light measurement device and optical axis adjustment method

Also Published As

Publication number Publication date
JP2018182521A (ja) 2018-11-15
US10757336B2 (en) 2020-08-25
US20180302542A1 (en) 2018-10-18

Similar Documents

Publication Publication Date Title
JP6862255B2 (ja) 撮像装置、撮像方法および撮像プログラム
JP7023244B2 (ja) 画像解像度が改良された蛍光イメージングフローサイトメトリー
US10760956B2 (en) Wavefront control apparatus, wavefront control method, information acquiring apparatus, and storage medium
JP6394367B2 (ja) 流体分析装置、流体分析方法、プログラム及び流体分析システム
JP5774734B2 (ja) ダイナミックフォーカススイープおよび窓平均化を用いた光コヒーレンストモグラフィ
US10194803B2 (en) Control apparatus, measurement apparatus, control method, and storage medium
US20190294930A1 (en) Information processing device, image processing device, microscope, information processing method, and information processing program
JP2017522066A5 (ja)
JP6023406B2 (ja) 眼科装置、評価方法および当該方法を実行するプログラム
JP6882085B2 (ja) 波面制御装置、波面制御方法、情報取得装置、プログラム、および、記憶媒体
CN105445492B (zh) 一种透过散射介质的激光散斑流速检测方法和装置
Huang et al. Continuous-wave terahertz multi-plane in-line digital holography
CN108135466A (zh) 相干门控无波前传感器自适应光学多光子显微以及相关系统和方法
KR20210051683A (ko) 수차를 야기하는 샘플 내의 타겟 오브젝트를 이미징하기 위한 초점 스캔 방식의 이미징 장치
JP5590541B2 (ja) 鮮度評価装置及び鮮度評価方法
US7470903B2 (en) Digital imaging assembly & methods thereof
JP6616673B2 (ja) 角膜検査装置
CN112585521B (zh) 用于捕获具有湍流衰减的显微全光图像的设备和方法
WO2021099127A1 (en) Device, apparatus and method for imaging an object
US20240257317A1 (en) Optical image processing method, machine learning method, trained model, machine learning preprocessing method, optical image processing module, optical image processing program, and optical image processing system
JP2018179529A (ja) 応答特性取得装置、応答特性取得方法および応答特性取得プログラム
KR20140102034A (ko) 광 간섭 단층 촬영 장치 및 방법
US8917901B2 (en) Method and apparatus for determining the surface profile of an object
US20220299434A1 (en) Biological tissue identification method, biological tissue identification device, and biological tissue identification program
Sensing Coherence-gated wavefront sensing

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200330

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200417

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210302

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210331

R151 Written notification of patent or utility model registration

Ref document number: 6862255

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151