WO2019016994A1 - 画像処理装置及び方法、並びに、プログラム - Google Patents

Abstract

悪天候の環境、特に霧等の散乱現象が生じる環境下であっても高精度な障害物の検知を実現することができること。　ターゲット信号処理部５１は、光源部２０１から分割された信号光によるターゲットＴからの反射光と、光源部２０１から分割された参照光との相互相関関数を計算する。推定部５２は、信号光及び反射光の伝播経路の散乱特性を推定する。補正処理部５３は、推定部５２により推定された散乱特性に基づいて、ターゲット信号処理部５１により計算された相互相関関数に対して所定の補正処理を実行する。

Description

画像処理装置及び方法、並びに、プログラム

　本発明は、画像処理装置及び方法、並びに、プログラムに関する。

　現在、社会的に注目されている新技術に乗用車等の「自動運転」がある（例えば特許文献１参照）。この「自動運転」の実用化のためには、障害物の検知が必要になる。

特開２００７－２３３７６４号公報

　しかしながら、特許文献１を含め従来の技術では、悪天候の環境、特に霧等の散乱現象が生じる環境での障害物の検知は、「自動運転」の実現に求められる精度を確保することは困難であった。

　本発明は、このような状況を鑑みてなされたものであり、悪天候の環境、特に霧等の散乱現象が生じる環境下であっても高精度な障害物の検知を実現することを目的とする。

　上記目的を達成するために、本発明の一態様の画像処理装置は、
　光源から分割された信号光によるターゲットからの反射光と、前記光源から分割された参照光との相互相関関数を計算する相関関数計算手段と、
　前記信号光及び前記反射光の伝播経路の散乱特性を推定する伝搬経路特性推定手段と、
　前記伝搬経路特性推定手段により推定された前記散乱特性に基づいて、前記相関関数計算手段により計算された前記相互相関関数に対して所定の補正処理を実行する補正手段と、
　を備える。

　本発明によれば、悪天候の環境、特に霧等の散乱現象が生じる環境下であっても高精度な障害物の検知を実現することができる。

本発明の実施形態に採用される基礎画像処理技術の概要を示す図である。 本発明の第１実施形態に係る画像処理装置の構成の一例を示すブロック図である。 図２の画像処理装置の構成のうち推定部の詳細な構成の一例を示すブロック図である。 図２の画像処理装置が実行する画像出力処理の流れの一例を説明するフローチャートである。 図４の画像出力処理のうちターゲット信号処理の詳細な流れの一例を説明するフローチャートである。 図４の画像出力処理のうち推定処理の流れの一例を説明するフローチャートである。 第２の実施形態に係る画像処理装置の構成の一例を示すブロック図である。

　本発明の実施形態の理解を容易なものとすべく、本発明の実施形態の説明の前に、本発明の基礎技術であるゴーストイメージングを用いた画像処理について説明する。

　乗用車等の「自動運転」における障害物の検知の手法として、既存のカメラやレーダー等の画像処理を用いる手法を採用するとするならば、全天候性を考慮した場合には数１００ｍ先の障害物を鮮明に画像化することは困難である。つまり、このような手法を採用しても、乗用車等の「自動運転」の実現化は困難である。

　そこで、大気の緩やかな乱流効果に対して耐性を持つ技術であるゴーストイメージングが、本発明の実施形態では採用されている。
　ゴーストイメージングとは、光源からの光を２つに分割して、ターゲット（障害物）に照射する光と、ターゲットに照射しない参照として利用する光（以下、「参照光」と呼ぶ）との相互相関関数を計算することによって、ターゲットのイメージを取得する技術である。

　例えば、２０１２年にＪ．Ｈ．ＳｈａｐｉｒｏとＲ．Ｗ．Ｂｏｙｄは、種々のゴーストイメージングを利用する技術に対する統一理論を構築した。これにより、当該技術に対する乱流効果の定量的な評価が可能になった。その結果、一般に、当該技術は、大気の穏やかな乱流に対して耐性特性を持つことが証明されている。この点は、次の非特許文献１を参照するとよい。
　　［非特許文献１］Ｊ．Ｈ．Ｓｈａｐｉｒｏ　ａｎｄ　Ｒ．Ｗ．Ｂｏｙｄ，“Ｔｈｅ　ｐｈｙｓｉｃｓ　ｏｆ　ｇｈｏｓｔ　ｉｍａｇｉｎｇ，”　Ｑｕｎａｔｕｍ　Ｉｎｆｏｕｍａｔｉｏｎ　Ｐｒｏｃｅｓｓｉｎｇ，　ｖｏｌ－１１，ｐ４９４，（２０１２）．

　ところで、上述の技術は、１９９５年に量子相関光（量子もつれ光）を用いたイメージング研究の中で、量子相関現象によるゴーストイメージングが確認されことを起源とする。ゴーストイメージングは、ターゲットからの反射光をシングル・ピクセル（単一画素）の検出器で検出しても、そのシングル・ピクセルからターゲットの２次元イメージを再生可能にする技術の一種である。

　このゴーストイメージングにおいて、光源からの光は２つに分割されるが、その２つの光には相関がある。
　即ち、分割された２つの光のうちターゲットに向かう光は「信号光」と呼ばれる。他方の光は、ターゲットに向かわず、上述の如く「参照光」と呼ばれる。
　信号光は、ターゲットに反射されて反射光となり、シングル・ピクセルの検出器で検出される。参照光は、ターゲットには向かわず、ターゲットに関係ない場所にあるＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）素子に照射される。

　ターゲットの２次元反射係数の形状がターゲットのイメージ情報（画像情報）となるので、当該イメージ情報を再生する機構が必要である。そのため、シングル・ピクセルの検出器により一括して受信された反射光の信号電流と、ＣＣＤ素子で受信された参照光の２次元出力電流とに基づいて、両者の電流間の２次元の相互相関関数が計算される。その相互相関関数の２次元形状がターゲットの２次元反射係数の形状と一致することになり、ターゲットのイメージ情報が再生される。

　このように、ゴーストイメージングは、２次元情報を運んでくる光を、空間分解能力を持たないシングル・ピクセルの受光器（検出器）で受信しても、イメージ情報を再生できるという画期的な技術のひとつである。

　さらに以下、本発明の実施形態の基礎技術であるゴーストイメージングを利用した画像処理の技術（以下、単に「基礎画像処理技術」と呼ぶ）の概要について、図１を参照して簡単に説明していく。

　図１に示すように、基礎画像処理技術を実現するために、例えば、光源Ｌと、受信器Ｒと、モニタ等が設けられる。
　光源Ｌは、量子もつれ光若しくは擬似熱光を送信する。
　受信器Ｒは、光源Ｌからの信号光に対するターゲットＴからの反射光を受信する。受信器Ｒは、例えば図１の例では、ＣＣＤカメラＫ、シングル・ピクセル光検出器Ｓ、及び相関計算機Ｃを含んで構成される。受信器Ｒにおいて、シングル・ピクセル光検出器Ｓは、反射光のエネルギーを一括して受信する。相関計算機Ｃは、シングル・ピクセル光検出器Ｓの出力と、参照光のＣＣＤカメラＫの２次元出力との相互相関関数を計算する。これにより、その相互相関関数が被写体の画像として出現する。

　このような基礎画像処理技術では、ターゲットＴのイメージ（画像）は相関計算機Ｃから出力される２次元の相互相関関数の形状に一致するので、相互相関関数をいかに正確に推定するのかが技術的課題となる。

　その一方で、基礎画像処理技術では、ターゲットＴのイメージ情報を運んでくる光信号（反射光）はシングル・ピクセル光検出器Ｓで受信されるため、その光信号が２次元空間の擾乱を受けても、その影響がある程度抑圧されるという特徴を有する。

　これに対して、ターゲットＴの２次元のイメージ情報を運んでくる光信号をステレオカメラなどによって直接２次元情報として取得する手法（図示せず）では、ターゲットＴのイメージ情報を運んでくる２次元の光信号を正確に受信する必要がある。このため、反射光に擾乱があれば、それは直接的にターゲットＴのイメージの再生における劣化要因となる。

　以上のことから、ゴーストイメージングによる基礎画像処理技術は、光の伝搬経路（光源Ｌ、ターゲットＴ）における擾乱の影響を受けにくい技術であることが解る。しかし、この技術は、緩やかな大気の乱流下においては有用であるものの、霧などの散乱現象には必ずしも有用ではない。このように、ゴーストイメージングによる画像処理技術を用いても、多種多様な天候の環境下での被写体となるターゲットＴのイメージ情報を適切に取得するためには、まだ解決すべき大きな課題がある。

　例えば、ゴーストイメージングを利用しない画像処理技術としては、ＣＣＤカメラなどによるイメージ情報取得技術がある。しかし、この技術では、光の伝搬経路における擾乱によって大きな画質劣化を起こす。その劣化を補正する技術は画像処理技術であり、多数の補正技術が開発されている。

　しかしながら、例えば自動車の環境下で起る光の伝搬経路の散乱や乱流は、２次元的な不均一性を持つ動的状態にあり、そのような環境下では、ＣＣＤカメラにより取得された画像情報に対して、従来の補正技術を用いたとしても画質の劣化の改善は殆ど期待できない。具体的には、光の伝搬経路における擾乱や散乱に関して、静的な乱流理論（例えば、非特許文献２参照）や、静的な散乱理論を動的な散乱理論に拡張した一般論（例えば、非特許文献３参照）が構築されている。例えば、非特許文献２の静的な乱流理論を動的理論として一般化すれば、補正によっても画質の劣化の改善が期待されないことが推定される。すなわち、上記したような環境下では、前提となる伝搬経路モデルがランダムに変化することになるため、ＣＣＤカメラにより取得された画像情報に対して適切に補正を行うことが難しい。
　　［非特許文献２］Ａ．Ｉｓｈｉｍａｒｕ，“Ｗａｖｅ　ｐｒｏｐｅｒｇａｔｉｏｎ　ａｎｄ　ｓｃａｔｔｅｒｉｎｇ　ｉｎ　ｒａｎｄｏｍ　ｍｅｄｉａ”，ＩＥＥＥ　Ｐｒｅｓｓ，（１９９７）．
　　［非特許文献３］廣田修、相馬正宜、“自動運転用の量子及び古典レーダーカメラと霧の効果”、第４０回　情報理論とその応用シンポジューム、２０１７．

　一方、ゴーストイメージングを利用する相関関数イメージセンサ（相関計算機Ｃ）は、光の伝搬経路における大気の乱流効果（屈折率の連続的変動）に対して耐性を持っており、そのような緩やかな擾乱に対して補正の必要はない。しかし、霧や雨などの散乱現象が生じる場合には、通常のＣＣＤカメラと同様な画質の劣化が起こることが、動的理論に基づいて解明されている。このため、画像処理装置として相関関数イメージセンサを用いた場合には、散乱現象による画質の劣化を防ぐための適切な補正が必要となる。

　以上のように、画像処理装置としてＣＣＤカメラを用いた場合には、大気の擾乱の影響に弱く、一方、画像処理装置として相関関数イメージセンサを用いた場合には大気の擾乱の影響には強いが、散乱現象には対処できないという課題がある。

　このような課題を解決可能な画像処理装置が、本発明が適用される画像処理装置である。
　即ち、本発明が適用される画像処理装置は、光の伝搬経路において霧や雨などによる散乱現象が生じる場合であっても、散乱現象の影響による画質の劣化を防止し、適切な画像を取得することができる。
　具体的には例えば、本発明が適用される画像処理装置は、相関関数計算機能と、伝搬経路特性推定機能と、補正機能とを備える。
　相関関数計算機能は、光源から分割された信号光によるターゲットからの反射光と、前記光源から分割された参照光との相互相関関数を計算する機能である。
　伝搬経路特性推定機能は、前記信号光及び前記反射光の伝播経路の散乱特性を推定する機能である。
　補正機能は、前記伝搬経路特性推定機能の発揮により推定された前記散乱特性に基づいて、前記相関関数計算機能の発揮により計算された前記相互相関関数に対して所定の補正処理を実行する機能である。
　以下、このような本発明が適用される画像処理装置の２つの実施形態を、第１実施形態と第２実施形態の夫々として、その順番で個別に説明していく。即ち、本発明が適用される画像処理装置として、第１実施形態では画像処理装置１１ａ（図２等）について、第２実施形態では画像処理装置１１ｂ（図７）について説明する。

［第１の実施形態］
　以下、本発明の第１実施形態について、図面を用いて説明する。
　図２は、本発明の第１の実施形態に係る画像処理装置１１ａの構成の一例を示すブロック図である。
　図２に示すように、画像処理装置１１ａは、ターゲット信号処理部５１と、推定部５２と、補正処理部５３と、モニタ５４とを含むように構成される。

　ターゲット信号処理部５１は、ゴーストイメージング現象を利用する相関関数イメージセンサとして機能するものであり、光源部２０１と、光分波部２０２と、受信部２０３とを含む。受信部２０３は、光検出部２２１と、光受信素子部２２２と、相関関数計算部２２３とを含む。

　光源部２０１は、例えば擬似熱光を発生して放射する。
　光分波部２０２は、例えばハーフミラーとして構成され、光源部２０１から放射された擬似熱光を２分割して夫々出力する。
　光分波部２０２により２分割されて出力された光のうち、一方の光は、ターゲットＴに向けて放射される信号光であり、他方の光は、参照光である。擬似熱光源である光源部２０１から２分割された信号光と参照光とは、相互に古典光（擬似熱光）の揺らぎの相関を有する。

　信号光は、ターゲットＴに向けて放射された後、ターゲットＴから反射光として反射され、反射光の総エネルギーは、光検出部２２１によって一括して検出される。光検出部２２１は、例えばシングル・ピクセル光検出器として構成される。

　参照光は、光受信素子部２２２によって受信される。光受信素子部２２２は、例えばＣＣＤ素子として構成される。

　相関関数計算部２２３は、光検出部２２１によって検出された反射光の総エネルギーと、光受信素子部２２２によって受信された参照光との相互相関関数を計算して、補正処理部５３に出力する。

　推定部５２は、伝搬経路の散乱特性を推定して、補正処理部５３に出力する。
　ここで、伝搬経路の散乱特性とは、例えば、霧等のように散乱現象が生じる環境下における、画像再生における劣化を表す伝達関数を意味する。
　つまり、上述のゴーストイメージングを利用した画像処理技術においては、画像出力となる相互相関関数が伝達関数によって平均化され、最終的な画像にゆがみが生じる。この画像の劣化に係る伝達関数の正確な形状が分かれば、例えば、ウイーナーフィルタのような逆関数処理によって適切な補正が可能となるのである。

　ここで、既存の画像処理技術と補正処理部５３で実行される補正技術について、簡単に説明する。
　既存の画像処理技術においては、画像の劣化に係る伝達関数は既知であり、画像表現の空間において不変であることを前提とする。また、この伝達関数は空間的に均一であることが求められる。
　これに対して、発明者等は、新たに補助機能として伝搬経路の散乱特性を上述の時空間依存の一般化された散乱伝達関数をフレーム毎に推定する機構を付与することで、動的な霧等のように伝達関数が時空間に依存してランダムに変化するような環境下であっても、ターゲットの画像を適切に取得することを実現したものである。
　ここで、時空間依存の一般化された散乱伝達関数とは、非特許文献３の式２５に示されるように、信号光及び反射光に対する大気の乱流と動的な霧による散乱の効果を、伝搬路の入出力の通信路モデルとして統一的にモデル化した際の数学的な公式である。従来の理論では、散乱現象は離散的であり、大気の乱流のような連続体の数理体系を適用できなかったが、散乱媒質に対する外力による誘電率の平滑化現象の発見により、連続系の理論に基づいて大気の乱流と散乱現象を理論統合した成果として導出されるものである。

　具体的に以下に記述する。これまでの光に対する霧の効果の理論は、空間的にランダムに置かれたミクロな粒子の集団による多重散乱の効果を解析するものであった。自動車のような移動体の環境では、ミクロな粒子の集団に対しマクロでランダムな外力による新たな擾乱が加わる。その外力の効果によって、ミクロな粒子の集団的運動が発生し、粒子の集合体の等価誘電率が変化し、離散系から連続系と見なせる平滑化現象が発生する。この現象の数理を大気の乱流の連続系の数理体系に等価的に繰り込むことで、大気の乱流と霧などの散乱現象による光の擾乱特性を統一的に表現することができる。その結果、大気の乱流による誘電率の連続的な変化に対するＴＡＴＡＲＳＫＩ理論の形式の中に、動的な霧の等価誘電率を用いて光の伝達関数の公式を得ることができる。

　これにより、定常で均一な外乱を持つ散乱の場合、現実の伝達関数は従来の散乱理論から得られるポイントスプレッド関数による伝達関数公式の中に等価誘電率を代入した形式で記述できる。一方、非定常・不均一な外力の場合、伝達関数は、上記の形式のポイントスプレッド関数の入力（出発点）の時空間のランダム性として取り扱うことができる。この一般化された散乱伝達関数の性質が分かれば、ゴーストイメージングにおける画像のゆがみなどの情報をあたえる等価的な相互コヒーレンス長が導出される。このパラメータ（等価的な相互コヒーレンス長）が確定すれば、相関関数によるイメージングにおける相関関数型ポイントスプレッド関数が決まるので、ゴーストイメージングの相関関数計算処理の過程で、そのゆがみを補正することが可能となる。
　一方、散乱特性推定部１０２によって光の伝搬路の等価誘電率変動の分散、あるいは散乱体の粒子数密度変動の情報などのパラメータのみを入手すれば、上記理論より、等価相互コヒーレンス長を推定することができるため、補正処理部は補正処理を実施する。

　これらを適用したものが、本発明における時空間依存の一般化された散乱伝達関数の理論である。本理論の帰結として、時空間依存の一般化された散乱伝達関数の理論式が得られる。また、本理論中で導出した理論式をそれぞれ、同理論における理論式と呼称する。

　そこで、補正処理部５３は、推定部５２により推定された伝搬経路の時空間依存する散乱特性に基づいて相関関数計算部２２３により計算された相互相関関数をフレーム毎に逆関数処理によって補正する。これは既存技術である補正技術法の一般化となっている。これにより、動的な散乱現象による画像データの劣化が補正される。
　具体的には例えば、補正処理部５３は、フレーム毎に得られた最初の再生画像に対応する相互相関関数の形状を補正する。

　モニタ５４は、補正処理部５３で補正された画像データに対応する画像を表示する。

　続いて、図３を用いて推定部５２の詳細な構成について説明していく。
　図３は、図２の画像処理装置１１ａのうち推定部の詳細の構成例を示すブロック図である。

　図３の例では、推定部５２は、伝搬経路テスト部１０１と、散乱特性推定部１０２とを含む。伝搬経路テスト部１０１は、レーザ光部１２１と、レーザ光受信部１２２とを含む。

　レーザ光部１２１は、ターゲットＴに向けてレーザパルス（光パルス）をテスト光として繰り返し照射（送信）する。
　レーザ光受信部１２２は、ターゲットＴからの反射光（テスト反射光）を受信する。

　散乱特性推定部１０２は、レーザ光部１２１によりターゲットＴに向けて送信されたテスト光としてのレーザパルス（送信パルス）と、レーザ光受信部１２２によって受信されたテスト反射光としてのレーザパルス（受信パルス）とに基づいて、上述の時空間依存の一般化された散乱伝達関数より伝搬経路の散乱特性を推定して、補正処理部５３に出力する。時空間依存の一般化された散乱伝達関数は、非特許文献３の式２５に詳しい。

　このような機能的構成を有する画像処理装置１１ａにより実行される、ターゲットＴの画像を出力するまでの一連の処理を、以下、「画像出力処理」と呼ぶ。
　図４は、図２の画像処理装置１１ａが実行する画像出力処理の流れの一例を説明するフローチャートである。

　ステップＳ１において、ターゲット信号処理部５１は、光源部２０１から分割された信号光によるターゲットＴからの反射光と、光源部２０１から分割された参照光との相互相関関数を計算する。なお、以下、このようなステップＳ１の処理を、「ターゲット信号処理」と呼ぶ。ターゲット信号処理の詳細については、図５を参照して後述する。

　ステップＳ２において、推定部５２は、信号光及び反射光の伝播経路の散乱特性を推定する。なお、以下、このようなステップＳ２の処理を、「散乱特性推定処理」と呼ぶ。散乱特性推定処理の詳細については、図６を参照して後述する。

　ステップＳ３において、補正処理部５３は、ステップＳ２の処理で推定された伝搬経路の散乱特性に基づいて、相関関数計算部２２３により計算された相互相関関数に対して所定の補正処理を実行する。これにより、散乱現象による画像データの劣化が補正される。

　ステップＳ４において、補正処理部５３は、補正された画像データに対応する画像をモニタ５４に表示させる。

　次に、図５を参照して、上述のステップＳ１におけるターゲット信号処理の詳細について説明する。
　図５は、図４の画像出力処理のうちターゲット信号処理の詳細な流れの一例を説明するフローチャートである。

　ステップＳ１１において、光源部２０１は、擬似熱光を発生し、それを照射する。

　ステップＳ１２において、光分波部２０２は、ステップＳ１１で照射された擬似熱光を２分割して、２分割した光のうち、一方を信号光として、他方を参照光として、夫々出力する。

　ステップＳ１３において、光受信素子部２２２は、ステップＳ１１において照射されてステップＳ１２において分割された参照光を受信する。

　ステップＳ１４において、光検出部２２１は、ステップＳ１１において照射されステップＳ１２において分割された信号光がターゲットＴにおいて反射され、その結果得られる反射光を一括して検出する。

　ステップＳ１５において、相関関数計算部２２３は、ステップＳ１３において受信された参照光の相関関数と、ステップＳ１４において検出された反射光の総エネルギーとに基づいて、相互相関関数を計算する。

　次に、図６を参照して、上述のステップＳ２における散乱特性推定処理について説明する。
　図６は、図４の画像出力処理のうち散乱特性推定処理の詳細な流れの一例を説明するフローチャートである。

　ステップＳ２１において、散乱特性推定部１０２は、レーザ光部１２１により送信された送信パルス（テスト光）と、レーザ光受信部１２２により受信された受信パルス（テスト反射光）との時間差により、ターゲットＴまでの距離を推定する。

　散乱特性推定部１０２は、送信パルスのエネルギーと受信パルスのエネルギーとの差分から、ターゲットＴまでの往復における散乱エネルギー減衰率を推定する。すなわち、散乱特性推定部１０２は、伝搬経路の散乱現象に起因したターゲットの平面空間内の平均散乱減衰率を推定する。

　ステップＳ２３において、散乱特性推定部１０２は推定した散乱エネルギー減衰率に基づいて、一般化された散乱伝達関数の理論から、等価誘電率変動の分散、あるいは散乱体の粒子数密度変動を算出し、等価相互コヒーレンス長を推定する。
　具体的には例えば、画像処理装置１１ａの図示せぬメモリには、上述の一般化された散乱伝達関数の理論から、等価誘電率変動の分散、あるいは散乱体の粒子数密度変動を算出し、等価相互コヒーレンス長を推定する変換公式が記憶されている。散乱特性推定部１０２は、この変換公式に基づいて等価相互コヒーレント長を推定する。

　ステップＳ２４において、散乱特性推定部１０２は、ステップＳ２３において推定した等価相互コヒーレンス長に基づいて、非特許文献１のような、従来の大気の乱流に対する相関関数型ポイントスプレッド関数の理論を用いて、散乱による相関関数型ポイントスプレッド関数を推定する。
　具体的には例えば、画像処理装置１１ａの図示せぬメモリには、従来の大気の乱流に対する相関関数型ポイントスプレッド関数の理論を用いて、散乱による相関関数型ポイントスプレッド関数を推定する変換公式が記憶されている。散乱特性推定部１０２は、この変換公式に基づいて散乱による相関関数型ポイントスプレッド関数を推定する。

　ステップＳ２５において、散乱特性推定部１０２は、ステップＳ２４において推定した相関関数型ポイントスプレッド関数の情報を補正情報として補正処理部５３に出力する。

　なお、補正処理部５３は、散乱特性推定部１０２から出力された補正情報（相関関数型ポイントスプレッド関数）を用いて歪の逆処理を行うことで、相互相関関数を補正して、原型に近い相関関数として出力する。このように原型に近い相関関数が出力されることで、画像データの劣化が補正される。

　以上のように、第１の実施形態に係る画像処理装置１１ａは、推定部５２と補正処理部５３とを備えている。推定部５２により伝搬経路での散乱特性（具体的には、散乱による相関関数型ポイントスプレッド関数）が推定される。補正処理部５３により、推定された散乱特性に基づいて画像データの劣化が補正される。
　これにより、ターゲットＴに向かう信号光とターゲットＴからの反射光が濃霧などによるランダムな強い散乱に擾乱されたとしても、最終的に非常に高品質のターゲットＴのイメージ情報（画像データ）を確保することが可能となる。

［第２実施形態］
　上述の第１の実施形態では、ターゲットＴからの反射光がそのまま光検出部２２１で取得されている。
　しかし、ターゲットＴの画像データを適切に取得するためには、ターゲットＴからの反射光をそのまま取得するよりも、増幅して取得する方が好適である。
　このようにターゲットＴからの反射光を増幅して取得する実施形態を、第２実施形態として、以下説明をする。
　第２実施形態の画像処理装置１１ｂは、反射光の減衰が激しいような場合であっても、当該反射光を増幅して取得するので、ターゲットＴの画像データを適切に取得することができる。

　図７は、本発明の第２実施形態に係る画像処理装置１１ｂの構成の一例を示すブロック図である。
　第２実施形態の画像処理装置１１ｂは、第１実施形態の画像処理装置１１ａの構成と比較すると、増幅部５５を有する点で異なり、それ以外の構成は共通である。そこで、第２の実施形態において、第１の実施形態と共通する構成については同一の参照符号を付し、その説明は省略する。

　図７に示すように、第２の実施形態に係る画像処理装置１１ｂは、第１実施形態と同様に、ターゲット信号処理部５１と、推定部５２と、補正処理部５３と、モニタ５４とに加えてさらに、増幅部５５を含むように構成される。
　増幅部５５は、集光部３０１と、光増幅部３０２とを含む。

　集光部３０１は、ターゲットＴから反射された反射光を２次元的に集光する。光増幅部３０２は、集光された反射光を１次元的に増幅する。即ち、光検出部２２１は、集光部３０１と、光増幅部３０２とを含むことから、反射光を増幅して検出することができる。

　このように、第２実施形態に係る画像処理装置１１ｂは、光増幅部３０２を備える。その結果、霧などのように散乱現象が非常に強いときに反射光のエネルギー減衰が大きい場合であっても、反射光の適切な検出が可能になる。

　なお、２次元情報を受信する光検出手段であれば、通常の光増幅手段を利用することはできないが、本実施形態に係る画像処理装置１１ｂは、光検出部２２１として１次元のシングル・ピクセル光検出器を採用することができる。
　そのため、光検出部２２１がターゲットＴからの反射光を受信する前に光増幅部３０２で２次元的な光をまとめて１次元的に増幅しても、画像情報に影響は出ない。したがって、反射光が弱い場合に、光増幅部３０２を利用して、光が弱いために起こる画像劣化を防ぐことができる。

　このように、第１実施形態の画像処理装置１１ａ及び第２実施形態の画像処理装置１１ｂは、相関関数イメージセンサ（ターゲット信号処理部５１）の補助手段として、推定部５２を備えている。これにより、推定された散乱特性に基づく補正が可能となるので、散乱現象が生じる環境下であってもターゲットの画像を適切に取得することが可能となる。

　以上、本発明の一実施形態として第１実施形態及び第２実施形態について説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

　例えば、推定部５２は、上述の第１の実施形態や第２の実施形態では、図３の構成を有していたが、特にこれに限定されない。即ち、推定部５２による散乱特性の推定手法として、上述の第１実施形態及び第２実施形態では、ターゲットＴに実際に送信された送信パルスとターゲットＴから実際に反射された受信パルスとに基づいて伝搬経路の散乱特性を推定する手法が採用されていた。
　しかし、散乱特性の推定手法は、特にこれに限定されない。例えば、画像処理装置１１ａ及び画像処理装置１１ｂは、伝搬経路の散乱や乱流による伝搬経路の平均散乱減衰度や散乱体の平均サイズ等の伝搬経路の散乱特性に関する種々のデータを事前に蓄積したビッグデータを取得して、当該ビッグデータを用いて適切な散乱モデルが抽出することで、散乱特性を推定してもよい。
　より詳細には例えば、推定部５２は、ターゲット信号処理部５１からの出力の一部を参考にして人工知能などによりビッグデータから散乱モデルを抽出し、散乱の動的理論の理論式（例えば上述の時空間依存の一般化された散乱伝達関数の理論）による相関関数型ポイントスプレッド関数を瞬時に計算して補正情報を算出して、補正処理部５３に提供してもよい。
　なお、上述のビッグデータは、画像処理装置１１ａ及び画像処理装置１１ｂ内のメモリに限らず、リムーバルメディアやネットワークを介して接続可能なサーバコンピュータ内に記憶されていてもよい。

　また、上述の第１の実施形態や第２の実施形態に係る画像処理装置１１ａ及び画像処理装置１１ｂでは、光源部２０１は、擬似熱光を発生する擬似熱光源であるとしたが、量子力学的なもつれ効果を有する量子光源であってもよく、あるいは、人工的な可変ランダムパターンを通過する光源であってもよい。このような他の光源を用いても、光源から２分割された信号光と参照光とが相互に相関を有するようにすることができる。

　また、上述の第１の実施形態や第２の実施形態に係る画像処理装置１１ａ及び画像処理装置１１ｂは、自動運転を行う自動車に取り付けられると好適である。これは、自動車の環境で起こる光の伝搬経路では、散乱や乱流が不均一な動的状態にある一方で、自動運転を行う自動車の環境では障害物等の正確な画像データの取得が求められるためである。
　しかし、画像処理装置１１ａ及び画像処理装置１１ｂは、自動運転を行う自動車に取り付けられるものではなく、他の用途に用いられてもよい。例えば、悪天候であっても動作対象の鮮明な画像が求められるスポーツ中継のカメラとして用いられるものとしてもよい。

　ここで、既存の画像処理技術（例えば図１に記載の画像処理技術）と本発明の画像処理装置１１ａ及び画像処理装置１１ｂの相違点について、簡単に補足する。
　まず、既存の技術における擾乱の伝搬経路モデルにおける伝達関数は、時空間的な変動が生じないことを前提としている。即ち、従来型の画像処理過程のモデルは、その前提として、擾乱原因体、送受信機とターゲット等が静止状態であること及び伝搬経路の擾乱が晴天時の空気の乱流現象の場合であることを前提としている。
　そのため、従来型の画像処理過程モデルは、自動車のように送受信機とターゲットが相対的に動いている場合や、乱流などの擾乱原因が風によって不均一に揺らぐ場合に、適切に画像を取得できないという問題があった。
　また、伝搬経路の擾乱に霧、雨、雪等による散乱が含まれる場合には、適切に画像を取得できないという問題があった。本発明の画像処理装置１１ａ及び画像処理装置１１ｂでは、このような課題の解決を図っている。
　さらに、ターゲット（例えばターゲットＴ）の反射率は、金属以外の場合、通常、非常に低いことが一般的である。そして、擾乱原因自体が散乱現象の場合、伝搬のエネルギー減衰が大きいため、受信装置に到達する信号エネルギーが極めて小さいという問題があった。
　このような場合であっても本発明の各実施形態（特に本発明の第２の実施形態）では、エネルギー減衰が大きい場合であっても、適切に画像を取得することができるのである。

　上述の点を含めて換言すると、本発明に係る一実施形態では、動的散乱理論に基づく補正制御技術を導入することで、霧、雨、雪等による散乱の場合、障害物が相対的に動いている時や、乱流・散乱等の擾乱原因が風によって不均一に揺らぐ場合に、それらの環境に適応するための方法に係る。また、本発明に係る一実施形態では、光信号増強機構（例えば図７の増幅部５５）を用いて、ターゲットからの反射光の弱さ（減衰が大きい場合）に対する対応策を備える。

　例えば、上記した実施形態における一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
　コンピュータは、専用のハードウェアに組み込まれているコンピュータであっても良い。
　また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他、スマートフォンやパーソナルコンピュータ、又は各種デバイス等であってもよい。

　また例えば、このようなプログラムを含む記録媒体は、利用者にプログラムを提供するために装置本体とは別に配布される図示せぬリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態で利用者に提供される記録媒体等で構成されるものであってもよい。

　また例えば、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものであってもよい。

　以上を換言すると、本発明が適用される画像処理装置は、次のような構成を有する各種各様の実施形態を取ることができる。
　即ち、本発明が適用される画像処理装置（例えば、図２の画像処理装置１１ａ）は、
　光源から分割された信号光によるターゲットからの反射光と、前記光源から分割された参照光との相互相関関数を計算する相関関数計算手段（例えば、図２の相関関数計算部２２３）と、
　前記信号光及び前記反射光の伝播経路の散乱特性を推定する伝搬経路特性推定手段（例えば、図２の推定部５２）と、
　前記伝搬経路特性推定手段により推定された前記散乱特性に基づいて、前記相関関数計算手段により計算された前記相互相関関数に対して所定の補正処理を実行する補正手段（例えば、図２の補正処理部５３）と、
　を備える画像処理装置であれば足りる。
　これによれば、推定された散乱特性のデータに基づいた補正が行われるので、散乱現象が生じる環境下であってもターゲットの画像を適切に取得できる。

　また、前記伝搬経路特性推定手段は、
　　前記ターゲットにレーザ光を送信するレーザ光送信手段（例えば、図３のレーザ光部１２１）と、
　　当該ターゲットから反射されたレーザ光を受信するレーザ光受信手段（例えば、図３のレーザ光受信部１２２）と、
　　前記レーザ光送信手段から送信された前記レーザ光と、前記レーザ光受信手段において受信された前記レーザ光とに基づいて、前記散乱特性を推定する散乱特性推定手段（例えば、図３の散乱特性推定部１０２）とを含んでもよい。
　これによれば、ターゲットに対するレーザ光の送受信に基づいて散乱特性が推定され、このデータに基づいた補正が行われるので、散乱現象が生じる環境下あってもターゲットの画像を適切に取得できる。

　また、前記伝搬経路特性推定手段は、
　　前記伝搬経路の散乱特性に関して事前に得られる複数のデータに基づく所定の散乱モデルを用いて、前記散乱特性を推定してもよい。

　また、本発明が適用される画像処理装置は、次のような構成を有する各種各様の実施形態を取ることができる。
　即ち、本発明が適用される画像処理装置（例えば、図７の画像処理装置１１ｂ）は、
　前記信号光による前記ターゲットからの反射光を増幅する増幅手段（例えば、図７の増幅部５５）をさらに備え、
　前記相関関数計算手段は、前記増幅手段により増幅された前記反射光と、前記参照光との相互相関関数を計算する、
　ものであってもよい。

　本発明の画像処理装置は、自動運転において障害物を撮像する画像処理装置に用いられることで、センサ技術で課題となっている悪天候での前方の障害物のイメージの取得が可能となるため、近未来の産業に寄与する。また、光源を擬似熱光源とした場合、装置の製造が低コスト化され得るので大量生産にも向いている。さらに高性能が要求される場合には量子光源を採用するシステムの開発へと繋がるので、非常に広範な産業技術との融合が期待できる。

　１１ａ，１１ｂ・・・画像処理装置、５１・・・ターゲット信号処理部、５２・・・推定部、５３・・・補正処理部、５４・・・モニタ、５５・・・増幅部、１０１・・・伝搬経路テスト部、１０２・・・散乱特性推定部、１２１・・・レーザ光部、１２２・・・レーザ光受信部、２０１・・・光源部、２０２・・・光分波部、２０３・・・受信部、２２１・・・光検出部、２２２・・・光受信素子部、２２３・・・相関関数計算部、３０１・・・集光部、３０２・・・光増幅器

Claims (6)

1. 　光源から分割された信号光によるターゲットからの反射光と、前記光源から分割された参照光との相互相関関数を計算する相関関数計算手段と、
   　前記信号光及び前記反射光の伝播経路の散乱特性を推定する伝搬経路特性推定手段と、
   　前記伝搬経路特性推定手段により推定された前記散乱特性に基づいて、前記相関関数計算手段により計算された前記相互相関関数に対して所定の補正処理を実行する補正手段と、
   　を備える画像処理装置。
2. 　前記伝搬経路特性推定手段は、
   　　前記ターゲットにレーザ光を送信するレーザ光送信手段と、
   　　当該ターゲットから反射されたレーザ光を受信するレーザ光受信手段と、
   　　前記レーザ光送信手段から送信された前記レーザ光と、前記レーザ光受信手段において受信された前記レーザ光とに基づいて、前記散乱特性を推定する散乱特性推定手段と、
   　を含む請求項１に記載の画像処理装置。
3. 　前記伝搬経路特性推定手段は、
   　　前記伝搬経路の散乱特性に関して事前に得られる複数のデータに基づく所定の散乱モデルを用いて、前記散乱特性を推定する、
   　請求項１に記載の画像処理装置。
4. 　前記信号光による前記ターゲットからの反射光を増幅する増幅手段をさらに備え、
   　前記相関関数計算手段は、前記増幅手段により増幅された前記反射光と、前記参照光との相互相関関数を計算する、
   　請求項１乃至３のうち何れか1項に記載の画像処理装置。
5. 　画像処理装置が実行する画像処理方法において、
   　光源から分割された信号光によるターゲットからの反射光と、前記光源から分割された参照光との相互相関関数を計算する相関関数計算ステップと、
   　前記信号光及び前記反射光の伝播経路の散乱特性を推定する伝搬経路特性推定ステップと、
   　前記伝搬経路特性推定ステップの処理により推定された前記散乱特性に基づいて、前記相関関数計算ステップの処理により計算された前記相互相関関数に対して所定の補正処理を実行する補正ステップと、
   　を含む画像処理方法。
6. 　コンピュータに、
   　光源から分割された信号光によるターゲットからの反射光と、前記光源から分割された参照光との相互相関関数を計算する相関関数計算ステップと、
   　前記信号光及び前記反射光の伝播経路の散乱特性を推定する伝搬経路特性推定ステップと、
   　前記伝搬経路特性推定ステップの処理により推定された前記散乱特性に基づいて、前記相関関数計算ステップの処理により計算された前記相互相関関数に対して所定の補正処理を実行する補正ステップと、
   　を含む制御処理を実行させるプログラム。

Images