JPWO2019016994A1 - 画像処理装置及び方法、並びに、プログラム - Google Patents
画像処理装置及び方法、並びに、プログラム Download PDFInfo
- Publication number
- JPWO2019016994A1 JPWO2019016994A1 JP2018529188A JP2018529188A JPWO2019016994A1 JP WO2019016994 A1 JPWO2019016994 A1 JP WO2019016994A1 JP 2018529188 A JP2018529188 A JP 2018529188A JP 2018529188 A JP2018529188 A JP 2018529188A JP WO2019016994 A1 JPWO2019016994 A1 JP WO2019016994A1
- Authority
- JP
- Japan
- Prior art keywords
- light
- correlation function
- scattering
- image processing
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Optical Radar Systems And Details Thereof (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
Description
光源から分割された信号光によるターゲットからの反射光と、前記光源から分割された参照光との相互相関関数を計算する相関関数計算手段と、
前記信号光及び前記反射光の伝播経路の散乱特性を推定する伝搬経路特性推定手段と、
前記伝搬経路特性推定手段により推定された前記散乱特性に基づいて、前記相関関数計算手段により計算された前記相互相関関数に対して所定の補正処理を実行する補正手段と、
を備える。
ゴーストイメージングとは、光源からの光を2つに分割して、ターゲット(障害物)に照射する光と、ターゲットに照射しない参照として利用する光(以下、「参照光」と呼ぶ)との相互相関関数を計算することによって、ターゲットのイメージを取得する技術である。
[非特許文献1]J.H.Shapiro and R.W.Boyd,“The physics of ghost imaging,” Qunatum Infoumation Processing, vol−11,p494,(2012).
即ち、分割された2つの光のうちターゲットに向かう光は「信号光」と呼ばれる。他方の光は、ターゲットに向かわず、上述の如く「参照光」と呼ばれる。
信号光は、ターゲットに反射されて反射光となり、シングル・ピクセルの検出器で検出される。参照光は、ターゲットには向かわず、ターゲットに関係ない場所にあるCCD(Charge Coupled Device)素子に照射される。
光源Lは、量子もつれ光若しくは擬似熱光を送信する。
受信器Rは、光源Lからの信号光に対するターゲットTからの反射光を受信する。受信器Rは、例えば図1の例では、CCDカメラK、シングル・ピクセル光検出器S、及び相関計算機Cを含んで構成される。受信器Rにおいて、シングル・ピクセル光検出器Sは、反射光のエネルギーを一括して受信する。相関計算機Cは、シングル・ピクセル光検出器Sの出力と、参照光のCCDカメラKの2次元出力との相互相関関数を計算する。これにより、その相互相関関数が被写体の画像として出現する。
[非特許文献2]A.Ishimaru,“Wave propergation and scattering in random media”,IEEE Press,(1997).
[非特許文献3]廣田修、相馬正宜、“自動運転用の量子及び古典レーダーカメラと霧の効果”、第40回 情報理論とその応用シンポジューム、2017.
即ち、本発明が適用される画像処理装置は、光の伝搬経路において霧や雨などによる散乱現象が生じる場合であっても、散乱現象の影響による画質の劣化を防止し、適切な画像を取得することができる。
具体的には例えば、本発明が適用される画像処理装置は、相関関数計算機能と、伝搬経路特性推定機能と、補正機能とを備える。
相関関数計算機能は、光源から分割された信号光によるターゲットからの反射光と、前記光源から分割された参照光との相互相関関数を計算する機能である。
伝搬経路特性推定機能は、前記信号光及び前記反射光の伝播経路の散乱特性を推定する機能である。
補正機能は、前記伝搬経路特性推定機能の発揮により推定された前記散乱特性に基づいて、前記相関関数計算機能の発揮により計算された前記相互相関関数に対して所定の補正処理を実行する機能である。
以下、このような本発明が適用される画像処理装置の2つの実施形態を、第1実施形態と第2実施形態の夫々として、その順番で個別に説明していく。即ち、本発明が適用される画像処理装置として、第1実施形態では画像処理装置11a(図2等)について、第2実施形態では画像処理装置11b(図7)について説明する。
以下、本発明の第1実施形態について、図面を用いて説明する。
図2は、本発明の第1の実施形態に係る画像処理装置11aの構成の一例を示すブロック図である。
図2に示すように、画像処理装置11aは、ターゲット信号処理部51と、推定部52と、補正処理部53と、モニタ54とを含むように構成される。
光分波部202は、例えばハーフミラーとして構成され、光源部201から放射された擬似熱光を2分割して夫々出力する。
光分波部202により2分割されて出力された光のうち、一方の光は、ターゲットTに向けて放射される信号光であり、他方の光は、参照光である。擬似熱光源である光源部201から2分割された信号光と参照光とは、相互に古典光(擬似熱光)の揺らぎの相関を有する。
ここで、伝搬経路の散乱特性とは、例えば、霧等のように散乱現象が生じる環境下における、画像再生における劣化を表す伝達関数を意味する。
つまり、上述のゴーストイメージングを利用した画像処理技術においては、画像出力となる相互相関関数が伝達関数によって平均化され、最終的な画像にゆがみが生じる。この画像の劣化に係る伝達関数の正確な形状が分かれば、例えば、ウイーナーフィルタのような逆関数処理によって適切な補正が可能となるのである。
既存の画像処理技術においては、画像の劣化に係る伝達関数は既知であり、画像表現の空間において不変であることを前提とする。また、この伝達関数は空間的に均一であることが求められる。
これに対して、発明者等は、新たに補助機能として伝搬経路の散乱特性を上述の時空間依存の一般化された散乱伝達関数をフレーム毎に推定する機構を付与することで、動的な霧等のように伝達関数が時空間に依存してランダムに変化するような環境下であっても、ターゲットの画像を適切に取得することを実現したものである。
ここで、時空間依存の一般化された散乱伝達関数とは、非特許文献3の式25に示されるように、信号光及び反射光に対する大気の乱流と動的な霧による散乱の効果を、伝搬路の入出力の通信路モデルとして統一的にモデル化した際の数学的な公式である。従来の理論では、散乱現象は離散的であり、大気の乱流のような連続体の数理体系を適用できなかったが、散乱媒質に対する外力による誘電率の平滑化現象の発見により、連続系の理論に基づいて大気の乱流と散乱現象を理論統合した成果として導出されるものである。
一方、散乱特性推定部102によって光の伝搬路の等価誘電率変動の分散、あるいは散乱体の粒子数密度変動の情報などのパラメータのみを入手すれば、上記理論より、等価相互コヒーレンス長を推定することができるため、補正処理部は補正処理を実施する。
具体的には例えば、補正処理部53は、フレーム毎に得られた最初の再生画像に対応する相互相関関数の形状を補正する。
図3は、図2の画像処理装置11aのうち推定部の詳細の構成例を示すブロック図である。
レーザ光受信部122は、ターゲットTからの反射光(テスト反射光)を受信する。
図4は、図2の画像処理装置11aが実行する画像出力処理の流れの一例を説明するフローチャートである。
図5は、図4の画像出力処理のうちターゲット信号処理の詳細な流れの一例を説明するフローチャートである。
図6は、図4の画像出力処理のうち散乱特性推定処理の詳細な流れの一例を説明するフローチャートである。
具体的には例えば、画像処理装置11aの図示せぬメモリには、上述の一般化された散乱伝達関数の理論から、等価誘電率変動の分散、あるいは散乱体の粒子数密度変動を算出し、等価相互コヒーレンス長を推定する変換公式が記憶されている。散乱特性推定部102は、この変換公式に基づいて等価相互コヒーレント長を推定する。
具体的には例えば、画像処理装置11aの図示せぬメモリには、従来の大気の乱流に対する相関関数型ポイントスプレッド関数の理論を用いて、散乱による相関関数型ポイントスプレッド関数を推定する変換公式が記憶されている。散乱特性推定部102は、この変換公式に基づいて散乱による相関関数型ポイントスプレッド関数を推定する。
これにより、ターゲットTに向かう信号光とターゲットTからの反射光が濃霧などによるランダムな強い散乱に擾乱されたとしても、最終的に非常に高品質のターゲットTのイメージ情報(画像データ)を確保することが可能となる。
上述の第1の実施形態では、ターゲットTからの反射光がそのまま光検出部221で取得されている。
しかし、ターゲットTの画像データを適切に取得するためには、ターゲットTからの反射光をそのまま取得するよりも、増幅して取得する方が好適である。
このようにターゲットTからの反射光を増幅して取得する実施形態を、第2実施形態として、以下説明をする。
第2実施形態の画像処理装置11bは、反射光の減衰が激しいような場合であっても、当該反射光を増幅して取得するので、ターゲットTの画像データを適切に取得することができる。
第2実施形態の画像処理装置11bは、第1実施形態の画像処理装置11aの構成と比較すると、増幅部55を有する点で異なり、それ以外の構成は共通である。そこで、第2の実施形態において、第1の実施形態と共通する構成については同一の参照符号を付し、その説明は省略する。
増幅部55は、集光部301と、光増幅部302とを含む。
そのため、光検出部221がターゲットTからの反射光を受信する前に光増幅部302で2次元的な光をまとめて1次元的に増幅しても、画像情報に影響は出ない。したがって、反射光が弱い場合に、光増幅部302を利用して、光が弱いために起こる画像劣化を防ぐことができる。
しかし、散乱特性の推定手法は、特にこれに限定されない。例えば、画像処理装置11a及び画像処理装置11bは、伝搬経路の散乱や乱流による伝搬経路の平均散乱減衰度や散乱体の平均サイズ等の伝搬経路の散乱特性に関する種々のデータを事前に蓄積したビッグデータを取得して、当該ビッグデータを用いて適切な散乱モデルが抽出することで、散乱特性を推定してもよい。
より詳細には例えば、推定部52は、ターゲット信号処理部51からの出力の一部を参考にして人工知能などによりビッグデータから散乱モデルを抽出し、散乱の動的理論の理論式(例えば上述の時空間依存の一般化された散乱伝達関数の理論)による相関関数型ポイントスプレッド関数を瞬時に計算して補正情報を算出して、補正処理部53に提供してもよい。
なお、上述のビッグデータは、画像処理装置11a及び画像処理装置11b内のメモリに限らず、リムーバルメディアやネットワークを介して接続可能なサーバコンピュータ内に記憶されていてもよい。
しかし、画像処理装置11a及び画像処理装置11bは、自動運転を行う自動車に取り付けられるものではなく、他の用途に用いられてもよい。例えば、悪天候であっても動作対象の鮮明な画像が求められるスポーツ中継のカメラとして用いられるものとしてもよい。
まず、既存の技術における擾乱の伝搬経路モデルにおける伝達関数は、時空間的な変動が生じないことを前提としている。即ち、従来型の画像処理過程のモデルは、その前提として、擾乱原因体、送受信機とターゲット等が静止状態であること及び伝搬経路の擾乱が晴天時の空気の乱流現象の場合であることを前提としている。
そのため、従来型の画像処理過程モデルは、自動車のように送受信機とターゲットが相対的に動いている場合や、乱流などの擾乱原因が風によって不均一に揺らぐ場合に、適切に画像を取得できないという問題があった。
また、伝搬経路の擾乱に霧、雨、雪等による散乱が含まれる場合には、適切に画像を取得できないという問題があった。本発明の画像処理装置11a及び画像処理装置11bでは、このような課題の解決を図っている。
さらに、ターゲット(例えばターゲットT)の反射率は、金属以外の場合、通常、非常に低いことが一般的である。そして、擾乱原因自体が散乱現象の場合、伝搬のエネルギー減衰が大きいため、受信装置に到達する信号エネルギーが極めて小さいという問題があった。
このような場合であっても本発明の各実施形態(特に本発明の第2の実施形態)では、エネルギー減衰が大きい場合であっても、適切に画像を取得することができるのである。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであっても良い。
また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他、スマートフォンやパーソナルコンピュータ、又は各種デバイス等であってもよい。
即ち、本発明が適用される画像処理装置(例えば、図2の画像処理装置11a)は、
光源から分割された信号光によるターゲットからの反射光と、前記光源から分割された参照光との相互相関関数を計算する相関関数計算手段(例えば、図2の相関関数計算部223)と、
前記信号光及び前記反射光の伝播経路の散乱特性を推定する伝搬経路特性推定手段(例えば、図2の推定部52)と、
前記伝搬経路特性推定手段により推定された前記散乱特性に基づいて、前記相関関数計算手段により計算された前記相互相関関数に対して所定の補正処理を実行する補正手段(例えば、図2の補正処理部53)と、
を備える画像処理装置であれば足りる。
これによれば、推定された散乱特性のデータに基づいた補正が行われるので、散乱現象が生じる環境下であってもターゲットの画像を適切に取得できる。
前記ターゲットにレーザ光を送信するレーザ光送信手段(例えば、図3のレーザ光部121)と、
当該ターゲットから反射されたレーザ光を受信するレーザ光受信手段(例えば、図3のレーザ光受信部122)と、
前記レーザ光送信手段から送信された前記レーザ光と、前記レーザ光受信手段において受信された前記レーザ光とに基づいて、前記散乱特性を推定する散乱特性推定手段(例えば、図3の散乱特性推定部102)とを含んでもよい。
これによれば、ターゲットに対するレーザ光の送受信に基づいて散乱特性が推定され、このデータに基づいた補正が行われるので、散乱現象が生じる環境下あってもターゲットの画像を適切に取得できる。
前記伝搬経路の散乱特性に関して事前に得られる複数のデータに基づく所定の散乱モデルを用いて、前記散乱特性を推定してもよい。
即ち、本発明が適用される画像処理装置(例えば、図7の画像処理装置11b)は、
前記信号光による前記ターゲットからの反射光を増幅する増幅手段(例えば、図7の増幅部55)をさらに備え、
前記相関関数計算手段は、前記増幅手段により増幅された前記反射光と、前記参照光との相互相関関数を計算する、
ものであってもよい。
Claims (6)
- 光源から分割された信号光によるターゲットからの反射光と、前記光源から分割された参照光との相互相関関数を計算する相関関数計算手段と、
前記信号光及び前記反射光の伝播経路の散乱特性を推定する伝搬経路特性推定手段と、
前記伝搬経路特性推定手段により推定された前記散乱特性に基づいて、前記相関関数計算手段により計算された前記相互相関関数に対して所定の補正処理を実行する補正手段と、
を備える画像処理装置。 - 前記伝搬経路特性推定手段は、
前記ターゲットにレーザ光を送信するレーザ光送信手段と、
当該ターゲットから反射されたレーザ光を受信するレーザ光受信手段と、
前記レーザ光送信手段から送信された前記レーザ光と、前記レーザ光受信手段において受信された前記レーザ光とに基づいて、前記散乱特性を推定する散乱特性推定手段と、
を含む請求項1に記載の画像処理装置。 - 前記伝搬経路特性推定手段は、
前記伝搬経路の散乱特性に関して事前に得られる複数のデータに基づく所定の散乱モデルを用いて、前記散乱特性を推定する、
請求項1に記載の画像処理装置。 - 前記信号光による前記ターゲットからの反射光を増幅する増幅手段をさらに備え、
前記相関関数計算手段は、前記増幅手段により増幅された前記反射光と、前記参照光との相互相関関数を計算する、
請求項1乃至3のうち何れか1項に記載の画像処理装置。 - 画像処理装置が実行する画像処理方法において、
光源から分割された信号光によるターゲットからの反射光と、前記光源から分割された参照光との相互相関関数を計算する相関関数計算ステップと、
前記信号光及び前記反射光の伝播経路の散乱特性を推定する伝搬経路特性推定ステップと、
前記伝搬経路特性推定ステップの処理により推定された前記散乱特性に基づいて、前記相関関数計算ステップの処理により計算された前記相互相関関数に対して所定の補正処理を実行する補正ステップと、
を含む画像処理方法。 - コンピュータに、
光源から分割された信号光によるターゲットからの反射光と、前記光源から分割された参照光との相互相関関数を計算する相関関数計算ステップと、
前記信号光及び前記反射光の伝播経路の散乱特性を推定する伝搬経路特性推定ステップと、
前記伝搬経路特性推定ステップの処理により推定された前記散乱特性に基づいて、前記相関関数計算ステップの処理により計算された前記相互相関関数に対して所定の補正処理を実行する補正ステップと、
を含む制御処理を実行させるプログラム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017142209 | 2017-07-21 | ||
JP2017142209 | 2017-07-21 | ||
PCT/JP2017/037843 WO2019016968A1 (ja) | 2017-07-21 | 2017-10-19 | 画像処理装置及び方法、並びに、プログラム |
JPPCT/JP2017/037843 | 2017-10-19 | ||
PCT/JP2018/006808 WO2019016994A1 (ja) | 2017-07-21 | 2018-02-23 | 画像処理装置及び方法、並びに、プログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018164354A Division JP2019023640A (ja) | 2017-07-21 | 2018-09-03 | 画像処理装置及び方法、並びに、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6412673B1 JP6412673B1 (ja) | 2018-10-24 |
JPWO2019016994A1 true JPWO2019016994A1 (ja) | 2019-07-18 |
Family
ID=63920636
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018529188A Active JP6412673B1 (ja) | 2017-07-21 | 2018-02-23 | 画像処理装置及び方法、並びに、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6412673B1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113227838B (zh) * | 2018-12-27 | 2024-07-12 | 株式会社小糸制作所 | 车辆用灯具及车辆 |
CN113302520B (zh) * | 2019-01-16 | 2024-07-02 | 株式会社小糸制作所 | 成像装置、其运算处理装置、车辆用灯具、车辆、感测方法 |
JP7463297B2 (ja) * | 2019-01-17 | 2024-04-08 | 株式会社小糸製作所 | 車載用イメージング装置、車両用灯具、自動車 |
WO2020218282A1 (ja) | 2019-04-22 | 2020-10-29 | 株式会社小糸製作所 | イメージング装置、車両用灯具、自動車、イメージング方法 |
WO2021010339A1 (ja) | 2019-07-12 | 2021-01-21 | 株式会社小糸製作所 | イメージング装置およびその照明装置、車両、車両用灯具 |
WO2023085328A1 (ja) * | 2021-11-12 | 2023-05-19 | 株式会社小糸製作所 | イメージング装置およびイメージング方法、車両用灯具、車両 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3162070B2 (ja) * | 1990-11-22 | 2001-04-25 | オリンパス光学工業株式会社 | 被検体内部情報観察装置 |
JP4842028B2 (ja) * | 2006-06-21 | 2011-12-21 | 浜松ホトニクス株式会社 | 散乱吸収体計測方法及び散乱吸収体計測装置 |
US8948539B2 (en) * | 2011-09-28 | 2015-02-03 | The United States Of America As Represented By The Secretary Of The Army | System and method for image improvement and enhancement |
-
2018
- 2018-02-23 JP JP2018529188A patent/JP6412673B1/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP6412673B1 (ja) | 2018-10-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6412673B1 (ja) | 画像処理装置及び方法、並びに、プログラム | |
JP2019023640A (ja) | 画像処理装置及び方法、並びに、プログラム | |
EP2717012B1 (en) | Image processing apparatus and image processing method | |
US11892573B2 (en) | Real-time estimation of dc bias and noise power of light detection and ranging (LiDAR) | |
US9719856B2 (en) | Coded spectral imager | |
EP2261853A1 (en) | Image processing apparatus, medium, and method | |
US20170234977A1 (en) | Lidar system and multiple detection signal processing method thereof | |
US10757336B2 (en) | Image capturing apparatus, image capturing method, and storage medium | |
US20210052226A1 (en) | Method for suppressing image noise in a video image stream, and associated medical image recording system and computer program product | |
US9785824B2 (en) | Apparatus and a method for detecting a motion of an object in a target space | |
US20220041173A1 (en) | Enhanced sensor cleaning validation | |
Wang et al. | A fast auto-focusing technique for the long focal lens TDI CCD camera in remote sensing applications | |
JPWO2017126384A1 (ja) | ガス検出装置、ガス検出方法およびガス検出プログラム | |
WO2019016994A1 (ja) | 画像処理装置及び方法、並びに、プログラム | |
US9129369B1 (en) | Method for characterizing an atmospheric channel | |
US9286664B2 (en) | System and method for blind image deconvolution | |
WO2016002490A1 (ja) | 波面計測装置及び波面計測方法 | |
JP2021005206A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP2002186084A (ja) | 指向性収音装置、音源方向推定装置および音源方向推定システム | |
JP2022130307A (ja) | 情報処理装置、情報処理方法、プログラム | |
JP2021156579A (ja) | 画像処理装置、画像処理方法、移動機器、並びにプログラム | |
JP5968752B2 (ja) | 飛来物体を検出する画像処理方法、画像処理装置及び画像処理プログラム | |
Becker et al. | A Space Object Detection Algorithm using Fourier Domain Likelihood Ratio Test | |
CN117008121A (zh) | 一种基于互信息量的光/sar协同探测系统性能分析方法 | |
KR102149270B1 (ko) | 렌즈 조리개 제어를 이용한 노이즈 제거 방법 및 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180605 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20180605 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20180626 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180703 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180903 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180918 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180928 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6412673 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |