JP6331789B2 - 撮影システム、画像処理装置及びプログラム - Google Patents

Description

本発明は、撮影システム、画像補正装置及びプログラムに関する。

一般に、霧や煙のようなエアロゾルが大気中に浮遊する撮影環境では、撮影画像のコントラスト（明暗差）が低下することが知られているが、監視カメラの用途において、コントラストの低下は、侵入者の検知を失敗する原因となる。この問題につき、撮影画像に画像処理を施して霧を除去する技術が既に知られている（例えば、特許文献１）。従来の画像処理では、霧存在下の撮影画像を予めモデル化しておき、このモデル式を逆に辿ることで、実際の撮影画像から霧が無い場合に撮影されたであろう画像を求める。

しかしながら、これまでの画像処理アルゴリズムでは、モデル式を簡略化しすぎていたため、期待する効果が得られないという問題があった。すなわち、従来モデルは、霧存在下の撮影光（被写体からの反射光）の透過率をカメラと被写体の距離の関数として定義する際に、霧の濃度分布が時間的・空間的に一様であることを前提にしていたが、実際の霧の濃度分布は時間的・空間的に変化するため、従来モデルでは、期待する結果が得られないという問題があった。

本発明は、上記従来技術における課題に鑑みてなされたものであり、本発明は、霧の状態変化に応じた適切な補正画像を生成することができる撮影システム、画像補正装置及びプログラムを提供することを目的とする。

本発明者は、霧の状態変化に応じた適切な補正画像を生成することができる新規な撮影システム、画像補正装置及びプログラムにつき鋭意検討した結果、以下の構成に想到し、本発明に至ったのである。

すなわち、本発明によれば、被写体の可視光画像を取得する撮影装置と、前記被写体に対して電磁波を送信しその反射波を二次元の空間分解能をもって受信するレーダー装置と、前記可視光画像を補正する画像補正装置と、を含み、前記画像補正装置は、前記レーダー装置の送受信信号に基づいて前記被写体の奥行き方向の距離を導出する距離導出部と、前記レーダー装置の送受信信号の強度比に基づいてエアロゾルの強度を導出する強度導出部と、前記可視光画像の画素値および前記エアロゾルの強度に基づいて太陽光の明るさを導出する明るさ導出部と、前記被写体の奥行き方向の距離、前記エアロゾルの強度および前記太陽光の明るさを変数とする所定の関数に基づいて前記可視光画像の補正後の画素値を導出する画素値補正部と、を含む、撮影システムが提供される。

上述したように、本発明によれば、霧の状態変化に応じた適切な補正画像を生成することができる新規な撮影システム、画像補正装置及びプログラムが提供される。

本実施形態の撮影システムの機能ブロック図。 本実施形態の画像補正のアルゴリズムを説明するための概念図。 本実施形態の撮影システムにおいて実行される処理の内容を説明するための概念図。 本実施形態における空領域判定を説明するための概念図。

以下、本発明を、実施形態をもって説明するが、本発明は後述する実施形態に限定されるものではない。なお、以下に参照する各図においては、共通する要素について同じ符号を用い、適宜、その説明を省略するものとする。

図１は、本発明の実施形態である撮影システム１００の機能ブロック図を示す。撮影システム１００は、霧や煙のように大気中に微粒子が多く浮遊する撮影環境において、その影響を画像補正により排除し、コントラストを適切に再現した被写体の可視光画像を生成するためシステムである。

本実施形態の撮影システム１００は、撮影装置１０、レーダー装置２０および画像補正装置３０を含んで構成されている。ここで、撮影装置１０およびレーダー装置２０は、システム運用時において、相対位置・姿勢を固定した状態で設置され、画像補正装置３０は、撮影装置１０およびレーダー装置２０の双方に通信可能に接続される。

撮影装置１０は、被写体の可視光画像を取得する手段であり、CCDやCMOSなどのイメージセンサを備えたデジタルカメラとして参照することができる。

レーダー装置２０は、被写体に対してプローブ波として電磁波を放射し、被写体からの反射波を二次元の空間分解能をもって受信する手段である。本実施形態におけるプローブ波（電磁波）は、ミリ波の電波を採用することが望ましい。その理由については後述する。

被写体に対してミリ波を放射し、被写体からの反射波を二次元の空間分解能をもって受信する手段としては、現在、実用化が進められているミリ波イメージング装置の方式を採用することができる。

例えば、特開２００８−１４５２３０号公報が開示するミリ波イメージング装置は、送信アンテナから被写体に向けてミリ波を放射し、被写体からの反射波を受信アンテナが受信ビームを二次元的に走査しながら受信する。そして、被写体からの反射波の受信強度を二次元にマッピングするとともに、受信信号波形と送信信号波形の相互相関解析により求めた受信信号の伝搬遅延時間に基づいて被写体の奥行き方向の距離を二次元にマッピングする機能を備える。ここで、ミリ波イメージング装置は、被写体からの反射波の受信強度と被写体の奥行き方向の距離の二次元マップを利用して被写体の二次元画像を生成することを目的とするところ、本実施形態の撮影システム１００では、反射波の受信強度と被写体の奥行き方向の距離の二次元マップを画像の補正に利用する。

なお、本実施形態におけるレーダー装置２０は、被写体に対してプローブ波として電磁波を放射し、被写体からの反射波を二次元の空間分解能をもって受信することができる装置であれば、他の方式を採用するものであってもよく、プローブ波として遠赤外線レーザーを使用するレーザーレーダーであってもよい。

ここで、本実施形態では、システムの運用に先立って、撮影装置１０とレーダー装置２０の相対位置・姿勢を固定した状態でキャリブレーションを行い、撮影装置１０の撮影画像系の二次元座標（すなわち、イメージセンサのセンサ座標）とレーダー装置２０の信号受信系の二次元座標を対応付けて登録しておく。なお、精度の観点から、レーダー装置２０の信号受信系の二次元の空間分解能は、撮影画像系の画素分解能と同じあることが好ましいが、信号受信系の二次元の空間分解能が撮影画像系の画素分解能より低い場合は、キャリブレーションの結果、信号受信系の座標ｋ’に対して撮影画像系のｎ個の座標ｋが対応付けられることになる。

一方、画像補正装置３０は、コンピュータとして参照されるものであり、専用プログラムをコンピュータにインストールすることによって、霧強度導出部３３、距離導出部３４、明るさ導出部３５、画素値補正部３７といった機能部が実現され、当該コンピュータが画像補正装置３０として動作する。

以上、本実施形態の撮影システム１００の構成する各装置について説明してきたが、続いて、撮影システム１００が採用する画像補正のアルゴリズムを図２に基づいて説明する。

屋外では、太陽光（直達光）が被写体に反射し、その反射光が撮影装置１０に入射して結像するが、撮影環境に霧が発生している場合、被写体からの反射光は、霧粒子による散乱を受け、減衰した状態で撮影装置１０に入射することになる。加えて、この場合、霧粒子により散乱光が増加するので、無霧状態に比較してより多くの環境光が撮影装置１０に入射することになる。つまり、霧が発生している環境では、被写体からの反射光が減衰することに加えて環境光が増加するため、結果として、撮影画像のコントラストが低下する。

ここで、本アルゴリズムでは、霧存在下で撮影装置１０が撮影する可視光画像の座標ｋの画素値Ｉ_(ｋ)を下記式（１）でモデル化する。

上記式（１）において、Ａは太陽光の明るさ（正確には、太陽光の明るさを表す指標。以下同様）を表し、ρ_（ｋ）は被写体の反射係数を表し、ｄ_（ｋ）は被写体の深さ方向の距離を表し、β_（ｋ）は霧の強度を表し、eは自然対数の底を表す。なお、ρ_（ｋ）、ｄ_（ｋ）、β_（ｋ）は、座標毎に固有の値をもつ。

上記式（１）において、“Ａ×ρ_(ｋ)×e^(-β_(ｋ)d_(ｋ))”の項は撮影装置１０に入射する被写体からの反射光（減衰した反射光）を表し、“Ａ×(1-e^(-β_(ｋ)d_(ｋ)))”の項は撮影装置１０に入射する散乱光を表しており、“e^(-β_(ｋ)d_(ｋ)))”が減衰項を表している。つまり、本モデルでは、画素値Ｉ_(ｋ)の大きさが被写体の深さ方向の距離ｄ_（ｋ）と霧の強度β_（ｋ）の積に反比例するものと仮定している。

ここで、霧の無い状態で撮影装置１０が撮影する場合を考えると、その際に取得される可視光画像の座標ｋの画素値Ｊ_(ｋ)は“Ａ×ρ_(ｋ)”と定義することができる。そこで、“Ａ×ρ_(ｋ)”について上記式（１）を整理すれば、画素値Ｊ_(ｋ)を算出する関数として下記式（２）が導出される。

上記式（２）において、Ｉ_(ｋ)は霧存在下で撮影装置１０が撮影された可視光画像の座標ｋの画素値を表し、Ａは太陽光の明るさを表し、ｄ_（ｋ）は被写体の深さ方向の距離を表し、β_（ｋ）は霧の強度を表し、eは自然対数の底を表す。なお、ｄ_（ｋ）、β_（ｋ）は、座標毎に固有の値をもつ。

つまり、本アルゴリズムでは、太陽光の明るさＡ、被写体の深さ方向の距離ｄ_（ｋ）および霧の強度β_（ｋ）という３つのパラメータを撮影画像系の座標ｋ毎に求め、求めた各値を上記式（２）に投入することによって、霧の影響を排除した補正画像を導出する。

以上、本実施形態の撮影システム１００が採用する画像補正のアルゴリズムについて説明したが、次に、撮影システム１００において実行される処理の内容を図３に示す撮影装置１０の画角内にエアロゾルとして霧が発生している場合を例にとって説明する。なお、以下においては、適宜、図１を参照するものとする。

本システムでは、撮影装置１０が被写体ρの可視光画像Ｉを取得し、取得した可視光画像Ｉを画像補正装置３０に転送する。このとき、図３に示すように、被写体と撮影装置１０の間に霧が存在する環境では、被写体ρの可視光画像Ｉは、コントラストの低下した画像として取得され、画像補正装置３０に転送される。画像補正装置３０において、可視光画像Ｉは、画像入力Ｉ／Ｆ３２を介して入力され、一時記憶に格納される。

一方、レーダー装置２０は、同じ被写体ρに対してプローブ波として電磁波を放射し、被写体ρからの反射波を二次元の空間分解能をもって受信する。ここで、レーダー装置２０は、プローブ波の送信信号と被写体ρからの反射波の受信信号を画像補正装置３０に転送する。なお、本実施形態では、プローブ波（電磁波）をミリ波の電波とすることが好ましい。なぜなら、可視光が透過できない濃い霧や煙であってもミリ波の電波はこれを透過することができるからである。

画像補正装置３０において、プローブ波の送信信号と被写体ρからの反射波の受信信号は、信号入力Ｉ／Ｆ３１を介して、霧強度導出部３３と距離導出部３４の両方に入力される。

距離導出部３４は、レーダー装置２０から入力された送信信号と受信信号に基づいて既知の手法により被写体ρの奥行き方向の距離を導出し、これを信号受信座標系（二次元）にマッピングする。例えば、距離導出部３４は、受信信号波形と送信信号波形の相互相関解析により受信信号の伝搬遅延時間を求め、伝搬遅延時間に基づいて被写体の奥行き方向の距離を導出することができる。

図３においては、理解を助けるために、距離導出部３４が導出する距離情報を濃淡画像（以下、レーダー画像という）として示している。レーダー画像においては、近い被写体から遠い被写体の順（「家」→「ビル」→「山」）に濃度が徐々に薄く示されており、無限遠にある被写体（空領域）は白で示されている。

距離導出部３４は、信号受信座標系（二次元）にマッピングした座標ｋの距離情報を、当該信号受信座標系に対応付けられた撮影装置１０の撮影画像系の座標ｋに係るパラメータ“ｄ_（ｋ）”として、パラメータ格納部３６にセットする。

距離導出部３４の処理に並行して、霧強度導出部３３は、プローブ波の送信強度と反射波の受信強度に基づいて霧の強度を導出する。具体的には、霧強度導出部３３は、レーダー装置２０から入力された送信信号および受信信号から検知したプローブ波の送信強度Ｓ１と被写体ρからの反射波の受信強度Ｓ２に基づいて霧の強度を導出し、これを信号受信座標系（二次元）にマッピングする。

ここで、霧の強度とは霧の濃さを表す指標として観念されるものであり、本実施形態においては、単純に、受信強度Ｓ２に対する送信強度Ｓ１の比（Ｓ１／Ｓ２）を霧の強度として導出するようにしてもよいし、送信強度Ｓ１および受信強度Ｓ２を変数とする霧の強度の導出関数を定義しておき、当該導出関数によって霧の強度を導出するようにしてもよい。また、その場合、当該導出関数の内容をＬＵＴ（ルックアップテーブル）として予め構築しておき、送信強度Ｓ１および受信強度Ｓ２をＬＵＴに入力し霧の強度を出力として得るようにしてもよい。

霧強度導出部３３は、信号受信座標系（二次元）にマッピングした座標ｋの霧の強度を、当該信号受信座標系に対応付けられた撮影装置１０の撮影画像系の座標ｋに係るパラメータ“β_（ｋ）”として、パラメータ格納部３６にセットする。

一方、明るさ導出部３５は、一時記憶に格納された可視光画像Ｉを画像解析し、以下の３つの条件を同時に満たす領域を、空を撮影した領域（以下“空領域”という）として判定する。
（１）明度が所定の閾値以上であること。
（２）彩度が所定の閾値以下であること。
（３）霧の強度β_（ｋ）がゼロに近い所定の閾値以下であること。

具体的には、可視光画像Ｉを構成する画素ｋの画素値（所定の色空間の座標値）から適切な変換式を用いて明度および彩度を導出するとともに、当該画素ｋに係るパラメータとしてセットされたβ_（ｋ）の値をパラメータ格納部３６から読み出す。その上で、画素ｋにつき、上記条件（１）〜（３）を満たすか否かを判定し、上記条件（１）〜（３）を同時に満たすと判定された画素ｋをラベリングして“空領域”を画定する。最後に、“空領域”を構成する全画素の輝度値について適切な代表値（平均値や中央値など）を求め、当該代表値を太陽光の明るさに係るパラメータ“Ａ”としてセットする。併せて、明るさ導出部３５は、画定した“空領域”の座標情報をパラメータ格納部３６にセットする。

本実施形態においては、距離導出部３４、霧強度導出部３３および明るさ導出部３５が上述した処理を並行して所定のタイミングで繰り返し実施し、その度に、パラメータ格納部３６に格納される３つのパラメータ（Ａ、ｄ_（ｋ）、β_（ｋ））の値が最新の値に更新される。

一方、画素値補正部３７は、一時記憶に格納された可視光画像を構成する画素値を以下の手順で補正する。すなわち、一時記憶から読み出した可視光画像の座標ｋの画素値Ｉ_(ｋ)と、パラメータ格納部３６から読み出した３つのパラメータ（Ａ、ｄ_（ｋ）、β_（ｋ））を下記式（２）に投入して、補正画像の座標ｋの画素値Ｊ_(ｋ)を導出する。

ただし、本実施形態において、“空領域”は、上記式（２）を使用した補正対象から外される。具体的には、画素値補正部３７は、パラメータ格納部３６から“空領域”の座標情報を読み出して“空領域”を特定し、一時記憶に格納された可視光画像を構成する画素のうち、“空領域”に属する画素ｋの画素値については、補正を施さずに、そのままの値を補正画像の座標ｋの画素値Ｊ_(ｋ)とする。この取り扱いは、“空領域”が霧による影響を受けにくいという知見に基づくものである。

なお、本実施形態においては、上述した画素値の補正を色空間の座標値毎に実施してその結果を統合する。例えば、可視光画像がＲＧＢ色空間を採用している場合、可視光画像を構成する画素に係る３つの輝度値（Ｒ値、Ｇ値、Ｂ値）のそれぞれを上記式（２）のＩ_(ｋ)の項に投入し、結果として得られた３つの補正値（Ｒ値、Ｇ値、Ｂ値）を統合したもの（ＲＧＢ値）を、当該画素の補正値とする。

最後に、画素値補正部３７は、可視光画像を構成する画素値を補正してなる補正画像を画像出力Ｉ／Ｆ３８を介して出力する。この場合、霧の影響が排除され、コントラストが適時最適化された可視光画像が出力される。

ここで、本実施形態の明るさ導出部３５が上述した３つの条件に基づいて“空領域”を判定することの意義について説明する。

従来の方法では、上記条件（１）および（２）を満たす領域の面積が所定の閾値以上である場合に、当該領域を“空領域”を判定していた。しかしながら、この方法では、例えば、図４（ａ）に示すように、濃い霧が発生している場合において、比較的面積の大きい被写体Ｙ（ビル）が空領域Ｘよりも明るく撮影されていたときに、被写体Ｙの撮像領域を空領域として誤判定する虞があった。そして、誤った領域（被写体Ｙ）の輝度値の平均値をパラメータ“Ａ”としてセットして画像補正を施した場合、霧除去の適切な効果が望めず、場所によっては画像が白とびして被写体が認識できなくなる虞がある。

この点につき、本実施形態では、レーダー装置２０を用いることで上記条件（３）を判定条件として利用するので、比較的面積の大きい被写体が空領域よりも明るく撮影された場合であっても、当該被写体の撮像領域を空領域として誤判定する可能性が少なくなる。このことを、図４（ｂ）に照らして説明すれば、比較的面積の大きい被写体Ｙ（ビル）が真の空領域Ｘよりも明るく撮影されているが、被写体Ｙ（ビル）はレーダー装置２０から送信されるプローブ波を反射するため、被写体Ｙ（ビル）の撮像画素に係るパラメータβ_（ｋ）は上記条件（３）を満たさない。一方、空領域Ｘからはプローブ波の反射波を受信できないため、空領域Ｘの撮像画素に係るパラメータβ_（ｋ）は上記条件（３）を満たす。その結果、被写体Ｙ（ビル）が空領域として誤判定されることなく、真の空領域Ｘが正しく判定されることになる。

なお、本実施形態においては、濃霧状態の空領域を正確に判定しうるように、上記条件（１）〜（３）の閾値（すなわち、明度、彩度、霧の強度の閾値）を適切な値に設定することが必要になる。具体的には、想定される濃霧状態において、可視光画像の空領域の予想される明度の最小値および彩度の最大値、ならびに、霧強度導出部３３が空領域について取得することが予想される霧の強度の最大値を推定し、これらの推定値に基づいて、濃霧状態の空領域と被写体（物体）の峻別が可能になるような適切な閾値を求めておく。

以上、説明したように、本実施形態によれば、レーダー装置２０からの入力に基づいて霧による減衰項を二次元の空間的分解能をもってリアルタイムに取得・更新し、当該霧による減衰項を反映した補正を実施するので、時々刻々と変化する撮影環境の変化（霧の濃淡の時間的・空間的変化）に応じて適時最適化された補正画像を得ることができる。

なお、上述した実施形態の各機能は、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）などで記述された装置実行可能なプログラムにより実現でき、本実施形態のプログラムは、ハードディスク装置、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、フレキシブルディスク、ＥＥＰＲＯＭ、ＥＰＲＯＭなどの装置可読な記録媒体に格納して頒布することができ、また他装置が可能な形式でネットワークを介して伝送することができる。

以上、本発明について実施形態をもって説明してきたが、本発明は上述した実施形態に限定されるものではない。例えば、これまで、本発明を、専ら、撮影画像から霧の影響を排除する補正を行う実施形態について説明したが、全く同じ手順で、撮影画像から煙その他のエアロゾルの影響を排除する補正を行うことができることは言うまでもない。その他、当業者が推考しうる実施態様の範囲内において、本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

１０…撮影装置
２０…レーダー装置
３０…画像補正装置
３１…信号入力Ｉ／Ｆ
３２…画像入力Ｉ／Ｆ
３３…霧強度導出部
３４…距離導出部
３５…明るさ導出部
３６…パラメータ格納部
３７…画素値補正部
３８…画像出力Ｉ／Ｆ
１００…撮影システム

特開２０１２−１６８９３６号公報

Claims (8)

1. 被写体の可視光画像を取得する撮影装置と、
   前記被写体に対して電磁波を送信しその反射波を二次元の空間分解能をもって受信するレーダー装置と、
   前記可視光画像を補正する画像補正装置と、
   を含み、
   前記画像補正装置は、
   前記レーダー装置の送受信信号に基づいて前記被写体の奥行き方向の距離を導出する距離導出部と、
   前記レーダー装置の送受信信号の強度比に基づいてエアロゾルの強度を導出する強度導出部と、
   前記可視光画像の画素値および前記エアロゾルの強度に基づいて太陽光の明るさを導出する明るさ導出部と、
   前記被写体の奥行き方向の距離、前記エアロゾルの強度および前記太陽光の明るさを変数とする所定の関数に基づいて前記可視光画像の補正後の画素値を導出する画素値補正部と、
   を含む、撮影システム。
2. 前記明るさ導出部は、
   前記可視光画像の輝度値から導出された明度および彩度と前記エアロゾルの強度とに基づいて該可視光画像における空の撮影領域を判定し、該空の撮影領域の輝度値に基づいて前記太陽光の明るさを導出する、
   請求項１に記載の撮影システム。
3. 前記画像補正装置は、前記被写体の奥行き方向の距離、前記エアロゾルの強度および前記太陽光の明るさを前記可視光画像の画素毎に導出する、
   請求項１または２に記載の撮影システム。
4. 前記強度導出部は、
   前記反射波の受信強度に対する前記電磁波の送信強度の比を前記エアロゾルの強度として導出する、
   請求項１〜３のいずれか一項に記載の撮影システム。
5. 前記強度導出部は、
   前記電磁波の送信強度および前記反射波の受信強度を入力とし前記エアロゾルの強度を出力とする関数またはテーブルを使用して前記エアロゾルの強度を導出する、
   請求項１〜３のいずれか一項に記載の撮影システム。
6. 前記エアロゾルは、霧または煙を含む、請求項１〜５のいずれか一項に記載の撮影システム。
7. 撮影装置が取得した被写体の可視光画像を補正する画像補正装置であって、
   前記被写体に対して電磁波を送信しその反射波を二次元の空間分解能をもって受信するレーダー装置の送受信信号に基づいて前記被写体の奥行き方向の距離を導出する距離導出部と、
   前記レーダー装置の送受信信号の強度比に基づいてエアロゾルの強度を導出する強度導出部と、
   前記可視光画像の画素値および前記エアロゾルの強度に基づいて太陽光の明るさを導出する明るさ導出部と、
   前記被写体の奥行き方向の距離、前記エアロゾルの強度および前記太陽光の明るさを変数とする所定の関数に基づいて前記可視光画像の補正後の画素値を導出する画素値補正部と、
   を含む、画像補正装置。
8. コンピュータに撮影装置が取得した被写体の可視光画像の補正を実行させるためのプログラムあって、
   コンピュータを、
   前記被写体に対して電磁波を送信しその反射波を二次元の空間分解能をもって受信するレーダー装置の送受信信号に基づいて前記被写体の奥行き方向の距離を導出する距離導出手段、
   前記レーダー装置の送受信信号の強度比に基づいてエアロゾルの強度を導出する強度導出手段、
   前記可視光画像の画素値および前記エアロゾルの強度に基づいて太陽光の明るさを導出する明るさ導出手段、
   前記被写体の奥行き方向の距離、前記エアロゾルの強度および前記太陽光の明るさを変数とする所定の関数に基づいて前記可視光画像の補正後の画素値を導出する画素値補正手段、
   として機能させるためのコンピュータ実行可能なプログラム。