JP6821090B2 - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、及び画像処理プログラムに関する。

撮像装置によって取得された撮像画像データ（以下「撮像画像」とも言う）に対してノイズ除去処理を行うと、撮像画像における被写体の微小部分がぼける、すなわち、画質を低下させることがある。この対策として、ノイズ除去処理の必要性の有無を撮像画像の輝度に基づいて判断し、必要と判断された場合に、撮像画像にノイズ除去処理を施す装置が提案されている（例えば、特許文献１参照）。

特開２００５−９４０８７号公報

しかしながら、上記従来の装置は、撮像画像が暗い場合にノイズ除去処理を行うので、夜間の屋外を監視するシステムには適していない。例えば、暗い道路と道路上の空域とを含む撮像画像にノイズ除去処理が行われると、監視優先度が高い道路及び道路上の物体（例えば、車両）の画像領域がぼけるという問題がある。

本発明は、上記従来技術の課題を解決するためになされたものであり、ノイズ除去処理を行った場合であっても、監視優先度が高い画像領域にぼけを生じさせない画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。

本発明の一態様に係る画像処理装置は、撮像画像のノイズを低減する画像処理を行う装置であって、前記撮像画像を分割して得られた複数の画像領域から、前記複数の画像領域の輝度バラツキを示す第１のテクスチャ量を計測し、前記第１のテクスチャ量に基づいて前記画像処理の対象となる画像処理対象領域を予め決定する画像領域演算部と、現在の撮像画像の前記画像処理対象領域の輝度に基づいて前記現在の撮像画像に対する前記画像処理の要否を判定する輝度判定部と、前記輝度判定部によって前記画像処理が必要であると判定された前記画像処理対象領域の輝度バラツキを示す第２のテクスチャ量を算出し、前記第２のテクスチャ量に基づいて前記画像処理対象領域に対して前記画像処理を行うか否かを判定するテクスチャ判定部と、前記テクスチャ判定部によって前記画像処理を行うと判定された前記画像処理対象領域に対して前記画像処理を実行する画像処理部とを有することを特徴とする。

本発明の他の態様に係る画像処理方法は、撮像画像のノイズを低減する画像処理を行う方法であって、前記撮像画像を分割して得られた複数の画像領域から、前記複数の画像領域の輝度バラツキを示す第１のテクスチャ量を計測し、前記第１のテクスチャ量に基づいて前記画像処理の対象となる画像処理対象領域を予め決定する対象領域決定ステップと、現在の撮像画像の前記画像処理対象領域の輝度に基づいて前記現在の撮像画像に対する前記画像処理の要否を判定する輝度判定ステップと、前記輝度判定ステップにおいて前記画像処理が必要であると判定された前記画像処理対象領域の輝度バラツキを示す第２のテクスチャ量を算出し、前記第２のテクスチャ量に基づいて前記画像処理対象領域に対して前記画像処理を行うか否かを判定するテクスチャ判定ステップと、前記テクスチャ判定ステップにおいて前記画像処理を行うと判定された前記画像処理対象領域に対して前記画像処理を実行する画像処理ステップとを有することを特徴とする。

本発明によれば、ノイズ除去処理を行った場合であっても、監視優先度が高い画像領域にぼけを生じさせないことができる。

本発明の実施の形態１に係る画像処理装置の構成を概略的に示すブロック図である。 図１の画像領域演算部の構成を概略的に示すブロック図である。 撮像装置によって撮像された撮像画像の例を示す図である。 実施の形態１に係る画像処理装置が行う撮像画像の領域分割動作と画像処理対象領域の選定動作を示すフローチャートである。 実施の形態１に係る画像処理装置において撮像画像を２つの画像領域に分割して得られた分割領域画像の例を示す図である。 実施の形態１に係る画像処理装置において画像処理対象領域に対する画像処理の適用の有無の判定動作を示すフローチャートである。 本発明の実施の形態２に係る画像処理装置の構成を概略的に示すブロック図である。 実施の形態２に係る画像処理装置の被写体位置検出部とマスク処理部と画像処理部の動作を示すフローチャートである。 カメラ座標系の被写体座標をカメラ画像座標系の被写体座標に変換する処理を示す説明図である。 （ａ）は、被写界照度が低い（暗い）夜間に撮像装置により撮像された撮像画像内に被写体がある場合を示す図であり、（ｂ）は、実施の形態２に係る画像処理装置による処理を実施した後の分割領域画像上に画像処理を実施しないマスク範囲を重畳表示した場合を示す図である。 被写体の移動速度が分かっている場合の速度補正が行われた補正後マスク範囲の大きさを説明する図である。

以下に、本発明の実施の形態に係る画像処理装置、画像処理方法、及び画像処理プログラムを、添付図面を参照しながら説明する。以下の実施の形態は、例にすぎず、本発明の範囲内で種々の変更が可能である。

《１》実施の形態１．
《１−１》構成
図１は、実施の形態１に係る画像処理装置１の構成を概略的に示すブロック図である。図２は、図１の画像領域演算部１１０の構成を概略的に示すブロック図である。画像処理装置１は、実施の形態１に係る画像処理方法を実施することができる装置である。画像処理装置１は、実施の形態１に係る画像処理プログラムを実行することができるコンピュータであってもよい。

図１に示されるように、画像処理装置１は、制御部１０と、記憶部２０と、入力インタフェース３０と、出力インタフェース４０とを有する。制御部１０は、画像領域演算部１１０と、画像領域読出し部１２０と、輝度判定部１３０と、テクスチャ判定部１４０と、画像処理部１５０とを有する。図２に示されるように、画像領域演算部１１０は、画像領域分割部１１１と、テクスチャ計測部１１２と、画像処理領域選定部１１３とを有する。

制御部１０は、例えば、情報を処理する１つ以上のプロセッサ、すなわち、プロセッシングを行う１つ以上のＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）を有する。具体的には、制御部１０は、１つ以上のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を有する。制御部１０は、他のハードウェアを制御することができる。制御部１０は、記憶部２０に記憶されているソフトウェアを実行することができる。

制御部１０は、情報、データ、信号値、及び変数値などを、記憶装置２１０、メモリ２２０、又は、制御部１０内のレジスタ又はキャッシュメモリに記憶させる。図１において、制御部１０内の各構成と記憶装置２１０とを結ぶ矢印は、制御部１０内の各構成が処理の結果を記憶装置２１０に記憶させること、又は、制御部１０内の各構成が記憶装置２１０から情報を読み出すことを表している。また、制御部１０内の構成同士を結ぶ矢印は、処理の流れを表している。なお、図１において、制御部１０内の構成間の画像情報の授受は、メモリ２２０を介して行われる場合があるが、図１において、メモリ２２０と制御部１０内の各構成とを結ぶ矢印又は接続線は示していない。

制御部１０の機能を実現するコンピュータ読み取り可能なプログラムは、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などのような可搬記録媒体に記憶されてもよい。

記憶部２０は、情報を記憶する情報記憶手段である。記憶部２０は、１つ以上の記憶装置２１０と１つ以上のメモリ２２０とを含む。記憶装置２１０は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、又は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）を有する。メモリ２２０は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を有する。なお、記憶部２０は、図１の構成のものに限定されない。

記憶装置２１０には、例えば、撮像領域を分割する際に使用される予め決められた第１の閾値であるテクスチャ閾値２１１と、画像処理領域情報２１２と、画像処理の必要性を判定するために使用される予め決められた輝度判定閾値２１３と、同じく画像処理の必要性を判定するために使用される予め決められた第２の閾値であるテクスチャ判定閾値２１４とが記憶される。

記憶装置２１０には、制御部１０の機能を実現するための画像処理プログラムが記憶されてもよい。この画像処理プログラムは、メモリ２２０にロードされ、制御部１０によって読み込まれ、制御部１０によって実行される。画像処理装置１がコンピュータである場合には、記憶装置２１０には、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）が記憶されてもよい。ＯＳの少なくとも一部がメモリ２２０にロードされ、制御部１０は、ＯＳを実行しながら、画像処理プログラムを実行する。

入力インタフェース３０は、撮像装置３に接続されるポートである。入力インタフェース３０は、撮像装置３により撮像画像を画像処理装置１に取り込む画像入力インタフェースである。入力インタフェース３０により取り込まれた撮像画像は、例えば、メモリ２２０に記憶される。また、入力インタフェース３０は、マウス、キーボード、タッチパネルなどのような入力装置（すなわち、ユーザー操作部）と接続されるポートを備えてもよい。入力インタフェース３０は、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）（登録商標）などのネットワークと接続されるポートであってもよい。入力インタフェース３０は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）端子であってもよい。入力インタフェース３０は、ＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）、ＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）、ＶＧＡ（Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ）、ＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｉｎｔｅｒｆａｃｅ）、コンポーネント等の映像信号を画像処理装置１に取り込むことのできる、キャプチャボードであってもよい。

出力インタフェース４０は、ディスプレイなどのような表示機器のケーブルが接続されるポートである。出力インタフェース４０は、例えば、ＵＳＢ端子又はＨＤＭＩ（登録商標）端子である。ディスプレイは、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）である。

《１−２》動作
図３は、撮像装置３により撮像された撮像画像の例を示す図である。図３の例では、撮影対象は、道路３０１及び道路３０１を走る車両を含む。撮像装置３は、例えば、道路状況を監視する監視カメラである。監視対象（被写体）は、撮像画像３００内の下部にある道路を走る車両である。撮像画像３００内の上部には、空域が映っている。

撮像装置３は、ＣＣＤ（Ｃｈａｒｇｅｄ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ−Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などのような撮像素子とレンズとを備えるカメラ機器である。撮像装置３は、例えば、固定カメラである。また、撮像装置３は、ＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）機能を備えることが望ましい。ＡＧＣは、入力信号が弱い（被写界照度が低い）場合に感度を上げ、逆に入力信号が強い（被写界照度が高い）場合に感度を下げることで、出力が常に一定であるように可変制御することである。撮像装置３は、画像処理装置１に撮像画像を提供する。

図４は、画像処理装置１が行う撮像画像の領域分割動作と画像処理対象領域の選定動作を示すフローチャートである。

まず、画像処理装置１は、記憶装置２１０における画像処理領域情報２１２をリセットする（ステップＳ１１）。すなわち、画像処理装置１は、記憶装置２１０に画像処理領域情報２１２が無いことを示す情報を記憶させる。

次に、撮像装置３により取得された撮像画像が、入力インタフェース３０によって画像処理装置１に取り込まれ、メモリ２２０に一時的に保持され、その後、画像領域演算部１１０に送られる。画像領域演算部１１０の画像領域分割部１１１は、撮像画像内の画像の濃淡差のあるエッジ部分（すなわち、画像の輪郭）を検出する処理を行い、エッジ部分を示すエッジ情報に基づいて画像をｎ個（ｎ≧２）の画像領域に分割する（ステップＳ１２）。すなわち、画像領域演算部１１０は、例えば、撮像画像を監視の優先度が高い画像領域と、監視の優先度が低い画像領域に分割するための分割処理を行う。

次に、画像領域演算部１１０のテクスチャ計測部１１２は、分割された画像領域の各々における第１のテクスチャ量を計測する。第１のテクスチャ量は、分割された画像領域の各々における画素値（すなわち、輝度値）のバラツキ（すなわち、輝度バラツキ）を示す分散として計測される（ステップＳ１３）。

次に、画像領域演算部１１０の画像処理領域選定部１１３は、分割された画像領域の各々の第１のテクスチャ量（すなわち、輝度バラツキ）が、予め決められたテクスチャ閾値２１１以下であるか否かを判定する（ステップＳ１４）。

画像領域演算部１１０の画像処理領域選定部１１３は、分割された画像領域の各々における第１のテクスチャ量がテクスチャ閾値２１１以下である領域を、画像処理対象領域として選定し、画像処理対象領域として選定された画像領域の撮像画像内における位置を示す位置情報を画像処理領域情報２１２として、予め記憶装置２１０に記憶させる（ステップＳ１５）。

ステップＳ１３からＳ１５までの処理は、全ての分割された画像領域に対して実行されるまで繰り返される（ステップＳ１６）。全ての分割された画像領域の第１のテクスチャ量がテクスチャ閾値２１１を超えた場合は、画像処理領域情報２１２には、画像処理対象領域が無いことを示す「無」情報が記憶される。

実施の形態１では、監視優先度が高い領域は、道路３０１を含む地表部分であり、空域の監視優先度は低い。画像処理領域選定部１１３は、空域のように、画像領域内の第１のテクスチャ量が少ない（すなわち、輝度バラツキが少ない）画像領域を画像処理対象領域として選定する。

なお、画像領域演算部１１０の処理は、常時行われる必要はなく、例えば、監視動作開始前に、又は監視動作中に定期的（間欠的）に、又は、監視領域に変更が生じた場合に、すなわち、予め決められた時点で行えばよい。これにより、画像処理装置１に、過度な演算負荷をかけることを回避することができる。また、被写界照度が高い（明るい）場合に、画像領域演算部１１０の処理を行えば、撮像画像内における画像領域における第１のテクスチャ量の差が大きいので、領域分割の精度を向上させることができる。

図５は、撮像画像３００を２つの画像領域に分割して得られた分割領域画像の例を示す図である。図５の例では、分割領域画像３１０は、第１のテクスチャ量の多い画像領域３３０と、第１のテクスチャ量の少ない画像領域３２０（図３における空域に対応する）とに２分割されている。この場合、画像処理対象領域は、第１のテクスチャ量の少ない（すなわち、輝度バラツキが少ない）画像領域３２０である。

図６は、画像処理対象領域に対する、画像処理の適用の有無の判定動作を示すフローチャートである。まず、画像領域読出し部１２０は、記憶装置２１０に記憶された画像処理領域情報を読み出す（ステップＳ２１）。画像領域読出し部１２０は、記憶装置２１０に画像処理領域情報２１２が有るか無いか判定し（ステップＳ２２）、無い場合（ステップＳ２２においてＮＯ）は、画像処理を行わずに処理を終了する。

画像処理領域情報２１２が有る場合（ステップＳ２２においてＹＥＳ）は、輝度判定部１３０は、画像処理領域情報２１２に基づき、撮像画像内の画像処理対象領域の平均輝度を算出する（ステップＳ２３）。

次に、輝度判定部１３０は、算出された平均輝度が記憶装置２１０に予め記憶されている輝度判定閾値２１３以下か否かを判定する（ステップＳ２４）。画像処理対象領域の平均輝度が輝度判定閾値２１３以下である場合は、輝度判定部１３０は、被写界照度が低い（暗い）ので、撮像装置３のＡＧＣ機能により撮像感度が高く設定されており、撮像画像にノイズが生じやすく、画像処理が必要であると判定する。一方、画像処理対象領域の平均輝度が輝度判定閾値２１３より高い場合は、輝度判定部１３０は、被写界照度が高く（明るく）、ノイズ補正などの画像処理の必要はないと判定する。

ステップＳ２４において、平均輝度が輝度判定閾値２１３以下と判定された場合（ステップＳ２４においてＹＥＳ）、テクスチャ判定部１４０は、現在の撮像画像、すなわち、撮像装置３で取得された監視対象の撮像画像の画像処理対象領域の第２のテクスチャ量（すなわち、輝度バラツキ）を算出し（ステップＳ２５）、算出された第２のテクスチャ量を記憶装置２１０に予め記憶された第２の閾値であるテクスチャ判定閾値２１４と比較する（ステップＳ２６）。なお、第２のテクスチャ量（すなわち、輝度バラツキ）は、画像処理対象領域内の画素値の分散としてもよいが、画像処理対象領域内の画素値の絶対値に依存しない、画像処理対象領域内の画素値の変動係数（すなわち、標準偏差／平均値）で求めることが望ましい。

第２のテクスチャ量（すなわち、輝度バラツキ）がテクスチャ判定閾値２１４以上の場合（ステップＳ２６においてＹＥＳ）は、画像処理部１５０は、画像処理対象領域内のノイズが多いと判断し、ノイズを補正（低減）するための画像処理を実行する（ステップＳ２７）。第２のテクスチャ量（すなわち、輝度バラツキ）がテクスチャ判定閾値２１４よりも少ない場合（ステップＳ２６においてＮＯ）は、画像処理部１５０は、画像処理対象領域内のノイズが少ないと判断し、ノイズを補正（低減）するための画像処理は不要と判断する。全ての画像処理対象領域に対して、ステップＳ２３からＳ２７までの処理が実行される（ステップＳ２８）。

以上のようにして生成された画像処理後の画像は、出力インタフェース４０を介して、ディスプレイなどの表示機器に出力される。なお、ここでの画像処理とは、画像に生じたノイズを低減（補正）する処理のことを示す。画像処理は、例えば、平滑化フィルタを用いた処理などがある。ただし、画像処理の方法は、これらに限定せず、画像に生じたノイズを低減する処理であれば他の処理であってもよい。

《１−３》効果
図３の撮像画像３００では、夜間などの被写界照度が低い（暗い）場合、撮像画像３００内で撮像装置３から遠方の距離にある空域では、撮像画像にノイズが発生しやすい。監視者は、監視優先度の高い領域である画面下部（道路３０１、車両）を見たいにもかかわらず、監視優先度の低い画面上部（空域）に発生するノイズの影響で、画面全体が見難い画像となる。特に、動画の場合は、ノイズが映像のチラツキとして知覚され、一層、見難い画像（映像）となる。実施の形態１に係る画像処理装置１によれば、監視カメラである撮像装置３の撮像画像を、複数の画像領域に分割し、監視優先度の低い領域に対してノイズ補正処理を施すようにしたので、監視優先度の低い領域のノイズを低減でき、かつ、監視優先度の高い領域において、ノイズ補正の影響による画像のぼけが発生しないので、見やすい監視画像を得ることができる。

また、画像処理が必要な領域判定処理を監視動作開始前に、又は監視動作中に定期的（間欠的）に、又は、監視領域に変更が生じた場合に行うように構成したので、画像処理装置１にかかる演算負荷を軽減することができる。

また、ノイズ補正処理対象である監視優先度の低い領域内の平均輝度及び輝度バラツキ（変動係数）からノイズ補正処理の必要の有無が判断されるため、ノイズ補正処理の必要の有無の判断の精度が向上する。このため、不要なノイズ補正が実施されることがなく、不要な画像処理に起因する画質劣化を防ぐことができる。

《２》実施の形態２．
《２−１》構成
実施の形態１では、監視すべき被写体が、画像処理対象領域外にある場合を説明した。実施の形態２では、監視対象の１つである被写体が、画像処理対象領域内にある場合の、画像処理（すなわち、ノイズ補正処理）の動作を説明する。

図７は、実施の形態２に係る画像処理装置２の構成を概略的に示すブロック図である。図７において、図１に示される構成要素と同一又は対応する構成要素には、図１に示される符号と同じ符号が付される。画像処理装置２は、実施の形態２に係る画像処理方法を実施することができる装置である。画像処理装置２は、実施の形態２に係る画像処理プログラムを実行することができるコンピュータであってもよい。

図７に示されるように、画像処理装置２は、制御部１０ａと、記憶部２０ａと、入力インタフェース３０と、出力インタフェース４０と、被写体の実空間位置情報を取得する被写体位置情報取得部５０とを有する。制御部１０ａは、画像領域演算部１１０と、画像領域読出し部１２０と、輝度判定部１３０と、テクスチャ判定部１４０と、実空間における被写体位置を撮像装置３で撮影したカメラ画像内の位置に変換する被写体位置検出部１６０と、画像処理対象領域内で画像処理をかけない領域を決定するマスク処理部１７０と、画像処理部１５０とを有する。記憶部２０ａは、１つ以上の記憶装置２１０ａと１つ以上のメモリ２２０とを含む。記憶装置２１０ａには、例えば、予め決められたテクスチャ閾値２１１と、画像処理領域情報２１２と、予め決められた輝度判定閾値２１３と、予め決められたテクスチャ判定閾値２１４と、撮像装置３の設置位置情報を示すカメラ設置情報２１５とが記憶される。

《２−２》動作
実施の形態２に係る画像処理装置２における画像処理対象領域を選定するまでの動作は、実施の形態１のもの（すなわち、図４に示される動作）と同じである。

図８は、実施の形態２に係る画像処理装置２の被写体位置検出部１６０とマスク処理部１７０と画像処理部１５０の動作を説明するフローチャートである。

テクスチャ判定部１４０で、画像処理対象領域の画像処理（すなわち、ノイズ補正処理）が必要と判断された場合、被写体位置検出部１６０は、記憶装置２１０ａから予め記憶されている撮像装置３（すなわち、カメラ）に関するカメラ設置情報２１５を読み出し、被写体位置情報取得部５０から被写体の位置情報を読み出す（ステップＳ３１及びＳ３２）。ここで、カメラ設置情報２１５は、カメラの画角、焦点距離、カメラの画像の大きさ（画素数）、実空間（世界座標系）でのカメラ位置を表す座標情報を含む。被写体の位置情報は、実空間における被写体位置を表す座標情報を含む。カメラ設置情報２１５は、撮像装置３を設置する際に予め取得される。また、被写体位置情報取得部５０から送られる被写体位置情報は、例えば、被写体に搭載されたＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）モジュールが取得し、被写体に備えられた送信機から送信されたＧＰＳ情報（例えば、緯度、経度、高度）である。この場合、被写体位置情報取得部５０は、ＧＰＳレシーバーを有する。実施の形態２における被写体は、例えば、ＧＰＳモジュールを搭載した無人航空機（例えば、ドローン）である。

次に、被写体位置検出部１６０は、被写体位置情報とカメラ設置情報２１５とに基づいて、実空間座標系の被写体位置を、撮像装置３から見た画像の座標位置に変換する（ステップＳ３３）。具体的には、被写体位置検出部１６０は、実空間座標系の被写体位置をカメラ座標系に変換してから、撮像装置３が撮影する画像上の座標に変換する。カメラ座標系は、例えば、カメラである撮像装置３のレンズ中心を原点とする座標系である。被写体位置情報（世界座標系）は、カメラ設置情報２１５（世界座標系でのレンズ位置座標、光軸の向きなど）に基づいて、カメラ座標系に変換できる。次に、被写体位置検出部１６０は、カメラ座標系に変換した後の被写体位置座標を、カメラ画像座標に変換する。

図９は、カメラ座標系の被写体座標をカメラ画像座標に変換する処理を示す説明図である。図９において、Ｃは、カメラ座標系の原点（レンズ中心）を示し、Ｚ軸は、Ｃを通りレンズ面に直交する直線（光軸）を示す。（ｘ，ｙ，ｚ）は、実空間にある被写体Ｑのカメラ座標を示す。カメラ画像面５００は、カメラ座標系の原点Ｃから焦点距離ｆ離れた位置にある。カメラ画像面５００の座標軸Ｕ，Ｖは、カメラ座標系の座標軸Ｘ，Ｙとそれぞれ平行である。（ｕ，ｖ）は、カメラ画像面５００上における被写体ｑ（図９において、白丸印で示される）の座標を示す。このとき、ｑの座標（ｕ，ｖ）は、以下の式で求められる。
ｕ＝ｆ・（ｘ／ｚ） …（１）
ｖ＝ｆ・（ｙ／ｚ） …（２）

よって、カメラ座標系での被写体Ｑの座標位置（ｘ，ｙ，ｚ）、すなわち、被写体Ｑの実空間座標系での緯度、経度、高さ（高度）の情報があれば、被写体Ｑの位置をカメラ画像上で示すことができる。なお、焦点距離ｆの情報は、カメラ設置情報２１５内に含まれている。

次に、被写体位置検出部１６０は、カメラ画像４００上の被写体座標ｑ（ｕ，ｖ）が、画像処理対象領域に含まれるか否かを判定する（ステップＳ３４）。ｑ（ｕ，ｖ）が、画像処理対象領域に含まれる場合（ステップＳ３４においてＹＥＳ）は、被写体位置検出部１６０は、（ｕ，ｖ）座標を含む、その周辺領域、例えば、ｍ×ｎの矩形範囲を、画像処理をかけないマスク範囲として設定する（ステップＳ３５）。ｍ及びｎは、２以上の整数である。このとき、画像処理が行われない領域であるマスク範囲であるｍ×ｎの矩形範囲の大きさは、被写体と撮像装置３の距離に応じて決定してもよい。例えば、被写体から撮像装置３までの距離が大きい場合は、マスク範囲を小さくし、被写体から撮像装置３までの距離が小さい場合は、マスク範囲を大きくする。被写体から撮像装置３までの距離は、カメラ設置情報２１５と、被写体位置情報取得部５０から取得する被写体位置情報から求めることができる。なお、マスク範囲は、矩形に限らず、円形などの他の形状であってもよい。

ステップＳ３４において、ｑ（ｕ，ｖ）が画像処理対象領域に含まれないと判断された場合は、ステップＳ３５の処理を行わず、次の（別の）被写体に対してステップＳ３３からステップＳ３５の処理が実行される（ステップＳ３６）。全ての被写体に対する処理が終了した場合、画像処理対象領域内で、画像処理部１５０において、マスク範囲に設定された領域を除く部分に画像処理としてのノイズ補正処理を実行する（ステップＳ３８）。

ここで、実施の形態２に係る画像処理装置２の処理結果について説明する。図１０（ａ）は、実施の形態２における、被写界照度が低い（暗い）夜間に撮像装置３により撮像された撮像画像３００内に、被写体５１０がある場合を示す図であり、実施の形態２の画像処理を実施する前の状態を示す。実施の形態２において、画像処理対象領域を選定するテクスチャ判定部１４０による動作までは、実施の形態１のものと同じであり、図５に示す画像処理対象領域である第１のテクスチャ量がテクスチャ閾値２１１以下の領域（「第１のテクスチャ量の少ない領域」とも言う）３２０に、被写体５１０が位置していることを示す。

被写体５１０は、撮像装置３から離れた距離に位置しているため、撮像画像３００上では、微小物体として被写体５１０が映っている。この状態で、画像処理対象領域３２０に画像処理（すなわち、ノイズ補正処理）を実施すると、被写体５１０の撮像画像３００上の領域が微小なため、被写体５１０の画像部分が誤ってノイズと判定される可能性があり、ノイズと判定された場合、ノイズ除去処理によって被写体５１０が撮像画像３００上から消える可能性がある。特に、夜間において、被写体５１０が照明灯或いは点滅灯のような発光手段を持つ場合は、ノイズと判定される可能性が高い。

図１０（ｂ）は、実施の形態２に係る画像処理装置２の処理を実施した後の分割領域画像３１０上に、画像処理を実施しないマスク範囲５２０の矩形範囲を重畳表示した図である。マスク範囲５２０は、画像処理対象領域である第１のテクスチャ量の少ない領域３２０内で、撮像画像３００上の被写体５１０の位置を含む位置にあり、この状態でノイズ補正処理を実施すると、被写体５１０の位置するマスク範囲５２０には、ノイズ補正処理が行われないので、撮像画像３００上の被写体５１０が微小物体であっても、撮像画像３００上から消えることはない。したがって、監視者は、撮像画像３００上で被写体５１０を視認することができる。また、ノイズが発生しやすいマスク範囲５２０以外の第１のテクスチャ量の少ない領域３２０には、ノイズ補正処理が行われるので、監視者が見やすい画像を得ることができる。

なお、マスク範囲５２０の輪郭を色付きの枠線などの強調表示を用いて表示してもよい。これにより、監視者にとって、被写体５１０の位置がより判りやすくなる。

なお、実施の形態２では、被写体位置検出部１６０で得られる情報が、被写体の方位と高度を表す位置情報（例えば、経度、緯度、高度）であることを前提とした。しかし、被写体位置検出部１６０で得られる情報に被写体の個体情報（例えば、識別情報、機体情報）も含まれる場合は、被写体の大きさが分かるので、被写体の大きさと被写体までの距離に基づいてマスク範囲５２０の大きさを決定してもよい。例えば、被写体までの距離がＬであり、撮像画像の幅方向の画素数がｗであり、撮像装置３のカメラ画角がθである場合、単位画素あたりの被写体の大きさΔｄは、以下の式（３）で求められる。
Δｄ＝（２Ｌ／ｗ）・ｔａｎ（θ／２） …（３）

被写体の水平方向の大きさがＷである場合、式（３）より、マスク範囲の幅方向に必要な画素数ｍに必要な条件は、以下の式（４）で表すことができる。
ｍ＞Ｗ／Δｄ …（４）

同様に、被写体の垂直方向の大きさがわかれば、式（４）と同様の計算により、マスク範囲の縦方向に必要な画素数を求めることができる。

また、実施の形態２では、撮像装置３が撮影する画像毎に、被写体位置検出部１６０から被写体位置情報を得ることを前提としていたが、動画撮影の場合は、撮像装置３の撮影周期と、被写体位置検出部１６０の被写体位置情報の取得周期とが異なる場合がある。一般的には、撮像装置３の撮影周期のほうが被写体位置情報の取得周期より短い。このような場合、マスク範囲５２０の決定には、次の被写体位置情報を取得するまで、先に取得した被写体位置情報を使用する。例えば、撮像装置３の撮影周期が１／３０［秒］（すなわち、１秒間に３０枚撮影する）、被写体位置検出部１６０の被写体位置情報の取得周期が１［秒］（すなわち、１秒毎に１枚撮影する）である場合は、１枚目の画像に対しては、その際に取得した被写体位置情報を用いてマスク範囲５２０を決定し、その後の２９枚分の画像に対しては、前記先の１枚に対する被写体位置情報から決定したマスク範囲５２０を用い、次の被写体位置情報を取得したら、新たにマスク範囲５２０を求める。その際、次の被写体位置が先に設定したマスク範囲５２０内に収まるように、マスク範囲５２０は、余裕を持った大きさに設定することが望ましい。

被写体位置情報に、被写体の速度情報が含まれる場合、又は、過去の被写体位置情報から、被写体の移動速度が推定可能な場合は、例えば、以下のようにマスク範囲５２０の大きさを決定してもよい。被写体位置情報を取得する周期がＦ［秒］であり、被写体の移動速度がｒ［ｍ／秒］であり、単位画素あたりの被写体の大きさがΔｄ［ｍ］である場合、被写体位置検出部１６０が次の被写体位置情報を取得する間に被写体が移動する画像上の距離（画素数）ｐは、以下の式（５）で表すことができる。
ｐ＝ｒ・Ｆ／Δｄ …（５）

図１１は、被写体の移動速度が分かっている場合の速度補正が行われた補正後のマスク範囲５３０の大きさを説明する図である。最初に求めたマスク範囲５２０の大きさを、幅ｍ、縦ｎとすると、式（５）より、補正後のマスク範囲は、幅ｍ＋２ｐ、縦ｎ＋２ｐである。なお、幅方向と縦方向にそれぞれ元の大きさに２ｐを加えた理由は、被写体の移動方向が上下左右の内のいずれの方向に移動するか不明だからである。被写体の移動方向が分かっている場合は、補正後のマスク範囲５３０は、被写体の移動方向に応じて、上下左右の内のいずれかの方向に、元の大きさにｐを加えた大きさとしてもよい。

《２−３》効果
以上に説明したように、実施の形態２に係る画像処理装置２によれば、被写体５１０の位置するマスク範囲５２０には、ノイズ処理が行われないので、撮像画像３００上の被写体５１０が微小であっても、撮像画像３００上から消えることはなく、監視者が撮像画像３００上で視認することが可能である。また、ノイズが発生しやすいマスク範囲５２０以外の第１のテクスチャ量の少ない領域３２０には、ノイズ補正処理が行われるので、監視者が見やすい画像を得ることができる。

《３》変形例．
上記実施の形態では、監視対象を道路としていたが、画像処理装置１及び２の使用例は、これに限るものではない。例えば、画像処理装置１及び２は、飛行場面（空港面、滑走路面）の監視用途に適用することができる。この場合、図３における道路が滑走路面、被写体（車両）が飛行機に相当し、これらが監視優先度の高い領域である。また、監視優先度の低い領域は、飛行場面上空の空域であるが、飛行機の場合は、空域に位置する場合も多いため、画像処理装置２を適用することにより、第１のテクスチャ量の少ない領域である空域のノイズを低減しつつ、空域に位置する被写体（飛行機）を見やすく表示することが可能である。飛行場面の場合、空港監視レーダーの情報等から飛行機の位置情報を得ることができる。例えば、被写体位置情報取得部５０を、ＳＳＲ（Ｓｅｃｏｎｄａｒｙ Ｓｕｒｖｅｉｌｌａｎｃｅ Ｒａｄａｒ）の情報と飛行機のフライト情報を取得するように構成すれば、空域の飛行機の位置情報（距離、方位、高度）及び機種情報を得ることができる。

１，２ 画像処理装置、 ３ 撮像装置、 １０，１０ａ 制御部（プロセッサ）、 ２０，２０ａ 記憶部、 ３０ 入力インタフェース、 ４０ 出力インタフェース、 ５０ 被写体位置情報取得部、 １１０ 画像領域演算部、 １１１ 画像領域分割部、 １１２ テクスチャ計測部、 １１３ 画像処理領域選定部、 １２０ 画像領域読出し部、 １３０ 輝度判定部、 １４０ テクスチャ判定部、 １５０ 画像処理部、 １６０ 被写体位置検出部、 １７０ マスク処理部、 ２１０、２１０ａ 記憶装置、 ２２０ メモリ、 ２１１ テクスチャ閾値（第１の閾値）、 ２１２ 画像処理領域情報、 ２１３ 輝度判定閾値、 ２１４ テクスチャ判定閾値（第２の閾値）、 ２１５ カメラ設置情報、 ３００ 撮像画像、 ３０１ 道路、 ３１０ 分割領域画像、 ３２０ 第１のテクスチャ量の少ない領域、 ３３０ 第１のテクスチャ量の多い領域、 ５００ カメラ画像面、 ５１０ 被写体、 ５２０ マスク範囲、 ５３０ 補正後マスク範囲。

Claims (14)

1. 撮像画像のノイズを低減する画像処理を行う画像処理装置であって、
   前記撮像画像を分割して得られた複数の画像領域から、前記複数の画像領域の輝度バラツキを示す第１のテクスチャ量を計測し、前記第１のテクスチャ量に基づいて前記画像処理の対象となる画像処理対象領域を予め決定する画像領域演算部と、
   現在の撮像画像の前記画像処理対象領域の輝度に基づいて前記現在の撮像画像に対する前記画像処理の要否を判定する輝度判定部と、
   前記輝度判定部によって前記画像処理が必要であると判定された前記画像処理対象領域の輝度バラツキを示す第２のテクスチャ量を算出し、前記第２のテクスチャ量に基づいて前記画像処理対象領域に対して前記画像処理を行うか否かを判定するテクスチャ判定部と、
   前記テクスチャ判定部によって前記画像処理を行うと判定された前記画像処理対象領域に対して前記画像処理を実行する画像処理部と
   を有することを特徴とする画像処理装置。
2. 前記画像領域演算部は、複数の画像領域の内の前記第１のテクスチャ量が予め決められた第１の閾値以下である画像領域を、前記画像処理対象領域として選定することを特徴とする請求項１に記載の画像処理装置。
3. 前記輝度判定部は、前記画像処理対象領域の前記輝度が予め決められた輝度判定閾値以下であるときに、前記現在の撮像画像に対する前記画像処理が必要であると判定することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記テクスチャ判定部は、前記画像処理対象領域の前記第２のテクスチャ量が予め決められた第２の閾値以上であるときに、前記現在の撮像画像に対する前記画像処理が必要であると判定することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記第１のテクスチャ量は、前記複数の画像領域の各々における分散であることを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記画像処理対象領域の前記輝度は、前記画像処理対象領域における輝度値の平均値であることを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記第２のテクスチャ量は、前記画像処理対象領域における画素値の変動係数であることを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 記憶部をさらに有し、
   前記画像領域演算部によって予め決定された前記画像処理対象領域を示す画像処理領域情報は前記記憶部によって記憶される
   ことを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記撮像画像を取得するカメラの位置情報が記憶された記憶部と、
   被写体の位置情報を取得する被写体位置情報取得部と、
   前記被写体の実空間での位置座標を前記カメラのカメラ画像空間の位置座標に変換する被写体位置検出部と、
   前記カメラ画像空間において前記被写体が前記画像処理対象領域内に位置する場合、前記カメラ画像空間において、前記被写体の位置座標を含む領域をマスク範囲として設定するマスク処理部と
   をさらに有し、
   前記画像処理は、前記画像処理対象領域内における前記マスク範囲以外の領域に対して行われる
   ことを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
10. 前記マスク処理部は、
    前記現在の撮像画像から前記被写体の大きさを示す大きさ情報と前記カメラから前記被写体までの距離を示す距離情報を取得し、
    前記大きさ情報と前記距離情報とに基づいて、前記マスク範囲の大きさを決定する
    ことを特徴とする請求項９に記載の画像処理装置。
11. 前記マスク処理部は、
    前記現在の撮像画像から前記被写体の移動速度を取得し、
    前記移動速度と、前記位置情報を取得する取得周期と、前記カメラの撮像周期とに基づいて、前記マスク範囲の大きさを決定する
    ことを特徴とする請求項９又は１０に記載の画像処理装置。
12. 前記マスク処理部は、前記マスク範囲を強調表示することを特徴とする請求項９から１１のいずれか１項に記載の画像処理装置。
13. 撮像画像のノイズを低減する画像処理を行う画像処理方法であって、
    前記撮像画像を分割して得られた複数の画像領域から、前記複数の画像領域の輝度バラツキを示す第１のテクスチャ量を計測し、前記第１のテクスチャ量に基づいて前記画像処理の対象となる画像処理対象領域を予め決定する対象領域決定ステップと、
    現在の撮像画像の前記画像処理対象領域の輝度に基づいて前記現在の撮像画像に対する前記画像処理の要否を判定する輝度判定ステップと、
    前記輝度判定ステップにおいて前記画像処理が必要であると判定された前記画像処理対象領域の輝度バラツキを示す第２のテクスチャ量を算出し、前記第２のテクスチャ量に基づいて前記画像処理対象領域に対して前記画像処理を行うか否かを判定するテクスチャ判定ステップと、
    前記テクスチャ判定ステップにおいて前記画像処理を行うと判定された前記画像処理対象領域に対して前記画像処理を実行する画像処理ステップと
    を有することを特徴とする画像処理方法。
14. コンピュータに撮像画像のノイズを低減する画像処理を実行させる画像処理プログラムであって、
    前記撮像画像を分割して得られた複数の画像領域から、前記複数の画像領域の輝度バラツキを示す第１のテクスチャ量を計測し、前記第１のテクスチャ量に基づいて前記画像処理の対象となる画像処理対象領域を予め決定する対象領域決定ステップと、
    現在の撮像画像の前記画像処理対象領域の輝度に基づいて前記現在の撮像画像に対する前記画像処理の要否を判定する輝度判定ステップと、
    前記輝度判定ステップにおいて前記画像処理が必要であると判定された前記画像処理対象領域の輝度バラツキを示す第２のテクスチャ量を算出し、前記第２のテクスチャ量に基づいて前記画像処理対象領域に対して前記画像処理を行うか否かを判定するテクスチャ判定ステップと、
    前記テクスチャ判定ステップにおいて前記画像処理を行うと判定された前記画像処理対象領域に対して前記画像処理を実行する画像処理ステップと
    を前記コンピュータに実行させることを特徴とする画像処理プログラム。

Images