JP6635384B2 - 画像処理装置およびこれを備えた監視システムならびに画像処理方法 - Google Patents

Description

本開示は、画像処理装置およびこれを備えた監視システムならびに画像処理方法に関する。

近年、映像記録型ドライブレコーダと称される車載カメラが自動車に搭載されるようになってきた。例えば車両前方の道路状況を撮影して記録する車載カメラは、屋外使用に対応していない場合にはフロントウィンドウの内側に搭載される。このようにフロントウィンドウの内側に搭載された車載カメラでは、ワイパー装置を作動させた場合にワイパーブレードが画面を横切る画像が撮影される。

例えば、道路の白線を画像処理により検出し、車線に沿った走行を可能にする走行支援を行う場合に、ワイパーブレードが撮影対象の白線を消してしまう視野妨害物として撮影されると、白線の検出が困難になることがある。また、警備等で巡回しながら撮影したものを見直す場合には、注目すべき車両や人物等がワイパーブレードの動きにより邪魔されて、集中力が低減する虞がある。

また、屋外に設置する監視カメラの場合でも、降雪時に画面を通り過ぎる雪が撮影対象の景色の一部を消してしまう視野妨害物となり、画像の必要な箇所を鮮明に映し出すことができなくなるという問題がある。そのような降雪時の雪に対しては、処理対象となる対象フレームから時間軸で前へ遡った複数フレームの画像を用い、対象フレームから前の複数フレームに於ける画像の各画素の階調を比較し、例えば最も階調の高いものから所定番目の階調となる画素を集めて、１フレームに相当する画像データを構築するようにしたものがある（例えば特許文献１参照）。

上記特許文献１によれば、視野妨害物が撮像された画像に於いて、視野妨害物を構成する画素には、複数フレームの各画素の所定番目の階調の画素が用いられる。これにより、視野妨害物の画素は用いられなくなり、視野妨害物を除去することができるため、上記特許文献１の画像処理を車載カメラに於けるワイパーブレードの映り込みに対して適用することが考えられる。

しかしながら、車載カメラの場合には、自車の走行により相対的に移動する景色や他の車両等が移動被写体になる。このような車載カメラで撮影された画像に対して上記特許文献１による画像処理を行うと、景色や他の車両等の移動被写体に於いても影響し、撮影対象である移動被写体に於ける残像やぶれ、または一部が消失するという問題が生じる。

また、屋外の被写体を撮影する監視カメラ等では、降雪時に撮影を行うと、雪粒に視野が遮られて監視対象としている被写体が判然としない撮影画像が得られる。そこで、例えば、時間的に連続する複数の撮影画像を対象にして時間軸方向のメディアンフィルタ処理を行うことで降雪ノイズを除去して画像を鮮明化する技術が知られている（特許文献２参照）。この技術は、時間的に連続する複数の撮影画像において同一座標の画素が雪粒を写した画素である確率が低いことに着目したものであり、時間的に連続する複数の撮影画像から抽出された画素値を大きさの順に並び替えてその中央値を取得する時間軸方向のメディアンフィルタ処理により、雪粒を写した画素値が排除されるため、降雪ノイズを除去することができる。

また、屋外における降雪等の気象状況を人の判断によらずに検出する技術が存在し、例えば、降雪、降雨、風速等の天気情報を得るための複数のセンサを設け、それらのセンサによって得られた天気情報を処理して、屋内に設けた天気表示手段に表示する天気表示システムが知られている（特許文献３参照）。

ところで、屋外での撮影においてノイズを発生し得る気象状況としては、上述の降雪以外にもいくつか存在するが、例えば、降雨時の撮影の場合には、撮影画像におけるノイズの発生状況が降雪時とは異なるため、上記特許文献１に記載された降雪ノイズ除去のための画像処理をそのまま適用しても、降雪の場合と同様のノイズ除去効果を得ることは難しい場合がある。したがって、異なる気象状況に起因するノイズを撮影画像からより適切に除去するためには、撮影時の気象状況に応じて異なる画像処理を適用する（例えば、画像処理に関するパラメータを変更する）ことが望ましい。

そこで、例えば、気象状況を検出するための複数のセンサの検出結果に基づき、各気象状況に適した画像処理（ノイズ除去）を実行することが考えられるが、その場合、カメラの設置場所ごとに各種のセンサを設ける必要があるため、センサの設置に手間がかかり、設備コストも嵩むという問題がある。

さらに、撮影者が例えば手持ちしたビデオカメラで動画を撮影した場合に、視聴時にモニタの画面に映し出される映像が揺れるという不快な映像となることを抑制するために、光学式や電子式の画揺れ補正機構を備えたビデオカメラが知られている。電子式画揺れ補正機構では、撮影された複数の画像を比較して被写体のずれを打ち消すことにより、画揺れを解消するようにしている。

画揺れ補正された画像が画面から外れないようにするには、画面に映し出す画像の範囲よりも受光素子による撮像範囲を広くしておくとよいが、高解像度の受光素子を用いることによりカメラか高騰化したり、大型の受光素子を搭載することによりカメラが大型化したりするという問題がある。一方、警備員が肩や頭にカメラを付けて監視する場合があり、そのような場合にはカメラの小型化を促進しかつ解像度の低下を抑制する要望があり、その場合には、小型の受光素子を用い、受光素子と画面に映し出す画像との解像度を略同じにすることが考えられる。

しかしながら、受光素子と画面に映し出す画像との解像度が略同じになる場合には、画揺れ補正により被写体のずれを打ち消した画像を生成すると、画面に対して画像のずれが生じ、画面に映し出されない空白領域が生じてしまう。それにより、画像と空白領域との境界が明瞭になると、画像の輪郭がエッジとなり、そのエッジが画揺れに伴って揺れてちらつくという問題がある。それに対して、空白領域をエッジと共に一定濃度のマスクで隠すようにして、エッジの揺れが映し出されないようにしたものがある（例えば特許文献４参照）。

また、画揺れによるカメラの動きを表す平行移動ベクトル及び回転角ベクトルを取り出し、意図的な動き成分と意図的でない動き成分とを分離してフィルタリングし、画揺れに対する補正量が許容される閾値を超えていないかを確認し、超えていなければ、許容範囲内に留まるように画揺れ補正を行うようにしたものがある（例えば特許文献５参照）。

しかしながら、画面の中央部分に被写体が位置するように撮影された画像がシフトして画揺れ補正される場合には、上記マスクが画面の周辺部に額縁のように表示されるため、補正画像（マスクがされないで画面に映し出される撮影画像）の表示領域が小さくなり、画面全体に画像が表示される場合に対して画像の表示効率が低下するという問題がある。特に、画像の回転方向の揺れを補正する場合には、エッジを隠すためのマスクの領域が拡大し、表示効率がより一層低下する。

また、エッジを含む空白領域を前のフレームの画像で補うことにより、エッジを隠すためのマスクによる非表示領域の拡大を抑制することができるが、その場合には、そのように補正された動画を再生する際に、空白領域に映し出される前のフレームの画像が現在のフレームの補正画像に対して遅延が生じることにより固まった状態に映し出され、画面全体を見る際に違和感が生じる場合がある。

画面の画像領域が狭くなることにより表示効率が低下するという問題に対しては、画面全体に画像領域を拡大することにより対応することができる。しかしながら、表示すべき画像を拡大して画面全体に表示する場合には、基の画像を拡大処理するだけなので、画揺れ補正された補正画像の画素の鮮明度が低下する虞がある。特に、例えば監視用途に映像を記録する際に歩きながら撮影する場面があり、その記録された動画から細部を確認するために画像の鮮明度が求められる場合に不向きであり、また、空白領域として処理された部分の画像が記録として残らない。

また、手揺れ補正の補正量（平行移動ベクトルや回転角ベクトル）が許容される閾値を超えないように制限すると、閾値を超えた手揺れに対しては画揺れ補正が不十分となる。その場合には、揺れた画像が映し出され、不快な映像となる。

本開示は、撮影中の外乱に起因するノイズを除去し得ると共に、画像に映し出されるノイズ以外の移動被写体に於ける残像やぶれ、または一部が消失することを抑制することを目的とする。

より詳細には、本開示は、外乱として出現する視野妨害物を除去し得ると共に、画像に映し出される視野妨害物以外の移動被写体に於ける残像やぶれ、または一部が消失することを抑制することを目的とする。

また、より詳細には、本開示は、屋外での撮影において、簡易な構成により気象状況を判定できると共に、その判定された気象状況に応じた画像処理によってノイズを適切に除去した画像を取得可能とすることを目的とする。

さらに、より詳細には、本開示は、電子式画揺れ補正による補正画像の解像度を保持すると共に、モニタの画面に映し出される映像に不自然さが生じないようにすることを目的とする。

特開２０００−１１５７６３号公報 特許第３４３９６６９号公報 特開平１０−２０６５５９号公報 特表２００６−５１０２８２号公報 特表２００９−５０５４７７号公報

本開示の画像処理装置は、撮影中の外乱に起因するノイズを画像処理によって撮影画像から除去する画像処理装置であって、時間的に連続する複数の撮影画像が入力される画像入力部と、撮影画像における外乱に関する特徴を抽出する画像特徴抽出部と、外乱に関する特徴に応じて、撮影画像に対する外乱の影響を抑制する外乱抑制部と、を備える。

また、本開示の画像処理方法は、撮影中の外乱に起因するノイズを画像処理によって撮影画像から除去する画像処理方法であって、時間的に連続する複数の撮影画像が入力される画像入力ステップと、撮影画像における外乱に関する画像特徴を抽出する画像特徴抽出ステップと、外乱に関する特徴に応じて、撮影画像に対する外乱の影響を抑制する外乱抑制ステップと、を有する。

本開示によれば、撮影中の外乱の影響を抑制すると共に、画像に映し出されるノイズ以外の移動被写体に於ける残像やぶれ、または一部が消失することを抑制できる。

より詳細には、本開示によれば、外乱として出現する視野妨害物を除去し得ると共に、画像に映し出される視野妨害物以外の移動被写体に於ける残像やぶれ、または一部が消失することを抑制できる。

また、より詳細には、本開示によれば、屋外での撮影において、簡易な構成より気象状況を判定できると共に、その判定された気象状況に応じた画像処理によってノイズを適切に除去した画像を取得できる。

さらに、より詳細には、本開示によれば、電子式画揺れ補正による補正画像の解像度を保持すると共に、モニタの画面に映し出される映像に不自然さが生じないようにすることができる。

図１は、自動車のフロントウィンドウを車両前側から見た図である。 図２は、本開示が適用された車載カメラによる撮影例を示す模式図である。 図３は、第１実施形態に基づく画像処理装置の第１実施例を示すブロック図である。 図４は、第１実施形態の第１実施例のフロー図である。 図５は、画面に於ける動きベクトルを示す図である。 図６は、第１実施形態の第２実施例の図３に対応する図である。 図７は、第１実施形態の第２実施例のフロー図である。 図８は、修正領域の補正要領の説明図である。 図９は、修正領域を示す説明図である。 図１０は、第２実施形態に係る監視システムの概略を示す構成図である。 図１１は、図１０中の画像処理装置の機能ブロック図である。 図１２は、図１１中の気象判定部で用いられる気象状況判定テーブルの一例を示す説明図である。 図１３は、第２実施形態に係る監視システムによる処理の流れを示すフロー図である。 図１４は、第３実施形態に係る監視システムの概略を示す構成図である。 図１５は、図１４中のインターフォン親機１３２の機能ブロック図である。 図１６は、第３実施形態に係る監視システムによる処理の流れを示すフロー図である。 図１７は、図１６中のステップＳＴ２０８における画像表示の一例を示す説明図である。 図１８Ａは、第４実施形態が適用されたビデオカメラによる撮影例を示す模式図である。 図１８Ｂは、第４実施形態が適用されたビデオカメラによる撮影例を示す模式図である。 図１９Ａは、本開示に基づく画像処理により画面に映し出される映像の連続的変化を示す模式図である。 図１９Ｂは、本開示に基づく画像処理により画面に映し出される映像の連続的変化を示す模式図である。 図１９Ｃは、本開示に基づく画像処理により画面に映し出される映像の連続的変化を示す模式図である。 図２０は、第４実施形態に基づく画像処理装置の第１実施例を示すブロック図である。 図２１は、図２０に対応するフロー図である。 図２２Ａは、図１９Ａに対応する要部拡大模式図である。 図２２Ｂは、図１９Ｂに対応する要部拡大模式図である。 図２３は、画像処理装置の第４実施形態の第２実施例を示すブロック図である。 図２４は、図２３に対応するフロー図である。 図２５は、画像処理装置の第４実施形態の第３実施例を示すブロック図である。 図２６は、図２５に対応するフロー図である。

以下、本開示の実施の形態を、図面を参照しながら説明する。

（第１実施形態）
図１は、自動車１のフロントウィンドウ２を車両前側から見た図である。自動車１の車室内の適所には、フロントウィンドウ２を介して前方を撮影する車載カメラ３が搭載されている。本実施の形態では巡回監視車両に於ける監視カメラとして用いられる例について以下に説明するが、本開示は、巡回監視車両の監視カメラに限定されるものではなく、例えば運転支援システムにも適用可能であり、また、屋外の監視用固定カメラにも適用可能である。

図２は、車載カメラ３で撮影された画像を、車載カメラ３を直接的にモニタ４に接続してモニタ４の画面４ａに映像として映し出す場合、または、車載カメラ３に装着されている記憶媒体（メモリカード等）３ａの画像データを、パーソナルコンピュータＰＣにより読み出しかつ画像処理して、パーソナルコンピュータＰＣに接続されたモニタ４に出力する場合（図の破線の流れ）を示す。いずれの場合も、画面４ａに映し出す画像処理は、公知の画像処理であってよく、その説明は省略する。また、モニタ４に映し出す場合に限らず、レコーダに記録する場合にも適用され得る。

次に、本開示の第１実施形態に基づく画像処理の制御要領について説明する。この画像処理は、例えばコンピュータプログラムにより実現されるが、コンピュータプログラムに限定されるものではない。なお、モニタ４に映し出す動画を公知のフレーム処理により生成し、適宜本開示に基づく画像処理を行う。

図３は、本開示の第１実施形態に基づく画像処理装置５の第１実施例を示すブロック図である。図に示されるように、画像処理装置５は、車載カメラ３で撮像された画像を時系列に保存する入力画像バッファ１０と、今回の処理対象となる所定の処理対象画像を設定し、入力画像バッファ１０から処理対象画像及び処理対象画像に近接する複数の関連画像を読み出す画像設定部１１と、入力画像バッファ１０からの複数の関連画像が入力する動きベクトル計算部１２と、動きベクトル計算部１２で動きベクトルが算出された複数の関連画像の各動きベクトル算出値が入力すると共に、当該複数の関連画像が入力画像バッファ１０から入力するフレーム動き補正部１３と、フレーム動き補正部１３で動き補正された各補正画像と入力画像バッファ１０からの処理対象画像とが入力し、それらを合成してモニタ４に映し出す合成画像を出力する画像合成部１４と、により構成されている。入力画像バッファ１０および動きベクトル計算部１２は、画像特徴抽出部の一例であり、フレーム動き補正部１３および画像合成部１４は、外乱抑制部の一例である。

次に、第１実施形態の第１実施例による画像処理装置５の制御要領について、図４のフロー図、図５の画面４ａの映像説明図を参照して説明する。なお、入力画像バッファ１０には、車載カメラ３で撮影された画像が、車載カメラ３から直接またはパーソナルコンピュータＰＣを介して時系列に複数フレーム保存されている。今回の処理対象となる画像を処理対象画像と称し、それに対して時系列で過去となる画像を前画像と称し、未来となる画像を後画像と称して説明する。

ステップＳＴ１では、画像設定部１１により処理対象画像に相当する処理対象フレームを入力画像バッファ１０から読み出して、動きベクトル計算部１２と画像合成部１４とに入力する。ステップＳＴ２では、画像設定部１１により、前画像に相当する前フレームと後画像に相当する後フレームとを入力画像バッファ１０から読み出して、動きベクトル計算部１２とフレーム動き補正部１３とに入力する。これら前画像及び後画像は処理対象画像に対して時系列に近接する複数の関連画像であるが、前後それぞれの画像に限らず、前画像または後画像のいずれかであってもよく、また、それぞれ複数の画像であってよい。さらに、フレーム処理に於ける連続するフレームに限らず、処理対象画像に対して前後にそれぞれ複数フレーム離れた画像であってもよい。

ステップＳＴ３では、動きベクトル計算部１２で、処理対象画像を基準にして、前・後フレームの画像のそれぞれについての動きベクトルを求める。画素または任意の画素数からなるブロック単位の動きベクトルが、例えば図５に部分的に示されている矢印（ＭＶ１，ＭＶ２，ＭＶ３）で示されるように算出される。動きベクトルの算出は、公知のブロックマッチング法や勾配法等により求めるものであってよい。なお、図５は、自動車１が左折している場合である。

ステップＳＴ４では、フレーム動き補正部１３で、入力画像バッファ１０から読み込んだ前・後フレームに対して、各フレームのステップＳＴ３で算出された各動きベクトルに基づいてそれぞれ動き補正した画像（以下、動き補正画像と称す）を生成する。

ステップＳＴ５では、画像合成部１４による画像の合成を行う。ここでは、前・後フレームに対してフレーム動き補正部１３で生成された各動き補正画像と、入力画像バッファ１０から読み込んだ処理対象フレーム（処理対象画像）とを用いて、時間軸に対して対応する画素間でメディアン処理して、合成画像を生成する。本開示によるメディアン処理とは、公知のメディアンフィルタを用いた処理であってよく、平均化処理の一例である。平均化処理とは、上記メディアン処理の他に、注目画素に隣接する複数の画素を対象として、所定番目（例えば４番目や５番目）の輝度や、単純な平均輝度や、頻度の高い輝度を用いたりする等の処理をいうものとする。

処理対象画像に雪が写り、関連画像の該当する部分に雪が写っていない場合には、複数の動き補正画像のメディアン処理により、合成画像は雪が消された画像となり得る。なお、定点観察用の固定カメラの場合には通り過ぎる車両や人物等が移動被写体となるが、移動被写体に対して動き補正された動き補正画像を用いて合成された合成画像に於いて、雪が消され、かつ移動被写体に於ける残像やぶれ、または一部が消失することが抑制される。また、本実施形態に於ける車載カメラ３に於いては、走行により移動する風景や他の車両等が撮影対象としての移動被写体になる。上述した画像処理により、処理対象画像と、処理対象画像を基準にして動き補正された動き補正画像とを用いて合成画像を生成することから、合成画像に於いて、移動被写体に於ける残像やぶれ、または一部が消失することが抑制される。これにより、車載カメラ３のように移動被写体を撮影対象とする場合でも、外乱除去と画像の乱れの抑制とを両立し得る。

次に、第１実施形態の第２実施例について、図３に対応する図６を参照して説明する。なお、上記実施例と同様の部分については同一の符号を付してその詳しい説明を省略する。この第１実施形態の第２実施例では、図に示されるように、動きベクトル計算部１２で動きベクトルが算出された複数の画像の各動きベクトル算出値が入力する修正領域検出部１５と、修正領域検出部１５からの修正領域情報が入力すると共に動きベクトル計算部１２からの各動きベクトル算出値が入力する修正領域修正部１６とが設けられている。修正領域修正部１６では修正領域に対する動きベクトルを修正し、その修正領域動きベクトル修正情報がフレーム動き補正部１３に入力し、フレーム動き補正部１３では、動きベクトル計算部１２からの各動きベクトル算出値と、修正領域修正部１６からの動きベクトル修正情報とに基づいて動き補正画像を生成し、その動き補正画像を画像合成部１４に出力する。画像合成部１４での画像の合成は第１実施形態の上記第１実施例と同様である。

この第１実施形態の第２実施例に於ける制御要領について、図４に対応する図７のフロー図を参照して説明する。ステップＳＴ１１〜ＳＴ１３は、それぞれ第１実施形態の第１実施例のステップＳＴ１〜ＳＴ３と同じである。

ステップＳＴ１３の次のステップＳＴ１４では、ステップＳＴ３で算出した動きベクトルに基づいてフレームの各部分（例えば複数分割されたブロック）に対して修正領域（図８の符号２１）であるか否かを判別する。この修正領域２１の判定要領を、図８を参照して説明する。

図８には、動きベクトルを修正する対象となる今回フレームＦ（ｎ）と、今回のフレームＦ（ｎ）より時系列で前となる前フレームＦ（ｎ−１）と、時系列で後となる後フレームＦ（ｎ＋１）とが示されている。これらは隣接するフレームであってもよく、または所定のフレーム数をおいたフレームであってもよい。

また、図に於けるＸ軸及びＹ軸は画面４ａの空間（二次元）を示し、Ｔ軸は各フレーム間の時間軸を示す。図は、空間軸の３×３ブロックと、時間軸の３フレームとを用いた例であるが、空間軸・時間軸に対するブロック数とフレーム数を限定するものではなく、他のブロック数とフレーム数の組合せであってもよい。ブロックは、フレームを所定の画素数で分割したものであり、視野妨害物が本実施形態のようにワイパーブレード６であるとして特定可能な場合には、その物体の大きさ等に応じてブロックの大きさを設定することにより処理を高速化し得る。

また、図には、今回フレームＦ（ｎ）に於いて、中央のブロックに所定の閾値（ＭＶｒ）以上の動きベクトルＭＶ１（＞＝ＭＶｒ）が算出され、その周囲のブロックでは閾値未満の動きベクトルＭＶ２（＜ＭＶｒ）が算出された例が示されている。図では説明の簡略化のために、今回フレームＦ（ｎ）に於いて中央のブロックのみに所定の閾値ＭＶｒ以上の動きベクトルＭＶ１が算出され、前フレームＦ（ｎ−１）及び後フレームＦ（ｎ＋１）では、図に示される３×３ブロックに対しては閾値未満の動きベクトルＭＶ２（＜ＭＶｒ）が算出された例が示されている。なお、各ブロックに対して同一の動きベクトルＭＶ２を示しているが、同一の値を意味するものではなく、略同じでありかつ閾値ＭＶｒより小さいことを意味する程度である。

また、本実施形態では、閾値ＭＶｒは、通常の走行時の景色の動きベクトルより大きく、ワイパーブレード６の低速時の動きよりは小さい値とする。ワイパーブレード６の移動速度は、運転者の視界の邪魔にならないように通常走行時のフロントウィンドウ２越しの景色の流れの速度より十分高速であり、ワイパーブレード６の動きと景色の動きとを、動きベクトルに対して上記閾値ＭＶｒを用いて判別することができる。

なお、ワイパーブレード６の動きに対応する動きベクトルＭＶ１となる部分は、例えば図９に於ける修正領域２１として示される範囲になる。

ステップＳＴ１４で、ブロックに対する動きベクトル算出で修正領域２１に対応すると判定された場合には、ステップＳＴ１５で、修正領域修正部１６により修正領域２１の各ブロックの動きベクトルを修正する。例えば、今回フレームＦ（ｎ）の修正領域２１に対して、前・後フレームＦ（ｎ−１）・Ｆ（ｎ＋１）の対応する領域の動きベクトルを用いて修正する。図８のブロックの例では、今回フレームＦ（ｎ）に於いて動きベクトルＭＶ１が算出されたブロック（修正領域２１）に対して、前・後フレームＦ（ｎ−１）・Ｆ（ｎ＋１）の対応するブロック２１ａ・２１ｂの各動きベクトルＭＶ２を対象として平均化処理する。

平均化処理の一例としては、上述した画素に対するメディアン処理と同様にして、対象を動きベクトルとして処理するものであってよい。図示例の場合にはメディアン値がＭＶ２となり、その動きベクトルＭＶ２を修正領域２１の修正された修正動きベクトルとする。なお、図８では前・後フレームＦ（ｎ−１）・Ｆ（ｎ＋１）がそれぞれ１フレームずつ図示されているが、前側または後側のいずれかの複数フレームを対象としてもよく、さらにメディアン処理の対象となるフレーム数としては３以上であってもよい。

なお、修正領域２１の動きベクトルの修正に於いて、時系列に並ぶ複数の関連画像の修正領域２１に対応する領域を対象とする処理に限られるものではない。例えば、修正領域２１の修正動きベクトルを０に設定してもよく、また、修正領域２１の周辺の動きベクトルのメディアン処理した動きベクトルを修正動きベクトルとしてもよい。

ステップＳＴ１５の次、または上記ステップＳＴ１４で修正領域２１に対応する動きベクトルが無いと判定された場合にステップＳＴ１６に進む。ステップＳＴ１６では、フレーム動き補正部１３により、入力画像バッファ１０からの前・後フレームＦ（ｎ−１）・Ｆ（ｎ＋１）に対して、ステップＳＴ１３で算出した各動きベクトル（ＭＶ２）と、ステップＳＴ１５で修正された修正領域２１の修正動きベクトル（ＭＶ２）とを参照して、各動き補正画像を生成する。

そして、ステップＳＴ１７では、画像合成部１４で、入力画像バッファ１０からの処理対象画像と、ステップＳＴ１６で動き補正された各動き補正画像とを、第１実施形態の第１実施例と同様に合成する。次のステップＳＴ１８では、ステップＳＴ１７で合成された合成画像をモニタ４に出力する。

ワイパーブレード６の動きベクトルはワイパーブレード６の周囲の動きベクトルに対して大きく影響する。それに対して、ワイパーブレード６の通過領域となる修正領域２１の動きベクトルを修正動きベクトル（ＭＶ２）で修正した処理対象画像を基準にして前・後フレームＦ（ｎ−１）・Ｆ（ｎ＋１）を動き補正することから、前・後フレームＦ（ｎ−１）・Ｆ（ｎ＋１）の動き補正に於いて、ワイパーブレード６の大きな動きベクトルの影響を受けることなく補正することができる。

このように、視野妨害物として動きベクトルの大きなワイパーブレード６が撮像された場合に、処理対象画像に於けるワイパーブレード６が写り込んでいる部分に対して、移動被写体としての景色に対して動き補正された各動き補正画像の対応する部分の画像で補完した合成画像が生成される。その補完部分の画像はワイパーブレード６が通過する領域（修正領域２１）の周囲と同様の動きベクトル（自動車１の走行に伴う動き）となる部分であり、例えば３０フレーム／秒のようなフレーム間が僅かな時間差の場合には、時間差の生じる部分が目立つ程にはならない。これにより、処理対象画像に対応する合成画像を、ワイパーブレード６が消された画像にすることができると共に、景色の中の一部を注視する際に、画面４ａ上でワイパーブレード６が動くことによる煩わしさが解消され、見易い動画が得られる。

また、ワイパーブレード６の動きはフロントウィンドウ２の広い範囲に亘るため、車載カメラ３により撮影された画像に於いて、ワイパーブレード６の動きベクトルが大きな影響を及ぼすことになる。それに対して上述した画像処理により、ワイパーブレード６の大きな動きベクトルによる影響を受けることのない合成画像を生成することができ、ワイパーブレード６が消された画像に於いて、景色として映し出される部分（走行による移動被写体）がワイパーブレード６の残像やぶれ等で消失してしまうことを回避し得る。

なお、第１実施形態の上記第２実施例では、動きベクトルの大きさの違いでワイパーブレード６の動きを判別して修正領域２１を求めたが、例えばワイパーブレード６の場合には黒い物体の像として撮影されることにより、濃度（輝度）の違いによりワイパーブレード６を特定することができる。その場合には、図７に於ける修正領域検出部１５に於いて閾値ＭＶｒ以上の動きベクトルが算出された領域がワイパーブレード６に相当する濃度（輝度）であるか否かを判別し、ワイパーブレード６に相当する濃度（輝度）であると判定され部分を修正領域２１になると判定することができる。これにより、修正領域２１の判定をより一層確実に行うことができる。

また、ワイパーブレード６の動きは決まっており、例えば上記輝度によりワイパーブレード６であるとされた画素の延在方向の角度が、予め入力されたワイパーブレード６の動きに於いて生じる角度（円弧に於ける法線の傾き）と略一致する場合には、ワイパーブレード６であると判定することができる。このようにして、修正領域２１の判定を行ってもよい。

なお、定点観察用の固定カメラの場合には通り過ぎる車両や人物等が移動被写体となる。そのような場合に、例えば降雪時にカメラの近くを通過する雪は、遠方で移動する車両や人物に対してワイパーブレード６と同様に視野妨害物となる。このような降雪時の雪に対しても動きベクトルの修正を同様に行うことができる。処理対象画像に雪が写り、関連画像の該当する部分に雪が写っていない場合には、複数の動き補正画像のメディアン処理により、合成画像は雪が消された画像となり得る。

以上に説明した第１実施形態の開示内容は、後述の第２〜第４実施形態においても適用可能である。

（第２実施形態）
図１０は、本開示の第２実施形態に係る監視システム１０１の概略を示す構成図である。図１０に示すように、監視システム１０１は、屋外の被写体を撮影する複数の監視カメラ（撮影装置）１０２Ａ〜１０２Ｃと、監視カメラ１０２Ａ〜１０２Ｃによって撮影された撮影画像を取得して所定の画像処理を行う画像処理装置１０３とを備えている。また、監視システム１０１では、監視カメラ１０２Ａ〜１０２Ｃ（以下、総称して監視カメラ１０２という。）は、それぞれネットワーク１０４を介して画像処理装置１０３と通信可能に接続されている。ここで、ネットワーク１０４は、公衆回線や専用回線に基づくインターネット等の広域ネットワークからなるが、これに限らず、監視カメラ１０２および画像処理装置１０３は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）や専用ケーブル等によって相互に通信する構成であってもよい。

監視カメラ１０２は、公知の構成を有しており、図示しないレンズを通した映像をイメージセンサに結像させることにより、電気信号に変換した映像信号として出力する。監視カメラ１０２Ａ〜１０２Ｃには、それぞれマイク（音声入力装置）１０５Ａ〜１０５Ｃ（以下、総称してマイク１０５という。）が設けられており、撮影時に周辺音（ここでは、特に降雨、降雹、雷鳴等の撮影時の気象状況に関する音）を取得することが可能である。監視カメラ１０２Ａ〜１０２Ｃは、屋外の複数の監視エリアに対応してそれぞれ設置される。図１０では、３台の監視カメラ１０２Ａ〜１０２Ｃを設けた例を示したが、これに限らず、監視カメラ１０２やマイク１０５の数量や配置は種々の変更が可能である。

画像処理装置１０３は、撮影中の気象状況に基づき監視カメラ１０２の撮影画像に発生したノイズを画像処理によって除去する機能を備えたＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）から構成される。詳細は図示しないが、画像処理装置１０３は、所定の制御プログラム（画像処理プログラム）に基づき各種画像処理や周辺機器の制御などを統括的に実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＣＰＵのワークエリア等として機能するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＣＰＵが実行する制御プログラムやデータを格納するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ネットワークを介した通信処理を実行するネットワークインタフェース、入力デバイス、及びＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などが設けられた本体部１０７と、本体部１０７で処理された画像等の各種情報を表示する監視用モニタとしての表示部１０８とを有している。なお、画像処理装置１０３は、ＰＣに限らず、専用のハードウェアによって構成されてもよい。

図１１は、図１０中の画像処理装置の機能ブロック図であり、図１２は、図１１中の気象判定部で用いられる気象状況判定テーブルの一例を示す説明図である。

図１１に示すように、画像処理装置１０３において、画像入力部１１１には、監視カメラ１０２からの映像信号がネットワーク１０４を介してリアルタイムに入力され、蓄積される。一方、音入力部１１２には、マイク１０５からの音信号がネットワーク１０４を介してリアルタイムに入力され、蓄積される。

また、画像処理装置１０３は、入力された映像信号に基づく時間的に連続する複数の撮影画像（フレーム画像のデータ）において、気象状況に関する画像特徴を抽出する画像特徴抽出部１１３と、入力された音信号に基づく撮影時の周辺音（音データ）において、気象状況に関する音特徴を抽出する音特徴抽出部１１４と、撮影画像の撮影時における気象状況を判定する気象状況判定部１１５と、この気象状況判定部１１５によって判定された気象状況に応じた画像処理を実行することにより、撮影中の気象状況に起因するノイズを撮影画像から除去する画像鮮明化部１１６と、表示部１０８に表示する監視オペレータ向けの画像（監視用画像）を選択する画像選択部１１７とを有している。画像鮮明化部１１６は、外乱抑制部に含まれる。又は、画像鮮明化部１１６は、外乱抑制部そのものであってもよい。

画像特徴抽出部１１３は、画像入力部１１１に入力された時間的に連続する複数のフレーム画像（ここでは、ＲＧＢフォーマットによる６０ｆｐｓのフレームレートの画像）から、注目画素を対象にして、Ｒ、ＧおよびＢの各チャンネルの画素値を取得し、さらに、それらＲ値、Ｇ値およびＢ値から輝度（Ｙ値）を算出する。

そして、画像特徴抽出部１１３は、所定の気象状況（ここでは、降雪、降雨、降雹）に関する画像特徴として、処理対象の撮影画像と時間的に隣接する他の撮影画像との間の各対応画素（対応する位置の各画素）における輝度の瞬時変化（比較的短い時間における画素値の変化）を抽出（検出）する。また、画像特徴抽出部１１３は、所定の気象状況（ここでは、雷（雷光））に関する画像特徴として、処理対象の撮影画像における画面フラッシュの発生（すなわち、規定値以上の輝度を有する画素の数が撮影画像全域において規定値以上の割合を占める状態）を抽出する。

音特徴抽出部１１４は、音入力部１１２に入力された周辺音の強さ（音圧レベル）および周波数を所定のサイクル（例えば、複数の撮影画像の撮影時間に対応するサイクル）で取得し、それら音の強さおよび周波数を所定の気象状況（ここでは、降雨、降雹、雷（雷鳴））に関する音特徴として抽出（検出）する。

気象状況判定部１１５は、画像特徴抽出部１１３および音特徴抽出部１１４からそれぞれ画像特徴（輝度の瞬時変化および画面フラッシュの発生の情報）および音特徴（周辺音の強さおよび周波数の情報）を取得し、それら画像特徴および音特徴に基づき気象状況を仮判定する。

より詳細には、気象状況判定部１１５は、画像特徴抽出部１１３から画像特徴として取得した各画素の輝度の瞬時変化の情報に基づき、撮影時の気象状況について降雪、降雨、及び降雹のいずれかの可能性があると仮判定する。つまり、気象状況が降雪、降雨、または降雹である場合には、撮影画像中に雪粒、雨粒、雹粒などの白色またはそれに類する色を有する多数の小領域（点や線等）が生じる（すなわち、互いに離隔された複数の画素に輝度の瞬時変化が起こる）ため、これにより、気象状況判定部１１５は、降雪、降雨、及び降雹のいずれかの可能性があると仮判定することができる。

本実施形態では、気象状況判定部１１５は、撮影画像（画素値の変化）に基づく降雪、降雨、及び降雹の区別は行わないが、これに限らず、画素値（Ｒ値、Ｇ値、Ｂ値、及びＹ値）の大きさや、撮影画像において画素値の変化が生じた領域（画素の配置）に基づき、降雪、降雨、及び降雹を判定してもよい。

また、気象状況判定部１１５は、画像特徴抽出部１１３から画像特徴として取得した画面フラッシュ発生の情報に基づき、撮影時の気象状況について雷（雷光）の可能性があると仮判定する。つまり、気象状況が雷（雷光）である場合には、撮影画像中の全域（または予め設定された一定割合以上の広い領域）の画素において雷光による画素値の変化（輝度の上昇）が生じるため、これにより、気象状況判定部１１５は、気象状況が雷（雷光）であると仮判定することができる。

また、気象状況判定部１１５は、音特徴抽出部１１４から音特徴として取得した周辺音の強さおよび周波数の情報（ここでは、所定帯域の音圧レベル）に基づき、撮影時の気象状況について降雨、降雹、及び雷（雷鳴）のいずれかの可能性があると仮判定する。つまり、気象状況が降雨、降雹、及び雷（雷鳴）のいずれかである場合には、地面や家屋などに降る雨粒もしくは雹粒または雷鳴によって、特有の強さや周波数を有する音が発生するため、これにより、気象状況判定部１１５は、気象状況が降雨、降雹、及び雷（雷鳴）のいずれかであると仮判定することができる。この場合、監視システム１０１では、予め降雨、降雹、及び雷（雷鳴）の各々関する音の強さおよび周波数の基準値（音特徴に基づき気象状況を判定するための基準範囲）が設定されており、気象状況判定部１１５は、周辺音の強さおよび周波数が、降雨、降雹、及び雷（雷鳴）のいずれかの基準値と一致する場合には、その基準値に対応する気象状況を撮影時の気象状況と仮判定する。

なお、気象状況判定部１１５は、周辺音の強さに基づき、降雨、降雹の強さや、雷の発生位置（撮影場所（マイク１０５）からの距離）を推定することも可能である。また気象状況判定部１１５は、周辺音の強さおよび周波数の少なくとも一方の時間的変化に基づき、撮影時の気象状況が降雨、降雹、及び雷（雷鳴）のいずれかであると仮判定することもできる。また、気象状況判定部１１５は、音特徴のない（ほとんど音を発生しない）降雪については仮判定を行わない。

気象状況判定部１１５は、上述の画像特徴および音特徴に基づく仮判定の結果に基づき、図１２に示した気象状況判定テーブルを参照して気象状況を判定（本判定）する。

より詳細には、画像特徴に関し、気象状況判定部１１５が、撮影時の気象状況について降雪、降雨、及び降雹のいずれかの可能性があると仮判定した場合には、図１２中の左側の画像処理結果の欄における判定項目「画素輝度瞬時変化」の結果が「検出」となる。一方、気象状況判定部１１５が、降雪、降雨、及び降雹のいずれかの可能性があると仮判定しなかった（すなわち、画素における所定の輝度の瞬時変化が生じていない）場合には、判定項目「画素輝度瞬時変化」の結果が「未検出」となる。また、気象状況判定部１１５が、撮影時の雷（雷光）の可能性があると仮判定した場合には、画像処理結果の欄における判定項目「画面フラッシュ発生」の結果が「検出」となる。一方、気象状況判定部１１５が、撮影時の雷（雷光）の可能性があると仮判定しなかった（すなわち、画面フラッシュが発生していない）場合には、判定項目「画面フラッシュ発生」の結果が「未検出」となる。

音特徴に関し、気象状況判定部１１５が、気象状況について降雨の可能性があると仮判定した場合には、図１２中の中央の音処理結果の欄における判定項目「降雨特徴音」の結果が「検出」となる。一方、気象状況判定部１１５が、降雨の可能性があると仮判定しなかった場合には、判定項目「降雨特徴音」の結果が「未検出」となる。また、気象状況判定部１１５が、気象状況について降雹の可能性があると仮判定した場合には、音処理結果の欄における判定項目「降雹特徴音」の結果が「検出」となる。一方、気象状況判定部１１５が、降雹の可能性があると仮判定しなかった場合には、判定項目「降雹特徴音」の結果が「未検出」となる。さらに、気象状況判定部１１５が、気象状況について雷（雷鳴）の可能性があると仮判定した場合には、音処理結果の欄における判定項目「雷鳴特徴音」の結果が「検出」となる。一方、気象状況判定部１１５が、雷（雷鳴）の可能性があると仮判定しなかった場合には、判定項目「雷鳴特徴音」の結果が「未検出」となる。

気象状況判定部１１５は、上述の画像処理結果に関する判定項目「画素輝度瞬時変化」または「画面フラッシュ発生」の結果が「未検出」であり、かつ音処理結果に関する判定項目「降雨特徴音」、「降雹特徴音」、または「雷鳴特徴音」の結果が「未検出」の場合、図１２中の右側の「気象状況判定結果」の欄を参照し、降雪、降雨、降雹、雷（雷光）のいずれも未検出（撮影画像のノイズを発生し難い晴れや曇り等の気象状況）と判定する。

また、気象状況判定部１１５は、音処理結果に関する判定項目「降雨特徴音」の結果が「検出」の場合、画像処理結果に関する判定項目「画素輝度瞬時変化」の結果に拘わらず、「気象状況判定結果」の欄を参照し、気象状況を降雨と判定する。これにより、監視システム１０１では、他の気象状況と比較的判別容易な降雨の音特徴が抽出された場合には、他の気象状況と比較的判別の難しい降雨の画像特徴の影響を受けることなく、降雨に応じた画像処理によってノイズを適切に除去した画像を取得することが可能となる。

また、気象状況判定部１１５は、判定項目「画素輝度瞬時変化」の結果が「検出」であり、かつ音処理結果に関する判定項目「降雨特徴音」および「降雹特徴音」の結果が「未検出」の場合、「気象状況判定結果」の欄を参照し、気象状況を降雪と判定する。

また、気象状況判定部１１５は、音処理結果に関する判定項目「降雹特徴音」の結果が「検出」の場合、画像処理結果に関する判定項目「画素輝度瞬時変化」の結果に拘わらず、「気象状況判定結果」の欄を参照し、気象状況を降雹と判定する。これにより、監視システム１０１では、他の気象状況と比較的判別容易な降雹の音特徴が抽出された場合には、他の気象状況と比較的判別の難しい降雹の画像特徴の影響を受けることなく、降雹に応じた画像処理によってノイズを適切に除去した画像を取得することが可能となる。

また、気象状況判定部１１５は、音処理結果に関する判定項目「雷鳴特徴音」の結果が「検出」の場合、画像処理結果に関する判定項目「画面フラッシュ発生」の結果に拘わらず、「気象状況判定結果」の欄を参照し、気象状況を雷と判定することができる。ただし、音処理結果に関する判定項目「雷鳴特徴音」の結果が「検出」の場合でも、雷光が生じていない（撮影画像のノイズとならない雷鳴のみが発生している）可能性があるため、気象状況判定部１１５は、画像処理結果に関する判定項目「画面フラッシュ発生」の結果が「検出」であり、かつ音処理結果に関する判定項目「雷鳴特徴音」の結果が「検出」の場合にのみ気象状況を雷と判定してもよい。

また、気象状況判定部１１５は、画像処理結果に関する判定項目「画面フラッシュ発生」の結果が「検出」の場合、音処理結果に関する判定項目「雷鳴特徴音」の結果に拘わらず、「気象状況判定結果」の欄を参照し、気象状況を雷と判定することができる。

再び図１１を参照して、画像鮮明化部１１６は、時間軸方向のメディアンフィルタ処理により、撮影画像におけるノイズを除去する。より詳細には、画像鮮明化部１１６は、処理対象の撮影画像を含む時間的に連続する複数の撮影画像（フレーム画像）について、時間軸に対して対応する画素間で画素値のソート処理を行って、その中央値を取得する。この場合、時間的に連続する複数の撮影画像は、処理対象の撮影画像と時間的に前後する撮影画像（処理対象を基準として時間的に前の撮影画像もしくは時間的に後の撮影画像、またはその両方）である。そして、画像鮮明化部１１６は、それら各画素の中央値に基づいて気象状況に起因するノイズが除去された撮影画像（以下、「ノイズ除去画像」という。）を生成する。なお、画像鮮明化部１１６は、メディアンフィルタ処理と共に、画像の鮮明化に寄与する他の公知の画像処理（例えば、階調補正）を実行することが可能である。

画像鮮明化部１１６は、気象状況判定部１１５で判定された特定の気象状況（ここでは、降雪、降雨、降雹、及び雷）に応じて複数の異なる画像鮮明化処理（ノイズを除去するための画像処理）を実行する。より詳細には、画像鮮明化部１１６は、メディアンフィルタ処理において、ソート処理を行う時間的に連続する撮影画像の数を気象状況に応じて変更することができる。例えば、画像鮮明化部１１６は、降雪の場合にメディアンフィルタ処理におけるソート処理の対象となる時間的に連続する撮影画像の数ｎよりも、降雨の場合にソート処理の対象となる撮影画像を少ない数ｍ（＜ｎ）とすることができる。

なお、画像鮮明化部１１６は、気象状況判定部１１５で特定の気象状況（ここでは、降雪、降雨、降雹、及び雷のいずれか）が判定されない場合には、画像鮮明化処理を実行しない。また、画像鮮明化部１１６は、メディアンフィルタ処理に限らず、他の公知の画像処理によって撮影画像におけるノイズを除去することが可能である。その場合にも、画像鮮明化部１１６は、気象状況に応じて、降雪、降雨、降雹、及び雷光に起因するノイズの除去に適した公知のノイズ除去方法を複数の公知の方法の中から選択的に実行可能な構成となる。

画像選択部１１７には、画像入力部１１１からのノイズ除去前の撮影画像（以下、「入力画像」という。）と、画像鮮明化部１１６からのノイズ除去画像が入力される。画像処理装置１０３のオペレータは、画像選択部１１７の動作モードとして、表示部１０８に対してノイズ除去画像（監視用画像）を出力する監視モードと、表示部１０８に対して入力画像（天候確認用画像）を出力する通常モード（天候確認モード）とを選択することが可能である。これにより、オペレータは、監視が必要な場合には、ノイズ除去画像を表示部１０８に表示して、注目する被写体を良好に確認できる一方、監視が不要な場合には、入力画像を表示部１０８に表示して、外部（撮影場所）の天候を目視確認することができる。また、オペレータは、画像選択部１１７の動作モードをリアルタイムに切り替えることにより、画像処理によるノイズ除去が難しい気象状況であっても、入力画像とノイズ除去画像の双方を確認して監視の精度を高めることができるという利点もある。

なお、画像処理装置１０３では、画像選択部１１７を省略し、入力画像とノイズ除去画像の双方を表示部１０８から出力する構成としてもよい。その場合、表示部１０８では、二画面表示により、入力画像とノイズ除去画像の双方を同時に表示することができる。

図１３は、監視システム１０１による処理の流れを示すフロー図である。監視システム１０１では、監視カメラ１０２およびマイク１０５によって取得された撮影画像および周辺音が、それぞれ画像入力部１１１および音入力部１１２に対して適宜入力され、蓄積される（ＳＴ１０１）。そこで、画像特徴抽出部１１３が、蓄積された撮影画像から画像特徴を抽出する一方、音特徴抽出部１１４が、蓄積された周辺音から音特徴を抽出する（ＳＴ１０２）。続いて、気象状況判定部１１５が、抽出された画像特徴および音特徴に基づき、撮影画像の撮影時における気象状況を判定する（ＳＴ１０３）。

次に、画像処理装置１０３では、画像選択部１１７の動作モードとして監視モードが選択されている場合（ＳＴ１０４：Ｙｅｓ）、画像鮮明化部１１６は、ステップＳＴ１０３において特定の気象状況（ここでは、降雪、降雨、降雹、及び雷のいずれか）が判定されたか否かを判定する（ＳＴ１０５）。そこで、特定の気象状況が判定された場合（ＳＴ１０５：Ｙｅｓ）、画像鮮明化部１１６は、画像鮮明化処理を実行し（ＳＴ１０６）、続いて、画像選択部１１７は、その画像鮮明化処理により得られたノイズ除去画像（動画または静止画）を表示部１０８に表示する（ＳＴ１０７）。これにより、画像処理装置１０３のオペレータは、被写体の監視を容易に行うことができる。ステップＳＴ１０５において、特定の気象状況が判定されていない場合（Ｎｏ）は、入力画像が表示部１０８に表示される（ＳＴ１０９）。なお、画像処理装置１０３にはスピーカが設けられており、ステップＳＴ１０７では、ノイズ除去画像の表示と共に、当該ノイズ除去画像に対応する周辺音（例えば、雨音）をスピーカから出力することが可能である。

一方、ステップＳＴ１０４において、監視モードが選択されていない（通常モードが選択されている）場合（ＳＴ１０４：Ｎｏ）、画像鮮明化部１１６は、特定の気象状況（ここでは、降雪、降雨、降雹、及び雷のいずれか）が判定されたか否かを判定する（ＳＴ１０８）。そこで、特定の気象状況が判定された場合（ＳＴ１０８：Ｙｅｓ）、画像選択部１１７は、ノイズ除去されていない入力画像（動画または静止画）を表示部１０８に表示する（ＳＴ１０９）。これにより、画像処理装置１０３のオペレータは、天候の確認を容易に行うことができる。なお、ＳＴ１０９において、入力画像の代わりに、画像鮮明化部１１６において画像処理された撮影画像（特定の気象状況以外の気象状況（例えば、晴天）においてノイズ除去された画像）を表示してもよい。

また、ステップＳＴ１０８において、特定の気象状況が判定されていない場合（Ｎｏ）、画像選択部１１７は、表示部１０８をＯＦＦ状態とする、或いはＯＦＦ状態を維持する（ＳＴ１１０）。これにより、オペレータは、通常モードでは、表示部１０８がＯＮ状態にある場合のみ、特定の気象状況が発生したこと（例えば、晴天の後に雨が降り出すなどの天候の変化）を認識することができる。なお、ステップＳＴ１１０では、表示部１０８をＯＦＦ状態とする（或いはＯＦＦ状態を維持する）代わりに、予め準備された画像（例えば、コマーシャル映像、テレビ番組映像など）を表示することもできる。監視システム１０１では、上述のステップＳＴ１０１〜ＳＴ１１０を繰り返し実行することができる。

このように、監視システム１０１によれば、屋外での撮影において、撮影画像および撮影時の周辺音に基づき簡易な構成により気象状況を判定することができ、また、その判定された気象状況に応じた画像処理によってノイズを適切に除去した画像を取得することが可能となる。

以上に説明した第２実施形態の開示内容は、前述の第１実施形態及び後述の第４実施形態においても適用可能である。特に、第２実施形態での気象状況の判定を、第１実施形態に開示する車載カメラを用いて、第２実施形態での気象状況の判定を行う場合、降雨、降雪時においては、ワイパーが動作していることもあり得る。その場合には、第２実施形態での降雨、降雪のノイズ除去に加えて、第１実施形態でのワイパーの除去も行えば、より適切にノイズを除去した画像を取得することが可能となる。

また、第２実施形態での気象状況の判定をより確実なものとするために、実施形態１でのワイパーの動作状況を、気象状況の判定条件の一つとして、外乱検出条件として加えてもよい。ワイパーが動作しているということは、気象状況が激しい降雨又は降雪の状態にあることが多い、ということを意味し、降雨又は降雪のノイズ除去は必要とされることが多い。逆に、気象状況が降雨又は降雪の状態にあってもワイパーの動作が無い場合は、降雨又は降雪がそれほどひどくないことが多いため、降雨又は降雪のノイズ除去を行わなくてもよい。

すなわち、画像処理装置１０３では、画像選択部１１７の動作モードとして監視モードが選択されている場合（ＳＴ１０４：Ｙｅｓ）、画像鮮明化部１１６は、ステップＳＴ１０３において特定の外乱状況（ここでは、降雪、降雨、降雹、及び雷のいずれかに加えて、動作するワイパー）が検出されたか否かを判定する（ＳＴ１０５）。そこで、特定の外乱が検出された場合（ＳＴ１０５：Ｙｅｓ）、画像鮮明化部１１６は、画像鮮明化処理を実行し（ＳＴ１０６）、続いて、画像選択部１１７は、その画像鮮明化処理により得られたノイズ除去画像（動画または静止画）、すなわちワイパーを除去した画像を表示部１０８に表示する（ＳＴ１０７）。これにより、画像処理装置１０３のオペレータは、被写体の監視を容易に行うことができる。ステップＳＴ１０５において、特定の外乱が検出されていない場合（Ｎｏ）は、入力画像が表示部１０８に表示される（ＳＴ１０９）。なお、画像処理装置１０３にはスピーカが設けられており、ステップＳＴ１０７では、ノイズ除去画像、すなわちワイパーを除去した画像の表示と共に、当該ノイズ除去画像に対応する周辺音（例えば、雨音やワイパーが車の窓を擦る音）をスピーカから出力することが可能である。

一方、ステップＳＴ１０４において、監視モードが選択されていない（通常モードが選択されている）場合（ＳＴ１０４：Ｎｏ）、画像鮮明化部１１６は、特定の外乱（ここでは、降雪、降雨、降雹、及び雷のいずれかに加えてワイパーの動作）が検出されたか否かを判定する（ＳＴ１０８）。そこで、特定の外乱が検出された場合（ＳＴ１０８：Ｙｅｓ）、画像選択部１１７は、ノイズ除去されていない入力画像（動画または静止画）、すなわちワイパーが除去されていない画像を表示部１０８に表示する（ＳＴ１０９）。これにより、画像処理装置１０３のオペレータは、天候の確認を容易に行うことができる。

さらには、第２実施形態での気象状況の判定を行う場合、強風雨、暴風雨、強風雪または暴風雪時においては、暴風又は強風により画揺れが発生していることもあり得る。その場合には、第２実施形態での降雨、降雪のノイズ除去に加えて、第４実施形態での画揺れ補正も行えば、より適切にノイズを除去した画像を取得することが可能となる。

すなわち、画像処理装置１０３では、画像選択部１１７の動作モードとして監視モードが選択されている場合（ＳＴ１０４：Ｙｅｓ）、画像鮮明化部１１６は、ステップＳＴ１０３において特定の外乱（ここでは、降雪、降雨、降雹、及び雷のいずれかに加えて暴風又は強風）が検出されたか否かを判定する（ＳＴ１０５）。そこで、特定の外乱が検出された場合（ＳＴ１０５：Ｙｅｓ）、画像鮮明化部１１６は、画像鮮明化処理を実行し（ＳＴ１０６）、続いて、画像選択部１１７は、その画像鮮明化処理により得られたノイズ除去画像（動画または静止画）、すなわち画揺れ補正を行った画像を表示部１０８に表示する（ＳＴ１０７）。これにより、画像処理装置１０３のオペレータは、被写体の監視を容易に行うことができる。ステップＳＴ１０５において、特定の外乱が判定されていない場合（Ｎｏ）は、入力画像が表示部１０８に表示される（ＳＴ１０９）。なお、画像処理装置１０３にはスピーカが設けられており、ステップＳＴ１０７では、ノイズ除去画像、すなわち画揺れ補正を行った画像の表示と共に、当該ノイズ除去画像に対応する周辺音（例えば、雨音）をスピーカから出力することが可能である。

一方、ステップＳＴ１０４において、監視モードが選択されていない（通常モードが選択されている）場合（ＳＴ１０４：Ｎｏ）、画像鮮明化部１１６は、特定の外乱（ここでは、降雪、降雨、降雹、及び雷のいずれかに加えて暴風又は強風）が検出されたか否かを判定する（ＳＴ１０８）。そこで、特定の外乱が検出された場合（ＳＴ１０８：Ｙｅｓ）、画像選択部１１７は、ノイズ除去されていない入力画像（動画または静止画）、すなわち画揺れ補正を行っていない画像を表示部１０８に表示する（ＳＴ１０９）。これにより、画像処理装置１０３のオペレータは、天候の確認を容易に行うことができる。なお、ＳＴ１０９において、入力画像の代わりに、画像鮮明化部１１６において画像処理された撮影画像（特定の気象状況以外の気象状況（例えば、晴天）においてノイズ除去された画像）を表示してもよい。

さらには、監視モードにおいては、天候状況の判定によるノイズ除去に加えて、上記に説明したワイパーの除去および画揺れ補正を適宜行い、通常モードにおいては、天候状況の判定によるノイズ除去、ワイパーの除去および画揺れ補正のいずれも行わないようにしてもよい。

（第３実施形態）
図１４は、本開示の第３実施形態に係る監視システム１０１の概略を示す構成図である。第３実施形態に係る監視システム１０１に関し、以下で特に言及しない事項については、第２実施形態の場合と同様として詳細な説明を省略する。図１４では、上述の第２実施形態に係る構成要素と同様の構成要素については同一の符号が付されている（後述の図１５についても同様）。

図１４に示すように、第３実施形態に係る監視システム１０１は、屋外（住宅の玄関周辺）に設置されたインターフォン子機（撮影装置）１３１と、住宅の室内に設置されたインターフォン親機１３２とを備えている。また、監視システム１０１では、インターフォン子機１３１およびインターフォン親機１３２は互いに通信可能に（ここでは、公知の無線通信）接続され、また、インターフォン親機１３２は、ネットワーク１０４を介して、携帯端末１３３と互いに通信可能に接続されている。

インターフォン子機１３１は、屋外の被写体を撮影するカメラ（撮影装置）１４１と、撮影時に周辺音（ここでは、特に降雨、降雹、雷鳴等の気象状況に関する音）を取得するマイク（音声入力装置）１４２とを有している。また、インターフォン親機１３２は、カメラ１４１によって撮影された撮影画像を表示する親機モニタ（表示部）１５１と、マイク１４２によって取得された周辺音を出力するスピーカ１５２と、気象状況に関する情報（例えば、カメラ１４１によって撮影された撮影画像、マイク１４２によって取得された周辺音、気象状況に関するメッセージなど）の出力先を選択する操作をユーザが行うための表示選択ボタン１５３とを有している。なお、ここでは、インターフォン子機１３１およびインターフォン親機１３２について、主として第３実施形態と関連性の高い構成要素について説明するが、それらには、公知のインターフォン機能を果たすための他の構成要素を設けることができる。

インターフォン親機１３２において、監視システム１０１のユーザは、表示選択ボタン１５３の操作により、インターフォン親機１３２の動作モードとして、外出モードおよび通常モード（非外出モード）のいずれか選択することができる。通常モードが選択された場合には、気象状況に関する情報の出力先がインターフォン親機１３２（親機モニタ１５１）に設定される。一方、外出モードが選択された場合には、気象状況に関する情報の出力先が携帯端末１３３（携帯端末モニタ１５５）に設定される。ただし、監視システム１０１では、カメラ１４１によって撮影された気象状況に関する情報の出力先をインターフォン親機１３２および携帯端末１３３の両方とする更なる動作モードを有する構成も可能である。

携帯端末１３３は、インターフォン親機１３２のユーザ（住人等）が携帯する携帯型情報機器である。ここでは、携帯端末１３３は、タッチパネルからなる携帯端末モニタ１５５を備えた携帯電話機（スマートフォン）から構成され、また、少なくともインターフォン親機１３２と通信可能な公知のネットワーク通信機能を有する。ただし、携帯端末１３３としては、携帯電話機に限らず、同様の機能を有するタブレットやノートパソコン等の他の情報機器を利用することもできる。また、携帯端末１３３には、インターフォン親機１３２との間で画像や音を送受信可能とする専用のアプリケーションプログラムがインストールされている。

図１５は、図１４中のインターフォン親機１３２の機能ブロック図である。図１５に示すように、第３実施形態に係るインターフォン親機１３２は、図１１に示した第２実施形態に係る画像処理装置１０３と同様の機能を有する画像入力部１１１、音入力部１１２、画像特徴抽出部１１３、音特徴抽出部１１４、及び気象状況判定部１１５を備えている。

インターフォン親機１３２において、表示選択部１６１には、画像入力部１１１からの撮影画像（以下、「入力画像」という。）と、気象状況判定部１１５からの気象状況の判定結果とが入力される。表示選択部１６１は、気象状況に関する情報の出力先について、表示選択ボタン１５３の操作によって予め設定された動作モードに基づき、撮影画像の出力先（ここでは、インターフォン親機１３２の親機モニタ１５１または携帯端末１３３の携帯端末モニタ１５５の一方または両方）を選択する。また、表示選択部１６１は、気象状況判定部１１５からの気象状況の判定結果に基づき、親機モニタ１５１のＯＮ状態／ＯＦＦ状態の切り替えや、画像表示内容の変更などを行うことが可能である。また、気象状況判定部１１５は、気象状況の判定結果に基づき、予め準備された気象状況に関するメッセージを選択し、気象状況の判定結果の一部として表示選択部１６１に入力する。

なお、第３実施形態に係るインターフォン親機１３２において、図１１に示した第２実施形態の場合と同様の構成要素（画像鮮明化部１１６、画像選択部１１７など）を設けるにより、親機モニタ１５１または携帯端末モニタ１５５にノイズ除去画像を表示させる構成も可能である。

図１６は、第３実施形態に係る監視システムによる処理の流れを示すフロー図であり、図１７は、図１６中のステップＳＴ２０８における画像表示の一例を示す説明図である。

第３実施形態に係る監視システム１０１では、図１３に示した第２実施形態におけるステップＳＴ１０１〜ＳＴ１０３、及びＳＴ１０５とそれぞれ同様のステップＳＴ２０１〜ＳＴ２０４が実行される。

ステップＳＴ２０５において、インターフォン親機１３２の動作モードとして外出モードが選択されている場合（Ｙｅｓ）、表示選択部１６１は、気象状況に関する情報が存在する旨を携帯端末１３３に通知する（ＳＴ２０６）。そこで、携帯端末１３３のユーザが、気象状況に関する情報の取得操作を実行すると、携帯端末モニタ１５５に気象状況に関する情報が表示される（ＳＴ２０７）。ステップＳＴ２０７では、気象状況に関する情報として、携帯端末モニタ１５５には、カメラ１４１によって撮影された撮影画像（動画または静止画）および気象状況に関するメッセージの少なくとも一方が表示される。この場合、気象状況に関するメッセージのみを表示することで、データ量を低減し、表示にかかる時間を低減することができる。また、このとき、マイク１４２によって取得された周辺音を携帯端末１３３のスピーカから出力することもできる。なお、携帯端末１３３のユーザの操作に拘わらず、気象状況に関する情報が携帯端末モニタ１５５にポップアップされる構成としてもよい。

また、ステップＳＴ２０４において、特定の気象状況が判定されていない場合（Ｎｏ）、画像選択部１１７は、親機モニタ１５１をＯＦＦ状態とする、或いはＯＦＦ状態を維持する（ＳＴ２０９）。これにより、ユーザは、親機モニタ１５１がＯＮ状態にある場合のみ、特定の気象状況が発生したこと（晴天の後に雨が降り出すなどの天候の変化）を認識することができる。

また、ステップＳＴ２０５において、インターフォン親機１３２の動作モードとして外出モードが選択されていない場合（Ｎｏ）、表示選択部１６１は、気象状況に関する情報を親機モニタ１５１に表示する（ＳＴ２０８）。ステップＳＴ２０８では、例えば、図１７に示すように、親機モニタ１５１の画面には、カメラ１４１によって撮影された撮影画像を表示する画像表示フィールド１７１と、気象状況に関するメッセージが表示されるメッセージ表示フィールド１７２とが設定される。監視システム１０１では、上述のステップＳＴ２０１〜ＳＴ２０９を繰り返し実行することができる。

以上に説明した第３実施形態の開示内容に加えて、前述の第２実施形態ならびに後述の第４実施形態の開示内容も適用可能である。特に、第３実施形態のステップＳＴ２０５における外出モード時に、前述の第２実施形態の監視モードと通常モードの切り替えを行ってもよい。

通常モードの場合、表示選択部１６１は、上記の第３実施形態におけるＳＴ２０６と同様に、気象状況に関する情報が存在する旨を、携帯端末１３３に通知する。そこで、携帯端末１３３のユーザが、気象状況に関する情報の取得操作を実行すると、携帯端末モニタ１５５には、ＳＴ２０７と同様に、気象状況に関する情報が表示される。

監視モードの場合、表示選択部１６１は、ＳＴ２０６における気象状況に関する情報が存在する旨の代わりに、インターフォン子機１３１のカメラ（撮影装置）１４１が撮影する屋外の被写体又は映像と、撮影時にマイク（音声入力装置）１４２が取得する周辺音（ここでは、特に降雨、降雹、雷鳴等の気象状況に関する音）を、携帯端末１３３に通知する（ＳＴ２０６）。そこで、携帯端末１３３のユーザが、インターフォン子機１３１のカメラ１４１が撮影する屋外の被写体又は映像と、マイク（音声入力装置）１４２が取得する周辺音の取得操作を実行すると、携帯端末モニタ１５５には、ＳＴ２０７における気象状況に関する情報の代わりに、インターフォン子機１３１のカメラ１４１が撮影する屋外の被写体又は映像が表示され、携帯端末が備えるスピーカ又はイヤフォンジャックからは、マイク（音声入力装置）１４２が取得する周辺音が出力される。

さらには、上記監視モードの場合、強風雨、暴風雨、強風雪または暴風雪時においては、暴風又は強風により画揺れが発生していることもあり得る。その場合には、第２実施形態での降雨、降雪のノイズ除去や、後述の第４実施形態での画揺れ補正も行えば、より適切にノイズを除去した画像を取得し、携帯端末モニタ１５５に表示することが可能となる。そして、通常モードにおいては、天候状況の判定によるノイズ除去、ワイパーの除去および画揺れ補正のいずれも行わないようにしてもよい。

（第４実施形態）
図１８Ａ及び図１８Ｂは、本開示の第４実施形態が適用されたビデオカメラ２０１による撮影例を示す模式図である。図１８Ａは、本開示の第４実施形態で、撮影者（図示省略）が手持ちしたビデオカメラ２０１で前を行く撮影対象の被写体Ｍを撮影する場面を示す。なお、ビデオカメラ２０１は、デジタルビデオカメラであり、また手持ちに限られず、頭部（ヘルメット等）に装着して使用されるものであってもよい。図１８Ｂは、本開示の第４実施形態で、ビデオカメラ２０１で撮影された画像を、ビデオカメラ２０１を直接的にモニタ２０２に接続してモニタ２０２の画面２０２ａに映像として映し出す場合、または、ビデオカメラ２０１に装着されている記憶媒体（メモリカード等）２０３の画像データを、パーソナルコンピュータＰＣにより読み出しかつ画像処理して、パーソナルコンピュータＰＣに接続されたモニタ２０２に出力する場合（図の破線の流れ）を示す。いずれの場合も、画面２０２ａに映し出す画像処理は、公知の画像処理であってよく、その説明は省略する。

図１９Ａ〜図１９Ｃは、本開示に基づく画像処理によりモニタ２０２の画面２０２ａに映し出される映像の連続的変化を示す模式図である。なお、本実施形態における画揺れ補正は、公知の電子式により連続する画像の各フレームを用いて処理するものであってよい。また、説明上、画面２０２ａの表示領域とビデオカメラ２０１による画像２０４ａ（２０４ｂ・２０４ｃ・２０４ｄ）の領域とが同一面積の場合として図示するが、同一に限定されるものではなく、ドット数の多い高解像度の画面２０２ａの場合にはその一部に映し出される。

図１９Ａの実線で囲まれた部分が画面２０２ａの表示範囲である。画面２０２ａには、前のフレーム処理では第１の画像２０４ａが全体に表示されていたものとする。それに対して二点鎖線で囲まれた画面２０２ａと同一面積の部分は、現在のフレーム処理において入力された第２の画像２０４ｂである。上記したように画揺れ補正により、第１の画像２０４ａに対して第２の画像２０４ｂにおける被写体Ｍにずれが生じ、図１９Ａでは、第１の画像２０４ａに対して図において矢印Ｓ１で示される左側に第２の画像２０４ｂが平行移動した場合の例が示されている。この例では、第２の画像２０４ｂの画面２０２ａ内に映し出される領域が補正画像としての第２の補正画像２０５ｂとなる。

次のフレーム処理による図１９Ｂには、破線で示される第２の画像２０４ｂに対して、二点鎖線で示される第３の画像２０４ｃが図において矢印Ｓ２で示されるように上記と同じく左側にさらに移動した場合の例が示されている。このように画像シフトした第３の画像２０４ｃの画面２０２ａ内に映し出される領域が第３の補正画像２０５ｃとなる。さらに次のフレーム処理による図１９Ｃには、破線で示される第３の画像２０４ｃに対して、二点鎖線で示される第４の画像２０４ｄが図において矢印Ｓ３で示されるように右回転した場合の例が示されており、このように画像シフトした第４の画像２０４ｄの画面２０２ａ内に映し出される領域が第４の補正画像２０５ｄとなる。

画揺れ補正のフレーム処理により、各画像２０４ａ〜２０４ｄが順に上述したように画像シフトして映し出されることにより、画面２０２ａには、最初の補正画像に相当する第１の画像２０４ａから、第２〜第４の補正画像２０５ｂ〜２０５ｄが表示される領域と、それぞれにおいて各補正画像２０５ｂ〜２０５ｄ以外の各補正画像外領域２０６ａ〜２０６ｃが生じる。

図１９Ａにおける画面２０２ａには、現在のフレームの補正画像となる第２の補正画像２０５ｂ以外の領域となる図における右側に新たな補正画像外領域２０６ａが生じる（ドットの網掛け部分）。次のフレーム処理による図１９Ｂにおける画面２０２ａでは、現在のフレームの補正画像となる第３の補正画像２０５ｃの図における右側に、かつ前のフレームの補正画像外領域２０６ａ（ハッチング部分）とは異なる補正画像外領域２０６ｂが生じる（ドットの網掛け部分）。その次のフレーム処理による図１９Ｃでは、現在のフレームの補正画像となる第４の補正画像２０５ｄの回転により、前のフレームとなる補正画像外領域２０６ｂ（ハッチング部分）及びそれより前のフレームとなる補正画像外領域２０６ａ（クロスハッチング部分）とは異なる領域に新たな補正画像外領域２０６ｃが生じる（ドットの網掛け部分）。なお、以下の説明において、各補正画像外領域２０６ａ〜２０６ｃにグラデーションを付けた領域外画像を説明する場合に、同一部分を指すため同一の符号を付して説明する。

次に、上述した画像処理のための制御要領について説明する。この画像処理は、例えばコンピュータプログラムにより実現されるが、コンピュータプログラムに限定されるものではない。また、画揺れ補正に関する部分については、公知の種々の電子式画揺れ補正方式における一例（例えばマッチング法）であり、後記する説明に限定されるものではない。

図２０は、本開示に基づく画像処理装置２０８の第１実施例を示すブロック図である。図に示されるように、画像処理装置２０８は、ビデオカメラ２０１で撮像された画像（２０４ａ〜２０４ｄ）が入力する画像位置合わせ部２１１と、同じく画像（２０４ａ〜２０４ｄ）が入力すると共に後記する揺れ補正量計算部２１４からの揺れ補正量が入力する揺れ画像補正部２１２と、入力した画像（２０４ａ〜２０４ｄ）の所定のフレーム数分を時系列に保存する入力画像バッファ２１３と、画像位置合わせ部２１１で求められた画像位置合わせ情報（フレーム画像間の動き）が入力する揺れ補正量計算部２１４と、揺れ補正量計算部２１４で計算された揺れ補正量を保存する補正量バッファ２１５と、を有する。これらにより画揺れ補正機構が構成される。

また、画像処理装置２０８には、ビデオカメラ２０１で撮像された画像（２０４ａ〜２０４ｄ）が入力する画素平均値計算部２２０と、揺れ補正量計算部２１４において画像位置合わせ情報及び前のフレームの揺れ補正量に基づいて計算された現在のフレームの揺れ補正量が入力する境界判定部（境界判定手段）２１６と、境界判定部２１６において現在のフレームの揺れ補正量に基づいて補正画像以外に新たに生じた補正画像外領域の情報及び画素平均値計算部２２０で計算された画像（２０４ａ〜２０４ｄ）の全体または一部領域の各画素の濃度平均値が入力する領域外画像濃度変換部（グラデーション設定手段）２１７と、領域外画像濃度変換部２１７で補正画像外領域にグラデーションが付けられた領域外画像を保存する領域外画像バッファ（画像保存手段）２１８と、領域外画像バッファ２１８からの領域外画像及び揺れ画像補正部２１２からの補正画像に基づいて画面２０２ａの全体に映し出す合成画像を生成する画像合成部（画像生成手段）２１９と、が設けられている。画像位置合わせ部２１１、揺れ画像補正部２１２、入力画像バッファ２１３、揺れ補正量計算部２１４、補正量バッファ２１５、境界判定部２１６および領域外画像バッファ２１８は、補正外領域の設定手段およびその保存手段からなる画像特徴抽出部の一例である。また、画素平均値計算部２２０、領域外画像濃度変換部２１７および画像合成部２１９は、外乱抑制部の一例である。

次に、画像処理装置２０８の第１実施例による制御要領について図２１のフロー図を参照して説明する。なお、入力画像バッファ２１３には前のフレームの画像である第１の画像２０４ａが保存されており、第２の画像２０４ｂが入力されたフレーム処理からの説明とする。

ステップＳＴ３０１では、ビデオカメラ２０１から直接またはパーソナルコンピュータＰＣに装着された記憶媒体２０３から入力された第２の画像２０４ｂを、画像位置合わせ部２１１・揺れ画像補正部２１２・入力画像バッファ２１３・画素平均値計算部２２０にそれぞれ読み込む。入力画像バッファ２１３では第２の画像２０４ｂを保存する。ステップＳＴ３０２では、入力画像バッファ２１３から第１の画像２０４ａを画像位置合わせ部２１１に読み込む。

ステップＳＴ３０３では、画像位置合わせ部２１１において、位置合わせ処理した際の画像位置合わせ情報（平行移動量や回転角度）として例えば被写体Ｍを含む分割ブロックのローカル動きベクトルを求め、両画像２０４ａ・２０４ｂの位置合わせを行う（図１９Ａ参照）。このローカル動きベクトルは、次のステップＳＴ３０４〜ＳＴ３０７における揺れ補正量ΔＷの計算に用いられる。

ステップＳＴ３０４では、補正量バッファ２１５から前のフレームの揺れ補正量ΔＷ（ｎ−１）を揺れ補正量計算部２１４に読み込み、ステップＳＴ３０５では、揺れ補正量計算部２１４で前のフレームの揺れ補正量ΔＷ（ｎ−１）に画像位置合わせ部２１１からの位置合わせ情報を積算して現在のフレームの揺れ補正量ΔＷ（ｎ）を計算し、ステップＳＴ３０６では、現在のフレームの揺れ補正量ΔＷ（ｎ）を補正量バッファ２１５に保存する。

ステップＳＴ３０７では、現在のフレームの揺れ補正量ΔＷ（ｎ）に基づき、揺れ画像補正部２１２により揺れ補正した画像の切り出しを行う。この切り出し結果が第２の補正画像２０５ｂとなる。ステップＳＴ３０８では、境界判定部２１６において現在のフレームの揺れ補正量ΔＷ（ｎ）に基づいて第２の補正画像２０５ｂにより画面２０２ａに生じる境界（２０７ａ）の位置を決定する。例えば、図１９Ａに示されるように、画面２０２ａの全範囲に映し出された第１の画像２０４ａに対して、第２の画像２０４ｂが図の矢印Ｓ１に示されるように平行移動した場合に、揺れ補正量ΔＷ（ｎ）は平行移動量に対応し、第１の画像２０４ａの縁（図示例では右縁）を揺れ補正量ΔＷ（ｎ）だけ平行移動させることにより境界２０７ａの位置（座標）を決定することができる。なお、図１９Ｂに対応するフレーム処理では境界２０７ｂが、図１９Ｃに対応するフレーム処理では境界２０７ｃがそれぞれ同様にして決定される。

ステップＳＴ３０９では、領域外画像濃度変換部２１７に領域外画像バッファ２１８から前のフレームの領域外画像を読み出す。なお、図１９Ａの例では、第１の画像２０４ａが前のフレームの補正画像であり、それに対して画像シフトされた第２の補正画像２０５ｂが映し出されることにより、画面２０２ａに第２の補正画像２０５ｂ以外に新たに生じた第１の補正画像外領域２０６ａが領域外画像となる。図１９Ａの例では前のフレームの領域外画像は保存されていないため、第１の補正画像外領域２０６ａの各画素に対しては例えば空値が設定される。

次のステップＳＴ３１０では、領域外画像のグラデーションの初期値を変更するか否かを判別する。グラデーションについては、濃度を代表して以下の説明に用いるが、ぼかしを含む濃淡の段階的変化を言うものとする。

ステップＳＴ３１０において、現在のフレーム画像の全体または一部の領域（例えば図１９Ａの境界２０７ａに使い領域）の濃度平均値を用いてグラデーションの初期値を変更すると判定した場合にはステップＳＴ３１１に進む。なお、初期値を変更しないと判定された場合（予め決定された定数値を用いる場合）にはステップＳＴ３１２に進む。

ステップＳＴ３１１では、画素平均値計算部２２０で画面２０２ａに映し出される第２の補正画像２０５ｂの入力画像である第２の画像２０４ｂの濃度平均値を算出する。濃度平均値の算出は、公知の種々のフィルタ処理（例えば平滑化）によるものであってよい。また、カラー画像における画素の濃度平均値には、各画素の濃度の平均値を求めるとよいが、赤・青・緑の各色チャンネル別に平均値をそれぞれ算出してから画素の平均値を求めてもよい。

次に、図２２Ａ，Ｂを参照して領域外画像濃度変換部２１７によるステップＳＴ３１２における補正画像外領域の濃度の設定要領について説明する。図２２Ａは図１９Ａに対応する要部拡大模式図であり、図２２Ｂは図１９Ｂに対応する要部拡大模式図である。図における四角の枠内は画素（Ｐ１・Ｐ２）に対応する。

図２２Ａにおける補正画像外領域２０６ａは第２の画像２０４ｂの入力時の処理により新たに生じることから、その新たに生じた補正画像外領域２０６ａの画素Ｐ１の濃度設定値Ｃｉには初期値Ｃ１が設定される（Ｃｉ＝Ｃ１）。

第２の画像２０４ｂが入力した場合の図２２Ｂにおける補正画像外領域２０６ｂも、第３の画像２０４ｃの入力時の画揺れ補正処理により新たに生じることから、その画素Ｐ２の濃度設定値Ｃｉには同じく初期値Ｃ１が設定される。そして、図２２Ｂにおける補正画像外領域２０６ａは前のフレーム処理のものであり、図２２Ｂにおける現在のフレーム処理により新たに生じた補正画像外領域２０６ｂに対して過去に生成されたものであり、また第３の補正画像２０５ｃに対して新たに生じた補正画像外領域２０６ｂよりも相対的に遠くに位置するようになる。

このように、過去に生成された補正画像外領域２０６ａの画素Ｐ１に対する濃度設定値Ｃ（ｎ）の設定もステップＳＴ３１２で行われ、その設定要領についても、図２２Ｂを例として説明する。

図２２Ｂでは、第３の補正画像２０５ｃが画面２０２ａに映し出されることにより、画面２０２ａに前のフレームの補正画像外領域２０６ａとは異なる領域となる補正画像外領域２０６ｂが新たに生じた場合である。新たに生じた補正画像外領域２０６ｂの画素Ｐ２の濃度設定値Ｃ（１）は上述したように初期値Ｃ１である（Ｃ（１）＝Ｃ１）。そして、前のフレームの補正画像外領域２０６ａの画素Ｐ１の濃度設定値をＣ（ｎ）とし（ｎ＝２，３，．．．．．．）、領域外画像の濃度の目標値をＣｏとし、濃度の変化率を係数Ｋ（０＜Ｋ＜１）とした場合に、濃度設定値Ｃ（ｎ）は、
Ｃ（ｎ）＝（Ｃ（ｎ−１）−Ｃｏ）＊Ｋ＋Ｃｏ （式１）
により求められるとよい。

目標値Ｃｏは、昼間の撮影に対応した値（明側の濃度）と、夜間の撮影に対応した値（暗側の濃度）とを適宜選択して設定するとよい。その選択方法としては、入力画像の全体または一部の領域に対して濃度の平均値を求め、その濃度平均値との差が大きい（数値化した濃度の差が大きい）方を選択する方法であってよい。

補正画像外領域２０６ａの画素Ｐ１では、１回目のフレーム処理に対応する図２２Ａにおける濃度設定値（Ｃ（１））は上記したように初期値Ｃ１であるが、２回目のフレーム処理に対応する図２２Ｂにおける濃度設定値Ｃ（２）は、上記式１から、
Ｃ（２）＝（Ｃ（１）−Ｃｏ）＊Ｋ＋Ｃｏ （式２）
となる。例えば目標値Ｃｏを暗側の濃度（０に近い値）とすることにより、Ｃ１＞Ｃｏとなり、Ｃ（２）には係数Ｋが含まれることから、Ｃ（２）＜Ｃ（１）＝Ｃ１となる。

また、図１９Ｃの場合には、第４の画像２０４ｄが回転し、前のフレームの補正画像外領域２０６ｂ及びそれより前のフレームの補正画像外領域２０６ａの一部が第４の補正画像２０５ｄにより所謂上書きされる。そして、画面２０２ａに新たに補正画像外領域２０６ｃが生じる。新たに生じた補正画像外領域２０６ｃの画素の濃度設定値には初期値Ｃ１が設定され、前のフレームの補正画像外領域２０６ｂ及びそれより前のフレームの補正画像外領域２０６ａの上書きされずに残った部分の画素の濃度設定値には上記式１による処理が施される。この場合には、それより前のフレームの補正画像外領域２０６ａの対応する濃度設定値Ｃ（３）は、
Ｃ（３）＝（Ｃ（２）−Ｃｏ）＊Ｋ＋Ｃｏ＜Ｃ（２）
となる。なお、前のフレームの補正画像外領域２０６ｂの対応する濃度設定値Ｃ（２）は上記式２により求められる値となる。このように、現在のフレームの濃度設定値Ｃ（ｎ）は、前のフレームの濃度設定値Ｃ（ｎ−１）より小さくなり（Ｃ（ｎ）＜Ｃ（ｎ−１））、処理を繰り返すことにより目標値Ｃｏに近付くことになる。

また、ステップＳＴ３１０においてグラデーション初期値を変更すると判定し、ステップＳＴ３１２で補正画像外領域の濃度を設定する場合には、図１９Ａにおいて新たに生じた第１の補正画像外領域２０６ａの画素の濃度は、ステップＳＴ３１１で算出された上記濃度平均値による濃度である。画面２０２ａの全体において、第２の補正画像２０５ｂと略等しい第２の画像２０４ｂの濃度平均値からなる濃度が第１の補正画像外領域２０６ａの画素に設定されることから、境界２０７ａが目立たなくなる。

次のステップＳＴ３１３では、濃度設定値Ｃ（ｎ）が設定された領域外画像を領域外画像バッファ２１８に保存する。ステップＳＴ３１４では、画像合成部２１９で、揺れ画像補正部２１２からの補正画像と、領域外画像濃度変換部２１７から濃度設定された領域外画像とを読み込み、それらを合成した出力画像（合成画像）を生成する。図１９Ａの場合には、領域外画像バッファ２１８に保存されている領域外画像（２０６ａ）と、第２の補正画像２０５ｂとを図に示されるように合成することができる。次のステップＳＴ３１５では、画像合成部２１９から出力された合成画像（２０５ｂ・２０６ａ）をモニタ２０２に出力する。これにより、モニタ２０２の画面２０２ａには図１９Ａに示されるような映像が表示される。

続けて、第３の画像２０４ｃが入力されたらステップＳＴ３０１から上述した処理を実行し、以下、同様に繰り返す。フレーム処理の繰り返しに伴って実行されるステップＳＴ３１２における上述した濃度設定により、各補正画像外領域２０６ａ〜２０６ｃの濃度が、過去に生じたもの程初期値Ｃ１から目標値Ｃｏに近付く。これにより、例えば図１９Ｃにおいて、画面２０２ａにおける領域外画像（２０６ａ〜２０６ｃ）の部分に、第４の補正画像２０５ｄの境界２０７ｃから滑らかに変化するグラデーションが付けられ、領域外画像（２０６ａ〜２０６ｃ）によるちらつき等が低減される。

このようにして、動画を再生する際の連続する補正画像２０５ｂ〜２０５ｄの周囲における異なる動きが目立たないようになり、画面２０２ａにおいて補正画像２０５ｂ〜２０５ｄによる注視対象を見る場合に支障が生じないようになる。また、境界２０７ａ〜２０７ｃが目立たなくなることから、境界２０７ａ〜２０７ｃを従来例のようにマスクで隠す必要がないため、補正画像２０５ｂ〜２０５ｄの表示領域が狭まることがなく、情報量の低減が抑制される。

次に、第２実施例について、図２３のブロック図及び図２４のフロー図を参照して以下に説明する。なお、上記第１実施例と同様の部分については同一の符号を付してその詳しい説明を省略する。

図２３に示されるように、第１実施例に対して、境界判定部２１６が省略され、画素平均値計算部２２０からの濃度平均値及び出力画像バッファ２２２（後記する）からの合成画像が入力する画像濃度変換部（グラデーション設定手段）２２１と、画像合成部２１９から出力される合成画像を保存する出力画像バッファ（画像保存手段）２２２とが設けられている。画像濃度変換部２２１には出力画像バッファ２２２から前のフレームの合成画像が入力する。画像濃度変換部２２１では、前のフレームの合成画像に対して画素平均値計算部２２０からの濃度平均値に基づいて濃度を変換し、その濃度変換された濃度変換画像を画像合成部２１９に出力する点で異なり、他の部分では同様である。画像位置合わせ部２１１、揺れ画像補正部２１２、入力画像バッファ２１３、揺れ補正量計算部２１４および出力画像バッファ２２２は、補正外領域の設定手段およびその保存手段からなる画像特徴抽出部の一例である。また、画素平均値計算部２２０、画像濃度変換部２２１および画像合成部２１９は、外乱抑制部の一例である。

この第２実施例について図２４のフローを参照して説明する。ステップＳＴ３０１〜ＳＴ３０７は第１実施例と同じである。ステップＳＴ３０７の次のステップＳＴ３２１では、出力画像バッファ２２２から前のフレームの合成画像を画像濃度変換部２２１に読み込む。この前のフレームの合成画像は、例えば図１９Ｂのフレーム処理を行う場合には、図１９Ａの第２の補正画像２０５ｂと第１の領域外画像（２０６ａ）とからなる画像になる。なお、前のフレームの合成画像は、後記するステップＳＴ３２４で、前のフレームのフレーム処理時に出力画像バッファ２２２に保存され、図１９Ａの場合には合成されていないが第１の画像２０４ａが相当する。

次のステップＳＴ３２２では、グラデーションの目標値を変更するか否かを判別する。グラデーションの目標値とは、上記目標値Ｃｏに相当する。なお、ステップＳＴ３２２における判別要領は、上記ステップＳＴ３１０と同様であってよい。

グラデーションの目標値を変更する場合に進むステップＳＴ３２３では、上記ステップＳＴ３１１と同じく濃度平均値を算出する。次のステップＳＴ３２４では、画像濃度変換部２２１において前のフレームの合成画像の濃度を変換する。この濃度変換には、前のフレームの合成画像の各画素に対して、上記式１を用いて濃度設定値Ｃ（ｎ）を算出して行うことができる。この場合の初期値Ｃ１は前のフレームの合成画像の各画素の濃度であり、各画素の濃度が式１により変換された結果の濃度変換画像を画像合成部２１９に出力する。

次のステップＳＴ３２５では、画像合成部２１９において、揺れ画像補正部２１２からの補正画像と上記濃度が変換された前のフレームの合成画像とに基づいて現在のフレームの合成画像を生成する。現在のフレームの合成画像は、上記と同様に図１９Ｂのフレーム処理を行う場合には、第３の補正画像２０５ｃと第１及び第２の領域外画像（２０６ａ・２０６ｂ）とからなる。

次のステップＳＴ３２６では、ステップＳＴ３２５で生成された合成画像を出力画像バッファ２２２に保存し、ステップＳＴ３２７では、画像合成部２１９から出力された合成画像をモニタ２０２に出力する。そして、上記実施例と同様に本フローを繰り返す。

例えば、図１９Ｂの例においては、揺れ画像補正部２１２から第３の補正画像２０５ｃが入力し、画像濃度変換部２２１から前のフレームの合成画像（２０５ｂ・２０６ａ）の濃度変換された画像が入力し、それらから現在のフレームの合成画像（２０５ｃ・２０６ａ・２０６ｂ）が生成される。この第２実施例では、各画素を式１により濃度変換しており、上記第１実施例のように各領域外画像（２０６ａ・２０６ｂ）がそれぞれ単一の濃度で塗りつぶされたものではなく、各画像２０４ａ・２０４ｂの対応する部分の形状が映し出される。その際に、第３の補正画像２０５ｃに対して第２の領域外画像（２０６ｂ）の濃度コントラストが例えば低減し、第１の領域外画像（２０６ａ）の濃度コントラストはさらに低減して映し出されることにより、第３の補正画像２０５ｃ以外の領域外画像（２０６ａ・２０６ｂ）の部分の絵柄が薄くなるため、過去の画像２０４ａ・２０４ｂのため映し出される部分に時間遅れが生じるようになっても、画面２０２ａの全体において大きな違和感が生じることはない。また、画面２０２ａの全体に撮影された部分が映し出されるため、画面２０２ａの周囲が枠のようにマスクされて中央部分の小さな領域に映し出される従来例のものにおける画像の狭小化となるイメージが払拭される。

次に、第３実施例について、図２５のブロック図及び図２６のフロー図を参照して以下に説明する。なお、上記第１実施例と同様の部分については同一の符号を付してその詳しい説明を省略する。

図２５に示されるように、第１実施例に対して、境界判定部２１６及び画素平均値計算部２２０が省略され、画像合成部２１９から出力される合成画像を保存する出力画像バッファ（画像保存手段）２２２と、出力画像バッファ２２２から前のフレームの合成画像が入力する画像ぼかし部（グラデーション設定手段）２２３とが設けられていると共に、画像ぼかし部２２３から、ぼかし処理が行われた前のフレームの合成画像を画像合成部２１９に出力する点で異なり、他の部分では同様である。画像位置合わせ部２１１、揺れ画像補正部２１２、入力画像バッファ２１３、揺れ補正量計算部２１４および出力画像バッファ２２２は、補正外領域の設定手段およびその保存手段からなる画像特徴抽出部の一例である。また、画像ぼかし部２２３および画像合成部２１９は、外乱抑制部の一例である。

この第３実施例について図２６のフローを参照して説明する。ステップＳＴ３０１〜ＳＴ３０７は第１実施例と同じであり、ステップＳＴ３３１もステップＳＴ３２１と同じである。ステップＳＴ３３１の次のステップＳＴ３３２では、画像ぼかし部２２３により、出力画像バッファ２２２から読み込んだ前のフレームの画像に対してぼかし処理を行う。ぼかし処理としては、空間フィルタ（例えば空間平滑化フィルタ）による処理であってよい。また、ステップＳＴ３３３〜ＳＴ３３５は、ステップＳＴ３２４〜ＳＴ３２７と同様である。そして、上記実施例と同様に本フローを繰り返す。

このように、前のフレームの画像に対してぼかし処理を施し、そのぼかし画像と、現在のフレームの画像シフトされた補正画像とを合成することにより、例えば図１９Ａでは、第１の領域外画像（２０６ａ）にはぼかし処理された第１の画像２０４ａの対応する部分が該当する。これにより、第１の領域外画像（２０６ａ）には、第１の画像２０４ａにおいて明瞭に映し出された部分が、ピントが合わずにぼけた感じとなり、第２の補正画像２０５ｂに対して遅れた映像となる部分の明瞭さが低下する。

次のフレーム処理における図１９Ｂでは、第１の領域外画像２０６ａに対してさらにぼかし処理が行われる。新規の第２の領域外画像２０６ｂに対するぼかし処理よりも大きくぼかし処理されるため、第２の補正画像２０５ｂに対して領域外となる第１及び第２の領域外画像２０６ａ・２０６ｂにおいて、過去に生成された方（第１の領域外画像２０６ａ）程ぼかしが大きくなるグラデーションが生成される。図１９Ｃにおいても同様となる。このようにして、上記各実施例と同様の効果を奏し得ると共に、画揺れ補正によっても画面２０２ａの全体に多少の揺れが生じた場合でも、画面全体の映像に不自然さが生じないようになり、見易い動画が得られる。

以上に説明した第４実施形態の開示内容は、前述の第１〜第３実施形態においても適用可能である。特に、第１実施形態に開示する車載カメラにおいては、車の振動による画揺れが発生するので、第４実施形態に開示する画揺れ補正を、車載カメラの画像を処理する画像処理装置に適用してもよい。また、第２〜第３実施形態に開示する気象状況の判定においては、風や地震などによりカメラが振動し画揺れが発生するので、第４実施形態に開示する画揺れ補正を、第２〜第３実施形態に開示するカメラの画像を処理する画像処理装置に適用してもよい。

課題を解決するためになされた第１の開示は、時系列の複数の画像に外乱として出現する視野妨害物を除去するための画像処理装置であって、時系列に並ぶ複数の画像を保存する画像保存手段（１０）と、複数の画像に於いて、所定の処理対象画像を基準にして、該処理対象画像に近接する複数の関連画像のそれぞれについての動きベクトルを求める動きベクトル算出手段（１２）と、複数の関連画像を、動きベクトルにより動き補正する画像動き補正手段（１３）と、動き補正された複数の関連画像及び処理対象画像の画素値を平均化処理して、処理対象画像に対応する合成画像を生成する合成画像生成手段（１４）と、を有する構成とする。

これによると、動き補正された関連画像と処理対象画像との画素値を平均化処理（例えばメディアンフィルタを用いた処理）して合成画像を生成することにより、処理対象画像に外乱として出現する視野妨害物の画素が用いられなくなり、合成画像から視野妨害物を消去することができると共に、外乱とはならない他の移動被写体に対しては、関連画像が動き補正されていることより、残像やぶれ、または一部が消失することを抑制し得る。

また、第２の開示は、第１の開示に於いて、処理対象画像から、動きベクトルが閾値以上となる修正領域を検出する修正領域検出手段（１５）と、修正領域に閾値未満となる修正動きベクトルを設定する動きベクトル修正手段（１６）と、を有する構成とする。

これによると、閾値以上となる動きベクトルが算出された修正領域に対して、閾値未満となる動きベクトルを設定することから、画像の動き補正に於いて修正領域の大きな動きベクトルによる画像の乱れが生じることを抑制し得る。

また、第３の開示は、第２の開示に於いて、動きベクトル修正手段は、処理対象画像に対する他の関連画像の修正領域に対応する部分の動きベクトルに基づいて修正動きベクトルを設定する。

これによると、修正領域の動きベクトルが、他の関連画像に於ける動きベクトルにより設定されるため、修正領域を関連画像の動きベクトルに合わせることができ、修正領域に関連画像に於ける対応する画素が読み込まれた場合に、修正領域に時間差が生じることがない画像を生成することができる。

また、第４の開示は、第２の開示に於いて、修正動きベクトルは、処理対象画像に対する他の関連画像の修正領域に対応する部分の動きベクトルのメディアン値である構成とする。

これによると、公知のメディアンフィルタを用いることができ、処理を容易に行うことができる。

また、第５の開示は、第２の開示に於いて、動きベクトル修正手段は、修正領域の周囲の動きベクトルに基づいて修正動きベクトルを設定する。

これによると、修正領域の動きベクトルを、周囲の閾値未満となる動きベクトルに合わせることができ、周囲の動きとの間で違和感のない画像が得られる。

また、第６の開示は、第２の開示に於いて、動きベクトル修正手段は、修正動きベクトルを０に設定する。

これによると、修正領域の動きベクトルの設定を単純化することができ、処理を高速化し得る。

また、第７の開示は、第２乃至第５のいずれかの開示に於いて、複数の画像が、自動車に搭載された車載カメラにより撮影された画像であり、閾値が、ワイパー装置が作動した際のワイパーブレードの動きを検出するように設定されている構成とする。

これによると、ワイパー装置の作動時にワイパーブレードの動きが画像に於ける景色に対してノイズとなるが、その動きを検出して修正領域とすることから、ワイパーブレードが消去された景色からなる合成画像を生成することができる。

また、第８の開示は、時系列の複数の画像に外乱として出現する視野妨害物を除去するための画像処理方法であって、時系列に並ぶ複数の画像を保存する過程と、複数の画像に於いて、所定の処理対象画像を基準にして、該処理対象画像に近接する複数の関連画像のそれぞれについての動きベクトルを求める過程と、複数の関連画像を、動きベクトルにより動き補正する過程と、動き補正された複数の関連画像及び処理対象画像の画素値を平均化処理して、処理対象画像に対応する合成画像を生成する過程と、を有する構成とする。これによると、第１の開示と同様の効果を奏し得る。

また、第９の開示は、撮影中の気象状況に起因するノイズを画像処理によって撮影画像から除去する画像処理装置であって、時間的に連続する複数の撮影画像が入力される画像入力部と、撮影画像の撮影時に取得された周辺音が入力される音入力部と、撮影画像における気象状況に関する画像特徴を抽出する画像特徴抽出部と、周辺音における気象状況に関する音特徴を抽出する音特徴抽出部と、画像特徴および音特徴に基づき、撮影画像の撮影時の気象状況を判定する気象状況判定部と、気象状況判定部によって判定された気象状況に応じた画像処理を実行することにより、撮影画像におけるノイズを除去する画像鮮明化部とを備えたことを特徴とする。

この第９の開示に係る画像処理装置によれば、屋外での撮影において、撮影画像および撮影時の周辺音に基づき簡易な構成により気象状況を判定できると共に、その判定された気象状況に応じた画像処理によってノイズを適切に除去した画像を取得することが可能となる。

また、第１０の開示では、上記第９の開示において、音特徴抽出部は、周辺音における音の強さおよび周波数の少なくとも一方を音特徴として抽出することを特徴とする。

この第１０の開示に係る画像処理装置によれば、周辺音における音の強さおよび周波数の少なくとも一方に基づき、簡易かつ高精度に気象状況を判定することができる。

また、第１１の開示では、上記第１０の開示において、気象状況判定部は、音特徴抽出部において降雨の音特徴が抽出された場合、画像特徴に拘わらず、気象状況を降雨と判定することを特徴とする。

この第１１の開示に係る画像処理装置によれば、他の気象状況と比較的判別容易な降雨の音特徴が抽出された場合には、他の気象状況と比較的判別の難しい降雨の画像特徴の影響を受けることなく、降雨に応じた画像処理によってノイズを適切に除去した画像を取得することが可能となる。

また、第１２の開示では、上記第１０または第１１の開示において、気象状況判定部は、音特徴抽出部において降雹の音特徴が抽出された場合、画像特徴に拘わらず、気象状況を降雹と判定することを特徴とする。

この第１２の開示に係る画像処理装置によれば、他の気象状況と比較的判別容易な降雹の音特徴が抽出された場合には、他の気象状況と比較的判別の難しい降雹の画像特徴の影響を受けることなく、降雹に応じた画像処理によってノイズを適切に除去した画像を取得することが可能となる。

また、第１３の開示では、上記第９から第１２の開示のいずれかにおいて、画像特徴抽出部は、撮影画像における画素の輝度変化を画像特徴として抽出し、気象状況判定部は、輝度変化に基づき気象状況における雷を判定することを特徴とする。

この第１３の開示に係る画像処理装置によれば、撮影画像における輝度変化に基づき、簡易かつ高精度に雷の発生（雷光）を判定することができる。

また、第１４の開示では、上記第１３の開示において、気象状況判定部は、画像特徴抽出部において雷光の画像特徴が抽出された場合、音特徴に拘わらず、気象状況を雷と判定することを特徴とする。

この第１４の開示に係る画像処理装置によれば、他の気象状況と比較的判別容易な雷光の画像特徴が抽出された場合には、雷鳴の音特徴の影響（特に、画像のノイズに無関係な雷光を伴わない雷鳴の影響）を受けることなく、雷（雷光）に応じた画像処理によってノイズを適切に除去した画像を取得することが可能となる。

また、第１５の開示では、上記第９から第１４の開示のいずれかにおいて、画像鮮明化部は、気象状況判定部によって判定された気象状況が特定の気象状況以外である場合、画像処理を実行しないことを特徴とする。

この第１５の開示に係る画像処理装置によれば、特定の気象状況（例えば、降雨、降雪、降雹、雷など）以外の場合（すなわち、画像のノイズを発生しない気象状況である場合）には、画像処理を中止するため、不要な画像処理の実行による撮影画像の劣化を防止することができる。

また、第１６の開示は、上記第９から第１５の開示のいずれかに係る画像処理装置と、画像入力部に対して撮影画像を入力する撮影装置と、音入力部に対して周辺音を入力する音声入力装置とを備えた監視システムである。

また、第１７の開示は、撮影中の気象状況に起因するノイズを画像処理によって撮影画像から除去する画像処理方法であって、時間的に連続する複数の撮影画像が入力される画像入力ステップと、撮影画像の撮影時に取得された周辺音が入力される音入力ステップと、撮影画像における気象状況に関する画像特徴を抽出する画像特徴抽出ステップと、周辺音における気象状況に関する音特徴を抽出する音特徴抽出ステップと、画像特徴および音特徴に基づき、撮影画像の撮影時の気象状況を判定する気象状況判定ステップと、気象状況判定ステップによって判定された気象状況に応じた画像処理を実行することにより、撮影画像におけるノイズを除去する画像鮮明化ステップとを有することを特徴とする。

また、第１８の開示は、連続して撮影された画像を画揺れ補正により画像シフトして画面に映し出す補正画像を生成する画像処理装置であって、画面に映し出されていた前のフレームの補正画像の領域に対し、画揺れ補正により現在のフレームの補正画像が映し出されない部分が生じた場合には当該部分を補正画像外領域に設定する領域外設定手段と、補正画像外領域を順次保存する保存手段と、複数の補正画像外領域にグラデーションを付けるグラデーション設定手段と、複数の補正画像外領域にグラデーションが付けられた領域外画像と補正画像とからなる合成画像を画面に映し出すべく生成する画像生成手段と、を有する構成とする。

これによると、撮影された画像を画揺れ補正した補正画像を受光素子の解像度の大きさで画面に映し出すことにより、補正画像の解像度を保持すると共に、画揺れ補正の画像シフトにより補正画像がずれて、画面に映し出されない部分からなる補正画像外領域が生じても、その補正画像外領域にグラデーションを付けることにより、補正画像外領域が目立たなくなり、画面に映し出される補正画像外領域の不自然さが解消され、画面における表示効率の低下を抑制し得る。

また、第１９の開示は、第１８の開示において、保存手段は、合成画像を保存し、グラデーション設定手段は、画像保存手段に保存された前のフレームの合成画像にぼかし処理を行い、当該ぼかし処理が行われたぼかし画像を画像生成手段に出力し、画像生成手段は、領域外画像にぼかし画像の対応する部分を用いる構成とする。

これによると、領域外画像の補正画像に近い領域は補正画像とそれ程変わらないぼかし画像が映し出されることから、画面の一部に補正画像のみが映し出されるものに対して画面の広い範囲に画像が映し出されるようなると共に、前のフレームの補正画像外領域が残って映し出される場合にはぼかしの度合が増大されたものとなるため、前のフレームの映像による時間差に伴う不自然さが抑制される。

また、第２０の開示は、第１８の開示において、グラデーションの変化は、補正画像の平均濃度に応じて明暗いずれかに変えていく構成とする。

これによると、昼間に撮影した場合には補正画像の全体が明るいことから、その場合には領域外画像の過去となる領域程暗くなるように変化させ、反対に夜間に撮影した場合には補正画像の全体が暗いことから、その場合には領域外画像の過去となる領域程明るくなるように変化させることにより、補正画像に対して領域外画像での明暗の急激な変化が生じることが無く、映像の不自然さが生じないようにし得る。

また、第２１の開示は、第２０の開示において、平均濃度が、補正画像において略一定濃度で存在する所定領域の濃度の平均値である構成とする。

これによると、補正画像に例えば青空のように略一定の濃度で映っている所定領域がある場合に、その所定領域の平均濃度を補正画像の平均濃度とすることにより、補正画像全体に対して平均濃度を求めることなくグラデーションを変えていく濃度を決定することができるため、簡単な処理でグラデーションを付けることができる。

また、第２２の開示は、第２０または第２１の開示において、領域外画像のグラデーションの初期値または目標値が、平均濃度である構成とする。

これによると、現在のフレームの補正画像により生じた領域外画像のグラデーションの初期値または目標値が補正画像の平均濃度であることから、補正画像との境界が目立たなくなり、マスクで隠す必要がないため、補正画像の表示領域が狭まることがなく、情報量の低減が抑制される。

また、第２３の開示は、連続して撮影された画像を画揺れ補正により画像シフトして画面に映し出す補正画像を生成する画像処理方法であって、画面に映し出されていた前のフレームの補正画像の領域に対し、画揺れ補正により現在のフレームの補正画像が映し出されない部分が生じた場合には当該部分を補正画像外領域に設定する過程と、補正画像外領域を順次保存する過程と、複数の補正画像外領域にグラデーションを付ける過程と、補正画像と補正画像の領域外になる領域外画像とからなる合成画像を画面に映し出すべく生成する過程と、複数の補正画像外領域にグラデーションが付けられた領域外画像と補正画像とからなる合成画像を画面に映し出すべく生成する過程と、を有する構成とする。これによると、第１８の開示と同様の効果を奏し得る。

以上、本開示を、その好適実施形態の実施例について説明したが、当業者であれば容易に理解できるように、本開示はこのような実施例に限定されるものではなく、本開示の趣旨を逸脱しない範囲で適宜変更可能である。上記実施形態では視野妨害物としてワイパーブレード６について説明したが、ワイパーブレード６に限定されるものではなく、撮影したい景色に対して異なる動きをする視野妨害物を消去する場合に有効であり、例えば降雨時の雨や、カメラのレンズ面を流れ落ちる水滴等を対象とすることができる。また、例えば、本実施形態による気象状況の判定は、撮像画像のノイズ除去を目的とするものに限らず、単に屋外の天候を自動で判定する目的に利用ことも可能である。更に、例えば、上記実施形態では、補正画像に被写体Ｍが略中央に位置するような画揺れ補正の例について説明したが、被写体を特定しないで画揺れ補正する場合にも適用し得る。その場合には、画面２０２ａの全体に対する補正画像の表示範囲が所定の割合以下になった場合には一旦リセットし、その時に入力した画像を画面２０２ａに表示し、上述した画像処理をし直すようにしてもよい。また、連続して入力する画像に対して毎回処理しなくてもよく、任意の回数おきに処理するようにしてもよい。また更に、上記実施形態に示した構成要素は必ずしも全てが必須なものではなく、本開示の趣旨を逸脱しない限りに於いて適宜取捨選択することが可能である。

本開示にかかる画像処理装置及び画像処理方法は、景色の移動よりも高速に動く視野妨害物によるノイズのない映像を得ることができ、車載カメラや監視用カメラ等に於いて有用である。また、本開示に係る画像処理装置およびこれを備えた監視システムならびに画像処理方法は、屋外での撮影において、簡易な構成より気象状況を判定できると共に、その判定された気象状況に応じた画像処理によってノイズを適切に除去した画像を取得可能とし、撮影中の降雪などの気象状況に起因するノイズ（視野妨害物）を画像処理によって撮影画像から除去する画像処理装置およびこれを備えた監視システムならびに画像処理方法などとして有用である。更に、本開示にかかる画像処理装置は、電子式画揺れ補正による補正画像を画面に映し出す場合の映像に不自然さが生じないようにし得るため、移動しながら撮影するビデオカメラ等として有用である。

１ 自動車
４ａ 画面
５ 画像処理装置
６ ワイパーブレード（視野妨害物）
１０ 入力画像バッファ（画像保存手段）
１１ 画像設定部
１２ 動きベクトル計算部（動きベクトル算出手段）
１３ フレーム動き補正部（画像動き補正手段）
１４ 画像合成部（合成画像生成手段）
１５ 修正領域検出部（修正領域検出手段）
１６ 修正領域修正部（動きベクトル修正手段）
１０１ 監視システム
１０２ 監視カメラ（撮影装置）
１０３ 画像処理装置
１０５ マイク（音声入力装置）
１１１ 画像入力部
１１２ 音入力部
１１３ 画像特徴抽出部
１１４ 音特徴抽出部
１１５ 気象状況判定部
１１６ 画像鮮明化部
１１７ 画像選択部
１３１ インターフォン子機
１３２ インターフォン親機（画像処理装置）
１３３ 携帯端末
１４１ カメラ（撮影装置）
１４２ マイク（音声入力装置）
１５１ 親機モニタ
１５３ 表示選択ボタン
１５５ 携帯端末モニタ
１６１ 表示選択部
２０１ ビデオカメラ
２０２ａ 画面
２０４ａ〜２０４ｄ 第１〜第４の画像
２０５ａ〜２０５ｄ 第１〜第４の補正画像
２０６ａ〜２０６ｃ 第１〜第３の補正画像外領域（領域外画像）
２０７ａ〜２０７ｃ 境界
２０８ 画像処理装置
２１１ 画像位置合わせ部
２１２ 揺れ画像補正部
２１３ 入力画像バッファ
２１４ 揺れ補正量計算部
２１５ 補正量バッファ
２１６ 境界判定部（境界判定手段）
２１７ 領域外画像濃度変換部（グラデーション設定手段）
２１８ 領域外画像バッファ（画像保存手段）
２１９ 画像合成部（画像合成手段）
２２０ 画素平均値計算部
２２１ 画像濃度変換部（グラデーション設定手段）
２２２ 出力画像バッファ（画像保存手段）
２２３ 画像ぼかし部（グラデーション設定手段）

Claims (17)

1. 撮影中の外乱に起因するノイズを画像処理によって撮影画像から除去する画像処理装置であって、
   時間的に連続する複数の撮影画像が入力される画像入力部と、
   前記撮影画像における外乱に関する特徴を抽出する画像特徴抽出部と、
   前記外乱に関する特徴に応じて、前記撮影画像に対する前記外乱の影響を抑制する外乱抑制部と、を備え、
   前記外乱は時系列の複数の撮影画像に出現する視野妨害物であり、
   前記画像特徴抽出部は、
   時系列に並ぶ前記複数の撮影画像を保存する画像保存手段と、
   前記複数の撮影画像に於いて、所定の処理対象画像を基準にして、該処理対象画像に近接する複数の関連画像のそれぞれについての動きベクトルを求める動きベクトル算出手段と、を備え、
   前記外乱抑制部は、
   前記複数の関連画像を、前記動きベクトルにより動き補正する画像動き補正手段と、
   前記動き補正された前記複数の関連画像及び前記処理対象画像の画素値を平均化処理して、前記処理対象画像に対応する合成画像を生成する合成画像生成手段と、
   前記処理対象画像から、前記動きベクトルが閾値以上となる修正領域を検出する修正領域検出手段と、
   前記修正領域に前記閾値未満となる修正動きベクトルを設定する動きベクトル修正手段と、を備える画像処理装置。
2. 前記動きベクトル修正手段は、前記処理対象画像に対する他の前記関連画像の前記修正領域に対応する部分の動きベクトルに基づいて前記修正動きベクトルを設定する請求項１に記載の画像処理装置。
3. 前記修正動きベクトルは、前記処理対象画像に対する他の前記関連画像の前記修正領域に対応する部分の動きベクトルのメディアン値である請求項２に記載の画像処理装置。
4. 前記動きベクトル修正手段は、前記修正領域の周囲の動きベクトルに基づいて前記修正動きベクトルを設定する請求項１に記載の画像処理装置。
5. 前記動きベクトル修正手段は、前記修正動きベクトルを０に設定する請求項１に記載の画像処理装置。
6. 前記複数の画像が、自動車に搭載された車載カメラにより撮影された画像であり、
   前記閾値が、ワイパー装置が作動した際のワイパーブレードの動きを検出するように設定される請求項１に記載の画像処理装置。
7. 請求項６に記載の画像処理装置であって、
   前記ワイパー装置が作動した際のワイパーブレードの画像除去処理を実行する監視モードと、前記ワイパー装置が作動した際のワイパーブレードの画像除去処理を非実行とする通常モードと、を切り替えるモード切り替え手段と、をさらに備える、画像処理装置。
8. 連続して撮影された画像に外乱として発生する画揺れを画像シフトして画面に映し出す補正画像を生成する画像処理装置であって、
   時間的に連続して撮像された複数の撮影画像が入力される画像入力部と、
   前記撮影画像における外乱に関する特徴を抽出する画像特徴抽出部と、
   前記外乱に関する特徴に応じて、前記撮影画像に対する前記外乱の影響を抑制する外乱抑制部と、を備え、
   前記画像特徴抽出部は、
   前記画面に映し出されていた前のフレームの前記補正画像の領域に対し、前記画揺れ補正により現在のフレームの前記補正画像が映し出されない部分が生じた場合には当該部分を補正画像外領域に設定する領域外設定手段と、
   前記補正画像外領域を順次保存する保存手段と、を備え、
   前記外乱抑制部は、
   複数の前記補正画像外領域にグラデーションを付けるグラデーション設定手段と、
   前記複数の補正画像外領域に前記グラデーションが付けられた領域外画像と前記補正画像とからなる合成画像を前記画面に映し出すべく生成する画像生成手段と、を備えて画揺れ補正を実行する画像処理装置。
9. 前記保存手段は、前記合成画像を保存し、
   前記グラデーション設定手段は、前記画像保存手段に保存された前のフレームの前記合成画像にぼかし処理を行い、当該ぼかし処理が行われたぼかし画像を前記画像生成手段に出力し、
   前記画像生成手段は、前記領域外画像に前記ぼかし画像の対応する部分を用いることを特徴とする請求項８に記載の画像処理装置。
10. 前記グラデーションの変化は、前記補正画像の平均濃度に応じて明暗いずれかに変えていくことを特徴とする請求項８に記載の画像処理装置。
11. 前記平均濃度が、前記補正画像において略一定濃度で存在する所定領域の濃度の平均値であることを特徴とする請求項１０に記載の画像処理装置。
12. 前記領域外画像の前記グラデーションの初期値または目標値が、前記平均濃度であることを特徴とする請求項１０に記載の画像処理装置。
13. 請求項８〜１２のいずれかに記載の画像処理装置であって、
    前記画揺れ補正を実行する監視モードと、前記画揺れ補正を非実行とする通常モードと、を切り替えるモード切り替え手段と、をさらに備える、画像処理装置。
14. 請求項１〜１３のいずれかに記載の画像処理装置と、前記画像入力部に対して前記撮影画像を入力する撮影装置と、音入力部に対して周辺音を入力する音声入力装置とを備えたことを特徴とする監視システム。
15. 撮影中の外乱に起因するノイズを画像処理によって撮影画像から除去する画像処理方法であって、
    前記外乱は時系列の複数の画像に出現する視野妨害物であり、
    時間的に連続する複数の撮影画像が入力される画像入力ステップと、
    前記撮影画像における外乱に関する画像特徴を抽出する画像特徴抽出ステップと、
    前記外乱に関する特徴に応じて、前記撮影画像に対する前記外乱の影響を抑制する外乱抑制ステップと、
    を有し、
    前記画像特徴抽出ステップは、
    時系列に並ぶ複数の画像を保存する過程と、
    前記複数の画像に於いて、所定の処理対象画像を基準にして、該処理対象画像に近接する複数の関連画像のそれぞれについての動きベクトルを求める過程と、を有し、
    前記外乱抑制ステップは、
    前記複数の関連画像を、前記動きベクトルにより動き補正する過程と、
    前記動き補正された前記複数の関連画像及び前記処理対象画像の画素値を平均化処理して、前記処理対象画像に対応する合成画像を生成する過程と、
    前記処理対象画像から、前記動きベクトルが閾値以上となる修正領域を検出する過程と、
    前記修正領域に前記閾値未満となる修正動きベクトルを設定する過程と、を有する画像処理方法。
16. 連続して撮影された画像に外乱として発生する画揺れを画像シフトして画面に映し出す補正画像を生成する画像処理方法であって、
    時間的に連続する複数の撮影画像が入力される画像入力ステップと、
    前記撮影画像における外乱に関する画像特徴を抽出する画像特徴抽出ステップと、
    前記外乱に関する特徴に応じて、前記撮影画像に対する前記外乱の影響を抑制する外乱抑制ステップと、を有し、
    前記画像特徴抽出ステップは、
    前記画面に映し出されていた前のフレームの前記補正画像の領域に対し、前記画揺れ補正により現在のフレームの前記補正画像が映し出されない部分が生じた場合には当該部分を補正画像外領域に設定する過程と、
    前記補正画像外領域を順次保存する過程と、を有し、
    前記外乱抑制過程は、
    複数の前記補正画像外領域にグラデーションを付ける過程と、
    前記補正画像と前記補正画像の領域外になる領域外画像とからなる合成画像を前記画面に映し出すべく生成する過程と、
    前記複数の補正画像外領域に前記グラデーションが付けられた領域外画像と前記補正画像とからなる合成画像を前記画面に映し出すべく生成する過程と、を有する画像処理方法。
17. 請求項１５又は１６に記載の画像処理方法であって、
    前記外乱に関する特徴に応じた画像処理を実行する監視モードと、前記外乱に関する特徴に応じた画像処理を非実行とする通常モードと、を切り替えるモード切替ステップと、をさらに有する、画像処理方法。