JPWO2014050117A1 - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】カラー画像に対して時間方向のメディアン処理を行う場合に処理の高速化を図ることができるようにする。【解決手段】時間的に連続する複数のフレーム画像から各チャンネルの画素値（Ｒ、ＧおよびＢの各値）を抽出し、ついで、画素値にその抽出元となるフレーム画像に対応した識別子（インデックス番号）を付与し、ついで、１つのチャンネルの画素値（Ｇ値）の集合を対象にソート処理を行って、その中央値に付与された識別子を取得し、ついで、中央値に付与された識別子と同じ識別子が付与された画素値を各チャンネルの中央値として選び出し、ついで、画素ごとの各チャンネルの中央値に基づいてメディアン画像を生成するものとする。【選択図】図４

Description

本発明は、時間的に連続する複数の撮像画像を対象にして時間方向のメディアン処理を行う画像処理装置および画像処理方法に関するものである。

屋外の被写体を撮像する監視カメラで降雪時に撮像を行うと、多量の雪粒に遮られて、監視対象としている被写体が判然としない撮像画像が得られるが、このような雪粒により撮像画像に現れるノイズ（以下、降雪ノイズと呼称する）は、監視の妨げとなるため、撮像画像から除去することが望まれる。

このような要望に対して、時間的に連続する複数の撮像画像を対象にして時間方向のメディアン処理を行うことで降雪ノイズを除去する技術が知られている（特許文献１および非特許文献１参照）。この技術は、時間的に連続する複数の撮像画像において同一座標の画素が雪粒を写した画素である確率が低いことに着目したものであり、時間的に連続する複数の撮像画像から抽出された画素値を大きさの順に並び替えてその中央値を取得する時間方向のメディアン処理により、雪粒を写した画素値が排除されるため、降雪ノイズを除去することができる。

特開２０００−１１５７６３号公報

三宅他著，「時間メディアンフィルタによる降雪ノイズ除去」，画像電子学会誌，第３０巻，第３号，２００１年，ｐ２５１−２５９

しかしながら、前記従来の技術では、カラー画像に対してメディアン処理を行う場合、複数のチャンネルごとの画素値を個別にソートして、チャンネルごとの中央値を取得するようにしていたため、画像サイズが大きくなるのに応じてメディアン処理の演算量が膨大になり、処理の高速化を図ることができないという問題があった。

本発明は、このような従来技術の問題点を解消するべく案出されたものであり、その主な目的は、カラー画像に対して時間方向のメディアン処理を行う場合に処理の高速化を図ることができるように構成された画像処理装置および画像処理方法を提供することにある。

本発明の画像処理装置は、時間的に連続する複数の入力画像に対して時間方向のメディアン処理を行う画像処理装置であって、前記複数の入力画像から注目画素の画素値を抽出する画素値抽出部と、前記画素値抽出部により前記注目画素について抽出された、あるチャンネルの複数の画素値を並び替え、並び替え後の所定の位置に対応する画素値を選択する画素値選択部と、前記画素値選択部で選択された画素値に対応する前記入力画像における他のチャンネルの画素値を取得する画素値取得部と、前記画素値選択部及び前記画素値取得部より得られる画素値に基づいて前記注目画素の出力画素値を決定する出力画素値決定部と、を備えた構成とする。

また、本発明の画像処理方法は、時間的に連続する複数の入力画像に対して時間方向のメディアン処理を行う画像処理方法であって、前記複数の入力画像から注目画素の画素値を抽出するステップと、前記画素値を抽出するステップにより前記注目画素について抽出された、あるチャンネルの複数の画素値を並び替え、並び替え後の所定の位置に対応する画素値を選択するステップと、前記画素値を選択するステップで選択された画素値に対応する前記入力画像における他のチャンネルの画素値を取得するステップと、前記画素値を選択するステップ及び前記画素値を取得するステップより得られる画素値に基づいて前記注目画素の出力画素値を決定するステップと、を有する構成とする。

本発明によれば、複数のチャンネルのうちの１つのチャンネルの画素値のみを対象にして画素値の並び替えを行えばよいため、メディアン処理の高速化を図ることができる。また、得られた各チャンネルの画素値の組合せは、元の撮像画像のいずれかに実際に存在するものとなるため、適切なメディアン画像を取得することができる。

第１実施形態に係る撮像システムを示す全体構成図 第１実施形態に係る画像処理装置２の概略構成を示すブロック図 従来方式によるメディアン処理の概要を説明する説明図 第１実施形態によるメディアン処理の概要を説明する説明図 第１実施形態に係る画像処理装置２の処理手順を示すフロー図 第２実施形態に係る画像処理装置２の概略構成を示すブロック図 第２実施形態によるメディアン処理の概要を説明する説明図 第２実施形態に係る画像処理装置２の処理手順を示すフロー図 第３実施形態に係る画像処理装置２の概略構成を示すブロック図 第３実施形態によるメディアン処理の概要を説明する説明図 第３実施形態に係る画像処理装置２の処理手順を示すフロー図 第４実施形態に係る画像処理装置２の概略構成を示すブロック 第４実施形態によるメディアン処理の概要を説明する説明図 第４実施形態に係る画像処理装置２の処理手順を示すフロー図 第５実施形態に係る画像処理装置２の概略構成を示すブロック 第５実施形態によるメディアン処理の概要を説明する説明図 第５実施形態に係る画像処理装置２の処理手順を示すフロー図 第６実施形態によるメディアン処理の概要を説明する説明図 第７実施形態に係る画像処理装置２の概略構成を示すブロック図 画像処理装置２で行われる各画像の処理の概要を説明する説明図 画像処理装置２で行われる処理の手順を示すフロー図 背景画像生成部３２で行われる背景更新処理の手順を示すフロー図 被写体判定部３４および降雪補正画像生成部３５で行われる被写体判定処理および降雪補正画像生成処理の手順を示すフロー図 被写体判定部３４で行われる処理の概要を説明する説明図 第８実施形態に係る画像処理装置２の概略構成を示すブロック図

前記課題を解決するためになされた第１の発明は、時間的に連続する複数の入力画像に対して時間方向のメディアン処理を行う画像処理装置であって、前記複数の入力画像から注目画素の画素値を抽出する画素値抽出部と、前記画素値抽出部により前記注目画素について抽出された、あるチャンネルの複数の画素値を並び替え、並び替え後の所定の位置に対応する画素値を選択する画素値選択部と、前記画素値選択部で選択された画素値に対応する前記入力画像における他のチャンネルの画素値を取得する画素値取得部と、前記画素値選択部及び前記画素値取得部より得られる画素値に基づいて前記注目画素の出力画素値を決定する出力画素値決定部と、を備えた構成とする。

これによると、複数のチャンネルのうちの１つのチャンネルの画素値のみを対象にして画素値の並び替えを行えばよいため、メディアン処理の高速化を図ることができる。また、得られた各チャンネルの画素値の組合せは、元の撮像画像のいずれかに実際に存在するものとなるため、適切なメディアン画像を取得することができる。

また、第２の発明は、前記画素値抽出部により抽出される画素値に、前記複数の入力画像に対応した識別子を付与する識別子付与部を備え、前記画素値選択部は、前記選択した画素値に付与された識別子を取得し、前記画素値取得部は、前記取得した識別子に基づいて他のチャンネルの画素値を取得する構成とする。

これによると、画素値の並び替えで取得した１つのチャンネルの画素値に基づいて他のチャンネルの画素値を選び出す処理が簡単になるため、メディアン処理をより一層高速化することができる。

また、第３の発明は、画素毎に得られた前記出力画素値に基づいて出力画像を生成する出力画像生成部を備えた構成とする。これによると、出力画像、すなわちメディアン画像を取得することができる。

また、第４の発明は、前記出力画像を表示する表示装置を備えた構成とする。これによると、出力画像、すなわちメディアン画像を目視で確認することができる。

また、第５の発明は、前記画像値選択部は、前記所定の位置として並び替え後の中央位置の値を選択する構成とする。なお、取得する画素値は中央値に限定されるものではなく、中央付近であれば良い。

また、第６の発明は、前記入力画像は撮像装置により撮像された画像である構成とする。

また、第７の発明は、前記画素値抽出部は、前記入力画像からＲ、ＧおよびＢの各チャンネルの画素値を取得し、前記画素値選択部は、Ｇチャンネルの画素値を並び替える構成とする。

これによると、雪粒を写した画素値か否かを判別する上で有効な輝度により近い特徴を持つＧチャンネルの画素値で並び替えを行うため、雪粒を写した画素値を的確に排除して、降雪ノイズが適切に除去されたメディアン画像を取得することができる。

また、第８の発明は、前記画素値抽出部は、前記入力画像からＹ、ＵおよびＶの各チャンネルの画素値を取得し、前記画素値選択部は、Ｙチャンネルの画素値を並び替える構成とする。

これによると、雪粒を写した画素値か否かを判別する上で有効な輝度（Ｙチャンネルの画素値）そのもので並び替えを行うため、雪粒を写した画素値を的確に排除して、降雪ノイズが適切に除去されたメディアン画像を取得することができる。

また、第９の発明は、前記画像値選択部は、前記複数の画素値を大きい順に並び替える構成とする。

また、第１０の発明は、前記入力画像は降雪時に撮像されたものであり、時間方向のメディアン処理によって前記入力画像に現れる降雪ノイズを除去する構成とする。

これによると、降雪補正処理を高速に行うことができる。

また、第１１の発明は、時間的に連続する複数の入力画像に対して時間方向のメディアン処理を行う画像処理方法であって、前記複数の入力画像から注目画素の画素値を抽出するステップと、前記画素値を抽出するステップにより前記注目画素について抽出された、あるチャンネルの複数の画素値を並び替え、並び替え後の所定の位置に対応する画素値を選択するステップと、前記画素値を選択するステップで選択された画素値に対応する前記入力画像における他のチャンネルの画素値を取得するステップと、前記画素値を選択するステップ及び前記画素値を取得するステップより得られる画素値に基づいて前記注目画素の出力画素値を決定するステップと、を有する構成とする。

これによると、前記の第１の発明と同様に、メディアン処理の高速化を図るとともに適切なメディアン画像を取得することができる。

また、第１２の発明は、前記注目画素が動きのある画素か否かを判定する動き判定部と、前記動き判定部により動きがある画素と判定された場合、所定のノイズを示すものか、所定のノイズ以外を示すものかを判定する被写体判定部と、前記被写体判定部により所定のノイズと判定された場合は、前記出力画素値決定部により決定された画素値を使用し、所定のノイズ以外と判定された場合は、前記入力画像の画素値を使用する補正画像生成部と、を備えた構成とする。

これによると、注目画素が降雪ノイズなどのノイズ（例えば、大気中を移動する小さな物体によるもの）を表示したものである場合には、出力画素値決定部により決定された画素値、すなわちメディアン画像の画素値が採用されるため、降雪ノイズなどのノイズを除去することができる。また、注目画素がノイズ以外を示すものである場合には、入力画像の画素値、すなわちメディアン処理が行われていない撮像画像の画素値が採用されるため、ノイズ以外の動きのある画素が存在する場合に発生する残像を低減することができる。

以下、本発明の実施の形態を、図面を参照しながら説明する。なお、各実施の形態は矛盾しない範囲で相互に利用可能である。

（第１実施形態）
図１は、第１実施形態に係る撮像システムを示す全体構成図である。この撮像システムは、被写体を撮像する撮像装置１と、撮像装置１で得られたフレーム画像（撮像画像）に対して画像処理を行う画像処理装置２と、画像処理装置２で得られた処理画像を表示する表示装置３と、を備えている。なお、撮像装置１、画像処理装置２及び表示装置３は一体的に構成されても良いし、通信ネットワークを介して接続されて構成されても良い。

撮像装置１は、屋外の被写体を撮像する監視カメラとして用いられる。画像処理装置２では、撮像装置１で降雪時に撮像されたフレーム画像に発生した降雪ノイズを除去する降雪補正処理が行われる。例えば、降雪時の道路状況（交通量や路面状態など）、電車状況（線路状態、踏み切り、駅構内）、河川氾濫状況等の監視に効果的である。

なお、撮像装置１から画像処理装置２に画像データがリアルタイムに入力される構成の他、撮像装置１で得られた画像データを適宜な記憶媒体に記憶させ、この記憶媒体から画像データを読み出して画像処理装置２で画像処理を行う構成も可能である。また、画像処理装置２で得られた処理済みの画像は、静止画として出力する他、動画として出力することも可能である。また、画像処理装置２から表示装置３に画像データがリアルタイムに入力される構成の他、画像処理装置２で得られた画像データを適宜な記憶媒体に記憶させ、この記憶媒体から画像データを読み出して表示装置３で表示処理を行う構成も可能である。

図２は、第１実施形態に係る画像処理装置２の概略構成を示すブロック図である。画像処理装置２は、画像入力部１１と、入力画像蓄積部１２と、メディアン処理部１３と、画素値格納部１４と、を備えている。

画像入力部１１では、時間的に連続する複数のフレーム画像が入力される。入力画像蓄積部１２では、画像入力部１１に入力された複数のフレーム画像が蓄積される。メディアン処理部１３では、メディアン処理によりフレーム画像の降雪ノイズを除去する降雪補正処理が行われる。画素値格納部１４では、メディアン処理部１３で取得した画素値が格納される。

メディアン処理部１３は、所定数のフレーム画像を対象にして時間方向のメディアン処理を行うものであり、画素値抽出部２１と、番号付与部（識別子付与部）２２と、ソート処理部（画素値選択部）２３と、中央値取得部（画素値取得部）２４と、メディアン画像生成部（出力画素値決定部）２５と、を備えている。このメディアン処理部１３は、所定のプログラムをＣＰＵで実行することで実現される。

画素値抽出部２１では、時間的に連続する複数のフレーム画像から、注目画素を対象にして、各チャンネルの画素値を抽出する処理が行われる。特に本実施形態では、画像処理装置２にＲＧＢフォーマットのフレーム画像が入力され、画素値抽出部２１では、フレーム画像からＲ、ＧおよびＢの各値（Ｒ、ＧおよびＢの各チャンネルの画素値）を取得する。

番号付与部（識別子付与部）２２では、画素値抽出部２１で取得した各チャンネルの画素値にその抽出元となるフレーム画像に対応したインデックス番号（識別子）を付与する、すなわち各チャンネルの画素値をインデックス番号に対応づける処理が行われる。特に本実施形態では、Ｒ、ＧおよびＢの各値にフレーム画像の順番に対応したインデックス番号が付与される。

ソート処理部２３では、１つのチャンネルの画素値の集合を対象にソート処理を行う、すなわち１つのチャンネルの画素値を大きさの順にインデックス番号とともに並び替える処理を行って、その中央値（並びの中央位置）に付与されたインデックス番号を取得する。特に本実施形態では、Ｇ値を大きさの順に並び替えてその中央値に付与されたインデックス番号を取得する。なお、取得する画素値は中央値に限定されるものではなく、中央付近であれば良い。

中央値取得部２４では、ソート処理部２３で取得した中央値に付与されたインデックス番号と同じインデックス番号が付与された画素値を各チャンネルの中央値として選び出す処理が行われる。特に本実施形態では、ソート処理部２３で取得したインデックス番号に基づいてＲ、ＧおよびＢの各中央値が選び出される。

メディアン画像生成部２５では、画素値抽出部２１、番号付与部２２、ソート処理部２３および中央値取得部２４で行われる注目画素の処理を全ての画素について繰り返すことで取得した画素ごとの各チャンネルの中央値に基づいてメディアン画像を生成する処理が行われる。特に本実施形態では、Ｒ、ＧおよびＢの各中央値に基づいてメディアン画像が生成される。

なお、画素値抽出部２１で取得した画素値、および番号付与部２２で付与されたインデックス番号は、画素値格納部１４に格納され、ソート処理部２３、中央値取得部２４およびメディアン画像生成部２５の各部では、画素値格納部１４から画素値およびインデックス番号を取り出して所要の処理が行われ、また、各部の処理で取得した画素値が画素値格納部１４に格納される。

ここで、この第１実施形態によるメディアン処理を従来方式と比較しながら説明する。図３は、従来方式によるメディアン処理の概要を説明する説明図である。図４は、第１実施形態によるメディアン処理の概要を説明する説明図である。

ここで、Ｒ、ＧおよびＢの各値（Ｒ、ＧおよびＢの各チャンネルの画素値）は０〜２５５の値をとる。また、注目フレーム画像（ｔ）とその前後の３つのフレーム画像（ｔ−３〜ｔ−１，ｔ＋１〜ｔ＋３）の合計７つのフレーム画像を対象にしてメディアン処理が行われる。なお、メディアン処理の対象となるフレーム画像の数は７に限定されるものではない。

図３に示すように、従来方式によるメディアン処理では、各フレーム画像から注目画素のＲ、ＧおよびＢの各値を取得して、そのＲ、ＧおよびＢの各値ごとにソート処理を行うことで、Ｒ、ＧおよびＢの各中央値を取得する。

この従来方式では、Ｒ、ＧおよびＢの各値ごとにソート処理を行うため、ソート処理に時間を要するという問題がある。また、得られたＲ、ＧおよびＢの各中央値の組み合わせは、元のフレーム画像に実際に存在するＲ、ＧおよびＢの各値の組み合わせと一致しない場合がある。

これに対して、図４に示すように、第１実施形態によるメディアン処理では、各フレーム画像から取得した注目画素のＲ、ＧおよびＢの各値に、フレーム画像の順番に対応したインデックス番号（１〜７）を付与し、ついで、Ｇ値のみを対象にしたソート処理を行い、このとき、インデックス番号もＧ値に付随して並び替えられる。そして、中央の順位のＧ値（Ｇ中央値）に付与されたインデックス番号（ここでは「６」）を取得し、ついで、そのインデックス番号と同じインデックス番号が付与されたＲ、ＧおよびＢの各値をＲ、ＧおよびＢの各中央値として選び出す。なお、ソートの対象となるチャンネルはＧチャンネルに限定されるものではなくＲもしくはＢチャンネルであっても良い。ただし、ＲＧＢ画像の場合はＧチャンネルが一番効果的である。

このように第１実施形態では、Ｇ値のみを対象にしてソート処理を行えばよいため、メディアン処理の高速化を図ることができる。特に、雪粒を写した画素値か否かを判別する上で有効な輝度により近い特徴を持つＧ値でソート処理を行うため、雪粒を写した画素値を的確に排除して、降雪ノイズが適切に除去された明瞭なメディアン画像を取得することができる。また、得られたＲ、ＧおよびＢの各中央値の組合せは、元のフレーム画像のいずれかに実際に存在するものとなるため、適切なメディアン画像を取得することができる。

図５は、メディアン処理部１３の処理手順を示すフロー図である。ここでは、まず、時間的に連続する複数のフレーム画像が画像入力部１１に入力されて入力画像蓄積部１２に蓄積される（ＳＴ１０１）。そして、全てのフレーム画像が終了したか否かの判定（ＳＴ１０２）、および全ての画素が終了したか否かの判定（ＳＴ１０３）を経て、画素ごとの処理（ＳＴ１０４〜ＳＴ１０７）が行われる。

この画素ごとの処理では、まず、画素値抽出部２１にて、７つのフレーム画像から注目画素のＲ、ＧおよびＢの各値を取得する処理が行われ（ＳＴ１０４）、ついで、番号付与部２２にて、Ｒ、ＧおよびＢの各値にインデックス番号を付与する処理が行われ（ＳＴ１０５）、ついで、ソート処理部２３にて、Ｇ値を大きさの順に並び替えてその中央値に付与されたインデックス番号を取得する処理が行われ（ＳＴ１０６）、ついで、中央値取得部２４にて、ソート処理部２３で取得したインデックス番号に基づいてＲ、ＧおよびＢの各中央値を選び出す処理が行われる（ＳＴ１０７）。

このようにして１画素の処理が終了し、この処理が１つのフレーム画像内の全ての画素が終了するまで繰り返され、１つのフレーム画像内の全ての画素の処理が終了すると、メディアン画像生成部２５にて、画素ごとのＲ、ＧおよびＢの各中央値に基づいてメディアン画像を生成する処理が行われる（ＳＴ１０８）。そして、以上の処理が全てのフレーム画像が終了するまで繰り返される。

（第２実施形態）
図６は、第２実施形態に係る画像処理装置２の概略構成を示すブロック図である。図７は、第２実施形態によるメディアン処理の概要を説明する説明図である。図８は、第２実施形態に係る画像処理装置２の処理手順を示すフロー図である。なお、ここで特に言及しない点は前記の実施形態と同様である。

この第２実施形態では、図６に示すように、メディアン処理部１３が、前記の第１実施形態と同様に、画素値抽出部２１と、番号付与部２２と、ソート処理部２３と、中央値取得部２４と、メディアン画像生成部２５と、を備えているが、特にこの第２実施形態では、さらに画素値変換部２６を備えており、この画素値変換部２６では、画素値抽出部２１で取得した各チャンネルの画素値から別の画素値を算出する処理が行われる。

特にこの第２実施形態では、前記の第１実施形態と同様に、画像処理装置２にＲＧＢフォーマットのフレーム画像が入力され、図７に示すように、Ｒ、ＧおよびＢの各値からＹ値（輝度）を算出する処理（図８のＳＴ２０６）が画素値変換部２６で行われる。Ｙ値は次の算出式で求められる。
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ

そして、画素値変換部２６で取得したＹ値を大きさの順に並び替えてその中央値に付与されたインデックス番号を取得する処理（図８のＳＴ２０７）がソート処理部２３で行われ、ついで、ソート処理部２３で取得したインデックス番号に基づいてＲ、ＧおよびＢの各中央値を選び出す処理（図８のＳＴ２０８）が中央値取得部２４で行われる。

このように第２実施形態では、Ｙ値（輝度）のみを対象にしてソート処理を行えばよいため、メディアン処理の高速化を図ることができる。また、Ｙ値を算出する画素値変換処理が必要となるため、第１実施形態と比較して演算量が増えるが、雪粒を写した画素値か否かを判別する上で有効な輝度そのものでソート処理を行うため、雪粒を写した画素値を的確に排除して、降雪ノイズが適切に除去された明瞭なメディアン画像を取得することができる。

（第３実施形態）
図９は、第３実施形態に係る画像処理装置２の概略構成を示すブロック図である。図１０は、第３実施形態によるメディアン処理の概要を説明する説明図である。図１１は、第３実施形態に係る画像処理装置２の処理手順を示すフロー図である。なお、特に言及しない点は前記の実施形態と同様である。

この第３実施形態では、図９に示すように、メディアン処理部１３が、前記の第１実施形態と同様に、画素値抽出部２１と、番号付与部２２と、ソート処理部２３と、中央値取得部２４と、メディアン画像生成部２５と、を備えているが、特にこの第３実施形態では、画像処理装置２にＹＵＶフォーマットのフレーム画像が入力され、画素値抽出部２１では、フレーム画像からＹ、ＵおよびＶの各値（Ｙ、ＵおよびＶの各チャンネルの画素値）を取得する処理が行われる。

そして、図１０に示すように、Ｙ値を大きさの順に並び替えてその中央値に付与されたインデックス番号を取得する処理（図１１のＳＴ３０６）がソート処理部２３で行われ、ついで、ソート処理部２３で取得したインデックス番号に基づいてＹ、ＵおよびＶの各中央値を選び出す処理（図１１のＳＴ３０７）が中央値取得部２４で行われる。

このように第３実施形態では、Ｙ値（輝度）のみを対象にしてソート処理を行えばよいため、メディアン処理の高速化を図ることができる。特に、雪粒を写した画素値か否かを判別する上で有効な輝度そのものでソート処理を行うため、雪粒を写した画素値を的確に排除して、降雪ノイズが適切に除去された明瞭なメディアン画像を取得することができる。

（第４実施形態）
図１２は、第４実施形態に係る画像処理装置２の概略構成を示すブロック図である。図１３は、第４実施形態によるメディアン処理の概要を説明する説明図である。図１４は、第４実施形態に係る画像処理装置２の処理手順を示すフロー図である。なお、特に言及しない点は前記の実施形態と同様である。

この第４実施形態では、図１２に示すように、メディアン処理部１３が、前記の第２実施形態と同様に、画素値抽出部２１と、番号付与部２２と、画素値変換部２６と、ソート処理部２３と、中央値取得部２４と、メディアン画像生成部２５と、を備えているが、特にこの第４実施形態では、画像処理装置２に、ベイヤー配列によるＲＡＷフォーマットのフレーム画像が入力され、画素値抽出部２１では、フレーム画像からＲ、Ｇ１、Ｇ２およびＢの各値（Ｒ、Ｇ１、Ｇ２およびＢの各チャンネルの画素値）を取得する処理が行われる。

そして、図１３に示すように、Ｇ１値およびＧ２値の平均値であるＧ値を算出する処理（図１４のＳＴ４０６）が画素値変換部２６で行われ、ついで、画素値変換部２６で取得したＧ値を大きさの順に並び替えてその中央値に付与されたインデックス番号を取得する処理（図１４のＳＴ４０７）がソート処理部２３で行われ、ついで、ソート処理部２３で取得したインデックス番号に基づいてＲ、Ｇ１、Ｇ２およびＢの各中央値を選び出す処理（図１４のＳＴ４０８）が中央値取得部２４で行われる。

このように第４実施形態では、Ｇ値のみを対象にしてソート処理を行えばよいため、ソート処理の演算負担を軽減することができ、また、Ｇ値を算出する画素値変換処理が必要となるが、Ｒ、Ｇ１、Ｇ２およびＢの各値をそれぞれ個別に並び替えるソート処理を行う方式と比較すると、メディアン処理全体の演算量は削減されるため、メディアン処理の高速化を図ることができる。さらに、雪粒を写した画素値か否かを判別する上で有効な輝度により近い特徴を持つＧ値でソート処理を行うため、雪粒を写した画素値を的確に排除して、降雪ノイズが適切に除去された明瞭なメディアン画像を取得することができる。

（第５実施形態）
図１５は、第５実施形態に係る画像処理装置２の概略構成を示すブロック図である。図１６は、第５実施形態によるメディアン処理の概要を説明する説明図である。図１７は、第５実施形態に係る画像処理装置２の処理手順を示すフロー図である。なお、ここで特に言及しない点は前記の実施形態と同様である。

この第５実施形態では、図１５に示すように、メディアン処理部１３が、前記の第１実施形態と同様に、画素値抽出部２１と、ソート処理部２３と、中央値取得部２４と、メディアン画像生成部２５と、を備えているが、特にこの第５実施形態では、第１実施形態にある番号付与部２２を備えておらず、図１６に示すように、画素値抽出部２１で取得したＲ、ＧおよびＢの各値にその抽出元となるフレーム画像に対応したインデックス番号（識別子）が付与されない。

この場合、画素値抽出部２１で取得したＧ値の集合を対象にソート処理を行って、その中央値を取得する処理（図１７のＳＴ５０５）がソート処理部２３で行われ、ついで、画素値抽出部２１で取得したフレーム画像ごとの画素値の組み合わせの中から、ソート処理部２３で取得したＧ中央値と一致するＧ値を含む画素値の組み合わせを探し出して、見つかった画素値の組み合わせをＲ、ＧおよびＢの各中央値とする処理（図１７のＳＴ５０６）が中央値取得部２４で行われる。

ここで、ソート処理部２３で取得したＧ中央値と一致するＧ値を有する画素値の組み合わせが複数存在する場合があるが、この場合、Ｇ中央値と一致するＧ値を含む画素値の組み合わせを探し出す検索処理を最初から順に行った際に最初に見つかった画素値の組み合わせを中央値に選択するようにすればよい。また、該当する画素値の組み合わせの中から１つをランダムに選択するようにしてもよい。

ちなみに、この第５実施形態では、画素値抽出部２１で取得したＲ、ＧおよびＢの各値を画素値格納部１４に格納して、これを対象にして、ソート処理部２３で取得したＧ中央値と一致するＧ値を含む画素値の組み合わせを探し出す検索処理を行うようにしたが、フレーム画像自体を対象にして検索処理を行うようにしてもよい。この場合、各フレーム画像からＧ値を抽出して、そのＧ値がソート処理部２３で取得したＧ中央値に一致するか否かの照合を行うことで、ソート処理部２３で取得したＧ中央値と一致するＧ値を有するフレーム画像を特定し、このフレーム画像からＲおよびＢの各値を抽出してこれをＲおよびＢの各中央値とする。

このように第５実施形態では、画素値抽出部２１で取得した画素値にインデックス番号（識別子）を付与しなくても、１つのチャンネルの画素値を対象にソート処理を行って取得した中央値に基づいてＲ、ＧおよびＢの各中央値を取得することができる。

（第６実施形態）
図１８は、第６実施形態によるメディアン処理の概要を説明する説明図である。なお、ここで特に言及しない点は前記の実施形態と同様である。

この第６実施形態における画像処理装置２の概略構成は、図１５の第５実施形態と同様であるが、特にここでは、画素値抽出部２１にて、ソート処理の対象となるＧ値のみを抽出するようにしている。中央値取得部２４では、ソート処理部２３で取得したＧ中央値と一致するＧ値を有するフレーム画像を探し出して、見つかったフレーム画像からＲおよびＢの各値を抽出し、これをＲおよびＢの各中央値とする。

この第６実施形態では、第５実施形態と同様に、ソート処理部２３で取得したＧ中央値と一致するＧ値を有するフレーム画像が複数存在する場合があるが、この場合、Ｇ中央値と一致するＧ値を有するフレーム画像を探し出す検索処理を最初から順に行った際に最初に見つかったフレーム画像の画素値を中央値に選択するようにすればよい。また、該当するフレーム画像の中から１つをランダムに選択するようにしてもよい。

このように第６実施形態では、画素値抽出部２１でソート処理の対象となるＧ値のみを抽出すればよく、対象となる全てのフレーム画像から全てのチャンネルの画素値を抽出しなくて済むため、画素値抽出処理の処理量を削減することができる。

ちなみに、この第６実施形態では、第５実施形態と同様に、画素値にインデックス番号（識別子）を付与する処理が行われておらず、Ｇ値が抽出元となるフレーム画像と対応づけられていないため、ソート処理で取得したＧ中央値と一致するＧ値を有するフレーム画像を特定するために、再度、フレーム画像からＧ値を抽出する処理が必要となるが、番号付与を行う、すなわち、画素値抽出部２１で取得したＧ値にその抽出元となるフレーム画像に対応したインデックス番号（識別子）を付与するようにすると、インデックス番号に基づいて、ソート処理で取得したＧ中央値と一致するＧ値を有するフレーム画像を簡単に特定することができるため、ＲおよびＢの各中央値を取得する処理が容易になる。

なお、前記の各実施形態では、メディアン処理を降雪ノイズを除去する降雪補正に用いた例について説明したが、本発明はこれに限定されるものではなく、この他の画像のノイズを除去する用途などに広く適用することができる。

また、前記の各実施形態では、画素値に付与される識別子に、数字（１〜７）で表されるインデックス番号を用いたが、本発明はこれに限定されるものではなく、数字以外の文字などを用いることも可能である。

また、前記の各実施形態では、ＲＧＢ、ＹＵＶおよびＲＡＷの各フォーマットの画像の例について説明したが、本発明はこれに限定されるものではなく、この他のフォーマットの画像にも広く適用することができる。

また、前記の第２および第４の各実施形態では、画素値変換部２６でＹ値（輝度）やＧ値（Ｇ１値とＧ２値の平均値）を算出するものとしたが、本発明はこれに限定されるものではなく、メディアン処理の用途に応じて適切な中央値を得ることができるように、適宜な種類の画素値に変換するようにすればよい。

また、前記の第５，第６の実施形態では、第１実施形態に対応する構成、すなわちＧ値を対象にソート処理を行って、Ｒ、ＧおよびＢの中央値を取得する構成としたが、この第５，第６の実施形態で示された、画素値抽出部２１で取得した画素値にその抽出元となるフレーム画像に対応したインデックス番号（識別子）を付与しない構成や、ソート処理に必要なチャンネルの画素値のみを抽出する構成は、第３の実施形態にも示したように、フレーム画像から直接取得することができる画素値でソート処理を行う構成に適用することができる。

ちなみに、この第５，第６の実施形態で示された構成は、第２，第４の実施形態に示したように、複数のチャンネルの画素値から別の画素値を算出する画素値変換処理を行う構成に適用することも不可能ではないが、ソート処理部２３で取得した中央値と一致する画素値を含むフレーム画像を探し出す検索処理で画素値変換処理を再度行う必要があるため、処理の高速化の観点から望ましくない。

（第７実施形態）
図１９は、第７実施形態に係る画像処理装置２の概略構成を示すブロック図である。図２０は、画像処理装置２で行われる各画像の処理の概要を説明する説明図である。なお、図２０で各画像に付されたｔ，ｔ−１，ｔ＋１は撮像時刻を示すものであり、注目する時点の画像に撮像時刻ｔを付し、その前後の時点の画像に撮像時刻ｔ−１，ｔ＋１を付して示している。

図１９に示すように、画像処理装置２は、画像入力部１１と、入力画像蓄積部１２と、メディアン処理部１３と、メディアン画像蓄積部３１と、背景画像生成部３２と、背景画像蓄積部３３と、被写体判定部３４と、降雪補正画像生成部３５と、を備えている。

画像入力部１１では、時間的に連続する複数のフレーム画像が入力される。入力画像蓄積部１２では、画像入力部１１に入力された複数のフレーム画像（入力画像）が蓄積される。

図２０に示すように、メディアン処理部１３では、入力画像蓄積部１２に蓄積された所定数（例えば７つ）の入力画像を対象にして時間方向のメディアン処理を行って、メディアン画像を生成する処理が行われる。ここでは、注目する時点の入力画像とその前後の３つの入力画像の合計７つの入力画像を対象にしてメディアン処理が行われる。なお、メディアン処理の対象となる入力画像の数は７に限定されるものではない。また、注目する時点の入力画像とその前の入力画像のみまたはその後の入力画像のみでメディアン処理を行ってもよい。

メディアン画像蓄積部３１では、メディアン処理部１３で生成したメディアン画像が蓄積されるが、特にここでは、前回の処理で生成した１つ前の時点のメディアン画像と、今回の処理で生成した注目する時点のメディアン画像とが蓄積される。

背景画像生成部３２は、１次画像生成部４１と、２次画像生成部４２と、を備えている。１次画像生成部４１では、入力画像蓄積部１２に蓄積された注目する時点の入力画像と、メディアン画像蓄積部３１に蓄積された注目する時点のメディアン画像および１つ前の時点のメディアン画像に基づいて、フレーム間の差分から被写体に現れた変化を反映させた１次画像を生成する処理が行われる。

２次画像生成部４２では、１次画像生成部４１で取得した注目する時点の１次画像および１つ前の時点の背景画像に基づいて、背景画像（２次画像）を生成する処理が行われる。背景画像蓄積部３３では、前回の処理で生成した１つ前の時点の背景画像と、今回の処理で生成した注目する時点の背景画像とが蓄積されており、この背景画像蓄積部３３に蓄積された１つ前の時点の背景画像に基づいて、２次画像生成部４２で注目する時点の背景画像を生成する処理が行われ、背景画像生成部３２で生成した注目する時点の背景画像が背景画像蓄積部３３に格納される。

被写体判定部３４では、入力画像蓄積部１２に蓄積された注目する時点の入力画像および１つ後の時点の入力画像と、背景画像蓄積部３３に蓄積された注目する時点の背景画像に基づいて、各画素が雪粒以外の動きのある被写体を写したものであるか否かを判定する被写体判定処理が行われる。

なお、ここで、動きのある被写体とは、撮像装置１に対して相対的に動く被写体、すなわち時間的に連続する複数の入力画像で位置が変化する被写体をさし、被写体自体が動く場合の他に、撮像装置１がパンやチルトの動作を行う場合のように、撮像装置１自体が動くことで、静止した被写体が撮像装置１に対して全体的に動く場合も含む。

降雪補正画像生成部３５では、入力画像蓄積部１２に蓄積された入力画像およびメディアン画像蓄積部３１に蓄積されたメディアン画像と、被写体判定部３４の判定結果に基づいて、降雪補正画像を生成する処理が行われる。

図２１は、画像処理装置２で行われる処理の手順を示すフロー図である。

ここでは、まず、メディアン画像蓄積部３１のメディアン画像を初期化する処理（ＳＴ６０１）と、背景画像蓄積部３３の背景画像を初期化する処理（ＳＴ６０２）が行われる。１番目の画像の場合には、以下の処理で必要となる画像、すなわち１つ前の時点のメディアン画像および背景画像がメディアン画像蓄積部３１および背景画像蓄積部３３に存在しないため、これらの画像を便宜的に入力画像で流用されるように、初期化処理では、現時点の入力画像が１つ前の時点のメディアン画像および背景画像として蓄積される。

次に、全ての入力画像が終了したか否かの判定が行われ（ＳＴ６０３）、全ての入力画像が終了するまで、以下に説明する画像ごとの処理（ＳＴ６０４〜ＳＴ６０９）が行われる。

画像ごとの処理では、まず、メディアン処理部１３にてメディアン処理が行われ（ＳＴ６０４）、ついで、背景画像生成部３２にて背景更新処理が行われ（ＳＴ６０５）、ついで、被写体判定部３４および降雪補正画像生成部３５にて被写体判定処理および降雪補正画像生成処理が行われる（ＳＴ６０６）。

次に、メディアン画像蓄積部３１のメディアン画像を更新する処理（ＳＴ６０７）と、背景画像蓄積部３３の背景画像を更新する処理（ＳＴ６０８）が行われる。ここでは、メディアン画像蓄積部３１および背景画像蓄積部３３に蓄積された注目する時点のメディアン画像および背景画像を１つ前の時点のメディアン画像および背景画像に置き換える処理が行われる。そして、降雪補正画像生成部３５にて生成した注目する時点の降雪補正画像が出力される（ＳＴ６０９）。

次に、図２０に示した背景画像生成部３２で行われる背景更新処理（図２１のＳＴ６０５）について詳しく説明する。

図２２は、背景画像生成部３２で行われる背景更新処理の手順を示すフロー図である。ここでは、まず、フレーム間の差分から被写体に現れた変化を反映させた１次画像を生成する処理が１次画像生成部４１で行われる。この１次画像生成処理では、まず、全ての画素が終了したか否かの判定が行われ（ＳＴ７０１）、全ての画素が終了するまで、１次画像の画素値を取得する処理（ＳＴ７０２〜ＳＴ７０４）が画素ごとに繰り返される。

この画素ごとの処理では、まず、１つ前の時点の画像に対する注目する時点の画像の画素値の変化状況に基づいて被写体に顕著な変化が現れたか否かの判定が行われる（ＳＴ７０２）。特に本実施形態では、次の式１のように、１つ前の時点のメディアン画像の輝度Ｙｍ_ｔ−１と、注目する時点の入力画像の輝度Ｙｉ_ｔとの差を算出して、その輝度変化量（Ｙｍ_ｔ−１−Ｙｉ_ｔ）を所定のしきい値Ｔｈと比較して、輝度変化量（Ｙｍ_ｔ−１−Ｙｉ_ｔ）がしきい値Ｔｈより大きい場合には被写体に顕著な変化が現れたものと判断する。
Ｙｍ_ｔ−１−Ｙｉ_ｔ＞Ｔｈ （式１）

次に、被写体に顕著な変化が現れたか否かの判定（ＳＴ７０２）の結果に応じて、注目する時点の１次画像の画素値Ｖｂ１_ｔを決定する処理が行われる（ＳＴ７０３，ＳＴ７０４）。ここでは、輝度変化量（Ｙｍ_ｔ−１−Ｙｉ_ｔ）がしきい値Ｔｈより大きく、被写体に顕著な変化が現れたものと判断される場合には（ＳＴ７０２でＹｅｓ）、入力画像の画素値Ｖｉ_ｔを１次画像の画素値Ｖｂ１_ｔに決定する（ＳＴ７０３）。一方、輝度変化量（Ｙｍ_ｔ−１−Ｙｉ_ｔ）がしきい値Ｔｈ以下の場合には（ＳＴ７０２でＮｏ）、輝度変化をノイズによるものと判断して、メディアン画像の画素値Ｖｍ_ｔを１次画像の画素値Ｖｂ１_ｔに決定する（ＳＴ７０４）。

これにより、被写体に生じた小さな変化をノイズとして除去するとともに、被写体に生じた大きな変化を１次画像に反映させることができる。なお、しきい値Ｔｈは、ノイズとして除去すべき場合の輝度の変化状況などに基づいて設定すればよく、例えば２５６階調で１５とするとよい。

ここで、注目画素が雪粒を写す画素の場合には輝度Ｙｉ_ｔが上昇するため、輝度変化量（Ｙｍ_ｔ−１−Ｙｉ_ｔ）は負の値となるが、しきい値Ｔｈは正の値（０〜２５５）であるため、輝度変化量（Ｙｍ_ｔ−１−Ｙｉ_ｔ）がしきい値Ｔｈより小さくなる、すなわち式１が成立しないため、メディアン画素値が採用され、これにより降雪ノイズを除去することができる。

また、背景となる被写体に顕著な変化が現れたか否かの判定（ＳＴ７０２）では、１つ前の時点のメディアン画像を用いるようにしたが、１つ前の時点の入力画像を用いることも可能である。ただし、メディアン画像は降雪ノイズが除去されているため、メディアン画像を用いると、輝度変化量が大きく現れることから判定精度を高めることができる。

このようにして１次画像の画素値Ｖｂ１_ｔが決定されると、次に、背景更新率ｃ（１／Ｎ）を設定する処理（ＳＴ７０６）が行われ、ついで、背景画像（２次画像）を生成する処理が２次画像生成部４２で行われる（ＳＴ７０６，ＳＴ７０７）。この２次画像生成処理では、まず、全ての画素が終了したか否かの判定が行われ（ＳＴ７０６）、全ての画素が終了するまで、背景画像（２次画像）の画素値を取得する処理（ＳＴ７０７）が画素ごとに繰り返される。

この画素ごとの処理では、次の式２を用いて、１次画像生成部４１で取得した注目する時点の１次画像の画素値Ｖｂ１_ｔと、１つ前の時点の背景画像の画素値Ｖｂ_ｔ−１とから、注目する時点の背景画像の画素値Ｖｂ_ｔを求める。
Ｖｂ_ｔ＝（１−ｃ）×Ｖｂ_ｔ−１＋ｃ×Ｖｂ１_ｔ （式２）
ここで、背景更新率ｃは、１次画像生成部４１で取得した１次画像をどの程度背景画像に反映させるかを示す割合である。

この背景更新率ｃは、更新フレーム数Ｎの逆数（１／Ｎ）で与えられる。更新フレーム数Ｎは、どのくらいの数のフレーム画像（入力画像）で背景画像が更新されるかを示すものであり、ユーザにより設定される。式２によると、１次画像に現れた被写体の変化が背景画像にはすぐに現れず、変化した被写体の状態がそのまま継続することで徐々に背景画像に現れるようになり、更新フレーム数Ｎを増減することで、背景となる被写体に生じた変化が背景画像に明瞭に現れるまでの時間を調整することができる。

ここで、更新フレーム数Ｎが小さいと、１次画像の影響が大きくなり、背景画像が安定しない場合がある。逆に更新フレーム数Ｎが大きいと、被写体の変化が背景画像に反映されにくくなる。したがって、撮像状況などに応じて更新フレーム数Ｎを適切に設定することで、被写体の変化が適切に反映され且つ安定した背景画像を生成することができる。例えば、撮像装置１がパンやチルトの動作を行う場合のように、被写体が大きく変化する場合には、更新フレーム数Ｎを小さくすることで、被写体の変化を背景画像に素早く反映させることができる。

また、フローの途中で背景更新率ｃを設定する処理（ＳＴ７０６）を行うことで、動作中に背景更新率ｃを変更することができる。すなわち、動作中にユーザによる更新フレーム数Ｎの入力操作を受け付け、ここで入力された更新フレーム数Ｎから算出される背景更新率ｃで次回からの処理が行われる。

次に、図２０に示した被写体判定部３４および降雪補正画像生成部３５で行われる被写体判定処理および降雪補正画像生成処理（図２１のＳＴ６０６）について詳しく説明する。

図２３は、被写体判定部３４および降雪補正画像生成部３５で行われる被写体判定処理および降雪補正画像生成処理の手順を示すフロー図である。図２４は、被写体判定部３４で行われる処理の概要を説明する説明図である。

図２３に示すように、ここでは、まず、全ての画素が終了したか否かの判定が行われ（ＳＴ８０１）、全ての画素が終了するまで、被写体判定部３４で行われる被写体判定（ＳＴ８０２）、および降雪補正画像生成部３５で行われる降雪補正画像生成処理（ＳＴ８０３，ＳＴ８０４）が、画素ごとに繰り返される。

被写体判定処理（ＳＴ８０２）では、前記のように、各画素が雪粒以外の動きのある被写体を写したものであるか否かを判定する処理が行われる。この被写体判定処理では、入力画像の画素値がしきい値から外れた状態が、時間的に連続する所定数の入力画像で連続して発生した場合に、当該画素が雪粒以外の動きのある被写体を写したものであると判定し、入力画像の画素値がしきい値から外れた状態が、時間的に連続する所定数の入力画像で連続して発生しない場合には、当該画素が雪粒以外の動きのある被写体を写したものでない、すなわち雪粒または背景（略静止した被写体）を写したものであると判定する。

特に本実施形態では、時間的に連続する２つの入力画像、すなわち注目する時点の入力画像とその１つ後の時点の入力画像を判定対象とする。また、入力画像の画素値と比較されるしきい値は、背景画像の画素値を基準にして設定され、画素値には輝度が採用される。具体的には、背景画像の輝度Ｙｂ_ｔを基準としてしきい値幅ＷｔｈＬ，ＷｔｈＨに基づいて上限のしきい値（Ｙｂ_ｔ＋ＷｔｈＨ）および下限のしきい値（Ｙｂ_ｔ−ＷｔｈＬ）が設定され、これが入力画像の輝度Ｙｉ_ｔと比較される。このときの判定式は次の式３，４となる。
Ｙｉ_ｔ≦Ｙｂ_ｔ−ＷｔｈＬ （式３）
Ｙｉ_ｔ≧Ｙｂ_ｔ＋ＷｔｈＨ （式４）

式３は、入力画像の輝度Ｙｉ_ｔが背景画像の輝度Ｙｂ_ｔより小さい場合の判定式であり、式４は、入力画像の輝度Ｙｉ_ｔが背景画像の輝度Ｙｂ_ｔより大きい判定式であり、背景画像の画素値Ｙｂ_ｔを基準として負方向のしきい値幅ＷｔｈＬと正方向のしきい値幅ＷｔｈＨとが別々に設定される。

このしきい値幅ＷｔｈＬ，ＷｔｈＨは、共に動きのある被写体を写したものであるか否かを判定するための変動幅であるが、ＷｔｈＬについては雪粒以外の動きのある被写体の輝度を元に調整することで被写体の残像を低減することができる。また、ＷｔｈＨについては雪粒の輝度を元に調整することで雪粒除去の効果を高めることができる。ＷｔｈＬを設定することにより、背景よりも輝度の低い動きのある被写体（例えば黒色の車のボディなど）の残像を低減できる。また、ＷｔｈＨを設定することにより、雪粒を除去して背景よりも輝度の高い動きのある被写体（例えば白色の車のボディや点灯した車のヘッドライト部分など）の残像を低減できる。このしきい値幅ＷｔｈＬ，ＷｔｈＨの設定は、ユーザが雪粒の除去と残像の低減効果を画面上で確認しながら調整して設定できるようにしてもよい。

ここで、注目画素が背景を写したものである場合には、入力画像の輝度Ｙｉ_ｔが背景画像の輝度Ｙｂ_ｔに近く、１つ後の入力画像が変わっても輝度に大きな変化がない。このため、図２４（Ａ）に示すように、注目する時点の入力画像とその１つ後の時点の入力画像のいずれでも、輝度Ｙｉ_ｔが下限のしきい値（Ｙｂ_ｔ−ＷｔｈＬ）より小さくならない、すなわち２つの入力画像で連続して式３が成立しない。

また、注目画素が雪粒を写したものである場合には、次の時点の入力画像に変わる間に雪粒が移動して注目画素から外れるため、２つの入力画像で連続して注目画素が雪粒を写したものとなることはない。このため、図２４（Ｃ）に示すように、注目する時点の入力画像で輝度Ｙｉ_ｔが上限のしきい値（Ｙｂ_ｔ＋ＷｔｈＨ）より大きくなっても、１つ後の時点の入力画像では輝度Ｙｉ_ｔが背景の輝度Ｙｂ_ｔの近傍に戻り、上限のしきい値より低くなる、すなわち２つの入力画像で連続して式４が成立しない。

一方、注目画素が雪粒以外の動きのある被写体を写したものである場合には、入力画像の輝度Ｙｉ_ｔが背景画像の輝度Ｙｂ_ｔと大きく異なり、この状態が次の時点の入力画像に変わっても継続する。このため、図２４（Ｂ）に示すように、注目する時点の入力画像とその１つ後の時点の入力画像のいずれでも、入力画像の輝度Ｙｉ_ｔが下限のしきい値（Ｙｂ_ｔ−ＷｔｈＬ）より小さくなる、すなわち２つの入力画像で連続して式３が成立するか、あるいは、図２４（Ｄ）に示すように、注目する時点の入力画像とその１つ後の時点の入力画像のいずれでも、入力画像の輝度Ｙｉ_ｔが上限のしきい値（Ｙｂ_ｔ＋ＷｔｈＨ）より大きくなる、すなわち２つの入力画像で連続して式４が成立する。

したがって、２つの入力画像で連続して式３または式４が成立するか否かにより、注目画素が雪粒以外の動きのある被写体を写したものであるか否かを判定することができる。すなわち、２つの入力画像で連続して式３または式４が成立する場合には、注目画素が雪粒以外の動きのある被写体を写したものと判定し、２つの入力画像で連続して式３および式４のいずれも成立しない場合には、注目画素が雪粒または背景（略静止した被写体）を写したものと判定する。

次に、図２３に示したように、降雪補正画像生成部３５にて、被写体判定部３４での被写体判定の結果に応じて降雪補正画像の画素値Ｖｃ_ｔを決定する処理が行われる（ＳＴ８０３，ＳＴ８０４）。ここでは、２つの入力画像で連続して式３または式４が成立する、すなわち注目画素が雪粒以外の動きのある被写体を写したものである場合には（ＳＴ８０２でＹｅｓ）、入力画像の画素値Ｖｉ_ｔを降雪補正画像の画素値Ｖｃ_ｔに決定する（ＳＴ８０３）。一方、２つの入画像で連続して式３および式４のいずれも成立しない、すなわち注目画素が雪粒または背景を写したものである場合には（ＳＴ８０２でＮｏ）、メディアン画像の画素値Ｖｍ_ｔを降雪補正画像の画素値Ｖｃ_ｔに決定する（ＳＴ８０４）。

このように、注目画素が雪粒以外の動きのある被写体を写したものである場合には、メディアン処理されていない入力画像の画素値が採用され、これにより雪粒以外の動きのある被写体の像がそのまま残り、残像が現れることを避けることができる。一方、注目画素が雪粒を写したものである場合には、メディアン画像の画素値が採用され、これにより降雪ノイズが除去される。また、注目画素が背景を写したものである場合には、メディアン画像の画素値が採用される。

なお、大きな雪粒の場合、２つの入力画像で連続して輝度が上限のしきい値を超える場合があり、この場合、当該画素が雪粒以外の動きのある被写体を写したものと判定されて、入力画像の画素値が採用されることから、降雪ノイズが除去されないが、このようなケースが発生する頻度は低く、実用上十分な効果を得ることができる。

（第８実施形態）
図２５は、第８実施形態に係る画像処理装置２の概略構成を示すブロック図である。なお、ここで特に言及しない点は前記の実施形態と同様である。

この第８実施形態では、第７実施形態と同様に、画像処理装置２が、画像入力部１１と、入力画像蓄積部１２と、メディアン処理部１３と、メディアン画像蓄積部３１と、背景画像生成部３２と、背景画像蓄積部３３と、被写体判定部３４と、降雪補正画像生成部３５と、を備えているが、特にこの第２実施形態では、画像処理装置２が、安定化処理部５１と、安定化画像蓄積部５２と、をさらに備えている。

安定化処理部５１では、手振れなどにより撮像装置１が揺れ動くことで、入力画像に写った被写体の像が全体的に揺れ動く状態を抑える安定化処理が行われる。この安定化処理により、被写体の像の動きによる残像が画像に発生するなどの画質の低下を避けることができる。安定化画像蓄積部５２では、安定化処理部５１で生成した安定化画像が蓄積される。

安定化画像蓄積部５２に蓄積された安定化画像は、メディアン処理部１３、背景画像生成部３２、被写体判定部３４、および降雪補正画像生成部３５の各処理に用いられる。第１実施形態では、メディアン処理部１３、背景画像生成部３２、被写体判定部３４、および降雪補正画像生成部３５の各処理に入力画像が用いられたが、この第２実施形態では入力画像の代わりに安定化画像が用いられる。

なお、第７実施形態では、図２５に示したように、被写体判定において、一般的なフレームレート（例えば３０ｆｐｓ）では、次の時点の入力画像に変わる間に雪粒が移動して注目画素から外れることに着目して、時間的に連続する２つの入力画像を判定対象としたが、３つ以上の入力画像を判定対象とすることも可能であり、例えば、フレームレートが大きくなると、判定対象とする入力画像の数を多くした方がよい場合がある。

また、本実施形態では、降雪ノイズを除去する降雪補正処理について説明したが、本発明は、このような降雪補正処理に限定されるものではなく、降雪ノイズ以外の一般的なノイズを除去する用途にも広く適用することができ、特に雪粒以外でノイズの原因となるノイズ物体（大気中を降下・浮遊する小さな物体）によるノイズを除去する用途に好適である。このようなノイズ物体としては、雪粒の他に、例えば降雨時の雨滴や、大気中を舞うちりや花びらなどがある。

本発明にかかる画像処理装置および画像処理方法は、カラー画像に対して時間方向のメディアン処理を行う場合に処理の高速化を図ることができる効果を有し、時間的に連続する複数の撮像画像を対象にして時間方向のメディアン処理を行う画像処理装置および画像処理方法などとして有用である。

１ 撮像装置
２ 画像処理装置
１１ 画像入力部
１２ 入力画像蓄積部
１３ メディアン処理部
１４ 画素値格納部
２１ 画素値抽出部
２２ 番号付与部（識別子付与部）
２３ ソート処理部（画素値選択部）
２４ 中央値取得部（画素値取得部）
２５ メディアン画像生成部（出力画素値決定部）
２６ 画素値変換部
３２ 背景画像生成部
３４ 被写体判定部
３５ 降雪補正画像生成部（補正画像生成部）

Claims (12)

1. 時間的に連続する複数の入力画像に対して時間方向のメディアン処理を行う画像処理装置であって、
   前記複数の入力画像から注目画素の画素値を抽出する画素値抽出部と、
   前記画素値抽出部により前記注目画素について抽出された、あるチャンネルの複数の画素値を並び替え、並び替え後の所定の位置に対応する画素値を選択する画素値選択部と、
   前記画素値選択部で選択された画素値に対応する前記入力画像における他のチャンネルの画素値を取得する画素値取得部と、
   前記画素値選択部及び前記画素値取得部より得られる画素値に基づいて前記注目画素の出力画素値を決定する出力画素値決定部と、を備えた画像処理装置。
2. 前記画素値抽出部により抽出される画素値に、前記複数の入力画像に対応した識別子を付与する識別子付与部を備え、
   前記画素値選択部は、前記選択した画素値に付与された識別子を取得し、
   前記画素値取得部は、前記取得した識別子に基づいて他のチャンネルの画素値を取得する請求項１に記載の画像処理装置。
3. 画素毎に得られた前記出力画素値に基づいて出力画像を生成する出力画像生成部を備えた請求項１に記載の画像処理装置。
4. 前記出力画像を表示する表示装置を備えた請求項３に記載の画像処理装置。
5. 前記画像値選択部は、前記所定の位置として並び替え後の中央位置の値を選択する請求項１に記載の画像処理装置。
6. 前記入力画像は撮像装置により撮像された画像である請求項１に記載の画像処理装置。
7. 前記画素値抽出部は、前記入力画像からＲ、ＧおよびＢの各チャンネルの画素値を取得し、
   前記画素値選択部は、Ｇチャンネルの画素値を並び替える請求項１に記載の画像処理装置。
8. 前記画素値抽出部は、前記入力画像からＹ、ＵおよびＶの各チャンネルの画素値を取得し、
   前記画素値選択部は、Ｙチャンネルの画素値を並び替える請求項１に記載の画像処理装置。
9. 前記画像値選択部は、前記複数の画素値を大きい順に並び替える請求項１に記載の画像処理装置。
10. 前記入力画像は降雪時に撮像されたものであり、時間方向のメディアン処理によって前記入力画像に現れる降雪ノイズを除去する請求項１に記載の画像処理装置。
11. 時間的に連続する複数の入力画像に対して時間方向のメディアン処理を行う画像処理方法であって、
    前記複数の入力画像から注目画素の画素値を抽出するステップと、
    前記画素値を抽出するステップにより前記注目画素について抽出された、あるチャンネルの複数の画素値を並び替え、並び替え後の所定の位置に対応する画素値を選択するステップと、
    前記画素値を選択するステップで選択された画素値に対応する前記入力画像における他のチャンネルの画素値を取得するステップと、
    前記画素値を選択するステップ及び前記画素値を取得するステップより得られる画素値に基づいて前記注目画素の出力画素値を決定するステップと、を有する画像処理方法。
12. 前記注目画素が動きのある画素か否かを判定する動き判定部と、
    前記動き判定部により動きがある画素と判定された場合、所定のノイズを示すものか、所定のノイズ以外を示すものかを判定する被写体判定部と、
    前記被写体判定部により所定のノイズと判定された場合は、前記出力画素値決定部により決定された画素値を使用し、所定のノイズ以外と判定された場合は、前記入力画像の画素値を使用する補正画像生成部と、を備えた請求項１に記載の画像処理装置。

Images