JP5929379B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、複数の画像から背景画像を生成する画像処理装置、画像処理方法及びプログラムに関する。

従来、移動する物体が撮影された動画や連続写真から背景画像を生成する技術がある。この技術は、風景写真などを撮る場合に、通行人や通行車両などの、画面を通り過ぎる物体を消去するのに役立つ。

例えば、動画の複数のフレームから同じ座標の画素値を取り出し、その最頻値、中央値、平均値などを算出し、背景の画素値を決定する技術がある。図１は、背景の画素値を決定する処理の一例を示す図である。図１に示す例では、（１）〜（３）の手順で背景画像が生成される。
（１）左上の対象画素から順に、全フレーム（又は一部の複数フレーム）の同位置の画素値が取り出される。
（２）取り出された各画素値に対してＲＧＢそれぞれのヒストグラムが生成される。
（３）ヒストグラムを用いて、各画素値の最頻値、中央値、又は平均値などにより、背景の画素値が決定される。

特開２００８−２７８３８６号公報 特開２００７−３２３５７２号公報 特開２００１−１８６５１１号公報

しかしながら、従来技術を用いて背景画像を生成する場合、通行人や通口車両など画面内を通過する物体を削除することは可能であるが、風に揺れる木の枝や葉など、所定範囲内で揺れ動く物体に対しては適切に消去することができず、ノイズが残ってしまう。このノイズが残る理由について以下説明する。

図２は、揺れ動く物体によるノイズの一例を示す図である。図２に示すように、木の枝が所定範囲内で揺れ動く場合、生成された背景画像の領域ａｒ１０２にはノイズが残ってしまう。また、領域ａｒ１０４では、通過する物体を適切に消去することができる。

図３は、ノイズ発生理由を説明するための図である。図３に示すように、木の葉が所定範囲内で揺れ動いている場合、その位置での各フレームの画素値を見ると、「空の色」の画素値もあれば、「葉の色」の画素値も存在する。よって、背景色として、最頻値、中央値、又は平均値などを用いても、「葉の色」又は「葉の色」と「空の色」との中間色になってしまうので、ノイズとして残ってしまう。

そもそも、背景画像の生成は、背景差分処理による移動物体の検出などの前処理として利用されることが多く、上述したノイズが問題となることは少なかった。しかし、背景画像を、例えば鑑賞対象とする場合、上述したノイズが画像の品質を低下させるという問題点があった。

そこで、開示の技術では、動く物体を含む動画像や連続画像などから背景画像を生成する際、背景画像の画質を向上させることができる画像処理装置、画像処理方法及びプログラムを提供することを目的とする。

開示の一態様における画像処理装置は、複数の画像に含まれる各画像を統計処理することで背景画像を生成する背景画像生成部と、前記背景画像の領域を指定する領域指定部と、前記指定された領域に含まれる対象画素と同位置の前記各画像の画素値と、前記対象画素を含む所定領域で、前記指定された領域以外の各画素の画素値とを用いて、前記対象画素の背景色を決定する背景色推定部とを有する。

開示の技術によれば、動く物体を含む動画像や連続画像などから背景画像を生成する際、背景画像の画質を向上させることができる。

背景の画素値を決定する処理の一例を示す図。 揺れ動く物体によるノイズの一例を示す図。 ノイズ発生理由を説明するための図。 実施例１における画像処理装置の構成の一例を示すブロック図。 背景色推定部の構成の一例を示すブロック図。 領域指定処理を説明するための図。 指定領域の一例を示す図。 投票準備を説明するための図。 投票結果の一例を示す図。 背景色の推定ができない一例を示す図。 投票準備を説明するための図。 投票結果の一例を示す図。 背景色の推定ができない一例を示す図。 実施例１における背景色推定処理（その１）の一例を示すフローチャート。 実施例１における背景色推定処理（その２）の一例を示すフローチャート。 実施例２における画像処理装置の構成の一例を示すブロック図。 画像処理装置のユーザインタフェースの一例を示す図。

以下、各実施例について、添付図面を参照しながら説明する。開示の実施例では、所定範囲内で動く物体などがある場合に、その部分の背景色を適切に推定し、背景画像の品質向上を図る。

［実施例１］
＜構成＞
図４は、実施例１における画像処理装置１０の構成の一例を示すブロック図である。図４に示す画像処理装置１０は、画像格納部１０２と、基本背景画像生成部１０４と、基本背景画像格納部１０６と、背景色推定部１０８と、領域指定部１１０とを有する。

画像格納部１０２は、利用者が撮影した動画像や連続画像などの複数の画像を格納する。画像格納部１０２は、例えばインターネットや他の記録媒体から取得した動画像や連続画像などを格納してもよい。

格納される動画像のデータ形式は、動画像の各フレームを画像データとして取り出せればいずれでもよい。例えば、データ形式には、ＭＰＥＧ（Moving Picture Experts Group）などの動画圧縮技術で圧縮された動画フォーマットや、ＪＰＥＧ（Joint Photographic Experts Group）などの静止画圧縮技術で圧縮された複数の静止画フォーマットなどがある。ここでは、フレームは、例えばフィールドを含む１枚のピクチャを表し、画像は、例えば１枚のフレームである静止画を表す。

基本背景画像生成部１０４は、画像格納部１０２に格納されている動画像や連続画像などの複数の画像に含まれる各フレーム（画像）を統計処理することで背景画像を生成する。基本背景画像生成部１０４は、例えば、公知の技術を適用し、基本となる背景画像を生成する。以降では、基本となる背景画像を、基本背景画像とも称す。基本背景画像の生成処理の詳細は、後述する。

基本背景画像格納部１０６は、基本背景画像生成部１０４で生成された基本背景画像を格納する。

領域指定部１１０は、生成された基本背景画像内のノイズのある部分を処理対象領域として指定する。以降では、この処理対象領域を指定領域とも称する。指定方法としては、領域指定のためのＧＵＩ（Graphical User Interface）を利用者に提供し、利用者に消去したいノイズの領域を指定させてもよい。

また、領域指定部１１０は、基本背景画像の生成に用いた各フレーム内の同位置の画素値の統計処理を行って、処理対象領域を指定してもよい。この指定処理の内容は、後述する。

背景色推定部１０８は、画像格納部１０２に格納されている各フレームと、基本背景画像生成部１０４により生成された基本背景画像とを用いて、領域指定部１１０により指定された領域の背景の画素値を決定して推定する。以降では、背景の画素値を背景色とも呼ぶ。

例えば、背景色推定部１０８は、領域指定部１１０により指定された領域に含まれる対象画素と同位置の各フレームの画素値と、対象画素を含む所定領域内の画素値とを用いて、対象画素の背景色を推定する。背景色推定部１０８は、背景色を推定するため、次の機能を有する。

図５は、背景色推定部１０８の構成の一例を示すブロック図である。図５に示す背景色推定部１０８は、推定制御部２０２と、推定部２０４とを有する。推定部２０４は、候補決定部２０６と、投票部２０８と、背景色決定部２１０とを有する。

推定制御部２０２は、対象画素の選択を行ったり、対象画素の背景色が全て決定するまで推定処理を繰り返し制御したりする。また、推定制御部２０２は、後述する候補色の数、又は投票色の数が、第１閾値以下であれば、繰り返しにおける次回以降の推定処理で背景色を決定させる。第１閾値は、実験などにより適切な値が設定される。

推定部２０４は、対象画素の背景色の推定処理を行う。推定部２０４は、推定方法として次の２つの方法を用いて推定する。まず、方法１について説明する。

（方法１）
方法１において、候補決定部２０６は、対象画素を含む所定領域内で、指定領域以外の各画素の画素値を候補色とする。

投票部２０８は、各フレーム内の対象画素と同位置の各画素値を投票色とし、候補色の中に投票色と近い色があれば、その候補色に一点を投票する。色の近さは、例えばＲＧＢ形式のカラー画像の場合、それぞれのチャネルでの差の絶対値や差の二乗和などを、適切な第２閾値と比較して判定する。第２閾値は、例えば１０や２０などであり、実験などにより適切な値が設定される。

背景色決定部２１０は、投票結果に基づき、候補色の中から最大の得票数を得た色を、対象画素の背景色として決定し、決定された背景色を、対象画素の背景色の推定値として基本背景画像に書き込む。

推定制御部２０２は、推定部２０４の上記処理について、背景色が決定した対象画素を指定領域から除外し、指定領域内の対象画素全ての背景色が決定するまで繰り返す。

推定制御部２０２は、例えば、候補色の数が、第１閾値（例えば３や５など）以下の場合、画質が落ちることを防ぐため、その対象画素については次回以降の繰り返し処理で推定するよう制御する。

（方法２）
方法２において、候補決定部２０６は、各フレーム内の対象画素と同位置の各画素値を候補色とする。

投票部２０８は、対象画素を含む所定領域内で、指定領域以外の各画素の画素値を投票色とし、候補色の中に投票色と近い色があれば、その候補色に一点を投票する。

背景色決定部２１０は、投票結果に基づき、候補色の中から最大の得票数を得た色を、対象画素の背景色として決定し、その背景色を基本背景画像に書き込む。

推定制御部２０２は、推定部２０４の上記処理について、背景色が決定した対象画素を指定領域から除外し、指定領域内の対象画素全ての背景色が決定するまで繰り返す。

推定制御部２０２は、例えば、投票色の数が、第１閾値（例えば３や５など）以下の場合、画質が落ちることを防ぐため、その対象画素については次回以降の繰り返し処理で推定するよう制御する。

これにより、所定範囲内で動く物体などがあるような動画像であっても、この所定範囲について適切な背景色を決定することができ、背景画像の画質を向上させることができる。ここで、各部の具体的な処理について説明する。

《背景画像生成処理》
次に、背景画像生成手法の一例を挙げる。基本背景画像生成部１０４は、対象とする画素（位置）を変更しながら、それぞれの画素について以下の処理を行う。画素位置の変更については、例えば左上の画素から順番に一行ずつ処理するのが一般的である。

（Ａ１）複数のフレームの画素値の抽出
基本背景画像生成部１０４は、複数のフレームから対象とする画素位置の画素値を取り出す。対象とするフレームは、動画の全フレームでも、一定時間内のフレームでも、適当な間隔で取り出したフレームでも、連続画像の中の複数のフレームでもよい。

（Ａ２）背景の画素値の決定
基本背景画像生成部１０４は、取り出した画素値から、最頻値、平均値、中央値などの統計量を求め、その値を背景の画素値として決定する。カラー画像の場合、ＲＧＢやＹＵＶなどのカラーチャネルを持つので、それぞれのチャネルごとに統計処理を行う。

なお、前述したように、ここで生成される基本背景画像には、所定範囲内で揺れ動く物体などがある場合、その部分にノイズが含まれている可能性がある。

《領域指定処理》
次に、領域指定処理の一例を挙げる。領域指定部１１０は、（Ｂ１）〜（Ｂ３）の手順で領域を指定することが可能である。

（Ｂ１）各フレームの画素値の抽出
領域指定部１１０は、複数のフレームから対象とする画素（位置）の画素値を取り出す。領域指定部１１０は、対象となるフレームは基本背景画像生成部１０４で利用したフレームと同じであることが望ましい。

（Ｂ２）指標値の算出
領域指定部１１０は、取り出した画素値からノイズが発生しているかどうかを判定するための指標値を求める。指標値としては、例えば以下の値を利用することができる。
・分散、標準偏差：所定範囲内で動く物体などがある部分では、画素値がばらつくため、分散や標準偏差が大きくなる傾向がある。
・平均値、最頻値の差：所定範囲内で動く物体などがある部分では、この値が大きくなる傾向がある。

（Ｂ３）処理対象領域の判定
領域指定部１１０は、上記の指標値に閾値を設け、指標値と閾値とを比較し、その画素が処理対象領域かどうかを決定する。例えば、領域指定部１１０は、指標値が閾値以上の場合、その画素を指定領域とする。この閾値についても、実験などにより適切な値が設定される。領域指定部１１０は、上記のように決定された指定領域を背景色推定部１０８に通知する。

図６は、領域指定処理を説明するための図である。図６に示す領域ａｒ２０２は、ノイズが残っており、背景画像としては失敗の領域である。領域指定部１１０は、画素位置を順番にずらしながら、（Ｂ２）の指標を求める。

図６に示す領域ａｒ２０４は、指標値を分散値とした場合であり、分散値が第３閾値より小さければ黒色、分散値が第３閾値以上であれば白色で表したときの領域である。つまり、分散値が比較的大きいところが白で表される。なお、どの分散値を白色や黒色とするかは実験などにより適切に設定さればよい。

図６に示す領域ａｒ２０６は、基本背景画像に対し、領域指定部１１０で求めた分散値が第３閾値以上の部分を白抜きにした領域を表す。図６に示す領域ａｒ２０６内で白抜きになっている部分は、各フレームの画素値で分散値が第３閾値以上の部分であり、指定領域を表す。

図６に示す領域ａｒ２１２は、指標値を、平均値と最頻値との差とした場合であり、この差が第４閾値より小さければ黒色、この差が第４閾値以上であれば白色で表したときの領域である。つまり、この差が比較的大きいところが白で表される。なお、どの差値を白色や黒色とするかは、実験などにより適切に設定されればよい。

図６に示す領域ａｒ２１４は、基本背景画像に対して、領域指定部１１０で求めた差が第４閾値以上の部分を白抜きにした領域を表す。図６に示す領域ａｒ２１４内で白抜きになっている部分は、各フレームの画素値の平均値と最頻値との差が第４閾値以上の部分であり、指定領域を表す。

なお、この領域指定処理の計算プログラムとしては、上述の「基本背景画像生成部１０４」で一画素毎に背景の画素値を計算する際に、同時に（Ｂ２）指標値の算出の処理を行うよう実装してもよい。この場合、領域指定部１１０では、（Ｂ３）処理対象領域の判定処理のみを行うようにすればよい。

図７は、指定領域の一例を示す図である。図７に示す例は、画素値の分散値を指標値として、領域指定した場合の例である。領域指定部１１０は、領域指定処理を行うことで、基本背景画像の領域ａｒ３０２部分に対して、ノイズであろう領域ａｒ３０４を指定することができる。

《背景色推定方法１》
背景色推定部１０８は、領域指定部１１０から通知された指定領域の近傍の色（画素値）を候補色とし、それぞれのフレームの対象画素位置の色（画素値）を投票する。具体的には、（Ｃ１）〜（Ｃ４）の手順で行われる。

（Ｃ１）対象画素の選択
推定制御部２０２は、領域指定部１１０で指定された指定領域（例えば、図７の領域ａｒ３０４参照）の画素を順番に対象画素として選択する。

（Ｃ２）投票準備
候補決定部２０６は、まず、基本背景画像内の対象画素の近傍一定範囲を所定領域とし、所定領域内の指定領域外の画素の画素値を候補色とする。候補決定部２０６は、候補色の画素値を投票テーブルの候補色欄に登録する。

なお、候補決定部２０６は、重複する画素値がある場合は重複して登録せず１つの欄で代表する。基本背景画像がカラー画像の場合、ＲＧＢやＹＵＶなどのカラーチャネルを持つので、カラーチャネルの組み合わせを登録する。

図８は、投票準備を説明するための図である。図８に示す領域ａｒ４０２が、対象画素ｐｉ４０２を含む所定領域である。所定領域は、例えば対象画素を中心とする矩形領域である。各画素値ｃｏ４０２は、候補色であり、所定領域ａｒ４０２内の指定領域（白色）以外の色を表す。候補決定部２０６は、図８に示すように、各候補色の値を、投票テーブルに登録する。

（Ｃ３）投票処理
投票部２０８は、各フレームの対象画素と同位置の色を順番に取り出し、投票色とする。投票部２０８は、候補色の中に投票色に近い色がある場合、その候補色へ１点を投票する。例えば、投票部２０８は、候補色と投票色のチャネルの差の二乗和が第２閾値以下であれば投票を行う。

なお、複数の候補色が近いと判定された場合の処理としては、それぞれの候補に１点ずつ投票する方法、最も距離が近い候補に投票する方法、距離に応じて重みを付けて投票する方法などが可能である。

図９は、投票結果の一例を示す図である。図９に示すように、投票部２０８は、対象画素と同位置の各フレームの画素について投票処理を行う。これにより、各候補色に票が入る。

（Ｃ４）背景色の決定
背景色決定部２１０は、各候補色の中から最大の得票数を得た色を対象画素の背景色として決定し、基本背景画像へその値を書き込む。

推定制御部２０２は、背景色が決定した対象画素を指定領域から除外し、指定領域の全ての画素の背景色が決まるまで（Ｃ１）〜（Ｃ４）の処理を繰り返す。繰り返す理由は、図１０に示すように、候補色を取り出す所定領域内がすべて指定領域の場合、投票が成立せず、背景色の推定ができない場合があるためである。

図１０は、背景色の推定ができない一例を示す図である。図１０に示すように、対象画素ｐｉ５０２を含む所定領域ａｒ５０２には、候補色が存在しない。つまり、所定領域ａｒ５０２内全ての画素が、白抜きされている。

推定制御部２０２は、上記の繰り返し処理により、指定領域の周囲から順番に画素値（背景色）を決定することができる。

また、候補色を取り出す所定領域内のほとんどが指定領域の場合、候補色が極端に少なくなり、正しい投票結果が得られにくくなる。そこで、推定制御部２０２又は候補決定部２０６は、（Ｃ３）投票処理の前に候補色の数を判定し、第１閾値以下の場合、（Ｃ３）投票処理と（Ｃ４）背景色の決定を実施しないように制御してもよい。

これにより、誤った投票結果を得る可能性の軽減と処理の高速化が期待できる。この場合も、上述の繰り返し処理により、指定領域の周囲から順番に画素値（背景色）を決定することができる。

《背景色推定方法２》
次に、背景色推定方法２として、それぞれのフレームの対象画素位置の色（画素値）を候補とし、対象領域の近傍の色（画素値）を投票する方法を説明する。

（Ｄ１）対象画素の選択
推定制御部２０２は、領域指定部１１０で指定された指定領域の画素を順番に対象画素として選択する。

（Ｄ２）投票準備
候補決定部２０６は、まず、各フレームの対象画素と同位置の色（画素値）を候補色とする。候補決定部２０６は、候補色の画素値を投票テーブルの候補色欄に登録する。

なお、候補決定部２０６は、重複する画素値がある場合は重複して登録せず１つの欄で代表する。基本背景画像がカラー画像の場合、ＲＧＢやＹＵＶなどのカラーチャネルを持つので、カラーチャネルの組み合わせを登録する。

図１１は、投票準備を説明するための図である。図１１に示すように、各フレーム（１〜ｎ）の対象画素が、候補色となる。候補決定部２０６は、図１１に示すように、各候補色の値を、投票テーブルに登録する。

（Ｄ３）投票処理
投票部２０８は、基本背景画像内の対象画素の近傍一定範囲を所定領域とし、所定領域内の指定領域外の画素の色を順番に取り出し、投票色とする。投票部２０８は、候補色の中に投票色に近い色がある場合、その候補色へ１点を投票する。例えば、投票部２０８は、候補色と投票色のチャネルの差の二乗和が第２閾値以下であれば投票を行う。

なお、複数の候補色が近いと判定された場合の処理としては、それぞれの候補に１点ずつ投票する方法、最も距離が近い候補に投票する方法、距離に応じて重みを付けて投票する方法が可能である。

図１２は、投票結果の一例を示す図である。図１２に示す領域ａｒ６０２が、対象画素ｐｉ６０２を含む所定領域である。各画素値ｃｏ６０２は、投票色であり、所定領域ａｒ６０２内の指定領域（白色）以外の色を表す。投票部２０８は、それぞれの投票色と各候補色と比較して投票処理を行う。これにより、各候補色に票が入る。

（Ｄ４）背景色の決定
背景色決定部２１０は、投票結果に基づいて、候補色の中から最大の得票数を得た色を対象画素の背景色として決定し、基本背景画像へその値を書き込む。

推定制御部２０２は、背景色が決定した対象画素を指定領域から除外し、指定領域の全ての画素の背景色が決まるまで（Ｄ１）〜（Ｄ４）の処理を繰り返す。これは、図１３に示すように、投票色を取り出す所定領域内がすべて指定領域の場合、投票が成立せず背景色の推定ができない場合があるためである。

図１３は、背景色の推定ができない一例を示す図である。図１３に示すように、対象画素ｐｉ７０２を含む所定領域ａｒ７０２には、投票色が存在しない。つまり、所定領域ａｒ７０２内全ての画素が、白抜きされている。

推定制御部２０２は、上記の繰り返し処理により、指定領域の周囲から順番に画素値（背景色）を決定することができる。

また、候補色を取り出す所定領域内のほとんどが指定領域の場合、投票色が極端に少なくなり、正しい投票結果が得られにくくなる。そこで、推定制御部２０２又は候補決定部２０６は、（Ｄ３）投票処理の前に投票色の数を判定し、第１閾値以下の場合、（Ｄ３）投票処理と（Ｄ４）背景色の決定を実施しないように制御してもよい。

これにより、誤った投票結果を得る可能性の軽減と処理の高速化が期待できる。この場合も、上述の繰り返し処理により、指定領域の周囲から順番に画素値（背景色）を決定することができる。

＜動作＞
次に、実施例１における画像処理装置１０の動作について説明する。図１４は、実施例１における背景色推定処理（その１）の一例を示すフローチャートである。図１４に示す処理は、上記の背景色推定方法１に基づく。

ステップＳ１０１で、背景色推定部１０８（推定制御部２０２）は、指定領域内の対象画素の選択を行う。背景色推定部１０８は、ステップＳ１０６、Ｓ１０７でＮＯと判定された場合に、次の対象画素を選択する。選択処理は、所定の順序（例えば、ｚスキャンのように、左上か右下方向）で行えばよい。

ステップＳ１０２で、背景色推定部１０８（候補決定部２０６）は、所定領域内で、指定領域以外の各画素の画素値を候補色とする。

ステップＳ１０３で、背景色推定部１０８（推定制御部２０２）は、候補色の数が第１閾値以下であるか否かを判定する。候補色の数が第１閾値以下であれば（ステップＳ１０３−ＹＥＳ）ステップＳ１０１に戻り、候補色の数が第１閾値以下であれば（ステップＳ１０３−ＮＯ）ステップＳ１０４に進む。

ステップＳ１０４で、背景色推定部１０８（投票部２０８）は、各フレーム内で、対象画素と同位置の各画素の画素値を投票色とし、候補色と近い色があれば、この候補色に１点を投票する。

ステップＳ１０５で、背景色推定部１０８（背景色決定部２１０）は、投票結果に基づき、最も得票数を得た候補色を背景色に決定し、基本背景画像に書き込んで背景画像を修正する。

ステップＳ１０６で、背景色推定部１０８（推定制御部２０２）は、指定領域内全ての対象画素に対し、推定処理を行ったかを判定する。全ての対象画素に対し推定処理を行っていれば（ステップＳ１０６−ＹＥＳ）ステップＳ１０７に進み、全ての対象画素に対し推定処理を行っていなければ（ステップＳ１０６−ＮＯ）ステップＳ１０１に戻る。

ステップＳ１０７で、背景色推定部１０８（推定制御部２０２）は、指定領域内全ての対象画素で、背景色が決定されたか否かを判定する。背景色が全て決定されていれば（ステップＳ１０７−ＹＥＳ）処理を終了し、背景色が全て決定されていなければ（ステップＳ１０７−ＮＯ）ステップＳ１０１に戻る。

図１５は、実施例１における背景色推定処理（その２）の一例を示すフローチャートである。図１５に示す処理は、上記の背景色推定方法５に基づく。

図１５に示すステップＳ２０１、Ｓ２０５〜Ｓ２０７は、図１４に示すステップＳ１０１、Ｓ１０５〜Ｓ１０７と同様であるため、その説明を省略する。

ステップＳ２０２で、背景色推定部１０８（候補色決定部２０６）は、対象画素と同位置の各フレームの各画素の画素値を候補色とする。

ステップＳ２０３で、背景色推定部１０８（推定制御部２０２）は、投票色の数が、第１閾値以下であるか否かを判定する。投票色は、所定領域内で、指定領域以外の各画素の画素値である。

投票色の数が第１閾値以下であれば（ステップＳ２０３−ＹＥＳ）ステップＳ２０１に戻り、投票色の数が第１閾値以下であれば（ステップＳ２０３−ＮＯ）ステップＳ２０４に進む。

ステップＳ２０４で、背景色推定部１０８（投票部２０８）は、それぞれの投票色について、候補色と近い色があれば、この候補色に１点を投票する。

以上の処理を行うことで、「所定範囲内で動いているものがある領域」の背景色を適切に推定することができる。これにより、観賞に適した背景画像を生成することができ、開示の技術が想定する「通行人や通行車両を消去し被写体のみを残した写真を生成する」機能などへの応用が可能となる。また、実施例によれば、背景画像を生成する際、揺れ動く物体などによるノイズを適切に消去することで、背景画像の画質を向上させることができる。

［実施例２］
次に、実施例２における画像処理装置について説明する。実施例２では、実施例１で説明した背景色を適切に推定した背景画像の生成処理を携帯端末で行う。実施例２における画像処理装置として、スマートフォン端末を例にして説明する。

つまり、スマートフォン端末上に「通行人や通行車両を消去し、被写体のみを残した写真（背景画像）を生成する」機能やアプリケーションを実装する場合を示す。一般にスマートフォン端末には、主要なユーザインタフェースとなる「タッチパネルディスプレイ」、静止画や動画を撮影するための「内蔵カメラ」、稼働中のプログラムやデータの一時保存場所となる「内蔵メモリー」、長期間データを保存するためのストレージとして「内蔵ＲＯＭやＳＤカード」が搭載されている。実施例２では、これらのデバイスを活用し、以下の構成を有することで実現できる。

＜構成＞
図１６は、実施例２における画像処理装置２０の構成の一例を示すブロック図である。図１６に示す画像処理装置２０は、カメラ２０２と、メモリー２０４と、ストレージ２０６と、ユーザインタフェース２０８と、プロセッサ２１０とを有する。

カメラ２０２は、利用者が撮影したい対象を画像として取り込む。動画像は連続したフレーム画像（単にフレームとも呼ぶ）として取り込むことができる。カメラ２０２は、画像処理装置２０の内蔵カメラを活用する。

利用者は、撮影したい対象（景色、建物、人物など）へカメラ２０２を向けた状態で固定し、通行人や通行車両も含めて５〜１０秒程度の動画像や、連続写真（連続画像）を撮影する。

メモリー２０４は、例えば、画像処理装置２０の内蔵ＲＡＭ（Random
Access Memory）であり、動画用ワーキングメモリー２４２と、背景画像生成プログラム２４６と、結果画像用ワーキングメモリー２４８とを含む。

動画用ワーキングメモリー２４２は、カメラ２０２で取り込んだ動画像などを一時的に保存する。動画像は、連続したフレームとして連続したメモリー空間に順番に記録する。各フレーム内の情報は、画像の左上から右下に向かって横方向に走査する順番で色情報（ＲＧＢ形式やＹＵＶ形式など）をメモリー２０４上に記録する。この領域は端末の内蔵ＲＡＭ上へ確保する。動画用ワーキングメモリー２４２は、例えば図４に示す画像格納部１０２に対応する。

背景画像生成プログラム２４６は、動画用ワーキングメモリー２４２に保存されている動画像（連続したフレーム）から、実施例１で説明した背景色の推定処理を適用し、背景画像を生成する。背景画像生成プログラム２４６は、ストレージ２０６に格納されており、プロセッサ２１０から読み出されてメモリー２０４上にロードされることで、その機能を実行する。

背景画像生成プログラム２４６は、例えば図４に示す基本背景画像生成部１０４、基本背景画像格納部１０６、背景色推定部１０８、領域指定部１１０に対応する。

結果画像用ワーキングメモリー２４８は、背景画像生成プログラム２４６が最終的に生成した背景画像を一時的に保存する。この保存領域は、画像処理装置２０のメモリー２０４上に確保する。

ストレージ２０６は、例えば画像処理装置２０の内蔵ＲＯＭ（Read
Only Memory）やＳＤカードなどであり、ストレージ２０６は、動画保存用ストレージ２６２と、画像保存用ストレージ２６４とを含む。

動画保存用ストレージ２６２は、例えば、撮影した動画像などを長期的に保存する。動画用ワーキングメモリー２４２は、アプリケーションを停止すると削除されてしまう。動画保存用ストレージ２６２が、撮影された動画像を保存しておくことで、一度アプリケーションを停止しても、後からアプリケーションを起動し、動画用ワーキングメモリー２４２に動画像を読み込むことで、このアプリケーションは、背景画像生成処理だけを行うこともできる。

通常、スマートフォン端末には、様々なアプリケーションから共通に利用できる、動画像を内蔵ＲＯＭやＳＤカード上に保存する標準的な仕組みが用意されている。よって、この仕組みを利用して、動画保存用ストレージ２６２に動画像が格納される。これにより、別のアプリケーション（動画像の撮影、動画像のダウンロード、動画像の加工など）で準備した動画像が動画保存用ストレージ２６２に保存されておけば、本アプリケーションでその動画像に対して背景画像処理を行うこともできる。

画像保存用ストレージ２６４は、例えば、最終的に生成された背景画像を長期的に保存する。最終的に生成された背景画像は、結果画像とも呼ぶ。結果画像用ワーキングメモリー２４８は、アプリケーションを停止すると削除されてしまう。画像保存用ストレージ２６４が、生成された背景画像（結果画像）を保存しておくことで、利用者は、繰り返し背景画像を読み込んで鑑賞することができる。

通常、スマートフォン端末には、様々なアプリケーションから共通に利用できる、動画像を内蔵ＲＯＭやＳＤカード上に保存する標準的な仕組みが用意されている。よって、この仕組みを利用して、画像保存用ストレージ２６４に結果画像が格納される。これにより、本アプリケーションで生成した背景画像、又は背景画像が連続した動画像を別のアプリケーション（アルバム、画像のアップロードや共有、画像の加工など）で活用することができる。

ユーザインタフェース２０８は、例えばタッチパネルディスプレイであり、操作用ＵＩ２８２、画像表示領域２８４を含む。

操作用ＵＩ２８２は、利用者がアプリケーションに様々な指示を出すためのインタフェースを提供する。操作用ＵＩ２８２は、撮影の開始と終了の指示を出すための「処理ボタン」、処理対象の動画をカメラ入力や「動画保存用ストレージ２６２」内の動画像から選択するための「入力選択ボタン」、背景画像を保存するための「保存ボタン」などを配置する。操作用ＵＩ２８２は、例えばスマートフォン端末のタッチパネルディスプレイ上へＧＵＩ（Graphical User Interface）の一部として実装される。

画像表示領域２８４は、利用者が撮影中の動画像や生成された背景画像を確認するための表示領域を提供する。画像表示領域２８４は、撮影中の動画像を表示（ファインダーの役割）や読み込んだ動画像の表示（プレビュー機能）を行う「入力動画領域」、生成した背景画像を表示する「処理結果領域」などを配置する。画像表示領域２８４は、スマートフォン端末のタッチパネルディスプレイ上へＧＵＩの一部として実装される。

プロセッサ２１０は、画像処理装置２０の中で、各装置の制御やデータの演算、加工を行うＣＰＵ（Central Processing Unit）である。また、プロセッサ２１０は、ストレージ２０６やメモリー２０４に記憶されたプログラムを実行する演算装置である。

また、プロセッサ２１０は、例えばストレージ２０６に記憶される背景画像生成プログラム２４６を読み込んで、メモリー２０４上にロードすることで、背景画像生成プログラムの処理を実行する。

図１７は、画像処理装置２０のユーザインタフェース２０８の一例を示す図である。図１７に示す例では、タッチパネルディスプレイ上に、処理結果の表示領域ａｒ８０２と、入力動画の表示領域ａｒ８０４とが表示される。表示領域ａｒ８０２には、背景画像生成処理により生成された背景画像（結果画像）が表示される。表示領域ａｒ８０４には、処理対象の動画像や連続画像を表示する領域である。表示領域ａｒ８０２と表示領域ａｒ８０４とは、例えば画像表示領域２８４に対応する。

また、図１７に示すタッチパネルディスプレイ上には、入力選択ボタンｂ８０２、保存ボタンｂ８０４、処理ボタンｂ８０６が表示される。入力選択ボタンｂ８０２は、カメラ２０２から撮影された動画像、又は動画保存用ストレージ２６２に保存されている動画像などから、処理対象の動画像を選択するためのボタンである。

保存ボタンｂ８０４は、表示領域ａｒ８０２に表示された結果画像を画像保存用ストレージ２６４に保存するためのボタンである。処理ボタンｂ８０６は、実施例における背景画像生成処理を開始するためのボタンである。入力選択ボタンｂ８０２、保存ボタンｂ８０４、処理ボタンｂ８０６は、例えば操作用ＵＩ２８２に対応する。

なお、前述した各実施例で説明した背景画像生成処理を実現するためのプログラムを記録媒体に記録することで、各実施例での背景画像生成処理をコンピュータに実施させることができる。例えば、このプログラムを記録媒体に記録し、このプログラムが記録された記録媒体をコンピュータや携帯装置に読み取らせて、前述した背景画像生成処理を実現させることも可能である。

なお、記録媒体は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリー等、様々なタイプの記録媒体を用いることができる。

開示の実施例は、動画撮影機能や連続写真撮影機能を有する携帯端末やデジタルカメラ、又は携帯端末に本機能を追加するアプリケーション、写真や動画を加工するためのパーソナルコンピュータ向けソフトウェアに活用できる。また、開示の技術は、利用者が動画や写真をアップロードして蓄積する写真（又は動画）共有サービスの一機能として活用することもできる。

よって、開示の技術は、上記の製品やサービスに、通行人や通行車両の多い観光地などでの撮影時に、「通行人や通行車両などの動くものを消去し、被写体のみを残した写真を生成する」機能を提供する。これにより、利用者に利便性と娯楽性を提供することができ、上記の製品やサービスの価値が向上する。なお、上述した背景画像とは、複数のフレームから動く対象物を消去して残った画像を示し、被写体を含む画像である。

以上、実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、前述した各実施例の構成要素を全部又は複数を組み合わせることも可能である。

なお、以上の各実施例に関し、さらに以下の付記を開示する。
（付記１）
複数の画像に含まれる各画像を統計処理することで背景画像を生成する背景画像生成部と、
前記背景画像の領域を指定する領域指定部と、
前記指定された領域に含まれる対象画素と同位置の前記各画像の画素値と、前記対象画素を含む所定領域内の画素値とを用いて、前記対象画素の背景色を決定する背景色推定部と
を有する画像処理装置。
（付記２）
前記背景色推定部は、
前記所定領域内で、前記指定された領域以外の各画素の画素値を候補とし、前記各画像内の前記対象画素と同位置の各画素値を前記候補に投票した投票結果に基づいて、前記対象画素の背景色を決定する付記１記載の画像処理装置。
（付記３）
前記背景色推定部は、
前記対象画素の背景色が全て決定されるまで推定処理を繰り返す場合、前記候補の数が閾値以下となる対象画素について、次回以降で前記対象画素の背景色の決定を行う付記２記載の画像処理装置。
（付記４）
前記背景色推定部は、
前記各画像内の前記対象画素と同位置の各画素値を候補とし、前記所定領域内で、前記指定された領域以外の画素の画素値を前記候補に投票した投票結果に基づいて、前記対象画素の背景色を決定する付記１記載の画像処理装置。
（付記５）
前記背景色推定部は、
前記対象画素の背景色が全て決定されるまで推定処理を繰り返す場合、投票する画素値の数が閾値以下となる対象画素について、次回以降で前記対象画素の背景色の決定を行う付記４記載の画像処理装置。
（付記６）
前記領域指定部は、
前記各画像内の同位置の画素値の統計処理を行って前記領域を指定する付記１乃至５いずれか一項に記載の画像処理装置。
（付記７）
前領域指定部は、
前記各画像内の同位置の画素値の分散値、又は平均値と最頻値との差に基づいて前記領域を指定する付記６記載の画像処理装置。
（付記８）
複数の画像に含まれる各画像を統計処理することで背景画像を生成し、
前記背景画像の領域を指定し、
前記指定された領域に含まれる対象画素と同位置の前記各画像の画素値と、前記対象画素を含む所定領域内の画素値とを用いて、前記対象画素の背景色を決定する処理を
コンピュータが実行する画像処理方法。
（付記９）
複数の画像に含まれる各画像を統計処理することで背景画像を生成し、
前記背景画像の領域を指定し、
前記指定された領域に含まれる対象画素と同位置の前記各画像の画素値と、前記対象画素を含む所定領域内の画素値とを用いて、前記対象画素の背景色を決定する処理を
コンピュータに実行させるためのプログラム。

１０、２０ 画像処理装置
１０２ 画像格納部
１０４ 基本背景画像生成部
１０６ 基本背景画像格納部
１０８ 背景色推定部
１１０ 領域指定部
２０２ カメラ
２０４ メモリー
２１０ プロセッサ

Claims (8)

1. 複数の画像に含まれる各画像を統計処理することで背景画像を生成する背景画像生成部と、
   前記背景画像の領域を指定する領域指定部と、
   前記指定された領域に含まれる対象画素と同位置の前記各画像の画素値と、前記対象画素を含む所定領域で、前記指定された領域以外の各画素の画素値とを用いて、前記対象画素の背景色を決定する背景色推定部と
   を有する画像処理装置。
2. 前記背景色推定部は、
   前記所定領域内で、前記指定された領域以外の各画素の画素値を候補とし、前記各画像内の前記対象画素と同位置の各画素値を前記候補に投票した投票結果に基づいて、前記対象画素の背景色を決定する請求項１記載の画像処理装置。
3. 前記背景色推定部は、
   前記対象画素の背景色が全て決定されるまで推定処理を繰り返す場合、前記候補の数が閾値以下となる対象画素について、次回以降で前記対象画素の背景色の決定を行う請求項２記載の画像処理装置。
4. 前記背景色推定部は、
   前記各画像内の前記対象画素と同位置の各画素値を候補とし、前記所定領域内で、前記指定された領域以外の画素の画素値を前記候補に投票した投票結果に基づいて、前記対象画素の背景色を決定する請求項１記載の画像処理装置。
5. 前記背景色推定部は、
   前記対象画素の背景色が全て決定されるまで推定処理を繰り返す場合、投票する画素値の数が閾値以下となる対象画素について、次回以降で前記対象画素の背景色の決定を行う請求項４記載の画像処理装置。
6. 前記領域指定部は、
   前記各画像内の同位置の画素値の統計処理を行って前記領域を指定する請求項１乃至５いずれか一項に記載の画像処理装置。
7. 複数の画像に含まれる各画像を統計処理することで背景画像を生成し、
   前記背景画像の領域を指定し、
   前記指定された領域に含まれる対象画素と同位置の前記各画像の画素値と、前記対象画素を含む所定領域で、前記指定された領域以外の各画素の画素値とを用いて、前記対象画素の背景色を決定する処理を
   コンピュータが実行する画像処理方法。
8. 複数の画像に含まれる各画像を統計処理することで背景画像を生成し、
   前記背景画像の領域を指定し、
   前記指定された領域に含まれる対象画素と同位置の前記各画像の画素値と、前記対象画素を含む所定領域で、前記指定された領域以外の各画素の画素値とを用いて、前記対象画素の背景色を決定する処理を
   コンピュータに実行させるためのプログラム。