JPWO2013150829A1 - 画像処理装置、画像処理装置の制御方法およびプログラム - Google Patents

Abstract

躍動感のある画像を生成する。画像処理装置は、移動体取得部、移動方向取得部、後部領域検出部、および、平滑化処理部を具備する。移動体取得部は、時系列に沿って連続する複数の画像のうちの少なくとも１つの画像である対象画像において移動体の領域を取得する。移動方向取得部は、移動体の移動方向を取得する。移動方向取得部は、移動体の領域において移動方向に対して後方の部分の領域を後部領域として検出する。後部領域処理部は、後部領域において所定の画像処理を実行する。

Description

本技術は、画像処理装置、その制御方法および当該方法をコンピュータに実行させるためのプログラムに関する。詳しくは、平滑化処理を実行する画像処理装置、その制御方法および当該方法をコンピュータに実行させるためのプログラムに関する。

従来、撮像機器で撮像された画像に対して、画像処理装置により、様々な画像処理が実行されることがあった。例えば、画像処理装置が、動画内の画像を選択して、選択した画像の画風を絵画調に変更する技術が提案されている（特許文献１および特許文献２参照。）。また、画像処理装置が被写体までの距離を検出して、画像に対して、その距離に応じた度合いのぼかし処理（すなわち、平滑化処理）を実行する技術が提案されている（例えば、特許文献３参照。）。

特開２０１１−１７０４０２号公報 特開２０１１−１８２２１３号公報 特開２００３−０３７７６７号公報

しかしながら、上述の従来技術では、躍動感のある画像を生成することができなかった。移動体の撮影においては、撮影者が、画像の一部にブレが生じるようにシャッタースピード等を調整することにより、移動体のスピード感や動きの迫力が表現された画像を撮影することがある。上述の従来技術では、このような撮影手法を用いずに撮影された画像から、躍動感のある画像を生成することができなかった。

本技術はこのような状況に鑑みて生み出されたものであり、躍動感のある画像を生成することを目的とする。

本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、 時系列に沿って連続する複数の画像のうちの少なくとも１つの画像である対象画像において移動体の領域を取得する移動体取得部と、上記移動体の移動方向を取得する移動方向取得部と、上記移動体の領域において上記移動方向に対して後方の部分の領域を後部領域として検出する後部領域検出部と、上記後部領域において所定の画像処理を実行する後部領域処理部とを具備する画像処理装置、および、その制御方法ならびに当該方法をコンピュータに実行させるためのプログラムである。これにより、移動体の後部領域について移動方向に沿って平滑化処理が実行されるという作用をもたらす。

また、この第１の側面において、上記移動体取得部は、上記対象画像において上記移動体の領域を検出してもよい。これにより、対象画像において後部領域が検出されるという作用をもたらす。

また、この第１の側面において、上記対象画像は複数の所定形状のブロックを含み、上記移動体取得部は、ブロックマッチングアルゴリズムを使用して上記ブロック毎に当該ブロックの動き量を求めて当該動き量が所定の閾値を超えるブロックからなる領域を上記移動体の領域として検出してもよい。これにより、動き量が所定の閾値を超えるブロックからなる領域が移動体の領域として検出されるという作用をもたらす。

また、この第１の側面において、上記移動体取得部は、上記複数の画像のうち上記対象画像の１つ前の画像である基準画像において上記移動体の領域をさらに取得し、上記移動方向取得部は、上記基準画像における上記移動体の領域内の特定の座標から上記対象画像における上記移動体の領域内の特定の座標への方向を上記移動方向として検出してもよい。これにより、移動体において検出された移動方向に対して後方の部分の領域が後部領域として検出されるという作用をもたらす。

また、この第１の側面において、上記後部領域検出部は、上記対象画像内で上記移動方向に位置を変更した上記後方の部分の輪郭線と上記変更前の上記輪郭線とに囲まれる領域を上記後部領域として検出してもよい。これにより、移動前後の輪郭線に囲まれる領域が上記後部領域として検出されるという作用をもたらす。

また、この第１の側面において、上記後部領域検出部は、上記対象画像内で上記移動方向に位置を変更した上記移動体の領域をマスク領域として上記変更前の上記移動体の領域においてマスクすることにより生成された領域を上記後部領域として検出してもよい。これにより、移動方向に位置を変更した移動体の領域をマスク領域として移動体の領域においてマスクすることにより生成された領域が後部領域として検出されるという作用をもたらす。

また、この第１の側面において、上記後部領域検出部は、上記移動体の移動速度を検出する移動速度検出部と、上記移動速度に応じた変更量に従って上記位置を変更した上記移動体の領域を上記マスク領域として上記マスクを行うマスク処理部とを備えてもよい。これにより、移動速度に応じた変更量で位置が変更された移動体の領域をマスク領域としてマスクが行われるという作用をもたらす。

また、この第１の側面において、上記後部領域検出部は、上記対象画像において上記移動体の領域を上記移動方向に拡大する拡大部をさらに備え、上記マスク処理部は、上記拡大部により拡大された上記移動体の領域である拡大領域の位置を上記移動方向に変更した領域を上記マスク領域として上記変更前の上記拡大領域において上記マスクを行ってもよい。これにより、移動方向に位置を変更した拡大領域をマスク領域として拡大領域においてマスクすることにより生成された領域が後部領域として検出されるという作用をもたらす。

また、この第１の側面において、上記所定の画像処理は、上記移動方向に沿った平滑化処理であってもよい。これにより、移動方向に沿って平滑化処理が行われるという作用をもたらす。

また、この第１の側面において、上記平滑化処理は、上記後部領域について上記移動方向に沿って上記移動速度に応じた度合いの上記平滑化処理を実行してもよい。これにより、後部領域について移動速度に応じた度合いの平滑化処理が実行されるという作用をもたらす。

また、この第１の側面において、上記拡大部は、上記移動体の領域を上記移動速度に応じて上記移動方向に拡大してもよい。これにより、移動体の領域が移動速度に応じて拡大されるという作用をもたらす。

また、この第１の側面において、上記対象画像は、上記複数の画像のうちのいずれか１つの画像であり、上記後部領域検出部は、上記移動体の後方の部分において複数の上記後部領域を検出し、上記平滑化処理部は、複数の上記後部領域について上記平滑化処理を実行した複数の画像を生成してもよい。これにより、複数の後部領域が検出されて、それらに平滑化処理が実行された画像が生成されるという作用をもたらす。

また、この第１の側面において、上記後部領域処理部は、上記移動方向に沿った方向における上記後部領域内の画素値の分布を表す周期関数の振幅に応じた広さの通過帯域を有するローパスフィルタを使用して上記平滑化処理を実行してもよい。これにより、周期関数の振幅に応じた広さの通過帯域を有するローパスフィルタを使用して平滑化処理が実行されるという作用をもたらす。

また、この第１の側面において、上記対象画像の１つ前の画像である基準画像と上記対象画像とにおいて共通の領域が重なるように上記基準画像の位置に上記対象画像の位置を合わせる位置合わせ処理部をさらに備え、上記移動体検出部は、上記位置を合わせた上記対象画像において上記移動体を検出してもよい。これにより、位置合わせ処理が行われた対象画像において移動体が検出されるという作用をもたらす。

また、この第１の側面において、上記後部領域処理部は、上記対象画像における上記移動体以外の領域について上記移動方向に沿って上記後部領域とは異なる度合いの平滑化処理をさらに実行してもよい。これにより、移動体以外の領域について、後部領域とは異なる度合いの平滑化処理が実行されるという作用をもたらす。

また、この第１の側面において、上記後部領域に含まれる線分のうち上記移動方向に沿った線分を強調する強調処理部をさらに具備してもよい。これにより、移動方向に沿った線分が強調されるという作用をもたらす。

また、この第１の側面において、上記所定の画像処理は、上記後部領域を所定の色により塗り潰す処理であってもよい。これにより、後部領域が所定の色により塗り潰されるという作用をもたらす。

本技術によれば、画像処理装置が、躍動感のある画像を生成することができるという優れた効果を奏し得る。

第１の実施の形態における情報処理装置の一構成例を示すブロック図である。 第１の実施の形態における画像処理装置の一構成例を示すブロック図である。 第１の実施の形態における移動体検出部の一構成例を示すブロック図である。 第１の実施の形態における移動ベクトル検出部の一構成例を示すブロック図である。 第１の実施の形態における後部領域検出部の一構成例を示すブロック図である。 第１の実施の形態における画像処理装置の動作の一例を示すフローチャートである。 第１の実施の形態における入力画像データの一例を示す図である。 第１の実施の形態における画素値の分布例を示す図である。 第１の実施の形態における移動領域データの一例を示す図である。 第１の実施の形態における重心および移動ベクトルの一例を示す図である。 第１の実施の形態における移動体領域データ、拡張領域データ、マスク領域データ、および、後部領域データの一例を示す図である。 第１の実施の形態における出力画像データの一例を示す図である。 第１の実施の形態の第２の変形例における画像処理装置の一構成例を示すブロック図である。 第１の実施の形態の第２の変形例における出力画像データの一例を示す図である。 第１の実施の形態の第３の変形例における画像処理装置２００の一構成例を示すブロック図である。 第１の実施の形態の第４の変形例における画像処理装置２００の一構成例を示すブロック図である。 第２の実施の形態における画像処理装置の一構成例を示すブロック図である。 第２の実施の形態における後部領域検出部の一構成例を示すブロック図である。 第２の実施の形態における後部領域データの一例を示す図である。 第２の実施の形態における移動体の後部の一例を示す図である。 第２の実施の形態における出力画像データの一例を示す図である。 第２の実施の形態の第３の変形例における関数Ｓの軌跡の一例を示す図である。 第３の実施の形態における画像処理装置の一構成例を示すブロック図である。 第３の実施の形態における動画データの撮影方法を説明するための図である。 第３の実施の形態における位置合わせ処理部の一構成例を示すブロック図である。 第３の実施の形態における入力画像データの一例を示す図である。 第３の実施の形態における位置をオフセットにより補正した画像データの一例を示す図である。 第３の実施の形態における平滑化処理部の一構成例を示すブロック図である。 第３の実施の形態における出力画像データの一例を示す図である。

以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（画像処理：後部領域について平滑化処理を実行する例）
２．第２の実施の形態（画像処理：１つの移動体内の複数の後部領域について平滑化処理を実行する例）
３．第３の実施の形態（画像処理：位置合わせ後の画像における後部領域について平滑化処理を実行する例）

＜１．第１の実施の形態＞
［情報処理装置の構成例］
図１は、第１の実施の形態における情報処理装置１００の一構成例を示すブロック図である。この情報処理装置１００は、動画データの撮像や、その動画データに対する画像処理などの各種の情報処理を実行する装置である。情報処理装置１００は、撮像部１１０、制御部１２０、表示部１３０、入出力インターフェース１４０、動画データ記憶部１５０、バス１６０、および、画像処理装置２００を備える。

撮像部１１０は、移動体などの被写体を撮像して動画データを生成するものである。この動画データは、時系列に沿って連続する複数の画像データを含むものである。撮像部１１０は、生成した動画データを動画データ記憶部１５０に出力する。

制御部１２０は、情報処理装置１００全体を制御するものである。制御部１２０は、例えば、撮像部１１０に動画データを生成させる制御や、動画データに対する画像処理を画像処理装置２００に実行させる制御を行う。

表示部１３０は、動画データを表示するものである。入出力インターフェース１４０は、情報処理装置１００の外部の装置へのデータの出力と、外部の装置からのデータの入力とを行うものである。入出力されるデータは、動画データなどを含む。動画データ記憶部１５０は、動画データを記憶するものである。バス１６０は、撮像部１１０、制御部１２０、表示部１３０、入出力インターフェース１４０、動画データ記憶部１５０、および、画像処理装置２００がデータを送受信するための共通の経路である。

画像処理装置２００は、動画データ内の画像データに対して、所定の画像処理を実行するものである。この画像処理装置２００は、動画データ記憶部１５０から、信号線２０８を介して複数の画像データを入力画像データとして読み出す。画像処理装置２００は、これらの入力画像データのうちの少なくとも１つにおける画像を対象画像として、その対象画像において移動体を検出する。そして、画像処理装置２００は、その移動体の移動方向を検出する。画像処理装置２００は、その移動体において、移動方向に対して後方の部分の領域を後部領域として検出する。画像処理装置２００は、検出した後部領域について移動方向に沿って平滑化処理を実行する。画像処理装置２００は、平滑化処理後の画像データを出力画像データとして信号線２０９を介して表示部１３０などへ出力する。

［画像処理装置の構成例］
図２は、第１の実施の形態における画像処理装置２００の一構成例を示すブロック図である。画像処理装置２００は、移動体検出部２２０、移動ベクトル検出部２３０、後部領域検出部２４０、および、平滑化処理部２５０を備える。

移動体検出部２２０は、入力画像データにおいて移動体を検出するものである。この移動体検出部２２０は、例えば、ｎ（ｎは２以上の整数）個の入力画像データＩ₀乃至Ｉ_n-1の各々において、移動体を検出する。移動体の検出方法の詳細については後述する。移動体検出部２２０は、検出した移動体の領域を示すデータを移動体領域データＭ₀乃至Ｍ_n-1として移動ベクトル検出部２３０および後部領域検出部２４０に信号線２２９を介して供給する。移動体領域データは、例えば、移動体の領域内の画素の画素値を「１」、それ以外の画素値を「０」とした画像データである。なお、移動体検出部２２０は、特許請求の範囲に記載の移動体取得部の一例である。

移動ベクトル検出部２３０は、移動体の移動方向を検出するものである。例えば、移動ベクトル検出部２３０は、対象画像の１つ前の画像を、その対象画像に対応する基準画像とする。そして、移動ベクトル検出部２３０は、基準画像における移動体内の特定の座標（例えば、重心の座標）を起点とし、対象画像の移動体内の特定の座標を終点とするベクトルを移動ベクトル（すなわち、移動方向）として検出する。ただし、ｎ個の入力画像データのうち、時系列において最初の入力画像データについては対応する基準画像が存在しないため、移動ベクトル検出部２３０は、２個目以降のｎ−１個の入力画像データの各々において移動ベクトルを検出する。移動ベクトル検出部２３０は、検出した移動ベクトルＶ₁乃至Ｖ_n-1を後部領域検出部２４０および平滑化処理部２５０に信号線２３９を介して供給する。

なお、移動ベクトル検出部２３０は、特許請求の範囲に記載の移動方向取得部の一例である。また、移動ベクトル検出部２３０は、２個目以降の入力画像データについて移動ベクトルを求めているが、最初の入力画像データについても移動ベクトルを求めてもよい。例えば、移動ベクトル検出部２３０は、２個目の移動ベクトルＶ₁と同一のベクトルを最初の入力画像データについての移動ベクトルＶ₀として補間してもよい。

後部領域検出部２４０は、移動ベクトルが検出された入力画像データの各々において、その移動ベクトルに対する後方の部分の領域を後部領域として検出する。後部領域の検出方法の詳細については後述する。後部領域検出部２４０は、検出した後部領域を示す後部領域データＢ₁乃至Ｂ_n-1を平滑化処理部２５０に信号線２４９を介して供給する。後部領域データは、例えば、後部領域内の画素の画素値を「１」、それ以外の画素値を「０」とした画像データである。

平滑化処理部２５０は、後部領域について移動方向に沿って平滑化処理を実行するものである。平滑化処理部２５０は、後部領域が検出された２個目以降の入力画像データの各々の後部領域において、移動ベクトルの方向に沿って平滑化処理を実行する。平滑化処理部２５０は、例えば、移動平均フィルタを使用して、平滑化を行う。この移動平均フィルタにおいては、平滑化処理後の画素値は、例えば、次の式１および式２から算出される。

式１において、Ｐ₀乃至Ｐ_K-1は、平滑化処理前の移動体領域内の画素の画素値である。これらの画素値のうち、Ｐ₁乃至Ｐ_K-1は、Ｐ₀に対応する画素から見て、移動方向に並ぶ画素の画素値である。例えば、Ｐ₀が座標（０，０）の画素値であり、移動方向がＸ軸方向である場合、座標（１，０）乃至（Ｋ−１，０）の画素値がＰ₁乃至Ｐ_K-1として式１に入力される。Ｋは、平滑化の度合いであり、具体的には、移動平均フィルタのフィルタ次数である。Ｐ₀'は、Ｐ₀に対応する画素における、平滑化処理後の画素値である。式２において、｜Ｖ｜は、２フレーム間における移動ベクトルの大きさ（言い換えれば、移動体の移動速度）である。αは、所定の係数であり、実数が設定される。平滑化処理部２５０は、平滑化処理後の画像データを出力画像データＯ₁乃至Ｏ_n-1として出力する。

なお、平滑化処理部２５０は、２個目以降の入力画像データの全てに対して平滑化処理を実行しているが、それらの入力画像データのうちの一部（例えば、いずれか１つの入力画像データ）に対してのみ平滑化処理を実行してもよい。また、平滑化処理部２５０は、移動平均フィルタを使用して平滑化処理を実行しているが、移動平均フィルタ以外のフィルタ（例えば、ガウシアンフィルタ）を使用して平滑化処理を実行してもよい。また、平滑化処理部２５０は、平滑化の度合い（Ｋ）を移動速度（｜Ｖ｜）に応じた値としているが、移動速度に関らず、Ｋを一定の値として平滑化処理を実行してもよい。また、平滑化処理部２５０は、特許請求の範囲の後部領域処理部の一例である。

図３は、第１の実施の形態における移動体検出部２２０の一構成例を示すブロック図である。移動体検出部２２０は、画素選択部２２１、背景基準値算出部２２２および移動体領域抽出部２２３を備える。

画素選択部２２１は、ｎ個の入力画像データＩ₀乃至Ｉ_n-1において対応する座標のｎ個の画素値を選択するものである。例えば、入力画像データのそれぞれが、座標（０，０）乃至（ｗ−１，ｈ−１）のｗ×ｈ個（ｗおよびｈは１以上の整数）の画素からなる場合、画素選択部２２１は、ｎ個の入力画像データの中から座標（０，０）の画素値をそれぞれ選択する。これによりｎ個の画素値が選択される。画素選択部２２１は、次に、ｎ個の入力画像データのそれぞれにおいて、座標（０，１）の画素値を選択する。これにより、次のｎ個の画素値が選択される。この要領で、最終的には、入力画像データＩ₀乃至Ｉ_n-1に対して、ｎ個の画素値が、ｗ×ｈ組分選択されることになる。これらの選択された画素値は、背景基準値算出部２２２および移動体領域抽出部２２３に供給される。

背景基準値算出部２２２は、入力画像データにおける画素が背景の画素であるか否かを判断する際の基準値を座標毎に算出するものである。背景基準値算出部２２２は、ｗ×ｈ組の各々において、例えば、最頻値を基準値として算出する。これは、ｎ枚の連続する画像において、出現頻度が高い画素値の画素は、背景である可能性が高いと推定されるためである。背景基準値算出部２２２は、算出した基準値Ｖ（０，０）乃至Ｖ（ｗ−１，ｈ−１）を移動体領域抽出部２２３に供給する。なお、背景基準値算出部２２２は、ｎ個の画素値の平均値を基準値として算出してもよい。

移動体領域抽出部２２３は、入力画像データの各々において、移動体の領域を抽出するものである。この移動体領域抽出部２２３は、入力画像データにおいて、画素ごとに、その画素の画素値と、その画素に対応する基準値との間の差分を算出する。算出した差分が所定の閾値以下である場合には、移動体領域抽出部２２３は、その画素が背景における画素であると判断する。一方、算出した差分が閾値より大きい場合には、移動体領域抽出部２２３は、その画素が移動体における画素であると判断する。移動体領域抽出部２２３は、判断結果に基づいて、移動体領域データＭ₀乃至Ｍ_n-1を生成して出力する。移動体領域データにおいては、例えば、移動体と判断された画素に「１」の画素値が設定され、背景と判断された画素に「０」の画素値が設定される。

なお、移動体検出部２２０は、画素値の出現頻度に基づいて、移動体を検出しているが、他の方法を使用して移動体を検出することもできる。例えば、移動体検出部２２０は、連続する複数の画像において、対応する画素同士の画素値の差分を算出し、その差分が閾値以上である画素を移動体の画素として検出するフレーム間差分法を使用してもよい。

図４は、第１の実施の形態における移動ベクトル検出部２３０の一構成例を示すブロック図である。この移動ベクトル検出部２３０は、重心座標演算部２３１および移動ベクトル演算部２３２を備える。

重心座標演算部２３１は、移動体の領域における重心座標を演算するものである。重心座標演算部２３１は、入力画像データと、その入力画像データに対応する移動体領域データとを受け取る。重心座標演算部２３１は、入力画像データにおける移動体内の画素値の各々を密度として、その移動体における重心を演算する。具体的には、重心座標演算部２３１は、例えば、次の式３および式４を使用して重心の座標を演算する。

式３において、ｇ_ｉは、重心のｘ座標であり、ｇ_ｊは、重心のＹ座標である。また、式３および式４において、ｉは移動体の領域内の画素のｘ座標であり、ｊは移動体の領域内の画素のｙ座標である。Ｐ［ｉ］［ｊ］は、座標（ｉ，ｊ）における画素値である。重心座標演算部２３１は、ｎ個の入力データについて重心座標Ｇ₀乃至Ｇ_n-1を演算して移動ベクトル演算部２３２に供給する。

なお、重心座標演算部２３１は、入力画像データにおける移動体の領域内の画素値を全て一定の値（例えば、「１」）として重心座標を求めてもよい。この場合、重心座標演算部２３１は、式３および式４においてＰ［ｉ］［ｊ］を全て一定の値（例えば、「１」）として、移動体領域データのみから重心座標を演算する。

移動ベクトル演算部２３２は、重心座標から、移動ベクトルを演算するものである。移動ベクトル演算部２３２は、対象画像の１つ前の画像（基準画像）内の移動体の重心座標を起点とし、その対象画像内の移動体の重心座標を終点とするベクトルを移動ベクトルとして演算する。例えば、重心座標Ｇ₀を起点とし、重心座標Ｇ₁を終点とするベクトルが２個目の入力画像データＩ₁における移動体の移動ベクトルＶ₁として算出される。

なお、移動ベクトル検出部２３０は、重心以外の座標を移動ベクトルの始点または終点としてもよい。例えば、移動ベクトル検出部２３０は、それぞれの移動体においてｘ座標の平均値とｙ座標の平均値を求め、それらの平均値からなる座標をベクトルの始点または終点としてもよい。また、移動ベクトル検出部２３０は、入力画像データ（フレーム）ごとに、移動ベクトルを算出しているが、一定の期間（例えば、３０フレーム）内の移動ベクトルの平均を求めて、その平均のベクトルを、その期間内の移動ベクトルとして出力してもよい。

図５は、第１の実施の形態における後部領域検出部２４０の一構成例を示すブロック図である。後部領域検出部２４０は、拡大部２４１、移動体位置変更部２４２およびマスク処理部２４３を備える。

拡大部２４１は、移動体の領域を移動方向に拡大するものである。この拡大部２４１は、移動体検出部２２０および移動ベクトル検出部２３０から移動体領域データＭおよび移動ベクトルＶを受け取る。拡大部２４１は、移動ベクトルＶの大きさ｜Ｖ｜を算出する。そして、拡大部２４１は、移動ベクトルの方向に、｜Ｖ｜×βの分（βは、実数）、その移動ベクトルＶに対応する移動体領域Ｍを拡大する。これにより、移動体の移動方向を横方向として、移動体の領域の横幅は、｜Ｖ｜×βの分、拡張される。拡大部２４１は、拡大した移動体の領域Ｍを拡大領域データＷとして移動体位置変更部２４２およびマスク処理部２４３に出力する。

移動体位置変更部２４２は、拡大された移動体の領域（Ｗ）の位置を移動方向へ変更するものである。この移動体位置変更部２４２は、拡大部２４１および移動ベクトル検出部２３０から拡大領域データＷおよび移動ベクトルＶを受け取る。そして、移動体位置変更部２４２は、移動ベクトルの方向へ、｜Ｖ｜×γ（γは実数）の距離だけ、拡大領域の位置を変更（シフト）する。移動体位置変更部２４２は、位置を変更した拡大領域データをマスク領域データＷ'としてマスク処理部２４３に供給する。

なお、拡大部２４１は、移動体の領域について、移動体の移動速度（｜Ｖ｜）に応じたサイズの拡大を行っているが、移動速度に関らず、一定サイズの拡大を行う構成とすることもできる。

また、移動体位置変更部２４２は、移動速度（｜Ｖ｜）に応じた距離の位置の変更を行っているが、移動速度に関らず、一定距離の変更を行う構成とすることもできる。

マスク処理部２４３は、拡大領域データＷにおいてマスク領域データＷ'を使用してマスク処理を実行するものである。このマスク処理により、拡大領域データＷにおいて、マスク領域データＷ'と重なる部分が削除され、残りの領域が抽出される。マスク処理部２４３は、マスク処理により生成された領域（すなわち、マスク領域データＷ'以外の領域）を後部領域として、その後部領域を示す後部領域データＢを出力する。

［画像処理装置の動作例］
図６は、第１の実施の形態における画像処理装置２００の動作の一例を示すフローチャートである。この動作は、例えば、入力画像データＩ₀乃至Ｉ_n-1が画像処理装置２００に入力されたときに開始する。画像処理装置２００は、入力画像データＩ₀乃至Ｉ_n-1において移動体を検出して、移動体領域データＭ₀乃至Ｍ_n-1を生成する（ステップＳ９１０）。画像処理装置２００は、入力画像データＩ₀乃至Ｉ_n-1および移動体領域データＭ₀乃至Ｍ_n-1から、移動体の移動ベクトルＶ₁乃至Ｖ_n-1を検出する（ステップＳ９２０）。

画像処理装置２００は、移動ベクトルＶ₁乃至Ｖ_n-1および移動体領域データＭ₀乃至Ｍ_n-1から、移動体の各々における後部領域を検出して後部領域データＢ₁乃至Ｂ_n-1を生成する（ステップＳ９３０）。そして、画像処理装置２００は、入力画像データＩ₀乃至Ｉ_n-1、後部領域データＢ₁乃至Ｂ_n-1および移動ベクトルＶ₁乃至Ｖ_n-1から、入力画像データにおける後部領域について移動方向に沿った平滑化処理を実行する（ステップＳ９４０）。

図７は、第１の実施の形態における入力画像データの一例を示す図である。図７におけるａは、時系列において最初の入力画像データＩ₀であり、図７におけるｂ乃至ｄは、２乃至４個目の入力画像データＩ₁乃至Ｉ₃である。図７におけるａ乃至ｄにおいて自動車が撮影されており、自動車の位置は、時間の経過に伴い、水平方向に移動している。

図８は、第１の実施の形態における画素値の分布例を示す図である。図８において、縦軸は画素値であり、横軸は時間である。また、Ｐ₀（０，０）乃至Ｐ₁₀（０，０）は、入力画像データＩ₀至Ｉ₁₀のそれぞれにおける座標（０，０）の画素値である。図８において、Ｐ₀（０，０）乃至Ｐ₂（０，０）などの画素値の出現頻度が高く、この画素値が基準値Ｖ（０，０）として使用される。Ｐ₀（０，０）乃至Ｐ₂（０，０）や、Ｐ₆（０，０）乃至Ｐ₁₀（０，０）などは、基準値と間の差分が閾値以下であるため、これらに対応する画素は、背景における画素であると判断される。一方、Ｐ₃（０，０）乃至Ｐ₅（０，０）などの画素値は、基準値との間の差分が閾値より大きいため、これらに対応する画素は、移動体における画素であると判断される。（０，０）以外の座標についても、同じ要領で、出現頻度に基づいて移動体であるか否かが判断される。

図９は、第１の実施の形態における移動領域データの一例を示す図である。図９におけるａ乃至ｄは、図７におけるａ乃至ｄに例示した入力画像データＩ₀乃至Ｉ₃から生成された移動体領域データＭ₀乃至Ｍ₃である。図７におけるａ乃至ｄにおいて、白塗りの領域は背景の領域であり、黒塗りの領域は移動体の領域である。図７におけるａ乃至ｄに例示するように、移動体の領域として自動車の領域が検出されている。

図１０は、第１の実施の形態における重心および移動ベクトルの一例を示す図である。図１０におけるａ乃至ｄは、図７におけるａ乃至ｄに例示した入力画像データＩ₀乃至Ｉ₃において検出された重心および移動ベクトルを示す図である。これらの図１０におけるａ乃至ｄにおいて背景は省略されている。図１０におけるａ乃至ｄに示すように、各々の移動体（自動車）において、式３および式４から重心座標Ｇ₀乃至Ｇ₃が算出される。そして、図１０におけるｂにおいて、Ｇ₀を起点とし、Ｇ₁を終点とする移動ベクトルＶ₁が検出される。また、図１０におけるｃおよびｄにおいても、重心座標Ｇ₁乃至Ｇ₃から、移動ベクトルＶ₂およびＶ₃が検出される。

図１１は、第１の実施の形態における移動体領域データ、拡張領域データ、マスク領域データ、および、後部領域データの一例を示す図である。図１１におけるａは、２個目の入力画像データＩ₁に対応する、移動体領域データＭ₁を示す図である。

図１１におけるｂは、図１１のａの移動体領域データＭ₁において、移動体の領域（黒塗りの領域）を移動方向に拡大した拡大領域データＷ₁である。後部領域検出部２４０は、移動体の領域を、移動方向（Ｖ₁）へ｜Ｖ₁｜×β（βは、例えば「２」）だけ拡大する。これにより、図１１におけるｂに示すように、移動体の領域の横幅が拡張される。

図１１におけるｃは、図１１のｂにおける、拡大された領域の位置を、移動方向に変更したマスク領域データＷ₁'である。後部領域検出部２４０は、拡大された領域の位置を、移動方向に、｜Ｖ₁｜×γ（γは、例えば「２」）だけ変更する。これにより、図１１におけるｃに示すように、拡大された領域が移動方向にシフトされる。

図１１におけるｄは、図１１におけるｂの拡大領域データＷ₁において、マスク領域データＷ₁'によりマスクすることにより生成された後部領域データＢ₁である。図１１におけるｃに示すように、後部領域検出部２４０は、図１１のｂにおいて、図１１におけるｂと図１１におけるｃとの間で重なる領域を削除して、残りの領域を後部領域として検出する。

ここで、移動体の領域を拡大せずにシフトさせてマスク領域とした場合、移動体の後部以外の部分（自動車の前輪など）の領域がマスク処理後に残ってしまうことがありうる。図１１におけるｂに例示したように、移動体の領域を拡大させてから位置を変更することにより、自動車の前輪などの領域が、後部領域として検出されてしまうことが防止される。

なお、移動体が楕円形や四角形に近い形状など、凹凸の少ない形状である場合、移動体の領域を拡大させず（すなわち、前述のβについて、β＝０にする）にシフトさせても、後部以外の領域が後部領域として検出されることは少ない。このため、後部領域検出部２４０は、移動体の領域を拡大せずにシフトさせる構成とすることもできる。

また、後部領域検出部２４０は、移動方向に位置を変更した後方の部分の輪郭線と、変更前の輪郭線とに囲まれる領域を検出することができるのであれば、マスク処理以外の処理により後部領域を検出することもできる。具体的には、後部領域検出部２４０は、移動体の領域を移動方向に対して垂直な線に沿って２分割し、分割した２つの部分のうち、移動方向に対して後方の部分の輪郭線を検出する。そして、後部領域検出部２４０は、その輪郭線の位置を移動方向に変更し、位置の変更前後の輪郭線に囲まれる領域を後部領域として検出すればよい。

また、後部領域検出部２４０は、移動体の領域を移動方向に対して垂直な線に沿って２分割し、分割した２つの部分のうち、移動方向に対して後方の部分の領域をそのまま、後部領域として検出してもよい。

図１２は、第１の実施の形態における出力画像データの一例を示す図である。この図１２は、図７におけるｂに例示した入力画像データＩ₁において自動車の後部の領域について、移動方向に沿って平滑化処理を実行することにより生成された出力画像データＯ₁である。これにより、移動体の後部が移動方向にブレた画像が生成され、移動体のスピード感が強調される。

このように、本技術の第１の実施の形態によれば、画像処理装置２００は、移動体の後部領域について移動方向に沿って平滑化処理を実行することにより、後部領域が移動方向に沿って平滑化された画像を生成することができる。これにより、移動体のスピード感が強調された、躍動感のある画像が得られる。

［第１の変形例］
第１の実施の形態では、画像処理装置２００は、画素毎に出現頻度の高い画像値の画素は背景とし、それ以外の画素を移動体として、移動体の重心の時間的変化から移動ベクトルを求めていた。しかしながら、画像処理装置２００は、ブロックマッチングにより移動ベクトルを求めてもよい。第１の変形例の画像処理装置２００は、ブロックマッチングにより移動ベクトルを求める点において第１の実施の形態と異なる。

具体的には、第１の変形例の移動体検出部２２０は、入力画像データを所定形状の複数のブロックに区切り、隣り合う入力画像データの一方の探索範囲内のブロックと、他方の探索範囲内のブロックとの間で相関性の最も高いブロックを求める。ここで、探索範囲は、動きベクトルを探索するための範囲である。また、相関性の高さは、例えば、画素値の差分絶対値の総和を算出するＳＡＤ（Sum of Absolute Difference estimation）処理により求められる。なお、相関性の高さは、画素値の差分絶対値が所定の差分閾値以下となる画素数を計数するＭＰＣ（Maximum matching Pixel Count）処理により求めてもよい。

移動体検出部２２０は、探索範囲内で相関性が最も高い２つのブロックの一方から他方へのベクトルを動きベクトルとして検出する。そして、移動体検出部２２０は、動きベクトルの示す動き量が所定の閾値を越えるブロックからなる領域を移動体の領域として検出する。

なお、移動体検出部２２０は、求めた動きベクトルを、そのまま移動ベクトルとして後部領域検出部２４０および平滑化処理部２５０に供給してもよい。

［第２の変形例］
第１の実施の形態では、画像処理装置２００は、後部領域を移動方向に沿って平滑化していたが、さらに移動方向に沿った線分を強調する処理を行ってもよい。第２の変形例の画像処理装置２００は、後部領域において、移動方向に沿った線分を強調する点において、第１の実施の形態と異なる。

図１３は、第１の実施の形態の第２の変形例における画像処理装置２００の一構成例を示すブロック図である。第２の変形例の画像処理装置２００は、エッジ強調処理部２６０をさらに備える点において第１の実施の形態と異なる。

エッジ強調処理部２６０は、後部領域において、移動方向に沿った線分を強調するものである。エッジ強調処理部２６０には、平滑化処理部２５０により平滑化処理が行われた画像データと、移動体領域データと、移動ベクトルとが入力される。エッジ強調処理部２６０は、画像データ内の後部領域において、ハイパスフィルタなどを使用して、移動ベクトルと垂直な方向にエッジを強調する処理を行う。移動方向に対して９０度方向のエッジを強調することにより、相対的に、移動方向に沿った線分が強調される。エッジ強調処理部２６０は、エッジを強調した画像データを出力画像データとして出力する。なお、エッジ強調処理部２６０は、特許請求の範囲に記載の強調処理部の一例である。

図１４は、第２の変形例における出力画像データの一例を示す図である。図１４におけるａは、平滑化処理前の入力画像データにおける移動体の一部を示す図である。図１４におけるａに示すように、白黒のチェッカーパターンを有する移動体が検出されたものとする。図１４において、点線で囲まれた領域は、移動体の後部領域である。

図１４におけるｂは、平滑化処理後の入力画像データにおける移動体の一部を示す図である。図１４におけるｂに示すように、後部領域が平滑化される。図１４におけるｃは、エッジ強調後の入力画像データにおける移動体の一部を示す図である。図１４におけるｃに示すように、後部領域において、移動ベクトルに対して垂直な方向にエッジが強調される。この結果、移動ベクトルに水平な方向に伸びる線分が強調される。このため、相対的に、移動方向に対して、より平滑化された感じを与えることができる。

［第３の変形例］
第１の実施の形態では、画像処理装置２００は、移動体および移動ベクトルを検出していたが、画像処理装置２００は必ずしも移動体および移動ベクトルを検出する必要はない。第４の変形例の画像処理装置２００は、装置自身が移動体および移動ベクトルを検出しない点において第１の実施の形態と異なる。

図１５は、第１の実施の形態の第３の変形例における画像処理装置２００の一構成例を示すブロック図である。第３の変形例の画像処理装置２００は、移動体検出部２２０および移動ベクトル検出部２３０の代わりに移動体取得部２２５および移動ベクトル取得部２３５を備える点において第１の実施の形態と異なる。

第３の変形例の画像処理装置２００には、入力画像データに加えて、移動体領域データおよび移動ベクトルが入力される。例えば、ユーザが、移動体の領域と移動ベクトルとを手作業により求めて情報処理装置１００に入力する。移動体取得部２２５は、入力された移動体の領域を取得して後部領域検出部２４０に供給するものである。移動ベクトル取得部２３５は、入力された移動ベクトルを取得して後部領域検出部２４０および平滑化処理部２５０に供給するものである。なお、移動体および移動ベクトルの一方のみをユーザが入力し、他方を画像処理装置２００が検出する構成としてもよい。

［第４の変形例］
第１の実施の形態では、画像処理装置２００は、後部領域において平滑化を行っていたが、平滑化処理以外の画像処理を実行してもよい。例えば、後部領域を所定の色により塗り潰す処理を実行してもよい。第４の変形例の画像処理装置２００は、後部領域を所定の色により塗り潰す点において第１の実施の形態と異なる。

図１６は、第１の実施の形態の第４の変形例における画像処理装置２００の一構成例を示すブロック図である。第４の変形例の画像処理装置２００は、平滑化処理部２５０の代わりに後部領域処理部２５５を備える点において第１の実施の形態と異なる。この後部領域処理部２５５は、式１および式２の代わりに、次の式６または式７により、平滑化処理後の画素値Ｐ０'を求める。
Ｐ０'＝０ ・・・式６
Ｐ０'＝２５５ ・・・式７
式６において０は、８ビットにより表わされる画素値の最小値を示す値であり、式７において２５５は、画素値の最大値を示す値である。

＜２．第２の実施の形態＞
［画像処理装置の構成例］
図１７は、第２の実施の形態における画像処理装置２００の一構成例を示すブロック図である。第２の画像処理装置２００は、１個の入力画像データにおいて、異なる複数の後部領域を検出し、それぞれの後部領域を平滑化する点において第１の実施の形態と異なる。

第２の実施の形態の移動体検出部２２０は、移動体領域データＭ₀乃至Ｍ_n-1の代わりに、それらのうちの移動体領域データＭ_tおよびＭ_t-1のみを生成する点において、第１の実施の形態と異なる。移動体検出部２２０は、移動体領域データＭ_tおよびＭ_t-1を移動ベクトル検出部２３０に出力し、移動体領域データＭ_tを後部領域検出部２４０に出力する。

移動ベクトル検出部２３０は、移動ベクトルＭ₁乃至Ｍ_n-1の代わりに、１個の移動ベクトルＶ_tのみを検出する点において第１の実施の形態と異なる。

後部領域検出部２４０は、移動体領域データＭ_tおよび移動ベクトルＶ_tから、移動体において複数の後部領域を検出する点において第１の実施の形態と異なる。後部領域検出部２４０は、それらの後部領域を示す後部領域データＢ₀乃至_m-1（ｍは、２以上の整数）を生成して平滑化処理部２５０へ出力する。

平滑化処理部２５０は、入力画像データＩ_tと後部領域データＢ₀乃至Ｂ_m-1と移動ベクトルＶ_tとから、入力画像データＩ_tにおいて、複数の後部領域に平滑化処理を実行する点において第１の実施の形態と異なる。平滑化処理部２５０は、平滑化処理の実行結果である出力画像データＯ₀乃至Ｏ_m-1を出力する。ここで、ｍ個の後部領域についての平滑化処理において、平滑化の度合いＫの値には、同じ値が設定されるものとする。なお、平滑化処理部２５０は、後部領域のそれぞれについて、異なる度合いの平滑化を行ってもよい。

図１８は、第２の実施の形態における後部領域検出部２４０の一構成例を示すブロック図である。第２の実施の形態の後部領域検出部２４０は、後部位置変更部２４４をさらに備える点において第１の実施の形態と異なる。

第２の実施の形態の拡大部２４１は、ｎ−１個の拡大領域データの代わりに１個の拡大領域データＷ_tを生成する点において第１の実施の形態と異なる。第２の実施の形態の移動体位置変更部２４２は、ｎ−１個のマスク領域データの代わりに１個のマスク領域データＷ_t'を生成する点において第１の実施の形態と異なる。第２の実施の形態のマスク処理部２４３は、ｎ−１個の後部領域データの代わりに１個の後部領域データＢ_tを生成する点において第１の実施の形態と異なる。

後部位置変更部２４４は、後部領域データＢ_tの位置を移動方向に沿って変更するものである。後部位置変更部２４４は、移動方向において、互いに位置の異なる複数の後部領域データを生成して、それらを後部領域データＢ₀乃至Ｂ_m-1として出力する。

図１９は、第２の実施の形態における後部領域データの一例を示す図である。図１９におけるａは、第１の実施の形態と同様に、マスク処理により生成された後部領域データＢ₀である。ただし、図１９におけるａでは、拡大された領域の移動方向の量を表わすγには、例えば、「１」が設定されている。

図１９におけるｂは、後部位置変更部２４４が、後部領域データＢ₀における後部領域の位置を移動方向へ、例えば、｜Ｖ₁｜／２だけ変更した後部領域データＢ₁である。図１９におけるｃは、後部位置変更部２４４が、後部領域データＢ₁における後部領域の位置を移動方向へ、例えば、｜Ｖ₁｜／２だけ変更した後部領域データＢ₂である。なお、後部領域検出部２４０は、複数の後部領域のうちのいずれか１つを検出して１つの後部領域データを出力してもよい。この場合にはｍに「１」が設定される。ただし、ｍ＝１の場合、最初の後部領域データＢ_０のみを出力すると第１の実施の形態と同様の結果となる。ｍ＝１の場合は、後部領域検出部２４０が後部領域データＢ_０と異なる後部領域データ（例えば、図１９におけるｂのＢ_１）を出力することにより、第１の実施の形態の場合とは異なる後部領域が平滑化され、異なる結果が得られる。

図２０は、第２の実施の形態における移動体の後部の一例を示す図である。図２０におけるａ乃至ｃは、図１９におけるａ乃至ｃに例示した後部領域データＢ₀乃至Ｂ₃により特定される移動体の後部である。図２０におけるａにおいては、後部領域データＢ₀乃至Ｂ₃における後部領域のうち、最も後方に位置する領域が後部領域として検出されている。図２０のｂにおいては、図２０におけるａの後部領域の前方に位置する領域が後部領域として検出されている。図２０におけるｃでは、図２０におけるｂの後部領域のさらに前方に位置する領域が後部領域として検出されている。このように、マスク処理により求められた後部領域の位置を後部位置変更部２４４が移動方向に沿って変更することにより、１個の移動体において、互いに異なる複数の後部領域が検出される。

図２１は、第２の実施の形態における出力画像データの一例を示す図である。図２１におけるａ乃至ｃは、１つの入力画像データに対して、図１９におけるａ乃至ｃに例示した後部領域をそれぞれ平滑化した画像データである。これらの画像データにおいては、平滑化される領域が互いに異なるため、これらを連続してリピート再生すると、後部が後方に流れていくように見える。これにより、移動体のスピード感が強調される。

このように、本技術の第２の実施の形態によれば、画像処理装置２００は、異なる複数の後部領域のそれぞれについての平滑化処理の実行により、異なる後部領域が平滑化された複数の画像からなる動画を生成することができる。これにより、後部領域が流れているように見える、躍動感のある動画が得られる。

［変形例］
第２の実施の形態では、画像処理装置２００は、移動平均フィルタを使用して平滑化を行っていたが、ローパスフィルタを使用して平滑化を行ってもよい。変形例の画像処理装置２００は、ローパスフィルタを使用して平滑化を行う点により、第２の実施の形態と異なる。

具体的には、変形例の平滑化処理部２５０は、移動ベクトルＶｔの逆方向に進む波を表す三角関数の値に比例した通過帯域を有するローパスフィルタにより平滑化を行う。すなわち、より具体的には、以下の処理を行う。「移動ベクトルＶｔの逆方向に進む波を表す三角関数」をＳ（ｔ１，ｘ１，ｙ１）とする。ここで、関数Ｓは、時刻ｔ１、位置（ｘ１，ｙ１）における波の値が、Ｓ（ｔ１，ｘ１，ｙ１）となる関数である。関数Ｓは、たとえば、次の式により表わされる。

ここで、Ｋは比例定数であり、式中の「・」は内積を表す。また、Ｑは、出力画像データにおける（ｘ１，ｙ１）の座標である。なお、移動方向に沿った方向における後部領域の画素の画素値の分布を表す周期関数であれば、平滑化処理部２５０は、式５に例示した三角関数以外の関数を用いてもよい。

平滑化処理部２５０では、出力画像データＯ_ｔ（ｔは、０以上ｍ−１以下）を作成するにあたり、後部領域データＢ_ｔで指定された後部領域内にある入力画像データＩ_ｔの各画素に対してローパスフィルタをかける。具体的には、Ｉｔの各画素の画素位置を（ｘ２，ｙ２）として、Ｓ（ｔ，ｘ２，ｙ２）に比例した通過帯域を有するローパスフィルタをかける。このように平滑化した出力画像データＯ_０〜Ｏ_ｍ−１を連続してリピート再生することで、移動ベクトルＶ_ｔの逆方向に進む波を、後部領域において鑑賞者は感じることができ、よりスピード感が強調される。

図２２は、第２の実施の形態の変形例における関数Ｓの軌跡の一例を示す図である。図２１において、横軸は移動ベクトルに沿った画素の座標であり、縦軸は、ある時刻における関数Ｓの軌跡である。図２２におけるａは、ｔ＝０における関数Ｓの軌跡であり、ｂはｔ＝１における関数Ｓの軌跡である。また、２１におけるｃは、ｔ＝１における関数Ｓの軌跡であり、ｄはｔ＝ｍ−１における関数Ｓの軌跡である。

図２２に例示するように、関数Ｓで表される波は、時刻ｔが０からｍ−１へと変化すると、移動ベクトルとは逆の方向に進む。さらに、周期がｍなので、ｍ−１から０へと戻るようにして繰り返すと、常に、途切れることがなく、移動ベクトルとは逆の方向に進む波となる。そして、画像処理装置２００は、関数Ｓの振幅に応じた広さの通過帯域を有するローパスフィルタを入力画像データＩｔの画素に施す。具体的には、画像処理装置２００は、関数Ｓの振幅が大きい場合には、通過帯域の広いローパスフィルタを入力画像データＩｔの画素に施す（言い換えれば、あまり平滑化しない）。一方、関数Ｓの振幅が小さい場合には、通過帯域の狭いローパスフィルタを入力画像データＩｔの画素に施す（言い換えれば、かなり平滑化する）。このようなローパスフィルタを施した出力画像データＯ_０〜Ｏ_ｍ−１を連続してリピート再生すると、関数Ｓの振幅に応じた度合いで平滑化されたパターンが、後ろの方向へと流れていくことになり、よりスピード感が強調される。

＜３．第３の実施の形態＞
［画像処理装置の構成例］
図２３は、第３の実施の形態における画像処理装置２００の一構成例を示すブロック図である。第１の実施の形態では、画像処理装置２００は、入力画像データの撮影において、撮影者が撮像機器を動かさずに撮影したものと想定して移動体の検出を行っている。しかしながら、撮影において、撮影者が撮像機器自体を動かしながら撮影することがある。例えば、図２４に例示するように、移動体の移動に追従して、撮影者が撮像機器を移動方向へ動かす（パンする）ことがある。撮像機器を動かす速度によっては、画面内で見かけ上、移動体が移動しない一方で、静止物体が移動する動画データが撮像されることがある。このような動画データに対して、第１の実施の形態に例示した移動体の検出方法をそのまま適用すると、移動体でない物体が誤って移動体として検出されてしまうことがある。

移動体の誤検出を抑制するために、第３の実施の形態の画像処理装置２００は、入力画像データにおいて、撮像機器が動かされたことによる、入力画像データ間の位置ずれを補正してから、移動体を検出する点において第１の実施の形態と異なる。具体的には、図２３に示すように、第３の実施の形態の画像処理装置２００は、位置合わせ処理部２１０をさらに備える点において、第１の実施の形態と異なる。

位置合わせ処理部２１０は、入力画像データ間の位置合わせ処理を実行するものである。具体的には、入力画像データの位置合わせを行うための「位置補正パラメータＣ_１乃至Ｃ_n-1」を計算する処理と、該「位置補正パラメータＣ_１乃至Ｃ_n-1」により入力画像データＩ₁乃至Ｉ_n-1の座標系にオフセットを加える処理の２つの処理が行われる。

図２５は、第３の実施の形態における位置合わせ処理部２１０の一構成例を示すブロック図である。この位置合わせ処理部２１０は、位置補正パラメータ算出部２１１と、入力画像位置補正部２１２を備える。

位置補正パラメータ算出部２１１は、入力画像データＩ₀および入力画像データＩ₁乃至Ｉ_n-1を入力とする。そして、入力画像データの位置合わせを行うための「位置補正パラメータＣ_１乃至Ｃ_n-1」を算出するものである。「位置補正パラメータＣ_t」とは、入力画像データＩ_tが、入力画像データＩ₀に対して、どのような位置関係にあるかを示すデータである。すなわち、入力画像データＩ_tの２次元座標系を、位置補正パラメータＣ_tで示される量だけオフセットした座標系を考えると、この「オフセットされた座標系における任意の位置（座標値）における入力画像データＩ_tに投影されている被写体」は、入力画像データＩ₀の同じ位置（座標値）に投影されていることになる。

なお、より具体的には、例えば、「位置補正パラメータＣ_t」とは、Ｘ方向のオフセット値（スカラー値）とＹ方向のオフセット値（スカラー値）の２つのスカラー値よりなるデータである。

このような「位置補正パラメータＣ_t」は、入力画像データＩ_tと、入力画像データＩ₀の２枚の画像間でのマッチング計算により求めることができる。マッチング計算は、従来から知られている技術であり、その詳細説明を省略する。

すなわち、位置補正パラメータ算出部２１１は、ｔ＝１乃至ｎ−１に対して、入力画像データＩ₀と入力画像データＩ_tの画像のマッチング処理を行い、２つの画像のずれ量を求める事を行う。そして、このずれ量を、「位置補正パラメータＣ_t」として出力する。

なお、マッチング計算においては、例えば、位相限定相関法が用いられる。この位相限定相関法では、位置補正パラメータ算出部２１１は、比較する画像をフーリエ変換し、フーリエ変換した結果から、両画像のクロスパワースペクトルを求め、そのクロスパワースペクトルを逆フーリエ変換する。この逆フーリエ変換により、あるｘ，ｙの値において急峻になるｘ，ｙの関数が得られる。この急峻になるときのｘ，ｙの値だけ対象画像の位置をｘ，ｙ方向にずらすと、対象画像が基準画像とよく一致するようになるため、位置補正パラメータ算出部２１１は、それらの値を位置補正パラメータとする。この位相限定相関法は、「B. Srinivasa Reddy and B. N. Chatterji, An FFT-Based Technique for Translation, Rotation, and Scale-Invariant Image Registration, IEEE TRANSACTIONS ON IMAGE PROCESSING 1996.」などに記載されているように、位置合わせ処理においてよく用いられる手法である。

入力画像位置補正部２１２では、入力画像データＩ₁乃至Ｉ_n-1の座標系にオフセットを加えて新たな座標系上の画像とする処理を行う。

このオフセットを加える処理により、入力画像データＩ₀乃至Ｉ_n-1のそれぞれについて、同じ位置（座標値）には、同じ被写体が投影されていることになる。すなわち、あたかも、撮影者が撮像機器を動かさずに撮影した画像と考えることができる。つまり、図２５の入力画像に対して、オフセットを加えることで、図２６に示す入力画像とすることができる。

図２６は、第３の実施の形態における入力画像データの一例を示す図である。図２６におけるａは、時系列において最初の入力画像データＩ₀であり、図２６におけるｂ乃至ｄは、２乃至４個目の入力画像データＩ₁乃至Ｉ₃である。図２６におけるｂ乃至ｄにおいて自動車と、その背景の物体が撮影されており、撮像者のパン操作により、背景の物体は水平方向に移動している。一方、自動車の移動方向は、パンの方向と同じ方向であるため、フレーム間で位置があまり変化しない場合がある。

図２７は、第３の実施の形態における位置をオフセットにより補正した画像データの一例を示す図である。図２７におけるａは、時系列において最初の入力画像データＩ₀であり、基準画像として用いられる。図２７におけるｂは、基準画像と共通の領域が重なるように位置補正パラメータＣ₁を使用して位置をオフセット補正した２個目の入力画像データＩ₁である。図２７におけるｃおよびｄは、それぞれ、基準画像と共通の領域が重なるように位置補正パラメータＣ₂およびＣ₃を使用して位置をオフセット補正した３個目および４個目の入力画像データＩ_2、Ｉ₃である。図２６に例示するように位置をオフセット補正することにより、画像処理装置２００は、移動体を確実に検出することができる。

このオフセットされた座標系による入力画像データＩ₀乃至Ｉ_n-1について、本発明の第１の実施の形態と同じ処理（図２３の２２０以降）を施すことで、本発明の第１の実施の形態の結果と同様な「移動体のスピード感が強調された躍動感のある画像」が得られる。さらに、第３の実施の形態においては、本発明の第１の実施の形態にはない処理を追加することにより、さらなる「スピード感が強調された躍動感のある画像」が得られる。これについて、以下に説明する。

本発明の第３の実施の形態（図２３）は、本発明の第１の実施の形態（図２）に対して、位置合わせ処理部２１０が追加されたほか、位置合わせ処理部２１０に入力されるデータが異なる。具体的には、位置合わせ処理部２１０で求まった「位置補正パラメータＣ_１乃至Ｃ_n-1」の情報、および、移動体検出部２２０で抽出された移動体領域データＭ₀乃至Ｍ_n-1が平滑化処理部２５０に入力されている点が異なる。

図２７は、第３の実施の形態における平滑化処理部２５０の一構成例を示すブロック図である。この平滑化処理部２５０は、後部領域平滑化処理部２５１および背景領域平滑化処理部２５２を備える。

後部領域平滑化処理部２５１は、移動速度に応じて後部領域について平滑化処理を実行するものである。後部領域平滑化処理部２５１は、平滑化処理を実行した入力画像データを背景領域平滑化処理部２５２に供給する。

背景領域平滑化処理部２５２は、位置補正パラメータの示す補正量に応じて、背景の領域について、補正方向に沿って平滑化処理を実行するものである。具体的には、背景領域平滑化処理部２５２は、後部領域が平滑化された入力画像データにおいて、移動体領域データに基づいて、移動体の領域以外の背景の領域を抽出する。そして、背景領域平滑化処理部２５２は、位置補正パラメータから補正ベクトルの大きさ（補正量）を算出する。より具体的には、連続する２つの位置補正パラメータＣ_tとＣ_t-1の差分より入力画像データＩ_tを撮影したときのパンの大きさを求め、その値を補正量とする。なお、Ｃ₀は０とする。背景領域平滑化処理部２５２は、補正量×α'を平滑化の度合いＫとして、補正ベクトルの方向に沿って、背景の領域について平滑化処理を実行する。ここで、係数α'の値は、後部領域を平滑化する場合に設定される係数α（例えば、「１」）と比較して小さい値（例えば、「１／１０」）とするのが望ましい。背景領域平滑化処理部２５２は、平滑化処理を実行した画像データを出力画像データとして出力する。

図２９は、第３の実施の形態における出力画像データの一例を示す図である。図２９におけるａは、後部領域について移動方向に沿って平滑化処理を実行した結果である入力画像データＩ₁'の一例である。図２９におけるｂは、移動体の背景について、補正方向（パンの方向）に沿って平滑化処理を実行した結果である出力画像データＯ₁の一例である。図２８におけるｂに例示したように、移動体の後部領域が移動方向に沿って平滑化され、背景がパンの方向に沿って平滑化されるため、移動体の躍動感が強調された画像となる。

このように、本技術の第３の実施の形態によれば、画像処理装置２００は、基準画像と対象画像とにおいて共通の領域が重なるように基準画像の位置に前記対象画像の位置を合わせてから、移動体の領域を検出することができる。これにより、撮像機器が動かされた場合においても、移動体の領域が確実に検出される。そして、さらに、位置補正パラメータからカメラのパン方向がわかり、その方向に沿って「移動体の領域以外の背景の領域」に対して微少な平滑化を施すことで、いわゆる流し撮り効果を持たせることができる。この流し撮り効果により、さらなる「スピード感が強調された躍動感のある画像」が得られる。

なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。

また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。

なお、本技術は以下のような構成もとることができる。
（１）時系列に沿って連続する複数の画像のうちの少なくとも１つの画像である対象画像において移動体の領域を取得する移動体取得部と、
前記移動体の移動方向を取得する移動方向取得部と、
前記移動体の領域において前記移動方向に対して後方の部分の領域を後部領域として検出する後部領域検出部と、
前記後部領域において所定の画像処理を実行する後部領域処理部と
を具備する画像処理装置。
（２）前記移動体取得部は、前記対象画像において前記移動体の領域を検出する
前記（１）記載の画像処理装置。
（３）前記対象画像は複数の所定形状のブロックを含み、
前記移動体取得部は、ブロックマッチングアルゴリズムを使用して前記ブロック毎に当該ブロックの動き量を求めて当該動き量が所定の閾値を超えるブロックからなる領域を前記移動体の領域として検出する
前記（２）記載の画像処理装置。
（４）前記移動体取得部は、前記複数の画像のうち前記対象画像の１つ前の画像である基準画像において前記移動体の領域をさらに取得し、
前記移動方向取得部は、前記基準画像における前記移動体の領域内の特定の座標から前記対象画像における前記移動体の領域内の特定の座標への方向を前記移動方向として検出する
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（５）前記後部領域検出部は、前記対象画像内で前記移動方向に位置を変更した前記後方の部分の輪郭線と前記変更前の前記輪郭線とに囲まれる領域を前記後部領域として検出する
前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６）前記後部領域検出部は、前記対象画像内で前記移動方向に位置を変更した前記移動体の領域をマスク領域として前記変更前の前記移動体の領域においてマスクすることにより生成された領域を前記後部領域として検出する
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）前記後部領域検出部は、
前記移動体の移動速度を検出する移動速度検出部と、
前記移動速度に応じた変更量に従って前記位置を変更した前記移動体の領域を前記マスク領域として前記マスクを行うマスク処理部と
を備える前記（６）記載の画像処理装置。
（８）前記後部領域検出部は、前記対象画像において前記移動体の領域を前記移動方向に拡大する拡大部をさらに備え、
前記マスク処理部は、前記拡大部により拡大された前記移動体の領域である拡大領域の位置を前記移動方向に変更した領域を前記マスク領域として前記変更前の前記拡大領域において前記マスクを行う
前記（７）記載の画像処理装置。
（９）前記所定の画像処理は、前記移動方向に沿った平滑化処理である
前記（１）乃至（８）のいずれかに記載の画像処理装置。
（１０）前記後部領域処理部は、前記後部領域について前記移動方向に沿って前記移動速度に応じた度合いの前記平滑化処理を実行する
前記（９）記載の画像処理装置。
（１１）前記拡大部は、前記移動体の領域を前記移動速度に応じて前記移動方向に拡大する
前記（９）または（１０）記載の画像処理装置。
（１２）前記後部領域処理部は、前記移動方向に沿った方向における前記後部領域内の画素値の分布を表す周期関数の振幅に応じた広さの通過帯域を有するローパスフィルタを使用して前記平滑化処理を実行する
前記（９）乃至（１１）のいずれかに記載の画像処理装置。
（１３）前記対象画像は、前記複数の画像のうちのいずれか１つの画像であり、
前記後部領域検出部は、前記移動体の後方の部分において複数の前記後部領域を検出し、
前記後部領域処理部は、複数の前記後部領域について前記所定の画像処理を実行した複数の画像を生成する
前記（１）乃至（１２）のいずれかに記載の画像処理装置。
（１４）前記対象画像の１つ前の画像である基準画像と前記対象画像とにおいて共通の領域が重なるように前記基準画像の位置に前記対象画像の位置を合わせる位置合わせ処理部をさらに備え、
前記移動体検出部は、前記位置を合わせた前記対象画像において前記移動体を検出する
前記（１）乃至（１３）のいずれかに記載の画像処理装置。
（１５）前記平滑化処理部は、前記対象画像における前記移動体以外の領域について前記移動方向に沿って前記後部領域とは異なる度合いの平滑化処理をさらに実行する
前記（１）乃至（１４）のいずれかに記載の画像処理装置。
（１６）前記後部領域に含まれる線分のうち前記移動方向に沿った線分を強調する強調処理部をさらに具備する
前記（１）乃至（１５）のいずれかに記載の画像処理装置。
（１７）前記所定の画像処理は、前記後部領域を所定の色により塗り潰す処理である
前記（１）乃至（１６）のいずれかに記載の画像処理装置。
（１８）時系列に沿って連続する複数の画像のうちの少なくとも１つの画像である対象画像において移動体の領域を取得する移動体取得ステップと、
前記移動体の移動方向を取得する移動方向取得ステップと、
前記移動体の領域において前記移動方向に対して後方の部分の領域を後部領域として検出する後部領域検出ステップと、
前記後部領域において所定の画像処理を実行する後部領域処理ステップと
を具備する画像処理装置の制御方法。
（１９）時系列に沿って連続する複数の画像のうちの少なくとも１つの画像である対象画像において移動体の領域を取得する移動体取得ステップと、
前記移動体の移動方向を取得する移動方向取得ステップと、
前記移動体の領域において前記移動方向に対して後方の部分の領域を後部領域として検出する後部領域検出ステップと、
前記後部領域において所定の画像処理を実行する後部領域処理ステップと
をコンピュータに実行させるためのプログラム。

１００ 情報処理装置
１１０ 撮像部
１２０ 制御部
１３０ 表示部
１４０ 入出力インターフェース
１５０ 動画データ記憶部
１６０ バス
２００ 画像処理装置
２１０ 位置合わせ処理部
２１１ 位置補正パラメータ算出部
２１２ 入力画像位置補正部
２２０ 移動体検出部
２２１ 画素選択部
２２２ 背景基準値算出部
２２３ 移動体領域抽出部
２２５ 移動体取得部
２３０ 移動ベクトル検出部
２３１ 重心座標演算部
２３２ 移動ベクトル演算部
２３５ 移動ベクトル取得部
２４０ 後部領域検出部
２４１ 拡大部
２４２ 移動体位置変更部
２４３ マスク処理部
２４４ 後部位置変更部
２５０ 平滑化処理部
２５１ 後部領域平滑化処理部
２５２ 背景領域平滑化処理部
２５５ 後部領域処理部
２６０ エッジ強調処理部

Claims (19)

1. 時系列に沿って連続する複数の画像のうちの少なくとも１つの画像である対象画像において移動体の領域を取得する移動体取得部と、
   前記移動体の移動方向を取得する移動方向取得部と、
   前記移動体の領域において前記移動方向に対して後方の部分の領域を後部領域として検出する後部領域検出部と、
   前記後部領域において所定の画像処理を実行する後部領域処理部と
   を具備する画像処理装置。
2. 前記移動体取得部は、前記対象画像において前記移動体の領域を検出する
   請求項１記載の画像処理装置。
3. 前記対象画像は複数の所定形状のブロックを含み、
   前記移動体取得部は、ブロックマッチングアルゴリズムを使用して前記ブロック毎に当該ブロックの動き量を求めて当該動き量が所定の閾値を超えるブロックからなる領域を前記移動体の領域として検出する
   請求項２記載の画像処理装置。
4. 前記移動体取得部は、前記複数の画像のうち前記対象画像の１つ前の画像である基準画像において前記移動体の領域をさらに取得し、
   前記移動方向取得部は、前記基準画像における前記移動体の領域内の特定の座標から前記対象画像における前記移動体の領域内の特定の座標への方向を前記移動方向として検出する
   請求項１記載の画像処理装置。
5. 前記後部領域検出部は、前記対象画像内で前記移動方向に位置を変更した前記後方の部分の輪郭線と前記変更前の前記輪郭線とに囲まれる領域を前記後部領域として検出する
   請求項１記載の画像処理装置。
6. 前記後部領域検出部は、前記対象画像内で前記移動方向に位置を変更した前記移動体の領域をマスク領域として前記変更前の前記移動体の領域においてマスクすることにより生成された領域を前記後部領域として検出する
   請求項１記載の画像処理装置。
7. 前記後部領域検出部は、
   前記移動体の移動速度を検出する移動速度検出部と、
   前記移動速度に応じた変更量に従って前記位置を変更した前記移動体の領域を前記マスク領域として前記マスクを行うマスク処理部と
   を備える請求項６記載の画像処理装置。
8. 前記後部領域検出部は、前記対象画像において前記移動体の領域を前記移動方向に拡大する拡大部をさらに備え、
   前記マスク処理部は、前記拡大部により拡大された前記移動体の領域である拡大領域の位置を前記移動方向に変更した領域を前記マスク領域として前記変更前の前記拡大領域において前記マスクを行う
   請求項７記載の画像処理装置。
9. 前記所定の画像処理は、前記移動方向に沿った平滑化処理である
   請求項８記載の画像処理装置。
10. 前記後部領域処理部は、前記後部領域について前記移動方向に沿って前記移動速度に応じた度合いの前記平滑化処理を実行する
    請求項９記載の画像処理装置。
11. 前記拡大部は、前記移動体の領域を前記移動速度に応じて前記移動方向に拡大する
    請求項９記載の画像処理装置。
12. 前記後部領域処理部は、前記移動方向に沿った方向における前記後部領域内の画素値の分布を表す周期関数の振幅に応じた広さの通過帯域を有するローパスフィルタを使用して前記平滑化処理を実行する
    請求項９記載の画像処理装置。
13. 前記対象画像は、前記複数の画像のうちのいずれか１つの画像であり、
    前記後部領域検出部は、前記移動体の後方の部分において複数の前記後部領域を検出し、
    前記後部領域処理部は、複数の前記後部領域について前記所定の画像処理を実行した複数の画像を生成する
    請求項１記載の画像処理装置。
14. 前記対象画像の１つ前の画像である基準画像と前記対象画像とにおいて共通の領域が重なるように前記基準画像の位置に前記対象画像の位置を合わせる位置合わせ処理部をさらに備え、
    前記移動体検出部は、前記位置を合わせた前記対象画像において前記移動体を検出する
    請求項１記載の画像処理装置。
15. 前記平滑化処理部は、前記対象画像における前記移動体以外の領域について前記移動方向に沿って前記後部領域とは異なる度合いの平滑化処理をさらに実行する
    請求項１記載の画像処理装置。
16. 前記後部領域に含まれる線分のうち前記移動方向に沿った線分を強調する強調処理部をさらに具備する
    請求項１記載の画像処理装置。
17. 前記所定の画像処理は、前記後部領域を所定の色により塗り潰す処理である
    請求項１記載の画像処理装置。
18. 時系列に沿って連続する複数の画像のうちの少なくとも１つの画像である対象画像において移動体の領域を取得する移動体取得ステップと、
    前記移動体の移動方向を取得する移動方向取得ステップと、
    前記移動体の領域において前記移動方向に対して後方の部分の領域を後部領域として検出する後部領域検出ステップと、
    前記後部領域において所定の画像処理を実行する後部領域処理ステップと
    を具備する画像処理装置の制御方法。
19. 時系列に沿って連続する複数の画像のうちの少なくとも１つの画像である対象画像において移動体の領域を取得する移動体取得ステップと、
    前記移動体の移動方向を取得する移動方向取得ステップと、
    前記移動体の領域において前記移動方向に対して後方の部分の領域を後部領域として検出する後部領域検出ステップと、
    前記後部領域において所定の画像処理を実行する後部領域処理ステップと
    をコンピュータに実行させるためのプログラム。

Images