JP6528540B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

近時、デジタル技術により複数の画像（フレーム）で構成される動画のブレを補正することが行われている。
動画のブレ補正の方法として、例えば特許文献１には、画像の４隅の特徴点を抽出し、その４隅の特徴点の移動量を用いて画像の射影変換を行う技術が開示されている。

特開２０１１−９７２１７号公報

ところで、動画のブレ補正を行う場合、まず、動画を構成する画像の特徴点を抽出する。次に、抽出された特徴点を各画像に亘り時間的に追跡することで特徴点軌道を生成する。次に、生成した特徴点軌道を平滑化（スムージング）して平滑化軌道を生成する。次に、各画像の特徴点を、その特徴点に対応する平滑化軌道上の平滑点に移動させる画像変形処理、例えば、射影変換を行う。

ここで、画像変形処理として射影変換を用いる場合、複数の特徴点と、複数の特徴点に対応する複数の平滑点と、から射影変換係数を求めて、求めた射影変換係数を用いて画像を構成する全画素を線形移動して画像を射影変換する。

しかしながら、複数の特徴点が局所的に偏った場合、その複数の特徴点から求めた射影変換係数では、偏った領域付近の画素は線形移動により適正にブレ補正できても、当該領域から離れた領域については有効にブレ補正できるとは限らない。特に、画像エッジ付近で追跡した特徴点がフレームアウトしたような場合（つまり、画像中央付近に複数の特徴点が偏ったような場合）、求めた射影変換係数で画像を射影変換しても画像エッジ付近では線形移動であるが故にジッタが発生してしまう。このため、動画の見た目に違和感が生じてしまう。

そこで、本発明は、上記事情に鑑みてなされたものであり、画像の変形処理において画像の領域全般において適正な画像変換が行える画像処理装置等を提供することを目的とする。

上記目的を達成するため、この発明の画像処理装置は、
画像を射影変換するための係数である射影変換係数を、該画像において位置が異なる複数の基準点の数と同数取得する射影変換係数取得手段と、
前記射影変換係数取得手段が取得した前記複数の基準点の数と同数の射影変換係数それぞれにより、前記画像を射影変換して、該画像から前記基準点の数と同数の複数の射影変換後画像を取得する射影変換後画像取得手段と、
前記複数の射影変換後画像それぞれを、前記画像における前記複数の基準点からの距離に応じて定まる複数の重みを用いて加重平均する加重平均手段と、
前記加重平均手段により前記複数の射影変換後画像が加重平均された加重平均画像を取得する加重平均画像取得手段と、
を備えたことを特徴とする。

本発明によれば、画像の変形処理において画像の領域全般において適正な画像変換が行える。

画像処理装置の構成を示すブロック図である。 特徴点軌道と平滑化軌道の一例を示す概念図である。 画像中の特徴点と基準点の一例を示す図である。 重みの正規分布の一例を示す図である。 左基準点からの重み付けの一例を示す図である。 射影変換係数取得処理の流れの一例を示すフローチャートである。 右基準点からの重み付けの一例を示す図である。 加重平均画像取得処理の流れの一例を示すフローチャートである。 左基準点から取得した射影変換係数により射影変換した画像の一例を示す図である。 右基準点から取得した射影変換係数により射影変換した画像の一例を示す図である。 加重平均画像の一例を示す図である。

以下、この発明の実施形態を図面に基づいて説明する。
図１に示すように、画像処理装置１００は、例えばＰＣ（Personal Computer）であって、制御部１１０、記憶部１３０及び表示部１４０を備える。この画像処理装置１００は、動画１３１を構成する各画像（各フレーム）に画像処理を行う。特に、この実施形態における画像処理装置１００は、画像処理として画像を変形する射影変換を行う。この射影変換を行うための射影変換係数は、画像の特徴を示す特徴点と、その画像を含む動画での特徴点軌道を平滑化した平滑化軌道上の平滑点と、からなる一対のペアを複数用いて取得される。

以下では、この射影変換に先だって行われる特徴点と平滑点とを求める前処理について、図２の概念図を参照しながら説明する。なお、この前処理は公知技術であるから、図１に示した実施形態に係る射影変換のための構成とは別の一般論として以下説明する。また、図２には、理解を容易にするために、黒点で示す特徴点が１つである場合を例にとって説明するが、実際の動画を構成する画像（フレーム）は複数の特徴点を含む。

まず、図２の特徴点追跡が示すように、動画を構成するフレームである第１画像において、特徴点が抽出される。この特徴点とは、物体の角や線分の交差のような画像中における特徴となる点である。この特徴点は、例えば、Ｈａｒｒｉｓ／Ｐｌｅｓｓｅｙ法、ＫＬＴ（Kanade Lucas Tomasi）法、Ｈｅｓｓｉａｎ法などのアルゴリズムを用いて画像中から抽出される。

次に、その抽出された特徴点が第２画像〜第４画像に亘って時間的に追跡される。この特徴点追跡は、例えば、ブロックマッチング、濃度勾配を利用したアルゴリズムなどを用いて行われる。

この特徴点追跡により、図２中央に示す第１〜第４画像におけるジグザグの特徴点軌道が得られる。この特徴点軌道を平滑化（スムージング）することで、実線で示す第１〜第４画像の平滑化軌道が得られる。この平滑化は、例えば、ローパスフィルタを用いて行われる。

これにより、図２の特徴点と平滑点が示すように、各画像において、特徴点と対応する平滑化軌道上の平滑点（丸バツ）が得られる。この特徴点と平滑点とは一対のペアであって、この特徴点を平滑点に移動させる画像変形処理（この実施形態では、特に、射影変換）を画像毎に行うことで、動画のブレ補正が行われる。なお、実際には、画像中の複数の特徴点を、それぞれ対応する平滑点に移動させることになる。
以上が射影変換に先立って行われる前処理である。

以下では、この前処理を前提として、図１を参照しながら射影変換に係る構成について説明する。
まず、記憶部１３０は、ＨＤＤ（Hard Disk Drive）などの不揮発性メモリである。この記憶部１３０は、動画１３１を記憶する。この動画１３１は、例えば、撮影装置（カメラ）により所定のフレームレートで撮影された動画に前処理がなされたものである。このため、動画１３１を構成する各画像は、複数の特徴点と、その複数の特徴点とそれぞれ対になる複数の平滑点と、を含む。

次に、表示部１４０は、液晶や有機ＥＬ（Electroluminescence)などのディスプレイとそのディスプレイを均一に光らせるバックライトなどの光源から構成される。

次に、制御部１１０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)などから構成される。制御部１１０のＣＰＵは、ＲＯＭに記憶されている射影変換用のプログラムを読み出して実行することにより、各機能（射影変換係数取得部１１１、画素重み設定部１１２、射影変換後画像取得部１１３、加重平均部１１４及び加重平均画像取得部１１５）を実現する。

射影変換係数取得部１１１は、画像を射影変換するための係数である射影変換係数を、その画像において位置が異なる複数の基準点の数と同数取得する。ここで、図３に、画像１０中の複数の基準点の一例を示す。図中において、バツ印は特徴点を、黒丸は基準点（左基準点と右基準点）を、それぞれ示す。なお、各特徴点とペアとなる各平滑点は、説明の便宜上図示しないものの、各特徴点（各バツ印）とペアとなる各平滑点はあるものとして説明する。また、以下では図３に示す画像１０であることを特段特定して説明する必要がなければ、これと区別する意味で単に画像と称して説明する。

この実施形態において、射影変換係数取得部１１１は、画像１０の４辺のうち対向する２辺にそれぞれ近接して位置する基準点（左基準点と右基準点）から、基準点の数と同数の射影変換係数を２つ取得する。なお、射影変換係数の具体的な取得方法については後述する。

次に、画素重み設定部１１２は、画像を構成する画素の座標に、その座標から複数の基準点までの距離に応じた異なる重みを複数設定する。この実施形態において、画素重み設定部１１２は、画像１０を構成する画素の座標（ｘ_ｉ，ｙ_ｉ）に、その座標から右基準点までの距離ならびに左基準点までの距離に応じた重みを２つ設定する。この重みは正規分布に従う。すなわち、図４に示すように、基準点から画素までの距離（ｄ）が近いほど重み（ｗ）が大きくなり、基準点から離れるほど重み（ｗ）が０に近付く。

画素重み設定部１１２は、画像１０の全画素それぞれの座標（ｘ_{ｉｍｉｎ〜ｉｍａｘ}，ｙ_{ｉｍｉｎ〜ｉｍａｘ}）について、２基準点（右基準点と左基準点）からの距離に応じた異なる重みを設定する。なお、ｉは１以上の自然数であって、画素の座標位置に応じた値となる。ｉの最小値ｉ_ｍｉｎは１であり、ｉの最大値ｉ_ｍａｘは画素数と同じ値となる。

次に、射影変換後画像取得部１１３は、射影変換係数取得部１１１が取得した複数の基準点の数と同数の射影変換係数それぞれにより、画像を射影変換して、その画像から基準点の数と同数の複数の射影変換後画像を取得する。この実施形態において、射影変換後画像取得部１１３は、２基準点（右基準点と左基準点）と同数の２つの射影変換係数により画像１０を射影変換して、画像１０から２つの射影変換後画像を取得する。

次に、加重平均部１１４は、複数の射影変換後画像を構成する画素の座標それぞれを、画像における複数の基準点からの距離に応じて定まる複数の重みを用いて加重平均する。この実施形態において、加重平均部１１４は、２つの射影変換後画像を構成する画素の座標を加重平均する。

具体的には、加重平均部１１４は、２つの射影変換後画像間で対応する対応画素の座標同士（例えば、一方の射影変換後画像の画素の座標（ｘ’_ｉ，ｙ’_ｉ）と他方の射影変換後画像の画素の座標（ｘ”_ｉ，ｙ”_ｉ）と）を、画像１０におけるその対応画素の元画素の座標（ｘ_ｉ，ｙ_ｉ）に画素重み設定部１１２が設定した２つの重み（例えば、ｗ’とｗ”）を用いて加重平均する。

次に、加重平均画像取得部１１５は、加重平均部１１４により複数の射影変換後画像を構成する画素の座標が加重平均された加重平均画像を取得する。具体的には、加重平均画像取得部１１５は、加重平均後の座標の画素で構成される加重平均画像を取得する。上述の一方と他方の射影変換後画像の例では、加重平均画像取得部１１５は、加重平均後の座標（ｗ’ｘ’_ｉ＋ｗ”ｘ”_ｉ／ｗ’＋ｗ”，ｗ’ｙ’_ｉ＋ｗ”ｙ”_ｉ／ｗ’＋ｗ”）の画素で構成される加重平均画像を取得する。つまり、一方と他方の射影変換後画像の全対応画素の座標毎に、重みを用いて加重平均した加重平均画像を取得する。

以上から、画像処理装置１００は、（１）画像中の複数の基準点と同数の射影変換係数を取得し、（２）取得した基準点と同数の射影変換係数で画像を射影変換し、（３）基準点と同数の射影変換後画像を構成する画素の座標を基準点と同数の重みを用いて加重平均する。以下では、上記（１）の射影変換係数の具体的な取得方法について説明する。

射影変換係数取得部１１１は、基準点選択部１１６、特徴点重み設定部１１７、仮係数取得部１１８、重み乗算部１１９、判定部１２０を備える。
基準点選択部１１６は、複数の基準点のうち、１つの基準点を選択する。この実施形態において、基準点選択部１１６は、右基準点又は左基準点の何れか一方を選択する。

次に、特徴点重み設定部１１７は、画像１０が含む全特徴点の座標それぞれに、基準点選択部１１６が選択した１つの基準点からの距離に応じた異なる重みを設定する。例えば、基準点選択部１１６が左基準点を選択した場合、特徴点重み設定部１１７は、図５に示すように画像１０が含む全特徴点の座標それぞれに、図４に示した正規分布に従う重みを設定する。すなわち、図中に示す波紋が拡がる程、小さい重みが特徴点の座標に設定される。この重み（ｗ）は、以下の式（１）を用いて算出される。

式（１）において、（ｘ_０，ｙ_０）は基準点座標、（ｘ_ｉ，ｙ_ｉ）は画像１０中の画素の座標、σは任意の定数である。特徴点重み設定部１１７は、式（１）の（ｘ_ｉ，ｙ_ｉ）に特徴点の座標を、（ｘ_０，ｙ_０）に左基準点の座標を、それぞれ代入して１つの特徴点について重みを設定する。そして、特徴点重み設定部１１７は、図５の画像１０が含む全特徴点の座標毎に、重みを設定する。

次に、仮係数取得部１１８は、画像が含む特徴点と平滑点とからなる複数のペアのうち、任意に選択した４ペアに基づいて、射影変換のための仮係数を取得する。
この仮係数は、以下の式（２）により取得される。

ここで、（ｘ１〜ｘ４，ｙ１〜ｙ４）は、４つの特徴点の座標である。また、（Ｘ１〜Ｘ４，Ｙ１〜Ｙ４）は、その４つの特徴点それぞれとペアになる平滑点の座標である。また、（ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ）が射影変換のための仮係数である。この式（２）から明らかなように、射影変換のための射影変換係数を求めるには、特徴点と平滑点の１対のペアが４ペア必要となる。
この実施形態において、仮係数取得部１１８は、図５の画像１０が含む特徴点（バツ印）と平滑点とからなる一対のペア複数のうち、任意に選択した４ペアに基づいて、画像１０を射影変換するための仮係数を取得する。

次に、重み乗算部１１９は、仮係数取得部１１８が取得した仮係数を用いて全特徴点の座標を射影変換して得られたその全特徴点の射影変換後の座標と、その全特徴点とそれぞれペアの平滑点の座標と、の距離それぞれに、その全特徴点の座標それぞれに設定された重みを乗じる。

ここで、重み乗算部１１９は、まず、特徴点の座標を、取得した仮係数（ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ）を用いて、以下の式（３）により射影変換する。

ここで、（ｘ_ｉ，ｙ_ｉ）は、画像１０中の画素の座標であって、ｉの値に特徴点の座標を代入する。（ｘ’，ｙ’）は、射影変換後の座標である。重み乗算部１１９は、仮係数（ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ）と、全特徴点のうち１つの特徴点の座標と、を式（３）に代入して、射影変換後の座標（ｘ’，ｙ’）を求める。

例えば、重み乗算部１１９は、図５において、全特徴点６４個の座標（ｘ１，ｙ１）〜（ｘ６４，ｙ６４）のうち、任意に選択した１つの特徴点の座標を射影変換して射影変換後の座標を求める。例えば、特徴点の座標（ｘ５，ｙ５）から射影変換後の座標（ｘ’５，ｙ’５）を求める。

そして、重み乗算部１１９は、射影変換後の座標（ｘ’５，ｙ’５）から特徴点の座標（ｘ５，ｙ５）とペアの平滑点の座標（Ｘ５，Ｙ５）までの距離（差分）を求める。そして、その距離に式（１）で求められた特徴点の座標（ｘ５，ｙ５）に設定された重み（ｗ）を乗算する。この場合、図５に示す左基準点からの距離が近い特徴点ほど重みが大きくなるので、距離に重みを乗じた乗算値が大きくなる。すなわち、差分がでた場合のペナルティが大きくなる。

このように、重み乗算部１１９は、全特徴点の座標（ｘ１，ｙ１）〜（ｘ６４，ｙ６４）を射影変換して、射影変換後の座標（ｘ’１，ｙ’１）〜（ｘ’６４，ｙ’６４）とペアとなる平滑点の座標（Ｘ１，Ｙ１）〜（Ｘ６４，Ｙ６４）との間の距離を求める。そして、求めた複数の距離それぞれに、（ｘ１，ｙ１）〜（ｘ６４，ｙ６４）に設定された重み（ｗ）を乗算する。

なお、仮係数を求める際に選択した特徴点の座標（ｘ１，ｙ１）〜（ｘ４，ｙ４）を射影変換すると、射影変換後の座標（ｘ’１，ｙ’１）〜（ｘ’４，ｙ’４）は平滑点の座標（Ｘ１，Ｙ１）〜（Ｘ４，Ｙ４）と一致するので、距離（差分）は０となる。全特徴点を射影変換した場合に、射影変換後の全特徴点と全平滑点との間の距離の総和が最小となる仮係数が好適であって、この実施形態においてはさらに重みによるペナルティを設定することで基準点近くの特徴点が平滑点により近付くような仮係数を射影変換係数として選択するようにしている。

さて、図１に戻って、判定部１２０は、重み乗算部１１９が距離それぞれに重みを乗じた値の総和に基づいて、仮係数を、選択された１つの基準点に対する１つの射影変換係数とするか判定する。例えば、判定部１２０は、上記総和が最小か否かにより、全特徴点から任意に選択した４ペア（特徴点の座標（ｘ１〜ｘ４，ｙ１〜ｙ４）と平滑点の座標（Ｘ１〜Ｘ４，Ｙ１〜Ｙ４））から求めた仮係数を、左基準点に対する１つの射影変換係数とするか判定する。

換言すると、判定部１２０は、仮係数取得部１１８がペアを変えて（すなわち、４ペアのうち少なくとも１つのペアをその４ペアとは異なるペアに変えて）取得した複数の仮係数のうち、上記総和が最小になる仮係数を、選択された１つの基準点に対する１つの射影変換係数とする。この判定部１２０の処理は、ペアを変えて得られた複数の仮係数から、総和が最小になる仮係数を１つ探索する最適化処理とも言える。この点については後述する。

以上が射影変換係数取得部１１１の各部により、１つの基準点に対して１つの射影変換係数が取得されるまでの射影変換係数取得処理の流れである。射影変換係数取得部１１１は、基準点選択部１１６が１つの基準点を選択する都度、特徴点重み設定部１１７、仮係数取得部１１８、重み乗算部１１９及び判定部１２０の各処理からなる射影変換係数取得処理を反復して、その選択された１つの基準点に対する１つの射影変換係数を取得する。これにより、複数の基準点の数（この実施形態においては左基準点と右基準点の２基準点）と同数の射影変換係数を取得する。

次に、図６を参照しながら射影変換係数取得部１１１により実行される射影変換係数取得処理について説明する。この射影変換係数取得処理は、前処理済みの動画１３１について、ユーザが射影変換処理の実行指示をすることを契機に開始される。なお、これに限らず、ユーザの指示に基づいて動画１３１に対して前処理と射影変換処理を一気通貫で実行してもよいことはもちろんである。

まず、射影変換係数取得部１１１は、特徴点と平滑点とからなるペアが４ペア以上あるか否か判定する（ステップＳ１１）。この実施形態において、射影変換係数取得部１１１は、図３の画像１０に特徴点と平滑点とからなるペアが４ペア以上あるか否か判定する。ここで、４ペア以上ない場合（ステップＳ１１；Ｎｏ）、射影変換のための仮係数を求めることができないので、即時終了する。

一方、４ペア以上ある場合（ステップＳ１１；Ｙｅｓ）、基準点選択部１１６は、複数の基準点のうち、１つの基準点を選択する（ステップＳ１２）。この実施形態において、基準点選択部１１６は、右基準点又は左基準点の何れか一方を選択する。以下では、左基準点が最初に選択された場合を適宜例にとって説明する。

次に、特徴点重み設定部１１７は、選択した１つの基準点からの距離に応じた重みを全特徴点に設定する（ステップＳ１３）。この実施形態において、特徴点重み設定部１１７は、上述した要領で、画像１０が含む全特徴点６４個の座標それぞれに、左基準点からの距離に応じた異なる重み（ｗ）を、式（１）を用いて設定する（図５参照）。

次に、仮係数取得部１１８は、特徴点と平滑点とからなるペアをランダムに４ペア選択する（ステップＳ１４）。そして、仮係数取得部１１８は、選択した４ペアに基づいて、仮係数を取得する（ステップＳ１５）。この実施形態において、仮係数取得部１１８は、上述した要領で、式（２）に４ペアの特徴点と平滑点の座標を代入して、仮係数（ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ）を取得する。

次に、重み乗算部１１９は、仮係数を用いて、全特徴点を射影変換する（ステップＳ１６）。この実施形態において、重み乗算部１１９は、上述した要領で、画像１０中の全特徴点６４個の座標（ｘ１，ｙ１）〜（ｘ６４，ｙ６４）を、取得した仮係数（ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ）を用いて、式（３）により射影変換する。

次に、重み乗算部１１９は、射影変換後の全特徴点と、全特徴点とそれぞれペアの平滑点と、の距離それぞれに、重み（ｗ）を乗算する（ステップＳ１７）。この実施形態において、重み乗算部１１９は、上述した要領で、射影変換後の全特徴点の座標（ｘ’１，ｙ’１）〜（ｘ’６４，ｙ’６４）と、全特徴点とそれぞれペアの平滑点の座標（Ｘ１，Ｙ１）〜（Ｘ６４，Ｙ６４）と、の距離それぞれに、全特徴点の座標（ｘ１，ｙ１）〜（ｘ６４，ｙ６４）に設定された重み（ｗ）を乗算する。

次に、重み乗算部１１９は、距離それぞれに重みを乗じた値の総和を算出する（ステップＳ１８）。次に、判定部１２０は、算出した総和は最小か否か判定する（ステップＳ１９）。具体的には、判定部１２０は、今回の仮係数を用いて算出した総和と、前回異なる仮係数を用いて算出した総和と、で何れが最小かを判定する。

ここで、判定部１２０は、今回の仮係数を用いて算出した総和の方が最小であれば（ステップＳ１９；Ｙｅｓ）、射影変換係数として一時保存し（ステップＳ２０）、ステップＳ２１に進む。一方で、今回の仮係数を用いて算出した総和の方が最小でなければ（ステップＳ１９；Ｎｏ）、ステップＳ２０をスキップしてステップＳ２１に進む。

ステップＳ２１において、射影変換係数取得部１１１は、規定回数終了したか否か判定する（ステップＳ２１）。ここで、規定回数終了していない場合（ステップＳ２１；Ｎｏ）、規定回数（例えば、５００回）を終了するまで（ステップＳ２１；Ｙｅｓ）、ステップＳ１４乃至Ｓ２０の処理を繰り返す。

この処理を繰り返すことで、ペアを変えて求めた複数の仮係数の中から、全特徴点を全平滑点に近づけつつ、かつ、基準点付近の特徴点が平滑点に最も近付くような（つまり、基準点に近付くほど特徴点を平滑点に寄せる力が強い）仮係数を、１つの基準点に対する１つの射影変換係数として選択する。すなわち、規定回数になるまでステップＳ１４乃至Ｓ２０の処理をループさせて最適な射影変換係数を探索する。

なお、基準点に近い程、特徴点が平滑点に近付くのは重みの概念を導入したことによる。具体的には、この実施形態では、単純に距離（差分）の総和が最小になる仮係数を探索するのではなく、基準点に近いほど重みを重く設定して差分が出た場合のペナルティを大きくすることで、基準点付近で特徴点が平滑点に近付かないような仮係数を排除するようにしている。このため、基準点に近付くほど射影変換の精度が高い射影変換係数を選択することができる。

さて、規定回数終了するまでステップＳ１４乃至Ｓ２０の処理をループさせた後、判定部１２０は、選択した１つの基準点に対する１つの射影変換係数を確定する（ステップＳ２２）。この実施形態において、判定部１２０は、最初に選択した左基準点に対する１つの射影変換係数を確定する。

次に、基準点選択部１１６は、全基準点選択済みか否か判定する（ステップＳ２３）。全基準点選択済みでなければ（ステップＳ２３；Ｎｏ）、基準点選択部１１６は、ステップＳ１２に戻って、選択済みの基準点を除いた基準点の中から１つの基準点を選択する。この実施形態において、基準点選択部１１６は、右基準点を選択する。そして、特徴点重み設定部１１７は、図７に示すように、右基準点からの距離に応じた重みを全特徴点に設定する（ステップＳ１３）。その後、ステップＳ１４乃至２０の処理を規定回数が終了するまで繰り返して、右基準点に対する１つの射影変換係数を確定させる（ステップＳ２２）。全基準点選択済みになると（ステップＳ２３；Ｙｅｓ）、処理を終了する。

この射影変換係数取得処理により、上述した（１）画像中の複数の基準点と同数の射影変換係数を取得する処理が終了する。次に、上述した（２）取得した基準点と同数の射影変換係数で画像を射影変換し、（３）基準点と同数の射影変換後画像を構成する画素の座標を基準点と同数の重みを用いて加重平均する処理について、図８の加重平均画像取得処理を参照しながら説明する。前提として、右基準点に対する射影変換係数と左基準点に対する射影変換係数とが取得済みであるとする。この加重平均画像取得処理は、射影変換係数取得処理の終了後、即座に開始してもいいし、ユーザの指示に基づいて開始してもよい。

まず、画素重み設定部１１２は、画素の座標に、複数の基準点からの距離に応じた重みを複数設定する（ステップＳ３１）。具体的には、画素重み設定部１１２は、画像１０を構成する画素の座標（ｘ_ｉ，ｙ_ｉ）に、２基準点（右基準点と左基準点）からの距離に応じた異なる重みを２つ設定する。

次に、画素重み設定部１１２は、全画素の座標に重みを設定したか否か判定する（ステップＳ３２）。全画素の座標に重みを設定していない場合（ステップＳ３２；Ｎｏ）、全画素の座標に重みが設定されるまでステップＳ３１の処理を繰り返す。この処理により、画像１０の全画素の座標（ｘ_{ｉｍｉｎ〜ｉｍａｘ}，ｙ_{ｉｍｉｎ〜ｉｍａｘ}）それぞれに、２つの重みが設定される。

次に、射影変換後画像取得部１１３は、確定した複数の射影変換係数のうち、１つの射影変換係数を選択する（ステップＳ３３）。そして、射影変換後画像取得部１１３は、選択した射影変換係数により、画像を射影変換する（ステップＳ３４）。例えば、射影変換後画像取得部１１３が左基準点に対する射影変換係数を用いて画像１０を射影変換する場合、画像１０の画素の座標（ｘ_ｉ，ｙ_ｉ）毎に、式（３）を用いて射影変換する。そして、射影変換後の座標（ｘ’_ｉ，ｙ’_ｉ）の画素で構成される画像が射影変換後の画像となる。図９に、左基準点に対する射影変換係数を用いて射影変換された画像１０’を示す。図中、白丸は、射影変換前の特徴点（図５のバツ印）が射影変換されて平滑点に近付いた位置を示す。

次に、加重平均部１１４は、射影変換後の画像の全画素の全座標それぞれに、元画像の全画素の全座標に設定された重みを乗算する（ステップＳ３５）。例えば、加重平均部１１４は、射影変換後の画像１０’の画素の座標（ｘ’_ｉ，ｙ’_ｉ）に、元画像１０の画素の座標（ｘ_ｉ，ｙ_ｉ）に設定された左基準点からの距離に応じた重み（例えば、ｗ’）を乗算する。これにより、座標の値が（ｗ’ｘ’_ｉ，ｗ’ｙ’_ｉ）となる。加重平均部１１４は、射影変換後の画像１０’の全画素の座標（ｘ’_{ｉｍｉｎ〜ｉｍａｘ}，ｙ’_{ｉｍｉｎ〜ｉｍａｘ}）それぞれに、重みを乗算する。

次に、射影変換後画像取得部１１３は、全射影変換係数を選択済みか否か判定する（ステップＳ３６）。ここで、全射影変換係数を選択済みでない場合（ステップＳ３６；Ｎｏ）、射影変換後画像取得部１１３は、ステップＳ３３に戻って、選択済みの射影変換係数を除いた射影変換係数の中から１つの射影変換係数を選択する。この実施形態では、射影変換後画像取得部１１３は、右基準点に対する射影変換係数を選択する。

そして、射影変換後画像取得部１１３は、上述した要領で、ステップＳ３４において、画像１０の射影変換を行う（図１０参照）。この図１０は、右基準点に対する射影変換係数を用いて射影変換された画像１０”である。続いて、加重平均部１１４は、射影変換後の画像１０”の画素の座標（ｘ”_ｉ，ｙ”_ｉ）に、元画像１０の画素の座標（ｘ_ｉ，ｙ_ｉ）に設定された右基準点からの距離に応じた重み（例えば、ｗ”）を乗算する。これにより、座標の値が（ｗ”ｘ”_ｉ，ｗ”ｙ”_ｉ）となる。加重平均部１１４は、同様に、射影変換後の画像１０”の全画素の座標全て（ｘ”_{ｉｍｉｎ〜ｉｍａｘ}，ｙ”_{ｉｍｉｎ〜ｉｍａｘ}）に重みを乗じる。

ここで、全射影変換係数を選択済みと判定された場合（ステップＳ３６；Ｙｅｓ）、加重平均部１１４は、射影変換後の画像を構成する画素の座標それぞれを、加重平均する（ステップＳ３７）。この実施形態において、加重平均部１１４は、射影変換後の画像１０’と１０”とを、重み（ｗ’とｗ”と）により加重平均する。具体的には、一方の画像１０’と他方の画像１０”における対応画素の座標（ｗ’ｘ’_ｉ，ｗ’ｙ’_ｉ）と（ｗ”ｘ”_ｉ，ｗ”ｙ”_ｉ）とを、加重平均する。

なお、対応画素の座標におけるｉの値は、元画像１０における元画素（ｘ_ｉ，ｙ_ｉ）のｉの値と同じである。加重平均後の座標は、（ｗ’ｘ’_ｉ＋ｗ”ｘ”_ｉ／ｗ’＋ｗ”，ｗ’ｙ’_ｉ＋ｗ”ｙ”_ｉ／ｗ’＋ｗ”）となる。加重平均部１１４は、全対応画素の座標、すなわち（ｗ’ｘ’_{ｉｍｉｎ〜ｉｍａｘ}，ｗ’ｙ’_{ｉｍｉｎ〜ｉｍａｘ}）と（ｗ”ｘ”_{ｉｍｉｎ〜ｉｍａｘ}，ｗ”ｙ”_{ｉｍｉｎ〜ｉｍａｘ}）とを加重平均を行う。
ここで、ｗ’は画像１０の左基準点からの距離に応じた重み、ｗ”は画像１０の右基準点からの距離に応じた重み、（ｘ’_{ｉｍｉｎ〜ｉｍａｘ}，ｙ’_{ｉｍｉｎ〜ｉｍａｘ}）は左基準点に対する射影変換係数により射影変換した画像１０’の全画素の全座標、（ｘ”_{ｉｍｉｎ〜ｉｍａｘ}，ｙ”_{ｉｍｉｎ〜ｉｍａｘ}）は右基準点に対する射影変換係数により射影変換した画像１０”の全画素の全座標、をそれぞれ示す。

次に、加重平均画像取得部１１５は、加重平均画像を取得する（ステップＳ３８）。具体的には、加重平均画像取得部１１５は、全対応画素の座標について加重平均された画素で構成される、図１１に示す加重平均画像２０を取得する。

なお、この実施形態においては画像１０を例にとって説明したが、各部（射影変換係数取得部１１１、画素重み設定部１１２、射影変換後画像取得部１１３、加重平均部１１４、加重平均画像取得部１１５）の各処理からなる一連処理（射影変換係数取得処理及び加重平均処理）を、動画１３１を構成するフレームである画像毎に反復するようにする。この際、複数の基準点の位置（この実施形態では右基準点と左基準点の位置）は全画像に亘って共通の位置にするとよい。

以上、この実施形態における画像処理装置１００によれば、射影変換のための各部（射影変換係数取得部１１１、画素重み設定部１１２、射影変換後画像取得部１１３、加重平均部１１４、加重平均画像取得部１１５）を備えたことにより、まず、基準点に近いほど平滑点に近付く、すなわち精度の高い射影変換を行う射影変換係数を基準点と同数取得しておく。そして、それぞれの射影変換係数で射影変換した画像を構成する画素の座標を加重平均する。
このため、基準点がなく単純に１度だけ射影変換した画像と比べると、加重平均画像では射影変換の精度にムラがでない、即ち、画像の領域全般において適正な画像変換が行える。このため、画像中のあるスポットで射影変換の精度が悪くなるといった偏りが生じて、画像エッジ付近にジッタが発生するといった事態を避けることができる。

また、加重平均をすることにより、画像中の直線を２基準点からの引っ張り合いで曲線に近似することができる。このため、平面投影の射影変換で曲面投影の効果が得られる。したがって、視差を考慮した実際の見た目に近い画像を生成することができる。
また、動画を構成する複数の画像に亘って、射影変換係数取得処理と加重平均処理をするので、ブレ補正をしつつジッタを抑えた、見た目に違和感のない動画を生成することができる。

また、この実施形態においては、２基準点が画像１０の４辺のうち対向する２辺にそれぞれ近接して位置する。このため、画像両端のエッジ付近の射影変換の精度を高めつつ、加重平均画像２０において互いの力が拮抗する画像中央部分を除いた部分（画像の右領域又は左領域）では異なる力で互いが引っ張ることにより曲面投影の効果を得ることができる。したがって、正確な射影変換を画像全体で万遍なくカバーしながら見た目に自然な動画を得ることができる。

また、射影変換係数取得部１１１による射影変換係数取得の際、基準点に近いほど重みを重く設定して射影変換後の特徴点と平滑点に差分が出た場合のペナルティを大きくするようにしている。このため、基準点付近で平滑点に近付かないような仮係数を排除して、基準点付近での射影変換の精度を上げることができる。
また、この実施形態における射影変換係数取得部１１１は、画像中の全特徴点から任意に選択した４ペアから最終的な射影変換係数を求めるようにしている。このため、画像を複数の領域に分割して、分割した領域だけに含まれる特徴点から求めた射影変換係数により画像を射影変換した場合と比べると、画像分割のような不自然な繋ぎ目の発生を抑えることができる。

また、この実施形態における射影変換係数取得処理は、ステップＳ１４乃至Ｓ２１の最適化処理（いわゆるＲＡＮＳＡＣ（Random Sample Consensus）法）において、重みに係る処理を加えている。この重みに係る処理は数ステップからなるものなので、処理能力が低いＣＰＵでも射影変換係数取得処理が可能であり、この処理の低消費電力駆動が可能となる。

以上で実施形態の説明を終了するが、画像処理装置１００の具体的な構成や図６及び図８に示した射影変換係数取得処理、加重平均処理の内容が上述の実施形態で説明したものに限られないことはもちろんである。

例えば、上述した実施形態においては、基準点が２つであることを前提に説明したが、これに限られない。例えば、基準点を４つ設ける場合、射影変換精度のカバー率を高める観点から画像１０の四隅に基準点を配置するとよい。この場合、射影変換係数取得処理により４つの射影変換係数を取得し、加重平均処理により射影変換後の４つの画像を構成する画素の座標を加重平均する。なお、４つの射影変換後の画像において対応する対応画素は４つであり、これらを基準点と同数の４つの重みを用いて加重平均すればよい。

また、上述した実施形態における画像処理装置１００は、ＰＣであることを前提に説明したが、これに限られない。例えば、撮影装置が画像処理装置１００の各部の機能を備え、射影変換係数取得処理と加重平均処理を行ってもよい。この場合、ユーザが動画を撮影中にリアルタイムで射影変換係数取得処理と加重平均処理を行えば、ライブビューにて動画のブレ補正を低減しつつ、かつ、ジッタを抑えることができる。

また、この発明の画像処理装置１００の各機能は、通常のＰＣ等のコンピュータによっても実施することができる。具体的には、上記実施形態では、射影変換用のプログラムが、制御部１１０のＲＯＭに予め記憶されているものとして説明した。しかし、図１の各部の機能を実現させるためのプログラムを、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ（Digital Versatile Disc）及びＭＯ（Magneto-Optical Disc）等のコンピュータ読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータにインストールすることにより、上述の各部の機能を実現することができるコンピュータを構成してもよい。
また、プログラムをインターネット等の通信ネットワーク上のサーバ装置が有するディスク装置等に格納しておき、例えば、コンピュータがダウンロード等をすることができるようにしてもよい。

以上、本発明の実施形態について説明したが、この実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態をとることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、特許請求の範囲に記載された発明とその均等の範囲とに含まれる。以下に、本願出願当初の特許請求の範囲に記載された発明を付記する。

（付記１）
画像を射影変換するための係数である射影変換係数を、該画像において位置が異なる複数の基準点の数と同数取得する射影変換係数取得手段と、
前記射影変換係数取得手段が取得した前記複数の基準点の数と同数の射影変換係数それぞれにより、前記画像を射影変換して、該画像から前記基準点の数と同数の複数の射影変換後画像を取得する射影変換後画像取得手段と、
前記複数の射影変換後画像それぞれを、前記画像における前記複数の基準点からの距離に応じて定まる複数の重みを用いて加重平均する加重平均手段と、
前記加重平均手段により前記複数の射影変換後画像が加重平均された加重平均画像を取得する加重平均画像取得手段と、
を備えたことを特徴とする画像処理装置。

（付記２）
前記画像を構成する画素の座標に、該座標から前記複数の基準点までの距離に応じた異なる重みを複数設定する設定手段を備え、
前記加重平均手段は、前記複数の射影変換後画像間で対応する対応画素の座標同士を、前記画像における該対応画素の元画素の座標に前記設定手段が設定した複数の重みを用いて加重平均し、
前記加重平均画像取得手段は、前記加重平均手段による加重平均後の座標の画素で構成される前記加重平均画像を取得する、
ことを特徴とする付記１に記載の画像処理装置。

（付記３）
前記射影変換係数取得手段は、前記画像の４辺のうち対向する２辺にそれぞれ近接して位置する複数の基準点の数と同数の前記射影変換係数を取得する、
ことを特徴とする付記１又は２に記載の画像処理装置。

（付記４）
前記画像は、該画像の特徴を示す特徴点と、該画像をフレームとして含む動画での該特徴点の特徴点軌道を平滑化した平滑化軌道上の平滑点と、からなる一対のペアを少なくとも４ペア以上含み、
前記射影変換係数取得手段は、
前記複数の基準点のうち、１つの基準点を選択する選択手段と、
前記画像が含む全特徴点の座標それぞれに、前記選択手段が選択した１つの基準点からの距離に応じた異なる重みを設定する重み設定手段と、
前記画像が含む前記特徴点と前記平滑点とからなる複数のペアのうち、任意に選択した４ペアに基づいて、前記射影変換のための仮係数を取得する仮係数取得手段と、
前記仮係数取得手段が取得した仮係数を用いて前記全特徴点の座標を射影変換して得られた該全特徴点の射影変換後の座標と、該全特徴点とそれぞれペアの平滑点の座標と、の距離それぞれに、該全特徴点の座標それぞれに設定された重みを乗じる重み乗算手段と、
前記重み乗算手段が前記距離それぞれに重みを乗じた値の総和に基づいて、前記仮係数を前記選択された１つの基準点に対する１つの射影変換係数とするか判定する判定手段と、を備える、
ことを特徴とする付記１乃至３の何れか一つに記載の画像処理装置。

（付記５）
前記判定手段は、前記仮係数取得手段が前記４ペアのうち少なくとも１つのペアを該４ペアとは異なるペアに変えて取得した複数の仮係数のうち、前記総和が最小になる仮係数を、前記選択された１つの基準点に対する１つの射影変換係数とする、
ことを特徴とする付記４に記載の画像処理装置。

（付記６）
前記射影変換係数取得手段は、前記選択手段が１つの基準点を選択する都度、前記重み設定手段、前記仮係数取得手段、前記重み乗算手段及び前記判定手段の各処理からなる射影変換係数取得処理を反復して、該選択された１つの基準点に対する１つの射影変換係数を取得し、前記複数の基準点の数と同数の射影変換係数を取得する、
ことを特徴とする付記４又は５に記載の画像処理装置。

（付記７）
前記射影変換係数取得手段、前記射影変換後画像取得手段、前記加重平均手段及び前記加重平均画像取得手段の各処理からなる一連処理を、動画を構成するフレームである画像毎に反復する反復手段を備えた、
ことを特徴とする付記１乃至６の何れか一つに記載の画像処理装置。

（付記８）
画像を射影変換するための係数である射影変換係数を、該画像において位置が異なる複数の基準点の数と同数取得する射影変換係数取得ステップと、
前記射影変換係数取得ステップにおいて取得した前記複数の基準点の数と同数の射影変換係数それぞれにより、前記画像を射影変換して、該画像から前記基準点の数と同数の複数の射影変換後画像を取得する射影変換後画像取得ステップと、
前記複数の射影変換後画像それぞれを、前記画像における前記複数の基準点からの距離に応じて定まる複数の重みを用いて加重平均する加重平均ステップと、
前記加重平均ステップにおいて前記複数の射影変換後画像が加重平均された加重平均画像を取得する加重平均画像取得ステップと、
を備えたことを特徴とする画像処理方法。

（付記９）
コンピュータを、
画像を射影変換するための係数である射影変換係数を、該画像において位置が異なる複数の基準点の数と同数取得する射影変換係数取得手段、
前記射影変換係数取得手段が取得した前記複数の基準点の数と同数の射影変換係数それぞれにより、前記画像を射影変換して、該画像から前記基準点の数と同数の複数の射影変換後画像を取得する射影変換後画像取得手段、
前記複数の射影変換後画像それぞれを、前記画像における前記複数の基準点からの距離に応じて定まる複数の重みを用いて加重平均する加重平均手段、
前記加重平均手段により前記複数の射影変換後画像が加重平均された加重平均画像を取得する加重平均画像取得手段、
として機能させるためのプログラム。

１０…射影変換前の画像、１０’，１０”…射影変換後の画像、２０…加重平均画像、１００…画像処理装置、１１０…制御部、１１１…射影変換係数取得部、１１２…画素重み設定部、１１３…射影変換後画像取得部、１１４…加重平均部、１１５…加重平均画像取得部、１１６…基準点選択部、１１７…特徴点重み設定部、１１８…仮係数取得部、１１９…重み乗算部、１２０…判定部、１３０…記憶部、１３１…動画、１４０…表示部

Claims (9)

1. 画像を射影変換するための係数である射影変換係数を、該画像において位置が異なる複数の基準点の数と同数取得する射影変換係数取得手段と、
   前記射影変換係数取得手段が取得した前記複数の基準点の数と同数の射影変換係数それぞれにより、前記画像を射影変換して、該画像から前記基準点の数と同数の複数の射影変換後画像を取得する射影変換後画像取得手段と、
   前記複数の射影変換後画像それぞれを、前記画像における前記複数の基準点からの距離に応じて定まる複数の重みを用いて加重平均する加重平均手段と、
   前記加重平均手段により前記複数の射影変換後画像が加重平均された加重平均画像を取得する加重平均画像取得手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記画像を構成する画素の座標に、該座標から前記複数の基準点までの距離に応じた異なる重みを複数設定する設定手段を備え、
   前記加重平均手段は、前記複数の射影変換後画像間で対応する対応画素の座標同士を、前記画像における該対応画素の元画素の座標に前記設定手段が設定した複数の重みを用いて加重平均し、
   前記加重平均画像取得手段は、前記加重平均手段による加重平均後の座標の画素で構成される前記加重平均画像を取得する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記射影変換係数取得手段は、前記画像の４辺のうち対向する２辺にそれぞれ近接して位置する複数の基準点の数と同数の前記射影変換係数を取得する、
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記画像は、該画像の特徴を示す特徴点と、該画像をフレームとして含む動画での該特徴点の特徴点軌道を平滑化した平滑化軌道上の平滑点と、からなる一対のペアを少なくとも４ペア以上含み、
   前記射影変換係数取得手段は、
   前記複数の基準点のうち、１つの基準点を選択する選択手段と、
   前記画像が含む全特徴点の座標それぞれに、前記選択手段が選択した１つの基準点からの距離に応じた異なる重みを設定する重み設定手段と、
   前記画像が含む前記特徴点と前記平滑点とからなる複数のペアのうち、任意に選択した４ペアに基づいて、前記射影変換のための仮係数を取得する仮係数取得手段と、
   前記仮係数取得手段が取得した仮係数を用いて前記全特徴点の座標を射影変換して得られた該全特徴点の射影変換後の座標と、該全特徴点とそれぞれペアの平滑点の座標と、の距離それぞれに、該全特徴点の座標それぞれに設定された重みを乗じる重み乗算手段と、
   前記重み乗算手段が前記距離それぞれに重みを乗じた値の総和に基づいて、前記仮係数を前記選択された１つの基準点に対する１つの射影変換係数とするか判定する判定手段と、を備える、
   ことを特徴とする請求項１乃至３の何れか一項に記載の画像処理装置。
5. 前記判定手段は、前記仮係数取得手段が前記４ペアのうち少なくとも１つのペアを該４ペアとは異なるペアに変えて取得した複数の仮係数のうち、前記総和が最小になる仮係数を、前記選択された１つの基準点に対する１つの射影変換係数とする、
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記射影変換係数取得手段は、前記選択手段が１つの基準点を選択する都度、前記重み設定手段、前記仮係数取得手段、前記重み乗算手段及び前記判定手段の各処理からなる射影変換係数取得処理を反復して、該選択された１つの基準点に対する１つの射影変換係数を取得し、前記複数の基準点の数と同数の射影変換係数を取得する、
   ことを特徴とする請求項４又は５に記載の画像処理装置。
7. 前記射影変換係数取得手段、前記射影変換後画像取得手段、前記加重平均手段及び前記加重平均画像取得手段の各処理からなる一連処理を、動画を構成するフレームである画像毎に反復する反復手段を備えた、
   ことを特徴とする請求項１乃至６の何れか一項に記載の画像処理装置。
8. 画像を射影変換するための係数である射影変換係数を、該画像において位置が異なる複数の基準点の数と同数取得する射影変換係数取得ステップと、
   前記射影変換係数取得ステップにおいて取得した前記複数の基準点の数と同数の射影変換係数それぞれにより、前記画像を射影変換して、該画像から前記基準点の数と同数の複数の射影変換後画像を取得する射影変換後画像取得ステップと、
   前記複数の射影変換後画像それぞれを、前記画像における前記複数の基準点からの距離に応じて定まる複数の重みを用いて加重平均する加重平均ステップと、
   前記加重平均ステップにおいて前記複数の射影変換後画像が加重平均された加重平均画像を取得する加重平均画像取得ステップと、
   を備えたことを特徴とする画像処理方法。
9. コンピュータを、
   画像を射影変換するための係数である射影変換係数を、該画像において位置が異なる複数の基準点の数と同数取得する射影変換係数取得手段、
   前記射影変換係数取得手段が取得した前記複数の基準点の数と同数の射影変換係数それぞれにより、前記画像を射影変換して、該画像から前記基準点の数と同数の複数の射影変換後画像を取得する射影変換後画像取得手段、
   前記複数の射影変換後画像それぞれを、前記画像における前記複数の基準点からの距離に応じて定まる複数の重みを用いて加重平均する加重平均手段、
   前記加重平均手段により前記複数の射影変換後画像が加重平均された加重平均画像を取得する加重平均画像取得手段、
   として機能させるためのプログラム。

Images