JP6536169B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

近時、デジタル技術により複数の画像（フレーム）で構成される動画のブレを補正することが行われている。
動画のブレ補正の方法として、例えば特許文献１には、画像の４隅の特徴点を抽出し、その４隅の特徴点の移動量を用いて画像の射影変換を行う技術が開示されている。

特開２０１１−９７２１７号公報

ところで、動画のブレ補正を行う場合、まず、動画を構成する画像の特徴点を抽出する。次に、抽出された特徴点を各画像に亘り時間的に追跡することで特徴点軌道を生成する。次に、生成した特徴点軌道を平滑化（スムージング）して平滑化軌道を生成する。次に、各画像の特徴点を、その特徴点に対応する平滑化軌道上の平滑点に移動させる画像変形処理、例えば、射影変換を行う。

ここで、一般的に、動画のブレ補正は、動画に映る背景のブレを止めるために行われる。しかしながら、動画中に動体が一瞬映り込む、あるいは特徴点の追跡エラーや手ぶれで生じる視差の影響などに起因して、画像変形処理として射影変換しても動画中の画像が突然歪んで変形することがあった。このような画像が動画中に含まれると動画の見た目が不自然になってしまう。

そこで、本発明は、上記事情に鑑みてなされたものであり、画像の変形処理において画像が不定形に変形するのを抑える画像処理装置等を提供することを目的とする。

上記目的を達成するため、この発明の第１の観点に係る画像処理装置は、
画像の特徴を示す特徴点に基づいて、該画像を射影変換するための仮係数を取得する仮係数取得手段と、
前記仮係数取得手段が取得した仮係数を用いて、複数の固定点を頂点とする多角形を射影変換する変換手段と、
前記変換手段による射影変換前の多角形と、該変換手段による射影変換後の多角形と、から多角形の変形度合いの大きさを示す変形度を取得する変形度取得手段と、
前記変形度取得手段が取得した変形度が変形許容度を超えるか判定する判定手段と、
前記判定手段により前記変形度が前記変形許容度を超えないと判定された場合、前記仮係数取得手段が取得した仮係数を本係数として前記画像を射影変換する射影変換手段と、を備えた画像処理装置であって、
前記画像は、該画像の特徴を示す特徴点と、該画像をフレームとして含む動画での該特徴点の特徴点軌道を平滑化した平滑化軌道上の平滑点と、からなる一対のペアを少なくとも４ペア以上含み、
前記仮係数取得手段は、前記画像が含む前記特徴点と前記平滑点とからなる複数のペアのうち、任意に選択した４ペアに基づいて前記仮係数を取得する、
ことを特徴とする。

上記目的を達成するため、この発明の第２の観点に係る画像処理装置は、
画像の特徴を示す特徴点に基づいて、該画像を射影変換するための射影変換係数を取得する射影変換係数取得手段と、
前記射影変換係数取得手段が取得した射影変換係数を用いて、前記画像を射影変換する射影変換手段と、
前記射影変換手段による射影変換前の前記画像と、該射影変換手段による射影変換後の前記画像と、から前記画像の変形度合いの大きさを示す変形度を取得する変形度取得手段と、
前記変形度取得手段が取得した変形度が変形許容度を超えるか判定する判定手段と、を備え、
前記判定手段により前記変形度が前記変形許容度を超えないと判定された場合、前記射影変換手段による射影変換後の前記画像を正式な変換画像とする、画像処理装置であって、
前記画像は、該画像の特徴を示す特徴点と、該画像をフレームとして含む動画での該特徴点の特徴点軌道を平滑化した平滑化軌道上の平滑点と、からなる一対のペアを少なくとも４ペア以上含み、
前記射影変換係数取得手段は、前記画像が含む前記特徴点と前記平滑点とからなる複数のペアのうち、任意に選択した４ペアに基づいて前記射影変換係数を取得する、
ことを特徴とする。

本発明によれば、画像の変形処理において画像が不定形に変形するのを抑えることができる。

画像処理装置の構成を示すブロック図である。 特徴点軌道と平滑化軌道の一例を示す概念図である。 射影変換前の画像の一例を示す図である。 射影変換後の画像の一例を示す図である。 変形度テーブルの一例を示す図である。 射影変換処理の流れの一例を示すフローチャートである。

以下、この発明の実施形態を図面に基づいて説明する。
図１に示すように、画像処理装置１００は、例えばＰＣ（Personal Computer）であって、制御部１１０、表示部１２０及び記憶部１３０を備える。この画像処理装置１００は、動画１３１を構成する各画像（各フレーム）に対して画像処理を行う。特に、この実施形態における画像処理装置１００は、画像処理として、画像を変形する射影変換を行う。この射影変換を行うための射影変換係数は、画像の特徴を示す特徴点と、その画像を含む動画での特徴点軌道を平滑化した平滑化軌道上の平滑点と、からなる一対のペアを複数用いて取得される。

以下では、この射影変換に先だって行われる特徴点と平滑点とを求める前処理について、図２の概念図を参照しながら説明する。なお、この前処理は公知技術であるから、図１に示した実施形態に係る射影変換のための構成とは別の一般論として以下説明する。また、図２には、理解を容易にするために、黒点で示す特徴点が１つである場合を例にとって説明するが、実際の動画を構成する画像（フレーム）は複数の特徴点を含む。

まず、図２の特徴点追跡が示すように、動画を構成するフレームである第１画像において、特徴点が抽出される。この特徴点とは、物体の角や線分の交差のような画像中における特徴となる点である。この特徴点は、例えば、Ｈａｒｒｉｓ／Ｐｌｅｓｓｅｙ法、ＫＬＴ法、Ｈｅｓｓｉａｎ法などのアルゴリズムを用いて画像中から抽出される。

次に、その抽出された特徴点が第２画像〜第４画像に亘って時間的に追跡される。この特徴点追跡は、例えば、ブロックマッチング、濃度勾配を利用したアルゴリズムなどを用いて行われる。

この特徴点追跡により、図２中央に示す第１〜第４画像におけるジグザグの特徴点軌道が得られる。この特徴点軌道を平滑化（スムージング）することで、実線で示す第１〜第４画像の平滑化軌道が得られる。この平滑化は、例えば、ローパスフィルタを用いて行われる。

これにより、図２の特徴点と平滑点が示すように、各画像において、特徴点と対応する平滑化軌道上の平滑点（丸バツ）が得られる。この特徴点と平滑点とは一対のペアであって、この特徴点を平滑点に移動させる画像変形処理（この実施形態では、特に、射影変換）を画像毎に行うことで、動画のブレ補正が行われる。なお、実際には、画像中の複数の特徴点を、それぞれ対応する平滑点に移動させることになる。
以上が射影変換に先立って行われる前処理である。

以下では、この前処理を前提として、図１を参照しながら射影変換に係る構成について説明する。
まず、記憶部１３０は、ＨＤＤ（Hard Disk Drive）などの不揮発性メモリである。この記憶部１３０は、動画１３１を記憶する。この動画１３１は、例えば、撮影装置（カメラ）により所定のフレームレートで撮影された動画に前処理がなされたものである。このため、動画１３１を構成する各画像は、複数の特徴点と、その複数の特徴点とそれぞれ対になる複数の平滑点と、を含む。

次に、表示部１２０は、液晶や有機ＥＬ（Electroluminescence)などのディスプレイとそのディスプレイを均一に光らせるバックライトなどの光源から構成される。表示部１２０は、動画や画像を表示する表示画面（スクリーン）１２１を備える。

次に、制御部１１０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)などから構成される。制御部１１０のＣＰＵは、ＲＯＭに記憶されている射影変換用のプログラムを読み出して実行することにより、各機能（仮係数取得部１１１、多角形変換部１１２、変形度取得部１１３、判定部１１４、選択部１１５及び射影変換部１１６）を実現する。

仮係数取得部１１１は、画像の特徴を示す特徴点に基づいて、その画像を射影変換するための仮係数を取得する。具体的には、仮係数取得部１１１は、画像が含む特徴点と平滑点とからなる一対のペア複数のうち、任意に選択した４ペアに基づいて仮係数を取得する
この仮係数は、以下の式（１）により取得される。

ここで、（ｘ１〜ｘ４，ｙ１〜ｙ４）は、４つの特徴点の座標である。また、（Ｘ１〜Ｘ４，Ｙ１〜Ｙ４）は、その４つの特徴点それぞれとペアになる平滑点の座標である。また、（ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ）が射影変換のための仮係数である。この式（１）から明らかなように、射影変換のための射影変換係数を求めるには、特徴点と平滑点の１対のペアが４ペア必要となる。

次に、多角形変換部１１２は、仮係数取得部１１１が取得した仮係数を用いて、複数の固定点を頂点とする多角形（三角形〜ｎ角形）を射影変換する。この実施形態においては、一例として、多角形が画像４隅の４つの固定点を頂点とする長方形であることを前提に説明する。つまり、多角形変換部１１２は、画像を長方形として仮係数により射影変換する。

ここで、画像１０を図３に示す。この画像１０は、理解を容易にするため、表示画面１２１に映っていることを前提に説明するが、画像処理装置１００がユーザに見せずに内部処理してもよいことはもちろんである。この画像１０は、動画１３１を構成する１フレームであって、仮係数が取得された画像である。この画像１０の四隅の座標は、（ｘ１，ｙ１）〜（ｘ４，ｙ４）である。Ｘｓｉｚｅ及びＹｓｉｚｅは、例えば、画素数に基づく実寸で定まる。なお、以下では図３に示す画像１０であることを特段特定して説明する必要がなければ、これと区別する意味で単に画像と称して説明する。

多角形変換部１１２は、この四隅の座標（ｘ１，ｙ１）〜（ｘ４，ｙ４）を、取得した仮係数を用いて、以下の式（２）により射影変換する。

ここで、（ｘ_ｉ，ｙ_ｉ）は、画像中の任意座標であって、ｉは１以上の自然数である。（ｘ’，ｙ’）は、射影変換後の座標である。多角形変換部１１２は、仮係数（ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ）と、四隅の座標（ｘ１，ｙ１）〜（ｘ４，ｙ４）と、を式（２）に代入して、射影変換後の座標（ｘ’１，ｙ’１）〜（ｘ’４，ｙ’４）を求めて、画像１０を変形する。図４に射影変換後の画像１０’を示す。図３の射影変換前の画像１０と比べて図４に示す射影変換後の画像１０’は変形しているのが分かる。

次に、変形度取得部１１３は、多角形変換部１１２による射影変換前の多角形と、その多角形変換部１１２による射影変換後の多角形と、から多角形の変形度合いの大きさを示す変形度を取得する。この実施形態において、変形度取得部１１３は、図３の射影変換前の四角形の画像１０と、図４の射影変換後の四角形の画像１０’と、から変形度を取得する。

この変形度は、画像１０’の各辺（ｌ１〜ｌ４）と対角線（ｌ５及びｌ６）との長さと、それら各辺と対角線と対応する画像１０の各辺と対角線との長さと、の比から求める。変形度取得部１１３は、まず、以下の式（３）により画像１０’の各辺（ｌ１〜ｌ４）と対角線（ｌ５及びｌ６）の長さを求める。

次に、変形度取得部１１３は、射影変換後の画像１０’の求めた長さに基づいて、以下の式（４）により、射影変換前の画像１０との長さの比を求める。

変形度取得部１１３は、このｒａｔｉｏ１〜ｒａｔｉｏ６のうち、最大値（Ｍａｘ＿ｒａｔｉｏ）と、最小値（Ｍｉｎ＿ｒａｔｉｏ）と、を選択し、その比を画像の変形率とする。すなわち、画像（四角形）の変形率は、Ｍｉｎ＿ｒａｔｉｏ／Ｍａｘ＿ｒａｔｉｏとなる。

この変形率は、射影変換前後で多角形がどの程度変形したかを示すものであり、図５に示すように変形率１００％は変形していない、すなわち変形度は０となる。この変形率が下がるにつれて変形度合いが大きくなるので、変形度は図中に示すように大きくなる。この変形率は、スケール変換（拡大縮小）、平行移動、回転移動などにより変形前後で図形が重なる場合は１００％、すなわち相似形の場合は変形度０となる。このため、相似形にならない限り（両者が重ならなければ）、変形度は０よりも大きくなる。

判定部１１４は、変形度取得部１１３が取得した変形度が変形許容度を超えるか判定する。この変形許容度は、動画の見た目が不自然にならないために予め設定されるものであって、画像の不定形の変形を規制する基準である。この実施形態では、一例として、変形許容度が５である前提で説明する。判定部１１４は、取得した変形度が変形許容度５を超えるか否か判定する。

ここで、判定部１１４が取得した変形度が変形許容度５を超える、すなわち取得した変形度が６以上の場合、各部（仮係数取得部１１１、多角形変換部１１２、変形度取得部１１３）の処理を繰り返す。つまり、取得した変形度が変形許容度５を超えないような仮係数が取得されるまで、各部の処理を反復して実行する。

次に、選択部１１５は、判定部１１４が反復して判定することで変形許容度を超えない変形度が複数あると判定した場合、その変形許容度を超えない複数の多角形をそれぞれ射影変換するのに用いた複数の仮係数のうち、本係数として用いる仮係数を選択する。この選択部１１５の処理は、複数の仮係数の中から１つの仮係数を本係数として選択する、いわゆる最適化処理である。この処理の詳細については後述する。

次に、射影変換部１１６は、選択部１１５が選択した本係数を用いて画像を射影変換する。この実施形態においては、射影変換部１１６は、本係数を用いて、画像１０を射影変換する。ここで、射影変換するとは、本係数（ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ）と、画像１０を構成する画素の座標（ｘ_ｉ，ｙ_ｉ）と、を式（２）に代入して射影変換後の座標（ｘ’，ｙ’）を得る。この処理を画像１０の全画素それぞれの座標毎に繰り返すことで、射影変換後の座標位置で定まる画素で構成される画像、すなわち射影変換後の画像が得られる。

以上、画像処理装置１００の構成について説明した。以下では、画像処理装置１００の各部の機能により実行される射影変換処理について図６を参照しながら説明する。この射影変換処理は、前処理済みの動画１３１について、ユーザが射影変換処理の実行指示をすることを契機に開始される。なお、これに限らず、ユーザの指示に基づいて動画１３１に対して前処理と射影変換処理を一気通貫で実行してもよいことはもちろんである。また、以下の説明では、動画１３１を構成する複数の画像のうち、画像１０を適宜例にとって説明する。

まず、仮係数取得部１１１は、特徴点と平滑点とからなるペアが４ペア以上あるか否か判定する（ステップＳ１１）。この実施形態において、仮係数取得部１１１は、画像１０に特徴点と平滑点とからなるペアが４ペア以上あるか否か判定する。ここで、４ペア以上ない場合（ステップＳ１１；Ｎｏ）、射影変換のための仮係数を求めることができないので、即時終了する。

一方、４ペア以上ある場合（ステップＳ１１；Ｙｅｓ）、仮係数取得部１１１は、ランダムに４ペア選択する（ステップＳ１２）。この実施形態において、仮係数取得部１１１は、画像１０中からランダムに特徴点と平滑点のペアを４ペア選択する。

次に、仮係数取得部１１１は、選択した４ペアに基づいて、仮係数を取得する（ステップＳ１３）。具体的には、仮係数取得部１１１は、上述した要領で、選択した４ペアの特徴点の座標と平滑点の座標とから式（１）を用いて、仮係数（ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ）を取得する。

次に、多角形変換部１１２は、取得した仮係数を用いて多角形を射影変換する（ステップＳ１４）。この実施形態において、多角形変換部１１２は、上述した要領で、式（２）を用いて図３に示す射影変換前の四角形の画像１０を射影変換して、図４に示す射影変換後の画像１０’を得る。

次に、変形度取得部１１３は、多角形の変形度を取得する（ステップＳ１５）。具体的には、変形度取得部１１３は、上述した要領で、式（３）及び式（４）を用いて四角形の画像１０の変形度を取得する。

次に、判定部１１４は、変形度が変形許容度を超えるか否か判定する（ステップＳ１６）。この実施形態において、判定部１１４は、画像１０の変形度が変形許容度５を超えるか否か判定する。
ここで、変形度が変形許容度を超える場合（ステップＳ１６；Ｙｅｓ）、ステップＳ１２乃至Ｓ１６の処理を、変形度が変形許容度を超えなくなるまで（ステップＳ１６；Ｎｏ）、繰り返す。

すなわち、仮係数取得部１１１は、判定部１１４により変形度が変形許容度を超えると判定される都度、ランダムに選択した４ペアのうち少なくとも１つのペアをその４ペアとは異なるペアに変えて仮係数を反復取得する。多角形変換部１１２は、仮係数取得部１１１により仮係数が取得される都度、その取得された仮係数を用いて、多角形（この実施形態では四角形である画像１０）を反復して射影変換する。変形度取得部１１３は、多角形変換部１１２により多角形が射影変換される都度、その射影変換された多角形に基づいて変形度を反復取得する。判定部１１４は、変形度取得部１１３により変形度が取得される都度、その取得された変形度が変形許容度を超えるか反復して判定する（ステップＳ１２乃至Ｓ１６のループ）。これにより、見た目に違和感がでる程度に画像１０を変形するような仮係数が排除される。

ここで、変形度が変形許容度を超えない場合（ステップＳ１６；Ｎｏ）、選択部１１５は、仮係数を用いて、全特徴点を射影変換する（ステップＳ１７）。この実施形態においては、選択部１１５は、画像１０が含む全特徴点それぞれの座標を、仮係数と式（２）を用いて射影変換する。

次に、選択部１１５は、射影変換後の全特徴点と、全特徴点とそれぞれペアの平滑点と、の距離の総和を算出する（ステップＳ１８）。具体的には、選択部１１５は、射影変換後の特徴点の座標と、その特徴点とペアの平滑点の座標と、の距離（ユークリッド距離）を特徴点毎に求め、求めたそれぞれの距離を総和する。

なお、仮係数を求めるためにランダムに選択した４ペアについては射影変換により特徴点と平滑点とが重なる（つまり、距離は０となる）ものの、その他のペアについては特徴点と平滑点とが重ならない（つまり、距離が０よりも大きくなる）場合がある。このため、総和が最小なほど全特徴点が全平滑点に近付くので本係数として好ましいことになる。

次に、選択部１１５は、算出した総和は最小か否か判定する（ステップＳ１９）。具体的には、選択部１１５は、今回の仮係数を用いて算出した総和と、前回異なる仮係数を用いて算出した総和と、で何れが最小かを判定する。

ここで、選択部１１５は、今回の仮係数を用いて算出した総和の方が最小であれば（ステップＳ１９；Ｙｅｓ）、本係数として一時保存し（ステップＳ２０）、ステップＳ２１に進む。一方で、今回の仮係数を用いて算出した総和の方が最小でなければ（ステップＳ１９；Ｎｏ）、ステップＳ２０をスキップしてステップＳ２１に進む。

ステップＳ２１において、制御部１１０は、規定回数終了したか否か判定する（ステップＳ２１）。ここで、規定回数終了していない場合（ステップＳ２１；Ｎｏ）、規定回数（例えば、５００回）を終了するまで（ステップＳ２１；Ｙｅｓ）、ステップＳ１２乃至Ｓ２０の処理を繰り返す。

この処理を繰り返して、ステップＳ１２乃至Ｓ１６で画像１０を不定形に変形しない仮係数のみでステップＳ１７乃至Ｓ２０の処理を行って仮係数の最適化を行う。換言すると、ステップＳ１２乃至Ｓ１６で一次選抜された画像１０を不定形に変形しない複数の仮係数の中から、選択部１１５は、画像１０の全特徴点の座標を射影変換して得られた射影変換後の座標と、その全特徴点とそれぞれペアの平滑点の座標と、の距離の総和が最小になる仮係数を本係数として選択する。つまり、選択部１１５は、画像１０が歪まない特徴点から求めた複数の仮係数のうち、全特徴点が全平滑点に最も近付く仮係数を本係数として選択する。

さて、図６に戻って、規定回数終了した後（ステップＳ２１；Ｙｅｓ）、射影変換部１１６は、一時保存した本係数を用いて、画像を射影変換して（ステップＳ２２）、処理を終了する。具体的には、射影変換部１１６は、最適化された仮係数を本係数として画像１０を射影変換して、処理を終了する。これにより、画像１０を、変形許容度を超えずに変形しつつ、かつ、画像１０中の全特徴点を全平滑点に最も近づけることができる。

なお、画像１０は一例であって、各部（仮係数取得部１１１、多角形変換部１１２、変形度取得部１１３、判定部１１４、選択部１１５、射影変換部１１６）の各処理からなる一連処理（射影変換処理）を、動画１３１を構成するフレームである画像毎に反復するようにする。この際、変形許容度の値は全画像に亘って共通にするとよい。

以上、この実施形態における画像処理装置１００によれば、射影変換のための各部（仮係数取得部１１１、多角形変換部１１２、変形度取得部１１３、判定部１１４、選択部１１５、射影変換部１１６）を備えたことにより、画像の変形許容度を超えるような射影変換をする仮係数を本係数とするような事態を避けることができる。このため、射影変換しても、動体の映り込み、特徴点の追跡エラー、視差の影響などに起因して動画中の画像が突然歪んで変形するようなことがない。したがって、画像の不定形の変形を抑えることができる。

また、この画像処理装置１００によれば、選択部１１５を備えたことにより、変形許容度を超えない複数の仮係数の中から、画像中の全特徴点が全平滑点に最も近付く仮係数を本係数として選択することができる。このため、動画中の画像が突然歪むような不自然な変形を抑止しつつ動画のブレを抑えることができる。

また、この実施形態においては、多角形変換部１１２は、仮係数を用いて、画像１０の４隅の４つの固定点を頂点とする四角形を射影変換するようにした。このため、実際の画像１０がどれだけ歪むかを直感的に知ることができる。なお、多角形として画像４隅の四角形を用いることは一例であって、三角形又は５角形以上の多角形により変形度を求めてもよい。また、この変形度は、必ずしも画像を用いた変形度でなくてよく、画像とは異なる２次元平面上において数学的に多角形を射影変換して変形度を求めてもよい。

また、この実施形態における射影変換処理においては、ステップＳ１７乃至Ｓ２１の最適化処理（いわゆるＲＡＮＳＡＣ法）の前段階で変形度に基づいて仮係数の絞り込みを行う。この処理の演算は数ステップからなるものなので、処理能力が低いＣＰＵでも射影変換処理が可能であり、射影変換処理の低消費電力駆動が可能となる。

以上で実施形態の説明を終了するが、画像処理装置１００の具体的な構成や図６に示した射影変換処理の内容が上述の実施形態で説明したものに限られないことはもちろんである。

上述した図６の射影変換処理においては、ステップＳ１７乃至Ｓ２１の最適化処理を行うようにしたが、これに限られない。例えば、この最適化処理を行わずに、ステップＳ１６において変形度が変形許容度を超えないと判定された場合に、即座に、射影変換部１１６は、取得した仮係数を本係数として画像を射影変換してもよい。これにより、上述した実施形態の効果に加えて、最適化処理の処理負荷を軽減できるので処理時間を短縮することができる。

また、上述した実施形態における画像処理装置１００は、ＰＣであることを前提に説明したが、これに限られない。例えば、撮影装置が画像処理装置１００の各部の機能を備え、射影変換処理を行ってもよい。この場合、ユーザが動画を撮影中にリアルタイムで射影変換処理を行えば、ライブビューにて動画のブレ補正を低減しつつ、かつ、フレームの歪みを抑えることができる。

また、上述した実施形態においては、仮係数を用いて多角形を射影変換し、変換前の多角形と変換後の多角形の変形度を取得し、変形度が変形許容度を超えるか否かを判定し、変形許容度を超えないと判定された仮係数を用いて画像を射影変換するようにしたが、これに限られない。

例えば、仮係数取得部１１１は、画像の特徴を示す特徴点に基づいて、該画像を射影変換するための射影変換係数を取得する。つまり、仮係数取得部１１１は、仮係数に代えて、射影変換係数を取得する。次に、射影変換部１１６は、取得した射影変換係数を用いて画像を射影変換する。次に、多角形変換部１１２は、射影変換前の元画像と射影変換後の画像とから変形度を取得する。次に、判定部１１４は、取得した変形度が変形許容度を超えるか判定する。そして、判定部１１４により変形度が変形許容度を超えないと判定された場合は、射影変換後の画像を正式な変換画像とすればよい。これにより、上記実施形態と比べて更に処理時間を短縮することができる。

また、この発明の画像処理装置１００の各機能は、通常のＰＣ等のコンピュータによっても実施することができる。具体的には、上記実施形態では、射影変換用のプログラムが、制御部１１０のＲＯＭに予め記憶されているものとして説明した。しかし、図１の各部の機能を実現させるためのプログラムを、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ（Digital Versatile Disc）及びＭＯ（Magneto-Optical Disc）等のコンピュータ読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータにインストールすることにより、上述の各部の機能を実現することができるコンピュータを構成してもよい。
また、プログラムをインターネット等の通信ネットワーク上のサーバ装置が有するディスク装置等に格納しておき、例えば、コンピュータがダウンロード等をすることができるようにしてもよい。

以上、本発明の実施形態について説明したが、この実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態をとることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、特許請求の範囲に記載された発明とその均等の範囲とに含まれる。以下に、本願出願当初の特許請求の範囲に記載された発明を付記する。

（付記１）
画像の特徴を示す特徴点に基づいて、該画像を射影変換するための仮係数を取得する仮係数取得手段と、
前記仮係数取得手段が取得した仮係数を用いて、複数の固定点を頂点とする多角形を射影変換する変換手段と、
前記変換手段による射影変換前の多角形と、該変換手段による射影変換後の多角形と、から多角形の変形度合いの大きさを示す変形度を取得する変形度取得手段と、
前記変形度取得手段が取得した変形度が変形許容度を超えるか判定する判定手段と、
前記判定手段により前記変形度が前記変形許容度を超えないと判定された場合、前記仮係数取得手段が取得した仮係数を本係数として前記画像を射影変換する射影変換手段と、
を備えたことを特徴とする画像処理装置。

（付記２）
前記変換手段は、前記仮係数を用いて、前記画像４隅の４つの固定点を頂点とする四角形を射影変換し、
前記変形度取得手段は、射影変換前の四角形と、射影変換後の四角形と、から前記変形度を取得する、
ことを特徴とする付記１に記載の画像処理装置。

（付記３）
前記変換手段は、前記仮係数を用いて、前記画像とは異なる２次元平面上の複数の固定点を頂点とする多角形を射影変換する、
ことを特徴とする付記１に記載の画像処理装置。

（付記４）
前記画像は、該画像の特徴を示す特徴点と、該画像をフレームとして含む動画での該特徴点の特徴点軌道を平滑化した平滑化軌道上の平滑点と、からなる一対のペアを少なくとも４ペア以上含み、
前記仮係数取得手段は、前記画像が含む前記特徴点と前記平滑点とからなる複数のペアのうち、任意に選択した４ペアに基づいて前記仮係数を取得する、
ことを特徴とする付記１乃至３の何れか一つに記載の画像処理装置。

（付記５）
前記仮係数取得手段は、前記判定手段により前記変形度が前記変形許容度を超えると判定される都度、前記任意に選択した４ペアのうち少なくとも１つのペアを該４ペアとは異なるペアに変えて仮係数を反復取得し、
前記変換手段は、前記仮係数取得手段により仮係数が取得される都度、該取得された仮係数を用いて、前記多角形を反復して射影変換し、
前記変形度取得手段は、前記変換手段により前記多角形が射影変換される都度、該射影変換された多角形に基づいて変形度を反復取得し、
前記判定手段は、前記変形度取得手段により前記変形度が取得される都度、該取得された変形度が変形許容度を超えるか反復して判定する、
ことを特徴とする付記４に記載の画像処理装置。

（付記６）
前記判定手段が反復して判定することで前記変形許容度を超えない変形度が複数あると判定した場合、該複数の変形度の多角形をそれぞれ射影変換するのに用いた複数の仮係数のうち、前記本係数として用いる仮係数を選択する選択手段を備えた、
ことを特徴とする付記５に記載の画像処理装置。

（付記７）
前記選択手段は、前記複数の仮係数のうち、前記画像の全特徴点の座標を射影変換して得られた該全特徴点の射影変換後の座標と、該全特徴点とそれぞれペアの平滑点の座標と、の距離の総和が最小になる仮係数を前記本係数として選択し、
前記射影変換手段は、前記選択手段が選択した本係数を用いて前記画像を射影変換する、
ことを特徴とする付記６に記載の画像処理装置。

（付記８）
前記仮係数取得手段、前記変換手段、前記変形度取得手段、前記判定手段及び前記射影変換手段の各処理からなる一連処理を、動画を構成するフレームである画像毎に反復する反復手段を備えた、
ことを特徴とする付記１乃至７の何れか一つに記載の画像処理装置。

（付記９）
画像の特徴を示す特徴点に基づいて、該画像を射影変換するための射影変換係数を取得する射影変換係数取得手段と、
前記射影変換係数取得手段が取得した射影変換係数を用いて、前記画像を射影変換する射影変換手段と、
前記射影変換手段による射影変換前の前記画像と、該射影変換手段による射影変換後の前記画像と、から前記画像の変形度合いの大きさを示す変形度を取得する変形度取得手段と、
前記変形度取得手段が取得した変形度が変形許容度を超えるか判定する判定手段と、を備え、
前記判定手段により前記変形度が前記変形許容度を超えないと判定された場合、前記射影変換手段による射影変換後の前記画像を正式な変換画像とする、
ことを特徴とする画像処理装置。

（付記１０）
画像の特徴を示す特徴点に基づいて、該画像を射影変換するための仮係数を取得する仮係数取得ステップと、
前記仮係数取得ステップにおいて取得した仮係数を用いて、複数の固定点を頂点とする多角形を射影変換する変換ステップと、
前記変換ステップによる射影変換前の多角形と、該変換ステップによる射影変換後の多角形と、から多角形の変形度合いの大きさを示す変形度を取得する変形度取得ステップと、
前記変形度取得ステップにおいて取得した変形度が変形許容度を超えるか判定する判定ステップと、
前記判定ステップにおいて前記変形度が前記変形許容度を超えないと判定された場合、前記仮係数取得ステップにおいて取得した仮係数を本係数として前記画像を射影変換する射影変換ステップと、
を備えたことを特徴とする画像処理方法。

（付記１１）
コンピュータを、
画像の特徴を示す特徴点に基づいて、該画像を射影変換するための仮係数を取得する仮係数取得手段、
前記仮係数取得手段が取得した仮係数を用いて、複数の固定点を頂点とする多角形を射影変換する変換手段、
前記変換手段による射影変換前の多角形と、該変換手段による射影変換後の多角形と、から多角形の変形度合いの大きさを示す変形度を取得する変形度取得手段、
前記変形度取得手段が取得した変形度が変形許容度を超えるか判定する判定手段、
前記判定手段により前記変形度が前記変形許容度を超えないと判定された場合、前記仮係数取得手段が取得した仮係数を本係数として前記画像を射影変換する射影変換手段、
として機能させるためのプログラム。

１０…射影変換前の画像、１０’…射影変換後の画像、１００…画像処理装置、１１０…制御部、１１１…仮係数取得部、１１２…多角形変換部、１１３…変形度取得部、１１４…判定部、１１５…選択部、１１６…射影変換部、１２０…表示部、１２１…表示画面、１３０…記憶部、１３１…動画

Claims (9)

1. 画像の特徴を示す特徴点に基づいて、該画像を射影変換するための仮係数を取得する仮係数取得手段と、
   前記仮係数取得手段が取得した仮係数を用いて、複数の固定点を頂点とする多角形を射影変換する変換手段と、
   前記変換手段による射影変換前の多角形と、該変換手段による射影変換後の多角形と、から多角形の変形度合いの大きさを示す変形度を取得する変形度取得手段と、
   前記変形度取得手段が取得した変形度が変形許容度を超えるか判定する判定手段と、
   前記判定手段により前記変形度が前記変形許容度を超えないと判定された場合、前記仮係数取得手段が取得した仮係数を本係数として前記画像を射影変換する射影変換手段と、を備えた画像処理装置であって、
   前記画像は、該画像の特徴を示す特徴点と、該画像をフレームとして含む動画での該特徴点の特徴点軌道を平滑化した平滑化軌道上の平滑点と、からなる一対のペアを少なくとも４ペア以上含み、
   前記仮係数取得手段は、前記画像が含む前記特徴点と前記平滑点とからなる複数のペアのうち、任意に選択した４ペアに基づいて前記仮係数を取得する、
   ことを特徴とする画像処理装置。
2. 前記仮係数取得手段は、前記判定手段により前記変形度が前記変形許容度を超えると判定される都度、前記任意に選択した４ペアのうち少なくとも１つのペアを該４ペアとは異なるペアに変えて仮係数を反復取得し、
   前記変換手段は、前記仮係数取得手段により仮係数が取得される都度、該取得された仮係数を用いて、前記多角形を反復して射影変換し、
   前記変形度取得手段は、前記変換手段により前記多角形が射影変換される都度、該射影変換された多角形に基づいて変形度を反復取得し、
   前記判定手段は、前記変形度取得手段により前記変形度が取得される都度、該取得された変形度が変形許容度を超えるか反復して判定する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記判定手段が反復して判定することで前記変形許容度を超えない変形度が複数あると判定した場合、該複数の変形度の多角形をそれぞれ射影変換するのに用いた複数の仮係数のうち、前記本係数として用いる仮係数を選択する選択手段を備えた、
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記選択手段は、前記複数の仮係数のうち、前記画像の全特徴点の座標を射影変換して得られた該全特徴点の射影変換後の座標と、該全特徴点とそれぞれペアの平滑点の座標と、の距離の総和が最小になる仮係数を前記本係数として選択し、
   前記射影変換手段は、前記選択手段が選択した本係数を用いて前記画像を射影変換する、
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記変換手段は、前記仮係数を用いて、前記画像の４隅の４つの固定点を頂点とする四角形を射影変換し、
   前記変形度取得手段は、射影変換前の四角形と、射影変換後の四角形と、から前記変形度を取得する、
   ことを特徴とする請求項１乃至４の何れか一項に記載の画像処理装置。
6. 前記仮係数取得手段、前記変換手段、前記変形度取得手段、前記判定手段及び前記射影変換手段の各処理からなる一連処理を、動画を構成するフレームである画像毎に反復する反復手段を備えた、
   ことを特徴とする請求項１乃至５の何れか一項に記載の画像処理装置。
7. 画像の特徴を示す特徴点に基づいて、該画像を射影変換するための射影変換係数を取得する射影変換係数取得手段と、
   前記射影変換係数取得手段が取得した射影変換係数を用いて、前記画像を射影変換する射影変換手段と、
   前記射影変換手段による射影変換前の前記画像と、該射影変換手段による射影変換後の前記画像と、から前記画像の変形度合いの大きさを示す変形度を取得する変形度取得手段と、
   前記変形度取得手段が取得した変形度が変形許容度を超えるか判定する判定手段と、を備え、
   前記判定手段により前記変形度が前記変形許容度を超えないと判定された場合、前記射影変換手段による射影変換後の前記画像を正式な変換画像とする、画像処理装置であって、
   前記画像は、該画像の特徴を示す特徴点と、該画像をフレームとして含む動画での該特徴点の特徴点軌道を平滑化した平滑化軌道上の平滑点と、からなる一対のペアを少なくとも４ペア以上含み、
   前記射影変換係数取得手段は、前記画像が含む前記特徴点と前記平滑点とからなる複数のペアのうち、任意に選択した４ペアに基づいて前記射影変換係数を取得する、
   ことを特徴とする画像処理装置。
8. 画像の特徴を示す特徴点に基づいて、該画像を射影変換するための仮係数を取得する仮係数取得ステップと、
   前記仮係数取得ステップにおいて取得した仮係数を用いて、複数の固定点を頂点とする多角形を射影変換する変換ステップと、
   前記変換ステップによる射影変換前の多角形と、該変換ステップによる射影変換後の多角形と、から多角形の変形度合いの大きさを示す変形度を取得する変形度取得ステップと、
   前記変形度取得ステップにおいて取得した変形度が変形許容度を超えるか判定する判定ステップと、
   前記判定ステップにおいて前記変形度が前記変形許容度を超えないと判定された場合、前記仮係数取得ステップにおいて取得した仮係数を本係数として前記画像を射影変換する射影変換ステップと、を備えた画像処理方法であって、
   前記画像は、該画像の特徴を示す特徴点と、該画像をフレームとして含む動画での該特徴点の特徴点軌道を平滑化した平滑化軌道上の平滑点と、からなる一対のペアを少なくとも４ペア以上含み、
   前記仮係数取得ステップは、前記画像が含む前記特徴点と前記平滑点とからなる複数のペアのうち、任意に選択した４ペアに基づいて前記仮係数を取得する、
   ことを特徴とする画像処理方法。
9. コンピュータを、
   画像の特徴を示す特徴点に基づいて、該画像を射影変換するための仮係数を取得する仮係数取得手段、
   前記仮係数取得手段が取得した仮係数を用いて、複数の固定点を頂点とする多角形を射影変換する変換手段、
   前記変換手段による射影変換前の多角形と、該変換手段による射影変換後の多角形と、から多角形の変形度合いの大きさを示す変形度を取得する変形度取得手段、
   前記変形度取得手段が取得した変形度が変形許容度を超えるか判定する判定手段、
   前記判定手段により前記変形度が前記変形許容度を超えないと判定された場合、前記仮係数取得手段が取得した仮係数を本係数として前記画像を射影変換する射影変換手段、として機能させるためのプログラムであって、
   前記画像は、該画像の特徴を示す特徴点と、該画像をフレームとして含む動画での該特徴点の特徴点軌道を平滑化した平滑化軌道上の平滑点と、からなる一対のペアを少なくとも４ペア以上含み、
   前記仮係数取得手段は、前記画像が含む前記特徴点と前記平滑点とからなる複数のペアのうち、任意に選択した４ペアに基づいて前記仮係数を取得する、
   ことを特徴とするプログラム。

Images