JP4133246B2 - 画像変形情報生成装置、画像変形情報生成方法及び画像変形情報生成プログラム - Google Patents
画像変形情報生成装置、画像変形情報生成方法及び画像変形情報生成プログラム Download PDFInfo
- Publication number
- JP4133246B2 JP4133246B2 JP2002331879A JP2002331879A JP4133246B2 JP 4133246 B2 JP4133246 B2 JP 4133246B2 JP 2002331879 A JP2002331879 A JP 2002331879A JP 2002331879 A JP2002331879 A JP 2002331879A JP 4133246 B2 JP4133246 B2 JP 4133246B2
- Authority
- JP
- Japan
- Prior art keywords
- straight line
- image
- parameter
- candidate
- deformation information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、時系列に入力される画像の動きを変形情報として生成する画像変形情報生成装置、画像変形情報生成方法及び画像変形情報生成プログラムに関する。
【０００２】
【従来の技術】
従来、異なる２つの画像において、一方の画像が他方の画像にどのように変形したかを、アフィン、回転、拡大／縮小、並進等を表すパラメータ（変形情報：以下変形パラメータという）によって表現する手法が存在する。この変形パラメータを求める手法としては、画像内の各画素が移動した距離を最小化する変形パラメータを最適な変形パラメータとして特定する手法が広く用いられている（例えば、非特許文献１参照。）。なお、この非特許文献１には、変形パラメータを２つの画像間の動きパラメータとして求める問題として記載されている。
【０００３】
ここで、図８を参照して、従来の変形パラメータを求める手法について説明する。図８は、異なる２つの画像において、一方の画像（基準画像という）が他方の画像（比較画像という）に変形したときの変形パラメータを求める動作の概略を示すフローチャートである。
【０００４】
この従来の手法では、まず、ブロックマッチング法によって、基準画像Ｉstdと比較画像Ｉcmpとの間で特定の大きさのブロック毎にマッチングを行い動きベクトルを検出する（ステップＳ２１：ブロックマッチング法）。そして、基準画像Ｉstdと比較画像Ｉcmpとに対応する画素毎に（１）式によって、変形パラメータによる動き予測誤差ｅｒｒを計算する（ステップＳ２２）。
【０００５】
【数１】
【０００６】
ここで、ρはコスト関数（ここではベクトルの大きさを求めることで、特定の統計モデルに合致する確率を示す関数）、ｖはブロック毎の動きベクトル、ｘは各ブロック内の画素位置（ベクトル）、ｐは変形パラメータ、Ａはパラメータ変換を示すものとする。前記（１）式に示したように、動き予測誤差ｅｒｒは、ブロック毎の動きベクトルｖから、そのブロック内における各画素位置（ベクトル）を変形パラメータｐによってパラメータ変換したベクトルを引いた差分ベクトルの大きさに基づいて、特定の統計モデルに合致する確率を画素毎に加算したものとなる。
【０００７】
そして、この動き予測誤差ｅｒｒの特定の統計モデルに合致する確率が最大となる変形パラメータｐを、最適な変形パラメータとして出力する（ステップＳ２３）。
このように、従来は、画像内の各画素が移動した距離を最小化する変形パラメータを最適な変形パラメータとして求めていた。
【０００８】
【非特許文献１】
Ａ．Ｍｕｒａｔ Ｔｅｋａｌｐ著、“Ｄｉｇｉｔａｌ ＶｉｄｅｏＰｒｏｃｅｓｓｉｎｇ”、Ｐｒｅｎｔｉｃｅ Ｈａｌｌ、１９９５年
【０００９】
【発明が解決しようとする課題】
しかし、前記従来の技術では、前記（１）式に示したように、変形パラメータを画像上の画素レベルの統計的な性質に基づいて求めるため、連続した複数の画像で逐次変形パラメータを求めようとすると、誤差が時間と共に画像に伝播してしまうという問題がある。さらに、この誤差の伝播に伴い正しい変形パラメータが得られなかった場合、その間違った変形パラメータによって変形された画像からは、正しい画像を回復させることができないという問題がある。
【００１０】
さらに、前記従来の技術では、変形パラメータの精度を上げるために、画素単位での計算を繰り返し行う必要があるため、処理時間がかかってしまうという問題がある。
【００１１】
本発明は、以上のような問題点に鑑みてなされたものであり、変形パラメータの精度を高めると共に、変形パラメータを求める計算量を軽減し、高速処理を実現することを可能にした画像変形情報生成装置、画像変形情報生成方法及び画像変形情報生成プログラムを提供することを目的とする。
【００１２】
【課題を解決するための手段】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の画像変形情報生成装置は、時系列に入力される連続した画像において、予め基準画像に含まれる基準直線を特定する基準直線パラメータを設定し、前記画像が変化することに伴う前記基準直線の変化に基づいて、前記基準画像から前記基準画像以降に入力される入力画像への変形情報を生成する画像変形情報生成装置であって、前記入力画像に含まれる直線を画像内直線として検出し、その画像内直線を画像内直線パラメータによって特定する直線検出手段と、前記基準直線パラメータ及び前記画像内直線パラメータのパラメータ間の距離に基づいて、前記直線検出手段で検出された画像内直線の中から、前記基準直線の位置が移動した候補となる候補直線を抽出し、その候補直線を候補直線パラメータとして特定する候補直線抽出手段と、前記基準直線パラメータと前記候補直線パラメータとに基づいて、前記基準直線と前記候補直線とが同一の直線である度合いを示す一致度を算出する一致度算出手段と、この一致度算出手段で算出された一致度に基づいて、前記候補直線の中から前記基準直線の位置が移動した移動直線を特定し、前記基準直線から前記移動直線への変形情報を、前記基準画像から前記入力画像への変形情報として決定する変形情報決定手段と、を備える構成とした。
【００１３】
かかる構成によれば、画像変形情報生成装置は、基準となる基準画像に含まれる基準直線を特定するパラメータ（基準直線パラメータ）として設定しておき、その基準直線が基準画像以降に入力される入力画像上でどのように変形していくかを示す変形情報を算出し、その変形情報を基準画像が変形していく変形情報として生成する。
【００１４】
すなわち、画像変形情報生成装置は、直線検出手段によって、基準画像以降に入力される入力画像内の直線（画像内直線）を、ハフ変換等の一般的なエッジ検出技術により検出する。これによって、画像内直線を特定するパラメータ（画像直線内パラメータ）が求められる。ここで検出された画像内直線には、基準画像で設定した基準直線が変形した直線以外の直線も含まれている可能性がある。
【００１５】
そこで、画像変形情報生成装置は、候補直線抽出手段によって、基準直線と画像内直線とのパラメータ間距離が予め定めた距離以内のものを候補直線として抽出し、その候補直線を候補直線パラメータとして特定する。例えば、このパラメータ間距離は、各直線をハフパラメータで表現することで、そのハフパラメータ間の距離として定義しておく。このように、各直線をパラメータによって表現しておくことで、直線間の距離を容易に求めることができる。この場合、例えば、直線の傾き、画像座標上の原点からの距離等のパラメータにおいて、画像座標上の原点からの距離が近いものであっても、直線の傾きが大きく異なるものは類似していないと判断する。これによって、基準直線に類似した候補直線が抽出され、基準直線とその基準直線が入力画像上で変形したであろう直線の候補（候補直線）との組み合わせ数を減らすことができる。
【００１６】
そして、画像変形情報生成装置は、一致度算出手段によって、この組み合わせ数を減らした基準直線と候補直線との各組み合わせにおいて、基準直線パラメータと前記候補直線パラメータとにより、基準直線と候補直線とが同一の直線である度合いを示す一致度の算出を行い、変形情報決定手段によって、候補直線の中から基準直線の位置が移動した直線（移動直線）を１つに特定し、基準直線から移動直線への変形情報を、基準画像から入力画像への変形情報として決定する。
【００１７】
また、請求項２に記載の画像変形情報生成装置は、請求項１に記載の画像変形情報生成装置において、前記直線検出手段が、前記入力画像において、前記基準直線の位置に対応し、その基準直線の近傍領域からなる領域を前記画像内直線の探索領域として設定する探索領域設定手段を備え、前記探索領域に対してハフ変換を行うことで前記画像内直線を検出することを特徴とする。
【００１８】
かかる構成によれば、画像変形情報生成装置は、探索領域設定手段によって、入力画像上に、基準直線の位置を基準に特定の幅を持った領域（近傍領域）を、基準直線数分加算した探索領域として設定する。そして、直線検出手段は、基準直線の位置が移動したと想定される探索領域内でハフ変換により画像内直線を検出する。これによって探索領域が狭くなり、直線検出の時間を短縮することができる。
【００１９】
なお、ここで基準直線に対する近傍領域を設定する際の幅は、例えば、変化（動き）が激しい画像の場合は、基準画像上の基準直線が入力画像上で大きく移動するため、その移動量以上の幅を設定する。また、変化が穏やかな画像の場合は幅を狭く設定するものとする。
【００２２】
また、請求項３に記載の画像変形情報生成装置は、請求項１又は請求項２に記載の画像変形情報生成装置において、前記変形情報決定手段によって決定された変形情報により、前記基準画像を変形した変形画像を生成し、その変形画像と前記入力画像との誤差に基づいて、前記変形情報を補正する変形情報補正手段を備えたことを特徴とする。
【００２３】
かかる構成によれば、画像変形情報生成装置は、変形情報補正手段によって、変形情報決定手段で決定された変形情報（変形パラメータ）を用いて、基準画像を変形し、その変形した変形画像と入力画像との誤差、例えば、動きベクトルにおける予測誤差に基づいて、変形パラメータを補正する。これによって、変形パラメータの精度を高めることができる。
【００２４】
さらに、請求項４に記載の画像変形情報生成方法は、時系列に入力される連続した画像において、予め基準画像に含まれる基準直線を特定する基準直線パラメータを設定し、前記画像が変化することに伴う前記基準直線の変化に基づいて、前記基準画像から前記基準画像以降に入力される入力画像への変形情報を生成する画像変形情報生成方法であって、探索領域設定手段によって、前記入力画像から、前記基準直線の位置に対応し、その基準直線の近傍領域からなる領域を直線の探索領域として設定する探索領域設定ステップと、直線検出手段によって、前記探索領域設定ステップで設定された探索領域に対してハフ変換を行い、この探索領域に含まれる直線を画像内直線として検出し、その画像内直線を画像内直線パラメータによって特定する直線検出ステップと、候補直線特定手段によって、前記基準直線パラメータ及び前記画像内直線パラメータのパラメータ間の距離に基づいて、前記直線検出ステップで検出された画像内直線の中から、前記基準直線の位置が移動した候補となる候補直線を抽出し、その候補直線を候補直線パラメータとして特定する候補直線パラメータ特定ステップと、一致度算出手段によって、前記基準直線パラメータと前記候補直線パラメータとに基づいて、前記基準直線と前記候補直線とが同一の直線である度合いを示す一致度を算出する一致度算出ステップと、変形情報決定手段によって、前記一致度算出ステップで算出された一致度に基づいて、前記候補直線の中から前記基準直線の位置が移動した移動直線を特定し、前記基準直線から前記移動直線への変形情報を、前記基準画像から前記入力画像への変形情報として決定する変形情報決定ステップと、を含むことを特徴とする。
【００２５】
この方法によれば、画像変形情報生成方法は、探索領域設定ステップで、入力画像上に、基準直線の位置を基準に特定の幅を持った領域（近傍領域）を、基準直線数分加算した探索領域として設定する。そして、直線検出ステップで、探索領域設定ステップで設定された探索領域に対してハフ変換を行い、この探索領域に含まれる画像内直線を検出する。このように、直線検出ステップでは、基準直線の位置が移動したと想定される探索領域内で画像内直線を探索することで、直線検出の時間を短縮することができる。また、ハフ変換によって、画像内直線を画素の集合としてではなく、パラメータ（ハフパラメータ）として扱うことが可能になる。
【００２６】
さらに、候補直線パラメータ特定ステップで、画像内直線の中で、基準直線に近接するものを基準直線の位置が移動した候補直線とし、その候補直線のハフパラメータである候補直線パラメータを特定する。なお、画像内直線の中から、基準直線に近接する候補直線を特定するには、画像内直線のハフパラメータと、基準直線のハフパラメータとの距離を求め、その距離が予め定めた距離以内のものを候補直線とする。これによって、基準直線に類似した候補直線が抽出され、基準直線とその基準直線が入力画像上で変形したであろう直線の候補（候補直線）との組み合わせ数を減らすことができる。
【００２７】
また、一致度算出ステップで、この組み合わせ数を減らした基準直線と候補直線との各組み合わせにおいて、基準直線と候補直線とが同一の直線である度合いを示す一致度の算出を行い、変形情報決定ステップで、候補直線の中から基準直線の位置が移動した直線（移動直線）を１つに特定し、基準直線から移動直線への変形情報を、基準画像から入力画像への変形情報として決定する。
【００２８】
また、請求項５に記載の画像変形情報生成プログラムは、時系列に入力される連続した画像において、予め基準画像に含まれる基準直線を特定する基準直線パラメータを設定し、前記画像が変化することに伴う前記基準直線の変化に基づいて、前記基準画像から前記基準画像以降に入力される入力画像への変形情報を生成するために、コンピュータを、以下の手段によって機能させる構成とした。
【００２９】
すなわち、前記入力画像から、前記基準直線の位置に対応し、その基準直線の近傍領域からなる領域を直線の探索領域として設定する探索領域設定手段、この探索領域設定手段で設定された探索領域に対してハフ変換を行い、この探索領域に含まれる画像内直線を検出し、その画像内直線を画像内直線パラメータによって特定する直線検出手段、前記基準直線パラメータ及び前記画像内直線パラメータのパラメータ間の距離に基づいて、前記直線検出手段で検出された画像内直線の中から、前記基準直線の位置が移動した候補となる候補直線を抽出し、その候補直線を候補直線パラメータとして特定する候補直線特定手段、前記基準直線パラメータと前記候補直線パラメータとに基づいて、前記基準直線と前記候補直線とが同一の直線である度合いを示す一致度を算出する一致度算出手段、この一致度算出手段で算出された一致度に基づいて、前記候補直線の中から前記基準直線の位置が移動した移動直線を特定し、前記基準直線から前記移動直線への変形情報を、前記基準画像から前記入力画像への変形情報として決定する変形情報決定手段、とした。
【００３０】
かかる構成によれば、画像変形情報生成プログラムは、探索領域設定手段によって、入力画像上に、基準直線の位置を基準に特定の幅を持った領域（近傍領域）を、基準直線数分加算した探索領域として設定し、直線検出手段によって、探索領域に対してハフ変換を行うことで、画像内直線を検出して画像内直線を特定するパラメータ（画像直線内パラメータ）を求める。ここで検出された画像内直線には、基準画像で設定した基準直線が変形した直線以外の直線も含まれている可能性がある。
【００３１】
そして、画像変形情報生成プログラムは、候補直線抽出手段によって、画像内直線から基準直線に類似する直線を基準直線の位置が移動した候補となる候補直線として抽出する。ここでは、基準直線と画像内直線とのパラメータ間距離が予め定めた距離以内のものを候補直線として抽出し、その候補直線を候補直線パラメータとして特定する。
【００３２】
そして、画像変形情報生成プログラムは、一致度算出手段によって、基準直線と候補直線との各組み合わせにおいて、基準直線パラメータと前記候補直線パラメータとにより、基準直線と候補直線とが同一の直線である度合いを示す一致度の算出を行い、変形情報決定手段によって、候補直線の中から基準直線の位置が移動した直線（移動直線）を１つに特定し、基準直線から移動直線への変形情報を、基準画像から入力画像への変形情報として決定する。
【００３３】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
［画像変形情報生成装置の構成］
図１は、本発明における画像変形情報生成装置１の構成を示したブロック図である。図１に示すように画像変形情報生成装置１は、時系列に入力される連続画像の動きを、アフィン、回転、拡大／縮小、並進等の変形関係で特定し、その変形関係を示す変形パラメータを出力するものである。ここでは、連続画像において、最初に入力される画像を変形の基準となる基準画像Ｉstd、その基準画像Ｉstd以降に入力される入力画像を基準画像Ｉstdと比較する画像として比較画像Ｉcmpと呼ぶこととする。また、ここでは、画像変形情報生成装置１を、直線パラメータ検出手段１０と、基準直線パラメータ記憶手段２０と、候補直線パラメータ記憶手段３０と、変形パラメータ特定手段４０とを備えて構成した。
【００３４】
直線パラメータ検出手段１０は、入力された画像（基準画像Ｉstd及び比較画像Ｉcmp）から直線を検出し、その直線を特定するパラメータを出力するもので、基準直線設定部２と、直線検出部３と、候補直線抽出部４とを備えて構成した。
【００３５】
基準直線設定部２は、入力された基準画像Ｉstdにおいて、画像の特徴となる直線（基準直線）を図示していない入力手段により設定されることで、その基準直線を特定するパラメータ（基準直線パラメータ）を、基準直線パラメータ記憶手段２０に記憶するものである。なお、基準直線設定部２は、直線が存在する領域のみを図示していない入力手段により設定されることで、その領域をハフ変換（Ｈｏｕｇｈ ｔｒａｎｓｆｏｒｍ）し、直線を検出することとしてもよい。
【００３６】
この基準直線設定部２で基準直線パラメータ記憶手段２０に記憶される基準直線パラメータは、直線を特定するパラメータであって、例えば後記するハフ空間におけるハフパラメータとする。
【００３７】
なお、ここで設定する直線の数に応じて、アフィン、回転、拡大／縮小、並進等の画像の変形関係が特定される。例えば、画像の変形は変形パラメータの数を増やすほど、自由な変形を表現することが可能であるが、その場合には、画像上に必要な数の直線が存在している必要がある。図２に変形パラメータの数と、その必要条件を示す。
【００３８】
図２に示すように、例えば、変形パラメータを１〜２とする場合は、画像上に傾きが異なる２本以上の直線の組み合わせが１組以上存在する必要がある。これによって表現される代表的な変形モデルには並進がある。すなわち、基準直線設定部２では、傾きが異なる２本以上の直線の組み合わせを１組設定することで、変形モデルとして並進を表現することが可能になる。
【００３９】
次に、図３を参照して、ハフ変換及び直線を特定するパラメータについて説明する。図３（ａ）は、一般的な（ｘ，ｙ）座標によって表現された座標空間（以下画像空間という）に直線ｌが存在している状態を示している。ハフ変換は、この直線ｌを構成する画素（複数の画素）を、その直線ｌを特定するパラメータ（ハフパラメータ）に変換するものである。一般的に、ハフ変換は、直線ｌを座標空間の原点Ｏから直線ｌに垂線を引いた線分とｘ軸との角度Θ、及びその線分の長さρの２つのハフパラメータに変換する。
【００４０】
このようにハフ変換によって、２つのハフパラメータに変換された直線ｌは、図３（ｂ）に示すように、（ρ，Θ）座標によって表現された座標空間（以下ハフ空間という）上で、点として表現される。なお、直線を特定するパラメータは必ずしもハフパラメータ（ρ，Θ）である必要はない、例えば、図３（ａ）において、直線ｌの傾き及び直線ｌとｙ軸との交点であるｙ切片をパラメータとして用いることとしてもよい。
図１に戻って説明を続ける。
【００４１】
直線検出部（直線検出手段）３は、基準画像Ｉstd以降に入力される入力画像である比較画像Ｉcmpに含まれる直線を、画像内直線として検出するものである。この直線検出部３では、比較画像Ｉcmpに対してハフ変換を行うことで画像内直線を検出する。ここで検出された画像内直線のハフパラメータは、候補直線パラメータ記憶手段３０に記憶される。なお、ここでは、この直線検出部３に探索領域設定部３ａを備えて構成した。
【００４２】
探索領域設定部（探索領域設定手段）３ａは、基準直線設定部２で検出された基準直線に基づいて、直線検出部３が比較画像Ｉcmpから画像内直線を検出する探索領域を設定するものである。この基準直線は、基準直線パラメータ記憶手段２０に記憶されているハフパラメータによって位置と長さが特定される。
【００４３】
この探索領域設定部３ａでは、基準直線設定部２で検出された基準直線から予め定めた特定の幅を持つ近傍領域を設定し、その近傍領域の集合を探索領域とする。ここで特定の幅は、入力される画像の特性によって予め異なる値を設定するものとする。例えば、変化（動き）が激しい画像の場合は、基準画像Ｉstd上の基準直線が比較画像Ｉcmp上で大きく移動するため、その移動量以上の幅を設定する。また、変化が穏やかな画像の場合は幅を狭く設定するものとする。
【００４４】
このように、直線検出部３は、探索領域設定部３ａで基準直線に基づいて設定された探索領域にのみハフ変換を行うことで、直線の探索時間の高速化と、候補直線抽出部４での抽出すべき直線の高精度化を実現することができる。
【００４５】
ここで、図４を参照（適宜図１参照）して、比較画像Ｉcmpから、基準直線の近傍領域からなる探索領域を設定し、その探索領域の画像内直線を検出する方法について説明する。
【００４６】
図４は、サッカー中継においてゴール近辺を撮影した時間的に連続した画像を示しており、図４（ａ）は、ある時刻に撮影した基準画像Ｉstd、図４（ｂ）は、基準画像Ｉstdに対して、次の時刻でカメラの倍率を下げることで、より広い範囲を撮影した比較画像Ｉcmpを示している。
【００４７】
まず、画像変形情報生成装置１は、基準直線設定部２によって、図４（ａ）の基準画像Ｉstdにおいて、サッカーのゴールエリアを４本の基準直線ＢＬとして設定する。そして、探索領域設定部３ａによって、図４（ｂ）の比較画像Ｉcmpにおいて、基準直線ＢＬに対して特定の幅を持たせた領域を近接領域ＡＲとし、その近接領域ＡＲの集合を探索領域ＳＡとして設定する。このように、探索領域ＳＡを設定することで、基準画像Ｉstdが比較画像Ｉcmpに変化したときの基準画像Ｉstd上の基準直線ＢＬに対応する直線が、探索領域ＳＡ内に存在すると仮定することができる。すなわち、直線検出部３は、比較画像Ｉcmpの中で、探索領域ＳＡのみをハフ変換することで、基準直線ＢＬに近接する画像内直線ＩＬを検出することができる。
【００４８】
なお、図４（ｂ）において、点線で示された基準直線ＢＬは、比較画像Ｉcmp上に実在する直線ではなく、図４（ａ）で検出された基準直線ＢＬの位置を仮想的に示したものである。
図１に戻って説明を続ける。
【００４９】
候補直線抽出部（候補直線抽出手段）４は、基準直線パラメータ記憶手段２０に記憶されている基準画像Ｉstdにおける基準直線のハフパラメータと、候補直線パラメータ記憶手段３０に記憶されている比較画像Ｉcmpにおける画像内直線のハフパラメータとに基づいて、画像内直線の中から基準直線に類似する直線を、基準直線の位置が移動した候補となる候補直線として抽出するものである。なお、候補直線から除外された画像内直線のハフパラメータは、候補直線パラメータ記憶手段３０から削除される。
【００５０】
例えば、候補直線抽出部４は、この類似の判定をハフパラメータである（ρ，Θ）の２つのパラメータに基づいて行う。すなわち、この２つのパラメータ（ρ，Θ）に基づいて、基準直線と画像内直線とのハフ空間上の距離を求め、予め定めた距離以内の画像内直線を、基準直線に類似し、基準直線の位置が移動した候補となる候補直線と判定する。
【００５１】
ここで、図５及び図６を参照（適宜図１参照）して、候補直線を抽出する方法について説明する。図５は、基準画像Ｉstdの基準直線と、比較画像Ｉcmpの探索領域ＳＡ（図４（ｂ））内における画像内直線とを、それぞれ、ハフパラメータで表したものである。図６は、図５のハフパラメータをハフ空間上に表したものである。
【００５２】
図５に示すように、基準画像Ｉstdの基準直線（Ｌstd［０］〜Ｌstd［３］）を、ハフパラメータによって表現する。例えば、基準直線Ｌstd［０］を、（ρstd［０］，Θstd［０］）の２つのパラメータで表現する。また、比較画像Ｉcmpの画像内直線（Ｌcmp［０］〜Ｌcmp［６］）も同様にハフパラメータによって表現する。例えば、画像内直線Ｌcmp［０］を、（ρcmp［０］，Θcmp［０］）の２つのパラメータで表現する。このように、直線をハフパラメータで表現することで、図６に示したように、各直線は、ハフ空間上の点として表現される。
【００５３】
そして、図６に示したように、各基準直線（Ｌstd［０］〜Ｌstd［３］）を中心として、予め定めた距離（一定距離範囲ＣＩ）内に存在する画像内直線を候補直線として判定する。
【００５４】
例えば、図６では、Ｌstd［０］に対する候補直線はＬcmp［０］及びＬcmp［１］、Ｌstd［１］に対する候補直線はＬcmp［２］、Ｌstd［２］に対する候補直線はＬcmp［５］、Ｌstd［３］に対する候補直線はＬcmp［３］及びＬcmp［４］となる。また、Ｌcmp［６］は、探索領域ＳＡ（図４（ｂ））内には存在するが、基準直線の候補からは外れることになる。これによって、各基準直線（Ｌstd［０］〜Ｌstd［３］）に類似する候補直線を抽出することができる。これ以降、画像内直線（Ｌcmp［０］〜Ｌcmp［５］）を候補直線と呼ぶこととする。
図１に戻って説明を続ける。
【００５５】
基準直線パラメータ記憶手段２０は、基準直線設定部２で設定された基準画像Ｉstd上の基準直線のパラメータ（基準直線パラメータ）を記憶しておくもので、一般的なメモリ等で構成される。例えば、図５に示した基準直線（Ｌstd［０］〜Ｌstd［３］）のパラメータを記憶する。この基準直線パラメータ記憶手段２０に記憶された基準直線パラメータは、探索領域設定部３ａ及び後記する一致度算出部５から参照される。
【００５６】
候補直線パラメータ記憶手段３０は、直線検出部３で検出された比較画像Ｉcmp上の直線のパラメータを記憶しておくもので、一般的なメモリ等で構成される。例えば、図５に示した直線検出部３で検出した画像内直線（Ｌcmp［０］〜Ｌcmp［６］）のパラメータを記憶する。なお、この画像内直線（Ｌcmp［０］〜Ｌcmp［６］）のパラメータは、候補直線抽出部４によって、候補直線（Ｌcmp［０］〜Ｌcmp［５］）に更新される。
【００５７】
また、この候補直線パラメータ記憶手段３０内の候補直線のパラメータ（候補直線パラメータ）は、候補直線抽出部４によって、基準直線毎に対応付けて記憶される。この候補直線パラメータ記憶手段３０に記憶された候補直線パラメータは、後記する一致度算出部５から参照される。なお、ここでは基準直線パラメータ記憶手段２０と候補直線パラメータ記憶手段３０とを分離して構成したが、同一のメモリあるいはハードディスク上で記憶領域を分割して記憶することとしてもよい。
【００５８】
変形パラメータ特定手段４０は、直線パラメータ検出手段１０で検出された基準画像Ｉstd及び比較画像Ｉcmpの各直線のパラメータに基づいて、基準画像Ｉstdから比較画像Ｉcmpへの画像の動き（変化）を表現する変形パラメータを特定するものである。ここでは、変形パラメータ特定手段４０を、一致度算出部５と、変形情報決定部６と、変形情報補正部７とを備えて構成した。
【００５９】
一致度算出部（一致度算出手段）５は、基準直線パラメータ記憶手段２０に記憶されている基準直線のパラメータ（基準直線パラメータ）と、候補直線パラメータ記憶手段３０に記憶されている候補直線のパラメータ（候補直線パラメータ）との組み合わせにおいて、基準直線を候補直線に変形する変形パラメータに基づいて、基準直線と候補直線とが一致する度合いを示す一致度を算出するものである。
【００６０】
なお、図５に示した基準画像Ｉstd上の４本の基準直線｛Ｌstd［０］，Ｌstd［１］，Ｌstd［２］，Ｌstd［３］｝と、比較画像Ｉcmp上の７本の画像内直線｛Ｌcmp［０］，Ｌcmp［１］，Ｌcmp［２］，Ｌcmp［３］，Ｌcmp［４］，Ｌcmp［５］，Ｌcmp［６］｝との各パラメータの組み合わせは、7Ｐ4（＝７×６×５×４＝８４０）通り存在する。しかし、画像変形情報生成装置１では、候補直線抽出部４によって、画像内直線から基準直線に対する候補直線が抽出されるため、図６に示したように基準直線のパラメータ（基準直線パラメータ）と候補直線のパラメータ（候補直線パラメータ）との組み合わせは、（２）式に示した４通りとなる。
【００６１】
【数２】
【００６２】
このように、一致度算出部５では組み合わせ数が軽減された基準直線パラメータと候補直線パラメータとの組み合わせ数分だけ、一致度の算出を行う。
ここでは、基準直線パラメータと候補直線パラメータとのｋ番目の組み合わせにおいて、基準直線を変形パラメータｐによって変形したときの基準直線と候補直線との一致度ｓｉｍk（ｐ）を（３）式で定義する。
【００６３】
【数３】
【００６４】
ここで、ρはコスト関数（例えば、差の２乗和や絶対値差分を求めることで、特定の統計モデルに合致する確率を示す関数）、Ｌstdは基準画像Ｉstdの基準直線パラメータ、Ｌcmpは比較画像Ｉcmpの候補直線パラメータ、Ｃkは基準直線パラメータと候補直線パラメータとのｋ番目の組み合わせ、ｉは基準直線を識別する番号、ｊは候補直線を識別する番号、ｐは変形パラメータ、Ａはパラメータ変換を示すものとする。前記（３）式に示したように、一致度ｓｉｍk（ｐ）は、基準直線パラメータＬstdを変形パラメータｐによってパラメータ変換したハフパラメータと、候補直線パラメータとの差に基づいて、特定の統計モデルに合致する確率を基準直線パラメータと候補直線パラメータとの組み合わせ数分（ｋ個）加算したものである。
【００６５】
変形情報決定部（変形情報決定手段）６は、一致度算出部５で算出された一致度に基づいて、最大の一致度を与える組み合わせとなる変形パラメータを決定するものである。ここでは、（４）式に示すように、前記（３）式の値を最大にする変形パラメータｐを求めることとする。
【００６６】
【数４】
【００６７】
より具体的には、前記（３）式を、前記（４）式を満たす変形パラメータｐの各要素で偏微分した値は０となることから、この偏微分した結果である変形パラメータｐの連立方程式を解くことで、変形パラメータｐを求めることができる。
なお、ここで変形パラメータｐの各要素とは、並進、アフィン等の変形モデルにおける変形式を特定するパラメータの値で、例えば、（５）式に示す並進モデルの変形式におけるｐ0及びｐ1、また、例えば、（６）式に示すアフィンモデルの変形式におけるｐ0〜ｐ5を指す。
【００６８】
【数５】
【００６９】
【数６】
【００７０】
なお、この（５）式及び（６）式において、（ｘ，ｙ）は基準画像Ｉstdの任意の座標、（ｘ´，ｙ´）は変形モデルにより変形した（ｘ，ｙ）の変形後の座標を意味する。
【００７１】
これによって、例えば、図５に示した例において、前記（２）式の組み合わせの中で、基準直線と候補直線とが一致する組み合わせは、（７）式の組み合わせとなり、変形情報決定部６では、この（７）式の組み合わせにおける変形パラメータが出力（決定）される。すなわち、｛Ｌcmp［１］，Ｌcmp［２］，Ｌcmp［３］，Ｌcmp［５］｝が、基準直線が移動した移動直線として特定されたことになる。
【００７２】
【数７】
【００７３】
このように変形パラメータは、変形情報決定部６によって決定されるため、この出力を画像変形情報生成装置１の出力としてもよい。ただし、この変形パラメータには、画像空間とハフ空間（図３参照）との解像度の違いにより、誤差が存在する。そこで、ここでは、さらに変形情報補正部７を備え、その誤差を補正するものとする。
【００７４】
変形情報補正部７は、変形情報決定部６で決定された変形パラメータに基づいて、基準画像Ｉstdを変形した変形画像を生成し、その変形画像と比較画像Ｉcmpとを、従来の手法（図８及び（１）式参照）に基づいて画素レベルで演算することで、変形情報決定部６で決定された変形パラメータを補正した最適な変形パラメータを生成するものである。
【００７５】
なお、この変形画像は、変形情報決定部６で決定された変形パラメータによって変形されたものであるため、比較画像Ｉcmpとほぼ一致したものとなる。これによって、変形画像から比較画像Ｉcmpへの微細な変更分のみを変形パラメータに対して補正することとなるため、従来の手法に比べてパラメータ精度が高くなる。
【００７６】
以上、一実施形態に基づいて、画像変形情報生成装置１の構成について説明したが、画像変形情報生成装置１は、コンピュータにおいて各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合して画像変形情報生成プログラムとして動作させることも可能である。
【００７７】
［画像変形情報生成装置の動作］
次に、図１及び図７を参照して、画像変形情報生成装置１の動作について説明する。図７は、画像変形情報生成装置１の動作を示すフローチャートである。
【００７８】
（基準直線パラメータ設定ステップ）
まず、画像変形情報生成装置１は、基準直線設定部２によって、入力された基準画像Ｉstd内において、画像の特徴となる直線（基準直線）を図示していない入力手段により設定する（ステップＳ１）。この基準直線は、連続する画像に存在する直線で、位置や大きさが大きく変化しないものとする。例えば、サッカー中継でゴール近辺を撮影した映像において、ゴールポストやゴールエリア等の直線部分を基準直線とする。そして、この基準直線をハフ変換した基準直線パラメータ（ハフパラメータ）を求め、その基準直線パラメータを基準直線パラメータ記憶手段２０に記憶する（ステップＳ２）。
なお、この基準直線は、アフィン、回転、拡大／縮小、並進等の画像の変形関係で必要となる数の直線（図２参照）を設定するものとする。
【００７９】
（探索領域設定ステップ）
次に、画像変形情報生成装置１は、直線検出部３の探索領域設定部３ａによって、基準画像以降の入力画像である比較画像Ｉcmpにおいて、基準直線パラメータで位置と長さが特定された基準直線の予め定めた特定の幅を持つ近傍領域からなる領域を、探索領域として設定する（ステップＳ３）。
【００８０】
（直線検出ステップ）
また、画像変形情報生成装置１は、直線検出部３によって、探索領域設定部３ａで設定された探索領域のみをハフ変換することで、比較画像Ｉcmp内の直線（画像内直線）を検出する（ステップＳ４）。なお、ここで検出された画像内直線のハフパラメータである画像内直線ハフパラメータを、一旦候補直線パラメータ記憶手段３０に記憶しておく（ステップＳ５）。このように、直線検出ステップでは、探索領域についてのみハフ変換を行い直線を検出するため、処理速度を早めることができる。
【００８１】
（候補直線パラメータ特定ステップ）
さらに、画像変形情報生成装置１は、候補直線抽出部４によって、基準直線パラメータ記憶手段２０に記憶されている基準直線パラメータと、候補直線パラメータ記憶手段３０に記憶されている画像内直線ハフパラメータとに基づいて、基準直線に近接する画像内直線を、基準直線の位置が移動した候補となる候補直線として抽出する（ステップＳ６）。また、候補直線パラメータ記憶手段３０に記憶されている画像内直線ハフパラメータは、候補直線として抽出された直線のハフパラメータである候補直線パラメータに更新される（ステップＳ７）。
【００８２】
（一致度算出ステップ）
そして、画像変形情報生成装置１は、一致度算出部５によって、基準直線パラメータと、候補直線パラメータとの組み合わせにおいて、基準直線と候補直線とが一致する度合いを示す一致度を算出する（ステップＳ８）。
【００８３】
（変形情報決定ステップ）
そして、画像変形情報生成装置１は、変形情報決定部６によって、一致度算出部５で算出された一致度に基づいて、最大の一致度を与える基準直線と候補直線との組み合わせとなる変形パラメータを決定する（ステップＳ９）。
さらに、画像変形情報生成装置１は、変形情報補正部７によって、変形パラメータで基準画像Ｉstdを変形した変形画像を生成し、その変形画像から比較画像Ｉcmpへの変形に基づいて変形パラメータを補正して出力する（ステップＳ１０）。
【００８４】
以上の各ステップによって、画像変形情報生成装置１は、基準画像Ｉstdを基準にして、基準画像Ｉstdから、その基準画像Ｉstd以降に入力される入力画像（比較画像Ｉcmp）への最適な変形パラメータ（変形情報）を高速に求めることができる。
【００８５】
【発明の効果】
以上説明したとおり、本発明に係る画像変形情報生成装置、画像変形情報生成方法及び画像変形情報生成プログラムでは、以下に示す優れた効果を奏する。
【００８６】
請求項１、請求項４又は請求項５に記載の発明によれば、基準画像内の直線（基準直線）を元にして、基準直線が変形した変形情報を基準画像から各入力画像への変形情報とするため、従来のように入力画像毎に変形情報の誤差が伝播し、蓄積されることがない。また、入力画像の途中に画像内容の存在しない画像（例えば全面黒色の画像等）が存在しても、その次に入力される画像の変形情報を、基準画像に基づいて生成することが可能になり、画像の欠損に対する回復機能を有することになる。
【００８７】
また、直線を画像空間ではなく、例えばハフ空間上の２つのパラメータ（ハフパラメータ）で扱うことができるため、直線を画像としてではなく、ハフパラメータで表現された点として扱うことができる。これにより、直線間の距離、一致度等を求める際に画素レベルの演算を行う必要がなく、パラメータ間の距離により直線の類似性を求めるため、処理時間を短縮（高速処理）することができる。
【００８８】
また、例えば、カメラの操作によって入力画像が変化する場合、変形情報のみを伝送するだけで背景の画像を再現することが可能になるため、伝送時における画像の大幅な圧縮が可能になる。
【００８９】
請求項２に記載の発明によれば、基準画像の基準直線を元に入力画像に探索領域を設定し、その探索領域内のみから直線（画像内直線）を検出することになるため、入力画像全体から直線を検出する場合に比べて、処理時間を短縮することができる。
【００９１】
請求項３に記載の発明によれば、画像空間とハフ空間の解像度の違いによる誤差を補正することができるため、最適な変形情報（変形パラメータ）を生成することができる。なお、ハフ空間上のハフパラメータによって算出された変形パラメータに基づいて基準画像を変形した変形画像と入力画像とは、ほぼ一致したものとなっている。このため、従来のような画像空間のみで変形パラメータを生成する場合に比べて誤差を軽減し、変形パラメータの精度を高めることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る画像変形情報生成装置の全体構成を示すブロック図である。
【図２】変形関係を特定するための変形パラメータ数とその必要条件との関係を示した図である。
【図３】（ａ）はある直線を画像空間上の座標で表現した図である。（ｂ）はある直線をハフ空間上の座標で表現した図である。
【図４】（ａ）は基準画像上で基準直線を設定した例を示す図である。（ｂ）は比較画像上で基準直線に基づいて探索領域を設定した図である。
【図５】探索領域内の直線をハフパラメータで表した図である。
【図６】探索領域内の直線をハフ空間上の座標で表現し、基準直線に近似する候補直線の抽出方法を説明するための説明図である。
【図７】本発明の実施の形態に係る画像変形情報生成装置の動作を示すフローチャートである。
【図８】従来の変形情報（変形パラメータ）を生成する動作を示すフローチャートである。
【符号の説明】
１ ……画像変形情報生成装置
２ ……基準直線設定部
３ ……直線検出部（直線検出手段）
３ａ……探索領域設定部（探索領域設定手段）
４ ……候補直線抽出部（候補直線抽出手段）
５ ……一致度算出部（一致度算出手段）
６ ……変形情報決定部（変形情報決定手段）
７ ……変形情報補正部（変形情報補正手段）
１０……直線パラメータ検出手段
２０……基準直線パラメータ記憶手段
３０……候補直線パラメータ記憶手段
４０……変形パラメータ特定手段
【発明の属する技術分野】
本発明は、時系列に入力される画像の動きを変形情報として生成する画像変形情報生成装置、画像変形情報生成方法及び画像変形情報生成プログラムに関する。
【０００２】
【従来の技術】
従来、異なる２つの画像において、一方の画像が他方の画像にどのように変形したかを、アフィン、回転、拡大／縮小、並進等を表すパラメータ（変形情報：以下変形パラメータという）によって表現する手法が存在する。この変形パラメータを求める手法としては、画像内の各画素が移動した距離を最小化する変形パラメータを最適な変形パラメータとして特定する手法が広く用いられている（例えば、非特許文献１参照。）。なお、この非特許文献１には、変形パラメータを２つの画像間の動きパラメータとして求める問題として記載されている。
【０００３】
ここで、図８を参照して、従来の変形パラメータを求める手法について説明する。図８は、異なる２つの画像において、一方の画像（基準画像という）が他方の画像（比較画像という）に変形したときの変形パラメータを求める動作の概略を示すフローチャートである。
【０００４】
この従来の手法では、まず、ブロックマッチング法によって、基準画像Ｉstdと比較画像Ｉcmpとの間で特定の大きさのブロック毎にマッチングを行い動きベクトルを検出する（ステップＳ２１：ブロックマッチング法）。そして、基準画像Ｉstdと比較画像Ｉcmpとに対応する画素毎に（１）式によって、変形パラメータによる動き予測誤差ｅｒｒを計算する（ステップＳ２２）。
【０００５】
【数１】
ここで、ρはコスト関数（ここではベクトルの大きさを求めることで、特定の統計モデルに合致する確率を示す関数）、ｖはブロック毎の動きベクトル、ｘは各ブロック内の画素位置（ベクトル）、ｐは変形パラメータ、Ａはパラメータ変換を示すものとする。前記（１）式に示したように、動き予測誤差ｅｒｒは、ブロック毎の動きベクトルｖから、そのブロック内における各画素位置（ベクトル）を変形パラメータｐによってパラメータ変換したベクトルを引いた差分ベクトルの大きさに基づいて、特定の統計モデルに合致する確率を画素毎に加算したものとなる。
【０００７】
そして、この動き予測誤差ｅｒｒの特定の統計モデルに合致する確率が最大となる変形パラメータｐを、最適な変形パラメータとして出力する（ステップＳ２３）。
このように、従来は、画像内の各画素が移動した距離を最小化する変形パラメータを最適な変形パラメータとして求めていた。
【０００８】
【非特許文献１】
Ａ．Ｍｕｒａｔ Ｔｅｋａｌｐ著、“Ｄｉｇｉｔａｌ ＶｉｄｅｏＰｒｏｃｅｓｓｉｎｇ”、Ｐｒｅｎｔｉｃｅ Ｈａｌｌ、１９９５年
【０００９】
【発明が解決しようとする課題】
しかし、前記従来の技術では、前記（１）式に示したように、変形パラメータを画像上の画素レベルの統計的な性質に基づいて求めるため、連続した複数の画像で逐次変形パラメータを求めようとすると、誤差が時間と共に画像に伝播してしまうという問題がある。さらに、この誤差の伝播に伴い正しい変形パラメータが得られなかった場合、その間違った変形パラメータによって変形された画像からは、正しい画像を回復させることができないという問題がある。
【００１０】
さらに、前記従来の技術では、変形パラメータの精度を上げるために、画素単位での計算を繰り返し行う必要があるため、処理時間がかかってしまうという問題がある。
【００１１】
本発明は、以上のような問題点に鑑みてなされたものであり、変形パラメータの精度を高めると共に、変形パラメータを求める計算量を軽減し、高速処理を実現することを可能にした画像変形情報生成装置、画像変形情報生成方法及び画像変形情報生成プログラムを提供することを目的とする。
【００１２】
【課題を解決するための手段】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の画像変形情報生成装置は、時系列に入力される連続した画像において、予め基準画像に含まれる基準直線を特定する基準直線パラメータを設定し、前記画像が変化することに伴う前記基準直線の変化に基づいて、前記基準画像から前記基準画像以降に入力される入力画像への変形情報を生成する画像変形情報生成装置であって、前記入力画像に含まれる直線を画像内直線として検出し、その画像内直線を画像内直線パラメータによって特定する直線検出手段と、前記基準直線パラメータ及び前記画像内直線パラメータのパラメータ間の距離に基づいて、前記直線検出手段で検出された画像内直線の中から、前記基準直線の位置が移動した候補となる候補直線を抽出し、その候補直線を候補直線パラメータとして特定する候補直線抽出手段と、前記基準直線パラメータと前記候補直線パラメータとに基づいて、前記基準直線と前記候補直線とが同一の直線である度合いを示す一致度を算出する一致度算出手段と、この一致度算出手段で算出された一致度に基づいて、前記候補直線の中から前記基準直線の位置が移動した移動直線を特定し、前記基準直線から前記移動直線への変形情報を、前記基準画像から前記入力画像への変形情報として決定する変形情報決定手段と、を備える構成とした。
【００１３】
かかる構成によれば、画像変形情報生成装置は、基準となる基準画像に含まれる基準直線を特定するパラメータ（基準直線パラメータ）として設定しておき、その基準直線が基準画像以降に入力される入力画像上でどのように変形していくかを示す変形情報を算出し、その変形情報を基準画像が変形していく変形情報として生成する。
【００１４】
すなわち、画像変形情報生成装置は、直線検出手段によって、基準画像以降に入力される入力画像内の直線（画像内直線）を、ハフ変換等の一般的なエッジ検出技術により検出する。これによって、画像内直線を特定するパラメータ（画像直線内パラメータ）が求められる。ここで検出された画像内直線には、基準画像で設定した基準直線が変形した直線以外の直線も含まれている可能性がある。
【００１５】
そこで、画像変形情報生成装置は、候補直線抽出手段によって、基準直線と画像内直線とのパラメータ間距離が予め定めた距離以内のものを候補直線として抽出し、その候補直線を候補直線パラメータとして特定する。例えば、このパラメータ間距離は、各直線をハフパラメータで表現することで、そのハフパラメータ間の距離として定義しておく。このように、各直線をパラメータによって表現しておくことで、直線間の距離を容易に求めることができる。この場合、例えば、直線の傾き、画像座標上の原点からの距離等のパラメータにおいて、画像座標上の原点からの距離が近いものであっても、直線の傾きが大きく異なるものは類似していないと判断する。これによって、基準直線に類似した候補直線が抽出され、基準直線とその基準直線が入力画像上で変形したであろう直線の候補（候補直線）との組み合わせ数を減らすことができる。
【００１６】
そして、画像変形情報生成装置は、一致度算出手段によって、この組み合わせ数を減らした基準直線と候補直線との各組み合わせにおいて、基準直線パラメータと前記候補直線パラメータとにより、基準直線と候補直線とが同一の直線である度合いを示す一致度の算出を行い、変形情報決定手段によって、候補直線の中から基準直線の位置が移動した直線（移動直線）を１つに特定し、基準直線から移動直線への変形情報を、基準画像から入力画像への変形情報として決定する。
【００１７】
また、請求項２に記載の画像変形情報生成装置は、請求項１に記載の画像変形情報生成装置において、前記直線検出手段が、前記入力画像において、前記基準直線の位置に対応し、その基準直線の近傍領域からなる領域を前記画像内直線の探索領域として設定する探索領域設定手段を備え、前記探索領域に対してハフ変換を行うことで前記画像内直線を検出することを特徴とする。
【００１８】
かかる構成によれば、画像変形情報生成装置は、探索領域設定手段によって、入力画像上に、基準直線の位置を基準に特定の幅を持った領域（近傍領域）を、基準直線数分加算した探索領域として設定する。そして、直線検出手段は、基準直線の位置が移動したと想定される探索領域内でハフ変換により画像内直線を検出する。これによって探索領域が狭くなり、直線検出の時間を短縮することができる。
【００１９】
なお、ここで基準直線に対する近傍領域を設定する際の幅は、例えば、変化（動き）が激しい画像の場合は、基準画像上の基準直線が入力画像上で大きく移動するため、その移動量以上の幅を設定する。また、変化が穏やかな画像の場合は幅を狭く設定するものとする。
【００２２】
また、請求項３に記載の画像変形情報生成装置は、請求項１又は請求項２に記載の画像変形情報生成装置において、前記変形情報決定手段によって決定された変形情報により、前記基準画像を変形した変形画像を生成し、その変形画像と前記入力画像との誤差に基づいて、前記変形情報を補正する変形情報補正手段を備えたことを特徴とする。
【００２３】
かかる構成によれば、画像変形情報生成装置は、変形情報補正手段によって、変形情報決定手段で決定された変形情報（変形パラメータ）を用いて、基準画像を変形し、その変形した変形画像と入力画像との誤差、例えば、動きベクトルにおける予測誤差に基づいて、変形パラメータを補正する。これによって、変形パラメータの精度を高めることができる。
【００２４】
さらに、請求項４に記載の画像変形情報生成方法は、時系列に入力される連続した画像において、予め基準画像に含まれる基準直線を特定する基準直線パラメータを設定し、前記画像が変化することに伴う前記基準直線の変化に基づいて、前記基準画像から前記基準画像以降に入力される入力画像への変形情報を生成する画像変形情報生成方法であって、探索領域設定手段によって、前記入力画像から、前記基準直線の位置に対応し、その基準直線の近傍領域からなる領域を直線の探索領域として設定する探索領域設定ステップと、直線検出手段によって、前記探索領域設定ステップで設定された探索領域に対してハフ変換を行い、この探索領域に含まれる直線を画像内直線として検出し、その画像内直線を画像内直線パラメータによって特定する直線検出ステップと、候補直線特定手段によって、前記基準直線パラメータ及び前記画像内直線パラメータのパラメータ間の距離に基づいて、前記直線検出ステップで検出された画像内直線の中から、前記基準直線の位置が移動した候補となる候補直線を抽出し、その候補直線を候補直線パラメータとして特定する候補直線パラメータ特定ステップと、一致度算出手段によって、前記基準直線パラメータと前記候補直線パラメータとに基づいて、前記基準直線と前記候補直線とが同一の直線である度合いを示す一致度を算出する一致度算出ステップと、変形情報決定手段によって、前記一致度算出ステップで算出された一致度に基づいて、前記候補直線の中から前記基準直線の位置が移動した移動直線を特定し、前記基準直線から前記移動直線への変形情報を、前記基準画像から前記入力画像への変形情報として決定する変形情報決定ステップと、を含むことを特徴とする。
【００２５】
この方法によれば、画像変形情報生成方法は、探索領域設定ステップで、入力画像上に、基準直線の位置を基準に特定の幅を持った領域（近傍領域）を、基準直線数分加算した探索領域として設定する。そして、直線検出ステップで、探索領域設定ステップで設定された探索領域に対してハフ変換を行い、この探索領域に含まれる画像内直線を検出する。このように、直線検出ステップでは、基準直線の位置が移動したと想定される探索領域内で画像内直線を探索することで、直線検出の時間を短縮することができる。また、ハフ変換によって、画像内直線を画素の集合としてではなく、パラメータ（ハフパラメータ）として扱うことが可能になる。
【００２６】
さらに、候補直線パラメータ特定ステップで、画像内直線の中で、基準直線に近接するものを基準直線の位置が移動した候補直線とし、その候補直線のハフパラメータである候補直線パラメータを特定する。なお、画像内直線の中から、基準直線に近接する候補直線を特定するには、画像内直線のハフパラメータと、基準直線のハフパラメータとの距離を求め、その距離が予め定めた距離以内のものを候補直線とする。これによって、基準直線に類似した候補直線が抽出され、基準直線とその基準直線が入力画像上で変形したであろう直線の候補（候補直線）との組み合わせ数を減らすことができる。
【００２７】
また、一致度算出ステップで、この組み合わせ数を減らした基準直線と候補直線との各組み合わせにおいて、基準直線と候補直線とが同一の直線である度合いを示す一致度の算出を行い、変形情報決定ステップで、候補直線の中から基準直線の位置が移動した直線（移動直線）を１つに特定し、基準直線から移動直線への変形情報を、基準画像から入力画像への変形情報として決定する。
【００２８】
また、請求項５に記載の画像変形情報生成プログラムは、時系列に入力される連続した画像において、予め基準画像に含まれる基準直線を特定する基準直線パラメータを設定し、前記画像が変化することに伴う前記基準直線の変化に基づいて、前記基準画像から前記基準画像以降に入力される入力画像への変形情報を生成するために、コンピュータを、以下の手段によって機能させる構成とした。
【００２９】
すなわち、前記入力画像から、前記基準直線の位置に対応し、その基準直線の近傍領域からなる領域を直線の探索領域として設定する探索領域設定手段、この探索領域設定手段で設定された探索領域に対してハフ変換を行い、この探索領域に含まれる画像内直線を検出し、その画像内直線を画像内直線パラメータによって特定する直線検出手段、前記基準直線パラメータ及び前記画像内直線パラメータのパラメータ間の距離に基づいて、前記直線検出手段で検出された画像内直線の中から、前記基準直線の位置が移動した候補となる候補直線を抽出し、その候補直線を候補直線パラメータとして特定する候補直線特定手段、前記基準直線パラメータと前記候補直線パラメータとに基づいて、前記基準直線と前記候補直線とが同一の直線である度合いを示す一致度を算出する一致度算出手段、この一致度算出手段で算出された一致度に基づいて、前記候補直線の中から前記基準直線の位置が移動した移動直線を特定し、前記基準直線から前記移動直線への変形情報を、前記基準画像から前記入力画像への変形情報として決定する変形情報決定手段、とした。
【００３０】
かかる構成によれば、画像変形情報生成プログラムは、探索領域設定手段によって、入力画像上に、基準直線の位置を基準に特定の幅を持った領域（近傍領域）を、基準直線数分加算した探索領域として設定し、直線検出手段によって、探索領域に対してハフ変換を行うことで、画像内直線を検出して画像内直線を特定するパラメータ（画像直線内パラメータ）を求める。ここで検出された画像内直線には、基準画像で設定した基準直線が変形した直線以外の直線も含まれている可能性がある。
【００３１】
そして、画像変形情報生成プログラムは、候補直線抽出手段によって、画像内直線から基準直線に類似する直線を基準直線の位置が移動した候補となる候補直線として抽出する。ここでは、基準直線と画像内直線とのパラメータ間距離が予め定めた距離以内のものを候補直線として抽出し、その候補直線を候補直線パラメータとして特定する。
【００３２】
そして、画像変形情報生成プログラムは、一致度算出手段によって、基準直線と候補直線との各組み合わせにおいて、基準直線パラメータと前記候補直線パラメータとにより、基準直線と候補直線とが同一の直線である度合いを示す一致度の算出を行い、変形情報決定手段によって、候補直線の中から基準直線の位置が移動した直線（移動直線）を１つに特定し、基準直線から移動直線への変形情報を、基準画像から入力画像への変形情報として決定する。
【００３３】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
［画像変形情報生成装置の構成］
図１は、本発明における画像変形情報生成装置１の構成を示したブロック図である。図１に示すように画像変形情報生成装置１は、時系列に入力される連続画像の動きを、アフィン、回転、拡大／縮小、並進等の変形関係で特定し、その変形関係を示す変形パラメータを出力するものである。ここでは、連続画像において、最初に入力される画像を変形の基準となる基準画像Ｉstd、その基準画像Ｉstd以降に入力される入力画像を基準画像Ｉstdと比較する画像として比較画像Ｉcmpと呼ぶこととする。また、ここでは、画像変形情報生成装置１を、直線パラメータ検出手段１０と、基準直線パラメータ記憶手段２０と、候補直線パラメータ記憶手段３０と、変形パラメータ特定手段４０とを備えて構成した。
【００３４】
直線パラメータ検出手段１０は、入力された画像（基準画像Ｉstd及び比較画像Ｉcmp）から直線を検出し、その直線を特定するパラメータを出力するもので、基準直線設定部２と、直線検出部３と、候補直線抽出部４とを備えて構成した。
【００３５】
基準直線設定部２は、入力された基準画像Ｉstdにおいて、画像の特徴となる直線（基準直線）を図示していない入力手段により設定されることで、その基準直線を特定するパラメータ（基準直線パラメータ）を、基準直線パラメータ記憶手段２０に記憶するものである。なお、基準直線設定部２は、直線が存在する領域のみを図示していない入力手段により設定されることで、その領域をハフ変換（Ｈｏｕｇｈ ｔｒａｎｓｆｏｒｍ）し、直線を検出することとしてもよい。
【００３６】
この基準直線設定部２で基準直線パラメータ記憶手段２０に記憶される基準直線パラメータは、直線を特定するパラメータであって、例えば後記するハフ空間におけるハフパラメータとする。
【００３７】
なお、ここで設定する直線の数に応じて、アフィン、回転、拡大／縮小、並進等の画像の変形関係が特定される。例えば、画像の変形は変形パラメータの数を増やすほど、自由な変形を表現することが可能であるが、その場合には、画像上に必要な数の直線が存在している必要がある。図２に変形パラメータの数と、その必要条件を示す。
【００３８】
図２に示すように、例えば、変形パラメータを１〜２とする場合は、画像上に傾きが異なる２本以上の直線の組み合わせが１組以上存在する必要がある。これによって表現される代表的な変形モデルには並進がある。すなわち、基準直線設定部２では、傾きが異なる２本以上の直線の組み合わせを１組設定することで、変形モデルとして並進を表現することが可能になる。
【００３９】
次に、図３を参照して、ハフ変換及び直線を特定するパラメータについて説明する。図３（ａ）は、一般的な（ｘ，ｙ）座標によって表現された座標空間（以下画像空間という）に直線ｌが存在している状態を示している。ハフ変換は、この直線ｌを構成する画素（複数の画素）を、その直線ｌを特定するパラメータ（ハフパラメータ）に変換するものである。一般的に、ハフ変換は、直線ｌを座標空間の原点Ｏから直線ｌに垂線を引いた線分とｘ軸との角度Θ、及びその線分の長さρの２つのハフパラメータに変換する。
【００４０】
このようにハフ変換によって、２つのハフパラメータに変換された直線ｌは、図３（ｂ）に示すように、（ρ，Θ）座標によって表現された座標空間（以下ハフ空間という）上で、点として表現される。なお、直線を特定するパラメータは必ずしもハフパラメータ（ρ，Θ）である必要はない、例えば、図３（ａ）において、直線ｌの傾き及び直線ｌとｙ軸との交点であるｙ切片をパラメータとして用いることとしてもよい。
図１に戻って説明を続ける。
【００４１】
直線検出部（直線検出手段）３は、基準画像Ｉstd以降に入力される入力画像である比較画像Ｉcmpに含まれる直線を、画像内直線として検出するものである。この直線検出部３では、比較画像Ｉcmpに対してハフ変換を行うことで画像内直線を検出する。ここで検出された画像内直線のハフパラメータは、候補直線パラメータ記憶手段３０に記憶される。なお、ここでは、この直線検出部３に探索領域設定部３ａを備えて構成した。
【００４２】
探索領域設定部（探索領域設定手段）３ａは、基準直線設定部２で検出された基準直線に基づいて、直線検出部３が比較画像Ｉcmpから画像内直線を検出する探索領域を設定するものである。この基準直線は、基準直線パラメータ記憶手段２０に記憶されているハフパラメータによって位置と長さが特定される。
【００４３】
この探索領域設定部３ａでは、基準直線設定部２で検出された基準直線から予め定めた特定の幅を持つ近傍領域を設定し、その近傍領域の集合を探索領域とする。ここで特定の幅は、入力される画像の特性によって予め異なる値を設定するものとする。例えば、変化（動き）が激しい画像の場合は、基準画像Ｉstd上の基準直線が比較画像Ｉcmp上で大きく移動するため、その移動量以上の幅を設定する。また、変化が穏やかな画像の場合は幅を狭く設定するものとする。
【００４４】
このように、直線検出部３は、探索領域設定部３ａで基準直線に基づいて設定された探索領域にのみハフ変換を行うことで、直線の探索時間の高速化と、候補直線抽出部４での抽出すべき直線の高精度化を実現することができる。
【００４５】
ここで、図４を参照（適宜図１参照）して、比較画像Ｉcmpから、基準直線の近傍領域からなる探索領域を設定し、その探索領域の画像内直線を検出する方法について説明する。
【００４６】
図４は、サッカー中継においてゴール近辺を撮影した時間的に連続した画像を示しており、図４（ａ）は、ある時刻に撮影した基準画像Ｉstd、図４（ｂ）は、基準画像Ｉstdに対して、次の時刻でカメラの倍率を下げることで、より広い範囲を撮影した比較画像Ｉcmpを示している。
【００４７】
まず、画像変形情報生成装置１は、基準直線設定部２によって、図４（ａ）の基準画像Ｉstdにおいて、サッカーのゴールエリアを４本の基準直線ＢＬとして設定する。そして、探索領域設定部３ａによって、図４（ｂ）の比較画像Ｉcmpにおいて、基準直線ＢＬに対して特定の幅を持たせた領域を近接領域ＡＲとし、その近接領域ＡＲの集合を探索領域ＳＡとして設定する。このように、探索領域ＳＡを設定することで、基準画像Ｉstdが比較画像Ｉcmpに変化したときの基準画像Ｉstd上の基準直線ＢＬに対応する直線が、探索領域ＳＡ内に存在すると仮定することができる。すなわち、直線検出部３は、比較画像Ｉcmpの中で、探索領域ＳＡのみをハフ変換することで、基準直線ＢＬに近接する画像内直線ＩＬを検出することができる。
【００４８】
なお、図４（ｂ）において、点線で示された基準直線ＢＬは、比較画像Ｉcmp上に実在する直線ではなく、図４（ａ）で検出された基準直線ＢＬの位置を仮想的に示したものである。
図１に戻って説明を続ける。
【００４９】
候補直線抽出部（候補直線抽出手段）４は、基準直線パラメータ記憶手段２０に記憶されている基準画像Ｉstdにおける基準直線のハフパラメータと、候補直線パラメータ記憶手段３０に記憶されている比較画像Ｉcmpにおける画像内直線のハフパラメータとに基づいて、画像内直線の中から基準直線に類似する直線を、基準直線の位置が移動した候補となる候補直線として抽出するものである。なお、候補直線から除外された画像内直線のハフパラメータは、候補直線パラメータ記憶手段３０から削除される。
【００５０】
例えば、候補直線抽出部４は、この類似の判定をハフパラメータである（ρ，Θ）の２つのパラメータに基づいて行う。すなわち、この２つのパラメータ（ρ，Θ）に基づいて、基準直線と画像内直線とのハフ空間上の距離を求め、予め定めた距離以内の画像内直線を、基準直線に類似し、基準直線の位置が移動した候補となる候補直線と判定する。
【００５１】
ここで、図５及び図６を参照（適宜図１参照）して、候補直線を抽出する方法について説明する。図５は、基準画像Ｉstdの基準直線と、比較画像Ｉcmpの探索領域ＳＡ（図４（ｂ））内における画像内直線とを、それぞれ、ハフパラメータで表したものである。図６は、図５のハフパラメータをハフ空間上に表したものである。
【００５２】
図５に示すように、基準画像Ｉstdの基準直線（Ｌstd［０］〜Ｌstd［３］）を、ハフパラメータによって表現する。例えば、基準直線Ｌstd［０］を、（ρstd［０］，Θstd［０］）の２つのパラメータで表現する。また、比較画像Ｉcmpの画像内直線（Ｌcmp［０］〜Ｌcmp［６］）も同様にハフパラメータによって表現する。例えば、画像内直線Ｌcmp［０］を、（ρcmp［０］，Θcmp［０］）の２つのパラメータで表現する。このように、直線をハフパラメータで表現することで、図６に示したように、各直線は、ハフ空間上の点として表現される。
【００５３】
そして、図６に示したように、各基準直線（Ｌstd［０］〜Ｌstd［３］）を中心として、予め定めた距離（一定距離範囲ＣＩ）内に存在する画像内直線を候補直線として判定する。
【００５４】
例えば、図６では、Ｌstd［０］に対する候補直線はＬcmp［０］及びＬcmp［１］、Ｌstd［１］に対する候補直線はＬcmp［２］、Ｌstd［２］に対する候補直線はＬcmp［５］、Ｌstd［３］に対する候補直線はＬcmp［３］及びＬcmp［４］となる。また、Ｌcmp［６］は、探索領域ＳＡ（図４（ｂ））内には存在するが、基準直線の候補からは外れることになる。これによって、各基準直線（Ｌstd［０］〜Ｌstd［３］）に類似する候補直線を抽出することができる。これ以降、画像内直線（Ｌcmp［０］〜Ｌcmp［５］）を候補直線と呼ぶこととする。
図１に戻って説明を続ける。
【００５５】
基準直線パラメータ記憶手段２０は、基準直線設定部２で設定された基準画像Ｉstd上の基準直線のパラメータ（基準直線パラメータ）を記憶しておくもので、一般的なメモリ等で構成される。例えば、図５に示した基準直線（Ｌstd［０］〜Ｌstd［３］）のパラメータを記憶する。この基準直線パラメータ記憶手段２０に記憶された基準直線パラメータは、探索領域設定部３ａ及び後記する一致度算出部５から参照される。
【００５６】
候補直線パラメータ記憶手段３０は、直線検出部３で検出された比較画像Ｉcmp上の直線のパラメータを記憶しておくもので、一般的なメモリ等で構成される。例えば、図５に示した直線検出部３で検出した画像内直線（Ｌcmp［０］〜Ｌcmp［６］）のパラメータを記憶する。なお、この画像内直線（Ｌcmp［０］〜Ｌcmp［６］）のパラメータは、候補直線抽出部４によって、候補直線（Ｌcmp［０］〜Ｌcmp［５］）に更新される。
【００５７】
また、この候補直線パラメータ記憶手段３０内の候補直線のパラメータ（候補直線パラメータ）は、候補直線抽出部４によって、基準直線毎に対応付けて記憶される。この候補直線パラメータ記憶手段３０に記憶された候補直線パラメータは、後記する一致度算出部５から参照される。なお、ここでは基準直線パラメータ記憶手段２０と候補直線パラメータ記憶手段３０とを分離して構成したが、同一のメモリあるいはハードディスク上で記憶領域を分割して記憶することとしてもよい。
【００５８】
変形パラメータ特定手段４０は、直線パラメータ検出手段１０で検出された基準画像Ｉstd及び比較画像Ｉcmpの各直線のパラメータに基づいて、基準画像Ｉstdから比較画像Ｉcmpへの画像の動き（変化）を表現する変形パラメータを特定するものである。ここでは、変形パラメータ特定手段４０を、一致度算出部５と、変形情報決定部６と、変形情報補正部７とを備えて構成した。
【００５９】
一致度算出部（一致度算出手段）５は、基準直線パラメータ記憶手段２０に記憶されている基準直線のパラメータ（基準直線パラメータ）と、候補直線パラメータ記憶手段３０に記憶されている候補直線のパラメータ（候補直線パラメータ）との組み合わせにおいて、基準直線を候補直線に変形する変形パラメータに基づいて、基準直線と候補直線とが一致する度合いを示す一致度を算出するものである。
【００６０】
なお、図５に示した基準画像Ｉstd上の４本の基準直線｛Ｌstd［０］，Ｌstd［１］，Ｌstd［２］，Ｌstd［３］｝と、比較画像Ｉcmp上の７本の画像内直線｛Ｌcmp［０］，Ｌcmp［１］，Ｌcmp［２］，Ｌcmp［３］，Ｌcmp［４］，Ｌcmp［５］，Ｌcmp［６］｝との各パラメータの組み合わせは、7Ｐ4（＝７×６×５×４＝８４０）通り存在する。しかし、画像変形情報生成装置１では、候補直線抽出部４によって、画像内直線から基準直線に対する候補直線が抽出されるため、図６に示したように基準直線のパラメータ（基準直線パラメータ）と候補直線のパラメータ（候補直線パラメータ）との組み合わせは、（２）式に示した４通りとなる。
【００６１】
【数２】
このように、一致度算出部５では組み合わせ数が軽減された基準直線パラメータと候補直線パラメータとの組み合わせ数分だけ、一致度の算出を行う。
ここでは、基準直線パラメータと候補直線パラメータとのｋ番目の組み合わせにおいて、基準直線を変形パラメータｐによって変形したときの基準直線と候補直線との一致度ｓｉｍk（ｐ）を（３）式で定義する。
【００６３】
【数３】
ここで、ρはコスト関数（例えば、差の２乗和や絶対値差分を求めることで、特定の統計モデルに合致する確率を示す関数）、Ｌstdは基準画像Ｉstdの基準直線パラメータ、Ｌcmpは比較画像Ｉcmpの候補直線パラメータ、Ｃkは基準直線パラメータと候補直線パラメータとのｋ番目の組み合わせ、ｉは基準直線を識別する番号、ｊは候補直線を識別する番号、ｐは変形パラメータ、Ａはパラメータ変換を示すものとする。前記（３）式に示したように、一致度ｓｉｍk（ｐ）は、基準直線パラメータＬstdを変形パラメータｐによってパラメータ変換したハフパラメータと、候補直線パラメータとの差に基づいて、特定の統計モデルに合致する確率を基準直線パラメータと候補直線パラメータとの組み合わせ数分（ｋ個）加算したものである。
【００６５】
変形情報決定部（変形情報決定手段）６は、一致度算出部５で算出された一致度に基づいて、最大の一致度を与える組み合わせとなる変形パラメータを決定するものである。ここでは、（４）式に示すように、前記（３）式の値を最大にする変形パラメータｐを求めることとする。
【００６６】
【数４】
より具体的には、前記（３）式を、前記（４）式を満たす変形パラメータｐの各要素で偏微分した値は０となることから、この偏微分した結果である変形パラメータｐの連立方程式を解くことで、変形パラメータｐを求めることができる。
なお、ここで変形パラメータｐの各要素とは、並進、アフィン等の変形モデルにおける変形式を特定するパラメータの値で、例えば、（５）式に示す並進モデルの変形式におけるｐ0及びｐ1、また、例えば、（６）式に示すアフィンモデルの変形式におけるｐ0〜ｐ5を指す。
【００６８】
【数５】
【数６】
なお、この（５）式及び（６）式において、（ｘ，ｙ）は基準画像Ｉstdの任意の座標、（ｘ´，ｙ´）は変形モデルにより変形した（ｘ，ｙ）の変形後の座標を意味する。
【００７１】
これによって、例えば、図５に示した例において、前記（２）式の組み合わせの中で、基準直線と候補直線とが一致する組み合わせは、（７）式の組み合わせとなり、変形情報決定部６では、この（７）式の組み合わせにおける変形パラメータが出力（決定）される。すなわち、｛Ｌcmp［１］，Ｌcmp［２］，Ｌcmp［３］，Ｌcmp［５］｝が、基準直線が移動した移動直線として特定されたことになる。
【００７２】
【数７】
このように変形パラメータは、変形情報決定部６によって決定されるため、この出力を画像変形情報生成装置１の出力としてもよい。ただし、この変形パラメータには、画像空間とハフ空間（図３参照）との解像度の違いにより、誤差が存在する。そこで、ここでは、さらに変形情報補正部７を備え、その誤差を補正するものとする。
【００７４】
変形情報補正部７は、変形情報決定部６で決定された変形パラメータに基づいて、基準画像Ｉstdを変形した変形画像を生成し、その変形画像と比較画像Ｉcmpとを、従来の手法（図８及び（１）式参照）に基づいて画素レベルで演算することで、変形情報決定部６で決定された変形パラメータを補正した最適な変形パラメータを生成するものである。
【００７５】
なお、この変形画像は、変形情報決定部６で決定された変形パラメータによって変形されたものであるため、比較画像Ｉcmpとほぼ一致したものとなる。これによって、変形画像から比較画像Ｉcmpへの微細な変更分のみを変形パラメータに対して補正することとなるため、従来の手法に比べてパラメータ精度が高くなる。
【００７６】
以上、一実施形態に基づいて、画像変形情報生成装置１の構成について説明したが、画像変形情報生成装置１は、コンピュータにおいて各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合して画像変形情報生成プログラムとして動作させることも可能である。
【００７７】
［画像変形情報生成装置の動作］
次に、図１及び図７を参照して、画像変形情報生成装置１の動作について説明する。図７は、画像変形情報生成装置１の動作を示すフローチャートである。
【００７８】
（基準直線パラメータ設定ステップ）
まず、画像変形情報生成装置１は、基準直線設定部２によって、入力された基準画像Ｉstd内において、画像の特徴となる直線（基準直線）を図示していない入力手段により設定する（ステップＳ１）。この基準直線は、連続する画像に存在する直線で、位置や大きさが大きく変化しないものとする。例えば、サッカー中継でゴール近辺を撮影した映像において、ゴールポストやゴールエリア等の直線部分を基準直線とする。そして、この基準直線をハフ変換した基準直線パラメータ（ハフパラメータ）を求め、その基準直線パラメータを基準直線パラメータ記憶手段２０に記憶する（ステップＳ２）。
なお、この基準直線は、アフィン、回転、拡大／縮小、並進等の画像の変形関係で必要となる数の直線（図２参照）を設定するものとする。
【００７９】
（探索領域設定ステップ）
次に、画像変形情報生成装置１は、直線検出部３の探索領域設定部３ａによって、基準画像以降の入力画像である比較画像Ｉcmpにおいて、基準直線パラメータで位置と長さが特定された基準直線の予め定めた特定の幅を持つ近傍領域からなる領域を、探索領域として設定する（ステップＳ３）。
【００８０】
（直線検出ステップ）
また、画像変形情報生成装置１は、直線検出部３によって、探索領域設定部３ａで設定された探索領域のみをハフ変換することで、比較画像Ｉcmp内の直線（画像内直線）を検出する（ステップＳ４）。なお、ここで検出された画像内直線のハフパラメータである画像内直線ハフパラメータを、一旦候補直線パラメータ記憶手段３０に記憶しておく（ステップＳ５）。このように、直線検出ステップでは、探索領域についてのみハフ変換を行い直線を検出するため、処理速度を早めることができる。
【００８１】
（候補直線パラメータ特定ステップ）
さらに、画像変形情報生成装置１は、候補直線抽出部４によって、基準直線パラメータ記憶手段２０に記憶されている基準直線パラメータと、候補直線パラメータ記憶手段３０に記憶されている画像内直線ハフパラメータとに基づいて、基準直線に近接する画像内直線を、基準直線の位置が移動した候補となる候補直線として抽出する（ステップＳ６）。また、候補直線パラメータ記憶手段３０に記憶されている画像内直線ハフパラメータは、候補直線として抽出された直線のハフパラメータである候補直線パラメータに更新される（ステップＳ７）。
【００８２】
（一致度算出ステップ）
そして、画像変形情報生成装置１は、一致度算出部５によって、基準直線パラメータと、候補直線パラメータとの組み合わせにおいて、基準直線と候補直線とが一致する度合いを示す一致度を算出する（ステップＳ８）。
【００８３】
（変形情報決定ステップ）
そして、画像変形情報生成装置１は、変形情報決定部６によって、一致度算出部５で算出された一致度に基づいて、最大の一致度を与える基準直線と候補直線との組み合わせとなる変形パラメータを決定する（ステップＳ９）。
さらに、画像変形情報生成装置１は、変形情報補正部７によって、変形パラメータで基準画像Ｉstdを変形した変形画像を生成し、その変形画像から比較画像Ｉcmpへの変形に基づいて変形パラメータを補正して出力する（ステップＳ１０）。
【００８４】
以上の各ステップによって、画像変形情報生成装置１は、基準画像Ｉstdを基準にして、基準画像Ｉstdから、その基準画像Ｉstd以降に入力される入力画像（比較画像Ｉcmp）への最適な変形パラメータ（変形情報）を高速に求めることができる。
【００８５】
【発明の効果】
以上説明したとおり、本発明に係る画像変形情報生成装置、画像変形情報生成方法及び画像変形情報生成プログラムでは、以下に示す優れた効果を奏する。
【００８６】
請求項１、請求項４又は請求項５に記載の発明によれば、基準画像内の直線（基準直線）を元にして、基準直線が変形した変形情報を基準画像から各入力画像への変形情報とするため、従来のように入力画像毎に変形情報の誤差が伝播し、蓄積されることがない。また、入力画像の途中に画像内容の存在しない画像（例えば全面黒色の画像等）が存在しても、その次に入力される画像の変形情報を、基準画像に基づいて生成することが可能になり、画像の欠損に対する回復機能を有することになる。
【００８７】
また、直線を画像空間ではなく、例えばハフ空間上の２つのパラメータ（ハフパラメータ）で扱うことができるため、直線を画像としてではなく、ハフパラメータで表現された点として扱うことができる。これにより、直線間の距離、一致度等を求める際に画素レベルの演算を行う必要がなく、パラメータ間の距離により直線の類似性を求めるため、処理時間を短縮（高速処理）することができる。
【００８８】
また、例えば、カメラの操作によって入力画像が変化する場合、変形情報のみを伝送するだけで背景の画像を再現することが可能になるため、伝送時における画像の大幅な圧縮が可能になる。
【００８９】
請求項２に記載の発明によれば、基準画像の基準直線を元に入力画像に探索領域を設定し、その探索領域内のみから直線（画像内直線）を検出することになるため、入力画像全体から直線を検出する場合に比べて、処理時間を短縮することができる。
【００９１】
請求項３に記載の発明によれば、画像空間とハフ空間の解像度の違いによる誤差を補正することができるため、最適な変形情報（変形パラメータ）を生成することができる。なお、ハフ空間上のハフパラメータによって算出された変形パラメータに基づいて基準画像を変形した変形画像と入力画像とは、ほぼ一致したものとなっている。このため、従来のような画像空間のみで変形パラメータを生成する場合に比べて誤差を軽減し、変形パラメータの精度を高めることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る画像変形情報生成装置の全体構成を示すブロック図である。
【図２】変形関係を特定するための変形パラメータ数とその必要条件との関係を示した図である。
【図３】（ａ）はある直線を画像空間上の座標で表現した図である。（ｂ）はある直線をハフ空間上の座標で表現した図である。
【図４】（ａ）は基準画像上で基準直線を設定した例を示す図である。（ｂ）は比較画像上で基準直線に基づいて探索領域を設定した図である。
【図５】探索領域内の直線をハフパラメータで表した図である。
【図６】探索領域内の直線をハフ空間上の座標で表現し、基準直線に近似する候補直線の抽出方法を説明するための説明図である。
【図７】本発明の実施の形態に係る画像変形情報生成装置の動作を示すフローチャートである。
【図８】従来の変形情報（変形パラメータ）を生成する動作を示すフローチャートである。
【符号の説明】
１ ……画像変形情報生成装置
２ ……基準直線設定部
３ ……直線検出部（直線検出手段）
３ａ……探索領域設定部（探索領域設定手段）
４ ……候補直線抽出部（候補直線抽出手段）
５ ……一致度算出部（一致度算出手段）
６ ……変形情報決定部（変形情報決定手段）
７ ……変形情報補正部（変形情報補正手段）
１０……直線パラメータ検出手段
２０……基準直線パラメータ記憶手段
３０……候補直線パラメータ記憶手段
４０……変形パラメータ特定手段
Claims (5)
- 時系列に入力される連続した画像において、予め基準画像に含まれる基準直線を特定する基準直線パラメータを設定し、前記画像が変化することに伴う前記基準直線の変化に基づいて、前記基準画像から前記基準画像以降に入力される入力画像への変形情報を生成する画像変形情報生成装置であって、
前記入力画像に含まれる直線を画像内直線として検出し、その画像内直線を画像内直線パラメータによって特定する直線検出手段と、
前記基準直線パラメータ及び前記画像内直線パラメータのパラメータ間の距離に基づいて、前記直線検出手段で検出された画像内直線の中から、前記基準直線の位置が移動した候補となる候補直線を抽出し、その候補直線を候補直線パラメータとして特定する候補直線抽出手段と、
前記基準直線パラメータと前記候補直線パラメータとに基づいて、前記基準直線と前記候補直線とが同一の直線である度合いを示す一致度を算出する一致度算出手段と、
この一致度算出手段で算出された一致度に基づいて、前記候補直線の中から前記基準直線の位置が移動した移動直線を特定し、前記基準直線から前記移動直線への変形情報を、前記基準画像から前記入力画像への変形情報として決定する変形情報決定手段と、
を備えていることを特徴とする画像変形情報生成装置。 - 前記直線検出手段は、前記入力画像において、前記基準直線の位置に対応し、その基準直線の近傍領域からなる領域を前記画像内直線の探索領域として設定する探索領域設定手段を備え、前記探索領域に対してハフ変換を行うことで前記画像内直線を検出することを特徴とする請求項１に記載の画像変形情報生成装置。
- 前記変形情報決定手段によって決定された変形情報により、前記基準画像を変形した変形画像を生成し、その変形画像と前記入力画像との誤差に基づいて、前記変形情報を補正する変形情報補正手段を備えたことを特徴とする請求項１又は請求項２に記載の画像変形情報生成装置。
- 時系列に入力される連続した画像において、予め基準画像に含まれる基準直線を特定する基準直線パラメータを設定し、前記画像が変化することに伴う前記基準直線の変化に基づいて、前記基準画像から前記基準画像以降に入力される入力画像への変形情報を生成する画像変形情報生成方法であって、
探索領域設定手段によって、前記入力画像から、前記基準直線の位置に対応し、その基準直線の近傍領域からなる領域を直線の探索領域として設定する探索領域設定ステップと、
直線検出手段によって、前記探索領域設定ステップで設定された探索領域に対してハフ変換を行い、この探索領域に含まれる直線を画像内直線として検出し、その画像内直線を画像内直線パラメータによって特定する直線検出ステップと、
候補直線特定手段によって、前記基準直線パラメータ及び前記画像内直線パラメータのパラメータ間の距離に基づいて、前記直線検出ステップで検出された画像内直線の中から、前記基準直線の位置が移動した候補となる候補直線を抽出し、その候補直線を候補直線パラメータとして特定する候補直線パラメータ特定ステップと、
一致度算出手段によって、前記基準直線パラメータと前記候補直線パラメータとに基づいて、前記基準直線と前記候補直線とが同一の直線である度合いを示す一致度を算出する一致度算出ステップと、
変形情報決定手段によって、前記一致度算出ステップで算出された一致度に基づいて、前記候補直線の中から前記基準直線の位置が移動した移動直線を特定し、前記基準直線から前記移動直線への変形情報を、前記基準画像から前記入力画像への変形情報として決定する変形情報決定ステップと、
を含んでいることを特徴とする画像変形情報生成方法。 - 時系列に入力される連続した画像において、予め基準画像に含まれる基準直線を特定する基準直線パラメータを設定し、前記画像が変化することに伴う前記基準直線の変化に基づいて、前記基準画像から前記基準画像以降に入力される入力画像への変形情報を生成するために、コンピュータを、
前記入力画像から、前記基準直線の位置に対応し、その基準直線の近傍領域からなる領域を直線の探索領域として設定する探索領域設定手段、
この探索領域設定手段で設定された探索領域に対してハフ変換を行い、この探索領域に含まれる画像内直線を検出し、その画像内直線を画像内直線パラメータによって特定する直線検出手段、
前記基準直線パラメータ及び前記画像内直線パラメータのパラメータ間の距離に基づいて、前記直線検出手段で検出された画像内直線の中から、前記基準直線の位置が移動した候補となる候補直線を抽出し、その候補直線を候補直線パラメータとして特定する候補直線特定手段、
前記基準直線パラメータと前記候補直線パラメータとに基づいて、前記基準直線と前記候補直線とが同一の直線である度合いを示す一致度を算出する一致度算出手段、
この一致度算出手段で算出された一致度に基づいて、前記候補直線の中から前記基準直線の位置が移動した移動直線を特定し、前記基準直線から前記移動直線への変形情報を、前記基準画像から前記入力画像への変形情報として決定する変形情報決定手段、
として機能させることを特徴とする画像変形情報生成プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002331879A JP4133246B2 (ja) | 2002-11-15 | 2002-11-15 | 画像変形情報生成装置、画像変形情報生成方法及び画像変形情報生成プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002331879A JP4133246B2 (ja) | 2002-11-15 | 2002-11-15 | 画像変形情報生成装置、画像変形情報生成方法及び画像変形情報生成プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004164479A JP2004164479A (ja) | 2004-06-10 |
| JP4133246B2 true JP4133246B2 (ja) | 2008-08-13 |
Family
ID=32809120
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002331879A Expired - Fee Related JP4133246B2 (ja) | 2002-11-15 | 2002-11-15 | 画像変形情報生成装置、画像変形情報生成方法及び画像変形情報生成プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4133246B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4733651B2 (ja) * | 2007-01-12 | 2011-07-27 | 日本放送協会 | 位置検出装置、位置検出方法、及び位置検出プログラム |
| CN101561254B (zh) * | 2009-06-05 | 2010-11-24 | 中国航空工业集团公司西安飞机设计研究所 | 一种内腔式几何量测量方法 |
| US8882675B2 (en) * | 2009-07-16 | 2014-11-11 | Hitachi Aloka Medical, Ltd. | Methods and apparatus for ultrasound imaging |
| JP5321417B2 (ja) * | 2009-11-10 | 2013-10-23 | 株式会社Ｊｖｃケンウッド | 透視変換パラメータ生成装置、画像補正装置、透視変換パラメータ生成方法、画像補正方法、及びプログラム |
| WO2020090250A1 (ja) * | 2018-10-31 | 2020-05-07 | ソニー株式会社 | 画像処理装置と画像処理方法およびプログラム |
| CN116740385B (zh) * | 2023-08-08 | 2023-10-13 | 深圳探谱特科技有限公司 | 一种设备质检方法、装置和系统 |
-
2002
- 2002-11-15 JP JP2002331879A patent/JP4133246B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004164479A (ja) | 2004-06-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107563313B (zh) | 基于深度学习的多目标行人检测与跟踪方法 | |
| US8718324B2 (en) | Method, apparatus and computer program product for providing object tracking using template switching and feature adaptation | |
| CN108960211B (zh) | 一种多目标人体姿态检测方法以及系统 | |
| EP1835460B1 (en) | Image processing system, learning device and method, and program | |
| US9177404B2 (en) | Systems and methods of merging multiple maps for computer vision based tracking | |
| CN110909591B (zh) | 用编码向量的行人图像检测自适应非极大值抑制处理方法 | |
| US7636454B2 (en) | Method and apparatus for object detection in sequences | |
| WO2016034059A1 (zh) | 基于颜色-结构特征的目标对象跟踪方法 | |
| CN105009170A (zh) | 物体识别设备、方法和存储介质 | |
| US20210383102A1 (en) | Gesture shaking recognition method and apparatus, and gesture recognition method | |
| Pan et al. | Robust and accurate object tracking under various types of occlusions | |
| US9256802B2 (en) | Object or shape information representation method | |
| CN111667506A (zh) | 一种基于orb特征点的运动估计方法 | |
| CN111144213A (zh) | 一种对象检测方法和相关设备 | |
| CN111444817B (zh) | 一种人物图像识别方法、装置、电子设备和存储介质 | |
| CN115205114A (zh) | 一种基于orb特征的高分辨率图像拼接改进算法 | |
| JP4133246B2 (ja) | 画像変形情報生成装置、画像変形情報生成方法及び画像変形情報生成プログラム | |
| JP3054682B2 (ja) | 画像処理方法 | |
| JP5538781B2 (ja) | 画像検索装置及び画像検索方法 | |
| US20220189182A1 (en) | Reading system, reading device, and storage medium | |
| JP5417312B2 (ja) | 画像検索装置、および画像検索プログラム | |
| JP2007140729A (ja) | 物品の位置及び姿勢を検出する方法および装置 | |
| JP5470529B2 (ja) | 動き検出装置、動き検出方法及び動き検出プログラム | |
| JP2000132692A (ja) | 曲線の特徴点抽出方法及びこの方法を記録した記録媒体 | |
| US8300926B2 (en) | Image processing apparatus and image processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050310 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080206 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080219 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080421 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080520 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080602 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110606 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120606 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120606 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130606 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |