JP6091082B2 - 画像処理装置、画像処理方法、及び、プログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、及び、プログラムに関する。

デジタルカメラで撮影する場合に、魚眼レンズなどを用いて、意図的な歪みを持つ画像を撮影することがある。このような意図的な歪みを持つ画像に対する画像処理に関する技術は、例えば、特許文献１〜３に開示されている。具体的には、特許文献１には、画像の歪みを補正した後に画像の特徴量を抽出する技術が開示されている。特許文献２には、魚眼像の手ぶれを補正する技術が開示されている。特許文献３には、画像の歪みによる影響を排除した動きベクトルを求める技術が開示されている。

また近年、デジタル一眼レフカメラを用いた動画の撮影が行われており、魚眼レンズを使用した動画の撮影も行われている。動画を高画質化するための技術には、動画のフレーム数を増加させるフレームレート変換（以下ＦＲＣ）がある。ＦＲＣは、動画のなめらかさの向上やフリッカの抑制に有効である。従って、魚眼レンズを使用して撮影した動画に対してもＦＲＣを行うことが望ましい。ＦＲＣでは、フレームの間に補間フレームを生成することでフレーム数が増加される。補間フレームの生成方法としては、ベクトル補間がよく用いられる。ベクトル補間では、補間フレームの生成位置（時間位置）の前後のフレームから動きベクトルが求められる。そして、動きベクトルの始点と終点の中点に、上記前後のフレームのいずれか一方の画像が補間フレームの画像として生成される。

しかしながら、意図的な歪みを持つ動画像においては、物体は、動きベクトルに沿って直進せず、歪んだ軌道で移動する。そのため、従来のベクトル補間を用いると、誤った補間フレームが生成され（誤った位置に、上記前後のフレームのいずれか一方の画像が補間フレームの画像として生成され）、動画像が破綻してしまう。なお、特許文献３に開示の技術で得られる動きベクトルは、画像の歪みによる影響を排除した動きベクトル、即ち、歪みの無い動画像から得られる動きベクトルであり、そのような動きベクトルを用いても正しい補間フレームを生成することはできない。

特開２００７−３０６１９９号公報 特開２００６−２９５６２６号公報 特開２０１０−０４１４１９号公報

本発明は、画像の歪みのある動画像のフレームレートを、動画像を破綻させることなく高めることのできる技術を提供することを目的とする。

本発明の第１の態様は、
入力画像信号のフレーム間を補間して、前記入力画像信号のフレームレートを高める画像処理装置であって、
前記入力画像信号が歪んだ画像の信号である場合に、前記入力画像信号に画像の歪みを補正する歪み補正処理を施す歪み補正手段と、
前記歪み補正処理後の画像信号から動きベクトルを検出する検出手段と、
前記入力画像信号の画像の歪み度合いに応じて、前記検出手段で検出された動きベクトルを歪ませる歪み処理手段と、
前記入力画像信号と、前記歪み処理手段で歪ませられた動きベクトルとから、前記入力画像信号のフレーム間を補間する補間フレームを生成する生成手段と、
を有することを特徴とする画像処理装置である。

本発明の第２の態様は、
入力画像信号のフレーム間を補間して、前記入力画像信号のフレームレートを高める画像処理装置であって、
前記入力画像信号が歪んだ画像の信号である場合に、前記入力画像信号に画像の歪みを補正する歪み補正処理を施す歪み補正手段と、
前記歪み補正処理後の画像信号から動きベクトルを検出する検出手段と、
前記歪み補正処理後の画像信号と、前記検出手段で検出された動きベクトルとから、前記歪み補正処理後の画像信号のフレーム間を補間する補間フレームを生成する生成手段と、
前記入力画像信号の画像の歪み度合いに応じて、前記生成手段で生成された補間フレームを歪ませることにより、前記入力画像信号のフレーム間を補間する補間フレームを生成する歪み処理手段と、
を有することを特徴とする画像処理装置である。

本発明の第３の態様は、
入力画像信号のフレーム間を補間して、前記入力画像信号のフレームレートを高める画像処理方法であって、
コンピュータが、前記入力画像信号が歪んだ画像の信号である場合に、前記入力画像信号に画像の歪みを補正する歪み補正処理を施す歪み補正ステップと、
コンピュータが、前記歪み補正処理後の画像信号から動きベクトルを検出する検出ステップと、
コンピュータが、前記入力画像信号の画像の歪み度合いに応じて、前記検出ステップで検出された動きベクトルを歪ませる歪み処理ステップと、
コンピュータが、前記入力画像信号と、前記歪み処理ステップで歪ませられた動きベクトルとから、前記入力画像信号のフレーム間を補間する補間フレームを生成する生成ステップと、
を有することを特徴とする画像処理方法である。

本発明の第４の態様は、
入力画像信号のフレーム間を補間して、前記入力画像信号のフレームレートを高める画像処理方法であって、
コンピュータが、前記入力画像信号が歪んだ画像の信号である場合に、前記入力画像信号に画像の歪みを補正する歪み補正処理を施す歪み補正ステップと、
コンピュータが、前記歪み補正処理後の画像信号から動きベクトルを検出する検出ステップと、
コンピュータが、前記歪み補正処理後の画像信号と、前記検出ステップで検出された動きベクトルとから、前記歪み補正処理後の画像信号のフレーム間を補間する補間フレームを生成する生成ステップと、
コンピュータが、前記入力画像信号の画像の歪み度合いに応じて、前記生成ステップで生成された補間フレームを歪ませることにより、前記入力画像信号のフレーム間を補間する補間フレームを生成する歪み処理ステップと、
を有することを特徴とする画像処理方法である。

本発明の第５の態様は、
上記画像処理方法の各ステップをコンピュータに実行させることを特徴とするプログラムである。

本発明によれば、画像の歪みのある動画像のフレームレートを、動画像を破綻させることなく高めることができる。

実施例１に係る画像処理装置の機能構成の一例を示すブロック図 入力画像信号の一例を示す図 フレームレート変換後の画像信号の一例を示す図 フレームレート変換後の画像信号の一例を示す図 入力画像信号の１フレームの画像の一例を示す図 入力画像信号の１フレームの画像の一例を示す図 縮小率算出部による縮小率の算出方法の一例を説明するための図 画像を分割して得られるブロックの一例を示す図 ブロックマッチングにおける探索領域の一例を示す図 補間ベクトルから歪曲補間ベクトルへの変換の一例を示す図 拡縮率算出処理の方法の一例を説明するための図 拡縮率算出処理の方法の一例を説明するための図 実施例２に係る画像処理装置の機能構成の一例を示すブロック図 実施例２の補間フレーム生成部の処理を説明するための図 実施例３に係る画像処理装置の機能構成の一例を示すブロック図 実施例４に係る画像処理装置の機能構成の一例を示すブロック図

＜実施例１＞
本発明の実施例１に係る画像処理装置及び画像処理方法について図を参照して説明する。本実施例に係る画像処理装置は、入力画像信号のフレーム間を補間して、入力画像信号のフレームレートを高めるフレームレート変換（ＦＲＣ）を行う。
図１は、本実施例に係る画像処理装置の機能構成の一例を示すブロック図である。本実施例に係る画像処理装置は、ケラレ検出部１０１、縮小率算出部１０２、補間方式決定部１０３、縮小＆歪曲補正部１０４、フレームメモリ制御部１０５、動きベクトル検出部１０６、歪曲補間ベクトル＆拡縮率算出部１０７、補間フレーム生成部１０８、などを有する。
図１の各機能部は、不図示のＣＰＵ（中央演算処理装置；コンピュータ）が、不図示のメモリ等の記録媒体に記憶されたプログラムを読み出して実行することにより実現される。
なお、本実施例では、入力画像信号のｎ番目のフレームをＦ（ｎ）と表記する。Ｆ（ｎ）とＦ（ｎ＋１）の間の補間フレームをＡＦ（ｎ）と表記する。また、歪みの無い画像に対応する歪みの無い空間内の座標を通常座標と呼び、魚眼レンズで撮影したような歪みのある画像に対応する歪みのある空間内の座標を歪曲座標と呼ぶ。
入力画像信号は、図２に示すように、フレーム単位で画像処理装置に入力される。具体的には、入力画像信号のフレームは、Ｆ（ｎ）、Ｆ（ｎ＋１）、Ｆ（ｎ＋２）・・・のように、順番に入力される。

フレームメモリ制御部１０５について説明する。
フレームメモリ制御部１０５は、入力端子から入力された画像信号（入力画像信号）、具体的には入力端子から入力されたフレームＦを記憶する。また、フレームメモリ制御部１０５は、補間フレーム生成部１０８で生成された補間フレームＡＦを記憶する。そして、補間方式決定部１０３で決定された補間方式ｍ（ＦＲＣの補間方式）が“通常動きベクトル補間”又は“魚眼動きベクトル補間”の場合には、フレームメモリ制御部１０５は、図３のように、入力画像信号のフレーム間に補間フレームＡＦを挿入する。そして、フレームメモリ制御部１０５は、補間フレームＡＦが挿入された入力画像信号を、出力端子から、入力画像信号のフレームレートの２倍のフレームレートで出力する。具体的には、Ｆ（ｎ）、ＡＦ（ｎ）、Ｆ（ｎ＋１）、ＡＦ（ｎ＋１）、Ｆ（ｎ＋２）・・・の順にフレームと補間フレームが出力される。また、補間方式ｍが“２度出し補間”の場合は、フレームメモリ制御部１０５は、フレーム間に補間フレームを挿入せず、図４のように入力画像信号の各フレームを、入力画像信号のフレームレートの２倍のフレームレートで２回ずつ出力する。即ち、“２度出し補間”の場合は、入力画像信号のフレームが補間フレームとされる。このようにしてフレーム数が２倍に増やされ、フレームレートが２倍に高められる。
なお、フレームレート変換後のフレームレートは、入力画像信号のフレームレートの２倍のフレームレートに限らない。フレームレート変換により入力画像信号のフレームレートをＮ倍に高める場合には、入力画像信号のフレーム間にＮ−１個の補間フレームを挿入するか、入力画像信号の各フレームをＮ回ずつ出力すればよい。

ケラレ検出部１０１について説明する。
図５は、入力画像信号の１フレームの画像の一例を示す図である。図５は、入力画像信号が歪んだ画像の信号である場合の例である。具体的には、図５は、魚眼レンズを用いて撮影した入力画像信号の例である。図５の中央にある円形の領域は、撮影された画像の領域（撮影領域）である。斜線の領域は撮影された画像の領域以外の領域（非撮影領域；典型的には黒色の領域）である。非撮影領域は、一般的に、ケラレと呼ばれる。ケラレ検出
部１０１は、撮影領域と非撮影領域の境界を検出する。撮影領域と非撮影領域の境界は、例えば、画像の上下左右の端から画素値が黒でなくなる位置を探すことで検出することができる。ケラレ検出部１０１は、撮影領域と非撮影領域の境界を表す情報ｋｚを出力する。また、境界が検出された場合、ケラレ検出部１０１は、撮影領域を表す情報（撮影領域情報）として、各辺が撮影領域の接線である四角形の領域を表す情報を生成する。例えば、図５の例では、撮影領域情報として、上記四角形の領域の始点座標（ｘｓ，ｙｓ）と終点座標（ｘｅ，ｙｅ）が求められる。また、図６のように撮影領域が円形にならない場合もある。その場合にも同様に、各辺が撮影領域の接線である四角形の領域の始点座標（ｘｓ，ｙｓ）と終点座標（ｘｅ，ｙｅ）が求められる。
なお、撮影領域情報は、これらに限らない。例えば、撮影領域情報は、各辺が撮影領域の接線である四角形の領域の中心位置、水平方向サイズ、及び、垂直方向サイズであってもよい。

縮小率算出部１０２について説明する。
縮小率算出部１０２は、縮小＆歪曲補正部１０４で使用する縮小率ｋ（具体的には、縮小＆歪曲補正部１０４で使用する縮小率ｋの候補値）を算出する。
縮小＆歪曲補正部１０４は、入力画像信号が歪んだ画像の信号である場合に、入力画像信号に画像の歪みを補正する歪み補正処理を施す。それにより、動きベクトル検出部１０６で動きベクトル検出する際に使用する画像信号（動きベクトル検出用フレーム）が生成され、フレームメモリ制御部１０５に記憶される。
歪んでいる画像から歪みを除去すると画像サイズが大きくなる。しかし、フレームメモリ制御部１０５の記憶容量や転送速度、動きベクトル検出部１０６が動きベクトル検出処理を実行することのできる時間には制限がある。そこで、本実施例では、歪み補正処理後の画像信号に縮小処理を施す。それにより、動きベクトル検出用フレームのデータ量を低減することができ、且つ、動きベクトル検出処理の処理負荷を低減することができる。

また、ケラレ部分には画像の動きはないため、動きベクトル検出部１０６における動きベクトル検出処理では、ケラレ部分を除外することが好ましい。ケラレ部分を除外して動きベクトル検出処理を行うことにより、動きベクトルの誤検出を低減することができる。そこで、本実施例では、縮小＆歪曲補正部１０４は、入力画像信号から、撮影領域情報で表される領域の画像信号を抽出する。そして、縮小＆歪曲補正部１０４は、抽出した画像信号に対して歪み補正処理と縮小処理を施すことにより、動きベクトル検出用フレームを生成する。そして、縮小率算出部１０２は、動きベクトル検出用フレームの画像サイズがフレームメモリ制御部１０５に記憶可能なサイズとなるように、縮小率ｋを求める。即ち、ケラレ部分を除外した領域に歪み補正処理と縮小処理を施した後の画像サイズが、フレームメモリ制御部１０５に記憶可能なサイズとなるように、縮小率ｋが求められる。

具体的な縮小率ｋの求め方を、図７を用いて説明する。図７は、フレームＦ（補間フレームＡＦ）の垂直方向サイズをｖ＿ｌｅｎ、水平方向サイズをｈ＿ｌｅｎとした場合の例である。図７には、フレームＦと、ケラレ検出部１０１で求めた撮影領域情報で表される領域（始点座標（ｘｓ，ｙｓ）、終点座標（ｘｅ，ｙｅ）の領域）とを示している。ここで、始点座標（ｘｓ，ｙｓ）と終点座標（ｘｅ，ｙｅ）に対して歪み補正処理を施すと、始点座標（ｘｓ，ｙｓ）、終点座標（ｘｅ，ｙｅ）は、それぞれ座標（ｘｓ’，ｙｓ’）、座標（ｘｅ’，ｙｅ’）となる。座標の変換（歪曲座標から通常座標への変換）は、歪曲収差情報を用いて行われる。歪曲収差情報は、撮影に使用したレンズなどによって決まる情報であり、画像の歪み方（画像の歪みの度合い）を表す情報である。歪曲収差情報は、例えば、歪曲座標から通常座標への変換表と、通常座標から歪曲座標への変換表とを含む情報である。本実施例では、歪曲座標から通常座標への変換を（ｘ’，ｙ’）＝ｇ（ｘ，ｙ）、通常座標から歪曲座標への変換を（ｘ，ｙ）＝ｆ（ｘ’，ｙ’）と表記する。ここで、（ｘ，ｙ）は歪曲座標である。（ｘ’，ｙ’）は、歪曲座標（ｘ，ｙ）に対応する
通常座標、即ち歪曲座標（ｘ，ｙ）に歪み補正処理を施して得られる座標である。ｇ、ｆは変換係数である。
１つの動きベクトル検出用フレームＳＦのデータ量を（ｖ＿ｌｅｎ／２）×（ｈ＿ｌｅｎ／２）にする場合には、縮小率ｋは以下の式１によって求められる。

縮小率ｋ＝｛（ｖ＿ｌｅｎ／２）×（ｈ＿ｌｅｎ／２）｝
／｛（ｘｅ’−ｘｓ’＋１）×（ｙｅ’−ｙｓ’＋１）｝ ・・・（式１）

縮小率ｋは、元の画像サイズに対する、縮小処理後の画像サイズの比であり、０より大きく１より小さい値である。
なお、歪曲収差情報は、外部から入力されてもよいし、画像処理装置内に予め記憶されていてもよい。例えば、歪曲収差情報は入力画像信号にメタデータとして付加されていてもよい。画像処理装置内に予め記憶された複数の歪曲収差情報の中から、ユーザ操作に応じて使用する歪曲収差情報が選択されてもよい。
なお、縮小率ｋは式１で求まる値に限らない。縮小率は予め定められた固定値であってもよい。

補間方式決定部１０３について説明する。
補間方式決定部１０３は、レンズの種類と縮小率ｋから、ＦＲＣの補間方式ｍを決定する。レンズの種類を表す情報（レンズ情報）は、外部から入力されてもよいし、画像処理装置内に予め記憶されていてもよい。例えば、レンズ情報は、入力画像信号にメタデータとして付加されていてもよいし、ユーザにより入力されてもよい。画像処理装置内に予め記憶された複数のレンズ情報の中から、ユーザ操作に応じて使用するレンズ情報が選択されてもよい。レンズ情報は、入力画像信号を撮影する際に使用したレンズの種類を表す。補間方式ｍには、“通常動きベクトル補間”、“魚眼動きベクトル補間”、“２度出し補間”などがある。
レンズの種類が魚眼レンズ以外の場合（即ち、入力画像信号が歪んだ画像の信号でない場合）は、補間方式ｍとして“通常動きベクトル補間”が設定される。また、入力画像信号が歪んだ画像の信号でない場合は、入力画像信号で表される画像の全領域が撮影領域となる。そのため、縮小処理前の動きベクトル検出用フレームの画像サイズ（データ量）は、ｖ＿ｌｅｎ×ｈ＿ｌｅｎとなる。式１に基づいて、補間方式決定部１０３は、縮小率ｋとして１／４を設定し、出力する。
レンズの種類が魚眼レンズの場合には、補間方式決定部１０３は、縮小率ｋと所定の閾値ｔｈ＿ｋを比較する。ｋ≧ｔｈ＿ｋの場合、補間方式ｍとして“魚眼動きベクトル補間”が設定され、縮小率算出部１０２で求めた縮小率ｋがそのまま縮小＆歪曲補正部１０４に出力される。ｋ＜ｔｈ＿ｋの場合は、補間方式ｍとして“２度出し補間”が設定され、縮小率ｋとして１／４が縮小＆歪曲補正部１０４に出力される。但し、“２度出し補間”の場合は、縮小率ｋは使用されないため、縮小率ｋとして１／４以外の値が出力されてもよい（縮小率ｋは出力されなくてもよい）。画像を縮小しすぎると、動きベクトルの検出精度が低下してしまう。本実施例では、画像が複数のブロック（分割領域）に分割され、ブロック毎に動きベクトルが検出される。画像を縮小しすぎると、動きベクトルが正しく検出できるブロックと、動きベクトルが正しく検出できないブロックとが混在してしまい、動きベクトルを用いて補間フレームを生成した際に、補間フレームの画像が乱れてしまう虞がある。ｋ＜ｔｈ＿ｋの場合に“２度出し補間”を設定するのは、上記動きベクトルの検出精度の低下による補間フレームの画像の乱れを抑制するためである。ｔｈ＿ｋとしては、例えば、“通常動きベクトル補間”の場合に設定される縮小率ｋと同じ値が使用される。本実施例ではｔｈ＿ｋ＝１／４が使用される。

縮小＆歪曲補正部１０４について説明する。
縮小＆歪曲補正部１０４は、入力画像信号が歪んだ画像の信号である場合に、入力画像
信号に歪み補正処理を施す。そして、縮小＆歪曲補正部１０４は、歪み補正処理後の画像信号に縮小処理を施す。それにより、縮小＆歪曲補正部１０４は、動きベクトル検出用フレームＳＦを生成する。縮小＆歪曲補正部１０４は、撮影領域情報、歪曲収差情報、レンズの種類、縮小率ｋ（補間方式決定部１０３から入力された縮小率）に従って、フレームＦ（ｎ）を動きベクトル検出用フレームＳＦ（ｎ）に変換する。
具体的には、レンズの種類が魚眼レンズの場合、縮小＆歪曲補正部１０４は、Ｆ（ｎ）から撮影領域情報で表される領域の画像信号を抽出する。そして、縮小＆歪曲補正部１０４は、抽出した画像信号に、歪曲補正処理と縮小処理を施す。歪曲補正処理は、歪曲収差情報の（ｘ’，ｙ’）＝ｇ（ｘ，ｙ）に従って行われる。縮小処理は、補間方式決定部１０３から入力された縮小率ｋに従って行われる。具体的には、歪曲補正処理が施された画像信号の垂直方向及び垂直方向の画像サイズが、それぞれ、ｋ^０．５倍に縮小される。縮小方法はどのような方法であってもよい。例えば、縮小＆歪曲補正部１０４は、バイリニア法を用いた縮小処理を行う。そして、歪曲補正処理及び縮小処理後の画像信号が、ＳＦ（ｎ）とされる。
レンズ種類が魚眼レンズ以外の場合は、縮小＆歪曲補正部１０４は、Ｆ（ｎ）に対して縮小処理のみを施す。それにより、ＳＦ（ｎ）が生成される。
縮小＆歪曲補正部１０４は、生成したＳＦ（ｎ）をフレームメモリ制御部１０５に出力する。フレームメモリ制御部１０５は、縮小＆歪曲補正部１０４から出力されたＳＦ（ｎ）を記憶する。

本発明の特徴について説明する。
入力画像信号が歪んだ画像の信号でない場合には、Ｆ（ｎ）から検出した動きベクトルをそのまま使用して補間フレームを生成することができる。具体的には、Ｆ（ｎ）の画素を、当該画素の位置から動きベクトルの１／２の位置の画素とすることにより、補間フレームＡＦ（ｎ）の画素を生成することができる。しかしながら、入力画像信号が歪んだ画像の信号である場合には、移動する物体の軌跡は直線的にはならず、歪んだ軌跡となる。そのため、Ｆ（ｎ）から検出した動きベクトルをそのまま使用して補間フレームを生成すると、補間フレームの画像として破綻した画像が生成されてしまう。そこで、本実施例では、入力画像信号が歪んだ画像の信号である場合に、歪み補正処理後の画像信号から動きベクトルを検出する。そして、入力画像信号の画像の歪み方に従って、検出された動きベクトルを歪ませる（歪み処理）。そのように歪まされた動きベクトルを使用することにより、Ｆ（ｎ）における物体の画素を、当該物体の移動の軌跡に従った位置に適用することができ、補間フレームＡＦ（ｎ）の画像として正確な画像（破綻していない画像）を生成することができる。

動きベクトル検出部１０６について説明する。
動きベクトル検出部１０６は、歪みの無い画像の信号から動きベクトルを検出する。即ち、入力画像信号が歪んだ画像の信号である場合には、歪み補正処理後の画像信号から動きベクトルが検出される。具体的には、動きベクトル検出部１０６は、動きベクトル検出用フレームＳＦ（ｎ）とＳＦ（ｎ＋１）から動きベクトルを検出し、検出した動きベクトルから補間ベクトルを求める。補間ベクトルは、動きベクトル検出用フレーム内の領域の、補間フレーム内での位置（補間位置）を示すベクトルである。
具体的には、動きベクトル検出部１０６は、ブロックマッチング法を用いて動きベクトルを検出する。ブロックマッチングでは、まず、図８に示すように、フレームＳＦ（ｎ）が複数のブロックに分割される。本実施例では、１つのブロックのサイズを水平方向１６ピクセル×垂直方向１６ピクセルとする。そして、ブロック毎に、そのブロック内の画像（ＳＦ（ｎ）内の一部の領域の画像）と最も類似度が高い画像の領域（対応領域）が、ＳＦ（ｎ＋１）から探索される。本実施例では、処理対象のブロックの中心位置から水平方向１１２ピクセル×垂直方向４８ピクセルの領域（図９）が探索領域とされる。そして、探索領域内から、処理対象のブロックに対応する対応領域が探索される。本実施例では、
処理対象のブロック内の画素値（ＳＦ（ｎ）の画素値）との差分絶対値和（Ｓｕｍ ｏｆ
Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ：ＳＡＤ）が最も小さい領域が対応領域とされる。ＳＡＤが所定の閾値より小さい場合に、処理対象のブロックの位置から、当該ブロックに対応する対応領域の位置へのベクトルが、当該ブロックの動きベクトルとされる。ＳＡＤが所定の閾値以上の場合は、処理対象のブロックに対して、画像の動きは無いと判定され、大きさが０の動きベクトル（０ベクトル）が割り当てられる。上記処理が全てのブロックについて行われ、ブロック毎の動きベクトルが求められる。ここで、ＳＦ（ｎ）におけるブロックｂｌｋの動きベクトルをＶ（ｎ，ｂｌｋ）と表記する。また、ＳＦ（ｎ）におけるブロック毎の動きベクトルの集合を｛Ｖ（ｎ）｝と表記する。
次に、動きベクトル検出部１０６は、動きベクトル｛Ｖ（ｎ）｝から補間ベクトル｛Ｅ（ｎ）｝を算出する。補間ベクトル｛Ｅ（ｎ）｝は、ブロック毎の補間ベクトルの集合である。補間位置は動きベクトルの始点と終点とつなぐ直線の中点となる。しかし、動きベクトル｛Ｖ（ｎ）｝は縮小処理後の画像信号から検出されている。そこで、本実施例では、動きベクトル｛Ｖ（ｎ）｝を縮小率ｋに応じて拡大し、拡大された動きベクトルの大きさを１／２にすることにより、補間ベクトル｛Ｅ（ｎ）｝を求める。なお、補間ベクトル｛Ｅ（ｎ）｝の始点は、動きベクトル｛Ｖ（ｎ）｝の始点と同じ位置とされるものとする。具体的には、補間ベクトル｛Ｅ（ｎ）｝は以下の式２により求められる。

｛Ｅ（ｎ）｝＝｛Ｖ（ｎ）｝／ｋ^０．５／２ ・・・（式２）

歪曲補間ベクトル＆拡縮率算出部１０７について説明する。
歪曲補間ベクトル＆拡縮率算出部１０７は、入力画像信号が歪んだ画像の信号である場合に、歪曲補間ベクトル算出処理と、拡縮率算出処理とを行う。
まず、歪曲補間ベクトル算出処理について説明する。
歪曲補間ベクトル算出処理は、補間ベクトル｛Ｅ（ｎ）｝から歪曲補間ベクトル｛Ｚ（ｎ）｝を算出する処理である。補間ベクトル｛Ｅ（ｎ）｝は通常座標でのベクトルである。歪曲補間ベクトル｛Ｚ（ｎ）｝は、歪曲座標でのベクトルである。歪曲補間ベクトル算出処理は、歪曲収差情報に従って補間ベクトル｛Ｅ（ｎ）｝の始点と終点の座標を通常座標から歪曲座標に変換することにより、歪曲補間ベクトル｛Ｚ（ｎ）｝を求める（補間ベクトル｛Ｅ（ｎ）｝を歪曲補間ベクトル｛Ｚ（ｎ）｝に変換する）。
変換方法について図１０を用いて具体的に説明する。図１０中、通常座標Ａ’はブロックｂｌｋ’の中心座標である。通常座標Ｂ’は、ブロックｂｌｋ’の補間ベクトルＥ（ｎ，ｂｌｋ’）により指し示される位置である（ブロックｂｌｋ’のサイズは１６×１６ｐｉｘ）。歪曲補間ベクトル＆拡縮率算出部１０７は、歪曲収差情報の（ｘ，ｙ）＝ｆ（ｘ’，ｙ’）を用いて、通常座標Ａ’，Ｂ’を歪曲座標Ａ，Ｂに変換する。そして、歪曲補間ベクトル＆拡縮率算出部１０７は、歪曲座標Ａを中心としたブロックｈｂｌｋ（サイズは１６×１６ｐｉｘ）を設定する。歪曲補間ベクトル＆拡縮率算出部１０７は、歪曲座標Ａから歪曲座標Ｂへ向かうベクトルＺ（ｎ，ｈｂｌｋ）をブロックｈｂｌｋの歪曲補間ベクトルとして設定する。歪曲補間ベクトル＆拡縮率算出部１０７は、上記処理をすべての補間ベクトルについて行い、Ｆ（ｎ）の歪曲補間ベクトル｛Ｚ（ｎ）｝を求める。

次に、拡縮率算出処理について説明する。
画像の歪みの度合いは、歪曲座標の位置によって異なる。そのため、ブロックｈｂｌｋの画像をそのまま歪曲座標Ｂに適用すると、補間フレームの画像が破綻してしまう。そこで、本実施例では、歪曲補間ベクトルの始点位置のブロックの画像を、歪曲補間ベクトルの終点位置に適用する際に、当該ブロックの画像に拡大処理または縮小処理を施す。拡縮率算出処理では、上記拡大処理や縮小処理の倍率（拡大率・縮小率）を求める。ここでは、拡大率と縮小率を合わせて“拡縮率”と呼ぶ。
まず、歪曲補間ベクトル＆拡縮率算出部１０７は、図１１に示すように、通常座標Ａ’
を中心としたブロックｂｌｋ’と通常座標Ｂ’を中心としたブロックｂｌｋ’２を設定する。ブロックｂｌｋ’のサイズと、ブロックｂｌｋ’２のサイズは、いずれも、１６×１６ｐｉｘとする。そして、歪曲補間ベクトル＆拡縮率算出部１０７は、ブロックｂｌｋ’とブロックｂｌｋ’２を、歪曲収差情報（ｘ，ｙ）＝ｆ（ｘ’，ｙ’）を用いて歪曲座標のブロックに変換する。図１１の例では、ブロックｂｌｋ’がブロックｂｌｋに変換され、ブロックｂｌｋ’２がブロックｂｌｋ２に変換される。
次に、歪曲補間ベクトル＆拡縮率算出部１０７は、ブロックｂｌｋとブロックｂｌｋ２のサイズを求める。具体的には、図１２に示すように、歪曲座標Ａ（ブロックｂｌｋの中心）の垂直位置におけるブロックｂｌｋの水平方向の長さが、ブロックｂｌｋの水平方向サイズｂｌｋ＿ｈ＿ｌｅｎとして求められる。歪曲座標Ａの水平位置におけるブロックｂｌｋの垂直方向の長さが、ブロックｂｌｋの垂直方向サイズｂｌｋ＿ｖ＿ｌｅｎとして求められる。同様に、ブロックｂｌｋ２の水平方向サイズｂｌｋ２＿ｈ＿ｌｅｎと垂直方向サイズｂｌｋ２＿ｖ＿ｌｅｎも求められる。
そして、歪曲補間ベクトル＆拡縮率算出部１０７は、ブロックｈｂｌｋの水平方向の拡縮率ｇｈと垂直方向の拡縮率ｇｖを以下の式３−１，３−２を用いて算出する。

ｇｈ＝ｂｌｋ２＿ｈ＿ｌｅｎ／ｂｌｋ＿ｈ＿ｌｅｎ ・・・（式３−１）
ｇｖ＝ｂｌｋ２＿ｖ＿ｌｅｎ／ｂｌｋ＿ｖ＿ｌｅｎ ・・・（式３−２）

ここでは、ブロックｈｂｌｋのｇｈとｇｖを合わせて拡縮率Ｌ（ｎ，ｂｌｋｈ）と表記する。そして、歪曲補間ベクトル＆拡縮率算出部１０７は、上記処理をすべての歪曲補間ベクトル（歪曲補間ベクトル算出処理において歪曲補間ベクトルの始点に設定されたブロック）について行い、Ｆ（ｎ）の拡縮率｛Ｌ（ｎ）｝を求める。
なお、実際には、通常座標上の四角形のブロックを歪曲座標上のブロックに変換した場合、変換後のブロックは四角形のブロックにはならない。本実施例では、計算を簡略化するため変換後のブロックの形状を四角形に近似している。

なお、本実施例では、補間ベクトル｛Ｅ（ｎ）｝を歪曲補間ベクトル｛Ｚ（ｎ）｝に変換する構成としたが、この構成に限らない。例えば、動きベクトル｛Ｖ（ｎ）｝の軌跡を入力画像信号の画像の歪み方に従って歪ませ、歪ませられた軌跡から歪曲補間ベクトル｛Ｚ（ｎ）｝が求められてもよい。

補間フレーム生成部１０８について説明する。
補間フレーム生成部１０８は、入力画像信号のフレーム間を補間する補間フレームを生成する。本実施例では、入力画像信号が歪んだ画像の信号である場合には、入力画像信号と、歪ませられた動きベクトルとから、入力画像信号のフレーム間を補間する補間フレームが生成される。
具体的には、補間フレーム生成部１０８は、フレームＦ（ｎ），Ｆ（ｎ＋１）、補間方式ｍ、境界情報ｋｚ、補間ベクトル｛Ｅ（ｎ）｝、歪曲補間ベクトル｛Ｚ（ｎ）｝、拡縮率｛Ｌ（ｎ）｝を用いて、補間フレームＡＦ（ｎ）を生成する。
補間方式ｍが“魚眼動きベクトル補間”の場合は、歪曲補間ベクトル｛Ｚ（ｎ）｝に対応する各ブロックのＦ（ｎ）上の画像が、拡縮率｛Ｌ（ｎ）｝に従って拡大・縮小処理される。そして、拡大・縮小処理後の画像が、補間フレームＡＦ（ｎ）の画像として歪曲補間ベクトル｛Ｚ（ｎ）｝で示される位置に貼り付けられる。拡大・縮小処理は、例えば、バイリニア法を用いて行われる。即ち、本実施例では、入力画像信号のフレーム内の一部の領域の画像の位置を、歪ませられた動きベクトルに従って変更することにより、補間フレーム内の一部の領域の画像が決定される。そして、画像の位置を変更する際に、入力画像信号の画像の歪み方に従って、位置を変更する画像のサイズが変更される。拡大・縮小処理後の画像を貼り付けた際に、複数の画像が重複する位置については、重複する画像の画素値の平均値が適用される。画像が貼り付けられなかった位置は、当該位置と同じ位置
のＦ（ｎ）とＦ（ｎ＋１）の画素値の平均値が適用される。また、補間フレーム生成部１０８は、境界情報ｋｚからケラレ部分（非撮影領域）を判断する。そして、補間フレーム生成部１０８は、ケラレ部分についてはベクトル補間（歪曲補間ベクトル｛Ｚ（ｎ）｝に応じた画像の貼り付け）を行わずに、Ｆ（ｎ）の画素値を適用する。即ち、本実施例では、撮影領域に対しては、歪ませられた動きベクトルを用いて補間フレームの画素値が決定され、非撮影領域に対しては、補間フレームの画素値として同じ位置の入力画像信号の画素値が適用される。これにより、非撮影領域（ケラレ部分）や非撮影領域と撮影領域の境界が誤補間によって乱れることを抑制することができる。以上により、補間フレームが生成される。
補間方式ｍが“通常動きベクトル補間”の場合には、補間ベクトル｛Ｅ（ｎ）｝に従って補間フレームが生成される。具体的には、補間ベクトル｛Ｅ（ｎ）｝に対応する各ブロックのＦ（ｎ）上の画像が、補間フレームＡＦ（ｎ）の画像として補間ベクトル｛Ｅ（ｎ）｝で示される位置に貼り付けられる。複数の画像が重複する位置、画像が貼り付けられなかった位置については、“魚眼動きベクトル補間”の場合と同様に処理される。
補間方式ｍが“２度出し補間”の場合には、補間フレームＡＦ（ｎ）は出力端子から出力されないため、補間フレームＡＦ（ｎ）は生成されない。

以上述べたように、本実施例によれば、入力画像信号が歪んだ画像の信号である場合に、歪み補正処理後の画像信号から動きベクトルが検出され、入力画像信号の画像の歪み方に従って、検出された動きベクトルが歪まされる。そして、入力画像信号と、歪ませられた動きベクトルとから、入力画像信号のフレーム間を補間する補間フレームが生成される。それにより、入力画像信号が歪んだ画像の信号である場合に、入力画像信号のフレームの画像を正確な補間位置に貼り付けて補間フレームを生成することができる。それにより、意図的な画像の歪みがある動画像のフレームレートを、動画像を破綻させることなく高めることができる。
また、本実施例によれば、入力画像信号のフレーム内の一部の領域の画像の位置を変更して補間フレーム内の一部の領域の画像を決定する際に、入力画像信号の画像の歪み方に従って、位置を変更する画像のサイズが変更される。それにより、補間フレームの画像の乱れをより抑制することができる。なお、このようなサイズの変更は行わなくてもよい。そのような構成であっても、歪まされた動きベクトルを用いることにより、従来よりも補間フレームの画像の乱れを抑制することができる。
また、本実施例によれば、縮小処理が施された歪み補正処理後の画像信号から動きベクトルが検出されるため、動きベクトル検出用フレームのデータ量を低減することができ、且つ、動きベクトル検出処理の処理負荷を低減することができる。また、対応可能な歪曲度合いの範囲を広げることができる。なお、データ記憶容量が十分に大きく、データの処理能力が十分に高い場合には、縮小処理は行われなくてもよい。
また、本実施例によれば、縮小処理の縮小率が所定の閾値未満である場合に、入力画像信号のフレームが、入力画像信号のフレーム間を補間する補間フレームとされる。それにより、動きベクトルの誤検出によって生じる画像の破綻を抑制することができる。なお、入力画像信号が歪んだ画像の信号である場合には、縮小処理の縮小率によらず“魚眼動きベクトル補間”が設定されてもよい。

なお、本実施例ではブロック単位で動きベクトルを検出する構成としたが、動きベクトルは画素単位で検出されてもよい。
なお、本実施例では、撮影領域の画像信号から動きベクトルを検出する構成としたが、この構成に限らない。例えば、入力画像信号の全画像領域に対して歪み補正処理が施され、上記全画像領域に対応する歪み補正処理後の画像信号から動きベクトルが検出されてもよい。
なお、本実施例では、撮影領域に対しては、歪ませられた動きベクトルを用いて補間フレームの画素値を決定し、非撮影領域に対しては、補間フレームの画素値として同じ位置
の入力画像信号の画素値を適用する構成としたが、この構成に限らない。全画像領域に対して、歪ませられた動きベクトルを用いて補間フレームの画素値が決定されてよい。

＜実施例２＞
本発明の実施例２に係る画像処理装置及び画像処理方法について図を参照して説明する。実施例１では、入力画像信号のフレーム内の座標を起点として補間フレームを生成したが、実施例２では、生成対象の補間フレーム内の座標を起点として補間フレームを生成する。
図１３は、本実施例に係る画像処理装置の機能構成の一例を示すブロック図である。本実施例に係る画像処理装置は、ケラレ検出部１０１、縮小率算出部１０２、補間方式決定部１０３、縮小＆歪曲補正部１０４、フレームメモリ制御部１０５、動きベクトル検出部１０６、歪曲補間ベクトル算出部２０１、補間フレーム生成部２０２、などを有する。実施例１と同じ機能部については、同じ符号を付し、説明を省略する。

歪曲補間ベクトル算出部２０１について説明する。
歪曲補間ベクトル算出部２０１は、実施例１の歪曲補間ベクトル＆拡縮率算出部１０７の歪曲補間ベクトル算出処理と同様の処理を行う。歪曲補間ベクトル算出部２０１は、実施例１の歪曲補間ベクトル＆拡縮率算出部１０７の拡縮率算出処理は行わない。

補間フレーム生成部２０２について説明する。
補間フレーム生成部２０２は、フレームＦ（ｎ），Ｆ（ｎ＋１）、補間方式ｍ、境界情報ｋｚ、補間ベクトル｛Ｅ（ｎ）｝、歪曲補間ベクトル｛Ｚ（ｎ）｝、歪曲収差情報から補間フレームＡＦ（ｎ）を生成する。
補間方式ｍが“魚眼動きベクトル補間”の場合について説明する。
実施例１では、歪曲補間ベクトルから、フレームＦ（ｎ）内の画素位置に対応する補間フレームＡＦ（ｎ）内の画素位置を判断し、フレームＦ（ｎ）内の一部の領域（ブロック）の画像の位置を変更して、補間フレームを生成した。実施例２では、歪曲補間ベクトルから、生成対象の補間フレームＡＦ（ｎ）内の画素位置に対応するフレームＦ（ｎ）内の画素位置を判断し、判断結果に従ってフレームＦ（ｎ）内の画素値を用いて補間フレームを生成する。
図１４を用いて具体的に説明する。
歪曲補間ベクトルＺ（ｎ，ｂｌｋ１）から、Ｆ（ｎ）上の歪曲座標ＡとＡＦ（ｎ）上の歪曲座標Ｂの対応が取れている。ＡＦ（ｎ）上のブロックｂｌｋ２内の画像を決定するために、補間フレーム生成部２０２は、ブロックｂｌｋ２内の画素位置毎に、その画素位置の画素値を求める。ブロックｂｌｋ２は、歪曲座標Ｂに対応する標準座標Ｂ’を中心として設定されたブロック（標準座標のブロック）を歪ませて得られる歪曲座標のブロックであってもよいし、歪曲座標Ｂを中心として設定されたブロック（例えば、水平方向１６ピクセル×垂直方向１６ピクセルのブロック）であってもよい。
ブロックｂｌｋ２の左上端の歪曲座標ｐ０の画素値を求める場合、まず、歪曲座標ｐ０が歪曲収差情報（ｘ’，ｙ’）＝ｇ（ｘ，ｙ）に従って通常座標ｐ０’に変換される。
次に、歪曲補間ベクトルＺ（ｎ，ｂｌｋ１）に対応する補間ベクトルＥ（ｎ，ｂｌｋ１’）用いて、通常座標ｐ０’を始点としてベクトル−Ｅ（ｎ，ｂｌｋ１’）によって示される通常座標ｑ０’が求められる。ベクトル−Ｅ（ｎ，ｂｌｋ１’）は、補間ベクトルＥ（ｎ，ｂｌｋ１’）と同じ大きさで向きが逆のベクトルである。
そして、歪曲収差情報（ｘ，ｙ）＝ｆ（ｘ’，ｙ’）に従って、通常座標ｑ０’が歪曲座標ｑ０に変換される。歪曲座標ｑ０から歪曲座標ｐ０へのベクトルは、歪曲座標ｑ０（歪曲座標ｐ０）に対する歪曲補間ベクトルである。
歪曲座標ｑ０から歪曲座標ｐ０へのベクトルは、歪曲座標ｑ０（歪曲座標ｐ０）に対応する歪曲補間ベクトルである。そこで、本実施例では、フレームＦ（ｎ）上の歪曲座標ｑ０の画素値が、補間フレームＡＦ（ｎ）上の歪曲座標ｐ０に補間する画素値とされる。こ
の処理が全ての画素位置（全てのブロック内の全ての画素位置）に対して行われ、補間フレームＡＦ（ｎ）が生成される。
補間方式ｍが“通常動きベクトル補間”の場合、及び、補間方式ｍが“２度出し補間”の場合には、実施例１と同様の処理が行われる。“通常動きベクトル補間”の場合には、“魚眼動きベクトル補間”と同様に、生成対象の補間フレーム内の位置に対応する入力画像信号のフレーム内の位置を判断して補間フレームが生成されてもよい。

以上述べたように、本実施例によれば、歪ませられた動きベクトルを用いて補間フレームが生成されるため、実施例１と同様に、画像の歪みがある動画像のフレームレートを、動画像を破綻させることなく高めることができる。
具体的には、本実施例によれば、歪曲収差情報を用いて、補間フレームの画素位置に対応する入力画像信号のフレームの画素位置が求められる。これは、画素位置毎に歪曲補間ベクトルを求めること（歪ませられた動きベクトルとして、画素位置毎の動きベクトルを求めること）と等価である。そして、画素位置毎に歪曲補間ベクトルに従って補間フレームが生成される。それにより、複数画素位置毎の歪曲補間ベクトルを用いた場合よりも補間フレームの画像の破綻を抑制することができる。
なお、補間フレームの画素位置に対応する入力画像信号のフレームの画素位置を求める処理、即ち、画素位置毎に歪曲補間ベクトルを求める処理は、補間フレーム生成部ではなく、歪曲補間ベクトル算出部２０１で行われてもよい。

＜実施例３＞
本発明の実施例１に係る画像処理装置及び画像処理方法について図を参照して説明する。実施例１，２では、動きベクトルを歪ませて入力画像信号のフレーム間を補間する補間フレームを生成した。実施例３では、画像の歪みが補正された画僧信号間を補間する補間フレーム（通常補間フレーム）を生成し、通常補間フレームを歪ませて入力画像信号のフレーム間を補間する補間フレーム（歪み補間フレーム）を生成する。
図１５は、本実施例に係る画像処理装置の機能構成の一例を示すブロック図である。本実施例に係る画像処理装置は、ケラレ検出部１０１、縮小率算出部１０２、補間方式決定部１０３、縮小＆歪曲補正部１０４、フレームメモリ制御部１０５、動きベクトル検出部１０６、補間フレーム生成部３０１、拡大＆歪曲化部３０２、などを有する。実施例１，２と同じ機能部ついては、同じ符号を付し、説明を省略する。

補間フレーム生成部３０１について説明する。
補間フレーム生成部３０１は、歪み補正処理後の画像信号と、動きベクトル検出部１０６で検出された動きベクトルとから、歪み補正処理後の画像信号のフレーム間を補間する補間フレーム（通常補間フレーム）を生成する。
具体的には、補間フレーム生成部３０１は、フレームＦ（ｎ）、Ｆ（ｎ＋１）、ＳＦ（ｎ）、ＳＦ（ｎ＋１）、補間方式ｍ、縮小率ｋ、補間ベクトル｛Ｅ（ｎ）｝、から補間フレームＡＦ（ｎ）またはＡＳＦ（ｎ）を生成する。
補間方式ｍが“魚眼動きベクトル補間”の場合は、補間フレーム生成部３０１は、動きベクトル検出用フレームＳＦ（ｎ），ＳＦ（ｎ＋１）、補間ベクトル｛Ｅ（ｎ）｝を用いて補間フレームＡＳＦ（ｎ）を生成する。補間フレームの生成方法は、実施例１，２の“通常動きベクトル補間”の場合と同様である。例えば、補間ベクトル｛Ｅ（ｎ）｝に対応する各ブロックのＳＦ（ｎ）上の画像が、補間フレームＡＳＦ（ｎ）の画像として補間ベクトル｛Ｅ（ｎ）｝で示される位置に貼り付けられる。
なお、ＳＦ（ｎ）、ＳＦ（ｎ＋１）が通常座標の縮小された画像である場合には、補間フレームＡＳＦ（ｎ）も通常座標の縮小された画像となる。そのような場合には、補間ベクトル｛Ｅ（ｎ）｝は縮小されたベクトルではないため、補間ベクトル｛Ｅ（ｎ）｝は、ｋ^０．５倍されて使用される。
なお、補間フレーム生成部３０１は、撮影領域に対して、動きベクトル検出部１０６で
検出された動きベクトルを用いて補間フレームの画素値を決定することが好ましい。そして、補間フレーム生成部３０１は、非撮影領域に対して、補間フレームの画素値として同じ位置の歪み補正処理後の画像信号の画素値を適用することが好ましい。それにより、非撮影領域や非撮影領域と撮影領域の境界が誤補間によって乱れることを抑制することができる。
なお、動きベクトル検出用フレームＳＦの画像は、撮影領域の画像であってもよいし、撮影領域と非撮影領域を含む画像であってもよい。例えば、動きベクトル検出用フレームＳＦは、入力画像信号のフレームの全領域に対して歪み補正処理を施して得られる画像であってもよい。動きベクトル検出用フレームＳＦの画像が撮影領域の画像（非撮影領域が除外された画像）である場合には、動きベクトル検出用フレームＳＦの画像に非撮影領域の画像を付加して補間フレームＡＳＦ（ｎ）が生成される。
補間方式ｍが“通常動きベクトル補間”の場合は、補間フレーム生成部３０１は、フレームＦ（ｎ），Ｆ（ｎ＋１）、補間ベクトル｛Ｅ（ｎ）｝を用いて補間フレームＡＦ（ｎ）を生成する。補間フレームの生成方法は、実施例１，２と同様である。
補間方式ｍが“２度出し補間”の場合は、実施例１，２と同様に、補間フレーム生成部３０１は、補間フレームを生成しない。

拡大＆歪曲化部３０２について説明する。
補間フレームＡＳＦ（ｎ）は、歪みの無い補間フレーム（通常補間フレーム）である。拡大＆歪曲化部３０２は、入力画像信号の画像の歪み方に従って、補間フレームＡＳＦ（ｎ）を歪ませることにより、入力画像信号のフレーム間を補間する補間フレームＡＦ（ｎ）（歪み補間フレーム）を生成する。
具体的には、拡大＆歪曲化部３０２は、補間フレームＡＳＦ（ｎ）、補間方式ｍ、縮小率ｋ、歪曲収差情報から、補間フレームＡＦ（ｎ）を生成する。
補間方式ｍが“魚眼ベクトル補間”の場合には、拡大＆歪曲化部３０２は、補間フレームＡＳＦ（ｎ）に対して拡大処理と歪曲化処理を施す。拡大処理は、補間フレームＡＳＦ（ｎ）の水平方向サイズと水力方向サイズを、それぞれ、１／ｋ^０．５倍に拡大する処理である。拡大処理は、例えば、バイリニア法を用いて行われる。歪曲化処理は、拡大処理後の画像信号の画像を歪ませる処理である。歪曲化処理は、歪曲収差情報の（ｘ，ｙ）＝ｆ（ｘ’，ｙ’）に従って行われる。を利用してみのある画像に変換する。補間フレームＡＳＦ（ｎ）に対して拡大処理と歪曲化処理を施すことにより、補間フレームＡＦ（ｎ）が生成される。
補間方式ｍが“通常ベクトル補間”の場合には、フレームメモリ制御部にはすでに補間フレーム生成部３０１で生成された補間フレームＡＦ（ｎ）が記憶されているため、拡大＆歪曲化部３０２は、補間フレームＡＦ（ｎ）を生成しない。
補間方式ｍが“２度出し補間”の場合には、拡大＆歪曲化部３０２は、補間フレームＡＦ（ｎ）を生成しない。

以上述べたように、本実施例によれば、歪み補正処理後の画像信号から動きベクトルが検出され、歪み補正処理後の画像信号と、検出された動きベクトルとから、歪み補正処理後の画像信号のフレーム間を補間する補間フレーム（通常補間フレーム）が生成される。そして、入力画像信号の画像の歪み方に従って、上記通常補間フレームを歪ませることにより、入力画像信号のフレーム間を補間する補間フレーム（歪み補間フレーム）が生成される。それにより、意図的な画像の歪みがある動画像のフレームレートを、動画像を破綻させることなく高めることができる。
なお、補間フレーム生成部３０１は、補間フレームＡＳＦとして、縮小されていない画像が生成されてもよい。例えば、動きベクトル検出用フレームＳＦが縮小された画像である場合には、補間フレーム生成部３０１は、動きベクトル検出用フレームＳＦに拡大処理を施し、拡大されたＳＦから補間フレームＡＳＦが生成されてもよい。また、補間フレーム生成部３０１は、動きベクトル検出用フレームＳＦから生成した補間フレーム（縮小さ
れた画像）に対して拡大処理を施して、補間フレームＡＳＦを生成してもよい。また、動きベクトル検出用フレームＳＦの画像は、縮小処理が施されていない画像であってもよい。それらの場合には、フレーム拡大＆歪曲化部３０２による拡大処理は不要となる。

＜実施例４＞
本発明の実施例４に係る画像処理装置及び画像処理方法について図を参照して説明する。
図１６は、本実施例に係る画像処理装置の機能構成の一例を示すブロック図である。本実施例に係る画像処理装置は、縮小部４０１、補間方式決定部４０２、フレームメモリ制御部１０５、動きベクトル検出部４０３、補間フレーム生成部４０４、などを有する。実施例１〜３と同じ機能部については、同じ符号を付し、説明を省略する。

縮小部４０１について説明する。
縮小部４０１は、入力画像信号のフレームＦ（ｎ）を縮小し、動きベクトル検出用フレームＳＦ（ｎ）を生成する。本実施例では、フレームＦ（ｎ）の水平方向サイズと垂直方向サイズがそれぞれ１／２倍に縮小されるものとする。なお、縮小率は１／２より大きくても小さくてもよい。縮小率は、フレームＦ（ｎ）の画像サイズに応じて変更されてもよい。縮小処理は、例えば、バイリニア法を用いて行われる。

動きベクトル検出部４０３について説明する。
動きベクトル検出部４０３は、動きベクトル検出用フレームＳＦ（ｎ），ＳＦ（ｎ＋１）から動きベクトル｛Ｖ（ｎ）｝を求める。動きベクトルの検出方法は、他の実施例と同様である。また、本実施例では、動きベクトル検出用フレームＳＦ（ｎ）、ＳＦ（ｎ＋１）は、フレームＦ（ｎ）の水平方向サイズと垂直方向サイズをそれぞれ１／２倍に縮小したものである。そのため、本実施例では、動きベクトル｛Ｖ（ｎ）｝がそのまま補間ベクトル｛Ｅ（ｎ）｝とされる。

補間フレーム生成部４０４について説明する。
補間フレーム生成部４０４は、補間方式ｍが“通常動きベクトル補間”である場合に、動きベクトル検出部４０３で検出された動きベクトルを用いて、入力画像信号のフレーム間を補間する補間フレームを生成する（第１生成処理）。具体的には、補間方式ｍが“通常動きベクトル補間”である場合に、フレームＦ（ｎ），Ｆ（ｎ＋１）、補間ベクトル｛Ｅ（ｎ）｝から補間フレームＡＦ（ｎ）が生成される。補間フレームＡＦ（ｎ）の生成方法は、他の実施例と同じである。
補間方式ｍが“２度出し補間”である場合には、補間フレーム生成部４０４は、補間フレームＡＦを生成しない。補間方式ｍが“２度出し補間”である場合には、実施例１で述べたように、入力画像信号のフレームが、入力画像信号のフレーム間を補間する補間フレームとされる（第２生成処理）。

補間方式決定部４０２について説明する。
補間方式決定部４０２は、レンズ情報または歪曲収差情報に応じて補間方式ｍを決定する。それにより、第１生成処理で補間フレームを生成するか、第２生成処理で補間フレームを生成するかが制御される。

レンズ情報に応じて補間方式ｍを決定する場合について説明する。
補間方式決定部４０２は、レンズ情報から、入力画像信号が歪んだ画像の信号か否かを判断する。入力画像信号が歪んだ画像の信号である場合には、補間方式決定部４０２は、補間方式ｍとして“２度出し補間”を設定する。入力画像信号が歪んだ画像の信号でない場合には、補間方式決定部４０２は、補間方式ｍとして“通常動きベクトル補間”を設定する。例えば、レンズ情報が、標準レンズ、望遠レンズ、マクロレンズを示す場合には、
補間方式決定部４０２は、入力画像信号が歪んだ画像の信号でないと判断する。レンズ情報が、魚眼レンズ、広角レンズを示す場合には、補間方式決定部４０２は、入力画像信号が歪んだ画像の信号であると判断する。
即ち、入力画像信号が歪んだ画像の信号でない場合に第１生成処理で補間フレームが生成され、入力画像信号が歪んだ画像の信号である場合に第２生成処理で補間フレームが生成されるように、補間フレームの生成が制御される。

歪曲収差情報に応じて補間方式ｍを決定する場合について説明する。
補間方式決定部４０２は、歪曲収差情報から、入力画像信号で表される画像の歪みの度合いを判断する。画像の歪みの度合いが所定の閾値より大きい場合には、補間方式決定部４０２は、補間方式ｍとして“２度出し補間”を設定する。画像の歪みの度合いが所定の閾値未満の場合には、補間方式決定部４０２は、補間方式ｍとして“通常動きベクトル補間”を設定する。画像の歪みの度合いは、例えば、入力画像信号の画素毎の通常座標と歪曲座標の差の最大値、最小値、平均値などである。
即ち、画像の歪みの度合いが所定の閾値以下である場合に第１生成処理で補間フレームが生成され、画像の歪みの度合いが所定の閾値より大きい場合に第２生成処理で補間フレームが生成されるように、補間フレームの生成処理が制御される。

以上述べたように、本実施例よれば、画像の歪みの度合いが小さい（画像の歪みがない）場合に、第１生成処理で補間フレームが生成される。また、画像の歪みの度合いが大きい（画像の歪みがある）場合には、第２生成処理で補間フレームが生成される。それにより、意図的な画像の歪みがある動画像のフレームレートを、動画像を大きく破綻させることなく高めることができる。
具体的には、画像の歪みがない場合には、動きベクトルで示される補間位置は正確な位置となるため、補間フレームの画像が乱れない。そのような場合に、動きベクトルに従って補間フレームを生成することで、動画像の動きの滑らかさを高め、且つ、フリッカを低減することができる。また、画像の歪みがある場合には、動きベクトルで示される補間位置は正確な位置とならないため、補間フレームの画像が乱れる虞がある。そのような場合に、入力画像信号のフレームを補間フレームとすることにより、補間フレームの画像が破綻することを抑制することができ、動画像が破綻することを抑制することができる。
また、画像の歪みの度合いが小さい場合には、動きベクトルで示される補間位置が正確な位置からずれていたとしても、そのずれは小さいため、補間フレームの画像の乱れは小さい。そのような場合に、動きベクトルに従って補間フレームを生成することで、動画像の動きの滑らかさの向上、及び、フリッカの低減の効果を優先して得ることができる。また、画像の歪みの度合いが大きい場合には、補間フレームの画像が大きく乱れる虞がある。そのような場合に、入力画像信号のフレームを補間フレームとすることにより、補間フレームの画像が破綻することを抑制することができ、動画像が破綻することを抑制することができる。

なお、実施例１〜４で述べたフレームは、インターレース画像信号におけるフィールドであってもよい。即ち、フレームレート変換は、フレーム単位で行われてもよいし、フィールド単位で行われてもよい。
また、ブロックサイズ、ブロックマッチングにおける探索領域のサイズ、動きベクトル検出用フレームのデータサイズ等は、実施例で例示した値に限定されるものではなく、適宜設定、変更されるものである。
また、縮小処理や拡大処理は、バイリニア法を用いた方法に限らない。縮小処理や拡大処理は、バイリニア法以外の方法、例えば、バイキュービック法を用いて行われてもよい。
また、歪みのある画像の信号は、魚眼レンズを用いて撮影された画像信号に限らない。意図的な歪みのある画像の信号であれば、魚眼レンズ以外のレンズを用いて撮影された画
像信号であってもよい。例えば、歪みのある画像の信号は、広角レンズを用いて撮影された画像信号であってもよい。

１０４ 縮小＆歪曲補正部
１０６ 動きベクトル検出部
１０７ 歪曲補間ベクトル＆拡縮率算出部
１０８ 補間フレーム生成部
２０１ 歪曲補間ベクトル算出部
２０２ 補間フレーム生成部
３０１ 補間フレーム生成部
３０２ 歪曲化部
４０２ 補間方式決定部
４０３ ベクトル検出部
４０４ 補間フレーム生成部

Claims (19)

1. 入力画像信号のフレーム間を補間して、前記入力画像信号のフレームレートを高める画像処理装置であって、
   前記入力画像信号が歪んだ画像の信号である場合に、前記入力画像信号に画像の歪みを補正する歪み補正処理を施す歪み補正手段と、
   前記歪み補正処理後の画像信号から動きベクトルを検出する検出手段と、
   前記入力画像信号の画像の歪み度合いに応じて、前記検出手段で検出された動きベクトルを歪ませる歪み処理手段と、
   前記入力画像信号と、前記歪み処理手段で歪ませられた動きベクトルとから、前記入力画像信号のフレーム間を補間する補間フレームを生成する生成手段と、
   を有することを特徴とする画像処理装置。
2. 前記入力画像信号が、撮影された画像の領域である撮影領域と、それ以外の領域である非撮影領域とを含む画像の信号である場合に、
   前記生成手段は、前記撮影領域に対しては、前記歪み処理手段で歪ませられた動きベクトルを用いて補間フレームの画素値を決定し、前記非撮影領域に対しては、補間フレームの画素値として同じ位置の前記入力画像信号の画素値を適用する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記生成手段は、前記入力画像信号のフレーム内の一部の領域の画像の位置を、前記歪み処理手段で歪ませられた動きベクトルに従って変更することにより、補間フレーム内の一部の領域の画像を決定するものであり、画像の位置を変更する際に、前記入力画像信号の画像の歪み度合いに応じて、位置を変更する画像のサイズを変更する
   ことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記歪み処理手段は、歪ませられた動きベクトルとして、画素位置毎の動きベクトルを求める
   ことを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
5. 入力画像信号のフレーム間を補間して、前記入力画像信号のフレームレートを高める画像処理装置であって、
   前記入力画像信号が歪んだ画像の信号である場合に、前記入力画像信号に画像の歪みを補正する歪み補正処理を施す歪み補正手段と、
   前記歪み補正処理後の画像信号から動きベクトルを検出する検出手段と、
   前記歪み補正処理後の画像信号と、前記検出手段で検出された動きベクトルとから、前記歪み補正処理後の画像信号のフレーム間を補間する補間フレームを生成する生成手段と、
   前記入力画像信号の画像の歪み度合いに応じて、前記生成手段で生成された補間フレームを歪ませることにより、前記入力画像信号のフレーム間を補間する補間フレームを生成する歪み処理手段と、
   を有することを特徴とする画像処理装置。
6. 前記入力画像信号が、撮影された画像の領域である撮影領域と、それ以外の領域である非撮影領域とを含む画像の信号である場合に、
   前記生成手段は、前記撮影領域に対しては、前記検出手段で検出された動きベクトルを用いて補間フレームの画素値を決定し、前記非撮影領域に対しては、補間フレームの画素値として同じ位置の前記歪み補正処理後の画像信号の画素値を適用する
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記検出手段は、縮小処理が施された歪み補正処理後の画像信号から動きベクトルを検出する
   ことを特徴とする請求項１〜６のいずれか１項に記載の画像処理装置。
8. 前記縮小処理の縮小率が所定の閾値未満である場合には、前記入力画像信号のフレームが、前記入力画像信号のフレーム間を補間する補間フレームとされる
   ことを特徴とする請求項７に記載の画像処理装置。
9. 前記入力画像信号が、撮影された画像の領域である撮影領域と、それ以外の領域である非撮影領域とを含む画像の信号である場合に、
   前記検出手段は、前記撮影領域の画像信号から動きベクトルを検出する
   ことを特徴とする請求項１〜８のいずれか１項に記載の画像処理装置。
10. 入力画像信号のフレーム間を補間して、前記入力画像信号のフレームレートを高める画像処理方法であって、
    コンピュータが、前記入力画像信号が歪んだ画像の信号である場合に、前記入力画像信号に画像の歪みを補正する歪み補正処理を施す歪み補正ステップと、
    コンピュータが、前記歪み補正処理後の画像信号から動きベクトルを検出する検出ステップと、
    コンピュータが、前記入力画像信号の画像の歪み度合いに応じて、前記検出ステップで検出された動きベクトルを歪ませる歪み処理ステップと、
    コンピュータが、前記入力画像信号と、前記歪み処理ステップで歪ませられた動きベクトルとから、前記入力画像信号のフレーム間を補間する補間フレームを生成する生成ステップと、
    を有することを特徴とする画像処理方法。
11. 前記入力画像信号が、撮影された画像の領域である撮影領域と、それ以外の領域である非撮影領域とを含む画像の信号である場合に、
    前記生成ステップでは、前記撮影領域に対しては、前記歪み処理ステップで歪ませられた動きベクトルを用いて補間フレームの画素値が決定され、前記非撮影領域に対しては、
    補間フレームの画素値として同じ位置の前記入力画像信号の画素値が適用される
    ことを特徴とする請求項１０に記載の画像処理方法。
12. 前記生成ステップでは、前記入力画像信号のフレーム内の一部の領域の画像の位置を、前記歪み処理ステップで歪ませられた動きベクトルに従って変更することにより、補間フレーム内の一部の領域の画像が決定され、画像の位置を変更する際に、前記入力画像信号の画像の歪み度合いに応じて、位置を変更する画像のサイズが変更される
    ことを特徴とする請求項１０または１１に記載の画像処理方法。
13. 前記歪み処理ステップでは、歪ませられた動きベクトルとして、画素位置毎の動きベクトルが求められる
    ことを特徴とする請求項１０〜１２のいずれか１項に記載の画像処理方法。
14. 入力画像信号のフレーム間を補間して、前記入力画像信号のフレームレートを高める画像処理方法であって、
    コンピュータが、前記入力画像信号が歪んだ画像の信号である場合に、前記入力画像信号に画像の歪みを補正する歪み補正処理を施す歪み補正ステップと、
    コンピュータが、前記歪み補正処理後の画像信号から動きベクトルを検出する検出ステップと、
    コンピュータが、前記歪み補正処理後の画像信号と、前記検出ステップで検出された動きベクトルとから、前記歪み補正処理後の画像信号のフレーム間を補間する補間フレームを生成する生成ステップと、
    コンピュータが、前記入力画像信号の画像の歪み度合いに応じて、前記生成ステップで生成された補間フレームを歪ませることにより、前記入力画像信号のフレーム間を補間する補間フレームを生成する歪み処理ステップと、
    を有することを特徴とする画像処理方法。
15. 前記入力画像信号が、撮影された画像の領域である撮影領域と、それ以外の領域である非撮影領域とを含む画像の信号である場合に、
    前記生成ステップでは、前記撮影領域に対しては、前記検出ステップで検出された動きベクトルを用いて補間フレームの画素値が決定され、前記非撮影領域に対しては、補間フレームの画素値として同じ位置の前記歪み補正処理後の画像信号の画素値が適用される
    ことを特徴とする請求項１４に記載の画像処理方法。
16. 前記検出ステップでは、縮小処理が施された歪み補正処理後の画像信号から動きベクトルが検出される
    ことを特徴とする請求項１０〜１５のいずれか１項に記載の画像処理方法。
17. 前記縮小処理の縮小率が所定の閾値未満である場合には、前記入力画像信号のフレームが、前記入力画像信号のフレーム間を補間する補間フレームとされる
    ことを特徴とする請求項１６に記載の画像処理方法。
18. 前記入力画像信号が、撮影された画像の領域である撮影領域と、それ以外の領域である非撮影領域とを含む画像の信号である場合に、
    前記検出ステップでは、前記撮影領域の画像信号から動きベクトルが検出される
    ことを特徴とする請求項１０〜１７のいずれか１項に記載の画像処理方法。
19. 請求項１０〜１８のいずれか１項に記載の画像処理方法の各ステップをコンピュータに実行させることを特徴とするプログラム。
    

Images