JP5216984B2 - 動き情報取得装置及び画像処理装置 - Google Patents

Description

本発明は、高フレームレートの動画像から動き情報を取得する動き情報取得装置及びその動き情報を用いて各種画像処理を行う画像処理装置に関する。

フレーム間の動き情報を利用した動画像のアプリケーションは数多く存在する。例えば、（ａ）ＦＲＣ（Ｆｒａｍｅ Ｒａｔｅ Ｃｏｎｖｅｒｓｉｏｎ）の補間フレームを生成するための動き情報の利用、（ｂ）手振れ補正のための動き情報の利用、（ｃ）動画像符号化におけるインター予測用動きベクトルとしての動き情報の利用、（ｄ）複数フレームから高解像度画像を得るための位置合わせのための動き情報の利用、などがある。

図１４は、従来の画像処理装置の構成例を示すブロック図である。図１４（Ａ）はＦＲＣの補間フレームを生成するために動き情報を利用する場合あるいは動画像符号化におけるインター予測用動きベクトルとして動き情報を利用する場合の装置構成を示し、図１４（Ｂ）は手振れ補正のために動き情報を利用する場合あるいは動画像符号化におけるインター予測用動きベクトルとして動き情報を利用する場合の装置構成を示し、図１４（Ｃ）は手振れ補正のために動き情報を利用する場合の装置構成を示し、図１４（Ｄ）は複数フレームから高解像度画像を得るための位置合わせに動き情報を利用する場合の装置構成を示す。

図１４において、１０１は撮像部、１０２は動画像エンコーダ、１０３は動画像デコーダ、１０４はＦＲＣ部、１０５は手振れ補正部、１０６は高解像度化処理部、１０７は静止画/動画像エンコーダ、１０８は静止画/動画像デコーダを示す。また、動き検出部及び位置合わせ部では動きベクトルが検出されるが、図１４（Ａ）の場合、動き検出部を動画像エンコーダ１０２とＦＲＣ部１０４の内部に設け、図１４（Ｂ）の場合、動き検出部を動画像エンコーダ１０２と手振れ補正部１０５の内部に設け、図１４（Ｃ）の場合、動き検出部を手振れ補正部１０５の内部に設け、図１４（Ｄ）の場合、位置合わせ部を高解像度化処理部１０６の内部に設けている。

上記の図１４に示すように、アプリケーションに合わせて動画像エンコーダの内部、あるいは、動画像エンコーダあるいは静止画エンコーダの前処理、あるいは、動画像デコーダの後処理のように、装置内の様々な部分で別々に動きベクトルを求めていた。

ところで、近年のイメージセンサの高フレームレート化により、高速撮像時の強いフレーム間拘束を利用すれば、小さな処理量で正確な動きベクトルを求めることができる。しかしながら、高フレームレートの動画像をセンサから出力すると、動画像のデータ量が膨大になるため、長時間連続して出力するためには、低解像度で出力するか、あるいは必要な情報のみに限定して出力しなければならない。

そこで、イメージセンサ内部で高フレームレートの動画像を用いて動き検出を行い、通常のフレームレートで撮像される画像の揺れを補正した後、撮像部から出力する技術が提案されている。

例えば、特許文献１には、動画像をアプリケーションに用いるフレームレート（３０ｆｐｓあるいは６０ｆｐｓ）の基準フレームと、それより高フレームレートのサブフレームとの２種類に分け、処理対象フレームの複数の局所領域に対し相関の高い参照フレーム中の領域を探索し、相関が最大となる領域を局所領域の移動先とみなし、動きベクトルを求め、この動きベクトルを用いて動画像の揺れを計算し、通常のフレームレートで取得した動画像に対し揺れを補正して出力する技術が記載されている。

特開２００４−２８９７０９号公報

しかしながら、上記の特許文献１に記載の技術では、高フレームレートの動画像を利用しているにもかかわらず、動き検出のアルゴリズム自体は高フレームレートの特性を利用しない一般的なアルゴリズムであるため、処理負荷が十分小さくならないという問題がある。この特許文献１に記載の技術では、処理負荷を抑制するために、例えば、局所領域の数の上限を設ける等、１画面中の処理対象領域を制限するようにしている。また撮像部で動きベクトルを算出しているにもかかわらず、動きベクトルを撮像部内部のみで使用するため、特定の用途（この場合は揺れ補正）にしか利用できない。

本発明は、上述のごとき実情に鑑みてなされたものであり、高フレームレートの動画像を利用し、少ない処理量で正確な動きを求めることが可能な動き検出アルゴリズムを提供し、また、検出した動きベクトルを複数の用途で利用するため、撮像装置と外部の機器間の互換性を保証する動画像と動きベクトルの出力フォーマットを提供すること、を目的とする。

上記課題を解決するために、本発明の第１の技術手段は、基準フレームからなる第１のフレームレートの画像及び前記基準フレームを含む前記第１のフレームレートより高い第２のフレームレートの画像を撮像する撮像手段と、前記第２のフレームレートの画像を用いて、前記第１のフレームレートの各画像を構成する各ブロックの動き情報を順次検出する動き情報検出手段と、前記第１のフレームレートの画像とこれに対応する各ブロックの動き情報とを同期させる同期手段と、該同期手段で同期させた第１のフレームレートの画像と動き情報とを出力する出力手段とを備え、前記同期手段は、前記第１のフレームレートの画像と、前記第２のフレームレートの画像を構成する基準フレームと各サブフレーム間の動き情報とを同期させ、前記出力手段は、前記同期手段で同期させた第１のフレームレートの画像と前記動き情報とを所定のフォーマットで出力することを特徴としたものである。

第２の技術手段は、第１の技術手段において、前記動き情報検出手段は、前記第２のフレームレートの隣接画像間の各画素が、静止領域、動領域のいずれに属するかを判定する判定手段と、前記動き情報を求めるために、２枚の画像の対応する画素値を用いて、対象および参照ブロック間の相関を評価する評価手段とを備え、該評価手段は、前記判定手段で求められた各画素の属する領域によって、評価値の算出時に重み付けして評価することを特徴としたものである。
第３の技術手段は、基準フレームからなる第１のフレームレートの画像及び前記基準フレームを含む前記第１のフレームレートより高い第２のフレームレートの画像を撮像する撮像手段と、前記第２のフレームレートの画像を用いて、前記第１のフレームレートの各画像を構成する各ブロックの動き情報を順次検出する動き情報検出手段と、前記第１のフレームレートの画像とこれに対応する各ブロックの動き情報とを同期させる同期手段と、該同期手段で同期させた第１のフレームレートの画像と動き情報とを出力する出力手段とを備え、前記動き情報検出手段は、前記第２のフレームレートの隣接画像間の各画素が、静止領域、動領域のいずれに属するかを判定する判定手段と、前記動き情報を求めるために、２枚の画像の対応する画素値を用いて、対象および参照ブロック間の相関を評価する評価手段とを備え、該評価手段は、前記判定手段で求められた各画素の属する領域によって、評価値の算出時に重み付けして評価することを特徴としたものである。

第４の技術手段は、第１〜第３のいずれか１の技術手段において、前記動き情報検出手段は、前記第２のフレームレートの隣接画像間において既に検出した動き情報に基づいて、対象ブロックの動き探索範囲を変更する手段を備えたことを特徴としたものである。
第５の技術手段は、第３の技術手段において、前記同期手段は、前記第１のフレームレートの画像と、これに対応する少なくとも１枚以上の第２のフレームレートの画像を構成する各ブロックの動き情報とを同期させ、前記出力手段は、前記同期手段で同期させた第１のフレームレートの画像と動き情報とを所定のフォーマットで出力することを特徴としたものである。

第６の技術手段は、第５の技術手段において、前記同期手段は、前記第１のフレームレートの画像と、前記第２のフレームレートの画像を構成する基準フレーム間の動きベクトルとを同期させることを特徴としたものである。

第７の技術手段は、第５の技術手段において、前記同期手段は、前記第１のフレームレートの画像と、前記第２のフレームレートの画像を構成する基準フレームとサブフレーム間の動きベクトルとを同期させることを特徴としたものである。

第８の技術手段は、第１または第５の技術手段において、前記所定のフォーマットには、動き情報が属するサブフレームのフレーム数、ブロックサイズ、動きベクトルの精度のうち、少なくとも１つが含まれることを特徴としたものである。
第９の技術手段は、第１または第５の技術手段において、前記所定のフォーマットに格納可能なデータ量に制限がある場合、動き情報の属するブロックサイズ、または動きベクトル精度を変更して、前記データ量以内で動き情報を格納することを特徴としたものである。
第１０の技術手段は、第１〜第９のいずれか１の技術手段において、前記動き情報検出手段は、時間的に新しい基準フレームから古い基準フレームに向けて動き情報を検出し、該動き情報は、前記新しい基準フレーム内の対象ブロックから順次算出されるものであることを特徴としたものである。
第１１の技術手段は、第１〜第１０のいずれか１の技術手段における動き情報取得装置から出力された画像と動き情報とを用いて画像処理を行う画像処理装置であって、前記第１のフレームレートの各画像と、各画像間に位置する第２のフレームレートの画像に対応する動き情報とから、該第２のフレームレートの少なくとも一部の画像を補間によって生成することを特徴としたものである。

本発明によれば、低フレームレートの動画像のみを利用する場合と比べて、処理量を大幅に削減しつつ、動き検出の精度を向上させることができる。また、撮像装置から同期を取って動画像および動きベクトルを出力するフォーマットを予め定めておくことで、後段の様々な画像処理に必要な動きベクトルとして、動きベクトルをそのまま、あるいは適宜修正して利用することができる。そのため後段の画像処理の動きベクトル検出に必要な処理を大幅に削減することができる。

基準フレーム、サブフレーム、およびフレーム間の動きベクトルの関係の一例を示す図である。 基準フレーム、サブフレーム、およびフレーム間の動きベクトルの関係の他の例を示す図である。 高いフレームレートで画素値を読み出したときの状態を説明するための図である。 動きベクトルの探索方法の一例を説明するための図である。 基準フレームの距離に応じた画素の間引き方法の一例を説明するための図である。 ブロックにおける静止領域と動領域の一例を示す図である。 本発明に係る動き情報取得方法の一例を説明するためのフロー図である。 本発明の動き情報取得装置に相当する撮像装置の構成例を示すブロック図である。 補助データのパケット構造を示す図である。 １１２５／６０方式のＨＤＴＶ信号における有効映像領域および補助データ多重可能領域を示す図である。 基準フレームの間隔ａ＝４とした場合の動きベクトルをメモリに格納する方法の一例を説明するための図である。 撮像装置から出力される動画像、動きベクトルを利用して各種画像処理を行う画像処理装置の一例を示すブロック図である。 再生フレームから中間フレームを補間する様子を説明するための図である。 従来の画像処理装置の構成例を示すブロック図である。

以下、添付図面を参照しながら、本発明の動き情報取得装置及び画像処理装置に係る好適な実施の形態について説明する。

（第１の実施形態）
１．サブフレームを用いた動き検出
図１、２は、基準フレーム、サブフレーム、およびフレーム間の動きベクトルの関係の一例を示す図である。図１、２に示すように、基準フレームＦ（ａｍ）に対し、過去のサブフレームをＦ（ａｍ−１）、Ｆ（ａｍ−２）、・・・、Ｆ（ａ（ｍ−１）＋１）とし、直前の基準フレームをＦ（ａ（ｍ−１））とする。この例では基準フレームの間隔はａフレーム、サブフレームの枚数は（ａ−１）枚とする。

図１（Ａ）は、時間的に新しい基準フレームから古いフレームへと動きベクトルを順次検出する例について示したもので、図１（Ｂ）は図１（Ａ）に示す基準フレームＦ（ａｍ）とＦ（ａ（ｍ−１））及びこの間のサブフレームを拡大した図である。また、図２は、時間的に古い基準フレームから新しいフレームへと動きベクトルを順次検出する例について示したものである。これについては後述する。

ここでサブフレームの画素値については、図示しないイメージセンサからの非破壊読み出しにより、図３（Ａ）に示すような通常フレームレートより高いフレームレートで画素値を読み出すことができる。ここで、イメージセンサの中には、撮像途中でも、その時点における画像を随時取得できる「高速非破壊ＣＭＯＳイメージセンサ」と呼ばれるものがある。これは、光を受けると電荷を蓄積する素子の一種であるが、通常のイメージセンサと異なり、画素値の読み出しを行っても蓄積された電荷が破壊されない特性を持つ。

図３において、縦軸は画素値、横軸は時間、Ｓは前フレームとの差分値を表している。このＳの部分の値を取り出したものを図３（Ｂ）に示す。例えば、通常フレームレートが３０ｆｐｓ、高フレームレートが２４０ｆｐｓの場合、図３（Ｂ）の画素値は１/２４０秒間蓄積した値である。図３（Ｂ）の画素値は、図３（Ａ）の蓄積中間画素値の差分値として以外にも、単に高フレームレート撮像時の画素値として求められる。また図３（Ｂ）の画素値を通常フレームレートに相当する時間、加算したものを図３（Ｃ）に示す。図３（Ｃ）は高フレームレートで画像を取得するものの、その画素値の蓄積時間は、通常フレームレートで撮像した画素値と同じ蓄積時間である。

以下の説明において、基準フレーム、サブフレームの画素値はフレーム間の差分値（図３（Ｂ））、あるいは高フレームレート撮像時の画素値としてもよいし、基準フレームに相当する時間だけ蓄積した値（図３（Ｃ））を使ってもよい。

次に隣接する２枚のフレーム間の動きベクトルをΔＶｋ＝（ΔＶｘｋ、ΔＶｙｋ）（ここでｋ＝１〜a）とする。例えばフレームＦ（ａｍ−ｂ）とＦ（ａｍ−（ｂ−１））（ここでｂ＝１〜a）間の動きベクトルはΔＶｂ＝（ΔＶｘｂ、ΔＶｙｂ）と表される。
また基準フレームＦ（ａｍ）と各フレーム間の動きベクトルをＶｋ＝（Ｖｘｋ、Ｖｙｋ）（ここでｋ＝１〜a）とする。例えば基準フレームＦ（ａｍ）とフレームＦ（ａｍ−ｂ）（ここでｂ＝１〜a）間の動きベクトルは

と表される。最終的に基準フレームＦ（ａｍ）とＦ（ａ（ｍ−１））間の動きベクトルであるＶａを求めるのであるが、その探索方法には以下の２種類がある。

（方法１）ブロックマッチングを基準フレームＦ（ａｍ）との間で計算する方法
この方法１では、高フレームレートの動画像では物体の移動がごく狭い範囲にかぎられることを利用して、探索範囲を限定し、ブロックマッチングはフレームＦ（ａｍ−ｂ）と基準フレームＦ（ａｍ）との間で計算する。図４（Ａ）で基準フレームの対象ブロック（ｉ，ｊ）（ここでｉ，ｊはフレーム上の水平、垂直位置であり、ブロックの左上の画素に相当する）とＦ（ａｍ−（ｂ−１））間の動きベクトルＶｂ−１＝（Ｖｘｂ−１、Ｖｙｂ−１）が求められているとする。

次に、基準フレームＦ（ａｍ）とフレームＦ（ａｍ−ｂ）間のマッチングを計算する時、探索範囲は（ｉ＋Ｖｘｂ−１、ｊ＋Ｖｙｂ−１）を中心に所定の範囲（±ＳＲｘ、±ＳＲｙ）を探索する。すなわち、方法１の場合、基準フレームの対象ブロック（ｉ，ｊ）とフレームＦ（ａｍ−（ｂ−１））間の動きベクトルＶｂ−１を参照しながら、基準フレームＦ（ａｍ）とフレームＦ（ａｍ−ｂ）間のマッチングを順次計算していく。このようにして、フレームＦ（ａｍ−ｂ）の上記範囲内で、基準フレームＦ（ａｍ）とフレームＦ（ａｍ−ｂ）のマッチングを直接計算し、最もよく似た領域が基準フレームＦ（ａｍ）の対象ブロック（ｉ，ｊ）の移動先となる。

上記したブロックマッチングの評価指標として、例えば、ＳＡＤ(Sum of Absolute Difference)、あるいはＳＳＤ(Sum of Squared Difference)等を用いることができる。

ここでｂｘ、ｂｙはブロックの水平、垂直方向のサイズ、Ｆ（ａｍ，ｉ，ｊ）はフレームＦ（ａｍ）上の（ｉ，ｊ）に位置する画素値、（ｘ，ｙ） （ただし−ＳＲｘ≦ｘ≦ＳＲｘ、−ＳＲｙ≦ｙ≦ＳＲｙ）は対象ブロック（ｉ，ｊ）の変位量（隣接フレーム間の動きベクトル）を表す。

（方法２）ブロックマッチングを隣接するフレームＦ（ａｍ−（ｂ−１））とＦ（ａｍ−ｂ）との間で計算する方法
この方法２では、ブロックマッチングを基準フレームとの間で計算するのではなく、図４（Ｂ）に示すように隣接する２枚のフレーム間で計算するところが方法１と異なる。この場合、ＳＡＤあるいはＳＳＤは次式で表される。

方法１あるいは２で求めたＳＡＤあるいはＳＳＤに対し、
ΔVb＝（ΔVxb、ΔVyb）＝（ｘ’、ｙ’） …（５）
となる。ここで（x’、ｙ’）=arg min SAD（ｘ、ｙ）あるいは(ｘ’、ｙ’)=arg min SSD（ｘ、ｙ）（ただし-SRx≦x≦SＲx、-SRｙ≦ｙ≦SＲｙ）である。さらに、
Vb＝Vb-1＋ΔVb …（６）
である。

方法１では、必ず基準フレームをブロックマッチングに使用するので、ノイズ等の影響を受けにくく、サブフレームを用いた複数回の探索の過程で検出誤りが発生しても、最終結果の基準フレーム間の動きベクトル検出に影響を及ぼしにくいというメリットがある。また、方法２では、ブロックマッチングを行う２フレーム間の相関が高いので、より正確な動きベクトルを求めやすいというメリットがある。また、方法１、２ともにサブフレームを使用することで動き検出の処理量を削減することができるという効果がある。各フレームにおける動きの探索範囲は、基準フレーム間で直接ブロックマッチングを取る場合の探索範囲（±Ｓｘ、±Ｓｙ）に対し、水平・垂直方向とも各々１／ａとなり、サブフレームを介した場合の各ブロックの探索範囲は（±ＳＲｘ、±ＳＲｙ）＝（±Ｓｘ／ａ、±Ｓｙ／ａ）である。サブフレームを用いることで、探索するフレーム数はa倍になるので、基準フレーム間の動きを検出するために必要な処理量は（１／ａ）・（１／ａ）・ａ＝１／ａとなり、サブフレームを使用することで動き検出の処理量を削減することができる。

２．可変探索範囲
上記の例では、サブフレームを用いた場合の探索範囲は、基準フレーム間で直接探索した探索範囲（Ｓｘ，Ｓｙ）の水平、垂直方向に対して各々１／ａを固定的に設定したが、直前のサブフレームとのブロックマッチングの結果を利用して探索範囲を適応的に変更しても良い。直前のサブフレームにおけるフレーム間の動きΔＶｂ−１＝（ΔＶｘｂ−１，ΔＶｙｂ−１）と予め定められた閾値ＴＨ１との関係から、次のフレームとのブロックマッチングの探索範囲（±ＳＲｘ、 ±ＳＲｙ）は、

SRx=(1/a)・Sx if |ΔVxb-1|≧TH1 …（７）
Sxl otherwise
SRy=(1/a)・Sy if |ΔVyb-1|≧TH1 …（８）
Syl otherwise

ここで、Ｓｘｌ＜（１／ａ）・Ｓｘ、Ｓｙｌ＜（１／ａ）・Ｓｙである。直前のフレームにおいて動き量が小さい場合、次フレームに対する動き量も小さいと仮定し、動き検出の探索範囲を小さく設定する。上記の例では閾値ＴＨ１は水平方向と垂直方向で同じ値を使っているが、異なる値を設定してもよい。

３．画素の間引き
基準フレームとの距離に応じて処理対象とする画素を間引くことで、さらに処理量を削減することができる。例えば、サブフレームＦ（ａｍ−１）においては図５(Ａ)に示すように、水平、垂直に対して各々ａ画素毎に処理の対象とし、サブフレームＦ（ａｍ−２）においては、図５(Ｂ)に示すように、水平、垂直に対して各々ａ／２画素毎に処理の対象とする等、基準フレームからの距離に応じて処理対象の画素数を変更する。なお、図５の例では、間引く画素数ａ＝４、ブロックの水平方向のサイズｂｘ＝８、ブロックの垂直方向のサイズｂｙ＝８としている。

これらの間引き処理を上記の可変探索範囲処理と組み合わせ、上記の式（７）、式（８）に示す可変探索範囲に対して適用することで、探索範囲を変更しない場合に較べて、さらにブロックマッチングの処理量を削減することも可能である。

４．動領域の重み付け
以上の説明では、１ブロックの内部は均一の性質を持つ領域と仮定した。以下では１ブロック内に静止領域と動領域のような異なる領域が含まれる場合について説明する。ブロックマッチングを行うフレーム間の差分値ｄ（ｉｘ，ｊｙ）と予め定められた閾値ＴＨ２との大小関係により、ブロックを図６に示すような静止領域と動領域とに分類する。

方法１（基準フレームとのブロックマッチング）の場合、d(ix,jy)は次式で計算する。
d(ix,jy)=|F(am-b, ix, jy)-F(am, ix, jy)| …（９）
方法２（隣接フレーム間のブロックマッチング）の場合、d(ix,jy)は次式で計算する。
d(ix,jy)=|F(am-b, ix, jy)-F(am-b-1, ix, jy)| …（１０）

ここで（ｉｘ，ｊｙ）は対象画素の位置を示す。ｄ（ｉｘ，ｊｙ）＜ＴＨ２であれば画素（ｉｘ，ｊｙ）は静止領域に存在すると判定し、ｄ（ｉｘ，ｊｙ）≧ＴＨ２であれば画素（ｉｘ，ｊｙ）は動領域に存在すると判定する。ブロック内の各画素を図６に示すように静止領域と動領域とに分類した後、ＳＡＤ、ＳＳＤ等の評価方法を、静止領域と動領域とで各画素毎に重みｗｅｉｇｈｔを変えて計算する。例えば方法１の場合に画素毎の重みｗｅｉｇｈｔを導入した評価方法を次式で示す。

ただしｗｅｉｇｈｔ＿ｍ＞ｗｅｉｇｈｔ＿ｓである。これにより、評価方法に対し、動領域の画素差分値が大きく影響するように調整することが可能である。またブロック内のすべての画素値に対し、ｄ（ｉｘ，ｊｙ）＜ＴＨ２の場合、対象ブロックを静止ブロックとみなし、その後のブロックマッチング、評価方法の計算を省略し、動きベクトルを０とすることで、処理量を削減することが可能である。

以上の処理を図７のフローチャートに基づいて説明する。まず、基準フレーム番号ｍ、サブフレーム番号ｂ、ブロック番号ｐを初期化する（ステップＳ１）。次に、ブロックマッチングの探索範囲を前述の方法で決定する（ステップＳ２）。次に、決定した探索範囲に対し、前述した方法１あるいは方法２を使ってブロックマッチングを行う（ステップＳ３）。すなわち、方法１の場合には基準フレームＦ（ａｍ）とフレームＦ（ａｍ−ｂ）間において、方法２の場合にはフレームＦ（ａｍ−（ｂ−１））とＦ（ａｍ−ｂ）間においてブロックマッチングを行う。

そして、上記処理を全てのブロックを対象として行い、１フレームの最後のブロックの処理が終了したか否かを判定する（ステップＳ４）。ここで、最後のブロックの処理が終了していないと判定した場合（ＮＯの場合）、ブロック番号ｐを１つインクリメントして（ステップＳ５）、ステップＳ２に戻り処理を繰り返す。また、ステップＳ４において、最後のブロックの処理が終了したと判定した場合（ＹＥＳの場合）、次のサブフレームに対して同様の処理を行う。

そして、基準フレーム間の全サブフレームを対象として上記処理を行い、直前の基準フレームの処理が終了したか否かを判定する（ステップＳ６）。ここで、直前の基準フレームの処理が終了していないと判定した場合（ＮＯの場合）、サブフレーム番号ｂを１つインクリメントして（ステップＳ７）、ステップＳ２に戻り処理を繰り返す。また、ステップＳ６において、直前の基準フレームの処理が終了したと判定した場合（ＹＥＳの場合）、直前の基準フレームＦ（ａ（ｍ−１））とＦ（ａｍ）間の動きベクトルを求める。

そして、シーケンスの最終基準フレームの処理が終了したか否かを判定する（ステップＳ８）。ここで、最終基準フレームの処理が終了していないと判定した場合（ＮＯの場合）、基準フレーム番号ｍを１つインクリメントして（ステップＳ９）、ステップＳ２に戻り処理を繰り返す。また、ステップＳ８において、最終基準フレームの処理が終了したと判定した場合（ＹＥＳの場合）、一連の処理を終了する。

なお、本例では、１フレームの全ブロックの処理を終了した後、次のサブフレームの処理に移行したが、１ブロックにつき、全てのサブフレームの処理を行い、直前の基準フレームＦ（ａ（ｍ−１））とＦ（ａｍ）間の動きベクトルを求めた後、次のブロックの処理に進む方法をとっても構わない。

以上の例では、前述の図１に基づいて、時間的に新しい（現在の）基準フレームから古い（過去の）フレームへと動きベクトルを順次検出したが、前述の図２に示すように、時間的に古い基準フレームから新しいフレームへと動きベクトルを順次検出することもできる。この場合、まず基準フレームＦ（ａ（ｍ−１））とサブフレームＦ（ａ（ｍ−１）＋１）間の動きベクトルΔＶ_１を求め、次にサブフレームＦ（ａ（ｍ−１）＋１）とサブフレームＦ（ａ（ｍ−１）＋２）間の動きベクトルΔＶ_２を求め、同様に時間的に新しい方向へと動き検出処理を進める。もしくは、先と同様に、常に基準フレームＦ（ａ（ｍ−１））との間でブロックマッチングを行う方法をとってもよい。

最終的に、基準フレームＦ（ａ（ｍ−１））から基準フレームＦ（ａｍ）への動きベクトルであるＶａが求められ、必要であれば、この動きベクトルＶａを反転させて、基準フレームＦ（ａｍ）から基準フレームＦ（ａ（ｍ−１））への動きベクトルを算出する。

この方法では入力された画像を順次処理できるので、前述の図１の方法に比べ、必要とするメモリ量を削減できるメリットがある。つまり図１の場合、Ｆ（ａ（ｍ−１））、Ｆ（ａｍ）間の動きベクトルを求めるためには、この間のサブフレームを全て蓄積し、Ｆ（ａｍ）を取得した後でなければ、動き検出処理ができなかったが、図２の場合は、Ｆ（ａ（ｍ−１）＋１）を取得した時点で動き検出処理を開始できる。

これまでに説明したように、本発明によれば、高フレームレートの動画像の高いフレーム間相関を利用し、処理量を削減しながらも正確な動きベクトルを求めることが可能となる。

以下では、これまで説明した動きベクトルと動画像とを同期させて出力するときに、撮像装置と接続する機器間でデータの互換性を保証するための、動画像と動きベクトルのフォーマットについて説明する。

図８は、本発明の動き情報取得装置に相当する撮像装置の構成例を示すブロック図である。この撮像装置は、撮像手段に相当するイメージセンサ１１、動き情報検出手段に相当する動き検出部１２、同期手段及び出力手段に相当するデータ作成部１３、及び出力画像選択部１４とから構成される。イメージセンサ１１では、高フレームレートの動画像を取得し、動き検出部１２では、フレーム間の動きベクトルを計算する。動き検出部１２の処理は、例えば、前述したように、高フレームレートの動画像を利用した動き検出処理であり、基準フレーム間あるいはサブフレーム間の動きベクトルを検出する。出力画像選択部１４は、イメージセンサ１１で取得した高フレームレートの動画像の中から基準フレームを選択する。データ作成部１３は、動き検出部１２で計算した動きベクトルと、出力画像選択部１４で選択した基準フレームとを同期させて出力する。

なお、イメージセンサ１１としては、例えば、前述の「高速非破壊ＣＭＯＳイメージセンサ」を適用することができ、これによれば、入射光を２系統に分岐させ、一方の分岐光を第１のフレームレートで撮像し、他方の分岐光を第１のフレームレートより高い第２のフレームレートで撮像することができる。

すなわち、本発明に係る撮像装置は、基準フレームからなる第１のフレームレートの画像及び基準フレームを含む第１のフレームレートより高い第２のフレームレートの画像を撮像するイメージセンサ１１と、第２のフレームレートの画像を用いて、第１のフレームレートの各画像を構成する各ブロックの動き情報として動きベクトルを順次検出する動き検出部１２と、第１のフレームレートの画像とこれに対応する各ブロックの動きベクトルとを同期させるデータ作成部１３とを備え、このデータ作成部１３は、同期させた第１のフレームレートの画像と動きベクトルとを出力する。

また、動き検出部１２は、前述したように、第２のフレームレートの隣接画像間において既に検出した動きベクトルに基づいて、対象ブロックの動き探索範囲を変更する手段を備えていてもよい。

また、動き検出部１２は、第２のフレームレートの画像の各画素が、静止領域、動領域のいずれに属するかを判定する判定手段と、動き情報を求めるために、２枚の画像の対応する画素値を用いて、対象および参照ブロック間の相関を評価する評価手段とを備え、評価手段が、判定手段で求められた各画素の属する領域によって、評価値の算出時に重み付けして評価するようにしてもよい。この領域の重み付け方法については前述した通りであるため、ここでの説明は省略する。

また、データ作成部１３は、第１のフレームレートの画像と、これに対応する少なくとも１枚以上の第２のフレームレートの画像を構成する各ブロックの動きベクトルとを同期させて、所定のフォーマットで出力することができる。例えば、前述の図１の例の場合、データ作成部１３は、第１のフレームレートの画像と、第２のフレームレートの画像を構成する基準フレームと基準あるいはサブフレーム間の動きベクトル（Ｖｉ（ｉ＝１〜ａ））とを同期させてもよく、あるいは、Ｖｉを隣接する２フレーム間の動きベクトル（ΔＶｉ（ｉ＝１〜ａ））に分けて、同期させてもよい。

上記において、撮像装置と接続する機器の間でデータの互換性を保証するため、予めフォーマットを定めておく必要がある。この一例として、１１２５／６０方式ＨＤＴＶスタジオシステム規格（ＢＴＡ Ｓ−００５Ｂ）に、動きベクトルを多重化する時のデータ構造と伝送方法が示されている。このＢＴＡ Ｓ−００５Ｂにはデジタルブランキング期間に補助データを伝送するためのデータ構造が記載されており、補助データのパケット構造を図９に示す。

図９において、ＡＤＦは補助データパケットの開始を示す補助データフラグ（３ワード）である。ＤＩＤは後述のＵＤＷの種類を示すデータ識別ワード（１ワード）である。ＤＢＮは同一のＤＩＤを持つパケットの順序を示すデータブロック番号ワード（１ワード）である。ＤＣはＵＤＷのワード数を示すデータカウントワード（１ワード）である。ＵＤＷは２５６ワード以下の補助データを書き込む領域であり、前述の動きベクトルはこの領域に書き込む。ＣＳはチェックサム値（１ワード）である。ここで１ワードは１０ビットである。

図１０は、１１２５／６０方式のＨＤＴＶ信号における有効映像領域および補助データ多重可能領域を示す図である。図１０（Ａ）は輝度成分について示したもので、図１０（Ｂ）は色差成分について示したものである。図中、縦軸にライン番号（走査線数１１２５本）、横軸（時間方向）に映像サンプル番号（サンプル数２２００）を示し、１５が有効映像領域（画像を格納する領域）、１６が補助データ多重可能領域（補助データパケットを格納する領域）である。本例では、有効映像領域１５に通常フレームレートの基準フレームの画像データを格納し、補助データ多重可能領域１６に高フレームレートのサブフレームに対応する動きベクトルを、図９に示す補助データパケット（ＵＤＷ）に格納した後、記録する。

ここで格納する動きベクトルは、基準フレーム間の動きベクトル(図１，２のＶａ)でも、基準フレームとサブフレーム間の動きベクトル（図１，２のＶｋ（ここでｋ=１〜ａ−１））でも、各サブフレーム間の差分動きベクトル（図１，２のΔＶｋ（ここでｋ=１〜ａ−１））であってもよいが、以下では差分動きベクトルを格納する場合について説明する。また全てのサブフレームの動きベクトルではなく、ｑフレーム毎のサブフレームに対し、結合動きベクトルを格納しても良い。例えば、２フレーム毎のサブフレームに対し動きベクトルを格納する場合は、図１，２のΔＶ_１＋ΔＶ_２、ΔＶ_３＋ΔＶ_４、・・・が格納する差分動きベクトルの値となる。

なお、補助データ多重可能領域１６に格納できるデータ量に制限があるため、格納可能なサブフレーム数は動きベクトルの対応するブロックサイズや、動きベクトルの精度に依存する。例えば図１０の例の場合、補助データ多重可能領域１６は、輝度成分（Ｙ）および色差成分（Ｐｂ、Ｐｒ）を含め、４５８４０４ワードである。ブロックサイズが１６ｘ１６、動きベクトルを５ビット（固定長符号）で表現する場合、１フレームに必要な動きベクトルのデータ量は８１６０ワード、補助データパケットは３２個必要となり、１フレーム分の補助データは８３８４ワードとなる。従って、５４フレーム分の動きベクトルを補助データ多重可能領域１６に格納することができる。なお、ブロックサイズや動きベクトルの精度が異なる場合、格納可能なフレーム数も変わることになる。また、動きベクトルは可変長符号で表現することも可能である。

上記の動きベクトルは、前述した方法１あるいは方法２により取得することができる。以下は、動きベクトルの計算に方法１を使った場合の一例である。前述の図１に示したように、Ｆ（ａ（ｍ−１））〜Ｆ（ａｍ）間のサブフレームの動きベクトルは、Ｆ（ａｍ）を撮像装置から取得しなければ計算することはできない。そこでデータ作成部１３には、ａ＋２フレーム分の画像データ、および動きベクトルを格納するメモリが必要である。ａ＝４とした場合の例を図１１に示す。

図１１において、時刻４ｍ＋１では、サブフレームＦ（４ｍ＋１）をメモリ５に格納する間に、基準フレームＦ（４ｍ）とサブフレームＦ（４ｍ−１）間の動きベクトルＶ_１=ΔＶ_１を計算し、メモリに格納する。時刻４ｍ＋２では、サブフレームＦ（４ｍ−１）を格納していたメモリ３にサブフレームＦ（４ｍ＋２）の画像データを格納し、その間に基準フレームＦ（４ｍ）とサブフレームＦ（４ｍ−２）間の動きベクトルＶ_２を計算し、ΔＶ_２＝Ｖ_２-Ｖ_１をメモリに格納する。同様に処理を続け、時刻４（ｍ＋１）では、基準フレームＦ（４ｍ）とＦ（４（ｍ−１））間の動きベクトルＶ４を計算し、ΔＶ_４=Ｖ_４-Ｖ_３をメモリに格納し、一方、サブフレームＦ（４ｍ−３）を格納していたメモリ１に基準フレームＦ（４（ｍ＋１））を格納する。ここで、基準フレームＦ（４ｍ）の画像を図９の有効映像領域１５に、Ｆ（４ｍ）〜Ｆ（４（ｍ−１））間の差分動きベクトルΔＶｋ（ｋ＝１〜ａ）を補助データ多重可能領域１６に格納し、外部に出力する。

以上の処理により、撮像装置から動画像と同期させた動きベクトルを出力することができる。なお、動画像と同期して格納するサブフレームの間隔（フレーム数）、動きベクトルの対応するブロックサイズ、動きベクトルの精度が可変である場合、先頭の補助データパケットのＵＤＷには動きベクトルではなく、フレーム間隔、ブロックサイズ、精度等の値を格納することで、外部の処理装置にこれらの情報を通知することができる。

（第２の実施形態）
本実施形態では、第１の実施形態で説明した所定のフォーマットで動画像と同期をとって出力される動きベクトルの利用方法について説明する。
図１２は、撮像装置から出力される動画像、動きベクトルを利用して各種画像処理を行う画像処理装置の一例を示すブロック図である。図中、２１は撮像装置（動き情報取得装置）、２２は動画像エンコーダ、２３は動画像デコーダ、２４はＦＲＣ部、２５は動きベクトルエンコーダ、２６は動きベクトルデコーダ、２７は手振れ補正部、２８は高解像度化処理部、２９は静止画/動画像エンコーダを示す。図１２（Ａ）の装置例の場合、動き検出部を動画像エンコーダ２２とＦＲＣ部２４に備え、図１２（Ｂ）の装置例の場合、動き検出部を動画像エンコーダ２２と手振れ補正部２７に備え、図１２（Ｃ）の装置例の場合、動き検出部を手振れ補正部２７と動画像エンコーダ２２に備え、図１２（Ｄ）の装置例の場合、位置合わせ部を高解像度化処理部２８に備えている。

図１２に示す構成は、前述の図１４に示した従来構成と基本的に同じであるが、独立に計算して求めていた動きベクトルを、撮像装置２１から出力される動きベクトルで代替、あるいは、撮像装置２１から出力される動きベクトルに基づいて計算する部分が異なる。撮像装置２１の構成は前述の図８で説明したものであり、撮像装置２１で求めた動きベクトルを、図１２（Ａ）、（Ｂ）では、動画像エンコーダ２２の動き検出、動きベクトルエンコーダ２５の動きベクトルに用いる場合について示し、さらに図１２（Ａ）ではＦＲＣ部２４の動き検出に、図１２（Ｂ）では手振れ補正部２７の動き検出に用いる場合について示す。図１２（Ｃ）では、前処理としての手ぶれ補正部の動き検出、および動画像エンコーダ２２の動きベクトルに用いる場合について示し、図１２（Ｄ）では、静止画のまたは動画像の高解像度化処理で必要な位置合わせの動き情報として用いる場合について示している。

この中で図１２（Ａ）の装置構成を代表例として具体的に説明する。図１２（Ａ）の例は、撮像装置２１で計算した動きベクトルを、動画像エンコーダ２２の動き検出、および画像処理装置の一例である表示装置でのフレームレート変換（ＦＲＣ：Frame Rate Conversion）に用いた場合について示したものである。撮像装置２１から出力された動画像と動きベクトルは動画像エンコーダ２２で動画像と動きベクトルに分離され、動きベクトルはまず動画像エンコーダ２２内の動き検出部でそのまま、あるいは加工されて、動画像を符号化するために使用される。この符号化データは動画像デコーダ２３で復号され、再生された動画像がＦＲＣ部２４に入力される。撮像装置２１で求めた動きベクトルを使用することで、動画像エンコーダ２２の中で動き検出に関わる処理量を大幅に削減することができる。

さらに、撮像装置２１から出力された動画像と動きベクトルは、動きベクトルエンコーダ２５において必要とされる動きベクトルのみ符号化される。例えば、動画像エンコーダ２２で符号化される動画像が６０ｆｐｓ、表示では１２０ｆｐｓの動画像が必要な場合、図１３に示すように再生フレームから中間フレームを補間しなければならない。この場合、撮像装置２１から出力されたサブフレーム用の動きベクトルの中から、中間フレーム（１２０ｆｐｓ）に相当する動きベクトルを作成し、符号化すればよい。表示側では、動きベクトルデコーダ２６でこれを復号し、ＦＲＣ部２４に入力する。

ＦＲＣ部２４では、従来基準フレーム間の動きベクトルを用いて、例えば１／２にスケーリングして、中間フレームを補間していたが、本発明では、動画像と同期して入力される動きベクトルを用いて中間フレームを補間する。すなわち、ＦＲＣ部２４は、第１のフレームレートの各画像と、各画像間に位置する第２のフレームレートの画像に対応する動きベクトルとから、第２のフレームレートの各画像を補間によって生成する。

この動きベクトルは撮像装置２１で、実際の中間フレーム（１２０ｆｐｓの基準フレームあるいはサブフレーム）を用いて検出した動きベクトルであるため、（１）表示装置に入力された中間フレームを持たない動画像を用いて推定した動きベクトルよりも正確である、（２）膨大な処理を必要とする動き検出用の回路が表示側で不要となる、というメリットがある。

なお、サブフレームのフレームレートが表示可能なフレームレートより高い場合、例えば２４０ｆｐｓの場合には、撮像装置２１から出力されたサブフレーム用の動きベクトルの中から、中間フレーム（１２０ｆｐｓ）に相当する動きベクトルのみを符号化しても良いし、全てのサブフレームの動きベクトルを符号化し、ＦＲＣ部２４で表示に必要な動きベクトルのみを使用してフレームを補間しても良い。この２４０ｆｐｓの場合には、サブフレームは３枚なので、ＦＲＣ部２４では真ん中のサブフレームの動きベクトルのみを使用してフレームを補間することになる。

現在、ＴＶの高級機ではＦＲＣは標準装備されているものの、これらはＨＤ（ハイビジョン）までの解像度であり、今後更なる高解像度化が進み４Ｋ、８Ｋ解像度の動画像を視聴する時に、同時に膨大なデータ量の画像に対して動き検出を行うことは困難である。従って、今後の高解像度化に向けて、動きベクトルを撮影側で検出する効果は大きい。２倍速の中間フレーム以外にも、４倍速、８倍速等、複数の動きベクトルを用いて、複数枚のフレームを補間し、さらに動きを滑らかに見せることも可能である。

１１…イメージセンサ、１２…動き検出部、１３…データ作成部、１４…出力画像選択部、１５…有効映像領域、１６…補助データ多重可能領域、２１…撮像装置（動き情報取得装置）、２２…動画像エンコーダ、２３…動画像デコーダ、２４…ＦＲＣ部、２５…動きベクトルエンコーダ、２６…動きベクトルデコーダ、２７…手振れ補正部、２８…高解像化処理部、２９…静止画/動画像エンコーダ。

Claims (11)

1. 基準フレームからなる第１のフレームレートの画像及び前記基準フレームを含む前記第１のフレームレートより高い第２のフレームレートの画像を撮像する撮像手段と、
   前記第２のフレームレートの画像を用いて、前記第１のフレームレートの各画像を構成する各ブロックの動き情報を順次検出する動き情報検出手段と、
   前記第１のフレームレートの画像とこれに対応する各ブロックの動き情報とを同期させる同期手段と、
   該同期手段で同期させた第１のフレームレートの画像と動き情報とを出力する出力手段とを備え、
   前記同期手段は、前記第１のフレームレートの画像と、前記第２のフレームレートの画像を構成する基準フレームと各サブフレーム間の動き情報とを同期させ、
   前記出力手段は、前記同期手段で同期させた第１のフレームレートの画像と前記動き情報とを所定のフォーマットで出力することを特徴とする動き情報取得装置。
2. 前記動き情報検出手段は、前記第２のフレームレートの隣接画像間の各画素が、静止領域、動領域のいずれに属するかを判定する判定手段と、
   前記動き情報を求めるために、２枚の画像の対応する画素値を用いて、対象および参照ブロック間の相関を評価する評価手段とを備え、
   該評価手段は、前記判定手段で求められた各画素の属する領域によって、評価値の算出時に重み付けして評価することを特徴とする請求項１に記載の動き情報取得装置。
3. 基準フレームからなる第１のフレームレートの画像及び前記基準フレームを含む前記第１のフレームレートより高い第２のフレームレートの画像を撮像する撮像手段と、
   前記第２のフレームレートの画像を用いて、前記第１のフレームレートの各画像を構成する各ブロックの動き情報を順次検出する動き情報検出手段と、
   前記第１のフレームレートの画像とこれに対応する各ブロックの動き情報とを同期させる同期手段と、
   該同期手段で同期させた第１のフレームレートの画像と動き情報とを出力する出力手段とを備え、
   前記動き情報検出手段は、前記第２のフレームレートの隣接画像間の各画素が、静止領域、動領域のいずれに属するかを判定する判定手段と、
   前記動き情報を求めるために、２枚の画像の対応する画素値を用いて、対象および参照ブロック間の相関を評価する評価手段とを備え、
   該評価手段は、前記判定手段で求められた各画素の属する領域によって、評価値の算出時に重み付けして評価することを特徴とする動き情報取得装置。
4. 前記動き情報検出手段は、前記第２のフレームレートの隣接画像間において既に検出した動き情報に基づいて、対象ブロックの動き探索範囲を変更する手段を備えたことを特徴とする請求項１〜３のいずれか１項に記載の動き情報取得装置。
5. 前記同期手段は、前記第１のフレームレートの画像と、これに対応する少なくとも１枚以上の第２のフレームレートの画像を構成する各ブロックの動き情報とを同期させ、前記出力手段は、前記同期手段で同期させた第１のフレームレートの画像と動き情報とを所定のフォーマットで出力することを特徴とする請求項３に記載の動き情報取得装置。
6. 前記同期手段は、前記第１のフレームレートの画像と、前記第２のフレームレートの画像を構成する基準フレーム間の動きベクトルとを同期させることを特徴とする請求項５に記載の動き情報取得装置。
7. 前記同期手段は、前記第１のフレームレートの画像と、前記第２のフレームレートの画像を構成する基準フレームとサブフレーム間の動きベクトルとを同期させることを特徴とする請求項５に記載の動き情報取得装置。
8. 前記所定のフォーマットには、動き情報が属するサブフレームのフレーム数、ブロックサイズ、動きベクトルの精度のうち、少なくとも１つが含まれることを特徴とする請求項１または５に記載の動き情報取得装置。
9. 前記所定のフォーマットに格納可能なデータ量に制限がある場合、動き情報の属するブロックサイズ、または動きベクトル精度を変更して、前記データ量以内で動き情報を格納することを特徴とする請求項１または５に記載の動き情報取得装置。
10. 前記動き情報検出手段は、時間的に新しい基準フレームから古い基準フレームに向けて動き情報を検出し、該動き情報は、前記新しい基準フレーム内の対象ブロックから順次算出されるものであることを特徴とする請求項１〜９のいずれか１項に記載の動き情報取得装置。
11. 請求項１〜１０のいずれか１項に記載の動き情報取得装置から出力された画像と動き情報とを用いて画像処理を行う画像処理装置であって、
    前記第１のフレームレートの各画像と、各画像間に位置する第２のフレームレートの画像に対応する動き情報とから、該第２のフレームレートの少なくとも一部の画像を補間によって生成することを特徴とする画像処理装置。

Images