JP5634245B2 - 動きベクトル検出装置及びその制御方法、プログラム - Google Patents

Description

本発明は、画像データの動きベクトルを算出する動きベクトル検出装置に関する。

近年、ＴＶ受像機やＰＣモニタを始めとして、画像表示手段を備えた様々な装置が実用化されている。これらの画像表示手段は、液晶表示装置を始めとして様々なデバイスが使用されている。

例えば、液晶表示装置は、常に発光しているバックライトを液晶シャッターで調光する方式であり、１フレーム期間にわたって光が出力される。それ故、ホールド型表示装置と言われる。ホールド型表示装置において動画の追従視（動画表示において、動く部分を視線で追いかける見方）を行った場合、光出力期間に応じた“動きぼけ”が観測される。つまり、６０Ｈｚの動画表示では、原理的に最低１６．７ｍｓの“動きぼけ”が観測される。

上記表示方式に起因する“動きぼけ”を改善する技術として、６０Ｈｚの入力画像に対して、動画の動きに合わせた補間画像を生成して挿入することで１２０Ｈｚ画像として表示を行う方法が提案されている。１２０Ｈｚ動画表示では、原理的に“動きぼけ”が６０Ｈｚ動画表示の半分となる。上記補間画像を生成する場合、表示画像がフレーム間でどの方向に動いているか（＝動きベクトル）を検出する必要がある。

一般に動きベクトル検出方法として、所謂ブロックマッチング法がある。ブロックマッチング法では、まず処理の対象となる基準フレーム画像を所定のサイズに分割して基準ブロックを生成する。参照フレーム画像内において、前記基準ブロックに対応する位置を起点として、基準ブロックと同サイズの参照ブロックを抽出する。次に、基準ブロックと参照ブロックのそれぞれ対応する全ての画素について絶対差分和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ：ＳＡＤ）を算出する。このＳＡＤ演算を、参照フレーム画像に設定する所定の探索範囲内で、参照ブロックを１画素ずつ移動させながら繰り返して行う。そして、上記ＳＡＤが最も小さい値を示した点の起点に対する座標を動きベクトルとして検出する。

ＳＡＤを用いたブロックマッチング法に基づいた動きベクトル検出方法において、表示画像に周期的パターンが存在する場合、該周期的パターンに対して基準ブロックサイズが小さいと、ＳＡＤが極小となる位置が複数検出される。そのため、正確な動きベクトルを検出できない。そこで、例えば特許文献１では、固定サイズの第一基準ブロックと該第一基準ブロックより大きな可変サイズの第二基準ブロックを備える技術が開示されている。特許文献１記載の技術では、第一基準ブロックを用いた動きベクトル検出で複数の候補が検出された場合、第二基準ブロックを用いた動きベクトル検出で検出される候補を用いることで、精度の高い動きベクトル検出を可能にしている。

また、上記ホールド型表示装置特有の“動きぼけ”以外に、カメラで撮像された動画データからなる映像信号には、その撮像時に発生する“撮像ぼけ”に起因する画質劣化が生じている。そこで、特許文献２では、フレームレート変換前または後に、上記撮像ぼけを抑制する制御を行うことで、撮像ぼけによる画質劣化を改善している。

特開２００８−１４７９５１号公報 特開２００６−８１１５０号公報

しかしながら、上記特許文献１に記載の動きベクトル検出方法は、正確に動きベクトルを検出できない場合がある。例えば、第二基準のブロックサイズに拡張しても、周期的パターンの周期や、パターンの繰返し回数によっては、ＳＡＤが極小となる位置が複数検出される場合が起こり得る。

本発明は、このような従来技術の問題点に鑑みてなされたものであり、ＳＡＤが極小となる位置が複数検出された際に、より正確な動きベクトルを求めることを目的とする。

上述の問題点を解決するため、本発明の動きベクトル検出装置は以下の構成を有する。すなわち、参照フレーム画像と該参照フレームより時間的に前または後ろの基準フレーム画像とを用いて動きベクトルを検出する動きベクトル検出装置であって、映像信号から撮像時のぼけ幅とぼけ方向を検出するぼけ検出手段と、前記基準フレーム画像における所定のサイズの基準ブロックと、前記参照フレームにおいて、前記基準ブロックと同じサイズの参照ブロックとを用いて前記基準ブロックの位置に応じて前記参照フレーム画像に設定される探索範囲内でブロックマッチング処理を行い、一致度を算出する一致度算出手段と、撮像時間を設定する設定手段と、前記ぼけ検出手段より算出されるぼけ幅と、前記設定手段より設定される撮像時間から、フレームあたりの移動量を算出する移動量算出手段と、前記一致度算出手段において基準ブロックに対して、複数の一致する座標が検出された場合に、前記ぼけ検出手段より算出されるぼけ方向と、前記移動量算出手段で算出されるフレームあたりの移動量に基づいて複数の一致する座標より候補となる座標を選択する選択手段と、前記選択手段で選択された座標より動きベクトルを算出する動きベクトル算出手段とを有することを特徴とする。

本発明により、撮像時間と、撮像ぼけ検出手段より生成されるぼけ幅、ぼけ方向により、次フレームの移動量と移動方向を算出することで、表示画像に周期的パターンが存在する場合でも、精度の高い動きベクトルを検出することが可能となる。

実施形態１における動きベクトル検出装置の概略ブロック図 実施形態１における、撮像時間を外部設定とした動きベクトル検出装置の概略ブロック図 実施形態１における動作概要図 実施形態１における動きベクトル検出の処理フローを説明するフローチャート 実施形態２における動きベクトル検出装置の概略ブロック図 実施形態２における処理フローを説明するフローチャート 本発明の画像表示装置に適用可能なコンピュータのハードウェアの構成例を示すブロック図

以下、添付の図面を参照して、本願発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

＜実施形態１＞
図１は、本発明の実施形態１におけるブロック図である。１０１は撮像ぼけ検出部、１０２は動きベクトル算出時に使用するフレームメモリ、１０３は動きベクトル検出部である。１０４はＳＡＤ（絶対差分和）の算出を行うブロックマッチング処理部、１０５はＳＡＤ極小位置が複数検出された場合にＳＡＤを選択するＳＡＤ選択部である。１０６、１０７はセレクタであり、１０８は動きベクトル生成部である。１０９は撮像時間設定部、１１０はフレーム間移動量算出部である。

まず、撮像ぼけ検出部１０１において入力映像信号に対して、撮像ぼけの検出処理を行い、ぼけ方向とぼけ幅の算出を行う。通常、カメラによる動画撮影時にはシャッタースピードが１／６０〜１／１００で撮られているため、シャッタースピードに応じた撮像ぼけが生じる。この撮像ぼけの検出処理を１０１で行う。ここで、撮像ぼけ検出部１０１は撮像ぼけ検出のみではなく、撮像ぼけの除去を行う構成でもよい。

次に、撮像ぼけ検出部１０１から出力された映像信号を、フレームメモリ１０２に格納し、動きベクトル検出部１０３にて参照フレーム画像と該参照フレームより時間的に前の基準フレーム画像とを用いて動きベクトルの検出を行う。

動きベクトル検出部１０３では、ブロックマッチング部１０４により、基準フレームの基準ブロックと参照フレームにおける探索範囲内の参照ブロックとの一致度の算出を行う。本実施形態では、一致度算出の方法として、ＳＡＤの算出を行い極小となる位置の探索を行う。ここで、ＳＡＤが極小となる位置が複数検出された場合に、ＳＡＤ選択部１０５で、極小位置の選択を行い、最終的な極小位置を決定する。ＳＡＤの選択を行うにあたり、ぼけ方向と、フレーム間移動量の２つのパラメータを利用する。前記ぼけ方向は、撮像ぼけ検出部１０１から算出される。前記フレーム間移動量は、撮像ぼけ検出部１０１から算出されるぼけ幅と、撮像時間設定部１０９で算出される撮像時間から、移動量算出部１１０にて算出される。

セレクタ１０６では、ＳＡＤ極小位置が複数検出された場合に、ＳＡＤ選択部１０５で選択されたＳＡＤを出力し、単一のＳＡＤのみ検出された場合は、ブロックマッチング部１０４で算出したＳＡＤを出力する。セレクタ１０７では、撮像ぼけ検出部１０１で撮像ぼけが検出された場合に、セレクタ１０６のＳＡＤを出力し、撮像ぼけが検出されなかった場合にはブロックマッチング部１０４のＳＡＤを出力する。動きベクトル生成部１０８では、選択されたＳＡＤをもとに動きベクトルの生成を行う。

図３に本実施形態の動作概要を示す。図３（Ａ）に示されるフレームＮ−１は、１フレーム遅延された基準フレームであり、図３（Ｂ）に示されるフレームＮは、動きベクトルを検出するための参照フレームである。図３（Ａ）の３０１は、周期的パターンであり、次フレームＮにおいて右方向にＸｄｏｔ移動しているものとする。図３（Ａ）の３０２は、基準フレームにおける基準ブロックである。この基準ブロックを基点として、参照フレーム画像内において、基準ブロックと同サイズの参照ブロックを選択し、ＳＡＤを算出する。このＳＡＤ演算を参照フレーム画像における探索範囲内で、１画素ずつ移動して繰返し行い、求められた複数のＳＡＤから、ＳＡＤが極小となる参照ブロック位置を求める。つまり、参照フレームの探索範囲内から基準フレームの基準ブロックの画像と似た参照ブロックの位置を算出する。ここで図３に示した例では、図３（Ｂ）の［１］から［４］に示す様に、ＳＡＤが極小となる位置が４箇所存在することになり、求めるべきＳＡＤ極小位置は［３］、すなわち図３（Ｂ）の３０４のブロックとする。

次に、前記４箇所存在しているＳＡＤ極小位置から［３］のＳＡＤ極小位置を選択する方法を説明する。図３（Ａ）の拡大図の３０３に示すように、カメラで撮像された物体は、移動方向の反対方向に撮像ぼけが発生する。この撮像ぼけに対して、撮像ぼけ検出部において、ぼけの方向とぼけ幅を算出する。ここで、ぼけの方向を角度で表記する。右方向を０度、上方向を９０度、左方向を１８０度、下方向を２７０度とする。本実施形態では、撮像ぼけ検出部によって、周期的パターンのぼけ方向は１８０度（右方向に移動している）、ぼけ幅はＹドットと算出される。ここで、前記ぼけ幅は、カメラの撮像時間中に物体が移動した量である。よって、次式（１）によって探索ブロックのフレーム間移動量を推測することができる。
フレーム間移動量（ｄｏｔ）＝ ぼけ幅（ｄｏｔ）／ 撮像時間（ｓｅｃ）／フレーム周波数（Ｈｚ）・・（１）

式（１）の右辺の変数について、ぼけ幅は撮像ぼけ検出部より求められた値を設定し、フレーム周波数は入力フレームレートを設定する。撮像時間は、後述する方法で算出するか、もしくは既知の値がある場合はそれを設定する。上記で求められた、ぼけ方向と、フレーム間移動量を用いて複数のＳＡＤ極小位置から一つの極小位置を求める。まず、基準ブロックの座標情報と、［１］から［４］のＳＡＤ極小位置の座標情報から、各ＳＡＤ極小位置のベクトル方向を算出する。［１］と［２］のベクトル方向は１８０度となり、左方向に移動していると判断できる。ここで、参照フレームの周期パターンのぼけ方向は１８０度、すなわち右方向に移動していると判断できるため、上記［１］と［２］は極小位置候補から除外できる。次に、基準ブロックの座標情報と、［３］と［４］のＳＡＤ極小位置の座標情報から、各ＳＡＤ極小位置のベクトルの大きさを算出する。ここで、各ＳＡＤ極小位置のベクトルの大きさと、フレーム間移動量を比較し、より近いほうをＳＡＤ極小位置候補とする。結果［３］のＳＡＤ極小位置が選択される。すなわち、基準ブロックを基点としたＳＡＤ極小位置のベクトルの方向と撮像ぼけの方向、ベクトルの大きさとフレーム間移動量を各々比較し、より近い値をもつＳＡＤ極小位置を候補として選択する。

ここで式（１）において使用する撮像時間の算出方法の一例を説明する。まず入力映像信号に対して撮像ぼけ検出部１０１において、ぼけ方向とぼけ幅の検出を行う。次にブロックマッチング部１０４においてＳＡＤの算出を行う。ここで以下２つの条件を判定する。
条件１：ＳＡＤが極小となる位置が１箇所であること
条件２：上記ＳＡＤから算出された動きベクトル方向と、撮像ぼけ検出部で算出したぼけ方向が近似していること
上記２つの条件を満たしているとき、ブロックマッチング部１０４と動きベクトル生成部１０８で算出された動きベクトルの確度は高いと判断し、式（２）を用いて暫定撮像時間を算出する。
暫定撮像時間（ｓｅｃ）＝ ぼけ幅（ｄｏｔ） ／ 動きベクトル移動量 ／ フレーム周波数（Ｈｚ）・・・（２）
最終的な撮像時間は、上記暫定撮像時間を複数求め、その平均値を撮像時間として使用する。上記判定と演算は、撮像時間設定部１０９で行う。なお、撮像時間が予めわかっている場合には、上記構成の必要はなく、直接外部より撮像時間を設定する構成でもよい。撮像時間を外部より設定する構成を図２に示す。図２では、図１より撮像時間設定部１０９を除き、移動量算出部１１０に直接撮像時間を設定する構成となる。

図４において、上記一連の処理方法を、フローチャートを用いて説明する。

まず、Ｓ４０１において撮像ぼけ検出部１０１は、入力映像信号の撮像ぼけの検出とぼけ幅とぼけ方向の算出を行う。次に、Ｓ４０２において動きベクトル検出部１０３は、ブロックマッチングを行いＳＡＤの極小値を算出する。次に、Ｓ４０３において動きベクトル検出部１０３は、ＳＡＤ極小値が複数存在するかの判定を行い、Ｓ４０４において撮像ぼけがあるかの判定を行う。

以下にＳ４０３とＳ４０４において共にＹＥＳ（ＳＡＤ極小値が複数あり、かつ、撮像ぼけがある）の場合のフローを説明する。Ｓ４０５において移動量算出部１１０は、ぼけ幅と撮像時間と入力映像のフレームレートより、フレーム間移動量の算出を行う。次に、Ｓ４０６において動きベクトル検出部１０３は、ぼけ方向と、フレーム間移動量より、複数のＳＡＤ極小値からＳＡＤ極小値候補を選択しＳ４０７へ進む。Ｓ４０３とＳ４０４において、いずれかＮｏ（ＳＡＤ極小値が１つ、または、撮像ぼけがない）であった場合は、Ｓ４０７にすすむ。

Ｓ４０７において動きベクトル検出部１０３は、上記算出されたＳＡＤ極小値をもとに動きベクトルの算出を行う。

以上により、本発明によれば、撮像時間と撮像ぼけ検出手段より生成されるぼけ幅、ぼけ方向により、次フレームの移動量と移動方向を算出することで、表示画像に周期的パターンが存在する場合でも、精度の高い動きベクトルを検出することが可能となる。

＜実施形態２＞
以下、本発明における実施形態２を図面に基づいて説明する。なお、本実施形態では、入力映像信号がカメラなどの撮像装置で撮像され、撮像ぼけが含まれる信号であることを前提として説明する。

図５は、本発明の実施形態２におけるブロック図である。１０１は撮像ぼけ検出部、１１０はフレーム間移動量算出部、５０１は動きベクトル生成部である。

まず、撮像ぼけ検出部１０１において入力映像信号に対して、撮像ぼけの検出処理を行い、ぼけ方向とぼけ幅の算出を行う。次に移動量算出部１１０において、前記ぼけ幅と撮像時間からフレーム間移動量の算出を行う。このフレーム間移動量は実施形態１の式（１）で求められる。次に動きベクトル生成部５０１において、前記算出されたぼけ方向とフレーム間移動量から動きベクトルを算出する。

図６において、上記一連の処理方法を、フローチャートを用いて説明する。

まず、Ｓ６０１において、入力映像信号よりぼけ幅とぼけ方向の算出を行う。Ｓ６０２において、ぼけ幅と撮像時間よりフレーム間移動量の算出を行う。Ｓ６０３において、ぼけ方向とフレーム間移動量より動きベクトルの算出を行う。

以上により、本発明によれば、撮像時間と撮像ぼけ検出手段より生成されるぼけ幅、ぼけ方向により、次フレームの移動量と移動方向を算出することで、表示画像に周期的パターンが存在する場合でも、精度の高い動きベクトルを検出することが可能となる。

＜実施形態３＞
図１、図２、図５に示した各部はハードウェアでもって構成しているものとして上記実施形態では説明した。しかし、図１、図２、図５に示した各部で行なう処理をコンピュータプログラムでもって構成しても良い。

図７は、上記各実施形態に係る画像表示装置に適用可能なコンピュータのハードウェアの構成例を示すブロック図である。

ＣＰＵ７０１は、ＲＡＭ７０２やＲＯＭ７０３に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、上記各実施形態に係る動きベクトル検出装置が行うものとして上述した各処理を実行する。即ち、ＣＰＵ７０１は、上述した実施形態での機能と図１、図２、図５に示した各部として機能することになる。

ＲＡＭ７０２は、外部記憶装置７０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）７０９を介して外部から取得したデータなどを一時的に記憶するためのエリアを有する。更に、ＲＡＭ７０２は、ＣＰＵ７０１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ７０２は、例えば、フレームメモリとして割当てたり、その他の各種のエリアを適宜提供することができる。

ＲＯＭ７０３には、本コンピュータの設定データや、ブートプログラムなどが格納されている。操作部７０４は、キーボードやマウスなどにより構成されており、本コンピュータのユーザが操作することで、各種の指示をＣＰＵ７０１に対して入力することができる。表示部７０５は、ＣＰＵ７０１による処理結果を表示する。また表示部７０５は例えば液晶ディスプレイのようなホールド型の表示装置や、フィールドエミッションタイプの表示装置のようなインパルス型の表示装置で構成される。

外部記憶装置７０６は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置７０６には、ＯＳ（オペレーティングシステム）や、図１、図２、図５に示した各部の機能をＣＰＵ７０１に実現させるためのコンピュータプログラムが保存されている。更には、外部記憶装置７０６には、処理対象としての各データが保存されていても良い。

外部記憶装置７０６に保存されているコンピュータプログラムやデータは、ＣＰＵ７０１による制御に従って適宜ＲＡＭ７０２にロードされ、ＣＰＵ７０１による処理対象となる。Ｉ／Ｆ７０７には、ＬＡＮやインターネット等のネットワーク、他の機器を接続することができ、本コンピュータはこのＩ／Ｆ７０７を介して様々な情報を取得したり、送出したりすることができる。７０８は上述の各部を繋ぐバスである。

上述の構成からなる作動は前述のフローチャートで説明した作動をＣＰＵ７０１が中心となってその制御を行う。

＜その他の実施形態＞
本発明の目的は、前述した機能を実現するコンピュータプログラムのコードを記録した記憶媒体を、システムに供給し、そのシステムがコンピュータプログラムのコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたコンピュータプログラムのコード自体が前述した実施形態の機能を実現し、そのコンピュータプログラムのコードを記憶した記憶媒体は本発明を構成する。また、そのプログラムのコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した機能が実現される場合も含まれる。

さらに、以下の形態で実現しても構わない。すなわち、記憶媒体から読み出されたコンピュータプログラムコードを、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込む。そして、そのコンピュータプログラムのコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行って、前述した機能が実現される場合も含まれる。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するコンピュータプログラムのコードが格納されることになる。

Claims (7)

1. 参照フレーム画像と該参照フレームより時間的に前または後ろの基準フレーム画像とを用いて動きベクトルを検出する動きベクトル検出装置であって、
   映像信号から撮像時のぼけ幅とぼけ方向を検出するぼけ検出手段と、
   前記基準フレーム画像における所定のサイズの基準ブロックと、前記参照フレームにおいて、前記基準ブロックと同じサイズの参照ブロックとを用いて前記基準ブロックの位置に応じて前記参照フレーム画像に設定される探索範囲内でブロックマッチング処理を行い、一致度を算出する一致度算出手段と、
   撮像時間を設定する設定手段と、
   前記ぼけ検出手段より算出されるぼけ幅と、前記設定手段より設定される撮像時間から、フレームあたりの移動量を算出する移動量算出手段と、
   前記一致度算出手段において基準ブロックに対して、複数の一致する座標が検出された場合に、前記ぼけ検出手段より算出されるぼけ方向と、前記移動量算出手段で算出されるフレームあたりの移動量に基づいて複数の一致する座標より候補となる座標を選択する選択手段と、
   前記選択手段で選択された座標より動きベクトルを算出する動きベクトル算出手段とを有することを特徴とする動きベクトル検出装置。
2. 前記設定手段は、前記一致度算出手段において基準ブロックに対して１つの一致する座標が検出された場合、かつ、前記一致度算出手段と前記動きベクトル算出手段のみで算出された動きベクトル方向と前記ぼけ方向が近似している場合に、前記動きベクトルと前記ぼけ幅より撮像時間を算出し設定することを特徴とする請求項１に記載の動きベクトル検出装置。
3. 前記設定手段は、外部より設定される情報をもとに撮像時間を設定することを特徴とする請求項１に記載の動きベクトル検出装置。
4. 撮像ぼけからぼけ幅とぼけ方向を検出するぼけ検出手段と、
   前記ぼけ検出手段より算出されるぼけ幅と撮像時間から、フレームあたりの移動量を算出する移動量算出手段と、
   前記ぼけ検出手段より算出されるぼけ方向と、前記移動量算出手段で算出されるフレームあたりの移動量から動きベクトルを算出する手段と
   を有することを特徴とする動きベクトル検出装置。
5. 参照フレーム画像と該参照フレームより時間的に前または後ろの基準フレーム画像とを用いて動きベクトルを検出する動きベクトル検出装置の制御方法であって、
   映像信号から撮像時のぼけ幅とぼけ方向を検出するぼけ検出工程と、
   前記基準フレーム画像における所定のサイズの基準ブロックと、前記参照フレームにおいて、前記基準ブロックと同じサイズの参照ブロックとを用いて前記基準ブロックの位置に応じて前記参照フレーム画像に設定される探索範囲内でブロックマッチング処理を行い、一致度を算出する一致度算出工程と、
   撮像時間を設定する設定工程と、
   前記ぼけ検出工程より算出されるぼけ幅と、前記設定工程より設定される撮像時間から、フレームあたりの移動量を算出する移動量算出工程と、
   前記一致度算出工程において基準ブロックに対して複数の一致する座標が検出された場合に、前記ぼけ検出工程より算出されるぼけ方向と、前記移動量算出工程で算出されるフレームあたりの移動量に基づいて複数の一致する座標より候補となる座標を選択する選択工程と、
   前記選択工程で選択された座標より動きベクトルを算出する動きベクトル算出工程とを有することを特徴とする動きベクトル検出装置の制御方法。
6. 撮像ぼけからぼけ幅とぼけ方向を検出するぼけ検出工程と、
   前記ぼけ検出工程より算出されるぼけ幅と撮像時間から、フレームあたりの移動量を算出する移動量算出工程と、
   前記ぼけ検出工程より算出されるぼけ方向と、前記移動量算出工程で算出されるフレームあたりの移動量から動きベクトルを算出する工程と
   を有することを特徴とする動きベクトル検出装置の制御方法。
7. コンピュータが読み出して実行することにより、前記コンピュータを、請求項１乃至４のいずれか１項に記載の動きベクトル検出装置として機能させることを特徴とするプログラム。

Images