JP6014089B2 - 動き軌跡を用いたフレーム率向上装置および方法 - Google Patents

Description

本発明は、映像のフレーム率を向上させるための技法に関し、より詳細には、フレーム上の特徴点による動き軌跡を用いて正確かつ効率的に中間フレームを生成する映像のフレーム率を向上させる技法に関する。

フレーム率が低い映像をフレーム率が高い機器に再生する場合に、フレーム間の物体の動きが不自然に認知されるという問題がある。また、ＬＣＤを用いた映像機器の場合には、ＬＣＤ構造による応答速度の制約により、高速で動きが発生する動画において境界部分のモーションブラー（ｍｏｔｉｏｎ ｂｌｕｒ）のような画質劣化の問題が生じた。

このような問題点を解決するために、動き推定によって決定した動きベクトルを用いてフレーム間の新たな中間フレームを生成することでフレーム率を向上させる技法が求められている。ただし、既存のフレーム単位で推定された動きベクトルは、動き推定アルゴリズムの限界、用いられたフレーム情報の不足、正確な動きベクトルに対する判断情報の不足により、フレームのすべての領域で正確な動きベクトルを推定する可能性が低く、画質劣化の問題が生じる恐れがある。

結局、映像の画質劣化を防ぎ、動き情報に対する信頼性を高めることができるフレーム率向上技法が必要である。

韓国公開特許第２００３−００４４６９１号公報 韓国公開特許第２００７−００１１５６３号公報 韓国公開特許第２００３−００１１３１１号公報

本発明は、上述した問題点を解決するために案出されたものであって、フレームの特徴点を正方向に沿って連続的に軌跡を追跡し、特徴点軌跡情報を用いて逆方向の動き推定を実行することで、動き推定の正確度を高めることができるフレーム率向上装置および方法を提供することを目的とする。

また、本発明は、動き推定を実行しようとする現在ブロックに特徴点が存在しない場合に、現在ブロックと相関度が高い隣接ブロックの動きベクトルを用いて逆方向の動き推定を実行することで、動き推定の正確度を高めることができるフレーム率向上装置および方法を提供することを他の目的とする。

また、本発明は、フレーム全体領域に対して選んだ特徴点を用いるために特徴点を追加的に抽出することで、動き推定の正確度を高めることができるフレーム率向上装置および方法を提供することを他の目的とする。

さらに、本発明は、フレーム間の特徴点の軌跡を追跡することができない閉塞領域を検出し、閉塞領域の種類に応じてフレーム生成方法を相違させることで、生成されるフレームの画質劣化を防ぐフレーム率向上装置および方法を提供することをさらに他の目的とする。

上述した目的を達成するために、本発明の一実施形態に係るフレーム率向上装置は、フレームの特徴点を追跡して正方向の特徴点軌跡情報を決定する特徴点軌跡情報決定部と、現在フレームの各ブロック別に追跡された特徴点が存在するか否かに基づき、前記現在フレームに対して逆方向のブロック基盤の動き推定を実行する動き推定部と、前記動き推定によって決定された動きベクトルを用いて前記現在フレームと以前フレームとの間の新たな中間フレームを生成するフレーム生成部とを備えることができる。

このとき、前記特徴点軌跡情報決定部は、（１）フレーム間の場面変換が発生する場合、（２）軌跡が追跡された特徴点の個数が予め設定された特徴点の基準個数よりも少ない場合、または（３）フレームを構成する分割領域において特徴点軌跡情報が予め設定された特徴点軌跡情報の基準個数よりも少ない場合のうちのいずれか１つが発生すれば、特徴点を追加的に抽出することができる。

また、フレーム率向上装置は、前記複数のフレームに対して正方向に特徴点を追跡する場合に、ブロックのＳＡＤと正方向の特徴点軌跡情報を用いてフレーム間の閉塞領域（ｏｃｃｌｕｓｉｏｎ ａｒｅａ）を検出する閉塞領域決定部をさらに備えることができる。

また、前記動き推定部は、現在フレームで動き推定を実行しようとする現在ブロックに追跡された特徴点が存在する場合に、前記特徴点の特徴点軌跡情報を用いて前記現在ブロックに対して逆方向の動き推定を実行することができる。

また、前記動き推定部は、現在フレームで動き推定を実行しようとする現在ブロックに追跡された特徴点が存在しない場合に、前記現在ブロックの隣接ブロックの動きベクトルを用いて前記現在ブロックに対して逆方向の動き推定を実行することができる。

本発明の一実施形態に係るフレーム率向上方法は、フレームの特徴点を追跡して正方向の特徴点軌跡情報を決定するステップと、現在フレームの各ブロック別に追跡された特徴点が存在するか否かに基づき、前記現在フレームに対して逆方向のブロック基盤の動き推定を実行するステップと、前記動き推定によって決定された動きベクトルを用いて前記現在フレームと以前フレームとの間の新たな中間フレームを生成するステップとを含むことができる。

本発明によれば、フレームの特徴点を正方向に沿って連続的に軌跡を追跡し、特徴点軌跡情報を用いて逆方向の動き推定を実行することで動き推定の正確度を高めることができるフレーム率向上装置および方法が提供される。

また、本発明によれば、動き推定を実行しようとする現在ブロックに特徴点が存在しない場合に、現在ブロックと相関度が高い隣接ブロックの動きベクトルを用いて逆方向の動き推定を実行することで動き推定の正確度を高めることができるフレーム率向上装置および方法が提供される。

また、本発明によれば、フレーム全体領域に対して選んだ特徴点を用いるために特徴点を追加的に抽出することで動き推定の正確度を高めることができるフレーム率向上装置および方法が提供される。

さらに、本発明の一実施形態によれば、フレーム間の特徴点の軌跡を追跡することができない閉塞領域を検出し、閉塞領域の種類に応じてフレーム生成方法を相違させることで生成されるフレームの画質劣化を防ぐフレーム率向上装置および方法が提供される。

本発明の一実施形態に係る動き軌跡を用いたフレーム率向上装置を示すブロック図である。 本発明の一実施形態によって多数のフレームに対して正方向の特徴点を追跡する一例を説明するための図である。 本発明の一実施形態によって特徴点を追加的に抽出する一例を説明するための図である。 本発明の一実施形態によって逆方向の動き推定によって現在ブロックの動きベクトルを決定する過程を説明するための図である。 本発明の一実施形態によって現在ブロックの動きベクトルを用いて中間フレームを生成する過程を説明するための図である。 本発明の一実施形態によってフレーム間に発生する閉塞領域のうちのカバー領域を検出する過程を説明するための図である。 本発明の一実施形態によってフレーム間に発生する閉塞領域のうちのアンカバー領域を検出する過程を説明するための図である。 本発明の一実施形態によって動き軌跡を用いたフレーム率向上方法を示すフローチャートである。 本発明の一実施形態によって特徴点を追加的に抽出する過程を説明するためのフローチャートである。

以下、添付の図面に記載された内容を参照しながら、本発明に係る実施形態について詳細に説明する。ただし、本発明がこれらの実施形態によって制限または限定されることはない。図中、同じ参照符号は同じ部材を示す。本発明の一実施形態に係るフレーム率向上方法は、フレーム率向上装置によって実行することができる。

図１は、本発明の一実施形態に係る動き軌跡を用いたフレーム率向上装置を示すブロック図である。

図１を参照すれば、フレーム率向上装置１００は、特徴点軌跡情報決定部１０１と、動き推定部１０２と、フレーム生成部１０３と、閉塞領域検出部１０４とを備える。

特徴点軌跡情報決定部１０１は、フレームの特徴点を追跡して正方向の特徴点軌跡情報を決定することができる。一例として、特徴点軌跡情報決定部１０１は、初期フレームから抽出した特徴点を正方向に現れる複数のフレームに対して連続的に追跡し、該当する特徴点の特徴点軌跡情報を決定することができる。初期フレームは、映像を構成する１番目のフレームを意味するのではなく、特徴点が初めて現れるフレームを意味することができる。

例えば、特徴点軌跡情報決定部１０１は、初期フレームであるフレーム０から特徴点を抽出し、時間的に以後に現れるフレーム１、フレーム２、フレーム３それぞれに対して連続的に特徴点の位置を確認することができる。その後に、特徴点軌跡情報決定部１０１は、確認した特徴点をフレーム間に互いに連結して特徴点軌跡情報を決定することができる。言い替えれば、特徴点軌跡情報は、特徴点を含む特定領域がフレームごとにどの方向に動いたのかを示す動き軌跡に関するものである。

このとき、特徴点は、映像の均一な領域よりは映像の局部的な領域内において高周波特性が現れる境界（ｂｏｕｎｄａｒｙ）、隅部（ｃｏｒｎｅｒ）、またはテクスチャ（ｔｅｘｔｕｒｅ）である地点を含むことができる。さらに、特徴点は、フレーム内において少なくとも１つ以上存在することができる。

特徴点軌跡情報決定部１０１は、特徴点軌跡情報に対する信頼度を維持するために、予め設定された状況が発生する場合に特徴点を追加的に抽出することができる。その後に、特徴点軌跡情報決定部１０１は、追加的に抽出された特徴点に対して特徴点軌跡情報を決定することができる。

一例として、フレーム間の場面変換が発生する場合に、特徴点軌跡情報決定部１０１は、場面変換が発生したフレームに対して特徴点を追加的に抽出することができる。そして、軌跡が追跡された特徴点の個数が予め設定された特徴点の基準個数よりも少ない場合に、特徴点軌跡情報決定部１０１は、特徴点を追加的に抽出することができる。さらに、フレームを構成する分割領域のうち予め設定された領域から抽出された特徴点個数が予め設定された特徴点個数よりも少ない場合に、特徴点軌跡情報決定部１０１は、特徴点を追加的に抽出することができる。

特徴点軌跡を追加的に抽出する具体的な例については、図３および図９を参照しながら説明する。

動き推定部１０２は、現在フレームの各ブロック別に追跡された特徴点が存在するか否かに基づき、現在フレームに対して逆方向のブロック基盤の動き推定を実行することができる。このとき、現在フレームは、映像を構成する複数のフレームのうち動き推定を実行しようとするフレームを意味する。動き推定部１０２は、演算量およびアルゴリズムの性能を考慮した上で、フレームを構成するすべての画素ではなく分割されたブロックに基づいて動き推定を実行することができる。

一例として、動き推定部１０２は、現在フレームの現在ブロックに追跡された特徴点が存在する場合に、特徴点の特徴点軌跡情報を用いて現在ブロックに対して逆方向の動き推定を実行することができる。すなわち、特徴点軌跡情報は、動き推定を実行するときに、信頼度が高い資料として用いることができる。

また、動き推定部１０２は、現在フレームにおいて現在ブロックに追跡された特徴点が存在しない場合に、現在ブロックの隣接ブロックの動きベクトルを用いて現在ブロックに対して逆方向の動き推定を実行することができる。動き推定部１０２は、現在ブロックと相関度が高い隣接ブロックの動きベクトルを用いることによって動き推定の正確度を保障することができる。

現在ブロックに対して動き推定を実行する過程については、図４を参照しながら具体的に説明する。

フレーム生成部１０３は、動き推定によって決定された動きベクトルを用いて現在フレームと以前フレームとの間の新たな中間フレームを生成することができる。中間フレームの個数が増加するほどフレーム率も増加することができる。一例として、フレーム生成部１０３は、動きベクトルの方向に沿って以前フレームおよび現在フレームに位置したブロックを平均して中間フレームを生成することができる。

閉塞領域検出部１０４は、複数のフレームに対して正方向に特徴点を追跡する場合に、ブロックのＳＡＤと正方向の特徴点軌跡情報を用いてフレーム間の閉塞領域を検出することができる。このとき、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ）はブロック整合エラーを意味し、ＳＡＤが小さいほどブロックの動きの変化が少ないことを意味する。

一例として、閉塞領域検出部１０４は、ブロックのＳＡＤが予め設定されたＳＡＤ以上であり、以前フレームから抽出された特徴点が現在フレームから抽出されない領域を閉塞領域のうちのカバー領域（ｃｏｖｅｒｅｄ ａｒｅａ）として決定することができる。また、閉塞領域検出部１０４は、ブロックのＳＡＤが予め設定されたＳＡＤ以上であり、以前フレームから抽出されない特徴点が現在フレームから抽出された領域を閉塞領域のうちのアンカバー領域（ｕｎｃｏｖｅｒｅｄ ａｒｅａ）として決定することができる。

結論的に、閉塞領域検出部１０４は、フレーム間に対応する特徴点が存在せずに特徴点軌跡情報を決定することができない領域を閉塞領域として決定することができる。閉塞領域を決定する具体的な過程については、図６および図７を参照しながら説明する。

図２は、本発明の一実施形態によって多数のフレームに対して正方向の特徴点を追跡する一例を説明するための図である。

図２を参照すれば、４つのフレームが示されている。また、映像は、フレーム０（２０１）、フレーム１（２０２）、フレーム２（２０３）、およびフレーム３（２０４）の順序で構成される。

図２に示すように、特徴点軌跡情報決定部１０１は、フレーム０（２０１）から特徴点を抽出することができる。フレーム０（２０１）は初期フレームを意味する。このとき、抽出される特徴点は、少なくとも１つであり得る。すなわち、特徴点に対する特徴点軌跡情報も少なくとも１つであり得る。一例として、上述したように、特徴点は、映像の局部的な領域内において高周波特性が現れる境界、隅部、またはテクスチャである地点を含むことができる。

特徴点軌跡情報決定部１０１は、フレーム０（２０１）から抽出した特徴点とマッチングする特徴点を時間的な面で正方向に次のフレームであるフレーム１（２０２）から抽出し、特徴点の特徴点軌跡情報を決定することができる。同じ方法で、特徴点軌跡情報決定部１０１は、同じ特徴点をフレーム２（２０３）およびフレーム３（２０４）から抽出し、抽出された特徴点を連続的に連結して特徴点軌跡情報を決定することができる。

このとき、特徴点軌跡情報の信頼性を保障するように、特徴点軌跡情報決定部１０１は、最小で３つのフレーム以上から連続的に追跡された特徴点に対して特徴点軌跡情報を決定することができる。なお、フレームの個数には制限がない。

結局、本発明の一実施形態によれば、特徴点軌跡情報決定部１０１は、両フレームに対してブロックの動き軌跡を追跡するよりは、多数のフレームに渡ってブロックの動き軌跡を追跡することで、より正確な動きベクトルを推定することができる基盤を確保することができる。

図３は、本発明の一実施形態によって特徴点を追加的に抽出する一例を説明するための図である。

図２に示す初期フレームであるフレーム０（２０１）から特徴点が抽出された後に多数のフレームを経れば、画素照度値の変化、急激な動き発生、閉塞領域によってフレームに対して対応する特徴点を抽出することができず、特徴点軌跡情報が減少する場合がある。また、フレーム間の場面転換や新たなオブジェクトの出現により、初期フレームから抽出された特徴点も軌跡追跡過程においてアップデートされる必要がある。さらに、特徴点の特徴点軌跡情報が多様に存在することにより、正確な中間フレームが生成されるようになる。

一例として、特徴点軌跡情報決定部１０１は、次のような場合に特徴点を追加的に抽出することができる。

（１）フレーム間の場面変換が発生する場合
このとき、場面転換は、映像の照度分布図（ヒストグラム）の変化またはブロックのＳＡＤが大きく増加する場合に把握することができる。場面転換が発生する場合に、フレーム間に対応する特徴点が存在しないこともあるため、特徴点軌跡情報決定部１０１は特徴点を追加的に抽出することができる。

（２）軌跡が追跡された特徴点の個数が予め設定された特徴点の基準個数よりも少ない場合
初期フレームから抽出された特徴点が次のフレームにおいて軌跡が推定される。もし、追跡された特徴点の個数が予め設定された特徴点の基準個数ＴＨ_１よりも少なければ、特徴点軌跡情報決定部１０１は、信頼性が高い特徴点軌跡情報を用いるように特徴点を追加的に抽出することができる。

図３に示すグラフにおいて、Ｘ軸は映像の時間軸（フレーム番号）を意味し、Ｙ軸は該当するフレーム内の空間上の座標を意味する。フレーム０から５つの特徴点が抽出されれば、特徴点軌跡情報決定部１０１は、各フレームに対して５つの特徴点の軌跡を追跡することができる。図３に示すように、予め設定された特徴点の基準個数ＴＨ_１が５であるとき、フレーム２で追跡される特徴点の個数が４つであれば、フレーム２から特徴点を追加的に抽出する必要がある。

（３）フレームを構成する分割領域のうち予め設定された領域から抽出された特徴点個数が予め設定された特徴点個数よりも少ない場合
フレームが複数の分割領域で構成された場合に、分割領域のうち予め設定された領域から抽出された特徴点個数が予め設定された特徴点個数ＴＨ_２よりも少なければ、特徴点軌跡情報決定部１０１は、信頼性が高い特徴点軌跡情報を用いるように特徴点を追加的に抽出することができる。すなわち、より正確な動き予測を実行して新たなオブジェクトの出現に対応するために、フレームの全体領域で均一に特徴点軌跡情報が存在する必要がある。

図３に示すように、予め設定された特徴点軌跡情報の基準個数ＴＨ_２が２つであるとき、フレーム３の下部領域において特徴点軌跡情報が１つであるため、特徴点軌跡情報決定部１０１は、フレーム３から特徴点を追加的に抽出することができる。

図４は、本発明の一実施形態によって逆方向の動き推定を用いて現在ブロックの動きベクトルを決定する過程を説明するための図である。

動き推定部１０２は、現在フレームの各ブロック別に追跡された特徴点が存在するか否かに基づき、現在フレームに対して逆方向のブロック基盤の動き推定を実行することができる。このとき、現在ブロックは、現在フレームに含まれたブロックのうち動き推定を用いて動きベクトルを決定しようとするブロックを意味する。また、隣接ブロックは、現在ブロックに位置的に隣接したブロックであり、動き推定が実行されて動きベクトルが既に決定されたブロックを意味する。

一例として、動き推定部１０２は、現在フレームの現在ブロックに追跡された特徴点が存在する場合に、特徴点の特徴点軌跡情報を用いて現在ブロックに対して逆方向の動き推定を実行することができる。

参照符号４０１は、特徴点軌跡情報を用いて現在ブロックに対して逆方向の動き推定を実行する過程を示す。

図４を参照すれば、現在フレームであるフレーム３（４０４）の現在ブロック４０６に特徴点が存在することが分かる。その後に、動き推定部１０２は、現在ブロック４０６に存在する特徴点の特徴点軌跡情報を考慮した上で、逆方向の動き推定を実行することができる。すなわち、動き推定部１０２は、フレーム３（４０４）の特徴点において以前フレームであるフレーム２（４０３）に対応する特徴点における特徴点軌跡情報を用いて現在ブロック４０６の動きベクトルＭＶを決定することができる。言い替えれば、動き推定部１０２は、特徴点軌跡情報に対応するようにフレーム２（４０３）の現在ブロック４０５から点線ブロックで動きベクトルを決定することができる。

動き推定部１０２は、現在フレームの現在ブロックに追跡された特徴点が存在しない場合に、現在ブロックの隣接ブロックの動きベクトルを用いて現在ブロックに対して逆方向の動き推定を実行することができる。

参照符号４０２は、隣接ブロックの動きベクトルを用いて現在ブロックに対して逆方向の動き推定を実行する過程を示す。動き推定部１０２は、既に動き推定が実行された隣接ブロック４０８、４０９、４１０の動きベクトルＭＶ_１、ＭＶ_２、ＭＶ_３を用いて現在フレームであるフレーム３（４０２）の現在ブロック４０７に対して動きベクトルを決定することができる。このとき、動き推定部１０２は、隣接ブロック４０８、４０９、４１０の動きベクトルのうち現在ブロックとの相関度が高い隣接ブロックの動きベクトルを現在ブロック４０７の動きベクトルとして決定することができる。

すなわち、動きベクトルを決定しようとする現在ブロックに特徴点が存在する場合に、動き推定部１０２は、信頼性が高い特徴点の特徴点軌跡情報を用いて現在ブロックの動きベクトルを決定することで、動き推定の正確度を向上させることができる。また、現在ブロックに特徴点が存在しない場合でも、動き推定部１０２は、現在ブロックと相関度が高い隣接ブロックの動きベクトルを用いて現在ブロックの動きベクトルを決定することで、動き推定の正確度を向上させることができる。

図５は、本発明の一実施形態によって現在ブロックの動きベクトルを用いて中間フレームを生成する過程を説明するための図である。

このとき、フレーム生成部１０３は、以前フレーム５０１と現在フレーム５０３とを補間して新たな中間フレーム５０２を生成することができる。図５を参照すれば、動き推定を用いて現在フレーム５０３の現在ブロック５０５に対して動きベクトルＭＶが決定されれば、フレーム生成部１０３は、動きベクトルの方向を考慮した上で、以前フレーム５０１および現在フレーム５０３に位置したブロックを平均することによって中間フレーム５０２を生成することができる。中間フレーム５０２を生成する過程は、現在フレーム５０３に含まれたすべてのブロックに対してなされる。

一例として、以前フレーム５０１と現在フレーム５０３との関係において閉塞領域が存在する場合に、フレーム生成部１０３は、閉塞領域の種類に応じて以前フレーム５０１または現在フレーム５０３のうちのいずれか１つを用いて中間フレーム５０２を生成することができる。より具体的には、閉塞領域がカバー領域である場合に、フレーム生成部１０３は、以前フレーム５０１を用いて中間フレーム５０２を生成することができる。また、閉塞領域がアンカバー領域である場合に、フレーム生成部１０３は、現在フレーム５０３を用いて中間フレーム５０２を生成することができる。

閉塞領域を検出する過程と閉塞領域に対して中間フレームを生成する過程については、図６および図７を参照しながら説明する。

図６は、本発明の一実施形態によってフレーム間に発生する閉塞領域のうちのカバー領域を検出する過程を説明するための図である。

閉塞領域検出部１０４は、複数のフレームに対して正方向に特徴点を追跡する場合に、ブロックのＳＡＤと正方向の特徴点軌跡情報とを用いてフレーム間の閉塞領域を検出することができる。閉塞領域検出部１０４は、ブロックのＳＡＤが予め設定されたＳＡＤ以上であり、以前フレームから抽出された特徴点が現在フレームから抽出されない領域を閉塞領域のうちのカバー領域として決定することができる。一般的に、閉塞領域の場合にはフレーム間の対応地点がないため、ＳＡＤ値が大きく現れるようになる。

図６を参照すれば、以前フレーム６０１に存在する「円」の中心部である特徴点の軌跡が追跡された後に、現在フレーム６０２で「円」の中心部が「四角形」の後ろに移動し、特徴点がこれ以上追跡されないことが分かる。すなわち、以前フレーム６０１と現在フレーム６０２との間に閉塞領域が存在し、このとき閉塞領域検出部１０４は、「円」を閉塞領域のうちのカバー領域として決定することができる。参考までに、「四角形」は、アンカバー領域として決定することができる。

このとき、カバー領域として決定された地点に対して以前フレームと現在フレームとを用いてフレームを生成する場合に画質劣化が生じる恐れがあるため、フレーム生成部１０３は、カバー領域として決定された地点に対して以前フレームだけを参考してフレームを生成することができる。

すなわち、参照符号６０３を参考すれば、ｔフレームである以前フレームに現れたサッカーボールが家によって隠れ、ｔ＋１フレームである現在フレームにおいてサッカーボールの軌跡を追跡することができない場合に、閉塞領域検出部１０４は、サッカーボールをカバー領域として決定することができる。その後に、フレーム生成部１０３は、ｔフレームである以前フレームに現れたサッカーボールに対する動きベクトルのみを参照し、ｔ＋０．５フレームである中間フレームにおけるサッカーボールを生成することができる。

図７は、本発明の一実施形態によってフレーム間に発生する閉塞領域のうちのアンカバー領域を検出する過程を説明するための図である。

閉塞領域検出部１０４は、ブロックのＳＡＤが予め設定されたＳＡＤ以上であり、以前フレームから抽出されない特徴点が現在フレームから抽出された領域を閉塞領域のうちのアンカバー領域として決定することができる。

図７を参照すれば、以前フレーム７０１では「四角形」が存在しなかったが、現在フレーム７０２では「四角形」が現れて新たな特徴点が抽出されることが分かる。すなわち、「四角形」が現れた現在フレーム７０２は、特徴点が抽出された初期フレームであり得る。すなわち、以前フレーム７０１と現在フレーム７０２との間に閉塞領域が存在し、このとき閉塞領域検出部１０４は、「四角形」を閉塞領域のうちのアンカバー領域として決定することができる。

このとき、アンカバー領域として決定された地点に対して以前フレームと現在フレームとを用いてフレームを生成する場合に画質劣化が生じる恐れがあるため、フレーム生成部１０３は、アンカバー領域として決定された地点に対して現在フレームのみを参考してフレームを生成することができる。

すなわち、参照符号７０３を参考すれば、ｔフレームである以前フレームに現れなかったサッカーボールがｔ＋１フレームである現在フレームにおいて急に現れてサッカーボールに対する特徴点を抽出した場合に、閉塞領域検出部１０４は、サッカーボールをアンカバー領域として決定することができる。その後に、フレーム生成部１０３は、ｔ＋１フレームである現在フレームに現れたサッカーボールの動きベクトルのみを参照し、ｔ＋０．５フレームである中間フレームにおけるサッカーボールを生成することができる。

図８は、本発明の一実施形態によって動き軌跡を用いたフレーム率向上方法を示すフローチャートである。

ステップＳ８０１で、フレーム率向上装置は、初期フレームから特徴点を抽出することができる。このとき、特徴点は、映像の局部的な領域内において高周波特性が現れる境界、隅部、またはテクスチャである地点を含むことができる。

ステップＳ８０２で、フレーム率向上装置は、初期フレームから抽出した特徴点を正方向に現れる複数のフレームに対して連続的に追跡して特徴点の特徴点軌跡情報を決定することができる。すなわち、フレーム率向上装置は、フレームの特徴点を追跡して正方向の特徴点軌跡情報を決定することができる。

一例として、フレーム率向上装置は、連続的に追跡された特徴点の軌跡が特定フレームで中断される場合に、該当する領域を閉塞領域のうちのカバー領域として検出することができる。また、フレーム率向上装置は、特定フレームで新たなオブジェクトが急に出現して新たな特徴点が決定される場合に、決定された特徴点が含まれた領域を閉塞領域のうちのアンカバー領域として検出することができる。

ステップＳ８０３で、フレーム率向上装置は、現在ブロックに追跡された特徴点が存在するか否かを判断し、判断結果に応じて動き推定を実行することができる。このとき、現在ブロックは、動き推定を実行する現在フレームに含まれたブロックを意味することができる。

もし、現在ブロックに追跡された特徴点が存在しない場合に、ステップＳ８０４で、フレーム率向上装置は、現在ブロックと隣接した隣接ブロックの動きベクトルを用いて現在ブロックに対して逆方向の動き推定を実行することができる。このとき、隣接ブロックは、既に動き推定が実行されて動きベクトルが決定されたブロックを意味することができる。また、逆方向の動き推定は、現在フレームから以前フレームへの現在ブロックに対する動きベクトルを意味することができる。

もし、現在ブロックに追跡された特徴点が存在する場合に、ステップＳ８０５で、フレーム率向上装置は、特徴点の特徴点軌跡情報を用いて現在ブロックに対して逆方向の動き推定を実行することができる。すなわち、多数のフレームに渡って決定された特徴点軌跡情報は、現在ブロックの動きベクトルを決定することができる信頼性が高い情報を意味するため、動き推定の正確度を向上することができる。

現在ブロックに対して動きベクトルが決定されれば、ステップＳ８０６で、フレーム率向上装置は、動き推定によって決定された動きベクトルを用いて現在フレームと以前フレームとの間の新たな中間フレームを生成することができる。

このとき、フレーム率向上装置は、閉鎖領域のうちのカバー領域に対して以前フレームの動きベクトルを用いて中間フレームを生成することができる。また、フレーム率向上装置は、閉鎖領域のうちのアンカバー領域に対して現在フレームの動きベクトルを用いて中間フレームを生成することができる。

図８で説明されていない部分については、図１〜７の説明を参考することができる。

図９は、本発明の一実施形態によって特徴点を追加的に抽出する過程を説明するためのフローチャートである。

フレーム率向上装置は、フレームから特徴点を抽出し、特徴点を正方向に現れる複数のフレームに対して連続的に追跡して特徴点軌跡情報を決定することができる。このとき、フレーム率向上装置は、図９の過程を介して特徴点を追加的に抽出することができる。フレーム率向上装置は、追加的に抽出された特徴点も複数のフレームに対して連続的に追跡して特徴点軌跡情報を決定することができる。

ステップＳ９０１で、フレーム率向上装置は、特徴点を抽出しようとするフレームが初期フレーム（フレーム０）であるか否かを判断することができる。もし、特徴点を抽出しようとするフレームが初期フレームである場合に、ステップＳ９０３で、フレーム率向上装置は、特徴点を抽出して次のフレームに進むことができる。

もし、特徴点を抽出しようとするフレームが初期フレームでない場合に、ステップＳ９０２で、フレーム率向上装置は、フレーム間の場面変化が感知されたか否かを判断することができる。場面変化が感知されれば、ステップＳ９０３で、フレーム率向上装置は、特徴点を抽出して次のフレームに進むことができる。

また、特徴点を抽出しようとするフレームが初期フレームでなく場面変化が感知されない場合に、ステップＳ９０４で、フレーム率向上装置は、抽出した特徴点を用いて特徴点軌跡情報を決定して次のフレームに進むことができる。

ステップＳ９０５で、フレーム率向上装置は、特定フレームから抽出された特徴点の個数が予め設定された特徴点の個数ＴＨ_１よりも少ないか否かを判断することができる。もし、抽出された特徴点の個数が予め設定された特徴点の個数ＴＨ_１よりも少ない場合に、ステップＳ９０７で、フレーム率向上装置は、追加的に特徴点を抽出することができる。

もし、抽出された特徴点の個数が予め設定された特徴点の個数ＴＨ_１よりも多い場合に、ステップＳ９０６で、予め設定された領域から抽出された特徴点の個数が予め設定された特徴点の個数ＴＨ_２よりも少ないか否かを判断することができる。もし、予め設定された領域から抽出された特徴点の個数が予め設定された特徴点の個数ＴＨ_２よりも少ない場合に、ステップＳ９０７で、フレーム率向上装置は、追加的に特徴点を抽出することができる。

また、もし、予め設定された領域から抽出された特徴点の個数が予め設定された特徴点の個数ＴＨ_２よりも多い場合に、ステップＳ９０８で、フレーム率向上装置は、特徴点を抽出しようとするフレームが最後のフレームであるか否かを判断することができる。最後のフレームである場合に、フレーム率向上装置は、特徴点軌跡情報を決定する過程を終了することができる。また、最後のフレームでない場合に、フレーム率向上装置は、ステップＳ９０１からフレームに対して特徴点を抽出して特徴点軌跡情報を決定することができる。

なお、本発明の一実施形態に係る動き軌跡を用いたフレーム率向上方法は、コンピュータにより実現される多様な動作を実行するためのプログラム命令を含むコンピュータ読取可能な記録媒体を含む。当該記録媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせて含むこともでき、記録媒体およびプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知であり使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれる。また、記録媒体は、プログラム命令、データ構造などを保存する信号を送信する搬送波を含む光または金属線、導波管などの送信媒体でもある。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードを含む。

上述したように、本発明の好ましい実施形態を参照して説明したが、該当の技術分野において熟練した当業者にとっては、特許請求の範囲に記載された本発明の思想および領域から逸脱しない範囲内で、本発明を多様に修正および変更させることができることを理解することができるであろう。すなわち、本発明の技術的範囲は、特許請求の範囲に基づいて定められ、発明を実施するための最良の形態により制限されるものではない。

１００ フレーム率向上装置
１０１ 特徴点軌跡情報決定部
１０２ 動き推定部
１０３ フレーム生成部
１０４ 閉塞領域検出部

Claims (10)

1. 複数のフレームの特徴点を追跡して正方向の特徴点軌跡情報を決定する特徴点軌跡情報決定部と、
   現在フレームの各ブロック別に追跡された特徴点が存在するか否かに基づき、前記現在フレームに対して逆方向の動き推定を実行する動き推定部と、
   前記動き推定によって決定された動きベクトルを用いて前記現在フレームと以前フレームとの間の新たな中間フレームを生成するフレーム生成部と、
   を含み、
   前記動き推定部は、
   現在フレームで動き推定を実行しようとする現在ブロックに追跡された特徴点が存在する場合に、前記特徴点の特徴点軌跡情報を用いて前記現在ブロックに対して逆方向の動き推定を実行し、前記現在ブロックに追跡された特徴点が存在しない場合に、前記現在ブロックの隣接ブロックの動きベクトルを用いて前記現在ブロックに対して逆方向の動き推定を実行する、
   ことを特徴とする動き軌跡を用いたフレーム率向上装置。
2. 前記特徴点軌跡情報決定部は、
   初期フレームから抽出した特徴点を正方向に現れる複数のフレームに対して連続的に追跡して前記特徴点の特徴点軌跡情報を決定する、
   ことを特徴とする請求項１に記載の動き軌跡を用いたフレーム率向上装置。
3. 前記特徴点は、
   映像の局部的な領域内において高周波特性が現れる境界、隅部、またはテクスチャである地点を含む、
   ことを特徴とする請求項１又は２に記載の動き軌跡を用いたフレーム率向上装置。
4. 前記特徴点軌跡情報決定部は、
   （１）フレーム間の場面変換が発生する場合、
   （２）軌跡が追跡された特徴点の個数が予め設定された特徴点の基準個数よりも少ない場合、または
   （３）フレームを構成する分割領域のうち予め設定された領域から抽出された特徴点個数が予め設定された特徴点個数よりも少ない場合、
   のうちのいずれか１つが発生すれば、特徴点を追加的に抽出する、
   ことを特徴とする請求項１ないし３のいずれか一項に記載の動き軌跡を用いたフレーム率向上装置。
5. 前記フレーム間の閉塞領域を検出する閉塞領域検出部を更に有し、前記閉塞領域検出部は、
   ブロックのＳＡＤが予め設定されたＳＡＤ以上であり、以前フレームから抽出された特徴点が現在フレームから抽出されない領域を閉塞領域のうちのカバー領域として決定し、
   ブロックのＳＡＤが予め設定されたＳＡＤ以上であり、以前フレームから抽出されない特徴点が現在フレームから抽出された領域を閉塞領域のうちのアンカバー領域として決定し、
   前記フレーム生成部は、
   前記カバー領域に対して以前フレームの動きベクトルを用いて中間フレームを生成し、
   前記アンカバー領域に対して現在フレームの動きベクトルを用いて中間フレームを生成する、
   ことを特徴とする請求項１ないし４のいずれか一項に記載の動き軌跡を用いたフレーム率向上装置。
6. 複数のフレームの特徴点を追跡して正方向の特徴点軌跡情報を決定するステップと、
   現在フレームの各ブロック別に追跡された特徴点が存在するか否かに基づき、前記現在フレームに対して逆方向の動き推定を実行するステップと、
   前記動き推定によって決定された動きベクトルを用いて前記現在フレームと以前フレームとの間の新たな中間フレームを生成するステップと、
   を含み、
   前記逆方向のブロック基盤の動き推定を実行するステップは、
   現在フレームで動き推定を実行しようとする現在ブロックに追跡された特徴点が存在する場合に、前記特徴点の特徴点軌跡情報を用いて前記現在ブロックに対して逆方向の動き推定を実行し、前記現在ブロックに追跡された特徴点が存在しない場合に、前記現在ブロックの隣接ブロックの動きベクトルを用いて前記現在ブロックに対して逆方向の動き推定を実行する、
   ことを特徴とする動き軌跡を用いたフレーム率向上方法。
7. 前記正方向の特徴点軌跡情報を決定するステップは、
   初期フレームから抽出した特徴点を正方向に現れる複数のフレームに対して連続的に追跡して前記特徴点の特徴点軌跡情報を決定する、
   ことを特徴とする請求項６に記載の動き軌跡を用いたフレーム率向上方法。
8. 前記正方向の特徴点軌跡情報を決定するステップは、
   （１）フレーム間の場面変換が発生する場合、
   （２）軌跡が追跡された特徴点の個数が予め設定された特徴点の基準個数よりも少ない場合、または
   （３）フレームを構成する分割領域のうち予め設定された領域から抽出された特徴点個数が予め設定された特徴点個数よりも少ない場合、
   のうちのいずれか１つが発生すれば、特徴点を追加的に抽出する、
   ことを特徴とする請求項６又は７に記載の動き軌跡を用いたフレーム率向上方法。
9. フレーム間の閉塞領域の検出において、
   ブロックのＳＡＤが予め設定されたＳＡＤ以上であり、以前フレームから抽出された特徴点が現在フレームから抽出されない領域を閉塞領域のうちのカバー領域として決定し、
   ブロックのＳＡＤが予め設定されたＳＡＤ以上であり、以前フレームから抽出されない特徴点が現在フレームから抽出された領域を閉塞領域のうちのアンカバー領域として決定し、
   前記中間フレームを生成するステップは、
   前記カバー領域に対して以前フレームの動きベクトルを用いて中間フレームを生成し、
   前記アンカバー領域に対して現在フレームの動きベクトルを用いて中間フレームを生成する、
   ことを特徴とする請求項６ないし８のいずれか一項に記載の動き軌跡を用いたフレーム率向上方法。
10. 請求項６の方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
    

Images