JPWO2011033617A1 - 動画再生装置、動画再生プログラム、および動画再生方法 - Google Patents

Abstract

本件は、動画再生装置等に関し、動画データのフレームレートを比較的小さい演算パワーで下げるため、第１のフレームレートの第１の動画データを取得し第１のフレームレートよりも低い第２のフレームレートの第２動画データを作成するにあたり、第１の動画データを構成する複数フレーム内の、動体が描写された移動領域とその移動領域の移動量とに基いて、第２の動画データを構成する補間フレームの、動体が描写された新移動領域とその新移動領域の移動量とを算出し、その新移動領域の画像を背景画像と合成して補間フレーム全域の画像を再生する。

Description

本件は、取得した動画データのフレームレートを下げて、フレームレートを下げた動画データに基づく動画を表示する動画再生装置および動画再生方法、並びに、演算装置を動画再生装置として動作させる動画再生プログラムに関する。

近年、パーソナルコンピュータ（以下、「ＰＣ」と略記する）の低価格指向が強まり、ＰＣの価格を抑えるためそのＰＣに使用される部品も価格が抑えられ、それに応じてＰＣの性能も抑えられている。例えば、低価格帯のノート型パーソナルコンピュータ（以下、「ノートＰＣ」と略記する）にあっては、液晶表示画面等を持つ表示機器についても高価な部品を使用することができず、その応答速度が５０ｆｐｓ（フレーム／秒）しかない表示機器が選択されることも多い。このため、そのノートＰＣをインターネットに接続してインターネット上にある６０ｆｐｓの動画ＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）コンテンツをそのノートＰＣで再生表示しようとしても、そのノートＰＣの表示機器が５０ｆｐｓでしか表示することができず、１秒あたり１０フレームについては表示速度が追いつかず、コマ落ちで表示されるという不備を生じる。

これに対処するには、その低機能の表示機器でも表示できるように動画のフレームレートを下げることが考えられる（特許文献１〜４参照）。ここで、動画コンテンツはＭＰＥＧフォーマット、特にＭＰＥＧ２フォーマットが採用されることが多い。このＭＰＥＧ２では１５フレームで１つのグループを形成している。このグループはＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ）と呼ばれる。ＭＰＥＧ２ではそのＧＯＰ単位で復号処理を行なっているため、フレームレートを下げるためにフレームを単純に間引くのは困難である。また、低価格であることから例えば動作速度が１．６ＧＨｚ等、動作速度の遅いＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）が搭載されており、大きな処理パワーを必要とする演算を行なってフレームレートを下げることも困難である。

特開２００２−９４９４７号公報 特開２００３−３０９８３４号公報 特開２００６−３１９７８４号公報 特表２００７−５２０７４１号公報

上記事情に鑑み、本件開示の動画再生装置、動画再生プログラム、および動画再生方法の課題は、取得した動画データのフレームレートを比較的小さい演算パワーで下げることにある。

本件開示の動画再生装置は、動画取得部と、動画再生部と、動画表示部とを有する。

動画取得部は、背景画像と動体の画像との双方の情報を有するフレームと背景画像を除く動体の画像の情報を有するフレームとの双方のフレームを含む複数のフレームが第１のフレームレートで循環的に繰り返す第１の動画データを取得する。動画再生部は、動画取得部で取得した第１の動画データに基づいて上記第１のフレームレートよりも低い第２のフレームレートの第２の動画データを再生する。動画表示部は、動画再生部で再生された第２の動画データに基づいて動画を表示する。

ここで、動画再生部は、補間データ算出部と、フレーム画像再生部とを有する。

補間データ算出部は、上記第１の動画データを構成する複数のフレームの、動体が描写された移動領域内の画像とその移動領域の移動量とに基づいて、上記第２の動画データを構成する補間フレームの、動体が描写された新移動領域内の画像とその新移動領域の移動量とを算出する。

フレーム画像再生部は、補間データ算出部で算出された補間フレームの新移動領域の移動量に基づいて、その新移動領域内の画像と背景画像とを合成することにより、補間フレーム全域の画像を再生する。

本件は、上記の動画再生装置の思想を動画再生プログラムや動画再生方法として捉えた場合を含む。

本件開示の動画再生装置、動画再生プログラム、および動画再生方法によれば、取得した動画データのフレームレートを比較的小さい演算パワーで下げることができる。

本件の一実施形態が構築されるノートＰＣの一例を示す外観斜視図である。 図１に外観を示すノートＰＣのハードウェア構成の概要を示すブロック図である。 動画再生用のプログラム（再生アプリ）のフローチャート（一部分）である。 動画再生用のプログラム（再生アプリ）のフローチャート（残りの部分）である。 図３，図４に示す再生アプリ起動時に表示画面上に表示されるメニュー画面の一例を示した図である。 図５に示すメニュー画面上で「映像Ａ」が選択されたときの表示画面例を示す図である。 ＭＰＥＧ２における予測法の代表例である双方向予測（Ａ）と前方予測（Ｂ）の説明図である。 ＭＰＥＧ２復号処理の概要を示す図である。 本件の一実施形態における復号処理の概要を示す図である。 移動領域と移動量を示す図である。 通常のＭＰＥＧ復号演算処理（Ａ）と補間演算処理後のＭＰＥＧ復号演算処理（Ｂ）とを示した図である。

以下、本件の実施形態を説明する。

図１は、本件の一実施形態が構築されるノートＰＣの一例を示す外観斜視図である。

この図１に示すノートＰＣ１０は、本体ユニット２０と表示ユニット３０とを有する。本体ユニット２０は、内部にＣＰＵやハードディスクドライブ（以下、「ＨＤＤ」と略記する）等を備えるとともに、上面にキーボード２１やポインティングデバイスの一種であるタッチパッド２２等を備えている。また、表示ユニット３０は、蝶番４０を介して本体ユニット１０に連結されて本体ユニット２０に対し開閉自在に構成され、開状態にあるときの前面に表示画面３１を備えている。

図２は、図１に外観を示すノートＰＣのハードウェア構成の概要を示すブロック図である。

ここには、ＣＰＵ５１、主メモリ５２、不揮発メモリ５３、図１にも示すキーボード２１、並びに、グラフィックモジュール５４１および図１の表示画面３１を含んで構成された表示部５４が示されている。またここには、通信インタフェース５５、ＨＤＤ５６、図１にも示すタッチパッド２２、並びに、オーディオインタフェース５７１およびスピーカ５７２を含んで構成された音声出力部５７も示されている。これらの各要素２１，２７，５１〜５７は、バス５０を介して互いに接続されている。

通信インタフェース５５は、インターネットに接続されインターネットを介する通信を行なう。ここでは特にＭＰＥＧ２に準拠した動画コンテンツを受信する。ＨＤＤ５６は、大容量記憶装置であって、ここには本件の一実施形態としての動画再生プログラムを含む各種プログラムや、インターネットを経由して入力されてきた動画コンテンツなどが記憶されている。タッチパッド２２は、表示部５４を構成する表示画面３１（図１参照）上のカーソルを移動させて表示画面３１上の任意のアイコン等をクリックするポインティングデバイスの一種である。音声出力部５７は、音声データを受け取りオーディオインタフェース５７１でアナログの音声信号に変換してスピーカ５７２で音声を出力する。

また、ＣＰＵ５１は、プログラムを実行する中央演算処理装置である。本実施形態で用いるノートＰＣでは、比較的動作速度の遅い、動作速度１．６ＧＨｚのＣＰＵが採用されている。主メモリ５２は、ＨＤＤ５６から読み出されたプログラムがＣＰＵ５１での実行のために展開されるメモリである。またこの主メモリ５２は、プログラムがＣＰＵ５１で実行されたときのデータの一時的な格納場所としても利用される。不揮発メモリ５３には、このノートＰＣ１０に電力が投入された初期に実行されるプログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）が記憶されている。また、キーボード２１は、オペレータによる各種情報や指示の入力用のツールである。

表示部５４は、表示用データを受け取って表示画面３１（図１参照）上にそのデータに応じた画像を表示するものである。ここでは特に、動画データを受け取りグラフィックモジュール５４１で表示用の動画データに変換して表示画面３１上に動画を表示する。ここで、この表示部５４は、比較的表示速度が遅い、最大５０ｆｐｓの動画を表示する能力を有する。また、この表示部５４を構成する表示画面３１（図１参照）は、１０２４×５７４ピクセルの表示画面である。

ここでは、インターネットを経由してきた、ＭＰＥＧ２フォーマットの動画コンテンツが通信インタフェース５５で受信される。通信インタフェース５５で動画コンテンツが受信されるとその動画コンテンツはＨＤＤ５６に一時保管される。その後、その動画コンテンツが６０ｆｐｓのフレームレートでの表示指定のある動画コンテンツのときはＣＰＵ５１で実行される動画再生プログラムでその動画コンテンツのフレームレートが下げられ、そのフレームレートを下げた動画データが表示部５４に送信される。すると、グラフィックモジュール５４１ではその送信されてきた動画コンテンツに基づいて動画が描画され、その動画が表示画面３１（図１参照）上に表示される。

また、その動画コンテンツ中の音声データは音声出力部５７に送信され、音声出力部５７では表示画面３１上への動画の表示と同期した音声が出力される。

図３および図４は、動画再生用のプログラム（ここでは「再生アプリ」と称する）のフローチャートである。

また、図５は、図３，図４に示す再生アプリ起動時に表示画面３１（図１参照）上に表示されるメニュー画面の一例を示した図、図６は、図５に示すメニュー画面上で「映像Ａ」が選択されたときの表示画面例を示す図である。

図３，図４に示す再生アプリが起動されると、インターネット上からダウンロードされてＨＤＤ５６に格納されている動画コンテンツ一覧を表わす、例えば図５に示すようなメニュー画面が表示される。このメニュー画面上で例えば「映像Ａ」が選択されると図６に示す画面が表示される。この図６に示す画面上で「再生する」が選択されると映像Ａの再生が開始される。一方、この図６に示す画面上で［メインメニューへ」が選択されると、図５に示すメニュー画面に戻る。

図３，図４に示す再生アプリのフローチャートに沿って説明する。

再生アプリが起動されると、先ず、ユーザにより、６０ｆｐｓの動画再生が選択されたか否かが判定される（ステップＳ０１）。再生される動画の選択は、図４，図５を参照して説明した通りである。６０ｆｐｓの動画再生が選択されると、次に、この動画再生を担うノートＰＣ（ここでは、図１，図２に示すノートＰＣ１０）の表示部の応答速度を、不揮発メモリ５３（図２参照）に記憶されているＢＩＯＳ情報等の機器情報から検知する（ステップＳ０２）。今回再生しようとする動画が６０ｆｐｓであって表示部の応答速度が６０ｆｐｓ未満のときは、そのままではコマ落ちが避けられないため図４に示すフローチャートに進み、フレームレートが変更される（ステップＳ０３）。ただし、ここでは先ず、今回再生しようとして選択された動画は６０ｆｐｓに満たないフレームレートで表示される動画であるか、又は表示部の応答速度が６０ｆｐｓ以上であってフレームレートの変更を必要としない場合について先に説明する。

ステップＳ０１で、６０ｆｐｓに満たないフレームレートの動画が選択されるか、あるいは、６０ｆｐｓの動画が選択された場合であっても表示部の応答速度が６０ｆｐｓ以上であると判定されると、ステップＳ０４に進む。ステップＳ０４では、動画再生処理が中断されたり終了したか否かが判定される。処理の中断／終了は、今回の動画が最終まで再生された場合、あるいはユーザにより中断が指示された場合等に発生する。処理の中断／終了が発生したときは、この再生アプリが終了する。処理中断／終了の発生がないときは動画コンテンツをＧＯＰを単位としてＨＤＤ５６から読み出して主メモリ５２に入力し（ステップＳ０５）、ＭＰＥＧ２復号処理が実行される（ステップＳ０６〜Ｓ０８）。

ここで、ＭＰＥＧ２のフレームフォーマットについて概要を説明する。ＭＰＥＧ２フォーマットに準拠した動画コンテンツは、Ｉフレーム（Ｉｎｔｒａ−ｃｏｄｅｄ Ｆｒａｍｅ）、Ｐフレーム（Ｐｒｅｄｉｃｔｅｄ Ｆｒａｍｅ）、Ｂフレーム（Ｂｉ−ｄｉｒｅｃｔｉｏｎａｌ Ｐｒｅｄｉｃｔｅｄ Ｆｒａｍｅ）の３種類のフレームを有し、Ｉ１−Ｂ２−Ｂ３−Ｐ４−Ｂ５−Ｂ６−Ｐ７−Ｂ８−Ｂ９−Ｐ１０−Ｂ１１−Ｂ１２−Ｐ１３−Ｂ１４−Ｂ１５の１５フレームで１つのＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ）を構成している。Ｉフレーム、Ｐフレーム、およびＢフレームの各１フレームあたりの平均的なデータ量は、概ねＩ：Ｐ：Ｂ＝４：２：１程度である。Ｉフレームは、フレーム間予測を用いずに符号化されるフレーム、Ｐフレームは前方予測のみを用いて符号化されるフレーム、Ｂフレームは前方予測、後方予測および双方向予測のうちのいずれかを選択して符号化されるフレームである。このＭＰＥＧ２では、フレーム間予測と呼ばれる技術が採用されている。フレーム間予測とは、動画では前のフレームと現在のフレームが良く似ていることを利用して前のフレームから現在のフレームを予測する技術である。フレーム間予測では、入力画像と予測画像の差分だけを符号化すれば足りるため高い圧縮率を得ることができる。ＭＰＥＧ２では、圧縮効率をさらに高めるために動き補償（ＭＣ；Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ）と呼ばれる技術が併用されている。動き補償とは、フレーム間予測において前のフレームと現在のフレームとの間でのフレーム内の物体の動きを補うものである。すなわち、現在のフレームを予測する場合に、フレーム内の物体の動きの分だけずらした位置の画像が用いられる。この動き補償を行なうには、画像の動き量を推定する動きベクトルと、その動きベクトルだけでは表現しきれない差分データを含むフレームデータが符号化される。

図７は、ＭＰＥＧ２における予測法の代表例である双方向予測（Ａ）と前方予測（Ｂ）の説明図である。

図７（Ａ）の双方向予測の場合、Ｐフレームは前方のＩフレーム又はＰフレームから予測され、Ｂフレームについては、前方のＩフレーム又はＰフレームと後方のＰフレームとの双方から予測される。

図７（Ｂ）の前方予測の場合、Ｂフレームについても常に前方のフレームから予測される。

ＭＰＥＧ２のフレームフォーマット等については広く知られた技術であり、ここでは以上の説明にとどめる。

図８は、ＭＰＥＧ２復号処理の概要を示す図である。ＭＰＥＧ２復号処理も広く知られた技術であるため、ここでは、この図８および図３のフローチャートを参照しながら、後述するフレームレートを下げる処理を含む復号処理（図９参照）との対比に必要な点のみ説明する。ここでは双方向予測を前提にして説明する。ただし、図８では図示の煩雑さを避けるため前方予測に基づく矢印を示している。

Ｉ１フレームは、そのＩ１フレームのみから復号化されてＦ１フレームが再生される。このＦ１フレームは、背景とそのＩ１フレーム内の移動領域Ｎ１とからなるフレームである。

また、Ｐ４フレームは、そのＰ４フレームとＩ１フレームから復号化されてＦ４フレームが再生される。このＦ４フレームは背景とそのＰ４フレーム内の移動領域とからなるフレームである。

Ｉ１フレームに続くＢ１フレームと、そのＢ１フレームに続くＢ２フレームは、それぞれ移動領域Ｎ１，Ｎ２のみ符号化されたフレームであり、Ｂ１フレーム，Ｂ２フレームのデータから移動領域Ｎ２，Ｎ３内の画像データと各移動領域Ｎ２，Ｎ３の移動量が算出され（ステップＳ０６）、さらにＩ１フレームとＰ４フレームとから再生される背景フレームと合成されて、Ｆ２フレームおよびＦ３フレームが再生される（ステップＳ０７）。Ｆ４フレームに続くＦ５フレーム、Ｆ６フレーム、…についても同様にして再生される。

１５フレームからなる１つのＧＯＰの再生が完了すると（ステップＳ０８）、ＧＯＰ（１５フレーム）単位で表示部に送信される（ステップＳ０９）。表示部は、表示画面３１（図１参照）上に送信されてきた動画データに基づく動画を表示する。

図９は、本件の一実施形態における復号処理の概要を示す図である。

図３のステップＳ０１において６０ｆｐｓで再生されるべき動画が選択され、かつステップＳ０３で表示部の表示速度が６０ｆｐｓ未満であると判定されると、図４のステップＳ１１に進む。ここでは、動画コンテンツのフレームレートを下げるために、この再生アプリを構成する１つのプログラム部品である補間フレーム構築エンジンがＨＤＤ５６から主メモリ５２上に読み込まれる。ステップＳ１１に続くステップＳ１２〜Ｓ１４は、図３のステップＳ０３〜Ｓ０６とそれぞれ同一の処理であり重複説明は省略する。

ステップＳ１５では、ステップＳ１１で読み込んだ補間フレーム構築エンジンにより、移動領域の移動量が平均化されて平均としての移動量Ｖ_ｍが算出され、ステップＳ１６では、移動領域Ｎより新移動領域Ｍが作成される。具体的には、Ｉ１フレーム内の移動領域Ｎ１からＢ２フレームの移動領域Ｎ２への移動量Ｖ_ｎ2の１／２の移動量Ｖ_ｍ１と、Ｂ２フレームの移動領域Ｎ２からＢ３フレームの移動領域Ｎ３への移動量Ｖ_ｎ３の１／２の移動量Ｖ_ｍ２が算出されるとともに、Ｉ１フレームの移動領域Ｎ１とＢ２フレームの移動領域Ｎ２の中間位置（移動量Ｖ_ｍ1の位置）にある新移動領域Ｍ１の画像データと、Ｂ２フレームの移動領域Ｎ２とＢ３フレームの移動領域Ｎ３との中間の位置（移動量Ｖ_ｍ２の位置）にある新移動領域Ｍ２の画像データが作成される。

図１０は、移動領域と移動量を示す図である。

この図１０は、仮想的に、背景フレームＦ上に、Ｉ１フレームの移動領域Ｎ１とＢ２フレームの移動領域Ｎ２を配置した状態が示されている。新移動領域Ｍ１は、移動領域Ｎ１から移動領域Ｎ２までの移動量Ｖ_ｎ2の半分の移動量Ｖ_ｍ１＝Ｖ_ｎ２／２を持つ新移動領域Ｍ１が作成される。例えば移動領域Ｎ１の座標が（００，００）であり、移動領域Ｎ２の座標が（１０，１０）のとき、移動領域Ｎ１から移動領域Ｎ２までの移動量Ｖ_ｎ２はＶ_ｎ２＝（１０，１０）であり、新移動領域Ｍ１の移動量Ｖ_ｍ１は、Ｖ_ｍ１＝（０５，０５）となる。また、この新移動領域Ｍ１は、２つの移動領域Ｎ１，Ｎ２が互いに異なる寸法の移動領域であったときは、それら２つの移動領域Ｎ１，Ｎ２の中間的な寸法を持つ。例えば、移動領域Ｎ１の面積が１０であって移動領域Ｎ２の面積が３０のときは、新移動領域Ｍ１は例えば面積２０となる。尚ここでは移動領域Ｎ１，Ｎ２、および新移動領域Ｍ１はいずれも長方形の枠で示されているが、長方形である必要はなく、変形した形状の領域であってもよい。

図９に戻って説明を続ける。

図９に示すように、新移動領域Ｍ１，Ｍ２が作成されると、ＭＰＥＧ復号演算処理により各新移動領域Ｍ１，Ｍ２がＩ１フレームやＰ４フレームから再生される背景画像と合成されて各補間フレームＦ１，Ｆ２全域の画像が再生される。その後に続く新移動領域Ｍ４，Ｍ５，…や補間フレームＦ４，Ｆ５，…についても同様にして作成、再生される。

上記のようにして１５フレーム分の処理を終了して（図４のステップＳ１８）１０フレーム分の補間フレームが作成されると（図４のステップＳ１９）、補間フレームがＧＯＰ（１０フレーム）単位での表示部５４（図２参照）に送信される。表示部５４では、送信されてきた補間フレームの連続からなる動画データに基づいてグラフィックモジュール５４１にて描画されて表示画面３１上に動画が表示される。

本実施形態では、上記のように、移動領域という、フレーム全域の画像からすると画像の狭い一部領域を使って新移動領域を算出して背景画像と合成しているため、フレーム全域の画像を作成してから補間フレームを作成する場合と比べ演算量を大幅に削減することができる。

次に、本実施形態の手法により、６０ｆｐｓのフレームレートで動画表示が可能であることの試算を示す。

図１１は、通常のＭＰＥＧ復号演算処理（Ａ）と補間演算処理後のＭＰＥＧ復号演算処理（Ｂ）とを示した図である。フレーム合成については説明済みであるため、ここでは合成の記述はしないで移動領域の平均化について説明する。

ここでの前提は、前述した通り、ＣＰＵの動作速度は、１．６ＧＨｚ、表示画面３１の表示能力は１０２４×５７４の画面サイズ、２４ビット色、最大フレームレート５０ｆｐｓである。

ＭＰＥＧデータは、前述の通り、Ｉ１→Ｂ２→Ｂ３→Ｐ４→Ｂ５→Ｂ６→…→Ｂ１４→Ｂ１５→Ｉ１６→…と続いていく。補間演算により新たに作成される新移動領域Ｍ１は、Ｉ１フレーム内の移動領域Ｎ１とＢ２フレームにより表わされる移動領域Ｎ２とを平均化した領域である。すなわち、移動領域Ｎ１から移動領域Ｎ２へ移動したときの移動量Ｖ_ｎ２に基づいて移動領域Ｎ１の位置と移動領域Ｎ２の位置を平均化してこれを平均化した移動量Ｖ_ｍ１＝Ｖ_ｎ２／２としてその座標に新移動領域Ｍ１を配置する。ここで、背景となる画像データは従来通りのＭＰＥＧ復号化で作成され、これをそのままコピーすればよく、この背景の画像データの作成のための新規の処理は必要としない。従来のＭＰＥＧ復号化処理では、１枚のフレーム画像を復号化するために５．６ｍｓｃの時間で処理可能である。これは、入力される画像データのフォーマットによって違いはあるが、実機検証からの既存処理における平均処理時間である。本実施形態では、従来のＭＰＥＧ復号化処理に加え、新たに新移動領域Ｍ１，Ｍ２，…を作成するための処理が追加される。この新移動領域Ｍ１，Ｍ２，…の作成にあたっては、移動領域Ｎ１，Ｎ２，…と移動量Ｖ_ｎ２，Ｖ_ｎ３，…とから新移動領域Ｍ１，Ｍ２，…を作成するため、１つの新移動領域を作成するのに５．６ｍｓｅｃは必要としない。この新移動領域を作成するのに要する時間は、概ね以下の通りである。

Ｂフレームの情報量はＩフレームの情報量の１／４、Ｐフレームの情報量はＩフレームの情報量の１／２であることから、
（Ｉフレーム数＋Ｂフレーム数／４＋Ｐフレーム数／２）×５．６ｍｓｅｃ
＝（１＋１０／４＋４／２）×４×５．６＝１２３．２ｍｓｅｃ
この１２３．２ｍｓｅｃは、図９の「補間演算処理」に要する時間であり、「移動領域算出処理」と「ＭＰＥＧ復号演算処理」に要する時間は、１フレームあたり５．６ｍｓｅｃに含まれる。よって６０フレームの画像を再生するのに必要な演算時間は、
５．６×６０＋１２３．２＝４５９．２ｍｓｅｃ
であって十分に１秒以内であり、上記の補間演算処理が追加されても動画を正常に表示することが可能である。

尚、本実施形態の場合、４０ｆｐｓの表示となるため、実際は４０ｆｐｓ／６０ｆｐｓの処理時間となり、処理時間は上記の見積もりよりもさらに短時間となる。

また、入力される動画データ自体は３０ｆｐｓであって、各フレームを２回ずつ表示することにより６０ｆｐｓの表示を実現する動画コンテンツも存在する。この場合も、処理時間は上記の見積りよりもさらに短時間となる。

このように、本実施形態によれば十分高速に、すなわち、少ない演算量で動画データのフレームレートを下げて動画表示することが可能である。

尚、ここでは３フレームから２フレームを作成することによりフレームレートを２／３に下げる例について説明したが、本件は、フレームレートを２／３に下げる場合のみでなく、フレームレートを下げる場合に広く適用することができる。

また、ここでは、ＭＰＥＧ２フォーマットの動画データを例に挙げて説明したが、ＭＰＥＧ２フォーマット以外のＭＰＥＧフォーマットであってもよい。さらには、ＭＰＥＧフォーマット以外であっても、動き補償を伴うフレーム間予測により復号化された動画データであってもよい。さらには、背景画像と動体の画像との双方の情報を有するフレームと背景画像を除く動体の画像の情報を有するフレームとの双方のフレームを含む複数のフレームが循環的に繰り返す動画データであれば本件を適用することができる。

１０ ノートＰＣ
２０ 本体ユニット
２１ キーボード
２２ タッチパッド
３０ 表示ユニット
３１ 表示画面
４０ 蝶番
５０ バス
５１ ＣＰＵ
５２ 主メモリ
５３ 不揮発メモリ
５４ 表示部
５５ 通信インタフェース
５６ ハードディスクドライブ
５７ 音声出力部
５４１ グラフィックモジュール
５７１ オーディオインタフェース
５７２ スピーカ

Claims (12)

1. 背景画像と動体の画像との双方の情報を有するフレームと背景画像を除く動体の画像の情報を有するフレームとの双方のフレームを含む複数のフレームが第１のフレームレートで循環的に繰り返す第１の動画データを取得する動画取得部と、
   前記動画取得部で取得した第１の動画データに基づいて前記第１のフレームレートよりも低い第２のフレームレートの第２の動画データを再生する動画再生部と、
   前記動画再生部で再生された第２の動画データに基づいて動画を表示する動画表示部とを有し、
   前記動画再生部が、
   前記第１の動画データを構成する複数のフレームの、動体が描写された移動領域内の画像と該移動領域の移動量とに基づいて、前記第２の動画データを構成する補間フレームの、動体が描写された新移動領域内の画像と該新移動領域の移動量とを算出する補間データ算出部と、
   前記補間データ算出部で算出された補間フレームの新移動領域の移動量に基づいて該新移動領域内の画像と背景画像とを合成することにより該補間フレーム全域の画像を再生するフレーム画像再生部とを有することを特徴とする動画再生装置。
2. 前記動画取得部が、動き補償を伴うフレーム間予測により符号化された第１のフレームレートの第１の動画データを取得するものであることを特徴とする請求項１記載の動画再生装置。
3. 前記動画取得部が、ＭＰＥＧフォーマットを有する第１のフレームレートの第１の動画データを取得するものであり、
   前記動画再生部が、前記第１の動画データを構成するＩフレーム又はＰフレームと該Ｉフレーム又はＰフレームに続く第１のＢフレームとの中間に位置する第１の補間フレームの画像と、該第１のＢフレームと該第１のＢフレームに続く第２のＢフレームとの中間に位置する第２の補間フレームの画像とが交互に配置された前記第２の動画データを再生するものであることを特徴とする請求項２記載の動画再生装置。
4. 前記補間データ算出部が、前記第１の動画データを構成するＩフレーム又はＰフレームと該Ｉフレーム又はＰフレームに続く第１のＢフレームとの中間に位置する第１の補間フレームの新移動領域内の画像および該新移動領域の移動量の算出と、該第１のＢフレームと該第１のＢフレームに続く第２のＢフレームとの中間に位置する第２の補間フレームの新移動領域内の画像および該新移動領域の移動量の算出とを担うものであり、
   前記フレーム画像再生部が前記第１の補間フレームと前記第２の補間フレームとの双方の画像の再生を担うものであることを特徴とする請求項３記載の動画再生装置。
5. 動画データを取得する動画取得部と、動画を表示する動画表示部と、プログラムを実行するプログラム実行部とを有する演算装置内で実行され、該演算装置内に、前記動画取得部が背景画像と動体の画像との双方の情報を有するフレームと背景画像を除く動体の画像の情報を有するフレームとの双方のフレームを含む複数のフレームが第１のフレームレートで循環的に繰り返す第１の動画データを取得した場合の該第１の動画データに基づいて該第１のフレームレートよりも低い第２のフレームレートの第２の動画データを再生して前記動画表示部に該第２の動画データに基づく動画を表示させる動画再生部を構築する動画再生プログラムであって、
   前記演算装置内に、
   前記第１の動画データを構成する複数のフレームの、動体が描写された移動領域内の画像と該移動領域の移動量とに基づいて、前記第２の動画データを構成する補間フレームの、動体が描写された新移動領域と該新移動領域の移動量とを算出する補間データ算出部と、
   前記補間データ算出部で算出された補間フレームの新移動領域の移動量に基づいて該新移動領域内の画像と背景画像とを合成することにより該補間フレーム全域の画像を再生するフレーム画像再生部とを有する動画再生部を構築することを特徴とする動画再生プログラム。
6. 前記動画再生部が、前記動画取得部が動き補償を伴うフレーム間予測により符号化された第１のフレームレートの第１の動画データを取得した場合の該第１の動画データに基づいて該第１のフレームレートよりも低い第２のフレームレートの第２の動画データを再生するものであることを特徴とする請求項５記載の動画再生プログラム。
7. 前記動画再生部が、前記動画取得部がＭＰＥＧフォーマットを有する第１のフレームレートの動画データを取得した場合の該第１の動画データを構成するＩフレーム又はＰフレームと該Ｉフレーム又はＰフレームに続く第１のＢフレームとの中間に位置する第１の補間フレームの画像と、該第１のＢフレームと該第１のＢフレームに続く第２のＢフレームとの中間に位置する第２の補間フレームの画像とが交互に配置された前記第２の動画データを再生するものであることを特徴とする請求項６記載の動画再生プログラム。
8. 前記補間データ算出部が、前記第１の動画データを構成するＩフレーム又はＰフレームと該Ｉフレーム又はＰフレームに続く第１のＢフレームとの中間に位置する第１の補間フレームの新移動領域内の画像および該新移動領域の移動量の算出と、該第１のＢフレームと該第１のＢフレームに続く第２のＢフレームとの中間に位置する第２の補間フレームの新移動領域内の画像および該移動領域の移動量の算出とを担うものであり、
   前記フレーム画像再生部が前記第１の補間フレームと前記第２の補間フレームとの双方の画像の再生を担うものであることを特徴とする請求項７記載の動画再生プログラム。
9. 背景画像と動体の画像との双方の情報を有するフレームと背景画像を除く動体の画像の情報を有するフレームとの双方のフレームを含む複数のフレームが第１のフレームレートで循環的に繰り返す第１の動画データを取得する動画取得過程と、
   前記動画取得過程で取得した第１の動画データに基づいて前記第１のフレームレートよりも低い第２のフレームレートの第２の動画データを再生する動画再生過程と、
   前記動画再生過程で再生された第２の動画データに基づいて動画を表示する動画表示過程とを有し、
   前記動画再生過程が、
   前記第１の動画データを構成する複数のフレームの、動体が描写された移動領域内の画像と該移動領域の移動量に基づいて、前記第２の動画データを構成する補間フレームの、動体が描写された新移動領域内の画像と該新移動領域の移動量とを算出する補間データ算出過程と、
   前記補間データ算出過程で算出された補間フレームの新移動領域の移動量に基づいて該新移動領域内の画像と背景画像とを合成することにより該補間フレーム全域の画像を再生するフレーム画像再生過程とを有することを特徴とする動画再生方法。
10. 前記動画取得過程が、動き補償を伴うフレーム間予測により符号化された第１のフレームレートの第１の動画データを取得する過程であり、
    前記動画再生過程が、前記動画取得過程で取得した第１の動画データに基づいて前記第１のフレームレートよりも低い第２のフレームレートの第２の動画データを再生する過程であることを特徴とする請求項９記載の動画再生方法。
11. 前記動画取得過程が、ＭＰＥＧフォーマットを有する第１のフレームレートの第１の動画データを取得する過程であり、
    前記動画再生過程が、前記第１の動画データを構成するＩフレーム又はＰフレームと該Ｉフレーム又はＰフレームに続く第１のＢフレームとの中間に位置する第１の補間フレームの画像と、該第１のＢフレームと該第１のＢフレームに続く第２のＢフレームとの中間に位置する第２の補間フレームの画像とが交互に配置された前記第２の動画データを再生する過程であることを特徴とする請求項１０記載の動画再生方法。
12. 前記補間データ算出過程が、前記第１の動画データを構成するＩフレーム又はＰフレームと該Ｉフレーム又はＰフレームに続く第１のＢフレームとの中間に位置する第１の補間フレームの新移動領域内の画像および該新移動領域の移動量の算出と、該第１のＢフレームと該第１のＢフレームに続く第２のＢフレームとの中間に位置する第２の補間フレームの新移動領域内の画像および該新移動領域の移動量の算出とを担う過程であり、
    前記フレーム画像再生過程が前記第１の補間フレームと前記第２の補間フレームとの双方の画像の再生を担う過程であることを特徴とする請求項１１記載の動画再生方法。

Images