JP4564565B2 - 再生装置および再生装置の制御方法 - Google Patents

Description

本発明は、超解像度変換処理の実行／非実行を切り替える再生装置および再生装置の制御方法に関する。

近年、画素数が１９２０×１０８０のフルＨＤ仕様のテレビが珍しくなくなった。ところが、フルＨＤ仕様のコンテンツは少ない状態である。そこで、従来のＳＤ画質のＤＶＤ等のコンテンツに対して高画素化変換処理を行ってＨＤ画質に変換して、フルＨＤ仕様のテレビのテレビで観ることが行われている。

非特許文献１には、高画素化変換処理として超解像技術を用いた変換処理を行うノートブック型パーソナルコンピュータが開示されている。

熊谷明、外２名、「映像の高画質化を実現した超解像技術」、東芝レビュー、株式会社 東芝、２００８年１１月１日、６３巻、１１号、ｐ．５０−Ｐ５３

ところで、高画素化変換処理を行う手法には幾つかある。例えば、バイキュービック法とバイリニア法とがある。超解像技術を用いたバイキュービック法はバイリニア法よりプロセッサの負荷が高い。

現在、パーソナルコンピュータでバイキュービック法をリアルタイムで行うことは困難である。そこで、オペレーティングシステムやアプリケーション等が実行されるプロセッサとは別の高速なプロセッサにバイキュービック法を用いた超解像度変換処理を肩代わりさせることが考えられる。

例えば、別の高速なプロセッサをＰＣＩ Ｅｘｐｒｅｓｓ規格のシリアルバスでブリッジ回路に接続することを考える。ＰＣＩ Ｅｘｐｒｅｓｓ規格では双方向で通信を行うことができる。ＰＣＩ Ｅｘｐｒｅｓｓ規格の片方向の実効的なデータ伝送レートは約２５０ＭＢ／ｓｅｃである。一方、フルＨＤ画質のビデオデータを伝送するために必要な伝送レートは約１８７ＭＢ／ｓである。従って、ＰＣＩ Ｅｘｐｒｅｓｓ規格でフルＨＤ画質のビデオデータを伝送するには、あまり余裕がなく、別のプロセッサに供給するデータ量をできるだけ少なくすることが望ましい。

また一方で、超解像度変換処理後の画像を好むかどうかはユーザの嗜好によるところが大きいので、動画を再生しながら動的に超解像度変換処理の実行／非実行の切り替えて見比べたいという要求もある。

本発明の目的は、超解像度変換処理を実行するプロセッサに供給するデータ量を抑制すると共に、超解像度変換処理の実行／非実行の切り替えを動的に行うことが可能な再生装置および再生装置の制御方法を提供することにある。

本発明の一例に係わる再生装置は、第１メモリと、前記第１メモリを作業メモリとして利用し、前記第１メモリに符号化されているビデオデータのストリームが格納される第１ストリームバッファ領域が確保し、前記ビデオデータのストリームをデコードするためのデコード回路と、前記デコード回路によってデコードされたビデオデータの画素数を増大させる超解像変換処理を実行する演算器とを有するマルチメディアプロセッサと、前記超解像度変換処理の実行／非実行を切り替えるための切替要求を発行する発行手段と、第２メモリと、前記第２メモリを作業メモリとして利用し、前記ビデオデータのストリームをデコードするデコード処理を実行するデコードプログラムアプリケーションであって、前記第２メモリに前記符号化されているビデオデータのストリームが格納される第２ストリームバッファ領域と、デコード処理に係わるデータが格納されるデコードバッファ領域とを確保するデコードプログラムアプリケーションと、前記発行手段が発行した前記切替要求に応じて、前記符号化されているビデオデータを管理する単位である画面群構造を分割しないように、前記符号化されているビデオデータの提供先を前記マルチメディアプロセッサおよび前記デコードプログラムアプリケーションの一方から他方に切り替える処理を実行する切替プログラムアプリケーションであって、前記第１メモリ内のストリームバッファ領域内にデータが格納されていない状態で前記マルチメディアプロセッサから前記デコードプログラムアプリケーションに切り替え、前記第２メモリ内のストリームバッファ領域および前記デコードバッファ領域内にデータが格納されていない状態で前記デコードプログラムアプリケーションから前記マルチメディアプロセッサに切り替える切替プログラムアプリケーションとを実行するメインプロセッサと、を具備することを特徴とする。

本発明によれば、プロセッサを用いてビデオデータの超解像度変換処理を実行する場合にプロセッサに供給するデータ量を抑制すると共に、超解像度変換処理の実行／非実行の切り替えを動的に行うことが可能になる。

本発明の一実施形態に係わる再生装置としてのノートブック型パーソナルコンピュータを示す斜視図。 図１に示すパーソナルコンピュータのシステム構成を示すブロック図。 図２に示すマルチメディアプロセッサのシステム構成を示すブロック図。 ＤＶＤビデオシステムのビデオオブジェクトの階層構造と、ナビゲーションパックのデータ内容の説明図。 ビデオ，オーディオ，副映像パックの構成説明図。 アップコンバート／非アップコンバートの切り替えるための操作等を行うためにＬＣＤに表示される再生コントロールパネルを示す図。 ＣＰＵで実行されるＤＶＤアプリケーションの構成を示すブロック図。 本発明の一実施形態に係わるアップコンバート／非アップコンバート切り替え処理を実行するためのモジュールを説明するためのブロック図。 アップコンバートしていないＳＤ画質で再生を行っている状態からユーザがアップコンバートを指示してアップコンバートして再生する場合を示す図。 アップコンバートしているＨＤ画質で再生を行っている状態から、ユーザが非アップコンバートを指示して、アップコンバートしていないＳＤ画質で再生する場合を示す図。 提供先切替モジュール６０１の処理の手順を示すフローチャート。

本発明の実施の形態を以下に図面を参照して説明する。

まず、図１および図２を参照して、本発明の一実施形態に係る再生装置の構成を説明する。本実施形態の再生装置は、例えば、情報処理装置として機能するノートブック型の携帯型パーソナルコンピュータ１０から実現されている。

このパーソナルコンピュータ１０は、放送番組データ、外部機器から入力されるビデオデータといった、映像コンテンツデータ（オーディオビジュアルコンテンツデータ）を記録および再生することができる。即ち、パーソナルコンピュータ１０は、テレビジョン放送信号によって放送される放送番組データの視聴および録画を実行するためのテレビジョン（ＴＶ）機能を有している。このＴＶ機能は、例えば、パーソナルコンピュータ１０に予めインストールされているＴＶアプリケーションプログラムによって実現されている。また、ＴＶ機能は、外部のＡＶ機器から入力されるビデオデータを記録する機能、および記録されたビデオデータおよび記録された放送番組データを再生する機能も有している。

図１はコンピュータ１０のディスプレイユニットを開いた状態における斜視図である。本コンピュータ１０は、コンピュータ本体１１と、ディスプレイユニット１２とから構成されている。ディスプレイユニット１２には、ＴＦＴ−ＬＣＤ（Thin Film Transistor Liquid Crystal Display）１７から構成される表示装置が組み込まれている。ＬＣＤの画素数は１９２０×１０８０のフルＨＤ仕様である。

ディスプレイユニット１２は、コンピュータ本体１１に対し、コンピュータ本体１１の上面が露出される開放位置とコンピュータ本体１１の上面を覆う閉塞位置との間を回動自在に取り付けられている。コンピュータ本体１１は薄い箱形の筐体を有しており、その上面にはキーボード１３、本コンピュータ１０をパワーオン／パワーオフするためのパワーボタン１４、入力操作パネル１５、タッチパッド１６、およびスピーカ１８Ａ，１８Ｂなどが配置されている。

入力操作パネル１５は、押されたボタンに対応するイベントを入力する入力装置であり、複数の機能をそれぞれ起動するための複数のボタンを備えている。これらボタン群には、ＴＶ機能（視聴、録画、録画された放送番組データ／ビデオデータの再生）を制御するための操作ボタン群も含まれている。また、コンピュータ本体１１の正面には、本コンピュータ１０のＴＶ機能をリモート制御するリモコンユニットとの通信を実行するためのリモコンユニットインタフェース部２０が設けられている。リモコンユニットインタフェース部２０は、赤外線信号受信部などから構成されている。

コンピュータ本体１１の例えば右側面には、ＴＶ放送用のアンテナ端子１９が設けられている。また、コンピュータ本体１１の例えば背面には、例えばＨＤＭＩ(high-definition multimedia interface)規格に対応した外部ディスプレイ接続端子が設けられている。この外部ディスプレイ接続端子は、放送番組データのような映像コンテンツデータに含まれる映像データ（動画像データ）を外部ディスプレイに出力するために用いられる。

次に、図２を参照して、本コンピュータ１０のシステム構成について説明する。

本コンピュータ１０は、図２に示されているように、ＣＰＵ（メインプロセッサ）１０１、ノースブリッジ１０２、主メモリ１０３、サウスブリッジ１０４、グラフィクスプロセッシングユニット（ＧＰＵ）（サブプロセッサ）１０５、ビデオメモリ（ＶＲＡＭ）１０５Ａ、サウンドコントローラ１０６、ＢＩＯＳ−ＲＯＭ１０９、ＬＡＮコントローラ１１０、ハードディスクドライブ（ＨＤＤ）１１１、ＤＶＤドライブ１１２、マルチメディアプロセッサ１１３、メモリ１１３Ａ、無線ＬＡＮコントローラ１１４、IEEE 1394コントローラ１１５、エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１１６、およびＴＶチューナ１１７等を備えている。

ＣＰＵ１０１は本コンピュータ１０の動作を制御するプロセッサであり、ハードディスクドライブ（ＨＤＤ）１１１から主メモリ１０３にロードされる、オペレーティングシステム（ＯＳ）２０１、およびＤＶＤアプリケーションプログラム２０２のような各種アプリケーションプログラムを実行する。ＤＶＤアプリケーションプログラム２０２はＤＶＤドライブ１１２に装填されたＤＶＤを再生するためのソフトウェアである。また、ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０９に格納されたＢＩＯＳ（Basic Input Output System）も実行する。ＢＩＯＳはハードウェア制御のためのプログラムである。

ノースブリッジ１０２はＣＰＵ１０１のローカルバスとサウスブリッジ１０４との間を接続するブリッジデバイスである。ノースブリッジ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ１０２は、PCI EXPRESS規格のシリアルバスなどを介してＧＰＵ１０５との通信を実行する機能も有している。

ＧＰＵ１０５は、本コンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７を制御する表示コントローラである。このＧＰＵ１０５によって生成される表示信号はＬＣＤ１７に送られる。また、ＧＰＵ１０５は、ＨＤＭＩ制御回路３およびＨＤＭＩ端子２を介して、外部ディスプレイ装置１にデジタル映像信号を送出することもできる。

ＨＤＭＩ端子２は上述の外部ディスプレイ接続端子である。ＨＤＭＩ端子２は、非圧縮のデジタル映像信号と、デジタルオーディオ信号とを一本のケーブルでテレビのような外部ディスプレイ装置１に送出することができる。ＨＤＭＩ制御回路３は、ＨＤＭＩモニタと称される外部ディスプレイ装置１にデジタル映像信号をＨＤＭＩ端子２を介して送出するためのインタフェースである。

サウスブリッジ１０４は、ＬＰＣ（Low Pin Count）バス上の各デバイス、およびＰＣＩ（Peripheral Component Interconnect）バス上の各デバイスを制御する。また、サウスブリッジ１０４は、ハードディスクドライブ（ＨＤＤ）１１１およびＤＶＤドライブ１１２を制御するためのＩＤＥ（Integrated Drive Electronics）コントローラを内蔵している。さらに、サウスブリッジ１０４は、サウンドコントローラ１０６との通信を実行する機能も有している。

またさらに、サウスブリッジ１０４には、PCI EXPRESS（ＰＣＩｅ）規格のシリアルバスなどを介してマルチメディアプロセッサ１１３が接続されている。

メモリ１１３Ａは、マルチメディアプロセッサ１１３の作業メモリとして用いられる。マルチメディアプロセッサ１１３は、図３に示すように、圧縮符号化されているビデオデータをデコードするために設けられたＭＰＥＧ−２デコード回路３０１、および４個の演算コア３１１〜３１４等が１チップに搭載されている。それぞれの演算コア３１１〜３１４は、メディア処理性能が高く、性能 対消 費電力が高い。ＤＶＤアプリケーションプログラム２０２がＤＶＤを再生する際、ＭＰＥＧ−２デコード回路３０１はＤＶＤのビデオデータのデコードを行う。また、４個の演算コア３１１〜３１４は、デコード回路３０１によってデコードされた画素数が７２０×４８０であるビデオデータに対してインターレス−プログレッシブ変換（ＩＰ変換）処理を行う。４個の演算コア３１１〜３１４は、画素数が７２０×４８０であるＳＤ画質のビデオデータを画素数が１９２０×１０８０のＨＤ画質に変換する超解像度変換処理を行う。マルチメディアプロセッサ１１３による超解像度変換処理にはバイキュービック法（三次畳み込み内挿方（ＣＣ法））が用いられる。バイキュービック法を用いた超解像度変換処理を実行するためには多くの演算量が必要とされる。本実施形態においては、ＣＰＵ１０１とは異なる専用のプロセッサであるマルチメディアプロセッサ１１３の演算コア３１１〜３１４がバックエンドプロセッサとして使用され、このマルチメディアプロセッサ１１３によって超解像度変換処理が実行される。よって、ＣＰＵ１０１の負荷の増加を招くことなく、超解像度変換処理を実行することが出来る。

なお、ＤＶＤアプリケーションプログラム２０２は、ビデオデータをデコードするためにＣＰＵ１０１によって実行されるデコードモジュールを有する。ＤＶＤアプリケーションプログラム２０２のデコードモジュールを用いてデコードした場合、ＬＣＤ１７にビデオデータを表示するためにデコードされたビデオデータはＧＰＵ１０５の高画素化変換機能を用いて画素数が７２０×４８０であるＳＤ画質のビデオデータを画素数が１９２０×１０８０のＨＤ画質に変換される。ＧＰＵ１０５の高画素化変換機能は、バイキュービック法（三次畳み込み内挿法（ＣＣ法））より処理が軽い（計算量が少ない）が、画質が劣るバイリニア法によって高画素化変換処理が行われる。

尚ここで、ＧＰＵ１０５がバイリニア法によって高画素化変換処理を行うのは、ＧＰＵ１０５に入力されたビデオデータの画素数が、ＬＣＤ１７やＨＤＭＩ端子２から出力すべき画素数と異なる場合である。出力すべき画素数と、ＧＰＵ１０５に入力された画素数とが一致している場合には、ＧＰＵ１０５は高画素化変換処理を行わない。

マルチメディアプロセッサ１１３によってデコードおよび高画素化変換を行うか、ＤＶＤアプリケーションプログラム２０２およびＧＰＵ１０５の組み合わせによってデコードおよび高画素化変換を行うかは、ユーザが選択することができる。以下では、マルチメディアプロセッサ１１３によってデコードおよび高画素化変換を行う場合を、マルチメディアプロセッサ１１３によってアップコンバートすると称する。

サウンドコントローラ１０６は音源デバイスであり、再生対象のオーディオデータをスピーカ１８Ａ，１８ＢまたはＨＤＭＩ制御回路３に出力する。

無線ＬＡＮコントローラ１１４は、たとえばIEEE 802.11規格の無線通信を実行する無線通信デバイスである。IEEE 1394コントローラ１１５は、IEEE 1394規格のシリアルバスを介して外部機器との通信を実行する。

エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１１６は、電力管理のためのエンベデッドコントローラと、キーボード（ＫＢ）１３およびタッチパッド１６を制御するためのキーボードコントローラとが集積された１チップマイクロコンピュータである。このエンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１１６は、ユーザによるパワーボタン１４の操作に応じて本コンピュータ１０をパワーオン／パワーオフする機能を有している。さらに、エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１１６は、リモコンユニットインタフェース部２０との通信を実行する機能を有している。

ＴＶチューナ１１７はテレビジョン（ＴＶ）放送信号によって放送される放送番組データを受信する受信装置であり、アンテナ端子１９に接続されている。このＴＶチューナ１１７は、例えば、地上波デジタルＴＶ放送のようなデジタル放送番組データを受信可能なデジタルＴＶチューナとして実現されている。また、ＴＶチューナ１１７は、外部機器から入力されるビデオデータをキャプチャする機能も有している。

ここでＤＶＤビデオシステムに規定されているデータ構造と、その管理情報について説明する。
図４には、ビデオオブジェクト（ＶＯＢ）の階層構造を示している。ＶＯＢは１つのタイトルに相当し、ビデオタイトルセットとも称せられる。これは例えば映画の１タイトルの収録分に相当する。ビデオオブジェクトは、その再生を管理するために複数のセルに分割されて管理される。ここで１つのセルは、複数のビデオオブジェクトユニット（ＶＯＢＵ）を含むように設定されている。ＶＯＢＵは、ビデオ再生時間で０．４〜１．０秒の時間となる単位である。１つのＶＯＢＵは、ナビゲーションパック（ＮＶ＿ＰＣＫ）、複数のビデオパック（Ｖ＿ＰＣＫ）、複数のオーディオパック（Ａ＿ＰＣＫ）、複数の副映像パック（ＳＰ＿ＰＣＫ）からなる。

１つのＶＯＢＵの先頭に１つのＮＶ＿ＰＣＫが位置するように配置される。ＮＶ＿ＰＣＫは、その属するＶＯＢＵのデータを再生する場合に参照される制御データである。ＮＶ＿ＰＣＫは、データサーチ情報（ＤＳＩ）、ピクチャー制御情報（ＰＣＩ）から成る。

ＰＣＩは、ＶＯＢＵの開始プレゼンテーション時間、終了プレゼンテーション時間を示している。またＰＣＩは、ノンシームレスアングル情報を示し、再生するビデオストリーム（アングル）が切替えられたときに、各アングルの次に再生すべきＶＯＢＵのアドレスを有する。また、ハイライト情報も有し、ハイライト情報の開始プレゼンテーション時間、終了プレゼンテーション時間、ボタン表示位置情報等を含む。

ＤＳＩは、一般情報として、本ＤＳＩを含むＮＶ＿ＰＣＫのシステムクロック、ＶＯＢＵの終了アドレス、ＶＯＢＵの参照（Ｉ）ピクチャーの終了アドレス等を有する。またシームレス再生情報（ＳＭＬ＿ＰＢＩ）として、ＶＯＢＵのカテゴリー、インターリーブユニット（マルチアングルの切替え単位として区切られたユニット）の終了アドレス、ジャンプすべき次のインターリーブユニットのサイズ及び開始アドレス、ＶＯＢ内のビデオの開始及び終了アドレスなどを有する。さらにまたシームレスアングル情報（ＳＭＬ＿ＡＧＬＩ）としては、次に行き先のインターリーブユニットのアドレスとサイズがアングル数分用意されている。さらにコマ送りや逆送りなどの特殊再生を行なう場合に利用される情報としてＶＯＢＵサーチ情報（ＶＯＢＵ＿ＳＲＩ）が用意され、本ＶＯＢＵの前後の複数のＶＯＢＵの先頭アドレスが記述されている。さらにまた、ジャンプしたときに、当該ＶＯＢＵの位置で同期すべきオーディオや副映像のアドレスも同期情報（ＳＹＮＣ）として記述されている。

図５は、ビデオパック、オーディオパック、副映像パックのパック構成を示している。パックには、パックヘッダが設けられており、このパックヘッダには、システムクロックリファレンス（ＳＣＲ）が記述される。Ｉピクチャを含むＶＯＢＵにはこのＳＣＲが記述されている。このＳＣＲは、再生装置内のシステムクロック発生器をリセットし、基準時間を設定するのに利用される。さらにパックヘッダに続いてパケットヘッダが付加されている。パケットヘッダには、プレゼンテーションタイムスタンプ（ＰＴＳ）が記述されている。Ｉピクチャを含むＶＯＢＵにはこのＰＴＳが必ず記述されている。続いてビデオデータ、あるいはオーディオデータ、或は副映像データが存在する。１パック長は２０４８バイトに規定されている。

上記のように、各パックには、プレゼンテーションタイムスタンプ（ＰＴＳ）が記述されており、このＰＴＳと再生装置内のシステムクロックから得られる時間情報とをあわせて再生処理を行なうことで、ビデオ、オーディオ、副映像の再生同期を得ることができる。

ビデオオブジェクトユニット（ＶＯＢＵ）内にはグループオブピクチャズ（ＧＯＰ）が分割されないように含まれている。グループオブピクチャズ（ＧＯＰ）はＩピクチャ、Ｂピクチャで構成され、このデータの連続が分割されビデオパックとなっている。ＧＯＰは、ＭＰＥＧ−２においてビデオデータの管理の最小の単位である。デコーダは、ＧＯＰ単位で再生処理が行うので、ＧＯＰの一部が欠けていると、そのＧＯＰを正しくデコードすることが出来ない。

また、ＤＶＤビデオの仕様では、全てのＧＯＰの前にシーケンスヘッダを付加しなければならないと定められている。シーケンスヘッダは、アスペクト比、ビットレート、ピクチャ解像度、およびフレームレートなどのビデオストリームについての情報を含む。

本装置は、アップコンバート時と非アップコンバート時とで異なるデコーダを用いている。従って、アップコンバート時と非アップコンバートとを切り替えるためには、デコーダを切り替えるためには、ＧＯＰを分割しないようにデコーダを切り替えなければならない。拠って補正、隣接するＧＯＰの区切りでデコーダを切り替えるようにしなければならない。そこで、本装置では、ユーザがアップコンバート／非アップコンバートの切り替えるための操作を行った場合、シーケンスヘッダを検出し、隣接するＧＯＰの区切りでデコーダを切り替えるようにする。

図６にユーザがアップコンバート／非アップコンバートの切り替えるための操作等を行うためにＬＣＤ１７に表示される再生コントロールパネル４００を示す。再生コントロールパネル４００は、プレイボタン４０１、ストップボタン４０２、ポーズボタン４０３、ファスト・フォーワードボタン４０４、ファスト・リウインドボタン４０５、順スロー再生ボタン４０６、次チャプタボタン４０７、前チャプタボタン４０８、ワンタッチリプレイボタン４０９、ワンタッチスキップボタン４１０、リピートボタン４１１、音声切り替えボタン４１２、字幕切り替えボタン４１３、ドライブ／フォルダ指定ボタン４１４、アングル切り替えボタン４１５、取り出しボタン４１８、リターンボタン４１９、メニューボタン４２０、トップメニューボタン４２１、消音ボタン４２２、チャプタ・タイトル検索ボタン４２３等を有する。また、再生コントロールパネル４００は、アップコンバート切替ボタン４３１、アップコンバート状態表示領域４３２を有する。

プレイボタン４０１は、ユーザがＤＶＤアプリケーションプログラム２０２にコンテンツの再生を指示するために設けられている。ストップボタン４０２は、ユーザがＤＶＤアプリケーションプログラム２０２に再生の停止を指示するために設けられている。ポーズボタン４０３は、ユーザがＤＶＤアプリケーションプログラム２０２に再生の一時停止を指示するために設けられている。ファスト・フォーワードボタン４０４は、ユーザがＤＶＤアプリケーションプログラム２０２に早送り再生を指示するために設けられている。ファスト・リウインドボタン４０５は、ユーザがＤＶＤアプリケーションプログラム２０２に早戻し再生を指示するために設けられている。順スロー再生ボタン４０６は、ユーザがＤＶＤアプリケーションプログラム２０２に順方向のスロー再生を指示するために設けられている。次チャプタボタン４０７は、ユーザがＤＶＤアプリケーションプログラム２０２に次のチャプタの先頭からの再生を指示するために設けられている。前チャプタボタン４０８は、ユーザがＤＶＤアプリケーションプログラム２０２に前のチャプタの先頭からの再生を指示するために設けられている。ワンタッチリプレイボタン４０９は、ユーザがＤＶＤアプリケーションプログラム２０２に現在の再生位置から約１０秒前からの再生を指示するために設けられている。ワンタッチスキップボタン４１０は、現在の再生位置から約３０秒後からの再生を指示するために設けられている。リピートボタン４１１は、ユーザがＤＶＤアプリケーションプログラム２０２にチャプタ、タイトルのリピート再生および解除を指示するために設けられている。音声切り替えボタン４１２は、ユーザがＤＶＤアプリケーションプログラム２０２に再生言語の切り替えを指示するために設けられている。字幕切り替えボタン４１３は、ユーザがＤＶＤアプリケーションプログラム２０２に字幕言語の切り替えを指示するために設けられている。ドライブ／フォルダ指定ボタン４１４は、ユーザがＤＶＤアプリケーションプログラム２０２にドライブ／フォルダを指定に設けられている。アングル切り替えボタン４１５は、ユーザがＤＶＤアプリケーションプログラム２０２にアングルの切り替えを指示するために設けられている。取り出しボタン４１８は、ユーザがＤＶＤアプリケーションプログラム２０２にＤＶＤドライブ１１２から光ディスクの排出を指示するために設けられている。リターンボタン４１９は、ユーザがＤＶＤアプリケーションプログラム２０２に元に戻る操作を指示するために設けられている。メニューボタン４２０は、ユーザがＤＶＤアプリケーションプログラム２０２にメニューの表示を指示するために設けられている。トップメニューボタン４２１は、ユーザがＤＶＤアプリケーションプログラム２０２にトップメニューの表示を指示するために設けられている。消音ボタン４２２は、ユーザがＤＶＤアプリケーションプログラム２０２に出力音声のミュートを指示するために設けられている。チャプタ・タイトル検索ボタン４２３は、ユーザがＤＶＤアプリケーションプログラム２０２にチャプタ検索またはタイトル検索を指示するために設けられている。

ユーザがアップコンバート切替ボタン４３１上にポインタを移動させた後に左ボタンを押圧操作することで、アップコンバート／非アップコンバートの切り替えが行われる。アップコンバート時にアップコンバート状態表示領域４３２には“アップコンバート”の文字が表示される。非アップコンバート時にアップコンバート状態表示領域４３２には“アップコンバート”の文字が表示されない。

次に、再生を行うために本装置のＣＰＵ１０１で実行されるＤＶＤアプリケーションプログラム２０２の構成を図７に示す。このプレイヤソフトは、コンテンツの再生を行うためにマイクロソフト社製のＯＳであるＷｉｎｄｏｗｓ（登録商標）環境下で実行されるＭｅｄｉａＦｏｕｎｄａｔｉｏｎといわれる技術を用いる。ＭｅｄｉａＦｏｕｎｄａｔｉｏｎはＷｉｎｄｏｗｓでマルチメディアコンテンツを扱うためのＣＯＭ（Component Object Model）ベースのＡＰＩ（Application Programming Interface）セットである。ＭｅｄｉａＦｏｕｎｄａｔｉｏｎはいろいろな機能を持ったモジュールの集合体であるといえる。動画を再生するために、複数のモジュールを有するモジュールライブラリから選択した複数のモジュールを組み合わせてグラフを構築する。

マイクロソフト社は、ＭｅｄｉａＦｏｕｎｄａｔｉｏｎを提供する前にＤｉｒｅｃｔＳｈｏｗを提供していた。ＤｉｒｅｃｔＳｈｏｗでは、マルチメディアコンテンツの再生の停止という概念が有った。ＤｉｒｅｃｔＳｈｏｗを利用するソフトウェアアプリケーションは、ＤｉｒｅｃｔＳｈｏｗが発行する停止を示すコマンドを受け取ることで、マルチメディアコンテンツの再生が停止したことを知ることができた。ところが、ＭｅｄｉａＦｏｕｎｄａｔｉｏｎでは、マルチメディアコンテンツの再生の停止という概念が無くなり、ＭｅｄｉａＦｏｕｎｄａｔｉｏｎを利用するソフトウェアアプリケーションは、マルチメディアコンテンツの停止中であることを知ることができなくなった。

ところで、ＭｅｄｉａＦｏｕｎｄａｔｉｏｎでは、コンテンツの再生停止時にデコードを行っているプロセッサが使用しているワークメモリ内のキャッシュの内容をクリアするためにクリア命令をプロセッサに対して発行する。従って、停止時にワークメモリ内のキャッシュの内容はクリアされているので、ワークメモリ内のキャッシュ領域を調べることで、停止中であるか否かを判別することができる。

ＤＶＤドライブ１１２によって再生されたＤＶＤのデータはナビゲーションモジュール５０１に送られる。ナビゲーションモジュール５０１は、ビデオパック（Ｖ＿ＰＣＫ）、サブピクチャパック（ＳＰ＿ＰＣＫ）、及びオーディオパック（Ａ＿ＰＣＫ）を分離する。ナビゲーションモジュール５０１はオーディオパック（Ａ＿ＰＣＫ）をオーディオデコーダモジュール５１１に渡す。また、ナビゲーションモジュール５０１はビデオパック（Ｖ＿ＰＣＫ）およびサブピクチャパック（ＳＰ＿ＰＣＫ）をビデオデコーダモジュールに渡す。

オーディオデコーダモジュール５１１は圧縮されている音声情報を伸張して無圧縮のオーディオデータに変換し、オーディオデータをオーディオレートコンバータモジュール５１２に渡す。オーディオレートコンバータモジュール５１２は、オーディオデータを適切なサンプリングレートに変換して、オーディオレンダラ５１３に渡す。オーディオレンダラ５１３は渡されたオーディオデータとコンピュータ上で動作する他のソフトウェア等が生成したオーディオデータと合成してオーディオドライバ５１４に渡す。オーディオドライバ５１４はサウンドコントローラ１０６を制御して、スピーカ１８Ａ，１８Ｂからオーディオを出力する。

ビデオデコーダモジュール５２１において、ライン２１のデータが含まれる場合はライン２１のデータをライン２１デコーダモジュール５２２に渡す。ビデオデコーダモジュール５２１は、内部のデコーダモジュールまたはマルチメディアプロセッサ１１３を用いてビデオパック（Ｖ＿ＰＣＫ）及びサブピクチャパック（ＳＰ＿ＰＣＫ）を伸張する。なお、マルチメディアプロセッサ１１３によってビデオパック（Ｖ＿ＰＣＫ）を伸張する場合、マルチメディアプロセッサ伸張したビデオデータに対してインターレス−プログレッシブ変換（ＩＰ変換）および高画素化変換を行う。伸張されたビデオデータは拡張ビデオレンダラ（ＥＶＲ）５２３に送られる。拡張ビデオレンダラ５２３内のミキサ５２３Ａはビデオとサブピクチャとのミキシング、字幕を表示する等の処理を実行する。ミキサ５２３Ａでミキシングされたビデオデータは高画質化エンジン５２３Ｂによって高画質化処理が実行される。高画質化処理が施されたビデオデータはディスプレイドライバ５２４に渡される。ディスプレイドライバ５２４はＧＰＵ１０５を制御して、ＬＣＤ１７に映像を表示する。

プレイヤシェル／ユーザインタフェース５３１は再生コントロールパネル４００の表示に係わる処理を行う。また、プレイヤシェル／ユーザインタフェース５３１はユーザによって操作されたボタンに応じたコマンドをグラフマネージャ５３２を介してＭｅｄｉａＦｏｕｎｄａｔｉｏｎ５３１に通知する。ＭｅｄｉａＦｏｕｎｄａｔｉｏｎ５３１は通知されたコマンドに応じてナビゲーションモジュール５０１、オーディオデコーダモジュール５１１、およびビデオデコーダモジュール５２１を制御する。

次に、アップコンバート／非アップコンバートの切り替えを行うための構成について説明する。
図８は、本発明の一実施形態に係わるアップコンバート／非アップコンバート切り替え処理を実行するためのモジュールを説明するための図である。

図８に示すように、プレイヤシェル／ユーザインタフェース５３１、ナビゲーションモジュール５０１、ビデオデコーダモジュール５２１、マルチメディアプロセッサ１１３、拡張ビデオレンダラ５２３、およびディスプレイドライバ５２４等から構成される。

プレイヤシェル／ユーザインタフェース５３１内の切替要求発行モジュール６１１は、ユーザがアップコンバート切替ボタン４３１を操作した場合に、ビデオデコーダモジュール５２１に切替要求を発行する。

ビデオデコーダモジュール５２１は提供先切替モジュール６０１、ＣＰＵ／ＧＰＵデコードモジュール６０２、マルチメディアプロセッサデコードモジュール（ＭＭＰデコードモジュール）６０３等を有する。提供先切替モジュール６０１はナビゲーションモジュール５０１から供給された圧縮されているビデオデータをＣＰＵ/ＧＰＵデコードモジュール６０２およびＭＭＰデコードモジュール６０３の一方に渡す。

提供先切替モジュール６０１は、切替要求発行モジュール６１１が発行した切替供給を検出すると、ＣＰＵ/ＧＰＵデコードモジュール６０２およびＭＭＰデコードモジュール６０３の一方に渡していた圧縮されているビデオデータを、ＣＰＵ/ＧＰＵデコードモジュール６０２およびＭＭＰデコードモジュール６０３の他方に渡し始める。

ＣＰＵ／ＧＰＵデコードモジュール６０２は、ＣＰＵによって実行されるソフトウェアアプリケーションである。ＣＰＵ／ＧＰＵデコードモジュール６０２は、ＧＰＵによるデコード支援機能を利用して、渡されたビデオデータを伸張して非圧縮のビデオデータを生成し、生成されたビデオデータを拡張ビデオレンダラ５２３に渡す。

ＣＰＵ／ＧＰＵデコードモジュール６０２は、メインメモリ１０３の一部にストリームバッファ領域とデコード処理用バッファ領域とを確保する。ストリームバッファ領域は、提供先切り替えモジュール６０１から供給されたビデオデータのストリームを一旦格納しておくために確保される。ＣＰＵ／ＧＰＵデコードモジュール６０２は、ストリームバッファ領域に格納されているビデオデータのストリームを読み出し、読み出したデータをデコードする。デコード時にデコードバッファ領域にデコード処理に係わるデータを格納する。

ＭＭＰデコードモジュール６０３は、渡されたＭＰＥＧ−２方式で圧縮されているビデオデータのストリームをマルチメディアプロセッサ１１３に渡す。マルチメディアプロセッサ１１３は、渡されたストリームを一旦メモリ１１３Ａのストリームバッファ領域に格納する。マルチメディアプロセッサ１１３は、ストリームバッファ領域に格納されたビデオデータのストリームを読み出し、読み出したデータをＭＰＥＧ−２デコード回路３０１を用いてデコードし、解像度が７２０×４８０、または７２０×５７６で、インターレス方式のビデオデータを生成する。そして、マルチメディアプロセッサ１１３は、演算コア３１１〜３１４を用いてデコードされたビデオデータに対してＩＰ変換およびＣＣ処理（バイキュービック法を用いたアップコンバート処理）を行い、解像度が１９２０×１０８０でＹＵＶフォーカシングマットのビデオデータを生成する。そして、マルチメディアプロセッサ１１３は、アップコンバートされたビデオデータをＭＭＰデコードモジュール６０３に戻す。ＭＭＰデコードモジュール６０３は戻されたビデオデータを拡張ビデオレンダラ５２３に渡す。

なお、提供先切替モジュール６０１は、図９および図１０に示すように、ユーザがアップコンバート／非アップコンバートの切り替えを指示した後、隣接するＧＯＰの区切りのビデオデータからＣＰＵ/ＧＰＵデコードモジュール６０２およびＭＭＰデコードモジュール６０３の他方に渡し始める。図９は、アップコンバートしていないＳＤ画質で再生を行っている状態からユーザがアップコンバートを指示して、アップコンバートして再生する場合を示している。図１０は、アップコンバートしているＨＤ画質で再生を行っている状態から、ユーザが非アップコンバートを指示して、アップコンバートしていないＳＤ画質で再生する場合を示している。

次に、提供先切替モジュール６０１の処理の手順を図１１のフローチャートを参照して説明する。
提供先切替モジュール６０１は、切替要求を受信したか否かを判別する（ステップＳ１１）。切替要求を受信したと判断した場合（ステップＳ１１のＹｅｓ）、超解像度変換が有効であるか否かを判別する（ステップＳ１２）。超解像度変換が有効であると判断した場合（ステップＳ１２のＹｅｓ）、メモリ１１３Ａのストリームバッファ領域１１１３にデータが格納されているか否かを判別する（ステップＳ１３）。

ストリームバッファ領域１１１３にデータが格納されていないと判断した場合（ステップＳ１３のＮｏ）、停止中であるので、提供先切替モジュール６０１はＭｅｄｉａＦｏｕｎｄａｔｉｏｎ５３１にマルチメディアプロセッサ１１３の解放を指示する。ＭｅｄｉａＦｏｕｎｄａｔｉｏｎ５３１は、マルチメディアプロセッサ１１３を解放する（ステップＳ１４）。解放後、提供先切替モジュール６０１、ビデオデータのストリームをＣＰＵ／ＧＰＵデコードモジュール６０２に供給する（ステップＳ１５）。

ステップＳ１３において、バッファにデータが格納されていると判断した場合（ステップＳ１３のＹｅｓ）、マルチメディアプロセッサ１１３がデコード処理および超解像度変換処理を行っているので、提供先切替モジュール６０１はシーケンスヘッダを検出する処理を実行する。シーケンスヘッダを検出した場合（ステップＳ１２のＹｅｓ）、提供先切替モジュール６０１はＭＭＰデコードモジュール６０３へのビデオデータのストリームの供給を停止する（ステップＳ２３）。そして、提供先切替モジュール６０１は、メモリ１１３Ａのストリームバッファ領域１１１３にデータが格納されているか否かを判別する（ステップＳ２４）。ストリームバッファ領域１１１３中にデータが無くなったら（ステップＳ２４のＮｏ）、提供先切替モジュール６０１はＭｅｄｉａＦｏｕｎｄａｔｉｏｎ５３１にマルチメディアプロセッサ１１３の解放を指示する。ＭｅｄｉａＦｏｕｎｄａｔｉｏｎ５３１は、マルチメディアプロセッサ１１３を解放する（ステップＳ２５）。解放後、提供先切替モジュール６０１、ビデオデータのストリームをＣＰＵ／ＧＰＵデコードモジュール６０２に供給する（ステップＳ２６）。

ステップＳ１２において、超解像度変換が有効ではないと判断した場合（ステップＳ１２のＮｏ）、メモリ１０３のストリームバッファ領域１１０３Ａおよびデコードバッファ領域１１０３Ｂにデータが格納されているか否かを判別する（ステップＳ３２）。ストリームバッファ領域１１０３Ａおよびデコードバッファ領域１１０３Ｂにデータが格納されてないと判断した場合（ステップＳ３２のＮｏ）、停止中であるので、提供先切替モジュール６０１はＭｅｄｉａＦｏｕｎｄａｔｉｏｎ５３１にマルチメディアプロセッサ１１３の取得を指示する。ＭｅｄｉａＦｏｕｎｄａｔｉｏｎ５３１は、マルチメディアプロセッサ１１３を取得する（ステップＳ３３）。提供先切替モジュール６０１は、ＭＭＰデコードモジュール６０３にビデオデータのストリームを提供する（ステップＳ３４）。

ステップＳ３２において、ストリームバッファ領域１１０３Ａおよびデコードバッファ領域１１０３Ｂにデータが格納されていると判断した場合（ステップＳ３２のＹｅｓ）、再生中であるので、提供先切替モジュール６０１はシーケンスヘッダを検出する処理を実行する。シーケンスヘッダを検出した場合（ステップＳ４２のＹｅｓ）、提供先切替モジュール６０１はＣＰＵ／ＧＰＵデコードモジュール６０２へのビデオデータのストリームの供給を停止する（ステップＳ４３）。そして、提供先切替モジュール６０１は、メインメモリ１０３のストリームバッファ領域１１０３Ａおよびデコードバッファ領域１１０３Ｂにデータが格納されているか否かを判別する（ステップＳ４４）。ストリームバッファ領域１１１３中にデータが無くなったら（ステップＳ４４のＮｏ）、提供先切替モジュール６０１はＭｅｄｉａＦｏｕｎｄａｔｉｏｎ５３１にマルチメディアプロセッサ１１３の取得を指示する。ＭｅｄｉａＦｏｕｎｄａｔｉｏｎ５３１は、マルチメディアプロセッサ１１３を取得する（ステップＳ４５）。取得後、提供先切替モジュール６０１、ビデオデータのストリームをＭＭＰデコードモジュール６０３に供給する（ステップＳ４６）。

本コンピュータ１０では、マルチメディアプロセッサ１１３にデコード回路を実装し、圧縮されているビデオデータをマルチメディアプロセッサ１１３に送ることによって、デコード後のビデオデータをマルチメディアプロセッサ１１３に送る場合に比べて、マルチメディアプロセッサ１１３に伝送するデータ量を少なくすることが可能になる。

また、シーケンスヘッダを検出することで隣接するＧＯＰの区切りで圧縮されているビデオデータの転送先を切り替えることで動的にアップコンバート処理の実行／非実行の切り替えを動的に行うことが可能になる。

なお、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

１０１…ＣＰＵ，１０３…メインメモリ，１１３…マルチメディアプロセッサ，１１３Ａ…メモリ，２０２…ＤＶＤアプリケーションプログラム，３０１…デコード回路，３１１〜３１４…演算コア，６０１…提供先切替モジュール，６０２…ＣＰＵ／ＧＰＵデコードモジュール，６０３…マルチメディアプロセッサデコードモジュール，６１１…切替要求発行モジュール，１１０３Ａ…ストリームバッファ領域，１１０３Ｂ…デコードバッファ領域，１１１３…ストリームバッファ領域。

Claims (10)

1. 第１メモリと、
   前記第１メモリを作業メモリとして利用し、前記第１メモリに符号化されているビデオデータのストリームが格納される第１ストリームバッファ領域が確保し、前記ビデオデータのストリームをデコードするためのデコード回路と、前記デコード回路によってデコードされたビデオデータの画素数を増大させる超解像変換処理を実行する演算器とを有するマルチメディアプロセッサと、
   前記超解像度変換処理の実行／非実行を切り替えるための切替要求を発行する発行手段と、
   第２メモリと、
   前記第２メモリを作業メモリとして利用し、前記ビデオデータのストリームをデコードするデコード処理を実行するデコードプログラムアプリケーションであって、前記第２メモリに前記符号化されているビデオデータのストリームが格納される第２ストリームバッファ領域と、デコード処理に係わるデータが格納されるデコードバッファ領域とを確保するデコードプログラムアプリケーションと、前記発行手段が発行した前記切替要求に応じて、前記符号化されているビデオデータを管理する単位である画面群構造を分割しないように、前記符号化されているビデオデータの提供先を前記マルチメディアプロセッサおよび前記デコードプログラムアプリケーションの一方から他方に切り替える処理を実行する切替プログラムアプリケーションであって、前記第１メモリ内のストリームバッファ領域内にデータが格納されていない状態で前記マルチメディアプロセッサから前記デコードプログラムアプリケーションに切り替え、前記第２メモリ内のストリームバッファ領域および前記デコードバッファ領域内にデータが格納されていない状態で前記デコードプログラムアプリケーションから前記マルチメディアプロセッサに切り替える切替プログラムアプリケーションとを実行するメインプロセッサと、
   を具備することを特徴とする再生装置。
2. 前記プロセッサが実行するデコード処理を支援するサブプロセッサを更に具備することを特徴とする請求項１に記載の再生装置。
3. 前記符号化されているビデオデータを管理する単位である画面群構造はＧＯＰ（Group Of Pictures）であり、
   前記切替プログラムアプリケーションは、前記ＧＯＰの区切りで前記符号化されているビデオデータの提供先を切り替えることを特徴とする請求項１に記載の再生装置。
4. 前記切替プログラムアプリケーションは、シーケンスヘッダの有無で前記ＧＯＰの区切りを検出することを特徴とする請求項３に記載の再生装置。
5. 前記ビデオデータの再生を停止する際に、前記デコードプログラムアプリケーションに前記第２ストリームバッファ領域および前記デコードバッファ領域のリセット、或いは前記マルチメディアプロセッサに前記第１ストリームバッファ領域のリセットを指示する手段を更に具備することを特徴とする請求項１に記載の再生装置。
6. 第１メモリを作業メモリとして利用し、前記第１メモリに符号化されているビデオデータのストリームが格納される第１ストリームバッファ領域が確保し、前記ビデオデータのストリームをデコードするためのデコード回路と、前記デコード回路によってデコードされたビデオデータの画素数を増大させる超解像変換処理を実行する演算器とを有するマルチメディアプロセッサと、第２メモリを作業メモリとして利用し、前記ビデオデータのストリームをデコードするデコード処理を実行するデコードプログラムアプリケーションであって、前記第２メモリに前記符号化されているビデオデータのストリームが格納される第２ストリームバッファ領域と、デコード処理に係わるデータが格納されるデコードバッファ領域とを確保するデコードプログラムアプリケーションと、前記符号化されているビデオデータのストリームの提供先を前記マルチメディアプロセッサおよび前記デコードプログラムアプリケーションの一方から他方に切り替える処理を実行する切替プログラムアプリケーションとを実行するメインプロセッサとを有する再生装置の制御方法であって、
   前記切替プログラムアプリケーションは、前記符号化されているビデオデータのストリームを前記マルチメディアプロセッサおよび前記デコードプログラムアプリケーションの一方に供給し、
   前記超解像度変換処理の実行／非実行を切り替えるための前記切替要求を発行し、
   前記切替要求に応じて、前記マルチメディアプロセッサから前記デコードプログラムアプリケーションにストリームの伝送を切り替える場合、前記切替プログラムアプリケーションは、前記符号化されているビデオデータを管理する単位である画面群構造を分割しないように、前記マルチメディアプロセッサへの前記符号化されている前記ビデオデータのストリームの供給を停止し、
   前記マルチメディアプロセッサへの前記ビデオデータのストリームの供給を停止した後、前記切替プログラムアプリケーションは、前記第１メモリの前記第１ストリームバッファ領域内にデータが格納されていない状態になってから、前記デコードプログラムアプリケーションへの前記ビデオデータのストリームの供給を開始し、
   前記切替要求に応じて、前記デコードプログラムアプリケーションから前記マルチメディアプロセッサにストリームの伝送を切り替える場合、前記切替プログラムアプリケーションは、前記符号化されているビデオデータを管理する単位である画面群構造を分割しないように、前記デコードプログラムアプリケーションへの前記符号化されている前記ビデオデータのストリームの供給を停止し、
   前記デコードプログラムアプリケーションへの前記ビデオデータのストリームの供給を停止した後、前記切替プログラムアプリケーションは、前記第２メモリの前記第２ストリームバッファ領域および前記デコードバッファ領域内にデータが格納されていない状態になってから、前記マルチメディアプロセッサへの前記ビデオデータのストリームの供給を開始する
   ことを特徴とする再生装置の制御方法。
7. 前記再生装置は、前記デコードプログラムアプリケーションが実行するデコード処理を支援するサブプロセッサを更に具備することを特徴とする請求項６に記載の再生装置の制御方法。
8. 前記符号化されているビデオデータを管理する単位である画面群構造はＧＯＰ（Group Of Pictures）であり、
   前記ＧＯＰの区切りで前記符号化されているビデオデータのストリームの供給を停止することを特徴とする請求項６に記載の再生装置の制御方法。
9. シーケンスヘッダの有無で前記ＧＯＰの区切りを検出することを特徴とする請求項８に記載の再生装置の制御方法。
10. 前記ビデオデータの再生を停止する際に、前記デコードプログラムアプリケーションに前記第２ストリームバッファ領域および前記デコードバッファ領域のリセット、或いは前記マルチメディアプロセッサに前記第１ストリームバッファ領域のリセットを指示する手段を更に具備することを特徴とする請求項６に記載の再生装置の制御方法。

Images