JP5295381B2 - 映像再生装置及び映像再生装置の制御方法 - Google Patents

Description

本発明は、映像の早送り再生などの特殊再生が可能な映像再生装置及びその制御方法に関するものである。

最近では、流通している映像ストリームデータのフレームレートが多岐に亘るようになってきている。例えば、通常のテレビ放送の映像ストリームデータであれば３０ｆｐｓであるが、携帯端末向けの放送の映像ストリームデータは１５ｆｐｓとなっている。また、撮影機器の進化にともなって、２４０ｆｐｓや４８０ｆｐｓなどの高速なフレームレートの映像コンテンツも増加しつつある。

また、一つの映像ストリームデータ中に複数のフレームレートの映像を符号化することが出来る、Ｈ．２６４／ＳＶＣ（Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）技術が規格化されている。この技術を利用することで、例えば、標準的な３０ｆｐｓの映像に加えて、４８０ｆｐｓなどの高いフレームレートの映像を付加して符号化することが出来るようになる。つまり、１つの映像コンテンツであっても、再生機器の表示能力に応じたフレームレートの映像を選択して再生することが可能となる。

なお、映像コンテンツの特殊再生時の再生速度を適応的に制御する技術としては、映像ストリームデータのビットレートに基づいて再生速度を制御する技術がある。（特許文献１参照）

特開２００８−２２７７４４号公報

従来より、一般的な表示機器では、映像表示におけるリフレッシュレートが６０Ｈｚであることが多い。しかし最近では、より高速な表示が可能な１２０Ｈｚや２４０Ｈｚに対応する表示機器も登場してきている。また、携帯電話などの携帯機器ではリフレッシュレートが３０Ｈｚであることが一般的である。リフレッシュレートは１秒あたりの画像（フレーム）表示回数を示すものである。

従って、例えば３０ｆｐｓの映像コンテンツを６０Ｈｚの表示機器で表示する場合は１フレームを２度繰り返して出力したり、補間処理によりフレーム間に新規のフレームを生成したりすることで、毎秒３０枚のフレームを実質的に６０フレームとしている。日本のテレビ放送はインタレース信号であるので、１秒間あたり偶数フィールドが３０枚、奇数フィールドが３０枚存在している。インタレース信号をプログレッシブ信号に変換することで、１秒あたり３０枚のフレーム画像が生成でき、さらにフレーム間に補間フレームを生成することで１秒あたり６０枚のフレーム画像を構築できる。

一方、映像が表示機器のリフレッシュレートよりも高いフレームレートを有している場合に、全フレームを表示機器のリフレッシュレートで表示すると、見た目には実際の動きよりもゆっくりした動き（これをスローモーション、または単にスローと称する）として映る。例えば、４８０ｆｐｓの映像を６０Ｈｚの表示機器で全てのフレームを表示した場合には、１秒あたり４８０枚のフレームが、６０Ｈｚでは４８０÷６０＝８秒で表示されることになるので、実際の動きよりも８倍遅く見えることになる。つまり、実時間における１秒の間の動きを８秒かけてスローモーションで表示することを意味している。反対に、表示機器のリフレッシュレートよりも高いフレームレートを有する映像を実時間と等しい速度で再生するには、フレームを間引いて表示することが考えられる。例えば、４８０ｆｐｓの映像を６０Ｈｚの表示機器に実時間に等しい速度で表示する場合には、８枚につき１枚のフレームを周期的に抽出して表示すればよいことになる。

従って、表示機器のリフレッシュレートとは異なるフレームレートを有する映像コンテンツであっても、表示機器のリフレッシュレートにあわせて、実時間と等速の再生を行うことが可能である。

さらに、こうした映像コンテンツの再生時に、ユーザが映像をスローモーションとして再生する、いわゆるスロー再生を望む場合には、映像コンテンツが有するフレームレートの特徴を活かした再生処理を実行するのが好適である。例えば、フレームレートが高い映像は単位時間あたりのフレーム数が多いという特徴を利用し、一般的なフレームレートの映像に比べてより精細で滑らかなスロー再生を行うことができる。反対に、フレームレートが低い映像は単位時間あたりのフレーム数が少ないので、スロー再生時の速度を遅くしても映像の変化が生じないコマ送りのような映像になってしまう。

しかし、現在の映像再生装置のスロー再生機能は、映像自体のフレームレートの相違によらず、所定の再生速度での再生をユーザに強いるものである。現在のスロー再生機能は、スロー再生ボタンを押下すると例えば１／２倍速でスロー再生が実行されるだけである。または、スロー再生機能は、映像自体のフレームレートの相違によらず、１／２倍速、１／８倍速、１／１６倍速などの固定値が順次切り換えられる程度である。つまり、現在の映像再生装置は、スロー再生速度の決定にあたって、映像自体のフレームレートは全く考慮していない。

また、上述した特許文献１に開示の技術は、特殊再生における再生速度は制御しているが、再生速度の制御にあたっては、映像データのビットレートを参照しており、フレームレートに応じた制御を行っていない。

そこで、本発明は、再生している映像コンテンツのフレームレートに応じて適応的にスロー再生の速度を設定し、映像コンテンツに適したスロー再生が行える映像再生装置及びその制御方法を提供することを目的とする。

上記目的を達成するために、本発明の映像再生装置は、蓄積部に蓄積された映像データのスロー再生処理が可能な映像再生装置であって、映像データのフレームレートの値を検出する検出手段と、前記検出手段で検出されたフレームレートの値から、当該フレームレートの映像データをスロー再生する場合のスロー再生速度を決定する決定手段と、前記決定手段で決定されたスロー再生速度を用いて、前記映像データのスロー再生処理を実行する再生手段と、を有する。

また、上記目的を達成するために、本発明の映像再生装置の制御方法は、蓄積部に蓄積された映像データのスロー再生処理が可能な映像再生装置の制御方法であって、映像データのフレームレートの値を検出する検出ステップと、前記検出ステップで検出されたフレームレートの値から、当該フレームレートの映像データをスロー再生する場合のスロー再生速度を決定する決定ステップと、前記決定ステップで決定されたスロー再生速度を用いて、前記映像データのスロー再生処理を実行する再生ステップと、を有する。

以上説明したように、本発明によれば、再生している映像コンテンツのフレームレートに応じて適応的にスロー再生の速度を設定し、映像コンテンツに適したスロー再生が行える映像再生装置及びその制御方法を提供することができる。

本発明に係る映像再生装置の構成を示すブロック図である。 本発明の実施例１に係るフローチャートである。 本発明の実施例１に係る再生速度情報を示す図である。 本発明の実施例２に係るフローチャートである。 本発明の実施例３に係るＨ．２６４／ＳＶＣのデータ構造を示した図である。 本発明の実施例３に係る再生速度情報を示す図である。 本発明の実施例３に係るフローチャートである。

以下、図面を参照して、本発明の実施例を説明する。

（映像再生装置１００の構成）
本発明の第１の実施例について説明する。本実施例の映像再生装置は、リフレッシュレートが６０Ｈｚの表示パネルで表示する映像を再生する装置である。具体的には、映像の記録再生部を備えたテレビとして説明を行う。もちろん、本発明の映像再生装置は、表示パネルと別体の構成を有する放送レコーダであっても良い。

再生対象の映像コンテンツは、ＭＰＥＧ２ ＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）形式のストリームデータである。このＭＰＥＧ２ ＴＳのストリームデータには、Ｈ．２６４／ＳＶＣで符号化された映像データと音声データが多重化されている。Ｈ．２６４／ＳＶＣで符号化された映像データには、フレームレートが３０ｆｐｓの映像データと４８０ｆｐｓの映像データとが階層的に符号化されているものとする。Ｈ．２６４／ＳＶＣは既に公知の技術であるため、ここでは説明を省略する。

図１は、実施例１に係る映像再生装置１００の構成を示すブロック図である。蓄積部１０１は映像コンテンツとしてのストリームデータを蓄積する。ストリームデータは、放送や通信により受信し、蓄積部１０１に蓄積するものとする。

読み出し制御部１０２は蓄積部１０１に蓄積されているＭＰＥＧ２ ＴＳのストリームデータを読み出し、分離部１０３へ出力する。分離部１０３は入力されたストリームデータから映像ストリームデータと音声ストリームデータを分離し、映像ストリームデータと音声ストリームデータをデコード部１０４へ出力する。またデコード部１０４へ出力した映像ストリームデータと同じ映像ストリームデータをフレームレート検出部１１１へ出力する。

デコード部１０４は、入力された映像ストリームデータ及び音声ストリームデータの復号を行い、復号した映像データを合成部１０６へ、復号した音声データを音声出力部１０５へ出力する。デコード部１０４から出力された復号映像データは、フレーム単位の映像データである。デコード部１０４は、表示パネルのリフレッシュレートと同期するように、フレーム単位の映像データのフレームレートを６０ｆｐｓとする制御を行う。なお、デコード部１０４が出力する映像の再生に係るフレームレート（再生フレームレートと称する）は、入力された映像データのフレームレートや映像データの再生速度によらず、常に一定である。対して、デコード部１０４に入力される映像が本来有している映像データのフレームレート（映像フレームレートと称する）は映像コンテンツによって異なる。

音声出力部１０５は、復号された音声データをスピーカへ出力する。スピーカは映像再生装置に内蔵されていても、別体で構成されていても構わない。

合成部１０６は、復号された映像データに対して、必要に応じて制御部１０８から出力されたメニュー画面などのグラフィクスデータを合成する処理を実行する。もちろん、グラフィクスデータを合成する必要が無い場合は、復号された映像データは合成部１０６をスルーすることになる。映像出力部１０７は合成部１０６から出力された映像データを表示パネルへ出力する。

制御部１０８は映像再生装置１００を包括的に制御するＣＰＵなどの制御部である。特に、制御部１０８は、ユーザからの指示や、映像再生装置１００の内部状態に応じて、ユーザへ提示するメニューなどのグラフィクスデータの生成を司る。また、制御部１０８はグラフィクスデータの生成処理も実行し、生成したグラフィクスデータを合成部１０６へ出力する。

なお、後述するスロー再生操作においては、ユーザがリモコンに設けられたスロー再生ボタンを押下した場合に、制御部１０８は再生速度決定部１１０にスロー再生ボタンが押下されたことを通知する。なお、説明をわかりやすくするため、図１における制御部１０８は合成部１０６と再生速度決定部１１０に対してのみ接続しているように記載しているが、制御部１０８は他の機能部とも不図示の信号線を介して接続されているものとする。

リモコン信号受信部１０９はリモコンをユーザが操作して入力した、ユーザの操作指示に相当するリモコン信号を受信する。

再生速度決定部１１０は、映像データの再生速度を決定し、デコード部１０４に決定した速度を示す制御コマンドを出力する。

フレームレート検出部１１１は、分離部１０３より入力された映像データを解析し、入力された映像フレームレートの値を検出する。フレームレート検出部１１１が実行する映像フレームレートの値の検出処理は後述する。

フレームレート検出部１１１が検出した映像フレームレートの値は、再生速度決定部１１０に入力される。再生速度決定部１１０は、入力された映像フレームレートの値に応じて、デコード部１０４に対して再生速度を指示する制御コマンドを出力する。なお、再生速度決定部１１０は、ユーザが早送りや巻き戻し、スロー再生などの特殊再生に関する指示入力をリモコンを介して行った場合、その指示入力を受信した制御部１０８から当該指示入力に対応する制御信号を受信する。そして、受信した指示入力と、映像フレームレートと、現在の再生速度に関する情報とを用いて、ユーザの指示に対応する再生速度を決定し、制御コマンドとしてデコード部１０４に出力する。

（映像再生装置１００を用いた映像データの再生処理）
続いて、上述した映像再生装置１００を用いて、映像データを再生する際の動作について説明を行う。

上述した通り、蓄積部１０１には、放送や通信を介して受信した映像コンテンツのストリームデータが蓄積されているものとする。ユーザがリモコンを介して映像コンテンツの再生を指示すると、制御部１０８がその指示に応じて、読み出し制御部１０２にユーザが指定した映像コンテンツを蓄積部１０１から読み出すように指示を行う。読み出し制御部１０２は制御部１０８からの指示に基づいて、蓄積部１０１から指定された映像コンテンツのトランスポートストリームデータを読み出し、分離部１０３へ出力する。

分離部１０３では、入力されたトランスポートストリームデータから映像ストリームデータと音声ストリームデータに分離する処理を実行する。また、分離部１０３で分類された映像ストリームデータは、デコード部１０４とフレームレート検出部１１１に入力される。

フレームレート検出部１１１では、入力された映像ストリームデータを解析して、この映像ストリームデータのフレームレートを検出する。検出した映像フレームレートの値は再生速度決定部１１０に入力される。

再生速度決定部１１０では、入力された映像フレームレートの値と、制御部１０８からの再生速度に関する指示入力とを参照し、デコード部１０４に対して再生速度を示す制御コマンドを送信する。

例えば、映像ストリームデータを解析した結果、この映像ストリームデータのフレームレートが６０ｆｐｓであり、かつ、制御部１０８からは特殊再生の指示入力が無い場合には、ユーザは実時間における速度と等しい速度での再生を望んでいるものと判断できる。従って、リフレッシュレートが６０Ｈｚの表示パネルに対して、６０ｆｐｓの映像フレームレートを有する映像データを実時間における速度と等しい速度で再生するには映像データを１倍速で表示すれば良いことになる。そこで、再生速度決定部１１０はデコード部１０４に対して、６０ｆｐｓの映像データを１倍速で表示する旨を示す制御コマンドを送信する。

デコード部１０４は、再生速度決定部１１０から送信された制御コマンドに従い、映像ストリームデータをフレーム単位の映像データにデコードするとともに、デコードしたフレーム画像を指示された再生速度となるように再生する。また、再生した映像データを合成部１０６に出力する。６０ｆｐｓの映像データを実時間における速度と等しい速度で表示する場合には、デコードしたフレーム画像を間引いたり、繰り返し出力したりするなどの処理を行うことなく、毎秒６０枚出力すればよい。つまり、このケースは、映像フレームレートと再生フレームレートが合致しており、かつ、再生速度が１倍速であるので、フレームの間引きや補間といった処理が不要となる。

一方、フレームレートが４８０ｆｐｓの映像を実時間における速度と等しい速度で再生し、表示する場合には、１秒あたり４８０枚のフレームをそのまま出力することはできない。そのため、デコード部１０４は、１秒あたり４８０枚のフレームから６０枚のフレームを抽出して、その６０枚のフレームを合成部１０６に出力する。従って、４８０ｆｐｓの映像データを実時間における速度と等しい速度で再生するには、全てのフレームを６０Ｈｚで表示する場合に比べて８倍速で再生することになる。

なお、６０枚のフレームの抽出処理は、単純に７フレームおきに１枚のフレームを抽出することで、４８０枚のフレームから等間隔に６０枚のフレームを抽出することができる。但し、このような単純な方法を用いると、抽出したフレームとフレームの間に存在する７フレーム分の動き情報が欠落してしまい、映像がコマ送りのような表示となってしまう。そこで、動き情報が欠落することが無いようにデコード部１０４が４８０枚のフレームから６０枚のフレームを補間して生成するようにしてもよい。この場合の生成方法は動き情報を保存したフレーム生成に関する種々の技術を用いることが可能である。

（映像再生時のスロー再生速度制御）
続いて、本発明の特徴的な処理である、スロー再生処理時の制御について説明を行う。なお、本発明におけるスロー再生処理とは、再生方向（順方向）に進行するものだけでなく、巻き戻し方向（逆方向）に進行するものも含むものとする。また、本実施例では、スロー再生はＯＮまたはＯＦＦの２択であり、スロー再生をＯＦＦにした場合は実時間と等しい速度で再生が行われるものとする。スロー再生のＯＮ／ＯＦＦの選択は、リモコンのスロー再生ボタンを押下することで行われる。つまり、スロー再生中にスロー再生ボタンが押下されると、スロー再生をＯＦＦにする制御が実行される。

また、再生している映像コンテンツは、上述したＨ．２６４／ＳＶＣ規格にて符号化されたものであるとし、映像データとして４８０ｆｐｓと３０ｆｐｓの２種類のフレームレートの映像データが含まれているものとする。

図２は、映像コンテンツの再生処理時の制御を示したフローチャートである。

まず、ステップＳ２０１では、ユーザが、蓄積部１０１に蓄積された映像コンテンツを選択し、選択した映像コンテンツを再生する旨の指示をリモコンに入力することで、制御部１０８がリモコン信号受信部１０９から出力された映像再生の指示を受信する。これにより、制御部１０８はリモコンの再生ボタンが押下されたことを認識する。

続いて、再生が指示された映像コンテンツにおける映像フレームレートを決定する。映像コンテンツがＨ．２６４／ＳＶＣのような形式のコンテンツではなく、一般的な単一のフレームレートを有する映像コンテンツである場合には、映像コンテンツそのもののフレームレートが映像フレームレートになる。例えば、映像コンテンツのフレームレートが６０ｆｐｓのみであれば、映像フレームレートは自ずと６０ｆｐｓである。一方、Ｈ．２６４／ＳＶＣの映像コンテンツの場合には、複数のフレームレートの映像データが符号化されているので、デコードする映像フレームレートを選択する必要がある。映像フレームレートの選択には種々の方法が考えられるが、本実施例では、映像フレームレートをユーザに選択させる方法を用いて、デコードする映像フレームレートを決定することとする。映像コンテンツのフレームレートはフレームレート検出部１１１により、Ｈ．２６４／ＳＶＣの映像データのヘッダ情報を参照することで取得することができる。制御部１０８は、このフレームレートの情報を用いてフレームレートを選択するためのＵＩを生成し、合成部１０６を介して表示パネルに表示させる。ユーザは、表示されたＵＩを介して、デコードする映像フレームレートの選択を行う。

映像フレームレートが決定すると、処理はステップＳ２０３へ移行する。ステップＳ２０３では、映像フレームレートの値に基づいて、再生速度決定部１１０が実時間と等しい速度となる再生速度を決定する。上述したように、６０Ｈｚの表示パネルにおいて、デコードする映像フレームレートが６０ｆｐｓの映像コンテンツならば、実時間と等しい速度となる再生速度は１倍速である。一方、４８０ｆｐｓの映像コンテンツであれば、実時間と等しい速度となる再生速度は８倍速である。

ステップＳ２０４において、再生速度決定部１１０は決定した再生速度をデコード部１０４に通知する。デコード部１０４は、指示された再生速度となるように、映像ストリームデータを復号して得られたフレーム画像を、表示パネルのリフレッシュレートに相当する６０ｆｐｓとなるように構成して、合成部１０６に出力する。

ステップＳ２０５では、制御部１０８は、実時間と等しい速度での映像再生中に、ユーザからスロー再生の指示が入力されたか否かを判定する。スロー再生の指示が入力されたと判定した場合（ステップＳ２０６でＹｅｓの場合）、制御部１０８は再生速度決定部１１０にその旨を通知する。

ステップＳ２０６では、再生速度決定部１１０は、映像フレームレートの値に応じて予め定められたスロー再生時の再生速度情報を参照し、該当するフレームレートの値に対応する再生速度を決定する処理を行う。

図３は、再生速度情報の概要を示した図面である。再生速度情報は不図示の記憶部に格納されている情報である。再生速度情報には、本映像再生装置で再生可能な映像が取り得るとして想定されている複数の映像フレームレートの値の各々に対応して、複数種類のスロー再生時の再生速度が対応付けられている。なお、この再生速度は、実時間と等しい速度を１倍速とした場合に対する速度倍率を示している。再生速度決定部１１０は、現在再生している映像のフレームレートの値と、記憶部に記憶されたスロー再生時の再生速度情報とを用いて、現在再生している映像をスロー再生する場合の再生速度を決定する。

デコードする映像フレームレートの違いに応じてスロー再生時の再生速度を異ならせているのは、次の理由があるためである。映像フレームレートが高い映像、例えば、４８０ｆｐｓの映像データは、映像フレームレートが低い映像、例えば、３０ｆｐｓの映像データに比べて単位時間あたりのフレーム数が多いことになる。従って、スロー再生を行う場合、高フレームレートの映像の方がより低速での再生に適していると言える。なぜなら、単位時間当たりのフレーム数が多い映像の方が、細かい間隔でフレームが存在していることになり、低速で再生しても、各フレーム間の映像が滑らかに再現できるためである。より低速で滑らかなスロー再生により、ユーザは一般的な速度のスロー再生では視認できないような瞬間を映し出した映像を視聴することができる。換言すれば、フレームレートの相違によらず、一定のスロー再生速度でスロー再生をしてしまうと、再生している映像が高フレームレートであることのメリットを十分に活かすことができない。

当然ながら、映像フレームレートが低い映像を高フレームレートと同様の極めて低いスロー再生速度で再生しても、元々のフレーム数が少ないので滑らかなスロー再生表示は実現できないことになる。即ち、映像フレームレートの相違に応じた適切なスロー再生速度を用いてスロー再生を行うことで、よりユーザにとって魅力的なスロー再生映像を提示することができる。

なお、現在再生している映像の映像フレームレートの値が６０ｆｐｓの場合には、再生速度情報からスロー再生時の再生速度として実時間に対して１／２倍速が規定されている。そこで、再生速度決定部１１０はデコード部に対して１／２倍速で再生することを指示する制御コマンドを送信する。つまり、６０枚のフレームを２秒で再生することになるので、１枚のフレームを２回繰り返して表示することになる。再生している映像の映像フレームレートの値が４８０ｆｐｓの場合には、再生速度決定部１１０はデコード部に対して実時間に対して１／１６倍速で再生することを指示する制御コマンドを送信する。４８０ｆｐｓのフレームレートの映像は、実時間に対して等しい速度として８倍速で再生しているので、実時間に対して１／１６倍速で再生する場合には、１／２倍速で再生することを意味する。つまり、１秒あたり４８０枚のフレームを１６秒で表示することに相当し、１枚のフレームを２回繰り返して表示することになる。

ステップＳ２０７では、デコード部１０４が再生速度決定部１１０から送信された制御コマンドによって通知された再生速度となるように、現在再生している映像データの出力フレームの選択や補間、出力タイミングの調整処理を実行する。これにより、映像フレームレートに対応するスロー再生映像を適応的にユーザに提供することが可能となる。

ステップＳ２０８では、スロー再生を停止するための指示がリモコンを介して入力されたか否かを制御部１０８が判定する。スロー再生を停止するための指示が入力されたと制御部１０８が判定した場合には、ステップＳ２０４に移行し、再生速度決定部１１０がステップＳ２０３で決定した再生速度での再生に切り換えるよう、デコード部１０４に制御コマンドを発行する。

ステップＳ２０９では、スロー再生中または実時間に等しい速度での再生中に、映像再生を停止するための指示が入力されたか否かを制御部１０８が判定する。映像再生を停止するための指示が入力されたと制御部１０８が判定した場合、制御部１０８は読み出し制御部１０２やデコード部１０４などの各機能部に対して、映像再生を停止するための指示を行い、表示パネルに映像が表示されないように制御を実行する。

以上の処理により、再生している映像コンテンツのフレームレートに応じて、適応的にスロー再生の速度を設定し、映像コンテンツに適したスロー再生が可能となる。

続いて、本発明の第２の実施例について説明する。上述した実施例１は、映像データが有する映像フレームレートに応じて好適なスロー再生速度を予め決定しておき、スロー再生実行時に、再生中の映像の映像フレームレートの値に従ってスロー再生速度を設定してスロー再生を行うものであった。

対して、本実施例は、複数の映像フレームレートを自由に選択可能な映像データのスロー再生実行時に、スロー再生により適した映像フレームレートの映像データを選択してスロー再生を行うことに特徴を有する。なお、複数の映像フレームレートを自由に選択可能な映像データとして、Ｈ．２６４／ＳＶＣ規格で符号化された映像データを例に挙げるが、本実施例はそれに限定されない。例えば、それぞれフレームレートが異なる２つの独立した映像ストリームを切り換えつつ、再生位置を同期させて再生するような形態であっても良い。いずれにしても、本実施例２の映像再生装置は、同一内容かつ映像フレームレートの値が異なる複数の映像データから、いずれか一つの映像フレームレートの映像データを再生できる装置である。

実施例２における映像再生装置の構成は、図１で示した実施例１の映像再生装置の構成と同様であるので、説明を省略する。

図４は、実施例２における映像コンテンツの再生処理時の制御を示したフローチャートである。

ステップＳ４０１からステップＳ４０５は、上述した実施例１における図２のフローチャートのステップＳ２０１からステップＳ２０５と等しい制御であるので、説明を省略する。

ステップＳ４０６では、再生している映像コンテンツにおける最も高い映像フレームレートの値をフレームレート検出部１１１で検出する。なお、実質的にはステップＳ４０２において、フレームレート情報を検出しているので、その時点での検出結果を記憶しておき、ステップＳ４０６にてその情報を利用するのが好適である。

具体的な映像フレームレートの検出方法を記載する。図５は、Ｈ．２６４／ＳＶＣのデータ構造を示した図である。Ｈ．２６４／ＳＶＣの映像データはシーケンスと呼ばれる単位で構成される。シーケンスはＳＰＳ（シーケンスパラメータセット）とＡＵ（アクセスユニット）で構成される。ＳＰＳとは、シーケンスの符号化に関わる情報が記述されているヘッダである。ＡＵとは映像そのものを符号化したデータである。

Ｈ．２６４／ＳＶＣでは複数階層の映像を符号化する仕組みとして、一つのシーケンスに対して複数のＳＰＳを配置することが可能となっている。つまり、低いフレームレート情報が記述されているＳＰＳを用いて復号すると、フレームレートの低い第１のフレームレートの映像として復号することができる。反対に、高いフレームレート情報が記述されているＳＰＳを用いてＡＵを復号すると、フレームレートの高い第２のフレームレートの映像として復号することができる。

フレームレート検出部１１１は、複数存在するＳＰＳのフレームレート情報の、最も高いフレームレートの値を検出する。図５の場合は４８０ｆｐｓを検出する。これは、スロー再生処理を実行する映像データとして、よりスロー再生処理に適した映像フレームレートを有する映像データを検出するために行う処理である。

ステップＳ４０６でフレームレート検出部１１１が検出した映像フレームレートの値は再生速度決定部１１０に通知される。

ステップＳ４０７では、再生速度決定部１１０が最も高いフレームレートの値を用いて、スロー再生速度を決定する。この決定処理は、上述した実施例１における再生速度情報を参照することにより実行される。例えば、最も高いフレームレートが４８０ｆｐｓであることから、スロー再生速度は１／１６倍速とすることを決定する。

ステップＳ４０８では、再生速度決定部１１０は、現在再生中の映像がステップＳ４０６で検出した最高フレームレートの映像をデコードして得られているものであるか否かを判定する。現在再生中の映像の映像フレームレートの情報は、ステップＳ４０３にて再生速度を決定した場合に入手しているので、その情報を記憶部に記憶しておくことで、ステップＳ４０８でその情報を利用することができる。

再生速度決定部１１０が現在再生している映像が有するフレームレートが最高フレームレートと等しいと判定した場合は、ステップＳ４１０へ処理を移行する。もし、再生速度決定部１１０が最高フレームレートと等しくないと判定した場合は、ステップＳ４０９へ処理を移行する。

ステップＳ４０９では、再生速度決定部１１０は、デコードする映像フレームレートを最高フレームレートにするよう、デコード部１０４に指示する。具体的には、再生速度決定部１１０は、４８０ｆｐｓのＳＰＳを用いてＡＵを復号することを命じるコマンドをデコード部１０４に対して出力する。

ステップＳ４１０では、デコード部１０４が、再生速度決定部１１０から送信された制御コマンドによって通知された再生速度とするため、現在再生している映像データの出力フレームの選択や補間、出力タイミングの調整処理を実行する。これにより、各フレームレートに対応するスロー再生映像をユーザに提供することが可能となる。

本実施例では、ステップＳ４０７で決定されたスロー再生速度を指示する制御コマンドが、再生速度決定部１１０からデコード部１０４に送信される。このコマンドには実時間に対して１／１６倍速で再生する指示が含まれている。この指示に従って、デコード部１０４は、フレームレートが４８０ｆｐｓとなるように映像データを復号し、この復号した映像データを１／１６倍速で再生するために、６０ｆｐｓの再生フレームレートにて再生する処理を実行する。１／１６倍速にするための方法は、実施例１で説明した通りであるので本実施例では記載を省略する。

ステップＳ４１１からステップＳ４１３は、実施例１で説明したステップＳ２０８からステップＳ２１０と同様の処理であるので説明を省略する。

ステップＳ４１４は、ステップＳ４１１でスロー再生を停止する指示の入力を制御部１０８が受けた場合に、実時間に等しい速度の再生に戻すにあたり、ステップＳ４０２で決定した映像フレームレートに変更するよう、デコード部１０４に通知する処理である。スロー再生の前から映像フレームレートが最高フレームレートであった場合はステップＳ４０２で決定した映像フレームレートも最高フレームレートであったことになるので、ステップＳ４１４の処理は実行する必要はない。ステップＳ４１４の処理の後は、ステップＳ４０３に処理が移行する。

以上、本実施例によれば、複数の映像フレームレートから任意の映像フレームレートを選択して映像の再生を行うことが可能な場合において、スロー再生に適した映像フレームレートを選択し、かつ、その映像フレームレートに適した再生速度でスロー再生が可能となる。

なお、本実施例では、最も高い映像フレームレートの値を有する映像データを用いてスロー再生処理を実行しているが、実時間と等しい速度で再生している映像データのフレームレートの値よりも高いフレームレートの値を有する映像データを用いても良い。これは、実時間と等しい速度で再生している映像データよりも高いフレームレートの値を有する映像データであれば、同一のスロー再生速度でスロー再生した場合、フレームレートの値が高い方が滑らかなスロー再生が可能となるためである。

なお、上述した各実施例においては、フレームレート検出部１１１は映像データからフレームレートの値を検出したが、映像に関するメタデータから検出しても良い。具体的には、ＭＰＥＧ２ ＴＳに多重化されているセクションデータからフレームレートの値を検出しても良い。この場合、分離部１０３では、ＭＰＥＧ２ ＴＳからＰＳＩ／ＳＩなどのセクションデータを分離して、フレームレート検出部１１１へ出力する。フレームレート検出部１１１は入力したセクションデータを解析してフレームレートの値を検出すれば良い。

また、上述した各実施例では、スロー再生速度の決定は、予め定められた再生速度情報を参照することで実行していたが、フレームレートの値から演算により求める処理であってもよい。例えば、取得した映像フレームレートの値で所定の値を除算することでスロー再生速度を決定することができる。例えば、所定の値を３０とする。この値は、スロー再生時に１秒間あたりに表示する映像のフレーム数として定義する。つまり、どのような映像フレームレートであっても、１秒間あたり３０枚のフレームを用いた再生を行うと規定している。映像フレームレートが６０ｆｐｓであれば、３０÷６０＝１／２となり、１／２倍速でスロー再生を実行する。一方、映像フレームレートが４８０ｆｐｓであれば、３０÷４８０＝１／１６となり、１／１６倍速でスロー再生を実行する。このように、演算処理でも映像フレームレートに応じたスロー再生速度を決定することが可能である。

続いて、本発明の第３の実施例について説明を行う。上述した第１及び第２の実施例は、スロー再生の速度は映像フレームレートに応じて１つ設定していた。しかしながら、スロー再生の速度を複数設け、ユーザの操作によってスロー再生の速度を変更することも可能である。

図６は、各映像フレームレートに応じて予め定められた、スロー再生速度を規定する再生速度情報である。図３に示した再生速度情報に比べて、複数のスロー再生速度が規定されている。また、実時間と等しい速度で再生している状態から、スロー再生の実行を開始した際に、デフォルトのスロー再生速度として設定される初期スロー再生速度が別途定められている。

例えば、映像フレームレートが４８０ｆｐｓの映像データについてスロー再生を行う場合、最初に再生速度決定部１１０がデコード部１０４に対して指示するスロー再生速度は実時間に対して１／１６倍速である。そして、１／１６倍速のスロー再生が実行されている場合に、ユーザがリモコンを介して所定の操作を行うことで、１／１６倍速以外の他のスロー再生速度（１／２倍速、１／４倍速、１／８倍速、１／２４倍速）を選択することができる。

スロー再生速度の選択は、ユーザがリモコンのスロー再生ボタンを押下することで、順次スロー再生速度が低速方向または高速方向に切り替わるように構成することで実現できる。また、１／２倍速が選択された後、改めてスロー再生ボタンが押下された場合には、１／２４倍速でスロー再生を行うように切り換えることで、簡単な操作でユーザが望むスロー再生速度を選択することができる。

図７は、実施例３におけるスロー再生速度の切り換え制御を示すフローチャートである。このフローチャートは、図２に示した実施例１のフローチャートのステップＳ２０７、及び図４の実施例２のフローチャートのステップＳ４１０において実行される内部処理に相当する。

なお、このフローチャートに係る制御が実行される前のステップであり、ステップＳ２０６またはステップＳ４０７では、決定された映像フレームレートにおける初期のスロー再生速度が選択され、スロー再生が実行されているものとする。例えば、実施例１では再生している映像の映像フレームレートが６０ｆｐｓであるならば、１／２倍速でスロー再生が行われているものとする。また、実施例２では、最高フレームレートが４８０ｆｐｓであるならば、１／１６倍速でスロー再生が行われているものとする。

ステップＳ７０１では、ユーザがリモコンを介してスロー再生速度の変更指示を入力したか否かを、制御部１０８が、リモコン信号を受信するリモコン信号受信部１０９からの通知に応じて判定する。制御部１０８が、スロー再生速度の変更指示を受信したと判定した場合、その情報を再生速度決定部１１０に通知する。

ステップＳ７０２では、再生速度決定部１１０が、スロー再生を実行している映像の映像フレームレートについて、記憶部に格納されている図６に示した再生速度情報を参照する。

ステップＳ７０３では、再生速度決定部１１０は、参照した再生速度情報により、スロー再生を実行している映像の映像フレームレートについて、現在のスロー再生の再生速度とは異なる他のスロー再生速度が設定されているか否かを判定する。ステップＳ７０３の判定の結果、他のスロー再生速度が存在していないと判定した場合は、ステップＳ７０６に移行する。再生速度決定部１１０は制御部１０８に対して、スロー再生速度の変更が不可であることを示すＵＩを映像に合成するよう指示する情報を通知する。その情報を受けた制御部１０８はスロー再生速度の変更が不可であることを示すＵＩを生成し、合成部１０６に出力する。合成部１０６では、合成部１０６に入力されている映像に制御部１０８が生成したＵＩを合成する。

ステップＳ７０３で、再生速度決定部１１０が、現在のスロー再生の再生速度とは異なる他のスロー再生速度が設定されていると判定した場合は、ステップＳ７０４へ処理を移行する。

ステップＳ７０４では、再生速度決定部１１０は、再生速度情報に規定されているスロー再生速度の選択順に従って、現在のスロー再生速度の次に選択すべきスロー再生速度を選択する。なお、この選択順の情報は図６の再生速度情報には不図示であるが、スロー再生速度が速まるような選択順となっているのが好適である。従って、４８０ｆｐｓの映像フレームレートにおいて、現在選択されているスロー再生速度が１／１６倍速である場合には、この再生速度の次に選択すべきスロー再生速度は１／８倍速となる。

ステップＳ７０５では、再生速度決定部１１０が、ステップＳ７０４で決定したスロー再生速度で映像データを再生するように、デコード部１０４に制御コマンドを送信する。

以上、本実施例では、映像フレームレートに適した複数のスロー再生速度を映像フレームレートの値に応じて設定し、そのスロー再生速度をユーザが任意に選択できるようにしたことで、よりユーザの利便性が向上する映像再生装置を提供できる。また、複数のスロー再生速度が存在する場合でも、スロー再生に移行した際に適用する初期のスロー再生速度を映像のフレームレートに適したスロー再生速度として設定している。これにより、何度もスロー再生速度を変更しなくても、当該フレームレートに適したスロー再生速度のスローモーション映像をユーザに提示することができる。

なお、以上の各実施例で説明した構成要素及び処理は、ハードウェアで実装してもよいし、ソフトウェアで実装してもよいし、その組み合わせで実装してもよい。これらの構成要素及び処理の一部又は全部を実装するソフトウェア（プログラム）、及びこれを格納した記憶媒体も、本発明の範囲に含まれる。

Claims (10)

1. 蓄積部に蓄積された映像データのスロー再生処理が可能であり、実時間における速度に相当する速度で映像データを再生すること、及び、同一内容かつフレームレートの値が異なる複数の映像データから、いずれか一つのフレームレートの映像データを選択して再生することが可能である映像再生装置であって、
   映像データのスロー再生処理の実行にあたって、実時間における速度に相当する速度で再生している映像データのフレームレートの値よりも、当該映像データと同一内容の映像データであってより高いフレームレートの値を有する映像データが存在するか否かを検出する検出手段と、
   前記検出手段によって、同一内容の映像データであってより高いフレームレートの値を有する映像データが存在することが検出された場合、当該映像データのフレームレートの値から、当該映像データのスロー再生処理を実行する場合のスロー再生速度を決定する決定手段と、
   前記決定手段で決定されたスロー再生速度を用いて、前記より高いフレームレートの値を有する映像データのスロー再生処理を実行する再生手段と、
   を有することを特徴とする映像再生装置。
2. 前記より高いフレームレートの値を有する映像データが複数存在する場合、
   前記決定手段は、最も高いフレームレートの値を有する映像データのスロー再生処理を実行する場合のスロー再生速度を決定し、
   前記再生手段は、前記最も高いフレームレートの値を有する映像データのスロー再生処理を実行することを特徴とする請求項１に記載の映像再生装置。
3. 前記決定手段は、映像データのフレームレートが取り得る複数の値の各々に、スロー再生処理を実行する場合のスロー再生速度を少なくとも一つ対応付けた再生速度情報を用いて、スロー再生処理を実行する前記映像データのスロー再生速度を決定することを特徴とする請求項１または２に記載の映像再生装置。
4. 前記再生速度情報において、映像データのフレームレートが取り得る値に対して複数のスロー再生速度が対応付けられている場合、当該複数のスロー再生速度は、対応付けられているフレームレートの映像データのスロー再生処理を実行する際に、ユーザの指示入力に従って選択可能なスロー再生速度であることを特徴とする請求項３に記載の映像再生装置。
5. 蓄積部に蓄積された映像データのスロー再生処理が可能であり、実時間における速度に相当する速度で映像データを再生すること、及び、同一内容かつフレームレートの値が異なる複数の映像データから、いずれか一つのフレームレートの映像データを選択して再生することが可能である映像再生装置の制御方法であって、
   映像データのスロー再生処理の実行にあたって、実時間における速度に相当する速度で再生している映像データのフレームレートの値よりも、当該映像データと同一内容の映像データであってより高いフレームレートの値を有する映像データが存在するか否かを検出する検出ステップと、
   前記検出ステップによって、同一内容の映像データであってより高いフレームレートの値を有する映像データが存在することが検出された場合、当該映像データのフレームレートの値から、当該映像データのスロー再生処理を実行する場合のスロー再生速度を決定する決定ステップと、
   前記決定ステップで決定されたスロー再生速度を用いて、前記より高いフレームレートの値を有する映像データのスロー再生処理を実行する再生ステップと、
   を有することを特徴とする映像再生装置の制御方法。
6. 前記より高いフレームレートの値を有する映像データが複数存在する場合、
   前記決定ステップでは、最も高いフレームレートの値を有する映像データのスロー再生処理を実行する場合のスロー再生速度を決定し、
   前記再生ステップでは、前記最も高いフレームレートの値を有する映像データのスロー再生処理を実行することを特徴とする請求項５に記載の映像再生装置の制御方法。
7. 前記決定ステップでは、映像データのフレームレートが取り得る複数の値の各々に、スロー再生処理を実行する場合のスロー再生速度を少なくとも一つ対応付けた再生速度情報を用いて、スロー再生処理を実行する前記映像データのスロー再生速度を決定することを特徴とする請求項５または６に記載の映像再生装置の制御方法。
8. 前記再生速度情報において、映像データのフレームレートが取り得る値に対して複数のスロー再生速度が対応付けられている場合、当該複数のスロー再生速度は、対応付けられているフレームレートの映像データのスロー再生処理を実行する際に、ユーザの指示入力に従って選択可能なスロー再生速度であることを特徴とする請求項７に記載の映像再生装置の制御方法。
9. 映像データを再生することが可能な映像再生装置であって、
   映像データが有するフレームレートの種別に応じて夫々決定されたスロー再生速度を用いてスロー再生が可能な再生手段を有し、
   前記スロー再生速度は、第１のフレームレートに対応するスロー再生速度よりも、前記第１のフレームレートよりも高い第２のフレームレートに対応するスロー再生速度の方がより低速でのスロー再生が可能となるように決定されていることを特徴とする映像再生装置の制御方法。
10. 映像データを再生することが可能な映像再生装置の制御方法であって、
    映像データが有するフレームレートの種別に応じて夫々決定されたスロー再生速度を用いてスロー再生が可能な再生ステップを有し、
    前記スロー再生速度は、第１のフレームレートに対応するスロー再生速度よりも、前記第１のフレームレートよりも高い第２のフレームレートに対応するスロー再生速度の方がより低速でのスロー再生が可能となるように決定されていることを特徴とする映像再生装置の制御方法。

Images