JP5371493B2 - 装置及び方法 - Google Patents

Description

本発明は、装置及び方法に関する。

１０００ｆｐｓを超える高フレームレートで動画撮影され、動きの滑らかなスロー再生が可能なコンテンツが知られている。コンテンツ全体にわたって高フレームレートで撮影された映像からなる場合と、コンテンツ内の一部の期間の特定シーン（早い動きの一瞬の場面を捉えたシーンなど）だけ高フレームレートで撮影された映像からなる場合とがある。

後者のように１つのコンテンツ内でフレームレートが変化するコンテンツを多フレームレートコンテンツと呼ぶ。多フレームレートコンテンツにおいては、高フレームレート区間のフレームを間引くことで再生フレームレートを調整する場合と、高フレームレート区間を自動的にスロー再生する場合とがある。下記特許文献１では、多フレームレートコンテンツで画質向上効果の高い高フレームレート部分が抽出された場合に、情報表示部又はインジケータによって、高フレームレート部分であることをユーザに認識させる情報が表示される画像処理装置が開示されている。

特開２００６−３２４９１号公報

多フレームレートコンテンツの視聴の際に、ユーザは、標準再生モードとスロー再生モードとを選択することができる。標準再生モードでは、高フレームレート区間のフレームを間引くことで再生時間が調整されて再生され、スロー再生モードでは、高フレームレート区間をフレーム間引きせずに再生する。従って、多フレームレートコンテンツでは標準再生するかスロー再生するかによって再生時間が異なるため、ユーザの視聴状態に影響を及ぼす。例えば、標準再生した場合は１時間で終了するコンテンツをスロー再生すると１時間１５分かかってしまう場合がある。

ユーザは、標準再生とスロー再生の選択を行う場合に、予めそれぞれの再生モードでの視聴時間が提示されていないために、再生モードの選択を円滑に行うことができない。

また、多フレームレートコンテンツ全体にわたって再生モードを選択する場合以外に、再生途中で高フレームレートのシーンが現われた場合に、ユーザが再生モードを選択できる場合もある。このような場合も、そのシーンをスロー再生した場合にどの程度の再生時間を要するのかが提示されないので、ユーザは円滑に再生モードを選択することができない。

本発明に係る再生装置は、第１のフレームレートより高い第２のフレームレートによって記録された映像を含むコンテンツを再生する再生手段と、前記コンテンツが第１の再生モードで再生される場合における前記コンテンツの再生時間を含む第１の時間と、前記映像が前記第１の再生モードと異なる第２の再生モードで再生される場合における前記コンテンツの再生時間を含む第２の時間とを検出する検出手段と、前記映像を再生するための再生モードを選択させるために用いられる選択データと、前記第１の時間を示すデータと、前記第２の時間を示すデータとを表示装置に表示させる制御手段とを有することを特徴とする。

本発明によれば、ユーザに円滑に再生モードを選択させることができる。

本発明の映像再生装置の構成を示すブロック図である。 コンテンツ情報の内容を示す説明図である。 コンテンツ情報の生成を示すフローチャートである。 コンテンツリストの表示例を示す模式図である。 再生モード選択画面を生成する処理を示すフローチャートである。 再生モード選択画面の表示例を示す模式図である。 記録フレームレートと再生フレームレートの関係を説明するための説明図である。 フレームレート情報の内容を示す説明図である。

以下、図面を用いて本発明を説明する。

図１は本発明の映像再生装置１０１の構成を示したブロック図である。

入力部１０２は、映像コンテンツの入力インタフェースである。入力ソースとしては、デジタルテレビ放送や、外部機器、ネットワークを介したコンテンツサーバーなどである。入力したコンテンツの映像データは後段のレート解析部１０３に転送される。

映像コンテンツは多フレームレートコンテンツである。高フレームレート（第２のフレームレート）の高フレームレート区間（第２の区間）と、通常フレームレート（第１のフレームレート）の通常フレームレート区間（第１の区間）とからなる。

レート解析部１０３は、メタデータやヘッダ情報として映像データに付与されているフレームレート情報からコンテンツ全体にわたって映像データを解析して高フレームレート区間を抽出する。解析結果に基いて、コンテンツ全体の再生時間が、再生フレームレートで再生したときに所望の時間となるように、抽出された高フレームレート区間のフレームが所定間隔で間引かれる（第１のフレーム間引き処理）。再生フレームレートは、表示装置の表示フレームレートに基いて設定される。具体的には、表示フレームレートが６０Ｈｚ、１２０Ｈｚ、２４０Ｈｚの場合に再生フレームレートを６０Ｈｚとする。このときコンテンツ全体の再生時間は、撮影時間と一致させてもよいし、コンテンツのジャンル情報に基いて撮影時間より、１０％〜３０％の範囲で短く又は長く調整してもよい。フレームが間引かれた結果としてのコンテンツ全体の再生時間が、標準再生モードの再生時間として算出される。

一方、スロー再生モードでの再生時間は、高フレームレート区間の全フレームを再生フレームレートで再生した場合のコンテンツ全体の再生時間として算出される。即ち、高フレームレート区間のフレームレートと時間的長さによって、標準再生モードよりも再生時間が長くなる。ここでは、スロー再生時は全フレームを再生することとしたが、高フレームレート区間での映像データに、標準再生モードよりは間引くフレーム数を少なくした間引き処理（第２のフレーム間引き処理）を施してスロー再生することもできる。

図８は、映像コンテンツに付与されたフレームレート情報８０１を示している。フレームレート情報８０１にはタイムスタンプとフレームレートの値が記録されている。フレームレート情報８０１を用いて、映像コンテンツのシーン毎の再生時間を表すコンテンツ情報２０２が算出される。図２はコンテンツ情報を示す。１つの映像コンテンツが５つのシーンから構成されているコンテンツＡについて、高フレームレート区間の位置情報（シーン情報）と各シーンの長さ情報及フレームレート区間が記載されている。ここでは、シーン２に１０秒とシーン４に２０秒の２つの高フレームレート区間が存在する。標準時間に対してシーン２は５倍、シーン４には２倍のフレームレートが挿入されており、標準再生時の視聴時間は１０分３０秒である。高フレームレート区間をスロー再生した場合は、各区間の視聴時間は５０秒と４０秒になり、映像コンテンツ全体の再生時間は１１分３０秒になる。

図７は、撮影装置で記録された状態と、スロー再生モードで再生された状態と標準再生モードで再生された状態での各々のフレーム位置の関係を模式的に表した説明図である。再生フレームレートは６０Ｈｚに固定されている。記録フレームの中の高フレームレート区間を、映像データにフレーム間引き処理を施して再生するか否かにより再生時間が異なることを示している。標準再生モード（ｃ）での再生時間は撮影時間（ａ）に一致している。

記憶部１０４は、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）で、入力した映像データ及び映像データと関連付けされたコンテンツ情報８０１を記憶する。

画像処理部１０７は、映像データに対して解像度変換やフレームレート変換等の画像処理を施すとともに、映像データからコンテンツのサムネイルデータを生成し、記憶部１０４に保存する。

操作部１０５は、例えばリモコンであり、ユーザ操作により、コンテンツリスト表示や、コンテンツ再生などの指示情報を制御部１０９に送信する。グラフィクス処理部１０６は、記憶部１０４から読み出したコンテンツ情報２０２とサムネイルデータを用いて、コンテンツの再生時間情報やコンテンツリスト画面を表示するグラフィクデータを生成する。画像処理部１０７は、画像処理された映像データとグラフィクデータとを合成処理して、表示データとして表示装置１０８に送信する。表示装置１０８は、液晶表示装置やプラズマ表示装置であり、表示データに基いた映像を表示画面に表示する。

制御部１０９は操作部１０５からの指示情報に応じて、画像処理部１０７にフレーム間引き処理の実行を指示するとともに、上記各処理ブロックを連携制御する。

図３は、コンテンツ情報の蓄積に係るフローチャートを示す。
映像コンテンツのデータが入力されると（Ｓ３０１）、レート解析部１０３よって、映像全体のフレームレートが解析される（Ｓ３０２）。具体的には映像コンテンツに付与されているフレームレート情報８０１から、シーン毎のフレームレート及び再生時間が算出される。解析結果をもとに高フレームレート区間があるか否かを判定する（ステップＳ３０３）。高フレームレート区間がある場合はコンテンツ全体をスロー再生した場合のコンテンツ再生総時間の演算を行う（ステップＳ３０４）。更にコンテンツ全体を標準再生した場合のコンテンツ再生総時間の演算を行う（ステップＳ３０５）。高フレームレート区間がない場合は、標準再生時間の演算のみを行う（ステップＳ３０５）。これらの演算結果からなるコンテンツ情報２０２を生成し（ステップＳ３０６）、コンテンツ情報２０２と映像コンテンツのデータとを関連付けて記憶部１０４に蓄積する（ステップＳ３０７）。

グラフィクス処理部１０６は、ユーザ指示に応じて、記憶部１０４に蓄積された複数の映像コンテンツの情報からなるコンテンツリスト４０１を表示するためのグラフィクスデータを生成する。

図４は、コンテンツリスト４０１の表示例を示す。コンテンツリスト４０１には、映像コンテンツのサムネイル画像４０２〜４０７と再生時間画像とを１対の表示単位として、各映像コンテンツ毎に一覧表示されている。その中でコンテンツ４０２、４０５、４０７は、多フレームレートコンテンツである。多フレームレートコンテンツに対しては、標準再生時間を「Ｎｏｒｍａｌ」の右に表示し、スロー再生時間を「Ｓｌｏｗ」の右に並列的に表示している。また、高フレームレート区間を含まないコンテンツ４０３、４０４、４０６には標準再生時間のみを表示する。ユーザはリモコン操作により、選択カーソル４０８をサムネイル画像間で移動させ、視聴したいコンテンツを選択する。コンテンツを選択した後は、再生方法選択カーソル４０９にて標準再生かスロー再生かを選択する。図４では、コンテンツリスト４０１上で、コンテンツ４０５が選択されており、かつスロー再生が選択されている状態が示されている。

高フレームレート区間で間引きされるフレーム数を異ならせた複数段階のスロー再生が可能な場合は、「Ｓｌｏｗ」の項目を複数設けて、「Ｓｌｏｗ×２」、「Ｓｌｏｗ×３」などの表示を行いそれぞれの再生時間を表示してもよい。

また、再生時間は、数字以外にもインジゲータやプログレスバーなどのグラフィックスで表示してもよい。

さらに再生時間は、コンテンツリスト４０１として表示される以外に、コンテンツ再生時に表示されてもよい。

実施例１は、ユーザにコンテンツリストの再生時間表示を参照させ、コンテンツ全体を標準再生モードとスロー再生モードの何れかで視聴するかの選択を促すものである。それに対して、実施例２はコンテンツ再生の途中で、高フレームレート区間シーンを視聴する再生モードの選択を促すものである。

ユーザは、コンテンツリストで、視聴するコンテンツを選択するとともに、高フレームレート区間毎に標準再生とスロー再生とを逐次選択可能な選択再生モードを選択することができる。選択再生モードは、図４のコンテンツリストでは、「Ｓｅｌｅｃｔ」として表示されるが、再生時間は表示されない。図５は、本実施例のフローチャートである。ユーザのリモコン操作により、コンテンツ再生がスタートする（Ｓ５０１）。制御部１０９は、選択再生モードが選択されているか否かを判定する（Ｓ５０２）。選択再生モードが選択されていない場合は、標準再生モード又はスロー再生モードでコンテンツ全体が再生される。選択再生モードが選択されている場合は、再生中に高フレームレート区間に到達したか否かが判定される（Ｓ５０３）。高フレームレート区間に到達した場合は、高フレームレート区間を標準再生した場合の再生時間と、スロー再生した場合の再生時間とを表示する（Ｓ５０４、Ｓ５０５）。ユーザは表示されたそれぞれの再生モードでの再生時間を元に、高フレームレートのシーンの再生モードを選択する（Ｓ５０６）。選択された再生モードに応じてそれぞれ再生される（Ｓ５０７、Ｓ５０８）。高フレームレート区間の再生が終了したか否かを判定して（Ｓ５０９）、終了していない場合は高フレームレート区間の再生残時間を再計算し（Ｓ５１０）、各再生モードでの再生残時間を表示する（Ｓ５０４、Ｓ５０５）。高フレームレート区間の再生が終了していた場合は、コンテンツ再生が最後まで行われたか否かを判定し（Ｓ５１１）、終了していればフローが終了する（Ｓ５１２）。

図６は、高フレームレート区間に到達したときのグラフィクス表示例を示す。高フレームレート区間を標準再生した場合の再生時間６０４と、スロー再生した場合の再生時間６０３とが表示画面６０１に表示される。再生モードが選択されるまで、コンテンツの映像は、高フレームレートのシーンの最初のフレームを静止画として表示している。ユーザは再生方法選択カーソル６０３を移動させて、このシーンの再生モードを選択する。時間情報６０３、６０４は、本シーンの再生終了までの残時間を示しており、再生の進行に伴って、時々刻々と変化する。

ユーザは各再生モードでの再生時間を参照しながら、高フレームレートシーンの再生モードを表示画面上で選択することができる。

再生時間情報６０２は、高フレームレート区間の再生開始と同時に表示されるが、高フレームレート区間再生開始よりも設定時間だけ前に表示されてもよい。この表示は、高フレームレート区間よりも設定時間前のフレームに高フレームレート区間を示すフラグを付加することにより、達成される。

１０１ 映像再生装置
１０２ 入力部
１０３ レート解析部
１０４ 記憶部
１０５ 操作部
１０６ グラフィクス処理部
１０７ 画像処理部
１０８ 表示部

Claims (10)

1. 第１のフレームレートより高い第２のフレームレートによって記録された映像を含むコンテンツを再生する再生手段と、
   前記コンテンツが第１の再生モードで再生される場合における前記コンテンツの再生時間を含む第１の時間と、前記映像が前記第１の再生モードと異なる第２の再生モードで再生される場合における前記コンテンツの再生時間を含む第２の時間とを検出する検出手段と、
   前記映像を再生するための再生モードを選択させるために用いられる選択データと、前記第１の時間を示すデータと、前記第２の時間を示すデータとを表示装置に表示させる制御手段と
   を有することを特徴とする再生装置。
2. 前記第２の時間は、前記映像に含まれるフレームの数を減らすための処理が行われることによって生成された映像の再生時間を含むことを特徴とする請求項１に記載の再生装置。
3. 前記選択データは、前記映像を再生するための再生モードとして、前記第１の再生モード及び前記第２の再生モードのいずれか一つを選択させるために用いられることを特徴とする請求項１または２に記載の再生装置。
4. 前記制御手段は、前記映像に関するサムネイルデータが前記表示装置に表示されている間、前記選択データ、前記第１の時間を示すデータ及び前記第２の時間を示すデータを前記表示装置に表示させることを特徴とする請求項１から３のいずれか１項に記載の再生装置。
5. 前記制御手段は、前記映像の再生が開始される前に、前記選択データ、前記第１の時間を示すデータ及び前記第２の時間を示すデータを前記表示装置に表示させることを特徴とする請求項１から３のいずれか１項に記載の再生装置。
6. 前記制御手段は、前記映像に対応する映像データが前記表示装置に表示されている間、前記選択データ、前記第１の時間を示すデータ及び前記第２の時間を示すデータを前記表示装置に表示させることを特徴とする請求項１から３のいずれか１項に記載の再生装置。
7. 前記第１の時間は、前記映像に含まれるフレームの数を減らす処理が行われていない状態で前記映像が再生された場合における再生時間を含むことを特徴とする請求項１から６のいずれか１項に記載の再生装置。
8. 前記第１の再生モードは、スロー再生を行うための再生モードであることを特徴とする請求項１から７のいずれか１項に記載の再生装置。
9. 前記第１の時間は、前記第２の時間よりも長いことを特徴とする請求項１から８のいずれか１項に記載の再生装置。
10. 第１のフレームレートより高い第２のフレームレートによって記録された映像を含むコンテンツを再生するステップと、
    前記コンテンツが第１の再生モードで再生される場合における前記コンテンツの再生時間を含む第１の時間を検出するステップと、
    前記映像が前記第１の再生モードと異なる第２の再生モードで再生される場合における前記コンテンツの再生時間を含む第２の時間とを検出するステップと、
    前記映像を再生するための再生モードを選択させるために用いられる選択データと、前記第１の時間を示すデータと、前記第２の時間を示すデータとを表示装置に表示させるステップと
    を有する制御方法。