JP5033653B2 - 映像記録再生装置及び映像再生装置 - Google Patents

Description

技術分野は、映像の記録・再生を行う装置または方法に関する。

近年、利用者が所望のシーンを検索したいというニーズが高まっている。特許文献１には、字幕に対して自然言語処理を使って品詞分解し、体言止めの文及び名詞＋断定の助動詞の文を抽出し、最後の名詞を具象物の名称として抽出し、その名称とその名称が含まれる映像位置とからなるインデックスを蓄積する映像インデックス装置が開示されている。

特開２００７−６１１６号公報

特許文献１では、字幕内に含まれる単語をインデックスとして付加する。しかし、特許文献１には、「具象物名を検索語として、インデキシングした映像を検索する」とのみ記載されており、インデシングした映像について利用者が望む映像再生を行う技術や利用者が望む映像再生方法を実現するための映像のインデシング技術については開示がない。

本発明は、上記課題を鑑みてなされたものであり、その目的は、利用者にとってより好適な映像再生を実現することにある。

上記課題を解決するために、本発明の一実施の形態は、例えば特許請求の範囲に記載されるように構成すればよい。

本発明によれば、利用者にとってより好適な映像再生を実現することができる。

以下の説明において、「動画データ」とは複数の画像を含むデータをいい、複数の画像のデータ以外にもヘッダ情報など付随するデータも含む概念をいう。

また、以下の説明において、動画の「シーン」とは、動画データ内の連続する一部分をいう。

以下、本発明の実施形態の一例を説明する。

図１は、本実施例に係る映像記録再生装置のハードウェア構成の一例である。ここで、映像記録再生装置は、例えば、ＣＰＵ１０１、主記憶装置１０２、補助記憶装置１０３、音声出力装置１０４、表示装置１０５、指示入力装置１０６、動画データ入力装置１０７から構成される。また、ネットワークを介して動画データを取得する場合には、さらに、ネットワークデータ送受信装置１０８を有する。上記１０１から１０８までの各装置はバス１０９によって接続され、各装置間で相互にデータの送受信が行われる。

ここで、本実施例に係る映像記録再生装置は、動画データ入力装置１０７やネットワークデータ送受信装置１０８などにより例えばデジタル放送やIP放送などを受信し、その放送データの中から動画データを取得する、もしくはネットワークデータ送受信装置１０８を介して接続されるネットワーク上のサーバー装置内の動画データなどを取得し、その動画データを記録、再生する。

ＣＰＵ１０１は、主記憶装置１０２や補助記憶装置１０３に格納されているプログラムを実行する。

主記憶装置１０２は、例えば、ランダムアクセスメモリ（ＲＡＭ）やリードオンリーメモリ（ＲＯＭ）等で実現される。主記憶装置１０２は、ＣＰＵ１０１によって実行されるソフトウェアプログラムや映像記録再生装置において処理されるデータや動画データ等を格納する。

補助記憶装置１０３は、例えば、ハードディスク（ＨＤＤ）、Ｂｌｕ−ｒａｙ Ｄｉｓｃや、ＤＶＤなどの光ディスクドライブ、フロッピー（登録商標）ディスクなどの磁気ディスクドライブ、あるいはフラッシュメモリ等の不揮発性メモリ等を、単体あるいは複数組合せて構成される。補助記憶装置１０３は、ＣＰＵ１０１によって実行されるソフトウェアプログラムや映像記録再生装置において処理されるデータや動画データ等を格納する。

音声出力装置１０４は、例えば、例えばサウンドカードとスピーカ等によって実現され、動画データに含まれる音声を出力する。

表示装置１０５は、例えば、液晶ディスプレイデバイス、プラズマディスプレイデバイス、プロジェクタデバイス等によって実現され、映像記録再生装置において処理される動画データや映像記録再生装置の動作設定や状況の表示画面を表示する。

指示入力装置１０６は、例えば、リモコン、キーボード、マウス等で実現され、利用者は指示入力装置１０６を通して録画、再生等の装置の動作に関する設定を行う。

動画データ取得装置１０７には、動画データが入力される。動画データ入力装置１０７は、例えば、主記憶装置１０２あるいは補助記憶装置１０３に格納されている動画データを読み込む装置や、テレビ放送等を受信する場合にはテレビのチューナユニットとすることができる。

ネットワーク送受信装置１０８には、例えば、ＬＡＮカード等のネットワークカードによって実現され、ネットワークで繋がっている他の装置から動画データが入力される。

図２は映像記録再生装置の機能ブロックの一例である。これらの機能ブロックの一部あるいは全部は、ＣＰＵ１０１によって実行されるソフトウェアプログラムとして実現してもよく、図１で示したハードウェアに加えて、ハードウェアとして実現されてもよい。

なお、以下では、一例として、これらの機能ブロックの全てがＣＰＵ１０１によって実行されるソフトウェアプログラムであるものとして説明する。

映像記録再生装置は、動画データ入力部２０１、文字情報抽出部２０２、インデックスデータ生成部２０３、インデックスデータ保持部２０７、インデックスデータ取得部２０８、ユーザ指定レベル情報取得部２０９、シーン開始位置取得部２１２、文字列提示制御部２１３、シーン開始位置提示部２１４、再生制御部２１５、音声出力制御部２１６、表示制御部２１７、再生動画データ入力部２１８、再生位置指定部２１９から構成される。

ただし、他の装置ですでに作成済みのインデックスデータを使用するなど、インデックスデータを映像記録再生装置で生成しない場合には、必ずしも動画データ入力部２０１と、文字情報抽出部２０２と、インデックスデータ生成部２０３と、インデックスデータ保持部２０７は必要ない。

動画データ入力部２０１は、動画データ入力装置１０７またはネットワーク送受信装置１０８から後述するインデックスデータを生成する対象の動画データが入力される。

文字情報抽出部２０２は、動画データ入力部２０１に入力された動画データを解析して文字列を抽出し、その文字列およびそれが抽出された動画データ上の時刻を抽出する。これは、例えば映像上で喋られている台詞の字幕データを取得し、その文字列およびそれが表示される時間とともに記録することで実現すればよい。なお、デジタルテレビ放送では、音声のES（Elementary Stream）や映像のESともに字幕のESが送られてきているので、この字幕のESを取得し、デコードすることで、字幕として表示される文字列とそれが表示される時刻の情報を取得できる。映像ESと共に送信される字幕ESを用いて文字列を抽出する場合、文字情報抽出部２０２は動画データに付随する文字情報を抽出することとなる。

また、動画データ入力部２０１に入力された動画データの音声を認識することで、映像上で喋られている台詞の文字列を取得できる。なお、音声認識の技術については、従来の技術を用いればよいため、説明は省略する。また、動画データ入力部２０１に入力された動画データの画像上に表示されるテロップを認識することで、画像上テロップの文字列を取得してもよい。なお、テロップ認識の技術については、従来の技術を用いればよいため、説明は省略する。音声認識やテロップ認識により文字情報を抽出する場合には、文字情報抽出部２０２は、動画データに含まれる文字情報を抽出することとなる。

インデックスデータ生成部２０３は、シーン開始位置検出部２０４、レベル設定部２０５、提示用文字列設定部２０６から構成される。文字情報抽出部２０２で抽出された文字列およびそれが抽出された動画データ上の時刻を予め定めたレベル決定テーブルを用いて解析し、インデックスデータを生成する。レベル決定テーブルの詳細については図３を用いて後述する。インデックスデータの構造については図４を用いて後述する。

シーン開始位置検出部２０４は、動画データを元に所定の個数(＝Ｎ)のシーンについて開始時刻を検出する。これは、文字情報抽出部２０２で動画データから抽出された文字列に対して、シーンの終わり及び開始時に出現する言葉をクエリとして、たとえば、以下に例示する検出方法を用いて検索することで実現できる。

第１の検出方法は、特定の文字列を検索する方法である。例えば、「スポーツです」を検索することで、ニュース番組でスポーツコーナーが始まるときに出現する「スポーツです」という文字列を検出し、スポーツコーナーの開始時刻を検出できる。開始時刻は、検索語が見つかった位置に対応する時刻それぞれに、予め定められたオフセットを加えた値とする。

第２の検出方法は、文頭の文字列を対象として、特定の文字列を検索する方法である。例えば、文頭にある「続いては」という文字列を検索することで、ニュース番組でトピックが切り替わる際に出現する文頭の「続いては」という文字列を検出し、スポーツコーナーの開始時刻を検出できる。開始時刻は、検索語が見つかった位置に対応する時刻それぞれに対して、時間的に前方に予め定められたオフセットを加えた値とする。

第３の検出方法は、特定の文字列を検索し、当該特定の文字列の最初の出現位置を求める方法である。例えば、「気象情報」とう文字列が最初に出現した位置を求めることで、ニュース番組の気象情報コーナーで出現する「気象情報」という文字列を検出する一方、そのコーナーの中で出現する「気象情報」は検出しないため、正しい気象情報コーナーの開始時刻を検出できる。開始時刻は、検索語が見つかった位置に対応する時刻それぞれに対して、時間的に前方に予め定められたオフセットを加えた値とする。

第４の検出方法は、特定の文字列を所定時間内または所定の個数の文の中から検索し、予め定めた閾値の個数以上存在する位置を求める方法である。例えば、ニュース番組の気象情報コーナーでは「晴れ」という文字列が頻出するため、「晴れ」が2分以内に3回以上存在する位置を検索することで、気象情報コーナーの付近の時刻を取得できる。開始時刻は、最初に特定の文字列が出現した位置、または特定の文字列が出現した位置の平均、または最後に出現した位置に対応する時刻に対して、時間的に前方に予め定められたオフセットを加えた値をシーンの開始時刻とする。

第５の検出方法は、動画データから文字列が抽出されない期間が、所定の期間を超えた場合、文字列が抽出されない期間の最後の位置に対応する時刻に、予め定められたオフセットを加えた値をシーンの開始時刻とする方法である。一般的にCM中は動画データから文字列が抽出されないため、CM明けのニュースのトピックは文字列が再び抽出された位置と一致する。そのため、所定の期間を超えて文字列が抽出されない期間の最後の位置に対応する時刻が、ニュースのトピックの開始時刻に近い。よって、当該文字列が抽出されない期間の最後の位置に対応する時刻に対して、時間的に前方にオフセットを加えた値をシーンの開始時刻とすることで、ニュースのトピックの開始時刻を取得できる。

例えば、以上の検索方法に基づいてシーンごとに複数のルールを用意して、シーンの開始時刻を検出すればよい。

また、以上説明した方法に加えて、動画データから字幕を制御するためのコードを抽出し、所定のコードの出現回数の条件、所定のコードの出現時間の条件を用いてシーンの開始位置を検出しても良い。

また、以上説明した動画データから抽出した文字列からシーンの開始位置を検出する方法と前記字幕を制御するコードからシーンの開始位置を検出する方法を組み合わせてもよい。

次に、レベル設定部２０５は、シーン開始位置検出部２０４で検出されたＮ個の各シーンの開始位置にレベルを設定する。ここで、以下の説明において「レベル」とは、シーンもしくはシーンの開始位置の種類を示す値である。レベルの設定には、例えば、図３に示すようなレベル決定テーブルを用いる。レベル決定テーブルは、例えば、図１の主記憶装置１０２や補助記憶装置１０３に予め記録しておく。シーン開始位置検出部２０４で検出したＮ個のシーンそれぞれの開始位置の集合に対して、図３に示すようなレベル決定テーブルの３０４の数値をレベルとして割り当てる。

ここで、図３に示すレベル決定テーブルの一例について、詳細を説明する。図３にはレベル決定テーブルの一例として、「ニュース番組」のレベル決定テーブルを示す。図３において、３０１はデータのエントリ番号であり、３０２はカテゴリを表す文字列あるいはコードであり、３０３は利用者に提示するための文字列であり、３０４はレベルであり、３０５はシーンをマージする個数であり、３０６はシーン開始位置検出部２０４で検出されるシーンの内容を表す文字列またはコードである。レベル決定テーブルは上述した３０１ないし３０６のデータの組でエントリを構成する。図３の例においては特に３１１ないし３１４の４つのエントリがあることを示している。

なお、レベル決定テーブルの３０４の数値の大小によって、そのシーンのレベルの上位、下位を示してもよい。例えば、数字が小さい場合に、上位を示すように設定する場合は、最も細かいシーンの区切り位置、例えば、ニュース番組での「トピック」のようなシーンの区切りには最上位レベルであることを示す値、例えば１を設定する。また、シーンの最も細かい区切り位置に含まれる区切りであって、その１種類であるシーンの区切り、例えば、ニュース番組での「お天気」、「スポーツ」のようなシーンには、シーンの区切り位置に設定された値に＋１した値、例えば２を設定する。次に、例えば有名人などの固有名詞である「○○太郎」の出現シーンには、さらに＋１した値、例えば３を設定すればよい。

また、例えば、数字が大きい場合に、上位を示すように設定する場合は、最上位のシーンを０として、一つレベルの低いシーンには−１を設定し、さらにレベルの低いシーンには−２を設定すればよい。

また、この３０１ないし３０６のデータに、チャンネル、放送波の種類、放送時間、CMの有無、生放送の情報を追加してもよい。これにより、レベルを、チャンネル、放送波の種類、放送時間、CMの有無、生放送の少なくとも一つごとに設定でき、また、提示用文字列を、チャンネル、放送波の種類、放送時間、CMの有無、生放送の少なくとも一つごとに設定できる。

レベル設定部２０５は、上記の図３に示すレベル決定テーブルを用いて、シーン開始位置検出部２０４で検出された各シーンの開始位置にレベルを設定する。

提示用文字列設定部２０６は、上記の図３に示すレベル決定テーブルを用いて、シーン開始位置検出部２０４で検出されたＮ個の各シーンの開始位置に利用者に提示するための文字列を設定する。

また、レベル設定部２０５は、各シーンの開始位置に設定したレベル設定の結果をインデックスデータ格納する。提示用文字列設定部２０６は、各シーンの開始位置に設定した文字列の結果をインデックスデータ格納する。

ここで、図４に示すインデックスデータの一例について、詳細を説明する。図４はインデックスデータのデータ構造の一例である。図４において、４０１はデータのエントリ番号であり、図３のレベル決定テーブルの３０１に対応する値が格納される。４０２は後述する提示用文字列設定部２０６で各シーンに割り当てられる「トピック」「お天気」「スポーツ」「○○太郎」といった提示用文字列であり、図３のレベル決定テーブルの３０３に対応する値が格納される。４０３はレベル設定部２０５で各シーンに割り当てられるレベルであり、図３のレベル決定テーブルの３０４に対応する値が格納される。４０５はシーンが開始位置（時刻）の集合であり、レベル設定部２０５が、図３のレベル決定テーブルの３０５、３０６を参照してマージするシーンの数と種類を判別して、前述のレベルを設定した各シーンの開始位置(時刻)に対してマージを行った結果の集合である。

すなわち、本実施例では、図３のエントリ＃１の３０６には、「トピック」「お天気」「スポーツ」と記録されているので、図４のエントリ＃１の４０５には、シーン開始位置検出部２０４で検出された「トピック」「お天気」「スポーツ」の各シーンの開始位置(時刻)がマージされて記録される。ここで、「開始位置(時刻)をマージして記録する」とは、「トピック」「お天気」「スポーツ」の各種類のシーンの開始位置(時刻)を一つの集合に格納し、複数種類のシーンの開始位置(時刻)が重複する場合に、一つの開始位置(時刻)として記録することをいう。

この場合、複数種類のシーンの開始位置(時刻)が重複する場合の判断は、厳密に時、分、秒まで一致するものを重複すると判断しても良いが、２、３分以内に複数種類のシーンの開始位置(時刻)が存在する場合を重複すると判断しても良い。後者の場合は、上記図４のインデックスデータを用いて動画を再生する際に、一般的に利用者の望む期間よりも短期間の再生位置の変更などを排除することができ、利用者がより望む映像再生を実現することが可能となる。

また図４において、４０４はシーン開始時刻の個数であり、上記のマージがなされた結果、４０５に格納される時刻の集合である。

なお、図４の例におけるインデックスデータにおいては、上述した４０１ないし４０５のデータの組でエントリを構成する。図４においては、特に４１１ないし４１４の４つのエントリがあることを示している。

以上説明したとおり、シーン開始位置検出部２０４、レベル設定部２０５、提示用文字列設定部２０６から構成されるインデックスデータ生成部２０３は、文字情報抽出部２０２が抽出した文字列を用いて複数の種類のシーンの開始位置（時刻）を検出し、レベル決定テーブルを用いて検出したシーンの開始位置（時刻）に対し、レベルの設定と、提示文字列を設定し、インデックスデータを生成する。

次に、図２の説明に戻り、インデックスデータ保持部２０７は、インデックスデータ生成部２０３において生成したインデクシングデータを保持する。これは、例えばインデックスデータ生成部２０３において生成したインデクシングデータを主記憶装置１０２あるいは補助記憶装置１０３に格納することによって実現できる。

インデックスデータ取得部２０８は、インデックスデータ保持部２０７において保持されたインデックスデータ、あるいは他の装置などによって既に生成されているインデックスデータを取得する。これは、例えば主記憶装置１０２あるいは補助記憶装置１０３に格納されているインデックスデータを読み出すことによって実現できる。あるいは他の装置などによって既に生成されたインデックスデータを取得する場合には、ネットワークデータ送受信装置１０８を介して、該当するインデックスデータが保存されている装置にアクセスし、該当するインデックスデータを取得すればよい。インデックスデータの取得方法としては一般的なネットワークデータの取得方法が適用可能である。すわち、従来の技術を用いればよいため、説明は省略する。

ユーザ指定レベル情報取得部２０９は、利用者などにより外部から指定されたレベルを、後述するシーン開始位置取得部２１２に通知する。これは例えば、図５におけるレベル決定ボタン５１３、５１４及び５１５が利用者により選択されることで通知されたレベルの値を後述するシーン開始位置取得部２１２に通知する。

なお、レベル決定ボタン５１３、５１４及び５１５は、図５に示す四角のボタンに限られず、選択を促す表示であればどのような表示でもよい。後述する提示文字列５１７ないし５２０そのものやぞれぞれの文字列を囲む領域が選択できるようにしてもよい。

また、図４のインデックスデータに示されるレベル２のように、一つのレベル情報に、複数の文字列が対応付けられている場合には、図５のレベル決定ボタン５１４のように、複数の文字列からなるグループを選択するように表示すればよい。

ここで、本実施例において利用者が所望するインデックスのレベルを指定する際に用いる映像記録再生装置の表示画面の一例を図５を用いて説明する。図５は、利用者に提示用文字列を提示した一例を含む本実施例に係る映像記録再生装置の表示画面の一例である。図５の例では、ニュース番組に対してレベル３までのシーンの内容を提示している。図５において、５０１は表示装置１０３上の画面であり、５０２は動画操作ウィンドウ、５０４は動画表示ウィンドウである。再生される動画データは、この動画表示ウィンドウ５０４に表示される。また、５０５は動画データの再生時間軸を示す再生位置表示スライダーであり、利用者は、この再生位置表示スライダー５０５により、再生している位置を知るとともに再生位置を変更あるいは指定することが可能となる。ここで、５０６は現在の再生位置を表示するマークである。

また、５１１および５１２は再生位置指定ボタンである。後述する再生位置指定部２１９は、利用者が再生位置指定ボタン５１１または５１２を選択した情報を取得して、後述する再生制御部２１５が再生位置を変更する。

また、５０３は、シーン内容表示ウィンドウである。後述する文字列提示制御部２１３は、このシーン内容表示ウィンドウ５０３内に、インデックスデータに格納された提示用文字列を表示することで、利用者に動画データに含まれるシーンの内容の説明を提示可能となる。図５においては、５１７ないし５２０が、レベルごとの提示用文字列である。また、５１３ないし５１５は、５１７ないし５２０で示された提示用文字列に対応するレベルのシーンの開始位置（時刻）をインデックスとして使用するか否かを指定するためのボタンである。これらを選択することによって、選択された提示用文字列に対応するレベルをユーザ指定レベル情報取得部２０９が取得するように構成する。複数のボタンが選択された場合は、選択されたそれぞれのボタンに対応するレベルをユーザ指定情報入力部２０９が取得する。

また、選択済みのボタンは図５のボタン５１４のように斜線を入れるなど、選択済みの表示を各ボタンに施すことが望ましい。これにより、利用者が選択したシーンを表示画面から理解しやすくなる。

また、上位のレベルの提示文字列に対応するボタンを選択することによって、図４のインデックスデータにおける上位のレベルのエントリにマージされた下位のレベルのエントリに対応する下位のボタンを選択済みとする表示を行ってもよい。この表示により、利用者は、提示文字列に対応するシーンの上位下位の関係を理解しやすくなる。例えば、図５の例では、利用者が提示文字列５１７「トピック」のボタン５１３を選択した場合、図４のインデックスデータにおいて提示文字列「トピック」のエントリ＃０にマージされたエントリ＃１、エントリ＃２に対応する提示文字列「お天気」「スポーツ」を示すボタン５１４に斜線を表示し選択済みの表示とすればよい。

次に、図２の説明に戻り、シーン開始位置取得部２１２は、ユーザ指定レベル情報取得部２０９が利用者によるボタンの選択など、外部から取得したレベルが、インデックスデータ取得部２０８で入力されたインデックスデータ内のレベルと一致するエントリを抽出し、抽出したエントリのシーンの開始時刻４０５を取得する。複数のエントリが抽出された場合は、それぞれのエントリのシーン開始時時刻をマージし、時刻の早い順にソートして取得する。

文字列提示制御部２１３は、インデックスデータ取得部２０８で入力したインデックスデータに格納された提示用文字列を利用者に提示する。これは、例えば図５に示すようにシーン内容表示ウィンドウ５０３上の提示用文字列表示制御部５１７、５１８、５１９及び５２０に表示する。

シーン開始位置提示部２１４は、シーン開始位置入力部２０８に入力されたシーンの開始位置を提示する。シーン開始位置提示の一例は、図５において示されている。図５では、５０７ないし５１０が、シーンの開始位置を示すマークである。例えば、動画データの再生時間軸を示す再生位置表示スライダー５０５の上部に、シーン開始位置取得部２１２が取得したシーンの開始時刻に対応する位置にマークを表示することにより実現できる。このとき、シーン開始位置取得部２１２が取得したシーンの開始時刻とは、上述したように、利用者の選択などにより外部から指定されたレベルに対応するシーンの開始時刻である。

図５では、再生位置表示スライダー５０５の左端を時刻０として、右端を録画終了時刻とすることにより、再生位置表示スライダー５０５の長さが動画データ全体の再生時間を示している。ここで、利用者など外部から指定されたレベルのシーンの開始時刻４０５に対応する再生位置表示スライダー５０５上における位置は、動画データ全体の再生時間に対する時刻０から当該シーンの開始時刻４０５までの時間の比を再生位置表示スライダー５０５の長さに乗ずることにより求めることができる。このように算出した各シーンの位置に、マーク５０６、５０８、５１０を表示する。

また、図６に示すように、シーンのレベルの違いをマークの形や色や違いに反映させても良い。例えば、図５の画面の例では、「お天気」「スポーツ」のシーンに対応するレベルを示すボタン５１４が選択されており、再生位置表示スライダー５０５上には、上記「お天気」「スポーツ」のシーンの再生開始位置に対応するマーク５０７、５０８、５１０が示されている。これに対し、図６の画面例で、さらに「○○太郎」のシーンのレベルのシーンに対応するレベルを示すボタン５１５が選択されており、再生位置表示スライダー５０５上には、上記「○○太郎」のシーンの再生開始位置に対応するマーク６０９が、マーク５０７、５０８、５１０とは異なる色で表示されている。

このように、シーンのレベルごとに再生位置表示スライダー５０５上に表示するマークの種類を変更することにより、利用者が選択したシーンの開始位置を表示画面から理解しやすくすることができる。

なお、図５及び図６でマーク５０７、５０８、６０９、６１０は三角記号としたが、どのような形であっても良く、表示位置も再生位置表示スライダー５０５内部、表示位置も再生位置表示スライダー５０５の下部にあってもよい。

図２の説明に戻る。音声出力制御部２１６は、後述する再生制御部２１５において生成された再生音声を音声出力装置１０４に出力する。

表示制御部２１７は、後述する再生制御部２１５において生成された再生画像を表示装置１０５に表示する。

再生動画データ入力部２１８は、再生対象の動画データを動画データ入力装置１０７から入力する。

再生位置指定部２１９は、利用者の選択などにより外部からの再生位置の変更の指示があった場合に、その旨を後述する再生制御部２１５に通知する。例えば、図５における再生位置指定ボタン５１１あるいは５１２が利用者により選択された場合、すなわち図１の指示入力装置１０６の操作により、再生位置指定ボタン５１１あるいは５１２が選択された場合に、再生位置指定部２１９は、後述する再生制御部２１５に対してイベントあるいはフラグにより当該選択を通知する。

再生制御部２１５は、動画データを再生動画データ入力部２１８から入力し、シーンの開始位置をシーン開始位置取得部２１２より取得し、ユーザなどにより外部から指定したレベルあるいは提示用文字列をユーザ指定情報入力部２０９から取得し、再生画像及び再生音声を生成して表示制御部２１７および音声出力制御部２１６に出力することによって、動画データを再生する。この再生制御部２１５の処理内容の一例を図７に示す。

図７は、再生制御部２１５の処理内容を説明するフローチャートである。

再生制御部２１５は、まず、現在の再生位置（動画データにおける時刻）を取得する（ステップ７０１）。すなわち、ここで取得する位置は、例えば図５の例では、再生位置表示スライダー５０５においてマーク５０６で表示される現在位置である。

次に、現在の再生位置を基準とした場合の次の再生開始位置を取得する（ステップ７０２）。これは、現在の再生位置よりも後で、かつ現在の再生位置に最も近い位置をシーン開始位置取得部２１２に入力されたシーンの開始位置から取得することによって実現できる。すなわち、ここで取得する位置は、例えば図５の例では、再生位置表示スライダー５０５においてマーク５０８で表示される次の再生位置である。

次に、ステップ７０２で取得した再生開始位置へジャンプし（ステップ７０３）、当該再生開始位置から動画データの再生を行う（ステップ７０４）。これは、当該再生位置からの動画データにおける再生画像を、表示制御部２１７を介して表示装置１０５への表示すること、及び当該再生位置からの動画データにおける再生音声を、音声出力制御部２１６を介して音声出力装置１０４への出力することにより実現される。すなわち、例えば図５の例では、マーク５０８で表示される次の再生位置からの動画データが再生され、動画表示ウィンドウ５０４に表示される。

なお、同動画データの再生中、定期的に再生が終了したか否かを判断し（ステップ７０５）、再生が終了した場合には動画データの再生を終了する。具体的には、動画データをすべて再生し終わった場合、あるいは利用者など外部から再生の終了が指示された場合に再生の終了と判断する。

さらに、同動画データの再生中、定期的に再生位置指定部２１９により再生位置の変更が指示されたか否かを判断する（ステップ７０６）。このステップ７０６における判断の結果、再生位置指定部２１９により再生位置の変更が指示されていないと判断した場合には、ステップ７０４に戻り、ステップ７０４ないしステップ７０６を繰り返すことで、動画データの再生を継続する。

一方、ステップ７０６における判断の結果、再生位置指定部２１９により再生位置の変更が指示された判断した場合には、ステップ７０１に戻り、ステップ７０１ないしステップ７０６を繰り返すことで、次の再生開始位置から動画データの再生を行う。

なお、このとき、再生位置指定部２１９において、利用者の選択など外部からの指示により、再生位置指定ボタン５１２が選択された場合には、ステップ７０２において、現在の再生位置よりも後で、かつ現在の再生位置に最も近い位置を取得する。

一方、再生位置指定部２１１において、利用者の選択など外部からの指示により、再生位置指定ボタン５１１が選択された場合には、ステップ７０２において、現在の再生位置よりも前で、かつ現在の再生位置に最も近い位置を取得する。これにより、利用者など外部から再生位置指定ボタン５１２が選択された場合には、時間的に次のシーン位置から動画データの再生が行われる。

また、利用者の選択など外部からの指示により、再生位置指定ボタン５１１が選択された場合には、時間的に前のシーン位置から動画データの再生が行われる。以上の処理により、利用者が指定したシーンの位置から動画データの再生が可能となる。

例えば、利用者が「ニュース番組」の全トピックに興味がある場合には、図５の表示画面において「トピック」のシーンの対応するボタン５１３を選択して動画データを視聴すればよい。このとき、「トピック」のシーンの全再生開始位置に対応するマークが再生位置表示スライダー５０５に表示される。このように視聴することにより、利用者が次のトピックに再生位置を変更したくなったときに、再生位置指定ボタン５１２を選択すれば、次の「トピック」のシーンの再生開始位置から視聴することができる。

また、利用者が「ニュース番組」のうち、一部である「お天気」または「スポーツ」を視聴したい場合は、図５の表示画面において「お天気」「スポーツ」のシーンの対応するボタン５１４を選択して動画データを視聴すればよい。このとき、「お天気」および「スポーツ」のシーンの全再生開始位置に対応するマークが再生位置表示スライダー５０５に表示される。このように視聴することにより、利用者が「スポーツ」のシーンを視聴した後、次の「スポーツ」のシーンや「お天気」のシーンに再生位置を変更したくなったときに、再生位置指定ボタン５１２を選択すれば、次の「スポーツ」のシーンや「お天気」のシーンに再生位置を変更することができる。このとき、「スポーツ」および「お天気」のシーン以外の「トピック」のシーンの開始位置は省くことができる。すなわち、利用者が必要としないシーンを省いて視聴することが可能となり、利用者にとってより好適な映像再生を実現することができる。

次に、本実施例に係る映像記録再生装置の全体的な動作について、動画データの録画時と再生時に分けて説明する。

まず、動画データの録画時の動作を説明する。

図８は、本実施例に係る映像記録再生装置の動画データ録画時の動作を示すフローチャートである。

動画データの録画時には、まず、本実施例の映像記録再生装置は、動画データ入力装置１０７やネットワークデータ送受信装置１０８から動画データ入力部２０１に録画対象の動画データを入力する（ステップ８０１）。次にインデックスデータ生成部２０３が、インデックスデータを生成する（ステップ８０２）。さらに、インデックスデータ保持部２０７が、ステップ８０２でインデックスデータ生成部２０３によって生成したインデックスデータを保存する（ステップ８０３）。このとき、ステップ８０２やステップ８０３と並行して、動画データ入力装置１０７やネットワークデータ送受信装置１０８から入力した動画データそのものを主記憶装置１０２や補助記憶装置１０３に記録する。以上により録画を終了する。

なお、他の装置ですでに作成済みのインデックスデータを使用するなど、インデックスデータを本実施例に係る映像記録再生装置で生成しない場合には、必ずしもステップ８０１と、ステップ８０２と、ステップ８０３は必要ない。

なお、上記の例では、動画データ入力装置１０７やネットワークデータ送受信装置１０８から動画データを入力した際にインデックスデータを作成した。しかし、そのインデックスデータの作成のタイミングは、これに限られない。例えば、まず、動画データ入力装置１０７やネットワークデータ送受信装置１０８から動画データを入力して、主記憶装置１０２または補助記憶装置１０３に記録しておく。そして、指示入力装置１０６を介して利用者など外部からインデックスデータ作成指示がなされたとき、毎日AM０：００など、予め定めておいたタイミング、またはCPU１０１が主記憶装置１０２または補助記憶装置１０３に記録された動画データを解析してインデックスデータが未解析である動画データを発見したときなど、動画データの記録後に、図８のステップ８０２、８０３を実行してもよい。

次に、動画データ再生時における本実施例に係る映像記録再生装置の動作を説明する。

図９は、本実施例に係る映像記録再生装置の動画データ再生時の動作を示すフローチャートである。

動画データの再生時には、まず、本実施例に係る映像記録再生装置は、シーンのレベルを入力する（ステップ９０１）。これは、例えば、ユーザ指定レベル情報取得部２０９が、利用者などが指示入力装置１０６を介して選択したレベルを取得することにより実現する。

次に、インデックスデータ取得部２０８が、インデックスデータ保持部２０７からインデックスデータを入力する（ステップ９０２）。

続いて、シーン開始位置取得部２１２が、上記インデックスデータ取得部２０８に入力されたインデックスデータを用いて、ユーザ指定レベル情報取得部２０９が取得した利用者などが選択したレベルに対応する開始位置を取得する（ステップ９０３）。

次に、再生動画データ入力部２１８が、再生対象の動画データを入力する（ステップ９０４）。

さらに、再生制御部２１５が、ステップ９０３においてシーン開始位置取得部２１２が取得したシーン開始位置をもちいて、ステップ９０４において再生動画データ入力部２１８が入力した動画データの再生の制御を行う（ステップ９０５）。ステップ９０５の具体例としては、再生位置指定部２１９から利用者などによる再生位置の指定が入力された場合に、ステップ９０３においてシーン開始位置取得部２１２が取得したシーン開始位置からの再生動画データを、表示制御部２１７を介して表示装置１０５へ出力し、当該シーンの位置からの再生音声を、音声出力制御部２１６を介して音声出力装置１０４へ出力する。

これにより、表示装置１０５には利用者が選択したレベルに対応するシーンの開始位置からの動画が表示され、音声出力装置１０４には、当該シーンの開始位置からの音声が出力される。

以上説明した本実施例に係る映像記録再生装置によれば、利用者が所望のシーンの種類を指定して、そのシーンから動画データを再生することが可能となり、利用者にとってより好適な映像再生を実現することができる。

さらに、本実施例に係る映像記録再生装置によれば、上記の再生を実現するための動画データのインデックスデータの作成をともなう録画が可能となり、利用者にとってより好適な映像再生を行うための映像録画を実現することができる。

本実施例に係る映像記録再生装置のハードウェア構成の一例である。 本実施例に係る映像記録再生装置の機能ブロックの一例である。 本実施例に係るレベル決定テーブルの一例である。 本実施例に係るインデックスデータのデータ構造の一例である。 本実施例に係る映像記録再生装置の表示画面の一例である。 本実施例に係る映像記録再生装置の表示画面の一例である。 本実施例に係る再生制御部２１５の処理内容を説明するフローチャートである。 本実施例に係る映像記録再生装置の動画データ録画時の動作を示すフローチャートである。 本実施例に係る映像記録再生装置の動画データ再生時の動作を示すフローチャートである。

符号の説明

１０１・・・ＣＰＵ、１０２・・・主記憶装置、１０４・・・音声出力装置、１０５・・・表示装置、１０６・・・指示入力装置、１０７・・・動画データ入力装置、１０９・・・バス、２０１・・・動画データ入力装置、２０２・・・文字情報抽出部、２０３・・・インデックスデータ生成部、２０４・・・シーン開始位置検出部、２０５・・・レベル設定部、２０６・・・提示用文字列設定部、２０７・・・インデックスデータ保持部、２０８・・・インデックスデータ取得部、２０９・・・ユーザ指定レベル情報取得部、２１２・・・シーン開始位置取得部、２１３・・・文字列提示制御部、２１４・・・シーン開始位置提示部、２１５・・・再生制御部、２１６・・・音声出力制御部、２１７・・・表示制御部、２１８・・・再生動画入力部、２１９・・・再生位置指定部

Claims (3)

1. 動画データが入力される動画データ入力部と、
   前記動画データ入力部に入力された動画データに含まれるもしくは動画データに付随する文字情報を抽出する文字情報抽出部と、
   前記文字情報抽出部が抽出した文字情報を用いて複数のシーンの開始位置を検出し、前記検出した複数のシーンの開始位置のそれぞれに上位レベル又は下位レベルを設定し、前記設定した上位レベルと、前記検出した複数のシーンの開始位置の中で上位レベルに対応したシーンの開始位置及び前記検出した複数のシーンの開始位置の中で下位レベルに対応したシーンの開始位置の集合とを対応付けて格納するインデックスデータを生成するインデックスデータ生成部とを備え、
   前記レベルとはシーンもしくはシーンの開始位置の種類を示す値を意味する映像記録再生装置であって、
   前記シーンの種類と対応付けるためのレベルを格納したレベル設定テーブルを保持する記憶部を備え、
   前記インデックスデータ生成部は、前記レベル設定テーブルに基づいて、前記検出した複数のシーンの開始位置のそれぞれにレベルを設定することを特徴とする映像記録再生装置。
2. 請求項１に係る映像記録再生装置であって、
   前記レベル設定テーブルには、さらに前記インデックスデータ生成部が検出するシーンの種類に対応する文字列情報が格納されており、
   前記インデックスデータ生成部は、前記レベル設定テーブルに基づいて、前記検出した複数のシーンの開始位置のそれぞれに前記対応する文字列情報を対応付けて前記インデックスデータに格納することを特徴とする映像記録再生装置。
3. 請求項２に係る映像記録再生装置であって、
   表示部と、
   外部からの指示が入力される指示入力部と、
   前記動画データを再生する再生制御部とを備え、
   前記表示部は、前記インデックスデータに格納される複数の文字列の選択を促す表示を行い、
   前記指示入力部には、前記表示部に表示された文字列についての外部からの選択指示が入力され、
   前記再生制御部は、前記指示入力部から再生位置の変更指示が入力された場合に、前記インデックスデータ生成部が生成したインデックスデータに格納される複数のシーンの開始位置のうち、前記指示入力部から入力された選択指示により選択された文字列に対応するレベルのシーンの開始位置を用いて再生位置の変更を行うことを特徴とする映像記録再生装置。

Images