JP4679259B2

JP4679259B2 - 映像再生装置

Info

Publication number: JP4679259B2
Application number: JP2005183242A
Authority: JP
Inventors: 広樹岡田
Original assignee: Alpine Electronics Inc
Current assignee: Alpine Electronics Inc
Priority date: 2005-06-23
Filing date: 2005-06-23
Publication date: 2011-04-27
Anticipated expiration: 2025-06-23
Also published as: JP2007006082A

Description

本発明は、記録された映像の中から所望のシーンを検索する映像再生装置に関する。

ＤＶＤ等に記録された映画等の映像は再生時間が長いため、その中から特徴のあるシーンのみを取り出してみることができれば便利である。例えば、ＤＶＤの購入に先立って、特徴のあるダイジェストシーンのみを見ることができれば、このＤＶＤを購入すべきか否かを決定する場合の参考になる。また、一度見た映画等について特徴のクライマックスシーンのみを見たい場合がある。このような記録された映像全体から一部のシーンを選択的に抽出する従来技術としては、マルチアングルの映像からなるダイジェスト画像を生成する映像システムが知られている（例えば、特許文献１参照。）。
特開２００３−２３０１２７号公報（第５−１１頁、図１−８）

ところで、上述した特許文献１に開示されたシステムでは、マルチアングルの映像が重要なシーンにのみ用いられているという前提でダイジェスト映像が生成されている。しかし、利用者が検索したいシーンが必ずしもマルチアングルの映像であるとは限らないため、マルチアングルであることを条件に映像を検索した場合に必ずしも所望のシーンを検索することができず、結局早送り等の操作に頼ることになるため映像の検索に煩雑な手間と時間がかかるという問題があった。また、現時点でマルチアングルの映像を一部に取り入れている映画等の映像はそれほど多くないため、そのような映像については所望のシーンを検索できないことになる。

本発明は、このような点に鑑みて創作されたものであり、その目的は、記録された映像の中から所望のシーンを検索する煩雑な手間と時間を低減することができる映像再生装置を提供することにある。

上述した課題を解決するために、本発明の映像再生装置は、少なくとも一部に音楽が対応している映像の中から一部のシーンを検索しており、映像および音楽の再生に必要な映像データおよび音楽データが格納される映像・音楽格納手段と、映像の再生動作を開始可能な状態において、音楽の再生位置を特定可能な検索条件を設定する検索条件設定手段と、検索条件設定手段によって設定された検索条件を満たす音楽の再生位置を特定する音楽検索手段と、音楽検索手段によって特定された音楽の再生位置に対応する映像の一部のシーンを特定する映像検索手段とを備え、検索条件設定手段による検索条件の設定は、映像の再生動作開始前に行われ、あるいは、映像の再生動作中の場合にはこの再生中の映像に対応する音楽データを利用することなく行われる。映像とともに音楽が再生される場合にこの音楽を所定の検索条件を指定して検索し、さらに検索された音楽に対応する映像を検索することにより、音楽を手掛かりにして映像の検索を行うことができるため、所望の映像シーン対応して特徴的な音楽が用いられている場合にこのシーンの検索に要する煩雑な手間と時間を削減することができる。例えば、映画やドラマ等のクライマックスシーンでは、映像の臨場感を高めるために他のシーンよりも印象に残る音楽が用いられる場合が多いため、この特徴的な音楽を指定することにより、再生を希望するクライマックスシーンの検索が容易となる。

また、上述した検索条件設定手段によって設定される検索条件は、音の大きさの時間変化パターンを特定可能な音楽データであり、音楽検索手段は、映像・音楽格納手段に格納された音楽データを再生したときに得られる音楽の音の大きさの時間変化パターンの中から、検索条件としての音の大きさの時間変化パターンと一致あるいは類似する箇所を、検索条件を満たす音楽の再生位置として特定することが望ましい。音楽を検索するための検索条件として、音の大きさの時間変化パターン、すなわち波形パターンを特定することができる音楽データを指定することにより、この波形パターンと同じ内容を有する音楽の再生位置を検索することができる。

また、上述した検索条件設定手段によって設定される検索条件は、使用される楽器であり、音楽検索手段は、映像・音楽格納手段に格納された音楽データを再生したときに得られる音楽の中から、検索条件で指定された楽器を用いて演奏された箇所を、検索条件を満たす音楽の再生位置として特定することが望ましい。音楽を検索するための検索条件として楽器を指定することにより、その楽器が用いられている音楽の再生位置を検索することができるため、音楽を演奏している楽器の印象が強い映像シーンを検索する場合に、このシーンの検索に要する煩雑な手間と時間を削減することができる。

また、上述した音楽検索手段は、映像・音楽格納手段に格納された音楽データを再生したときに得られる音楽の中から、検索条件で指定された楽器に固有の音色を含む箇所を、検索条件を満たす音楽の再生位置として特定することが望ましい。これにより、検索条件として指定した楽器を使用した音楽の再生位置の特定が可能となる。

また、上述した検索条件設定手段によって設定される検索条件は、曲調およびジャンルの少なくとも一方であり、音楽検索手段は、映像・音楽格納手段に格納された音楽データを再生したときに得られる音楽の中から、検索条件で指定された曲調あるいはジャンルが一致する箇所を、検索条件を満たす音楽の再生位置として特定することが望ましい。音楽を検索するための検索条件として曲調やジャンルを指定することにより、その曲調あるいはジャンルの音楽の再生位置を検索することができるため、音楽の曲調やジャンルの印象が強い映像シーンを検索する場合に、このシーンの検索に要する煩雑な手間と時間を削減することができる。

また、上述した映像・音楽再生手段に格納された映像データおよび音楽データを読み出して映像および音楽の再生を行う再生手段と、再生開始位置を指定して再生手段による再生動作の開始を指示する再生指示手段とをさらに備え、映像検索手段によって一部のシーンが特定されたときに、再生指示手段は、この一部のシーンに対応する再生開始位置を指定して再生手段に対する映像および音楽の再生を指示することが望ましい。これにより、検索条件に合った音楽の再生位置から音楽と映像の両方を再生することが可能になる。

また、上述した映像検索手段によって特定されたシーンが複数存在する場合に、再生指示手段は、再生位置が最も早いシーンに対応する再生開始位置を指定することが望ましい。これにより、検索条件に合った音楽の再生位置が複数存在する場合に、最初のシーンから再生してその内容を確認することが可能になる。

また、上述した再生位置の変更指示を受け付ける操作手段をさらに備え、再生指示手段は、操作手段を用いて変更指示がなされたときに、映像検索手段によって特定された複数のシーンのそれぞれに対応する再生開始位置を所定の順番で切り替えることが望ましい。これにより、検索条件に合った音楽の再生位置が複数存在する場合に、それぞれの再生位置に対応した複数のシーンを利用者の操作に応じて順番に再生してその内容を確認することが可能になる。

また、上述した映像検索手段によって特定されたシーンが複数存在する場合に、再生指示手段は、これら複数のシーンのそれぞれに対応する再生開始位置を順番に指定し、再生手段は、再生指示手段によって指定された再生開始位置の順番にしたがって複数のシーンのそれぞれに対応する映像および音楽の再生を行うことが望ましい。これにより、検索条件に合った音楽の再生位置が複数存在する場合に、それぞれの再生位置に対応した複数のシーンを自動的に順番に再生してその内容を確認することができる。

以下、本発明を適用した一実施形態の映像再生装置について、図面を参照しながら説明する。図１は、一実施形態の映像再生装置の基本構成を示す図である。図１に示す映像再生装置は、映像・音楽格納部１、映像検索処理部２、再生部７、操作部８を含んで構成されている。この映像再生装置は、少なくとも一部に音楽が付加された映像をこの音楽とともに再生するためのものであり、映像シーンの中から一部のシーンを検索する機能を有している。

映像・音楽格納部１は、映像および音楽の再生に必要な映像データおよび音楽データが格納される。映像データを格納するために所定の容量を有する必要があるが、記録媒体自体はハードディスク装置であってもＤＶＤやＣＤであってもよい。また、広帯域の通信手段を用いて、必要な映像データおよび音楽データをネットワークを介して所定の配信サーバからその都度取得するようにしてもよい。この場合には、映像・音楽格納部はネットワークを介して接続される配信サーバ内に備わっていることになる。

映像検索処理部２は、所定の検索条件を設定することにより、利用者が再生を希望する映像の特定シーンを検索する処理を行う。この特定シーンは、再生される映像の中に複数箇所存在してもよい。この映像検索処理部２は、検索条件設定部３、音楽検索部４、映像検索部５、再生位置指定部６を備えている。

検索条件設定部３は、映像に付加されている音楽の再生位置を特定可能な検索条件を設定する。検索条件の設定方法としては、以下の３つの方法がある。
（１）音の大きさの時間変化パターン、すなわち波形パターンを特定可能な音楽データを指定あるいは入力する方法。波形パターンを特定可能な音楽データとは、検索したい音楽のＰＣＭデータやＭＰ３等の形式で圧縮されたデータである。例えば、映画やドラマ等におけるクライマックスシーンにいつも同じ音楽が用いられている場合には、このクライマックスシーンで用いられている音楽そのものをこの方法で指定する。
（２）使用される楽器を指定する方法。例えば、ピアノの演奏が含まれる音楽の再生箇所を検索する場合にこの方法が用いられる。
（３）曲調あるいはジャンルを指定する方法。例えば、短調や長調あるいは気分（雰囲気）等を示す曲調や、ロック、ポップス、ジャズ等のジャンルを指定して音楽の再生箇所を検索する場合にこの方法が用いられる。

音楽検索部４は、映像・音楽格納部１に格納された映像に付加された音楽の中から、検索条件設定部３によって設定された検索条件を満たす再生位置を特定する。検索条件を満たす再生位置とは、再生開始位置から再生終了位置までの再生範囲を特定可能な情報が含まれている。映像検索部５は、音楽検索部４によって音楽の再生位置が特定されたときに、この音楽が付加されている映像の一部のシーンをを検索する。再生位置指定部６は、映像検索部５によって検索された映像の一部のシーンの再生開始位置を再生部７に指定して、再生部７による再生動作の開始を指示する。再生部７は、再生位置指定部６によって指定された再生開始位置から、映像・音楽格納部１に格納された映像データおよび音楽データを読み出して映像および音楽の再生を行う。操作部８は、検索条件設定部３によって検索条件の設定を行う際に、利用者の入力操作を行うためのものであり、検索条件設定に必要な各種のキーが備わっている。また、操作部８は、検索条件を満たす音楽の再生箇所が複数存在する場合であって、これら複数箇所のいずれかに対応する映像シーンを再生中に、このシーンをスキップして他のシーンを再生したい場合に再生位置の変更指示を受け付ける「スキップ」キーを備えている。

上述した映像・音楽格納部１が映像・音楽格納手段に、検索条件設定部３が検索条件設定手段に、音楽検索部４が音楽検索手段に、映像検索部５が映像検索手段に、再生部７が再生手段に、再生位置指定部６が再生指示手段に、操作部８が操作手段にそれぞれ対応する。

図２は、図１に示した映像再生装置をＤＶＤ再生装置に適用した場合の構成を示す図である。図２に示すＤＶＤ再生装置１００は、ＤＶＤ１０に記録された映像および音楽の信号を読み取るためのスピンドルモータ１２、光ピックアップ１４、送りモータ１６およびサーボ制御部１８と、読み取った信号の増幅等を行って画像表示や音楽出力を行うためのＲＦアンプ２２、デジタル信号処理部２４、４個のバッファ用ＲＡＭ２６、３４、３８、４２、ストリーム分離部３０、オーディオデコーダ３２、ビデオデコーダ３６、サブピクチャデコーダ４０、ビデオプロセッサ４４、ビデオエンコーダ４６、ディスプレイ装置４７、デジタル−アナログ（Ｄ／Ａ）変換器４８およびスピーカ４９と、利用者が各種の操作指示を入力するための操作部５８と、ＤＶＤ再生装置１００の全体を制御するためのシステムコントローラ６０とを含んで構成されている。

スピンドルモータ１２は、ＤＶＤ１０を一定の線速度で回転させる。光ピックアップ１４は、ＤＶＤ１０に記録されたデータを検出するものであり、例えば半導体レーザとホトダイオードとが内蔵されている。送りモータ１６は、光ピックアップ１４をＤＶＤ１０の径方向に移動させるものである。

サーボ制御部１８は、システムコントローラ６０の指示に応じて、上述したスピンドルモータ１２および送りモータ１６を駆動するとともに、光ピックアップ１４に内蔵された対物レンズ（図示せず）を動かすことにより半導体レーザの焦点位置をＤＶＤ１０の記録面と垂直方向および水平方向に移動させる。また、サーボ制御部１８は、ＤＶＤ１０からのデータの読み取りに必要な各種のサーボ（フォーカスサーボ、トラッキングサーボ、回転サーボ）制御を行う。

ＲＦアンプ２２は、光ピックアップ１４に内蔵されたホトダイオードから出力される電気信号を増幅するものであり、ＤＶＤ再生装置１００に大きな振動や衝撃等が加わってトラックジャンプが発生すると、トラックジャンプ検出信号を出力する機能も有している。

デジタル信号処理部２４は、ＲＦアンプ２２から出力される信号に対して、デジタルデータに変換した後にＤＶＤ１０のデータフォーマットに応じた信号復調処理（８−１６復調処理）と誤り訂正処理を行い、ＲＡＭ２６に格納する。そして、デジタル信号処理部２４は、システムコントローラ６０の指示に応じて、ＲＡＭ２６に格納したデータからＶＭＧＩやＶＴＳＩを抽出してシステムコントローラ６０に出力するとともに、ＶＯＢＵを抽出してストリーム分離部３０に出力する。

ストリーム分離部３０は、システムコントローラ６０の指示に応じて、デジタル信号処理部２４から出力されるＶＯＢＵを構成するパックヘッダを解析することにより、オーディオパック（Ａ＿ＰＣＫ）、ビデオパック（Ｖ＿ＰＣＫ）、サブピクチャパック（ＳＰ＿ＰＣＫ）、ナビゲーションパック（ＮＶ＿ＰＣＫ）を分離する。ストリーム分離部３０によって分離されたオーディオパックはオーディオデコーダ３２に出力され、ビデオパックはビデオデコーダ３６に出力され、サブピクチャパックはサブピクチャデコーダ４０に出力され、ナビゲーションパックはシステムコントローラ６０に転送される。

オーディオデコーダ３２は、ストリーム分離部３０から出力されるオーディオパックに対して所定のデコード処理を行ってオーディオデータを出力する。ビデオデコーダ３６は、ストリーム分離部３０から出力されるビデオパックに対して所定のデコード処理を行ってビデオデータを出力する。ＭＰＥＧ２による画像データ圧縮技術を採用する場合には、ビデオデコーダ３６は、ストリーム分離部３０から出力される複数のビデオパックに含まれるＩピクチャに対応する画像データ、Ｐピクチャに対応する画像データ、Ｂピクチャに対応する画像データに基づいて、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの３種類のビデオデータを生成して出力する。サブピクチャデコーダ４０は、ストリーム分離部３０から出力されるサブピクチャパックに対して所定のデコード処理を行ってサブピクチャデータを出力する。

ビデオプロセッサ４４は、システムコントローラ６０の指示に応じて、ビデオデコーダ３６から出力されるビデオデータとサブピクチャデコーダ４０から出力されるサブピクチャデータとを合成した画像データを生成し、ビデオエンコーダ４６に出力する。ビデオエンコーダ４６は、ビデオプロセッサ４４から出力される画像データを表示用の画像信号に変換する。この画像信号がディスプレイ装置４７に出力されることによって、画像が表示される。

Ｄ／Ａ変換器４８は、オーディオデコーダ３２から出力されるオーディオデータをアナログのオーディオ信号に変換する。このオーディオ信号がスピーカ４９に出力されることによって、オーディオ音（音楽）の再生が行われる。

操作部５８は、タイトル再生の指示を与えるための再生キーやタイトル再生の停止を指示するための停止キー、タイトル再生の一時停止を指示するための一時停止キー、再生動作が停止した位置を記録する指示を与えるための停止位置記録キー、後述する停止位置メニュー画面を表示する指示を与えるための停止位置メニュー画面表示キー、左右上下のカーソルキー、表示画面上のカーソル位置にある項目の確定を行う設定キー等の各種操作キーを備えており、キーの操作状態に応じた信号がシステムコントローラ６０に向けて出力される。

システムコントローラ６０は、各種のサーボ指令をサーボ制御部１８に出力したり、利用者の操作指示に応じた画像生成指示をビデオプロセッサ４４に出力する等、全機能ブロックの制御を行う。具体的には、システムコントローラ６０は、デジタル信号処理部２４から出力されるデータに含まれるＶＭＧＩ、ＶＴＳＩ、ストリーム分離部３０から出力されるＮＶ＿ＰＣＫを受け取って、これらに含まれるナビゲーションコマンドを実行することにより、各種のサーボ指令をサーボ制御部１８に出力したり、利用者の操作指示に応じた画像生成指示をビデオプロセッサ４４に出力する等、再生動作に必要な各種の制御を行う。

上述した構成において、ＤＶＤ１０が映像・音楽格納部１に、ＤＶＤ１０から読み取った信号に基づいて映像や音楽を出力するディスプレイ装置４７やスピーカ４９までの各構成が再生部７に、操作部５８が操作部８にそれぞれ対応する。また、システムコントローラ６０が図１に示した映像検索処理部２の機能を有しており、検索条件設定部３、音楽検索部４、映像検索部５、再生位置指定部６を備えている。

図３は、ＤＶＤのボリューム空間の構造を示す図である。同図に示すように、ＤＶＤのボリューム空間は、ＤＶＤの内周から外周に向かって、ボリューム・ファイル構造、ＤＶＤ−Ｖｉｄｅｏゾーン、ＤＶＤｏｔｈｅｒゾーンによって構成されている。これらのうち、ＤＶＤ−Ｖｉｄｅｏゾーンには、再生動作に必要な各種のデータが含まれている。ＤＶＤ−Ｖｉｄｅｏゾーンは、ビデオマネージャ（ＶＭＧ）と各タイトルに対応する１つ以上のビデオタイトルセット（ＶＴＳ）によって構成されている。

図４は、ＶＭＧのデータ構造を示す図である。同図に示すように、ＶＭＧは、ビデオマネージャ情報（ＶＭＧＩ）、ＶＭＧメニュー用ビデオオブジェクトセット（ＶＭＧＭ＿ＶＯＢＳ）、ＶＭＧＩのバックアップ用ファイル（ＶＭＧＩ＿ＢＵＰ）によって構成されている。

ＶＭＧＩは、ＶＴＳに関する情報（ＶＴＳの数、各ＶＴＳを識別するためのＶＴＳ番号、ＤＶＤ内の各ＶＴＳの格納位置等）、タイトルメニューに表示されるタイトルの表示順、１つ以上のプログラムチェーン情報（ＰＧＣＩ）、ＤＶＤを識別するためのディスクＩＤ（ＤＶＤ＿ＩＤ）、ディスク名（例えば映画の題名）等が含まれている。ＶＭＧＭ＿ＶＯＢＳは、１つ以上のビデオオブジェクト（ＶＯＢ）によって構成されている。このＶＯＢは、タイトルを選択するためのメニュー画面（タイトルメニュー画面）を再生する際の再生データであるビデオデータを含んでいる。

図５は、ＶＴＳのデータ構造を示す図である。同図に示すように、ＶＴＳは、ビデオタイトルセット情報（ＶＴＳＩ）、ＶＴＳメニュー用ビデオオブジェクトセット（ＶＴＳＭ＿ＶＯＢＳ）、ＶＴＳタイトル用ビデオオブジェクトセット（ＶＴＳＴＴ＿ＶＯＢＳ）、ＶＴＳＩのバックアップ用ファイル（ＶＴＳＩ＿ＢＵＰ）によって構成されている。

ＶＴＳＩは、タイトルに関する情報、ＶＴＳ内の各チャプタ（ＰＴＴ）を識別するためのＰＴＴ番号、１つ以上のＰＧＣＩ等が含まれている。ＶＴＳＭ＿ＶＯＢＳおよびＶＴＳＴＴ＿ＶＯＢＳは、１つ以上のＶＯＢによって構成されている。このＶＯＢは、ビデオデータやオーディオデータ等の再生データを含んでいる。

タイトルの再生データは、ＶＴＳＴＴ＿ＶＯＢＳ内のＶＯＢ＃１〜＃ｉに含まれている。チャプタは、タイトルを分割した単位であり、チャプタの再生データは、ＶＴＳＴＴ＿ＶＯＢＳ内の１あるいは複数のＶＯＢに含まれる。例えば、図５に示すように、タイトルはチャプタ＃１〜＃ｐに分割されており、チャプタ＃１の再生データはＶＯＢ＃１〜＃３に含まれており、チャプタ＃２の再生データは、ＶＯＢ＃４、＃５に含まれている。

図６は、上述したＶＭＧＭ＿ＶＯＢＳ、ＶＴＳＭ＿ＶＯＢＳ、ＶＴＳＴＴ＿ＶＯＢＳに含まれるＶＯＢのデータ構造を示す図である。同図に示すように、ＶＯＢは、複数のセルによって構成されている。そして、各セルは、複数のビデオオブジェクトユニット（ＶＯＢＵ）によって構成されている。各ＶＯＢＵは、ナビゲーションパック（ＮＶ＿ＰＣＫ）と、ビデオパック（Ｖ＿ＰＣＫ）、サブピクチャパック（ＳＰ＿ＰＣＫ）およびオーディオパック（Ａ＿ＰＣＫ）の少なくとも１つを含んで構成されている。

ＮＶ＿ＰＣＫは、再生制御情報（ＰＣＩ）、データサーチ情報（ＤＳＩ）を含んで構成されている。ＰＣＩとＤＳＩには、ＶＯＢＵのデータ量、タイトルの再生を開始してから対応するＶＯＢＵの再生を開始するまでの再生時間、次に再生すべきＶＯＢＵの位置等の情報が設定されている。

Ｖ＿ＰＣＫ、ＳＰ＿ＰＣＫ、Ａ＿ＰＣＫは、それぞれ再生データの種別（動画、サブピクチャ、オーディオ）等の情報が含まれているパックヘッダ、パケットヘッダや、データ圧縮されたビデオデータ、サブピクチャデータ、オーディオデータ（圧縮再生データ）を含んで構成されている。

本実施形態の映像再生装置を適用したＤＶＤ再生装置はこのような構成を有しており、次にその動作を説明する。図７は、本実施形態における映像シーンの検索動作の動作手順を示す流れ図である。ＤＶＤ再生装置１００の電源が投入されて再生動作を開始可能な状態になると、システムコントローラ６０内の検索条件設定部３は、検索条件設定が指示されたか否かを判定する（ステップ１００）。この指示は操作部５８を用いて行われる。検索条件設定が指示されない場合には否定判断が行われ、この判定が繰り返される。なお、この検索条件設定指示は、ＤＶＤ再生装置１００の電源投入直後に限らず、再生動作中であっても可能であり、検索条件設定部３は、所定の操作禁止期間を除く間中この判定を行っている。

また、操作部５８を用いて検索条件設定指示がなされるとステップ１００の判定において肯定判断が行われ、検索条件設定部３は、操作部５８の操作内容に応じた検索条件を設定する（ステップ１０１）。上述したように、設定可能な検索条件としては、（１）波形パターンを特定可能な音楽データを指定あるいは入力する、（２）使用される楽器を指定する、（３）曲調あるいはジャンルを指定する、のいずれかを選択することができる。例えば、検索条件設定部３は、これら３種類の検索条件入力方法を選択項目として含むメニュー画面をディスプレイ装置４７に表示する。利用者は、操作部５８を操作して、いずれの検索条件入力方法を採用するかを選択することができる。利用者によっていずれかの検索条件入力方法が選択されると、次に検索条件設定部３は、それぞれの検索条件入力方法毎の検索条件設定画面をディスプレイ装置４７に表示する。利用者は、操作部５８を操作して、表示されている検索条件設定画面を用いて所定の検索条件を設定することができる。例えば、使用される楽器を指定する場合には、選択可能な楽器を選択肢に含む選択画面を表示していずれか一つあるいは複数の楽器を選択すればよい。また、曲調あるいはジャンルを指定する場合には、選択可能な曲調やジャンルを選択肢に含む選択画面を表示して曲調やジャンルを選択すればよい。また、波形パターンを特定可能な音楽データについては、入力端子（図示せず）から直接波形パターンを入力する場合や、あらかじめ格納しておいて音楽データ（全体あるいは一部）を指定する場合などが考えられる。

検索条件の設定が終了すると、次に、音楽検索部４は、ＤＶＤ１０に記録されているオーディオパックを順番に読み出し（ステップ１０２）、検索条件を満たす音楽ありか否かを判定する（ステップ１０３）。例えば、検索条件として波形パターンが特定可能な音楽データが指定されている場合には、この波形パターンを用いたパターン認識処理が行われ、同じあるいは類似する波形パターンを有する音楽の再生箇所が特定される。また、検索条件として楽器が指定されている場合には、指定された楽器を用いて演奏された音楽の再生箇所が特定される。一般に、楽器には固有の音色があり、この音色毎に特有な周波数成分や波形を有している。したがって、これらの音色毎に特有な周波数成分や波形に合致する再生箇所を抽出することにより、指定された楽器を用いて演奏された音楽の再生箇所を特定することができる。また、検索条件として曲調あるいはジャンルが指定されている場合には、指定された曲調を有する音楽の再生箇所あるいは指定されたジャンルに対応する音楽の再生箇所が特定される。具体的な検索手法は、楽器の場合と基本的に同じであり、曲調あるいはジャンルに特有な一般的な周波数成分や波形があらかじめ分析によって得られており、指定された曲調あるいはジャンルに対応する周波数成分や波形に合致する再生箇所を抽出することにより、該当する音楽の再生箇所が特定される。

検索条件を満たす音楽が含まれており、ステップ１０３の判定において肯定判断が行われると、音楽検索部４は、検索された音楽の再生箇所を記録した後（ステップ１０４）、あるいは、検索条件を満たす音楽が読み出したオーディオパックの中に含まれておらずステップ１０３の判定において否定判断が行われた後に、ビデオパックの読み出しが再生終了位置まで終了したか否か判定する（ステップ１０５）。終了していない場合には否定判断が行われ、ステップ１０２に戻ってオーディオパックの読み出し以降の処理が繰り返される。

また、ビデオパックの読み出しが再生終了位置に達するとステップ１０５の判定において肯定判断が行われ、次に、映像検索部５は、検索条件を満たした音楽があったか否かを判定する（ステップ１０６）。該当する音楽がなかった場合には否定判断が行われ、ディスプレイ装置４７にその旨の表示を行って（ステップ１０７）、映像シーンの検索に関する一連の処理を終了する。

また、検索条件を満たした音楽があった場合にはステップ１０６の判定において肯定判断が行われ、次に、映像検索部５は、検索条件を満たす音楽に対応する最初の映像シーンを検索し（ステップ１０８）、再生位置指定部６は、この検索された最初の映像シーンの再生開始位置を指定して再生部７として動作する各構成に対して映像および音楽の再生を指示する（ステップ１０９）。この指示に応じて、検索された音楽の再生箇所に対応する映像シーンが音楽付きで再生される（ステップ１１０）。

また、この再生動作と並行して、再生位置指定部６は、操作部５８の「スキップ」キーを用いて映像シーンをスキップする変更指示が行われたか否かを判定する（ステップ１１１）。変更指示が行われない場合には否定判断が行われ、次に、再生位置指定部６は、検索条件を満たした音楽に対応する映像シーンの再生が終了したか否かを判定する（ステップ１１２）。再生が終了していない場合には否定判断が行われ、ステップ１１０に戻って映像および音楽の再生動作が繰り返される。

また、再生動作の途中で変更指示が行われてステップ１１１の判定において肯定判断が行われた後、あるいは、映像シーンの再生が終了してステップ１１２の判定において肯定判断が行われた後に、再生位置指定部６は、検索条件を満たした音楽に対応する次の映像シーンが存在するか否かを判定する（ステップ１１３）。他に該当する映像シーンが存在しない場合には否定判断が行われて、映像シーンの検索に関する一連の処理を終了する。また、他に該当する映像シーンが存在する場合にはステップ１１３の判定において肯定判断が行われ、次に、再生位置指定部６は、次の映像シーンの再生開始位置を指定して再生部７として動作する各構成に対して映像および音楽の再生を指示する（ステップ１１４）。その後、ステップ１１０に戻って映像および音楽の再生動作が繰り返される。

図８は、映像シーン検索の具体例を示す図である。図８に示すように、再生される映画の映像にはシーン１、２、…が含まれており、この中でシーン１、３、４、６、７のそれぞれに音楽１、２、３、４、５が対応しているものとする。これらの音楽の中で、音楽５は検索条件Ａを満たしている（例えば、主役の俳優が活躍するクライマックスシーンに流れる音楽）。また、音楽２、３は検索条件Ｂを満たしている（例えば、ピアノで演奏されている）。また、音楽３、５は検索条件Ｃを満たしている（例えば、喜怒哀楽の中の「哀」に対応する曲調を有していている）。

このような内容を有する音楽付きの映像について、検索条件Ａを指定すると、検索条件Ａを満たす音楽５が検索され、この音楽５に対応する映像のシーン７が検索され、このシーン７が音楽５とともに再生される。これにより、クライマックスシーンに流れる音楽を指定するだけでクライマックスシーンの映像を再生することが可能になる。

また、検索条件Ｃを指定すると、検索条件Ｃを満たす音楽３、５が検索され、最初に音楽３に対応する映像のシーン４が検索され、このシーン４が音楽３とともに再生される。また、シーン４の再生が終了すると、あるいは再生途中で「スキップ」キーが押下されて変更指示がなされると、次に、音楽５に対応する映像のシーン７が検索され、このシーン７が音楽５とともに再生される。これにより、「哀」を感じさせる音楽を指定するだけで、対応する映像を再生することが可能になる。

このように、映像とともに音楽が再生される場合にこの音楽を所定の検索条件を指定して検索し、さらに検索された音楽に対応する映像を検索することにより、音楽を手掛かりにして映像の検索を行うことができるため、所望の映像シーン対応して特徴的な音楽が用いられている場合にこのシーンの検索に要する煩雑な手間と時間を削減することができる。例えば、映画やドラマ等のクライマックスシーンでは、映像の臨場感を高めるために他のシーンよりも印象に残る音楽が用いられる場合が多いため、この特徴的な音楽を指定することにより、再生を希望するクライマックスシーンの検索が容易となる。

特に、音楽を検索するための検索条件として、音の大きさの時間変化パターン、すなわち波形パターンを特定することができる音楽データを指定することにより、この波形パターンと同じ内容を有する音楽の再生位置を検索することができる。

また、音楽を検索するための検索条件として楽器を指定することにより、その楽器が用いられている音楽の再生位置を検索することができるため、音楽を演奏している楽器の印象が強い映像シーンを検索する場合に、このシーンの検索に要する煩雑な手間と時間を削減することができる。特に、検索条件で指定された楽器に固有の音色を含む箇所を、検索条件を満たす音楽の再生位置として特定することにより、検索条件として指定した楽器を使用した音楽の再生位置の特定が可能となる。

また、音楽を検索するための検索条件として曲調やジャンルを指定することにより、その曲調あるいはジャンルの音楽の再生位置を検索することができるため、音楽の曲調やジャンルの印象が強い映像シーンを検索する場合に、このシーンの検索に要する煩雑な手間と時間を削減することができる。

また、検索条件を満たす音楽の再生箇所が複数存在する場合に、再生位置が最も早い映像シーンを再生開始位置として再生することにより、最初の映像シーンから再生してその内容を確認することが可能になる。また、これら複数の映像シーンのそれぞれに対応する再生開始位置を所定の順番で切り替えることにより、複数の映像シーンを利用者の操作に応じて順番に再生してその内容を確認することが可能になる。あるいは、検索条件に合った音楽の再生位置が複数存在する場合に、それぞれの再生位置に対応した複数のシーンを自動的に順番に再生してその内容を確認することができる。

なお、本発明は上記実施形態に限定されるものではなく、本発明の要旨の範囲内において種々の変形実施が可能である。上述した実施形態では、検索条件を満たす音楽が検索された場合に、この音楽に対応する映像シーンを検索して再生したが、この映像シーンの再生範囲は必ずしも検索された音楽の再生範囲と完全に一致している必要はない。例えば、特徴的な音楽の一部を指定したときに、この音楽に対応する映像シーンの再生範囲はこの一部の音楽よりも広い場合が多い。したがって、図５に示すデータ構造を有する場合に、検索条件を満たす音楽の再生位置が特定されたときに、この再生位置を含むＶＯＢ全体あるいはチャプタ全体を映像シーンの再生範囲として検索するようにしてもよい。

また、図７に示した動作手順では、検索された音楽に対応する映像シーンのみを再生するようにしたが、この映像シーンとこれに続く映像シーンを再生するようにしてもよい。

また、上述した実施形態では、本発明をＤＶＤ再生装置に適用した具体例について説明したが、映像と音楽の再生可能な装置であれば本発明を適用することができる。例えば、パーソナルコンピュータによってＤＶＤやハードディスク装置に格納された映像・音楽データを読み出して再生するようにしてもよい。

一実施形態の映像再生装置の基本構成を示す図である。図１に示した映像再生装置をＤＶＤ再生装置に適用した場合の構成を示す図である。ＤＶＤのボリューム空間の構造を示す図である。ＶＭＧのデータ構造を示す図である。ＶＴＳのデータ構造を示す図である。ＶＯＢのデータ構造を示す図である。本実施形態における映像シーンの検索動作の動作手順を示す流れ図である。映像シーン検索の具体例を示す図である。

符号の説明

１映像・音楽格納部
２映像検索処理部
３検索条件設定部
４音楽検索部
５映像検索部
６再生位置指定部
７再生部
８操作部

Claims

少なくとも一部に音楽が対応している映像の中から一部のシーンを検索する映像再生装置であって、
前記映像および前記音楽の再生に必要な映像データおよび音楽データが格納される映像・音楽格納手段と、
前記映像の再生動作を開始可能な状態において、前記音楽の再生位置を特定可能な検索条件を設定する検索条件設定手段と、
前記検索条件設定手段によって設定された検索条件を満たす前記音楽の再生位置を特定する音楽検索手段と、
前記音楽検索手段によって特定された前記音楽の再生位置に対応する前記映像の一部のシーンを特定する映像検索手段と、
を備え、前記検索条件設定手段による検索条件の設定は、前記映像の再生動作開始前に行われ、あるいは、前記映像の再生動作中の場合にはこの再生中の映像に対応する音楽データを利用することなく行われることを特徴とする映像再生装置。
請求項１において、
前記検索条件設定手段によって設定される検索条件は、音の大きさの時間変化パターンを特定可能な音楽データであり、
前記音楽検索手段は、前記映像・音楽格納手段に格納された音楽データを再生したときに得られる音楽の音の大きさの時間変化パターンの中から、前記検索条件としての音の大きさの時間変化パターンと一致あるいは類似する箇所を、前記検索条件を満たす前記音楽の再生位置として特定することを特徴とする映像再生装置。
請求項１において、
前記検索条件設定手段によって設定される検索条件は、使用される楽器であり、
前記音楽検索手段は、前記映像・音楽格納手段に格納された音楽データを再生したときに得られる音楽の中から、前記検索条件で指定された楽器を用いて演奏された箇所を、前記検索条件を満たす前記音楽の再生位置として特定することを特徴とする映像再生装置。
請求項３において、
前記音楽検索手段は、前記映像・音楽格納手段に格納された音楽データを再生したときに得られる音楽の中から、前記検索条件で指定された楽器に固有の音色を含む箇所を、前記検索条件を満たす前記音楽の再生位置として特定することを特徴とする映像再生装置。
請求項１において、
前記検索条件設定手段によって設定される検索条件は、曲調およびジャンルの少なくとも一方であり、
前記音楽検索手段は、前記映像・音楽格納手段に格納された音楽データを再生したときに得られる音楽の中から、前記検索条件で指定された曲調あるいはジャンルが一致する箇所を、前記検索条件を満たす前記音楽の再生位置として特定することを特徴とする映像再生装置。
請求項１〜５のいずれかにおいて、
前記映像・音楽再生手段に格納された前記映像データおよび前記音楽データを読み出して映像および音楽の再生を行う再生手段と、
再生開始位置を指定して前記再生手段による再生動作の開始を指示する再生指示手段と、
をさらに備え、前記映像検索手段によって前記一部のシーンが特定されたときに、前記再生指示手段は、この一部のシーンに対応する再生開始位置を指定して前記再生手段に対する映像および音楽の再生を指示することを特徴とする映像再生装置。
請求項６において、
前記映像検索手段によって特定されたシーンが複数存在する場合に、前記再生指示手段は、再生位置が最も早いシーンに対応する再生開始位置を指定することを特徴とする映像再生装置。
請求項７において、
前記再生位置の変更指示を受け付ける操作手段をさらに備え、
前記再生指示手段は、前記操作手段を用いて変更指示がなされたときに、前記映像検索手段によって特定された複数のシーンのそれぞれに対応する再生開始位置を所定の順番で切り替えることを特徴とする映像再生装置。
請求項６において、
前記映像検索手段によって特定されたシーンが複数存在する場合に、前記再生指示手段は、これら複数のシーンのそれぞれに対応する再生開始位置を順番に指定し、
前記再生手段は、前記再生指示手段によって指定された再生開始位置の順番にしたがって複数のシーンのそれぞれに対応する映像および音楽の再生を行うことを特徴とする映像再生装置。