JP4924447B2

JP4924447B2 - シーン切り替わり点検出器、シーン切り替わり点検出方法、記録装置、イベント生成器、イベント生成方法および再生装置

Info

Publication number: JP4924447B2
Application number: JP2008014419A
Authority: JP
Inventors: 裕成岡本; 勝宮本
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2008-01-25
Filing date: 2008-01-25
Publication date: 2012-04-25
Anticipated expiration: 2028-01-25
Also published as: US8320614B2; EP2083561A2; CN101494726B; CN101494726A; JP2009177550A; EP2083561B1; US20090190836A1; EP2083561A3

Description

この発明は、ビデオ信号の記録再生を行うＤＶＤレコーダ、ＨＤレコーダ等に適用して好適なシーン切り替わり点検出器、シーン切り替わり点検出方法、記録装置、イベント生成器、イベント生成方法および再生装置に関する。

詳しくは、この発明は、入力ビデオ信号の一定時間毎の対象フレームを順に類似度算出フレームとし、類似度算出フレームとその前に位置する所定数の対象フレームの特徴情報とに基づいて過去方向類似度を算出すると共に、類似度算出フレームとその後に位置する所定数の対象フレームの特徴情報とに基づいて未来方向類似度を算出し、各対象フレームの過去方向類似度および未来方向類似度に基づいてシーン切り替わり点を構成する対象フレームを検出することにより、シーン切り替わり点を適切な間隔で検出できるようにしたシーン切り替わり点検出器等に係るものである。

また、この発明は、複数系統のシーン切り替わり点の情報から得られる各シーン切り替わり点をイベント候補点とし、複数系統のシーン切り替わり点の情報に基づいて算出された各イベント候補点のスコアに基づいてイベントとする所定点を選択することにより、イベントを良好に生成できるようにしたイベント生成器等に係るものである。

従来、テレビ放送に係るビデオ信号、あるいはビデオカメラで撮像したビデオ信号等をＤＶＤレコーダ、あるいはＨＤレコーダ等で記録する際に、シーン切り替わり点を検出し、その情報をビデオ信号と関連付けて記録しておき、内容確認あるいは編集点検索のための再生スキップ位置の情報として使用することが考えられている（例えば、特許文献１参照）。

また、従来、シーン切り替わり点の検出方法としては、ビデオ信号を解析して検出する方法、ビデオ信号に関連付けて記録されている音声信号を解析して検出する方法等、種々提案されている。
特開２００２−２７４１１号公報

シーン切り替わり点の情報としてシーンチェンジ点の情報を使用する場合には、以下に示すような問題が発生する。すなわち、テレビ放送に係るビデオ信号の場合には、シーンチェンジの頻度が高く、内容確認あるいは編集点検索をするために、ユーザが再生位置のスキップ操作をする場合、スキップ操作の回数が多く、操作が煩雑となる。

また、ビデオカメラで撮像したビデオ信号（パーソナルコンテンツ）の場合には、１シーンの長さが大きくばらつき、長い場合には１０分以上となるケースもある。そのため、内容確認あるいは編集点検索をするために、ユーザが再生位置のスキップ操作をする場合、スキップ間隔が大きくばらついていることからユーザは混乱する。

この発明の目的は、シーン切り替わり点を適切な間隔で検出することにある。また、この発明の目的は、複数系統のシーン切り替わり点の情報から例えば再生スキップ位置情報として使用できるイベントを良好に生成することにある。

この発明の概念は、
入力ビデオ信号の一定時間毎のフレームを対象フレームとし、各対象フレームの画像の特徴を示す特徴情報を生成する特徴情報生成部と、
各対象フレームを順に類似度算出フレームとし、上記特徴情報生成部で生成された、類似度算出フレームの特徴情報と、該類似度算出フレームより時間的に前に位置する所定数の対象フレームの特徴情報とに基づいて、過去方向類似度を算出する過去方向類似度算出部と、
各対象フレームを順に類似度算出フレームとし、上記特徴情報生成部で生成された、類似度算出フレームの特徴情報と、該類似度算出フレームより時間的に後に位置する所定数の対象フレームの特徴情報とに基づいて、未来方向類似度を算出する未来方向類似度算出部と、
上記過去方向類似度算出部で算出された各対象フレームの過去方向類似度と、上記未来方向類似度算出部で算出された各対象フレームの未来方向類似度とに基づいて、シーン切り替わり点を構成する対象フレームを検出するシーン切り替わり点検出部と、
各対象フレームを順にシーンチェンジ検出フレームとし、上記特徴情報生成部で生成された、シーンチェンジ検出フレームの特徴情報と、該シーンチェンジ検出フレームに対して時間的に前または後に位置する対象フレームの特徴情報とを比較して、シーンチェンジ点を構成する対象フレームを検出するシーンチェンジ点検出部とを備え、
上記シーン切り替わり点検出部は、
上記過去方向類似度算出部で算出された各対象フレームの過去方向類似度と、上記未来方向類似度算出部で算出された各対象フレームの未来方向類似度とに基づいて検出されたシーン切り替わり点を構成する対象フレームが、上記シーンチェンジ点検出部で検出されたシーンチェンジ点を構成する対象フレームと一致するとき、該対象フレームを、シーン切り替わり点を構成する対象フレームとする
シーン切り替わり点検出器にある。

この発明においては、入力ビデオ信号の一定時間毎のフレームが、シーン切り替わり点を検出するための対象フレームとされる。そして、特徴情報生成部により、各対象フレームの画像の特徴を示す特徴情報が生成される。例えば、特徴情報生成部では、対象フレームの画像を複数のブロックに分割し、ブロック毎に画素信号を処理してベクトル要素を求め、特徴情報として、複数のブロックから求められたベクトル要素で構成される特徴ベクトルを生成する、ことが行われる。また、例えば、特徴情報生成部では、対象フレームの画像の画素信号を処理し、特徴情報としてヒストグラムを生成する、ことが行われる。

各対象フレームが、順に、類似度算出フレームとされる。過去方向類似度算出部により、類似度算出フレームの特徴情報と、この類似度算出フレームより時間的に前に位置する所定数の対象フレームの特徴情報とに基づいて、過去方向類似度が算出される。例えば、類似度算出フレームとその前に位置する所定数の対象フレームのそれぞれとの間の類似度を求めて総和をとることで、過去方向類似度が求められる。

なお、類似度算出フレームとその前に位置する所定数の対象フレームのそれぞれとの間の類似度は、特徴情報が上述の特徴ベクトルであるときは特徴ベクトル間距離を求めることで得られ、特徴情報が上述のヒストグラムであるとき、ヒストグラムのインターセクションとして得られる。ここで、インターセクションとは２つの正規化ヒストグラムを各要素（階級）で比較し、要素の値の小さい方を取った値の総和である。

また、未来方向類似度算出部により、類似度算出フレームの特徴情報と、この類似度算出フレームより時間的に後に位置する所定数の対象フレームの特徴情報とに基づいて、未来方向類似度が算出される。例えば、類似度算出フレームとその後に位置する所定数の対象フレームのそれぞれとの間の類似度を、上述の過去方向類似度を算出する場合と同様に求めて総和をとることで、未来方向類似度が求められる。

シーン切り替わり点検出部により、上述したように算出された、各対象フレームの過去方向類似度および各対象フレームの未来方向類似度に基づいて、シーン切り替わり点を構成する対象フレームが検出される。例えば、過去方向類似度が急激に低下し、未来方向類似度が急激に上昇する対象フレームは、シーン切り替わり点を構成する対象フレームとされる。

上述したように、各対象フレームの過去方向類似度および各対象フレームの未来方向類似度に基づいてシーン切り替わり点（シーン切り替わり点を構成する対象フレーム）が検出されることで、ある程度似通ったシーンは結合されるので、シーン切り替わり点を適切な間隔で検出できる。

この発明において、例えば、各対象フレームを順にシーンチェンジ検出フレームとし、特徴情報生成部で生成された、シーンチェンジ検出フレームの特徴情報と、このシーンチェンジ検出フレームに対して時間的に前または後に位置する対象フレームの特徴情報とを比較して、シーンチェンジ点を構成する対象フレームを検出するシーンチェンジ点検出部をさらに備え、シーン切り替わり点検出部は、過去方向類似度算出部で算出された各対象フレームの過去方向類似度と、未来方向類似度算出部で算出された各対象フレームの未来方向類似度とに基づいて検出されたシーン切り替わり点を構成する対象フレームが、シーンチェンジ点検出部で検出されたシーンチェンジ点を構成する対象フレームと一致するとき、この対象フレームを、シーン切り替わり点を構成する対象フレームとする、ようにしてもよい。このようにシーンチェンジ点（シーンチェンジ点を構成する対象フレーム）の情報をさらに用いることで、シーン切り替わり点として、１シーン内の途中の点（フレーム）が選択される不都合を回避できる。

なお、上述したシーン切り替わり点検出器で検出されたシーン切り替わり点の情報は、ビデオ信号と共に当該ビデオ信号に関連付けされて記録媒体に記録される。この場合、このシーン切り替わり検出器で検出されたシーン切り替わり点の情報だけを記録してもよく、あるいはさらに別系統のシーン切り替わり点の情報と共に記録してもよい。このように記録媒体に記録されたシーン切り替わり点の情報は、再生時に、例えばスキップ位置情報として使用されるイベントを生成するため等に使用される。

また、この発明の概念は、
複数系統のシーン切り替わり点の情報を入力し、各シーン切り替わり点をイベント候補点とし、各イベント候補点における上記複数系統のシーン切り替わり点の情報に基づいて、該各イベント候補点におけるスコアを算出するスコア算出部と、
上記スコア算出部で算出された各イベント候補点のスコアに基づいて、所定の点をイベントとして選択するイベント選択部とを備え、
上記複数系統のシーン切り替わり点の情報のいずれかは、入力ビデオ信号の一定時間毎のフレームを対象フレームとしてシーン切り替わり点を検出する所定のシーン切り替わり点検出器で検出されたものであり、
上記所定のシーン切り替わり点検出器は、
各対象フレームの画像の特徴を示す特徴情報を生成する特徴情報生成部と、
各対象フレームを順に類似度算出フレームとし、上記特徴情報生成部で生成された、類似度算出フレームの特徴情報と、該類似度算出フレームより時間的に前に位置する所定数の対象フレームの特徴情報とに基づいて、過去方向類似度を算出する過去方向類似度算出部と、
各対象フレームを順に類似度算出フレームとし、上記特徴情報生成部で生成された、類似度算出フレームの特徴情報と、該類似度算出フレームより時間的に後に位置する所定数の対象フレームの特徴情報とに基づいて、未来方向類似度を算出する未来方向類似度算出部と、
上記過去方向類似度算出部で算出された各対象フレームの過去方向類似度と、上記未来方向類似度算出部で算出された各対象フレームの未来方向類似度とに基づいて、シーン切り替わり点を構成する検出フレームを検出するシーン切り替わり点検出部と、
各対象フレームを順にシーンチェンジ検出フレームとし、上記特徴情報生成部で生成された、シーンチェンジ検出フレームの特徴情報と、該シーンチェンジ検出フレームに対して時間的に前または後に位置する対象フレームの特徴情報とを比較して、シーンチェンジ点を構成する対象フレームを検出するシーンチェンジ点検出部とを有し、
上記シーン切り替わり点検出部は、
上記過去方向類似度算出部で算出された各対象フレームの過去方向類似度と、上記未来方向類似度算出部で算出された各対象フレームの未来方向類似度とに基づいて検出されたシーン切り替わり点を構成する対象フレームが、上記シーンチェンジ点検出部で検出されたシーンチェンジ点を構成する対象フレームと一致するとき、該対象フレームを、シーン切り替わり点を構成する対象フレームとする
イベント生成器にある。

この発明においては、複数系統のシーン切り替わり点の情報が入力される。この複数系統のシーン切り替わり点の情報は、例えば、ビデオ信号と共に当該ビデオ信号に関連付けされて記録されている記録媒体より再生される。スコア算出部により、各イベント候補点における複数系統のシーン切り替わり点の情報に基づいて、この各イベント候補点におけるスコアが算出される。

この場合、例えば、イベント候補点毎に、複数系統のシーン切り替わり点の情報から得られるそれぞれの第１の値を加算することで、スコアが算出される。例えば、シーン切り替わり点の情報が、シーン切り替わり点（シーン切り替わり点を構成するフレーム）を示す時刻（タイムコード）情報である場合には、所定のイベント候補点で、ある系統におけるシーン切り替わり点の情報から得られる第１の値は、この所定のイベント候補点が当該ある系統のシーン切り替わり点の情報で示されるシーン切り替わり点であるときは１とされ、そうでないときは０とされる。

また、例えば、シーン切り替わり点の情報が、一定時間毎の各時刻（タイムコード）におけるシーン切り替わり点らしさを示す値である場合には、所定のイベント候補点で、ある系統におけるシーン切り替わり点の情報から得られる第１の値は、当該所定のイベント候補点におけるシーン切り替わり点らしさを示す値とされる。

また、イベント選択部により、上述のように算出された各イベント候補点のスコアに基づいて、所定の点がイベントとして選択される。例えば、スコアが閾値以上であるという条件を満たすイベント候補点がイベントとして選択される。これにより、各イベント候補点のうち、より適切なイベント候補点がイベントとして選択される。ここで、閾値が変更可能とされることで、各イベント候補点のうち、イベントとして選択されるイベント候補点の数を調整できる。

また、例えば、スコアが閾値以上であり、前後の最短イベント間隔の範囲内に自身のスコアより大きなスコアを持つ他のイベント候補点がないという条件を満たすイベント候補点がイベントとして選択される。これにより、最短イベント間隔内に複数のイベントが生成されることを防止できる。ここで、最短イベント間隔の値が変更可能とされることで、選択されるイベントの最短間隔を任意に調整できる。

また、例えば、イベントとして選択された他のイベント候補点から最短イベント間隔より後で最長イベント間隔より前の一定範囲内に、スコアが閾値以上であり、前後の最短イベント間隔の範囲内に自身のスコアより大きなスコアの他のイベント候補点がないという条件を満たすイベント候補点がないとき、当該一定範囲内にあるイベント候補点のうち最大のスコアを持つイベント候補点がイベントとして選択される。これにより、選択されるイベントの間隔が最長イベント間隔より長くなることを防止できる。ここで、最長イベント間隔の値が変更可能とされることで、選択されるイベントの最長間隔を任意に調整できる。

また、例えば、一定範囲内にイベント候補点がないとき、この一定範囲内の所定点がイベントとして選択される。例えば、所定点として、イベントとして選択された他のイベント候補点に最短イベント間隔を加算した点と、イベントとして選択された他のイベント候補点に最長イベント間隔を加算すると共に最短イベント間隔を減算した点のうち、時間的に後の点がイベントとして選択される。これにより、これにより、選択されるイベントの間隔が最長イベント間隔より長くなることを防止できる。

この発明において、例えば、複数系統のシーン切り替わり点の情報に対応した重み付け係数を発生する重み付け係数発生部をさらに備え、スコア算出部は、イベント候補点毎に、複数系統のシーン切り替わり点の情報から得られるそれぞれの第１の値に係数発生部で発生される重み付け係数を乗じてそれぞれの第２の値を求め、各第２の値を加算してスコアを算出する、ようにされてもよい。この場合、所望の系統のシーン切り替わり点の情報に対する重みを高くしておくことで、当該シーン切り替わり点の情報の影響を高めることができる。

この場合、重み付け係数発生部は、複数系統のシーン切り替わり点の情報に対応した重み付け係数の組み合わせを複数組有し、この複数組の重み付け係数の組み合わせのいずれかを選択的に出力する、ようにされてもよい。これにより、各系統のシーン切り替わり点の情報に対する重みを変更でき、イベントとして選択されるイベント候補点を変更できる。

上述したように、複数系統のシーン切り替わり点の情報から得られる各シーン切り替わり点がイベント候補点とされ、複数系統のシーン切り替わり点の情報に基づいて算出された各イベント候補点のスコアに基づいてイベントとする所定点が選択されることで、イベントを良好に生成できる。

なお、上述したイベント生成器は例えば再生装置に備えられる。この再生装置は、ビデオ信号およびこのビデオ信号に関する複数系統のシーン切り替わり点の情報が関連付けされて記録されている記録媒体から、ビデオ信号および複数系統のシーン切り替わり点の情報を再生する再生部を備えている。当該イベント生成器で生成されたイベントは、再生動作の制御、例えば、ビデオ信号の内容把握、あるいは編集点を検索する際の再生スキップ位置の制御情報として使用される。

この発明によれば、入力ビデオ信号の一定時間毎の対象フレームを順に類似度算出フレームとし、類似度算出フレームとその前に位置する所定数の対象フレームの特徴情報とに基づいて過去方向類似度を算出すると共に、類似度算出フレームとその後に位置する所定数の対象フレームの特徴情報とに基づいて未来方向類似度を算出し、各対象フレームの過去方向類似度および未来方向類似度に基づいてシーン切り替わり点を構成する対象フレームを検出するものであり、シーン切り替わり点を適切な間隔で検出できる。

また、この発明によれば、複数系統のシーン切り替わり点の情報から得られる各シーン切り替わり点をイベント候補点とし、複数系統のシーン切り替わり点の情報に基づいて算出された各イベント候補点のスコアに基づいてイベントとする所定点を選択するものであり、例えば、再生スキップ位置情報等として使用できるイベントを良好に生成できる。

以下、図面を参照しながら、この発明の実施の形態について説明する。図１は、実施の形態としての記録再生装置１００の構成例を示している。

この記録再生装置１００は、制御部１０１と、ユーザ操作部１０２と、ビデオ信号入力端子１０３Ｖと、オーディオ信号入力端子１０３Ａと、記録再生処理部１０４と、シーン切り替わり点検出部１０５と、光ディスクドライブ１０６と、記録媒体としてのＤＶＤ１０７と、イベント生成器１０８と、ビデオ信号出力端子１０９Ｖと、オーディオ信号出力端子１０９Ａとを有している。

制御部１０１は、記録再生装置１００の各部の動作を制御する。ユーザ操作部１０２は、ユーザインタフェースを構成し、制御部１０１に接続されている。ユーザ操作部１０２は、キー、釦、ダイアル、あるいはリモコンの送受信機等で構成されている。

記録再生処理部１０４は、記録時には、入力端子１０３Ｖ，１０３Ａに入力されるビデオ信号、オーディオ信号に対して、記録フォーマットに応じた圧縮符号化等の記録処理を施して記録データとしてのビデオおよびオーディオのデータを生成して、光ディスクドライブ１０６に供給する。例えば、記録再生処理部１０４は、ビデオ信号に対してＭＰＥＧ（Moving Picture Expert Group）方式でエンコード処理して、ビデオのエレメンタリストリーム（ＥＳ：Elementary Stream）を生成すると共に、オーディオ信号に対してＭＰＥＧ方式でエンコード処理して、オーディオのエレメンタリストリームを生成し、これらビデオおよびオーディオのエレメンタリストリームおよび各種制御信号を、マルチプレクス処理して記録データとしてのトランスポートストリーム（ＴＳ：Transport Stream）を生成する。

また、記録再生処理部１０４は、再生時には、光ディスクドライブ１０６で再生されたビデオおよびオーディオのデータに対して、復号化処理等を施してビデオ信号およびオーディオ信号を生成する。例えば、記録再生処理部１０４は、再生データからビデオおよびオーディオのエレメンタリストリームを分離し、それぞれに対してＭＰＥＧ（Moving Picture Expert Group）方式でデコード処理して、ビデオ信号出力端子１０９Ｖに再生ビデオ信号を供給し、オーディオ信号出力端子１０９Ａに再生オーディオ信号を供給する。

また、シーン切り替わり点検出部１０５は、複数のシーン切り替わり点検出器１０５-1〜１０５-nを持っている。シーン切り替わり点検出器１０５-1〜１０５-nは、例えば、互いに異なる手法でシーン切り替わり点を検出する。これらシーン切り替わり点検出器１０５-1〜１０５-nは、入力端子１０３Ｖ，１０３Ａに入力されるビデオ信号およびオーディオ信号のいずれか、あるいは双方を処理して、シーン切り替わり点を検出する。

例えば、オーディオ信号を処理してシーン切り替わり点を検出するシーン切り替わり点検出器では、信号レベル、あるいは周波数成分を利用して、シーン切り替わり点の検出が行われる。また、例えば、ビデオ信号を処理してシーン切り替わり点を検出するシーン切り替わり点検出器では、フレーム画像の画素信号を分割ブロック毎に処理して得られた複数のベクトル要素からなる特徴ベクトル、あるいはフレーム画像の画素信号を処理して得られた輝度、色差のヒストグラム等を利用して、シーン切り替わり点の検出が行われる。

また、例えば、ビデオ信号を処理してシーン切り替わり点を検出するシーン切り替わり点検出器では、特定の対象物の検出、例えば顔検出の検出出力を利用して、シーン切り替わり点の検出が行われる。

シーン切り替わり点検出器１０５-1〜１０５-nから出力される複数系統のシーン切り替わり点の情報は、制御部１０１に供給される。ここで、各系統のシーン切り替わり点の情報は、ビデオ信号に付加されて記録されるタイムコードと関連付けされた時刻情報である。例えば、ビデオ信号に付加されて記録される一連のタイムコードのうち、検出されたシーン切り替わり点のタイムコードが、シーン切り替わり点の情報とされる。シーン切り替わり点検出器の構成例については後述する。

光ディスクドライブ１０６は、記録媒体としてのＤＶＤ１０７に対して記録再生を行う。すなわち、この光ディスクドライブ１０６は、記録時には、記録再生処理部１０４で生成されたビデオおよびオーディオの記録データをＤＶＤ１０７に記録すると共に、シーン切り替わり点検出部１０５のシーン切り替わり点検出器１０５-1〜１０５-nで得られた複数系統のシーン切り替わり点の情報をＤＶＤ１０７に記録する。この場合、ビデオおよびオーディオの記録データとシーン切り替わり点の情報とは別個のファイルとして記録されるが、互いに関連付けされて記録される。

また、光ディスクドライブ１０６は、再生時には、ＤＶＤ１０７からビデオおよびオーディオのデータを再生して記録再生処理部に１０４に供給する。また、光ディスクドライブ１０６は、ＤＶＤ１０７から、上述のビデオおよびオーディオのデータを再生する際に、当該ビデオおよびオーディオのデータと関連付けされて記録されている複数系統のシーン切り替わり点の情報を再生して制御部１０１に供給する。

イベント生成器１０８は、上述の光ディスクドライブ１０６で再生された複数系統のシーン切り替わり点の情報に基づいて、所定の点をイベントとして選択する。例えば、イベント生成器１０８は、複数のシーン切り替わり点の情報で得られる各シーン切り替わり点をイベント候補点とし、各イベント候補点における複数系統のシーン切り替わり点の情報に基づいてスコアを検出し、各イベント候補点のスコアに基づいて、所定の点をイベントとして選択する。このイベント生成器１０８の構成例については後述する。

図１に示す記録再生装置１００の動作を説明する。

まず、記録時の動作について説明する。入力端子１０３Ｖ，１０３Ａに入力されるビデオ信号、オーディオ信号は、記録再生処理部１０４に供給される。この記録再生処理部１０４では、入力端子１０３Ｖ，１０３Ａに入力されるビデオ信号、オーディオ信号に対して、記録フォーマットに応じた圧縮符号化等の記録処理が施されて、記録データとしてのビデオおよびオーディオのデータが生成される。このビデオおよびオーディのデータは、光ディスクドライブ１０６に供給され、ＤＶＤ１０７に記録される。

また、入力端子１０３Ｖ，１０３Ａに入力されるビデオ信号、オーディオ信号は、シーン切り替わり点検出部１０５に供給される。このシーン切り替わり点検出部１０５のシーン切り替わり点検出器１０５-1〜１０５-nでは、ビデオ信号およびオーディオ信号のいずれか、あるいは双方が処理されて、シーン切り替わり点が検出される。シーン切り替わり点検出器１０５-1〜１０５-nで得られる複数系統のシーン切り替わり点の情報は、制御部１０１を介して光ディスクドライブ１０６に供給され、上述したビデオおよびオーディオのデータと関連付けされて、ＤＶＤ１０７に記録される。

次に、再生時の動作について説明する。光ディスクドライブ１０６では、ＤＶＤ１０７からビデオおよびオーディオのデータが再生される。この再生データとしてのビデオおよびオーディオのデータは、記録再生処理部１０４に供給される。記録再生処理部１０４では、ビデオおよびオーディオのデータに対して、復号化処理等が施されて、ビデオ信号およびオーディオ信号が生成される。

このように記録再生処理部１０４で生成されるビデオ信号、オーディオ信号は、出力端子１０９Ｖ，１０９Ａに出力される。そのため、出力端子１０９Ｖ，１０９Ａに接続されているモニタ１１０には、当該ビデオ信号およびオーディオ信号が供給され、再生画像が表示されると共に、再生音声が出力される。

また、光ディスクドライブ１０６では、ＤＶＤ１０７から、ビデオおよびオーディオのデータと関連付けされて記録されている複数系統のシーン切り替わり点の情報が再生される。この複数系統のシーン切り替わり点の情報は、制御部１０１を介して、イベント生成器１０８に供給される。このイベント生成器１０８では、複数系統のシーン切り替わり点の情報に基づいて、所定の点がイベントとして選択される。このイベント生成器１０８で生成されたイベントは、制御部１０１に供給される。

制御部１０１では、イベント生成器１０８で生成されたイベントが、例えば、再生スキップ位置の制御情報として使用される。すなわち、ユーザが内容確認、あるいは編集点を検索するために、ユーザ操作部１０２で再生位置のスキップ操作を行ったとき、制御部１０１は、イベント生成器１０８で生成されたイベントの点に、再生位置を順次スキップさせる。

次に、シーン切り替わり点検出部１０５に含まれる、所定のシーン切り替わり点検出器１０５Ａの構成例について説明する。図２は、シーン切り替わり点検出器１０５Ａの構成例を示している。このシーン切り替わり点検出器１０５Ａは、特徴ベクトル生成部１１１と、バッファ１１２と、シーンチェンジ点検出部１１３と、過去方向類似度算出部１１４と、未来方向類似度算出部１１５と、シーン切り替わり点検出部１１６とを有している。

特徴ベクトル生成部１１１は、特徴情報生成部を構成する。この特徴ベクトル生成部１１１は、ビデオ信号ＳＶの一定時間毎（例えば、０．５秒毎）のフレームを対象フレームとし、各対象フレームの画像の特徴を示す特徴ベクトルを生成する。すなわち、特徴ベクトル生成部１１１は、対象フレームの画像を複数のブロックに分割し、ブロック毎に画素信号を処理してベクトル要素を求め、各ベクトル要素で構成される特徴ベクトルを生成する。

例えば、図３（ａ）に示すようにフレームの画像が垂直、水平のそれぞれの方向に５分割されて２５のブロックに分割される。そして、各ブロックにおいて、輝度（Ｙ）、赤色差（Ｃｒ）、青色差（Ｃｂ）の画素信号が処理されて、輝度（Ｙ）、赤色差（Ｃｒ）、青色差（Ｃｂ）に係るベクトル要素が求められる。ここで、ブロック内の画素信号がｘ1〜ｘnのｎ個であるとき、画素信号の処理としては、以下の（１）式で示される平均値を求める処理、（２）式で示される標準偏差を求める処理、あるいは（３）式で示される処理等が行われる。なお、（２）式および（３）式におけるｘバーはｘ1〜ｘnの平均値である。

各ブロックでは、輝度（Ｙ）、赤色差（Ｃｒ）、青色差（Ｃｂ）に係るベクトル要素が求められるので、上述したようにフレームの画像が２５ブロックに分割される場合には、図３（ｂ）に示すように、２５×３＝７５のベクトル要素が得られ、特徴ベクトル生成部１１１からは７５のベクトル要素からなる特徴ベクトルが出力される。

バッファ１１２は、特徴ベクトル生成部１１１で生成された各対象フレームの特徴ベクトルを、シーン切り替わり点を検出する処理で利用するために、一時的に格納する。

シーンチェンジ点検出部１１３は、各対象フレームを順にシーンチェンジ点検出フレームとし、シーンチェンジ点、つまりシーンチェンジ点を構成する対象フレームを検出する。すなわち、シーンチェンジ点検出部１１３は、バッファ１１２に蓄積されている、シーンチェンジ点検出フレームの特徴ベクトルと、このシーンチェンジ点検出フレームに対して時間的に前または後に位置する対象フレームの特徴ベクトルとを比較して、当該シーンチェンジ点検出フレームがシーンチェンジ点を構成する対象フレームであるか否かを検出する。

この場合、シーンチェンジ点検出フレームの特徴ベクトルと、このシーンチェンジ点検出フレームに対して時間的に前または後に位置する対象フレームの特徴ベクトルとのベクトル間距離、つまり対応するベクトル要素毎の差分絶対値の総和が、予め設定されている閾値より大きいときには、当該シーンチェンジ点検出フレームはシーンチェンジ点として検出される。

過去方向類似度算出部１１４は、各対象フレームを順に類似度算出フレームとし、過去方向類似度を算出する。すなわち、過去方向類似度算出部１１４は、特徴ベクトル生成部１１１で生成された、類似度算出フレームの特徴ベクトルと、この類似度算出フレームより時間的に前に位置する所定数（ｍ個）の対象フレームの特徴ベクトルとに基づいて、過去方向類似度を算出する。この場合、過去方向類似度算出部１１４は、類似度算出フレームと、この類似度算出フレームより時間的に前に位置する所定数の対象フレームのそれぞれとの間の類似度を求め、この類似度の総和をとることで過去方向類似度を求める。

また、未来方向類似度算出部１１５は、各対象フレームを順に類似度算出フレームとし、未来方向類似度を算出する。すなわち、未来方向類似度算出部１１５は、特徴ベクトル生成部１１１で生成された、類似度算出フレームの特徴ベクトルと、この類似度算出フレームより時間的に後に位置する所定数（ｍ個）の対象フレームの特徴ベクトルとに基づいて、未来方向類似度を算出する。この場合、未来方向類似度算出部１１５は、類似度算出フレームと、この類似度算出フレームより時間的に後に位置する所定数の対象フレームのそれぞれとの間の類似度を求め、この類似度の総和をとることで未来方向類似度を求める。

図４を参照して、過去方向類似度および未来方向類似度の計算例を説明する。ここでは、類似度算出フレームがｉ番目の対象フレームである場合について説明する。

各対象フレームの特徴ベクトルがｎ個のベクトル要素からなっているとすると、ｉ番目の対象フレームの特徴ベクトルＸｉは（４）式のように表され、このｉ番目の対象フレームの前後に位置するｊ番目の対象フレームの特徴ベクトルは（５）式のように表される。（４）式において、ｘi1〜ｘinは特徴ベクトルＸｉを構成するｎ個のベクトル要素である。また、（５）式において、ｘj1〜ｘjnは特徴ベクトルＸｊを構成するｎ個のベクトル要素である。

これら特徴ベクトルＸｉと特徴ベクトルＸｊとの間の距離、つまり特徴ベクトル間距離dsit(Xi,Xj)は、（６）式で求められる。そして、この特徴ベクトル間距離dsit(Xi,Xj)は、（７）式の変換関数を用いて、類似度Sim(Xi,Xj)に変換される。図５は、変換関数の一例を示している。図５に示す変換関数の場合、特徴ベクトル間距離dsit(Xi,Xj)がｘａ以内のとき類似度Sim(Xi,Xj)は一定値Ｙａとなるが、特徴ベクトル間距離dsit(Xi,Xj)がｘａを超えると、その値が大きくなるにつれて、類似度Sim(Xi,Xj)は一定値Ｙａから低下していき、特徴ベクトル間距離dsit(Xi,Xj)がｘｂを超えると類似度Sim(Xi,Xj)は０となる。

ｉ番目の対象フレームの過去方向類似度Bwdsim(i)は、（８）式に示すように、ｉ番目の対象フレームと、ｉ−ｍ番目〜ｉ−１番目の対象フレームのそれぞれとの間の類似度Sim(Xi,Xi-m)〜Sim(Xi,Xi-1)の総和として求められる。また、同様に、ｉ番目の対象フレームの未来方向類似度Fwdsim(i)は、（９）式に示すように、ｉ番目の対象フレームと、ｉ＋１番目〜ｉ＋ｍ番目の対象フレームのそれぞれとの間の類似度Sim(Xi,Xi+1)〜Sim(Xi,Xi+m)の総和として求められる。

シーン切り替わり点検出部１１６は、過去方向類似度算出部１１４で算出された各対象フレームの過去方向類似度と、未来方向類似度算出部１１５で算出された各対象フレームの未来方向類似度とに基づいて、シーン切り替わり点、つまり、シーン切り替わり点を構成する対象フレームを検出する。シーン切り替わり点検出部１１６は、例えば、過去方向類似度が急激に低下し、未来方向類似度が急激に上昇する対象フレームを、シーン切り替わり点を構成する対象フレームとして検出する。

この場合、シーン切り替わり点検出部１１６は、ｉ番目の対象フレームの過去方向類似度Bwdsim(i)が急激に低下しているか否かを、ｉ−１番目の対象フレームの過去方向類似度Bwdsim(i-1)からｉ番目の対象フレームの過去方向類似度Bwdsim(i)を差し引いた値（Bwdsim(i-1)−Bwdsim(i)）と０とのうち大きな方を選択する（Max(Bwdsim(i-1)−Bwdsim(i)，０））ことにより検出できる。ｉ番目の対象フレームの過去方向類似度Bwdsim(i)が急激に低下している場合、Max(Bwdsim(i-1)−Bwdsim(i)，０）は大きな値となる。

また、シーン切り替わり点検出部１１６は、ｉ番目の対象フレームの未来方向類似度Fwdsim(i)が急激に上昇しているか否かを、ｉ番目の対象フレームの未来方向類似度fwdsim(i)からｉ−１番目の対象フレームの未来方向類似度fwdsim(i-1)を差し引いた値（Fwdsim(i)−Bwdsim(i-1)）と０とのうち大きな方を選択する（Max(Fwdsim(i)−Fwdsim(i-1)，０））ことにより検出できる。ｉ番目の対象フレームの未来方向類似度Fwdsim(i)が急激に上昇している場合、Max(Fwdsim(i)−Fwdsim(i-1)，０）は大きな値となる。

ここで、過去方向類似度Bwdsim(i)が図６（ａ）に示すように変化し、未来方向類似度Fwdsim(i)が図６（ｃ）に示すように変化する場合を考える。この場合、Max(Bwdsim(i-1)−Bwdsim(i)，０）は図６（ｂ）に示すように変化し、Max(Fwdsim(i)−Fwdsim(i-1)，０）は図６（ｄ）に示すように変化する。従ってこの場合、シーン切り替わり点検出部１１６は、Max(Bwdsim(i-1)−Bwdsim(i)，０）およびMax(Fwdsim(i)−Fwdsim(i-1)，０）の双方とも大きな値となる、ＴＭの点を、過去方向類似度Bwdsim(i)および未来方向類似度Fwdsim(i)によるシーン切り替わり点とする。

そして、シーン切り替わり点検出部１１６は、上述のように検出された過去方向類似度Bwdsim(i)および未来方向類似度Fwdsim(i)によるシーン切り替わり点（シーン切り替わり点を構成する対象フレーム）が、シーンチェンジ点検出部１１３で検出されたシーンチェンジ点（シーンチェンジ点を構成する対象フレーム）と一致するとき、当該対象フレームをシーン切り替わり点、つまりシーン切り替わり点を構成する対象フレームとする。

そして、シーン切り替わり点検出部１１６は、上述のように検出されたシーン切り替わり点を構成する対象フレームの時刻情報（ビデオ信号に付加されて記録されるタイムコードと関連付けされた時刻情報）を、シーン切り替わり点の情報として出力する。

図２に示すシーン切り替わり点検出器１０５Ａの動作を、図７を参照しながら、説明する。

シーン切り替わり点を検出すべきビデオ信号ＳＶ（図７（ａ）参照）が特徴ベクトル生成部１１１に供給される。特徴ベクトル生成部１１１では、ビデオ信号ＳＶの一定時間毎（例えば０．５秒毎）のフレームが対象フレームとされ、各対象フレームの画像の特徴を示す特徴ベクトルが生成される（図７（ｃ）参照））。この特徴ベクトル生成部１１１で生成された各対象フレームの特徴ベクトルは、シーン切り替わり点を検出する処理で利用するために、バッファ１１２に一時的に格納される。

シーンチェンジ点検出部１１３では、各対象フレームが順にシーンチェンジ点検出フレームとされ、シーンチェンジ点、つまりシーンチェンジ点を構成する対象フレームが検出される（図７（ｂ）参照）。この場合、バッファ１１２に蓄積されている、シーンチェンジ点検出フレームの特徴ベクトルと、このシーンチェンジ点検出フレームに対して時間的に前または後に位置する対象フレームの特徴ベクトルとが比較され、当該シーンチェンジ点検出フレームがシーンチェンジ点を構成する対象フレームであるか否かが検出される。このシーンチェンジ点検出部１１３の検出出力は、シーン切り替わり点検出部１１６に供給される。

また、過去方向類似度算出部１１４では、各対象フレームが順に類似度算出フレームとされ、過去方向類似度が算出される（図７（ｄ）参照））。この場合、類似度算出フレームの特徴ベクトルと、この類似度算出フレームより時間的に前に位置するｍ個の対象フレームの特徴ベクトルとに基づいて、過去方向類似度が算出される。この過去方向類似度算出部１１４の算出結果は、シーン切り替わり点検出部１１６に供給される。

また、未来方向類似度算出部１１５では、各対象フレームが順に類似度算出フレームとされ、未来方向類似度が算出される（図７（ｅ）参照））。この場合、類似度算出フレームの特徴ベクトルと、この類似度算出フレームより時間的に後に位置するｍ個の対象フレームの特徴ベクトルとに基づいて、未来方向類似度が算出される。この未来方向類似度算出部１１５の算出結果は、シーン切り替わり点検出部１１６に供給される。

シーン切り替わり点検出部１１６では、過去方向類似度算出部１１４で算出された各対象フレームの過去方向類似度と、未来方向類似度算出部１１５で算出された各対象フレームの未来方向類似度とに基づいて、シーン切り替わり点、つまり、シーン切り替わり点を構成する対象フレームが検出される。例えば、過去方向類似度が急激に低下し、未来方向類似度が急激に上昇する対象フレームが、シーン切り替わり点を構成する対象フレームとして検出される。

そして、シーン切り替わり点検出部１１６では、上述のように検出された過去方向類似度および未来方向類似度によるシーン切り替わり点（シーン切り替わり点を構成する対象フレーム）が、シーンチェンジ点検出部１１３で検出されたシーンチェンジ点（シーンチェンジ点を構成する対象フレーム）と一致するとき、当該対象フレームがシーン切り替わり点ＴＭとされる（図７（ｆ）参照）。

このシーン切り替わり点検出部１１６からは、シーン切り替わり点の情報として、シーン切り替わり点（シーン切り替わり点を構成するフレーム）を示す時刻情報（ビデオ信号に付加されて記録されるタイムコードと関連付けされた時刻情報）が出力される。

なお、図２に示すシーン切り替わり点検出器１０５Ａは、ハードウェアの他にソフトウェアでも実現できる。ソフトウェアで実現する場合、処理プログラムは、コンピュータを、図２に示すシーン切り替わり点検出器１０５Ａの各部と同様に機能させる。

また、図２に示すシーン切り替わり点検出部１０５Ａは、各対象フレームの画像の特徴情報として特徴ベクトルを生成して用いるものを示したが、特徴情報としては、対象フレームの画像の画素信号を処理して生成された、輝度あるいは色差のヒストグラムを用いてもよい。この場合、類似度算出フレームとその前またが後に位置する対象フレームとの間の類似度は、ヒストグラムのインターセクションとして得ることができる。

次に、イベント生成器１０８の構成例について説明する。図８は、イベント生成器１０８の構成例を示している。このイベント生成器１０８は、スコア算出部１２１と、係数選択部１２２と、係数セット（重み付け係数の組み合わせ）１２３-1〜１２３-Nと、イベント選択部１２４とを有している。

スコア算出部１２１には、制御部１０１から、複数系統、この例ではｍ系統のシーン切り替わり点の情報Ｓ１〜Ｓｍが供給される。スコア算出部１２１は、このｍ系統のシーン切り替わり点の情報Ｓ１〜Ｓｍに基づき、各シーン切り替わり点をイベント候補とし、各イベント候補点のスコアを算出する。ここで、各シーン切り替わり点の情報で示されるシーン切り替わり点には重複する点の存在が予想されるので、ｍ系統のシーン切り替わり点の情報Ｓ１〜Ｓｍに基づく最終的なシーン切り替わり点の個数は、各シーン切り替わり点の情報のそれぞれで示されるシーン切り替わり点の個数の合計以下となる。

スコア算出部１２１は、各イベント候補点のスコアを、基本的には、上述のｍ系統のシーン切り替わり点の情報Ｓ１〜Ｓｍから各イベント候補点において得られる第１の値を加算することで求める。ここで、この実施の形態において、シーン切り替わり点の情報は上述したようにシーン切り替わり点を示す時刻情報（ビデオ信号に付加されて記録されるタイムコードと関連付けされた時刻情報）であり、所定のイベント候補点で、ある系統におけるシーン切り替わり点の情報から得られる第１の値は、この所定のイベント候補点が当該ある系統のシーン切り替わり点の情報で示されるシーン切り替わり点であるときは１とされ、そうでないときは０とされる。

係数選択部１２２は、上述のｍ系統のシーン切り替わり点の情報Ｓ１〜Ｓｍに対応した重み付け係数ｗ１〜ｗｍを、Ｎ組の係数セット１２３-1〜１２３-Nから選択して、スコア算出部１２１に出力する。この係数選択部１２２における係数セットの選択は、ユーザによるユーザ操作部１０２の操作に基づき、制御部１０１により制御される。ここで、係数選択部１２２および係数セット１２３-1〜１２３-Nは、重み付け係数発生部を構成している。

上述のスコア算出部１２１は、各イベント候補点のスコアを、上述のｍ系統のシーン切り替わり点の情報Ｓ１〜Ｓｍから各イベント候補点において得られる第１の値をそのまま加算するのではなく、上述のｍ系統のシーン切り替わり点の情報Ｓ１〜Ｓｍから各イベント候補点において得られる第１の値に係数選択部１２２からの重み付け係数ｗ１〜ｗｍを乗じてそれぞれの第２の値を求め、各第２の値を加算してスコアを求める。

ここで、ｉ番目のイベント候補点のスコアＳｉは、この候補点でｍ系統のシーン切り替わり点の情報Ｓ１〜Ｓｍから得られる第１の値がＳi1〜Ｓimであるとき、（１０）式で算出される。

上述したように、スコア算出部１２１で、ｍ系統のシーン切り替わり点の情報Ｓ１〜Ｓｍから得られる第１の値に重み付け係数ｗ１〜ｗｍを乗じて第２の値を求め、各第２の値を加算してスコアを求める構成によれば、例えば、所望の系統のシーン切り替わり点の情報に対する重みを高くしておくことで、当該シーン切り替わり点の情報の影響を高めることができる。

また、上述したように、ｍ系統のシーン切り替わり点の情報Ｓ１〜Ｓｍに対応した重み付け係数ｗ１〜ｗｍを、Ｎ組の係数セット１２３-1〜１２３-Nから選択する構成によれば、各系統のシーン切り替わり点の情報に対する重みを変更してその影響を変化させることができ、イベントとして選択されるイベント候補点を種々に変化させることができる。

なお、上述ではスコア算出部１２１に入力されるｍ系統のシーン切り替わり点の情報が、シーン切り替わり点（シーン切り替わり点を構成するフレーム）を示す時刻（タイムコード）の情報である場合を示した。しかし、スコア算出部１２１に入力されるｍ系統のシーン切り替わり点の情報は、一定時間毎の各時刻（タイムコード）におけるシーン切り替わり点らしさを示す値（一種のスコア）であってもよい。この場合には、スコア算出部１２１で所定のイベント候補点のスコアを算出するために用いられる、ある系統におけるシーン切り替わり点の情報から得られる第１の値は、当該所定のイベント候補点における当該ある系統のシーン切り替わり点らしさを示す値とされる。

上述したスコア算出部１２１で算出された各イベント候補点のスコアＳｉは、イベント選択部１２４に供給される。イベント選択部１２４は、各イベント候補点のスコアＳｉに基づいて、所定の点をイベントとして生成する。このイベント選択部１２４は、図９のフローチャートに沿って、イベントを生成する。

まず、イベント選択部１２４は、ステップＳＴ１において、イベント選択の処理を開始し、その後に、ステップＳＴ２の処理に移る。このステップＳＴ２において、イベント選択部１２４は、初期値設定を行う。すなわち、ダミーのイベントＥｐをＴ１−Ｌminに設定し、また、ｉ＝０、ｐ＝０に設定する。ここで、Ｅｐはｐ番目のイベント、Ｔ１は最初（１番目）のイベント候補点の時刻（タイムコード）、Ｌminは最短イベント間隔、ｉはイベント候補点の番号を示している。

次に、イベント選択部１２４は、ステップＳＴ３において、未処理のイベント候補点があるか否かを判定する。未処理のイベント候補点があるとき、イベント選択部１２４は、ステップＳＴ４において、ｉをインクリメントし、その後に、ステップＳＴ５の処理に移る。

このステップＳＴ５において、イベント選択部１２４は、Ｔｋ−Ｌmin＜Ｔｋ＜Ｔｋ＋Ｌminの範囲で、Ｓｋ＞ＴｈかつＳｋが最大であり、さらに、Ｅｐ＋Ｌmin＜Ｔｋ＜Ｅｐ＋Ｌmaxであるイベント候補点Ｔｋ（条件１に適合したイベント候補点）を、ｉ番目のイベント候補点から順に探す。ここで、Ｔｋはｋ番目のイベント候補点、Ｌmaxは最長イベント間隔、Ｓｋはｋ番目のイベント候補点Ｔｋのスコア、Ｔｈは閾値を示している。閾値Ｔｈは、イベントとして選択する最小スコアである。

次に、イベント選択部１２４は、ステップＳＴ６において、上述の条件１に適合するイベント候補点があるか否かを判定する。条件１に適合するイベント候補点Ｔｋがあるとき、イベント選択部１２４は、ステップＳＴ７でｐをインクリメントした後に、ステップＳＴ８において、当該条件１に適合するイベント候補点Ｔｋをｐ番目のイベントＥｐとする。そして、イベント選択部１２４は、ステップＳＴ８の処理の後、ステップＳＴ９でｉ＝ｋとして、ステップＳＴ３の処理に戻り、未処理のイベント候補点の処理に移る。

ステップＳＴ６で条件１に適合するイベント候補点Ｔｋがないとき、イベント選択部１２４は、ステップＳＴ１０において、Ｅｐ＋Ｌmin＜Ｔｋ＜Ｅｐ＋Ｌmaxの範囲で、スコアＳｋが最大となるイベント候補点Ｔｋ（条件２に適合した候補点）を、ｉ番目のイベント候補点から順に探す。

次に、イベント選択部１２４は、ステップＳＴ１１で、上述の条件２に適合するイベント候補点があるか否かを判定する。条件２に適合するイベント候補点Ｔｋがあるとき、イベント選択部１２４は、ステップＳＴ１２でｐをインクリメントした後に、ステップＳＴ１３において、当該条件２に適合するイベント候補点Ｔｋをｐ番目のイベントＥｐとする。そして、イベント選択部１２４は、ステップＳＴ１３の処理の後、ステップＳＴ９でｉ＝ｋとして、ステップＳＴ３の処理に戻り、未処理のイベント候補点の処理に移る。

ステップＳＴ１１で条件２に適合するイベント候補点Ｔｋがないとき、イベント選択部１２４は、ステップＳＴ１４の処理に移る。このステップＳＴ１４において、イベント選択部１２４は、Ｅｐ＋Ｌmin〜Ｅｐ＋Ｌmaxの範囲内の所定の点、例えば、Ｅｐ＋Ｌmax−ＬminとＥｐ＋Ｌminのうち、時間的に後の点を、ｐ＋１番目のイベントＥp+1（条件３によるイベント）とする。そして、イベント選択部１２４は、ステップＳＴ１４の処理の後、ステップＳＴ１５でｐをインクリメントし、さらに、ステップＳＴ９でｉ＝ｋとして、ステップＳＴ３の処理に戻り、未処理のイベント候補点の処理に移る。

また、イベント選択部１２４は、上述のステップＳＴ３で未処理の候補点がないとき、直ちにステップＳＴ１６に進み、イベント選択の処理を終了する。

図１０は、各イベント候補点の一例を示している。なお、各イベント候補点の位置は棒位置で示され、またそのスコアは棒の長さで示されている。この例のように各イベント候補点が存在する場合、条件１に適合するイベント、条件２に適合するイベント、さらに条件３によるイベントが、図示のように生成される。この場合、条件１、条件２に適合するイベントはイベント候補点から選択されるが、条件３によるイベントはイベント候補点には存在しなかった点である。なお、図１０において、条件３によるイベントは破線の棒で示している。この破線の棒はイベント候補点を表すものではなく、棒の長さには意味がない。

上述のイベント選択部１２４のイベント選択処理で使用される閾値Ｔｈ、最短イベント間隔Ｌmin、最長イベント間隔Ｌmaxは、制御部１０１（図１参照）から与えられる。ユーザは、ユーザ操作部１０２を操作して、閾値Ｔｈ、最短イベント間隔Ｌmin、最長イベント間隔Ｌmaxの
各値を変更可能とされている。

上述したイベント選択部１２４では、スコアＳｋが閾値Ｔｈ以上であるイベント候補点Ｔｋがイベントとして選択されるものであり、各イベント候補点のうち、より適切なイベント候補点がイベントとして選択される。また、閾値Ｔｈの値がユーザの操作により変更可能とされているので、閾値Ｔｈを変化させて、イベントとして選択し得るイベント候補点の数を調整できる。

また、上述したイベント選択部１２４では、スコアＳｋが閾値Ｔｈ以上であり、前後の最短イベント間隔Ｌminの範囲内に自身のスコアＳｋより大きなスコアを持つ他のイベント候補点がないという条件を満たすイベント候補点Ｔｋがイベントとして選択されるものであり、最短イベント間隔Ｌmin内に複数のイベントが生成されることを防止できる。また、最短イベント間隔Ｌminの値がユーザの操作により変更可能とされているので、選択されるイベントの最短間隔を任意に調整できる。

また、上述したイベント選択部１２４では、イベントとして選択された他のイベント候補点から最短イベント間隔Ｌminより後で最長イベント間隔Ｌmaxより前の一定範囲に、スコアＳｋが閾値Ｔｈ以上であり、前後の最短イベント間隔Ｌminの範囲内に自身のスコアＳｋより大きなスコアの他のイベント候補点がないという条件を満たすイベント候補点Ｓｋがないとき、当該一定範囲内にあるイベント候補点のうち最大のスコアを持つイベント候補点がイベントとして選択されるものであり、選択されるイベントの間隔が最長イベント間隔Ｌmaxより長くなることを防止できる。また、最長イベント間隔Ｌmaxの値がユーザの操作により変更可能とされているので、選択されるイベントの最長間隔を任意に調整できる。

また、上述したイベント選択部１２４では、イベントとして選択された他のイベント候補点から最短イベント間隔Ｌminより後で最長イベント間隔Ｌmaxより前の一定範囲内にイベント候補点がないとき、この一定範囲内の所定点がイベントとして選択されるものであり、選択されるイベントの間隔が最長イベント間隔Ｌmaxより長くなることを防止できる。

なお、図８に示すイベント生成器１０８は、ハードウェアの他にソフトウェアでも実現できる。ソフトウェアで実現する場合、処理プログラムは、コンピュータを、図８に示すイベント生成器１０８の各部と同様に機能させる。

上述したように、図１に示す記録再生装置１００において、シーン切り替わり点検出部１０５に含まれるシーン切り替わり点検出器１０５Ａ（図２参照）では、入力ビデオ信号の一定時間毎の対象フレームが順に類似度算出フレームとされ、類似度算出フレームとその前に位置するｍ個の対象フレームの特徴情報（特徴ベクトル）とに基づいて過去方向類似度が算出されると共に、類似度算出フレームとその後に位置するｍ個の対象フレームの特徴情報（特徴ベクトル）とに基づいて未来方向類似度が算出される。

そして、このシーン切り替わり点検出器１０５Ａでは、各対象フレームの過去方向類似度および未来方向類似度に基づいてシーン切り替わり点、つまりシーン切り替わり点を構成する対象フレームが検出される。このように、過去方向類似度および未来方向類似度が用いられることで、似通った各シーンの結合が行われることから、シーン切り替わり点を適切な間隔で検出できる。

また、このシーン切り替わり点検出器１０５Ａでは、過去方向類似度および未来方向類似度に基づいて検出されたシーン切り替わり点を構成する対象フレームが、シーンチェンジ点検出部１１３で検出された対象フレームと一致するとき、この対象フレームが、シーン切り替わり点を構成する対象フレームとされる。このように、シーンチェンジ点（シーンチェンジ点を構成する対象フレーム）の情報がさらに用いられることで、シーン切り替わり点として、１シーン内の途中の点（フレーム）が選択される不都合を回避できる。

また、図１に示す記録再生装置１００において、イベント生成器１０８では、ｍ系統のシーン切り替わり点の情報から得られる各シーン切り替わり点がイベント候補点とされ、ｍ系統のシーン切り替わり点の情報Ｓ１〜Ｓｍに基づいて算出された各イベント候補点のスコアＳｉに基づいてイベントとする所定点が選択されるので、イベントを良好に生成できる。

なお、上述実施の形態においては、この発明を、ＤＶＤ１０７を記録媒体とする記録再生装置１００に適用したものであるが、この発明は、その他の記録媒体、例えば、ＨＤ（Hard Disk）、半導体メモリ等を取り扱う記録再生装置に、同様に適用できることは勿論である。

この発明は、シーン切り替わり点を適切な間隔で検出でき、また、複数系統のシーン切り替わり点の情報から再生スキップ位置情報等として使用できるイベントを良好に生成できるものであり、ＤＶＤ、ＨＤ、半導体メモリ等を記録媒体とする記録再生装置に適用できる。

この発明の実施の形態としての記録再生装置の構成例を示すブロック図である。シーン切り替わり点検出器の構成例を示すブロック図である。各対象フレームの画像の特徴を示す特徴ベクトルの生成を説明するための図である。過去方向類似度および未来方向類似度の計算例を説明するための図である。特徴ベクトル間距離dsit(Xi,Xj)を類似度Sim(Xi,Xj)に変換するための変換関数の一例を示す図である。過去方向類似度Bwdsim(i)および未来方向類似度Fwdsim(i)に基づくシーン切り替わり点の検出処理を説明するための図である。シーン切り替わり点検出器の動作を説明するための図である。イベント生成器の構成例を示すブロック図である。イベント選択部における各イベント候補点に基づいたイベント生成処理を説明するための図である。イベント候補点、および、選択あるいは生成されるイベントの一例を示す図である。

符号の説明

１００・・・記録再生装置、１０１・・・制御部、１０２・・・ユーザ操作部、１０３Ｖ・・・ビデオ信号入力端子、１０３Ａ・・・オーディオ信号入力端子、１０４・・・記録再生処理部、１０５，１０５Ａ・・・シーン切り替わり点検出部、１０５-1〜１０５-n・・・シーン切り替わり点検出器、１０６・・・光ディスクドライブ、１０７・・・ＤＶＤ、１０８・・・イベント生成器、１０９Ｖ・・・ビデオ信号出力端子、１０９Ａ・・・オーディオ信号出力端子、１１０・・・モニタ、１１１・・・特徴ベクトル生成部、１１２・・・バッファ、１１３・・・シーンチェンジ点検出部、１１４・・・過去方向類似度算出部、１１５・・・未来方向類似度算出部、１１６・・・シーン切り替わり点検出部、１２１・・・スコア算出部、１２２・・・係数選択部、１２３-1〜１２３-N・・・係数セット、１２４・・・イベント選択部

Claims

入力ビデオ信号の一定時間毎のフレームを対象フレームとし、各対象フレームの画像の特徴を示す特徴情報を生成する特徴情報生成部と、
各対象フレームを順に類似度算出フレームとし、上記特徴情報生成部で生成された、類似度算出フレームの特徴情報と、該類似度算出フレームより時間的に前に位置する所定数の対象フレームの特徴情報とに基づいて、過去方向類似度を算出する過去方向類似度算出部と、
各対象フレームを順に類似度算出フレームとし、上記特徴情報生成部で生成された、類似度算出フレームの特徴情報と、該類似度算出フレームより時間的に後に位置する所定数の対象フレームの特徴情報とに基づいて、未来方向類似度を算出する未来方向類似度算出部と、
上記過去方向類似度算出部で算出された各対象フレームの過去方向類似度と、上記未来方向類似度算出部で算出された各対象フレームの未来方向類似度とに基づいて、シーン切り替わり点を構成する対象フレームを検出するシーン切り替わり点検出部と、
各対象フレームを順にシーンチェンジ検出フレームとし、上記特徴情報生成部で生成された、シーンチェンジ検出フレームの特徴情報と、該シーンチェンジ検出フレームに対して時間的に前または後に位置する対象フレームの特徴情報とを比較して、シーンチェンジ点を構成する対象フレームを検出するシーンチェンジ点検出部とを備え、
上記シーン切り替わり点検出部は、
上記過去方向類似度算出部で算出された各対象フレームの過去方向類似度と、上記未来方向類似度算出部で算出された各対象フレームの未来方向類似度とに基づいて検出されたシーン切り替わり点を構成する対象フレームが、上記シーンチェンジ点検出部で検出されたシーンチェンジ点を構成する対象フレームと一致するとき、該対象フレームを、シーン切り替わり点を構成する対象フレームとする
シーン切り替わり点検出器。
上記特徴情報生成部は、
対象フレームの画像を複数のブロックに分割し、ブロック毎に画素信号を処理してベクトル要素を求め、上記特徴情報として上記複数のブロックから求められたベクトル要素で構成される特徴ベクトルを生成する
請求項１に記載のシーン切り替わり点検出器。
上記特徴情報生成部は、
対象フレームの画像の画素信号を処理し、上記特徴情報としてヒストグラムを生成する
請求項１に記載のシーン切り替わり点検出器。
上記過去方向類似度算出部は、上記類似度算出フレームと、該類似度算出フレームより時間的に前に位置する所定数の対象フレームのそれぞれとの間の類似度を求め、該類似度の総和をとることで過去方向類似度を求め、
上記未来方向類似度算出部は、上記類似度算出フレームと、該類似度算出フレームより時間的に後に位置する所定数の対象フレームのそれぞれとの間の類似度を求め、該類似度の総和をとることで未来方向類似度を求める
請求項１に記載のシーン切り替わり点検出器。
入力ビデオ信号の一定時間毎のフレームを対象フレームとし、各対象フレームの画像の特徴を示す特徴情報を生成する特徴情報生成ステップと、
各対象フレームを順に類似度算出フレームとし、上記特徴情報生成ステップで生成された、類似度算出フレームの特徴情報と、該類似度算出フレームより時間的に前に位置する所定数の対象フレームの特徴情報とに基づいて、過去方向類似度を算出する過去方向類似度算出ステップと、
各対象フレームを順に類似度算出フレームとし、上記特徴情報生成ステップで生成された、類似度算出フレームの特徴情報と、該類似度算出フレームより時間的に後に位置する所定数の対象フレームの特徴情報とに基づいて、未来方向類似度を算出する未来方向類似度算出ステップと、
上記過去方向類似度算出ステップで算出された各対象フレームの過去方向類似度と、上記未来方向類似度算出ステップで算出された各対象フレームの未来方向類似度とに基づいて、シーン切り替わり点を構成する対象フレームを検出するシーン切り替わり点検出ステップと、
各対象フレームを順にシーンチェンジ検出フレームとし、上記特徴情報生成ステップで生成された、シーンチェンジ検出フレームの特徴情報と、該シーンチェンジ検出フレームに対して時間的に前または後に位置する対象フレームの特徴情報とを比較して、シーンチェンジ点を構成する対象フレームを検出するシーンチェンジ点検出ステップとを備え、
上記シーン切り替わり点検出ステップでは、
上記過去方向類似度算出ステップで算出された各対象フレームの過去方向類似度と、上記未来方向類似度算出ステップで算出された各対象フレームの未来方向類似度とに基づいて検出されたシーン切り替わり点を構成する対象フレームが、上記シーンチェンジ点検出ステップで検出されたシーンチェンジ点を構成する対象フレームと一致するとき、該対象フレームを、シーン切り替わり点を構成する対象フレームとする
シーン切り替わり点検出方法。
ビデオ信号のシーン切り替わり点を検出する複数のシーン切り替わり点検出器と、
上記ビデオ信号および該ビデオ信号に対して上記複数のシーン切り替わり点検出器で検出された複数系統のシーン切り替わり点の情報を関連付けて、記録媒体に記録する記録部とを備え、
上記複数のシーン切り替わり点検出器には、入力ビデオ信号の一定時間毎のフレームを対象フレームとしてシーン切り替わり点を検出する所定のシーン切り替わり点検出器を含み、
上記所定のシーン切り替わり点検出器は、
各対象フレームの画像の特徴を示す特徴情報を生成する特徴情報生成部と、
各対象フレームを順に類似度算出フレームとし、上記特徴情報生成部で生成された、類似度算出フレームの特徴情報と、該類似度算出フレームより時間的に前に位置する所定数の対象フレームの特徴情報とに基づいて、過去方向類似度を算出する過去方向類似度算出部と、
各対象フレームを順に類似度算出フレームとし、上記特徴情報生成部で生成された、類似度算出フレームの特徴情報と、該類似度算出フレームより時間的に後に位置する所定数の対象フレームの特徴情報とに基づいて、未来方向類似度を算出する未来方向類似度算出部と、
上記過去方向類似度算出部で算出された各対象フレームの過去方向類似度と、上記未来方向類似度算出部で算出された各対象フレームの未来方向類似度とに基づいて、シーン切り替わり点を構成する検出フレームを検出するシーン切り替わり点検出部と、
各対象フレームを順にシーンチェンジ検出フレームとし、上記特徴情報生成部で生成された、シーンチェンジ検出フレームの特徴情報と、該シーンチェンジ検出フレームに対して時間的に前または後に位置する対象フレームの特徴情報とを比較して、シーンチェンジ点を構成する対象フレームを検出するシーンチェンジ点検出部とを有し、
上記シーン切り替わり点検出部は、
上記過去方向類似度算出部で算出された各対象フレームの過去方向類似度と、上記未来方向類似度算出部で算出された各対象フレームの未来方向類似度とに基づいて検出されたシーン切り替わり点を構成する対象フレームが、上記シーンチェンジ点検出部で検出されたシーンチェンジ点を構成する対象フレームと一致するとき、該対象フレームを、シーン切り替わり点を構成する対象フレームとする
記録装置。
複数系統のシーン切り替わり点の情報を入力し、各シーン切り替わり点をイベント候補点とし、各イベント候補点における上記複数系統のシーン切り替わり点の情報に基づいて、該各イベント候補点におけるスコアを算出するスコア算出部と、
上記スコア算出部で算出された各イベント候補点のスコアに基づいて、所定の点をイベントとして選択するイベント選択部とを備え、
上記複数系統のシーン切り替わり点の情報のいずれかは、入力ビデオ信号の一定時間毎のフレームを対象フレームとしてシーン切り替わり点を検出する所定のシーン切り替わり点検出器で検出されたものであり、
上記所定のシーン切り替わり点検出器は、
各対象フレームの画像の特徴を示す特徴情報を生成する特徴情報生成部と、
各対象フレームを順に類似度算出フレームとし、上記特徴情報生成部で生成された、類似度算出フレームの特徴情報と、該類似度算出フレームより時間的に前に位置する所定数の対象フレームの特徴情報とに基づいて、過去方向類似度を算出する過去方向類似度算出部と、
各対象フレームを順に類似度算出フレームとし、上記特徴情報生成部で生成された、類似度算出フレームの特徴情報と、該類似度算出フレームより時間的に後に位置する所定数の対象フレームの特徴情報とに基づいて、未来方向類似度を算出する未来方向類似度算出部と、
上記過去方向類似度算出部で算出された各対象フレームの過去方向類似度と、上記未来方向類似度算出部で算出された各対象フレームの未来方向類似度とに基づいて、シーン切り替わり点を構成する検出フレームを検出するシーン切り替わり点検出部と、
各対象フレームを順にシーンチェンジ検出フレームとし、上記特徴情報生成部で生成された、シーンチェンジ検出フレームの特徴情報と、該シーンチェンジ検出フレームに対して時間的に前または後に位置する対象フレームの特徴情報とを比較して、シーンチェンジ点を構成する対象フレームを検出するシーンチェンジ点検出部とを有し、
上記シーン切り替わり点検出部は、
上記過去方向類似度算出部で算出された各対象フレームの過去方向類似度と、上記未来方向類似度算出部で算出された各対象フレームの未来方向類似度とに基づいて検出されたシーン切り替わり点を構成する対象フレームが、上記シーンチェンジ点検出部で検出されたシーンチェンジ点を構成する対象フレームと一致するとき、該対象フレームを、シーン切り替わり点を構成する対象フレームとする
イベント生成器。
上記複数系統のシーン切り替わり点の情報に対応した重み付け係数を発生する重み付け係数発生部をさらに備え、
上記スコア算出部は、
イベント候補点毎に、上記複数系統のシーン切り替わり点の情報から得られるそれぞれの第１の値に上記係数発生部で発生される重み付け係数を乗じてそれぞれの第２の値を求め、各第２の値を加算して、上記スコアを算出する
請求項７に記載のイベント生成器。
上記重み付け係数発生部は、
上記複数系統のシーン切り替わり点の情報に対応した重み付け係数の組み合わせを複数組有し、該複数組の重み付け係数の組み合わせのいずれかを選択的に出力する
請求項８に記載のイベント生成器。
上記イベント選択部は、
上記スコアが閾値以上であるという条件を満たすイベント候補点をイベントとして選択する
請求項７に記載のイベント生成器。
上記イベント選択部は、
上記閾値を変更可能に構成されている
請求項１０に記載のイベント生成器。
上記イベント選択部は、
上記スコアが閾値以上であり、前後の最短イベント間隔の範囲内に自身のスコアより大きなスコアを持つ他のイベント候補点がないという条件を満たすイベント候補点をイベントとして選択する
請求項１０に記載のイベント生成器。
複数系統のシーン切り替わり点の情報を入力し、各シーン切り替わり点をイベント候補点とし、各イベント候補点における上記複数系統のシーン切り替わり点の情報に基づいて、該各イベント候補点におけるスコアを算出するスコア算出ステップと、
上記スコア算出ステップで算出された各イベント候補点のスコアに基づいて、所定の点をイベントとして選択するイベント選択ステップとを備え、
上記複数系統のシーン切り替わり点の情報のいずれかは、入力ビデオ信号の一定時間毎のフレームを対象フレームとしてシーン切り替わり点を検出する所定のシーン切り替わり点検出器で検出されたものであり、
上記所定のシーン切り替わり点検出器は、
各対象フレームの画像の特徴を示す特徴情報を生成する特徴情報生成部と、
各対象フレームを順に類似度算出フレームとし、上記特徴情報生成部で生成された、類似度算出フレームの特徴情報と、該類似度算出フレームより時間的に前に位置する所定数の対象フレームの特徴情報とに基づいて、過去方向類似度を算出する過去方向類似度算出部と、
各対象フレームを順に類似度算出フレームとし、上記特徴情報生成部で生成された、類似度算出フレームの特徴情報と、該類似度算出フレームより時間的に後に位置する所定数の対象フレームの特徴情報とに基づいて、未来方向類似度を算出する未来方向類似度算出部と、
上記過去方向類似度算出部で算出された各対象フレームの過去方向類似度と、上記未来方向類似度算出部で算出された各対象フレームの未来方向類似度とに基づいて、シーン切り替わり点を構成する検出フレームを検出するシーン切り替わり点検出部と、
各対象フレームを順にシーンチェンジ検出フレームとし、上記特徴情報生成部で生成された、シーンチェンジ検出フレームの特徴情報と、該シーンチェンジ検出フレームに対して時間的に前または後に位置する対象フレームの特徴情報とを比較して、シーンチェンジ点を構成する対象フレームを検出するシーンチェンジ点検出部とを有し、
上記シーン切り替わり点検出部は、
上記過去方向類似度算出部で算出された各対象フレームの過去方向類似度と、上記未来方向類似度算出部で算出された各対象フレームの未来方向類似度とに基づいて検出されたシーン切り替わり点を構成する対象フレームが、上記シーンチェンジ点検出部で検出されたシーンチェンジ点を構成する対象フレームと一致するとき、該対象フレームを、シーン切り替わり点を構成する対象フレームとする
イベント生成方法。
ビデオ信号およびこのビデオ信号に関する複数系統のシーン切り替わり点の情報が関連付けされて記録されている記録媒体から、上記ビデオ信号および上記複数系統のシーン切り替わり点の情報を再生する再生部と、
上記再生部で再生された上記複数系統のシーン切り替わり点の情報に基づいて、所定の点をイベントとするイベント生成器と、
上記イベント生成器で生成されたイベントに基づいて、上記再生部における上記ビデオ信号の再生動作を制御する制御部とを備え、
上記イベント生成器は、
上記複数系統のシーン切り替わり点の情報を入力し、各シーン切り替わり点をイベント候補点とし、各イベント候補点における上記複数系統のシーン切り替わり点の情報に基づいてスコアを算出するスコア算出部と、
上記スコア算出部で算出された各イベント候補点のスコアに基づいて、所定の点をイベントとするイベント選択部とを有し、
上記複数系統のシーン切り替わり点の情報のいずれかは、入力ビデオ信号の一定時間毎のフレームを対象フレームとしてシーン切り替わり点を検出する所定のシーン切り替わり点検出器で検出されたものであり、
上記所定のシーン切り替わり点検出器は、
各対象フレームの画像の特徴を示す特徴情報を生成する特徴情報生成部と、
各対象フレームを順に類似度算出フレームとし、上記特徴情報生成部で生成された、類似度算出フレームの特徴情報と、該類似度算出フレームより時間的に前に位置する所定数の対象フレームの特徴情報とに基づいて、過去方向類似度を算出する過去方向類似度算出部と、
各対象フレームを順に類似度算出フレームとし、上記特徴情報生成部で生成された、類似度算出フレームの特徴情報と、該類似度算出フレームより時間的に後に位置する所定数の対象フレームの特徴情報とに基づいて、未来方向類似度を算出する未来方向類似度算出部と、
上記過去方向類似度算出部で算出された各対象フレームの過去方向類似度と、上記未来方向類似度算出部で算出された各対象フレームの未来方向類似度とに基づいて、シーン切り替わり点を構成する検出フレームを検出するシーン切り替わり点検出部と、
各対象フレームを順にシーンチェンジ検出フレームとし、上記特徴情報生成部で生成された、シーンチェンジ検出フレームの特徴情報と、該シーンチェンジ検出フレームに対して時間的に前または後に位置する対象フレームの特徴情報とを比較して、シーンチェンジ点を構成する対象フレームを検出するシーンチェンジ点検出部とを有し、
上記シーン切り替わり点検出部は、
上記過去方向類似度算出部で算出された各対象フレームの過去方向類似度と、上記未来方向類似度算出部で算出された各対象フレームの未来方向類似度とに基づいて検出されたシーン切り替わり点を構成する対象フレームが、上記シーンチェンジ点検出部で検出されたシーンチェンジ点を構成する対象フレームと一致するとき、該対象フレームを、シーン切り替わり点を構成する対象フレームとする
再生装置。