JP3909130B2 - ストリームイベント点検出表示方法および装置 - Google Patents
ストリームイベント点検出表示方法および装置 Download PDFInfo
- Publication number
- JP3909130B2 JP3909130B2 JP26560997A JP26560997A JP3909130B2 JP 3909130 B2 JP3909130 B2 JP 3909130B2 JP 26560997 A JP26560997 A JP 26560997A JP 26560997 A JP26560997 A JP 26560997A JP 3909130 B2 JP3909130 B2 JP 3909130B2
- Authority
- JP
- Japan
- Prior art keywords
- stream
- event point
- detection
- data
- event
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、映像や音声、楽譜データなどといったストリーム形式のデータの内容を解析する装置とその装置に関し、特に、カメラ映像が切り替わるシーン変化点やラジオ音声の話者が切り替わる話者変化点などのストリーム上のイベント点を効率よく検出できる方法およびその装置に関する。
【０００２】
【従来の技術】
近年のコンピュータ技術の発達により、映像データや音声データ、ＭＩＤＩと言われる楽譜データ、映像に付随する字幕などの付加情報データ列などといったストリーム形式のデータを多量にかつ柔軟に扱えるようになってきた。今後は、ユーザが簡単にこのような多量のストリームデータの管理できるような技術が重要となる。このストリームデータ管理技術の一つとして、ストリームの中に、ＴＶ映像がＣＭに切り替わった場所などを表すシーン変化点や、ラジオ音声にて話者が切り替わった時点などを表す話者変化点など、ストリーム中のあるイベントを表すイベント点を検出する技術がある。なお、イベント点としては、その他にも楽譜データストリームに対して、曲のリズムが変化した時点や、映像に付随する字幕などの付加情報データ列に対して、ある特定のキーワードが現れた時点などがあげられる。
【０００３】
映像データから先ほど説明したシーン変化点を検出する方法としては、特開平８−２２７４６２号公報がある。また映像の特殊効果の一つであるディゾルブ特殊効果が現れた時点を検出する方法には、特開平９−６５２８７号公報があるする。これらの従来技術に記載の方法はいずれも、映像中に含まれるフレーム画像を一枚ずつ読み出し、該フレーム画像と該フレーム画像の付近のフレーム画像との画像差分量を元にシーン変化点またはディゾルブ特殊効果点を検出する方法である。
【０００４】
音声データについて、無音に近い状態から音楽が始まるなどの有音状態に移り代わるといった音の変化点を見つける方法としては、音声テープやミニディスクなどで使われる音声ダビング装置で使われている次に示す方法が公知として存在する。この方法では、一定時間毎に音の強さの振幅値の平均をとり、該時間内の平均があるしきい値を超えた場合は有音、超えない場合は無音と判断することにより、音の変化点を見つけている。
【０００５】
しかし、上記にあげた方法に共通の課題として、映像データストリームの全てのフレーム画像を参照する、または、音声データストリームのすべての音声波形を参照する、といった必要があり、入力ストリームの本来持っている再生時間より短い時間でイベント点を検出することができないことがあげられる。
【０００６】
特開平９−１０７５１７号公報では、前記課題を解決するため、映像を高速再生しながらシーン変化点を検出する次に示すような方法を用いることにより、検出処理時間の短縮を実現している。この変化点検出制御方法では、まず検出第１パスとして映像を高速再生しながら一定時間間隔でフレーム画像を取り込み、新たに取り込んだフレーム画像と前回取り込んだフレーム画像の画像差分量が大きく異なる点をイベント点候補区間（シーン変化点候補区間）として列挙する。次に検出第２パスとして、検出された映像イベント点候補区間のそれぞれを通常速度の再生により１フレームずつ検出処理し、正確なイベント点位置を検出する。
【０００７】
【発明が解決しようとする課題】
先述した従来の方法には、以下に示す課題がある。
【０００８】
第１の課題は、従来方法の特開平９−１０７５１７号公報に記載の技術においては、入力映像のうちどの部分について検出処理をしているのかが、ユーザの視点から理解しにいことである。以下にその理由を説明する。
【０００９】
該変化点検出制御方法では、まず検出第１パスにて、入力映像全体を走査している画面が早送り映像のように表示される。次に、検出第２パスにて、早送り再生時に検出された映像イベント点候補区間の映像が各候補区間毎に立て続けに再生される。このような２段階の検出方法のため、映像が本来の再生順序とは違った細切れ映像のように再生され、現在該映像中のどの部分について検出処理を行なっているのかが分かりにくい。
【００１０】
第２の課題は、該変化点検出制御方法では、ユーザが映像検出処理を打ち切った場合、検出第１パスの最中であると、映像イベント点候補区間しか残らないため、１素データ精度のイベント点の位置を検出できない。
【００１１】
第３の課題は、該変化点検出制御方法では、ネットワーク上を流れてくる映像・音声データやＴＶ放送として受信された映像・音声データなど、ストリームが一度ＴＶやラジオなどに出力された時点で消去されてしまう特徴を持ったストリームデータの場合、検出第２パスを実行できないため、１素データ単位の位置精度をもったイベント点を検出することができない。
【００１２】
第４の課題は、従来方法にて説明した、映像のディゾルブ特殊効果点の検出方法や、音声変化点の検出方法の場合、該変化点検出制御方法は適用できない。
【００１３】
第５の課題は、該変化点検出制御方法では、検出すべきところを検出できなかったり、検出しなくともよいところを検出したりするなど、誤検出があった場合に、検出処理中にその検出内容をユーザが制御しにくいことである。これは、第１の課題で示した現在の検出状況がユーザにとって理解しにくいことが、直接の原因である。
【００１４】
本発明の第１の目的は、映像や音声などのストリームデータからイベント点を検出する方法を少ない演算量で行う早送り式ストリームイベント点検出方法において、現在の検出状況をユーザに分かりやすく表示することである。
【００１５】
本発明の第２の目的は、該早送り式ストリームイベント点検出方法において、ユーザが途中で検出処理を打ち切っても、１素データ単位の位置精度をもったイベント点を残すことが可能なことである。
【００１６】
本発明の第３の目的は、先述のＴＶ放送のストリームデータなど、ストリームが一度ＴＶなどに出力された時点で消去されてしまう特徴を持った、ストリームデータの場合でも、該早送り式ストリームイベント点検出方法のような効率的な検出方法で、１素データ単位の位置精度をもったイベント点を検出することである。
【００１７】
本発明の第４の目的は、先述の映像のディゾルブ特殊効果点の検出方法や、音声変化点の検出方法の場合でも、該早送り式ストリームイベント点検出方法のような効率的な検出方法を適用可能にすることである。
【００１８】
本発明の第５の目的は、該早送り式ストリームイベント点検出方法において、検出処理中にその検出内容をユーザが簡単に制御できるようにすることである。
【００１９】
【課題を解決するための手段】
本発明は、上記目的を達成するために、下記に示す方法を用いたものである。なお、図１は本発明方法の概略を表したフローであり、下記説明にて、（ステップｘｘｘ）との記述は、図１の概略フロー中のステップ番号を表す。また、図２は本発明方法を用いたストリームイベント点検出・表示装置のシステム構成図である。以降では、まず図１を用いながら本発明方法を述べ、最後に図２を用いたストリームイベント点検出表示装置の概略を述べる。
【００２０】
本発明の第１から第４の目的を達成するために、入力された映像や音声などのストリームデータから、映像のシーン変化点や音声の話者変化点などのイベント点を検出し出力するストリームイベント点検出・表示方法において、下記（１）から（５）に示す処理を行う方法を特徴とする。
【００２１】
（１）先頭区間を先読みバッファに入力する（ステップ１１０２）。
【００２２】
（２）その先読みバッファからその先読みバッファ内にイベント点が存在するか否かを検出する（ステップ１１０３）。
【００２３】
（２ａ）（２）にて得られたイベント点検出有無情報により、（３）または（４）のどちらかを行う（ステップ１１０４）。
【００２４】
（３）（２）にてイベント点が存在すると判断した場合、先読みバッファ中のストリーム区間内の全素データ（ストリームを構成する最小単位）を順次読み出し、下記（３ａ）（３ｂ）（３ｃ）の処理を行う（ステップ１１１１）。
【００２５】
（３ａ）該素データをユーザに向けて出力する（ステップ１１２１）。
【００２６】
（３ｂ）該素データの位置がイベント点か否かを該素データの特徴量を用いて判定する（ステップ１１２２）。
【００２７】
（３ｃ）（３ｂ）にて、該素データの位置がイベント点であったと判定された場合のみ、（３ｄ）の処理を行う（ステップ１１２３）。
【００２８】
（３ｄ）該素データの位置をイベント点位置とし、イベント点位置の記録などの検出時処理を行う（ステップ１１３１）。
【００２９】
（４）（２）にてイベント点がないと判断された場合は、先読みバッファ中のストリームを早送り表示する（ステップ１１１２）。
【００３０】
（５）これら（１）から（４）までを順次繰り返す（ステップ１１０１）。
【００３１】
上記方法によって、次の理由により、本発明の第１の目的を解決できる。（４）のように、ストリーム中にイベント点が存在しないところは従来技術のようにストリームを早送り再生できる。加えて、（３）のように、ストリーム中にイベント点が存在しそうなところについては、ストリームの再生順序を狂わすようなストリームまき戻し出力をユーザに示すことなく、詳細なストリームデータを１素データずつゆっくりユーザに示すことができる。このように、本発明方法は、従来技術とは違い、ストリームの出力速度を、ストリーム内容に応じて自動的に切り替えることにより、ユーザからもわかりやすい出力を得ることができる。
【００３２】
本発明の方法によって、次の理由により、本発明の第２の目的を解決できる。本方法では、従来方法のようにイベント点候補点を検出することはせず、各イベント点の検出において、１素データ単位の精度を持ったイベント点位置を検出している。このため、上記方法では、検出処理中のいかなる時点に処理を打ち切っても、１素データ精度のイベント点位置を算出できる。
【００３３】
本発明の方法によって、次の理由により、本発明の第３の目的を解決できる。上記方法では、（２）のように、ストリームデータを必ず先読みバッファに読込み、また、（３）のように、１素データ単位のイベント点検出の際には、該先読みバッファを用いている。このため、ＴＶ放送のストリームデータなど、ストリームが一度ＴＶなどに出力された時点で消去してしまうストリームデータの場合でも、本発明方法では、映像をバッファリングしているため、１素データ単位の位置精度をもったイベント点を検出できる。
【００３４】
本発明の方法によって、次の理由により、本発明の第４の目的を解決できる。たとえば、先述の映像のディゾルブ特殊効果点の検出の場合は、（２）において、現先読みバッファ中のフレーム画像と前回の先読みバッファ中のフレーム画像との画像差分量が大きい場合にイベント点ありと判断し、かつ、（３）において、従来方法の特願平７−２１０４０９のディゾルブ検出方法をもちいれば良い。これはディゾルブは映像が早送り映像の場合は、シーン変化点と同様の映像に見えるためである。また、音声についても、たとえば、（２）にて先読みバッファ中の音声波形を２秒おき長さ１秒ずつに間引いた音声波形データを作成し、音声波形の振幅平均をとり、その値があるしきい値を超えればイベント点ありと判断し、かつ、（３）おいて、従来方法をそのまま用いればよい。
【００３５】
ここで、本発明の第５の目的を達成するための装置を説明する。
【００３６】
上記（１）から（５）までの処理を基本として、以下のような修正を加えれば、ユーザにとってもわかりやすい検出制御を実現できる。
【００３７】
たとえば、検出処理中にユーザが強制検出を意味するボタンなどによって現在検出処理中のストリーム位置に強制的にイベント点を検出させたい場合、上記（３ｃ）と（４）とを下記のよう変更する。もちろん、下記以外の実現方法によっても本例は実現可能である。
【００３８】
（３ｃ）（３ｂ）にて、該素データの位置がイベント点であったと判定された場合、または、ユーザが強制検出ボタンを押下していた場合、イベント点位置の記録などの検出時処理を行う。
【００３９】
（４）（２）にてイベント点がないと判断された場合、かつ、ユーザが強制検出ボタンを押下していた場合、イベント点位置の記録などの検出時処理を行い、その他の場合は、先読みバッファ中のストリーム区間をストリームを早送り表示する。
【００４０】
その他の制御方法として、たとえば、検出処理中にユーザが詳細検出無視を意味するボタンなどにより、１素データ精度のイベント点の位置検出を行う処理を無視するには、上記（３）を次のよう変更する。もちろん、下記以外の実現方法によっても本例は実現可能である。
【００４１】
(３）（２）にてイベント点が存在すると判断した場合、先読みバッファの先頭の素データ位置をイベント点位置とし、該イベント点の記録などの検出時処理を行い、
その後、先読みバッファ中のストリーム区間をストリームを早送り表示する。
【００４２】
最後に、図２を用いて、本発明のストリームイベント点検出表示装置の概略を述べる。図２は本発明方法を用いたストリームイベント点検出表示装置のシステム構成図である。
【００４３】
本発明のストリームイベント点検出制御・表示装置は、以下の装置を有することを特徴とする。本装置にて、前述のストリームイベント点検出表示方法に従った処理を実行することができる。
【００４４】
本発明のストリームイベント点検出制御・表示装置は、入力ストリームの読込みを行うストリーム入力装置１００１と、読込まれた入力ストリームの先頭部分区間を格納する先読みバッファ１１０２と、ストリームをユーザなどに対して出力するストリーム出力装置１００８と、先読みバッファ１００２の中のストリームを早送り形式で出力する早送り出力制御装置１００３と、該先読みバッファ１００２の中のストリームを１素データずつ出力する詳細出力制御装置１００４と、該先読みバッファ１００２の中のストリーム中でのイベント点の存在有無を判定する早送りイベント点検出装置１００５と、該先読みバッファ１００２の中のストリーム中のイベント点の位置を１素データ精度で判定する詳細イベント点検出装置１００６と、該早送りイベント点検出装置１００５が先読みバッファ１００２の中にイベント点なしと判断した場合は、先読みバッファ１００２の内容を該早送り出力制御装置１００３を用いて早送り出力し、該早送りイベント点検出装置１００５が先読みバッファ１００２の中にイベント点ありと判断した場合は、先読みバッファ１００２中の素データを順次読み出して該詳細出力制御装置１００８にて該素データを表示しながら、かつ、該詳細イベント点検出装置１００６にて該素データの位置でのイベント点有無を判断する検出制御装置１００７を有することを特徴とする。
【００４５】
【発明の実施の形態】
以下、本発明の実施例を図３から図７を用いて説明する。
【００４６】
図３はＭＰＥＧファイルからイベント点の一種であるシーン変化点を検出するシステム構成図である。なお後述において「ＭＰＥＧファイル」とは、国際規格ＩＳＯ１１１７２−１で規定されているＭＰＥＧ１、または、ＭＰＥＧ２もしくはこれと同等のビデオ映像形式で格納した映像データファイルを指す。
【００４７】
本実施例での処理の流れの概要を図３のシステム構成図と図４の実行画面を用いて説明する。
【００４８】
本実施例では、
（１）映像ストリーム入力装置２０１から、現読込み位置（図３の時点ではＦ２１）から次Ｉピクチャ（ＭＰＥＧファイル映像ストリームでのキー素データを意味するフレーム画像。図３の時点では位置Ｆ２３をＩピクチャとする）までのフレーム列２２１を先読みバッファ２０３に読込み、
（２）早送りイベント点検出装置２０７にて先読みバッファ内にシーン変化点の存在有無を判定し、
（３）（２）にてシーン変化点が存在した場合は、先読みバッファ２０３中の全フレームを表示しながら詳細イベント点検出装置２０５を用いてシーン変化イベント点のフレーム位置を検出し、検出したら検出結果を図４の結果表示領域３０２（図３のシステム構成では、映像ストリーム出力装置２１３に該当）に表示し、
（４）（２）にてシーン変化点が存在しなかった場合は、フレーム画像Ｌ２を同領域に表示し、
（５）（１）から（４）までを映像がなくなるまで繰り返している。
【００４９】
図４は映像イベント点の高速検出方法の実行画面の１例を示す。領域３０１は入力映像表示領域であり、入力映像のうち現在どのフレーム画像が実際に検出処理されているかが表示される。ボタン３０４，３０５，３０６は検出制御ボタンであり、検出開始ボタン３０４をマウスなどのユーザ操作入力装置でクリックすると図５の処理フローに示される検出処理が開始される。検出処理実行中に検出終了ボタン３０５をクリックすると検出処理が打ち切られる。強制検出ボタン３０６をクリックすると、現在表示されているフレーム画像とフレーム位置が映像イベント点として強制的に記録される。
【００５０】
領域３０２には、検出された映像イベント点の一覧がビジュアルに表示される。アイコン３１０、３１１、３１２は検出された映像イベント点のフレーム位置と、該フレーム位置でのフレーム画像を表示している。例えばアイコン３１２には、フレーム位置１００の映像イベント点を表しており、該フレーム位置のフレーム画像とフレーム位置を表す数字１００が表示される。
【００５１】
チェックボックス３０７は、詳細検出モードの指定を表し、初期表示時はチェック状態となっている。該チェックボックスをクリックすると、チェック状態と非チェック状態がトグルする。該チェックボックスがチェック時はイベント点の検出位置精度は１フレーム単位となり、非チェック時は該検出位置精度は、２以上の数フレーム単位の粗い検出精度となる。
【００５２】
スライダ３０８は、非検出時は、入力映像データの現在の読込み位置を表示し、また、スライダ３０８のつまみ３０９を動かすことにより、入力データの読込み位置を移動することができる。入力映像表示領域３０１には、入力映像データのうち、スライダ３０８で指定された位置のフレーム画像が表示される。なお、本例では、検出処理時には、スライダ３０８は利用不可となる。
【００５３】
再生ボタン３２１をクリックすると映像が再生される。停止ボタン３２２をクリックすると映像再生が停止する。
【００５４】
図５に図４の検出開始ボタン３０４が押された際の処理フローを示す。
【００５５】
ステップ４０１では、映像先読みバッファの初期化を行なう。実際には映像先読みバッファを空にし、また、フレーム画像を格納する変数LastFrameFFに黒色（ピクセル値が全て０）のフレーム画像を代入する。
【００５６】
ステップ４０２では、早送りイベント点検出の初期化を行なう。例えば内部変数として持つ前フレーム画像を黒色に塗りつぶすなどの処理を行なう。
【００５７】
ステップ４０３およびステップ４１１〜４１７では、映像中から映像イベント点を検出する処理を繰り返すループ処理を行なう。該ループ一回で、先読みバッファに読込まれたフレーム画像列に対して映像イベント点の検出処理を行なう。該ループの終了条件は、映像を全て読み終わった場合、または、該ループ内でユーザが終了ボタンを押した場合である。
【００５８】
ステップ４１１では、入力映像データの先頭数フレームを読みだして先読みバッファに書込む。本実施例では、現在の読込みフレーム位置から次に現れるキーフレームの位置までのフレーム画像列を先読みバッファに読込む。例えばＭＰＥＧファイルの場合のキーフレームとは、１０から３０フレーム毎に映像データ中に存在するＩピクチャを意味する。
【００５９】
なお、先読みバッファを実現する場合、読込み指示のあったフレーム画像列すべての静止画像データを先読みバッファに記録しなくてもよく、読込み指示のあったフレーム画像列の入力データ上での先頭フレーム位置と末尾フレーム位置のみを記録し、映像先読みバッファからフレーム画像を参照する指示があった場合になって初めて、入力映像データから該当するフレーム画像を読み出してもよい。このような先読みバッファの遅延読込み方法を用いると、先読みバッファのメモリ容量と先読みバッファからのフレーム画像取得時間との両方を節約できる。例えば、入力映像データがＭＰＥＧファイルの場合、現在の読込みフレーム位置と次に現れるＩピクチャの位置と該Ｉピクチャを伸長したフレーム画像とを先読みバッファに記録し、実際に先読みバッファからフレーム画像データを取り出す際、取り出し位置が該Ｉピクチャの位置であれば先読みバッファ内のフレーム画像データを直接取り出し、取り出し位置が該Ｉピクチャの位置以外であれば、入力映像データから対応するフレーム画像データを取り出すように実現する。
【００６０】
ステップ４１２において、先読みバッファの最後の位置に記録されているキーフレーム画像を取り出し、aFrameFFに格納する。
【００６１】
ステップ４１３において、早送りイベント点検出処理を行なう。 本実施例では、シーン変化点の有無を検出するために、フレーム画像aFrameFFと、前回早送りイベント点検出関数に渡されたフレーム画像LastFrameFFとの画像差分量を算出し、該画像差分量があるしきい値より大きかったら、シーン変化点ありと判断する。
【００６２】
ステップ４１４の条件分岐では、ステップ４１３においてイベント点ありと判断され、かつ、現検出状態が詳細検出モードの場合、ステップ４２１，４２２により、１フレーム単位のイベント点検出処理を行なう。ここで詳細検出モードとは、図２の詳細検出チェックボックス３０７がチェックされている状態を指す。
【００６３】
ステップ４１４の条件分岐で、ステップ４１３においてイベント点ありと判断されたのだが、現検出状態が詳細検出モードではない場合、ステップ４２３において、イベント点の位置をaFrameFFの位置とし、イベント点の画像をaFrameFFのフレーム画像とし、検出時処理を行う。該検出時処理の詳細については、ステップ４４３の説明にて詳細な説明を行う。
【００６４】
ステップ４１４の条件分岐が前記２条件にどちらもあてはまらないときは、ステップ４１５にて、早送り時のフレーム画像aFrameFFを表示する。
【００６５】
４２１では詳細イベント点検出の初期化処理を行なう。ここでは、フレーム画像を格納する変数LastFrameに黒色（ピクセル値が全て０）のフレーム画像を代入する。
【００６６】
本実現例以外にも、例えば、詳細イベント点検出処理に、従来の技術の特開平８−２２７４６２号公報に示された動画像の変化点検出方法を直接適用する場合、該検出方法では与えられたフレーム列の先頭２フレームについてシーン変化点を検出することができないため、ステップ４２１では、前回読込んだフレーム画像LastFrameFFを２回繰り返し該方法に入力させればよい。
【００６７】
ステップ４２２、４３１〜４３５では、先読みバッファ内のフレーム画像列に対して下記に示す詳細イベント点検出処理を行なう。
【００６８】
ステップ４３１では、先読みバッファの中のｉ番目のフレーム位置のフレーム画像をaFrameに取得する。
【００６９】
ステップ４３２では、フレーム画像aFrameを図２の入力映像表示領域３０１に表示する。
【００７０】
ステップ４３３により、詳細イベント点検出の１フレーム分処理を行なう。本実施例では、シーン変化点の有無を検出するために、フレーム画像aFrameと、前フレーム画像LastFrameとの画像差分量を算出し、該画像差分量があるしきい値より大きかったら、シーン変化点ありと判断する。本実現例以外にも、例えば、詳細イベント点検出処理に、従来の技術の特開平８−２２７４６２号公報に示された動画像の変化点検出方法を直接適用してもよい。
【００７１】
ステップ４３４の条件分岐では、ステップ４３３にてイベント点が存在すると判断された場合、フレーム画像aFrameの位置でイベント点検出と判断し、ステップ４４３にて、先読みバッファの先頭に格納されているフレーム画像に対応する入力映像データでのフレーム位置と、ループカウンタｉとを加えた数をイベント点の検出位置とし、またaFrameをイベント点フレーム画像とし、検出時処理を行なう。
【００７２】
該検出時処理では、図２の領域３０２に表示されているアイコンリストの終わりの位置に、イベント点フレーム画像とイベント点検出位置とをアイコン形式でアイコン３１２のように追加表示する。
【００７３】
ステップ４３５では、ユーザ操作イベント入力装置により取得したユーザ操作イベントに基づき条件判定を行ない、ユーザ操作イベントが図２の強制検出ボタン３０６押下の場合は、ステップ４４１にて、イベント点位置をフレーム画像aFrameの位置とし、また、イベント点フレーム画像をaFrameとし、ステップ４４３と同様の検出時処理を行ない、検出終了ボタン３０５押下の場合は、ステップ４４２にて再内側ループを脱出して処理をステップ４１６に移し、その他の場合は何もしない。
【００７４】
ステップ４１６では、ユーザ操作イベント入力装置により取得したユーザ操作イベントに基づき条件判定を行ない、ユーザ操作イベントが図２の強制検出ボタン３０６押下の場合は、ステップ４２３にて、イベント点の位置をaFrameFFのフレーム位置とし、イベント点フレーム画像をaFrameFFとし、ステップ４４３と同等の検出時処理を行ない、検出終了ボタン３０５押下の場合は、ステップ４２４にて現ループを脱出して検出処理全体を終了し、その他の場合は何もしない。
【００７５】
ステップ４１７では、現早送りフレーム画像aFrameFFを前早送りフレーム画像LastFrameFFに代入する。
【００７６】
図６は、検出位置スライダによる視覚的な検出状況の表示方法の１例を表す。
【００７７】
本例では、現在検出処理が早送り検出中なのかまたは詳細検出中なのかを、スライダのつまみのアイコン表示を変更することにより、視覚的に示している。
【００７８】
検出処理が早送り検出中の場合、図６（Ａ）の表示となり、スライダのつまみ６０３の表示は、三角形２つからなる早送り中アイコンとなる。なおこの場合、入力画像は６０１のように早送り映像が表示される。逆に検出処理が詳細検出中の場合、図６（Ｂ）の表示となり、スライダのつまみ６１３の表示は、三角形１つからなる通常速度再生アイコンとなる。なおこの場合、入力画像は６０１のように通常速度映像が表示される。
【００７９】
図６の検出状況表示例では、さらに、現在の検出処理位置をスライダのつまみ（早送り中は６０３、それ以外は６１３）の位置で視覚的に表している。この場合、スライダのつまみが左端のときは映像の先頭を、同じく右端のときは映像の末尾を、その間についてはつまみの位置の割合に応じた映像位置について検出処理をしていることを表す。
【００８０】
図６の検出状況表示方法を実現するためには、ステップ４１５とステップ４３２を以下のように修正すればよい。
【００８１】
「図６の例のために修正したステップ４１５」では、aFrameFFのフレームを表示し、その後、図４のスライダのつまみ３０９のアイコンを図６（Ａ）のつまみ６０３に変更し、その後、図４のスライダのつまみ３０９を、左端から、（現在のフレーム画像aFrameFFの位置÷入力映像全体の長さ）×スライダの全体の長さ、の位置に配置する。
【００８２】
「図６の例のために修正したステップ４３２」では、aFrameのフレームを表示し、その後、図４のスライダのつまみ３０９のアイコンを図６（Ｂ）のつまみ６１３に変更し、その後、図４のスライダのつまみ３０９を、左端から、（現在のフレーム画像aFrameの位置÷入力映像全体の長さ）×スライダの全体の長さ、の位置に配置する。
【００８３】
図７は、検出位置があいまいなイベント点の視覚的な表示例を表す。図７は、図４の実行画面の左側部分のみを説明用に抜き出したものである。検出位置があいまいなイベント点とは、図４の詳細検出モードチェックボックス３０７が、不活性の際に検出されたイベント点であり、このイベント点は１フレーム単位の位置精度を持っておらず、いわば不完全なイベント点である。図７の例では、検出位置があいまいなイベント点を検出した場合のアイコン表示を、視覚的に検出位置があいまいでないイベント点のアイコン表示と、視覚的に区別できるようにしている。
【００８４】
図７の７００は、図４の領域３０２と同一の表示領域である。表記７０１では、検出位置があいまいなイベント点のアイコンには、点線の透明な四角をアイコンの前後に多重表示し、かつ、フレーム位置の表示に「±？」という文字を追加表示することにより、正確なイベント点のアイコン７０３と、視覚的に区別できるようにしている。これにより、ユーザは、どのイベント点は１フレーム精度のイベント点なのか否かを人目で把握できる。
【００８５】
図７の、検出位置があいまいなイベント点の視覚的な表示例を実現するためには、ステップ４４３の説明にて述べた検出時処理を以下のように修正すればよい。
【００８６】
「図７の例のために修正した検出時処理」では、
該特別検出時処理では、図２の領域３０２に表示されているアイコンリストの終わりの位置に、イベント点のフレーム画像と、イベント点のフレーム位置を表すフレーム番号の文字列とをアイコン形式でアイコン３１２のように追加表示し、その後、ステップ４１４にて説明した詳細検出モードが不成立の場合、図７の７０１のような透明な点線の四角を、先ほど描画したアイコン画像の前後に多重表示し、また、フレーム位置番号の表記のすぐ右となりに「±？」を追加表示する。
【００８７】
【発明の効果】
本発明では、以下のような効果を得ることができる。
第１に、早送り検出時のストリーム出力と詳細検出時のストリーム出力とを、イベント点の検出状況、すなわちストリーム内容により、随時切り替えるようにしているため、ストリームの再生順序を乱さないような出力を行っているために、入力ストリームのどの部分について現在検出処理を行なっているのかが容易に確認できる。
【００８８】
第２に、ユーザが検出処理を打ち切った場合でも、本発明方法では、毎回のイベント点検出処理において、１素データ精度のイベント点位置を検出しているため、いつ検出処理を打ち切られても１素データ精度のイベント点位置を残すことができる。
【００８９】
第３に、先読みバッファに詳細検出処理に必要な素データ列を常時格納するようにしているため、ＴＶ放送として受信されたストリーム形式の映像データといった出力後すぐにデータが消えてしまうような入力ストリームに対しても、イベント点を検出できる。
【００９０】
第４に、先読みバッファとイベント点検出方法とを、映像や音声ストリームにも変更できるようにし、また、イベント点検出方法も検出するイベント点により変更できるようにしたことで、映像のディゾルブ点や、音声の話者変化点などの種類についても、少ない演算量で効率よくイベント点を検出できるようになった。
【００９１】
第５に、入力ストリームのどの部分について現在検出処理を行なっているのかが容易に確認できるようにしたために、ユーザが制御しやすいイベント点検出方法を追加することができた。
【図面の簡単な説明】
【図１】本発明方法の概略を表したフロー図である。
【図２】本発明方法を用いたストリームイベント点検出表示装置のシステム構成図である。
【図３】ＭＰＥＧファイルからイベント点の一種であるシーン変化点を検出するシステム構成図である。
【図４】図３の実現例での実行画面を説明する図である。
【図５】図３の実現例での処理フロー図である。
【図６】検出位置スライダによる視覚的な検出状況の表示方法の１例を示す図である。
【図７】検出位置があいまいなイベント点の視覚的な表示例を示す図である。
【符号の説明】
１００１ ストリーム入力装置
１００２ 先読みバッファ
１００３ 早送り出力制御装置
１００４ 詳細出力制御装置
１００５ 早送りイベント点検出装置
１００６ 詳細イベント点検出装置
１００７ 検出制御装置
１００８ ストリーム出力装置
【発明の属する技術分野】
本発明は、映像や音声、楽譜データなどといったストリーム形式のデータの内容を解析する装置とその装置に関し、特に、カメラ映像が切り替わるシーン変化点やラジオ音声の話者が切り替わる話者変化点などのストリーム上のイベント点を効率よく検出できる方法およびその装置に関する。
【０００２】
【従来の技術】
近年のコンピュータ技術の発達により、映像データや音声データ、ＭＩＤＩと言われる楽譜データ、映像に付随する字幕などの付加情報データ列などといったストリーム形式のデータを多量にかつ柔軟に扱えるようになってきた。今後は、ユーザが簡単にこのような多量のストリームデータの管理できるような技術が重要となる。このストリームデータ管理技術の一つとして、ストリームの中に、ＴＶ映像がＣＭに切り替わった場所などを表すシーン変化点や、ラジオ音声にて話者が切り替わった時点などを表す話者変化点など、ストリーム中のあるイベントを表すイベント点を検出する技術がある。なお、イベント点としては、その他にも楽譜データストリームに対して、曲のリズムが変化した時点や、映像に付随する字幕などの付加情報データ列に対して、ある特定のキーワードが現れた時点などがあげられる。
【０００３】
映像データから先ほど説明したシーン変化点を検出する方法としては、特開平８−２２７４６２号公報がある。また映像の特殊効果の一つであるディゾルブ特殊効果が現れた時点を検出する方法には、特開平９−６５２８７号公報があるする。これらの従来技術に記載の方法はいずれも、映像中に含まれるフレーム画像を一枚ずつ読み出し、該フレーム画像と該フレーム画像の付近のフレーム画像との画像差分量を元にシーン変化点またはディゾルブ特殊効果点を検出する方法である。
【０００４】
音声データについて、無音に近い状態から音楽が始まるなどの有音状態に移り代わるといった音の変化点を見つける方法としては、音声テープやミニディスクなどで使われる音声ダビング装置で使われている次に示す方法が公知として存在する。この方法では、一定時間毎に音の強さの振幅値の平均をとり、該時間内の平均があるしきい値を超えた場合は有音、超えない場合は無音と判断することにより、音の変化点を見つけている。
【０００５】
しかし、上記にあげた方法に共通の課題として、映像データストリームの全てのフレーム画像を参照する、または、音声データストリームのすべての音声波形を参照する、といった必要があり、入力ストリームの本来持っている再生時間より短い時間でイベント点を検出することができないことがあげられる。
【０００６】
特開平９−１０７５１７号公報では、前記課題を解決するため、映像を高速再生しながらシーン変化点を検出する次に示すような方法を用いることにより、検出処理時間の短縮を実現している。この変化点検出制御方法では、まず検出第１パスとして映像を高速再生しながら一定時間間隔でフレーム画像を取り込み、新たに取り込んだフレーム画像と前回取り込んだフレーム画像の画像差分量が大きく異なる点をイベント点候補区間（シーン変化点候補区間）として列挙する。次に検出第２パスとして、検出された映像イベント点候補区間のそれぞれを通常速度の再生により１フレームずつ検出処理し、正確なイベント点位置を検出する。
【０００７】
【発明が解決しようとする課題】
先述した従来の方法には、以下に示す課題がある。
【０００８】
第１の課題は、従来方法の特開平９−１０７５１７号公報に記載の技術においては、入力映像のうちどの部分について検出処理をしているのかが、ユーザの視点から理解しにいことである。以下にその理由を説明する。
【０００９】
該変化点検出制御方法では、まず検出第１パスにて、入力映像全体を走査している画面が早送り映像のように表示される。次に、検出第２パスにて、早送り再生時に検出された映像イベント点候補区間の映像が各候補区間毎に立て続けに再生される。このような２段階の検出方法のため、映像が本来の再生順序とは違った細切れ映像のように再生され、現在該映像中のどの部分について検出処理を行なっているのかが分かりにくい。
【００１０】
第２の課題は、該変化点検出制御方法では、ユーザが映像検出処理を打ち切った場合、検出第１パスの最中であると、映像イベント点候補区間しか残らないため、１素データ精度のイベント点の位置を検出できない。
【００１１】
第３の課題は、該変化点検出制御方法では、ネットワーク上を流れてくる映像・音声データやＴＶ放送として受信された映像・音声データなど、ストリームが一度ＴＶやラジオなどに出力された時点で消去されてしまう特徴を持ったストリームデータの場合、検出第２パスを実行できないため、１素データ単位の位置精度をもったイベント点を検出することができない。
【００１２】
第４の課題は、従来方法にて説明した、映像のディゾルブ特殊効果点の検出方法や、音声変化点の検出方法の場合、該変化点検出制御方法は適用できない。
【００１３】
第５の課題は、該変化点検出制御方法では、検出すべきところを検出できなかったり、検出しなくともよいところを検出したりするなど、誤検出があった場合に、検出処理中にその検出内容をユーザが制御しにくいことである。これは、第１の課題で示した現在の検出状況がユーザにとって理解しにくいことが、直接の原因である。
【００１４】
本発明の第１の目的は、映像や音声などのストリームデータからイベント点を検出する方法を少ない演算量で行う早送り式ストリームイベント点検出方法において、現在の検出状況をユーザに分かりやすく表示することである。
【００１５】
本発明の第２の目的は、該早送り式ストリームイベント点検出方法において、ユーザが途中で検出処理を打ち切っても、１素データ単位の位置精度をもったイベント点を残すことが可能なことである。
【００１６】
本発明の第３の目的は、先述のＴＶ放送のストリームデータなど、ストリームが一度ＴＶなどに出力された時点で消去されてしまう特徴を持った、ストリームデータの場合でも、該早送り式ストリームイベント点検出方法のような効率的な検出方法で、１素データ単位の位置精度をもったイベント点を検出することである。
【００１７】
本発明の第４の目的は、先述の映像のディゾルブ特殊効果点の検出方法や、音声変化点の検出方法の場合でも、該早送り式ストリームイベント点検出方法のような効率的な検出方法を適用可能にすることである。
【００１８】
本発明の第５の目的は、該早送り式ストリームイベント点検出方法において、検出処理中にその検出内容をユーザが簡単に制御できるようにすることである。
【００１９】
【課題を解決するための手段】
本発明は、上記目的を達成するために、下記に示す方法を用いたものである。なお、図１は本発明方法の概略を表したフローであり、下記説明にて、（ステップｘｘｘ）との記述は、図１の概略フロー中のステップ番号を表す。また、図２は本発明方法を用いたストリームイベント点検出・表示装置のシステム構成図である。以降では、まず図１を用いながら本発明方法を述べ、最後に図２を用いたストリームイベント点検出表示装置の概略を述べる。
【００２０】
本発明の第１から第４の目的を達成するために、入力された映像や音声などのストリームデータから、映像のシーン変化点や音声の話者変化点などのイベント点を検出し出力するストリームイベント点検出・表示方法において、下記（１）から（５）に示す処理を行う方法を特徴とする。
【００２１】
（１）先頭区間を先読みバッファに入力する（ステップ１１０２）。
【００２２】
（２）その先読みバッファからその先読みバッファ内にイベント点が存在するか否かを検出する（ステップ１１０３）。
【００２３】
（２ａ）（２）にて得られたイベント点検出有無情報により、（３）または（４）のどちらかを行う（ステップ１１０４）。
【００２４】
（３）（２）にてイベント点が存在すると判断した場合、先読みバッファ中のストリーム区間内の全素データ（ストリームを構成する最小単位）を順次読み出し、下記（３ａ）（３ｂ）（３ｃ）の処理を行う（ステップ１１１１）。
【００２５】
（３ａ）該素データをユーザに向けて出力する（ステップ１１２１）。
【００２６】
（３ｂ）該素データの位置がイベント点か否かを該素データの特徴量を用いて判定する（ステップ１１２２）。
【００２７】
（３ｃ）（３ｂ）にて、該素データの位置がイベント点であったと判定された場合のみ、（３ｄ）の処理を行う（ステップ１１２３）。
【００２８】
（３ｄ）該素データの位置をイベント点位置とし、イベント点位置の記録などの検出時処理を行う（ステップ１１３１）。
【００２９】
（４）（２）にてイベント点がないと判断された場合は、先読みバッファ中のストリームを早送り表示する（ステップ１１１２）。
【００３０】
（５）これら（１）から（４）までを順次繰り返す（ステップ１１０１）。
【００３１】
上記方法によって、次の理由により、本発明の第１の目的を解決できる。（４）のように、ストリーム中にイベント点が存在しないところは従来技術のようにストリームを早送り再生できる。加えて、（３）のように、ストリーム中にイベント点が存在しそうなところについては、ストリームの再生順序を狂わすようなストリームまき戻し出力をユーザに示すことなく、詳細なストリームデータを１素データずつゆっくりユーザに示すことができる。このように、本発明方法は、従来技術とは違い、ストリームの出力速度を、ストリーム内容に応じて自動的に切り替えることにより、ユーザからもわかりやすい出力を得ることができる。
【００３２】
本発明の方法によって、次の理由により、本発明の第２の目的を解決できる。本方法では、従来方法のようにイベント点候補点を検出することはせず、各イベント点の検出において、１素データ単位の精度を持ったイベント点位置を検出している。このため、上記方法では、検出処理中のいかなる時点に処理を打ち切っても、１素データ精度のイベント点位置を算出できる。
【００３３】
本発明の方法によって、次の理由により、本発明の第３の目的を解決できる。上記方法では、（２）のように、ストリームデータを必ず先読みバッファに読込み、また、（３）のように、１素データ単位のイベント点検出の際には、該先読みバッファを用いている。このため、ＴＶ放送のストリームデータなど、ストリームが一度ＴＶなどに出力された時点で消去してしまうストリームデータの場合でも、本発明方法では、映像をバッファリングしているため、１素データ単位の位置精度をもったイベント点を検出できる。
【００３４】
本発明の方法によって、次の理由により、本発明の第４の目的を解決できる。たとえば、先述の映像のディゾルブ特殊効果点の検出の場合は、（２）において、現先読みバッファ中のフレーム画像と前回の先読みバッファ中のフレーム画像との画像差分量が大きい場合にイベント点ありと判断し、かつ、（３）において、従来方法の特願平７−２１０４０９のディゾルブ検出方法をもちいれば良い。これはディゾルブは映像が早送り映像の場合は、シーン変化点と同様の映像に見えるためである。また、音声についても、たとえば、（２）にて先読みバッファ中の音声波形を２秒おき長さ１秒ずつに間引いた音声波形データを作成し、音声波形の振幅平均をとり、その値があるしきい値を超えればイベント点ありと判断し、かつ、（３）おいて、従来方法をそのまま用いればよい。
【００３５】
ここで、本発明の第５の目的を達成するための装置を説明する。
【００３６】
上記（１）から（５）までの処理を基本として、以下のような修正を加えれば、ユーザにとってもわかりやすい検出制御を実現できる。
【００３７】
たとえば、検出処理中にユーザが強制検出を意味するボタンなどによって現在検出処理中のストリーム位置に強制的にイベント点を検出させたい場合、上記（３ｃ）と（４）とを下記のよう変更する。もちろん、下記以外の実現方法によっても本例は実現可能である。
【００３８】
（３ｃ）（３ｂ）にて、該素データの位置がイベント点であったと判定された場合、または、ユーザが強制検出ボタンを押下していた場合、イベント点位置の記録などの検出時処理を行う。
【００３９】
（４）（２）にてイベント点がないと判断された場合、かつ、ユーザが強制検出ボタンを押下していた場合、イベント点位置の記録などの検出時処理を行い、その他の場合は、先読みバッファ中のストリーム区間をストリームを早送り表示する。
【００４０】
その他の制御方法として、たとえば、検出処理中にユーザが詳細検出無視を意味するボタンなどにより、１素データ精度のイベント点の位置検出を行う処理を無視するには、上記（３）を次のよう変更する。もちろん、下記以外の実現方法によっても本例は実現可能である。
【００４１】
(３）（２）にてイベント点が存在すると判断した場合、先読みバッファの先頭の素データ位置をイベント点位置とし、該イベント点の記録などの検出時処理を行い、
その後、先読みバッファ中のストリーム区間をストリームを早送り表示する。
【００４２】
最後に、図２を用いて、本発明のストリームイベント点検出表示装置の概略を述べる。図２は本発明方法を用いたストリームイベント点検出表示装置のシステム構成図である。
【００４３】
本発明のストリームイベント点検出制御・表示装置は、以下の装置を有することを特徴とする。本装置にて、前述のストリームイベント点検出表示方法に従った処理を実行することができる。
【００４４】
本発明のストリームイベント点検出制御・表示装置は、入力ストリームの読込みを行うストリーム入力装置１００１と、読込まれた入力ストリームの先頭部分区間を格納する先読みバッファ１１０２と、ストリームをユーザなどに対して出力するストリーム出力装置１００８と、先読みバッファ１００２の中のストリームを早送り形式で出力する早送り出力制御装置１００３と、該先読みバッファ１００２の中のストリームを１素データずつ出力する詳細出力制御装置１００４と、該先読みバッファ１００２の中のストリーム中でのイベント点の存在有無を判定する早送りイベント点検出装置１００５と、該先読みバッファ１００２の中のストリーム中のイベント点の位置を１素データ精度で判定する詳細イベント点検出装置１００６と、該早送りイベント点検出装置１００５が先読みバッファ１００２の中にイベント点なしと判断した場合は、先読みバッファ１００２の内容を該早送り出力制御装置１００３を用いて早送り出力し、該早送りイベント点検出装置１００５が先読みバッファ１００２の中にイベント点ありと判断した場合は、先読みバッファ１００２中の素データを順次読み出して該詳細出力制御装置１００８にて該素データを表示しながら、かつ、該詳細イベント点検出装置１００６にて該素データの位置でのイベント点有無を判断する検出制御装置１００７を有することを特徴とする。
【００４５】
【発明の実施の形態】
以下、本発明の実施例を図３から図７を用いて説明する。
【００４６】
図３はＭＰＥＧファイルからイベント点の一種であるシーン変化点を検出するシステム構成図である。なお後述において「ＭＰＥＧファイル」とは、国際規格ＩＳＯ１１１７２−１で規定されているＭＰＥＧ１、または、ＭＰＥＧ２もしくはこれと同等のビデオ映像形式で格納した映像データファイルを指す。
【００４７】
本実施例での処理の流れの概要を図３のシステム構成図と図４の実行画面を用いて説明する。
【００４８】
本実施例では、
（１）映像ストリーム入力装置２０１から、現読込み位置（図３の時点ではＦ２１）から次Ｉピクチャ（ＭＰＥＧファイル映像ストリームでのキー素データを意味するフレーム画像。図３の時点では位置Ｆ２３をＩピクチャとする）までのフレーム列２２１を先読みバッファ２０３に読込み、
（２）早送りイベント点検出装置２０７にて先読みバッファ内にシーン変化点の存在有無を判定し、
（３）（２）にてシーン変化点が存在した場合は、先読みバッファ２０３中の全フレームを表示しながら詳細イベント点検出装置２０５を用いてシーン変化イベント点のフレーム位置を検出し、検出したら検出結果を図４の結果表示領域３０２（図３のシステム構成では、映像ストリーム出力装置２１３に該当）に表示し、
（４）（２）にてシーン変化点が存在しなかった場合は、フレーム画像Ｌ２を同領域に表示し、
（５）（１）から（４）までを映像がなくなるまで繰り返している。
【００４９】
図４は映像イベント点の高速検出方法の実行画面の１例を示す。領域３０１は入力映像表示領域であり、入力映像のうち現在どのフレーム画像が実際に検出処理されているかが表示される。ボタン３０４，３０５，３０６は検出制御ボタンであり、検出開始ボタン３０４をマウスなどのユーザ操作入力装置でクリックすると図５の処理フローに示される検出処理が開始される。検出処理実行中に検出終了ボタン３０５をクリックすると検出処理が打ち切られる。強制検出ボタン３０６をクリックすると、現在表示されているフレーム画像とフレーム位置が映像イベント点として強制的に記録される。
【００５０】
領域３０２には、検出された映像イベント点の一覧がビジュアルに表示される。アイコン３１０、３１１、３１２は検出された映像イベント点のフレーム位置と、該フレーム位置でのフレーム画像を表示している。例えばアイコン３１２には、フレーム位置１００の映像イベント点を表しており、該フレーム位置のフレーム画像とフレーム位置を表す数字１００が表示される。
【００５１】
チェックボックス３０７は、詳細検出モードの指定を表し、初期表示時はチェック状態となっている。該チェックボックスをクリックすると、チェック状態と非チェック状態がトグルする。該チェックボックスがチェック時はイベント点の検出位置精度は１フレーム単位となり、非チェック時は該検出位置精度は、２以上の数フレーム単位の粗い検出精度となる。
【００５２】
スライダ３０８は、非検出時は、入力映像データの現在の読込み位置を表示し、また、スライダ３０８のつまみ３０９を動かすことにより、入力データの読込み位置を移動することができる。入力映像表示領域３０１には、入力映像データのうち、スライダ３０８で指定された位置のフレーム画像が表示される。なお、本例では、検出処理時には、スライダ３０８は利用不可となる。
【００５３】
再生ボタン３２１をクリックすると映像が再生される。停止ボタン３２２をクリックすると映像再生が停止する。
【００５４】
図５に図４の検出開始ボタン３０４が押された際の処理フローを示す。
【００５５】
ステップ４０１では、映像先読みバッファの初期化を行なう。実際には映像先読みバッファを空にし、また、フレーム画像を格納する変数LastFrameFFに黒色（ピクセル値が全て０）のフレーム画像を代入する。
【００５６】
ステップ４０２では、早送りイベント点検出の初期化を行なう。例えば内部変数として持つ前フレーム画像を黒色に塗りつぶすなどの処理を行なう。
【００５７】
ステップ４０３およびステップ４１１〜４１７では、映像中から映像イベント点を検出する処理を繰り返すループ処理を行なう。該ループ一回で、先読みバッファに読込まれたフレーム画像列に対して映像イベント点の検出処理を行なう。該ループの終了条件は、映像を全て読み終わった場合、または、該ループ内でユーザが終了ボタンを押した場合である。
【００５８】
ステップ４１１では、入力映像データの先頭数フレームを読みだして先読みバッファに書込む。本実施例では、現在の読込みフレーム位置から次に現れるキーフレームの位置までのフレーム画像列を先読みバッファに読込む。例えばＭＰＥＧファイルの場合のキーフレームとは、１０から３０フレーム毎に映像データ中に存在するＩピクチャを意味する。
【００５９】
なお、先読みバッファを実現する場合、読込み指示のあったフレーム画像列すべての静止画像データを先読みバッファに記録しなくてもよく、読込み指示のあったフレーム画像列の入力データ上での先頭フレーム位置と末尾フレーム位置のみを記録し、映像先読みバッファからフレーム画像を参照する指示があった場合になって初めて、入力映像データから該当するフレーム画像を読み出してもよい。このような先読みバッファの遅延読込み方法を用いると、先読みバッファのメモリ容量と先読みバッファからのフレーム画像取得時間との両方を節約できる。例えば、入力映像データがＭＰＥＧファイルの場合、現在の読込みフレーム位置と次に現れるＩピクチャの位置と該Ｉピクチャを伸長したフレーム画像とを先読みバッファに記録し、実際に先読みバッファからフレーム画像データを取り出す際、取り出し位置が該Ｉピクチャの位置であれば先読みバッファ内のフレーム画像データを直接取り出し、取り出し位置が該Ｉピクチャの位置以外であれば、入力映像データから対応するフレーム画像データを取り出すように実現する。
【００６０】
ステップ４１２において、先読みバッファの最後の位置に記録されているキーフレーム画像を取り出し、aFrameFFに格納する。
【００６１】
ステップ４１３において、早送りイベント点検出処理を行なう。 本実施例では、シーン変化点の有無を検出するために、フレーム画像aFrameFFと、前回早送りイベント点検出関数に渡されたフレーム画像LastFrameFFとの画像差分量を算出し、該画像差分量があるしきい値より大きかったら、シーン変化点ありと判断する。
【００６２】
ステップ４１４の条件分岐では、ステップ４１３においてイベント点ありと判断され、かつ、現検出状態が詳細検出モードの場合、ステップ４２１，４２２により、１フレーム単位のイベント点検出処理を行なう。ここで詳細検出モードとは、図２の詳細検出チェックボックス３０７がチェックされている状態を指す。
【００６３】
ステップ４１４の条件分岐で、ステップ４１３においてイベント点ありと判断されたのだが、現検出状態が詳細検出モードではない場合、ステップ４２３において、イベント点の位置をaFrameFFの位置とし、イベント点の画像をaFrameFFのフレーム画像とし、検出時処理を行う。該検出時処理の詳細については、ステップ４４３の説明にて詳細な説明を行う。
【００６４】
ステップ４１４の条件分岐が前記２条件にどちらもあてはまらないときは、ステップ４１５にて、早送り時のフレーム画像aFrameFFを表示する。
【００６５】
４２１では詳細イベント点検出の初期化処理を行なう。ここでは、フレーム画像を格納する変数LastFrameに黒色（ピクセル値が全て０）のフレーム画像を代入する。
【００６６】
本実現例以外にも、例えば、詳細イベント点検出処理に、従来の技術の特開平８−２２７４６２号公報に示された動画像の変化点検出方法を直接適用する場合、該検出方法では与えられたフレーム列の先頭２フレームについてシーン変化点を検出することができないため、ステップ４２１では、前回読込んだフレーム画像LastFrameFFを２回繰り返し該方法に入力させればよい。
【００６７】
ステップ４２２、４３１〜４３５では、先読みバッファ内のフレーム画像列に対して下記に示す詳細イベント点検出処理を行なう。
【００６８】
ステップ４３１では、先読みバッファの中のｉ番目のフレーム位置のフレーム画像をaFrameに取得する。
【００６９】
ステップ４３２では、フレーム画像aFrameを図２の入力映像表示領域３０１に表示する。
【００７０】
ステップ４３３により、詳細イベント点検出の１フレーム分処理を行なう。本実施例では、シーン変化点の有無を検出するために、フレーム画像aFrameと、前フレーム画像LastFrameとの画像差分量を算出し、該画像差分量があるしきい値より大きかったら、シーン変化点ありと判断する。本実現例以外にも、例えば、詳細イベント点検出処理に、従来の技術の特開平８−２２７４６２号公報に示された動画像の変化点検出方法を直接適用してもよい。
【００７１】
ステップ４３４の条件分岐では、ステップ４３３にてイベント点が存在すると判断された場合、フレーム画像aFrameの位置でイベント点検出と判断し、ステップ４４３にて、先読みバッファの先頭に格納されているフレーム画像に対応する入力映像データでのフレーム位置と、ループカウンタｉとを加えた数をイベント点の検出位置とし、またaFrameをイベント点フレーム画像とし、検出時処理を行なう。
【００７２】
該検出時処理では、図２の領域３０２に表示されているアイコンリストの終わりの位置に、イベント点フレーム画像とイベント点検出位置とをアイコン形式でアイコン３１２のように追加表示する。
【００７３】
ステップ４３５では、ユーザ操作イベント入力装置により取得したユーザ操作イベントに基づき条件判定を行ない、ユーザ操作イベントが図２の強制検出ボタン３０６押下の場合は、ステップ４４１にて、イベント点位置をフレーム画像aFrameの位置とし、また、イベント点フレーム画像をaFrameとし、ステップ４４３と同様の検出時処理を行ない、検出終了ボタン３０５押下の場合は、ステップ４４２にて再内側ループを脱出して処理をステップ４１６に移し、その他の場合は何もしない。
【００７４】
ステップ４１６では、ユーザ操作イベント入力装置により取得したユーザ操作イベントに基づき条件判定を行ない、ユーザ操作イベントが図２の強制検出ボタン３０６押下の場合は、ステップ４２３にて、イベント点の位置をaFrameFFのフレーム位置とし、イベント点フレーム画像をaFrameFFとし、ステップ４４３と同等の検出時処理を行ない、検出終了ボタン３０５押下の場合は、ステップ４２４にて現ループを脱出して検出処理全体を終了し、その他の場合は何もしない。
【００７５】
ステップ４１７では、現早送りフレーム画像aFrameFFを前早送りフレーム画像LastFrameFFに代入する。
【００７６】
図６は、検出位置スライダによる視覚的な検出状況の表示方法の１例を表す。
【００７７】
本例では、現在検出処理が早送り検出中なのかまたは詳細検出中なのかを、スライダのつまみのアイコン表示を変更することにより、視覚的に示している。
【００７８】
検出処理が早送り検出中の場合、図６（Ａ）の表示となり、スライダのつまみ６０３の表示は、三角形２つからなる早送り中アイコンとなる。なおこの場合、入力画像は６０１のように早送り映像が表示される。逆に検出処理が詳細検出中の場合、図６（Ｂ）の表示となり、スライダのつまみ６１３の表示は、三角形１つからなる通常速度再生アイコンとなる。なおこの場合、入力画像は６０１のように通常速度映像が表示される。
【００７９】
図６の検出状況表示例では、さらに、現在の検出処理位置をスライダのつまみ（早送り中は６０３、それ以外は６１３）の位置で視覚的に表している。この場合、スライダのつまみが左端のときは映像の先頭を、同じく右端のときは映像の末尾を、その間についてはつまみの位置の割合に応じた映像位置について検出処理をしていることを表す。
【００８０】
図６の検出状況表示方法を実現するためには、ステップ４１５とステップ４３２を以下のように修正すればよい。
【００８１】
「図６の例のために修正したステップ４１５」では、aFrameFFのフレームを表示し、その後、図４のスライダのつまみ３０９のアイコンを図６（Ａ）のつまみ６０３に変更し、その後、図４のスライダのつまみ３０９を、左端から、（現在のフレーム画像aFrameFFの位置÷入力映像全体の長さ）×スライダの全体の長さ、の位置に配置する。
【００８２】
「図６の例のために修正したステップ４３２」では、aFrameのフレームを表示し、その後、図４のスライダのつまみ３０９のアイコンを図６（Ｂ）のつまみ６１３に変更し、その後、図４のスライダのつまみ３０９を、左端から、（現在のフレーム画像aFrameの位置÷入力映像全体の長さ）×スライダの全体の長さ、の位置に配置する。
【００８３】
図７は、検出位置があいまいなイベント点の視覚的な表示例を表す。図７は、図４の実行画面の左側部分のみを説明用に抜き出したものである。検出位置があいまいなイベント点とは、図４の詳細検出モードチェックボックス３０７が、不活性の際に検出されたイベント点であり、このイベント点は１フレーム単位の位置精度を持っておらず、いわば不完全なイベント点である。図７の例では、検出位置があいまいなイベント点を検出した場合のアイコン表示を、視覚的に検出位置があいまいでないイベント点のアイコン表示と、視覚的に区別できるようにしている。
【００８４】
図７の７００は、図４の領域３０２と同一の表示領域である。表記７０１では、検出位置があいまいなイベント点のアイコンには、点線の透明な四角をアイコンの前後に多重表示し、かつ、フレーム位置の表示に「±？」という文字を追加表示することにより、正確なイベント点のアイコン７０３と、視覚的に区別できるようにしている。これにより、ユーザは、どのイベント点は１フレーム精度のイベント点なのか否かを人目で把握できる。
【００８５】
図７の、検出位置があいまいなイベント点の視覚的な表示例を実現するためには、ステップ４４３の説明にて述べた検出時処理を以下のように修正すればよい。
【００８６】
「図７の例のために修正した検出時処理」では、
該特別検出時処理では、図２の領域３０２に表示されているアイコンリストの終わりの位置に、イベント点のフレーム画像と、イベント点のフレーム位置を表すフレーム番号の文字列とをアイコン形式でアイコン３１２のように追加表示し、その後、ステップ４１４にて説明した詳細検出モードが不成立の場合、図７の７０１のような透明な点線の四角を、先ほど描画したアイコン画像の前後に多重表示し、また、フレーム位置番号の表記のすぐ右となりに「±？」を追加表示する。
【００８７】
【発明の効果】
本発明では、以下のような効果を得ることができる。
第１に、早送り検出時のストリーム出力と詳細検出時のストリーム出力とを、イベント点の検出状況、すなわちストリーム内容により、随時切り替えるようにしているため、ストリームの再生順序を乱さないような出力を行っているために、入力ストリームのどの部分について現在検出処理を行なっているのかが容易に確認できる。
【００８８】
第２に、ユーザが検出処理を打ち切った場合でも、本発明方法では、毎回のイベント点検出処理において、１素データ精度のイベント点位置を検出しているため、いつ検出処理を打ち切られても１素データ精度のイベント点位置を残すことができる。
【００８９】
第３に、先読みバッファに詳細検出処理に必要な素データ列を常時格納するようにしているため、ＴＶ放送として受信されたストリーム形式の映像データといった出力後すぐにデータが消えてしまうような入力ストリームに対しても、イベント点を検出できる。
【００９０】
第４に、先読みバッファとイベント点検出方法とを、映像や音声ストリームにも変更できるようにし、また、イベント点検出方法も検出するイベント点により変更できるようにしたことで、映像のディゾルブ点や、音声の話者変化点などの種類についても、少ない演算量で効率よくイベント点を検出できるようになった。
【００９１】
第５に、入力ストリームのどの部分について現在検出処理を行なっているのかが容易に確認できるようにしたために、ユーザが制御しやすいイベント点検出方法を追加することができた。
【図面の簡単な説明】
【図１】本発明方法の概略を表したフロー図である。
【図２】本発明方法を用いたストリームイベント点検出表示装置のシステム構成図である。
【図３】ＭＰＥＧファイルからイベント点の一種であるシーン変化点を検出するシステム構成図である。
【図４】図３の実現例での実行画面を説明する図である。
【図５】図３の実現例での処理フロー図である。
【図６】検出位置スライダによる視覚的な検出状況の表示方法の１例を示す図である。
【図７】検出位置があいまいなイベント点の視覚的な表示例を示す図である。
【符号の説明】
１００１ ストリーム入力装置
１００２ 先読みバッファ
１００３ 早送り出力制御装置
１００４ 詳細出力制御装置
１００５ 早送りイベント点検出装置
１００６ 詳細イベント点検出装置
１００７ 検出制御装置
１００８ ストリーム出力装置
Claims (8)
- 素データ列によって構成される、映像や音声などのストリームデータから、映像のシーン変化点や音声の話者変化点などのイベント点を検出し出力するストリームイベント点検出表示方法において、
（１）前記ストリームデータの一部である所定区間を構成する素データ列を先読みバッファに入力し、
（２）前記先読みバッファに入力された素データ列にイベント点が存在するか否かを検出し、
（３）（２）にてイベント点が存在すると判断した場合は、前記先読みバッファに入力された素データ列に含まれる素データを順次読み出し出力装置に出力しながら、該出力装置に出力される素データの位置でのイベント点の有無を判断し、イベント点として判定された場合に検出時処理を行い、
（４）（２）にてイベント点が存在しないと判断した場合は、前記先読みバッファに入力された素データ列を出力装置に早送り出力し、
（５）これら（１）から（４）までを前記ストリームデータの先頭区間から順次繰り返すことにより、ストリームデータのイベント点検出処理を早送りにて出力したり通常速度にて出力したりすることをストリーム内容に応じて適宜切り替えながら行うことを特徴とする、ストリームイベント点検出表示方法。 - 請求項１に示したストリームイベント点検出表示方法において、前記ストリームデータは素データがフレーム画像として構成される映像ストリームデータであり、先読みバッファに入力される素データ列は数フレームからなるフレーム画像からなり、フレーム画像の画像差分などの特徴量を元に映像イベント点を判定することにより、請求項１の（２）ではイベント点の有無を、同じく（３）ではイベント点の存在するフレーム位置を検出でき、請求項１の（３）と（４）とで用いる素データの出力方法として、フレーム画像またはフレーム画像列をディスプレイ装置などの表示手段に表示することを特徴とした、ストリームイベント点検出表示方法。
- 請求項１に示したストリームイベント点検出表示方法において、前記ストリームデータは素データが音声波形のデータからなる音声ストリームデータであり、先読みバッファに入力される素データ列は素データが複数個分連結された形式の音声波形データからなり、音声波形の振幅や周波数スペクトルなどの波形特徴量を用いることにより請求項１の（２）ではイベント点の有無を、同じく（３）ではイベント点の存在する音声の時間位置を検出でき、請求項１の（３）と（４）とで用いる素データの出力方法として、音声波形データをスピーカ装置などの音声出力手段により出力することを特徴とした、ストリームイベント点検出表示方法。
- 請求項１に示したストリームイベント点検出表示方法において、請求項１の（２）でのイベント点検出方法では、先読みバッファ中の１つの素データと前回先読みバッファに読込んだ際のデータの中の１つの素データとのデータ特徴量を求めることにより、該先読みバッファ中のストリームに対してイベント点の有無を検出できる、ストリームイベント点検出表示方法。
- 請求項１に示したストリームイベント点検出表示方法において、検出された１つのイベント点を、視覚的なアイコンとイベント点検出位置とによりディスプレイなどの表示装置に表示可能な、ストリームイベント点検出表示方法。
- 請求項１に示したストリームイベント点検出表示方法において、現在検出処理中のストリーム位置を随時ディスプレイなどの表示装置などに表示することが可能な、ストリームイベント点検出表示方法。
- 請求項１に示したストリームイベント点検出表示方法において、現在の検出処理状況が、請求項１の（３）に示したような１素データごとの検出処理中なのか、同じく（２）または（４）に示したような早送りでの検出処理中なのかを、随時アイコンなどで表示することにより、検出状態を視覚的に区別できる、ストリームイベント点検出表示方法。
- 入力ストリームの読込みを行うストリーム入力装置と、読込まれた入力ストリームの先頭部分区間を格納する先読みバッファと、ストリームをユーザなどに対して出力するストリーム出力装置と、先読みバッファ内のストリームを早送り形式で出力する早送り出力制御装置と、該先読みバッファ内のストリームを１素データずつ出力する詳細出力制御装置と、該先読みバッファ内のストリーム中でのイベント点の存在有無を判定する早送りイベント点検出装置と、該先読みバッファ内のストリーム中のイベント点の位置を１素データ精度で判定する詳細イベント点検出装置と、該早送りイベント点検出装置が先読みバッファ内にイベント点なしと判断した場合は、前記先読みバッファの内容を該早送り出力制御装置にて早送り出力し、該早送りイベント点検出装置が前記先読みバッファ内にイベント点ありと判断した場合は、前記先読みバッファに含まれる素データを順次読み出し該詳細出力制御装置にて該素データを表示するとともに、該詳細イベント点検出装置にて該素データの位置でのイベント点有無を判断する検出制御装置とを有することを特徴とするストリームイベント点検出表示装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26560997A JP3909130B2 (ja) | 1997-09-30 | 1997-09-30 | ストリームイベント点検出表示方法および装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26560997A JP3909130B2 (ja) | 1997-09-30 | 1997-09-30 | ストリームイベント点検出表示方法および装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11112922A JPH11112922A (ja) | 1999-04-23 |
| JP3909130B2 true JP3909130B2 (ja) | 2007-04-25 |
Family
ID=17419520
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP26560997A Expired - Fee Related JP3909130B2 (ja) | 1997-09-30 | 1997-09-30 | ストリームイベント点検出表示方法および装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3909130B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006092996A1 (ja) * | 2005-03-02 | 2006-09-08 | Matsushita Electric Industrial Co., Ltd. | 記録媒体、再生装置および再生方法 |
| US8707176B2 (en) | 2007-04-25 | 2014-04-22 | Canon Kabushiki Kaisha | Display control apparatus and display control method |
| JP2011101348A (ja) * | 2009-10-07 | 2011-05-19 | Sharp Corp | チャプタ設定装置、コンテンツ記録再生装置、チャプタ設定方法、プログラムおよび記録媒体 |
| BR112012023885B1 (pt) * | 2010-03-17 | 2021-08-03 | Interdigital Ce Patent Holdings | Método para determinar uma posição de reprodução em conteúdo de vídeo e dispositivo para reproduzir conteúdo de vídeo |
| JP2013532405A (ja) * | 2010-05-07 | 2013-08-15 | トムソン ライセンシング | デジタル・コンテンツにおける最適な再生位置決めのための方法および装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2980387B2 (ja) * | 1991-01-21 | 1999-11-22 | 日本電信電話株式会社 | 映像内容圧縮表示処理方法 |
| JPH06181560A (ja) * | 1992-12-11 | 1994-06-28 | Canon Inc | 記録再生装置 |
| JP2978039B2 (ja) * | 1993-08-10 | 1999-11-15 | ケイディディ株式会社 | 動画像のカット画面検出方法 |
-
1997
- 1997-09-30 JP JP26560997A patent/JP3909130B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11112922A (ja) | 1999-04-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3454396B2 (ja) | 動画像の変化点検出制御方法とそれに基づく再生停止制御方法およびそれらを用いた動画像の編集システム | |
| JP2977829B2 (ja) | 動画像再生装置および動画像再生方法 | |
| US6347114B1 (en) | Video signal analysis and storage | |
| JP4165851B2 (ja) | 記録装置及び記録制御方法 | |
| JP2003052011A (ja) | ビデオプロジェクトを編集するためのビデオ編集方法および装置 | |
| US7478327B1 (en) | Unified capture and process interface | |
| KR20010091121A (ko) | 멀티미디어 스트림의 비선형적 재생 제어 방법과 이를위한 브라우징 인터페이스, 제어 시스템, 입력장치인터페이스 | |
| US20030190142A1 (en) | Contents recording/playback apparatus and contents edit method | |
| JP4292627B2 (ja) | 動画像記録再生装置および方法、並びに記録媒体 | |
| JP4109065B2 (ja) | 記録再生装置、記録装置、それらの制御方法、制御プログラム及び記録媒体 | |
| JP3909130B2 (ja) | ストリームイベント点検出表示方法および装置 | |
| WO1996005696A1 (fr) | Dispositif d'enregistrement de signaux video et dispositif de montage pour signaux video | |
| JP2000099044A (ja) | カラオケ装置 | |
| EP1850344A1 (en) | Image display device and method for editing a program | |
| JPH0745050A (ja) | 自動分類記録装置 | |
| JPH11273227A (ja) | 続き再生時のダイジェスト再生機能付きｄｖｄビデオ再生システム | |
| JP3780910B2 (ja) | 光ディスク録画装置 | |
| JP2009239322A (ja) | 映像再生装置、映像再生方法および映像再生プログラム | |
| KR100357242B1 (ko) | 디지탈데이터 맵핑방법 및 이것을 이용한 반복재생방법 | |
| JP4230402B2 (ja) | サムネイル画像抽出方法、装置、プログラム | |
| JPH1051734A (ja) | 動画像編集装置および動画像編集方法 | |
| JP4290238B2 (ja) | 映像合成装置及び方法 | |
| JP2004095120A (ja) | ダビングシステム | |
| JPH0993526A (ja) | 映像編集装置 | |
| JP2000333117A (ja) | 動画像記録再生装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040928 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041122 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20041126 |
|
| A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20050701 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060427 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070122 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100126 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110126 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110126 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120126 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130126 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |