JP3925466B2 - ストリームデータ編集方法及びその装置 - Google Patents
ストリームデータ編集方法及びその装置 Download PDFInfo
- Publication number
- JP3925466B2 JP3925466B2 JP2003164517A JP2003164517A JP3925466B2 JP 3925466 B2 JP3925466 B2 JP 3925466B2 JP 2003164517 A JP2003164517 A JP 2003164517A JP 2003164517 A JP2003164517 A JP 2003164517A JP 3925466 B2 JP3925466 B2 JP 3925466B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- change point
- data
- stream data
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Management Or Editing Of Information On Record Carriers (AREA)
- Television Signal Processing For Recording (AREA)
- Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、マルチストリームデータに含まれる符号化音声データを基にマルチストリームデータ内のシーンチェンジポイントの検出方法と、シーンチェンジポイントを基にマルチストリームデータ編集を行う処理装置に関する。
【０００２】
【従来の技術】
符号化された音声や動画像データを含むデータ(以下、マルチストリームデータ)からシーン切り替わり時の情報を見つけ出し、再生、早送り、編集作業を行う場合、ユーザが必要な情報を見つけ出すのは大変手間がかかる。また従来の動画像と音声録画を行う映像再生装置で保存した動画像の編集機能としては音声のステレオ、モノラルを判別して早送り再生やスキップ再生を行っている。また、マルチストリームデータ内の符号化動画像データからシーンの変わり目である変化点検出を行い、シーン単位でデータを分割しユーザにカットの一覧を表示する手法がある。また、楽曲の再生では楽曲間の無音時間を利用して楽曲間のスキップや頭だしを実現している（例えば、特許文献１参照）。
【０００３】
【特許文献１】
特開２００３−１２４８０３号公報
【０００４】
【発明が解決しようとする課題】
しかし、上記の方法だけではユーザが簡単にマルチストリームデータ内の自分が視聴したい情報だけを録画したり編集を行うことは困難である。音声のステレオ、モノラルの判定を行い早送りを行う場合、変化点を境にステレオ、モノラルの変化がなければ検出できず、例えばドラマからCMに切り替わり時にステレオ放送が維持された場合には変化点検出を行うことができない。また、デジタル放送においてはデータが符号化されているために、復号しなければ変化点検出を行うことができず処理負荷が高い。また、動画像データから変化点検出を行う方法では、マルチストリームデータに動画像データが含まれていないと適用できない。また、楽曲編集で使用されている無音区間を検出し早送りする方法においては、定まった無音区間が挿入される場合には有効であるが楽曲間のスキップしか行えず楽曲内の変化点検出を行うことはできない。さらに、人の会話のように破裂音で構成され、無音区間が無数に入る音声データに対しては有効に機能しない。
【０００５】
本発明は、上記課題を解決すべく、符号化音声データを含むマルチストリームデータから音声データの変化点を基に動画像や音声のシーン切り替わりを検出する方法及び装置を提供する。
【０００６】
【課題を解決するための手段】
(1)本発明によるマルチストリームデータ編集方法は、符号化音声データを含むマルチストリームデータから、ユーザによりマルチストリームデータの検索範囲や検索対象となる条件指定の有無を判定し、検索範囲の指定がある場合には指定された範囲に含まれる符号化音声データを基に変化点検出を行い、検索対象となるデータ条件の指定がある場合には前記条件を含んだ変化点検出を行うことを特徴とする。(2)また上記(1)に記載のマルチストリームデータ編集方法において、前記マルチストリームデータから変化点検出を行う際、マルチストリームデータを記録媒体に保存しながら、または記録媒体に保存されたデータを高速再生しながら上記(1)に記載された検索範囲と検索条件を考慮して変化点検索を行うことを特徴とする。(3)また、上記(2)に記載のマルチストリームデータ編集方法における変化点検出方法において、符号化された音声データの復号最小単位であるフレームを一定間隔毎に取り込み、FFT(Fast Fourie Transform)やMDCT(Modified Discrete Cosine Transform)等の変換を施した周波数領域サンプルデータを取得することを特徴とする。(4)さらに上記(3)に記載の変化点検出方法において、取得した周波数領域サンプルデータとフレーム内に明記されている符号化方法に関する情報から、動画像や音声の切り替わる変化点を見つけだし、動画像や音声データのシーン切り替わりとなる変化点フレームや、変化点フレームと時間的に関連する画像、動画像、音声情報をユーザに提示し、前記提示した情報を基にユーザが再生や編集ができることを特徴とする。(5)さらに上記(4)に記載の変化点検出方法において、変化点を含むフレームと、前記変化点を含むフレームまで連続しているフレームと、前記変化点を含むフレームから連続しているフレームを3つ以上取得し、分析することでマルチストリームデータ復号時に音声が切り替わるポイントや動画像が切り替わるポイントとなる変化点フレームを検出し、動画像や音声の変化点を取得することを特徴とする。(6)さらに上記(4)に記載の変化点検出方法において、1フレーム以上の符号化音声データから音声の変化点を含む変化点フレームを検出する際、上記(4)記載のフレーム内に明記されている情報から、PCMサンプル符号化時に各フレーム間の接続点を滑らかにする窓関数処理で使用される窓関数の形状が他のフレームと異なるフレームや、前フレームとの残差成分を符号化する予測符号化が使用されていないフレーム、または窓関数の形状が他のフレームと異なり予測符号化が使用されていないフレームを変化点フレームの候補として検出することを特徴とする。(7)さらに上記(6)に記載の変化点フレーム候補と、前記変化点フレーム候補の前後のフレームの周波数サンプルデータから特徴点を算出し、算出結果が閾値以上ならば変化点フレームの候補としたフレームを変化点フレームとしてマークすることを特徴とする。変化点フレームとしては例えば異なるドラマからCMなどに切り替わるなど異なる音声フレームが接続されているフレーム、ドラマや映画において別のシーンに切り替わったために背景ノイズが変化した箇所、人の喋り声が続いた後に音楽が流れるなど一定無音区間の後に連続した音声フレームが続く箇所、音楽が流れた後に人の喋り声に変わる箇所などを変化点ポイント候補として検出し、変化点ポイントであるかどうか特徴点を算出後、変化点ポイントであれば変化点フレームとしてマークする。(8)さらに上記(６)(７)に記載されている変化点フレームの検索方法は、上記(7)の処理を先に行い変化点フレームの候補を検索し、その後上記(6)の処理を行うことで変化点フレームを見つけだしマークしてもよい。(9)さらに上記(7)記載の変化点フレーム候補と前後のフレームの周波数サンプルデータの特徴点を算出し、算出結果と比較する閾値はユーザが設定したり、自動的に閾値を算出することを特徴とする。
(10)さらに、上記(7)(8)に記載のマークした変化点フレームに関し、少なくともマルチストリームデータ内において何番目の符号化音声フレームであるかを示すフレームナンバー情報、時間情報、前後する変化点フレームへのリンク情報、マルチストリームデータが動画像を含む場合には同時刻に再生される映像やその他データへのリンク情報、様々なデータを格納できる拡張情報などを含む変化点フレーム情報を変化点フレームごとに生成することを特徴とする。(11)さらに、上記(10)記載の変化点フレーム情報からマルチストリームデータ内の情報をユーザに提示する際、変化点フレーム情報に明記されている情報を基にユーザに情報提示することを特徴とする。(12)さらに、上記(10)記載の変化点フレーム情報に含まれるデータは、ユーザが任意に書き換えたり追加できることを特徴とする。(13)さらに上記(10)記載の変化点フレーム情報は、マルチストリームデータと異なるストリームデータにしたり、マルチストリームデータ内に挿入したり、各変化点フレームのヘッダ情報に埋め込んだりしてもよいことを特徴とする。(14)さらに本発明に係わるマルチストリームデータ編集装置は、少なくともマルチストリームデータを送受信するデータ入出力部と、入力されたデータの変化点フレームを検索する変化点検出部と、マルチストリームデータを復号したデータや変化点フレーム情報を基に抜粋されたマルチストリームデータ内の情報をユーザに提示するデータ出力部と、マルチストリームデータや変化点ポイント情報を保存するためのデータ保存部と、データ入力部やデータ保存部から読み込んだマルチストリームデータを復号するためのデータ復号部と、ユーザからの入力命令を受信する入力装置部と、入力された命令に従って動作するように各部を制御する中央演算処理装置部で構成されていることを特徴とする。(15)また、上記(14)に記載のマルチストリームデータ編集装置において、ユーザや中央演算処理装置部から変化点フレーム情報を基にした一覧表示命令が入力された場合には、変化点ポイント情報内の各変化点ポイント情報に明記されているフレームナンバー情報と時間情報と関連キーフレームへのリンク情報を基にマルチストリームデータ内の変化点フレームを検索し、各変化点フレームに関連する符号化データ、例えばマルチストリームデータ内に符号化動画像データがある場合には変化点フレームと同一時間に再生される動画像の一覧表示を行ったり、一覧表示された情報をユーザが選択することにより、マルチストリームデータ内の選択された変化点フレームと関連する情報の再生や、変化点フレームと関連する情報をデータ入出力部を介して送受信することができることを特徴とする。(16)さらに、上記(14)に記載のマルチストリームデータ編集装置において、変化点フレームを別の変化点フレームなどに入れ替える、例えば現在ドラマの途中でCMが挿入されている場合に、CM部分を別のCMに置き換えるなどの編集作業を変化点フレーム情報を基に行うことができることを特徴とする。(17)さらに上記(14)に記載のマルチストリームデータ編集装置において、マルチストリームデータ再生中にユーザからスキップ命令が入力されると、現在の再生ポイントの時間情報から最も近い時間情報を有する変化点フレーム情報を再生ポイントとし、前記変化点フレーム情報に含まれる変化点フレームの再生時間から、マルチストリームデータの再生を開始できることを特徴とする。(18)さらに上記(17)に記載のマルチストリームデータ編集装置におけるスキップ命令に関し、再生ポイントのスキップ方向は任意に変更することができてもよく、早送り命令が入力された場合には現在の再生ポイントから再生時間を比較した場合に時間的に前であり、且つ最も近い変化点フレーム情報を検索し、前記変化点フレームに含まれる再生時間からマルチストリームデータの再生開始ができることを特徴とする。(19)さらに上記(14)記載のマルチストリームデータ編集装置おいて、上記(5)記載の変化点フレーム検出方法だけで上記(10)記載の変化点フレーム情報を生成するのではなく、マルチストリームデータに含まれる異なるストリームデータ、例えば符号化動画像データから変化点を検出できる方法を適用させ、前記符号化動画像データからの変化点検出結果と合わせて変化点フレームを検出し、変化点フレーム情報を生成することもできることを特徴とする。(20)さらに上記(14)記載のマルチストリームデータ編集装置において、上記(10)記載の変化点フレーム情報を基にマルチストリームデータに含まれるデータをユーザに提示する際、データ出力部に接続されているデバイスに合わせて提示方法を自動的にもしくはユーザが任意に変更できることを特徴とする。
【０００７】
【発明の実施の形態】
[第１の実施形態]
以下、本発明におけるマルチストリームデータ編集システムの構成と、マルチストリームデータ内の符号化音声データから変化点ポイントを含む変化点フレームを検出し、変化点フレーム情報を生成する編集方法と検出した変化点フレームを基にした編集装置について図面を参照して説明する。
【０００８】
本発明におけるマルチストリームデータ編集装置は符号化音声データ、またはマルチストリームデータに含まれる符号化音声データを分析して変化点ポイントを検出することで音声や動画像の変化点フレームを検出する。そして検出した変化点フレームに関する変化点フレーム情報を基に変化点候補をユーザに提示することができる。
【０００９】
通常シーンの変化がない場合やオーディオが連続して出力されている場合に符号化音声データを復号すると図2に示すステレオPCMサンプルデータのように連続した音声波形となっており、歪みなどは発生していない。しかし、音声が著しく変化する場合、例えばラジオ番組において楽曲やドラマが放送されていて突然CMが挿入された場合などには図3の波形25のように著しく接合点の波形が変化する。これは音声上関連性のないフレームが途中に挿入されたことが原因である。また、この変化を周波数領域のデータに変換したものが図4、図5である。
【００１０】
図4のフレーム(1)、フレーム(2)、フレーム(3)は連続した楽曲のフレームを周波数領域のサンプルデータに変換したものである。フレーム(1)からフレーム(3)までの各周波数帯のパワースペクトラムは類似している。図5は関連性の低いフレーム(6)が続いている変化点フレームを周波数領域のデータに変換したものである。フレーム(4)とフレーム(5)の各周波数帯のパワースペクトラムは類似しているが、フレーム(6)は関連性の低いフレームに切り替わっているために各周波数帯のパワースペクトラムが類似していない。このようなシーンが切り替わり時に発生する変化点を含む変化点フレームを見つけ出し、変化点フレーム情報を生成し、変化点フレームと関連付したデータとして保存しておく。これによりユーザが保存したマルチストリームデータを読み出す時には変化点フレーム情報を基に音声や動画像を切り出し、ユーザに提示することができる。また、ユーザは提示された情報を選択することで選択点からの再生や編集を素早く行うことが可能である。
【００１１】
図6は符号化オーディオ編集システムを用いた全体構成例である。マルチストリームデータ編集装置30は本発明の符号化オーディオ編集方法を用いた編集装置であり、ネットワーク35やアンテナ32を介してマルチストリームデータを送受信し、マルチストリームデータに含まれる符号化音声データの変化点フレームの検索と変化点フレーム情報の生成、受信したマルチストリームデータの蓄積やスピーカ33やモニター31へ音声や動画像出力を行う。また、マルチストリームデータ編集装置30はネットワークを介して接続している編集/配信装置34にマルチストリームデータ編集装置30が蓄積したデータを送信したり、編集/配信装置34が配信したマルチストリームデータを受信し、蓄積したりスピーカー33やモニター31から出力することができる。
【００１２】
また、マルチストリームデータ編集装置30はマルチストリームデータを送受信するためにネットワーク35と接続しているか、もしくはアンテナ32と接続しているか、またはネットワーク35とアンテナ32両方と接続していてもよい。
【００１３】
図7は本発明のマルチストリームデータ編集システム30の内部構成である。データ入出力部40はマルチストリームデータ編集装置が衛星放送や地上波放送やネットワークを介して受信したマルチストリームデータ等が入力されたり、データ保存部41やメモリ45のデータを出力するためのものである。データ保存部41はデータ入出力部40から入力されたデータや変化点検出部44で生成されたデータを保存したり、保存したデータを送信するためのものであり、ハードディスクやDVDなどの光ディスクに受信したデータを保存、または保存したデータを読み出すためのものである。データ復号部42はデータ入出力部40やデータ保存部41から読み出したマルチストリームデータを復号し、データ出力部43やデータ入出力部40に出力するためのものである。データ出力部43は受信した音声データ、または音声と動画像データ等を出力するためのものであり、音声を出力するスピーカや動画像を出力するためのディスプレイが接続する。変化点検出部44はデータ入出力部40、またはデータ保存部41から読み込んだマルチストリームデータ内の符号化音声データの解析を行い変化点フレームを検出し、メモリ45またはデータ保存部11に書き出す。尚、変化点検出部は、周波数領域のパワースペクトラムのひずみを検出すること等により変化点を検出している。メモリ45は変化点検出部44で検出された変化点フレームに関するデータを保持したり、データ復号部42がデータ入出力部40、またはデータ保存部41から受信したマルチストリームデータのデコード時に必要なデータや、中央演算処理装置46が入力または出力したデータを保持するためのものである。中央演算処理装置46はメモリ45に保持したデータの演算処理などを行うものである。入力装置47はユーザからの操作を受け付けるものであり、ボタンやキーボード、マウスなどからの入力信号や、赤外線や無線を介した信号を受信するためのものである。
【００１４】
本実施形態では音声の符号化方式にAAC符号化方式を用いて符号化された音声データと符号化動画像データを含むマルチストリームデータを受信した場合のマルチストリームデータ編集方法とその装置の動作について説明する。
【００１５】
マルチストリームデータ編集装置30がアンテナ32を介してマルチストリームデータを受信するか、またはネットワーク35を介して編集/配信装置34が配信したマルチストリームデータを受信した場合には、マルチストリームデータ編集装置30はデータ入出力部40からマルチストリームデータを受信する。受信したマルチストリームデータはデータ保存部41と変化点検出部44が読み込み、データ保存部41が読み込んだデータはハードディスクやDVDなどの光ディスクに保存する。
【００１６】
変化点検出部44は受信したマルチストリームデータから符号化音声データを抜き出し、変化点ポイントを含む変化点フレーム検出に使用する。また、変化点検出部44はデータ保存部41から読み込んだマルチストリームデータに含まれる符号化音声データから変化点ポイントを含む変化点フレームの検出を行うこともできる。
【００１７】
図1は変化点検出部44の処理の流れである。AAC符号化方式ではサンプリングされたPCMサンプルは一定数ごとに符号化し、1フレームを形成する。モノラル音声であれば1024PCMサンプルで1フレームを、ステレオであれば2048PCMサンプルで1フレームを構成している。変化点検出部44は受信したマルチストリームデータ内の符号化音声データを抜き出し(ステップ10)、受信フレーム数をカウントし、任意の数であるNフレーム以上受信するとフレーム内の変化点ポイント検出処理を開始する(ステップ11)。変化点ポイントの検出を行うためには周波数領域サンプルデータが必要なため、MDCT変換された周波数領域サンプルデータが取得できるまでの復号を行い、Nフレーム分の周波数領域サンプルデータを算出する(ステップ12)。また、Nフレーム分の周波数領域サンプルデータ算出は変化点検出部44内で復号処理を行ってもよいし、データ復号部42でNフレーム分の周波数領域サンプルデータまで復号後に変化点検出部44に周波数領域サンプルデータと符号化時に使用された窓関数の形状や予測符号化が行われているかどうか明記されている復号化情報を送信してもよい。変化点検出部44でNフレームの周波数領域サンプルデータを算出する場合には復号化情報をフレームデータから生成する。
【００１８】
各フレームデータから窓関数の形状や予測符号化が行われているかなど復号化情報取得後、変化点フレームの候補となるフレームを検索する。例えば、AAC音声符号化では符号化時に使用される窓の形状として図8に示すロングブロック、ショートブロック、ロングブロックからショートブロックに変化する時に使用されるロングスタートウィンドウ、ショートブロックからロングブロックに変化する時に使用されるロングストップウィンドウがある。ショートウィンドウはアタック音など急激な音の変化が発生するフレームに使用されるので、ショートブロックが使用されているなど窓関数の形状が前後フレームと異なるフレームを変化点フレーム候補としてもよい。
【００１９】
また、予測符号化が各フレームで使用されているが、使用されていないフレームが存在する場合には、前のフレームとの関連性のないフレームのため予測符号化が使用されていない可能性が高いので、予測符号化が使用されていないフレームを変化点フレーム候補としてもよい。
【００２０】
さらに、窓関数の形状が前後のフレームと比較して異なっており、予測符号化が使用されていないフレームを変化点候補フレームとしてもよい。
【００２１】
このようにフレームの連続性を応用した符号化方法が使用されていなかったり、窓の形状が変化するフレームを変化点フレーム候補として検索する(ステップ13)。
【００２２】
変化点候補フレームが見つからなかった場合には、前回検索し、データ保存領域であるメモリ45に保持されているNフレーム分の周波数領域サンプルデータを破棄し、検索したNフレーム分の周波数領域サンプルデータをメモリ45に保持する(ステップ14)
変化点フレーム候補が見つかった場合には変化点検索部44のメモリ45に保持されている前Nフレームと、取得した変化点候補フレームを含む現Nフレームの周波数領域サンプルデータを連続音声判定処理で分析する(ステップ15)。
連続音声判定処理では前Nフレームと現Nフレームから取得した周波数領域サンプルデータから音声の特徴が変化しているかどうか分析する。例えば、前Nフレームは人の喋り声により構成されているフレーム群だが、現Nフレーム内の変化点候補フレームの後フレーム群は楽曲により構成されているフレーム群が続いているなどの変化があるかどうかを分析する。
【００２３】
次に変化点フレーム候補の前後で周波数領域サンプルデータの特徴が変化しているかどうか判定を行い(ステップ16)、変化点フレーム候補の前後フレーム群において周波数スペクトラムの特性が変化していない場合、例えば楽曲が連続して続いていたり、同一の話者が話し続けていたりするなどの場合には連続音声区間フラグを1に(ステップ17)、楽変化している場合、例えば話者の話しが終了し楽曲に切り替わる場合や、話者が変わった場合、話し手の話が終了し無音区間が続いた後楽曲に切り替わった場合などには連続音声区間フラグを0にする(ステップ18)。
【００２４】
連続音声区間フラグが1ならば変化点フレーム候補の前後のフレーム群に大きな差異はなかったということになる。そこで、各フレームの背景音声、例えば楽曲であればその背景で一定のリズムで鳴っているドラムの音や、人の喋り声ならば背景音に変化がないかを連続音声識別処理で分析する(ステップ19)。
【００２５】
連続音声識別処理の分析結果から連続音声区間フラグが0である場合には変化点フレームに関する情報が生成される(ステップ20)。
【００２６】
変化点フレームの判定処理が終了するとメモリ45に保持されている前Nフレームを破棄し(ステップ21)、現Nフレームをメモリ45に保持する(ステップ22)。
【００２７】
また、図9に示すように周波数領域サンプルデータから特徴点を算出後に、符号化時の窓関数の形状や予測符号化の切り替わりに関するデータを取得し、変化点フレームの検出を行ってもよい。変化点検出部44は受信したマルチストリームデータ内の符号化音声データを抜き出し(ステップ50)、受信フレーム数をカウントし、任意の数であるNフレーム以上受信するとフレーム内の変化点ポイント検出処理を開始する。(ステップ51)。変化点ポイントの検出を行うためには周波数領域サンプルデータが必要なため、MDCT変換された周波数領域サンプルデータが取得できるまでの復号を行い、Nフレーム分の周波数領域サンプルデータを算出する(ステップ52)。また、Nフレーム分の周波数領域サンプルデータ算出は変化点検出部44内でデコード処理を行ってもよいし、データ復号部42でNフレーム分の周波数領域サンプルデータまで復号後に変化点検出部44に周波数領域サンプルデータと復号情報を送信してもよい。また、Nフレームの周波数領域サンプルデータ取得時、符号化時に使用された窓関数の形状や予測符号化が行われているかどうかの復号化情報をフレームデータから取得する。変化点検索部44のメモリ45に保持されている前Nフレームと取得した変化点候補フレームを含む現Nフレームの周波数領域サンプルデータを連続音声判定処理で分析する(ステップ53)。
【００２８】
次に変化点フレーム候補の前後で周波数領域サンプルデータの特徴が変化しているかどうか判定を行い(ステップ54)、変化点フレーム候補の前後フレーム群においてスペクトラムの特性が変化していない場合には連続音声区間フラグを1に(ステップ55)、そうでなければ連続音声区間フラグを0にする(ステップ56)。連続音声区間フラグが1ならば連続音声識別処理で分析する(ステップ57)。連続音声識別処理の分析結果から連続音声区間フラグが0である場合には(ステップ58)、符号化情報判定処理において窓関数の形状が前後フレームと異なるフレームや予測符号化が各フレームで使用されているかどうかの判定を行う(ステップ59)。変化点であると判定された場合には変化点フレームに関する情報が生成される(ステップ60)。変化点フレームの判定処理が終了するとメモリ45に保持されている前Nフレームを破棄し(ステップ61)、現Nフレームをメモリ45に保持する(ステップ62)。
【００２９】
次に周波数領域サンプルデータ算出処理12の詳細処理について説明する。
図10はAAC符号化音声フレームから周波数領域サンプルデータ算出処理の流れである。周波数領域サンプルデータ算出を変化点検出部14で行うかどうかの判定を行い(ステップ70)、行わない場合にはデータ復号部42で復号された周波数領域サンプルデータと窓関数の形状や予測符号化が行われていたかなどの情報を含む復号化情報を受信する(ステップ72)。復号化処理を行う場合にはフレームデータにハフマン復号処理(ステップ71)、逆量子化処理(ステップ73)を行う。次にステレオ音声ならばチャンネルの相関関係を利用したMS/Intensity復号処理(ステップ74)を行い、予測符号化処理が行われるかどうかの判定と情報取得を行い(ステップ75)、行うのであれば予測符号化復号処理を行う(ステップ76)。
【００３０】
さらにTNS復号処理(ステップ77)を行うことで周波数領域サンプルデータを復号でき、フレームデータ内にある窓関数の形状を取得するを窓関数取得処理(ステップ78)を行い、窓情報を取得する。その後復号化情報を生成しNフレームの周波数領域サンプルデータ復号が終了するまで復号処理を繰り返す(ステップ79)。
【００３１】
次にNフレーム分の復号化情報から窓関数の形状の変化や予測符号化の有無を判定し、変化点フレーム候補を検出する場合に実行される符号化情報判定処理13の詳細処理について説明する。図11は符号化情報判定処理の流れである。周波数領域サンプルデータの算出を変化点検出部44で行った場合には内部に復号化情報を保持している。また、データ復号部42で周波数領域サンプルデータの算出を行った場合にはデータ復号部42から復号化情報を受信する。(ステップ70)(ステップ71)次に予測符号化の有無の判定を行うことで変化点フレーム候補の検索を行うか判定を行い(ステップ72)、予測符号化の有無による判定を行わない場合には窓関数判定で窓関数の形状が前後のフレームと異なるかどうか判定を行う(ステップ74)予測符号化と窓関数の変化による判定を行う場合には(ステップ73)、予測符号化・窓関数判定処理を行い予測符号化の有無と窓関数の形状変化から予測フレーム候補を検索する(ステップ75)。窓関数の形状変化による判定は行わず、予測復号化の有無だけで判定を行う場合には(ステップ73)、予測フレーム符号化処理を行い予測符号化が使用されていないフレームを検索する。(ステップ76)検索結果として条件に合致するフレームがある場合には(ステップ77)変化点フレーム候補としてマークし(ステップ78)、Nフレーム分の判定処理が終了していなければ次のフレームの判定処理を行う(ステップ79)。
【００３２】
次にNフレーム内に変化点候補フレームがある場合に実行される連続音声判定処理14の詳細処理について説明する。図12は連続音声判定処理の流れである。変化点候補フレームがある場合、メモリ45に保持されている前Nフレームと周波数領域サンプルデータまで復号した現Nフレームの合計２Nフレーム分の周波数領域サンプルデータを変化点フレーム候補より時間的に前の周波数領域サンプルデータ群と変化点フレーム候補より後の周波数領域サンプルデータ群と変化点フレーム候補の周波数領域サンプルデータの3グループに大別する。そして前フレーム群から復号された周波数領域サンプルデータ群の特徴点算出(ステップ80)、変化点候補フレーム候補より後のフレーム群から復号された周波数領域サンプルデータ群の特徴点算出(ステップ81)、変化点フレームから生成した周波数領域サンプルデータの特徴点算出(ステップ82)を行う。
【００３３】
特徴点とは周波数領域サンプルデータから算出された音の特徴を示す情報であり、算出方法はどのような方法でもよいが音声信号のエネルギー算出、ケプストラム法などを用いたピッチ情報の算出など、各フレームの周波数領域サンプルデータごとの特徴を表し、他のフレームと比較可能な値であることが望ましい。
【００３４】
次に算出された3グループの特徴点を変化点フレーム候補の特徴点を基準に変化点フレーム候補前後の特徴点変化量を算出し(ステップ83)、比較する(ステップ84)。
【００３５】
算出した特徴点変化量が閾値より大きい場合には変化点フレーム候補の前後で音声特徴が異なることとなり不連続音声としてマークし(ステップ85)、閾値より小さい場合には変化点フレーム候補の前後の音声特徴が著しく異なることはなく、同一の特徴を持つ音声フレームが連続していると判定し、連続音声としてマークする(ステップ86)。
【００３６】
次に連続音声区間フラグが1だった場合に話し手や連続した楽曲の背景ノイズに関する変化を解析する連続音声識別処理19の詳細処理について説明する。図13は連続音声識別処理の流れである。変化点フレーム候補より前のフレーム群の周波数領域サンプルデータから背景ノイズ算出(ステップ90)を行い、変化点フレーム候補より後のフレーム群の周波数領域サンプルデータから背景ノイズの算出(ステップ91)を行う。そして、変化点フレームの周波数領域サンプルデータから背景ノイズ算出(ステップ92)を行い比較する。背景ノイズの算出方法としては音声の主旋律を算出し周波数スペクトラムデータから主旋律データを除いたデータを背景ノイズにしたり、音声の特徴を示すフォルマント周波数帯を算出し、残りの周波数帯を背景ノイズと見なしたりするなど主旋律と背景ノイズを分離できる算出方法が望ましい。
【００３７】
3グループの背景ノイズ算出後に変化点フレーム候補の背景ノイズと前後フレーム群の背景ノイズの算出値を比較し(ステップ93)、背景ノイズの変化が閾値よりも大きければ背景が切り替わったポイントとみなし(ステップ94)、連続音声区間フラグを0に(ステップ95)、変化が閾値よりも小さければ背景ノイズに変化はないと判断し連続音声区間フラグを1にする(ステップ96)。
【００３８】
次に連続音声区間フラグが0だった場合に生成される変化点フレーム情報生成処理20の詳細処理について説明する。変化点フレームが見つかると図14に示すフレームに関する情報である変化点フレーム情報101を生成する。変化点フレーム情報101は変化点フレームの音声データが復号再生が行われる時間情報102や、どの変化点フレームに関する情報かを示すフレームリンク情報103、変化点フレーム情報の前後の変化点フレーム情報へのリンク情報104、他の情報を挿入できる拡張情報105で構成されている。また、変化点フレーム情報はこれらどれか1つ以上の情報で構成されていてもよい。また、変化点フレーム情報101は図14の(1)のようにマルチストリームデータ80とは別ストリームとして生成してもよいし、(2)のようにマルチストリームデータ内に挿入されてもよい。また、連続音声区間フラグが1の場合でも変化点フレーム情報を生成してもよい。生成された変化点フレーム情報はデータ保存部41に送信される。
【００３９】
次に図7のマルチストリームデータ編集装置において、生成された変化点フレーム情報を基にユーザにマルチストリームデータの編集ポイントを提示する方法について述べる。図15はマルチストリームデータ内の符号化動画像ストリームと符号化音声ストリーム、変化点フレーム情報の関連詳細図である。マルチストリームデータ編集装置内のデータ保存部41に保存されているデータの編集ポイント表示要求を入力装置47、または中央演算処理装置46から受けるとデータ保存部41に保持されている変化点フレーム情報をメモリ45に読み出す。また、読み出した変化点フレーム情報を基に中央演算処理装置46は図15に示す変化点フレーム情報内のフレーム再生時間情報102とフレームリンク情報103を基に編集ポイントを提示するための情報を生成する。
【００４０】
例えば、変化点フレーム情報110から編集ポイントを提示するための情報を生成する場合、変化点フレーム110内のフレーム再生時間情報から符号化音声ストリーム内の変化点フレーム111を検出する。また、フレームリンク情報から符号化動画像ストリーム内の変化点フレームと同時刻に再生するフレームを検出する。マルチストリームデータ内から変化点フレーム情報に明記されている符号化音声フレームと符号化動画像フレームを検出すると、データ保存部41内のマルチストリームデータ内部から関連する情報をメモリ45に読み込み、データ復号部42で復号した後に、データ出力部43、またはデータ入出力部40に送信する。
【００４１】
また、データ復号部42で復号するデータは変化点フレーム情報を基に見つけた動画像データを、または動画像データと音声データを、または音声データだけを送信してもよい。また、符号化音声データ、符号化動画像データの復号フレーム数は変化点フレームポイントを基に複数フレームを復号して送信してもよい。例えば、ある変化点フレーム情報に明記されている変化点フレーム再生時刻から次の変化点フレーム情報に明記されている変化点フレーム再生時刻の間に再生するマルチストリームデータで構成される情報単位(以下チャプター)で復号し、ユーザに提示するのが望ましい。
【００４２】
また、拡張情報105には例えば、その変化点に対するタイトル情報115や日付情報116などを明記しておいてもよく、復号したデータとこれら拡張情報を送信したり、拡張情報だけを送信してもよい。変化点フレームが複数ある場合には変化点フレーム情報内のフレームリンク情報104に明記されている次の変化点フレーム情報や前の変化点フレーム情報から、別の変化点フレーム情報を基にユーザに提示する情報を生成する。
【００４３】
次にデータ出力部43、もしくはデータ入出力40から出力される変化点フレームデータを基にして生成した変化点フレームに関する情報の表示例を図16に示す。図16はマルチストリームデータが符号化音声と符号化動画像データで構成されている場合の例であり、変化点フレームデータを8つ読み込みそれぞれ関連する動画像データと時間情報を表示した例である。変化点フレーム情報に明記されている日付や時刻、タイトルなどを番組タイトル120として表示し、各変化点フレームを基に復号されたチャプター単位の動画像データ、音声データが表示される。
【００４４】
シーン1(121)は時系列に変化点フレームデータを取り出した場合の1番目の変化点フレーム情報を基に生成されたチャプター単位での動画像データ、または画像データである。また、時刻情報122は変化点フレーム情報に含まれている再生時間情報を表示したものである。
【００４５】
図17は変化点フレームを基に一覧表示したデータに対する編集作業例である。ユーザは入力装置47を介して編集したいシーンを選択するか、画面に表示されるボタンを操作して、または赤外線や無線で受信した操作命令を基にユーザが選択した映像や同時刻に再生される音声の編集や再生を行うことができる。ボタン(123)は現在表示されている一覧よりも時間的に前の変化点フレームを基にしたシーン一覧を表示するためのものであり、ボタン(125)は現在表示されている一覧よりも時間的に後の変化点フレーム元にしたシーン一覧を表示するためのものである。ボタン(124)が押されると選択されたシーンから編集を行うためのメニュー一覧(126)を表示し、選択された編集内容に応じて動作を行う。
【００４６】
例えば、シーン1(121)をシーン7(127)の後に挿入したい場合にはシーン1を選択し、編集メニューからコピー(128)を選択するとシーン１を構成する変化点フレーム情報をコピーする。
【００４７】
その後シーン7(127)を選択し編集メニューの貼り付け(129)を選択すると、サブメニューとしてシーン7(127)の前に挿入するか(130)、後に挿入するか(131)を選択するメニューが表示される。
【００４８】
前に(130)を選択すると、シーン1(121)を構成するチャプターデータをシーン7(127)を構成するチャプターデータの直前にコピーし、後ろに(131)を選択するとシーン7(127)を構成するチャプターデータの直後にコピーする。
【００４９】
また、シーン1を選択し、メニュー一覧(126)から再生(132)を選択された場合にはシーン１を構成するチャプターデータだけを再生し、削除(133)が行われた場合にはシーン１を構成するチャプタデータを削除する。また、拡張データ編集(134)が選択された場合には、シーン1の変化点フレーム情報内の拡張情報をユーザが編集することができる。さらに、チャプターを構成するマルチストリームデータだけに着目し、フレーム単位で編集作業を行うこともできる。
【００５０】
また、同様の操作は受信した赤外線や無線で受信した操作命令でも行うことができる。
【００５１】
また、図17の矢印133、144は表示するシーン一覧を切り替えるものであり、133が選択された場合には表示している一覧情報よりも時間的に前の変化点フレーム情報から生成した一覧を表示し、134が選択された場合には表示している一覧情報よりも時間的に後の変化点フレーム情報から生成した一覧を表示する。
【００５２】
またマルチストリームデータを再生中にスキップ命令が入力装置47から入力されると、現在再生しているポイントの時刻情報をマルチストリームデータから取得し、取得した時間情報と変化点フレーム情報内のフレーム再生時間情報を比較する。また、スキップ命令が早送りの場合には再生しているポイントの時刻情報より時間的に後で、且つ再生時間が最も近いフレーム再生時間情報を含む変化点フレーム情報を検索するか、または変化点フレーム情報に含まれる関連フレームリンク情報から次の変化点フレーム情報を検索し、検出した変化点フレーム情報に含まれるフレーム再生時間情報102とフレームリンク情報103から再生フレームを検出し再生する。
【００５３】
また、スキップ命令が早戻しの場合には再生しているポイントの時刻情報より時間的に前で、且つ再生時間が最も近いフレーム再生時間情報を含む変化点フレーム情報を検索するか、または変化点フレーム情報に含まれる関連フレームリンク情報から前の変化点フレーム情報を検索し、検出した変化点フレーム情報に含まれるフレーム再生時間情報102とフレームリンク情報103から再生フレームを検出し再生する。
【００５４】
次にマルチストリームデータから変化点フレーム検出時に行われる周波数領域サンプルデータから算出した符号化音声の特徴検出時に使用される閾値の設定方法について図18を用いて説明する。マルチストリームデータ名150はデータ保存部150から、またはデータ入出力部40を介して受信する特定のマルチストリームデータに対して閾値の設定を行いたい場合にマルチストリームデータに関する情報などを表示する。また、マルチストリームデータ情報151はマルチストリームデータに符号化動画像データが含まれている場合には復号した画像、または動画像を表示するためのものである。特徴検出時に使用される閾値設定はまったく検出を行わない設定にする検出なし152、簡単検出153、詳細検出154などのボタンを選択することで対応した閾値を用いて変化点フレームの検出を行う。また、マニュアル検出155が選択された場合には閾値の値をユーザが閾値値の範囲156上を157のボタンを移動させることで閾値の値を決定することも可能である。
【００５５】
また、変化点検出部44でマルチストリームデータに含まれる符号化音声データから変化点フレームを検出する範囲を指定することもできる。マルチストリームデータ全体から変化点フレームの検出を行う場合には全体157を選択し、マルチストリームデータの前半から変化点フレームの検出を行う場合には前半158を、マルチストリームデータの後半から変化点フレームの検出を行う場合には後半159を選択することで検索範囲を指定できる。また、検索範囲を選択するボタンは、157、158、159以外にも別の範囲を示すボタンがあってもよい。
【００５６】
また、マニュアル検索160が選択された場合にはユーザが検索範囲をユーザが検索範囲161上を範囲指定バー162を移動させることで決定することができる。
[第２の実施例]
図19は変化点フレーム情報を基にした情報を表示する際に、携帯端末など表示画面サイズが小さい機器で表示を行う場合の表示例である。マルチストリームデータから変化点フレームを検出し、変化点フレーム情報生成方法は第1の実施例と同様である。生成した変化点フレーム情報から表示画面サイズが小さい場合、マルチストリームデータのタイトル170、マルチストリームデータの変化点フレームから復号した画像、またを動画像を表示するシーン171、チャプターデータ再生時間一覧172を表示する。例えばチャプターデータ再生時間一覧172の各チャプター再生時間を選択した場合にそのチャプターに含まれる画像、または動画像の映像がシーン171に表示される。また、選択されたチャプターに含まれる符号化音声データを復号しスピーカなどから再生を行ったりしてもよい。また、シーン171に何も表示せず符号化音声データを復号したデータだけの再生を行ってもよい。また、ボタン173を選択すると、表示しているチャプターデータ再生時間一覧172を前のチャプターデータ一覧に変更し、ボタン175を選択すると、表示しているチャプターデータ再生時間一覧172を次のチャプターデータ一覧に変更し、ボタン174が選択されるとチャプターデータ一覧172から選択されたチャプターの再生や編集を行うことができる。
【００５７】
【発明の効果】
本発明によれば、マルチストリームデータに含まれる符号化音声データを分析し、変化点ポイントを検出することで音声や動画像の変化点フレームを検出し、検出した変化点フレームに関する変化点フレーム情報を基に変化点候補をユーザに提示し、提示された情報を基に編集作業をすることでマルチストリームデータの編集作業効率を向上させることが可能となる。
【図面の簡単な説明】
【図１】変化点フレームの検出処理
【図２】関連性の高いを復号した場合の波形
【図３】関連性の低いフレームが接続された場合
【図４】関連性の高い周波数レベルでのフレーム間の変化
【図５】関連性の低い周波数レベルでのフレーム間の変化
【図６】マルチストリームデータ編集システムの全体構成
【図７】マルチストリームデータ編集装置の構成
【図８】 AAC符号化に用いられる窓関数の形状
【図９】変化点フレームの検出処理(2)
【図１０】周波数領域サンプルデータ算出処理
【図１１】符号化情報判定処理
【図１２】連続音声判定処理
【図１３】連続音声識別処理
【図１４】変化点フレーム情報例
【図１５】変化点フレーム情報から変化点フレームの読み出し例
【図１６】変化点フレーム情報を基にしたデータ提示例
【図１７】変化点フレーム情報を元にしたデータの編集作業例
【図１８】変化点フレームのパラメータ設定と設定画面例
【図１９】画面サイズが小さい場合の変化点表示例
【符号の説明】
25…シーン変化点、30…マルチストリームデータ編集装置、31…ディスプレイ、32…受信アンテナ、33…スピーカー、34…編集/配信装置、35…ネットワーク
【発明の属する技術分野】
本発明は、マルチストリームデータに含まれる符号化音声データを基にマルチストリームデータ内のシーンチェンジポイントの検出方法と、シーンチェンジポイントを基にマルチストリームデータ編集を行う処理装置に関する。
【０００２】
【従来の技術】
符号化された音声や動画像データを含むデータ(以下、マルチストリームデータ)からシーン切り替わり時の情報を見つけ出し、再生、早送り、編集作業を行う場合、ユーザが必要な情報を見つけ出すのは大変手間がかかる。また従来の動画像と音声録画を行う映像再生装置で保存した動画像の編集機能としては音声のステレオ、モノラルを判別して早送り再生やスキップ再生を行っている。また、マルチストリームデータ内の符号化動画像データからシーンの変わり目である変化点検出を行い、シーン単位でデータを分割しユーザにカットの一覧を表示する手法がある。また、楽曲の再生では楽曲間の無音時間を利用して楽曲間のスキップや頭だしを実現している（例えば、特許文献１参照）。
【０００３】
【特許文献１】
特開２００３−１２４８０３号公報
【０００４】
【発明が解決しようとする課題】
しかし、上記の方法だけではユーザが簡単にマルチストリームデータ内の自分が視聴したい情報だけを録画したり編集を行うことは困難である。音声のステレオ、モノラルの判定を行い早送りを行う場合、変化点を境にステレオ、モノラルの変化がなければ検出できず、例えばドラマからCMに切り替わり時にステレオ放送が維持された場合には変化点検出を行うことができない。また、デジタル放送においてはデータが符号化されているために、復号しなければ変化点検出を行うことができず処理負荷が高い。また、動画像データから変化点検出を行う方法では、マルチストリームデータに動画像データが含まれていないと適用できない。また、楽曲編集で使用されている無音区間を検出し早送りする方法においては、定まった無音区間が挿入される場合には有効であるが楽曲間のスキップしか行えず楽曲内の変化点検出を行うことはできない。さらに、人の会話のように破裂音で構成され、無音区間が無数に入る音声データに対しては有効に機能しない。
【０００５】
本発明は、上記課題を解決すべく、符号化音声データを含むマルチストリームデータから音声データの変化点を基に動画像や音声のシーン切り替わりを検出する方法及び装置を提供する。
【０００６】
【課題を解決するための手段】
(1)本発明によるマルチストリームデータ編集方法は、符号化音声データを含むマルチストリームデータから、ユーザによりマルチストリームデータの検索範囲や検索対象となる条件指定の有無を判定し、検索範囲の指定がある場合には指定された範囲に含まれる符号化音声データを基に変化点検出を行い、検索対象となるデータ条件の指定がある場合には前記条件を含んだ変化点検出を行うことを特徴とする。(2)また上記(1)に記載のマルチストリームデータ編集方法において、前記マルチストリームデータから変化点検出を行う際、マルチストリームデータを記録媒体に保存しながら、または記録媒体に保存されたデータを高速再生しながら上記(1)に記載された検索範囲と検索条件を考慮して変化点検索を行うことを特徴とする。(3)また、上記(2)に記載のマルチストリームデータ編集方法における変化点検出方法において、符号化された音声データの復号最小単位であるフレームを一定間隔毎に取り込み、FFT(Fast Fourie Transform)やMDCT(Modified Discrete Cosine Transform)等の変換を施した周波数領域サンプルデータを取得することを特徴とする。(4)さらに上記(3)に記載の変化点検出方法において、取得した周波数領域サンプルデータとフレーム内に明記されている符号化方法に関する情報から、動画像や音声の切り替わる変化点を見つけだし、動画像や音声データのシーン切り替わりとなる変化点フレームや、変化点フレームと時間的に関連する画像、動画像、音声情報をユーザに提示し、前記提示した情報を基にユーザが再生や編集ができることを特徴とする。(5)さらに上記(4)に記載の変化点検出方法において、変化点を含むフレームと、前記変化点を含むフレームまで連続しているフレームと、前記変化点を含むフレームから連続しているフレームを3つ以上取得し、分析することでマルチストリームデータ復号時に音声が切り替わるポイントや動画像が切り替わるポイントとなる変化点フレームを検出し、動画像や音声の変化点を取得することを特徴とする。(6)さらに上記(4)に記載の変化点検出方法において、1フレーム以上の符号化音声データから音声の変化点を含む変化点フレームを検出する際、上記(4)記載のフレーム内に明記されている情報から、PCMサンプル符号化時に各フレーム間の接続点を滑らかにする窓関数処理で使用される窓関数の形状が他のフレームと異なるフレームや、前フレームとの残差成分を符号化する予測符号化が使用されていないフレーム、または窓関数の形状が他のフレームと異なり予測符号化が使用されていないフレームを変化点フレームの候補として検出することを特徴とする。(7)さらに上記(6)に記載の変化点フレーム候補と、前記変化点フレーム候補の前後のフレームの周波数サンプルデータから特徴点を算出し、算出結果が閾値以上ならば変化点フレームの候補としたフレームを変化点フレームとしてマークすることを特徴とする。変化点フレームとしては例えば異なるドラマからCMなどに切り替わるなど異なる音声フレームが接続されているフレーム、ドラマや映画において別のシーンに切り替わったために背景ノイズが変化した箇所、人の喋り声が続いた後に音楽が流れるなど一定無音区間の後に連続した音声フレームが続く箇所、音楽が流れた後に人の喋り声に変わる箇所などを変化点ポイント候補として検出し、変化点ポイントであるかどうか特徴点を算出後、変化点ポイントであれば変化点フレームとしてマークする。(8)さらに上記(６)(７)に記載されている変化点フレームの検索方法は、上記(7)の処理を先に行い変化点フレームの候補を検索し、その後上記(6)の処理を行うことで変化点フレームを見つけだしマークしてもよい。(9)さらに上記(7)記載の変化点フレーム候補と前後のフレームの周波数サンプルデータの特徴点を算出し、算出結果と比較する閾値はユーザが設定したり、自動的に閾値を算出することを特徴とする。
(10)さらに、上記(7)(8)に記載のマークした変化点フレームに関し、少なくともマルチストリームデータ内において何番目の符号化音声フレームであるかを示すフレームナンバー情報、時間情報、前後する変化点フレームへのリンク情報、マルチストリームデータが動画像を含む場合には同時刻に再生される映像やその他データへのリンク情報、様々なデータを格納できる拡張情報などを含む変化点フレーム情報を変化点フレームごとに生成することを特徴とする。(11)さらに、上記(10)記載の変化点フレーム情報からマルチストリームデータ内の情報をユーザに提示する際、変化点フレーム情報に明記されている情報を基にユーザに情報提示することを特徴とする。(12)さらに、上記(10)記載の変化点フレーム情報に含まれるデータは、ユーザが任意に書き換えたり追加できることを特徴とする。(13)さらに上記(10)記載の変化点フレーム情報は、マルチストリームデータと異なるストリームデータにしたり、マルチストリームデータ内に挿入したり、各変化点フレームのヘッダ情報に埋め込んだりしてもよいことを特徴とする。(14)さらに本発明に係わるマルチストリームデータ編集装置は、少なくともマルチストリームデータを送受信するデータ入出力部と、入力されたデータの変化点フレームを検索する変化点検出部と、マルチストリームデータを復号したデータや変化点フレーム情報を基に抜粋されたマルチストリームデータ内の情報をユーザに提示するデータ出力部と、マルチストリームデータや変化点ポイント情報を保存するためのデータ保存部と、データ入力部やデータ保存部から読み込んだマルチストリームデータを復号するためのデータ復号部と、ユーザからの入力命令を受信する入力装置部と、入力された命令に従って動作するように各部を制御する中央演算処理装置部で構成されていることを特徴とする。(15)また、上記(14)に記載のマルチストリームデータ編集装置において、ユーザや中央演算処理装置部から変化点フレーム情報を基にした一覧表示命令が入力された場合には、変化点ポイント情報内の各変化点ポイント情報に明記されているフレームナンバー情報と時間情報と関連キーフレームへのリンク情報を基にマルチストリームデータ内の変化点フレームを検索し、各変化点フレームに関連する符号化データ、例えばマルチストリームデータ内に符号化動画像データがある場合には変化点フレームと同一時間に再生される動画像の一覧表示を行ったり、一覧表示された情報をユーザが選択することにより、マルチストリームデータ内の選択された変化点フレームと関連する情報の再生や、変化点フレームと関連する情報をデータ入出力部を介して送受信することができることを特徴とする。(16)さらに、上記(14)に記載のマルチストリームデータ編集装置において、変化点フレームを別の変化点フレームなどに入れ替える、例えば現在ドラマの途中でCMが挿入されている場合に、CM部分を別のCMに置き換えるなどの編集作業を変化点フレーム情報を基に行うことができることを特徴とする。(17)さらに上記(14)に記載のマルチストリームデータ編集装置において、マルチストリームデータ再生中にユーザからスキップ命令が入力されると、現在の再生ポイントの時間情報から最も近い時間情報を有する変化点フレーム情報を再生ポイントとし、前記変化点フレーム情報に含まれる変化点フレームの再生時間から、マルチストリームデータの再生を開始できることを特徴とする。(18)さらに上記(17)に記載のマルチストリームデータ編集装置におけるスキップ命令に関し、再生ポイントのスキップ方向は任意に変更することができてもよく、早送り命令が入力された場合には現在の再生ポイントから再生時間を比較した場合に時間的に前であり、且つ最も近い変化点フレーム情報を検索し、前記変化点フレームに含まれる再生時間からマルチストリームデータの再生開始ができることを特徴とする。(19)さらに上記(14)記載のマルチストリームデータ編集装置おいて、上記(5)記載の変化点フレーム検出方法だけで上記(10)記載の変化点フレーム情報を生成するのではなく、マルチストリームデータに含まれる異なるストリームデータ、例えば符号化動画像データから変化点を検出できる方法を適用させ、前記符号化動画像データからの変化点検出結果と合わせて変化点フレームを検出し、変化点フレーム情報を生成することもできることを特徴とする。(20)さらに上記(14)記載のマルチストリームデータ編集装置において、上記(10)記載の変化点フレーム情報を基にマルチストリームデータに含まれるデータをユーザに提示する際、データ出力部に接続されているデバイスに合わせて提示方法を自動的にもしくはユーザが任意に変更できることを特徴とする。
【０００７】
【発明の実施の形態】
[第１の実施形態]
以下、本発明におけるマルチストリームデータ編集システムの構成と、マルチストリームデータ内の符号化音声データから変化点ポイントを含む変化点フレームを検出し、変化点フレーム情報を生成する編集方法と検出した変化点フレームを基にした編集装置について図面を参照して説明する。
【０００８】
本発明におけるマルチストリームデータ編集装置は符号化音声データ、またはマルチストリームデータに含まれる符号化音声データを分析して変化点ポイントを検出することで音声や動画像の変化点フレームを検出する。そして検出した変化点フレームに関する変化点フレーム情報を基に変化点候補をユーザに提示することができる。
【０００９】
通常シーンの変化がない場合やオーディオが連続して出力されている場合に符号化音声データを復号すると図2に示すステレオPCMサンプルデータのように連続した音声波形となっており、歪みなどは発生していない。しかし、音声が著しく変化する場合、例えばラジオ番組において楽曲やドラマが放送されていて突然CMが挿入された場合などには図3の波形25のように著しく接合点の波形が変化する。これは音声上関連性のないフレームが途中に挿入されたことが原因である。また、この変化を周波数領域のデータに変換したものが図4、図5である。
【００１０】
図4のフレーム(1)、フレーム(2)、フレーム(3)は連続した楽曲のフレームを周波数領域のサンプルデータに変換したものである。フレーム(1)からフレーム(3)までの各周波数帯のパワースペクトラムは類似している。図5は関連性の低いフレーム(6)が続いている変化点フレームを周波数領域のデータに変換したものである。フレーム(4)とフレーム(5)の各周波数帯のパワースペクトラムは類似しているが、フレーム(6)は関連性の低いフレームに切り替わっているために各周波数帯のパワースペクトラムが類似していない。このようなシーンが切り替わり時に発生する変化点を含む変化点フレームを見つけ出し、変化点フレーム情報を生成し、変化点フレームと関連付したデータとして保存しておく。これによりユーザが保存したマルチストリームデータを読み出す時には変化点フレーム情報を基に音声や動画像を切り出し、ユーザに提示することができる。また、ユーザは提示された情報を選択することで選択点からの再生や編集を素早く行うことが可能である。
【００１１】
図6は符号化オーディオ編集システムを用いた全体構成例である。マルチストリームデータ編集装置30は本発明の符号化オーディオ編集方法を用いた編集装置であり、ネットワーク35やアンテナ32を介してマルチストリームデータを送受信し、マルチストリームデータに含まれる符号化音声データの変化点フレームの検索と変化点フレーム情報の生成、受信したマルチストリームデータの蓄積やスピーカ33やモニター31へ音声や動画像出力を行う。また、マルチストリームデータ編集装置30はネットワークを介して接続している編集/配信装置34にマルチストリームデータ編集装置30が蓄積したデータを送信したり、編集/配信装置34が配信したマルチストリームデータを受信し、蓄積したりスピーカー33やモニター31から出力することができる。
【００１２】
また、マルチストリームデータ編集装置30はマルチストリームデータを送受信するためにネットワーク35と接続しているか、もしくはアンテナ32と接続しているか、またはネットワーク35とアンテナ32両方と接続していてもよい。
【００１３】
図7は本発明のマルチストリームデータ編集システム30の内部構成である。データ入出力部40はマルチストリームデータ編集装置が衛星放送や地上波放送やネットワークを介して受信したマルチストリームデータ等が入力されたり、データ保存部41やメモリ45のデータを出力するためのものである。データ保存部41はデータ入出力部40から入力されたデータや変化点検出部44で生成されたデータを保存したり、保存したデータを送信するためのものであり、ハードディスクやDVDなどの光ディスクに受信したデータを保存、または保存したデータを読み出すためのものである。データ復号部42はデータ入出力部40やデータ保存部41から読み出したマルチストリームデータを復号し、データ出力部43やデータ入出力部40に出力するためのものである。データ出力部43は受信した音声データ、または音声と動画像データ等を出力するためのものであり、音声を出力するスピーカや動画像を出力するためのディスプレイが接続する。変化点検出部44はデータ入出力部40、またはデータ保存部41から読み込んだマルチストリームデータ内の符号化音声データの解析を行い変化点フレームを検出し、メモリ45またはデータ保存部11に書き出す。尚、変化点検出部は、周波数領域のパワースペクトラムのひずみを検出すること等により変化点を検出している。メモリ45は変化点検出部44で検出された変化点フレームに関するデータを保持したり、データ復号部42がデータ入出力部40、またはデータ保存部41から受信したマルチストリームデータのデコード時に必要なデータや、中央演算処理装置46が入力または出力したデータを保持するためのものである。中央演算処理装置46はメモリ45に保持したデータの演算処理などを行うものである。入力装置47はユーザからの操作を受け付けるものであり、ボタンやキーボード、マウスなどからの入力信号や、赤外線や無線を介した信号を受信するためのものである。
【００１４】
本実施形態では音声の符号化方式にAAC符号化方式を用いて符号化された音声データと符号化動画像データを含むマルチストリームデータを受信した場合のマルチストリームデータ編集方法とその装置の動作について説明する。
【００１５】
マルチストリームデータ編集装置30がアンテナ32を介してマルチストリームデータを受信するか、またはネットワーク35を介して編集/配信装置34が配信したマルチストリームデータを受信した場合には、マルチストリームデータ編集装置30はデータ入出力部40からマルチストリームデータを受信する。受信したマルチストリームデータはデータ保存部41と変化点検出部44が読み込み、データ保存部41が読み込んだデータはハードディスクやDVDなどの光ディスクに保存する。
【００１６】
変化点検出部44は受信したマルチストリームデータから符号化音声データを抜き出し、変化点ポイントを含む変化点フレーム検出に使用する。また、変化点検出部44はデータ保存部41から読み込んだマルチストリームデータに含まれる符号化音声データから変化点ポイントを含む変化点フレームの検出を行うこともできる。
【００１７】
図1は変化点検出部44の処理の流れである。AAC符号化方式ではサンプリングされたPCMサンプルは一定数ごとに符号化し、1フレームを形成する。モノラル音声であれば1024PCMサンプルで1フレームを、ステレオであれば2048PCMサンプルで1フレームを構成している。変化点検出部44は受信したマルチストリームデータ内の符号化音声データを抜き出し(ステップ10)、受信フレーム数をカウントし、任意の数であるNフレーム以上受信するとフレーム内の変化点ポイント検出処理を開始する(ステップ11)。変化点ポイントの検出を行うためには周波数領域サンプルデータが必要なため、MDCT変換された周波数領域サンプルデータが取得できるまでの復号を行い、Nフレーム分の周波数領域サンプルデータを算出する(ステップ12)。また、Nフレーム分の周波数領域サンプルデータ算出は変化点検出部44内で復号処理を行ってもよいし、データ復号部42でNフレーム分の周波数領域サンプルデータまで復号後に変化点検出部44に周波数領域サンプルデータと符号化時に使用された窓関数の形状や予測符号化が行われているかどうか明記されている復号化情報を送信してもよい。変化点検出部44でNフレームの周波数領域サンプルデータを算出する場合には復号化情報をフレームデータから生成する。
【００１８】
各フレームデータから窓関数の形状や予測符号化が行われているかなど復号化情報取得後、変化点フレームの候補となるフレームを検索する。例えば、AAC音声符号化では符号化時に使用される窓の形状として図8に示すロングブロック、ショートブロック、ロングブロックからショートブロックに変化する時に使用されるロングスタートウィンドウ、ショートブロックからロングブロックに変化する時に使用されるロングストップウィンドウがある。ショートウィンドウはアタック音など急激な音の変化が発生するフレームに使用されるので、ショートブロックが使用されているなど窓関数の形状が前後フレームと異なるフレームを変化点フレーム候補としてもよい。
【００１９】
また、予測符号化が各フレームで使用されているが、使用されていないフレームが存在する場合には、前のフレームとの関連性のないフレームのため予測符号化が使用されていない可能性が高いので、予測符号化が使用されていないフレームを変化点フレーム候補としてもよい。
【００２０】
さらに、窓関数の形状が前後のフレームと比較して異なっており、予測符号化が使用されていないフレームを変化点候補フレームとしてもよい。
【００２１】
このようにフレームの連続性を応用した符号化方法が使用されていなかったり、窓の形状が変化するフレームを変化点フレーム候補として検索する(ステップ13)。
【００２２】
変化点候補フレームが見つからなかった場合には、前回検索し、データ保存領域であるメモリ45に保持されているNフレーム分の周波数領域サンプルデータを破棄し、検索したNフレーム分の周波数領域サンプルデータをメモリ45に保持する(ステップ14)
変化点フレーム候補が見つかった場合には変化点検索部44のメモリ45に保持されている前Nフレームと、取得した変化点候補フレームを含む現Nフレームの周波数領域サンプルデータを連続音声判定処理で分析する(ステップ15)。
連続音声判定処理では前Nフレームと現Nフレームから取得した周波数領域サンプルデータから音声の特徴が変化しているかどうか分析する。例えば、前Nフレームは人の喋り声により構成されているフレーム群だが、現Nフレーム内の変化点候補フレームの後フレーム群は楽曲により構成されているフレーム群が続いているなどの変化があるかどうかを分析する。
【００２３】
次に変化点フレーム候補の前後で周波数領域サンプルデータの特徴が変化しているかどうか判定を行い(ステップ16)、変化点フレーム候補の前後フレーム群において周波数スペクトラムの特性が変化していない場合、例えば楽曲が連続して続いていたり、同一の話者が話し続けていたりするなどの場合には連続音声区間フラグを1に(ステップ17)、楽変化している場合、例えば話者の話しが終了し楽曲に切り替わる場合や、話者が変わった場合、話し手の話が終了し無音区間が続いた後楽曲に切り替わった場合などには連続音声区間フラグを0にする(ステップ18)。
【００２４】
連続音声区間フラグが1ならば変化点フレーム候補の前後のフレーム群に大きな差異はなかったということになる。そこで、各フレームの背景音声、例えば楽曲であればその背景で一定のリズムで鳴っているドラムの音や、人の喋り声ならば背景音に変化がないかを連続音声識別処理で分析する(ステップ19)。
【００２５】
連続音声識別処理の分析結果から連続音声区間フラグが0である場合には変化点フレームに関する情報が生成される(ステップ20)。
【００２６】
変化点フレームの判定処理が終了するとメモリ45に保持されている前Nフレームを破棄し(ステップ21)、現Nフレームをメモリ45に保持する(ステップ22)。
【００２７】
また、図9に示すように周波数領域サンプルデータから特徴点を算出後に、符号化時の窓関数の形状や予測符号化の切り替わりに関するデータを取得し、変化点フレームの検出を行ってもよい。変化点検出部44は受信したマルチストリームデータ内の符号化音声データを抜き出し(ステップ50)、受信フレーム数をカウントし、任意の数であるNフレーム以上受信するとフレーム内の変化点ポイント検出処理を開始する。(ステップ51)。変化点ポイントの検出を行うためには周波数領域サンプルデータが必要なため、MDCT変換された周波数領域サンプルデータが取得できるまでの復号を行い、Nフレーム分の周波数領域サンプルデータを算出する(ステップ52)。また、Nフレーム分の周波数領域サンプルデータ算出は変化点検出部44内でデコード処理を行ってもよいし、データ復号部42でNフレーム分の周波数領域サンプルデータまで復号後に変化点検出部44に周波数領域サンプルデータと復号情報を送信してもよい。また、Nフレームの周波数領域サンプルデータ取得時、符号化時に使用された窓関数の形状や予測符号化が行われているかどうかの復号化情報をフレームデータから取得する。変化点検索部44のメモリ45に保持されている前Nフレームと取得した変化点候補フレームを含む現Nフレームの周波数領域サンプルデータを連続音声判定処理で分析する(ステップ53)。
【００２８】
次に変化点フレーム候補の前後で周波数領域サンプルデータの特徴が変化しているかどうか判定を行い(ステップ54)、変化点フレーム候補の前後フレーム群においてスペクトラムの特性が変化していない場合には連続音声区間フラグを1に(ステップ55)、そうでなければ連続音声区間フラグを0にする(ステップ56)。連続音声区間フラグが1ならば連続音声識別処理で分析する(ステップ57)。連続音声識別処理の分析結果から連続音声区間フラグが0である場合には(ステップ58)、符号化情報判定処理において窓関数の形状が前後フレームと異なるフレームや予測符号化が各フレームで使用されているかどうかの判定を行う(ステップ59)。変化点であると判定された場合には変化点フレームに関する情報が生成される(ステップ60)。変化点フレームの判定処理が終了するとメモリ45に保持されている前Nフレームを破棄し(ステップ61)、現Nフレームをメモリ45に保持する(ステップ62)。
【００２９】
次に周波数領域サンプルデータ算出処理12の詳細処理について説明する。
図10はAAC符号化音声フレームから周波数領域サンプルデータ算出処理の流れである。周波数領域サンプルデータ算出を変化点検出部14で行うかどうかの判定を行い(ステップ70)、行わない場合にはデータ復号部42で復号された周波数領域サンプルデータと窓関数の形状や予測符号化が行われていたかなどの情報を含む復号化情報を受信する(ステップ72)。復号化処理を行う場合にはフレームデータにハフマン復号処理(ステップ71)、逆量子化処理(ステップ73)を行う。次にステレオ音声ならばチャンネルの相関関係を利用したMS/Intensity復号処理(ステップ74)を行い、予測符号化処理が行われるかどうかの判定と情報取得を行い(ステップ75)、行うのであれば予測符号化復号処理を行う(ステップ76)。
【００３０】
さらにTNS復号処理(ステップ77)を行うことで周波数領域サンプルデータを復号でき、フレームデータ内にある窓関数の形状を取得するを窓関数取得処理(ステップ78)を行い、窓情報を取得する。その後復号化情報を生成しNフレームの周波数領域サンプルデータ復号が終了するまで復号処理を繰り返す(ステップ79)。
【００３１】
次にNフレーム分の復号化情報から窓関数の形状の変化や予測符号化の有無を判定し、変化点フレーム候補を検出する場合に実行される符号化情報判定処理13の詳細処理について説明する。図11は符号化情報判定処理の流れである。周波数領域サンプルデータの算出を変化点検出部44で行った場合には内部に復号化情報を保持している。また、データ復号部42で周波数領域サンプルデータの算出を行った場合にはデータ復号部42から復号化情報を受信する。(ステップ70)(ステップ71)次に予測符号化の有無の判定を行うことで変化点フレーム候補の検索を行うか判定を行い(ステップ72)、予測符号化の有無による判定を行わない場合には窓関数判定で窓関数の形状が前後のフレームと異なるかどうか判定を行う(ステップ74)予測符号化と窓関数の変化による判定を行う場合には(ステップ73)、予測符号化・窓関数判定処理を行い予測符号化の有無と窓関数の形状変化から予測フレーム候補を検索する(ステップ75)。窓関数の形状変化による判定は行わず、予測復号化の有無だけで判定を行う場合には(ステップ73)、予測フレーム符号化処理を行い予測符号化が使用されていないフレームを検索する。(ステップ76)検索結果として条件に合致するフレームがある場合には(ステップ77)変化点フレーム候補としてマークし(ステップ78)、Nフレーム分の判定処理が終了していなければ次のフレームの判定処理を行う(ステップ79)。
【００３２】
次にNフレーム内に変化点候補フレームがある場合に実行される連続音声判定処理14の詳細処理について説明する。図12は連続音声判定処理の流れである。変化点候補フレームがある場合、メモリ45に保持されている前Nフレームと周波数領域サンプルデータまで復号した現Nフレームの合計２Nフレーム分の周波数領域サンプルデータを変化点フレーム候補より時間的に前の周波数領域サンプルデータ群と変化点フレーム候補より後の周波数領域サンプルデータ群と変化点フレーム候補の周波数領域サンプルデータの3グループに大別する。そして前フレーム群から復号された周波数領域サンプルデータ群の特徴点算出(ステップ80)、変化点候補フレーム候補より後のフレーム群から復号された周波数領域サンプルデータ群の特徴点算出(ステップ81)、変化点フレームから生成した周波数領域サンプルデータの特徴点算出(ステップ82)を行う。
【００３３】
特徴点とは周波数領域サンプルデータから算出された音の特徴を示す情報であり、算出方法はどのような方法でもよいが音声信号のエネルギー算出、ケプストラム法などを用いたピッチ情報の算出など、各フレームの周波数領域サンプルデータごとの特徴を表し、他のフレームと比較可能な値であることが望ましい。
【００３４】
次に算出された3グループの特徴点を変化点フレーム候補の特徴点を基準に変化点フレーム候補前後の特徴点変化量を算出し(ステップ83)、比較する(ステップ84)。
【００３５】
算出した特徴点変化量が閾値より大きい場合には変化点フレーム候補の前後で音声特徴が異なることとなり不連続音声としてマークし(ステップ85)、閾値より小さい場合には変化点フレーム候補の前後の音声特徴が著しく異なることはなく、同一の特徴を持つ音声フレームが連続していると判定し、連続音声としてマークする(ステップ86)。
【００３６】
次に連続音声区間フラグが1だった場合に話し手や連続した楽曲の背景ノイズに関する変化を解析する連続音声識別処理19の詳細処理について説明する。図13は連続音声識別処理の流れである。変化点フレーム候補より前のフレーム群の周波数領域サンプルデータから背景ノイズ算出(ステップ90)を行い、変化点フレーム候補より後のフレーム群の周波数領域サンプルデータから背景ノイズの算出(ステップ91)を行う。そして、変化点フレームの周波数領域サンプルデータから背景ノイズ算出(ステップ92)を行い比較する。背景ノイズの算出方法としては音声の主旋律を算出し周波数スペクトラムデータから主旋律データを除いたデータを背景ノイズにしたり、音声の特徴を示すフォルマント周波数帯を算出し、残りの周波数帯を背景ノイズと見なしたりするなど主旋律と背景ノイズを分離できる算出方法が望ましい。
【００３７】
3グループの背景ノイズ算出後に変化点フレーム候補の背景ノイズと前後フレーム群の背景ノイズの算出値を比較し(ステップ93)、背景ノイズの変化が閾値よりも大きければ背景が切り替わったポイントとみなし(ステップ94)、連続音声区間フラグを0に(ステップ95)、変化が閾値よりも小さければ背景ノイズに変化はないと判断し連続音声区間フラグを1にする(ステップ96)。
【００３８】
次に連続音声区間フラグが0だった場合に生成される変化点フレーム情報生成処理20の詳細処理について説明する。変化点フレームが見つかると図14に示すフレームに関する情報である変化点フレーム情報101を生成する。変化点フレーム情報101は変化点フレームの音声データが復号再生が行われる時間情報102や、どの変化点フレームに関する情報かを示すフレームリンク情報103、変化点フレーム情報の前後の変化点フレーム情報へのリンク情報104、他の情報を挿入できる拡張情報105で構成されている。また、変化点フレーム情報はこれらどれか1つ以上の情報で構成されていてもよい。また、変化点フレーム情報101は図14の(1)のようにマルチストリームデータ80とは別ストリームとして生成してもよいし、(2)のようにマルチストリームデータ内に挿入されてもよい。また、連続音声区間フラグが1の場合でも変化点フレーム情報を生成してもよい。生成された変化点フレーム情報はデータ保存部41に送信される。
【００３９】
次に図7のマルチストリームデータ編集装置において、生成された変化点フレーム情報を基にユーザにマルチストリームデータの編集ポイントを提示する方法について述べる。図15はマルチストリームデータ内の符号化動画像ストリームと符号化音声ストリーム、変化点フレーム情報の関連詳細図である。マルチストリームデータ編集装置内のデータ保存部41に保存されているデータの編集ポイント表示要求を入力装置47、または中央演算処理装置46から受けるとデータ保存部41に保持されている変化点フレーム情報をメモリ45に読み出す。また、読み出した変化点フレーム情報を基に中央演算処理装置46は図15に示す変化点フレーム情報内のフレーム再生時間情報102とフレームリンク情報103を基に編集ポイントを提示するための情報を生成する。
【００４０】
例えば、変化点フレーム情報110から編集ポイントを提示するための情報を生成する場合、変化点フレーム110内のフレーム再生時間情報から符号化音声ストリーム内の変化点フレーム111を検出する。また、フレームリンク情報から符号化動画像ストリーム内の変化点フレームと同時刻に再生するフレームを検出する。マルチストリームデータ内から変化点フレーム情報に明記されている符号化音声フレームと符号化動画像フレームを検出すると、データ保存部41内のマルチストリームデータ内部から関連する情報をメモリ45に読み込み、データ復号部42で復号した後に、データ出力部43、またはデータ入出力部40に送信する。
【００４１】
また、データ復号部42で復号するデータは変化点フレーム情報を基に見つけた動画像データを、または動画像データと音声データを、または音声データだけを送信してもよい。また、符号化音声データ、符号化動画像データの復号フレーム数は変化点フレームポイントを基に複数フレームを復号して送信してもよい。例えば、ある変化点フレーム情報に明記されている変化点フレーム再生時刻から次の変化点フレーム情報に明記されている変化点フレーム再生時刻の間に再生するマルチストリームデータで構成される情報単位(以下チャプター)で復号し、ユーザに提示するのが望ましい。
【００４２】
また、拡張情報105には例えば、その変化点に対するタイトル情報115や日付情報116などを明記しておいてもよく、復号したデータとこれら拡張情報を送信したり、拡張情報だけを送信してもよい。変化点フレームが複数ある場合には変化点フレーム情報内のフレームリンク情報104に明記されている次の変化点フレーム情報や前の変化点フレーム情報から、別の変化点フレーム情報を基にユーザに提示する情報を生成する。
【００４３】
次にデータ出力部43、もしくはデータ入出力40から出力される変化点フレームデータを基にして生成した変化点フレームに関する情報の表示例を図16に示す。図16はマルチストリームデータが符号化音声と符号化動画像データで構成されている場合の例であり、変化点フレームデータを8つ読み込みそれぞれ関連する動画像データと時間情報を表示した例である。変化点フレーム情報に明記されている日付や時刻、タイトルなどを番組タイトル120として表示し、各変化点フレームを基に復号されたチャプター単位の動画像データ、音声データが表示される。
【００４４】
シーン1(121)は時系列に変化点フレームデータを取り出した場合の1番目の変化点フレーム情報を基に生成されたチャプター単位での動画像データ、または画像データである。また、時刻情報122は変化点フレーム情報に含まれている再生時間情報を表示したものである。
【００４５】
図17は変化点フレームを基に一覧表示したデータに対する編集作業例である。ユーザは入力装置47を介して編集したいシーンを選択するか、画面に表示されるボタンを操作して、または赤外線や無線で受信した操作命令を基にユーザが選択した映像や同時刻に再生される音声の編集や再生を行うことができる。ボタン(123)は現在表示されている一覧よりも時間的に前の変化点フレームを基にしたシーン一覧を表示するためのものであり、ボタン(125)は現在表示されている一覧よりも時間的に後の変化点フレーム元にしたシーン一覧を表示するためのものである。ボタン(124)が押されると選択されたシーンから編集を行うためのメニュー一覧(126)を表示し、選択された編集内容に応じて動作を行う。
【００４６】
例えば、シーン1(121)をシーン7(127)の後に挿入したい場合にはシーン1を選択し、編集メニューからコピー(128)を選択するとシーン１を構成する変化点フレーム情報をコピーする。
【００４７】
その後シーン7(127)を選択し編集メニューの貼り付け(129)を選択すると、サブメニューとしてシーン7(127)の前に挿入するか(130)、後に挿入するか(131)を選択するメニューが表示される。
【００４８】
前に(130)を選択すると、シーン1(121)を構成するチャプターデータをシーン7(127)を構成するチャプターデータの直前にコピーし、後ろに(131)を選択するとシーン7(127)を構成するチャプターデータの直後にコピーする。
【００４９】
また、シーン1を選択し、メニュー一覧(126)から再生(132)を選択された場合にはシーン１を構成するチャプターデータだけを再生し、削除(133)が行われた場合にはシーン１を構成するチャプタデータを削除する。また、拡張データ編集(134)が選択された場合には、シーン1の変化点フレーム情報内の拡張情報をユーザが編集することができる。さらに、チャプターを構成するマルチストリームデータだけに着目し、フレーム単位で編集作業を行うこともできる。
【００５０】
また、同様の操作は受信した赤外線や無線で受信した操作命令でも行うことができる。
【００５１】
また、図17の矢印133、144は表示するシーン一覧を切り替えるものであり、133が選択された場合には表示している一覧情報よりも時間的に前の変化点フレーム情報から生成した一覧を表示し、134が選択された場合には表示している一覧情報よりも時間的に後の変化点フレーム情報から生成した一覧を表示する。
【００５２】
またマルチストリームデータを再生中にスキップ命令が入力装置47から入力されると、現在再生しているポイントの時刻情報をマルチストリームデータから取得し、取得した時間情報と変化点フレーム情報内のフレーム再生時間情報を比較する。また、スキップ命令が早送りの場合には再生しているポイントの時刻情報より時間的に後で、且つ再生時間が最も近いフレーム再生時間情報を含む変化点フレーム情報を検索するか、または変化点フレーム情報に含まれる関連フレームリンク情報から次の変化点フレーム情報を検索し、検出した変化点フレーム情報に含まれるフレーム再生時間情報102とフレームリンク情報103から再生フレームを検出し再生する。
【００５３】
また、スキップ命令が早戻しの場合には再生しているポイントの時刻情報より時間的に前で、且つ再生時間が最も近いフレーム再生時間情報を含む変化点フレーム情報を検索するか、または変化点フレーム情報に含まれる関連フレームリンク情報から前の変化点フレーム情報を検索し、検出した変化点フレーム情報に含まれるフレーム再生時間情報102とフレームリンク情報103から再生フレームを検出し再生する。
【００５４】
次にマルチストリームデータから変化点フレーム検出時に行われる周波数領域サンプルデータから算出した符号化音声の特徴検出時に使用される閾値の設定方法について図18を用いて説明する。マルチストリームデータ名150はデータ保存部150から、またはデータ入出力部40を介して受信する特定のマルチストリームデータに対して閾値の設定を行いたい場合にマルチストリームデータに関する情報などを表示する。また、マルチストリームデータ情報151はマルチストリームデータに符号化動画像データが含まれている場合には復号した画像、または動画像を表示するためのものである。特徴検出時に使用される閾値設定はまったく検出を行わない設定にする検出なし152、簡単検出153、詳細検出154などのボタンを選択することで対応した閾値を用いて変化点フレームの検出を行う。また、マニュアル検出155が選択された場合には閾値の値をユーザが閾値値の範囲156上を157のボタンを移動させることで閾値の値を決定することも可能である。
【００５５】
また、変化点検出部44でマルチストリームデータに含まれる符号化音声データから変化点フレームを検出する範囲を指定することもできる。マルチストリームデータ全体から変化点フレームの検出を行う場合には全体157を選択し、マルチストリームデータの前半から変化点フレームの検出を行う場合には前半158を、マルチストリームデータの後半から変化点フレームの検出を行う場合には後半159を選択することで検索範囲を指定できる。また、検索範囲を選択するボタンは、157、158、159以外にも別の範囲を示すボタンがあってもよい。
【００５６】
また、マニュアル検索160が選択された場合にはユーザが検索範囲をユーザが検索範囲161上を範囲指定バー162を移動させることで決定することができる。
[第２の実施例]
図19は変化点フレーム情報を基にした情報を表示する際に、携帯端末など表示画面サイズが小さい機器で表示を行う場合の表示例である。マルチストリームデータから変化点フレームを検出し、変化点フレーム情報生成方法は第1の実施例と同様である。生成した変化点フレーム情報から表示画面サイズが小さい場合、マルチストリームデータのタイトル170、マルチストリームデータの変化点フレームから復号した画像、またを動画像を表示するシーン171、チャプターデータ再生時間一覧172を表示する。例えばチャプターデータ再生時間一覧172の各チャプター再生時間を選択した場合にそのチャプターに含まれる画像、または動画像の映像がシーン171に表示される。また、選択されたチャプターに含まれる符号化音声データを復号しスピーカなどから再生を行ったりしてもよい。また、シーン171に何も表示せず符号化音声データを復号したデータだけの再生を行ってもよい。また、ボタン173を選択すると、表示しているチャプターデータ再生時間一覧172を前のチャプターデータ一覧に変更し、ボタン175を選択すると、表示しているチャプターデータ再生時間一覧172を次のチャプターデータ一覧に変更し、ボタン174が選択されるとチャプターデータ一覧172から選択されたチャプターの再生や編集を行うことができる。
【００５７】
【発明の効果】
本発明によれば、マルチストリームデータに含まれる符号化音声データを分析し、変化点ポイントを検出することで音声や動画像の変化点フレームを検出し、検出した変化点フレームに関する変化点フレーム情報を基に変化点候補をユーザに提示し、提示された情報を基に編集作業をすることでマルチストリームデータの編集作業効率を向上させることが可能となる。
【図面の簡単な説明】
【図１】変化点フレームの検出処理
【図２】関連性の高いを復号した場合の波形
【図３】関連性の低いフレームが接続された場合
【図４】関連性の高い周波数レベルでのフレーム間の変化
【図５】関連性の低い周波数レベルでのフレーム間の変化
【図６】マルチストリームデータ編集システムの全体構成
【図７】マルチストリームデータ編集装置の構成
【図８】 AAC符号化に用いられる窓関数の形状
【図９】変化点フレームの検出処理(2)
【図１０】周波数領域サンプルデータ算出処理
【図１１】符号化情報判定処理
【図１２】連続音声判定処理
【図１３】連続音声識別処理
【図１４】変化点フレーム情報例
【図１５】変化点フレーム情報から変化点フレームの読み出し例
【図１６】変化点フレーム情報を基にしたデータ提示例
【図１７】変化点フレーム情報を元にしたデータの編集作業例
【図１８】変化点フレームのパラメータ設定と設定画面例
【図１９】画面サイズが小さい場合の変化点表示例
【符号の説明】
25…シーン変化点、30…マルチストリームデータ編集装置、31…ディスプレイ、32…受信アンテナ、33…スピーカー、34…編集/配信装置、35…ネットワーク
Claims (9)
- 入力されたストリームデータを保存する際に当該ストリームデータ中の符号化音声データフレームを分析し、変化点となるフレームを検出する検出手段と、
前記検出した変化点となるフレームに関連する変化点フレーム情報を生成する手段と、
前記変化点フレーム情報に基づき、前記ストリームデータ内のフレームで音声あるいは画像で変化が生じている１または複数のフレーム情報を表示する手段と、
前記表示したフレームのうちで所定のフレームから編集または再生する手段とを備え、
前記ストリームデータは、符号化音声データ、または符号化動画像データを含み、
前記検出手段は、前記符号化音声データを構成する符号化音声データフレームから周波数軸を中心とした音声に関する情報を生成し、当該周波数軸を中心とした音声に関する情報から算出した音の特徴点から前記ストリームデータの変化点となるフレームを検出し、
前記ストリームデータの変化点となるフレームは、当該変化点となるフレームの前のフレーム群とは異なる窓関数処理における窓の形状が使用される、処理装置。 - 前記ストリームデータの変化点となるフレームは、符号化音声を生成するための予測符号化の有無が前のフレーム群とは異なるフレームを変化点となるフレームの候補とする、請求項１記載の処理装置。
- 前記検出手段は、音の基本周波数、背景ノイズの変化、各周波数の振幅値の変化のうちの少なくともひとつを前後のフレーム群から算出し比較し、周波数軸を中心とした音声に関する情報から算出した音の特徴点を検出する、請求項１記載の処理装置。
- 前記変化点フレーム情報は、前記ストリームデータにおいて変化点となるフレームの再生時間、マルチストリームデータ内でのフレームナンバー、前記再生時間に再生するデータへのリンク情報のうちの少なくとも１つを含む、請求項１記載の処理装置。
- ストリームデータを入力するデータ入力部と、
入力されたストリームデータを保存する際に当該ストリームデータ中の符号化音声データフレームを分析し、変化点となるフレームを検出する検出部と、
前記検出した変化点となるフレームに関連する変化点フレーム情報を生成する生成部と、
前記変化点フレーム情報に基づき、前記ストリームデータ内のフレームで音声あるいは画像で変化が生じている１または複数のフレーム情報を表示する表示部と、
前記表示したフレームのうちで所定のフレームから編集または再生する編集再生部と、
ストリームデータ、あるいは当該ストリームデータを復号したデータを出力する出力部と、
ストリームデータ、あるいは当該ストリームデータ内の情報を保存する保存部と、
前記入力部や前記保存部から読み込んだストリームデータを復号する復号部と、
ユーザからの入力を受信する入力制御部と、
入力された命令に従って動作するように制御する中央演算処理装置と、
前記中央演算処理装置が処理するためのデータを保持するメモリ部とを備え、
前記ストリームデータは、符号化音声データ、または符号化動画像データを含み、
前記検出部は、前記符号化音声データを構成する符号化音声データフレームから周波数軸を中心とした音声に関する情報を生成し、当該周波数軸を中心とした音声に関する情報から算出した音の特徴点から前記ストリームデータの変化点となるフレームを検出し、
前記ストリームデータの変化点となるフレームは、当該変化点となるフレームの前のフレーム群とは異なる窓関数処理における窓の形状が使用される、処理装置。 - 前記変化点フレーム情報に基づき、前記変化点フレームを別の変化点フレームに入れ替える、請求項５記載の処理装置。
- 前記ストリームデータ再生中にユーザからスキップ命令が入力されると、現在の再生ポイントの時間情報から最も近い時間情報を有する変化点フレーム情報を再生ポイントとし、前記変化点フレーム情報に含まれる変化点フレームの再生時間から前記ストリームデータが再生される、請求項５記載の処理装置。
- 前記スキップ命令のスキップ方向は任意に変更可能であり、早送り命令が入力された場合には現在の再生ポイントから再生時間を比較した場合に時間的に前で、且つ最も近い変化点フレーム情報を検索し、当該変化点フレームに対応する該ストリームデータの再生時間から再生可能である、請求項７記載の処理装置。
- 入力されたストリームデータを保存する際に当該ストリームデータ中の符号化音データフレームを分析し、変化点となるフレームを検出するステップと、
前記検出した変化点となるフレームに関連する変化点フレーム情報を生成するステップと、
前記変化点フレーム情報に基づき、前記ストリームデータ内のフレームで音声あるいは画像で変化が生じている１または複数のフレーム情報を表示するステップと、
前記表示したフレームのうちで所定のフレームから編集または再生するステップとを備え、
前記ストリームデータは、符号化音声データ、または符号化動画像データを含み、
前記検出するステップは、前記符号化音声データを構成する符号化音声データフレームから周波数軸を中心とした音声に関する情報を生成し、当該周波数軸を中心とした音声に関する情報から算出した音の特徴点から前記ストリームデータの変化点となるフレームを検出し、
前記ストリームデータの変化点となるフレームは、当該変化点となるフレームの前のフレーム群とは異なる窓関数処理における窓の形状が使用される、データ編集方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003164517A JP3925466B2 (ja) | 2003-06-10 | 2003-06-10 | ストリームデータ編集方法及びその装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003164517A JP3925466B2 (ja) | 2003-06-10 | 2003-06-10 | ストリームデータ編集方法及びその装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005004820A JP2005004820A (ja) | 2005-01-06 |
| JP3925466B2 true JP3925466B2 (ja) | 2007-06-06 |
Family
ID=34091259
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003164517A Expired - Lifetime JP3925466B2 (ja) | 2003-06-10 | 2003-06-10 | ストリームデータ編集方法及びその装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3925466B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4743228B2 (ja) * | 2008-05-22 | 2011-08-10 | 三菱電機株式会社 | デジタル音声信号解析方法、その装置、及び映像音声記録装置 |
| JP5228623B2 (ja) * | 2008-05-26 | 2013-07-03 | 日本電気株式会社 | 放送映像再生方法、システム及び装置 |
| JP5886839B2 (ja) * | 2011-05-23 | 2016-03-16 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 情報処理装置、情報処理方法、プログラム、記憶媒体及び集積回路 |
| KR101231587B1 (ko) * | 2011-06-29 | 2013-02-08 | (주)이노시스 | 영상 비교 처리 장치 |
| KR101260862B1 (ko) * | 2011-07-01 | 2013-05-06 | (주)이노시스 | 영상 비교 시스템 |
-
2003
- 2003-06-10 JP JP2003164517A patent/JP3925466B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005004820A (ja) | 2005-01-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4866359B2 (ja) | 記録再生装置、記録再生方法、記録再生プログラムおよびコンピュータに読み取り可能な記録媒体 | |
| KR100962803B1 (ko) | 악곡 구간 검출 방법 및 그 장치, 및 데이터 기록 방법 및그 장치 | |
| KR100782286B1 (ko) | 정보의 검색 처리 방법, 검색 처리 장치, 저장 방법 및저장 장치 | |
| JP2005322401A (ja) | メディア・セグメント・ライブラリを生成する方法、装置およびプログラム、および、カスタム・ストリーム生成方法およびカスタム・メディア・ストリーム発信システム | |
| JP2005518560A (ja) | 音楽部分を自動で選り分けて格納するデジタル再生装置及びその方法 | |
| US8682132B2 (en) | Method and device for detecting music segment, and method and device for recording data | |
| JP2003087728A (ja) | 映像情報要約装置、映像情報要約方法および映像情報要約処理プログラム | |
| EP1924092A1 (en) | Content replay apparatus, content reproducing apparatus, content replay method, content reproducing method, program and recording medium | |
| JP4491700B2 (ja) | 音響検索処理方法、音響情報検索装置、音響情報蓄積方法、音響情報蓄積装置および音響映像検索処理方法、音響映像情報検索装置、音響映像情報蓄積方法、音響映像情報蓄積装置 | |
| US20070248334A1 (en) | Recording and reproduction apparatus and recording and reproduction method | |
| JP2008148077A (ja) | 動画再生装置 | |
| JP2000209553A (ja) | 情報信号記録装置及び再生装置 | |
| JP2005519336A (ja) | 自動オーディオ録音・再生機及びその操作方法 | |
| JP2006301134A (ja) | 音楽検出装置、音楽検出方法及び録音再生装置 | |
| US20080077263A1 (en) | Data recording device, data recording method, and data recording program | |
| JP3925466B2 (ja) | ストリームデータ編集方法及びその装置 | |
| JP4712812B2 (ja) | 記録再生装置 | |
| JP2007066409A (ja) | 記録再生装置および記録再生方法 | |
| KR102431737B1 (ko) | 멀티미디어 데이터에서 하이라이트를 찾는 방법 및 그를 이용한 장치 | |
| JP2006270233A (ja) | 信号処理方法及び信号記録再生装置 | |
| JP2002116784A (ja) | 情報信号処理装置、情報信号処理方法、情報信号記録再生装置及び情報信号記録媒体 | |
| JP3803302B2 (ja) | 映像要約装置 | |
| JP2006050045A (ja) | 動画像データ編集装置及び動画像データ編集方法 | |
| JP2003110448A (ja) | オーディオ装置 | |
| JPH09161455A (ja) | インデックス自動生成装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051219 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060420 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061130 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061212 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070117 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070206 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070219 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 3925466 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110309 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110309 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120309 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130309 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130309 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140309 Year of fee payment: 7 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |