JP4913288B2 - 情報信号処理装置及び情報信号処理方法 - Google Patents
情報信号処理装置及び情報信号処理方法 Download PDFInfo
- Publication number
- JP4913288B2 JP4913288B2 JP2001143742A JP2001143742A JP4913288B2 JP 4913288 B2 JP4913288 B2 JP 4913288B2 JP 2001143742 A JP2001143742 A JP 2001143742A JP 2001143742 A JP2001143742 A JP 2001143742A JP 4913288 B2 JP4913288 B2 JP 4913288B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- predetermined
- information signal
- classification
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
Description
【０００１】
【発明の属する技術差分野】
本発明は放送番組における映像信号や音声信号などの情報信号を、逐次、類似画像シーンまたは音声信号の属性毎に自動的に分類処理し、その分類処理された情報信号で所定の区間を半導体メモリーなどの記録媒体に記録し、ユーザーが容易に効果的なダイジェスト再生が行えるための技術に関するものである。
【０００２】
【従来の技術】
ＭＰＥＧなどの画像圧縮技術が広く民生用記録再生装置に利用され、また比較的長時間記録可能でアクセス性の良いＨＤＤ（ハードディスク）や光磁気ディスクが比較的低価格で普及し、放送番組などが手軽に長時間記録できるようになっている。
【０００３】
このように長時間記録した放送番組などを再生して楽しもうとすると、限られた時間の中では効率良く再生する必要があり、従来技術では例えば、２倍速再生などの通常再生速度よりも高速動作を行い短時間で再生することが考えられる。
【０００４】
より効果的な短時間再生を行なうことを目的として、映像の変化やカメラパン、または音声認識など技術を用いて、要約を行なっても映像シーンの内容が把握できる意味のあると思われる部分を検出して再生する技術が知られている。
【０００５】
また、記録時に自動的に分類し、識別情報を付加して記録し再生時に検索や頭出しを行なう技術も知られている。
【０００６】
例えば、公知技術文献としては以下に示すようなものがある。
（ａ）Michael A.Smith and T.Kanade,"Video Skimming and Characterization through the Combination of Image and Language Understanding Techniques",IEEE CVPR,（ p775-p781）
（ｂ）特表平10−507554「探索できるディジタルビデオライブラリを作成する方法および装置ならびにそのようなライブラリを利用するシステムおよび方法」
（ｃ）特開平７−45050「自動分類記録装置」
（ｄ）特開平７−29007「映像特徴処理方法」
（ｅ）特開平11−328422「画像識別装置」
（ｆ）特開2000−261754「ダイジェスト作成装置、ダイジェスト作成方法およびその方法の各工程をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体」
【０００７】
【発明が解決しようとする課題】
しかしながら、例えば、２倍速再生など高速再生を行なう場合は自分が見たいと思う映像シーン以外の区間も再生されることになり、ダイジェスト再生など短時間再生を行なう場合は効率があまり良いとは言えず、また、記録した映像の内容の概要を、効率良く、すぐに知りたいと思っても、ダイジェスト再生などの特殊再生動作を行う必要があり、記録媒体に記録した内容の映像シーンを効率良く、効果的にすぐ把握できるとは言い難い。
【０００８】
上記の文献（ａ）、（ｂ）などは特徴的な映像区間と音声区間を選択し、合成して得られた部分をつなぎ合わせて要約再生する技術が開示されているが、このような技術では、例えば、所定の記録媒体に記録した後に、特徴的な映像区間や音声区間を選択する特別な処理を行なうことが一般的で、そのため記録終了の後に、ダイジェスト再生や要約再生を行なうための信号処理時間を待たなければならない。
【０００９】
上記文献（ｃ）に開示の技術は、記録時にシーンチェンジなどの単位毎に分類コードと名前を付けて記録することが記載されているが、適切な分類が行なわれるか不明であり、また記録方法や記録時間によっては多くのコードと名前情報を持つ必要がある問題が考えられる。
【００１０】
上記文献（ｄ）にはカラー映像信号からヒストグラム処理によりショットを分類する技術が開示されているが、分類した後の分類情報データの設定方法や信号処理技術については詳しい技術的開示がなされていない。
【００１１】
上記文献（ｅ）には、あらかじめ複数の特徴を抽出したデータを画像パターンデータとして保持した画像パターンデータベースと入力画像の類似度を算出し分類する技術が開示されているが、あらかじめデータを持つ必要があり、そのため構成がやや複雑になると考えられる。
【００１２】
また上記文献（ｆ）には、あらかじめ事象定義毎に設定された数値を数値情報として記憶した記憶手段を備え、入力映像の事象に基づいて数値映像情報を生成しダイジェスト映像を作成する技術が開示されているが、事象毎に設定された数値情報を記憶した記憶手段を設ける必要があり、そのため構成がやや複雑になることが考えられる。
【００１３】
以上のような観点から、本発明は記録終了後、ダイジェスト再生や要約再生などを行なうための複雑な処理をできるだけ行なわず、処理のための時間をできるだけ待つことなく、ダイジェスト再生や要約再生または記録した内容の映像シーンを効果的に、効率良く把握したいと思った場合に、できるだけ直ぐに、その動作が行なえるようなシステムを、比較的簡単な構成で安価に実現する技術を提案するものである。
【００１４】
【課題を解決するための手段】
本発明の情報信号処理装置は、
（１）所定の情報信号から所定の特性信号を検出する特性信号検出手段と、
（２）上記特性信号検出手段からの信号に応じて上記情報信号を所定の区間毎に自動的に所定の分類処理を行う分類処理手段と、
（３）上記分類処理手段からの信号に応じて、上記分類処理された区間の内で所定の分類処理された区間を含む所定区間のデータを所定の記録媒体に自動的に記録する記録手段と、を備え、
（４）上記記録手段による記録は、上記所定の分類の分類頻度が最も多い情報信号であることを特徴とする。
【００１５】
また、本発明の別の情報信号処理装置は、
（１）所定の情報信号から所定の特性信号を検出する特性信号検出手段と、
（２）上記特性信号検出手段からの信号に応じて上記情報信号の所定の時点毎または区間毎に自動的に分類処理する画像分類処理手段と、
（３）上記情報信号を第１の記録媒体に記録する第１の記録手段と、
（４）上記画像分類処理手段からの信号に応じて、上記分類処理された所定時点または所定区間の内で所定の区間を含み、上記第１の記録媒体に記録される情報信号に含まれる上記情報信号を第２の記録媒体に記録する第２の記録手段と、を備え、
（５）上記第２の記録手段による記録は、上記所定の分類の分類頻度が最も多い情報信号である。
【００１７】
このように、画像信号や音声信号から所定の特性信号を検出し、その特性信号に応じて画像信号、音声信号を自動的に所定の分類処理を行い、分類処理された画像信号、音声信号の内で所定の区間を半導体メモリーなど所定の記録媒体に自動的に記録して、その記録した記録媒体を持ち運び、所定の再生装置で再生することで、場所を選ばず効果的で効率的なダイジェスト再生を実現することができる。
【００１８】
次に、本発明に係る情報信号処理装置及び情報信号処理方法の実施の形態を図面を参照して説明する。
【００１９】
実施の形態を説明する前に、本発明の概要を説明すると、先ず、放送番組を磁気テープ、ハードディスク、光磁気ディスクなどの記録媒体に記録する場合に、画像信号や音声信号から所定の特性信号を検出し、その特性信号により、類似画像シーン毎の分類処理、または所定区間における音声信号の属性毎の分類処理を自動的に行なう。
【００２０】
分類処理された所定の類似画像シーンまたは所定区間の音声信号を半導体メモリーやデイスク状記録媒体などの持ち運び可能な所定の記録媒体に自動的に記録し、その記録媒体を所定の再生装置で再生することで、効率的、効果的に所定のダイジェスト再生が行なえるようにする。
【００２１】
次に、本発明の実施の形態について、図面を用いて以下の順序で説明する。
（１）画像シーンの分類処理方法
（２）分類画像シーンのモニター映像の概念図
（３）画像分類信号処理および識別情報信号生成法の概念
（４）識別情報データ折り返り処理の説明
（５）放送番組における識別情報データ値の特性例
（６）画像分類処理系ブロック構成例
（７）本発明による記録再生装置の概念図
（８）記録再生装置ブロック構成例
（９）動作フローチャートの一例
【００２２】
画像シーンの分類処理方法
図１は本発明の画像シーン分類処理法を説明するための概念図である。
図１（１）は画像系列ａ１、ａ２、ａ３、ａ４、ａ５ −−−−であり、例えば、画像ａ１、ａ２、ａ７、ａ８、ａ１５、ａ１６は各々類似している画像と仮定する。
【００２３】
例えば、図１（１）の画像系列を簡単のため放送番組におけるニュース映像とすると、一般的にニュース番組ではアナウンサーやニュースキャスターの映像シーンの後にニュース映像が続く確率が高く、上記で述べた、類似画像ａ１、ａ２、ａ７、ａ８、ａ１５、ａ１６はアナウンサーやニュースキャスターの登場シーンと想定できる。
【００２４】
ここで、図１（１）の画像系列を入力画像として記録媒体に記録すると同時に記録する画像シーンを類似画像毎に分類することを考える。
【００２５】
図１（２）は、記録する画像シーンを類似画像毎に分類したことを示す概念図であり、各々Ａ、Ｂ、Ｃ、Ｄ毎に画像が類似画像として分類されていることを示している。
【００２６】
例えば、図１（２）Ａの分類ではａ１、ａ２、ａ７、ａ８、ａ１５、ａ１６、−−−− などの画像が分類されており、これらの画像は上記で述べたアナウンサーやニュースキャスターの登場シーンである。
【００２７】
同様に、Ｂの分類はニュース番組におけるニュース映像の類似シーンａ３、ａ４、ａ１１、−−−などが分類されていることを示しており、Ｃの画像分類は類似シーンａ５、ａ６、ａ１３、−−−−−などの画像が分類されていることを示し、Ｄの分類は類似画像シーンａ９、ａ１０、ａ１９−−−−−などの画像が分類されていることを示している。
【００２８】
分類の時間的な基準は、記録やは再生動作開始時を基準にしたり、例えば放送番組のプログラム毎に、そのような時間の基点を設定しても良い。
【００２９】
（２）分類画像シーンのモニター映像の概念図
図２は、上記で説明した図１（２）の分類をモニターで表示した場合の概念図であり、類似画像の系列が水平方向に整理されていることが分かる。
【００３０】
以上のような分類整理を、放送番組などを記録媒体に記録する際に、ほぼ実時間で処理を行い、その分類処理に応じた識別情報信号を、記録媒体に記録することで、再生時に放送番組の再生と共にその識別情報信号を検出することで、すぐに画像分類の表示を行うことができ、それにより記録した内容が効果的にまた効率良く短時間に把握することができる。
【００３１】
これにより、ユーザーは分類整理された画像を見て、見たいと思う画像シーンの系列を選択し、その系列の画像シーンを含む所定の時間区間を再生することで記録した放送番組を、従来以上に効果的に、効率良く、短時間でダイジェスト再生することができる。
【００３２】
（３）画像分類信号処理および識別情報信号生成法の概念
図３は、画像分類信号処理および識別情報信号生成の信号処理方法の概念図であり、ここには、画像データから検出された特性データを記憶するメモリー系と、それに対応した識別情報信号を記憶するメモリー系の２つがある。
【００３３】
各々のメモリー系は物理的に別々のメモリー系でも良く、また一つのメモリー系の記憶領域を各々の所定データが記憶できるように分割して使用するようにしても良い。
【００３４】
また、これらメモリー系は所定の制御信号に応じて所定の記憶領域に記憶した所定のデータが逐次所定の記憶領域に移動動作を行うメモリー系または、リングバッファーメモリー系と同様の動作を行うメモリー系とする。
【００３５】
ここで、上記特性データは、入力画像データを所定のＡ／Ｄ変換処理したベースバンド画像データまたは、その画像データをＭＰＥＧ２やウェーブレット変換など所定の帯域圧縮処理を施した信号から検出することができる。
【００３６】
例えば、図４に示すように１画面を６４分割して、それぞれの分割領域における輝度信号や色差信号の平均データ、または圧縮処理された画像データで例えば、ＭＰＥＧ２のデータである場合は各々の分割領域におけるＤＣＴ係数の平均データを用いることができる。
【００３７】
また、ウェーブレット変換データである場合は、各々の分割領域におけるウェーブレット変換係数の平均データや、ウェーブレット変換係数から求めた各々の分割領域における画像の所定しきい値以上のエッジ数を特性データとして考えることもできる。
【００３８】
ここでは、簡単のため、図３に示すように、特性データメモリー系はdinおよび d1〜d16、識別データメモリー系は、einおよびe1〜e16を設定するものとして説明するが、各々のメモリー系のメモリー容量はさらに大きく設定して良く、例えば、１分から３０分間における画像シーンの特性データ、識別情報データが記憶できるように設定する。
【００３９】
ここで、記憶する特性データは記録する放送番組に応じた毎フレーム毎の特性データとする必要はなく、例えば、シーンチェンジ検出を行い、シーンチェンジ毎の特性データとしたり、また所定フレーム毎、例えば１０フレーム間隔毎の特性データとすることも考えられる。
【００４０】
画像信号がＭＰＥＧで圧縮処理されている場合は、Ｉピクチャーにおける画像データやＭＰＥＧデータストリームにおける所定データとするなど、所定ピクチャー毎に処理することも考えられる。
【００４１】
このようにＭＰＥＧデータストリームでＩピクチャーなど特定のピクチャー毎に処理を行なう場合は、ＭＰＥＧデータストリームの所定の識別データを検出することで、所定の処理を行なうことができる。
【００４２】
識別情報データは記憶する特性データに対応するものを記憶するので、上記の特性データの記憶容量に応じて、識別情報データ記憶容量も変化する。
【００４３】
このように、毎フレーム毎の画像データの特性データを連続して記憶することなく、シーンチェンジ毎や所定フレーム間隔毎に応じて記憶することで、メモリーの記憶容量を削減することができる。
【００４４】
入力した画像データの特性データは逐次、メモリー系の所定記憶領域 din に記憶され、dinの特性データはすでに記憶されているd0〜d16のデータと所定の演算処理が行われる。
【００４５】
ここで、所定の演算処理として、上記で述べた画面における各々の分割領域におけるデータを成分とする特性ベクトルを考え、ユークリッド距離または、その他のベクトル距離演算を考えることができる。
【００４６】
例えば、dinに記憶された上記で述べた図４のような分割画面に対応するベクトル成分を、aｉ(ｉ= 0〜63)、特性データメモリー系のｎ記憶領域におけるベクトル成分をｂni(i = 0〜63)、とすると、ベクトル距離 L は、
【００４７】
【数１】
または、
【００４８】
【数２】
【００４９】
などのように演算することができる。
【００５０】
ここで、図３の例では、d7におけるベクトル距離が最小Lminで、所定のしきい値Lth以内であると仮定する。
【００５１】
【数３】
【００５２】
d7に対応する記憶領域はe7で、このe7に記憶されている識別情報信号をdinの識別情報信号に割り当てるものとする。
【００５３】
上記のように特性データの所定演算が終了して、識別情報信号の割り当てが決まったら、dinの特性データは、特性データメモリー系の記憶領域 d0に記憶領域を移動する。
【００５４】
d1 に記憶されていた特性データは、d2 の領域に移動し、di に 記憶されていた特性データは、di+1 の領域に順次移動する。
【００５５】
同様に、割り当てが決まった識別情報信号は einに記憶されていたが、e0の記憶領域に移動し、e1 の記憶領域の識別情報信号は e2 に移動し、ei の識別情報信号は、ei+1 に順次移動する。
【００５６】
ここで、上記で説明した特性データの所定演算において、演算値 Lmin が所定しきい値の範囲にない場合、すなわち、
【００５７】
【数４】
【００５８】
の場合は、e0〜e16 に記憶されている以外の識別情報信号を割り当てるものとする。
【００５９】
通常は、簡単のため、識別情報データメモリー系に記憶されているe0〜e16のデータの中から最大値を検出し、その最大値を１インクリメントしそれが所定最大値を超えない場合は、そのデータ値を新しい識別情報データ値とし、１インクリメントすることで所定最大値を超える場合は、０を新しい識別情報データ値として割り当てる。
【００６０】
その後の処理で、同じように所定最大値を超える場合は、新しく０を設定した値から順次１インクリメントしたデータ値を新しい識別データ値として割り当てる。
【００６１】
このように所定最大値を超えた場合に、新しく０設定したデータ値から１ずつインクリメントすることは、時系列的に考えれば、ここで設けたメモリー系の記憶容量よりも前の、古いデータを上書き、または捨てて新しいデータを順位割り当てることを意味している。
【００６２】
これは、放送番組などを処理対象とする場合に、あまり時間的に前の類似画像を検出して分類しても、見ている人の画像に対する記憶や印象が薄れて、分類処理してダイジェスト再生やスキミング動作、あるいは記録した内容の把握を目的とした動作に対して、あまり優位性が認められないであろうという仮定と、メモリー容量を大きくするより、ある程度の所定メモリー容量でシステムのコストを抑え所定の動作が行える方がユーザーに対して優位性が認められるであろうという仮定に基づいている。
【００６３】
例えば、e0〜e16の記憶領域にはすでに、0000H 〜000FH（16進）の識別データが記憶されていて、上記（1.3) の条件の場合は、d7の特性データには、0010H の識別データを割り当てるものとする。
【００６４】
次の演算処理を行なう映像シーンでの識別データを割り当てが、所定しきい値より大きく、(1.4)の条件の場合は、上記で述べたように、e0〜e16における最大値は、000FH と仮定しているので、１インクリメントした、0010H を割り当てるように処理を行う。
【００６５】
ここで、識別データの割り当てがFFFFHでいっぱいになった場合は、0000Hに戻るものとする。
【００６６】
そして、前記したように、この0000Hから順次、１インクリメントするように識別情報データ値を割り当てるように動作を行う。
【００６７】
このように割り当てられた einの識別データを、記録する画像シーンのデータと共に所定記録媒体に記録し、再生時に検出を行うことで、同じ識別データの映像シーンは、複雑な信号処理や長い処理時間を待つことなく、すぐに類似画像であると判定できる。
【００６８】
上記の例では識別データを 0000Hのように２バイトで説明したが、これに限ることなく、さらに多くの識別データを設定できるようにしても良い。
【００６９】
特性データ記憶領域および識別情報データ記憶領域の容量が少なく、設定する識別データのバイト数が小さいと、類似画像でないにもかかわらず、同じ識別データが割り当てられる確率が高くなるので、類似画像検出の頻度を考慮してメモリー容量および識別データのバイト数を設定する必要がある。
【００７０】
（４）識別情報データ折り返り処理の説明
図５は、識別情報データが順次増加し、最大値を超える場合の処理法を説明するための概念図である。
【００７１】
上記で説明したように、上記(1.4)式に示すように所定しきい値の範囲にない場合は、識別情報データメモリー系に記憶されているデータの最大値を検出し、１インクリメントして割り当てることになるが、図５区間Ａｎに示すｂ点のようにFFFFHと識別情報データがいっぱいになった場合は、区間Ａｎでない区間Ａｎ＋１における最大値のｄ点を検出して１インクリメントする必要がある。
【００７２】
そのため、例えば、図５に示すように区間Ａｎと区間Ａｎ＋１のように区間を識別する識別信号Ｐを設定し、識別データ値がいっぱいになり、データ値をリセットする毎に識別信号Ｐが変化することを考える。
【００７３】
図５の例では、簡単のため、Ｐの設定値として、０、１が交互に変化するようにしてあり、識別データ値がいっぱいになりFFFFHのを超えて、設定すべき識別情報データ値を折り返す必要がある場合は、その折り返す前の区間の識別情報データの最大値は、動作初期区間Ａ０の場合を除き、FFFFHになるので、前記した条件式（1.4）の場合で類似画像検出が行なえず、識別情報信号を新たに設定する場合も問題なく所定の信号処理を行なうことができる。
【００７４】
（メモリー記憶容量の一例）
ここで、識別データのメモリー容量を考えてみる。
放送番組などの映像シーンを記録することを考えた場合に、特別な場合を除き、頻繁にシーンチェンジが起きる確率はあまり高くないと想定できるので、例えば、３０フレーム毎秒の画像を１０フレーム毎に特性データを記憶し、所定の演算を行うと仮定する。
【００７５】
また、類似画像が出現する時間間隔は、長い時間がたった後に出現する確率はあまり大きくないと仮定し、３０分間位の間で類似画像検出を行うことを考える。
【００７６】
例えば、１０フレーム毎にシーンチェンジが起こり、新しい識別データを割り当てると仮定するし、３０分では、
30（分）× 60（秒）× 10（フレーム／秒）= 18000
なので、前記した２バイトの識別データでも十分対応できることが分かり、識別データ折り返りのための識別データ区間を２つ設定すると仮定すると、識別情報データメモリー系の記憶容量は、高々、
18000 × 2（バイト）× 2（区間） ＝ 70.3（KByte）
となる。
【００７７】
また、特性データの記憶容量は、例えば、前記したように６４次のベクトル成分を考え、１成分１バイトとすると、３０分では、
18000 × １（バイト）× 64（成分）= 1.1（MByte)
となる。
【００７８】
上記で計算したメモリー容量は、画像分類演算の間隔をさらに広げれば、もっと少ないメモリー容量で対応できることが分かる。
【００７９】
（５）放送番組における識別情報データ値の特性例
図６は、ある放送番組を本発明の処理により画像分類した場合の時系列的なフレーム番号に対する割り当てられた識別情報データ値の特性である。
【００８０】
図６において（ａ）または（ｂ）のように同じ識別情報データの場合は、それに対応するフレーム番号の映像シーンは類似画像として分類される。
【００８１】
そして、類似画像が検出されない場合は、図６に示す通り時間が経過すると共に識別情報データ値が増加するようになる。
【００８２】
また、図７は図６の識別情報データに対する出現頻度の特性で、（ｂ）の700が一番出現頻度（割り当て頻度）が大きく、（ａ）の０が２番目に大きいことがわかる。
【００８３】
（６）画像分類処理系ブロック構成例
図８は、前記した画像分類処理法による本発明の画像分類処理系のブロック構成例であり、画像データを検出する画像データ検出系３０と、検出された画像データを記憶する特性データメモリー系３１と、記憶されている特性データと逐次検出される特性データとでベクトル距離演算をする演算処理系３２と、所定領域の各々のデータを生成する識別情報データ生成系３３と、この所定領域の各々のデータを記憶する識別情報データメモリー系３４と、システムコントローラ系１７とからなる。
【００８４】
このような構成において、特性データ検出系３０には、Ａ／Ｄ変換された所定の画像データまたは、所定の帯域処理が施されたＭＰＥＧ２などの画像データが入力し、所定の特性データが検出される。
【００８５】
特性データ検出系３０からの信号は特性データメモリー系３１に入力し、所定の記憶領域に記憶される。
【００８６】
演算処理系３２では、特性データメモリー系３１に記憶されているデータと、逐次、検出される特性データとがベクトル距離演算など所定の演算処理がなされ、その演算結果はシステムコントローラー系１７に入力する。
【００８７】
またシステムコントローラー系１７は、特性データメモリー系３１および識別情報データメモリー系３４に記憶されている所定領域の各々のデータを順次、前記で説明したように、所定の記憶領域に移動するように制御する。
【００８８】
これにより、逐次検出される特性データは、新しく特性データメモリー系３１に記憶されることになる。
【００８９】
システムコントローラー系１７では演算処理系３２からの信号を受け取り、所定しきい値の範囲にあるか判定し、所定しきい値の範囲にある場合は、上記所定演算最小値が得られた特性データメモリー系３１のデータに対応した、特性情報データメモリー系３４に記憶された識別情報データを読み出し、演算処理を行った画像シーンの識別データとして割り当て出力する。
【００９０】
また、演算処理系３２からの演算値が所定しきい値の範囲にない場合は、識別情報データメモリー系３４に記憶されている識別データ値の最大値を検出し、そのデータ値を１インクリメントし、それが所定最大値を超えない場合は、新しい識別情報データ値とし、１インクリメントすることで所定最大値を超える場合は、０を新しい識別情報データとし、以後の処理で同様にしきい値を超える場合は、この０から順次１ずつインクリメントしたデータを新しい識別情報データとして割り当て出力する。
【００９１】
（７）本発明による記録再生装置の概念図
図９は、本発明による記録再生装置の概念図である。
この概念図では、簡単のため、記録再生装置内部に、第１の記録媒体としてハードディスク（ＨＤＤ）記録媒体１００が備えられており、第２の記録媒体として半導体メモリーや小型ディスク状記録媒体などの装着、着脱可能（リムーバブルな）記録媒体１１０が備えられている。
【００９２】
第１の記録媒体（１００）は、上記のようにＨＤＤに限らず、テープ状記録媒体や光磁気ディスクなどのディスク状記録媒体でも良く、また第２の記録媒体１１０は上記のような記録媒体に限らず、小型テープ状記録媒体や、リムーバブルな小型ハードディスクなどでも良い。
【００９３】
（８）記録再生装置ブロック構成例
（記録処理系の説明）
図１０は本発明を適用した情報信号記録再生装置のブロック構成例であり、音声信号をＡ／Ｄ変換する音声Ａ／Ｄ変換処理系１と、Ａ／Ｄ変換された音声信号をエンコードする音声エンコーダー処理系２と、映像信号をＡ／Ｄ変換する映像Ａ／Ｄ変換処理系３と、Ａ／Ｄ変換された映像信号をエンコードする映像エンコーダー処理系４と、画像の分類をする画像分類処理系５と、音声及び映像及び分類された画像を多重化する多重化処理系６と、多重化したデータの記録を処理する記録処理系７と、実際に記録する媒体である記録媒体系８と、再生を制御する再生制御系９と、再生処理系１０と、再生データを分離する再生データ分離処理系１１と、音声信号をデコードする音声信号デコード処理系１２と、音声信号をＤ／Ａ変換する音声Ｄ／Ａ処理系１３と、映像信号をデコードする映像デコード処理系１４と、映像信号をＤ／Ａ変換する映像Ｄ／Ａ処理系１５と、再生データ分離処理系１１により分離された信号から識別信号を検出する識別信号検出系１６と、システムコントローラー系１７と、ユーザの入力を許容するユーザー入力Ｉ／Ｆ系１８と、多重化処理系６により多重化されたデータを処理する記録処理系１９と、記録する記録媒体系２１とからなる。
【００９４】
このような構成において、先ず始めに、記録処理系について説明する。
【００９５】
入力した音声信号は音声信号Ａ／Ｄ変換処理系１において所定のＡ／Ｄ変換処理がなされ、音声エンコーダー処理系２でＭＰＥＧオーディオなど所定の帯域圧縮処理が行われ多重化処理系６に入力する。
【００９６】
映像信号は映像Ａ／Ｄ変換処理系３で所定のＡ／Ｄ変換処理が行われ、映像エンコーダ処理系４ではＭＰＥＧ２など所定の帯域圧縮処理が行われ多重化処理系６に入力する。
【００９７】
画像分類処理系５は前記で説明したようなブロック構成で、映像Ａ／Ｄ変換処理系３からの信号または映像エンコーダー処理系４からの信号が入力し、記録する放送番組などの映像シーンを、システムコントローラー系１７からの制御信号により記録時に自動的に所定の分類整理、識別処理を行い、所定の識別情報信号を生成して多重化処理系に入力する。
【００９８】
この識別情報信号はシステムコントローラー系１７を介して生成するようにしても良く、この場合はシステムコントローラー系の制御によりまたはシステムコントローラー系１７において生成された所定の識別情報信号が多重化処理系６に入力する。
【００９９】
音声信号については、音声信号Ａ／Ｄ変換処理系１または音声エンコーダー処理系２からの所定区間毎の信号が、音声信号分類処理系２０に入力し、スペクトルピークの継続性を検出し、音楽信号であるかどうかの判定を行う。
【０１００】
（音声信号分類処理系ブロック構成例）
図１１は音声信号分類処理系２０のブロック構成の一例であり、音声信号の所定区間を検出する所定信号区間検出系４１と、ＦＥＴ処理するＦＥＴ信号処理系４２と、ピークの周波数を検出するピーク周波数検出系４３と、ピーク周波数の継続性を判定するピーク周波数継続性判定系４４とからなる。
【０１０１】
このような構成において、先ず、音声信号は、所定信号区間検出系４１に入力し、例えば、０．５秒位から５秒位の間の所定区間を切り出され、ＦＦＴ信号処理系４２に入力する。
【０１０２】
音声信号を上記のような所定区間切り出すのは、人が音声信号を聞いて、その音声信号が音楽であるかどうか判定するには、あまり短い時間ではその音声信号が音楽であるか人の声であるかなどの音声信号の属性を判定できないからである。
【０１０３】
ＦＦＴ信号処理された信号は、ピーク周波数検出系４３に入力し、スペクトルピーク周波数を検出し、ピーク周波数継続性判定系４４において所定区間にわたりピーク周波数が継続しているかにより、音声信号が音楽信号であるか、そうではないかの判定がなされる。
【０１０４】
画像分類処理系５、音声分類処理系２０による判定結果はシステムコントローラー１７を介すか、直接、所定の第２の記録媒体系２１を制御し、多重化処理系６からの信号を、第２の記録処理系１９を介して、分類頻度の最も多いシーンなど所定の分類の画像シーンおよび音声区間を第２の記録媒体系２１に自動的に記録する。
【０１０５】
第２の記録媒体２１に記録する画像データ、音声データは、上記のように分類頻度の最も多い分類に限らず、例えば、音声信号分類で音楽区間と判定された区間のみを、システムコントローラー系１７の制御により自動的に記録するなどの動作をしても良い。
【０１０６】
また、あらかじめユーザーが分類頻度の何番目かを設定しておき、自動的にその分類の画像データや音声データを記録するようにしても良い。
【０１０７】
ここで、上記による画像シーンの分類処理または音声信号の分類処理による識別情報信号はシステムコントローラー系１７を介して生成するようにしても良く、この場合はシステムコントローラー系の制御により、またはシステムコントローラー系１７において生成された所定の識別情報信号が多重化処理系６に入力する。
【０１０８】
多重化処理系６では、入力した各々の信号を所定の多重化処理を行い、第１の記録処理系７において誤り訂正符号付加やインターリーブ処理など所定の記録処理を施し、所定の第１の記録媒体８に記録する。
【０１０９】
（本体側再生処理系の説明）
次に図１０の再生処理系について説明する。ここで第1の記録媒体系８に記録された、画像、音声信号を再生して再生の他にダイジェスト再生を行なう場合も説明する。
【０１１０】
所定の第1の記録媒体８から再生された情報信号は、再生処理系１０でデインターリーブ処理など所定の処理が行われた後、再生データ分離処理系１１に入力して、記録時に多重化処理された所定の信号を各々分離処理する。
【０１１１】
分離処理された音声信号は音声デコード処理系１２に入力し、記録時に所定の圧縮処理された音声データをデコード処理され、その後 デコード処理された音声データは、次の音声Ｄ／Ａ処理系１３に入力し所定のＤ／Ａ変換処理が行われて音声出力する。
【０１１２】
分離処理された映像信号は映像デコード処理系１４に入力し、記録時に所定の圧縮処理が行われた映像データをデコード処理し、デコード処理された映像データは次の映像Ｄ／Ａ変換処理系１５に入力し所定のＤ／Ａ変換が行われた後、映像出力する。
【０１１３】
また、分離処理処理された所定の識別情報信号は、識別信号検出系１６に入力し、ダイジェスト再生やスキミング再生処理に必要な識別情報データを検出し、システムコントローラー１７に入力する。
【０１１４】
ダイジェスト再生やスキミング再生など所定の特殊再生動作を行いたい場合は、ユーザーはユーザー入力インターフェース（Ｉ／Ｆ）系１８を介して、システムコントローラー系１７にコマンド入力を行う。
【０１１５】
システムコントローラー系１７はユーザーからのコマンド情報を受け取り、再生再生制御系９を制御し、分類処理された画像系列の中からユーザーが所望する画像系列の再生が行われるように、記録媒体系８からの再生を制御する。
【０１１６】
（第２の記録媒体の再生処理系）
図１２は第２記録媒体２１を再生する再生装置のブロック構成例であり、記録媒体系２１と、それを制御する記録媒体制御系５６と、再生をする再生処理系５０と、再生データを分離処理する再生データ分離処理系５１と、音声信号をデコードする音声デコード処理系５２と、音声信号をＤ／Ａ変換して出力する音声Ｄ／Ａ処理系５３と、映像信号を処理する映像デコード処理系５４と、映像信号をＤ／Ａ変換して出力する映像Ｄ／Ａ処理系５５と、システムコントローラー系１７と、ユーザー入力Ｉ／Ｆ系１８とからなる。
【０１１７】
このような構成において、先ず、この第2の記録媒体系２１は、前記したように、放送番組などにおける所定のダイジェスト再生用の画像信号、音声信号などが記録されているので、この第2の記録媒体を通常再生することで所定のダイジェスト再生または所定の区間だけを容易に再生することができる。
【０１１８】
この第2の記録媒体系２１は、所定の筐体に容易に装着および着脱可能なもので、システムコントローラー系１７の制御により、記録媒体制御系５６を制御して記録されたデータの読み出し動作の開始、停止などを行なう。
【０１１９】
読み出されたデータは、再生処理系５０において、誤り訂正処理など所定の信号処理が行われ、次の再生データ分離処理系５１に入力し、画像データおよび音声データが所定の分離処理される。
【０１２０】
分離処理された音声データは、音声デコード処理系５２に入力し所定のデコード処理が行われた後、音声Ｄ／Ａ処理系５３において所定のＤ／Ａ変換信号処理が行われ音声出力する。
【０１２１】
同様に、分離処理された画像データは、映像デコード処理系５４に入力し所定のデコード処理が行われ、映像Ｄ／Ａ処理系５５で所定のＤ／Ａ変換信号処理が行われて映像出力する。
【０１２２】
この再生装置のブロック構成は簡単なものなので、装置を持ち運び可能な携帯型に組み上げることができ、場所などを気にせず、容易に第２の記録媒体を再生することができ、手軽にダイジェスト再生を実現できる。
【０１２３】
（８）本発明の動作フローチャートの一例
図１３は本発明の動作フローチャートの一例である。Ｓ０ からスタートし、Ｓ１において、前記したように、識別情報データ値がいっぱいのＦＦＦＦＨになって設定データを折り返した場合のメモリー区間識別のために、識別Ｐを設けておき、その初期設定Ｐ＝０を行い、Ｓ２で、画像情報データを入力して、Ｓ３で特性データを検出する。
【０１２４】
Ｓ４において、上記検出した特性データから特性ベクトルを生成して、後のベクトル距離演算のため、Ｓ５において特性データ用の所定のバッファメモリー領域に一時的に記憶する。
【０１２５】
Ｓ６は後で説明する特性データ演算処理ルーチンで、上記Ｓ５のバッファメモリーに記憶されている特性ベクトルのデータを読み出し、これを基準ベクトルとして特性データメモリー系に記憶されているデータと所定の演算を行う。
【０１２６】
Ｓ６で所定の演算処理が行われ、所定の識別情報信号が、Ｓ７において演算を行った基準ベクトルに対応する画像シーンに割り当てられて、Ｓ８でその識別情報信号は、識別情報信号用のバッファメモリー領域に、一時的に記憶される。
【０１２７】
その後、Ｓ９では、所定の圧縮処理を施された音声データ、画像データと所定の多重化処理が行われる。
【０１２８】
Ｓ１０では、第2の媒体に所定のダイジェスト再生用の画像データ、音声データを自動的に記録するため、分類処理された識別ＩＤが所定のＩＤ値かどうかが判定され、所定のＩＤの場合はＳ１１で所定の記録処理が行われ、第２の記録媒体に所定ＩＤ区間の画像、音声データが記録される。
【０１２９】
Ｓ１０において所定のＩＤでないと判定された場合は第２の記録媒体には所定の画像、音声データは記録されず、次のＳ１２に移行する。
【０１３０】
Ｓ１２は第２の記録媒体の記録を停止するかどうかの判定がなされ、停止の場合はＳ１６で記録モードを停止する。
【０１３１】
Ｓ１２で第２の記録媒体の記録を停止しない場合は、記録モードを停止せず、Ｓ１３に移行し、第１の記録媒体に所定の放送番組などを、所定プログラム時間、または所定区間にわたり記録するため所定の記録処理が行われる。
【０１３２】
Ｓ１４では、システム全体の動作を停止するかどうかの判定がなされ、停止する場合はＳ１５において、動作を終了し、動作を継続する場合は、Ｓ１７に移行し、特性データ用バッファーメモリー領域に記憶されているデータと特性データメモリー系に記憶されている各データは所定のメモリー記憶領域に順次移動する。
【０１３３】
同様に、識別情報データ用バッファーメモリー領域に記憶されていたデータと識別情報データメモリー系に記憶されているデータも各データが所定のメモリー記憶領域に移動する。
【０１３４】
Ｓ１７で特性データおよび識別情報データが所定のメモリー記憶領域移動を行った後、Ｓ２ に戻り上記で述べた動作を繰り返す。
【０１３５】
（特性データ演算処理のフローチャート）
次に、Ｓ６における特性データ演算処理のフローチャートについて説明する。図１４は、その動作フローチャートの一例であり、Ｔ１で特性データメモリー系のメモリー領域番号と対応した演算回数の初期設定ｉ＝０を行う。
【０１３６】
Ｔ２は、識別情報信号の識別値の初期設定 ｎ＝０ を行い、Ｔ３ では特性データメモリー系の、すべての領域におけるデータと所定の演算処理が終了したかどうかの判定が行われる。
【０１３７】
Ｔ３でＮＯの場合はまだ、特性データメモリー系すべてのデータと演算処理が終了していないので、これ以降の所定のベクトル距離演算ループに移行する。
【０１３８】
Ｔ４では、特性データメモリー系から、メモリー領域ｉの所定の特性データベクトルを読み出し、Ｔ５において所定の演算処理を行い、その演算値（ベクトル距離演算値）をＧｉとする。
【０１３９】
Ｔ６において、演算値の最小値を求める処理を行うための初期値設定値を行うため、一番最初 ｉ＝０の演算値であるかどうかが判定され、Ｔ７で最小値を求めるための初期設定Gmin= G0を行う。
【０１４０】
Ｔ６で、一番最初の演算ではないと判定される場合は、Ｔ９に移行し、演算値Giが、前の演算値Gminより小さいかの判定が行われ、ＹＥＳの場合はＴ１０においてGminを今の演算値Giで置き換えると共に、Ｔ１１で識別情報信号値ｎを置き換えて ｎ＝ｉ として、Ｔ８に移行する。
【０１４１】
Ｔ６において、ＮＯの場合には、演算値は置き換えず、次のデータ演算を行うため、Ｔ８に移行し特性データメモリー系のデータ読み出し領域を移動し、ｉを１インクリメントしてＴ３に戻り処理を繰り返す。
【０１４２】
Ｔ３において、特性データメモリー系すべての所定領域との演算が終了したと判定された場合は、演算の結果の最小演算値が求まっているので、 Ｔ１２でそれが所定の設定しきい値Ｇth以内かどうかの比較処理が行われる。
【０１４３】
Ｔ１３において、所定しきい値以内と判定される場合は、上記で説明した演算処理ループで求まった識別情報値ｎが、演算処理を行った映像シーンに対応する識別情報値となり、前記した Ｓ７の処理に移行し、識別情報値として割り当てられる。
【０１４４】
Ｔ１３ においてＮＯの場合は所定しきい値以内でないので、Ｔ１４ に移行し、識別情報データメモリー系に記憶されているデータ値の最大値nmaxを算出し、Ｔ１５で、算出された最大値 nmax を１インクリメントした値を新しい識別情報データ値ｎとする。
【０１４５】
Ｔ１６では、新しく設定された識別情報データ値ｎが、所定値の範囲である、ＦＦＦＦＨに収まっているかの判定がなされ、ＹＥＳの場合は、前記したＳ７に移行して、演算処理を行った映像シーンに対応する識別情報値となり、識別情報値として割り当てられる。
【０１４６】
Ｔ１６でＮＯの場合は、割り当てようとする識別情報データの値が、許容値を超えるので、Ｔ１７において一度ゼロクリアして識別情報値として割り当てることになり、Ｔ１８でこのゼロクリアして設定したメモリー区間の識別データＰを、識別情報データ値の最大値がＦＦＦＦＨとなったメモリー区間のＰが１の場合は０を、０の場合は１となるように反転して設定する。
【０１４７】
（識別情報データメモリー系記憶データの最大値算出処理Ｔ１４）
次に、上記で述べた、Ｔ１４の識別情報データメモリー系に記憶されている、データの最大値を算出する処理フローチャートについて説明する。
【０１４８】
図１５において、Ａ１で、識別データＰの処理回数初期設定ｊｐ＝１ とし、最大値算出の初期値として、Ａ２においてｊ＝０における識別情報データ値ｎ０を設定する。
【０１４９】
Ａ３で、処理回数が、識別情報データメモリー系の記憶領域の個数を超えないかどうかの判定がなされ、ＹＥＳの場合はＡ４に移行して、今までの処理における最大値ｎｍａｘと比較し、大きか小さいかの判定処理を行う。
【０１５０】
Ａ４でＹＥＳと判定された場合は、Ａ５でｎｍａｘをｎｊｐに置き換え、Ａ６で処理回数を１インクリメントし、Ａ３に戻り、処理を繰り返す。
【０１５１】
Ａ３でＮＯと判定された場合は、識別データｐでの識別情報データメモリー系の記憶領域すべてを比較し最大値が算出されたので、Ａ７において検出された最大値ｎｍａｘが、許容されている最大のＦＦＦＦＨと等しいかの判定がなされ、ＮＯの場合は、算出最大値として処理を終了し、前記した、Ｔ１５に移行する。
【０１５２】
Ａ７でＹＥＳの場合は、Ａ８に移行し、識別データＰを反転し、異なるメモリー区間における最大値検出するため、Ａ１に戻り、最大値検出の処理をもう一度行なう。
【０１５３】
【発明の効果】
本発明により放送番組などを記録する際に、自動的に画像シーンの分類、インデキシング処理が行われると共に、所定のダイジェスト再生用画像データ、音声データが所定の記録媒体に自動的に記録されるので、その記録媒体を再生するだけで容易に、効果的なダイジェスト再生が実現できる。
【０１５４】
また、このダイジェスト再生用データが記録された記録媒体を再生する再生装置のブロック構成は簡単な構成で実現できるので携帯用の装置として組み上げることができ、このダイジェスト再生用の小型記録媒体を持ち運ぶだけで、場所を選ばず、効率的に短時間で所定の放送番組などの内容を把握することができる。
【０１５５】
本発明の装置、方法などは、所定の放送番組をすべて記録する本体のシステム装置に容易に付加することができ、信号処理の構成も簡単で、廉価に付加価値のある機能が実現できる。
【図面の簡単な説明】
【図１】本願発明に係る画像シーンの分類処理方法を示した説明図である。
【図２】同分類画像シーンのモニター映像の一例を示した概念図である。
【図３】同画像分類処理および識別情報信号生成の説明図である。
【図４】同画面分割による特性データ（特性ベクトル）生成の説明図である。
【図５】同識別情報データ値折り返り処理方法を示した説明図である。
【図６】同識別情報データ値の時系列特性の一例を示した説明図である。
【図７】同識別情報データ値の頻度特性の一例を示した説明図である。
【図８】同画像分類処理系ブロック構成例である
【図９】同記録再生装置の概念図である。
【図１０】同記録再生装置ブロック構成図である。
【図１１】同音声信号分離処理系ブロック処理系を示したブロック図である。
【図１２】同再生装置ブロック構成例である。
【図１３】本発明の全体動作を示したフローチャートである
【図１４】本発明の特性データ算出処理を示したフローチャートである。
【図１５】本発明の識別情報データ最大値算出処理動作を示したフローチャートである。
【符号の説明】
１：音声Ａ／Ｄ変換処理系、２：音声エンコーダー処理系、３：映像Ａ／Ｄ変換処理系、４：映像エンコーダー処理系、５：映像分類処理系、６：多重化処理系、７：（第１）記録処理系、８：（第１）記録媒体系、９：再生制御系、１０：再生処理系、１１：再生データ分離処理系、１２：音声デコード処理系、１３：音声Ｄ／Ａ処理系、１４：映像デコード処理系、１５：映像Ｄ／Ａ処理系、１６：識別信号検出系、１７：システムコントローラー系、１８：ユーザー入力Ｉ／Ｆ系、１９：（第２）記録処理系、２０：音声信号分離処理系、２１：（第２）記録媒体系、３０：特性データ検出系、３１：特性データメモリー系、３２：演算処理系、３３：識別情報データ生成系、３４：識別情報データメモリー系、４１：所定信号区間検出系、４２：ＦＦＴ信号処理系、４３：ピーク周波数検出系、４４：ピーク周波数継続性判定系、５０：再生処理系、５１：再生データ分離処理系、５２：音声デコード処理系、５３：音声Ｄ／Ａ処理系、５４：映像デコード処理系、５５：映像Ｄ／Ａ処理系、５６：記録媒体制御系、１００：第１記録媒体、１１０：第２記録媒体
【発明の属する技術差分野】
本発明は放送番組における映像信号や音声信号などの情報信号を、逐次、類似画像シーンまたは音声信号の属性毎に自動的に分類処理し、その分類処理された情報信号で所定の区間を半導体メモリーなどの記録媒体に記録し、ユーザーが容易に効果的なダイジェスト再生が行えるための技術に関するものである。
【０００２】
【従来の技術】
ＭＰＥＧなどの画像圧縮技術が広く民生用記録再生装置に利用され、また比較的長時間記録可能でアクセス性の良いＨＤＤ（ハードディスク）や光磁気ディスクが比較的低価格で普及し、放送番組などが手軽に長時間記録できるようになっている。
【０００３】
このように長時間記録した放送番組などを再生して楽しもうとすると、限られた時間の中では効率良く再生する必要があり、従来技術では例えば、２倍速再生などの通常再生速度よりも高速動作を行い短時間で再生することが考えられる。
【０００４】
より効果的な短時間再生を行なうことを目的として、映像の変化やカメラパン、または音声認識など技術を用いて、要約を行なっても映像シーンの内容が把握できる意味のあると思われる部分を検出して再生する技術が知られている。
【０００５】
また、記録時に自動的に分類し、識別情報を付加して記録し再生時に検索や頭出しを行なう技術も知られている。
【０００６】
例えば、公知技術文献としては以下に示すようなものがある。
（ａ）Michael A.Smith and T.Kanade,"Video Skimming and Characterization through the Combination of Image and Language Understanding Techniques",IEEE CVPR,（ p775-p781）
（ｂ）特表平10−507554「探索できるディジタルビデオライブラリを作成する方法および装置ならびにそのようなライブラリを利用するシステムおよび方法」
（ｃ）特開平７−45050「自動分類記録装置」
（ｄ）特開平７−29007「映像特徴処理方法」
（ｅ）特開平11−328422「画像識別装置」
（ｆ）特開2000−261754「ダイジェスト作成装置、ダイジェスト作成方法およびその方法の各工程をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体」
【０００７】
【発明が解決しようとする課題】
しかしながら、例えば、２倍速再生など高速再生を行なう場合は自分が見たいと思う映像シーン以外の区間も再生されることになり、ダイジェスト再生など短時間再生を行なう場合は効率があまり良いとは言えず、また、記録した映像の内容の概要を、効率良く、すぐに知りたいと思っても、ダイジェスト再生などの特殊再生動作を行う必要があり、記録媒体に記録した内容の映像シーンを効率良く、効果的にすぐ把握できるとは言い難い。
【０００８】
上記の文献（ａ）、（ｂ）などは特徴的な映像区間と音声区間を選択し、合成して得られた部分をつなぎ合わせて要約再生する技術が開示されているが、このような技術では、例えば、所定の記録媒体に記録した後に、特徴的な映像区間や音声区間を選択する特別な処理を行なうことが一般的で、そのため記録終了の後に、ダイジェスト再生や要約再生を行なうための信号処理時間を待たなければならない。
【０００９】
上記文献（ｃ）に開示の技術は、記録時にシーンチェンジなどの単位毎に分類コードと名前を付けて記録することが記載されているが、適切な分類が行なわれるか不明であり、また記録方法や記録時間によっては多くのコードと名前情報を持つ必要がある問題が考えられる。
【００１０】
上記文献（ｄ）にはカラー映像信号からヒストグラム処理によりショットを分類する技術が開示されているが、分類した後の分類情報データの設定方法や信号処理技術については詳しい技術的開示がなされていない。
【００１１】
上記文献（ｅ）には、あらかじめ複数の特徴を抽出したデータを画像パターンデータとして保持した画像パターンデータベースと入力画像の類似度を算出し分類する技術が開示されているが、あらかじめデータを持つ必要があり、そのため構成がやや複雑になると考えられる。
【００１２】
また上記文献（ｆ）には、あらかじめ事象定義毎に設定された数値を数値情報として記憶した記憶手段を備え、入力映像の事象に基づいて数値映像情報を生成しダイジェスト映像を作成する技術が開示されているが、事象毎に設定された数値情報を記憶した記憶手段を設ける必要があり、そのため構成がやや複雑になることが考えられる。
【００１３】
以上のような観点から、本発明は記録終了後、ダイジェスト再生や要約再生などを行なうための複雑な処理をできるだけ行なわず、処理のための時間をできるだけ待つことなく、ダイジェスト再生や要約再生または記録した内容の映像シーンを効果的に、効率良く把握したいと思った場合に、できるだけ直ぐに、その動作が行なえるようなシステムを、比較的簡単な構成で安価に実現する技術を提案するものである。
【００１４】
【課題を解決するための手段】
本発明の情報信号処理装置は、
（１）所定の情報信号から所定の特性信号を検出する特性信号検出手段と、
（２）上記特性信号検出手段からの信号に応じて上記情報信号を所定の区間毎に自動的に所定の分類処理を行う分類処理手段と、
（３）上記分類処理手段からの信号に応じて、上記分類処理された区間の内で所定の分類処理された区間を含む所定区間のデータを所定の記録媒体に自動的に記録する記録手段と、を備え、
（４）上記記録手段による記録は、上記所定の分類の分類頻度が最も多い情報信号であることを特徴とする。
【００１５】
また、本発明の別の情報信号処理装置は、
（１）所定の情報信号から所定の特性信号を検出する特性信号検出手段と、
（２）上記特性信号検出手段からの信号に応じて上記情報信号の所定の時点毎または区間毎に自動的に分類処理する画像分類処理手段と、
（３）上記情報信号を第１の記録媒体に記録する第１の記録手段と、
（４）上記画像分類処理手段からの信号に応じて、上記分類処理された所定時点または所定区間の内で所定の区間を含み、上記第１の記録媒体に記録される情報信号に含まれる上記情報信号を第２の記録媒体に記録する第２の記録手段と、を備え、
（５）上記第２の記録手段による記録は、上記所定の分類の分類頻度が最も多い情報信号である。
【００１７】
このように、画像信号や音声信号から所定の特性信号を検出し、その特性信号に応じて画像信号、音声信号を自動的に所定の分類処理を行い、分類処理された画像信号、音声信号の内で所定の区間を半導体メモリーなど所定の記録媒体に自動的に記録して、その記録した記録媒体を持ち運び、所定の再生装置で再生することで、場所を選ばず効果的で効率的なダイジェスト再生を実現することができる。
【００１８】
次に、本発明に係る情報信号処理装置及び情報信号処理方法の実施の形態を図面を参照して説明する。
【００１９】
実施の形態を説明する前に、本発明の概要を説明すると、先ず、放送番組を磁気テープ、ハードディスク、光磁気ディスクなどの記録媒体に記録する場合に、画像信号や音声信号から所定の特性信号を検出し、その特性信号により、類似画像シーン毎の分類処理、または所定区間における音声信号の属性毎の分類処理を自動的に行なう。
【００２０】
分類処理された所定の類似画像シーンまたは所定区間の音声信号を半導体メモリーやデイスク状記録媒体などの持ち運び可能な所定の記録媒体に自動的に記録し、その記録媒体を所定の再生装置で再生することで、効率的、効果的に所定のダイジェスト再生が行なえるようにする。
【００２１】
次に、本発明の実施の形態について、図面を用いて以下の順序で説明する。
（１）画像シーンの分類処理方法
（２）分類画像シーンのモニター映像の概念図
（３）画像分類信号処理および識別情報信号生成法の概念
（４）識別情報データ折り返り処理の説明
（５）放送番組における識別情報データ値の特性例
（６）画像分類処理系ブロック構成例
（７）本発明による記録再生装置の概念図
（８）記録再生装置ブロック構成例
（９）動作フローチャートの一例
【００２２】
画像シーンの分類処理方法
図１は本発明の画像シーン分類処理法を説明するための概念図である。
図１（１）は画像系列ａ１、ａ２、ａ３、ａ４、ａ５ −−−−であり、例えば、画像ａ１、ａ２、ａ７、ａ８、ａ１５、ａ１６は各々類似している画像と仮定する。
【００２３】
例えば、図１（１）の画像系列を簡単のため放送番組におけるニュース映像とすると、一般的にニュース番組ではアナウンサーやニュースキャスターの映像シーンの後にニュース映像が続く確率が高く、上記で述べた、類似画像ａ１、ａ２、ａ７、ａ８、ａ１５、ａ１６はアナウンサーやニュースキャスターの登場シーンと想定できる。
【００２４】
ここで、図１（１）の画像系列を入力画像として記録媒体に記録すると同時に記録する画像シーンを類似画像毎に分類することを考える。
【００２５】
図１（２）は、記録する画像シーンを類似画像毎に分類したことを示す概念図であり、各々Ａ、Ｂ、Ｃ、Ｄ毎に画像が類似画像として分類されていることを示している。
【００２６】
例えば、図１（２）Ａの分類ではａ１、ａ２、ａ７、ａ８、ａ１５、ａ１６、−−−− などの画像が分類されており、これらの画像は上記で述べたアナウンサーやニュースキャスターの登場シーンである。
【００２７】
同様に、Ｂの分類はニュース番組におけるニュース映像の類似シーンａ３、ａ４、ａ１１、−−−などが分類されていることを示しており、Ｃの画像分類は類似シーンａ５、ａ６、ａ１３、−−−−−などの画像が分類されていることを示し、Ｄの分類は類似画像シーンａ９、ａ１０、ａ１９−−−−−などの画像が分類されていることを示している。
【００２８】
分類の時間的な基準は、記録やは再生動作開始時を基準にしたり、例えば放送番組のプログラム毎に、そのような時間の基点を設定しても良い。
【００２９】
（２）分類画像シーンのモニター映像の概念図
図２は、上記で説明した図１（２）の分類をモニターで表示した場合の概念図であり、類似画像の系列が水平方向に整理されていることが分かる。
【００３０】
以上のような分類整理を、放送番組などを記録媒体に記録する際に、ほぼ実時間で処理を行い、その分類処理に応じた識別情報信号を、記録媒体に記録することで、再生時に放送番組の再生と共にその識別情報信号を検出することで、すぐに画像分類の表示を行うことができ、それにより記録した内容が効果的にまた効率良く短時間に把握することができる。
【００３１】
これにより、ユーザーは分類整理された画像を見て、見たいと思う画像シーンの系列を選択し、その系列の画像シーンを含む所定の時間区間を再生することで記録した放送番組を、従来以上に効果的に、効率良く、短時間でダイジェスト再生することができる。
【００３２】
（３）画像分類信号処理および識別情報信号生成法の概念
図３は、画像分類信号処理および識別情報信号生成の信号処理方法の概念図であり、ここには、画像データから検出された特性データを記憶するメモリー系と、それに対応した識別情報信号を記憶するメモリー系の２つがある。
【００３３】
各々のメモリー系は物理的に別々のメモリー系でも良く、また一つのメモリー系の記憶領域を各々の所定データが記憶できるように分割して使用するようにしても良い。
【００３４】
また、これらメモリー系は所定の制御信号に応じて所定の記憶領域に記憶した所定のデータが逐次所定の記憶領域に移動動作を行うメモリー系または、リングバッファーメモリー系と同様の動作を行うメモリー系とする。
【００３５】
ここで、上記特性データは、入力画像データを所定のＡ／Ｄ変換処理したベースバンド画像データまたは、その画像データをＭＰＥＧ２やウェーブレット変換など所定の帯域圧縮処理を施した信号から検出することができる。
【００３６】
例えば、図４に示すように１画面を６４分割して、それぞれの分割領域における輝度信号や色差信号の平均データ、または圧縮処理された画像データで例えば、ＭＰＥＧ２のデータである場合は各々の分割領域におけるＤＣＴ係数の平均データを用いることができる。
【００３７】
また、ウェーブレット変換データである場合は、各々の分割領域におけるウェーブレット変換係数の平均データや、ウェーブレット変換係数から求めた各々の分割領域における画像の所定しきい値以上のエッジ数を特性データとして考えることもできる。
【００３８】
ここでは、簡単のため、図３に示すように、特性データメモリー系はdinおよび d1〜d16、識別データメモリー系は、einおよびe1〜e16を設定するものとして説明するが、各々のメモリー系のメモリー容量はさらに大きく設定して良く、例えば、１分から３０分間における画像シーンの特性データ、識別情報データが記憶できるように設定する。
【００３９】
ここで、記憶する特性データは記録する放送番組に応じた毎フレーム毎の特性データとする必要はなく、例えば、シーンチェンジ検出を行い、シーンチェンジ毎の特性データとしたり、また所定フレーム毎、例えば１０フレーム間隔毎の特性データとすることも考えられる。
【００４０】
画像信号がＭＰＥＧで圧縮処理されている場合は、Ｉピクチャーにおける画像データやＭＰＥＧデータストリームにおける所定データとするなど、所定ピクチャー毎に処理することも考えられる。
【００４１】
このようにＭＰＥＧデータストリームでＩピクチャーなど特定のピクチャー毎に処理を行なう場合は、ＭＰＥＧデータストリームの所定の識別データを検出することで、所定の処理を行なうことができる。
【００４２】
識別情報データは記憶する特性データに対応するものを記憶するので、上記の特性データの記憶容量に応じて、識別情報データ記憶容量も変化する。
【００４３】
このように、毎フレーム毎の画像データの特性データを連続して記憶することなく、シーンチェンジ毎や所定フレーム間隔毎に応じて記憶することで、メモリーの記憶容量を削減することができる。
【００４４】
入力した画像データの特性データは逐次、メモリー系の所定記憶領域 din に記憶され、dinの特性データはすでに記憶されているd0〜d16のデータと所定の演算処理が行われる。
【００４５】
ここで、所定の演算処理として、上記で述べた画面における各々の分割領域におけるデータを成分とする特性ベクトルを考え、ユークリッド距離または、その他のベクトル距離演算を考えることができる。
【００４６】
例えば、dinに記憶された上記で述べた図４のような分割画面に対応するベクトル成分を、aｉ(ｉ= 0〜63)、特性データメモリー系のｎ記憶領域におけるベクトル成分をｂni(i = 0〜63)、とすると、ベクトル距離 L は、
【００４７】
【数１】
【００４８】
【数２】
などのように演算することができる。
【００５０】
ここで、図３の例では、d7におけるベクトル距離が最小Lminで、所定のしきい値Lth以内であると仮定する。
【００５１】
【数３】
d7に対応する記憶領域はe7で、このe7に記憶されている識別情報信号をdinの識別情報信号に割り当てるものとする。
【００５３】
上記のように特性データの所定演算が終了して、識別情報信号の割り当てが決まったら、dinの特性データは、特性データメモリー系の記憶領域 d0に記憶領域を移動する。
【００５４】
d1 に記憶されていた特性データは、d2 の領域に移動し、di に 記憶されていた特性データは、di+1 の領域に順次移動する。
【００５５】
同様に、割り当てが決まった識別情報信号は einに記憶されていたが、e0の記憶領域に移動し、e1 の記憶領域の識別情報信号は e2 に移動し、ei の識別情報信号は、ei+1 に順次移動する。
【００５６】
ここで、上記で説明した特性データの所定演算において、演算値 Lmin が所定しきい値の範囲にない場合、すなわち、
【００５７】
【数４】
の場合は、e0〜e16 に記憶されている以外の識別情報信号を割り当てるものとする。
【００５９】
通常は、簡単のため、識別情報データメモリー系に記憶されているe0〜e16のデータの中から最大値を検出し、その最大値を１インクリメントしそれが所定最大値を超えない場合は、そのデータ値を新しい識別情報データ値とし、１インクリメントすることで所定最大値を超える場合は、０を新しい識別情報データ値として割り当てる。
【００６０】
その後の処理で、同じように所定最大値を超える場合は、新しく０を設定した値から順次１インクリメントしたデータ値を新しい識別データ値として割り当てる。
【００６１】
このように所定最大値を超えた場合に、新しく０設定したデータ値から１ずつインクリメントすることは、時系列的に考えれば、ここで設けたメモリー系の記憶容量よりも前の、古いデータを上書き、または捨てて新しいデータを順位割り当てることを意味している。
【００６２】
これは、放送番組などを処理対象とする場合に、あまり時間的に前の類似画像を検出して分類しても、見ている人の画像に対する記憶や印象が薄れて、分類処理してダイジェスト再生やスキミング動作、あるいは記録した内容の把握を目的とした動作に対して、あまり優位性が認められないであろうという仮定と、メモリー容量を大きくするより、ある程度の所定メモリー容量でシステムのコストを抑え所定の動作が行える方がユーザーに対して優位性が認められるであろうという仮定に基づいている。
【００６３】
例えば、e0〜e16の記憶領域にはすでに、0000H 〜000FH（16進）の識別データが記憶されていて、上記（1.3) の条件の場合は、d7の特性データには、0010H の識別データを割り当てるものとする。
【００６４】
次の演算処理を行なう映像シーンでの識別データを割り当てが、所定しきい値より大きく、(1.4)の条件の場合は、上記で述べたように、e0〜e16における最大値は、000FH と仮定しているので、１インクリメントした、0010H を割り当てるように処理を行う。
【００６５】
ここで、識別データの割り当てがFFFFHでいっぱいになった場合は、0000Hに戻るものとする。
【００６６】
そして、前記したように、この0000Hから順次、１インクリメントするように識別情報データ値を割り当てるように動作を行う。
【００６７】
このように割り当てられた einの識別データを、記録する画像シーンのデータと共に所定記録媒体に記録し、再生時に検出を行うことで、同じ識別データの映像シーンは、複雑な信号処理や長い処理時間を待つことなく、すぐに類似画像であると判定できる。
【００６８】
上記の例では識別データを 0000Hのように２バイトで説明したが、これに限ることなく、さらに多くの識別データを設定できるようにしても良い。
【００６９】
特性データ記憶領域および識別情報データ記憶領域の容量が少なく、設定する識別データのバイト数が小さいと、類似画像でないにもかかわらず、同じ識別データが割り当てられる確率が高くなるので、類似画像検出の頻度を考慮してメモリー容量および識別データのバイト数を設定する必要がある。
【００７０】
（４）識別情報データ折り返り処理の説明
図５は、識別情報データが順次増加し、最大値を超える場合の処理法を説明するための概念図である。
【００７１】
上記で説明したように、上記(1.4)式に示すように所定しきい値の範囲にない場合は、識別情報データメモリー系に記憶されているデータの最大値を検出し、１インクリメントして割り当てることになるが、図５区間Ａｎに示すｂ点のようにFFFFHと識別情報データがいっぱいになった場合は、区間Ａｎでない区間Ａｎ＋１における最大値のｄ点を検出して１インクリメントする必要がある。
【００７２】
そのため、例えば、図５に示すように区間Ａｎと区間Ａｎ＋１のように区間を識別する識別信号Ｐを設定し、識別データ値がいっぱいになり、データ値をリセットする毎に識別信号Ｐが変化することを考える。
【００７３】
図５の例では、簡単のため、Ｐの設定値として、０、１が交互に変化するようにしてあり、識別データ値がいっぱいになりFFFFHのを超えて、設定すべき識別情報データ値を折り返す必要がある場合は、その折り返す前の区間の識別情報データの最大値は、動作初期区間Ａ０の場合を除き、FFFFHになるので、前記した条件式（1.4）の場合で類似画像検出が行なえず、識別情報信号を新たに設定する場合も問題なく所定の信号処理を行なうことができる。
【００７４】
（メモリー記憶容量の一例）
ここで、識別データのメモリー容量を考えてみる。
放送番組などの映像シーンを記録することを考えた場合に、特別な場合を除き、頻繁にシーンチェンジが起きる確率はあまり高くないと想定できるので、例えば、３０フレーム毎秒の画像を１０フレーム毎に特性データを記憶し、所定の演算を行うと仮定する。
【００７５】
また、類似画像が出現する時間間隔は、長い時間がたった後に出現する確率はあまり大きくないと仮定し、３０分間位の間で類似画像検出を行うことを考える。
【００７６】
例えば、１０フレーム毎にシーンチェンジが起こり、新しい識別データを割り当てると仮定するし、３０分では、
30（分）× 60（秒）× 10（フレーム／秒）= 18000
なので、前記した２バイトの識別データでも十分対応できることが分かり、識別データ折り返りのための識別データ区間を２つ設定すると仮定すると、識別情報データメモリー系の記憶容量は、高々、
18000 × 2（バイト）× 2（区間） ＝ 70.3（KByte）
となる。
【００７７】
また、特性データの記憶容量は、例えば、前記したように６４次のベクトル成分を考え、１成分１バイトとすると、３０分では、
18000 × １（バイト）× 64（成分）= 1.1（MByte)
となる。
【００７８】
上記で計算したメモリー容量は、画像分類演算の間隔をさらに広げれば、もっと少ないメモリー容量で対応できることが分かる。
【００７９】
（５）放送番組における識別情報データ値の特性例
図６は、ある放送番組を本発明の処理により画像分類した場合の時系列的なフレーム番号に対する割り当てられた識別情報データ値の特性である。
【００８０】
図６において（ａ）または（ｂ）のように同じ識別情報データの場合は、それに対応するフレーム番号の映像シーンは類似画像として分類される。
【００８１】
そして、類似画像が検出されない場合は、図６に示す通り時間が経過すると共に識別情報データ値が増加するようになる。
【００８２】
また、図７は図６の識別情報データに対する出現頻度の特性で、（ｂ）の700が一番出現頻度（割り当て頻度）が大きく、（ａ）の０が２番目に大きいことがわかる。
【００８３】
（６）画像分類処理系ブロック構成例
図８は、前記した画像分類処理法による本発明の画像分類処理系のブロック構成例であり、画像データを検出する画像データ検出系３０と、検出された画像データを記憶する特性データメモリー系３１と、記憶されている特性データと逐次検出される特性データとでベクトル距離演算をする演算処理系３２と、所定領域の各々のデータを生成する識別情報データ生成系３３と、この所定領域の各々のデータを記憶する識別情報データメモリー系３４と、システムコントローラ系１７とからなる。
【００８４】
このような構成において、特性データ検出系３０には、Ａ／Ｄ変換された所定の画像データまたは、所定の帯域処理が施されたＭＰＥＧ２などの画像データが入力し、所定の特性データが検出される。
【００８５】
特性データ検出系３０からの信号は特性データメモリー系３１に入力し、所定の記憶領域に記憶される。
【００８６】
演算処理系３２では、特性データメモリー系３１に記憶されているデータと、逐次、検出される特性データとがベクトル距離演算など所定の演算処理がなされ、その演算結果はシステムコントローラー系１７に入力する。
【００８７】
またシステムコントローラー系１７は、特性データメモリー系３１および識別情報データメモリー系３４に記憶されている所定領域の各々のデータを順次、前記で説明したように、所定の記憶領域に移動するように制御する。
【００８８】
これにより、逐次検出される特性データは、新しく特性データメモリー系３１に記憶されることになる。
【００８９】
システムコントローラー系１７では演算処理系３２からの信号を受け取り、所定しきい値の範囲にあるか判定し、所定しきい値の範囲にある場合は、上記所定演算最小値が得られた特性データメモリー系３１のデータに対応した、特性情報データメモリー系３４に記憶された識別情報データを読み出し、演算処理を行った画像シーンの識別データとして割り当て出力する。
【００９０】
また、演算処理系３２からの演算値が所定しきい値の範囲にない場合は、識別情報データメモリー系３４に記憶されている識別データ値の最大値を検出し、そのデータ値を１インクリメントし、それが所定最大値を超えない場合は、新しい識別情報データ値とし、１インクリメントすることで所定最大値を超える場合は、０を新しい識別情報データとし、以後の処理で同様にしきい値を超える場合は、この０から順次１ずつインクリメントしたデータを新しい識別情報データとして割り当て出力する。
【００９１】
（７）本発明による記録再生装置の概念図
図９は、本発明による記録再生装置の概念図である。
この概念図では、簡単のため、記録再生装置内部に、第１の記録媒体としてハードディスク（ＨＤＤ）記録媒体１００が備えられており、第２の記録媒体として半導体メモリーや小型ディスク状記録媒体などの装着、着脱可能（リムーバブルな）記録媒体１１０が備えられている。
【００９２】
第１の記録媒体（１００）は、上記のようにＨＤＤに限らず、テープ状記録媒体や光磁気ディスクなどのディスク状記録媒体でも良く、また第２の記録媒体１１０は上記のような記録媒体に限らず、小型テープ状記録媒体や、リムーバブルな小型ハードディスクなどでも良い。
【００９３】
（８）記録再生装置ブロック構成例
（記録処理系の説明）
図１０は本発明を適用した情報信号記録再生装置のブロック構成例であり、音声信号をＡ／Ｄ変換する音声Ａ／Ｄ変換処理系１と、Ａ／Ｄ変換された音声信号をエンコードする音声エンコーダー処理系２と、映像信号をＡ／Ｄ変換する映像Ａ／Ｄ変換処理系３と、Ａ／Ｄ変換された映像信号をエンコードする映像エンコーダー処理系４と、画像の分類をする画像分類処理系５と、音声及び映像及び分類された画像を多重化する多重化処理系６と、多重化したデータの記録を処理する記録処理系７と、実際に記録する媒体である記録媒体系８と、再生を制御する再生制御系９と、再生処理系１０と、再生データを分離する再生データ分離処理系１１と、音声信号をデコードする音声信号デコード処理系１２と、音声信号をＤ／Ａ変換する音声Ｄ／Ａ処理系１３と、映像信号をデコードする映像デコード処理系１４と、映像信号をＤ／Ａ変換する映像Ｄ／Ａ処理系１５と、再生データ分離処理系１１により分離された信号から識別信号を検出する識別信号検出系１６と、システムコントローラー系１７と、ユーザの入力を許容するユーザー入力Ｉ／Ｆ系１８と、多重化処理系６により多重化されたデータを処理する記録処理系１９と、記録する記録媒体系２１とからなる。
【００９４】
このような構成において、先ず始めに、記録処理系について説明する。
【００９５】
入力した音声信号は音声信号Ａ／Ｄ変換処理系１において所定のＡ／Ｄ変換処理がなされ、音声エンコーダー処理系２でＭＰＥＧオーディオなど所定の帯域圧縮処理が行われ多重化処理系６に入力する。
【００９６】
映像信号は映像Ａ／Ｄ変換処理系３で所定のＡ／Ｄ変換処理が行われ、映像エンコーダ処理系４ではＭＰＥＧ２など所定の帯域圧縮処理が行われ多重化処理系６に入力する。
【００９７】
画像分類処理系５は前記で説明したようなブロック構成で、映像Ａ／Ｄ変換処理系３からの信号または映像エンコーダー処理系４からの信号が入力し、記録する放送番組などの映像シーンを、システムコントローラー系１７からの制御信号により記録時に自動的に所定の分類整理、識別処理を行い、所定の識別情報信号を生成して多重化処理系に入力する。
【００９８】
この識別情報信号はシステムコントローラー系１７を介して生成するようにしても良く、この場合はシステムコントローラー系の制御によりまたはシステムコントローラー系１７において生成された所定の識別情報信号が多重化処理系６に入力する。
【００９９】
音声信号については、音声信号Ａ／Ｄ変換処理系１または音声エンコーダー処理系２からの所定区間毎の信号が、音声信号分類処理系２０に入力し、スペクトルピークの継続性を検出し、音楽信号であるかどうかの判定を行う。
【０１００】
（音声信号分類処理系ブロック構成例）
図１１は音声信号分類処理系２０のブロック構成の一例であり、音声信号の所定区間を検出する所定信号区間検出系４１と、ＦＥＴ処理するＦＥＴ信号処理系４２と、ピークの周波数を検出するピーク周波数検出系４３と、ピーク周波数の継続性を判定するピーク周波数継続性判定系４４とからなる。
【０１０１】
このような構成において、先ず、音声信号は、所定信号区間検出系４１に入力し、例えば、０．５秒位から５秒位の間の所定区間を切り出され、ＦＦＴ信号処理系４２に入力する。
【０１０２】
音声信号を上記のような所定区間切り出すのは、人が音声信号を聞いて、その音声信号が音楽であるかどうか判定するには、あまり短い時間ではその音声信号が音楽であるか人の声であるかなどの音声信号の属性を判定できないからである。
【０１０３】
ＦＦＴ信号処理された信号は、ピーク周波数検出系４３に入力し、スペクトルピーク周波数を検出し、ピーク周波数継続性判定系４４において所定区間にわたりピーク周波数が継続しているかにより、音声信号が音楽信号であるか、そうではないかの判定がなされる。
【０１０４】
画像分類処理系５、音声分類処理系２０による判定結果はシステムコントローラー１７を介すか、直接、所定の第２の記録媒体系２１を制御し、多重化処理系６からの信号を、第２の記録処理系１９を介して、分類頻度の最も多いシーンなど所定の分類の画像シーンおよび音声区間を第２の記録媒体系２１に自動的に記録する。
【０１０５】
第２の記録媒体２１に記録する画像データ、音声データは、上記のように分類頻度の最も多い分類に限らず、例えば、音声信号分類で音楽区間と判定された区間のみを、システムコントローラー系１７の制御により自動的に記録するなどの動作をしても良い。
【０１０６】
また、あらかじめユーザーが分類頻度の何番目かを設定しておき、自動的にその分類の画像データや音声データを記録するようにしても良い。
【０１０７】
ここで、上記による画像シーンの分類処理または音声信号の分類処理による識別情報信号はシステムコントローラー系１７を介して生成するようにしても良く、この場合はシステムコントローラー系の制御により、またはシステムコントローラー系１７において生成された所定の識別情報信号が多重化処理系６に入力する。
【０１０８】
多重化処理系６では、入力した各々の信号を所定の多重化処理を行い、第１の記録処理系７において誤り訂正符号付加やインターリーブ処理など所定の記録処理を施し、所定の第１の記録媒体８に記録する。
【０１０９】
（本体側再生処理系の説明）
次に図１０の再生処理系について説明する。ここで第1の記録媒体系８に記録された、画像、音声信号を再生して再生の他にダイジェスト再生を行なう場合も説明する。
【０１１０】
所定の第1の記録媒体８から再生された情報信号は、再生処理系１０でデインターリーブ処理など所定の処理が行われた後、再生データ分離処理系１１に入力して、記録時に多重化処理された所定の信号を各々分離処理する。
【０１１１】
分離処理された音声信号は音声デコード処理系１２に入力し、記録時に所定の圧縮処理された音声データをデコード処理され、その後 デコード処理された音声データは、次の音声Ｄ／Ａ処理系１３に入力し所定のＤ／Ａ変換処理が行われて音声出力する。
【０１１２】
分離処理された映像信号は映像デコード処理系１４に入力し、記録時に所定の圧縮処理が行われた映像データをデコード処理し、デコード処理された映像データは次の映像Ｄ／Ａ変換処理系１５に入力し所定のＤ／Ａ変換が行われた後、映像出力する。
【０１１３】
また、分離処理処理された所定の識別情報信号は、識別信号検出系１６に入力し、ダイジェスト再生やスキミング再生処理に必要な識別情報データを検出し、システムコントローラー１７に入力する。
【０１１４】
ダイジェスト再生やスキミング再生など所定の特殊再生動作を行いたい場合は、ユーザーはユーザー入力インターフェース（Ｉ／Ｆ）系１８を介して、システムコントローラー系１７にコマンド入力を行う。
【０１１５】
システムコントローラー系１７はユーザーからのコマンド情報を受け取り、再生再生制御系９を制御し、分類処理された画像系列の中からユーザーが所望する画像系列の再生が行われるように、記録媒体系８からの再生を制御する。
【０１１６】
（第２の記録媒体の再生処理系）
図１２は第２記録媒体２１を再生する再生装置のブロック構成例であり、記録媒体系２１と、それを制御する記録媒体制御系５６と、再生をする再生処理系５０と、再生データを分離処理する再生データ分離処理系５１と、音声信号をデコードする音声デコード処理系５２と、音声信号をＤ／Ａ変換して出力する音声Ｄ／Ａ処理系５３と、映像信号を処理する映像デコード処理系５４と、映像信号をＤ／Ａ変換して出力する映像Ｄ／Ａ処理系５５と、システムコントローラー系１７と、ユーザー入力Ｉ／Ｆ系１８とからなる。
【０１１７】
このような構成において、先ず、この第2の記録媒体系２１は、前記したように、放送番組などにおける所定のダイジェスト再生用の画像信号、音声信号などが記録されているので、この第2の記録媒体を通常再生することで所定のダイジェスト再生または所定の区間だけを容易に再生することができる。
【０１１８】
この第2の記録媒体系２１は、所定の筐体に容易に装着および着脱可能なもので、システムコントローラー系１７の制御により、記録媒体制御系５６を制御して記録されたデータの読み出し動作の開始、停止などを行なう。
【０１１９】
読み出されたデータは、再生処理系５０において、誤り訂正処理など所定の信号処理が行われ、次の再生データ分離処理系５１に入力し、画像データおよび音声データが所定の分離処理される。
【０１２０】
分離処理された音声データは、音声デコード処理系５２に入力し所定のデコード処理が行われた後、音声Ｄ／Ａ処理系５３において所定のＤ／Ａ変換信号処理が行われ音声出力する。
【０１２１】
同様に、分離処理された画像データは、映像デコード処理系５４に入力し所定のデコード処理が行われ、映像Ｄ／Ａ処理系５５で所定のＤ／Ａ変換信号処理が行われて映像出力する。
【０１２２】
この再生装置のブロック構成は簡単なものなので、装置を持ち運び可能な携帯型に組み上げることができ、場所などを気にせず、容易に第２の記録媒体を再生することができ、手軽にダイジェスト再生を実現できる。
【０１２３】
（８）本発明の動作フローチャートの一例
図１３は本発明の動作フローチャートの一例である。Ｓ０ からスタートし、Ｓ１において、前記したように、識別情報データ値がいっぱいのＦＦＦＦＨになって設定データを折り返した場合のメモリー区間識別のために、識別Ｐを設けておき、その初期設定Ｐ＝０を行い、Ｓ２で、画像情報データを入力して、Ｓ３で特性データを検出する。
【０１２４】
Ｓ４において、上記検出した特性データから特性ベクトルを生成して、後のベクトル距離演算のため、Ｓ５において特性データ用の所定のバッファメモリー領域に一時的に記憶する。
【０１２５】
Ｓ６は後で説明する特性データ演算処理ルーチンで、上記Ｓ５のバッファメモリーに記憶されている特性ベクトルのデータを読み出し、これを基準ベクトルとして特性データメモリー系に記憶されているデータと所定の演算を行う。
【０１２６】
Ｓ６で所定の演算処理が行われ、所定の識別情報信号が、Ｓ７において演算を行った基準ベクトルに対応する画像シーンに割り当てられて、Ｓ８でその識別情報信号は、識別情報信号用のバッファメモリー領域に、一時的に記憶される。
【０１２７】
その後、Ｓ９では、所定の圧縮処理を施された音声データ、画像データと所定の多重化処理が行われる。
【０１２８】
Ｓ１０では、第2の媒体に所定のダイジェスト再生用の画像データ、音声データを自動的に記録するため、分類処理された識別ＩＤが所定のＩＤ値かどうかが判定され、所定のＩＤの場合はＳ１１で所定の記録処理が行われ、第２の記録媒体に所定ＩＤ区間の画像、音声データが記録される。
【０１２９】
Ｓ１０において所定のＩＤでないと判定された場合は第２の記録媒体には所定の画像、音声データは記録されず、次のＳ１２に移行する。
【０１３０】
Ｓ１２は第２の記録媒体の記録を停止するかどうかの判定がなされ、停止の場合はＳ１６で記録モードを停止する。
【０１３１】
Ｓ１２で第２の記録媒体の記録を停止しない場合は、記録モードを停止せず、Ｓ１３に移行し、第１の記録媒体に所定の放送番組などを、所定プログラム時間、または所定区間にわたり記録するため所定の記録処理が行われる。
【０１３２】
Ｓ１４では、システム全体の動作を停止するかどうかの判定がなされ、停止する場合はＳ１５において、動作を終了し、動作を継続する場合は、Ｓ１７に移行し、特性データ用バッファーメモリー領域に記憶されているデータと特性データメモリー系に記憶されている各データは所定のメモリー記憶領域に順次移動する。
【０１３３】
同様に、識別情報データ用バッファーメモリー領域に記憶されていたデータと識別情報データメモリー系に記憶されているデータも各データが所定のメモリー記憶領域に移動する。
【０１３４】
Ｓ１７で特性データおよび識別情報データが所定のメモリー記憶領域移動を行った後、Ｓ２ に戻り上記で述べた動作を繰り返す。
【０１３５】
（特性データ演算処理のフローチャート）
次に、Ｓ６における特性データ演算処理のフローチャートについて説明する。図１４は、その動作フローチャートの一例であり、Ｔ１で特性データメモリー系のメモリー領域番号と対応した演算回数の初期設定ｉ＝０を行う。
【０１３６】
Ｔ２は、識別情報信号の識別値の初期設定 ｎ＝０ を行い、Ｔ３ では特性データメモリー系の、すべての領域におけるデータと所定の演算処理が終了したかどうかの判定が行われる。
【０１３７】
Ｔ３でＮＯの場合はまだ、特性データメモリー系すべてのデータと演算処理が終了していないので、これ以降の所定のベクトル距離演算ループに移行する。
【０１３８】
Ｔ４では、特性データメモリー系から、メモリー領域ｉの所定の特性データベクトルを読み出し、Ｔ５において所定の演算処理を行い、その演算値（ベクトル距離演算値）をＧｉとする。
【０１３９】
Ｔ６において、演算値の最小値を求める処理を行うための初期値設定値を行うため、一番最初 ｉ＝０の演算値であるかどうかが判定され、Ｔ７で最小値を求めるための初期設定Gmin= G0を行う。
【０１４０】
Ｔ６で、一番最初の演算ではないと判定される場合は、Ｔ９に移行し、演算値Giが、前の演算値Gminより小さいかの判定が行われ、ＹＥＳの場合はＴ１０においてGminを今の演算値Giで置き換えると共に、Ｔ１１で識別情報信号値ｎを置き換えて ｎ＝ｉ として、Ｔ８に移行する。
【０１４１】
Ｔ６において、ＮＯの場合には、演算値は置き換えず、次のデータ演算を行うため、Ｔ８に移行し特性データメモリー系のデータ読み出し領域を移動し、ｉを１インクリメントしてＴ３に戻り処理を繰り返す。
【０１４２】
Ｔ３において、特性データメモリー系すべての所定領域との演算が終了したと判定された場合は、演算の結果の最小演算値が求まっているので、 Ｔ１２でそれが所定の設定しきい値Ｇth以内かどうかの比較処理が行われる。
【０１４３】
Ｔ１３において、所定しきい値以内と判定される場合は、上記で説明した演算処理ループで求まった識別情報値ｎが、演算処理を行った映像シーンに対応する識別情報値となり、前記した Ｓ７の処理に移行し、識別情報値として割り当てられる。
【０１４４】
Ｔ１３ においてＮＯの場合は所定しきい値以内でないので、Ｔ１４ に移行し、識別情報データメモリー系に記憶されているデータ値の最大値nmaxを算出し、Ｔ１５で、算出された最大値 nmax を１インクリメントした値を新しい識別情報データ値ｎとする。
【０１４５】
Ｔ１６では、新しく設定された識別情報データ値ｎが、所定値の範囲である、ＦＦＦＦＨに収まっているかの判定がなされ、ＹＥＳの場合は、前記したＳ７に移行して、演算処理を行った映像シーンに対応する識別情報値となり、識別情報値として割り当てられる。
【０１４６】
Ｔ１６でＮＯの場合は、割り当てようとする識別情報データの値が、許容値を超えるので、Ｔ１７において一度ゼロクリアして識別情報値として割り当てることになり、Ｔ１８でこのゼロクリアして設定したメモリー区間の識別データＰを、識別情報データ値の最大値がＦＦＦＦＨとなったメモリー区間のＰが１の場合は０を、０の場合は１となるように反転して設定する。
【０１４７】
（識別情報データメモリー系記憶データの最大値算出処理Ｔ１４）
次に、上記で述べた、Ｔ１４の識別情報データメモリー系に記憶されている、データの最大値を算出する処理フローチャートについて説明する。
【０１４８】
図１５において、Ａ１で、識別データＰの処理回数初期設定ｊｐ＝１ とし、最大値算出の初期値として、Ａ２においてｊ＝０における識別情報データ値ｎ０を設定する。
【０１４９】
Ａ３で、処理回数が、識別情報データメモリー系の記憶領域の個数を超えないかどうかの判定がなされ、ＹＥＳの場合はＡ４に移行して、今までの処理における最大値ｎｍａｘと比較し、大きか小さいかの判定処理を行う。
【０１５０】
Ａ４でＹＥＳと判定された場合は、Ａ５でｎｍａｘをｎｊｐに置き換え、Ａ６で処理回数を１インクリメントし、Ａ３に戻り、処理を繰り返す。
【０１５１】
Ａ３でＮＯと判定された場合は、識別データｐでの識別情報データメモリー系の記憶領域すべてを比較し最大値が算出されたので、Ａ７において検出された最大値ｎｍａｘが、許容されている最大のＦＦＦＦＨと等しいかの判定がなされ、ＮＯの場合は、算出最大値として処理を終了し、前記した、Ｔ１５に移行する。
【０１５２】
Ａ７でＹＥＳの場合は、Ａ８に移行し、識別データＰを反転し、異なるメモリー区間における最大値検出するため、Ａ１に戻り、最大値検出の処理をもう一度行なう。
【０１５３】
【発明の効果】
本発明により放送番組などを記録する際に、自動的に画像シーンの分類、インデキシング処理が行われると共に、所定のダイジェスト再生用画像データ、音声データが所定の記録媒体に自動的に記録されるので、その記録媒体を再生するだけで容易に、効果的なダイジェスト再生が実現できる。
【０１５４】
また、このダイジェスト再生用データが記録された記録媒体を再生する再生装置のブロック構成は簡単な構成で実現できるので携帯用の装置として組み上げることができ、このダイジェスト再生用の小型記録媒体を持ち運ぶだけで、場所を選ばず、効率的に短時間で所定の放送番組などの内容を把握することができる。
【０１５５】
本発明の装置、方法などは、所定の放送番組をすべて記録する本体のシステム装置に容易に付加することができ、信号処理の構成も簡単で、廉価に付加価値のある機能が実現できる。
【図面の簡単な説明】
【図１】本願発明に係る画像シーンの分類処理方法を示した説明図である。
【図２】同分類画像シーンのモニター映像の一例を示した概念図である。
【図３】同画像分類処理および識別情報信号生成の説明図である。
【図４】同画面分割による特性データ（特性ベクトル）生成の説明図である。
【図５】同識別情報データ値折り返り処理方法を示した説明図である。
【図６】同識別情報データ値の時系列特性の一例を示した説明図である。
【図７】同識別情報データ値の頻度特性の一例を示した説明図である。
【図８】同画像分類処理系ブロック構成例である
【図９】同記録再生装置の概念図である。
【図１０】同記録再生装置ブロック構成図である。
【図１１】同音声信号分離処理系ブロック処理系を示したブロック図である。
【図１２】同再生装置ブロック構成例である。
【図１３】本発明の全体動作を示したフローチャートである
【図１４】本発明の特性データ算出処理を示したフローチャートである。
【図１５】本発明の識別情報データ最大値算出処理動作を示したフローチャートである。
【符号の説明】
１：音声Ａ／Ｄ変換処理系、２：音声エンコーダー処理系、３：映像Ａ／Ｄ変換処理系、４：映像エンコーダー処理系、５：映像分類処理系、６：多重化処理系、７：（第１）記録処理系、８：（第１）記録媒体系、９：再生制御系、１０：再生処理系、１１：再生データ分離処理系、１２：音声デコード処理系、１３：音声Ｄ／Ａ処理系、１４：映像デコード処理系、１５：映像Ｄ／Ａ処理系、１６：識別信号検出系、１７：システムコントローラー系、１８：ユーザー入力Ｉ／Ｆ系、１９：（第２）記録処理系、２０：音声信号分離処理系、２１：（第２）記録媒体系、３０：特性データ検出系、３１：特性データメモリー系、３２：演算処理系、３３：識別情報データ生成系、３４：識別情報データメモリー系、４１：所定信号区間検出系、４２：ＦＦＴ信号処理系、４３：ピーク周波数検出系、４４：ピーク周波数継続性判定系、５０：再生処理系、５１：再生データ分離処理系、５２：音声デコード処理系、５３：音声Ｄ／Ａ処理系、５４：映像デコード処理系、５５：映像Ｄ／Ａ処理系、５６：記録媒体制御系、１００：第１記録媒体、１１０：第２記録媒体
Claims (9)
- 所定の情報信号から所定の特性信号を検出する特性信号検出手段と、
上記特性信号検出手段からの信号に応じて上記情報信号を所定の区間毎に上記特性信号に対応した識別番号信号を付して自動的に所定の分類処理を行う分類処理手段と、
上記分類処理手段からの信号に応じて、上記分類処理された区間の内で所定の分類処理された区間を含む所定区間のデータを所定の記録媒体に上記識別番号信号を参照して自動的に記録する記録手段と、
を備え、
上記分類は、上記情報信号が画像信号の場合には、類似画像毎に同一の上記識別番号信号を付して分類処理し、上記情報信号が音声信号の場合には、音声信号の属性毎に同一の上記識別番号信号を付して分類処理し、
上記記録手段による記録は、上記所定の分類の分類頻度が最も多い情報信号であることを特徴とする情報信号処理装置。 - 上記特性信号は、情報信号が画像信号の場合には、その情報信号またはその情報信号を所定の圧縮処理が施された信号の所定時点における一画面を複数の領域に分割し、各領域における輝度信号及び／又は色差信号から生成される所定の信号を成分とするベクトルであることを特徴とする請求項１に記載の情報信号処理装置。
- 上記特性信号は、情報信号が音声信号の場合には、その情報信号またはその情報信号を所定の圧縮処理が施された信号の所定区間における周波数解析信号であることを特徴とする請求項１に記載の情報信号処理装置。
- 所定の情報信号から所定の特性信号を検出し、
上記特性信号検出からの信号に応じて上記情報信号を所定の区間毎に上記特性信号に対応した識別番号信号を付して自動的に所定の分類処理を行い、
上記分類処理からの信号に応じて、上記分類処理された区間の内で所定の分類処理された区間を含む所定区間を所定の記録媒体に上記識別番号信号を参照して自動的に記録し、
上記分類は、上記情報信号が画像信号の場合には、類似画像毎に同一の上記識別番号信号を付して分類処理し、上記情報信号が音声信号の場合には、音声信号の属性毎に同一の上記識別番号信号を付して分類処理し、
上記記録は、上記所定の分類の分類頻度が最も多い情報信号であることを特徴とする情報信号処理方法。 - 上記特性信号は、情報信号が画像信号の場合には、その情報信号またはその情報信号を所定の圧縮処理が施された信号の所定時点における一画面を複数の領域に分割し、各領域における輝度信号及び／又は色差信号から生成される所定の信号を成分とするベクトルであることを特徴とする請求項４に記載の情報信号処理方法。
- 上記特性信号は、情報信号が音声信号の場合には、その情報信号またはその情報信号を所定の圧縮処理が施された信号の所定区間における周波数解析信号であることを特徴とする請求項４に記載の情報信号処理方法。
- 所定の情報信号から所定の特性信号を検出する特性信号検出手段と、
上記特性信号検出手段からの信号に応じて上記情報信号の所定の時点毎または区間毎に上記特性信号に対応した識別番号信号を付して自動的に分類処理する画像分類処理手段と、
上記情報信号を第１の記録媒体に記録する第１の記録手段と、
上記画像分類処理手段からの信号に応じて、上記分類処理された所定時点または所定区間の内で所定の区間を含み、上記第１の記録媒体に記録される情報信号に含まれる上記情報信号を第２の記録媒体に上記識別番号信号を参照して記録する第２の記録手段と、
を備え、
上記分類は、上記情報信号が画像信号の場合には、類似画像毎に同一の上記識別番号信号を付して分類処理し、上記情報信号が音声信号の場合には、音声信号の属性毎に同一の上記識別番号信号を付して分類処理し、
上記第２の記録手段による記録は、上記所定の分類の分類頻度が最も多い情報信号であることを特徴とする情報信号処理装置。 - 上記特性信号は、情報信号が画像信号の場合には、その情報信号またはその情報信号を所定の圧縮処理が施された信号の所定時点における一画面を複数の領域に分割し、各領域における輝度信号及び／又は色差信号から生成される所定の信号を成分とするベクトルであることを特徴とする請求項７に記載の情報信号処理装置。
- 上記特性信号は、情報信号が音声信号の場合には、その情報信号またはその情報信号を所定の圧縮処理が施された信号の所定区間における周波数解析信号であることを特徴とする請求項７に記載の情報信号処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001143742A JP4913288B2 (ja) | 2001-05-14 | 2001-05-14 | 情報信号処理装置及び情報信号処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001143742A JP4913288B2 (ja) | 2001-05-14 | 2001-05-14 | 情報信号処理装置及び情報信号処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002344872A JP2002344872A (ja) | 2002-11-29 |
| JP4913288B2 true JP4913288B2 (ja) | 2012-04-11 |
Family
ID=18989832
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001143742A Expired - Fee Related JP4913288B2 (ja) | 2001-05-14 | 2001-05-14 | 情報信号処理装置及び情報信号処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4913288B2 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4204445B2 (ja) * | 2003-11-05 | 2009-01-07 | 三洋電機株式会社 | コンテンツ記録装置 |
| JP4556437B2 (ja) * | 2004-02-03 | 2010-10-06 | ソニー株式会社 | 映像分類装置、映像分類方法、映像分類方法のプログラム及び映像分類方法のプログラムを記録した記録媒体 |
| KR20120068050A (ko) | 2004-08-10 | 2012-06-26 | 소니 주식회사 | 정보 신호 처리 방법 및 정보 신호 처리 장치 |
| JP4882746B2 (ja) | 2004-08-10 | 2012-02-22 | ソニー株式会社 | 情報信号処理方法、情報信号処理装置及びコンピュータプログラム記録媒体 |
| JP4517943B2 (ja) | 2005-05-31 | 2010-08-04 | ソニー株式会社 | 情報処理装置、これらの装置の処理方法およびその方法をコンピュータに実行させるプログラム |
| JP4257615B2 (ja) | 2006-07-14 | 2009-04-22 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
| JP4240330B2 (ja) | 2006-10-24 | 2009-03-18 | ソニー株式会社 | データベース作成方法、データベース作成プログラム、データベース作成装置及び映像コンテンツ記録装置 |
| CN101329766B (zh) | 2007-06-18 | 2012-05-30 | 索尼（中国）有限公司 | 运动图像分析装置、方法及系统 |
| JP4645707B2 (ja) | 2008-09-01 | 2011-03-09 | ソニー株式会社 | コンテンツデータ処理装置 |
| JP5993243B2 (ja) * | 2012-08-06 | 2016-09-14 | 日本放送協会 | 映像処理装置及びプログラム |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000285243A (ja) * | 1999-01-29 | 2000-10-13 | Sony Corp | 信号処理方法及び映像音声処理装置 |
-
2001
- 2001-05-14 JP JP2001143742A patent/JP4913288B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002344872A (ja) | 2002-11-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7796860B2 (en) | Method and system for playing back videos at speeds adapted to content | |
| US8886014B2 (en) | Video recording apparatus, scene change extraction method, and video audio recording apparatus | |
| US7406409B2 (en) | System and method for recording and reproducing multimedia based on an audio signal | |
| US7630613B2 (en) | Information-signal process apparatus and information-signal processing method | |
| JP4905103B2 (ja) | 動画再生装置 | |
| JP4491700B2 (ja) | 音響検索処理方法、音響情報検索装置、音響情報蓄積方法、音響情報蓄積装置および音響映像検索処理方法、音響映像情報検索装置、音響映像情報蓄積方法、音響映像情報蓄積装置 | |
| EP0848383A2 (en) | Information recording and reproduction | |
| KR20060027826A (ko) | 비디오 처리장치, 비디오 처리장치용 집적회로, 비디오처리방법, 및 비디오 처리 프로그램 | |
| WO2001016935A1 (fr) | Procede et dispositif d'extraction/traitement d'informations, et procede et dispositif de stockage | |
| JP4735413B2 (ja) | コンテンツ再生装置およびコンテンツ再生方法 | |
| JP2002125199A (ja) | フレーム情報記述方法、フレーム情報生成装置及び方法、映像再生装置及び方法並びに記録媒体 | |
| US20030165325A1 (en) | Trick mode audio playback | |
| JP4913288B2 (ja) | 情報信号処理装置及び情報信号処理方法 | |
| JP2000350156A (ja) | 動画像情報の記憶方法及びこれを記録した記録媒体 | |
| WO2004057610A1 (en) | Method and apparatus for storing a stream of audio-visual data | |
| JP2002344852A (ja) | 情報信号処理装置および情報信号処理方法 | |
| US7343088B2 (en) | Disc apparatus, disc recording method, disc playback method, recording medium, and program | |
| JP4198331B2 (ja) | 録画装置 | |
| JP2005526349A (ja) | 信号処理方法及び構成 | |
| EP1858017A1 (en) | Image processing apparatus and file reproduce method | |
| US6408030B1 (en) | Scene-change-point detecting method and moving-picture editing/displaying method | |
| JP4453204B2 (ja) | 情報信号処理装置、情報信号処理方法並びに情報信号記録装置および情報信号記録媒体 | |
| JP4379666B2 (ja) | 情報信号処理装置並びに情報信号処理方法および情報信号再生装置 | |
| JP3838483B2 (ja) | オーディオ概要情報、オーディオビデオ概要情報の抽出装置、再生装置、および記録媒体 | |
| KR100821023B1 (ko) | 영상 신호 기록 재생 장치, 영상 신호 기록 재생 방법, 및기록 매체 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080314 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090929 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091001 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091130 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20091214 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100105 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100218 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100330 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20100414 |
|
| A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20100528 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120119 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150127 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |