JP4828785B2 - 情報処理装置及び携帯端末装置 - Google Patents
情報処理装置及び携帯端末装置 Download PDFInfo
- Publication number
- JP4828785B2 JP4828785B2 JP2003105641A JP2003105641A JP4828785B2 JP 4828785 B2 JP4828785 B2 JP 4828785B2 JP 2003105641 A JP2003105641 A JP 2003105641A JP 2003105641 A JP2003105641 A JP 2003105641A JP 4828785 B2 JP4828785 B2 JP 4828785B2
- Authority
- JP
- Japan
- Prior art keywords
- important part
- information
- audio signal
- important
- time interval
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、テレビジョン放送等における音声信号の盛り上がり部分を重要部分として抽出し、又は重要部分を再生する情報処理装置及び携帯端末装置に関する。
【０００２】
【従来の技術】
一般公共放送を利用した放送では、その情報形態として流し続けるのが一般的であり、視聴者はこの中から希望する番組を選択して視聴する。しかしながら、視聴者はその中でも特に見たい部分や興味ある領域を持っているのが普通である。例えばスポーツ番組では、ある競技が始まってから最終的に勝敗が決まるまでを視聴することも大事であるが、得点が入った瞬間やゴールを決めた瞬間は特に視聴者の関心が高く、その部分だけは見逃したくないと考えるのが一般的である。そのため放送局では、視聴者が希望する部分だけを切り出して編集した特別番組や総集編といったダイジェスト映像を作成して、競技終了後に別の番組としてさらに放送することも少なくない。
【０００３】
従来、このようなダイジェスト映像の作成方法としては、人間が映像を見ながら手作業で映像編集してダイジェスト映像を作成する方法や、内容に基づくインデックスを手作業で振り、そのインデックスを利用して検索し、ダイジェスト映像を作成する方法が一般的であった。しかしながら、このような方法では、人間が映像全体を視聴する必要があるため、多大な時間と労力とが必要とされていた。
【０００４】
さらに、近年ネットワーク技術の発展により、ＡＤＳＬや光接続など、いわゆるブロードバンドが普及し始め、単にテレビジョン受像器を用いて放送を視聴するのみならず、ネットワーク経由でいわゆるストリーミング番組を視聴することも増えてきた。しかしながら、このようなネットワーク経由で流されるダイジェスト映像においても、従来は人間が手作業で作成しており、一般公共放送のための媒体をネットワーク経由向けに変換されただけのものも多く、多大な時間と労力とが必要とされていた。
【０００５】
このような理由から、下記の特許文献１には、全周波数帯域のパワーレベルと、特定の周波数成分のパワーレベルの大小との組み合わせにより、スポーツ等のイベントの盛り上がり部分を自動的に検出し、インデックスとして付与する技術が提案されている。この技術では、観客が盛り上がった音を検出するため、多くのイベントに汎用的に適用でき、イベントの進行上重要な箇所を自動的に検出することができる。
【０００６】
【特許文献１】
特開２００１−１４３４５１号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、この特許文献１に記載の技術では、盛り上がり部分にインデックスを付すのみであるため、このようなインデックスの付された映像／音声信号を例えば携帯端末装置のユーザに配信した場合、ユーザがダイジェスト映像を視聴するためには、インデックス位置への頭出しを行わなければならず、利便性に欠けていた。
【０００８】
本発明は、このような従来の実情に鑑みて提案されたものであり、音声信号から視聴者が求める盛り上がり部分を自動的に抽出して統合し、又はそのような盛り上がり部分を再生する情報処理装置及び携帯端末装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る情報処理装置は、映像信号が付随した音声信号における重要部分を抽出する情報処理装置において、第１の所定の時間区間毎に上記音声信号の特徴量を求め、該特徴量に基づいて該時間区間における重要度を判断する重要度判断手段と、上記重要度に基づいて上記所定の時間区間を含む前後の第２の所定の時間内における音声信号及び付随する映像信号を上記重要部分として抽出する抽出手段と、上記抽出された重要部分又は上記重要部分の開始点及び終了点の情報が記憶される記憶手段と、上記記憶手段に記憶された複数の重要部分を統合する統合手段とを備え、上記重要度判断手段は、上記時間区間毎に求められた上記音声信号の周波数強度分布と、予め登録された重要部分の周波数強度分布とを比較することにより、上記重要度を判断する。
【００１０】
ここで、本発明に係る情報処理装置は、上記統合手段によって統合された情報を外部に発信する情報発信手段をさらに備えるようにしてもよい。
【００１１】
このような情報処理装置は、例えばテレビジョン放送の音声信号から重要部分を抽出し、抽出された複数の重要部分の少なくとも一部を統合する。
【００１２】
また、上述した目的を達成するために、本発明に係る携帯端末装置は、映像信号が付随した音声信号に対して、第１の所定の時間区間毎に上記音声信号の特徴量となる周波数強度分布を求め、該特徴量となる上記周波数強度分布と予め登録された重要部分の周波数強度分布とを比較することにより該時間区間における重要度を判断し、上記重要度に基づいて上記所定の時間区間を含む前後の第２の所定の時間内における上記音声信号及び付随する映像信号を重要部分として抽出し、上記抽出された重要部分又は上記重要部分の開始点及び終了点の情報を記憶手段に記憶し、上記記憶手段に記憶された複数の重要部分を統合する情報処理装置と通信する通信手段と、上記重要部分を再生する再生手段とを備える。
【００１３】
このような携帯端末装置は、例えばテレビジョン放送の音声信号から抽出され統合された重要部分を情報処理装置から受信し、この重要部分を再生する。
【００１４】
また、上述した課題を達成するために、本発明に係る携帯端末装置は、映像信号が付随した音声信号における重要部分を抽出して再生する携帯端末装置において、第１の所定の時間区間毎に上記音声信号の特徴量を求め、該特徴量に基づいて該時間区間における重要度を判断する重要度判断手段と、上記重要度に基づいて上記所定の時間区間を含む前後の第２の所定の時間内における音声信号及び付随する映像信号を上記重要部分として抽出する抽出手段と、上記抽出された重要部分又は上記重要部分の開始点及び終了点の情報が記憶される記憶手段と、上記記憶手段に記憶された複数の重要部分を統合する統合手段と、上記統合された情報を再生する再生手段とを備え、上記重要度判断手段は、上記時間区間毎に求められた上記音声信号の周波数強度分布と、予め登録された重要部分の周波数強度分布とを比較することにより、上記重要度を判断する。
【００１５】
このような携帯端末装置は、例えばテレビジョン放送の音声信号から重要部分を抽出し、抽出された複数の重要部分の少なくとも一部を統合して再生する。
【００１６】
【発明の実施の形態】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、本発明に係る情報処理装置及び携帯端末装置を、映像／音声信号から重要部分を抽出して統合し、視聴者に提供する情報提供装置、及びそのような情報を再生し、又は映像／音声信号から重要部分を抽出・統合する携帯端末装置に適用したものである。なお、以下の実施の形態では、映像／音声信号として、テレビジョン（以下、ＴＶという。）放送を例示して説明する。
【００１７】
先ず、第１の実施の形態における情報提供装置の説明をする前に、ＴＶ放送の視聴形態例を図１に示す。ＴＶ放送は放送局１から電波で発信されており、電話会社２はそれをアンテナを介して受信する。そして電話会社２は、受信した情報であるＴＶ番組を加工し、視聴者、例えば携帯電話機等の受信端末３のユーザに向けて発信する。ここで、図１では放送局１と電話会社２の間は通常のＴＶ放送の形態をとっているが、これに限定されるものではなく、図２のように専用線で放送局１と電話会社２とを結ぶ形態であっても、図３のようにインターネット等のネットワークで結ぶ形態であっても、図４のように衛星通信を使って結ぶ形態であってもよい。また、最終的にユーザに対して情報を提供するのは、電話会社に限らず、電話会社以外の他の会社や個人であってもよく、放送局自身であっても構わない。以下、このように視聴者に対して情報を加工して提供する会社又は個人を情報提供者と定義し、そのような処理を行う装置を情報提供装置と定義する。
【００１８】
情報提供者は、受信したＴＶ番組を視聴者が望む形に加工する。例えばスポー番組の場合、視聴者は試合の全てを見たいとも思っているが、全てを見る時間的余裕がない場合や複数の試合を簡便に見たい場合も多く、得点が入った瞬間、或いは自分の応援しているチームや選手にとって有利又は不利な展開になった部分だけは必ず見たいと思うことも多い。このような得点が入ったシーンなどでは、そのスポーツが開催されている会場の聴衆も同様に関心が高く、それが会場内の音響にも具体的に現れる。すなわち、聴衆の反応として、音響的には「わぁー」という音声分布が現れる。しかも、試合継続中に開催場所が変化、移動することは極めて稀であるため、会場における音響特性は、ほぼ同じと考えられ、結果として聴衆の反応も同じような傾向を示す。つまり、得点の入ったシーンなどの盛り上がり部分では、周波数分布がほぼ同じような特性を示すことになる。
【００１９】
そこで、本実施の形態ではこの特性を利用し、周波数分布が前述の特性を示す部分を盛り上がり部分と判断し、その盛り上がり部分を重要部分として抽出する。なお、ＴＶ放送では音声と映像とが同期しているため、対応する映像も重要度が高いとして同様に抽出する。この際、単にその部分だけを抽出するのではなく、その前後も調整可能な範囲内で抽出すれば、例えば試合中の得点に絡む前後のシーンを極めて正確に抽出できることになる。
【００２０】
このように重要部分を抽出して視聴者に提供する情報提供装置の概念構成を図５に示す。図５に示すように、情報提供装置１０は、音声信号の周波数分布から重要度が高い部分を判断する重要度判断部１１と、その重要部分を抽出する抽出部１２と、抽出した情報が記録される記録部１３と、それらの重要部分を統合する統合部１４と、統合した情報を視聴者に向けて発信する発信部１５とにより構成される。
【００２１】
ここで重要度判断部１１は、ＴＶ放送を受信すると、先ず所定の時間区間毎に音声信号の周波数強度分布を調べる。そして、その周波数強度分布について、重要パターンとして予め登録してある周波数強度分布とのマッチングを行い、例えば類似度が閾値以上である部分を重要部分と判断する。
【００２２】
すなわち、図６のフローチャートに示すように、先ずステップＳ１において、所定の時間区間毎に周波数強度分布を求め、ステップＳ２において、その周波数強度分布が予め登録されている重要パターンと一致するか否かを判別する。ステップＳ２において一致する場合（Yes）にはステップＳ３において重要部分と判断し、そうでない場合（No）にはステップＳ４に進む。ステップＳ４では、信号（番組）の最後か否かを判別し、最後である場合（Yes）には重要度の判断処理を終了し、そうでない場合（No）にはステップＳ１に戻って判断処理を続ける。
【００２３】
ここで、周波数強度分布を求める時間区間は、例えば１秒乃至数秒毎としてもよく、或いは映像のフレーム毎としてもよい。フレーム毎に周波数強度分布を求める場合、図７に示すように、現在時刻「01:20:14」のフレームに対応する音声信号を選択領域として周波数解析を行い、周波数強度分布を求める。この際、そのフレームに対応する音声信号のみならず、図８のように前後のフレームに対応する音声信号の解析結果をも利用することで、マッチングの精度を向上させることができる。この場合、図９に示すように、現在時刻を中心として肩部を有する重み付け係数を各周波数成分毎に乗算し、これらを加算することで現在時刻「01:20:14」のフレームに対応する音声信号の周波数解析結果とすることができる。
【００２４】
なお、マッチング時には閾値を調整可能とすることにより、厳密に一致していなければならない場合や、ある程度類似していればよい場合など、多様な判断が可能となる。曖昧な一致検索では、ファジーや他の技術を用いた曖昧検索が利用可能である。また、必ずしも登録されたパターンのみならず、学習機能を持たせ、登録されたパターンから学習したパターンをマッチングのテンプレートとしてもよい。
【００２５】
抽出部１２は、重要度判断部１１において重要と判断された部分の映像／音声を抽出し、その部分をコピーして元の映像／音声信号とは別に記録部１３に記録する。この際、単にその部分だけを抽出するのではなく、その前後も調整可能な範囲内で抽出することが好ましい。すなわち、例えば図１０に示すように、時刻「01:20:14」のフレームに対応する区間が重要であると判断された場合、その前後のフレームに対応する区間についても抽出するようにする。この範囲は、例えば重要部分の前後３分間というように設定可能である。さらに、この範囲を変更可能としておくことで視聴対象となる番組に応じて変化させることもでき、利便性が高まる。
【００２６】
また、抽出部１２は、映像が流れているその時点では重要部分の抽出を行わず、その部分が重要であるという開始点及び終了点のマーカーのみを記録部１３に記録するようにしてもよい。この場合にも、重要部分の前後を含めることが好ましい。マーカーは、元の映像／音声信号中に埋め込む或いは加えるようにしてもよいが、信号そのものを変化させたくない場合には、信号とは別にデータベースとして記録部１３に記録することもできる。但し、例えば映像信号であれば信号が持つＴＢＣ（Time Base Corrector）等の位置情報を利用するなど、元の信号のどの部分に対応するかが容易に分かるようにしておく必要があるのは勿論である。
【００２７】
統合部１４は、記録部１３に記録された重要部分を例えば時系列順に統合する。この際、各重要部分の間にその概要を説明するヘッダ情報を追加するようにしても構わない。また、時系列に従わず、任意の順番に入れ替えて統合するようにしてもよい。
【００２８】
発信部１５は、統合部１４によって統合された重要部分を視聴者、例えば携帯電話機やＰＤＡ（Personal Digital Assistance）等の携帯端末装置、或いはＴＶ受像器、ＰＣ（Personal Computer）等を含む受信端末３のユーザに対して発信する。発信の方法としては、発信側が任意の時間に発信するものであってもよく、視聴者側が任意の時間に送信要求を出し、これに応じて発信側から発信するものであってもよい。後者の場合には、視聴者が望む時間、場所で視聴することが可能である。また、送信形態は、図１１に示すように、インターネット等の一般のネットワーク、或いは専用線を利用して発信するものであってもよく、図１２に示すように、衛星通信を利用して発信するものであってもよい。また、放送局自身が重要部分の抽出を行う場合には、図１３に示すように、従来のＴＶ放送と同様に放送局から発信してもよい。
【００２９】
上述した情報提供装置１０の詳細な構成例を図１４に示す。図１４に示すように、情報提供装置１０は、該情報提供装置１０の各部を統括して制御するＣＰＵ（Central Processing Unit）１００と、不揮発性のメモリであるＲＯＭ（Read Only Memory）１０１と、揮発性のメモリであるＲＡＭ（Random Access Memory）１０２と、いわゆるＴＶチューナーであり、例えば放送局からのＴＶ放送を受信する映像／音声データ通信部１０３と、上述したような盛り上がり区間を検出する盛り上がり区間処理部１０４と、インターネット等のネットワーク、専用線、或いは衛星通信等を介して通信する通信回路１０５とが制御ライン１１０及びデータライン１２０とを介して接続されている。
【００３０】
このような情報提供装置１０において、ＣＰＵ１００は、例えばＲＯＭ１０１に記録されているプログラムに従って、プログラムを実行するための制御を行う。ＲＡＭ１０２には、ＣＰＵ１００が各種処理を実行する上で必要なプログラムやデータが必要に応じて一時的に格納される。
【００３１】
映像／音声データ通信部１０３は、アンテナ１０６を介して受信した映像／音声信号をＲＡＭ１０２に記憶し、ＲＡＭ１０２は、この信号を一定時間バッファリングした後、順次盛り上がり区間処理部１０４に出力する。なお、ＲＡＭ１０２ではなくメモリカード等の外部記憶装置（図示せず）に記憶するようにしてもよいことは勿論である。
【００３２】
盛り上がり区間処理部１０４は、例えば図１５に示すように、データライン１２０を介して入力された時間軸上の信号を周波数軸上の信号にスペクトル変換するスペクトル変換部１５０と、予め登録された重要パターンが記憶される重要パターン記憶部１５１と、各時間区間毎にデータが盛り上がり区間であるか否かを判定する判定部１５２と、盛り上がり区間を抽出する抽出部１５３と、各盛り上がり区間を統合する統合部１５４と、盛り上がり区間処理部１０４を統括して制御するデータ制御部１５５とにより構成される。
【００３３】
スペクトル変換部１５０は、入力された時間軸上の信号を前述した所定の時間区間毎にＦＦＴ（Fast Fourier Transform）等により周波数スペクトルに変換し、周波数強度分布を得る。そして判定部１５２は、重要パターン記憶部１５１から読み出した周波数強度分布と、スペクトル変換により得られた周波数強度分布とを比較して重要度を判定し、重要と判定された場合にはその旨をデータ制御部１５５に通知する。
【００３４】
データ制御部１５５は、判定部１５２から通知を受け取ると抽出部１５３を起動させ、抽出部１５３は、その重要部分の前の信号をＲＡＭ１０２（図１４）から読み出し、重要部分の信号及びその後の信号と合わせて統合部１５４に送る。そして統合部１５４は、抽出部１５３から送られた信号を順次記憶しておき、１つの信号として統合する。
【００３５】
図１４に戻って通信回路１０５は、任意の時間に、又は視聴者側からの送信要求に応じて、統合部１５４（図１５）で統合された信号を視聴者に対して発信する。
【００３６】
以上のように、第１の実施の形態によれば、情報提供装置１０において所定の時間区間毎に音声信号の周波数強度分布を調べ、その周波数強度分布について予め登録された重要パターンとのマッチングを行うことで、ＴＶ放送から視聴者が求める重要部分（盛り上がり部分）を自動的に抽出して統合してすることができ、視聴者に対してその重要部分を容易に提供することができる。また、視聴者は、頭出し等を行うことなく、重要部分を容易に視聴することができる。
【００３７】
次に、以下に説明する第２実施の形態では、第１の実施の形態のように統合された重要部分の全てを視聴者に対して発信するのではなく、情報提供装置１０が重要部分の一覧情報を作成して視聴者の携帯端末装置２０に送信し、視聴者がその重要部分の中から所望の情報のみをダウンロードする。
【００３８】
すなわち、図１６のフローチャートに示すように、先ずステップＳ１０において携帯端末装置２０のユーザが重要部分一覧、例えばＡチーム対Ｂチームの得点シーンの一覧を要求すると、ステップＳ１１において、情報提供装置１０は図１７に示すような一覧情報を携帯端末装置２０に送信する。これにより、携帯端末装置２０の表示部には、図１８に示すような画面が表示される。
【００３９】
次に携帯端末装置２０のユーザが図１８に示す一覧情報のうち、所望の得点シーンについてのチェックボックスをチェックし、さらに「選択部を受信する」とされたボタンを選択すると、ステップＳ１２において携帯端末装置２０は、情報提供装置１０に対して選択部分の送信を要求する。
【００４０】
続いてステップＳ１３において情報提供装置１０が選択部分の１つを送信すると、ステップＳ１４において携帯端末装置２０は、受信した選択部分の保存又は再生を行う。そしてステップＳ１５において情報提供装置１０が選択部分の最後を送信すると、ステップＳ１６において携帯端末装置２０は、情報提供装置１０に終了通知を送信する。
【００４１】
なお、ＡＣＫ通知送信を行う携帯端末装置２０の場合には、選択部分の１つを受信すると、正常に受信したことを示すアクノレッジを情報提供装置１０に返信し、正常に受信できなかった場合には、受信に失敗したことを示すアクノレッジを情報提供装置１０に返信する。
【００４２】
このような処理を行う携帯端末装置２０の詳細な構成例を図１９に示す。図１９に示すように、携帯端末装置２０は、該携帯端末装置２０の各部を統括して制御するＣＰＵ２００と、不揮発性のメモリであるＲＯＭ２０１と、揮発性のメモリであるＲＡＭ２０２と、表示部２０６に対する映像の表示を制御する表示制御部２０３と、ＲＡＭ２０２に記憶された情報を表示部２０６で表示可能に再生する処理を行うデータ再生部２０４と、インターネット等のネットワークを介して通信する通信回路２０５とが制御ライン２２０及びデータライン２３０とを介して接続されている。さらに、制御ライン２２０には入力手段であるテンキー２０７が接続され、データライン２３０には音声を出力するスピーカ２０８と、音声を集音するマイクロホン２０９とが接続されている。
【００４３】
このような携帯端末装置２０において、ＣＰＵ２００は、例えばＲＯＭ２０１に記録されているプログラムに従って、プログラムを実行するための制御を行う。ＲＡＭ２０２には、ＣＰＵ２００が各種処理を実行する上で必要なプログラムやデータが必要に応じて一時的に格納される。
【００４４】
通信回路２０５は、アンテナ２１０を介して情報提供装置１０と通信し、上述した重要情報一覧や、その一覧から選択した情報等を受信する。通信回路２０５は、受信した情報をＲＡＭ２０２に記憶する。なお、ＲＡＭ２０２ではなくメモリカード等の外部記憶装置（図示せず）に記憶するようにしてもよいことは勿論である。
【００４５】
データ再生部２０４は、ＲＡＭ２０２に記憶された重要情報一覧や選択された重要情報等のデータを表示部２０６で表示可能に再生する処理を行う。
【００４６】
以上のように、第２の実施の形態によれば、情報提供装置１０において抽出された重要部分（盛り上がり部分）の一覧情報を作成して視聴者の携帯端末装置２０に送信し、携帯端末装置２０において視聴者がその重要部分の中から所望の情報のみを指定してダウンロードすることにより、視聴者の選択した部分のみを簡便に視聴することができる。
【００４７】
続いて、以下に説明する第３の実施の形態では、第１、２の実施の形態のように情報提供装置１０を介さず、携帯端末装置自身が受信したＴＶ放送から重要部分を抽出して統合し、統合した重要部分を再生する。
【００４８】
このような処理を行う携帯端末装置３０の詳細な構成例を図２０に示す。図２０に示すように、携帯端末装置３０は、該携帯端末装置３０の各部を統括して制御するＣＰＵ３００と、不揮発性のメモリであるＲＯＭ３０１と、揮発性のメモリであるＲＡＭ３０２と、いわゆるＴＶチューナーであり、例えば放送局からのＴＶ放送を受信する映像／音声データ通信部３０３と、上述したような盛り上がり区間を検出する盛り上がり区間処理部３０４と、表示部３０８に対する映像の表示を制御する表示制御部３０５と、ＲＡＭ３０２に記憶された情報を表示部３０８で表示可能に再生する処理を行うデータ再生部３０６と、インターネット等のネットワークを介して通信する通信回路３０７とが制御ライン３２０及びデータライン３３０とを介して接続されている。さらに、制御ライン３２０には入力手段であるテンキー３０９が接続され、データライン３３０には音声を出力するスピーカ３１０と、音声を集音するマイクロホン３１１とが接続されている。
【００４９】
このような携帯端末装置３０において、ＣＰＵ３００は、例えばＲＯＭ３０１に記録されているプログラムに従って、プログラムを実行するための制御を行う。ＲＡＭ３０２には、ＣＰＵ３００が各種処理を実行する上で必要なプログラムやデータが必要に応じて一時的に格納される。
【００５０】
映像／音声データ通信部３０３は、アンテナ３１２を介して受信した映像／音声信号をＲＡＭ３０２に記憶し、ＲＡＭ３０２は、この信号を一定時間バッファリングした後、順次盛り上がり区間処理部３０４に出力する。なお、ＲＡＭ３０２ではなくメモリカード等の外部記憶装置（図示せず）に記憶するようにしてもよいことは勿論である。
【００５１】
盛り上がり区間処理部３０４は、例えば図２１に示すように、データライン３３０を介して入力された時間軸上の信号を周波数軸上の信号にスペクトル変換するスペクトル変換部３５０と、重要パターンが記憶される重要パターン記憶部３５１と、各時間区間毎にデータが盛り上がり区間であるか否かを判定する判定部３５２と、盛り上がり区間を抽出する抽出部３５３と、各盛り上がり区間を統合する統合部３５４と、盛り上がり区間処理部３０４を統括して制御するデータ制御部３５５とにより構成される。
【００５２】
スペクトル変換部３５０は、入力された時間軸上の信号を前述した所定の時間区間毎にＦＦＴ等により周波数スペクトルに変換し、周波数強度分布を得る。そして判定部３５２は、重要パターン記憶部３５１から読み出した周波数強度分布と、スペクトル変換により得られた周波数強度分布とを比較して重要度を判定し、重要と判定された場合にはその旨をデータ制御部３５５に通知する。なお、重要パターン記憶部３５１に記憶される重要パターンは、デフォルトのパターンであってもよく、ユーザが任意に作成したパターンであってもよい。また、通信回路３０７のアンテナ３１３を介して、番組を放送する放送局からその番組の放送前にダウンロードされたものであってもよく、所定のサイトから購入したものであってもよい。
【００５３】
データ制御部３５５は、判定部３５２から通知を受け取ると抽出部３５３を起動させ、抽出部３５３は、その重要部分の前の信号をＲＡＭ３０２（図２０）から読み出し、重要部分の信号及びその後の信号と合わせて統合部３５４に送る。そして統合部３５４は、抽出部３５３から送られた信号を順次記憶しておき、１つの信号として統合する。
【００５４】
図２０に戻ってデータ再生部３０６は、例えばユーザからの再生要求に応じて、統合部３５４（図２１）で統合された信号を読み出し、表示部３０８で表示可能に再生する処理を行う。
【００５５】
以上のように、第３の実施の形態によれば、携帯端末装置３０において所定の時間区間毎に音声信号の周波数強度分布を調べ、その周波数強度分布について重要パターンとのマッチングを行うことで、ＴＶ放送からユーザが求める重要部分（盛り上がり部分）を自動的に抽出して統合してすることができ、重要部分を容易に視聴することができる。
【００５６】
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【００５７】
例えば、上述した実施の形態では、ＴＶ放送の音声信号に基づいて重要部分か否かを判断し、重要部分の音声及び映像を抽出するものとして説明したが、これに限定されるものではなく、例えばラジオ放送の場合には重要部分の音声信号のみを抽出するようにしても、同様の効果が得られる。
【００５８】
【発明の効果】
以上詳細に説明したように、本発明に係る情報処理装置は、音声信号における重要部分を抽出する情報処理装置において、所定の時間区間毎に上記音声信号の特徴量を求め、該特徴量に基づいて該時間区間における重要度を判断する重要度判断手段と、上記重要度に基づいて上記重要部分を抽出する抽出手段と、抽出された複数の重要部分の少なくとも一部を統合する統合手段とを備えるものである。
【００５９】
ここで、本発明に係る情報処理装置は、上記統合手段によって統合された情報を外部に発信する情報発信手段をさらに備えるようにしてもよい。
【００６０】
このような情報処理装置によれば、例えばテレビジョン放送の音声信号から重要部分を抽出し、抽出された複数の重要部分の少なくとも一部を統合するため、例えば統合された情報を視聴者に対して発信した場合、視聴者は容易に重要部分を視聴することができる。
【００６１】
また、本発明に係る携帯端末装置は、所定の時間区間毎に音声信号の特徴量を求め、該特徴量に基づいて該時間区間における重要度を判断し、上記重要度に基づいて上記音声信号における重要部分を抽出して統合する情報処理装置と通信する通信手段と、上記重要部分を再生する再生手段とを備えるものである。
【００６２】
このような携帯端末装置によれば、例えばテレビジョン放送の音声信号から抽出され統合された重要部分を情報処理装置から受信し、この重要部分を再生することにより、ユーザは容易に重要部分を視聴することができる。
【００６３】
また、本発明に係る携帯端末装置は、音声信号における重要部分を抽出して再生する携帯端末装置において、所定の時間区間毎に上記音声信号の特徴量を求め、該特徴量に基づいて該時間区間における重要度を判断する重要度判断手段と、上記重要度に基づいて上記重要部分を抽出する抽出手段と、抽出された複数の重要部分の少なくとも一部を統合する統合手段と、上記統合された情報を再生する再生手段とを備えるものである。
【００６４】
このような携帯端末装置によれば、例えばテレビジョン放送の音声信号から重要部分を抽出し、抽出された複数の重要部分の少なくとも一部を統合して再生するため、ユーザは容易に重要部分を視聴することができる。
【図面の簡単な説明】
【図１】ＴＶ放送の視聴形態の一例を示す図である。
【図２】放送局と電話局との間の接続形態の他の例を示す図である。
【図３】放送局と電話局との間の接続形態の他の例を示す図である。
【図４】放送局と電話局との間の接続形態の他の例を示す図である。
【図５】第１の実施の形態における情報提供装置の概念構成を示す図である。
【図６】同情報提供装置の重要度判断部の処理手順を説明するフローチャートである。
【図７】映像信号のフレーム毎に音声信号の周波数強度分布を求める場合の例を示す図である。
【図８】現在時刻の前後のフレームに対応する音声信号の周波数解析結果をも利用する場合の例を示す図である。
【図９】前後のフレームの周波数解析結果の利用例を示す図である。
【図１０】同情報提供装置の抽出部における抽出区間を示す図である。
【図１１】同情報提供装置の発信部からの発信形態の一例を示す図である。
【図１２】同情報提供装置の発信部からの発信形態の一例を示す図である。
【図１３】同情報提供装置の発信部からの発信形態の一例を示す図である。
【図１４】第１の実施の形態における情報提供装置の詳細な構成例を示す図である。
【図１５】同情報提供装置における盛り上がり区間処理部の内部構成を示す図である。
【図１６】第２の実施の形態における携帯端末装置と情報提供装置との間のデータの送受信を説明するフローチャートである。
【図１７】同情報提供装置で作成される重要情報一覧の一例を示す図である。
【図１８】同重要情報一覧を受信した携帯端末装置における表示例を示す図である。
【図１９】第２の実施の形態における携帯端末装置の詳細な構成例を示す図である。
【図２０】第３の実施の形態における携帯端末装置の詳細な構成例を示す図である。
【図２１】同情報処理装置における盛り上がり区間処理部の内部構成を示す図である。
【符号の説明】
１ 放送局、２ 電話会社、３ 受信端末、１０ 情報提供装置、１１ 重要度判断部、１２ 抽出部、１３ 記録部、１４ 統合部、１５ 発信部、２０ 携帯端末装置、１０３，３０３ 映像／音声データ通信部、１０４，３０４ 盛り上がり区間処理部、１０５，２０５，３０７ 通信回路、２０３ 表示制御部、２０４，３０６ データ再生部、２０６，３０８ 表示部、２０７ テンキー、２０８，３１０ スピーカ
【発明の属する技術分野】
本発明は、テレビジョン放送等における音声信号の盛り上がり部分を重要部分として抽出し、又は重要部分を再生する情報処理装置及び携帯端末装置に関する。
【０００２】
【従来の技術】
一般公共放送を利用した放送では、その情報形態として流し続けるのが一般的であり、視聴者はこの中から希望する番組を選択して視聴する。しかしながら、視聴者はその中でも特に見たい部分や興味ある領域を持っているのが普通である。例えばスポーツ番組では、ある競技が始まってから最終的に勝敗が決まるまでを視聴することも大事であるが、得点が入った瞬間やゴールを決めた瞬間は特に視聴者の関心が高く、その部分だけは見逃したくないと考えるのが一般的である。そのため放送局では、視聴者が希望する部分だけを切り出して編集した特別番組や総集編といったダイジェスト映像を作成して、競技終了後に別の番組としてさらに放送することも少なくない。
【０００３】
従来、このようなダイジェスト映像の作成方法としては、人間が映像を見ながら手作業で映像編集してダイジェスト映像を作成する方法や、内容に基づくインデックスを手作業で振り、そのインデックスを利用して検索し、ダイジェスト映像を作成する方法が一般的であった。しかしながら、このような方法では、人間が映像全体を視聴する必要があるため、多大な時間と労力とが必要とされていた。
【０００４】
さらに、近年ネットワーク技術の発展により、ＡＤＳＬや光接続など、いわゆるブロードバンドが普及し始め、単にテレビジョン受像器を用いて放送を視聴するのみならず、ネットワーク経由でいわゆるストリーミング番組を視聴することも増えてきた。しかしながら、このようなネットワーク経由で流されるダイジェスト映像においても、従来は人間が手作業で作成しており、一般公共放送のための媒体をネットワーク経由向けに変換されただけのものも多く、多大な時間と労力とが必要とされていた。
【０００５】
このような理由から、下記の特許文献１には、全周波数帯域のパワーレベルと、特定の周波数成分のパワーレベルの大小との組み合わせにより、スポーツ等のイベントの盛り上がり部分を自動的に検出し、インデックスとして付与する技術が提案されている。この技術では、観客が盛り上がった音を検出するため、多くのイベントに汎用的に適用でき、イベントの進行上重要な箇所を自動的に検出することができる。
【０００６】
【特許文献１】
特開２００１−１４３４５１号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、この特許文献１に記載の技術では、盛り上がり部分にインデックスを付すのみであるため、このようなインデックスの付された映像／音声信号を例えば携帯端末装置のユーザに配信した場合、ユーザがダイジェスト映像を視聴するためには、インデックス位置への頭出しを行わなければならず、利便性に欠けていた。
【０００８】
本発明は、このような従来の実情に鑑みて提案されたものであり、音声信号から視聴者が求める盛り上がり部分を自動的に抽出して統合し、又はそのような盛り上がり部分を再生する情報処理装置及び携帯端末装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る情報処理装置は、映像信号が付随した音声信号における重要部分を抽出する情報処理装置において、第１の所定の時間区間毎に上記音声信号の特徴量を求め、該特徴量に基づいて該時間区間における重要度を判断する重要度判断手段と、上記重要度に基づいて上記所定の時間区間を含む前後の第２の所定の時間内における音声信号及び付随する映像信号を上記重要部分として抽出する抽出手段と、上記抽出された重要部分又は上記重要部分の開始点及び終了点の情報が記憶される記憶手段と、上記記憶手段に記憶された複数の重要部分を統合する統合手段とを備え、上記重要度判断手段は、上記時間区間毎に求められた上記音声信号の周波数強度分布と、予め登録された重要部分の周波数強度分布とを比較することにより、上記重要度を判断する。
【００１０】
ここで、本発明に係る情報処理装置は、上記統合手段によって統合された情報を外部に発信する情報発信手段をさらに備えるようにしてもよい。
【００１１】
このような情報処理装置は、例えばテレビジョン放送の音声信号から重要部分を抽出し、抽出された複数の重要部分の少なくとも一部を統合する。
【００１２】
また、上述した目的を達成するために、本発明に係る携帯端末装置は、映像信号が付随した音声信号に対して、第１の所定の時間区間毎に上記音声信号の特徴量となる周波数強度分布を求め、該特徴量となる上記周波数強度分布と予め登録された重要部分の周波数強度分布とを比較することにより該時間区間における重要度を判断し、上記重要度に基づいて上記所定の時間区間を含む前後の第２の所定の時間内における上記音声信号及び付随する映像信号を重要部分として抽出し、上記抽出された重要部分又は上記重要部分の開始点及び終了点の情報を記憶手段に記憶し、上記記憶手段に記憶された複数の重要部分を統合する情報処理装置と通信する通信手段と、上記重要部分を再生する再生手段とを備える。
【００１３】
このような携帯端末装置は、例えばテレビジョン放送の音声信号から抽出され統合された重要部分を情報処理装置から受信し、この重要部分を再生する。
【００１４】
また、上述した課題を達成するために、本発明に係る携帯端末装置は、映像信号が付随した音声信号における重要部分を抽出して再生する携帯端末装置において、第１の所定の時間区間毎に上記音声信号の特徴量を求め、該特徴量に基づいて該時間区間における重要度を判断する重要度判断手段と、上記重要度に基づいて上記所定の時間区間を含む前後の第２の所定の時間内における音声信号及び付随する映像信号を上記重要部分として抽出する抽出手段と、上記抽出された重要部分又は上記重要部分の開始点及び終了点の情報が記憶される記憶手段と、上記記憶手段に記憶された複数の重要部分を統合する統合手段と、上記統合された情報を再生する再生手段とを備え、上記重要度判断手段は、上記時間区間毎に求められた上記音声信号の周波数強度分布と、予め登録された重要部分の周波数強度分布とを比較することにより、上記重要度を判断する。
【００１５】
このような携帯端末装置は、例えばテレビジョン放送の音声信号から重要部分を抽出し、抽出された複数の重要部分の少なくとも一部を統合して再生する。
【００１６】
【発明の実施の形態】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、本発明に係る情報処理装置及び携帯端末装置を、映像／音声信号から重要部分を抽出して統合し、視聴者に提供する情報提供装置、及びそのような情報を再生し、又は映像／音声信号から重要部分を抽出・統合する携帯端末装置に適用したものである。なお、以下の実施の形態では、映像／音声信号として、テレビジョン（以下、ＴＶという。）放送を例示して説明する。
【００１７】
先ず、第１の実施の形態における情報提供装置の説明をする前に、ＴＶ放送の視聴形態例を図１に示す。ＴＶ放送は放送局１から電波で発信されており、電話会社２はそれをアンテナを介して受信する。そして電話会社２は、受信した情報であるＴＶ番組を加工し、視聴者、例えば携帯電話機等の受信端末３のユーザに向けて発信する。ここで、図１では放送局１と電話会社２の間は通常のＴＶ放送の形態をとっているが、これに限定されるものではなく、図２のように専用線で放送局１と電話会社２とを結ぶ形態であっても、図３のようにインターネット等のネットワークで結ぶ形態であっても、図４のように衛星通信を使って結ぶ形態であってもよい。また、最終的にユーザに対して情報を提供するのは、電話会社に限らず、電話会社以外の他の会社や個人であってもよく、放送局自身であっても構わない。以下、このように視聴者に対して情報を加工して提供する会社又は個人を情報提供者と定義し、そのような処理を行う装置を情報提供装置と定義する。
【００１８】
情報提供者は、受信したＴＶ番組を視聴者が望む形に加工する。例えばスポー番組の場合、視聴者は試合の全てを見たいとも思っているが、全てを見る時間的余裕がない場合や複数の試合を簡便に見たい場合も多く、得点が入った瞬間、或いは自分の応援しているチームや選手にとって有利又は不利な展開になった部分だけは必ず見たいと思うことも多い。このような得点が入ったシーンなどでは、そのスポーツが開催されている会場の聴衆も同様に関心が高く、それが会場内の音響にも具体的に現れる。すなわち、聴衆の反応として、音響的には「わぁー」という音声分布が現れる。しかも、試合継続中に開催場所が変化、移動することは極めて稀であるため、会場における音響特性は、ほぼ同じと考えられ、結果として聴衆の反応も同じような傾向を示す。つまり、得点の入ったシーンなどの盛り上がり部分では、周波数分布がほぼ同じような特性を示すことになる。
【００１９】
そこで、本実施の形態ではこの特性を利用し、周波数分布が前述の特性を示す部分を盛り上がり部分と判断し、その盛り上がり部分を重要部分として抽出する。なお、ＴＶ放送では音声と映像とが同期しているため、対応する映像も重要度が高いとして同様に抽出する。この際、単にその部分だけを抽出するのではなく、その前後も調整可能な範囲内で抽出すれば、例えば試合中の得点に絡む前後のシーンを極めて正確に抽出できることになる。
【００２０】
このように重要部分を抽出して視聴者に提供する情報提供装置の概念構成を図５に示す。図５に示すように、情報提供装置１０は、音声信号の周波数分布から重要度が高い部分を判断する重要度判断部１１と、その重要部分を抽出する抽出部１２と、抽出した情報が記録される記録部１３と、それらの重要部分を統合する統合部１４と、統合した情報を視聴者に向けて発信する発信部１５とにより構成される。
【００２１】
ここで重要度判断部１１は、ＴＶ放送を受信すると、先ず所定の時間区間毎に音声信号の周波数強度分布を調べる。そして、その周波数強度分布について、重要パターンとして予め登録してある周波数強度分布とのマッチングを行い、例えば類似度が閾値以上である部分を重要部分と判断する。
【００２２】
すなわち、図６のフローチャートに示すように、先ずステップＳ１において、所定の時間区間毎に周波数強度分布を求め、ステップＳ２において、その周波数強度分布が予め登録されている重要パターンと一致するか否かを判別する。ステップＳ２において一致する場合（Yes）にはステップＳ３において重要部分と判断し、そうでない場合（No）にはステップＳ４に進む。ステップＳ４では、信号（番組）の最後か否かを判別し、最後である場合（Yes）には重要度の判断処理を終了し、そうでない場合（No）にはステップＳ１に戻って判断処理を続ける。
【００２３】
ここで、周波数強度分布を求める時間区間は、例えば１秒乃至数秒毎としてもよく、或いは映像のフレーム毎としてもよい。フレーム毎に周波数強度分布を求める場合、図７に示すように、現在時刻「01:20:14」のフレームに対応する音声信号を選択領域として周波数解析を行い、周波数強度分布を求める。この際、そのフレームに対応する音声信号のみならず、図８のように前後のフレームに対応する音声信号の解析結果をも利用することで、マッチングの精度を向上させることができる。この場合、図９に示すように、現在時刻を中心として肩部を有する重み付け係数を各周波数成分毎に乗算し、これらを加算することで現在時刻「01:20:14」のフレームに対応する音声信号の周波数解析結果とすることができる。
【００２４】
なお、マッチング時には閾値を調整可能とすることにより、厳密に一致していなければならない場合や、ある程度類似していればよい場合など、多様な判断が可能となる。曖昧な一致検索では、ファジーや他の技術を用いた曖昧検索が利用可能である。また、必ずしも登録されたパターンのみならず、学習機能を持たせ、登録されたパターンから学習したパターンをマッチングのテンプレートとしてもよい。
【００２５】
抽出部１２は、重要度判断部１１において重要と判断された部分の映像／音声を抽出し、その部分をコピーして元の映像／音声信号とは別に記録部１３に記録する。この際、単にその部分だけを抽出するのではなく、その前後も調整可能な範囲内で抽出することが好ましい。すなわち、例えば図１０に示すように、時刻「01:20:14」のフレームに対応する区間が重要であると判断された場合、その前後のフレームに対応する区間についても抽出するようにする。この範囲は、例えば重要部分の前後３分間というように設定可能である。さらに、この範囲を変更可能としておくことで視聴対象となる番組に応じて変化させることもでき、利便性が高まる。
【００２６】
また、抽出部１２は、映像が流れているその時点では重要部分の抽出を行わず、その部分が重要であるという開始点及び終了点のマーカーのみを記録部１３に記録するようにしてもよい。この場合にも、重要部分の前後を含めることが好ましい。マーカーは、元の映像／音声信号中に埋め込む或いは加えるようにしてもよいが、信号そのものを変化させたくない場合には、信号とは別にデータベースとして記録部１３に記録することもできる。但し、例えば映像信号であれば信号が持つＴＢＣ（Time Base Corrector）等の位置情報を利用するなど、元の信号のどの部分に対応するかが容易に分かるようにしておく必要があるのは勿論である。
【００２７】
統合部１４は、記録部１３に記録された重要部分を例えば時系列順に統合する。この際、各重要部分の間にその概要を説明するヘッダ情報を追加するようにしても構わない。また、時系列に従わず、任意の順番に入れ替えて統合するようにしてもよい。
【００２８】
発信部１５は、統合部１４によって統合された重要部分を視聴者、例えば携帯電話機やＰＤＡ（Personal Digital Assistance）等の携帯端末装置、或いはＴＶ受像器、ＰＣ（Personal Computer）等を含む受信端末３のユーザに対して発信する。発信の方法としては、発信側が任意の時間に発信するものであってもよく、視聴者側が任意の時間に送信要求を出し、これに応じて発信側から発信するものであってもよい。後者の場合には、視聴者が望む時間、場所で視聴することが可能である。また、送信形態は、図１１に示すように、インターネット等の一般のネットワーク、或いは専用線を利用して発信するものであってもよく、図１２に示すように、衛星通信を利用して発信するものであってもよい。また、放送局自身が重要部分の抽出を行う場合には、図１３に示すように、従来のＴＶ放送と同様に放送局から発信してもよい。
【００２９】
上述した情報提供装置１０の詳細な構成例を図１４に示す。図１４に示すように、情報提供装置１０は、該情報提供装置１０の各部を統括して制御するＣＰＵ（Central Processing Unit）１００と、不揮発性のメモリであるＲＯＭ（Read Only Memory）１０１と、揮発性のメモリであるＲＡＭ（Random Access Memory）１０２と、いわゆるＴＶチューナーであり、例えば放送局からのＴＶ放送を受信する映像／音声データ通信部１０３と、上述したような盛り上がり区間を検出する盛り上がり区間処理部１０４と、インターネット等のネットワーク、専用線、或いは衛星通信等を介して通信する通信回路１０５とが制御ライン１１０及びデータライン１２０とを介して接続されている。
【００３０】
このような情報提供装置１０において、ＣＰＵ１００は、例えばＲＯＭ１０１に記録されているプログラムに従って、プログラムを実行するための制御を行う。ＲＡＭ１０２には、ＣＰＵ１００が各種処理を実行する上で必要なプログラムやデータが必要に応じて一時的に格納される。
【００３１】
映像／音声データ通信部１０３は、アンテナ１０６を介して受信した映像／音声信号をＲＡＭ１０２に記憶し、ＲＡＭ１０２は、この信号を一定時間バッファリングした後、順次盛り上がり区間処理部１０４に出力する。なお、ＲＡＭ１０２ではなくメモリカード等の外部記憶装置（図示せず）に記憶するようにしてもよいことは勿論である。
【００３２】
盛り上がり区間処理部１０４は、例えば図１５に示すように、データライン１２０を介して入力された時間軸上の信号を周波数軸上の信号にスペクトル変換するスペクトル変換部１５０と、予め登録された重要パターンが記憶される重要パターン記憶部１５１と、各時間区間毎にデータが盛り上がり区間であるか否かを判定する判定部１５２と、盛り上がり区間を抽出する抽出部１５３と、各盛り上がり区間を統合する統合部１５４と、盛り上がり区間処理部１０４を統括して制御するデータ制御部１５５とにより構成される。
【００３３】
スペクトル変換部１５０は、入力された時間軸上の信号を前述した所定の時間区間毎にＦＦＴ（Fast Fourier Transform）等により周波数スペクトルに変換し、周波数強度分布を得る。そして判定部１５２は、重要パターン記憶部１５１から読み出した周波数強度分布と、スペクトル変換により得られた周波数強度分布とを比較して重要度を判定し、重要と判定された場合にはその旨をデータ制御部１５５に通知する。
【００３４】
データ制御部１５５は、判定部１５２から通知を受け取ると抽出部１５３を起動させ、抽出部１５３は、その重要部分の前の信号をＲＡＭ１０２（図１４）から読み出し、重要部分の信号及びその後の信号と合わせて統合部１５４に送る。そして統合部１５４は、抽出部１５３から送られた信号を順次記憶しておき、１つの信号として統合する。
【００３５】
図１４に戻って通信回路１０５は、任意の時間に、又は視聴者側からの送信要求に応じて、統合部１５４（図１５）で統合された信号を視聴者に対して発信する。
【００３６】
以上のように、第１の実施の形態によれば、情報提供装置１０において所定の時間区間毎に音声信号の周波数強度分布を調べ、その周波数強度分布について予め登録された重要パターンとのマッチングを行うことで、ＴＶ放送から視聴者が求める重要部分（盛り上がり部分）を自動的に抽出して統合してすることができ、視聴者に対してその重要部分を容易に提供することができる。また、視聴者は、頭出し等を行うことなく、重要部分を容易に視聴することができる。
【００３７】
次に、以下に説明する第２実施の形態では、第１の実施の形態のように統合された重要部分の全てを視聴者に対して発信するのではなく、情報提供装置１０が重要部分の一覧情報を作成して視聴者の携帯端末装置２０に送信し、視聴者がその重要部分の中から所望の情報のみをダウンロードする。
【００３８】
すなわち、図１６のフローチャートに示すように、先ずステップＳ１０において携帯端末装置２０のユーザが重要部分一覧、例えばＡチーム対Ｂチームの得点シーンの一覧を要求すると、ステップＳ１１において、情報提供装置１０は図１７に示すような一覧情報を携帯端末装置２０に送信する。これにより、携帯端末装置２０の表示部には、図１８に示すような画面が表示される。
【００３９】
次に携帯端末装置２０のユーザが図１８に示す一覧情報のうち、所望の得点シーンについてのチェックボックスをチェックし、さらに「選択部を受信する」とされたボタンを選択すると、ステップＳ１２において携帯端末装置２０は、情報提供装置１０に対して選択部分の送信を要求する。
【００４０】
続いてステップＳ１３において情報提供装置１０が選択部分の１つを送信すると、ステップＳ１４において携帯端末装置２０は、受信した選択部分の保存又は再生を行う。そしてステップＳ１５において情報提供装置１０が選択部分の最後を送信すると、ステップＳ１６において携帯端末装置２０は、情報提供装置１０に終了通知を送信する。
【００４１】
なお、ＡＣＫ通知送信を行う携帯端末装置２０の場合には、選択部分の１つを受信すると、正常に受信したことを示すアクノレッジを情報提供装置１０に返信し、正常に受信できなかった場合には、受信に失敗したことを示すアクノレッジを情報提供装置１０に返信する。
【００４２】
このような処理を行う携帯端末装置２０の詳細な構成例を図１９に示す。図１９に示すように、携帯端末装置２０は、該携帯端末装置２０の各部を統括して制御するＣＰＵ２００と、不揮発性のメモリであるＲＯＭ２０１と、揮発性のメモリであるＲＡＭ２０２と、表示部２０６に対する映像の表示を制御する表示制御部２０３と、ＲＡＭ２０２に記憶された情報を表示部２０６で表示可能に再生する処理を行うデータ再生部２０４と、インターネット等のネットワークを介して通信する通信回路２０５とが制御ライン２２０及びデータライン２３０とを介して接続されている。さらに、制御ライン２２０には入力手段であるテンキー２０７が接続され、データライン２３０には音声を出力するスピーカ２０８と、音声を集音するマイクロホン２０９とが接続されている。
【００４３】
このような携帯端末装置２０において、ＣＰＵ２００は、例えばＲＯＭ２０１に記録されているプログラムに従って、プログラムを実行するための制御を行う。ＲＡＭ２０２には、ＣＰＵ２００が各種処理を実行する上で必要なプログラムやデータが必要に応じて一時的に格納される。
【００４４】
通信回路２０５は、アンテナ２１０を介して情報提供装置１０と通信し、上述した重要情報一覧や、その一覧から選択した情報等を受信する。通信回路２０５は、受信した情報をＲＡＭ２０２に記憶する。なお、ＲＡＭ２０２ではなくメモリカード等の外部記憶装置（図示せず）に記憶するようにしてもよいことは勿論である。
【００４５】
データ再生部２０４は、ＲＡＭ２０２に記憶された重要情報一覧や選択された重要情報等のデータを表示部２０６で表示可能に再生する処理を行う。
【００４６】
以上のように、第２の実施の形態によれば、情報提供装置１０において抽出された重要部分（盛り上がり部分）の一覧情報を作成して視聴者の携帯端末装置２０に送信し、携帯端末装置２０において視聴者がその重要部分の中から所望の情報のみを指定してダウンロードすることにより、視聴者の選択した部分のみを簡便に視聴することができる。
【００４７】
続いて、以下に説明する第３の実施の形態では、第１、２の実施の形態のように情報提供装置１０を介さず、携帯端末装置自身が受信したＴＶ放送から重要部分を抽出して統合し、統合した重要部分を再生する。
【００４８】
このような処理を行う携帯端末装置３０の詳細な構成例を図２０に示す。図２０に示すように、携帯端末装置３０は、該携帯端末装置３０の各部を統括して制御するＣＰＵ３００と、不揮発性のメモリであるＲＯＭ３０１と、揮発性のメモリであるＲＡＭ３０２と、いわゆるＴＶチューナーであり、例えば放送局からのＴＶ放送を受信する映像／音声データ通信部３０３と、上述したような盛り上がり区間を検出する盛り上がり区間処理部３０４と、表示部３０８に対する映像の表示を制御する表示制御部３０５と、ＲＡＭ３０２に記憶された情報を表示部３０８で表示可能に再生する処理を行うデータ再生部３０６と、インターネット等のネットワークを介して通信する通信回路３０７とが制御ライン３２０及びデータライン３３０とを介して接続されている。さらに、制御ライン３２０には入力手段であるテンキー３０９が接続され、データライン３３０には音声を出力するスピーカ３１０と、音声を集音するマイクロホン３１１とが接続されている。
【００４９】
このような携帯端末装置３０において、ＣＰＵ３００は、例えばＲＯＭ３０１に記録されているプログラムに従って、プログラムを実行するための制御を行う。ＲＡＭ３０２には、ＣＰＵ３００が各種処理を実行する上で必要なプログラムやデータが必要に応じて一時的に格納される。
【００５０】
映像／音声データ通信部３０３は、アンテナ３１２を介して受信した映像／音声信号をＲＡＭ３０２に記憶し、ＲＡＭ３０２は、この信号を一定時間バッファリングした後、順次盛り上がり区間処理部３０４に出力する。なお、ＲＡＭ３０２ではなくメモリカード等の外部記憶装置（図示せず）に記憶するようにしてもよいことは勿論である。
【００５１】
盛り上がり区間処理部３０４は、例えば図２１に示すように、データライン３３０を介して入力された時間軸上の信号を周波数軸上の信号にスペクトル変換するスペクトル変換部３５０と、重要パターンが記憶される重要パターン記憶部３５１と、各時間区間毎にデータが盛り上がり区間であるか否かを判定する判定部３５２と、盛り上がり区間を抽出する抽出部３５３と、各盛り上がり区間を統合する統合部３５４と、盛り上がり区間処理部３０４を統括して制御するデータ制御部３５５とにより構成される。
【００５２】
スペクトル変換部３５０は、入力された時間軸上の信号を前述した所定の時間区間毎にＦＦＴ等により周波数スペクトルに変換し、周波数強度分布を得る。そして判定部３５２は、重要パターン記憶部３５１から読み出した周波数強度分布と、スペクトル変換により得られた周波数強度分布とを比較して重要度を判定し、重要と判定された場合にはその旨をデータ制御部３５５に通知する。なお、重要パターン記憶部３５１に記憶される重要パターンは、デフォルトのパターンであってもよく、ユーザが任意に作成したパターンであってもよい。また、通信回路３０７のアンテナ３１３を介して、番組を放送する放送局からその番組の放送前にダウンロードされたものであってもよく、所定のサイトから購入したものであってもよい。
【００５３】
データ制御部３５５は、判定部３５２から通知を受け取ると抽出部３５３を起動させ、抽出部３５３は、その重要部分の前の信号をＲＡＭ３０２（図２０）から読み出し、重要部分の信号及びその後の信号と合わせて統合部３５４に送る。そして統合部３５４は、抽出部３５３から送られた信号を順次記憶しておき、１つの信号として統合する。
【００５４】
図２０に戻ってデータ再生部３０６は、例えばユーザからの再生要求に応じて、統合部３５４（図２１）で統合された信号を読み出し、表示部３０８で表示可能に再生する処理を行う。
【００５５】
以上のように、第３の実施の形態によれば、携帯端末装置３０において所定の時間区間毎に音声信号の周波数強度分布を調べ、その周波数強度分布について重要パターンとのマッチングを行うことで、ＴＶ放送からユーザが求める重要部分（盛り上がり部分）を自動的に抽出して統合してすることができ、重要部分を容易に視聴することができる。
【００５６】
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【００５７】
例えば、上述した実施の形態では、ＴＶ放送の音声信号に基づいて重要部分か否かを判断し、重要部分の音声及び映像を抽出するものとして説明したが、これに限定されるものではなく、例えばラジオ放送の場合には重要部分の音声信号のみを抽出するようにしても、同様の効果が得られる。
【００５８】
【発明の効果】
以上詳細に説明したように、本発明に係る情報処理装置は、音声信号における重要部分を抽出する情報処理装置において、所定の時間区間毎に上記音声信号の特徴量を求め、該特徴量に基づいて該時間区間における重要度を判断する重要度判断手段と、上記重要度に基づいて上記重要部分を抽出する抽出手段と、抽出された複数の重要部分の少なくとも一部を統合する統合手段とを備えるものである。
【００５９】
ここで、本発明に係る情報処理装置は、上記統合手段によって統合された情報を外部に発信する情報発信手段をさらに備えるようにしてもよい。
【００６０】
このような情報処理装置によれば、例えばテレビジョン放送の音声信号から重要部分を抽出し、抽出された複数の重要部分の少なくとも一部を統合するため、例えば統合された情報を視聴者に対して発信した場合、視聴者は容易に重要部分を視聴することができる。
【００６１】
また、本発明に係る携帯端末装置は、所定の時間区間毎に音声信号の特徴量を求め、該特徴量に基づいて該時間区間における重要度を判断し、上記重要度に基づいて上記音声信号における重要部分を抽出して統合する情報処理装置と通信する通信手段と、上記重要部分を再生する再生手段とを備えるものである。
【００６２】
このような携帯端末装置によれば、例えばテレビジョン放送の音声信号から抽出され統合された重要部分を情報処理装置から受信し、この重要部分を再生することにより、ユーザは容易に重要部分を視聴することができる。
【００６３】
また、本発明に係る携帯端末装置は、音声信号における重要部分を抽出して再生する携帯端末装置において、所定の時間区間毎に上記音声信号の特徴量を求め、該特徴量に基づいて該時間区間における重要度を判断する重要度判断手段と、上記重要度に基づいて上記重要部分を抽出する抽出手段と、抽出された複数の重要部分の少なくとも一部を統合する統合手段と、上記統合された情報を再生する再生手段とを備えるものである。
【００６４】
このような携帯端末装置によれば、例えばテレビジョン放送の音声信号から重要部分を抽出し、抽出された複数の重要部分の少なくとも一部を統合して再生するため、ユーザは容易に重要部分を視聴することができる。
【図面の簡単な説明】
【図１】ＴＶ放送の視聴形態の一例を示す図である。
【図２】放送局と電話局との間の接続形態の他の例を示す図である。
【図３】放送局と電話局との間の接続形態の他の例を示す図である。
【図４】放送局と電話局との間の接続形態の他の例を示す図である。
【図５】第１の実施の形態における情報提供装置の概念構成を示す図である。
【図６】同情報提供装置の重要度判断部の処理手順を説明するフローチャートである。
【図７】映像信号のフレーム毎に音声信号の周波数強度分布を求める場合の例を示す図である。
【図８】現在時刻の前後のフレームに対応する音声信号の周波数解析結果をも利用する場合の例を示す図である。
【図９】前後のフレームの周波数解析結果の利用例を示す図である。
【図１０】同情報提供装置の抽出部における抽出区間を示す図である。
【図１１】同情報提供装置の発信部からの発信形態の一例を示す図である。
【図１２】同情報提供装置の発信部からの発信形態の一例を示す図である。
【図１３】同情報提供装置の発信部からの発信形態の一例を示す図である。
【図１４】第１の実施の形態における情報提供装置の詳細な構成例を示す図である。
【図１５】同情報提供装置における盛り上がり区間処理部の内部構成を示す図である。
【図１６】第２の実施の形態における携帯端末装置と情報提供装置との間のデータの送受信を説明するフローチャートである。
【図１７】同情報提供装置で作成される重要情報一覧の一例を示す図である。
【図１８】同重要情報一覧を受信した携帯端末装置における表示例を示す図である。
【図１９】第２の実施の形態における携帯端末装置の詳細な構成例を示す図である。
【図２０】第３の実施の形態における携帯端末装置の詳細な構成例を示す図である。
【図２１】同情報処理装置における盛り上がり区間処理部の内部構成を示す図である。
【符号の説明】
１ 放送局、２ 電話会社、３ 受信端末、１０ 情報提供装置、１１ 重要度判断部、１２ 抽出部、１３ 記録部、１４ 統合部、１５ 発信部、２０ 携帯端末装置、１０３，３０３ 映像／音声データ通信部、１０４，３０４ 盛り上がり区間処理部、１０５，２０５，３０７ 通信回路、２０３ 表示制御部、２０４，３０６ データ再生部、２０６，３０８ 表示部、２０７ テンキー、２０８，３１０ スピーカ
Claims (11)
- 映像信号が付随した音声信号における重要部分を抽出する情報処理装置において、
第１の所定の時間区間毎に上記音声信号の特徴量を求め、該特徴量に基づいて該時間区間における重要度を判断する重要度判断手段と、
上記重要度に基づいて上記所定の時間区間を含む前後の第２の所定の時間内における音声信号及び付随する映像信号を上記重要部分として抽出する抽出手段と、
上記抽出された重要部分又は上記重要部分の開始点及び終了点の情報が記憶される記憶手段と、
上記記憶手段に記憶された複数の重要部分を統合する統合手段とを備え、
上記重要度判断手段は、上記時間区間毎に求められた上記音声信号の周波数強度分布と、予め登録された重要部分の周波数強度分布とを比較することにより、上記重要度を判断する
情報処理装置。 - 上記統合手段によって統合された情報を外部に発信する情報発信手段をさらに備える請求項１記載の情報処理装置。
- 上記抽出手段は、上記重要部分と該重要部分に対応する時刻の上記映像信号とを抽出する請求項１記載の情報処理装置。
- 上記統合手段は、複数の上記重要部分を時系列順又は任意の順序で統合する請求項１記載の情報処理装置。
- 上記情報発信手段は、外部からの要求に応じて上記統合された情報を発信する請求項２記載の情報処理装置。
- 上記情報発信手段は、任意の時間に上記統合された情報を外部に発信する請求項２記載の情報処理装置。
- 上記抽出手段は、上記重要部分の複製を上記記憶手段に記憶する請求項１記載の情報処理装置。
- 映像信号が付随した音声信号に対して、第１の所定の時間区間毎に上記音声信号の特徴量となる周波数強度分布を求め、該特徴量となる上記周波数強度分布と予め登録された重要部分の周波数強度分布とを比較することにより該時間区間における重要度を判断し、上記重要度に基づいて上記所定の時間区間を含む前後の第２の所定の時間内における上記音声信号及び付随する映像信号を重要部分として抽出し、上記抽出された重要部分又は上記重要部分の開始点及び終了点の情報を記憶手段に記憶し、上記記憶手段に記憶された複数の重要部分を統合する情報処理装置と通信する通信手段と、
上記重要部分を再生する再生手段と
を備える携帯端末装置。 - 上記通信手段は、上記情報処理装置から上記重要部分の一覧情報を受信すると共に、該一覧情報のうち所望の部分を指定する指定情報を上記情報処理装置に送信し、
上記再生手段は、上記指定情報に応じて上記情報処理装置から送信された上記所望の部分を再生する
請求項８記載の携帯端末装置。 - 上記再生手段は、上記重要部分と該重要部分に対応する時刻の上記映像信号とを再生する請求項８記載の携帯端末装置。
- 映像信号が付随した音声信号における重要部分を抽出して再生する携帯端末装置において、
第１の所定の時間区間毎に上記音声信号の特徴量を求め、該特徴量に基づいて該時間区間における重要度を判断する重要度判断手段と、
上記重要度に基づいて上記所定の時間区間を含む前後の第２の所定の時間内における音声信号及び付随する映像信号を上記重要部分として抽出する抽出手段と、
上記抽出された重要部分又は上記重要部分の開始点及び終了点の情報が記憶される記憶手段と、
上記記憶手段に記憶された複数の重要部分を統合する統合手段と、
上記統合された情報を再生する再生手段とを備え、
上記重要度判断手段は、上記時間区間毎に求められた上記音声信号の周波数強度分布と、予め登録された重要部分の周波数強度分布とを比較することにより、上記重要度を判断する
携帯端末装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003105641A JP4828785B2 (ja) | 2003-04-09 | 2003-04-09 | 情報処理装置及び携帯端末装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003105641A JP4828785B2 (ja) | 2003-04-09 | 2003-04-09 | 情報処理装置及び携帯端末装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010142781A Division JP2010266880A (ja) | 2010-06-23 | 2010-06-23 | 携帯端末装置、情報処理方法、及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004309920A JP2004309920A (ja) | 2004-11-04 |
| JP4828785B2 true JP4828785B2 (ja) | 2011-11-30 |
Family
ID=33468095
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003105641A Expired - Fee Related JP4828785B2 (ja) | 2003-04-09 | 2003-04-09 | 情報処理装置及び携帯端末装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4828785B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006180068A (ja) * | 2004-12-21 | 2006-07-06 | Matsushita Electric Ind Co Ltd | デジタル放送受信装置、デジタル放送受信方法およびデジタル放送受信プログラム |
| JP4621607B2 (ja) * | 2005-03-30 | 2011-01-26 | 株式会社東芝 | 情報処理装置及びその方法 |
| JP2006340066A (ja) * | 2005-06-02 | 2006-12-14 | Mitsubishi Electric Corp | 動画像符号化装置、動画像符号化方法及び記録再生方法 |
| JP2009033369A (ja) | 2007-07-26 | 2009-02-12 | Sony Corp | 記録装置、再生装置、記録再生装置、撮像装置、記録方法およびプログラム |
| JP5132789B2 (ja) * | 2011-01-26 | 2013-01-30 | 三菱電機株式会社 | 動画像符号化装置及び方法 |
| JP7552155B2 (ja) | 2020-08-31 | 2024-09-18 | 株式会社Ｊｖｃケンウッド | 映像処理装置、映像処理方法、及びモデル生成装置 |
| CN112182301A (zh) * | 2020-09-30 | 2021-01-05 | 北京百度网讯科技有限公司 | 用于提取视频片段的方法和装置 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2960939B2 (ja) * | 1989-08-24 | 1999-10-12 | 日本電信電話株式会社 | シーン抽出処理方法 |
| JP3472659B2 (ja) * | 1995-02-20 | 2003-12-02 | 株式会社日立製作所 | 映像供給方法および映像供給システム |
| JPH09284704A (ja) * | 1996-04-15 | 1997-10-31 | Sony Corp | 映像信号選択装置及びダイジェスト記録装置 |
| JP3065314B1 (ja) * | 1998-06-01 | 2000-07-17 | 日本電信電話株式会社 | 高速信号探索方法、装置およびその記録媒体 |
| JP2001143451A (ja) * | 1999-11-17 | 2001-05-25 | Nippon Hoso Kyokai <Nhk> | 自動インデックス発生装置ならびにインデックス付与装置 |
| JP2002199333A (ja) * | 2000-12-27 | 2002-07-12 | Canon Inc | 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体 |
| JP2002207491A (ja) * | 2001-01-10 | 2002-07-26 | Denon Ltd | コンテンツデータ配信システム、ダウンロード端末装置および携帯電話機 |
-
2003
- 2003-04-09 JP JP2003105641A patent/JP4828785B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004309920A (ja) | 2004-11-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8139165B2 (en) | Television receiver | |
| JP3891111B2 (ja) | 音響信号処理装置及び方法、信号記録装置及び方法、並びにプログラム | |
| JP4692775B2 (ja) | 映像コンテンツ再生支援方法、映像コンテンツ再生支援システム、及び情報配信プログラム | |
| EP1471672B1 (en) | A method of remotely storing a broadcast program received by a mobile communication terminal | |
| CN102959544A (zh) | 用于同步媒体的方法和系统 | |
| CN102193794B (zh) | 链接实时媒体情境到相关的应用程序和服务 | |
| US20060285824A1 (en) | Program search support system | |
| JPWO2006025284A1 (ja) | ストリーム再生装置 | |
| WO2007029489A1 (ja) | コンテンツリプレイ装置、コンテンツ再生装置、コンテンツリプレイ方法、コンテンツ再生方法、プログラム、および記録媒体 | |
| US20060222318A1 (en) | Information processing apparatus and its method | |
| JP4828785B2 (ja) | 情報処理装置及び携帯端末装置 | |
| JP3821362B2 (ja) | インデックス情報生成装置、記録再生装置、及びインデックス情報生成方法 | |
| JP2008178090A (ja) | 映像処理装置 | |
| JP4030440B2 (ja) | メッセージ再生装置、メッセージ記録および再生方法、およびプログラム | |
| JP2010266880A (ja) | 携帯端末装置、情報処理方法、及びプログラム | |
| JP3592210B2 (ja) | 記録装置および記録方法 | |
| JP5306550B2 (ja) | 映像解析情報送信装置、映像解析情報配信システム及び配信方法、映像視聴システム及び映像視聴方法 | |
| JP4351587B2 (ja) | ダイジェスト映像提供システムおよび方法 | |
| JP4838548B2 (ja) | 携帯端末 | |
| JP2002330390A (ja) | 録画装置 | |
| JP5198643B1 (ja) | 映像解析情報アップロード装置及び映像視聴システム及び方法 | |
| JP2005333280A (ja) | 番組連動システム | |
| JP2002218331A (ja) | テレビジョン受信装置及び受信方法 | |
| JP4056057B2 (ja) | メディア信号の検索及び記録方法及び装置 | |
| JP2007288391A (ja) | ハードディスク装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20060404 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060404 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20060404 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20060404 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090410 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090623 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090821 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091027 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091224 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100323 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100623 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20100708 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20100806 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110915 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140922 Year of fee payment: 3 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4828785 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140922 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |