JP3733984B2 - 情報蓄積装置および情報蓄積方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、例えば会議録記録システムや取材記録システムのように、会議や取材での会話音声、会議や取材風景の画像と、それらに関係する会議メモや取材メモなどの情報を記憶蓄積する情報蓄積装置および情報蓄積方法に関する。
【０００２】
【従来の技術】
従来から、会議や講演、取材、インタビュー、電話やテレビ電話を使用した会話、テレビ映像、監視カメラ映像等の記録を、デジタルディスク、デジタルスチルカメラ、ビデオテープ、半導体メモリなどに記録し、再生する装置が提案されている。これらの装置を用いて情報の蓄積を行なえば、記録すべき情報の要点のみを記録者が筆記等して記録する方法に比べ、入力情報である音声や画像を漏らさず記録できるという利点がある。
【０００３】
これらの装置には、コンピュータネットワークを介して伝送されたデジタル信号を蓄積媒体に記録するものや、ビデオカメラやマイクからのアナログ入力信号をそのまま蓄積媒体に記録するものや、符号化してデジタル信号に変換し、記録するものなどがある。
【０００４】
しかしながら、記録された音声や画像の中から欲しい部分を瞬時に検索することができないという問題点があった。
【０００５】
この問題点に対し、記録者が任意のタイミングで所定のボタンを押すことによって入力音声信号または画像信号中の重要部分にチェックマークを付け、重要部分を検索し易くするテープレコーダやＶＴＲが提案されている。
【０００６】
しかし、この場合のチェックマークは、単に、重要部分の位置を特定するためのものであり、それぞれのチェックマークが音声信号または画像信号のいずれの区間部分に対応しているか示すことはできないために、チェックした部分音声信号また部分画像信号を全て再生して内容を確認しなければならないという問題があった。さらに、話しを聞いている時にボタンを押すという不自然な行動をとらなければならず、話しに集中できないという問題もあった。
【０００７】
そのため、順次入力される音声信号または画像信号と、任意のタイミングで記録者が入力したペンやキーボードによるユーザ入力情報とを対応付けて蓄積記録し、再生する装置が提案されている。これらの装置を用いれば、記録者がメモを取るようにペンやキーボードで入力を行なうとともに、音声信号または画像信号を記録しておけば、後で、入力されたメモを参照することにより、音声信号または画像信号の再生したい箇所を容易に選択して再生することができる。
【０００８】
例えば、特開平７−１８２３６５号公報、特開平６−１７６１７１号公報、特開平６−３４３１４６号公報、ＡＣＭ ＣＨＩ’９４ プロシーディング ｐｐ．５８−ｐｐ．６４（”Ｍａｒｑｕｅｅ： Ａ Ｔｏｏｌ Ｆｏｒ Ｒｅａｌ−Ｔｉｍｅ Ｖｉｄｅｏ Ｌｏｇｇｉｎｇ”）等には、記録の際に、音声信号または画像信号とユーザ入力情報とを時間刻印に基づいて対応付け、再生の際に、画面に表示されたユーザ入力情報の１つを指定することにより、その指定されたユーザ入力情報が記録された時刻に記録された音声信号または画像信号を再生する装置が記載されている。
【０００９】
さらに、特開平６−２７６４７８公報には、順次入力される音声信号または画像信号と、任意のタイミングで記録者が指示した静止画映像とを、時間刻印に基づいて対応付け、再生する装置が提案されている。
【００１０】
また、特開平６−２０５１５１号公報には、ユーザ入力が一定時間途切れたことを検知したタイミングで、入力音声信号または入力画像信号にインデックスを付加して記録し、再生の際に、画面に表示された特定のユーザ入力情報の一つを指定することにより、その指定されたユーザ入力情報に対応したインデックス部分からの音声信号または画像信号を再生する装置が記載されている。
【００１１】
しかしながら、前述の特開平７−１８２３６５号公報、特開平６−１７６１７１号公報、特開平６−２０５１５１号公報、ＡＣＭ ＣＨＩ’９４ プロシーディング ｐｐ．５８−ｐｐ．６４（”Ｍａｒｑｕｅｅ： Ａ Ｔｏｏｌ ＦｏｒＲｅａｌ−Ｔｉｍｅ Ｖｉｄｅｏ Ｌｏｇｇｉｎｇ”）、特開平６−２７６４７８号公報に記載されている情報蓄積装置では、入力される全ての音声信号または画像信号を圧縮せずに記録する仕組みになっているため、限られた記録容量の中に長時間の入力音声信号または入力画像信号を記録することは困難であるという問題があった。一般に、順次入力される音声信号または画像信号などの時系列データを長時間に渡って記録する場合には、必要な記憶容量は膨大なものになるからである。
【００１２】
公知の方法として、音声信号や画像信号を常に圧縮しながら記憶媒体に記憶する方法が提案されているが、入力されたすべての音声信号または画像信号は同じ圧縮率で記憶されるのが一般的である。この方式の場合、重要部分のみを高音質／高画質で記録して記憶容量を節約するというようなことができず、後から参照される可能性の少ない情報を大量に記録してしまったり、重要な情報にもかかわらず記憶容量の関係で記録できないという問題があった。
【００１３】
例えば、インタビューの風景を、Ｖｉｄｅｏ ｆｏｒ Ｗｉｎｄｏｗｓ （”Ｍｉｃｒｏｓｏｆｔ Ｖｉｄｅｏ ｆｏｒ Ｗｉｎｄｏｗｓ １．０ ユーザーズガイド” ｐｐ．５７−５９， ｐｐ．１０２−１０８）を用いて長時間記録しているような場合において、記憶容量を節約する目的で画像信号を５秒間に１フレームだけ記憶するように間引き圧縮率を設定していたとする。このとき、記録者が、記録時に重要だと感じた部分を後から再生したいと思ったとしても、５秒間に１フレームの画像信号しか再生できないため、話者が話しながら行なった動き（ジェスチャなど）や、話しぶりや、微妙なニュアンスを再現できないという問題がある。逆に、入力される画像信号を、１秒間３０フレームですべて記憶したとした場合、長時間のインタビューを記憶するためには前述したように記憶容量が膨大になるため、実現が非常に困難である。
【００１４】
そこで、特開平２−３０５０５３号公報と特開平７−１５５１９号公報には、記憶媒体の空き容量がある量以下になったと認識された場合に、既に記憶されている音声情報を再圧縮することによって、記憶媒体の空き領域を確保する音声情報蓄積装置が述べられている。
【００１５】
また、特開平５−６４１４４号公報と特開平５−１３４９０７号公報には、画像記憶媒体の使用量（データ記憶量）が予め定めた量を超えた場合に、既に記憶されている画像情報の古いフレームから順に圧縮したり、フレームを間引いたりして、記憶容量を節約しようとする情報蓄積装置が述べられている。これらは、後に記憶された情報ほど重要な情報であると見なすことによって、先に記憶された情報を新しい入力情報によって上書きしたり、先に記憶された情報ほど圧縮率を高くしたりして、記憶容量を節約する装置である。
【００１６】
また、特開平６−１４９９０２号公報記載の動画像記録装置は、自動シーンチェンジ検出を行ない、長いシーンほど重要なシーンであると見なすことによって、ダイジェストを生成する際には、ユーザが指定した時間長になるように、高い重要度を持ったシーンから順に抽出する装置である。この公報記載の装置で生成されたダイジェストに含まれたシーンのみを残し、ダイジェストに含まれなかったシーンを削除するように構成すれば、重要情報を失うことなく記憶容量を節約することができる。
【００１７】
一方、特開平３−９０９６８号公報と特開平６−１４９９０２号公報には、ユーザが指定した時間長になるように映像のダイジェストを自動生成する装置が提案されている。特開平３−９０９６８号公報記載の装置は、シーン毎の重要度をユーザが予めエディタから入力しておき、ダイジェストを生成する際には、ユーザが指定した時間長になるように、高い重要度を持ったシーンから順に抽出する装置である。この装置の場合も、生成されたダイジェストに含まれたシーンのみを残すように構成すれば、重要情報を失うことなく記憶容量を節約できる。
【００１８】
【発明が解決しようとする課題】
しかしながら、特開平２−３０５０５３号公報と特開平７−１５５１９号公報に記載の装置は、記憶されていた音声信号を、全体に渡って同じ圧縮率で再圧縮する装置であり、記録している内容の重要箇所のみを部分的に圧縮率を低くし高音質で記録するというようなことはできないという問題があった。
【００１９】
また、会議、講演、取材、インタビュー等を記憶蓄積する情報蓄積装置において、特開平５−６４１４４号公報または特開平５−１３４９０７号公報に記載されているように、ただ単に、新しい記録を重要情報として残し、古い記録を不要情報として消去するように構成したとすると、重要な会議や重要な取材等の記録が、先に記録されたという理由だけで、新しい入力情報によって上書きされてしまうという問題があった。一般に、会議や取材が行なわれた日時だけに基づいて、その会議内容や取材内容の重要度を判定することはできないからである。
【００２０】
また、シーンの長さによってシーンの重要度を判定する特開平６−１４９９０２号公報記載の装置については、会議や講演を無人カメラで撮影しているような時には、カットチェンジやシーンチェンジによってシーンを切り分けることが非常に困難であり、シーンの長さを検出できないという問題があった。くわえて、会議や講演を撮影しているような場合には、短いシーンの中にでも重要な発言が含まれることがあるため、シーンの長さだけに基づいて、その会議内容や取材内容の重要度を判定することはできないという問題があった。
【００２１】
さらに、ユーザが予めシーン毎の重要度をエディタから入力するという特開平３−９０９６８号公報記載の装置についても、会議や講演を無人カメラで撮影しているような時には、カットチェンジやシーンチェンジによってシーンを切り分けることが非常に困難であるという問題があった。くわえて、撮影が終了した後に、エディタから重要度を入力するという作業は非常に煩わしく、会議や講演を記録するという用途には適さないという問題があった。
【００２２】
ところで、公知の技術として、記録時に情報の取捨選択を行ない、重要と認識された情報のみを記録したり、圧縮率を変化させて記録する装置が提案されている。たとえば、特開平７−１２９１８７号公報には、音声取り込みキーを押したときの前後の音声信号を一定時間分だけ記録する装置が記載されている。また、特開平６−３４３１４６号公報には、ユーザ入力があったタイミングで一定時間だけ映像信号を記録する方法が記載されている。また、さらに、市販されてるテープレコーダの中には、無音区間は音声を記憶しないという無音区間検出機能を持ったものがある。
【００２３】
しかしながら、これらの装置は、一旦記録した後の情報を再圧縮するための手段を持たないため、情報の保存期間の長さによって段階的に圧縮率を変化させたり、記憶媒体の空き記憶容量の変化に応じて動的に圧縮率を変えたりといったことができず、記憶されている画像または音声情報を再圧縮する方法に比べて、圧縮効率が極めて悪いという問題があった。
【００２４】
また、特開平７−１２９１８７号公報および特開平６−３４３１４６号公報に述べられているように、トリガを検出した時の少し前の時系列情報を記録するためには、入力された時系列情報を一時記録するための記録用バッファメモリが必要となるため、装置が複雑かつ高価になるという問題があった。
【００２５】
さらに、これらの装置では、再生できるのは記録された一定時間内の信号に厳密に限られるために、例えばインタビューを記録しているような場合、記録者によるユーザ入力があったタイミングで入力された部分以外の動画像を全く再生できないという問題や、話者の発言を開始部分から記録することができなかったり、話者が話し終えないうちに記録が終了してしまうという問題があった。
【００２６】
この発明は、上記の問題点を解決したもので、入力音声信号または入力画像信号のうち特徴的な事象が起こっている重要期間の音声信号または画像信号を検出し、この重要期間の音声信号または画像信号を限られた蓄積媒体の中に数多く記憶し、重要期間以外の音声または画像信号であっても少ないデータ量で長時間記憶できるようにし、さらに重要部分の最初から最後までを確実に再生できるようにすることを課題としている。
【００２７】
【課題を解決するための手段】
上記課題を解決するために、請求項１の発明による情報蓄積装置においては、
ユーザ入力手段と、
前記ユーザ入力手段から入力されるユーザ入力情報を検出するユーザ入力情報検出手段と、
記憶すべき音声情報または画像情報を入力するための時系列情報入力手段と、
前記時系列情報入力手段から入力された前記音声情報または前記画像情報を記憶する時系列情報記憶手段と、
前記音声情報または前記画像情報が入力された場所を検出する場所検出手段と、
前記場所検出手段での検出結果に応じて所定の場所に留まっていると認識された期間の最初を条件一致区間の開始点として検出し、前記所定の場所に留まっていると認識された期間の最後を前記条件一致区間の終了点として検出する条件一致区間検出手段と、
前記時系列情報記憶手段に記憶された前記音声情報または前記画像情報のデータ量を圧縮する手段であって、前記ユーザ入力情報検出手段で検出された前記ユーザ入力情報と前記条件一致区間検出手段で検出された前記時間区間とによって定められる区間と、他の区間とで、圧縮率あるいは圧縮方式を変更して、前記時系列情報記憶手段に記憶された前記音声情報または前記画像情報のデータ圧縮を行う圧縮手段と、
を備えることを特徴とする。
【００２９】
また、請求項２の発明による情報蓄積装置においては、
ユーザ入力手段と、
前記ユーザ入力手段から入力されるユーザ入力情報を検出するユーザ入力情報検出手段と、
記憶すべき音声情報または画像情報を入力するための時系列情報入力手段と、
前記時系列情報入力手段から入力された前記音声情報または前記画像情報を記憶する時系列情報記憶手段と、
前記音声情報または前記画像情報が入力された場所を検出する場所検出手段と、
前記場所検出手段での検出結果に応じて所定の場所に留まっていると認識された期間の最初を条件一致区間の開始点として検出し、前記所定の場所に留まっていると認識された期間の最後を前記条件一致区間の終了点として検出する条件一致区間検出手段と、
前記ユーザ入力情報検出手段で検出されたユーザ入力情報と前記条件一致区間検出手段で検出された前記時間区間とによって定められる区間を示す区間情報と、当該区間情報に対応する前記音声情報または前記画像情報の前記時系列情報記憶手段における記憶位置との対応関係を記憶する対応関係記憶手段と、
前記時系列情報記憶手段に記憶された前記音声情報または前記画像情報のデータ量を圧縮する手段であって、前記対応関係記憶手段に記憶された前記ユーザ入力情報と前記時間区間とによって定められる区間と、他の区間とで、圧縮率あるいは圧縮方式を変更して、前記時系列情報記憶手段に記憶された前記音声情報または前記画像情報のデータ圧縮を行う圧縮手段と、
を備えることを特徴とする。
【００３６】
【作用】
上記の構成の請求項１の発明においては、ユーザ入力情報検出手段で検出されたユーザ入力情報と条件一致区間検出手段で検出された前記時間区間とによって定められる区間は、例えば重要な情報区間として、他の区間とは異なる圧縮率あるいは圧縮方式で、圧縮する。この場合、異なる圧縮率あるいは圧縮方式には、「圧縮する」と、「圧縮しない」という場合も含むものである。
【００３７】
これにより、例えば前記重要区間の音声情報あるいは画像情報は高品質で蓄積記憶される。前記他の区間は、それに比較して高圧縮率で音声情報あるいは画像情報が記憶される。したがって、重要な区間の情報は、高品質を保って保存しながら、時系列情報記憶手段の使用容量を削減することができる。
【００３８】
請求項１の発明においては、特に、音声情報または画像情報が入力された場所が、所定の場所に留まっていると認識された期間の最初から最後までを条件一致区間として検出され、この条件一致区間が、例えば重要区間とされて、他の区間よりも高品質を保って保存される。
【００４５】
【発明の実施の形態】
以下、図面を参照して、この発明の実施の形態について説明する。
【００４６】
［第１の実施の形態］
第１の実施の形態は、この発明による情報蓄積装置を会議記録に適用した場合である。
【００４７】
概して、数日前に行なわれた会議を後から参照する可能性に比べて、１カ月前に行なわれた会議を参照する可能性は極めて低い。参照する可能性の小さくなった映像情報などの会議情報を高品質で蓄積したままにしておくことは、メモリ容量を節約するという面で非常に非効率的であり、適当なタイミングで、削除または間引き圧縮等を施し、情報量を削減することが望ましい。
【００４８】
しかし、昔の会議記録であっても、重要な場面については、話者が話しながら行なった動き（ジェスチャなど）や、話しぶりや、微妙なニュアンスを再現したいという要求がある。したがって、このような特徴的な事象が起こっている重要期間の音声信号または画像信号は、高品質のままで保存しておくようにすることが要求される。
【００４９】
第１の実施の形態では、会議について音声情報および映像情報を記録し、その記録時点から１ヶ月が経過したときに、記録した会議映像の中の重要部分の映像だけを高品質のまま残し、その他の部分は高圧縮率で圧縮するという、圧縮処理を施す例について説明する。
【００５０】
この第１の実施の形態によれば、後述するように、重要な部分の映像を再生した場合には、スムースな動きの高品質の動画が再生され、その他の部分を再生した場合には、いわゆる駒落しであって、動きがぎこちない動画となる。しかし、重要場面以外の部分を高圧縮率で圧縮できるので、蓄積保存すべき情報量は非常に少なくなる。
【００５１】
この例においては、会議参加者がメモをとった時点や、会議参加者間での対話が活発であった時点は、会議の重要場面であるとする。この重要場面をとらえて、会議参加者がメモをとった時点や、会議参加者間での対話が活発であった時点の周辺のみを高品質で保存し、それ以外の部分を高圧縮率で圧縮することで、会議映像を保存するための情報量を大幅に少なくすることができる。
【００５２】
なお、この実施の形態では、説明をわかりやすくするために、電子会議装置２０は、蓄積媒体２７に蓄積された画像情報のみを圧縮し、蓄積媒体２７に蓄積された音声情報は圧縮しないように構成する。
【００５３】
図２は、この実施の形態の場合の会議風景を示すもので、２０は、電子会議装置である。この電子会議装置２０は、マーカーペンでホワイトボードに書き込むのと同じ感覚で、プロジェクタスクリーン上に電子ペン２３を使用して自在に書き込みを行なうことができ、議論の過程や、結論を電子ファイルとして記憶蓄積することができるものである。このため、電子会議装置２０は、パーソナルコンピュータ（図示せず）を内蔵する。
【００５４】
なお、電子会議装置２０は、パーソナルコンピュータを介して、例えばＩＳＤＮによるネットワークに接続することにより、会議の過程の音声情報や画像情報を遠隔地間で同時に共有し、あたかも同じ部屋で会議を行なっているような環境を実現することも可能である。
【００５５】
そして、この電子会議装置２０は、表示画面２１を備える。この表示画面２１への画像の表示方式は、スクリーンに背面から投射して表示する、いわゆるプロジェクション方式である。さらに、この電子会議装置２０は、表示画面２１上の電子ペン２３の接触入力座標位置を検出する機能を備えており、検出された接触入力座標位置は、ユーザ入力情報として、パーソナルコンピュータに入力され、蓄積媒体２７に記憶蓄積される。
【００５６】
また、会議の場における音声情報や画像情報などの時系列情報の入力のために、電子会議装置２０は音声入力端子および画像入力端子を備える。この実施の形態においては、会議出席者の各々に割り当てられたマイクロホン２５により収音された複数の会議出席者２９の発言の音声信号は、一旦、音声信号解析器２６に入力され、音声信号解析器２６の出力が電子会議装置２０の音声入力端子に入力される。
【００５７】
音声信号解析器２６は、複数のマイクロホン２５から入力された音声信号を解析し、入力音声信号がどのマイクロホンから入力されたのかを識別して、その識別結果を音声信号と共に電子会議装置２０に対し出力するものである。また、ビデオカメラ２４で撮影された紙文書や会議風景の画像信号は、電子会議装置２０の画像入力端子に入力される。
【００５８】
なお、順次入力される時系列情報は、ビデオカメラ／マイクロホン／ビデオデッキ／テープレコーダ／センサ等から入力されたアナログ信号でもよいし、それを符号化したデジタル信号でもよい。さらには、計算機ネットワーク／計算機バスを通じて入力されるデジタル信号でもよい。すなわち、時間の経過とともに順次入力される情報は、いずれもこの発明でいう時系列情報に相当する。
【００５９】
電子会議装置２０の表示画面２１には、当該電子会議装置２０の画像入力端子に接続されているビデオカメラ２４からの画像情報による画像と、この電子会議装置２０のパーソナルコンピュータを通じて入力される電子文書の画像とが、図２に示すように、それぞれ別のウインドウ画像２２Ａ、２２Ｂとして表示される。この表示画面２１に表示される画像情報も、前記ユーザ入力情報および音声情報と関連付けされて記憶蓄積される。
【００６０】
また、この電子会議装置２０に内蔵のパーソナルコンピュータは、機能的に情報圧縮蓄積装置をその内部に備える。この情報圧縮蓄積装置は、前記ユーザ入力情報と、会議風景を撮影するビデオカメラ２４からの画像情報と、マイクロホン２５からの音声情報とを、記憶媒体２７に記憶蓄積し、この記憶媒体２７に記憶蓄積された音声または画像情報を、以下に説明するようにして圧縮することができる。
【００６１】
そして、蓄積媒体２７に蓄積された画像情報は、ユーザからの再生要求に応じて表示画面２１に表示されるとともに、蓄積媒体２７に蓄積された音声情報がスピーカ２８から再生される。電子会議装置２０は、このための再生部を備える。この再生部は、表示画面２１に表示されたユーザ入力情報のうちから、ユーザが任意のユーザ入力情報を指定した際に、この指定されたユーザ入力情報が入力された時刻に記録された音声情報または画像情報を、蓄積媒体２７から読み出し、再生するものである。
【００６２】
なお、ユーザが任意のユーザ入力情報を指定した際に、この指定されたユーザ入力情報が入力された時刻に表示画面２１に表示されていた画像を、蓄積媒体２７から読み出して再生して表示画面２１に表示するようにしてもよい。
【００６３】
図１は、この実施の形態の情報蓄積装置を、その機能を中心にして示したブロック図である。すなわち、この実施の形態の情報蓄積装置は、システムバスに対して、音声情報入力部１、画像情報入力部２、条件一致区間検出部３、時系列情報記憶部４、対応関係記憶部５、圧縮部６、時刻情報記憶部７、再生部８、制御部９、表示部１０、ユーザ入力情報検出部１１、再生指定部１２が、それぞれ接続されて構成される。この例の場合、音声情報入力部１の出力端は、条件一致区間検出部３にも接続される。
【００６４】
図１の各部はそれぞれ別のブロックとして構成されていてもよいし、１つのブロックが幾つかの部を含むように構成されていてもよい。また、１つの部が、幾つかのブロックに分割されて実装されていても構わない。
【００６５】
音声情報入力部１は、マイクロホン２５からの音声信号を受けてデジタル音声信号に変換し、システムバスに送出すると共に、条件一致区間検出部３に送出する。
【００６６】
画像情報入力部２は、ビデオカメラ２４からの画像信号を受け付ける。ビデオカメラ２４からの画像信号がデジタル信号であれば、それを受け付けてシステムバスに送出する。また、入力画像信号がデジタル信号でなければ、画像情報入力部２は、入力画像信号をデジタル画像信号に変換してシステムバスに出力する。
【００６７】
条件一致区間検出部３は、音声情報入力部１からのデジタル音声信号を監視して、予め定められている条件に合致する音声区間を検出する。この例では、所定レベル以上の音声信号入力が有り、かつ、この入力音声信号から活発な対話のパターンを検出したことを条件として条件一致区間を検出する。これにより、会議参加者が活発に議論を交わした区間を条件一致区間として検出するようにする。この条件一致区間検出部３は、音声信号解析器２６と電子会議装置２０の一部とがその役割を果たす。
【００６８】
所定レベル以上の音声信号の有無を検知する方法としては、図３に示すように、条件一致区間検出部３は、入力される音声レベルが所定のレベル以上になったことを検知して話者の発言の開始点を認識し、音声レベルが所定の閾値レベル以下になったことを検知して話者の発言の終了点を認識する検出機能を持つ。
【００６９】
ただし、図３に示すように、音声レベルが閾値レベルと交差する音声レベル変化点Ｆ１０１そのものを発言の開始点または終了点とすると、発言の最初の部分と最後の部分が条件一致区間に含まれないので、音声レベルが小レベルから大レベルに変化するときの変化点Ｆ１０１よりも一定時間Ｔ１だけ前の時点Ｆ１００を発言開始点とし、また、音声信号レベルが大レベルから小レベルに変化するときの変化点Ｆ１０１よりも一定時間Ｔ２だけ後の時点Ｆ１０２を発言終了点とする。
【００７０】
なお、この実施の形態において、ある時刻における音声レベルとは、その時刻の前後の音声レベルを平滑化した値であり、例えば、ある時刻の前後の２秒間の瞬間音声レベルの平均値である。
【００７１】
この実施の形態では、図２に示されるように、マイクロホン２５を発言者毎に設置し、発言者各自のマイクロホンからの音声入力レベルを音声信号解析器１１で比較することで、音声信号解析器１１が、入力音声信号を発信した話者を特定する。
【００７２】
発言者を特定する方法としては、この他にも、音声信号の特徴（声紋など）から話者を特定してもよいし、画像情報による顔や口の動きから発言者を特定してもよい。その場合には、マイクロホンは、会議出席者のすべてに対応して複数本設ける必要はなく、１本あるいは会議出席者の数よりも少ない複数本でよい。また、複数のマイクロホンを設置し、それらのマイクロホンから入力される音声信号の位相差を解析して音源の位置を検知して、発言者を特定するようにすることもできる。
【００７３】
条件一致区間検出部３は、１人の話者が発言を終了してから、他の話者が発言を開始するまでの時間が短いほど、活発な対話が行なわれていると判断する。また、１人の話者が発言を終了しないうちに、他の話者が発言を開始した場合にも、活発な対話が行なわれていると判断する。
【００７４】
図４は、条件一致区間検出部３が、対話が活発な区間を認識する処理を図示したものである。この図は、１人の話者が発言を終了してから、他の話者が発言を開始するまでの時間が短いほど、活発な対話が行なわれていると判断する場合である。各話者からの所定レベル以上の音声信号を当該話者の発言区間ＳＰと認識し、この発言区間ＳＰが、図４中点線の丸印で囲むように、複数の話者の間で、短時間の間に交替しているパターンを、活発な対話パターンとして検出する。
【００７５】
条件一致区間検出部３は、このように短時間に発言者が交替しているパターンを検出するために、１人の話者が発言を終了してから、予め定めた設定時間以内に話者が交代したかどうかを検出する。例えば、この設定時間は０．５秒とされる。この設定時間は、ユーザが変更することができるようにしてもよい。
【００７６】
また、この実施の形態では、１人の話者が発言を終了しないうちに、他の話者が発言を開始したため発言区間ＳＰが一部重なるパターンも、早い話者交代のパターンとして検出する。
【００７７】
そして、条件一致区間検出部３では、早い話者交代のパターンが所定回数、例えば３回以上継続したか否かにより、対話が活発な区間を認定するようにする。例えば、図４に示す例の場合には、区間ＰＰには、早い話者交代のパターンが４回続くので、この区間ＰＰを対話の活発な区間として検出する。すなわち、この４回続く早い話者交代のパターンを含む発言区間の始まりＦ２００を、対話が活発な区間の開始点とし、早い話者交代のパターンを含む発言区間の終わりＦ２０１を、対話が活発な区間の終了点とする。
【００７８】
対応関係記憶部５は、ユーザが例えば電子ペン２３により入力したユーザ入力情報と、このユーザ入力情報の画面上での表示位置を特定する情報（例えば、Ｘ−Ｙ座標軸上の絶対座標や相対座標など）と、このユーザ入力情報と前記条件一致区間検出部３で検出された条件一致区間とにより定められる区間を重要区間として、この区間内に入力された音声情報または画像情報の、時系列情報記憶部４内での記憶アドレスとを対応付けて記憶する。
【００７９】
この実施の形態では、前記重要区間の情報として、対応関係記憶部５には、ユーザ入力情報が入力された時点を含む条件一致区間の開始アドレスと終了アドレスとを記憶するようにしている。すなわち、対応関係記憶部５は、それぞれのユーザ入力情報を特定する情報と、それぞれのユーザ入力情報と条件一致区間検出部３の検出結果とによって特定される区間を重要区間とし、この重要区間の音声情報または画像情報の、前記時系列情報記憶部４における記憶アドレスとを対応させて記憶するものである。この対応関係記憶部５も、例えばディスク記憶媒体や半導体メモリ等で構成される。
【００８０】
圧縮部６は、この実施の形態においては、前記時系列情報記憶部４に蓄積された画像情報のデータ圧縮を行なう。この場合、圧縮部６は、対応関係記憶部５からのユーザ入力情報と条件一致区間検出部３の検出結果とによって特定される区間の情報に基づいて、データ圧縮率またはデータ圧縮方法を動的に可変できるように構成されている。
【００８１】
また、この実施の形態においては、圧縮部６は、動画の画像情報を想定して、この動画の画像情報を所定時間長または所定フレーム数を１つの処理単位として扱う。例えば、連続した１０フレームの画像列を１つの単位部分画像列として圧縮処理を行なうが、前記ユーザ入力情報と条件一致区間検出部３の検出結果とによって特定される区間以外の区間の画像情報は、前記１０フレームの中の先頭の１フレームだけを残して、他のフレームの情報を破棄するという間引き圧縮処理を行ない、一方、前記ユーザ入力情報と条件一致区間検出部３の検出結果とによって特定される区間では、画像情報についての前記の間引き処理を行なわず、前記１０フレーム全部を記憶するようにする。
【００８２】
したがって、前記ユーザ入力情報と条件一致区間検出部３の検出結果とによって特定される区間以外の区間の画像情報を再生した場合、いわゆる駒落しであって、動きがぎこちない動画となるが、情報量は非常に少なくなる。一方、前記ユーザ入力情報と条件一致区間検出部３の検出結果とによって特定される区間の画像情報を再生した場合、スムースな動きの高品質の動画が再生されることになる。
【００８３】
時刻情報記憶部７は、入力された音声信号および画像信号が、時系列情報記憶部４に記録開始された時刻を記憶するためのもので、例えばディスク記憶媒体や半導体メモリ等で構成される。
【００８４】
さらに、時刻情報記憶部７は、前記記録開始時刻からの経過時間を測定する機能を持つ。このため、この時刻情報記憶部７には、図示しない時計回路部からの現在時刻情報が供給される。そして、この実施の形態では、この時刻情報記憶部７は、前記記録開始時刻からの経過時間が予め定められた所定時間以上となったときに、圧縮部６で時系列情報記憶部４の画像情報の前述したような圧縮を開始する契機となる圧縮トリガタイミング信号を出力する。
【００８５】
再生部８は、前述したように、時系列情報記憶部４に記憶されている音声信号や画像信号を再生する機能部である。
【００８６】
制御部９は、この例の電子会議装置２０の全体の処理動作を制御するものである。
【００８７】
表示部１０は、前述した表示画面２１を備えるプロジェクション方式の表示装置部分である。そして、この例では、ペン／タブレット一体型入出力装置をも兼用する構成とされている。なお、この表示部１０としては、例えばＣＲＴモニタや、液晶モニタで構成することもできる。
【００８８】
ユーザ入力情報検出部１１は、例えば表示画面２１に貼付されたタブレットにより構成され、電子ペン２３によるユーザ入力を検出し、そのペン筆跡情報をユーザ入力情報として出力する。このとき、表示部１０の表示画面２１には、ペン筆跡情報に応じたペン軌跡が表示される。
【００８９】
なお、ユーザ入力情報としては、ペン（またはマウス／トラックボール／タッチパネルなど）からの筆跡あるいは図形（線、四角形、円などのオブジェクト）の他に、筆跡データを文字認識したコード情報、キーボードからのコード情報でもよい。また、表示されているユーザ入力情報を移動／複写／削除したという編集情報、ページ切り替えを行ったという情報、スチルカメラのシャッターを押したという情報、仮想的な消しゴムが用いられたという情報など、ユーザ入力情報が表示されない性質のものであってもよく、この場合は、そのユーザ入力情報の存在を示す所定のしるしを表示部３に表示する。すなわち、入力される時系列情報（例えば、音声信号または画像信号）が存在する間に、ユーザが計算処理能力を持つ装置に対して行った入力は、いずれもこの発明でいうユーザ入力情報に相当する。
【００９０】
再生指定部１２は、蓄積記憶したユーザ入力情報、音声情報、画像情報を、ユーザ入力情報を指定して再生する際に使用される。この再生指定部１２は、後述するように、表示画面２１に表示されたユーザ入力情報のうちから、タブレットを通じてユーザが指定を行ったときに、その指定部分を再生部分として検出するものである。
【００９１】
［記録時の動作］
次に、以上のような構成の情報蓄積装置の例としての電子会議装置２０における記録時の動作について説明する。図５は、この実施の形態における記録時の動作を、その際の各種情報の流れ、および、各部の出力の流れと共に説明する図である。
【００９２】
会議が始まり、マイクロホン２５からの音声信号およびカメラ２４からの画像信号が、電子会議装置２０に供給されると、音声信号および画像信号は、時系列情報記憶部４に順次に蓄積記憶される。また、音声信号は、条件一致区間検出部３にも入力される。
【００９３】
条件一致区間検出部３は、前述したように、マイクロホン２５からの音声情報の音声レベルと所定の閾値レベルとを比較して、会議出席者の発言開始点と発言終了点とを検出し、その間の区間を話者の発言区間ＳＰとする。そして、この発言区間ＳＰの複数の会議出席者間の、短時間の交替や一部重なりを検出して、対話が活発な区間を条件一致区間として検出する。そして、検出した条件一致区間の開始点および終了点の情報が、対応関係記憶部５に供給される。
【００９４】
図６は、条件一致区間検出部３の動作を説明するフローチャートである。
【００９５】
条件一致区間検出部３に、音声情報入力部１からの音声信号がデジタル信号として供給されると、ステップＳ１００において、前述の発言区間ＳＰの検出と、発話者の特定が行なわれる。発話者の特定方法としては、前述したように、発言者毎に設置されたマイクロホン２５からの音声入力レベルを音声信号解析器２６で比較することで実施される。
【００９６】
このステップＳ１００の後、ステップＳ１０１において、一部重なりを含む短時間に発言者が交替しているパターンを認識し、早い話者交代のパターンが検出された場合には、ステップＳ１０２に進み、そのパターンが所定回数以上継続したかどうかを判別する。前述したように、早い話者交代のパターンが３回以上連続して検出されたときに、そのパターンを含む発言区間を活発な対話が行なわれている区間であると認識するように予め条件が設定されていた場合には、前述した図４の例であれば、区間ＰＰを、対話が活発な区間として検出し、ステップＳ１０３に進む。
【００９７】
ステップＳ１０３では、対話が活発な区間として検出した区間を、条件一致区間として特定する。すなわち、例えば図４の例では、対話が活発な区間の始まりを、区間ＰＰの始まりＦ２００とし、対話が活発な区間の終りを、区間ＰＰの終わりＦ２０１として、区間ＰＰを対話が活発な区間（条件一致区間）であると特定する。なお、条件一致区間を特定する情報としては、当該区間の始まりあるいは終りの一方の情報と、区間の長さの情報であってもよい。
【００９８】
続いてステップＳ１０４では、ステップＳ１０３において特定された条件一致区間を対応関係記憶部５に出力し、その後ステップＳ１００に戻って、新たな条件一致区間の検出を始める。また、ステップＳ１０２において、早い話者交代のパターンが所定回数以下であると認識された場合にも、ステップＳ１００に戻って、新たな条件一致区間の検出を始める。
【００９９】
一方、ユーザ入力情報検出部１１が、ペン筆跡情報（ユーザ入力情報）の入力を検出すると、検出されたペン筆跡情報は、表示部１０に表示されると共に、対応関係記憶部５に記憶蓄積される。
【０１００】
図７は、ユーザ入力情報検出部１１の動作を説明するフローチャートである。ユーザ入力情報検出部１１は、電子ペン２３が表示画面２１に接触した座標位置をユーザ入力情報として検出し（ステップＳ２００）、検出したユーザ入力情報を、逐次、表示部１０に出力して表示すると共に、対応関係記憶部５に出力してユーザ入力情報を記憶する（ステップＳ２０１）。
【０１０１】
図８は、ユーザ入力情報検出部１１の検出結果であるペン筆跡入力情報と、条件一致区間検出部３の検出結果である条件一致区間と、画像情報を記憶した時系列記憶部４の記憶状態（圧縮処理を施す前の状態）を対応付けて説明する図である。これらの情報の対応関係情報は、前述したように、対応関係記憶部５に記憶される。
【０１０２】
対応関係記憶部５は、前述したように、ユーザ入力情報が入力された時点を含む条件一致区間を、入力音声情報または画像情報の重要区間として記憶する。すなわち、条件一致区間であっても、その条件一致区間内にユーザ入力情報が検出されなかった場合には、その条件一致区間を重要区間としては認識しない。例えば、図８では、時刻ｔ０から時刻ｔ１内の条件一致区間内ではユーザ入力情報が検出されなかったため、この条件一致区間は重要区間とは認識されず、ユーザ入力情報としてのペン筆跡の入力時点を含む時刻ｔ１から時刻ｔ２までの条件一致区間が重要区間として特定されることになる。そして、時刻ｔ１から時刻ｔ２までに時系列情報記憶部４に記憶された画像情報（アドレスａ１からアドレスａ２までの画像情報）は、入力画像情報の中の重要区間の情報であるので、後述する圧縮処理を施した時にでも高品質に保たれる。
【０１０３】
図９は、対応関係記憶部５に記憶された対応関係情報の例である。この図９に示すように、ユーザが入力したペン筆跡情報としては、ユーザ入力情報を一意に特定する識別子とユーザ入力情報の種類を特定する情報が記憶されており、表示画面２１上の表示位置としては、３つのＸ−Ｙ座標（２０、３０）（３０、４０）（６０、１０）と座標情報の終端を表すｎｉｌとが記憶されている。また、時系列情報記憶部４上の記憶アドレスとしては、ユーザ入力情報と条件一致区間とによって特定されたアドレスａ１（開始点アドレス）およびアドレスａ２（終了点アドレス）が記憶されている。
【０１０４】
もちろん、対応関係記憶部５に記憶されるのは、ペン筆跡情報、表示座標、記憶アドレスそのものではなく、それらを特定する特定情報であってもよいし、対応関係記憶部５のデータ記憶構造はテーブルの形式でなく、リスト構造などの他の記憶構造で構成されてもかまわない。
【０１０５】
また、この例のように、マルチプルラインなどを表現するまとまった座標点列を１つのペン筆跡情報として記憶させておけば、再生時にその座標点列のうちの、いずれかが指定されれば、その座標点列に対応するペン筆跡情報が特定できるようになり、同じ記憶アドレスから音声または画像を再生できるようになる。
【０１０６】
図１０および図１１は、対応関係記憶部５の動作を説明するフローチャートであるが、前述した記録動作に関与するステップは、ステップＳ３００〜ステップＳ３０３の部分である。そして、ステップＳ３０４、ステップＳ３０５の部分は、後述する圧縮時の動作に関与する部分であり、また、図１１のステップＳ３０６〜ステップＳ３０９の部分は後述する再生時の動作に関与する部分である。
【０１０７】
すなわち、この記録時においては、ステップＳ３００において、条件一致区間検出部３から、条件一致区間を示す情報が入力されたかどうかを検出し、条件一致区間の入力が検出されなかった場合には、ステップＳ３０４およびステップＳ３０６を経由してステップＳ３００に戻り、条件一致区間を示す情報の入力有無の検出を行う。
【０１０８】
ステップＳ３００において、条件一致区間検出部３からの条件一致区間の入力が検出された場合には、ステップＳ３０１に進む。ステップＳ３０１では、当該条件一致区間内にユーザ入力情報が検出されたか否か判定し、当該条件一致区間内にユーザ入力情報が検出されたと判定された場合には、ステップＳ３０２に進む。
【０１０９】
ステップＳ３０２では、前記重要区間（ユーザ入力情報が入力された時点を含む条件一致区間）に対応して時系列情報記憶部４に記憶されている音声情報または画像情報の、時系列情報記憶部４における記憶アドレスを取得するために、時系列情報記憶部４に対し、前記ユーザ入力情報および前記条件一致区間を示す情報と、記憶アドレスの問い合わせ要求を出力し、その返答を待つ。
【０１１０】
時系列情報記憶部４からの返答が返されるとステップＳ３０３に進み、前記ユーザ入力情報と、このユーザ入力情報の表示部１０上における表示位置と、このユーザ入力情報および前記条件一致区間に対応して時系列情報記憶部４に記憶されている音声情報および画像情報の、時系列情報記憶部４における記憶アドレスとを対応づけて記憶する。
【０１１１】
ステップＳ３０３の次には、ステップＳ３０４およびステップＳ３０６を経由してステップＳ３００に戻り、次の条件一致区間を示す情報の入力有無の検出を行う。
【０１１２】
次に、このときの対応する時系列情報記憶部４の動作を、図１２のフローチャートを参照して説明する。この処理ルーチンのステップＳ４００〜Ｓ４０４の部分が記録時の動作の部分であり、ステップＳ４０５，Ｓ４０６は再生時の動作部分である。
【０１１３】
すなわち、図１２において、時系列情報記憶部４の記録時の動作を説明すると、まず、この記録動作が開始となると、時系列情報記憶部４は、ステップＳ４００において、音声情報および画像情報の記憶開始時刻を時刻情報記憶部７に出力して、記録させる。次に、ステップＳ４０１、ステップＳ４０２と順次に進み、入力される画像情報と音声情報との入力を受け、順次記憶する。
【０１１４】
そして、次のステップＳ４０３では、対応関係記憶部５から、前記重要区間（ユーザ入力情報が入力された時点を含む条件一致区間）に対応する記憶アドレスの要求が到来したか否かを判別し、当該要求が到来したことを検出したときにはステップＳ４０４に進む。このステップＳ４０４では、重要区間に対応する音声情報および画像情報の記憶アドレスを、対応関係記憶部５に返答する。
【０１１５】
ステップＳ４０３で重要区間に対応する記憶アドレスの要求は到来していないと判別された後、またステップＳ４０４の後は、ステップＳ４０５を経由してステップＳ４０１に戻り、画像情報と音声情報の記憶を続ける。
【０１１６】
時刻情報記憶部７は、時系列情報記憶部４の前記ステップＳ４００での処理による記憶開始時刻の情報を受信して、当該記憶開始時刻の記憶を行う。
【０１１７】
図１３は、時刻情報記憶部７の動作を説明するフローチャートであり、また、図１４は、時刻情報記憶部７の記憶構造を説明するための図である。図１３において、ステップＳ５００およびステップＳ５０１が、記録時の処理であり、時系列情報記憶部４から供給された、音声情報および画像情報の記憶開始時刻をステップＳ５００において検出し、ステップＳ５０１においてこの記憶開始時刻を時刻情報記憶部７に記憶する。
【０１１８】
後述するように、時刻情報記憶部７は、音声情報および画像情報が時系列情報記憶部４に記録されてからの経過時間（すなわち情報保存時間）が、所定の時間以上になった場合に、対応関係記憶部５に対し圧縮処理開始指示を出力する。図１３のステップＳ５０２およびステップＳ５０３は、その処理部であり、この圧縮開始指示処理については後述する。
【０１１９】
時刻情報記憶部７は、音声情報および画像情報を格納したファイルの名前と、記憶開始時刻との関係を、図１４のようなテーブルで管理している。この例では、１つの会議の記録が１つのファイルに記録されている。ファイル名は各会議記録に付与されたファイル名称であり、図１４のＩＤは各会議記録ファイルを識別する識別子（この例では番号）である。
【０１２０】
なお、この記憶開始時刻の記憶形式はテーブル形式に限られず、リスト構造やスタック構造等であっても構わない。さらに、音声情報および画像情報を格納したファイルやファイル名の中に、記憶開始時刻を特定する情報を記憶しておくように構成しても構わない。
【０１２１】
例えば、図１５に示すように、ファイルサイズが５Ｍバイトを越える場合には、圧縮処理開始までの時間を１ヶ月とし、５Ｍバイトに満たない場合には、圧縮処理開始までの時間を２ヶ月にする。また、ファイル拡張子が、.AVIのファイルの場合には、圧縮処理開始までの時間を１ヶ月とし、ファイル拡張子が、.mpgのファイルの場合には、圧縮処理開始までの時間を２ヶ月とする。これらの場合には、圧縮処理開始までの時間を各ファイル毎に指定する必要がなくなり、ユーザの手間が省けるという効果がある。
【０１２２】
以上のようにして、この実施の形態においては、会議が開始され、会議記録が開始されると、その開始時点の時刻が、時刻情報記憶部７に記憶されると共に、会議開始時点（記憶開始時点に対応）から画像情報および音声情報が時系列情報記憶部４に記憶される。
【０１２３】
そして、会議進行中にユーザ入力情報検出部１１でユーザ入力情報が検出されると、それが表示画面２１上の位置情報と共に、対応関係記憶部５に順次に記憶される。さらに、会議進行中の音声情報について、条件一致区間検出部３で、条件一致区間が、対話が活発な区間として検出され、かつ、条件一致区間内でユーザ入力情報が検出部１１で検出されると、対応関係記憶部５に、そのユーザ入力があった条件一致区間を重要区間として、この重要区間を特定する情報と、対応する時系列情報記憶部の記憶アドレスとが対応付けて記憶される。
【０１２４】
［圧縮時の動作］
次に、圧縮時の動作について説明する。この第１の実施の形態では、時系列情報記憶部４に記憶した画像情報および／または音声情報は、記憶してから所定期間経過したときには、重要度が小さくなるとして情報圧縮して、時系列情報記憶部４のメモリに、空き容量を形成するようにするが、その区間内でユーザ入力情報が検出された条件一致区間は、重要区間として、この区間は圧縮せず、あるいは、圧縮率を低くして高品質を保つようにする。
【０１２５】
図１６は、この実施の形態における情報圧縮時の動作を、その際の各種情報の流れ、および、各部の出力の流れと共に説明する図である。
【０１２６】
時刻情報記憶部７は、音声情報および画像情報が時系列情報記憶部４に記録されてからの経過時間が、所定の時間以上になった場合に、対応関係記憶部５に対し圧縮処理開始指示を出力する。
【０１２７】
すなわち、図１３の時刻情報記憶部７の処理ルーチンのステップＳ５０２において、図示しない時計回路部から供給される現在時刻と、時刻情報記憶部７に記憶されている記憶開始時刻とを比較し、情報の保存時間が所定の時間を経過したかどうかを判定する。所定の時間が経過したと判定されたときには、ステップＳ５０３に進み、対応関係記憶部５に圧縮処理開始を要求する。
【０１２８】
そして、この要求を出した後に、あるいはステップＳ５０２で所定の時間を経過していないと判定されたときには、ステップＳ５００に戻る。
【０１２９】
例えば、前記所定の時間が、１ヶ月と定めてあった場合には、圧縮処理開始要求が記憶開始時点から１ヶ月後に発生し、時系列情報記憶部４に新規に蓄積された情報は、１ヶ月後に圧縮処理を施されることとなる。例えば、図１２に示した１９９６年４月２５日１３時３０分に記録されたファイル名「ｆｉｌｅ１０」の音声情報および画像情報は、１９９６年５月２５日１３時３０分に前述の圧縮処理を施されることになる。
【０１３０】
この圧縮処理が実行されるまでの時間は、この例では、時刻情報記憶部７に対して固定的に与えるようにするが、この時間はユーザが変更できるようにすることができる。また、この圧縮処理の開始のタイミングは、設定された時間の近辺であればよく、システムがアイドリング状態になるのを待って圧縮処理を行なうように構成してもよい。また、圧縮を施すまでの時間を、各ファイル毎に、変えて設定してもよい。
【０１３１】
なお、音声情報および画像情報を格納したファイルやファイル名の中に、記憶開始時刻を特定する情報を記憶しておくように構成しても構わない。
【０１３２】
対応関係記憶部５は、時刻情報記憶部７から圧縮開始指示が入力されると、図１０のステップＳ３０４でその入力を検出する。圧縮開始指示が検出された場合には、ステップＳ３０５に進み、ユーザ入力があった前記条件一致区間である重要区間を特定する情報のそれぞれと、それぞれの重要区間に対応して前記時系列情報記憶部４に記憶されている音声情報および画像情報の、前記時系列情報記憶部４における記憶アドレスとを圧縮部６に出力する。すなわち、図９に示したユーザ入力情報ごとの情報の、一つの会議についてのすべてを一括して圧縮部６に出力する。
【０１３３】
なお、もちろん、各重要区間を特定する情報と、該重要区間に対応した記憶アドレスとの組を、１組１組づつ、順次圧縮部６に出力するように構成してもよい。また、音声情報および画像情報を格納した時系列情報記憶部４のファイルの中に、前記重要区間を特定する情報のそれぞれと、それぞれの重要区間に対応してファイルに記憶されている音声情報および画像情報の、該ファイルにおける記憶アドレスとを記憶しておくように構成しても構わない。
【０１３４】
対応関係記憶部５からの入力を受信した圧縮部６は、前記時系列情報記憶部４に蓄積された画像情報のデータ圧縮を行なう。この場合、圧縮部６は、対応関係記憶部５からの条件一致区間を示す情報に基づいて、データ圧縮率またはデータ圧縮方法を動的に可変して圧縮を実行する。
【０１３５】
この実施の形態の場合には、重要区間の情報については、データ圧縮を行わずに高品質を維持し、また、重要区間以外の区間の画像情報について、データ圧縮を行うようにする。このため、図１６に示すように、圧縮部６は、時系列情報記憶部４から、重要区間以外の区間の部分画像列を取得して、それをデータ圧縮し、圧縮後の圧縮画像列を時系列情報記憶部４に書き戻すようにする。
【０１３６】
図１７は、この圧縮部６の動作を説明するフローチャートである。
以下、このフローチャートおよび説明図を用いて、圧縮動作の詳細な説明を行なう。
【０１３７】
時刻情報記憶部７は、前述の図１３に示したフローチャートのステップＳ５０３において、音声情報および画像情報が時系列情報記憶部４に記録されてからの経過時間（すなわち情報保存時間）が、所定の時間以上になった場合に、対応関係記憶部５に対し圧縮処理開始指示を出力する。
【０１３８】
対応関係記憶部５は、時刻情報記憶部７から圧縮開始指示が入力されると、図１０のステップＳ３０４でその入力を検出する。圧縮開始指示が検出された場合には、ステップＳ３０５に進み、ユーザ入力情報が検出された条件一致区間である重要区間の図９に示した情報のそれぞれと、それぞれの重要区間に対応して前記時系列情報記憶部４に記憶されている音声情報または画像情報の、前記時系列情報記憶部４における記憶アドレスとを圧縮部６に出力する。
【０１３９】
圧縮部６は、対応関係記憶部５からの圧縮開始要求を受信すると、ステップＳ６００によって、これを検出し、ステップＳ６０１に進む。ステップＳ６０１では、対応関係記憶部５から入力される、重要区間のそれぞれと、それぞれの重要区間に対応して前記時系列情報記憶部４に記憶されている音声情報および画像情報の、前記時系列情報記憶部４における記憶アドレスとを入力し、圧縮部６の、図示しないワークメモリに記憶する。ワークメモリは、記憶媒体として、例えば半導体メモリを用いる。
【０１４０】
なお、重要区間と、該重要区間に対応した記憶アドレスとの組を、１組１組、順次圧縮部６に出力するように構成してもよい。また、音声情報および画像情報を格納したファイルの中に、前記重要区間のそれぞれと、それぞれの重要区間に対応してファイルに記憶されている音声情報および画像情報の、該ファイルにおける記憶アドレスとを記憶しておくように構成しても構わない。
【０１４１】
圧縮部６は、前記ワークメモリに記憶されている、重要区間と記憶アドレスの複数組を参照して、時系列情報記憶部４に記憶されている画像情報の圧縮を行なう。
【０１４２】
ステップＳ６０２では、１０フレームの部分画像列を、１つの単位部分画像列として、重要区間以外の区間の部分画像列を、時系列情報記憶部４から圧縮部６に順次読み出す。この実施の形態においては、重要区間に対応した画像情報を圧縮しないために、重要区間以外の画像情報のみを読み出して、圧縮する。もっとも、重要区間の画像情報も圧縮する場合には、重要区間の画像情報を含めて読み出して圧縮する必要があることは言うまでもない。
【０１４３】
図１８は、時系列情報記憶部４に記憶された画像情報のうち、重要区間として認識された画像情報（アドレスａ１からアドレスａ２）を高品質で保存し、それ以外の区間を高圧縮率で圧縮した場合の例を示した図である。この例の場合には、重要でない区間の画像情報は、連続した１０フレームの中の先頭の１フレームだけを残して、他のフレームの情報を破棄するという間引き圧縮処理が行なわれ、一方、重要区間の画像情報は、前記の間引き処理を行なれず、前記連続１０フレーム全部が記憶されるようになる。
【０１４４】
ステップＳ６０３では、１０フレームの部分画像列の、この例では先頭の１フレームだけを残して、他の９フレームを消去するというフレーム間引き処理を行なう。そして、次のステップＳ６０４において、そのフレーム間引き後の圧縮画像列を時系列情報記憶部４に書き戻す。
【０１４５】
そして、次のステップＳ６０５では、会議の記録が蓄積されている前記ファイルに対する圧縮処理が終了したどうかを判定し、ファイル全体の圧縮処理が完了した場合には、ステップＳ６００に戻って次の圧縮開始指示を待つ。圧縮すべき部分が残っている場合にはステップＳ６０２に戻って、前記圧縮処理を繰り返す。
【０１４６】
この圧縮処理によって、前述した図１８に図示したような空きメモリが生成される。すなわち、アドレスａ１からアドレスａ２の間のメモリ領域の画像データは、重要区間のデータであるので、圧縮前と比べて変化がない。一方、アドレスａ０からアドレスａ１、および、アドレスａ２からアドレスａ３に蓄積されていた画像列は、重要区間ではないのでフレーム間引き圧縮の対象となり、圧縮画像列によって置き換えられる。そして、情報量が減ったことにより、図１８に示すように、時系列情報記憶部４の記憶媒体には、空きメモリ領域が生成される。
【０１４７】
なお、時系列データが、記憶媒体内で連続して記憶されていることが望ましい場合には、生成された空きメモリの部分を前後の時系列データによって詰めるようにする等して、メモリの隙間をなくすようにしてもよい。
【０１４８】
［再生時の動作］
次に、再生時の動作について説明する。
【０１４９】
この例においては、表示部１０に表示された複数のペン筆跡情報の中の１つをユーザがペンを用いて指定（ポインティング）することにより、時系列情報記憶部４に記憶された音声信号または画像信号のうち、そのペン筆跡情報が入力された時点の近辺前後に入力された音声信号または画像信号のみを部分的に再生可能とされている。
【０１５０】
また、そのペン筆跡情報が入力された時点の前後に入力された音声信号または画像信号のうちの、対話が活発な区間の最初にさかのぼって音声信号または画像信号を再生できるように構成されている。
【０１５１】
この例の場合、指定に用いる再生指定部１２としては、この実施の形態のように、入力用のペンと兼用されている。
【０１５２】
なお、再生指定部１２としては、マウス、トラックボール、カーソルキー、タッチパネル等を用いることもできる。また、ペン筆跡情報の指定方法としては、ポインティングによる指定、囲み（閉曲線や楕円などによる囲み）による指定、識別子入力による指定、表示されている項目の下に線を引くような指定などによるものでもよい。
【０１５３】
また、囲みによる指定や下線による指定を行なった結果、複数のペン筆跡情報が選択された場合には、なんらかの優先順位に基づいて１つを特定するようにすることもできる。例えば、選択された中で最も早く入力されたペン筆跡情報や、最も左上に表示されたペン筆跡情報を自動的に選ぶ等、候補をリスト状に表示してユーザに再度選択を求めるようにしてもよい。
【０１５４】
さらに、特開平６−２７６４７８公報や特開平６−２０５１５１号公報に記載されているように、特定の順番（例えば時系列）で静止画画像を並べ、それら目次画像の中から１つを指定するようにしても構わない。
【０１５５】
表示部１０の表示画面２１上の表示位置は、Ｘ−Ｙ座標によって特定できるので、ペンなどの再生指定部１２によってある表示位置が指定されると、その表示位置に対応するＸ−Ｙ座標が特定される。
【０１５６】
このようにして、再生指定部１２から再生要求があると、対応関係記憶部５での動作の図１１のフローチャートのステップＳ３０６においてそれが検出され、ステップＳ３０７に進み、再生指定部１２から得られた指定座標と、対応関係記憶部５に記憶されているＸ−Ｙ座標から算出されるＸ−Ｙ座標群（図９のペン筆跡座標を端点とするマルチプルラインを構成する全ての点座標群）とを比較して、対応するペン筆跡情報を特定する。
【０１５７】
続いて、ステップＳ３０８において、このペン筆跡情報に対応した音声信号または画像信号の再生開始アドレスおよび再生終了アドレスを、対応関係記憶部５から取得し、ステップＳ３０９に進んで、その再生開始アドレスおよび再生終了アドレスと、再生要求とを時系列情報記憶部４に出力する。
【０１５８】
その後、再生開始／終了アドレスと再生要求とを受け取った時系列情報記憶部４は、図１２のフローチャートのステップＳ４０５において、その入力を検知し、ステップＳ４０６に進んで、再生部８に出力する。
【０１５９】
再生部８は、以上の動作によって求まった時系列情報記憶部４の再生開始アドレスから再生終了アドレスまでの音声情報または画像情報の再生を開始する。例えば、図９のＩＤ１０００のマルチプルラインが指定された場合には、このマルチプルラインに対応する、記憶アドレスａ１から記憶アドレスａ２までの音声情報または画像情報が再生される。
【０１６０】
なお、前記座標比較の際に、少しずれた座標ともマッチングするようにしておけば、指定時に多少ずれた座標点を指定しても、所望の記憶アドレスを取得できるようになる。また、ユーザ入力情報が表示されない性質のものであった場合にでも、そのユーザ入力情報の存在を示す所定のしるしが表示部１０に表示されているので、同様の方法によって所望の記憶アドレスを取得できる。また、所定時間間隔内に連続入力された複数の座標点列を１つのペン筆跡情報として記憶させておけば、例えば、１行の文字列を１つのペン筆跡情報と見なすことができるため、文字列を構成する座標点列のうちいずれかが指定されれば、同じ記憶アドレスから音声または画像を再生できる。
【０１６１】
再生時には再生速度を変化させたり少し巻き戻ししてゆっくり再生したい場合がよくあるので、早送り機能、巻き戻し機能、スロー再生機能、一時停止機能を再生部８に具備してもよいし、時間軸上のスライドバーを設け、現在再生している時刻を示すポインタをスライドバーに表示したりバーをスライドさせることによって再生位置を指定できるようにしてもよい。
【０１６２】
また、再現する速度に関して、必ずしも記録された時刻情報の通りに再現する必要はなく、記録された順序関係だけは守って速度を上げて再現するようにしてもよいし、話者の発言が記録されている区間だけを間引いて再生するようにしてもよい。例えば、図８の時刻ｔ０から時刻ｔ１、および、時刻ｔ２から時刻ｔ３の区間は倍速再生し、重要区間である時刻ｔ１から時刻ｔ２の区間は記憶された速度で、いわゆるノーマル再生するようなことができる。
【０１６３】
さらに、再生を一時停止した後、指示部によって再生を再び指示できるようにしてもよいし、新たなユーザ入力情報を追記できるようにしてもよい。
【０１６４】
以上に述べた第１の実施の形態では、早い話者交代のパターンが所定個数以上連続して検出された時に、そのパターンを含む発言区間の両端を、条件一致区間の両端とするようにしているが、早い話者交代のパターンを含む発言区間の開始時点の所定時間前の時点を条件一致区間の始まりとしてもよいし、早い話者交代のパターンを含む発言区間の所定個数前の発言区間を含めて条件一致区間としてもよい。
【０１６５】
また、早い話者交代のパターンを含む発言区間の終了時点の所定時間後の時点を条件一致区間の終わりとしてもよいし、早い話者交代のパターンを含む発言区間の所定個数後の発言区間を含めて条件一致区間としてもよい。
【０１６６】
さらに、「扉の閉まる音」というような、単発的な音声信号を条件一致区間検出部３によって検出するようにすることもできる。この場合には、単発的な音声信号を検出した時点の所定時間前の時点を条件一致区間の開始点として検出し、該単発的な音声信号を検出した時点の所定時間後の時点を条件一致区間の終了点として検出するように構成する。また、外部センサからの単発的なトリガ信号を条件一致区間検出部３によって検出する場合にも、同様に構成すればよい。
さらに、条件一致区間検出部３が検出する事象は、音声の有無、発言者の交替に限らず、音声信号の中の予め登録されたキーワードの出現、音声信号の中の予め登録された音声パターンの出現、音声信号の中の予め登録された文字列の出現、画像信号の中の状態変化、外部センサが検知した状態の変化、カメラワークまたはカメラワークの変化などでもよい。
【０１６７】
例えば、笑い声のパターン、拍手のパターンなどの特徴的な音声パターンを登録しておき、入力音声信号からこれらのパターンを認識し、これらのパターンを含む区間を条件一致区間として検出するように構成することもできる。この場合には、条件一致区間検出部３には、公知のパターン認識技術、例えば、音声信号のパワーまたは周波数成分の時間的遷移を解析する技術などを用いて、パターン認識を行なうパターン認識手段が設けられる。
【０１６８】
また、例えば、条件一致区間検出部３によって話者の交代を検出する場合には、図１９に示すように、ユーザ入力情報の入力が検出された時点ｔｐから所定時間前にさかのぼった時点ｔ１を特定し、この時点ｔ１に最も近い話者交代時点ｔｓを条件一致区間の始まりとする。そして、この条件一致区間の始まりｔｓから所定時間経過した時点ｔｅを条件一致区間の終りとするようにする。図１９に示した例では、ユーザ入力情報の入力が検出された時点ｔｐと条件一致区間の始まりｔ１との時間間隔（ｔｐ−ｔ１）は１３０秒であり、条件一致区間の長さ（ｔｅ−ｔｓ）は１８０秒である。
【０１６９】
入力される時系列情報（例えば、音声情報または画像情報）の変化、または入力される時系列情報が存在する間に外部センサが検知した信号の変化を検出する装置も、いずれもこの発明でいう条件一致区間検出部３に相当する。その変化点を検出条件とする場合、終了点としては、その変化点から予め定めた一定時間とすることができる。
【０１７０】
また、この実施の形態では、圧縮部６は、画像の間引き圧縮を行う構成になっているが、画像情報の圧縮時に、記憶時間、フレーム内圧縮の圧縮率、フレーム間圧縮の圧縮率、間欠記録の時間間隔、色情報間引き率、輝度情報間引き率等の少なくとも一つを動的に変更する装置であればよい。特に、動画像情報を圧縮する方法としては、フレーム内での圧縮法とフレーム間の圧縮法があり、フレーム内の圧縮法としてはベクトル量子化を用いた方法と離散コサイン変換を用いた方法などがある。フレーム間の圧縮法としては前後フレームの画像情報の差分のみを記録する方法などがある。すなわち、単位時間あたりの情報量をより少ない情報量に変換する装置は、いずれもこの発明でいう圧縮部６に相当する。
【０１７１】
また、この実施の形態では、重要区間以外の区間の画像情報であっても、情報量の少ない駒落し映像として保存するように構成しているが、もちろん、重要区間以外の区間の画像情報または音声情報を、蓄積媒体から消去するようにしても構わない。
【０１７２】
また、重要区間の情報と、重要区間以外の区間の情報とを、別々の蓄積媒体に分けて保存するようにしてもよい。例えば、情報の記録時は、重要区間の情報と重要区間以外の区間の情報とを同一の磁気ディスクに蓄積するようにし、情報の圧縮時に、重要区間の情報のみを前記磁気ディスクに残し、重要区間以外の区間の情報を光磁気ディスクや磁気テープに移動するように構成する。一般的に、光磁気ディスクや磁気テープは、磁気ディスクに比べて、情報へのアクセス速度は遅いが大量の情報を安価に蓄積することができるという特徴を有しているため、情報量の少なくなった重要区間以外の区間の情報を蓄積するために適している。
【０１７３】
また、この実施の形態では、音声情報は圧縮しない場合について説明したが、画像情報同様、音声も圧縮することが可能である。その場合には、音声情報の圧縮時に、記憶時間、サンプリング周波数、符号化ビット数の少なくとも一つを動的に変更するように構成すればよい。
【０１７４】
以上の例では、初期状態において表示部１０上に何も表示されている情報がない場合について説明したが、この発明の適用範囲はこの例に留まらず、例えば初期状態でいくらかのユーザ入力情報が既に表示されており、それに追加や変更を施す場合もこの発明の適用範囲に含まれる。ただしこの場合には、再生のために指定できるユーザ入力情報は、初期状態からの変位部分のみとなる。
【０１７５】
また、この発明の装置の用途としては、記録していた音声情報または画像情報を再生する際に、ユーザ入力情報をも画面上に順次再現させてゆく使いかたがある。表示部１０の表示を、指定部によって特定されたペン筆跡情報が入力された時点の表示に一旦戻し、音声または画像情報とペン筆跡情報とを同期させて再現するものである。表示画面をその時点の表示に戻す方法としては、表示画面のＵＮＤＯをその時点まで繰り返してもよいし、画面を一旦消去した後、対応関係記憶部５に記憶されているユーザ入力情報をその時点まで高速に順次描画してもよい。
【０１７６】
［第２の実施の形態］
この第２の実施の形態においても、前述と同様に、説明を簡単にするために、圧縮対象は画像のみとして、以下に説明する。
【０１７７】
この第２の実施の形態では、入力画像情報を時系列情報記憶部４に蓄積する際に、例えば低周波数帯域と、高周波数帯域というように、周波数帯域別に記憶しておき、時刻情報記憶部７から圧縮開始指示を受信したときに、画像の高周波数帯域を削除することにより、画像情報の圧縮を行うように構成する。この第２の実施の形態は、画像の高周波数帯域は、いわゆる画像のディテールに関与する成分であり、これを削除しても基本的な画像内容の把握については影響が少ないことを利用するものである。
【０１７８】
第１の実施の形態では、図１６で示されるように、時系列情報記憶部４の部分画像列を読み出し、圧縮部６で圧縮処理を施した後、再び時系列情報記憶部４に書き込む構成としたが、この第２の実施の形態では、入力画像情報を時系列情報記憶部４に蓄積する際に周波数帯域別に記憶しておき、時刻情報記憶部７から圧縮開始指示を受信した時に、画像の高周波数帯域を削除するように構成する。この場合には、時系列情報記憶部４から部分画像列を読み出したり、画像圧縮処理を施したり、時系列情報記憶部４に書き戻したりする必要がなくなるため、圧縮処理時のシステムの負荷を軽減することができる。
【０１７９】
また、この第２の実施の形態では、前記の周波数帯域別に入力画像情報を記憶する方法において、前記ユーザ入力検出部１１が検出したユーザ入力情報入力時点と前記条件一致区間検出部３とによって定められる重要区間（ユーザ入力情報が入力された時点を含む条件一致区間）と、重要区間以外の区間とで、時系列情報記憶部４に蓄積する際の周波数帯域の分け方を変えるように構成する。具体的には、重要区間以外の区間の画像情報のみを周波数帯域別に記憶し、重要区間の画像情報は通常の方法（周波数帯域別の記憶はしない）で記憶する。
【０１８０】
図２０は、この第２の実施の形態における記録時の動作を、その際の各種情報の流れ、および、各部の出力の流れと共に説明した図である。この第２の実施の形態の構成は、第１の実施の形態について説明した図１および図５と比較すると、構成要素として、周波数帯域別画像生成部１３が追加されている点が異なっている。
【０１８１】
この周波数帯域別画像生成部１３は、この例では、ハイパスフィルタと、ローパスフィルタとを含んで構成される。そして、この第２の実施の形態の場合、条件一致区間検出部３は、第１の実施の形態の場合と同様な方法で、入力音声情報から条件一致区間を検出し、その条件一致区間を特定する情報を、対応関係記憶部５に供給すると共に、周波数帯域別画像生成部１３に供給する。また、ユーザ入力情報検出部１１で検出されたユーザ入力情報が、この周波数帯域別画像生成部１３に供給される。
【０１８２】
周波数帯域別画像生成部１３は、条件一致区間検出部３からの条件一致区間を特定する情報と、ユーザ入力情報検出部１１からのユーザ入力情報とを受けて、前記重要区間と、他の区間とで、時系列情報記憶部４に出力する画像信号を変更するようにする。
【０１８３】
図２１は、この第２の実施の形態における周波数帯域別画像生成部１３での処理を説明するフローチャートである。
【０１８４】
図２１に示すように、周波数帯域別画像生成部１３は、ステップＳ７００で音声情報または画像情報の入力を受ける。そして、次のステップＳ７０１において、条件一致区間検出部３からの条件一致区間を特定する情報、すなわち、この例では、条件一致区間の始めの時点の情報と終りの時点の情報と、ユーザ入力情報とにより、当該条件一致区間は重要区間であるか否か判断する。
【０１８５】
重要区間であると判別された区間の画像情報に関しては、ステップＳ７０１からステップＳ７０３に進んで、そのまま時系列情報記憶部４に画像情報を出力し、入力画像情報を通常の、周波数帯域別に分けない記憶フォーマットで時系列情報記憶部４に記憶させるようにする。
【０１８６】
一方、ステップＳ７０１において、重要区間以外の区間であると判別された場合には、ステップＳ７０２に進み、入力画像情報を高周波数帯域の情報と、低周波数帯域の情報とに分けて、周波数帯域別画像情報を生成する処理を実行する。生成された周波数帯域別画像情報は、ステップＳ７０３において、時系列情報記憶部４に対して出力され、記憶される。以下、ステップＳ７００〜Ｓ７０３を繰り返す。
【０１８７】
図２２は、画像情報記録時（画像情報圧縮前）の時系列情報記憶部４の記憶状態を説明した図である。図で示されるように、この第２の実施の形態の場合の時系列情報記憶部４は、重要区間の画像情報を記憶するメモリ部４Ｍａと、重要区間以外の区間の画像情報を記憶するメモリ部４Ｍｂとを備える。これらメモリ部４Ｍａおよび４Ｍｂは、それぞれ別々の記憶媒体であっても良いし、一つの記憶媒体のメモリ領域を分割したものであってもよい。
【０１８８】
時系列情報記憶部４の、重要区間の画像情報を記憶するメモリ部４Ｍａには、画像情報は周波数帯域分割されずに記憶されている。そして、重要区間以外の区間の画像情報を記憶するメモリ部４Ｍｂは、さらに、高域部記憶メモリと、低域部記憶メモリとに領域分割され、それぞれ画像情報の高周波数帯域成分と、低周波数帯域成分とが、対応付けられて記憶されている。すなわち、図２２において、高域部記憶メモリの領域ａ１〜ａ６の記憶内容と、低域部記憶メモリの領域ａ１〜ａ４の記憶内容とは、同一区間の画像信号の高周波数成分と、低周波数成分とを示している。時系列情報記憶部４は、この周波数帯域成分の対応関係も管理している。
【０１８９】
図２２において、各メモリ領域ａ１，ａ２，…内に「・」が付与されているのは、画像列が記憶されていることを示しており、「・」が無いメモリ領域は空きメモリ領域を意味している。
【０１９０】
この第２の実施の形態においても、時刻情報記憶部７で時系列情報記憶部４の記憶内容の保存期間を監視し、例えば１ヶ月のような所定の期間を保存期間が経過したときに、時刻情報記憶部７は圧縮処理開始指示を出力し、画像情報圧縮を実行させる。
【０１９１】
図２３は、この第２の実施の形態における情報圧縮時の動作を、その際の各種情報の流れ、および、各部の出力の流れと共に説明した図である。また、図２４は、この第２の実施の形態における圧縮処理を説明するフローチャートである。
【０１９２】
すなわち、この実施の形態の場合、時刻情報記憶部７からの圧縮開始指示は、圧縮部６に直接供給される。そして、圧縮部６では、図２４のフローチャートに示すように、この圧縮開始指示を受け取って、音声情報および画像情報が時系列情報記憶部４に記録されてからの経過時間、すなわち情報保存時間が、所定の時間以上になったことをステップＳ８００において検出した場合には、ステップＳ８０１に進む。ステップＳ８０１では、時系列情報記憶部４に対して、重要区間以外の区間を記憶しているメモリ部４Ｍｂから、高周波数帯域を削除する処理を行なう指示を送る。
【０１９３】
この例では、時系列情報記憶部４は、この圧縮部６からの高周波数成分削除指示を受けて、条件一致区間以外の区間の画像情報を記憶するメモリ部４Ｍｂの高域部記憶メモリの記憶内容をすべて削除する。
【０１９４】
図２５は、画像情報圧縮後の時系列情報記憶部４の記憶状態を説明した図である。圧縮処理前の記憶状態が、前述の図２２に示したような状態であった場合には、圧縮部６からの高周波数成分削除指示を受けて、時系列情報記憶部４は、重要区間以外の区間の画像情報を記憶するメモリ部４Ｍｂの中の、高周波数帯域画像成分を記憶する高域部記憶メモリの領域ａ１〜ａ６から画像情報を全て削除する。この結果、時系列情報記憶部４においては、図２５において、網点で示した領域ａ１〜ａ６の部分が、空きメモリ領域として生成される。
【０１９５】
この生成された空きメモリ領域は、重要区間以外の区間を記憶する記憶メモリ領域として再利用されても構わないし、重要区間を記憶する記憶メモリ領域として充当するようにしても構わない。
【０１９６】
以上に説明した処理によって、圧縮処理を施した後には、ユーザ入力情報が検出された時点近傍で、かつ、活発に議論が交わされていた部分の映像を再生した場合には、スムースな動きの高品質の動画が再生され、その他の部分を再生した場合には、いわゆる低画質映像であって、画質の低い動画となる。しかし、あまり重要でない部分を選択して高圧縮率で圧縮できるので、蓄積すべき情報量は非常に少なくなる。
【０１９７】
この第２の実施の形態の以上の説明では、周波数帯域別に入力画像情報を記憶する方法について説明したが、例えば特開平６−１７８２５０号公報に述べられているように、入力画像情報を時系列情報記憶部４に蓄積する際に、画像信号を輝度信号成分と、色差信号や搬送色信号（色副搬送波信号）などの色信号成分とに分けて、別々の領域に記憶しておき、時刻情報記憶部７から圧縮開始指示が発生したときに、色信号成分のみを消去するように構成してもよい。この場合にも、部分画像列を読み出したり、書き戻したりする必要がなくなるため、圧縮処理の速度を早めることができる。
【０１９８】
また、入力画像情報を周波数帯域別に時系列情報記憶部４に蓄積する際に、重要区間の画像情報と、重要区間以外の区間の画像情報の低周波数帯域成分とを、記憶媒体の連続した領域に記憶し、重要区間以外の区間の画像情報の高周波数帯域成分を、記憶媒体の別の領域に記憶するように構成してもよい。この場合には、圧縮時に重要区間以外の区間の画像情報の高周波数帯域成分を消去しても、圧縮後の時系列データが、記憶媒体内で連続するため、再生速度の低下を防ぐことができる。
【０１９９】
さらに、この第２の実施の形態では、音声情報は圧縮しない構成になっているが、音声情報を同様にして圧縮することもできる。例えば、特開平７−１５５１９号公報に記載されているように、入力音声情報を時系列情報記憶部４に蓄積する際に周波数帯別に記憶しておき、圧縮部６が、時刻情報記憶部７から圧縮開始指示を受信したときに、音声の高周波数帯域を削除するように構成してもよい。この場合も、重要区間以外の区間の音声情報の高周波数帯域成分を優先的に削除するように構成するとよい。
【０２００】
［第３の実施の形態］
第１の実施の形態、および、第２の実施の形態では、音声情報または画像情報が時系列情報記憶部４に記録されてからの経過時間が、例えば１ヵ月というような所定の時間以上になった場合に、１度だけ圧縮処理を行う例について説明した。しかしながら、１度だけ圧縮処理を行うよりも、段階的に複数回に分けて圧縮を施した方が、より効果的に蓄積媒体を節約できる場合がある。例えば、会議を記録する場合、１週間前に行われた会議を後から参照する可能性に比べて、１ヶ月前に行われた会議を参照する可能性は低く、また同様に、１ヶ月前に行われた会議を後から参照する可能性に比べると、半年前に行われた会議を参照する可能性は低い。このように、後から参照される可能性がより低くなった場合に、より少ない情報量で蓄積するように構成すれば、効果的に蓄積媒体を節約できるようにすることができる。
【０２０１】
この第３の実施の形態では、画像情報が時系列情報記憶部４に記録されてからの経過時間に応じて、圧縮率または圧縮方法を変更し、情報を段階的に圧縮する例について説明する。ただし、昔の会議記録映像であっても、重要な場面については、画像信号を高品質のままで保存しておく必要があるため、第１の実施の形態または第２の実施の形態と同様、記録した会議映像の中で、ユーザ入力情報が検出された時点近傍で、かつ、活発に議論が交わされていた部分の映像だけを高品質のまま残し、その他の部分を高圧縮率で圧縮するようにする。
【０２０２】
すなわち、この第３の実施の形態においても、前記ユーザ入力検出部１１と前記条件一致区間検出部３とによって、第１の実施の形態の場合と同様な方法で、ユーザ入力情報と入力音声情報とから重要区間を特定する。
【０２０３】
この第３の実施の形態では、第２の実施の形態と同様に、入力画像情報を時系列情報記憶部４に蓄積する際に周波数帯域別に記憶しておく。このため、この第２の実施の形態と同様に、周波数帯域別画像生成部１３が設けられるが、この第３の実施の形態の場合においては、周波数帯域は、高周波数帯域と、中周波数帯域と、低周波数帯域との３帯域に画像情報を分割して、時系列情報記憶部４に記憶するようにする。この場合の周波数帯域別画像生成部１３は、高域用のハイパスフィルタと、中域用のバンドパスフィルタと、低域用のローパスフィルタとで構成される。
【０２０４】
また、この第３の実施の形態においては、重要区間と、重要区間以外の区間との区別なく、画像信号は周波数帯域を３帯域に分けて記憶するようにする。
【０２０５】
図２６は、画像情報記録時（画像情報圧縮前）の時系列情報記憶部４の記憶状態を説明した図である。すなわち、この例では、時系列情報記憶部４の重要区間の画像情報を記憶するメモリ部４Ｍａおよび重要区間以外の区間の画像情報を記憶するメモリ部４Ｍｂのそれぞれは、図２６に示すように、高域部記憶メモリ、中域部記憶メモリ、低域部記憶メモリを有し、それぞれのメモリ領域に、該当区間の画像情報の高域成分、中域成分、低域成分が、それぞれ記憶されるものである。
【０２０６】
そして、この第３の実施の形態においても、時刻情報記憶部７は、記憶時からの時間経過を監視して、所定時間経過したときに圧縮開始指示を、圧縮部６に出力するようにするが、圧縮開始指示は、予め設定された複数の経過時間、例えば１週間後、１ヶ月後、半年後、のそれぞれの時点で出力するようにする。このとき、各圧縮開始指示に、それがどの時点の圧縮開始指示であって、いずれの周波数帯域成分を圧縮するかのデータを付加して圧縮部６に供給するようにする。
【０２０７】
図２７は、時刻情報記憶部７に記憶された圧縮時刻管理テーブルの例を示す図である。この図２７に示されるように、例えば、一番先に消去される画像データは、重要区間以外の区間の高周波数帯域部分であり、情報の記録後、１週間経過時に消去される。また、情報の記録後、１ヶ月が経過したときには、重要区間以外の区間の中周波数帯域部分と、重要区間の高周波数帯域部分とが消去される。また、情報の記録後、半年が経過したときには、重要区間以外の区間の低周波数帯域部分と、重要区間の中周波数帯域部分とが消去される。なお、重要区間の低周波数帯域部分に関しては、ユーザからの明示的な消去指示が与えられない限り自動的には消去されないようになっている。
【０２０８】
圧縮部６は、時刻情報記憶部７からの前記圧縮開始指示を受信したときに、その指示内容を解析し、その解析結果により時系列情報記憶部４に対して、いずれの記憶メモリの内容を削除するかの圧縮指示を出す。時系列情報記憶部４は、この圧縮指示に応じて、画像情報の段階的な圧縮処理を実行する。具体的には、前記図２７のテーブルの消去時期にしたがった各部記憶メモリの内容消去を実行する。
【０２０９】
図２８、図２９、図３０は、画像情報圧縮前に図２６のように画像情報が記録されている状態から、それぞれ、１週間、１ヶ月、半年が経過したときの、時系列情報記憶部４の記憶状態を説明した図である。これらの図２６、図２８、図２９、図３０において、各メモリ領域ａ１，ａ２，…内に「・」が付与されているのは、画像列が記憶されていることを示しており、「・」が無いメモリ領域は空きメモリ領域を意味している。
【０２１０】
すなわち、１週間経過のときには、図２８に示すように、時系列情報記憶部４では、重要区間以外の区間の画像情報を記憶するメモリ部４Ｍｂの高域部記憶メモリの内容がすべて消去されて、空きメモリ領域とされる。
【０２１１】
また、１ヶ月経過のときには、図２９に示すように、重要区間の画像情報を記憶するメモリ部４Ｍａの高域部記憶メモリの内容と、重要区間以外の区間の画像情報を記憶するメモリ部４Ｍｂの中域部記憶メモリの内容がすべて消去される。
【０２１２】
さらに、半年経過のときには、図３０に示すように、重要区間の画像情報を記憶するメモリ部４Ｍａの中域部記憶メモリの内容と、重要区間以外の区間の画像情報を記憶するメモリ部４Ｍｂの低域部記憶メモリの内容がすべて消去される。この結果、時系列情報記憶部４の記憶内容は、重要区間の画像情報を記憶するメモリ部４Ｍａの低域部記憶メモリの内容のみが残る。
【０２１３】
こうして、これらの図２５〜図２７で示されるように、時系列情報記憶部４には、時間の経過に伴い、より少ない情報量で画像情報が蓄積されるようになる。
【０２１４】
なお、この第３の実施の形態の上述の例では、時刻情報記憶部７の圧縮時刻の管理にテーブルを使用したが、もちろん、管理テーブルの代わりに、リストやスタックの構造であっても構わない。
【０２１５】
さらに、時刻情報記憶部７で、テーブルやリスト等で圧縮時刻および圧縮対象を管理するのではなく、情報の保存時間をパラメータとした数式演算により、任意の時刻における情報の圧縮率を算出し、この圧縮率に関する情報を圧縮部６に送って情報圧縮を実行させるように構成することもできる。
【０２１６】
例えば、ｙを情報量保持率（％）、ｘを時刻（経過日数）とすると、時刻情報記憶部７では、
ｙ＝９０ｅｘｐ（−Ａｘ）＋１０ …（１）
ただしＡは定数で、Ａ＞０である
で表される上記演算式（１）によって、特定の時刻における情報量保持率を求め、この情報量保持率の情報を圧縮率に関する情報として、圧縮部６に供給する。ここで、情報量保持率は、特定の時刻における情報量の、その情報が始めに記録されたときの情報量に対する割合を指す。
【０２１７】
圧縮部６は、時刻情報記憶部７からの、この情報量保持率に基づき、圧縮率を設定し、その圧縮率により時系列情報記憶部４に蓄積されている画像情報を圧縮する。この場合、時刻情報記憶部７は、ある周期で段階的に再圧縮を実行させるように圧縮開始指示を、前記周期で繰り返し発生する。
【０２１８】
なお、この第３の実施の形態は、第２の実施の形態の変形として説明したが、第１の実施の形態の変形として実施することも、もちろんできる。
【０２１９】
［第４の実施の形態］
この第４の実施の形態は、条件一致区間検出部３での検出条件が、入力される音声信号の中に予め登録されたキーワードが出現したこと、または、入力される音声信号の中に予め登録された音声パターンが出現したこと、である場合である。
【０２２０】
まず、条件一致区間検出部３での検出条件が、入力される音声信号の中に予め登録されたキーワードが出現したことである場合について説明する。
【０２２１】
この場合、条件一致区間検出部３は、音声認識手段と、登録されたキーワードを記憶するメモリと、音声認識結果とメモリに予め登録されたキーワードとを比較して両者の一致を検出するキーワード一致検出手段とを備える。メモリには、ユーザが予めキーワードを登録しておく。
【０２２２】
そして、情報記録時には、条件一致区間検出部３は、入力された音声信号を音声認識手段により順次文字列情報に変換し、形態素解析するなどして、その文字列情報から語句を抽出する。そして、この抽出した語句を、「宿題」「アクションアイテム」「課題」「結論」「決定」「重要」「まとめ」などの、メモリに予め登録されている文字列キーワードと比較する。
【０２２３】
入力音声信号から抽出された語句が、予め登録されていた文字列キーワードのいずれかと一致した場合には、この文字列キーワードの検出時点は、条件一致区間の開始点となる。
【０２２４】
条件一致区間の終了点を定めるために、この第４の実施の形態においては、各キーワード文字列毎に、キーワードが検出されたときから、どれだけの時間の画像信号を高画質で記録するかを決めるキーワード有効期間が、図３１のようなテーブルに設定されている。条件一致区間の開始点に、キーワード有効期間を加えた時点が、条件一致区間の終了点となる。
【０２２５】
そして、時系列情報記憶部４に蓄積されている画像情報を、前述したように所定時間経過後に圧縮する際には、前記ユーザ入力検出部１１が検出したユーザ入力情報入力時点を含む前記条件一致区間の開始点から終了点までの区間を重要区間と見なして、この区間の画像情報を高画質で保存し、それ以外の区間を高圧縮率で圧縮するようにする。圧縮方式は、第１〜第３の実施の形態のいずれの方法も採用できる。
【０２２６】
また、さらに、各キーワード文字列毎に重要度を設定できるようにしておけば、各キーワード文字列の重要度に応じた異なる圧縮率で画像信号を圧縮することが可能である。
【０２２７】
次に、入力される音声信号の中に、予め登録された音声パターンが出現したことを検出条件として、条件一致区間検出部３が条件一致区間を検出する場合について説明する。
【０２２８】
音声認識によってキーワードを検出することが困難な場合にも、笑い声のパターン、拍手のパターン、活発な対話のパターンなどの特徴的な音声信号のパターンであれば、これらのパターンを認識できる場合がある。そこで、この特徴的な音声パターンが出現したことをも、検出条件として条件一致区間検出部３は検出するようにする。
【０２２９】
この場合には、条件一致区間検出部３には、笑い声のパターン、拍手のパターン、活発な対話のパターンなどの特徴的な音声信号パターンが予め登録されて記憶されるメモリが設けられる。そして、公知のパターン認識技術、例えば、音声信号のパワーまたは周波数成分の時間的遷移を解析する技術などを用いて、パターン認識を行なうパターン認識手段が設けられる。
【０２３０】
予め登録されている特徴的な音声信号のパターンと、順次入力される音声信号から抽出される音声信号のパターンとを比較して、その一致あるいはその類似度から、当該特徴パターンを認識するようにする。パターン認識の認識率を上げるために、話者毎に、音声パターンを登録しておいてもよい。
【０２３１】
入力音声信号から抽出された音声信号のパターンが、予め登録されている特徴的な音声信号パターンのいずれかと一致したと判定された場合には、音声信号パターンの検出時点は、条件一致区間の開始点となる。
【０２３２】
また、条件一致区間の終了点を定めるために、各音声信号パターン毎に、パターンが検出された時からどれだけの時間の画像信号を高画質で保存するかを決める音声信号パターン有効期間が、図３２に示すようなテーブルに設定されている。条件一致区間の開始点に、音声信号パターン有効期間を加えた時点が、条件一致区間の終了点となる。
【０２３３】
そして、前記ユーザ入力検出部１１が検出したユーザ入力情報入力時点と前記条件一致区間検出部３とによって定められる重要区間（ユーザ入力情報が入力された時点を含む条件一致区間の開始点から終了点まで）と、重要区間以外の区間とで、圧縮率または圧縮方法を変えて、前記時系列情報記憶部４に記憶されている画像情報を圧縮するようにする。
【０２３４】
この場合も、時系列情報記憶部４に蓄積されている画像情報を、前述したように所定時間経過後に圧縮する際に、前記重要区間の画像情報は、高画質で保存し、その他の区間の画像情報は、情報量を大幅に削減するように圧縮する。圧縮方式は、第１〜第３の実施の形態のいずれの方法も採用できる。
【０２３５】
この実施の形態では、入力音声信号から抽出されたキーワードや音声信号のパターンが、予め登録されているキーワードや特徴的な音声信号パターンのいずれかと一致したと判定された時点を、条件一致区間の開始点と判定したが、キーワードや音声信号のパターンが検出された時点より前の画像情報を含めて高画質で保存することもできる。例えば、笑い声のパターンや、拍手のパターンが出現する時の前には、そのパターンが出現する原因が存在することが普通であり、その原因となる事象を高画質で保存するようにすることができる。この場合には、特徴的な音声信号パターンが出現した時点より所定時間前の時点を、条件一致区間の開始点とすることで、パターンが出現した原因となる事象を高画質で保存し、それ以外の区間を高圧縮率で圧縮するように構成する。
【０２３６】
［第５の実施の形態］
この第５の実施の形態は、条件一致区間検出部３での検出条件が、入力される画像信号の中に予め登録された文字列が出現したこと、または、入力される画像信号の中に状態変化が出現したこと、である場合である。
【０２３７】
まず、入力される画像信号の中に予め登録されたキーワードが出現したことを条件一致区間検出部３が検出する場合について説明する。
【０２３８】
この場合、条件一致区間検出部３は、画像認識手段と、登録された文字列のキーワードを記憶するメモリと、画像認識結果とメモリに予め登録されたキーワードとを比較して両者の一致を検出するキーワード一致検出手段とを備える。メモリには、ユーザが予めキーワードを登録しておく。
【０２３９】
そして、情報記録時には、条件一致区間検出部３は、ホワイトボードなどに書かれた文字を画像認識手段により順次文字列情報に変換し、その文字列情報から語句を抽出する。そして、この抽出した語句を、「宿題」「アクションアイテム」「課題」「結論」「決定」「重要」「まとめ」などの、メモリに予め登録されている文字列キーワードと比較する。もちろん、コンピュータからの出力を表示する電子ホワイトボードのように、表示される画像信号がコンピュータからの出力である場合には、コンピュータから入力される情報（文字コード情報など）を入力画像信号としてもよい。
【０２４０】
入力画像信号から抽出された語句が、予め登録されていた文字列キーワードのいずれかと一致した場合には、この文字列キーワードの検出時点は、条件一致区間の開始点となる。
【０２４１】
条件一致区間の終了点を定めるために、この第５の実施の形態においては、各キーワード文字列毎に、キーワードが検出された時からどれだけの時間の画像信号を高画質で記録するかを決めるキーワード有効期間が、前記図３１と同様にして、キーワードと対応してメモリに設定されている。
【０２４２】
そして、前記ユーザ入力検出部１１が検出したユーザ入力情報入力時点と前記条件一致区間検出部３とによって定められる重要区間（ユーザ入力情報が入力された時点を含む条件一致区間の開始点から終了点まで）と、重要区間以外の区間とで、圧縮率または圧縮方法を変えて、前記時系列情報記憶部４に記憶されている画像情報を圧縮するようにする。
【０２４３】
この場合には、文字列キーワードが出現した時点より所定時間前の時点を、条件一致区間の開始点とすることで、文字列キーワードが出現した原因となる事象を高画質で保存し、それ以外の区間を高圧縮率で圧縮するように構成することができる。
【０２４４】
次に、入力される画像信号の中に状態変化が出現したことを検出条件として、条件一致区間検出部３が条件一致区間を検出する場合について説明する。
【０２４５】
画像認識によって文字列キーワードを検出することが困難な場合にも、入力される画像情報から動き、輝度変化、色分布変化などの状態変化を検出できる場合がある。そこで、この第５の実施の形態では、この画像の前記のような状態変化をも、検出条件として条件一致区間検出部３は検出するようにする。
【０２４６】
この場合には、条件一致区間検出部３には、画像信号の状態変化のパターンが予め登録されている記憶メモリが設けられる。そして、公知のパターン認識技術、状態変化のパターン認識を行なうパターン認識手段が設けられる。例えば、ホワイトボードや書画映像などを記録している最中に、加筆やページ切り替えがあったことを認識することは、特開平４−２８６２９３号公報に記載されているように、公知のフレーム間差分検出技術によって可能である。
【０２４７】
そして、上記のように予め登録しておいたこれらの画像信号の状態変化のパターンを、順次入力される画像信号から抽出される画像信号の状態変化と比較する。抽出された画像信号の状態変化のパターンが、予め登録されていた状態変化のパターンのいずれかと一致した場合には、この状態変化の検出時点は、条件一致区間の開始点となる。
【０２４８】
以下、第４の実施の形態の場合と同様の処理によって、前記ユーザ入力検出部１１が検出したユーザ入力情報入力時点と前記条件一致区間検出部３が検出した条件一致区間とによって定められる重要区間と、重要区間以外の区間とで、圧縮率または圧縮方法を変えて、前記時系列情報記憶部４に記憶されている画像情報を圧縮する。
【０２４９】
［第６の実施の形態］
この第６の実施の形態は、条件一致区間検出部３が、外部センサによって予め定めた状態変化を検出する場合である。すなわち、この実施の形態では、音声信号からの条件一致区間の検出では困難な事象を条件として、条件一致区間を検出する場合や、入力される音声信号に含まれない情報に状態変化が起きた場合を条件として条件一致区間を検出するために、外部センサを設ける。
【０２５０】
以下に説明するこの実施の形態では、外部センサが、場所を検出する場合について説明する。すなわち、以下の例では、役員会議室、応接会議室、一般会議室のように、会議室に応じた重要度を与えておき、重要な会議室の会議記録ほど、高品質で情報保全を計るようにする。
【０２５１】
音声信号または画像信号が入力された場所が、どの会議室で会議が行なわれたかという情報は、例えばＧＰＳ（グローバル・ポジショニング・システム）などの位置測定装置から出力される位置情報を解析することにより得られる。ＧＰＳを用いた場合には、音声信号または画像信号が入力された場所の緯度／経度を測定し、その情報と、各会議室が存在する予め記憶されている緯度／経度とを比較することによって、前記音声信号または画像信号が入力された会議室を特定できる。
【０２５２】
また、ＧＰＳ以外にも、会議室や廊下などの任意の場所に、それぞれ場所に固有のビットパターンを発振する赤外線送受信機を設置するという、特開平７−１４１３８９号公報記載の赤外線送受信機を用いることもできる。この場合には、音声信号または画像信号が入力されたときに、近くの赤外線送信機が発振するビットパターンを受信し、そのパターンから会議室を識別する。
【０２５３】
以下に説明する例では、赤外線送受方式を用いる場合について説明する。この場合、条件一致区間検出部３は、赤外線信号認識手段と、登録された場所名を記憶するメモリと、赤外線信号を認識した結果から判定された場所名とメモリに予め登録された場所名とを比較して両者の一致を検出する場所一致検出手段とを備える。メモリには、ユーザが予め場所名を登録しておく。
【０２５４】
そして、情報記録時には、条件一致区間検出部３は、入力された赤外線信号を、赤外線信号認識手段により場所名に変換する。そして、この変換した場所名を、メモリに予め登録されている場所名と比較する。そして、条件一致区間検出部３は、場所を検出する場合においては、同じ場所に留まっていると認識された期間の最初を条件一致区間の開始点として検出し、同じ場所に留まっていると認識された期間の最後を条件一致区間の終了点として検出する。
【０２５５】
対応関係記憶部５には、重要区間とされるユーザ入力情報があった条件一致区間を特定する情報として、当該区間の開始点および終了点と、場所名とを記憶する。場所名に代えて対応する識別子を記憶するようにすることもできる。また、対応関係記憶部５は、それぞれの重要区間と、その区間に時系列情報記憶部４に記憶される音声信号および画像信号の記憶アドレスとを対応付けて記憶する。
【０２５６】
この例においては、時刻情報記憶部７は、記憶保持期間が所定期間以上となったときに、対応関係記憶部５に圧縮開始指示を出力する。対応関係記憶部５は、この圧縮開始指示を受けて、重要区間を特定する情報として、当該区間の情報と場所名あるいは場所の識別子を圧縮部６に送る。
【０２５７】
圧縮部６は、予め登録された会議室名（場所名）と、各会議室の重要度とを対応させて記憶しているテーブルを備える。図３３は、このテーブルの例である。圧縮部６は、対応関係記憶部５からの場所名あるいは識別子を用いて、このテーブルを参照し、当該条件一致区間の会議室名を検出する。そして、その会議室名に割り当てられた重要度を抽出し、この重要度に応じた圧縮率で、対応する重要区間の画像信号を圧縮する。すなわち、重要度の高い場所で記録された情報ほど、圧縮時に、高品質を保って保存する。
【０２５８】
このようにすることで、例えば、役員会議室で行なわれた重要会議の記録映像を、他の会議室で行なわれた会議映像よりも、高画質で保存しておくというようなことができる。
【０２５９】
以上では、外部センサにより場所を検出する場合について説明したが、センサが人を判別するようにしてもよい。例えば、会議出席者に微弱無線発信機を取り付けると共に、会議室に無線受信機を取り付ける。そして、会議出席者が会議室に入室している期間を、前記無線受信機によって検知し、この期間だけを高画質で保存するように構成する。
【０２６０】
さらに、会議出席者ごとに異なる信号を前記微弱無線発信機によって発信するようにして、誰が入室しているかを識別することができるようにすれば、特定の人物が入室している期間だけを高画質で保存するように構成することもできる。
【０２６１】
また、単に物理的な場所、人名だけでなく、「ある会議に出席していた」、「ある人と一緒にいた」など、複数のセンサの検出結果を組み合せて得られる事象から、前記条件一致区間を特定するようにしてもよい。
【０２６２】
さらに、「扉の開閉」というような、単発的なセンサ入力信号（トリガ）を条件一致区間検出部３によって検出する場合には、トリガを検出した時点の所定時間前の時点を条件一致区間の開始点として検出し、該トリガを検出した時点の所定時間後の時点を条件一致区間の終了点として検出するように構成する。扉の開閉を検出するためには、扉に開閉検出センサを取り付けることで実施できる。
【０２６３】
［第７の実施の形態］
この第７の実施の形態は、条件一致区間検出部３が、ビデオカメラの動き（以下、カメラワークという）を検出する場合である。
【０２６４】
例えば、人物をズームアップで撮影しているような場合には、重要な画像を撮っていることが多く、カメラ２４がズームインしている期間の音声信号または画像信号を高音質／高画質で記憶したいことが多く、カメラがズームインしている期間の音声または画像信号を高音質／高画質で記憶したい場合がある。
【０２６５】
そこで、以下に説明する例では、同じ倍率で撮影している区間を条件一致区間として、その倍率と共に検出するようにする。そして、倍率の高い条件一致区間ほど重要な画像であるとして、重要度を定め、倍率に応じて高品質になるように、後の情報圧縮を行うようにする。これにより、倍率の高い、カメラ２４がズームアップしている区間の画像は、高品質に保たれる。
【０２６６】
以下に、この第７の実施の形態の場合の一例について説明する。
【０２６７】
この例の場合のビデオカメラ１７は、カメラの倍率として、１倍、５倍、１０倍の３つの倍率モードに設定でき、ズームリングの操作に応じて、カメラ操作情報として倍率を示す情報を出力する。このカメラ操作情報は、条件一致区間検出部３に供給される。上述したように、条件一致区間検出部３は、このカメラ操作情報から、カメラの倍率を同じ区間を条件一致区間とし、その倍率と共に検出する。
【０２６８】
すなわち、条件一致区間検出部３は、カメラワークを検出する場合においては、カメラ操作信号の倍率の変化点の時刻を条件一致区間の開始点として検出し、次にカメラ操作信号の倍率が変化した時刻を条件一致区間の終了点として検出する。したがって、この条件一致区間の終了点は、次の条件一致区間の開始点と同一時刻である。この条件一致区間の情報と、倍率の情報とは、対応関係記憶部５に、当該条件一致区間の画像情報および音声情報の時系列情報記憶部の記憶アドレスと対応つけて記憶される。
【０２６９】
図３４は、カメラ倍率と、条件一致区間の関係を示す図である。この図３１において、Ｔ０，Ｔ１，Ｔ２，Ｔ３はそれぞれ条件一致区間である。倍率が１倍である区間Ｔ０，Ｔ３は、ズームリングが操作されないノーマル倍率の区間である。図３１の例では、時点ｔ１でズームリングが操作されて、ズームイン操作開始となり、その始め区間Ｔ１は、倍率が５倍であり、時点ｔ２で倍率が１０倍にアップし、時点ｔ３で倍率が１倍となって、ズームイン操作終了となる。
【０２７０】
この実施の形態では、圧縮部６では、カメラの倍率の、１倍、５倍、１０倍の３つの倍率モードに対して、それぞれの倍率モード時の画像間引き圧縮率を、１フレーム／秒、５フレーム／秒、１０フレーム／秒、に設定している。
【０２７１】
前述の実施の形態と同様に、画像情報が時系列情報記憶部４に記録されてからの経過時間が、所定の時間以上になった場合に、対応関係記憶部５に時刻情報記憶部から圧縮開始指示が与えられて実行される。このとき、対応関係記憶部５は、それぞれの重要区間としての条件一致区間の情報と、倍率と、時系列情報記憶部の記憶アドレスに組を、圧縮部６に送る。圧縮部６は、取得した倍率の情報から、この場合、図３４の区間Ｔ１が重要区間であるばあいには、５フレーム／秒で、区間Ｔ２が重要区間である場合には１０フレーム／秒で、それ以外の区間Ｔ０，Ｔ３が重要区間である場合には１フレーム／秒で圧縮する。
【０２７２】
そして、前述の実施の形態と同様の処理により、重要区間と、重要区間以外の区間とで、圧縮率あるいは圧縮方法を変えて、前記時系列情報記憶部４に記憶されている画像情報を圧縮する。
【０２７３】
以上のようにして、この実施の形態の場合には、カメラワークまたはカメラワークの変化に応じて、重要場面の画像信号と、重要でない場面の画像信号の圧縮率を変えて情報を保存することができる。
【０２７４】
なお、条件一致区間検出部３は、カメラの操作情報からカメラワークまたはその変化を検知する場合に限らず、カメラからの画像信号から検知するようにすることもできる。
【０２７５】
カメラからの画像信号から検出することができるカメラワークとしては、パンニング、チルティング、ズーミング、ブーミング、トリミング、ドリーイング、カット開始、カット終了などがあり、これらのカメラワークを検出する際には、入力される画像信号を画像認識して検出するようにする。また、これらのカメラワークも、特開平６−１６５００９号公報や特開平７−２４５７５４号公報に記載されているように、カメラ操作に使用したボタンなどの操作信号を検出しても、もちろんよい。
【０２７６】
［第８の実施の形態］
この第８の実施の形態では、時系列情報記憶部４に記憶された音声情報または画像情報が、ユーザによって頻繁に参照（アクセス）されたか否かという参照状態に基づいて、圧縮率または圧縮方法を変えて情報を圧縮する場合について説明する。一般に、頻繁に参照された情報は重要な情報であることから、頻繁に参照された区間の画像情報は高画質で保存し、参照される頻度が低かった画像情報は高圧縮率で圧縮し、少ない情報量で保存するようにする。
【０２７７】
記憶媒体に蓄積された音声情報または画像情報が、ユーザによってどれくらいの頻繁でアクセスされたかという参照状態を記憶しておき、その参照状態に基づいて、圧縮率を変更する。このために、第８の実施の形態では、ユーザからの参照頻度を記憶するための参照状態記憶部を備えている。
【０２７８】
この第８の実施の形態では、前記参照状態記憶手段は、前記時系列情報記憶手段４に記憶された画像情報の、ユーザによって映像再生された区間と、その区間の映像再生された回数とを、情報の参照状態として記憶する。
【０２７９】
図３５は、時系列情報記憶部４の記憶状態を説明した図である。図において、区間Ｔ２、Ｔ４、Ｔ６は、前記ユーザ入力検出部１１が検出したユーザ入力情報入力時点と前記条件一致区間検出部３が検出した条件一致区間とによって定められる重要区間であり、その外の区間Ｔ１、Ｔ３、Ｔ５、Ｔ７は、重要区間以外の区間である。これらの区間に関する情報は、前述したように対応関係記憶部５に記憶されている。
【０２８０】
図３６は、参照状態記憶部の記憶状態の例を示した図である。参照状態記憶部は、時系列情報記憶部４に画像情報が記憶されてから現時点までに、何回、その区間Ｔ１〜Ｔ７の画像情報がアクセスされたか、すなわち、何回その区間の映像が再生されたかを記憶している。
【０２８１】
そして、画像情報が時系列情報記憶部４に記録されてからの経過時間（すなわち情報保存時間）が、所定の時間以上になった場合に、時刻情報記憶部７から圧縮開始指示が発生すると、参照状態記憶部は、図３６の参照回数のテーブルの情報を圧縮部６に送る。圧縮部６は、図３７に示される圧縮率設定テーブルを備える。この圧縮率設定テーブルは、参照回数に対して、条件一致区間および条件一致区間以外の区間のそれぞれに設定される圧縮率の対応テーブルである。
【０２８２】
圧縮部６は、図３７の圧縮率設定テーブルを参照して、各区間毎の画像圧縮率を決定し、圧縮部６は、この圧縮率で時系列情報記憶部４に記憶された画像情報を圧縮する。
【０２８３】
例えば、図３５の区間Ｔ１は、重要区間以外の区間であり、図３６のテーブルで示されるように参照された回数が０回であるので、図３７の圧縮率設定テーブルに基づいて、画像圧縮率は９０％に設定される。すなわち、区間Ｔ１は、重要区間以外の区間であり、かつ、ユーザからアクセスされたことがない区間であるので、あまり重要でない区間であることがわかる。したがって、圧縮時に９０％の高圧縮率で圧縮する。
【０２８４】
一方、図３５の区間Ｔ６は、重要区間であり、図３６のテーブルで示されるように参照された回数が５回であるので、図３７の圧縮率設定テーブルに基づいて、画像圧縮率は１０％に設定される。すなわち、区間Ｔ６は、重要区間であり、かつ、ユーザから５回もアクセスされた区間であるので、非常に重要な区間であると見なせる。したがって、圧縮時には、ほとんど圧縮を行なわず、高画質で画像情報を保存する。
【０２８５】
この実施の形態では、参照状態記憶部は、区間と参照回数の関係をテーブルの形式で記憶したが、もちろん、リストやスタック等、他の形式で記憶しても構わない。また、圧縮率設定テーブルの中の数値は、ユーザが設定できるようにしてもよい。
【０２８６】
さらに、この実施の形態では、図３６が示すように、参照状態記憶部は、各区間とその区間の参照回数とを対応させて記憶するようになっているが、この情報蓄積再生装置では、表示部１０に表示された複数のユーザ入力情報の中の１つをユーザがペンを用いて指定することにより、時系列情報記憶部４に記憶された音声または画像情報を部分的に再生するようになっているので、前記参照状態記憶部は、各ユーザ入力情報と、そのユーザ入力情報が再生のために指定された回数とを対応させて記憶するようにしてもよい。すなわち、頻繁に指定されたユーザ入力情報は重要な情報であることから、頻繁に参照されたユーザ入力情報に対応した画像情報は高画質で保存し、参照される頻度が低かったユーザ入力情報に対応した画像情報は高圧縮率で圧縮し少ない情報量で保存するようにする。
【０２８７】
［第９の実施の形態］
第９の実施の形態は、ユーザ入力検出部１１の検出結果に基づいてユーザ入力情報の重要度を決定し、この重要度に基づき圧縮率を部分的に変更する場合である。
【０２８８】
重要とみなされるユーザ入力情報としては、赤色で書かれたペン筆跡情報、丸で囲まれた文字列、アンダーラインの引かれた文字列、などがある。これらのユーザ入力情報の特徴を予め登録しておき、任意のタイミングで入力されるユーザ入力情報の特徴と比較して、いずれのユーザ入力情報であるかを識別する。そして、その識別結果を対応関係記憶部５に記憶するようにする。
【０２８９】
すなわち、この第９の実施の形態においては、対応関係記憶部５は、ユーザが入力したユーザ入力情報と、該ユーザ入力情報の重要度と、このユーザ入力情報の画面上で表示位置を特定する情報（例えば、Ｘ−Ｙ座標軸上の絶対座標や相対座標など）と、このユーザ入力情報が入力された時に入力された音声情報または画像情報の、時系列情報記憶部４内での記憶アドレスとを対応付けて記憶する構成となっている。
【０２９０】
この第９の実施の形態の動作を、赤色で書かれたペン筆跡情報を重要ユーザ入力情報とする場合の例について、図３８を参照しながら説明する。この例では、入力ペンとして、赤色入力ペンおよび黒色入力ペンの２種類が使用できる。この場合には、入力ペンの色と、ユーザ入力情報の重要度とを対応させて記憶するメモリ（図示せず）が備わっている。
【０２９１】
ユーザ入力検出部１１によってペン筆跡情報の入力が検出されると、ユーザ入力情報検出部１１において、その入力されたペン筆跡情報が赤色かどうかが調べられる。
【０２９２】
そして、入力されたペン筆跡情報が、黒色だった場合には、図３８において、時点ｔ１から時点ｔ２までの区間の画像信号を１０フレーム／秒で画像情報を保存するように設定し、赤色であった場合には３０フレーム／秒で当該区間の画像情報を保存するように設定する。すなわち、圧縮処理時に、ペン筆跡が赤色であるときは、黒色であったときに比べて、より高画質で画像情報を保存する。
【０２９３】
なお、上記の例において、黒色だった場合には、時点ｔ１から時点ｔ２までの区間を１０フレーム／秒で保存するように設定し、赤色であった場合には１つ前の発言開始点ｔ０から時点ｔ２までの区間を１０フレーム／秒で保存するようにしてもよい。すなわち、この場合は、ユーザ入力情報の重要度に応じて、高画質保存区間の長さを変化させるようにする。
【０２９４】
以上の説明では、入力ペンの色と、ユーザ入力情報の重要度とを予め対応させて記憶する構成である場合について説明したが、この第９の実施の形態においては、これに限られず、ユーザ入力情報の重要度を自動的に決定するようにすることもできる。ここでは、音声情報または画像情報の記録期間内に入力されたユーザ入力情報の入力個数、入力頻度、入力パターンを、ユーザ入力情報の種類毎に検出して、この検出結果に基づいてユーザ入力情報の重要度を自動的に決定する場合について説明する。
【０２９５】
例えば、音声情報または画像情報が記録されている間に、青色で書かれたペン筆跡情報の個数が３０００個、黒色で書かれたペン筆跡情報の個数が１２０個であった場合に、青色で書かれたペン筆跡情報の個数と黒色で書かれたペン筆跡情報の個数とを比較して、数の少ないほうのペン筆跡情報を重要ユーザ入力情報とする。
【０２９６】
さらに、青色で書かれたペン筆跡情報の個数が３００個、黒色で書かれたペン筆跡情報の個数が１２０個、赤色で書かれたペン筆跡情報の個数が３０個であった場合には、重要度が高い順に、赤色、黒色、青色となるようにする。
【０２９７】
例えば、青色ペン、黒色ペン、赤色ペンの筆跡情報の入力個数が、それぞれ、３０００個、１００個、３０個であった場合には、画像の圧縮率を３０００：１２０：３０、すなわち、１０：４：１の比になるように設定して、圧縮処理を実行するようにする。なお、音声情報または画像情報の記録時に決定されたユーザ入力情報の重要度は、図３９のフローチャートに示す動作により、記憶メモリに記憶され、音声情報および画像情報の圧縮時に参照される。
【０２９８】
図３９のフローチャートについて説明する。すなわち、まず、ステップＳ９００においては、ペン筆跡情報の入力があるか否か判断され、ペン筆跡情報の入力が検知されると、次のステップＳ９０１に進む。ステップＳ９０１では、検出されたユーザ入力情報としてのペン筆跡情報が対応関係記憶部５と、表示部１０とに出力される。次にステップＳ９０２に進み、入力されたペン筆跡情報についてのペンの色を判別して、ペンの色ごとにペン筆跡情報の個数をカウント値をインクリメントする。次に、ステップＳ９０３では、会議情報のすべての記録が終了したか否か判断し、終了していなければ、ステップＳ９００に戻る。終了していれば、ステップＳ９０４に進み、前述したぺンの色毎の圧縮率を算出し、その算出結果を記憶メモリに記憶するようにする。
【０２９９】
入力ペンの色と、ユーザ入力情報の重要度とを予め対応させて記憶していた場合には、普段使用しているペンの色とは違うペンを主に使用した際に、筆記者の予期した画質／音質とは異なる圧縮率あるいは圧縮方法で音声情報または画像情報が記録されてしまうという問題があるが、上述したように、ユーザ入力情報の入力個数、入力頻度、入力パターンに基づいてユーザ入力情報の重要度を自動的に決定した場合には、普段とは違う色のペンを主に使用した際にでも、筆記者が予期した圧縮率または圧縮方法で音声情報または画像情報が記録されるという効果がある。
【０３００】
さらに、ユーザ入力情報の入力個数、入力頻度、入力パターンに基づいてユーザ入力情報の重要度を自動的に決定した場合には、予め重要度を登録していないユーザ入力情報が入力された場合でも、ユーザ入力情報の入力個数、入力パターンに基づいて、ユーザ入力情報の重要度を決定することもできる。例えば、重要度を登録していない色のペンが使用された場合にでも、この色のペンのユーザ入力情報の重要度を決定することができるという効果がある。
【０３０１】
［第１０の実施の形態］
以上の説明では、音声情報または画像情報が時系列情報記憶部４に記録されてからの経過時間（すなわち情報保存時間）が、所定の時間以上になった場合に圧縮処理を開始するようにしたが、この第１０の実施の形態では、時系列情報記憶部４における空き領域がある値以下になったと認識されたタイミング、または、時系列情報記憶部４における記憶量がある値以上になったと認識されたタイミングで、前記圧縮処理を開始するようにする。
【０３０２】
したがって、記憶時の処理動作は、前述の各実施の形態と同様であるが、情報圧縮時の動作が異なる。
【０３０３】
図４０は、第１０の実施の形態における情報圧縮時の動作を、その際の各種情報の流れ、および、各部の出力の流れと共に説明する図である。この実施の形態の場合、情報蓄積装置は記憶量検出手段１４を備えており、この記憶量検出手段１４は、画像情報が予め登録した記憶容量を超えて記録されたことを検出した場合に、前記対応関係記憶部５に対し圧縮処理開始指示を出力する。この圧縮処理開始指示の後の動作については、前述の各実施の形態と同様に行うことができる。
【０３０４】
図４１は、第１０の実施の形態における記憶量検出部のフローチャートである。ステップＳ１０００において、情報記憶量が所定の量を超えたことが検出された場合には、ステップＳ１００１に進んで、対応関係記憶部５に、圧縮処理開始指示を出力する。例えば、記憶媒体の記憶容量の９０％を超えて情報を記録しようとした時に前記圧縮処理を実行するように、記憶量検出部（図示せず）に設定しておいたとする。この場合、記憶量が記憶媒体の９０％に達した時に、前記記憶量検出部は、圧縮処理開始指示を出力する。
【０３０５】
記憶量検出部１４から圧縮開始指示を受信した対応関係記憶部５は、前記ユーザ入力検出部１１が検出したユーザ入力情報入力時点と前記条件一致区間検出部３とによって定められる重要区間のそれぞれと、それぞれの重要区間に対応して前記時系列情報記憶部４に記憶されている画像情報の、前記時系列情報記憶部４における記憶アドレスとを圧縮部６に出力し、前記圧縮部６は、前記時系列情報記憶部４に蓄積された画像情報のデータ圧縮を行なう。もちろん、この場合、新たな画像信号を記録しながら、圧縮処理をバックグラウンドで実行しても構わない。
【０３０６】
また、この実施の形態の場合、画像情報のデータ量が予め定められた記憶容量に収まるように、圧縮率あるいは圧縮方式を設定するようにしてもよい。例えば、記憶媒体の記憶容量の９０％を超えて情報を記録しようとしたときに、前記圧縮処理によって、記憶媒体の使用量が３０％にまで減少するように設定しておく。この設定値から、重要区間および重要区間以外の区間の圧縮率を算出するように構成する。
【０３０７】
例えば、時系列情報記憶部４に非圧縮画像が１００００フレーム分、蓄積されていたとする。この１００００フレームの内分けは、重要区間が２０００フレーム、重要区間以外の区間が８０００フレームとする。
【０３０８】
このときに、３０００フレームにまで画像情報を減らすようにフレーム間引き圧縮処理を施す場合について説明する。また、条件として、重要区間の圧縮率と重要区間以外の区間の圧縮率の比が、１：１０になるように予め定めてあったとする。
【０３０９】
この場合、重要区間の圧縮率をａとすれば、重要区間以外の区間の圧縮率は１０ａである。
【０３１０】
２０００ａ＋８０００×１０ａ＝３０００
を満たす圧縮率ａは０．０３６６であるから、重要区間の圧縮率と重要区間以外の区間の圧縮率は、それぞれ、３．６６％と３６．６％となる。
【０３１１】
時系列情報記憶部４に記憶されている非圧縮画像１００００フレームを、重要区間と、重要区間以外の区間とで分けて、それぞれの圧縮率でフレーム間引き圧縮を施せば、所望の３０００フレームにまで画像情報を減らすことができる。
【０３１２】
［第１１の実施の形態］
公知の技術として、記録時に情報の取捨選択を行ない、重要と認識された情報のみを記録したり、圧縮率を変化させて記録する装置が知られている。たとえば、特開平７−１２９１８７号公報には、音声取り込みキーを押した時の前後の音声を一定時間分だけ記録する装置が記載されている。また、特開平６−３４３１４６号公報には、ユーザ入力があったタイミングで一定時間だけ映像を記録する方法が記載されている。
【０３１３】
しかしながら、特開平７−１２９１８７号公報記載の装置や特開平６−３４３１４６号公報記載の装置のように、記録時に情報の取捨選択を行なう方法では、例えば、会議の中で最も数多く発言した人を特定し、この特定した人の発言部分の音声情報または画像情報のみを高品質で保存するといったようなことや、ユーザが指定した時間長になるように高い重要度を持ったシーンから順に抽出してダイジェストを作成するといったようなことができない。すなわち、音声情報または画像情報の記録終了後に初めて得られる情報、または、記録しながらでは得られない情報を元にして、音声情報または画像情報の圧縮を行なうことができないという問題があった。
【０３１４】
この実施の形態では、音声情報または画像情報の記録終了後に初めて得られる情報に基づいて圧縮方法や圧縮率を設定する場合について説明する。
【０３１５】
例えば、会議の場面において、話者の発話が長く継続している場面は、連絡事項を伝達している場面であったり、まとまった意見を発言している場面であったり、議論のまとめを行なっている場面であったりと、重要な発言が述べられている場面であることが多い。そこで、１つの会議を撮影した後に、発言時間の長い場面から順に高い重要度を割り当てる。このとき、重要度の高い場面には低い圧縮率を割り当て、重要度の低い場面には高い圧縮率を割り当てる。
【０３１６】
そして、前記ユーザ入力検出部１１が検出したユーザ入力情報入力時点と前記条件一致区間検出部３とによって定められる重要区間を、前記重要度に応じた圧縮率で圧縮する。また、第４の実施の形態の場合と同様の処理によって、前記重要区間と、重要区間以外の区間とで、圧縮率または圧縮方法を変えて、前記時系列情報記憶部４に記憶されている画像情報を圧縮する。これによって、情報圧縮時には、長い発言部分を高音質／高画質で保存し、短い発言部分を高圧縮率で圧縮するようにする。
【０３１７】
また、他の例として、例えば、予め登録された音声キーワードが、会議の中でどの位の時間に渡って用いられたかを記憶しておき、使用時間の長いキーワードから順に高い重要度を割り当てるようにしてもよい。例えば、会議の場面においては、長時間議論された議論は重要な議論であることが多い。そこで、議論の内容を推定できるようなキーワードを予め登録しておき、そのキーワードを入力音声信号の中から検出するようにする。
【０３１８】
そして、特定のキーワードが長時間に渡って使用されたことを検出することにより、そのキーワードに対応した議論が長時間なされたと認識し、このキーワード出現区間を重要部分と見なす。情報圧縮時には、高い重要度を割り当てられた区間を高音質／高画質で保存し、重要度の低いその他の区間を高圧縮率で圧縮するようにする。
【０３１９】
［第１２の実施の形態］
以上に説明した第１の実施の形態〜第１１の実施の形態は、便宜上、ユーザ入力情報の入力が一人の記録者によりなされる場合を想定して行なってきたが、情報蓄積再生装置が内蔵するコンピュータがネットワークで接続されている場合や、複数の入力端末が情報蓄積再生装置に接続されている場合には、複数のユーザにより入力されたユーザ入力情報を合わせて検出するようにもできる。
【０３２０】
例えば、会議室に複数の会議参加者が集まり、各自が会議のメモをとっているような場合、各個人が入力するユーザ入力情報、および、ユーザ入力情報が入力されるタイミングはまちまちである。特開平６−３４３１４６号公報には、会議参加者毎に別々に音声を記録／保持する方法が記載されているが、カメラ１台とマイク１台で会議室の様子を撮影しているような場合には、各個人が別々に音声または画像信号の記録の複製を保持することは冗長である。
【０３２１】
複数のユーザにより入力されたユーザ入力情報を合わせてユーザ入力情報検出部１１によって検出するようにし、入力される音声または画像信号を同一の時系列情報記憶部４に記憶するように構成することで、ユーザ個別に音声または画像信号を蓄積する必要がなくなり、記憶容量の節約ができる。
【０３２２】
なお、検出したユーザ入力情報は、各記録者毎に、別々の対応関係記憶部５に記憶されてもよいし、同じ対応関係記憶部５に記憶されてもよい。
【０３２３】
図４２は、記録者Ａおよび記録者Ｂの２人の記録者が存在しており、別々のタイミングでペン筆跡情報を入力した場合の例を説明した図である。すなわち、対話が活発な区間（時点ｔ０から時点ｔ１の間）において記録者Ａがペン入力をしたので、当該時点ｔ０から時点ｔ１の区間の画像情報は、１０フレーム／秒で圧縮されている。また、対話が活発な区間（時点ｔ２から時点ｔ３の間）において記録者Ｂがペン入力したので、当該時点ｔ２から時点ｔ３の区間の画像情報は、１０フレーム／秒で圧縮されている。そして、これらの区間以外の区間、時点ｔ１から時点ｔ２および時点ｔ３から時点ｔ４の画像情報は、１フレーム／秒で圧縮されている。
【０３２４】
この場合、図４２のように、入力される画像信号は、記録者Ａと記録者Ｂとで、同一の時系列情報記憶部４に記憶される。このように、ユーザ個別に音声信号または画像信号を蓄積する必要がなくなる。さらに、記録者あるいは入力端末を識別することによって、ユーザ入力情報の重要度を決定するようにすれば、この重要度に基づき圧縮率を部分的に変更することも可能である。
【０３２５】
そして、そのように、記録者あるいは入力端末を識別するようにした場合には、音声信号または画像信号を再生する場合に、記録者毎に間引き箇所を変えて再生することも可能となる。例えば、記録者Ａが再生要求を発行した場合には、図４２の時点ｔ０から時点ｔ１の区間は記憶された速度で普通速度再生し、それ以外の区間は倍速再生する。また、記録者Ｂが再生要求を発行した場合には、時点ｔ２から時点ｔ３の区間は記憶された速度で普通速度再生し、それ以外の区間は倍速再生する。
【０３２６】
［第１３の実施の形態］
以上の実施の形態では、条件一致区間検出部３によって条件一致区間を検出し、その検出結果とユーザ入力情報検出部１１が検出したユーザ入力情報とから時系列情報の重要区間を決定し、この重要区間に基づいて、圧縮部６は、時系列情報記憶部４に記憶された時系列情報を圧縮するようにした。
【０３２７】
これに対して、この第１３の実施の形態では、ユーザ入力情報検出部１１が検出したユーザ入力情報のみから時系列情報の重要区間を決定し、この重要区間に基づいて、圧縮部６は、時系列情報記憶部４に記憶された時系列情報を圧縮するようにする。すなわち、この例の場合の情報蓄積再生装置は、条件一致区間検出部３を備えない。
【０３２８】
図４３は、この第１３の実施の形態における記録時の動作を、その際の各種情報の流れ、および、各部の出力の流れと共に説明する図である。
【０３２９】
すなわち、この第１３の実施の形態の場合には、会議が始まると、音声信号および画像信号が時系列情報記憶部４に順次に記憶される。時刻情報記憶部７は、時系列情報記憶部４からの記憶開始の情報を受けて、記憶開始時刻を記憶する。そして、ユーザ入力情報検出部１１によりユーザ入力情報が検出されると、そのユーザ入力情報、例えばペン筆跡情報が表示部１０に送られ、表示画面２１に表示される。
【０３３０】
また、ユーザ入力情報は、対応関係記憶部５に送られる。対応関係記憶部５は、当該ユーザ入力情報を記憶するとともに、重要区間を決定し、その重要区間の情報を時系列情報記憶部４に送出する。
【０３３１】
この第１３の実施の形態においては、図４４に示すように、ユーザ入力情報が検出された時点（図ではペン筆跡入力時点）の所定時間ＴＢ前の時点ｔ１を重要区間の開始点とし、前記ユーザ入力情報が検出された時点の所定時間ＴＦ後の時点ｔ２を重要区間の終了点とする。すなわち、時点ｔ１から時点ｔ２が重要区間として特定されることになる。
【０３３２】
この例の場合、例えば、時間ＴＢは３分とされ、時間ＴＦは１分とされる。なお、この、重要区間の開始点と終了点を定める時間ＴＢと時間ＴＦは、ユーザが自由に変更できるようにしてもよい。
【０３３３】
重要区間情報を対応関係記憶部５から取得した時系列情報記憶部４は、時点ｔ１および時点ｔ２に対応する、時系列情報記憶部４に記憶された画像情報の記憶アドレスａ１およびアドレスａ２を対応関係記憶部５に返送する。対応関係記憶部５は、この記憶アドレスａ１，ａ２を、前記ユーザ入力情報に対応付けて記憶する。
【０３３４】
図４５は、第１３の実施の形態における圧縮時の動作を、その際の各種情報の流れ、および、各部の出力の流れと共に説明する図である。
【０３３５】
会議情報の記憶時から所定時間の経過を時刻情報記憶部７で検知すると、時刻情報記憶部７は、圧縮開始指示を対応関係記憶部５に出力する。圧縮開始指示を受けた対応関係記憶部５は、重要区間情報として時系列情報記憶部４の記憶アドレスａ１，ａ２を圧縮部６に送る。圧縮部６は、この重要区間の画像情報、すなわち、時点ｔ１から時点ｔ２に時系列情報記憶部４に記憶された画像情報（アドレスａ１からアドレスａ２）を、他の区間とは異なる圧縮率あるいは圧縮方法で圧縮する。
【０３３６】
この例の場合にも、重要区間の画像情報は、圧縮処理を施したときにでも高品質に保たれるようにされている。すなわち、第１の実施の形態と同様にして、圧縮部６は、例えば連続した１０フレームの画像列を１つの単位部分画像列として扱い、前記重要区間以外の区間の画像情報は、１０フレームの中の先頭の１フレームだけを残して、他のフレームの情報を破棄するという間引き圧縮処理を行ない、一方、前記重要区間では、画像情報についての前記の間引き処理を行なわず、１０フレーム全部を記憶するようにする。
【０３３７】
［第１４の実施の形態］
以上に説明した情報蓄積再生装置は、表示画面に表示されたユーザ入力情報の１つを指定することにより、その指定されたユーザ入力情報に対応する音声情報または画像情報を検索することができる装置であり、記録された時系列情報とユーザ入力情報から、会議のポイントになる部分を収集し、会議議事録を作成するというような場面で利用することができる。
【０３３８】
しかし、ユーザ入力情報のすべてが同じ重要度を有しているわけではなく、また、ユーザ入力情報に対応して記録されている時系列情報も、同様に同じ重要度を備えているわけではない。したがって、検索のための手がかりとして、単にユーザ入力情報のみを表示するだけでは、そのうちのどのユーザ入力情報がどのような意義や重要度を持っているか、また、それに対応して蓄積されている時系列情報がどのようなものかを知る手がかりがない。
【０３３９】
このため、表示画面にユーザ入力情報のみを表示した時には、すべてのユーザ入力情報について、対応する音声情報または画像情報をすべて再生しないと、各ユーザ入力情報に対応する音声情報または画像情報のそれぞれがどのような意義や重要度をもっているかを特定することができない。
【０３４０】
この第１４の実施の形態では、ユーザ入力情報と、ユーザ入力情報に対応して記憶されている音声情報または画像情報の時系列情報記憶部４における圧縮状態についての情報とを、表示画面上で対応させて表示するようにする。ユーザは、この表示画面から、圧縮率が低い情報を、ユーザ入力情報を指定することによって選択することにより、主要な会議情報を抽出した会議議事録が作成可能となる。すなわち、高品質で記憶されている情報は、通常、重要部分として検出した情報であるので、記録された音声情報または画像情報の圧縮状態を見ることによって、情報の意義や重要度を知ることができる。
【０３４１】
この第１４の実施の形態では、情報蓄積再生装置において、表示部１０が、ペン筆跡情報が検出されたときに入力された画像情報の、時系列情報記憶部４における圧縮状態を、前記ペン筆跡情報の表示位置によって特定される表示位置に表示する例について説明する。
【０３４２】
すなわち、この第１４の実施の形態においては、表示部１０は、図４６に示すように、時系列情報記憶部４に記憶された画像情報が、フルモーション動画像（３０フレーム／秒）で保存されている部分の時間の長さと、記録画像の圧縮率を示す語句（”フルモーション”）とを表示するようにする。このように表示画面２１にフルモーション動画像の記録時間が表示されているので、再生する時に、その場面を見るために（その記録を再生するために）、記録の先頭時点から、どの位の時間が必要なのかをユーザが簡単に知ることができる。また、圧縮率を示す語句が表示されているので、検索者が必要とする時系列情報かどうかが簡単にわかるという利点がある。
【０３４３】
図４６の例においては、ペン筆跡情報はＰａとＰｂの２つが存在する。１つのペン筆跡情報（図４６の、「ａｂｃｄｅ」または「ｘｙｚ」）を囲む最小矩形（図４６で破線で示すクリッピング枠）Ｗを算出し、そのクリッピング枠Ｗの右端から、距離ｄだけ右方向に離れ、かつ、クリッピング枠Ｗの半分の高さの位置に並ぶように、それぞれのペン筆跡情報Ｐａ，Ｐｂに対応して記憶されている画像情報の、時系列情報記憶部４における圧縮状態情報を表示している。圧縮状態情報としては、この他にも、記憶時刻、圧縮率または間欠記録の時間間隔などを表示してもよい。
【０３４４】
この実施の形態では、図４６で示されるように、圧縮率を示す語句を左右括弧で囲み、ペン筆跡情報Ｐａ，Ｐｂの右端に表示するようにしたが、その表示位置はペン筆跡情報Ｐａ，Ｐｂの右端に限られない。すなわち、各ペン筆跡情報Ｐａ，Ｐｂと、圧縮状態情報とが対応していることを、表示上明らかにわかるように表示すればよい。例えば、ペン筆跡情報Ｐａ，Ｐｂに隣接した上下左右いずれかの位置に圧縮状態情報を表示したり、参照番号のみをペン筆跡情報Ｐａ，Ｐｂに隣接した位置に表示し、脚注や余白に、参照番号と圧縮状態情報とを表示してもよい。
【０３４５】
図４７は、この実施の形態における情報圧縮時の動作を、その際の各種情報の流れ、および、各部の出力の流れと共に説明する図である。図４７に示されるように、圧縮時に、圧縮部６から出力された圧縮状態情報を表示部１０に出力することで、ユーザ筆跡情報と、それぞれのユーザ筆跡情報に対応して記憶されている画像情報の時系列情報記憶部４における圧縮状態情報とを、表示画面上で対応させて表示するようにしている。
【０３４６】
また、この第１４の実施の形態においては、前述した第３の実施の形態の説明で述べたように、時系列情報記憶部４に記憶されてからの経過時間に応じ、画像情報または音声情報を段階的に圧縮するような場合には、圧縮率に応じてユーザ入力情報の表示を随時更新するようにすることもできる。
【０３４７】
このようにする場合の具体的な処理について、次に説明する。図４８は、この例の場合において、対応関係記憶部５に記憶された圧縮状態情報を説明する図であり、対応関係記憶部５には、図９に示した情報の他に、各ユーザ入力情報としてのペン筆跡に関する圧縮状態情報が記憶されている。この圧縮状態情報としては、この例では、「フルモーション」（間引き無し）を示す情報と、その重要区間の時間長とが記憶される。
【０３４８】
なお、圧縮状態情報としては、例えば、音声情報または画像情報の記憶時間、フレーム内圧縮の圧縮率、フレーム間圧縮の圧縮率、間欠記録の時間間隔、色情報間引き率、輝度情報間引き率などを用いることもできる。
【０３４９】
図４９および図５０は、この例の場合の対応関係記憶部５の処理ルーチンを示すフローチャートである。図１０および図１１に示した第１の実施の形態の場合の対応関係記憶部５の処理ルーチンと比較すると、ステップＳ１０１０〜ステップＳ１０１２は、ステップＳ３００〜ステップＳ３０２と、まったく同様である。また、ステップＳ１０１４は、ステップＳ３０４に対応し、ステップＳ１０１１〜ステップ１０１３の部分は、ステップＳ３０６〜３０９と、まったく同様である。
【０３５０】
この例の場合には、図１０のステップＳ３０３に対応するステップＳ１０１３の対応付け記憶処理の部分と、ステップＳ３０５に対応するステップＳ１０１５〜１０１７の圧縮開始指示があったときの処理が異なる。すなわち、ステップＳ１０１３においては、対応関係記憶部５には、ユーザ入力情報と、ユーザ入力情報の表示位置の情報と、重要区間の時系列情報記憶部４内の記憶アドレスと、その区間の圧縮状態情報とを対応付けて記憶する。
【０３５１】
また、時刻情報記憶部７から圧縮開始指示があったときには、ステップＳ１０１５において圧縮状態情報を更新する。そして、ステップＳ１０１６に進み、圧縮部６に重要区間情報と、各重要区間に対応した時系列情報記憶部４内の記憶アドレスと、圧縮状態情報とを出力する。そして、ステップＳ１０１７に進み、表示部１０により、表示画面２１にユーザ入力情報と、更新された圧縮状態情報とを、前述の図４６に示したように表示するものである。
【０３５２】
なお、以上の例では、ユーザ入力情報の表示位置に対応した位置に圧縮状態情報を表示する場合について説明したが、圧縮状態に応じて、対応するユーザ入力情報の表示書式を変えて表示するようにしてもよい。
【０３５３】
ここでは、説明を分かりやすくするために、ユーザ入力情報はキーボードから入力された文字情報のみとする。この場合、表示部１０は、キーボードから入力された文字列情報を、その文字列情報が入力されたとき入力された画像情報の、時系列情報記憶部４における圧縮状態に応じた文字書式で表示場合について説明する。
【０３５４】
図５１に示す例は、圧縮状態に応じて表示される文字の領域を異なる表示色で表示するようにする場合である。例えば、当該文字が入力されたときに入力された画像情報の時系列情報記憶部４における圧縮状態がフルモーション動画像（３０ｆ／ｓ；３０フレーム／秒）で記憶されている場合には、その文字を含む矩形領域Ｇａは、第１の表示色例えば青色で表示する。また、当該文字が入力されたときに入力された画像情報が間引き圧縮（例えば１０ｆ／ｓ；１０フレーム／秒）されて時系列情報記憶部４に記憶されている場合には、その文字を含む矩形領域Ｇｂは、第２の表示色例えば緑色で表示する。
【０３５５】
図５１において、INDXは、各色表示に対応する圧縮状態をユーザに知らせるためのインデックスである。この場合、予め圧縮状態に対応した色は、テーブル（図示せず）に設定しておくようにする。このテーブルの色は、ユーザが変更可能とすることができる。
【０３５６】
文字表示書式としては、色の他にも、文字フォント、文字サイズ、アンダーライン、網かけなどを圧縮状態毎に設定可能としてもよい。また、行間隔、字間、インデント幅（タブ幅）など、レイアウトに関する属性を圧縮状態に応じて変更してもよい。例えば、キーボードから入力された文字列を、圧縮状態に応じたインデント幅で行頭を自動的にずらして表示するといったことができる。また、文字表示書式以外の表示書式を設定してもよく、ユーザ入力情報がペン筆跡情報の場合には、線種、太さなどを圧縮状態に応じて変更可能としてもよい。
【０３５７】
さらに、通常は圧縮状態情報を表示せず、ユーザの要求があった場合にのみ、表示するようにしてもよい。例えば、図５２に示すように、マウスポインタを任意の文字列情報の表示の上に一定時間以上静止させることで、その文字列情報（ユーザ入力情報）を指定させるようにし、この指定されたタイミングで、指定された文字列情報に対応して時系列情報記憶部４に記憶されている画像情報の圧縮状態を吹き出し表示ｗｄにより表示するようにすることができる。
【０３５８】
また、通常は非表示であった圧縮状態情報を表示する場合に、ユーザ入力情報の指定を必要としない方法であってもよい。例えば、表示されているページに含まれている圧縮状態情報を、すべて表示するためのボタンを備えてもよい。さらに、表示されているページに表示されている圧縮状態情報をすべて非表示にするためのボタンを備えてもよい。
【０３５９】
以上説明した、第１の実施の形態から第１４の実施の形態は、各実施の形態の説明中に明記したほかにも、適宜組み合わせて実施することが可能である。
【０３６０】
以上説明した実施の形態からは、次に示すような効果が得られる。
【０３６１】
（１）ユーザ入力情報検出部がユーザから入力されるペン筆跡などのユーザ入力情報を検出し、このユーザ入力情報を検出したタイミングによって特定される区間情報に基づいて、圧縮率または間欠記録の時間間隔を変更して時系列情報記憶部に記憶された音声情報または画像情報を圧縮するように構成したことにより、音声情報または画像情報のうちの、重要部分のみを限られた蓄積媒体の中に数多く保存でき、かつ、重要部分以外の音声情報または画像情報であっても少ないデータ量で長時間保存できる効果がある。
【０３６２】
（２）また、ユーザ入力情報を検出した時点の近傍区間と、他の区間とで、圧縮率または間欠記録の時間間隔を変更して時系列情報記憶部に記憶された音声情報または画像情報を圧縮するように構成したことにより、音声情報または画像情報のうちの、重要部分のみを高品質で限られた蓄積媒体の中に数多く保存できる効果がある。
【０３６３】
（３）また、対応関係記憶部を備え、ユーザ入力情報によって定められる区間を示す区間情報と、当該区間情報に対応する音声情報または画像情報の時系列情報記憶部における記憶位置との対応関係を記憶するように構成したことにより、情報圧縮時において、ユーザ入力情報によって定められる区間と、当該区間に対応する音声情報または画像情報の時系列情報記憶部における記憶位置とを対応付けする処理が不要となり、音声情報または画像情報を圧縮する際のシステムの負荷を軽減できる効果がある。
【０３６４】
（４）また、ユーザ入力情報検出部がユーザから入力されるユーザ入力情報を検出し、このユーザ入力情報を検出したタイミングに基づいて、圧縮率または間欠記録の時間間隔を動的に変更して時系列情報記憶部に記憶された画像情報を圧縮するように構成したことにより、画像情報のうちの、特徴的な事象が起こっている重要部分のみを高画質で保存でき、かつ、重要部分以外の画像情報であっても少ないデータ量で長時間保存できる効果がある。
【０３６５】
（５）また、条件一致区間検出部を備え、条件一致区間検出部によって情報入力手段からの音声情報または画像情報が予め設定された所定の条件に合致する条件一致区間を検出するようし、ユーザ入力情報を検出したタイミングとこの条件一致区間とによって定められる区間と、他の区間とで、圧縮率または圧縮方式を変更して、時系列情報記憶部に記憶された音声情報または画像情報を圧縮するように構成したことにより、音声情報または画像情報のうちの、重要部分の最初から最後までを確実に高品質で保存できる効果がある。
【０３６６】
（６）また、条件一致区間検出部がセンサ情報に基づいて条件一致区間を検出し、この検出結果とユーザ入力情報検出部の検出結果とに基づいて、圧縮率または間欠記録の時間間隔を動的に変更して時系列情報記憶部に記憶された音声情報または画像情報を圧縮するように構成した場合には、音声信号または画像信号の状態変化の検出が困難な事象が起きた場合や、入力される音声信号または画像信号に含まれない情報に状態変化が起きた場合にでも、音声情報または画像情報のうちの、特徴的な事象が起こっている重要部分のみを限られた蓄積媒体の中に数多く保存でき、かつ、重要部分以外の音声情報または画像情報であっても少ないデータ量で長時間保存できる効果がある。
【０３６７】
（７）また、対応関係記憶部を備え、対応関係記憶部によって、ユーザ入力情報検出部で検出されたユーザ入力情報と条件一致区間検出部で検出された条件一致区間とから定められる区間を示す区間情報と、当該区間情報に対応する音声情報または画像情報の時系列情報記憶部における記憶位置との対応を記憶するように構成したことにより、情報圧縮時において、ユーザ入力情報が検出されたタイミングと条件一致区間とによって定められる区間と、当該区間に対応する音声情報または画像情報の時系列情報記憶部における記憶位置とを対応付けする処理が不要となり、音声情報または画像情報を圧縮する際のシステムの負荷を軽減できる効果がある。
【０３６８】
（８）また、条件一致区間検出部がセンサ情報に基づいて条件一致区間を検出し、この検出結果とユーザ入力情報検出部の検出結果とから定められる区間を示す区間情報を対応関係記憶部に記憶し、この区間情報に基づいて、圧縮率または間欠記録の時間間隔を動的に変更して時系列情報記憶部に記憶された音声情報または画像情報を圧縮するように構成した場合には、音声信号または画像信号の状態変化の検出が困難な事象が起きた場合や、入力される音声信号または画像信号に含まれない情報に状態変化が起きた場合にでも、音声情報または画像情報のうちの、特徴的な事象が起こっている重要部分のみを限られた蓄積媒体の中に数多く保存でき、さらに、音声情報または画像情報を圧縮する際のシステムの負荷を軽減できる効果がある。
【０３６９】
（９）また、ユーザ入力情報を検出したタイミングと条件一致区間検出部の検出結果とに基づいて、圧縮率または間欠記録の時間間隔を動的に変更して時系列情報記憶部に記憶された画像情報を圧縮するように構成した場合には、画像情報のうちの、特徴的な事象が起こっている重要部分のみを高画質で保存でき、かつ、重要部分以外の画像情報であっても少ないデータ量で長時間保存できる効果がある。
【０３７０】
（１０）また、任意のタイミングで記録者が入力したペンやキーボードによるユーザ入力情報を表示する表示部と、表示部に表示されたユーザ入力情報のうち１つを指定する指定部と、時系列情報記憶部に記憶された音声情報または画像情報のうち、前記指定部によって指定されたユーザ入力情報に対応して記憶されている部分の音声情報または画像情報を再生する再生部とを備えるように構成した場合には、記録者がメモをとるようにペンやキーボードで入力を行なうとともに音声または画像信号を記録しておけば、後で、入力されたメモを参照することにより音声または画像信号の再生したい箇所を容易に選択して再生することができる効果がある。
【０３７１】
（１１）また、ユーザ入力情報を表示する表示部と、表示部に表示されたユーザ入力情報のうち１つを指定する指定部と、この指定部によって指定されたユーザ入力情報に対応して記憶されている部分の音声情報または画像情報を再生する再生部と、条件一致区間検出部とを備えるように構成した場合には、指定されたユーザ入力情報に対応した音声情報または画像情報の、重要部分の最初から最後までを確実に再生できる効果がある。
【０３７２】
（１２）また、入力される音声信号の有無または音声信号レベルを条件一致区間検出部によって検出するように構成した場合には、音声が発せられている区間の音声または画像情報を、最初から最後まで高音質／高画質で保存でき、かつ、音声が発せられていない区間の音声または画像情報であっても少ないデータ量で保存でき、かつ、発言が始まった時点にまでさかのぼって再生を開始できる効果がある。
【０３７３】
（１３）また、入力される音声の発信者または発信者の交替を条件一致区間検出部によって検出するように構成した場合には、特定の発信者の音声または画像情報を、最初から最後まで高音質／高画質で保存でき、かつ、その他の発信者の音声情報または画像情報であっても少ないデータ量で保存でき、発信者が交替した時点にまでさかのぼって再生を開始できる効果がある。
【０３７４】
（１４）また、入力される音声情報の中に予め登録されたキーワードまたはパターンが出現したことを条件一致区間検出部によって検出するように構成した場合には、予め登録されたキーワードまたはパターンが頻繁に出現した期間に記憶された音声情報または画像情報を、最初から最後まで高音質／高画質で保存でき、かつ、その他の部分の音声または画像情報であっても少ないデータ量で保存でき、キーワードが頻繁に出現した重要期間の開始時点にまでさかのぼって再生を開始できる効果がある。
【０３７５】
（１５）また、入力される画像情報の中に予め登録された文字列または状態変化が出現したことを条件一致区間検出部によって検出するように構成した場合には、入力される画像情報に、予め登録された文字列が出現した場合や、輝度変化、色分布変化、画像認識結果によって得られる特徴量変化などの状態変化が起きた場合に、その事象が起きたタイミングの前後の音声情報または画像情報を高音質／高画質で保存でき、その他の部分の音声情報または画像情報であっても少ないデータ量で保存でき、かつ、その事象を検出した時点以前にまでさかのぼって再生を開始できる効果がある。
【０３７６】
（１６）また、音声信号または画像信号が入力された場所、または、センサ情報が検出された場所を条件一致区間検出部によって検出するように構成した場合には、重要な会議を特定の会議室で行なっているような場合、重要な場所で撮影された重要事象の音声または画像を、高音質／高画質で保存でき、かつ、それ以外の場所で撮影された音声または画像情報であっても少ないデータ量で保存でき、かつ、重要な場所で撮影された音声情報または画像情報の撮影開始時点にまでさかのぼって再生を開始できる効果がある。
【０３７７】
（１７）また、外部センサによって特定の人を検出するように構成した場合には、特定の人の音声情報または画像情報を、最初から最後まで高音質／高画質で保存でき、かつ、その他の人の音声または画像情報であっても少ないデータ量で保存でき、かつ、特定の人の音声情報または画像情報の最初から再生を開始できる効果がある。
【０３７８】
（１８）また、カメラ操作信号またはカメラ操作信号の変化を条件一致区間検出部によって検出するように構成した場合には、重要な音声または画像をアップでカメラ撮影しているような場合、ズームインしている期間の音声または画像を、高音質／高画質で保存でき、かつ、それ以外の期間の音声または画像情報であっても少ないデータ量で保存でき、かつ、ズームイン操作が開始された時点以前にまでさかのぼって再生を開始できる効果がある。
【０３７９】
（１９）また、音声情報または画像情報が時系列情報記憶部に記録されてからの経過時間（すなわち情報保存時間）が、所定の時間以上になった場合に圧縮処理を開始するように構成した場合には、参照する可能性の大きい最近の音声または画像情報を、高音質／高画質で保存でき、かつ、昔に記録された音声または画像情報であっても少ないデータ量で記憶できる効果がある。また、音声情報または画像情報が時系列情報記憶部に記録されてからの経過時間（すなわち情報保存時間）に応じて段階的に圧縮を施すように構成した場合には、後から参照される可能性がより低くなった場合に、より少ない情報量で蓄積できるので、より効果的に蓄積媒体を節約できる効果がある。
【０３８０】
（２０）また、時系列情報記憶部における空き領域がある値以下になったと認識されたタイミング、または、時系列情報記憶部における記憶量がある値以上になったと認識されたタイミングで圧縮処理を開始するように構成した場合には、新たに入力される音声または画像情報が時系列情報記憶部の記憶容量を超えて入力される場合にでも、入力を継続できる効果がある。
【０３８１】
（２１）また、入力音声情報または入力画像情報を時系列情報記憶部に蓄積する際に周波数帯域別に記憶しておき、圧縮時に、高周波数帯域を削除するように構成した場合には、圧縮のために時系列情報記憶部から情報を読み出したり、時系列情報記憶部に情報を書き戻したりする必要がなくなるため、圧縮処理時のシステムの負荷を軽減できる効果がある。
【０３８２】
（２２）また、入力音声情報または入力画像情報を周波数帯域別に時系列情報記憶部に蓄積する際に、条件一致区間検出部が検出した条件一致区間と、条件一致区間以外の区間とで、周波数帯域の分け方を変えて記憶するように構成した場合には、条件一致区間以外の区間の画像情報のみを周波数帯域別に記憶し、条件一致区間の画像情報は通常の方法（周波数帯域別の記憶はしない）で記憶するというように、入力音声情報または入力画像情報を周波数帯域別に分ける処理を少なくすることができるので、システムの負荷を軽減できる効果がある。
【０３８３】
（２３）また、入力画像情報を時系列情報記憶部に蓄積する際に輝度情報と色差情報に分けて記憶し、圧縮時に、時系列情報記憶部に記憶された画像情報の色差情報を削除するように構成した場合には、圧縮のために時系列情報記憶部から情報を読み出したり、時系列情報記憶部に情報を書き戻したりする必要がなくなるため、圧縮処理時のシステムの負荷を軽減できる効果がある。
【０３８４】
（２４）また、時系列情報記憶部に記憶された音声情報または画像情報が、ユーザによってどのくらいの頻度で参照（アクセス）されたかという参照状態に基づいて、圧縮量または圧縮方法を変えて情報を圧縮するように構成した場合には、頻繁に参照された情報は重要な情報であることから、頻繁に参照された区間の音声情報または画像情報は高品質で保存し、参照される頻度が低かった音声情報または画像情報は高圧縮率で圧縮し少ない情報量で保存することができる効果がある。
【０３８５】
（２５）また、条件一致区間検出部が検出した検出結果を組み合わせて音声情報または画像情報の重要度を決定し、この重要度に基づき、条件一致区間と他の区間とで圧縮量あるいは圧縮方式を部分的または段階的に変更して、音声情報または画像情報のデータ圧縮を行なうように構成した場合には、様々な事象が組み合わさった複雑な事象に応じた圧縮率または間欠記録の時間間隔で音声または画像情報を記憶できる効果がある。
【０３８６】
（２６）また、ユーザ入力情報検出手段が検出した検出結果に基づいてユーザ入力情報の重要度を決定し、この重要度に基づき、圧縮率あるいは圧縮方式を部分的または段階的に変更して、音声情報または画像情報のデータ圧縮を行なうように構成した場合には、例えば、赤色ペン等で記入した筆跡などの重要情報が入力されたタイミングで記録された音声情報または画像情報を、他の部分に比べてより高音質／高画質で保存しておける効果がある。
【０３８７】
（２７）また、ユーザ入力情報が検出された時に入力された音声または画像信号の時系列情報記憶部における圧縮状態を、ユーザ入力情報の表示と関連を持った状態で表示するように構成したので、記憶されている音声または画像を再生または検索する前に、その場面を再生するためにどの位の時間が必要なのかをユーザが簡単に知ることができたり、再生する音声または画像が、必要とするメディア形式で保存されているかどうかを容易に知ることができる効果がある。
【０３８８】
（２８）また、ユーザ入力情報が検出された時に入力された音声または画像信号の時系列情報記憶部における圧縮状態を、ユーザ入力情報の表示位置によって特定される表示位置に表示するように構成したので、それぞれのユーザ入力情報に対応した部分の音声情報または画像情報の圧縮状態を、一覧できる効果がある。
【０３８９】
（２９）また、指定部によって指定されたユーザ入力情報についてのみ、対応する音声情報または画像情報の圧縮状態を表示するように構成したので、ユーザ要求があった場合にのみ圧縮状態を画面表示でき、表示画面が繁雑になるという問題を抑えられる効果がある。
【０３９０】
（３０）また、ユーザ入力情報が検出されたときに入力された音声または画像信号の、時系列情報記憶部における圧縮状態に応じ、ユーザ入力情報の表示書式を変えて表示するように構成した場合には、記憶されている音声または画像を再生または検索する前に、その場面を再生するためにどの位の時間が必要なのかをユーザが簡単に知ることができたり、再生する音声または画像が、必要とするメディア形式で保存されているかどうかを容易に知ることができる効果がある。
【０３９１】
（３１）また、音声情報または画像情報のデータ量が予め定められた記憶容量に収まるように、圧縮量または圧縮方式を設定できるように構成した場合には、圧縮後のデータは、入力された音声情報または画像情報の中の重要な部分のみを高品質で記憶した、所望記憶サイズのダイジェストとなる効果がある。
【０３９２】
【発明の効果】
以上説明したように、この発明による情報蓄積装置によれば、例えば会議情報を蓄積する場合において、ユーザ入力情報と、音声や画像の変化と、センサ検知信号の変化とを、適宜組み合わせて、特徴的な事象が起こっている区間である重要区間を検出し、この重要区間は、高品質を保って音声情報や画像情報などの時系列情報を蓄積し、他の区間は、高圧縮率で圧縮して時系列情報記憶部に蓄積するようにするので、記憶容量が少ないメモリであっても長時間分の時系列情報を蓄積することができる。
【０３９３】
しかも、重要区間の時系列情報は、高品質を保って蓄積されているので、これを再生したときに、情報内容を適切かつ確実に把握することが可能である。したがって、例えば、情報量の多い会議情報の記録蓄積を行う場合に適用すると、会議内容を適切に把握するために必要な情報は重要区間として高品質で記憶されているため、全体としての情報量は、削減されていても、会議内容を適格に把握することができる。
【図面の簡単な説明】
【図１】この発明による情報蓄積装置の一実施の形態を説明するための機能ブロックである。
【図２】この発明の実施の形態が適用されるシステムの概要を説明する図である。
【図３】第１の実施の形態における条件一致区間検出部の、音声レベル検出動作の説明のための図である。
【図４】第１の実施の形態における条件一致区間検出部の、活発な対話区間を検出する動作の説明のための図である。
【図５】第１の実施の形態の情報記録時の動作の流れを示す図である。
【図６】第１の実施の形態における条件一致区間検出部の処理ルーチンの一例を示すフローチャートである。
【図７】第１の実施の形態におけるユーザ入力情報検出部の処理ルーチンの一例を示すフローチャートである。
【図８】第１の実施の形態における、ペン筆跡入力情報と、条件一致区間と、時系列記憶部の記憶状態とを対応付けて説明する図である。
【図９】第１の実施の形態における、対応関係記憶部に記憶された対応関係情報の、ペン筆跡１つ分の記憶状態を示す図である。
【図１０】第１の実施の形態における対応関係記憶部の処理ルーチンの一例の一部を示すフローチャートである。
【図１１】第１の実施の形態における対応関係記憶部の処理ルーチンの一例の一部を示すフローチャートである。
【図１２】第１の実施の形態における時系列情報記憶部の処理ルーチンの一例のフローチャートである。
【図１３】第１の実施の形態における時刻情報記憶部の処理ルーチンの一例のフローチャートである。
【図１４】第１の実施の形態における時刻情報記憶部の記憶構造の一例を説明する図である。
【図１５】第１の実施の形態における時刻情報記憶部の記憶構造の他の例を説明する図である。
【図１６】第１の実施の形態における情報圧縮時の動作の流れを示す図である。
【図１７】第１の実施の形態における圧縮部の処理ルーチンの一例のフローチャートである。
【図１８】第１の実施の形態の、時系列情報記憶部に記憶された画像情報の、圧縮前の記憶状態と、圧縮後の記憶状態とを比較して説明する図である。
【図１９】第１の実施の形態において検出する条件一致区間の他の例を説明するための図である。
【図２０】第２の実施の形態の情報記録時の動作の流れを示す図である。
【図２１】第２の実施の形態における周波数帯域別画像生成部の処理ルーチンの一例のフローチャートである。
【図２２】第２の実施の形態における時系列情報記憶部の、圧縮処理前のメモリ記憶状態を説明する図である。
【図２３】第２の実施の形態における情報圧縮時の動作の流れを示す図である。
【図２４】第２の実施の形態における圧縮処理ルーチンの一例フローチャートである。
【図２５】第２の実施の形態における時系列情報記憶部の、圧縮処理後のメモリ記憶状態を説明する図である。
【図２６】第３の実施の形態における時系列情報記憶部の、情報記録時点のメモリ記憶状態を説明する図である。
【図２７】第３の実施の形態における、段階的な圧縮を実行する時刻を管理する、圧縮時刻管理テーブルである。
【図２８】第３の実施の形態における時系列情報記憶部の、１週間経過後のメモリ記憶状態を説明する図である。
【図２９】第３の実施の形態における時系列情報記憶部の、１ヵ月経過後のメモリ記憶状態を説明する図である。
【図３０】第３の実施の形態における時系列情報記憶部の、半年後のメモリ記憶状態を説明する図である。
【図３１】第４の実施の形態における、音声信号の中に予め登録されたキーワードが出現したことを検出する場合の、キーワード有効期間を管理するテーブルの例を示す図である。
【図３２】第４の実施の形態における、音声信号の中に予め登録された音声信号パターンが出現したことを検出する場合の、パターン有効期間を管理するテーブルの例を示す図である。
【図３３】第６の実施の形態における条件一致区間検出部が場所を検出する場合の、場所と場所の重要度を対応づけて管理するテーブルの例を示す図である。
【図３４】第７の実施の形態における、条件一致区間検出部がカメラワークを検出する場合の、圧縮率設定処理を説明する図である。
【図３５】第８の実施の形態における時系列情報記憶部の記憶状態の例を示す図である。
【図３６】第８の実施の形態における参照状態記憶部の記憶状態を管理するテーブルの例を示す図である。
【図３７】第８の実施の形態における圧縮率設定テーブルの記憶状態を管理するテーブルの例を示す図である。
【図３８】第９の実施の形態における、入力されたペン筆跡の色と、時系列情報記憶部の記憶状態とを対応させて説明した図である。
【図３９】第９の実施の形態におけるユーザ入力情報検出部の処理ルーチンの例を示す図である。
【図４０】第１０の実施の形態の情報圧縮時の動作の流れを示す図である。
【図４１】第１０の実施の形態における記憶量検出部の動作のフローチャートである。
【図４２】第１２の実施の形態における、複数のユーザにより入力されたユーザ入力情報を合わせて検出する場合の動作を説明する図である。
【図４３】第１３の実施の形態における情報記録時の動作の流れを示す図である。
【図４４】第１３の実施の形態における、ユーザ入力情報が検出された時点の前後の区間を重要区間と定める場合の動作を説明する図である。
【図４５】第１３の実施の形態における情報圧縮時の動作の流れを示す図である。
【図４６】第１４の実施の形態における、時系列情報記憶部の圧縮状態を表示した例を示した図である。
【図４７】第１４の実施の形態の情報圧縮時の動作の流れを示す図である。
【図４８】第１４の実施の形態における、対応関係記憶部に記憶された対応関係情報の、ペン筆跡１つ分の記憶状態を示す図である。
【図４９】第１４の実施の形態における対応関係記憶部の処理ルーチンの一例の一部のフローチャートである。
【図５０】第１４の実施の形態における対応関係記憶部の処理ルーチンの一例の一部のフローチャートである。
【図５１】第１４の実施の形態における、時系列情報記憶部の圧縮状態に応じて、表示書式を変更した例を示した図である。
【図５２】第１４の実施の形態における、時系列情報記憶部の圧縮状態を、ユーザによって要求された際に表示した例を示した図である。
【符号の説明】
１ 音声情報入力部
２ 画像情報入力部
３ 条件一致区間検出部
４ 時系列情報記憶部
５ 対応関係記憶部
６ 圧縮部
７ 時刻情報記憶部
８ 再生部
９ 制御部
１０ 表示部
１１ ユーザ入力情報検出部
１２ 再生指示部
１３ 周波数帯域別画像生成部
１４ 記憶量検出部
２０ 電子会議装置
２１ モニター装置の表示画面
２３ 電子ペン
２４ カメラ
２５ マイクロホン
２６ 音声信号解析器
２７ 蓄積媒体
２８ スピーカ
２９ 会議参加者

Claims (20)

1. ユーザ入力手段と、
   前記ユーザ入力手段から入力されるユーザ入力情報を検出するユーザ入力情報検出手段と、
   記憶すべき音声情報または画像情報を入力するための時系列情報入力手段と、
   前記時系列情報入力手段から入力された前記音声情報または前記画像情報を記憶する時系列情報記憶手段と、
   前記音声情報または前記画像情報が入力された場所を検出する場所検出手段と、
   前記場所検出手段での検出結果に応じて所定の場所に留まっていると認識された期間の最初を条件一致区間の開始点として検出し、前記所定の場所に留まっていると認識された期間の最後を前記条件一致区間の終了点として検出する条件一致区間検出手段と、
   前記時系列情報記憶手段に記憶された前記音声情報または前記画像情報のデータ量を圧縮する手段であって、前記ユーザ入力情報検出手段で検出された前記ユーザ入力情報と前記条件一致区間検出手段で検出された前記時間区間とによって定められる区間と、他の区間とで、圧縮率あるいは圧縮方式を変更して、前記時系列情報記憶手段に記憶された前記音声情報または前記画像情報のデータ圧縮を行う圧縮手段と、
   を備えることを特徴とする情報蓄積装置。
2. ユーザ入力手段と、
   前記ユーザ入力手段から入力されるユーザ入力情報を検出するユーザ入力情報検出手段と、
   記憶すべき音声情報または画像情報を入力するための時系列情報入力手段と、
   前記時系列情報入力手段から入力された前記音声情報または前記画像情報を記憶する時系列情報記憶手段と、
   前記音声情報または前記画像情報が入力された場所を検出する場所検出手段と、
   前記場所検出手段での検出結果に応じて所定の場所に留まっていると認識された期間の最初を条件一致区間の開始点として検出し、前記所定の場所に留まっていると認識された期間の最後を前記条件一致区間の終了点として検出する条件一致区間検出手段と、
   前記ユーザ入力情報検出手段で検出されたユーザ入力情報と前記条件一致区間検出手段で検出された前記時間区間とによって定められる区間を示す区間情報と、当該区間情報に対応する前記音声情報または前記画像情報の前記時系列情報記憶手段における記憶位置との対応関係を記憶する対応関係記憶手段と、
   前記時系列情報記憶手段に記憶された前記音声情報または前記画像情報のデータ量を圧縮する手段であって、前記対応関係記憶手段に記憶された前記ユーザ入力情報と前記時間区間とによって定められる区間と、他の区間とで、圧縮率あるいは圧縮方式を変更して、前記時系列情報記憶手段に記憶された前記音声情報または前記画像情報のデータ圧縮を行う圧縮手段と、
   を備えることを特徴とする情報蓄積装置。
3. 請求項１または請求項２に記載の情報蓄積装置において、
   前記ユーザ入力情報と前記時間区間とによって定められる区間の画像情報は、前記圧縮手段により、他の区間の画像情報よりも高画質を保つデータ圧縮を施すようにしたことを特徴とする情報蓄積装置。
4. 請求項１に記載の情報蓄積装置において、
   前記ユーザ入力情報を表示する表示手段と、
   前記ユーザ入力情報と、前記ユーザ入力情報の前記表示手段上の表示位置を特定するための情報と、前記ユーザ入力情報検出手段で検出された前記ユーザ入力情報と前記条件一致区間検出手段で検出された前記時間区間とによって定められる区間を示す区間情報と、当該区間情報に対応する前記音声情報または画像情報の前記時系列情報記憶手段における記憶位置との対応関係を記憶する対応関係記憶手段と、
   前記表示手段に表示されたユーザ入力情報に関連する表示部分を指定する指定手段と、
   前記指定手段により指定されたユーザ入力情報によって特定される、前記対応関係記憶手段に記憶されている音声情報または画像情報の前記時系列情報記憶手段における記憶位置に基づいて特定される音声情報または画像情報の所定の部分を再生する再生手段と、
   を具備する情報蓄積装置。
5. 請求項２に記載の情報蓄積装置において、
   前記対応関係記憶手段は、前記ユーザ入力情報と、前記ユーザ入力情報の前記表示手段上の表示位置を特定するための情報と、前記ユーザ入力情報検出手段で検出された前記ユーザ入力情報と前記条件一致区間検出手段で検出された前記時間区間とによって定められる区間を示す区間情報と、当該区間情報に対応する前記音声情報または画像情報の前記時系列情報記憶手段における記憶位置との対応関係を記憶するものであると共に、
   前記ユーザ入力情報を表示する表示手段と、
   前記表示手段に表示されたユーザ入力情報に関連する表示部分を指定する指定手段と、
   前記指定手段により指定されたユーザ入力情報によって特定される、前記対応関係記憶手段に記憶されている音声情報または画像情報の前記時系列情報記憶手段における記憶位置に基づいて特定される音声情報または画像情報の所定の部分を再生する再生手段と、
   を具備する情報蓄積装置。
6. 請求項１または請求項２に記載の情報蓄積装置において、
   前記音声情報または画像情報が前記時系列情報記憶手段に記憶された時刻を示す時刻情報を記憶する時刻情報記憶手段をさらに具備し、
   前記圧縮手段は、前記時刻情報記憶手段に記憶された前記時刻情報によって定められる時刻からの経過時間が、予め定められた時間を過ぎた時に前記圧縮処理を実行することを特徴とする情報蓄積装置。
7. 請求項１または請求項２に記載の情報蓄積装置において、
   前記圧縮手段は、前記時系列情報記憶手段における空き領域がある値以下になったと認識されたとき、または、前記時系列情報記憶手段における記憶量がある値以上になったと認識されたときに、前記圧縮処理を実行することを特徴とする情報蓄積装置。
8. 請求項１または請求項２に記載の情報蓄積装置において、
   前記時系列情報記憶手段は、前記情報入力手段から入力された前記音声情報または画像情報を、周波数帯域別に記憶し、
   前記圧縮手段は、圧縮時に、前記時系列情報記憶手段に記憶された前記音声情報または画像情報の高周波数帯域を削除することを特徴とする情報蓄積装置。
9. 請求項１または請求項２に記載の情報蓄積装置において、
   前記時系列情報記憶手段は、前記情報入力手段から入力された前記音声情報または画像情報を、周波数帯域別に記憶し、この記憶の際に、前記ユーザ入力情報と前記条件一致区間検出手段が検出した前記時間区間とによって定められる区間と、他の区間とで、周波数帯域の分け方を変えて記憶することを特徴とする情報蓄積装置。
10. 請求項１または請求項２に記載の情報蓄積装置において、
    前記時系列情報記憶手段は、前記画像情報入力手段から入力された前記画像情報を、輝度情報と色情報とに分けて記憶し、
    前記圧縮手段は、圧縮時に、前記時系列情報記憶手段に記憶された前記画像情報の色情報を削除することを特徴とする情報蓄積装置。
11. 請求項１または請求項２に記載の情報蓄積装置において、
    前記時系列情報記憶手段に記憶された音声情報または画像情報の、所定時間内に所定回数以上ユーザから参照された区間と、前記所定時間内に前記所定回数以上ユーザから参照されなかった区間とを区別する情報を記憶する参照状態記憶手段をさらに具備し、
    前記圧縮手段は、前記参照状態記憶手段に記憶された情報に基づいて、所定時間内に所定回数以上ユーザから参照された区間と、所定時間内に所定回数以上ユーザから参照されなかった区間とで、圧縮率あるいは圧縮方式を変えて、前記時系列情報記憶手段に記憶された前記音声情報または画像情報を圧縮することを特徴とする情報蓄積装置。
12. 請求項１または請求項２に記載の情報蓄積装置において、
    前記圧縮手段は、前記条件一致区間検出手段が検出した検出結果を組み合わせて音声情報または画像情報の重要度を決定し、この重要度に基づき、前記条件一致区間検出手段での検出結果から定められる区間と他の区間とで圧縮量あるいは圧縮方式を変更して、前記時系列情報記憶手段に記憶された前記音声情報または画像情報を圧縮することを特徴とする情報蓄積装置。
13. 請求項１または請求項２に記載の情報蓄積装置において、
    前記圧縮手段は、前記ユーザ入力情報検出手段の検出結果に基づいてユーザ入力情報の重要度を決定し、この重要度に基づき、圧縮率あるいは圧縮方式を変更して、前記時系列情報記憶手段に記憶された前記音声情報または画像情報を圧縮することを特徴とする情報蓄積装置。
14. 請求項１または請求項２に記載の情報蓄積装置において、
    前記ユーザ入力情報検出手段で検出されたユーザ入力情報を表示すると共に、前記ユーザ入力情報検出手段で前記ユーザ入力情報が検出されたときに前記時系列情報入力手段より入力された音声情報または画像情報の、前記時系列情報記憶手段における圧縮状態を、前記検出されたユーザ入力情報の表示との関連を持った状態で表示する表示手段を備えることを特徴とする情報蓄積装置。
15. 請求項４または請求項５に記載の情報蓄積装置において、
    前記表示手段は、前記ユーザ入力情報検出手段で検出されたユーザ入力情報を表示すると共に、前記ユーザ入力情報検出手段で前記ユーザ入力情報が検出されたときに前記時系列情報入力手段より入力された音声情報または画像情報の、前記時系列情報記憶手段における圧縮状態を、前記検出されたユーザ入力情報の表示位置によって特定される表示位置に表示することを特徴とする情報蓄積装置。
16. 請求項４または請求項５に記載の情報蓄積装置において、
    前記表示手段は、前記指定手段により前記表示画面に表示された前記ユーザ入力情報が指定された場合に、指定されたユーザ入力情報について、このユーザ入力情報が前記ユーザ入力情報検出手段により検出されたときに入力された音声情報または画像情報の、前記時系列情報記憶手段における圧縮状態を表示することを特徴とする情報蓄積装置。
17. 請求項１または請求項２に記載の情報蓄積装置において、
    前記ユーザ入力情報検出手段で前記ユーザ入力情報が検出されたときに入力された音声情報または画像情報の、前記時系列情報記憶手段における圧縮状態に応じて、前記ユーザ入力情報の表示書式を変えて表示する表示手段を備えることを特徴とする情報蓄積装置。
18. 請求項１または請求項２に記載の情報蓄積装置において、
    前記圧縮手段は、前記音声情報または画像情報のデータ量が予め定められた記憶容量に収まるように、前記ユーザ入力情報または前記条件一致区間により定められる区間と、その他の区間の圧縮率あるいは圧縮方式を設定して、前記時系列情報記憶手段に記憶された前記音声情報または画像情報のデータ量を圧縮することを特徴とする情報蓄積装置。
19. 入力されるユーザ入力情報を検出するユーザ入力情報検出工程と、
    入力された音声情報または画像情報を記憶する時系列情報記憶工程と、
    前記音声情報または前記画像情報が入力された場所を検出する場所検出工程と、
    前記場所検出工程での検出結果に応じて所定の場所に留まっていると認識された期間の最初を条件一致区間の開始点として検出し、前記所定の場所に留まっていると認識された期間の最後を前記条件一致区間の終了点として検出する条件一致区間検出工程と、
    前記時系列情報記憶工程で記憶された前記音声情報または前記画像情報のデータ量を圧縮する工程であって、前記ユーザ入力情報検出工程で検出された前記ユーザ入力情報と前記条件一致区間検出工程で検出された前記時間区間とによって定められる区間と、他の区間とで、圧縮率あるいは圧縮方式を変更して、前記時系列情報記憶手段に記憶された前記音声情報または前記画像情報のデータ圧縮を行う圧縮工程と、
    を備えることを特徴とする情報蓄積方法。
20. 入力されるユーザ入力情報を検出するユーザ入力情報検出工程と、
    入力された音声情報または画像情報を記憶する時系列情報記憶工程と、
    前記音声情報または前記画像情報が入力された場所を検出する場所検出工程と、
    前記場所検出工程での検出結果に応じて所定の場所に留まっていると認識された期間の最初を条件一致区間の開始点として検出し、前記所定の場所に留まっていると認識された期間の最後を前記条件一致区間の終了点として検出する条件一致区間検出工程と、
    前記ユーザ入力情報検出工程で検出されたユーザ入力情報と前記条件一致区間検出手段で検出された前記時間区間とによって定められる区間を示す区間情報と、当該区間情報に対応する前記音声情報または前記画像情報の前記時系列情報記憶手段における記憶位置との対応関係を記憶する対応関係記憶工程と、
    前記時系列情報記憶工程で記憶された前記音声情報または前記画像情報のデータ量を圧縮する工程であって、前記対応関係記憶工程で記憶された前記ユーザ入力情報と前記時間区間とによって定められる区間と、他の区間とで、圧縮率あるいは圧縮方式を変更して、前記時系列情報記憶工程で記憶された前記音声情報または前記画像情報のデータ圧縮を行う圧縮工程と、
    を備えることを特徴とする情報蓄積方法。

Images