JPH1049515A

JPH1049515A - 情報表示装置および情報蓄積再生装置

Info

Publication number: JPH1049515A
Application number: JP22033496A
Authority: JP
Inventors: Satoru Ichimura; 哲市村
Original assignee: Fuji Xerox Co Ltd
Current assignee: Fujifilm Business Innovation Corp
Priority date: 1996-08-02
Filing date: 1996-08-02
Publication date: 1998-02-20
Anticipated expiration: 2016-08-02
Also published as: JP3758754B2; US5894306A

Abstract

(57)【要約】【課題】蓄積された情報をユーザ入力情報を指定する
ことで検索する情報蓄積再生装置において、目的の情報
の検索を容易にする。【解決手段】ユーザ入力情報検出手段２１でユーザ入
力情報が検出された時点近傍における周囲環境に関する
情報または前記時点近傍で発生している事象に関する情
報を検出する状態検出手段２４を設ける。対応情報記憶
手段２３に、検出されたユーザ入力情報と、それぞれの
ユーザ入力情報が検出された時点近傍における状態検出
手段２１からの検出結果の情報と、それぞれのユーザ入
力情報に関連する音声情報または画像情報の記憶手段２
２における記憶位置の情報とを、対応させて記憶する。
対応情報記憶手段の記憶情報に基づいて、ユーザ入力情
報を表示すると共に、状態検出手段の検出結果を、ユー
ザ入力情報の表示に関連を持った状態で、表示する表示
手段２５を設ける。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、入力されたユー
ザ入力情報を表示する情報表示装置およびユーザ入力情
報と共に、マルチメディア情報を併せて記録し、記録さ
れたユーザ入力情報とマルチメディア情報とを対応付け
て再生または表示する情報蓄積再生装置に関する。

【０００２】

【従来の技術】会議や講演、取材、インタビュー、電話
やテレビ電話を使用した会話、テレビ映像等の要点を記
録する場合、通常、記録者が筆記で記録することが一般
に行われていた。例えば、会議を記録する場合、会議出
席者の一人が書記となって会議参加者全員の発言を逐一
記録したり、重要な項目のみを選んで記録している。し
かし、書き留めたメモから会議内容や話しの経緯を思い
出せなかったり、誰の発言だったかを記録していなかっ
たりするために、後で会議議事録を作成するのが困難に
なる状況がしばしば発生する。

【０００３】そこで、従来から、会議や講演、取材、イ
ンタビュー、電話やテレビ電話を使用した会話、テレビ
映像、監視カメラ映像等の記録を、デジタルディスク、
デジタルスチルカメラ、ビデオテープ、半導体メモリな
どに記憶蓄積し、再生する装置が提案されている。これ
らの情報蓄積装置を用いて情報の蓄積を行えば、記録す
べき情報の要点のみを記録者が筆記等して記録する方法
に比べ、入力情報である音声や画像を漏らさず記録でき
るという利点がある。

【０００４】これらの装置には、コンピュータネットワ
ークを介して伝送されたデジタル信号を蓄積媒体に記録
するものや、ビデオカメラやマイクロホンからのアナロ
グ入力信号をそのまま蓄積媒体に記録するものや、符号
化してデジタル信号に変換し、記録するものなどがあ
る。

【０００５】しかし、このように、会議の様子をすべて
記録する方法の場合、記録された情報を検索する手段が
ないと、会議の内容を要約した議事録を作成する時に
は、その記録内容をすべて再生しなければならず、議事
録作成に非常に長い時間を要してしまうという問題点が
ある。また、記録された音声や画像の中から、欲しい部
分を瞬時に検索することが困難であるという問題点があ
る。

【０００６】この問題点に対し、例えば、記録者が任意
のタイミングで特定のボタンを押すことによって、入力
音声信号または入力画像信号中の重要部分にチェックマ
ークを付け、重要部分を検索し易くするテープレコーダ
やＶＴＲが提案されている。

【０００７】しかし、この場合のチェックマークは、単
に、重要部分の位置を特定するためのものであり、それ
ぞれのチェックマークが音声信号または画像信号のいず
れの区間部分に対応しているか示すことはできないため
に、チェックした部分音声また画像信号を全て再生して
内容を確認しなければならないという問題があった。さ
らに、話しを聞いている時にボタンを押すという不自然
な行動をとらなければならず、話しに集中できないとい
う問題もあった。

【０００８】そのため、順次入力される音声信号または
画像信号と、任意のタイミングで記録者が入力したペン
やキーボードによるユーザ入力情報とを対応付けて蓄積
記録し、再生する装置が提案されている。これらの装置
を用いれば、記録者がメモを取るようにペンやキーボー
ドで入力を行なうとともに、そのメモに対応して音声信
号または画像信号を記録しておけば、後で、入力された
メモを参照することにより、音声信号または画像信号の
再生したい箇所を容易に選択して再生することができ
る。

【０００９】この種の技術として、例えば、特開平７−
２２６９３１号公報には、各会議参加者から入力された
マルチメディア情報と、書記から入力されたテキスト情
報を関連付けて蓄積することによって、会議終了後にお
ける議事録作成作業を効率化する装置が提案されてい
る。この装置によれば、会議終了後に、任意のテキスト
情報を選択することによって、そのテキスト情報に関連
したマルチメディア情報を容易に検索できるので、書記
により書き留められた会議メモから会議の様子を再現で
きる。

【００１０】また、例えば、特開平７−１８２３６５号
公報、特開平６−１７６１７１号公報、特開平６−３４
３１４６号公報、ＡＣＭＣＨＩ’９４プロシーディ
ング、pp.58-pp.64 （”Marquee: A Tool For Real-Ti
me Video Logging”）には、記録の際に、音声または画
像信号とユーザ入力情報とを時間刻印に基づいて対応づ
け、再生の際に、画面に表示されたユーザ入力情報の１
つを指定することによりその指定されたユーザ入力情報
が記録された時刻に記録された音声または画像信号を再
生する装置が記載されている。

【００１１】また、特開平６−２０５１５１号公報に
は、ユーザ入力が一定時間途切れたことを検知したタイ
ミングで、入力音声信号または入力画像信号にインデッ
クスを付加して記録し、再生の際に、画面に表示された
特定のユーザ入力情報の一つを指定することにより、そ
の指定されたユーザ入力情報に対応したインデックス部
分からの音声信号または画像信号を再生する装置が記載
されている。

【００１２】さらに、特開平７−１１０８２２号公報に
は、ユーザによる入力情報と音声信号または画像信号と
を対応付けてコンピュータに入力することにより、入力
されたユーザ入力情報と音声信号または画像信号との間
に自動的にリンクを作成するハイパーメディア装置が提
案されている。

【００１３】上述した特開平７−１８２３６５号公報、
特開平６−１７６１７１号公報、特開平６−３４３１４
６号公報、ＡＣＭＣＨＩ’９４プロシーディング、
pp.58-pp.64 、特開平６−２０５１５１号公報、また、
特開平７−１１０８２２号公報に記載された装置を用い
れば、記録者がメモをとるようにペンやキーボードで入
力を行なうとともに音声または画像信号を記録しておく
ことにより、後で、入力されたメモを参照することによ
り音声または画像信号の再生したい箇所を容易に選択し
て再生することができるので、会議議事録等の作成が効
率化される。

【００１４】ただし、上述の従来の技術の場合、表示部
に表示されるのはペン筆跡やキーボードから入力された
文字列等のユーザ入力情報のみであり、ユーザ入力情報
が入力されたときの周囲の状況を参照するための情報は
表示されない。

【００１５】

【発明が解決しようとする課題】記録されたマルチメデ
ィア情報とユーザ入力情報から、会議のポイントなる部
分を収集して編集し、会議議事録を作成する場合に、そ
の編集作業の際の検索が、表示画面に表示された情報の
みを通じて確実に、かつ、迅速に行うことができれば、
検索作業が非常に楽になる。

【００１６】以上に説明した従来技術では、表示画面に
ユーザ入力情報が表示され、当該表示されているユーザ
入力情報の１つを指定することにより、その指定された
ユーザ入力情報に対応する音声情報または画像情報を検
索することができる。

【００１７】しかし、ユーザ入力情報のすべてが同じ重
要度を有しているわけではなく、また、ユーザ入力情報
に対応して記録されているマルチメディア情報も、同様
に同じ重用度を備えているわけではない。その上、マル
チメディア情報の重要度は、編集を行うときの検索条件
によっても異なる。

【００１８】したがって、上述した従来の技術のよう
に、検索のための手掛かりとして、単にユーザ入力情報
のみを表示するだけでは、そのうちのどのユーザ入力情
報がどのような意義や重要度を持っているか、また、そ
れに対応して蓄積されているマルチメディア情報がどの
ようなものかを知る手掛かりがない。

【００１９】このため、上述の従来の技術における検索
は、すべてのユーザ入力情報について、対応する音声情
報または画像情報をすべて再生しないと、各ユーザ入力
情報に対応する音声情報または画像情報のそれぞれがど
のような意義や重要度を持っているかを特定することが
できない。つまり、前記の従来の技術の場合、音声また
は画像情報を検索するための手がかりは、表示部に表示
されているユーザ入力情報のみであり、所望の音声また
は画像情報を検索するための十分な検索キーにならない
場合があるのである。

【００２０】具体例を挙げると、例えば、ある特定話者
のコメントを再生したい場合には、ユーザ入力時点にお
いて、ユーザによって明示的にそのときの話者の記録が
とられていない限りは、どのユーザ入力情報がその話者
の発言に対して書き留められたユーザ入力情報かがわか
らない。したがって、ユーザ入力情報に対応する部分音
声情報また部分画像情報を１つ１つ再生して内容を確認
し、希望する特定話者のコメント部分を検索しなければ
ならない。

【００２１】前述した特開平７−２２６９３１号公報に
は、ユーザによって入力されたテキスト情報と、そのテ
キストが入力された時の発話者を識別する情報とを対応
させて記憶部に蓄積する方法は提案されているが、その
対応関係は表示部に表示されない。このために、どのユ
ーザ入力情報がどの発話者のコメントに対応するかとい
う情報を、検索時に参照することができない。

【００２２】また、特開平７−１８２３６５号公報に
は、話者別の画像フレーム列を作成する方法や、時間軸
上に発話者交代のタイミングと発話者の履歴を表示する
方法が提案されている。しかし、特開平７−１８２３６
５号公報の技術では、これらの情報は、各ユーザ入力情
報と対応させて表示できないため、どのユーザ入力情報
がどの発話者のコメントに対応するかという情報を検索
時に参照できないという同様の問題がある。

【００２３】さらに、特開平７−１８２３６５号公報に
は、全ての発話者交代のタイミングと発話者の履歴を画
面上に表示する方法が記載されているが、ユーザ入力情
報を手がかりとして音声または画像情報を検索する装置
においては、全ての発話者交代の履歴を画面上に表示す
ることは冗長であり、むしろ、画面上の表示が煩雑にな
ってしまうために、検索が困難になるという問題があ
る。

【００２４】この発明は、上記の問題点に鑑み、ユーザ
により入力されたユーザ入力情報だけでなく、各ユーザ
入力情報が入力された背景を表す情報を表示画面に表示
できるようにして、それらを、例えばマルチメディア情
報の検索の手がかりとして利用できるようにすることを
課題としている。

【００２５】

【課題を解決するための手段】上記課題を解決するた
め、後述の実施の形態の参照符号を対応させると、この
請求項１の発明による情報表示装置は、ユーザ入力手段
（１３）と、前記ユーザ入力手段（１３）から入力され
るユーザ入力情報を検出するユーザ入力情報検出手段
（２１）と、前記ユーザ入力情報検出手段（２１）の検
出出力を受けて、前記ユーザ入力情報が検出された時点
における周囲環境に関する情報または前記時点で発生し
ている事象に関する情報を検出する状態検出手段（２
４）と、前記ユーザ入力情報検出手段（２１）で検出さ
れた前記ユーザ入力情報を表示すると共に、前記状態検
出手段（２４）の検出結果を、前記ユーザ入力情報の表
示との関連を持った状態で表示する表示手段（２５）と
を備えることを特徴とする。

【００２６】また、請求項２の発明による情報蓄積再生
装置は、ユーザ入力手段（１３）と、前記ユーザ入力手
段（１３）から入力されるユーザ入力情報を検出するユ
ーザ入力情報検出手段（２１）と、記憶すべき音声情報
または画像情報を入力するための情報入力手段（１５、
１６）と、前記情報入力手段（１５、１６）からの前記
音声情報または画像情報を記憶する時系列情報記憶手段
（２２）と、前記ユーザ入力情報検出手段（２１）で前
記ユーザ入力情報が検出された時点近傍における周囲環
境に関する情報または前記時点近傍で発生している事象
に関する情報を検出する状態検出手段（２４）と、前記
ユーザ入力情報検出手段（２１）で検出された前記ユー
ザ入力情報と、それぞれのユーザ入力情報が検出された
時点近傍における状態検出手段（２４）からの検出結果
の情報と、それぞれのユーザ入力情報に関連する前記音
声情報または画像情報の前記時系列情報記憶手段（２
２）における記憶位置の情報とを、対応させて記憶する
対応情報記憶手段（２３）と、前記対応情報記憶手段
（２３）の記憶情報に基づいて、前記ユーザ入力情報検
出手段（２１）で検出された前記ユーザ入力情報を表示
すると共に、前記状態検出手段（２４）の検出結果を、
前記ユーザ入力情報の表示との関連を持った状態で表示
する表示手段（２５）と、を備えることを特徴とする。

【００２７】また、請求項４の発明による情報蓄積再生
装置は、ユーザ入力手段（１３）と、前記ユーザ入力手
段（１３）から入力されるユーザ入力情報を検出するユ
ーザ入力情報検出手段（２１）と、記憶すべき音声情報
または画像情報を入力するための情報入力手段（１５、
１６）と、前記情報入力手段（１５、１６）からの前記
音声情報または画像情報が、予め設定された所定の条件
に合致する区間を検出する条件一致区間検出手段（３
５）と、前記情報入力手段（１５、１６）からの音声情
報または画像情報と、前記条件一致区間検出手段（３
５）で検出された区間を示す情報とを対応させて一時記
憶する一時記憶手段（３６）と、前記一時記憶手段（３
６）に一時記憶された音声情報または画像情報のうち
の、前記ユーザ入力情報検出手段（２１）での前記ユー
ザ入力情報の検出結果と前記条件一致区間検出手段での
検出結果とから定められる区間の音声情報または画像情
報は、他の区間の音声情報または画像情報とは圧縮状態
を変えて圧縮する圧縮手段（２９）と、前記情報入力手
段（１５、１６）からの前記音声情報または画像情報を
記憶する時系列情報記憶手段（２２）と、前記ユーザ入
力情報検出手段（２１）で検出された前記ユーザ入力情
報と、それぞれの前記ユーザ入力情報に関連する前記音
声情報または画像情報の前記圧縮状態に関する情報と、
それぞれの前記ユーザ入力情報に関連する前記音声情報
または画像情報の前記時系列情報記憶手段（２２）にお
ける記憶位置の情報とを、対応させて記憶する対応情報
記憶手段（２３）と、前記対応情報記憶手段（２３）の
記憶情報に基づいて、前記ユーザ入力情報検出手段（２
１）で検出された前記ユーザ入力情報を表示すると共
に、前記ユーザ入力情報検出手段で前記ユーザ入力情報
が検出されたときに前記情報入力手段より入力された音
声情報または画像情報の、前記圧縮手段（２３）におけ
る圧縮状態を、前記検出されたユーザ入力情報の表示と
の関連を持った状態で表示する表示手段（２５）と、を
備えることを特徴とする。

【００２８】また、請求項３または請求項５の発明によ
る情報蓄積再生装置は、請求項２または請求項４の発明
による情報蓄積再生装置において、前記表示手段（２
５）により表示されたユーザ入力情報についての、ユー
ザの再生指示を受け付ける再生指定手段（２７）と、前
記再生指定手段（２７）により再生指示されたユーザ入
力情報に対応する音声情報または画像情報の部分を、前
記対応情報記憶手段に記憶されている音声情報または画
像情報の前記時系列情報記憶手段（２２）における記憶
位置の情報に基づいて特定して再生する再生手段（２
８）とを備えることを特徴とする。

【００２９】また、請求項６の発明による情報蓄積再生
装置は、請求項３または請求項５の発明の情報蓄積再生
装置において、前記表示手段（２５）は、前記ユーザ入
力情報検出手段で検出された前記ユーザ入力情報を、検
出順に表示する機能を備え、前記対応情報記憶手段（２
３）は、前記ユーザ入力情報検出手段で検出された前記
ユーザ入力情報と、当該検出されたユーザ入力情報の前
記表示手段における表示位置を特定する情報と、前記検
出されたユーザ入力情報に関連する前記音声情報または
画像情報の前記時系列情報記憶手段における記憶位置の
情報とを対応させて記憶し、前記再生指示手段（２７）
は、前記表示手段に表示された前記ユーザ入力情報の１
つを指定するものであり、前記再生手段（２８）は、前
記再生指定手段により指定された前記ユーザ入力情報に
対応する音声情報または画像情報の部分を、前記対応情
報記憶手段（２３）に記憶されている音声情報または画
像情報の前記時系列情報記憶手段（２２）における記憶
位置の情報に基づいて特定して再生することを特徴とす
る。

【００３０】また、請求項７の発明の情報表示装置は、
請求項１の発明において、前記表示手段（２５）が、前
記ユーザ入力情報を、入力された順に表示するものであ
ると共に、前記表示手段に表示された前記ユーザ入力情
報の１つを指定する指定手段（２７）を備え、前記表示
手段（２５）は、前記指定手段によって指定されたユー
ザ入力情報のみについて、前記状態検出手段の検出結果
を表示することを特徴とする。

【００３１】請求項８の発明の情報蓄積再生装置は、請
求項２または請求項３の発明において、前記表示手段
（２５）が、前記ユーザ入力情報を、入力された順に表
示するものであると共に、前記表示手段（２５）に表示
された前記ユーザ入力情報の１つを指定する指定手段
（２７）を備え、前記表示手段（２５）は、前記指定手
段（２７）によって指定されたユーザ入力情報のみにつ
いて、前記状態検出手段（２４）の検出結果を表示する
ことを特徴とする。

【００３２】請求項９の発明の情報蓄積再生装置は、請
求項３の発明において、前記表示手段（２５）が、前記
ユーザ入力情報を、入力された順に表示するものである
と共に、前記表示手段（２５）に表示された前記ユーザ
入力情報の１つを指定する指定手段（２７）を備え、前
記表示手段（２５）は、前記指定手段（２７）によって
指定されたユーザ入力情報のみについて、前記圧縮手段
（２９）における圧縮状態を表示することを特徴とす
る。

【００３３】請求項１〜請求項２における状態検出手段
（２４）で検出する対象は、例えば、ユーザ入力情報が
検出されたときの音声の有無、発声者、音声信号中の特
定のキーワード（問題、対策、結論などの発話）、音声
信号中の特定パターン（笑い、拍手など）、画像信号中
の特定のキーワード（問題、対策、結論などの文字）、
画像信号中の特定パターン（特定の動き、輝度変化な
ど）や、当該ユーザ入力情報が行われた場所などであれ
ば、検索条件として有益である。

【００３４】また、請求項３における条件一致区間検出
手段（３５）で検出する対象は、例えば、ユーザ入力情
報が検出されたときの音声の有無、発声者、音声信号中
の特定のキーワード（問題、対策、結論などの発話）、
音声信号中の特定パターン（笑い、拍手など）、画像信
号中の特定のキーワード（問題、対策、結論などの文
字）、画像信号中の特定パターン（特定の動き、輝度変
化など）や、画像入力手段としてのカメラ操作などが有
益である。

【００３５】

【作用】請求項１の発明の情報表示装置においては、表
示手段により、ユーザ入力情報が入力されたときの周囲
の状況やその時点で発生している事象、例えば、発言が
あったか否か、発言をしていた発言者の名前、拍手や笑
いなどの周囲状況や、ユーザ入力が行われた会議室名な
どの場所などの状態検出手段の検出結果が、ユーザ入力
情報と共に、そのユーザ入力情報の表示に関連を持った
状態で、例えばユーザ入力情報の表示位置により特定さ
れる位置に表示される。したがって、ユーザ入力情報が
入力されたときの背景を表す情報を、各ユーザ入力情報
と対応付けて、自動的に表示画面に表示できる。

【００３６】請求項２の発明の情報蓄積再生装置におい
ては、請求項１の発明と同様にして、ユーザ入力情報が
入力されたときの背景を表す情報を、各ユーザ入力情報
と対応付けて、自動的に表示画面に表示できるので、こ
れらの背景を表す情報をユーザ入力情報に対応して記憶
される音声情報や画像情報を検索する際の手がかりとし
て利用できる。

【００３７】そして、請求項３の情報蓄積再生装置にお
いては、再生指定手段により、背景を表す情報を手掛か
りとしてユーザ入力情報を選択指定すると、指定された
ユーザ入力情報に対応する音声情報または画像情報が、
再生手段により再生される。したがって、編集作業が効
率的に行われるようになる。

【００３８】請求項４の発明の情報蓄積再生装置におい
ては、情報入力手段からの音声情報または画像情報は、
条件一致区間検出手段で、予め設定された所定の条件に
合致する区間が検出されて、その区間を示す情報と対応
して一時記憶手段に一時的に蓄えられている。

【００３９】そして、圧縮手段は、音声情報または画像
情報を処理するに当たって、一時記憶手段で記憶されて
いる条件一致区間に、ユーザ入力がユーザ入力情報検出
手段で検出されたときには、例えば高品質となるように
圧縮せずに、あるいは低い圧縮率で圧縮し、ユーザ入力
時点が条件一致区間に重なっていないときなどのその他
の区間は、例えば高圧縮率で圧縮する。

【００４０】例えば、条件一致区間検出手段での検出条
件が、「発言区間」である場合には、ユーザ入力情報が
検出された時点より前から発生している例えば会議の発
言者の発言内容またはその時の画像情報が、当該ユーザ
入力情報と対応するものとして、その発言区間の初めか
ら終りまで、低圧縮率で圧縮し、高品質で、時系列情報
記憶手段に記憶される。そして、その対応関係は、対応
関係記憶手段に記憶される。

【００４１】発言区間でない他の区間は、高圧縮率で音
声情報または画像情報が記憶される。したがって、音声
情報または画像情報を記憶するための容量が少なくて済
むという利点がある。

【００４２】そして、表示手段により、ユーザ入力情報
と、その入力情報と対応して記憶されている音声情報ま
たは画像情報の時系列情報記憶手段の圧縮状態について
の情報とが、表示画面に表示されるので、ユーザは、こ
の表示画面から、前述の例であれば、高品質で記憶され
ている情報は条件一致区間の、通常、重要とされる情報
であることを知ることができる。したがって、希望する
部分を取り出す検索作業が容易になる。

【００４３】請求項５の情報蓄積再生装置においては、
再生指定手段により、背景を表す情報としての記憶情報
の圧縮状態を手掛かりとしてユーザ入力情報を選択指定
することができる。例えば、圧縮率が低い情報ほど重要
度が高い情報に対応するユーザ入力情報を選択して編集
することで、主要な会議情報を抽出した会議議事録が作
成可能となる。

【００４４】請求項６の発明の情報蓄積再生装置におい
ては、ユーザ入力情報はその発生順に表示画面に表示さ
れる。そして、ユーザが表示画面に表示されている複数
個のユーザ入力情報のうちの一つを選択指定する操作を
行うと、対応情報記憶手段に記憶されている表示手段に
おける表示位置を特定する情報から、再生指示手段はそ
の指定されたユーザ入力情報を検出し、再生手段にその
ユーザ入力情報の再生指示を送る。

【００４５】再生手段は、再生指示されたユーザ入力情
報に対応する音声情報または画像情報の部分を、対応情
報記憶手段に記憶されている音声情報または画像情報の
部分の時系列情報記憶手段における記憶位置の情報に基
づいて特定して、これらのユーザ入力情報に対応する音
声情報または画像情報の部分を再生する。

【００４６】したがって、請求項６の発明によれば、表
示画面に表示された、ユーザ入力時点における背景を表
す情報を、音声情報や画像情報の検索のための手掛かり
として利用して、表示画面中のユーザ入力情報の中か
ら、必要とする一つのユーザ入力情報を、指定手段によ
り指定できる。そして、指定されたユーザ入力情報に対
応する音声情報または画像情報が、再生手段により再生
されるので、会議議事録などの編集作業が効率的に行わ
れるようになる。

【００４７】請求項７および請求項８の情報表示装置お
よび情報蓄積再生装置においては、入力順に表示された
複数のユーザ入力情報のうちの指定手段により指定され
たユーザ入力情報についてだけ、状態検出手段の検出結
果が表示される。したがって、状態検出結果の表示要求
が有ったときにだけ、必要なユーザ入力情報について状
態検出手段の検出結果を表示することができるので、表
示画面が繁雑になることはない。

【００４８】

【発明の実施の形態】以下、図面を参照して、この発明
の実施の形態について説明する。

【００４９】［第１の実施の形態］第１の実施の形態
は、この発明による情報蓄積再生装置を会議記録に適用
した場合である。

【００５０】図２は、この実施の形態の場合の会議風景
を示すもので、１０は、電子会議装置である。この電子
会議装置１０は、マーカーペンでホワイトボードに書き
込むのと同じ感覚で、プロジェクター・スクリーン上に
電子ペン１３を使用して自在に書き込みを行うことがで
き、議論の過程や、結論を電子ファイルとして記憶蓄積
することができるものである。このため、電子会議装置
１０は、パーソナルコンピュータ（図示せず）を内蔵す
る。

【００５１】なお、パーソナルコンピュータを介して、
例えばＩＳＤＮによるネットワークに接続することによ
り、会議の過程の音声情報や画像情報を遠隔地間で同時
に共有し、あたかも同じ部屋で会議を行っているような
環境を実現することも可能である。

【００５２】そして、この電子会議装置１０は、表示画
面１１を備える。この表示画面１１への画像の表示方式
は、スクリーンに背面から画像を投射して表示する、い
わゆるプロジェクション方式である。

【００５３】この場合、表示画面１１には、タッチパネ
ル１２が貼着されており、このタッチパネル１２により
電子ペン１３によるユーザ１４の手書き入力情報が検出
される。タッチパネル１２の出力、すなわち、ユーザ入
力情報検出出力は、表示画面１１上の電子ペン１３の接
触入力座標位置である。このユーザ入力情報検出出力
は、後述するようにして、パーソナルコンピュータによ
り処理されて、記憶蓄積される。

【００５４】また、この電子会議装置１０は、オーディ
オ入力端子およびビデオ入力端子を備える。この実施の
形態においては、マイクロホン１５により収音された複
数の会議出席者の発言の音声信号がオーディオ入力端子
を通じて入力される。また、ビデオカメラ１６で撮影さ
れた紙文書や会議風景の画像信号がビデオ入力端子を通
じて入力される。

【００５５】そして、オーディオ入力端子を通じて入力
された音声情報は、スピーカ１７により放音されると共
に、後述のようにして、内蔵のパーソナルコンピュータ
により処理されて、ユーザ入力情報および画像情報と関
連付けられて記憶蓄積される。

【００５６】この電子会議装置１０の表示画面には、当
該電子会議装置１０のビデオ入力端子に接続されている
ビデオカメラからの画像情報による画像と、この電子会
議装置のパーソナルコンピュータを通じて入力される電
子文書の画像とが、図２に示すように、それぞれ別のウ
インドウ画像１８Ａ、１８Ｂとして表示される。この表
示画面１１に表示される画像情報も、前記のユーザ入力
情報および音声情報と関連付けされて記憶蓄積される。

【００５７】そして、この電子会議装置１０に内蔵のパ
ーソナルコンピュータは、機能的に情報蓄積再生装置を
その内部に備える。この情報蓄積再生装置は、前記ユー
ザ入力情報、音声情報、画像情報を、以下に説明するよ
うにして記憶蓄積し、再生する。図２において、１９
は、その情報蓄積部である。

【００５８】図１は、この実施の形態の情報蓄積再生装
置を、その機能を中心にして示したブロック図である。
すなわち、この実施の形態の情報蓄積再生装置は、シス
テムバス２０に対して、ユーザ入力情報検出部２１、第
１記憶部２２、第２記憶部２３、状態検出部２４、表示
部２５、情報入力インターフェース部２６、再生指定部
２７、再生部２８、制御部３０が、それぞれ接続されて
構成される。

【００５９】各部はそれぞれ別ブロックとして構成され
ていてもよいし、１つのブロックが幾つかの処理部を含
むように構成されていてもよい。また、１つの処理部が
いつかのブロックに分割されて実装されていてもかまわ
ない。

【００６０】表示部２５は、前述したプロジェクション
方式の表示装置部分である。

【００６１】制御部３０は、全体の処理動作を制御す
る。ユーザ入力情報検出部２１は、前述したタブレット
１２により構成され、電子ペン１３によるユーザ入力を
検出し、そのペン筆跡情報をユーザ入力情報として出力
する。表示部２５には、ペン筆跡情報に応じたペン軌跡
が表示される。

【００６２】なお、ユーザ入力情報としては、ペン（ま
たはマウス／トラックボール／タッチパネルなど）から
の筆跡あるいは図形（線、四角形、円などのオブジェク
ト）の他に、筆跡データを文字認識したコード情報、キ
ーボードからのコード情報でもよい。また、表示されて
いるユーザ入力情報を移動／複写／削除したという編集
情報、ページ切り替えを行ったという情報、スチルカメ
ラのシャッターを押したという情報、仮想的な消しゴム
が用いられたという情報など、ユーザ入力情報が表示さ
れない性質のものであってもよく、この場合はそのユー
ザ入力情報の存在を示す所定のしるしを表示部２５に表
示する。

【００６３】すなわち、入力される時系列情報（例え
ば、音声または画像信号）が存在する間にユーザが計算
処理能力を持つ装置に対して行った入力は、いずれもこ
の発明でいうユーザ入力情報に相当する。

【００６４】第１記憶部２２は、最終的に蓄積する音声
情報および画像情報の記憶部であり、時系列情報記憶手
段を構成する。この第１記憶部２２は、記憶媒体とし
て、例えばディスク記憶媒体や半導体メモリを用い、書
き込みアドレスを制御して、順次入力される音声情報お
よび画像情報を記憶する。この例の場合、音声情報およ
び画像情報は、圧縮処理されずに記憶される。

【００６５】第２記憶部２３は、ユーザ入力情報（ペン
筆跡情報）のそれぞれと、それぞれのユーザ入力情報が
検出された時点近傍における状態検出部２４からの後述
するような検出結果の情報と、それぞれのユーザ入力情
報に対応して第１記憶部２２に記憶される音声情報およ
び画像情報の前記第１記憶部２２の記憶アドレスとを、
対応させて記憶するもので、対応情報記憶手段を構成す
る。この第２記憶部２３も、例えば半導体メモリや磁気
ディスク等で構成される。

【００６６】状態検出部２４は、ユーザ入力情報検出手
段２１でユーザ入力情報が検出された時点の近傍におけ
る周囲環境に関する情報、またはユーザ入力情報が検出
された時点の近傍で発生している事象に関する情報を検
出する処理手段で、この例では、マイクロホン１５から
の入力音声信号の特徴抽出に基づいて発言者の特定を行
い、その特定された発言者の名前の情報を検出結果の情
報として第２記憶部２３に送る。

【００６７】この場合、発言者の名前の情報としては、
各会議参加者の識別データＩＤ（参加者ＩＤ）が、第２
記憶部２３に記録される。表示部２５には、会議参加者
が、自己の参加者ＩＤ（例えば番号）に対応させて予め
自分の名前を登録することにより作成された会議参加者
名テーブルが保持されており、表示部２５は、参加者Ｉ
Ｄを状態検出部２４から取得すると、それを名前の文字
列データに変換して、後述するように、対応するユーザ
入力情報と関連が明確になる特定の表示位置に、当該名
前の文字列を表示する。

【００６８】情報入力インターフェース部２６は、時系
列情報の入力インターフェース部であり、この例では、
入力端子３１を通じたオーディオ入力信号がＡ／Ｄ変換
器３２によりデジタル信号に変換されて供給されると共
に、入力端子３３を通じた画像信号がＡ／Ｄ変換器３４
によりデジタル信号に変換されて供給される。

【００６９】再生指定部２７は、蓄積記憶したユーザ入
力情報、音声情報、画像情報を、ユーザ入力情報を指定
して再生する際に使用される。この再生指定部２７は、
後述するように、表示画面１１に表示されたユーザ入力
情報のうちから、タブレット１２を通じてユーザが指定
を行ったときに、その指定部分を再生部分として検出す
るものである。

【００７０】再生部２８は、再生指定部２７で指定され
たユーザ入力情報と状態検出結果の情報とを、第２記憶
部２３から読み出して再生して表示部２５により表示画
面１１に表示すると共に、このユーザー入力情報に対応
する音声情報および画像情報の再生部分を、第２記憶部
２３の記憶アドレス情報に基づいて検索して第１記憶部
２２から読み出して再生する。

【００７１】次に、以上のような構成の情報蓄積再生装
置における記録時の動作について説明する。

【００７２】図３は、この実施の形態における記録時の
動作を、その際の各種情報の流れ、および、各部の出力
の流れと共に説明する図である。

【００７３】マイクロホン１５からの音声信号およびビ
デオカメラ１６からの画像信号は、順次第１記憶部２２
に記憶される。マイクロホン１５からの音声信号は、ま
た、状態検出部２４に供給される。

【００７４】一方、会議参加者が電子ペン１３を操作し
て、ユーザ入力を行うと、これがユーザ入力情報検出部
２１で検出される。図４は、このユーザ入力情報検出部
２１の動作を説明するフローチャートである。すなわ
ち、タブレット１２がペン筆跡情報のユーザ入力を検出
すると（ステップＳ１０１）、その検出結果の情報（ペ
ン筆跡情報）が、表示部２５に出力されて表示され、ま
た、第２記憶部２３に供給されると共に、検出されたペ
ン筆跡入力時点の情報が状態検出部２４に出力される
（ステップＳ１０２）。以後、ユーザ入力がなされるご
とに、以上の動作が繰り返される。

【００７５】状態検出部２４では、この例においては、
前述したように、入力された音声信号について、発話者
を特定する処理を行い、ユーザ入力情報の検出時点で、
その時点近傍での発話者の名前に関する情報を、第２記
憶部２３に出力すると共に、発言開始点の情報を第１記
憶部２２に出力する。この例の場合には、発話者が誰で
あるかを認識する処理のために、予め、会議参加者が自
己の名前と、自己の声とを登録しておく。前述したよう
に、この例の情報蓄積再生装置は、各会議参加者のこれ
らの情報を、参加者ＩＤに対応付けて管理している。

【００７６】図５は、この状態検出部２４の動作を説明
するフローチャート、また、図６は、この状態検出部２
４の動作を説明する図である。なお、この状態検出部２
４の処理ルーチンは、例えば一定時間おきに実行され
る。

【００７７】この例では、状態検出部２４は、入力され
る音声信号の音量レベルが所定のレベル以上になったこ
とを検知して話者の発言の開始時点を認識する。このた
め、図５のフローチャートにおいて、ステップＳ１１１
では、入力音声レベルが、予め定めた所定レベル以上に
変化したか否か判別する。この例で言うところの、ある
時刻における音声レベルとは、その時刻の前後の音声レ
ベルを平滑化した値であり、例えば、前後の５秒間の瞬
間音声レベルの平均値である。

【００７８】ステップＳ１１１で、入力音声レベルが所
定レベル以上の変化したと判別したときには、ステップ
Ｓ１１２に進み、その変化検出時点から発言開始時点を
求め、状態検出部２４に内蔵の発言開始点レジスタ（図
示せず）の発言開始点データを更新する。この例の場
合、図６に示すように、音声レベル変化点Ｃｔ１，Ｃｔ
２を発言の開始時点とすると、発言の最初部分が記録で
きないので、音声レベル変化時点Ｃｔ１，Ｃｔ２よりも
一定時間Ｔだけ前の時点ｔ１，ｔ２を発言開始時点とし
て求め、これを発言開始点データとして、発言開始点レ
ジスタに、順次更新して記憶しておく。発言開始点レジ
スタには、常に、最新の発言開始点データが保持されて
いる。

【００７９】ステップＳ１１２の次には、ステップＳ１
１３に進む。また、ステップＳ１１１で、入力音声レベ
ルが所定レベル以上に変化したと判別しなかったときに
も、ステップＳ１１３にそのまま進む。

【００８０】ステップＳ１１３では、ユーザ入力情報検
出部２１からペン筆跡入力時点の情報が到来したか否か
判別する。ペン筆跡入力時点の情報が到来したことを判
別したときには、ステップＳ１１４に進み、発話者の識
別処理を実行する。すなわち、前記発言開始時点から始
まる音声信号の特徴と、登録されている会議参加者の音
声の特徴とのマッチング処理を行い、発話者を特定す
る。

【００８１】そして、次のステップＳ１１５に進み、特
定された発話者の名前に関する情報として、この例で
は、前述したように参加者ＩＤを第２記憶部２３に出力
すると共に、発言開始点レジスタの発言開始点データを
第１記憶部２２に出力する。また、発話者名に関する情
報としての参加者ＩＤは、表示部２５に供給されて、こ
の例では、表示されているユーザ入力情報の近傍に、当
該発話者の名前が表示される。

【００８２】以上のように、状態検出部２４は、常時、
発言開始時点の検出を行い、ユーザ入力情報の検出信号
であるペン筆跡入力時点の入力が有ったときには、発話
者名の情報を第２記憶部２３に供給すると共に、そのと
きの発言開始時点の情報を第１記憶部２２に供給する。

【００８３】例えば、図６に示すように、時刻ｔ３にお
いてペン筆跡情報が検出されたとすると、この時刻ｔ３
の直前に検出された音声レベル変化点Ｃｔ２よりも一定
時間Ｔ前の時点ｔ２が、発言開始点レジスタに保持され
ているので、状態検出部２４は、この時点ｔ２を発言開
始時点とする。そして、状態検出部２４は、この時点ｔ
２の情報を第１記憶部２２に送ると共に、そのときの発
話者名の情報を、表示部２５と第２記憶部２３に送る。

【００８４】なお、この例では、ペン筆跡入力時点ｔ３
に最も近い発言開始点ｔ２を発言開始点として判別して
出力するようにしたが、所定数前の発言開始点（例えば
ｔ１）を出力してもよい。また、第１記憶部２２に出力
する発言開始点として、ペン筆跡入力時点から、いくつ
前の発言開始点を出力するかをユーザが変更できるよう
にしてもよい。

【００８５】また、上述の実施例では、発言の音声が検
出されない時に、ペン筆跡情報が入力された場合には、
そのペン筆跡情報が入力された時点の直前の発言開始点
を出力するようにしたが、この場合も、第１記憶部２２
に出力する発言開始点として、ペン筆跡入力時点から、
いくつ前の発言開始点を第１記憶部４に出力するかをユ
ーザが変更できるようにしてもよい。

【００８６】表示部２５は、ユーザ入力情報検出部２１
からのペン筆跡情報を受けて、ユーザ入力情報を表示
し、また、状態検出部２４からの発話者名の情報として
の参加者ＩＤを受けて、その発話者名を、表示されたユ
ーザ入力情報との関連が分かるような位置に表示する。

【００８７】図７は、この表示部２５の処理のフローチ
ャートである。すなわち、ステップＳ１２１でユーザ入
力情報検出部２１からのペン筆跡情報が有ると判別する
と、ステップＳ１２２に進み、図８に示すように、その
ペン筆跡情報によるペン軌跡Ｐａを、表示画面１１に表
示する。

【００８８】ステップＳ１２２の次は、ステップＳ１２
３に進み、状態検出部２４からの発話者名の情報を取得
する。この例の場合には、参加者ＩＤを取得する。そし
て、次に、ステップＳ１２４に進み、この参加者ＩＤか
ら、図９に示すような参加者テーブルを参照して、発話
者名を取得し、その表示文字列データを生成する。そし
て、ステップＳ１２５に進み、ペン筆跡情報の表示位置
によって特定される表示位置、この例では、表示された
ペン軌跡Ｐａの表示位置の右隣りに、ステップＳ１２４
で生成した発話者名の表示文字列Ｓａを表示する。

【００８９】表示部２５は、以上の処理をユーザ入力情
報検出部２１からのペン筆跡情報が到来するごとに実行
する。ユーザ入力情報検出部２１によってペン筆跡情報
が入力されたことが検出されると、図８に示したよう
に、これらのペン筆跡情報は入力された順序で表示画面
１１に順次表示される。

【００９０】この例の場合、表示部２５は、図８に示す
ような表示態様で、前記ペン軌跡Ｐａと、発話者名の表
示文字列Ｓａを表示する。すなわち、図８の例では、２
つのユーザ入力情報を受けて、それを順次に表示した状
態であるが、それぞれのペン軌跡Ｐａに対して、発話者
名を左右括弧で囲み、当該ペン軌跡Ｐａの右端に表示す
る。

【００９１】この場合、表示部２５では、それぞれのペ
ン軌跡Ｐａ（図８の、「ａｂｃｄｅ」または「ｘｙ
ｚ」）を囲む最小矩形であるクリッピング枠ＣＬＷを算
出し、そのクリッピング枠ＣＬＷの右端から、距離ｄだ
け右方向に離れ、かつ、クリッピング枠ＣＬＷの半分の
高さの位置に並ぶように、発話者名（図８の例では
「（鈴木）」または「（田中）」）を表示する。

【００９２】第１記憶部２２は、状態検出部２４からの
発言開始点データを受けて、発言開始時点に対応する音
声信号および画像信号の記憶アドレスを、対応情報とし
て記憶させるために第２記憶部２３に送る。

【００９３】図１０は、この第１記憶部２２の動作を説
明するフローチャートである。

【００９４】第１記憶部２２はインターフェース部２６
を通じて入力された音声情報と画像情報とを順次記憶す
るが、この実施の形態では、前述したように、音声情報
および画像情報は圧縮せずに記憶する（ステップＳ１３
１）。

【００９５】そして、第２記憶部２３からの再生要求が
なければ（ステップＳ１３２）、スステップＳ１３３に
進んで、状態検出部２４からの発言開始点データを受け
取ったか否か判別する。発言開始点データを受け取った
ときには、ステップＳ１３４に進んで、発言開始時点に
対応する音声信号および画像信号の記憶アドレスを、第
２の記憶部２３に出力し、その後、ステップＳ１３５に
進む。また、ステップＳ１３３で発言開始点データを受
け取っていないと判別したときにも、このステップＳ１
３５に進む。

【００９６】ステップＳ１３５では、最新記録アドレス
を、記録したデータ量に応じて進める。その後、ステッ
プＳ１３１に戻る。

【００９７】次に、第２記録部２３の記憶時の処理動作
について説明する。第２記憶部２３は、ユーザ入力情報
検出部２１からのユーザ入力情報としてのペン筆跡情報
と、状態検出部２４からの発話者名の情報と、第１記憶
部２２からの発言開始時点の音声および画像信号の記憶
アドレスの情報を受けて、これらを対応付けて記憶す
る。この例では、第１記憶部２２からの記憶アドレスが
到来するときには、その記憶動作を実行するように動作
する。

【００９８】図１１は、第２記憶部２３の動作を説明す
るフローチャートである。第１記憶部２２から、発言開
始時点の音声情報および画像情報の記憶アドレスが到来
すると、第２記憶部２３は、その入力をステップＳ１４
２で検出する。そして、ステップＳ１４２の次にはステ
ップＳ１４３に進み、ユーザが入力したペン筆跡情報
と、このペン筆跡情報の画面上で表示位置を特定する情
報と、このペン筆跡情報が入力された時に入力された音
声信号および画像信号の第１記憶部２２内での記憶アド
レスと、状態検出部２４の検出結果である発話者名とを
対応付けて記憶する。

【００９９】ペン筆跡情報の画面上で表示位置を特定す
る情報としては、例えば、Ｘ−Ｙ座標軸上の絶対座標や
相対座標などが用いられる。

【０１００】図１２は、表示画面１１上の表示と、第１
記憶部２２のデータ記憶構造と、第２記憶部４のデータ
記憶構造とを対応させて、記憶動作を説明するための図
である。

【０１０１】この図１２の例は、図８に示した例と同様
に、２つのユーザ入力情報として、ペン筆跡情報Ａとペ
ン筆跡情報Ｂが入力され、それぞれ対応して状態検出部
２４で、そのときの発話者として、鈴木氏と田中氏が検
出された場合である。

【０１０２】この例では、各ペン筆跡情報Ａ、ペン筆跡
情報Ｂに対応する音声信号または画像信号の第１記憶部
２２の記憶アドレスとして、状態検出部２４の検出結果
である発言開始時点のアドレスａ１，ａ２を記憶するよ
うにしている。したがって、図１２に示すように、第１
記憶部２２の音声情報のメモリ部には、アドレスａ１以
降、所定時間に渡って鈴木氏の発言が記録されており、
また、アドレスａ２以降、所定時間に渡って田中氏の発
言が記録されている。

【０１０３】このときの第２記憶部２３の記憶情報は、
図１２の中ほどに示すようなものであり、そのデータ記
憶構造は、ペン筆跡情報と、表示部２５上の表示位置情
報と、第１記憶部２２上の記憶アドレスと、発話者名の
情報とからなる。

【０１０４】ユーザが入力したペン筆跡情報としては、
ユーザ入力情報を一意に特定する識別子ＩＤと、ユーザ
入力情報の種類を特定する情報とが記憶されている。表
示部３上の表示位置情報としては、Ｘ−Ｙ座標、図の例
では、座標（２０、３０）、座標（３０、４０）、座標
（６０、１０）、…と、座標情報の終端を表すｎｉｌと
が記憶されている。第１記憶部２２上の記憶アドレスと
しては、前述したように、発言開始点アドレスａ１とａ
２とが記憶されている。また、発話者名の情報として
は、前述したように、参加者ＩＤ（図のＩＤ１，ＩＤ２
は、実際には、「１」「２」などの番号）が記憶されて
いる。

【０１０５】なお、第２記憶部２３に記憶されるのは、
ペン筆跡情報、表示座標、記憶アドレスそのものではな
くそれらを特定する特定情報であってもよいし、第２記
憶部２３のデータ記憶構造はテーブルの形式でなく、リ
スト構造などの他の記憶構造で構成されていてもよい。
また、第２記憶部２３に記憶されるのは、上述のような
ペン筆跡情報、表示座標、記憶アドレス、発話者名その
ものではなく、それらを特定する特定情報であってもか
まわない。

【０１０６】この実施の形態のように、ユーザ入力情報
の種類を特定する情報をペン筆跡情報に含ませ、マルチ
プルラインなどを表現するまとまった座標点列を１つの
ペン筆跡情報として記憶させておけば、再生時にその座
標点列のうちいずれかが指定されれば、その座標点列に
対応するペン筆跡情報が特定できるようになり、同じ記
憶アドレスから音声または画像を再生できるようにな
る。

【０１０７】また、所定時間間隔内に連続入力された複
数の座標点列を１つのペン筆跡情報として記憶させてお
けば、１行の文字列を１つのペン筆跡情報と見なすこと
ができるため、文字列を構成する座標点列のうちいずれ
かが指定されれば、同じ記憶アドレスから音声または画
像を再生できるようになり、便利である。

【０１０８】次に再生時の動作について説明する。図１
３は、この第１の実施の形態における再生時の動作の概
要を、その際の各種情報の流れ、および、各部の出力の
流れと共に説明する図である。

【０１０９】表示部２５に表示された複数のペン筆跡情
報のうち１つをユーザがペンを用いて指定（ポインティ
ング）することにより、第１記憶部２２に記憶された音
声および画像信号のうち、そのペン筆跡情報が入力され
た時点の前後に入力された音声信号または画像信号のみ
を部分的に再生可能である。

【０１１０】また、そのペン筆跡情報が入力された時点
の前後に入力された音声信号および画像信号のうち、発
話者が発言していた部分の音声信号および画像信号の最
初にさかのぼって再生できる。

【０１１１】この例の場合に、再生指定に用いる再生指
定部２７としては、この実施の形態では入力用のペンと
兼用されている。

【０１１２】なお、この再生指定部２７としては、マウ
ス、トラックボール、カーソルキー、タッチパネル等を
用いることもできる。また、ペン筆跡情報の指定方法と
しては、ポインティングによる指定、囲み（閉曲線や楕
円などによる囲み）による指定、識別子入力による指
定、表示されている項目の下に線を引くような指定など
によるものでもよい。

【０１１３】また、囲みによる指定や下線による指定を
行なった結果、複数のペン筆跡情報が選択された場合に
は、なんらかの優先順位に基づいて１つを特定するよう
にする。例えば、選択された中で最も早く入力されたペ
ン筆跡情報や、最も左上に表示されたペン筆跡情報を自
動的に選ぶ等の特定方法を用いることができる。

【０１１４】表示画面１１上の表示位置は、Ｘ−Ｙ座標
によって特定できるので、ペンなどの再生指定部２７に
よってある表示位置が指定されると、その表示位置に対
応するＸ−Ｙ座標が特定される。

【０１１５】このようにして、再生指定部２７から再生
要求があると、第２記憶部２３での動作の図１１のフロ
ーチャートのステップＳ１４１において、それが検出さ
れて、ステップＳ１４４に進み、再生指定部２７により
指定された座標情報と第２記憶部２３に記憶されている
Ｘ−Ｙ座標から算出されるＸ−Ｙ座標群（図１２のペン
筆跡座標を端点とするマルチプルラインを構成する全て
の点座標群）とを比較して、対応するペン筆跡情報を特
定する。

【０１１６】続いて、ステップＳ１４５において、この
ペン筆跡情報に対応した音声情報および画像信号の再生
開始アドレスを特定し、次のステップＳ１４６におい
て、そのアドレスと再生要求を第１記憶部２２に出力す
る。

【０１１７】その後、再生開始アドレスと再生要求とを
受け取った第１記憶部２２は、図１０のステップＳ１３
２においてその入力を検知し、ステップＳ１３６に進ん
で、再生開始アドレスと再生要求とを含む再生開始要求
を再生部２８に出力する。

【０１１８】なお、図１１のステップＳ１４４での座標
比較の時に、少しずれた座標ともマッチングするように
しておけば、指定時に多少ずれた座標点を指定しても、
所望の記憶アドレスを取得できる。

【０１１９】また、ユーザ入力情報が表示されない性質
のものであった場合にでも、そのユーザ入力情報の存在
を示す所定のしるしが表示部２５に表示されているの
で、同様の方法によって所望の記憶アドレスを取得でき
る。さらに、記録時の動作説明で述べたように、まとま
った座標点列を１つのペン筆跡情報に対応させて第２記
憶部５に記憶させてあった場合には、その座標点列のう
ちいずれかがマッチングすれば、所望の記憶アドレスを
取得できる。

【０１２０】再生部２８は、第１記憶部２２からの再生
開始要求により再生を実行する。図１４は、この再生部
２８の処理のフローチャートである。ステップＳ１５１
で第１記憶部２２からの前記の再生開始要求を検知する
と、ステップＳ１５２に進み、指定された第１記憶部２
２内の再生開始アドレスからの音声信号および画像信号
の再生を開始する。

【０１２１】再生時には再生速度を変化させたり少し巻
き戻ししてゆっくり再生したい場合がよくあるので、早
送り機能、巻き戻し機能、スロー再生機能、一時停止機
能をこの発明の装置に具備してもよいし、時間軸上のス
ライドバーを設け、現在再生している時刻を示すポイン
タをスライドバーに表示したり、スライドバーをスライ
ドさせることによって再生位置を指定できるようにして
もよい。

【０１２２】また、再現する速度に関して、必ずしも記
録された時刻情報の通りに再現する必要はなく、記録さ
れた順序関係だけは守って速度を上げて再現するように
してもよいし、特定話者の発言が記録されている区間だ
けを間引いて再生するようにしてもよい。さらに、再生
を一時停止した後、再生指示部２７によって再生箇所を
指定できるようにしてもよいし、新たなユーザ入力情報
を追記できるようにしてもよい。

【０１２３】以上のように、上述した第１の実施の形態
によれば、音声情報および画像情報の記録時に、表示画
面１１にユーザ入力情報を順次に表示すると共に、各ユ
ーザ入力情報の表示位置に対応して各ユーザ入力情報が
入力された時点近傍における発話者名を表示するように
したので、表示画面を見るだけで、ユーザ入力としての
書き込みに対して、だれが発言しているかを知ることが
できる。

【０１２４】そして、情報蓄積が終了した後には、この
発話者の情報を検索の手掛かりとして、この表示画面を
見ながら、ユーザ入力情報の一つを選択する操作を行う
ことにより、所望の音声情報および画像情報部分を検索
することができる。例えば、特定の発話者のコメントの
検索が容易である。また、特定の発話者ごとの音声情報
部分と、そのときの周囲状況の画像情報部分を検索し
て、まとめるなどの編集作業も容易に行うことができ
る。

【０１２５】なお、上述の例では、ユーザ入力情報であ
るペン筆跡情報の右端に状態検出部２４の検出結果であ
る発話者名を表示するようにしたが、状態検出部２４の
検出結果の表示位置はペン筆跡情報の右端に限られな
い。すなわち、各ペン筆跡情報と、各状態検出部３の検
出結果とが対応していることを、表示上明らかにわかる
ように表示すればよい。例えば、ペン筆跡情報に隣接し
た上下左右いずれかの位置に状態検出部２４の検出結果
である発話者名を表示したり、参照番号（例えば参加者
ＩＤ）のみをペン筆跡情報に隣接した位置に表示し、脚
注や余白に、参照番号と発話者名とを表示してもよい。
また、通常は状態検出部２４の検出結果を表示せず、ユ
ーザの要求があった場合にのみ、表示するようにしても
よい。

【０１２６】また、上述の例では、状態検出部３の検出
結果として発話者名を表示するために文字列を表示する
例について説明したが、表示部２５に表示される状態検
出部２４の検出結果としては発話者を特定できるものを
表示できればよく、発話者名の文字列に限られない。例
えば、発話者を示すために、発話者の顔写真、発話者の
似顔絵、発話者を識別するためのマークを表示してもよ
い。

【０１２７】さらに、発話者の発話時間や発話時刻など
を発話者名や発話者の顔写真などの発話者を特定する情
報と一緒に表示してもよい。

【０１２８】なお、上述の例では、状態検出部２４は、
発言開始点から始まる音声信号の特徴（声紋など）を認
識して発話者を特定するようにしたが、発話者を特定す
る方法としては、この方法に限らない。例えば、画像情
報による顔や口の動きから発話者を特定する方法、複数
のマイクロホンを設置し、それらのマイクロホンから入
力される音声信号を解析して音源の位置を検知（各自に
マイクロホンを持たせて音声入力レベルを比較したり、
音声信号の位相差を解析したりする）し、発話者を特定
する方法を用いることもできる。また、各会議参加者毎
の発言用ボタンを設ける等して、発話者が明示的に発言
中であることを状態検出部２４に対して通知するように
してもよい。

【０１２９】また、上述の例では、一つのユーザ入力情
報に対して一人の発話者を検出して、その名前を表示す
るようにしたが、ユーザ入力情報に対応する発話者とし
て、複数人の発話者を特定し、それら複数人の発話者の
名前をユーザ入力情報に対応して表示するようにしても
よい。

【０１３０】また、入力された音声信号および画像信号
を第１記憶部２２に記憶する際は、圧縮処理を施した
後、記憶してもよい。この場合、画像信号の圧縮には、
フレーム内圧縮、間欠記録、色情報間引き、輝度情報間
引き等の方法がある。特に、動画像情報を圧縮する方法
としては、フレーム内での圧縮法とフレーム間の圧縮法
があり、フレーム内の圧縮法としてはベクトル量子化を
用いた方法、離散コサイン変換を用いた方法などがあ
る。また、フレーム間の圧縮法としては前後フレームの
画像情報の差分のみを記録する方法などがある。また、
音声信号の圧縮には、サンプリング周波数を減らす、符
合化ビット数を減らす、チャンネル数を減らす等の方法
がある。

【０１３１】なお、上述の第１の実施の形態における状
態検出部２４が検出する事象は、以上の例の発話者の特
定に限られず、例えば、音声入力の有無、発話者の交
替、音声信号の中の予め登録されたキーワードの出現、
音声信号の中の予め登録された音声パターンの出現、画
像信号の中の予め登録された文字列の出現、画像信号の
中の状態、外部センサが検知した状態、カメラ操作信号
の状態などでもよい。すなわち、入力されるマルチメデ
ィア情報（例えば、音声または画像信号）の状態、また
は入力されるマルチメディア情報が存在する間に外部セ
ンサが検知した信号の状態を検出する手段は、いずれも
状態検出部２４に相当する。

【０１３２】［第２の実施の形態］前述した第１の実施
の形態では、ユーザ入力情報検出部２１によってユーザ
入力情報の入力が検出されたときに検出された状態検出
部２４の検出結果を、ユーザ入力情報の表示位置によっ
て特定される表示位置に表示するようにしたが、この第
２の実施の形態では、ユーザ入力情報検出部２１によっ
てユーザ入力情報の入力が検出されたときに検出された
状態検出部２４の検出結果に応じて、ユーザ入力情報の
表示書式を変えて表示するようにする。他は、第１の実
施の形態と同様である。

【０１３３】この例では、ユーザ入力情報の表示書式を
変えて表示する方法の例として、ユーザ入力情報を、そ
れに対応して状態検出部２４で検出された発話者ごとに
異なる色で表示するようにする。

【０１３４】この第２の実施の形態の情報蓄積再生装置
は、図１に示したものと基本的に同一の構成を有する
が、ユーザ入力情報検出部２１で検出するユーザ入力情
報は、キーボードから入力された文字情報の場合であ
り、状態検出部２４の処理としては音声信号の特徴抽出
に基づいて発話者を特定する処理の場合である。

【０１３５】この第２の実施の形態では、ユーザ入力情
報検出部２１は、キーボードを通じて所定時間間隔内に
連続入力された複数の文字を１つの文字列情報（ユーザ
入力情報）として認識する。

【０１３６】キーボードからの入力速度は、ユーザのキ
ーボード打鍵習熟度に大きく依存するので、前記の所定
時間間隔は、ユーザによって変更できるようにしてもよ
い。さらに、改行キーが入力された時には、前記の所定
時間間隔内に連続入力された文字であっても、改行の次
の文字からは別の文字列情報として処理するようにして
もよい。

【０１３７】以上のように、所定時間間隔内に連続入力
された文字列を１つの文字列情報として扱うようにする
ことで、音声信号および画像信号を再生する時、文字列
を構成する文字のうちいずれかが指定されれば、同じ記
憶アドレスから音声および画像を再生できるようになり
便利である。

【０１３８】図１５は、この例の場合の表示部２５での
表示処理を示すフローチャートである。ステップＳ１６
１でユーザ入力情報検出部２１からの文字列情報が有る
と判別すると、ステップＳ１６２に進み、状態検出部２
４からの発話者名の情報の到来を待って取得する。この
例の場合には、参加者ＩＤを取得する。そして、ステッ
プＳ１６３に進み、発話者ごとに異なる色の表示文字列
を生成する。

【０１３９】この例の場合、予め、例えば、鈴木氏であ
れば青色、田中氏であれば緑色など、各会議参加者に対
応した色が、図１６のように参加者テーブルに設定され
ている。ステップＳ１６３では、この参加者テーブルを
参照して、状態検出部２４から取得した参加者ＩＤで示
される発話者の文字色を検知し、この文字色にて、ステ
ップＳ１６１で得た表示文字列を生成する。また、ステ
ップＳ１６３では、文字色と発話者名との対応のための
凡例の表示情報も生成する。

【０１４０】そして、ステップＳ１６４に進み、図１７
に示すように、ユーザ入力情報の文字列情報の表示文字
列ＬＴを、表示画面１１に表示する。また、文字色と発
話者名との対応のための凡例表示ＩＮＤＸを、例えば画
面１１の右下に表示する。図において、網点模様の違い
は、色の違いを表している。なお、凡例表示ＩＮＤＸの
近傍に表示されている「−３−」はページ番号である。

【０１４１】表示部２５は、以上の処理をユーザ入力情
報検出部２１からの文字列情報が到来するごとに実行す
る。

【０１４２】すなわち、ユーザ入力情報検出部２１によ
って文字列がキーボードから入力されたことが検出され
ると、この文字列は入力された順序で表示画面１１に順
次表示される。そして、図１７に示すように、表示ペー
ジ毎に、使用された文字色に対応する凡例ＩＮＤＸが、
脚注として自動的に表示画面１１に表示される。

【０１４３】図１８は、第２記憶部２３のデータ記憶構
造を説明する図で、この例においては、第２記憶部２３
は、ユーザが入力した文字列情報と、この文字列情報の
画面上の表示位置を特定する情報と、この文字列情報が
入力された時に入力された音声信号および画像信号の、
第１記憶部２２内での記憶アドレスと、発話者を特定す
る情報、この例では、参加者ＩＤとを対応付けて記憶す
る。

【０１４４】この例においても、第２記憶部２３のデー
タ記憶構造は、前述した第１の実施の形態の場合と同様
にして、図１８のようなテーブルの形式で各文字列情報
毎に記憶する形式ではなく、リスト構造などの記憶構造
であってもよい。

【０１４５】なお、ユーザ入力情報としての文字列の文
字表示書式を発話者ごとに異ならせる方法としては、文
字色を変える方法に限られるものではなく、例えば、文
字フォント、文字サイズ、アンダーライン、網かけなど
を各発話者（会議参加者）毎に設定して変えるようにし
てもよい。

【０１４６】また、行間隔、字間、インデント幅（タブ
幅）など、レイアウトに関する属性を発話者に応じて変
更してもよい。例えば、キーボードから入力された文字
列を、各発話者に応じたインデント幅で行頭を自動的に
ずらして表示するといった文字表示書式の変更方式で表
示することもできる。また、文字表示書式以外の表示書
式を設定してもよく、ユーザ入力情報がペン筆跡情報の
場合には、線種、太さなどを発話者に応じて変更可能と
してもよい。

【０１４７】このように、第２の実施の形態によれば、
状態検出部で検出された発話者名が表示される代わり
に、ユーザ入力情報の表示が発話者毎に異なる書式で表
示されるため、発話者名が画面１１に表示される場合に
比べて、画面が繁雑になることが回避できる。

【０１４８】［第３の実施の形態］この第３の実施の形
態においては、前述の第１の実施の形態において、状態
検出部２４の検出結果を修正するための編集手段を具備
する。すなわち、この実施の形態においては、例えば、
誤って認識された発話者名が表示画面１１に表示された
場合には、その誤った発話者名を修正できるようにす
る。

【０１４９】例えば、図１９Ｂのように、「２．ｘｙ
ｚ」と電子ペン１３によりユーザが入力しようとした
が、図１９Ａに示すように、「２．」を入力した後に、
入力操作を中断したとする。すると、ユーザ入力情報検
出部２１は、それをユーザ入力情報のペン筆跡情報とし
て認識し、ペン筆跡入力時点の情報を状態検出部２４に
送るため、状態検出部２４は、そのときの発話者を特定
し、その発話者名の情報を表示部２５に送る。このた
め、表示部２５は、ペン筆跡情報「２．」の右横に、そ
の発話者名を表示するように処理を行う。

【０１５０】しかし、図１９Ａで点線の丸で囲んで示す
位置は、「２．」を入力した後に、本来、ユーザが続け
て入力する「ｘｙｚ」を表示すべき位置である。このよ
うに、本来、ユーザ入力情報を表示すべき位置に、状態
検出部２４の検出結果である発話者名が表示されてしま
った場合に、状態検出部２４の検出結果を消す操作を明
示的に行なうことは煩わしい。

【０１５１】そこで、この第３の実施の形態では、「表
示されている状態検出部２４の検出結果の上に、新たに
ユーザ入力情報を上書きすると、上書きされた状態検出
部２４の検出結果を消去する」という編集ルールを、表
示部２５に対して設定しておけるようにしている。

【０１５２】図２０は、この編集ルールが設定された表
示部２５の処理のフローチャートである。ステップＳ１
７１でユーザ入力情報検出部２１からのペン筆跡情報が
有ると判別すると、ステップＳ１７２に進み、表示画面
１１の発話者表示の上に、ペン筆跡情報が上書きされた
か否かを判別し、上書きでなければそのままステップＳ
１７４に進む。また、上書きであると判別したときに
は、ステップＳ１７３に進み、表示されていた発話者名
の表示を消去した後、ステップＳ１７４に進む。

【０１５３】ステップＳ１７４では、図１９に示すよう
に、そのペン筆跡情報によるペン軌跡Ｐａを、表示画面
１１に表示する。ステップＳ１７４の次は、ステップＳ
１７５に進み、状態検出部２４からの発話者名の情報を
取得する。この例の場合には、参加者ＩＤを取得する。
そして、次に、ステップＳ１７６に進み、この参加者Ｉ
Ｄから、図９に示したような参加者テーブルを参照し
て、発話者名を取得し、その表示文字列データを生成す
る。そして、ステップＳ１７７に進み、ペン筆跡情報の
表示位置によって特定される表示位置、この例では、表
示されたペン軌跡Ｐａの表示位置の右隣りに、ステップ
Ｓ１７６で生成した発話者名の表示文字列Ｓａを表示す
る。

【０１５４】表示部２５は、以上の処理をユーザ入力情
報検出部２１からの文字列情報が到来するごとに実行す
る。

【０１５５】以上の処理により、図１９Ａのような表示
状態になったときには、発話者名の表示「鈴木」の上
に、ユーザが電子ペン１３により、上書きすることによ
り、発話者名の表示「鈴木」が消去され、ペン入力され
た「ｘｙｚ」が、図１９Ｂに示すように表示されるもの
である。

【０１５６】なお、前述の編集ルールの代わりに、例え
ば、表示されている状態検出部２４の検出結果の上に、
新たにユーザ入力情報を上書きすることで、誤った状態
検出部２４の検出結果によって変更されていた部分の表
示を、自動的にＵＮＤＯし、元の表示に戻すというルー
ルを設定しておいてもよい。

【０１５７】また、発話者認識の過程では、複数の発話
者が中間結果として得られるが、その得られた中間結果
を第２記憶部２３に保存しておき、ユーザからの修正要
求が発生した場合に、第２記憶部２３に記憶されていた
発話者認識の中間結果に基づき、発話者名の次候補を表
示画面１１に表示して、その中から正しい発話者を選択
指示できるようにしてもよい。この選択指示の際には、
状態検出部２４の発話者認識処理の中間結果として得ら
れる、認識結果の信頼度が参照される。

【０１５８】以上の例は、ユーザ入力情報に対応する状
態検出部２４の検出結果として、発話者名を表示する場
合の例であるが、発話者名を表示する代わりに、状態検
出部２４により検出された発話者に応じて、ユーザ入力
情報の表示書式を変える場合にも適用可能である。すな
わち、その場合には、例えば、ユーザがペン入力を中断
したため、間違って表示されたユーザ入力情報の表示書
式を、その後、ペン入力操作を実行することにより、正
しく修正できるようにする。

【０１５９】［第４の実施の形態］第１の実施の形態に
おいては、状態検出部２４の検出結果を、ユーザ入力情
報の入力が検出されたときに表示画面１１に表示してい
たが、状態検出部２４の検出結果を表示画面１１に表示
するタイミングは、ユーザ入力情報の入力が検出された
ときに限られない。また、第２の実施の形態において
は、ユーザ入力情報が入力されたときに、状態検出部２
４の検出結果に基づいてユーザ入力情報の表示書式を変
えて表示していたが、ユーザ入力情報の表示書式を変え
るタイミングはユーザ入力情報の入力が検出されたとき
に限られない。

【０１６０】この第４の実施の形態では、通常は、状態
検出部２４の検出結果を表示画面１１に表示せず、要求
があった場合にのみ表示する。他は、第１の実施の形
態、第２の実施の形態または第３の実施の形態の場合と
同様である。

【０１６１】以下に説明する例においては、ユーザ入力
情報はキーボードから入力された文字情報の場合であ
り、状態検出部２４の処理としては音声信号の特徴抽出
に基づいて発話者を特定する処理の場合である。また、
再生指定部２７によりユーザ入力情報を指定する方法と
しては、マウスを用いた指定の場合である。

【０１６２】この第４の実施の形態では、表示画面１１
上で、マウスポインタを任意の文字列情報の表示の上に
一定時間以上静止させることで、その文字列情報を指定
することができる。図２１は、この第４の実施の形態に
おける表示部２５のマウス入力処理のフローチャートで
ある。

【０１６３】すなわち、ステップＳ１８１で、マウス入
力が検出されると、ステップＳ１８２に進み、マウスで
指定された位置を示すマウスポインタが、表示画面１１
上に表示されている文字列の上で、一定時間以上、静止
したか否か判別する。ステップＳ１８２で、一定時間以
上は静止していない、あるいは文字列の上ではないと判
別したときには、ステップＳ１８４に進み、マウスの指
示入力に応じた他の処理を実行する。

【０１６４】また、ステップＳ１８２で、マウスポイン
タが文字列の上で、一定時間以上、静止したと判別した
ときには、ステップＳ１８３に進み、指定された文字列
に対応した第２記憶部２３に記憶されている発話者情報
により特定される発話者名が、マウスポインタと隣り合
った位置に表示される。

【０１６５】図２２は、この実施の形態の表示例であ
る。この例の場合には、文字列「ｘｙｚ」が入力された
時に発言していた田中氏の名前の表示ＴＧが、「ｘｙ
ｚ」の文字列ＬＴの上でマウスポインタＭＰを１秒以上
静止させたタイミングで、ポップアップ表示される。

【０１６６】なお、発話者名をユーザ入力情報の文字列
に対応させて表示するために、文字列上を指定する方法
としては、マウスを用いる方法に限らず、入力用の電子
ペン１３を兼用することもできるし、トラックボール、
カーソルキー、タッチパネル等を用いることもできる。
また、発話者名の表示方法としては、ポップアップ表示
の以外に、脚注表示などをしてもよい。

【０１６７】また、通常は非表示であった状態検出部２
４の検出結果を表示する場合に、ユーザ入力情報の指定
を必要としない方法であってもよい。例えば、表示され
ているページに含まれている状態検出部２４の検出結果
をすべて表示するためのボタンを備えてもよい。さら
に、表示されているページに表示されている状態検出部
２４の検出結果をすべて非表示にするためのボタンを備
えてもよい。

【０１６８】この第４の実施の形態においては、ユーザ
入力情報が指定されたときにのみ、指定されたユーザ入
力情報が入力されたときに検出された状態検出手段の検
出結果を表示するように構成したので、状態検出手段の
検出結果を、ユーザから要求があった場合にのみ表示で
き、状態検出手段の検出結果を表示することによって表
示画面が繁雑になるという問題を抑えられる効果があ
る。

【０１６９】［第５の実施の形態］この第５の実施の形
態の情報蓄積再生装置も、図１に示したものと基本的に
同一の構成を有するが、ユーザ入力情報の入力時点で状
態検出部２４で検出する周囲状況を示す情報あるいは発
生する事象が、第１の実施の形態、第２の実施の形態、
第３の実施の形態または第５の実施の形態とは異なる。
他は、前述の各実施の形態と同様である。

【０１７０】この第５の実施の形態では、状態検出部２
４は、入力される音声信号の中に予め登録されたキーワ
ードが出現したことを検出する。この場合、状態検出部
２４に、予め、「宿題」「アクションアイテム」「課
題」「結論」「決定」「重要」「まとめ」などのキーワ
ードを登録しておく。

【０１７１】そして、状態検出部２４では、入力された
音声信号を音声認識処理により順次文字列情報に変換
し、形態素解析をするなどして、その文字列情報から語
句を抽出し、この抽出した語句を、予め登録しておいた
文字列キーワードと比較し、キーワードを検出する。図
２３は、この例の場合の状態検出部２４の処理のフロー
チャートである。

【０１７２】状態検出部２４は、ステップＳ１９１で、
ユーザ入力情報検出部２１からのユーザ入力情報の入力
検出情報（第１の実施の形態の場合であれば、ペン筆跡
入力時点）の取得を確認すると、ステップＳ１９２で、
このペン筆跡入力時点によって特定される発言開始点か
ら、そのユーザ入力情報の入力時刻までの音声信号の中
に、予め登録されていた文字列キーワードのいずれかが
出現したかどうかを調べる。この場合、ユーザ入力情報
の入力時刻によって特定される発言開始点は、第１の実
施の形態で図６を用いて説明したように、ユーザ入力時
点の直前の発言開始点でもよいし、あるいはユーザによ
り指定された幾つか前の発言開始点であってもよい。

【０１７３】そして、ステップＳ１９３で、キーワード
検出の結果、予め登録されていた文字列キーワードのい
ずれかが出現したことが検出された場合には、ステップ
Ｓ１９４に進み、検出したキーワードの情報を表示部２
５と、第２記憶部２３に供給すると共に、第１記憶部２
２に、前記特定された発言開始点を供給する。

【０１７４】ステップＳ１９３で、キーワード検出の結
果、予め登録されていた文字列キーワードを検出できな
かったときには、ステップＳ１９５に進み、検出できな
かった旨を表示部２５と、第２記憶部２３に供給する。
状態検出部２４は、以上の処理を、ユーザ入力の検出情
報が到来するごとに行う。

【０１７５】図２４は、この例の表示部２５の処理のフ
ローチャートである。すなわち、ステップＳ２０１でユ
ーザ入力情報検出部２１からのユーザ入力検出情報を取
得した判別すると、ステップＳ２０２に進み、そのユー
ザ入力情報、例えばペン筆跡情報によるペン軌跡Ｐａ
を、表示画面１１に表示する。

【０１７６】ステップＳ２０２の次は、ステップＳ２０
３に進み、状態検出部２４で登録キーワードを検出した
かどうか、つまり、キーワードの情報を取得したか、あ
るいはキーワード非検出の情報を取得したかを判別す
る。そして、ステップＳ２０３で、キーワードの情報を
取得したときには、ステップＳ２０４に進み、そのキー
ワードを、ユーザ入力情報の表示位置によって特定され
る表示位置、この例では、表示されたペン軌跡の表示位
置の右隣りに表示する。

【０１７７】また、ステップＳ２０３で、キーワード非
検出の情報を取得したときには、キーワードは表示され
ず、ステップＳ２０１に戻る。この場合、非検出を示す
マークを表示するようにしてもよい。

【０１７８】表示画面１１には、キーワードの文字列以
外にも、そのキーワードが出現したことを示すマークを
表示してもよい。また、単位時間あたりにある一定回数
以上出現したキーワードのみを表示するようにしてもよ
い。

【０１７９】また、状態検出部２４で、音声キーワード
を検出する代わりに、予め登録した特定の音声パターン
を検出するようにしてもよい。すなわち、例えば、音声
認識によってキーワードを検出することが困難な場合に
でも、笑い声のパターン、拍手のパターン、活発な対話
のパターンなどの特徴的な音声信号パターンであれば、
公知のパターン認識技術（例えば、音声信号のパワーま
たは周波数成分の時間的遷移を解析する技術など）を用
いて、認識できる場合がある。

【０１８０】例えば、１人の発話者が発言を終了してか
ら、他の発話者が発言を開始するまでの時間が短いほ
ど、活発な対話が行なわれていることが判断できる。こ
れらの特徴的な音声信号のパターンを予め登録してお
き、順次入力される音声信号から抽出される音声信号の
パターンと比較する。パターン認識の認識率を上げるた
めに、発話者ごとに、音声パターンを登録しておいても
よい。

【０１８１】この例の場合には、ユーザ入力情報検出部
２１によってユーザ入力情報の入力が検出されると、そ
のユーザ入力情報の入力時刻によって特定される発言開
始点から、そのユーザ入力情報の入力時刻までの音声信
号の中に、予め登録されていた音声パターンのいずれか
が出現したかどうかが調べられる。予め登録されていた
音声パターンのいずれかが出現したことが検出された場
合には、その音声パターンが出現したことを示す文字列
やマークを、ユーザ入力情報の表示位置によって特定さ
れる表示位置に表示する。

【０１８２】図２５は、この第４の実施の形態の場合の
表示画面１１の表示例である。図２５Ａは、音声信号中
に「まとめ」というキーワードが検出された場合であ
る。また、図２５Ｂは、音声信号中に、「笑い」の音声
パターンが検出された場合である。

【０１８３】この第５の実施の形態によれば、入力され
る音声信号の中に、予め登録したキーワードまたは音声
パターンが出現したことを、状態検出部２４によって検
出するように構成したので、音声信号の中に出現したキ
ーワードまたは音声パターンを表示することができ、そ
の表示を手掛かりに音声信号または画像信号を検索でき
る効果がある。

【０１８４】［第６の実施の形態］前述の第５の実施の
形態は、状態検出部２４で、音声信号中に、予め登録さ
れたキーワード文字列や音声パターンが出現したことを
検出するようにしたが、この第６の実施の形態では、状
態検出部２４で、入力される画像信号の中に予め登録さ
れた文字列キーワードが出現したことを検出するように
する。

【０１８５】この第６の実施の形態では、状態検出部２
４は、例えば、ホワイトボードなどに書かれた文字を、
画像認識処理により順次文字列情報に変換し、その文字
列情報から語句を抽出し、この抽出した語句を、「宿
題」「アクションアイテム」「課題」「結論」「決定」
「重要」「まとめ」などの予め登録しておいた文字列キ
ーワードと比較して、いずれかのキーワードが検出する
ようにする。

【０１８６】コンピュータからの出力を表示する電子ホ
ワイトボードのように、表示される画像信号がコンピュ
ータからの出力である場合には、コンピュータから入力
される情報（文字コード情報など）を入力画像信号とし
てもよい。

【０１８７】そして、この例の場合には、ユーザ入力情
報検出部２１によってユーザ入力情報の入力が検出され
ると、状態検出部２４によって、抽出された語句が、予
め登録されていた文字列キーワードのいずれかと一致し
たかどうかが調べられ、一致した場合には、その文字列
キーワードがユーザ入力情報の表示位置によって特定さ
れる表示位置に表示される。

【０１８８】ただし、この例の場合、各キーワード文字
列毎に、そのキーワード文字列が検出された時から、ど
れだけの時間、その検出結果が有効かを決めるキーワー
ド有効期間が、状態検出部２４に記憶されている図２６
Ａに示すようなテーブルに設定されており、有効期間内
にユーザ入力情報が入力されなかった場合には、状態検
出部２４は、キーワードの出力を表示部２５および第２
記憶部２３には供給せず、表示画面１１には、そのキー
ワードは表示されない。

【０１８９】なお、表示画面１１には、文字列キーワー
ド以外にも、そのキーワードが出現したことを示すマー
クを表示してもよい。また、単位時間あたりにある一定
回数以上出現したキーワードのみを表示するようにして
もよい。

【０１９０】また、状態検出部２４で、画像信号中に、
文字列キーワードを検出する代わりに、画像信号の中
に、予め登録した特定の状態を検出するようにしてもよ
い。すなわち、例えば、画像認識によって文字列キーワ
ードを検出することが困難な場合にでも、入力される画
像信号から、動き、輝度変化、色分布変化などの状態を
検出できる場合がある。

【０１９１】たとえば、ホワイトボードや書画映像など
を記録している際中に、加筆やページ切り替えがあった
ことを認識することは、特開平４−２８６２９３号公報
に記載されているように、公知のフレーム間差分検出技
術によって可能である。また、会議室の様子を記録して
いるとき、ＯＨＰが点灯したことや、プロジェクタが点
灯したことなどを認識するには、輝度変化等を検出する
ことで可能である。これらの画像信号の状態のパターン
を予め登録しておき、順次入力される画像信号から抽出
される画像信号の状態と比較する。

【０１９２】すなわち、この例の場合には、ユーザ入力
情報検出部２１によってユーザ入力情報の入力が検出さ
れると、状態検出部２３によって、抽出された画像信号
パターンが、予め登録されていた画像信号パターンのい
ずれかと一致したかどうかが調べられ、一致した場合に
は、その画像信号パターンが出現したことを示すマーク
がユーザ入力情報の表示位置によって特定される表示位
置に表示される。

【０１９３】ただし、この例の場合も、前記特定の状態
を示す各画像信号パターンを登録すると共に、その画像
信号パターン毎に、その画像信号パターンが検出された
時からどれだけの時間その検出結果が有効かを決めるパ
ターン有効期間が、状態検出部２４に記憶されている図
２６Ｂに示すようなテーブルに設定されており、有効期
間内にユーザ入力情報が入力されなかった場合には、そ
の画像信号パターンが出現したことを示すマークは表示
されない。

【０１９４】［第７の実施の形態］この第７の実施の形
態では、状態検出部２４は、カメラワーク（カメラ操
作）またはカメラワークの変化を検出する。その他の構
成は、第１〜第４の実施の形態の場合と同様である。

【０１９５】たとえば、人物をズームアップで撮影して
いるような場合には、重要な画像を撮っていることが多
く、カメラがズームインしている期間の音声信号または
画像信号を高音質／高画質で記憶したい場合が多い。

【０１９６】そこで、この第７の実施の形態では、状態
検出部２４では、カメラからの画像信号から検出される
パンニング、チルティング、ズーミング、ブーミング、
トリミング、ドリーイング、カット開始、カット終了な
どのカメラワークを検出する。このカメラワークの検出
方法としては、入力される画像信号を画像認識して検出
する方法、特開平６−１６５００９号公報や特開平６−
２４５７５４号公報に記載されているように、カメラ操
作に使用したボタンなどの操作信号を検出する方法を用
いることができる。

【０１９７】以下に説明する例では、カメラ操作部に取
り付けられたボタンの操作をセンサによって検出する場
合について説明する。この場合、状態検出部２４は外部
センサからの入力信号の状態を検出する。

【０１９８】この実施の形態では、外部センサを用いる
ので、音声信号または画像信号からの状態の検出が困難
な事象が起きた場合や、入力される音声または画像信号
に含まれない情報に、目的の特定の状態が起きた場合を
検出するために有効である。

【０１９９】もっとも、カメラに備わっているオートフ
ォーカスなどのセンサ機能を利用して、被写体の位置
（被写体までの距離など）や特徴（被写体の移動速度な
ど）を検出し、その検出結果を利用してもよい。

【０２００】図２７は、この例の場合の状態検出部２４
の処理のフローチャートである。

【０２０１】状態検出部２４は、ステップＳ２１１で、
ユーザ入力情報検出部２１からのユーザ入力情報の入力
検出情報（第１の実施の形態の場合であれば、ペン筆跡
入力時点）の取得を確認すると、ステップＳ２１２で、
このペン筆跡入力時点によって特定される発言開始点か
ら、そのユーザ入力情報の入力時刻までの間において、
検出されたカメラ操作として、予め登録されていたカメ
ラ操作のいずれかが出現したかどうかを調べる。この場
合、ユーザ入力情報の入力時刻によって特定される発言
開始点は、第１の実施の形態で図６を用いて説明したよ
うに、ユーザ入力時点の直前の発言開始点でもよいし、
あるいはユーザにより指定された幾つか前の発言開始点
であってもよい。

【０２０２】そして、ステップＳ２１２での探査の結果
を用いて、ステップＳ２１３で、予め登録されていたカ
メラ操作のいずれかが出現したことが検出された場合に
は、ステップＳ２１４に進み、検出したカメラワークを
示す文字列、例えば、「パンニング」、「チルティン
グ」、「ズーミング」、「ブーミング」、「トリミン
グ」、「ドリーイング」、「カット開始」、「カット終
了」などのカメラワークを特定する文字列の情報を表示
部２５と、第２記憶部２３に供給すると共に、第１記憶
部２２に、前記特定された発言開始点を供給する。

【０２０３】ステップＳ２１３で、検出の結果、予め登
録されていたカメラワークを検出できなかったときに
は、ステップＳ２１５に進み、検出できなかった旨を表
示部２５と、第２記憶部２３に供給する。状態検出部２
４は、以上の処理を、ユーザ入力の検出情報が到来する
ごとに行う。

【０２０４】図２８は、この例の表示部２５の処理のフ
ローチャートである。すなわち、ステップＳ２２１でユ
ーザ入力情報検出部２１からのユーザ入力検出情報を取
得したと判別すると、ステップＳ２２２に進み、そのユ
ーザ入力情報、例えばペン筆跡情報によるペン軌跡Ｐａ
を、表示画面１１に表示する。

【０２０５】ステップＳ２２２の次は、ステップＳ２２
３に進み、状態検出部２４で登録されたカメラ操作を検
出したかどうか、つまり、登録されたカメラワークの文
字列の情報を取得したか、あるいは登録されたカメラワ
ーク非検出の情報を取得したかを判別する。そして、ス
テップＳ２２３で、登録されたカメラワークの文字列の
情報を取得したときには、ステップＳ２２４に進み、そ
の文字列を、ユーザ入力情報の表示位置によって特定さ
れる表示位置、この例では、表示されたペン軌跡の表示
位置の右隣りに表示する。

【０２０６】また、ステップＳ２２３で、カメラワーク
非検出の情報を取得したときには、カメラワークは表示
されず、ステップＳ２２１に戻る。この場合、非検出を
示すマークを表示するようにしてもよい。

【０２０７】表示画面１１には、カメラワークの文字列
以外にも、そのカメラワークが出現したことを示すマー
クを表示してもよい。

【０２０８】図２９は、この第７の実施の形態の表示画
面１１の例である。この表示例では、ユーザ入力情報検
出部２１によってユーザ入力情報の入力が検出されたと
きの、カメラのズーム倍率を表示した例である。

【０２０９】この第７の実施の形態によれば、カメラワ
ークを示す語句を表示画面１１に表示することで、表示
されているユーザ入力情報に対応して記憶されている画
像情報が、検索者が必要とする映像素材かどうかがわか
りやすいという利点がある。

【０２１０】［第８の実施の形態］この第８の実施の形
態では、状態検出部２４は、センサからの信号を検出す
るようにする。その他の構成は、前述した第１〜第４の
実施の形態の場合と同様である。

【０２１１】この例の場合には、センサからの信号を検
出するように構成することにより、入力される音声また
は画像信号からは検出できない事象でも、その事象を示
す情報を表示部に表示することができ、その表示を手が
かりに音声または画像信号を検索できるものである。

【０２１２】この第８の実施の形態において、以下に説
明する例においては、センサは、ユーザ入力情報が入力
された場所を検出する。ユーザがデータ入力を行った場
所を検出し、ユーザ入力情報の表示位置によって特定さ
れる位置に、その場所を示す情報を表示することで、ユ
ーザがデータ入力を行った場所を手がかりとして音声ま
たは画像信号を検索できる。

【０２１３】例えば、ユーザ入力情報を入力した場所
（あるいは音声または画像信号を入力した場所）がある
会議室である例について説明する。

【０２１４】この場合の状態検出部２４は、次のように
構成できる。どの会議室において入力が行われたかとい
う情報は、例えば人工衛星を用いたＧＰＳなどの位置測
定装置から出力される位置情報を解析することにより得
られる。ＧＰＳを用いた場合には、ユーザ入力情報が入
力された緯度／経度を測定し、その情報と、各会議室が
存在する緯度／経度とを比較することによって特定でき
る。

【０２１５】また、状態検出部２４の構成は、ＧＰＳを
用いる構成以外にも、会議室や廊下などの任意の場所
に、場所に固有のビットパターンを発信する赤外線送受
信機を設置するという、特開平７−１４１３８９号公報
記載の赤外線送受信機を用いる構成とすることもでき
る。その場合には、ユーザ入力情報が入力された時に、
近くの赤外線送信機が発信するビットパターンを受信
し、そのパターンから会議室名などを識別し、ユーザ入
力情報の表示位置によって特定される位置にその場所を
示す情報を表示する。もちろん、赤外線送信機の代わり
に微弱無線送信機を用いてもよい。

【０２１６】この例の場合の表示部２５の処理動作は、
前述の実施の形態、例えば第７の実施の形態と同様であ
るので、省略する。

【０２１７】ＧＰＳを用いれば、屋外でも自分の位置情
報を得られるので、例えば、この実施の形態の情報蓄積
再生装置を、旅の記録を、ビデオカメラと、いわゆるペ
ンコンピュータを用いた電子手書きメモとで記録する装
置の構成とすることができる。この場合に、ペンコンピ
ュータの画面の手書きメモの表示位置によって特定され
る位置に、その場所を示す情報が表示されるので、画面
に表示されている手書きメモと場所とを手がかりとして
旅の記録画像を検索することができる。

【０２１８】以上の例では、センサが場所を検出する場
合について説明したが、センサとしては、ユーザ入力情
報が検出された時刻を特定する情報を検出するセンサ、
ユーザ入力情報を入力した人を特定する情報を検出する
センサ、ユーザ入力情報を入力した装置（マウス、ペ
ン、キーボード、ボタンなどの種別）を特定する情報、
または、音声または画像信号入力した装置（ビデオカメ
ラ、マイク、デジタルスチルカメラなどの種別）を検出
するセンサであってもよい。

【０２１９】また、単に物理的な時刻、場所、人名、装
置名だけでなく、「ある会議に出席していた」、「ある
人と一緒にいた」など、複数のセンサの検出結果を組み
合せて得られる事象を、ユーザ入力情報の表示位置によ
って特定される位置に表示するようにしてもよい。

【０２２０】［第９の実施の形態］以上の実施の形態で
は、入力される全ての音声信号または画像信号を第１記
憶部２２に記録する構成になっている。しかしながら、
順次入力される音声信号または画像信号などのマルチメ
ディア情報を記録するのに必要な記憶容量は、膨大な量
になることが広く知られており、限られた記録容量の中
に長時間の入力音声信号または画像信号を記録すること
は困難であるという問題がある。

【０２２１】この第９の実施の形態の情報蓄積再生装置
では、マルチメディア情報についての情報圧縮手段を備
え、限られた記録容量の中に長時間のマルチメディア情
報を記録できるように工夫している。

【０２２２】この第９の実施の形態においては、音声情
報は、第１の実施の形態と同様に、圧縮せずに記憶する
が、画像情報は、圧縮して記憶する。ただし、予め設定
されている所定の条件を満足する区間の画像情報は、高
品質で記憶するように圧縮率は低くあるいは圧縮せずに
記憶し、その他の区間の画像情報は、高圧縮率で記憶す
るようにする。

【０２２３】この例の場合、圧縮状態を変える所定の条
件の一つは、ユーザ入力情報の存在であり、所定の条件
の他の一つは、ユーザ入力時点の近傍時点における、音
声情報や画像情報についての前述したような状態変化の
検出、カメラワーク、外部センサの検出出力などであ
る。

【０２２４】そして、この実施の形態では、ユーザ入力
情報と共に、画像情報の圧縮状態を表示画面に表示す
る。すなわち、画像情報の圧縮状態を、ユーザ入力時点
近傍における周囲の状況あるいは事象として、ユーザ入
力情報と共に表示するものである。

【０２２５】図３０は、この第９の実施の形態の情報蓄
積再生装置を、その機能を中心として示したブロック図
である。図１に示した第１の実施の形態の場合の機能ブ
ロック図と、次の点が異なる。

【０２２６】まず、圧縮部２９が設けられる点である。
そして、状態検出部２４の代わりに条件一致区間検出部
３５が設けられることである。さらに、第３の記憶部３
６が設けられる点である。その他の構成は、図１に示し
た実施の形態の場合と同様である。

【０２２７】この第９の実施の形態の条件一致区間検出
部３５は、前述した状態検出部２４と同等の構成要素で
あるが、この実施の形態では、画像情報の圧縮状態を変
える区間を検出するものであり、しかも、前述の実施の
形態のように、その検出結果を、ユーザ入力情報の入力
時点近傍の周囲状況や発生事象として表示するものでは
ないので、前述の第１〜第８の実施の形態の状態検出部
２４とは、区別するために、条件一致区間検出部３５と
した。

【０２２８】この条件一致区間検出部３５は、これに入
力される音声信号または画像信号を監視して、予め定め
られている条件に合致する音声信号区間あるいは画像信
号区間を検出する。

【０２２９】この実施の形態では、所定レベル以上の音
声信号の有無を条件として条件一致区間を検出する。こ
れにより、会議参加者の発言の開始点から終了点間での
区間を条件一致区間として検出するようにする。

【０２３０】この場合、その検出方法としては、図３１
にように、条件一致区間検出部３５は、入力される音声
レベルが所定のレベル以上になったことを検知して話者
の発言の開始点を認識し、音声レベルが所定の閾値レベ
ル以下になったことを検知して話者の発言の終了点を認
識する検出機能を持つ。

【０２３１】ただし、図３１に示すように、音声レベル
が閾値レベルと交差する音声レベル変化点Ｆ１０１その
ものを、発言の開始点／終了点とすると、発言の最初部
分と最後部分が記録できないので、音声レベルが小レベ
ルから大レベルに変化するときの変化点Ｆ１０１よりも
一定時間Ｔ１だけ前の時点Ｆ１００を発言開始点とし、
また、音声信号レベルが大レベルから小レベルに変化す
るときの変化点Ｆ１０１よりも一定時間Ｔ２後の時点Ｆ
１０２を発言終了点とする。

【０２３２】なお、この実施の形態においても、ある時
刻における音声レベルとは、その時刻の前後の音声レベ
ルを平滑化した値であり、例えば、前後の２秒間の瞬間
音声レベルの平均値である。

【０２３３】そして、この実施の形態においては、条件
一致区間検出部３５では、画像信号については、条件は
定めず、この条件一致区間検出部３５を画像情報はその
まま通過して、一時記憶部としての第３記憶部３６に送
られる。

【０２３４】なお、音声情報は、この例では、圧縮しな
いで記憶する。このため、前述の実施の形態の場合と同
様に、圧縮部２９を経由せずに、第１記憶部２２に供給
されて記憶される。

【０２３５】図３２は、条件一致区間検出部３５の動作
を説明するフローチャートである。すなわち、前述した
条件一致区間検出処理は、ステップＳ２４１において実
行され、話者の発言開始点または終了点が検出された場
合には、ステップＳ２４２において、その検出結果を第
３記憶部３６と圧縮部２９に出力する。

【０２３６】第３記憶部３６は、例えば半導体メモリや
磁気ディスク等で構成され、この実施の形態では、画像
情報を、第１記憶部２２に記憶するに先立ち、一時記憶
すると共に、条件一致区間検出部３５により検出される
条件一致区間の開始点および終了点の情報を、入力画像
情報と対応付けて、一時記憶するものである。この第３
記憶部３６は、ユーザ入力情報検出部２１からのユーザ
入力検出出力を受けて、後述するように、一時記憶して
いる画像情報を、この例では、圧縮部２９を通じて第１
記憶部２２に送る。

【０２３７】第３記憶部３６は、図３３に示すように、
リングバッファ形式に構成され、順次入力される画像情
報と条件一致区間検出部３５の検出結果である発言開始
点および発言終了点の情報とを、書き込みアドレスを制
御することによりリング状に取り込み続けながら、古い
情報を新しい情報によって上書きしていく仕組みになっ
ている。

【０２３８】なお、この種の記録方法としては他にも、
待ち行列方式、ＦＩＦＯ方式等の公知の方法が適用でき
る。また、図３３の例の場合のリングバッファのメモリ
数は１６個であるが、もちろんメモリ数に制限はなく、
１個のメモリの中に収容できる画像フレーム数（データ
記憶容量）にも制限はない。

【０２３９】図３３において、最古データアドレスＦ２
００は、第３記憶部３６に記憶されている画像の中で最
も古い画像が格納されているメモリを指すポインタであ
り、最新データアドレスＦ２０１は、第３記憶部３６に
最も新しく入力された画像を格納しているメモリを指す
ポインタである。

【０２４０】また、発言開始点Ｆ２０２およびＦ２０４
と発言終了点Ｆ２０３は、条件一致区間検出部３５の検
出結果を第３記憶部３６に記憶したものである。

【０２４１】なお、発言開始点および発言終了点を示す
情報は、この例のように、リングバッファのメモリ中に
格納されてもよいし、別のメモリを用意してその中に格
納されてもよい。

【０２４２】圧縮部２９は、この実施の形態において
は、画像情報のデータ圧縮を行う。この場合、圧縮部２
９は、第３記憶部からの条件一致区間を示す情報に基づ
いて、データ圧縮量を動的に可変にできるように構成さ
れている。

【０２４３】この実施の形態においては、圧縮部２９
は、動画の画像情報を想定して、この動画の画像情報を
所定時間長または所定フレーム数を一つの処理単位とし
て扱う。例えば連続した１０フレームを１つの単位部分
画像列として圧縮処理を行うが、検出された条件一致区
間以外の区間の画像情報は、前記１０フレームのなかの
先頭の１フレームだけを残して、他のフレームの情報を
破棄するという間引き圧縮処理を行い、一方、検出され
た条件一致区間では、画像情報についての前記の間引き
圧縮処理を行わず、前記１０フレーム全部を記憶するよ
うにする。

【０２４４】したがって、条件一致区間以外の区間の画
像情報を再生した場合、いわゆる駒落しであって、動き
がぎごちない動画となるが、情報量は非常に少なくな
る。一方、条件一致区間の画像情報を再生した場合、ス
ムースな動きの高品質の動画が再生されることになる。

【０２４５】なお、間引き圧縮処理ではなく、各フレー
ムの画像データについて、所定の圧縮処理、例えばベク
トル量子化等を用いて圧縮するようにしてもよい。

【０２４６】また、この第９の実施の形態では、ユーザ
入力情報検出部２１で検出するユーザ入力情報は、タブ
レットから入力されるペン筆跡情報とし、表示画面１１
に表示されるユーザ入力情報はペン軌跡として、以下説
明する。

【０２４７】図３４は、この第９の実施の形態の記録時
の動作を、その際の各種情報の流れ、各部の出力の流れ
と共に説明する図である。

【０２４８】マイクロホンからの音声情報およびビデオ
カメラからの画像信号が、条件一致区間検出部３５に入
力されると、画像信号は第３記憶部３６に入力されて一
時記憶され、音声信号は第１記憶部２２に記憶される。
この実施の形態においては、音声情報は圧縮されないた
め、直接、第１記憶部２２に入力される。

【０２４９】そして、条件一致区間検出部３５は、前述
したように、マイクロホンからの音声情報の音声レベル
と所定の閾値レベルとを比較して、会議出席者の発言開
始点と発言終了点とを検出する。検出した発言開始点お
よび発言終了点の情報は、第３記憶部３６および圧縮部
２９に供給される。

【０２５０】前述したように、第３記憶部３６は、第１
記憶部２２に記憶する画像情報を一時記憶し、条件一致
区間検出部３５で検出した発言開始点および発言終了点
の区間は、この例では圧縮せずに高画質で、他の区間は
間引き圧縮して、第１記憶部２２に記憶させるようにす
る。

【０２５１】ところで、入力される画像信号を圧縮せず
に第３記憶部３６に順次記憶すると、第３記憶部３６か
らまとめて出力した画像列を圧縮部２９によって圧縮す
る際に長時間かかることがある。その場合には、圧縮中
にカメラから新たに取り込まれた画像信号とユーザ入力
情報検出部２１から取り込まれた検出結果とを一時記憶
するためのバッファメモリを多大に用意しなければなら
ない。

【０２５２】そこで、この第９の実施の形態では、第３
記憶部３６は、同一時間に入力された入力画像の、圧縮
を施さない画像情報と、圧縮を施した画像情報とを併せ
て記憶する構造になっている。

【０２５３】例えば、一つの処理単位として扱うフレー
ム数を１０フレームとすると、その１０フレームの画像
列が入力された場合に、圧縮されないそのままの１０フ
レーム全部の画像列と、圧縮部２９により、前述したよ
うに、１／１０の情報量に間引き圧縮された１フレーム
の画像とが第３記憶部３６に併せて記憶される。すなわ
ち、入力された１０フレーム単位の画像列を、第３記憶
部３６から、その都度、圧縮部２９に送って、前述のよ
うに間引き圧縮をした後、圧縮部２９から第３記憶部３
６に戻して記憶する。

【０２５４】そして、条件一致区間検出部３５で検出し
た発言開始点および発言終了点の区間は、圧縮されてい
ない高画質画像情報を、第３記憶部３６から第１記憶部
２２に転送する。この例では、ペン筆跡入力時点に最も
近い、このペン筆跡入力時点以前の発言開始点から、ペ
ン筆跡入力時点に最も近い、このペン筆跡入力時点以後
の発言終了点までの非圧縮画像情報を、高画質画像情報
として第３記憶部３６から第１記憶部２２に転送する。

【０２５５】なお、ペン筆跡入力時点に最も近い、この
ペン筆跡入力時点以前の発言開始点ではなく、ペン筆跡
入力時点から所定数前の発言開始点を、高画質記録区間
の先頭としてもよい。同様に、発言終了点も、ペン筆跡
入力時点から所定数後の発言終了点とするようにしても
よい。そして、幾つ前の発言開始点とするか、あるいは
幾つ後の発言終了点とするかを、ユーザが選択すること
ができるようにしてもよい。

【０２５６】条件一致区間検出部３５で検出した発言開
始点および発言終了点の区間以外は、１０フレーム単位
の画像情報が間引き圧縮されて１フレームとされた圧縮
画像情報が選択されて、第３記憶部３６から第１記憶部
２２に転送される。

【０２５７】第３記憶部３６は、また、条件一致区間検
出部３５が検出した、発言開始点および発言終了点を示
す情報を併せて記憶する。

【０２５８】この第９の実施の形態の構成によると、圧
縮部２９は１０フレーム単位で圧縮すればよく、一度に
大量の画像列を圧縮する必要がなくなるので、前述のよ
うなバッファメモリを備えなくともよい。また、第３記
憶部３６から第１記憶部２２に、画像情報を転送する際
に、圧縮部２９を通って、圧縮処理をする必要はなく、
圧縮画像情報は、第３記憶部３６から第１記憶部２２に
直接的に転送することができる。

【０２５９】図３５〜図３７と図３８は、条件一致区間
検出部３５の検出結果に基づいて入力される画像信号を
圧縮しながら第３記憶部３６に順次記憶してゆく場合
の、第３記憶部３６と圧縮部２９の動作を説明したフロ
ーチャートである。

【０２６０】このフローチャートにおいて、フラグが
「１」のときにはユーザ入力が検出済みであることを示
し、フラグが「０」であるときにはユーザ入力が未検出
であることを示している。

【０２６１】まず、ステップＳ１０００において、フラ
グが「０」にリセットされる。次に、単位時間あたりに
入力された画像列、例えば１０フレーム単位の画像列
は、ステップＳ１００１で受け入れられ、ステップＳ１
００２でユーザ入力情報検出部２１からの検出出力の入
力があるか否か判別する。そして、ユーザ入力情報が検
出されたときには、ステップＳ１０１０に進んで、フラ
グを「１」にセットし、ステップＳ１００３に進む。ユ
ーザ入力情報が検出されないときには、フラグは「０」
のままステップＳ１００３に進む。

【０２６２】そして、ステップＳ１００３で、リングバ
ッファにおいて、最新データが最古データを上書きしな
いと判別したときには、ステップＳ１００４に進んで、
入力された１０フレームの非圧縮画像列を第３記憶部３
６の最新データアドレスの指し示すメモリ位置に記憶
し、ステップＳ１００５に進む。次に、ステップＳ１０
０５で、入力された１０フレームの画像列を圧縮部２９
に出力し、ステップＳ１００６に進んで、圧縮部２９の
処理終了を待つ。

【０２６３】圧縮部２９は、この画像列を間引き圧縮し
て、１フレームの圧縮画像に変換した後、その圧縮画像
を第３記憶部３６に戻すので、ステップＳ１００７で第
３記憶部３６は、当該圧縮された画像情報を、ステップ
Ｓ１００４で記憶された１０フレームの非圧縮画像列
の、次のメモリ位置に記憶する。

【０２６４】図３３を用いて、ステップＳ１００４から
ステップＳ１００７までの処理について説明する。ステ
ップＳ１００４で第３記憶部３６に記憶された１０フレ
ームの非圧縮画像列が、最新データアドレスＦ２０１で
指し示されるメモリａ９に記憶されたとすると、圧縮部
２９によって間引き圧縮された１フレームの圧縮画像
は、ステップＳ１００７において、１０フレームの非圧
縮画像列の次のメモリａ１０に記憶される。ここで、メ
モリａ９とメモリａ１０の記憶容量は同一ではなく、メ
モリａ９がメモリａ１０の１０倍の記憶容量を持つ。

【０２６５】ステップＳ１００７の後、ステップＳ１０
０８では、条件一致区間検出部３５からの、発言開始点
または発言終了点を示す情報の入力があるか否か判別
し、発言開始点または発言終了点を示す情報の入力があ
った場合には、ステップＳ１００８からステップＳ１０
１３に進み、条件一致区間検出部３５からの情報は発言
開始点か、あるいは発言終了点かの種類を判別する。

【０２６６】そして、音声レベルが所定レベル以上に変
化する発言開始点であれば、ステップＳ１０１４に進
み、発言開始点マークを最新データアドレスの指し示す
メモリ位置に記録し、その後、ステップＳ１００９に進
む。

【０２６７】また、ステップＳ１０１３の判別の結果、
音声レベルが所定レベル以下に変化する発言終了点であ
れば、ステップＳ１０１５に進み、発言終了点マークを
最新データアドレスの指し示すメモリ位置に記録する。
このステップＳ１０１５の後、ステップＳ１０１６に進
み、フラグが「１」にセットされているか否か判別し、
「１」にセットされていなければ、ステップＳ１００９
に進む。

【０２６８】また、ステップＳ１０１６での判別の結
果、フラグが「１」にセットされているときには、すな
わち、ユーザ入力情報が検出済みであった場合には、ス
テップＳ１０１７に進んで、第３記憶部３６に記憶され
ていた画像列のうち、ユーザ入力情報の検出時点よりも
前の発言開始点の画像フレームから発言終了点の画像フ
レームまでの画像列を第１記憶部２２に出力する。そし
て、ステップＳ１０１８に進み、第３記憶部３６は、最
古データアドレスを最新データアドレスと同じにするこ
とによって、第３記憶部３６をクリアする。そして、ス
テップＳ１０１９に進んで、フラグを「０」に戻し、そ
の後、ステップＳ１００１に戻る。

【０２６９】ステップＳ１００８で、条件一致区間検出
部３５からの検出出力がないと判別されたときには、ス
テップＳ１００９に進む。ステップＳ１００９では、記
憶したデータ量に応じて最新データアドレスを進める。
そして、ステップＳ１００１に戻る。

【０２７０】図３３を用いて、ステップＳ１００９の処
理について説明する。画像情報の入力がない時点で、最
新データアドレスがメモリａ９を指し示していたとする
と、ステップＳ１００４で１０フレームの非圧縮画像列
をメモリａ９に記憶し、ステップＳ１００７で１フレー
ムの圧縮画像をメモリａ１０に記憶した場合には、ステ
ップＳ１００９によって、最新データアドレスはメモリ
ａ１１に進められることになる。

【０２７１】ステップＳ１００２で、ユーザ入力情報検
出部２１によってペン筆跡情報の入力が検出されないま
まで、ステップＳ１００３で、第３記憶部３６から消去
されるタイミング（最新データが最古データを上書きす
るタイミングである）がめぐってきた場合には、ステッ
プＳ１０１１で、予め定めた一定量の画像情報の中の、
間引き圧縮された圧縮画像だけが、第１記憶部２２に出
力される。すなわち、前記予め定めた一定量の画像情報
の中の、非圧縮画像列は、第１記憶部２２に出力されな
いまま、破棄される。その後、ステップＳ１０１２に進
んで、最古データアドレスを、前記予め定めた一定量分
だけ進める。その後、ステップＳ１００４に進み、前述
したような処理を繰り返す。

【０２７２】以上の実施の形態では、非圧縮画像列と、
圧縮部２９によって圧縮された圧縮画像列とを、同一記
憶部内の隣接したメモリ位置に記憶する場合について説
明したが、この例に限られず、例えば、非圧縮画像列と
圧縮された画像列とを、別々の一時記憶部に格納するよ
うにしてもよい。この場合、条件一致区間検出部３５か
らの、発言開始点または発言終了点を示す情報は、それ
ぞれの一時記憶部に入力される。

【０２７３】また、順次入力される画像情報を、常に圧
縮しながら第３記憶部３６に記憶すると同時に、圧縮し
ない非圧縮画像列を直接第１記憶部２２に記憶するよう
に構成し、ユーザ入力情報検出部２１によってペン筆跡
情報の入力が検出されたときには、第１記憶部２２に記
憶されていた非圧縮画像列はそのまま第１記憶部２２に
残し、第３記憶部３６に記憶されていた圧縮画像列は第
３記憶部３６から消去するようにしてもよい。

【０２７４】この場合、ユーザ入力情報検出器部２１に
よってペン筆跡情報の入力が検出されないまま、第３記
憶部３６から圧縮画像列が消去されるタイミングがめぐ
ってきたときには、その消去される圧縮画像列が記憶さ
れた時刻と同時刻に第１記憶部２２に記憶された非圧縮
画像列を、前記消去されるタイミングがめぐってきた圧
縮画像列によって上書きするようにする。このように構
成することで、第３記憶部３６から第１記憶部２２に大
量の画像情報をコピーする必要がなくなる。

【０２７５】さらに、順次入力される画像情報を、圧縮
せずに第３記憶部３６にそのまま記憶すると同時に、常
に間引き圧縮した圧縮画像列を第１記憶部２２に記憶す
るように構成し、ユーザ入力情報検出部２１によってペ
ン筆跡情報の入力が検出されたときには、第１記憶部２
２に記憶されていた圧縮画像列を、第３記憶部３６に記
憶されていた非圧縮画像列によって上書きするようにし
てもよい。

【０２７６】この場合、ユーザ入力情報検出器部２１に
よってペン筆跡情報の入力が検出されないまま、第３記
憶部３６から非圧縮画像列が消去されるタイミングがめ
ぐってきたときには、第１記憶部２２に記憶されていた
圧縮画像列はそのまま残し、前記消去されるタイミング
がめぐってきた非圧縮画像列を第３記憶部３６から消去
するようにする。このように構成した場合にも、第３記
憶部３６から第１記憶部２２に大量の画像情報をコピー
する必要がなくなる。

【０２７７】すなわち、同一時間に入力された入力画像
の、圧縮を施さない画像情報と、圧縮を施した画像情報
とを併せて、同一記憶部または別々の記憶部に記憶する
構成である場合は、いずれも、第９の実施の形態に含ま
れる。

【０２７８】この第９の実施の形態の場合の圧縮部２９
の動作は、図３７に示すようなものとなる。

【０２７９】すなわち、まず、ステップＳ１１００にお
いて初期化を行い、圧縮点アドレスを、入力される画像
情報列の先頭アドレスにする。そして、次のステップＳ
１１０１では、入力画像列の圧縮が完了したか否か判別
する。

【０２８０】このステップＳ１１０１での判別の結果、
圧縮が完了していなければ、ステップＳ１１０２に進
み、圧縮が完了していれば、この圧縮処理を終了する。

【０２８１】ステップＳ１１０２では、前述したフレー
ム間引き圧縮処理を行った後、ステップＳ１１０３に進
む。ステップＳ１１０３では、圧縮が完了した部分画像
列を第３記憶部２２に出力する。そして、ステップＳ１
１０４に進み、圧縮点アドレスを圧縮したデータ量に応
じて進める。このステップＳ１１０４の後はステップＳ
１１０１に戻り、以上の処理ステップを繰り返す。

【０２８２】以上のように、この第９の実施の形態の構
成の場合には、ペン筆跡情報が入力されたタイミングに
関わらず、圧縮処理を実行する必要があり、圧縮部２９
は、圧縮した画像列を第３記憶部３６に対して出力する
構成になっている。圧縮部２９は画像の間引き圧縮を行
なった後、その圧縮画像を第３記憶部３６に書き込む
（図３７のステップＳ１１０３）。

【０２８３】図３８は、表示画面１１上のペン筆跡、入
力音声レベル、第１記憶部２２のデータ記憶構造の対応
関係を説明する図である。

【０２８４】図３８の例は、音声入力レベルが閾値を超
えている入力音声レベルを、条件一致区間検出部３５で
検出した結果、発言開始点として時点ｔ１が、発言終了
時点として時点ｔ２が検出され、これら時点ｔ１〜時点
ｔ２の区間中にユーザ入力としてのペン筆跡入力が有っ
た場合である。この場合、第１記憶部２２には、画像情
報は、区間ｔ１〜ｔ２の画像情報が、アドレスａ１〜ａ
２に記憶されるが、その画像情報は、間引き圧縮処理さ
れず、高画質（１０フレーム／秒の動画）で記憶されて
いる。

【０２８５】一方、時点ｔ１より以前のアドレスａ０か
らアドレスａ１までに記憶されている画像情報および、
時点ｔ２以降のアドレスａ２〜アドレスａ３までに記憶
されている画像情報は、間引き圧縮されて、低画質（１
フレーム／秒の間欠静止画像）で第１記憶部２２に記憶
されている。

【０２８６】このときの第２記憶部２３の記憶情報は、
図３９に示すようなものであり、そのデータ記憶構造
は、ペン筆跡情報と、表示部２５上の表示位置情報と、
第１記憶部２２上の高画質画像データの記憶アドレスと
からなる。

【０２８７】そして、ユーザが入力したペン筆跡情報と
しては、ユーザ入力情報を一意に特定する識別子ＩＤ
と、ユーザ入力情報の種類を特定する情報とが記憶され
ており、表示画面１１上の表示位置情報としては、図３
８の折れ線に対応して、３つのＸ−Ｙ座標、この例で
は、座標（２０、３０）、座標（３０、４０）、座標
（６０、１０）と、座標情報の終端を表すｎｉｌとが記
憶されており、第１記憶部２２上の高画質画像データの
記憶アドレスとしては、話者の発言の開始点アドレスａ
１と発言の終了点アドレスａ２とが記憶されている。

【０２８８】話者の発言の開始点アドレスａ１と、発言
の終了点アドレスａ２は、この間の区間が画像情報の圧
縮状態は、非圧縮で高画質になっていることを示してい
る。これらの記憶アドレスが、例えば「ｎｉｌ」であれ
ば、条件一致区間検出部３５により、発言開始点および
発言終了点が検出できず、ユーザ入力情報に対応して記
憶される圧縮画像データであることを示している。

【０２８９】もちろん、第２記憶部２３に記憶されるの
は、ペン筆跡情報、表示座標、記憶アドレスそのもので
はなくそれらを特定する特定情報であってもよいし、第
２記憶部２３のデータ記憶構造はテーブルの形式でな
く、リスト構造などの他の記憶構造で構成されていても
よい。

【０２９０】また、第２の記憶部２３には、高画質画像
区間を示す発言開始点アドレスや発言終了点アドレス以
外に、圧縮状態を示すための情報を記憶するようにして
もよい。

【０２９１】なお、この実施の形態のように、ユーザ入
力情報の種類を特定する情報を筆跡情報に含ませ、マル
チプルラインなどを表現するまとまった座標点列を１つ
のペン筆跡情報として記憶させておけば、再生時にその
座標点列のうちいずれかが指定されれば、その座標点列
に対応するペン筆跡情報が特定できるようになり、同じ
記憶アドレスから音声または画像を再生できるようにな
る。

【０２９２】さらに、所定時間間隔内に連続入力された
複数の座標点列を１つのペン筆跡情報として記憶させて
おけば、１行の文字列を１つのペン筆跡情報と見なすこ
とができるため、文字列を構成する座標点列のうちいず
れかが指定されれば、同じ記憶アドレスから音声または
画像を再生できるようになり、便利である。

【０２９３】次に、この第９の実施の形態の場合の表示
部２５の処理について、図４０のフローチャートを参照
して説明する。

【０２９４】表示部２５は、ステップＳ３０１でユーザ
入力情報検出部２１からのペン筆跡情報の到来を検知す
ると、ステップＳ３０２に進み、図４１に示すように、
そのペン筆跡情報によるペン軌跡Ｐａを、表示画面１１
に表示する。

【０２９５】ステップ３０１の次は、ステップＳ３０３
に進み、条件一致区間検出部３５で検出された発言開始
点および発言終了点の情報を取得して、圧縮状態を判定
する。そして、次のステップＳ３０４で、判定した圧縮
状態を示す文字列を、ペン筆跡情報によるペン軌跡Ｐａ
の右隣りに表示する。

【０２９６】この例の場合に、ステップＳ３０３で、発
言開始点ｔ１および発言終了点ｔ２の情報が得られなか
った旨の情報を検知したときには、間引き圧縮されて画
像情報が記憶されていることを認識し、例えば、「間引
き圧縮」の文字列を、ペン軌跡Ｐａの右隣りに表示す
る。

【０２９７】一方、ステップＳ３０３で、発言開始点ｔ
１および発言終了点ｔ２の情報が得られたときには、高
画質で画像情報が記憶されていることを認識し、例え
ば、図４１に示すように、「フルモーション」の文字列
を、ペン軌跡Ｐａの右隣りに表示する。そして、この例
の場合には、発言開始点および発言終了点の情報から演
算されて求められる高画質で画像情報が記憶区間の時間
長を示す文字が、図４１に示すように表示される。

【０２９８】以上のようにして、蓄積記憶されたデータ
は、次のようにして再生することができる。すなわち、
表示画面１１に表示された複数個のペン筆跡情報の中の
一つを、ユーザが、再生指示部２７により、例えばペン
を用いて指定することにより、第１記憶部２２に記憶さ
れた音声または画像信号のうち、そのペン筆跡情報が入
力された時点の前後に入力された音声および画像信号の
みを部分的に再生することができる。

【０２９９】この例の場合には、表示画面１１に動画像
の記録時間が表示されているので、再生する時に、その
場面を見るために（その時の記録を再生するために）ど
の位の時間が必要なのかをユーザが簡単に知ることがで
きる。また、圧縮率を示す語句が表示されているので、
検索者が必要とするメディアかどうかが簡単にわかると
いう利点がある。

【０３００】圧縮状態として、この他にも、記憶時刻、
圧縮率または間欠記録の時間間隔などを表示してもよ
い。また、圧縮状態の表示としては、第２の実施の形態
のように、圧縮状態を示す文字列などは表示せずに、圧
縮状態に応じてユーザ入力情報の表示書式を変えるよう
にしてもよい。

【０３０１】また、この第９の実施の形態では、音声は
圧縮されない場合について説明したが、画像信号同様
に、音声も圧縮して記憶することが可能である。この場
合には、テレビカメラとマイクロホンにより音声信号お
よび画像信号が、この実施の形態の装置に入力される
と、条件一致区間検出部３５の検出結果に基づいて圧縮
され、第３記憶部３６に入力されて一時記憶される。

【０３０２】その後、ユーザ入力情報検出部２１によっ
てペン筆跡情報が入力されたことが検出されると、第３
記憶部３６に一時記憶されていた音声信号および画像信
号は第１記憶部２２に出力される。音声の圧縮方法とし
ては、記憶時間、サンプリング周波数、符合化ビット数
を変更するなどの公知の方法を適用できる。

【０３０３】なお、この第９の実施の形態の場合にも、
第３の実施の形態で説明した編集機能を持つように構成
することが可能であることは言うまでもない。

【０３０４】また、第４の実施の形態で説明したよう
に、通常は、ユーザ入力情報に対応する音声または画像
記憶部分の圧縮状態は、表示せず、ユーザから指示のあ
ったユーザ入力情報についてのみ、圧縮状態を表示する
ようにすることもできる。その場合には、前述したよう
に、第２記憶部２３に記憶されている記憶アドレスが、
発言開始点および発言終了点に対応し、圧縮状態を示す
ことになるので、それを参照して、圧縮状態と、条件一
致区間の時間長を表示するようにすることができる。

【０３０５】また、条件一致区間検出部３５で検出する
対象は、上述の実施の形態における発言区間に限られる
ものではなく、前述した第５〜第８の実施の形態で、状
態検出部２４の検出対象としたものを、条件一致区間検
出部で検出するように構成することが可能である。

【０３０６】例えば、自動的に発話者を特定し、その特
定された発話者に応じた圧縮率で音声または画像信号を
圧縮するように構成するようにしてもよい。具体例をあ
げると、話者Ａおよび話者Ｂの２人の話者が存在してお
り、話者Ａの発言の方が話者Ｂの発言に比べて重要度が
高い場合、この話者Ａについては、画像情報は高画質で
記録するようにする。

【０３０７】発話者を特定する方法としては、音声信号
の特徴（声紋など）から話者を特定してもよいし、画像
情報による顔や口の動きから発話者を特定してもよい。
また、マイクロホンを発話者毎に設置して、そのうちい
ずれかのマイクロホンを特定発話者用として特定した
り、あるいは発話者各自のマイクロホンからの音声入力
レベルを比較したり、音声信号の位相差を解析したりす
ることにより、複数のマイクロホンから入力される音声
信号を解析して音源の位置を検知して、発話者を特定し
てもよい。

【０３０８】また、例えば、条件一致区間検出部３５で
の検出条件が、入力される音声信号の中に予め登録され
たキーワードが出現したこと、または、入力される音声
信号の中に予め登録された音声パターンが出現したこ
と、入力される画像信号の中に予め登録されたキーワー
ドが出現したこと、または、入力される画像信号の中に
予め登録された状態パターンが出現したこと、カメラ操
作信号の種類、外部センサが検出した状態であってもよ
い。

【０３０９】すなわち、入力されるマルチメディア情報
（例えば、音声信号または画像信号）の状態、または入
力されるマルチメディア情報が存在する間に外部センサ
が検知した信号の状態を検出する手段は、いずれもこの
発明でいう条件一致区間検出部として構成可能である。

【０３１０】［その他の変形例］以上の第１〜第９の実
施の形態は、各実施の形態の説明中に明記したほかに
も、適宜組み合わせて実施することが可能である。例え
ば、第９の実施の形態は、第１の実施の形態の変形とし
て説明したが、第２の実施の形態の変形として置き換え
ることができる。また、第５の実施の形態から第８の実
施の形態は、第１の実施の形態または第２の実施の形態
のいずれの変形としても置き換えることができる。

【０３１１】なお、以上の実施の形態では、マルチメデ
ィア記憶再生装置に、この発明を適用した例について説
明したが、この発明の用途はこれに限られず、マルチメ
ディアの記憶機能または再生機能を持たない装置に対し
ても、この発明は適用可能である。

【０３１２】すなわち、図１の全体構成から第１記憶部
２２、再生指定部２７、再生部２８を取り除いた装置に
おいて、表示部２５は、ユーザ入力情報検出部２１から
入力されたペン筆跡情報を表示するとともに、そのペン
筆跡情報が入力されたときに状態検出部２４によって検
出された音声の発話者名を、前記ペン筆跡情報の右端に
表示する。このように、入力された音声信号や画像信号
を記憶しない構成の装置に対しても、この発明は適用で
きる。

【０３１３】また、順次記録されるマルチメディア情報
は、カメラ／マイクロホン／ビデオデッキ／テープレコ
ーダ／センサ等から入力されたアナログ信号でもよい
し、それを符号化したデジタル信号でもよい。さらに
は、計算機ネットワーク／計算機バスを通じて入力され
るデジタル信号でもよい。すなわち、時間の経過ととも
に順次入力される情報は、いずれもこの発明でいうマル
チメディア情報に相当する。

【０３１４】ユーザ入力情報検出部２１は、ユーザがペ
ンで書き込んだことを検出してもよいし、ペンによる書
き込みが一定時間以上途絶えたことを検出してもよい。
例えば、所定時間間隔内に連続入力された複数の座標点
列を１つのペン筆跡情報として認識する。具体的には、
タブレットの入力面からスタイラスペンを離してから、
次にタブレットの入力面にスタイラスペンを接触させる
までの時間間隔が１秒以内であれば、これらの複数のペ
ン筆跡を１つのペン筆跡情報とみなす。

【０３１５】この時間間隔は、ユーザによって変更でき
るようにしてもよい。さらに、タブレットの入力面から
電子ペンを離した瞬間のタブレット上の座標点と、次に
タブレットの入力面に電子ペンを接触させた瞬間のタブ
レット上の座標点とを比較し、所定の距離以上に両点が
離れていた場合には、時間間隔が１秒以内であっても、
別々のペン筆跡情報とみなす。

【０３１６】これにより、例えば、１行の文字列を１つ
のペン筆跡情報と見なすことができるので、文字列を構
成する座標点列のうちいずれかが指定されれば、同じ記
憶アドレスから音声および画像を再生できるようになり
便利である。この他にも、マルチプルラインなどを表現
するまとまった座標点列や、ユーザが明示的にグループ
化した複合オブジェクトを１つのペン筆跡情報とみなし
てもよい。

【０３１７】また、表示部２５は、ペン／タブレット一
体型入出力装置の他に、ＣＲＴモニタ、液晶モニタ、プ
ロジェクタなどから構成されてもよい。表示部２５に
は、ユーザ入力情報検出部２１によって検出されたユー
ザ入力情報とともに、状態検出部２４によって検出され
た検出結果や条件一致区間検出部３５によって検出され
た区間の記憶情報の圧縮状態が表示可能な形式で表示さ
れればよい。

【０３１８】また、上述の実施の形態では、初期状態に
おいて、表示画面１１上に何も表示されている情報がな
い場合について説明したが、この発明の適用は、この例
に留まらず、例えば初期状態でいくらかのユーザ入力情
報が既に表示されており、それに追加や変更を施す場合
もこの発明の範囲に含まれる。ただし、この場合には、
再生のために指定できるユーザ入力情報は、初期状態か
らの変位部分のみである。

【０３１９】また、この発明の情報蓄積再生装置の用途
としては、記録していた音声または画像信号を時間順に
再生する際に、対応するユーザ入力情報をも画面上に順
次再現させてゆく使いかたがある。例えば、表示部２５
の表示を、指定部２７によって特定されたペン筆跡情報
が入力された時点の表示に一旦戻し、音声または画像情
報とペン筆跡情報とを同期させて再現するものである。

【０３２０】このとき、表示部２５にはユーザ入力情報
とともに、状態検出部２４の検出結果や圧縮状態が再生
表示される。表示画面をその時点の表示に戻す方法とし
ては、表示画面のＵＮＤＯをその時点まで繰り返しても
よいし、画面を一旦消去した後、第２記憶部２３に記憶
されているユーザ入力情報をその時点まで高速に順次描
画してもよい。

【０３２１】以上説明したように、上述の実施の形態の
情報蓄積再生装置によれば、順次入力される音声または
画像信号の状態を検出する状態検出部を具備し、表示部
は、ユーザ入力情報が入力されたときに検出された状態
検出部の検出結果を、ユーザ入力情報の表示位置によっ
て特定される表示位置に表示するように構成したので、
ユーザにより入力されたユーザ入力情報とそのユーザ入
力情報が入力されたときの周囲の状況を表す情報とを対
応付けて表示でき、各ユーザ入力情報が入力されたとき
の周囲の状況、すなわち各ユーザ入力情報が入力された
背景を表す情報を、検索の手がかりとして利用できる効
果がある。

【０３２２】また、ユーザ入力情報が検出されたときに
入力された音声または画像信号の第１記憶部における圧
縮状態を、ユーザ入力情報の表示位置によって特定され
る表示位置に表示するように構成したので、記録された
音声または画像を再生または検索する前に、その場面を
再生するためにどの位の時間が必要なのかをユーザが簡
単に知ることができたり、再生する音声または画像が、
必要とするメディア形態で保存されているかどうかを容
易に知ることができる効果がある。

【０３２３】また、各ユーザ入力情報が入力されたとき
に、その周囲の状況、すなわち各ユーザ入力情報が入力
された背景を表す情報を、自動的に各ユーザ入力情報と
対応付けて表示できる効果がある。

【０３２４】また、再生指定部によって指定されたユー
ザ入力情報についてのみ、状態検出部の検出結果や条件
一致区間検出部の検出区間の情報の圧縮状態結果を表示
するように構成したので、状態検出部の検出結果や記憶
情報の圧縮状態を、ユーザ要求があった場合にのみ表示
でき、表示画面が繁雑になるという問題を抑えられる効
果がある。

【０３２５】また、表示部に表示された状態検出部の検
出結果や圧縮状態の表示を編集するための編集部を具備
したので、誤った検出結果などを修正できる効果があ
る。

【０３２６】また、第２記憶部２３に状態検出部の検出
処理の過程で得られた情報に基づいて状態検出部の検出
結果の候補、例えば話者認識の中間結果を記憶してお
き、それをユーザに示し、表示する検出結果をこの候補
から選べるようにした場合には、状態検出部の検出結果
を修正するためのユーザの負担を軽減できる効果があ
る。

【０３２７】また、外部センサによって検出される状態
を状態検出部や条件一致区間検出部によって検出するよ
うに構成したので、音声信号または画像信号の状態の検
出が困難な事象が起きた場合や、入力される音声信号ま
たは画像信号に含まれない情報に状態が起きた場合にで
も、その事象を検出し、あるいはその検出結果に応じて
圧縮状態を決め、それを表示することができ、その表示
を手がかりに音声または画像信号を検索できる効果があ
る。

【０３２８】また、カメラ操作信号を状態検出部によっ
て検出するように構成したので、アップで撮影した、近
景を撮影した、遠景を撮影した、動いている物体を撮影
したなどの、カメラワークを示す語句を表示することが
でき、必要とする映像素材かどうかを検索者が判断しや
すくなる効果がある。

【０３２９】また、条件一致区間検出部でカメラワーク
を検出するようにした場合には、カメラワークに応じて
記憶するマルチメディア情報の重要度を判定して圧縮状
態を決めるようにすることができ、そして、その圧縮状
態を表示画面に表示するので、重要な映像素材かどうか
を検索者が判断しやすくなる効果がある。

【０３３０】また、ユーザ入力情報が検出された場所を
特定する情報を状態検出部によって検出するように構成
した場合には、地域名、建造物名、会議室名などの、ユ
ーザ入力情報が入力された場所を手がかりに音声または
画像信号を検索できる効果がある。

【０３３１】また、ユーザ入力情報が検出された時刻を
特定する情報を状態検出部によって検出するように構成
した場合には、日時の絶対時間、会議開始時刻からの相
対時間などの、ユーザ入力情報が入力された時刻を手が
かりに音声または画像信号を検索できる効果がある。

【０３３２】また、ユーザ入力情報を入力した人を特定
する情報を状態検出部によって検出するように構成した
場合には、ユーザ入力情報を入力した人が誰であったか
という情報を手がかりに音声または画像信号を検索でき
る効果がある。

【０３３３】また、ユーザ入力情報を入力した装置を状
態検出部によって検出するように構成した場合には、ユ
ーザ入力情報を入力した装置または、音声または画像信
号を入力した装置が何であったかという情報を手がかり
に音声または画像信号を検索できる効果がある。

【０３３４】また、ユーザ入力情報が検出されたときに
入力された音声または画像信号の第１記憶部における圧
縮状態に応じ、ユーザ入力情報の表示書式を変えて表示
するように構成した場合には、記録された音声または画
像を再生する前に、その場面を再生するためにどの位の
時間が必要なのかをユーザが簡単に知ることができる効
果がある。

【０３３５】また、記憶時刻、記憶時間、圧縮率または
間欠記録の時間間隔のうち少なくとも１つを表示部によ
って表示するように構成した場合には、ユーザは、記録
された音声または画像の圧縮記録状態を再生する前に知
ることができ、必要とする映像素材かどうかを判断しや
すくなる効果がある。

【０３３６】

【発明の効果】以上のように、この発明によれば、各ユ
ーザ入力情報が入力されたときの周囲の状況、すなわち
各ユーザ入力情報が入力された背景を表す情報を、自動
的に各ユーザ入力情報と対応付けて表示できる効果があ
る。

【０３３７】また、このようにユーザ入力情報が入力さ
れたときの背景が表示されるので、それを元に記憶情報
の検索をすることが容易である。

【０３３８】また、記録された音声または画像を再生ま
たは検索する前に、その場面を再生するためにどの位の
時間が必要なのかをユーザが簡単に知ることができた
り、再生する音声または画像が、必要とするメディア形
態で保存されているかどうかを容易に知ることができる
効果もある。

【図面の簡単な説明】

【図１】この発明の情報蓄積再生装置の一実施の形態の
全体の構成を示す機能ブロック図である。

【図２】この発明の情報蓄積再生装置を会議システムに
適用した場合の全体の概要を説明するための図である。

【図３】図１の実施の形態における記録動作の概要を説
明する図である。

【図４】第１の実施の形態におけるユーザ入力情報検出
部の処理動作の一例のフローチャートである。

【図５】第１の実施の形態における状態検出部の処理動
作の一例のフローチャートである。

【図６】第１の実施の形態における状態検出部の動作の
説明のための図である。

【図７】第１の実施の形態における表示部の処理動作の
一例のフローチャートである。

【図８】第１の実施の形態における状態検出部の検出結
果表示の一例を示すための図である。

【図９】第１の実施の形態における表示部の処理動作を
説明するための図である。

【図１０】第１の実施の形態における第１記憶部の処理
動作の一例のフローチャートである。

【図１１】第１の実施の形態における第２記憶部の処理
動作の一例のフローチャートである。

【図１２】第１の実施の形態における表示画面と、第１
記憶部、第２記憶部の記憶データとの対応を説明するた
めの図である。

【図１３】第１の実施の形態における再生動作の概要を
説明する図である。

【図１４】第１の実施の形態における再生部の処理動作
の一例のフローチャートである。

【図１５】第２の実施の形態における表示部の処理動作
の一例のフローチャートである。

【図１６】第２の実施の形態における表示部の動作の説
明に用いる図である。

【図１７】第２の実施の形態における表示例を示す図で
ある。

【図１８】第２の実施の形態における第２記憶部の記憶
データを説明するための図である。

【図１９】第３の実施の形態における編集例を示す図で
ある。

【図２０】第３の実施の形態における編集処理のための
表示部の処理のフローチャートである。

【図２１】第４の実施の形態における表示部の処理動作
の一例のフローチャートである。

【図２２】第４の実施の形態における表示例を示す図で
ある。

【図２３】第５の実施の形態における状態検出部の処理
動作の一例のフローチャートである。

【図２４】第５の実施の形態における表示部の処理動作
の一例のフローチャートである。

【図２５】第５の実施の形態における表示例を示す図で
ある。

【図２６】第６の実施の形態の状態検出部の処理を説明
するための図である。

【図２７】第７の実施の形態における状態検出部の処理
動作の一例のフローチャートである。

【図２８】第７の実施の形態における表示部の処理動作
の一例のフローチャートである。

【図２９】第７の実施の形態における表示例を示す図で
ある。

【図３０】この発明による情報蓄積再生装置の第９の実
施の形態の全体の構成を示すブロック図である。

【図３１】第９の実施の形態の条件一致区間検出部の検
出処理を説明するための図である。

【図３２】第９の実施の形態の条件一致区間検出部の処
理のフローチャートである。

【図３３】第９の実施の形態における第３記憶部の記憶
動作を説明するための図である。

【図３４】第９の実施の形態における記録動作の概要を
説明する図である。

【図３５】第９の実施の形態における第３記憶部の処理
動作のフローチャートの一部である。

【図３６】第９の実施の形態における第３記憶部の処理
動作のフローチャートの一部である。

【図３７】第９の実施の形態における圧縮部の処理動作
のフローチャートである。

【図３８】第９の実施の形態における表示画面と、第１
記憶部の記憶データとの対応を説明するための図であ
る。

【図３９】第９の実施の形態における第２記憶部の記憶
データを説明するための図である。

【図４０】第９の実施の形態における表示部の処理動作
の一例のフローチャートである。

【図４１】第９の実施の形態における表示例を示す図で
ある。

【符号の説明】

１０電子会議装置１１表示画面１２タブレット１３電子ペン１５マイクロホン１６ビデオカメラ１７スピーカ１８，１８Ｂウインドウ画面１９情報蓄積部２０バス２１ユーザ入力情報検出部２２第１記憶部２３第２記憶部２４状態検出部２５表示部２６情報入力インターフェース部２７再生指定部２８再生部２９圧縮部３０制御部３５条件一致区間検出部３６第３記憶部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｈ０４Ｍ 11/10 Ｈ０４Ｎ 1/21 Ｈ０４Ｎ 1/21 7/15 7/15 Ｇ０６Ｆ 15/21 Ｚ

Claims

【特許請求の範囲】

【請求項１】ユーザ入力手段と、前記ユーザ入力手段から入力されるユーザ入力情報を検
出するユーザ入力情報検出手段と、前記ユーザ入力情報検出手段で前記ユーザ入力情報が検
出された時点近傍における周囲環境に関する情報または
前記時点近傍で発生している事象に関する情報を検出す
る状態検出手段と、前記ユーザ入力情報検出手段で検出された前記ユーザ入
力情報を表示すると共に、前記状態検出手段の検出結果
を、前記ユーザ入力情報の表示との関連を持った状態で
表示する表示手段とを備えることを特徴とする情報表示
装置。
【請求項２】ユーザ入力手段と、前記ユーザ入力手段から入力されるユーザ入力情報を検
出するユーザ入力情報検出手段と、記憶すべき音声情報または画像情報を入力するための情
報入力手段と、前記情報入力手段からの前記音声情報または画像情報を
記憶する時系列情報記憶手段と、前記ユーザ入力情報検出手段で前記ユーザ入力情報が検
出された時点近傍における周囲環境に関する情報または
前記時点近傍で発生している事象に関する情報を検出す
る状態検出手段と、前記ユーザ入力情報検出手段で検出された前記ユーザ入
力情報と、それぞれの前記ユーザ入力情報が検出された
時点近傍における前記状態検出手段からの検出結果の情
報と、それぞれの前記ユーザ入力情報に関連する前記音
声情報または画像情報の前記時系列情報記憶手段におけ
る記憶位置の情報とを、対応させて記憶する対応情報記
憶手段と、前記対応情報記憶手段の記憶情報に基づいて、前記ユー
ザ入力情報を表示すると共に、当該ユーザ入力情報の検
出時点近傍における前記状態検出手段の検出結果を、前
記ユーザ入力情報の表示との関連を持った状態で表示す
る表示手段とを備えることを特徴とする情報蓄積再生装
置。
【請求項３】前記表示手段により表示されたユーザ入力
情報についての、ユーザの再生指示を受け付ける再生指
定手段と、前記再生指定手段により再生指示されたユーザ入力情報
に対応する音声情報または画像情報の部分を、前記対応
情報記憶手段に記憶されている音声情報または画像情報
の前記時系列情報記憶手段における記憶位置の情報に基
づいて特定して再生する再生手段とを備えることを特徴
とする請求項２に記載の情報蓄積再生装置。
【請求項４】ユーザ入力手段と、前記ユーザ入力手段から入力されるユーザ入力情報を検
出するユーザ入力情報検出手段と、記憶すべき音声情報または画像情報を入力するための情
報入力手段と、前記情報入力手段からの前記音声情報または画像情報
が、予め設定された所定の条件に合致する区間を検出す
る条件一致区間検出手段と、前記情報入力手段からの音声情報または画像情報と、前
記条件一致区間検出手段で検出された区間を示す情報と
を対応させて一時記憶する一時記憶手段と、前記一時記憶手段に一時記憶された音声情報または画像
情報のうちの、前記ユーザ入力情報検出手段での前記ユ
ーザ入力情報の検出結果と前記条件一致区間検出手段で
の検出結果とから定められる区間の音声情報または画像
情報は、他の区間の音声情報または画像情報とは圧縮状
態を変えて圧縮する圧縮手段と、前記圧縮手段で圧縮された音声情報または画像情報を記
憶する時系列情報記憶手段と、前記ユーザ入力情報検出手段で検出された前記ユーザ入
力情報と、それぞれの前記ユーザ入力情報に関連する前
記音声情報または画像情報の前記圧縮状態に関する情報
と、それぞれの前記ユーザ入力情報に関連する前記音声
情報または画像情報の前記時系列情報記憶手段における
記憶位置の情報とを、対応させて記憶する対応情報記憶
手段と、前記対応情報記憶手段の記憶情報に基づいて、前記ユー
ザ入力情報検出手段で検出された前記ユーザ入力情報を
表示すると共に、前記ユーザ入力情報検出手段で前記ユ
ーザ入力情報が検出されたときに前記情報入力手段より
入力された音声情報または画像情報の、前記圧縮手段に
おける圧縮状態を、前記検出されたユーザ入力情報の表
示との関連を持った状態で表示する表示手段とを備える
ことを特徴とする情報蓄積再生装置。
【請求項５】前記表示手段により表示されたユーザ入力
情報についての、ユーザの再生指示を受け付ける再生指
定手段と、前記再生指定手段により再生指示されたユーザ入力情報
に対応する音声情報または画像情報の部分を、前記対応
情報記憶手段に記憶されている音声情報または画像情報
の前記時系列情報記憶手段における記憶位置の情報に基
づいて特定して再生する再生手段とを備えることを特徴
とする請求項４に記載の情報蓄積再生装置。
【請求項６】前記表示手段は、前記ユーザ入力情報検出
手段で検出された前記ユーザ入力情報を、検出順に表示
する機能を備え、前記対応情報記憶手段は、当該検出されたユーザ入力情
報の前記表示手段における表示位置を特定する情報をも
記憶し、前記再生指示手段は、ユーザにより指定されたユーザ入
力情報の一つを、前記対応情報記憶手段の前記ユーザ入
力情報の前記表示手段における表示位置を特定する情報
に基づいて検出して、再生指示するものであり、前記再生手段は、前記再生指定手段により再生指示され
た前記ユーザ入力情報に対応する音声情報または画像情
報の部分を、前記対応情報記憶手段に記憶されている音
声情報または画像情報の前記時系列情報記憶手段におけ
る記憶位置の情報に基づいて特定して再生することを特
徴とする請求項３または請求項５に記載の情報蓄積再生
装置。
【請求項７】前記表示手段が、前記ユーザ入力情報を、
入力された順に表示するものである請求項１に記載の情
報表示装置において、前記表示手段に表示された前記ユーザ入力情報の１つを
指定する指定手段を設け、前記表示手段は、前記指定手段によって指定されたユー
ザ入力情報のみについて、前記状態検出手段の検出結果
を表示することを特徴とする情報表示装置。
【請求項８】前記表示手段が、前記ユーザ入力情報を、
入力された順に表示するものである請求項２、請求項３
または請求項６に記載の情報蓄積再生装置において、前記表示手段に表示された前記ユーザ入力情報の１つを
指定する指定手段を設け、前記表示手段は、前記指定手段によって指定されたユー
ザ入力情報のみについて、前記状態検出手段の検出結果
を表示することを特徴とする情報蓄積再生装置。
【請求項９】前記表示手段が、前記ユーザ入力情報を、
入力された順に表示するものである請求項４、請求項５
または請求項６に記載の情報蓄積再生装置において、前記表示手段に表示された前記ユーザ入力情報の１つを
指定する指定手段を設け、前記表示手段は、前記指定手段によって指定されたユー
ザ入力情報のみについて、前記圧縮手段における圧縮状
態を表示することを特徴とする情報蓄積再生装置。
【請求項１０】請求項１に記載の情報表示装置におい
て、前記表示手段は、前記ユーザ入力情報が検出されたとき
に検出された前記状態検出手段の検出結果を、前記ユー
ザ入力情報の表示位置によって特定される表示位置に表
示することを特徴とする情報表示装置。
【請求項１１】請求項１に記載の情報表示装置におい
て、前記表示手段は、前記ユーザ入力情報が検出されたとき
に検出された前記状態検出手段の検出結果に応じて、前
記ユーザ入力情報の表示書式を変えて表示することを特
徴とする情報表示装置。
【請求項１２】請求項２または請求項３に記載の情報蓄
積再生装置において、前記表示手段は、前記ユーザ入力情報が検出されたとき
に検出された前記状態検出手段の検出結果を、前記ユー
ザ入力情報の表示位置によって特定される表示位置に表
示することを特徴とする情報蓄積再生装置。
【請求項１３】請求項２または請求項３に記載の情報蓄
積再生装置において、前記表示手段は、前記ユーザ入力情報が検出されたとき
に検出された前記状態検出手段の検出結果に応じて、前
記ユーザ入力情報の表示書式を変えて表示することを特
徴とする情報蓄積再生装置。
【請求項１４】請求項４または請求項５に記載の情報蓄
積再生装置において、前記表示手段は、前記ユーザ入力情報が検出されたとき
に検出された前記状態検出手段の検出結果を、前記ユー
ザ入力情報の表示位置によって特定される表示位置に表
示することを特徴とする情報蓄積再生装置。
【請求項１５】請求項４または請求項５に記載の情報蓄
積再生装置において、前記表示手段は、前記ユーザ入力情報が検出されたとき
の前記圧縮手段における圧縮状態を、前記圧縮状態に応
じて、前記ユーザ入力情報の表示書式を変えて表示する
ことを特徴とする情報蓄積再生装置。
【請求項１６】請求項２、請求項３、請求項４、請求項
５または請求項６に記載の情報蓄積再生装置において、
前記表示手段に表示された前記状態検出手段の検出結果
または圧縮状態を編集するための編集手段を具備するこ
とを特徴とする情報表示装置。
【請求項１７】請求項１６において、前記編集手段は、
前記状態検出手段の検出結果または圧縮状態の表示位置
と重なる表示位置に、新たなユーザ入力情報が入力され
た場合に、前記状態検出手段の検出結果によって変更さ
れていた部分の表示を元の表示に戻し、前記ユーザ入力
情報を前記表示位置に表示することを特徴とする情報表
示装置。
【請求項１８】請求項１６において、前記編集手段は、
前記状態検出手段の状態検出処理の過程で得られた情報
に基づいて、前記状態検出手段の検出結果の候補をユー
ザに示し、表示する検出結果をこの候補から選べるよう
にすることを特徴とする情報蓄積再生装置。
【請求項１９】請求項１または請求項７に記載の情報表
示装置において、前記状態検出手段は、前記ユーザ入力
情報が検出された時点近傍における音声の有無を検出す
ることを特徴とする情報表示装置。
【請求項２０】請求項２、請求項３または請求項８に記
載の情報蓄積再生装置において、前記状態検出手段は、
入力される音声の有無を検出することを特徴とする情報
蓄積再生装置。
【請求項２１】請求項４、請求項５または請求項９に記
載の情報蓄積再生装置において、前記条件一致区間検出手段は、入力音声情報有りの区間
を検出するものであり、前記圧縮手段は、前記検出され
た区間の音声情報または画像情報を、他の区間の音声情
報または画像情報よりも低圧縮率で、圧縮することを特
徴とする情報蓄積再生装置。
【請求項２２】請求項１または請求項７に記載の情報表
示装置において、前記状態検出手段は、前記ユーザ入力
情報が検出された時点近傍における音声の発話者を検出
し、前記表示手段は、前記状態検出手段の検出結果とし
て、検出された音声の発話者を特定する表示を行うこと
を特徴とする情報表示装置。
【請求項２３】請求項２、請求項３または請求項８に記
載の情報蓄積再生装置おいて、前記状態検出手段は、入
力される音声の発声者を検出し、前記表示手段は、前記
状態検出手段の検出結果として、検出された音声の発声
者を特定する表示を行うことを特徴とする情報蓄積再生
装置。
【請求項２４】請求項１または請求項７に記載の情報表
示装置において、前記状態検出手段は、前記ユーザ入力情報が検出された
時点近傍における入力音声情報に含まれる、予め定めら
れた特定のキーワード、特定のパターンまたは特定の状
態変化を検出し、前記表示手段は、検出された前記特定のキーワード、前
記特定のパターンまたは前記特定の状態変化を識別する
ための表示を、前記ユーザ入力情報の表示との関連を持
った状態でおいて行うことを特徴とする情報表示装置。
【請求項２５】請求項２、請求項３または請求項８に記
載の情報蓄積表示装置おいて、前記状態検出手段は、前記入力音声情報に含まれる、予
め定められた特定のキーワード、特定のパターンまたは
特定の状態変化を検出し、前記表示手段は、検出された前記特定のキーワード、前
記特定のパターンまたは前記特定の状態変化を識別する
ための表示を、前記ユーザ入力情報の表示との関連を持
った状態でおいて行うことを特徴とする情報蓄積表示装
置。
【請求項２６】請求項４、請求項５または請求項９に記
載の情報蓄積表示装置において、前記条件一致区間検出手段は、前記音声情報に含まれる
予め定められた特定のキーワードまたは特定のパターン
を検出して、その検出結果に基づいて前記条件一致区間
の開始点と終了点を検出するものであることを特徴とす
る情報蓄積再生装置。
【請求項２７】前記状態検出手段は、外部センサによ
り、前記ユーザ入力情報が検出された時点における状態
を検出し、前記表示手段は、前記外部センサの検出結果
に応じた表示をすることを特徴とする請求項１または請
求項７に記載の情報表示装置。
【請求項２８】前記状態検出手段は、外部センサによ
り、前記ユーザ入力情報が検出された時点における状態
を検出し、前記表示手段は、前記外部センサの検出結果
に応じた表示をすることを特徴とする請求項２、請求項
３または請求項８に記載の情報蓄積再生装置。
【請求項２９】前記条件一致区間検出手段は、外部セン
サによって予め定められた条件と一致するか否かを検出
して、前記条件一致区間を検出することを特徴とする請
求項４、請求項５または請求項９に記載の情報蓄積再生
装置。
【請求項３０】請求項１または請求項７に記載の情報表
示装置において、ユーザのカメラ操作に応じたカメラ操作信号を画像情報
と共に、出力するビデオカメラからの画像情報を記録す
る手段を備え、前記状態検出手段は、前記カメラ操作信号を検出し、前
記表示手段は、検出したカメラ操作を識別する表示を、
前記ユーザ入力情報の表示との関連を持った状態で行う
ことを特徴とする情報表示装置。
【請求項３１】請求項２、請求項３または請求項８に記
載の情報蓄積再生装置において、前記画像情報は、ユーザのカメラ操作に応じたカメラ操
作信号を画像情報と共に、出力するビデオカメラから得
られるものであり、前記状態検出手段は、前記カメラ操作信号を検出し、前
記表示手段は、検出したカメラ操作を識別する表示を前
記ユーザ入力情報の表示との関連を持った状態で行うこ
とを特徴とする情報蓄積再生装置。
【請求項３２】請求項４、請求項５または請求項９に記
載の情報蓄積再生装置において、前記画像情報の入力手段は、ユーザのカメラ操作に応じ
たカメラ操作信号を画像情報と共に、出力するビデオカ
メラであり、前記条件一致区間検出手段は、前記カメラ操作信号を解
析して操作内容を検出し、前記画像情報が予め設定され
た所定の条件に合致する区間の開始点ないし終了点を検
出することを特徴とする情報蓄積再生装置。
【請求項３３】請求項１または請求項７に記載の情報表
示装置において、前記状態検出手段は、前記ユーザ入力情報が検出された
場所を特定する情報を検出するものであり、前記表示手
段は、前記場所を示す表示を、前記ユーザ入力情報の表
示との関連を持った状態で行うことを特徴とする情報表
示装置。
【請求項３４】請求項２、請求項３または請求項８に記
載の情報蓄積再生装置において、前記状態検出手段は、前記ユーザ入力情報が検出された
場所を特定する情報を検出するものであり、前記表示手
段は、前記場所を示す表示を、前記ユーザ入力情報の表
示との関連を持った状態で行うことを特徴とする情報蓄
積再生装置。
【請求項３５】請求項１または請求項７に記載の情報表
示装置において、前記状態検出手段は、ユーザ入力情報が検出された時刻
を特定する情報を検出するものであり、前記表示手段
は、前記検出された時刻を、前記ユーザ入力情報の表示
との関連を持った状態で表示することを特徴とする情報
表示装置。
【請求項３６】請求項２、請求項３または請求項８に記
載の情報蓄積再生装置において、前記状態検出手段は、ユーザ入力情報が検出された時刻
を特定する情報を検出するものであり、前記表示手段
は、前記検出された時刻を、前記ユーザ入力情報の表示
との関連を持った状態で表示することを特徴とする情報
蓄積再生装置。
【請求項３７】請求項１または請求項７に記載の情報表
示装置において、前記状態検出手段は、ユーザ入力情報を入力した人を特
定する情報を検出するものであり、前記表示手段は、前
記特定された人を示す表示を、前記ユーザ入力情報の表
示との関連を持った状態で行うことを特徴とする情報表
示装置。
【請求項３８】請求項２、請求項３または請求項８に記
載の情報蓄積再生装置において、前記状態検出手段は、ユーザ入力情報を入力した人を特
定する情報を検出するものであり、前記表示手段は、前
記特定された人を示す表示を、前記ユーザ入力情報の表
示との関連を持った状態で行うことを特徴とする情報蓄
積再生装置。
【請求項３９】請求項１または請求項７に記載の情報表
示装置において、前記状態検出手段は、ユーザ入力情報を入力した装置を
特定する情報を検出、または、音声情報または画像情報
を入力した装置を検出することを特徴とする情報表示装
置。
【請求項４０】請求項２、請求項３または請求項８に記
載の情報蓄積再生装置において、前記状態検出手段は、ユーザ入力情報を入力した装置を
特定する情報を検出、または、音声情報または画像情報
を入力した装置を検出することを特徴とする情報蓄積再
生装置。
【請求項４１】請求項４、請求項５または請求項９に記
載の情報蓄積再生装置において、前記表示手段は、前記ユーザ入力情報検出手段で前記ユ
ーザ入力情報が検出されたときに入力された音声情報ま
たは画像情報の前記圧縮手段における圧縮状態に応じ、
前記ユーザ入力情報の表示書式を変えて表示することを
特徴とする情報蓄積再生装置。
【請求項４２】請求項４、請求項５または請求項９に記
載の情報蓄積再生装置において、前記表示手段は、前記圧縮状態として、記憶時刻、記憶
時間、圧縮率または間欠記録の時間間隔のうちの、少な
くとも１つを表示することを特徴とする情報蓄積再生装
置。