以下、図面を参照して、この発明の実施の形態について説明する。
[情報蓄積装置の第1の実施の形態]
第1の実施の形態は、この発明による情報蓄積装置を会議記録に適用した場合である。
概して、数日前に行なわれた会議を後から参照する可能性に比べて、1カ月前に行なわれた会議を参照する可能性は極めて低い。参照する可能性の小さくなった映像情報などの会議情報を高品質で蓄積したままにしておくことは、メモリ容量を節約するという面で非常に非効率的であり、適当なタイミングで、削除または間引き圧縮等を施し、情報量を削減することが望ましい。
しかし、昔の会議記録であっても、重要な場面については、話者が話しながら行なった動き(ジェスチャなど)や、話しぶりや、微妙なニュアンスを再現したいという要求がある。したがって、このような特徴的な事象が起こっている重要区間の音声情報または画像情報は、高品質のままで保存しておくようにすることが要求される。
この場合に、音声情報または画像情報の時系列情報の重要区間をどのように特定するかが問題である。この実施の形態では、会議出席者(会議の司会者や進行役も含む)の指示入力やメモ入力などのユーザ入力情報の検出時点と、そのユーザ入力がなされたときの状況(入力状況)と、音声情報または画像情報について予め定められた条件に一致する区間と、に基づいて重要区間を決定する。
入力状況としては、この例では、例えば共用電子ホワイトボード装置などの共用入力装置にユーザ入力される場合と、個人用電子ノート装置などの個人用入力装置にユーザ入力される場合の2つの状況を想定し、そのいずれの状況であるかを区別してユーザ入力状況特定手段は特定するものとする。
また、条件に一致する区間としては、この例では、会議出席者の一人の発言区間とする。したがって、発言区間と話者の交替を検出する必要がある。
第1の実施の形態では、会議について音声情報および映像情報を記録し、その記録時点から1ヶ月が経過したときに、記録した会議映像の中の重要部分の映像だけを残し、その他の部分は消去するという、情報量削減処理(圧縮処理)を施す例について説明する。さらに、第1の実施の形態では、音声情報についても、記録した会議音声の中の重要部分の音声情報だけを残し、その他の部分は消去するようにする。
この第1の実施の形態によれば、後述するように、会議の重要場面のみを残して他の部分を消去できるので、蓄積保存すべき情報量は非常に少なくなる。すなわち、この例においては、会議参加者がメモをとった時点は、会議の重要場面であるとする。この重要場面をとらえて、会議参加者がメモをとった時点の周辺のみを保存し、それ以外の部分を消去することで、会議映像および会議音声を保存するための情報量を大幅に少なくすることができる。
図2は、この実施の形態の場合の会議風景を示すもので、20は、情報蓄積再生装置を構成する電子会議装置である。この電子会議装置20は共用ホワイトボード装置としての機能も備えるもので、マーカーペンでホワイトボードに書き込むのと同じ感覚で、プロジェクタスクリーン上に電子ペン23を使用して自在に書き込みを行なうことができ、議論の過程や、結論を電子ファイルとして記憶蓄積することができるものである。このため、この電子会議装置20は、パーソナルコンピュータ(図示せず)を内蔵する。
また、会議出席者(会議の司会者や進行役も含む)は、その手元に、個人用電子ノート装置として機能する小型コンピュータ30を備え、会議中に、この小型コンピュータに個人用のメモなどの入力を行うことができる。
この実施の形態では、電子会議装置20が内蔵するコンピュータと、各個人が手元に所持する小型コンピュータ30とは、無線ネットワークで接続されており、複数の小型コンピュータ30から入力されたユーザ入力情報と後述するユーザ入力装置情報とは、電子会議装置20が内蔵するコンピュータに伝送されるようになっている。したがって、図示しないが、各小型コンピュータ30と、電子会議装置20とは、それぞれ無線送受信部を備えるものである。
以下の説明において、電子会議装置20を共用入力装置として使用する場合には、これを共用ホワイトボード装置20と称し、小型コンピュータは、個人用電子ノート装置30と称することとする。
そして、図2に示すように、この電子会議装置20は、表示画面21を備える。この表示画面21への画像の表示方式は、スクリーンに背面から投射して表示する、いわゆるプロジェクション方式である。さらに、この電子会議装置20は、表示画面21上の電子ペン23の接触入力座標位置を検出する機能を備えており、検出された接触入力座標位置は、共用ホワイトボード装置からのユーザ入力情報として、パーソナルコンピュータに入力され、蓄積媒体27に記憶蓄積される。
電子会議装置20のパーソナルコンピュータは、後述もするように、この電子ペン23による表示画面21上でのユーザ入力情報(共用ホワイトボード装置からのユーザ入力情報)を、前述した個人用電子ノート装置30からのユーザ入力情報とは区別して検出して記憶蓄積する。
また、会議の場における音声情報や画像情報などの時系列情報の入力のために、電子会議装置20は音声入力端子および画像入力端子を備える。この実施の形態においては、複数の会議出席者29の各々にマイクロホン25が割り当てられ、それぞれのマイクロホン25により収音された会議出席者29の発言の音声信号は、一旦、音声信号解析器26に入力される。この音声信号解析器26の出力端子は、電子会議装置20の音声入力端子に接続されている。
音声信号解析器26は、複数のマイクロホン25から入力された音声信号を解析し、入力音声信号がどのマイクロホンから入力されたのかを識別して、その識別結果を音声信号と共に電子会議装置20に対し出力するものである。
また、ビデオカメラ24で撮影された紙文書や会議風景の画像信号は、電子会議装置20の画像入力端子に入力され、電子会議装置20の表示画面21に表示される。
なお、順次入力される時系列情報は、ビデオカメラ/マイクロホン/ビデオデッキ/テープレコーダ/センサ等から入力されたアナログ信号でもよいし、それを符号化したデジタル信号でもよい。さらには、計算機ネットワーク/計算機バスを通じて入力されるデジタル信号でもよい。すなわち、時間の経過とともに順次入力される情報は、いずれもこの発明でいう時系列情報に相当する。
電子会議装置20の表示画面21には、当該電子会議装置20の画像入力端子に接続されているビデオカメラ24からの画像情報による画像と、この電子会議装置20のパーソナルコンピュータを通じて入力される電子文書の画像とが、図2に示すように、それぞれ別のウインドウ画像22A、22Bとして表示される。この表示画面21に表示される画像情報も、前記ユーザ入力情報および音声情報と関連付けされて記憶蓄積される。
また、この電子会議装置20に内蔵のパーソナルコンピュータは、機能的に情報圧縮蓄積装置をその内部に備える。この情報圧縮蓄積装置は、前記ユーザ入力情報と、会議風景を撮影するビデオカメラ24からの画像情報と、マイクロホン25からの音声情報とを、記憶媒体27に記憶蓄積し、この記憶媒体27に記憶蓄積された音声または画像情報を、後述するようにして圧縮する機能を備えている。
そして、蓄積媒体27に蓄積された画像情報は、ユーザからの再生要求に応じて表示画面21に表示されるとともに、蓄積媒体27に蓄積された音声情報がスピーカ28から再生される。電子会議装置20は、このための再生部も備える。この再生部は、表示画面21に表示されたユーザ入力情報のうちから、ユーザが任意のユーザ入力情報を指定した際に、この指定されたユーザ入力情報が入力された時刻に記録された音声情報または画像情報を、蓄積媒体27から読み出し、再生するものである。
なお、ユーザが任意のユーザ入力情報を指定した際に、この指定されたユーザ入力情報が入力された時刻に表示画面21に表示されていた画像を、蓄積媒体27から読み出して再生して表示画面21に表示するようにしてもよい。
なお、電子会議装置20は、パーソナルコンピュータを介して、例えばISDNによるネットワークに接続することにより、会議の過程の音声情報や画像情報を遠隔地間で同時に共有し、あたかも同じ部屋で会議を行なっているような環境を実現することも可能である。
図1は、この実施の形態の電子会議装置の情報蓄積再生装置としての機能部分を示したブロック図である。すなわち、この実施の形態の情報蓄積装置は、システムバスに対して、音声情報入力部1、画像情報入力部2、条件一致区間検出部3、時系列情報記憶部4、ユーザ入力情報入力部5、ユーザ入力情報検出部6、ユーザ入力装置特定部7、重要区間決定部8、対応関係記憶部9、圧縮部10、時刻情報記憶部11、再生部12、再生指定部13、表示部14、制御部15が、それぞれ接続されて構成される。この例の場合、音声情報入力部1の出力端は、条件一致区間検出部3にも接続される。
図1の各部はそれぞれ別のブロックとして構成されていてもよいし、1つのブロックが幾つかの部を含むように構成されていてもよい。また、1つの部が、幾つかのブロックに分割されて実装されていても構わない。
音声情報入力部1は、マイクロホン25からの音声信号を受けてデジタル音声信号に変換し、システムバスに送出すると共に、条件一致区間検出部3に送出する。
画像情報入力部2は、ビデオカメラ24からの画像信号を受け付ける。そして、ビデオカメラ24からの画像信号がデジタル信号であれば、それを受け付けてシステムバスに送出する。また、入力画像信号がデジタル信号でなければ、画像情報入力部2は、入力画像信号をデジタル画像信号に変換してシステムバスに出力する。
条件一致区間検出部3は、音声情報入力部1からのデジタル音声信号を監視して、予め定められている条件に合致する音声区間を検出する。この例では、所定レベル以上の音声信号入力が有り、かつ、この入力音声信号から話者の交替を検出したことを条件として条件一致区間を検出する。この条件一致区間検出部3は、音声信号解析器26と電子会議装置20の一部とがその役割を果たす。
所定レベル以上の音声信号の有無を検知する方法としては、図3に示すように、条件一致区間検出部3は、入力される音声レベルが所定のレベル以上になったことを検知して話者の発言の開始点を認識し、音声レベルが所定の閾値レベル以下になったことを検知して話者の発言の終了点を認識する検出機能を持つ。
ただし、図3に示すように、音声レベルが閾値レベルと交差する音声レベル変化点F101そのものを発言の開始点または終了点とすると、発言の最初の部分と最後の部分が条件一致区間に含まれないので、音声レベルが小レベルから大レベルに変化するときの変化点F101よりも一定時間T1だけ前の時点F100を発言開始点とし、また、音声信号レベルが大レベルから小レベルに変化するときの変化点F101よりも一定時間T2だけ後の時点F102を発言終了点とする。
なお、この実施の形態において、ある時刻における音声レベルとは、その時刻の前後の音声レベルを平滑化した値であり、例えば、ある時刻の前後の2秒間の瞬間音声レベルの平均値である。
この実施の形態では、図2に示されるように、マイクロホン25を発言者毎に設置し、発言者各自のマイクロホンからの音声入力レベルを音声信号解析器26で比較することで、音声信号解析器26が、入力音声信号を発信した話者を特定する。そして、この話者の特定により、話者の交替を検出する。
発言者を特定する方法としては、この他にも、音声信号の特徴(声紋など)から話者を特定してもよいし、画像情報による顔や口の動きから発言者を特定してもよい。その場合には、マイクロホンは、会議出席者のすべてに対応して複数本設ける必要はなく、1本あるいは会議出席者の数よりも少ない複数本でよい。また、複数のマイクロホンを設置し、それらのマイクロホンから入力される音声信号の位相差を解析して音源の位置を検知して、発言者を特定するようにすることもできる。
時系列情報記憶部4は、音声情報入力部1から入力される音声情報および画像情報入力部2から入力される画像情報を、それぞれデジタル情報として記憶する。記憶情報の格納装置としては、ディスク装置や、磁気テープ装置や、半導体メモリ装置を用いられる。
ユーザ入力情報入力部5は、共用電子ホワイトボード装置からのユーザ入力情報を受けると共に、個人用電子ノート装置からのユーザ入力情報を受ける。前述したように、この実施の形態では、個人用電子ノート装置30からのユーザ入力情報は、無線通信されてくるので、このユーザ入力情報入力部は、そのための無線受信部を備える。
この実施の形態では、共用電子ホワイトボード装置からのユーザ入力情報には、共用入力装置であることを示す判別情報がそのヘッダ部に付加されている。一方、個人用電子ノート装置30からのユーザ入力情報のヘッダ部には、この判別情報は付加しない。このヘッダ部の判別情報の有無により、共用入力装置か、個人用入力装置であるかを判別することができる。
なお、共用電子ホワイトボード装置からのユーザ入力情報には、共用入力装置であることを示す識別情報を付与しておくと共に、個人用電子ノート装置30からのユーザ入力情報のヘッダ部には、それを示す識別情報を付加するようにして、両者を判別するようにしても勿論よい。
ユーザ入力情報検出部6は、ユーザ入力情報入力部5からのユーザ入力情報を検出し、検出したユーザ入力情報を対応関係記憶部9や表示部14に転送する。
ユーザ入力情報は、表示位置の情報も含んでいる。また、ユーザ入力情報検出部6は、ユーザ入力情報の検出時点の情報もシステムバスに出力する。
ユーザ入力装置特定部7は、ユーザ入力状況特定部の一例を構成するものであり、ユーザ入力情報検出部6で検出されたユーザ入力情報が、共用電子ホワイトボード装置からのものか、個人用電子ノート装置30からのものかを、ユーザ入力情報に含まれる前記ヘッダ部から特定する。そして、そのユーザ入力装置特定結果のユーザ入力装置情報をシステムバスに出力する。
重要区間決定部8は、音声情報および画像情報の時系列情報のうちの、後述するような特定の区間を重要区間として特定する特定区間決定部を構成するもので、この実施の形態では、対応関係記憶部9の一部の機能とされる。この重要区間決定部8は、ユーザ入力情報検出部6からのユーザ入力情報の検出時点と、ユーザ入力装置特定部7からのユーザ入力装置情報と、条件一致区間検出部3からの条件一致区間の情報とに基づいて、音声情報および画像情報について、当該ユーザ入力情報に関連する特定区間、すなわち、重要区間を決定する。この重要区間の決定の仕方の詳細な例は後述する。
対応関係記憶部9は、ユーザが例えば電子ペン23により入力したユーザ入力情報と、このユーザ入力情報の画面上での表示位置を特定する情報(例えば、X−Y座標軸上の絶対座標や相対座標など)と、重要区間決定部8で決定された重要区間内に入力された音声情報または画像情報の時系列情報記憶部4内での記憶アドレスとを、対応付けて記憶する。
この実施の形態では、前記重要区間の情報として、対応関係記憶部9には、ユーザ入力情報が入力された時点を含む重要区間の開始アドレスと終了アドレスとを記憶するようにしている。すなわち、対応関係記憶部9は、それぞれのユーザ入力情報と条件一致区間情報とユーザ入力装置情報とによって特定される区間を重要区間とし、この重要区間の音声情報または画像情報の、前記時系列情報記憶部4における記憶アドレスと、それぞれのユーザ入力情報とを対応させて記憶するものである。この対応関係記憶部9の記憶装置も、例えばディスク記憶装置や半導体メモリ装置等で構成される。
圧縮部10は、この実施の形態においては、前記時系列情報記憶部4に蓄積された音声情報および画像情報のデータ間引き処理を行なう。この場合、圧縮部10は、対応関係記憶部9の重要区間決定部8において、ユーザ入力情報が入力されたタイミングと条件一致区間情報とユーザ入力装置情報とによって決定された重要区間の情報に基づいて、重要区間以外の区間の音声情報および画像情報は、消去することもできるように構成されている。
時刻情報記憶部11は、入力された音声信号および画像信号が、時系列情報記憶部4に記録開始された時刻を記憶するためのもので、例えばディスク記憶媒体や半導体メモリ等で構成される。
さらに、時刻情報記憶部11は、前記記録開始時刻からの経過時間を測定する機能を持つ。このため、この時刻情報記憶部11には、図示しない時計回路部からの現在時刻情報が供給される。そして、この実施の形態では、この時刻情報記憶部11は、前記記録開始時刻からの経過時間が予め定められた所定時間以上となったときに、圧縮部10で時系列情報記憶部4の画像情報の前述したような圧縮を開始する契機となる圧縮トリガタイミング信号を出力する。
再生部12は、前述したように、時系列情報記憶部4に記憶されている音声信号や画像信号を再生する機能部である。
再生指定部13は、蓄積記憶したユーザ入力情報、音声情報、画像情報を、ユーザ入力情報を指定して再生する際に使用される。この再生指定部13は、後述するように、表示画面21や個人用電子ノート装置30に表示されたユーザ入力情報のうちから、タブレットを通じてユーザが指定を行ったときに、その指定部分を再生部分として検出するものである。
表示部14は、前述した表示画面21を備えるプロジェクション方式の表示装置部分である。そして、この例では、ペン/タブレット一体型入出力装置をも兼用する構成とされている。このため、この表示部14には、各自が手元に所有する個人用電子ノート装置30の表示装置部分も含むものとする。したがって、前記再生指定部13も、電子会議装置20の表示画面21を通じての再生指定と、個人用電子ノート装置30の表示画面を通じての再生指定も含むものとする。なお、この表示部14としては、例えばCRTモニタや、液晶モニタで構成することもできる。
電子会議装置のユーザ入力情報検出部6は、例えば表示画面21に貼付されたタブレットにより構成され、電子ペン23によるユーザ入力を検出し、そのペン筆跡情報をユーザ入力情報として出力する。このとき、表示部14の表示画面21には、ペン筆跡情報に応じたペン軌跡が表示される。
そして、このときのユーザ入力情報には、共用入力装置のユーザ入力情報であることを示す識別情報が含まれるので、ユーザ入力装置特定部7は、それを検知してユーザ入力装置情報を出力する。
また、同様に、手元の個人用電子ノート装置30から入力されたペン筆跡情報は、その入力が行なわれた該個人用電子ノート装置30の表示装置部に表示される。さらに、ユーザからの入力を検出した個人用電子ノート装置30は、電子会議装置20にその識別情報を含むユーザ入力情報を伝送する。ユーザ入力情報検出部6は、この個人用電子ノート装置30からのユーザ入力情報を受信して検出する。また、ユーザ入力装置特定部7は、ユーザ入力情報に含まれる識別情報を検知してユーザ入力装置情報を出力する。
なお、ユーザ入力情報としては、ペン(またはマウス/トラックボール/タッチパネルなど)からの筆跡あるいは図形(線、四角形、円などのオブジェクト)の他に、筆跡データを文字認識したコード情報、キーボードからのコード情報でもよい。また、表示されているユーザ入力情報を移動/複写/削除したという編集情報、ページ切り替えを行ったという情報、スチルカメラのシャッターを押したという情報、ユーザがセンサー付きの椅子に座ったという情報、仮想的な消しゴムが用いられたという情報など、ユーザ入力情報が表示されない性質のものであってもよく、この場合は、そのユーザ入力情報の存在を示す所定のしるしを表示部3に表示する。すなわち、入力される時系列情報(例えば、音声信号または画像信号)が存在する間に、ユーザが計算処理能力を持つ装置に対して行った入力は、いずれもこの発明でいうユーザ入力情報に相当する。
[重要区間の決定について]
対応関係記憶部9の重要区間決定部8は、ユーザ入力情報が検出されたタイミングと、特定されたユーザ入力装置情報と、条件一致区間検出部3で検出された条件一致区間とから、音声情報および画像情報についての重要区間を決定する。この決定に際して、この実施の形態では、次の点を考慮している。
前述したように、共用電子ホワイトボード装置に筆記する筆記者は、書きながら関連情報を発言する場合が多い。また、筆記者以外の会議出席者によって発言されたことを、共用電子ホワイトボードの筆記者が書き留める時は、関連情報が発言されたら、それをすぐ共用電子ホワイトボード装置に筆記する傾向が強い。したがって、共用電子ホワイトボード上のメモ筆記時点と関連情報が発言されている時点とは近接しているという特徴がある。
他方、会議参加者が個人用電子ノート装置に筆記する場合は、聞いた言葉を一旦自分の中で咀嚼したのち手元メモを入力したり、自分の言葉に置き換えたのち手元メモを筆記することが多い。したがって、個人用電子ノート装置上のメモ筆記時点と関連情報が発言されている時点とは比較的離れるという特徴がある。
本願の発明者らが実施した実験の結果によると、ユーザ入力として例えばメモ筆記の場合を例にとると、メモ筆記入力に対して必要な発言の開始点が、決定される重要区間に含まれる確立を95%(危険率5%)以上にするためには、個人用電子ノート装置に筆記する場合は筆記時点の少なくとも200秒前から記録を開始する必要があり、一方、共用電子ホワイトボード装置に筆記する場合は筆記時点の少なくとも130秒前から記録を開始する必要があることがわかった。
また、メモ筆記入力に対して必要な発言の終了点が、決定される重要区間に含まれる確立を95%(危険率5%)以上にするためには、個人用電子ノート装置に筆記する場合は筆記時点の少なくとも180秒後まで記録を継続する必要があり、一方、共用電子ホワイトボード装置に筆記する場合は筆記時点の少なくとも70秒後まで記録を継続する必要があることがわかった。
以上のことを考慮して、この実施の形態の重要区間決定部8においては、音声情報や画像情報の時系列情報の内から、次のようにして、重要区間を決定するようにする。
すなわち、図4において、共用電子ホワイトボード装置20の表示画面21または個人用電子ノート装置30の表示画面において、ユーザ入力情報として入力ペンにより時点tpで筆記入力がなされた場合の重要区間の特定は、次のようになされる。
まず、ユーザ入力情報の入力が検出された時点tpから所定時間前にさかのぼった時点t1を特定し、この時点t1よりさらにさかのぼる時点であって、この時点t1に最も近い話者交替時点ts(t1に最も近い条件一致区間の開始点ts)を重要区間IPの始まりとする。この場合に、図5の表に示すように、ユーザ入力が、共用電子ホワイトボード装置上の筆記であれば、そのユーザ入力が検出された時点tpと時刻t1との時間間隔(tp−t1)は130秒とし、個人用電子ノート装置上の筆記であれば、時間間隔(tp−t1)は200秒となるように時刻t1を定める。
次に、ユーザ入力情報の入力が検出された時点tpから所定時間後の時点t2を特定し、この時点t2よりも後の時点であって、このt2に最も近い話者交替時点te(t2に最も近い条件一致区間の終了点te)を重要区間IPの終わりとする。この場合に、図5の表に示すように、ユーザ入力が、共用電子ホワイトボード装置上の筆記であれば、そのユーザ入力が検出された時点tpと時刻t2との時間間隔(t2−tp)は70秒とし、個人用電子ノート装置上の筆記であれば、時間間隔(t2−tp)は180秒となるように時刻t2を定める。
また、例えばユーザからの入力が十分な間隔を置かずに続けざまに行われた等の理由により、重要として決定すべき区間が重なった場合は、区間をつないで決定する。
例えば、図6のように、共用電子ホワイトボード装置からのユーザ入力が時点tp1でなされ、これに近接した時点tp2で、個人用電子ノート装置30からのユーザ入力があった場合を考える。この場合には、ユーザ入力時点tp1について決定される重要区間と、ユーザ入力時点tp2について決定される重要区間とが時間的に重なるので、時点tp1について決定される重要区間の開始点から、時点tp2について決定される重要区間の終了点までを、求める重要区間IPとして決定するようにする。
すなわち、図6では、共用電子ホワイトボード装置からのユーザ入力時点tp1から所定時間前にさかのぼった時点t1を特定し、この時点t1よりさらにさかのぼる時点であって、この時点t1に最も近い話者交替時点tsを重要区間の始まりとする。この場合、共用電子ホワイトボード装置上の筆記であるので、図7の表に示すように、ユーザ入力が検出された時点tp1と時刻t1との時間間隔(tp1−t1)が130秒となるように時点t1を定める。
また、個人用電子ノート装置からのユーザ入力時点tp2から所定時間後の時点t2を特定し、この時点t2よりも後の時点であって、この時点t2に最も近い話者交替時点teを重要区間の終わりとする。この場合、個人用電子ノート装置上の筆記であるので、図7の表に示すように、ユーザ入力が検出された時点tp2と時刻t2との時間間隔(t2−tp2)が180秒となるように時刻t2を定める。図6において、WPは、個々のユーザ入力について決定される重要区間が重なった区間を示している。
図6のように、複数のユーザ入力装置により入力されたユーザ入力情報を合わせてユーザ入力情報検出部6によって検出するようにした場合や、複数のユーザからのユーザ入力情報を合わせてユーザ入力情報検出部6によって検出するようにした場合は、入力される音声情報または画像情報を同一の時系列情報記憶部4に記憶するように構成することで、装置個別に音声情報または画像情報を蓄積する必要がなくなり記憶容量の節約ができる。
[情報蓄積装置の第1の実施の形態の記録時の動作]
次に、以上のような構成の情報蓄積装置の例としての電子会議装置20における記録時の動作について説明する。図8は、この実施の形態における記録時の動作を、その際の各種情報の流れ、および、各部の出力の流れと共に説明する図である。
会議が始まり、マイクロホン25からの音声信号およびカメラ24からの画像信号が、電子会議装置20に供給されると、音声信号および画像信号は、時系列情報記憶部4に順次に蓄積記憶される。また、音声信号は、条件一致区間検出部3にも入力される。
この場合、音声信号解析器26が、条件一致区間検出部3の機能を果たす。すなわち、前述したように、マイクロホン25が発言者毎に設置されており、発言者各自のマイクロホンからの音声入力レベルが音声信号解析器26において、閾値レベルと比較されることで、音声信号解析器26で、入力音声信号を発信した話者が特定され、1人の話者の1つの発話の開始点および終了点が検出される。この実施の形態の場合、1人の話者の1つの発話区間が条件一致区間となる。この条件一致区間の情報は対応関係記憶部9の重要区間決定部8に供給される。
図9は、条件一致区間検出部3の動作を説明するフローチャートである。
条件一致区間検出部3に、音声情報入力部1からの音声信号がデジタル信号として供給されると、ステップS100において、前述の発言区間の検出と、発話者の特定が行なわれる。発話者の特定方法としては、前述したように、発言者毎に設置されたマイクロホン25からの音声入力レベルを音声信号解析器26で比較することで実施される。
このステップS100の後、ステップS101において、話者が交替したかどうかを認識し、話者の交替が検出された場合には、ステップS102に進み、ステップS101において特定された条件一致区間を重要区間決定部8に出力し、その後ステップS100に戻って、新たな条件一致区間の検出を始める。また、ステップS101において、話者が交替していないと認識された場合にも、ステップS100に戻って、新たな条件一致区間の検出を始める。
一方、ユーザ入力情報検出部6が、ペン筆跡情報(ユーザ入力情報)の入力を検出すると、検出されたペン筆跡情報は、表示部14に表示される。そして、検出されたペン筆跡情報は、対応関係記憶部9に供給されて、その重要区間決定部8で重要区間の決定のための要素の一つとして用いられると共に、記憶蓄積される。
図10は、ユーザ入力情報検出部6の動作を説明するフローチャートである。ユーザ入力情報検出部6は、電子ペン23が表示画面21に接触した座標位置をそのユーザ入力情報として検出し、あるいは個人用電子ノート装置30からの、その表示画面に接触した座標位置からなるユーザ入力情報を検出し(ステップS200)、検出したユーザ入力情報を、逐次、表示部14に出力して表示すると共に、対応関係記憶部9に出力し、この対応関係記憶部9に、検出したユーザ入力情報を記憶させるようにする(ステップS201)。
また、ユーザ入力情報検出部6からのユーザ入力情報中のユーザ入力装置の識別情報から、ユーザ入力装置特定部7で、ユーザ入力情報は、共用ホワイトボード装置20からのものか、個人用電子ノート装置30からのものかを示すユーザ入力装置情報が生成される。このユーザ入力装置情報は、対応関係記憶部9の重要区間決定部8に供給されて、重要区間の決定のための要素の一つとして用いられる。
図11は、この実施の形態における、ユーザ入力装置特定部7の動作を説明したフローチャートである。前述もしたように、ユーザ入力情報が共用電子ホワイトボード装置20から入力された情報か、個人用電子ノート装置30から入力された情報かを判別できるようにするために、共用電子ホワイトボード装置20は、ユーザ入力情報のヘッダに、共用ホワイトボード装置判別情報を付加する。
すなわち、共用電子ホワイトボード装置から出力されたユーザ入力情報のヘッダに、共用電子ホワイトボード装置から入力されたことを示す共用ホワイトボード装置判別情報を付加し、他方、個人用電子ノート装置から入力されたユーザ入力情報のヘッダーには前記共用ホワイトボード装置判別情報を付加しないようにする。これにより、両入力装置を容易に判別できるようにする。
図11に示すように、ユーザ入力情報検出部6からの入力があった場合には、ステップS210によってそのことが検出され、ステップS211に進む。ステップS211では、ユーザ入力情報検出部6からのユーザ入力情報のヘッダに共用ホワイトボード装置判別情報が付加されているかどうかを検出し、共用ホワイトボード装置判別情報が付加されていなかった場合には、ステップS212に進み、個人用電子ノート装置30からの入力であるとするユーザ入力装置情報を対応関係記憶部9に供給する。一方、ステップS211において、共用ホワイトボード装置判別情報が付加されていると判別された場合には、ステップS213に進み、共用電子ホワイトボード装置20からの入力であるとするユーザ入力装置情報を対応関係記憶部9に供給する。
なお、前記共用ホワイトボード装置判別情報を生成する装置としては、共用電子ホワイトボード装置20以外にも、共用電子ホワイトボード装置20に書き込むための電子ペン23であってもよい。
対応関係記憶部9の重要区間決定部8は、以上のユーザ入力情報と、条件一致区間の情報と、ユーザ入力装置情報とから、前述の図4〜図7を用いて説明したようにして、時系列情報についての重要区間を決定する。
図12は、ユーザ入力情報検出部6の検出結果であるペン筆跡入力情報と、条件一致区間検出部3の検出結果と、ユーザ入力装置特定部7のユーザ入力装置の検出結果とから、重要区間決定部8により定められた重要区間と、画像情報および音声情報を記憶した時系列記憶部4の記憶状態(圧縮処理を施す前の状態)とを対応付けて説明する図である。これらの情報の対応関係情報は、前述したように、対応関係記憶部9に記憶される。
対応関係記憶部9の重要区間決定部8は、前述したように、条件一致区間検出部3の検出結果とユーザ入力装置特定部7の検出結果とから定められた区間のうち、ユーザ入力情報が入力された時点を含む区間を、入力音声情報または画像情報の重要区間として記憶する。すなわち、条件一致区間検出部3で検出された区間であっても、その区間内にユーザ入力情報が検出されなかった場合には、重要区間としては認識しない。
そして、画像情報および音声情報に関して、ユーザ入力情報としてのペン筆跡の入力時点を含む時刻tsから時刻teまでを重要区間として特定する。この重要区間の画像情報および音声情報は、後述する圧縮処理を施した時に時系列情報記憶部4から消去されないが、重要区間以外の区間の画像情報および音声情報は、後述する圧縮処理を施した時に消去される。
図13は、対応関係記憶部9に記憶された対応関係情報の例である。この図13に示すように、ユーザが入力したペン筆跡情報としては、ユーザ入力情報を一意に特定する識別子とユーザ入力情報の種類を特定する情報が記憶されている。表示画面21上の表示位置としては、3つのX−Y座標(20、30)(30、40)(60、10)と座標情報の終端を表すnilとが記憶されている。
また、時系列情報記憶部4上の記憶アドレスとしては、重要区間決定部8により決定されたアドレスas(開始点アドレス)およびアドレスae(終了点アドレス)が記憶されている。
最後に、ユーザ入力情報が共用入力装置から入力されたものか、個人用入力装置から入力されたものかを示すためにユーザ入力装置情報が記憶されている。
対応関係記憶部9に記憶されるのは、ペン筆跡情報、表示座標、記憶アドレスそのものではなく、それらを特定する特定情報であってもよいし、対応関係記憶部9のデータ記憶構造はテーブルの形式でなく、リスト構造などの他の記憶構造で構成されてもかまわない。
また、この例のように、マルチプルラインなどを表現するまとまった座標点列を1つのペン筆跡情報として記憶させておけば、再生時にその座標点列のうちの、いずれかが指定されれば、その座標点列に対応するペン筆跡情報が特定できるようになり、同じ記憶アドレスから音声または画像を再生できるようになる。
図14および図15は、対応関係記憶部9の動作を説明するフローチャートであるが、前述した記録動作に関与するステップは、ステップS300〜ステップS304の部分である。そして、ステップS305、ステップS306の部分は、後述する圧縮時の動作に関与する部分であり、また、図15のステップS307〜ステップS310の部分は後述する再生時の動作に関与する部分である。
すなわち、この記録時においては、ステップS300において、条件一致区間検出部3から、条件一致区間を示す情報が入力されたかどうかを検出し、条件一致区間の入力が検出されなかった場合には、ステップS305およびステップS307を経由してステップS300に戻り、条件一致区間を示す情報の入力有無の検出を行う。
ステップS300において、条件一致区間検出部3からの条件一致区間の入力が検出された場合には、ステップS301に進む。ステップS301では、当該条件一致区間内にユーザ入力情報が検出されたか否か判定し、当該条件一致区間内にユーザ入力情報が検出されないと判定されたときには、ステップS305およびステップS307を経由してステップS300に戻り、再び、条件一致区間を示す情報の入力有無の検出を行う。
一方、ステップS301で、条件一致区間内にユーザ入力情報が検出されたと判定された場合には、ステップS302に進む。ステップS302では、前述したようにして重要区間を決定する。このステップS302は、重要区間決定部8が実行するステップである。次にステップS303に進み、前記重要区間に対応して時系列情報記憶部4に記憶されている音声情報または画像情報の、時系列情報記憶部4における記憶アドレスを取得するために、時系列情報記憶部4に対し、前記重要区間を示す情報と、記憶アドレスの問い合わせ要求を出力し、その返答を待つ。
時系列情報記憶部4からの返答が返されるとステップS304に進み、前記ユーザ入力情報と、このユーザ入力情報の表示部14上における表示位置と、重要区間とされる音声情報および画像情報の時系列情報記憶部4における記憶アドレス(重要区間の記憶アドレス)と、ユーザ入力装置情報とを対応づけて記憶する。時系列情報記憶部4に記憶されている音声情報および画像情報の、重要区間の情報は、これにより、ユーザ入力情報、条件一致区間情報およびユーザ入力装置情報に対応して記憶されていることになる。
ステップS304の次には、ステップS305およびステップS307を経由してステップS300に戻り、次の条件一致区間を示す情報の入力有無の検出を行う。
次に、このときの対応する時系列情報記憶部4の動作を、図16のフローチャートを参照して説明する。この処理ルーチンのステップS400〜S404の部分が記録時の動作の部分であり、ステップS405,S406は再生時の動作部分である。
すなわち、図16において、時系列情報記憶部4の記録時の動作を説明すると、まず、この記録動作が開始となると、時系列情報記憶部4は、ステップS400において、音声情報および画像情報の記憶開始時刻を時刻情報記憶部11に出力して、記録させる。次に、ステップS401、ステップS402と順次に進み、入力される画像情報と音声情報との入力を受け、順次記憶する。
そして、次のステップS403では、対応関係記憶部9から、前記重要区間に対応する記憶アドレスの要求が到来したか否かを判別し、当該要求が到来したことを検出したときにはステップS404に進む。このステップS404では、重要区間に対応する音声情報および画像情報の記憶アドレスを、対応関係記憶部9に返答する。
ステップS403で重要区間に対応する記憶アドレスの要求は到来していないと判別された後、またステップS404の後は、ステップS405を経由してステップS401に戻り、画像情報と音声情報の記憶を続ける。
時刻情報記憶部11は、時系列情報記憶部4の前記ステップS400での処理による記憶開始時刻の情報を受信して、当該記憶開始時刻の記憶を行う。
図17は、時刻情報記憶部11の動作を説明するフローチャートであり、また、図18は、時刻情報記憶部11の記憶構造を説明するための図である。図17において、ステップS500およびステップS501が、記録時の処理であり、時系列情報記憶部4から供給された、音声情報および画像情報の記憶開始時刻をステップS500において検出し、ステップS501においてこの記憶開始時刻を時刻情報記憶部11に記憶する。
後述するように、時刻情報記憶部11は、音声情報および画像情報が時系列情報記憶部4に記録されてからの経過時間(すなわち情報保存時間)が、所定の時間以上になった場合に、対応関係記憶部9に対し圧縮処理開始指示を出力する。図17のステップS502およびステップS503は、その処理部であり、この圧縮開始指示処理については後述する。
時刻情報記憶部11は、音声情報および画像情報を格納したファイルの名前と、記憶開始時刻との関係を、図18のようなテーブルで管理している。この例では、1つの会議の記録が1つのファイルに記録されている。ファイル名は各会議記録に付与されたファイル名称であり、図18のIDは各会議記録ファイルを識別する識別子(この例では番号)である。
なお、この記憶開始時刻の記憶形式はテーブル形式に限られず、リスト構造やスタック構造等であっても構わない。さらに、音声情報および画像情報を格納したファイルやファイル名の中に、記憶開始時刻を特定する情報を記憶しておくように構成しても構わない。
以上のようにして、この実施の形態においては、会議が開始され、会議記録が開始されると、その開始時点の時刻が、時刻情報記憶部11に記憶されると共に、会議開始時点(記憶開始時点に対応)から画像情報および音声情報が時系列情報記憶部4に記憶される。
そして、会議進行中にユーザ入力情報検出部6でユーザ入力情報が検出されると、それが表示画面21上の位置情報と共に、対応関係記憶部9に順次に記憶される。さらに、会議進行中の音声情報について、条件一致区間検出部3で、話者交替が検出され、かつ、条件一致区間内でユーザ入力情報がユーザ入力情報検出部6で検出されると、対応関係記憶部9に、そのユーザ入力があった条件一致区間を重要区間として、この重要区間を特定する情報と、対応する時系列情報記憶部の記憶アドレスと、ユーザ入力装置情報とが対応付けて記憶される。
[情報蓄積装置の第1の実施の形態の圧縮時の動作]
次に、圧縮時の動作について説明する。この第1の実施の形態では、時系列情報記憶部4に記憶した画像情報および/または音声情報は、記憶してから所定期間経過したときには、重要度が小さくなるとして情報圧縮して、時系列情報記憶部4のメモリに、空き容量を形成するようにするが、その区間内でユーザ入力情報が検出された近傍区間は、重要区間として、この区間は圧縮せず、あるいは、圧縮率を低くして高品質を保つようにする。
この場合に、記憶してから圧縮を開始するまでの期間は一定期間とするようにしてもよいが、ユーザが任意に変更できるようにしてもよい。
また、ファイルサイズに応じてその期間を変更するようにすることもできる。その場合に、音声情報および画像情報を格納したファイルやファイル名の中に、記憶開始時刻を特定する情報を記憶しておくように構成しても構わない。例えば、図19に示すように、ファイルサイズが5Mバイトを越える場合には、圧縮処理開始までの時間を1ヶ月とし、5Mバイトに満たない場合には、圧縮処理開始までの時間を2ヶ月にする。
また、ファイル拡張子が、.AVIのファイルの場合には、圧縮処理開始までの時間を1ヶ月とし、ファイル拡張子が、.mpgのファイルの場合には、圧縮処理開始までの時間を2ヶ月とするというように、ファイル拡張子により自動的に圧縮処理開始までの時間を設定するようにしてもよい。その場合には、圧縮処理開始までの時間を各ファイル毎に指定する必要がなくなり、ユーザの手間が省けるという効果がある。
図20は、この実施の形態における情報圧縮時の動作を、その際の各種情報の流れ、および、各部の出力の流れと共に説明する図である。
時刻情報記憶部11は、音声情報および画像情報が時系列情報記憶部4に記録されてからの経過時間が、所定の時間以上になった場合に、対応関係記憶部9に対し圧縮処理開始指示を出力する。
すなわち、図17の時刻情報記憶部11の処理ルーチンのステップS502において、図示しない時計回路部から供給される現在時刻と、時刻情報記憶部11に記憶されている記憶開始時刻とを比較し、情報の保存時間が所定の時間を経過したかどうかを判定する。所定の時間が経過したと判定されたときには、ステップS503に進み、対応関係記憶部9に圧縮処理開始を要求する。
そして、この要求を出した後に、あるいはステップS502で所定の時間を経過していないと判定されたときには、ステップS500に戻る。
例えば、前記所定の時間が、1ヶ月と定めてあった場合には、圧縮処理開始要求が記憶開始時点から1ヶ月後に発生し、時系列情報記憶部4に新規に蓄積された情報は、1ヶ月後に圧縮処理を施されることとなる。例えば、図19に示した1996年4月25日13時30分に記録されたファイル名「file10」の音声情報および画像情報は、1996年5月25日13時30分に前述の圧縮処理を施されることになる。
なお、以上の圧縮処理の開始のタイミングは、設定された時間の近辺であればよく、システムがアイドリング状態になるのを待って圧縮処理を行なうように構成してもよい。
対応関係記憶部9は、時刻情報記憶部11から圧縮開始指示が入力されると、図14のステップS305でその入力を検出する。圧縮開始指示が検出された場合には、ステップS306に進み、前記重要区間を特定する情報のそれぞれと、それぞれの重要区間に対応して前記時系列情報記憶部4に記憶されている音声情報および画像情報の、前記時系列情報記憶部4における記憶アドレスを特定する情報とを圧縮部10に出力する。すなわち、図13に示したユーザ入力情報ごとの情報の、一つの会議についてのすべてを一括して圧縮部10に出力する。
なお、もちろん、各重要区間を特定する情報と、該重要区間に対応した記憶アドレスとの組を、1組1組づつ、順次圧縮部10に出力するように構成してもよい。また、音声情報および画像情報を格納した時系列情報記憶部4のファイルの中に、前記重要区間を特定する情報のそれぞれと、それぞれの重要区間に対応してファイルに記憶されている音声情報および画像情報の、該ファイルにおける記憶アドレスとを記憶しておくように構成しても構わない。
対応関係記憶部9からの入力を受信した圧縮部10は、前記時系列情報記憶部4に蓄積された音声情報および画像情報の間引きデータ圧縮を行なう。この実施の形態の場合には、重要区間の情報については、データ圧縮を行わずに高品質を維持し、また、重要区間以外の区間の情報については、消去するようにする。このため、図20に示すように、圧縮部10は、時系列情報記憶部4に記憶された情報のうち、重要区間以外の区間の情報を消去するようにする。
図21は、この圧縮部10の動作の、画像圧縮処理を説明するフローチャートである。
以下、このフローチャートおよび説明図を用いて、圧縮動作の詳細な説明を行なう。
時刻情報記憶部11は、前述の図17に示したフローチャートのステップS503において、音声情報および画像情報が時系列情報記憶部4に記録されてからの経過時間(すなわち情報保存時間)が、所定の時間以上になった場合に、対応関係記憶部9に対し圧縮処理開始指示を出力する。
対応関係記憶部9は、時刻情報記憶部11から圧縮開始指示が入力されると、図14のステップS305でその入力を検出する。圧縮開始指示が検出された場合には、ステップS306に進み、重要区間の図9に示した情報のそれぞれと、それぞれの重要区間に対応して前記時系列情報記憶部4に記憶されている音声情報または画像情報の、前記時系列情報記憶部4における記憶アドレスとを圧縮部10に出力する。
圧縮部10は、対応関係記憶部9からの圧縮開始要求を受信すると、ステップS600によって、これを検出し、ステップS601に進む。ステップS601では、対応関係記憶部9から入力される、重要区間のそれぞれと、それぞれの重要区間に対応して前記時系列情報記憶部4に記憶されている音声情報および画像情報の、前記時系列情報記憶部4における記憶アドレスとを入力し、圧縮部10の、図示しないワークメモリに記憶する。ワークメモリは、記憶媒体として、例えば半導体メモリを用いる。
なお、重要区間と、該重要区間に対応した記憶アドレスとの組を、1組1組、順次圧縮部10に出力するように構成してもよい。また、音声情報および画像情報を格納したファイルの中に、前記重要区間のそれぞれと、それぞれの重要区間に対応してファイルに記憶されている音声情報および画像情報の、該ファイルにおける記憶アドレスとを記憶しておくように構成しても構わない。
圧縮部10は、前記ワークメモリに記憶されている、重要区間と記憶アドレスの複数組を参照して、時系列情報記憶部4に記憶されている画像情報および音声情報の間引き圧縮を行なう。すなわち、ステップS602において、重要区間以外の区間の画像情報および音声情報を、時系列情報記憶部4から消去する。
以上の圧縮処理によって、図22に示すような空きメモリが生成される。すなわち、図22は、時系列情報記憶部4に記憶された画像情報および音声情報のうち、重要区間として認識された情報(アドレスasからアドレスae)を保存し、それ以外の区間の情報を消去した場合の例を示した図である。
図22において、アドレスasからアドレスaeの間のメモリ領域の画像データおよび音声データは、重要区間のデータであるので、圧縮前と比べて変化がない。一方、アドレスa0からアドレスas、および、アドレスaeからアドレスa2に蓄積されていた画像データおよび音声データは、重要区間ではないので消去されている。そして、情報量が減ったことにより、図22に示すように、時系列情報記憶部4の記憶媒体には、空きメモリ領域が生成される。
なお、時系列データが、記憶媒体内で連続して記憶されていることが望ましい場合には、生成された空きメモリの部分を前後の時系列データによって詰めるようにする等して、メモリの隙間をなくすようにしてもよい。
[情報蓄積装置の第1の実施の形態の再生時の動作]
次に、再生時の動作について説明する。
この例においては、表示部14に表示された複数のペン筆跡情報の中の1つをユーザがペンを用いて指定(ポインティング)することにより、時系列情報記憶部4に記憶された音声信号または画像信号のうち、そのペン筆跡情報が入力された時点の近辺前後に入力された音声信号または画像信号のみを部分的に再生可能とされている。
また、そのペン筆跡情報が入力された時点の前後に入力された音声信号または画像信号のうちの、前記重要区間の最初にさかのぼって音声信号または画像信号を再生できるように構成されている。
この例の場合、指定に用いる再生指定部13としては、この実施の形態のように、入力用のペンと兼用されている。
なお、再生指定部13としては、マウス、トラックボール、カーソルキー、タッチパネル等を用いることもできる。また、ペン筆跡情報の指定方法としては、ポインティングによる指定、囲み(閉曲線や楕円などによる囲み)による指定、識別子入力による指定、表示されている項目の下に線を引くような指定などによるものでもよい。
また、囲みによる指定や下線による指定を行なった結果、複数のペン筆跡情報が選択された場合には、なんらかの優先順位に基づいて1つを特定するようにすることもできる。例えば、選択された中で最も早く入力されたペン筆跡情報や、最も左上に表示されたペン筆跡情報を自動的に選ぶ等、候補をリスト状に表示してユーザに再度選択を求めるようにしてもよい。
さらに、特定の順番(例えば時系列)で静止画画像を並べ、それら目次画像の中から1つを指定するようにしても構わない。
表示部14の表示画面21上の表示位置は、X−Y座標によって特定できるので、ペンなどの再生指定部13によってある表示位置が指定されると、その表示位置に対応するX−Y座標が特定される。
このようにして、再生指定部13から再生要求があると、対応関係記憶部9での動作の図15のフローチャートのステップS307においてそれが検出され、ステップS308に進み、再生指定部13から得られた指定座標と、対応関係記憶部9に記憶されているX−Y座標から算出されるX−Y座標群(図13のペン筆跡座標を端点とするマルチプルラインを構成する全ての点座標群)とを比較して、対応するペン筆跡情報を特定する。
続いて、ステップS309において、このペン筆跡情報に対応した音声信号または画像信号の再生開始アドレスおよび再生終了アドレスを、対応関係記憶部9から取得し、ステップS310に進んで、その再生開始アドレスおよび再生終了アドレスと、再生要求とを時系列情報記憶部4に出力する。
その後、再生開始/終了アドレスと再生要求とを受け取った時系列情報記憶部4は、図16のフローチャートのステップS405において、その入力を検知し、ステップS406に進んで、再生部12に出力する。
再生部12は、以上の動作によって求まった時系列情報記憶部4の再生開始アドレスから再生終了アドレスまでの音声情報または画像情報の再生を開始する。例えば、図13のID1000のマルチプルラインが指定された場合には、このマルチプルラインに対応する、記憶アドレスasから記憶アドレスaeまでの音声情報または画像情報が再生される。
なお、前記座標比較の際に、少しずれた座標ともマッチングするようにしておけば、指定時に多少ずれた座標点を指定しても、所望の記憶アドレスを取得できるようになる。また、ユーザ入力情報が表示されない性質のものであった場合にでも、そのユーザ入力情報の存在を示す所定のしるしが表示部14に表示されているので、同様の方法によって所望の記憶アドレスを取得できる。また、所定時間間隔内に連続入力された複数の座標点列を1つのペン筆跡情報として記憶させておけば、例えば、1行の文字列を1つのペン筆跡情報と見なすことができるため、文字列を構成する座標点列のうちいずれかが指定されれば、同じ記憶アドレスから音声または画像を再生できる。
再生時には再生速度を変化させたり少し巻き戻ししてゆっくり再生したい場合がよくあるので、早送り機能、巻き戻し機能、スロー再生機能、一時停止機能を再生部12に具備してもよいし、時間軸上のスライドバーを設け、現在再生している時刻を示すポインタをスライドバーに表示したりバーをスライドさせることによって再生位置を指定できるようにしてもよい。また、再現する速度に関して、必ずしも記録された時刻情報の通りに再現する必要はなく、記録された順序関係だけは守って速度を上げて再現するようにしてもよい。
さらに、再生を一時停止した後、指示部によって再生を再び指示できるようにしてもよいし、新たなユーザ入力情報を追記できるようにしてもよい。
[第1の実施の形態の変形例]
以上の第1の実施の形態の説明では、会議出席者の各々の発言区間を条件一致区間として検出するようにしたが、条件一致区間としては、これに限られるものではない。
例えば、「扉の閉まる音」というような、単発的な音声信号を条件一致区間検出部3によって検出するようにすることもできる。この場合には、単発的な音声信号を検出した時点の所定時間前の時点を条件一致区間の開始点として検出し、該単発的な音声信号を検出した時点の所定時間後の時点を条件一致区間の終了点として検出するように構成する。また、外部センサからの単発的なトリガ信号を条件一致区間検出部3によって検出する場合にも、同様に構成すればよい。
この他にも、条件一致区間検出部3が検出する事象は、音声信号の中の予め登録されたキーワードの出現、音声信号の中の予め登録された音声パターンの出現、音声信号の中の予め登録された文字列の出現、画像信号の中の状態変化、外部センサが検知した状態の変化、カメラワークまたはカメラワークの変化などであってもよい。
例えば、笑い声のパターン、拍手のパターンなどの特徴的な音声パターンを登録しておき、入力音声信号からこれらのパターンを認識し、これらのパターンを含む区間を条件一致区間として検出するように構成することもできる。この場合には、条件一致区間検出部3には、公知のパターン認識技術、例えば、音声信号のパワーまたは周波数成分の時間的遷移を解析する技術などを用いて、パターン認識を行なうパターン認識手段が設けられる。
すなわち、入力される時系列情報(例えば、音声情報または画像情報)の変化、または入力される時系列情報が存在する間に外部センサが検知した信号の変化を検出する装置も、いずれもこの発明でいう条件一致区間検出部3に相当する。その変化点を検出条件とする場合、終了点としては、その変化点から予め定めた一定時間とすることができる。
また、この実施の形態では、圧縮部10は、画像情報および音声情報を間引き処理することによって圧縮する構成になっているが、画像情報の圧縮時に、記憶時間、フレーム内圧縮の圧縮率、フレーム間圧縮の圧縮率、間欠記録の時間間隔、色情報間引き率、輝度情報間引き率等の少なくとも一つを動的に変更する装置であればよい。特に、動画像情報を圧縮する方法としては、フレーム内での圧縮法とフレーム間の圧縮法があり、フレーム内の圧縮法としてはベクトル量子化を用いた方法と離散コサイン変換を用いた方法などがある。フレーム間の圧縮法としては前後フレームの画像情報の差分のみを記録する方法などがある。すなわち、単位時間あたりの情報量をより少ない情報量に変換する装置は、いずれもこの発明でいう圧縮部10に相当する。
また、音声情報の圧縮にあたっては、サンプリング周波数、符号化ビット数の少なくとも一つを動的に変更するように構成する手段を備えてもよい。
また、重要区間の情報と、重要区間以外の区間の情報とを、別々の蓄積媒体に分けて保存するようにしてもよい。例えば、情報の記録時は、重要区間の情報と重要区間以外の区間の情報とを同一の磁気ディスクに蓄積するようにし、情報の圧縮時に、重要区間の情報のみを前記磁気ディスクに残し、重要区間以外の区間の情報を光磁気ディスクや磁気テープに移動するように構成する。一般的に、光磁気ディスクや磁気テープは、磁気ディスクに比べて、情報へのアクセス速度は遅いが大量の情報を安価に蓄積することができるという特徴を有しているため、情報量の少なくなった重要区間以外の区間の情報を蓄積するために適している。
以上の例では、初期状態において表示部14上に何も表示されている情報がない場合について説明したが、この発明の適用範囲はこの例に留まらず、例えば初期状態でいくらかのユーザ入力情報が既に表示されており、それに追加や変更を施す場合もこの発明の適用範囲に含まれる。ただしこの場合には、再生のために指定できるユーザ入力情報は、初期状態からの変位部分のみとなる。
また、この発明の装置の用途としては、記録していた音声情報または画像情報を再生する際に、ユーザ入力情報をも画面上に順次再現させてゆく使い方がある。表示部14の表示を、再生指定部13によって特定されたペン筆跡情報が入力された時点の表示に一旦戻し、音声または画像情報とペン筆跡情報とを同期させて再現するものである。表示画面をその時点の表示に戻す方法としては、表示画面のUNDOをその時点まで繰り返してもよいし、画面を一旦消去した後、対応関係記憶部9に記憶されているユーザ入力情報をその時点まで高速に順次描画してもよい。
さらに、以上の説明では、音声情報または画像情報が時系列情報記憶部4に記録されてからの経過時間(すなわち情報保存時間)が、所定の時間以上になった場合に圧縮処理を開始するようにしたが、この方法の代わりに、時系列情報記憶部4における空き領域がある値以下になったと認識されたタイミング、または、時系列情報記憶部4における記憶量がある値以上になったと認識されたタイミングで、前記圧縮処理を開始するようにしてもよい。この場合には、情報蓄積装置は記憶量検出手段を備えており、この記憶量検出手段は、情報が予め登録した記憶容量を超えて記録されたことを検出した場合に、前記対応関係記憶部9に対し圧縮処理開始指示を出力する。この圧縮処理開始指示の後の動作については、前述の各実施の形態と同様に行うことができる。
また、第1の実施の形態では、共用電子ホワイトボード装置が、ユーザ入力情報のヘッダに、共用ホワイトボード装置判別情報を付加する例について説明したが、ユーザ入力装置の入力平面の傾きを検出して、ユーザ入力面がほぼ垂直である場合に共用電子ホワイトボードであると判別したり、装置が机の上または手の上に置かれていることをセンサーによって検出した場合に個人用電子ノート装置であると判別してもよい。この場合には、同一の装置であっても、その装置を個人用ノート装置として利用しているか共用電子ホワイトボード装置として利用しているかを判別することができる。さらに、情報を入力した装置を特定する方法としては、これら以外の公知の方法を利用することができる。
[情報蓄積装置の第2の実施の形態]
第1の実施の形態では、順次入力される画像情報または音声情報のすべてを一旦時系列情報記憶部4に記録しておき、その記録時点から所定の時間が経過したときに、記録した会議映像の中の重要部分の映像だけを残し、その他の部分は消去するという、圧縮処理を施す例について説明した。第2の実施の形態では、時系列情報の記録時に、入力される会議映像の中の重要部分の映像だけを選択して、時系列情報記憶部4に記録する場合について説明する。
図23は、この第2の実施の形態の情報蓄積装置を、その機能を中心にして示したブロック図である。図1のブロック図に対して、時刻情報記憶部11を取り除き、一時記憶部16を付加した構成になっている。そして、この第2の実施の形態では、重要区間決定部8は、一時記憶部16内に設けられる。この場合も、各部はそれぞれ別のブロックとして構成されていてもよいし、1つのブロックが幾つかの部を含むように構成されていてもよい。また、1つの部が、幾つかのブロックに分割されて実装されていても構わない。
一時記憶部16の記憶装置は、例えば半導体メモリや磁気ディスク等で構成され、この第2の実施の形態では、音声情報および画像情報を、時系列情報記憶部4に記憶するに先立ち、一時記憶すると共に、条件一致区間検出部3により検出される条件一致区間の情報を、入力画像情報または入力音声情報と対応付けて、一時記憶するものである。
第2の実施の形態は、第1の実施の形態と同様に、会議参加者がメモをとった時点は、会議の重要場面であるとし、この重要場面をとらえて、会議参加者がメモをとった時点の周辺のみを保存し、それ以外の部分を消去することで、会議映像および会議音声を保存するための情報量を大幅に少なくする場合である。
また、第1の実施の形態と同様に、情報蓄積再生装置20が内蔵するコンピュータと、各個人が手元に所持する小型コンピュータ30とが無線ネットワークで接続されており、複数の小型コンピュータ30から入力されたユーザ入力情報とユーザ入力装置情報とは、情報蓄積再生装置が内蔵するコンピュータに伝送されるようになっている。
第1の実施の形態と同様に、条件一致区間検出部3は、音声情報入力部1から所定レベル以上の音声信号入力が有り、かつ、この入力音声信号から話者の交替を検出したことを条件として条件一致区間を検出する。また、第1の実施の形態と同様に、ユーザ入力装置特定部7は、共用電子ホワイトボード装置20(電子会議装置)上に筆記された場合と個人用電子ノート装置30(小型コンピュータ)上に筆記された場合とを区別して、その区別を示すためのユーザ入力装置情報を出力する。
圧縮部10は、この第2の実施の形態においては、後述する一時記憶部16に蓄積された音声情報および画像情報のデータ間引き処理を行なう。この場合、圧縮部10は、ユーザ入力情報が入力されたタイミングと条件一致区間情報とユーザ入力装置情報とによって重要区間決定部8において特定される重要区間の情報に基づいて、重要区間以外の区間の音声情報および画像情報を選択し、選択した音声情報および画像情報のみを時系列情報記憶部4に記憶する。
次に、この第2の実施の形態の情報蓄積再生装置における記録時の動作について説明する。
図24は、この実施の形態における記録時の動作を、その際の各種情報の流れ、および、各部の出力の流れと共に説明する図である。この図24に示すように、一時記憶部16には、音声情報および画像情報が順次に記憶されると共に、ユーザ入力情報の検出時点(ペン筆跡入力時点)の情報と、ユーザ入力装置特定部7からのユーザ入力装置情報と、条件一致区間検出部3からの条件一致区間情報が供給される。
この場合、一時記憶部16のメモリ部は、図25に示すように、リングバッファ形式に構成され、順次入力される画像情報と条件一致区間検出部26の検出結果である話者交替時点を示す情報とを、書き込みアドレスを制御することによりリング状に取り込み続けながら、古い情報を新しい情報によって上書きしていく仕組みになっている。
なお、この種の記録方法としては他にも、待ち行列方式、FIFO方式等の公知の方法が適用できる。また、図25の例の場合のリングバッファのメモリ(メ単位モリセル)数は16個であるが、もちろんメモリ数に制限はなく、1個のメモリの中に収容できるデータ記憶容量にも制限はない。一時記憶部16のリングバッファは、この実施の形態の場合は、少なくとも380秒間以上の入力音声情報および入力画像情報を記憶できるメモリである。
図25において、最古データアドレスF200は、一時記憶部16に記憶されている画像情報または音声情報の中で最も古い情報が格納されているメモリを指すポインタであり、最新データアドレスF201は、一時記憶部16に最も新しく入力された画像情報または音声情報を格納しているメモリを指すポインタである。
また、話者発言開始点F202およびF204と話者発言終了点F203は、条件一致区間検出部3の検出結果を一時記憶部16に記憶したものである。これらの話者交替タイミングを示す情報は、この例のように、リングバッファのメモリ中に格納されてもよいし、別のメモリを用意してその中に格納するようにしてもよい。
そして、後述の図26および図27のフローチャートにおける動作に示すように、一時記憶部16の重要区間決定部8で、ユーザ入力情報検出時点とユーザ入力装置情報と条件一致区間情報とにより重要区間が決定されると、この実施の形態では、その重要区間の情報が圧縮されずに時系列情報記憶部4に転送されて記憶される。
そして、このときに時系列情報記憶部4に記憶された重要区間の情報の、当該時系列情報記憶部4のアドレス情報(当該重要区間の先頭アドレスと最後尾のアドレス)が対応関係記憶部9に供給され、この対応関係記憶部9において、そのときのユーザ入力情報(ペン筆跡情報)と対応を付けて記憶される。なお、このとき、第1の実施の形態と同様に、ユーザ入力装置情報も対応関係記憶部9に対応付けて記憶するようにすることもできる。
図26および図27は、一時記憶部16の動作を説明するフローチャートである。
まず、ステップS700において、フラグが「0」にリセットされる。次に、単位時間あたりに入力された音声情報および画像情報は、ステップS701で受け入れられ、ステップS702でユーザ入力情報検出部6からのユーザ入力情報の検出出力の入力があるか否か判別する。
ステップS702で、ユーザ入力情報が検出されたときには、ステップS707に進んで、フラグを「1」にセットし、ステップS703に進む。このとき、ユーザ入力情報が共用電子ホワイトボード装置から入力されたか、個人用電子ノート装置から入力されたかを、図示しないバッファメモリに記憶する。
ユーザ入力情報が検出されないときには、フラグは「0」のままステップS703に進む。そして、ステップS703で、リングバッファにおいて、最新データが最古データを上書きしないと判別したときには、ステップS704に進んで、入力画像列が一時記憶部16の最新データアドレスの指すメモリ部に記憶される。
また、ステップS704からステップS705に進み、条件一致区間検出部3から発言開始点または発言終了点を示す情報の入力があるか否か判別し、発言開始点または発言終了点を示す情報の入力がなかった場合には、ステップS705からステップS706に進んで、記憶したデータ量に応じて最新データアドレスを進める。
また、ステップS705で、発言開始点または発言終了点を示す情報の入力があったと判別された場合には、ステップS705から、ステップS710に進み、条件一致区間検出部3からの情報が発言開始点か、あるいは発言終了点かの種類を判別する。
そして、発言開始点であれば、ステップS711に進み、発言開始点マークを最新データアドレスの指し示すメモリ位置に記録し、その後、ステップS706に進んで、記憶したデータ量に応じて最新データアドレスを進める。
また、ステップS710の判別の結果、音声レベルが所定レベル以下に変化する発言終了点であれば、ステップS712に進んで、発言終了点マークを最新データアドレスの指し示すメモリ位置に記録する。このステップS712の後、ステップS713に進み、フラグが「1」にセットされているか否か判別し、「1」にセットされていなければ、ステップS706に進み、前述のように、記憶したデータ量に応じて最新データアドレスを進める。その後、ステップS706からステップS701に戻る。
また、ステップSS713での判別の結果、フラグが「1」にセットされているときにはステップS714に進んで、ステップS702において検出されたユーザ入力情報が、共用電子ホワイトボード装置から入力されたものか、個人用電子ノート装置から入力されたものかが判別される。
ステップS714において、共用電子ホワイトボード装置からの入力であると判別された場合には、ステップS715で、ユーザ入力情報入力時点から180秒間経過したかどうかを判別し、70秒間経過したと認識された場合にはステップS716に進む。そして、ステップS716で、ユーザ入力情報入力時点から130秒間遡った時点に最も近い発言開始点から、200(=70+130)秒間分の音声情報および画像情報を時系列情報記憶部4に出力する。その後、ステップS719に進む。この間引き圧縮処理は圧縮部10が行なう。
一方、ステップS714において、個人用電子ノート装置からの入力であると判別された場合には、ステップS717で、ユーザ入力情報入力時点から180秒間経過したかどうかを判別し、180秒間経過したと認識された場合にはステップS718に進む。そして、ステップS718で、ユーザ入力情報入力時点から200秒間遡った時点に最も近い発言開始点から、380(=180+200)秒間分の音声情報および画像情報を時系列情報記憶部4に出力する。その後、ステップS719に進む。この間引き圧縮処理は圧縮部10が行なう。
ステップS719では、最古データアドレスを最新データアドレスまで進める。
そして、ステップS720に進んで、フラグを「0」に戻し、ステップS701に戻る。
なお、ステップS715において、ユーザ入力情報入力時点から70秒間経過していないと判定された場合、または、ステップS717において、ユーザ入力情報入力時点から180秒間経過していないと判定された場合は、ステップS701に戻って、新しい音声/画像情報を入力する。
ステップS702で、ユーザ入力情報検出部6によってペン筆跡情報の入力が検出されないままに、ステップS703で、一時記憶部16から消去されるタイミング(最新データが最古データを上書きするタイミング)がめぐってきた場合には、ステップS708で、予め定めた一定量の音声情報および画像情報が消去される。一時記憶部16では、その後、ステップS709において、最古データアドレスを、消去したデータ量分だけ進める。その後、ステップS704に進み、前述したような処理を繰り返す。
以上の説明から分かるように、ユーザ入力情報検出部6によってペン筆跡情報が入力されたことが検出されると、図26のステップS707によってフラグが「1」にセットされる。しかし、情報間引き圧縮処理はこの時点ではまだ開始されない。圧縮処理が開始されるのは、ステップS710によって条件一致区間検出部3で発言終了点が検出され、かつ、ステップS715またはステップS717において、ユーザ入力時点から所定の時間(70秒または180秒間)が経過したと認識された時である。
なお、以上の説明では、ユーザ入力情報が検出された時点から、重要区間として特定される最後の時点になってから、一時記憶部16のリングバッファから、時系列情報記憶部4に音声情報および画像情報を転送するようにしたので、リングバッファは、少なくとも380秒分の時系列情報を記憶できるメモリとしたが、ユーザ入力情報を検知したときに、それが重要区間内であると検知したときに、重要区間の先頭時点に相当する時点にさかのぼって時系列情報記憶部に時系列情報を転送を開始する方式であれば、リングバッファは、少なくとも200秒分の時系列情報を記憶できる容量を有すればよい。
また、以上の第2の実施の形態の説明では、一時記憶部16が重要区間決定部8を備えるように構成したが、この第2の実施の形態においても、対応関係記憶部9が重要区間決定部8を備えるようにし、この対応関係記憶部9の重要区間決定部8から重要区間の情報を一時記憶部16に与えることにより、上述と同様の動作を行わせるようにすることもできる。
また、以上説明した第1の実施の形態から第2の実施の形態では、ユーザ入力情報が検出されたときの入力状況としては、ユーザ入力がなされたユーザ入力装置が共用入力装置か、個人用入力装置かを想定して、そのいずれであるかを重要区間の決定に反映させるようにしたが、これに限られるものではない。
例えば、ユーザ入力装置の違いを特定する場合であっても、個人用入力装置の使用者により、重要区間を変える必要がある場合もある。例えば、書記の役割の会議出席者がメモする場合と、他の一般の会議出席者がメモする場合とでは状況が異なるので、個人用であっても、書記と一般会議出席者とで重要区間のタイミングおよび長さを変えるようにしてもよい。また、会議出席者の個人個人の判断力や、考えを纏める早さの違いなどを考慮して、個人用の入力装置のそれぞれを特定するようにすると共に、それぞれの会議出席者の能力にあった重要区間を決定するようにしてもよい。後者の場合には、重要区間を決定するに当たって、ユーザ入力時点に対してさかのぼる時間および後の時間を、各会議出席者のそれぞれについて設定しておくとよい。
また、入力状況としては、ユーザ入力装置の特定に限られるものではない。例えば、ユーザ入力状況特定手段として、ユーザ入力情報の入力時点において会議出席者の間で笑いが発生した、拍手が沸き起こった、などの入力状況を特定する手段を設け、その特定した状況を、重要区間の決定要因に含めるようにしてもよい。
また、上述の実施の形態では、圧縮方法として、重要区間以外は消去するようにしたが、重要区間の時系列情報は圧縮せずに記憶すると共に、重要区間以外の時系列情報は所定の圧縮をおこなって記憶するようにしてもよい。また、重要区間の時系列情報は高品質を保つ圧縮をして記憶すると共に、重要区間以外の時系列情報は、より圧縮率の大きい圧縮方法で圧縮して記憶するようにしてもよい。
以上説明した、情報蓄積装置の第1の実施の形態から第2の実施の形態は、各実施の形態の説明中に明記したほかにも、適宜組み合わせて実施することが可能である。
以上説明した情報蓄積装置の実施の形態からは、次に示すような効果が得られる。
(1)ペン筆跡などのユーザ入力情報が入力されたタイミングと、どの装置からそのユーザ入力情報が入力されたかを判別した情報とによって定められる区間情報に基づいて、圧縮率または間欠記録の時間間隔を変更して時系列情報記憶部に記憶された音声情報または画像情報を圧縮するように構成したことにより、音声情報または画像情報のうちの、重要部分のみを限られた蓄積媒体の中に数多く保存でき、かつ、重要部分以外の音声情報または画像情報であっても少ないデータ量で長時間保存できる効果がある。
(2)また、対応関係記憶部を備え、ユーザ入力情報によって定められる区間を示す区間情報と、当該区間情報に対応する音声情報または画像情報の時系列情報記憶部における記憶位置との対応関係を記憶するように構成したことにより、情報圧縮時において、ユーザ入力情報によって定められる区間と、当該区間に対応する音声情報または画像情報の時系列情報記憶部における記憶位置とを対応付けする処理が不要となり、音声情報または画像情報を圧縮する際のシステムの負荷を軽減できる効果がある。
(3)また、ユーザ入力情報検出部がユーザから入力されるユーザ入力情報を検出し、このユーザ入力情報を検出したタイミングに基づいて、圧縮率または間欠記録の時間間隔を動的に変更して時系列情報記憶部に記憶された音声情報または画像情報を圧縮するように構成したことにより、音声情報または画像情報のうちの、特徴的な事象が起こっている重要部分のみを高品質で保存でき、かつ、重要部分以外の音声情報または画像情報であっても少ないデータ量で長時間保存できる効果がある。
(4)また、ユーザ入力情報検出部がユーザから入力されるユーザ入力情報を検出し、このユーザ入力情報を検出したタイミングに基づいて、時系列情報記憶部に記憶された音声情報または画像情報のうち、重要区間以外の区間の音声情報または画像情報を削除するように構成したことにより、音声情報または画像情報のうちの、特徴的な事象が起こっている重要部分のみを保存できる効果がある。
(5)また、条件一致区間検出部を備え、条件一致区間検出部によって情報入力手段からの音声情報または画像情報が予め設定された所定の条件に合致する条件一致区間を検出するようし、ユーザ入力情報を検出したタイミングとユーザ入力装置情報とこの条件一致区間とによって定められる区間と、他の区間とで、圧縮率または圧縮方式を変更して、時系列情報記憶部に記憶された音声情報または画像情報を圧縮するように構成したことにより、音声情報または画像情報のうちの、重要部分の最初から最後までを確実に高品質で保存できる効果がある。
(6)また、対応関係記憶部を備え、対応関係記憶部によって、ユーザ入力情報検出部で検出されたユーザ入力情報とユーザ入力装置情報と条件一致区間検出部で検出された条件一致区間とから定められる区間を示す区間情報と、当該区間情報に対応する音声情報または画像情報の時系列情報記憶部における記憶位置との対応を記憶するように構成したことにより、情報圧縮時において、ユーザ入力情報が検出されたタイミングと条件一致区間とによって定められる区間と、当該区間に対応する音声情報または画像情報の時系列情報記憶部における記憶位置とを対応付けする処理が不要となり、音声情報または画像情報を圧縮する際のシステムの負荷を軽減できる効果がある。
(7)また、条件一致区間検出部がセンサ情報に基づいて条件一致区間を検出し、この検出結果とユーザ入力情報検出部の検出結果とユーザ入力装置情報とに基づいて、圧縮率または間欠記録の時間間隔を動的に変更して時系列情報記憶部に記憶された音声情報または画像情報を圧縮するように構成した場合には、音声信号または画像信号の状態変化の検出が困難な事象が起きた場合や、入力される音声信号または画像信号に含まれない情報に状態変化が起きた場合にでも、音声情報または画像情報のうちの、特徴的な事象が起こっている重要部分のみを限られた蓄積媒体の中に数多く保存でき、かつ、重要部分以外の音声情報または画像情報であっても少ないデータ量で長時間保存できる効果がある。
(8)また、条件一致区間検出部がセンサ情報に基づいて条件一致区間を検出し、この検出結果とユーザ入力情報検出部の検出結果とユーザ入力装置情報とから定められる区間を示す区間情報を対応関係記憶部に記憶し、この区間情報に基づいて、圧縮率または間欠記録の時間間隔を動的に変更して時系列情報記憶部に記憶された音声情報または画像情報を圧縮するように構成した場合には、音声信号または画像信号の状態変化の検出が困難な事象が起きた場合や、入力される音声信号または画像信号に含まれない情報に状態変化が起きた場合にでも、音声情報または画像情報のうちの、特徴的な事象が起こっている重要部分のみを限られた蓄積媒体の中に数多く保存でき、さらに、音声情報または画像情報を圧縮する際のシステムの負荷を軽減できる効果がある。
(9)また、一時記憶部を備え、ペン筆跡などのユーザ入力情報が入力されたタイミングと、どの装置からそのユーザ入力情報が入力されたかを判別した情報と、音声情報または画像情報が予め設定された所定の条件に合致する条件一致区間を検出した条件一致区間情報とによって定められる区間情報に基づいて、一時記憶部に記憶された音声情報または画像情報を選択的に時系列情報記憶部に出力するように構成したことにより、音声情報または画像情報のうちの、特徴的な事象が起こっている重要部分のみを限られた蓄積媒体の中に数多く保存でき、さらに、音声情報または画像情報を圧縮する際のシステムの負荷を軽減できる効果がある。
(10)また、条件一致区間検出部がセンサ情報に基づいて条件一致区間を検出し、この検出結果とペン筆跡などのユーザ入力情報が入力されたタイミングと、どの装置からそのユーザ入力情報が入力されたかを判別した情報とに基づいて、一時記憶部に記憶された音声情報または画像情報を選択的に時系列情報記憶部に出力するように構成したことにより、音声信号または画像信号の状態変化の検出が困難な事象が起きた場合や、入力される音声信号または画像信号に含まれない情報に状態変化が起きた場合にでも、音声情報または画像情報のうちの、特徴的な事象が起こっている重要部分のみを限られた蓄積媒体の中に数多く保存でき、さらに、音声情報または画像情報を圧縮する際のシステムの負荷を軽減できる効果がある。
(11)また、ユーザ入力情報検出部がユーザ入力情報を検出する以前に入力された音声情報または画像情報を一時記憶部によって一時記憶するように構成したことにより、ユーザ入力があったタイミング以前に入力された音声情報または画像情報であっても、重要部分のみを限られた蓄積媒体の中に数多く記憶でき、かつ、重要部分以外の音声または画像信号であっても少ないデータ量で長時間記憶できる効果がある。
(12)また、ユーザ入力情報検出部がユーザ入力情報を検出したタイミングと、条件一致区間検出部が検出した条件一致区間情報とに基づいて圧縮率または間欠記録の時間間隔を動的に変更して、時系列情報記憶部または一時記憶部に記憶された音声情報または画像情報を圧縮するように構成したことにより、音声情報または画像情報のうちの、特徴的な事象が起こっている重要部分の最初から最後までを高品質で保存でき、かつ、重要部分以外の音声情報または画像情報であっても少ないデータ量で長時間保存できる効果がある。
(13)また、ユーザ入力情報検出部がユーザ入力情報を検出したタイミングと、条件一致区間検出部が検出した条件一致区間情報とに基づいて、時系列情報記憶部に記憶された音声情報または画像情報のうち、重要区間以外の区間の音声情報または画像情報を削除するように構成したことにより、音声情報または画像情報のうちの、特徴的な事象が起こっている重要部分のみを保存できる効果がある。
(14)また、任意のタイミングで記録者が入力したペンやキーボードによるユーザ入力情報を表示する表示部と、表示部に表示されたユーザ入力情報のうち1つを指定する指定部と、時系列情報記憶部に記憶された音声情報または画像情報のうち、前記指定部によって指定されたユーザ入力情報に対応して記憶されている部分の音声情報または画像情報を再生する再生部とを備えるように構成した場合には、記録者がメモをとるようにペンやキーボードで入力を行なうとともに音声または画像信号を記録しておけば、後で、入力されたメモを参照することにより音声または画像信号の再生したい箇所を容易に選択して再生することができる効果がある。
(15)また、ユーザ入力情報を表示する表示部と、表示部に表示されたユーザ入力情報のうち1つを指定する指定部と、この指定部によって指定されたユーザ入力情報に対応して記憶されている部分の音声情報または画像情報を再生する再生部と、条件一致区間検出部とを備えるように構成した場合には、指定されたユーザ入力情報に対応した音声情報または画像情報の、重要部分の最初から最後までを確実に再生できる効果がある。
(16)また、音声情報または画像情報が時系列情報記憶部に記録されてからの経過時間(すなわち情報保存時間)が、所定の時間以上になった場合に圧縮処理を開始するように構成した場合には、参照する可能性の大きい最近の音声または画像情報を、高音質/高画質で保存でき、かつ、昔に記録された音声または画像情報であっても少ないデータ量で記憶できる効果がある。また、音声情報または画像情報が時系列情報記憶部に記録されてからの経過時間(すなわち情報保存時間)に応じて段階的に圧縮を施すように構成した場合には、後から参照される可能性がより低くなった場合に、より少ない情報量で蓄積できるので、より効果的に蓄積媒体を節約できる効果がある。
(17)また、時系列情報記憶部における空き領域がある値以下になったと認識されたタイミング、または、時系列情報記憶部における記憶量がある値以上になったと認識されたタイミングで圧縮処理を開始するように構成した場合には、新たに入力される音声または画像情報が時系列情報記憶部の記憶容量を超えて入力される場合にでも、入力を継続できる効果がある。
(18)また、音声の特定の発信者または発信者の交替を、入力される音声情報または画像情報から条件一致区間検出部によって検出するように構成した場合には、特定の発信者の音声または画像情報を、最初から最後まで高音質/高画質で保存でき、かつ、その他の発信者の音声情報または画像情報であっても少ないデータ量で保存でき、発信者が交替した時点にまでさかのぼって再生を開始できる効果がある。
(19)また、音声の特定の発信者または発信者の交替を、センサ情報に基づいて検出するように構成した場合には、音声信号または画像信号の状態変化の検出が困難な事象が起きた場合や、入力される音声信号または画像信号に含まれない情報に状態変化が起きた場合にでも、特定の発信者の音声または画像情報を、最初から最後まで高音質/高画質で保存でき、かつ、その他の発信者の音声情報または画像情報であっても少ないデータ量で保存でき、発信者が交替した時点にまでさかのぼって再生を開始できる効果がある。
(20)また、ユーザ入力装置特定部により、複数人が共用で用いる共用電子ホワイトボード装置と、各個人が私的に用いる個人用電子ノート装置とを検出するように構成した場合には、比較的離れている個人用電子ノート装置上のメモ筆記時点と関連情報が発言されている時点との間隔と、近接している共用電子ホワイトボード上のメモ筆記時点と関連情報が発言されている時点との間隔とのそれぞれに対応した重要区間の特定ができるので、重要区間の音声または画像情報を、最初から最後まで高音質/高画質で保存でき、かつ、その他の発信者の音声情報または画像情報であっても少ないデータ量で保存でき、重要区間の最初にまでさかのぼって再生を開始できる効果がある。
(21)また、ユーザ入力装置特定部が、ユーザ入力装置の設置場所または設置状態を検出してユーザ入力装置を特定するように構成した場合には、同一の装置であっても、その装置を個人用ノート装置として利用しているか共用電子ホワイトボード装置として利用しているかを判別することができ、その装置の用途に応じた重要区間の特定ができる効果がある。
(22)また、ユーザ入力装置特定部が、ユーザ入力装置が少なくとも机の上、手の上、壁の上、棚の上に置かれていることを検出する、または、ユーザ入力装置の入力平面の傾きを検出して、共用電子ホワイトボード装置と個人用電子ノート装置とを判別するように構成した場合には、同一の装置であっても、容易に、その装置を個人用ノート装置として利用しているか共用電子ホワイトボード装置として利用しているかを判別することができ、その装置の用途に応じた重要区間の特定ができる効果がある。
(23)また、ユーザ入力の状況を検出するユーザ入力状況検出部と、このユーザ入力状況検出部により検出された状況に応じて時系列情報入力部より入力された時系列情報の区間または時刻を特定しその特定結果を出力する対象区間特定部とを備えるように構成した場合には、ユーザ入力の状況に応じて、時系列情報に対する入力処理、圧縮処理、蓄積処理、検索処理、表示処理、出力処理の区間を特定することができ、手元で書き込みが行なわれた、ホワイトボードに書き込みが行なわれた、などのユーザ入力状況に応じた処理を時系列情報の特定の区間に対して施すことができる効果がある。
(24)また、音声情報または画像情報を入力するための時系列情報入力部と、この時系列情報入力部により検出された検出結果に応じて時系列情報の区間または時刻を特定しその特定結果を出力する対象区間特定部とを備えるように構成した場合には、時系列情報の状況に応じて、時系列情報に対する入力処理、圧縮処理、蓄積処理、検索処理、表示処理、出力処理の区間を特定することができ、笑いが起こった、拍手が起こった、議論が活発に行なわれた、長い発言があった、などの時系列情報の入力状況に応じた処理を時系列情報の特定の区間に対して施すことができる効果がある。
[情報蓄積再生装置の実施の形態]
以下に説明する情報蓄積再生装置の実施の形態においては、ユーザ入力が行われたときの入力状況に応じて適切に音声情報や画像情報の再生を行うことを可能とする装置の実現を狙いとしている。この実施の形態では、ユーザ入力情報が他者に伝達する目的で行われたもの(状況1)か、他者から伝達された情報を記録する目的で行われたもの(状況2)か、という二つの状況を区別することによってそれを実現しようとしている。
すなわち、会議のような状況を考えると、状況1では、ユーザ入力が行われたあとで、そのユーザ入力に関する説明が行われることが多いことに対し、状況2では、ユーザ入力の前にそのユーザ入力に関する情報が発言されるという、人間の行動特性の状況依存性に、この実施の形態では、着眼している。状況1は、この実施の形態では、いわゆるプレゼンテーションを行っている状況を想定し、状況2は、このプレゼンテーションによる講演や説明を、メモにとるような状況を想定する。
この実施の形態の情報蓄積再生装置におけるシステム構成の概要は、前述の図2に示したような電子会議システムの場合と、ほぼ同様である。しかし、この実施の形態では、複数の会議参加者の一人が所定のテーマについてのプレゼンテーションを行い、他の会議参加者は、その講演や説明のメモを取るようにする形態である。
この実施の形態の場合には、各会議参加者は、在席にて、プレゼンテーターになったり、そのプレゼンテーションを聴取する者になったりすることができるシステム構成である。各会議参加者は、図2の場合と同様に、共用電子黒板41にそれぞれ接続される個人用のパーソナルコンピュータ30を備えるが、この実施の形態の場合のパーソナルコンピュータ30のそれぞれは、共用モードで使用するか、個人モードで使用するかを設定することができる機能を備えている。
共用モードに設定したときには、そのパーソナルコンピュータの表示画面の内容が共用電子黒板41に表示され、ユーザが自分のパーソナルコンピュータ30の表示画面を通じてユーザ入力情報の入力操作を行うと、それが、そのパーソナルコンピュータ30の表示画面だけでなく、共用電子黒板41にも反映され、プレゼンテーションができる。そこで、この共用モードをプレゼンテーションモードと称することとする。
個人モードに設定したときには、パーソナルコンピュータ30の使用者は、プレゼンテーションを受ける参加者として、自分のパーソナルコンピュータ30で、個人用のメモとしてのユーザ入力情報の入力が可能である。個人用のメモ入力情報は、当該パーソナルコンピュータの画面に表示されるだけで、共用電子黒板41には、表示されない。
図29は、パーソナルコンピュータ30において、その使用者が、前記モードを設定する方法を説明するための図である。
図29において、30Dは、パーソナルコンピュータ30の表示画面である。この表示画面30Dには、状況設定用のボタンアイコン31が表示されており、使用者がこの状況設定用ボタンアイコン31を押下すると、状況設定メニューのポップアップウインドウ32が開かれる。この実施の形態では、使用者は、この状況設定メニューにおいて、プレゼンテーションモードと、メモ・モードと、オートモードのいずれかを選択することができる。
プレゼンテーションモードは、自分の意見等を他の会議参加者が見ることが可能な共有書き込みエリアに書き込みを行いながら説明を行うときに選択される。メモ・モードは、他人の発言した情報に関してメモを取るモードである。メモ・モードは、個人用のメモを取る場合や、共有書き込みエリアに書記として他人の意見を書き取る場合に設定するモードである。どちらのモードに設定するかは、会議などの前に設定しても良いし、また、会議中にその状況の変化に応じて設定してもよい。
また、この実施の形態では、システムが自動的にその状況を認識するモードが、オートモードとして設定可能である。このオートモードは、後述するように、音声情報や画像情報の時系列情報から、自動的にユーザ入力情報の入力操作がなされたときの状況を特定するモードである。
図29では、ユーザBが自分のパーソナルコンピュータ30をプレゼンテーションモードに設定して、当該自分のパーソナルコンピュータ30の画面と同じ画面を電子共有黒板41に表示させている。他のユーザA,C,Dは、メモ・モードにそれぞれ設定している場合である。
図30は、この発明による情報蓄積再生装置の実施の形態を、その各処理機能部をブロック化して示した構成図である。
すなわち、この実施の形態の情報蓄積再生装置は、ユーザが情報を入力するためのユーザ入力部51と、ユーザが入力した情報を制御するユーザ入力情報制御部52と、ユーザが入力した情報およびその関連情報を記録するユーザ入力情報記録部53と、ユーザが入力した情報その他を表示する表示部54と、音声情報や映像情報などの時系列情報を入力する時系列情報入力部55と、時系列情報を処理するための時系列情報処理部56と、時系列情報を制御するための時系列情報制御部57と、時系列情報を出力するための時系列情報出力部58と、状況に応じて時系列情報の時間区間を出力する時系列情報特定区間決定部59と、時系列情報からチャートを作成するチャート作成部60と、時系列情報を記録する時系列情報記録部61と、ユーザが情報を入力したときの状況を特定するための状況特定部62と、ユーザが情報を入力したときのユーザ入力情報の座標情報を時間情報に変換する座標時間変換部63とから構成される。
ユーザ入力情報入力手段は、ユーザ入力部51に対応し、ユーザ入力情報検出部は、ユーザ入力情報制御部52がその一部機能として備える。
図30に示した、この実施の形態の情報蓄積再生装置は、図28のパーソナルコンピュータ30のそれぞれにより構成することができるものである。図31に、1台のパーソナルコンピュータ30を中心としたシステムの概観を示す。
すなわち、この実施の形態の情報蓄積再生装置においては、時系列情報としての画像情報は、ビデオカメラ42から、各パーソナルコンピュータ30に入力される。このため、各パーソナルコンピュータ30には、ビデオ入力ボードが内蔵され、この内蔵のビデオ入力ボードにより画像情報がデジタル化され、パーソナルコンピュータ30内に、処理できる形で取り込まれる。
また、音声情報は、各会議参加者であるユーザA〜Dのそれぞれに割り当てられている複数のマイクロホン43のすべてからの音声情報が、それぞれ各パーソナルコンピュータ30に、各参加者用のマイクロホンからの音声情報を識別可能な状態で、それに内蔵の音声入力ボードを通じて入力される。したがって、前述した時系列情報入力部55は、これらビデオカメラ42およびマイクロホン43により構成される。
パーソナルコンピュータ30のそれぞれは、電子ペンによるユーザ入力を可能とするインターフェースを備えており、会議中にメモ等ができるようになっている。このペン入力インターフェースは、ユーザ入力部51の一つの構成要素である。ユーザ入力部51は、キーボードあるいはマウスなどのポインティングデバイスを用いたユーザインターフェースによっても構成できる。
ユーザ入力情報記録部53、時系列情報記録部61の記録媒体は、具体的にはパーソナルコンピュータ30に内蔵の半導体メモリやハードディスクを用いている。なお、MOディスクやフロッピー(登録商標)ディスク等の記録媒体であってもよい。
表示部53、時系列情報出力部58は、パーソナルコンピュータ30に接続されるディスプレイ30Dおよびスピーカ30SPで実現している。
ユーザ入力情報制御部52、時系列情報処理部56、時系列情報制御部57、時系列情報区間特定部59、チャート作成部60、状況特定部62、座標時間変換部63は、パーソナルコンピュータ30に搭載されるソフトウェアで実現されている。
ユーザ入力情報制御部52は、ユーザ入力部51からのユーザ入力情報を受け取り、表示部54に送り、表示画面に表示させる。そして、受け取ったユーザ入力情報に応じた処理を、情報記録時(情報蓄積時)あるいは情報再生時に応じて行う。
ユーザ入力情報制御部52は、記録時には、後述するように、会議情報としての時系列情報の記録時に入力されたユーザ入力情報と、その入力開始時刻および終了時刻と、そのときの状況等を、ユーザ入力情報記録部53に記録する。
また、ユーザ入力情報制御部52は、再生時には、ユーザの指示に応じてユーザ入力情報記録部53に記録されている情報を読み出し、表示部54や時系列情報特定区間決定部59に、その情報を伝達する。さらに、表示部54の表示画面にチャートが表示されているときに、ユーザにより指示入力がなされたときには、その指示された座標情報を座標時間変換部63に渡す。
表示部54は、ユーザ入力情報制御部52から渡されたユーザ入力情報を、その表示画面に表示する。また、時系列情報制御部57を通じてチャート作成部60で作成された後述するような発言チャートを、その表示画面に表示する。
ユーザは、後述するように、この表示部54の表示画面に表示された複数のユーザ入力情報から、いずれかのユーザ入力情報を、対応する時系列情報の再生やチャートの作成指示のために選択することができる。また、このシステムでは、この表示部54に表示された発言チャートにおいて、特定の再生箇所、すなわち、再生開始点あるいは再生区間を指示することにより、指定された再生箇所に対応する時系列情報の再生を行わせるようにすることができる。
時系列情報処理部56は、時系列情報について予め定めた条件に一致する区間を検出する条件一致区間検出手段に相当するもので、この実施の形態においては、会議中の会議参加者の各ユーザA〜Dの発言区間を、条件一致区間として、時系列情報の記録時に検出する。
時系列情報制御部57は、記録時には、時系列情報を時系列情報記録部61に記録するように制御する。このときに、時系列情報処理部56で検出した各ユーザ毎の発言区間も、時系列情報記録部61に記録する。
また、時系列情報制御部57は、再生時には、時系列情報特定区間決定部59で決定された特定区間を、時系列情報記録部61から読み出して、時系列情報出力部58により再生出力するようにする。また、チャート作成部60で作成されたチャートを表示部54の表示画面に表示させるようにする。そして、チャート上で指示された座標位置に相当する時間位置から、時系列情報記録部61に記録されている時系列情報を読み出して、時系列情報出力部58により再生出力するようにする。
時系列情報区間特定部59は、再生時に、ユーザ入力情報制御部52からの命令を受けて動作するもので、後述するように、ユーザにより選択指示されたユーザ入力情報に対応する、画像情報や音声情報の会議情報の時系列情報の区間を特定する。そして、その特定した区間の時間情報を、ユーザ指示に応じて、時系列情報制御部57あるいはチャート作成部60に渡す。
チャート作成部60は、再生時に、時系列情報特定区間決定部59からの特定区間の情報を受け、当該特定区間のユーザA〜Dの発言区間の情報を、時系列情報記録部61から取得し、図41に示すような、特定区間についての発言チャートを作成する。作成した発言チャートは、時系列情報制御部57を通じて表示分54の表示画面に表示される。発言チャートについては後述する。
状況特定部62は、時系列情報の記録時に、パーソナルコンピュータ30において、ユーザ入力情報が検出されたときに、ユーザ入力情報制御部52からの問い合わせに応答して、その時の状況、すなわち、パーソナルコンピュータ30のモードがプレゼンテーションモードか、メモ・モードかを特定して、特定したモードの情報、すなわち、状況情報をユーザ入力情報制御部52に返す。
プレゼンテーションモードあるいはメモ・モードに、ユーザにより設定されているときには、その設定状態をバッファに記憶させておき、そのバッファを参照することで、ユーザ入力情報制御部52から問い合わせがあったときに、いずれのモードになっているかを特定することができる。
しかし、それでは、オートモードのときが問題になる。そこで、この実施の形態では、自己のパーソナルコンピュータの画面情報が共有画面情報になっているか否かにより、プレゼンテーションモードか、メモ・モードかを特定するようにする。なお、後述するように、入力者の行動から特定する方法もある。
座標時間変換部63は、表示部54の画面に発言チャートが表示されているときに、特定の発言区間がユーザにより指示された場合に、その指示座標から、時系列情報の再生時間位置を生成するためのものである。
以上の構成のこの実施の形態の情報蓄積再生装置においては、会議参加者の発言の音声情報や会議の様子の映像の画像情報などの時系列情報と、会議中にユーザから入力される情報を併せて記録しておき、記録後に、ユーザが入力した情報に対応する時系列情報を適切に再生できるようにするものである。
[情報蓄積再生装置の実施の形態の記録時について]
まず、この実施の形態の情報蓄積再生装置の記録時の動作について、説明する。
ビデオカメラ42からの画像情報およびマイクロホン43からの音声情報の時系列情報は、時系列情報入力部55において、デジタル信号に変換され、時系列情報処理部56に入力される。前述したように、この時系列情報処理部56では、条件一致区間として、発言区間を検出する。この実施の形態においても、前述した実施の形態の同様に、各会議参加者にマイクロホン43がそれぞれ割り当てられているので、いずれのマイクロホンからの入力音声情報であるかを検出することにより、誰の発言であるかを検出する。
各参加者の発言区間は、図32のフローチャートおよび図33の説明図に示すようにして検出される。この例では、あるマイクロホンからの音声情報が、予め設定されている或るレベル以上、かつ、或る時間だけ継続した場合には、そのマイクロホンを使用する会議参加者が発言しているとして検出する。
すなわち、図33に示すように、マイクロホンから、あるレベルL1以上の音声信号が出力されると、ステップS800へ進み、予め、発言開始を検出するために適切な単位時間長として定められた時間区間Δt1以上に渡って、前記レベルL1以上の音声信号レベルが持続するかを監視する。もし、持続しなければ、それは発言とはみなさず、発言区間の検知を終了する。もし、持続したと判別した場合、ステップS801へ進み、現在の時刻(T1)を検出し、T1−Δt1を発言開始時刻とする。
そして、ステップS802へ進み、音声の終了時刻を求めるために、音声が、ある時刻T2から、予め、発言終了を検出するために適切な単位時間長として定められた時間Δt2以上、あるレベルL2を下回ったか否かを監視する。そして、下回った場合、ステップS803へ進み、T2―Δt2を発言終了時刻として検出する。
なお、上述の例では、発言開始時刻の検出のためのレベルL1と、発言終了時刻の検出のためのレベルL2とは、L1=L2としたが、レベルL1とレベルL2とは、必ずしも等しくなくともよい。
以上のようにして検知された会議参加者毎の発言区間に関する情報は、図34に示すようなデータ構造にまとめられる。時系列情報処理部56は、この発言区間の関する情報を、画像情報や音声情報の時系列情報と共に時系列情報制御部57に送る。時系列情報制御部7は、会議開始から終了までのすべての画像情報および音声情報の時系列情報を時系列情報記録部61に記録すると共に、前記の発言区間に関する情報を、時系列情報記録部61に記録する。そして、時系列情報制御部57は、記録中の画像情報および音声情報を時系列情報出力部58に送り、それをモニターできるようにしている。
なお、時系列情報の記録開始時刻も、時系列情報記録部61には記録される。再生時の各再生位置に対応する時刻を算出するためのである。
図34に示すように、記録される発言区間に関する情報は、それぞれの発言区間を識別するための発言識別データ(発言ID)と、その発言者、発言開始時刻および発言終了時刻とからなる。発言者の情報としては、予め登録された会議参加者名が記録される。なお、発言者名と発言者識別データとの対応テーブルを別に用意して、発言者識別データを時系列情報記録部61に記録するようにしてもよい。
この時系列情報の記録に伴ってユーザ入力がなされたときには、次のようにして、ユーザ入力情報記録部53へ必要な情報の記録がなされる。
図35は、ユーザ入力情報制御部52の記録時の処理ルーチンを示すものである。すなわち、ペンタッチなどのユーザ入力が検知されると、ステップS900に進み、ユーザ入力情報を表示部54の表示画面に表示する。
そして、ステップS901に進み、ユーザ入力が行われたときに、当該ユーザ入力が行われたパーソナルコンピュータの画面に表示されていた画像情報(ウインドウ等として表示の静止画情報、これをワークシートと以下呼ぶこととする)を特定すると共に、ユーザ入力情報の抽出、ユーザ入力の開始時刻および終了時刻の取得、そのときの入力状況(プレゼンテーションモードか、メモ・モードか)の情報の状況特定部62からの取得、を行う。
この場合に、状況の情報は、ユーザ入力情報制御部52から状況特定部62に問い合わせを行い、その結果、状況特定部62から返って来るものである。ユーザ入力のブロックが切り出される度に、ユーザ入力情報制御部52は、状況特定部62に状況を問い合わせて状況情報を取得する。
次に、ステップS902に進み、ステップS901で特定したワークシートにID(識別番号などの識別データ、以下同じ)を付与すると共に、抽出したユーザ入力情報にIDを付与する。そして、ステップS903に進み、それらの情報、すなわち、座標値等からなるユーザ入力情報と、そのユーザ入力情報IDと、ワークシートIDと、当該ユーザ入力情報の入力時刻および終了時刻、状況の情報を、ユーザ入力情報記録部53に記録させるようにする。
図36は、ステップS901の処理のうちの、ユーザ入力情報の入力開始時刻および入力終了時刻の検出処理ルーチンである。また、図37は、このユーザ入力情報の入力開始および終了時刻の検出処理の説明のための図である。
すなわち、ペンタッチなどのユーザ入力が検知されると、ステップS1000に進み、そのときの時刻を入力開始時刻(図37のT1)とする。そして、ステップS1001に進み、ユーザ入力情報が存在しないと検出するために予め設定された所定の時間Ti以上の間、ユーザ入力がないかどうか判別する。
ステップS1001で、所定の時間Tiの間にユーザ入力があるときには、ユーザ入力情報が継続していると判定する。そして、所定の時間Tiの間にユーザ入力が存在しなくなったことを検出したときには、ユーザ入力情報が終了したと判定し、ステップS1002に進んで、そのときの時刻からTiだけ引いた時刻をユーザ入力終了時刻(図37のT2)とする。
図37の説明図に示すように、ユーザ入力開始時刻T1からユーザ入力終了時刻T2までの間に行われたユーザ入力が、一つの入力単位(ブロック)とみなされる。ユーザ入力情報は、このブロック単位で取り扱われ、記録再生される。
図38に、ユーザ入力情報記録部53に記録されている情報の構造を示す。すなわち、入力ブロック毎にユーザ入力情報IDが付与されている。座標値はペン入力された座標を表す。また、ワークシートIDは、ペン入力が行われたワークシートの番号を表す。ワークシートIDとワークシートとの対応は、別途管理されている。
入力開始時刻は、そのユーザ入力情報の入力が開始された時刻を表す。入力終了時刻は、そのユーザ入力情報の入力が終了した時刻を表す。リンク情報は、後述するが、あるユーザ入力情報に対して時系列情報のある特定の時刻が、ユーザによりリンク指示された場合の、その時系列情報の時間を表す。状況は、そのユーザ入力情報が入力された時の状況(プレゼンテーションモードか、メモ・モードか)を示す。
図39は、状況特定部62の処理ルーチンの例を示すものである。すなわち、まず、ステップS1100において、ユーザ入力情報制御部52からの問い合わせがあるか否か判別し、問い合わせがあると、次のステップS1101に進む。ステップS1101では、その時点で自己のパーソナルコンピュータの画面情報を共有電子黒板41に表示させているか否かをチェックし、共有電子黒板41に表示させていると判別したときには、ステップS1102に進み、状況情報として「プレゼンテーション」をユーザ入力情報制御部52に返す。共有電子黒板41に表示されてはいないと判別したときには、ステップS1103に進み、状況情報として「メモ」をユーザ入力情報制御部52に返す。
状況特定部62の状況特定動作としては、次のようにすることもできる。図40は、状況特定動作の他の例の処理ルーチンを示すものである。
まず、ステップS1200において、ユーザ入力情報制御部52からの問い合わせがあるか否か判別し、問い合わせがあると、次のステップS1201に進む。ステップS1201では、入力時刻から所定時間Tの間における、入力者による発言の継続時間と、表示画面における指示操作回数とを検知する。そして、ステップS1202に進み、入力者による発言時間が、予め定めた所定時間Tp以上あり、かつ、表示画面における指示操作回数が所定時間Tの間に、予め定めた所定回数Np以上あったかどうか判定する。
そして、ステップ1202において、入力時刻から所定時間Tの間、入力者による発言が、予め定めた所定時間Tp以上あり、かつ、表示画面における指示操作回数が所定時間Tの間に、予め定めた所定回数Np以上あったと判定されたときには、ステップS1203に進み、状況情報として「プレゼンテーション」を、ユーザ入力情報制御部52に返す。そうではないときには、ステップS1204に進み、状況情報として「メモ」を、ユーザ入力情報制御部52に返す。
なお、上記の時間T、Tpおよび回数Npの例を挙げると、時間T=30秒、時間Tp=10秒、回数Np=2回とすることができる。ただし、指示の検出方法は、ユーザ入力情報の入力ブロックを囲む最小の矩形を計算し、その矩形内の領域をペンで触れた場合に指示を行ったと判断するようにする。
[情報蓄積再生装置の再生時について]
以上のようにして記録された会議情報としての時系列情報のうちから、ユーザ入力情報記録部53に記録されたユーザ入力情報に対応した特定区間の時系列情報を以下に説明するようにして特定して、再生したり、当該特定区間の発言チャートを表示することができる。
この実施の形態の情報蓄積再生装置における再生時においては、まず、ユーザ入力情報記録部53に記録されている複数個のユーザ入力情報を表示部54の画面に表示する。一画面にすべてのユーザ入力情報が表示できないときには、スクロール等を行って表示する。
ユーザは、この表示部54に表示されたユーザ入力情報をインデックスとして、自分が特に再生したい会議記録部分の指定を行う。すなわち、ユーザは、メモなどのユーザ入力情報から、そのユーザ入力情報が自分が再生したい会議記録部分に対応するものであるかどうかを推定し、対応する会議記録部分を再生したいときには、そのユーザ入力情報を選択指示するものである。
この実施の形態の場合、選択指示されたユーザ入力情報に対応する時系列情報区間特定区間決定部によって定められた特定区間を用いて、自動再生するモードと、その特定区間の発言チャートを表示させるチャート表示モードとがある。ここで、自動再生するモードでは、時点Tsから再生を開始するようにしているが、再生終了は、ユーザが指示する任意の箇所でできるようにしている。チャート表示モードにおいては、後述するように、発言チャート上において特定の発言区間をユーザが指示可能であり、指示した発言区間に対応する時系列情報が再生できる。
再生動作の説明の前に、発言チャートについて説明する。図41は、表示部54の画面に表示された発言チャートの一例を示すものである。この発言チャートは、発言者を識別するための発言者名を表示する発言者名領域71と、発言の遷移の状態を視覚的に表示するための発言遷移表示領域72とから構成される。発言遷移表示領域72には、時系列情報特定区間決定部59で決定された特定区間における発言構造が表示される。図41において、Tsは当該特定区間の開始時刻、Teは当該特定区間の終了時刻である。
発言遷移表示領域72の発言者毎の右横の各欄には、各会議参加者(発言者)が会議中の前記特定区間内において、いつ、どのくらいの時間の発言を行ったのかが、矩形の発言区間バーVBの表示位置と長さにより示される。この発言遷移表示領域72の全会議参加者の発言区間バーVBの遷移として表示される発言構造を読み取ることで、誰の発言から誰の発言へと遷移したのかという、前記特定区間における発言遷移構造を読みとることが可能となる。
図41の発言遷移表示領域72における三角印73は、その特定区間内における発言チャート上のユーザ入力時点(入力開始時点)を示している。
次に、再生時の動作処理について説明する。上述したように、この再生時には、表示部54の表示画面には、ユーザ入力情報記録部53に記録されているユーザ入力情報が表示される。この表示画面において、ユーザが、いずれかのユーザ入力情報の選択指示を行うと、ユーザ入力情報制御部52でそれが検知されて、再生開始となる。
図42は、この再生時のユーザ入力情報制御部52の処理ルーチンである。
まず、ステップS1300において、ユーザ入力情報制御部52は、表示部54の画面に表示されているユーザ入力情報のいずれかの選択指示をユーザ入力部51を通じて受けると、次のステップS1301に進む。この実施の形態では、表示されているユーザ入力情報を、例えば電子ペンにより囲い込むようにすることで、ユーザ入力情報の選択を行なうようにする。ユーザ入力情報制御部52は、囲まれた領域を判定し、その領域内に存在するユーザ入力情報を、ユーザ入力情報記録部53から探索する。
ステップ1301では、その選択指示されたユーザ入力情報の入力開始時刻および状況の情報をユーザ入力情報記録部53から取得する。そして、次のステップS1302に進み、ユーザ入力が、時系列情報の自動再生のためのものか、後述するチャートの作成のためのものであるかの問い合わせのメッセージをユーザに対して表示する。
ユーザは、これに対して、自動再生か、チャートの作成かの選択入力を行うので、ステップS1303でこのユーザ選択入力を受け付ける。そして、次のステップS1304において、自動再生が選択されたか、チャート作成が選択されたかを判別する。
そして、自動再生が選択された場合には、ステップS1305に進み、時系列情報特定区間決定部59に、指示されたユーザ入力情報の入力開始時刻の情報と、状況の情報と、自動再生命令とを送り、時系列情報制御部57に、自動再生命令を送る。また、チャート作成が選択された場合には、ステップS1306に進み、時系列情報特定区間決定部59に、指示されたユーザ入力情報の入力開始時刻の情報と、状況の情報と、チャート作成命令とを送り、時系列情報制御部57に、チャート作成命令を送る。
以上の説明では、入力開始時刻のみを用いたが、入力終了時刻のみを用いることもできる。また、入力開始時刻と入力終了時刻の両方を用いてもよい。ただし、それらの用い方によって図44および図45の数値は異なるものとなる。
次に、時系列情報特定区間決定部59の動作を、図43のフローチャートを参照しながら説明する。
まず、ステップS1400で、ユーザ入力情報制御部52から入力時刻(実施例では入力開始時刻)、状況、命令を取得する。次に、ステップS1401に進み、ユーザ入力情報の入力時刻と、状況の情報とから、当該ユーザ入力情報に対応する時系列情報の特定区間を計算する。
この場合、特定区間は、ユーザ入力情報の入力時点に対する相対開始時間の情報と、相対終了時間の情報とにより、後述するように、決定される。そして、ユーザ入力情報の入力時刻の情報があるので、特定区間の絶対開始時刻Tsと、絶対終了時刻Teとが決定される。
時系列情報特定区間決定部59は、前記特定区間を決定するためのユーザ入力情報の入力時点に対する相対開始時間の情報および相対終了時間の情報を格納して有しており、これらの相対時間の情報を用いて、前記ユーザ入力情報に対応する時系列情報の特定区間を決定する。
次に、ステップS1402に進み、ステップS1400で取得した命令が、自動再生命令か、チャート作成命令かを判別して、自動再生命令であれば、ステップS1403に進み、時系列情報制御部57に、特定区間の情報(この例では、開始時刻Ts)と、ユーザ入力情報の入力時刻の情報を送る。また、チャート作成命令であれば、ステップS1404に進み、チャート作成部60に、特定区間の情報(開始時刻Tsと終了時刻Te)と、ユーザ入力情報の入力時刻の情報を送る。以上で時系列情報特定区間決定部59の処理ルーチンは終了となる。
次に、ステップS1401のユーザ入力情報に対応する時系列情報の特定区間の決定について、さらに詳細に説明する。
この場合、前述の実施の形態でも説明したように、プレゼンテーションモードのときと、メモ・モードのときとでは、ユーザ入力情報の入力時点に対応する区間として特定する時間区間は、異なる。
例えば、図44は、ユーザ入力情報に対応する時系列情報の特定区間の開始時点の、ユーザ入力情報の入力時点に対する相対時間の確率を説明するための図である。図44は、ある特定のユーザが、時系列情報を再生しながら、自分でユーザ入力情報に対応する特定区間を決定したときに、ユーザ入力情報の入力時点に対して相対的に異なる複数の50秒区間の間に、ユーザ入力情報に対応する時系列情報の特定区間の開始時点と決定したことが、どれだけあったかの頻度を示すものである。
例えば、相対時間[−300,−250)は、ユーザ入力情報の入力時点よりも300秒前から250秒前までの区間を示しており、図44の例では、この区間にメモ・モードでは1回、特定区間の開始時点が決定され、かつ、プレゼンテーションモードでは、0回、つまり、特定区間の開始時点が決定されなかったこと示している。ここで、相対時間の数値の前のマイナスは、ユーザ入力情報の入力時点よりも、以前の時間であることを意味している。
また、相対時間[−50、0)は、ユーザ入力情報の入力時点よりも50秒前から0秒前までの区間を示しており、図44の例では、この区間にメモ・モードでは8回、特定区間の開始時点が決定され、かつ、プレゼンテーションモードでは、20回、特定区間の開始時点が決定されたこと示している。
この図44の頻度分布は、横軸をユーザ入力情報の入力時点に対する相対時間に取り、縦軸を頻度に取ると、例えば、メモ・モードでは、図46に示すようになる。この実施の形態では、この頻度数の、例えば90%が入るように、特定区間のユーザ入力情報の入力時点に対する相対的な開始時点、終了時点を決定する。すなわち、この例では、90%の確率で、ユーザ入力情報に対する時系列情報の特定区間の開始時点が正しく決定されるように、時系列情報の特定区間の相対的開始時間、相対的終了時間を決定する。
このようにして決定される、ユーザ入力情報に対応する時系列情報の特定区間を決定するための、ユーザ入力情報の開始時点に対する相対時間の情報は、図44の確率分布からも分かるように、メモ・モードとプレゼンテーションモードとの状況の違いに応じて異なる。
すなわち、図47は、ユーザ入力情報に対応する時系列情報の特定区間の開始時点の、ユーザ入力情報の入力時点に対する相対時間の確率分布を、メモ・モードとプレゼンテーションモードとの両方について示したもので、メモ・モードの場合には、その相対開始時間はTs(メモ)のようになり、また、プレゼンテーションモードの場合には、その相対開始時間はTs(プレゼン)のようになり、異なるものである。
ユーザ入力情報に対する時系列情報の特定区間の相対終了時間も、同様にして、例えば90%の確率で、ユーザ入力情報に対する時系列情報の特定区間の終了時点が正しく決定されるように定められる。
図45は、以上のようにして、状況に応じて設定された、特定区間を決定するための相対開始時間および相対終了時間の例である。この例では、状況がメモ・モードのときは、ユーザ入力情報の開始時点よりも、200秒前の時点から、ユーザ入力情報の開始時点よりも、30秒後の時点までを、ユーザ入力情報に対応する時系列情報の特定区間をとして決定する。また、状況がプレゼンテーションモードのときには、ユーザ入力情報の開始時点よりも、50秒前の時点から、ユーザ入力情報の開始時点よりも、20秒後の時点までを、ユーザ入力情報に対応する時系列情報の特定区間をとして決定する。
この図45の相対開始時間および相対終了時間の情報は、複数のユーザについて、前述のようにして定めた固定のデータを、すべてのパーソナルコンピュータ30において用いることができる。
しかしながら、図45の相対開始時間および相対終了時間の情報は、使用するユーザの癖などの性向によって、一般的に、異なるものである。
そこで、この実施の形態では、ユーザの性向によらずに、状況の違いのみに対応したユーザ入力情報の入力時点に対する相対時間の固定データを用いて、対応する時系列情報の特定区間を決定するモードと、過去のユーザの特定区間の決定の性向を考慮して、対応する時系列情報の特定区間を決定するモードとを備える。
後者のモードの場合には、予め記録された時系列情報を再生しながら、ユーザが、ユーザ入力情報に対応する特定区間の設定を行うようにする。この場合には、時系列情報区間特定部59は、ユーザ入力情報制御部52から、直前に時系列情報の特定区間を再生したユーザ入力情報の入力時刻と、入力状況、時系列情報の開始時刻を受け取り、該当する状況のモードの該当する相対時間の欄に頻度を記録するようにする。
そして、そのユーザによる設定により、図44に示したものと、同様の頻度データを作成し、この頻度データに対してユーザにより設定された特定区間を決定する確率の値に基づいて、それぞれの状況に応じた相対開始時間および相対終了時間を決定するようにする。ユーザが設定する確率の値は、前述した90%に限られず、ユーザが適宜の値に設定可能である。
後者のモードの場合には、新たに、ユーザにより、頻度データの生成が行われると、相対時間の情報は、更新される。このように、ユーザが相対時間を決定するための情報を追加できるようにすることにより、ユーザのメモの癖等、個人的な情報を時系列情報区間特定部59での状況に応じた特定区間の決定に反映させることができる。
なお、この特定区間の頻度データの作成と共に、前述したリンク情報を、ユーザ入力情報に対応して、図38に示すように設定して、ユーザ入力情報記録部53に、ユーザが記録しておくようにすることができる。すなわち、ユーザが当該ユーザ入力情報と関連すると判断したときに、当該直前の再生箇所に関する情報を、ユーザ入力情報記録部53のリンク情報として記録する。このようにすると、後で、再びその箇所を再生する際に、そのリンク情報に基づいて入力情報に対応する時系列情報をより正確に再生することが可能となる。
そのために、再生命令を、ユーザ入力情報制御部52が時系列情報制御部57に送信すると、ユーザ入力情報制御部52は、再生のために選択したユーザ入力情報のIDをバッファに保持し、時系列情報制御部57は、再生時間の情報をバッファに保持するようにしてある。
再生後にリンクをする場合に、ユーザ入力情報制御部52は、直前の再生箇所に関する再生時間の情報を、時系列情報制御部57のバッファから取得し、ユーザ入力情報記録部53の該当するリンク情報の箇所に記録できるようにする。
前述した相対時間を決定するための頻度データの作成時のユーザ入力時においても、前述のリンク情報をユーザ入力情報記録部53へ記録する時と同様、ユーザ入力情報制御部52と、時系列情報制御部59のバッファにある直前の再生情報を利用することになる。
具体的には、ユーザが、時系列情報特定区間決定部57の情報更新を命令すると、ユーザ入力情報制御部52は、直前に再生したユーザ入力情報のIDを手がかりに、ユーザ入力情報記録部53に記録されている状況情報を取得し、更に、時系列情報制御部59のバッファに保持されている直前の再生時間情報を取得し、それらの情報を時系列情報特定区間決定部57に送る。
ユーザによって新たに相対時間の情報が追加された場合には、図44に示したのと同様の情報が得られることになる。この場合に、時系列情報区間特定部59は、特定区間の時間情報を出力をするだけでなく、図46および図47に示したような、その区間(Ts〜Teの区間)上の時系列情報の存在確率情報などを併せて出力することができる。
以上の説明では、ユーザ入力情報制御部52と、時系列情報制御部57のバッファは、直前の1つの再生情報のみを保持するようにしたが、バッファの大きさはいくらでもよく、直前の複数回の再生情報を保持するようにしてもよい。
次に、時系列情報制御部57の再生時の動作を、図48のフローチャートを用いて説明する。
すなわち、ステップS1500でユーザ入力情報制御部52から命令を取得すると、ステップS1501に進み、命令がチャート作成か自動再生かを判別する。チャート作成であれば、ステップS1502に進み、チャート作成部60にチャート作成を命令する。次いで、ステップS1503に進み、チャート作成部60からチャート情報を取得して、そのチャート情報の表示部4への出力位置を決定し、出力座標を保持するとともに表示部4にチャート情報を出力する。
この発言チャート情報が表示部54の画面に表示されると、ユーザは、後述の図50に示すように、この発言チャートに表示されている発言区間バーVBのいずれかを選択指示して、その発言区間の時系列情報の再生を要求する。図50では、丸印で示す位置が指示されると、その指示座標(xp,yp)が座標時間変換部63で時間情報に変換されて時系列情報制御部57に送られる。なお、この例の場合、指示座標は、x座標xpのみでもよい。
このため、時系列情報制御部57では、ステップS1504で、ユーザの指定する時刻の情報を座標時間変換部63から取得し、該当する時刻の時系列情報から、時系列情報記録部61から順次に読み出して、時系列情報出力部58に対して出力する。なお、ユーザ入力情報制御部52から、ユーザ入力に応じて時間情報(前述のリンク情報)が出力される場合には、座標時間変換部63はバイパスされて、ユーザの指定する時刻の情報を、時系列情報制御部57は、ユーザ入力情報制御部52から直接的に受け取る。リンク情報を用いるか否かの指定は、ユーザの入力情報選択時に行うことができる。
一方、ステップS1501で、命令が自動再生であると判別されると、ステップS1505に進み、時系列情報特定区間決定部59からの特定区間の時間情報(Ts,Te)に基づいて、該当する時間区間の時系列情報を、時系列情報記録部61から読み出して、時系列情報出力部58へ出力する。この実施の形態では、時点Tsから再生を開始し、ユーザが再生終了を明示的に指示するまで再生を行うようにしている。
なお、この図48のフローチャートでは省略したが、チャートを作成しないで、ユーザが時間を入力することで、その時間から、あるいはその時間区間の時系列情報を再生することも可能である。すなわち、時系列情報制御部57は、再生命令と時間を受け取った場合に、その時間に該当する時系列情報を時系列情報記録部61から時系列情報出力部58に出力するようにする。
次に、チャート作成部10の動作を、図49フローチャートを用いて説明をする。
ステップS1600で、時系列情報制御部57からチャート作成命令が到来したと判別すると、ステップS1601に進み、時系列情報特定区間決定部59から、特定区間の時間情報(Ts,Te)と、ユーザ入力情報の入力時刻を取得し、その特定区間内の発言区間に関する情報(図34参照)を時系列情報記録部61から取得する。次いでステップS1602に進み、取得した発言区間に関する情報から、図41および図50に示すような発言チャートを作成し、作成したチャート情報を時系列情報制御部57に出力する。前述したように、時系列情報制御部57は、この発言チャートを表示部54の表示画面に表示するように制御する。
図50に示すチャートの例について説明する。時系列情報特定区間決定部59が出力した特定区間の時間情報に応じてチャートを表示するポップアップウィンドウの大きさ(W,H)、発言状況を示す画面の位置(x0 ,y0 )と、大きさ(wc、hc)を決定する。この図では、会議参加者であるA,B,C,Dの発言区間が矩形として表現されている。
なお、時系列情報特定区間決定部59から、前述したような、相対時間に関する分布(確率)情報も提供される場合には、図51に示すように、時間軸の付近に確率密度情報を示すグラフ80を表示する。この場合、ユーザ入力情報に対応する時系列情報の特定区間の開始時刻の分布(確率)情報を、特定区間の発言チャートと併せて出力するようにしている。この分布(確率)情報は、チャート上に反映させることで、ユーザがどの時間から時系列情報を再生するかについての一助となる。
図51の例で言えば、発言者Bの最初の発言区間の部分が、三角印81で示す入力時点のユーザ入力情報に対応する時系列情報の開始時点として、最も対応関係が強いことが示されることになる。
次に、ユーザにより、チャート上において、指示された座標位置の情報から時間情報に変換する座標時間変換部63の動作を図52のフローチャートを用いて説明する。
すなわち、座標時間変換部63は、ステップS1700でユーザ入力情報制御部2から座標情報を取得し、次のステップS1701に進み、時系列情報制御部57からチャートの表示位置情報を取得し、座標に対応する時間を計算する。そして、ステップS1702に進み、時系列情報制御部57に計算した時間を送る。
図50を用いて、座標時間変換部63における、時間の計算の説明図を示す。座標(x0 、y0 )をチャートの原点、指示箇所の座標を(xp、yp)、表示時間を[Ts,Te]とし、その時間区間の画面上での表示幅をwcとすると、指示時刻Tpは、
Tp=Ts+(Te−Ts)×(xp−x0 )/wc
となる。
以上の情報蓄積再生装置の実施の形態では、ユーザが入力した時の状況が個人用のメモなのかプレゼンテーションなのかを判別する例で説明したが、他の状況を用いることも可能である。
例えば、会議の盛り上がりや笑いや、ある特定の人の行為を一つの状況情報やユーザ入力情報とみなし、その時刻とそれに関連する時系列情報の記録位置がある相関の高い関係があるものを、この発明の情報蓄積再生装置に適用しても構わない。
また、上記の情報蓄積再生装置の実施の形態では、メモ入力の時刻と時系列情報の開始時刻の関係から、特定区間(Ts,Te)を決定したが、メモ入力時刻と時系列情報の存在区間で、特定区間(Ts,Te)を決定するようにしてもよい。
また、上述の情報蓄積再生装置の実施の形態では、ユーザ入力情報の入力時点と、時系列情報特定区間決定部が保持する相対時間の情報から、特定区間を決定するようにしたが、前述した情報蓄積装置の実施の形態の場合と同様にして、条件一致区間検出部としての時系列情報処理部の処理結果である、例えば発言区間の情報も考慮して、ユーザ入力情報に対応する時系列情報の特定区間を決定するようにしても、もちろんよい。
また、前述の情報蓄積装置の実施の形態の場合と同様に、センサを設けると共に、このセンサの検出出力情報が予め設定された所定の条件に合致する区間を検出する条件一致区間検出手段を設けて、この条件一致区間検出手段で検出した区間の情報も考慮して、ユーザ入力情報に対応する時系列情報の特定区間を決定するようにしても、もちろんよい。
また、チャートは、条件一致区間としての発言区間を表示する発言チャートの場合を例に説明したが、例えば会議参加者の笑いの区間、拍手の区間などの条件一致区間をチャートとして表示するようにしても、もちろんよい。
[情報蓄積再生装置の他の実施の形態]
上述した実施の形態のようなプレゼンテーション型の会議のおいて、各会議参加者が個々にメモを取る場合には、プレゼンテーションの内容を視聴した後、その視聴した内容についてメモを入力し、メモを終了すると、再び、プレゼンテーションの内容を視聴して、その視聴した新たな内容について、必要に応じてメモをするという操作を繰り返す。
この発明の実施の形態においては、ユーザ入力情報は、連続するペンストロークなど、一連の関連のある入力情報が一塊として、ユーザ入力情報検出手段により検出され、ユーザ入力情報記憶部53に記録される。一塊として検出されるユーザ入力情報の区切りは、例えば、ユーザ入力が、所定時間、例えば15秒以上、途絶えたことにより検知するようにしている。
したがって、プレゼンテーション型会議において、上述のような会議参加者個々のメモ入力のようなユーザ入力情報の場合には、再生時において、ユーザによって指定されたユーザ入力情報の入力時刻に対応する時系列情報の開始時刻(特定区間の開始時刻)は、指定されたユーザ入力の直前のユーザ入力情報の入力時刻以後に存在することが多い。
このことは、以下のように、実験的にも確かめれらた。すなわち、図53(A)に示すように、再生のために指定したユーザ入力情報の入力時刻Tpから、その直前のユーザ入力情報の入力時刻Tbまでの時間間隔をXとし、指定したユーザ入力情報の入力時刻Tpから、指定したユーザ入力情報に関連する時系列情報の開始時刻までの時間間隔をYとして、両者の関係を調べたところ、図53(B)に示すような結果が得られた。
この図53(B)において、直線Lは、Y=Xの直線である。この図53(B)から、指定されたユーザ入力情報に関連する時系列情報の開始時刻は、殆どが直前のユーザ入力情報の入力時刻以後であることが理解できる。
この場合の直前のユーザ入力情報の入力時刻Tbは、そのユーザ入力情報の、少なくとも入力開始時刻を指す。もっとも、直前のユーザ入力情報の入力時刻Tbが、ユーザ入力情報の入力終了時刻でも上記のことは当てはまる。また、ユーザ入力開始時刻と、終了時刻との間の時刻を基準にすることもできる。
ところで、前述の情報蓄積再生装置の実施の形態の時系列情報特定区間決定部59では、時系列情報の再生区間や、チャート表示区間である特定区間を、ユーザによって指定されたユーザ入力情報の入力時刻だけに基づき、入力状況を参照しながら決定した。
このため、指定されたユーザ入力情報の直前のユーザ入力の入力時刻によっては、前述の実施の形態において、特定された区間が不要に長い区間を含むことになり、目的の箇所を再生するまでに時間がかかる場合がある。すなわち、特定区間内に直前のユーザ入力の入力時刻が含まれる場合には、そのユーザ入力の入力時刻よりも前の時系列情報は、上述のように、指定されたユーザ入力情報とは関連がない場合が殆どであるからである。
以下に説明する実施の形態は、このような状況を鑑みて、指定されたユーザ入力情報の直前のユーザ入力の入力時刻を考慮することにより、指定したユーザ入力情報のみに関連する特定区間の決定を、精度よく行うものである。
図54は、この場合の情報蓄積再生装置の実施の形態の、各処理機能部をブロック化して示した構成図である。この図54の機能ブロック図は、図30を用いて説明した前述の実施の形態の機能ブロック図とは、時系列情報特定区間決定部59に対して、特定区間補正部64を設けた点が異なる。
そして、この実施の形態においては、この特定区間補正部64において、時系列情報特定区間決定部59で決定された特定区間を、指定されたユーザ入力情報の直前のユーザ入力情報の入力時刻に応じて補正するものである。この実施の形態の場合、ユーザ入力情報がメモ・モードであった場合、それを入力状況から検知して、後述するような補正動作を行う。なお、この実施の形態では、ユーザ入力情報の入力状況が、プレゼンテーションモードのときには、特定区間補正部64では、補正動作を実行せず、時系列情報特定区間決定部59が決定した特定区間をそのまま出力する。
図55は、この特定区間補正部64での補正動作を説明するための図である。この図55の例においては、ユーザにより指定されたユーザ入力情報の入力時刻がTpであって、前述したようにして、時系列情報特定区間決定部59では、このユーザ入力情報の際の入力状況が参照されて、開始時刻Ts、終了時刻Teの特定区間が決定されている。
特定区間補正部64は、指定されたユーザ入力情報の直前のユーザ入力情報の入力時刻Tbが、時系列情報特定区間決定部59で決定された特定区間内にあるか否かを判断する。そして、図55(A)に示すように、指定されたユーザ入力情報の直前のユーザ入力情報の入力時刻Tbが、時系列情報特定区間決定部59で決定された特定区間内にあるときには、前記直前のユーザ入力情報の入力時刻Tbから特定区間が開始するように、特定区間を補正する。
また、図55(B)に示すように、指定されたユーザ入力情報の直前のユーザ入力情報の入力時刻Tbが、時系列情報特定区間決定部59で決定された特定区間よりも前にあるときには、時系列情報特定区間決定部59で決定された特定区間を、そのまま用いるようにする。
これにより、メモ・モードにおいて、指定したユーザ入力情報の直前のユーザ入力情報より前の、指定したユーザ入力情報とは無関係となると推測される時系列情報部分を排除して、指定したユーザ入力情報に正確に対応する時系列情報部分の再生をすることができる。
以上の特定区間補正部64での補正動作を可能にするためには、特定区間補正部64の上述のような処理動作が必要であるだけでなく、この実施の形態では、ユーザ入力情報制御部52と、時系列情報特定区間決定部59とにおける処理動作が、図30を用いて説明した前述の実施の形態と異なるものである。
これら各部の処理動作を、それぞれフローチャートを用いて以下に説明する。まず、ユーザ入力情報制御部52の動作を、図56のフローチャートを参照しながら説明する。なお、この場合のユーザ入力情報の入力時刻は、例えば、入力開始時刻とする。
まず、ステップS1800において、ユーザ入力情報制御部52は、表示部54の画面に表示されているユーザ入力情報のいずれかの選択指示をユーザ入力部51を通じて受けると、次のステップS1801に進む。この実施の形態では、表示されているユーザ入力情報を、例えば電子ペンにより囲い込むようにすることで、ユーザ入力情報の選択を行なうようにする。ユーザ入力情報制御部52は、囲まれた領域を判定し、その領域内に存在するユーザ入力情報を、ユーザ入力情報記録部53から探索する。
ステップ1301では、その選択指示されたユーザ入力情報の入力時刻Tpと、状況の情報と、選択指示されたユーザ入力情報の直前のユーザ入力情報の入力時刻Tbとをユーザ入力情報記録部53から取得する。そして、次のステップS1802に進み、ユーザ入力が、時系列情報の自動再生のためのものか、後述するチャートの作成のためのものであるかの問い合わせのメッセージをユーザに対して表示する。
ユーザは、これに対して、自動再生か、チャートの作成かの選択入力を行うので、ステップS1803でこのユーザ選択入力を受け付ける。そして、次のステップS1804において、自動再生が選択されたか、チャート作成が選択されたかを判別する。
そして、自動再生が選択された場合には、ステップS1805に進み、時系列情報特定区間決定部59に、指示されたユーザ入力情報の入力時刻Tpの情報と、状況の情報と、指示されたユーザ入力情報の直前のユーザ入力情報の入力開始時刻Tbの情報と、自動再生命令とを送り、時系列情報制御部57に、自動再生命令を送る。
また、チャート作成が選択された場合には、ステップS1806に進み、時系列情報特定区間決定部59に、指示されたユーザ入力情報の入力時刻Tpの情報と、状況の情報と、指示されたユーザ入力情報の直前のユーザ入力情報の入力時刻Tbの情報と、チャート作成命令とを送り、時系列情報制御部57に、チャート作成命令を送る。
以上の説明において、直前のユーザ入力情報の入力時刻Tbとしては、入力開始時刻に限らず、入力終了時刻を用いることもできる。また、直前のユーザ入力情報の入力時刻としては、入力開始時刻と入力終了時刻の間の時刻(例えば、丁度両者の中間の時刻)を用いてもよい。
また、指定されたユーザ入力情報の入力時刻Tpとしても,入力開始時刻だけではなく、入力終了時刻あるいは両者の中間の時刻を用いてもよいが、それらの用い方によって、時系列情報特定区間決定部59で用いる図44および図45の数値は異なるものとなる。
指定されたユーザ入力情報の入力時刻Tpと、その直前のユーザ入力情報の入力時刻Tbとで、入力時刻として、入力開始時刻と、入力終了時刻と、両者の中間の時刻とのいずれの時刻を用いるかは、それぞれ独立であり、3種の時刻のいずれの組み合わせも可能である。
次に、この実施の形態における時系列情報特定区間決定部59の動作を、図57のフローチャートを参照しながら説明する。
まず、ステップS1901で、ユーザ入力情報制御部52から入力時刻Tp、状況、直前のユーザ入力情報の入力時刻Tbおよび命令を取得する。次に、ステップS1902に進み、ユーザ入力情報の入力時刻Tpと、状況の情報とから、前述したようにして、当該ユーザ入力情報に対応する時系列情報の特定区間(Ts,Te)を計算する。
次に、ステップS1903に進み、指定されたユーザ入力情報に関する入力状況が、メモ・モードか、プレゼンテーションモードであるか判別する。メモ・モードであれば、ステップS1904に進み、直前のユーザ入力情報の入力時刻Tbの情報と、特定区間(Ts,Te)の情報を、特定区間補正部64に送る。
特定区間補正部64は、後述のようにして、決定された特定区間について補正処理を行い、その補正結果の特定区間の情報を、時系列情報特定区間決定部59に返すので、時系列情報特定区間決定部59では、次のステップS1905で、この特定区間補正部64からの補正後の特定区間の情報を受け取る。そして、次のステップS1906に進む。
ステップS1903でプレゼンテーションモードであると判別されたときには、特定区間補正部64での補正のステップS1904、ステップS1905を行うことなく、ステップS1906に飛ぶ。
ステップS1906では、ステップS1901で取得した命令が、自動再生命令か、チャート作成命令かを判別して、自動再生命令であれば、ステップS1908に進み、時系列情報制御部57に、特定区間の情報(この例では、開始時刻Ts)と、ユーザ入力情報の入力時刻Tpの情報を送る。また、チャート作成命令であれば、ステップS1907に進み、チャート作成部60に、特定区間の情報(開始時刻Tsと終了時刻Te)と、ユーザ入力情報の入力時刻Tpの情報を送る。以上で時系列情報特定区間決定部59の処理ルーチンは終了となる。
次に、図58は、特定区間補正部64の処理ルーチンを示すフローチャートである。
まず、ステップS2001で、時系列情報特定区間決定部59から、指定されたユーザ入力情報の直前のユーザ入力情報の入力時刻Tbと、特定区間(Ts,Te)の情報を取得する。次に、ステップS2002に進み、特定区間の開始時刻Tsと、直前のユーザ入力情報の入力時刻Tbとを比較して、開始時刻Tsが、直前の入力時刻Tbよりも前であるか否か判別する。
開始時刻Tsが直前の入力時刻Tbよりも前であるときには、ステップS2003に進み、特定区間の開始時刻をTsからTbに変更補正して、次のステップS2005で、変更補正した特定区間の情報(Tb,Te)を時系列情報特定区間決定部59に返す。
また、開始時刻Tsが直前の入力時刻Tbよりも後であるときには、ステップS2004に進み、特定区間の開始時刻をTsのままとして、次のステップS2005で、もとのままの特定区間の情報(Ts,Te)を時系列情報特定区間決定部59に返す。以上で、特定区間補正部64の処理ルーチンは終了となる。
なお、この実施の形態においても時系列情報特定区間決定部59は、状況を判別して特定区間を決定するようにしたが、必ずしも状況を判別する必要はなく、ユーザ入力情報の入力時刻Tpのみから特定区間を決定する情報蓄積再生装置においても、特定区間補正部64を用いることにより、ユーザ入力情報に関連の強い時系列情報部分のみを正確に抽出するという作用効果は得られるものである。特に、前述したように、ユーザ入力情報が、プレゼンテーションを視聴しながら個人的なメモの取る状況の時には、特定区間補正部64を設けたことの効果は大きいものである。
なお、上記の実施の形態の説明では、直前のユーザ入力情報の入力時刻Tbをそのまま用いたが、前記入力時刻Tbから一定時間分(Δt)加減した時間を用いてもよい。また、前記入力時刻Tbは、前述もしたように、ユーザ入力を開始した時刻であっても、終了した時刻であっても改善効果は確認された。
特定区間補正部64の効果は、時系列情報特定区間決定部59の特定区間の結果によって変化する。すなわち、時系列情報特定区間決定部59において、特定区間の開始時刻Tsが、指定されたユーザ入力情報の入力時刻Tpに対して比較的短い時間だけ前の時間として設定されている場合には、その効果は大きく表れない。その場合は、時系列情報特定区間決定部59の区間特定精度が特定精度になる。
これに対して、時系列情報特定区間決定部59において、特定区間の開始時刻Tsが、指定されたユーザ入力情報の入力時刻Tpに対して比較的長い時間前の時間として設定されている場合には、特定区間補正部64での補正による効果は大きくなる。
以上説明したように、上述した実施形態の情報蓄積装置によれば、例えば会議情報を蓄積する場合において、ユーザ入力情報と、音声や画像の変化やセンサ検知信号の変化と、ユーザ入力があった時点の状況を、適宜組み合わせて、特徴的な事象が起こっている区間である重要区間を特定することができる。
そして、特定した重要区間は、高品質を保って音声情報や画像情報などの時系列情報を蓄積し、他の区間は、高圧縮率で圧縮して時系列情報記憶部に蓄積するようにすることで、記憶容量が少ないメモリであっても長時間分の時系列情報を蓄積することができる。
また、共用入力装置や個人用入力装置のようなユーザ入力装置の種類によって音声信号または画像信号を記録するタイミングや長さを変化させることができるので、さまざまな会議記録装置の実施形態において、効率的に情報蓄積媒体の節約ができる。
しかも、重要区間の時系列情報は、高品質を保って蓄積されているので、これを再生したときに、情報内容を適切かつ確実に把握することが可能である。したがって、例えば、情報量の多い会議情報の記録蓄積を行う場合に適用すると、会議内容を適切に把握するために必要な情報は重要区間として高品質で記憶されているため、全体としての情報量は、削減されていても、会議内容を適格に把握することができる。
また、ユーザ入力情報と重要区間とを対応付けて記憶しておくことで、ユーザ入力情報を指定することにより、対応する重要区間の音声情報や画像情報を容易に再生させることができる。
また、上述の実施形態の情報蓄積再生装置によれば、会議等の時系列情報とメモをあわせて記録し、後でメモを手がかりにそのメモに対応する時系列情報を再生する場合に、メモ入力時の状況を利用して、適切な箇所の時系列情報を、自動で再生することができる。これによって会議の参加者であってもなくても、またメモ入力した本人であっても、また、本人でなくても、適切な時系列情報を再生することが可能となる。
また、メモ入力時の状況を利用して、適切な範囲の会議参加者の発言状況を知ることもできる。そのため、会議の参加者であった場合には、再生すべき箇所を想起、決定し易い。また、会議の不参加者であった場合にも、再生すべき箇所を容易に推測することが可能となる。
また、再生すべき区間に関して、確率情報を提示した場合には、再生した区間で必要な情報が得られるかについての確信を得ることができる。
また、特定区間を、指定したユーザ入力情報の直前のユーザ入力情報の入力時刻に基づいて補正することにより、指定したユーザ入力情報に関連深い時系列情報の区間を精度よく特定することができる。このため、所望の情報を効率的に探索し、獲得することが可能となる。例えば、会議の議事録作成、講演会などの話のまとめなどを行うときに、この発明によれば、その作業を効率的なものとすることができる。
1…音声情報入力部、2…画像情報入力部、3…条件一致区間検出部、4…時系列情報記憶部、5…ユーザ入力情報入力部、6…ユーザ入力情報検出部、7…ユーザ入力装置特定部、8…重要区間決定部、9…対応関係記憶部、10…圧縮部、11…時刻情報記憶部、12…再生部、13…再生指示部、14…表示部、15…制御部、16…一時記憶部、20…電子会議装置、21…モニター装置の表示画面、23…電子ペン、24…カメラ、25…マイクロホン、26…音声信号解析器、27…蓄積媒体、28…スピーカ、29…会議参加者、30…小型コンピュータ(個人用電子ノート装置)、41…共用電子黒板、42…ビデオカメラ、43…マイクロホン、51…ユーザ入力部、52…ユーザ入力情報制御部、53…ユーザ入力情報記録部、54…表示部、55…時系列情報入力部、56…時系列情報処理部、57…時系列情報制御部、58…時系列情報出力部、59…時系列情報特定区間決定部、60…チャート作成部、61…時系列情報記録部、62…状況特定部、63…座標時間変換部、64…特定区間補正部