JPH0798734A

JPH0798734A - 作業状況管理装置

Info

Publication number: JPH0798734A
Application number: JP1152894A
Authority: JP
Inventors: Takao Yamaguchi; 孝雄山口; Masahiro Hamada; 正宏浜田
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1993-02-04
Filing date: 1994-02-03
Publication date: 1995-04-11
Anticipated expiration: 2021-09-27
Also published as: JP3827740B2

Abstract

(57)【要約】【目的】本発明の目的は、作業中に記録された映像情
報や音声情報における所望の箇所を容易に検索すること
のできる装置を提供することにある。【構成】作業状況管理装置は、作業に関連する情報を
入力する入力部１１と、入力された情報に対して所定の
変化が発生したことを検出し、検出された所定の変化に
応じて、所定の変化が発生した時刻を示す情報と所定の
変化を特定する情報とを生成する作業状況管理部１３
と、所定の変化が発生した時刻を示す情報と所定の変化
を特定する情報とを記憶する作業状況記憶部１４とを備
えている。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は単体の端末もしくは複数
の端末間で情報処理を行い、利用者の作業状況にあわせ
て情報管理する作業状況管理装置に関するものである。

【０００２】

【従来の技術】近年、各種情報をリアルタイムで交換し
ながら、会議や意志決定をはじめとした協同作業を行う
ことを支援するネットワーク会議システムが提案され構
築されている。例えば、渡辺他「マルチメディア分散
会議システムＭＥＲＭＡＩＤ」、情報処理学会論文
誌、Ｖｏｌ．３２、Ｎｏ．９（１９９１）や中山他
「多者間電子対話システムＡＳＳＯＣＩＡ」、情報処
理学会論文誌、Ｖｏｌ．３２、Ｎｏ．９（１９９１）が
挙げられる。

【０００３】従来の技術では、個人利用や複数端末間で
の情報交換のためにウインドウを開き、ファイル単位で
の会議資料（テキスト、イメージ、図形等からなる文
書）の編集や提示等を行う。そのため、会議終了後、議
事録としては会議中のメモや会議資料は利用者の手元に
は残るが、会議の状況といった体系的には取り扱いにく
い動的な情報まで含めて会議の議事録として残すことが
できない（例えば、参加者の一人がカメラで提示された
資料を指で指示した場合の指の位置情報の時間経過とい
った動的な情報が挙げられる）。従って、利用者の記憶
を助けるという観点からは従来の手法では十分ではな
い。

【０００４】また、会議の状況を記録するためにＶＴＲ
等を利用する方法が考えられるが、会議の状況をすべて
ＶＴＲ等で撮影することにより膨大な情報が発生するた
め、会議終了後、撮影された映像・音声の情報を検索・
編集するのは、利用者に大変な労力を強いる。

【０００５】更に、従来のＣＡＩ（計算機支援による教
育システム）システムでは、教材を先生や生徒間で共有
し、会話の場を設定することが目的であったため、生徒
が授業後、個人的な観点で復習をしたり、先生が授業の
状況を反映させた教材作成を行うことは難しかった。

【０００６】

【発明が解決しようとする課題】従来の手法では、個人
利用や複数端末間での情報交換のためにウインドウを開
き、ファイル単位での会議資料（テキスト、イメージ、
図形等からなる文書）の編集や提示等を行う。そのた
め、会議終了後、議事録としては会議中のメモや会議資
料が利用者の手元には残るが、会議の状況といった体系
的には取り扱いにくい動的な情報まで含めて会議の議事
録として残すことができない。また、会議の状況をすべ
てＶＴＲ等で取るにも膨大な情報量になるため、会議終
了後、撮影された映像・音声の情報を検索・編集するの
は、利用者に大変な労力を強いる。従って、利用者の記
憶を助けるという観点からは従来の手法では十分ではな
いという課題と、必要な情報を必要な量だけ記録できな
ければならないという課題がある。本発明の目的は、利
用者が作り出す様々な情報を作業状況管理装置にて管理
を行うとともに、利用者の作業状況にあわせて必要な情
報管理することにある。

【０００７】

【課題を解決するための手段】本発明の作業状況管理装
置は、作業に関連する情報を入力する入力手段と、該入
力された情報に対して所定の変化が発生したことを検出
する検出手段と、該検出された所定の変化に応じて、該
所定の変化が発生した時刻を示す情報と該所定の変化を
特定する情報とを生成する生成手段と、該所定の変化が
発生した該時刻を示す該情報と該所定の変化を特定する
該情報とを作業状況として記憶する記憶手段とを備えて
おり、これにより、上記目的が達成される。

【０００８】前記入力手段は、利用者による操作に応じ
て該操作を示すカメラ操作信号を生成するカメラを有し
ており、前記検出手段は、該カメラ操作信号を受け取
り、該カメラ操作信号に基づいて該カメラの所定の操作
が発生したことを検出するカメラ操作検出手段を備えて
いてもよい。

【０００９】前記入力手段は、複数の映像チャネルを有
しており、前記検出手段は、ある映像チャネルが他の映
像チャネルに切り替わることを検出する映像チャネル変
化検出手段を備えていてもよい。

【００１０】前記入力手段は、映像情報を入力する映像
情報入力手段を有しており、前記検出手段は、該映像情
報に基づいて映像シーンの変化を検出する映像シーン変
化検出手段を備えていてもよい。

【００１１】前記入力手段は、音声情報を入力する音声
情報入力手段を有しており、前記検出手段は、該音声情
報を有音部と無音部に分割することにより、該音声情報
の無音部から有音部への変化を検出する音声情報変化検
出手段を備えていてもよい。

【００１２】前記検出手段は、ウインドウ情報の変化を
検出するウインドウ情報検出手段を備えていてもい。

【００１３】前記検出手段は、指示情報の変化を検出す
る指示情報検出手段を備えていてもよい。

【００１４】前記検出手段は、映像情報の変化と音声情
報の変化とウインドウ情報の変化と指示情報の変化との
間の任意の組み合わせのうち少なくとも１つが発生した
ことを検出する手段を備えていてもよい。

【００１５】本発明の作業状況管理システムは、複数の
端末装置と該複数の端末装置にネットワークを介して接
続される作業状況管理装置とを備えたシステムであっ
て、該複数の端末装置のそれぞれは、作業に関連する情
報を入力する入力手段と該入力された情報を該作業状況
管理装置に送信する送信手段とを有しており、該作業状
況管理装置は、該複数の端末装置のそれぞれからの該情
報を受信する受信手段と、該受信された情報に対して所
定の変化が発生したことを検出する検出手段と、該検出
された所定の変化に応じて、該所定の変化が発生した時
刻を示す情報と該所定の変化を特定する情報とを生成す
る生成手段と、該所定の変化が発生した該時刻を示す該
情報と該所定の変化を特定する該情報とを作業状況とし
て記憶する記憶手段とを有しており、これにより、上記
目的が達成される。

【００１６】本発明の他の作業状況管理装置は、作業の
時間的経過を表す情報を記憶する記憶手段と、該記憶手
段に記憶された該作業の時間的経過を表す該情報に基づ
いて、該作業に要した時間のうち、キーワードを付すべ
き時間帯を特定する時間帯特定手段と、該時間帯特定手
段によって特定された該時間帯に対して、少なくとも１
つのキーワード候補を特定するキーワード候補特定手段
と、該少なくとも１つのキーワード候補の中から１つの
キーワード候補を所定のルールに従って選択し、該選択
されたキーワード候補を該時間帯に対応するキーワード
として決定するキーワード決定手段とを備えており、こ
れにより、上記目的が達成される。

【００１７】前記作業の時間的経過を表す前記情報は、
該作業中に発生した音声情報に含まれる有音部と無音部
とを識別する情報であり、前記時間帯特定手段は、該有
音部に対応する該時間帯のみをキーワードを付すべき時
間帯として特定してもよい。

【００１８】前記作業の時間的経過を表す前記情報は、
該作業に要した時間のうち、資料情報を表示するウイン
ドウが利用者により着目されていると推定される時間帯
を示す情報であり、前記時間帯特定手段は、該ウインド
ウが該利用者により着目されていると推定される該時間
帯のみをキーワードを付すべき時間帯として特定しても
よい。

【００１９】前記作業の時間的経過を表す前記情報は、
該作業に要した時間のうち、資料情報を表示するウイン
ドウに対して指示情報が発生した時間帯を示す情報であ
り、前記時間帯特定手段は、該ウインドウに対して該指
示情報が発生した該時間帯のみをキーワードを付すべき
時間帯として特定してもよい。

【００２０】前記作業の時間的経過を表す前記情報は、
該作業中に発生した音声情報に含まれる有音部と無音部
とを識別する情報と、該作業に要した時間のうち、資料
情報を表示するウインドウが利用者により着目されてい
ると推定される時間帯を示す情報と、該作業に要した時
間のうち、該ウインドウに対して指示情報が発生した時
間帯を示す情報のうちの少なくとも１つを含み、前記時
間帯特定手段は、該有音部に対応する該時間帯と該ウイ
ンドウが該利用者により着目されていると推定される該
時間帯と該ウインドウに対して該指示情報が発生した該
時間帯とのうち少なくとも１つに基づいて決定される時
間帯のみをキーワードを付すべき時間帯として特定して
もよい。

【００２１】前記キーワード候補特定手段は、前記作業
において、編集可能な文字情報を含む資料情報が使用さ
れる場合に、該作業に要した時間のうち第１時刻での該
資料情報における第１文字情報と該作業に要した時間の
うち第２時刻での該資料情報における第２文字情報との
間の差分を表す差分情報を記憶する差分情報記憶手段
と、該差分情報記憶手段に記憶された該差分情報から少
なくとも１つのキーワード候補を抽出する文書キーワー
ド抽出手段とを備えていてもよい。

【００２２】前記キーワード候補特定手段は、前記作業
において文字情報を含む資料情報が使用される場合に、
該作業中に利用者によって指示された文字情報の位置を
示す位置情報を記憶する位置情報記憶手段と、該位置情
報記憶手段に記憶された該位置情報に基づいて、該資料
情報から少なくとも１つのキーワード候補を抽出する指
示キーワード抽出手段とを備えていてもよい。

【００２３】前記キーワード候補特定手段は、前記作業
において資料情報が表題を記述するための部分を有する
ウインドウに表示される場合に、該表題を記憶する表題
記憶手段と、該表題記憶手段に記憶された該表題から少
なくとも１つのキーワード候補を抽出する表題キーワー
ド抽出手段とを備えていてもよい。

【００２４】前記キーワード候補特定手段は、前記作業
において資料情報が個人情報を記述するための部分を有
するウインドウに表示される場合に、該個人情報を記憶
する個人情報記憶手段と、該個人情報記憶手段に記憶さ
れた該個人情報から少なくとも１つのキーワード候補を
抽出する個人情報キーワード抽出手段とを備えていても
よい。

【００２５】前記キーワード候補特定手段は、前記作業
において生成される音声情報を認識して、該音声情報に
対応する文字情報を生成する音声認識手段と、該音声情
報に対応する該文字情報を記憶する音声認識情報記憶手
段と、音声認識情報記憶手段に記憶された該文字情報か
ら少なくとも１つのキーワード候補を抽出する音声キー
ワード抽出手段とを備えていてもよい。

【００２６】前記キーワード候補特定手段は、利用者に
よって入力された文字情報を受け取り、該受け取った文
字情報をキーワード候補とするキーワード候補入力手段
を備えていてもよい。

【００２７】前記所定のルールは、キーワードの出現比
率に関連する評価値に基づいてキーワードを決定するル
ールを含んでいてもよい。

【００２８】前記所定のルールは、競合区間に割り当て
られた複数のキーワードのうちいずれのキーワードを選
択すべきかを規定するルールを含んでいてもよい。

【００２９】本発明の他の作業状況管理装置は、作業の
時間的経過を表す情報を記憶する記憶手段と、利用者か
らの検索キーワードを入力するための検索キーワード入
力手段と、該入力された検索キーワードに基づいて、該
記憶手段に記憶された該作業の時間的経過を表す該情報
を検索する検索手段と、該入力された検索キーワードと
検索結果とを記憶する検索キーワード記憶手段と、該検
索結果に基づいて、該検索キーワードが適切か否かを評
価する検索キーワード評価手段とを備えており、これに
より、上記目的が達成される。

【００３０】前記検索キーワード評価手段は、少なくと
も前記検索キーワードが利用者により入力された回数
と、前記検索結果が利用者により採用された回数とに基
づいて、該検索キーワードを評価してもよい。

【００３１】本発明の他の作業状況管理装置は、第１映
像情報を複数の第１映像ブロックに分割し、第２映像情
報を複数の第２映像ブロックに分割する映像情報分割手
段と、ある時間帯に、該複数の第１映像ブロックのうち
の１つと該複数の第２映像ブロックのうちの１つとが存
在するか否かを判定し、該時間帯に該複数の第１映像ブ
ロックのうちの１つと該複数の第２映像ブロックのうち
の１つとが存在すると判定された場合には、所定のルー
ルに従って、該時間帯に存在する映像ブロックのうちの
いずれを優先的に選択するかを決定する映像ブロック評
価手段とを備えており、これにより、該第１映像情報と
該第２映像情報とを統合して１つの映像情報を生成す
る。これにより、上記目的を達成できる。

【００３２】前記所定のルールは、前記時間帯に存在す
る映像ブロックの時間的な先後関係に基づいて、選択す
べき映像ブロックを決定するルールを含んでいてもよ
い。

【００３３】前記所定のルールは、作業状況の変化に基
づいて、選択すべき映像ブロックを決定するルールを含
んでいてもよい。

【００３４】

【作用】本発明においては、会議参加者が作り出す様々
な情報を作業状況管理装置にて管理を行うとともに、利
用者が必要な情報（資料、コメント、会議の状況）を効
率的に取り出して作業できるよう、会話状況といった体
系的には取り扱いにくい動的な情報までも取り扱うこと
が可能である。

【００３５】

【実施例】以下、図面を参照しながら本発明を実施例に
ついて説明する。

【００３６】図１の（ａ）は、本発明の実施例の作業状
況管理装置１０の構成を示す。作業状況管理装置１０
は、作業に関連する情報を入力する入力部１１と、利用
者による作業状況を管理する作業状況管理部１３と、作
業状況を記憶する作業状況記憶部１４と、資料情報を記
憶する資料情報記憶部１５と、入力部１１と作業状況管
理部１３とを制御する端末制御部１２を備えている。典
型的には、「作業」とは、１人または複数人の利用者が
資料を提示してその資料を説明することをいう。特に、
本明細書では、複数人の利用者が共通の資料をリアルタ
イムに検討し、意見を交換しあう電子会議を典型的な作
業として想定している。しかし、本明細書にいう作業
は、そのような作業に限定されない。本明細書では、
「作業状況」とは、その作業がどのような経過で行われ
たかを示す時系列な情報の集合をいう。また、「資料情
報」とは、その作業において利用者により提示される資
料に関連する情報をいう。

【００３７】図１の（ｂ）は、利用者が資料を提示して
その資料を説明する場合の、典型的な作業風景を示した
ものである。利用者は、作業状況管理装置の前に座り、
資料を説明する。その資料を撮影するためのカメラ１８
（以下、このカメラを書画カメラという）と、その利用
者を撮影するためのカメラ１９（以下、このカメラを対
人カメラという）と、その利用者が発する音声を収録た
めのマイクロフォン２０が作業状況管理装置に接続され
る。書画カメラ１８、対人カメラ１９によって撮影され
た映像情報とマイクロフォン２０によって収録された音
声情報とは、作業状況管理装置の入力部１１を介して、
端末制御部１２に供給される。このようにして、利用者
がどのような表情で説明していたか、どのような資料を
どのような順番で提示していたかといった作業の経過を
示す情報が作業状況管理装置に入力されることとなる。
また、入力部１１として、キーボード、マウス、デジタ
イザ、タッチパネル、ライトペンを使用してもよい。

【００３８】上述したように、端末制御部１２には、種
々の入力装置が入力部１１として接続され得る。端末制
御部１２には、端末制御部１２に接続されている入力装
置を特定するための識別子が予め設定される。端末制御
部１２は、複数の入力装置から情報が入力された場合
に、予め設定された識別子に基づいて、どの入力装置か
らどの情報が入力されたかを識別する。例えば、対人カ
メラ１９によって撮影された映像情報が端末制御部１２
に供給された場合には、端末制御部１２は、対人カメラ
１９を特定する識別子とその映像情報との対を作業状況
管理部１３に出力する。

【００３９】作業状況管理部１３は、入力される情報に
対して所定の変化が発生したことを検出する。複数の情
報が作業状況管理部１３に入力される場合には、作業状
況管理部１３は、その複数の情報のそれぞれに対して所
定の変化が発生したことを検出する。その所定の変化
は、その複数の情報に共通する変化であってもよいし、
複数の情報に応じて互いに異なる変化であってもよい。
作業状況管理部１３は、入力された情報に対して所定の
変化が発生したことを検出すると、その所定の変化が発
生した時刻を示す情報とその所定の変化を特定する情報
とを作業状況として作業状況記憶部１４に記憶する。こ
のような情報を作業状況記憶部１４に記憶しておくこと
により、特定の情報に対する所定の変化を検索キーとし
て利用して、その作業における所望の箇所を検索するこ
とが可能となる。また、入力される音声情報や映像情報
そのものも作業状況として作業状況記憶部１４に記憶さ
れる。

【００４０】資料情報記憶部１５は、資料情報を記憶す
る。資料情報記憶部１５としては、磁気ディスク、ＶＴ
Ｒ、光ディスク等の装置が使用される。

【００４１】作業状況管理装置１０は、作業状況や資料
情報を出力する出力部１６と、他の装置とネットワーク
を介して接続するための伝送部１７とをさらに備えてい
てもよい。出力部１６としては、ディスプレイ、スピー
カー、プリンタ等の装置が使用される。伝送部１２とし
ては、ローカルエリアネットワーク（ＬＡＮ）、ケーブ
ルテレビ（ＣＡＴＶ）、モデム、デジタルＰＢＸ等の装
置が使用される。

【００４２】図２は、複数の端末装置２０にネットワー
クを介して接続された作業状況管理装置１０を示す。複
数の端末装置２０のそれぞれは、作業に関連する情報を
入力する入力部２１と、作業状況管理装置とネットワー
クを介して接続するための伝送部２２と、作業状況や資
料情報を出力する出力部２４と、入力部２１と伝送部２
２と出力部２４とを制御する端末制御部２３とを備えて
いる。端末装置２０の入力部２１から入力された情報
は、伝送部２２、伝送部１７を介して作業状況管理装置
１０の端末制御部１２に供給される。端末制御部１２に
は、ネットワークを介して端末制御部１２に接続されて
いる入力装置と端末制御部１２に直接接続されている入
力装置とを特定するための識別子が予め設定される。端
末制御部１２は、複数の入力装置から情報が入力された
場合に、予め設定された識別子に基づいて、どの入力装
置からどの情報が入力されたかを識別する。このように
して、複数の利用者によって使用される複数の端末装置
２０のそれぞれから作業の時間的経過を示す情報が作業
状況管理装置１０に収集される。端末装置２０の入力部
２１としては、キーボード、マウス、デジタイザ、タッ
チパネル、ライトペン、カメラ、マイク等の装置が使用
される。端末装置２０の出力部２４としては、ディスプ
レイ、スピーカー、プリンタ等の装置が使用される。端
末装置２０の伝送部２２としては、ローカルエリネット
ワーク（ＬＡＮ）、ケーブルテレビ（ＣＡＴＶ）、モデ
ム、デジタルＰＢＸ等の装置が使用される。

【００４３】図３は、作業状況管理部１３の構成例を示
す。作業状況管理部１３は、映像情報の変化を管理する
映像情報管理部３１と、音声情報の変化を管理する音声
情報管理部３２と、映像情報管理部３１と音声情報管理
部３２とを制御する作業状況制御部３３とを含む。本明
細書では、「映像情報」とは、作業の時間的経過を示す
情報のうち、映像に関連するものをすべて含む。例え
ば、カメラによって撮影された複数のフレームからなる
映像が映像情報に含まれることはもちろんのこと、カメ
ラ操作によって生じる制御信号も映像情報に含まれる。
本明細書では、「音声情報」とは、作業の時間的経過を
示す情報のうち、音声に関連するものをすべて含む。例
えば、マイクロフォンによって生成される音声信号は音
声情報に含まれる。

【００４４】入力部１１から入力された映像情報は、作
業状況制御部３３を介して、映像情報管理部３１に入力
される。映像情報管理部３１は、入力された映像情報に
対して所定の変化が発生したことを検出し、その所定の
変化が発生した時刻を示す情報とその所定の変化を特定
する情報とを生成する。

【００４５】入力部１１から入力された音声情報は、作
業状況制御部３３を介して、音声情報管理部３２に入力
される。映像情報管理部３１は、入力された音声情報に
対して所定の変化が発生したことを検出し、その所定の
変化が発生した時刻を示す情報とその所定の変化を特定
する情報とを生成する。

【００４６】図３に示す作業状況管理部１３は、作業状
況として管理すべき対象を映像情報と音声情報とに限定
している。その結果、作業状況管理部１３は、ウインド
ウを表示する表示装置やウインドウに対して指示する入
力装置を要しないので、小型化が容易であるという利点
がある。通常のＶＴＲ装置の機能を拡張することによ
り、通常のＶＴＲ装置とほぼ同等の大きさを有する作業
状況管理装置を実現することができるだろう。また、映
像情報の利用が可能となるため、会議参加者の表情や計
算機には取り込みにくい立体形状の資料の記録などが可
能となる。従って、特に、相手の表情を分析する必要が
ある駆け引きの強い会議や、計算機には取り込みにくい
立体形状の組立過程や操作過程を記憶する場合には、作
業状況管理部１３は、映像情報管理部３１を有している
ことが好ましい。

【００４７】図４は、作業状況管理部１３の他の構成例
を示す。作業状況管理部１３は、音声情報の変化を管理
する音声情報管理部３２と、ウインドウ情報の変化を管
理をするウインドウ情報管理部４３と、音声情報管理部
３２とウインドウ情報管理部４３とを制御する作業状況
制御部３３とを含む。本明細書では、「ウインドウ情
報」とは、ウインドウが有する資源を示す情報をいう。
例えば、ウインドウの数、ウインドウのサイズ、ウイン
ドウの位置は、ウインドウ情報に含まれる。利用者の操
作によりウインドウ情報が変化すると、そのウインドウ
情報の変化を示す制御信号が入力部１１を介して、ウイ
ンドウ情報管理部４３に入力される。利用者の操作によ
りウインドウ情報が変化したことは、端末制御部１２に
よって検出される。ウインドウ情報の検出を担当する端
末制御部１２の部分は、通常、ウインドウ管理部（不図
示）と呼ばれる。ウインドウ情報管理部４３は、入力さ
れた制御信号を受け取り、その制御信号を受け取った時
刻を示す情報とその制御信号を特定する情報とを生成す
る。ウインドウ情報管理部４３によって生成された情報
は作業状況制御部３３に送られ、作業状況制御部３３に
よって作業状況記憶部１４に記憶される。このようにし
て、利用者が作業している間のウインドウ情報の変化を
作業状況記憶部１４に記憶しておくことにより、利用者
が作業をしている間の利用者のウインドウ操作をキーと
して利用して、音声情報や映像情報を検索することが可
能となる。その結果、利用者は、作業の経過において要
所となる箇所を容易に振り返ることが可能となる。

【００４８】図４に示す作業状況管理部１３は、大量の
記憶容量を要する映像情報を作業状況記録部１４に記憶
しない。従って、作業状況記録部１４に記憶される情報
量を大幅に削減できるという利点がある。また、図４に
示す作業状況管理部１３の構成は、会議室などで同一場
所に利用者が集まる場合に会議の状況を記録する場合
や、音声情報を主として取り扱う通常の電話機の機能を
拡張することにより作業状況管理装置を実現する場合
に、適している。

【００４９】図５は、作業状況管理部１３の他の構成例
を示す。この構成は、図４に示す構成に、映像情報の変
化を管理する映像情報管理部３１を追加した構成であ
る。このような構成とすることにより、実空間における
映像情報・音声情報と計算機内の資源であるウインドウ
情報とを統合的に管理することができる。

【００５０】図６は、作業状況管理部１３の他の構成例
を示す。作業状況管理部１３は、音声情報の変化を管理
する音声情報管理部３２と、指示情報の変化を管理する
指示情報管理部５３と、音声情報管理部３２と指示情報
管理部５３とを制御する作業状況制御部３３とを含む。
本明細書では、「指示情報」とは、資料情報に対する指
示を示す情報をいう。例えば、マウスポインタの位置や
タッチパネルによって検出される座標位置は、指示情報
に含まれる。

【００５１】入力部１１から入力された指示情報は、作
業状況制御部３３を介して、指示情報管理部５３に入力
される。指示情報管理部５３は、入力された指示情報に
対して所定の変化が発生したことを検出し、その所定の
変化が発生した時刻を示す情報とその所定の変化を特定
する情報とを生成する。

【００５２】図６に示す作業状況管理部１３によれば、
指示情報の変化と音声情報の変化が同時に発生する箇所
を検出できるため、利用者が説明を行った資料の位置に
基づいて、会議状況の検索を行うことが容易となる。そ
の理由は、人がある事柄（資料）を説明しようとする場
合、音声を発生するのとほぼ同時に資料を指示すること
が多いからである。図６に示す作業状況管理部１３も、
図４に示す作業状況管理部１３と同様にして、大量の記
憶容量を要する映像情報を作業状況記録部１４に記憶し
ない。従って、作業状況記録部１４に記憶される情報量
を大幅に削減できるという利点がある。また、図６に示
す作業状況管理部１３の構成も、図４に示す作業状況管
理部１３の構成と同様にして、会議室などで同一場所に
利用者が集まる場合に会議の状況を記録する場合や、音
声情報を主として取り扱う通常の電話機の機能を拡張す
ることにより作業状況管理装置を実現する場合に、適し
ている。さらに、図６に示す作業状況管理部１３の構成
は、図４に示す作業状況管理部１３の構成に比較して、
ウインドウに対する操作が少ない作業に適している。例
えば、資料への書き込みがそれほど頻繁に起こらない報
告型の会議などである。

【００５３】図７は、作業状況管理部１３の他の構成例
を示す。この構成は、図６に示す構成に、映像情報の変
化を管理する映像情報管理部３１を追加した構成であ
る。このような構成とすることにより、実空間における
映像情報・音声情報と計算機内の資源である指示情報と
を統合的に管理することができる。

【００５４】図８は、作業状況管理部１３の他の構成例
を示す。この構成は、図３〜図７に示す構成を統合した
ものである。このような構成とすることにより、上述し
た各構成の長所を引き出すことができるという利点があ
る。

【００５５】図９は、映像情報管理部３１の構成を示
す。映像情報管理部３１は、カメラ操作を検出するカメ
ラ操作検出部９１と、映像シーンの変化を検出する映像
シーン変化検出部９２と、映像チャネルの変化を検出す
る映像チャネル変化検出部９３と、映像情報の変化に応
じてその変化が発生した時刻を示す情報とその変化を特
定する情報とを生成する映像情報生成部９４と、映像情
報管理制御部９５とを含む。

【００５６】カメラ操作検出部９１は、所定のカメラ操
作を検出する。カメラ操作を検出する理由は、カメラ操
作が発生した前後に、利用者にとって着目すべき情報が
発生したとみなせる場合が多いからである。端末制御部
１２に接続されているカメラが操作されると、そのカメ
ラ操作に応じて、カメラ操作信号が端末制御部１２に入
力される。カメラ操作は、被写体に対する映像の倍率を
変更するズーム操作と、被写体に焦点をあわせるフォー
カス操作と、カメラの位置を固定した状態で水平方向に
カメラの向きを変更するパン操作と、カメラの位置を固
定した状態で上下方向にカメラの向きを変更するチルト
操作とを含む。カメラ操作信号は、ズーム操作を示すズ
ーム操作信号と、フォーカス操作を示すフォーカス操作
信号とパン操作を示すパン操作信号とチルト操作を示す
チルト操作信号とを含む。端末制御部１２は、カメラ操
作信号がどのカメラから入力されたかを識別し、カメラ
の識別子とカメラ操作信号とを作業状況管理部１３に送
る。そのカメラの識別子とそのカメラ操作信号とは、作
業状況制御部３３と映像情報管理制御部９５とを介し
て、カメラ操作検出部９１に入力される。カメラ操作検
出部９１は、入力されたカメラ操作信号に所定の変化が
発生したか否かを判定する。例えば、カメラ操作信号が
操作量に比例したアナログ値で表される場合には、カメ
ラ操作信号が所定のレベルを越えた時、所定の変化が発
生したと判定する。その所定のレベルは０であってもよ
い。また、カメラ操作信号が０または１のデジタル値で
表される場合には、カメラ操作信号が０から１に変化し
た時、所定の変化が発生したと判定する。ここで、デジ
タル値０はカメラ操作がなされていない状態を示し、デ
ジタル値１はカメラ操作がなされている状態を示す。入
力されたカメラ操作信号に所定の変化が発生したと判定
された場合には、カメラ操作検出部９１は、その所定の
変化を示す検出信号を映像情報生成部９４に送る。映像
情報生成部９４は、カメラ操作検出部９１からの検出信
号に応じて、そのカメラ操作が発生した時刻を示す情報
とそのカメラ操作を特定する情報とを生成する。その所
定の変化が発生した時刻を示す情報は、年月日時分秒の
少なくとも１つを示す文字列である。「１２時１５分１
０秒」、「５／３１８：０３」は、その文字列の一例
である。あるいは、その所定の変化が発生した時刻を示
す情報は、文字列の代わりに、バイナリ形式のデータで
あってもよい。このような時刻を表す情報は、現在時刻
を管理するタイマー部（不図示）に現在時刻を問い合わ
せることにより生成される。

【００５７】次に、映像シーン変化検出部９２について
説明する。端末制御部１２に利用者の顔を撮影するため
の対人カメラと資料情報を撮影するための書画カメラと
が接続されていると仮定する。映像シーン変化検出部９
２の目的は、対人カメラの前に着席している利用者の動
きを検知すること、および書画カメラによって撮影され
る資料情報の動きまたは資料情報を指示する利用者の手
などの動きを検出することにある。対人カメラおよび書
画カメラによって撮影された映像は、作業状況制御部３
３および映像情報管理制御部９５を介して、映像シーン
変化検出部９２に入力される。映像シーン変化検出部９
２は、入力された映像のフレーム間の差分を算出し、そ
の差分が所定の値より大きいか否かを判定する。その差
分が所定の値より大きいと判定された場合に、映像シー
ン変化検出部９２は、映像シーンの変化が発生したとみ
なして、その変化を示す検出信号を映像情報生成部９４
に送る。映像情報生成部９４は、映像シーン変化検出部
９２からの検出信号に応じて、映像シーンの変化が発生
した時刻を示す情報と映像シーンの変化を特定する情報
とを生成する。

【００５８】資料情報に対する利用者の手の動きを検知
するセンサーが設けられている場合には、映像シーン変
化検出部９２は、映像のフレーム間の差分に基づいて映
像シーンの変化を検出する代わりに、そのセンサーから
の出力信号に応じて映像シーンの変化を検出してもよ
い。例えば、そのセンサーは、利用者の手が資料情報の
少なくとも一部を遮ったことを検知する。同様に、対人
カメラの前に着席している利用者の動きを検知するセン
サーが設けられている場合には、映像シーン変化検出部
９２は、映像のフレーム間の差分に基づいて映像シーン
の変化を検出する代わりに、そのセンサーからの出力信
号に応じて映像シーンの変化を検出してもよい。例え
ば、そのセンサーは、利用者が離席したことを検知す
る。そのセンサーは、所定の動きを検知したときのみ１
の値を有する出力信号を生成する。そのようなセンサー
としては、赤外線センサーや超音波センサーが使用され
得る。映像シーン変化検出部９２は、そのセンサーから
出力信号を受け取り、その出力信号の値が１であるか否
かを判定する。その出力信号の値が１であると判定され
た場合には、映像シーン変化検出部９２は、映像シーン
の変化が発生したとみなして、その変化を示す検出信号
を映像情報生成部９４に送る。映像情報生成部９４は、
映像シーン変化検出部９２からの検出信号に応じて、映
像シーンの変化が発生した時刻を示す情報と映像シーン
の変化を特定する情報とを生成する。

【００５９】次に、映像チャネル変化検出部９３につい
て説明する。端末制御部１２には４つのカメラ（第１カ
メラ〜第４カメラ）が接続されていると仮定する。それ
らのカメラは、ネットワークを介して端末制御部１２に
接続されているか、直接的に端末制御部１２に接続され
ているかを問わない。端末制御部１２は、カメラからの
入力をウインドウに割り当て、カメラからの入力とウイ
ンドウとの間の割り当て関係を管理する機能を有する。
例えば、端末制御部１２は、第１カメラからの入力を第
１ウインドウに割り当て、第２カメラからの入力を第２
ウインドウに割り当てる。本明細書では、「映像チャネ
ルの変化」とは、カメラからの入力とウインドウとの間
の割り当て関係を変更することをいう。例えば、上記の
割り当て関係を変更して、第３カメラからの入力を第１
ウインドウに割り当て、第４カメラからの入力を第２ウ
インドウに割り当てる場合、映像チャネルの変化が発生
したという。端末制御部１２は、利用者により入力され
た所定のコマンドに従って、または、プログラムからの
所定の制御命令に従って、カメラからの入力とウインド
ウとの間の割り当て関係を変更する。例えば、会議の司
会者が発言を求める会議参加者の顔を常に同一のウイン
ドウに表示することを望む場合には、会議の司会者は発
言者が変更する度に映像チャネルを切り替えるコマンド
を入力するかもしれない。あるいは、参加者の顔を均等
に同一ウインドウに表示するために、一定の時間間隔ご
とにプログラムが映像チャネルを自動的に切り替えるか
もしれない。映像チャネル変化検出部９３は、所定のコ
マンドまたはプログラムからの所定の制御命令を検出し
た場合に、映像チャネルの変化が発生したとみなして、
その変化を示す検出信号を映像情報生成部９４に送る。
映像情報生成部９４は、映像チャネル変化検出部９３か
らの検出信号に応じて、その映像チャネルの変化が発生
した時刻を示す情報とその映像チャネルの変化を特定す
る情報とを生成する。映像シーンの変化を検出すること
は、映像チャネルの利用目的（例えば、会議の参加者の
映像を流す映像チャネルなど）が明確である場合に特に
有効である。さらに、映像チャネル変化検出部９３によ
れば、撮影時にカメラ操作に関する情報が記憶されてい
ない場合でも、撮影された映像情報のみに基づいて、映
像シーンの変化を検出することが可能である。

【００６０】上述したように、カメラ操作検出部９１と
映像シーン変化検出部９２と映像チャネル変化検出部９
３の機能は、互いに独立である。従って、映像情報管理
部３１をカメラ操作検出部９１と映像シーン変化検出部
９２と映像チャネル変化検出部９３のうちの１つ、また
は、任意の２つを含むように構成することも可能であ
る。

【００６１】図１０は、音声情報管理部３２の構成を示
す。音声情報管理部３２は、マイクロフォンから入力さ
れる音声信号のパワーに基づいて、入力される音声信号
を有音部と無音部とに分割する音声情報分割部１０１
と、音声信号の無音部から有音部への変化に応じて、そ
の変化が発生した時刻を示す情報とその変化を特定する
情報とを生成する音声情報生成部１０２と、音声情報分
割部１０１と音声情報生成部１０２とを制御する音声情
報管理制御部１０３とを含む。

【００６２】音声情報分割部１０１は、入力される音声
信号のパワーを測定し、その測定結果に基づいて入力さ
れる音声信号を有音部と無音部とに分割する。音声信号
を有音部と無音部に分割する具体的な方法については図
３４を参照して後述する。音声情報分割部１０１は、こ
の音声分割に基づいて、音声信号の無音部から有音部へ
の変化と有音部が継続する音声ブロック数とを検出す
る。音声情報生成部１０２は、音声情報分割部１０１か
らの検出信号に応じて、音声信号が無音部から有音部に
変化した時刻を示す情報と有音部が継続する音声ブロッ
ク数を示す情報とを生成する。音声信号が無音部から有
音部に変化した時刻を示す情報と有音部が継続する音声
ブロック数を示す情報とは、作業状況記憶部１４に記憶
される。このように、音声信号が無音部から有音部に変
化した時刻と有音部が継続する音声ブロック数とを作業
状況記憶部１４に記憶しておくことにより、音声信号の
有音部に対応する時間帯に利用者により記録もしくは利
用された映像情報のみを再生することが可能となる。そ
の結果、利用者は作業の経過において要所となる箇所を
容易に振り返ることが可能となる。

【００６３】図１１は、ウインドウ情報管理部４３の構
成を説明する図である。ウインドウ情報管理部４３は、
ウインドウの生成・破壊を検出するウインドウ生成・破
壊検出部１１１と、ウインドウサイズの変化を検出する
ウインドウサイズ変化検出部１１２と、ウインドウの表
示位置の変化を検出するウインドウ表示位置変化検出部
１１３と、ウインドウに対するフォーカス（利用者間で
編集（話題）の対象となるウインドウの切り替え作業）
の変化を検出するウインドウフォーカス変化検出部１１
４と、ウインドウで表示すべき情報の表示領域の変化を
検出するウインドウ表示領域変化検出部１１５と、複数
のウインドウ間の重なり関係の変化を検出するウインド
ウ間の表示変化検出部１１６と、ウインドウ情報の変化
に応じて、その変化が発生した時刻を示す情報とその変
化を特定する情報とを生成するウインドウ情報生成部１
１７と、ウインドウ情報管理制御部１１８とを含む。

【００６４】ウインドウ生成・破壊検出部１１１は、ウ
インドウの生成またはウインドウの破壊を検出して、検
出信号をウインドウ情報生成部１１７に送る。その他の
検出部１１２〜１１６も、同様にして、所定の変化を検
出して、検出信号をウインドウ情報生成部１１７に送
る。ウインドウ情報生成部１１７は、検出信号を受け取
り、その検出信号に応じてその変化が発生した時刻を示
す情報とその変化を特定する情報とを生成する。

【００６５】図１２は、指示情報管理部５３の構成を示
す。指示情報管理部５３は、指示情報の変化を検出する
指示情報検出部１２１と、指示情報の変化に応じて、そ
の変化が発生した時刻を示す情報とその変化を特定する
情報とを生成する指示情報生成部１２２と、指示情報管
理制御部１２３とを含む。

【００６６】マウスポインタによる指示を例にとり、指
示情報管理部５３の動作を説明する。利用者によってマ
ウスのボタンが押下されると、マウスのボタン押下を示
す信号とマウスポインタの座標位置を示す信号が指示情
報検出部１２１に入力される。指示情報検出部１２１
は、マウスポインタの座標位置の所定の変化を検出し、
その所定の変化を示す検出信号を生成する。例えば、そ
の所定の変化は、マウスポインタがウインドウ上のある
位置から他の位置に移動することである。あるいは、そ
の所定の変化は、マウスポインタがウインドウ上のある
領域内からその領域外へ移動することであってもよい。
あるいは、その所定の変化は、マウスのボタンがダブル
クリックされたことであってもよいし、マウスがドラッ
ギングされていることであってもよい。指示情報生成部
１２２は、指示情報検出部１２１からの検出信号に応じ
て、その変化が発生した時刻を示す情報とその変化を特
定する情報とを生成する。

【００６７】図１３は、音声情報生成部１０２によって
生成され、作業状況制御部３３によって作業状況記憶部
１４に記憶される情報の例を示す。この例では、音声情
報の変化が発生した時刻を示す情報として、有音部の開
始時刻が記憶されている。また、音声情報の変化を特定
する情報として、音声ブロックの識別子、音声を発した
利用者、有音部の音声ブロック長が記憶されている。音
声を発した利用者は、入力装置の識別子と利用者との対
応関係に基づいて特定される。この対応関係は予め設定
される。例えば、図１３の第１行は、「山口さん」の端
末装置に接続されているマイクロフォンから入力された
音声情報において、「１２時１５分１０秒」から「１５
ブロック長（秒）」だけ有音部が続いたという作業状況
を示す。

【００６８】図１４は、映像情報生成部９４によって生
成され、作業状況制御部３３によって作業状況記憶部１
４に記憶される情報の例を示す。この例では、映像情報
の変化が発生した時刻を示す情報として、事象の発生時
刻が記憶されている。また、映像情報の変化を特定する
情報として、発生事象、事象発生者、発生位置が記憶さ
れている。本明細書では、「事象」とは、所定の変化と
同義であると定義する。発生事象は、映像シーンの変化
を含む。事象発生者および発生位置は、入力装置の識別
子と利用者と入力装置の用途との対応関係に基づいて特
定される。この対応関係は予め設定される。例えば、図
１４の第１行は、「山口さん」の端末装置に接続されて
いる「書画カメラ」から入力される映像情報において、
「５／３１８：０３」に「映像シーンの変化」という事
象が発生したという作業状況を示す。

【００６９】なお、映像情報の変化を検出するための方
法としては、資料を提示するための書画カメラに手の動
きを検出するための赤外線センサーを付加する方法や、
利用者の表情を撮影するための対人カメラに利用者の在
席状況を調べるための超音波センサーを付加する方法が
ある。これらの方法により、映像情報の変化を検出する
ことができる。このように、各種センサーを目的に合わ
せて利用することにより、利用者の動き情報が得られ
る。また、カメラで得られる映像情報のフレーム間の差
分情報を利用することにより、動き情報を得ることも可
能である。詳細については、以下の図２７を参照して後
述する。

【００７０】図１５は、映像情報生成部９４によって生
成され、作業状況制御部３３によって作業状況記憶部１
４に記憶される情報の他の例を示す。この例では、発生
事象は、図１４で説明した映像シーンの変化に加えて、
カメラ操作の変化および映像チャネルの変化をも含む。
例えば、図１５の第１行は、「山口さん」の端末装置に
接続されている「書画カメラ」から入力される映像情報
において、「５／３１８：０３」に「ズーム拡大」とい
う事象が発生したという作業状況を示す。

【００７１】図１６は、ウインドウ情報生成部１１７お
よび指示情報生成部１２２によって生成され、作業状況
制御部３３によって作業状況記憶部１４に記憶される情
報の例を示す。この例では、ウインドウ情報または指示
情報の変化が発生した時刻を示す情報として、事象の発
生時刻が記憶されている。また、ウインドウ情報または
指示情報の変化を特定する情報として、発生事象、事象
発生者、発生位置が記憶されている。事象発生者および
発生位置は、入力装置の識別子と利用者と入力装置の用
途との対応関係に基づいて特定される。この対応関係は
予め設定される。例えば、図１５の第１行は、「山口さ
ん」の端末装置のウインドウに表示されている「資料番
号１番」の資料の「第１章」において「５／３１８：
０３」に「マウスポインタによる指示」という事象が発
生したという作業状況を示す。ウインドウに対する操作
は、論理的なページ、章、節を基本単位としてもよい。
更に、ウインドウが個人的なメモを記述するための個人
メモ記述部を有している場合には、個人メモ記述部の内
容の変化に着目してもよい。このように、作業状況を作
業状況記憶部１４に記憶しておくことにより、利用者が
作業中の記憶をもとに、作業中に撮影した映像情報や音
声情報を検索することが可能となる。

【００７２】図１７〜図２０を参照して、ネットワーク
で相互接続された複数の端末装置を利用して、複数の利
用者で電子会議を行う場合に、作業状況管理部１３によ
り管理されることが好ましい所定の変化を例示する。

【００７３】図１７を参照して、ウインドウ情報の変化
を検出することにより、利用者が着目しているウインド
ウを決定する方法を説明する。以下、利用者が着目して
いると作業状況管理部１３により推定されるウインドウ
を着目ウインドウという。ウインドウ情報の変化として
ウインドウサイズの変更を例にとり、その方法を説明す
る。ウインドウは、ウインドウサイズを変更するための
ウインドウサイズ変更部を有しているものと仮定する。
公知のウインドウシステムでは、ウインドウサイズ変更
部はウインドウの周辺部分に設けられていることが多
い。通常、利用者は、ウインドウサイズ変更部をマウス
で指示したまま、そのマウスをドラッギングすることに
より、そのウインドウのサイズを変更する。作業状況管
理部１３は、ウインドウサイズの変化を検出し、サイズ
が変更されたウインドウを着目ウインドウであると決定
する。作業状況管理部１３は、どのウインドウが着目ウ
インドウであるかを示す情報を時系列に作業状況記憶部
１４に記憶する。なお、複数のウインドウに対してウイ
ンドウサイズの変更が行われ得る場合には、作業状況管
理部１３は、最も最近にサイズが変更されたウインドウ
を着目ウインドウである決定してもよい。あるいは、作
業状況管理部１３は、所定のサイズより大きいサイズを
有するウインドウを着目ウインドウであると決定しても
よい。また、ウインドウが着目されている時間間隔が所
定の時間間隔より短い場合に、利用者が資料を検索して
いると判断して、そのウインドウは着目されていないと
決定してもよい。そのようなウインドウは、利用者の主
たる話題の対象ではないと推定されるからである。同様
にして、ウインドウサイズの変更以外のウインドウ情報
の変化（例えば、ウインドウフォーカスの変化やウイン
ドウ間の表示変化）を利用して、着目ウインドウを決定
することも可能である。

【００７４】図１８を参照して、ウインドウの所有者情
報を利用して利用者が着目しているウインドウを決定す
る方法を説明する。ディスプレイに表示される編集領域
は、図１８に示されるように、複数の利用者により編集
可能な共同編集領域１８１と１人の利用者によりのみ編
集可能な個人編集領域１８２とを含み、共同編集領域１
８１の位置と個人編集領域１８２の位置とは予め設定さ
れていると仮定する。作業状況管理部１３は、利用者の
操作によりウインドウの位置が個人情報編集領域１８２
から共同情報編集領域１８１へと移動したことを検出
し、その移動したウインドウを着目ウインドウであると
決定する。作業状況管理部１３は、どのウインドウが着
目ウインドウであるかを示す情報とともに、着目ウイン
ドウが共同編集領域１８１および個人編集領域１８２の
うちいずれの領域に位置するかを示す情報を時系列に作
業状況記憶部１４に記憶する。

【００７５】図１９を参照して、ウインドウ表示領域の
変化を検出することにより、利用者の着目している情報
を決定する方法を説明する。ウインドウは、表示内容を
スクロールするためのウインドウ表示領域変更部１９１
を有するものと仮定する。公知のウインドウシステムに
おいては、ウインドウ表示領域変更部１９１は、スクロ
ール・バー形式のユーザインタフェースを有することが
多い。しかし、ウインドウ表示領域変更部１９１は、押
しボタン形式などの他のユーザインタフェースを有して
いてもよい。利用者がウインドウ表示領域変更部１９１
を操作すると、ウインドウの表示内容がスクロールされ
る。作業状況管理部１３は、ウインドウ表示領域が変化
したことを検出する。作業状況管理部１３は、ウインド
ウ表示領域が変化した後、所定のレベル以上の音声信号
が所定の時間以上（例えば、１秒間以上）継続するか否
かを判定する。このような判定が有効な理由は、人は資
料を他人に説明する場合に、資料の特定の位置を指示し
て説明の対象をあきらかにした後、音声（言葉）を用い
て他人に自分の意図を伝えようとすることが多いからで
ある。ウインドウ表示領域が変化した後、所定のレベル
以上の音声信号が所定の時間以上継続したと判定された
場合には、作業状況管理部１３は、利用者が着目してい
る資料情報の時間的、位置的情報（例えば、文書名や項
目名等）を作業状況記憶部１４に記憶する。また、作業
状況管理部１３は、ウインドウ表示領域が変化した後、
資料情報に対する指示が発生したことを検出し、その指
示の時間的、位置的情報を利用者の着目地点を示す情報
として作業状況記憶部１４に記憶してもよい。更に、上
述した２つの検出方法を組み合わせて、作業状況管理部
１３が利用者が発する音声を所定の時間以上検出し、且
つ、資料情報に対する指示が発生したことを検出した場
合に、利用者が着目している資料情報の時間的、位置的
情報を作業状況記憶部１４に記憶してもよい。

【００７６】図２０および図２１を参照して、映像情報
に対する利用者の着目地点を検出する方法を説明する。
図２１に示すように、端末装置には資料情報を撮影する
ための書画カメラが接続されていると仮定する。作業状
況管理部１３は、利用者によって所定のカメラ操作がな
された後に、利用者により音声情報が生成されたことを
検出する。その所定のカメラ操作とは、例えば、映像ソ
ースが複数存在する場合の映像チャンネルの切り替え、
カメラのズーム操作、ＶＴＲ機器などの記録装置の操作
などである。このような検出が有効である理由は、所定
のカメラ操作をした後に、利用者が何かを意図的に説明
しようとして音声を発することが多いからである。作業
状況管理部１３は、そのようなタイミングでの音声情報
の発生は利用者の着目地点を示すと判断して、利用者の
着目地点を示す時間的、位置的情報（例えば、映像情報
のどの位置を、いつ指示したかを示す情報）を作業状況
記憶部１４に記憶する。

【００７７】図２０は、電子会議中に、ある利用者が書
画カメラを利用して「回路基盤」を図示した資料を映し
出し、他の参加者が「回路基盤」の映像に自分が手で指
示している映像をオーバーレイ（重ね合わせ）させてい
るところを示す。ここで、音声情報の会話状態（例え
ば、誰が、いつ、有音部とみなせる情報を発したか）を
利用者毎に記憶しておくことにより、誰が、いつ、着目
すべき発言を行ったかを容易に検索することができる。
作業状況管理部１３は、利用者によってカメラ操作がな
された後に、資料情報に対する指示が発生したことを検
出する。作業状況管理部１３は、そのようなタイミング
での資料情報に対する指示は利用者の着目地点を示すと
判断して、その指示の時間的、位置的情報を作業状況記
憶部１４に記憶する。資料情報に対する指示を検出する
方法としては、例えば、マウスポインタによる指示を検
出する方法や、図２７に示すように、資料情報を手など
で指示したことを書画カメラに設けられた赤外線センサ
ーなどにより検出する方法がある。なお、書画カメラに
よって撮影された映像情報を利用して資料情報に対する
指示を検出する方法としては、映像情報におけるフレー
ム間の差分を利用してもよい。あるいは、作業状況管理
部１３は、利用者によってカメラ操作がなされた後に、
利用者が発する音声情報を検出し、且つ、資料情報に対
する指示が発生したことを検出した場合に、その指示の
時間的、位置的情報を利用者の着目地点を示す情報とし
て作業状況記憶部１４に記憶してもよい。このような検
出が有効な理由は、人は資料を他人に説明する場合に、
資料の特定の位置を指示して説明の対象をあきらかにし
た後、音声（言葉）を用いて他人に自分の意図を伝えよ
うとすることが多いからである。特に、図２０に示した
ように、映像を見ながら複数の利用者の間でその映像に
ついて議論をする場合には、音声の発生時間（音声の有
音部となる区間）や映像に対する指示を利用者毎に記憶
することが有効である。その理由は、利用者が映像に着
目したと推定される時点が利用者毎に分かるため資料情
報の検索・編集が容易になるからである。さらに、利用
者が着目していると推定される時点の映像情報や音声情
報のみを記録もしくは出力することにより、利用者に提
示する情報量の低減や記憶容量の低減を図ることができ
る。

【００７８】次に、作業状況記憶部１４に記憶された作
業状況を利用して、映像情報もしくは音声情報にキーワ
ードを付加するキーワード管理部２２０を有する作業状
況管理装置を説明する。本明細書では、「映像情報もし
くは音声情報にキーワードを付加する」とは、時間帯ｔ
に対してその時間帯ｔに対応するキーワードを決定する
ことをいう。例えば、キーワード管理部２２０は、時間
帯ｔ₁に対してキーワード「Ａ」、時間帯ｔ₂に対してキ
ーワード「Ｂ」、時間帯ｔ₃に対してキーワード「Ｃ」
を割り当てる。映像情報もしくは音声情報は時刻ｔの関
数によって表されるので、キーワードを検索キーとして
利用して、映像情報もしくは音声情報の所望の箇所を検
索することが可能になる。

【００７９】図２２は、キーワード管理部２２０の構成
を示す。キーワード管理部２２０は、作業状況記憶部１
４から作業の時間的経過を示す情報を入力し、キーワー
ド記憶部２２４に時間帯ｔとその時間帯ｔに対応するキ
ーワードＫ（ｔ）の組（ｔ，Ｋ（ｔ））を出力する。キ
ーワード管理部２２０は、作業状況記憶部１４から作業
の時間的経過を示す情報を読み出し、その情報に基づい
て、作業に要した時間のうち、キーワードを付すべき時
間帯を特定する時間帯特定部２２１と、時間帯特定部２
２１によって特定された時間帯に対して、少なくとも１
つのキーワード候補を特定するキーワード候補特定部２
２２と、キーワード候補の中から１つのキーワード候補
を所定のルールに従って選択し、選択されたキーワード
候補をその時間帯に対応するキーワードとして決定する
キーワード決定部２２３とを有している。時間帯とその
時間帯に対応するキーワードとは、キーワード記憶部２
２４に記憶される。

【００８０】上述したように、キーワード管理部２２０
によって映像情報もしくは音声情報にキーワードを付加
するためには、作業の時間的経過を示す情報が作業状況
記憶部１４に予め記憶されている必要がある。作業の時
間的経過を示す情報は、作業状況管理部１３によって生
成され、作業状況記憶部１４に記憶される。以下、どの
ような情報を作業状況記憶部１４に記憶しておくべきか
を説明する。

【００８１】図２３の（ａ）は、文書を編集する作業の
流れを示したものである。例えば、文書Ａに対して変
更、挿入、削除などの編集作業が行なわれ、その結果文
書Ａ’が作成される。作業状況管理部１３は、編集前の
文書Ａと編集後の文書Ａ’との間の差分を生成し、その
差分が発生した時刻を示す情報とその差分を特定する情
報を作業状況記憶部１４に出力する。差分を特定する情
報は、例えば、差分文字列を格納するファイルの名称で
ある。作業状況管理部１３は、その差分を特定する情報
の代わりに編集後の文書Ａ’を特定する情報を作業状況
記憶部１４に出力してもよい。差分が存在しない場合も
あり得るからである。編集前の文書Ａと編集後の文書
Ａ’との間の差分を取得するタイミングは、一定時間ご
とであってもよいし、ウインドウがオープンされた時ま
たはウインドウがクローズされた時であってもよい。

【００８２】図２３の（ｂ）は、図２３の（ａ）に示す
作業を行った場合に、作業状況管理部１３により作業状
況記憶部１４に記憶される情報の例を示す。この例で
は、文書が編集された時間帯と、編集前の文書名と、編
集後の文書名と、差分とが記憶されている。

【００８３】図２４の（ａ）は、作業において、利用者
により資料情報の一部が指示されている場面を示す。利
用者は、マウスポインタやタッチパネルなどを用いて資
料情報を指示することにより、資料情報の範囲を指定す
る。図２４の（ａ）では、利用者により指定された範囲
が反転表示されている。作業状況管理部１３は、利用者
により指定された範囲を検出し、利用者による指示が発
生した時刻を示す情報と利用者により指定された範囲を
特定する情報とを作業状況記憶部１４に出力する。

【００８４】図２４の（ｂ）は、図２４の（ａ）に示す
指示が発生した場合に、作業状況管理部１３により作業
状況記憶部１４に記憶される情報の例を示す。この例で
は、指示をした人物名と、指示が発生した時間帯と、そ
の指示により指定された範囲とが記憶されている。

【００８５】図２５の（ａ）は、作業において、資料情
報がウインドウに表示されている場面を示す。そのウイ
ンドウは資料情報の表題を記述するための表題記述部２
５０１を有している。表題としては、例えば、章、節、
項の名称や番号が記述される。作業状況管理部１３は、
利用者により着目されているウインドウを検出し、着目
ウインドウを検出した時刻を示す情報とそのウインドウ
の表題記述部２５０１に記述されている情報とを作業状
況記憶部１４に出力する。さらに、ウインドウは、利用
者の個人的なメモを記述するための個人情報記述部２５
０２を有していてもよい。作業状況管理部１３は、利用
者により着目されているウインドウを検出し、着目ウイ
ンドウを検出した時刻を示す情報とそのウインドウの個
人情報記述部２５０２に記述されている情報とを作業状
況記憶部１４に出力する。

【００８６】図２５の（ｂ）は、作業状況管理部１３に
より作業状況記憶部１４に記憶される情報の例を示す。
この例では、表題と、対象者と、そのウインドウが着目
されていた時間帯と、個人メモとが記憶されている。

【００８７】図２６の（ａ）は、音声キーワード検出部
２６０１の構成を示す。音声キーワード検出部２６０１
は作業状況管理部１３に含まれる。音声キーワード検出
部２６０１は、入力部１１から入力される音声情報に含
まれる所定の音声キーワードを検出して、所定の音声キ
ーワードを検出した時刻を示す情報と検出された音声キ
ーワードを示す情報とを作業状況記憶部１４に出力す
る。音声キーワード検出部２６０１は、音声認識部２６
０２と、音声キーワード抽出部２６０３と、音声キーワ
ード辞書２６０４と、音声処理制御部２６０５とを有し
ている。音声認識部２６０２は、入力部１１から音声情
報を受け取り、その音声情報をその音声情報に対応する
文字列に変換する。音声キーワード抽出部２６０３は、
音声認識部２６０２から音声情報に対応する文字列を受
け取り、音声キーワード辞書２６０４を検索することに
より、音声情報に対応する文字列から音声キーワードを
抽出する。音声キーワード辞書２６０４には、抽出すべ
き音声キーワードが予め格納される。例えば、音声キー
ワード辞書２６０４に「ソフトウェア」という音声キー
ワードが予め格納されていると仮定する。音声認識部２
６０２に「このソフトウェアの特徴は高速に動作するこ
とである」という音声情報が入力されると、音声認識部
２６０２は、「このソフトウェアの特徴は高速に動作す
ることである」という文字列を生成する。音声キーワー
ド抽出部２６０３は、「このソフトウェアの特徴は高速
に動作することである」という文字列を受け取り、受け
取った文字列から音声キーワード辞書２６０４に格納さ
れている音声キーワードである「ソフトウェア」に一致
する文字列を抽出する。音声処理制御部２６０５は、上
述の処理を制御する。

【００８８】図２６の（ｂ）は、作業状況管理部１３に
より作業状況記憶部１４に記憶される情報の例を示す。
この例では、発話した人物名と、発話が行われた時間帯
と、発話内容から抽出された音声キーワードとが記憶さ
れている。

【００８９】図２７は、図２２に示すキーワード管理部
２２０が行う音声情報もしくは映像情報へのキーワード
付加処理の流れを示す。時間帯特定部２２１は、映像情
報もしくは音声情報の評価対象区間（時間帯）を特定す
る（ステップＳ２７０１）。評価対象区間（時間帯）の
指定方法は、図２８の（ａ）〜（ｃ）を参照して後述さ
れる。キーワード候補特定部２２２は、後述する各キー
ワード抽出処理部の処理結果に基づいて、少なくとも１
つのキーワード候補を特定する（ステップＳ２７０
２）。キーワード候補の中から１つを採用するために、
キーワード決定部２２３は、後述するキーワードの決定
ルールの中から決定ルールを選択する（ステップＳ２７
０３）。キーワード決定部２２３は、選択された決定ル
ールに基づき、評価対象区間（時間帯）に対応するキー
ワードを決定する（ステップＳ２７０４）。

【００９０】図２８の（ａ）〜（ｃ）を参照して、映像
情報もしくは音声情報の評価対象区間（時間帯）を特定
する方法を説明する。その方法は主として３つある。１
つ目は、キーワードを付すべき範囲を音声情報の有音部
に限定する方法である。２つ目は、キーワードを付すべ
き範囲を利用者がウインドウに着目している区間に限定
する方法である。利用者が特定のウインドウに着目して
いることを検出する方法については、図１７〜図２１を
参照して既に説明した。３つ目は、キーワードを付すべ
き範囲を、指示情報が発生した区間に限定する方法であ
る。指示情報としては、上述したように、マウスポイン
タによる指示や資料情報への指による指示などが挙げら
れる。これらの対象範囲の指定方法を組み合わせる方法
が、図２８の（ａ）〜（ｃ）に示されている。

【００９１】図２８の（ａ）は、ウインドウ情報と音声
情報とに基づいて、キーワードを付すべき範囲を限定す
る方法である。時間帯特定部２２１は、キーワードを付
すべき範囲を音声情報の有音部と利用者がウインドウに
着目している時間帯との重複部分に限定する。図２８の
（ａ）に示す例では、音声情報の有音部と利用者がウイ
ンドウに着目している時間帯との重複部分として時間帯
Ｔ₁、Ｔ₂が時間帯特定部２２１により特定される。

【００９２】図２８の（ｂ）は、ウインドウ情報と指示
情報とに基づいて、キーワードを付すべき範囲を限定す
る方法である。時間帯特定部２２１は、キーワードを付
すべき範囲を利用者がウインドウに着目している時間帯
と指示情報が発生した時間帯との重複部分に限定する。
図２８の（ｂ）に示す例では、利用者がウインドウに着
目している時間帯と指示情報が発生した時間帯との重複
部分として時間帯Ｔ₁、Ｔ₂、Ｔ₃が時間帯特定部２２１
により特定される。

【００９３】図２８の（ｃ）は、指示情報と音声情報と
に基づいて、キーワードを付すべき範囲を限定する方法
である。時間帯特定部２２１は、キーワードを付すべき
範囲を指示情報が発生した時間帯と音声情報の有音部と
の重複部分に限定する。図２８の（ｃ）に示す例では、
指示情報が発生した時間帯と音声情報の有音部との重複
部分として時間帯Ｔ₁、Ｔ₂、Ｔ₃が時間帯特定部２２１
により特定される。

【００９４】上記の時間帯Ｔ₁、Ｔ₂、Ｔ₃には、互いに
異なるキーワードが付加されてもよいし、同一のキーワ
ードが付加されてもよい。例えば、図２８の（ａ）〜
（ｃ）に示す例では、時間帯Ｔ₁、Ｔ₂、Ｔ₃に同一のキ
ーワード「回路基板」が付加される。このように、異な
る時間帯に同一のキーワードを付加することにより、時
間帯の異なる映像情報を、同一キーワードを有する論理
的な１つのグループである映像ブロックとして扱うこと
が可能となる。同様にして、異なる時間帯に同一のキー
ワードを付加することにより、時間帯の異なる音声情報
を、同一キーワードを有する論理的な１つのグループで
ある音声ブロックとして扱うことが可能となる。その結
果、映像情報および音声情報を論理的な情報単位で取り
扱うことが容易になる。

【００９５】図２９は、図２２に示すキーワード候補特
定部２２２の構成を示す。キーワード候補特定部２２２
は、編集前の文書と編集後の文書との間の差分に基づい
てキーワード候補を抽出する文書キーワード抽出部２９
０１と、指示情報に基づいてキーワード候補を抽出する
指示キーワード抽出部２９０２と、個人情報記述部２５
０２に記述されるメモの内容に基づいてキーワード候補
を抽出する個人キーワード抽出部２９０３と、表題記述
部２５０１に記述される表題の内容に基づいてキーワー
ド候補を抽出する表題キーワード抽出部２９０４と、音
声情報に基づいてキーワード候補を抽出する音声キーワ
ード抽出部２９０５と、利用者からキーワード候補を入
力するためのキーワード入力部２９０６と、キーワード
制御部２９０７とを有している。

【００９６】次に、キーワード候補特定部２２２の動作
を説明する。時間帯特定部２２１によって特定された時
間帯Ｔは、キーワード制御部２９０７に入力される。キ
ーワード制御部２９０７は、その時間帯Ｔを抽出部２９
０１〜２９０５のそれぞれと、キーワード入力部２９０
６とに送る。抽出部２９０１〜２９０５のそれぞれは、
時間帯Ｔに対して付加すべきキーワード候補を抽出し
て、抽出されたキーワード候補をキーワード制御部２９
０７に送り返す。利用者により入力されたキーワード候
補もまたキーワード制御部２９０７に送られる。このよ
うにして、キーワード制御部２９０７には、時間帯Ｔに
対して少なくとも１つのキーワード候補が収集される。
時間帯Ｔに対して収集された少なくとも１つのキーワー
ド候補は、キーワード決定部２２３に送られる。

【００９７】例えば、「１０時００分から１０時０１
分」の時間帯がキーワード候補特定部２２２に入力され
たと仮定する。文書キーワード抽出部２９０１は、作業
状況記憶部１４に記憶されている図２３の（ｂ）に示す
テーブルを検索する。その結果、「１０時００分から１
０時０１分」の時間帯を含む「１０時００分から１０時
０３分」（１０：００―＞１０：０３）の時間帯がヒッ
トする。文書キーワード抽出部２９０１は、ヒットされ
た時間帯に編集された文書の差分からキーワード候補を
抽出する。文書の差分からキーワード候補を抽出する方
法としては、例えば、文書の差分に含まれる文字列のう
ち名詞に相当する文字列のみをキーワード候補とする方
法がある。文字列が名詞に相当するか否かを判定するに
は、ワードプロセッサなどで利用する「かな漢字変換辞
書」を利用すればよい。

【００９８】指示キーワード抽出部２９０２は、作業状
況記憶部１４に記憶されている図２４の（ｂ）に示すテ
ーブルを検索する。その結果、「１０時００分から１０
時０１分」の時間帯に一致する「１０時００分から１０
時０１分」（１０：００―＞１０：０１）の時間帯がヒ
ットする。指示キーワード抽出部２９０２は、ヒットさ
れた時間帯の指定範囲に含まれる文字列からキーワード
候補を抽出する。

【００９９】同様にして、個人キーワード抽出部２９０
３と表題キーワード抽出部２９０４とは、作業状況記憶
部１４に記憶されている図２５の（ｂ）に示すテーブル
を検索する。音声キーワード抽出部２９０５は、作業状
況記憶部１４に記憶されている図２６の（ｂ）に示すテ
ーブルを検索する。

【０１００】次に、キーワード決定部２２３の動作を説
明する。キーワード決定部２２３は、キーワード候補特
定部２２２から少なくとも１つのキーワード候補を受け
取り、所定のキーワード決定ルールに従って、受け取っ
たキーワード候補のうちの１つを選択する。

【０１０１】図３０は、キーワード決定ルールの例であ
る。ルール１〜４は、いずれの抽出部から抽出されたキ
ーワード候補を優先的に選択すべきかを定めている。ル
ール５は、キーワード評価値に基づいて、複数の抽出部
から抽出されたキーワード候補のいずれを選択すべきか
を定めている。

【０１０２】次に、図３１に定義されるキーワード評価
値に基づいて、複数のキーワード候補のうち１つのキー
ワード候補を選択する方法を説明する。その方法は、キ
ーワード抽出部の評価や、評価区間の違いを考慮するか
否かで、以下の４つに分類される。（１）キーワード評
価値に基づいてキーワード候補を選択する方法：キーワ
ード評価値は、１つのキーワード抽出部から複数のキー
ワード候補が抽出された場合に、その複数のキーワード
候補のうちの１つを選択するために使用される。キーワ
ード評価値とは、キーワード抽出部での出現回数を、キ
ーワード抽出部で得られたキーワード候補の数によって
割ることにより得られるキーワード出現比率の値であ
る。（２）キーワード総合評価値に基づいてキーワード
候補を選択する方法：キーワード総合評価値は、複数の
キーワード抽出部の評価結果を考慮したものである。キ
ーワード総合評価値は、キーワード評価値と利用者によ
り予め定義されたキーワード抽出部に対する評価値との
積をキーワード抽出部毎に求め、それらの積の総和を求
めることにより得られる。（３）キーワード重要度に基
づいてキーワード候補を選択する方法：キーワード重要
度は、１つのキーワード抽出部から得られる同一名のキ
ーワードを総合的に評価するものである。キーワード重
要度は、キーワード評価値を映像ブロックもしくは音声
ブロックの時間長であるキーワード出現時間で割ること
によって得られる単位時間キーワード評価値を映像ブロ
ック（音声ブロック）毎に求め、当該キーワードが出現
するすべての映像ブロック（音声ブロック）に対して単
位時間キーワード評価値の総和を求めることにより得ら
れる。（４）キーワード総合重要度に基づいてキーワー
ド候補を選択する方法：キーワード総合重要度は、複数
のキーワード抽出部の評価結果を考慮したものである。
キーワード総合重要度は、キーワード重要度と利用者に
より予め定義されたキーワード抽出部に対する評価値と
の積をキーワード抽出部毎に求め、それらの積の総和を
求めることにより得られる。

【０１０３】図３２を参照して、キーワード評価値およ
びキーワード重要値に基づいて、キーワードを決定する
方法の手順を具体例に即して説明する。まず、（１）キ
ーワードを付すべき評価対象区間（時間帯）毎にキーワ
ード評価値を求める。（２）キーワード評価値に基づい
て、キーワードを決定する。図３２の例では、評価対象
区間（時間帯）Ｔ₁のキーワード評価値は、キーワード
毎にそれぞれ、「回路基盤」が0.5、「回路図面」が0.
4、「安全性」が0.1となっている。その結果、キーワー
ド評価値の一番高いものを優先するならば、評価対象区
間（時間帯）Ｔ ₁のキーワードは「回路基盤」に決定さ
れる。同様にして、評価対象区間（時間帯）Ｔ₂のキー
ワードは「回路図面」に決定され、評価対象区間（時間
帯）Ｔ₃のキーワードは「安全性」に決定され、評価対
象区間（時間帯）Ｔ₄のキーワードは「回路基盤」に決
定される。（３）複数の評価対象区間（時間帯）に同一
のキーワードが付加される場合も考えられる。この場合
には、その複数の評価対象区間（時間帯）にまたがって
キーワードの評価を行うために、キーワードが出現する
時間長が考慮される。図３２の例では、キーワード評価
値0.5を有する「回路基盤」が時間長５を有する評価対
象区間（時間帯）Ｔ₁に出現し、キーワード評価値0.6を
有する「回路基盤」が時間長５を有する評価対象区間
（時間帯）Ｔ₄に出現するので、「回路基盤」のキーワ
ード重要度は、(0.5+0.6)/(5+5)=0.11となる。同様にし
て、「回路図面」のキーワード重要度は0.1、「安全
性」のキーワード重要度は0.25となる。キーワード重要
度に従って、キーワードを利用者に提示する順序を制御
すると、「安全性」、「回路基盤」、「回路図面」の順
になる。これにより、映像情報や音声情報に付加される
キーワードの数を不必要に多くならないように制御でき
る。

【０１０４】次に、図３３を参照して、会話情報の自動
編集を行う方法を説明する。この方法は、映像情報もし
くは音声情報に付加されたキーワードを利用する例の１
つである。

【０１０５】図３３は、音声情報を基準として映像情報
もしくは音声情報にキーワードを付加する場合の会話情
報の自動編集を行う方法の手順を示す。利用者の会話に
より発生した音声情報を有音部と無音部とに分割する
（ステップＳ３３０１）。音声情報を有音部と無音部と
に分割するには、例えば、音声情報の有音状態と無音状
態とを区別するために音声パワーの閾値を予め決めてお
き、閾値に基づき分割してゆけばよい。この分割方法
は、図３４を参照して後述される。特に、複数の利用者
が共同して１つの作業をする場合には、会話により発生
した音声情報を利用者毎に記録し、管理することによ
り、会話中の音声情報をより詳細に検索し、編集するこ
とが可能になる。次に、ステップＳ３３０１により得ら
れた音声情報から雑音部分を削除する（ステップＳ３３
０２）。例えば、音声情報の有音部の長さが所定の時間
（例えば、１秒間）より短い場合には、その音声情報は
雑音であるとみなしてよい。なお、音声情報から雑音部
分を削除する場合には、該当する音声情報を同じ時間長
の無音情報に置き換える。雑音が除去された音声情報を
もとに、映像情報を音声情報の無音部に対応する区間と
音声情報の有音部に対応する区間とに分割する（ステッ
プＳ３３０３）。図２７に示すキーワード付加の方法に
基づき、映像情報（もしくは音声情報）にキーワードを
付加する（ステップＳ３３０４）。映像情報（もしくは
音声情報）にキーワードを付加するためには、例えば、
図３０に示されるキーワード決定ルールを適用すればよ
い。複数の映像情報チャンネル（もしくは複数の音声情
報チャネル）が存在する場合には、同一時間帯を示す１
つの区間に複数の映像ブロック（もしくは音声ブロッ
ク）が存在する場合が有り得る。以下、本明細書では、
この区間を競合区間という。競合区間に存在する複数の
映像ブロック（もしくは音声ブロック）に対して、異な
るキーワードが付加されている場合には、後述される所
定のキーワード統合化ルールに従って、それらのキーワ
ードの中から１つのキーワードを選択する（ステップＳ
３３０５）。映像情報（もしくは音声情報）に付加され
たキーワードおよび映像情報（もしくは音声情報）が記
録された時刻に基づいて、会話の情報を文字情報に変換
する（ステップＳ３３０６）。最後に、文字情報を音声
情報に変換して出力する（ステップＳ３３０７）。な
お、文字情報から音声情報への変換は音声合成を用いれ
ばよい。

【０１０６】図３４は、音声情報を有音部と無音部とに
分割する方法の手順を示す。音声の無音区間の時間長を
測定するために、無音タイマーをセット（ＭＴ＝０）す
る（ステップＳ３４０１）。音声が有音部か無音部かを
示す状態フラグをセットする。すなわち、Ｓｔ＝Ｔｒｕ
ｅとする（ステップＳ３４０２）。音声のレベルが閾値
（ＴｈＶ）を下回っていれば、有音部が開始した時刻
（ＴＢ）をセットする（ステップＳ３４０３）。なお、
閾値（ＴｈＶ）は発話していない状態での音声のレベル
に基づいて、予め設定される。音声の状態フラグをクリ
アーする。すなわち、Ｓｔ＝Ｆａｌｓｅとする（ステッ
プＳ３４０４）。音声のレベルが閾値（ＴｈＶ）を切
り、かつ、無音区間が閾値時間（ＴＭ）を越えれば、音
声の状態フラグをセットする（ステップＳ３４０５）。
なお、閾値時間（ＴＭ）は４００ミリ秒から１秒間程度
の長さに予め設定される。音声のレベルが閾値（Ｔｈ
Ｖ）を切り、かつ、無音区間が閾値時間（ＴＭ）を越え
ず、以前の音声区間が有音部であれば、有音部が終了し
た時刻（ＴＥ）をセットする（ステップＳ３４０６）。
作業状況記憶部１４にＴＢとＴＥの値を出力する（ステ
ップＳ３４０７）。無音タイマーをセットする（ステッ
プＳ３４０８）。

【０１０７】次に、図３５および図３６を参照して、競
合区間におけるキーワード統合化ルールを説明する。以
下、映像ブロックが競合する場合のキーワード統合化ル
ールを説明するが、音声ブロックが競合する場合も同様
である。映像ブロックＡと映像ブロックＢとが競合して
おり、映像ブロックＡと映像ブロックＢとの競合区間Ｃ
が存在すると仮定する。キーワード統合化ルールの例と
しては、以下の（ａ）〜（ｄ）の４つルールがある。
（ａ）開始時刻が早い方の映像ブロックを優先するルー
ル。図３５の（ａ）に示す例では、映像情報Ａの開始時
刻が映像情報Ｂの開始時刻より早いため、競合区間Ｃで
は、映像情報Ａに付加された「回路基盤１」というキー
ワードが選択される。（ｂ）開始時刻が遅い方の映像ブ
ロックを優先するルール。図３５の（ｂ）に示す例で
は、映像ブロックＢの開始時刻が映像情報Ａの開始時刻
より遅いため、競合区間Ｃでは、映像ブロックＢに付加
された「回路基盤２」というキーワードが選択される。
（ｃ）競合区間Ｃにおける利用者の操作履歴情報（状況
変化を示す情報）の評価値に基づいてキーワードを決定
するルール。図３６の（ｃ）に示す例では、状況変化を
示す情報は上向きの矢印で表されている。その矢印の数
は状況変化の発生した回数を示す。競合区間Ｃにおける
映像ブロックＡに対する状況変化の回数は、競合区間Ｃ
における映像ブロックＢに対する状況変化の回数より多
い。従って、競合区間Ｃでは、映像ブロックＡに付加さ
れた「回路基盤１」というキーワードが選択される。
（ｄ）映像ブロックの各時間帯に含まれる利用者の操作
履歴情報（状況変化を示す情報）の評価値に基づいてキ
ーワードを決定するルール。図３６の（ｄ）に示す例で
は、映像ブロックＢに対する状況変化の回数は、映像ブ
ロックＡに対する状況変化の回数より多い。従って、競
合区間Ｃでは、映像ブロックＢに付加された「回路基盤
２」というキーワードが選択される。

【０１０８】図３７は、競合区間におけるキーワード統
合化ルールを記述した例である。図３５および図３６を
参照して上述したキーワード統合化ルールを含め４つの
ルールが記述されている。これらのルールに基づいて競
合区間におけるキーワードが決定される。

【０１０９】次に、キーワード記憶部２２４に記憶され
たキーワードを利用して、作業状況を示す文字情報を生
成する文書化部３８０を説明する。文書化部３８０は、
作業状況管理装置に含まれる。

【０１１０】図３８は、文書化部３８０の構成を示す。
文書化部３８０は、キーワードとキーワードが出現する
時間帯との関係（Ｗｈｅｎに関する情報）を抽出する時
間情報抽出部３８１と、キーワードと対象者との関係
（Ｗｈｏに関する情報）を抽出する対象者抽出部３８２
と、キーワード自身を抽出する対象物抽出部３８３と、
文書化ルールを記憶する文書化ルール記憶部３８５と、
文書化制御部３８４とを有している。

【０１１１】図３９を参照して、作業状況を示す文字情
報を生成する方法を説明する。以下、映像情報に基づい
て作業状況を示す文字情報を生成する方法を説明する。
音声情報に基づいて作業状況を示す文字情報を生成する
場合も同様である。（ａ）映像ブロック毎に、文字情報
を生成するための属性情報を予め割り当てる。その属性
情報は、撮影対象者を特定する情報（Ｗｈｏに関する情
報）と、撮影を開始、終了した時刻の情報（Ｗｈｅｎに
関する情報）と、利用者により仮想的に設定された会議
場所を特定する情報（Ｗｈｅｒｅに関する情報）と、対
象物を特定する情報（Ｗｈａｔに関する情報）と、音声
の出力が存在するか否かを示す情報（Ｈｏｗに関する情
報）とを含む。対象物を特定する情報として、その映像
ブロックに付加されたキーワードを使用してもよい。こ
のように、作業状況について５Ｗ１Ｈ（Ｗｈｏ、Ｗｈ
ｙ、Ｗｈａｔ、Ｗｈｅｎ、Ｗｈｅｒｅ、Ｈｏｗ）による
文章表現が可能なように、各映像ブロックに予め属性情
報を割り当てておく。（ｂ）所定の文書化ルールに従っ
て、映像情報に含まれる複数の映像ブロックのうち特定
の映像ブロックを選択する。所定の文書化ルールは利用
者により予め作成される。例えば、図３９の（ｂ）のル
ール１に示すように「無音区間は文書化しない」という
文書化ルールがある場合には、音声情報の有音部に対応
する映像ブロックのみが選択される。（ｃ）映像ブロッ
クに予め割り当てられた属性情報に基づいて、所定の文
書化ルールに従って、選択された映像ブロックに対応す
る作業状況を示す文字情報を生成する。例えば、特定の
映像ブロックに対して、Ｗｈｏに関する情報として「山
口さん」が割り当てられ、Ｗｈｅｎに関する情報として
「○○時ごろ」が割り当てられ、Ｗｈａｔに関する情報
として「△△について」が割り当てられ、Ｈｏｗに関す
る情報として「話しをしました」が割り当てられている
と仮定する。この場合には、例えば、図３９の（ｃ）に
示されるように、「山口さんが○○時ごろ、△△につい
て話をしました」という文字情報が生成される。

【０１１２】図４０を参照して、作業状況を示す文字情
報を生成する他の方法を説明する。その方法は、音声情
報における有音部を特定するステップと、その有音部に
対応する映像ブロックを特定するステップと、作業状況
の変化を検出するステップと、検出された作業状況の変
化に基づいて、映像ブロックに対する文字情報を生成す
るステップとを含む。例えば、映像シーンの変化と音声
ブロックが検出された場合には、図３９の（ｂ）のルー
ル３に従って、「山口さん、書画カメラで説明」という
文字情報を生成することができる。さらに、映像ブロッ
クに付加されたキーワードが「回路基盤」である場合に
は、そのキーワードを対象物を特定する情報として利用
して、「山口さん、書画カメラで回路基盤の説明」とい
う文字情報を生成することができる。これにより、映像
情報（もしくは音声情報）に応じて作業内容を示す文字
情報を生成したり、その文字情報を検索キーとして映像
情報（もしくは音声情報）を検索することが可能とな
る。

【０１１３】次に、キーワード記憶部２２４に記憶され
たキーワードを利用して、作業状況記憶部１４に記憶さ
れる作業状況を検索するキーワード検索部４１０を説明
する。キーワード検索部４１０は、作業状況管理装置に
含まれる。

【０１１４】図４１は、キーワード検索部４１０の構成
を示す。キーワード検索部４１０は、利用者からの検索
キーワードを入力するための検索キーワード入力部４１
１と、入力された検索キーワードに基づいて、作業状況
記憶部１４を検索する検索部４１２と、入力された検索
キーワードと検索結果とを記憶する検索キーワード記憶
部４１３と、検索結果に基づいて、検索キーワードが適
切か否かを評価する検索キーワード評価部４１４とを有
している。

【０１１５】次に、キーワード検索部４１０の動作を説
明する。検索キーワード入力部４１１は、利用者からの
検索キーワードを入力する。利用者による検索キーワー
ドの入力を容易にするために、検索キーワード入力部４
１１は、キーワード記憶部２２４に記憶された複数のキ
ーワードをメニュー形式で表示し、表示されたキーワー
ドの１つを検索キーワードとして利用者が選択的に入力
することを許してもよい。検索キーワード入力部４１１
から入力された検索キーワードは、検索キーワード記憶
部４１３に記憶される。

【０１１６】検索部４１２は、入力された検索キーワー
ドに基づいて、作業状況記憶部１４を検索する。より詳
しくいうと、検索部４１２は、検索キーワードがキーワ
ード記憶部２２４に記憶された複数のキーワードのうち
の１つに一致するか否かを判定し、一致したキーワード
が付加されている映像情報を検索結果として出力部１６
に出力する。映像情報の代わりにまたは映像情報に加え
て、作業状況記憶部１４に記憶されている任意の情報が
検索結果として出力部１６に出力されてもよい。検索部
４１２は、出力部１６に出力された検出結果が所望のも
のである否かを利用者に問い合わせる。その問い合わせ
に対する利用者の応答は、検索キーワード記憶部４１３
に記憶される。このようにして、入力した検索キーワー
ドに対して所望の検索結果が得られたか否かを示す情報
が検索キーワード記憶部４１３に蓄積される。

【０１１７】図４２は、検索キーワード記憶部４１３に
記憶される情報の例を示す。この例では、利用者により
入力された検索キーワードに加えて、その利用者が所属
するグループ名と、利用者名と、検索キーワードが入力
された日時と、検索キーワードが入力された項目名と、
検索キーワードに基づいて検索された文書名と、検索さ
れた文書と利用者が望んでいた文書とが一致したか否か
を示す情報とが記憶されている。この例では、検索され
た文書と利用者が望んでいた文書とが一致した場合に
は、「採用」が記憶され、一致しない場合には、「不採
用」が記憶される。あるいは、検索された文書と利用者
が望んでいた文書との一致の度合いを示す数字が記憶さ
れていてもよい。例えば、一致の度合い「７０％」など
である。ここでは、文書が検索対象となっている例を説
明した。もちろん、文書の代わりにまたは文書に加え
て、作業状況記憶部１４に記憶されている任意の情報が
検索対象となり得る。複数の視点からの検索を可能とす
るために、検索キーワードを入力可能な項目は、図４３
に示すように、複数個設けられていることが好ましい。
また、検索キーワードに基づいて検索された複数の文書
名を検索キーワード記憶部４１３に記憶するようにして
もよい。

【０１１８】図４３は、検索キーワードを入力するため
の検索パネル４３０の例を示す。検索パネル４３０は、
情報を検索するためのユーザインターフェースを利用者
に提供する。検索パネル４３０は、映像キーワード入力
部４３１と、文書キーワード入力部４３２と、イベント
入力部４３３とを有している。映像キーワード入力部４
３１は、映像情報に付加された複数のキーワードをメニ
ュー形式で表示し、表示されたキーワードの１つを検索
キーワードとして利用者が選択的に入力すること許す。
文書キーワード入力部４３２は、文書を検索するための
検索キーワードを利用者が入力することを許す。イベン
ト入力部４３３は、書画カメラを操作することによって
発生した端末の状態変化（例えば、映像シーンの変化や
映像チャネルの変化など）や、ウインドウに対する利用
者の操作によって発生した端末の状態変化（例えば、マ
ウスポインタの移動やウインドウの開閉状態など）を検
索キーワードとして利用者が入力することを許す。

【０１１９】次に、図４１に示す検索キーワード評価部
４１４の動作を説明する。図４４は、検索キーワード評
価部４１４により実行される処理の流れを示す。その処
理は、評価範囲を指定するステップ（Ｓ４４０１）と指
定された評価範囲において検索キーワードを評価するス
テップ（Ｓ４４０２）とを含む。評価範囲を指定するた
めに、グループ名、利用者名および日時のうちの少なく
とも１つが検索キーワード評価部４１４に入力される。
評価範囲を指定するステップ（Ｓ４４０１）は、グルー
プ名が入力された場合に、検索キーワード記憶部４１３
からそのグループに所属する利用者により使用された検
索キーワードを抽出するステップ（Ｓ４４０３）と、利
用者名が入力された場合に、検索キーワード記憶部４１
３からその利用者により使用された検索キーワードを抽
出するステップ（Ｓ４４０４）と、日時が入力された場
合に、検索キーワード記憶部４１３からその日時に使用
された検索キーワードを抽出するステップ（Ｓ４４０
５）と、利用者により指定された演算子（例えば、論理
和や論理積など）により定義される検索条件に従って検
索キーワード記憶部４１３から検索キーワードを抽出す
るステップ（Ｓ４４０６）とを含む。指定された評価範
囲において検索キーワードを評価するステップ（Ｓ４４
０２）は、ステップＳ４４０１で抽出された検索キーワ
ードについて、その検索キーワードの採用回数と使用回
数とからその検索キーワードのヒット率を算出するステ
ップ（Ｓ４４０７）を含む。ここで、検索キーワードの
ヒット率（％）は採用回数／使用回数×１００により算
出される。過去に入力された検索キーワードをヒット率
の高い順に利用者に提示することにより、所望の検索結
果が得られる確率の高い検索キーワードを利用者が入力
することが容易となる。その結果、利用者が所望の検索
結果を得るまでに、利用者が検索キーワードを入力する
回数が低減される。さらに、検索された情報に対する評
価値（利用者が望む情報と検索された情報との一致度合
い、例えば、０〜１の間の値）を検索キーワード記憶部
４１３に蓄積するようにすれば、所望の検索結果が得ら
れる確率のより高い検索キーワードを利用者に提示する
ことが可能となる。この場合の検索キーワードのヒット
率（％）は採用回数×評価値／使用回数×１００により
算出される。

【０１２０】図４５は、作業状況管理部１３の他の構成
を示す。作業状況管理部１３は、映像情報を複数の映像
ブロックに分割する映像情報分割部４５１と、映像ブロ
ックを評価する映像ブロック評価部４５２と、映像情報
分割部４５１と映像ブロック評価部４５２とを制御する
映像情報統合制御部４５３とを含む。

【０１２１】次に、図４５に示す作業状況管理部１３の
動作を説明する。映像情報分割部４５１は、作業状況記
憶部１４に記憶される作業状況に基づいて、映像情報を
複数の論理的な映像ブロックに分割する。各映像ブロッ
クは、少なくとも１つの映像シーンを含む。例えば、音
声情報の有音部に応じて映像情報をブロック化すればよ
い。映像情報をブロック化する方法の詳細は、既に述べ
たので、ここでは説明を省略する。このようにして、映
像情報分割部４５１は、第１映像情報を複数の第１映像
ブロックに分割し、第２映像情報を複数の第２映像ブロ
ックに分割する。例えば、第１映像情報は、利用者Ａに
より撮影された映像情報であり、第２映像情報は、利用
者Ｂにより撮影された映像情報である。

【０１２２】映像ブロック評価部４５２は、同一時間帯
に複数の映像ブロックが存在するか否かを判定し、同一
時間帯に複数の映像ブロックが存在すると判定された場
合に、その複数の映像ブロックのうちいずれの映像ブロ
ックを優先的に選択するかを決定する。従って、同一時
間帯に、複数の第１映像ブロックのうちの１つと複数の
第２映像ブロックのうちの１つが存在する場合には、映
像ブロック評価部４５２により、同一時間帯に存在する
第１映像ブロックおよび第２映像ブロックのうちの１つ
が選択される。このようにして、第１映像情報と第２映
像情報とが統合され、１つの映像情報が生成される。こ
れにより、利用者Ａにより撮影された映像情報と利用者
Ｂにより撮影された映像情報とに基づいて、利用者Ａと
利用者Ｂとの対話状況を示す映像情報を生成することが
可能となる。

【０１２３】図４６は、図４５に示す作業状況管理部１
３によって実行される映像情報統合化処理の手順を示
す。映像情報分割部４５１は、映像情報をブロック化す
ることにより、複数の映像ブロックを生成する（ステッ
プＳ４６０１）。映像ブロック評価部４５２は、同一時
間帯に複数の映像ブロックが存在するか否かを判定する
（ステップＳ４６０２）。同一時間帯に複数の映像ブロ
ックが存在すると判定された場合には、映像ブロック評
価部４５２は、所定の優先規則に従って、その複数の映
像ブロックのうちのいずれを優先的に選択するかを決定
する（ステップＳ４６０３）。その所定の優先規則は、
利用者により予め設定される。

【０１２４】図４７は、優先規則の例を示す。図４７に
示されるように、作業状況の変化に関連する優先規則、
時間の先後関係に基づく優先規則など、様々な優先規則
が存在する。

【０１２５】次に、図４８〜図５０を参照して、図４７
に示される規則番号１〜１０の優先規則を具体的に説明
する。

【０１２６】規則番号１の優先規則は、同一時間帯に複
数の映像ブロックが存在する場合に、開始時刻が最も早
い映像ブロックを優先的に選択することを規定する。図
４８の（ａ）に示す例では、映像ブロック１ｂの開始時
刻より映像ブロック１ａの開始時刻の方が早いので、映
像ブロック１ａが選択される。

【０１２７】規則番号２の優先規則は、同一時間帯に複
数の映像ブロックが存在する場合に、し、開始時刻が最
も最近の映像ブロックを優先的に選択することを規定す
る。図４８の（ｂ）に示す例では、時間帯Ｔ₂において
は、映像ブロック２ｂの開始時刻が最も最近であるの
で、映像ブロック２ｂが選択される。しかし、時間帯Ｔ
₁においては、映像ブロック２ａの開始時刻が最も最近
であるので、映像ブロック２ａが選択される。

【０１２８】規則番号３の優先規則は、同一時間帯に複
数の映像ブロックが存在する場合に、時間的に最も長い
映像ブロックを優先的に選択することを規定する。図４
８の（ｃ）に示す例では、映像ブロック３ｂの長さより
映像ブロック３ａの長さの方が長いので、映像ブロック
３ａが選択される。

【０１２９】規則番号４の優先規則は、同一時間帯に複
数の映像ブロックが存在する場合に、時間的に最も短い
映像ブロックを優先的に選択することを規定する。図４
９の（ａ）に示す例では、映像ブロック４ａの長さより
映像ブロック４ｂの長さの方が短いので、映像ブロック
４ｂが選択される。

【０１３０】規則番号５の優先規則は、同一時間帯に複
数の映像ブロックが存在する場合に、単位時間あたりの
作業状況の変化を示す情報を最も多く含む映像ブロック
を優先的に選択することを規定する。図４９の（ｂ）に
示す例では、作業状況の変化を示す情報が発生した時刻
が三角印で表されている。この例では、映像ブロック５
ｂの方が映像ブロック５ａより単位時間あたりの作業状
況の変化を示す情報を多く含んでいるので、映像ブロッ
ク５ｂが選択される。

【０１３１】規則番号６の優先規則は、同一時間帯に複
数の映像ブロックが存在する場合に、所定の発生事象の
組み合わせ規則に合致した映像ブロックを優先的に選択
することを規定する。図４９の（ｃ）に示す例では、映
像ブロック６ｂが所定の発生事象の組み合わせ規則に合
致するので、映像ブロック６ｂが選択される。

【０１３２】図５１は、発生事象の組み合わせ規則の例
を示す。発生事象の組み合わせ規則は、作業においてほ
ぼ同時に発生する事象の組み合わせとその組み合わせに
対応する事象名とを規定したものである。例えば、書画
カメラを用いて、利用者が資料を説明する場合、対象物
を手で指し示しながら行うことが多い。このため、手の
動きと音声とがほぼ同時に発生する。図５１の第１行に
示されるように、例えば、「映像シーンの変化」という
事象と「音声ブロック」という事象の組み合わせは、
「書画カメラでの説明」という事象であると定義され
る。また、利用者がウインドウ上に表示された資料情報
を説明する場合には、マウスポインタによる指示と音声
とがほぼ同時に発生する。図５１の第２行に示されるよ
うに、例えば、「マウスポインタによる指示」という事
象と「音声ブロック」という事象の組み合わせは、「ウ
インドウ上での説明」という事象であると定義される。

【０１３３】図５０を参照して、規則番号７の優先規則
は、同一時間帯に複数の映像ブロックが存在する場合
に、指定されたキーワードを含む文書情報を利用してい
た時間帯に対応する映像ブロックを優先的に選択するこ
とを規定する。規則番号８の優先規則は、同一時間帯に
複数の映像ブロックが存在する場合に、指定されたキー
ワードを最も多く含む文書情報を利用していた時間帯に
対応する映像ブロックを優先的に選択することを規定す
る。図５０の（ａ）に示す例では、指定されたキーワー
ドは文書情報の第２ページに含まれるので、映像ブロッ
ク７ａが選択される。

【０１３４】規則番号９の優先規則は、同一時間帯に複
数の映像ブロックが存在する場合に、指定された作業状
況の変化が発生した時間帯に対応する映像ブロックを優
先的に選択することを規定する。規則番号１０の優先規
則は、同一時間帯に複数の映像ブロックが存在する場合
に、指定された対象者に関連する映像ブロックを優先的
に選択することを規定する。図５０の（ｂ）に示す例で
は、規則番号９の優先規則を適用することにより、映像
ブロック９ｂが選択され、規則番号１０の優先規則を適
用することにより、映像ブロック９ｃが選択される。

【０１３５】図５２は、情報を操作するための操作パネ
ル５２００を示す。操作パネル５２００は、作業状況管
理装置に対するユーザインタフェースを利用者に提供す
る。図５２に示されるように、操作パネル５２００は、
映像情報を少なくとも１枚以上の映像フレームからなる
映像ブロックに分割した結果を表示するパネル５２０１
と、音声を有音部と無音部とに分割した結果と作業状況
の変化を示す情報（映像シーンの切り替えおよび映像チ
ャンネルの切り替え）とを表示するパネル５２０２、ウ
インドウに対する利用者による操作（ウインドウのオー
プン、クローズ、生成、削除など）と、付せん紙（ウイ
ンドウに付された個人的なメモ）への記入と、マウスポ
インタによる指示とを行った履歴を示す情報を表示する
パネル５２０３と、参照資料を表示するパネル５２０４
と、検索結果の映像を表示するパネル５２０５とを含
む。

【０１３６】図５３は、情報を検索・編集するための操
作パネル５３００を示す。操作パネル５３００は、作業
状況管理装置に対するユーザインタフェースを利用者に
提供する。図５３に示されるように、操作パネル５３０
０は、作業状況を記録するための操作パネル５３０１
と、情報を検索するための操作パネル５３０２と、情報
を操作するための操作パネル５３０３と、複数の情報を
編集するための操作パネル５３０４と、同一時間帯に複
数の映像ブロックが存在する場合の優先規則を選択する
操作パネル５３０５とを含む。なお、操作パネル５３０
５において優先規則を選択することにより、計算機によ
る半自動的な情報編集が可能となる。操作パネル５３０
６は、映像ブロック毎に、時間情報、映像ブロックに付
加された事象名、対象物の情報に応じて、作業状況（例
えば、会議の内容など）を文字情報に自動的に変換する
ためパネルである。

【０１３７】図５４は、参加者毎に記録された映像情報
と音声情報とを統合するための操作パネル５４００を示
す。操作パネル５４００は、ある利用者Ａが撮影した映
像情報と発話による音声情報とを表示するパネル５４０
１と、他の利用者Ｂが撮影した映像情報と発話による音
声情報とを表示するパネル５４０２と、自動編集の結
果、統合された映像情報と音声情報とを表示するパネル
５４０３とを含む。

【０１３８】なお、本発明は会議だけではなく、個人で
の編集装置利用ではマルチメディアメールの検索・編
集、共同での編集装置利用ではＣＡＩ（計算機支援によ
る教育）での教材作成などへの応用利用が可能である。

【０１３９】

【発明の効果】上述したように、本発明の作業状況管理
装置によれば、作業の時間的経過を示す様々な情報を管
理することが可能になる。これにより、作業状況の変化
に着目して、作業中に記録された映像情報や音声情報の
所望の箇所を検索することが容易となる。利用者が必要
な情報（資料、コメント、会議の状況）を効率的に取り
出して作業できるように、個人の日常の作業内容と対応
づけて個人的な観点から管理を行うことが可能である。
また、会話状況といった体系的には取り扱いにくい動的
な情報を個人的な観点で扱うことが可能である。さら
に、利用者が着目していると推定される時点の映像情報
や音声情報のみを記録もしくは出力することにより、利
用者に提示する情報量の低減や記憶容量の低減をは図る
ことができる。

【０１４０】さらに、本発明の作業状況管理装置によれ
ば、映像情報や音声情報にキーワードを付加することが
可能となる。キーワードを利用することにより、映像情
報や音声情報の所望の箇所を検索することが容易とな
る。また、キーワードを利用して、作業状況を示す文字
情報を生成することが可能となる。

【図面の簡単な説明】

【図１】（ａ）は本発明の作業状況管理装置の構成を示
す図（ｂ）は典型的な作業風景を示す図

【図２】ネットワークを介して接続された複数の端末装
置と作業状況管理装置とを含むシステムの構成を示す図

【図３】作業状況管理部の構成を示す図

【図４】作業状況管理部の他の構成を示す図

【図５】作業状況管理部の他の構成を示す図

【図６】作業状況管理部の他の構成を示す図

【図７】作業状況管理部の他の構成を示す図

【図８】作業状況管理部の他の構成を示す図

【図９】映像情報管理部の構成を示す図

【図１０】音声情報管理部の構成を示す図

【図１１】ウインドウ情報管理部の構成を示す図

【図１２】指示情報管理部の構成を示す図

【図１３】作業状況記憶部に記憶される作業状況を示す
情報を示す図

【図１４】作業状況記憶部に記憶される作業状況を示す
情報を示す図

【図１５】作業状況記憶部に記憶される作業状況を示す
情報を示す図

【図１６】作業状況記憶部に記憶される作業状況を示す
情報を示す図

【図１７】ウインドウのサイズ変更情報を利用して利用
者の着目ウインドウの判定をする方法を説明する図

【図１８】ウインドウの所有者情報を利用して利用者の
着目ウインドウの判定をする方法を説明する図

【図１９】表示位置変更部の操作情報をもとに利用者の
着目情報を判定する方法を説明する図

【図２０】映像情報に対する利用者の着目地点を検出す
る方法を説明する図

【図２１】映像情報に対する利用者の着目地点を検出す
る方法を説明する図

【図２２】キーワード情報管理部の構成を示す図

【図２３】（ａ）は文書を編集する作業の流れを示す図（ｂ）は（ａ）の作業により作業状況記憶部に記憶され
る情報の例を示す図

【図２４】（ａ）は作業において、利用者により資料情
報の一部が指示されている場面を示す図（ｂ）は（ａ）の作業により作業状況記憶部に記憶され
る情報の例を示す図

【図２５】（ａ）は作業において、資料情報がウインド
ウに表示されている場面を示す図（ｂ）は（ａ）の作業により作業状況記憶部に記憶され
る情報の例を示す図

【図２６】（ａ）は音声キーワード検出部の構成を示す
図（ｂ）は音声キーワード検出部により作業状況記憶部に
記憶される情報の例を示す図

【図２７】映像情報もしくは音声情報にキーワードを付
加する処理の手順を示す図

【図２８】映像情報もしくは音声情報の評価対象区間
（時間帯）を指定する方法を説明する図

【図２９】キーワード候補特定部の構成を示す図

【図３０】映像もしくは音声情報に付加するキーワード
の決定ルールを示す図

【図３１】キーワード評価値を計算する方法を説明する
図

【図３２】キーワード評価値とキーワード重要値の具体
的な利用方法について説明する図

【図３３】会話情報の自動編集を行う方法の手順を示す
図

【図３４】音声情報を有音部と無音部とに分割する方法
の手順を示す図

【図３５】競合区間におけるキーワード統合化ルールを
説明する図

【図３６】競合区間におけるキーワード統合化ルールを
説明する図

【図３７】競合区間におけるキーワード統合化ルールを
示す図

【図３８】文書化部の構成を示す図

【図３９】作業状況を示す文字情報を生成する方法を説
明する図

【図４０】作業状況を示す文字情報を生成する他の方法
を説明する図

【図４１】キーワード検索部の構成を示す図

【図４２】検索キーワード記憶部に記憶される情報の例
を示す図

【図４３】検索キーワードを入力するための検索パネル
の例を示す図

【図４４】検索キーワードの評価処理の手順を示す図

【図４５】作業状況管理部の他の構成を示す図

【図４６】映像情報の統合化の手順を示す図

【図４７】映像ブロックを優先的に選択するための優先
規則を示す図

【図４８】優先規則を具体的に説明する図

【図４９】優先規則を具体的に説明する図

【図５０】優先規則を具体的に説明する図

【図５１】発生事象の組み合わせ規則を示す図

【図５２】情報を操作するための操作パネルの画面イメ
ージを示す図

【図５３】情報の検索・編集を行う操作パネルの画面イ
メージを示す図

【図５４】参加者毎に記録した映像情報および音声情報
を統合するための操作パネルの画面イメージを示す図

【符号の説明】

１０作業状況管理装置１１入力部１２端末制御部１３作業状況管理部１４作業状況記憶部１５資料情報記憶部１６出力部１７伝送部

───────────────────────────────────────────────────── フロントページの続き (31)優先権主張番号特願平5−189985 (32)優先日平５(1993)７月30日 (33)優先権主張国日本（ＪＰ）

Claims

【特許請求の範囲】

【請求項１】作業に関連する情報を入力する入力手段
と、該入力された情報に対して所定の変化が発生したこ
とを検出する検出手段と、該検出された所定の変化に応
じて、該所定の変化が発生した時刻を示す情報と該所定
の変化を特定する情報とを生成する生成手段と、該所定
の変化が発生した該時刻を示す該情報と該所定の変化を
特定する該情報とを作業状況として記憶する記憶手段と
を備えた作業状況管理装置。
【請求項２】入力手段は、利用者による操作に応じて該
操作を示すカメラ操作信号を生成するカメラを有してお
り、検出手段は、該カメラ操作信号を受け取り、該カメ
ラ操作信号に基づいて該カメラの所定の操作が発生した
ことを検出するカメラ操作検出手段を備えている請求項
１に記載の作業状況管理装置。
【請求項３】入力手段は、複数の映像チャネルを有して
おり、検出手段は、ある映像チャネルが他の映像チャネ
ルに切り替わることを検出する映像チャネル変化検出手
段を備えている請求項１に記載の作業状況管理装置。
【請求項４】入力手段は、映像情報を入力する映像情報
入力手段を有しており、検出手段は、該映像情報に基づ
いて映像シーンの変化を検出する映像シーン変化検出手
段を備えている請求項１に記載の作業状況管理装置。
【請求項５】入力手段は、音声情報を入力する音声情報
入力手段を有しており、検出手段は、該音声情報を有音
部と無音部に分割することにより、該音声情報の無音部
から有音部への変化を検出する音声情報変化検出手段を
備えている請求項１に記載の作業状況管理装置。
【請求項６】検出手段は、ウインドウ情報の変化を検出
するウインドウ情報検出手段を備えている請求項１に記
載の作業状況管理装置。
【請求項７】検出手段は、指示情報の変化を検出する指
示情報検出手段を備えている請求項１に記載の作業状況
管理装置。
【請求項８】検出手段は、映像情報の変化と音声情報の
変化とウインドウ情報の変化と指示情報の変化との間の
任意の組み合わせのうち少なくとも１つが発生したこと
を検出する手段を備えている請求項１に記載の作業状況
管理装置。
【請求項９】複数の端末装置と該複数の端末装置にネッ
トワークを介して接続される作業状況管理装置とを備え
たシステムであって、複数の端末装置のそれぞれは、作
業に関連する情報を入力する入力手段と該入力された情
報を該作業状況管理装置に送信する送信手段とを有して
おり、該作業状況管理装置は、該複数の端末装置のそれ
ぞれからの該情報を受信する受信手段と、該受信された
情報に対して所定の変化が発生したことを検出する検出
手段と、該検出された所定の変化に応じて、該所定の変
化が発生した時刻を示す情報と該所定の変化を特定する
情報とを生成する生成手段と、該所定の変化が発生した
該時刻を示す該情報と該所定の変化を特定する該情報と
を作業状況として記憶する記憶手段とを有していること
を特徴とする作業状況管理装置。
【請求項１０】作業の時間的経過を表す情報を記憶する
記憶手段と、該記憶手段に記憶された該作業の時間的経
過を表す該情報に基づいて、該作業に要した時間のう
ち、キーワードを付すべき時間帯を特定する時間帯特定
手段と、該時間帯特定手段によって特定された該時間帯
に対して、少なくとも１つのキーワード候補を特定する
キーワード候補特定手段と、該少なくとも１つのキーワ
ード候補の中から１つのキーワード候補を所定のルール
に従って選択し、該選択されたキーワード候補を該時間
帯に対応するキーワードとして決定するキーワード決定
手段とを備えた作業状況管理装置。
【請求項１１】作業の時間的経過を表す前記情報は、該
作業中に発生した音声情報に含まれる有音部と無音部と
を識別する情報であり、時間帯特定手段は、該有音部に
対応する該時間帯のみをキーワードを付すべき時間帯と
して特定する請求項１０に記載の作業状況管理装置。
【請求項１２】作業の時間的経過を表す前記情報は、該
作業に要した時間のうち、資料情報を表示するウインド
ウが利用者により着目されていると推定される時間帯を
示す情報であり、時間帯特定手段は、該ウインドウが該
利用者により着目されていると推定される該時間帯のみ
をキーワードを付すべき時間帯として特定する請求項１
０に記載の作業状況管理装置。
【請求項１３】作業の時間的経過を表す前記情報は、該
作業に要した時間のうち、資料情報を表示するウインド
ウに対して指示情報が発生した時間帯を示す情報であ
り、時間帯特定手段は、該ウインドウに対して該指示情
報が発生した該時間帯のみをキーワードを付すべき時間
帯として特定する請求項１０に記載の作業状況管理装
置。
【請求項１４】作業の時間的経過を表す前記情報は、該
作業中に発生した音声情報に含まれる有音部と無音部と
を識別する情報と、該作業に要した時間のうち、資料情
報を表示するウインドウが利用者により着目されている
と推定される時間帯を示す情報と、該作業に要した時間
のうち、該ウインドウに対して指示情報が発生した時間
帯を示す情報のうちの少なくとも１つを含み、時間帯特
定手段は、該有音部に対応する該時間帯と該ウインドウ
が該利用者により着目されていると推定される該時間帯
と該ウインドウに対して該指示情報が発生した該時間帯
とのうち少なくとも１つに基づいて決定される時間帯の
みをキーワードを付すべき時間帯として特定する請求項
１０に記載の作業状況管理装置。
【請求項１５】キーワード候補特定手段は、作業におい
て、編集可能な文字情報を含む資料情報が使用される場
合に、該作業に要した時間のうち第１時刻での該資料情
報における第１文字情報と該作業に要した時間のうち第
２時刻での該資料情報における第２文字情報との間の差
分を表す差分情報を記憶する差分情報記憶手段と、該差
分情報記憶手段に記憶された該差分情報から少なくとも
１つのキーワード候補を抽出する文書キーワード抽出手
段とを備えている請求項１０に記載の作業状況管理装
置。
【請求項１６】キーワード候補特定手段は、作業におい
て文字情報を含む資料情報が使用される場合に、該作業
中に利用者によって指示された文字情報の位置を示す位
置情報を記憶する位置情報記憶手段と、該位置情報記憶
手段に記憶された該位置情報に基づいて、該資料情報か
ら少なくとも１つのキーワード候補を抽出する指示キー
ワード抽出手段とを備えている請求項１０に記載の作業
状況管理装置。
【請求項１７】キーワード候補特定手段は、作業におい
て資料情報が表題を記述するための部分を有するウイン
ドウに表示される場合に、該表題を記憶する表題記憶手
段と、該表題記憶手段に記憶された該表題から少なくと
も１つのキーワード候補を抽出する表題キーワード抽出
手段とを備えている請求項１０に記載の作業状況管理装
置。
【請求項１８】キーワード候補特定手段は、作業におい
て資料情報が個人情報を記述するための部分を有するウ
インドウに表示される場合に、該個人情報を記憶する個
人情報記憶手段と、該個人情報記憶手段に記憶された該
個人情報から少なくとも１つのキーワード候補を抽出す
る個人情報キーワード抽出手段とを備えている請求項１
０に記載の作業状況管理装置。
【請求項１９】キーワード候補特定手段は、作業におい
て生成される音声情報を認識して、該音声情報に対応す
る文字情報を生成する音声認識手段と、該音声情報に対
応する該文字情報を記憶する音声認識情報記憶手段と、
音声認識情報記憶手段に記憶された該文字情報から少な
くとも１つのキーワード候補を抽出する音声キーワード
抽出手段とを備えている請求項１０に記載の作業状況管
理装置。
【請求項２０】キーワード候補特定手段は、利用者によ
って入力された文字情報を受け取り、該受け取った文字
情報をキーワード候補とするキーワード候補入力手段を
備えている請求項１０に記載の作業状況管理装置。
【請求項２１】所定のルールは、キーワードの出現比率
に関連する評価値に基づいてキーワードを決定するルー
ルを含む請求項１０に記載の作業状況管理装置。
【請求項２２】所定のルールは、競合区間に割り当てら
れた複数のキーワードのうちいずれのキーワードを選択
すべきかを規定するルールを含む請求項１０に記載の作
業状況管理装置。
【請求項２３】作業の時間的経過を表す情報を記憶する
記憶手段と、利用者からの検索キーワードを入力するた
めの検索キーワード入力手段と、該入力された検索キー
ワードに基づいて、該記憶手段に記憶された該作業の時
間的経過を表す該情報を検索する検索手段と、該入力さ
れた検索キーワードと検索結果とを記憶する検索キーワ
ード記憶手段と、該検索結果に基づいて、該検索キーワ
ードが適切か否かを評価する検索キーワード評価手段と
を備えた作業状況管理装置。
【請求項２４】検索キーワード評価手段は、少なくとも
前記検索キーワードが利用者により入力された回数と、
前記検索結果が利用者により採用された回数とに基づい
て、該検索キーワードを評価する、請求項２３に記載の
作業状況管理装置。
【請求項２５】第１映像情報を複数の第１映像ブロック
に分割し、第２映像情報を複数の第２映像ブロックに分
割する映像情報分割手段と、ある時間帯に、該複数の第
１映像ブロックのうちの１つと該複数の第２映像ブロッ
クのうちの１つとが存在するか否かを判定し、該時間帯
に該複数の第１映像ブロックのうちの１つと該複数の第
２映像ブロックのうちの１つとが存在すると判定された
場合には、所定のルールに従って、該時間帯に存在する
映像ブロックのうちのいずれを優先的に選択するかを決
定する映像ブロック評価手段とを備えた作業状況管理装
置であって、これにより、該第１映像情報と該第２映像
情報とを統合して１つの映像情報を生成する、作業状況
管理装置。
【請求項２６】所定のルールは、前記時間帯に存在する
映像ブロックの時間的な先後関係に基づいて、選択すべ
き映像ブロックを決定するルールを含む請求項２５に記
載の作業状況管理装置。
【請求項２７】所定のルールは、作業状況の変化に基づ
いて、選択すべき映像ブロックを決定するルールを含
む、請求項２５に記載の作業状況管理装置。