JP3827740B2 - 作業状況管理装置 - Google Patents
作業状況管理装置 Download PDFInfo
- Publication number
- JP3827740B2 JP3827740B2 JP01152894A JP1152894A JP3827740B2 JP 3827740 B2 JP3827740 B2 JP 3827740B2 JP 01152894 A JP01152894 A JP 01152894A JP 1152894 A JP1152894 A JP 1152894A JP 3827740 B2 JP3827740 B2 JP 3827740B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- keyword
- video
- unit
- change
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Information Transfer Between Computers (AREA)
- Computer And Data Communications (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- General Factory Administration (AREA)
Description
【０００１】
【産業上の利用分野】
本発明は単体の端末もしくは複数の端末間で情報処理を行い、利用者の作業状況にあわせて情報管理する作業状況管理装置に関するものである。
【０００２】
【従来の技術】
近年、各種情報をリアルタイムで交換しながら、会議や意志決定をはじめとした協同作業を行うことを支援するネットワーク会議システムが提案され構築されている。例えば、渡辺 他「マルチメディア分散会議システム ＭＥＲＭＡＩＤ」、情報処理学会論文誌、Ｖｏｌ．３２、Ｎｏ．９（１９９１）や中山 他「多者間電子対話システム ＡＳＳＯＣＩＡ」、情報処理学会論文誌、Ｖｏｌ．３２、Ｎｏ．９（１９９１）が挙げられる。
【０００３】
従来の技術では、個人利用や複数端末間での情報交換のためにウインドウを開き、ファイル単位での会議資料（テキスト、イメージ、図形等からなる文書）の編集や提示等を行う。そのため、会議終了後、議事録としては会議中のメモや会議資料は利用者の手元には残るが、会議の状況といった体系的には取り扱いにくい動的な情報まで含めて会議の議事録として残すことができない（例えば、参加者の一人がカメラで提示された資料を指で指示した場合の指の位置情報の時間経過といった動的な情報が挙げられる）。従って、利用者の記憶を助けるという観点からは従来の手法では十分ではない。
【０００４】
また、会議の状況を記録するためにＶＴＲ等を利用する方法が考えられるが、会議の状況をすべてＶＴＲ等で撮影することにより膨大な情報が発生するため、会議終了後、撮影された映像・音声の情報を検索・編集するのは、利用者に大変な労力を強いる。
【０００５】
更に、従来のＣＡＩ（計算機支援による教育システム）システムでは、教材を先生や生徒間で共有し、会話の場を設定することが目的であったため、生徒が授業後、個人的な観点で復習をしたり、先生が授業の状況を反映させた教材作成を行うことは難しかった。
【０００６】
【発明が解決しようとする課題】
従来の手法では、個人利用や複数端末間での情報交換のためにウインドウを開き、ファイル単位での会議資料（テキスト、イメージ、図形等からなる文書）の編集や提示等を行う。そのため、会議終了後、議事録としては会議中のメモや会議資料が利用者の手元には残るが、会議の状況といった体系的には取り扱いにくい動的な情報まで含めて会議の議事録として残すことができない。また、会議の状況をすべてＶＴＲ等で取るにも膨大な情報量になるため、会議終了後、撮影された映像・音声の情報を検索・編集するのは、利用者に大変な労力を強いる。従って、利用者の記憶を助けるという観点からは従来の手法では十分ではないという課題と、必要な情報を必要な量だけ記録できなければならないという課題がある。本発明の目的は、利用者が作り出す様々な情報を作業状況管理装置にて管理を行うとともに、利用者の作業状況にあわせて必要な情報管理することにある。
【０００７】
【課題を解決するための手段】
本発明は、作業に関連する情報を入力する入力部と、前記入力部から入力される情報に対して所定の変化が発生したことを検出し、前記所定の変化が発生した時刻を示す情報と前記変化内容を特定する情報とを生成し、前記生成した変化発生時刻を示す情報と変化内容を特定する情報とを作業状況として作業状況記憶手段に記憶する作業状況管理部とを備えた作業状況管理装置による作業状況管理方法であって、前記入力部としてカメラを用い、作業内容となる被写体をカメラにより撮像しながら前記カメラにより撮像された映像情報に対して、カメラ操作の変化、映像シーンの変化、映像チャンネルの変化のうち、少なくとも１つの変化が発生したことを検出する検出ステップと、前記検出ステップにより検出した変化が発生した時刻を検知して前記変化発生時刻を示す情報と、前記検出ステップの結果に基づいて前記検出した映像情報の変化内容を特定する情報とを生成する生成ステップと、前記生成ステップにより生成した変化発生時刻情報と、前記映像情報の変化を特定する情報とを作業状況として記憶する記憶ステップとを備え、前記検出ステップで検出されるカメラ操作は、被写体に対する映像の倍率を変更するズーム操作と、被写体に焦点をあわせるフォーカス操作と、水平方向へ映像情報を変更するパン操作、上下方向へ映像情報を変更するチルト操作のいずれかを１つを含むカメラの操作信号を検出し、前記検出ステップで検出される映像シーンの変化は、撮像される映像フレーム間の画素の差分を算出し、所定値より大きい場合に変化が発生したと判断することを特徴とする作業状況管理方法。
【００１６】
本発明の他の作業状況管理装置は、作業の時間的経過を表す情報を記憶する記憶手段と、該記憶手段に記憶された該作業の時間的経過を表す該情報に基づいて、該作業に要した時間のうち、キーワードを付すべき時間帯を特定する時間帯特定手段と、該時間帯特定手段によって特定された該時間帯に対して、少なくとも１つのキーワード候補を特定するキーワード候補特定手段と、該少なくとも１つのキーワード候補の中から１つのキーワード候補を所定のルールに従って選択し、該選択されたキーワード候補を該時間帯に対応するキーワードとして決定するキーワード決定手段とを備えており、これにより、上記目的が達成される。
【００１７】
前記作業の時間的経過を表す前記情報は、該作業中に発生した音声情報に含まれる有音部と無音部とを識別する情報であり、前記時間帯特定手段は、該有音部に対応する該時間帯のみをキーワードを付すべき時間帯として特定してもよい。
【００１８】
前記作業の時間的経過を表す前記情報は、該作業に要した時間のうち、資料情報を表示するウインドウが利用者により着目されていると推定される時間帯を示す情報であり、前記時間帯特定手段は、該ウインドウが該利用者により着目されていると推定される該時間帯のみをキーワードを付すべき時間帯として特定してもよい。
【００１９】
前記作業の時間的経過を表す前記情報は、該作業に要した時間のうち、資料情報を表示するウインドウに対して指示情報が発生した時間帯を示す情報であり、前記時間帯特定手段は、該ウインドウに対して該指示情報が発生した該時間帯のみをキーワードを付すべき時間帯として特定してもよい。
【００２０】
前記作業の時間的経過を表す前記情報は、該作業中に発生した音声情報に含まれる有音部と無音部とを識別する情報と、該作業に要した時間のうち、資料情報を表示するウインドウが利用者により着目されていると推定される時間帯を示す情報と、該作業に要した時間のうち、該ウインドウに対して指示情報が発生した時間帯を示す情報のうちの少なくとも１つを含み、前記時間帯特定手段は、該有音部に対応する該時間帯と該ウインドウが該利用者により着目されていると推定される該時間帯と該ウインドウに対して該指示情報が発生した該時間帯とのうち少なくとも１つに基づいて決定される時間帯のみをキーワードを付すべき時間帯として特定してもよい。
【００２１】
前記キーワード候補特定手段は、前記作業において、編集可能な文字情報を含む資料情報が使用される場合に、該作業に要した時間のうち第１時刻での該資料情報における第１文字情報と該作業に要した時間のうち第２時刻での該資料情報における第２文字情報との間の差分を表す差分情報を記憶する差分情報記憶手段と、該差分情報記憶手段に記憶された該差分情報から少なくとも１つのキーワード候補を抽出する文書キーワード抽出手段とを備えていてもよい。
【００２２】
前記キーワード候補特定手段は、前記作業において文字情報を含む資料情報が使用される場合に、該作業中に利用者によって指示された文字情報の位置を示す位置情報を記憶する位置情報記憶手段と、該位置情報記憶手段に記憶された該位置情報に基づいて、該資料情報から少なくとも１つのキーワード候補を抽出する指示キーワード抽出手段とを備えていてもよい。
【００２３】
前記キーワード候補特定手段は、前記作業において資料情報が表題を記述するための部分を有するウインドウに表示される場合に、該表題を記憶する表題記憶手段と、該表題記憶手段に記憶された該表題から少なくとも１つのキーワード候補を抽出する表題キーワード抽出手段とを備えていてもよい。
【００２４】
前記キーワード候補特定手段は、前記作業において資料情報が個人情報を記述するための部分を有するウインドウに表示される場合に、該個人情報を記憶する個人情報記憶手段と、該個人情報記憶手段に記憶された該個人情報から少なくとも１つのキーワード候補を抽出する個人情報キーワード抽出手段とを備えていてもよい。
【００２５】
前記キーワード候補特定手段は、前記作業において生成される音声情報を認識して、該音声情報に対応する文字情報を生成する音声認識手段と、該音声情報に対応する該文字情報を記憶する音声認識情報記憶手段と、音声認識情報記憶手段に記憶された該文字情報から少なくとも１つのキーワード候補を抽出する音声キーワード抽出手段とを備えていてもよい。
【００２６】
前記キーワード候補特定手段は、利用者によって入力された文字情報を受け取り、該受け取った文字情報をキーワード候補とするキーワード候補入力手段を備えていてもよい。
【００２７】
前記所定のルールは、キーワードの出現比率に関連する評価値に基づいてキーワードを決定するルールを含んでいてもよい。
【００２８】
前記所定のルールは、競合区間に割り当てられた複数のキーワードのうちいずれのキーワードを選択すべきかを規定するルールを含んでいてもよい。
【００２９】
本発明の他の作業状況管理装置は、作業の時間的経過を表す情報を記憶する記憶手段と、利用者からの検索キーワードを入力するための検索キーワード入力手段と、該入力された検索キーワードに基づいて、該記憶手段に記憶された該作業の時間的経過を表す該情報を検索する検索手段と、該入力された検索キーワードと検索結果とを記憶する検索キーワード記憶手段と、該検索結果に基づいて、該検索キーワードが適切か否かを評価する検索キーワード評価手段とを備えており、これにより、上記目的が達成される。
【００３０】
前記検索キーワード評価手段は、少なくとも前記検索キーワードが利用者により入力された回数と、前記検索結果が利用者により採用された回数とに基づいて、該検索キーワードを評価してもよい。
【００３１】
本発明の他の作業状況管理装置は、第１映像情報を複数の第１映像ブロックに分割し、第２映像情報を複数の第２映像ブロックに分割する映像情報分割手段と、ある時間帯に、該複数の第１映像ブロックのうちの１つと該複数の第２映像ブロックのうちの１つとが存在するか否かを判定し、該時間帯に該複数の第１映像ブロックのうちの１つと該複数の第２映像ブロックのうちの１つとが存在すると判定された場合には、所定のルールに従って、該時間帯に存在する映像ブロックのうちのいずれを優先的に選択するかを決定する映像ブロック評価手段とを備えており、これにより、該第１映像情報と該第２映像情報とを統合して１つの映像情報を生成する。これにより、上記目的を達成できる。
【００３２】
前記所定のルールは、前記時間帯に存在する映像ブロックの時間的な先後関係に基づいて、選択すべき映像ブロックを決定するルールを含んでいてもよい。
【００３３】
前記所定のルールは、作業状況の変化に基づいて、選択すべき映像ブロックを決定するルールを含んでいてもよい。
【００３４】
【作用】
本発明においては、会議参加者が作り出す様々な情報を作業状況管理装置にて管理を行うとともに、利用者が必要な情報（資料、コメント、会議の状況）を効率的に取り出して作業できるよう、会話状況といった体系的には取り扱いにくい動的な情報までも取り扱うことが可能である。
【００３５】
【実施例】
以下、図面を参照しながら本発明を実施例について説明する。
【００３６】
図１の（ａ）は、本発明の実施例の作業状況管理装置１０の構成を示す。作業状況管理装置１０は、作業に関連する情報を入力する入力部１１と、利用者による作業状況を管理する作業状況管理部１３と、作業状況を記憶する作業状況記憶部１４と、資料情報を記憶する資料情報記憶部１５と、入力部１１と作業状況管理部１３とを制御する端末制御部１２を備えている。典型的には、「作業」とは、１人または複数人の利用者が資料を提示してその資料を説明することをいう。特に、本明細書では、複数人の利用者が共通の資料をリアルタイムに検討し、意見を交換しあう電子会議を典型的な作業として想定している。しかし、本明細書にいう作業は、そのような作業に限定されない。本明細書では、「作業状況」とは、その作業がどのような経過で行われたかを示す時系列な情報の集合をいう。また、「資料情報」とは、その作業において利用者により提示される資料に関連する情報をいう。
【００３７】
図１の（ｂ）は、利用者が資料を提示してその資料を説明する場合の、典型的な作業風景を示したものである。利用者は、作業状況管理装置の前に座り、資料を説明する。その資料を撮影するためのカメラ１８（以下、このカメラを書画カメラという）と、その利用者を撮影するためのカメラ１９（以下、このカメラを対人カメラという）と、その利用者が発する音声を収録ためのマイクロフォン２０が作業状況管理装置に接続される。書画カメラ１８、対人カメラ１９によって撮影された映像情報とマイクロフォン２０によって収録された音声情報とは、作業状況管理装置の入力部１１を介して、端末制御部１２に供給される。このようにして、利用者がどのような表情で説明していたか、どのような資料をどのような順番で提示していたかといった作業の経過を示す情報が作業状況管理装置に入力されることとなる。また、入力部１１として、キーボード、マウス、デジタイザ、タッチパネル、ライトペンを使用してもよい。
【００３８】
上述したように、端末制御部１２には、種々の入力装置が入力部１１として接続され得る。端末制御部１２には、端末制御部１２に接続されている入力装置を特定するための識別子が予め設定される。端末制御部１２は、複数の入力装置から情報が入力された場合に、予め設定された識別子に基づいて、どの入力装置からどの情報が入力されたかを識別する。例えば、対人カメラ１９によって撮影された映像情報が端末制御部１２に供給された場合には、端末制御部１２は、対人カメラ１９を特定する識別子とその映像情報との対を作業状況管理部１３に出力する。
【００３９】
作業状況管理部１３は、入力される情報に対して所定の変化が発生したことを検出する。複数の情報が作業状況管理部１３に入力される場合には、作業状況管理部１３は、その複数の情報のそれぞれに対して所定の変化が発生したことを検出する。その所定の変化は、その複数の情報に共通する変化であってもよいし、複数の情報に応じて互いに異なる変化であってもよい。作業状況管理部１３は、入力された情報に対して所定の変化が発生したことを検出すると、その所定の変化が発生した時刻を示す情報とその所定の変化を特定する情報とを作業状況として作業状況記憶部１４に記憶する。このような情報を作業状況記憶部１４に記憶しておくことにより、特定の情報に対する所定の変化を検索キーとして利用して、その作業における所望の箇所を検索することが可能となる。また、入力される音声情報や映像情報そのものも作業状況として作業状況記憶部１４に記憶される。
【００４０】
資料情報記憶部１５は、資料情報を記憶する。資料情報記憶部１５としては、磁気ディスク、ＶＴＲ、光ディスク等の装置が使用される。
【００４１】
作業状況管理装置１０は、作業状況や資料情報を出力する出力部１６と、他の装置とネットワークを介して接続するための伝送部１７とをさらに備えていてもよい。出力部１６としては、ディスプレイ、スピーカー、プリンタ等の装置が使用される。伝送部１２としては、ローカルエリアネットワーク（ＬＡＮ）、ケーブルテレビ（ＣＡＴＶ）、モデム、デジタルＰＢＸ等の装置が使用される。
【００４２】
図２は、複数の端末装置２０にネットワークを介して接続された作業状況管理装置１０を示す。複数の端末装置２０のそれぞれは、作業に関連する情報を入力する入力部２１と、作業状況管理装置とネットワークを介して接続するための伝送部２２と、作業状況や資料情報を出力する出力部２４と、入力部２１と伝送部２２と出力部２４とを制御する端末制御部２３とを備えている。端末装置２０の入力部２１から入力された情報は、伝送部２２、伝送部１７を介して作業状況管理装置１０の端末制御部１２に供給される。端末制御部１２には、ネットワークを介して端末制御部１２に接続されている入力装置と端末制御部１２に直接接続されている入力装置とを特定するための識別子が予め設定される。端末制御部１２は、複数の入力装置から情報が入力された場合に、予め設定された識別子に基づいて、どの入力装置からどの情報が入力されたかを識別する。このようにして、複数の利用者によって使用される複数の端末装置２０のそれぞれから作業の時間的経過を示す情報が作業状況管理装置１０に収集される。端末装置２０の入力部２１としては、キーボード、マウス、デジタイザ、タッチパネル、ライトペン、カメラ、マイク等の装置が使用される。端末装置２０の出力部２４としては、ディスプレイ、スピーカー、プリンタ等の装置が使用される。端末装置２０の伝送部２２としては、ローカルエリネットワーク（ＬＡＮ）、ケーブルテレビ（ＣＡＴＶ）、モデム、デジタルＰＢＸ等の装置が使用される。
【００４３】
図３は、作業状況管理部１３の構成例を示す。作業状況管理部１３は、映像情報の変化を管理する映像情報管理部３１と、音声情報の変化を管理する音声情報管理部３２と、映像情報管理部３１と音声情報管理部３２とを制御する作業状況制御部３３とを含む。本明細書では、「映像情報」とは、作業の時間的経過を示す情報のうち、映像に関連するものをすべて含む。例えば、カメラによって撮影された複数のフレームからなる映像が映像情報に含まれることはもちろんのこと、カメラ操作によって生じる制御信号も映像情報に含まれる。本明細書では、「音声情報」とは、作業の時間的経過を示す情報のうち、音声に関連するものをすべて含む。例えば、マイクロフォンによって生成される音声信号は音声情報に含まれる。
【００４４】
入力部１１から入力された映像情報は、作業状況制御部３３を介して、映像情報管理部３１に入力される。映像情報管理部３１は、入力された映像情報に対して所定の変化が発生したことを検出し、その所定の変化が発生した時刻を示す情報とその所定の変化を特定する情報とを生成する。
【００４５】
入力部１１から入力された音声情報は、作業状況制御部３３を介して、音声情報管理部３２に入力される。映像情報管理部３１は、入力された音声情報に対して所定の変化が発生したことを検出し、その所定の変化が発生した時刻を示す情報とその所定の変化を特定する情報とを生成する。
【００４６】
図３に示す作業状況管理部１３は、作業状況として管理すべき対象を映像情報と音声情報とに限定している。その結果、作業状況管理部１３は、ウインドウを表示する表示装置やウインドウに対して指示する入力装置を要しないので、小型化が容易であるという利点がある。通常のＶＴＲ装置の機能を拡張することにより、通常のＶＴＲ装置とほぼ同等の大きさを有する作業状況管理装置を実現することができるだろう。また、映像情報の利用が可能となるため、会議参加者の表情や計算機には取り込みにくい立体形状の資料の記録などが可能となる。従って、特に、相手の表情を分析する必要がある駆け引きの強い会議や、計算機には取り込みにくい立体形状の組立過程や操作過程を記憶する場合には、作業状況管理部１３は、映像情報管理部３１を有していることが好ましい。
【００４７】
図４は、作業状況管理部１３の他の構成例を示す。作業状況管理部１３は、音声情報の変化を管理する音声情報管理部３２と、ウインドウ情報の変化を管理をするウインドウ情報管理部４３と、音声情報管理部３２とウインドウ情報管理部４３とを制御する作業状況制御部３３とを含む。本明細書では、「ウインドウ情報」とは、ウインドウが有する資源を示す情報をいう。例えば、ウインドウの数、ウインドウのサイズ、ウインドウの位置は、ウインドウ情報に含まれる。利用者の操作によりウインドウ情報が変化すると、そのウインドウ情報の変化を示す制御信号が入力部１１を介して、ウインドウ情報管理部４３に入力される。利用者の操作によりウインドウ情報が変化したことは、端末制御部１２によって検出される。ウインドウ情報の検出を担当する端末制御部１２の部分は、通常、ウインドウ管理部（不図示）と呼ばれる。ウインドウ情報管理部４３は、入力された制御信号を受け取り、その制御信号を受け取った時刻を示す情報とその制御信号を特定する情報とを生成する。ウインドウ情報管理部４３によって生成された情報は作業状況制御部３３に送られ、作業状況制御部３３によって作業状況記憶部１４に記憶される。このようにして、利用者が作業している間のウインドウ情報の変化を作業状況記憶部１４に記憶しておくことにより、利用者が作業をしている間の利用者のウインドウ操作をキーとして利用して、音声情報や映像情報を検索することが可能となる。その結果、利用者は、作業の経過において要所となる箇所を容易に振り返ることが可能となる。
【００４８】
図４に示す作業状況管理部１３は、大量の記憶容量を要する映像情報を作業状況記録部１４に記憶しない。従って、作業状況記録部１４に記憶される情報量を大幅に削減できるという利点がある。また、図４に示す作業状況管理部１３の構成は、会議室などで同一場所に利用者が集まる場合に会議の状況を記録する場合や、音声情報を主として取り扱う通常の電話機の機能を拡張することにより作業状況管理装置を実現する場合に、適している。
【００４９】
図５は、作業状況管理部１３の他の構成例を示す。この構成は、図４に示す構成に、映像情報の変化を管理する映像情報管理部３１を追加した構成である。このような構成とすることにより、実空間における映像情報・音声情報と計算機内の資源であるウインドウ情報とを統合的に管理することができる。
【００５０】
図６は、作業状況管理部１３の他の構成例を示す。作業状況管理部１３は、音声情報の変化を管理する音声情報管理部３２と、指示情報の変化を管理する指示情報管理部５３と、音声情報管理部３２と指示情報管理部５３とを制御する作業状況制御部３３とを含む。本明細書では、「指示情報」とは、資料情報に対する指示を示す情報をいう。例えば、マウスポインタの位置やタッチパネルによって検出される座標位置は、指示情報に含まれる。
【００５１】
入力部１１から入力された指示情報は、作業状況制御部３３を介して、指示情報管理部５３に入力される。指示情報管理部５３は、入力された指示情報に対して所定の変化が発生したことを検出し、その所定の変化が発生した時刻を示す情報とその所定の変化を特定する情報とを生成する。
【００５２】
図６に示す作業状況管理部１３によれば、指示情報の変化と音声情報の変化が同時に発生する箇所を検出できるため、利用者が説明を行った資料の位置に基づいて、会議状況の検索を行うことが容易となる。その理由は、人がある事柄（資料）を説明しようとする場合、音声を発生するのとほぼ同時に資料を指示することが多いからである。図６に示す作業状況管理部１３も、図４に示す作業状況管理部１３と同様にして、大量の記憶容量を要する映像情報を作業状況記録部１４に記憶しない。従って、作業状況記録部１４に記憶される情報量を大幅に削減できるという利点がある。また、図６に示す作業状況管理部１３の構成も、図４に示す作業状況管理部１３の構成と同様にして、会議室などで同一場所に利用者が集まる場合に会議の状況を記録する場合や、音声情報を主として取り扱う通常の電話機の機能を拡張することにより作業状況管理装置を実現する場合に、適している。さらに、図６に示す作業状況管理部１３の構成は、図４に示す作業状況管理部１３の構成に比較して、ウインドウに対する操作が少ない作業に適している。例えば、資料への書き込みがそれほど頻繁に起こらない報告型の会議などである。
【００５３】
図７は、作業状況管理部１３の他の構成例を示す。この構成は、図６に示す構成に、映像情報の変化を管理する映像情報管理部３１を追加した構成である。このような構成とすることにより、実空間における映像情報・音声情報と計算機内の資源である指示情報とを統合的に管理することができる。
【００５４】
図８は、作業状況管理部１３の他の構成例を示す。この構成は、図３〜図７に示す構成を統合したものである。このような構成とすることにより、上述した各構成の長所を引き出すことができるという利点がある。
【００５５】
図９は、映像情報管理部３１の構成を示す。映像情報管理部３１は、カメラ操作を検出するカメラ操作検出部９１と、映像シーンの変化を検出する映像シーン変化検出部９２と、映像チャネルの変化を検出する映像チャネル変化検出部９３と、映像情報の変化に応じてその変化が発生した時刻を示す情報とその変化を特定する情報とを生成する映像情報生成部９４と、映像情報管理制御部９５とを含む。
【００５６】
カメラ操作検出部９１は、所定のカメラ操作を検出する。カメラ操作を検出する理由は、カメラ操作が発生した前後に、利用者にとって着目すべき情報が発生したとみなせる場合が多いからである。端末制御部１２に接続されているカメラが操作されると、そのカメラ操作に応じて、カメラ操作信号が端末制御部１２に入力される。カメラ操作は、被写体に対する映像の倍率を変更するズーム操作と、被写体に焦点をあわせるフォーカス操作と、カメラの位置を固定した状態で水平方向にカメラの向きを変更するパン操作と、カメラの位置を固定した状態で上下方向にカメラの向きを変更するチルト操作とを含む。カメラ操作信号は、ズーム操作を示すズーム操作信号と、フォーカス操作を示すフォーカス操作信号とパン操作を示すパン操作信号とチルト操作を示すチルト操作信号とを含む。端末制御部１２は、カメラ操作信号がどのカメラから入力されたかを識別し、カメラの識別子とカメラ操作信号とを作業状況管理部１３に送る。そのカメラの識別子とそのカメラ操作信号とは、作業状況制御部３３と映像情報管理制御部９５とを介して、カメラ操作検出部９１に入力される。カメラ操作検出部９１は、入力されたカメラ操作信号に所定の変化が発生したか否かを判定する。例えば、カメラ操作信号が操作量に比例したアナログ値で表される場合には、カメラ操作信号が所定のレベルを越えた時、所定の変化が発生したと判定する。その所定のレベルは０であってもよい。また、カメラ操作信号が０または１のデジタル値で表される場合には、カメラ操作信号が０から１に変化した時、所定の変化が発生したと判定する。ここで、デジタル値０はカメラ操作がなされていない状態を示し、デジタル値１はカメラ操作がなされている状態を示す。入力されたカメラ操作信号に所定の変化が発生したと判定された場合には、カメラ操作検出部９１は、その所定の変化を示す検出信号を映像情報生成部９４に送る。映像情報生成部９４は、カメラ操作検出部９１からの検出信号に応じて、そのカメラ操作が発生した時刻を示す情報とそのカメラ操作を特定する情報とを生成する。その所定の変化が発生した時刻を示す情報は、年月日時分秒の少なくとも１つを示す文字列である。「１２時１５分１０秒」、「５／３ １８：０３」は、その文字列の一例である。あるいは、その所定の変化が発生した時刻を示す情報は、文字列の代わりに、バイナリ形式のデータであってもよい。このような時刻を表す情報は、現在時刻を管理するタイマー部（不図示）に現在時刻を問い合わせることにより生成される。
【００５７】
次に、映像シーン変化検出部９２について説明する。端末制御部１２に利用者の顔を撮影するための対人カメラと資料情報を撮影するための書画カメラとが接続されていると仮定する。映像シーン変化検出部９２の目的は、対人カメラの前に着席している利用者の動きを検知すること、および書画カメラによって撮影される資料情報の動きまたは資料情報を指示する利用者の手などの動きを検出することにある。対人カメラおよび書画カメラによって撮影された映像は、作業状況制御部３３および映像情報管理制御部９５を介して、映像シーン変化検出部９２に入力される。映像シーン変化検出部９２は、入力された映像のフレーム間の差分を算出し、その差分が所定の値より大きいか否かを判定する。その差分が所定の値より大きいと判定された場合に、映像シーン変化検出部９２は、映像シーンの変化が発生したとみなして、その変化を示す検出信号を映像情報生成部９４に送る。映像情報生成部９４は、映像シーン変化検出部９２からの検出信号に応じて、映像シーンの変化が発生した時刻を示す情報と映像シーンの変化を特定する情報とを生成する。
【００５８】
資料情報に対する利用者の手の動きを検知するセンサーが設けられている場合には、映像シーン変化検出部９２は、映像のフレーム間の差分に基づいて映像シーンの変化を検出する代わりに、そのセンサーからの出力信号に応じて映像シーンの変化を検出してもよい。例えば、そのセンサーは、利用者の手が資料情報の少なくとも一部を遮ったことを検知する。同様に、対人カメラの前に着席している利用者の動きを検知するセンサーが設けられている場合には、映像シーン変化検出部９２は、映像のフレーム間の差分に基づいて映像シーンの変化を検出する代わりに、そのセンサーからの出力信号に応じて映像シーンの変化を検出してもよい。例えば、そのセンサーは、利用者が離席したことを検知する。そのセンサーは、所定の動きを検知したときのみ１の値を有する出力信号を生成する。そのようなセンサーとしては、赤外線センサーや超音波センサーが使用され得る。映像シーン変化検出部９２は、そのセンサーから出力信号を受け取り、その出力信号の値が１であるか否かを判定する。その出力信号の値が１であると判定された場合には、映像シーン変化検出部９２は、映像シーンの変化が発生したとみなして、その変化を示す検出信号を映像情報生成部９４に送る。映像情報生成部９４は、映像シーン変化検出部９２からの検出信号に応じて、映像シーンの変化が発生した時刻を示す情報と映像シーンの変化を特定する情報とを生成する。
【００５９】
次に、映像チャネル変化検出部９３について説明する。端末制御部１２には４つのカメラ（第１カメラ〜第４カメラ）が接続されていると仮定する。それらのカメラは、ネットワークを介して端末制御部１２に接続されているか、直接的に端末制御部１２に接続されているかを問わない。端末制御部１２は、カメラからの入力をウインドウに割り当て、カメラからの入力とウインドウとの間の割り当て関係を管理する機能を有する。例えば、端末制御部１２は、第１カメラからの入力を第１ウインドウに割り当て、第２カメラからの入力を第２ウインドウに割り当てる。本明細書では、「映像チャネルの変化」とは、カメラからの入力とウインドウとの間の割り当て関係を変更することをいう。例えば、上記の割り当て関係を変更して、第３カメラからの入力を第１ウインドウに割り当て、第４カメラからの入力を第２ウインドウに割り当てる場合、映像チャネルの変化が発生したという。端末制御部１２は、利用者により入力された所定のコマンドに従って、または、プログラムからの所定の制御命令に従って、カメラからの入力とウインドウとの間の割り当て関係を変更する。例えば、会議の司会者が発言を求める会議参加者の顔を常に同一のウインドウに表示することを望む場合には、会議の司会者は発言者が変更する度に映像チャネルを切り替えるコマンドを入力するかもしれない。あるいは、参加者の顔を均等に同一ウインドウに表示するために、一定の時間間隔ごとにプログラムが映像チャネルを自動的に切り替えるかもしれない。映像チャネル変化検出部９３は、所定のコマンドまたはプログラムからの所定の制御命令を検出した場合に、映像チャネルの変化が発生したとみなして、その変化を示す検出信号を映像情報生成部９４に送る。映像情報生成部９４は、映像チャネル変化検出部９３からの検出信号に応じて、その映像チャネルの変化が発生した時刻を示す情報とその映像チャネルの変化を特定する情報とを生成する。映像シーンの変化を検出することは、映像チャネルの利用目的（例えば、会議の参加者の映像を流す映像チャネルなど）が明確である場合に特に有効である。さらに、映像チャネル変化検出部９３によれば、撮影時にカメラ操作に関する情報が記憶されていない場合でも、撮影された映像情報のみに基づいて、映像シーンの変化を検出することが可能である。
【００６０】
上述したように、カメラ操作検出部９１と映像シーン変化検出部９２と映像チャネル変化検出部９３の機能は、互いに独立である。従って、映像情報管理部３１をカメラ操作検出部９１と映像シーン変化検出部９２と映像チャネル変化検出部９３のうちの１つ、または、任意の２つを含むように構成することも可能である。
【００６１】
図１０は、音声情報管理部３２の構成を示す。音声情報管理部３２は、マイクロフォンから入力される音声信号のパワーに基づいて、入力される音声信号を有音部と無音部とに分割する音声情報分割部１０１と、音声信号の無音部から有音部への変化に応じて、その変化が発生した時刻を示す情報とその変化を特定する情報とを生成する音声情報生成部１０２と、音声情報分割部１０１と音声情報生成部１０２とを制御する音声情報管理制御部１０３とを含む。
【００６２】
音声情報分割部１０１は、入力される音声信号のパワーを測定し、その測定結果に基づいて入力される音声信号を有音部と無音部とに分割する。音声信号を有音部と無音部に分割する具体的な方法については図３４を参照して後述する。音声情報分割部１０１は、この音声分割に基づいて、音声信号の無音部から有音部への変化と有音部が継続する音声ブロック数とを検出する。音声情報生成部１０２は、音声情報分割部１０１からの検出信号に応じて、音声信号が無音部から有音部に変化した時刻を示す情報と有音部が継続する音声ブロック数を示す情報とを生成する。音声信号が無音部から有音部に変化した時刻を示す情報と有音部が継続する音声ブロック数を示す情報とは、作業状況記憶部１４に記憶される。このように、音声信号が無音部から有音部に変化した時刻と有音部が継続する音声ブロック数とを作業状況記憶部１４に記憶しておくことにより、音声信号の有音部に対応する時間帯に利用者により記録もしくは利用された映像情報のみを再生することが可能となる。その結果、利用者は作業の経過において要所となる箇所を容易に振り返ることが可能となる。
【００６３】
図１１は、ウインドウ情報管理部４３の構成を説明する図である。ウインドウ情報管理部４３は、ウインドウの生成・破壊を検出するウインドウ生成・破壊検出部１１１と、ウインドウサイズの変化を検出するウインドウサイズ変化検出部１１２と、ウインドウの表示位置の変化を検出するウインドウ表示位置変化検出部１１３と、ウインドウに対するフォーカス（利用者間で編集（話題）の対象となるウインドウの切り替え作業）の変化を検出するウインドウフォーカス変化検出部１１４と、ウインドウで表示すべき情報の表示領域の変化を検出するウインドウ表示領域変化検出部１１５と、複数のウインドウ間の重なり関係の変化を検出するウインドウ間の表示変化検出部１１６と、ウインドウ情報の変化に応じて、その変化が発生した時刻を示す情報とその変化を特定する情報とを生成するウインドウ情報生成部１１７と、ウインドウ情報管理制御部１１８とを含む。
【００６４】
ウインドウ生成・破壊検出部１１１は、ウインドウの生成またはウインドウの破壊を検出して、検出信号をウインドウ情報生成部１１７に送る。その他の検出部１１２〜１１６も、同様にして、所定の変化を検出して、検出信号をウインドウ情報生成部１１７に送る。ウインドウ情報生成部１１７は、検出信号を受け取り、その検出信号に応じてその変化が発生した時刻を示す情報とその変化を特定する情報とを生成する。
【００６５】
図１２は、指示情報管理部５３の構成を示す。指示情報管理部５３は、指示情報の変化を検出する指示情報検出部１２１と、指示情報の変化に応じて、その変化が発生した時刻を示す情報とその変化を特定する情報とを生成する指示情報生成部１２２と、指示情報管理制御部１２３とを含む。
【００６６】
マウスポインタによる指示を例にとり、指示情報管理部５３の動作を説明する。利用者によってマウスのボタンが押下されると、マウスのボタン押下を示す信号とマウスポインタの座標位置を示す信号が指示情報検出部１２１に入力される。指示情報検出部１２１は、マウスポインタの座標位置の所定の変化を検出し、その所定の変化を示す検出信号を生成する。例えば、その所定の変化は、マウスポインタがウインドウ上のある位置から他の位置に移動することである。あるいは、その所定の変化は、マウスポインタがウインドウ上のある領域内からその領域外へ移動することであってもよい。あるいは、その所定の変化は、マウスのボタンがダブルクリックされたことであってもよいし、マウスがドラッギングされていることであってもよい。指示情報生成部１２２は、指示情報検出部１２１からの検出信号に応じて、その変化が発生した時刻を示す情報とその変化を特定する情報とを生成する。
【００６７】
図１３は、音声情報生成部１０２によって生成され、作業状況制御部３３によって作業状況記憶部１４に記憶される情報の例を示す。この例では、音声情報の変化が発生した時刻を示す情報として、有音部の開始時刻が記憶されている。また、音声情報の変化を特定する情報として、音声ブロックの識別子、音声を発した利用者、有音部の音声ブロック長が記憶されている。音声を発した利用者は、入力装置の識別子と利用者との対応関係に基づいて特定される。この対応関係は予め設定される。例えば、図１３の第１行は、「山口さん」の端末装置に接続されているマイクロフォンから入力された音声情報において、「１２時１５分１０秒」から「１５ブロック長（秒）」だけ有音部が続いたという作業状況を示す。
【００６８】
図１４は、映像情報生成部９４によって生成され、作業状況制御部３３によって作業状況記憶部１４に記憶される情報の例を示す。この例では、映像情報の変化が発生した時刻を示す情報として、事象の発生時刻が記憶されている。また、映像情報の変化を特定する情報として、発生事象、事象発生者、発生位置が記憶されている。本明細書では、「事象」とは、所定の変化と同義であると定義する。発生事象は、映像シーンの変化を含む。事象発生者および発生位置は、入力装置の識別子と利用者と入力装置の用途との対応関係に基づいて特定される。この対応関係は予め設定される。例えば、図１４の第１行は、「山口さん」の端末装置に接続されている「書画カメラ」から入力される映像情報において、「５／３１８：０３」に「映像シーンの変化」という事象が発生したという作業状況を示す。
【００６９】
なお、映像情報の変化を検出するための方法としては、資料を提示するための書画カメラに手の動きを検出するための赤外線センサーを付加する方法や、利用者の表情を撮影するための対人カメラに利用者の在席状況を調べるための超音波センサーを付加する方法がある。これらの方法により、映像情報の変化を検出することができる。このように、各種センサーを目的に合わせて利用することにより、利用者の動き情報が得られる。また、カメラで得られる映像情報のフレーム間の差分情報を利用することにより、動き情報を得ることも可能である。詳細については、以下の図２７を参照して後述する。
【００７０】
図１５は、映像情報生成部９４によって生成され、作業状況制御部３３によって作業状況記憶部１４に記憶される情報の他の例を示す。この例では、発生事象は、図１４で説明した映像シーンの変化に加えて、カメラ操作の変化および映像チャネルの変化をも含む。例えば、図１５の第１行は、「山口さん」の端末装置に接続されている「書画カメラ」から入力される映像情報において、「５／３ １８：０３」に「ズーム拡大」という事象が発生したという作業状況を示す。
【００７１】
図１６は、ウインドウ情報生成部１１７および指示情報生成部１２２によって生成され、作業状況制御部３３によって作業状況記憶部１４に記憶される情報の例を示す。この例では、ウインドウ情報または指示情報の変化が発生した時刻を示す情報として、事象の発生時刻が記憶されている。また、ウインドウ情報または指示情報の変化を特定する情報として、発生事象、事象発生者、発生位置が記憶されている。事象発生者および発生位置は、入力装置の識別子と利用者と入力装置の用途との対応関係に基づいて特定される。この対応関係は予め設定される。例えば、図１５の第１行は、「山口さん」の端末装置のウインドウに表示されている「資料番号１番」の資料の「第１章」において「５／３ １８：０３」に「マウスポインタによる指示」という事象が発生したという作業状況を示す。ウインドウに対する操作は、論理的なページ、章、節を基本単位としてもよい。更に、ウインドウが個人的なメモを記述するための個人メモ記述部を有している場合には、個人メモ記述部の内容の変化に着目してもよい。このように、作業状況を作業状況記憶部１４に記憶しておくことにより、利用者が作業中の記憶をもとに、作業中に撮影した映像情報や音声情報を検索することが可能となる。
【００７２】
図１７〜図２０を参照して、ネットワークで相互接続された複数の端末装置を利用して、複数の利用者で電子会議を行う場合に、作業状況管理部１３により管理されることが好ましい所定の変化を例示する。
【００７３】
図１７を参照して、ウインドウ情報の変化を検出することにより、利用者が着目しているウインドウを決定する方法を説明する。以下、利用者が着目していると作業状況管理部１３により推定されるウインドウを着目ウインドウという。ウインドウ情報の変化としてウインドウサイズの変更を例にとり、その方法を説明する。ウインドウは、ウインドウサイズを変更するためのウインドウサイズ変更部を有しているものと仮定する。公知のウインドウシステムでは、ウインドウサイズ変更部はウインドウの周辺部分に設けられていることが多い。通常、利用者は、ウインドウサイズ変更部をマウスで指示したまま、そのマウスをドラッギングすることにより、そのウインドウのサイズを変更する。作業状況管理部１３は、ウインドウサイズの変化を検出し、サイズが変更されたウインドウを着目ウインドウであると決定する。作業状況管理部１３は、どのウインドウが着目ウインドウであるかを示す情報を時系列に作業状況記憶部１４に記憶する。なお、複数のウインドウに対してウインドウサイズの変更が行われ得る場合には、作業状況管理部１３は、最も最近にサイズが変更されたウインドウを着目ウインドウである決定してもよい。あるいは、作業状況管理部１３は、所定のサイズより大きいサイズを有するウインドウを着目ウインドウであると決定してもよい。また、ウインドウが着目されている時間間隔が所定の時間間隔より短い場合に、利用者が資料を検索していると判断して、そのウインドウは着目されていないと決定してもよい。そのようなウインドウは、利用者の主たる話題の対象ではないと推定されるからである。同様にして、ウインドウサイズの変更以外のウインドウ情報の変化（例えば、ウインドウフォーカスの変化やウインドウ間の表示変化）を利用して、着目ウインドウを決定することも可能である。
【００７４】
図１８を参照して、ウインドウの所有者情報を利用して利用者が着目しているウインドウを決定する方法を説明する。ディスプレイに表示される編集領域は、図１８に示されるように、複数の利用者により編集可能な共同編集領域１８１と１人の利用者によりのみ編集可能な個人編集領域１８２とを含み、共同編集領域１８１の位置と個人編集領域１８２の位置とは予め設定されていると仮定する。作業状況管理部１３は、利用者の操作によりウインドウの位置が個人情報編集領域１８２から共同情報編集領域１８１へと移動したことを検出し、その移動したウインドウを着目ウインドウであると決定する。作業状況管理部１３は、どのウインドウが着目ウインドウであるかを示す情報とともに、着目ウインドウが共同編集領域１８１および個人編集領域１８２のうちいずれの領域に位置するかを示す情報を時系列に作業状況記憶部１４に記憶する。
【００７５】
図１９を参照して、ウインドウ表示領域の変化を検出することにより、利用者の着目している情報を決定する方法を説明する。ウインドウは、表示内容をスクロールするためのウインドウ表示領域変更部１９１を有するものと仮定する。公知のウインドウシステムにおいては、ウインドウ表示領域変更部１９１は、スクロール・バー形式のユーザインタフェースを有することが多い。しかし、ウインドウ表示領域変更部１９１は、押しボタン形式などの他のユーザインタフェースを有していてもよい。利用者がウインドウ表示領域変更部１９１を操作すると、ウインドウの表示内容がスクロールされる。作業状況管理部１３は、ウインドウ表示領域が変化したことを検出する。作業状況管理部１３は、ウインドウ表示領域が変化した後、所定のレベル以上の音声信号が所定の時間以上（例えば、１秒間以上）継続するか否かを判定する。このような判定が有効な理由は、人は資料を他人に説明する場合に、資料の特定の位置を指示して説明の対象をあきらかにした後、音声（言葉）を用いて他人に自分の意図を伝えようとすることが多いからである。ウインドウ表示領域が変化した後、所定のレベル以上の音声信号が所定の時間以上継続したと判定された場合には、作業状況管理部１３は、利用者が着目している資料情報の時間的、位置的情報（例えば、文書名や項目名等）を作業状況記憶部１４に記憶する。また、作業状況管理部１３は、ウインドウ表示領域が変化した後、資料情報に対する指示が発生したことを検出し、その指示の時間的、位置的情報を利用者の着目地点を示す情報として作業状況記憶部１４に記憶してもよい。更に、上述した２つの検出方法を組み合わせて、作業状況管理部１３が利用者が発する音声を所定の時間以上検出し、且つ、資料情報に対する指示が発生したことを検出した場合に、利用者が着目している資料情報の時間的、位置的情報を作業状況記憶部１４に記憶してもよい。
【００７６】
図２０および図２１を参照して、映像情報に対する利用者の着目地点を検出する方法を説明する。図２１に示すように、端末装置には資料情報を撮影するための書画カメラが接続されていると仮定する。作業状況管理部１３は、利用者によって所定のカメラ操作がなされた後に、利用者により音声情報が生成されたことを検出する。その所定のカメラ操作とは、例えば、映像ソースが複数存在する場合の映像チャンネルの切り替え、カメラのズーム操作、ＶＴＲ機器などの記録装置の操作などである。このような検出が有効である理由は、所定のカメラ操作をした後に、利用者が何かを意図的に説明しようとして音声を発することが多いからである。作業状況管理部１３は、そのようなタイミングでの音声情報の発生は利用者の着目地点を示すと判断して、利用者の着目地点を示す時間的、位置的情報（例えば、映像情報のどの位置を、いつ指示したかを示す情報）を作業状況記憶部１４に記憶する。
【００７７】
図２０は、電子会議中に、ある利用者が書画カメラを利用して「回路基盤」を図示した資料を映し出し、他の参加者が「回路基盤」の映像に自分が手で指示している映像をオーバーレイ（重ね合わせ）させているところを示す。ここで、音声情報の会話状態（例えば、誰が、いつ、有音部とみなせる情報を発したか）を利用者毎に記憶しておくことにより、誰が、いつ、着目すべき発言を行ったかを容易に検索することができる。作業状況管理部１３は、利用者によってカメラ操作がなされた後に、資料情報に対する指示が発生したことを検出する。作業状況管理部１３は、そのようなタイミングでの資料情報に対する指示は利用者の着目地点を示すと判断して、その指示の時間的、位置的情報を作業状況記憶部１４に記憶する。資料情報に対する指示を検出する方法としては、例えば、マウスポインタによる指示を検出する方法や、図２７に示すように、資料情報を手などで指示したことを書画カメラに設けられた赤外線センサーなどにより検出する方法がある。なお、書画カメラによって撮影された映像情報を利用して資料情報に対する指示を検出する方法としては、映像情報におけるフレーム間の差分を利用してもよい。あるいは、作業状況管理部１３は、利用者によってカメラ操作がなされた後に、利用者が発する音声情報を検出し、且つ、資料情報に対する指示が発生したことを検出した場合に、その指示の時間的、位置的情報を利用者の着目地点を示す情報として作業状況記憶部１４に記憶してもよい。このような検出が有効な理由は、人は資料を他人に説明する場合に、資料の特定の位置を指示して説明の対象をあきらかにした後、音声（言葉）を用いて他人に自分の意図を伝えようとすることが多いからである。特に、図２０に示したように、映像を見ながら複数の利用者の間でその映像について議論をする場合には、音声の発生時間（音声の有音部となる区間）や映像に対する指示を利用者毎に記憶することが有効である。その理由は、利用者が映像に着目したと推定される時点が利用者毎に分かるため資料情報の検索・編集が容易になるからである。さらに、利用者が着目していると推定される時点の映像情報や音声情報のみを記録もしくは出力することにより、利用者に提示する情報量の低減や記憶容量の低減を図ることができる。
【００７８】
次に、作業状況記憶部１４に記憶された作業状況を利用して、映像情報もしくは音声情報にキーワードを付加するキーワード管理部２２０を有する作業状況管理装置を説明する。本明細書では、「映像情報もしくは音声情報にキーワードを付加する」とは、時間帯ｔに対してその時間帯ｔに対応するキーワードを決定することをいう。例えば、キーワード管理部２２０は、時間帯ｔ1に対してキーワード「Ａ」、時間帯ｔ2に対してキーワード「Ｂ」、時間帯ｔ3に対してキーワード「Ｃ」を割り当てる。映像情報もしくは音声情報は時刻ｔの関数によって表されるので、キーワードを検索キーとして利用して、映像情報もしくは音声情報の所望の箇所を検索することが可能になる。
【００７９】
図２２は、キーワード管理部２２０の構成を示す。キーワード管理部２２０は、作業状況記憶部１４から作業の時間的経過を示す情報を入力し、キーワード記憶部２２４に時間帯ｔとその時間帯ｔに対応するキーワードＫ（ｔ）の組（ｔ，Ｋ（ｔ））を出力する。キーワード管理部２２０は、作業状況記憶部１４から作業の時間的経過を示す情報を読み出し、その情報に基づいて、作業に要した時間のうち、キーワードを付すべき時間帯を特定する時間帯特定部２２１と、時間帯特定部２２１によって特定された時間帯に対して、少なくとも１つのキーワード候補を特定するキーワード候補特定部２２２と、キーワード候補の中から１つのキーワード候補を所定のルールに従って選択し、選択されたキーワード候補をその時間帯に対応するキーワードとして決定するキーワード決定部２２３とを有している。時間帯とその時間帯に対応するキーワードとは、キーワード記憶部２２４に記憶される。
【００８０】
上述したように、キーワード管理部２２０によって映像情報もしくは音声情報にキーワードを付加するためには、作業の時間的経過を示す情報が作業状況記憶部１４に予め記憶されている必要がある。作業の時間的経過を示す情報は、作業状況管理部１３によって生成され、作業状況記憶部１４に記憶される。以下、どのような情報を作業状況記憶部１４に記憶しておくべきかを説明する。
【００８１】
図２３の（ａ）は、文書を編集する作業の流れを示したものである。例えば、文書Ａに対して変更、挿入、削除などの編集作業が行なわれ、その結果文書Ａ’が作成される。作業状況管理部１３は、編集前の文書Ａと編集後の文書Ａ’との間の差分を生成し、その差分が発生した時刻を示す情報とその差分を特定する情報を作業状況記憶部１４に出力する。差分を特定する情報は、例えば、差分文字列を格納するファイルの名称である。作業状況管理部１３は、その差分を特定する情報の代わりに編集後の文書Ａ’を特定する情報を作業状況記憶部１４に出力してもよい。差分が存在しない場合もあり得るからである。編集前の文書Ａと編集後の文書Ａ’との間の差分を取得するタイミングは、一定時間ごとであってもよいし、ウインドウがオープンされた時またはウインドウがクローズされた時であってもよい。
【００８２】
図２３の（ｂ）は、図２３の（ａ）に示す作業を行った場合に、作業状況管理部１３により作業状況記憶部１４に記憶される情報の例を示す。この例では、文書が編集された時間帯と、編集前の文書名と、編集後の文書名と、差分とが記憶されている。
【００８３】
図２４の（ａ）は、作業において、利用者により資料情報の一部が指示されている場面を示す。利用者は、マウスポインタやタッチパネルなどを用いて資料情報を指示することにより、資料情報の範囲を指定する。図２４の（ａ）では、利用者により指定された範囲が反転表示されている。作業状況管理部１３は、利用者により指定された範囲を検出し、利用者による指示が発生した時刻を示す情報と利用者により指定された範囲を特定する情報とを作業状況記憶部１４に出力する。
【００８４】
図２４の（ｂ）は、図２４の（ａ）に示す指示が発生した場合に、作業状況管理部１３により作業状況記憶部１４に記憶される情報の例を示す。この例では、指示をした人物名と、指示が発生した時間帯と、その指示により指定された範囲とが記憶されている。
【００８５】
図２５の（ａ）は、作業において、資料情報がウインドウに表示されている場面を示す。そのウインドウは資料情報の表題を記述するための表題記述部２５０１を有している。表題としては、例えば、章、節、項の名称や番号が記述される。作業状況管理部１３は、利用者により着目されているウインドウを検出し、着目ウインドウを検出した時刻を示す情報とそのウインドウの表題記述部２５０１に記述されている情報とを作業状況記憶部１４に出力する。さらに、ウインドウは、利用者の個人的なメモを記述するための個人情報記述部２５０２を有していてもよい。作業状況管理部１３は、利用者により着目されているウインドウを検出し、着目ウインドウを検出した時刻を示す情報とそのウインドウの個人情報記述部２５０２に記述されている情報とを作業状況記憶部１４に出力する。
【００８６】
図２５の（ｂ）は、作業状況管理部１３により作業状況記憶部１４に記憶される情報の例を示す。この例では、表題と、対象者と、そのウインドウが着目されていた時間帯と、個人メモとが記憶されている。
【００８７】
図２６の（ａ）は、音声キーワード検出部２６０１の構成を示す。音声キーワード検出部２６０１は作業状況管理部１３に含まれる。音声キーワード検出部２６０１は、入力部１１から入力される音声情報に含まれる所定の音声キーワードを検出して、所定の音声キーワードを検出した時刻を示す情報と検出された音声キーワードを示す情報とを作業状況記憶部１４に出力する。音声キーワード検出部２６０１は、音声認識部２６０２と、音声キーワード抽出部２６０３と、音声キーワード辞書２６０４と、音声処理制御部２６０５とを有している。音声認識部２６０２は、入力部１１から音声情報を受け取り、その音声情報をその音声情報に対応する文字列に変換する。音声キーワード抽出部２６０３は、音声認識部２６０２から音声情報に対応する文字列を受け取り、音声キーワード辞書２６０４を検索することにより、音声情報に対応する文字列から音声キーワードを抽出する。音声キーワード辞書２６０４には、抽出すべき音声キーワードが予め格納される。例えば、音声キーワード辞書２６０４に「ソフトウェア」という音声キーワードが予め格納されていると仮定する。音声認識部２６０２に「このソフトウェアの特徴は高速に動作することである」という音声情報が入力されると、音声認識部２６０２は、「このソフトウェアの特徴は高速に動作することである」という文字列を生成する。音声キーワード抽出部２６０３は、「このソフトウェアの特徴は高速に動作することである」という文字列を受け取り、受け取った文字列から音声キーワード辞書２６０４に格納されている音声キーワードである「ソフトウェア」に一致する文字列を抽出する。音声処理制御部２６０５は、上述の処理を制御する。
【００８８】
図２６の（ｂ）は、作業状況管理部１３により作業状況記憶部１４に記憶される情報の例を示す。この例では、発話した人物名と、発話が行われた時間帯と、発話内容から抽出された音声キーワードとが記憶されている。
【００８９】
図２７は、図２２に示すキーワード管理部２２０が行う音声情報もしくは映像情報へのキーワード付加処理の流れを示す。時間帯特定部２２１は、映像情報もしくは音声情報の評価対象区間（時間帯）を特定する（ステップＳ２７０１）。評価対象区間（時間帯）の指定方法は、図２８の（ａ）〜（ｃ）を参照して後述される。キーワード候補特定部２２２は、後述する各キーワード抽出処理部の処理結果に基づいて、少なくとも１つのキーワード候補を特定する（ステップＳ２７０２）。キーワード候補の中から１つを採用するために、キーワード決定部２２３は、後述するキーワードの決定ルールの中から決定ルールを選択する（ステップＳ２７０３）。キーワード決定部２２３は、選択された決定ルールに基づき、評価対象区間（時間帯）に対応するキーワードを決定する（ステップＳ２７０４）。
【００９０】
図２８の（ａ）〜（ｃ）を参照して、映像情報もしくは音声情報の評価対象区間（時間帯）を特定する方法を説明する。その方法は主として３つある。１つ目は、キーワードを付すべき範囲を音声情報の有音部に限定する方法である。２つ目は、キーワードを付すべき範囲を利用者がウインドウに着目している区間に限定する方法である。利用者が特定のウインドウに着目していることを検出する方法については、図１７〜図２１を参照して既に説明した。３つ目は、キーワードを付すべき範囲を、指示情報が発生した区間に限定する方法である。指示情報としては、上述したように、マウスポインタによる指示や資料情報への指による指示などが挙げられる。これらの対象範囲の指定方法を組み合わせる方法が、図２８の（ａ）〜（ｃ）に示されている。
【００９１】
図２８の（ａ）は、ウインドウ情報と音声情報とに基づいて、キーワードを付すべき範囲を限定する方法である。時間帯特定部２２１は、キーワードを付すべき範囲を音声情報の有音部と利用者がウインドウに着目している時間帯との重複部分に限定する。図２８の（ａ）に示す例では、音声情報の有音部と利用者がウインドウに着目している時間帯との重複部分として時間帯Ｔ1、Ｔ2が時間帯特定部２２１により特定される。
【００９２】
図２８の（ｂ）は、ウインドウ情報と指示情報とに基づいて、キーワードを付すべき範囲を限定する方法である。時間帯特定部２２１は、キーワードを付すべき範囲を利用者がウインドウに着目している時間帯と指示情報が発生した時間帯との重複部分に限定する。図２８の（ｂ）に示す例では、利用者がウインドウに着目している時間帯と指示情報が発生した時間帯との重複部分として時間帯Ｔ1、Ｔ2、Ｔ3が時間帯特定部２２１により特定される。
【００９３】
図２８の（ｃ）は、指示情報と音声情報とに基づいて、キーワードを付すべき範囲を限定する方法である。時間帯特定部２２１は、キーワードを付すべき範囲を指示情報が発生した時間帯と音声情報の有音部との重複部分に限定する。図２８の（ｃ）に示す例では、指示情報が発生した時間帯と音声情報の有音部との重複部分として時間帯Ｔ1、Ｔ2、Ｔ3が時間帯特定部２２１により特定される。
【００９４】
上記の時間帯Ｔ1、Ｔ2、Ｔ3には、互いに異なるキーワードが付加されてもよいし、同一のキーワードが付加されてもよい。例えば、図２８の（ａ）〜（ｃ）に示す例では、時間帯Ｔ1、Ｔ2、Ｔ3に同一のキーワード「回路基板」が付加される。このように、異なる時間帯に同一のキーワードを付加することにより、時間帯の異なる映像情報を、同一キーワードを有する論理的な１つのグループである映像ブロックとして扱うことが可能となる。同様にして、異なる時間帯に同一のキーワードを付加することにより、時間帯の異なる音声情報を、同一キーワードを有する論理的な１つのグループである音声ブロックとして扱うことが可能となる。その結果、映像情報および音声情報を論理的な情報単位で取り扱うことが容易になる。
【００９５】
図２９は、図２２に示すキーワード候補特定部２２２の構成を示す。キーワード候補特定部２２２は、編集前の文書と編集後の文書との間の差分に基づいてキーワード候補を抽出する文書キーワード抽出部２９０１と、指示情報に基づいてキーワード候補を抽出する指示キーワード抽出部２９０２と、個人情報記述部２５０２に記述されるメモの内容に基づいてキーワード候補を抽出する個人キーワード抽出部２９０３と、表題記述部２５０１に記述される表題の内容に基づいてキーワード候補を抽出する表題キーワード抽出部２９０４と、音声情報に基づいてキーワード候補を抽出する音声キーワード抽出部２９０５と、利用者からキーワード候補を入力するためのキーワード入力部２９０６と、キーワード制御部２９０７とを有している。
【００９６】
次に、キーワード候補特定部２２２の動作を説明する。時間帯特定部２２１によって特定された時間帯Ｔは、キーワード制御部２９０７に入力される。キーワード制御部２９０７は、その時間帯Ｔを抽出部２９０１〜２９０５のそれぞれと、キーワード入力部２９０６とに送る。抽出部２９０１〜２９０５のそれぞれは、時間帯Ｔに対して付加すべきキーワード候補を抽出して、抽出されたキーワード候補をキーワード制御部２９０７に送り返す。利用者により入力されたキーワード候補もまたキーワード制御部２９０７に送られる。このようにして、キーワード制御部２９０７には、時間帯Ｔに対して少なくとも１つのキーワード候補が収集される。時間帯Ｔに対して収集された少なくとも１つのキーワード候補は、キーワード決定部２２３に送られる。
【００９７】
例えば、「１０時００分から１０時０１分」の時間帯がキーワード候補特定部２２２に入力されたと仮定する。文書キーワード抽出部２９０１は、作業状況記憶部１４に記憶されている図２３の（ｂ）に示すテーブルを検索する。その結果、「１０時００分から１０時０１分」の時間帯を含む「１０時００分から１０時０３分」（１０：００―＞１０：０３）の時間帯がヒットする。文書キーワード抽出部２９０１は、ヒットされた時間帯に編集された文書の差分からキーワード候補を抽出する。文書の差分からキーワード候補を抽出する方法としては、例えば、文書の差分に含まれる文字列のうち名詞に相当する文字列のみをキーワード候補とする方法がある。文字列が名詞に相当するか否かを判定するには、ワードプロセッサなどで利用する「かな漢字変換辞書」を利用すればよい。
【００９８】
指示キーワード抽出部２９０２は、作業状況記憶部１４に記憶されている図２４の（ｂ）に示すテーブルを検索する。その結果、「１０時００分から１０時０１分」の時間帯に一致する「１０時００分から１０時０１分」（１０：００―＞１０：０１）の時間帯がヒットする。指示キーワード抽出部２９０２は、ヒットされた時間帯の指定範囲に含まれる文字列からキーワード候補を抽出する。
【００９９】
同様にして、個人キーワード抽出部２９０３と表題キーワード抽出部２９０４とは、作業状況記憶部１４に記憶されている図２５の（ｂ）に示すテーブルを検索する。音声キーワード抽出部２９０５は、作業状況記憶部１４に記憶されている図２６の（ｂ）に示すテーブルを検索する。
【０１００】
次に、キーワード決定部２２３の動作を説明する。キーワード決定部２２３は、キーワード候補特定部２２２から少なくとも１つのキーワード候補を受け取り、所定のキーワード決定ルールに従って、受け取ったキーワード候補のうちの１つを選択する。
【０１０１】
図３０は、キーワード決定ルールの例である。ルール１〜４は、いずれの抽出部から抽出されたキーワード候補を優先的に選択すべきかを定めている。ルール５は、キーワード評価値に基づいて、複数の抽出部から抽出されたキーワード候補のいずれを選択すべきかを定めている。
【０１０２】
次に、図３１に定義されるキーワード評価値に基づいて、複数のキーワード候補のうち１つのキーワード候補を選択する方法を説明する。その方法は、キーワード抽出部の評価や、評価区間の違いを考慮するか否かで、以下の４つに分類される。（１）キーワード評価値に基づいてキーワード候補を選択する方法：キーワード評価値は、１つのキーワード抽出部から複数のキーワード候補が抽出された場合に、その複数のキーワード候補のうちの１つを選択するために使用される。キーワード評価値とは、キーワード抽出部での出現回数を、キーワード抽出部で得られたキーワード候補の数によって割ることにより得られるキーワード出現比率の値である。（２）キーワード総合評価値に基づいてキーワード候補を選択する方法：キーワード総合評価値は、複数のキーワード抽出部の評価結果を考慮したものである。キーワード総合評価値は、キーワード評価値と利用者により予め定義されたキーワード抽出部に対する評価値との積をキーワード抽出部毎に求め、それらの積の総和を求めることにより得られる。（３）キーワード重要度に基づいてキーワード候補を選択する方法：キーワード重要度は、１つのキーワード抽出部から得られる同一名のキーワードを総合的に評価するものである。キーワード重要度は、キーワード評価値を映像ブロックもしくは音声ブロックの時間長であるキーワード出現時間で割ることによって得られる単位時間キーワード評価値を映像ブロック（音声ブロック）毎に求め、当該キーワードが出現するすべての映像ブロック（音声ブロック）に対して単位時間キーワード評価値の総和を求めることにより得られる。（４）キーワード総合重要度に基づいてキーワード候補を選択する方法：キーワード総合重要度は、複数のキーワード抽出部の評価結果を考慮したものである。キーワード総合重要度は、キーワード重要度と利用者により予め定義されたキーワード抽出部に対する評価値との積をキーワード抽出部毎に求め、それらの積の総和を求めることにより得られる。
【０１０３】
図３２を参照して、キーワード評価値およびキーワード重要値に基づいて、キーワードを決定する方法の手順を具体例に即して説明する。まず、（１）キーワードを付すべき評価対象区間（時間帯）毎にキーワード評価値を求める。（２）キーワード評価値に基づいて、キーワードを決定する。図３２の例では、評価対象区間（時間帯）Ｔ1のキーワード評価値は、キーワード毎にそれぞれ、「回路基盤」が0.5、「回路図面」が0.4、「安全性」が0.1となっている。その結果、キーワード評価値の一番高いものを優先するならば、評価対象区間（時間帯）Ｔ1のキーワードは「回路基盤」に決定される。同様にして、評価対象区間（時間帯）Ｔ2のキーワードは「回路図面」に決定され、評価対象区間（時間帯）Ｔ3のキーワードは「安全性」に決定され、評価対象区間（時間帯）Ｔ4のキーワードは「回路基盤」に決定される。（３）複数の評価対象区間（時間帯）に同一のキーワードが付加される場合も考えられる。この場合には、その複数の評価対象区間（時間帯）にまたがってキーワードの評価を行うために、キーワードが出現する時間長が考慮される。図３２の例では、キーワード評価値0.5を有する「回路基盤」が時間長５を有する評価対象区間（時間帯）Ｔ1に出現し、キーワード評価値0.6を有する「回路基盤」が時間長５を有する評価対象区間（時間帯）Ｔ4に出現するので、「回路基盤」のキーワード重要度は、(0.5+0.6)/(5+5)=0.11となる。同様にして、「回路図面」のキーワード重要度は0.1、「安全性」のキーワード重要度は0.25となる。キーワード重要度に従って、キーワードを利用者に提示する順序を制御すると、「安全性」、「回路基盤」、「回路図面」の順になる。これにより、映像情報や音声情報に付加されるキーワードの数を不必要に多くならないように制御できる。
【０１０４】
次に、図３３を参照して、会話情報の自動編集を行う方法を説明する。この方法は、映像情報もしくは音声情報に付加されたキーワードを利用する例の１つである。
【０１０５】
図３３は、音声情報を基準として映像情報もしくは音声情報にキーワードを付加する場合の会話情報の自動編集を行う方法の手順を示す。利用者の会話により発生した音声情報を有音部と無音部とに分割する（ステップＳ３３０１）。音声情報を有音部と無音部とに分割するには、例えば、音声情報の有音状態と無音状態とを区別するために音声パワーの閾値を予め決めておき、閾値に基づき分割してゆけばよい。この分割方法は、図３４を参照して後述される。特に、複数の利用者が共同して１つの作業をする場合には、会話により発生した音声情報を利用者毎に記録し、管理することにより、会話中の音声情報をより詳細に検索し、編集することが可能になる。次に、ステップＳ３３０１により得られた音声情報から雑音部分を削除する（ステップＳ３３０２）。例えば、音声情報の有音部の長さが所定の時間（例えば、１秒間）より短い場合には、その音声情報は雑音であるとみなしてよい。なお、音声情報から雑音部分を削除する場合には、該当する音声情報を同じ時間長の無音情報に置き換える。雑音が除去された音声情報をもとに、映像情報を音声情報の無音部に対応する区間と音声情報の有音部に対応する区間とに分割する（ステップＳ３３０３）。図２７に示すキーワード付加の方法に基づき、映像情報（もしくは音声情報）にキーワードを付加する（ステップＳ３３０４）。映像情報（もしくは音声情報）にキーワードを付加するためには、例えば、図３０に示されるキーワード決定ルールを適用すればよい。複数の映像情報チャンネル（もしくは複数の音声情報チャネル）が存在する場合には、同一時間帯を示す１つの区間に複数の映像ブロック（もしくは音声ブロック）が存在する場合が有り得る。以下、本明細書では、この区間を競合区間という。競合区間に存在する複数の映像ブロック（もしくは音声ブロック）に対して、異なるキーワードが付加されている場合には、後述される所定のキーワード統合化ルールに従って、それらのキーワードの中から１つのキーワードを選択する（ステップＳ３３０５）。映像情報（もしくは音声情報）に付加されたキーワードおよび映像情報（もしくは音声情報）が記録された時刻に基づいて、会話の情報を文字情報に変換する（ステップＳ３３０６）。最後に、文字情報を音声情報に変換して出力する（ステップＳ３３０７）。なお、文字情報から音声情報への変換は音声合成を用いればよい。
【０１０６】
図３４は、音声情報を有音部と無音部とに分割する方法の手順を示す。音声の無音区間の時間長を測定するために、無音タイマーをセット（ＭＴ＝０）する（ステップＳ３４０１）。音声が有音部か無音部かを示す状態フラグをセットする。すなわち、Ｓｔ＝Ｔｒｕｅとする（ステップＳ３４０２）。音声のレベルが閾値（ＴｈＶ）を下回っていれば、有音部が開始した時刻（ＴＢ）をセットする（ステップＳ３４０３）。なお、閾値（ＴｈＶ）は発話していない状態での音声のレベルに基づいて、予め設定される。音声の状態フラグをクリアーする。すなわち、Ｓｔ＝Ｆａｌｓｅとする（ステップＳ３４０４）。音声のレベルが閾値（ＴｈＶ）を切り、かつ、無音区間が閾値時間（ＴＭ）を越えれば、音声の状態フラグをセットする（ステップＳ３４０５）。なお、閾値時間（ＴＭ）は４００ミリ秒から１秒間程度の長さに予め設定される。音声のレベルが閾値（ＴｈＶ）を切り、かつ、無音区間が閾値時間（ＴＭ）を越えず、以前の音声区間が有音部であれば、有音部が終了した時刻（ＴＥ）をセットする（ステップＳ３４０６）。作業状況記憶部１４にＴＢとＴＥの値を出力する（ステップＳ３４０７）。無音タイマーをセットする（ステップＳ３４０８）。
【０１０７】
次に、図３５および図３６を参照して、競合区間におけるキーワード統合化ルールを説明する。以下、映像ブロックが競合する場合のキーワード統合化ルールを説明するが、音声ブロックが競合する場合も同様である。映像ブロックＡと映像ブロックＢとが競合しており、映像ブロックＡと映像ブロックＢとの競合区間Ｃが存在すると仮定する。キーワード統合化ルールの例としては、以下の（ａ）〜（ｄ）の４つルールがある。（ａ）開始時刻が早い方の映像ブロックを優先するルール。図３５の（ａ）に示す例では、映像情報Ａの開始時刻が映像情報Ｂの開始時刻より早いため、競合区間Ｃでは、映像情報Ａに付加された「回路基盤１」というキーワードが選択される。（ｂ）開始時刻が遅い方の映像ブロックを優先するルール。図３５の（ｂ）に示す例では、映像ブロックＢの開始時刻が映像情報Ａの開始時刻より遅いため、競合区間Ｃでは、映像ブロックＢに付加された「回路基盤２」というキーワードが選択される。（ｃ）競合区間Ｃにおける利用者の操作履歴情報（状況変化を示す情報）の評価値に基づいてキーワードを決定するルール。図３６の（ｃ）に示す例では、状況変化を示す情報は上向きの矢印で表されている。その矢印の数は状況変化の発生した回数を示す。競合区間Ｃにおける映像ブロックＡに対する状況変化の回数は、競合区間Ｃにおける映像ブロックＢに対する状況変化の回数より多い。従って、競合区間Ｃでは、映像ブロックＡに付加された「回路基盤１」というキーワードが選択される。（ｄ）映像ブロックの各時間帯に含まれる利用者の操作履歴情報（状況変化を示す情報）の評価値に基づいてキーワードを決定するルール。図３６の（ｄ）に示す例では、映像ブロックＢに対する状況変化の回数は、映像ブロックＡに対する状況変化の回数より多い。従って、競合区間Ｃでは、映像ブロックＢに付加された「回路基盤２」というキーワードが選択される。
【０１０８】
図３７は、競合区間におけるキーワード統合化ルールを記述した例である。図３５および図３６を参照して上述したキーワード統合化ルールを含め４つのルールが記述されている。これらのルールに基づいて競合区間におけるキーワードが決定される。
【０１０９】
次に、キーワード記憶部２２４に記憶されたキーワードを利用して、作業状況を示す文字情報を生成する文書化部３８０を説明する。文書化部３８０は、作業状況管理装置に含まれる。
【０１１０】
図３８は、文書化部３８０の構成を示す。文書化部３８０は、キーワードとキーワードが出現する時間帯との関係（Ｗｈｅｎに関する情報）を抽出する時間情報抽出部３８１と、キーワードと対象者との関係（Ｗｈｏに関する情報）を抽出する対象者抽出部３８２と、キーワード自身を抽出する対象物抽出部３８３と、文書化ルールを記憶する文書化ルール記憶部３８５と、文書化制御部３８４とを有している。
【０１１１】
図３９を参照して、作業状況を示す文字情報を生成する方法を説明する。以下、映像情報に基づいて作業状況を示す文字情報を生成する方法を説明する。音声情報に基づいて作業状況を示す文字情報を生成する場合も同様である。（ａ）映像ブロック毎に、文字情報を生成するための属性情報を予め割り当てる。その属性情報は、撮影対象者を特定する情報（Ｗｈｏに関する情報）と、撮影を開始、終了した時刻の情報（Ｗｈｅｎに関する情報）と、利用者により仮想的に設定された会議場所を特定する情報（Ｗｈｅｒｅに関する情報）と、対象物を特定する情報（Ｗｈａｔに関する情報）と、音声の出力が存在するか否かを示す情報（Ｈｏｗに関する情報）とを含む。対象物を特定する情報として、その映像ブロックに付加されたキーワードを使用してもよい。このように、作業状況について５Ｗ１Ｈ（Ｗｈｏ、Ｗｈｙ、Ｗｈａｔ、Ｗｈｅｎ、Ｗｈｅｒｅ、Ｈｏｗ）による文章表現が可能なように、各映像ブロックに予め属性情報を割り当てておく。（ｂ）所定の文書化ルールに従って、映像情報に含まれる複数の映像ブロックのうち特定の映像ブロックを選択する。所定の文書化ルールは利用者により予め作成される。例えば、図３９の（ｂ）のルール１に示すように「無音区間は文書化しない」という文書化ルールがある場合には、音声情報の有音部に対応する映像ブロックのみが選択される。（ｃ）映像ブロックに予め割り当てられた属性情報に基づいて、所定の文書化ルールに従って、選択された映像ブロックに対応する作業状況を示す文字情報を生成する。例えば、特定の映像ブロックに対して、Ｗｈｏに関する情報として「山口さん」が割り当てられ、Ｗｈｅｎに関する情報として「○○時ごろ」が割り当てられ、Ｗｈａｔに関する情報として「△△について」が割り当てられ、Ｈｏｗに関する情報として「話しをしました」が割り当てられていると仮定する。この場合には、例えば、図３９の（ｃ）に示されるように、「山口さんが○○時ごろ、△△について話をしました」という文字情報が生成される。
【０１１２】
図４０を参照して、作業状況を示す文字情報を生成する他の方法を説明する。その方法は、音声情報における有音部を特定するステップと、その有音部に対応する映像ブロックを特定するステップと、作業状況の変化を検出するステップと、検出された作業状況の変化に基づいて、映像ブロックに対する文字情報を生成するステップとを含む。例えば、映像シーンの変化と音声ブロックが検出された場合には、図３９の（ｂ）のルール３に従って、「山口さん、書画カメラで説明」という文字情報を生成することができる。さらに、映像ブロックに付加されたキーワードが「回路基盤」である場合には、そのキーワードを対象物を特定する情報として利用して、「山口さん、書画カメラで回路基盤の説明」という文字情報を生成することができる。これにより、映像情報（もしくは音声情報）に応じて作業内容を示す文字情報を生成したり、その文字情報を検索キーとして映像情報（もしくは音声情報）を検索することが可能となる。
【０１１３】
次に、キーワード記憶部２２４に記憶されたキーワードを利用して、作業状況記憶部１４に記憶される作業状況を検索するキーワード検索部４１０を説明する。キーワード検索部４１０は、作業状況管理装置に含まれる。
【０１１４】
図４１は、キーワード検索部４１０の構成を示す。キーワード検索部４１０は、利用者からの検索キーワードを入力するための検索キーワード入力部４１１と、入力された検索キーワードに基づいて、作業状況記憶部１４を検索する検索部４１２と、入力された検索キーワードと検索結果とを記憶する検索キーワード記憶部４１３と、検索結果に基づいて、検索キーワードが適切か否かを評価する検索キーワード評価部４１４とを有している。
【０１１５】
次に、キーワード検索部４１０の動作を説明する。
検索キーワード入力部４１１は、利用者からの検索キーワードを入力する。利用者による検索キーワードの入力を容易にするために、検索キーワード入力部４１１は、キーワード記憶部２２４に記憶された複数のキーワードをメニュー形式で表示し、表示されたキーワードの１つを検索キーワードとして利用者が選択的に入力することを許してもよい。検索キーワード入力部４１１から入力された検索キーワードは、検索キーワード記憶部４１３に記憶される。
【０１１６】
検索部４１２は、入力された検索キーワードに基づいて、作業状況記憶部１４を検索する。より詳しくいうと、検索部４１２は、検索キーワードがキーワード記憶部２２４に記憶された複数のキーワードのうちの１つに一致するか否かを判定し、一致したキーワードが付加されている映像情報を検索結果として出力部１６に出力する。映像情報の代わりにまたは映像情報に加えて、作業状況記憶部１４に記憶されている任意の情報が検索結果として出力部１６に出力されてもよい。検索部４１２は、出力部１６に出力された検出結果が所望のものである否かを利用者に問い合わせる。その問い合わせに対する利用者の応答は、検索キーワード記憶部４１３に記憶される。このようにして、入力した検索キーワードに対して所望の検索結果が得られたか否かを示す情報が検索キーワード記憶部４１３に蓄積される。
【０１１７】
図４２は、検索キーワード記憶部４１３に記憶される情報の例を示す。この例では、利用者により入力された検索キーワードに加えて、その利用者が所属するグループ名と、利用者名と、検索キーワードが入力された日時と、検索キーワードが入力された項目名と、検索キーワードに基づいて検索された文書名と、検索された文書と利用者が望んでいた文書とが一致したか否かを示す情報とが記憶されている。この例では、検索された文書と利用者が望んでいた文書とが一致した場合には、「採用」が記憶され、一致しない場合には、「不採用」が記憶される。あるいは、検索された文書と利用者が望んでいた文書との一致の度合いを示す数字が記憶されていてもよい。例えば、一致の度合い「７０％」などである。ここでは、文書が検索対象となっている例を説明した。もちろん、文書の代わりにまたは文書に加えて、作業状況記憶部１４に記憶されている任意の情報が検索対象となり得る。複数の視点からの検索を可能とするために、検索キーワードを入力可能な項目は、図４３に示すように、複数個設けられていることが好ましい。また、検索キーワードに基づいて検索された複数の文書名を検索キーワード記憶部４１３に記憶するようにしてもよい。
【０１１８】
図４３は、検索キーワードを入力するための検索パネル４３０の例を示す。検索パネル４３０は、情報を検索するためのユーザインターフェースを利用者に提供する。検索パネル４３０は、映像キーワード入力部４３１と、文書キーワード入力部４３２と、イベント入力部４３３とを有している。映像キーワード入力部４３１は、映像情報に付加された複数のキーワードをメニュー形式で表示し、表示されたキーワードの１つを検索キーワードとして利用者が選択的に入力すること許す。文書キーワード入力部４３２は、文書を検索するための検索キーワードを利用者が入力することを許す。イベント入力部４３３は、書画カメラを操作することによって発生した端末の状態変化（例えば、映像シーンの変化や映像チャネルの変化など）や、ウインドウに対する利用者の操作によって発生した端末の状態変化（例えば、マウスポインタの移動やウインドウの開閉状態など）を検索キーワードとして利用者が入力することを許す。
【０１１９】
次に、図４１に示す検索キーワード評価部４１４の動作を説明する。
図４４は、検索キーワード評価部４１４により実行される処理の流れを示す。その処理は、評価範囲を指定するステップ（Ｓ４４０１）と指定された評価範囲において検索キーワードを評価するステップ（Ｓ４４０２）とを含む。評価範囲を指定するために、グループ名、利用者名および日時のうちの少なくとも１つが検索キーワード評価部４１４に入力される。評価範囲を指定するステップ（Ｓ４４０１）は、グループ名が入力された場合に、検索キーワード記憶部４１３からそのグループに所属する利用者により使用された検索キーワードを抽出するステップ（Ｓ４４０３）と、利用者名が入力された場合に、検索キーワード記憶部４１３からその利用者により使用された検索キーワードを抽出するステップ（Ｓ４４０４）と、日時が入力された場合に、検索キーワード記憶部４１３からその日時に使用された検索キーワードを抽出するステップ（Ｓ４４０５）と、利用者により指定された演算子（例えば、論理和や論理積など）により定義される検索条件に従って検索キーワード記憶部４１３から検索キーワードを抽出するステップ（Ｓ４４０６）とを含む。指定された評価範囲において検索キーワードを評価するステップ（Ｓ４４０２）は、ステップＳ４４０１で抽出された検索キーワードについて、その検索キーワードの採用回数と使用回数とからその検索キーワードのヒット率を算出するステップ（Ｓ４４０７）を含む。ここで、検索キーワードのヒット率（％）は採用回数／使用回数×１００により算出される。過去に入力された検索キーワードをヒット率の高い順に利用者に提示することにより、所望の検索結果が得られる確率の高い検索キーワードを利用者が入力することが容易となる。その結果、利用者が所望の検索結果を得るまでに、利用者が検索キーワードを入力する回数が低減される。さらに、検索された情報に対する評価値（利用者が望む情報と検索された情報との一致度合い、例えば、０〜１の間の値）を検索キーワード記憶部４１３に蓄積するようにすれば、所望の検索結果が得られる確率のより高い検索キーワードを利用者に提示することが可能となる。この場合の検索キーワードのヒット率（％）は採用回数×評価値／使用回数×１００により算出される。
【０１２０】
図４５は、作業状況管理部１３の他の構成を示す。作業状況管理部１３は、映像情報を複数の映像ブロックに分割する映像情報分割部４５１と、映像ブロックを評価する映像ブロック評価部４５２と、映像情報分割部４５１と映像ブロック評価部４５２とを制御する映像情報統合制御部４５３とを含む。
【０１２１】
次に、図４５に示す作業状況管理部１３の動作を説明する。
映像情報分割部４５１は、作業状況記憶部１４に記憶される作業状況に基づいて、映像情報を複数の論理的な映像ブロックに分割する。各映像ブロックは、少なくとも１つの映像シーンを含む。例えば、音声情報の有音部に応じて映像情報をブロック化すればよい。映像情報をブロック化する方法の詳細は、既に述べたので、ここでは説明を省略する。このようにして、映像情報分割部４５１は、第１映像情報を複数の第１映像ブロックに分割し、第２映像情報を複数の第２映像ブロックに分割する。例えば、第１映像情報は、利用者Ａにより撮影された映像情報であり、第２映像情報は、利用者Ｂにより撮影された映像情報である。
【０１２２】
映像ブロック評価部４５２は、同一時間帯に複数の映像ブロックが存在するか否かを判定し、同一時間帯に複数の映像ブロックが存在すると判定された場合に、その複数の映像ブロックのうちいずれの映像ブロックを優先的に選択するかを決定する。従って、同一時間帯に、複数の第１映像ブロックのうちの１つと複数の第２映像ブロックのうちの１つが存在する場合には、映像ブロック評価部４５２により、同一時間帯に存在する第１映像ブロックおよび第２映像ブロックのうちの１つが選択される。このようにして、第１映像情報と第２映像情報とが統合され、１つの映像情報が生成される。これにより、利用者Ａにより撮影された映像情報と利用者Ｂにより撮影された映像情報とに基づいて、利用者Ａと利用者Ｂとの対話状況を示す映像情報を生成することが可能となる。
【０１２３】
図４６は、図４５に示す作業状況管理部１３によって実行される映像情報統合化処理の手順を示す。映像情報分割部４５１は、映像情報をブロック化することにより、複数の映像ブロックを生成する（ステップＳ４６０１）。映像ブロック評価部４５２は、同一時間帯に複数の映像ブロックが存在するか否かを判定する（ステップＳ４６０２）。同一時間帯に複数の映像ブロックが存在すると判定された場合には、映像ブロック評価部４５２は、所定の優先規則に従って、その複数の映像ブロックのうちのいずれを優先的に選択するかを決定する（ステップＳ４６０３）。その所定の優先規則は、利用者により予め設定される。
【０１２４】
図４７は、優先規則の例を示す。図４７に示されるように、作業状況の変化に関連する優先規則、時間の先後関係に基づく優先規則など、様々な優先規則が存在する。
【０１２５】
次に、図４８〜図５０を参照して、図４７に示される規則番号１〜１０の優先規則を具体的に説明する。
【０１２６】
規則番号１の優先規則は、同一時間帯に複数の映像ブロックが存在する場合に、開始時刻が最も早い映像ブロックを優先的に選択することを規定する。図４８の（ａ）に示す例では、映像ブロック１ｂの開始時刻より映像ブロック１ａの開始時刻の方が早いので、映像ブロック１ａが選択される。
【０１２７】
規則番号２の優先規則は、同一時間帯に複数の映像ブロックが存在する場合に、し、開始時刻が最も最近の映像ブロックを優先的に選択することを規定する。図４８の（ｂ）に示す例では、時間帯Ｔ2においては、映像ブロック２ｂの開始時刻が最も最近であるので、映像ブロック２ｂが選択される。しかし、時間帯Ｔ1においては、映像ブロック２ａの開始時刻が最も最近であるので、映像ブロック２ａが選択される。
【０１２８】
規則番号３の優先規則は、同一時間帯に複数の映像ブロックが存在する場合に、時間的に最も長い映像ブロックを優先的に選択することを規定する。図４８の（ｃ）に示す例では、映像ブロック３ｂの長さより映像ブロック３ａの長さの方が長いので、映像ブロック３ａが選択される。
【０１２９】
規則番号４の優先規則は、同一時間帯に複数の映像ブロックが存在する場合に、時間的に最も短い映像ブロックを優先的に選択することを規定する。図４９の（ａ）に示す例では、映像ブロック４ａの長さより映像ブロック４ｂの長さの方が短いので、映像ブロック４ｂが選択される。
【０１３０】
規則番号５の優先規則は、同一時間帯に複数の映像ブロックが存在する場合に、単位時間あたりの作業状況の変化を示す情報を最も多く含む映像ブロックを優先的に選択することを規定する。図４９の（ｂ）に示す例では、作業状況の変化を示す情報が発生した時刻が三角印で表されている。この例では、映像ブロック５ｂの方が映像ブロック５ａより単位時間あたりの作業状況の変化を示す情報を多く含んでいるので、映像ブロック５ｂが選択される。
【０１３１】
規則番号６の優先規則は、同一時間帯に複数の映像ブロックが存在する場合に、所定の発生事象の組み合わせ規則に合致した映像ブロックを優先的に選択することを規定する。図４９の（ｃ）に示す例では、映像ブロック６ｂが所定の発生事象の組み合わせ規則に合致するので、映像ブロック６ｂが選択される。
【０１３２】
図５１は、発生事象の組み合わせ規則の例を示す。発生事象の組み合わせ規則は、作業においてほぼ同時に発生する事象の組み合わせとその組み合わせに対応する事象名とを規定したものである。例えば、書画カメラを用いて、利用者が資料を説明する場合、対象物を手で指し示しながら行うことが多い。このため、手の動きと音声とがほぼ同時に発生する。図５１の第１行に示されるように、例えば、「映像シーンの変化」という事象と「音声ブロック」という事象の組み合わせは、「書画カメラでの説明」という事象であると定義される。また、利用者がウインドウ上に表示された資料情報を説明する場合には、マウスポインタによる指示と音声とがほぼ同時に発生する。図５１の第２行に示されるように、例えば、「マウスポインタによる指示」という事象と「音声ブロック」という事象の組み合わせは、「ウインドウ上での説明」という事象であると定義される。
【０１３３】
図５０を参照して、規則番号７の優先規則は、同一時間帯に複数の映像ブロックが存在する場合に、指定されたキーワードを含む文書情報を利用していた時間帯に対応する映像ブロックを優先的に選択することを規定する。規則番号８の優先規則は、同一時間帯に複数の映像ブロックが存在する場合に、指定されたキーワードを最も多く含む文書情報を利用していた時間帯に対応する映像ブロックを優先的に選択することを規定する。図５０の（ａ）に示す例では、指定されたキーワードは文書情報の第２ページに含まれるので、映像ブロック７ａが選択される。
【０１３４】
規則番号９の優先規則は、同一時間帯に複数の映像ブロックが存在する場合に、指定された作業状況の変化が発生した時間帯に対応する映像ブロックを優先的に選択することを規定する。規則番号１０の優先規則は、同一時間帯に複数の映像ブロックが存在する場合に、指定された対象者に関連する映像ブロックを優先的に選択することを規定する。図５０の（ｂ）に示す例では、規則番号９の優先規則を適用することにより、映像ブロック９ｂが選択され、規則番号１０の優先規則を適用することにより、映像ブロック９ｃが選択される。
【０１３５】
図５２は、情報を操作するための操作パネル５２００を示す。操作パネル５２００は、作業状況管理装置に対するユーザインタフェースを利用者に提供する。図５２に示されるように、操作パネル５２００は、映像情報を少なくとも１枚以上の映像フレームからなる映像ブロックに分割した結果を表示するパネル５２０１と、音声を有音部と無音部とに分割した結果と作業状況の変化を示す情報（映像シーンの切り替えおよび映像チャンネルの切り替え）とを表示するパネル５２０２、ウインドウに対する利用者による操作（ウインドウのオープン、クローズ、生成、削除など）と、付せん紙（ウインドウに付された個人的なメモ）への記入と、マウスポインタによる指示とを行った履歴を示す情報を表示するパネル５２０３と、参照資料を表示するパネル５２０４と、検索結果の映像を表示するパネル５２０５とを含む。
【０１３６】
図５３は、情報を検索・編集するための操作パネル５３００を示す。操作パネル５３００は、作業状況管理装置に対するユーザインタフェースを利用者に提供する。図５３に示されるように、操作パネル５３００は、作業状況を記録するための操作パネル５３０１と、情報を検索するための操作パネル５３０２と、情報を操作するための操作パネル５３０３と、複数の情報を編集するための操作パネル５３０４と、同一時間帯に複数の映像ブロックが存在する場合の優先規則を選択する操作パネル５３０５とを含む。なお、操作パネル５３０５において優先規則を選択することにより、計算機による半自動的な情報編集が可能となる。操作パネル５３０６は、映像ブロック毎に、時間情報、映像ブロックに付加された事象名、対象物の情報に応じて、作業状況（例えば、会議の内容など）を文字情報に自動的に変換するためパネルである。
【０１３７】
図５４は、参加者毎に記録された映像情報と音声情報とを統合するための操作パネル５４００を示す。操作パネル５４００は、ある利用者Ａが撮影した映像情報と発話による音声情報とを表示するパネル５４０１と、他の利用者Ｂが撮影した映像情報と発話による音声情報とを表示するパネル５４０２と、自動編集の結果、統合された映像情報と音声情報とを表示するパネル５４０３とを含む。
【０１３８】
なお、本発明は会議だけではなく、個人での編集装置利用ではマルチメディアメールの検索・編集、共同での編集装置利用ではＣＡＩ（計算機支援による教育）での教材作成などへの応用利用が可能である。
【０１３９】
【発明の効果】
上述したように、本発明の作業状況管理装置によれば、作業の時間的経過を示す様々な情報を管理することが可能になる。これにより、作業状況の変化に着目して、作業中に記録された映像情報や音声情報の所望の箇所を検索することが容易となる。利用者が必要な情報（資料、コメント、会議の状況）を効率的に取り出して作業できるように、個人の日常の作業内容と対応づけて個人的な観点から管理を行うことが可能である。また、会話状況といった体系的には取り扱いにくい動的な情報を個人的な観点で扱うことが可能である。さらに、利用者が着目していると推定される時点の映像情報や音声情報のみを記録もしくは出力することにより、利用者に提示する情報量の低減や記憶容量の低減をは図ることができる。
【０１４０】
さらに、本発明の作業状況管理装置によれば、映像情報や音声情報にキーワードを付加することが可能となる。キーワードを利用することにより、映像情報や音声情報の所望の箇所を検索することが容易となる。また、キーワードを利用して、作業状況を示す文字情報を生成することが可能となる。
【図面の簡単な説明】
【図１】（ａ）は本発明の作業状況管理装置の構成を示す図
（ｂ）は典型的な作業風景を示す図
【図２】ネットワークを介して接続された複数の端末装置と作業状況管理装置とを含むシステムの構成を示す図
【図３】作業状況管理部の構成を示す図
【図４】作業状況管理部の他の構成を示す図
【図５】作業状況管理部の他の構成を示す図
【図６】作業状況管理部の他の構成を示す図
【図７】作業状況管理部の他の構成を示す図
【図８】作業状況管理部の他の構成を示す図
【図９】映像情報管理部の構成を示す図
【図１０】音声情報管理部の構成を示す図
【図１１】ウインドウ情報管理部の構成を示す図
【図１２】指示情報管理部の構成を示す図
【図１３】作業状況記憶部に記憶される作業状況を示す情報を示す図
【図１４】作業状況記憶部に記憶される作業状況を示す情報を示す図
【図１５】作業状況記憶部に記憶される作業状況を示す情報を示す図
【図１６】作業状況記憶部に記憶される作業状況を示す情報を示す図
【図１７】ウインドウのサイズ変更情報を利用して利用者の着目ウインドウの判定をする方法を説明する図
【図１８】ウインドウの所有者情報を利用して利用者の着目ウインドウの判定をする方法を説明する図
【図１９】表示位置変更部の操作情報をもとに利用者の着目情報を判定する方法を説明する図
【図２０】映像情報に対する利用者の着目地点を検出する方法を説明する図
【図２１】映像情報に対する利用者の着目地点を検出する方法を説明する図
【図２２】キーワード情報管理部の構成を示す図
【図２３】（ａ）は文書を編集する作業の流れを示す図
（ｂ）は（ａ）の作業により作業状況記憶部に記憶される情報の例を示す図
【図２４】（ａ）は作業において、利用者により資料情報の一部が指示されている場面を示す図
（ｂ）は（ａ）の作業により作業状況記憶部に記憶される情報の例を示す図
【図２５】（ａ）は作業において、資料情報がウインドウに表示されている場面を示す図
（ｂ）は（ａ）の作業により作業状況記憶部に記憶される情報の例を示す図
【図２６】（ａ）は音声キーワード検出部の構成を示す図
（ｂ）は音声キーワード検出部により作業状況記憶部に記憶される情報の例を示す図
【図２７】映像情報もしくは音声情報にキーワードを付加する処理の手順を示す図
【図２８】映像情報もしくは音声情報の評価対象区間（時間帯）を指定する方法を説明する図
【図２９】キーワード候補特定部の構成を示す図
【図３０】映像もしくは音声情報に付加するキーワードの決定ルールを示す図
【図３１】キーワード評価値を計算する方法を説明する図
【図３２】キーワード評価値とキーワード重要値の具体的な利用方法について説明する図
【図３３】会話情報の自動編集を行う方法の手順を示す図
【図３４】音声情報を有音部と無音部とに分割する方法の手順を示す図
【図３５】競合区間におけるキーワード統合化ルールを説明する図
【図３６】競合区間におけるキーワード統合化ルールを説明する図
【図３７】競合区間におけるキーワード統合化ルールを示す図
【図３８】文書化部の構成を示す図
【図３９】作業状況を示す文字情報を生成する方法を説明する図
【図４０】作業状況を示す文字情報を生成する他の方法を説明する図
【図４１】キーワード検索部の構成を示す図
【図４２】検索キーワード記憶部に記憶される情報の例を示す図
【図４３】検索キーワードを入力するための検索パネルの例を示す図
【図４４】検索キーワードの評価処理の手順を示す図
【図４５】作業状況管理部の他の構成を示す図
【図４６】映像情報の統合化の手順を示す図
【図４７】映像ブロックを優先的に選択するための優先規則を示す図
【図４８】優先規則を具体的に説明する図
【図４９】優先規則を具体的に説明する図
【図５０】優先規則を具体的に説明する図
【図５１】発生事象の組み合わせ規則を示す図
【図５２】情報を操作するための操作パネルの画面イメージを示す図
【図５３】情報の検索・編集を行う操作パネルの画面イメージを示す図
【図５４】参加者毎に記録した映像情報および音声情報を統合するための操作パネルの画面イメージを示す図
【符号の説明】
１０ 作業状況管理装置
１１ 入力部
１２ 端末制御部
１３ 作業状況管理部
１４ 作業状況記憶部
１５ 資料情報記憶部
１６ 出力部
１７ 伝送部
【産業上の利用分野】
本発明は単体の端末もしくは複数の端末間で情報処理を行い、利用者の作業状況にあわせて情報管理する作業状況管理装置に関するものである。
【０００２】
【従来の技術】
近年、各種情報をリアルタイムで交換しながら、会議や意志決定をはじめとした協同作業を行うことを支援するネットワーク会議システムが提案され構築されている。例えば、渡辺 他「マルチメディア分散会議システム ＭＥＲＭＡＩＤ」、情報処理学会論文誌、Ｖｏｌ．３２、Ｎｏ．９（１９９１）や中山 他「多者間電子対話システム ＡＳＳＯＣＩＡ」、情報処理学会論文誌、Ｖｏｌ．３２、Ｎｏ．９（１９９１）が挙げられる。
【０００３】
従来の技術では、個人利用や複数端末間での情報交換のためにウインドウを開き、ファイル単位での会議資料（テキスト、イメージ、図形等からなる文書）の編集や提示等を行う。そのため、会議終了後、議事録としては会議中のメモや会議資料は利用者の手元には残るが、会議の状況といった体系的には取り扱いにくい動的な情報まで含めて会議の議事録として残すことができない（例えば、参加者の一人がカメラで提示された資料を指で指示した場合の指の位置情報の時間経過といった動的な情報が挙げられる）。従って、利用者の記憶を助けるという観点からは従来の手法では十分ではない。
【０００４】
また、会議の状況を記録するためにＶＴＲ等を利用する方法が考えられるが、会議の状況をすべてＶＴＲ等で撮影することにより膨大な情報が発生するため、会議終了後、撮影された映像・音声の情報を検索・編集するのは、利用者に大変な労力を強いる。
【０００５】
更に、従来のＣＡＩ（計算機支援による教育システム）システムでは、教材を先生や生徒間で共有し、会話の場を設定することが目的であったため、生徒が授業後、個人的な観点で復習をしたり、先生が授業の状況を反映させた教材作成を行うことは難しかった。
【０００６】
【発明が解決しようとする課題】
従来の手法では、個人利用や複数端末間での情報交換のためにウインドウを開き、ファイル単位での会議資料（テキスト、イメージ、図形等からなる文書）の編集や提示等を行う。そのため、会議終了後、議事録としては会議中のメモや会議資料が利用者の手元には残るが、会議の状況といった体系的には取り扱いにくい動的な情報まで含めて会議の議事録として残すことができない。また、会議の状況をすべてＶＴＲ等で取るにも膨大な情報量になるため、会議終了後、撮影された映像・音声の情報を検索・編集するのは、利用者に大変な労力を強いる。従って、利用者の記憶を助けるという観点からは従来の手法では十分ではないという課題と、必要な情報を必要な量だけ記録できなければならないという課題がある。本発明の目的は、利用者が作り出す様々な情報を作業状況管理装置にて管理を行うとともに、利用者の作業状況にあわせて必要な情報管理することにある。
【０００７】
【課題を解決するための手段】
本発明は、作業に関連する情報を入力する入力部と、前記入力部から入力される情報に対して所定の変化が発生したことを検出し、前記所定の変化が発生した時刻を示す情報と前記変化内容を特定する情報とを生成し、前記生成した変化発生時刻を示す情報と変化内容を特定する情報とを作業状況として作業状況記憶手段に記憶する作業状況管理部とを備えた作業状況管理装置による作業状況管理方法であって、前記入力部としてカメラを用い、作業内容となる被写体をカメラにより撮像しながら前記カメラにより撮像された映像情報に対して、カメラ操作の変化、映像シーンの変化、映像チャンネルの変化のうち、少なくとも１つの変化が発生したことを検出する検出ステップと、前記検出ステップにより検出した変化が発生した時刻を検知して前記変化発生時刻を示す情報と、前記検出ステップの結果に基づいて前記検出した映像情報の変化内容を特定する情報とを生成する生成ステップと、前記生成ステップにより生成した変化発生時刻情報と、前記映像情報の変化を特定する情報とを作業状況として記憶する記憶ステップとを備え、前記検出ステップで検出されるカメラ操作は、被写体に対する映像の倍率を変更するズーム操作と、被写体に焦点をあわせるフォーカス操作と、水平方向へ映像情報を変更するパン操作、上下方向へ映像情報を変更するチルト操作のいずれかを１つを含むカメラの操作信号を検出し、前記検出ステップで検出される映像シーンの変化は、撮像される映像フレーム間の画素の差分を算出し、所定値より大きい場合に変化が発生したと判断することを特徴とする作業状況管理方法。
【００１６】
本発明の他の作業状況管理装置は、作業の時間的経過を表す情報を記憶する記憶手段と、該記憶手段に記憶された該作業の時間的経過を表す該情報に基づいて、該作業に要した時間のうち、キーワードを付すべき時間帯を特定する時間帯特定手段と、該時間帯特定手段によって特定された該時間帯に対して、少なくとも１つのキーワード候補を特定するキーワード候補特定手段と、該少なくとも１つのキーワード候補の中から１つのキーワード候補を所定のルールに従って選択し、該選択されたキーワード候補を該時間帯に対応するキーワードとして決定するキーワード決定手段とを備えており、これにより、上記目的が達成される。
【００１７】
前記作業の時間的経過を表す前記情報は、該作業中に発生した音声情報に含まれる有音部と無音部とを識別する情報であり、前記時間帯特定手段は、該有音部に対応する該時間帯のみをキーワードを付すべき時間帯として特定してもよい。
【００１８】
前記作業の時間的経過を表す前記情報は、該作業に要した時間のうち、資料情報を表示するウインドウが利用者により着目されていると推定される時間帯を示す情報であり、前記時間帯特定手段は、該ウインドウが該利用者により着目されていると推定される該時間帯のみをキーワードを付すべき時間帯として特定してもよい。
【００１９】
前記作業の時間的経過を表す前記情報は、該作業に要した時間のうち、資料情報を表示するウインドウに対して指示情報が発生した時間帯を示す情報であり、前記時間帯特定手段は、該ウインドウに対して該指示情報が発生した該時間帯のみをキーワードを付すべき時間帯として特定してもよい。
【００２０】
前記作業の時間的経過を表す前記情報は、該作業中に発生した音声情報に含まれる有音部と無音部とを識別する情報と、該作業に要した時間のうち、資料情報を表示するウインドウが利用者により着目されていると推定される時間帯を示す情報と、該作業に要した時間のうち、該ウインドウに対して指示情報が発生した時間帯を示す情報のうちの少なくとも１つを含み、前記時間帯特定手段は、該有音部に対応する該時間帯と該ウインドウが該利用者により着目されていると推定される該時間帯と該ウインドウに対して該指示情報が発生した該時間帯とのうち少なくとも１つに基づいて決定される時間帯のみをキーワードを付すべき時間帯として特定してもよい。
【００２１】
前記キーワード候補特定手段は、前記作業において、編集可能な文字情報を含む資料情報が使用される場合に、該作業に要した時間のうち第１時刻での該資料情報における第１文字情報と該作業に要した時間のうち第２時刻での該資料情報における第２文字情報との間の差分を表す差分情報を記憶する差分情報記憶手段と、該差分情報記憶手段に記憶された該差分情報から少なくとも１つのキーワード候補を抽出する文書キーワード抽出手段とを備えていてもよい。
【００２２】
前記キーワード候補特定手段は、前記作業において文字情報を含む資料情報が使用される場合に、該作業中に利用者によって指示された文字情報の位置を示す位置情報を記憶する位置情報記憶手段と、該位置情報記憶手段に記憶された該位置情報に基づいて、該資料情報から少なくとも１つのキーワード候補を抽出する指示キーワード抽出手段とを備えていてもよい。
【００２３】
前記キーワード候補特定手段は、前記作業において資料情報が表題を記述するための部分を有するウインドウに表示される場合に、該表題を記憶する表題記憶手段と、該表題記憶手段に記憶された該表題から少なくとも１つのキーワード候補を抽出する表題キーワード抽出手段とを備えていてもよい。
【００２４】
前記キーワード候補特定手段は、前記作業において資料情報が個人情報を記述するための部分を有するウインドウに表示される場合に、該個人情報を記憶する個人情報記憶手段と、該個人情報記憶手段に記憶された該個人情報から少なくとも１つのキーワード候補を抽出する個人情報キーワード抽出手段とを備えていてもよい。
【００２５】
前記キーワード候補特定手段は、前記作業において生成される音声情報を認識して、該音声情報に対応する文字情報を生成する音声認識手段と、該音声情報に対応する該文字情報を記憶する音声認識情報記憶手段と、音声認識情報記憶手段に記憶された該文字情報から少なくとも１つのキーワード候補を抽出する音声キーワード抽出手段とを備えていてもよい。
【００２６】
前記キーワード候補特定手段は、利用者によって入力された文字情報を受け取り、該受け取った文字情報をキーワード候補とするキーワード候補入力手段を備えていてもよい。
【００２７】
前記所定のルールは、キーワードの出現比率に関連する評価値に基づいてキーワードを決定するルールを含んでいてもよい。
【００２８】
前記所定のルールは、競合区間に割り当てられた複数のキーワードのうちいずれのキーワードを選択すべきかを規定するルールを含んでいてもよい。
【００２９】
本発明の他の作業状況管理装置は、作業の時間的経過を表す情報を記憶する記憶手段と、利用者からの検索キーワードを入力するための検索キーワード入力手段と、該入力された検索キーワードに基づいて、該記憶手段に記憶された該作業の時間的経過を表す該情報を検索する検索手段と、該入力された検索キーワードと検索結果とを記憶する検索キーワード記憶手段と、該検索結果に基づいて、該検索キーワードが適切か否かを評価する検索キーワード評価手段とを備えており、これにより、上記目的が達成される。
【００３０】
前記検索キーワード評価手段は、少なくとも前記検索キーワードが利用者により入力された回数と、前記検索結果が利用者により採用された回数とに基づいて、該検索キーワードを評価してもよい。
【００３１】
本発明の他の作業状況管理装置は、第１映像情報を複数の第１映像ブロックに分割し、第２映像情報を複数の第２映像ブロックに分割する映像情報分割手段と、ある時間帯に、該複数の第１映像ブロックのうちの１つと該複数の第２映像ブロックのうちの１つとが存在するか否かを判定し、該時間帯に該複数の第１映像ブロックのうちの１つと該複数の第２映像ブロックのうちの１つとが存在すると判定された場合には、所定のルールに従って、該時間帯に存在する映像ブロックのうちのいずれを優先的に選択するかを決定する映像ブロック評価手段とを備えており、これにより、該第１映像情報と該第２映像情報とを統合して１つの映像情報を生成する。これにより、上記目的を達成できる。
【００３２】
前記所定のルールは、前記時間帯に存在する映像ブロックの時間的な先後関係に基づいて、選択すべき映像ブロックを決定するルールを含んでいてもよい。
【００３３】
前記所定のルールは、作業状況の変化に基づいて、選択すべき映像ブロックを決定するルールを含んでいてもよい。
【００３４】
【作用】
本発明においては、会議参加者が作り出す様々な情報を作業状況管理装置にて管理を行うとともに、利用者が必要な情報（資料、コメント、会議の状況）を効率的に取り出して作業できるよう、会話状況といった体系的には取り扱いにくい動的な情報までも取り扱うことが可能である。
【００３５】
【実施例】
以下、図面を参照しながら本発明を実施例について説明する。
【００３６】
図１の（ａ）は、本発明の実施例の作業状況管理装置１０の構成を示す。作業状況管理装置１０は、作業に関連する情報を入力する入力部１１と、利用者による作業状況を管理する作業状況管理部１３と、作業状況を記憶する作業状況記憶部１４と、資料情報を記憶する資料情報記憶部１５と、入力部１１と作業状況管理部１３とを制御する端末制御部１２を備えている。典型的には、「作業」とは、１人または複数人の利用者が資料を提示してその資料を説明することをいう。特に、本明細書では、複数人の利用者が共通の資料をリアルタイムに検討し、意見を交換しあう電子会議を典型的な作業として想定している。しかし、本明細書にいう作業は、そのような作業に限定されない。本明細書では、「作業状況」とは、その作業がどのような経過で行われたかを示す時系列な情報の集合をいう。また、「資料情報」とは、その作業において利用者により提示される資料に関連する情報をいう。
【００３７】
図１の（ｂ）は、利用者が資料を提示してその資料を説明する場合の、典型的な作業風景を示したものである。利用者は、作業状況管理装置の前に座り、資料を説明する。その資料を撮影するためのカメラ１８（以下、このカメラを書画カメラという）と、その利用者を撮影するためのカメラ１９（以下、このカメラを対人カメラという）と、その利用者が発する音声を収録ためのマイクロフォン２０が作業状況管理装置に接続される。書画カメラ１８、対人カメラ１９によって撮影された映像情報とマイクロフォン２０によって収録された音声情報とは、作業状況管理装置の入力部１１を介して、端末制御部１２に供給される。このようにして、利用者がどのような表情で説明していたか、どのような資料をどのような順番で提示していたかといった作業の経過を示す情報が作業状況管理装置に入力されることとなる。また、入力部１１として、キーボード、マウス、デジタイザ、タッチパネル、ライトペンを使用してもよい。
【００３８】
上述したように、端末制御部１２には、種々の入力装置が入力部１１として接続され得る。端末制御部１２には、端末制御部１２に接続されている入力装置を特定するための識別子が予め設定される。端末制御部１２は、複数の入力装置から情報が入力された場合に、予め設定された識別子に基づいて、どの入力装置からどの情報が入力されたかを識別する。例えば、対人カメラ１９によって撮影された映像情報が端末制御部１２に供給された場合には、端末制御部１２は、対人カメラ１９を特定する識別子とその映像情報との対を作業状況管理部１３に出力する。
【００３９】
作業状況管理部１３は、入力される情報に対して所定の変化が発生したことを検出する。複数の情報が作業状況管理部１３に入力される場合には、作業状況管理部１３は、その複数の情報のそれぞれに対して所定の変化が発生したことを検出する。その所定の変化は、その複数の情報に共通する変化であってもよいし、複数の情報に応じて互いに異なる変化であってもよい。作業状況管理部１３は、入力された情報に対して所定の変化が発生したことを検出すると、その所定の変化が発生した時刻を示す情報とその所定の変化を特定する情報とを作業状況として作業状況記憶部１４に記憶する。このような情報を作業状況記憶部１４に記憶しておくことにより、特定の情報に対する所定の変化を検索キーとして利用して、その作業における所望の箇所を検索することが可能となる。また、入力される音声情報や映像情報そのものも作業状況として作業状況記憶部１４に記憶される。
【００４０】
資料情報記憶部１５は、資料情報を記憶する。資料情報記憶部１５としては、磁気ディスク、ＶＴＲ、光ディスク等の装置が使用される。
【００４１】
作業状況管理装置１０は、作業状況や資料情報を出力する出力部１６と、他の装置とネットワークを介して接続するための伝送部１７とをさらに備えていてもよい。出力部１６としては、ディスプレイ、スピーカー、プリンタ等の装置が使用される。伝送部１２としては、ローカルエリアネットワーク（ＬＡＮ）、ケーブルテレビ（ＣＡＴＶ）、モデム、デジタルＰＢＸ等の装置が使用される。
【００４２】
図２は、複数の端末装置２０にネットワークを介して接続された作業状況管理装置１０を示す。複数の端末装置２０のそれぞれは、作業に関連する情報を入力する入力部２１と、作業状況管理装置とネットワークを介して接続するための伝送部２２と、作業状況や資料情報を出力する出力部２４と、入力部２１と伝送部２２と出力部２４とを制御する端末制御部２３とを備えている。端末装置２０の入力部２１から入力された情報は、伝送部２２、伝送部１７を介して作業状況管理装置１０の端末制御部１２に供給される。端末制御部１２には、ネットワークを介して端末制御部１２に接続されている入力装置と端末制御部１２に直接接続されている入力装置とを特定するための識別子が予め設定される。端末制御部１２は、複数の入力装置から情報が入力された場合に、予め設定された識別子に基づいて、どの入力装置からどの情報が入力されたかを識別する。このようにして、複数の利用者によって使用される複数の端末装置２０のそれぞれから作業の時間的経過を示す情報が作業状況管理装置１０に収集される。端末装置２０の入力部２１としては、キーボード、マウス、デジタイザ、タッチパネル、ライトペン、カメラ、マイク等の装置が使用される。端末装置２０の出力部２４としては、ディスプレイ、スピーカー、プリンタ等の装置が使用される。端末装置２０の伝送部２２としては、ローカルエリネットワーク（ＬＡＮ）、ケーブルテレビ（ＣＡＴＶ）、モデム、デジタルＰＢＸ等の装置が使用される。
【００４３】
図３は、作業状況管理部１３の構成例を示す。作業状況管理部１３は、映像情報の変化を管理する映像情報管理部３１と、音声情報の変化を管理する音声情報管理部３２と、映像情報管理部３１と音声情報管理部３２とを制御する作業状況制御部３３とを含む。本明細書では、「映像情報」とは、作業の時間的経過を示す情報のうち、映像に関連するものをすべて含む。例えば、カメラによって撮影された複数のフレームからなる映像が映像情報に含まれることはもちろんのこと、カメラ操作によって生じる制御信号も映像情報に含まれる。本明細書では、「音声情報」とは、作業の時間的経過を示す情報のうち、音声に関連するものをすべて含む。例えば、マイクロフォンによって生成される音声信号は音声情報に含まれる。
【００４４】
入力部１１から入力された映像情報は、作業状況制御部３３を介して、映像情報管理部３１に入力される。映像情報管理部３１は、入力された映像情報に対して所定の変化が発生したことを検出し、その所定の変化が発生した時刻を示す情報とその所定の変化を特定する情報とを生成する。
【００４５】
入力部１１から入力された音声情報は、作業状況制御部３３を介して、音声情報管理部３２に入力される。映像情報管理部３１は、入力された音声情報に対して所定の変化が発生したことを検出し、その所定の変化が発生した時刻を示す情報とその所定の変化を特定する情報とを生成する。
【００４６】
図３に示す作業状況管理部１３は、作業状況として管理すべき対象を映像情報と音声情報とに限定している。その結果、作業状況管理部１３は、ウインドウを表示する表示装置やウインドウに対して指示する入力装置を要しないので、小型化が容易であるという利点がある。通常のＶＴＲ装置の機能を拡張することにより、通常のＶＴＲ装置とほぼ同等の大きさを有する作業状況管理装置を実現することができるだろう。また、映像情報の利用が可能となるため、会議参加者の表情や計算機には取り込みにくい立体形状の資料の記録などが可能となる。従って、特に、相手の表情を分析する必要がある駆け引きの強い会議や、計算機には取り込みにくい立体形状の組立過程や操作過程を記憶する場合には、作業状況管理部１３は、映像情報管理部３１を有していることが好ましい。
【００４７】
図４は、作業状況管理部１３の他の構成例を示す。作業状況管理部１３は、音声情報の変化を管理する音声情報管理部３２と、ウインドウ情報の変化を管理をするウインドウ情報管理部４３と、音声情報管理部３２とウインドウ情報管理部４３とを制御する作業状況制御部３３とを含む。本明細書では、「ウインドウ情報」とは、ウインドウが有する資源を示す情報をいう。例えば、ウインドウの数、ウインドウのサイズ、ウインドウの位置は、ウインドウ情報に含まれる。利用者の操作によりウインドウ情報が変化すると、そのウインドウ情報の変化を示す制御信号が入力部１１を介して、ウインドウ情報管理部４３に入力される。利用者の操作によりウインドウ情報が変化したことは、端末制御部１２によって検出される。ウインドウ情報の検出を担当する端末制御部１２の部分は、通常、ウインドウ管理部（不図示）と呼ばれる。ウインドウ情報管理部４３は、入力された制御信号を受け取り、その制御信号を受け取った時刻を示す情報とその制御信号を特定する情報とを生成する。ウインドウ情報管理部４３によって生成された情報は作業状況制御部３３に送られ、作業状況制御部３３によって作業状況記憶部１４に記憶される。このようにして、利用者が作業している間のウインドウ情報の変化を作業状況記憶部１４に記憶しておくことにより、利用者が作業をしている間の利用者のウインドウ操作をキーとして利用して、音声情報や映像情報を検索することが可能となる。その結果、利用者は、作業の経過において要所となる箇所を容易に振り返ることが可能となる。
【００４８】
図４に示す作業状況管理部１３は、大量の記憶容量を要する映像情報を作業状況記録部１４に記憶しない。従って、作業状況記録部１４に記憶される情報量を大幅に削減できるという利点がある。また、図４に示す作業状況管理部１３の構成は、会議室などで同一場所に利用者が集まる場合に会議の状況を記録する場合や、音声情報を主として取り扱う通常の電話機の機能を拡張することにより作業状況管理装置を実現する場合に、適している。
【００４９】
図５は、作業状況管理部１３の他の構成例を示す。この構成は、図４に示す構成に、映像情報の変化を管理する映像情報管理部３１を追加した構成である。このような構成とすることにより、実空間における映像情報・音声情報と計算機内の資源であるウインドウ情報とを統合的に管理することができる。
【００５０】
図６は、作業状況管理部１３の他の構成例を示す。作業状況管理部１３は、音声情報の変化を管理する音声情報管理部３２と、指示情報の変化を管理する指示情報管理部５３と、音声情報管理部３２と指示情報管理部５３とを制御する作業状況制御部３３とを含む。本明細書では、「指示情報」とは、資料情報に対する指示を示す情報をいう。例えば、マウスポインタの位置やタッチパネルによって検出される座標位置は、指示情報に含まれる。
【００５１】
入力部１１から入力された指示情報は、作業状況制御部３３を介して、指示情報管理部５３に入力される。指示情報管理部５３は、入力された指示情報に対して所定の変化が発生したことを検出し、その所定の変化が発生した時刻を示す情報とその所定の変化を特定する情報とを生成する。
【００５２】
図６に示す作業状況管理部１３によれば、指示情報の変化と音声情報の変化が同時に発生する箇所を検出できるため、利用者が説明を行った資料の位置に基づいて、会議状況の検索を行うことが容易となる。その理由は、人がある事柄（資料）を説明しようとする場合、音声を発生するのとほぼ同時に資料を指示することが多いからである。図６に示す作業状況管理部１３も、図４に示す作業状況管理部１３と同様にして、大量の記憶容量を要する映像情報を作業状況記録部１４に記憶しない。従って、作業状況記録部１４に記憶される情報量を大幅に削減できるという利点がある。また、図６に示す作業状況管理部１３の構成も、図４に示す作業状況管理部１３の構成と同様にして、会議室などで同一場所に利用者が集まる場合に会議の状況を記録する場合や、音声情報を主として取り扱う通常の電話機の機能を拡張することにより作業状況管理装置を実現する場合に、適している。さらに、図６に示す作業状況管理部１３の構成は、図４に示す作業状況管理部１３の構成に比較して、ウインドウに対する操作が少ない作業に適している。例えば、資料への書き込みがそれほど頻繁に起こらない報告型の会議などである。
【００５３】
図７は、作業状況管理部１３の他の構成例を示す。この構成は、図６に示す構成に、映像情報の変化を管理する映像情報管理部３１を追加した構成である。このような構成とすることにより、実空間における映像情報・音声情報と計算機内の資源である指示情報とを統合的に管理することができる。
【００５４】
図８は、作業状況管理部１３の他の構成例を示す。この構成は、図３〜図７に示す構成を統合したものである。このような構成とすることにより、上述した各構成の長所を引き出すことができるという利点がある。
【００５５】
図９は、映像情報管理部３１の構成を示す。映像情報管理部３１は、カメラ操作を検出するカメラ操作検出部９１と、映像シーンの変化を検出する映像シーン変化検出部９２と、映像チャネルの変化を検出する映像チャネル変化検出部９３と、映像情報の変化に応じてその変化が発生した時刻を示す情報とその変化を特定する情報とを生成する映像情報生成部９４と、映像情報管理制御部９５とを含む。
【００５６】
カメラ操作検出部９１は、所定のカメラ操作を検出する。カメラ操作を検出する理由は、カメラ操作が発生した前後に、利用者にとって着目すべき情報が発生したとみなせる場合が多いからである。端末制御部１２に接続されているカメラが操作されると、そのカメラ操作に応じて、カメラ操作信号が端末制御部１２に入力される。カメラ操作は、被写体に対する映像の倍率を変更するズーム操作と、被写体に焦点をあわせるフォーカス操作と、カメラの位置を固定した状態で水平方向にカメラの向きを変更するパン操作と、カメラの位置を固定した状態で上下方向にカメラの向きを変更するチルト操作とを含む。カメラ操作信号は、ズーム操作を示すズーム操作信号と、フォーカス操作を示すフォーカス操作信号とパン操作を示すパン操作信号とチルト操作を示すチルト操作信号とを含む。端末制御部１２は、カメラ操作信号がどのカメラから入力されたかを識別し、カメラの識別子とカメラ操作信号とを作業状況管理部１３に送る。そのカメラの識別子とそのカメラ操作信号とは、作業状況制御部３３と映像情報管理制御部９５とを介して、カメラ操作検出部９１に入力される。カメラ操作検出部９１は、入力されたカメラ操作信号に所定の変化が発生したか否かを判定する。例えば、カメラ操作信号が操作量に比例したアナログ値で表される場合には、カメラ操作信号が所定のレベルを越えた時、所定の変化が発生したと判定する。その所定のレベルは０であってもよい。また、カメラ操作信号が０または１のデジタル値で表される場合には、カメラ操作信号が０から１に変化した時、所定の変化が発生したと判定する。ここで、デジタル値０はカメラ操作がなされていない状態を示し、デジタル値１はカメラ操作がなされている状態を示す。入力されたカメラ操作信号に所定の変化が発生したと判定された場合には、カメラ操作検出部９１は、その所定の変化を示す検出信号を映像情報生成部９４に送る。映像情報生成部９４は、カメラ操作検出部９１からの検出信号に応じて、そのカメラ操作が発生した時刻を示す情報とそのカメラ操作を特定する情報とを生成する。その所定の変化が発生した時刻を示す情報は、年月日時分秒の少なくとも１つを示す文字列である。「１２時１５分１０秒」、「５／３ １８：０３」は、その文字列の一例である。あるいは、その所定の変化が発生した時刻を示す情報は、文字列の代わりに、バイナリ形式のデータであってもよい。このような時刻を表す情報は、現在時刻を管理するタイマー部（不図示）に現在時刻を問い合わせることにより生成される。
【００５７】
次に、映像シーン変化検出部９２について説明する。端末制御部１２に利用者の顔を撮影するための対人カメラと資料情報を撮影するための書画カメラとが接続されていると仮定する。映像シーン変化検出部９２の目的は、対人カメラの前に着席している利用者の動きを検知すること、および書画カメラによって撮影される資料情報の動きまたは資料情報を指示する利用者の手などの動きを検出することにある。対人カメラおよび書画カメラによって撮影された映像は、作業状況制御部３３および映像情報管理制御部９５を介して、映像シーン変化検出部９２に入力される。映像シーン変化検出部９２は、入力された映像のフレーム間の差分を算出し、その差分が所定の値より大きいか否かを判定する。その差分が所定の値より大きいと判定された場合に、映像シーン変化検出部９２は、映像シーンの変化が発生したとみなして、その変化を示す検出信号を映像情報生成部９４に送る。映像情報生成部９４は、映像シーン変化検出部９２からの検出信号に応じて、映像シーンの変化が発生した時刻を示す情報と映像シーンの変化を特定する情報とを生成する。
【００５８】
資料情報に対する利用者の手の動きを検知するセンサーが設けられている場合には、映像シーン変化検出部９２は、映像のフレーム間の差分に基づいて映像シーンの変化を検出する代わりに、そのセンサーからの出力信号に応じて映像シーンの変化を検出してもよい。例えば、そのセンサーは、利用者の手が資料情報の少なくとも一部を遮ったことを検知する。同様に、対人カメラの前に着席している利用者の動きを検知するセンサーが設けられている場合には、映像シーン変化検出部９２は、映像のフレーム間の差分に基づいて映像シーンの変化を検出する代わりに、そのセンサーからの出力信号に応じて映像シーンの変化を検出してもよい。例えば、そのセンサーは、利用者が離席したことを検知する。そのセンサーは、所定の動きを検知したときのみ１の値を有する出力信号を生成する。そのようなセンサーとしては、赤外線センサーや超音波センサーが使用され得る。映像シーン変化検出部９２は、そのセンサーから出力信号を受け取り、その出力信号の値が１であるか否かを判定する。その出力信号の値が１であると判定された場合には、映像シーン変化検出部９２は、映像シーンの変化が発生したとみなして、その変化を示す検出信号を映像情報生成部９４に送る。映像情報生成部９４は、映像シーン変化検出部９２からの検出信号に応じて、映像シーンの変化が発生した時刻を示す情報と映像シーンの変化を特定する情報とを生成する。
【００５９】
次に、映像チャネル変化検出部９３について説明する。端末制御部１２には４つのカメラ（第１カメラ〜第４カメラ）が接続されていると仮定する。それらのカメラは、ネットワークを介して端末制御部１２に接続されているか、直接的に端末制御部１２に接続されているかを問わない。端末制御部１２は、カメラからの入力をウインドウに割り当て、カメラからの入力とウインドウとの間の割り当て関係を管理する機能を有する。例えば、端末制御部１２は、第１カメラからの入力を第１ウインドウに割り当て、第２カメラからの入力を第２ウインドウに割り当てる。本明細書では、「映像チャネルの変化」とは、カメラからの入力とウインドウとの間の割り当て関係を変更することをいう。例えば、上記の割り当て関係を変更して、第３カメラからの入力を第１ウインドウに割り当て、第４カメラからの入力を第２ウインドウに割り当てる場合、映像チャネルの変化が発生したという。端末制御部１２は、利用者により入力された所定のコマンドに従って、または、プログラムからの所定の制御命令に従って、カメラからの入力とウインドウとの間の割り当て関係を変更する。例えば、会議の司会者が発言を求める会議参加者の顔を常に同一のウインドウに表示することを望む場合には、会議の司会者は発言者が変更する度に映像チャネルを切り替えるコマンドを入力するかもしれない。あるいは、参加者の顔を均等に同一ウインドウに表示するために、一定の時間間隔ごとにプログラムが映像チャネルを自動的に切り替えるかもしれない。映像チャネル変化検出部９３は、所定のコマンドまたはプログラムからの所定の制御命令を検出した場合に、映像チャネルの変化が発生したとみなして、その変化を示す検出信号を映像情報生成部９４に送る。映像情報生成部９４は、映像チャネル変化検出部９３からの検出信号に応じて、その映像チャネルの変化が発生した時刻を示す情報とその映像チャネルの変化を特定する情報とを生成する。映像シーンの変化を検出することは、映像チャネルの利用目的（例えば、会議の参加者の映像を流す映像チャネルなど）が明確である場合に特に有効である。さらに、映像チャネル変化検出部９３によれば、撮影時にカメラ操作に関する情報が記憶されていない場合でも、撮影された映像情報のみに基づいて、映像シーンの変化を検出することが可能である。
【００６０】
上述したように、カメラ操作検出部９１と映像シーン変化検出部９２と映像チャネル変化検出部９３の機能は、互いに独立である。従って、映像情報管理部３１をカメラ操作検出部９１と映像シーン変化検出部９２と映像チャネル変化検出部９３のうちの１つ、または、任意の２つを含むように構成することも可能である。
【００６１】
図１０は、音声情報管理部３２の構成を示す。音声情報管理部３２は、マイクロフォンから入力される音声信号のパワーに基づいて、入力される音声信号を有音部と無音部とに分割する音声情報分割部１０１と、音声信号の無音部から有音部への変化に応じて、その変化が発生した時刻を示す情報とその変化を特定する情報とを生成する音声情報生成部１０２と、音声情報分割部１０１と音声情報生成部１０２とを制御する音声情報管理制御部１０３とを含む。
【００６２】
音声情報分割部１０１は、入力される音声信号のパワーを測定し、その測定結果に基づいて入力される音声信号を有音部と無音部とに分割する。音声信号を有音部と無音部に分割する具体的な方法については図３４を参照して後述する。音声情報分割部１０１は、この音声分割に基づいて、音声信号の無音部から有音部への変化と有音部が継続する音声ブロック数とを検出する。音声情報生成部１０２は、音声情報分割部１０１からの検出信号に応じて、音声信号が無音部から有音部に変化した時刻を示す情報と有音部が継続する音声ブロック数を示す情報とを生成する。音声信号が無音部から有音部に変化した時刻を示す情報と有音部が継続する音声ブロック数を示す情報とは、作業状況記憶部１４に記憶される。このように、音声信号が無音部から有音部に変化した時刻と有音部が継続する音声ブロック数とを作業状況記憶部１４に記憶しておくことにより、音声信号の有音部に対応する時間帯に利用者により記録もしくは利用された映像情報のみを再生することが可能となる。その結果、利用者は作業の経過において要所となる箇所を容易に振り返ることが可能となる。
【００６３】
図１１は、ウインドウ情報管理部４３の構成を説明する図である。ウインドウ情報管理部４３は、ウインドウの生成・破壊を検出するウインドウ生成・破壊検出部１１１と、ウインドウサイズの変化を検出するウインドウサイズ変化検出部１１２と、ウインドウの表示位置の変化を検出するウインドウ表示位置変化検出部１１３と、ウインドウに対するフォーカス（利用者間で編集（話題）の対象となるウインドウの切り替え作業）の変化を検出するウインドウフォーカス変化検出部１１４と、ウインドウで表示すべき情報の表示領域の変化を検出するウインドウ表示領域変化検出部１１５と、複数のウインドウ間の重なり関係の変化を検出するウインドウ間の表示変化検出部１１６と、ウインドウ情報の変化に応じて、その変化が発生した時刻を示す情報とその変化を特定する情報とを生成するウインドウ情報生成部１１７と、ウインドウ情報管理制御部１１８とを含む。
【００６４】
ウインドウ生成・破壊検出部１１１は、ウインドウの生成またはウインドウの破壊を検出して、検出信号をウインドウ情報生成部１１７に送る。その他の検出部１１２〜１１６も、同様にして、所定の変化を検出して、検出信号をウインドウ情報生成部１１７に送る。ウインドウ情報生成部１１７は、検出信号を受け取り、その検出信号に応じてその変化が発生した時刻を示す情報とその変化を特定する情報とを生成する。
【００６５】
図１２は、指示情報管理部５３の構成を示す。指示情報管理部５３は、指示情報の変化を検出する指示情報検出部１２１と、指示情報の変化に応じて、その変化が発生した時刻を示す情報とその変化を特定する情報とを生成する指示情報生成部１２２と、指示情報管理制御部１２３とを含む。
【００６６】
マウスポインタによる指示を例にとり、指示情報管理部５３の動作を説明する。利用者によってマウスのボタンが押下されると、マウスのボタン押下を示す信号とマウスポインタの座標位置を示す信号が指示情報検出部１２１に入力される。指示情報検出部１２１は、マウスポインタの座標位置の所定の変化を検出し、その所定の変化を示す検出信号を生成する。例えば、その所定の変化は、マウスポインタがウインドウ上のある位置から他の位置に移動することである。あるいは、その所定の変化は、マウスポインタがウインドウ上のある領域内からその領域外へ移動することであってもよい。あるいは、その所定の変化は、マウスのボタンがダブルクリックされたことであってもよいし、マウスがドラッギングされていることであってもよい。指示情報生成部１２２は、指示情報検出部１２１からの検出信号に応じて、その変化が発生した時刻を示す情報とその変化を特定する情報とを生成する。
【００６７】
図１３は、音声情報生成部１０２によって生成され、作業状況制御部３３によって作業状況記憶部１４に記憶される情報の例を示す。この例では、音声情報の変化が発生した時刻を示す情報として、有音部の開始時刻が記憶されている。また、音声情報の変化を特定する情報として、音声ブロックの識別子、音声を発した利用者、有音部の音声ブロック長が記憶されている。音声を発した利用者は、入力装置の識別子と利用者との対応関係に基づいて特定される。この対応関係は予め設定される。例えば、図１３の第１行は、「山口さん」の端末装置に接続されているマイクロフォンから入力された音声情報において、「１２時１５分１０秒」から「１５ブロック長（秒）」だけ有音部が続いたという作業状況を示す。
【００６８】
図１４は、映像情報生成部９４によって生成され、作業状況制御部３３によって作業状況記憶部１４に記憶される情報の例を示す。この例では、映像情報の変化が発生した時刻を示す情報として、事象の発生時刻が記憶されている。また、映像情報の変化を特定する情報として、発生事象、事象発生者、発生位置が記憶されている。本明細書では、「事象」とは、所定の変化と同義であると定義する。発生事象は、映像シーンの変化を含む。事象発生者および発生位置は、入力装置の識別子と利用者と入力装置の用途との対応関係に基づいて特定される。この対応関係は予め設定される。例えば、図１４の第１行は、「山口さん」の端末装置に接続されている「書画カメラ」から入力される映像情報において、「５／３１８：０３」に「映像シーンの変化」という事象が発生したという作業状況を示す。
【００６９】
なお、映像情報の変化を検出するための方法としては、資料を提示するための書画カメラに手の動きを検出するための赤外線センサーを付加する方法や、利用者の表情を撮影するための対人カメラに利用者の在席状況を調べるための超音波センサーを付加する方法がある。これらの方法により、映像情報の変化を検出することができる。このように、各種センサーを目的に合わせて利用することにより、利用者の動き情報が得られる。また、カメラで得られる映像情報のフレーム間の差分情報を利用することにより、動き情報を得ることも可能である。詳細については、以下の図２７を参照して後述する。
【００７０】
図１５は、映像情報生成部９４によって生成され、作業状況制御部３３によって作業状況記憶部１４に記憶される情報の他の例を示す。この例では、発生事象は、図１４で説明した映像シーンの変化に加えて、カメラ操作の変化および映像チャネルの変化をも含む。例えば、図１５の第１行は、「山口さん」の端末装置に接続されている「書画カメラ」から入力される映像情報において、「５／３ １８：０３」に「ズーム拡大」という事象が発生したという作業状況を示す。
【００７１】
図１６は、ウインドウ情報生成部１１７および指示情報生成部１２２によって生成され、作業状況制御部３３によって作業状況記憶部１４に記憶される情報の例を示す。この例では、ウインドウ情報または指示情報の変化が発生した時刻を示す情報として、事象の発生時刻が記憶されている。また、ウインドウ情報または指示情報の変化を特定する情報として、発生事象、事象発生者、発生位置が記憶されている。事象発生者および発生位置は、入力装置の識別子と利用者と入力装置の用途との対応関係に基づいて特定される。この対応関係は予め設定される。例えば、図１５の第１行は、「山口さん」の端末装置のウインドウに表示されている「資料番号１番」の資料の「第１章」において「５／３ １８：０３」に「マウスポインタによる指示」という事象が発生したという作業状況を示す。ウインドウに対する操作は、論理的なページ、章、節を基本単位としてもよい。更に、ウインドウが個人的なメモを記述するための個人メモ記述部を有している場合には、個人メモ記述部の内容の変化に着目してもよい。このように、作業状況を作業状況記憶部１４に記憶しておくことにより、利用者が作業中の記憶をもとに、作業中に撮影した映像情報や音声情報を検索することが可能となる。
【００７２】
図１７〜図２０を参照して、ネットワークで相互接続された複数の端末装置を利用して、複数の利用者で電子会議を行う場合に、作業状況管理部１３により管理されることが好ましい所定の変化を例示する。
【００７３】
図１７を参照して、ウインドウ情報の変化を検出することにより、利用者が着目しているウインドウを決定する方法を説明する。以下、利用者が着目していると作業状況管理部１３により推定されるウインドウを着目ウインドウという。ウインドウ情報の変化としてウインドウサイズの変更を例にとり、その方法を説明する。ウインドウは、ウインドウサイズを変更するためのウインドウサイズ変更部を有しているものと仮定する。公知のウインドウシステムでは、ウインドウサイズ変更部はウインドウの周辺部分に設けられていることが多い。通常、利用者は、ウインドウサイズ変更部をマウスで指示したまま、そのマウスをドラッギングすることにより、そのウインドウのサイズを変更する。作業状況管理部１３は、ウインドウサイズの変化を検出し、サイズが変更されたウインドウを着目ウインドウであると決定する。作業状況管理部１３は、どのウインドウが着目ウインドウであるかを示す情報を時系列に作業状況記憶部１４に記憶する。なお、複数のウインドウに対してウインドウサイズの変更が行われ得る場合には、作業状況管理部１３は、最も最近にサイズが変更されたウインドウを着目ウインドウである決定してもよい。あるいは、作業状況管理部１３は、所定のサイズより大きいサイズを有するウインドウを着目ウインドウであると決定してもよい。また、ウインドウが着目されている時間間隔が所定の時間間隔より短い場合に、利用者が資料を検索していると判断して、そのウインドウは着目されていないと決定してもよい。そのようなウインドウは、利用者の主たる話題の対象ではないと推定されるからである。同様にして、ウインドウサイズの変更以外のウインドウ情報の変化（例えば、ウインドウフォーカスの変化やウインドウ間の表示変化）を利用して、着目ウインドウを決定することも可能である。
【００７４】
図１８を参照して、ウインドウの所有者情報を利用して利用者が着目しているウインドウを決定する方法を説明する。ディスプレイに表示される編集領域は、図１８に示されるように、複数の利用者により編集可能な共同編集領域１８１と１人の利用者によりのみ編集可能な個人編集領域１８２とを含み、共同編集領域１８１の位置と個人編集領域１８２の位置とは予め設定されていると仮定する。作業状況管理部１３は、利用者の操作によりウインドウの位置が個人情報編集領域１８２から共同情報編集領域１８１へと移動したことを検出し、その移動したウインドウを着目ウインドウであると決定する。作業状況管理部１３は、どのウインドウが着目ウインドウであるかを示す情報とともに、着目ウインドウが共同編集領域１８１および個人編集領域１８２のうちいずれの領域に位置するかを示す情報を時系列に作業状況記憶部１４に記憶する。
【００７５】
図１９を参照して、ウインドウ表示領域の変化を検出することにより、利用者の着目している情報を決定する方法を説明する。ウインドウは、表示内容をスクロールするためのウインドウ表示領域変更部１９１を有するものと仮定する。公知のウインドウシステムにおいては、ウインドウ表示領域変更部１９１は、スクロール・バー形式のユーザインタフェースを有することが多い。しかし、ウインドウ表示領域変更部１９１は、押しボタン形式などの他のユーザインタフェースを有していてもよい。利用者がウインドウ表示領域変更部１９１を操作すると、ウインドウの表示内容がスクロールされる。作業状況管理部１３は、ウインドウ表示領域が変化したことを検出する。作業状況管理部１３は、ウインドウ表示領域が変化した後、所定のレベル以上の音声信号が所定の時間以上（例えば、１秒間以上）継続するか否かを判定する。このような判定が有効な理由は、人は資料を他人に説明する場合に、資料の特定の位置を指示して説明の対象をあきらかにした後、音声（言葉）を用いて他人に自分の意図を伝えようとすることが多いからである。ウインドウ表示領域が変化した後、所定のレベル以上の音声信号が所定の時間以上継続したと判定された場合には、作業状況管理部１３は、利用者が着目している資料情報の時間的、位置的情報（例えば、文書名や項目名等）を作業状況記憶部１４に記憶する。また、作業状況管理部１３は、ウインドウ表示領域が変化した後、資料情報に対する指示が発生したことを検出し、その指示の時間的、位置的情報を利用者の着目地点を示す情報として作業状況記憶部１４に記憶してもよい。更に、上述した２つの検出方法を組み合わせて、作業状況管理部１３が利用者が発する音声を所定の時間以上検出し、且つ、資料情報に対する指示が発生したことを検出した場合に、利用者が着目している資料情報の時間的、位置的情報を作業状況記憶部１４に記憶してもよい。
【００７６】
図２０および図２１を参照して、映像情報に対する利用者の着目地点を検出する方法を説明する。図２１に示すように、端末装置には資料情報を撮影するための書画カメラが接続されていると仮定する。作業状況管理部１３は、利用者によって所定のカメラ操作がなされた後に、利用者により音声情報が生成されたことを検出する。その所定のカメラ操作とは、例えば、映像ソースが複数存在する場合の映像チャンネルの切り替え、カメラのズーム操作、ＶＴＲ機器などの記録装置の操作などである。このような検出が有効である理由は、所定のカメラ操作をした後に、利用者が何かを意図的に説明しようとして音声を発することが多いからである。作業状況管理部１３は、そのようなタイミングでの音声情報の発生は利用者の着目地点を示すと判断して、利用者の着目地点を示す時間的、位置的情報（例えば、映像情報のどの位置を、いつ指示したかを示す情報）を作業状況記憶部１４に記憶する。
【００７７】
図２０は、電子会議中に、ある利用者が書画カメラを利用して「回路基盤」を図示した資料を映し出し、他の参加者が「回路基盤」の映像に自分が手で指示している映像をオーバーレイ（重ね合わせ）させているところを示す。ここで、音声情報の会話状態（例えば、誰が、いつ、有音部とみなせる情報を発したか）を利用者毎に記憶しておくことにより、誰が、いつ、着目すべき発言を行ったかを容易に検索することができる。作業状況管理部１３は、利用者によってカメラ操作がなされた後に、資料情報に対する指示が発生したことを検出する。作業状況管理部１３は、そのようなタイミングでの資料情報に対する指示は利用者の着目地点を示すと判断して、その指示の時間的、位置的情報を作業状況記憶部１４に記憶する。資料情報に対する指示を検出する方法としては、例えば、マウスポインタによる指示を検出する方法や、図２７に示すように、資料情報を手などで指示したことを書画カメラに設けられた赤外線センサーなどにより検出する方法がある。なお、書画カメラによって撮影された映像情報を利用して資料情報に対する指示を検出する方法としては、映像情報におけるフレーム間の差分を利用してもよい。あるいは、作業状況管理部１３は、利用者によってカメラ操作がなされた後に、利用者が発する音声情報を検出し、且つ、資料情報に対する指示が発生したことを検出した場合に、その指示の時間的、位置的情報を利用者の着目地点を示す情報として作業状況記憶部１４に記憶してもよい。このような検出が有効な理由は、人は資料を他人に説明する場合に、資料の特定の位置を指示して説明の対象をあきらかにした後、音声（言葉）を用いて他人に自分の意図を伝えようとすることが多いからである。特に、図２０に示したように、映像を見ながら複数の利用者の間でその映像について議論をする場合には、音声の発生時間（音声の有音部となる区間）や映像に対する指示を利用者毎に記憶することが有効である。その理由は、利用者が映像に着目したと推定される時点が利用者毎に分かるため資料情報の検索・編集が容易になるからである。さらに、利用者が着目していると推定される時点の映像情報や音声情報のみを記録もしくは出力することにより、利用者に提示する情報量の低減や記憶容量の低減を図ることができる。
【００７８】
次に、作業状況記憶部１４に記憶された作業状況を利用して、映像情報もしくは音声情報にキーワードを付加するキーワード管理部２２０を有する作業状況管理装置を説明する。本明細書では、「映像情報もしくは音声情報にキーワードを付加する」とは、時間帯ｔに対してその時間帯ｔに対応するキーワードを決定することをいう。例えば、キーワード管理部２２０は、時間帯ｔ1に対してキーワード「Ａ」、時間帯ｔ2に対してキーワード「Ｂ」、時間帯ｔ3に対してキーワード「Ｃ」を割り当てる。映像情報もしくは音声情報は時刻ｔの関数によって表されるので、キーワードを検索キーとして利用して、映像情報もしくは音声情報の所望の箇所を検索することが可能になる。
【００７９】
図２２は、キーワード管理部２２０の構成を示す。キーワード管理部２２０は、作業状況記憶部１４から作業の時間的経過を示す情報を入力し、キーワード記憶部２２４に時間帯ｔとその時間帯ｔに対応するキーワードＫ（ｔ）の組（ｔ，Ｋ（ｔ））を出力する。キーワード管理部２２０は、作業状況記憶部１４から作業の時間的経過を示す情報を読み出し、その情報に基づいて、作業に要した時間のうち、キーワードを付すべき時間帯を特定する時間帯特定部２２１と、時間帯特定部２２１によって特定された時間帯に対して、少なくとも１つのキーワード候補を特定するキーワード候補特定部２２２と、キーワード候補の中から１つのキーワード候補を所定のルールに従って選択し、選択されたキーワード候補をその時間帯に対応するキーワードとして決定するキーワード決定部２２３とを有している。時間帯とその時間帯に対応するキーワードとは、キーワード記憶部２２４に記憶される。
【００８０】
上述したように、キーワード管理部２２０によって映像情報もしくは音声情報にキーワードを付加するためには、作業の時間的経過を示す情報が作業状況記憶部１４に予め記憶されている必要がある。作業の時間的経過を示す情報は、作業状況管理部１３によって生成され、作業状況記憶部１４に記憶される。以下、どのような情報を作業状況記憶部１４に記憶しておくべきかを説明する。
【００８１】
図２３の（ａ）は、文書を編集する作業の流れを示したものである。例えば、文書Ａに対して変更、挿入、削除などの編集作業が行なわれ、その結果文書Ａ’が作成される。作業状況管理部１３は、編集前の文書Ａと編集後の文書Ａ’との間の差分を生成し、その差分が発生した時刻を示す情報とその差分を特定する情報を作業状況記憶部１４に出力する。差分を特定する情報は、例えば、差分文字列を格納するファイルの名称である。作業状況管理部１３は、その差分を特定する情報の代わりに編集後の文書Ａ’を特定する情報を作業状況記憶部１４に出力してもよい。差分が存在しない場合もあり得るからである。編集前の文書Ａと編集後の文書Ａ’との間の差分を取得するタイミングは、一定時間ごとであってもよいし、ウインドウがオープンされた時またはウインドウがクローズされた時であってもよい。
【００８２】
図２３の（ｂ）は、図２３の（ａ）に示す作業を行った場合に、作業状況管理部１３により作業状況記憶部１４に記憶される情報の例を示す。この例では、文書が編集された時間帯と、編集前の文書名と、編集後の文書名と、差分とが記憶されている。
【００８３】
図２４の（ａ）は、作業において、利用者により資料情報の一部が指示されている場面を示す。利用者は、マウスポインタやタッチパネルなどを用いて資料情報を指示することにより、資料情報の範囲を指定する。図２４の（ａ）では、利用者により指定された範囲が反転表示されている。作業状況管理部１３は、利用者により指定された範囲を検出し、利用者による指示が発生した時刻を示す情報と利用者により指定された範囲を特定する情報とを作業状況記憶部１４に出力する。
【００８４】
図２４の（ｂ）は、図２４の（ａ）に示す指示が発生した場合に、作業状況管理部１３により作業状況記憶部１４に記憶される情報の例を示す。この例では、指示をした人物名と、指示が発生した時間帯と、その指示により指定された範囲とが記憶されている。
【００８５】
図２５の（ａ）は、作業において、資料情報がウインドウに表示されている場面を示す。そのウインドウは資料情報の表題を記述するための表題記述部２５０１を有している。表題としては、例えば、章、節、項の名称や番号が記述される。作業状況管理部１３は、利用者により着目されているウインドウを検出し、着目ウインドウを検出した時刻を示す情報とそのウインドウの表題記述部２５０１に記述されている情報とを作業状況記憶部１４に出力する。さらに、ウインドウは、利用者の個人的なメモを記述するための個人情報記述部２５０２を有していてもよい。作業状況管理部１３は、利用者により着目されているウインドウを検出し、着目ウインドウを検出した時刻を示す情報とそのウインドウの個人情報記述部２５０２に記述されている情報とを作業状況記憶部１４に出力する。
【００８６】
図２５の（ｂ）は、作業状況管理部１３により作業状況記憶部１４に記憶される情報の例を示す。この例では、表題と、対象者と、そのウインドウが着目されていた時間帯と、個人メモとが記憶されている。
【００８７】
図２６の（ａ）は、音声キーワード検出部２６０１の構成を示す。音声キーワード検出部２６０１は作業状況管理部１３に含まれる。音声キーワード検出部２６０１は、入力部１１から入力される音声情報に含まれる所定の音声キーワードを検出して、所定の音声キーワードを検出した時刻を示す情報と検出された音声キーワードを示す情報とを作業状況記憶部１４に出力する。音声キーワード検出部２６０１は、音声認識部２６０２と、音声キーワード抽出部２６０３と、音声キーワード辞書２６０４と、音声処理制御部２６０５とを有している。音声認識部２６０２は、入力部１１から音声情報を受け取り、その音声情報をその音声情報に対応する文字列に変換する。音声キーワード抽出部２６０３は、音声認識部２６０２から音声情報に対応する文字列を受け取り、音声キーワード辞書２６０４を検索することにより、音声情報に対応する文字列から音声キーワードを抽出する。音声キーワード辞書２６０４には、抽出すべき音声キーワードが予め格納される。例えば、音声キーワード辞書２６０４に「ソフトウェア」という音声キーワードが予め格納されていると仮定する。音声認識部２６０２に「このソフトウェアの特徴は高速に動作することである」という音声情報が入力されると、音声認識部２６０２は、「このソフトウェアの特徴は高速に動作することである」という文字列を生成する。音声キーワード抽出部２６０３は、「このソフトウェアの特徴は高速に動作することである」という文字列を受け取り、受け取った文字列から音声キーワード辞書２６０４に格納されている音声キーワードである「ソフトウェア」に一致する文字列を抽出する。音声処理制御部２６０５は、上述の処理を制御する。
【００８８】
図２６の（ｂ）は、作業状況管理部１３により作業状況記憶部１４に記憶される情報の例を示す。この例では、発話した人物名と、発話が行われた時間帯と、発話内容から抽出された音声キーワードとが記憶されている。
【００８９】
図２７は、図２２に示すキーワード管理部２２０が行う音声情報もしくは映像情報へのキーワード付加処理の流れを示す。時間帯特定部２２１は、映像情報もしくは音声情報の評価対象区間（時間帯）を特定する（ステップＳ２７０１）。評価対象区間（時間帯）の指定方法は、図２８の（ａ）〜（ｃ）を参照して後述される。キーワード候補特定部２２２は、後述する各キーワード抽出処理部の処理結果に基づいて、少なくとも１つのキーワード候補を特定する（ステップＳ２７０２）。キーワード候補の中から１つを採用するために、キーワード決定部２２３は、後述するキーワードの決定ルールの中から決定ルールを選択する（ステップＳ２７０３）。キーワード決定部２２３は、選択された決定ルールに基づき、評価対象区間（時間帯）に対応するキーワードを決定する（ステップＳ２７０４）。
【００９０】
図２８の（ａ）〜（ｃ）を参照して、映像情報もしくは音声情報の評価対象区間（時間帯）を特定する方法を説明する。その方法は主として３つある。１つ目は、キーワードを付すべき範囲を音声情報の有音部に限定する方法である。２つ目は、キーワードを付すべき範囲を利用者がウインドウに着目している区間に限定する方法である。利用者が特定のウインドウに着目していることを検出する方法については、図１７〜図２１を参照して既に説明した。３つ目は、キーワードを付すべき範囲を、指示情報が発生した区間に限定する方法である。指示情報としては、上述したように、マウスポインタによる指示や資料情報への指による指示などが挙げられる。これらの対象範囲の指定方法を組み合わせる方法が、図２８の（ａ）〜（ｃ）に示されている。
【００９１】
図２８の（ａ）は、ウインドウ情報と音声情報とに基づいて、キーワードを付すべき範囲を限定する方法である。時間帯特定部２２１は、キーワードを付すべき範囲を音声情報の有音部と利用者がウインドウに着目している時間帯との重複部分に限定する。図２８の（ａ）に示す例では、音声情報の有音部と利用者がウインドウに着目している時間帯との重複部分として時間帯Ｔ1、Ｔ2が時間帯特定部２２１により特定される。
【００９２】
図２８の（ｂ）は、ウインドウ情報と指示情報とに基づいて、キーワードを付すべき範囲を限定する方法である。時間帯特定部２２１は、キーワードを付すべき範囲を利用者がウインドウに着目している時間帯と指示情報が発生した時間帯との重複部分に限定する。図２８の（ｂ）に示す例では、利用者がウインドウに着目している時間帯と指示情報が発生した時間帯との重複部分として時間帯Ｔ1、Ｔ2、Ｔ3が時間帯特定部２２１により特定される。
【００９３】
図２８の（ｃ）は、指示情報と音声情報とに基づいて、キーワードを付すべき範囲を限定する方法である。時間帯特定部２２１は、キーワードを付すべき範囲を指示情報が発生した時間帯と音声情報の有音部との重複部分に限定する。図２８の（ｃ）に示す例では、指示情報が発生した時間帯と音声情報の有音部との重複部分として時間帯Ｔ1、Ｔ2、Ｔ3が時間帯特定部２２１により特定される。
【００９４】
上記の時間帯Ｔ1、Ｔ2、Ｔ3には、互いに異なるキーワードが付加されてもよいし、同一のキーワードが付加されてもよい。例えば、図２８の（ａ）〜（ｃ）に示す例では、時間帯Ｔ1、Ｔ2、Ｔ3に同一のキーワード「回路基板」が付加される。このように、異なる時間帯に同一のキーワードを付加することにより、時間帯の異なる映像情報を、同一キーワードを有する論理的な１つのグループである映像ブロックとして扱うことが可能となる。同様にして、異なる時間帯に同一のキーワードを付加することにより、時間帯の異なる音声情報を、同一キーワードを有する論理的な１つのグループである音声ブロックとして扱うことが可能となる。その結果、映像情報および音声情報を論理的な情報単位で取り扱うことが容易になる。
【００９５】
図２９は、図２２に示すキーワード候補特定部２２２の構成を示す。キーワード候補特定部２２２は、編集前の文書と編集後の文書との間の差分に基づいてキーワード候補を抽出する文書キーワード抽出部２９０１と、指示情報に基づいてキーワード候補を抽出する指示キーワード抽出部２９０２と、個人情報記述部２５０２に記述されるメモの内容に基づいてキーワード候補を抽出する個人キーワード抽出部２９０３と、表題記述部２５０１に記述される表題の内容に基づいてキーワード候補を抽出する表題キーワード抽出部２９０４と、音声情報に基づいてキーワード候補を抽出する音声キーワード抽出部２９０５と、利用者からキーワード候補を入力するためのキーワード入力部２９０６と、キーワード制御部２９０７とを有している。
【００９６】
次に、キーワード候補特定部２２２の動作を説明する。時間帯特定部２２１によって特定された時間帯Ｔは、キーワード制御部２９０７に入力される。キーワード制御部２９０７は、その時間帯Ｔを抽出部２９０１〜２９０５のそれぞれと、キーワード入力部２９０６とに送る。抽出部２９０１〜２９０５のそれぞれは、時間帯Ｔに対して付加すべきキーワード候補を抽出して、抽出されたキーワード候補をキーワード制御部２９０７に送り返す。利用者により入力されたキーワード候補もまたキーワード制御部２９０７に送られる。このようにして、キーワード制御部２９０７には、時間帯Ｔに対して少なくとも１つのキーワード候補が収集される。時間帯Ｔに対して収集された少なくとも１つのキーワード候補は、キーワード決定部２２３に送られる。
【００９７】
例えば、「１０時００分から１０時０１分」の時間帯がキーワード候補特定部２２２に入力されたと仮定する。文書キーワード抽出部２９０１は、作業状況記憶部１４に記憶されている図２３の（ｂ）に示すテーブルを検索する。その結果、「１０時００分から１０時０１分」の時間帯を含む「１０時００分から１０時０３分」（１０：００―＞１０：０３）の時間帯がヒットする。文書キーワード抽出部２９０１は、ヒットされた時間帯に編集された文書の差分からキーワード候補を抽出する。文書の差分からキーワード候補を抽出する方法としては、例えば、文書の差分に含まれる文字列のうち名詞に相当する文字列のみをキーワード候補とする方法がある。文字列が名詞に相当するか否かを判定するには、ワードプロセッサなどで利用する「かな漢字変換辞書」を利用すればよい。
【００９８】
指示キーワード抽出部２９０２は、作業状況記憶部１４に記憶されている図２４の（ｂ）に示すテーブルを検索する。その結果、「１０時００分から１０時０１分」の時間帯に一致する「１０時００分から１０時０１分」（１０：００―＞１０：０１）の時間帯がヒットする。指示キーワード抽出部２９０２は、ヒットされた時間帯の指定範囲に含まれる文字列からキーワード候補を抽出する。
【００９９】
同様にして、個人キーワード抽出部２９０３と表題キーワード抽出部２９０４とは、作業状況記憶部１４に記憶されている図２５の（ｂ）に示すテーブルを検索する。音声キーワード抽出部２９０５は、作業状況記憶部１４に記憶されている図２６の（ｂ）に示すテーブルを検索する。
【０１００】
次に、キーワード決定部２２３の動作を説明する。キーワード決定部２２３は、キーワード候補特定部２２２から少なくとも１つのキーワード候補を受け取り、所定のキーワード決定ルールに従って、受け取ったキーワード候補のうちの１つを選択する。
【０１０１】
図３０は、キーワード決定ルールの例である。ルール１〜４は、いずれの抽出部から抽出されたキーワード候補を優先的に選択すべきかを定めている。ルール５は、キーワード評価値に基づいて、複数の抽出部から抽出されたキーワード候補のいずれを選択すべきかを定めている。
【０１０２】
次に、図３１に定義されるキーワード評価値に基づいて、複数のキーワード候補のうち１つのキーワード候補を選択する方法を説明する。その方法は、キーワード抽出部の評価や、評価区間の違いを考慮するか否かで、以下の４つに分類される。（１）キーワード評価値に基づいてキーワード候補を選択する方法：キーワード評価値は、１つのキーワード抽出部から複数のキーワード候補が抽出された場合に、その複数のキーワード候補のうちの１つを選択するために使用される。キーワード評価値とは、キーワード抽出部での出現回数を、キーワード抽出部で得られたキーワード候補の数によって割ることにより得られるキーワード出現比率の値である。（２）キーワード総合評価値に基づいてキーワード候補を選択する方法：キーワード総合評価値は、複数のキーワード抽出部の評価結果を考慮したものである。キーワード総合評価値は、キーワード評価値と利用者により予め定義されたキーワード抽出部に対する評価値との積をキーワード抽出部毎に求め、それらの積の総和を求めることにより得られる。（３）キーワード重要度に基づいてキーワード候補を選択する方法：キーワード重要度は、１つのキーワード抽出部から得られる同一名のキーワードを総合的に評価するものである。キーワード重要度は、キーワード評価値を映像ブロックもしくは音声ブロックの時間長であるキーワード出現時間で割ることによって得られる単位時間キーワード評価値を映像ブロック（音声ブロック）毎に求め、当該キーワードが出現するすべての映像ブロック（音声ブロック）に対して単位時間キーワード評価値の総和を求めることにより得られる。（４）キーワード総合重要度に基づいてキーワード候補を選択する方法：キーワード総合重要度は、複数のキーワード抽出部の評価結果を考慮したものである。キーワード総合重要度は、キーワード重要度と利用者により予め定義されたキーワード抽出部に対する評価値との積をキーワード抽出部毎に求め、それらの積の総和を求めることにより得られる。
【０１０３】
図３２を参照して、キーワード評価値およびキーワード重要値に基づいて、キーワードを決定する方法の手順を具体例に即して説明する。まず、（１）キーワードを付すべき評価対象区間（時間帯）毎にキーワード評価値を求める。（２）キーワード評価値に基づいて、キーワードを決定する。図３２の例では、評価対象区間（時間帯）Ｔ1のキーワード評価値は、キーワード毎にそれぞれ、「回路基盤」が0.5、「回路図面」が0.4、「安全性」が0.1となっている。その結果、キーワード評価値の一番高いものを優先するならば、評価対象区間（時間帯）Ｔ1のキーワードは「回路基盤」に決定される。同様にして、評価対象区間（時間帯）Ｔ2のキーワードは「回路図面」に決定され、評価対象区間（時間帯）Ｔ3のキーワードは「安全性」に決定され、評価対象区間（時間帯）Ｔ4のキーワードは「回路基盤」に決定される。（３）複数の評価対象区間（時間帯）に同一のキーワードが付加される場合も考えられる。この場合には、その複数の評価対象区間（時間帯）にまたがってキーワードの評価を行うために、キーワードが出現する時間長が考慮される。図３２の例では、キーワード評価値0.5を有する「回路基盤」が時間長５を有する評価対象区間（時間帯）Ｔ1に出現し、キーワード評価値0.6を有する「回路基盤」が時間長５を有する評価対象区間（時間帯）Ｔ4に出現するので、「回路基盤」のキーワード重要度は、(0.5+0.6)/(5+5)=0.11となる。同様にして、「回路図面」のキーワード重要度は0.1、「安全性」のキーワード重要度は0.25となる。キーワード重要度に従って、キーワードを利用者に提示する順序を制御すると、「安全性」、「回路基盤」、「回路図面」の順になる。これにより、映像情報や音声情報に付加されるキーワードの数を不必要に多くならないように制御できる。
【０１０４】
次に、図３３を参照して、会話情報の自動編集を行う方法を説明する。この方法は、映像情報もしくは音声情報に付加されたキーワードを利用する例の１つである。
【０１０５】
図３３は、音声情報を基準として映像情報もしくは音声情報にキーワードを付加する場合の会話情報の自動編集を行う方法の手順を示す。利用者の会話により発生した音声情報を有音部と無音部とに分割する（ステップＳ３３０１）。音声情報を有音部と無音部とに分割するには、例えば、音声情報の有音状態と無音状態とを区別するために音声パワーの閾値を予め決めておき、閾値に基づき分割してゆけばよい。この分割方法は、図３４を参照して後述される。特に、複数の利用者が共同して１つの作業をする場合には、会話により発生した音声情報を利用者毎に記録し、管理することにより、会話中の音声情報をより詳細に検索し、編集することが可能になる。次に、ステップＳ３３０１により得られた音声情報から雑音部分を削除する（ステップＳ３３０２）。例えば、音声情報の有音部の長さが所定の時間（例えば、１秒間）より短い場合には、その音声情報は雑音であるとみなしてよい。なお、音声情報から雑音部分を削除する場合には、該当する音声情報を同じ時間長の無音情報に置き換える。雑音が除去された音声情報をもとに、映像情報を音声情報の無音部に対応する区間と音声情報の有音部に対応する区間とに分割する（ステップＳ３３０３）。図２７に示すキーワード付加の方法に基づき、映像情報（もしくは音声情報）にキーワードを付加する（ステップＳ３３０４）。映像情報（もしくは音声情報）にキーワードを付加するためには、例えば、図３０に示されるキーワード決定ルールを適用すればよい。複数の映像情報チャンネル（もしくは複数の音声情報チャネル）が存在する場合には、同一時間帯を示す１つの区間に複数の映像ブロック（もしくは音声ブロック）が存在する場合が有り得る。以下、本明細書では、この区間を競合区間という。競合区間に存在する複数の映像ブロック（もしくは音声ブロック）に対して、異なるキーワードが付加されている場合には、後述される所定のキーワード統合化ルールに従って、それらのキーワードの中から１つのキーワードを選択する（ステップＳ３３０５）。映像情報（もしくは音声情報）に付加されたキーワードおよび映像情報（もしくは音声情報）が記録された時刻に基づいて、会話の情報を文字情報に変換する（ステップＳ３３０６）。最後に、文字情報を音声情報に変換して出力する（ステップＳ３３０７）。なお、文字情報から音声情報への変換は音声合成を用いればよい。
【０１０６】
図３４は、音声情報を有音部と無音部とに分割する方法の手順を示す。音声の無音区間の時間長を測定するために、無音タイマーをセット（ＭＴ＝０）する（ステップＳ３４０１）。音声が有音部か無音部かを示す状態フラグをセットする。すなわち、Ｓｔ＝Ｔｒｕｅとする（ステップＳ３４０２）。音声のレベルが閾値（ＴｈＶ）を下回っていれば、有音部が開始した時刻（ＴＢ）をセットする（ステップＳ３４０３）。なお、閾値（ＴｈＶ）は発話していない状態での音声のレベルに基づいて、予め設定される。音声の状態フラグをクリアーする。すなわち、Ｓｔ＝Ｆａｌｓｅとする（ステップＳ３４０４）。音声のレベルが閾値（ＴｈＶ）を切り、かつ、無音区間が閾値時間（ＴＭ）を越えれば、音声の状態フラグをセットする（ステップＳ３４０５）。なお、閾値時間（ＴＭ）は４００ミリ秒から１秒間程度の長さに予め設定される。音声のレベルが閾値（ＴｈＶ）を切り、かつ、無音区間が閾値時間（ＴＭ）を越えず、以前の音声区間が有音部であれば、有音部が終了した時刻（ＴＥ）をセットする（ステップＳ３４０６）。作業状況記憶部１４にＴＢとＴＥの値を出力する（ステップＳ３４０７）。無音タイマーをセットする（ステップＳ３４０８）。
【０１０７】
次に、図３５および図３６を参照して、競合区間におけるキーワード統合化ルールを説明する。以下、映像ブロックが競合する場合のキーワード統合化ルールを説明するが、音声ブロックが競合する場合も同様である。映像ブロックＡと映像ブロックＢとが競合しており、映像ブロックＡと映像ブロックＢとの競合区間Ｃが存在すると仮定する。キーワード統合化ルールの例としては、以下の（ａ）〜（ｄ）の４つルールがある。（ａ）開始時刻が早い方の映像ブロックを優先するルール。図３５の（ａ）に示す例では、映像情報Ａの開始時刻が映像情報Ｂの開始時刻より早いため、競合区間Ｃでは、映像情報Ａに付加された「回路基盤１」というキーワードが選択される。（ｂ）開始時刻が遅い方の映像ブロックを優先するルール。図３５の（ｂ）に示す例では、映像ブロックＢの開始時刻が映像情報Ａの開始時刻より遅いため、競合区間Ｃでは、映像ブロックＢに付加された「回路基盤２」というキーワードが選択される。（ｃ）競合区間Ｃにおける利用者の操作履歴情報（状況変化を示す情報）の評価値に基づいてキーワードを決定するルール。図３６の（ｃ）に示す例では、状況変化を示す情報は上向きの矢印で表されている。その矢印の数は状況変化の発生した回数を示す。競合区間Ｃにおける映像ブロックＡに対する状況変化の回数は、競合区間Ｃにおける映像ブロックＢに対する状況変化の回数より多い。従って、競合区間Ｃでは、映像ブロックＡに付加された「回路基盤１」というキーワードが選択される。（ｄ）映像ブロックの各時間帯に含まれる利用者の操作履歴情報（状況変化を示す情報）の評価値に基づいてキーワードを決定するルール。図３６の（ｄ）に示す例では、映像ブロックＢに対する状況変化の回数は、映像ブロックＡに対する状況変化の回数より多い。従って、競合区間Ｃでは、映像ブロックＢに付加された「回路基盤２」というキーワードが選択される。
【０１０８】
図３７は、競合区間におけるキーワード統合化ルールを記述した例である。図３５および図３６を参照して上述したキーワード統合化ルールを含め４つのルールが記述されている。これらのルールに基づいて競合区間におけるキーワードが決定される。
【０１０９】
次に、キーワード記憶部２２４に記憶されたキーワードを利用して、作業状況を示す文字情報を生成する文書化部３８０を説明する。文書化部３８０は、作業状況管理装置に含まれる。
【０１１０】
図３８は、文書化部３８０の構成を示す。文書化部３８０は、キーワードとキーワードが出現する時間帯との関係（Ｗｈｅｎに関する情報）を抽出する時間情報抽出部３８１と、キーワードと対象者との関係（Ｗｈｏに関する情報）を抽出する対象者抽出部３８２と、キーワード自身を抽出する対象物抽出部３８３と、文書化ルールを記憶する文書化ルール記憶部３８５と、文書化制御部３８４とを有している。
【０１１１】
図３９を参照して、作業状況を示す文字情報を生成する方法を説明する。以下、映像情報に基づいて作業状況を示す文字情報を生成する方法を説明する。音声情報に基づいて作業状況を示す文字情報を生成する場合も同様である。（ａ）映像ブロック毎に、文字情報を生成するための属性情報を予め割り当てる。その属性情報は、撮影対象者を特定する情報（Ｗｈｏに関する情報）と、撮影を開始、終了した時刻の情報（Ｗｈｅｎに関する情報）と、利用者により仮想的に設定された会議場所を特定する情報（Ｗｈｅｒｅに関する情報）と、対象物を特定する情報（Ｗｈａｔに関する情報）と、音声の出力が存在するか否かを示す情報（Ｈｏｗに関する情報）とを含む。対象物を特定する情報として、その映像ブロックに付加されたキーワードを使用してもよい。このように、作業状況について５Ｗ１Ｈ（Ｗｈｏ、Ｗｈｙ、Ｗｈａｔ、Ｗｈｅｎ、Ｗｈｅｒｅ、Ｈｏｗ）による文章表現が可能なように、各映像ブロックに予め属性情報を割り当てておく。（ｂ）所定の文書化ルールに従って、映像情報に含まれる複数の映像ブロックのうち特定の映像ブロックを選択する。所定の文書化ルールは利用者により予め作成される。例えば、図３９の（ｂ）のルール１に示すように「無音区間は文書化しない」という文書化ルールがある場合には、音声情報の有音部に対応する映像ブロックのみが選択される。（ｃ）映像ブロックに予め割り当てられた属性情報に基づいて、所定の文書化ルールに従って、選択された映像ブロックに対応する作業状況を示す文字情報を生成する。例えば、特定の映像ブロックに対して、Ｗｈｏに関する情報として「山口さん」が割り当てられ、Ｗｈｅｎに関する情報として「○○時ごろ」が割り当てられ、Ｗｈａｔに関する情報として「△△について」が割り当てられ、Ｈｏｗに関する情報として「話しをしました」が割り当てられていると仮定する。この場合には、例えば、図３９の（ｃ）に示されるように、「山口さんが○○時ごろ、△△について話をしました」という文字情報が生成される。
【０１１２】
図４０を参照して、作業状況を示す文字情報を生成する他の方法を説明する。その方法は、音声情報における有音部を特定するステップと、その有音部に対応する映像ブロックを特定するステップと、作業状況の変化を検出するステップと、検出された作業状況の変化に基づいて、映像ブロックに対する文字情報を生成するステップとを含む。例えば、映像シーンの変化と音声ブロックが検出された場合には、図３９の（ｂ）のルール３に従って、「山口さん、書画カメラで説明」という文字情報を生成することができる。さらに、映像ブロックに付加されたキーワードが「回路基盤」である場合には、そのキーワードを対象物を特定する情報として利用して、「山口さん、書画カメラで回路基盤の説明」という文字情報を生成することができる。これにより、映像情報（もしくは音声情報）に応じて作業内容を示す文字情報を生成したり、その文字情報を検索キーとして映像情報（もしくは音声情報）を検索することが可能となる。
【０１１３】
次に、キーワード記憶部２２４に記憶されたキーワードを利用して、作業状況記憶部１４に記憶される作業状況を検索するキーワード検索部４１０を説明する。キーワード検索部４１０は、作業状況管理装置に含まれる。
【０１１４】
図４１は、キーワード検索部４１０の構成を示す。キーワード検索部４１０は、利用者からの検索キーワードを入力するための検索キーワード入力部４１１と、入力された検索キーワードに基づいて、作業状況記憶部１４を検索する検索部４１２と、入力された検索キーワードと検索結果とを記憶する検索キーワード記憶部４１３と、検索結果に基づいて、検索キーワードが適切か否かを評価する検索キーワード評価部４１４とを有している。
【０１１５】
次に、キーワード検索部４１０の動作を説明する。
検索キーワード入力部４１１は、利用者からの検索キーワードを入力する。利用者による検索キーワードの入力を容易にするために、検索キーワード入力部４１１は、キーワード記憶部２２４に記憶された複数のキーワードをメニュー形式で表示し、表示されたキーワードの１つを検索キーワードとして利用者が選択的に入力することを許してもよい。検索キーワード入力部４１１から入力された検索キーワードは、検索キーワード記憶部４１３に記憶される。
【０１１６】
検索部４１２は、入力された検索キーワードに基づいて、作業状況記憶部１４を検索する。より詳しくいうと、検索部４１２は、検索キーワードがキーワード記憶部２２４に記憶された複数のキーワードのうちの１つに一致するか否かを判定し、一致したキーワードが付加されている映像情報を検索結果として出力部１６に出力する。映像情報の代わりにまたは映像情報に加えて、作業状況記憶部１４に記憶されている任意の情報が検索結果として出力部１６に出力されてもよい。検索部４１２は、出力部１６に出力された検出結果が所望のものである否かを利用者に問い合わせる。その問い合わせに対する利用者の応答は、検索キーワード記憶部４１３に記憶される。このようにして、入力した検索キーワードに対して所望の検索結果が得られたか否かを示す情報が検索キーワード記憶部４１３に蓄積される。
【０１１７】
図４２は、検索キーワード記憶部４１３に記憶される情報の例を示す。この例では、利用者により入力された検索キーワードに加えて、その利用者が所属するグループ名と、利用者名と、検索キーワードが入力された日時と、検索キーワードが入力された項目名と、検索キーワードに基づいて検索された文書名と、検索された文書と利用者が望んでいた文書とが一致したか否かを示す情報とが記憶されている。この例では、検索された文書と利用者が望んでいた文書とが一致した場合には、「採用」が記憶され、一致しない場合には、「不採用」が記憶される。あるいは、検索された文書と利用者が望んでいた文書との一致の度合いを示す数字が記憶されていてもよい。例えば、一致の度合い「７０％」などである。ここでは、文書が検索対象となっている例を説明した。もちろん、文書の代わりにまたは文書に加えて、作業状況記憶部１４に記憶されている任意の情報が検索対象となり得る。複数の視点からの検索を可能とするために、検索キーワードを入力可能な項目は、図４３に示すように、複数個設けられていることが好ましい。また、検索キーワードに基づいて検索された複数の文書名を検索キーワード記憶部４１３に記憶するようにしてもよい。
【０１１８】
図４３は、検索キーワードを入力するための検索パネル４３０の例を示す。検索パネル４３０は、情報を検索するためのユーザインターフェースを利用者に提供する。検索パネル４３０は、映像キーワード入力部４３１と、文書キーワード入力部４３２と、イベント入力部４３３とを有している。映像キーワード入力部４３１は、映像情報に付加された複数のキーワードをメニュー形式で表示し、表示されたキーワードの１つを検索キーワードとして利用者が選択的に入力すること許す。文書キーワード入力部４３２は、文書を検索するための検索キーワードを利用者が入力することを許す。イベント入力部４３３は、書画カメラを操作することによって発生した端末の状態変化（例えば、映像シーンの変化や映像チャネルの変化など）や、ウインドウに対する利用者の操作によって発生した端末の状態変化（例えば、マウスポインタの移動やウインドウの開閉状態など）を検索キーワードとして利用者が入力することを許す。
【０１１９】
次に、図４１に示す検索キーワード評価部４１４の動作を説明する。
図４４は、検索キーワード評価部４１４により実行される処理の流れを示す。その処理は、評価範囲を指定するステップ（Ｓ４４０１）と指定された評価範囲において検索キーワードを評価するステップ（Ｓ４４０２）とを含む。評価範囲を指定するために、グループ名、利用者名および日時のうちの少なくとも１つが検索キーワード評価部４１４に入力される。評価範囲を指定するステップ（Ｓ４４０１）は、グループ名が入力された場合に、検索キーワード記憶部４１３からそのグループに所属する利用者により使用された検索キーワードを抽出するステップ（Ｓ４４０３）と、利用者名が入力された場合に、検索キーワード記憶部４１３からその利用者により使用された検索キーワードを抽出するステップ（Ｓ４４０４）と、日時が入力された場合に、検索キーワード記憶部４１３からその日時に使用された検索キーワードを抽出するステップ（Ｓ４４０５）と、利用者により指定された演算子（例えば、論理和や論理積など）により定義される検索条件に従って検索キーワード記憶部４１３から検索キーワードを抽出するステップ（Ｓ４４０６）とを含む。指定された評価範囲において検索キーワードを評価するステップ（Ｓ４４０２）は、ステップＳ４４０１で抽出された検索キーワードについて、その検索キーワードの採用回数と使用回数とからその検索キーワードのヒット率を算出するステップ（Ｓ４４０７）を含む。ここで、検索キーワードのヒット率（％）は採用回数／使用回数×１００により算出される。過去に入力された検索キーワードをヒット率の高い順に利用者に提示することにより、所望の検索結果が得られる確率の高い検索キーワードを利用者が入力することが容易となる。その結果、利用者が所望の検索結果を得るまでに、利用者が検索キーワードを入力する回数が低減される。さらに、検索された情報に対する評価値（利用者が望む情報と検索された情報との一致度合い、例えば、０〜１の間の値）を検索キーワード記憶部４１３に蓄積するようにすれば、所望の検索結果が得られる確率のより高い検索キーワードを利用者に提示することが可能となる。この場合の検索キーワードのヒット率（％）は採用回数×評価値／使用回数×１００により算出される。
【０１２０】
図４５は、作業状況管理部１３の他の構成を示す。作業状況管理部１３は、映像情報を複数の映像ブロックに分割する映像情報分割部４５１と、映像ブロックを評価する映像ブロック評価部４５２と、映像情報分割部４５１と映像ブロック評価部４５２とを制御する映像情報統合制御部４５３とを含む。
【０１２１】
次に、図４５に示す作業状況管理部１３の動作を説明する。
映像情報分割部４５１は、作業状況記憶部１４に記憶される作業状況に基づいて、映像情報を複数の論理的な映像ブロックに分割する。各映像ブロックは、少なくとも１つの映像シーンを含む。例えば、音声情報の有音部に応じて映像情報をブロック化すればよい。映像情報をブロック化する方法の詳細は、既に述べたので、ここでは説明を省略する。このようにして、映像情報分割部４５１は、第１映像情報を複数の第１映像ブロックに分割し、第２映像情報を複数の第２映像ブロックに分割する。例えば、第１映像情報は、利用者Ａにより撮影された映像情報であり、第２映像情報は、利用者Ｂにより撮影された映像情報である。
【０１２２】
映像ブロック評価部４５２は、同一時間帯に複数の映像ブロックが存在するか否かを判定し、同一時間帯に複数の映像ブロックが存在すると判定された場合に、その複数の映像ブロックのうちいずれの映像ブロックを優先的に選択するかを決定する。従って、同一時間帯に、複数の第１映像ブロックのうちの１つと複数の第２映像ブロックのうちの１つが存在する場合には、映像ブロック評価部４５２により、同一時間帯に存在する第１映像ブロックおよび第２映像ブロックのうちの１つが選択される。このようにして、第１映像情報と第２映像情報とが統合され、１つの映像情報が生成される。これにより、利用者Ａにより撮影された映像情報と利用者Ｂにより撮影された映像情報とに基づいて、利用者Ａと利用者Ｂとの対話状況を示す映像情報を生成することが可能となる。
【０１２３】
図４６は、図４５に示す作業状況管理部１３によって実行される映像情報統合化処理の手順を示す。映像情報分割部４５１は、映像情報をブロック化することにより、複数の映像ブロックを生成する（ステップＳ４６０１）。映像ブロック評価部４５２は、同一時間帯に複数の映像ブロックが存在するか否かを判定する（ステップＳ４６０２）。同一時間帯に複数の映像ブロックが存在すると判定された場合には、映像ブロック評価部４５２は、所定の優先規則に従って、その複数の映像ブロックのうちのいずれを優先的に選択するかを決定する（ステップＳ４６０３）。その所定の優先規則は、利用者により予め設定される。
【０１２４】
図４７は、優先規則の例を示す。図４７に示されるように、作業状況の変化に関連する優先規則、時間の先後関係に基づく優先規則など、様々な優先規則が存在する。
【０１２５】
次に、図４８〜図５０を参照して、図４７に示される規則番号１〜１０の優先規則を具体的に説明する。
【０１２６】
規則番号１の優先規則は、同一時間帯に複数の映像ブロックが存在する場合に、開始時刻が最も早い映像ブロックを優先的に選択することを規定する。図４８の（ａ）に示す例では、映像ブロック１ｂの開始時刻より映像ブロック１ａの開始時刻の方が早いので、映像ブロック１ａが選択される。
【０１２７】
規則番号２の優先規則は、同一時間帯に複数の映像ブロックが存在する場合に、し、開始時刻が最も最近の映像ブロックを優先的に選択することを規定する。図４８の（ｂ）に示す例では、時間帯Ｔ2においては、映像ブロック２ｂの開始時刻が最も最近であるので、映像ブロック２ｂが選択される。しかし、時間帯Ｔ1においては、映像ブロック２ａの開始時刻が最も最近であるので、映像ブロック２ａが選択される。
【０１２８】
規則番号３の優先規則は、同一時間帯に複数の映像ブロックが存在する場合に、時間的に最も長い映像ブロックを優先的に選択することを規定する。図４８の（ｃ）に示す例では、映像ブロック３ｂの長さより映像ブロック３ａの長さの方が長いので、映像ブロック３ａが選択される。
【０１２９】
規則番号４の優先規則は、同一時間帯に複数の映像ブロックが存在する場合に、時間的に最も短い映像ブロックを優先的に選択することを規定する。図４９の（ａ）に示す例では、映像ブロック４ａの長さより映像ブロック４ｂの長さの方が短いので、映像ブロック４ｂが選択される。
【０１３０】
規則番号５の優先規則は、同一時間帯に複数の映像ブロックが存在する場合に、単位時間あたりの作業状況の変化を示す情報を最も多く含む映像ブロックを優先的に選択することを規定する。図４９の（ｂ）に示す例では、作業状況の変化を示す情報が発生した時刻が三角印で表されている。この例では、映像ブロック５ｂの方が映像ブロック５ａより単位時間あたりの作業状況の変化を示す情報を多く含んでいるので、映像ブロック５ｂが選択される。
【０１３１】
規則番号６の優先規則は、同一時間帯に複数の映像ブロックが存在する場合に、所定の発生事象の組み合わせ規則に合致した映像ブロックを優先的に選択することを規定する。図４９の（ｃ）に示す例では、映像ブロック６ｂが所定の発生事象の組み合わせ規則に合致するので、映像ブロック６ｂが選択される。
【０１３２】
図５１は、発生事象の組み合わせ規則の例を示す。発生事象の組み合わせ規則は、作業においてほぼ同時に発生する事象の組み合わせとその組み合わせに対応する事象名とを規定したものである。例えば、書画カメラを用いて、利用者が資料を説明する場合、対象物を手で指し示しながら行うことが多い。このため、手の動きと音声とがほぼ同時に発生する。図５１の第１行に示されるように、例えば、「映像シーンの変化」という事象と「音声ブロック」という事象の組み合わせは、「書画カメラでの説明」という事象であると定義される。また、利用者がウインドウ上に表示された資料情報を説明する場合には、マウスポインタによる指示と音声とがほぼ同時に発生する。図５１の第２行に示されるように、例えば、「マウスポインタによる指示」という事象と「音声ブロック」という事象の組み合わせは、「ウインドウ上での説明」という事象であると定義される。
【０１３３】
図５０を参照して、規則番号７の優先規則は、同一時間帯に複数の映像ブロックが存在する場合に、指定されたキーワードを含む文書情報を利用していた時間帯に対応する映像ブロックを優先的に選択することを規定する。規則番号８の優先規則は、同一時間帯に複数の映像ブロックが存在する場合に、指定されたキーワードを最も多く含む文書情報を利用していた時間帯に対応する映像ブロックを優先的に選択することを規定する。図５０の（ａ）に示す例では、指定されたキーワードは文書情報の第２ページに含まれるので、映像ブロック７ａが選択される。
【０１３４】
規則番号９の優先規則は、同一時間帯に複数の映像ブロックが存在する場合に、指定された作業状況の変化が発生した時間帯に対応する映像ブロックを優先的に選択することを規定する。規則番号１０の優先規則は、同一時間帯に複数の映像ブロックが存在する場合に、指定された対象者に関連する映像ブロックを優先的に選択することを規定する。図５０の（ｂ）に示す例では、規則番号９の優先規則を適用することにより、映像ブロック９ｂが選択され、規則番号１０の優先規則を適用することにより、映像ブロック９ｃが選択される。
【０１３５】
図５２は、情報を操作するための操作パネル５２００を示す。操作パネル５２００は、作業状況管理装置に対するユーザインタフェースを利用者に提供する。図５２に示されるように、操作パネル５２００は、映像情報を少なくとも１枚以上の映像フレームからなる映像ブロックに分割した結果を表示するパネル５２０１と、音声を有音部と無音部とに分割した結果と作業状況の変化を示す情報（映像シーンの切り替えおよび映像チャンネルの切り替え）とを表示するパネル５２０２、ウインドウに対する利用者による操作（ウインドウのオープン、クローズ、生成、削除など）と、付せん紙（ウインドウに付された個人的なメモ）への記入と、マウスポインタによる指示とを行った履歴を示す情報を表示するパネル５２０３と、参照資料を表示するパネル５２０４と、検索結果の映像を表示するパネル５２０５とを含む。
【０１３６】
図５３は、情報を検索・編集するための操作パネル５３００を示す。操作パネル５３００は、作業状況管理装置に対するユーザインタフェースを利用者に提供する。図５３に示されるように、操作パネル５３００は、作業状況を記録するための操作パネル５３０１と、情報を検索するための操作パネル５３０２と、情報を操作するための操作パネル５３０３と、複数の情報を編集するための操作パネル５３０４と、同一時間帯に複数の映像ブロックが存在する場合の優先規則を選択する操作パネル５３０５とを含む。なお、操作パネル５３０５において優先規則を選択することにより、計算機による半自動的な情報編集が可能となる。操作パネル５３０６は、映像ブロック毎に、時間情報、映像ブロックに付加された事象名、対象物の情報に応じて、作業状況（例えば、会議の内容など）を文字情報に自動的に変換するためパネルである。
【０１３７】
図５４は、参加者毎に記録された映像情報と音声情報とを統合するための操作パネル５４００を示す。操作パネル５４００は、ある利用者Ａが撮影した映像情報と発話による音声情報とを表示するパネル５４０１と、他の利用者Ｂが撮影した映像情報と発話による音声情報とを表示するパネル５４０２と、自動編集の結果、統合された映像情報と音声情報とを表示するパネル５４０３とを含む。
【０１３８】
なお、本発明は会議だけではなく、個人での編集装置利用ではマルチメディアメールの検索・編集、共同での編集装置利用ではＣＡＩ（計算機支援による教育）での教材作成などへの応用利用が可能である。
【０１３９】
【発明の効果】
上述したように、本発明の作業状況管理装置によれば、作業の時間的経過を示す様々な情報を管理することが可能になる。これにより、作業状況の変化に着目して、作業中に記録された映像情報や音声情報の所望の箇所を検索することが容易となる。利用者が必要な情報（資料、コメント、会議の状況）を効率的に取り出して作業できるように、個人の日常の作業内容と対応づけて個人的な観点から管理を行うことが可能である。また、会話状況といった体系的には取り扱いにくい動的な情報を個人的な観点で扱うことが可能である。さらに、利用者が着目していると推定される時点の映像情報や音声情報のみを記録もしくは出力することにより、利用者に提示する情報量の低減や記憶容量の低減をは図ることができる。
【０１４０】
さらに、本発明の作業状況管理装置によれば、映像情報や音声情報にキーワードを付加することが可能となる。キーワードを利用することにより、映像情報や音声情報の所望の箇所を検索することが容易となる。また、キーワードを利用して、作業状況を示す文字情報を生成することが可能となる。
【図面の簡単な説明】
【図１】（ａ）は本発明の作業状況管理装置の構成を示す図
（ｂ）は典型的な作業風景を示す図
【図２】ネットワークを介して接続された複数の端末装置と作業状況管理装置とを含むシステムの構成を示す図
【図３】作業状況管理部の構成を示す図
【図４】作業状況管理部の他の構成を示す図
【図５】作業状況管理部の他の構成を示す図
【図６】作業状況管理部の他の構成を示す図
【図７】作業状況管理部の他の構成を示す図
【図８】作業状況管理部の他の構成を示す図
【図９】映像情報管理部の構成を示す図
【図１０】音声情報管理部の構成を示す図
【図１１】ウインドウ情報管理部の構成を示す図
【図１２】指示情報管理部の構成を示す図
【図１３】作業状況記憶部に記憶される作業状況を示す情報を示す図
【図１４】作業状況記憶部に記憶される作業状況を示す情報を示す図
【図１５】作業状況記憶部に記憶される作業状況を示す情報を示す図
【図１６】作業状況記憶部に記憶される作業状況を示す情報を示す図
【図１７】ウインドウのサイズ変更情報を利用して利用者の着目ウインドウの判定をする方法を説明する図
【図１８】ウインドウの所有者情報を利用して利用者の着目ウインドウの判定をする方法を説明する図
【図１９】表示位置変更部の操作情報をもとに利用者の着目情報を判定する方法を説明する図
【図２０】映像情報に対する利用者の着目地点を検出する方法を説明する図
【図２１】映像情報に対する利用者の着目地点を検出する方法を説明する図
【図２２】キーワード情報管理部の構成を示す図
【図２３】（ａ）は文書を編集する作業の流れを示す図
（ｂ）は（ａ）の作業により作業状況記憶部に記憶される情報の例を示す図
【図２４】（ａ）は作業において、利用者により資料情報の一部が指示されている場面を示す図
（ｂ）は（ａ）の作業により作業状況記憶部に記憶される情報の例を示す図
【図２５】（ａ）は作業において、資料情報がウインドウに表示されている場面を示す図
（ｂ）は（ａ）の作業により作業状況記憶部に記憶される情報の例を示す図
【図２６】（ａ）は音声キーワード検出部の構成を示す図
（ｂ）は音声キーワード検出部により作業状況記憶部に記憶される情報の例を示す図
【図２７】映像情報もしくは音声情報にキーワードを付加する処理の手順を示す図
【図２８】映像情報もしくは音声情報の評価対象区間（時間帯）を指定する方法を説明する図
【図２９】キーワード候補特定部の構成を示す図
【図３０】映像もしくは音声情報に付加するキーワードの決定ルールを示す図
【図３１】キーワード評価値を計算する方法を説明する図
【図３２】キーワード評価値とキーワード重要値の具体的な利用方法について説明する図
【図３３】会話情報の自動編集を行う方法の手順を示す図
【図３４】音声情報を有音部と無音部とに分割する方法の手順を示す図
【図３５】競合区間におけるキーワード統合化ルールを説明する図
【図３６】競合区間におけるキーワード統合化ルールを説明する図
【図３７】競合区間におけるキーワード統合化ルールを示す図
【図３８】文書化部の構成を示す図
【図３９】作業状況を示す文字情報を生成する方法を説明する図
【図４０】作業状況を示す文字情報を生成する他の方法を説明する図
【図４１】キーワード検索部の構成を示す図
【図４２】検索キーワード記憶部に記憶される情報の例を示す図
【図４３】検索キーワードを入力するための検索パネルの例を示す図
【図４４】検索キーワードの評価処理の手順を示す図
【図４５】作業状況管理部の他の構成を示す図
【図４６】映像情報の統合化の手順を示す図
【図４７】映像ブロックを優先的に選択するための優先規則を示す図
【図４８】優先規則を具体的に説明する図
【図４９】優先規則を具体的に説明する図
【図５０】優先規則を具体的に説明する図
【図５１】発生事象の組み合わせ規則を示す図
【図５２】情報を操作するための操作パネルの画面イメージを示す図
【図５３】情報の検索・編集を行う操作パネルの画面イメージを示す図
【図５４】参加者毎に記録した映像情報および音声情報を統合するための操作パネルの画面イメージを示す図
【符号の説明】
１０ 作業状況管理装置
１１ 入力部
１２ 端末制御部
１３ 作業状況管理部
１４ 作業状況記憶部
１５ 資料情報記憶部
１６ 出力部
１７ 伝送部
Claims (1)
- 作業に関連する情報を入力する入力部と、
前記入力部から入力される情報に対して所定の変化が発生したことを検出し、前記所定の変化が発生した時刻を示す情報と前記変化内容を特定する情報とを生成し、前記生成した変化発生時刻を示す情報と変化内容を特定する情報とを作業状況として作業状況記憶手段に記憶する作業状況管理部とを備えた作業状況管理装置による作業状況管理方法であって、
前記入力部としてカメラを用い、作業内容となる被写体をカメラにより撮像しながら前記カメラにより撮像された映像情報に対して、カメラ操作の変化、映像シーンの変化、映像チャンネルの変化のうち、少なくとも１つの変化が発生したことを検出する検出ステップと、
前記検出ステップにより検出した変化が発生した時刻を検知して前記変化発生時刻を示す情報と、前記検出ステップの結果に基づいて前記検出した映像情報の変化内容を特定する情報とを生成する生成ステップと、
前記生成ステップにより生成した変化発生時刻情報と、前記映像情報の変化を特定する情報とを作業状況として記憶する記憶ステップとを備え、
前記検出ステップで検出されるカメラ操作は、被写体に対する映像の倍率を変更するズーム操作と、被写体に焦点をあわせるフォーカス操作と、水平方向へ映像情報を変更するパン操作、上下方向へ映像情報を変更するチルト操作のいずれかを１つを含むカメラの操作信号を検出し、
前記検出ステップで検出される映像シーンの変化は、撮像される映像フレーム間の画素の差分を算出し、所定値より大きい場合に変化が発生したと判断することを特徴とする作業状況管理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP01152894A JP3827740B2 (ja) | 1993-02-04 | 1994-02-03 | 作業状況管理装置 |
Applications Claiming Priority (9)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1725093 | 1993-02-04 | ||
| JP14889993 | 1993-06-21 | ||
| JP5-148899 | 1993-06-21 | ||
| JP18998593 | 1993-07-30 | ||
| JP5-189984 | 1993-07-30 | ||
| JP5-189985 | 1993-07-30 | ||
| JP18998493 | 1993-07-30 | ||
| JP5-17250 | 1993-07-30 | ||
| JP01152894A JP3827740B2 (ja) | 1993-02-04 | 1994-02-03 | 作業状況管理装置 |
Related Child Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003131362A Division JP2004030623A (ja) | 1993-02-04 | 2003-05-09 | 作業状況管理装置 |
| JP2003285635A Division JP3578167B2 (ja) | 1993-02-04 | 2003-08-04 | 作業状況管理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0798734A JPH0798734A (ja) | 1995-04-11 |
| JP3827740B2 true JP3827740B2 (ja) | 2006-09-27 |
Family
ID=27519294
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP01152894A Expired - Fee Related JP3827740B2 (ja) | 1993-02-04 | 1994-02-03 | 作業状況管理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3827740B2 (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3821170B2 (ja) * | 1996-07-26 | 2006-09-13 | 富士ゼロックス株式会社 | 共同作業情報の管理方法および共同作業支援システム |
| JP3733984B2 (ja) * | 1997-01-29 | 2006-01-11 | 富士ゼロックス株式会社 | 情報蓄積装置および情報蓄積方法 |
| JP3668364B2 (ja) * | 1997-09-22 | 2005-07-06 | 日本電信電話株式会社 | 連続メディア情報アクセス方法、連続メディア情報アクセス装置及び連続メディア情報アクセスプログラムを記録した記録媒体 |
| WO2001086365A1 (fr) * | 2000-05-12 | 2001-11-15 | Ishida Co., Ltd. | Systeme de gestion de production et systeme de verification d'etats de fonctionnement de dispositifs de production |
| CN1303783C (zh) * | 2003-08-05 | 2007-03-07 | 英业达股份有限公司 | 数字会议数据整合发送系统及其方法 |
| JP4492124B2 (ja) * | 2004-01-05 | 2010-06-30 | 富士ゼロックス株式会社 | 書込解析装置、方法、およびプログラム |
| JP2006277549A (ja) * | 2005-03-30 | 2006-10-12 | Toshiba Corp | 現場作業認証管理システム |
| JP4673916B2 (ja) * | 2006-03-10 | 2011-04-20 | パイオニア株式会社 | 情報処理装置、情報処理方法及び情報処理用プログラム |
| JP2007281618A (ja) * | 2006-04-03 | 2007-10-25 | Sony Corp | 情報処理装置、情報処理方法、およびプログラム |
| JP2008084068A (ja) * | 2006-09-28 | 2008-04-10 | Toshiba Corp | 現場作業実施状況管理装置及び管理方法 |
| JP2010061411A (ja) * | 2008-09-04 | 2010-03-18 | Brother Ind Ltd | 画像投影装置、画像合成装置、画像投影方法及び画像投影プログラム |
| JP7197764B2 (ja) * | 2018-07-31 | 2022-12-28 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、その制御方法とプログラム |
-
1994
- 1994-02-03 JP JP01152894A patent/JP3827740B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0798734A (ja) | 1995-04-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5546598A (en) | Working situation management apparatus | |
| JP4439462B2 (ja) | 情報提示方法、情報提示装置及び情報提示プログラム | |
| US5894306A (en) | Data display device and data record/playback device displaying consecutive data and user input in association with each other | |
| JP3827740B2 (ja) | 作業状況管理装置 | |
| KR100752568B1 (ko) | 이벤트 기반 주석 달기 방법 및 시스템 | |
| US6188831B1 (en) | Data storage/playback device and method | |
| US7299405B1 (en) | Method and system for information management to facilitate the exchange of ideas during a collaborative effort | |
| JP3185505B2 (ja) | 会議録作成支援装置 | |
| JP2008084110A (ja) | 情報表示装置、情報表示方法及び情報表示プログラム | |
| JP6304941B2 (ja) | 会議情報記録システム、情報処理装置、制御方法およびコンピュータプログラム | |
| CN111193890B (zh) | 会议记录解析装置、方法和会议记录播放系统 | |
| JP5917270B2 (ja) | 音検出装置及びその制御方法、プログラム | |
| KR100999655B1 (ko) | 디지털 비디오 레코더 시스템 및 그것의 운용방법 | |
| JP2005267279A (ja) | 情報処理システム及び情報処理方法、並びにコンピュータ・プログラム | |
| US20050131744A1 (en) | Apparatus, system and method of automatically identifying participants at a videoconference who exhibit a particular expression | |
| US11037604B2 (en) | Method for video investigation | |
| JP2005352933A (ja) | 表示装置、システムおよび表示方法 | |
| JP2004030623A (ja) | 作業状況管理装置 | |
| CN110502117A (zh) | 电子终端中的截图方法以及电子终端 | |
| JPH06266632A (ja) | 電子会議システムの情報処理方法及び同装置 | |
| JPH11272679A (ja) | 発言構造情報提示装置 | |
| JPH0749695A (ja) | 時系列データ記録再生装置 | |
| JP3578167B2 (ja) | 作業状況管理装置 | |
| JP3879793B2 (ja) | 発言構造検出表示装置 | |
| JP2018073237A (ja) | 会議情報表示システム、会議情報表示方法および会議情報表示プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20050620 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060526 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060705 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090714 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100714 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110714 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110714 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120714 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |