JP4250983B2 - 連続データへのユーザデータ関連付け装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、映像や音声などの連続データにユーザが注記などのユーザデータを関連付ける技術に関し、特に、当該関連付けを連続データの収録に際して用いられた資料に基づいて行う技術に関する。
【０００２】
【従来の技術】
映像や音声などの連続データは日常において種々な用途に利用されている。例えば、会議、プレゼンテーション、講演、講義などと言った内容は連続データとして収録されて、後に内容確認などの再利用に供される。
このような連続データの収録の場では、文章や画像などの資料を用いて説明などがなされる場合が多く、このような資料は連続データ中の或る場面と内容などにおいて密接に関係している。
【０００３】
また、このような連続データの収録の場では、出席者などのユーザは内容に応じてコメントメモなどの注記を行うことが多く、このような注記は後に連続データを再利用する場合に所望の内容部分を見付け出す手掛かりや重要事項を確認する切っ掛けなどとして利用価値の高いものである。
このような注記や資料とビデオデータとの間の関連情報を処理する技術として、次のようなものが知られている。
【０００４】
Ｋｎｏｗｌｅｄｇｅ―Ｄｒｉｖｅと称するシステムでは、予め講義や公演などを収録したビデオデータと当該ビデオデータ中で使用された資料が同期して再生されるように関連付けたデータを用意しておく。そして、視聴者ユーザは必要に応じてビデオデータの再生を一時停止させて、そこで使用されている資料に対してコメントを掲示板のような形で書き込むことができるようになっている。また、その後、コメントからそのコメントが付けられた資料を特定し、更に、予め用意された関連付けデータを用いて、そのコメントに関連すると思われるビデオデータ部分ヘのアクセスできるようにしている（非特許文献１参照。）。
【０００５】
また、ミーティングを録画しながら、そのミーティング中に各種装置により取得できるイベント情報とビデオデータを相互に関連付けを行い、後に録画ビデオデータを再生する際にビデオ中の目的の位置を簡便に特定することができるようにした技術が知られている（特許文献１参照。）。
【０００６】
また、録画したビデオデータの再生視聴中にデジタルインクによって付与された注釈へ電子的に読み取り可能な識別子を付与し、当該注釈をプリントアウトすることにより、注釈とビデオデータヘのリンクを作成する技術も知られている（特許文献２参照。）。
【０００７】
また、Ｃａｒｄ Ｇｅａｒと称するシステムでは、用紙に付したバーコードを利用することにより、用紙に印刷した資料と電子的なプレゼンテーション資料のリンクを生成して、これらをリンク関係で利用することができるようにしている（非特許文献２参照。）。
【０００８】
また、Ｍｅｔａｄａｔａ Ｐｌａｙｅｒと称するシステムでは、ビデオデータを解析し、その結果を用いてプレゼンテーション資料が映っている時点やカメラの切り替えが起こった時点を簡便且つ素早く閲覧することができるインターフェースを提供している（非特許文献３参照。）。
【０００９】
【特許文献１】
特開平９―１７１４４８号公報
【特許文献２】
特開２００２―５７９８１号公報
【非特許文献１】
Knowledge‐Drive、インターネット＜URL ： http://www.knowledge-drive.com/＞
【非特許文献２】
Card Gear、インターネット＜URL ： http：//www.fujixerox.co.jp/soft/cardgear/＞
【非特許文献３】
Andreas Girgensohn et al.,“Facilitating Video Access by Visualizing Automatic Analysis”In Human-Computer Interaction lNTERACT '99, IOS. Press, pp.205-212,1999
【００１０】
【発明が解決しようとする課題】
ミーティングや会議などを収録したビデオ画像や音声などの連続データに対して、テキスト、音声、フリーフォームインクなどの注記を利用したインデツクスを作成し、連続データの再生時に利用しようという試みはこれまで数多く行われている。これら従来の試みでは、ビデオの再生位置（時間情報）と注記が生成された時の時間情報を対応付けたインデックス付けが行われている。
【００１１】
ここで、実際のミーティングや会議の場を見てみると、予め発表資料を参加者へ配布する形態で行われることが多く、このような形態の場合では、参加者は実際の発言者の発表内容にかかわらず自分の興味がある部分の資料に目を通し、当該資料に対して注記を加えるということがしばしば観察される。
このような形態を収録した場合にあっては、時間情報を利用した注記と連続データの関連付けでは、参加者にとっては実際には関係ない部分へのリンクが生成されることなり、当該参加者がこれらのリンクを連続データ再生時に利用しても役には立たない。
【００１２】
本発明は、上記従来の事情に鑑みなされたもので、連続データと当該連続データに関連する注記などの静的なユーザデータとの間の関連付けを、ユーザの実際の活動に即して行うことを目的とする。
なお、本発明の更なる目的は、以下に説明するところにより明らかである。
【００１３】
【課題を解決するための手段】
上記のように、会議などにおいては説明の進行にかかわらず、参加者は配布された資料をパラパラと見て、自分が資料内容に関して抱いたコメントメモなどを当該資料に書き込む行為はよく目にするところである。
そこで、本発明は、用紙に印刷され或いは手元のパーソナルコンピュータに提供されて表示されるなどの態様でユーザに資料を配布して進められる会議などの場では、注記などのユーザデータは発言者の説明などに付けられるより、むしろ配布資料について付けられる場合が多いことに着目し、このような実情に即した関連付け処理を実現するものである。
【００１４】
本発明は、ユーザデータ関連付け装置、当該装置をコンピュータにより実現するプログラム、情報処理技術を利用して実施されるユーザデータ関連付け方法として実現することができ、会議映像などの連続データの収録に際して用いられる資料に関連してユーザによって付加されるユーザデータを、当該連続データの所定位置に関連付ける。
【００１５】
より具体的には、本発明では、資料に関連してユーザによって付加されるユーザデータを入力し、ユーザデータが関連する資料と連続データの収録に用いられた資料との対応に基づいて、当該資料が用いられた連続データ中の位置にユーザデータを関連付ける。
なお、本発明では、連続データの収録に際して用いられた資料と当該資料が用いられた連続データ中の位置との関係が予め特定されていない場合には、例えば非特許文献３に示されるような手法により、これらの関係を特定するようにしてもよい。
【００１６】
また、配布資料が用紙に印刷した資料で、ユーザが当該資料にコメントなどのユーザデータを付記する場合には、本発明は、当該資料をスキャナなどの画像読み取り装置で読み取り、例えばユーザデータを付記された資料と原本との比較によって、読み取った資料画像データからユーザデータを抽出し、上記のようにして、抽出されたユーザデータと対応する資料が用いられた連続データ中の位置とを関連付けるようにしてもよい。
また、本発明は、得られた関連付け情報に基づいて、連続データとユーザデータとを同期させて再生し、ユーザに提供するようにしてもよい。
【００１７】
なお、本発明では、画像、音声、これらの両方からなる連続データについて適用でき、ユーザデータも、テキスト記述のみならず、画像、音声などの種々な形式で入力することができる。
【００１８】
したがって、本発明によると、例えば、講演などの進行状況と全く関係なく、配布資料上に記述された注記をビデオデータの適切な位置に相互リンクなどで関連付けることができる。また、従来では事前にビデオデータと資料との間の関連を記述する必要があったが、本発明によると、これらの関連の特定、リンクなどによる関連付けを後処理で実施することが可能となる。更に、本発明によると、電子情報でない紙などの媒体の資料に付与された注釈とビデオデータとの関連付けも可能となる。
【００１９】
【発明の実施の形態】
本発明を実施例に基づいて具体的に説明する。
図１には本発明の一実施例に係るユーザデータ関連付け装置の構成を示してあり、本例では音声を含むビデオデータとしての連続データに、ユーザデータとしてユーザＰが記述した注記を関連付けるものとしている。
【００２０】
本例のユーザデータ関連付け装置は、連続データ保存部１、連続データ解析部２、資料データ供給部３、出力部４、入力部５、読み取り部６、資料・注記抽出部７、注記・資料関連付け部８、注記データ保存部９、資料整合部１０、関連付け部１１、関連関係保存部１２、同期出力部１３を有している。
なお、これら機能部は専用装置として構成してもよいが、本例では、本発明に係る処理を行う機能部はコンピュータにより本発明に係る処理プログラムを実行することにより実現されている。
【００２１】
連続データ保存部１は、読み書き自在なメモリで構成されており、連続データ（ビデオデータ）を保持する。
連続データ解析部２は、非特許文献３などでも知られるような公知の手法によって、連続データのユーザに配布した資料が表示されている部分を特定する処理を行う。具体的には、会議の様子を収録したビデオ映像を解析することにより、プレゼンテーション資料が表示されている個所を特定し、その個所の映像情報と発表に使用された配布資料の画像情報の類似度を比較することにより、いつどの資料（複数ページの時にはどのページか）が発表に使用されているのかを特定することができる。
【００２２】
ここで、このような映像情報を解析する場合に、映像フレーム全体と配布資料とを走査比較して、映像フレーム中に配布資料を一定以上に類似する部分があれば当該部分を資料の画像部分と判別するようにしてもよいが、映像情報から資料画像を抽出して、当該資料画像と配布資料の画像とを比較するようにしてもよく、このようにすると、これら資料間の整合性をより精度良く判定することができる。
【００２３】
なお、例えば、会議で電子データを使用してプレゼンテーションが行われるような場合には、会議中でいつどの資料のどの部分が表示されていたのかという情報をプレゼンテーションソフトウエアから得ることが可能である。このような場合は、非常に簡単な解析処理で必要とする情報を得ることができ、場合によっては、連続データ解析部２を省略することができる。
【００２４】
要は、どの資料のどの部分がいつ使用されていたのかという情報を得ることができればよく、例えば図３に示すように、会議の様子を収録した連続データの時間位置Ｔ1〜Ｔ2の箇所には資料Ａの画像が含まれ、時間位置Ｔ3〜Ｔ4の箇所には資料Ｂの画像が含まれていると言ったことが特定できればよい。
【００２５】
資料データ供給部３は会議参加者のユーザＰに配布される資料（上記会議中に使用された資料と同じ内容）を電子データとして供給するメモリや通信インタフェースであり、出力部４は提供された配布資料の画像を画面表示するディスプレイである。また、入力部５はキーボード、マウス、ペン入力タブレットなどであり、ユーザＰが出力部４で画面表示された配布資料のページをめくったり、それに注記記述を入力するためのものである。
したがって、会議に参加しているユーザＰは、自席において、配布資料をめくって任意の資料部分に対して任意の注記を自由に入力部４から入力することができる。
【００２６】
なお、用紙に印刷された形態の資料ＤをユーザＰへ配布される資料とするようにしてもよく、このような配布資料ＤにユーザＰが注記を筆記具Ｓで記入するようにしてもよい。本例では、これに対応するために、注記を入力するための一形態としての読み取り部６と、ペンなどの筆記具Ｓで記述された注記を電子データ化するための資料・注記抽出部７とを備えている。
【００２７】
読み取り部６は配布資料Ｄを画像読み込みするスキャナであり、資料・注記抽出部７は読み込まれた配布資料Ｄの画像中から当該配布資料に記述されている注記を画像データ或いは文字認識変換したテキストデータとして抽出する。
ここで、資料が電子データで配布されている場合は、配布資料は既に情報処理で識別可能であるので、配布資料に入力部５の操作で付加される注釈データを識別可能な形態で配布資料と関連付けて保存することは簡単である。
【００２８】
一方、印刷した形態で配布される資料Ｄについては、例えば、次のような手法により、配布資料自体とその注記とを電子的に識別して注記データを抽出することができる。
配布資料Ｄにバーコードやグリフのような電子的に読み取り可能な識別子を付け印刷し、これにより、各配布資料及びその配布資料中の各ページを電子的に一意に識別できるようにしておく。そして、注記を記述する前の原本資料のデータを保持しておき、配布資料及び資料中のページが電子的に識別できるため、スキャナで読み取られた注記付きの配布資料画像と対応する原本画像との差分をとり、所定以上の差分を発生する画像部分を注記データとして抽出し、当該注記に識別子を与えることができる。
【００２９】
なお、配布資料とは異なる色のペンＳで注記を記入させるようにして、カラースキャナで読み込んだ配布資料画像中から、当該ペンＳの色で記述された部分を注記として抽出するといった方法も可能である。
また、どの会議で利用された資料であるかが予め判っていない場合には、スキャナで読み込んだ注記付きの配布資料と全ての配布資料の原本との差分をとり、差分が最も小さいものを当該会議の資料と識別するようにしてもよい。
上記のようにして抽出された注記は画像データとして連続データに関連付けしてもよいが、テクストデータとする場合には、当該画像から公知の文字認識技術で記述内容の文字データを抽出すればよい。
【００３０】
注記・資料関連付け部８は、画像読み取りされた配布資料Ｄとそこに記述された注記とをそれぞれ識別して対応付けし、抽出された注記データを読出し書き込み自在なメモリからなる注記データ保存部９に保持させる。
なお、本例では、配布資料Ｄ自体の画像データも抽出され、資料整合部１０による整合性判定に用いられる。
【００３１】
資料整合部１０は、注記が付された配布資料の画像と連続データ解析部２で特定された連続データ中の資料画像との類似度を判定し、所定以上の類似度が得られる連続データ箇所を当該配布資料が対応する位置（すなわち、当該配布資料に付加された注記を関連付けすべき部分）として判定する。
関連付け部１１は、連続データ中のどの位置に資料の画像が含まれ、当該資料に対応する配布資料にどの注記が付加されているかといった解析・判定結果に基づいて、連続データ中の該当位置に該当する注記データを関連付けるリンクを生成する。
【００３２】
関連関係保存部１２は、読出し書き込み自在なメモリからなり、関連付け部１１で生成されたリンク情報を連続データに対応付けて保持する。
同期出力部１３は、連続データ保存部１からの連続データ、注記データ保存部９からの注記データ、関連関係保存部１２からのリンク情報（場合によっては、更に資料データ供給部３からの資料データ）に基づいて、リンクされた連続データと注記データをユーザに対して提供するディスプレイやスピーカである。
【００３３】
次に、本例に係る関連付け処理を図２及び図３を参照して更に詳しく説明する。
本例の処理は、会議中に収録した連続データと会議中に参加者ユーザＰによって入力された注記とをそれぞれ保持しておき、連続データの該当位置と注記とを後処理で関連付けする。具体的には、ユーザＰによる入力部５からの入力及び当該入力された注記データの保存部９への保持処理、並びに、ユーザＰによる配布資料ＤへのペンＳでの注記の記入は、会議中のリアルタイムでなされ、収録された連続データの入力及び当該入力された連続データに対する処理、配布資料Ｄに記述された注記の読み取り及び読み取られた画像に対する処理、並びに、注記と連続データとの関連付け処理は後処理される。
【００３４】
まず、会議中では、会議の様子をビデオカメラなどで連続データとして収録し、当該会議に参加しているユーザＰは出力部４から閲覧できる所望の配布資料に対して入力部５から注記を随時入力し、また、印刷して配布された資料に対して筆記具Ｓを用いて注記を随時入力する。
なお、入力部５から入力された注記データ（実データ）は図２（ｃ）に示すように注記番号（Ｎｏ）で識別されて注記データ保存部９に保持される。
【００３５】
連続データの収録が終了した後処理では、当該連続データ（実データ）が入力されると連続データ保存部１に図２（ａ）に示すように連続データ番号（Ｎｏ）で識別して保持される。また、これとともに、入力された連続データは連続データ解析部２で資料画像を含む箇所と当該資料画像が特定される。すなわち、図２（ｂ）に示すように、連続データは、その連続データ番号（Ｎｏ）で識別して、資料番号（Ｎｏ）で識別した資料、当該資料を含む連続データ部分（位置）が対応付けられる。
具体的には、図３に示すように、資料画像Ａを含む連続データ部分Ｔ1〜Ｔ2、資料画像Ｂを含む連続データ部分Ｔ3〜Ｔ4が解析され、これらの対応関係が特定される。
【００３６】
また、この後処理では、紙面上に注記が記入された配布資料Ｄを読み取り部６で読み取り、その読み取り画像中から注記部分を抽出（或いは、資料部分と注記部分とを分離抽出）し、注記データ（実データ）は図２（ｃ）に示すように注記番号（Ｎｏ）で識別して注記データ保存部９に保持する。
そして、注記・資料関連付け部８が読み取られた資料とその注記とを、図２（ｄ）に示すようにそれぞれの番号（Ｎｏ）で識別して対応付ける。なお、本例では、配布資料の画像データ（実データ）もこれらに対応付けている。
【００３７】
そして、連続データ解析部２による解析結果（図２（ｂ））と注記・資料関連付け部８による対応付け結果（図２（ｄ））とを参照しながら、資料整合部１０が、入力された連続データ中に含まれる資料画像と配布資料の画像との整合性を差分演算などにより度判定する。
そして、連続データ中に含まれる資料画像と配布資料画像とが整合する場合には、関連付け部１１が、当該整合した連続データ箇所と当該整合した配布資料に対応付けられた注記との間にリンクを生成して、図２（ｅ）に示すように、当該リンク情報を連続データ番号に対応付けて関連関係保存部１２に保持させる。
【００３８】
上記の処理は具体的には図３に示すようである。
連続データ中に資料ＡとＢの画像が含まれており、ユーザＰに対しては資料ＡとＢと同じ内容のものが配布資料Ａ’とＢ’として配布されていた場合に、連続データの収録中（すなわち、会議中）ではＡ、Ｂの順で資料が使用されているのにもかかわらず、参加者ユーザＰが手元の配布資料をＢ’、Ａ’という会議の進行とは逆の順で見て、そこに注記ａ、ｂをそれぞれ記述していたとしても、資料画像Ａと配布資料画像Ａ’とが整合する連続データ位置（Ｔ1〜Ｔ2）に配布資料Ａ’に記述された注記ａの識別番号が関連付けられ、資料画像Ｂと配布資料画像Ｂ’とが整合する連続データ位置（Ｔ3〜Ｔ4）に配布資料Ｂ’に記述された注記ｂの識別番号が関連付けられる。
【００３９】
したがって、会議の進行にかかわらずに参加者ユーザＰが手元の配布資料に記述した注記は、連続データ中の該当する資料が使用された箇所に関連付けされる。
なお、図３に示す例では、注記のリンク付け位置を連続データ中の該当箇所の先頭位置としているが、例えば、該当箇所の中間位置、該当箇所の終端位置、該当箇所の区間全域など、必要に応じて種々設定すればよい。
【００４０】
そして、上記のように関連付けがなされると、例えば、連続データと注記とを同期再生することにより利用することができる。すなわち、同期出力部１３が連続データ保存部１、注記データ保存部９、関連関係保存部１２（場合によっては、更に資料データ供給部３）から所要データを取得して、連続データと注記データ（場合によっては、更に資料データ）を同期し再生してユーザに提供する。
【００４１】
ここで、連続データと注記データとの関連付けは相互リンクであっても、いずれか一方からの一方向リンクであってもよく、前者の場合には、例えば、画面に再生表示されている会議映像の所要位置で操作部からユーザが指示を与えると関連付けられている注記が画面表示される、または、画面表示されている注記一覧中からユーザが選択指示を与えると会議映像の関連付けられている箇所から再生が開始されるといった双方向アクセスが行える。
【００４２】
上記の実施例では、テキスト形式の注記を説明したが、ユーザが入力或いは記述した画像、参照リンク情報、音声情報などをユーザデータとして連続データに関連付けるようにすることもできる。
また、連続データは音声データであってもよく、例えば、音声データを音声認識してそこで使用された資料の内容を特定し、配布資料の内容との整合性をとって注記を連続データの該当箇所に関連付けるようにすればよい。
【００４３】
【発明の効果】
以上説明したように、本発明によると、連続データの収録に際して使用された資料とユーザへの配布資料との対応関係に基づいて、配布資料に対して付加されたユーザデータを連続データの該当箇所に関連付けるようにしたため、連続データと当該連続データに関連する注記などの静的なユーザデータとをユーザの実際の活動に即して関連付けることができる。
【図面の簡単な説明】
【図１】 本発明の一実施例に係るユーザデータ関連付け装置の構成を示す図である。
【図２】 本発明の一実施例に係るデータ構成を説明する図である。
【図３】 連続データ、資料、配布資料、注記の関係を説明する図である。
【符号の説明】
１：連続データ保存部、 ２：連続データ解析部、
５：入力部、 ６：読み取り部、
７：資料・注記抽出部、 ８：注記・資料関連付け部、
９：注記データ保存部、 １０：資料整合部、
１１：関連付け部、 １２：関連関係保存部、
１３：同期出力部、 Ｄ：配布資料、
Ｐ：ユーザ、 Ｓ：筆記具、

Claims (7)

1. 連続データの収録に際して用いられる資料に関連してユーザによって付加されるユーザデータを、当該連続データの所定位置に関連付けるユーザデータ関連付け装置であって、
   連続データの収録の進行に関わらずに閲覧可能な配布資料に対してユーザが付加したユーザデータを入力する入力手段と、
   前記入力されたユーザデータが付加された配布資料と連続データの収録に用いられた資料との対応に基づいて、当該ユーザデータが付加された配布資料に対応する資料が用いられた連続データ中の位置に当該ユーザデータを関連付ける関連付け手段と、
   を備えたことを特徴とする連続データへのユーザデータ関連付け装置。
2. 請求項１に記載のユーザデータ関連付け装置であって、
   連続データの収録に際して用いられた資料と当該資料が用いられた連続データ中の位置とを特定する解析手段を備えていることを特徴とする連続データへのユーザデータ関連付け装置。
3. 請求項１又は請求項２に記載のユーザデータ関連付け装置であって、
   前記ユーザデータは印刷された配布資料にユーザが付記した事項であり、前記入力手段は当該印刷された配布資料を読み込む画像読み取り装置であり、
   前記画像読み取り装置により読み取った配布資料の画像データからユーザデータを抽出する抽出手段を備え、
   前記関連付け手段は、前記ユーザデータが抽出された画像データに係る配布資料と連続データの収録に用いられた資料との対応に基づいて、当該ユーザデータが記述された配布資料に対応する資料が用いられた連続データ中の位置に当該ユーザデータを関連付けることを特徴とする連続データへのユーザデータ関連付け装置。
4. 請求項１乃至請求項３のいずれか１項に記載のユーザデータ関連付け装置であって、
   前記関連付け手段によって得られた関連付け情報に基づいて、連続データとユーザデータとを同期させて再生する同期出力手段を備えたことを特徴とする連続データへのユーザデータ関連付け装置。
5. 連続データの収録に際して用いられる資料に関連してユーザによって付加されるユーザデータを、当該連続データの所定位置に関連付けるユーザデータ関連付ける処理をコンピュータにより実現するプログラムであって、
   連続データの収録の進行に関わらずに閲覧可能な配布資料に対してユーザが付加したユーザデータを、当該ユーザデータが付加された配布資料と連続データの収録に用いられた資料との対応に基づいて、当該ユーザデータが付加された配布資料に対応する資料が用いられた連続データ中の位置に関連付ける機能をコンピュータに実現することを特徴とするプログラム。
6. 連続データの収録に際して用いられる資料に関連してユーザによって付加されるユーザデータを、当該連続データの所定位置に関連付けるユーザデータ関連付け方法であって、
   連続データの収録の進行に関わらずに閲覧可能な配布資料に対してユーザが付加したユーザデータを受け付け、
   前記受け付けたユーザデータが付加された配布資料と連続データの収録に用いられた資料との対応に基づいて、当該ユーザデータが付加された配布資料に対応する資料が用いられた連続データ中の位置に当該ユーザデータを関連付けることを特徴とする連続データへのユーザデータ関連付け方法。
7. 連続データの収録に際して用いられる資料に関連してユーザによって付加されるユーザデータを、当該連続データの所定位置に関連付けるユーザデータ関連付け方法であって、
   連続データの収録の進行に関わらずに閲覧可能な印刷された配布資料を画像読み取りして当該配布資料にユーザが記述したユーザデータを抽出し、
   前記抽出されたユーザデータが記述された配布資料と連続データの収録に用いられた資料との対応に基づいて、当該ユーザデータが記述された配布資料に対応する資料が用いられた連続データ中の位置に当該ユーザデータを関連付けることを特徴とする連続データへのユーザデータ関連付け方法。

Images