JP5554214B2 - Minutes system and program - Google Patents
Minutes system and program Download PDFInfo
- Publication number
- JP5554214B2 JP5554214B2 JP2010269309A JP2010269309A JP5554214B2 JP 5554214 B2 JP5554214 B2 JP 5554214B2 JP 2010269309 A JP2010269309 A JP 2010269309A JP 2010269309 A JP2010269309 A JP 2010269309A JP 5554214 B2 JP5554214 B2 JP 5554214B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- cursor position
- minutes
- storage area
- display screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
本発明は、会議録データから資料上の任意の説明箇所に関する時間位置を容易に検索可能とする技術に関する。 The present invention relates to a technique that makes it possible to easily search a time position related to an arbitrary explanation location on a document from conference record data.
現在、会議やプレゼンテーションでは、資料の提示に電子ボードシステムを用いることがある。電子ボードシステムは、コンピュータ画面の表示装置(例えばプロジェクタ、フラットディスプレイ)と、表示面に対する電子ペンや指等の接触位置を検出する位置検出装置で構成されるシステムである。電子ボードシステムを用いる場合、予め用意したスライドの表示だけでなく、文字、図形その他のオブジェクトの入力、コンピュータやプレゼンテーションソフトの操作入力も、表示面に対する操作入力を通じて実現することができる。 Currently, an electronic board system is sometimes used for presentation of materials in meetings and presentations. The electronic board system is a system including a display device (for example, a projector or a flat display) for a computer screen and a position detection device that detects a contact position of an electronic pen, a finger, or the like with respect to the display surface. When the electronic board system is used, not only the display of slides prepared in advance, but also the input of characters, figures and other objects, and the operation input of computers and presentation software can be realized through the operation input on the display surface.
最近では、遠隔地にある電子ボードシステム同士をネットワーク経由で接続し、一方の電子ボードシステムで行った操作内容を、他方の電子ボードシステムにリアルタイムで反映させる仕組みも提案されている。この仕組みを、遠距離間での音声通信が可能な音声入出力装置に組み合わせれば、遠距離間の会議に用いることもできる。 Recently, a mechanism has been proposed in which electronic board systems at remote locations are connected to each other via a network, and the operation contents performed on one electronic board system are reflected in real time on the other electronic board system. If this mechanism is combined with a voice input / output device capable of voice communication over a long distance, it can also be used for a conference over a long distance.
一方で、会議内容の記録には、ビデオカメラ及びマイクが使用される。すなわち、会議内容は、映像データと音声データにより記録される。この種の従来技術は、説明者と説明されている資料の両方を同時に記録できる。すなわち、会議の内容を見たままの状態で記録できる。 On the other hand, a video camera and a microphone are used for recording the contents of the conference. That is, the conference content is recorded by video data and audio data. This type of prior art can record both the presenter and the material being described at the same time. In other words, it is possible to record the conference as it is viewed.
しかし、この方法には、資料上の任意の説明箇所に関する時間位置を会議録データから検索するための仕組みが用意されていない。このため、後日確認が必要になっても、映像データを先頭から再生しなければ目的箇所を検索することができなかった。 However, this method does not provide a mechanism for retrieving the time position related to an arbitrary explanation location on the material from the minutes data. For this reason, even if confirmation is required at a later date, the target location cannot be searched unless the video data is reproduced from the top.
本発明は、以上の課題を考慮してなされたもので、資料上の任意の説明箇所に関する時間位置を会議録データから容易に検索することができる機能の提供を目的とする。 The present invention has been made in consideration of the above problems, and an object of the present invention is to provide a function capable of easily searching a time position relating to an arbitrary explanation location on a document from conference record data.
かかる目的を達成するため、本発明者は、以下に示す機能を有する会議録システムを提案する。
(1)会議録データの保存タイミングにおける時間情報を取得して記憶領域に保存する機能
(2)会議録データの保存タイミングに表示画面上に表示されていた資料を特定する資料番号を取得し、時間情報と関連付けて記憶領域に保存する機能
(3)表示画面上に表示されたカーソル位置を取得し、時間情報と関連付けて記憶領域に保存する機能
In order to achieve this object, the present inventor proposes a conference recording system having the following functions.
(1) Function for acquiring time information at the timing of saving minutes of the minutes and saving it in the storage area (2) Obtaining a material number identifying the material displayed on the display screen at the time of saving minutes of the minutes Function of saving in the storage area in association with time information (3) Function of acquiring the cursor position displayed on the display screen and saving in the storage area in association with the time information
本発明によれば、時間情報に資料番号と、表示画面上に表示されたカーソル位置とを関連付けて保存した会議録データを作成することができる。この会議録データを用いれば、資料と資料上の範囲の組み合わせで特定された検索条件を満たす会議録データの時間位置の検索が可能となる。 ADVANTAGE OF THE INVENTION According to this invention, the minutes record data which linked | related the document number with the time information and the cursor position displayed on the display screen can be produced. By using the minutes data, it is possible to search the time position of minutes data satisfying the search condition specified by the combination of the material and the range on the material.
以下、図面に基づいて、本発明に係る会議録システムの形態例を説明する。なお、後述する形態例はいずれも一例であり、本発明には、本明細書に記載する任意の機能を組み合わせることで実現されるシステム、本明細書に記載する一部の構成や機能だけで実現されるシステムの他、一部の構成や機能だけを周知の技術で置換したシステムも含まれる。また、後述する形態例で実行される機能は、計算機(コンピュータ)上で実行されるプログラムとして実現されるものとして説明する。もっとも、プログラムの一部又は全部は、ハードウェアを通じて実現されても良い。 Hereinafter, an example of a conference record system according to the present invention will be described with reference to the drawings. Note that each of the embodiments described below is merely an example, and the present invention includes only a system realized by combining arbitrary functions described in this specification, and some configurations and functions described in this specification. In addition to the realized system, a system in which only a part of the configuration and functions is replaced by a known technique is also included. In addition, the function executed in the embodiment described later will be described as being realized as a program executed on a computer (computer). However, part or all of the program may be realized through hardware.
(全体システム)
図1に、会議録システムの構成例を示す。図1に示す会議録システムは、電子ボード101、カメラ102、マイク103、コンピュータ104、外部記憶装置105、データ変換装置106、カーソル位置変換部107、映像データ変換部108、表示装置109、データ検索装置110により構成されている。
(Whole system)
FIG. 1 shows a configuration example of a conference record system. 1 includes an
電子ボード101は、会議資料の表示装置として用いられる他、コンピュータ104に対する入力装置としても用いられる。例えばコンピュータ104のカーソル位置入力操作や表示に対する操作入力に用いられる。例えばカーソルの表示位置の移動や説明箇所の強調に用いられる。
The
図1の場合、電子ボード101は、フラットディスプレイを表示装置に用いる例を表している。この他、表示装置をプロジェクタとする構成も可能である。なお、プロジェクタを用いる場合、電子ボード101には投影スクリーンを使用する。
In the case of FIG. 1, the
この実施例の場合、表示面(検出面)には、特定の偏光成分だけを通過する偏光フィルムを配置する。偏光フィルムは、後述するように、表示面を撮像した画像から説明者だけを切り出すために用いられる。 In the case of this embodiment, a polarizing film that passes only a specific polarization component is disposed on the display surface (detection surface). As will be described later, the polarizing film is used to cut out only the presenter from an image obtained by imaging the display surface.
表示面(検出面)に対する説明者の操作位置の検出には、既知の位置検出技術を使用する。例えば感圧方式、電磁気方式、レーザ方式、超音波方式、赤外線方式、抵抗膜方式、静電容量方式などを使用する。位置検出方式の違いにより、電子ボードの装置構成や構造が異なるものになる。この形態例の場合、指や電子ペン等の操作位置を表示面上の座標データとして算出する演算ユニット1011が電子ボード101に搭載されているものとする。この形態例の場合、電子ボード101の座標原点は表示面の左上隅とする。また、X軸は電子ボード101の水平方向、Y軸は電子ボード101の垂直方向とする。
A known position detection technique is used for detecting the operation position of the presenter with respect to the display surface (detection surface). For example, a pressure sensitive method, an electromagnetic method, a laser method, an ultrasonic method, an infrared method, a resistance film method, a capacitance method, or the like is used. Due to the difference in position detection method, the device configuration and structure of the electronic board are different. In the case of this embodiment, it is assumed that the
コンピュータ104は、電子ボード101と接続されており、電子ボード101に対する資料(画像データ)の出力、座標データ列の解析に基づいて生成された描画オブジェクト(オブジェクトデータ)の電子ボード101への出力、座標データ列のデータ解析に基づく処理動作の実行と処理結果の電子ボード101への出力を制御する。また、コンピュータ104は、外部記憶装置105に接続されており、会議時に電子ボード101に表示する資料データ、会議中に電子ボード101に表示された資料データ、電子ボード101の解像度情報等の外部記憶装置105への記録を制御する。なお、コンピュータ104と電子ボード101との接続は有線形式でも無線形式でも構わない。
The
外部記憶装置105は、ネットワーク経由で接続されたファイルサーバを想定する。もっとも、小規模なシステム構成で良い場合には、コンピュータ104に内蔵されたハードディスク装置又は直接外付けされたハードディスク装置でも良い。
The
カメラ102は、説明者の画像の取得及び説明者の位置の取得に用いられる。この形態例の場合、カメラ102は、資料を表示する電子ボード101の表示面の全体のみを撮像できる位置に設置される。すなわち、カメラ102は、電子ボード101の表示面の外側を撮像対象に含まない位置に設置される。カメラ102で撮像された映像データは外部記憶装置105にファイルデータとして保存される。
The
撮影画像から説明者のみを抜き出すため、カメラ102には、電子ボード101側に装着された偏光フィルムとは異なる方向の偏光成分だけを通過する偏光フィルムが装着される。偏光フィルムの装着により、電子ボード101上の表示画は黒く撮像される。一方、電子ボード101の表示面の範囲に入り込んだ説明者はカラー画像として撮影される。このため、黒画像領域を切り離すことにより、説明者像のみを撮像画像から抜き出すことができる。なお、説明者像の抜き出しのため、説明者は黒色以外の衣類を着用することが望ましい。
In order to extract only the presenter from the photographed image, the
マイク103は、説明者の音声と会議出席者の音声の取得に用いられる。このため、マイク103は、説明者の音声と会議出席者の音声の両方を取得し易い位置に設置される。マイク103で取得された会議中(会議の開始から終了まで)の音声データは外部記憶装置105にファイルデータとして保存される。
The
データ変換装置106は、外部記憶装置105に接続され、データ検索に必要なデータ変換処理及び会議録データの再生に必要なデータ変換処理を実行する。図1の場合、データ変換装置106をコンピュータ104の別装置として表しているが、データ変換装置106はコンピュータ104で実行されるアプリケーションソフトの一つであっても良い。データ変換装置106は、カーソル位置変換部107及び映像データ変換部108で構成される。この形態例の場合、データ変換装置106は、コンピュータ104とは別のコンピュータで実行されるアプリケーションソフトウエアとして実現されるものとする。
The
カーソル位置変換部107は、データ検索装置110による資料内の説明箇所の検索を可能とするために、電子ボード101の表示面座標系の座標を資料座標系の座標に変換する処理を実行する。資料座標系は資料の左上隅を座標原点とし、画面内水平方向をx軸、垂直方向をy軸とする。なお、変換処理後の座標データは外部記憶装置105に保存される。
The cursor
映像データ変換部108は、表示装置109に会議録データの内容を表示する際に、電子ボード101に表示されていた資料と説明者を重複した状態で表示するために、カメラ102から取得された説明者の映像データの変換処理を実行する。
The video
表示装置109は、データ変換装置106で変換されたデータを外部記憶装置105から取得し、会議内容を再生する。表示装置109は、画像表示装置であれば良く、必ずしも電子ボード101と同じ表示サイズである必要は無い。この表示装置109は、コンピュータ104の表示部であっても良いし、電子ボード101でも良い。
The
データ検索装置110は、1つ又は複数の会議録データを対象とした検索の実行と、検索結果に基づく該当箇所の再生処理を実行する。ここで、データ検索装置110は、外部記憶装置105に保存されている資料データとカーソル位置データを検索対象とする。データ検索装置110は、検索条件の入力用GUIを表示装置109に表示する。また、データ検索装置110は、検索条件として入力された資料の特定範囲にカーソル位置が一致する又は含まれる会議録データの時間軸上の位置情報(タイムスタンプ)を検索結果として表示装置109に表示する。また、データ検索装置110は、検索結果画面から選択された時間軸上の位置から会議録データ(資料データ、カメラ102で撮像された映像データ、マイク103で取得された音声データ)を再生する。再生画像は表示装置109に表示される。
The
(会議録データの保存動作)
図2に、会議録データの保存手順を示す。この処理動作はコンピュータ104で実行されるアプリケーションプログラムを通じて実現される。図2には、会議開始前の前処理も含まれている。
(Meeting record data save operation)
FIG. 2 shows a procedure for storing the minutes data. This processing operation is realized through an application program executed by the
会議の開始に先立って、コンピュータ104は、電子ボード101の解像度情報を保存する(ステップ201)。図3に、解像度情報のデータ構造例を示す。解像度情報は、X軸方向の解像度301とY軸方向の解像度302で構成される。また、コンピュータ104は、会議で使用する資料データを保存する(ステップ202)。コンピュータ104は、資料データの保存の際、各資料のサイズ情報を取得する。会議で使用される資料には、読み込み順に連番で資料番号が付与される(ステップ203)。この実施例の場合、資料はページ単位で管理され、各ページに資料番号が付される。資料のサイズ情報や資料番号は、資料の管理データとして外部記憶装置105に保存される(ステップ204)。図4に、外部記憶装置105に保存される管理データの構造例を示す。管理データは、資料番号401と、資料名402と、資料のサイズ情報(x軸方向のサイズ情報403、y軸方向のサイズ情報404)とで構成される。この管理データにより、資料名と資料番号と資料サイズの対応関係が分かる。なお、ステップ201とステップ202の実行順序は入れ替わっていても良い。
Prior to the start of the conference, the
次に、会議の開始後に、コンピュータ104が実行する処理動作を説明する。会議の開始を検出すると、コンピュータ104は、会議が終了したか否かを判定する(ステップ205)。コンピュータ104は、音声入力の発生、説明者や操作者による開始操作の入力を通じて会議の開始を検出する。また、コンピュータ104は、無音時間の一定時間以上の継続や操作者による終了操作の入力を通じて会議の終了を検出する。
Next, processing operations executed by the
会議中と判定されている間(ステップ205で否定結果が得られている間)、コンピュータ104は、会議開始からの時間、電子ボード101に表示されている資料の資料番号401と、電子ボード101上に表示されている資料の位置(表示資料位置)(資料原点座標に対する電子ボード座標上の位置)と、電子ボード101上のカーソル位置等を一組とし、会議録データとして外部記憶装置105に保存する(ステップ206)。なお、会議の開始と同時に、カメラ102及びマイク103も動作し、カメラ102から取得される映像データとマイク103から取得される音声データも外部記憶装置105に保存される。
While it is determined that the meeting is in progress (while a negative result is obtained in step 205), the
会議中、説明者は電子ボード101の表示面(検出面)に対する操作入力を通じ、資料上の説明箇所にカーソルを移動させたり、表示内容を強調させたりする。また、説明者は、同様の操作を通じ、資料の一部の拡大、縮小等の操作入力も行う。
During the meeting, the presenter moves the cursor to an explanation location on the document or emphasizes the display content through an operation input on the display surface (detection surface) of the
データの保存は、一定時間毎、カーソル位置の変化時(移動時)、又は表示資料の変更時等のタイミングで実行される。表示資料の変更には、異なる資料への切り換えだけでなく、同一資料内における表示内容の拡大、縮小、表示箇所の移動等も含まれる。なお、会議開始からの経過時間は、コンピュータ104の内蔵タイマーの出力値が使用される。一定時間は固定でも良いし、操作者の操作により可変可能であっても良い。また、コンピュータ104は、電子ボード101の表示面に表示されるカーソル位置を監視しており、カーソル位置が判定期間内に閾値以上変化したか否かによりカーソル位置の変化(移動)の有無を判定する。
Data storage is executed at regular time intervals, when the cursor position changes (when moving), or when the display material is changed. The change of the display material includes not only switching to a different material but also enlargement / reduction of display contents within the same material, movement of a display location, and the like. Note that the output value of the built-in timer of the
図5に、ステップ206において保存される会議録データの構造例を示す。この形態例の場合、会議録データは、会議開始からの時間501、表示資料番号502、表示資料位置(左上X座標)503、表示資料位置(左上Y座標)504、資料拡大率505、表示カーソル位置(x座標)506、表示カーソル位置(y座標)507で構成される。ここで、表示資料位置503、504及び表示カーソル位置506、507は、電子ボード101の座標系により与えられる。
FIG. 5 shows an example of the structure of conference record data stored in
図6及び図7に、本形態例において想定する資料のサイズと電子ボードのサイズとの関係を示す。図6は、電子ボードのサイズ601よりも資料のサイズ602の方が大きい場合である。この場合は、例えば資料の拡大倍率が1より大きい場合に生じる。この例に示すように、図6の場合、表示資料位置503及び504は、いずれも負の値を採る。図7は、電子ボードのサイズ701よりも資料のサイズ702の方が小さい場合である。この場合は、例えば資料の拡大倍率が1より小さい場合に生じる。ただし、ここでは資料の表示サイズが電子ボード101の表示サイズと一致する場合を拡大倍率が1であるものとする。図7の場合、表示カーソル位置506、507はいずれも正の値を採る。
6 and 7 show the relationship between the size of the material assumed in this embodiment and the size of the electronic board. FIG. 6 shows a case where the material size 602 is larger than the electronic board size 601. This case occurs, for example, when the magnification factor of the material is greater than 1. As shown in this example, in the case of FIG. 6, the
会議が終了すると(ステップ205で肯定結果が得られた場合)、コンピュータ104は、保存に関する処理プロセスを終了する。
When the conference ends (when an affirmative result is obtained in step 205), the
(カーソル位置データの変換動作)
次に、会議録データの検索及び再生のために、データ変換装置106のカーソル位置変換部107において実行されるデータ変換動作を説明する。この変換動作は、会議録データの検索が開始される前に終了していれば良い。従って、会議録データの保存と並行して実行されても良い。
(Cursor position data conversion operation)
Next, a data conversion operation executed in the cursor
この変換動作は、説明者が説明していた資料の特定箇所を指定した検索を可能とするための前処理として実行される。具体的には、電子ボード101の座標系で与えられたカーソル位置の座標値を資料の座標系の座標値に変換する動作を実行する。カーソル位置を資料の座標系で表すことができれば、説明者が会議中に説明していた箇所を特定することが可能になり、後の検索時に資料とその説明箇所を指定した検索が可能になるためである。
This conversion operation is executed as a pre-process for enabling a search specifying a specific part of the material explained by the presenter. Specifically, an operation of converting the coordinate value of the cursor position given in the coordinate system of the
図8に、カーソル位置変換部107によるカーソル位置データの変換動作を示す。もっとも、資料のサイズと電子ボードのサイズが一致し、資料上の座標値と電子ボード上の座標値が一致する場合、この変換処理は不要である。
FIG. 8 shows a cursor position data conversion operation by the cursor
まず、カーソル位置変換部107は、外部記憶装置105から電子ボードの解像度情報(図3)を取得する(ステップ801)。
First, the cursor
次に、カーソル位置変換部107は、資料サイズデータ(図4)と会議録データ(図5)を外部記憶装置105から取得する(ステップ802)。
Next, the cursor
この後、カーソル位置変換部107は、データ変換の処理対象になっていない会議録データの有無を判定する(ステップ803)。未処理の会議録データが存在する場合、データ変換装置106は1行分の会議録データを読み込む(ステップ804)。
After that, the cursor
次に、カーソル位置変換部107は、読み込んだ会議録データから表示資料位置と拡大率を取得する(ステップ805)。また、カーソル位置変換部107は、読み込んだ会議録データから電子ボード101上のカーソル位置を取得する(ステップ806)。
Next, the cursor
これらのデータが取得されると、カーソル位置変換部107は、図9に示す計算式に基づいて、電子ボード上のカーソル位置を資料上のカーソル位置に変換する(ステップ807)。因みに、901はX座標の換算式であり、902はY座標の換算式である。
When these data are acquired, the cursor
次に、カーソル位置変換部107は、計算された資料上のカーソル位置が資料の外か否かを判定する(ステップ808)。資料の中にあれば(ステップ808で否定結果の場合)、カーソル位置変換部107はステップ803に戻る。一方、資料の外にあれば(ステップ808で肯定結果の場合)、カーソル位置変換部107は当該会議録データを破棄した後ステップ803に戻る(ステップ809)。ここで、算出されたカーソル位置が資料上にあるか否かは、会議前に取得された資料サイズデータ(図4)との比較により実行される。
Next, the cursor
この変換動作が会議の開始から終了までの間に記録された全ての会議録データについて実行されることにより、カーソル位置変換部107は、各時間における資料上のカーソル位置を求めることができる。
By executing this conversion operation for all conference data recorded from the start to the end of the conference, the cursor
全ての会議録データについて変換処理が終了すると、カーソル位置変換部107は、破棄されなかったカーソル位置の情報に対し、会議開始からの時間と、表示されている資料の資料番号とを付与し、外部記憶装置105に格納する(ステップ810)。図10に、資料上のカーソル位置として外部記憶装置105に格納されるデータの構造を示す。資料上のカーソル位置データは、会議開始からの時間1001、表示資料番号1002、資料上カーソル位置(X座標)1003、資料上カーソル位置(Y座標)で構成される。
When the conversion process is completed for all minutes, the cursor
(映像データの変換動作)
次に、データ変換装置106の映像データ変換部108において実行されるデータ変換動作を説明する。すなわち、カメラ102で撮像された映像データの変換動作を説明する。この変換動作も、会議録データの検索が開始される前に終了していれば良い。従って、カメラ102の撮像と並行して実行されても良い。この変換動作は、カメラ102により撮影された説明者の映像を資料に重複して表示する場合のために、映像データから説明者像だけを抽出する目的で実行される。
(Video data conversion operation)
Next, a data conversion operation executed in the
前述したように、カメラ102と電子ボード101の表示面には、それぞれ通過する偏光成分が異なる偏光フィルムが装着されている。このため、カメラ102の撮像画像のうち電子ボード101の表示面の領域部分は黒画面となる。また、カメラ102の撮影範囲は、電子ボード101の表示面サイズに合致している。このため、説明者が電子ボード101の前に立つと、説明者像は黒色背景を有する画像として表示される。
As described above, polarizing films having different polarization components that pass through are mounted on the display surfaces of the
図11に、映像データ変換部108による映像データの変換動作を示す。
FIG. 11 shows the video data conversion operation by the
まず、映像データ変換部108は、外部記憶装置105からカメラ102で撮影された映像データを取得する(ステップ1101)。
First, the
次に、映像データ変換部108は、取得された映像データを時間単位の画像データに変換する(ステップ1102)。
Next, the
次に、映像データ変換部108は、未処理の画像データの有無を判定する(ステップ1103)。未処理の画像データが存在する場合(ステップ1103で肯定結果が得られた場合)、映像データ変換部108は、先に処理した画像データに対して次の時間情報が付された画像データを読み込む(ステップ1104)。
Next, the
続いて、映像データ変換部108は、読み込んだ画像データの背景色である黒色を透過色に設定する(ステップ1105)。ただし、この時点の画像データをそのまま資料に重複すると、説明者と重複する部分の資料を見ることができなくなる。
Subsequently, the video
そこで、映像データ変換部108は、背景色以外の色を半透過色(例えば50%程度)に設定する(ステップ1106)。この設定により、会議録データを再生する際に、説明者が透けて見え、説明者に隠れていた資料も同時に見ることができる。
Therefore, the
これらの処理が全ての画像について実行されると(ステップ1103で否定結果が得られると)、映像データ変換部108は、データ変換後の画像データを外部記憶装置105に格納する(ステップ1107)。
When these processes are executed for all the images (when a negative result is obtained in step 1103), the video
(会議録データの検索動作)
ここでは、会議録データの検索時に実行される処理動作の内容を説明する。この処理動作の内容は、データ検索装置110により実行される。
(Meeting record data search operation)
Here, the contents of the processing operation executed when retrieving the minutes data will be described. The contents of this processing operation are executed by the
この形態例の場合、説明箇所の検索は、説明に用いた資料と、資料上のカーソル位置又は範囲の特定により実行する。 In the case of this embodiment, the description location is searched by specifying the material used for the description and the cursor position or range on the material.
図12に、データ検索装置110が実行する処理動作の内容を説明する。
FIG. 12 illustrates the contents of the processing operation executed by the
まず、データ検索装置110は、資料番号401と資料名402との対応関係と、資料のサイズ情報403、404と、会議で使用した資料のデータを、外部記憶装置105から取得する(ステップ1201)。
First, the
次に、データ検索装置110は、表示装置109の画面上に検索対象とする資料の選択画面を表示する(ステップ1202)。図13に、選択画面の一例を示す。図13の場合、1つの画面内に4つの資料の情報が選択可能に表示される例を示している。図13では、各資料が、サムネイル画像1032と、資料名1303とで表示される場合について表している。ユーザは、選択画面1301に表示されたサムネイル画像1302のうち検索対象とする1つの上にカーソル1304を合わせ、クリック操作により選択をデータ検索装置110に入力する。図では、選択が確定した状態にある資料1を、網掛け表示で示している。
Next, the
続いて、データ検索装置110は、選択した資料のうち検索対象とする説明範囲の選択を受付ける(ステップ1203)。図14に、説明範囲の選択受付け時に表示する画面例を示す。図14に示す選択画面1401は、ステップ1202で選択された「資料1」のページ内容である。ユーザは、カーソル1403を画面上で移動させるドラッグ操作により検索対象とする説明範囲1402を入力する。図では、ページの下段に位置する説明文とオブジェクトが選択された様子を示している。図14に示すように、説明範囲の指定は、文字以外のオブジェクトを含むことができる。この説明範囲は、資料上のカーソル位置情報として保存される。
Subsequently, the
次に、データ検索装置110は、外部記憶装置105に格納されているカーソル位置データを読み込む(ステップ1204)。このカーソル位置データの読み込みは、図10に示すデータ形式について行われる。
Next, the
次に、データ検索装置110は、検索対象に選択された資料と同じ資料であり、かつ、選択された説明範囲内にカーソルが位置する会議録データの時間位置を抽出する(ステップ1205)。なお、説明範囲にカーソルが位置する会議録データが複数の時間値について連続して出現する場合、データ検索装置110は、これら複数時点の会議録データを1つの検索結果として扱う。これにより、説明箇所の候補が検索される。図15に、検索結果として表示装置109に表示される検索結果の表示例を示す。図15に示す検索結果画面1501には4の時間帯が候補として表示されている。
Next, the
この後、データ検索装置110は、選択結果画面1501の中からカーソル1502により時間帯の選択を受付ける(ステップ1206)。
Thereafter, the
この後、データ検索装置110は、選択部分から会議の内容を再生する(ステップ1207)。
Thereafter, the
(会議録データの再生動作)
ここでは、会議録データの再生動作を説明する。この処理動作も、データ検索装置110が実行する。
(Replay of minutes data)
Here, the reproduction operation of the conference record data will be described. This processing operation is also executed by the
図16に、データ検索装置110が実行する処理動作の内容を説明する。
FIG. 16 illustrates the contents of the processing operation executed by the
まず、データ検索装置110は、資料データと、資料番号と資料名の対応関係と、資料のサイズ情報を、外部記憶装置105から読み込む(ステップ1601)。
First, the
次に、データ検索装置110は、会議内容の再生のため、会議時に取得されたデータ(例えばカーソル位置情報や描画オブジェクト情報)を、外部記憶装置105から読み込む(ステップ1602)。
Next, the
さらに、データ検索装置110は、映像データ変換部108による変換後の画像データを、外部記憶装置105から読み込む(ステップ1603)。
Further, the
さらに、データ検索装置110は、会議中にマイク103から取得された音声データを外部記憶装置105から読み込む(ステップ1604)。
Furthermore, the
この後、データ検索装置110は、会議録データが終了したか否かを判定する(ステップ1605)。会議録データが終了していない場合(ステップ1605で否定結果の場合)、データ検索装置105は、選択結果画面1501で選択された時間に取得された会議録データから資料番号を取得し、当該資料番号に対応する資料データを表示装置109に表示する(ステップ1606)。同時に、同じ時間に保存された音声データを再生する(ステップ1608)。
Thereafter, the
次に、データ検索装置110は、当該時間に対応する説明者の画像データを資料に所定位置に重複的に表示する(ステップ1607)。この処理動作が会議録データの時間が終了するまで繰り返される。図17に、再生画面の一例を示す。再生画面1701は、資料画面1702と、カーソル1703と、説明者像1704で構成されている。図17に示すように、説明者像1704を資料に重ねて表示することで、単にカーソル1703だけを表示する場合に比して臨場感に優れた会議録の再生を実現できる。もっとも、説明者像1704は合成像であるので、資料の視認性を優先したい場合には、説明者像1704の透過度を高めたり、不表示とする(透過度100%)こともできる。
Next, the
また、この形態例の場合、資料画面1702に表示される内容は撮像画像とは異なり、資料データそのものから生成された画像である。従って、説明中に資料のズーム画像が用いられた場合でも鮮明な文字を表示できる。
In the case of this embodiment, the content displayed on the
(他の形態例)
前述の形態例では、資料表示面上のカーソル位置を説明者の指や電子ペン等の操作入力を通じて検出する場合について説明した。しかしながら、カーソル位置は、例えばコンピュータ104に接続されたマウスその他の入力装置による入力を使用しても良い。
(Other examples)
In the above-described embodiment, a case has been described in which the cursor position on the document display surface is detected through an operation input of the explainer's finger or an electronic pen. However, the cursor position may be input by a mouse or other input device connected to the
前述の形態例では、電子ボード101上のカーソル位置を外部記憶装置105から読み出した後、資料上のカーソル位置に変換する場合について説明した。しかしながら、コンピュータ104から入力される電子ボード101上のカーソル位置を実時間で資料上のカーソル位置に変換したものを外部記憶装置105に保存しても良い。
In the above-described embodiment, the case where the cursor position on the
前述の形態例の場合には、カメラ102で撮像された映像データを会議録データの保存タイミングの画像データに変換し、当該変換後の画像データをデータ変換する場合について説明した。しかしながら、映像データそのものをデータ変換し、動画像として会議録データに重畳させても良い。
In the case of the above-described embodiment, the case has been described in which video data captured by the
前述の形態例の場合には、検索とその再生の観点から説明した。しかしながら、当該形態例に係る会議録システムで保存された会議録データを先頭から単純に再生すれば、オフラインによる会議内容の確認に用いることもできる。 In the case of the above-mentioned form example, it demonstrated from the viewpoint of a search and its reproduction | regeneration. However, if the conference record data stored in the conference record system according to the embodiment is simply reproduced from the top, it can be used for checking the content of the conference offline.
101:電子ボード
102:カメラ
103:マイク
104:コンピュータ
105:外部記憶装置
106:データ変換装置
107:カーソル位置変換部
108:映像データ変換部
109:表示装置
110:データ検索装置
DESCRIPTION OF SYMBOLS 101: Electronic board 102: Camera 103: Microphone 104: Computer 105: External storage device 106: Data converter 107: Cursor position converter 108: Video data converter 109: Display device 110: Data search device
Claims (18)
会議録データの保存タイミングにおける時間情報を取得して記憶領域に保存する手段と、
会議録データの保存タイミングに表示画面上に表示されていた資料を特定する資料番号を取得し、前記時間情報と関連付けて前記記憶領域に保存する手段と、
表示画面上に表示されたカーソル位置を取得し、前記時間情報と関連付けて前記記憶領域に保存する手段と、
資料と資料上の検索範囲としての部分領域を、会議録データの検索条件として受付ける手段と、
前記資料上の検索範囲について前記記憶領域を検索する手段と、
前記資料上の検索範囲と合致したカーソル位置を有する会議録データの時間位置を検索結果として出力する手段と、
前記検索結果の中から選択された時間位置から会議録データを再生する手段と
を有することを特徴とする会議録システム。 In the minutes system,
Means for acquiring time information at the timing of saving the minutes data and saving it in a storage area;
Means for obtaining a material number for identifying the material displayed on the display screen at the timing of saving the minutes data, and storing it in the storage area in association with the time information;
Means for acquiring a cursor position displayed on a display screen and storing it in the storage area in association with the time information ;
Means for accepting a document and a partial area as a search range on the document as a search condition of the minutes data;
Means for searching the storage area for a search range on the material;
Means for outputting as a search result the time position of the minutes data having a cursor position that matches the search range on the material;
And a means for reproducing the minutes data from the time position selected from the search results .
前記カーソル位置は、前記表示画面を検出領域とする位置検出装置から与えられる
ことを特徴とする会議録システム。 In the meeting minutes system according to claim 1,
The said meeting position is given from the position detection apparatus which uses the said display screen as a detection area. The meeting record system characterized by the above-mentioned.
前記表示画面の表面に配置された偏光フィルムの偏光方向とは異なる偏光方向を有する偏光フィルムが撮像面に配置され、前記表示画面を撮像対象とする撮像手段と、
前記撮像手段で撮像された映像データに対し、前記時間情報を付与する手段と
を有することを特徴とする会議録システム。 In the meeting minutes system according to claim 1 or 2,
A polarizing film having a polarization direction different from the polarization direction of the polarizing film disposed on the surface of the display screen is disposed on the imaging surface, and imaging means for imaging the display screen;
Means for giving the time information to the video data picked up by the image pickup means.
会議録データの保存タイミングに表示画面上に表示されていた資料の表示領域を特定する位置情報を取得し、前記時間情報と関連付けて前記記憶領域に保存する手段
を更に有することを特徴とする会議録システム。 In the meeting minutes system according to claim 1 or 2,
The conference further comprises means for acquiring position information for specifying a display area of the material displayed on the display screen at the timing of saving the conference record data, and storing it in the storage area in association with the time information. Recording system.
前記記憶領域に保存する前の前記カーソル位置を資料上のカーソル位置情報に変換し、前記時間情報と関連付けて記憶領域に保存する手段
を有することを特徴とする会議録システム。 In the meeting minutes system according to claim 1 or 2,
A conference record system, comprising: means for converting the cursor position before being stored in the storage area into cursor position information on a material, and storing the cursor position in association with the time information.
前記時間情報と関連付けて保存された前記カーソル位置を前記記憶領域から読み出し、当該カーソル位置を資料上のカーソル位置情報に変換する手段
を有することを特徴とする会議録システム。 In the meeting minutes system according to claim 1 or 2,
A meeting record system comprising: means for reading out the cursor position stored in association with the time information from the storage area, and converting the cursor position into cursor position information on a document.
前記表示画面の表面に配置された偏光フィルムの偏光方向とは異なる偏光方向を有する偏光フィルムを撮像面に配置した撮像手段により撮像された前記表示画面の映像データを、前記会議録データの再生画像に重ねて表示する手段
を有することを特徴とする会議録システム。 In the meeting minutes system according to claim 1 ,
The video data of the display screen imaged by the imaging means in which a polarizing film having a polarization direction different from the polarization direction of the polarizing film arranged on the surface of the display screen is arranged on the imaging surface, A conference record system, characterized in that it has means for displaying it overlaid on.
前記映像データは、重複領域について前記再生画像の内容を確認できるように透過処理されて重畳される
ことを特徴とする会議録システム。 In the meeting minutes system according to claim 7 ,
The conference data system, wherein the video data is transparently processed and superimposed so that the content of the reproduced image can be confirmed with respect to an overlapping region.
会議録データの保存タイミングにおける説明者の画像データを取得し、前記時間情報と関連付けて前記記憶領域に保存する手段と、
前記検索結果から選択された時間位置の会議録データとして、前記資料、前記カーソル位置及び前記説明者の画像データを記憶領域から同期再生する手段と
を更に有することを特徴とする会議録システム。 In the meeting minutes system according to claim 1,
Means for acquiring the image data of the presenter at the storage timing of the minutes data, and storing it in the storage area in association with the time information;
The conference system further comprising means for synchronously reproducing the material , the cursor position, and the image data of the presenter from the storage area as the conference data at the time position selected from the search result .
会議録データの保存タイミングにおける時間情報を取得して記憶領域に保存する処理と、
会議録データの保存タイミングに表示画面上に表示されていた資料を特定する資料番号を取得し、前記時間情報と関連付けて前記記憶領域に保存する処理と、
表示画面上に表示されたカーソル位置を取得し、前記時間情報と関連付けて前記記憶領域に保存する処理と、
資料と資料上の検索範囲としての部分領域を、会議録データの検索条件として受付ける処理と、
前記資料上の検索範囲について前記記憶領域を検索する処理と、
前記資料上の検索範囲と合致したカーソル位置を有する会議録データの時間位置を検索結果として出力する処理と、
前記検索結果の中から選択された時間位置から会議録データを再生する処理と
を実行させるプログラム。 To the computers that make up the minutes system,
Processing to acquire time information at the timing of saving the minutes data and save it in the storage area;
A process of acquiring a document number for identifying a document displayed on the display screen at the timing of saving the minutes data, and storing it in the storage area in association with the time information;
A process of acquiring a cursor position displayed on a display screen and storing the cursor position in association with the time information ;
Accepting a document and a partial area as a search range on the document as a search condition for minutes data,
A process of searching the storage area for a search range on the material;
Processing for outputting as a search result the time position of the minutes data having a cursor position that matches the search range on the material;
The program which performs the process which reproduces | regenerates meeting minutes data from the time position selected from the said search result .
前記カーソル位置は、前記表示画面を検出領域とする位置検出装置から与えられる
ことを特徴とするプログラム。 The program according to claim 10 , wherein
The cursor position is given from a position detection device that uses the display screen as a detection area.
前記表示画面の表面に配置された偏光フィルムの偏光方向とは異なる偏光方向を有する偏光フィルムが撮像面に配置され、前記表示画面を撮像対象とする撮像手段で撮像された映像データに対し、前記時間情報を付与する処理
を実行させることを特徴とするプログラム。 The program according to claim 10 or 11 ,
A polarizing film having a polarization direction different from the polarization direction of the polarizing film disposed on the surface of the display screen is disposed on the imaging surface, and for the video data captured by the imaging means for imaging the display screen, A program characterized by causing a process to add time information to be executed.
会議録データの保存タイミングに表示画面上に表示されていた資料の表示領域を特定する位置情報を取得し、前記時間情報と関連付けて前記記憶領域に保存する処理
を実行させることを特徴とするプログラム。 The program according to claim 10 or 11 ,
A program for acquiring position information for specifying a display area of a material displayed on a display screen at a timing for saving conference minutes data, and storing the information in association with the time information in the storage area .
前記記憶領域に保存する前の前記カーソル位置を資料上のカーソル位置情報に変換し、前記時間情報と関連付けて記憶領域に保存する処理
を実行させることを特徴とするプログラム。 The program according to claim 10 or 11 ,
A program for converting the cursor position before being stored in the storage area into cursor position information on a material and storing it in the storage area in association with the time information.
前記時間情報と関連付けて保存された前記カーソル位置を前記記憶領域から読み出し、当該カーソル位置を資料上のカーソル位置情報に変換する処理
を実行させることを特徴とするプログラム。 The program according to claim 10 or 11 ,
A program for reading the cursor position stored in association with the time information from the storage area and converting the cursor position into cursor position information on a material.
前記表示画面の表面に配置された偏光フィルムの偏光方向とは異なる偏光方向を有する偏光フィルムを撮像面に配置した撮像手段により撮像された前記表示画面の映像データを、前記会議録データの再生画像に重ねて表示する処理
を実行させることを特徴とするプログラム。 The program according to claim 10 , wherein
The video data of the display screen imaged by the imaging means in which a polarizing film having a polarization direction different from the polarization direction of the polarizing film arranged on the surface of the display screen is arranged on the imaging surface, A program characterized by causing a process to be displayed on top of each other.
前記映像データを、重複領域について前記再生画像の内容を確認できるように透過処理した後、対応資料に重畳する処理
を実行させることを特徴とするプログラム。 The program according to claim 16 , wherein
A program for executing a process of superimposing the video data on corresponding material after transparent processing is performed so that the content of the reproduced image can be confirmed with respect to an overlapping area.
会議録データの保存タイミングにおける説明者の画像データを取得し、前記時間情報と関連付けて前記記憶領域に保存する処理と、
前記検索結果から選択された時間位置の会議録データとして、前記資料、前記カーソル位置及び前記説明者の画像データを記憶領域から同期再生する処理と
を前記コンピュータに更に実行させることを特徴とするプログラム。 The program according to claim 10, wherein
The process of acquiring the image data of the presenter at the storage timing of the minutes data and storing it in the storage area in association with the time information;
A program for causing the computer to further execute a process of synchronously reproducing the document, the cursor position, and the image data of the presenter from a storage area as conference data at a time position selected from the search result. .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010269309A JP5554214B2 (en) | 2010-12-02 | 2010-12-02 | Minutes system and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010269309A JP5554214B2 (en) | 2010-12-02 | 2010-12-02 | Minutes system and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012118859A JP2012118859A (en) | 2012-06-21 |
JP5554214B2 true JP5554214B2 (en) | 2014-07-23 |
Family
ID=46501577
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010269309A Expired - Fee Related JP5554214B2 (en) | 2010-12-02 | 2010-12-02 | Minutes system and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5554214B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015072627A (en) * | 2013-10-03 | 2015-04-16 | 株式会社リコー | Image processor and image composition method |
US11216238B2 (en) * | 2018-12-28 | 2022-01-04 | Microsoft Technology Licensing, Llc | Scoping the lifetime of personal devices connected to communal computing devices |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05313877A (en) * | 1992-05-13 | 1993-11-26 | Kodo Eizo Gijutsu Kenkyusho:Kk | Program editing device and its program display method |
JP2001209361A (en) * | 2000-01-27 | 2001-08-03 | Matsushita Electric Ind Co Ltd | Multimedia display device |
JP2003162521A (en) * | 2002-08-23 | 2003-06-06 | Matsushita Electric Ind Co Ltd | Filing device |
JP2005117285A (en) * | 2003-10-07 | 2005-04-28 | Hitachi Ltd | Information input device, communication terminal and communication method |
CN101681564B (en) * | 2007-05-22 | 2013-03-27 | 株式会社阿奈特 | Content generation system, content generation device, and content generation program |
JP2010134681A (en) * | 2008-12-04 | 2010-06-17 | Ricoh Co Ltd | Lecture material preparation support system, lecture material preparation support method and lecture material preparation support program |
JP2010154089A (en) * | 2008-12-24 | 2010-07-08 | Fuji Xerox Co Ltd | Conference system |
-
2010
- 2010-12-02 JP JP2010269309A patent/JP5554214B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012118859A (en) | 2012-06-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8854491B2 (en) | Metadata-assisted image filters | |
TWI253860B (en) | Method for generating a slide show of an image | |
US20060120624A1 (en) | System and method for video browsing using a cluster index | |
JP6794711B2 (en) | How to generate web-based copies of documents, programs and equipment | |
US20080079693A1 (en) | Apparatus for displaying presentation information | |
JP6641949B2 (en) | Method, system and program for detecting, classifying and visualizing user interaction | |
JP2006129480A (en) | Automatic face extraction for use in recorded meetings timelines | |
KR101484844B1 (en) | Apparatus and method for privacy masking tool that provides real-time video | |
US10074216B2 (en) | Information processing to display information based on position of the real object in the image | |
US9378768B2 (en) | Methods and systems for media file management | |
JP6203188B2 (en) | Similar image search device | |
JP3372096B2 (en) | Image information access device | |
EP2711853B1 (en) | Methods and systems for media file management | |
JP5554214B2 (en) | Minutes system and program | |
JP5612457B2 (en) | Moving image display device, moving image object search system, moving image display method and program | |
JP2011164949A (en) | Information processor, retrieval condition setting method, program, and recording medium | |
US10474743B2 (en) | Method for presenting notifications when annotations are received from a remote device | |
JP2012242878A (en) | Similar image search system | |
Watanabe et al. | WillCam: a digital camera visualizing users. interest | |
JP4326753B2 (en) | Video information indexing support system, program, and storage medium | |
JP2011097229A (en) | Apparatus and program for processing photography data | |
JP6261198B2 (en) | Information processing apparatus, information processing method, and program | |
JP5729056B2 (en) | Image processing apparatus and image processing method | |
JP2010157960A (en) | Imaging apparatus | |
JP6150538B2 (en) | Movie recording apparatus and control method thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130724 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140207 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140218 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140416 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140507 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140528 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5554214 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |