JP5554214B2 - Minutes system and program - Google Patents

Minutes system and program Download PDF

Info

Publication number
JP5554214B2
JP5554214B2 JP2010269309A JP2010269309A JP5554214B2 JP 5554214 B2 JP5554214 B2 JP 5554214B2 JP 2010269309 A JP2010269309 A JP 2010269309A JP 2010269309 A JP2010269309 A JP 2010269309A JP 5554214 B2 JP5554214 B2 JP 5554214B2
Authority
JP
Japan
Prior art keywords
data
cursor position
minutes
storage area
display screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010269309A
Other languages
Japanese (ja)
Other versions
JP2012118859A (en
Inventor
翔 松橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Solutions Ltd
Original Assignee
Hitachi Solutions Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Solutions Ltd filed Critical Hitachi Solutions Ltd
Priority to JP2010269309A priority Critical patent/JP5554214B2/en
Publication of JP2012118859A publication Critical patent/JP2012118859A/en
Application granted granted Critical
Publication of JP5554214B2 publication Critical patent/JP5554214B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、会議録データから資料上の任意の説明箇所に関する時間位置を容易に検索可能とする技術に関する。   The present invention relates to a technique that makes it possible to easily search a time position related to an arbitrary explanation location on a document from conference record data.

現在、会議やプレゼンテーションでは、資料の提示に電子ボードシステムを用いることがある。電子ボードシステムは、コンピュータ画面の表示装置(例えばプロジェクタ、フラットディスプレイ)と、表示面に対する電子ペンや指等の接触位置を検出する位置検出装置で構成されるシステムである。電子ボードシステムを用いる場合、予め用意したスライドの表示だけでなく、文字、図形その他のオブジェクトの入力、コンピュータやプレゼンテーションソフトの操作入力も、表示面に対する操作入力を通じて実現することができる。   Currently, an electronic board system is sometimes used for presentation of materials in meetings and presentations. The electronic board system is a system including a display device (for example, a projector or a flat display) for a computer screen and a position detection device that detects a contact position of an electronic pen, a finger, or the like with respect to the display surface. When the electronic board system is used, not only the display of slides prepared in advance, but also the input of characters, figures and other objects, and the operation input of computers and presentation software can be realized through the operation input on the display surface.

最近では、遠隔地にある電子ボードシステム同士をネットワーク経由で接続し、一方の電子ボードシステムで行った操作内容を、他方の電子ボードシステムにリアルタイムで反映させる仕組みも提案されている。この仕組みを、遠距離間での音声通信が可能な音声入出力装置に組み合わせれば、遠距離間の会議に用いることもできる。   Recently, a mechanism has been proposed in which electronic board systems at remote locations are connected to each other via a network, and the operation contents performed on one electronic board system are reflected in real time on the other electronic board system. If this mechanism is combined with a voice input / output device capable of voice communication over a long distance, it can also be used for a conference over a long distance.

一方で、会議内容の記録には、ビデオカメラ及びマイクが使用される。すなわち、会議内容は、映像データと音声データにより記録される。この種の従来技術は、説明者と説明されている資料の両方を同時に記録できる。すなわち、会議の内容を見たままの状態で記録できる。   On the other hand, a video camera and a microphone are used for recording the contents of the conference. That is, the conference content is recorded by video data and audio data. This type of prior art can record both the presenter and the material being described at the same time. In other words, it is possible to record the conference as it is viewed.

特開2005−117285号公報JP 2005-117285 A

しかし、この方法には、資料上の任意の説明箇所に関する時間位置を会議録データから検索するための仕組みが用意されていない。このため、後日確認が必要になっても、映像データを先頭から再生しなければ目的箇所を検索することができなかった。   However, this method does not provide a mechanism for retrieving the time position related to an arbitrary explanation location on the material from the minutes data. For this reason, even if confirmation is required at a later date, the target location cannot be searched unless the video data is reproduced from the top.

本発明は、以上の課題を考慮してなされたもので、資料上の任意の説明箇所に関する時間位置を会議録データから容易に検索することができる機能の提供を目的とする。   The present invention has been made in consideration of the above problems, and an object of the present invention is to provide a function capable of easily searching a time position relating to an arbitrary explanation location on a document from conference record data.

かかる目的を達成するため、本発明者は、以下に示す機能を有する会議録システムを提案する。
(1)会議録データの保存タイミングにおける時間情報を取得して記憶領域に保存する機能
(2)会議録データの保存タイミングに表示画面上に表示されていた資料を特定する資料番号を取得し、時間情報と関連付けて記憶領域に保存する機能
(3)表示画面上に表示されたカーソル位置を取得し、時間情報と関連付けて記憶領域に保存する機能
In order to achieve this object, the present inventor proposes a conference recording system having the following functions.
(1) Function for acquiring time information at the timing of saving minutes of the minutes and saving it in the storage area (2) Obtaining a material number identifying the material displayed on the display screen at the time of saving minutes of the minutes Function of saving in the storage area in association with time information (3) Function of acquiring the cursor position displayed on the display screen and saving in the storage area in association with the time information

本発明によれば、時間情報に資料番号と、表示画面上に表示されたカーソル位置とを関連付けて保存した会議録データを作成することができる。この会議録データを用いれば、資料と資料上の範囲の組み合わせで特定された検索条件を満たす会議録データの時間位置の検索が可能となる。   ADVANTAGE OF THE INVENTION According to this invention, the minutes record data which linked | related the document number with the time information and the cursor position displayed on the display screen can be produced. By using the minutes data, it is possible to search the time position of minutes data satisfying the search condition specified by the combination of the material and the range on the material.

実施の形態に係る会議録システムの全体構成例を示す図。The figure which shows the example of whole structure of the conference record system which concerns on embodiment. 会議録データの保存手順例を説明するフローチャート。The flowchart explaining the example of the preservation | save procedure of meeting minutes data. 電子ボード解像度情報を示すデータの構造例を説明する図。The figure explaining the structural example of the data which show electronic board resolution information. 資料の管理データの構造例を説明する図。The figure explaining the structural example of the management data of a document. 会議録データとして保存されるデータの構造例を説明する図。The figure explaining the structural example of the data preserve | saved as meeting minutes data. 資料のサイズと電子ボードのサイズの配置関係を説明する図。The figure explaining the arrangement | positioning relationship between the size of a document, and the size of an electronic board. 資料のサイズと電子ボードのサイズの配置関係を説明する図。The figure explaining the arrangement | positioning relationship between the size of a document, and the size of an electronic board. 資料上の任意の説明箇所の検索に使用するカーソル位置データの変換手順を示すフローチャート。The flowchart which shows the conversion procedure of the cursor position data used for the search of the arbitrary description locations on a document. 電子ボード上のカーソル位置を資料上のカーソル位置に変換するための計算式を説明する図。The figure explaining the calculation formula for converting the cursor position on an electronic board into the cursor position on a document. 資料上のカーソル位置を示すデータの構造例を説明する図。The figure explaining the structural example of the data which shows the cursor position on material. 撮像された映像データから説明者の像だけを抽出した画像データを保存するまでの手順例を説明するフローチャート。The flowchart explaining the example of a procedure until it preserve | saves the image data which extracted only the image of the presenter from the imaged video data. 検索条件に基づいて会議録データを検索する際の処理手順例を説明するフローチャート。The flowchart explaining the example of a process sequence at the time of searching conference minutes data based on search conditions. 資料の選択に使用する画面例を示す図。The figure which shows the example of a screen used for selection of a document. 検索範囲の選択に使用する画面例を示す図。The figure which shows the example of a screen used for selection of a search range. 検索結果画面の一例を示す図。The figure which shows an example of a search result screen. 会議録データの再生手順例を説明するフローチャート。The flowchart explaining the example of a reproduction procedure of meeting record data. 再生画面の表示例を示す図。The figure which shows the example of a display of a reproduction | regeneration screen.

以下、図面に基づいて、本発明に係る会議録システムの形態例を説明する。なお、後述する形態例はいずれも一例であり、本発明には、本明細書に記載する任意の機能を組み合わせることで実現されるシステム、本明細書に記載する一部の構成や機能だけで実現されるシステムの他、一部の構成や機能だけを周知の技術で置換したシステムも含まれる。また、後述する形態例で実行される機能は、計算機(コンピュータ)上で実行されるプログラムとして実現されるものとして説明する。もっとも、プログラムの一部又は全部は、ハードウェアを通じて実現されても良い。   Hereinafter, an example of a conference record system according to the present invention will be described with reference to the drawings. Note that each of the embodiments described below is merely an example, and the present invention includes only a system realized by combining arbitrary functions described in this specification, and some configurations and functions described in this specification. In addition to the realized system, a system in which only a part of the configuration and functions is replaced by a known technique is also included. In addition, the function executed in the embodiment described later will be described as being realized as a program executed on a computer (computer). However, part or all of the program may be realized through hardware.

(全体システム)
図1に、会議録システムの構成例を示す。図1に示す会議録システムは、電子ボード101、カメラ102、マイク103、コンピュータ104、外部記憶装置105、データ変換装置106、カーソル位置変換部107、映像データ変換部108、表示装置109、データ検索装置110により構成されている。
(Whole system)
FIG. 1 shows a configuration example of a conference record system. 1 includes an electronic board 101, a camera 102, a microphone 103, a computer 104, an external storage device 105, a data conversion device 106, a cursor position conversion unit 107, a video data conversion unit 108, a display device 109, and data search. The apparatus 110 is configured.

電子ボード101は、会議資料の表示装置として用いられる他、コンピュータ104に対する入力装置としても用いられる。例えばコンピュータ104のカーソル位置入力操作や表示に対する操作入力に用いられる。例えばカーソルの表示位置の移動や説明箇所の強調に用いられる。   The electronic board 101 is used not only as a conference material display device but also as an input device for the computer 104. For example, it is used for a cursor position input operation of the computer 104 and an operation input for display. For example, it is used for moving the display position of the cursor and emphasizing explanation parts.

図1の場合、電子ボード101は、フラットディスプレイを表示装置に用いる例を表している。この他、表示装置をプロジェクタとする構成も可能である。なお、プロジェクタを用いる場合、電子ボード101には投影スクリーンを使用する。   In the case of FIG. 1, the electronic board 101 represents the example which uses a flat display for a display apparatus. In addition, a configuration in which the display device is a projector is also possible. When a projector is used, a projection screen is used for the electronic board 101.

この実施例の場合、表示面(検出面)には、特定の偏光成分だけを通過する偏光フィルムを配置する。偏光フィルムは、後述するように、表示面を撮像した画像から説明者だけを切り出すために用いられる。   In the case of this embodiment, a polarizing film that passes only a specific polarization component is disposed on the display surface (detection surface). As will be described later, the polarizing film is used to cut out only the presenter from an image obtained by imaging the display surface.

表示面(検出面)に対する説明者の操作位置の検出には、既知の位置検出技術を使用する。例えば感圧方式、電磁気方式、レーザ方式、超音波方式、赤外線方式、抵抗膜方式、静電容量方式などを使用する。位置検出方式の違いにより、電子ボードの装置構成や構造が異なるものになる。この形態例の場合、指や電子ペン等の操作位置を表示面上の座標データとして算出する演算ユニット1011が電子ボード101に搭載されているものとする。この形態例の場合、電子ボード101の座標原点は表示面の左上隅とする。また、X軸は電子ボード101の水平方向、Y軸は電子ボード101の垂直方向とする。   A known position detection technique is used for detecting the operation position of the presenter with respect to the display surface (detection surface). For example, a pressure sensitive method, an electromagnetic method, a laser method, an ultrasonic method, an infrared method, a resistance film method, a capacitance method, or the like is used. Due to the difference in position detection method, the device configuration and structure of the electronic board are different. In the case of this embodiment, it is assumed that the arithmetic unit 1011 that calculates the operation position of a finger, an electronic pen, etc. as coordinate data on the display surface is mounted on the electronic board 101. In the case of this embodiment, the coordinate origin of the electronic board 101 is the upper left corner of the display surface. The X axis is the horizontal direction of the electronic board 101, and the Y axis is the vertical direction of the electronic board 101.

コンピュータ104は、電子ボード101と接続されており、電子ボード101に対する資料(画像データ)の出力、座標データ列の解析に基づいて生成された描画オブジェクト(オブジェクトデータ)の電子ボード101への出力、座標データ列のデータ解析に基づく処理動作の実行と処理結果の電子ボード101への出力を制御する。また、コンピュータ104は、外部記憶装置105に接続されており、会議時に電子ボード101に表示する資料データ、会議中に電子ボード101に表示された資料データ、電子ボード101の解像度情報等の外部記憶装置105への記録を制御する。なお、コンピュータ104と電子ボード101との接続は有線形式でも無線形式でも構わない。   The computer 104 is connected to the electronic board 101, outputs data (image data) to the electronic board 101, outputs a drawing object (object data) generated based on the analysis of the coordinate data sequence to the electronic board 101, It controls the execution of the processing operation based on the data analysis of the coordinate data string and the output of the processing result to the electronic board 101. The computer 104 is connected to an external storage device 105, and external storage such as material data displayed on the electronic board 101 during the meeting, material data displayed on the electronic board 101 during the meeting, resolution information of the electronic board 101, and the like. Controls recording to the device 105. The connection between the computer 104 and the electronic board 101 may be wired or wireless.

外部記憶装置105は、ネットワーク経由で接続されたファイルサーバを想定する。もっとも、小規模なシステム構成で良い場合には、コンピュータ104に内蔵されたハードディスク装置又は直接外付けされたハードディスク装置でも良い。   The external storage device 105 is assumed to be a file server connected via a network. However, when a small system configuration is sufficient, a hard disk device built in the computer 104 or a hard disk device directly attached may be used.

カメラ102は、説明者の画像の取得及び説明者の位置の取得に用いられる。この形態例の場合、カメラ102は、資料を表示する電子ボード101の表示面の全体のみを撮像できる位置に設置される。すなわち、カメラ102は、電子ボード101の表示面の外側を撮像対象に含まない位置に設置される。カメラ102で撮像された映像データは外部記憶装置105にファイルデータとして保存される。   The camera 102 is used for acquiring the image of the explainer and acquiring the position of the explainer. In the case of this embodiment, the camera 102 is installed at a position where only the entire display surface of the electronic board 101 displaying the material can be imaged. That is, the camera 102 is installed at a position where the outside of the display surface of the electronic board 101 is not included in the imaging target. Video data captured by the camera 102 is stored as file data in the external storage device 105.

撮影画像から説明者のみを抜き出すため、カメラ102には、電子ボード101側に装着された偏光フィルムとは異なる方向の偏光成分だけを通過する偏光フィルムが装着される。偏光フィルムの装着により、電子ボード101上の表示画は黒く撮像される。一方、電子ボード101の表示面の範囲に入り込んだ説明者はカラー画像として撮影される。このため、黒画像領域を切り離すことにより、説明者像のみを撮像画像から抜き出すことができる。なお、説明者像の抜き出しのため、説明者は黒色以外の衣類を着用することが望ましい。   In order to extract only the presenter from the photographed image, the camera 102 is equipped with a polarizing film that passes only a polarized component in a direction different from that of the polarizing film mounted on the electronic board 101 side. By attaching the polarizing film, the display image on the electronic board 101 is captured in black. On the other hand, the presenter who enters the range of the display surface of the electronic board 101 is photographed as a color image. For this reason, by separating the black image region, only the explainer image can be extracted from the captured image. In order to extract the image of the presenter, it is desirable for the presenter to wear clothing other than black.

マイク103は、説明者の音声と会議出席者の音声の取得に用いられる。このため、マイク103は、説明者の音声と会議出席者の音声の両方を取得し易い位置に設置される。マイク103で取得された会議中(会議の開始から終了まで)の音声データは外部記憶装置105にファイルデータとして保存される。   The microphone 103 is used to acquire the voice of the presenter and the voice of the conference attendee. For this reason, the microphone 103 is installed at a position where it is easy to acquire both the voice of the presenter and the voice of the conference attendee. The audio data during the conference (from the start to the end of the conference) acquired by the microphone 103 is stored as file data in the external storage device 105.

データ変換装置106は、外部記憶装置105に接続され、データ検索に必要なデータ変換処理及び会議録データの再生に必要なデータ変換処理を実行する。図1の場合、データ変換装置106をコンピュータ104の別装置として表しているが、データ変換装置106はコンピュータ104で実行されるアプリケーションソフトの一つであっても良い。データ変換装置106は、カーソル位置変換部107及び映像データ変換部108で構成される。この形態例の場合、データ変換装置106は、コンピュータ104とは別のコンピュータで実行されるアプリケーションソフトウエアとして実現されるものとする。   The data conversion device 106 is connected to the external storage device 105 and executes data conversion processing necessary for data retrieval and data conversion processing necessary for reproduction of conference record data. In the case of FIG. 1, the data conversion device 106 is illustrated as a separate device of the computer 104, but the data conversion device 106 may be one of application software executed on the computer 104. The data converter 106 includes a cursor position converter 107 and a video data converter 108. In this embodiment, the data conversion device 106 is assumed to be realized as application software executed on a computer different from the computer 104.

カーソル位置変換部107は、データ検索装置110による資料内の説明箇所の検索を可能とするために、電子ボード101の表示面座標系の座標を資料座標系の座標に変換する処理を実行する。資料座標系は資料の左上隅を座標原点とし、画面内水平方向をx軸、垂直方向をy軸とする。なお、変換処理後の座標データは外部記憶装置105に保存される。   The cursor position conversion unit 107 executes a process of converting the coordinates of the display surface coordinate system of the electronic board 101 into the coordinates of the document coordinate system in order to enable the data search device 110 to search for an explanation location in the document. In the document coordinate system, the upper left corner of the document is the coordinate origin, the horizontal direction in the screen is the x axis, and the vertical direction is the y axis. The coordinate data after the conversion process is stored in the external storage device 105.

映像データ変換部108は、表示装置109に会議録データの内容を表示する際に、電子ボード101に表示されていた資料と説明者を重複した状態で表示するために、カメラ102から取得された説明者の映像データの変換処理を実行する。   The video data conversion unit 108 is acquired from the camera 102 in order to display the document displayed on the electronic board 101 and the explainer in an overlapping state when displaying the contents of the minutes data on the display device 109. The conversion process of the video data of the explainer is executed.

表示装置109は、データ変換装置106で変換されたデータを外部記憶装置105から取得し、会議内容を再生する。表示装置109は、画像表示装置であれば良く、必ずしも電子ボード101と同じ表示サイズである必要は無い。この表示装置109は、コンピュータ104の表示部であっても良いし、電子ボード101でも良い。   The display device 109 acquires the data converted by the data conversion device 106 from the external storage device 105 and reproduces the content of the conference. The display device 109 may be an image display device, and does not necessarily have the same display size as the electronic board 101. The display device 109 may be a display unit of the computer 104 or the electronic board 101.

データ検索装置110は、1つ又は複数の会議録データを対象とした検索の実行と、検索結果に基づく該当箇所の再生処理を実行する。ここで、データ検索装置110は、外部記憶装置105に保存されている資料データとカーソル位置データを検索対象とする。データ検索装置110は、検索条件の入力用GUIを表示装置109に表示する。また、データ検索装置110は、検索条件として入力された資料の特定範囲にカーソル位置が一致する又は含まれる会議録データの時間軸上の位置情報(タイムスタンプ)を検索結果として表示装置109に表示する。また、データ検索装置110は、検索結果画面から選択された時間軸上の位置から会議録データ(資料データ、カメラ102で撮像された映像データ、マイク103で取得された音声データ)を再生する。再生画像は表示装置109に表示される。   The data search device 110 executes a search for one or a plurality of minutes data, and executes a reproduction process for the corresponding part based on the search result. Here, the data search device 110 searches the material data and cursor position data stored in the external storage device 105. The data search device 110 displays a search condition input GUI on the display device 109. In addition, the data search device 110 displays position information (time stamp) on the time axis of the minutes data whose cursor position matches or is included in the specific range of the material input as the search condition on the display device 109 as a search result. To do. In addition, the data search device 110 reproduces conference record data (material data, video data captured by the camera 102, audio data acquired by the microphone 103) from a position on the time axis selected from the search result screen. The reproduced image is displayed on the display device 109.

(会議録データの保存動作)
図2に、会議録データの保存手順を示す。この処理動作はコンピュータ104で実行されるアプリケーションプログラムを通じて実現される。図2には、会議開始前の前処理も含まれている。
(Meeting record data save operation)
FIG. 2 shows a procedure for storing the minutes data. This processing operation is realized through an application program executed by the computer 104. FIG. 2 also includes preprocessing before the start of the conference.

会議の開始に先立って、コンピュータ104は、電子ボード101の解像度情報を保存する(ステップ201)。図3に、解像度情報のデータ構造例を示す。解像度情報は、X軸方向の解像度301とY軸方向の解像度302で構成される。また、コンピュータ104は、会議で使用する資料データを保存する(ステップ202)。コンピュータ104は、資料データの保存の際、各資料のサイズ情報を取得する。会議で使用される資料には、読み込み順に連番で資料番号が付与される(ステップ203)。この実施例の場合、資料はページ単位で管理され、各ページに資料番号が付される。資料のサイズ情報や資料番号は、資料の管理データとして外部記憶装置105に保存される(ステップ204)。図4に、外部記憶装置105に保存される管理データの構造例を示す。管理データは、資料番号401と、資料名402と、資料のサイズ情報(x軸方向のサイズ情報403、y軸方向のサイズ情報404)とで構成される。この管理データにより、資料名と資料番号と資料サイズの対応関係が分かる。なお、ステップ201とステップ202の実行順序は入れ替わっていても良い。   Prior to the start of the conference, the computer 104 stores the resolution information of the electronic board 101 (step 201). FIG. 3 shows an example data structure of resolution information. The resolution information includes a resolution 301 in the X-axis direction and a resolution 302 in the Y-axis direction. In addition, the computer 104 stores material data used in the conference (step 202). The computer 104 acquires size information of each material when storing the material data. Material numbers used in the conference are sequentially numbered in the reading order (step 203). In this embodiment, materials are managed in units of pages, and a material number is assigned to each page. The material size information and the material number are stored in the external storage device 105 as material management data (step 204). FIG. 4 shows an example of the structure of management data stored in the external storage device 105. The management data includes a material number 401, a material name 402, and material size information (size information 403 in the x-axis direction and size information 404 in the y-axis direction). With this management data, the correspondence between the material name, material number, and material size is known. Note that the execution order of step 201 and step 202 may be switched.

次に、会議の開始後に、コンピュータ104が実行する処理動作を説明する。会議の開始を検出すると、コンピュータ104は、会議が終了したか否かを判定する(ステップ205)。コンピュータ104は、音声入力の発生、説明者や操作者による開始操作の入力を通じて会議の開始を検出する。また、コンピュータ104は、無音時間の一定時間以上の継続や操作者による終了操作の入力を通じて会議の終了を検出する。   Next, processing operations executed by the computer 104 after the start of the conference will be described. When the start of the meeting is detected, the computer 104 determines whether or not the meeting has ended (step 205). The computer 104 detects the start of the conference through the occurrence of voice input and the input of a start operation by the presenter or operator. In addition, the computer 104 detects the end of the conference through continuation of the silent time for a certain period or more and input of an end operation by the operator.

会議中と判定されている間(ステップ205で否定結果が得られている間)、コンピュータ104は、会議開始からの時間、電子ボード101に表示されている資料の資料番号401と、電子ボード101上に表示されている資料の位置(表示資料位置)(資料原点座標に対する電子ボード座標上の位置)と、電子ボード101上のカーソル位置等を一組とし、会議録データとして外部記憶装置105に保存する(ステップ206)。なお、会議の開始と同時に、カメラ102及びマイク103も動作し、カメラ102から取得される映像データとマイク103から取得される音声データも外部記憶装置105に保存される。   While it is determined that the meeting is in progress (while a negative result is obtained in step 205), the computer 104 displays the time from the start of the meeting, the material number 401 of the material displayed on the electronic board 101, and the electronic board 101. The position of the material displayed above (displayed material position) (position on the electronic board coordinate with respect to the material origin coordinate) and the cursor position on the electronic board 101 are set as a set, and recorded in the external storage device 105 as conference record data. Save (step 206). Note that the camera 102 and the microphone 103 operate simultaneously with the start of the conference, and the video data acquired from the camera 102 and the audio data acquired from the microphone 103 are also stored in the external storage device 105.

会議中、説明者は電子ボード101の表示面(検出面)に対する操作入力を通じ、資料上の説明箇所にカーソルを移動させたり、表示内容を強調させたりする。また、説明者は、同様の操作を通じ、資料の一部の拡大、縮小等の操作入力も行う。   During the meeting, the presenter moves the cursor to an explanation location on the document or emphasizes the display content through an operation input on the display surface (detection surface) of the electronic board 101. In addition, the presenter also performs operation inputs such as enlargement and reduction of a part of the document through the same operation.

データの保存は、一定時間毎、カーソル位置の変化時(移動時)、又は表示資料の変更時等のタイミングで実行される。表示資料の変更には、異なる資料への切り換えだけでなく、同一資料内における表示内容の拡大、縮小、表示箇所の移動等も含まれる。なお、会議開始からの経過時間は、コンピュータ104の内蔵タイマーの出力値が使用される。一定時間は固定でも良いし、操作者の操作により可変可能であっても良い。また、コンピュータ104は、電子ボード101の表示面に表示されるカーソル位置を監視しており、カーソル位置が判定期間内に閾値以上変化したか否かによりカーソル位置の変化(移動)の有無を判定する。   Data storage is executed at regular time intervals, when the cursor position changes (when moving), or when the display material is changed. The change of the display material includes not only switching to a different material but also enlargement / reduction of display contents within the same material, movement of a display location, and the like. Note that the output value of the built-in timer of the computer 104 is used as the elapsed time from the start of the conference. The fixed time may be fixed or variable by an operator's operation. Further, the computer 104 monitors the cursor position displayed on the display surface of the electronic board 101, and determines whether or not the cursor position has changed (moved) depending on whether or not the cursor position has changed more than a threshold value within the determination period. To do.

図5に、ステップ206において保存される会議録データの構造例を示す。この形態例の場合、会議録データは、会議開始からの時間501、表示資料番号502、表示資料位置(左上X座標)503、表示資料位置(左上Y座標)504、資料拡大率505、表示カーソル位置(x座標)506、表示カーソル位置(y座標)507で構成される。ここで、表示資料位置503、504及び表示カーソル位置506、507は、電子ボード101の座標系により与えられる。   FIG. 5 shows an example of the structure of conference record data stored in step 206. In the case of this embodiment, the minutes data includes the time 501 from the start of the meeting, the display material number 502, the display material position (upper left X coordinate) 503, the display material position (upper left Y coordinate) 504, the material enlargement ratio 505, and the display cursor. It consists of a position (x coordinate) 506 and a display cursor position (y coordinate) 507. Here, the display material positions 503 and 504 and the display cursor positions 506 and 507 are given by the coordinate system of the electronic board 101.

図6及び図7に、本形態例において想定する資料のサイズと電子ボードのサイズとの関係を示す。図6は、電子ボードのサイズ601よりも資料のサイズ602の方が大きい場合である。この場合は、例えば資料の拡大倍率が1より大きい場合に生じる。この例に示すように、図6の場合、表示資料位置503及び504は、いずれも負の値を採る。図7は、電子ボードのサイズ701よりも資料のサイズ702の方が小さい場合である。この場合は、例えば資料の拡大倍率が1より小さい場合に生じる。ただし、ここでは資料の表示サイズが電子ボード101の表示サイズと一致する場合を拡大倍率が1であるものとする。図7の場合、表示カーソル位置506、507はいずれも正の値を採る。   6 and 7 show the relationship between the size of the material assumed in this embodiment and the size of the electronic board. FIG. 6 shows a case where the material size 602 is larger than the electronic board size 601. This case occurs, for example, when the magnification factor of the material is greater than 1. As shown in this example, in the case of FIG. 6, the display material positions 503 and 504 both take negative values. FIG. 7 shows a case where the material size 702 is smaller than the electronic board size 701. This case occurs, for example, when the magnification factor of the material is smaller than 1. However, here, the magnification is 1 when the display size of the document matches the display size of the electronic board 101. In the case of FIG. 7, the display cursor positions 506 and 507 both take positive values.

会議が終了すると(ステップ205で肯定結果が得られた場合)、コンピュータ104は、保存に関する処理プロセスを終了する。   When the conference ends (when an affirmative result is obtained in step 205), the computer 104 ends the processing process related to storage.

(カーソル位置データの変換動作)
次に、会議録データの検索及び再生のために、データ変換装置106のカーソル位置変換部107において実行されるデータ変換動作を説明する。この変換動作は、会議録データの検索が開始される前に終了していれば良い。従って、会議録データの保存と並行して実行されても良い。
(Cursor position data conversion operation)
Next, a data conversion operation executed in the cursor position conversion unit 107 of the data conversion device 106 for searching and reproducing the minutes data will be described. This conversion operation only needs to be completed before the search for conference minutes data is started. Therefore, it may be executed in parallel with the storage of the minutes data.

この変換動作は、説明者が説明していた資料の特定箇所を指定した検索を可能とするための前処理として実行される。具体的には、電子ボード101の座標系で与えられたカーソル位置の座標値を資料の座標系の座標値に変換する動作を実行する。カーソル位置を資料の座標系で表すことができれば、説明者が会議中に説明していた箇所を特定することが可能になり、後の検索時に資料とその説明箇所を指定した検索が可能になるためである。   This conversion operation is executed as a pre-process for enabling a search specifying a specific part of the material explained by the presenter. Specifically, an operation of converting the coordinate value of the cursor position given in the coordinate system of the electronic board 101 into the coordinate value of the coordinate system of the material is executed. If the cursor position can be expressed in the coordinate system of the document, it is possible to specify the location that the explainer explained during the meeting, and it is possible to perform a search specifying the document and its explanation location in a later search Because.

図8に、カーソル位置変換部107によるカーソル位置データの変換動作を示す。もっとも、資料のサイズと電子ボードのサイズが一致し、資料上の座標値と電子ボード上の座標値が一致する場合、この変換処理は不要である。   FIG. 8 shows a cursor position data conversion operation by the cursor position conversion unit 107. However, when the size of the material matches the size of the electronic board, and the coordinate value on the material matches the coordinate value on the electronic board, this conversion processing is unnecessary.

まず、カーソル位置変換部107は、外部記憶装置105から電子ボードの解像度情報(図3)を取得する(ステップ801)。   First, the cursor position conversion unit 107 acquires resolution information (FIG. 3) of the electronic board from the external storage device 105 (step 801).

次に、カーソル位置変換部107は、資料サイズデータ(図4)と会議録データ(図5)を外部記憶装置105から取得する(ステップ802)。   Next, the cursor position conversion unit 107 acquires the material size data (FIG. 4) and the minutes data (FIG. 5) from the external storage device 105 (step 802).

この後、カーソル位置変換部107は、データ変換の処理対象になっていない会議録データの有無を判定する(ステップ803)。未処理の会議録データが存在する場合、データ変換装置106は1行分の会議録データを読み込む(ステップ804)。   After that, the cursor position conversion unit 107 determines whether or not there is conference data that is not a data conversion processing target (step 803). If there is unprocessed conference record data, the data converter 106 reads one row of conference record data (step 804).

次に、カーソル位置変換部107は、読み込んだ会議録データから表示資料位置と拡大率を取得する(ステップ805)。また、カーソル位置変換部107は、読み込んだ会議録データから電子ボード101上のカーソル位置を取得する(ステップ806)。   Next, the cursor position conversion unit 107 acquires a display material position and an enlargement ratio from the read conference record data (step 805). Further, the cursor position conversion unit 107 acquires the cursor position on the electronic board 101 from the read conference record data (step 806).

これらのデータが取得されると、カーソル位置変換部107は、図9に示す計算式に基づいて、電子ボード上のカーソル位置を資料上のカーソル位置に変換する(ステップ807)。因みに、901はX座標の換算式であり、902はY座標の換算式である。   When these data are acquired, the cursor position conversion unit 107 converts the cursor position on the electronic board into the cursor position on the document based on the calculation formula shown in FIG. 9 (step 807). Incidentally, 901 is an X coordinate conversion formula, and 902 is a Y coordinate conversion formula.

次に、カーソル位置変換部107は、計算された資料上のカーソル位置が資料の外か否かを判定する(ステップ808)。資料の中にあれば(ステップ808で否定結果の場合)、カーソル位置変換部107はステップ803に戻る。一方、資料の外にあれば(ステップ808で肯定結果の場合)、カーソル位置変換部107は当該会議録データを破棄した後ステップ803に戻る(ステップ809)。ここで、算出されたカーソル位置が資料上にあるか否かは、会議前に取得された資料サイズデータ(図4)との比較により実行される。   Next, the cursor position conversion unit 107 determines whether or not the calculated cursor position on the material is outside the material (step 808). If it is in the document (in the case of a negative result in step 808), the cursor position conversion unit 107 returns to step 803. On the other hand, if it is outside the document (in the case of an affirmative result in step 808), the cursor position conversion unit 107 discards the minutes data and returns to step 803 (step 809). Here, whether or not the calculated cursor position is on the material is executed by comparison with material size data (FIG. 4) acquired before the meeting.

この変換動作が会議の開始から終了までの間に記録された全ての会議録データについて実行されることにより、カーソル位置変換部107は、各時間における資料上のカーソル位置を求めることができる。   By executing this conversion operation for all conference data recorded from the start to the end of the conference, the cursor position conversion unit 107 can obtain the cursor position on the material at each time.

全ての会議録データについて変換処理が終了すると、カーソル位置変換部107は、破棄されなかったカーソル位置の情報に対し、会議開始からの時間と、表示されている資料の資料番号とを付与し、外部記憶装置105に格納する(ステップ810)。図10に、資料上のカーソル位置として外部記憶装置105に格納されるデータの構造を示す。資料上のカーソル位置データは、会議開始からの時間1001、表示資料番号1002、資料上カーソル位置(X座標)1003、資料上カーソル位置(Y座標)で構成される。   When the conversion process is completed for all minutes, the cursor position conversion unit 107 gives the time from the start of the meeting and the material number of the displayed material to the information on the cursor position that has not been discarded, The data is stored in the external storage device 105 (step 810). FIG. 10 shows the structure of data stored in the external storage device 105 as the cursor position on the material. The cursor position data on the material includes a time 1001 from the start of the conference, a display material number 1002, a cursor position on the material (X coordinate) 1003, and a cursor position on the material (Y coordinate).

(映像データの変換動作)
次に、データ変換装置106の映像データ変換部108において実行されるデータ変換動作を説明する。すなわち、カメラ102で撮像された映像データの変換動作を説明する。この変換動作も、会議録データの検索が開始される前に終了していれば良い。従って、カメラ102の撮像と並行して実行されても良い。この変換動作は、カメラ102により撮影された説明者の映像を資料に重複して表示する場合のために、映像データから説明者像だけを抽出する目的で実行される。
(Video data conversion operation)
Next, a data conversion operation executed in the video data converter 108 of the data converter 106 will be described. That is, the conversion operation of video data captured by the camera 102 will be described. This conversion operation may be completed before the search for the minutes data is started. Therefore, it may be executed in parallel with the imaging of the camera 102. This conversion operation is executed for the purpose of extracting only the explainer image from the video data in order to display the video of the explainer captured by the camera 102 in an overlapping manner with the material.

前述したように、カメラ102と電子ボード101の表示面には、それぞれ通過する偏光成分が異なる偏光フィルムが装着されている。このため、カメラ102の撮像画像のうち電子ボード101の表示面の領域部分は黒画面となる。また、カメラ102の撮影範囲は、電子ボード101の表示面サイズに合致している。このため、説明者が電子ボード101の前に立つと、説明者像は黒色背景を有する画像として表示される。   As described above, polarizing films having different polarization components that pass through are mounted on the display surfaces of the camera 102 and the electronic board 101, respectively. For this reason, the area of the display surface of the electronic board 101 in the captured image of the camera 102 is a black screen. The shooting range of the camera 102 matches the display surface size of the electronic board 101. For this reason, when the presenter stands in front of the electronic board 101, the presenter image is displayed as an image having a black background.

図11に、映像データ変換部108による映像データの変換動作を示す。   FIG. 11 shows the video data conversion operation by the video data converter 108.

まず、映像データ変換部108は、外部記憶装置105からカメラ102で撮影された映像データを取得する(ステップ1101)。   First, the video data converter 108 acquires video data shot by the camera 102 from the external storage device 105 (step 1101).

次に、映像データ変換部108は、取得された映像データを時間単位の画像データに変換する(ステップ1102)。   Next, the video data converter 108 converts the acquired video data into time unit image data (step 1102).

次に、映像データ変換部108は、未処理の画像データの有無を判定する(ステップ1103)。未処理の画像データが存在する場合(ステップ1103で肯定結果が得られた場合)、映像データ変換部108は、先に処理した画像データに対して次の時間情報が付された画像データを読み込む(ステップ1104)。   Next, the video data converter 108 determines whether there is unprocessed image data (step 1103). When there is unprocessed image data (when a positive result is obtained in step 1103), the video data conversion unit 108 reads image data with the next time information attached to the previously processed image data. (Step 1104).

続いて、映像データ変換部108は、読み込んだ画像データの背景色である黒色を透過色に設定する(ステップ1105)。ただし、この時点の画像データをそのまま資料に重複すると、説明者と重複する部分の資料を見ることができなくなる。   Subsequently, the video data conversion unit 108 sets black, which is the background color of the read image data, as a transparent color (step 1105). However, if the image data at this time is directly overlapped with the material, it becomes impossible to see the material of the portion overlapping with the presenter.

そこで、映像データ変換部108は、背景色以外の色を半透過色(例えば50%程度)に設定する(ステップ1106)。この設定により、会議録データを再生する際に、説明者が透けて見え、説明者に隠れていた資料も同時に見ることができる。   Therefore, the video data converter 108 sets a color other than the background color to a semi-transparent color (for example, about 50%) (step 1106). By this setting, when reproducing the conference record data, the explainer can see through and the material hidden by the explainer can be seen at the same time.

これらの処理が全ての画像について実行されると(ステップ1103で否定結果が得られると)、映像データ変換部108は、データ変換後の画像データを外部記憶装置105に格納する(ステップ1107)。   When these processes are executed for all the images (when a negative result is obtained in step 1103), the video data conversion unit 108 stores the image data after data conversion in the external storage device 105 (step 1107).

(会議録データの検索動作)
ここでは、会議録データの検索時に実行される処理動作の内容を説明する。この処理動作の内容は、データ検索装置110により実行される。
(Meeting record data search operation)
Here, the contents of the processing operation executed when retrieving the minutes data will be described. The contents of this processing operation are executed by the data search device 110.

この形態例の場合、説明箇所の検索は、説明に用いた資料と、資料上のカーソル位置又は範囲の特定により実行する。   In the case of this embodiment, the description location is searched by specifying the material used for the description and the cursor position or range on the material.

図12に、データ検索装置110が実行する処理動作の内容を説明する。   FIG. 12 illustrates the contents of the processing operation executed by the data search apparatus 110.

まず、データ検索装置110は、資料番号401と資料名402との対応関係と、資料のサイズ情報403、404と、会議で使用した資料のデータを、外部記憶装置105から取得する(ステップ1201)。   First, the data search device 110 acquires the correspondence between the material number 401 and the material name 402, the material size information 403 and 404, and the material data used in the meeting from the external storage device 105 (step 1201). .

次に、データ検索装置110は、表示装置109の画面上に検索対象とする資料の選択画面を表示する(ステップ1202)。図13に、選択画面の一例を示す。図13の場合、1つの画面内に4つの資料の情報が選択可能に表示される例を示している。図13では、各資料が、サムネイル画像1032と、資料名1303とで表示される場合について表している。ユーザは、選択画面1301に表示されたサムネイル画像1302のうち検索対象とする1つの上にカーソル1304を合わせ、クリック操作により選択をデータ検索装置110に入力する。図では、選択が確定した状態にある資料1を、網掛け表示で示している。   Next, the data search device 110 displays a selection screen for materials to be searched on the screen of the display device 109 (step 1202). FIG. 13 shows an example of the selection screen. In the case of FIG. 13, an example is shown in which information of four materials is displayed so as to be selectable on one screen. FIG. 13 shows a case where each material is displayed as a thumbnail image 1032 and a material name 1303. The user places the cursor 1304 on one of the thumbnail images 1302 displayed on the selection screen 1301, and inputs the selection to the data search device 110 by a click operation. In the figure, the document 1 in a state where the selection has been confirmed is shown in a shaded display.

続いて、データ検索装置110は、選択した資料のうち検索対象とする説明範囲の選択を受付ける(ステップ1203)。図14に、説明範囲の選択受付け時に表示する画面例を示す。図14に示す選択画面1401は、ステップ1202で選択された「資料1」のページ内容である。ユーザは、カーソル1403を画面上で移動させるドラッグ操作により検索対象とする説明範囲1402を入力する。図では、ページの下段に位置する説明文とオブジェクトが選択された様子を示している。図14に示すように、説明範囲の指定は、文字以外のオブジェクトを含むことができる。この説明範囲は、資料上のカーソル位置情報として保存される。   Subsequently, the data search device 110 accepts selection of an explanation range to be searched among the selected materials (step 1203). FIG. 14 shows an example of a screen displayed when the selection of the explanation range is accepted. A selection screen 1401 shown in FIG. 14 shows the page contents of “Material 1” selected in Step 1202. The user inputs an explanation range 1402 to be searched by a drag operation for moving the cursor 1403 on the screen. In the figure, an explanatory note and an object located at the lower part of the page are selected. As shown in FIG. 14, the specification of the explanation range can include objects other than characters. This explanation range is stored as cursor position information on the material.

次に、データ検索装置110は、外部記憶装置105に格納されているカーソル位置データを読み込む(ステップ1204)。このカーソル位置データの読み込みは、図10に示すデータ形式について行われる。   Next, the data search device 110 reads the cursor position data stored in the external storage device 105 (step 1204). This cursor position data is read in the data format shown in FIG.

次に、データ検索装置110は、検索対象に選択された資料と同じ資料であり、かつ、選択された説明範囲内にカーソルが位置する会議録データの時間位置を抽出する(ステップ1205)。なお、説明範囲にカーソルが位置する会議録データが複数の時間値について連続して出現する場合、データ検索装置110は、これら複数時点の会議録データを1つの検索結果として扱う。これにより、説明箇所の候補が検索される。図15に、検索結果として表示装置109に表示される検索結果の表示例を示す。図15に示す検索結果画面1501には4の時間帯が候補として表示されている。   Next, the data search device 110 extracts the time position of the minutes data that is the same material as the material selected as the search target and in which the cursor is located within the selected explanation range (step 1205). When the minutes data in which the cursor is located in the explanation range appears continuously for a plurality of time values, the data search device 110 treats these minutes data as one search result. Thereby, the candidate of an explanation location is searched. FIG. 15 shows a display example of the search result displayed on the display device 109 as the search result. In the search result screen 1501 shown in FIG. 15, four time zones are displayed as candidates.

この後、データ検索装置110は、選択結果画面1501の中からカーソル1502により時間帯の選択を受付ける(ステップ1206)。   Thereafter, the data search device 110 accepts a time zone selection from the selection result screen 1501 with the cursor 1502 (step 1206).

この後、データ検索装置110は、選択部分から会議の内容を再生する(ステップ1207)。   Thereafter, the data search device 110 reproduces the content of the conference from the selected portion (step 1207).

(会議録データの再生動作)
ここでは、会議録データの再生動作を説明する。この処理動作も、データ検索装置110が実行する。
(Replay of minutes data)
Here, the reproduction operation of the conference record data will be described. This processing operation is also executed by the data search device 110.

図16に、データ検索装置110が実行する処理動作の内容を説明する。   FIG. 16 illustrates the contents of the processing operation executed by the data search device 110.

まず、データ検索装置110は、資料データと、資料番号と資料名の対応関係と、資料のサイズ情報を、外部記憶装置105から読み込む(ステップ1601)。   First, the data search device 110 reads material data, correspondence between material numbers and material names, and material size information from the external storage device 105 (step 1601).

次に、データ検索装置110は、会議内容の再生のため、会議時に取得されたデータ(例えばカーソル位置情報や描画オブジェクト情報)を、外部記憶装置105から読み込む(ステップ1602)。   Next, the data search device 110 reads data (for example, cursor position information and drawing object information) acquired at the time of the conference from the external storage device 105 in order to reproduce the conference content (step 1602).

さらに、データ検索装置110は、映像データ変換部108による変換後の画像データを、外部記憶装置105から読み込む(ステップ1603)。   Further, the data search device 110 reads the image data converted by the video data conversion unit 108 from the external storage device 105 (step 1603).

さらに、データ検索装置110は、会議中にマイク103から取得された音声データを外部記憶装置105から読み込む(ステップ1604)。   Furthermore, the data search device 110 reads the voice data acquired from the microphone 103 during the conference from the external storage device 105 (step 1604).

この後、データ検索装置110は、会議録データが終了したか否かを判定する(ステップ1605)。会議録データが終了していない場合(ステップ1605で否定結果の場合)、データ検索装置105は、選択結果画面1501で選択された時間に取得された会議録データから資料番号を取得し、当該資料番号に対応する資料データを表示装置109に表示する(ステップ1606)。同時に、同じ時間に保存された音声データを再生する(ステップ1608)。   Thereafter, the data search device 110 determines whether or not the minutes data has ended (step 1605). When the minutes data has not ended (in the case of a negative result in step 1605), the data search device 105 obtains the material number from the minutes data acquired at the time selected on the selection result screen 1501, and the material The material data corresponding to the number is displayed on the display device 109 (step 1606). At the same time, the audio data stored at the same time is reproduced (step 1608).

次に、データ検索装置110は、当該時間に対応する説明者の画像データを資料に所定位置に重複的に表示する(ステップ1607)。この処理動作が会議録データの時間が終了するまで繰り返される。図17に、再生画面の一例を示す。再生画面1701は、資料画面1702と、カーソル1703と、説明者像1704で構成されている。図17に示すように、説明者像1704を資料に重ねて表示することで、単にカーソル1703だけを表示する場合に比して臨場感に優れた会議録の再生を実現できる。もっとも、説明者像1704は合成像であるので、資料の視認性を優先したい場合には、説明者像1704の透過度を高めたり、不表示とする(透過度100%)こともできる。   Next, the data search device 110 displays the image data of the explainer corresponding to the time in duplicate on the document at a predetermined position (step 1607). This processing operation is repeated until the time of the minutes data ends. FIG. 17 shows an example of a playback screen. The reproduction screen 1701 includes a material screen 1702, a cursor 1703, and an explainer image 1704. As shown in FIG. 17, by displaying the presenter image 1704 superimposed on the material, it is possible to realize the reproduction of a conference record that is more realistic than when only the cursor 1703 is displayed. However, since the explainer image 1704 is a composite image, when priority is given to the visibility of the document, the transparency of the explainer image 1704 can be increased or hidden (transmittance 100%).

また、この形態例の場合、資料画面1702に表示される内容は撮像画像とは異なり、資料データそのものから生成された画像である。従って、説明中に資料のズーム画像が用いられた場合でも鮮明な文字を表示できる。   In the case of this embodiment, the content displayed on the material screen 1702 is an image generated from the material data itself, unlike the captured image. Therefore, even when a zoom image of the material is used during the description, clear characters can be displayed.

(他の形態例)
前述の形態例では、資料表示面上のカーソル位置を説明者の指や電子ペン等の操作入力を通じて検出する場合について説明した。しかしながら、カーソル位置は、例えばコンピュータ104に接続されたマウスその他の入力装置による入力を使用しても良い。
(Other examples)
In the above-described embodiment, a case has been described in which the cursor position on the document display surface is detected through an operation input of the explainer's finger or an electronic pen. However, the cursor position may be input by a mouse or other input device connected to the computer 104, for example.

前述の形態例では、電子ボード101上のカーソル位置を外部記憶装置105から読み出した後、資料上のカーソル位置に変換する場合について説明した。しかしながら、コンピュータ104から入力される電子ボード101上のカーソル位置を実時間で資料上のカーソル位置に変換したものを外部記憶装置105に保存しても良い。   In the above-described embodiment, the case where the cursor position on the electronic board 101 is read from the external storage device 105 and then converted to the cursor position on the material has been described. However, the cursor position on the electronic board 101 input from the computer 104 may be stored in the external storage device 105 after being converted into the cursor position on the document in real time.

前述の形態例の場合には、カメラ102で撮像された映像データを会議録データの保存タイミングの画像データに変換し、当該変換後の画像データをデータ変換する場合について説明した。しかしながら、映像データそのものをデータ変換し、動画像として会議録データに重畳させても良い。   In the case of the above-described embodiment, the case has been described in which video data captured by the camera 102 is converted into image data at the storage timing of conference record data, and the converted image data is converted. However, the video data itself may be converted and superposed on the minutes data as a moving image.

前述の形態例の場合には、検索とその再生の観点から説明した。しかしながら、当該形態例に係る会議録システムで保存された会議録データを先頭から単純に再生すれば、オフラインによる会議内容の確認に用いることもできる。   In the case of the above-mentioned form example, it demonstrated from the viewpoint of a search and its reproduction | regeneration. However, if the conference record data stored in the conference record system according to the embodiment is simply reproduced from the top, it can be used for checking the content of the conference offline.

101:電子ボード
102:カメラ
103:マイク
104:コンピュータ
105:外部記憶装置
106:データ変換装置
107:カーソル位置変換部
108:映像データ変換部
109:表示装置
110:データ検索装置
DESCRIPTION OF SYMBOLS 101: Electronic board 102: Camera 103: Microphone 104: Computer 105: External storage device 106: Data converter 107: Cursor position converter 108: Video data converter 109: Display device 110: Data search device

Claims (18)

会議録システムにおいて、
会議録データの保存タイミングにおける時間情報を取得して記憶領域に保存する手段と、
会議録データの保存タイミングに表示画面上に表示されていた資料を特定する資料番号を取得し、前記時間情報と関連付けて前記記憶領域に保存する手段と、
表示画面上に表示されたカーソル位置を取得し、前記時間情報と関連付けて前記記憶領域に保存する手段と
資料と資料上の検索範囲としての部分領域を、会議録データの検索条件として受付ける手段と、
前記資料上の検索範囲について前記記憶領域を検索する手段と、
前記資料上の検索範囲と合致したカーソル位置を有する会議録データの時間位置を検索結果として出力する手段と、
前記検索結果の中から選択された時間位置から会議録データを再生する手段と
を有することを特徴とする会議録システム。
In the minutes system,
Means for acquiring time information at the timing of saving the minutes data and saving it in a storage area;
Means for obtaining a material number for identifying the material displayed on the display screen at the timing of saving the minutes data, and storing it in the storage area in association with the time information;
Means for acquiring a cursor position displayed on a display screen and storing it in the storage area in association with the time information ;
Means for accepting a document and a partial area as a search range on the document as a search condition of the minutes data;
Means for searching the storage area for a search range on the material;
Means for outputting as a search result the time position of the minutes data having a cursor position that matches the search range on the material;
And a means for reproducing the minutes data from the time position selected from the search results .
請求項1に記載の会議録システムにおいて、
前記カーソル位置は、前記表示画面を検出領域とする位置検出装置から与えられる
ことを特徴とする会議録システム。
In the meeting minutes system according to claim 1,
The said meeting position is given from the position detection apparatus which uses the said display screen as a detection area. The meeting record system characterized by the above-mentioned.
請求項1又は2に記載の会議録システムにおいて、
前記表示画面の表面に配置された偏光フィルムの偏光方向とは異なる偏光方向を有する偏光フィルムが撮像面に配置され、前記表示画面を撮像対象とする撮像手段と、
前記撮像手段で撮像された映像データに対し、前記時間情報を付与する手段と
を有することを特徴とする会議録システム。
In the meeting minutes system according to claim 1 or 2,
A polarizing film having a polarization direction different from the polarization direction of the polarizing film disposed on the surface of the display screen is disposed on the imaging surface, and imaging means for imaging the display screen;
Means for giving the time information to the video data picked up by the image pickup means.
請求項1又は2に記載の会議録システムにおいて、
会議録データの保存タイミングに表示画面上に表示されていた資料の表示領域を特定する位置情報を取得し、前記時間情報と関連付けて前記記憶領域に保存する手段
を更に有することを特徴とする会議録システム。
In the meeting minutes system according to claim 1 or 2,
The conference further comprises means for acquiring position information for specifying a display area of the material displayed on the display screen at the timing of saving the conference record data, and storing it in the storage area in association with the time information. Recording system.
請求項1又は2に記載の会議録システムにおいて、
前記記憶領域に保存する前の前記カーソル位置を資料上のカーソル位置情報に変換し、前記時間情報と関連付けて記憶領域に保存する手段
を有することを特徴とする会議録システム。
In the meeting minutes system according to claim 1 or 2,
A conference record system, comprising: means for converting the cursor position before being stored in the storage area into cursor position information on a material, and storing the cursor position in association with the time information.
請求項1又は2に記載の会議録システムにおいて、
前記時間情報と関連付けて保存された前記カーソル位置を前記記憶領域から読み出し、当該カーソル位置を資料上のカーソル位置情報に変換する手段
を有することを特徴とする会議録システム。
In the meeting minutes system according to claim 1 or 2,
A meeting record system comprising: means for reading out the cursor position stored in association with the time information from the storage area, and converting the cursor position into cursor position information on a document.
請求項に記載の会議録システムにおいて、
前記表示画面の表面に配置された偏光フィルムの偏光方向とは異なる偏光方向を有する偏光フィルムを撮像面に配置した撮像手段により撮像された前記表示画面の映像データを、前記会議録データの再生画像に重ねて表示する手段
を有することを特徴とする会議録システム。
In the meeting minutes system according to claim 1 ,
The video data of the display screen imaged by the imaging means in which a polarizing film having a polarization direction different from the polarization direction of the polarizing film arranged on the surface of the display screen is arranged on the imaging surface, A conference record system, characterized in that it has means for displaying it overlaid on.
請求項に記載の会議録システムにおいて、
前記映像データは、重複領域について前記再生画像の内容を確認できるように透過処理されて重畳される
ことを特徴とする会議録システム。
In the meeting minutes system according to claim 7 ,
The conference data system, wherein the video data is transparently processed and superimposed so that the content of the reproduced image can be confirmed with respect to an overlapping region.
請求項1に記載の会議録システムにおいて、
会議録データの保存タイミングにおける説明者の画像データを取得し、前記時間情報と関連付けて前記記憶領域に保存する手段と、
前記検索結果から選択された時間位置の会議録データとして、前記資料、前記カーソル位置及び前記説明者の画像データを記憶領域から同期再生する手段と
更に有することを特徴とする会議録システム。
In the meeting minutes system according to claim 1,
Means for acquiring the image data of the presenter at the storage timing of the minutes data, and storing it in the storage area in association with the time information;
The conference system further comprising means for synchronously reproducing the material , the cursor position, and the image data of the presenter from the storage area as the conference data at the time position selected from the search result .
会議録システムを構成するコンピュータに、
会議録データの保存タイミングにおける時間情報を取得して記憶領域に保存する処理と、
会議録データの保存タイミングに表示画面上に表示されていた資料を特定する資料番号を取得し、前記時間情報と関連付けて前記記憶領域に保存する処理と、
表示画面上に表示されたカーソル位置を取得し、前記時間情報と関連付けて前記記憶領域に保存する処理と
資料と資料上の検索範囲としての部分領域を、会議録データの検索条件として受付ける処理と、
前記資料上の検索範囲について前記記憶領域を検索する処理と、
前記資料上の検索範囲と合致したカーソル位置を有する会議録データの時間位置を検索結果として出力する処理と、
前記検索結果の中から選択された時間位置から会議録データを再生する処理と
を実行させるプログラム。
To the computers that make up the minutes system,
Processing to acquire time information at the timing of saving the minutes data and save it in the storage area;
A process of acquiring a document number for identifying a document displayed on the display screen at the timing of saving the minutes data, and storing it in the storage area in association with the time information;
A process of acquiring a cursor position displayed on a display screen and storing the cursor position in association with the time information ;
Accepting a document and a partial area as a search range on the document as a search condition for minutes data,
A process of searching the storage area for a search range on the material;
Processing for outputting as a search result the time position of the minutes data having a cursor position that matches the search range on the material;
The program which performs the process which reproduces | regenerates meeting minutes data from the time position selected from the said search result .
請求項10に記載のプログラムにおいて、
前記カーソル位置は、前記表示画面を検出領域とする位置検出装置から与えられる
ことを特徴とするプログラム。
The program according to claim 10 , wherein
The cursor position is given from a position detection device that uses the display screen as a detection area.
請求項10又は11に記載のプログラムにおいて、
前記表示画面の表面に配置された偏光フィルムの偏光方向とは異なる偏光方向を有する偏光フィルムが撮像面に配置され、前記表示画面を撮像対象とする撮像手段で撮像された映像データに対し、前記時間情報を付与する処理
を実行させることを特徴とするプログラム。
The program according to claim 10 or 11 ,
A polarizing film having a polarization direction different from the polarization direction of the polarizing film disposed on the surface of the display screen is disposed on the imaging surface, and for the video data captured by the imaging means for imaging the display screen, A program characterized by causing a process to add time information to be executed.
請求項10又は11に記載のプログラムにおいて、
会議録データの保存タイミングに表示画面上に表示されていた資料の表示領域を特定する位置情報を取得し、前記時間情報と関連付けて前記記憶領域に保存する処理
を実行させることを特徴とするプログラム。
The program according to claim 10 or 11 ,
A program for acquiring position information for specifying a display area of a material displayed on a display screen at a timing for saving conference minutes data, and storing the information in association with the time information in the storage area .
請求項10又は11に記載のプログラムにおいて、
前記記憶領域に保存する前の前記カーソル位置を資料上のカーソル位置情報に変換し、前記時間情報と関連付けて記憶領域に保存する処理
を実行させることを特徴とするプログラム。
The program according to claim 10 or 11 ,
A program for converting the cursor position before being stored in the storage area into cursor position information on a material and storing it in the storage area in association with the time information.
請求項10又は11に記載のプログラムにおいて、
前記時間情報と関連付けて保存された前記カーソル位置を前記記憶領域から読み出し、当該カーソル位置を資料上のカーソル位置情報に変換する処理
を実行させることを特徴とするプログラム。
The program according to claim 10 or 11 ,
A program for reading the cursor position stored in association with the time information from the storage area and converting the cursor position into cursor position information on a material.
請求項10に記載のプログラムにおいて、
前記表示画面の表面に配置された偏光フィルムの偏光方向とは異なる偏光方向を有する偏光フィルムを撮像面に配置した撮像手段により撮像された前記表示画面の映像データを、前記会議録データの再生画像に重ねて表示する処理
を実行させることを特徴とするプログラム。
The program according to claim 10 , wherein
The video data of the display screen imaged by the imaging means in which a polarizing film having a polarization direction different from the polarization direction of the polarizing film arranged on the surface of the display screen is arranged on the imaging surface, A program characterized by causing a process to be displayed on top of each other.
請求項16に記載のプログラムにおいて、
前記映像データを、重複領域について前記再生画像の内容を確認できるように透過処理した後、対応資料に重畳する処理
を実行させることを特徴とするプログラム。
The program according to claim 16 , wherein
A program for executing a process of superimposing the video data on corresponding material after transparent processing is performed so that the content of the reproduced image can be confirmed with respect to an overlapping area.
請求項10に記載のプログラムにおいて、
会議録データの保存タイミングにおける説明者の画像データを取得し、前記時間情報と関連付けて前記記憶領域に保存する処理と、
前記検索結果から選択された時間位置の会議録データとして、前記資料、前記カーソル位置及び前記説明者の画像データを記憶領域から同期再生する処理と
前記コンピュータに更に実行させることを特徴とするプログラム。
The program according to claim 10, wherein
The process of acquiring the image data of the presenter at the storage timing of the minutes data and storing it in the storage area in association with the time information;
A program for causing the computer to further execute a process of synchronously reproducing the document, the cursor position, and the image data of the presenter from a storage area as conference data at a time position selected from the search result. .
JP2010269309A 2010-12-02 2010-12-02 Minutes system and program Expired - Fee Related JP5554214B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010269309A JP5554214B2 (en) 2010-12-02 2010-12-02 Minutes system and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010269309A JP5554214B2 (en) 2010-12-02 2010-12-02 Minutes system and program

Publications (2)

Publication Number Publication Date
JP2012118859A JP2012118859A (en) 2012-06-21
JP5554214B2 true JP5554214B2 (en) 2014-07-23

Family

ID=46501577

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010269309A Expired - Fee Related JP5554214B2 (en) 2010-12-02 2010-12-02 Minutes system and program

Country Status (1)

Country Link
JP (1) JP5554214B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015072627A (en) * 2013-10-03 2015-04-16 株式会社リコー Image processor and image composition method
US11216238B2 (en) * 2018-12-28 2022-01-04 Microsoft Technology Licensing, Llc Scoping the lifetime of personal devices connected to communal computing devices

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05313877A (en) * 1992-05-13 1993-11-26 Kodo Eizo Gijutsu Kenkyusho:Kk Program editing device and its program display method
JP2001209361A (en) * 2000-01-27 2001-08-03 Matsushita Electric Ind Co Ltd Multimedia display device
JP2003162521A (en) * 2002-08-23 2003-06-06 Matsushita Electric Ind Co Ltd Filing device
JP2005117285A (en) * 2003-10-07 2005-04-28 Hitachi Ltd Information input device, communication terminal and communication method
CN101681564B (en) * 2007-05-22 2013-03-27 株式会社阿奈特 Content generation system, content generation device, and content generation program
JP2010134681A (en) * 2008-12-04 2010-06-17 Ricoh Co Ltd Lecture material preparation support system, lecture material preparation support method and lecture material preparation support program
JP2010154089A (en) * 2008-12-24 2010-07-08 Fuji Xerox Co Ltd Conference system

Also Published As

Publication number Publication date
JP2012118859A (en) 2012-06-21

Similar Documents

Publication Publication Date Title
US8854491B2 (en) Metadata-assisted image filters
TWI253860B (en) Method for generating a slide show of an image
US20060120624A1 (en) System and method for video browsing using a cluster index
JP6794711B2 (en) How to generate web-based copies of documents, programs and equipment
US20080079693A1 (en) Apparatus for displaying presentation information
JP6641949B2 (en) Method, system and program for detecting, classifying and visualizing user interaction
JP2006129480A (en) Automatic face extraction for use in recorded meetings timelines
KR101484844B1 (en) Apparatus and method for privacy masking tool that provides real-time video
US10074216B2 (en) Information processing to display information based on position of the real object in the image
US9378768B2 (en) Methods and systems for media file management
JP6203188B2 (en) Similar image search device
JP3372096B2 (en) Image information access device
EP2711853B1 (en) Methods and systems for media file management
JP5554214B2 (en) Minutes system and program
JP5612457B2 (en) Moving image display device, moving image object search system, moving image display method and program
JP2011164949A (en) Information processor, retrieval condition setting method, program, and recording medium
US10474743B2 (en) Method for presenting notifications when annotations are received from a remote device
JP2012242878A (en) Similar image search system
Watanabe et al. WillCam: a digital camera visualizing users. interest
JP4326753B2 (en) Video information indexing support system, program, and storage medium
JP2011097229A (en) Apparatus and program for processing photography data
JP6261198B2 (en) Information processing apparatus, information processing method, and program
JP5729056B2 (en) Image processing apparatus and image processing method
JP2010157960A (en) Imaging apparatus
JP6150538B2 (en) Movie recording apparatus and control method thereof

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130724

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140416

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140507

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140528

R150 Certificate of patent or registration of utility model

Ref document number: 5554214

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees