JP5186870B2

JP5186870B2 - Information sharing support system, information sharing support program, and information sharing support device

Info

Publication number: JP5186870B2
Application number: JP2007263674A
Authority: JP
Inventors: 真吾内橋; 萌時
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2007-10-09
Filing date: 2007-10-09
Publication date: 2013-04-24
Anticipated expiration: 2027-10-09
Also published as: JP2009094817A

Description

本発明は、情報共有支援システム、情報共有支援プログラム及び情報共有支援装置に関する。 The present invention relates to an information sharing support system, an information sharing support program, and an information sharing support device.

会議システム等においては、端末側から実物体側へ向けて作業手順の指示等の各種指示を行う必要がある。このような、端末側から実物体側への指示を行うことができる会議システムとしては、例えば、実物体側に存在する対象物をビデオカメラで撮像しつつその撮像画像を大型表示装置等の端末に送信すると共に、端末において撮像画像に基づいて指示された注釈画像を実物体側でプロジェクタにより対象物へ投影する情報共有支援システムや指示システム等が知られている。 In a conference system or the like, it is necessary to give various instructions such as instructions for work procedures from the terminal side to the real object side. As such a conference system capable of giving an instruction from the terminal side to the real object side, for example, while capturing an object existing on the real object side with a video camera, the captured image is transmitted to a terminal such as a large display device. In addition, an information sharing support system, an instruction system, and the like that project an annotation image instructed based on a captured image at a terminal onto a target object on a real object side are known.

また、上述した情報共有支援システム等では、注釈画像が投影された対象物の撮像画像もまた同様に端末に送信される。そして、その端末において、設計図面等の電子文書が利用者の操作によって開かれ、受信した撮像画像内の実物体と比較されながら、その電子文書内の一部の領域と撮像画像内の一部の領域とが注釈画像により結ばれて対応付けられることもある。 In the information sharing support system and the like described above, the captured image of the target object on which the annotation image is projected is also transmitted to the terminal. Then, in the terminal, an electronic document such as a design drawing is opened by a user's operation, and compared with a real object in the received captured image, a partial area in the electronic document and a partial in the captured image May be associated with each other by an annotation image.

ところで、画像等の対応付け等には種々の技術が知られている。例えば、特許文献１では、プリント基板の画像データと部品ごとの実装位置データとを対応づけ、不良部品が実装されたプリント基板が検出された場合に、プリント基板上の不良箇所に印をつけて表示部に表示させる技術が開示されている。また、特許文献２では、マウスポインタの電子文書上での動作とレーザーポインタの紙文書上での動作とを対応づけて連動させる技術が開示されている。 By the way, various techniques are known for associating images and the like. For example, in Patent Document 1, image data of a printed circuit board is associated with mounting position data for each component, and when a printed circuit board on which a defective component is mounted is detected, a defective portion on the printed circuit board is marked. A technique for displaying on a display unit is disclosed. Japanese Patent Application Laid-Open No. 2004-228561 discloses a technique for associating and operating the operation of the mouse pointer on the electronic document and the operation of the laser pointer on the paper document.

これらの技術以外にも、特許文献３に開示されるように、携帯端末から送信された手書きの画像情報等を位置情報と関連付け、作業者間で共有されている地図上に重畳させる技術や、特許文献４に開示されるように、会合の様子を撮影した動画像、そこで使用された資料、その他のメディアデータを時間軸上で同期をとりながら記録する技術がある。 In addition to these technologies, as disclosed in Patent Literature 3, hand-drawn image information transmitted from a mobile terminal is associated with position information and superimposed on a map shared between workers, As disclosed in Patent Document 4, there is a technique for recording a moving image obtained by capturing a meeting, materials used there, and other media data while synchronizing them on a time axis.

特開平１０−２６９２９２号公報Japanese Patent Laid-Open No. 10-269292 特表２０００−１７２４０２号公報Special Table 2000-172402 特開２００１−１８８８３７号公報JP 2001-188837 A 特開２００５−２６０５１３号公報JP-A-2005-260513

ここで、上述した情報共有支援システムにおいて、電子文書内の一部の領域と撮像画像内の一部の領域とが注釈画像により結ばれて対応付けがなされた後、例えば会議議事録等としてこれらの状態が維持されるように記録しておきたい場合もある。 Here, in the information sharing support system described above, after a part of the area in the electronic document and a part of the area in the captured image are connected by the annotation image and associated with each other, for example, as a meeting minutes You may want to keep a record so that

例えばビットマップ等のラスタイメージによってこれらの状態をそのまま記録することも考えられるが、再現性の観点から会議議事録としての利便性は必ずしも好適ではなく、また、対応付けがなされる度に記録作業が発生する可能性もあり操作性は好ましくない。 For example, it is conceivable to record these states as they are by using a raster image such as a bitmap. However, the convenience as a meeting minutes is not always preferable from the viewpoint of reproducibility, and the recording work is performed every time correspondence is made. The operability is not preferable.

本発明は、このような事情に鑑みてなされたものであり、簡易な操作で、遠隔会議等で使用された資料の再現性が確保される情報共有支援システム、情報共有支援プログラム及び情報共有支援装置を提供することを目的とする。 The present invention has been made in view of such circumstances, and an information sharing support system, an information sharing support program, and an information sharing support in which reproducibility of materials used in a remote conference or the like is ensured with a simple operation. An object is to provide an apparatus.

請求項１に記載の発明は、対象物を撮影する撮影手段で撮影された撮影画像を端末に送信すると共に、該端末でなされた撮影画像に基づく指示に応じた注釈を表す注釈画像を投影手段により対象物に投影させ得る制御手段を有し、制御手段は、注釈画像が投影された対象物の撮影画像を端末に送信し、その撮影画像内の注釈画像と該撮影画像外の注釈画像とを適合させて連結するための連結情報を生成して記憶手段に記憶することを特徴とする情報共有支援システムである。 According to the first aspect of the present invention, a photographed image photographed by a photographing means for photographing an object is transmitted to a terminal, and an annotation image representing an annotation according to an instruction based on the photographed image made by the terminal is projected. Control means capable of projecting onto the object by the control means, and the control means transmits the captured image of the object on which the annotation image is projected to the terminal, and the annotation image in the captured image and the annotation image outside the captured image It is an information sharing support system characterized by generating connection information for connecting and adapting them to storage means.

請求項２に記載の発明は、請求項１に記載の発明において、制御手段は、連結情報を、指示に併せて記憶していくことを特徴としている。 The invention according to claim 2 is characterized in that, in the invention according to claim 1, the control means stores the connection information together with the instruction.

請求項３に記載の発明は、請求項１又は２に記載の発明において、制御手段は、指示用画像が、撮影画像外の注釈画像で形成される領域内に含まれた場合に、該注釈画像に対応する撮影画像を連結情報に基づいて表示することを特徴としている。 According to a third aspect of the present invention, in the first or second aspect of the present invention, when the instruction image is included in a region formed by the annotation image outside the photographed image, the control means performs the annotation. A feature is that a captured image corresponding to the image is displayed based on the connection information.

請求項４に記載の発明は、請求項１から３のいずれか１項に記載の発明において、制御手段は、注釈画像に対応する撮影画像の表示中に、指示用画像が、撮影画像外の注釈画像で形成される領域から外れた場合に、該注釈画像に対応する撮影画像の表示を停止することを特徴としている。 According to a fourth aspect of the present invention, in the invention according to any one of the first to third aspects, the control unit is configured to display the instruction image outside the captured image while displaying the captured image corresponding to the annotation image. When the image is out of the region formed by the annotation image, the display of the captured image corresponding to the annotation image is stopped.

請求項５に記載の発明は、請求項１から４のいずれか１項に記載の発明において、制御手段は、撮影画像の内外を区別する境界線と、撮影画像内の注釈画像及び撮影画像外の注釈画像とを対応付ける対応付用注釈画像と、が交差する境界点を基準に連結情報を形成することを特徴としている。 The invention according to claim 5 is the invention according to any one of claims 1 to 4, wherein the control means includes a boundary line that distinguishes the inside and outside of the captured image, an annotation image in the captured image, and an outside of the captured image. The connection information is formed on the basis of a boundary point where the annotation image for association with the annotation image is associated.

請求項６に記載の発明は、請求項５に記載の発明において、制御手段は、描画中の対応付用注釈画像が基準点を通過する時刻を基準に連結情報を形成することを特徴としている。 The invention according to claim 6 is the invention according to claim 5, wherein the control means forms the connection information on the basis of the time when the annotation image for correspondence passing through the drawing passes the reference point. .

請求項７に記載の発明は、コンピュータを、対象物を撮影する撮影手段で撮影された撮影画像を端末に送信すると共に、該端末でなされた撮影画像に基づく指示に応じた注釈を表す注釈画像を投影手段により対象物に投影させ得る制御手段として機能させ、制御手段は、注釈画像が投影された対象物の撮影画像を端末に送信し、その撮影画像内の注釈画像と該撮影画像外の注釈画像とを適合させて連結するための連結情報を生成して記憶手段に記憶することを特徴とする情報共有支援プログラムである。 According to the seventh aspect of the present invention, the computer transmits a photographed image photographed by photographing means for photographing a target object to the terminal, and an annotation image representing an annotation according to an instruction based on the photographed image made by the terminal. The control means transmits a captured image of the object on which the annotation image is projected to the terminal, and the annotation image in the captured image and the outside of the captured image are transmitted to the terminal. An information sharing support program characterized by generating connection information for matching and connecting an annotation image and storing it in a storage means.

請求項８に記載の発明は、対象物を撮像する撮影手段と、撮影手段の撮影領域内にその撮影画像に基づいてされた指示に応じた注釈を表す注釈画像を投影する投影手段と、注釈画像が投影された対象物の撮影画像を端末に送信し、その撮影画像内の注釈画像と該撮影画像外の注釈画像とを適合させて連結するための連結情報を生成して記憶手段に記憶する制御手段と、を有することを特徴とする情報共有支援装置である。 According to an eighth aspect of the present invention, there is provided imaging means for imaging an object, projection means for projecting an annotation image representing an annotation in accordance with an instruction made based on the captured image in an imaging area of the imaging means, and annotation A captured image of the object on which the image is projected is transmitted to the terminal, and connection information for matching and connecting the annotation image in the captured image and the annotation image outside the captured image is generated and stored in the storage unit And an information sharing support device.

請求項１に記載の発明によれば、簡易な操作で、遠隔会議等で使用された資料の再現性が確保される。 According to the first aspect of the present invention, the reproducibility of the material used in the remote conference or the like is ensured with a simple operation.

請求項２に記載の発明によれば、本構成を有していない場合に比較して、連結情報の記憶を指示に連動できる。 According to the second aspect of the present invention, the storage of the connection information can be linked to the instruction as compared with the case where the present configuration is not provided.

請求項３に記載の発明によれば、本構成を有していない場合に比較して、対応関係を有する撮影画像外の領域に対応する撮影画像が表示される。 According to the third aspect of the present invention, the captured image corresponding to the area outside the captured image having the corresponding relationship is displayed as compared with the case where the present configuration is not provided.

請求項４に記載の発明によれば、本構成を有していない場合に比較して、撮影画像の継続的な表示が抑制される。 According to the fourth aspect of the present invention, the continuous display of the captured image is suppressed as compared with the case where the present configuration is not provided.

請求項５に記載の発明によれば、本構成を有していない場合に比較して、明確な基準点に基づいて連結情報が生成されて記憶される。 According to the fifth aspect of the present invention, the connection information is generated and stored based on a clear reference point as compared with the case where the present configuration is not provided.

請求項６に記載の発明によれば、本構成を有していない場合に比較して、明確な基準時刻に基づいて連結情報が生成された記憶される。 According to invention of Claim 6, compared with the case where it does not have this structure, the connection information produced | generated based on clear reference | standard time is memorize | stored.

請求項７に記載の発明によれば、簡易な操作で、遠隔会議等で使用された資料の再現性が確保される。 According to the invention described in claim 7, the reproducibility of the material used in the remote conference or the like is ensured by a simple operation.

請求項８に記載の発明によれば、簡易な操作で、遠隔会議等で使用された資料の再現性が確保される。 According to the invention described in claim 8, reproducibility of the material used in the remote conference or the like is ensured by a simple operation.

以下、本発明の実施形態について図面を参照して説明する。
図１は本発明の実施形態に係る情報共有支援システムの構成図である。
情報共有支援システム１００は、図１に示すように、指示システム１５０及び電子情報共有システム１５１を備え、ネットワーク５を介して互いに接続されている。 Embodiments of the present invention will be described below with reference to the drawings.
FIG. 1 is a configuration diagram of an information sharing support system according to an embodiment of the present invention.
As shown in FIG. 1, the information sharing support system 100 includes an instruction system 150 and an electronic information sharing system 151, and is connected to each other via a network 5.

指示システム１５０は、サーバとして機能するパーソナルコンピュータ（ＰＣ）１、クライアントとして機能するＰＣ２を備えており、これらは、ネットワーク５を介して互いに接続されている。 The instruction system 150 includes a personal computer (PC) 1 that functions as a server and a PC 2 that functions as a client, which are connected to each other via a network 5.

ＰＣ１には、プロジェクタ１０及びビデオカメラ１１が接続されている。
プロジェクタ１０は、ＰＣ１からの制御コマンドに基づいて、テーブル１５上に載置された対象物１４に対して、ハーフミラー１２を介して単なる光線を照射する又は注釈画像（以下、アノテーション画像という。）等を投影する。
ビデオカメラ１１は、対象物１４を含むテーブル１５の反射画像をハーフミラー１２を介して撮影し、撮影画像をＰＣ１に出力する。
ＰＣ１は、撮影画像をＰＣ２に出力すると共に、ネットワーク５を介して電子情報共有システム１５１に出力する。 A projector 10 and a video camera 11 are connected to the PC 1.
Based on a control command from the PC 1, the projector 10 irradiates the object 14 placed on the table 15 with a simple light beam via the half mirror 12 or an annotation image (hereinafter referred to as an annotation image). And so on.
The video camera 11 captures a reflected image of the table 15 including the object 14 via the half mirror 12 and outputs the captured image to the PC 1.
The PC 1 outputs the captured image to the PC 2 and also outputs it to the electronic information sharing system 151 via the network 5.

ＰＣ２には、表示部２０５が接続されている。
表示部２０５は、表示領域２１０及びユーザインターフェース（ＵＩ）１６を表示する。尚、ＰＣ２は、表示部２０５を備える一体型のパーソナルコンピュータで構成してもよい。 A display unit 205 is connected to the PC 2.
The display unit 205 displays a display area 210 and a user interface (UI) 16. Note that the PC 2 may be configured as an integrated personal computer including the display unit 205.

ＵＩ１６は、ペン、テキスト、及び消去などのボタン群と、線種などを含む。タッチパネル方式であってもよい。
表示領域２１０は、ビデオカメラ１１で撮影された撮影画像が表示される。同図においては、表示領域２１０に対象物１４を含むテーブル１５を上方から撮影した画像が表示されている。また、例えば、ＵＩ１６のペンボタンが押下されて、表示領域２１０内の対象物１４上に図形等が記載されると、当該図形の情報はＰＣ２からＰＣ１を介してプロジェクタ１０に出力される。プロジェクタ１０は当該図形の情報に基づいて対象物１４上に図形を描く。 The UI 16 includes a group of buttons such as pen, text, and erase, and a line type. A touch panel method may be used.
In the display area 210, a photographed image photographed by the video camera 11 is displayed. In the figure, an image obtained by photographing the table 15 including the object 14 from above is displayed in the display area 210. For example, when a pen button of the UI 16 is pressed and a figure or the like is written on the object 14 in the display area 210, information on the figure is output from the PC 2 to the projector 10 via the PC 1. The projector 10 draws a graphic on the object 14 based on the graphic information.

また、ＰＣ２では、例えば表示領域２１０内に表示される対象物１４の一部の範囲が選択される。即ち、対象物１４の全体図から一部の範囲が選択されると、後述するＰＣ２の制御部２０１は、少なくとも１つの対象物１４の部分拡大図を自動的に作成し、全体図内の選択された一部の範囲と自動作成された部分拡大図とをアノテーションで連結する。ＰＣ２が、アノテーションで連結された全体図及び部分拡大図の情報をプロジェクタ１０に送信すると、テーブル１５上に全体図、部分拡大図及び両者を連結するアノテーションを投影することができる。 In the PC 2, for example, a partial range of the object 14 displayed in the display area 210 is selected. That is, when a partial range is selected from the overall view of the object 14, the control unit 201 of the PC 2 to be described later automatically creates a partially enlarged view of at least one object 14 and selects it in the overall view. The part of the created range and the automatically created partial enlarged view are connected by annotation. When the PC 2 transmits the information of the whole view and the partially enlarged view connected by the annotation to the projector 10, the whole view, the partially enlarged view and the annotation that connects the two can be projected on the table 15.

また、ＰＣ２は、ＰＣ１に対して制御コマンドを出力し、プロジェクタ１０及びビデオカメラ１１の動作（例えば、ビデオカメラ１１の撮影角度やプロジェクタ１０の明るさなど）を制御することができる。 Further, the PC 2 can output a control command to the PC 1 to control the operations of the projector 10 and the video camera 11 (for example, the shooting angle of the video camera 11 and the brightness of the projector 10).

電子情報共有システム１５１は、ＰＣ３及びＰＣ４を備え、ネットワーク５を介して互いに接続されている。 The electronic information sharing system 151 includes a PC 3 and a PC 4 and is connected to each other via a network 5.

ＰＣ３には、表示部３０５が接続されている。
表示部３０５の表示領域３１０は、ビデオカメラ１１で撮影された撮影画像の全部又は一部を表示する実物ビューウィンドウ３１１及び文字、図形、静止画像などを表示する文書領域３１２を含む。
ＰＣ３は、ビデオカメラ１１で撮影された撮影画像をＰＣ１から受信し、表示部３０５の実物ビューウィンドウ３１１に出力する。 A display unit 305 is connected to the PC 3.
A display area 310 of the display unit 305 includes a real view window 311 that displays all or part of a captured image captured by the video camera 11 and a document area 312 that displays characters, graphics, still images, and the like.
The PC 3 receives the captured image captured by the video camera 11 from the PC 1 and outputs it to the real view window 311 of the display unit 305.

ＰＣ４には、表示部４０５が接続されている。
表示部４０５の表示領域４１０は、ビデオカメラ１１で撮影された撮影画像の全部又は一部を表示する実物ビューウィンドウ４１１及び文字、図形、又は静止画像などを含む文書を表示する文書領域４１２を含む。
ＰＣ４は、ビデオカメラ１１で撮影された撮影画像をＰＣ１から受信し、表示部４０５の実物ビューウィンドウ４１１に出力する。 A display unit 405 is connected to the PC 4.
A display area 410 of the display unit 405 includes a real view window 411 that displays all or a part of a captured image captured by the video camera 11 and a document area 412 that displays a document including characters, graphics, or still images. .
The PC 4 receives the captured image captured by the video camera 11 from the PC 1 and outputs it to the real view window 411 of the display unit 405.

実物ビューウィンドウ３１１、４１１は、後述するように表示領域３１０，４１０に表示されるデータを構成するレイヤーとしての機能を有する。
ＰＣ３及びＰＣ４は、互いに情報を共有する機能を備え、リアルタイムで同一の情報をそれぞれの表示部に表示することができる。
尚、ＰＣ３，４も、それぞれ表示部３０５，４０５を備える一体型のパーソナルコンピュータで構成してもよい。 The real view windows 311 and 411 have a function as a layer constituting data displayed in the display areas 310 and 410 as described later.
The PC 3 and the PC 4 have a function of sharing information with each other, and can display the same information on each display unit in real time.
The PCs 3 and 4 may also be constituted by an integrated personal computer provided with display units 305 and 405, respectively.

続いて上述したＰＣ１〜４の各機能等について図２及び図３を参照して説明する。
図２はＰＣ１〜４の要部構成を示す機能ブロック図である。
ＰＣ１は、装置全体を制御すると共にプロジェクタ１０及びビデオカメラ１１の動作を制御する制御部１０１と、ネットワーク５を介して他のＰＣと情報やデータの送受信を行う送受信部１０２と、制御プログラム、データ及び情報等を記憶する記憶部１０４と、バーコードリーダ又はＲＦＩＤタグリーダなどで構成される入力部１０５とを備えている。 Next, the functions of the PCs 1 to 4 described above will be described with reference to FIGS.
FIG. 2 is a functional block diagram showing a main configuration of the PCs 1 to 4.
The PC 1 controls the entire apparatus and controls operations of the projector 10 and the video camera 11, a transmission / reception unit 102 that transmits / receives information and data to / from other PCs via the network 5, a control program, and data And a storage unit 104 for storing information and the like, and an input unit 105 including a barcode reader or an RFID tag reader.

入力部１０５は、対象物１４に付されたバーコード又はＲＦＩＤタグから対象物１４の識別情報（例えばＩＤ）を読み取るために使用される。
制御部１０１は、プロジェクタ１０、ビデオカメラ１１、送受信部１０２、記憶部１０４及び入力部１０５に接続されている。 The input unit 105 is used to read identification information (for example, ID) of the object 14 from a barcode or RFID tag attached to the object 14.
The control unit 101 is connected to the projector 10, video camera 11, transmission / reception unit 102, storage unit 104, and input unit 105.

ＰＣ２は、装置全体を制御する制御部２０１と、ネットワーク５を介して他のＰＣと情報やデータの送受信を行う送受信部２０２と、マウスやキーボードなどで構成される操作部２０３と、制御プログラム、データ及び情報等を記憶する記憶部２０４と、表示部２０５とを備えている。
制御部２０１は、送受信部２０２、操作部２０３、記憶部２０４及び表示部２０５に接続されている。 The PC 2 includes a control unit 201 that controls the entire apparatus, a transmission / reception unit 202 that transmits and receives information and data to and from other PCs via the network 5, an operation unit 203 that includes a mouse and a keyboard, a control program, A storage unit 204 that stores data, information, and the like, and a display unit 205 are provided.
The control unit 201 is connected to the transmission / reception unit 202, the operation unit 203, the storage unit 204, and the display unit 205.

ＰＣ３，４は、ＰＣ１，２と同様に、それぞれ、制御部３０１，４０１、送受信部３０２，４０２、操作部３０３，４０３、記憶部３０４，４０４、及び表示部３０５，４０５を備えている。
制御部３０１は、送受信部３０２、操作部３０３、記憶部３０４及び表示部３０５に接続され、制御部４０１は、送受信部４０２、操作部４０３、記憶部４０４及び表示部４０５に接続されている。尚、上述した制御部１０１，２０１，３０１，４０１等から本発明の制御手段が構成され、また、上述した記憶部１０４，２０４，３０４，４０４等から本発明の記憶手段が構成される。これらは、分離されて配置されていても、一体形成されていてもよい。 The PCs 3 and 4 include control units 301 and 401, transmission and reception units 302 and 402, operation units 303 and 403, storage units 304 and 404, and display units 305 and 405, respectively, similarly to the PCs 1 and 2.
The control unit 301 is connected to the transmission / reception unit 302, the operation unit 303, the storage unit 304, and the display unit 305, and the control unit 401 is connected to the transmission / reception unit 402, the operation unit 403, the storage unit 404, and the display unit 405. The above-described control units 101, 201, 301, 401, etc. constitute the control means of the present invention, and the above-mentioned storage units 104, 204, 304, 404, etc. constitute the storage means of the present invention. These may be arranged separately or may be integrally formed.

ＰＣ１〜４は、各々が備える送受信部及びネットワーク５を介して互いに接続されている。 PC1-4 are mutually connected via the transmission / reception part and network 5 with which each is provided.

図３はＰＣ３のハードウェア構成を示す機能ブロック図である。
ＰＣ３は、図３に示すように、装置全体を制御するＣＰＵ２１、制御プログラムを備えるＲＯＭ２２、ワーキングエリアとして機能するＲＡＭ２３、各種の情報やプログラムを備えるハードディスクドライブ（ＨＤＤ）２４、マウス及びキーボード２５、他のコンピュータと接続するためのネットワークインタフェース（Ｉ／Ｆ）２６、及び液晶モニタ又はＣＲＴ等で構成されるディスプレイ２７を備えている。ＣＰＵ２１はシステムバス２８を介してＲＯＭ２２、ＲＡＭ２３、ハードディスクドライブ（ＨＤＤ）２４、マウス及びキーボード２５、ネットワークインタフェース２６、及びディスプレイ２７と接続されている。 FIG. 3 is a functional block diagram showing the hardware configuration of the PC 3.
As shown in FIG. 3, the PC 3 includes a CPU 21 that controls the entire apparatus, a ROM 22 that includes a control program, a RAM 23 that functions as a working area, a hard disk drive (HDD) 24 that includes various information and programs, a mouse and keyboard 25, and the like. A network interface (I / F) 26 for connecting to the computer, and a display 27 including a liquid crystal monitor or a CRT. The CPU 21 is connected to a ROM 22, a RAM 23, a hard disk drive (HDD) 24, a mouse and keyboard 25, a network interface 26, and a display 27 via a system bus 28.

したがって、ＣＰＵ２１がＲＯＭ２２やハードディスクドライブ２４等に格納された所要の制御プログラムを読み込み、当該制御プログラムに従った演算を行うことにより、ＰＣ３内の各機能が実現される。尚、このような制御プログラムとしては後述するフローチャートに応じた制御プログラムとすることができる。 Therefore, the CPU 21 reads a required control program stored in the ROM 22, the hard disk drive 24, etc., and performs calculations according to the control program, thereby realizing each function in the PC 3. In addition, as such a control program, it can be set as the control program according to the flowchart mentioned later.

尚、ＰＣ２，４は、ＰＣ３と同様の構成を備えるので、その説明は省略する。ＰＣ１は、ＰＣ３の構成から、マウス及びキーボード２５、並びにディスプレイ２７を除外し、バーコードリーダ又はＲＦＩＤタグリーダを備える構成であるが、マウス及びキーボード２５、並びにディスプレイ２７を備えていてもよい。 Since the PCs 2 and 4 have the same configuration as the PC 3, description thereof is omitted. The PC 1 is configured to exclude the mouse and keyboard 25 and the display 27 from the configuration of the PC 3 and include a bar code reader or an RFID tag reader, but may include the mouse and keyboard 25 and the display 27.

制御部３０１は、制御プログラムに従って各種の処理を実行するＣＰＵ２１に相当する。送受信部３０２は、ネットワークインタフェース２６に相当し、操作部３０３は、マウス及びキーボード２５に相当する。記憶部３０４は、ＲＯＭ２２やＲＡＭ２３、ハードディスクドライブ（ＨＤＤ）２４等に相当し、表示部３０５は、ディスプレイ２７に相当する。 The control unit 301 corresponds to the CPU 21 that executes various processes according to the control program. The transmission / reception unit 302 corresponds to the network interface 26, and the operation unit 303 corresponds to the mouse and keyboard 25. The storage unit 304 corresponds to the ROM 22, RAM 23, hard disk drive (HDD) 24, and the like, and the display unit 305 corresponds to the display 27.

図４は表示部３０５の表示領域３１０に表示されるデータの構造を模式的に示す図である。
ＰＣ３の制御部３０１は、図４に示すように、送受信部３０２及びネットワーク５を介してＰＣ１からビデオカメラ１１で撮影された撮影画像３０を取得し、レイヤーとしての機能を有する実物ビューウィンドウ３１１に当該撮影画像３０の一部を表示する。実物ビューウィンドウ３１１は、そのサイズや位置（表示領域３１０内での位置）を操作部３０３（例えばマウス）の操作により変更することができる。 FIG. 4 is a diagram schematically showing the structure of data displayed in the display area 310 of the display unit 305.
As shown in FIG. 4, the control unit 301 of the PC 3 acquires the captured image 30 captured by the video camera 11 from the PC 1 via the transmission / reception unit 302 and the network 5, and displays it in the real view window 311 having a function as a layer. A part of the captured image 30 is displayed. The real view window 311 can be changed in size and position (position in the display area 310) by operating the operation unit 303 (for example, a mouse).

また、制御部３０１は、実物ビューウィンドウ３１１に表示されている画像の撮影画像３０上における位置及び当該実物ビューウィンドウ３１１に表示されている画像の大きさに関する情報を記憶部３０４に保存する。より具体的には、制御部３０１は、撮影画像３０の座標情報を基準とした、実物ビューウィンドウ３１１に表示されている画像の座標情報及び当該座標情報から求まる画像の大きさの情報を記憶部３０４に保存する。さらに、制御部３０１は、実物ビューウィンドウ３１１に表示されている画像のスケール（縮尺）も変更可能である。 In addition, the control unit 301 stores information on the position of the image displayed in the real view window 311 on the captured image 30 and the size of the image displayed in the real view window 311 in the storage unit 304. More specifically, the control unit 301 stores the coordinate information of the image displayed in the real view window 311 on the basis of the coordinate information of the captured image 30 and the information on the size of the image obtained from the coordinate information. Save to 304. Further, the control unit 301 can change the scale (scale) of the image displayed in the real view window 311.

制御部３０１は、イベント受信用ウィンドウ３５、ストローク描画レイヤー３６、実物ビューウィンドウ３１１及び文書画像レイヤー３７を重ね合わせて、表示部３０５の表示領域３１０に表示されるデータを作成し、表示部３０５に出力する。尚、イベント受信用ウィンドウ３５、ストローク描画レイヤー３６、及び文書画像レイヤー３７は、通常透明に設定されているが、操作部３０３の操作によりレイヤーに色付けをすることも可能である。 The control unit 301 superimposes the event reception window 35, the stroke drawing layer 36, the real view window 311, and the document image layer 37 to create data to be displayed in the display area 310 of the display unit 305, and Output. The event reception window 35, the stroke drawing layer 36, and the document image layer 37 are normally set to be transparent, but the layers can be colored by operating the operation unit 303.

制御部３０１は、操作部３０３を介してアノテーションや文書などを記載するイベントが生じたときに、イベント受信用ウィンドウ３５に当該イベントを入力する。イベント受信用ウィンドウ３５は、当該イベントを受信する。同図において、イベント受信用ウィンドウ３５は、アノテーション画像３８のイベントを受信している。 When an event describing an annotation, a document, or the like occurs via the operation unit 303, the control unit 301 inputs the event into the event reception window 35. The event reception window 35 receives the event. In the figure, an event reception window 35 receives an event of an annotation image 38.

制御部３０１は、操作部３０３を介して実物ビューウィンドウ３１１以外の範囲に記載されたアノテーション画像をストローク描画レイヤー３６に入力する。ストローク描画レイヤー３６は、実物ビューウィンドウ３１１以外の範囲に記載されたアノテーション画像を描画する。同図において、ストローク描画レイヤー３６は、アノテーション画像３８の一部であり、実物ビューウィンドウ３１１以外の範囲に記載されたアノテーション画像３８ａを描画する。 The control unit 301 inputs an annotation image described in a range other than the real view window 311 to the stroke drawing layer 36 via the operation unit 303. The stroke drawing layer 36 draws an annotation image described in a range other than the real view window 311. In the drawing, a stroke drawing layer 36 is a part of the annotation image 38 and draws the annotation image 38 a described in a range other than the real view window 311.

制御部３０１は、操作部３０３を介して実物ビューウィンドウ３１１の範囲に記載されたアノテーション画像を実物ビューウィンドウ３１１に入力する。実物ビューウィンドウ３１１は、実物ビューウィンドウ３１１の範囲に記載されたアノテーション画像を描画すると共に、撮影画像３０の一部を表示する。同図において、実物ビューウィンドウ３１１は、アノテーション画像３８の一部であり、実物ビューウィンドウ３１１の範囲に記載されたアノテーション画像３８ｂを描画する。 The control unit 301 inputs an annotation image described in the range of the real view window 311 to the real view window 311 via the operation unit 303. The real view window 311 draws the annotation image described in the range of the real view window 311 and displays a part of the captured image 30. In the figure, an actual view window 311 is a part of the annotation image 38, and the annotation image 38b described in the range of the actual view window 311 is drawn.

アノテーション画像３８ｂが実物ビューウィンドウ３１１の範囲に記載されると、制御部３０１は、撮影画像３０上におけるアノテーション画像３８ｂの座標情報をＰＣ１に送信する。ＰＣ１は、当該座標情報及び制御コマンドを使ってプロジェクタ１０を制御し、プロジェクタ１０は、対象物１４を含むテーブル１５上にアノテーション画像３８ｂを投影する。尚、ＰＣ１の制御部１０１は、撮影画像３０上におけるアノテーション画像３８ｂの座標情報をプロジェクタ１０の投影領域の座標情報に変換する処理を行い、変換後のアノテーション画像３８ｂの座標情報をプロジェクタ１０に送信する。これは、撮影画像３０上におけるアノテーション画像３８ｂをプロジェクタ１０で正確な位置に投影させるためである。 When the annotation image 38 b is described in the range of the real view window 311, the control unit 301 transmits the coordinate information of the annotation image 38 b on the captured image 30 to the PC 1. The PC 1 controls the projector 10 using the coordinate information and the control command, and the projector 10 projects the annotation image 38 b on the table 15 including the object 14. The control unit 101 of the PC 1 performs processing for converting the coordinate information of the annotation image 38b on the captured image 30 into the coordinate information of the projection area of the projector 10, and transmits the coordinate information of the converted annotation image 38b to the projector 10. To do. This is because the projector 10 projects the annotation image 38b on the photographed image 30 at an accurate position.

尚、ＰＣ３の制御部３０１が、撮影画像３０上におけるアノテーション画像３８ｂの座標情報をプロジェクタ１０の投影領域の座標情報に変換する処理を行い、変換後のアノテーション画像３８ｂの座標情報をＰＣ１を介してプロジェクタ１０に送信するようにしてもよい。 Note that the control unit 301 of the PC 3 performs processing for converting the coordinate information of the annotation image 38b on the captured image 30 into the coordinate information of the projection area of the projector 10, and the coordinate information of the converted annotation image 38b is transmitted via the PC 1. You may make it transmit to the projector 10. FIG.

ビデオカメラ１１は、このアノテーション画像３８ｂが投影された対象物１４を含むテーブル１５の撮影画像をＰＣ１及びネットワーク５を介してＰＣ３の制御部３０１に逐次出力する（例えば、０．５秒毎に出力する）。制御部３０１がこの撮影画像を受信することで、実物ビューウィンドウ３１１にアノテーション画像３８ｂが描画される。 The video camera 11 sequentially outputs the captured image of the table 15 including the object 14 on which the annotation image 38b is projected to the control unit 301 of the PC 3 via the PC 1 and the network 5 (for example, output every 0.5 seconds). To do). When the control unit 301 receives the captured image, the annotation image 38b is drawn in the real view window 311.

制御部３０１は、操作部３０３を介して文書を文書画像レイヤー３７に入力する。文書画像レイヤー３７は、操作部３０３を介して記載された文書を描画する。 The control unit 301 inputs a document to the document image layer 37 via the operation unit 303. The document image layer 37 renders a document described via the operation unit 303.

このように、表示部３０５の表示領域３１０に表示されるデータは、個別にアノテーション画像の範囲を指定可能なレイヤーを複数重ね合わす構造を持つことにより、連続かつ透過的なアノテーションを実現している。 As described above, the data displayed in the display area 310 of the display unit 305 has a structure in which a plurality of layers that can individually specify the range of the annotation image are overlapped, thereby realizing continuous and transparent annotation. .

図５は表示部３０５の表示領域３１０に実際に表示されるデータの例を示す図である。 FIG. 5 is a diagram showing an example of data actually displayed in the display area 310 of the display unit 305.

同図において、文書領域３１２には、複合機の設計図、複合機の操作ボタン等の説明及びアノテーション３８の一部であるアノテーション３８ａが表示されており、実物ビューウィンドウ３１１には、実際にアノテーション３８ｂが投影された複合機の撮影画像が表示されている。 In the same figure, a document area 312 displays a design drawing of the multifunction device, an explanation of operation buttons of the multifunction device, and an annotation 38a which is a part of the annotation 38, and the actual view window 311 actually displays the annotation. A photographed image of the multifunction machine on which 38b is projected is displayed.

図６は、表示部３０５の表示領域３１０に表示されるデータの作成処理を示すフローチャートである。 FIG. 6 is a flowchart showing a process for creating data displayed in the display area 310 of the display unit 305.

まず、ＰＣ３の制御部３０１は、初期化処理を実行する（ステップＳ１）。この初期化処理は、（１）文書画像レイヤー３７を全画面表示する（即ち、文書領域３１２に文書を表示する）、（２）実物ビューウィンドウ３１１を表示する、（３）ストローク描画レイヤー３６を全画面表示する、（４）イベント受信用ウィンドウ３５を全画面表示する、の４つの処理を含む。 First, the control unit 301 of the PC 3 executes an initialization process (step S1). In this initialization process, (1) the document image layer 37 is displayed in full screen (that is, a document is displayed in the document area 312), (2) the real view window 311 is displayed, and (3) the stroke drawing layer 36 is displayed. It includes four processes: (4) displaying the event reception window 35 in full screen.

次に、制御部３０１は、操作部３０３からのイベント（操作）の入力を受け付ける（ステップＳ２）。制御部３０１は、本データの作成処理が開始されると、操作部３０３からの指示や書き込みなどのイベント（操作）の入力を常時受け付ける（ステップＳ３）。 Next, the control unit 301 receives an input of an event (operation) from the operation unit 303 (step S2). When the data creation process is started, the control unit 301 always accepts an input of an event (operation) such as an instruction or writing from the operation unit 303 (step S3).

次いで、制御部３０１は、操作部３０３からのイベント（操作）の入力が終了したか否かを判別する（ステップＳ４）。ステップＳ４でＹＥＳの場合には、本データの作成処理を終了する。一方、ステップＳ４でＮＯの場合には、制御部３０１は、アノテーション画像が実物ビューウィンドウ３１１の範囲内に記載されたか否かを判別する（ステップＳ５）。具体的には、制御部３０１は、実物ビューウィンドウ３１１の４角の座標情報で規定される領域にアノテーション画像の座標情報が含まれる場合に、アノテーション画像が実物ビューウィンドウ３１１の範囲内に記載されたと判別する。 Next, the control unit 301 determines whether or not the input of the event (operation) from the operation unit 303 has ended (step S4). If YES in step S4, the data creation process is terminated. On the other hand, in the case of NO in step S4, the control unit 301 determines whether or not the annotation image is described within the range of the real view window 311 (step S5). Specifically, the control unit 301 describes the annotation image within the range of the real view window 311 when the coordinate information of the annotation image is included in the area defined by the rectangular coordinate information of the real view window 311. It is determined that

ステップＳ５でＮＯの場合には、制御部３０１は、ストローク描画レイヤー３６にアノテーション画像を描画し（ステップＳ６）、ステップＳ２に戻る。これにより、ストローク描画レイヤー３６は、実物ビューウィンドウ３１１以外の範囲に記載されたアノテーション画像を描画する。 If NO in step S5, the control unit 301 draws an annotation image on the stroke drawing layer 36 (step S6), and returns to step S2. Thereby, the stroke drawing layer 36 draws the annotation image described in the range other than the real view window 311.

一方、ステップＳ５でＹＥＳの場合には、制御部３０１は、送受信部３０２を介して、実物ビューウィンドウ３１１の範囲に記載されたアノテーション画像の、撮影画像３０上における座標情報をＰＣ１に送信し（ステップＳ７）、ステップＳ２に戻る。 On the other hand, in the case of YES in step S5, the control unit 301 transmits the coordinate information on the captured image 30 of the annotation image described in the range of the real view window 311 to the PC 1 via the transmission / reception unit 302 ( Step S7) and return to step S2.

続いて、ＰＣ１、プロジェクタ１０、ビデオカメラ１１で実行される処理を説明する。 Next, processing executed by the PC 1, the projector 10, and the video camera 11 will be described.

まず、ＰＣ１の制御部１０１は、初期化処理を実行すると共に入力部１０５により読み取られた対象物１４の識別情報（例えばＩＤ）を記憶部１０４に記憶する（ステップＳ８）。ここでの初期化処理は、プロジェクタ１０及びビデオカメラ１１へ制御コマンドを出力し、プロジェクタ１０の投影及びビデオカメラ１１での撮影画像の出力などがある。尚、ステップＳ８の処理は、ＰＣ３側の処理とは独立して実行される。 First, the control unit 101 of the PC 1 executes an initialization process and stores identification information (for example, ID) of the object 14 read by the input unit 105 in the storage unit 104 (step S8). The initialization process here includes outputting a control command to the projector 10 and the video camera 11, projecting the projector 10, outputting a photographed image by the video camera 11, and the like. Note that the processing in step S8 is executed independently of the processing on the PC 3 side.

次いで、制御部１０１は、ネットワーク５及び送受信部１０２を介してＰＣ３からアノテーション画像の、撮影画像３０上における座標情報の入力を受け付ける（ステップＳ９）。制御部１０１は、本データの作成処理が開始されると、ＰＣ２からの指示や書き込みなどのイベント（操作）の入力も常時受け付ける（ステップＳ１０）。 Next, the control unit 101 receives input of coordinate information on the captured image 30 of the annotation image from the PC 3 via the network 5 and the transmission / reception unit 102 (step S9). When the data creation process is started, the control unit 101 always accepts an input of an event (operation) such as an instruction or writing from the PC 2 (step S10).

次に、制御部１０１は、アノテーション画像の、撮影画像３０上における座標情報の入力が終了したか否かを判別する（ステップＳ１１）。 Next, the control unit 101 determines whether or not the input of the coordinate information of the annotation image on the captured image 30 has been completed (step S11).

ステップＳ１１でＹＥＳの場合には、データの作成処理を終了する。一方、ステップＳ１１でＮＯの場合には、制御部１０１は、当該座標情報をプロジェクタ１０用の座標情報に変換し、当該変換後の座標情報及び制御コマンドを使ってプロジェクタ１０を制御し、プロジェクタ１０は、対象物１４を含むテーブル１５上に当該変換後の座標情報に対応するアノテーション画像を投影する（ステップＳ１２）。ビデオカメラ１１は、このアノテーション画像が投影された対象物１４を含むテーブル１５の撮影画像をＰＣ１、ネットワーク５、及び送受信部３０２を介してＰＣ３の制御部３０１に出力し、制御部１０１は、記憶部１０４に記憶された対象物１４の識別情報をＰＣ３の制御部３０１に出力する（ステップＳ１３）。 If YES in step S11, the data creation process ends. On the other hand, if NO in step S11, the control unit 101 converts the coordinate information into coordinate information for the projector 10, controls the projector 10 using the coordinate information and the control command after the conversion, and the projector 10 Projects an annotation image corresponding to the converted coordinate information on the table 15 including the object 14 (step S12). The video camera 11 outputs the captured image of the table 15 including the object 14 onto which the annotation image is projected to the control unit 301 of the PC 3 via the PC 1, the network 5, and the transmission / reception unit 302. The control unit 101 stores The identification information of the object 14 stored in the unit 104 is output to the control unit 301 of the PC 3 (step S13).

制御部３０１は、この撮影画像を受信し、実物ビューウィンドウ３１１の表示を更新する（ステップＳ１４）。これにより、実物ビューウィンドウ３１１に対象物１４を含むテーブル１５と共にアノテーション画像が表示される。尚、ステップＳ１４の表示の更新は逐次実行される。また、制御部３０１は、ＰＣ１から対象物１４の識別情報を取得し、記憶部３０４に保存する（ステップＳ１５）。 The control unit 301 receives this captured image and updates the display of the real view window 311 (step S14). As a result, the annotation image is displayed together with the table 15 including the object 14 in the real view window 311. The display update in step S14 is sequentially executed. Moreover, the control part 301 acquires the identification information of the target object 14 from PC1, and preserve | saves it in the memory | storage part 304 (step S15).

本実施形態において、制御部３０１は、文書画像レイヤー３７に記載された文書（文字、図形、静止画像を含む）及び実物ビューウィンドウ３１１内の撮影画像の特徴点をそれぞれ抽出し、抽出された特徴点同士のマッチング処理を行い、対応関係を持つ特徴点同士をアノテーション画像で連結するようにしてもよい。この連結されたアノテーション画像のうち、実物ビューウィンドウ３１１以外の範囲に記載されるアノテーション画像の部分は、ストローク描画レイヤー３６に描画され、実物ビューウィンドウ３１１の範囲に記載されるアノテーション画像の部分は、上述した図６のフローチャートに従って、プロジェクタ１０の投影処理及びビデオカメラ１１の撮影処理を介して実物ビューウィンドウ３１１に描画される。 In the present embodiment, the control unit 301 extracts feature points of the document (including characters, graphics, and still images) described in the document image layer 37 and the captured image in the real view window 311, and the extracted features. A matching process between points may be performed, and feature points having a correspondence relationship may be connected with an annotation image. Among the connected annotation images, the portion of the annotation image described in the range other than the real view window 311 is drawn on the stroke drawing layer 36, and the portion of the annotation image described in the range of the real view window 311 is In accordance with the flowchart of FIG. 6 described above, the image is drawn in the real view window 311 through the projection process of the projector 10 and the shooting process of the video camera 11.

これにより、ＰＣ３の表示部３０５を観るユーザは、撮影画像として表示される実際の対象物１４と文書との対応関係を容易に判断することができる。 Thereby, the user who views the display unit 305 of the PC 3 can easily determine the correspondence between the actual object 14 displayed as the captured image and the document.

また、制御部３０１は、ビデオカメラ１１から撮影画像を受信する際に、ＰＣ１からプロジェクタ１０及びビデオカメラ１１の属性情報（プロジェクタ１０の投影位置及び投影範囲の情報、ビデオカメラ１１の撮影位置及び撮影範囲の情報を含む）を受信して記憶部３０４に記憶するようにしてもよい。 The control unit 301 receives attribute information of the projector 10 and the video camera 11 from the PC 1 (information on the projection position and projection range of the projector 10, the shooting position and the shooting of the video camera 11) when receiving a shot image from the video camera 11. May be received and stored in the storage unit 304.

制御部３０１は、表示部３０５の表示領域３１０に表示されるデータを記憶部３０４に保存する際には、記憶部３０４は、アノテーション画像（座標情報を含む）、実物ビューウィンドウ３１１内の撮影画像、及び文書のメイン情報を記憶する他に、実物ビューウィンドウ３１１の属性情報（位置、範囲）、文書の属性情報（該当する文書ＩＤ、ページ番号、文書の表示範囲、文書の表示位置を含む）、対象物の属性情報（対象物の識別情報（ＩＤ））、及びプロジェクタ１０及びビデオカメラ１１の属性情報（プロジェクタ１０の投影位置及び投影範囲の情報、ビデオカメラ１１の撮影位置及び撮影範囲の情報を含む）をメイン情報に関連付けて記憶するようにしてもよい。 When the control unit 301 saves the data displayed in the display area 310 of the display unit 305 in the storage unit 304, the storage unit 304 displays an annotation image (including coordinate information) and a captured image in the real view window 311. In addition to storing the main information of the document, the attribute information (position, range) of the real view window 311 and the attribute information of the document (including the corresponding document ID, page number, document display range, document display position) , Object attribute information (object identification information (ID)), and projector 10 and video camera 11 attribute information (projector 10 projection position and projection range information, video camera 11 shooting position and shooting range information) May be stored in association with the main information.

これにより、制御部３０１は、対象物の識別情報等の属性情報に基づいて表示部３０５の表示領域３１０に表示されるデータの検索を実行することができる。また、制御部３０１は、記憶部３０４に保存された当該データを表示部３０５の表示領域３１０に表示させることができる。 Thereby, the control part 301 can perform the search of the data displayed on the display area 310 of the display part 305 based on attribute information, such as identification information of a target object. Further, the control unit 301 can display the data stored in the storage unit 304 in the display area 310 of the display unit 305.

以上詳細に説明したように、本実施形態によれば、制御部３０１が、操作部３０３を介して、アノテーション画像３８の描画操作をイベント受信用ウィンドウ３５に入力し、ビデオカメラ１１により撮影された、アノテーション画像３８の一部分であるアノテーション画像３８ｂを実物ビューウィンドウ３１１に入力し、アノテーション画像３８のうちアノテーション画像３８ｂを除いたアノテーション画像３８ａをストローク描画レイヤー３６に入力し、文書を文書画像レイヤー３７に入力する。そして、制御部３０１は送受信部３０２を介してアノテーション画像３８ｂをプロジェクタ１０に送信し、プロジェクタ１０によりアノテーション画像３８ｂが投影された投影領域を撮影した撮影画像をビデオカメラ１１から送受信部３０２を介して受信し、表示部３０５は、実物ビューウィンドウ３１１に制御部３０１で受信された撮影画像を割り当て、ストローク描画レイヤー３６におけるアノテーション画像３８ａ及び文書画像レイヤー３７における文書を重ね合わせて表示する。 As described above in detail, according to the present embodiment, the control unit 301 inputs the drawing operation of the annotation image 38 to the event reception window 35 via the operation unit 303 and is captured by the video camera 11. The annotation image 38b, which is a part of the annotation image 38, is input to the real view window 311. The annotation image 38a excluding the annotation image 38b from the annotation image 38 is input to the stroke drawing layer 36, and the document is input to the document image layer 37. input. Then, the control unit 301 transmits the annotation image 38 b to the projector 10 via the transmission / reception unit 302, and the captured image obtained by photographing the projection area where the annotation image 38 b is projected by the projector 10 is transmitted from the video camera 11 via the transmission / reception unit 302. The display unit 305 assigns the captured image received by the control unit 301 to the real view window 311 and displays the annotation image 38a in the stroke drawing layer 36 and the document in the document image layer 37 in a superimposed manner.

このように、表示部３０５では、実物ビューウィンドウ３１１、ストローク描画レイヤー３６、及び文書画像レイヤー３７が重ね合わせて表示されるので、ＰＣ３のユーザは、対象物と文書とを繋ぐアノテーション画像が連続かつ透過的に表示され、対象物と文書との対応関係を容易に認識することができる。また、アノテーション画像３８ｂ及びアノテーション画像３８ａにより連続かつ透過的なアノテーション画像３８を実現することができる。 As described above, since the real view window 311, the stroke drawing layer 36, and the document image layer 37 are superimposed on the display unit 305, the user of the PC 3 can continuously display the annotation images that connect the object and the document. It is displayed transparently and the correspondence between the object and the document can be easily recognized. Further, a continuous and transparent annotation image 38 can be realized by the annotation image 38b and the annotation image 38a.

また、制御部３０１は、送受信部３０２を介して、撮影画像３０上におけるアノテーション画像３８ｂの座標情報をＰＣ１の制御部１０１に送信し、当該制御部１０１は、アノテーション画像３８ｂの座標情報をプロジェクタ１０の投影領域の座標情報に変換し、変換された座標情報をプロジェクタ１０に送信するので、アノテーション画像３８ｂを、対象物１４を含む投影領域に正確な位置で投影することができる。 Further, the control unit 301 transmits the coordinate information of the annotation image 38b on the captured image 30 to the control unit 101 of the PC 1 via the transmission / reception unit 302, and the control unit 101 transmits the coordinate information of the annotation image 38b to the projector 10. Since the converted coordinate information is transmitted to the projector 10, the annotation image 38b can be projected onto the projection area including the object 14 at an accurate position.

さらに、制御部３０１は、文書画像レイヤー３７に描画される文書及び実物ビューウィンドウ３１１に表示される撮影画像の特徴点をそれぞれ抽出し、当該抽出された特徴点同士のマッチング処理を行い、対応関係を持つ特徴点同士をアノテーションで連結するので、ＰＣ３の表示部３０５を観るユーザは、撮影画像として表示される実際の対象物と文書との対応関係を容易に判断することができる。 Further, the control unit 301 extracts the feature points of the document drawn on the document image layer 37 and the captured image displayed on the real view window 311, performs matching processing between the extracted feature points, and Since the feature points having “” are connected by annotation, the user viewing the display unit 305 of the PC 3 can easily determine the correspondence between the actual object displayed as the captured image and the document.

次に、アノテーション画像による対応関係の記憶処理について図７から図１０を参照して詳細に説明する。
図７は対応関係の記憶処理の一例を示すフローチャート、図８は対応関係の記憶処理を説明するための図、図９は対応関係を記憶するテーブルの一例、図１０は分類済アノテーションを記憶するテーブルの一例である。 Next, the correspondence storage process using annotation images will be described in detail with reference to FIGS.
FIG. 7 is a flowchart showing an example of the correspondence storage process, FIG. 8 is a diagram for explaining the correspondence storage process, FIG. 9 is an example of a table for storing the correspondence, and FIG. 10 stores the classified annotation. It is an example of a table.

まず、ユーザは、上述したように表示部３０５上でキーボードやマウス２５等を用いてアノテーション画像３８ａ及びアノテーション画像３８ｂによって形成されるアノテーション画像３８の描画を指示する。 First, as described above, the user instructs the drawing of the annotation image 38 formed by the annotation image 38a and the annotation image 38b using the keyboard, the mouse 25, or the like on the display unit 305.

制御部３０１は、このような指示を受信すると、文書領域３１２と実物ビューウィンドウ３１１とのアノテーション画像３８上の境界点Ｐ０の座標を算出する（ステップＳ２１）。すなわち、この境界点Ｐ０は、撮影画像の内外を区別する境界線と、撮影画像内の注釈画像及び撮影画像外の注釈画像とを対応付ける対応付用注釈画像と、が交差する点となる。この座標の算出は、例えば、表示部３０５の左上隅を基準点Ｏ（０，０）、長手方向をＸ軸、短手方向をＹ軸とした場合における相対位置によって算出できる。本実施形態では、一例として図８に示すように境界点Ｐ０の座標を（２７０，１５０）としている。 Upon receiving such an instruction, the control unit 301 calculates the coordinates of the boundary point P0 on the annotation image 38 between the document area 312 and the real view window 311 (step S21). That is, the boundary point P0 is a point where a boundary line that distinguishes the inside and outside of the captured image intersects with the annotation image for correspondence that associates the annotation image in the captured image and the annotation image outside the captured image. For example, the coordinates can be calculated from the relative position when the upper left corner of the display unit 305 is the reference point O (0, 0), the long direction is the X axis, and the short direction is the Y axis. In the present embodiment, as an example, the coordinates of the boundary point P0 are (270, 150) as shown in FIG.

制御部３０１は、次いで、文書領域３１２に表示されるアノテーション３８ａを細かく線分化（細線化）し、連結成分に分割する（ステップＳ２２）。また、撮影画像３１２に表示されるアノテーション３８ｂも細かく線分化（細線化）し、それぞれが連結された成分（連結成分）に分割する（ステップＳ２３）。アノテーション画像３８ａ，３８ｂの連結成分にはそれぞれを識別するためのラベルをすべてに付すようにしてもよい。これにより、アノテーション３８ａ，３８ｂは、仮想的に破線のようになる。 Next, the control unit 301 finely separates (thinens) the annotation 38a displayed in the document area 312 and divides it into connected components (step S22). Further, the annotation 38b displayed in the photographed image 312 is also finely divided (thinned) and divided into components (connected components) connected to each other (step S23). You may make it attach | subject the label for identifying each to the connection component of annotation image 38a, 38b. As a result, the annotations 38a and 38b virtually appear as broken lines.

制御部３０１は、次いで、境界点Ｐ０から出発してアノテーション３８ａ上の最初の分岐点Ｐ１を算出する（ステップＳ２４）。例えば、図８においては、アノテーション画像３８ａの楕円状の部分と曲線状の部分との接点が分岐点Ｐ１となる。そして、制御部３０１は、アノテーション画像３８ａのうち境界点Ｐ０から分岐点Ｐ１までの間を除いた部分を覆う領域をアノテーション領域Ｒ１を生成して保持する（ステップＳ２５）。 Next, the control unit 301 calculates the first branch point P1 on the annotation 38a starting from the boundary point P0 (step S24). For example, in FIG. 8, the contact point between the elliptical portion and the curved portion of the annotation image 38a is the branch point P1. And the control part 301 produces | generates and hold | maintains annotation area | region R1 the area | region which covers the part except between the boundary point P0 to the branch point P1 among the annotation images 38a (step S25).

制御部３０１は、次いで、境界点Ｐ０から出発してアノテーション３８ｂ上の最初の分岐点Ｐ２を算出する（ステップＳ２６）。例えば、図７においては、アノテーション３８ｂの楕円と曲線との接点が分岐点Ｐ２となる。そして、制御部３０１は、アノテーション３８ｂのうち境界点Ｐ０から分岐点Ｐ２までを除いた部分を覆う領域をアノテーション領域Ｒ２を生成して保持する（ステップＳ２７）。 Next, the control unit 301 calculates the first branch point P2 on the annotation 38b starting from the boundary point P0 (step S26). For example, in FIG. 7, the contact point between the ellipse and the curve of the annotation 38b is the branch point P2. And the control part 301 produces | generates and hold | maintains the area | region which covers the part except the boundary point P0 to the branch point P2 among the annotations 38b (step S27).

したがって、アノテーション３８ａのうちの楕円部分はアノテーション領域Ｒ１に、アノテーション３８ｂのうちの楕円部分はアノテーション領域Ｒ２に覆われる。尚、アノテーション領域Ｒ１，Ｒ２の形状は、それぞれアノテーション３８ａ，３８ｂの楕円部分を覆うことができればよく、例えば円形や、アノテーション３８ａ，３８ｂの楕円部分に外接する図８に示すような矩形等であってもよい。 Therefore, the ellipse portion of the annotation 38a is covered with the annotation region R1, and the ellipse portion of the annotation 38b is covered with the annotation region R2. Note that the shape of the annotation regions R1 and R2 only needs to be able to cover the elliptical portions of the annotations 38a and 38b, respectively. May be.

制御部３０１は、次いで、アノテーション領域Ｒ１，Ｒ２を取り除いたアノテーション画像３８に外接する矩形領域をアノテーション領域Ｒｘを生成して保持する（ステップＳ２８）。これにより、アノテーション領域Ｒ１とアノテーション領域Ｒ２との対応付用のアノテーション領域Ｒｘが保持される。 Next, the control unit 301 generates and holds an annotation region Rx that is a rectangular region circumscribing the annotation image 38 from which the annotation regions R1 and R2 have been removed (step S28). Thereby, the annotation area Rx for associating the annotation area R1 and the annotation area R2 is held.

制御部３０１は、次いで、利用された文書領域３１２、撮影画像等の各種情報を連結情報として記憶装置に記憶する（ステップＳ２９）。文書領域３１２の情報（文書情報群）としては、例えば図９に示すように、文書ファイル名、文書のページ番号、文書の表示範囲、文書領域の縮尺等に関する情報がある。また、撮影画像の情報（撮影情報群）としては、画像ファイル名、表示範囲、画像の縮尺等に関する情報がある。このように、制御部３０１は、文書領域３１２と撮影画像、これらに関連するアノテーション領域Ｒ１，Ｒ２，Ｒｘ等を記憶装置に記憶することで、文書領域３１２上のアノテーション領域Ｒ１と撮影画像上のアノテーション領域Ｒ２との対応関係が、対応関係用アノテーション領域Ｒｘを介して適合し明確になる。 Next, the control unit 301 stores various information such as the used document area 312 and the captured image as connection information in the storage device (step S29). As information (document information group) of the document area 312, for example, as shown in FIG. 9, there is information on a document file name, a document page number, a document display range, a scale of the document area, and the like. Moreover, as information (photographing information group) of the photographed image, there is information on an image file name, a display range, an image scale, and the like. As described above, the control unit 301 stores the document area 312 and the captured image, the annotation areas R1, R2, Rx, and the like related thereto in the storage device, so that the annotation area R1 on the document area 312 and the captured image are displayed on the captured image. The correspondence relationship with the annotation region R2 is matched and clarified through the correspondence annotation region Rx.

制御部３０１は、さらに、アノテーション領域Ｒ１，Ｒ２，Ｒｘに含まれるそれぞれのアノテーション画像について、これらの構成座標をそれぞれ算出し、図１０に示すように、アノテーション領域を構成する座標とともに、連結情報として記憶装置に記憶する（ステップＳ３０）。これにより、アノテーション領域Ｒ１等に含まれる各アノテーションの画像が点の集合としてそれぞれ表される。尚、アノテーション領域を構成する座標は、アノテーション画像３８の構成座標のうち、Ｘ座標、Ｙ座標のそれぞれの最小座標、最大座標の組み合わせで構成することができる。また、マウスポインタによる指示に併せて記憶装置に記憶していくようにしてもよい。さらに、図９及び図１０に示す各種情報は、正規形（Normal Form）により各項目の相関性を低くしてもよく、これにより、各項目の冗長性が減少する。 Further, the control unit 301 calculates these constituent coordinates for each annotation image included in the annotation regions R1, R2, and Rx, and as the connection information, together with the coordinates constituting the annotation region, as shown in FIG. It memorize | stores in a memory | storage device (step S30). Thereby, each annotation image included in the annotation region R1 and the like is represented as a set of points. Note that the coordinates constituting the annotation area can be composed of a combination of the minimum coordinate and the maximum coordinate of the X coordinate and the Y coordinate among the configuration coordinates of the annotation image 38. Further, it may be stored in the storage device together with the instruction by the mouse pointer. Furthermore, the various types of information shown in FIGS. 9 and 10 may reduce the correlation of each item by a normal form, thereby reducing the redundancy of each item.

続いて、文書領域等の表示処理について図１１から図１４を参照して説明する。
図１１は制御部３０１の文書領域表示処理の一例を示すフローチャート、図１２は対応関係を有する文書領域表示の一例、図１３及び図１４は文書領域と撮影画像との対応関係を示す文書領域表示の一例である。 Next, a display process for a document area and the like will be described with reference to FIGS.
FIG. 11 is a flowchart illustrating an example of document area display processing of the control unit 301, FIG. 12 illustrates an example of document area display having a correspondence relationship, and FIGS. 13 and 14 illustrate document area display indicating a correspondence relationship between the document area and a captured image. It is an example.

制御部３０１は、まず、キーボードやマウス等から文書ファイル等の文書領域３１２の開示要求の指示を受信すると（ステップＳ３１）、指示された文書領域３１２を開き、文書領域３１２上で対応関係を有する領域、すなわち、上述したアノテーション領域Ｒ１を表示する（ステップＳ３２）。例えば、上述したアノテーション領域Ｒ１以外のアノテーション領域が文書領域３１２上にある場合には、図１２に示すように、すべてのアノテーション領域（例えばアノテーション領域Ｒ１´，Ｒ１´´）を表示する First, the control unit 301 receives a disclosure request instruction for a document area 312 such as a document file from a keyboard, a mouse, or the like (step S31), opens the instructed document area 312 and has a correspondence relationship on the document area 312. The area, that is, the annotation area R1 described above is displayed (step S32). For example, when an annotation area other than the annotation area R1 described above is on the document area 312, all annotation areas (for example, annotation areas R1 ′, R1 ″) are displayed as shown in FIG.

制御部３０１は、次いで、指示用画像としてのマウスポインタＰｔの表示部２０５内での位置座標を算出する（ステップＳ３３）。そして、制御部３０１は、マウスポインタＰｔの位置座標がアノテーション領域内か否かを判定する（ステップＳ３４）。尚、アノテーション領域に代えて、アノテーション画像で形成される領域を利用するようにしてもよい。 Next, the control unit 301 calculates the position coordinates of the mouse pointer Pt as the instruction image in the display unit 205 (step S33). Then, the control unit 301 determines whether or not the position coordinate of the mouse pointer Pt is within the annotation area (step S34). Instead of the annotation area, an area formed by an annotation image may be used.

制御部３０１は、ここで、マウスポインタＰｔがアノテーション領域内に含まれたと判定した場合には、そのアノテーション領域に対応関係を有する実物ビューウィンドウ３１１を表示する（ステップＳ３５）。 When determining that the mouse pointer Pt is included in the annotation area, the control unit 301 displays a real view window 311 having a correspondence relationship with the annotation area (step S35).

例えば、図１２に示すマウスポインタＰｔの位置座標から図１３に示す位置座標にマウスポインタＰｔが移動した場合には、楕円状のアノテーション画像を有するアノテーション領域Ｒ１に対応する実物ビューウィンドウ３１１を表示し、ステップＳ３３に戻る。また、マウスポインタが図１２に示す位置座標から図１４に示す位置座標にマウスポインタＰｔが移動した場合には、矩形上のアノテーション画像を有するアノテーション領域Ｒ１´に対応する実物ビューウィンドウ３１１を表示する。この際、対応関係を明確にするため、指示されなかったアノテーション領域の表示を停止することが望ましい。 For example, when the mouse pointer Pt is moved from the position coordinate of the mouse pointer Pt shown in FIG. 12 to the position coordinate shown in FIG. 13, an actual view window 311 corresponding to the annotation region R1 having an elliptical annotation image is displayed. Return to step S33. When the mouse pointer Pt is moved from the position coordinates shown in FIG. 12 to the position coordinates shown in FIG. 14, the real view window 311 corresponding to the annotation area R1 ′ having the annotation image on the rectangle is displayed. . At this time, in order to clarify the correspondence, it is desirable to stop the display of the annotation area that has not been instructed.

一方、制御部３０１は、ステップＳ３４の処理において、マウスポインタＰｔの位置座標がアノテーション領域Ｒ１等の範囲内から外れてその範囲内にないと判定した場合には、さらに、表示部２０５内に実物ビューウィンドウ３１１が表示されているか否かを判定する。 On the other hand, if the control unit 301 determines in step S34 that the position coordinate of the mouse pointer Pt is out of the range of the annotation region R1 or the like and is not within the range, the control unit 301 further displays the actual value in the display unit 205. It is determined whether or not the view window 311 is displayed.

制御部３０１は、ここで、実物ビューウィンドウ３１１が表示中であると判定した場合には、その実物ビューウィンドウ３１１の表示を停止し、ステップＳ３３の処理に戻る。この際、実物ビューウィンドウ３１１の表示停止に併せて、再度、アノテーション領域Ｒ１やＲ１´等を表示するようにしてもよい。 If the control unit 301 determines that the real view window 311 is being displayed, the control unit 301 stops displaying the real view window 311 and returns to the process of step S33. At this time, the annotation regions R1 and R1 ′ may be displayed again in conjunction with the stop of the display of the real view window 311.

以上、本発明の好ましい実施形態について詳述したが、本発明に係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。例えば、本発明のプログラムを通信手段により提供することはもちろん、ＣＤ−ＲＯＭ等の記録媒体に格納して提供することも可能である。 The preferred embodiments of the present invention have been described in detail above, but the present invention is not limited to the specific embodiments according to the present invention, and various modifications are possible within the scope of the gist of the present invention described in the claims.・ Change is possible. For example, the program of the present invention can be provided not only by communication means but also stored in a recording medium such as a CD-ROM.

また、上述した実施形態においては、撮影画像の内外を区別する境界線と、撮影画像内の注釈画像及び撮影画像外の注釈画像とを対応付ける対応付用注釈画像と、が交差する境界点を基準に連結情報を形成したが、例えば、図１５に示すように、描画中の対応付用注釈画像が基準点を通過する時刻を基準に連結情報を形成するようにしてもよい。 In the above-described embodiment, the boundary point where the boundary line that distinguishes between the inside and outside of the captured image and the annotation image for correspondence that associates the annotation image in the captured image with the annotation image outside the captured image is used as a reference. For example, as shown in FIG. 15, the connection information may be formed on the basis of the time at which the corresponding annotation image being drawn passes the reference point.

図１５においては、文書領域３１２側で最初のアノテーション画像の書き込み開始から終了までの時間帯を時間帯Ｔ１としている。同図においては、文書領域３１２上にある楕円状のアノテーション画像を描画する際の描画開始時刻から描画終了時刻までが時間帯Ｔ１とし、例えば時間帯Ｔ１は０秒〜２秒と表すことができる。そして、この時間帯に描画されたアノテーション画像を覆う領域をアノテーション領域Ｒ１とできる。 In FIG. 15, the time zone from the start to the end of writing of the first annotation image on the document area 312 side is a time zone T1. In the figure, the time zone T1 is from the drawing start time to the drawing end time when drawing an elliptical annotation image on the document area 312. For example, the time zone T1 can be expressed as 0 second to 2 seconds. . An area covering the annotation image drawn in this time zone can be set as the annotation area R1.

同様に、撮影画像上にある楕円状のアノテーション画像を描画する際の描画開始時刻から描画終了時刻までが時間帯Ｔ２とし、例えば時間帯Ｔ２は４秒〜６秒と表すことができる。そして、この時間帯に描画されたアノテーション画像を覆う領域をアノテーション領域Ｒ２とできる。 Similarly, the time zone T2 is from the drawing start time to the drawing end time when drawing an elliptical annotation image on the photographed image. For example, the time zone T2 can be expressed as 4 to 6 seconds. An area covering the annotation image drawn in this time zone can be set as the annotation area R2.

そして、描画中の対応付用のアノテーション画像が上述した基準点を通過する時刻を基準ｔ０（例えば８秒）とし、対応付用アノテーションを描画する際の描画開始時刻から描画終了時刻までが時間帯Ｔ０とし、例えば時間帯Ｔ０は７秒〜９秒と表すことができる。そして、この時間帯に描画されたアノテーション画像を覆う領域をアノテーション領域Ｒｘとできる。このように、各アノテーション領域が求まることで、アノテーション画像同士の対応付けも可能となる。 The time at which the annotation image for correspondence during drawing passes the reference point described above is set as a reference t0 (for example, 8 seconds), and the time period from the drawing start time to the drawing end time when drawing the annotation for correspondence is a time zone. For example, the time zone T0 can be expressed as 7 to 9 seconds. An area covering the annotation image drawn in this time zone can be set as the annotation area Rx. Thus, by obtaining each annotation area, it is possible to associate annotation images with each other.

また、上述した実施形態では、対応付用のアノテーション画像が撮影画像外のアノテーション画像と撮影画像内のアノテーション画像とを対応付けしているが、対応付けの際中に対応付用のアノテーション画像が断続的となった場合には、最初に断続的となった位置を上述した分岐点Ｐ１又はＰ２としてもよい。これにより、円滑なアノテーション画像の入力が行われなかった場合でも、記憶処理を停止させないで済むようになる。さらに、撮影画像を開いてからその撮像画像領域内のアノテーション画像で形成される領域にマウスポインタが含まれた場合に、対応関係を有する文書領域を開くようにしてもよい。 In the embodiment described above, the annotation image for association associates the annotation image outside the photographed image with the annotation image in the photographed image. When it becomes intermittent, it is good also considering the position which became intermittent first as branch point P1 or P2 mentioned above. Thereby, even when a smooth annotation image is not input, it is not necessary to stop the storage process. Further, when a mouse pointer is included in an area formed by an annotation image in the captured image area after the captured image is opened, a document area having a correspondence relationship may be opened.

本発明によれば、簡易な操作で、遠隔会議等で使用された資料の再現性が確保され、産業上の利用可能性が高い。 According to the present invention, reproducibility of materials used in a remote conference or the like is ensured with a simple operation, and industrial applicability is high.

情報共有支援システムの構成図である。It is a block diagram of an information sharing support system. 各ＰＣの要部構成を示す機能ブロック図である。It is a functional block diagram which shows the principal part structure of each PC. ＰＣのハードウェア構成を示す機能ブロック図である。It is a functional block diagram which shows the hardware constitutions of PC. 表示部の表示領域に表示されるデータの構造を模式的に示す図である。It is a figure which shows typically the structure of the data displayed on the display area of a display part. 表示部の表示領域に実際に表示されるデータの例を示す図である。It is a figure which shows the example of the data actually displayed on the display area of a display part. 表示部の表示領域に表示されるデータの作成処理を示すフローチャートである。It is a flowchart which shows the production process of the data displayed on the display area of a display part. アノテーションの対応関係の記憶処理の一例を示すフローチャートである。It is a flowchart which shows an example of the memory | storage process of the correspondence of an annotation. 対応関係の記憶処理を説明するための図である。It is a figure for demonstrating the memory | storage process of a correspondence. 対応関係を記憶するテーブルの一例である。It is an example of the table which memorize | stores a correspondence. 分類済アノテーションを記憶するテーブルの一例である。It is an example of the table which memorize | stores the classified annotation. 制御部の文書表示処理の一例を示すフローチャートである。It is a flowchart which shows an example of the document display process of a control part. 対応関係を有する文書表示の一例である。It is an example of the document display which has a correspondence. 文書と撮影画像との対応関係を示す文書表示の一例である。It is an example of the document display which shows the correspondence of a document and a picked-up image. 文書と撮影画像との対応関係を示す文書表示の一例である。It is an example of the document display which shows the correspondence of a document and a picked-up image. 対応関係の記憶処理を説明するための他の図である。It is another figure for demonstrating the memory | storage process of a correspondence.

Explanation of symbols

１〜４ＰＣ
５ネットワーク
１０プロジェクタ
１１ビデオカメラ
１２ハーフミラー
１４対象物
１５テーブル
１６ＵＩ
２１ＣＰＵ
２２ＲＡＭ
２３ＲＯＭ
２４ＨＤＤ
２５キーボード及びマウス
２６Ｉ／Ｆ
２７ディスプレイ
３０撮影画像
３５イベント受信用ウィンドウ
３６ストローク描画レイヤー
３７文書画像レイヤー
３８，３８ａ、３８ｂアノテーション
１００情報共有支援システム
１０１，２０１，３０１，４０１制御部
１０２，２０２，３０２，４０２送受信部
１０４，２０４，３０４，４０４記憶部
１５０指示システム
１５１電子情報共有システム
２０３，３０３，４０３操作部
２０５，３０５，４０５表示部
２１０，３１０，４１０表示領域
３１１，４１１実物ビューウィンドウ
３１２，３１２文書領域
Ｒ１，Ｒ２，Ｒｘアノテーション領域
Ｐｔマウスポインタ 1-4 PC
5 Network 10 Projector 11 Video Camera 12 Half Mirror 14 Object 15 Table 16 UI
21 CPU
22 RAM
23 ROM
24 HDD
25 Keyboard and mouse 26 I / F
27 Display 30 Captured Image 35 Event Reception Window 36 Stroke Drawing Layer 37 Document Image Layer 38, 38a, 38b Annotation 100 Information Sharing Support System 101, 201, 301, 401 Control Unit 102, 202, 302, 402 Transmission / Reception Unit 104, 204 , 304, 404 Storage unit 150 Instruction system 151 Electronic information sharing system 203, 303, 403 Operation unit 205, 305, 405 Display unit 210, 310, 410 Display area 311, 411 Real view window 312, 312 Document area R1, R2, Rx Annotation area Pt Mouse pointer

Claims

A photographed image photographed by photographing means for photographing the object can be transmitted to the terminal, and an annotation image representing an annotation according to an instruction based on the photographed image made by the terminal can be projected onto the object by the projecting means. Having control means,
The control means transmits a captured image of the object on which the annotation image is projected to the terminal, and connection information for matching and connecting the annotation image in the captured image and the annotation image outside the captured image. Is generated and stored in a storage means.

The information sharing support system according to claim 1, wherein the control unit stores the connection information together with the instruction.

When the instruction image is included in an area formed by an annotation image outside the captured image, the control means displays a captured image corresponding to the annotation image based on the connection information. The information sharing support system according to claim 1 or 2.

The control means displays a captured image corresponding to the annotation image when the instruction image deviates from a region formed by the annotation image outside the captured image during display of the captured image corresponding to the annotation image. The information sharing support system according to claim 1, wherein the information sharing support system is stopped.

The control unit is configured to connect the boundary line that distinguishes between the inside and outside of the captured image, and the connection point that associates the annotation image in the captured image and the annotation image for correspondence that associates the annotation image outside the captured image with each other as a reference. 5. The information sharing support system according to claim 1, wherein information is formed.

Wherein, Sharing System according to claim 5, wherein for with corresponding annotated images in the drawing and forming the connection information based on the time to pass through the base reference point.

Computer
A photographed image photographed by photographing means for photographing the object can be transmitted to the terminal, and an annotation image representing an annotation according to an instruction based on the photographed image made by the terminal can be projected onto the object by the projecting means. Function as a control means,
The control means transmits a captured image of the object on which the annotation image is projected to the terminal, and connection information for matching and connecting the annotation image in the captured image and the annotation image outside the captured image. Is generated and stored in the storage means.

An imaging means for imaging an object;
Projecting means for projecting an annotation image representing an annotation according to an instruction made based on the photographed image in the photographing area of the photographing means;
The annotation images are sent to the terminus of the captured image of the object projected to generate connection information for connecting adapt the annotation image and the captured image outside the annotation image in the photographed image storage Control means stored in the means;
An information sharing support apparatus comprising: