JP5262888B2 - Document display control device and program - Google Patents
Document display control device and program Download PDFInfo
- Publication number
- JP5262888B2 JP5262888B2 JP2009068714A JP2009068714A JP5262888B2 JP 5262888 B2 JP5262888 B2 JP 5262888B2 JP 2009068714 A JP2009068714 A JP 2009068714A JP 2009068714 A JP2009068714 A JP 2009068714A JP 5262888 B2 JP5262888 B2 JP 5262888B2
- Authority
- JP
- Japan
- Prior art keywords
- electronic document
- image
- captured image
- medium
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 103
- 238000000605 extraction Methods 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 34
- 238000000034 method Methods 0.000 description 23
- 239000013256 coordination polymer Substances 0.000 description 18
- 238000010586 diagram Methods 0.000 description 7
- 239000004973 liquid crystal related substance Substances 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Information Transfer Between Computers (AREA)
Abstract
Description
本発明は、文書表示制御装置、プログラムに関する。 The present invention relates to a document display control device and a program.
ホワイトボードを用いた会議等の振り返りを可能とする技術は知られている（例えば、特許文献１、２参照)。
特許文献１の技術では、ホワイトボード上で行なわれた各操作を経過時間と共に保存し、各操作を、操作に対応する経過時間と１つ前の操作に対応する経過時間との時間差が設定時間より長い場合は、１つ前の操作を再現した時刻から上記設定時間が経過した時点で再現し、そうでない場合は、１つ前の操作を再現した時刻から上記時間差が経過した時点で再現している。
特許文献２の技術では、ホワイトボードをビデオカメラで撮像した撮像画像、その撮像画像に付加する注釈画像の描画コマンド、時刻等を保存し、復元コマンドで時刻等により指定された撮像画像及び描画コマンドから作成した投影画像をプロジェクタに転送してホワイトボードに投影させている。
A technique that enables reflection of a conference using a whiteboard is known (see, for example,
In the technique of
In the technique of
本発明の目的は、媒体が貼られた面の状態を、その媒体に印刷された電子文書が分かるように再現することにある。 An object of the present invention is to reproduce the state of a surface on which a medium is pasted so that an electronic document printed on the medium can be seen.
請求項１に記載の発明は、電子文書が印刷された媒体が貼られた面を撮像することによって得られた撮像画像を取得する取得手段と、前記取得手段により取得された前記撮像画像から、前記媒体が貼られた部分の部分画像を抽出する抽出手段と、前記抽出手段により抽出された前記部分画像に基づいて、前記電子文書を特定する特定手段と、前記取得手段により取得された前記撮像画像を表す画面であって、前記抽出手段により抽出された前記部分画像の位置に、前記特定手段により特定された前記電子文書に関連付けられた表示要素を含む画面の表示を指示する指示手段とを備え、前記取得手段は、媒体が貼られるごとに前記面を撮像することによって得られた複数の撮像画像と、当該複数の撮像画像が得られた複数の時刻をそれぞれ示す複数の時刻情報とを取得し、前記指示手段は、前記取得手段により取得された前記複数の撮像画像をそれぞれ表す複数の画面であって、各画面が、前記取得手段により取得された前記複数の時刻情報のうち当該各画面が表す撮像画像が得られた時刻を示す時刻情報に関連付けられた複数の画面の表示を指示することを特徴とする文書表示制御装置である。
請求項２に記載の発明は、前記指示手段は、前記複数の画面のうち、指定された時刻を示す時刻情報に関連付けられた画面の表示を指示することを特徴とする請求項１に記載の文書表示制御装置である。
請求項３に記載の発明は、電子文書が印刷された媒体が貼られた面を撮像することによって得られた撮像画像を取得する取得手段と、前記取得手段により取得された前記撮像画像から、前記媒体が貼られた部分の部分画像を抽出する抽出手段と、前記抽出手段により抽出された前記部分画像に基づいて、前記電子文書を特定する特定手段と、前記取得手段により取得された前記撮像画像を表す画面であって、前記抽出手段により抽出された前記部分画像の位置に、前記特定手段により特定された前記電子文書に関連付けられた表示要素を含む画面の表示を指示する指示手段とを備え、前記取得手段は、電子文書の画像が投影装置により投影された前記面を撮像することによって得られた撮像画像を取得し、前記抽出手段は、前記投影装置により投影された前記電子文書の画像に基づいて、前記取得手段により取得された前記撮像画像から、当該電子文書の画像が投影された部分の部分画像を抽出することを特徴とする文書表示制御装置である。
請求項４に記載の発明は、電子文書が印刷された媒体が貼られた面を撮像することによって得られた撮像画像を取得する取得手段と、前記取得手段により取得された前記撮像画像から、前記媒体が貼られた部分の部分画像を抽出する抽出手段と、前記抽出手段により抽出された前記部分画像に基づいて、前記電子文書を特定する特定手段と、前記取得手段により取得された前記撮像画像を表す画面であって、前記抽出手段により抽出された前記部分画像の位置に、前記特定手段により特定された前記電子文書に関連付けられた表示要素を含む画面の表示を指示する指示手段とを備え、前記特定手段は、前記部分画像における前記電子文書の文書要素が配置された領域の形状と、前記電子文書における当該電子文書の文書要素が配置された領域の形状とに基づいて、前記電子文書を特定することを特徴とする文書表示制御装置である。
請求項５に記載の発明は、電子文書が印刷された媒体が貼られた面を撮像することによって得られた撮像画像を取得する取得手段と、前記取得手段により取得された前記撮像画像から、前記媒体が貼られた部分の部分画像を抽出する抽出手段と、前記抽出手段により抽出された前記部分画像に基づいて、前記電子文書を特定する特定手段と、前記取得手段により取得された前記撮像画像を表す画面であって、前記抽出手段により抽出された前記部分画像の位置に、前記特定手段により特定された前記電子文書に関連付けられた表示要素を含む画面の表示を指示する指示手段とを備え、前記指示手段は、前記電子文書を参照するための情報が埋め込まれた前記表示要素を含む前記画面の表示を指示することを特徴とする文書表示制御装置である。
請求項６に記載の発明は、コンピュータに、電子文書が印刷された媒体が貼られた面を撮像することによって得られた撮像画像を取得する機能と、前記撮像画像から、前記媒体が貼られた部分の部分画像を抽出する機能と、前記部分画像に基づいて、前記電子文書を特定する機能と、前記撮像画像を表す画面であって、前記部分画像の位置に、前記電子文書に関連付けられた表示要素を含む画面の表示を指示する機能とを実現させ、前記取得する機能は、媒体が貼られるごとに前記面を撮像することによって得られた複数の撮像画像と、当該複数の撮像画像が得られた複数の時刻をそれぞれ示す複数の時刻情報とを取得し、前記指示する機能は、前記取得する機能により取得された前記複数の撮像画像をそれぞれ表す複数の画面であって、各画面が、前記取得手段により取得された前記複数の時刻情報のうち当該各画面が表す撮像画像が得られた時刻を示す時刻情報に関連付けられた複数の画面の表示を指示することを特徴とするプログラムである。
請求項７に記載の発明は、コンピュータに、電子文書が印刷された媒体が貼られた面を撮像することによって得られた撮像画像を取得する機能と、前記撮像画像から、前記媒体が貼られた部分の部分画像を抽出する機能と、前記部分画像に基づいて、前記電子文書を特定する機能と、前記撮像画像を表す画面であって、前記部分画像の位置に、前記電子文書に関連付けられた表示要素を含む画面の表示を指示する機能とを実現させ、前記取得する機能は、電子文書の画像が投影装置により投影された前記面を撮像することによって得られた撮像画像を取得し、前記抽出する機能は、前記投影装置により投影された前記電子文書の画像に基づいて、前記撮像画像から、当該電子文書の画像が投影された部分の部分画像を抽出することを特徴とするプログラムである。
請求項８に記載の発明は、コンピュータに、電子文書が印刷された媒体が貼られた面を撮像することによって得られた撮像画像を取得する機能と、前記撮像画像から、前記媒体が貼られた部分の部分画像を抽出する機能と、前記部分画像に基づいて、前記電子文書を特定する機能と、前記撮像画像を表す画面であって、前記部分画像の位置に、前記電子文書に関連付けられた表示要素を含む画面の表示を指示する機能とを実現させ、前記指示する機能は、前記電子文書を参照するための情報が埋め込まれた前記表示要素を含む前記画面の表示を指示することを特徴とするプログラムである。
The invention according to
Invention according to
The invention according to
The invention according to
The invention according to
According to a sixth aspect of the present invention, the computer has a function of acquiring a captured image obtained by imaging a surface on which a medium on which an electronic document is printed is pasted on a computer, and the medium is pasted from the captured image. A function of extracting a partial image of a part, a function of specifying the electronic document based on the partial image, and a screen representing the captured image, the position of the partial image being associated with the electronic document And a function for instructing display of a screen including the display element, and the function to be acquired includes a plurality of captured images obtained by capturing the surface each time a medium is attached, and the plurality of captured images. And a plurality of time information respectively indicating a plurality of times obtained, and the instruction function is a plurality of screens each representing the plurality of captured images acquired by the acquiring function, Face, characterized in that it instructs display of a plurality of screens captured image in which the respective screen is represented associated with time information indicating a time obtained among the plurality of time information acquired by the acquisition unit It is a program.
According to a seventh aspect of the present invention, the medium is affixed to a computer from a function of acquiring a captured image obtained by imaging a surface on which a medium on which an electronic document is printed is affixed to the computer. A function of extracting a partial image of a part, a function of specifying the electronic document based on the partial image, and a screen representing the captured image, the position of the partial image being associated with the electronic document A function of instructing display of a screen including the display element, and the function of acquiring acquires a captured image obtained by capturing the surface on which the image of the electronic document is projected by a projection device, The extracting function is characterized in that, based on the image of the electronic document projected by the projection device, a partial image of a portion on which the image of the electronic document is projected is extracted from the captured image. Is a program.
According to an eighth aspect of the present invention, the computer has a function of acquiring a captured image obtained by capturing an image of a surface on which a medium on which an electronic document is printed is pasted on a computer, and the medium is pasted from the captured image. A function of extracting a partial image of a part, a function of specifying the electronic document based on the partial image, and a screen representing the captured image, the position of the partial image being associated with the electronic document A function of instructing display of a screen including the displayed element, and the function of instructing instructs to display the screen including the display element in which information for referring to the electronic document is embedded. It is a featured program.
請求項１の発明によれば、媒体が貼られた面の状態を、その状態が保たれていた時刻が分かるように再現することができる。
請求項２の発明によれば、媒体が貼られた面の指定された時刻における状態を再現することができる。
請求項３の発明によれば、本構成を有していない場合に比較して、画像が投影された面の状態をその画像の元となる電子文書が分かるように再現する処理を、効率よく行うことができる。
請求項４の発明によれば、媒体が貼られた面を撮像できる程度に離れた距離から面を撮像した場合であっても、その媒体に印刷された電子文書を特定することができる。
請求項５の発明によれば、媒体が貼られた面の状態を再現する画面を複雑化させることなく、その媒体に印刷された電子文書を参照させることができる。
請求項６の発明によれば、媒体が貼られた面の状態を、その状態が保たれていた時刻が分かるように再現することができる。
請求項７の発明によれば、本構成を有していない場合に比較して、画像が投影された面の状態をその画像の元となる電子文書が分かるように再現する処理を、効率よく行うことができる。
請求項８の発明によれば、媒体が貼られた面の状態を再現する画面を複雑化させることなく、その媒体に印刷された電子文書を参照させることができる。
According to the first aspect of the present invention, the state of the surface on which the medium is affixed can be reproduced so that the time when the state is maintained can be recognized.
According to invention of
According to the invention of
According to the fourth aspect of the present invention, even when the surface is imaged from a distance far enough to capture the surface on which the medium is pasted, the electronic document printed on the medium can be specified.
According to the invention of
According to the invention of
According to the seventh aspect of the present invention, compared with the case where the present configuration is not provided, the process of reproducing the state of the surface on which the image is projected so that the electronic document which is the original of the image can be understood is efficiently performed. It can be carried out.
According to the invention of claim 8, it is possible to refer to the electronic document printed on the medium without complicating the screen for reproducing the state of the surface on which the medium is pasted.
以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
まず、本発明の実施の形態の適用が想定される場面について説明する。
例えば、壁面に画像を投影したり紙文書を貼り付けたりして会議を行うことがある。このような会議環境において、会議の内容を記録するための方法としては、壁面を撮影して写真で残す方法がある。
しかしながら、画像を投影したり紙文書を貼り付けたりした壁面を撮影した場合、投影された画像、貼られた紙文書、壁面の全てが１つの画像に収まった写真が得られるに過ぎない。
従って、会議終了後、自席に戻って会議に関連する作業を行おうとしても限界がある。即ち、壁面に貼ってあった紙文書の任意のページの閲覧や編集を行いたい場合、壁面全体が写った写真から目的の文書の部分を目視で確認してファイル名や格納場所を推測し、取得しなければならない。しかも、それが目的の文書のファイルであるという保証はない。
そこで、本実施の形態では、壁面に画像を投影したり紙文書を貼り付けたりして会議を行う場合に、投影された画像や紙文書に対応する電子文書を確実に特定し、自席のＰＣ（Personal Computer）等でこの電子文書を扱えるようにする。
Embodiments of the present invention will be described below in detail with reference to the accompanying drawings.
First, the scene where application of the embodiment of the present invention is assumed will be described.
For example, a meeting may be held by projecting an image on a wall or pasting a paper document. In such a conference environment, as a method for recording the content of the conference, there is a method of photographing a wall surface and leaving it with a photograph.
However, when a wall surface on which an image is projected or a paper document is pasted is photographed, only a photograph in which the projected image, the pasted paper document, and the wall surface are all contained in one image is obtained.
Therefore, there is a limit even if it is attempted to return to his / her seat and perform work related to the conference after the conference. In other words, if you want to view or edit any page of a paper document that has been pasted on the wall, you can visually inspect the part of the target document from the photo showing the entire wall and guess the file name and storage location. Must get. Moreover, there is no guarantee that it is the target document file.
Therefore, in the present embodiment, when a meeting is performed by projecting an image on a wall surface or pasting a paper document, an electronic document corresponding to the projected image or paper document is reliably identified, and the personal computer (Personal Computer) etc. can handle this electronic document.
まず、本実施の形態におけるコンピュータシステムの全体構成について説明する。
図１は、本実施の形態のコンピュータシステムの構成例を示したものである。
図示するように、このコンピュータシステムは、端末装置１０と、画像形成装置２０と、文書サーバ３０と、投影撮像装置４０と、端末装置５０とがネットワーク８０に接続されることにより構成されている。
First, the overall configuration of the computer system in the present embodiment will be described.
FIG. 1 shows a configuration example of a computer system according to the present embodiment.
As shown in the figure, this computer system is configured by connecting a
端末装置１０は、文書サーバ３０に格納された電子文書の印刷を画像形成装置２０に指示するコンピュータ装置である。ここで、端末装置１０としては、例えば、パーソナルコンピュータやワークステーション、その他のコンピュータを用いるとよい。
画像形成装置２０は、媒体に画像を印刷し、印刷文書として出力する装置である。この画像形成装置２０は、単体のプリンタや印刷機であってもよいし、他にスキャナや通信の機能を備えた所謂複合機であってもよい。ここで、画像形成装置２０における画像形成方式としては、例えば、電子写真方式を用いるとよいが、その他の方式を用いてもよい。
文書サーバ３０は、電子文書を記憶し管理するコンピュータ装置である。また、本実施の形態では、壁面に貼り付けられた媒体に印刷された電子文書や壁面に投影された画像の元となる電子文書を端末装置５０に表示するための制御を行う。即ち、文書表示制御装置の一例として、文書サーバ３０を設けている。ここで、文書サーバ３０としては、例えば、パーソナルコンピュータやワークステーション、その他のコンピュータを用いるとよい。
The
The
The
投影撮像装置４０は、画像を壁面に投影するプロジェクタ機能と、被写体を撮像するカメラ機能とを兼ね備えた装置である。プロジェクタ機能の部分は、投影装置の一例であり、カメラ機能の部分は、撮像装置の一例である。この装置において、プロジェクタ機能による画像の投影先は、壁面だけでなく、ホワイトボード、電子黒板、壁面に模造紙等を貼り付けた面等であってもよい。また、プロジェクタ機能による画像の投影先がカメラ機能で撮像される被写体となるので、この被写体も、壁面、ホワイトボード、電子黒板、壁面に模造紙等を貼り付けた面等であってよい。ここで、ホワイトボードとは、専用マーカで文字や図等を書くのに用いる白い板で、書かれた文字や図等を電子化する機能を備えていないものをいい、電子黒板とは、ホワイトボードと同様の白い板で、書かれた文字や図等を電子化する機能を備えたものをいうものとする。尚、ここでは、プロジェクタ機能とカメラ機能とを兼ね備えた投影撮像装置４０を用いるが、互いに別体の投影装置と撮像装置とを用いるようにしてもよい。
端末装置５０は、投影撮像装置４０によって撮像された壁面の画像に基づいて生成された画面を表示するコンピュータ装置である。ここで、端末装置５０としては、例えば、パーソナルコンピュータやワークステーション、その他のコンピュータを用いるとよい。
The
The
尚、本明細書では、媒体に記録する画像の元となる電子データを「電子文書」と表記するが、これは、テキストを含む「文書」を電子化したデータのみを意味するものではない。例えば、絵、写真、図形等の画像データ（ラスタデータかベクターデータかによらない）、データベース管理ソフトウェアや表計算ソフトウェアで記録されるデータ、その他の印刷可能な電子データも含めて「電子文書」としている。
また、本明細書において、「媒体」は、画像を印刷可能な媒体であれば、その材質は問わない。代表例は紙であるが、ＯＨＰシートや金属板等であっても構わない。
In this specification, electronic data that is the basis of an image to be recorded on a medium is referred to as “electronic document”. However, this does not mean only data obtained by digitizing a “document” including text. For example, "electronic document" including image data such as pictures, photos, figures (regardless of raster data or vector data), data recorded by database management software or spreadsheet software, and other printable electronic data It is said.
In the present specification, the “medium” may be any material as long as it can print an image. A typical example is paper, but an OHP sheet or a metal plate may be used.
次に、このようなコンピュータシステムを構成する装置のうち、本実施の形態において特に中心となって動作する投影撮像装置４０及び文書サーバ３０の構成について説明する。尚、以下では、投影撮像装置４０による画像の投影先及び被写体はホワイトボードであるものとして説明する。
図２は、投影撮像装置４０について示した図である。
まず、（ａ）には、投影撮像装置４０の外観について示している。
図示するように、投影撮像装置４０は、プロジェクタとカメラとを一体化した装置であり、プロジェクタに相当する投影部４６と、カメラに相当する撮像部４７とを備える。
Next, among the devices constituting such a computer system, the configurations of the
FIG. 2 is a diagram illustrating the
First, (a) shows the appearance of the
As illustrated, the
また、（ｂ）には、投影撮像装置４０の機能構成例を示す。
図示するように、投影撮像装置４０は、制御部４１と、メモリ４２と、操作部４３と、液晶モニタ４４と、通信インターフェイス（Ｉ／Ｆ）４５とを備える。また、上述したように、投影部４６と、撮像部４７とを備える。
Further, (b) shows a functional configuration example of the
As illustrated, the
制御部４１は、制御プログラムに基づいて、プロジェクタ機能及びカメラ機能における各種動作を制御する。尚、制御プログラムは、ＲＯＭ（図示せず）に記憶されている。
メモリ４２は、制御部４１が処理するデータを記憶する不揮発性のメモリである。本実施の形態では、特に、ホワイトボードに対する媒体の貼り付け、画像の投影、手書き等によりホワイトボード上の画像が変化した場合に撮像した画像（撮像画像）とその撮像が行われた時刻（撮像時刻）とを対応付けた情報（以下、「撮像情報」という）を記憶する。
操作部４３は、操作されたボタン等に対応する操作信号を制御部４１へ送出する。
液晶モニタ４４は、制御部４１からの指示により画像やテキスト等を表示する。
通信Ｉ／Ｆ４５は、制御部４１からの指示によりネットワーク８０（図１参照）を介して文書サーバ３０との間でデータを送受信する。
The
The
The
The liquid crystal monitor 44 displays an image, text or the like according to an instruction from the
The communication I /
投影部４６は、投影制御回路４６０と、ＬＥＤ光源４６１と、液晶パネル４６２と、投影光学系４６３とを含む。投影制御回路４６０は、制御部４１からの指示によりＬＥＤ光源４６１及び液晶パネル４６２へ制御信号を送出する。ＬＥＤ光源４６１は、供給電流に応じた明るさで液晶パネル４６２を照明する。液晶パネル４６２は、変調素子を構成し、投影制御回路４６０からの駆動信号に応じて光像を生成する（照明光を変調する）。投影光学系４６３は、液晶パネル４６２から射出される変調光を投影する。
The
撮像部４７は、撮像制御回路４７０と、撮像光学系４７１と、撮像素子４７２とを含む。撮像制御回路４７０は、制御部４１からの指示により撮像素子４７２を駆動制御すると共に、撮像素子４７２から出力される画像信号に対して信号処理を行う。信号処理後の画像は、画像ファイルとしてメモリ４２に記憶される。撮像光学系４７１は、撮像素子４７２の撮像面上に被写体像を結像させる。撮像素子４７２としては、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子等が用いられる。
The
図３は、文書サーバ３０の機能構成例を示した図である。
図示するように、文書サーバ３０は、受信部３１と、撮像情報記憶部３２と、差分情報生成部３３と、差分情報記憶部３４と、文書検索部３５と、表示情報記憶部３６と、送信部３９とを備える。
FIG. 3 is a diagram illustrating a functional configuration example of the
As illustrated, the
受信部３１は、投影撮像装置４０のメモリ４２に記憶された撮像情報を任意の時点で受信する。本実施の形態では、撮像画像を取得する取得手段の一例として、受信部３１を設けている。
撮像情報記憶部３２は、受信部３１が受信した撮像情報を記憶する。
差分情報生成部３３は、撮像情報記憶部３２に記憶された撮像情報を対象として、後の撮像情報から前の撮像情報を差し引く処理を行うことにより、前の撮像画像に対して追加された画像（差分画像）と前の画像の記録時刻からの経過時間（差分時間）とを含む差分情報を生成する。本実施の形態では、部分画像の一例として、差分画像を用いており、部分画像を抽出する抽出手段の一例として、差分情報生成部３３を設けている。
差分情報記憶部３４は、差分情報生成部３３が生成した差分情報を記憶する。
The receiving
The imaging
The difference
The difference
文書検索部３５は、差分情報に含まれる差分画像の元となる電子文書を検索する。本実施の形態では、電子文書を特定する特定手段の一例として、文書検索部３５を設けている。
表示情報記憶部３６は、文書検索部３５が検索した電子文書に対応するオブジェクトを、撮像画像における差分画像の位置等を反映させた状態で表示するための表示情報を記憶する。
送信部３９は、表示情報記憶部３６に記憶された表示情報を読み出して端末装置５０に送信する。本実施の形態では、画面の表示を指示する指示手段の一例として、送信部３９を設けている。
The
The display
The
次いで、本実施の形態の動作について説明する。
本実施の形態では、電子文書が印刷された媒体をホワイトボードに貼り付けるが、このような媒体への電子文書の印刷時の動作について説明する。
まず、端末装置１０は、印刷対象の電子文書を指定して、電子文書の印刷命令を画像形成装置２０に送信する。これにより、画像形成装置２０は、印刷命令に基づいて、電子文書の画像を媒体に印刷する。このとき、本実施の形態では、端末装置１０が、画像形成装置２０における印刷イメージを表す電子文書を作成し、この電子文書を文書サーバ３０の貼り付け文書用フォルダにアップロードしておくものとする。
また、本実施の形態では、電子文書の画像をホワイトボードに投影するが、このような投影対象の電子文書も、予め文書サーバ３０の投影文書用フォルダにアップロードしておくものとする。
Next, the operation of the present embodiment will be described.
In this embodiment, a medium on which an electronic document is printed is pasted on a whiteboard. An operation at the time of printing an electronic document on such a medium will be described.
First, the
In this embodiment, an image of an electronic document is projected onto a whiteboard. Such an electronic document to be projected is also uploaded to a projected document folder in the
ここで、本実施の形態の動作の説明で用いるホワイトボードへの媒体の貼り付け、画像の投影、手書きの具体例について説明する。
図４は、このような具体例を時間順に示した図である。尚、（ａ）〜（ｅ）の各図では、外枠で囲まれた矩形が、ホワイトボードを示しており、ホワイトボード内の細い実線の枠で囲まれた矩形が、貼り付けられた媒体を示しており、ホワイトボード内の太い実線の枠で囲まれた矩形が、画像が投影された範囲を示しており、ホワイトボード内の枠を構成しない太い実線が、手書きの軌跡を示している。
Here, a specific example of pasting a medium on a whiteboard, projecting an image, and handwriting used in the description of the operation of the present embodiment will be described.
FIG. 4 is a diagram showing such a specific example in time order. In each of the drawings (a) to (e), a rectangle surrounded by an outer frame indicates a whiteboard, and a rectangle surrounded by a thin solid line frame in the whiteboard is a pasted medium. A rectangle surrounded by a thick solid line frame in the whiteboard indicates the range where the image is projected, and a thick solid line that does not constitute a frame in the whiteboard indicates a handwritten locus .
（ａ）では、ホワイトボードに媒体Ａが貼り付けられている。
（ｂ）では、ホワイトボードに画像が投影されている。
（ｃ）では、ホワイトボードに媒体Ｂが貼り付けられている。
（ｄ）では、ホワイトボード上の媒体Ａに重ねて媒体Ｃが貼り付けられている。
（ｅ）では、ホワイトボード上の媒体Ｂから媒体Ｃにかけて手書きが行われている。
尚、この例において、媒体Ａ，Ｂ，Ｃには、上述したように、電子文書が印刷され、これらの電子文書は文書サーバ３０の貼り付け文書用フォルダに格納されているものとする。また、投影される画像は、上述したように、電子文書の画像であり、この電子文書は文書サーバ３０の投影文書用フォルダに格納されているものとする。
In (a), medium A is affixed to the whiteboard.
In (b), an image is projected on the whiteboard.
In (c), medium B is affixed to the whiteboard.
In (d), medium C is pasted over medium A on the whiteboard.
In (e), handwriting is performed from medium B to medium C on the whiteboard.
In this example, it is assumed that the electronic documents are printed on the media A, B, and C and stored in the pasted document folder of the
まず、本実施の形態における投影撮像装置４０の動作について説明する。
図５は、投影撮像装置４０の動作例を示したフローチャートである。
投影撮像装置４０では、まず、制御部４１が、撮像情報のインデックスを示す変数Ｎに「０」を代入する（ステップ４０１）。次に、撮像部４７を制御してホワイトボードの初期状態を撮像する（ステップ４０２）。そして、撮像時刻をＴ（０）として、撮像画像をＰ（０）としてメモリ４２にそれぞれ記録する（ステップ４０３）。
First, the operation of the
FIG. 5 is a flowchart showing an operation example of the
In the
その後、制御部４１は、終了指示があるまで、ホワイトボードを撮像して変化があれば記録する、という処理を繰り返す。
即ち、まず、制御部４１は、撮像間隔として予め定められた時間Ｔ１が経過しているかどうかを判定し（ステップ４０４）、時間Ｔ１が経過していなければ、ステップ４０４の判定を繰り返し、時間Ｔ１が経過していれば、終了指示があったかどうかを判定する（ステップ４０５）。
ここで、終了指示がなければ、撮像部４７を制御してホワイトボードの現在の状態を撮像する（ステップ４０６）。そして、直近に記録した撮像画像と、今回の撮像で得られた撮像画像とを比較し、変化があったかどうかを判定する（ステップ４０７）。
Thereafter, the
That is, first, the
If there is no end instruction, the
その結果、変化がなければ、ステップ４０４に進む。
一方、変化があったとしても、ホワイトボードに媒体が貼り付けられたり画像が投影されたり手書きが行われたりしたことによる変化だけとは限らない。例えば、ホワイトボードの前にいる発表者等の動きが撮像画像の変化として認識される場合もある。そこで、制御部４１は、ステップ４０７で認識された変化がホワイトボード上のものかどうかを判定する（ステップ４０８）。具体的には、撮像部４７のフォーカスがホワイトボードに合うように設定しておき、変化があった部分のシャープネスを解析することで、判定するとよい。つまり、シャープネスがある程度高い場合に、ホワイトボード上の変化であると判定し、シャープネスがそれよりも低い場合に、ホワイトボード上の変化ではないと判定する。
As a result, if there is no change, the process proceeds to step 404.
On the other hand, even if there is a change, it is not necessarily the change due to the medium being pasted on the whiteboard, the image being projected, or the handwriting being performed. For example, the movement of a presenter or the like in front of the whiteboard may be recognized as a change in the captured image. Therefore, the
そして、変化がホワイトボード上のものでなければ、ステップ４０４に進む。
また、変化がホワイトボード上のものであれば、制御部４１は、撮像画像の記録に先立って必要な画像処理を行う。即ち、ホワイトボードの前に発表者等がいれば、その発表者等の画像を除去する（ステップ４０９）。そして、除去した部分は、例えば、ホワイトボード上のその部分を含む撮像画像のうち、最新に記録されたものを用いて補う（ステップ４１０）。その後、変数Ｎに「１」を加算し（ステップ４１１）、ステップ４０３に戻って、撮像時刻Ｔ（Ｎ）、撮像画像Ｐ（Ｎ）を記録する。
このような処理を終了指示があるまで続け、ステップ４０５で終了指示があったと判定されると、処理を終了する。
If the change is not on the whiteboard, go to step 404.
If the change is on the whiteboard, the
Such a process is continued until an end instruction is issued, and if it is determined in step 405 that an end instruction has been issued, the process ends.
図６は、図４（ａ）〜（ｅ）のような操作がホワイトボードに対して行われた場合に、図５の動作によって記録される撮像情報の例を示したものである。
撮像時刻Ｔ（Ｎ）は、撮像画像Ｐ（Ｎ）が実際に記録された時刻である。
また、撮像画像Ｐ（Ｎ）としては、媒体の貼り付けについては、１枚の媒体の貼り付けを１回の変化と捉え、媒体が貼られるごとに１つの撮像画像Ｐ（Ｎ）を記録している（Ｎ＝１，３，４の場合）。また、画像の投影については、１回の投影又はその投影先の移動を１回の変化と捉え、投影が行われるごと又は投影先が変化するごとに１つの撮像画像Ｐ（Ｎ）を記録している（Ｎ＝２の場合）。一方で、手書きについては、その開始から終了までにある程度の時間を要し、その時間は撮像間隔Ｔ１の何倍かに達することがある。従って、ここでは、手書きを複数回の変化として捉え、個々の変化ごとに撮像画像Ｐ（Ｎ）を記録している（Ｎ＝５〜７）。
FIG. 6 shows an example of imaging information recorded by the operation of FIG. 5 when the operations shown in FIGS. 4A to 4E are performed on the whiteboard.
The imaging time T (N) is the time when the captured image P (N) was actually recorded.
As for the captured image P (N), regarding the pasting of the medium, the pasting of one medium is regarded as one change, and one captured image P (N) is recorded every time the medium is pasted. (N = 1, 3, 4). Further, regarding the projection of an image, one projection or movement of the projection destination is regarded as one change, and one captured image P (N) is recorded every time the projection is performed or the projection destination is changed. (N = 2). On the other hand, handwriting requires a certain amount of time from the start to the end, and this time may reach several times the imaging interval T1. Therefore, here, handwriting is regarded as a plurality of changes, and the captured image P (N) is recorded for each change (N = 5 to 7).
尚、媒体の貼り付けや画像の投影についても、１枚の媒体の貼り付けや１回の画像の投影に対して複数の撮像画像Ｐ（Ｎ）が記録されることはある。例えば、媒体を貼り付ける際に、その媒体の一部が発表者等によって隠されている場合である。この場合は、発表者等の動きに応じて、隠されている部分が徐々に現れてくることもあるので、その都度変化として認識し、撮像画像Ｐ（Ｎ）として記録することになる。 As for the pasting of the medium and the projection of the image, a plurality of captured images P (N) may be recorded for the pasting of one medium and the projection of one image. For example, when a medium is pasted, a part of the medium is hidden by a presenter or the like. In this case, the hidden portion may gradually appear according to the movement of the presenter or the like, so that it is recognized as a change each time and is recorded as the captured image P (N).
以上のようにして記録された撮像情報は、任意のタイミングで文書サーバ３０に送られる。例えば、撮像情報の記録が終了してから予め定められた時間が経過すると送られるようにしてもよいし、撮像情報の記録が終了した後に外部から明示的な指示があると送られるようにしてもよい。
The imaging information recorded as described above is sent to the
次に、本実施の形態における文書サーバ３０の動作について説明する。
まず、文書サーバ３０では、受信部３１が、このようにして送られてきた撮像情報を受信し、撮像情報記憶部３２に記憶する。
その後、差分情報生成部３３が、撮像情報記憶部３２に記憶された撮像情報に基づいて、差分情報を生成する。
図７は、差分情報生成部３３の動作例を示したフローチャートである。
まず、差分情報生成部３３は、図５で用いた変数Ｎに「０」を代入すると共に、ホワイトボードに対する１つの意味ある操作の回数をカウントするための変数Ｍに「０」を代入する（ステップ３０１）。ここで、１つの意味ある操作とは、例えば、１枚の媒体を貼り付ける操作、１回の投影を行う操作、１つの連続する手書きを行う操作等を意味する。そして、撮像時刻Ｔ（０）、撮像画像Ｐ（０）を撮像情報記憶部３２から読み込む（ステップ３０２）。
Next, the operation of the
First, in the
Thereafter, the difference
FIG. 7 is a flowchart showing an operation example of the difference
First, the difference
次に、差分情報生成部３３は、撮像時刻Ｔ（Ｎ）及び撮像画像Ｐ（Ｎ）がある限り、撮像時刻Ｔ（Ｎ）及び撮像画像Ｐ（Ｎ）に基づいて差分情報を生成する、という処理を行う。
即ち、まず、差分情報生成部３３は、変数Ｎに「１」を加算し（ステップ３０３）、撮像時刻Ｔ（Ｎ）と撮像画像Ｐ（Ｎ）との対応があるかどうかを判定する（ステップ３０４）。
Next, the difference
That is, first, the difference
ここで、撮像時刻Ｔ（Ｎ）と撮像画像Ｐ（Ｎ）との対応があれば、撮像時刻Ｔ（Ｎ）、撮像画像Ｐ（Ｎ）を撮像情報記憶部３２から読み込む（ステップ３０５）。そして、今回の撮像時刻Ｔ（Ｎ）から１つ前の撮像時刻Ｔ（Ｎ−１）を減ずることにより、第１差分時刻ＤＴ（Ｎ）を求め、差分情報記憶部３４に記憶する（ステップ３０６）。また、今回の撮像画像Ｐ（Ｎ）から１つ前の撮像画像Ｐ（Ｎ−１）を差し引く画像処理を行うことにより、第１差分画像ＤＰ（Ｎ）を求め、差分情報記憶部３４に記憶する（ステップ３０７）。ここで、第１差分時刻及び第１差分画像は、ホワイトボードに対する操作が１つの意味ある操作であるかどうかを考慮せず、今回の撮像情報から単純に１つ前の撮像情報を差し引いて得られた情報である。
If there is a correspondence between the imaging time T (N) and the captured image P (N), the imaging time T (N) and the captured image P (N) are read from the imaging information storage unit 32 (step 305). Then, by subtracting the previous imaging time T (N−1) from the current imaging time T (N), the first difference time DT (N) is obtained and stored in the difference information storage unit 34 (step 306). ). Further, by performing image processing for subtracting the previous captured image P (N−1) from the current captured image P (N), the first differential image DP (N) is obtained and stored in the differential
次に、差分情報生成部３３は、第１差分時刻ＤＴ（Ｎ）が、ホワイトボードに対する意味のある操作を区別するための時間間隔として予め定められた時間Ｔ２を超えているかどうかを判定する（ステップ３０８）。ここで、時間Ｔ２としては、一般的には、図５で用いた撮像間隔Ｔ１よりも大きな値が設定される。
その結果、時間Ｔ２を超えていれば、まず、変数Ｍに「１」を加算する（ステップ３０９）。そして、今回の意味ある操作までの時間である第２差分時刻ＣＴ（Ｍ）に、前回の意味ある操作までの時間である第２差分時刻ＣＴ（Ｍ−１）を代入し（ステップ３１０）、第２差分画像ＣＰ（Ｍ）を初期化する（ステップ３１１）。
一方、時間Ｔ２を超えていなければ、変数Ｍ、第２差分時刻ＣＴ（Ｍ）、第２差分画像ＣＰ（Ｍ）はそのままにしておく。
Next, the difference
As a result, if the time T2 is exceeded, first, “1” is added to the variable M (step 309). Then, the second differential time CT (M−1) that is the time to the previous meaningful operation is substituted into the second differential time CT (M) that is the time to the current meaningful operation (step 310). The second difference image CP (M) is initialized (step 311).
On the other hand, if the time T2 is not exceeded, the variable M, the second difference time CT (M), and the second difference image CP (M) are left as they are.
その後、差分情報生成部３３は、操作の開始から今回の意味ある操作の終了までの時間である第２差分時刻ＣＴ（Ｍ）を、ステップ３０６で求めた第１差分時刻ＤＴ（Ｎ）を順次足し込んでいくことにより求め、差分情報記憶部３４に記憶する（ステップ３１２）。尚、今回の操作が、１つの意味ある操作の途中の操作である場合、第２差分時刻ＣＴ（Ｍ）は、この時点ではまだ、意味ある操作の終了までの時間を表すものとはなっていない。しかしながら、変数Ｍを「１」ずつ加算しながら計算を繰り返すことにより、最終的には、第２差分時刻ＣＴ（Ｍ）は、意味ある操作の終了までの時間を表すものとなる。
また、差分情報生成部３３は、今回の意味ある操作の画像である第２差分画像ＣＰ（Ｍ）を、ステップ３０７で求めた第１差分画像ＤＰ（Ｎ）を順次足し込んでいくことにより求め、差分情報記憶部３４に記憶する（ステップ３１３）。尚、今回の操作が、１つの意味ある操作の途中の操作である場合、第２差分画像ＣＰ（Ｍ）は、この時点ではまだ、意味ある操作全体の画像を表すものとはなっていない。しかしながら、変数Ｍを「１」ずつ加算しながら計算を繰り返すことにより、最終的には、第２差分画像ＣＰ（Ｍ）は、意味ある操作全体の画像を表すものとなる。
このような処理を撮像時刻Ｔ（Ｎ）と撮像画像Ｐ（Ｎ）との対応がなくなるまで続け、ステップ３０４で撮像時刻Ｔ（Ｎ）と撮像画像Ｐ（Ｎ）との対応がないと判定されると、処理を終了する。
Thereafter, the difference
Further, the difference
Such processing is continued until the correspondence between the imaging time T (N) and the captured image P (N) is lost, and it is determined in step 304 that there is no correspondence between the imaging time T (N) and the captured image P (N). Then, the process ends.
図８は、図６のような撮像情報を受信した場合に、図７の動作によって差分情報記憶部３４に記録される差分情報の例を示したものである。
第１差分時刻ＤＴ（Ｎ）は、（Ｎ−１）回目の撮像画像の記録からＮ回目の撮像画像の記録までの時間である。
第１差分画像ＤＰ（Ｎ）は、（Ｎ−１）回目の撮像画像の記録からＮ回目の撮像画像の記録までに追加された画像である。ここで、ホワイトボードの枠については、点線で示している。これは、第１差分画像ＤＰ（Ｎ）が、追加された画像の内容のみを管理するものではなく、撮像画像全体における位置の情報や、撮像画像全体に対するサイズの情報も管理していることを意味する。また、例えば、媒体が傾いた状態で貼り付けられた場合には、角度の情報も管理する。
FIG. 8 shows an example of difference information recorded in the difference
The first difference time DT (N) is the time from the recording of the (N−1) th captured image to the recording of the Nth captured image.
The first difference image DP (N) is an image added from the (N−1) th captured image recording to the Nth captured image recording. Here, the whiteboard frame is indicated by a dotted line. This is because the first difference image DP (N) does not manage only the content of the added image, but also manages the position information in the entire captured image and the size information for the entire captured image. means. Further, for example, when the medium is attached in a tilted state, information on the angle is also managed.
また、第２差分時刻ＣＴ（Ｍ）は、ホワイトボードの初期状態の撮像画像の記録から、ホワイトボードに対するＭ回目の意味ある操作の撮像画像の記録までの時間である。
第２差分画像ＣＰ（Ｍ）は、ホワイトボードに対する（Ｍ−１）回目の意味ある操作の撮像画像の記録から、ホワイトボードに対するＭ回目の意味ある操作の撮像画像の記録までに追加された画像である。つまり、ホワイトボードに対するＭ回目の意味ある操作を表す画像である。
尚、図では、このような処理によって複数の第１差分画像を１つの意味ある操作を表す第２差分画像にまとめる例として、手書きの場合を示した（Ｎ＝５〜７）。しかしながら、上述したように、媒体の貼り付けや画像の投影についても、１枚の媒体の貼り付けや１回の画像の投影に対して複数の撮像画像が記録されることはあるので、このような場合に、複数の第１差分画像を１つの意味ある操作を表す第２差分画像にまとめるようにしてもよい。
The second differential time CT (M) is the time from recording of the captured image in the initial state of the whiteboard to recording of the captured image of the Mth meaningful operation on the whiteboard.
The second difference image CP (M) is an image added from the recording of the captured image of the (M-1) th meaningful operation to the whiteboard to the recording of the captured image of the Mth meaningful operation to the whiteboard. It is. That is, the image represents an M-th meaningful operation on the whiteboard.
In the drawing, as an example of combining a plurality of first difference images into a second difference image representing one meaningful operation by such processing, the case of handwriting is shown (N = 5 to 7). However, as described above, a plurality of picked-up images may be recorded for the pasting of one medium and the projection of a single image for the pasting of a medium and the projection of an image. In such a case, the plurality of first difference images may be combined into a second difference image representing one meaningful operation.
次いで、文書検索部３５が、差分情報記憶部３４に記憶された差分情報に基づいて、表示情報を生成する。
図９は、文書検索部３５の動作例を示したフローチャートである。
まず、文書検索部３５は、図７で用いた変数Ｍに「０」を代入し（ステップ３２１）、画面オブジェクトＶ（０）を初期化する（ステップ３２２）。ここで、画面オブジェクトＶ（Ｍ）は、Ｍ回目の意味ある操作が行われた時点のホワイトボードの状態を表す画面オブジェクトであり、Ｍ＝０の場合、ホワイトボードの初期状態を表す画面オブジェクトである。
Next, the
FIG. 9 is a flowchart illustrating an operation example of the
First, the
次に、文書検索部３５は、第２差分時刻ＣＴ（Ｍ）及び第２差分画像ＣＰ（Ｍ）がある限り、第２差分時刻ＣＴ（Ｍ）及び第２差分画像ＣＰ（Ｍ）に基づいて表示情報を生成する、という処理を行う。
即ち、まず、文書検索部３５は、変数Ｍに「１」を加算し（ステップ３２３）、第２差分時刻ＣＴ（Ｍ）と第２差分画像ＣＰ（Ｍ）との対応があるかどうかを判定する（ステップ３２４）。
Next, as long as there is the second difference time CT (M) and the second difference image CP (M), the
That is, first, the
ここで、第２差分時刻ＣＴ（Ｍ）と第２差分画像ＣＰ（Ｍ）との対応があれば、第２差分時刻ＣＴ（Ｍ）、第２差分画像ＣＰ（Ｍ）を差分情報記憶部３４から読み込む（ステップ３２５）。そして、ホワイトボードに対する操作の開始時刻であるＴ（０）に、ホワイトボードに対する操作の開始時刻からＭ回目の意味ある操作までの時間である第２差分時刻ＣＴ（Ｍ）を加算することにより、Ｍ回目の意味ある操作が行われた操作時刻ＶＴ（Ｍ）を求め、表示情報記憶部３６に記憶する（ステップ３２６）。また、Ｍ回目の意味ある操作を表す画像である第２差分画像ＣＰ（Ｍ）をオブジェクト化することにより、表示要素の一例である要素オブジェクトＶＯ（Ｍ）を生成し、表示情報記憶部３６に記憶する（ステップ３２７）。
Here, if there is a correspondence between the second difference time CT (M) and the second difference image CP (M), the second difference time CT (M) and the second difference image CP (M) are stored in the difference
その後、文書検索部３５は、要素オブジェクトＶＯ（Ｍ）の形状が矩形であるかどうかを判定する（ステップ３２８）。これは、ホワイトボードに貼り付けられる媒体、投影された画像の形状が一般に矩形だからであるが、矩形以外の形状が想定される場合には、このステップ３２８の判定条件は柔軟に変更してよい。
その結果、要素オブジェクトＶＯ（Ｍ）の形状が矩形でなければ、要素オブジェクトＶＯ（Ｍ）は手書きを表すオブジェクトであって、電子文書との関連付けは必要ないので、そのままステップ３３４へ進む。
Thereafter, the
As a result, if the shape of the element object VO (M) is not rectangular, the element object VO (M) is an object representing handwriting and does not need to be associated with the electronic document.
一方、要素オブジェクトＶＯ（Ｍ）の形状が矩形であれば、要素オブジェクトＶＯ（Ｍ）に対応する電子文書を特定する処理を行う。
即ち、まず、文書検索部３５は、要素オブジェクトＶＯ（Ｍ）をその１つの頂点を左上点として正立させることにより、画像を生成する（ステップ３２９）。そして、特定のフォルダに格納された電子文書の中から、この画像と縦横比が類似し、かつ、レイアウトが類似する電子文書を検索する（ステップ３３０）。
On the other hand, if the shape of the element object VO (M) is a rectangle, the electronic document corresponding to the element object VO (M) is specified.
That is, first, the
ここで、受信部３１が、投影撮像装置４０から投影した時刻及びその時刻に投影した画像を入手しておけば、差分情報生成部３３が、この入手した時刻と第２差分時刻ＣＴ（Ｍ）から得られる操作時刻とを比較すると共に、この入手した画像と第２差分画像ＣＰ（Ｍ）とを比較することにより、第２差分画像ＣＰ（Ｍ）が投影撮像装置４０によって投影された画像かどうかを推測することができる。つまり、２つの時刻がある程度近く、２つの画像がある程度類似するものであれば、第２差分画像ＣＰ（Ｍ）は、投影された画像であると推測できる。一方、投影された画像であると推測できなかった第２差分画像ＣＰ（Ｍ）は、貼り付けられた媒体を表すものと考えることができる。従って、文書検索部３５は、差分情報生成部３３からこのような推測結果を受け、ステップ３３０において、要素オブジェクトＶＯ（Ｍ）が投影された画像を表すものと考えられる場合は、投影文書用フォルダに格納された電子文書を対象に検索すればよく、要素オブジェクトＶＯ（Ｍ）が貼り付けられた媒体の画像を表すものと考えられる場合は、貼り付け文書用フォルダに格納された電子文書を対象に検索すればよい。
Here, if the receiving
また、ステップ３３０でのレイアウトが類似する電子文書の検索は、具体的には、ステップ３２９で生成した画像における電子文書の文書要素（文字、数字、記号、図形、絵等の文書を構成する要素）が配置された領域の形状と、電子文書における文書要素が配置された領域の形状とを比較することにより行うとよい。或いは、文書要素の形状だけでなく、文書要素の色を考慮してもよい。 In addition, the retrieval of electronic documents having similar layouts in step 330 is specifically performed by document elements (characters, numerals, symbols, figures, pictures, etc. constituting the document) of the electronic document in the image generated in step 329. ) Is preferably compared with the shape of the area where the document element is placed in the electronic document. Alternatively, not only the shape of the document element but also the color of the document element may be considered.
次に、文書検索部３５は、電子文書の検索が成功したかどうかを判定する（ステップ３３１）。
ここで、電子文書の検索が成功した場合には、検索した電子文書へのリンクを要素オブジェクトＶＯ（Ｍ）に埋め込み（ステップ３３２）、ステップ３３４へ進む。
一方、電子文書の検索が成功しなかった場合は、他に頂点があるかどうかを判定する（ステップ３３３）。そして、他に頂点があれば、その頂点に着目して、ステップ３２９〜３３３の処理を繰り返す。また、他に頂点がなければ、そのままステップ３３４へ進む。
そして、最後に、文書検索部３５は、（Ｍ−１）回目の意味ある操作が行われた時点のホワイトボードの状態を表す画面オブジェクトＶ（Ｍ−１）に、Ｍ回目の意味ある操作を表す要素オブジェクトＶＯ（Ｍ）を追加することにより、Ｍ回目の意味ある操作が行われた時点のホワイトボードの状態を表す画面オブジェクトＶ（Ｍ）を求め、表示情報記憶部３６に記憶する（ステップ３３４）。
このような処理を第２差分時刻ＣＴ（Ｍ）と第２差分画像ＣＰ（Ｍ）との対応がなくなるまで続け、ステップ３２４で第２差分時刻ＣＴ（Ｍ）と第２差分画像ＣＰ（Ｍ）との対応がないと判定されると、処理を終了する。
Next, the
If the electronic document search is successful, a link to the searched electronic document is embedded in the element object VO (M) (step 332), and the process proceeds to step 334.
On the other hand, if the electronic document search is not successful, it is determined whether there is another vertex (step 333). If there are other vertices, paying attention to the vertices, the processing of steps 329 to 333 is repeated. If there is no other vertex, the process proceeds to step 334 as it is.
Finally, the
Such processing is continued until the correspondence between the second difference time CT (M) and the second difference image CP (M) is lost, and in step 324, the second difference time CT (M) and the second difference image CP (M). If it is determined that there is no correspondence with, the process is terminated.
図１０は、図８のような差分情報が記憶されていた場合に、図９の動作によって表示情報記憶部３６に記録される表示情報の例を示したものである。
ＶＴ（Ｍ）は、ホワイトボードに対する１つの意味のある操作が行われた操作時刻である。
ＶＯ（Ｍ）は、ホワイトボードに対する１つの意味のある操作で追加された画像を表す要素オブジェクトである。例えば、貼り付けられた媒体を表す要素オブジェクト（Ｍ＝１，３，４の場合）や、投影された画像を表す要素オブジェクト（Ｍ＝２の場合）や、手書きを表す要素オブジェクト（Ｍ＝５の場合）がある。このうち、貼り付けられた媒体を表す要素オブジェクトには媒体に印刷された電子文書へのリンクが埋め込まれ、投影された電子文書の画像を表す要素オブジェクトには、この電子文書へのリンクが埋め込まれる。図では、リンクが埋め込まれていることを網掛けで表している。そして、ここでも、ホワイトボードの枠については、点線で示している。これは、要素オブジェクトＶＯ（Ｍ）が、ホワイトボードに対する操作のみに対応するオブジェクトであるので、ホワイトボード全体を表す画面オブジェクトにおける位置の情報や、画面オブジェクトに対するサイズの情報も管理していることを意味する。また、例えば、媒体が傾いた状態で貼り付けられた場合には、角度の情報も管理する。そこで、これらの位置、サイズ、角度の情報を用いて、ホワイトボードを表す画面オブジェクトに時間順に要素オブジェクトＶＯ（Ｍ）を追加していくことにより、画面オブジェクトＶ（Ｍ）が生成される。
FIG. 10 shows an example of display information recorded in the display
VT (M) is an operation time when one meaningful operation is performed on the whiteboard.
VO (M) is an element object representing an image added by one meaningful operation on the whiteboard. For example, an element object representing a pasted medium (when M = 1, 3, 4), an element object representing a projected image (when M = 2), an element object representing handwriting (M = 5) In the case of). Among these, a link to the electronic document printed on the medium is embedded in the element object representing the pasted medium, and a link to this electronic document is embedded in the element object representing the image of the projected electronic document. It is. In the figure, the fact that the link is embedded is indicated by shading. Again, the whiteboard frame is indicated by a dotted line. This is because the element object VO (M) is an object corresponding only to an operation on the whiteboard, so that the position information on the screen object representing the entire whiteboard and the size information on the screen object are also managed. means. Further, for example, when the medium is attached in a tilted state, information on the angle is also managed. Therefore, the screen object V (M) is generated by adding the element objects VO (M) in time order to the screen object representing the whiteboard using the information on the position, size, and angle.
そして、最後に、文書サーバ３０では、送信部３９が、表示情報記憶部３６に記憶された画面オブジェクトＶ（Ｍ）を読み出して、端末装置５０に送信する。これにより、端末装置５０には、画面オブジェクトが表示される。
図１１は、端末装置５０に表示される画面オブジェクトの例を示したものである。
ここでは、図１０におけるＶ（５）に基づく画面オブジェクトの例を示している。即ち、要素オブジェクト５１、５２、５３は、それぞれ、図４の媒体Ａ，Ｂ，Ｃを表す要素オブジェクトであり、要素オブジェクト５４は、投影された画像を表す要素オブジェクトである。
ここで、各要素オブジェクトには、上述したように、電子文書へのリンクが埋め込まれている。従って、例えば、要素オブジェクト５４をクリックすると、エディタ５５が起動され、投影された画像の元となる電子文書の編集等が可能になる。
尚、この例では、電子文書へのリンク（電子文書を参照するための情報）を要素オブジェクトに埋め込むようにしたが、電子文書の画像を要素オブジェクトに重畳して表示するようにしてもよい。
Finally, in the
FIG. 11 shows an example of a screen object displayed on the
Here, an example of a screen object based on V (5) in FIG. 10 is shown. That is, the element objects 51, 52, and 53 are element objects that represent the media A, B, and C in FIG. 4, respectively, and the
Here, as described above, a link to the electronic document is embedded in each element object. Therefore, for example, when the
In this example, the link to the electronic document (information for referring to the electronic document) is embedded in the element object, but the image of the electronic document may be displayed superimposed on the element object.
また、図１１に示した画面オブジェクトは、各画面オブジェクトの元となる操作が行われた操作時刻に関連付けられる。そして、端末装置５０は、操作時刻が指定されると、その操作時刻に関連付けられた画面オブジェクトを表示する。或いは、ホワイトボードに対する操作の開始から操作の終了まで、画面オブジェクトを時間順に表示するようにしてもよい。
以上により、本実施の形態の動作の説明を終了する。
Further, the screen object shown in FIG. 11 is associated with the operation time when the operation that is the basis of each screen object is performed. Then, when the operation time is designated, the
This is the end of the description of the operation of the present embodiment.
尚、本実施の形態では、媒体に印刷された電子文書や投影された画像の元となる電子文書を、電子文書のレイアウトに基づいて特定したが、これには限らない。例えば、電子文書が印刷された媒体や投影される電子文書に対して電子文書を識別する情報を埋め込んでおき、この情報に基づいて電子文書を特定するようにしてもよい。但し、この場合の埋め込む情報は、撮像画像から誤りなく取り出せる程度の大きさとすることが好ましい。 In the present embodiment, the electronic document printed on the medium or the electronic document that is the basis of the projected image is specified based on the layout of the electronic document. However, the present invention is not limited to this. For example, information for identifying an electronic document may be embedded in a medium on which the electronic document is printed or an electronic document to be projected, and the electronic document may be specified based on this information. However, the information to be embedded in this case is preferably large enough to be extracted from the captured image without error.
ところで、本実施の形態では、電子文書を保持する文書サーバ３０が、撮像情報の取得、差分情報の生成、電子文書の特定、画面の表示の指示等の処理を行うようにしたが、これらの処理は如何なる装置で行ってもよい。例えば、投影撮像装置４０や端末装置５０で行ってもよいし、これ以外の電子文書を保持しないコンピュータで行ってもよい。
そこで、これらの処理をコンピュータ９０で行うものとして、コンピュータ９０のハードウェア構成について説明する。
By the way, in the present embodiment, the
Therefore, the hardware configuration of the computer 90 will be described assuming that these processes are performed by the computer 90.
図１２は、コンピュータ９０のハードウェア構成を示した図である。
図示するように、コンピュータ９０は、演算手段であるＣＰＵ（Central Processing Unit）９１と、記憶手段であるメインメモリ９２及び磁気ディスク装置（ＨＤＤ：Hard Disk Drive）９３とを備える。ここで、ＣＰＵ９１は、ＯＳ（Operating System）やアプリケーション等の各種ソフトウェアを実行し、上述した各機能を実現する。また、メインメモリ９２は、各種ソフトウェアやその実行に用いるデータ等を記憶する記憶領域であり、磁気ディスク装置９３は、各種ソフトウェアに対する入力データや各種ソフトウェアからの出力データ等を記憶する記憶領域である。
更に、コンピュータ９０は、外部との通信を行うための通信Ｉ／Ｆ９４と、ビデオメモリやディスプレイ等からなる表示機構９５と、キーボードやマウス等の入力デバイス９６とを備える。
FIG. 12 is a diagram illustrating a hardware configuration of the computer 90.
As shown in the figure, the computer 90 includes a CPU (Central Processing Unit) 91 as a calculation means, a
Further, the computer 90 includes a communication I /
尚、本実施の形態を実現するプログラムは、通信手段により提供することはもちろん、ＣＤ−ＲＯＭ等の記録媒体に格納して提供することも可能である。 The program for realizing the present embodiment can be provided not only by communication means but also by storing it in a recording medium such as a CD-ROM.
１０，５０…端末装置、２０…画像形成装置、３０…文書サーバ、４０…投影撮像装置、８０…ネットワーク
DESCRIPTION OF
Claims (8)
前記取得手段により取得された前記撮像画像から、前記媒体が貼られた部分の部分画像を抽出する抽出手段と、
前記抽出手段により抽出された前記部分画像に基づいて、前記電子文書を特定する特定手段と、
前記取得手段により取得された前記撮像画像を表す画面であって、前記抽出手段により抽出された前記部分画像の位置に、前記特定手段により特定された前記電子文書に関連付けられた表示要素を含む画面の表示を指示する指示手段と
を備え、
前記取得手段は、媒体が貼られるごとに前記面を撮像することによって得られた複数の撮像画像と、当該複数の撮像画像が得られた複数の時刻をそれぞれ示す複数の時刻情報とを取得し、
前記指示手段は、前記取得手段により取得された前記複数の撮像画像をそれぞれ表す複数の画面であって、各画面が、前記取得手段により取得された前記複数の時刻情報のうち当該各画面が表す撮像画像が得られた時刻を示す時刻情報に関連付けられた複数の画面の表示を指示することを特徴とする文書表示制御装置。 An acquisition means for acquiring a captured image obtained by imaging a surface on which a medium on which an electronic document is printed is pasted;
Extraction means for extracting a partial image of a part to which the medium is pasted from the captured image acquired by the acquisition means;
Specifying means for specifying the electronic document based on the partial image extracted by the extracting means;
A screen that represents the captured image acquired by the acquisition unit, and includes a display element associated with the electronic document specified by the specifying unit at the position of the partial image extracted by the extraction unit. Instruction means for instructing the display of
With
The acquisition unit acquires a plurality of captured images obtained by capturing the surface each time a medium is attached, and a plurality of time information respectively indicating a plurality of times when the plurality of captured images are obtained. ,
The instruction means is a plurality of screens respectively representing the plurality of captured images acquired by the acquisition means, and each screen represents each of the plurality of time information acquired by the acquisition means. A document display control apparatus that instructs display of a plurality of screens associated with time information indicating a time when a captured image is obtained.
前記取得手段により取得された前記撮像画像から、前記媒体が貼られた部分の部分画像を抽出する抽出手段と、
前記抽出手段により抽出された前記部分画像に基づいて、前記電子文書を特定する特定手段と、
前記取得手段により取得された前記撮像画像を表す画面であって、前記抽出手段により抽出された前記部分画像の位置に、前記特定手段により特定された前記電子文書に関連付けられた表示要素を含む画面の表示を指示する指示手段と
を備え、
前記取得手段は、電子文書の画像が投影装置により投影された前記面を撮像することによって得られた撮像画像を取得し、
前記抽出手段は、前記投影装置により投影された前記電子文書の画像に基づいて、前記取得手段により取得された前記撮像画像から、当該電子文書の画像が投影された部分の部分画像を抽出することを特徴とする文書表示制御装置。 An acquisition means for acquiring a captured image obtained by imaging a surface on which a medium on which an electronic document is printed is pasted;
Extraction means for extracting a partial image of a part to which the medium is pasted from the captured image acquired by the acquisition means;
Specifying means for specifying the electronic document based on the partial image extracted by the extracting means;
A screen that represents the captured image acquired by the acquisition unit, and includes a display element associated with the electronic document specified by the specifying unit at the position of the partial image extracted by the extraction unit. Instruction means for instructing the display of
With
The acquisition unit acquires a captured image obtained by capturing the surface on which an image of an electronic document is projected by a projection device;
The extraction means based on the image of the projected the electronic document by the projection device, from the captured image acquired by the acquisition unit, an image of the electronic document to extract a partial image of the projected portion A document display control device .
前記取得手段により取得された前記撮像画像から、前記媒体が貼られた部分の部分画像を抽出する抽出手段と、
前記抽出手段により抽出された前記部分画像に基づいて、前記電子文書を特定する特定手段と、
前記取得手段により取得された前記撮像画像を表す画面であって、前記抽出手段により抽出された前記部分画像の位置に、前記特定手段により特定された前記電子文書に関連付けられた表示要素を含む画面の表示を指示する指示手段と
を備え、
前記特定手段は、前記部分画像における前記電子文書の文書要素が配置された領域の形状と、前記電子文書における当該電子文書の文書要素が配置された領域の形状とに基づいて、前記電子文書を特定することを特徴とする文書表示制御装置。 An acquisition means for acquiring a captured image obtained by imaging a surface on which a medium on which an electronic document is printed is pasted;
Extraction means for extracting a partial image of a part to which the medium is pasted from the captured image acquired by the acquisition means;
Specifying means for specifying the electronic document based on the partial image extracted by the extracting means;
A screen that represents the captured image acquired by the acquisition unit, and includes a display element associated with the electronic document specified by the specifying unit at the position of the partial image extracted by the extraction unit. Instruction means for instructing the display of
With
The specifying unit is configured to determine the electronic document based on a shape of a region in which the document element of the electronic document is arranged in the partial image and a shape of a region in which the document element of the electronic document is arranged in the electronic document. A document display control device characterized by specifying.
前記取得手段により取得された前記撮像画像から、前記媒体が貼られた部分の部分画像を抽出する抽出手段と、
前記抽出手段により抽出された前記部分画像に基づいて、前記電子文書を特定する特定手段と、
前記取得手段により取得された前記撮像画像を表す画面であって、前記抽出手段により抽出された前記部分画像の位置に、前記特定手段により特定された前記電子文書に関連付けられた表示要素を含む画面の表示を指示する指示手段と
を備え、
前記指示手段は、前記電子文書を参照するための情報が埋め込まれた前記表示要素を含む前記画面の表示を指示することを特徴とする文書表示制御装置。 An acquisition means for acquiring a captured image obtained by imaging a surface on which a medium on which an electronic document is printed is pasted;
Extraction means for extracting a partial image of a part to which the medium is pasted from the captured image acquired by the acquisition means;
Specifying means for specifying the electronic document based on the partial image extracted by the extracting means;
A screen that represents the captured image acquired by the acquisition unit, and includes a display element associated with the electronic document specified by the specifying unit at the position of the partial image extracted by the extraction unit. Instruction means for instructing the display of
With
The document display control apparatus , wherein the instruction unit instructs display of the screen including the display element in which information for referring to the electronic document is embedded.
電子文書が印刷された媒体が貼られた面を撮像することによって得られた撮像画像を取得する機能と、
前記撮像画像から、前記媒体が貼られた部分の部分画像を抽出する機能と、
前記部分画像に基づいて、前記電子文書を特定する機能と、
前記撮像画像を表す画面であって、前記部分画像の位置に、前記電子文書に関連付けられた表示要素を含む画面の表示を指示する機能と
を実現させ、
前記取得する機能は、媒体が貼られるごとに前記面を撮像することによって得られた複数の撮像画像と、当該複数の撮像画像が得られた複数の時刻をそれぞれ示す複数の時刻情報とを取得し、
前記指示する機能は、前記取得する機能により取得された前記複数の撮像画像をそれぞれ表す複数の画面であって、各画面が、前記取得手段により取得された前記複数の時刻情報のうち当該各画面が表す撮像画像が得られた時刻を示す時刻情報に関連付けられた複数の画面の表示を指示することを特徴とするプログラム。 On the computer,
A function of acquiring a captured image obtained by imaging a surface on which a medium on which an electronic document is printed is pasted;
A function of extracting a partial image of a portion to which the medium is pasted from the captured image;
A function of identifying the electronic document based on the partial image;
Realizing a function of instructing display of a screen including a display element associated with the electronic document at a position of the partial image, the screen representing the captured image ;
The acquiring function acquires a plurality of captured images obtained by capturing the surface each time a medium is attached, and a plurality of time information respectively indicating a plurality of times when the plurality of captured images are obtained. And
The instructing function is a plurality of screens respectively representing the plurality of captured images acquired by the acquiring function, and each screen is the screen of the plurality of time information acquired by the acquiring unit. A program for instructing display of a plurality of screens associated with time information indicating a time when a captured image represented by is obtained .
電子文書が印刷された媒体が貼られた面を撮像することによって得られた撮像画像を取得する機能と、A function of acquiring a captured image obtained by imaging a surface on which a medium on which an electronic document is printed is pasted;
前記撮像画像から、前記媒体が貼られた部分の部分画像を抽出する機能と、A function of extracting a partial image of a portion to which the medium is pasted from the captured image;
前記部分画像に基づいて、前記電子文書を特定する機能と、A function of identifying the electronic document based on the partial image;
前記撮像画像を表す画面であって、前記部分画像の位置に、前記電子文書に関連付けられた表示要素を含む画面の表示を指示する機能とA function of instructing display of a screen including the display element associated with the electronic document at the position of the partial image, the screen representing the captured image;
を実現させ、Realized,
前記取得する機能は、電子文書の画像が投影装置により投影された前記面を撮像することによって得られた撮像画像を取得し、The acquiring function acquires a captured image obtained by capturing the surface on which an image of an electronic document is projected by a projection device;
前記抽出する機能は、前記投影装置により投影された前記電子文書の画像に基づいて、前記撮像画像から、当該電子文書の画像が投影された部分の部分画像を抽出することを特徴とするプログラム。The program for extracting extracts a partial image of a portion onto which an image of the electronic document is projected from the captured image based on the image of the electronic document projected by the projection device.
電子文書が印刷された媒体が貼られた面を撮像することによって得られた撮像画像を取得する機能と、A function of acquiring a captured image obtained by imaging a surface on which a medium on which an electronic document is printed is pasted;
前記撮像画像から、前記媒体が貼られた部分の部分画像を抽出する機能と、A function of extracting a partial image of a portion to which the medium is pasted from the captured image;
前記部分画像に基づいて、前記電子文書を特定する機能と、A function of identifying the electronic document based on the partial image;
前記撮像画像を表す画面であって、前記部分画像の位置に、前記電子文書に関連付けられた表示要素を含む画面の表示を指示する機能とA function of instructing display of a screen including the display element associated with the electronic document at the position of the partial image, the screen representing the captured image;
を実現させ、Realized,
前記指示する機能は、前記電子文書を参照するための情報が埋め込まれた前記表示要素を含む前記画面の表示を指示することを特徴とするプログラム。The program for instructing display of the screen including the display element in which information for referring to the electronic document is embedded.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009068714A JP5262888B2 (en) | 2009-03-19 | 2009-03-19 | Document display control device and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009068714A JP5262888B2 (en) | 2009-03-19 | 2009-03-19 | Document display control device and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010224666A JP2010224666A (en) | 2010-10-07 |
| JP5262888B2 true JP5262888B2 (en) | 2013-08-14 |
Family
ID=43041814
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009068714A Expired - Fee Related JP5262888B2 (en) | 2009-03-19 | 2009-03-19 | Document display control device and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5262888B2 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5729056B2 (en) * | 2011-03-18 | 2015-06-03 | 株式会社リコー | Image processing apparatus and image processing method |
| JP6476600B2 (en) * | 2014-06-10 | 2019-03-06 | 日本電気株式会社 | Information display processing system, information display processing method, and information display processing program |
| JP6911595B2 (en) * | 2016-09-16 | 2021-07-28 | 株式会社リコー | Communication terminals, communication systems, output methods, and programs |
| JP6993869B2 (en) * | 2017-12-25 | 2022-01-14 | 古野電気株式会社 | Playback device, remote playback system, playback method, and computer program |
| JP7222734B2 (en) * | 2019-02-01 | 2023-02-15 | 三菱重工業株式会社 | Information management device, information management system, sticky note, information management method and program |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11259635A (en) * | 1998-03-13 | 1999-09-24 | Fuji Photo Film Co Ltd | Method and device for editing image |
| JP2001078020A (en) * | 1999-09-08 | 2001-03-23 | Nippon Telegr & Teleph Corp <Ntt> | Image preparing and processing method |
| JP4140898B2 (en) * | 2003-08-20 | 2008-08-27 | 日本電信電話株式会社 | Information presentation device and method of using information presentation device |
| JP4517822B2 (en) * | 2004-11-05 | 2010-08-04 | 富士ゼロックス株式会社 | Image processing apparatus and program |
| KR100906918B1 (en) * | 2005-06-30 | 2009-07-08 | 올림푸스 가부시키가이샤 | Retrieval system and retrieval method |
| JP4308235B2 (en) * | 2006-09-11 | 2009-08-05 | 日本電信電話株式会社 | Shared whiteboard history reproduction method, shared whiteboard system, program, and recording medium |
| JP2008258732A (en) * | 2007-04-02 | 2008-10-23 | Nikon Corp | Camera with projector |
-
2009
- 2009-03-19 JP JP2009068714A patent/JP5262888B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2010224666A (en) | 2010-10-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2105930B1 (en) | Selection and positioning of images within a template based on relative comparison of image attributes | |
| US20040076342A1 (en) | Automatic image placement and linking | |
| JP5262888B2 (en) | Document display control device and program | |
| US20060013508A1 (en) | Projection apparatus and image acquisition method | |
| JP5024028B2 (en) | Image conversion apparatus, image providing system, photographing / editing apparatus, image conversion method, image conversion program, and recording medium recording the program | |
| US20050078190A1 (en) | System and method for associating information with captured images | |
| JP2005275447A (en) | Image processing device, image processing method and program | |
| JP5441349B2 (en) | Image projection apparatus and control method thereof | |
| JP6261198B2 (en) | Information processing apparatus, information processing method, and program | |
| JP5187001B2 (en) | Information processing system and information processing apparatus | |
| JP4363153B2 (en) | Imaging apparatus, image processing method thereof, and program | |
| JP5321176B2 (en) | Projection auxiliary image generation method and generation apparatus, and image forming apparatus | |
| JP2008152766A (en) | Method of recording hand-written information, and projection recording apparatus | |
| JP2009055272A (en) | Image processing apparatus, image processing method, and image processing program | |
| JP2006318352A (en) | Image processing device | |
| JP5218687B2 (en) | Image conversion apparatus, image providing system, photographing / editing apparatus, image conversion method, image conversion program, and recording medium recording the program | |
| CN100583972C (en) | Digital camera | |
| JP2009076983A (en) | Information processing system, and information processor | |
| JP4983489B2 (en) | Information processing apparatus and information processing program | |
| JP2009038485A (en) | Image editing device, image editing method, and image editing program | |
| JP5729056B2 (en) | Image processing apparatus and image processing method | |
| JP5245953B2 (en) | Presentation image generation method and apparatus, and image forming apparatus | |
| JP2011053901A (en) | Device, system, method and program for providing document image data, and background processing program | |
| JP4389728B2 (en) | Image forming apparatus, image selection screen generation method, and program | |
| JP5518172B2 (en) | Image projection device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120222 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121220 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121225 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130221 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130402 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130415 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5262888 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |