JP5950633B2 - Information processing apparatus, computer program, and information processing method - Google Patents
Information processing apparatus, computer program, and information processing method Download PDFInfo
- Publication number
- JP5950633B2 JP5950633B2 JP2012053496A JP2012053496A JP5950633B2 JP 5950633 B2 JP5950633 B2 JP 5950633B2 JP 2012053496 A JP2012053496 A JP 2012053496A JP 2012053496 A JP2012053496 A JP 2012053496A JP 5950633 B2 JP5950633 B2 JP 5950633B2
- Authority
- JP
- Japan
- Prior art keywords
- sticky note
- electronic
- image
- electronic sticky
- paper
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000010365 information processing Effects 0.000 title claims description 23
- 238000004590 computer program Methods 0.000 title claims description 4
- 238000003672 processing method Methods 0.000 title 1
- 238000000034 method Methods 0.000 claims description 50
- 239000012925 reference material Substances 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 3
- KNMAVSAGTYIFJF-UHFFFAOYSA-N 1-[2-[(2-hydroxy-3-phenoxypropyl)amino]ethylamino]-3-phenoxypropan-2-ol;dihydrochloride Chemical compound Cl.Cl.C=1C=CC=CC=1OCC(O)CNCCNCC(O)COC1=CC=CC=C1 KNMAVSAGTYIFJF-UHFFFAOYSA-N 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 239000000284 extract Substances 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Description
本発明は、スクリーン上に貼付された紙付箋を電子化した電子付箋データの表示を制御する情報処理装置に関する。 The present invention relates to an information processing apparatus that controls display of electronic sticky note data obtained by digitizing a paper sticky note attached on a screen.
複数人で新しい知識を創出する方法として、ブレインストーミングと呼ばれる方法が知られている。ブレインストーミングでは、アイデアを1つずつカードに書き込み、それらを共有しながらアイデアを発散させていく。また、これらのアイデアを収束する方法として、KJ法と呼ばれる方法が知られている。KJ法では、アイデアの内容について、内容の近いもの同士を集めて分類するグループ化を繰り返し、グループ間の関係性を整理するという方法である。そして、この作業の中で、アイデアの本質の発見や新たなアイデアの創出が行われる。 A method called brainstorming is known as a method for creating new knowledge by a plurality of people. In brainstorming, you write ideas one at a time on cards and share them to diverge the ideas. As a method for converging these ideas, a method called KJ method is known. The KJ method is a method of organizing relationships between groups by repeatedly grouping ideas that are similar to each other by collecting and classifying them. And in this work, discovery of the essence of ideas and creation of new ideas are performed.
ブレインストーミングやKJ法では、前述のカードとして糊付き付箋紙(ポスト・イット(商標)など)を用い、その糊付き付箋紙をホワイトボードなどに貼りつけて進める方法が良く用いられる。更に、プロジェクタを用いてプレゼンテーション資料などの画像をホワイトボードに投影しながら、そのホワイトボード上で付箋紙を貼付する場合もある。 In the brainstorming or KJ method, a method of using a sticky sticky note (such as Post-It (trademark)) as the aforementioned card and affixing the sticky sticky note on a whiteboard or the like is often used. Furthermore, a sticky note may be pasted on the whiteboard while projecting an image such as a presentation material on the whiteboard using a projector.
特許文献1では、画像が投影されているホワイトボード上に書き込まれた手書きの情報や、該ホワイトボード上に貼り付けられた付箋紙の情報を撮影する技術について開示している。特許文献1では、プロジェクタとデジタルカメラとを連携させ、付加情報(手書きの情報や付箋紙の情報)を撮影するタイミングで、プロジェクタからの投影画像を非表示にすることにより、付加情報のみが撮影された撮影画像を得ている。そして、撮影直前の投影画像と、当該撮影された撮影画像とを対応付けて記録しておくことで、後で再生を行う際にそれらを合成して表示できるようにしている。
また一方、特許文献2では、端末装置のタッチパネル上で書き込んだ電子データをサーバに送信し、該サーバは受信した電子データをディスプレイ上の対応する位置に表示する会議支援システムが開示されている。 On the other hand, Patent Document 2 discloses a conference support system that transmits electronic data written on a touch panel of a terminal device to a server, and the server displays the received electronic data at a corresponding position on a display.
特許文献1に記載されているように、ホワイトボードに貼り付けられた紙の付箋を撮影して得られる電子データ(撮影画像)を投影画像と関連付けて記録しておくことで、後で記録結果を再生する際には、投影画像と撮影画像とを合成表示できるようにしている。すなわち、特許文献1では、ユーザが再生モードに切り替え、更に再生する投影画像を選択すれば、関連する撮影画像を該投影画像に合成して表示させることができる。しかしながら、特許文献1では、撮影画像を再生したい場合、モード切替や画像選択などのユーザからの指示が必要であり、ユーザの手間がかかってしまい、ブレインストーミングを行っている最中に電子データを再生するような用途には適していない。
As described in
また、特許文献2は、タッチパネルから入力された電子データをすぐにディスプレイに表示するものであり、紙の付箋を撮影して得られる撮影画像を表示するようなことについては考慮されていない。 Further, Patent Document 2 displays electronic data input from a touch panel immediately on a display, and does not consider displaying a photographed image obtained by photographing a paper sticky note.
特許文献1の「紙付箋を撮影して電子化する技術」に、特許文献2の「電子データをすぐにディスプレイに表示する技術」を組み合わせた場合、付箋を撮影すると、その撮影画像をすぐにホワイトボードに投影することが考えられる。しかしながら、付箋の撮影画像をすぐに投影すると、ホワイトボードに紙の付箋が貼られたままの状態で撮影画像が投影されてしまうことになる。また、撮影時や再生時の誤差等により撮影画像の再生位置は若干のズレが生じる可能性がある。したがって、ホワイトボードに紙の付箋が貼られたままの状態で撮影画像が投影されると、紙付箋内に書き込まれている文字と当該撮影画像内の文字とが少しズレて重なるので、どちらの文字も見にくくなってしまう。
When the “technology for photographing and digitizing a paper sticky note” in
上記課題を解決するために、本発明の情報処理装置は、紙付箋が貼付されたスクリーンを撮影した撮影画像から付箋画像を抽出し、当該抽出した付箋画像の電子付箋データを生成する付箋画像抽出手段と、前記付箋画像抽出手段で生成された電子付箋データを記憶装置に登録する登録手段と、前記付箋画像抽出手段で生成された第1の紙付箋に対応する第1の電子付箋データと前記記憶装置に登録済みの電子付箋データとを比較する比較手段と、前記比較手段による比較の結果、前記第1の電子付箋データと一致し、第2の紙付箋に対応する第2の電子付箋データが前記記憶装置に登録済でないと判定された場合、前記スクリーンに新たな紙付箋が貼付されたと判定して前記第1の電子付箋データを前記登録手段により登録し、前記第2の電子付箋データが前記記憶装置に登録済と判定され、前記第2の電子付箋データが有する情報が貼付状態を示す場合、前記スクリーン上において前記第2の紙付箋の貼付位置が移動したと判定して前記記憶装置に登録済みの第2の電子付箋データにおける表示位置情報を前記第1の電子付箋データにおける表示位置情報が示す情報に更新し、前記第2の電子付箋データが前記記憶装置に登録済と判定され、前記第2の電子付箋データが有する情報が貼付状態を示さない場合、前記スクリーン上において前記第2の紙付箋が再貼付されたと判定し、前記記憶装置に登録済みの第2の電子付箋データにおける貼付状態を示す情報を貼付されていることを示す情報に更新する登録制御手段と、前記記憶装置に登録されている電子付箋データについて、対応する紙付箋がスクリーン上に貼付されているか否か判定する判定手段と、前記判定手段で前記対応する紙付箋が前記スクリーン上に貼付されていないと判定した電子付箋データは、対応する電子付箋の画像を前記スクリーンに表示するように制御する一方、前記判定手段で前記対応する紙付箋が前記スクリーン上に貼付されていると判定した電子付箋データは、対応する電子付箋の画像を前記スクリーンに表示しないように制御する表示制御手段と、を有することを特徴とする。 In order to solve the above-described problem, the information processing apparatus of the present invention extracts a sticky note image from a photographed image obtained by photographing a screen with a paper sticky note attached thereto, and generates electronic sticky note data of the extracted sticky note image. Means, registration means for registering electronic sticky note data generated by the sticky note image extracting means in a storage device, first electronic sticky note data corresponding to the first paper sticky note generated by the sticky note image extracting means, and the Comparison means for comparing electronic sticky note data registered in the storage device, and second electronic sticky note data that matches the first electronic sticky note data as a result of comparison by the comparison means and corresponds to the second paper sticky note data Is determined not to be registered in the storage device, it is determined that a new paper sticky note is attached to the screen, the first electronic sticky note data is registered by the registration means, and the second electronic sticky note is registered. When it is determined that the sticky note data has been registered in the storage device, and the information included in the second electronic sticky note data indicates a pasting state, it is determined that the pasting position of the second paper sticky note has moved on the screen. The display position information in the second electronic sticky note data registered in the storage device is updated to the information indicated by the display position information in the first electronic sticky note data, and the second electronic sticky note data is registered in the storage device. If the information included in the second electronic sticky note data does not indicate the pasting state, it is judged that the second paper sticky note has been pasted again on the screen, and the second registered in the storage device is determined. About the registration control means for updating the information indicating the pasting state in the electronic sticky note data to information indicating that it is pasted, and the electronic sticky note data registered in the storage device, Determining means for determining whether or not a corresponding paper sticky note is affixed on the screen, and the electronic sticky note data determined by the determination means that the corresponding paper sticky note is not affixed on the screen is a corresponding electronic sticky note The electronic sticky note data determined by the determining means that the corresponding paper sticky note is pasted on the screen is displayed on the screen. Display control means for controlling to prevent display.
本発明によれば、紙付箋の貼付状況に応じて、対応する電子付箋の表示/非表示を自動的に切り替えるように構成したので、紙付箋の上に電子付箋の画像が重なって投影されて見にくくなることを防ぐことができる。 According to the present invention, since the display / non-display of the corresponding electronic sticky note is automatically switched according to the sticking situation of the paper sticky note, the image of the electronic sticky note is projected onto the paper sticky note. It can prevent becoming difficult to see.
図1は本実施形態における情報処理システムの構成を示す図である。本情報処理システムは、情報処理装置としてのサーバ111、撮影装置としてのデジタルカメラ113、表示装置115で構成される。表示装置115はさらにプロジェクタ112とホワイトボード114からなり、プロジェクタ112から投影した画像が、ホワイトボード114上に表示される。なお、本実施例の情報処理システムは、ブレインストーミングなどの会議や、KJ法などで利用可能であるが、利用用途はこれらに限るものではない。
FIG. 1 is a diagram showing a configuration of an information processing system in the present embodiment. The information processing system includes a
なお、本実施形態では、糊付き付箋(ポスト・イット(商標)など)がホワイトボードなどのスクリーンに貼られた場合を用いて説明するが、本発明は、糊付き付箋に限るものではなく、文書やカードがテープ等を用いて貼られた場合も同様に適用することができる。また、付箋や文書やカードの素材は紙に限るものではなく、その他の素材(プラスチックや布など)であってもよい。 In the present embodiment, a sticky sticky tag (Post-it (trademark), etc.) is described using a case where it is pasted on a screen such as a whiteboard. However, the present invention is not limited to a sticky sticky note, The same applies to a case where a document or card is attached using a tape or the like. Further, the material of the sticky note, the document, and the card is not limited to paper, but may be other materials (plastic, cloth, etc.).
以下の実施形態では、ホワイトボード(スクリーン)に貼られた付箋や文書を、その素材とは無関係に、紙付箋(または紙文書)と呼ぶこととする。また、その紙付箋に対して撮影やスキャン等を行うことにより電子化した付箋データを電子付箋(または電子文書)と呼んで区別することとする。 In the following embodiments, a sticky note or document pasted on a whiteboard (screen) is referred to as a paper sticky note (or paper document) regardless of the material. Further, the sticky note data digitized by photographing or scanning the paper sticky note is referred to as an electronic sticky note (or electronic document) to be distinguished.
図2はサーバ(情報処理装置)111の構成を示す図である。サーバ111は、CPU201、RAM202、ROM203、キーボードI/F205、ディスプレイI/F206、外部メモリI/F207、外部I/F208からなり、それらはシステムバス204で接続されている。キーボードI/F205を介して接続されているキーボード209は、ユーザからの各種操作を受け付ける。ディスプレイI/F206にはプロジェクタ112が接続され、サーバ111はプロジェクタ112を介してホワイトボードに画像を投影する。外部I/F208にはデジタルカメラ113が接続され、サーバ111はデジタルカメラ113で撮影した紙付箋の画像を取りこんで、電子付箋(付箋データ)を作成することができる。また、本実施形態では、ユーザがキーボード209を用いて入力した電子データも紙付箋の画像から作成した電子付箋と同等に扱うこととし、それらを混在させてプロジェクタ112で表示させることができるものとする。
FIG. 2 is a diagram illustrating a configuration of the server (information processing apparatus) 111. The
CPU(プロセッサ)201は、サーバ111全体の制御を行うものであり、ROM203や外部メモリ211などに記憶されたプログラムをRAM202に読み込み、各種処理を実行する。すなわち、サーバ111のCPU201は、コンピュータ読み取り可能な記憶媒体に記憶されたコンピュータプログラムを実行することにより、後述するフローチャートの各ステップを実行する処理部(処理手段)として機能する。ROM203は、CPU201を起動するためのプログラムを含む各種データを記憶している。RAM202は、ワークメモリとして用いられる。
A CPU (processor) 201 controls the
次に、本システムの動作について説明する。図3は、本システムにおいて、紙付箋を撮影することで得られる付箋の画像を用いて、電子付箋(付箋データ)を作成して登録したり変更したりする処理のフローチャートである。本フローチャートで示す手順は、そのプログラムがサーバ111のROM203、RAM202、外部メモリ(HDDなど)211のいずれかに格納され、CPU201により実行される。
Next, the operation of this system will be described. FIG. 3 is a flowchart of processing for creating and registering or changing an electronic sticky note (sticky note data) using a sticky note image obtained by photographing a paper sticky note in this system. The procedure shown in this flowchart is executed by the
ブレインストーミングでは、ユーザのアイデアを紙付箋に書き込み、それらをホワイトボード114に貼りつけて進める。ここでは、紙付箋が3枚貼られ、ホワイトボード114の状態が図9のようになっているところから説明する。本実施形態では、図9のように、参考資料(プレゼンテーション画像など)が投影されていない状態で、紙付箋を貼り付けてブレインストーミングを行う例について説明するが、本発明はこれに限るものではない。特許文献1のようにプレゼンテーション画像を投影している状態で紙付箋を貼り付けるような場合にも、本発明を適用することは可能である。
In brainstorming, the user's ideas are written on a paper sticky note and pasted on the
まずユーザからの撮影要求を検知したデジタルカメラ113は、ホワイトボード114の画像を撮影する(ステップS301)。デジタルカメラ113で撮影されたデータは、サーバ111の外部I/F208を通して、RAM202に格納される。本実施形態のように参考資料を投影していない状態でブレインストーミングを行う場合、撮影した画像には、紙付箋の画像と、投影中の電子付箋の画像とが含まれることになる。
First, the
なお、参考資料を投影している状態で紙付箋を貼付するような形態で本発明を適用する場合は、そのまま撮影すると、撮影画像には参考資料の画像も含まれることになる。したがって、このような形態で本発明を適用する場合には、例えば、撮影画像と参考資料の画像との差分を求めることで、撮影画像から参考資料の画像を除いた画像を得て、当該得た画像に対してステップS302以降の処理を行うようにすればよい。 Note that when the present invention is applied in a form in which a paper sticky note is pasted while the reference material is projected, the image of the reference material is included in the captured image if the image is taken as it is. Therefore, when the present invention is applied in such a form, for example, by obtaining the difference between the captured image and the reference material image, an image obtained by removing the reference material image from the captured image is obtained, and the obtained What is necessary is just to perform the process after step S302 with respect to the obtained image.
ステップS302では、撮影画像から付箋画像を抽出し、当該抽出した付箋画像から電子付箋データを生成する。図9のホワイトボード114には3枚の紙付箋が貼られているので、3枚分の付箋画像が得られる。付箋画像を含む電子付箋のデータ構造に関しては後述する。
In step S302, a sticky note image is extracted from the photographed image, and electronic sticky note data is generated from the extracted sticky note image. Since three paper sticky notes are affixed to the
図6は、付箋画像抽出処理(ステップS302)の詳細手順を示す図である。サーバのCPU201がプログラムを実行することにより、図6の各処理部602〜605として機能する。
FIG. 6 is a diagram showing a detailed procedure of the tag image extraction process (step S302). When the
デジタルカメラ113で撮影されてサーバ111のRAM202に格納された撮影画像データ601に対して、まず、輪郭抽出部602による輪郭抽出処理と、色判定部603による色判定処理とを行う。輪郭抽出処理では、公知のエッジ抽出や輪郭追跡処理などを行うことにより、画像内に存在するオブジェクトの輪郭(紙付箋の輪郭や、紙付箋に書き込まれた文字画像の輪郭など)を抽出できる。また、色判定処理により、各オブジェクト(紙付箋や文字)の色を抽出できる。次に、付箋領域判定部604による付箋領域判定処理を行う。付箋領域判定処理では、予め想定される紙付箋のサイズ条件を満たす大きさの矩形状の輪郭のオブジェクトで、且つホワイトボードの色(白の背景色)と異なる色を有するオブジェクトの領域を付箋領域として判定する。このとき、その矩形状の輪郭の内部に文字サイズの輪郭を含むかどうか判定するように構成すれば、より精度よく付箋領域を判定することが可能である。そして、付箋領域切り出し部605において、紙付箋の1枚1枚に対応した付箋領域の部分画像(付箋画像)を切り出す付箋領域切り出し処理が行われ、当該抽出された付箋画像に基づいて電子付箋データが生成される。なお、このとき、付箋画像に対してOCR処理を行って付箋内部に記入された文字画像のテキストデータを求めたり、付箋画像に対してベクトル化処理を行って文字画像のベクトルデータを求めたりするように構成してもよい。
Contour extraction processing by the
図7は、生成された電子付箋のデータ構造701を示す。それぞれの電子付箋が、ヘッダー部702とデータ部703を有する。ヘッダー部702には、各電子付箋を識別するための「ID」、対応する紙付箋が貼付された時刻を示す「貼付時間」、対応する紙付箋がホワイトボードに貼付されたままの状態であるか剥がされた状態であるかを示す「貼付状態ON/OFF」、紙付箋の貼付場所を示す「貼付場所情報」、付箋データの表示を行う表示装置115を識別するための「表示端末情報」、表示装置における電子付箋の表示座標を示す「表示端末内貼付座標」、紙付箋を電子化して作成された電子付箋であるかキーボード等を介して入力作成された電子付箋であるかを示す「初期入力状態(紙/電子)」情報、紙付箋が貼付された際に表示されていた参考資料(プレゼンテーション画像)があればその資料を特定するための「同時表示の参考資料情報」、などの情報からなる。データ部703は、デジタルカメラ113で撮影された画像から切り出した付箋画像の画像データを含む。なお、データ部703には、その画像データにOCR処理を施した場合はそのOCR処理結果のテキストを示すOCRデータ、ベクトル化処理を施した場合はベクトルデータが更に格納されることになる。
FIG. 7 shows a
電子付箋のデータ構造の具体例を図10に示す。ここでは、図9の紙付箋1の付箋画像から電子付箋1が生成されたものとする。電子付箋1のヘッダー部1002の内容は次の通りである。IDが1、貼付された時間が10時0分0秒、対応する紙付箋1が貼付されたままの状態であるので貼付状態がON、貼付場所は会議室1、表示端末の情報はサーバ111、表示端末内貼付座標は(X1,Y1)、初期入力状態は紙付箋、同時表示の参考資料は無し、であったとする。また、データ部1003の内容は、画像データがdata1.jpgというファイル名で格納されており、OCR処理とベクトル化処理とが行われていない場合はOCRデータとベクトル化データとがnullである。
A specific example of the data structure of the electronic sticky note is shown in FIG. Here, it is assumed that the electronic
図3のフローチャートのステップS303では、ステップS302で生成した電子付箋に含まれる付箋画像それぞれを順に処理対象として、サーバ111の記憶装置(外部メモリもしくはRAM)に既に登録済みの電子付箋と比較し、同じ付箋画像の電子付箋データが既に登録されているか否かを照合する。S303の照合結果に基づき、S302で抽出した付箋画像がサーバ111の記憶装置に登録済みの電子付箋と異なると判定した場合は、ステップS304で新たな付箋が追加されたと判定してステップ305に進む。ステップS305では、当該付箋画像に基づいて作成された電子付箋データを、新たな電子付箋データとしてサーバ111に登録する。
In step S303 of the flowchart of FIG. 3, each of the sticky note images included in the electronic sticky note generated in step S302 is sequentially processed and compared with the electronic sticky note already registered in the storage device (external memory or RAM) of the
ステップS306では、S302で抽出した付箋画像全ての処理を行ったか判断し、未処理の他の付箋画像があると判定した場合は、ステップS303に戻って他の付箋画像の処理を実行する。例えば、図9の紙付箋1の付箋画像の処理を行った時点では、まだ紙付箋2の付箋画像と、紙付箋3の付箋画像とが残っているので、ステップS303に戻って次の付箋画像を処理対象とする。
In step S306, it is determined whether all of the sticky note images extracted in S302 have been processed. If it is determined that there are other unprocessed sticky note images, the process returns to step S303 to execute processing of other sticky note images. For example, since the sticky image of the paper sticky note 2 and the sticky note image of the paper sticky note 3 still remain when the processing of the sticky note image of the paper
また、ステップS303の照合結果に基づき、S302で抽出した付箋画像がサーバ111に登録済みの電子付箋データのいずれかと一致すると判定した場合は、紙付箋のホワイトボード上の貼付位置が移動された(もしくは一旦剥離された紙付箋が再貼付された)とステップS304で判定し、ステップS307に進む。なお、ステップS304において、サーバは、当該一致すると判定した登録済み電子付箋データの「貼付状態」情報がONであった場合に、紙付箋のホワイトボード上の貼付位置が移動されたものと判定する。また、ステップS304において、サーバは、当該一致すると判定した登録済み電子付箋データの「貼付状態」情報がOFFであった場合、更に、表示端末内貼付座標情報を参照し、S302で抽出した付箋画像の位置が電子付箋の投影位置と異なれば、一旦剥離された紙付箋が再貼付されたと判定する。このとき、S302で抽出した付箋画像の位置が電子付箋の投影位置と同じであれば、投影中の付箋画像が撮影されたものと判定できる。
If it is determined that the sticky note image extracted in S302 matches any of the electronic sticky note data registered in the
ステップS307では、当該一致すると判定された登録済みの電子付箋データを更新する。ここでは、紙付箋が貼付されているホワイトボード上の位置に基づいて、表示装置において電子付箋が表示されるべき座標を示す「表示端末内貼付座標」の情報が更新される。また、紙付箋の貼付位置が移動されたと判断した場合もしくは紙付箋が再貼付されたと判断した場合は、対応する電子付箋の「貼付状態」情報をONにする。 In step S307, the registered electronic sticky note data determined to match is updated. Here, based on the position on the whiteboard where the paper sticky note is pasted, the information of “the paste coordinates in the display terminal” indicating the coordinates where the electronic sticky note should be displayed on the display device is updated. Also, when it is determined that the sticking position of the paper sticky note has been moved or when it is determined that the paper sticky note has been reattached, the “sticking state” information of the corresponding electronic sticky note is turned ON.
ステップS308では、S302で抽出した付箋画像全ての処理を行ったか判断し、未処理の他の付箋画像があると判定した場合は、ステップS303に戻って他の付箋画像の処理を実行する。 In step S308, it is determined whether all the sticky note images extracted in S302 have been processed. If it is determined that there is another unprocessed sticky note image, the process returns to step S303 to execute processing of other sticky note images.
ステップS306またはS308で、S302で抽出した付箋画像全ての処理を行ったと判定した場合はステップS309に進み、剥離された紙付箋があるか否か判定する。ここでは、登録済み電子付箋データのうち、貼付状態がON状態であるにも関わらず、S303の照合でいずれの付箋画像にも一致すると判定されなかった登録済み電子附箋データを、対応する紙付箋が剥離された登録済み電子付箋データであると判定する。 If it is determined in step S306 or S308 that all the sticky note images extracted in S302 have been processed, the process advances to step S309 to determine whether there is a peeled paper sticky note. Here, among the registered electronic sticky note data, the registered electronic sticky note data that has not been determined to match any of the sticky note images in the collation in S303, even though the pasting state is ON, It is determined that the sticky note is registered electronic sticky note data.
ステップS309で剥離された紙付箋があると判定された場合は、ステップS310に進み、剥離された紙付箋に対応する登録済み電子付箋データの「貼付状態」情報をOFFに変更し、処理を終了する。 If it is determined in step S309 that there is a peeled paper sticky note, the process proceeds to step S310, the “sticking state” information of the registered electronic sticky note data corresponding to the peeled paper sticky note is changed to OFF, and the process ends. To do.
次に、電子付箋を表示する処理について、図8のフローチャートで説明する。本フローチャートで示す手順は、そのプログラムがサーバ111のROM203、RAM202、外部メモリ(HDDなど)211のいずれかに格納され、CPU201により実行される。
Next, processing for displaying an electronic sticky note will be described with reference to the flowchart of FIG. The procedure shown in this flowchart is executed by the
ステップS802において、サーバ111は、登録された電子付箋データのヘッダー部を解析する。図9の紙付箋を図3のフローチャートの処理に従って電子化した時点では、電子付箋は3枚登録されたことになるので、まずは電子付箋1について、電子付箋データのヘッダー部を解析する。
In step S802, the
ステップS803において、サーバ111は、ステップS802で解析された電子付箋データの「貼付状態」情報がONであるか否か判定し、ONであればステップS804に進み、OFFであればステップS805に進む。例えば、紙付箋を電子化した直後は、紙付箋は貼付されている状態であるので、電子付箋1のヘッダー部1002の「貼付状態」情報はONとなっており、ステップS804に進む。
In step S803, the
ステップS804において、サーバ111は、「貼付状態」情報がONであると判定した電子付箋データを非表示とする。図9の例では、「貼付状態」情報がONの電子付箋1は非表示にする。これは、紙付箋1がホワイトボードに貼られている状態で、電子付箋1の付箋画像を投影してしまうと、電子付箋の文字画像が紙付箋の文字に重なって投影されるので、画像のズレやボケの影響により、どちらも見にくくなってしまうからである。
In step S <b> 804, the
ステップS805において、サーバ111は、「貼付状態」情報がOFFであると判定した電子付箋データを表示する。すなわち、紙付箋が剥離されたと判断した場合は、当該剥離された紙付箋に対応する電子付箋を表示する。
In step S <b> 805, the
ステップS806において、サーバ111は、未処理の電子付箋データがあるか否か判定し、他の電子付箋データがあると判定した場合は、ステップS802に戻って次の電子付箋データの解析を行う。図9の例では、電子付箋1を非表示と判定した後、残りの電子付箋2、電子付箋3についても同様の処理を繰り返し行うことになる。
In step S806, the
図9の例では、紙付箋1〜3がホワイトボードに貼付されたままの状態であるので、サーバ111からプロジェクタ112に転送される表示データには、その電子付箋データは存在しない。
In the example of FIG. 9, since the paper
以上説明したように、紙付箋がまだ貼られている場合は、電子付箋化しても非表示にすることで、紙付箋の内容が見やすくできる。 As described above, when a paper sticky note is still pasted, the contents of the paper sticky note can be easily seen by making it non-display even if it is converted to an electronic sticky note.
次に、ホワイトボード114に貼付されている紙付箋が、図9の状態から図11の状態に変化した場合について、図3及び図8のフローチャートを用いて説明する。図11は、ホワイトボード114に貼付されていた図9の紙付箋1が剥がされた状態である。
Next, the case where the paper tag attached to the
ステップS301で、撮影要求を検知したデジタルカメラ113は、ホワイトボード114の画像を撮影する。デジタルカメラ113で撮影されたデータは、サーバ111の外部I/F208を通して、RAM202に格納される。
In step S301, the
次に、ホワイトボード114の画像から、付箋画像を抽出して、当該抽出した付箋画像から電子付箋データを生成する(ステップS302)。図11のホワイトボード114には2枚の紙付箋が貼られているので、2枚分の電子付箋データが得られる。
Next, a sticky note image is extracted from the image of the
ステップS302で生成された2枚の電子付箋データのそれぞれは、既に登録されている3枚の電子付箋データと照合される(ステップS303)。ステップS302で生成された2枚の電子付箋データは既に登録済みであると判定され、ステップS307に進んで登録済みの電子付箋データの更新が行われる。ステップS309において、サーバは、既に登録済みの電子付箋データのうち、ステップS303で一致の判定されることがなかった電子付箋データ(図11の例では電子付箋1)に対応する紙付箋1が剥離されていると判定する。したがって、電子付箋1については、対応する紙付箋1が剥がされたことになるので、電子付箋1のサーバ登録データの「貼付状態」情報をONからOFFへ変更する(ステップS310)。
Each of the two electronic sticky note data generated in step S302 is collated with the already registered three electronic sticky note data (step S303). It is determined that the two electronic sticky note data generated in step S302 have already been registered, and the process proceeds to step S307 where the registered electronic sticky note data is updated. In step S309, the server removes the paper
サーバ111に登録されている電子付箋データが変更されたので、それに伴って表示内容も変更する。図8のフローチャートにおいて、ステップS802で電子付箋1のヘッダー部を解析した結果、「貼付状態」情報がONからOFFに変更されているので、ステップS805に進み、電子付箋1を表示することになる。なお、電子付箋2と電子付箋3については、「貼付状態」情報がONのままなので、非表示のままである。したがって、サーバ111のディスプレイI/F206からプロジェクタ112に転送される表示データには、電子付箋1のデータのみ存在する。すなわち、図11のホワイトボード114上に電子付箋1が投影されることになるので、図12のように、電子付箋1が表示され、紙付箋2と紙付箋3が貼りつけられている状態となる。
Since the electronic sticky note data registered in the
以上説明したように、紙付箋が剥がされた直後は、対応する電子付箋が自動的に表示されることになる。なお、ユーザは、サーバ111のキーボードやマウス(不図示)を用いた操作により、投影されている電子付箋の表示位置を変えたり、表示消去したりすることができる。例えば、複数人で会議を行っている場合、ホワイトボードの前で議論しているユーザが紙付箋を貼り付けると、その紙付箋は電子化されることになる。その紙付箋が剥がされると対応する電子付箋が自動的に表示されるので、サーバ(情報処理装置)111の近くで議論に参加しているユーザ(例えば議長)が当該表示されている電子付箋を操作できるようになる。
As described above, immediately after the paper sticky note is removed, the corresponding electronic sticky note is automatically displayed. Note that the user can change the display position of the projected electronic sticky note or delete the display by an operation using the keyboard or mouse (not shown) of the
なお、本実施形態では、ホワイトボード114の画面の撮影をユーザからの撮影要求をトリガーとして行っていたが、例えば一定時間が経過するごとに自動的に撮影しても良い。その場合は、図4のフローチャートに示すように、ステップS401で、デジタルカメラ113は一定時間が経過したら自動的に撮影する。そして、ステップS402において、サーバ111は一枚前に撮影した画像と同じであるか判定し、同じであればステップS401に戻り、異なっていればステップS302に進む。すなわち、ホワイトボード上の紙付箋の貼付状態が変化している場合はステップS302に進むことになる。ステップS302以降の処理は図3と同様であるので、説明を省略する。
In the present embodiment, the screen of the
また、別の方法として、図5のフローチャートに示すように、ホワイトボード114の近傍に人感センサを設置し、人感センサを作動させておく(ステップS501)。人感センサが所定範囲(ホワイトボードの前)に人を検知してから非検知に変わった時点をトリガーとして(ステップS502)、デジタルカメラ113がホワイトボード114を撮影する(ステップS301)ようにしても良い。ステップS302以降の処理は図3と同様であるので、説明を省略する。
As another method, as shown in the flowchart of FIG. 5, a human sensor is installed in the vicinity of the
なお、本実施形態では、紙付箋の電子付箋化に言及したが、更に、ホワイトボード114に直書きしたデータに関しても電子化を行うように構成しても構わない。
In this embodiment, the paper sticky note is referred to as electronic sticky note. However, the data directly written on the
以上説明したように、本発明は上述した実施形態に限定されるものではなく、要旨を逸脱しない範囲でさまざまに変形可能である。 As described above, the present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the scope of the invention.
(その他の実施例)
上述した実施形態では、サーバ111のCPU(プロセッサ)がプログラムを実行することにより、各処理部として機能するものとしたが、処理の一部または全部を専用の電子回路(ハードウェア)で構成するようにしても構わない。
(Other examples)
In the above-described embodiment, the CPU (processor) of the
また、本発明は、以下の処理を実行することによっても実現される。その処理は、上述した実施例の機能を実現させるソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。 The present invention can also be realized by executing the following processing. In this process, software (program) for realizing the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and the computer (or CPU, MPU, etc.) of the system or apparatus executes the program. It is a process to read and execute.
Claims (13)
前記付箋画像抽出手段で生成された電子付箋データを記憶装置に登録する登録手段と、
前記付箋画像抽出手段で生成された第1の紙付箋に対応する第1の電子付箋データと前記記憶装置に登録済みの電子付箋データとを比較する比較手段と、
前記比較手段による比較の結果、前記第1の電子付箋データと一致し、第2の紙付箋に対応する第2の電子付箋データが前記記憶装置に登録済でないと判定された場合、前記スクリーンに新たな紙付箋が貼付されたと判定して前記第1の電子付箋データを前記登録手段により登録し、前記第2の電子付箋データが前記記憶装置に登録済と判定され、前記第2の電子付箋データが有する情報が貼付状態を示す場合、前記スクリーン上において前記第2の紙付箋の貼付位置が移動したと判定して前記記憶装置に登録済みの第2の電子付箋データにおける表示位置情報を前記第1の電子付箋データにおける表示位置情報が示す情報に更新し、前記第2の電子付箋データが前記記憶装置に登録済と判定され、前記第2の電子付箋データが有する情報が貼付状態を示さない場合、前記スクリーン上において前記第2の紙付箋が再貼付されたと判定し、前記記憶装置に登録済みの第2の電子付箋データにおける貼付状態を示す情報を貼付されていることを示す情報に更新する登録制御手段と、
前記記憶装置に登録されている電子付箋データについて、対応する紙付箋がスクリーン上に貼付されているか否か判定する判定手段と、
前記判定手段で前記対応する紙付箋が前記スクリーン上に貼付されていないと判定した電子付箋データは、対応する電子付箋の画像を前記スクリーンに表示するように制御する一方、前記判定手段で前記対応する紙付箋が前記スクリーン上に貼付されていると判定した電子付箋データは、対応する電子付箋の画像を前記スクリーンに表示しないように制御する表示制御手段と、を有することを特徴とする情報処理装置。 A sticky note image extracting means for extracting a sticky note image from a photographed image obtained by photographing a screen with a paper sticky note, and generating electronic sticky note data of the extracted sticky note image;
Registration means for registering electronic sticky note data generated by the sticky note image extracting means in a storage device;
Comparing means for comparing the first electronic sticky note data corresponding to the first paper sticky note generated by the sticky note image extracting means and the electronic sticky note data registered in the storage device;
When it is determined that the second electronic sticky note data corresponding to the second paper sticky note is not registered in the storage device as a result of the comparison by the comparison means, the second electronic sticky note data is matched with the first electronic sticky note data. It is determined that a new paper sticky note has been attached, the first electronic sticky note data is registered by the registration means, the second electronic sticky note data is determined to be registered in the storage device, and the second electronic sticky note is registered. When the information included in the data indicates a pasting state, it is determined that the pasting position of the second paper sticky note has moved on the screen, and the display position information in the second electronic sticky note data registered in the storage device Updating to the information indicated by the display position information in the first electronic sticky note data, it is determined that the second electronic sticky note data has been registered in the storage device, and the information contained in the second electronic sticky note data is When the attached state is not indicated, it is determined that the second paper sticky note is attached again on the screen, and information indicating the attached state in the second electronic sticky note data registered in the storage device is attached. Registration control means for updating to information indicating
Determination means for determining whether or not a corresponding paper sticky note is pasted on the screen for the electronic sticky note data registered in the storage device;
The electronic sticky note data determined by the determining means that the corresponding paper sticky note is not pasted on the screen is controlled to display an image of the corresponding electronic sticky note on the screen, while the determining means controls the correspondence The electronic sticky note data determined to have a paper sticky note to be pasted on the screen has display control means for controlling the corresponding electronic sticky note image not to be displayed on the screen. apparatus.
前記付箋画像抽出ステップで生成された電子付箋データを記憶装置に登録する登録ステップと、
前記付箋画像抽出ステップで生成された第1の紙付箋に対応する第1の電子付箋データと前記記憶装置に登録済みの電子付箋データとを比較する比較ステップと、
前記比較ステップによる比較の結果、前記第1の電子付箋データと一致し、第2の紙付箋に対応する第2の電子付箋データが前記記憶装置に登録済でないと判定された場合、前記スクリーンに新たな紙付箋が貼付されたと判定して前記第1の電子付箋データを前記登録ステップにより登録し、前記第2の電子付箋データが前記記憶装置に登録済と判定され、前記第2の電子付箋データが有する情報が貼付状態を示す場合、前記スクリーン上において前記第2の紙付箋の貼付位置が移動したと判定して前記記憶装置に登録済みの第2の電子付箋データにおける表示位置情報を前記第1の電子付箋データにおける表示位置情報が示す情報に更新し、前記第2の電子付箋データが前記記憶装置に登録済と判定され、前記第2の電子付箋データが有する情報が貼付状態を示さない場合、前記スクリーン上において前記第2の紙付箋が再貼付されたと判定し、前記記憶装置に登録済みの第2の電子付箋データにおける貼付状態を示す情報を貼付されていることを示す情報に更新する登録制御ステップと、
前記記憶装置に登録されている電子付箋データについて、対応する紙付箋がスクリーン上に貼付されているか否か判定する判定ステップと、
前記判定ステップで前記対応する紙付箋が前記スクリーン上に貼付されていないと判定した電子付箋データは、対応する電子付箋の画像を前記スクリーンに表示するように制御する一方、前記判定ステップで前記対応する紙付箋が前記スクリーン上に貼付されていると判定した電子付箋データは、対応する電子付箋の画像を前記スクリーンに表示しないように制御する表示制御ステップと、を有することを特徴とする情報処理方法。 A sticky note image extracting step of extracting a sticky note image from a photographed image obtained by photographing a screen with a paper sticky note, and generating electronic sticky note data of the extracted sticky note image;
A registration step of registering the electronic sticky note data generated in the sticky note image extraction step in a storage device;
A comparison step of comparing the first electronic sticky note data corresponding to the first paper sticky note generated in the sticky note image extraction step and the electronic sticky note data registered in the storage device;
As a result of the comparison in the comparison step, when it is determined that the second electronic sticky note data corresponding to the second paper sticky note data is not registered in the storage device, the screen matches the first electronic sticky note data. It is determined that a new paper sticky note has been attached, the first electronic sticky note data is registered by the registration step, the second electronic sticky note data is determined to be registered in the storage device, and the second electronic sticky note is registered. When the information included in the data indicates a pasting state, it is determined that the pasting position of the second paper sticky note has moved on the screen, and the display position information in the second electronic sticky note data registered in the storage device Updating to the information indicated by the display position information in the first electronic sticky note data, it is determined that the second electronic sticky note data has been registered in the storage device, and the second electronic sticky note data is present If the information does not indicate the pasting state, it is determined that the second paper sticky note has been pasted again on the screen, and information indicating the pasting state in the second electronic sticky note data registered in the storage device is pasted. A registration control step for updating to information indicating that;
A determination step of determining whether or not a corresponding paper sticky note is pasted on the screen for the electronic sticky note data registered in the storage device;
The electronic sticky note data determined in the determination step that the corresponding paper sticky note is not pasted on the screen is controlled to display an image of the corresponding electronic sticky note on the screen, while the correspondence step is performed in the determination step. The electronic sticky note data determined to have a paper sticky note to be pasted on the screen has a display control step for controlling not to display the image of the corresponding electronic sticky note on the screen. Method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012053496A JP5950633B2 (en) | 2012-03-09 | 2012-03-09 | Information processing apparatus, computer program, and information processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012053496A JP5950633B2 (en) | 2012-03-09 | 2012-03-09 | Information processing apparatus, computer program, and information processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013186822A JP2013186822A (en) | 2013-09-19 |
JP5950633B2 true JP5950633B2 (en) | 2016-07-13 |
Family
ID=49388153
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012053496A Expired - Fee Related JP5950633B2 (en) | 2012-03-09 | 2012-03-09 | Information processing apparatus, computer program, and information processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5950633B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6149812B2 (en) * | 2014-06-30 | 2017-06-21 | キヤノンマーケティングジャパン株式会社 | Information processing system, control method and program thereof, and information processing apparatus, control method and program thereof |
JP6103025B2 (en) * | 2014-12-22 | 2017-03-29 | キヤノンマーケティングジャパン株式会社 | Information processing apparatus, control method thereof, and program |
JP6962069B2 (en) * | 2017-08-25 | 2021-11-05 | ぺんてる株式会社 | Information organization program, information organization device, information organization method and sticky note assembly |
JP2019194295A (en) | 2018-04-26 | 2019-11-07 | 三菱ケミカル株式会社 | Curable resin composition and laminate |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4140898B2 (en) * | 2003-08-20 | 2008-08-27 | 日本電信電話株式会社 | Information presentation device and method of using information presentation device |
JP2006059020A (en) * | 2004-08-18 | 2006-03-02 | Nippon Telegr & Teleph Corp <Ntt> | Tag with code, idea extraction support system using the same, and method |
JP2006065498A (en) * | 2004-08-25 | 2006-03-09 | Nippon Telegr & Teleph Corp <Ntt> | Conference support system, its server device, and program |
JP2010231369A (en) * | 2009-03-26 | 2010-10-14 | Fuji Xerox Co Ltd | Information processor and program for information processor |
JP2012043046A (en) * | 2010-08-16 | 2012-03-01 | Konica Minolta Business Technologies Inc | Conference minute creation system and program |
-
2012
- 2012-03-09 JP JP2012053496A patent/JP5950633B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2013186822A (en) | 2013-09-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101867755B (en) | Information processing apparatus and information processing method | |
US10572779B2 (en) | Electronic information board apparatus, information processing method, and computer program product | |
US10013408B2 (en) | Information processing apparatus, information processing method, and computer readable medium | |
US20140351718A1 (en) | Information processing device, information processing method, and computer-readable medium | |
JP2013034168A (en) | Image projection device, image projection control device, and program | |
JP5950634B2 (en) | Information processing apparatus, computer program, and information processing method | |
US20140333585A1 (en) | Electronic apparatus, information processing method, and storage medium | |
JP5950633B2 (en) | Information processing apparatus, computer program, and information processing method | |
JP2010231369A (en) | Information processor and program for information processor | |
EP2328020A1 (en) | Presentation recording apparatus and method | |
JP2012027908A (en) | Visual processing device, visual processing method and visual processing system | |
JP2014119809A (en) | Information processing apparatus, information processing method, and program | |
JP2014120805A (en) | Information processing device, information processing method, and program | |
JP2010224666A (en) | Document display control device and program | |
AU2022203118B2 (en) | Computer-implemented method for extracting content from a physical writing surface | |
JP7505635B2 (en) | Segmentation of Continuous Dynamic Scans | |
JP5846378B2 (en) | Information management method and information management system | |
JP6261198B2 (en) | Information processing apparatus, information processing method, and program | |
JP2014119811A (en) | Information processing apparatus, system, information processing method, and program | |
US20090096880A1 (en) | Information processing apparatus, storing method, and computer readable recording medium | |
JP2020166653A (en) | Information processing device, information processing method, and program | |
JP6312488B2 (en) | Image processing apparatus, image processing method, and program | |
CN114363521B (en) | Image processing method and device and electronic equipment | |
US10860205B2 (en) | Control device, control method, and projection system | |
JP2009076983A (en) | Information processing system, and information processor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150309 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151215 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151216 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160212 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160315 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160418 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160510 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160607 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5950633 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |