JP6435736B2 - AR device, AR realization method, and computer program - Google Patents
AR device, AR realization method, and computer program Download PDFInfo
- Publication number
- JP6435736B2 JP6435736B2 JP2014189975A JP2014189975A JP6435736B2 JP 6435736 B2 JP6435736 B2 JP 6435736B2 JP 2014189975 A JP2014189975 A JP 2014189975A JP 2014189975 A JP2014189975 A JP 2014189975A JP 6435736 B2 JP6435736 B2 JP 6435736B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- content
- images
- additional
- terminal device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Studio Devices (AREA)
- User Interface Of Digital Computer (AREA)
Description
本発明は、ＡＲ（Augmented Reality）の技術に関する。 The present invention relates to AR (Augmented Reality) technology.
近年、ＡＲ（Augmented Reality）の技術が普及し始めている。ＡＲは、一般に「拡張現実」と翻訳される。 In recent years, AR (Augmented Reality) technology has begun to spread. AR is generally translated as “augmented reality”.
ＡＲの技術によると、ＡＲマーカーが付されている印刷物を、スマートフォンなどで撮影すると、ＡＲマーカーに対応するコンテンツ（オブジェクト）が、撮影した印刷物の画像の上に表示される。これにより、現実の空間が拡張したかのようにユーザに感じさせることができる。 According to the AR technology, when a printed material with an AR marker is photographed with a smartphone or the like, content (object) corresponding to the AR marker is displayed on the image of the photographed printed material. As a result, the user can feel as if the real space has been expanded.
また、従来、ＡＲに関する次のような技術が提案されている。画像に含まれる複数のマーカに関する情報を取得する取得手段と、前記複数のマーカにそれぞれ対応する複数の仮想オブジェクトを、前記画像に重畳して表示部に表示するよう制御する表示制御手段と、前記複数の仮想オブジェクトが特定の組み合わせであるか否かを判断する判断手段とを、画像処理装置に設ける。そして、前記判断手段により前記複数の仮想オブジェクトが特定の組み合わせであると判断された場合、前記表示制御手段は、前記複数の仮想オブジェクトを、前記特定の組み合わせに対応した特定の配置で前記画像に重畳して前記表示部に表示するよう制御する（特許文献１）。 Conventionally, the following technologies related to AR have been proposed. An acquisition unit that acquires information about a plurality of markers included in an image, a display control unit that controls a plurality of virtual objects respectively corresponding to the plurality of markers to be superimposed on the image and displayed on a display unit; Judgment means for judging whether or not a plurality of virtual objects are a specific combination is provided in the image processing apparatus. When the determination unit determines that the plurality of virtual objects is a specific combination, the display control unit adds the plurality of virtual objects to the image in a specific arrangement corresponding to the specific combination. Control is performed to superimpose and display on the display unit (Patent Document 1).
このように、特許文献１に記載される技術によると、特定の複数のマーカが組み合わされた場合に、各マーカに対応する仮想オブジェクトを、この組み合わせに対応した特定の配置で画像に重畳して表示する。
As described above, according to the technique described in
しかし、この技術によると、複数の仮想オブジェクト（ＡＲマーカーに対応するコンテンツ）に対して共通に新たなオブジェクトを追加するには、元の仮想オブジェクトを編集しなければならない。 However, according to this technique, in order to add a new object in common to a plurality of virtual objects (contents corresponding to the AR marker), the original virtual object must be edited.
本発明は、このような問題点に鑑み、複数の既存のオブジェクトに対して共通に、従来よりも簡単に新たなコンテンツを追加できるようにすることを、目的とする。 In view of such a problem, an object of the present invention is to make it possible to add new content more easily to a plurality of existing objects in common than in the past.
本発明の一形態に係るＡＲ（Augmented Reality）装置は、複数の第一の画像を現実の物体に重ねることによってＡＲを実現するＡＲ装置であって、表示手段と、前記複数の第一の画像のうちの少なくともいずれか１つを、所定の位置から前記物体を見た際に前記物体と重なるように、または、前記物体を撮影して得た第二の画像と重なるように、前記表示手段に表示させる、表示制御手段と、ユーザが書き加えた第三の画像を入力する入力手段と、前記複数の第一の画像の中から、前記第三の画像と対応付けるべき第一の画像である対応画像を決定する、決定手段と、前記第三の画像を前記対応画像と対応付けて記憶手段に記憶させる、登録手段と、を有する。 An AR (Augmented Reality) device according to an aspect of the present invention is an AR device that realizes an AR by superimposing a plurality of first images on a real object, and includes a display unit and the plurality of first images. The display unit is arranged so that at least one of them overlaps with the object when the object is viewed from a predetermined position, or overlaps with a second image obtained by photographing the object. Display control means, input means for inputting a third image added by the user, and a first image to be associated with the third image from the plurality of first images. Determining means for determining a corresponding image; and registering means for storing the third image in the storage means in association with the corresponding image.
好ましくは、前記決定手段は、前記複数の第一の画像のうちの、前記第三の画像と重なる第一の画像を、前記対応画像に決定する。または、前記複数の第一の画像のうちの、互いの距離が所定の長さ未満である複数の前記第三の画像のうちの少なくともいずれか１つと重なる第一の画像を、前記対応画像に決定する。または、前記複数の第一の画像のうちの、前記第三の画像と重なる第一の画像および当該第一の画像からの距離が所定の長さ未満である第一の画像を、前記対応画像に決定する。 Preferably, the determination unit determines, as the corresponding image, a first image that overlaps the third image among the plurality of first images. Alternatively, a first image that overlaps at least one of the plurality of third images that are less than a predetermined length among the plurality of first images is defined as the corresponding image. decide. Or, among the plurality of first images, a first image that overlaps the third image and a first image whose distance from the first image is less than a predetermined length, the corresponding image To decide.
または、前記物体には、前記複数の第一の画像それぞれに対応するマークが付されており、前記表示制御手段は、前記マークが撮影された際に、前記複数の第一の画像のうちの、当該撮影されたマークに対応する第一の画像を前記表示装置に表示させる。 Alternatively, the object is provided with a mark corresponding to each of the plurality of first images, and the display control unit, when the mark is photographed, of the plurality of first images. The first image corresponding to the photographed mark is displayed on the display device.
または、前記表示制御手段は、前記マークが撮影された際に、さらに、前記複数の第一の画像のうちの当該撮影されたマークに対応する第一の画像が前記対応画像として対応付けられて前記記憶手段に記憶されている前記第三の画像を前記表示装置に表示させる。 Alternatively, when the mark is photographed, the display control unit further associates a first image corresponding to the photographed mark among the plurality of first images as the corresponding image. The third image stored in the storage means is displayed on the display device.
本発明によると、複数の既存の画像に対して共通に、従来よりも簡単に新たな画像を追加することができる。 According to the present invention, a new image can be added to a plurality of existing images more easily than in the past.
図１は、ドキュメント閲覧システム１の全体的な構成の例を示す図である。図２は、ドキュメントサーバ２のハードウェア構成の例を示す図である。図３は、タブレット型端末装置３Ｔのハードウェア構成の例を示す図である。図４は、眼鏡型端末装置３Ｍのハードウェア構成の例を示す図である。
FIG. 1 is a diagram illustrating an example of the overall configuration of the
ドキュメント閲覧システム１は、図１に示すように、ドキュメントサーバ２、端末装置３、および通信回線４などによって構成される。ドキュメント閲覧システム１は、ドキュメント（文書）に関するデータを管理し、ドキュメントの閲覧のサービスをユーザに提供する。
As shown in FIG. 1, the
ドキュメントサーバ２と端末装置３とは、通信回線４を介して通信を行うことができる。通信回線４として、インターネット、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ(登録商標）、または携帯電話回線などが用いられる。
The
ドキュメントサーバ２は、ドキュメントを表示するためのデータを記憶し、適宜、端末装置３へ提供する。さらに、ユーザが書き加えたコンテンツのデータを記憶し、適宜、端末装置３へ提供する。ドキュメントサーバ２として、いわゆるサーバ機が用いられる。または、コピー、スキャン、ファックスなどの機能を備えた複合機を用いてもよいし、いわゆるクラウドサーバを用いてもよい。
The
ドキュメントサーバ２は、図２に示すように、ＣＰＵ（Central Processing Unit）２０ａ、ＲＡＭ（Random Access Memory）２０ｂ、ＲＯＭ（Read Only Memory）２０ｃ、大容量記憶装置２０ｄ、およびＮＩＣ（Network Interface Card）２０ｅなどによって構成される。
As shown in FIG. 2, the
ＮＩＣ２０ｅは、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などのプロトコルによって端末装置３などの装置と通信を行う。
The NIC 20e communicates with a device such as the
ＲＯＭ２０ｃまたは大容量記憶装置２０ｄには、コンテンツ管理プログラム２Ｐが記憶されている。コンテンツ管理プログラム２Ｐは、ＲＡＭ２０ｂにロードされ、ＣＰＵ２０ａによって実行される。大容量記憶装置２０ｄとして、ハードディスクまたはＳＳＤ（Solid State Drive）などが用いられる。
A content management program 2P is stored in the
端末装置３は、ドキュメントサーバ２から提供されるデータに基づいてドキュメントを表示する。また、ユーザが書き加えたコンテンツのデータをドキュメントサーバ２へ送信しドキュメントサーバ２に記憶させる。端末装置３として、パーソナルコンピュータ、タブレットコンピュータ、スマートフォン、または眼鏡型コンピュータなどが用いられる。
The
「眼鏡型コンピュータ」は、ウェアラブルコンピュータの一種であり、グーグル社のグーグルグラスのような、眼鏡のように顔に装着するタイプのコンピュータである。 The “glasses-type computer” is a kind of wearable computer, and is a computer that is worn on the face like glasses such as Google Glass of Google.
以下、端末装置３として、タブレットコンピュータまたは眼鏡型コンピュータが用いられる場合を例に説明する。前者および後者をそれぞれ「タブレット型端末装置３Ｔ」および「眼鏡型端末装置３Ｍ」と区別して記載することがある。
Hereinafter, a case where a tablet computer or a glasses-type computer is used as the
タブレット型端末装置３Ｔは、図３に示すように、ＣＰＵ３０ａ、ＲＡＭ３０ｂ、ＲＯＭ３０ｃ、フラッシュメモリ３０ｄ、タッチパネルディスプレイ３０ｅ、操作ボタン群３０ｆ、デジタルカメラ３０ｇ、および無線通信装置３０ｈなどが用いられる。
As shown in FIG. 3, the
タッチパネルディスプレイ３０ｅは、フラット型ディスプレイ（例えば、液晶ディスプレイ）およびタッチパネルによって構成される。フラット型ディスプレイは、種々の画像を表示する。特にドキュメントを表示するために用いられる。タッチパネルは、ユーザがタッチした位置を検知し、その位置をＣＰＵ３０ａへ通知する。
The
操作ボタン群３０ｆは、ホーム画面に戻るためのボタン、何かを確定するためのボタン、音量を調整するためのボタン、および電源のオン／オフを切り換えるためのボタンなどによって構成される。
The
デジタルカメラ３０ｇは、種々の画像を撮影する。特にドキュメントが印刷された用紙を撮影するために用いられる。
The
無線通信装置３０ｈは、基地局を介してＴＣＰ／ＩＰなどのプロトコルによってドキュメントサーバ２などの装置と通信を行う。無線通信装置３０ｈの通信方式として、例えば、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＬＴＥ（Long Term Evolution）、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）、またはＰＨＳ（Personal Handy-phone System）などが用いられる。
The
ＲＯＭ３０ｃまたはフラッシュメモリ３０ｄには、クライアントプログラム３Ｐが記憶されている。クライアントプログラム３Ｐは、ＲＡＭ３０ｂにロードされ、ＣＰＵ３０ａによって実行される。
A client program 3P is stored in the
眼鏡型端末装置３Ｍは、図４に示すように、ＣＰＵ３１ａ、ＲＡＭ３１ｂ、ＲＯＭ３１ｃ、フラッシュメモリ３１ｄ、ディスプレイ３１ｅ、操作ボタン群３１ｆ、デジタルカメラ３１ｇ、および無線通信装置３１ｈなどが用いられる。
As shown in FIG. 4, the eyeglass-
ＣＰＵ３１ａ、ＲＡＭ３１ｂ、ＲＯＭ３１ｃ、フラッシュメモリ３１ｄ、ディスプレイ３１ｅ、操作ボタン群３１ｆ、デジタルカメラ３１ｇ、および無線通信装置３１ｈの役割は、それぞれ、タブレット型端末装置３ＴのＣＰＵ３０ａ、ＲＡＭ３０ｂ、ＲＯＭ３０ｃ、フラッシュメモリ３０ｄ、タッチパネルディスプレイ３０ｅ、操作ボタン群３０ｆ、デジタルカメラ３０ｇ、および無線通信装置３０ｈと基本的に同様である。
The roles of the
ただし、画像を再現する方式が、タッチパネルディスプレイ３０ｅとディスプレイ３１ｅとでは、相違する。タッチパネルディスプレイ３０ｅは、上述の通り、液晶ディスプレイのような平面型のディスプレイが用いられる。一方、ディスプレイ３１ｅは、柄の根元に設けられたプロジェクタからレンズの端部付近に設けられたプリズムへ光を発することによって、画像を再現する。
However, the method for reproducing an image is different between the
クライアントプログラム３Ｐが、ＲＯＭ３１ｃまたはフラッシュメモリ３１ｄに記憶されており、ＲＡＭ３１ｂにロードされ、ＣＰＵ３１ａによって実行される。
The client program 3P is stored in the
図５は、印刷物５１の元の例を示す図である。図６は、端末装置３を介して印刷物５１を見た際の状態の例を示す図である。図７は、ドキュメントサーバ２および端末装置３の機能的構成の例を示す図である。
FIG. 5 is a diagram illustrating an original example of the printed
ところで、ドキュメント閲覧システム１は、ＰＤＦ（Portable Document Format）などのファイルを単に提供するだけでなく、ＡＲ（Augmented Reality）の技術によってドキュメントを再現することができる。この際に、印刷物５１が用いられる。印刷物５１は、複数のユーザ（例えば、会社の従業員）に配付されている。
Incidentally, the
印刷物５１は、図５のように、２種類のオブジェクト（画像）が予め印刷されている。１つ目は、呼出用マーカー５１Ｙである。呼出用マーカー５１Ｙは、ドキュメントサーバ２にデータが記憶されているコンテンツを呼び出すためのものである。２つ目は、固定コンテンツ５１Ｋである。固定コンテンツ５１Ｋは、呼出用マーカー５１Ｙ以外のオブジェクトである。以下、２つの呼出用マーカー５１Ｙをそれぞれ「呼出用マーカー５１Ｙａ」、「呼出用マーカー５１Ｙｂ」と区別して記載することがある。
As shown in FIG. 5, the printed
ユーザが眼鏡型端末装置３Ｍを掛けて印刷物５１を見ると、呼出用マーカー５１Ｙに基づいてコンテンツのデータがドキュメントサーバ２からダウンロードされ、図６のように、コンテンツが印刷物５１に印刷されているかのように見える。タブレット型端末装置３Ｔで印刷物５１を撮影しながら見た場合も、同様に見える。
When the user wears the glasses-
このように、ドキュメント閲覧システム１によると、ＡＲが実現される。呼出用マーカー５１Ｙとして、ＡＲマーカーが用いられる。なお、呼出用マーカー５１Ｙは、後述する原コンテンツコードを示すものである。
Thus, according to the
また、ドキュメント閲覧システム１によると、あるユーザが端末装置３を介して印刷物５１を見ながら印刷物５１に書き込んだコンテンツを画像のオブジェクトとして記録しておき、その後に他のユーザが端末装置３を介して印刷物５１を見たときに、呼出用マーカー５１Ｙに対応するコンテンツだけでなく、書き込まれたコンテンツも印刷されているかのように見せることができる。
Further, according to the
これらの仕組みは、コンテンツ管理プログラム２Ｐおよびクライアントプログラム３Ｐによって実現される。以下、これらの仕組みについて、説明する。 These mechanisms are realized by the content management program 2P and the client program 3P. Hereinafter, these mechanisms will be described.
コンテンツ管理プログラム２Ｐによると、図７に示す原コンテンツ画像記憶部２０１、コンテンツ属性データベース２０２、コンテンツ送信部２０３、追記コンテンツ登録処理部２０４、および追記コンテンツ画像記憶部２０５などの機能が実現される。
According to the content management program 2P, functions such as the original content
クライアントプログラム３Ｐによると、図７に示すコンテンツダウンロード部３０１、コンテンツ表示部３０２、追記コンテンツ抽出部３０３、軌跡検出部３０４、書込先判別部３０５、対応付コンテンツ決定部３０６、および追記コンテンツ登録要求部３０７などの機能が実現される。
According to the client program 3P, the
〔準備〕
図８は、原コンテンツ５１Ｇの記憶の仕方の例を示す図である。図９は、コンテンツ属性データベース２０２の例を示す図である。
[Preparation]
FIG. 8 is a diagram showing an example of how to store the
呼出用マーカー５１Ｙに基づいて端末装置３によって呼び出されるコンテンツは、２種類ある。１つ目は、印刷物５１の作成者などが予め用意した原コンテンツ５１Ｇである。２つ目は、ユーザが後から書き加えた追記コンテンツ５１Ｆである。
There are two types of content called by the
ドキュメントサーバ２において、原コンテンツ画像記憶部２０１には、図８に示すように、原コンテンツ５１Ｇごとの画像データが、各々を識別するための原コンテンツコードと対応付けられて記憶されている。
In the
コンテンツ属性データベース２０２には、図９に示すように、呼出用マーカー５１Ｙごとに、原コンテンツ５１Ｇまたは追記コンテンツ５１Ｆの情報が記憶されている。
As shown in FIG. 9, the
なお、追記コンテンツ５１Ｆの画像データは、後述する通り、追記コンテンツ画像記憶部２０５に記憶される。
Note that the image data of the
印刷物５１を作成した当初は、コンテンツ属性データベース２０２には、図９に示すように、呼出用マーカー５１Ｙごとに、それ自身の画像データ（本例では、ＡＲマーカー）、それ自身が表わす原コンテンツコード、および原コンテンツ位置が記憶されている。原コンテンツ位置は、その呼出用マーカー５１Ｙを基準の位置とした場合の、原コンテンツ５１Ｇを配置すべき位置である。
Initially, the printed
追記コンテンツコードおよび追記コンテンツ位置は、未だ示されていない。これらの情報は、後述するように、ユーザがこの呼出用マーカー５１Ｙに対応付けてコンテンツを追記した場合に追加される。
The postscript content code and the postscript content position are not shown yet. As will be described later, these pieces of information are added when the user adds content in association with the
〔追記前における閲覧のための基本的な処理〕
図１０は、端末装置３を介して印刷物５１を見た際の状態の例を示す図である。
[Basic processing for browsing before appending]
FIG. 10 is a diagram illustrating an example of a state when the printed
端末装置３において、コンテンツダウンロード部３０１は、ユーザの操作に応じて、コンテンツの画像データを次のようにダウンロードする。
In the
ユーザは、端末装置３のデジタルカメラ３０ｇまたは３１ｇを印刷物５１の印刷面の方へ向ける。すると、デジタルカメラ３０ｇまたは３１ｇによって印刷面の画像が撮影される。なお、タブレット型端末装置３Ｔにおいては、撮影された画像がタッチパネルディスプレイ３０ｅに表示される。
The user points the
撮影された画像にいずれかの呼出用マーカー５１Ｙが含まれていると、コンテンツダウンロード部３０１は、この呼出用マーカー５１Ｙを検知する。そして、この呼出用マーカー５１Ｙに対応するコンテンツを、ドキュメントサーバ２に対して要求する。この際に、この呼出用マーカー５１Ｙをドキュメントサーバ２へ送信する。
If any of the
すると、ドキュメントサーバ２において、コンテンツ送信部２０３は、端末装置３から送信されてきた呼出用マーカー５１Ｙ（ＡＲマーカー）に対応する原コンテンツ５１Ｇの画像データを原コンテンツ画像記憶部２０１から読み出し、端末装置３へ送信する。また、その呼出用マーカー５１Ｙに対応する原コンテンツコードおよび原コンテンツ位置をコンテンツ属性データベース２０２から読み出し、端末装置３へ通知する。
Then, in the
端末装置３において、コンテンツダウンロード部３０１は、原コンテンツ５１Ｇの画像データおよび原コンテンツ位置を受信する。
In the
なお、撮影された画像に呼出用マーカー５１Ｙが複数含まれている場合は、呼出用マーカー５１Ｙそれぞれについて、上述の処理が実行される。したがって、２つの呼出用マーカー５１Ｙが含まれる場合は、画像データおよび原コンテンツ位置が２組、ドキュメントサーバ２から端末装置３へ提供される。
When a plurality of calling
この呼出用マーカー５１Ｙに対応する追記コンテンツコードがコンテンツ属性データベース２０２に示される場合は、コンテンツ送信部２０３は、この追記コンテンツコードを有する追記コンテンツ５１Ｆの画像データをも、端末装置３へ送信する。これについては、後述する。
When the additional content code corresponding to the
コンテンツ表示部３０２は、画像データなどを受信すると、これらに基づいて原コンテンツ５１Ｇをタッチパネルディスプレイ３０ｅまたはディスプレイ３１ｅによって次のように表示する。
Upon receiving image data and the like, the
タブレット型端末装置３Ｔの場合は、コンテンツ表示部３０２は、デジタルカメラ３０ｇによって撮影されタッチパネルディスプレイ３０ｅによって表示された画像の中の、呼出用マーカー５１Ｙの位置を検知する。そして、この位置を基準として、ドキュメントサーバ２から通知された原コンテンツ位置に、ドキュメントサーバ２から受信した画像データに基づいてタッチパネルディスプレイ３０ｅによって原コンテンツ５１Ｇを重ねて表示させる。
In the case of the
例えば、２つの呼出用マーカー５１Ｙａ、５１Ｙｂのうち、デジタルカメラ３０ｇによって呼出用マーカー５１Ｙａのみが撮影された場合は、コンテンツ表示部３０２は、図１０のように、撮影された画像の上に、原コンテンツ５１Ｇ１を重ねて表示させる。または、呼出用マーカー５１Ｙｂのみが撮影された場合は、コンテンツ表示部３０２は、撮影された画像の上に、原コンテンツ５１Ｇ２を重ねて表示させる。または、両方が撮影された場合は、それぞれの画像データおよび原コンテンツ位置に基づいて、撮影された画像の上に原コンテンツ５１Ｇ１、５１Ｇ２の両方を重ねて表示させる。これにより、図６に示したように原コンテンツ５１Ｇ１、５１Ｇ２が表示される。
For example, when only the call marker 51Ya is photographed by the
一方、眼鏡型端末装置３Ｍの場合は、コンテンツ表示部３０２は、デジタルカメラ３１ｇによって撮影された画像の中の、呼出用マーカー５１Ｙの位置を検知する。そして、この位置を基準として、ドキュメントサーバ２から通知された原コンテンツ位置に重なって見えるように、ドキュメントサーバ２から受信した画像データに基づいて原コンテンツ５１Ｇをディスプレイ３１ｅによって表示する。
On the other hand, in the case of the glasses-
例えば、２つの呼出用マーカー５１Ｙａ、５１Ｙｂのうち、デジタルカメラ３０ｇによって呼出用マーカー５１Ｙａのみが撮影された場合は、印刷物５１の、呼出用マーカー５１Ｙａおよび受信した原コンテンツ位置によって定まる位置に重なって見えるように、原コンテンツ５１Ｇ１をディスプレイ３１ｅによって表示する。これにより、ユーザは、図１０に示した状態とほぼ同じように、印刷物５１が見える。
For example, when only the calling marker 51Ya is photographed by the
このように、原コンテンツ５１Ｇはデジタルカメラ３０ｇまたは３１ｇを介して実物に対して仮想的に添付される情報であると、言える。このような情報は、一般に「エアタグ」と呼ばれることもある。後述する追記コンテンツ５１Ｆについても、同様である。
In this way, it can be said that the
〔追記時の基本的な処理〕
図１６は、追記コンテンツ５１Ｆの登録後のコンテンツ属性データベース２０２の状態の例を示す図である。
[Basic processing during appending]
FIG. 16 is a diagram illustrating an example of the state of the
図１１は、追記コンテンツ抽出処理の流れの例を説明するフローチャートである。図１２は、書込画像５２から追記コンテンツ５１Ｆを抽出する処理および軌跡を検出する処理の例を説明する図である。図１３〜図１５は、追記コンテンツ５１Ｆが書き込まれた際の印刷物５１の状態の例を示す図である。
FIG. 11 is a flowchart for explaining an example of the flow of additional write content extraction processing. FIG. 12 is a diagram for explaining an example of processing for extracting the
ユーザは、端末装置３を介して原コンテンツ５１Ｇを見ながら、印刷物５１に書込みを行うことができる。書き込まれたコンテンツは、追記コンテンツ５１Ｆとしてドキュメントサーバ２に登録される。そして、その後、他のユーザが自分の印刷物５１を端末装置３を介して見たときに、追記コンテンツ５１Ｆが原コンテンツ５１Ｇとともに表示される。以下、この仕組みを、ユーザＵｘが端末装置３の操作および印刷物５１への書込みを行う場合を例に説明する。
The user can write on the printed
端末装置３において、追記コンテンツ抽出部３０３は、追記コンテンツ５１Ｆを抽出する。また、軌跡検出部３０４は、抽出された追記コンテンツ５１Ｆが表わす軌跡を検出する。ここで、これらの処理を、図１１を参照しながら説明する。
In the
ユーザＵｘは、端末装置３によって印刷物５１の印刷面の画像を撮影しながら、印刷物５１に書込みを行う。この際に、追記コンテンツ抽出部３０３は、この画像から、ユーザＵｘが書き込んだ画像を書込画像５２として抽出する（図１１の＃７０１）。抽出は、公知の方法で行えばよい。例えば、書込みの前後の画像を比較することによって抽出すればよい。または、所定の色のペンでユーザＵｘに書込みを行わせ、この色の画像を抽出してもよい。または、ペンの先の動きを追跡することによって画像を抽出してもよい。以下、本フローチャートにおいては、図１２（Ａ）のような書込画像５２が抽出された場合を例に説明する。
The user Ux writes on the printed
ユーザＵｘは、書込みが終わったら、所定の操作を端末装置３に対して行う。例えば、操作ボタン群３０ｆまたは３１ｆの中の所定のボタンを押す。
When the writing is finished, the user Ux performs a predetermined operation on the
すると、追記コンテンツ抽出部３０３は、書込画像５２に対して文字認識処理を施し（＃７０２）、図１２（Ｂ）のように、文字からなる部分である文字部分５２Ａとそれ以外の部分である非文字部分５２Ｂとに分離する（＃７０３）。そして、文字部分５２Ａおよび非文字部分５２Ｂのそれぞれを、追記コンテンツ５１Ｆとして抽出する。
Then, the additional write
軌跡検出部３０４は、文字部分５２Ａがあった場合は（＃７０４でＹｅｓ）、図１２（Ｃ）において点線で示すように、文字部分５２Ａの中の、縦方向に所定の距離未満で隣り合う文字を次々に辿ることによって、これらの文字の列の一方の端部と他方の端部とを繋ぐ線を軌跡として抽出する（＃７０５）。同様に、図１２（Ｄ）において点線で示すように、横方向に所定の距離未満で隣り合う文字を次々に辿ることによって、軌跡を抽出する（＃７０６）。
When the
また、軌跡検出部３０４は、非文字部分５２Ｂがあった場合は（＃７０７でＹｅｓ）、非文字部分５２Ｂを軌跡として検出する（＃７０８）。
In addition, when there is a
なお、追記コンテンツ抽出部３０３は、非文字部分５２Ｂをさらに複数の部分に分離し、各部分を追記コンテンツ５１Ｆとして抽出してもよい。そして、軌跡検出部３０４は、それぞれを軌跡として検出してもよい。例えば、ユーザＵｘが文字部分５２Ａを囲むように周を書いてから所定の時間（例えば、１．５秒）以上が経過した後に残りの部分を書いた場合は、図１２（Ｅ）のように、周および残りの部分それぞれを分離して追記コンテンツ５１Ｆとして抽出し、かつ、軌跡として検出してもよい。
Note that the additional
文字部分５２Ａについても同様に、複数の部分に分離し、各部分を、追記コンテンツ５１Ｆとして抽出してもよい。例えば、１つまたは複数の文字からなるグループが複数ある場合は、それぞれを追記コンテンツ５１Ｆとして抽出してもよい。
Similarly, the
図１２の例では、１つの書込画像５２から追記コンテンツ５１Ｆが複数抽出される場合を例に説明したが、１つしか抽出されない場合もある。
In the example of FIG. 12, a case where a plurality of
書込先判別部３０５は、追記コンテンツ抽出部３０３によって抽出された追記コンテンツ５１Ｆの書込み先を次のように判別する。
The writing destination determination unit 305 determines the writing destination of the
書込先判別部３０５は、軌跡検出部３０４によって追記コンテンツ５１Ｆから検出されたいずれかの軌跡と交わる原コンテンツ５１Ｇを検索する。そして、見つかった原コンテンツ５１Ｇが書込み先であると、判別する。１つの書込画像５２から追記コンテンツ５１Ｆが複数抽出された場合は、それぞれについて、書込み先を判別する。
The writing destination determination unit 305 searches for the
対応付コンテンツ決定部３０６は、書込先判別部３０５の判別結果に応じて、追記コンテンツ５１Ｆをどの原コンテンツ５１Ｇへ対応付けるべきかを、次のように決定する。
Corresponding
追記コンテンツ５１Ｆの書込み先が１つの原コンテンツ５１Ｇのみであった場合は、対応付コンテンツ決定部３０６は、この追記コンテンツ５１Ｆを対応付ける相手をこの原コンテンツ５１Ｇに決定する。追記コンテンツ５１Ｆが複数あり、かつ、これらの書込み先が１つの原コンテンツ５１Ｇに共通する場合も、同様である。
When the write destination of the
例えば、図１３に示すように３つの追記コンテンツ５１Ｆａ〜５１Ｆｃの書込み先がすべて原コンテンツ５１Ｇ１のみであった場合は、これらの追記コンテンツ５１Ｆａ〜５１Ｆｃを対応付ける相手を原コンテンツ５１Ｇ１に決定する。 For example, as shown in FIG. 13, when the write destinations of the three additional content 51Fa to 51Fc are all only the original content 51G1, the other content to be associated with the additional content 51Fa to 51Fc is determined as the original content 51G1.
または、１つの追記コンテンツ５１Ｆの書込み先として複数の原コンテンツ５１Ｇがあった場合は、対応付コンテンツ決定部３０６は、この追記コンテンツ５１Ｆを対応付ける相手を、これら複数の原コンテンツ５１Ｇに決定する。
Alternatively, when there are a plurality of
例えば、図１４に示すように、追記コンテンツ５１Ｆｄの書込み先が原コンテンツ５１Ｇ１および原コンテンツ５１Ｇ２であった場合は、追記コンテンツ５１Ｆｄを対応付ける相手を原コンテンツ５１Ｇ１および原コンテンツ５１Ｇ２に決定する。 For example, as illustrated in FIG. 14, when the write destination of the additional content 51Fd is the original content 51G1 and the original content 51G2, the counterpart to which the additional content 51Fd is associated is determined as the original content 51G1 and the original content 51G2.
または、１つの書込画像５２から複数の追記コンテンツ５１Ｆが抽出されたが、それぞれの書込み先が異なる場合は、対応付コンテンツ決定部３０６は、次のように決定する。
Alternatively, when a plurality of
対応付コンテンツ決定部３０６は、距離が所定の値以下である２つの追記コンテンツ５１Ｆ同士をグループ化する。共通の追記コンテンツ５１Ｆが含まれる複数のグループ同士もグループ化する。そして、グループごとに、１回でも書込み先として判別された原コンテンツ５１Ｇをピックアップし、このグループのメンバー（追記コンテンツ５１Ｆ）を対応付ける相手を、ピックアップしたすべての原コンテンツ５１Ｇに決定する。
The associated
例えば、図１５に示すように、追記コンテンツ５１Ｆｅ〜５１Ｆｇが１つのグループにグループ化され、追記コンテンツ５１Ｆｅの書込み先が原コンテンツ５１Ｇ１であり、追記コンテンツ５１Ｆｆの書込み先が原コンテンツ５１Ｇ１および原コンテンツ５１Ｇ２であり、追記コンテンツ５１Ｆｇの書込み先がいずれの原コンテンツ５１Ｇでもない場合は、少なくとも１回、原コンテンツ５１Ｇ１および原コンテンツ５１Ｇ２がピックアップされる。よって、追記コンテンツ５１Ｆｅ〜５１Ｆｇを対応付ける相手を原コンテンツ５１Ｇ１および原コンテンツ５１Ｇ２に決定する。
For example, as shown in FIG. 15, the postscript content 51Fe to 51Fg is grouped into one group, the write destination of the postscript content 51Fe is the original content 51G1, and the write destination of the postscript content 51Ff is the original content 51G1 and the original content 51G2. If the write destination of the additional content 51Fg is not any
追記コンテンツ登録要求部３０７は、追記コンテンツ抽出部３０３によって抽出された追記コンテンツ５１Ｆを、対応付コンテンツ決定部３０６によって決定された原コンテンツ５１Ｇへ対応付けて登録するように、ドキュメントサーバ２に対して要求する。この際に、追記コンテンツ５１Ｆの画像データおよび決定された原コンテンツ５１Ｇに対応する呼出用マーカー５１Ｙをドキュメントサーバ２へ送信するとともに、追記コンテンツ位置をドキュメントサーバ２へ通知する。「追記コンテンツ位置」は、その原コンテンツ５１Ｇの呼出用マーカー５１Ｙを基準の位置とした場合の、その追記コンテンツ５１Ｆの位置である。
The additional content
追記コンテンツ５１Ｆが複数抽出された場合は、それぞれについて、画像データおよび呼出用マーカー５１Ｙの送信および追記コンテンツ位置の通知を行う。また、１つの追記コンテンツ５１Ｆについて対応付ける相手として複数の原コンテンツ５１Ｇがある場合は、それぞれに対応する呼出用マーカー５１Ｙを送信し、それぞれに対応する呼出用マーカー５１Ｙを基準とする追記コンテンツ位置を通知する。
When a plurality of
ドキュメントサーバ２において、追記コンテンツ登録処理部２０４は、端末装置３から送信されてきた追記コンテンツ５１Ｆを登録する処理を次のように実行する。
In the
追記コンテンツ登録処理部２０４は、この追記コンテンツ５１Ｆに対してユニークな追記コンテンツコードを発行する。端末装置３から送信されてきた画像データを、この追記コンテンツコードに対応付けて追記コンテンツ画像記憶部２０５に記憶させる。さらに、コンテンツ属性データベース２０２（図９参照）の、端末装置３から送信されてきた呼出用マーカー５１Ｙ（ＡＲコード）のレコードに、この追記コンテンツコードおよび通知された追記コンテンツ位置を格納する。
The additional write content
複数の追記コンテンツ５１Ｆそれぞれの画像データなどが送信されてきた場合は、追記コンテンツ登録処理部２０４は、それぞれについて上述の処理を行う。その結果、図１３、図１４、および図１５の例の場合は、コンテンツ属性データベース２０２は、それぞれ、図１６（Ａ）、（Ｂ）、および（Ｃ）のように更新される。
When the image data of each of the plurality of
〔追記コンテンツが既に登録されている場合の閲覧のための基本的な処理〕
ユーザＵｘが、自分へ配付された印刷物５１に追記コンテンツ５１Ｆを書き込んでも、他のユーザへ配付された印刷物５１には反映されない。しかし、当該他のユーザは、自分へ配付された印刷物５１を、端末装置３を介して見ると、この追記コンテンツ５１Ｆが書き込まれたかのように見える。次に、この仕組みについて、ユーザＵｙが端末装置３の操作を行う場合を例に説明する。
[Basic processing for browsing when additional content is already registered]
Even if the user Ux writes the
ユーザＵｙによる端末装置３の操作は、「追記前における閲覧のための基本的な処理」の項で説明した操作と同様である。また、端末装置３も同項で説明した処理と同様に、デジタルカメラ３０ｇまたは３１ｇによって印刷物５１の印刷面の画像を撮影する。そして、コンテンツダウンロード部３０１が、撮影された画像に含まれる呼出用マーカー５１Ｙに対応するコンテンツをドキュメントサーバ２へ要求する。
The operation of the
ドキュメントサーバ２において、コンテンツ送信部２０３は、同項の場合と同様に、この呼出用マーカー５１Ｙに対応する原コンテンツ５１Ｇの画像データを原コンテンツ画像記憶部２０１から読み出し、端末装置３へ送信するとともに、その呼出用マーカー５１Ｙに対応する原コンテンツコードおよび原コンテンツ位置をコンテンツ属性データベース２０２から読み出し、その原コンテンツコードとともに端末装置３へ通知する。
In the
ここでは、この呼出用マーカー５１Ｙに対応する追記コンテンツコードがコンテンツ属性データベース２０２に示されているので、コンテンツ送信部２０３は、この追記コンテンツコードに対応する追記コンテンツ５１Ｆの画像データを追記コンテンツ画像記憶部２０５から読み出し、端末装置３へ送信する。そして、その追記コンテンツコードに対応する追記コンテンツ位置をコンテンツ属性データベース２０２から読み出し、その原コンテンツコードとともに端末装置３へ通知する。
Here, since the additional content code corresponding to the
端末装置３において、コンテンツ表示部３０２は、画像データなどを受信すると、これらに基づいて原コンテンツ５１Ｇおよび追記コンテンツ５１Ｆをタッチパネルディスプレイ３０ｅまたはディスプレイ３１ｅによって表示する。原コンテンツ５１Ｇを表示する仕組みは、前に説明した通りである。
In the
追記コンテンツ５１Ｆを表示させる仕組みも、同様である。すなわち、コンテンツ表示部３０２は、追記コンテンツ５１Ｆを、呼出用マーカー５１Ｙの位置を基準として、ドキュメントサーバ２から通知されたこの追記コンテンツ５１Ｆの追記コンテンツ位置に、ドキュメントサーバ２から受信したこの追記コンテンツ５１Ｆの画像データに基づいて表示させる。
The mechanism for displaying the
コンテンツダウンロード部３０１によるコンテンツの要求の際に呼出用マーカー５１Ｙを複数、ドキュメントサーバ２へ送信した場合は、それぞれの呼出用マーカー５１Ｙについて、追記コンテンツ５１Ｆの画像データおよび追加コンテンツ位置がドキュメントサーバ２から与えられる。そこで、コンテンツ表示部３０２は、それぞれの呼出用マーカー５１Ｙについて、これらのデータに基づいて追記コンテンツ５１Ｆを表示させる。
When a plurality of
その結果、ユーザＵｙの印刷物５１は、ユーザＵｘが書き込んだコンテンツが書き込まれたかのように見える。
As a result, the printed
〔追記コンテンツ５１Ｆの書込み先が複数ある場合の第一の変形例〕
図１７は、呼出用マーカー５１Ｙと関連コンテンツコードとの対応付けの例を示す図である。図１８は、コンテンツ属性データベース２０２の例を示す図である。
[First modified example in the case where there are a plurality of write destinations of the
FIG. 17 is a diagram illustrating an example of association between the
１つの追記コンテンツ５１Ｆが複数の原コンテンツ５１Ｇに対応付けられる場合がある。この場合に、上述の方法によって端末装置３を介して印刷物５１を見ると、この追記コンテンツ５１Ｆが複数、表示される。
One
例えば、図１４および図１６（Ｂ）の例によると、追記コンテンツ５１Ｆｄが、呼出用マーカー５１Ｙａを基準とする（ａ４ｘ，ａ４ｙ）の位置に表示され、呼出用マーカー５１Ｙｂを基準とする（ａ５ｘ，ａ５ｙ）の位置に表示される。 For example, according to the example of FIGS. 14 and 16B, the additional content 51Fd is displayed at a position (a4x, a4y) with the call marker 51Ya as a reference, and the call marker 51Yb is set as a reference (a5x, a5y) is displayed.
ただし、これらの位置は、計算上は一致するので、この追記コンテンツ５１Ｆは１つしか表示されないはずである。
However, since these positions match in calculation, only one
しかし、これらの位置が誤差などによってずれると、この追記コンテンツ５１Ｆが二重になり、ぼけたように表示される可能性がある。図１５および図１６（Ｃ）に示す例においても、同様である。
However, if these positions are shifted due to an error or the like, the
そこで、このような不具合が表われないように、ドキュメント閲覧システム１を例えば次のように構成してもよい。
Therefore, the
追記コンテンツ登録要求部３０７は、１つの追記コンテンツ５１Ｆを対応付ける相手として複数の原コンテンツ５１Ｇが対応付コンテンツ決定部３０６によって決定した場合に、この追記コンテンツ５１Ｆの画像データなどを送信するだけでなく、さらに、これらの原コンテンツ５１Ｇに対応する呼出用マーカー５１Ｙを、互いに関連する原コンテンツ５１Ｇの呼出用マーカー５１Ｙとして通知する。
The additional content
すると、ドキュメントサーバ２において、追記コンテンツ登録処理部２０４は、ユニークな関連コンテンツコードを発行し、この関連コンテンツコードに対応付けて、これらの呼出用マーカー５１Ｙを所定の保存先に記憶させる。例えば、追記コンテンツ画像記憶部２０５に記憶させればよい。または、図１７に示すように、これらの呼出用マーカー５１Ｙが表わす原コンテンツコードをも対応付けて記憶させてもよい。または、図１８に示すように、発行した関連コンテンツコードをコンテンツ属性データベース２０２に記憶させてもよい。
Then, in the
その後、コンテンツ送信部２０３は、端末装置３からのコンテンツの要求の際に複数の呼出用マーカー５１Ｙが送信されてきたら、これらの呼出用マーカー５１Ｙそれぞれに対応付けられている関連コンテンツコード同士を比較する。
After that, when a plurality of
そして、関連コンテンツコードが同じである呼出用マーカー５１Ｙがあれば、コンテンツ送信部２０３は、任意の１つの呼出用マーカー５１Ｙについてのみ、上述と同様に、それに対応付けられている追記コンテンツコードの画像データを端末装置３へ送信し、追記コンテンツ位置などを端末装置３へ通知する。一方、残りの呼出用マーカー５１Ｙについては、追記コンテンツに関する処理を省略する。
Then, if there is a
これにより、１つの追記コンテンツ５１Ｆの提供の処理が重複するのを避け、上記の不具合が発生しないようにすることができる。
Thereby, it is possible to avoid the process of providing one
〔追記コンテンツ５１Ｆの書込み先が複数ある場合の第二の変形例〕
図１９は、コンテンツ属性データベース２０２の例を示す図である。
[Second modified example in the case where there are a plurality of write destinations of the
FIG. 19 is a diagram illustrating an example of the
または、同じ追記コンテンツ５１Ｆの提供の処理が重複するのを避けるために、ドキュメント閲覧システム１を次のように構成してもよい。
Alternatively, the
端末装置３の追記コンテンツ登録要求部３０７およびドキュメントサーバ２の追記コンテンツ登録処理部２０４は、「追記時の基本的な処理」の項で説明した通りの処理を実行する。これにより、複数の呼出用マーカー５１Ｙが撮影され追記コンテンツ５１Ｆが書き込まれた場合に、例えば図１６（Ｂ）または図１６（Ｃ）に示したように、１つの追記コンテンツ５１Ｆが複数の呼出用マーカー５１Ｙに対応付けられて登録される。
The additional write content
さらに、追記コンテンツ登録要求部３０７および追記コンテンツ登録処理部２０４は、次の処理を実行する。
Furthermore, the additional write content
追記コンテンツ登録要求部３０７は、これら複数の呼出用マーカー５１Ｙがすべてぴったり収まる矩形の領域の位置を基準とした、追記コンテンツ５１Ｆの位置を、追記コンテンツ位置としてドキュメントサーバ２へ通知する。
The additional write content
すると、追記コンテンツ登録処理部２０４は、端末装置３から送信されてきた複数の呼出用マーカー５１Ｙを１つの呼出用マーカー５１Ｙとみなし、この呼出用マーカー５１Ｙのレコードを新たに生成しコンテンツ属性データベース２０２に登録する。以下、この１つとみなした呼出用マーカー５１Ｙを「複合呼出用マーカー５１ＹＧ」と記載する。
Then, the additional content
例えば、端末装置３において、図１５のように追記コンテンツ５１Ｆが書き込まれた場合は、図１９のように、新たなレコードが生成されコンテンツ属性データベース２０２に追加される。
For example, when the
このレコードにおいて、「ＡＲコード」には、複合呼出用マーカー５１ＹＧが示される。「原コンテンツコード」には、複合呼出用マーカー５１ＹＧを構成する複数の呼出用マーカー５１Ｙそれぞれに対応する原コンテンツ５１Ｇの原コンテンツコードが示される。「原コンテンツ位置」には、これらの原コンテンツ５１Ｇそれぞれの原コンテンツ位置が示される。「追記コンテンツコード」には、この追記コンテンツ５１Ｆの追記コンテンツコードが示される。「追記コンテンツ位置」には、この追記コンテンツ５１Ｆの追記コンテンツ位置が示される。追記コンテンツ５１Ｆが複数ある場合は、それぞれの追記コンテンツコードおよび追記コンテンツ位置が示される。
In this record, “AR code” indicates a composite call marker 51YG. The “original content code” indicates the original content code of the
その後、端末装置３からのコンテンツの要求の際に複数の呼出用マーカー５１Ｙがドキュメントサーバ２へ送信されると、次の処理が実行される。
Thereafter, when a plurality of
ドキュメントサーバ２のコンテンツ送信部２０３は、これら複数の呼出用マーカー５１Ｙからなる複合呼出用マーカー５１ＹＧのレコードをコンテンツ属性データベース２０２の中から検索する。このレコードに示される原コンテンツコードそれぞれの原コンテンツ５１Ｇの画像データおよび原コンテンツ位置を端末装置３へ送信（通知）する。さらに、このレコードに示される追記コンテンツコードそれぞれの追記コンテンツ５１Ｆの画像データおよび追記コンテンツ位置を端末装置３へ送信（通知）する。
The
そして、端末装置３において、コンテンツ表示部３０２は、各原コンテンツ５１Ｇを、その画像データおよび原コンテンツ位置に基づいて表示させる。また、各追記コンテンツ５１Ｆを、その画像データおよび追記コンテンツ位置に基づいて表示させる。ただし、追記コンテンツ５１Ｆの位置は、複合呼出用マーカー５１ＹＧの位置を基準とする。
And in the
〔２つの原コンテンツ５１Ｇの関連付けの変形例〕
図１４または図１５に示したように、２つの原コンテンツ５１Ｇの関連付けを、１つまたは特定の複数の追記コンテンツ５１Ｆとこれら２つの原コンテンツ５１Ｇとの位置関係に基づいて行った。
[Modification of associating two
As shown in FIG. 14 or FIG. 15, the two
しかし、追記コンテンツ５１Ｆに関わらず、２つの原コンテンツ５１Ｇ同士の距離に応じて関連付けを行ってもよい。そして、一方に書き込まれた追記コンテンツ５１Ｆを、他方にも書き込まれたものとして、取り扱ってもよい。
However, the association may be performed according to the distance between the two
例えば、図１３に示した２つの原コンテンツ５１Ｇ１、５１Ｇ２は、互いの距離が閾値未満である。そこで、両者を関連付ける。追記コンテンツ５１Ｆａ〜５１Ｆｃの書込み先は、すべて原コンテンツ５１Ｇ１のみである。したがって、前に説明した処理によると、原コンテンツ５１Ｇ１にのみ対応付けられてコンテンツ属性データベース２０２に登録される。
For example, the distance between the two original contents 51G1 and 51G2 shown in FIG. 13 is less than the threshold. Therefore, both are related. The write destinations of the additional content 51Fa to 51Fc are all only the original content 51G1. Therefore, according to the process described above, only the original content 51G1 is associated and registered in the
しかし、本変形例においては、追記コンテンツ５１Ｆａ〜５１Ｆｃを原コンテンツ５１Ｇにも対応付けてコンテンツ属性データベース２０２に登録する。
However, in this modification, the additional content 51Fa to 51Fc is also registered in the
〔原コンテンツ５１Ｇが３つ以上ある場合〕
図２０は、原コンテンツ５１Ｇ’の元の状態および端末装置３を介して見た際の状態の例を示す図である。図２１は、３つの原コンテンツ５１Ｇがある場合の追記コンテンツ５１Ｆとの対応付けを説明するための図である。
[When there are three or more
FIG. 20 is a diagram illustrating an example of an original state of the
印刷物５１に原コンテンツ５１Ｇが３つ以上ある場合も、ドキュメント閲覧システム１は、上述の処理によって追記コンテンツ５１Ｆの登録を行えばよい。
Even when there are three or more
印刷物５１’には、図２０（Ａ）に示すように、呼出用マーカー５１Ｙとして、３つの呼出用マーカー５１Ｙｄ、５１Ｙｅ、５１Ｙｆが印刷されている。各呼出用マーカー５１Ｙｄ、５１Ｙｅ、５１Ｙｆに対応する原コンテンツ５１Ｇとして原コンテンツ５１Ｇ３、５１Ｇ４、５１Ｇ５がそれぞれ用意されている。そして、端末装置３によって、図２０（Ｂ）に示すように原コンテンツ５１Ｇ３、５１Ｇ４、５１Ｇ５が表示される。
As shown in FIG. 20A, three printed markers 51Yd, 51Ye, and 51Yf are printed on the printed material 51 'as the calling
例えば、ユーザが図２１（Ａ）のように３つの追記コンテンツ５１Ｆｉ、５１Ｆｊ、５１Ｆｋを書き込んだ場合に、端末装置３は、追記コンテンツ５１Ｆｉの書込み先が原コンテンツ５１Ｇ３および５１Ｇ５であると判別し、追記コンテンツ５１Ｆｊの書込み先が原コンテンツ５１Ｇ４であると判別し、追記コンテンツ５１Ｆｋの書込み先がないと判別する。また、端末装置３は、追記コンテンツ５１Ｆｉと追記コンテンツ５１Ｆｊとの距離が所定の距離以内であり、追記コンテンツ５１Ｆｉと追記コンテンツ５１Ｆｋとの距離が所定の距離以内であるので、追記コンテンツ５１Ｆｉ、５１Ｆｊ、および５１Ｆｋを１つのグループにグループ化する。
For example, when the user has written three additional content 51Fi, 51Fj, 51Fk as shown in FIG. 21A, the
よって、端末装置３は、追記コンテンツ５１Ｆｉ、５１Ｆｊ、および５１Ｆｋをすべて原コンテンツ５１Ｇ３、５１Ｇ４、５１Ｇ５に対応付ける。そして、ドキュメントサーバ２へ登録する。
Therefore, the
または、２つの原コンテンツ５１Ｇ同士の距離に基づいて処理してもよい。すなわち、図２１（Ｂ）に示すように、原コンテンツ５１Ｇ３と原コンテンツ５１Ｇ４との距離は閾値未満なので、端末装置３は、両者を関連付ける。よって、一方のみに追記コンテンツ５１Ｆが書き込まれても、両方に対応付けて追記コンテンツ５１Ｆを登録する。しかし、原コンテンツ５１Ｇ３と原コンテンツ５１Ｇ５との距離は閾値以上なので、両者を関連付けない。よって、一方のみに追記コンテンツ５１Ｆが書き込まれても、他方に対応付けることなく、追記コンテンツ５１Ｆを登録する。原コンテンツ５１Ｇ４および原コンテンツ５１Ｇ５の場合も、同様である。
Or you may process based on the distance of the two
図２２は、端末装置３の全体的な処理の流れの例を説明するフローチャートである。図２３は、ドキュメントサーバ２の全体的な処理の流れの例を説明するフローチャートである。
FIG. 22 is a flowchart illustrating an example of the overall processing flow of the
次に、図２２のフローチャートを参照しながら、ドキュメントサーバ２および端末装置３の全体的な処理の流れを説明する。
Next, the overall processing flow of the
図２２において、端末装置３は、印刷物５１を撮影し始めてから、所定のタイミングで（例えば、１秒ごとに）、呼出用マーカー５１Ｙの検知を試みる（＃７３１）。新たに呼出用マーカー５１Ｙを検知すると（＃７３２でＹｅｓ）、この呼出用マーカー５１Ｙをドキュメントサーバ２へ送信することによってこの呼出用マーカー５１Ｙに対応するコンテンツを要求し（＃７３３）、画像データをダウンロードする（＃７３４）。
In FIG. 22, the
これにより、呼出用マーカー５１Ｙに対応するコンテンツとして、少なくとも原コンテンツ５１Ｇが端末装置３に提供される。さらに、１つまたは複数の追記コンテンツ５１Ｆの画像データがダウンロードされることもある。そのほか、各コンテンツの位置（原コンテンツ位置または追記コンテンツ位置）などが通知される。
Thereby, at least the
そして、端末装置３は、ダウンロードした画像データなどに基づいて原コンテンツ５１Ｇおよび追記コンテンツ５１Ｆを、通知された位置に表示する（＃７３５）。
Then, the
この呼出用マーカー５１Ｙが撮影の範囲から外に出たら（＃７３６でＹｅｓ）、端末装置３は、対応するコンテンツの表示を終了してもよい（＃７３７）。
When the calling
ユーザが印刷物５１に書込みを行うと（＃７３８でＹｅｓ）、端末装置３は、追記コンテンツ５１Ｆを抽出するとともに、追記コンテンツ５１Ｆの軌跡を検出する（＃７３９）。これらの処理の手順は、前に図１１で説明した通りである。端末装置３は、さらに、追記コンテンツ５１Ｆが書き込まれた原コンテンツ５１Ｇを判別する（＃７４０）。
When the user writes on the printed matter 51 (Yes in # 738), the
そして、端末装置３は、ステップ＃７３９、＃７４０の結果に基づいて追記コンテンツ５１Ｆを対応付けるべき原コンテンツ５１Ｇを決定する（＃７４１）。決定の方法は、前に説明した幾つかの方法のうちの１つを用いればよい。決定した原コンテンツ５１Ｇと対応付けて追記コンテンツ５１Ｆを登録するように、ドキュメントサーバ２に対して要求する（＃７４２）。この際に追記コンテンツ５１Ｆの画像データなどをドキュメントサーバ２へ送信する。
Then, the
撮影を続けている間（＃７４３でＮｏ）、端末装置３は、ステップ＃７３１〜＃７４２の処理を適宜、実行する。
While photographing is continued (No in # 743), the
一方、図２３において、ドキュメントサーバ２は、端末装置３から呼出用マーカー５１Ｙが送信されてきた場合は（＃７２１でＹｅｓ）、この呼出用マーカー５１Ｙに対応する原コンテンツ５１Ｇの画像データを端末装置３へ送信する（＃７２２）。この際に、原コンテンツ位置などを端末装置３へ通知する。また、この呼出用マーカー５１Ｙに対応する追記コンテンツ５１Ｆが既に登録されている場合は（＃７２３でＹｅｓ）、この追記コンテンツ５１Ｆの画像データを端末装置３へ送信し、追記コンテンツ位置などを端末装置３へ通知する（＃７２４）。
On the other hand, in FIG. 23, when the
または、追記コンテンツ５１Ｆの画像データなどが送信されてきた場合は（＃７２５でＹｅｓ）、ドキュメントサーバ２は、追記コンテンツ５１Ｆを登録するための処理を行う（＃７２６）。
Alternatively, when image data or the like of the
なお、追記コンテンツ５１Ｆが二重に表示されないように、ドキュメントサーバ２は、ステップ＃７２４、＃７２６の処理を、第一の変形例または第二の変形例の通りに行ってもよい。
Note that the
ドキュメントサーバ２は、サービスを終了するまでの間（＃７２７でＮｏ）、ステップ＃７２１〜＃７２６の処理を適宜、実行する。
The
ドキュメント閲覧システム１によると、複数の原コンテンツ５１Ｇに対して共通に、従来よりも簡単に追記コンテンツ５１Ｆを登録することができる。
According to the
本実施形態では、印刷物５１における、原コンテンツ５１Ｇを対応付ける画像として呼出用マーカー５１Ｙを用いたが、他の画像を用いてもよい。例えば、固定コンテンツ５１Ｋの全部分または一部分を用いてもよい。
In the present embodiment, the
本実施形態では、ユーザは、印刷物５１の実物に書込みを行ったが、タブレット型端末装置３Ｔを使用するときは、タッチパネルディスプレイ３０ｅに書込みを行ってもよい。この場合は、タブレット型端末装置３Ｔは、タッチされた位置を検知することによって書込画像５２を検出すればよい。
In the present embodiment, the user has written the actual printed
本実施形態では、端末装置３は、ドキュメントサーバ２に対して呼出用マーカー５１Ｙを送信したが、呼出用マーカー５１Ｙを解析し、呼出用マーカー５１Ｙが表わす原コンテンツコードを通知してもよい。
In the present embodiment, the
本実施形態では、眼鏡型端末装置３Ｍとして、プリズムによって画像を表示するタイプのウェアラブルコンピュータを用いたが、他のタイプのものを用いてもよい。例えば、ゴーグル型のウェアラブルコンピュータを用いてもよい。
In the present embodiment, a wearable computer that displays an image with a prism is used as the glasses-
その他、ドキュメント閲覧システム１、ドキュメントサーバ２、端末装置３の全体または各部の構成、処理内容、処理順序、データベースの構成などは、本発明の趣旨に沿って適宜変更することができる。
In addition, the whole or part of the
２ ドキュメントサーバ（記憶手段）
３ 端末装置（ＡＲ装置）
３０ｅ タッチパネルディスプレイ（表示手段、入力手段）
３０ｇ、３１ｇ デジタルカメラ（入力手段）
３１ｅ ディスプレイ（表示手段）
３０２ コンテンツ表示部（表示制御手段）
３０６ 対応付コンテンツ決定部（決定手段）
３０７ 追記コンテンツ登録要求部（登録手段）
５１ 印刷物（物体）
５１Ｆ 追記コンテンツ（第三の画像）
５１Ｇ 原コンテンツ（第一の画像）
2 Document server (storage means)
3 Terminal equipment (AR equipment)
30e Touch panel display (display means, input means)
30g, 31g Digital camera (input means)
31e Display (display means)
302 content display section (display control means)
306 Corresponding content determination unit (determination means)
307 Additional content registration request part (registration means)
51 Printed matter (object)
51F Append content (third image)
51G Original content (first image)
Claims (11)
表示手段と、
前記複数の第一の画像のうちの少なくともいずれか１つを、所定の位置から前記物体を見た際に前記物体と重なって見えるように、または、前記物体を撮影して得た第二の画像と重なるように、前記表示手段に表示させる、表示制御手段と、
ユーザが書き加えた第三の画像を入力する入力手段と、
前記複数の第一の画像の中から、前記第三の画像と対応付けるべき第一の画像である対応画像を決定する、決定手段と、
前記第三の画像を前記対応画像と対応付けて記憶手段に記憶させる、登録手段と、
を有することを特徴とするＡＲ装置。 An AR device that realizes AR (Augmented Reality) by superimposing a plurality of first images on a real object,
Display means;
A second image obtained by capturing at least one of the plurality of first images so as to overlap the object when the object is viewed from a predetermined position or by photographing the object. Display control means for displaying on the display means so as to overlap the image;
An input means for inputting a third image added by the user;
Determining means for determining a corresponding image that is a first image to be associated with the third image from the plurality of first images;
Registration means for storing the third image in the storage means in association with the corresponding image;
An AR device comprising:
請求項１に記載のＡＲ装置。 The determining means determines, as the corresponding image, a first image that overlaps the third image among the plurality of first images.
The AR device according to claim 1.
請求項１に記載のＡＲ装置。 The determination means includes: a first image that overlaps at least one of the plurality of third images whose distance is less than a predetermined length among the plurality of first images. Determine the corresponding image,
The AR device according to claim 1.
請求項１に記載のＡＲ装置。 The determination means includes: a first image that overlaps the third image among the plurality of first images; and a first image that is less than a predetermined length from the first image. Determining the corresponding image;
The AR device according to claim 1.
前記表示制御手段は、前記マークが撮影された際に、前記複数の第一の画像のうちの、当該撮影されたマークに対応する第一の画像を前記表示手段に表示させる、
請求項１ないし請求項４のいずれかに記載のＡＲ装置。 A mark corresponding to each of the plurality of first images is attached to the object,
The display control means causes the display means to display a first image corresponding to the photographed mark among the plurality of first images when the mark is photographed.
The AR device according to any one of claims 1 to 4.
請求項５に記載のＡＲ装置。 When the mark is photographed, the display control unit is further configured to associate the first image corresponding to the photographed mark among the plurality of first images as the corresponding image and store the memory. Displaying the third image stored in the means on the display means ;
The AR device according to claim 5.
前記表示制御手段は、前記複数の第一の画像のうちの前記撮影されたマークに対応する第一の画像を、当該マークを基準とする当該第一の画像について予め決められた所定位置に表示させ、前記第三の画像を前記書込位置に表示させる、
請求項６に記載のＡＲ装置。 The registration unit sets a writing position when the third image is written with the mark corresponding to the corresponding image associated with the third image as a reference together with the third image. , Stored in the storage means,
The display control means displays a first image corresponding to the photographed mark among the plurality of first images at a predetermined position determined in advance with respect to the first image based on the mark. And displaying the third image at the writing position,
The AR device according to claim 6.
請求項７に記載のＡＲ装置。 In the display control means, a plurality of the marks are photographed, and the same third image is associated with a first image corresponding to each of the plurality of marks among the plurality of first images. In this case, the third image is displayed only at the writing position when any one of the plurality of corresponding first images is the corresponding image.
The AR device according to claim 7.
前記表示制御手段は、前記マークが複数撮影された場合に、当該複数のマークからなるグループに対応付けられている前記第三の画像を表示させる、
請求項５に記載のＡＲ装置。 When there are a plurality of corresponding images corresponding to the third image, the registration unit stores the third image in the storage unit in association with the plurality of corresponding images as one group,
The display control means displays the third image associated with a group of the plurality of marks when the plurality of marks are photographed.
The AR device according to claim 5 .
前記複数の第一の画像のうちの少なくともいずれか１つを、所定の位置から前記物体を見た際に前記物体と重なって見えるように、または、前記物体を撮影して得た第二の画像と重なるように、表示手段に表示させる、
ユーザが書き加えた第三の画像の入力を受け付け、
前記複数の第一の画像の中から、前記第三の画像と対応付けるべき第一の画像である対応画像を決定し、
前記第三の画像を前記対応画像と対応付けて記憶手段に記憶させる、
ことを特徴とするＡＲ実現方法。 An AR realization method for realizing AR (Augmented Reality) by superimposing a plurality of first images on a real object,
A second image obtained by capturing at least one of the plurality of first images so as to overlap the object when the object is viewed from a predetermined position or by photographing the object. Display on the display means so as to overlap the image,
Accepts the input of the third image added by the user,
Determining a corresponding image that is a first image to be associated with the third image from the plurality of first images;
Storing the third image in the storage unit in association with the corresponding image;
AR realization method characterized by this.
前記コンピュータに、
前記複数の第一の画像のうちの少なくともいずれか１つを、所定の位置から前記物体を見た際に前記物体と重なって見えるように、または、前記物体を撮影して得た第二の画像と重なるように表示手段に表示させる処理を実行させ、
ユーザが書き加えた第三の画像の入力を受け付ける処理を実行させ、
前記複数の第一の画像の中から、前記第三の画像と対応付けるべき第一の画像である対応画像を決定する処理を実行させ、
前記第三の画像を前記対応画像と対応付けて記憶手段に記憶させる処理を実行させる、
ことを特徴とするコンピュータプログラム。 A computer program used in a computer for realizing AR (Augmented Reality) by superimposing a plurality of first images on a real object,
In the computer,
A second image obtained by capturing at least one of the plurality of first images so as to overlap the object when the object is viewed from a predetermined position or by photographing the object. Execute processing to display on the display means so as to overlap the image,
Execute the process to accept the input of the third image added by the user,
A process of determining a corresponding image that is a first image to be associated with the third image from the plurality of first images;
Causing the storage means to store the third image in association with the corresponding image;
A computer program characterized by the above.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014189975A JP6435736B2 (en) | 2014-09-18 | 2014-09-18 | AR device, AR realization method, and computer program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014189975A JP6435736B2 (en) | 2014-09-18 | 2014-09-18 | AR device, AR realization method, and computer program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016062317A JP2016062317A (en) | 2016-04-25 |
| JP6435736B2 true JP6435736B2 (en) | 2018-12-12 |
Family
ID=55797820
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014189975A Active JP6435736B2 (en) | 2014-09-18 | 2014-09-18 | AR device, AR realization method, and computer program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6435736B2 (en) |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002269122A (en) * | 2001-03-08 | 2002-09-20 | Ricoh Co Ltd | Document filing system |
| US7013029B2 (en) * | 2001-06-29 | 2006-03-14 | Intel Corporation | Incorporating handwritten notations into an electronic document |
| JP2006154901A (en) * | 2004-11-25 | 2006-06-15 | Olympus Corp | Spatial hand-writing device |
| JP2006268792A (en) * | 2005-03-25 | 2006-10-05 | Fuji Xerox Co Ltd | Apparatus and method for image processing |
| JP4764957B1 (en) * | 2011-03-31 | 2011-09-07 | 株式会社Ｃｓｋ | Electronic book browsing apparatus and electronic book browsing program |
| JP5418576B2 (en) * | 2011-11-28 | 2014-02-19 | コニカミノルタ株式会社 | Information browsing apparatus and display control program |
| JP5757966B2 (en) * | 2013-01-31 | 2015-08-05 | シャープ株式会社 | I / O device |
-
2014
- 2014-09-18 JP JP2014189975A patent/JP6435736B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016062317A (en) | 2016-04-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10339383B2 (en) | Method and system for providing augmented reality contents by using user editing image | |
| KR20120014318A (en) | Apparatus and method for sharing application between portable terminal | |
| JP2007259415A (en) | Image processing apparatus and image processing method, server and control method of the same, and program and storage medium | |
| KR102330637B1 (en) | System, server, method and recording medium for providing augmented reality photocard | |
| US20130208007A1 (en) | Position-related information registration apparatus, position-related information registration system, position-related information registration and display system, and recording medium | |
| CN102749966B (en) | Image processing apparatus, image processing system and image processing method | |
| CN109495669B (en) | Information processing apparatus and computer-readable medium storing program | |
| TW201631960A (en) | Display system, method, computer readable recording medium and computer program product for video stream on augmented reality | |
| CN103853326A (en) | Dynamic augmented reality media creation | |
| CN107391061B (en) | Information processing apparatus and information processing method | |
| CN103209304A (en) | Imaging device and imaging method | |
| CN109739414A (en) | A kind of image processing method, mobile terminal, computer readable storage medium | |
| CN104021215B (en) | Picture sorting method and device | |
| KR101542477B1 (en) | Method, apparatus, and terminal device for generating and processing information | |
| JP6435736B2 (en) | AR device, AR realization method, and computer program | |
| CN109413293B (en) | Information processing apparatus and computer-readable medium storing program | |
| JP6455038B2 (en) | AR device, image sharing system, image sharing method, computer program, and server | |
| JP6349915B2 (en) | Terminal device, server, and program | |
| CN108307084B (en) | Information processing apparatus, information processing method, and computer program | |
| JP2016038682A (en) | Information processing apparatus and control method of the same, server device and control method of the same, and computer program | |
| KR101480300B1 (en) | Interactive contents provision system and method using relative distance between the main screen and the second screen | |
| JP2016095620A (en) | Display device, server device, display system and control method thereof, control program, and storage medium | |
| JP2016134086A (en) | Ar system, ar device, image server, ar realization support method, and computer program | |
| JP6550766B2 (en) | AR apparatus, AR implementation method, and computer program | |
| JP2016099754A (en) | Sheet processing apparatus for ar, sheet processing method for ar, and computer program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170817 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180912 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180925 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181011 Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20181011 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181016 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181029 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6435736 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |