JP6455038B2 - AR device, image sharing system, image sharing method, computer program, and server - Google Patents
AR device, image sharing system, image sharing method, computer program, and server Download PDFInfo
- Publication number
- JP6455038B2 JP6455038B2 JP2014187848A JP2014187848A JP6455038B2 JP 6455038 B2 JP6455038 B2 JP 6455038B2 JP 2014187848 A JP2014187848 A JP 2014187848A JP 2014187848 A JP2014187848 A JP 2014187848A JP 6455038 B2 JP6455038 B2 JP 6455038B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- additional image
- additional
- user
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、ＡＲ（Augmented Reality）の技術に関する。 The present invention relates to AR (Augmented Reality) technology.
近年、ＡＲ（Augmented Reality）の技術が普及し始めている。ＡＲは、一般に「拡張現実」と翻訳される。 In recent years, AR (Augmented Reality) technology has begun to spread. AR is generally translated as “augmented reality”.
ＡＲの技術によると、ＡＲマーカーが付されている印刷物を、ユーザがスマートフォンまたはヘッドマウントディスプレイなどを介して見ると、ＡＲマーカーに対応するコンテンツ（オブジェクト）が、撮影した印刷物の画像の上に表示される。これにより、現実の空間が拡張したかのようにユーザに感じさせることができる。 According to AR technology, when a user views a printed material with an AR marker via a smartphone or a head-mounted display, the content (object) corresponding to the AR marker is displayed on the image of the photographed printed material. Is done. As a result, the user can feel as if the real space has been expanded.
また、近年、異なる場所にいるユーザ同士が会議を円滑に進めるための技術が提案されている。 In recent years, a technique has been proposed for users in different places to smoothly advance a conference.
特許文献１に記載される技術によると、各ＨＭＤ及び各小型カメラは、ユーザの表示媒体の画像データを生成し、会議管理サーバに対して送信する。また、各ＨＭＤ及び各小型カメラは、ユーザの会議に対する提示情報を生成し、会議管理サーバに対して送信する。会議管理サーバは、各ユーザと各ユーザが使用する表示媒体の画像データとの対応付けと、受信したユーザの表示媒体の画像データ及びユーザの対応付けとを比較することにより表示媒体の照合を行い、表示媒体の照合が成功した場合、各ＨＭＤ及び各小型カメラから受信したユーザの会議に対する提示情報を各ＨＭＤに対して送信する。
According to the technique described in
しかし、従来のＡＲの技術では、あるユーザが資料に書き込んだ情報を他のユーザと共有することができない。 However, with the conventional AR technology, information written on a document by a certain user cannot be shared with other users.
本発明は、このような問題点に鑑み、ＡＲの技術を用いて複数のユーザで打合せなどを行う場合において、新たな情報を従来よりも簡単に共有できるようにすることを、目的とする。 In view of such problems, an object of the present invention is to make it possible to share new information more easily than in the past in the case where a plurality of users make a meeting using AR technology.
本発明の一形態に係るＡＲ装置は、画像を現実の物体に重ねることによってＡＲ（Augmented Reality）を実現するＡＲ装置であって、表示手段と、当該ＡＲ装置のユーザが書き加えた第一の追記画像を取得する追記画像取得手段と、前記第一の追記画像をサーバへ送信する追記画像送信手段と、当該ＡＲ装置および他のＡＲ装置が特定の場所にある場合に、当該他のＡＲ装置のユーザが書き加えた第二の追記画像を前記サーバから受信する追記画像受信手段と、前記第二の追記画像を、所定の位置から前記物体を見た際に前記物体と重なって見えるように、または、前記物体を撮影して得た物体画像と重なるように、前記表示手段に表示させる、表示制御手段と、を有する。
An AR device according to an aspect of the present invention is an AR device that realizes AR (Augmented Reality) by superimposing an image on a real object, and includes a display unit and a first added by a user of the AR device. When the additional image acquisition unit that acquires the additional image, the additional image transmission unit that transmits the first additional image to the server, and the AR device and the other AR device are in a specific location, the other AR device The additional image receiving means for receiving the second additional image added by the user from the server, and the second additional image so that the object appears to overlap the object when viewed from a predetermined position. Or display control means for displaying on the display means so as to overlap an object image obtained by photographing the object.
本発明の他の一形態に係るＡＲ装置は、画像を現実の物体に重ねることによってＡＲを実現するＡＲ装置であって、表示手段と、当該ＡＲ装置のユーザが書き加えた第一の追記画像を取得する追記画像取得手段と、当該ＡＲ装置および他のＡＲ装置が特定の場所にある場合に、前記第一の追記画像を当該他のＡＲ装置へ送信する追記画像送信手段と、他のＡＲ装置から、当該他のＡＲ装置のユーザが書き加えた第二の追記画像を受信する追記画像受信手段と、前記第二の追記画像を、所定の位置から前記物体を見た際に前記物体と重なって見えるように、または、前記物体を撮影して得た物体画像と重なるように、前記表示手段に表示させる、表示制御手段と、を有する。
An AR device according to another aspect of the present invention is an AR device that realizes an AR by superimposing an image on a real object, and includes a display unit and a first additional image added by a user of the AR device. and additional image acquisition means for acquiring, when the AR device and other AR device is in a particular location, and additional image transmitting means for transmitting said first additional image to the other AR devices, other AR An additional image receiving means for receiving a second additional image added by a user of the other AR device from the device, and the second additional image when the object is viewed from a predetermined position. Display control means for displaying on the display means so as to overlap each other or to overlap an object image obtained by photographing the object.
本発明の一形態に係る画像共有システムは、画像を現実の物体に重ねることによってＡＲ（Augmented Reality）を実現する第一のＡＲ装置および第二のＡＲ装置と、サーバと、を有する画像共有システムであって、前記第一のＡＲ装置には、当該第一のＡＲ装置のユーザが書き加えた追記画像を取得する追記画像取得手段と、前記追記画像を前記サーバへ送信する追記画像送信手段と、が設けられ、前記サーバには、前記第一のＡＲ装置および前記第二のＡＲ装置が特定の場所にある場合に、当該第一のＡＲ装置から送信された前記追記画像を当該第二のＡＲ装置へ送信する追記画像中継手段、が設けられ、前記第二のＡＲ装置には、前記サーバから送信された前記追記画像を、所定の位置から前記物体を見た際に前記物体と重なって見えるように、または、前記物体を撮影して得た物体画像と重なるように表示する表示手段、が設けられる。
本発明の一形態に係るサーバは、画像を現実の物体に重ねることによってＡＲ（Augmented Reality）を実現する第一のＡＲ装置および第二のＡＲ装置と通信できるサーバであって、前記第一のＡＲ装置のユーザが書き加えた追記画像を当該第一のＡＲ装置から受信する追記画像受信手段と、前記第一のＡＲ装置および前記第二のＡＲ装置が特定の場所にある場合に、前記追記画像を当該第二のＡＲ装置へ送信する追記画像送信手段と、を有する。
An image sharing system according to an aspect of the present invention includes a first AR device and a second AR device that realize AR (Augmented Reality) by superimposing an image on a real object, and a server. The first AR device includes an additional image acquisition unit that acquires an additional image added by a user of the first AR device, and an additional image transmission unit that transmits the additional image to the server. , are mounted on the said server, said first AR device and the second AR device when in a specific location, said additional image transmitted from the first AR device the second An additional image relay means for transmitting to the AR device is provided, and the second AR device overlaps the object when the additional image transmitted from the server is viewed from a predetermined position. To see Or, display means for displaying to overlap the object image obtained by photographing the object, is provided.
A server according to an aspect of the present invention is a server capable of communicating with a first AR device and a second AR device that realize AR (Augmented Reality) by superimposing an image on a real object. The additional recording image receiving means for receiving the additional recording image added by the user of the AR device from the first AR device, and the additional recording when the first AR device and the second AR device are in a specific location. Additional image transmission means for transmitting the image to the second AR device.
本発明によると、ＡＲの技術を用いて複数のユーザで打合せなどを行う場合において、新たな情報を従来よりも簡単に共有することができる。 According to the present invention, new information can be shared more easily than in the prior art when a meeting or the like is performed by a plurality of users using the AR technology.
〔第一の実施形態〕
図１は、ドキュメント閲覧システム１の全体的な構成の例を示す図である。図２は、ドキュメントサーバ２のハードウェア構成の例を示す図である。図３は、タブレット型端末装置３Ｔのハードウェア構成の例を示す図である。図４は、眼鏡型端末装置３Ｍのハードウェア構成の例を示す図である。図５は、印刷物５の例を示す図である。図６は、ドキュメント閲覧システム１の機能的構成の例を示す図である。
[First embodiment]
FIG. 1 is a diagram illustrating an example of the overall configuration of the
ドキュメント閲覧システム１は、図１に示すように、ドキュメントサーバ２、端末装置３、および通信回線４などによって構成される。ドキュメント閲覧システム１は、ドキュメント（文書）に関するデータを管理し、ドキュメントの閲覧のサービスをユーザに提供する。
As shown in FIG. 1, the
ドキュメントサーバ２と端末装置３とは、通信回線４を介して通信を行うことができる。通信回線４として、インターネット、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、携帯電話回線、またはＰＨＳ（Personal Handy-phone System）回線などが用いられる。
The
ドキュメントサーバ２は、ドキュメントを表示するためのデータを記憶し、適宜、端末装置３へ提供する。さらに、ユーザが書き加えたコンテンツのデータを記憶し、適宜、端末装置３へ提供する。ドキュメントサーバ２として、いわゆるサーバ機が用いられる。または、コピー、スキャン、ファックスなどの機能を備えた複合機を用いてもよいし、いわゆるクラウドサーバを用いてもよい。
The
ドキュメントサーバ２は、図２に示すように、ＣＰＵ（Central Processing Unit）２０ａ、ＲＡＭ（Random Access Memory）２０ｂ、ＲＯＭ（Read Only Memory）２０ｃ、大容量記憶装置２０ｄ、およびＮＩＣ（Network Interface Card）２０ｅなどによって構成される。
As shown in FIG. 2, the
ＮＩＣ２０ｅは、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などのプロトコルによって端末装置３などの装置と通信を行う。
The NIC 20e communicates with a device such as the
ＲＯＭ２０ｃまたは大容量記憶装置２０ｄには、管理プログラム２Ｐが記憶されている。管理プログラム２Ｐは、ＲＡＭ２０ｂにロードされ、ＣＰＵ２０ａによって実行される。大容量記憶装置２０ｄとして、ハードディスクまたはＳＳＤ（Solid State Drive）などが用いられる。
A management program 2P is stored in the
端末装置３は、ドキュメントサーバ２から提供されるデータに基づいてドキュメントを表示する。また、ユーザが書き加えた画像のデータをドキュメントサーバ２へ送信しドキュメントサーバ２に記憶させる。端末装置３として、パーソナルコンピュータ、タブレットコンピュータ、スマートフォン、または眼鏡型コンピュータなどが用いられる。
The
「眼鏡型コンピュータ」は、ウェアラブルコンピュータの一種であり、グーグル社のグーグルグラスのような、眼鏡のように顔に装着するタイプのコンピュータである。 The “glasses-type computer” is a kind of wearable computer, and is a computer that is worn on the face like glasses such as Google Glass of Google.
以下、端末装置３として、タブレットコンピュータまたは眼鏡型コンピュータが用いられる場合を例に説明する。前者および後者をそれぞれ「タブレット型端末装置３Ｔ」および「眼鏡型端末装置３Ｍ」と区別して記載することがある。
Hereinafter, a case where a tablet computer or a glasses-type computer is used as the
タブレット型端末装置３Ｔは、図３に示すように、ＣＰＵ３０ａ、ＲＡＭ３０ｂ、ＲＯＭ３０ｃ、フラッシュメモリ３０ｄ、タッチパネルディスプレイ３０ｅ、操作ボタン群３０ｆ、デジタルカメラ３０ｇ、および無線通信装置３０ｈなどが用いられる。
As shown in FIG. 3, the
タッチパネルディスプレイ３０ｅは、フラット型ディスプレイ（例えば、液晶ディスプレイ）およびタッチパネルによって構成される。フラット型ディスプレイは、種々の画像を表示する。特にドキュメントを表示するために用いられる。タッチパネルは、ユーザがタッチした位置を検知し、その位置をＣＰＵ３０ａへ通知する。
The
操作ボタン群３０ｆは、ホーム画面に戻るためのボタン、種々の事項を確定するためのボタン、音量を調整するためのボタン、および電源のオン／オフを切り換えるためのボタンなどによって構成される。
The
デジタルカメラ３０ｇは、種々の画像を撮影する。特にドキュメントが印刷された用紙を撮影するために用いられる。
The
無線通信装置３０ｈは、基地局を介してＴＣＰ／ＩＰなどのプロトコルによってドキュメントサーバ２などの装置と通信を行う。無線通信装置３０ｈの通信方式として、例えば、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＬＴＥ（Long Term Evolution）、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）、またはＰＨＳなどが用いられる。
The
ＲＯＭ３０ｃまたはフラッシュメモリ３０ｄには、クライアントプログラム３Ｐが記憶されている。クライアントプログラム３Ｐは、ＲＡＭ３０ｂにロードされ、ＣＰＵ３０ａによって実行される。
A client program 3P is stored in the
眼鏡型端末装置３Ｍは、図４に示すように、ＣＰＵ３１ａ、ＲＡＭ３１ｂ、ＲＯＭ３１ｃ、フラッシュメモリ３１ｄ、ディスプレイ３１ｅ、操作ボタン群３１ｆ、デジタルカメラ３１ｇ、および無線通信装置３１ｈなどが用いられる。
As shown in FIG. 4, the eyeglass-
ＣＰＵ３１ａ、ＲＡＭ３１ｂ、ＲＯＭ３１ｃ、フラッシュメモリ３１ｄ、ディスプレイ３１ｅ、操作ボタン群３１ｆ、デジタルカメラ３１ｇ、および無線通信装置３１ｈの役割は、それぞれ、タブレット型端末装置３ＴのＣＰＵ３０ａ、ＲＡＭ３０ｂ、ＲＯＭ３０ｃ、フラッシュメモリ３０ｄ、タッチパネルディスプレイ３０ｅ、操作ボタン群３０ｆ、デジタルカメラ３０ｇ、および無線通信装置３０ｈと基本的に同様である。
The roles of the
ただし、画像を再現する方式が、タッチパネルディスプレイ３０ｅとディスプレイ３１ｅとでは、相違する。タッチパネルディスプレイ３０ｅは、上述の通り、液晶ディスプレイのような平面型のディスプレイが用いられる。一方、ディスプレイ３１ｅは、柄の根元に設けられたプロジェクタからレンズの端部付近に設けられたプリズムへ光を発することによって、画像を再現する。
However, the method for reproducing an image is different between the
クライアントプログラム３Ｐが、ＲＯＭ３１ｃまたはフラッシュメモリ３１ｄに記憶されており、ＲＡＭ３１ｂにロードされ、ＣＰＵ３１ａによって実行される。
The client program 3P is stored in the
ところで、ドキュメント閲覧システム１は、ＰＤＦ（Portable Document Format）などのファイルを単に提供するだけでなく、ＡＲ（Augmented Reality）の技術によってドキュメントを再現することができる。この際に、印刷物５が用いられる。印刷物５は、複数のユーザ（例えば、会社の従業員）に１枚ずつ予め配付される。なお、各ユーザには、それぞれを識別するためのユーザコードおよび認証用のパスワードが与えられている。
Incidentally, the
印刷物５は、図５（Ａ）のように、２種類のオブジェクト（画像）が予め印刷されている。１つ目は、呼出用マーカー５１Ｙである。呼出用マーカー５１Ｙは、ドキュメントサーバ２にデータが記憶されている画像を呼び出すためのものである。２つ目は、固定画像５１Ｋである。固定画像５１Ｋは、呼出用マーカー５１Ｙ以外のオブジェクトである。
As shown in FIG. 5A, the printed
ユーザが眼鏡型端末装置３Ｍを掛けて印刷物５を見ると、呼出用マーカー５１Ｙに基づいて画像のデータがドキュメントサーバ２からダウンロードされ、図５（Ｂ）のように、固定画像５１Ｋ以外の画像がまるで印刷物５に印刷されているかのように見える。タブレット型端末装置３Ｔで印刷物５を撮影しながら見た場合も、同様に見える。
When the user wears the glasses-
このように、ドキュメント閲覧システム１によると、ＡＲが実現される。呼出用マーカー５１Ｙとして、ＡＲマーカーが用いられる。なお、呼出用マーカー５１Ｙは、後述する機密画像コードを示すものである。
Thus, according to the
特に、機密にしておくべき画像の代わりに呼出用マーカー５１Ｙを印刷物５に印刷しておき、この呼出用マーカー５１Ｙが撮影された際にこの画像を端末装置３に表示させることによって、情報の秘匿化を図ることができる。
In particular, the
また、ドキュメント閲覧システム１によると、あるユーザが端末装置３を介して印刷物５を見ながら印刷物５に書き込んだ画像を記録することができる。さらに、このユーザと同じ時期に同じようにこの印刷物５を見ている他のユーザへ、書き込まれた画像を見せることができる。
Further, according to the
これらの仕組みは、管理プログラム２Ｐおよびクライアントプログラム３Ｐによって実現される。以下、これらの仕組みについて、説明する。 These mechanisms are realized by the management program 2P and the client program 3P. Hereinafter, these mechanisms will be described.
管理プログラム２Ｐによると、図６に示すユーザ認証部２０１、既存画像送信部２０２、追記画像登録部２０３、追記画像送信部２０４、機密画像記憶部２１１、ドキュメント情報記憶部２１２、追記画像記憶部２１３、ログインユーザ情報記憶部２１４などの機能が実現される。
According to the management program 2P, the
クライアントプログラム３Ｐによると、ログイン処理部３０１、既存画像ダウンロード部３０２、既存画像表示処理部３０３、追記画像抽出部３０４、追記画像登録要求部３０５、および追記画像表示処理部３０６などの機能が実現される。
According to the client program 3P, functions such as a
〔準備〕
図７は、ドキュメント情報記憶部２１２の例を示す図である。
[Preparation]
FIG. 7 is a diagram illustrating an example of the document
呼出用マーカー５１Ｙに基づいて端末装置３によって呼び出される画像は、２種類ある。１つ目は、印刷物５の作成者などが予め用意した画像である。第一の実施形態では、印刷物５に印刷せずに機密にしておく画像が予め用意される。以下、この画像を「機密画像５１Ｓ」と記載する。２つ目は、ユーザが後から書き加えた画像である。以下、この画像を「追記画像５１Ｗ」と記載する。
There are two types of images that are called by the
ドキュメントサーバ２の機密画像記憶部２１１には、機密画像５１Ｓごとの画像データ６１Ｓが、各々を識別するための機密画像コードと対応付けられて記憶されている。
The confidential
ドキュメント情報記憶部２１２には、図７に示すように、呼出用マーカー５１Ｙごとに機密画像５１Ｓおよび追記画像５１Ｗに関する情報が記憶されている。
As shown in FIG. 7, the document
なお、追記画像５１Ｗの画像データ６１Ｗは、後述する通り、追記画像記憶部２１３に記憶される。
Note that the
印刷物５を作成した当初は、ドキュメント情報記憶部２１２には、図７（Ａ）に示すように、呼出用マーカー５１Ｙごとに、それ自身の画像データ（本例では、ＡＲマーカー）、それ自身が表わす機密画像コード、および機密画像位置が記憶されている。「機密画像位置」は、その呼出用マーカー５１Ｙを基準の位置とした場合の、機密画像５１Ｓを配置すべき位置である。
Initially, when the printed
さらに、「追記画像コード」、「追記画像位置」、および「共有者／デバイス」が記憶されるが、印刷物５を作成した当初は空である。これらの情報は、後述するように、この呼出用マーカー５１Ｙに対応付けて追記画像５１Ｗを登録した場合に追加される。
Further, “additional image code”, “additional image position”, and “sharer / device” are stored, but are initially empty when the printed
〔追記前における閲覧のための処理〕
図８は、ログインユーザ情報記憶部２１４の例を示す図である。
[Processing for viewing before appending]
FIG. 8 is a diagram illustrating an example of the login user
ユーザは、機密画像５１Ｓを見るために、ドキュメントサーバ２にログインしなければならない。
The user must log in to the
端末装置３のログイン処理部３０１は、ドキュメントサーバ２へのユーザのログインのための処理を次のように実行する。
The
ログイン処理部３０１は、ユーザコードおよびパスワードを入力するための画面をタッチパネルディスプレイ３０ｅまたはディスプレイ３１ｅに表示させる。ユーザは、自分のユーザコードおよびパスワードを入力する。
The
すると、ログイン処理部３０１は、ユーザをログインさせるようにドキュメントサーバ２に対して要求する。この際に、入力されたユーザコードおよびパスワードをドキュメントサーバ２へ送信する。
Then, the
ドキュメントサーバ２のユーザ認証部２０１は、送信されてきたユーザコードおよびパスワードに基づいて、端末装置３のユーザが正当であるか否かを判別する。つまり、ユーザ認証を行う。そして、正当であると判別したら、このユーザをドキュメントサーバ２にログインさせる。
The
ログイン後、ログイン処理部３０１は、端末装置３自身の現在地をドキュメントサーバ２へ通知する。現在地は、端末装置３が現在接続されている基地局の場所を検出することによって、知ることができる。または、ＧＰＳ（Global Positioning System）によって知ることができる。
After login, the
以下、「ＵＳＲ＿Ａ」、「ＵＳＲ＿Ｂ」、および「ＵＳＲ＿Ａ」というユーザコードをそれぞれ有する３人のユーザ８ａ、８ｂ、および８ｃが自分の端末装置３を使用してドキュメントサーバ２へログインし、図５（Ａ）の印刷物５を見る場合を例に、説明する。
Hereinafter, three users 8a, 8b, and 8c having user codes of “USR_A”, “USR_B”, and “USR_A” respectively log in to the
ログインユーザ情報記憶部２１４には、図８に示すように、ドキュメントサーバ２へログインしたユーザごとに、そのユーザのユーザコード、使用する端末装置３の識別子（デバイス識別子）、そのユーザが閲覧している機密画像５１Ｓの機密画像コード、およびその端末装置３の現在地が示される。端末装置３の識別子として、ホスト名、ＩＰ（Internet Protocol）アドレス、またはＭＡＣ（Media Access Control）アドレスなどが用いられる。
In the login user
ユーザ８ａ〜８ｃがログインした時点では、ログインユーザ情報記憶部２１４には、図８（Ａ）のように、ユーザ８ａ〜８ｃについて機密画像コードが記憶されていない。機密画像コードは、後述するように、機密画像５１Ｓが閲覧された際に記憶される。
When the users 8a to 8c log in, the login user
ユーザ８ａは、ドキュメントサーバ２へのログイン後、自分の端末装置３のデジタルカメラ３０ｇまたは３１ｇを印刷物５の印刷面の方へ向ける。すると、デジタルカメラ３０ｇまたは３１ｇによって印刷面の画像が撮影される。なお、端末装置３がタブレット型端末装置３Ｔである場合は、撮影された画像がタッチパネルディスプレイ３０ｅに表示される。
After logging in to the
既存画像ダウンロード部３０２は、撮影された画像に呼出用マーカー５１Ｙが含まれていると、印刷物５に重ねて表示する画像の画像データをドキュメントサーバ２から次のようにダウンロードする。
If the
既存画像ダウンロード部３０２は、撮影された画像の中から呼出用マーカー５１Ｙを検知する。そして、この呼出用マーカー５１Ｙに対応する画像の画像データをドキュメントサーバ２に対して要求する。この際に、この呼出用マーカー５１Ｙをドキュメントサーバ２へ送信する。
The existing
すると、ドキュメントサーバ２において、既存画像送信部２０２は、端末装置３から送信されてきた呼出用マーカー５１Ｙ（ＡＲマーカー）に対応する機密画像コード（図７参照）の機密画像５１Ｓの画像データ６１Ｓを機密画像記憶部２１１から読み出し、この端末装置３へ送信する。さらに、この機密画像５１Ｓの機密画像位置をこの端末装置３へ通知する。
Then, in the
その呼出用マーカー５１Ｙに対応する追記画像コードがドキュメント情報記憶部２１２に記憶されている場合は、さらに、この追記画像コードの追記画像５１Ｗの画像データ６１Ｗを追記画像記憶部２１３から読み出し、この端末装置３へ送信する。また、この追記画像５１Ｗの追記画像位置（後述する）をこの端末装置３へ通知する。
When the additional image code corresponding to the
そして、既存画像ダウンロード部３０２は、画像データ６１Ｓまたは画像データ６１Ｗを受信する。
Then, the existing
既存画像表示処理部３０３は、既存画像ダウンロード部３０２によって画像データ６１Ｓおよび機密画像位置が得られると、これらに基づいて機密画像５１Ｓをタッチパネルディスプレイ３０ｅまたはディスプレイ３１ｅに次のように表示させる。
When the existing image
タブレット型端末装置３Ｔの場合は、既存画像表示処理部３０３は、デジタルカメラ３０ｇによって撮影されタッチパネルディスプレイ３０ｅによって表示された画像の中の呼出用マーカー５１Ｙの位置を検知する。そして、この位置を基準として、ドキュメントサーバ２から通知された機密画像位置に、ドキュメントサーバ２から受信した画像データ６１Ｓに基づいてタッチパネルディスプレイ３０ｅに機密画像５１Ｓを重ねて表示させる。
In the case of the
眼鏡型端末装置３Ｍの場合は、既存画像表示処理部３０３は、デジタルカメラ３１ｇによって撮影された画像の中の呼出用マーカー５１Ｙの位置を検知する。そして、この位置を基準として、ドキュメントサーバ２から通知された機密画像位置に重なって見えるように、ドキュメントサーバ２から受信した画像データ６１Ｓに基づいて機密画像５１Ｓをディスプレイ３１ｅに表示させる。
In the case of the glasses-
このように、機密画像５１Ｓはデジタルカメラ３０ｇまたは３１ｇを介して実物に対して仮想的に添付される情報であると、言える。このような情報は、一般に「エアタグ」と呼ばれることもある。後述する追記画像５１Ｗについても、同様である。
In this way, it can be said that the
画像データ６１Ｗおよび追記画像位置が得られた場合は、既存画像表示処理部３０３は、追記画像５１Ｗを表示させる。これについては、後述する。
When the
ユーザ８ｂ、８Ｃも、ドキュメントサーバ２へのログイン後、ユーザ８ａと同様の操作を行う。すると、ユーザ８ｂ、８Ｃそれぞれの端末装置３は、機密画像５１Ｓなどを表示する。
The users 8b and 8C also perform the same operation as the user 8a after logging in to the
機密画像５１Ｓの画像データ６１Ｓがユーザの端末装置３へ送信されると、ログインユーザ情報記憶部２１４において、このユーザおよびこの端末装置３のレコードに、この機密画像５１Ｓの機密画像コードが記憶される。例えば、ユーザ８ａ〜８ｃそれぞれの端末装置３へ「Ｇ００１」という機密画像コードの機密画像５１Ｓの画像データ６１Ｓが送信された場合は、図８（Ｂ）のように、この機密画像コードが記憶される。
When the
〔追記時の処理〕
図９は、書込みがなされた印刷物５の状態の例を示す図である。
[Process at the time of appending]
FIG. 9 is a diagram illustrating an example of the state of the printed
ユーザ８ａ〜８ｃは、各々、自分の端末装置３を介して機密画像５１Ｓを見ながら、印刷物５に書込みを行うことができる。書き込まれた画像は、追記画像５１Ｗとしてドキュメントサーバ２に登録される。さらに、ログインしている他のユーザの端末装置３によって追記画像５１Ｗが表示される。つまり、１人のユーザが追記画像５１Ｗを書き込むと、他のユーザに追記画像５１Ｗを見せることができる。以下、この仕組みを、ユーザ８ａが追記画像５１Ｗを書き込み、これをユーザ８ｂ、８ｃに見せる場合を例に説明する。
Each of the users 8 a to 8 c can write on the printed
ユーザ８ａは、自分の端末装置３によって印刷物５の印刷面の画像を撮影しながら、図９のように印刷物５に書込みを行う。この際に、呼出用マーカー５１Ｙが含まれるように撮影する。そして、書込みが終わったら、所定の操作を端末装置３に対して行う。例えば、操作ボタン群３０ｆまたは３１ｆの中の所定のボタンを押す。
The user 8a writes on the printed
すると、追記画像抽出部３０４は、この画像から、ユーザ８ａによって書き込まれた画像を追記画像５１Ｗとして抽出する。抽出は、公知の方法で行えばよい。例えば、書込みの前後の画像を比較することによって抽出すればよい。または、所定の色のペンでユーザ８ａに書込みを行わせ、この色の画像を抽出してもよい。または、ペンの先の動きを追跡することによって画像を抽出してもよい。
Then, the additional
さらに、追記画像抽出部３０４は、呼出用マーカー５１Ｙの位置を基準とする、追記画像５１Ｗの位置を検知する。この位置が、追記画像位置である。
Further, the additional
追記画像登録要求部３０５は、追記画像抽出部３０４によって追記画像５１Ｗが抽出されると、追記画像５１Ｗを登録するようにドキュメントサーバ２へ要求する。この際に、ドキュメントサーバ２へ、追記画像５１Ｗの画像データ６１Ｗを送信するとともに、印刷物５に示される呼出用マーカー５１Ｙおよび追記画像５１Ｗの追記画像位置を通知する。
When the
ドキュメントサーバ２において、追記画像登録部２０３は、端末装置３からの要求に基づいて、追記画像５１Ｗを登録する処理を次のように実行する。
In the
追記画像登録部２０３は、この追記画像５１Ｗに対してユニークな追記画像コードを発行する。端末装置３から送信されてきた画像データ６１Ｗを、この追記画像コードに対応付けて追記画像記憶部２１３に記憶させる。
The additional
さらに、追記画像登録部２０３は、ドキュメント情報記憶部２１２の、通知された呼出用マーカー５１Ｙ（ＡＲコード）のレコードに、この追記画像コード、通知された追記画像位置、およびこの機密画像５１Ｓを見ているユーザおよび各人の端末装置３の情報（共有者／デバイス）を格納する。「共有者／デバイス」は、ログインユーザ情報記憶部２１４に記憶されている情報を参照すればよい。具体的には、この呼出用マーカー５１Ｙが表わす機密画像コードを示すレコードのユーザコードおよびデバイス識別子が、共有者／デバイスとして格納される。
Further, the additional
例えば、ログインユーザ情報記憶部２１４に図８（Ｂ）の通りの情報が記憶されており、「Ｔ００１」という追記画像コードが発行され、通知された呼出用マーカー５１Ｙが表わす機密画像コードが「Ｇ００１」であり、かつ通知された追記画像位置が「（ａ１ｘ，ａ１ｙ）」である場合は、ドキュメント情報記憶部２１２において、図７（Ｂ）に示すように「Ｇ００１」のレコードが更新される。
For example, information as shown in FIG. 8B is stored in the login user
その後、さらに他の追記画像５１Ｗが印刷物５に書き込まれると、図８（Ｃ）のようにレコードが更新される。
Thereafter, when another additional
追記画像送信部２０４は、追記画像登録部２０３による登録の処理と前後してまたは並行して、ユーザ８ａ以外のユーザつまりユーザ８ｂおよびユーザ８ｃ各々の端末装置３へ、ユーザ８ａが追加した追記画像５１Ｗの画像データ６１Ｗを送信する。さらに、ユーザ８ａの端末装置３から通知された、この追記画像５１Ｗの追記画像位置をユーザ８ｂおよびユーザ８ｃ各々の端末装置３へ通知する。
The postscript
すると、ユーザ８ｂおよびユーザ８ｃ各々の端末装置３において、追記画像表示処理部３０６は、ドキュメントサーバ２から送信されてきた画像データ６１Ｗに基づいて、ドキュメントサーバ２から通知された追記画像位置に画像データ６１Ｓを表示させる。これにより、ユーザ８ｂおよびユーザ８ｃにとって、ユーザ８ａがユーザ８ａの印刷物５に書き込んだ追記画像５１Ｗがユーザ８ｂおよびユーザ８ｃ各々の印刷物５に書き込まれたかのように見える。
Then, in each of the
〔追記後に他のユーザが印刷物５を閲覧する場合の処理〕
ユーザ８ａが追記画像５１Ｗを印刷物５に書き込み、追記画像５１Ｗがドキュメントサーバ２に登録された後、例えばユーザ８ｄが自分の端末装置３を介して印刷物５を閲覧する場合がある。この場合は、ドキュメントサーバ２および端末装置３の各部は、次のように処理を行う。
[Processing when another user views the printed
After the user 8a writes the
ユーザ８ｄは、未だドキュメントサーバ２にログインしていない場合は、ログインのための操作を行う。すると、ドキュメントサーバ２のユーザ認証部２０１およびユーザ８ｄの端末装置３のログイン処理部３０１によって、上述の通り、ユーザ８ｄをログインさせる処理およびログインユーザ情報記憶部２１４へのユーザ８ｄを登録する処理などが行われる。
If the user 8d has not logged in to the
ユーザ８ｄは、自分の端末装置３によって印刷物５の印刷面の画像を、呼出用マーカー５１Ｙが含まれるように撮影する。
The user 8d takes an image of the printed surface of the printed
すると、端末装置３において、既存画像ダウンロード部３０２は、上述の通り、呼出用マーカー５１Ｙに対応する画像のデータをドキュメントサーバ２へ要求する。
Then, in the
ドキュメントサーバ２において、既存画像送信部２０２は、上述の通り、要求元の端末装置３へ、この呼出用マーカー５１Ｙに対応する機密画像コードの機密画像５１Ｓの画像データ６１Ｓを送信し、この機密画像５１Ｓの機密画像位置を通知する。さらに、この呼出用マーカー５１Ｙに対応する追記画像コードがドキュメント情報記憶部２１２に記憶されているので、この端末装置３へこの追記画像コードの追記画像５１Ｗの画像データ６１Ｗを送信、この追記画像５１Ｗの追記画像位置を通知する。
In the
そして、端末装置３において、既存画像ダウンロード部３０２がこれらを受信すると、既存画像表示処理部３０３は、機密画像５１Ｓを上述の通り機密画像位置に表示させる。さらに、追記画像５１Ｗを追記画像位置に表示させる。
Then, when the existing
このように、ユーザ８ａが印刷物５に追記画像５１Ｗを書き込んだ後にユーザ８ｄが印刷物５を閲覧する場合であっても、機密画像５１Ｓだけでなく追記画像５１Ｗをユーザ８ｄに見せることができる。
Thus, even if the user 8d browses the printed
〔ログアウトの際の処理〕
ユーザがログアウトのコマンドを端末装置３に入力すると、ログイン処理部３０１は、ドキュメントサーバ２へログアウトを要求する。この際に、ドキュメントサーバ２へこのユーザのユーザコードを通知する。
[Process when logging out]
When the user inputs a logout command to the
すると、ドキュメントサーバ２において、ユーザ認証部２０１は、通知されたユーザコードに係るレコードをログインユーザ情報記憶部２１４（図８参照）から削除する。
Then, in the
また、ログアウトの際に、デジタルカメラ３０ｇまたは３１ｇによる印刷物５の撮影を終了する。
When logging out, the photographing of the printed
図１０は、端末装置３の全体的な処理の流れの例を説明するフローチャートである。図１１は、ドキュメントサーバ２の全体的な処理の流れの例を説明するフローチャートである。
FIG. 10 is a flowchart illustrating an example of the overall processing flow of the
次に、ドキュメントサーバ２および端末装置３の全体的な処理の流れを、フローチャートを参照しながら説明する。
Next, the overall processing flow of the
図１０において、端末装置３は、ユーザコードおよびパスワードが入力されると、ドキュメントサーバ２へのユーザのログインをドキュメントサーバ２に対して要求する（＃７３１）。
In FIG. 10, when the user code and the password are input, the
ログインに成功したら（＃７３２でＹｅｓ）、端末装置３は、印刷物５の撮影を開始するとともに（＃７３３）、呼出用マーカー５１Ｙの検出を開始する（＃７３４）。
If the login is successful (Yes in # 732), the
呼出用マーカー５１Ｙを検出することができたら（＃７３５でＹｅｓ）、端末装置３は、この呼出用マーカー５１Ｙに対応する既存の画像（機密画像５１Ｓまたは追記画像５１Ｗ）の画像データ（画像データ６１Ｓまたは画像データ６１Ｗ）をドキュメントサーバ２からダウンロードし（＃７３６）、表示する（＃７３７）。タブレット型端末装置３Ｔの場合は、印刷物５の画像に重ねて表示する。眼鏡型端末装置３Ｍの場合は、印刷物５に重なって見えるように表示する。表示する位置は、機密画像５１Ｓの場合は、呼出用マーカー５１Ｙの位置を基準とした機密画像位置であり、追記画像５１Ｗの場合は、呼出用マーカー５１Ｙの位置を基準とした追記画像位置である。画像データ６１Ｗは、ダウンロードされない場合がある。
If the
ユーザが画像を印刷物５に書き込んだ場合は（＃７３８でＹｅｓ）、端末装置３は、この画像を追記画像５１Ｗとして抽出し（＃７３９）、追記画像５１Ｗの画像データを画像データ６１Ｗとして登録するためにドキュメントサーバ２へアップロードする（＃７４０）。この際に、追記画像位置などをドキュメントサーバ２へ通知する。
When the user writes an image on the printed matter 5 (Yes in # 738), the
他の端末装置３のユーザが印刷物５へ書込みを行った場合は、ドキュメントサーバ２から画像データ６１Ｗおよび追記画像位置が送信されてくる。端末装置３は、これらを受信すると（＃７４１でＹｅｓ）、追記画像５１Ｗを、呼出用マーカー５１Ｙの位置を基準とするこの追記画像位置に表示する（＃７４２）。
When a user of another
ユーザがログアウトの操作を行うと（＃７４３でＹｅｓ）、端末装置３は、ログアウトをドキュメントサーバ２に対して要求する（＃７４４）。
When the user performs a logout operation (Yes in # 743), the
ユーザがログアウトの操作を行うまでの間（＃７４３でＮｏ）、端末装置３は、適宜、ステップ＃７３８〜＃７４２の処理を実行する。
Until the user performs a logout operation (No in # 743), the
図１１において、ドキュメントサーバ２は、端末装置３からログインの要求とともにユーザコードおよびパスワードを受信すると（＃７０１でＹｅｓ）、ユーザ認証を行い、端末装置３のユーザが正当であると判別できたらドキュメントサーバ２にログインさせる（＃７０２）。
In FIG. 11, when the
ログインに成功したら（＃７０３でＹｅｓ）、このユーザおよび端末装置３をログインユーザ情報記憶部２１４（図８参照）に登録する（＃７０４）。
If the login is successful (Yes in # 703), the user and the
または、端末装置３から画像データの要求とともに呼出用マーカー５１Ｙを受信すると（＃７０５でＹｅｓ）、ドキュメントサーバ２は、この呼出用マーカー５１Ｙに対応する機密画像５１Ｓの画像データ６１Ｓおよび機密画像位置を端末装置３へ送信する（＃７０６）。この呼出用マーカー５１Ｙに対応する追記画像５１Ｗが登録されていれば、この追記画像５１Ｗの画像データ６１Ｓおよび追記画像位置をも送信する。
Alternatively, when the
または、端末装置３から追記画像５１Ｗの画像データ６１Ｗおよび追記画像位置などを受信した場合は（＃７０７でＹｅｓ）、ドキュメントサーバ２は、画像データ６１Ｗを追記画像記憶部２１３に記憶させ、追記画像位置などをログインユーザ情報記憶部２１４に記憶させることによって、追記画像５１Ｗの登録の処理を行う（＃７０８）。さらに、送信元の端末装置３以外の、印刷物５を閲覧している端末装置３へ、画像データ６１Ｗを配信する（＃７０９）。
Alternatively, when the
または、端末装置３からユーザのログアウトの要求を受信した場合は（＃７１０でＹｅｓ）、ドキュメントサーバ２は、ログインユーザ情報記憶部２１４から、このユーザおよびこの端末装置３のレコードを削除する（＃７１１）。
Alternatively, when a user logout request is received from the terminal device 3 (Yes in # 710), the
ドキュメントサーバ２は、サービスを提供している間（＃７１２でＮｏ）、適宜、ステップ＃７０１〜＃７１１の処理を実行する。
While providing the service (No in # 712), the
第一の実施形態によると、ユーザ８ａ〜８ｃ同士で新たな情報を従来よりも簡単に、かつ、リアルタイムに共有することが、できる。 According to the first embodiment, new information can be shared in real time between the users 8a to 8c more simply than in the past.
〔第二の実施形態〕
図１２は、ドキュメント閲覧システム１の機能的構成の例を示す図である。図１３は、共有ユーザ情報記憶部３６５の例を示す図である。
[Second Embodiment]
FIG. 12 is a diagram illustrating an example of a functional configuration of the
第一の実施形態では、同じ印刷物５を閲覧している複数のユーザのうちの１人が書き込んだ追記画像５１Ｗを、そのユーザの端末装置３からドキュメントサーバ２を介して他のユーザの端末装置３へ提供した。第二の実施形態では、ドキュメントサーバ２を介さず、追記画像５１Ｗを一方の端末装置３から他方の端末装置３へ提供する。
In the first embodiment, a
第二の実施形態におけるドキュメント閲覧システム１の全体的な構成は、第一の実施形態と同様であり、図１に示した通りである。
The overall configuration of the
ドキュメントサーバ２および端末装置３のハードウェアの構成も、第一の実施形態と同様であり、図２〜図４に示した通りである。
The hardware configurations of the
ただし、ドキュメントサーバ２のＲＯＭ２０ｃまたは大容量記憶装置２０ｄには、管理プログラム２Ｐの代わりに管理プログラム２Ｐ２が記憶されている。
However, the management program 2P2 is stored in the
管理プログラム２Ｐ２によると、図１２に示すユーザ認証部２６１、既存画像送信部２６２、追記画像登録部２６３、機密画像記憶部２７１、ドキュメント情報記憶部２７２、追記画像記憶部２７３、およびログインユーザ情報記憶部２７４などの機能が実現される。
According to the management program 2P2, the
また、各端末装置３のＲＯＭ３０ｃまたはフラッシュメモリ３０ｄには、クライアントプログラム３Ｐの代わりにクライアントプログラム３Ｐ２が記憶されている。
The
クライアントプログラム３Ｐ２によると、図１２に示すログイン処理部３６１、既存画像ダウンロード部３６２、既存画像表示処理部３６３、閲覧通知部３６４、共有ユーザ情報記憶部３６５、追記画像抽出部３６６、追記画像配信部３６７、追記画像登録要求部３６８、追記画像表示処理部３６９などの機能が実現される。
According to the client program 3P2, the
以下、図１２に示す各部の処理について説明する。第一の実施形態と重複する点については、説明を省略する。 Hereinafter, processing of each unit illustrated in FIG. 12 will be described. The description overlapping with the first embodiment is omitted.
第一の実施形態と同様に、印刷物５には、図７に示したように固定画像５１Ｋおよび呼出用マーカー５１Ｙが印刷されている。そして、印刷物５は、各ユーザに１枚ずつ予め配付される。
As in the first embodiment, a
ドキュメントサーバ２の機密画像記憶部２７１には、第一の実施形態の機密画像記憶部２１１（図６参照）と同様に、機密画像５１Ｓごとの画像データ６１Ｓが予め記憶されている。
Similar to the confidential image storage unit 211 (see FIG. 6) of the first embodiment,
ドキュメント情報記憶部２７２には、第一の実施形態のドキュメント情報記憶部２１２と同様に、図７に示したように、呼出用マーカー５１Ｙごとに機密画像５１Ｓおよび追記画像５１Ｗに関する情報が記憶されている。
Similar to the document
追記画像記憶部２７３には、第一の実施形態の追記画像記憶部２１３と同様に、画像データ６１Ｗが次々に記憶される。
Similar to the additional
端末装置３のログイン処理部３６１は、第一の実施形態のログイン処理部３０１と同様に、ドキュメントサーバ２へのユーザのログインのための処理およびログアウトのための処理を行う。
The
ドキュメントサーバ２のユーザ認証部２６１は、第一の実施形態のユーザ認証部２０１と同様に、ユーザ認証およびログインの処理を行ったり、ログアウトの処理を行ったりする。
Similar to the
ログインユーザ情報記憶部２７４には、第一の実施形態のログインユーザ情報記憶部２１４と同様に、つまり、図８に示したように、ドキュメントサーバ２に現在ログインしているユーザに関する情報が記憶される。
The login user
端末装置３の既存画像ダウンロード部３６２は、第一の実施形態の既存画像ダウンロード部３０２と同様に、撮影された画像に含まれる呼出用マーカー５１Ｙに対応する既存の画像（機密画像５１Ｓまたは追記画像５１Ｗ）の画像データ（画像データ６１Ｓまたは画像データ６１Ｗ）をドキュメントサーバ２からダウンロードする。
Similar to the existing
ドキュメントサーバ２の既存画像送信部２６２は、第一の実施形態の既存画像送信部２０２と同様に、端末装置３から通知（送信）された呼出用マーカー５１Ｙに対応する既存の画像の画像データを、この端末装置３へ送信する。そのほか、各画像の位置（機密画像位置または追記画像位置）を通知する。
Similar to the existing
第二の実施形態において、既存画像送信部２６２は、さらに、ログインユーザ情報記憶部２７４に記憶されているレコードの中から、この呼出用マーカー５１Ｙが表わす機密画像コードを示すレコードを検索し、検索したレコードに示されるデバイス識別子および現在地を、この端末装置３へ通知する。
In the second embodiment, the existing
共有ユーザ情報記憶部３６５には、図１３に示すように、通知されたデバイス識別子および現在地がこの呼出用マーカー５１Ｙと対応付けられて１つのレコードとして記憶される。なお、端末装置３自身のデバイス識別子および現在地は、記憶させない。このように、共有ユーザ情報記憶部３６５には、同じ機密画像５１Ｓを既に閲覧している他のユーザ、つまり、同じ情報を共有している他のユーザの端末装置３のデバイス識別子が記憶される。また、後述するように、同じ機密画像５１Ｓを後に閲覧し始めた他のユーザの情報が、追加される。
As shown in FIG. 13, the shared user
端末装置３の既存画像表示処理部３６３は、第一の実施形態の既存画像表示処理部３０３と同様に、端末装置３から受信した画像データに基づいて機密画像５１Ｓまたは追記画像５１Ｗを機密画像位置または追記画像位置に表示させる。
Similar to the existing image
閲覧通知部３６４は、ユーザがドキュメントサーバ２へログインし、かつ、撮影された画像に呼出用マーカー５１Ｙが含まれている場合に、ユーザがログインした旨とともに、端末装置３自身のデバイス識別子および現在地と、この呼出用マーカー５１Ｙとを特定の端末装置３へ通知する。特定の端末装置３は、共有ユーザ情報記憶部３６５にこの呼出用マーカー５１Ｙと対応付けられて記憶されているデバイス識別子を有する端末装置３である。つまり、同じ機密画像５１Ｓを既に閲覧している他のユーザの端末装置３である。
When the user logs in to the
さらに、閲覧通知部３６４は、ユーザがドキュメントサーバ２からログアウトした場合に、ユーザがログアウトした旨とともに、端末装置３自身のデバイス識別子を他の端末装置３へ通知する。
Further, when the user logs out from the
これらの通知は、ブロードキャストによって行ってもよいし、共有ユーザ情報記憶部３６５に基づいて行ってもよい。
These notifications may be performed by broadcast or based on the shared user
図１３の共有ユーザ情報記憶部３６５には、ユーザがログインした旨が他の端末装置３から通知された場合に、これとともに通知された呼出用マーカー５１Ｙ、デバイス識別子、および現在地が１つのレコードとして新たに記憶される。
In the shared user
そして、ユーザがログアウトした旨が他の端末装置３から通知された場合に、これとともに通知されたデバイス識別子を示すレコードが共有ユーザ情報記憶部３６５から削除される。
When another
追記画像抽出部３６６は、第一の実施形態の追記画像抽出部３０４と同様に、ユーザが書き込んだ画像を追記画像５１Ｗとして抽出する。
The additional
追記画像配信部３６７は、追記画像抽出部３６６によって追記画像５１Ｗが抽出されると、この追記画像５１Ｗの画像データ６１Ｗを他の端末装置３へ次のように配信する。
When the
追記画像配信部３６７は、印刷物５の画像から抽出された呼出用マーカー５１Ｙと同じ呼出用マーカー５１Ｙを示すレコードを共有ユーザ情報記憶部３６５から検索する。そして、検索されたレコードに示されるデバイス識別子を有する端末装置３へ画像データ６１Ｗを送信する。
The additional
なお、画像データ６１Ｗは、その後に新たにログインしたユーザの端末装置３へ提供するために、ドキュメントサーバ２に登録される。登録の処理は、端末装置３の追記画像登録要求部３６８およびドキュメントサーバ２の追記画像登録部２６３によって、第一の実施形態の追記画像登録要求部３０５および追記画像登録部２０３と同様に行われる。
The
追記画像表示処理部３６９は、他の端末装置３から画像データ６１Ｗおよび追記画像位置を受信すると、追記画像５１Ｗをこの画像データ６１Ｗに基づいてこの追記画像位置に表示させる。
When the additional image
図１４および図１５は、端末装置３の全体的な処理の流れの例を説明するフローチャートである。
FIG. 14 and FIG. 15 are flowcharts for explaining an example of the overall processing flow of the
次に、第二の実施形態におけるドキュメントサーバ２および端末装置３の全体的な処理の流れを、フローチャートを参照しながら説明する。
Next, the overall processing flow of the
図１４および図１５において、端末装置３は、ドキュメントサーバ２へのログインの処理を行い、撮影した呼出用マーカー５１Ｙに対応する画像の画像データをダウンロードして画像を表示する処理を行う（＃７５１〜＃７５７）。これらの処理は、基本的に第一の実施形態と同様である。ただし、ダウンロードの際に（＃７５６）、ドキュメントサーバ２から、既にこの画像を閲覧している他のユーザの端末装置３に関する情報を受信する。そして、これを共有ユーザ情報記憶部３６５（図１３参照）に記憶させる（＃７５８）。さらに、この端末装置３のユーザがログインした旨などを、他のユーザの端末装置３へ通知する（＃７５９）。これにより、他のユーザの端末装置３の共有ユーザ情報記憶部３６５に、この端末装置３の情報が追加される。
14 and 15, the
他の端末装置３から、当該他の端末装置３のユーザがドキュメントサーバ２へログインした旨を通知された場合は（＃７６０でＹｅｓ）、当該他の端末装置３の情報を共有ユーザ情報記憶部３６５に追加する（＃７６１）。
When the other
または、ユーザが印刷物５に追記画像５１Ｗを書き込んだ場合は（＃７６２でＹｅｓ）、端末装置３は、第一の実施形態と同様に、この追記画像５１Ｗを抽出し（＃７６３）、ドキュメントサーバ２へ登録する処理を行う（＃７６４）。さらに、第二の実施形態では、共有ユーザ情報記憶部３６５に示される、同じ機密画像５１Ｓを閲覧している他のユーザの端末装置３へ、追記画像５１Ｗの画像データ６１Ｓおよび追記画像位置を送信（通知）する（＃７６５）。
Alternatively, when the user writes the
または、端末装置３は、他の端末装置３から画像データ６１Ｗおよび追記画像位置を受信した場合は（＃７６８でＹｅｓ）、これらに基づいて追記画像５１Ｗを追加的に表示する（＃７６７）。
Alternatively, when the
または、端末装置３は、他の端末装置３からログアウトする旨の通知を受信した場合は（＃７６８でＹｅｓ）、当該他の端末装置３の情報を共有ユーザ情報記憶部３６５から削除する（＃７６９）。
Alternatively, when the
または、端末装置３は、ユーザがログアウトの操作を行った場合は（＃７７０）、ドキュメントサーバ２からログアウトするための処理を行うとともに（＃７７１）、他のユーザの端末装置３へその旨を通知する（＃７７２）。
Alternatively, when the user performs a logout operation (# 770), the
ドキュメントサーバ２の第二の実施形態における全体的な処理の流れは、次の点で、第一の実施形態の場合と異なる。
The overall processing flow in the second embodiment of the
第二の実施形態では、端末装置３から機密画像５１Ｓなどを要求された場合に、ドキュメントサーバ２は、図１１のステップ＃７０６において、この機密画像５１Ｓの画像データ６１Ｓおよび機密画像位置などだけでなく、この機密画像５１Ｓを既に閲覧しているユーザに関する情報を送信する。
In the second embodiment, when the
また、第二の実施形態では、ドキュメントサーバ２は、あるユーザが書き込んだ追記画像５１Ｗを登録しても（＃７０８）、追記画像５１Ｗの画像データ６１Ｗなどを他のユーザの端末装置３へは配信しない。つまり、ステップ＃７０９の処理を行わない。
In the second embodiment, the
ドキュメントサーバ２におけるそれ以外の処理は、基本的に第一の実施形態と同様であり、図１１に示した通りである。
Other processes in the
第二の実施形態によると、ドキュメントサーバ２を介することなく、ユーザ８ａ〜８ｃ同士で新たな情報を共有することができる。
According to the second embodiment, new information can be shared between the users 8 a to 8 c without going through the
第一の実施形態および第二の実施形態では、同じ時間帯に同じ機密画像５１Ｓを閲覧しているユーザ全員で追記画像５１Ｗを共有したが、端末装置３の現在地に応じてさらに共有者を限定してもよい。すなわち、現在地が特定の場所である端末装置３にのみ、追記画像５１Ｗを配信するようにしてもよい。特定の場所は、いずれかのユーザが予めドキュメントサーバ２および端末装置３に設定しておけばよい。
In the first embodiment and the second embodiment, the
例えば、「本社１２３会議室」および「福岡支店ＴＶ会議室」が特定の場所として設定されており、かつ、各ユーザの端末装置３の現在地が図８（Ｂ）に示す通りである場合は、ユーザ８ａの端末装置３およびユーザ８ｂの端末装置３の間で、追記画像５１Ｗの画像データ６１Ｗをやり取りする。
For example, when “head office 123 conference room” and “Fukuoka branch TV conference room” are set as specific locations, and the current location of the
第一の実施形態および第二の実施形態では、機密画像５１Ｓを対応付ける画像として呼出用マーカー５１Ｙを用いたが、他の画像を用いてもよい。例えば、固定画像５１Ｋの全部分または一部分を用いてもよい。
In the first embodiment and the second embodiment, the calling
第一の実施形態および第二の実施形態では、ユーザは、印刷物５の実物に書込みを行ったが、タブレット型端末装置３Ｔを使用するときは、タッチパネルディスプレイ３０ｅに書込みを行ってもよい。この場合は、タブレット型端末装置３Ｔは、タッチされた位置を検知することによって追記画像５１Ｗを検出すればよい。
In the first embodiment and the second embodiment, the user writes on the actual printed
ドキュメントサーバ２または端末装置３は、呼出用マーカー５１Ｙを通知する代わりに、呼出用マーカー５１Ｙを解析し、呼出用マーカー５１Ｙが表わす機密画像コードを通知してもよい。
Instead of notifying the calling
第一の実施形態および第二の実施形態では、眼鏡型端末装置３Ｍとして、プリズムによって画像を表示するタイプのウェアラブルコンピュータを用いたが、他のタイプのものを用いてもよい。例えば、ゴーグル型のウェアラブルコンピュータを用いてもよい。
In the first embodiment and the second embodiment, a wearable computer that displays an image with a prism is used as the glasses-
第二の実施形態では、追記画像５１Ｗの画像データ６１Ｗなどをドキュメントサーバ２に保存したが、ドキュメントサーバ２に保存することなく、端末装置３同士でＰ２Ｐ（Peer To Peer）でやり取りし、会議または打合せなどが終了した後、削除してもよい。または、会議または打合せなどが終了した後で、一括してドキュメントサーバ２へ保存してもよい。
In the second embodiment, the
その他、ドキュメント閲覧システム１、ドキュメントサーバ２、端末装置３の全体または各部の構成、処理内容、処理順序、データの構成などは、本発明の趣旨に沿って適宜変更することができる。
In addition, the configuration of the whole or each part of the
１ ドキュメント閲覧システム（画像共有システム）
２ ドキュメントサーバ（サーバ）
３ 端末装置（ＡＲ装置）
３Ｍ 眼鏡型端末装置（ＡＲ装置）
３Ｔ タブレット型端末装置（ＡＲ装置）
３０ｅ タッチパネルディスプレイ（表示手段）
３０４、３６６ 追記画像抽出部（追記画像取得手段）
３０６、３６９ 追記画像表示処理部（追記画像受信手段、表示制御手段）
３１ｅ ディスプレイ（表示手段）
５ 印刷物（物体）
５１Ｗ 追記画像（第一の画像、第二の画像）
1 Document browsing system (image sharing system)
2 Document server (server)
3 Terminal equipment (AR equipment)
3M glasses-type terminal device (AR device)
3T tablet terminal device (AR device)
30e Touch panel display (display means)
304, 366 Additional recording image extraction unit (additional recording image acquisition means)
306, 369 Additional image display processing unit (additional image receiving means, display control means)
31e Display (display means)
5 Printed matter (object)
51W postscript image (first image, second image)
Claims (12)
表示手段と、
当該ＡＲ装置のユーザが書き加えた第一の追記画像を取得する追記画像取得手段と、
前記第一の追記画像をサーバへ送信する追記画像送信手段と、
当該ＡＲ装置および他のＡＲ装置が特定の場所にある場合に、当該他のＡＲ装置のユーザが書き加えた第二の追記画像を前記サーバから受信する追記画像受信手段と、
前記第二の追記画像を、所定の位置から前記物体を見た際に前記物体と重なって見えるように、または、前記物体を撮影して得た物体画像と重なるように、前記表示手段に表示させる、表示制御手段と、
を有することを特徴とするＡＲ装置。 An AR device that realizes AR (Augmented Reality) by superimposing an image on a real object,
Display means;
An additional image acquisition means for acquiring a first additional image added by the user of the AR device;
An additional image transmission means for transmitting the first additional image to the server;
Additional image receiving means for receiving, from the server, a second additional image added by the user of the other AR device when the AR device and the other AR device are in a specific location ;
The second additional recording image is displayed on the display unit so that the object appears to overlap the object when the object is viewed from a predetermined position, or the object image obtained by photographing the object. Display control means,
An AR device comprising:
表示手段と、
当該ＡＲ装置のユーザが書き加えた第一の追記画像を取得する追記画像取得手段と、
当該ＡＲ装置および他のＡＲ装置が特定の場所にある場合に、前記第一の追記画像を当該他のＡＲ装置へ送信する追記画像送信手段と、
他のＡＲ装置から、当該他のＡＲ装置のユーザが書き加えた第二の追記画像を受信する追記画像受信手段と、
前記第二の追記画像を、所定の位置から前記物体を見た際に前記物体と重なって見えるように、または、前記物体を撮影して得た物体画像と重なるように、前記表示手段に表示させる、表示制御手段と、
を有することを特徴とするＡＲ装置。 An AR device that realizes AR (Augmented Reality) by superimposing an image on a real object,
Display means;
An additional image acquisition means for acquiring a first additional image added by the user of the AR device;
When the AR device and other AR device is in a particular location, and additional image transmitting means for transmitting said first additional image to the other AR devices,
A recordable image receiving means for receiving a second recordable image written by the user of the other AR device from another AR device;
The second additional recording image is displayed on the display unit so that the object appears to overlap the object when the object is viewed from a predetermined position, or the object image obtained by photographing the object. Display control means,
An AR device comprising:
請求項２に記載のＡＲ装置。 The additional image transmission means transmits the first additional image to an AR device that is currently photographing the object of the other AR devices;
The AR device according to claim 2.
前記追記画像取得手段は、前記第一の追記画像を、前記マークが含まれるように前記物体の全部または一部を撮影することによって取得し、
前記追記画像送信手段は、前記第一の追記画像とともに、前記マークを基準とする、当該第一の追記画像が書き加えられた際の第一の書込位置を送信し、
前記追記画像受信手段は、前記第二の追記画像とともに、前記マークを基準とする、当該第二の追記画像が書き加えられた際の第二の書込位置を受信し、
前記表示制御手段は、前記第二の追記画像を、前記マークを基準とする、前記第二の書込位置に表示させる、
請求項１ないし請求項３のいずれかに記載のＡＲ装置。 The object is given a specific mark,
The additional image acquisition means acquires the first additional image by photographing all or part of the object so that the mark is included,
The additional image transmission means transmits the first writing position when the first additional image is written with the mark as a reference together with the first additional image,
The additional recording image receiving means receives the second writing position when the second additional recording image is written with the second additional recording image as a reference,
The display control means displays the second additional image at the second writing position with the mark as a reference;
The AR device according to claim 1.
前記第一のＡＲ装置には、
当該第一のＡＲ装置のユーザが書き加えた追記画像を取得する追記画像取得手段と、
前記追記画像を前記サーバへ送信する追記画像送信手段と、
が設けられ、
前記サーバには、
前記第一のＡＲ装置および前記第二のＡＲ装置が特定の場所にある場合に、当該第一のＡＲ装置から送信された前記追記画像を当該第二のＡＲ装置へ送信する追記画像中継手段、
が設けられ、
前記第二のＡＲ装置には、
前記サーバから送信された前記追記画像を、所定の位置から前記物体を見た際に前記物体と重なって見えるように、または、前記物体を撮影して得た物体画像と重なるように表示する表示手段、
が設けられる、
ことを特徴とする画像共有システム。 An image sharing system having a first AR device and a second AR device that realize AR (Augmented Reality) by superimposing an image on a real object, and a server,
In the first AR device,
Additional image acquisition means for acquiring an additional image added by the user of the first AR device;
Additional image transmission means for transmitting the additional image to the server;
Is provided,
The server includes
When said first AR device and the second AR device is in a particular location, additional image relay means for transmitting the additional image transmitted from the first AR device to the second AR device,
Is provided,
In the second AR device,
Display that displays the additional image transmitted from the server so as to overlap with the object when the object is viewed from a predetermined position or to overlap with the object image obtained by photographing the object means,
Is provided,
An image sharing system characterized by that.
前記追記画像取得手段は、前記追記画像を、前記マークが含まれるように前記物体の全部または一部を撮影することによって取得し、
前記追記画像送信手段は、前記追記画像を、撮影された前記マークとともに前記サーバへ送信し、
前記追記画像中継手段は、前記第二のＡＲ装置が前記マークに対応付けられている場合に、前記第二のＡＲ装置へ前記追記画像を送信する、
請求項５に記載の画像共有システム。 The object is given a specific mark,
The additional image acquisition means acquires the additional image by photographing all or part of the object so that the mark is included,
The additional image transmission means transmits the additional image together with the taken mark to the server,
The additional image relay means transmits the additional image to the second AR device when the second AR device is associated with the mark.
The image sharing system according to claim 5.
前記第一のＡＲ装置に、
当該第一のＡＲ装置のユーザが書き加えた追記画像を取得する処理と、
前記追記画像を前記サーバへ送信する処理と、を実行させ、
前記サーバに、
前記第一のＡＲ装置および前記第二のＡＲ装置が特定の場所にある場合に、当該第一のＡＲ装置から送信された前記追記画像を当該第二のＡＲ装置へ送信する処理を実行させ、
前記第二のＡＲ装置に、
前記サーバから送信された前記追記画像を、所定の位置から前記物体を見た際に前記物体と重なって見えるように、または、前記物体を撮影して得た物体画像と重なるように表示する処理を実行させる、
ことを特徴とする画像共有方法。 An image sharing method using a first AR device and a second AR device and a server for realizing AR (Augmented Reality) by superimposing an image on a real object,
In the first AR device,
A process of acquiring a postscript image added by the user of the first AR device;
Processing to transmit the additional image to the server,
To the server,
When the first AR device and the second AR device is in a particular location, the additional image transmitted from the first AR device to execute the process of transmitting to the second AR device,
In the second AR device,
Processing for displaying the additional image transmitted from the server so as to overlap with the object when the object is viewed from a predetermined position or to overlap with the object image obtained by photographing the object To execute,
An image sharing method characterized by the above.
前記第一のＡＲ装置に、
当該第一のＡＲ装置のユーザが書き加えた追記画像を取得する処理と、
前記第一のＡＲ装置および前記第二のＡＲ装置が特定の場所にある場合に、前記追記画像を当該第二のＡＲ装置へ送信する処理と、を実行させ、
前記第二のＡＲ装置に、
前記追記画像を受信する処理と、
所定の位置から前記物体を見た際に前記物体と重なって見えるように、または、前記物体を撮影して得た物体画像と重なるように、前記追記画像を表示する処理を実行させる、
ことを特徴とする画像共有方法。 An image sharing method using a first AR device and a second AR device that realizes AR (Augmented Reality) by superimposing an image on a real object,
In the first AR device,
A process of acquiring a postscript image added by the user of the first AR device;
When the first AR device and the second AR device is in a particular location, and the process of transmitting the additional image to the second AR device is executed,
In the second AR device,
Processing to receive the additional image;
Causing the additional image to be displayed so that the object appears to overlap the object when viewed from a predetermined position, or to overlap the object image obtained by photographing the object,
An image sharing method characterized by the above.
当該コンピュータに、
当該コンピュータのユーザが書き加えた第一の追記画像を取得する処理を実行させ、
前記第一の追記画像をサーバへ送信する処理を実行させ、
当該コンピュータおよび他のコンピュータが特定の場所にある場合に、当該他のコンピュータのユーザが書き加えた第二の追記画像を前記サーバから受信する処理を実行させ、
前記第二の追記画像を、所定の位置から前記物体を見た際に前記物体と重なって見えるように、または、前記物体を撮影して得た物体画像と重なるように表示する処理を実行させる、
ことを特徴とするコンピュータプログラム。 A computer program used in a computer that realizes AR (Augmented Reality) by superimposing an image on a real object,
On that computer,
The process of acquiring the first additional image added by the user of the computer is executed ,
To execute the process of transmitting the first additional image to the server,
When the computer and other computers in a specific location, to execute the process of receiving a second additional image applied by the user writing the other computers from the server,
Execute processing to display the second additional image so that the second additional image appears to overlap the object when the object is viewed from a predetermined position, or to overlap the object image obtained by photographing the object ,
Computer program, wherein a call.
当該コンピュータに、
当該コンピュータのユーザが書き加えた第一の追記画像を取得する処理を実行させ、
当該コンピュータおよび他のコンピュータが特定の場所にある場合に、前記第一の追記画像を当該他のコンピュータへ送信する処理を実行させ、
他のコンピュータから、当該他のコンピュータのユーザが書き加えた第二の追記画像を受信する処理を実行させ、
前記第二の追記画像を、所定の位置から前記物体を見た際に前記物体と重なって見えるように、または、前記物体を撮影して得た物体画像と重なるように表示する処理を実行させる、
ことを特徴とするコンピュータプログラム。 A computer program used in a computer that realizes AR (Augmented Reality) by superimposing an image on a real object,
On that computer,
The process of acquiring the first additional image added by the user of the computer is executed ,
When the computer and other computers in a specific location, the first additional image to execute the process of transmitting to the other computers,
From another computer, execute a process of receiving a second additional image added by the user of the other computer,
Execute processing to display the second additional image so that the second additional image appears to overlap the object when the object is viewed from a predetermined position, or to overlap the object image obtained by photographing the object ,
Computer program, wherein a call.
前記第一のＡＲ装置のユーザが書き加えた追記画像を当該第一のＡＲ装置から受信する追記画像受信手段と、
前記第一のＡＲ装置および前記第二のＡＲ装置が特定の場所にある場合に、前記追記画像を当該第二のＡＲ装置へ送信する追記画像送信手段と、
を有することを特徴とするサーバ。 A server capable of communicating with a first AR device and a second AR device that realizes AR (Augmented Reality) by superimposing an image on a real object,
A recordable image receiving means for receiving a recordable image added by the user of the first AR device from the first AR device;
An additional image transmission means for transmitting the additional image to the second AR device when the first AR device and the second AR device are in a specific location;
The server characterized by having.
前記コンピュータに、
前記第一のＡＲ装置のユーザが書き加えた追記画像を当該第一のＡＲ装置から受信する処理を実行させ、
前記第一のＡＲ装置および前記第二のＡＲ装置が特定の場所にある場合に、前記追記画像を当該第二のＡＲ装置へ送信する処理を実行させる、
ことを特徴とするコンピュータプログラム。 A computer program used in a computer capable of communicating with a first AR device and a second AR device that realizes AR (Augmented Reality) by superimposing an image on a real object,
In the computer,
A process of receiving from the first AR device the additional image added by the user of the first AR device;
When the first AR device and the second AR device are in a specific location, a process of transmitting the additional image to the second AR device is executed.
A computer program characterized by the above.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014187848A JP6455038B2 (en) | 2014-09-16 | 2014-09-16 | AR device, image sharing system, image sharing method, computer program, and server |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014187848A JP6455038B2 (en) | 2014-09-16 | 2014-09-16 | AR device, image sharing system, image sharing method, computer program, and server |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016062168A JP2016062168A (en) | 2016-04-25 |
| JP6455038B2 true JP6455038B2 (en) | 2019-01-23 |
Family
ID=55797772
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014187848A Active JP6455038B2 (en) | 2014-09-16 | 2014-09-16 | AR device, image sharing system, image sharing method, computer program, and server |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6455038B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220120141A (en) | 2021-02-23 | 2022-08-30 | 이동건 | I/o expansion system using mr |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111917918B (en) * | 2020-07-24 | 2021-09-21 | 腾讯科技（深圳）有限公司 | Augmented reality-based event reminder management method and device and storage medium |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004234594A (en) * | 2003-02-03 | 2004-08-19 | Matsushita Electric Ind Co Ltd | Photo communication system and method, and information recording medium |
| JP4661446B2 (en) * | 2005-08-12 | 2011-03-30 | セイコーエプソン株式会社 | Composite image forming device |
| JP5658547B2 (en) * | 2009-12-29 | 2015-01-28 | シャープ株式会社 | Network system, communication method, and communication terminal |
| JP6028527B2 (en) * | 2012-11-08 | 2016-11-16 | 株式会社リコー | Display processing apparatus, display processing method, and program |
| JP6025522B2 (en) * | 2012-11-27 | 2016-11-16 | キヤノン株式会社 | Image processing apparatus, image processing method, image processing system, and program |
-
2014
- 2014-09-16 JP JP2014187848A patent/JP6455038B2/en active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220120141A (en) | 2021-02-23 | 2022-08-30 | 이동건 | I/o expansion system using mr |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016062168A (en) | 2016-04-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11481730B2 (en) | Collaboration system including a spatial event map | |
| CA2900052C (en) | Collaboration system with whiteboard access to global collaboration data | |
| TWI588776B (en) | Entry points to image-related applications in a mobile device | |
| US9189060B2 (en) | Method of controlling information processing apparatus and information processing apparatus | |
| EP2727336A1 (en) | Transferring state information between electronic devices | |
| JP2007213467A (en) | Conference support apparatus | |
| JP6152797B2 (en) | Image browsing system, receiving side portable terminal, image server, and image browsing method | |
| JP2020013231A (en) | Augmented reality program and information processing apparatus | |
| JP6455038B2 (en) | AR device, image sharing system, image sharing method, computer program, and server | |
| KR101175174B1 (en) | Method and Apparatus for deliverying information using images taken from real things as an information agent | |
| US20190012385A1 (en) | Compact autonomous network device for storing and viewing data | |
| JP2017108356A (en) | Image management system, image management method and program | |
| JP5953669B2 (en) | Conference system and document display method | |
| US20210334057A1 (en) | Display system and display device | |
| JP2019023788A (en) | Image display system, material providing support device, material acquisition device, material providing support method, and computer program | |
| JP2018106229A (en) | Information processing apparatus, method for controlling information processing apparatus, and program | |
| JP6435736B2 (en) | AR device, AR realization method, and computer program | |
| JP6520082B2 (en) | Image providing apparatus, image providing method, and computer program | |
| KR102172588B1 (en) | Moving picture album production method and system for exhibition hall spectator | |
| US20230111762A1 (en) | Collaboration system including a spatial event map | |
| US20230319051A1 (en) | System, method, and storage medium | |
| JP6522183B1 (en) | User terminal, user terminal control method, two-dimensional code provision device, print medium, user terminal control program, network device, network device control method and network device control program | |
| WO2023013115A1 (en) | Information processing device, information processing method, and program | |
| WO2021131363A1 (en) | Object management system, object management method, and object management program | |
| JP2016099754A (en) | Sheet processing apparatus for ar, sheet processing method for ar, and computer program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170817 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180830 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180911 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181109 Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20181109 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181120 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181203 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6455038 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |