JP6550766B2 - AR apparatus, AR implementation method, and computer program - Google Patents
AR apparatus, AR implementation method, and computer program Download PDFInfo
- Publication number
- JP6550766B2 JP6550766B2 JP2015015210A JP2015015210A JP6550766B2 JP 6550766 B2 JP6550766 B2 JP 6550766B2 JP 2015015210 A JP2015015210 A JP 2015015210A JP 2015015210 A JP2015015210 A JP 2015015210A JP 6550766 B2 JP6550766 B2 JP 6550766B2
- Authority
- JP
- Japan
- Prior art keywords
- marker
- image
- display
- content
- displayed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Studio Devices (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Description
本発明は、AR(Augmented Reality)の技術に関する。 The present invention relates to AR (Augmented Reality) technology.
近年、AR(Augmented Reality)の技術が普及し始めている。ARは、一般に「拡張現実」と翻訳される。 In recent years, AR (Augmented Reality) technology has begun to spread. AR is generally translated as “augmented reality”.
ARの技術によると、ARマーカが付されている印刷物を、スマートフォンなどで撮影すると、ARマーカに対応するコンテンツ(オブジェクト)が、撮影した印刷物の画像の上に表示される。これにより、現実の空間が拡張したかのようにユーザに感じさせることができる。 According to the AR technology, when a printed matter to which an AR marker is attached is photographed by a smartphone or the like, content (object) corresponding to the AR marker is displayed on the image of the photographed printed matter. As a result, the user can feel as if the real space has been expanded.
また、機密のコンテンツを印刷する代わりにARマーカを印刷することによって、機密のコンテンツを秘匿することができる。 In addition, by printing an AR marker instead of printing confidential content, confidential content can be concealed.
そのほか、従来、ARに関する次のような技術が提案されている。特許文献1に記載される画像処理装置は、実空間を映す映像を構成する入力画像を取得する画像取得部と、前記入力画像を解析することにより、前記入力画像を撮像した撮像装置の前記実空間内の位置及び姿勢の少なくとも一方を認識する解析部と、拡張現実空間内に配置されるコンテンツと関連付けられるオブジェクトであって前記実空間内に存在する前記オブジェクトを前記入力画像内で検出する検出部と、前記検出部により検出されたオブジェクトの前記実空間内の位置及び姿勢の少なくとも一方を含む検出情報を記憶媒体に記憶させる管理部と、前記検出情報を用いて追跡される、前記検出されたオブジェクトに対する前記撮像装置の相対的な位置及び姿勢の少なくとも一方に基づいて、前記検出されたオブジェクトと関連付けられるコンテンツの前記拡張現実空間内での振る舞いを制御するコンテンツ制御部と、を備える。
In addition, the following techniques related to AR have been proposed. An image processing apparatus described in
しかし、特許文献1に記載される技術によると、ARマーカが撮影の範囲の外に出ても、それに対応するオブジェクトを表示することができる。しかし、絵本に描かれている動物などのオブジェクトが絵本から飛び出してくるかのように見せるため、撮像装置の位置および姿勢とオブジェクトとの相対的な関係を常に演算しなければならない。
However, according to the technology described in
機密のコンテンツを秘匿するためにARの技術を用いるのであれば、もっと容易にコンテンツの視認性を向上させることが求められる。 If AR technology is used to conceal confidential content, it is required to more easily improve the visibility of the content.
本発明は、このような課題に鑑み、ARによって表示するコンテンツの視認性を従来よりも容易に向上させることを目的とする。 An object of the present invention is to improve the visibility of content displayed by AR more easily than the conventional one in view of such a subject.
本発明の一形態に係るAR装置は、マーカが記される物体に重なっているように画像を表示することによってAR(Augmented Reality)を実現するAR装置であって、表示手段と、連続的に撮影を行う撮影手段と、前記撮影手段が撮影を行うことによって得られた撮影画像から前記マーカを検出する検出手段と、前記検出手段によって検出された前記マーカに対応する対応画像を受信する受信手段と、前記撮影手段によって前記撮影画像が得られるごとに、当該撮影画像の全部分または一部分である注目部分を前記表示手段に表示させる第一の表示制御手段と、前記注目部分に前記マーカが含まれている場合は、前記対応画像を前記表示手段に表示させ、前記撮影画像の任意の一部分であってズームの操作によって決定された第一の部分から他の一部分である第二の部分へスクロールさせることによって前記注目部分を変更する、ユーザによる動作によって前記マーカが前記注目部分に含まれなくなってから所定の時間が経過していない場合は、前記対応画像を前記表示手段に表示させ続け、前記動作によって前記マーカが前記注目部分に含まれなくなってから前記所定の時間が経過した場合は、前記対応画像を前記表示手段に表示するのを終了させる、第二の表示制御手段と、を有する。
An AR device according to an aspect of the present invention is an AR device that realizes an AR (Augmented Reality) by displaying an image so as to overlap with an object to be marked, and continuously displays the AR device. A photographing unit for photographing, a detection unit for detecting the marker from a photographed image obtained by the photographing unit for photographing, and a reception unit for receiving a corresponding image corresponding to the marker detected by the detection unit And, first display control means for causing the display means to display a focused portion which is all or part of the captured image each time the captured image is obtained by the imaging means, and the marker is included in the focused portion is the case are, the corresponding image is displayed on the display unit, the first portion of the other determined by the operation of the zoom be any portion of the captured image Is a portion for changing the portion of interest by scrolling to the second part, when the said marker by by that operation to the user has not passed the predetermined time after no longer included in the portion of interest, the The display of the corresponding image on the display means is ended when the corresponding image is continuously displayed on the display means and the predetermined time elapses after the marker is not included in the target portion by the operation. , And second display control means.
本発明によると、ARによって表示するコンテンツの視認性を従来よりも容易に向上させることができる。 According to the present invention, the visibility of the content to be displayed by the AR can be easily improved as compared with the prior art.
図1は、ドキュメント閲覧システム1の全体的な構成の例を示す図である。図2は、ドキュメントサーバ2のハードウェア構成の例を示す図である。図3は、タブレット型端末装置3Tのハードウェア構成の例を示す図である。図4は、眼鏡型端末装置3Mのハードウェア構成の例を示す図である。
FIG. 1 is a diagram illustrating an example of the overall configuration of the
ドキュメント閲覧システム1は、図1に示すように、ドキュメントサーバ2、端末装置3、および通信回線4などによって構成される。ドキュメント閲覧システム1は、ドキュメント(文書)を表示するためのデータを管理し、ドキュメントの閲覧のサービスをユーザに提供する。
As shown in FIG. 1, the
ドキュメントサーバ2と端末装置3とは、通信回線4を介して通信を行うことができる。通信回線4として、インターネット、Wi−Fi、LAN(Local Area Network)、または携帯電話回線などが用いられる。
The
ドキュメントサーバ2は、ドキュメントを表示するためのデータを記憶し、適宜、端末装置3へ提供する。ドキュメントサーバ2として、いわゆるサーバ機が用いられる。または、コピー、スキャン、ファックスなどの機能を備えた複合機を用いてもよいし、いわゆるクラウドサーバを用いてもよい。
The
ドキュメントサーバ2は、図2に示すように、CPU(Central Processing Unit)20a、RAM(Random Access Memory)20b、ROM(Read Only Memory)20c、大容量記憶装置20d、およびNIC(Network Interface Card)20eなどによって構成される。
As shown in FIG. 2, the
NIC20eは、TCP/IP(Transmission Control Protocol/Internet Protocol)などのプロトコルによって端末装置3などの装置と通信を行う。
The NIC 20 e communicates with a device such as the
ROM20cまたは大容量記憶装置20dには、コンテンツ提供プログラム2Pが記憶されている。コンテンツ提供プログラム2Pは、RAM20bにロードされ、CPU20aによって実行される。大容量記憶装置20dとして、ハードディスクまたはSSD(Solid State Drive)などが用いられる。
A
端末装置3は、ドキュメントサーバ2から提供されるデータに基づいてドキュメントを表示する。端末装置3として、パーソナルコンピュータ、タブレットコンピュータ、スマートフォン、または眼鏡型コンピュータなどが用いられる。
The
「眼鏡型コンピュータ」は、ウェアラブルコンピュータの一種であり、グーグル社のグーグルグラスのような、眼鏡のように顔に装着するタイプのコンピュータである。 The “glasses-type computer” is a kind of wearable computer, and is a computer that is worn on the face like glasses such as Google Glass of Google.
以下、端末装置3として、タブレットコンピュータまたは眼鏡型コンピュータが用いられる場合を例に説明する。前者および後者をそれぞれ「タブレット型端末装置3T」および「眼鏡型端末装置3M」と区別して記載することがある。
Hereinafter, a case where a tablet computer or a glasses-type computer is used as the
タブレット型端末装置3Tは、図3に示すように、CPU30a、RAM30b、ROM30c、フラッシュメモリ30d、タッチパネルディスプレイ30e、操作ボタン群30f、デジタルカメラ30g、無線通信装置30h、および加速度センサ30iなどが用いられる。
As shown in FIG. 3, the
タッチパネルディスプレイ30eは、フラット型ディスプレイ(例えば、液晶ディスプレイ)およびタッチパネルによって構成される。フラット型ディスプレイは、種々の画像を表示する。特にドキュメントを表示するために用いられる。タッチパネルは、ユーザがタッチした位置を検知し、その位置をCPU30aへ通知する。
The
操作ボタン群30fは、ホーム画面に戻るためのボタン、入力した内容を確定するためのボタン、音量を調整するためのボタン、および電源のオン/オフを切り換えるためのボタンなどによって構成される。 The operation button group 30f includes a button for returning to the home screen, a button for confirming the input content, a button for adjusting the volume, a button for switching on / off the power, and the like.
デジタルカメラ30gは、種々の画像を撮影する。特にドキュメントが印刷された用紙を撮影するために用いられる。デジタルカメラ30gは、デジタルズームの機能が備わっている。
The
無線通信装置30hは、基地局を介してTCP/IPなどのプロトコルによってドキュメントサーバ2などの装置と通信を行う。無線通信装置30hの通信方式として、例えば、Wi−Fi、Bluetooth(登録商標)、LTE(Long Term Evolution)、W−CDMA(Wideband-Code Division Multiple Access)、またはPHS(Personal Handy-phone System)などが用いられる。
The
加速度センサ30iは、タブレット型端末装置3Tの加速度および姿勢を検知する。また、加速度の変化に基づいて位置の変化を検知する。
The acceleration sensor 30i detects the acceleration and posture of the
ROM30cまたはフラッシュメモリ30dには、クライアントプログラム3Pが記憶されている。クライアントプログラム3Pは、RAM30bにロードされ、CPU30aによって実行される。
A
眼鏡型端末装置3Mは、図4に示すように、CPU31a、RAM31b、ROM31c、フラッシュメモリ31d、ディスプレイ31e、操作ボタン群31f、デジタルカメラ31g、無線通信装置31h、および加速度センサ31iなどが用いられる。
As shown in FIG. 4, the eyeglass-
CPU31a、RAM31b、ROM31c、フラッシュメモリ31d、ディスプレイ31e、操作ボタン群31f、デジタルカメラ31g、無線通信装置31h、加速度センサ31iの役割は、それぞれ、タブレット型端末装置3TのCPU30a、RAM30b、ROM30c、フラッシュメモリ30d、タッチパネルディスプレイ30e、操作ボタン群30f、デジタルカメラ30g、無線通信装置30h、および加速度センサ31iと基本的に同様である。
The functions of the
ただし、画像を再現する方式が、タッチパネルディスプレイ30eとディスプレイ31eとでは、相違する。タッチパネルディスプレイ30eは、上述の通り、液晶ディスプレイのような平面型のディスプレイが用いられる。一方、ディスプレイ31eは、柄の根元に設けられたプロジェクタからレンズの端部付近に設けられたプリズムへ光を発することによって、画像を再現する。
However, the method for reproducing an image is different between the
クライアントプログラム3Pが、ROM31cまたはフラッシュメモリ31dに記憶されており、RAM31bにロードされ、CPU31aによって実行される。
The
図5は、印刷物5の例を示す図である。図6は、ドキュメントサーバ2および端末装置3の機能的構成の例を示す図である。図7は、コンテンツ保存部201に保存される呼出用マーカ51Yおよび画像データ55の例を示す図である。図8は、重畳要否判別処理の流れの例を説明するフローチャートである。
FIG. 5 is a view showing an example of the printed
ところで、ドキュメント閲覧システム1は、PDF(Portable Document Format)などのファイルを単に提供するだけでなく、AR(Augmented Reality)の技術によってドキュメントを再現することができる。この際に、印刷物5が用いられる。
Incidentally, the
印刷物5は、図5(A)のように、文字列のほか、呼出用マーカ51Yが印刷されている。呼出用マーカ51Yは、ドキュメントサーバ2にデータが記憶されているコンテンツを呼び出すためのものである。
As shown in FIG. 5A, the printed
ユーザが眼鏡型端末装置3Mを掛けて印刷物5を見ると、呼出用マーカ51Yに基づいてコンテンツ51Cのデータがドキュメントサーバ2からダウンロードされ、図5(B)のように、コンテンツ51Cが印刷物5に印刷されているかのように見える。タブレット型端末装置3Tで印刷物5を撮影しながら見た場合も、同様に見える。
When the user wears the glasses-
このように、ドキュメント閲覧システム1によると、ARが実現される。呼出用マーカ51Yとして、所定のフォーマットのマーカ(例えば、ARマーカ)が用いられる。ARマーカは、「ARコード」と呼ばれることもある。
Thus, according to the
この仕組みは、コンテンツ提供プログラム2Pおよびクライアントプログラム3Pによって実現される。以下、ユーザがタブレット型端末装置3Tによって印刷物5を見る場合を例に、この仕組みを説明する。
This mechanism is realized by the
コンテンツ提供プログラム2PをCPU20aで実行することによって、ドキュメントサーバ2に、図6に示すコンテンツ保存部201およびコンテンツ送信部202などが実現される。
By executing the
クライアントプログラム3PをCPU30aで実行することによって、タブレット型端末装置3Tに、図6に示すマーカ検出部301、コンテンツ取得部302、コンテンツ記憶部303、表示部分決定部304、比較用画像記憶部305、撮影画像表示制御部306、タイマ307、重畳要否判別部308、およびコンテンツ重畳制御部309などが実現される。
When the
コンテンツ保存部201には、図7に示すように、コンテンツ51Cごとの画像データ55が、ユニークな呼出用マーカ51Yと対応付けて予め保存されている。
As shown in FIG. 7, in the
ユーザは、タブレット型端末装置3Tにクライアントプログラム3Pを起動させる。すると、デジタルカメラ30gが撮影を開始する。そして、所定の時間Ta(例えば、0.1秒)ごとに撮影を行う。
The user causes the
ここで、ユーザは、印刷物5が撮影されるようにデジタルカメラ30gの位置および姿勢を調整する。すると、印刷物5の一部分または全部分の画像が撮影され、その画像の画像データが生成される。
Here, the user adjusts the position and attitude of the
マーカ検出部301は、デジタルカメラ30gによって画像が撮影されるごとに、その画像の中から呼出用マーカ51Yの検出を試みる。つまり、その画像の中から所定のフォーマットのマーカを検索し、そのようなマーカが見つかったら、これを呼出用マーカ51Yとして抽出する。なお、ユーザがピンチアウトまたはドラッグなど拡大またはスクロールの操作を行っている間は、呼出用マーカ51Yの検出を実行しないようにしてもよい。また、タブレット型端末装置3Tの位置または姿勢が一定以上の速さで変化している間(例えば、ユーザがタブレット型端末装置3Tをパンさせている間)も、同様である。
The
コンテンツ取得部302は、マーカ検出部301によって呼出用マーカ51Yが検出(抽出)された場合に、この呼出用マーカ51Yに対応するコンテンツ51Cを次のように取得する。
When the
コンテンツ取得部302は、呼出用マーカ51Yをドキュメントサーバ2へ送信し、これに対応するコンテンツ51Cを要求する。
The
すると、ドキュメントサーバ2において、コンテンツ送信部202は、送信されてきた呼出用マーカ51Yに対応する画像データ55をコンテンツ保存部201から呼び出し、タブレット型端末装置3Tへ送信する。
Then, in the
そして、コンテンツ取得部302は、ドキュメントサーバ2から画像データ55を受信する。
Then, the
コンテンツ記憶部303は、コンテンツ取得部302によって画像データ55が取得されると、これを一時的に記憶する。
When the
なお、同じ呼出用マーカ51Yが再びマーカ検出部301によって検出される場合がある。この場合は、この呼出用マーカ51Yに対応する画像データ55がコンテンツ記憶部303に記憶されていれば、コンテンツ取得部302は、この画像データ55を取得しない。
The
ところで、クライアントプログラム3Pが起動された当初、デジタルカメラ30gのデジタルズームは等倍に設定される。タッチパネルディスプレイ30eには、デジタルカメラ30gによって撮影された画像(以下、「撮影画像60」と記載する。)の全部分または一部分が表示される。どの部分が表示されるのかは、デジタルズームの倍率およびユーザの操作に応じて表示部分決定部304によって次のように決定される。
By the way, at the beginning of starting the
表示部分決定部304は、クライアントプログラム3Pが起動された当初は、撮影画像60の全体を、タッチパネルディスプレイ30eに表示する部分(以下、「表示部分」と記載する。)に決定する。
The display
その後、ユーザがタッチパネルディスプレイ30eの任意の位置に対してピンチアウト(ピンチオープン)すると、表示部分決定部304は、その位置を中心とする、指の動いた距離に応じた範囲を、表示部分に決定する。範囲は、指の動いた距離が長いほど狭くなる。そして、後述するように、この範囲がタッチパネルディスプレイ30eの全体に合うように拡大されて表示される。つまり、ピンチアウトが行われると、それが行われた位置を中心として、指の動いた距離に応じた倍率に撮影画像60が拡大されて表示される。
Thereafter, when the user pinches out (pinch-opens) at an arbitrary position on
さらにその後、ユーザがタッチパネルディスプレイ30eを任意の方向へ任意の距離だけドラッグすると、表示部分決定部304は、現在の表示部分から、その方向へその距離だけ移動した部分を、新たな表示部分に決定する。
After that, when the user drags the
比較用画像記憶部305には、呼出用マーカ51Yがマーカ検出部301によって最初に検出された際の撮影画像60が記憶される。その後、ピンチアウトが行われた場合は、この撮影画像60の代わりに、ピンチアウトが行われた直後における撮影画像60のうちの表示部分の画像が記憶される。以下、比較用画像記憶部305に記憶される画像を「比較用画像61」と記載する。
In the comparison
撮影画像表示制御部306は、撮影画像60の中の、表示部分決定部304によって決定した表示部分が全体に表示されるようにタッチパネルディスプレイ30eを制御する。
The captured image
タイマ307は、比較用画像61と後述する注目部分画像62とに一致する部分がなくなってから経過した時間を計る。一致する部分がなくなった後、再び一致する部分が生じたら、計時を止め、リセットする。
The
重畳要否判別部308は、マーカ検出部301によって呼出用マーカ51Yが検出され、コンテンツ取得部302によって画像データ55が取得された後、デジタルカメラ30gによって新たな撮影画像60が得られるごとに、この画像データ55に基づいてコンテンツ51Cを撮影画像60の上に重ねて表示すべきか否かを判別する。判別の処理は、図8に示す手順で行われる。
The superimposition
重畳要否判別部308は、新たな撮影画像60のうちの表示部分の画像(以下、「注目部分画像62」と記載する。)に呼出用マーカ51Yが含まれていれば(#701でYes)、このコンテンツ51Cを重ねて表示すべきであると判別する(#706)。
If the calling
注目部分画像62に呼出用マーカ51Yが含まれていない場合は(#701でNo)、さらに、次の通り処理を続ける。
If the attention
重畳要否判別部308は、注目部分画像62と比較用画像61とを比較することによって、両者に一致(共通)する部分があるか否かを判別する(#702)。
The superposition
一致する部分がある場合は、コンテンツ重畳制御部308は、このコンテンツ51Cを重ねて表示すべきであると判別する(#706)。
If there is a matching portion, the content
一致する部分がない場合は(#703でNo)、ユーザが撮影画像60を拡大しまたはスクロールする操作を行っている最中である場合は(#704でYes)、重畳要否判別部308は、このコンテンツ51Cを重ねて表示すべきであると判別する(#706)。
If there is no matching portion (No in # 703), if the user is performing an operation of enlarging or scrolling the captured image 60 (Yes in # 704), the overlap
具体的には、次のように判別する。コンテンツ51Cが表示されているときに、ユーザがタッチパネルディスプレイ30eに対してピンチアウトまたはドラッグを行い始めると、撮影画像60が拡大されまたはスクロールされる。その結果、呼出用マーカ51Yが注目部分画像62に含まれなくなる場合がある。未だ指がタッチパネルディスプレイ30eから離れていなければ、ピンチアウトまたはドラッグの最中である。そこで、重畳要否判別部308は、撮影画像60が拡大されまたはスクロールされ始めた後、指がタッチパネルディスプレイ30eに触れたままであれば、呼出用マーカ51Yの有無に関わらず、コンテンツ51Cを重ねて表示すべきであると判別する。
Specifically, the determination is made as follows. If the user starts to pinch out or drag the
注目部分画像62および比較用画像61に一致する部分がなく(#703でNo)、ユーザが撮影画像60を拡大する操作もスクロールする操作も行っていない場合は(#704でNo)、一致する部分があると最後に判別された時から所定の時間Tb(例えば、3秒)が未だ経過していなければ(#705でNo)、重畳要否判別部308は、このコンテンツ51Cを重ねて表示すべきあると、判別する(#706)。一方、所定の時間Tbが既に経過していれば(#705でYes)、表示すべきでないと判別する(#707)。所定の時間Tbは、ユーザが任意に設定することができる。
If there is no part that matches the notable
なお、判別の処理は、新たな撮影画像60が得られるごとに常に行うのではなく、所定の間隔を空けて行ってもよい。例えば、1秒ごとに行ってもよい。
The process of determination is not always performed each time a new captured
コンテンツ重畳制御部309は、コンテンツ51Cを重ねて表示すべきであると重畳要否判別部308によって判別された場合に、注目部分画像62の上にコンテンツ51Cが表示されるように画像データ55に基づいてタッチパネルディスプレイ30eを制御する。
The content
なお、コンテンツ51Cを重ねて表示すべきでないと重畳要コンテンツ重畳制御部309によって判別されると、このコンテンツ51Cの画像データ55がコンテンツ記憶部303から削除される。
Note that if the superposition-necessary content
図9〜図11は、注目部分画像62へコンテンツ51Cを重ねて表示する例を説明するための図である。
FIGS. 9 to 11 are diagrams for explaining an example in which the content 51 </ b> C is displayed over the target
上述の各部によると、タッチパネルディスプレイ30eに表示される画像が、ユーザによる操作に応じて、例えば、図5、図9〜図11に示すように遷移する。
According to each of the above-described units, the image displayed on the
クライアントプログラム3Pが起動してデジタルカメラ30gが撮影を開始した当初は、デジタルズームが等倍に設定される。ここで、印刷物5の全体が撮影範囲に入るようにタブレット型端末装置3Tの位置および姿勢が調整されると、印刷物5の全体(図5(A)参照)がタッチパネルディスプレイ30eに表示される。また、呼出用マーカ51Yが検出されるので、これに対応する画像データ55がドキュメントサーバ2からタブレット型端末装置3Tへダウンロードされ、この画像データ55に基づいてコンテンツ51Cが印刷物5の画像つまり撮影画像60の上に図5(B)のように表示される。デジタルズームが等倍なので、このとき、撮影画像60が注目部分画像62である。そして、呼出用マーカ51Yが初めに検出された際の撮影画像60(注目部分画像62)が比較用画像61として比較用画像記憶部305に記憶される。
When the
ユーザがタッチパネルディスプレイ30eに対してピンチアウトを行うと、撮影画像の一部分が図9(A)のように拡大されて表示される。この時点では、注目部分画像62に呼出用マーカ51Yが含まれているので、図9(B)のように、コンテンツ51Cが、引き続き撮影画像の上に重ねて表示される。
When the user performs a pinch out on the
さらに、拡大に伴い、前の比較用画像61の代わりに、注目部分画像62が比較用画像61として新たに比較用画像記憶部305に記憶される。
Further, in accordance with the enlargement, the attention
拡大後、ユーザがドラッグを行うことによって撮影画像60がスクロールし、図10(A)のように呼出用マーカ51Yが注目部分画像62に含まれなくなる場合がある。または、拡大によって、スクロールを伴うことなく呼出用マーカ51Yが注目部分画像62に含まれなくなる場合もある。これらの場合は、指がタッチパネルディスプレイ30eに接触していれば、つまり、ピンチアウトまたはドラッグの操作を継続していれば、図10(B)のように、コンテンツ51Cが、引き続き撮影画像の上に重ねて表示される。
After enlargement, the captured
ここで、ユーザの指がタッチパネルディスプレイ30eから離れると、比較用画像61と注目部分画像62とが比較され、両者に一致(共通)する部分があれば、引き続き、図10(B)のようにコンテンツ51Cが表示される。
Here, when the user's finger is moved away from the
さらに、ユーザがドラッグを行うことによって撮影画像60がスクロールして注目部分画像62が図11(A)のように変わり、比較用画像61と一致する部分がなくなったら、所定の時間Tbが経過するまでは、図11(B)のようにコンテンツ51Cが引き続き表示される。しかし、所定の時間Tbが経過したら、コンテンツ51Cが表示されなくなる。
Furthermore, when the user performs a drag operation, the photographed
ユーザがタブレット型端末装置3Tを動かすと、例えば、タブレット型端末装置3Tをパンさせると、注目部分画像62が図10(A)に示した状態から図11(A)に示した状態に遷移する場合がある。この場合も、比較用画像61と注目部分画像62とに一致する部分がなくなってから所定の時間Tbが経過するまではコンテンツ51Cが表示される。そして、所定の時間Tbが経過したら表示が終了する。
When the user moves the
図12および図13は、タブレット型端末装置3Tにおける全体的な処理の流れの例を説明するフローチャートである。
12 and 13 are flowcharts illustrating an example of the overall processing flow in the
次に、タブレット型端末装置3Tがコンテンツを表示する際の全体的な処理の流れを、フローチャートを参照しながら説明する。
Next, an overall processing flow when the
タブレット型端末装置3Tは、クライアントプログラム3Pに基づいて図12および図13に示す手順で処理を実行する。
The
タブレット型端末装置3Tは、撮影を行い、撮影画像60を取得する(図12の#11)。ユーザがピンチアウトまたはドラッグなどの操作を行うと(#12でYes)、タブレット型端末装置3Tは、操作に応じて、撮影画像60のうちのタッチパネルディスプレイ30eに表示する部分(表示部分)を決定する(#13)。なお、初期の表示部分は、撮影画像60の全体である。
The
今回、呼出用マーカ51Yを含む撮影画像60を初めて取得し、または、拡大の操作が行われた場合は(#14でYes)、ドキュメント閲覧システム1は、撮影画像60のうちの表示部分の画像(注目部分画像62)を比較用画像61として記憶する(#15)。
When the captured
そして、タブレット型端末装置3Tは、注目部分画像62を表示する(#16)。これと前後してまたは並行して、撮影画像60の中から呼出用マーカ51Yの検出を試みる(#17)。
Then, the
なお、ユーザがピンチアウトまたはドラッグなど拡大またはスクロールの操作を行っている間は、呼出用マーカ51Yの検出を実行しないようにしてもよい。タブレット型端末装置3Tの位置または姿勢が一定以上の速さで変化している間(例えば、ユーザがタブレット型端末装置3Tをパンさせている間)も、同様である。
Note that the detection of the calling
呼出用マーカ51Yを検出することができた場合は(#18でYes)、この呼出用マーカ51Yに対応するコンテンツ51Cの画像データ55を有していなければ(#19でNo)、タブレット型端末装置3Tは、ドキュメントサーバ2へ呼出用マーカ51Yを送信することによって、この画像データ55を要求する(#20)。
If the
ドキュメントサーバ2からコンテンツ51Cの画像データ55を受信したら(図13の#21でYes)、タブレット型端末装置3Tは、これを記憶する(#22)。
When the
さらに、タブレット型端末装置3Tは、コンテンツ51Cを注目部分画像62に重ねて表示すべきか否かを判別する(#23)。判別の方法は、前に図8のフローチャートで説明した通りである。
Furthermore, the
重ねるべきであると判別した場合は(#24でYes)、タブレット型端末装置3Tは、注目部分画像62の上にコンテンツ51Cを重ねて表示する(#25)。なお、このコンテンツ51Cの画像データ55のダウンロードが未だ完了していない場合は、ステップ#25をスキップしてもよい。
When it is determined that they should be superimposed (Yes in # 24), the
比較用画像61および注目部分画像62に一致する部分が含まれていない場合は(#26でNo)、未だタイマ307をスタートしていなければ(#27でNo)、タイマ307をスタートさせる(#28)。これにより、一致する部分が含まれなくなってからの時間が計られる。
If a part matching the
一方、比較用画像61および注目部分画像62に一致する部分が含まれている場合は(#26でYes)、タイマ307が既にスタートしていれば(#29でYes)、タイマ307を停止させリセットさせる(#30)。
On the other hand, if the
タイマ307によって所定の時間Tbが計られた場合は(#31でYes)、画像データ55を記憶していれば(#32でYes)、これを削除する(#33)。
When the predetermined time Tb is measured by the timer 307 (Yes in # 31), if the
クライアントプログラム3Pを終了するまでの間、所定の時間Taごとにステップ#11〜#33の処理を適宜、実行する。
Until the
ところで、クライアントプログラム3PをCPU31aで実現することによって、眼鏡型端末装置3Mに、マーカ検出部301、コンテンツ取得部302、コンテンツ記憶部303、表示部分決定部304、比較用画像記憶部305、タイマ307、重畳要否判別部308、およびコンテンツ重畳制御部309が実現される。
By the way, the
撮影画像表示制御部306は、実現されない。ユーザはレンズ越しに印刷物5を見ることができるので、デジタルカメラ31gによって撮影された画像をディスプレイ31eによって表示する必要がないからである。したがって、撮影画像60のズームおよびスクロールも機能しない。そのため、眼鏡型端末装置3Mにおいては、ユーザが頭を動かすなどして眼鏡型端末装置3Mが動いたことに伴って比較用画像61および注目部分画像62に一致する部分が含まれなくなり、所定の時間Tbが経過したら、コンテンツ51Cが表示されなくなる。所定の時間Tbが経過するまでは、コンテンツ51Cが表示される。
The photographed image
本実施形態によると、端末装置3の位置または姿勢と呼出用マーカ51Yとの関係を演算することなく、呼出用マーカ51Yの一部分が表示の範囲から欠けてしまってもコンテンツ51Cを表示させる。また、全部分が欠けてしまっても、一定の条件の下、コンテンツ51Cを表示させる。これにより、コンテンツ51Cの視認性を従来よりも容易に向上させることができる。
According to the present embodiment, the
本実施形態では、印刷物5に呼出用マーカ51Yが1つだけ印刷されている場合を例に説明したが、複数印刷されている場合は、ドキュメントサーバ2および端末装置3は、各呼出用マーカ51Yについて上述の処理を独立して実行すればよい。したがって、例えば、端末装置3は、ある呼出用マーカ51Yに対応するコンテンツ51Cをしている最中にパンされて他の呼出用マーカ51Yを検出したら、当該他の呼出用マーカ51Yに基づいて画像データ55をダウンロードし、当該他の呼出用マーカ51Yに対応するコンテンツ51Cを併せて表示すればよい。
In the present embodiment, the case where only one
本実施形態では、タブレット型端末装置3Tがデジタルズームの機能を有する場合を例に説明したが、光学ズームを有する場合は、パンなどによって比較用画像61と注目部分画像62との共通部分(一致する部分)がなくなった際に、所定の時間Tbの経過後にコンテンツ51Cを表示しないようにすればよい。
In the present embodiment, the case where the tablet
本実施形態では、タイマ307は、比較用画像61と注目部分画像62とに一致する部分がなくなってから時間を計った。その後、一致する部分が再び生じたら計時を止めてリセットしたが、ユーザがピンチアウトまたはドラッグなど拡大またはスクロール(移動)の操作を行った場合にも計時を止めてリセットしてもよい。
In the present embodiment, the
本実施形態では、端末装置3は、比較用画像61および注目部分画像62に一致する部分があれば、その広さに限らずコンテンツ51Cを表示し続けたが、その広さが所定の広さ未満であれば、所定の広さまたは比較用画像61の面積のうちの所定の割合未満になってから所定の時間Tbが経過したらコンテンツ51Cを表示するのを止めてもよい。
In the present embodiment, the
その他、ドキュメント閲覧システム1、ドキュメントサーバ2、端末装置3の全体または各部の構成、処理内容、処理順序、データの構成などは、本発明の趣旨に沿って適宜変更することができる。
In addition, the configuration of the whole or each part of the
3 端末装置(AR装置)
3M 眼鏡型端末装置(AR装置)
3T タブレット型端末装置(AR装置)
30e タッチパネルディスプレイ(表示手段)
30g、31g デジタルカメラ(撮影手段)
301 マーカ検出部(検出手段)
302 コンテンツ取得部(受信手段)
306 撮影画像表示制御部(第一の表示制御手段)
308 重畳要否判別部(第二の表示制御手段)
309 コンテンツ重畳制御部(第二の表示制御手段)
31e ディスプレイ
5 印刷物(物体)
51Y 呼出用マーカ(マーカ)
51C コンテンツ(対応画像)
62 注目部分画像(注目部分)
3 Terminal equipment (AR equipment)
3M glasses-type terminal device (AR device)
3T tablet type terminal device (AR device)
30e Touch panel display (display means)
30g, 31g digital camera (shooting means)
301 Marker detection unit (detection means)
302 Content acquisition unit (reception means)
306 Photographed image display control unit (first display control means)
308 Superposition Necessity Determination Unit (Second Display Control Means)
309 Content overlay control unit (second display control means)
51Y Call marker (marker)
51C content (corresponding image)
62 Part of interest image (part of interest)
Claims (4)
表示手段と、
連続的に撮影を行う撮影手段と、
前記撮影手段が撮影を行うことによって得られた撮影画像から前記マーカを検出する検出手段と、
前記検出手段によって検出された前記マーカに対応する対応画像を受信する受信手段と、
前記撮影手段によって前記撮影画像が得られるごとに、当該撮影画像の全部分または一部分である注目部分を前記表示手段に表示させる第一の表示制御手段と、
前記注目部分に前記マーカが含まれている場合は、前記対応画像を前記表示手段に表示させ、前記撮影画像の任意の一部分であってズームの操作によって決定された第一の部分から他の一部分である第二の部分へスクロールさせることによって前記注目部分を変更する、ユーザによる動作によって前記マーカが前記注目部分に含まれなくなってから所定の時間が経過していない場合は、前記対応画像を前記表示手段に表示させ続け、前記動作によって前記マーカが前記注目部分に含まれなくなってから前記所定の時間が経過した場合は、前記対応画像を前記表示手段に表示するのを終了させる、第二の表示制御手段と、
を有することを特徴とするAR装置。 An AR device that realizes AR (Augmented Reality) by displaying an image so that the marker is overlaid on an object,
Display means,
Photographing means for continuously photographing;
Detecting means for detecting the marker from a photographed image obtained by photographing by the photographing means;
Receiving means for receiving a corresponding image corresponding to the marker detected by the detecting means;
Each time the captured image is obtained by the imaging unit, a first display control unit that causes the display unit to display a portion of interest that is all or part of the captured image;
When the marker includes the marker in the target portion, the corresponding image is displayed on the display means, and the first portion is an arbitrary portion of the photographed image and is determined by the zoom operation. When the predetermined part of time has not elapsed since the marker is no longer included in the part of interest by an action by a user, the part of interest is changed. A second display unit configured to continue to display the corresponding image on the display unit when the predetermined time elapses after the marker is not included in the target portion by the operation; Display control means;
An AR device comprising:
請求項1に記載のAR装置。 The second display control means performs an operation of changing the target portion by the user, a zoom operation, or the like until the predetermined time elapses after the marker is not included in the target portion by the operation. When the AR device is panned, the corresponding image is continuously displayed on the display means even after a predetermined time has elapsed.
The AR device according to claim 1.
撮影手段によって連続的に撮影を行い、
前記撮影手段が撮影を行うことによって得られた撮影画像から前記マーカを検出し、
検出された前記マーカに対応する対応画像を受信し、
前記撮影手段によって前記撮影画像が得られるごとに、当該撮影画像の全部分または一部分である注目部分を表示するように前記表示手段を制御し、
前記注目部分に前記マーカが含まれている場合は、前記対応画像を前記表示手段に表示させ、前記撮影画像の任意の一部分であってズームの操作によって決定された第一の部分から他の一部分である第二の部分へスクロールさせることによって前記注目部分を変更する、ユーザによる動作によって前記マーカが前記注目部分に含まれなくなってから所定の時間が経過していない場合は、前記対応画像を前記表示手段に表示させ続け、前記動作によって前記マーカが前記注目部分に含まれなくなってから前記所定の時間が経過した場合は、前記対応画像を前記表示手段に表示するのを終了させる、
ことを特徴とするAR実現方法。 An AR realization method for realizing AR by displaying an image on a display means so as to overlap an object on which a marker is written,
Shoot continuously by the shooting means,
The marker is detected from a photographed image obtained by photographing by the photographing means,
Receiving a corresponding image corresponding to the detected marker;
Each time the photographed image is obtained by the photographing means, the display means is controlled to display a part of interest that is all or part of the photographed image,
When the marker includes the marker in the target portion, the corresponding image is displayed on the display means, and the first portion is an arbitrary portion of the photographed image and is determined by the zoom operation. When the predetermined part of time has not elapsed since the marker is no longer included in the part of interest by an action by a user, the part of interest is changed. The display of the corresponding image on the display unit is ended when the display unit continues to display and the predetermined time has elapsed after the marker is not included in the target portion by the operation.
AR realization method characterized by this.
前記コンピュータに、
撮影手段によって連続的に撮影を行う撮影処理を実行させ、
前記撮影手段が撮影を行うことによって得られた撮影画像から前記マーカを検出する検出処理を実行させ、
検出された前記マーカに対応する対応画像を受信する受信処理を実行させ、
前記撮影手段によって前記撮影画像が得られるごとに、当該撮影画像の全部分または一部分である注目部分を表示するように前記表示手段を制御する第一の制御処理を実行させ、
前記注目部分に前記マーカが含まれている場合は、前記対応画像を前記表示手段に表示させ、前記撮影画像の任意の一部分であってズームの操作によって決定された第一の部分から他の一部分である第二の部分へスクロールさせることによって前記注目部分を変更する、ユーザによる動作によって前記マーカが前記注目部分に含まれなくなってから所定の時間が経過していない場合は、前記対応画像を前記表示手段に表示させ続け、前記動作によって前記マーカが前記注目部分に含まれなくなってから前記所定の時間が経過した場合は、前記対応画像を前記表示手段に表示するのを終了させる、第二の制御処理を実行させる、
ことを特徴とするコンピュータプログラム。 A computer program used in a computer that realizes AR by displaying an image on a display unit so as to overlap an object on which a marker is written,
On the computer
Execute a shooting process of shooting continuously by the shooting means ,
Causing the imaging means to perform detection processing for detecting the marker from a captured image obtained by performing imaging,
Causing a receiving process to receive a corresponding image corresponding to the detected marker,
The first control process is performed to control the display unit to display a target portion which is all or part of the captured image each time the captured image is obtained by the imaging unit.
When the marker includes the marker in the target portion, the corresponding image is displayed on the display means, and the first portion is an arbitrary portion of the photographed image and is determined by the zoom operation. When the predetermined part of time has not elapsed since the marker is no longer included in the part of interest by an action by a user, the part of interest is changed. A second display unit configured to continue to display the corresponding image on the display unit when the predetermined time elapses after the marker is not included in the target portion by the operation; To execute control processing,
A computer program characterized by
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015015210A JP6550766B2 (en) | 2015-01-29 | 2015-01-29 | AR apparatus, AR implementation method, and computer program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015015210A JP6550766B2 (en) | 2015-01-29 | 2015-01-29 | AR apparatus, AR implementation method, and computer program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016139368A JP2016139368A (en) | 2016-08-04 |
JP6550766B2 true JP6550766B2 (en) | 2019-07-31 |
Family
ID=56560259
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015015210A Active JP6550766B2 (en) | 2015-01-29 | 2015-01-29 | AR apparatus, AR implementation method, and computer program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6550766B2 (en) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4971483B2 (en) * | 2010-05-14 | 2012-07-11 | 任天堂株式会社 | Image display program, image display apparatus, image display system, and image display method |
JP5734700B2 (en) * | 2011-02-24 | 2015-06-17 | 京セラ株式会社 | Portable information device and virtual information display program |
JP5819686B2 (en) * | 2011-09-14 | 2015-11-24 | 株式会社バンダイナムコエンターテインメント | Programs and electronic devices |
JP5821526B2 (en) * | 2011-10-27 | 2015-11-24 | ソニー株式会社 | Image processing apparatus, image processing method, and program |
JP6128123B2 (en) * | 2012-06-12 | 2017-05-17 | ソニー株式会社 | Information processing apparatus, information processing method, and program |
-
2015
- 2015-01-29 JP JP2015015210A patent/JP6550766B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016139368A (en) | 2016-08-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7187395B2 (en) | COMMUNICATION TERMINAL, COMMUNICATION TERMINAL CONTROL METHOD, AND COMMUNICATION SYSTEM | |
CN104754234B (en) | A kind of photographic method and device | |
KR20150013184A (en) | Entry points to image-related applications in a mobile device | |
US9690537B2 (en) | Information processing apparatus capable of quickly updating a display in accordance with an operation for changing a display appearance and control method thereof | |
US20140204225A1 (en) | Image processing apparatus, image processing method, program, and display device | |
JP6179653B1 (en) | Information processing apparatus and program | |
JP2009176025A (en) | Virtual space communication system and virtual space photographing method | |
US9064349B2 (en) | Computer-implemented image composition method and apparatus using the same | |
CN113542610A (en) | Shooting method, mobile terminal and storage medium | |
CA2825342C (en) | Methods and devices for controlling camera image capture | |
JP2002366272A (en) | Portable terminal device and method for scrolling display image | |
JP2011186547A (en) | Display control apparatus, control method of the same, program and storage medium | |
JP2011155584A (en) | Imaging system, imaging method, and imaging program | |
JP2015198387A (en) | Moving image processing program, moving image processing method, and moving image processing device | |
JP6550766B2 (en) | AR apparatus, AR implementation method, and computer program | |
JP6455038B2 (en) | AR device, image sharing system, image sharing method, computer program, and server | |
CN115967854A (en) | Photographing method and device and electronic equipment | |
JP6486077B2 (en) | Display device, server device, display system, control method therefor, control program, and storage medium | |
JP2014222817A (en) | Image display apparatus, image magnification and display method, and program | |
JP6377032B2 (en) | Electronic device and screen data transfer method | |
JP6362090B2 (en) | How to display the preset position of the network camera | |
JP6435736B2 (en) | AR device, AR realization method, and computer program | |
JP6455551B2 (en) | Information processing apparatus and program | |
JP2016127415A (en) | Communication device and control method | |
JP6230435B2 (en) | Data processing apparatus, control method thereof, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171215 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190115 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190314 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190409 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190522 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190604 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190617 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6550766 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |