JP6424601B2 - 表示制御方法、情報処理プログラム、及び情報処理装置 - Google Patents

表示制御方法、情報処理プログラム、及び情報処理装置 Download PDF

Info

Publication number
JP6424601B2
JP6424601B2 JP2014249875A JP2014249875A JP6424601B2 JP 6424601 B2 JP6424601 B2 JP 6424601B2 JP 2014249875 A JP2014249875 A JP 2014249875A JP 2014249875 A JP2014249875 A JP 2014249875A JP 6424601 B2 JP6424601 B2 JP 6424601B2
Authority
JP
Japan
Prior art keywords
image
marker
unit
recognition
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014249875A
Other languages
English (en)
Other versions
JP2016110565A (ja
Inventor
英樹 原
英樹 原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2014249875A priority Critical patent/JP6424601B2/ja
Priority to US14/949,440 priority patent/US20160171773A1/en
Publication of JP2016110565A publication Critical patent/JP2016110565A/ja
Application granted granted Critical
Publication of JP6424601B2 publication Critical patent/JP6424601B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Description

本発明は、表示制御方法、情報処理プログラム、及び情報処理装置に関する。
端末装置の撮像手段により撮像された撮像画像の一部にコンテンツ情報を重畳して表示させる拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：ＡＲ）技術が知られている。ＡＲ技術を用いて提供されるコンテンツ（以下、「ＡＲコンテンツ」という）は、ＡＲコンテンツ毎に、現実空間に対応する仮想空間上の表示位置が設定される。
例えば、端末装置は、撮像画像に含まれる所定の基準物（例えば、マーカ）を検出したことをトリガとして、ＡＲコンテンツを重畳表示する。端末装置は、撮像手段との位置姿勢関係を求め、基準物に予め割り当てられているＡＲコンテンツを位置姿勢関係に基づく位置、大きさ、向きで、撮影画像上に重畳表示する。また、ＡＲコンテンツを表示する位置は、基準物の位置、大きさ、向きを基準に相対的に設定される。
特開２００２−９２６４７号公報
しかしながら、従来の方式では、画像に複数の基準物が存在すると、それぞれの基準物に対応する全てのＡＲコンテンツを重畳表示するため、複数のＡＲコンテンツが重畳表示され、ＡＲコンテンツ同士が重なったり、表示内容が認識できない場合があった。
また、基準物に近づいて撮影することで画角を狭くし、物理的に複数の基準物が撮影されないようにする手法も考えれるが、この場合には画角が制限されるため、画像内にコンテンツが表示できない可能性もある。
一つの側面では、本発明は、基準物に対応付けられた複数の画像が重なり合うことを防止することを目的とする。
一つの態様における表示制御方法は、情報処理装置が、撮像装置により撮像された画像を取得し、取得した前記画像の一部領域に対応する認識領域に複数の基準物の画像が含まれる場合、前記撮像装置により順次撮像された第１の画像及び第２の画像それぞれについて、前記複数の基準物それぞれと、前記情報処理装置との距離を算出し、算出した前記距離の前記第１の画像及び前記第２の画像間での比較結果に基づき、前記複数の基準物のうち前記情報処理装置までの距離が時間の経過と共に小さくなる基準物を特定し、特定した前記基準物の画像に対応付けられた他の画像を表示部に表示する、処理を実行する。
基準物に対応付けられた複数の画像が重なり合うことを防止することができる。
情報処理システムの概略構成の一例を示す図である。 サーバの機能構成の一例を示す図である。 端末装置の機能構成の一例を示す図である。 サーバのハードウェア構成の一例を示す図である。 端末装置のハードウェア構成の一例を示す図である。 表示制御処理の一例を示すフローチャートである。 第１実施例における画面例を示す図である。 対象抽出処理の第２実施例を示すフローチャートである。 ＡＲマーカの認識時及び対象抽出時のデータ例を示す図である。 第２実施例における画面例を示す図である。 対象抽出処理の第３実施例を示すフローチャートである。 第３実施例の具体例について説明するための図である。 対象抽出処理の第４実施例を示すフローチャートである。 第４実施例の具体例について説明するための図である。
以下、図面に基づいて実施形態を説明する。
＜情報処理システムの概略構成例＞
図１は、情報処理システムの概略構成例を示す図である。図１に示す情報処理システム１０は、サーバ１１と、情報処理装置の一例としての１又は複数の端末装置１２−１〜１２−ｎ（以下、必要に応じて「端末装置１２」と総称する）とを有する。サーバ１１及び端末装置１２は、例えば通信ネットワーク１３によりデータの送受信が可能な状態で接続されている。
サーバ１１は、基準物の一例としてのＡＲマーカや各ＡＲマーカに対応付けて登録された１又は複数のＡＲコンテンツ、端末装置１２の表示制御に対する各種条件等を管理する。ここで、ＡＲマーカとは、例えばＡＲコンテンツ等の各種コンテンツ情報の内容や表示する位置等を指定するための標識となるものである。ＡＲマーカは、例えば二次元コード等のように、所定の領域内に所定の模様や文字パターン等が形成された画像等であるが、これに限定されるものではない。
また、基準物としては、例えばＡＲマーカに限定されるものではなく、例えば周辺画素との差から得られるエッジ抽出等により所定の特徴量が抽出可能な特定の物体であればよい。特定の物体としては、例えば時計や機械、窓、絵画、置物、Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ（ＰＣ）、柱や配管等でもよい。例えば、各物体に対する特徴量データ（例えば、物体認識用辞書等）を予め蓄積しておき、画像データから得られる物体毎の特徴量を用いてマッチングを行うことで、その物体に対応するＡＲコンテンツ、及びそのＡＲコンテンツの物体を基準にした相対位置（座標）の指定を行ってもよい。
ＡＲコンテンツとは、例えば現実空間に対応する三次元の仮想空間上に配置された三次元物体モデルデータ等の各種画像データである。ＡＲコンテンツは、例えば端末装置１２で撮影された画像に重畳されて表示される重畳情報である。ＡＲコンテンツは、例えば撮影画像中に含まれるＡＲマーカを基準とした相対座標（マーカ座標系）で設定された位置に表示される。本実施形態のＡＲコンテンツは、例えばＡＲマーカ等に対応付けられており、例えばテキスト、アイコン、アニメーション、マーク、模様、画像、映像等の様々な形態が含まれる。また、ＡＲコンテンツは、表示出力されるものに限定されず、例えば音声等の情報であってもよい。
サーバ１１は、例えば端末装置１２からＡＲマーカに関する情報（例えば、マーカＩＤ）を受信すると、マーカＩＤに対応するＡＲコンテンツや画像データの一部領域に対応する認識領域の設定情報や、ＡＲマーカの抽出条件等を端末装置１２に送信する。
なお、本実施形態では、これに限定されるものではなく、例えばサーバ１１は、端末装置１２からマーカＩＤや位置情報、撮影画像等を受信して、サーバ１１側で予め設定された対象抽出条件に基づいてＡＲマーカの抽出、判定等を行ってもよい。また、サーバ１１は、判定結果に基づいて抽出したマーカＩＤに対応付けられたＡＲコンテンツを抽出して端末装置１２に送信するようにしてもよい。
サーバ１１は、例えばＰｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ（ＰＣ）等でもよいが、これに限定されるものではなく、例えば一以上の情報処理装置を有するクラウドコンピューティングにより構成されるクラウドサーバ等であってもよい。
端末装置１２は、ＡＲマーカに対応付けてＡＲコンテンツの登録を行ったり、撮影等により取得した画像にＡＲマーカの画像が含まれるかの判定を行い、その判定結果に応じたＡＲコンテンツ（他の画像データ等）を画面に表示する。
例えば、端末装置１２は、内蔵カメラ等の撮像部による撮影により取得した画像、又は、通信ネットワーク１３を介して外部装置等から取得した画像の一部領域に対応する認識領域を対象にＡＲマーカの画像データが含まれるか否かの判定処理（以下、「マーカ認識」という）を行う。また、端末装置１２は、判定結果に応じてＡＲマーカに対応付けられたＡＲコンテンツ等を画像データに対して重畳表示するか否か等の出力制御（例えば、出力有無の制御、出力内容の制御）等を行う。
また、端末装置１２は、画像にＡＲマーカが含まれる場合に、そのＡＲマーカの移動方向に対応させてＡＲコンテンツの表示の有無を制御してもよい。また、端末装置１２は、利用者からの画像の位置の指定を基準にそこからＡＲマーカの距離を算出し、算出した距離に応じて対応するＡＲコンテンツの表示の有無を制御してもよい。例えば、端末装置１２は、画像データに複数のＡＲマーカが存在していた場合に、所定数のＡＲマーカに対応するＡＲコンテンツのみを表示するように制御してもよい。
また、端末装置１２は、マーカ認識により認識されたＡＲマーカの情報や位置情報等の情報をサーバ１１に送信し、サーバ１１側で行われた判定結果に基づき、対応する表示制御を行ってもよい。
端末装置１２は、例えばタブレット端末やスマートフォン等のスマートデバイス、Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ（ＰＤＡ）、ノート型ＰＣ等であるが、これに限定されるものではない。端末装置１２は、例えばゲーム機器、携帯電話等の通信端末であってもよい。また、端末装置１２は、利用者が装着するウェアラブルデバイスであってもよい。ウェアラブルデバイスの例としては、例えばヘッドマウントディスプレイ、眼鏡型ディスプレイがあるが、これに限定されるものではない。
通信ネットワーク１３は、例えばインターネットやＬｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ（ＬＡＮ）等であるが、これに限定されるものではない。また、通信ネットワーク１３は、有線でも無線でもよく、これらの組み合わせでもよい。
図１に示す情報処理システム１０は、サーバ１１と端末装置１２とは１対ｎの構成となっているが、これに限定されるものではなく、例えば複数のサーバを有していてもよい。
＜サーバ１１の機能構成の一例＞
次に、上述したサーバ１１の機能構成の一例について図を用いて説明する。図２は、サーバの機能構成の一例を示す図である。サーバ１１は、通信部２１と、記憶部２２と、管理部２３と、抽出部２４と、制御部２５とを有する。
通信部２１は、通信ネットワーク１３を介して端末装置１２や他のコンピュータ等との間でデータの送受信を行う。通信部２１は、例えば端末装置１２からのＡＲコンテンツ等の登録要求、及びＡＲマーカに対応付けて登録するＡＲコンテンツや画像の特徴情報等の判定条件を受信する。また、通信部２１は、登録されたＡＲマーカの識別情報（例えば、マーカＩＤ）等を受信し、対応する判定条件、及びＡＲコンテンツを端末装置１２に送信する。
記憶部２２は、本実施形態における表示制御処理に必要な各種情報（例えば、マーカＩＤ、ＡＲコンテンツ、認識領域、各種抽出条件等）を記憶する。記憶部２２は、例えば端末装置１２でＡＲコンテンツ作成時に生成された設定情報、及びＡＲマーカ毎に設定された画像の特徴情報、１又は複数のＡＲコンテンツ、時間情報等を記憶してもよい。
管理部２３は、端末装置１２から得られたＡＲコンテンツ等の各種登録情報等を管理する。例えば、管理部２３は、ＡＲマーカを識別する識別情報（マーカＩＤ）と、マーカＩＤに対応付けられた１又は複数のＡＲコンテンツ情報とを対応付けて登録する。登録された情報は、記憶部２２に記憶される。
抽出部２４は、端末装置１２から得られた識別情報（マーカＩＤ）に基づいて記憶部２２を参照し、対応付けられたＡＲコンテンツ情報、認識領域、各種抽出条件等を抽出する。抽出部２４により抽出された各種情報等は、通信部２１により要求のあった端末装置１２に送信される。
制御部２５は、サーバ１１内の各構成全体を制御する。制御部２５は、例えば通信部２１による各種情報の送受信、記憶部２２によるデータ記憶、管理部２３によるＡＲコンテンツ、認識領域、抽出条件等の登録、抽出部２４によるＡＲコンテンツ、認識領域、抽出条件等の抽出等の処理を行う。制御部２５が行う制御内容については、これに限定されるものではない。
＜端末装置１２の機能構成の一例＞
次に、上述した端末装置１２の機能構成例について、図を用いて説明する。図３は、端末装置の機能構成の一例を示す図である。端末装置１２は、通信部３１と、撮像部３２と、記憶部３３と、表示部３４と、設定部３５と、対象抽出部（抽出部）３６と、認識部（認識エンジン）３７と、取得部３８と、コンテンツ生成部３９と、画像生成部４０と、制御部４１とを有する。
通信部３１は、通信ネットワーク１３を介してサーバ１１や他のコンピュータ等とデータの送受信を行う。例えば、通信部３１は、例えばＡＲマーカと対応付けたＡＲコンテンツ情報、画像の特徴情報等の判定条件等の各種設定情報をサーバ１１等に送信する。また、通信部３１は、マーカ認識により認識されたマーカＩＤをサーバ１１に送信し、送信したマーカＩＤに対応する判定条件やＡＲコンテンツ等を受信する。
撮像部３２は、例えば予め設定されたフレーム間隔で画像を撮像する。撮像部３２は、撮像した画像を制御部４１へ出力したり、記憶部３３に記憶させる。
記憶部３３は、本実施形態における表示制御に必要な各種情報を記憶する。記憶部３３は、例えばＡＲコンテンツの登録時におけるＡＲマーカと、ＡＲマーカ等の基準物の認識結果等に基づいて表示されるＡＲコンテンツ等を記憶する。記憶部３３は、例えば基準物のを認識するための条件（例えば、認識領域等）や、画像中にある複数のＡＲマーカのうち、ＡＲコンテンツを表示するＡＲマーカを抽出するための対象抽出条件等を記憶してもよい。記憶部３３は、例えば時間経過に伴うＡＲマーカの認識状況や、対象抽出状況等を一時的に記憶してもよい。なお、これらの情報は、端末装置１２が設定した情報だけでなく、サーバ１１から取得した情報も含まれる。端末装置１２により設定したときの情報は、サーバ１１へ送信した後に記憶部３３から削除されてもよい。
表示部３４は、認識部３７による認識判定結果に基づき、画像生成部４０により生成される撮影画像にＡＲコンテンツを登録する画面や登録されたＡＲコンテンツが取得した画像データに対して重畳された重畳画像、その他の各種設定画像等を表示する。また、表示部３４がタッチパネル等である場合、表示部３４は、タッチパネル上のタッチ位置座標を取得することもできる。
設定部３５は、ＡＲマーカの読取後に、そのＡＲマーカに対して、どのような判定条件に基づき表示させるＡＲコンテンツや、各ＡＲコンテンツをどの位置に表示させるか等を設定する。設定部３５は、設定された各種情報をサーバ１１に送信して登録を行う。
また、設定部３５は、判定条件として、上述したような画像の特徴情報の設定、時間情報の設定、ＡＲマーカ以外の基準物に関する情報の設定等を行うことができるが、設定する内容については、これに限定されるものではない。
対象抽出部３６は、撮像部３２等により撮影されたり、取得部３８により取得された画像データに対して認識判定を行う対象となる一部領域を抽出する。一部領域とは、例えば撮影された画像中に含まれる画像全体よりも小さい所定領域（認識領域）であり、重複しない１又は複数の領域でもよいが、これに限定されるものではない。また、一部領域が複数ある場合。各領域は、同じ大きさに限定されるものではない。
また、対象抽出部３６は、認識部３７により画像全体に対して物体認識を行った結果として得られる認識結果から、複数の物体が認識された場合に、所定の抽出条件に基づいて対象のＡＲマーカを抽出してもよい。対象抽出部３６は、例えば所定時間内に取得した画像データにＡＲマーカが含まれるか否かを、ＡＲマーカ毎に判定し、ＡＲマーカ毎の認識回数（ＡＲマーカが含まれるとの判定回数）をカウントし、カウント結果に基づいて、より利用者が見たいであろうＡＲマーカを抽出してもよい。
また、対象抽出部３６は、例えば端末装置１２で撮影されている画像の時間経過に伴う移動軌跡から利用者の見たいであろうＡＲマーカを抽出してもよい。また、対象抽出部３６は、例えば画面の中央付近や利用者の端末装置１２の画面へのタップ位置（指定位置）を基準として、最も近いＡＲマーカを興味があるものとして抽出してもよい。
なお、ＡＲマーカの抽出は、１つでもよく複数でもよいが、認識された全てのＡＲマーカを抽出対象にしないのが好ましい。認識された全てのＡＲマーカに対する全てのＡＲコンテンツを表示することで生じるＡＲコンテンツ同士の重なりや、表示内容の誤認識を防止するためである。
認識部３７は、対象抽出部３６により抽出した一部領域に含まれるＡＲマーカ等の基準物を認識する認識エンジンである。例えば、認識部３７は、撮像部３２等により撮影されたり、取得部３８により取得された画像データの一部領域に対して画像認識を行い、ＡＲマーカの画像が含まれるか否かを判定する。また、認識部３７は、ＡＲマーカの画像が含まれる場合に、ＡＲマーカの情報（例えば、画像等）を取得する。また、認識部３７は、ＡＲマーカの撮像部３２からの位置（座標）を取得したり、ＡＲマーカの識別情報（マーカＩＤ）を取得する。なお、本実施形態では、複数の異なる基準物（ＡＲマーカ）から同じ識別情報が得られる場合もある。
また、認識部３７は、画像全体に対してＡＲマーカの認識処理を行ってもよい。この場合、認識部３７は、画像全体から認識されたＡＲマーカを対象抽出部３６に出力し、対象抽出部３６によって、ＡＲコンテンツを表示する対象のＡＲマーカを抽出する。
なお、本実施形態における基準物は、ＡＲマーカに限定されるものではなく、例えば予め登録された特定の物体（例えば、時計や絵画、置物、ＰＣ、柱や配管等）を基準物としてもよい。この場合、認識部３７は、例えば撮影された画像中の所定の領域中の明度のうち、最大値と最小値を取得し、最大値と最小値との差（輝度差）に基づいて、その領域における特徴量から物体を認識してもよい。また、認識部３７は、例えば予めＡＲマーカ又は物体の形状を規定したテンプレートを記憶部３３に記憶しておき、そのテンプレートとマッチングを行うことでＡＲマーカ又は物体を認識してもよい。
認識部３７は、入力画像に対して、登録された物体が含まれるか否かを判定し、物体が含まれる場合に、その物体に対応する識別情報を取得する。
取得部３８は、認識部３７により読み取られたＡＲマーカＩＤ等の識別情報に対応するＡＲコンテンツを取得する。取得部３８は、例えば認識部３７により認識したＡＲマーカＩＤのマーカの位置・回転（角度）情報を取得してもよい。なお、取得部３８は、認識部３７による認識処理を行った後、すぐに取得処理を行ってもよく、別々のタイミングで処理を行ってもよい。また、取得部３８は、他の端末装置１２等の外部装置で撮影された画像データを取得してもよい。また、取得部３８は、他の端末装置１２で認識された画像を用いて、上述したＡＲコンテンツの取得を行ってもよい。
コンテンツ生成部３９は、認識部３７で認識されたＡＲマーカの座標に対応付けて表示されるＡＲコンテンツを生成する。ＡＲコンテンツは、例えば取得部３８等により得られたＡＲコンテンツであり、ＡＲマーカの座標に対応付けて、所定の位置に表示させる。位置情報は、例えばコンテンツ生成部３９により利用者が画面上で指定した点を、ＡＲマーカの位置を基準とした座標系（マーカ座標系）に変換することで、その変換後の座標値をＡＲマーカに基づく相対位置情報とすることができるが、これに限定されるものではない。
画像生成部４０は、例えばＡＲマーカや画像の特徴情報等を用いた判定処理の結果に応じたＡＲコンテンツを、取得した画像データ（例えば、撮影画像等）に対して重畳させて重畳画像（合成画像）を生成する。また、画像生成部４０は、取得した時間情報に応じて異なるＡＲコンテンツを重畳させてもよい。画像生成部４０は、例えばＡＲマーカからの相対位置を基準にＡＲコンテンツを重畳させて画面に表示することができるが、これに限定されるものではない。
制御部４１は、端末装置１２が有する各構成における処理全体を制御する。制御部４１は、撮像部３２によって画像を撮影させたり、表示部３４によって各種情報を端末装置１２の画面に表示させたり、設定部３５によって本実施形態における表示制御に関する各種設定を行わせる等の処理を行う。
また、制御部４１は、設定部３５による表示制御に関する各種設定、認識部３７による撮影画像に含まれるＡＲマーカや物体情報の認識、取得部３８による画像中に含まれる特徴情報の取得、コンテンツ生成部３９によるＡＲコンテンツの生成、画像生成部４０による重畳画像の生成等の処理を行う。
本実施形態では、例えば撮影画像中に含まれる現実空間上の物体（対象物）に対して、ＡＲマーカ等の基準物を付与しておくことで、ＡＲマーカの識別情報に対応付けられたＡＲコンテンツとして、その物体の使用方法や作業手順、注意事項等を撮影画像に重畳して表示させることができる。
＜サーバ１１のハードウェア構成例＞
次に、サーバ１１のハードウェア構成例について、図を用いて説明する。図４は、サーバのハードウェア構成の一例を示す図である。図４の例において、サーバ１１は、入力装置５１と、出力装置５２と、ドライブ装置５３と、補助記憶装置５４と、主記憶装置５５と、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）５６と、ネットワーク接続装置５７とを有し、これらはシステムバスＢで相互に接続されている。
入力装置５１は、サーバ管理者等の利用者等が操作するキーボード及びマウス等のポインティングデバイスや、マイクロフォン等の音声入力デバイスを有しており、利用者等からのプログラムの実行指示、各種操作情報、ソフトウェア等を起動するための情報等の入力を受け付ける。
出力装置５２は、本実施形態における処理を行うためのコンピュータ本体（サーバ１１）を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイ等を有する。出力装置５２は、ＣＰＵ５６が有する制御プログラムによりプログラムの実行経過や結果等を表示することができる。
ここで、本実施形態において、例えばコンピュータ本体にインストールされる実行プログラムは、記録媒体５８等により提供される。記録媒体５８は、ドライブ装置５３にセット可能である。ＣＰＵ５６からの制御信号に基づき、記録媒体５８に格納された実行プログラムが、記録媒体５８からドライブ装置５３を介して補助記憶装置５４にインストールされる。
補助記憶装置５４は、例えばＨａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ（ＨＤＤ）やＳｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ（ＳＳＤ）等のストレージ手段等である。補助記憶装置５４は、ＣＰＵ５６からの制御信号に基づき、本実施形態における実行プログラム（情報処理プログラム）や、コンピュータに設けられた制御プログラム等を記憶し、必要に応じて入出力を行う。補助記憶装置５４は、ＣＰＵ５６からの制御信号等に基づいて、記憶された各情報から必要な情報を読み出したり、書き込むことができる。
主記憶装置５５は、ＣＰＵ５６により補助記憶装置５４から読み出された実行プログラム等を格納する。主記憶装置５５は、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）やＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）等である。
ＣＰＵ５６は、Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ（ＯＳ）等の制御プログラム、及び主記憶装置５５に格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して各処理を実現する。プログラムの実行中に必要な各種情報等は、補助記憶装置５４から取得することができ、また実行結果等を格納することもできる。
具体的には、ＣＰＵ５６は、例えば入力装置５１から得られるプログラムの実行指示等に基づき、補助記憶装置５４にインストールされたプログラムを実行させることにより、主記憶装置５５上でプログラムに対応する処理を行う。例えば、ＣＰＵ５６は、情報処理プログラムを実行させることで、上述した管理部２３によるＡＲマーカＩＤ及びＡＲコンテンツの管理や、どのＡＲマーカを認識対象にするかの条件等の登録、抽出部２４による各種情報の抽出、制御部２５による表示制御等の処理を行う。ＣＰＵ５６における処理内容は、上述した内容に限定されるものではない。ＣＰＵ５６により実行された内容は、必要に応じて補助記憶装置５４等に記憶される。
ネットワーク接続装置５７は、上述した通信ネットワーク１３を介して、端末装置１２や他の外部装置との通信を行う。ネットワーク接続装置５７は、ＣＰＵ５６からの制御信号に基づき、通信ネットワーク１３等と接続することにより、実行プログラムやソフトウェア、設定情報等を外部装置等から取得する。また、ネットワーク接続装置５７は、プログラムを実行することで得られた実行結果を端末装置１２等に提供したり、本実施形態における実行プログラム自体を外部装置等に提供してもよい。
記録媒体５８は、上述したように実行プログラム等が格納されたコンピュータで読み取り可能な記録媒体である。記録媒体５８は、例えばフラッシュメモリ等の半導体メモリやＣＤ−ＲＯＭ、ＤＶＤ等の可搬型の記録媒体であるが、これに限定されるものではない。
図４に示すハードウェア構成に実行プログラム（例えば、情報処理プログラム等）をインストールすることで、ハードウェア資源とソフトウェアとが協働して本実施形態における表示制御処理等を実現することができる。
＜端末装置１２のハードウェア構成例＞
次に、端末装置１２のハードウェア構成例について図を用いて説明する。図５は、端末装置のハードウェア構成の一例を示す図である。図５の例において、端末装置１２は、マイクロフォン（以下、「マイク」という）６１と、スピーカ６２と、表示部６３と、操作部６４と、センサ部６５と、電力部６６と、無線部６７と、近距離通信部６８と、補助記憶装置６９と、主記憶装置７０と、ＣＰＵ７１と、ドライブ装置７２とを有し、これらはシステムバスＢで相互に接続されている。
マイク６１は、作業者等の利用者が発した音声や、その他の音を入力する。スピーカ６２は、通話相手先の音声を出力したり、着信音等の音を出力する。マイク６１及びスピーカ６２は、例えば、通話機能等により通話相手と会話するとき等に用いることができるが、これに限定されるものではなく、音声による情報の入出力に用いることができる。
表示部６３は、利用者に対してＯＳや各種アプリケーションで設定された画面を表示する。また、表示部６３は、タッチパネルディスプレイ等でもよく、その場合には表示部６３は、入出力部としての機能を有する。
表示部６３は、例えばＬｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ（ＬＣＤ）や有機Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ（ＥＬ）等のディスプレイである。
操作部６４は、表示部６３の画面に表示された操作ボタンや端末装置１２の外部に設けられた操作ボタン等である。操作ボタンは、例えば電源ボタンや音量調整ボタンでもよく、所定の順番で配列された文字入力用の操作キー等でもよい。
利用者は、例えば表示部６３の画面上で所定の操作を行ったり、上述した操作部６４における所定の操作ボタンを押すことで、表示部６３により画面上のタップ位置が検出される。また、表示部６３は、画面上にアプリ実行結果やコンテンツやアイコン、カーソル等を表示することができる。
センサ部６５は、端末装置１２のある時点又は継続的な動作を検出する。例えば、センサ部６５は、端末装置１２の傾き角度、加速度、向き、位置等を検出するが、これに限定されるものではない。なお、センサ部６５としては、例えば傾きセンサや加速度センサ、ジャイロセンサ、ＧＰＳ等であるが、これに限定されるものではない。また、センサ部６５は、例えば実空間上の物体やＡＲマーカ等を撮影する撮像部の一例としてイメージセンサ等を有する。
電力部６６は、端末装置１２の各構成に対して電力を供給する。電力部６６は、例えばバッテリ等の内部電源であるが、これに限定されるものではない。電力部６６は、電力量を常時又は所定の時間間隔で検出し、電力量の残量等を監視してもよい。
無線部６７は、例えばアンテナ等を用いて基地局からの無線信号（通信データ）を受信したり、アンテナを介して無線信号を基地局に送信する通信データの送受信部である。無線部６７により、通信ネットワーク１３を介して基地局等からサーバ１１とデータの送受信を行うことができる。
近距離通信部６８は、例えば赤外線通信やＷｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の通信手法を用いて、他の端末装置１２等のコンピュータと近距離通信を行うことができる。上述した無線部６７及び近距離通信部６８は、他のコンピュータとのデータの送受信を可能とする通信インタフェースである。
補助記憶装置６９は、例えばＨＤＤやＳＳＤ等のストレージ手段である。補助記憶装置６９は、各種のプログラム等を記憶し、必要に応じてデータの入出力を行う。
主記憶装置７０は、ＣＰＵ７１からの指示により補助記憶装置６９から読み出された実行プログラム等を格納したり、プログラム実行中に得られる各種情報等を記憶する。主記憶装置７０は、例えばＲＯＭやＲＡＭ等であるが、これに限定されるものではない。
ＣＰＵ７１は、ＯＳ等の制御プログラム、及び主記憶装置７０に格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御することで、表示制御における各処理を実現する。
具体的には、ＣＰＵ７１は、例えば操作部６４等から得られるプログラムの実行指示等に基づき、補助記憶装置６９にインストールされたプログラムを実行させることにより、主記憶装置７０上でプログラムに対応する処理を行う。例えば、ＣＰＵ７１は、情報処理プログラムを実行させることで、上述した設定部３５によるＡＲコンテンツや対象抽出条件、認識判定条件等の設定、認識部３７によるＡＲマーカ等の基準物の認識等の処理を行う。また、ＣＰＵ７１は、取得部３８による各種情報の取得、コンテンツ生成部３９によるＡＲコンテンツの生成、画像生成部４０による画像生成等の処理を行う。ＣＰＵ７１における処理内容は、上述した内容に限定されるものではない。ＣＰＵ７１により実行された内容は、必要に応じて補助記憶装置６９等に記憶される。
ドライブ装置７２は、例えば記録媒体７３等を着脱自在にセットすることができ、セットした記録媒体７３に記録された各種情報を読み込んだり、所定の情報を記録媒体７３に書き込むことができる。ドライブ装置７２は、例えば媒体装填スロット等であるが、これに限定されるものではない。
記録媒体７３は、上述したように実行プログラム等を格納するコンピュータで読み取り可能な記録媒体である。記録媒体７３は、例えばフラッシュメモリ等の半導体メモリであってもよい。また、記録媒体７３は、ＵＳＢメモリ等の可搬型記録媒体であってもよいが、これに限定されるものではない。
図５に示すハードウェア構成に実行プログラム（例えば、情報処理プログラム等）をインストールすることで、ハードウェア資源とソフトウェアとが協働して本実施形態における表示制御処理等を実現することができる。
また、上述した表示制御処理に対応する情報処理プログラムは、例えば装置上で常駐している状態であってもよく、起動指示により起動させてもよい。
＜表示制御処理の概略例＞
次に、本実施形態における表示制御処理の概略例についてフローチャートを用いて説明する。図６は、表示制御処理の一例を示すフローチャートである。図６の例について、端末装置１２は、撮像部３２により画像を取得する（Ｓ０１）。なお、Ｓ０１の処理では、通信ネットワーク１３等を介して接続される外部装置で撮影又は記憶された画像を取得してもよい（以下、上述した撮像部３２又は外部装置から得られる画像を、「撮像装置により撮像された画像」という）。
次に、端末装置１２は、撮像装置により撮像された画像の中から物体認識を行う対象を抽出する（Ｓ０２）。Ｓ０２の処理では、例えば物体認識を行う領域を限定することで、その後に表示されるＡＲコンテンツの量を削減することができる。また、Ｓ０２の処理では、画像全体に対してＡＲマーカの認識処理を行い、認識された回数や位置等に応じてＡＲコンテンツを表示する対象のＡＲマーカを抽出してもよい。
次に、端末装置１２は、表示対象のＡＲマーカを認識したか否かを判断し（Ｓ０３）、表示対象のＡＲマーカを認識した場合（Ｓ０３において、ＹＥＳ）、認識したＡＲマーカに対応するＡＲコンテンツを取得する（Ｓ０４）。
Ｓ０４の処理では、例えばＡＲマーカＩＤをサーバ１１に送信し、サーバ１１からＡＲマーカＩＤに対応するＡＲコンテンツ等を取得するが、これに限定されるものではなく、例えば端末装置１２の記憶部３３内でＡＲマーカＩＤに対するＡＲコンテンツを参照し、記憶部３３に記憶されていれば、記憶部３３から取得し。また、記憶部３３に記憶されていない場合に、通信ネットワーク１３を介してサーバ１１に問い合わせを行いＡＲマーカＩＤに対応するＡＲコンテンツ情報を取得してもよい。
次に、端末装置１２は、Ｓ０４の処理により取得したＡＲコンテンツを対応するＡＲマーカからの相対位置に重畳表示する（Ｓ０５）。
端末装置１２は、Ｓ０５の処理後、又はＳ０３の処理において、ＡＲマーカを認識していない場合（Ｓ０３において、ＮＯ）、処理を終了するか否かを判断する（Ｓ０６）。処理を終了しない場合（Ｓ０６において、ＮＯ）、Ｓ０１の処理に戻る。また、Ｓ０６の処理において、利用者からの終了指示等により処理を終了する場合（Ｓ０６において、ＹＥＳ）、表示制御処理を終了する。
＜対象抽出処理の具体例＞
次に、上述したＳ０２の対象抽出処理における各実施例について説明する。
＜対象抽出処理：第１実施例＞
次に、上述したＳ０２の処理において、対象を抽出する場合、第１実施例では、画像中に対して物体認識を取得する。例えば、画像データを取得し、画像データの一部領域に対する認識領域を対象に、特定の物体（ＡＲマーカ）の画像データが含まれるか否かの判定を行い対象のＡＲマーカを抽出する。
図７は、第１実施例における画面例を示す図である。図７（Ａ），（Ｂ）の例には、端末装置１２の撮像部３２で撮影することにより取得した撮影画像８０に実空間上に存在する対象物８１と、対象物８１に対してＡＲコンテンツを表示するための複数のＡＲマーカ８２−１〜８２−３とを有する。なお、ＡＲマーカの数については、これに限定されるものではない。
第１実施例では、端末装置１２の画面上に、ＡＲマーカを認識するための認識領域８３を設定し、設定した認識領域８３を対象に、ＡＲマーカ８２の画像データが含まれるか否かの判定を行う。認識領域８３は、例えば予め利用者が予め設定しておいてもよく、画像全体に対する所定位置（例えば、画面の中心又は端部等）を基準とした所定の大きさを有する領域であればよいが、これに限定されるものではない。例えば、端末装置１２の画面サイズを基準にした比率で認識領域８３の大きさを設定してもよい。
図７（Ａ）の例では、端末装置１２の画面の中心を基準に画面サイズに対応する所定の大きさの認識領域８３が設定されている。また、図７（Ｂ）の例では、画面の右下を基準として所定の大きさの認識領域８３が設定されている。なお、認識領域８３の数は１つに限定されるものではなく、複数の認識領域８３を設定してもよく、領域の大きさも領域毎に任意に設定することができる。また、認識領域８３は、画面上に表示されてもよく、非表示でもよい。
第１実施例により、例えば画像データにＡＲマーカが複数写り込んだ場合でも、その中から認識領域に含まれるＡＲマーカのみを対象に、そのＡＲマーカに対応するＡＲコンテンツ（他の画像データ）を重畳表示する。第１実施例では、ＡＲマーカを絞り込むことでＡＲコンテンツが画像に多数重畳表示される事態を回避することができる。また、第１実施例では、認識対象の画像データの範囲を限定することで、画像データ全体を認識するよりも迅速に認識処理を行うことができる。
＜対象抽出処理：第２実施例＞
次に、上述したＳ０２の対象抽出処理の第２実施例について、フローチャート等を用いて説明する。第２実施例では、例えば画像データの全体に対してＡＲマーカの認識を行い、ＡＲマーカが複数写り込んだ場合、その中からＡＲコンテンツを表示する対象のＡＲマーカを選択する。これにより、各々のＡＲマーカに対応するＡＲコンテンツが重畳表示されることを防止する。
第２実施例では、例えば所定時間内に取得した画像データを対象に、ＡＲマーカの画像が含まれるか否かを判定し、ＡＲマーカ毎の認識回数（ＡＲマーカが含まれるとの判定回数）をカウントし、カウント結果に基づき、上位から所定数の基準物を抽出する。これにより、抽出したＡＲマーカのみに対応付けられたＡＲコンテンツのみを、画像データに対して重畳表示することができる。
図８は、対象抽出処理の第２実施例を示すフローチャートである。図８の例において、対象抽出部３６は、ＡＲコンテンツを表示させる対象のＡＲマーカを抽出するための抽出条件を読み込む（Ｓ１１）。第２実施例における抽出条件とは、例えば画像中に含まれるＡＲマーカ毎の直近の一定時間内での認識回数を基準とした抽出条件であり、認識回数が上位のものから所定数のＡＲマーカを対象として抽出する等の条件を設定することができるが、これに限定されるものではない。
次に、対象抽出部３６は、撮像部３２等で撮影された画像を取得し（Ｓ１２）、取得した画像にＡＲマーカが存在するかを解析し、存在するＡＲマーカのＩＤと４隅の座標を記憶する（Ｓ１３）。次に、対象抽出部３６は、直近一定時間におけるＡＲマーカ毎の認識回数を取得する（Ｓ１４）。
次に、対象抽出部３６は、Ｓ１１の処理で読み込んだ抽出条件に対応付けてＡＲコンテンツを表示する対象のＡＲマーカのランキングリスト（例えば、認識回数カウントテーブル）を作成し（Ｓ１５）、作成したリストを認識部３７等に出力する（Ｓ１６）。
＜第２実施例の具体例＞
次に、第２実施例の具体例について説明する。第２実施例では、画像データに含まれる各ＡＲマーカのうち、所定時間内におけるマーカ認識回数に応じてＡＲコンテンツを表示するＡＲマーカを抽出する。
図９は、ＡＲマーカの認識時及び対象抽出時のデータ例を示す図である。図９（Ａ）は、ＡＲマーカ認識情報管理テーブルの一例を示し、図９（Ｂ）は、認識回数カウント管理テーブルの一例を示している。
図９（Ａ）に示すＡＲマーカ認識情報管理テーブルの項目のとしては、例えば、「Ｎｏ．」、「ＡＲマーカＩＤ」、「座標（左上隅、右上隅、左下隅、右上隅）」、「認識時刻」、「利用者ＩＤ」、「位置情報」等であるが、これに限定されるものではない。
「Ｎｏ．」は、認識結果を識別するための識別情報である。「ＡＲマーカＩＤ」は、認識したＡＲマーカの識別情報である。「座標」は、例えばＡＲマーカが正方形等の矩形で示されている場合に、四隅（左上隅、右上隅、左下隅、右上隅）の座標（ｘ，ｙ）である。「認識時刻」は、取得した画像データに対してＡＲマーカの認識処理を実行した時刻である。「利用者ＩＤ」は、そのＡＲマーカＩＤを含む画像データを撮影した人物の識別情報である。「位置情報」は、認識されたＡＲマーカを撮影時の端末装置１２の位置情報である。「位置情報」は、例えば端末装置１２に設けられたＧＰＳ機能等を用いて緯度・経度等の位置情報を取得することができるが、これに限定されるものではない。
対象抽出部３６は、例えば撮像部３２から取得した画像データに対してＡＲマーカの認識処理を行い、画像データからＡＲマーカが認識できた場合には、図９（Ａ）に示すＡＲマーカ認識情報管理テーブルに、認識したＡＲマーカに関する情報を記憶する。
また、図９（Ｂ）に示す認識回数カウントテーブルの項目としては、例えば「Ｎｏ．」、「ＡＲマーカＩＤ」、「認識回数」、「ランキング」、「優先度」、「重要度」等であるが、これに限定されるものではない。
「Ｎｏ．」は、認識回数カウントテーブルの各レコードを識別するための情報である。「ＡＲマーカＩＤ」は、ＡＲマーカを識別するための情報である。「認識回数」は、所定時間あたりの認識回数を示している。例えば、撮像部３２から撮影された画像フレームのフレームレートが１０ｆｐｓ（１秒間に１０回の画像処理）の場合、０．１秒毎に入力された画像を解析し、各画像で認識されたＡＲマーカをマーカ毎にカウントし、１秒間の認識回数の多い順にランキングして、図９（Ｂ）に示すような認識回数カウントテーブルを生成する。認識回数カウントテーブルは、ランキングの上位から所定数の情報のみを出力してもよい。
「優先度」は、ＡＲマーカＩＤ毎に設定される優先度である。例えばランキングに対応付けて設定されてもよい。その場合、ランキングが上位の方が、優先度を高く設定する。また、直近の一定時間（例えば、現在から過去に所定時間遡った期間）に認識されたＡＲマーカに対して、優先度を高く設定してもよいが、設定方法は、これに限定されるものではない。
「重要度」は、例えば予めＡＲマーカＩＤ毎に設定された重要度である。例えば、重要度の値が高い方が、ＡＲマーカＩＤに対応付けられたＡＲコンテンツの重要度が高い。重要度が高いＡＲコンテンツとは、例えば「注意事項」や「危険マーク」等の利用者に知らせるべき情報であるが、これに限定されるものではない。
なお、上述した認識回数カウントテーブルを生成するうえで、画像を解析してＡＲマーカの認識処理を行うタイミングや認識回数カウントテーブルを生成するタイミング等については、これに限定されるものではなく、利用者等が任意に設定することができる。例えば、利用者である作業員等が、対象物（設備等）に対して行う作業の実績等に基づいて設定してもよく、例えば約１０〜１５秒間隔が初期値としてもよい。
また、第２実施例において、例えば利用者が見たいと思っている対象のＡＲマーカは、直近の一定時間、継続して画像データに含まれる可能性が高く、またそのようなＡＲマーカは、画像データの中央に入る可能性が高い。したがって、認識回数だけでなく、認識したＡＲマーカが画像データのどの位置にあるか等をＡＲマーカの抽出条件に含めてもよい。その場合、例えば認識したＡＲマーカが、画像データの中央にある場合には、「優先度」を高く設定する等の調整を行うことができる。
また、第２実施例では、上述した「認識回数」だけでなく、「認識確率」を用いてもよい。「認識確率」とは、例えば撮像部３２に入力された画像中のＡＲマーカを所定時間毎に所定回数の認識処理を行う場合に、ＡＲマーカＩＤ毎に認識される確率である。認識確率の算出は、例えば「（直近の一定時間における認識回数）÷（直近の一定時間（単位：秒））×（フレームレート（単位：回））」等の所定の数式により算出することができるが、これに限定されるものではない。例えば、直近の一定時間が１秒で、認識回数が８回で、フレームレートが１０ｆｐｓの場合、認識確率＝８÷１×１０＝０．８となる。上述した手法で算出された認識確率を用いて、ランキングを設定し、図９（Ｂ）に示すような認識回数カウントテーブルを生成することができる。
対象抽出部３６は、ランキングの順位に基づいて所定数（例えば、ランキングの上位から所定数）のＡＲマーカを抽出する。これにより、第２実施例において、認識部３７は、画像データから認識された全てのＡＲマーカのうち、認識回数等に対応する限定されたＡＲマーカに対応するＡＲコンテンツを表示する。
また、第２実施例では、ランキングリストの上位から所定数を抽出するだけでなく、リスト内の各ＡＲマーカのうち、ＡＲマーカが検出された座標（位置）が、画像の中心（例えば、画像サイズが横６４０×縦３２０ドットの場合には、中心座標（３２０，１６０）となる）に近づく少なくとも１つのＡＲマーカを抽出してもよい。
例えば、画像から認識されたＡＲマーカＩＤ「１」の座標が（ｘ１，ｙ１）の場合、中心座標からの距離ｄ１は、「ｄ１＝√（（ｘ１−３２０）２＋（ｙ１−１６０）２）」で算出される。また、同様に、所定時間毎に撮影された画像に対するマーカ認識を行い、ＡＲマーカＩＤ「１」の座標が、それぞれ（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）、・・・と変化していった場合、変化に応じた中心座標からの距離ｄ２、ｄ３、ｄ４を同様に求める。
この場合、例えば中間座標からの距離の関係が「ｄ４＜ｄ３＜ｄ２＜ｄ１」の条件を満たす場合、ＡＲマーカーＩＤ「１」に対応するＡＲコンテンツを画面に重畳表示する。また、上記の例では、中心座標を基準にしたが、利用者がタップ等により指示した画面位置を基準にして、その点からの距離に応じて上述したような条件を満たすＡＲマーカを、抽出対象としてもよい。基準となる位置は、初期値として予め設定しておいてもよく、利用者が常に変更できるようにしてもよい。
図９に示すように、ＡＲマーカの認識回数に応じて優先度又は付与して画像生成部４０に送信することで、対応する処理を行うことができる。
＜画面例＞
次に、上述した第２実施例に対応する画面例について図を用いて説明する。図１０は、第２実施例における画面例を示す図である。図１０（Ａ）は、取得した撮影画像８０の一例を示す。図１０（Ｂ）は、撮影画像８０から認識した全てのＡＲマーカに対応するＡＲコンテンツの表示例を示す。図１０（Ｃ）は、第２実施例におけるＡＲコンテンツの表示例を示す。
図１０（Ａ）に示すように、撮影画像８０には、実空間上に存在するＡＲコンテンツを表示する対象物８１と、対象物８１に対してＡＲコンテンツを表示するための複数のＡＲマーカ８２−１〜８２−４とを有する。なお、ＡＲマーカの数については、これに限定されるものではない。
例えば、図１０（Ａ）に示す撮影画像８０に対してマーカ認識を行い、認識したＡＲマーカ８２−１〜８２−４に対する全てのＡＲコンテンツ８４−１〜８４−６を重畳表示する場合、例えば図１０（Ｂ）に示すように、ＡＲコンテンツが重なって表示されてしまい、ＡＲコンテンツの内容を正しく認識することができない。そこで、上述した第２実施例に示すように、認識回数に基づいてＡＲコンテンツを表示する対象のＡＲマーカを絞り込むことで、ＡＲマーカに対応するＡＲコンテンツ８４−１，８４−２のみを表示する。これにより、ＡＲコンテンツが多数重畳表示される事態を回避することができる。
＜対象抽出処理：第３実施例＞
次に、上述したＳ０２の対象抽出処理の第３実施例について、フローチャート等を用いて説明する。第３実施例では、例えば画像データにＡＲマーカが複数写り込んだ場合、各々のＡＲマーカに対応するＡＲコンテンツが重畳表示されることを防止する。第３実施例では、ＡＲマーカの位置情報及び端末装置１２の位置情報（ＧＰＳ位置情報）等に基づき、その移動軌跡等から利用者が見たいであろうＡＲマーカを抽出する。
第３実施例では、例えば端末装置１２の位置と、各ＡＲマーカの位置とを取得し、取得した端末装置１２の位置と各ＡＲマーカの位置とに基づいて、端末装置１２と各ＡＲマーカとの距離を算出し、算出した距離が時間の経過と共に小さくなるＡＲマーカを所定数抽出する。これにより、抽出したＡＲマーカに対応付けられたＡＲコンテンツ（他の画像データ等）のみを、画像データに対して重畳表示することができる。
図１１は、対象抽出処理の第３実施例を示すフローチャートである。図１１の例において、対象抽出部３６は、ＡＲマーカの位置情報を読み込む（Ｓ２１）。Ｓ２１の処理では、ＡＲマーカの設置時に設定された位置情報、又はＡＲマーカに設けられたＧＰＳ機能等を用いて取得した位置情報を読み込む。
次に、対象抽出部３６は、撮像部３２等で撮影された画像を取得する（Ｓ２２）。また、端末装置１２に設けられたＧＰＳ機能等に基づき利用者の現在の位置情報を取得する（Ｓ２３）。次に、対象抽出部３６は、取得した画像にＡＲマーカが存在するかを解析し、存在するＡＲマーカのＩＤと４隅の座標を記憶する（Ｓ２４）。次に、対象抽出部３６は、利用者の現在の位置情報と、各ＡＲマーカの位置情報とから、利用者の各ＡＲマーカまでの距離を算出する（Ｓ２５）。
次に、対象抽出部３６は、算出した各ＡＲマーカまでの距離が、前回又は前々回と比較して小さくなっているＡＲマーカのリストを作成し（Ｓ２６）、作成したリストを認識部３７等に出力する（Ｓ２７）。
＜第３実施例の具体例＞
次に、第３実施例の具体例について説明する。図１２は、第３実施例の具体例について説明するための図である。図１２（Ａ）では、利用者の移動軌跡データの一例を示し、図１２（Ｂ）は、利用者（端末装置１２）の移動の様子を示している。
実施例２では、現場の作業者のような利用者９０（＝利用者が装備するヘッドマウントディスプレイやスカウター等のウェアラブルデバイス）の位置情報の移動の軌跡（動態監視、動線管理）等に基づいて、利用者が関心があると思われる対象設備に設置されたＡＲマーカ８２に対応する重畳表示コンテンツのみを表示する。
図１２（Ａ）に示す移動軌跡データの項目としては、例えば「時刻」、「ＧＰＳ位置情報」等があるが、これに限定されるものではない。ＧＰＳから得られる位置情報としては、緯度、経度等であるが、これに限定されるものではない。図１２（Ａ）のデータは、図１２（Ｂ）に示すようにＡＲマーカ８２に利用者９０が近づいている例を示している。このような場合に、利用者９０の位置情報とＡＲマーカ８２の位置情報との距離が時間の経過と共に小さくなる条件に合致する単一又は所定数のＡＲマーカを抽出し、抽出したＡＲマーカに対応するＡＲコンテンツのみを端末装置１２の画面に重畳表示する。
例えば、ＡＲマーカの位置情報（ｘ９，ｙ９）とした場合、端末装置１２から得られる利用者のＧＰＳ位置情報（ｘ１，ｙ１）との距離ｄ１は、「ｄ１＝√（（ｘ１−ｘ９）２＋（ｙ１−ｙ９）２）」で算出することができる。また、同様に利用者の移動により得られる位置情報を（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）、・・・とし、そのときのＡＲマーカの位置情報（ｘ９，ｙ９）との距離をｄ２、ｄ３、ｄ４としたとき、「ｄ４＜ｄ３＜ｄ２＜ｄ１」の条件を満たすＡＲマーカＩＤを抽出し、抽出したＡＲマーカに対応付けられたＡＲコンテンツを画面に重畳表示する。
＜対象抽出処理：第４実施例＞
次に、上述したＳ０２の対象抽出処理の第４実施例について、フローチャート等を用いて説明する。第４実施例では、例えば画面の中央付近や利用者のタップ位置（指定位置）に最も近いＡＲマーカを利用者の興味があるものとして抽出する。例えば、第４実施例では、端末装置１２の表示部３４に表示された画像データの中央位置又は利用者が指定した指定位置を基準として、ＡＲマーカまでの距離を算出し、算出した距離が近い基準物から所定数の基準物を抽出する。これにより、抽出したＡＲマーカに対応付けられたＡＲコンテンツ（他の画像データ等）のみを、画像データに対して重畳表示することができる。
図１３は、対象抽出処理の第４実施例を示すフローチャートである。図１３の例において、対象抽出部３６は、例えば撮像部３２におけるカメラ解像度等の設定値を読み込む（Ｓ３１）。次に、対象抽出部３６は、撮像部３２等で撮影された画像を取得し（Ｓ３２）、取得した画像にＡＲマーカが存在するかを解析し、存在するＡＲマーカのＩＤと４隅の座標を記憶する（Ｓ３３）。
次に、対象抽出部３６は、利用者が画面をタップした位置又はＳ３１の処理により取得したカメラ解像度等に基づいて画面の中央位置を取得する（Ｓ３４）。Ｓ３４の処理では、例えば所定時間タップされなかった場合に画面の中央位置を取得してもよく、またどちらの位置情報を取得するかを予め設定しておくことにより、タップの有無等に関係なく、中央位置を取得してもよい。
次に、対象抽出部３６は、画面に含まれる各ＡＲマーカの位置と画面のタップ位置又は中央位置とから、各ＡＲマーカまでの距離を算出する（Ｓ３５）。次に、対象抽出部３６は、算出した各ＡＲマーカまでの距離が小さい順で並べたランキングに基づき、上位から所定数のＡＲマーカのリストを作成し（Ｓ３６）、作成したリストを認識部３７等に出力する（Ｓ３７）。
＜第４実施例の具体例＞
次に、第４実施例の具体例について説明する。図１４は、第４実施例の具体例について説明するための図である。図１４（Ａ）では、端末装置１２の画面に表示された撮影画像１００に含まれるＡＲマーカ８２−１〜８２−３のうち、中央位置に近いＡＲマーカ８２−２が抽出され、抽出されたＡＲマーカ８２−２に対応するＡＲコンテンツが画像１００に重畳表示される。
例えば、画面の中央付近の座標は、例えば６４０×３２０の画像の場合、ＡＲマーカ８２−１の位置情報を（ｘ１，ｙ１）とすると、画面の中央付近からの距離ｄ１は、「ｄ１＝√（（ｘ１−６４０）２＋（ｙ１−３２０）２）」で算出される。同様に、ＡＲマーカ８２−２の位置情報を（ｘ２，ｙ２）とすると、画面の中央付近からの距離ｄ２は、「ｄ２＝√（（ｘ２−６４０）２＋（ｙ２−３２０）２）」で算出される。また、ＡＲマーカＩＤ８２−３の位置情報を（ｘ３，ｙ３）とすると、画面の中央付近からの距離ｄ３は、「ｄ３＝√（（ｘ３−６４０）２＋（ｙ３−３２０）２）」で算出される。上述した算出結果から、例えば距離ｄが一番小さいＡＲマーカに紐づく重畳表示コンテンツを表示する。
また、第４実施例では、図１４（Ｂ）に示すように、利用者のタップ位置に最も近いマーカ８２−２を利用者の興味があるものとして抽出することができる。この場合、利用者のタップ位置を（ｘ９，ｙ９）とすると、ＡＲマーカーＩＤ８２−１のタップ位置からの距離ｄ１は、「ｄ１＝√（（ｘ１−ｘ９）２＋（ｙ１−ｙ９）２）」で算出できる。また、ＡＲマーカ８２−２のタップ位置からの距離ｄ２は、「ｄ２＝√（（ｘ２−ｘ９）２＋（ｙ２−ｙ９）２）」で算出できる。また、ＡＲマーカＩＤ８２−３のタップ位置からの距離ｄ３は、「ｄ３＝√（（ｘ３−ｘ９）２＋（ｙ３−ｙ９）２）」で算出できる。
図１４（Ｂ）の例では、上述した算出結果から、例えば距離ｄが一番小さいＡＲマーカ８２−３が抽出され、ＡＲマーカ８２−３に対応付けられたＡＲコンテンツが画面に重畳表示される。
なお、第４実施例では、例えばＡＲコンテンツが表示されている対象のＡＲマーカを、画像データに含まれる他のＡＲマーカと識別可能に表示してもよい。例えば、図１４（Ａ）、（Ｂ）に示すように、端末装置１２の画面に、どのＡＲマーカが抽出されたかを示すマーカ枠１０１を表示してもよい。これにより、利用者は、端末装置１２の中央にないＡＲマーカであっても抽出されているＡＲマーカが何であるかを容易に把握することができる。なお、マーカ枠１０１に限定されるものではなく、例えば対象のＡＲマーカを他のＡＲマーカと色分けして表示したり、所定のマーク等を重畳表示させてもよい。
上述したように、本実施形態によれば、基準物に対応付けられた複数の画像が重なり合うことを防止することができる。例えば、ＡＲマーカ等の基準物を絞り込むことで、ＡＲコンテンツ（画像データ）等が多数重畳表示されるのを回避することができる。また、取得した画像データにＡＲマーカが複数写りこんだ場合に、各々のＡＲマーカに対応するＡＲコンテンツが重畳表示されることを防止することができる。これにより、例えば現場作業員の負担軽減や、作業の効率化、ヒューマンエラー等を防止することができる。
以上、実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、上述した各実施例の一部又は全部を組み合わせることも可能である。
なお、以上の実施例に関し、更に以下の付記を開示する。
（付記１）
情報処理装置が、
撮像装置により撮像された画像を取得し、
取得した前記画像の一部領域に対応する認識領域に基準物の画像が含まれるか否かを判定し、
前記基準物の画像が含まれる場合、前記基準物の画像に対応付けられた他の画像を表示部に表示する、
処理を実行することを特徴とする表示制御方法。
（付記２）
所定時間内に取得した前記画像に前記基準物が含まれるか否かを、前記基準物毎に判定し、
前記基準物毎の、該基準物が含まれるとの判定回数が上位から所定数の基準物に対応付けられた他の画像を前記表示部に表示することを特徴とする付記１に記載の表示制御方法。
（付記３）
前記情報処理装置の位置と、前記基準物の位置とを取得し、
取得した前記情報処理装置の位置と前記基準物の位置とに基づいて、前記情報処理装置と前記基準物との距離を算出し、
算出した前記距離が時間の経過と共に小さくなる基準物に対応付けられた他の画像を前記表示部に表示することを特徴とする付記１又は２に記載の表示制御方法。
（付記４）
前記表示部に表示された前記画像の中央位置又は利用者が指定した指定位置を基準として、前記基準物までの距離を算出し、
算出した前記距離が近い基準物から所定数の基準物を抽出し、
抽出した前記基準物に対応付けられた他の画像を前記表示部に表示することを特徴とする付記１乃至３の何れか１項に記載の表示制御方法。
（付記５）
前記他の画像は、前記表示部に表示される前記画像に対して重畳表示されることを特徴とする付記１乃至４の何れか１項に記載の表示制御方法。
（付記６）
前記他の画像が表示されている対象の基準物を、前記画像に含まれる他の基準物と識別可能に表示することを特徴とする付記１乃至６の何れか１項に記載の表示制御方法。
（付記７）
撮像装置により撮像された画像を取得し、
取得した前記画像の一部領域に対応する認識領域に基準物の画像が含まれるか否かを判定し、
前記基準物の画像が含まれる場合、前記基準物の画像に対応付けられた他の画像を表示部に表示する、
処理をコンピュータに実行させる情報処理プログラム。
（付記８）
撮像装置により撮像された画像の一部領域に対応する認識領域に基準物の画像が含まれるか否かを判定する認識部と、
前記認識部により前記基準物の画像が含まれると判定された場合、前記基準物の画像に対応付けられた他の画像を取得する取得部と、
前記取得部により得られた前記他の画像を表示する表示部とを有することを特徴とする情報処理装置。
１０ 情報処理システム
１１ サーバ
１２ 端末装置（情報処理装置）
１３ 通信ネットワーク
２１，３１ 通信部
２２，３３ 記憶部
２３ 管理部
２４ 抽出部
２５，４１ 制御部
３２ 撮像部
３４，６３ 表示部
３５ 設定部
３６ 対象抽出部（抽出部）
３７ 認識部（認識エンジン）
３８ 取得部
３９ コンテンツ生成部
４０ 画像生成部
５１ 入力装置
５２ 出力装置
５３，７２ ドライブ装置
５４，６９ 補助記憶装置
５５，７０ 主記憶装置
５６，７１ ＣＰＵ
５７ ネットワーク接続装置
５８，７３ 記録媒体
６１ マイク
６２ スピーカ
６４ 操作部
６５ センサ部
６６ 電力部
６７ 無線部
６８ 近距離通信部
８０ 撮影画像
８１ 対象物
８２ ＡＲマーカ
８３ 認識領域
８４ ＡＲコンテンツ
９０ 利用者
１００ 画像
１０１ マーカ枠

Claims (5)

  1. 情報処理装置が、
    撮像装置により撮像された画像を取得し、
    取得した前記画像の一部領域に対応する認識領域に複数の基準物の画像が含まれる場合、前記撮像装置により順次撮像された第１の画像及び第２の画像それぞれについて、前記複数の基準物それぞれと、前記情報処理装置との距離を算出し、算出した前記距離の前記第１の画像及び前記第２の画像間での比較結果に基づき、前記複数の基準物のうち前記情報処理装置までの距離が時間の経過と共に小さくなる基準物を特定し、
    特定した前記基準物の画像に対応付けられた他の画像を表示部に表示する、
    処理を実行することを特徴とする表示制御方法。
  2. 所定時間内に取得した前記画像に前記基準物が含まれるか否かを、前記基準物毎に判定し、
    前記基準物毎の、該基準物が含まれるとの判定回数が上位から所定数の基準物に対応付けられた他の画像を前記表示部に表示することを特徴とする請求項１に記載の表示制御方法。
  3. 前記表示部に表示された前記画像の中央位置又は利用者が指定した指定位置を基準として、前記基準物までの距離を算出し、
    算出した前記距離が近い基準物から所定数の基準物を抽出し、
    抽出した前記基準物に対応付けられた他の画像を前記表示部に表示することを特徴とする請求項１または２に記載の表示制御方法。
  4. 撮像装置により撮像された画像を取得し、
    取得した前記画像の一部領域に対応する認識領域に複数の基準物の画像が含まれる場合、前記撮像装置により順次撮像された第１の画像及び第２の画像それぞれについて、前記複数の基準物それぞれと、情報処理装置との距離を算出し、算出した前記距離の前記第１の画像及び前記第２の画像間での比較結果に基づき、前記複数の基準物のうち前記情報処理装置までの距離が時間の経過と共に小さくなる基準物を特定し、
    特定した前記基準物の画像に対応付けられた他の画像を表示部に表示する、
    処理をコンピュータに実行させる情報処理プログラム。
  5. 撮像装置により撮像された画像の一部領域に対応する認識領域に複数の基準物の画像が含まれる場合、前記撮像装置により順次撮像された第１の画像及び第２の画像それぞれについて、前記複数の基準物それぞれと、情報処理装置との距離を算出し、算出した前記距離の前記第１の画像及び前記第２の画像間での比較結果に基づき、前記複数の基準物のうち前記情報処理装置までの距離が時間の経過と共に小さくなると特定された基準物の画像に対応付けられた他の画像を取得する取得部と、
    前記取得部により得られた前記他の画像を表示する表示部とを有することを特徴とする情報処理装置。
JP2014249875A 2014-12-10 2014-12-10 表示制御方法、情報処理プログラム、及び情報処理装置 Active JP6424601B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014249875A JP6424601B2 (ja) 2014-12-10 2014-12-10 表示制御方法、情報処理プログラム、及び情報処理装置
US14/949,440 US20160171773A1 (en) 2014-12-10 2015-11-23 Display control method, information processing apparatus, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014249875A JP6424601B2 (ja) 2014-12-10 2014-12-10 表示制御方法、情報処理プログラム、及び情報処理装置

Publications (2)

Publication Number Publication Date
JP2016110565A JP2016110565A (ja) 2016-06-20
JP6424601B2 true JP6424601B2 (ja) 2018-11-21

Family

ID=56111686

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014249875A Active JP6424601B2 (ja) 2014-12-10 2014-12-10 表示制御方法、情報処理プログラム、及び情報処理装置

Country Status (2)

Country Link
US (1) US20160171773A1 (ja)
JP (1) JP6424601B2 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3242228A1 (en) * 2016-05-02 2017-11-08 Artag SARL Managing the display of assets in augmented reality mode
JP2017228942A (ja) * 2016-06-22 2017-12-28 富士通株式会社 ヘッドマウントディスプレイ、送信制御プログラムおよび送信制御方法
JP2018005091A (ja) * 2016-07-06 2018-01-11 富士通株式会社 表示制御プログラム、表示制御方法および表示制御装置
US10121513B2 (en) * 2016-08-30 2018-11-06 International Business Machines Corporation Dynamic image content overlaying
WO2018167843A1 (ja) * 2017-03-14 2018-09-20 日本電気株式会社 情報処理装置、情報処理システム、制御方法、及びプログラム
SG11201910106XA (en) * 2017-05-31 2019-11-28 Fujikin Kk Management system, method, and computer program for semiconductor fabrication apparatus
CN110998666B (zh) * 2017-08-08 2023-10-20 索尼公司 信息处理装置、信息处理方法以及程序
EP3732588A1 (en) 2017-12-29 2020-11-04 eBay, Inc. Computer vision and image characteristic search
JP6898878B2 (ja) * 2018-03-16 2021-07-07 株式会社スクウェア・エニックス 映像表示システム、映像表示方法及び映像表示プログラム
EP4202882A1 (en) * 2018-06-15 2023-06-28 Google LLC Smart-home device placement and installation using augmented-reality visualizations
DE102018211168A1 (de) * 2018-07-06 2020-01-09 Bayerische Motoren Werke Aktiengesellschaft Überprüfen von Objekten auf Richtigkeit
US20200349737A1 (en) * 2019-05-03 2020-11-05 Fanuc America Corporation Multi-target calibration and augmentation
JP2021051497A (ja) * 2019-09-24 2021-04-01 東芝テック株式会社 情報処理装置及びプログラム
US11816757B1 (en) * 2019-12-11 2023-11-14 Meta Platforms Technologies, Llc Device-side capture of data representative of an artificial reality environment
US11295135B2 (en) * 2020-05-29 2022-04-05 Corning Research & Development Corporation Asset tracking of communication equipment via mixed reality based labeling
US11374808B2 (en) 2020-05-29 2022-06-28 Corning Research & Development Corporation Automated logging of patching operations via mixed reality based labeling
US11402964B1 (en) * 2021-02-08 2022-08-02 Facebook Technologies, Llc Integrating artificial reality and other computing devices
US11625787B1 (en) * 2022-05-03 2023-04-11 Capital One Services, Llc Augmented reality vehicle display systems

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009217416A (ja) * 2008-03-10 2009-09-24 Sanyo Electric Co Ltd タッチパネル入力装置、及びタッチパネル入力装置におけるボタン特定方法
WO2010073616A1 (ja) * 2008-12-25 2010-07-01 パナソニック株式会社 情報表示装置および情報表示方法
KR101594298B1 (ko) * 2009-11-17 2016-02-16 삼성전자주식회사 디지털 영상 처리기에서 포커스 조정 장치 및 방법
JP5691568B2 (ja) * 2011-01-28 2015-04-01 ソニー株式会社 情報処理装置、報知方法及びプログラム
US9526455B2 (en) * 2011-07-05 2016-12-27 Saudi Arabian Oil Company Systems, computer medium and computer-implemented methods for monitoring and improving health and productivity of employees
US8803699B2 (en) * 2011-08-18 2014-08-12 George Brandon Foshee Object detection device
KR20130056529A (ko) * 2011-11-22 2013-05-30 삼성전자주식회사 휴대용 단말기에서 증강현실 서비스를 제공하기 위한 장치 및 방법
JP5882805B2 (ja) * 2012-03-26 2016-03-09 キヤノン株式会社 情報処理装置、その処理方法及びプログラム
JP6056178B2 (ja) * 2012-04-11 2017-01-11 ソニー株式会社 情報処理装置、表示制御方法及びプログラム
US20130297460A1 (en) * 2012-05-01 2013-11-07 Zambala Lllp System and method for facilitating transactions of a physical product or real life service via an augmented reality environment
KR20140044173A (ko) * 2012-10-04 2014-04-14 한국전자통신연구원 객체 영상 인식 장치 및 객체 영상 인식 방법
KR102173123B1 (ko) * 2013-11-22 2020-11-02 삼성전자주식회사 전자장치에서 이미지 내의 특정 객체를 인식하기 위한 방법 및 장치

Also Published As

Publication number Publication date
US20160171773A1 (en) 2016-06-16
JP2016110565A (ja) 2016-06-20

Similar Documents

Publication Publication Date Title
JP6424601B2 (ja) 表示制御方法、情報処理プログラム、及び情報処理装置
AU2017203098B2 (en) Information processing system and display control method
CN111417028B (zh) 信息处理方法、装置、存储介质及电子设备
US20160012612A1 (en) Display control method and system
JP6445515B2 (ja) 少なくとも２つの制御オブジェクトを用いて行われるジェスチャの検出
JP6344029B2 (ja) 表示方法、表示プログラム、及び表示装置
EP2733629B1 (en) System for associating tag information with images supporting image feature search
US10163266B2 (en) Terminal control method, image generating method, and terminal
EP3333675A1 (en) Wearable device user interface control
US10558425B2 (en) Display control method, data process apparatus, and computer-readable recording medium
JP6244954B2 (ja) 端末装置、情報処理装置、表示制御方法、及び表示制御プログラム
JP6217437B2 (ja) 端末装置、情報処理装置、表示制御方法、及び表示制御プログラム
KR101690777B1 (ko) 복수의 디바이스를 매칭시키는 방법, 그리고 상기 매칭이 가능하게끔 하여 주는 디바이스 및 서버 시스템
JP6543924B2 (ja) 情報処理方法、情報処理プログラム、及び情報処理装置
JP6524706B2 (ja) 表示制御方法、表示制御プログラム、及び情報処理装置
JP2016184294A (ja) 表示制御方法、表示制御プログラム、及び情報処理装置
JP6413521B2 (ja) 表示制御方法、情報処理プログラム、及び情報処理装置
KR20190035373A (ko) 혼합 현실에서의 가상 모바일 단말 구현 시스템 및 이의 제어 방법
JP2015152940A (ja) 提示制御装置、提示制御方法、およびプログラム
US20210096650A1 (en) Methods and Systems for Identifying Three-Dimensional-Human-Gesture Input
JP6374203B2 (ja) 表示システム及びプログラム
JP2010086367A (ja) 位置情報入力装置、位置情報入力方法、プログラム、情報処理システム、及び電子装置
US20190096130A1 (en) Virtual mobile terminal implementing system in mixed reality and control method thereof
JP7386583B1 (ja) プログラム、情報処理装置及び方法
JP6523509B1 (ja) ゲームプログラム、方法、および情報処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170804

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180403

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180330

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180604

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180619

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180830

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20180906

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180925

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181008

R150 Certificate of patent or registration of utility model

Ref document number: 6424601

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150