JP6801263B2 - 表示制御プログラム、表示制御方法および表示制御装置 - Google Patents

表示制御プログラム、表示制御方法および表示制御装置 Download PDF

Info

Publication number
JP6801263B2
JP6801263B2 JP2016130209A JP2016130209A JP6801263B2 JP 6801263 B2 JP6801263 B2 JP 6801263B2 JP 2016130209 A JP2016130209 A JP 2016130209A JP 2016130209 A JP2016130209 A JP 2016130209A JP 6801263 B2 JP6801263 B2 JP 6801263B2
Authority
JP
Japan
Prior art keywords
image
display control
content
identification information
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016130209A
Other languages
English (en)
Other versions
JP2018005477A (ja
Inventor
厚一郎 新沼
厚一郎 新沼
吉武　敏幸
敏幸 吉武
鉄也 山岡
鉄也 山岡
昌史 多田
昌史 多田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2016130209A priority Critical patent/JP6801263B2/ja
Priority to US15/596,410 priority patent/US20180005424A1/en
Publication of JP2018005477A publication Critical patent/JP2018005477A/ja
Application granted granted Critical
Publication of JP6801263B2 publication Critical patent/JP6801263B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/10—Payment architectures specially adapted for electronic funds transfer [EFT] systems; specially adapted for home banking systems
    • G06Q20/108—Remote banking, e.g. home banking
    • G06Q20/1085—Remote banking, e.g. home banking involving automatic teller machines [ATMs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Digital Computer Display Output (AREA)

Description

本発明は、表示制御プログラム、表示制御方法および表示制御装置に関する。
従来、プロダクトデザインでは、デザイン対象の製品と同様のモックアップを作成してデザインの評価を行っている。モックアップとは、外観を製品と同様に似せて作った模型である。しかし、モックアップの作成には、時間とコストがかかる。
特開２００７−２７２５７５号公報 特開２００６−１２６９３６号公報 特開２００９−１０４２４９号公報
しかしながら、モックアップは実感がわくものの、デザインが固定されてしまうため、デザインを改良する場合、モックアップの作り直しとなり、時間がかかってしまう。
一つの側面では、本発明は、リアルな部品の配置に応じて、変わり得るデザインの変更を表現可能な表示制御プログラム、表示制御方法および表示制御装置を提供することにある。
一つの態様では、表示制御プログラムは、コンピュータに、第１の部品に設けられた第１の識別情報と、第２の部品に設けられた第２の識別情報とを撮像する処理を実行させる。表示制御プログラムは、コンピュータに、複数の識別情報と該複数の識別情報の相対的な位置関係に応じた画像を記憶する記憶部を参照して、撮像した第１の識別情報と第２の識別情報の相対的な位置関係に応じた画像を特定する処理を実行させる。表示制御プログラムは、コンピュータに、特定した画像を出力する処理を実行させる。
一つの側面では、リアルな部品の配置に応じて、変わり得るデザインの変更を表現可能な表示制御プログラム、表示制御方法および表示制御装置を提供できる。
図１は、評価システムの構成の一例を説明する図である。 図２は、ＨＭＤの機能的な構成の一例を示す図である。 図３は、表示制御装置の機能的な構成の一例を示す図である。 図４は、コンテンツ情報テーブルのデータ構成の一例を示す図である。 図５は、コンテンツ関連情報のデータ構成の一例を示す図である。 図６は、重畳対象の認識の一例を示す図である。 図７は、タッチ操作対象の部品の画像の重畳の一例を示す図である。 図８は、ＡＲコンテンツの表示の一例を示す図である。 図９は、ＡＲコンテンツの表示の一例を示す図である。 図１０は、ＡＲコンテンツの表示の一例を示す図である。 図１１は、ＡＲコンテンツの表示の一例を示す図である。 図１２は、デザインのユーザビリティを評価する流れの一例を示す図である。 図１３は、デザインのユーザビリティを評価する流れの一例を示す図である。 図１４は、デザインのユーザビリティを評価する流れの一例を示す図である。 図１５は、表示制御処理の手順の一例を示すフローチャートである。 図１６は、表示制御プログラムを実行するコンピュータを示す図である。
以下に、本発明にかかる表示制御プログラム、表示制御方法および表示制御装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
［システム構成］
最初に、ＡＲ（Augmented Reality：拡張現実）技術を用いてプロダクトデザインの評価を行う評価システムの一例を説明する。ＡＲ技術では、カメラにより撮像される撮像画像に仮想的なＡＲコンテンツを重畳する画像処理を行う。このようにＡＲコンテンツを重畳した画像を表示させることにより、画像に様々な情報を付加して表示できる。図１は、評価システムの構成の一例を説明する図である。評価システム１０は、拡張現実を提供するＡＲシステムである。評価システム１０は、ヘッドマウントディスプレイ（以下、ＨＭＤ（Head Mounted Display）ともいう。）１１と、表示制御装置１２とを有する。ＨＭＤ１１と表示制御装置１２とは、例えば１対１で無線により接続される。すなわち、ＨＭＤ１１は、表示制御装置１２の表示部の一例として機能する。なお、図１では、ＨＭＤ１１と表示制御装置１２との組について、１組を一例として示したが、ＨＭＤ１１と表示制御装置１２との組の数は限定されず、任意の数のＨＭＤ１１と表示制御装置１２との組を有してもよい。
ＨＭＤ１１と表示制御装置１２は、例えば、Ｗｉ−Ｆｉ Ｄｉｒｅｃｔ（登録商標）等の無線ＬＡＮ（Local Area Network）により相互に通信可能に接続される。なお、ＨＭＤ１１と表示制御装置１２は、有線で接続してもよい。
ＨＭＤ１１は、ユーザが表示制御装置１２とともに装着し、表示制御装置１２から送信される表示画面を表示する。ＨＭＤ１１は、例えば、単眼の透過型のＨＭＤを用いることができる。なお、ＨＭＤ１１は、例えば、両眼用や没入型等の各種のＨＭＤを用いるようにしてもよい。また、ＨＭＤ１１は、撮像装置の一例であるカメラを有する。ＨＭＤ１１は、カメラによる撮像により撮像画像を取得する。ＨＭＤ１１は、取得した撮像画像の画像データを表示制御装置１２に対して送信する。また、ＨＭＤ１１は、表示制御装置１２から受信した画像データの画像を表示部に表示する。
表示制御装置１２は、ユーザが装着して操作する情報処理装置であり、例えば、タブレット端末やスマートフォン等の携帯型の情報処理装置やコンピュータを用いることができる。表示制御装置１２は、各種のＡＲコンテンツのデータを記憶する。ＡＲコンテンツのデータは、サーバからダウンロードして表示制御装置１２に格納してもよく、記憶媒体等を介して表示制御装置１２に格納してもよい。表示制御装置１２は、ＨＭＤ１１から受信して受け付けた撮像画像から基準物の検出を行う。基準物は、例えば、ＡＲマーカやＱＲ（Quick Response）コード（登録商標）など、ＡＲコンテンツを表示する位置を指定するための基準となる標識であってもよい。また、基準物は、例えば、特定の色の物体や特定パターンなど撮像画像内での物体であってもよい。本実施例では、基準物をＡＲマーカとする。表示制御装置１２は、撮像画像にＡＲマーカが含まれる場合に、当該ＡＲマーカに対応するＡＲコンテンツを撮像画像に重畳（合成）する。表示制御装置１２は、撮像画像にＡＲコンテンツを重畳した画像をＨＭＤ１１へ送信する。
［ＨＭＤ（ヘッドマウントディスプレイ）の構成］
次に、各機器の構成について説明する。最初にＨＭＤ１１の構成について説明する。図２は、ＨＭＤの機能的な構成の一例を示す図である。ＨＭＤ１１は、通信Ｉ／Ｆ（インタフェース）部２０と、表示部２１と、カメラ２２と、記憶部２３と、制御部２４とを有する。なお、ＨＭＤ１１は、上記の機器以外の他の機器を有してもよい。
通信Ｉ／Ｆ部２０は、他の装置との間で通信制御を行うインタフェースである。通信Ｉ／Ｆ部２０は、無線通信により他の装置と各種情報を送受信する。例えば、通信Ｉ／Ｆ部２０は、カメラ２２により撮像された撮像画像の画像データを表示制御装置１２に送信する。また、通信Ｉ／Ｆ部２０は、撮像を指示する指示情報や表示用の画像データを表示制御装置１２から受信する。
表示部２１は、各種情報を表示するデバイスである。表示部２１は、ユーザがＨＭＤ１１を装着した際に、ユーザの目に対向するようにＨＭＤ１１に設けられている。表示部２１は、制御部２４からの制御により、各種情報を表示する。例えば、表示部２１は、表示制御装置１２から送信された画像を表示する。なお、表示部２１は、ユーザが装着したままでも、外部の現実環境を視認可能なように、レンズ部分に透過性を有するものとしてもよい。
カメラ２２は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を用いて、画像を撮像するデバイスである。カメラ２２は、ＨＭＤ１１をユーザが装着した際に、装着したユーザの正面方向を向くようにＨＭＤ１１に設けられ、装着したユーザの正面方向の画像の撮像が可能とされている。カメラ２２は、制御部２４からの制御により、画像を撮像し、撮像された撮像画像の画像データを出力する。
記憶部２３は、各種の情報を記憶する記憶デバイスである。例えば、記憶部２３は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ＮＶＳＲＡＭ（Non Volatile Static Random Access Memory）などのデータを書き換え可能な半導体メモリである。なお、記憶部２３は、ハードディスク、ＳＳＤ（Solid State Drive）、光ディスクなどの記憶装置であってもよい。
記憶部２３は、制御部２４で実行される制御プログラムや各種プログラムを記憶する。さらに、記憶部２３は、制御部２４で実行されるプログラムで用いられる各種データを記憶する。
制御部２４は、ＨＭＤ１１を制御するデバイスである。制御部２４としては、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）等の電子回路や、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等の集積回路を採用できる。制御部２４は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、これらによって種々の処理を実行する。
制御部２４は、各種のプログラムが動作することにより各種の処理部として機能する。例えば、制御部２４は、カメラ制御部３０と、通信制御部３１と、表示制御部３２とを有する。
カメラ制御部３０は、カメラ２２を制御して画像の撮像を行う。例えば、カメラ制御部３０は、表示制御装置１２から受信した撮像を指示する指示情報に応じてカメラ２２により所定のフレームレートで画像の撮像を行う。
通信制御部３１は、各種の情報の送受信を制御する。例えば、通信制御部３１は、カメラ２２により撮像される撮像画像の画像データを表示制御装置１２へ送信する。また、通信制御部３１は、表示制御装置１２から表示用の画像データを受信する。
表示制御部３２は、表示部２１への各種の情報の表示を制御する。例えば、表示制御部３２は、表示制御装置１２から受信した画像データの画像を表示部２１に表示する制御を行う。
［表示制御装置の構成］
次に、表示制御装置１２の構成について説明する。図３は、表示制御装置の機能的な構成の一例を示す図である。図３に示すように、表示制御装置１２は、通信Ｉ／Ｆ部５０と、記憶部５１と、制御部５２とを有する。なお、表示制御装置１２は、上記の機器以外に携帯型の情報処理装置やコンピュータが有する他の機器を有してもよい。
通信Ｉ／Ｆ部５０は、他の装置との間で通信制御を行うインタフェースである。例えば、通信Ｉ／Ｆ部５０は、無線通信によりＨＭＤ１１と各種情報を送受信する。例えば、通信Ｉ／Ｆ部５０は、ＨＭＤ１１からカメラ２２により撮像された撮像画像の画像データを受信する。また、通信Ｉ／Ｆ部５０は、表示用の画像データをＨＭＤ１１へ送信する。
記憶部５１は、ハードディスク、ＳＳＤ、光ディスクなどの記憶装置である。なお、記憶部５１は、ＲＡＭ、フラッシュメモリ、ＮＶＳＲＡＭなどのデータを書き換え可能な半導体メモリであってもよい。
記憶部５１は、制御部５２で実行されるＯＳ（Operating System）や各種プログラムを記憶する。例えば、記憶部５１は、後述する表示制御処理を含む各種の処理を実行するプログラムを記憶する。さらに、記憶部５１は、制御部５２で実行されるプログラムで用いられる各種データを記憶する。例えば、記憶部５１は、コンテンツデータ６０と、コンテンツ情報テーブル６１と、コンテンツ関連情報６２とを記憶する。
コンテンツデータ６０は、ＡＲコンテンツのデータを記憶したデータである。例えば、コンテンツデータ６０には、デザイン対象とされた製品を構成する筐体の画像と、当該製品を構成する各種の部品の画像データがそれぞれ記憶されている。例えば、コンテンツデータ６０には、製品を構成する筐体の画像と、製品に搭載される操作部、表示部など、ユーザとのインタフェースとなる機能を構成するユニットの部品の画像データがそれぞれ記憶されている。なお、コンテンツデータ６０は、製品の筐体や部品をデザインした際の３Ｄデータであってもよい。また、コンテンツデータ６０は、３Ｄデータを基に、筐体や部品の表面の形状を示したデータであってもよい。例えば、コンテンツデータ６０は、筐体や部品の表面の形状を示したポリゴンのデータであってもよい。
コンテンツ情報テーブル６１は、コンテンツデータ６０のＡＲコンテンツに関する情報を記憶したデータである。例えば、コンテンツ情報テーブル６１には、コンテンツデータ６０のＡＲコンテンツの識別情報や、種別、表示形態に関する情報が登録されている。図４は、コンテンツ情報テーブルのデータ構成の一例を示す図である。図４に示すように、コンテンツ情報テーブル６１は、コンテンツＩＤ、部品種別、表示位置、表示サイズ、操作などの項目を有する。なお、図４に示したコンテンツ情報テーブル６１の各項目は、一例であり、その他の項目を有してもよい。
コンテンツＩＤの項目は、コンテンツデータ６０のＡＲコンテンツを識別する識別情報を記憶する領域である。コンテンツデータ６０のＡＲコンテンツには、識別情報として、コンテンツＩＤが付与される。コンテンツＩＤの項目には、コンテンツデータ６０のＡＲコンテンツのコンテンツＩＤが記憶される。部品種別の項目は、コンテンツＩＤのＡＲコンテンツがデザイン対象とされた製品でどのような部品であるかを示す種別を記憶する領域である。本実施例では、種別を、ＡＲコンテンツが製品を構成する筺体と、筺体上に配置される部品としている。部品種別の項目には、ＡＲコンテンツが製品を構成する筺体であるか、筺体上に配置される部品であるかが記憶される。表示位置の項目は、基準物を基準としたＡＲコンテンツの表示位置を記憶したデータである。表示位置の項目には、基準物の位置を基準としてＡＲコンテンツの所定の位置を表示するｘｙｚ方向の座標が記憶されている。表示サイズの項目は、基準物を基準としたＡＲコンテンツの表示サイズを記憶したデータである。表示サイズの項目には、基準物のサイズを基準としてＡＲコンテンツを表示するｘｙｚ方向の倍率が記憶されている。操作の項目は、コンテンツＩＤのＡＲコンテンツが受け付けることが可能な操作の種類を記憶する領域である。本実施例では、筺体上に配置される一部の部品のＡＲコンテンツについてタッチ操作を受け付け可能としている。操作の項目には、タッチ操作が可能なＡＲコンテンツについては「タッチ操作」が記憶され、操作ができないＡＲコンテンツについては「なし」が記憶されている。図４の例では、コンテンツＩＤ「１０１」のＡＲコンテンツは、筺体であり、表示位置が（Ｘｐ１，Ｙｐ１，Ｚｐ１）であり、表示サイズが（Ｘｓ１，Ｙｓ１，Ｚｓ１）であり、操作ができないことを示す。コンテンツＩＤ「３０１」のＡＲコンテンツは、部品であり、表示位置が（Ｘｐ３，Ｙｐ３，Ｚｐ３）であり、表示サイズが（Ｘｓ３，Ｙｓ３，Ｚｓ３）であり、タッチ操作が可能であることを示す。
コンテンツ関連情報６２は、基準物に関連して表示するＡＲコンテンツに関する情報を記憶したデータである。例えば、コンテンツ関連情報６２は、基準物であるＡＲマーカに関連して表示するＡＲコンテンツを指定する情報が登録されている。図５は、コンテンツ関連情報のデータ構成の一例を示す図である。図５に示すように、コンテンツ関連情報６２は、マーカＩＤ、表示順序、コンテンツＩＤなどの項目を有する。なお、図５に示したコンテンツ関連情報６２の各項目は、一例であり、その他の項目を有してもよい。
マーカＩＤの項目は、ＡＲマーカの識別情報を記憶する領域である。ＡＲマーカには、識別情報として、マーカＩＤが付与される。マーカＩＤの項目には、ＡＲコンテンツを関連付けるＡＲマーカのマーカＩＤが記憶される。表示順序の項目は、ＡＲマーカに関連してＡＲコンテンツを表示させる順番を記憶する領域である。コンテンツＩＤの項目は、ＡＲマーカに関連して表示させるＡＲコンテンツのコンテンツＩＤを記憶する領域である。図５の例では、マーカＩＤ「０００１」のＡＲマーカは、表示順序「１」が、コンテンツＩＤ「１０１」のＡＲコンテンツであることを示す。マーカＩＤ「０００３」のＡＲマーカは、表示順序「１」が、コンテンツＩＤ「３０１」のＡＲコンテンツであり、表示順序「２」が、コンテンツＩＤ「３０２」のＡＲコンテンツであることを示す。
制御部５２は、表示制御装置１２を制御するデバイスである。制御部５２としては、ＣＰＵ、ＭＰＵ等の電子回路や、ＡＳＩＣ、ＦＰＧＡ等の集積回路を採用できる。制御部５２は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、これらによって種々の処理を実行する。制御部５２は、各種のプログラムが動作することにより各種の処理部として機能する。例えば、制御部５２は、撮像制御部７０と、認識部７１と、特定部７２と、変更部７３と、出力部７４と、検出部７５とを有する。
撮像制御部７０は、通信Ｉ／Ｆ部５０を介してＨＭＤ１１のカメラ２２を制御して画像の撮像を行う。例えば、撮像制御部７０は、所定のフレームレートでの撮像を指示する指示情報をＨＭＤ１１へ指示して、カメラ２２により所定のフレームレートで画像の撮像を行う。これにより、ＨＭＤ１１から撮像された画像の画像データが順次送信され、通信Ｉ／Ｆ部５０で受信される。
認識部７１は、各種の認識を行う。例えば、認識部７１は、撮像された画像からＡＲコンテンツの重畳対象を認識する。例えば、認識部７１は、通信Ｉ／Ｆ部５０で受信された画像データの撮像画像から基準物の検出処理を実行する。例えば、認識部７１は、画像データが示す撮像画像に対して、ＡＲマーカの検出を行う。認識部７１は、ＡＲマーカが検出された場合、ＡＲマーカが検出された物体を重畳対象と認識する。
図６は、重畳対象の認識の一例を示す図である。図６には、ユーザがＨＭＤ１１を装着し、カメラ２２によりＡＲマーカがそれぞれ設けられた物体１００Ａ〜１００Ｃを撮像している状態を示している。物体１００Ａ〜１００Ｃは、例えば、ＡＲマーカ１０１がそれぞれ設けられた紙であり、位置や角度がそれぞれ個別に変更可能とされている。特定部７２は、画像データが示す撮像画像に対して、ＡＲマーカ１０１の検出を行い、ＡＲマーカ１０１が検出された物体１００Ａ〜１００Ｃを重畳対象と認識する。例えば、特定部７２は、ＡＲマーカ１０１が検出された場合、検出されたＡＲマーカ１０１と同一平面の物体１００Ａ〜１００Ｃを重畳対象と認識する。なお、特定部７２は、撮像された画像から、検出されたＡＲマーカ１０１の周囲のエッジを検出し、ＡＲマーカ１０１の周囲のエッジで囲まれた範囲を重畳対象と認識してもよい。また、ＡＲコンテンツを重畳する対象の物体の境界となる複数の位置に同一のＡＲマーカ１０１を設け、特定部７２は、同一のＡＲマーカ１０１が検出された範囲を重畳対象と認識してもよい。また、ＡＲコンテンツを重畳する対象の物体の全体をそれぞれ異なる特定の色や特定パターンとし、特定部７２は、特定の色や特定パターンが検出された範囲を重畳対象と認識してもよい。
特定部７２は、各種の特定を行う。例えば、特定部７２は、ＡＲマーカが検出された場合、ＡＲマーカに対応するＡＲコンテンツを特定する。例えば、特定部７２は、ＡＲマーカが検出された場合、ＡＲマーカのパターン画像をデコードしてマーカＩＤを特定する。また、特定部７２は、撮像画像内での検出されたＡＲマーカのサイズを特定する。そして、特定部７２は、特定したマーカＩＤについて、表示するＡＲコンテンツを特定する。例えば、特定部７２は、コンテンツ関連情報６２から、特定したマーカＩＤについて、表示順序が「１」とされたコンテンツＩＤを特定する。そして、特定部７２は、特定したコンテンツＩＤのコンテンツデータ６０を記憶部５１から読み出す。
また、特定部７２は、コンテンツＩＤのＡＲコンテンツの製品での相対的な位置関係を特定する。例えば、特定部７２は、コンテンツ情報テーブル６１の種別の項目から、コンテンツＩＤのＡＲコンテンツが製品を構成する筺体のＡＲコンテンツであるか、筺体上に配置される部品のＡＲコンテンツであるかを特定する。また、特定部７２は、コンテンツＩＤのＡＲコンテンツの表示形態を特定する。例えば、特定部７２は、コンテンツ情報テーブル６１の表示位置および表示サイズの項目から、ＡＲマーカを基準としたＡＲコンテンツの表示位置、表示サイズを特定する。また、特定部７２は、コンテンツＩＤのＡＲコンテンツが受け付けることが可能な操作を特定する。例えば、特定部７２は、コンテンツ情報テーブル６１の操作の項目から、タッチ操作が可能なＡＲコンテンツであるかを特定する。
変更部７３は、各種の変更を行う。例えば、変更部７３は、読み出したコンテンツデータ６０のＡＲコンテンツの画像をＡＲマーカの位置、向き、および、サイズに応じた表示形態に変更する。例えば、変更部７３は、ＡＲマーカの位置、向きに応じてＡＲコンテンツの画像の形状を変形する画像処理を行う。また、変更部７３は、ＡＲマーカのサイズに応じてＡＲコンテンツの画像の表示サイズを変更する。
また、変更部７３は、ＡＲコンテンツの画像が重なって表示される場合、予め規定された順序に基づいて、優先度の高い画像が優先して表示されるように優先度の低い画像の形状を変更する。例えば、変更部７３は、部品のＡＲコンテンツの画像に筺体のＡＲコンテンツの画像が重なって表示される場合、部品のＡＲコンテンツの画像が優先して表示されるように、筐体のＡＲコンテンツの画像の形状を変更する。例えば、変更部７３は、筐体のＡＲコンテンツの画像の上に部品のＡＲコンテンツの画像が表示されるよう、筐体のＡＲコンテンツの画像の形状を変更する。
また、変更部７３は、ＡＲコンテンツの画像が重なって表示される場合、画像が重ならないように、一方または両方の画像の表示サイズおよび表示位置を変更する。例えば、変更部７３は、部品のＡＲコンテンツの画像が重なって表示される場合、部品のＡＲコンテンツの画像が重ならないよう、ＡＲコンテンツの画像の形状を変更する。例えば、変更部７３は、各部品のＡＲコンテンツの画像が同程度表示されるように、ＡＲコンテンツの画像の表示位置、表示サイズを変更する。
また、変更部７３は、各ＡＲコンテンツの画像が一体として表示されるように各ＡＲコンテンツの画像の形状を変更する。例えば、変更部７３は、筺体のＡＲコンテンツの画像と、部品のＡＲコンテンツの画像の間に隙間がある場合、隙間を埋めるように筺体のＡＲコンテンツの画像を変更する。例えば、変更部７３は、部品のＡＲコンテンツの画像の境界まで、筺体のＡＲコンテンツの全体または境界部分の画像を延長する。また、変更部７３は、予め規定された順序に基づいて、優先度の高い画像の表示形態に合わせて優先度の低い画像の表示形態を変更する。例えば、変更部７３は、部品のＡＲコンテンツの形状に合わせて、筐体のＡＲコンテンツの形状を変更する。例えば、変更部７３は、部品のＡＲコンテンツが傾いている場合、筐体のＡＲコンテンツの当該部品が設けられる部分も傾いた形状に変更する。
出力部７４は、各種の出力を行う。例えば、出力部７４は、特定部７２により特定され、変更部７３により変更されたＡＲコンテンツの画像をＨＭＤ１１へ出力する。例えば、出力部７４は、撮像された画像に、当該画像から検出されたＡＲマーカのＡＲコンテンツの画像を重畳した表示用の画像を生成する。また、出力部７４は、重畳するＡＲコンテンツの画像がタッチ操作対象の部品の画像である場合、画像の出力対象とされた重畳対象の物体に、タッチ操作対象の部品の画像を当該物体よりも小さく重畳した表示用の画像を生成する。
図７は、タッチ操作対象の部品の画像の重畳の一例を示す図である。図７の例では、ＡＲマーカ１０１が設けられた紙などの物体１００が示されている。物体１００は、タッチ操作対象とされたＡＲコンテンツの画像１１０の出力対象とされている。出力部７４は、ＡＲコンテンツの画像１１０をＡＲコンテンツの画像１１０よりも小さく重畳する。これにより、タッチ操作対象とされたＡＲコンテンツの画像１１０は、物体１００上に重畳されるため、ユーザが実際に接触してタッチ操作を行うことができる。
出力部７４は、生成した表示用の画像の画像データを、通信Ｉ／Ｆ部５０を介してＨＭＤ１１に送信して表示させる。なお、ＨＭＤ１１の表示部２１が、ユーザが装着したままでも、外部の現実環境を視認可能なように、レンズ部分に透過性を有する場合、出力部７４は、ＡＲコンテンツの画像をそのまま、ＨＭＤ１１へ出力して表示部２１に表示させ、表示部２１でＡＲコンテンツの画像と透過される像を重畳してもよい。
検出部７５は、各種の検出を行う。例えば、検出部７５は、出力した画像に対するユーザの操作を検出する。例えば、検出部７５は、出力した画像内のタッチ操作が可能なＡＲコンテンツの範囲に手が検出された場合、タッチ操作が行われたと検出する。なお、検出部７５は、タッチ操作が可能なＡＲコンテンツが表示される重畳対象と、手との距離に基づいて、タッチ操作が行われたかを検出してもよい。例えば、ＨＭＤ１１に距離センサを設けてカメラ２２の撮像範囲について距離を測定し、撮像画像と共に、距離データを表示制御装置１２へ送信させる。検出部７５は、タッチ操作が可能なＡＲコンテンツ内に手が存在し、かつ、タッチ操作が可能なＡＲコンテンツが表示される重畳対象と、手との距離が所定距離（例えば、１０ｃｍ）以内である場合、タッチ操作が行われたと検出してもよい。
変更部７３は、検出した操作内容に応じて、出力する画像を変更する。例えば、変更部７３は、タッチ操作が可能なＡＲコンテンツにタッチ操作が行われたと検出した場合、タッチ操作が行われたＡＲコンテンツに対応するＡＲマーカについて、表示するＡＲコンテンツの画像を表示順序が次のＡＲコンテンツの画像に変更する。
ここで、ＡＲコンテンツの表示の一例を説明する。図８は、ＡＲコンテンツの表示の一例を示す図である。図８の例では、撮像された撮像画像にＡＲマーカ１０１Ａ〜１０１Ｃが含まれている。ＡＲマーカ１０１Ａには、製品の筐体１２０ＡのＡＲコンテンツが対応付けられている。ＡＲマーカ１０１Ｂには、製品を構成する部品１２０ＢのＡＲコンテンツが対応付けられている。ＡＲマーカ１０１Ｃには、製品を構成する部品１２０ＣのＡＲコンテンツが対応付けられている。例えば、表示制御装置１２は、撮像画像のＡＲマーカ１０１Ａ〜１０１Ｃの相対的な位置関係に応じて筐体１２０Ａ、部品１２０Ｂ、部品１２０ＣのＡＲコンテンツを重畳した画像を表示させる。例えば、表示制御装置１２は、ＡＲマーカ１０１Ａ〜１０１Ｃをそれぞれ基準とした筐体１２０Ａ、部品１２０Ｂ、部品１２０Ｃの表示位置、表示サイズを特定し、部品１２０Ｂ、部品１２０Ｃを筐体１２０Ａに配置した画像を表示させる。例えば、ＡＲマーカ１０１Ｂが左側に配置され、ＡＲマーカ１０１Ｃが右側に配置された場合、表示制御装置１２は、筐体１２０Ａの左側に部品１２０Ｂが配置され、右側に部品１２０Ｃが配置された画像を表示させる。また、ＡＲマーカ１０１Ｃが左側に配置され、ＡＲマーカ１０１Ｂが右側に配置された場合、表示制御装置１２は、筐体１２０Ａの左側に部品１２０Ｃが配置され、右側に部品１２０Ｂが配置された画像を表示させる。これにより、ユーザは、部品が対応付けられたＡＲマーカの位置を変えることで、部品の配置を変えた場合に、製品のデザインやユーザビリティがどのようになるかを簡易に確認できる。
図９は、ＡＲコンテンツの表示の一例を示す図である。図９の例では、撮像された撮像画像にＡＲマーカ１０１Ａ〜１０１Ｃが含まれている。ＡＲマーカ１０１Ａには、製品の筐体１２０ＡのＡＲコンテンツが対応付けられている。ＡＲマーカ１０１Ｂには、製品を構成する部品１２０ＢのＡＲコンテンツが対応付けられている。ＡＲマーカ１０１Ｃには、製品を構成する部品１２０ＣのＡＲコンテンツが対応付けられている。例えば、表示制御装置１２は、撮像画像のＡＲマーカ１０１Ａ〜１０１Ｃの相対的な位置関係に応じて筐体１２０Ａ、部品１２０Ｂ、部品１２０ＣのＡＲコンテンツを重畳した画像を表示させる。また、表示制御装置１２は、ＡＲコンテンツの画像が重なって表示される場合、画像が重ならないように、一方または両方の画像の表示サイズおよび表示位置を変更する。例えば、ＡＲマーカ１０１ＢとＡＲマーカ１０１Ｃが近くに配置されて部品１２０Ｂ、部品１２０ＣのＡＲコンテンツが重なる場合、表示制御装置１２は、部品１２０Ｂ、部品１２０ＣのＡＲコンテンツの画像が同程度表示されるように、部品１２０Ｂ、部品１２０ＣのＡＲコンテンツの表示サイズを小さく変更する。また、表示制御装置１２は、各ＡＲコンテンツの画像が一体として表示されるように各ＡＲコンテンツの画像の形状を変更する。例えば、変更部７３は、部品１２０Ｂ、部品１２０ＣのＡＲコンテンツの表示サイズが小さくなったことで、筐体１２０ＡのＡＲコンテンツの画像と、部品１２０Ｂ、部品１２０ＣのＡＲコンテンツの画像の間に隙間がある場合、隙間を埋めるように筐体１２０ＡのＡＲコンテンツの画像を変更する。
図１０は、ＡＲコンテンツの表示の一例を示す図である。図１０の例では、撮像された撮像画像にＡＲマーカ１０１Ａ、１０１Ｂが含まれている。ＡＲマーカ１０１Ａには、製品の筐体１２０ＡのＡＲコンテンツが対応付けられている。ＡＲマーカ１０１Ｂには、製品を構成する部品１２０ＢのＡＲコンテンツが対応付けられている。例えば、表示制御装置１２は、撮像画像のＡＲマーカ１０１Ａ、１０１Ｂの相対的な位置関係に応じて筐体１２０Ａ、部品１２０ＢのＡＲコンテンツを重畳した画像を表示させる。また、表示制御装置１２は、各ＡＲコンテンツの画像が一体として表示されるように各ＡＲコンテンツの画像の形状を変更する。例えば、表示制御装置１２は、部品１２０ＢのＡＲコンテンツの形状に合わせて、筐体１２０ＡのＡＲコンテンツの形状を変更する。例えば、ＡＲマーカ１０１Ａ、１０１Ｂが共に傾いていない場合、表示制御装置１２は、部品１２０Ｂと筐体１２０Ａを共に傾けずに表示する。ＡＲマーカ１０１Ｂの向きが傾いているため、部品１２０ＢのＡＲコンテンツを傾けて表示する場合、表示制御装置１２は、筐体１２０ＡのＡＲコンテンツを同様に傾けて表示する。
図１１は、ＡＲコンテンツの表示の一例を示す図である。図１１の例では、撮像された撮像画像にＡＲマーカ１０１Ａ、１０１Ｃが含まれている。ＡＲマーカ１０１Ａには、製品の筐体１２０ＡのＡＲコンテンツが対応付けられている。ＡＲマーカ１０１Ｃには、製品を構成する部品１２０ＣのＡＲコンテンツが対応付けられている。部品１２０Ｃは、タッチ操作が可能なＡＲコンテンツであるものとする。例えば、表示制御装置１２は、撮像画像のＡＲマーカ１０１Ａ、１０１Ｃの相対的な位置関係に応じて筐体１２０Ａ、部品１２０ＣのＡＲコンテンツを重畳した画像を表示させる。また、表示制御装置１２は、検出した操作内容に応じて、出力する画像を変更する。例えば、表示制御装置１２は、部品１２０ＣのＡＲコンテンツにタッチ操作が行われたと検出された場合、ＡＲマーカ１０１Ｃについて、表示順序が次のＡＲコンテンツの画像に変更する。
次に、具体例を用いて、デザインのユーザビリティを評価する一例を説明する。ここでは、銀行のＡＴＭ（現金自動預け払い機）のデザインのユーザビリティを評価する場合を例に説明する。図１２〜図１４は、デザインのユーザビリティを評価する流れの一例を示す図である。図１２の例では、撮像された撮像画像にＡＲマーカ１０１Ａ〜１０１Ｄが含まれている。ＡＲマーカ１０１Ａには、ＡＴＭの筐体１３０ＡのＡＲコンテンツが対応付けられている。ＡＲマーカ１０１Ｂには、通話ユニット１３０ＢのＡＲコンテンツが対応付けられている。ＡＲマーカ１０１Ｃには、操作パネル１３０ＣのＡＲコンテンツが対応付けられている。操作パネル１３０Ｃは、タッチ操作が可能なＡＲコンテンツであるものとする。ＡＲマーカ１０１Ｄには、手のひらの静脈を読み取る読取ユニット１３０ＤのＡＲコンテンツが対応付けられている。例えば、ＡＲマーカ１０１Ｂ、１０１Ｄ、１０１Ｃが順に横に並んで配置された場合、表示制御装置１２は、撮像画像のＡＲマーカ１０１Ｂ、１０１Ｄ、１０１Ｃの相対的な位置関係に応じて、通話ユニット１３０Ｂ、読取ユニット１３０Ｄ、操作パネル１３０ＣをＡＴＭの筐体１３０Ａに横に並べて配置したＡＲコンテンツを重畳した画像を表示させる。
例えば、ユーザは、読取ユニット１３０Ｄ、操作パネル１３０Ｃを入れ替えた場合のユーザビリティを確認するため、ＡＲマーカ１０１Ｃ、１０１Ｄを入れ替える。図１３の例では、ＡＲマーカ１０１Ｂ、１０１Ｃ、１０１Ｄが順に横に並んで配置されている。この場合、表示制御装置１２は、通話ユニット１３０Ｂ、操作パネル１３０Ｃ、読取ユニット１３０ＤをＡＴＭの筐体１３０Ａに横に並べて配置したＡＲコンテンツを重畳した画像を表示させる。
例えば、ユーザは、操作パネル１３０Ｃを操作した場合のユーザビリティを確認するため、操作パネル１３０Ｃにタッチ操作を行う。図１４の例では、ＡＲマーカ１０１Ｃに対応する操作パネル１３０ＣのＡＲコンテンツにタッチ操作が行われている。表示制御装置１２は、操作パネル１３０ＣのＡＲコンテンツにタッチ操作が行われたと検出された場合、操作パネル１３０ＣのＡＲコンテンツの画像を変更する。このように、表示制御装置１２は、リアルな部品の配置に応じて、変わり得るデザインの変更を表現できる。
［処理の流れ］
次に、本実施例に係る表示制御装置１２が実行する表示制御処理の流れについて説明する。図１５は、表示制御処理の手順の一例を示すフローチャートである。この表示制御処理は、所定のタイミング、例えば、ＨＭＤ１１から撮像された画像の画像データを受信するごとに実行される。
図１５に示すように、認識部７１は、画像データが示す撮像画像に対して、ＡＲマーカの検出を行う（Ｓ１０）。認識部７１は、ＡＲマーカが検出されたか否かを判定する（Ｓ１１）。ＡＲマーカが検出されない場合（Ｓ１１否定）、出力部７４は、撮像画像の画像データをＨＭＤ１１に出力し（Ｓ１２）、処理を終了する。
一方、ＡＲマーカが検出された場合（Ｓ１１肯定）、認識部７１は、ＡＲマーカが検出された物体を重畳対象と認識する（Ｓ１３）。特定部７２は、ＡＲマーカに対応するＡＲコンテンツを特定する（Ｓ１４）。変更部７３は、ＡＲコンテンツの画像をＡＲマーカの位置、向き、および、サイズに応じた表示形態に変更する（Ｓ１５）。
変更部７３は、部品のＡＲコンテンツの画像が重なって表示されるか否かを判定する（Ｓ１６）。重なって表示されない場合（Ｓ１６否定）、後述するＳ１８へ移行する。
一方、重なって表示される場合（Ｓ１６肯定）、変更部７３は、部品のＡＲコンテンツの画像が重ならないよう、ＡＲコンテンツの画像の形状を変更する（Ｓ１７）。
変更部７３は、部品のＡＲコンテンツの画像に筺体のＡＲコンテンツの画像が重なって表示されるか否かを判定する（Ｓ１８）。重なって表示されない場合（Ｓ１８否定）、後述するＳ２０へ移行する。
一方、重なって表示される場合（Ｓ１８肯定）、変更部７３は、筐体のＡＲコンテンツの画像の上に部品のＡＲコンテンツの画像が表示されるよう、筐体のＡＲコンテンツの画像の形状を変更する（Ｓ１９）。
変更部７３は、各ＡＲコンテンツの画像が一体として表示されるように各ＡＲコンテンツの画像の形状を変更する（Ｓ２０）。出力部７４は、変更されたＡＲコンテンツの画像を撮像画像に重畳した表示用の画像を生成し、表示用の画像の画像データをＨＭＤ１１に出力し（Ｓ２１）、処理を終了する。
［効果］
上述してきたように、表示制御装置１２は、第１の部品に設けられた第１の識別情報（例えば、ＡＲマーカ）と、第２の部品に設けられた第２の識別情報（例えば、ＡＲマーカ）とを撮像する。表示制御装置１２は、複数の識別情報と該複数の識別情報の相対的な位置関係に応じた画像を記憶する記憶部２３を参照して、撮像した第１の識別情報と第２の識別情報の相対的な位置関係に応じた画像を特定する。表示制御装置１２は、特定した画像を出力する。これにより、表示制御装置１２は、リアルな部品の配置に応じて、変わり得るデザインの変更を表現できる。これにより、表示制御装置１２は、モックアップを作成することなく、ユーザがデザインのユーザビリティを評価できる。
また、表示制御装置１２は、第１の識別情報に応じた第１の画像と第２の識別情報に応じた第２の画像を特定する。表示制御装置１２は、第１の画像と第２の画像が重なって表示される場合、第１の画像と第２の画像が重ならないように、第１の画像および第２の画像の何れか一方または両方の表示サイズおよび表示位置を変更する。表示制御装置１２は、変更された第１の画像と第２の画像を出力する。これにより、表示制御装置１２は、例えば、第１の識別情報と第２の識別情報が移動されたことにより、第１の画像と第２の画像が重なって表示される場合でも、第１の画像と第２の画像を見やすく表示させることができる。
また、表示制御装置１２は、第１の識別情報に応じた第１の画像と第２の識別情報に応じた第２の画像を特定する。表示制御装置１２は、第１の画像と第２の画像が重なって表示される場合、予め規定された順序に基づいて、第１の画像と第２の画像のうち、優先度の高い画像が表示されるように優先度の低い画像の形状を変更する。表示制御装置１２は、変更された第１の画像と第２の画像を出力する。これにより、表示制御装置１２は、第１の画像と第２の画像が重なって表示される場合でも、優先度の高い画像を見やすく表示させることができる。
また、表示制御装置１２は、出力した画像に対するユーザの操作を検出する。表示制御装置１２は、検出した操作内容に応じて、出力する画像を変更する。これにより、表示制御装置１２は、擬似的な操作が可能となるため、ユーザが実際に接触しながらデザインのユーザビリティを評価できる。
また、表示制御装置１２は、出力する画像がタッチ操作対象の部品の画像である場合、画像の出力対象に対応する物体に、タッチ操作対象の部品の画像を当該物体よりも小さく重畳して出力する。これにより、表示制御装置１２は、タッチ操作対象の部品をユーザが実際に接触してタッチ操作を行うことができる。
また、表示制御装置１２は、第１の識別情報および第２の識別情報にそれぞれ対応付けて、製品を構成する筐体の画像と、当該製品を構成する部品の画像を記憶部５１に記憶する。表示制御装置１２は、第１の識別情報と第２の識別情報の相対的な位置関係に応じて、製品の筐体と当該製品を構成する部品が一体となるように重畳した画像を出力する。これにより、表示制御装置１２は、出力された画像で製品を構成する筐体と部品を一体として認識できる。
さて、これまで開示の装置に関する実施例について説明したが、開示の技術は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。
例えば、上記の実施例では、ＡＲコンテンツごとに、操作を受け付けることが可能、不可能を設定した場合を例に説明したが、これに限定されない。例えば、ＡＲコンテンツごとに、ＡＲコンテンツ上で操作を受け付けることが可能な範囲を定めてもよい。例えば、テンキーや操作ボタンなどの複数のボタンをＡＲコンテンツとして表示する場合、ボタンの範囲を、操作を受け付けることが可能な範囲と定めて、操作を受け付けることが可能な範囲ごとに次に表示するＡＲコンテンツを設定してもよい。テンキーの場合、表示制御装置１２は、テンキーのボタンごとに操作を受け付けることが可能な範囲と定め、操作を受け付けた範囲に対応するテンキーの数値を、製品の表示部が設けられたＡＲコンテンツの表示部に表示させてもよい。
また、上記の実施例では、表示制御装置１２においてＡＲマーカを検出してＡＲコンテンツの重畳を行う場合を例に説明したが、これに限定されない。例えば、ＨＭＤ１１においてＡＲマーカを検出してＡＲコンテンツの重畳を行ってもよい。また、例えば、スマートフォンを収容し、表示部として利用するヘッドマウントアダプタによりＨＭＤ１１の機能を実現してもよい。
また、上記の実施例では、部品種別により表示する優先順序を定めた場合を例に説明したが、これに限定されない。例えば、筐体や部品のＡＲコンテンツの画像に対して優先度を定め、優先度の高いＡＲコンテンツの画像が優先して表示されるように優先度の低い画像の形状を変更してもよい。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。即ち、各装置の分散・統合の具体的状態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。例えば、撮像制御部７０、認識部７１、特定部７２、変更部７３、出力部７４および検出部７５の各処理部が適宜統合又は分割されてもよい。また、各処理部にて行われる各処理機能は、その全部又は任意の一部が、ＣＰＵ及び該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
［表示制御プログラム］
また、上記の実施例で説明した各種の処理は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータシステムで実行することによって実現することもできる。そこで、以下では、上記の実施例と同様の機能を有するプログラムを実行するコンピュータシステムの一例を説明する。図１６は、表示制御プログラムを実行するコンピュータを示す図である。
図１６に示すように、コンピュータ３００は、ＣＰＵ３１０、ＨＤＤ（Hard Disk Drive）３２０、ＲＡＭ（Random Access Memory）３４０を有する。これら３１０〜３４０の各部は、バス４００を介して接続される。
ＨＤＤ３２０には上記実施例の各処理部と同様の機能を発揮する表示制御プログラム３２０Ａがあらかじめ記憶される。例えば、上記実施例の撮像制御部７０、認識部７１、特定部７２、変更部７３、出力部７４および検出部７５と同様の機能を発揮する表示制御プログラム３２０Ａを記憶させる。なお、表示制御プログラム３２０Ａについては、適宜分離しても良い。
また、ＨＤＤ３２０は、各種データを記憶する。例えば、ＨＤＤ３２０は、ＯＳや各種データを記憶する。
そして、ＣＰＵ３１０が、表示制御プログラム３２０ＡをＨＤＤ３２０から読み出して実行することで、実施例の撮像制御部７０、認識部７１、特定部７２、変更部７３、出力部７４および検出部７５と同様の動作を実行する。即ち、表示制御プログラム３２０ａは、実施例の撮像制御部７０、認識部７１、特定部７２、変更部７３、出力部７４および検出部７５と同様の動作を実行する。
なお、上記した表示制御プログラム３２０Ａについては、必ずしも最初からＨＤＤ３２０に記憶させることを要しない。例えば、コンピュータ３００に挿入されるフレキシブルディスク（ＦＤ）、Compact Disk Read Only Memory（ＣＤ−ＲＯＭ）、Digital Versatile Disk（ＤＶＤ）、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」にプログラムを記憶させておく。そして、コンピュータ３００がこれらからプログラムを読み出して実行するようにしてもよい。
さらには、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ３００に接続される「他のコンピュータ（又はサーバ）」などにプログラムを記憶させておく。そして、コンピュータ３００がこれらからプログラムを読み出して実行するようにしてもよい。
１０ 評価システム
１１ ＨＭＤ
１２ 表示制御装置
５０ 通信Ｉ／Ｆ部
５１ 記憶部
５２ 制御部
６０ コンテンツデータ
６１ コンテンツ情報テーブル
６２ コンテンツ関連情報
７０ 撮像制御部
７１ 認識部
７２ 特定部
７３ 変更部
７４ 出力部
７５ 検出部

Claims (8)

  1. 第１の部品に設けられた第１の識別情報と、第２の部品に設けられた第２の識別情報とを撮像し、
    複数の識別情報と該複数の識別情報に応じた画像を記憶する記憶部を参照して、撮像した前記第１の識別情報に応じた第１の画像と前記第２の識別情報に応じた第２の画像を特定し、
    予め規定された順序に基づいて、前記第１の画像と前記第２の画像のうち、優先度の低い画像上に優先度の高い画像を重ねると共に、画像の間に隙間がある場合、隙間を埋めるように優先度の低い画像を変更し、
    変更された前記第１の画像と前記第２の画像を出力する、
    ことをコンピュータに実行させることを特徴とする表示制御プログラム。
  2. 前記変更する処理は、前記第１の画像と前記第２の画像が重なって表示される場合、前記第１の画像と前記第２の画像が重ならないように、前記第１の画像および前記第２の画像の何れか一方または両方の表示サイズおよび表示位置を変更し、
    前記出力する処理は、変更された前記第１の画像と前記第２の画像を出力する
    ことを特徴とする請求項１に記載の表示制御プログラム。
  3. 前記変更する処理は、前記第１の画像と前記第２の画像が重なって表示される場合、前記予め規定された順序に基づいて、前記第１の画像と前記第２の画像のうち、優先度の高い画像が表示されるように優先度の低い画像の形状を変更し、
    前記出力する処理は、変更された前記第１の画像と前記第２の画像を出力する
    ことを特徴とする請求項１または２に記載の表示制御プログラム。
  4. 出力した画像に対するユーザの操作を検出し、
    検出した操作内容に応じて、出力する画像を変更する
    処理をコンピュータにさらに実行させることを特徴とする請求項１〜３の何れか１つに記載の表示制御プログラム。
  5. 前記出力する処理は、出力する画像がタッチ操作対象の部品の画像である場合、画像の出力対象に対応する物体に、タッチ操作対象の部品の画像を当該物体よりも小さく重畳して出力する
    ことを特徴とする請求項１〜４の何れか１つに記載の表示制御プログラム。
  6. 前記記憶部は、前記第１の識別情報および前記第２の識別情報にそれぞれ対応付けて、製品を構成する筐体の画像と、当該製品を構成する部品の画像が記憶され、
    出力する処理は、前記第１の識別情報と前記第２の識別情報の相対的な位置関係に応じて、前記製品の筐体と当該製品を構成する部品が一体となるように重畳した画像を出力する
    ことを特徴とする請求項１〜５の何れか１つに記載の表示制御プログラム。
  7. 第１の部品に設けられた第１の識別情報と、第２の部品に設けられた第２の識別情報とを撮像し、
    複数の識別情報と該複数の識別情報に応じた画像を記憶する記憶部を参照して、撮像した前記第１の識別情報に応じた第１の画像と前記第２の識別情報に応じた第２の画像を特定し、
    予め規定された順序に基づいて、前記第１の画像と前記第２の画像のうち、優先度の低い画像上に優先度の高い画像を重ねると共に、画像の間に隙間がある場合、隙間を埋めるように優先度の低い画像を変更し、
    変更された前記第１の画像と前記第２の画像を出力する、
    ことをコンピュータが実行することを特徴とする表示制御方法。
  8. 第１の部品に設けられた第１の識別情報と、第２の部品に設けられた第２の識別情報とを撮像する撮像制御部と、
    複数の識別情報と該複数の識別情報に応じた画像を記憶する記憶部を参照して、撮像した前記第１の識別情報に応じた第１の画像と前記第２の識別情報に応じた第２の画像を特定する特定部と、
    予め規定された順序に基づいて、前記特定部により特定された前記第１の画像と前記第２の画像のうち、優先度の低い画像上に優先度の高い画像を重ねると共に、画像の間に隙間がある場合、隙間を埋めるように優先度の低い画像を変更する変更部と、
    前記変更部により変更された前記第１の画像と前記第２の画像を出力する出力部と、
    を有することを特徴とする表示制御装置。
JP2016130209A 2016-06-30 2016-06-30 表示制御プログラム、表示制御方法および表示制御装置 Active JP6801263B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016130209A JP6801263B2 (ja) 2016-06-30 2016-06-30 表示制御プログラム、表示制御方法および表示制御装置
US15/596,410 US20180005424A1 (en) 2016-06-30 2017-05-16 Display control method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016130209A JP6801263B2 (ja) 2016-06-30 2016-06-30 表示制御プログラム、表示制御方法および表示制御装置

Publications (2)

Publication Number Publication Date
JP2018005477A JP2018005477A (ja) 2018-01-11
JP6801263B2 true JP6801263B2 (ja) 2020-12-16

Family

ID=60807797

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016130209A Active JP6801263B2 (ja) 2016-06-30 2016-06-30 表示制御プログラム、表示制御方法および表示制御装置

Country Status (2)

Country Link
US (1) US20180005424A1 (ja)
JP (1) JP6801263B2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
JP2018005091A (ja) * 2016-07-06 2018-01-11 富士通株式会社 表示制御プログラム、表示制御方法および表示制御装置
WO2018156809A1 (en) * 2017-02-24 2018-08-30 Masimo Corporation Augmented reality system for displaying patient data
EP3585254B1 (en) 2017-02-24 2024-03-20 Masimo Corporation Medical device cable and method of sharing data between connected medical devices
US10932705B2 (en) 2017-05-08 2021-03-02 Masimo Corporation System for displaying and controlling medical monitoring data
US10068403B1 (en) * 2017-09-21 2018-09-04 Universal City Studios Llc Locker management techniques
WO2019172678A1 (en) * 2018-03-07 2019-09-12 Samsung Electronics Co., Ltd. System and method for augmented reality interaction
US11145096B2 (en) * 2018-03-07 2021-10-12 Samsung Electronics Co., Ltd. System and method for augmented reality interaction
JP2020071543A (ja) * 2018-10-29 2020-05-07 大豊精機株式会社 複合現実感システム及び検査方法
JP7419003B2 (ja) * 2019-09-12 2024-01-22 株式会社日立システムズ 情報表示装置、情報表示方法及び情報表示システム
JP7549496B2 (ja) * 2020-09-17 2024-09-11 サトーホールディングス株式会社 特典表示システム、特典表示方法、及びプログラム
US11625787B1 (en) * 2022-05-03 2023-04-11 Capital One Services, Llc Augmented reality vehicle display systems

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7643024B2 (en) * 2001-05-17 2010-01-05 The Trustees Of Columbia University In The City Of New York System and method for view management in three dimensional space
JP4133976B2 (ja) * 2004-09-01 2008-08-13 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、ゲーム装置および画像処理方法
JP3844482B2 (ja) * 2004-09-01 2006-11-15 株式会社ソニー・コンピュータエンタテインメント 画像処理装置
JP5821526B2 (ja) * 2011-10-27 2015-11-24 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
JP6025522B2 (ja) * 2012-11-27 2016-11-16 キヤノン株式会社 画像処理装置、画像処理方法、画像処理システム及びプログラム
US9766715B2 (en) * 2014-05-01 2017-09-19 Seiko Epson Corporation Head-mount type display device, control system, method of controlling head-mount type display device, and computer program
JP6573755B2 (ja) * 2014-07-10 2019-09-11 富士通株式会社 表示制御方法、情報処理プログラム、及び情報処理装置
JP5963325B2 (ja) * 2014-08-14 2016-08-03 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ マーカに基づいて特定される情報を提示する装置、方法およびプログラム
JP6491574B2 (ja) * 2015-08-31 2019-03-27 Kddi株式会社 Ａｒ情報表示装置

Also Published As

Publication number Publication date
JP2018005477A (ja) 2018-01-11
US20180005424A1 (en) 2018-01-04

Similar Documents

Publication Publication Date Title
JP6801263B2 (ja) 表示制御プログラム、表示制御方法および表示制御装置
JP6393367B2 (ja) 追従表示システム、追従表示プログラム、および追従表示方法、ならびにそれらを用いたウェアラブル機器、ウェアラブル機器用の追従表示プログラム、およびウェアラブル機器の操作方法
US10665206B2 (en) Method and system for user-related multi-screen solution for augmented reality for use in performing maintenance
US20220100265A1 (en) Dynamic configuration of user interface layouts and inputs for extended reality systems
US10591729B2 (en) Wearable device
KR20200035103A (ko) 시선-기반 사용자 상호작용
US10032297B2 (en) Simulation system, simulation device, and product explanation assistance method
CN110716645A (zh) 一种增强现实数据呈现方法、装置、电子设备及存储介质
CN110488969A (zh) 相对于实际物理对象定位虚拟对象的技术
JP7005161B2 (ja) 電子機器及びその制御方法
CN116235129A (zh) 用于扩展现实的混淆控制界面
CN106569671A (zh) 基于ar技术的消费品使用说明信息显示方法及装置
WO2014128751A1 (ja) ヘッドマウントディスプレイ装置、ヘッドマウントディスプレイ用プログラム、およびヘッドマウントディスプレイ方法
KR20160014601A (ko) 다수의 3d 디스플레이들에 대해 오브젝트를 렌더링하기 위한 방법 및 장치
US20180218631A1 (en) Interactive vehicle control system
CN118435151A (zh) 用于在三维环境中移动对象的方法
JPWO2020080107A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN111399630B (zh) 虚拟内容交互方法、装置、终端设备及存储介质
JP2017032870A (ja) 画像投影装置及び画像表示システム
CN115543138A (zh) 显示控制方法和装置、增强现实头戴设备及介质
GB2525304A (en) Interactive information display
JP6999822B2 (ja) 端末装置および端末装置の制御方法
KR102591582B1 (ko) 컨텐츠를 표시하는 방법 및 전자 장치
JP2014212406A (ja) 画像処理装置および画像処理プログラム
JP6079418B2 (ja) 入力装置および入力プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190311

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200602

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200730

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201027

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201109

R150 Certificate of patent or registration of utility model

Ref document number: 6801263

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150