JP6651777B2 - Information processing apparatus, information processing method and program - Google Patents
Information processing apparatus, information processing method and program Download PDFInfo
- Publication number
- JP6651777B2 JP6651777B2 JP2015199712A JP2015199712A JP6651777B2 JP 6651777 B2 JP6651777 B2 JP 6651777B2 JP 2015199712 A JP2015199712 A JP 2015199712A JP 2015199712 A JP2015199712 A JP 2015199712A JP 6651777 B2 JP6651777 B2 JP 6651777B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- virtual object
- information
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Studio Circuits (AREA)
- Studio Devices (AREA)
- User Interface Of Digital Computer (AREA)
Description
本発明は情報処理装置、情報処理方法及びプログラムに関する。 The present invention relates to an information processing device, an information processing method, and a program.
カメラにより撮像された現実の空間を示す撮像画像に、仮想物体を合成して表示する拡張現実(AR:Aurgumented Reality)技術が従来から知られている。例えばユーザが所定の模様を含む紙等(ARマーカー)を撮像すると、当該紙とカメラとの位置関係に応じて、仮想物体を撮像画像上に立体的に表示するAR技術が知られている。撮像画像上に表示された仮想物体をユーザが参照することにより、ユーザが当該仮想物体に対応する物体を実際に配置した場合のイメージを把握することができる。 2. Description of the Related Art Augmented Reality (AR) technology for synthesizing and displaying a virtual object on a captured image indicating a real space captured by a camera has been conventionally known. For example, when a user captures an image of a paper or the like (AR marker) including a predetermined pattern, an AR technology that displays a virtual object three-dimensionally on a captured image in accordance with the positional relationship between the paper and the camera is known. By referring to the virtual object displayed on the captured image, the user can grasp an image when the user actually arranges the object corresponding to the virtual object.
特許文献1には、現実空間に実物体を配置することなく実物体の大きさや色などといった外観と周囲環境との調和が図られた仮想現実世界をユーザに提示する複合現実感表示装置の発明が開示されている。
しかしながら従来の技術では、物体に対応する仮想物体を撮像画像上に表示しても、物体の可動部分を操作した場合のイメージが把握しにくかった。 However, in the related art, even when a virtual object corresponding to an object is displayed on a captured image, it is difficult to grasp an image when a movable part of the object is operated.
本発明は、上記に鑑みてなされたものであって、物体の可動部分を操作した場合のイメージをより明瞭にユーザに把握させることができる情報処理装置、情報処理方法及びプログラムを提供することを目的とする。 The present invention has been made in view of the above, and provides an information processing apparatus, an information processing method, and a program that allow a user to more clearly understand an image when a movable part of an object is operated. Aim.
上述した課題を解決し、目的を達成するために、本発明は、不動部分と可動部分とを有する画像で表される仮想物体が表示される位置を識別する位置識別情報を含む撮像画像を取得する撮像部と、前記位置識別情報により識別される前記撮像画像上の位置に、前記仮想物体が合成された合成画像を生成する生成部と、表示部に表示された前記合成画像に含まれる前記可動部分の操作を受け付ける操作受付部と、前記操作受付部により前記可動部分の操作が受け付けられたときに、前記仮想物体を表示するための表示設定情報に基づき前記可動部分の表示を制御する表示制御部と、を備え、前記操作受付部は、前記仮想物体に対応する物体が設置される領域の制限を示す設置制限領域を指定する操作を更に受け付け、前記生成部は、前記設置制限領域を示す情報が、前記撮像画像に更に合成された前記合成画像を生成する。 In order to solve the above-described problems and achieve the object, the present invention obtains a captured image including position identification information for identifying a position at which a virtual object represented by an image having a stationary part and a movable part is displayed. An imaging unit that generates a synthesized image in which the virtual object is synthesized at a position on the captured image identified by the position identification information, and a generation unit that is included in the synthesized image displayed on a display unit. An operation receiving unit that receives an operation of a movable part, and a display that controls display of the movable part based on display setting information for displaying the virtual object when an operation of the movable part is received by the operation receiving unit. and a control unit, wherein the operation receiving unit further accepts an operation for specifying an installation restriction region showing the limit region where the object corresponding to the virtual object is placed, the generation unit, the installation system Information indicating the area, to generate the composite image further synthesized on the captured image.
本発明によれば、物体の可動部分を操作した場合のイメージをより明瞭にユーザに把握させることができるという効果を奏する。 ADVANTAGE OF THE INVENTION According to this invention, there exists an effect that a user can grasp | ascertain the image at the time of operating the movable part of an object more clearly.
以下に添付図面を参照して、情報処理装置、情報処理方法及びプログラムの実施形態を詳細に説明する。 Embodiments of an information processing apparatus, an information processing method, and a program will be described below in detail with reference to the accompanying drawings.
(第1実施形態)
図1は第1実施形態の情報処理システム1の構成の例を示す図である。実施形態の情報処理システム1は、情報処理装置10及びサーバ装置20を備える。情報処理装置10及びサーバ装置20はネットワーク100を介して接続されている。ネットワーク100の通信方式は、無線方式でも有線方式でもよく、また無線方式と有線方式とが組み合わされていてもよい。ネットワーク100は、例えばインターネットである。
(1st Embodiment)
FIG. 1 is a diagram illustrating an example of a configuration of an
情報処理装置10は、任意の場所を撮像した撮像画像に、仮想物体が合成された合成画像を表示する。仮想物体は任意の物体の3Dモデルである。第1実施形態の説明では、仮想物体に対応する物体がオフィス機器である場合について説明する。なお第1実施形態の説明では、プリンタ(印刷装置)である場合を例にして説明するが、オフィス機器はプリンタに限らず任意のオフィス機器でよい。情報処理装置10は、例えばカメラ付きスマートデバイス等である。
The
サーバ装置20は、情報処理装置10で仮想物体を含む合成画像を表示するためのアプリケーション(プログラム)、ARマーカーを示す画像情報、及び、仮想物体を表示するための表示設定情報等の情報を記憶する。ARマーカーは撮像画像上に仮想物体を合成する位置を識別する位置識別情報である。表示設定情報の詳細は、図5乃至図12を参照して後述する。サーバ装置20に記憶されている情報は、例えばサーバ装置20上に立ち上げられたウェブサイトを介して情報処理装置10にダウンロードされる。
The
図2Aは第1実施形態の仮想物体40の表示方法の概略の例1を示す図である。まず情報処理装置10のユーザがサーバ装置20または情報処理装置10内に記憶されているARマーカー30を示す画像情報を印刷し、仮想物体40を表示させる場所にARマーカー30を示す印刷物を配置する。次に情報処理装置10が、仮想物体40として表示させる機種の表示設定情報を、サーバ装置20からダウンロードする。次に情報処理装置10がARマーカー30を示す印刷物を含む撮像画像を撮像すると、当該撮像画像に含まれる印刷物30の位置に、表示設定情報に応じた仮想物体40が表示される。
FIG. 2A is a diagram illustrating a first example of the outline of the method for displaying the
なお、図1及び図2Aでは、サーバ装置20が1つの構成となっているが、サーバ装置20に記憶されている情報を情報処理装置10が取得するための構成はこれに限られるものではない。
In FIG. 1 and FIG. 2A, the
図2Bは第1実施形態の仮想物体40の表示方法の概略の例2を示す図である。図2Bの例は、サーバ装置20をサーバ装置20a及びサーバ装置20bとして、ネットワーク100上に分散させた場合を示す。まずアプリケーションの開発元が、仮想物体40の画像データ(3Dモデルとして表示される画像のモデルデータ等)の情報等を含む表示設定情報を予め有したアプリケーションを、サーバ装置20a(当該開発元会社のサーバ等)に記憶する。次に当該アプリケーションが、サーバ装置20aからネットワーク100上のアプリケーション販売サイト等を運営するサーバ装置20bにリリースされる。次に情報処理装置10が、サーバ装置20bから当該アプリケーションをダウンロードする。これにより、図2Bの構成の例でも、情報処理装置10が当該アプリケーションをインストールできる環境を構成することができる。なおARマーカー30は、情報処理装置10がサーバ装置20aから随時、ダウンロードするようにしてもよい。
FIG. 2B is a diagram illustrating a second example of the outline of the method for displaying the
次に第1実施形態の情報処理装置10で表示される仮想物体40の概略について説明する。
Next, an outline of the
図3Aは第1実施形態の仮想物体40の概略を示す図である。第1実施形態の仮想物体40は、不動部分を表す第1の領域41と、可動部分を表す第2の領域42と、を有する。簡単のため図3の仮想物体40の例では、可動部分を表す第2の領域42を1つとしているが、可動部分を表す第2の領域42の数は任意でよい。図3Aの仮想物体40は、例えばプリンタであり、第2の領域42は、例えばプリンタのADF(Auto Document Feeder)部分である。
FIG. 3A is a diagram schematically illustrating the
図3Bは第1実施形態の仮想物体40の概略(可動部分が操作された場合)を示す図である。図3Bの例は、仮想物体40の第2の領域42が開閉できる場合を示す。仮想物体40は、はじめに図3Aの初期表示状態で情報処理装置10に表示される。そして情報処理装置10が、第2の領域42を操作する入力を受け付けると、仮想物体40の表示が図3Aの状態から図3Bの状態に変更される。このとき第2の領域42の開閉時の動作は、動画像により表示される。動画像は、例えばアニメーションである。図3A及び図3Bの表示基準点Pは、動画像を表示する位置を特定する基準点を示す。表示基準点Pの座標は、例えば仮想物体40の所定の点Oを原点とした座標系により表される。
FIG. 3B is a diagram schematically illustrating the
次に第1実施形態の情報処理装置10の構成の例について説明する。
Next, an example of the configuration of the
図4は第1実施形態の情報処理装置10の構成の例を示す図である。第1実施形態の情報処理装置10は、記憶部11、撮像部12、表示制御部13、表示部14、操作受付部15、生成部16、通信部17及びGPS部18を備える。情報処理装置10は任意の装置でよいが、第1実施形態の説明では、情報処理装置10が、スマートフォン及びタブレット型端末等のスマートデバイスである場合を例にして説明する。すなわち表示部14及び操作受付部15は、液晶タッチパネル等である。
FIG. 4 is a diagram illustrating an example of a configuration of the
記憶部11は、仮想物体40の種類毎に、仮想物体40を表示するための表示設定情報を記憶する。表示設定情報は、例えば初期表示画像情報、着脱可能部分画像情報、可動部分画像情報及び機器動作画像情報を含む。また記憶部11は、仮想物体40に対応するプリンタの仕様情報、仮想物体40に対応するプリンタを入手(購入)可能なウェブサイトのアドレス、及び、仮想物体40に対応するプリンタを入手(購入)可能な場所(店舗)の住所等の情報も記憶する。なお記憶部11の情報は、通信部17がサーバ装置20と通信することにより更新される。例えば通信部17が、サーバ装置20から仮想物体40の表示設定情報を新たに取得し、当該表示設定情報を記憶部11に記憶することにより、新製品等の新しい仮想物体40を情報処理装置10で表示することが可能になる。
The
ここで仮想物体40がプリンタである場合を例にして、表示設定情報(初期表示画像情報、着脱可能部分画像情報、可動部分画像情報及び機器動作画像情報)について説明する。
Here, the display setting information (initial display image information, detachable partial image information, movable partial image information, and device operation image information) will be described taking the case where the
まず第1実施形態の初期表示画像情報の例について説明する。 First, an example of the initial display image information of the first embodiment will be described.
図5は第1実施形態の初期表示画像情報の例(プリンタの場合)を示す図である。初期表示画像情報は、仮想物体40の表示を開始するときの状態を示す。初期表示画像情報は、機種名、本体、バンク及びフィニッシャーの項目を有する。機種名はプリンタの機種の名称を示す。第1実施形態では、機種名が仮想物体40の種類を識別する識別情報である。本体は、着脱可能部分(オプション部品)が装着されていない状態の本体画像を特定する特定情報を示す。特定情報は、例えば画像ファイル名である。本体画像は、情報処理装置10により撮影された撮影画像に含まれるARマーカー30の位置に表示される。
FIG. 5 is a diagram illustrating an example (in the case of a printer) of the initial display image information according to the first embodiment. The initial display image information indicates a state when display of the
バンクは印刷に使用される用紙が格納されるオプション部品である。バンクには、「−」、「無」、及び、「1」、「2」、・・・等の数値が設定される。「−」はプリンタ本体にバンクが装着できないことを示す。「無」は、バンクが装着可能な機種にバンクが装着されていないことを示す。「1」はバンクが装着可能な機種にバンクが1段装着されていることを示す。「2」はバンクが装着可能な機種にバンクが2段装着されていることを示す。バンクを示す画像は、後述の着脱可能部分画像情報から特定される。 The bank is an optional component that stores paper used for printing. In the bank, numerical values such as “−”, “none”, and “1”, “2”,... Are set. "-" Indicates that the bank cannot be mounted on the printer body. “No” indicates that no bank is mounted on a model to which the bank can be mounted. “1” indicates that the bank is mounted one stage on a model to which the bank can be mounted. "2" indicates that the bank is mounted in two stages on a model to which the bank can be mounted. The image indicating the bank is specified from detachable partial image information described later.
フィニッシャーは印刷物のパンチ(穴あけ)及びホチキス留等、印刷後の処理を行うオプション部品である。フィニッシャーには、「−」、「無」、及び、「有」が設定される。「−」はプリンタ本体にフィニッシャーが装着できないことを示す。「無」は、フィニッシャーが装着可能な機種にフィニッシャーが装着されていないことを示す。「有」は、フィニッシャーが装着可能な機種にフィニッシャーが装着されていることを示す。フィニッシャーを示す画像は、後述の着脱可能部分画像情報から特定される。 The finisher is an optional component for performing post-printing processing such as punching (piercing) and stapling of printed matter. In the finisher, “−”, “absent”, and “present” are set. "-" Indicates that the finisher cannot be attached to the printer body. “No” indicates that the finisher is not attached to the model to which the finisher can be attached. “Yes” indicates that the finisher is attached to a model to which the finisher can be attached. The image indicating the finisher is specified from detachable partial image information described later.
例えば図5の例では、プリンタBに対応する仮想物体40が情報処理装置10で初期表示される場合、本体画像Bにより、バンク及びフィニッシャーが装着されていない仮想物体40が表示される。
For example, in the example of FIG. 5, when the
次に第1実施形態の着脱可能部分画像情報の例について説明する。 Next, an example of the removable partial image information according to the first embodiment will be described.
図6は第1実施形態の着脱可能部分画像情報の例(バンクの場合)を示す図である。図6の着脱可能部分画像情報は、機種名、バンク、表示基準点及び最大バンク段数の項目を有する。機種名はプリンタの機種の名称を示す。バンクは、バンクを示す画像を特定する特定情報を示す。特定情報は、例えば画像ファイル名である。なおバンクに「−」が設定されている場合は、プリンタ本体にバンクを装着できないことを示す。表示基準点は、バンクを示す画像を表示する位置を示す。例えば情報処理装置10は、表示基準点の座標に、バンクを示す画像の端点を合わせるようにして、仮想着脱可能物体としてバンクを示す画像を表示する。最大バンク段数はプリンタ本体に装着可能なバンクの数を示す。なお同一のプリンタ本体に装着可能なバンクの種類が複数ある場合、記憶部11は、バンクの種類毎に、着脱可能部分画像情報を記憶する。
FIG. 6 is a diagram illustrating an example of removable partial image information (in the case of a bank) according to the first embodiment. The detachable partial image information in FIG. 6 includes items of a model name, a bank, a display reference point, and a maximum number of bank stages. The model name indicates the name of the model of the printer. The bank indicates specific information for specifying an image indicating the bank. The specific information is, for example, an image file name. If "-" is set for the bank, it indicates that the bank cannot be mounted on the printer body. The display reference point indicates a position at which an image indicating a bank is displayed. For example, the
例えば図6のプリンタBの例では、プリンタBのバンクを示す画像は、Bank画像Bである。またBank画像Bを表示する位置は、表示基準点の座標(x_b6,y_b6,z_b6)により特定される。またプリンタBに装着可能なバンクの段数は3段である。 For example, in the example of the printer B in FIG. 6, the image indicating the bank of the printer B is a Bank image B. The position at which the Bank image B is displayed is specified by the coordinates (x_b6, y_b6, z_b6) of the display reference point. The number of banks that can be mounted on the printer B is three.
図7は第1実施形態の着脱可能部分画像情報の例(フィニッシャーの場合)を示す図である。図7の着脱可能部分画像情報は、機種名、フィニッシャー及び表示基準点の項目を有する。機種名はプリンタの機種の名称を示す。フィニッシャーは、フィニッシャーを示す画像を特定する特定情報を示す。特定情報は、例えば画像ファイル名である。なおフィニッシャーに「−」が設定されている場合は、プリンタ本体にフィニッシャーを装着できないことを示す。表示基準点は、フィニッシャーを示す画像を表示する位置を示す。例えば情報処理装置10は、表示基準点の座標に、フィニッシャーを示す画像の端点を合わせるようにして、仮想着脱可能物体としてフィニッシャーを示す画像を表示する。なお同一のプリンタ本体に装着可能なフィニッシャーの種類が複数ある場合、記憶部11は、フィニッシャーの種類毎に、着脱可能部分画像情報を記憶する。
FIG. 7 is a diagram illustrating an example of removable image information (in the case of a finisher) according to the first embodiment. The removable partial image information in FIG. 7 includes items of a model name, a finisher, and a display reference point. The model name indicates the name of the model of the printer. The finisher indicates identification information for identifying an image indicating the finisher. The specific information is, for example, an image file name. If the finisher is set to "-", it indicates that the finisher cannot be attached to the printer body. The display reference point indicates a position at which an image indicating the finisher is displayed. For example, the
例えば図7のプリンタBの例では、プリンタBのフィニッシャーを示す画像は、Finisher画像Bである。またFinisher画像Bを表示する位置は、表示基準点の座標(x_b7,y_b7,z_b7)により特定される。 For example, in the example of the printer B in FIG. 7, the image indicating the finisher of the printer B is the Finisher image B. The position where the Finisher image B is displayed is specified by the coordinates (x_b7, y_b7, z_b7) of the display reference point.
次に第1実施形態の可動部分画像情報の例について説明する。 Next, an example of the movable part image information according to the first embodiment will be described.
図8は第1実施形態の可動部分画像情報の例(ADFの場合)を示す図である。図8の可動部分画像情報は、機種名、ADF(open)、ADF(close)及び表示基準点の項目を有する。機種名はプリンタの機種の名称を示す。ADF(open)は、ADFを開く動作を示す画像(アニメーション)を特定する特定情報を示す。ADF(close)は、ADFを閉じる動作を示す画像(アニメーション)を特定する特定情報を示す。特定情報は、例えば画像ファイル名である。なおADF(open)及びADF(close)に「−」が設定されている場合は、プリンタ本体にADFがないことを示す。表示基準点は、ADFを開く動作を示す画像(アニメーション)、及び、ADFを閉じる動作を示す画像(アニメーション)を表示する位置を示す。 FIG. 8 is a diagram illustrating an example (in the case of the ADF) of the movable part image information according to the first embodiment. The movable part image information in FIG. 8 includes items of a model name, ADF (open), ADF (close), and a display reference point. The model name indicates the name of the model of the printer. ADF (open) indicates identification information for identifying an image (animation) indicating an operation of opening the ADF. ADF (close) indicates specific information for specifying an image (animation) indicating an operation of closing the ADF. The specific information is, for example, an image file name. If "-" is set in ADF (open) and ADF (close), it indicates that there is no ADF in the printer body. The display reference point indicates a position at which an image (animation) indicating the operation of opening the ADF and an image (animation) indicating the operation of closing the ADF are displayed.
例えば図8のプリンタAの例では、プリンタAのADFを開く動作を示す画像(アニメーション)は、ADF_open画像Aである。またプリンタAのADFを閉じる動作を示す画像(アニメーション)は、ADF_close画像Aである。またADF_open画像A及びADF_close画像Aを表示する位置は、表示基準点の座標(x_a1,y_a1,z_a1)により特定される。 For example, in the example of the printer A in FIG. 8, an image (animation) indicating an operation of opening the ADF of the printer A is an ADF_open image A. An image (animation) showing the operation of closing the ADF of the printer A is an ADF_close image A. The positions where the ADF_open image A and the ADF_close image A are displayed are specified by the coordinates (x_a1, y_a1, z_a1) of the display reference point.
図9は第1実施形態の可動部分画像情報の例(トナーカバーの場合)を示す図である。図9の可動部分画像情報は、機種名、トナーカバー(open)、トナーカバー(close)及び表示基準点の項目を有する。機種名はプリンタの機種の名称を示す。トナーカバー(open)は、トナーカバーを開く動作を示す画像(アニメーション)を特定する特定情報を示す。トナーカバー(close)は、トナーカバーを閉じる動作を示す画像(アニメーション)を特定する特定情報を示す。特定情報は、例えば画像ファイル名である。なおトナーカバー(open)及びトナーカバー(close)に「−」が設定されている場合は、プリンタ本体にトナーカバーがないことを示す。表示基準点は、トナーカバーを開く動作を示す画像(アニメーション)、及び、トナーカバーを閉じる動作を示す画像(アニメーション)を表示する位置を示す。 FIG. 9 is a diagram illustrating an example (in the case of a toner cover) of the movable part image information according to the first embodiment. The movable part image information in FIG. 9 includes items of a model name, a toner cover (open), a toner cover (close), and a display reference point. The model name indicates the name of the model of the printer. The toner cover (open) indicates specific information for specifying an image (animation) indicating an operation of opening the toner cover. The toner cover (close) indicates specific information for specifying an image (animation) indicating an operation of closing the toner cover. The specific information is, for example, an image file name. When "-" is set in the toner cover (open) and the toner cover (close), it indicates that the printer main body does not have the toner cover. The display reference point indicates a position where an image (animation) indicating an operation of opening the toner cover and an image (animation) indicating an operation of closing the toner cover are displayed.
例えば図9のプリンタAの例では、プリンタAのトナーカバーを開く動作を示す画像(アニメーション)は、Toner_open画像Aである。またプリンタAのトナーカバーを閉じる動作を示す画像(アニメーション)は、Toner_close画像Aである。またToner_open画像A及びToner_close画像Aを表示する位置は、表示基準点の座標(x_a2,y_a2,z_a2)により特定される。 For example, in the example of the printer A in FIG. 9, an image (animation) indicating an operation of opening the toner cover of the printer A is a Toner_open image A. An image (animation) showing the operation of closing the toner cover of the printer A is a Toner_close image A. The positions where the Toner_open image A and the Toner_close image A are displayed are specified by the coordinates (x_a2, y_a2, z_a2) of the display reference point.
図10は第1実施形態の可動部分画像情報の例(ペーパートレイの場合)を示す図である。図10の可動部分画像情報は、機種名、ペーパートレイ(open)、ペーパートレイ(close)及び表示基準点の項目を有する。機種名はプリンタの機種の名称を示す。ペーパートレイ(open)は、ペーパートレイを開く動作を示す画像(アニメーション)を特定する特定情報を示す。ペーパートレイ(close)は、ペーパートレイを閉じる動作を示す画像(アニメーション)を特定する特定情報を示す。特定情報は、例えば画像ファイル名である。なおペーパートレイ(open)及びペーパートレイ(close)に「−」が設定されている場合は、プリンタ本体にペーパートレイがないことを示す。表示基準点は、ペーパートレイを開く動作を示す画像(アニメーション)、及び、ペーパートレイを閉じる動作を示す画像(アニメーション)を表示する位置を示す。 FIG. 10 is a diagram illustrating an example (in the case of a paper tray) of movable part image information according to the first embodiment. The movable part image information in FIG. 10 includes items of a model name, a paper tray (open), a paper tray (close), and a display reference point. The model name indicates the name of the model of the printer. The paper tray (open) indicates specific information for specifying an image (animation) indicating an operation of opening the paper tray. The paper tray (close) indicates specific information for specifying an image (animation) indicating an operation of closing the paper tray. The specific information is, for example, an image file name. When "-" is set for the paper tray (open) and the paper tray (close), it indicates that there is no paper tray in the printer body. The display reference point indicates a position at which an image (animation) indicating the operation of opening the paper tray and an image (animation) indicating the operation of closing the paper tray are displayed.
例えば図10のプリンタAの例では、プリンタAのペーパートレイを開く動作を示す画像(アニメーション)は、Tray_open画像Aである。またプリンタAのペーパートレイを閉じる動作を示す画像(アニメーション)は、Tray_close画像Aである。またTray_open画像A及びTray_close画像Aを表示する位置は、表示基準点の座標(x_a3,y_a3,z_a3)により特定される。 For example, in the example of the printer A in FIG. 10, an image (animation) indicating an operation of opening the paper tray of the printer A is a Tray_open image A. An image (animation) showing the operation of closing the paper tray of the printer A is a Trace_close image A. The positions at which the Tray_open image A and the Tray_close image A are displayed are specified by the coordinates (x_a3, y_a3, z_a3) of the display reference point.
図11は第1実施形態の可動部分画像情報の例(両面ユニットカバーの場合)を示す図である。図11の可動部分画像情報は、機種名、両面ユニットカバー(open)、両面ユニットカバー(close)及び表示基準点の項目を有する。機種名はプリンタの機種の名称を示す。両面ユニットカバー(open)は、両面ユニットカバーを開く動作を示す画像(アニメーション)を特定する特定情報を示す。両面ユニットカバー(close)は、両面ユニットカバーを閉じる動作を示す画像(アニメーション)を特定する特定情報を示す。特定情報は、例えば画像ファイル名である。なお両面ユニットカバー(open)及び両面ユニットカバー(close)に「−」が設定されている場合は、プリンタ本体に両面ユニットカバーがないことを示す。表示基準点は、両面ユニットカバーを開く動作を示す画像(アニメーション)、及び、両面ユニットカバーを閉じる動作を示す画像(アニメーション)を表示する位置を示す。 FIG. 11 is a diagram illustrating an example of movable part image information (in the case of a double-sided unit cover) according to the first embodiment. The movable part image information in FIG. 11 includes items of a model name, a duplex unit cover (open), a duplex unit cover (close), and a display reference point. The model name indicates the name of the model of the printer. The duplex unit cover (open) indicates identification information for identifying an image (animation) indicating an operation of opening the duplex unit cover. The double-sided unit cover (close) indicates specific information for specifying an image (animation) indicating an operation of closing the double-sided unit cover. The specific information is, for example, an image file name. When “−” is set in the duplex unit cover (open) and the duplex unit cover (close), it indicates that the duplexer unit cover is not provided in the printer body. The display reference point indicates a position at which an image (animation) indicating the operation of opening the duplex unit cover and an image (animation) indicating the operation of closing the duplex unit cover are displayed.
例えば図11のプリンタAの例では、プリンタAの両面ユニットカバーを開く動作を示す画像(アニメーション)は、Cover_open画像Aである。またプリンタAの両面ユニットカバーを閉じる動作を示す画像(アニメーション)は、Cover_close画像Aである。またCover_open画像A及びCover_close画像Aを表示する位置は、表示基準点の座標(x_a4,y_a4,z_a4)により特定される。 For example, in the example of the printer A in FIG. 11, an image (animation) showing an operation of opening the duplex unit cover of the printer A is a Cover_open image A. An image (animation) showing the operation of closing the duplex unit cover of the printer A is a Cover_close image A. The positions where the Cover_open image A and the Cover_close image A are displayed are specified by the coordinates (x_a4, y_a4, z_a4) of the display reference point.
図12は第1実施形態の機器動作画像情報の例(プリント動作の場合)を示す図である。図12の機器動作画像情報は、機種名、プリント動作及び表示基準点の項目を有する。機種名はプリンタの機種の名称を示す。プリント動作は、印刷が行われた際にプリンタから印刷物が排紙される様子を示す画像(アニメーション)を特定する特定情報を示す。特定情報は、例えば画像ファイル名である。なおプリント動作に「−」が設定されている場合は、印刷が行われた際にプリンタから印刷物が排紙される様子を示す画像(アニメーション)がないことを示す。表示基準点は、印刷が行われた際にプリンタから印刷物が排紙される様子を示す画像(アニメーション)を表示する位置を示す。 FIG. 12 is a diagram illustrating an example of the device operation image information (in the case of a print operation) according to the first embodiment. The device operation image information in FIG. 12 includes items of a model name, a print operation, and a display reference point. The model name indicates the name of the model of the printer. The print operation indicates specific information for specifying an image (animation) indicating a state where a printed matter is discharged from the printer when printing is performed. The specific information is, for example, an image file name. If "-" is set for the print operation, it indicates that there is no image (animation) indicating that the printed matter is discharged from the printer when printing is performed. The display reference point indicates a position where an image (animation) indicating a state in which a printed matter is discharged from the printer when printing is performed is displayed.
例えば図12のプリンタAの例では、印刷が行われた際にプリンタAから印刷物が排紙される様子を示す画像(アニメーション)は、プリント画像Aである。またプリント画像Aを表示する位置は、表示基準点の座標(x_a5,y_a5,z_a5)により特定される。 For example, in the example of the printer A in FIG. 12, an image (animation) showing a state where a printed material is discharged from the printer A when printing is performed is a print image A. The position at which the print image A is displayed is specified by the coordinates (x_a5, y_a5, z_a5) of the display reference point.
図4に戻り、撮像部12は、仮想物体40が表示される位置を示すARマーカー30を含む撮像画像を撮像すると、当該撮像画像を表示制御部13に入力する。なお撮像部12は、撮像画像を継続して撮像する。すなわち撮像画像は、動画として表示制御部13に入力される。
Referring back to FIG. 4, when the
表示制御部13は、撮像部12から撮像画像を受け付けると、当該撮像画像が画面の背景として使用された機種選択画面を表示部14に表示する。
When receiving the captured image from the
図13は第1実施形態の機種選択画面の例を示す図である。第1実施形態の機種選択画面は、機種選択ボタン101、設定ボタン102、ヘルプボタン103及びカメラボタン104を有する。
FIG. 13 is a diagram illustrating an example of a model selection screen according to the first embodiment. The model selection screen according to the first embodiment includes a
機種選択ボタン101は、プリンタの機種を選択するドロップダウンリストである。操作受付部15の機種選択ボタン101が押下されると、表示制御部13が、記憶部11に上述の表示設定情報として記憶されているプリンタの機種名をリストで表示部14に表示する。
The
設定ボタン102は、表示言語(日本語、英語又は中国語等)、及び、文字サイズ等の表示設定を変更する設定画面を表示するボタンである。なお設定画面は、地域を選択することにより、予め定められた設定を適用する地域選択画面でもよい。
The
図14は第1実施形態の地域選択画面の例を示す図である。図14の例は、複数の地域(日本、中国、欧州、中近東、アフリカ、アジア、米州及びラテンアメリカ)から地域を選択する場合を示す。表示制御部13は、ユーザにより選択された地域を示す画像領域の輝度を、ユーザにより選択されていない地域を示す画像領域の輝度よりも明るくする。
FIG. 14 is a diagram illustrating an example of a region selection screen according to the first embodiment. The example of FIG. 14 shows a case where a region is selected from a plurality of regions (Japan, China, Europe, the Middle East, Africa, Asia, the Americas, and Latin America). The
表示制御部13は、選択された地域に関連付けられた地域設定情報に基づく表示制御を行う。地域設定情報は、地域に応じた表示方法を示す情報である。地域設定情報は、例えば表示言語、文字サイズ、URL情報、機種名及び購入可能機種情報等を含む。URL情報は、例えば後述の商品購入ボタン112が押下されたときに表示されるウェブサイトのURL等を含む。購入可能機種情報は当該地域で購入可能な機種を示す。例えば後述のおすすめ商品表示ボタン111では、購入可能機種情報に基づいて、当該地域で購入可能な機種のうち、後述の機種名表示部105に表示されている機種に商品仕様が類似する機種が表示される。
The
図13に戻り、ヘルプボタン103は、操作方法を示すヘルプ画面を表示するボタンである。
Returning to FIG. 13, the
カメラボタン104は、背景として表示されている撮影画像を撮像するボタンである。仮想物体40が表示されている状態で、操作受付部15のカメラボタン104が押下された場合、仮想物体40を含む合成画像が、記憶部11等に記憶される。
The
図15は第1実施形態の機種選択画面の例(リストが表示された場合)を示す図である。図15の例は、機種選択ボタン101が押下されることにより、プリンタA、プリンタB及びプリンタCがリストとして表示された場合を示す。操作受付部15が、リストから機種名を選択する操作を受け付けると、生成部16が、当該機種名に関連付けられた仮想物体40を示す画像が、撮像画像上のARマーカー30の位置に合成された合成画像を生成する。そして表示制御部13が、当該合成画像に後述のUI部品(各種ボタン等、図16参照)が付与された画面を表示部14に表示する。例えばプリンタAが選択されると、表示設定情報に含まれる初期表示画像情報(図5参照)の本体画像Aにより示される仮想物体40が、ARマーカー30の位置に表示される。
FIG. 15 is a diagram illustrating an example of the model selection screen (when a list is displayed) according to the first embodiment. The example of FIG. 15 shows a case where the printer A, the printer B, and the printer C are displayed as a list when the
このとき表示制御部13及び生成部16が、AR技術を利用することにより、情報処理装置10の撮像部12と、ARマーカー30との位置関係に応じて、仮想物体40の見え方を変更する。具体的には、まず表示制御部13が、撮像画像に含まれるARマーカー30を検出し、当該ARマーカー30の見え方(撮像画像上での位置及び形状の少なくとも一方)が変更されたか否かを判定する。当該ARマーカー30の見え方が変更された場合、生成部16が、見え方が変更された度合いに応じて、仮想物体40の表示態様の変更(拡大、縮小、移動及び回転等)を行い、当該仮想物体40が撮像画像に合成された合成画像を生成する。そして表示制御部13が、当該合成画像に後述のUI部品(各種ボタン等、図16参照)が付与された画面を表示部14に表示する。これにより情報処理装置10のユーザが、表示部14に立体表示されている仮想物体40を参照しながら、当該立体表示されている仮想物体40を参照したい方向に撮像部12を向けることにより、様々な方向から仮想物体40を参照することができる。
At this time, the
図16は第1実施形態の機種表示画面の例(プリンタAの場合)を示す図である。第1実施形態の機種表示画面は、機種選択ボタン101、設定ボタン102、ヘルプボタン103、カメラボタン104、機種名表示部105、操作ボタン106、バンク選択ボタン107、フィニッシャー選択ボタン108、設置制限領域指定ボタン109、商品仕様表示ボタン110、おすすめ商品表示ボタン111、商品購入ボタン112、地図表示ボタン113及びシェアボタン114を有する。
FIG. 16 is a diagram illustrating an example (in the case of the printer A) of the model display screen of the first embodiment. The model display screen of the first embodiment includes a
機種選択ボタン101、設定ボタン102、ヘルプボタン103及びカメラボタン104の説明は、図13の説明と同様なので省略する。
Descriptions of the
機種名表示部105は、機種選択ボタン101で選択された機種名を表示する。また当該機種で利用可能な機能が表示される。具体的には、表示制御部13が、機種名表示部105に表示されている機種名から特定される仕様情報を、記憶部11から取得することにより、当該機種で利用可能な機能を表示部14に表示する。図16の例は、プリンタAでコピー、印刷、スキャン及びFAXが使用可能な場合を示す。
The model
操作ボタン106は、ADF操作ボタン106a、トナーカバー操作ボタン106b、ペーパートレイ操作ボタン106c、両面ユニット操作ボタン106d及びプリント動作表示ボタン106eを含む。
The
ADF操作ボタン106aは、ADFの開閉を操作するボタンである。ADF操作ボタン106aは、表示設定情報に含まれる図8の可動部分画像情報(ADFの場合)により指定された画像ファイルにより示される動作を表示する。なお表示制御部13は、可動部分画像情報(ADFの場合)に画像ファイルが指定されていない場合、ADF操作ボタン106aを表示しないか、又は、半輝度(半透明)等にして表示する。
The
ADF操作ボタン106aが押下されると、ADFを開く動作を示す画像(アニメーション)が表示される。具体的には、仮想物体40がプリンタAである場合、表示設定情報に含まれる可動部分画像情報(図8参照)のADF_open画像Aにより、ADFを開く動作を示す画像(アニメーション)が表示される。
When the
図19はADF操作ボタン106aが押下された後の第1実施形態の機種表示画面の例を示す図である。この状態でADF操作ボタン106aが再度、押下されると、ADFを閉じる動作を示す画像(アニメーション)が表示される。具体的には、仮想物体40がプリンタAである場合、表示設定情報に含まれる可動部分画像情報(図8参照)のADF_close画像Aにより、ADFを閉じる動作を示す画像(アニメーション)が表示され、プリンタAの表示が図16に示される状態に戻る。
FIG. 19 is a diagram illustrating an example of the model display screen of the first embodiment after the
図16に戻り、トナーカバー操作ボタン106bは、トナーカバーの開閉を操作するボタンである。トナーカバー操作ボタン106bは、表示設定情報に含まれる図9の可動部分画像情報(トナーカバーの場合)により指定された画像ファイルにより示される動作を表示する。なお表示制御部13は、可動部分画像情報(トナーカバーの場合)に画像ファイルが指定されていない場合、トナーカバー操作ボタン106bを表示しないか、又は、半輝度(半透明)等にして表示する。
Returning to FIG. 16, the toner
トナーカバー操作ボタン106bが押下されると、トナーカバーを開く動作を示す画像(アニメーション)が表示される。具体的には、仮想物体40がプリンタAである場合、表示設定情報に含まれる可動部分画像情報(図9参照)のToner_open画像Aにより、トナーカバーを開く動作を示す画像(アニメーション)が表示される。
When the toner
図17A乃至図17Cは第1実施形態のトナーカバーを開く動作を示すアニメーションの例を示す図である。図17Aは、トナーカバー操作ボタン106bが押下される前の状態を示す。図17Bは、トナーカバーを開く動作を示すアニメーションの途中の状態を示す。図17Cは、トナーカバーを開く動作を示すアニメーションの終了時の状態を示す。
17A to 17C are diagrams illustrating an example of an animation showing an operation of opening the toner cover according to the first embodiment. FIG. 17A shows a state before the toner
トナーカバー操作ボタン106bが押下されると、表示制御部13が、トナーカバーを開く動作を示すアニメーションの表示を開始する。トナーカバーを開く動作を示すアニメーションは、トナーカートリッジを取り出す際の様子を示すアニメーションを含む。ユーザは、トナーカバーを開く動作を示すアニメーションを視聴することにより、トナーカートリッジの取り出し方をより明瞭に把握することができる。
When the toner
図16に戻り、トナーカバー操作ボタン106bが再度、押下されると、トナーカバーを閉じる動作を示す画像(アニメーション)が表示される。具体的には、仮想物体40がプリンタAである場合、表示設定情報に含まれる可動部分画像情報(図9参照)のToner_close画像Aにより、トナーカバーを閉じる動作を示す画像(アニメーション)が表示される。
Referring back to FIG. 16, when the toner
図18A乃至図18Cは第1実施形態のトナーカバーを閉じる動作を示すアニメーションの例を示す図である。図18Aは、トナーカバーが開いている状態で、トナーカバー操作ボタン106bが再度、押下されたときの状態を示す。図18Bは、トナーカバーを閉じる動作を示すアニメーションの途中の状態を示す。図18Cは、トナーカバーを閉じる動作を示すアニメーションの終了時の状態を示す。
18A to 18C are diagrams illustrating an example of an animation showing an operation of closing the toner cover according to the first embodiment. FIG. 18A shows a state where the toner
トナーカバーが開いている状態で、トナーカバー操作ボタン106bが再度、押下されると、表示制御部13が、トナーカバーを閉じる動作を示すアニメーションの表示を開始する。トナーカバーを閉じる動作を示すアニメーションは、トナーカートリッジを取り付ける際の様子を示すアニメーションを含む。トナーカートリッジを取り付ける際の様子を示すアニメーションは、例えばトナーカートリッジを取り付ける際に、トナーカートリッジを回転させる方向等を示す。ユーザは、トナーカバーを閉じる動作を示すアニメーションを視聴することにより、トナーカートリッジの取り付け方をより明瞭に把握することができる。
When the toner
なお表示制御部13は、トナーカバー以外の開閉部についても、開閉部の内部の部品の取り出し方、及び、取り付け方を示すアニメーションを表示してもよい。これによりユーザは、当該アニメーションを視聴することにより、仮想物体40に対応する物体の部品の交換手順をより明瞭に把握することができる。
Note that the
ペーパートレイ操作ボタン106cは、ペーパートレイの開閉を操作するボタンである。ペーパートレイ操作ボタン106cは、表示設定情報に含まれる図10の可動部分画像情報(ペーパートレイの場合)により指定された画像ファイルにより示される動作を表示する。なお表示制御部13は、可動部分画像情報(ペーパートレイの場合)に画像ファイルが指定されていない場合、ペーパートレイ操作ボタン106cを表示しないか、又は、半輝度(半透明)等にして表示する。
The paper
ペーパートレイ操作ボタン106cが押下されると、ペーパートレイを開く動作を示す画像(アニメーション)が表示される。具体的には、仮想物体40がプリンタAである場合、表示設定情報に含まれる可動部分画像情報(図10参照)のTray_open画像Aにより、ペーパートレイを開く動作を示す画像(アニメーション)が表示される。ペーパートレイ操作ボタン106cが再度、押下されると、ペーパートレイを閉じる動作を示す画像(アニメーション)が表示される。具体的には、仮想物体40がプリンタAである場合、表示設定情報に含まれる可動部分画像情報(図10参照)のTray_close画像Aにより、ペーパートレイを閉じる動作を示す画像(アニメーション)が表示される。
When the paper
両面ユニット操作ボタン106dは、両面ユニットの開閉を操作するボタンである。両面ユニット操作ボタン106dは、両面ユニットの開閉を操作するボタンである。両面ユニット操作ボタン106dは、表示設定情報に含まれる図11の可動部分画像情報(両面ユニットの場合)により指定された画像ファイルにより示される動作を表示する。なお表示制御部13は、可動部分画像情報(両面ユニットの場合)に画像ファイルが指定されていない場合、両面ユニット操作ボタン106dを表示しないか、又は、半輝度(半透明)等にして表示する。
The duplex
両面ユニット操作ボタン106dが押下されると、両面ユニットを開く動作を示す画像(アニメーション)が表示される。具体的には、仮想物体40がプリンタAである場合、表示設定情報に含まれる可動部分画像情報(図11参照)のCover_open画像Aにより、両面ユニットを開く動作を示す画像(アニメーション)が表示される。両面ユニット操作ボタン106dが再度、押下されると、両面ユニットを閉じる動作を示す画像(アニメーション)が表示される。具体的には、仮想物体40がプリンタAである場合、表示設定情報に含まれる可動部分画像情報(図11参照)のCover_close画像Aにより、両面ユニットを閉じる動作を示す画像(アニメーション)が表示される。
When the duplex
プリント動作表示ボタン106eは、印刷が行われた際にプリンタから印刷物が排紙される様子をアニメーションにより表示するボタンである。プリント動作表示ボタン106eは、表示設定情報に含まれる図12の機器動作画像情報(プリント動作の場合)により指定された画像ファイルにより示される動作を表示する。なお表示制御部13は、機器動作画像情報(プリント動作の場合)に画像ファイルが指定されていない場合、プリント動作表示ボタン106eを表示しないか、又は、半輝度(半透明)等にして表示する。
The print
プリント動作表示ボタン106eが押下されたときに、表示制御部13が、プリンタの印刷速度に応じたアニメーションを表示することにより、プリンタの印刷速度を体感的にユーザに伝えることができる。例えばプリンタの印刷速度が30ppm(page per minute)の場合、表示制御部13は印刷物が2秒に1枚、プリンタから排紙される様子を示すアニメーションを表示する。また例えばプリンタの印刷速度が20ppm(page per minute)の場合、表示制御部13は印刷物が3秒に1枚、プリンタから排紙される様子を示すアニメーションを表示する。
When the print
バンク選択ボタン107は、バンク選択画面を表示するボタンである。バンク選択画面は、機種名表示部105に表示されている機種に装着可能なバンクを選択する画面である。
The
図20Aは第1実施形態のバンク選択画面の例を示す図である。表示制御部13は、機種名表示部105に表示されている機種の表示設定情報に含まれる着脱可能部分画像情報(図6参照)に基づくバンク選択画面を表示部14に表示する。具体的には、機種名表示部105に表示されている機種に、複数の種類のバンクがある場合、バンクを示す画像を複数、表示することにより、バンクの種類を選択する画面を表示する。また機種名表示部105に表示されている機種が、バンクを多段構成することができる場合、図6の着脱可能部分画像情報に示される最大バンク段数まで、バンク数を選択できる画面を表示する。
FIG. 20A is a diagram illustrating an example of a bank selection screen according to the first embodiment. The
プリンタAの表示設定情報に含まれる着脱可能部分画像情報(図6参照)の場合、バンクの種類が1種類で、最大バンク段数が1のため、図20Aでは、Bank画像Aの正面が1つ表示されている。 In the case of the detachable partial image information (see FIG. 6) included in the display setting information of the printer A, since there is one type of bank and the maximum number of bank stages is 1, in FIG. Is displayed.
図20Bはバンクが選択された後の第1実施形態の機種表示画面の例を示す図である。操作受付部15が、図20Aのバンク選択画面でバンクの選択を示す操作を受け付けると、図20Bに示されるように、プリンタAの本体を示す仮想物体40に、バンクを示す仮想着脱可能物体43が追加される。具体的には、生成部16が、撮像画像に本体画像Aが合成された合成画像に、Bank画像Aを更に合成し、表示制御部13が、当該合成画像を表示部14に表示する。これにより着脱可能部分(オプション部品)をプリンタAの本体に装着した場合のイメージをより明瞭にユーザに把握させることができる。
FIG. 20B is a diagram showing an example of the model display screen of the first embodiment after a bank is selected. When the operation receiving unit 15 receives an operation indicating the selection of a bank on the bank selection screen of FIG. 20A, as shown in FIG. 20B, the
図16に戻り、フィニッシャー選択ボタン108は、フィニッシャー選択画面を表示するボタンである。フィニッシャー選択画面の説明は、バンク選択画面の説明と同様なので省略する。
Returning to FIG. 16, the
設置制限領域指定ボタン109は、設置制限領域指定画面を表示するボタンである。設置制限領域指定画面は、仮想物体40に対応する物体が設置される領域の制限を示す設置制限領域を指定する画面である。
The installation restriction
図21は第1実施形態の設置制限領域指定画面の例を示す図である。第1実施形態の設置制限領域指定画面は、図16の画面の表示に加えて、更にフレーム120、幅指定ボタン121、奥行き指定ボタン122、高さ指定ボタン123及びフレーム移動ボタン124を有する。
FIG. 21 is a diagram illustrating an example of the installation restricted area designation screen according to the first embodiment. The installation restriction area designation screen of the first embodiment further includes a
フレーム120は設置制限領域の大きさを示す。フレーム120は、幅指定ボタン121、奥行き指定ボタン122、高さ指定ボタン123及びフレーム移動ボタン124の操作に応じて、幅、奥行き、高さ及び表示位置が変更される。
The
具体的には、幅指定ボタン121の「+」が押下されると、フレーム120の幅が広がり、幅指定ボタン121の「−」が押下されると、フレーム120の幅が狭まる。同様に、奥行き指定ボタン122の「+」が押下されると、フレーム120の奥行きが広がり、奥行き指定ボタン122の「−」が押下されると、フレーム120の奥行きが狭まる。同様に、高さ指定ボタン123の「+」が押下されると、フレーム120の高さが高くなり、高さ指定ボタン123の「−」が押下されると、フレーム120の高さが低くなる。
Specifically, when “+” of the
なおフレーム120の幅、奥行き及び高さを指定するユーザインターフェースは任意でよい。例えば表示制御部13が、テンキー配列の数字入力部を表示部14に表示し、操作受付部15が、幅、奥行き及び高さを示す数字の入力を受け付けてもよい。
The user interface for designating the width, depth, and height of the
またフレーム移動ボタン124が押下されると、押下された方向に応じてフレーム120が、設置制限領域指定画面の背景画像(撮影画像)上を上下左右に移動する。
When the
表示制御部13は、仮想物体40が、フレーム120により示される設置制限領域に収まらない場合、設置制限領域を示すフレーム120の表示態様を変更する。表示態様の変更方法は任意でよい。表示態様の変更方法は、例えばフレーム120を示す線の色の変更、フレーム120を示す線の太さの変更、及び、フレーム120を示す線を点滅させる変更等である。
When the
例えば図21の例の場合、表示制御部13は、ADFが閉じている状態のプリンタAを示す仮想物体40は、フレーム120に収まるため、フレーム120を黄色で表示する。一方、表示制御部13は、ADFが開いている状態のプリンタAを示す仮想物体40は、フレーム120に収まらないため、フレーム120を赤色で表示する。これによりフレーム120により示される任意の設置場所で、プリンタAの可動部分を操作した場合に、設置場所に収まるか否かのイメージをより明瞭にユーザに把握させることができる。
For example, in the case of the example of FIG. 21, the
図16に戻り、商品仕様表示ボタン110は、機種名表示部105に表示されている機種名から特定される仕様情報を表示する商品仕様画面を表示するボタンである。
Returning to FIG. 16, the product
図22は第1実施形態の商品仕様画面の例を示す図である。操作受付部15が、商品仕様表示ボタン110の押下を示す操作を受け付けると、表示制御部13が、機種名表示部105に表示されている機種の仕様情報を記憶部11から取得し、当該仕様情報を含む商品仕様画面を表示部14に表示する。仕様情報は、例えば最大印刷サイズ、プリンタの寸法、対応OS、印刷速度、解像度及び対応インタフェース等を含む。
FIG. 22 is a diagram illustrating an example of the product specification screen according to the first embodiment. When the operation receiving unit 15 receives an operation indicating that the product
また表示制御部13は、詳細な仕様を表示するウェブページを表示するための詳細仕様リンクを、商品仕様画面に表示する。操作受付部15が、詳細仕様リンクの押下を示す操作を受け付けると、通信部17が、詳細仕様リンクが示すアドレスにアクセスすることにより取得されたウェブサイトを、表示制御部13が表示部14に表示する。
Further, the
図16に戻り、おすすめ商品表示ボタン111は、ユーザに推薦する機種の機種表示画面を表示するボタンである。ユーザに推薦する機種は、例えば機種名表示部105に表示されている機種に商品仕様が類似する機種である。操作受付部15が、おすすめ商品表示ボタン111の押下を示す操作を受け付けると、生成部16が、ユーザに推薦する機種の表示設定情報に含まれる初期表示画像情報の本体画像が、撮像画像上のARマーカー30の位置に合成された合成画像を生成する。そして表示制御部13が、当該合成画像に対応する機種表示画面を表示部14に表示する。
Returning to FIG. 16, the recommended
商品購入ボタン112は、機種名表示部105に表示されている機種を購入可能なウェブサイトを表示するボタンである。操作受付部15が、商品購入ボタン112の押下を示す操作を受け付けると、通信部17が、機種名表示部105に表示されている機種を購入可能なウェブサイトのアドレスを記憶部11から取得する。そして通信部17が、当該アドレスにアクセスすることにより取得されたウェブサイトを、表示制御部13が表示部14に表示する。
The
地図表示ボタン113は、機種名表示部105に表示されている機種を購入可能な店舗の位置を示す地図表示画面を表示するボタンである。
The
図23は第1実施形態の地図表示画面の例を示す図である。操作受付部15が、地図表示ボタン113の押下を示す操作を受け付けると、GPS部18が、情報処理装置10の現在位置200を取得する。そして表示制御部13が、現在位置200の付近の地図を表示部14に表示するとともに、機種名表示部105に表示されている機種を購入可能な店舗が現在位置200の付近に存在する場合、当該店舗の位置を地図表示画面上で明示する。図23の例は、地図表示画面上に店舗201及び店舗202の位置が明示されている場合を示す。
FIG. 23 is a diagram illustrating an example of a map display screen according to the first embodiment. When the operation receiving unit 15 receives an operation indicating that the
図16に戻り、シェアボタン114は、Facebook(登録商標)及びTwitter(登録商標)等のシェアアプリのリストをポップアップ表示する。操作受付部15が、シェアアプリの選択を示す操作を受け付けると、当該シェアアプリを利用して表示部14に表示させた情報等を、他のユーザと共有することができる。
Returning to FIG. 16, the
次に第1実施形態の情報処理方法の例について説明する。 Next, an example of the information processing method according to the first embodiment will be described.
図24は第1実施形態の情報処理方法の例を示すフローチャートである。はじめに、撮像部12が、仮想物体40が表示される位置を示すARマーカー30を含む撮像画像の撮像を開始する(ステップS1)。
FIG. 24 is a flowchart illustrating an example of the information processing method according to the first embodiment. First, the
次に、表示制御部13が、撮像部12から撮像画像を受け付けると、当該撮像画像が画面の背景として使用された機種選択画面(図13参照)を表示部14に表示する(ステップS2)。次に、操作受付部15が、機種選択ボタン101のドロップダウンリストから機種名を選択する操作を受け付ける(ステップS3)。
Next, when the
次に、表示制御部13が、ステップS3で選択された機種名により識別される機種の機種表示画面(図16参照)を表示部14に表示する(ステップS4)。具体的には、まず生成部16が、ステップS3で選択された機種名に関連付けられた仮想物体40を示す画像が、撮像画像上のARマーカー30の位置に合成された合成画像を生成する。そして表示制御部13が、当該合成画像に各種のボタン等のUI部品が付与された画面を表示部14に表示する。
Next, the
次に、表示制御部13が、情報処理装置10の撮像部12と、ARマーカー30との位置関係が変更されたか否かを判定する(ステップS5)。具体的には、表示制御部13が、撮像画像に含まれるARマーカー30を検出し、当該ARマーカー30の見え方(撮像画像上での位置及び形状の少なくとも一方)が変更されたか否かにより、情報処理装置10の撮像部12と、ARマーカー30との位置関係が変更されたか否かを判定する。
Next, the
撮像部12と、ARマーカー30との位置関係が変更された場合(ステップS5、Yes)、表示制御部13が、AR技術を利用することにより、変更された位置関係に応じて、仮想物体40の見え方を変更する(ステップS6)。撮像部12と、ARマーカー30との位置関係が変更されていない場合(ステップS5、No)、処理はステップS7に進む。
When the positional relationship between the
次に、操作受付部15が、機種表示画面(図16参照)のボタンが押下されたか否かを判定する(ステップS7)。ボタンが押下された場合(ステップS7、Yes)、情報処理装置10は、上述の各種ボタンに応じた処理を行う(ステップS8)。ボタンが押下されていない場合(ステップS7、No)、処理はステップS9に進む。
Next, the operation receiving unit 15 determines whether a button on the model display screen (see FIG. 16) has been pressed (step S7). When the button is pressed (Step S7, Yes), the
次に、操作受付部15が、仮想物体40の表示に係る処理を終了する操作を受け付けたか否かを判定する(ステップS9)。終了する操作を受け付けていない場合(ステップS9、No)、処理はステップS5に戻る。終了する操作を受け付けた場合(ステップS9、Yes)、処理を終了する。
Next, the operation receiving unit 15 determines whether or not an operation for ending the processing related to the display of the
次に第1実施形態の情報処理装置10のハードウェア構成の例について説明する。
Next, an example of a hardware configuration of the
図25は第1実施形態の情報処理装置10のハードウェア構成の例を示す図である。第1実施形態の情報処理装置10は、制御装置301、主記憶装置302、補助記憶装置303、表示装置304、入力装置305、通信装置306、撮像装置307及びGPS装置308を備える。制御装置301、主記憶装置302、補助記憶装置303、表示装置304、入力装置305、通信装置306、撮像装置307及びGPS装置308は、バス310を介して互いに接続されている。
FIG. 25 is a diagram illustrating an example of a hardware configuration of the
制御装置301は補助記憶装置303から主記憶装置302に読み出されたプログラムを実行する。主記憶装置302はROM及びRAM等のメモリである。補助記憶装置303はメモリカード等である。図4の記憶部11は、主記憶装置302及び補助記憶装置303に対応する。
The
表示装置304及び入力装置305は、表示機能と入力機能とを有する液晶タッチパネルである。通信装置306は他の装置と通信する。撮像装置307は情報処理装置10の周囲の状態を示す撮像画像を撮像する。GPS装置308は、複数のGPS衛星から信号を受信することにより、情報処理装置10の位置を示すGPS情報を取得する。
The
情報処理装置10で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、メモリカード、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記憶媒体に記憶されてコンピュータ・プログラム・プロダクトとして提供される。
The program executed by the
また情報処理装置10で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また情報処理装置10が実行するプログラムを、ダウンロードさせずにインターネット等のネットワーク経由で提供するように構成してもよい。
Further, the program executed by the
また情報処理装置10のプログラムを、ROM等に予め組み込んで提供するように構成してもよい。
Further, the program of the
情報処理装置10で実行されるプログラムは、上述した各機能ブロックのうち、プログラムにより実現可能な機能ブロックを含むモジュール構成となっている。プログラムにより実現可能な機能ブロックは、例えば表示制御部13、操作受付部15、生成部16及び通信部17である。プログラムにより実現される機能ブロックは、実際のハードウェアとしては、制御装置301が補助記憶装置303等の記憶媒体からプログラムを読み出して実行することにより、主記憶装置302にロードされる。すなわちプログラムにより実現される機能ブロックは、主記憶装置302上に生成される。
The program executed by the
なおプログラムにより実現可能な機能ブロックの一部又は全部を、プログラムにより実現せずに、IC(Integrated Circuit)等のハードウェアにより実現してもよい。 Note that some or all of the functional blocks that can be realized by a program may be realized by hardware such as an IC (Integrated Circuit) without being realized by a program.
以上説明したように、第1実施形態の情報処理装置10では、撮像部12が、仮想物体40が表示される位置を識別するARマーカー30(位置識別情報)を含む撮像画像を取得する。また生成部16が、撮像画像に含まれるARマーカー30により識別される位置に、仮想物体40が合成された合成画像を生成する。そして操作受付部15により仮想物体40の可動部分の操作が受け付けられたときに、仮想物体40を表示するための表示設定情報に応じて、可動部分の表示を変更する。これにより物体の可動部分を操作した場合のイメージをより明瞭にユーザに把握させることができる。
As described above, in the
(第2実施形態)
次に第2実施形態について説明する。第2実施形態の説明では、仮想物体40に対応する物体が家電製品である場合について説明する。なお第2実施形態の説明では、冷蔵庫の場合を例にして説明するが、家電製品は冷蔵庫に限らず任意の家電製品でよい。第2実施形態の説明では、第1実施形態と同様の説明については省略し、第1実施形態と異なる箇所について説明する。
(2nd Embodiment)
Next, a second embodiment will be described. In the description of the second embodiment, a case where the object corresponding to the
第2実施形態の情報処理システム1の構成は、第1実施形態の情報処理システム1の構成(図1参照)と同じである。また第2実施形態の情報処理装置10の構成は、第1実施形態の情報処理装置10の構成(図4参照)と同じである。
The configuration of the
まず第2実施形態の表示設定情報(初期表示画像情報、及び、可動部分画像情報)について説明する。 First, display setting information (initial display image information and movable portion image information) according to the second embodiment will be described.
図26は第2実施形態の初期表示画像情報の例(冷蔵庫の場合)を示す図である。初期表示画像情報は、冷蔵庫を示す仮想物体40の表示を開始するときの状態を示す。初期表示画像情報は、機種名及び本体画像の項目を有する。機種名は冷蔵庫の機種の名称を示す。第2実施形態では、機種名が仮想物体40の種類を識別する識別情報である。本体は、冷蔵庫を示す画像を特定する特定情報を示す。特定情報は、例えば画像ファイル名である。本体画像は、情報処理装置10により撮影された撮影画像に含まれるARマーカー30の位置に表示される。
FIG. 26 is a diagram illustrating an example (in the case of a refrigerator) of the initial display image information according to the second embodiment. The initial display image information indicates a state when the display of the
例えば図26の例では、冷蔵庫Raに対応する仮想物体40が情報処理装置10で初期表示される場合、本体画像Raにより仮想物体40が表示される。
For example, in the example of FIG. 26, when the
次に第2実施形態の可動部分画像情報の例について説明する。 Next, an example of the movable part image information according to the second embodiment will be described.
図27は第2実施形態の可動部分画像情報の例(扉の場合)を示す図である。図27の可動部分画像情報は、機種名、扉番号、扉(open)、扉(close)及び表示基準点の項目を有する。機種名は冷蔵庫の機種の名称を示す。扉番号は冷蔵庫の扉を識別する番号である。扉(open)は、扉を開く動作を示す画像(アニメーション)を特定する特定情報を示す。扉(close)は、扉を閉じる動作を示す画像(アニメーション)を特定する特定情報を示す。特定情報は、例えば画像ファイル名である。表示基準点は、扉を開く動作を示す画像(アニメーション)、及び、扉を閉じる動作を示す画像(アニメーション)を表示する位置を示す。 FIG. 27 is a diagram illustrating an example (in the case of a door) of movable part image information according to the second embodiment. The movable part image information in FIG. 27 includes items of a model name, a door number, a door (open), a door (close), and a display reference point. The model name indicates the name of the model of the refrigerator. The door number is a number for identifying the door of the refrigerator. The door (open) indicates specific information for specifying an image (animation) indicating an operation of opening the door. The door (close) indicates specific information for specifying an image (animation) indicating an operation of closing the door. The specific information is, for example, an image file name. The display reference point indicates a position at which an image (animation) indicating the operation of opening the door and an image (animation) indicating the operation of closing the door are displayed.
例えば図27の冷蔵庫Raの例では、扉番号が1の冷蔵庫Raの扉を開く動作を示す画像(アニメーション)は、Door_open画像Ra1である。また扉番号が1の冷蔵庫Raの扉を閉じる動作を示す画像(アニメーション)は、Door_close画像Ra1である。またDoor_open画像Ra1及びDoor_close画像Ra1を表示する位置は、表示基準点の座標(x_ra1,y_ra1,z_ra1)により特定される。
For example, in the example of the refrigerator Ra in FIG. 27, the image (animation) showing the operation of opening the door of the refrigerator Ra having the
次に第2実施形態の機種選択画面の例について説明する。 Next, an example of a model selection screen according to the second embodiment will be described.
図28は第2施形態の機種選択画面の例を示す図である。第2実施形態の機種選択画面は、機種選択ボタン101、設定ボタン102、ヘルプボタン103及びカメラボタン104を有する。
FIG. 28 is a diagram illustrating an example of a model selection screen according to the second embodiment. The model selection screen according to the second embodiment has a
機種選択ボタン101は、冷蔵庫の機種を選択するドロップダウンリストである。操作受付部15の機種選択ボタン101が押下されると、表示制御部13が、記憶部11に上述の表示設定情報として記憶されている冷蔵庫の機種名をリストで表示部14に表示する。
The
設定ボタン102は、表示言語(日本語、英語又は中国語等)、及び、文字サイズ等の表示設定を変更する設定画面を表示するボタンである。
The
ヘルプボタン103は、操作方法を示すヘルプ画面を表示するボタンである。
The
カメラボタン104は、背景として表示されている撮影画像を撮像するボタンである。ARマーカー30の位置に冷蔵庫を示す仮想物体40が表示されている状態で、操作受付部15のカメラボタン104が押下された場合、冷蔵庫を示す仮想物体40を含む合成画像が、記憶部11等に記憶される。
The
図29は第2実施形態の機種選択画面の例(リストが表示された場合)を示す図である。図29の例は、機種選択ボタン101が押下されることにより、冷蔵庫Ra、冷蔵庫Rb及び冷蔵庫Rcがリストとして表示された場合を示す。操作受付部15が、リストから機種名を選択する操作を受け付けると、生成部16が、当該機種名に関連付けられた仮想物体40を示す画像が、撮像画像上のARマーカー30の位置に合成された合成画像を生成する。そして表示制御部13が、当該合成画像に後述のUI部品(各種ボタン等、図30参照)が付与された画面を表示部14に表示する。例えば冷蔵庫Raが選択されると、表示設定情報に含まれる初期表示画像情報(図26参照)の本体画像Raにより示される仮想物体40が、ARマーカー30の位置に表示される。
FIG. 29 is a diagram illustrating an example of the model selection screen (when a list is displayed) according to the second embodiment. The example of FIG. 29 illustrates a case where the refrigerator Ra, the refrigerator Rb, and the refrigerator Rc are displayed as a list when the
図30は第2実施形態の機種表示画面の例(冷蔵庫Raの場合)を示す図である。第2実施形態の機種表示画面は、機種選択ボタン101、設定ボタン102、ヘルプボタン103、カメラボタン104、機種名表示部105、操作ボタン106、設置制限領域指定ボタン109、商品仕様表示ボタン110、おすすめ商品表示ボタン111、商品購入ボタン112、地図表示ボタン113及びシェアボタン114を有する。
FIG. 30 is a diagram illustrating an example of the model display screen (in the case of the refrigerator Ra) according to the second embodiment. The model display screen of the second embodiment includes a
機種選択ボタン101、設定ボタン102、ヘルプボタン103及びカメラボタン104の説明は、図13の説明と同様なので省略する。
Descriptions of the
機種名表示部105は、機種選択ボタン101で選択された機種名を表示する。図30の例は、冷蔵庫Raが表示されている。
The model
操作ボタン106は、第1の扉操作ボタン106f、第2の扉操作ボタン106g及び第3の扉操作ボタン106hを含む。
The
第1の扉操作ボタン106fは、扉51の開閉を操作するボタンである。第1の扉操作ボタン106fは、表示設定情報に含まれる図27の可動部分画像情報(扉の場合)の扉番号が1の情報で指定された画像ファイルにより示される動作を表示する。
The first
第1の扉操作ボタン106fが押下されると、扉51を開く動作を示す画像(アニメーション)が表示される。具体的には、仮想物体40が冷蔵庫Raである場合、表示設定情報に含まれる可動部分画像情報(図27参照)のDoor_open画像Ra1により、扉51を開く動作を示す画像(アニメーション)が表示される。
When the first
図31は第1の扉操作ボタン106fが押下された後の第2実施形態の機種表示画面の例を示す図である。この状態で第1の扉操作ボタン106fが再度、押下されると、扉51を閉じる動作を示す画像(アニメーション)が表示される。具体的には、仮想物体40が冷蔵庫Raである場合、表示設定情報に含まれる可動部分画像情報(図27参照)のDoor_close画像Ra1により、扉51を閉じる動作を示す画像(アニメーション)が表示され、冷蔵庫Raの表示が図30に示される状態に戻る。
FIG. 31 is a diagram illustrating an example of the model display screen of the second embodiment after the first
図30に戻り、第2の扉操作ボタン106gは、扉52の開閉を操作するボタンである。第2の扉操作ボタン106gは、表示設定情報に含まれる図27の可動部分画像情報(扉の場合)の扉番号が2の情報で指定された画像ファイルにより示される動作を表示する。
Referring back to FIG. 30, the second
第3の扉操作ボタン106hは、扉53の開閉を操作するボタンである。第3の扉操作ボタン106gは、表示設定情報に含まれる図27の可動部分画像情報(扉の場合)の扉番号が3の情報で指定された画像ファイルにより示される動作を表示する。
The third
設置制限領域指定ボタン109は、設置制限領域指定画面を表示するボタンである。設置制限領域指定画面は、仮想物体40に対応する物体が設置される領域の制限を示す設置制限領域を指定する画面である。第2実施形態の設置制限領域指定画面は、第1実施形態の設置制限領域指定画面(図21参照)と同様なので、説明を省略する。
The installation restriction
商品仕様表示ボタン110は、機種名表示部105に表示されている機種名から特定される仕様情報を表示する商品仕様画面を表示するボタンである。第2実施形態の商品仕様画面は、第1実施形態の商品仕様画面(図22参照)と同様なので、説明を省略する。
The product
おすすめ商品表示ボタン111は、ユーザに推薦する機種の機種表示画面を表示するボタンである。ユーザに推薦する機種は、例えば機種名表示部105に表示されている機種に商品仕様が類似する機種である。操作受付部15が、おすすめ商品表示ボタン111の押下を示す操作を受け付けると、生成部16が、ユーザに推薦する機種の表示設定情報に含まれる初期表示画像情報の本体画像が、撮像画像上のARマーカー30の位置に合成された合成画像を生成する。そして表示制御部13が、当該合成画像に対応する機種表示画面を表示部14に表示する。
The recommended
商品購入ボタン112は、機種名表示部105に表示されている機種を購入可能なウェブサイトを表示するボタンである。操作受付部15が、商品購入ボタン112の押下を示す操作を受け付けると、通信部17が、機種名表示部105に表示されている機種を購入可能なウェブサイトのアドレスを記憶部11から取得する。そして通信部17が、当該アドレスにアクセスすることにより取得されたウェブサイトを、表示制御部13が表示部14に表示する。
The
地図表示ボタン113は、機種名表示部105に表示されている機種を購入可能な店舗の位置を示す地図表示画面を表示する。第2実施形態の地図表示画面は、第1実施形態の地図表示画面(図23参照)と同様なので、説明を省略する。
The
シェアボタン114は、Facebook(登録商標)及びTwitter(登録商標)等のシェアアプリのリストをポップアップ表示する。操作受付部15が、シェアアプリの選択を示す操作を受け付けると、当該シェアアプリを利用して表示部14に表示させた情報等を、他のユーザと共有することができる。
The
第2実施形態の情報処理方法は、第1実施形態の情報処理方法(図24参照)と同様なので、説明を省略する。また第2実施形態の情報処理装置10のハードウェア構成は、第1実施形態の情報処理装置10のハードウェア構成(図25参照)と同様なので、説明を省略する。
The information processing method of the second embodiment is the same as the information processing method of the first embodiment (see FIG. 24), and a description thereof will be omitted. The hardware configuration of the
以上説明したように、第2実施形態の情報処理装置10では、操作受付部15により、冷蔵庫を示す仮想物体40の可動部分の操作が受け付けられたときに、冷蔵庫を示す仮想物体40を表示するための表示設定情報に応じて、可動部分の表示を変更する。これにより物体が冷蔵庫(家電製品)である場合でも、第1実施形態の場合と同様に、冷蔵庫(家電背品)の可動部分を操作した場合のイメージをより明瞭にユーザに把握させることができる。
As described above, in the
(第3実施形態)
次に第3実施形態について説明する。第3実施形態の説明では、仮想物体40に対応する物体が車両である場合について説明する。なお第3実施形態の説明では、自動車の場合を例にして説明するが、車両は自動車に限らず任意の自動車でよい。第3実施形態の説明では、第1実施形態と同様の説明については省略し、第1実施形態と異なる箇所について説明する。
(Third embodiment)
Next, a third embodiment will be described. In the description of the third embodiment, a case where the object corresponding to the
第3実施形態の情報処理システム1の構成は、第1実施形態の情報処理システム1の構成(図1参照)と同じである。また第3実施形態の情報処理装置10の構成は、第1実施形態の情報処理装置10の構成(図4参照)と同じである。
The configuration of the
まず第3実施形態の表示設定情報(初期表示画像情報、及び、可動部分画像情報)について説明する。 First, display setting information (initial display image information and movable portion image information) according to the third embodiment will be described.
図32は第3実施形態の初期表示画像情報の例(自動車の場合)を示す図である。初期表示画像情報は、自動車を示す仮想物体40の表示を開始するときの状態を示す。初期表示画像情報は、車種名及び車体画像の項目を有する。車種名は自動車の車種の名称を示す。第3実施形態では、車種名が仮想物体40の種類を識別する識別情報である。車体は、自動車を示す画像を特定する特定情報を示す。特定情報は、例えば画像ファイル名である。車体画像は、情報処理装置10により撮影された撮影画像に含まれるARマーカー30の位置に表示される。
FIG. 32 is a diagram illustrating an example (in the case of an automobile) of the initial display image information according to the third embodiment. The initial display image information indicates a state when the display of the
例えば図32の例では、自動車Caに対応する仮想物体40が情報処理装置10で初期表示される場合、車体画像Caにより仮想物体40が表示される。
For example, in the example of FIG. 32, when the
次に第3実施形態の可動部分画像情報の例について説明する。 Next, an example of the movable part image information according to the third embodiment will be described.
図33は第3実施形態の可動部分画像情報の例(自動車の開閉部の場合)を示す図である。図33の可動部分画像情報は、車種名、開閉部名、開閉部(open)、開閉部(close)及び表示基準点の項目を有する。車種名は自動車の車種の名称を示す。開閉部名は自動車の開閉部の名称を示す。開閉部(open)は、開閉部を開く動作を示す画像(アニメーション)を特定する特定情報を示す。開閉部(close)は、開閉部を閉じる動作を示す画像(アニメーション)を特定する特定情報を示す。特定情報は、例えば画像ファイル名である。表示基準点は、開閉部を開く動作を示す画像(アニメーション)、及び、開閉部を閉じる動作を示す画像(アニメーション)を表示する位置を示す。 FIG. 33 is a diagram illustrating an example of movable part image information (in the case of an opening / closing unit of an automobile) of the third embodiment. The movable part image information in FIG. 33 includes items of a vehicle type name, an opening / closing section name, an opening / closing section (open), an opening / closing section (close), and a display reference point. The vehicle type name indicates the name of the vehicle type. The opening / closing section name indicates the name of the opening / closing section of the vehicle. The open / close unit (open) indicates specific information for specifying an image (animation) indicating an operation of opening the open / close unit. The opening / closing section (close) indicates specific information for specifying an image (animation) indicating an operation of closing the opening / closing section. The specific information is, for example, an image file name. The display reference point indicates a position at which an image (animation) indicating an operation of opening the opening / closing unit and an image (animation) indicating an operation of closing the opening / closing unit are displayed.
例えば図33の自動車Caの例では、自動車Caの運転席のドアを開く動作を示す画像(アニメーション)は、open画像Ca2である。また自動車Caの運転席のドアを閉じる動作を示す画像(アニメーション)は、close画像Ca2である。またopen画像Ca2及びclose画像Ca2を表示する位置は、表示基準点の座標(x_ca2,y_ca2,z_ca2)により特定される。 For example, in the example of the automobile Ca in FIG. 33, an image (animation) showing an operation of opening the door of the driver's seat of the automobile Ca is an open image Ca2. An image (animation) showing the operation of closing the door of the driver's seat of the car Ca is a close image Ca2. The positions at which the open image Ca2 and the close image Ca2 are displayed are specified by the coordinates (x_ca2, y_ca2, z_ca2) of the display reference point.
図34は第3実施形態の仮想物体40の例(自動車Caの場合)を示す図である。自動車Caを示す仮想物体40は、ボンネット61、運転席のドア62、助手席のドア63、右後部座席のドア64、左後部座席のドア65及びリアトランク66を有する。例えば自動車Caの車種表示画面で、運転席のドア62の操作ボタンが押下されると、表示設定情報に含まれる可動部分画像情報(図33参照)のopen画像Ca2により、運転席のドア62を開く動作を示す画像(アニメーション)が表示される。なお第3実施形態の自動車Caの車種表示画面は、第1実施形態の機種表示画面(図16)、及び、第2実施形態の機種表示画面(図30)と同様のため、説明を省略する。
FIG. 34 is a diagram illustrating an example (in the case of a car Ca) of the
図35は第3実施形態の仮想物体40の例(運転席のドア62が開いている場合)を示す図である。自動車Caの車種表示画面で、運転席のドア62の操作ボタンが再度、押下されると、表示設定情報に含まれる可動部分画像情報(図33参照)のclose画像Ca2により、運転席のドア62を閉じる動作を示す画像(アニメーション)が表示され、仮想物体40が図34の状態に戻る。
FIG. 35 is a diagram illustrating an example of the
第3実施形態の情報処理方法は、第1実施形態の情報処理方法(図24参照)と同様なので、説明を省略する。また第3実施形態の情報処理装置10のハードウェア構成は、第1実施形態の情報処理装置10のハードウェア構成(図25参照)と同様なので、説明を省略する。
The information processing method according to the third embodiment is the same as the information processing method according to the first embodiment (see FIG. 24), and a description thereof will be omitted. The hardware configuration of the
以上説明したように、第3実施形態の情報処理装置10では、操作受付部15により、自動車を示す仮想物体40の可動部分の操作が受け付けられたときに、自動車を示す仮想物体40を表示するための表示設定情報に応じて、可動部分の表示を変更する。これにより物体が自動車(車両)である場合でも、第1実施形態及び第2実施形態の場合と同様に、自動車(車両)の可動部分を操作した場合のイメージをより明瞭にユーザに把握させることができる。
As described above, in the
なお上述の第1乃至第3実施形態の説明では、仮想物体40に対応する物体が、プリンタ(オフィス機器)、冷蔵庫(家電製品)及び自動車(車両)の場合を例にして説明したが、当該物体は任意でよい。例えば仮想物体40に対応する物体は、タンス等の家具でもよい。
In the description of the first to third embodiments, the case where the object corresponding to the
1 情報処理システム
10 情報処理装置
11 記憶部
12 撮像部
13 表示制御部
14 表示部
15 操作受付部
16 生成部
17 通信部
18 GPS部
20 サーバ装置
30 ARマーカー
40 仮想物体
100 ネットワーク
301 制御装置
302 主記憶装置
303 補助記憶装置
304 表示装置
305 入力装置
306 通信装置
307 撮像装置
308 GPS装置
Claims (15)
前記位置識別情報により識別される前記撮像画像上の位置に、前記仮想物体が合成された合成画像を生成する生成部と、
表示部に表示された前記合成画像に含まれる前記可動部分の操作を受け付ける操作受付部と、
前記操作受付部により前記可動部分の操作が受け付けられたときに、前記仮想物体を表示するための表示設定情報に基づき前記可動部分の表示を制御する表示制御部と、を備え、
前記操作受付部は、前記仮想物体に対応する物体が設置される領域の制限を示す設置制限領域を指定する操作を更に受け付け、
前記生成部は、前記設置制限領域を示す情報が、前記撮像画像に更に合成された前記合成画像を生成する、
情報処理装置。 An imaging unit that acquires a captured image including position identification information that identifies a position at which a virtual object represented by an image having an immovable part and a movable part is displayed,
A generation unit configured to generate a combined image in which the virtual object is combined at a position on the captured image identified by the position identification information;
An operation receiving unit that receives an operation of the movable part included in the composite image displayed on the display unit,
A display control unit that controls display of the movable part based on display setting information for displaying the virtual object when an operation of the movable part is received by the operation reception unit ,
The operation receiving unit further receives an operation of specifying an installation restricted area indicating a restriction on an area where an object corresponding to the virtual object is installed,
The generation unit, the information indicating the installation restricted area, generates the combined image further combined with the captured image,
Information processing device.
前記表示設定情報を記憶する記憶部と、
を更に備える請求項1に記載の情報処理装置。 A communication unit that receives the display setting information;
A storage unit for storing the display setting information,
The information processing apparatus according to claim 1, further comprising:
請求項1又は2に記載の情報処理装置。 The display control unit changes a display mode of information indicating the installation restricted area when the virtual object does not fit in the installation restricted area,
The information processing device according to claim 1 .
前記生成部は、前記仮想着脱可能物体を含む前記仮想物体が、前記撮像画像に合成された前記合成画像を生成する、
請求項1乃至3のいずれか1項に記載の情報処理装置。 The operation receiving unit further receives an operation indicating selection of a virtual detachable object that is detachable from the virtual object,
The generating unit generates the composite image in which the virtual object including the virtual detachable object is composited with the captured image.
The information processing apparatus according to any one of claims 1 to 3.
前記生成部は、前記撮像画像に含まれる前記位置識別情報により識別される位置に、選択された前記識別情報により識別される前記仮想物体が合成された合成画像を生成する、
請求項1乃至4のいずれか1項に記載の情報処理装置。 The operation receiving unit receives an operation of selecting identification information of the virtual object from identification information of the plurality of virtual objects,
The generation unit generates a synthesized image in which the virtual object identified by the selected identification information is synthesized at a position identified by the position identification information included in the captured image,
The information processing apparatus according to any one of claims 1 to 4.
前記表示制御部は、前記表示態様が変更された前記仮想物体が合成された合成画像を表示部に表示する、
請求項1乃至5のいずれか1項に記載の情報処理装置。 The generation unit performs at least one of enlargement, reduction, movement, and rotation on the virtual object in accordance with at least one of a position and a shape of the position identification information on the captured image, Synthesizing a synthesized image in which the virtual object whose display mode has been changed is synthesized,
The display control unit displays, on a display unit, a combined image in which the virtual object whose display mode is changed is combined.
The information processing apparatus according to any one of claims 1 to 5.
請求項1乃至6のいずれか1項に記載の情報処理装置。 The display control unit displays a site on a network where an object corresponding to the virtual object is available on the display unit,
The information processing apparatus according to any one of claims 1 to 6.
請求項1乃至7のいずれか1項に記載の情報処理装置。 The display control unit displays a map indicating a location where an object corresponding to the virtual object is available on the display unit,
The information processing apparatus according to any one of claims 1 to 7.
請求項1乃至8のいずれか1項に記載の情報処理装置。 The display control unit displays information of an object corresponding to the virtual object on the display unit,
The information processing apparatus according to any one of claims 1 to 8.
請求項1乃至9のいずれか1項に記載の情報処理装置。 The display control unit displays information on a similar object having information similar to information on an object corresponding to the virtual object on the display unit.
The information processing apparatus according to any one of claims 1 to 9.
請求項1乃至10のいずれか1項に記載の情報処理装置。 The display control unit displays a moving image of the virtual object indicating a procedure for replacing parts of the object corresponding to the virtual object,
The information processing apparatus according to any one of claims 1 to 10.
前記表示制御部は、印刷が行われた際に前記印刷装置から印刷物が排紙される様子を示す前記仮想物体の動画像を、前記仮想物体に対応する印刷装置の印刷速度に応じて表示する、
請求項1乃至11のいずれか1項に記載の情報処理装置。 The object corresponding to the virtual object includes a printing device,
The display control unit displays a moving image of the virtual object indicating a state in which a printed material is discharged from the printing device when printing is performed, according to a printing speed of a printing device corresponding to the virtual object. ,
The information processing apparatus according to any one of claims 1 to 11.
請求項1乃至12のいずれか1項に記載の情報処理装置。 The display control unit displays a region selection screen for selecting a region from a plurality of regions on the display unit, and performs display control based on region setting information associated with the selected region.
The information processing apparatus according to any one of claims 1 to 12.
生成部が、前記位置識別情報により識別される前記撮像画像上の位置に、前記仮想物体が合成された合成画像を生成するステップと、
操作受付部が、表示部に表示された前記合成画像に含まれる前記可動部分の操作を受け付けるステップと、
前記操作を受け付けるステップにより前記可動部分の操作が受け付けられたときに、表示制御部が、前記仮想物体を表示するための表示設定情報に基づき前記可動部分の表示を制御するステップと、を含み、
前記受け付けるステップは、前記仮想物体に対応する物体が設置される領域の制限を示す設置制限領域を指定する操作を更に受け付け、
前記生成するステップは、前記設置制限領域を示す情報が、前記撮像画像に更に合成された前記合成画像を生成する、
情報処理方法。 The imaging unit acquires a captured image including position identification information for identifying a position at which a virtual object represented by an image having an immovable part and a movable part is displayed,
A generating unit that generates a synthesized image in which the virtual object is synthesized at a position on the captured image identified by the position identification information;
An operation receiving unit that receives an operation of the movable part included in the composite image displayed on the display unit;
When the operation of the movable part is received by the step of receiving the operation, a display control unit controls the display of the movable part based on display setting information for displaying the virtual object ,
The accepting step further accepts an operation of specifying an installation restricted area indicating a restriction on an area where an object corresponding to the virtual object is installed,
The generating step generates the combined image in which the information indicating the installation restricted area is further combined with the captured image,
Information processing method.
前記位置識別情報により識別される前記撮像画像上の位置に、前記仮想物体が合成された合成画像を生成する生成部と、
表示部に表示された前記合成画像に含まれる前記可動部分の操作を受け付ける操作受付部と、
前記操作受付部により前記可動部分の操作が受け付けられたときに、前記仮想物体を表示するための表示設定情報に基づき前記可動部分の表示を制御する表示制御部、として機能させ、
前記操作受付部は、前記仮想物体に対応する物体が設置される領域の制限を示す設置制限領域を指定する操作を更に受け付け、
前記生成部は、前記設置制限領域を示す情報が、前記撮像画像に更に合成された前記合成画像を生成する、
プログラム。 An information processing apparatus including an imaging unit that acquires a captured image including position identification information that identifies a position at which a virtual object represented by an image having an immovable part and a movable part is displayed,
A generation unit configured to generate a combined image in which the virtual object is combined at a position on the captured image identified by the position identification information;
An operation receiving unit that receives an operation of the movable part included in the composite image displayed on the display unit,
When the operation of the movable part is received by the operation receiving unit, the display control unit controls the display of the movable part based on display setting information for displaying the virtual object ,
The operation receiving unit further receives an operation of specifying an installation restricted area indicating a restriction on an area where an object corresponding to the virtual object is installed,
The generation unit, the information indicating the installation restricted area, generates the combined image further combined with the captured image,
program.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP15199902.6A EP3046080A3 (en) | 2015-01-14 | 2015-12-14 | Information processing apparatus, information processing method, and computer-readable recording medium |
US14/970,093 US9741174B2 (en) | 2015-01-14 | 2015-12-15 | Information processing apparatus, information processing method, and computer-readable recording medium |
CN201610045786.8A CN105786176B (en) | 2015-01-14 | 2016-01-13 | Information processing equipment, information processing method and computer-readable recording medium |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015005364 | 2015-01-14 | ||
JP2015005364 | 2015-01-14 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016136376A JP2016136376A (en) | 2016-07-28 |
JP6651777B2 true JP6651777B2 (en) | 2020-02-19 |
Family
ID=56512658
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015199712A Active JP6651777B2 (en) | 2015-01-14 | 2015-10-07 | Information processing apparatus, information processing method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6651777B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019012940A1 (en) * | 2017-07-14 | 2019-01-17 | 京セラドキュメントソリューションズ株式会社 | Display device and display system |
JP7089406B2 (en) * | 2018-05-28 | 2022-06-22 | 周平 原 | Storage device ordering system and ordering method |
WO2020032097A1 (en) * | 2018-08-10 | 2020-02-13 | 有限会社藤川樹脂 | Mobile terminal and management server |
US10491774B1 (en) * | 2018-12-20 | 2019-11-26 | Kyocera Document Solutions Inc. | Information processing apparatus |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5280475B2 (en) * | 2010-03-31 | 2013-09-04 | 新日鉄住金ソリューションズ株式会社 | Information processing system, information processing method, and program |
WO2012127605A1 (en) * | 2011-03-22 | 2012-09-27 | 株式会社うぶすな | Information processing device and information processing method |
JP5988563B2 (en) * | 2011-10-25 | 2016-09-07 | キヤノン株式会社 | Image processing apparatus, image processing apparatus control method and program, information processing apparatus and information processing apparatus control method, and program |
US9449342B2 (en) * | 2011-10-27 | 2016-09-20 | Ebay Inc. | System and method for visualization of items in an environment using augmented reality |
JP5831151B2 (en) * | 2011-11-14 | 2015-12-09 | コニカミノルタ株式会社 | Control processing program, image display apparatus, and image display method |
JP5966510B2 (en) * | 2012-03-29 | 2016-08-10 | ソニー株式会社 | Information processing system |
US9262865B2 (en) * | 2013-03-15 | 2016-02-16 | Daqri, Llc | Content creation tool |
US9286727B2 (en) * | 2013-03-25 | 2016-03-15 | Qualcomm Incorporated | System and method for presenting true product dimensions within an augmented real-world setting |
JP2014222410A (en) * | 2013-05-13 | 2014-11-27 | 京セラドキュメントソリューションズ株式会社 | Portable display device and display program, and operation guide system |
-
2015
- 2015-10-07 JP JP2015199712A patent/JP6651777B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016136376A (en) | 2016-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6582847B2 (en) | Information processing apparatus, information processing method, and program | |
US9741174B2 (en) | Information processing apparatus, information processing method, and computer-readable recording medium | |
JP6651777B2 (en) | Information processing apparatus, information processing method and program | |
JP6179653B1 (en) | Information processing apparatus and program | |
US10686927B2 (en) | Non-transitory computer-readable medium and portable device | |
CN107391061A (en) | Information processor and information processing method | |
JP6803647B2 (en) | Terminal equipment, printer control methods, and computer programs | |
JP2017213827A (en) | Information processing apparatus, information processing system, information processing method, and program | |
EP2869271A1 (en) | Method for composing image and mobile terminal programmed to perform the method | |
JP2022008569A (en) | Server device and information processing program of the same | |
CN108307084A (en) | Information processing equipment and information processing method | |
JP6277400B2 (en) | Image processing device, image data providing device, photography game device, image data providing system, image display method, and image display program | |
US9374482B2 (en) | Image processing apparatus, method for displaying preview image, and recording medium | |
JP6337736B2 (en) | Information processing apparatus, recording system, and program | |
JP2020047185A (en) | Information processing apparatus and program | |
JP2011222000A (en) | Image combination service system | |
JP7472681B2 (en) | Information processing device, program, and information processing method | |
JP6455551B2 (en) | Information processing apparatus and program | |
CN109151249B (en) | Image processing method, image processing apparatus, and storage medium | |
JP6256258B2 (en) | Image output device | |
JP2017016370A (en) | Terminal, image determination system, image determination method, and program | |
JP6350179B2 (en) | Information processing apparatus, recording system, and program | |
JP2020121565A (en) | Information processor, information processing system, information processing method, and program | |
JP2019068442A (en) | Information processing apparatus and program | |
JP2018067292A (en) | Information processing apparatus and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180910 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190422 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190521 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190719 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191224 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200106 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6651777 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |