JP7004057B1 - コンピュータプログラム、情報表示方法、情報表示装置及び情報表示システム - Google Patents

Abstract

【課題】対象物を実物大で把握できるように表示制御するコンピュータプログラム、情報表示方法、情報表示装置及び情報表示システムを提供する。【解決手段】コンピュータプログラムは、表示装置と接続されるコンピュータに、対象物の画像を取得し、前記対象物のサイズに関するサイズデータを取得し、前記サイズデータに基づき、前記画像を前記表示装置で前記対象物の実物大で表示させる際の指示データを作成する処理を実行させる。【選択図】図１

Description

本発明は、対象物を実物大で把握できるように表示制御するコンピュータプログラム、情報表示方法、情報表示装置及び情報表示システムに関する。

人又は物の大きさを反映して実物大で表示装置に表示させる方法について種々の提案がある。特許文献１には、画像データ（イメージファイル）に予め、寸法又は縮尺のデータを対応付けておき、その画像データに基づいて表示装置に画像を表示するに際しそのデータを参照し、表示装置の解像度に基づいて実物大で表示することが開示されている。

特許文献２には、プロジェクタで実物大で投影する画像に写る対象物の実寸を画像から算出し、画像内における前記被写体である対象物の大きさ及び投影距離に基づいて画像の拡縮比率を算出することが開示されている。特許文献２では、投影する画像を、対象物までの距離を測定する距離センサを用いて撮影された画像とし、その範囲の大きさと、撮像された画像の実寸が算出されている。

特開２００３－１２２５５２号公報 特開２０１８－１８０１２５号公報

特許文献１に開示されているように、実物大で画像を表示する際に必要なデータを予め対応付けて保存しておくことで実物大で表示することができる。特許文献２に開示されているように、必要なデータとして対象物までの距離センサつきのカメラで撮影した距離データ付きの画像データに限定すれば、実物大で表示することが可能である。

しかしながら、実寸大で表示させる目的で撮影されていない、不特定多数向けに公開されている画像データ、共有目的の画像データに対して、予め、実物大で表示するために必要なデータを対応付けておくことは不可能である。

本発明は、対象物を実物大で把握できるように表示制御するコンピュータプログラム、情報表示方法、情報表示装置及び情報表示システムを提供することを目的とする。

本開示の一実施形態のコンピュータプログラムは、表示装置と接続されるコンピュータに、対象物の画像を取得し、前記対象物のサイズに関するサイズデータを取得し、前記サイズデータに基づき、前記画像を前記表示装置で前記対象物の実物大で表示させる際の指示データを作成する処理を実行させる。

本開示の一実施形態の情報表示方法は、表示装置と接続されるコンピュータが、対象物の画像を取得し、前記対象物のサイズに関するサイズデータを取得し、前記サイズデータに基づき、前記画像を前記表示装置で前記対象物の実物大で表示させる際の指示データを作成する処理を含む。

本開示の一実施形態の情報表示装置は、対象物の画像を取得する画像取得部と、前記対象物のサイズに関するサイズデータを取得するサイズ取得部と、前記サイズデータに基づき、前記画像を表示させる際の指示データを作成する作成部と、前記画像を前記指示データに基づいて前記対象物を実物大で表示する表示部とを備える。

本開示の一実施形態の情報表示システムは、表示装置と、該表示装置とデータの送受信が可能な表示制御装置とを含み、前記表示制御装置は、対象物の画像を取得し、取得した画像に写る対象物のサイズに関するサイズデータを取得し、前記サイズデータに基づき、前記画像を前記表示装置で前記対象物の実物大で表示させる際の指示データを作成し、前記画像及び前記指示データを前記表示装置へ送信する。

本開示のコンピュータプログラム、情報表示方法、情報表示装置、及び情報表示システムでは、対象物のサイズを特定するためのサイズデータが取得され、サイズに関するサイズデータから、画像内の対象物が実物大で表示されるように指示データが作成される。対象物の画像に予め、撮影時の距離データや、寸法のデータが対応付けられていなくても、実寸で表示させるための指示データが作成できる。サイズデータは、対象物を特定するデータ（品番、識別コード）から取得されるか、対象物を掲載するＷｅｂデータ、又は、同一若しくは関連画像内から、あるいはユーザの操作に基づいて取得される。

本開示の一実施形態のコンピュータプログラムは、前記画像は、前記対象物１つに対して複数の画像を含み、前記コンピュータに、前記複数の画像に基づく指示データを各々作成する処理を実行させる。

本開示のコンピュータプログラムでは、対象物１つに対して複数の画像が取得され、それらの複数の画像夫々に対し、実寸で表示するための指示データが作成されてもよい。

本開示の一実施形態のコンピュータプログラムは、前記コンピュータに、前記複数の画像のいずれを表示させるかの選択を受け付け、選択された画像及び該画像の前記指示データを前記表示装置へ出力する処理を実行させる。

本開示のコンピュータプログラムでは、対象物に対して複数の画像を実寸大で表示できる場合、別途、いずれの画像を表示させるかの選択を、コンピュータで受け付けてもよい。

本開示の一実施形態のコンピュータプログラムは、前記画像は、対象物のイラスト、ポンチ絵、又は図面のデジタル画像であり、前記コンピュータに、前記サイズデータを、前記イラスト、ポンチ絵又は図面の中の寸法を示す数値から取得する処理を実行させる。

本開示のコンピュータプログラムでは、対象物のイラスト、ポンチ絵、又は図面が対象物の画像として取得された場合、そのイラスト、ポンチ絵、又は図面内に書き込まれている寸法を示す数字（数値）からサイズデータが取得されてもよい。イラスト、ポンチ絵、又は図面に基づいて対象物を実寸大で表示させることも可能である。

本開示の一実施形態のコンピュータプログラムは、前記画像は、前記対象物の電子商取引に係るＷｅｂページにおける商品画像であり、前記コンピュータに、前記サイズデータを、前記Ｗｅｂページから取得する処理を実行させる。

本開示のコンピュータプログラムでは、対象物の電子商取引に係るＷｅｂページにおける商品画像が対象物の画像として取得された場合には、そのＷｅｂページに記載されている対象物の寸法を示すデータがサイズデータとして取得されてもよい。Ｗｅｂページに記載されている情報から、寸法を示すデータであるか否かの判定は、学習によって得られてもよい。

本開示の一実施形態のコンピュータプログラムは、前記画像は、前記対象物を掲載するＷｅｂページ又はドキュメントデータにおける商品画像であり、前記コンピュータに、前記サイズデータを、前記Ｗｅｂページ又はドキュメントデータから取得する処理を実行させる。

本開示のコンピュータプログラムでは、対象物のメーカの商品Ｗｅｂページ又はドキュメントデータにおける商品画像が対象物の画像として取得された場合には、そのＷｅｂページ又はPDF 等のドキュメントデータに記載されている寸法を示すデータがサイズデータとして取得されてもよい。ドキュメントデータに記載されている情報から、寸法を示すデータであるか否かの判定は、学習によって得られてもよい。

本開示の一実施形態のコンピュータプログラムは、前記サイズデータは、前記対象物の縦、横、高さ、奥行き、及び径の寸法の内の少なくとも１つであり、前記コンピュータに、取得したサイズデータから、取得した寸法以外の寸法を算出する処理を実行させる。

本開示のコンピュータプログラムでは、サイズデータは、対象物の縦、横、高さ、奥行き、及び径の寸法の内の少なくとも１つであってもよい。コンピュータは、いずれか１つ及び画像から、他の寸法を推測算出することが可能である。

本開示の一実施形態のコンピュータプログラムは、前記コンピュータに、対象物を識別する識別情報に対応付けて、前記対象物の画像及び該画像を前記表示装置に表示させる際の指示データを記憶し、複数の対象物の画像を、各々の指示データに基づいて並列に前記表示装置に表示させる処理を実行させる。

本開示のコンピュータプログラムでは、異なる対象物の指示データを各々作成して記憶しておき、異なる対象物を実寸大で並べて表示装置に表示させることを可能とする。

本開示の一実施形態のコンピュータプログラムは、前記画像は、動画のフレーム画像であり、前記コンピュータに、前記フレーム画像それぞれに対して前記指示データを作成する処理を実行させる。

画像は動画のフレーム画像であって、フレーム画像夫々に対して指示データを作成することで実寸大で動画像を表示装置に表示させることも可能である。

本開示の一実施形態のコンピュータプログラムは、前記表示装置は、投影面へ画像を投影する投影装置であり、前記コンピュータに、前記投影装置に搭載されている投影部から前記投影面までの距離を測定するセンサから、測定された距離を取得し、取得した距離、及び前記サイズデータに基づき、前記投影装置によって前記画像を投影させる際の指示データを作成する処理を実行させる。

表示装置が投影装置である場合、投影装置で測定される投影面までの距離に基づいて、実寸大で表示するための指示データが作成される。投影装置に指示データを出力することによって、コンピュータで選択した画像を実寸大で投影装置から投影させることが可能である。

本開示の一実施形態のコンピュータプログラムは、前記表示装置は、カメラを備え、前記コンピュータに、前記カメラで撮影する撮影画像内の物の寸法を取得し、取得した寸法及び前記サイズデータに基づき、前記カメラで撮影している画像における前記対象物の大きさを決定し、前記表示装置に、前記カメラで撮影する撮影画像に、決定した大きさで前記対象物の画像を重畳させた画像を表示させる指示データを作成する処理を実行させる。

表示装置はカメラを備え、そのカメラで撮影した撮影画像を表示する表示装置であってもよい。カメラで撮影する撮影画像に写っている物体の寸法を求めることができれば、撮影画像に、コンピュータで選択した画像をその画像内での実寸大で重畳表示させた拡張現実（ＡＲ）表示が可能となる。

本開示の一実施形態のコンピュータプログラムは、前記表示装置は、三次元画像を表示する立体表示装置であり、前記コンピュータに、前記画像の三次元画像データを作成し、作成された前記三次元画像データに基づき前記表示装置に三次元画像を表示させる処理を実行させる。

表示装置は、三次元画像を表示することが可能な表示装置であってもよい。対象物の画像に基づいて三次元画像を作成し、しかも実寸大で表示装置に表示させることも可能である。

本開示によれば、対象物の電子商取引のためのＷｅｂデータ、対象物の情報共有のための写真入りのドキュメントデータ等、対象物の品番等に基づいて寸法を特定できるデータから、実物大で表示するためのデータを作成できる。本開示のコンピュータプログラムを用いることによって、汎用的な表示装置、又はプロジェクタで実物大表示することが可能になる。

第１の実施形態における表示制御システムの概要図である。 第１の実施形態の表示制御システムの各装置の構成を示すブロック図である。 表示制御装置の表示制御に係る処理手順の一例を示すフローチャートである。 表示制御装置の表示制御に係る処理手順の一例を示すフローチャートである。 操作画面の一例を示す図である。 操作画面の一例を示す図である。 操作画面の他の一例を示す図である。 操作画面の一例を示す図である。 操作画面の他の一例を示す図である。 操作画面の他の一例を示す図である。 操作画面の一例を示す図である。 操作画面の一例を示す図である。 操作画面の他の一例を示す図である。 操作画面の一例を示す図である。 操作画面の一例を示す図である。 表示装置での表示例を示す図である。 表示装置での表示例を示す図である。 変形例における表示制御に係る処理手順の一例を示すフローチャートである。 変形例における表示制御に係る処理手順の一例を示すフローチャートである。 複数の対象物に対応する操作画面の一例を示す図である。 複数の対象物に対応する操作画面の一例を示す図である。 複数の対象物に対応する操作画面の一例を示す図である。 複数の対象物に対応する操作画面の一例を示す図である。 表示装置での表示例を示す図である。 第２の実施形態における表示制御装置による表示制御処理の一例を示すフローチャートである。 第２の実施形態における操作画面及び画像の表示例を示す図である。 第３の実施形態における表示制御装置の構成を示すブロック図である。 第３の実施形態における表示制御装置による表示制御の処理手順の一例を示すフローチャートである。 第３の実施形態の操作画面の一例を示す図である。 第３の実施形態の操作画面の一例を示す図である。 第４の実施形態における表示制御システムの構成を示すブロック図である。 第４の実施形態における表示制御処理手順の一例を示すフローチャートである。

本開示をその実施の形態を示す図面を参照して具体的に説明する。

（第１の実施形態）
図１は、第１の実施形態における表示制御システム１００の概要図である。第１の実施形態における表示制御システム１００は、プロジェクタ１１及びスクリーン１２である表示装置１と、表示装置１における画像表示を制御する表示制御装置２とを含む。表示装置１と表示制御装置２とは、例えば無線通信であるネットワークＮを介してデータの送受信が可能である。

表示制御システム１００では、表示制御装置２は、ユーザの操作を受け付け、ユーザが選択する対象物の画像を、表示装置１にて実物大で表示するように指示データを作成し、表示装置１へ画像データ及び指示データを送信する。

図２は、第１の実施形態の表示制御システム１００の各装置の構成を示すブロック図である。第１の実施形態において表示装置１は、プロジェクタ（投影装置）１１及びスクリーン１２である。プロジェクタ１１は、光源１３、変調部１４、光学系１５、画像処理部１６、通信部１７、及びセンサ１８を筐体に備える。

光源１３は、レーザ、ＬＥＤ（Light Emitting Diode）、水銀ランプ等を用いる。変調部１４は、液晶素子又はＤＭＤ（登録商標）を用い、光源１３からの出射光を、画像処理部１６から与えられる信号に基づいて変調して光学系１５へ導く。光学系１５は、複数のレンズで構成され、変調部１４から入射した変調光を外部のスクリーン１２へ投射する。画像処理部１６は、与えられた画像データと、内部メモリに記憶された（又は与えられる）解像度等の設定データとに基づいて変調部１４へ信号を出力する。

通信部１７は、例えば無線ＬＡＮ又は Bluetooth（登録商標）等の無線通信部である。通信部１７はその他、シリアル通信部、ＵＳＢ（Universal Serial Bus）又はＨＤＭＩ（High-Definition Multimedia Interface、登録商標）に対応する通信部であってもよい。

センサ１８は、光学系１５の出射部からスクリーン１２までの距離を測定するセンサである。センサ１８は光又は超音波を用いたＴＯＦ（Time Of Flight）センサを用いるとよい。

画像処理部１６は、ＣＰＵ（Central Processing Unit ）及び／又はＧＰＵ（Graphics Processing Unit）を用いたプロセッサを有し、変調部１４へ信号を出力して表示を制御する。画像処理部１６は、通信部１７を介して表示制御装置２と通信接続が可能である。画像処理部１６は、通信部１７を介して表示制御装置２から画像データ及び指示データを受信する。画像処理部１６は、通信部１７を介して表示制御装置２からの問い合わせに応じてセンサ１８で得られた距離、及び内部メモリに記憶された設定データを表示制御装置２へ送信することが可能である。

表示装置１は、プロジェクタ１１とスクリーン１２の組み合わせによって立体表示が可能な表示デバイスであってもよい。

表示制御装置２は、例えばスマートフォン、タブレット端末のコンピュータである。表示制御装置２は、処理部２０、記憶部２１、通信部２２、表示部２３、及び操作部２４を備える。

処理部２０は、ＣＰＵ及び／又はＧＰＵを用いたプロセッサである。処理部２０は、記憶部２１に記憶されている表示制御プログラム２Ｐに基づき、表示部２３に操作画面を表示して操作を受け付け、操作に基づいて画像を実物大で表示するための指示データを作成し、表示装置１へ送信する処理を実行する。

記憶部２１は、例えばハードディスク、フラッシュメモリ、ＳＳＤ（Solid State Drive）等の不揮発性メモリを用いる。記憶部２１は、処理部２０が参照するデータを記憶する。記憶部２１は、表示制御プログラム１Ｐを記憶する。表示制御プログラム２Ｐは、記録媒体９に記憶してある表示制御プログラム９Ｐを処理部２０が読み出して記憶部２１に複製したものであってもよい。記憶部２１は、表示制御プログラム２Ｐに基づいて取得した画像データ、表示装置１から取得する設定データ、作成する指示データ等を記憶する。

通信部２２は、ネットワークＮを介した表示装置１との通信を実現する。通信部２２は、例えば無線ＬＡＮ又は Bluetooth（登録商標）等の無線通信部である。通信部２２は、シリアル通信部、ＵＳＢ又はＨＤＭＩ対応の通信部であってもよい。処理部２０は、通信部２２によって表示装置１との間でデータを送受信する。

表示部２３は、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等のディスプレイである。表示部２３は、操作画面を表示する。表示部２３は、タッチパネル内蔵型ディスプレイであってもよい。

操作部２４は、処理部２０との間で入出力が可能なユーザインタフェースである。操作部２４は例えば、表示部２３に内蔵されるタッチパネルである。操作部２４は、物理ボタンであってもよい。操作部２４は、音声入力部であってもよい。操作部２４は、ユーザによる操作データを処理部２０へ通知する。

このような構成の表示装置１及び表示制御装置２において、表示制御装置２による制御により表示装置１に対象物の画像が実物大で表示される過程についてフローチャートを参照して説明する。

図３及び図４は、表示制御装置２の表示制御に係る処理手順の一例を示すフローチャートである。表示制御装置２は、表示制御プログラム２Ｐを起動すると、これに基づいて以下の処理を実行する。

処理部２０は、表示制御プログラム２Ｐに基づいて表示部２３に表示される操作画面で受け付ける情報から、表示対象物の画像データを取得する（ステップＳ１０１）。

ステップＳ１０１で表示される操作画面は、第１の実施形態では表示制御プログラム２Ｐ（アプリ）の画面である（図５参照）。操作画面は、Ｗｅｂブラウザ、又はドキュメントデータの表示プログラムの画面であってもよい。

ステップＳ１０１において、処理部２０は、画像データそのもの（ JPGデータ、 PNGデータ）の選択を受け付け、これを取得してもよい。処理部２０は、Ｗｅｂページ、Ｗｅｂ上でアクセス可能なドキュメントデータ、又は記憶部２１内のフォルダへのリンク情報を受け付け、リンク情報によってアクセスしたページ又はドキュメントデータから画像を取得してもよい。

処理部２０は、取得した画像データの画像を表示部２３の操作画面上に表示し（ステップＳ１０２）、画像の選択又は確認の操作を受け付ける（ステップＳ１０３）。

ステップＳ１０１でリンク情報によって画像データを取得した場合、ステップＳ１０２で処理部２０は、画像データが複数含まれているリンク先のＷｅｂページ又はドキュメントデータから、複数の画像を抽出し、操作画面上に識別可能に表示する。ステップＳ１０３で処理部２０は、複数の画像を表示している場合、いずれかの選択を受け付ける。

処理部２０は、選択された画像又は確認された画像の画像データに対し、その画像データを含むＷｅｂページ若しくはドキュメントデータから、又は、画像データ自体から、表示対象物のサイズデータを取得する（ステップＳ１０４）。処理部２０は、サイズデータとして幅、高さ等の寸法の内のいずれか１つを取得してもよい。

ステップＳ１０４において処理部２０は、画像データがＷｅｂページ内の画像である場合、Ｗｅｂページ内の寸法を示すテキストを検索して取得する。画像データがドキュメントデータ内である場合、ドキュメントデータ内の寸法を示すテキスト（「サイズ」、「size」、「梱包サイズ」、「幅」、「高さ」、「厚み」、「奥行」、「縦（たて）」、「横（よこ）」、「Ｗ」、「Ｈ」、「Ｄ」、等）を検索し、対応する数値を取得する。画像データ自体又は画像データを含むＷｅｂページ又はドキュメントデータに、表示対象物を特定する商品名、型番が含まれる場合、処理部２０は、商品名、又は型番を利用してインターネット上で寸法を検索取得してもよい。

ステップＳ１０４において処理部２０は、画像データが図面、イラスト、ポンチ絵である場合、画像データの画像に対して文字認識を実行し、寸法に対応する数値を認識する。処理部２０は、画像内の一辺、径等を指し示している場合、指示されている箇所とその数値を認識することが好ましい。

処理部２０は、取得したサイズデータに基づいて、対象物の実物大のサイズと、画像内の対応箇所とを決定する（ステップＳ１０５）。

ステップＳ１０５で処理部２０は、例えば、「高さ」という寸法（数値）のみ１つを取得した場合、画像データの画像から、その他、サイズを特定するためのデータ（幅、奥行）を決定する。例えばステップＳ１０５において処理部２０は、「高さ」の寸法を取得できた場合、対象物の画像が、斜視図であるか否かを判定する。処理部２０は、斜視図でないと判定した場合には画像を対象物の正面図であるとして扱い、二次元画像内の対象物に対応する領域の縦方向の長さを「高さ」としたときの横方向の長さを「幅」と決定できる。斜視図であるか否かは、例えば処理部２０は、画像データのキャプションから判定してもよいし、画像処理によって輪郭を認識し、画像における縦横の方向に対する輪郭の角度から判定してもよい。ステップＳ１０５の処理については図を参照して詳細を後述する。

処理部２０は、表示させる表示装置１との接続操作（表示装置１での視聴開始）を受け付ける（ステップＳ１０６）。接続操作に応じて処理部２０は、通信部２２を介し、起動した表示装置１と通信接続をＯＮとし（ステップＳ１０７）、表示装置１の解像度及びスクリーン１２までの距離を含む表示環境データを取得する（ステップＳ１０８）。

ステップＳ１０７，Ｓ１０８において処理部２０は、表示装置１の通信部１７と無線通信によって接続すると、表示装置１の画像処理部１６へ表示環境データのリクエストを送信する。表示装置１は、起動すると画像処理部１６が通信部１７によって通信部２２と通信接続し、内部メモリに記憶されている解像度、投影距離（範囲）、明るさ等の表示環境データを表示制御装置２へ向けて送信する。表示装置１は、センサ１８によってスクリーン１２までの距離を測定して表示環境データに含める。

処理部２０は、取得した表示環境データに基づき、表示装置１の変調部１４における所定画素数分の長さとスクリーン１２上の長さとの対応関係を算出する（ステップＳ１０９）。

処理部２０は、表示対象物のサイズデータと表示環境データをもとに、画像を表示画面へ実寸で表示させるように画像を縮小、拡大させる指示データを作成し、画像処理部１６に送信する（ステップＳ１０９～ステップＳ１１２）。具体的には、処理部２０は、ステップＳ１０５で算出した対象物の実物大のサイズと、ステップＳ１０９で算出した画素数及びスクリーン１２上の長さの対応関係に基づき、対象物の画像の拡縮率を算出する（ステップＳ１１０）。

処理部２０は、ステップＳ１１０で算出した拡縮率で対象物の画像の画像データを変換した画像データを指示データとして作成し（ステップＳ１１１）、画像処理部１６へ送信する（ステップＳ１１２）。

ステップＳ１１１において処理部２０は、元の画像データと拡縮率のデータとを指示データとしてもよい。

指示データを受信する表示装置１は、指示データに基づいて画像処理部１６にて投影を開始する。表示装置１の画像処理部１６は、表示装置１の筐体が動かされることを前提として、センサ１８で距離を測定している間、通信部１７から距離データを継続して表示制御装置２へ送信する。

処理部２０は、以後、画像表示の終了指示（表示装置１での視聴終了）を受け付けたか否かを判断する（ステップＳ１１３）。終了指示を受け付けないと判断された場合（Ｓ１１３：ＮＯ）、距離データを取得し、距離に変化がないか否かを判断する（ステップＳ１１４）。

距離に変化がないと判断された場合（Ｓ１１４：ＮＯ）、処理部２０は、指示データの出力を継続し（ステップＳ１１５）、処理をステップＳ１１３へ戻す。

距離に変化があると判断された場合（Ｓ１１４：ＹＥＳ）、処理部２０は処理をステップＳ１０９へ戻し、対応関係を算出し直して指示データを出力する。

ステップＳ１１３にて終了指示を受け付けたと判断された場合（Ｓ１１３：ＹＥＳ）、処理部２０は表示装置１との通信接続をＯＦＦとして（ステップＳ１１６）、処理を終了する。

図３及び図４のフローチャートに示した処理手順を、画面例及び表示例を参照して具体的に説明する。図５は、操作画面２３０の一例を示す図である。図５の操作画面２３０は、表示制御プログラム２Ｐを起動させた際に表示される画面である。操作画面２３０は、画像データを受け付けるボックスコントロール２３１を含む。ボックスコントロール２３１は、画像データを含むＷｅｂページのリンク情報を受け付ける。ボックスコントロール２３１の参照ボタン２３２をタップした場合、記憶部２１に記憶してある画像データの一覧リストが表示される。Ｗｅｂブラウザ画面のメニュー画面上で、表示制御プログラム２Ｐでその閲覧中のページを開く、というアプリ連携がされてもよい。

図６は、操作画面２３０の一例を示す図である。図６の操作画面２３０は、図５の操作画面２３０において参照ボタン２３２のタップによって画像データを一覧から選択した場合の表示例である。図６の操作画面２３０では、処理部２０が記憶部２１から取得した画像データの画像２３３が表示されており、画像２３３を選択することが可能である。図６に示すように画像が１枚である場合も、これを選択することで実物大表示させる画像の選択が可能である。画像２３３を表示する操作画面２３０には、画像２３３を選択した後に表示処理へ進むためのボタン２３４が含まれている。画像２３３を選択したことを契機に次の処理へ進んでもよい。

図７は、操作画面２３０の他の一例を示す図である。図７の操作画面２３０は、図５の操作画面２３０においてボックスコントロール２３１に、対象物（図７の例ではラップトップ型パーソナルコンピュータ）の商取引Ｗｅｂページ、又は製品情報Ｗｅｂページのリンク情報が入力された場合の表示例である。Ｗｅｂページに限らず、Ｗｅｂ上に公開されているドキュメントデータ（例えばpdfファイル、プレゼン資料）であってもよい。記憶部２１に記憶されているドキュメントデータであってもよい。

図７の操作画面２３０では、リンク情報に基づいて処理部２０が取得した画像データの複数の画像２３３が表示されており、いずれかの画像２３３を選択することが可能である。処理部２０は、リンク情報に基づいて取得したＷｅｂページ内の画像データを取得し、表示している（Ｓ１０２）。複数の画像データが含まれている場合、処理部２０は複数の画像データを取得し、図７に示すように、画像を複数並べ、選択を受け付ける。図７の例では、対象物のＷｅｂページに含まれている宣伝用の他の画像の画像データも取得され、表示されているので、ユーザは１又は複数の画像２３３を選択する。図７においても、操作画面２３０には次の処理へ進むためのボタン２３４が含まれている。

図８は、操作画面２３０の一例を示す図である。図８の操作画面２３０は、図６又は図７の操作画面２３０にて画像２３３が選択された後の表示例である。画像２３３が選択されると、処理部２０はサイズデータを取得する（Ｓ１０４）。サイズデータの操作画面２３０は、図８に示すようにサイズ入力用のボックスコントロール２３５を含む。ユーザは、ボックスコントロール２３５に対し操作部２４によって数値を入力し、これにより処理部２０は、サイズデータを取得できる。サイズデータを入力可能な操作画面２３０は、表示装置１の選択、接続を実行するためのボタン２３６を含む。

図９は、操作画面２３０の他の一例を示す図である。図９の操作画面２３０は、図８に示した操作画面２３０への入力操作によってサイズデータが取得された後に表示される例である。ステップＳ１０５及びＳ１０６により、処理部２０が自動的にサイズデータを取得できた場合、図６又は図７の操作画面２３０にて画像２３３が選択された後、図８に示す状態を介さずに、図９の画面に遷移できる。

図９には、ボックスコントロール２３５に、取得されたサイズデータがミリ単位で表示されている。単位はセンチ単位、インチ単位へ切り替えが可能であってもよい。取得ミスに対応させるべく、各ボックスコントロール２３５内の数値の入れ替えが可能であってもよい。

図９では、画像２３３上に、取得されたサイズデータから決定された画像内での対応箇所を示す線分及び記号（Ｄ、Ｗ）が表示されている（Ｓ１０５）。図９に示すように、「高さ」「幅」「奥行」を取得できる場合、処理部２０は、画像内の対象物に対応する領域（図９中の符号３３０で示す）の輪郭を認識し、領域３３０の縦方向の長さを「高さ（Ｈ）」と決定できる。なお図９では、後述するように、「高さ」は他のサイズデータと合致しないので「（？）不明」と表示されている。領域３３０の輪郭の他の線が、画像における縦横に対してある角度（例えば５度）以上である場合、処理部２０は、斜視図として判定できる。処理部２０は、斜視図と判定した場合、輪郭の他の線の内、画像の横（水平）方向に対して最も浅い角度の線分の長さを「幅」（又は横）と決定し、「幅」の線分と異なる角度の線分を「奥行」と決定できる。処理部２０は逆に、画像の縦（垂直）方向に最も浅い角度の線分の長さを「奥行」と決定してもよい。

処理部２０は、「高さ」、「幅」、「奥行」と決定した画像内の線分の長さを画素数単位で算出し、線分同士の比率が、取得したサイズデータと合致するか否かを判断して修正してもよい。例えば図９の例で、「幅」と「奥行」とを逆に決定し、取得したサイズデータと合致しない場合、「幅」と「奥行」の決定を逆に入れ替える。図９の例では、取得したサイズデータの「高さ」の数値は、ラップトップ型のパーソナルコンピュータを畳んだ状態の厚みに対応するので、「高さ」の比率が「幅」及び「奥行」両方に対して、取得したサイズデータと合致しない。斜視図における「高さ」については、優先順位を下げておき、処理部２０は、高さに対応する箇所は「不明」として決定してよい。

処理部２０は、取得したサイズデータにおける「高さ」：「幅」：「奥行」の比率と、画像内で認識された領域３３０の縁の寸法の比から対応箇所を決定してもよい。「高さ」の寸法が極端に短い薄い対象物の場合、上述したように、「高さ」に対応する箇所は不明として決定してよい。

処理部２０は、斜視図でないと判定できた場合、画像の縦方向（±５度等）の線分の長さを「高さ（Ｈ）」と決定し、横方向（±５度等）の線分の長さを「幅」と決定できる。

図９では、決定した対応箇所（線分）に、対応箇所を識別するための記号のオブジェクトを表示している。図９の例では、「幅」の対応箇所に「Ｗ」のオブジェクト、「奥行」の対応箇所に「Ｄ」のオブジェクトを表示している。タップによる選択によって他の記号（Ｄ→Ｗ、Ｗ→Ｄ）への変更又は入れ替えが可能であることが好ましい。図９の例では、上述したように、高さ（Ｈ）については他と合致しないため「？」のオブジェクトが表示され、不明であることが示されている。

サイズデータは、上述したように「幅」、「高さ」及び「奥行」全てのデータの入力又は自動取得が達成されなくともよい（Ｓ１０４）。図１０は、操作画面２３０の他の一例を示す図である。図１０の操作画面２３０では、「幅」のサイズデータ、１つのみが入力、又は取得され、対応箇所が決定された状態を示している。１つのサイズのみであっても、対応箇所が確定できれば（Ｓ１０５）、後述の実物大表示は可能である。

図１１は、操作画面２３０の一例を示す図である。図１１は、図８－図１０の操作画面２３０で少なくとも１つのサイズデータ及び対応箇所が決定された状態で、ボタン２３６が選択された場合に表示される画面の例を示す図である。図１１の操作画面２３０は、表示装置１の選択画面２６０を含む。図１１の例では、表示装置１は通信部２２を介して検出された１つの表示装置１の名称が表示されている。通信部２２が無線ＬＡＮである場合、複数表示されてもよいし、履歴からペアリング可能な表示装置１のリストが表示されてもよい。選択画面２６０で、通信部２２による通信接続（ペアリング）用の設定画面が表示されてもよい。

図１１の操作画面２３０は、選択された表示装置１での視聴を開始させる開始ボタン２３７を含む。開始ボタン２３７がタップによって選択されると、処理部２０は、表示装置１と通信接続をＯＮとし（Ｓ１０７）、解像度及び距離のデータを取得する（Ｓ１０８）。

例えば処理部２０は、表示装置１から、距離２メートルで６０インチ相当の画面サイズを、解像度ＷＸＧＡ（１２８０×８００）で表示するという表示環境データを取得する。６０インチ相当の画面サイズは横（水平）が１２２０ミリメートル、縦（垂直）が７６８ミリメートルである。この表示環境データにより処理部２０は、表示装置１における画素数とスクリーン１２上の長さとの対応関係を１ミリメートル当たり、１．０５（ピクセル）と算出する（Ｓ１０９）。

処理部２０は、実物大サイズで４２０ミリメートルの幅の画像をスクリーン１２で表示するには、その縁が４４０ピクセル分で投影される必要があると算出できる。元の画像の幅に該当する長さが画像内で例えば２００ピクセルであると算出すると、処理部２０は、２．２倍に拡大した画像の画像データを表示装置１へ出力すべきであると決定し（Ｓ１１０）、２．２倍に拡大した画像の画像データを指示データとして作成する（Ｓ１１１）。画像データ及び拡縮率を指示データとして作成してもよい。

図１２は、操作画面２３０の一例を示す図である。図１２の操作画面２３０は、表示装置１に画像を表示中であることを示し、表示を終了させるボタン２３８を含む。ボタン２３８が選択されると処理部２０は、画像表示の終了指示を受け付けたと判断する（Ｓ１１３：ＹＥＳ）。図１２の操作画面２３０には、表示対象物の画像２３３が含まれている。

これにより、撮影時に予め取得してある距離データが存在しないような汎用的に取得できる画像データについても、図１に示したように実物大での表示が可能である。

図５から図１２の操作画面２３０を参照した処理手順の説明においては、表示対象の画像は１つであったが、複数の画像が選択可能であってもよい。図１３は、操作画面２３０の他の一例を示す図である。図７に示したように、複数の画像が取得できた場合、操作画面２３０は、表示する画像を複数選択可能である。図１３は、図７の操作画面２３０にて複数の画像を選択した場合の画面例である。図１３の例では、１つのサイズデータに対して複数の画像が含まれており、「幅」に対応する長さのみ取得されていることが示されている。図１３の例では、選択された複数の画像２３３それぞれに対して、領域３３０が認識され、「幅」の対応箇所のオブジェクトが表示された状態が示されている。

図１３に示したように、同一の対象物に対する複数の画像を選択した場合、処理部２０は、複数の画像の識別情報（画像データ名、又は番号を付与）に対応付けて拡縮率を算出して指示データを作成する。例えば、図１３の操作画面２３０で選択されている正面図の画像は、対象物として特定される領域３３０の「幅」が、１４００ピクセルであると算出されると、処理部２０は、正面図の画像にてついては０．３倍に縮小した画像データを作成して出力する。

図１４は、操作画面２３０の一例を示す図である。図１４の操作画面２３０は、複数の画像を表示装置１に表示中に表示される例を示す。図１４の操作画面２３０には、画像の切り替えボタン２３９が含まれている。図１４の操作画面２３０では、正面図の画像を表示中であることが示されている。処理部２０は、正面図の画像の画像データを０．３倍縮小させた画像データを指示データとして表示装置１へ出力している。切り替えボタン２３９が選択された場合、処理部２０は、斜視図の画像の画像データを２．２倍した画像データを指示データとして表示装置１へ出力する。

これにより、同一の対象物について異なる画像をいずれも実物大で表示させることができ、ユーザは実物大のイメージをより掴み易い。

図１５は、操作画面２３０の一例を示す図である。図１５の操作画面２３０では、画像として、写真画像のようなものではなく、イラスト、ポンチ絵といった画像（デジタル画像）が選択されている。イラスト、ポンチ絵をカメラで撮影した画像、スキャナで読み取った画像であってもよい。図１５に示すように、選択された画像は、対象物が簡略的に描かれたものであって、寸法が画像内に記載されている。図５の操作画面２３０中のボタン２３４が選択された場合、処理部２０は、画像に対して輪郭抽出処理及び文字認識処理を実行し、サイズデータの「幅」を１２０（又は８０）ミリメートル、「奥行」を８０（又は１２０）ミリメートルと決定し、「高さ」を１００ミリメートルと取得する（Ｓ１０４）。いずれか１つの寸法のみ（例えば高さのみ）取得してもよい。

処理部２０は、画像における１００ミリメートルに対応する一辺の画素数、例えば３００ピクセルを算出し、１ミリメートル当たり３ピクセルであると算出できる。表示装置１が、距離２メートルで６０インチ相当の表示環境データを取得した場合（Ｓ１０８）、スクリーン１２上で１ミリメートルあたり１．０５（ピクセル）であるから、処理部２０は９５ピクセル分で投影される必要があると算出できる。処理部２０は、画像データを約０．３３倍に縮小し、表示装置１へ出力する。

図１６及び図１７は、表示装置１での表示例を示す図である。図１６及び図１７は、スクリーン１２にプロジェクタ１１から画像が投影されている様子を模式的に示す。図１６では、プロジェクタ１１の光学系１５からスクリーン１２までの距離が２メートルであって、図１５で選択された画像が実物大で表示されている。図１７では、プロジェクタ１１の光学系１５からスクリーン１２までの距離が１．２メートルである。表示中に距離が１．２メートルに変化した場合（Ｓ１１４：ＹＥＳ）、処理部２０はスクリーン１２上の長さと画素数との対応関係は、１ミリメートルあたり１．６（ピクセル）と算出し直す（Ｓ１０９）。処理部２０は、１００ミリメートルの高さのイラスト（ポンチ絵）を、プロジェクタ１１によって実物大で表示するためには、画像データを０．５倍に縮小するとして指示データを作成し（Ｓ１１１）、表示装置１へ送信する（Ｓ１１２）。

このように、図１６及び図１７に示すように、光学系１５からスクリーン１２までの距離が変化しても、スクリーン１２における画像の大きさを実物大のまま変わらずに表示させることができる。処理部２０は、図１５に示したような、手書きの図に１つのみ寸法が書き込まれたものであっても、上述の処理に基づき、１つのサイズデータを取得し、表示装置１における表示環境に応じて拡縮率を算出し、実物大で表示することができる。

（変形例）
図１８及び図１９は、変形例における表示制御に係る処理手順の一例を示すフローチャートである。図１８及び図１９のフローチャートに示す処理手順の内、図３及び図４のフローチャートに示した処理手順と共通する手順については、同一のステップ番号を付して詳細な説明を省略する。

変形例では、処理部２０は、選択した画像に対して実物大のサイズと、画像内の対応箇所とを決定すると（Ｓ１０５）、比較する対象物を追加する選択がされたか否かを判断する（ステップＳ１２５）。

ステップＳ１２５にて選択されないと判断された場合（Ｓ１２５：ＮＯ）、処理部２０は現状の対象物に対してステップＳ１０６の処理を続ける。

ステップＳ１２５にて選択されたと判断された場合（Ｓ１２５：ＹＥＳ）、処理部２０は、対象物の識別情報（例えば番号）を付与し（ステップＳ１２６）、追加対象物について識別情報を対応付けてステップＳ１０１からステップ１０５の処理を実行する。

表示装置１における所定画素数分の長さとスクリーン１２上の長さとの対応関係を算出すると（Ｓ１０９）、各対象物の画像それぞれについて対象物の実物大のサイズと、ステップＳ１０９で算出した対応関係に基づき、対象物の画像の拡縮率を算出する（ステップＳ１３１）。

処理部２０は、各対象物について画像を拡縮率に応じて変換した画像データを指示データとして作成（ステップＳ１３２）、指示データを画像処理部１６へ送信する（ステップＳ１３３）。ステップＳ１３２において処理部２０は、各々の拡縮率で変換した画像を並べた画像の画像データである指示データを作成してもよいし、異なる画像データ及び各々に対する拡縮率を対応付けた指示データを作成してもよい。

処理部２０は、終了指示を受け付けたと判断されるまで、各対象物の指示データに基づいて画像処理部１６にて投影を開始、継続する。

対象物の追加は、図１８及び図１９のフローチャートに示した手順に限らず、ステップＳ１０１からステップＳ１０３の実行後に追加する選択がされたか否かの判断を実行してもよい。

図２０は、複数の対象物に対応する操作画面２３０の一例を示す図である。図２０の操作画面２３０は、１つ目の対象物の画像の取得、サイズデータの取得及び対応箇所の決定が終了した後に表示される画面である。図２０の操作画面２３０は、比較する対象として対象物を追加する選択をするための追加ボタン２４０を含む。追加ボタン２３９が選択された場合、処理部２０は、追加する対象物の画像の取得（Ｓ１０１）から開始する。

図２１は、複数の対象物に対応する操作画面２３０の一例を示す図である。図２１の操作画面２３０では、追加する対象物（形及び大きさの異なる時計）の商取引Ｗｅｂページ又は製品情報Ｗｅｂページのリンク情報が入力され、リンク情報に基づいてＷｅｂページ内の画像データが取得され、画像２３３が表示されている。

図２２は、複数の対象物に対応する操作画面２３０の一例を示す図である。図２３の操作画面２３０では、追加された対象物のサイズデータが取得され、実物大サイズと対応箇所が決定された状態で表示されている。図２２の例では、１つ目の対象物（時計）の実物大サイズが「幅」及び「高さ」それぞれ２８０ミリメートルであり、追加された対象物（時計）の実物大サイズが「幅」が２１０ミリメートル、「高さ」が２００ミリメートルである。

図２２の操作画面２３０には、表示装置１の選択画面２６０が含まれている。ユーザが表示装置１を選択し、開始ボタン２３７をタップによって選択すると、処理部２０は、通信接続をＯＮとして表示処理を開始する。

処理部２０は、距離２メートルを含む表示環境データを取得する。処理部２０は、画素数とスクリーン１２上の長さとの対応関係から、元の画像における時計の「幅」が１４００ピクセルである場合、「幅」２８０ミリメートルの時計を表示装置１に実物大で表示するためには、約０．２１倍の拡縮率が必要であると算出する。追加された対象物の画像における時計の「幅」が１０００ピクセルである場合、処理部２０は、「幅」２１０ミリメートルの時計を表示装置１に実物大で表示するためには、約０．２２倍の拡縮率が必要であると算出する。

処理部２０は、１つ目の対象物の画像と、追加された対象物の画像とを並べた合成画像の画像データを指示データとして作成してもよいし、異なる画像データを切り替えさせる指示データを作成してもよい。

図２３は、複数の対象物に対応する操作画面２３０の一例を示す図である。図２３の操作画面２３０は、表示装置１に複数の対象物の画像を表示中であることを示し、表示を終了させるボタン２３８を含む。図２３の操作画面２３０には、異なる対象物の画像を並べた画像２３３が含まれている。

図２４は、表示装置１での表示例を示す図である。図２４は、スクリーン１２にプロジェクタ１１から画像が投影されている様子を模式的に示す。図２４では、複数の対象物の画像を、各々の指示データに基づいて並列に前記表示装置に実物大で表示させている。このように、任意の画像データから、異なる対象物夫々を実物大表示で並べて表示することが可能である。プロジェクタ１１として小型のものを用いることによって、例えば、設置する場所に照射して実物大で対象物をその場所に設置した場合にどのような大きさであるかを、並べて把握することができる。例えば壁に取り付ける対象物（時計）の大きさを、プロジェクタ１１から壁をスクリーン１２として実物大で表示させることができる。これにより、ユーザは、実際のイメージを比較によって把握することが可能である。

異なる対象物の画像を実物大で表示する場合、図２３及び図２４に示したように画像を各々の実物大で並べて表示することに限らず、１つずつ、切り替え可能に表示してもよい。この場合、図２３の表示中の画像２３３を切り替えるためのボタンが、図１４に示した切り替えボタン２３９のように表示されてもよい。切り替えボタン２３９が選択される都度、巡回的に、複数の対象物の画像が夫々、表示装置１で実物大で表示される。

（第２の実施形態）
第２の実施形態の表示制御システム１００は、表示制御装置２のみで構成される。第２の実施形態では、表示制御装置２の表示部２３にて対象物の画像を実物大で表示する。実施の形態１における表示装置１が表示部２３に代替される。第２の実施形態において表示制御装置２は、スマートフォンよりも大型の表示部２３を有するコンピュータである。表示制御装置２は、タブレット端末、又は、デスクトップ型若しくはラップトップ型パーソナルコンピュータ等である。表示制御装置２のハードウェア構成は、第１の実施形態における表示制御装置２の構成と同様であるから、同一の符号を付して構成部の詳細な説明を省略する。

表示制御装置２の記憶部２１には、表示部２３の解像度及びサイズが記憶されている。また、第２の実施形態において表示制御プログラム２Ｐは、記憶部２１に記憶されているのみならず、Ｗｅｂアプリケーションプログラムであってもよいし、クラウド上で提供される複数のアプリケーションプログラムの内の１つとして提供されてもよい。表示制御プログラム２ＰはＷｅｂブラウザプログラムのプラグインプログラムの１つとして、Ｗｅｂブラウザで閲覧するＷｅｂページ内の画像データの画像を実物大で表示する機能を実現してもよい。

図２５は、第２の実施形態における表示制御装置２による表示制御処理の一例を示すフローチャートである。図２５のフローチャートに示す処理手順の内、第１の実施形態における図３及び図４のフローチャートに示した処理手順と共通する手順については同一のステップ番号を付して詳細な説明を省略する。

処理部２０は、操作画面２３０に入力される情報に基づき画像データを取得し（Ｓ１０１）、対象物のサイズデータを取得し（Ｓ１０４）、実物大サイズ及び画像内の対応箇所を決定すると（Ｓ１０５）、表示部２３の表示環境データを取得する（ステップＳ２０１）。

ステップＳ２０１において処理部２０は、表示部２３のサイズ及び解像度を含む表示環境データを、記憶部２１から取得する。処理部２０は、表示部２３の内部メモリからデータを取得してもよい。表示環境データは、設定されてある解像度及び大きさのほか、複数画面であるか否か等を含んでもよい。

処理部２０は、取得した解像度及び大きさから、拡縮率を算出し（Ｓ１１０）、算出した拡縮率に基づいて表示対象の画像データを変換して指示データを作成し（Ｓ１１１）、表示部２３に表示させる（ステップＳ２０２）。

第２の実施の形態では、表示部２３は投影装置ではないので、距離のデータは不要である。処理部２０は、終了指示を受け付けたか否かを判断し（Ｓ１１３）、終了指示の操作がされない限り、指示データに基づく表示を続行する。

図２６は、第２の実施形態における操作画面２３０及び画像の表示例を示す図である。図２６は、ステップＳ２０２によって表示を開始した後の操作画面２３０を示す。図２６の操作画面２３０は、取得した画像データの画像２５１、表示ボタン２５２及び実物大で表示される画像２５３を含む。操作画面２３０では、第１の実施形態における図５から図７に示したように画像データの指定、又はリンク情報を受け付けて処理部２０が画像データを取得すると、取得した画像データに基づく画像２５１が表示される。画像２５１が表示され、サイズデータの入力又はリンク情報に基づく取得によって実物大サイズ及び画像内の対応箇所が決定されると、表示ボタン２５２が操作画面２３０で選択可能になる。表示ボタン２５２をユーザが操作部２４で選択した場合、処理部２０は、表示部２３に対する処理（Ｓ２０１）を実行し、同一画面内に画像２５３を実物大で表示する（Ｓ２０２）。

第２の実施形態では、パーソナルコンピュータである表示制御装置２の表示部２３で対象物の画像を実物大で表示する。これにより、例えばユーザは、電子商取引に係るＷｅｂページに含まれている商品画像を、使用している画面（表示部２３）上に実物大で表示させて、イメージを掴むことが可能である。別途プロジェクタ１１を使用しなくても、汎用的な画像データの実物大表示が可能である。表示制御装置２として、持ち運びが容易なタブレット端末を使用することにより、ユーザは、例えば図２６に示したように時計を設置したい場所に表示制御装置２を設置し、時計の使用イメージを確かめることが可能である。

（第３の実施形態）
第３の実施形態では、表示制御装置２の表示部２３にてＡＲ技術を用いて実物大に表示する。第３の実施形態では、表示制御装置２はスマートフォン又はタブレット端末であって撮像部及び距離センサを備え、撮像中の画像に、取得した画像データの画像を重畳させて表示する。

図２７は、第３の実施形態における表示制御装置２の構成を示すブロック図である。表示制御装置２のハードウェア構成は、図２７に示すように撮像部２５、距離センサ２６及び傾きセンサ２７を備える点以外は、第１の実施形態における表示制御装置２の構成と同一である。第１の実施形態における表示制御装置２と共通する構成には同一の符号を付して詳細な説明を省略する。

撮像部２５は、イメージセンサを用いたカメラを１又は複数含む。撮像部２５は起動すると撮像素子にて撮像された画像を表示部２３へモニタ出力する。

距離センサ２６は、撮像部２５の光学系から撮像範囲における物までの距離を測定するセンサである。距離センサ２６は光又は超音波を用いたＴＯＦセンサを用いる。

傾きセンサ２７は、表示部２３及び撮像部２５を含む表示制御装置２全体の傾きを検知するセンサである。傾きセンサ２７は、加速度センサ、地磁気センサ等を用いるとよい。傾きセンサ２７から処理部２０へ常時的に立体的な傾きのデータが出力されている。

第３の実施形態では、表示部２３の表示環境データとして、表示部２３に表示される撮像範囲の空間データ（凹凸のデータ、深度マップ等）を用いる。

図２８は、第３の実施形態における表示制御装置２による表示制御の処理手順の一例を示すフローチャートである。図２８のフローチャートに示す処理手順の内、第１の実施形態における図３及び図４のフローチャートに示した処理手順と共通する手順については同一の符号を付して詳細な説明を省略する。

第３の実施形態においても処理部２０は、操作画面２３０に入力される情報に基づき画像データを取得し（Ｓ１０１）、対象物のサイズデータを取得し（Ｓ１０４）、実物大サイズ及び画像内の対応箇所を決定する（Ｓ１０５）。処理部２０は、撮像部２５を起動しセンサ２６にて測定される表示環境データを取得する（ステップＳ３０１）。

処理部２０は、表示部２３に撮像部２５からモニタ出力される画像を表示し（ステップＳ３０２）、ステップＳ１０１で取得した画像データの画像の表示箇所の指定を受け付ける（ステップＳ３０３）。

処理部２０は、センサ２６にて測定されたデータに基づき、指定箇所までの距離、その箇所を含む面の実サイズを算出する（ステップＳ３０４）。ステップＳ３０４において処理部２０は、撮像部２５で撮影される指定箇所への視差を用いて三角法で算出する等、公知の技術を用いて撮像部２５から指定箇所への距離及び指定箇所における実サイズを算出する。

処理部２０は算出した実空間の表示箇所までの距離及び実サイズと、画像内でのサイズ（画素数）との対応関係を算出する（ステップＳ３０５）。

処理部２０は、ステップＳ１０５で決定した対象物の実物大サイズと、ステップＳ３０５で算出した指定箇所における実サイズ及び画像内でのサイズの対応関係とから、対象物の画像の拡縮率を算出する（ステップＳ３０６）。

処理部２０は、ステップＳ３０６で算出した拡縮率で対象物の画像の画像データを変換した画像データを指示データとして作成し（ステップＳ３０７）、表示部２３に与えて撮像部２５からのモニタ出力画像に、変換後の画像データの画像を重畳表示させる（ステップＳ３０８）。

処理部２０は、以後、画像表示（実物大表示）の終了指示を受け付けたか否かを判断する（ステップＳ３０９）。終了指示を受け付けないと判断された場合（Ｓ３０９：ＮＯ）、距離センサ２６又は傾きセンサ２７によって距離又は撮像範囲に変化があるか否かを判断する（ステップＳ３１０）。

距離又は撮像範囲に変化があると判断された場合（Ｓ３１０：ＹＥＳ）、処理をステップＳ３０４へ戻し、距離及び実サイズを算出し直し（Ｓ３０４）、対応関係を算出し、対象物の画像を、ＡＲ空間上に再描画する。

変化がないと判断された場合（Ｓ３１０：ＮＯ）、処理をステップＳ３０９へ戻す。

ステップＳ３０９で終了指示を受け付けたと判断された場合（Ｓ３０９：ＹＥＳ）、処理部２０は処理を終了する。

図２９は、第３の実施形態の操作画面２３０の一例を示す図である。処理部２０は、画像データの取得（Ｓ１０１）、サイズデータの取得（Ｓ１０４）、対象物の実物大のサイズ及び画像内の対応箇所の決定（Ｓ１０５）までは、第１の実施形態と同様の操作画面２３０（図５から図１０）を表示し、種々の操作を受け付ける。

図１０に示した操作画面２３０にて、次へ進むボタン２３６が選択された場合、処理部２０は、撮像部２５から出力される画像を表示部２３に表示する（Ｓ３０２）。図２９の操作画面２３０は、撮像部２５から出力される画像と、取得した画像データの画像２３３と、その対象物の画像を表示させる箇所の指定を促すメッセージとを含む。

図３０は、第３の実施形態の操作画面２３０の一例を示す図である。図３０の操作画面２３０は、図２９の操作画面２３０にて、撮像部２５から出力されている画像上の箇所を、ユーザがタップによって選択した場合に、処理部２０が対象物（図３０では時計）の画像を重畳表示した例を示す。図３０の操作画面２３０には、表示を終了させる表示終了ボタン２３８が含まれている。

このように、表示制御装置２によって実物のサイズデータを取得し、表示部２３における表示環境データと対応関係を算出することにより、予め距離データ等が対応付けられていなくても、表示部２３にて、対象物をＡＲ空間における実物大で表示させることができる。

第３の実施形態は、表示制御装置２をスマートフォン又はタブレット端末として説明し、表示制御装置２は、ラップトップ型、デスクトップ型のパーソナルコンピュータであってもよい。深度センサ付のカメラを、通信部２２を介して接続しても同様の効果を達成できる。

（第４の実施形態）
第４の実施形態では、表示制御システム２００は、表示装置３及び表示制御装置４を含む。表示装置３は例えばＨＭＤ（Head Mounted Display）であり、表示制御装置４と接続される。図３１は、第４の実施形態における表示制御システム２００の構成を示すブロック図である。

表示装置３は、筐体内にレンズ３１、表示パネル３２及び画像処理部３３を備え、筐体外にセンサ３４、コントローラ３５、及び通信部３６を備える。レンズ３１は双眼用のレンズであって、表示パネル３２に表示される画像と組み合わせて立体表示を実現する立体表示装置である。表示パネル３２は例えば液晶パネルであって、通信部を介して入力される画像データに基づく画像処理部３３による処理に基づき三次元画像を表示する。センサ３４は、ユーザの頭部の回転及び傾きを検出して画像処理部へ検出結果を出力する。

コントローラ３５は、加速度センサ等を内蔵し、複数のボタンを有して表示パネル３２上に表示されるオブジェクトに対する操作を受け付ける。コントローラ３５は、操作信号を画像処理部３３又は通信部３６を介して表示制御装置４へ出力する。

通信部３６は例えばＨＤＭＩ（登録商標）である。表示装置３は、通信部３６を介して表示制御装置４と接続される。

表示制御装置４は例えば、パーソナルコンピュータである。タブレット端末、又はスマートフォンであってもよい。表示制御装置４は、処理部４０、記憶部４１、通信部４２、表示部４３及び操作部４４を備える。

処理部４０は、ＣＰＵ及び／又はＧＰＵを用いたプロセッサである。処理部４０は、記憶部４１に記憶されている表示制御プログラム４Ｐに基づき、表示部４３に操作画面を表示して操作を受け付け、操作に基づいて画像を三次元空間における実物大で表示するための指示データを作成する処理を実行する。

記憶部４１は、例えばハードディスク、フラッシュメモリ、ＳＳＤ（Solid State Drive）等の不揮発性メモリを用いる。記憶部４１は、処理部４０が参照するデータを記憶する。記憶部４１は、表示制御プログラム４Ｐを記憶する。表示制御プログラム４Ｐは、記録媒体８に記憶してある表示制御プログラム８Ｐを処理部４０が読み出して記憶部４１に複製したものであってもよい。記憶部４１は、表示装置３に表示させる三次元画像データを記憶している。記憶部４１は、表示制御プログラム４Ｐに基づいて取得した画像データ、作成する指示データ等を記憶する。

通信部４２は、ネットワークＮを介した表示装置１との通信を実現する。通信部４２は、例えば無線ＬＡＮ又は Bluetooth（登録商標）等の無線通信部である。通信部４２は、シリアル通信部、ＵＳＢ又はＨＤＭＩ(登録商標）対応の通信部であってもよい。第３の実施形態において処理部４０は、通信部４２によって表示装置３との間でデータを送受信する。

表示部４３は、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等のディスプレイである。表示部４３は、操作画面を表示する。表示部４３は、タッチパネル内蔵型ディスプレイであってもよい。

操作部４４は、処理部４０との間で入出力が可能なユーザインタフェースである。操作部４４は例えば、キーボード及びポインティングデバイスである。操作部４４は、表示部４３に内蔵されるタッチパネルであってもよい。操作部４４は、音声入力部であってもよい。操作部４４は、ユーザによる操作データを処理部４０へ通知する。

処理部４０は、表示制御プログラム４Ｐを起動すると、これに基づいて表示装置３における表示制御を以下のように実行する。

図３２は、第４の実施形態における表示制御処理手順の一例を示すフローチャートである。図３２のフローチャートに示す処理手順の内、第１の実施形態における図３及び図４のフローチャートに示した処理手順と共通する手順については同一のステップ番号を付して詳細な説明を省略する。

処理部４０は、操作画面に入力される情報に基づき画像データを取得し（Ｓ１０１）、対象物のサイズデータを取得し（Ｓ１０４）、実物大サイズ及び画像内の対応箇所を決定する（Ｓ１０５）。

処理部４０は、表示装置３に出力する三次元画像の実サイズとの対応関係を、表示環境データとして取得する（ステップＳ４０１）。表示装置３に表示する三次元画像は、対象物を使用する空間の仮想空間の画像である。三次元画像は、表示装置３の筐体に外向けに設けられたカメラからモニタ出力される画像を、表示装置３で立体表示できるように加工されたものであってもよい。三次元画像は予め、操作画面上で選択されていてもよい。

処理部４０は、ステップ４０１で取得した対応関係により、ステップＳ１０１で取得した画像データの画像を前記三次元画像にマッピングするための拡縮率を算出する（ステップＳ４０２）。三次元画像におけるある面に、対象物の画像を、その面の実サイズに合わせて貼付するために、画像をどれほど拡縮すべきなのか、仮想空間における面の想定サイズ（実サイズ）及び画素数に基づいて算出する。

処理部４０は、算出した拡縮率で画像を拡縮し、出力する三次元画像上にマッピングしたデータを、指示データとして作成し（ステップＳ４０３）、通信部４２から表示装置３へ出力する（ステップＳ４０４）。

ステップＳ１０１で取得された画像データの画像は、三次元画像上にマッピングされて表示されているので、表示装置３におけるユーザの姿勢の変化、向きの変化に応じて三次元画像が変化しても、三次元画像に追随し、ＶＲ空間内に対象物が設置されたように視聴を継続することができる。

処理部４０は、表示装置３のコントローラ３５で終了操作がされたか否かを判断し（ステップＳ４０５）、終了操作がされないと判断された場合（Ｓ４０５：ＮＯ）、処理をステップＳ４０４へ戻し、出力を継続する。

ステップＳ４０５で終了操作がされたと判断された場合（Ｓ４０５：ＹＥＳ）、処理部４０は処理を終了する。

このようにして、予め撮影時の距離データ等が記憶されていない画像データの画像であっても、画像データが含まれるＷｅｂページ、ドキュメントデータ等に含まれている画像に写る対象物のサイズを取得することで、実物大で表示することが可能である。サイズデータは手入力されてもよい。１つの寸法のみが判明した場合であっても、拡縮率を算出でき、実物大での表示が可能である。

上述の実施形態では、静止画像を実物大で表示するものとして説明した。しかしながら、表示する画像は動画像であってもよい。動画像の場合、動画像を構成するフレーム画像からサイズに対応する箇所を決定し、拡縮率を算出してフレーム画像夫々に対し指示データが作成されるとよい。

上述のように開示された実施の形態は全ての点で例示であって、制限的なものではない。本発明の範囲は、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての変更が含まれる。

１，３ 表示装置
１１ プロジェクタ
１２ スクリーン
１６，３３ 画像処理部
１９，３２ 表示パネル
２ 表示制御装置
２０ 処理部
２１ 記憶部
２３ 表示部（表示装置）
２Ｐ，４Ｐ 表示制御プログラム

Claims (15)

1. 表示装置と接続されるコンピュータに、
   前記表示装置に表示させる対象物の画像を選択させる画面を表示し、
   選択された画像に写る対象物のサイズに関するサイズデータを取得するための情報を受け付ける受付画面を表示し、
   前記受付画面で受け付けられた情報に基づき前記サイズデータを取得し、
   前記サイズデータに基づき、前記画像を前記表示装置で前記対象物の実物大で表示させる際の指示データを作成し、
   前記画像の画像データと作成した指示データとを前記表示装置へ出力する
   処理を実行させるコンピュータプログラム。
2. 前記画像は、前記対象物１つに対して複数の画像を含み、
   前記コンピュータに、
   前記複数の画像に基づく指示データを各々作成する
   処理を実行させる請求項１に記載のコンピュータプログラム。
3. 前記コンピュータに、
   前記複数の画像のいずれを表示させるかの選択を受け付け、
   選択された画像及び該画像の前記指示データを前記表示装置へ出力する
   処理を実行させる請求項２に記載のコンピュータプログラム。
4. 前記画像は、対象物のイラスト、ポンチ絵、又は図面のデジタル画像であり、
   前記コンピュータに、
   前記サイズデータを、前記イラスト、ポンチ絵又は図面の中の寸法を示す数値から取得し、
   前記受付画面を表示するに際し、取得した数値に基づき、前記受付画面に寸法を表示する
   処理を実行させる請求項１に記載のコンピュータプログラム。
5. 前記画像は、前記対象物の電子商取引に係るＷｅｂページにおける商品画像であり、
   前記コンピュータに、
   前記サイズデータを、前記Ｗｅｂページから取得し、
   前記受付画面を表示するに際し、取得した数値に基づき、前記受付画面に寸法を表示する
   処理を実行させる請求項１に記載のコンピュータプログラム。
6. 前記画像は、前記対象物を掲載するＷｅｂページ又はドキュメントデータにおける商品画像であり、
   前記コンピュータに、
   前記サイズデータを、前記Ｗｅｂページ又はドキュメントデータから取得し、
   前記受付画面を表示するに際し、取得した数値に基づき、前記受付画面に寸法を表示する
   処理を実行させる請求項１に記載のコンピュータプログラム。
7. 前記サイズデータは、前記対象物の縦、横、高さ、奥行き、及び径の寸法の内の少なくとも１つであり、
   前記コンピュータに、
   取得したサイズデータから、取得した寸法以外の寸法を算出し、
   前記受付画面を表示するに際し、取得した数値に基づき、前記受付画面に寸法を表示する
   処理を実行させる請求項１から請求項６のいずれか１項に記載のコンピュータプログラム。
8. 前記コンピュータに、
   対象物を識別する識別情報に対応付けて、前記対象物の画像及び該画像を前記表示装置に表示させる際の指示データを記憶し、
   複数の対象物の画像を、各々の指示データに基づいて並列に前記表示装置に表示させる
   処理を実行させる請求項１から請求項７のいずれか１項に記載のコンピュータプログラム。
9. 前記画像は、動画のフレーム画像であり、
   前記コンピュータに、
   前記フレーム画像それぞれに対して前記指示データを作成する
   処理を実行させる請求項１から請求項８のいずれか１項に記載のコンピュータプログラム。
10. 前記表示装置は、投影面へ画像を投影する投影装置であり、
    前記コンピュータに、
    前記投影装置に搭載されている投影部から前記投影面までの距離を測定するセンサから、測定された距離を取得し、
    取得した距離、及び前記サイズデータに基づき、前記投影装置によって前記画像を投影させる際の指示データを作成する
    処理を実行させる請求項１から請求項９のいずれか１項に記載のコンピュータプログラム。
11. 前記表示装置は、カメラを備え、
    前記コンピュータに、
    前記カメラで撮影する撮影画像内の物の寸法を取得し、
    取得した寸法及び前記サイズデータに基づき、前記カメラで撮影している画像の表示空間における前記対象物の大きさを決定し、
    前記表示装置に、前記カメラで撮影する撮影画像に、決定した大きさで前記対象物の画像を重畳させた画像を表示させる指示データを作成する
    処理を実行させる請求項１から請求項９のいずれか１項に記載のコンピュータプログラム。
12. 前記表示装置は、三次元画像を表示する立体表示装置であり、
    前記コンピュータに、
    前記画像の三次元画像データを作成し、
    作成された前記三次元画像データに基づき前記表示装置に三次元画像を表示させる
    処理を実行させる請求項１から請求項９のいずれか１項に記載のコンピュータプログラム。
13. 表示装置と接続されるコンピュータが、
    前記表示装置に表示させる対象物の画像を選択させる画面を表示し、
    選択された画像に写る対象物のサイズに関するサイズデータを取得するための情報を受け付ける受付画面を表示し、
    前記受付画面で受け付けられた情報に基づき前記サイズデータを取得し、
    前記サイズデータに基づき、前記画像を前記表示装置で前記対象物の実物大で表示させる際の指示データを作成し、
    前記画像の画像データと作成した指示データとを前記表示装置へ出力する
    処理を含む情報表示方法。
14. 表示させる対象物の画像を選択させる画面を表示する第１表示部と、
    選択された対象物の画像を取得する画像取得部と、
    前記画像に写る対象物のサイズに関するサイズデータを取得するための情報を受け付ける受付画面を表示する第２表示部と、
    前記受付画面で受け付けられた情報に基づきサイズデータを取得するサイズ取得部と、
    前記サイズデータに基づき、前記画像を表示させる際の指示データを作成する作成部と、
    前記画像を前記指示データに基づいて前記対象物を実物大で表示する第３表示部と
    を備える情報表示装置。
15. 表示装置と、該表示装置とデータの送受信が可能であって表示部を備える表示制御装置とを含み、
    前記表示制御装置は、
    前記表示装置に表示させる対象物の画像を選択させる画面を前記表示部に表示し、
    選択された対象物の画像を取得し、
    選択された画像に写る対象物のサイズに関するサイズデータを取得するための情報を受け付ける受付画面を前記表示部に表示し、
    前記受付画面で受け付けられた情報に基づきサイズデータを取得し、
    前記サイズデータに基づき、前記画像を前記表示装置で前記対象物の実物大で表示させる際の指示データを作成し、
    前記画像及び前記指示データを前記表示装置へ送信する
    情報表示システム。

Images