JP7450039B2 - 電子機器、制御方法、及びプログラム - Google Patents

Description

本発明は、電子機器、制御方法、及びプログラムに関する。

従来、実環境における位置ごとの電磁波の強さや音の大きさを仮想環境におけるシミュレーションにより算出し、シミュレーション結果を表示する方法が知られている（例えば、特許文献１参照）。このような方法によれば、ユーザは、電磁波の強さや音の大きさを実際に測定しなくても、シミュレーション結果に基づいて電磁波や音の発生源を配置又は再配置する位置を決定できる。

国際公開第２０１９／１７６７４７号

第１の態様に係る電子機器は、カメラと、前記カメラで撮像中の映像を表示するディスプレイと、前記カメラの撮像範囲内における電磁波に関する情報を表す仮想オブジェクトを前記撮像中の映像に重ねて前記ディスプレイに表示させるコントローラと、を備える。前記コントローラは、前記撮像範囲内における前記電磁波の強さに基づいて前記仮想オブジェクトの表示態様を制御する。

第２の態様に係る制御方法は、電子機器を制御する方法である。前記制御方法は、カメラで撮像中の映像をディスプレイに表示させることと、前記カメラの撮像範囲内における電磁波に関する情報を表す仮想オブジェクトを前記撮像中の映像に重ねて前記ディスプレイに表示させることと、前記撮像範囲内における前記電磁波の強さに基づいて前記仮想オブジェクトの表示態様を制御することと、を有する。

第３の態様に係るプログラムは、電子機器に、カメラで撮像中の映像をディスプレイに表示させる処理と、前記カメラの撮像範囲内における電磁波に関する情報を表す仮想オブジェクトを前記撮像中の映像に重ねて前記ディスプレイに表示させる処理と、前記撮像範囲内における前記電磁波の強さに基づいて前記仮想オブジェクトの表示態様を制御する処理と、を実行させる。

一実施形態に係る電子機器を含むシステムを示す図である。 一実施形態に係る電子機器の機能ブロック構成を示す図である。 一実施形態に係る電子機器の動作例を示す図である。 一実施形態に係る画面表示例を説明するための図である。 一実施形態に係る画面表示例を説明するための図である。 変更例１に係る第２仮想オブジェクトの表示例を示す図である。 変更例１に係る動作を示す図である。 変更例１に係る他の動作を示す図である。 変更例２に係る第１仮想オブジェクトである面状仮想オブジェクトの表示例を示す図である。 変更例３に係る第１仮想オブジェクトの表示例を示す図である。 変更例３に係る他の画面表示例を示す図である。 変更例３に係る他の画面表示例を示す図である。 変更例３に係る他の画面表示例を示す図である。 変更例４に係る画面表示例を示す図である。 変更例４に係る物体の輪郭の抽出方法を示す図である。

電磁波は目に見えないため、シミュレーションにより算出される電磁波の強さを実環境と関連付けてユーザが把握することが難しいという問題がある。

そこで、本開示は、電磁波の強さを実環境と関連付けてユーザが把握することを容易にすることを目的とする。

図面を参照して実施形態に係る電子機器について説明する。図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。

一実施形態に係る電子機器は、例えばスマートフォン端末又はタブレット端末のような通信端末とすることができる。しかしながら、電子機器はそのような通信端末に限定されるものではなく、例えば、パーソナルコンピュータ又はウェアラブル端末等であってもよい。

（電子機器の構成）
まず、一実施形態に係る電子機器の構成について説明する。図１は、一実施形態に係る電子機器１００を含むシステムを示す図である。

図１に示すように、電子機器１００は、無線通信により通信ネットワークＮＷに接続し、通信ネットワークＮＷを介してサーバ２００との通信を行う。電子機器１００は、外部機器３００と有線又は無線で接続可能であってもよい。外部機器３００は、電子機器１００に有線又は無線で接続可能なイヤホン、ヘッドセット、外部メモリ、又は外部カメラ等である。

電子機器１００は、タッチパネルディスプレイ１１０と、物理ボタン１１３と、マイク１２１ａと、スピーカ１２２ａと、カメラ１３０とを有する。

タッチパネルディスプレイ１１０は、その表示面が電子機器１００の筐体１０１から露出して設けられる。タッチパネルディスプレイ１１０は、タッチパネル１１１と、ディスプレイ１１２とを有する。タッチパネル１１１は、電子機器１００への操作入力（タッチ入力）を受け付ける。タッチを検出する方法としては、例えば抵抗膜方式や静電容量方式があるが、任意の方式でよい。

ディスプレイ１１２は、映像出力を行う。ディスプレイ１１２は、映像を画面上に表示する。ディスプレイ１１２は、例えば液晶ディスプレイ又は有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイである。タッチパネルディスプレイ１１０において、ディスプレイ１１２はタッチパネル１１１と重なるように設けられており、ディスプレイ１１２の表示領域はタッチパネル１１１と重複している。

物理ボタン１１３は、電子機器１００への操作入力（押下）を受け付ける。物理ボタン１１３は、例えば、電源ボタン及びホームボタン等を含む。

マイク１２１ａは、電子機器１００への音声入力を受け付ける。また、マイク１２１ａは、周囲の音声を集音する。スピーカ１２２ａは、音声出力を行う。また、スピーカ１２２ａは、電話の音声や各種プログラムの情報等を音声で出力する。

カメラ１３０は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等のイメージセンサを用いて電子的に映像を撮像する。カメラ１３０は、タッチパネルディスプレイ１１０の反対側の面に面している物体を撮像するアウトカメラである。カメラ１３０は、タッチパネルディスプレイ１１０に面している物体を撮像するインカメラであってもよい。

図２は、一実施形態に係る電子機器１００の機能ブロック構成を示す図である。

図２に示すように、電子機器１００は、タッチパネル１１１と、ディスプレイ１１２と、物理ボタン１１３と、音声入力部１２１と、音声出力部１２２と、カメラ１３０と、センサ１４０と、記憶部１５０と、通信インターフェイス１６１と、接続部１６２と、バッテリ１７０と、コントローラ１８０とを有する。

タッチパネル１１１は、タッチ操作に対応する信号をコントローラ１８０に入力する。ディスプレイ１１２は、コントローラ１８０から入力された信号に基づいて映像を画面上に表示する。

音声入力部１２１は、入力を受け付けた音声に対応する信号をコントローラ１８０に入力する。音声入力部１２１は、図１に示すマイク１２１ａであってもよいし、外部マイクを接続可能な入力インターフェイスであってもよい。

音声出力部１２２は、コントローラ１８０から入力された信号に基づいて、音声を出力する。音声出力部１２２は、図１に示すスピーカ１２２ａであってもよいし、外部スピーカを接続可能な出力インターフェイスであってもよい。

カメラ１３０は、撮像した映像を電子信号に変換し、画像信号をコントローラ１８０に出力する。

センサ１４０は、各種の物理量及びデータを検出し、検出結果をコントローラ１８０に出力する。センサ１４０は、位置センサ１４１、加速度センサ１４２、及び地磁気センサ１４３のうち少なくとも１つを含む。これらのセンサのうち少なくとも１つが外部機器３００に設けられていてもよい。

位置センサ１４１は、自機器の位置を検出し、位置データをコントローラ１８０に出力する。位置センサ１４１は、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）受信機を含んでもよい。ＧＮＳＳ受信機は、ＧＮＳＳ衛星信号に基づいて測位を行い、自機器の地理的な位置（緯度・経度）を示すＧＮＳＳ位置データをコントローラ１８０に出力する。

加速度センサ１４２は、自機器に加わる加速度を検出し、加速度データをコントローラ１８０に出力する。加速度センサ１４２は、複数の加速度センサを含む多軸加速度センサであってもよい。

地磁気センサ１４３は、地磁気を検出し、検出した地磁気に基づく方角データをコントローラ１８０に出力する。

記憶部１５０は、プログラム及びデータを記憶する少なくとも１つのメモリを含む。記憶部１５０は、コントローラ１８０の処理結果を一時的に記憶する作業領域としても利用される。記憶部１５０は、半導体記憶媒体、及び磁気記憶媒体等の任意の非一過的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）な記憶媒体を含んでよい。記憶部１５０は、複数の種類の記憶媒体を含んでもよい。記憶部１５０は、メモリカード、光ディスク、又は光磁気ディスク等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。記憶部１５０は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の一時的な記憶領域として利用される記憶デバイスを含んでよい。

通信インターフェイス１６１は、無線により通信する。通信インターフェイス１６１によってサポートされる無線通信規格には、例えば、２Ｇ、３Ｇ、４Ｇ等のセルラ通信規格や、近距離無線の通信規格等がある。近距離無線の通信規格としては、例えば、ＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、及び／又はＷＰＡＮ（Ｗｉｒｅｌｅｓｓ Ｐｅｒｓｏｎａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等がある。ＷＰＡＮの通信規格には、例えば、ＺｉｇＢｅｅ（登録商標）がある。通信インターフェイス１６１は、外部機器３００に設けられていてもよい。

接続部１６２は、外部機器３００と電気的に接続されるインターフェイスである。接続部１６２は、外部機器３００と電気的に接続されるインターフェイスであればどのようなものであってもよいが、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）インターフェイスである。

バッテリ１７０は、自機器を駆動するための電力を蓄える。バッテリ１７０は、例えば、リチウムイオンバッテリ等の二次電池である。

コントローラ１８０は、演算処理装置である。演算処理装置は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－Ｃｈｉｐ）、ＭＣＵ（Ｍｉｃｒｏ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、及びコプロセッサを含むが、これらに限定されない。また、コントローラ１８０は、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＶＲＡＭ（Ｖｉｄｅｏ ＲＡＭ）等を含み、ディスプレイ１１２に描画を実行させる。コントローラ１８０は、電子機器１００の動作を統括的に制御して各種の機能を実現する。コントローラ１８０は、タッチパネル１１１及び／又は物理ボタン１１３が検出した操作入力に基づいて各種制御を実行する。

（シミュレータ）
次に、一実施形態に係るシミュレータについて説明する。図１に示すように、サーバ２００は、電磁波に関するシミュレーションを行うシミュレータ２０１を有する。一実施形態において、サーバ２００がシミュレータ２０１を有する一例について説明するが、電子機器１００がシミュレータ２０１を有していてもよい。

なお、電磁波とは、電場及び磁場の変化を伝搬する波をいう。例えば、電波及び光が電磁波に含まれる。以下において、シミュレータ２０１が電波シミュレーション、特に、電波の強さ（電波強度）に関するシミュレーションを行う一例について説明する。但し、シミュレータ２０１が光シミュレーション、特に、光の強さに関するシミュレーションを行ってもよい。

電波強度は、ＲＳＳＩ（Ｒｅｃｅｉｖｅｄ Ｓｉｇｎａｌ Ｓｔｒｅｎｇｔｈ Ｉｎｄｉｃａｔｏｒ）又はＲＳＲＰ（Ｒｅｆｅｒｅｎｃｅ Ｓｉｇｎａｌ Ｒｅｃｅｉｖｅｄ Ｐｏｗｅｒ）であってもよい。電波強度は、干渉や雑音が考慮された指標、例えば、ＳＩＮＲ（Ｓｉｇｎａｌ ｔｏ Ｉｎｔｅｒｆｅｒｅｎｃｅ ａｎｄ Ｎｏｉｓｅ ｐｏｗｅｒ Ｒａｔｉｏ）又はＲＳＲＱ（Ｒｅｆｅｒｅｎｃｅ Ｓｉｇｎａｌ Ｒｅｃｅｉｖｅｄ Ｑｕａｌｉｔｙ）であってもよい。

シミュレータ２０１は、実環境を模擬した仮想環境を用いて電波シミュレーションを行い、シミュレーション結果に基づく情報を電子機器１００に送信する。実環境とは、電波の発生源（例えば、無線基地局）を配置する対象となる現実空間の環境をいう。例えば、実環境は、工場又はオフィス等である。

シミュレータ２０１には仮想環境が予め構築されている。実環境が工場である場合、工場の構造及び産業機器の配置等を含むレイアウト情報が仮想環境に予め組み込まれている。実環境がオフィスである場合、オフィスの間取り及び机の配置等を含むレイアウト情報が仮想環境に予め組み込まれている。なお、電子機器１００のカメラ１３０により得られた映像から画像認識処理により仮想環境が修正又は構築されてもよい。

電波シミュレーションの対象となる電波は、ミリ波帯又はサブ６ＧＨｚ帯等の高周波帯の電波であってもよい。高周波帯は、直進性が高く回折が起きにくいため、無線基地局の配置を含む通信エリア設計が難しく、活用が難しい周波数帯である。

電子機器１００（コントローラ１８０）は、シミュレータ２０１のシミュレーション結果に基づく情報をディスプレイ１１２上で表示する。これにより、ユーザは、通信エリア設計に関する高度な知識を有していなくても、シミュレーション結果に基づいて、無線基地局を工場又はオフィス等に配置又は再配置する位置を適切に決定できる。

（ＡＲ表示制御）
次に、一実施形態に係る電子機器１００におけるＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）表示制御について説明する。

一実施形態に係る電子機器１００は、カメラ１３０と、カメラ１３０で撮像中の映像を表示するディスプレイ１１２とを有する。具体的には、コントローラ１８０は、カメラ１３０で撮像中の映像をリアルタイムに表示するようにディスプレイ１１２を制御する。

コントローラ１８０は、カメラ１３０の撮像範囲内における電波強度を表す仮想オブジェクト（以下、「第１仮想オブジェクト」と呼ぶ）を撮像中の映像に重ねてディスプレイ１１２に表示させる。このような第１仮想オブジェクトを撮像中の映像に重ねてディスプレイ１１２に表示させることにより、電波強度を実環境（すなわち、撮像中の映像）と関連付けてユーザが把握することが容易になる。

コントローラ１８０は、カメラ１３０の撮像範囲内における電波強度に基づいて第１仮想オブジェクトの表示態様を制御する。これにより、第１仮想オブジェクトの表示態様によりユーザが電波強度を容易に認識できる。

コントローラ１８０は、カメラ１３０の撮像範囲内における電波強度を計算する電波シミュレーションの結果に基づいて、第１仮想オブジェクトの表示態様を制御する。ここで、サーバ２００のシミュレータ２０１が電波シミュレーションを実行し、電波シミュレーションの結果に基づく情報をコントローラ１８０が通信インターフェイス１６１を介してサーバ２００から取得する。但し、コントローラ１８０が電波シミュレーションを実行してシミュレーション結果を自ら取得してもよい。

コントローラ１８０は、カメラ１３０の撮像条件の変更に応じてカメラ１３０の撮像範囲が変更されると、電波シミュレーションの結果に基づいて、変更された撮像範囲内における電波強度を表すように第１仮想オブジェクトの表示態様を変更する。カメラ１３０の撮像条件は、例えば、カメラ１３０の位置、向き、及び画角のうち少なくとも１つを含む。

例えば、ユーザは、工場又はオフィス等において、電子機器１００を持ち運びながら、電波強度を確認したい位置にカメラ１３０を向ける。このとき、ユーザは、ディスプレイ１１２に表示される撮像中の映像及び第１仮想オブジェクトを確認することで、電波強度を実環境と関連付けてユーザが把握できる。そして、別の位置にカメラ１３０を向けると、ディスプレイ１１２に表示される撮像中の映像が変更されるとともに、当該別の位置における電波強度を表すように第１仮想オブジェクトの表示態様が変更される。これにより、ユーザは、位置ごとの電波強度の確認を円滑に行うことができる。

なお、電波シミュレーションは仮想環境上で実行される。そのため、電波シミュレーションを実行する場合、サーバ２００（シミュレータ２０１）は、実環境における撮像範囲に対応する仮想環境における撮像範囲を特定し、特定した撮像範囲におけるシミュレーション結果を取得する必要がある。このような方法としては、例えば、位置ベースの取得方法、マーカを用いる映像ベースの取得方法、及びマーカを用いない映像ベースの取得方法の３つがある。電波シミュレーションは、これら３つの方法のうち２以上の方法を組み合わせて実施されてもよい。

位置ベースの取得方法の場合、コントローラ１８０は、例えば、位置センサ１４１、加速度センサ１４２、及び地磁気センサ１４３のそれぞれの検出結果を、通信インターフェイス１６１を介してサーバ２００に送信する。コントローラ１８０は、カメラ１３０の画角等のカメラパラメータをサーバ２００にさらに送信してもよい。サーバ２００（シミュレータ２０１）は、位置センサ１４１の検出結果が示す位置と、加速度センサ１４２の検出結果が示す傾き（仰角、俯角）と、地磁気センサ１４３の検出結果が示す方角とに基づいて、カメラ１３０の撮像範囲を特定する。サーバ２００（シミュレータ２０１）は、カメラパラメータにさらに基づいてカメラ１３０の撮像範囲を特定してもよい。サーバ２００（シミュレータ２０１）は、特定した撮像範囲におけるシミュレーション結果を電子機器１００に送信する。サーバ２００（シミュレータ２０１）は、第１仮想オブジェクトを描画するための描画情報を電子機器１００に送信してもよい。

マーカを用いる映像ベースの取得方法の場合、実環境にマーカが配置される。マーカとは、認識の対象となるための特定のパターンを持った図形をいう。コントローラ１８０は、カメラ１３０が撮像する映像に含まれるマーカを検出すると、検出したマーカに関するマーカ情報を、通信インターフェイス１６１を介してサーバ２００に送信する。サーバ２００（シミュレータ２０１）は、マーカ情報に基づいてカメラ１３０の撮像範囲を特定する。サーバ２００（シミュレータ２０１）は、カメラパラメータにさらに基づいてカメラ１３０の撮像範囲を特定してもよい。サーバ２００（シミュレータ２０１）は、特定した撮像範囲におけるシミュレーション結果を電子機器１００に送信する。サーバ２００（シミュレータ２０１）は、第１仮想オブジェクトを描画するための描画情報を電子機器１００に送信してもよい。

マーカを用いない映像ベースの取得方法の場合、撮像映像に対する画像認識処理により実環境における物体を認識する。コントローラ１８０は、カメラ１３０からの映像データを、通信インターフェイス１６１を介してサーバ２００に送信する。サーバ２００（シミュレータ２０１）は、映像データに対する画像認識処理により実環境における物体を認識してカメラ１３０の撮像範囲を特定する。サーバ２００（シミュレータ２０１）は、認識した物体と仮想環境中の物体とのマッチング処理により、認識した物体の位置を特定してカメラ１３０の撮像範囲を特定してもよい。サーバ２００（シミュレータ２０１）は、特定した撮像範囲におけるシミュレーション結果を電子機器１００に送信する。サーバ２００（シミュレータ２０１）は、第１仮想オブジェクトを描画するための描画情報を電子機器１００に送信してもよい。

（電子機器の動作例）
次に、一実施形態に係る電子機器１００の動作例について説明する。図３は、一実施形態に係る電子機器１００の動作例を示す図である。

図３に示すように、ステップＳ１０１において、コントローラ１８０は、ＡＲ表示制御を開始する。例えば、コントローラ１８０は、ＡＲ表示制御アプリケーションを起動するユーザ操作をタッチパネル１１１が受け付けたことに応じて、ＡＲ表示制御を開始する。

ステップＳ１０２において、コントローラ１８０は、カメラ１３０で撮像中の映像をリアルタイムにディスプレイ１１２に表示する制御を開始する。ディスプレイ１１２は、カメラ１３０で撮像中の映像を表示する。

ステップＳ１０３において、コントローラ１８０は、カメラ１３０の撮像範囲内における電波強度のシミュレーション結果を取得する。

ステップＳ１０４において、コントローラ１８０は、カメラ１３０の撮像範囲内における電波強度を表す仮想オブジェクト（第１仮想オブジェクト）をカメラ１３０で撮像中の映像の上に重ねてディスプレイ１１２に表示させる。

ステップＳ１０５において、コントローラ１８０は、カメラ１３０の撮像範囲が変更されたか否かを判定する。コントローラ１８０は、位置センサ１４１、加速度センサ１４２、及び地磁気センサ１４３のうち少なくとも１つの検出結果に基づいてステップＳ１０５の判定を行ってもよいし、カメラ１３０からの映像データに基づいてステップＳ１０５の判定を行ってもよい。

カメラ１３０の撮像範囲が変更された場合（ステップＳ１０５：ＹＥＳ）、ステップＳ１０３において、コントローラ１８０は、変更された撮像範囲内における電波強度のシミュレーション結果を取得する。そして、コントローラ１８０は、取得したシミュレーション結果を表すように第１仮想オブジェクトの表示態様を変更する。

一方、カメラ１３０の撮像範囲が変更されていない場合（ステップＳ１０５：ＮＯ）、ステップＳ１０６において、コントローラ１８０は、ＡＲ表示制御を終了するか否かを判定する。ＡＲ表示制御を終了する場合（ステップＳ１０６：ＹＥＳ）、本フローが終了する。ＡＲ表示制御を終了しない場合（ステップＳ１０６：ＮＯ）、コントローラ１８０は、ステップＳ１０５に処理を戻す。

（画面表示例）
次に、一実施形態に係る画面表示例について説明する。図４及び図５は、一実施形態に係る画面表示例を説明するための図である。

図４に示すように、シミュレータ２０１は、仮想環境を等間隔のグリッド幅を持つ立方体群に分割して得られた立方体ごとに、電波シミュレーションにより電波強度を計算する。図４に示す例において、縦３つ、横３つ、高さ３つの合計２７個の立方体により立方体群が構成される一例を示している。各立方体には、電波強度のシミュレーション結果が割り当てられる。

図５に示すように、コントローラ１８０は、立方体ごとに個別に割り当てられた個別オブジェクトを含む第１仮想オブジェクトを撮像中の映像に重ねてディスプレイ１１２に表示させる。図５において、撮像中の映像がオフィスの映像である一例を示している。また、図５において、各個別オブジェクトが半透明の球体である一例を示している。

各個別オブジェクトは、対応する立方体における電波強度を表す。例えば、個別オブジェクトは、対応する立方体における電波強度を個別オブジェクトの色又は個別オブジェクトの大きさで表現する。電波強度を個別オブジェクトの色で表現する場合、電波強度「高」に「赤色」、電波強度「中」に「黄色」、電波強度「低」に「青色」が割り当てられてもよい。電波強度を個別オブジェクトの大きさで表現する場合、電波強度「高」に「大」サイズ、電波強度「中」に「中」サイズ、電波強度「低」に「小」サイズが割り当られてもよい。

このような画面表示例によれば、ユーザは、実環境（オフィス）における電波強度を三次元的に把握できる。これにより、例えば電波強度の弱い位置を画面表示に基づいてユーザが特定し、無線基地局の設置位置を変更したり、電波の反射板を設置したりすることができる。

（実施形態のまとめ）
一実施形態に係る電子機器１００は、カメラ１３０と、カメラ１３０で撮像中の映像を表示するディスプレイ１１２と、カメラ１３０の撮像範囲内における電波強度を表す第１仮想オブジェクトを撮像中の映像に重ねてディスプレイ１１２に表示させるコントローラ１８０とを有する。これにより、電波強度を実環境と関連付けてユーザが把握することが容易になる。

（変更例１）
次に、実施形態の変更例１について説明する。

上述のように、電波シミュレーションは仮想環境上で実行されるが、仮想環境が実環境と完全に一致しているとは限らない。実環境と一致しない仮想環境を用いて電波シミュレーションを行うと、正しい電波強度を計算することができない。

また、工場又はオフィス等の稼動開始前において無線基地局の設置位置を決定しようとするような場合、産業機器又は机等の物体の配置を検討しつつ、電波強度を実環境と関連付けて把握したいというニーズがある。さらに、工場又はオフィス等のレイアウト変更時に、レイアウト変更後の実環境における電波強度の状況を把握したいというニーズもある。

そこで、変更例１に係るコントローラ１８０は、電波シミュレーションに用いる仮想環境においてカメラ１３０の撮像範囲内にある物体を表す仮想オブジェクト（以下、「第２仮想オブジェクト」と呼ぶ）を撮像中の映像に重ねてディスプレイ１１２に表示させる。言い換えると、コントローラ１８０は、電波シミュレーションのシミュレーション条件を構成する物体を第２仮想オブジェクトとしてディスプレイ１１２に表示させる。

これにより、ユーザは、シミュレーション条件（仮想環境）が実環境と一致しているかを確認可能になるため、シミュレーション結果が適切なものであるか否かを判断できる。

なお、コントローラ１８０は、第２仮想オブジェクトを第１仮想オブジェクトと同時にディスプレイ１１２に表示させてもよい。コントローラ１８０は、第１仮想オブジェクト及び第２仮想オブジェクトが少なくとも部分的に重複する場合、第２仮想オブジェクトに重ねて第１仮想オブジェクトを表示してもよい。

コントローラ１８０は、第１仮想オブジェクトの表示タイミングと異なるタイミングで第２仮想オブジェクトをディスプレイ１１２に表示させてもよい。例えば、コントローラ１８０は、ユーザ操作に応じて第１仮想オブジェクトの表示と第２仮想オブジェクトの表示とを切り替えてもよい。

図６は、変更例１に係る第２仮想オブジェクトの表示例を示す図である。

図６に示すように、コントローラ１８０は、電波シミュレーションに用いる仮想環境においてカメラ１３０の撮像範囲内にある物体を表す第２仮想オブジェクトを撮像中の映像に重ねてディスプレイ１１２に表示させる。図６において、第２仮想オブジェクトが表す物体がソファーである一例を示しており、実環境においてソファーが設置されていない。

例えば、ユーザは、実環境において新たにソファーを設置する前に、ソファーを表す第２仮想オブジェクトを追加するユーザ操作を電子機器１００（タッチパネル１１１）に対して行う。この場合、シミュレータ２０１は、ソファーの追加が反映された仮想環境を用いた再シミュレーションを行い、再シミュレーションの結果に基づいて、電波強度を表す第１仮想オブジェクトの表示態様を変更する。これにより、ユーザは、ソファーの追加が電波強度に与える影響を把握できる。

或いは、実環境においてソファーが設置されていてもよい。この場合、カメラ１３０で撮像中の映像にソファーが含まれることになる。このような状況下において、コントローラ１８０は、電波シミュレーションに用いる仮想環境においてカメラ１３０の撮像範囲内にある物体（ここでは、ソファー）を表す第２仮想オブジェクトを撮像中の映像に重ねてディスプレイ１１２に表示させる。

ここで、撮像中の映像に含まれるソファーの位置と第２仮想オブジェクトの位置とが異なる場合、ユーザは、撮像中の映像に含まれるソファーの位置に第２仮想オブジェクトを移動させるユーザ操作を電子機器１００（タッチパネル１１１）に対して行う。これにより、シミュレーション条件（仮想環境）を実環境と一致させることができるため、適切なシミュレーション結果を得ることが可能になる。この場合、シミュレータ２０１は、第２仮想オブジェクトの移動が反映された仮想環境を用いた再シミュレーションを行い、再シミュレーションの結果に基づいて、電波強度を表す第１仮想オブジェクトの表示態様を変更する。

図７は、変更例１に係る動作を示す図である。ここでは、第２仮想オブジェクトを第１仮想オブジェクトと同時にディスプレイ１１２に表示させる一例について説明する。

図７に示すように、ステップＳ２０１において、コントローラ１８０は、ＡＲ表示制御を開始する。例えば、コントローラ１８０は、ＡＲ表示制御アプリケーションを起動するユーザ操作をタッチパネル１１１が受け付けたことに応じて、ＡＲ表示制御を開始する。

ステップＳ２０２において、コントローラ１８０は、カメラ１３０で撮像中の映像をリアルタイムにディスプレイ１１２に表示する制御を開始する。ディスプレイ１１２は、カメラ１３０で撮像中の映像を表示する。

ステップＳ２０３において、コントローラ１８０は、カメラ１３０の撮像範囲内における電波強度のシミュレーション結果と、電波シミュレーションに用いる仮想環境においてカメラ１３０の撮像範囲内にある物体に関する情報をシミュレータ２０１から取得する。

ステップＳ２０４において、コントローラ１８０は、カメラ１３０の撮像範囲内における電波強度を表す仮想オブジェクト（第１仮想オブジェクト）と、電波シミュレーションに用いる仮想環境においてカメラ１３０の撮像範囲内にある物体を表す仮想オブジェクト（第２仮想オブジェクト）とをカメラ１３０で撮像中の映像の上に重ねてディスプレイ１１２に表示させる。

ステップＳ２０５において、コントローラ１８０は、カメラ１３０の撮像範囲が変更されたか否かを判定する。コントローラ１８０は、位置センサ１４１、加速度センサ１４２、及び地磁気センサ１４３のうち少なくとも１つの検出結果に基づいてステップＳ２０５の判定を行ってもよいし、カメラ１３０からの映像データに基づいてステップＳ２０５の判定を行ってもよい。

カメラ１３０の撮像範囲が変更された場合（ステップＳ２０５：ＹＥＳ）、ステップＳ２０３において、コントローラ１８０は、変更された撮像範囲内における電波強度のシミュレーション結果と、仮想環境においてカメラ１３０の撮像範囲内にある物体に関する情報とをシミュレータ２０１から取得し、第１仮想オブジェクト及び第２仮想オブジェクトの表示を更新する。

一方、カメラ１３０の撮像範囲が変更されていない場合（ステップＳ２０５：ＮＯ）、ステップＳ２０６において、コントローラ１８０は、ＡＲ表示制御を終了するか否かを判定する。ＡＲ表示制御を終了する場合（ステップＳ２０６：ＹＥＳ）、本フローが終了する。ＡＲ表示制御を終了しない場合（ステップＳ２０６：ＮＯ）、コントローラ１８０は、ステップＳ２０５に処理を戻す。

図８は、変更例１に係る他の動作を示す図である。図８に示す動作は、例えばタッチパネル１１１に対するユーザ操作をトリガとして開始される。

図８に示すように、ステップＳ３０１において、コントローラ１８０は、第２仮想オブジェクトの移動、追加、又は削除を表すユーザ操作があったか否かを判定する。

第２仮想オブジェクトの移動、追加、又は削除を表すユーザ操作があった場合（ステップＳ３０１：ＹＥＳ）、ステップＳ３０２において、コントローラ１８０は、当該ユーザ操作が反映された仮想環境を用いた再シミュレーションの結果をシミュレータ２０１から取得する。ステップＳ３０３において、コントローラ１８０は、再シミュレーションの結果に基づいて第１仮想オブジェクトの表示態様を変更する。

例えば、コントローラ１８０は、第２仮想オブジェクトの移動を表すユーザ操作があった場合、当該移動が反映された仮想環境を用いた再シミュレーションの結果に基づいて、第１仮想オブジェクトの表示態様を変更する。

或いは、コントローラ１８０は、第２仮想オブジェクトの追加を表すユーザ操作があった場合、当該追加が反映された仮想環境を用いた再シミュレーションの結果に基づいて、第１仮想オブジェクトの表示態様を変更する。

或いは、コントローラ１８０は、第２仮想オブジェクトの削除を表すユーザ操作があった場合、当該削除が反映された仮想環境を用いた再シミュレーションの結果に基づいて、第１仮想オブジェクトの表示態様を変更する。

（変更例２）
次に、実施形態の変更例２について説明する。

図５に示したような画面表示例の場合、電波強度を表す第１仮想オブジェクトに含まれる各個別オブジェクト（図５における各球体）の前後関係が分かり難く、ユーザが奥行き感を把握することが難しい懸念がある。また、図５に示したような画面表示例の場合、電波の進む方向（電波進行方向）を表現できないため、ユーザが電波進行方向を把握できない。

そこで、変更例２に係るコントローラ１８０は、電波強度を表す第１仮想オブジェクトとして、撮像中の映像に含まれる空間の床面に対して並行な面状仮想オブジェクトをディスプレイ１１２に表示させる。面状仮想オブジェクトは、水平方向に情報を表示する第１仮想オブジェクトである。電波強度を表す第１仮想オブジェクトとして面状仮想オブジェクトをディスプレイ１１２に表示させることにより、ユーザが奥行き感を把握し易くなる。

図９は、変更例２に係る第１仮想オブジェクトである面状仮想オブジェクトの表示例を示す図である。図９において、ある部屋を実環境として想定している。図９に示す床面、壁＃１、壁＃２、及び柱は、実環境に存在する物体であるものとする。電波シミュレーションに用いる仮想環境においても、床面、壁＃１、壁＃２、及び柱のそれぞれの情報が組み込まれているものとする。

図９に示すように、面状仮想オブジェクトは、撮像中の映像に含まれる空間の床面に対して並行な第１仮想オブジェクトである。図９において、面状仮想オブジェクトは半透明の仮想オブジェクトである。コントローラ１８０は、面状仮想オブジェクトに含まれる領域（領域Ａ乃至領域Ｃ）ごとに電波強度を色の濃淡又は色の種類で表現する面状仮想オブジェクトをディスプレイ１１２に表示させる。

図９において、電波の発生源である無線基地局が壁＃１側に設置されているものとしている。このため、壁＃１の近傍の領域Ａにおける電波強度が最も高い。壁＃１から離間した領域Ｂは、領域Ａに比べて電波強度が低い。電波強度を色の種類で表現する場合、電波強度「高」である領域Ａに「赤色」、電波強度「低」である領域Ｂに「黄色」が割り当てられてもよい。電波強度を色の濃淡で表現する場合、電波強度「高」である領域Ａに「濃い赤色」、電波強度「低」である領域Ｂに「薄い赤色」が割り当てられてもよい。このような画面表示例によれば、ユーザが電波強度の分布の奥行きを容易に把握できる。

領域Ｃは、電波の発生源との間に柱が存在しており、電波が通らない領域である。コントローラ１８０は、面状仮想オブジェクトにおいて電波が通らない領域Ｃを所定の色（例えば、黒色又は白色）でディスプレイ１１２に表示させる。これにより、ユーザは、領域Ｃが電波の通らない領域であることを把握できる。

また、コントローラ１８０は、電波の進む方向（電波進行方向）を表す記号又は図形を含む面状仮想オブジェクトをディスプレイ１１２に表示させる。図９において、電波進行方向を表す記号として矢印を表示する一例を示しているが、矢印に限定されるものではなく、電波進行方向を表す任意の記号又は図形を用いることができる。これにより、ユーザは、電波進行方向を容易に把握できる。

なお、コントローラ１８０は、面状仮想オブジェクトにおいて、高さ方向については電波強度の平均値を表示してもよい。コントローラ１８０は、面状仮想オブジェクトの高さがユーザ操作により指定された場合、指定された高さにおける電波強度を表示してもよい。コントローラ１８０は、面状仮想オブジェクトを高さ方向に移動させるユーザ操作に応じて、対応する高さにおける電波強度を表示するように連続的に表示を変化させてもよい。

図９において、電波の発生源が１つである場合を想定しているが、電波の発生源が複数である場合を想定してもよい。コントローラ１８０は、電波の発生源が複数ある場合、電波の発生源ごとに個別に割り当てられた面状仮想オブジェクトを、互いに異なる高さ、且つ、互いに異なる色でディスプレイ１１２に表示させてもよい。

例えば、１つの部屋において無線基地局Ａ及び無線基地局Ｂのそれぞれから電波が到来する場合、コントローラ１８０は、無線基地局Ａに割り当てられた面状仮想オブジェクトＡと無線基地局Ｂに割り当てられた面状仮想オブジェクトＢとをディスプレイ１１２に表示させる。ここで、コントローラ１８０は、面状仮想オブジェクトＡと面状仮想オブジェクトＢとを互いに異なる高さ且つ異なる色でディスプレイ１１２に表示させる。これにより、２つの面状仮想オブジェクトをユーザが区別することが容易になる。また、面状仮想オブジェクトＡと面状仮想オブジェクトＢとを同時に表示することにより、ユーザは、無線基地局Ａ及び無線基地局Ｂのいずれもカバーしていない不感領域の存在を把握できる。

コントローラ１８０は、電波の発生源が複数ある場合、電波の発生源ごとに個別に割り当てられた面状仮想オブジェクトを互いに異なるタイミングでディスプレイ１１２に表示させてもよい。例えば、コントローラ１８０は、ユーザ操作に応じて面状仮想オブジェクトＡの表示と面状仮想オブジェクトＢの表示とを切り替えてもよい。

（変更例３）
次に、実施形態の変更例３について説明する。変更例３は、変更例２と同様に、電波強度を表す第１仮想オブジェクトの画面表示を改善する実施例である。

変更例３に係るコントローラ１８０は、カメラ１３０で撮像中の映像に含まれる対象物と対応付けられた第１仮想オブジェクトをディスプレイ１１２に表示させる。ここで、対象物とは、実環境に存在する物体をいうが、仮想環境に存在する物体であってもよい。

第１仮想オブジェクトは、対象物又は対象物の近傍における電波強度を表す数値、記号、図形、及び文字の少なくとも１つを含む。以下において、数値により電波強度を表す一例について説明するが、第１仮想オブジェクトは、電波強度を例えばアンテナ本数の記号又は図形で表されてもよいし、電波強度を「高」、「中」、「低」、「ゼロ」といった文字で表されてもよい。

このように、第１仮想オブジェクトを対象物と対応付けて表示することにより、どの対象物についての電波強度であるのかをユーザが把握しやすくなる。また、対象物に限定して第１仮想オブジェクトを表示することにより、ディスプレイ１１２の表示領域の大部分を第１仮想オブジェクトが占有してしまうことを回避できるため、カメラ１３０で撮像中の映像の視認性を改善できる。

図１０は、変更例３に係る第１仮想オブジェクトの表示例を示す図である。図１０において、オフィスを実環境として想定している。図１０に示す机及び椅子は、実環境に存在する物体であるものとする。電波シミュレーションに用いる仮想環境においても、机及び椅子の情報が組み込まれているものとする。

ここでは、第１仮想オブジェクトと対応付けられる対象物が机である一例について説明する。なお、実環境が工場である場合、対象物が産業機器等の機材であってもよい。

図１０に示すように、コントローラ１８０は、第１仮想オブジェクトを対象物の少なくとも一部に重ねてディスプレイ１１２に表示させる。図１０において、４つの机のそれぞれに重ねて表示される４つの第１仮想オブジェクト（第１仮想オブジェクト＃１乃至第１仮想オブジェクト＃４）を例示している。各第１仮想オブジェクトは、対応する机における電波強度を表す数値である。

コントローラ１８０は、カメラ１３０で撮像中の映像に含まれる複数の物体のうちユーザ操作により指定された物体を対象物として、第１仮想オブジェクトをディスプレイ１１２に表示させてもよい。すなわち、第１仮想オブジェクトを割り当てる対象物をユーザが指定可能であってもよい。これにより、第１仮想オブジェクトを表示する対象物を限定できる。

コントローラ１８０は、カメラ１３０で撮像中の映像に含まれる複数の対象物のうち、カメラ１３０で撮像中の映像に全体が含まれない対象物に対する第１仮想オブジェクトの表示を省略してもよい。例えば、ディスプレイ１１２の表示領域の端に一部のみが含まれる対象物については第１仮想オブジェクトを表示しない。これにより、第１仮想オブジェクトを表示する対象物を限定できる。

コントローラ１８０は、カメラ１３０で撮像中の映像に含まれる複数の対象物に対応する複数の第１仮想オブジェクトが少なくとも部分的に重複する場合、当該複数の第１仮想オブジェクトのうち手前に位置する対象物に対応する第１仮想オブジェクトのみをディスプレイ１１２に表示させてもよい。すなわち、コントローラ１８０は、手前に位置する対象物の奥に位置する対象物については第１仮想オブジェクトをディスプレイ１１２に表示させない。これにより、第１仮想オブジェクトの視認性を改善できる。

コントローラ１８０は、対象物における所定範囲の領域ごとに、電波強度を表す数値をディスプレイ１１２に表示させるとともに、当該所定範囲の領域を表す境界線をディスプレイ１１２に表示させてもよい。図１１は、変更例３に係る他の画面表示例を示す図である。

図１１（ａ）に示すように、１つの対象物に対して１つの第１仮想オブジェクトを表示する場合、大型の物体や大きな壁面を対象物とすると、対象物の部位ごとの数値の変化を表現しきれない。図１１（ａ）に示す左上の部位は電波強度が「３０」であるが、図１１（ａ）に示す右下の部位は電波強度が「１００」である。図１１（ａ）の例では、平均的な電波強度の数値として「６０」を表示している。

このため、図１１（ｂ）に示すように、コントローラ１８０は、対象物における所定範囲の領域ごとに、電波強度を表す数値（平均値等の代表値）をディスプレイ１１２に表示させるとともに、当該所定範囲の領域を表す境界線をディスプレイ１１２に表示させる。ここで、所定範囲の領域とは、電波強度の数値の値域が特定の範囲にある領域をいう。図１１（ｂ）に示す例では、代表値が「１０」である領域と、代表値が「５０」である領域と、代表値が「７０」である領域と、代表値が「９０」である領域との合計４つの領域に境界線により区分されている。これにより、大型の物体や大きな壁面を対象物とする場合であっても、対象物の部位ごとの数値の変化を表現できる。

コントローラ１８０は、電波強度を表す数値をディスプレイ１１２に表示させた後、当該数値を移動させるユーザ操作があった場合、ユーザ操作による移動先の位置における電波強度を表す新たな数値をディスプレイ１１２に表示させてもよい。図１２は、変更例３に係る他の画面表示例を示す図である。

図１２（ａ）に示すように、１つの対象物に対して１つの第１仮想オブジェクトを表示する場合、大型の物体や大きな壁面を対象物とすると、対象物の部位ごとの数値の変化を表現しきれない。

このため、図１２（ｂ）に示すように、コントローラ１８０は、表示された対象物上で数値を移動させるユーザ操作があった場合、ユーザ操作による移動先の位置における電波強度を表す新たな数値をディスプレイ１１２に表示させる。図１２（ｂ）において、数値が移動に応じて「３０」、「８０」、及び「５０」の順に変化する一例を示している。これにより、大型の物体や大きな壁面を対象物とする場合であっても、対象物の部位ごとの数値の変化を表現できる。

コントローラ１８０は、第１仮想オブジェクトを対象物に貼付ける態様でディスプレイ１１２に表示させてもよい。図１３は、変更例３に係る他の画面表示例を示す図である。図１３において、室内の廊下の床面及び壁面の電波強度を数値で表示する一例を示している。コントローラ１８０は、第１仮想オブジェクト（数値）を奥行きに応じた角度を付けて表示する。これにより、ユーザは、第１仮想オブジェクト（数値）と対応付けられた対象物の位置を把握しやすくなる。

図１３（ａ）は、手前の床面に貼付ける態様で第１仮想オブジェクト（数値）を表示する例を示しており、表示する数値には角度が付けられていない。図１３（ｂ）は、壁面に貼付ける態様で第１仮想オブジェクト（数値）を表示する例を示しており、表示する数値には角度が付けられているため、奥側に向かって数値の表示が縮小している。図１３（ｃ）は、遠くの床面に貼付ける態様で第１仮想オブジェクト（数値）を表示する例を示しており、表示する数値には角度が付けられているため、縦方向に数値の表示が圧縮されている。

（変更例４）
次に、実施形態の変更例４について説明する。変更例４は、画面表示を改善する実施例である。上述したように、カメラ１３０で撮像中の映像に重ねて第１仮想オブジェクトを表示すると、カメラ１３０で撮像中の映像の視認性が低下する問題がある。

変更例４に係るコントローラ１８０は、カメラ１３０で撮像中の映像に含まれる物体が第１仮想オブジェクトと重複する場合、当該物体の輪郭を表す線を第１仮想オブジェクトに重ねてディスプレイ１１２に表示させる。これにより、第１仮想オブジェクトの奥に隠れた物体の視認性を改善できる。なお、カメラ１３０で撮像中の映像に含まれる物体とは、実環境に存在する物体をいうが、仮想環境に存在する物体であってもよい。

図１４は、変更例４に係る画面表示例を示す図である。

図１４（ａ）に示すように、コントローラ１８０は、カメラ１３０で撮像中の映像をディスプレイ１１２に表示させる。図１４（ａ）において、カメラ１３０で撮像中の映像に含まれる物体が複数の電子レンジ及び棚である一例を示している。

図１４（ｂ）に示すように、コントローラ１８０は、電波強度を色の濃淡又は色の種類で表現する第１仮想オブジェクトを、カメラ１３０で撮像中の映像の全体にわたってディスプレイ１１２に表示させる。図１４（ｂ）において、電波強度を色の濃淡で表現する一例を示している。ここで、第１仮想オブジェクトによりカメラ１３０で撮像中の映像が隠れており、当該映像の視認性が低下している。なお、図１４（ｂ）において、色が薄い左側の電波強度が高く、色が濃い右側の電波強度が低いものとしている。

図１４（ｃ）に示すように、コントローラ１８０は、カメラ１３０で撮像中の映像に第１仮想オブジェクトを重ねてディスプレイ１１２に表示させるとともに、カメラ１３０で撮像中の映像に含まれる物体の輪郭を表す線を第１仮想オブジェクトに重ねてディスプレイ１１２に表示させる。これにより、ユーザは、カメラ１３０で撮像中の映像に含まれる物体の輪郭を把握できるため、第１仮想オブジェクトにより隠れてしまった物体を大まかに把握できる。また、ユーザは、図１４（ｃ）に示すような画面表示に基づいて、手前から２個目の物体（電子レンジ）の位置から電波強度が低くなることを把握できる。

図１５は、変更例４に係る物体の輪郭の抽出方法を示す図である。

図１５（ａ）に示すように、コントローラ１８０は、視点（すなわち、カメラ１３０の位置）から見て物体の深度が断絶する箇所を特定し、特定した箇所を抽出して縁取りをする。一方、図１５（ａ）に示すように、コントローラ１８０は、視点（すなわち、カメラ１３０の位置）から見て物体の深度が連続する箇所については縁取りをしない。すなわち、コントローラ１８０は、カメラ１３０で撮像する位置から映像に含まれる物体の位置までの距離が連続する範囲に対しては映像に縁取りを行わず、カメラ１３０で撮像する位置から映像に含まれる物体の位置までの距離が連続しない範囲に対しては映像に縁取りを行う。

（その他の実施形態）
上述の実施形態及び各変更例は、任意に組み合わせて実施可能である。例えば、変更例１と変更例２乃至４とを組み合わせてもよいし、変更例４と変更例２又は３とを組み合わせてもよい。

上述の実施形態において、コントローラ１８０が、電波シミュレーションにより計算された電波強度を表す第１仮想オブジェクトをディスプレイ１１２に表示させる一例について説明した。しかしながら、コントローラ１８０は、実際に測定した電波強度を表す第１仮想オブジェクトをディスプレイ１１２に表示させてもよい。例えば、コントローラ１８０は、通信インターフェイス１６１を用いて電波強度を周期的に測定し、各測定結果を表す第１仮想オブジェクトをディスプレイ１１２に表示させてもよい。

上述の実施形態において、シミュレータ２０１が電波シミュレーションを行う一例について説明したが、シミュレータ２０１が音（音波）に関するシミュレーションを行ってもよい。この場合、上述の実施形態における「電波強度」を「音の大きさ」と読み替えてもよい。具体的には、コントローラ１８０は、音波シミュレーションにより計算された音の大きさを表す第１仮想オブジェクトをディスプレイ１１２に表示させる。

電子機器１００が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ等の記録媒体であってもよい。

以上、図面を参照して一実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

本願は、日本国特許出願第２０２０－１１７７５１号（２０２０年７月８日出願）の優先権を主張し、その内容の全てが本願明細書に組み込まれている。

Claims (20)

1. カメラと、
   前記カメラで撮像中の映像を表示するディスプレイと、
   前記カメラの撮像範囲内における電磁波に関する情報を表す仮想オブジェクトを前記撮像中の映像に重ねて前記ディスプレイに表示させるコントローラと、を備え、
   前記コントローラは、前記撮像範囲内における前記電磁波の強さに基づいて前記仮想オブジェクトの表示態様を制御し、
   前記コントローラは、前記仮想オブジェクトとして、前記撮像中の映像に含まれる空間の床面に対して並行な面状仮想オブジェクトを前記ディスプレイに表示させ、
   前記コントローラは、前記面状仮想オブジェクトを高さ方向に移動させるユーザ操作に応じて、前記ユーザ操作に対応する高さにおける前記電磁波の強さを表す前記面状仮想オブジェクトを前記ディスプレイに表示させるように連続的に表示を変化させる
   電子機器。
2. 前記コントローラは、前記撮像範囲内における前記電磁波の強さを計算するシミュレーションの結果に基づいて、前記仮想オブジェクトの表示態様を制御する
   請求項１に記載の電子機器。
3. 前記コントローラは、前記カメラの撮像条件の変更に応じて前記撮像範囲が変更されると、前記シミュレーションの結果に基づいて、前記変更された撮像範囲内における前記電磁波の強さを表すように前記仮想オブジェクトの表示態様を変更する
   請求項２に記載の電子機器。
4. 前記コントローラは、前記面状仮想オブジェクトに含まれる領域ごとに前記電磁波の強さを色の濃淡又は色の種類で表現する前記面状仮想オブジェクトを前記ディスプレイに表示させる
   請求項１に記載の電子機器。
5. 前記コントローラは、前記面状仮想オブジェクトにおいて前記電磁波が通らない領域を所定の色で前記ディスプレイに表示させる
   請求項４に記載の電子機器。
6. 前記コントローラは、前記電磁波の進む方向を表す記号又は図形を含む前記面状仮想オブジェクトを前記ディスプレイに表示させる
   請求項１に記載の電子機器。
7. 前記コントローラは、前記電磁波の発生源が複数ある場合、前記発生源ごとに個別に割り当てられた前記面状仮想オブジェクトを互いに異なる高さ、且つ、互いに異なる色で前記ディスプレイに表示させる
   請求項１に記載の電子機器。
8. 前記コントローラは、前記電磁波の発生源が複数ある場合、前記発生源ごとに個別に割り当てられた前記面状仮想オブジェクトを互いに異なるタイミングで前記ディスプレイに表示させる
   請求項１に記載の電子機器。
9. 前記コントローラは、前記撮像中の映像に含まれる対象物と対応付けられた前記仮想オブジェクトを前記ディスプレイに表示させ、
   前記仮想オブジェクトは、前記対象物又は前記対象物の近傍における前記電磁波の強さを表す数値、記号、及び文字の少なくとも１つを含む
   請求項１乃至８のいずれか１項に記載の電子機器。
10. 前記コントローラは、前記仮想オブジェクトを前記対象物の少なくとも一部に重ねて前記ディスプレイに表示させる
    請求項９に記載の電子機器。
11. 前記コントローラは、前記撮像中の映像に含まれる複数の物体のうちユーザ操作により指定された物体を前記対象物として、前記仮想オブジェクトを前記ディスプレイに表示させる
    請求項９又は１０に記載の電子機器。
12. 前記コントローラは、前記撮像中の映像に含まれる複数の対象物のうち、前記撮像中の映像に全体が含まれない対象物に対する前記仮想オブジェクトの表示を省略する
    請求項９又は１０に記載の電子機器。
13. 前記コントローラは、前記撮像中の映像に含まれる複数の対象物に対応する複数の仮想オブジェクトが少なくとも部分的に重複する場合、前記複数の仮想オブジェクトのうち手前に位置する対象物に対応する前記仮想オブジェクトのみを前記ディスプレイに表示させる
    請求項９又は１０に記載の電子機器。
14. 前記コントローラは、前記対象物における所定範囲の領域ごとに、前記電磁波の強さを表す数値を前記ディスプレイに表示させるとともに、前記所定範囲の領域を表す境界線を前記ディスプレイに表示させる
    請求項９又は１０に記載の電子機器。
15. 前記コントローラは、前記対象物における前記電磁波の強さを表す数値を前記ディスプレイに表示させた後、前記数値を移動させるユーザ操作があった場合、前記ユーザ操作による移動先に対応した前記対象物の部位における前記電磁波の強さを表す新たな数値を前記ディスプレイに表示させる
    請求項９又は１０に記載の電子機器。
16. 前記コントローラは、前記仮想オブジェクトを前記対象物に貼付ける態様で前記ディスプレイに表示させる
    請求項９又は１０に記載の電子機器。
17. 前記コントローラは、前記撮像中の映像に含まれる物体が前記仮想オブジェクトと重複する場合、前記物体の輪郭を表す線を前記仮想オブジェクトに重ねて前記ディスプレイに表示させる
    請求項１乃至１６のいずれか１項に記載の電子機器。
18. 前記コントローラは、前記電磁波の強さを色の濃淡又は色の種類で表現する前記仮想オブジェクトを前記撮像中の映像の全体にわたって前記ディスプレイに表示させるとともに、前記物体の輪郭を表す線を前記仮想オブジェクトに重ねて前記ディスプレイに表示させる
    請求項１７に記載の電子機器。
19. カメラで撮像中の映像をディスプレイに表示させることと、
    前記カメラの撮像範囲内における電磁波に関する情報を表す仮想オブジェクトを前記撮像中の映像に重ねて前記ディスプレイに表示させることと、
    前記撮像範囲内における前記電磁波の強さに基づいて前記仮想オブジェクトの表示態様を制御することと、
    前記仮想オブジェクトとして、前記撮像中の映像に含まれる空間の床面に対して並行な面状仮想オブジェクトを前記ディスプレイに表示させることと、
    前記面状仮想オブジェクトを高さ方向に移動させるユーザ操作に応じて、前記ユーザ操作に対応する高さにおける前記電磁波の強さを表す前記面状仮想オブジェクトを前記ディスプレイに表示させるように連続的に表示を変化させることと、を有する
    制御方法。
20. 少なくとも１つのプロセッサに、
    カメラで撮像中の映像をディスプレイに表示させる処理と、
    前記カメラの撮像範囲内における電磁波に関する情報を表す仮想オブジェクトを前記撮像中の映像に重ねて前記ディスプレイに表示させる処理と、
    前記撮像範囲内における前記電磁波の強さに基づいて前記仮想オブジェクトの表示態様を制御する処理と、
    前記仮想オブジェクトとして、前記撮像中の映像に含まれる空間の床面に対して並行な面状仮想オブジェクトを前記ディスプレイに表示させる処理と、
    前記面状仮想オブジェクトを高さ方向に移動させるユーザ操作に応じて、前記ユーザ操作に対応する高さにおける前記電磁波の強さを表す前記面状仮想オブジェクトを前記ディスプレイに表示させるように連続的に表示を変化させる処理と、を実行させる
    プログラム。

Images