JP6655696B2 - 電子機器、制御方法およびプログラム - Google Patents

Description

本開示は、電子機器、制御方法およびプログラムに関する。

従来、画像とともに該画像に関連する日付情報を表示する電子機器が知られている。例えば、特許文献１には、表示部に画像を表示させるとともに、日付情報を表示部に表示させることが開示されている。

特開２０１１−１９３２０８号公報

電子機器が備える様々な機能ブロックによって検出された情報および画像を表示する技術には改善の余地がある。

かかる点に鑑みてなされた本開示の目的は、情報の表示について、利便性を高めることができる電子機器、制御方法およびプログラムを提供することにある。

本開示の電子機器は、カメラと、位置センサと、ディスプレイと、通信部と、コントローラとを備え、前記通信部は、有体物の名称情報と、当該有体物の位置を示す位置情報である第１位置情報と、当該有体物の特徴点に関する情報である第１特徴点情報とを含むデータベースを外部から取得し、前記コントローラは、前記カメラが撮像した撮像画像に基づいて、自機から前記撮像画像に含まれる特定の被写体までの距離を示す距離情報と、前記特定の被写体の特徴点に関する情報である第２特徴点情報とを含む画像認識情報を生成し、当該画像認識情報と、前記データベースと、前記位置センサが取得した自機の位置情報である第２位置情報とに基づいて、前記撮像画像に含まれる前記特定の被写体の名称を特定し、前記名称を前記撮像画像にオーバーレイ表示したオーバーレイ画像を前記ディスプレイに表示させる。

本開示の電子機器は、カメラと、位置センサと、ディスプレイと、ストレージと、コントローラとを備え、前記ストレージには、有体物の名称情報と、当該有体物の位置を示す位置情報である第１位置情報と、当該有体物の特徴点に関する情報である第１特徴点情報とを含むデータベースが記憶され、前記コントローラは、前記カメラが撮像した撮像画像に基づいて、自機から前記撮像画像に含まれる特定の被写体までの距離を示す距離情報と、前記特定の被写体の特徴点に関する情報である第２特徴点情報とを含む画像認識情報を生成し、当該画像認識情報と、前記データベースと、前記位置センサが取得した自機の位置情報である第２位置情報とに基づいて、前記撮像画像に含まれる前記特定の被写体の名称を特定し、前記名称を前記撮像画像にオーバーレイ表示したオーバーレイ画像を前記ディスプレイに表示させる。

本開示の制御方法は、カメラと、位置センサと、ディスプレイと、通信部と、コントローラとを備える電子機器の制御方法であって、前記コントローラが、前記通信部に、有体物の名称情報と、当該有体物の位置を示す位置情報である第１位置情報と、当該有体物の特徴点に関する情報である第１特徴点情報とを含むデータベースを外部から取得させるステップと、前記カメラが撮像した撮像画像に基づいて、自機から前記撮像画像に含まれる特定の被写体までの距離を示す距離情報と、前記特定の被写体の特徴点に関する情報である第２特徴点情報とを含む画像認識情報を生成するステップと、当該画像認識情報と、前記データベースと、前記位置センサが取得した自機の位置情報である第２位置情報とに基づいて、前記撮像画像に含まれる前記特定の被写体の名称を特定するステップと、前記名称を前記撮像画像にオーバーレイ表示したオーバーレイ画像を前記ディスプレイに表示させるステップと、を含む。

本開示のプログラムは、カメラと、位置センサと、ディスプレイと、通信部と、コントローラとを備える電子機器を制御するプログラムであって、前記コントローラに、前記通信部に、有体物の名称情報と、当該有体物の位置を示す位置情報である第１位置情報と、当該有体物の特徴点に関する情報である第１特徴点情報とを含むデータベースを外部から取得させるステップと、前記カメラが撮像した撮像画像に基づいて、自機から前記撮像画像に含まれる特定の被写体までの距離を示す距離情報と、前記特定の被写体の特徴点に関する情報である第２特徴点情報とを含む画像認識情報を生成するステップと、当該画像認識情報と、前記データベースと、前記位置センサが取得した自機の位置情報である第２位置情報とに基づいて、前記撮像画像に含まれる前記特定の被写体の名称を特定するステップと、前記名称を前記撮像画像にオーバーレイ表示したオーバーレイ画像を前記ディスプレイに表示させるステップと、を実行させる。

本開示の一実施形態に係る電子機器、制御方法およびプログラムによれば、情報の表示について、利便性を高めることができる。

一実施形態に係る電子機器の概略構成を示す機能ブロック図である。 図１に示す電子機器の外観図である。 図１に示す電子機器の別の方向からの外観図である。 図１に示す電子機器の自転車への装着を例示する図である。 図１に示す電子機器のウォーキング中のユーザによる使用例を示す図である。 設定画面を例示する図である。 運動とオーバーレイされるセンサ情報との対応を例示する図である。 別の設定画面を例示する図である。 表示部に表示されるオーバーレイ画像の例を示す図である。 表示部に表示されるオーバーレイ画像の別の例を示す図である。 表示部に表示されるオーバーレイ画像の別の例を示す図である。 所定の範囲に含まれる有体物を例示する図である。 データベースの構成例を示す図である。 電子機器を制御する処理（制御方法）を説明するフローチャートである。 表示部に表示される設定途中のオーバーレイ画像の例を示す図である。 表示部に表示されるオーバーレイ画像の別の例を示す図である。 電子機器を制御する処理（制御方法）を説明するフローチャートである。 表示部に表示されるオーバーレイ画像の別の例を示す図である。 表示部に表示されるオーバーレイ画像の別の例を示す図である。 電子機器を制御する処理（制御方法）を説明するフローチャートである。 オーバーレイ画像が表示された後の処理を説明するフローチャートである。

図１は、本実施形態に係る電子機器１の概略構成を示す機能ブロック図である。電子機器１は、図１に示すように、タッチスクリーンディスプレイ３と、通信部４と、撮像部５と、コントローラ６と、センサ７と、ストレージ８と、を備える。これらの機能部を構成する部品は、後述するハウジング２に収納または固定される。

タッチスクリーンディスプレイ３は、表示された画面に接触することによって、データの入力が可能な装置である。タッチスクリーンディスプレイ３は、表示部３Ａと、入力部３Ｂとを有する。表示部３Ａは、液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機ＥＬパネル（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｐａｎｅｌ）、または無機ＥＬパネル（Ｉｎｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｐａｎｅｌ）等の表示デバイスを備える。表示部３Ａは、文字、画像、記号、または図形等を表示する。表示部３Ａにおいて表示を行うために必要な情報は、コントローラ６から送信される。また、表示部３Ａは、適宜、バックライトなどを含んで構成してよい。

入力部３Ｂは、タッチスクリーンディスプレイ３を操作するユーザの指、またはスタイラスペン等の接触を検出するタッチセンサである。入力部３Ｂは、指、またはスタイラスペン等が入力部３Ｂに接触した位置を検出することができる。入力部３Ｂの検出方式は、静電容量方式、抵抗膜方式、表面弾性波方式（または超音波方式）、赤外線方式、電磁誘導方式、および荷重検出方式等の任意の方式とすることができる。入力部３Ｂが検出した信号は、コントローラ６に出力される。

通信部４は、通信ネットワークを介して、情報を送受信する。通信部４による情報の送受信に用いられる通信方式は、無線通信規格である。例えば、無線通信規格として、２Ｇ（２ｎｄ Ｇｅｎｅｒａｔｉｏｎ）、３Ｇ（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ）、４Ｇ（４ｔｈ Ｇｅｎｅｒａｔｉｏｎ）等の規格がある。例えば、無線通信規格として、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、Ｗ−ＣＤＭＡ、ＣＤＭＡ２０００、ＰＤＣ、ＧＳＭ（登録商標）、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙ−ｐｈｏｎｅ Ｓｙｓｔｅｍ）等がある。例えば、無線通信規格として、ＷｉＦｉ（Ｔｈｅ Ｓｔａｎｄａｒｄ ｆｏｒ Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）、ＷｉＭＡＸ（Ｗｏｒｌｄｗｉｄｅ Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ Ｍｉｃｒｏｗａｖｅ Ａｃｃｅｓｓ）、ＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ ｒａｄｉｏ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）等がある。通信部４は、上述した通信規格の１つ以上をサポートしていてよい。

通信部４は、外部のサーバ等から、電子機器１の位置における風速を示す風速情報を取得し、風速情報をコントローラ６に出力し得る。また、通信部４は、天気情報、地図情報、山天気情報、海天気／波関連情報、雪関連情報、日出／日入情報、潮汐情報等を取得し、コントローラ６に出力してよい。コントローラ６は、これらの情報を、センサ７から出力された他の情報と同様に扱うために、ストレージ８にセンサ情報８Ｃとして記憶してよい。

また、通信部４は、後述するデータベース１１を取得して、ストレージ８に記憶させるためにコントローラ６に出力し得る。後述するように、コントローラ６は、ストレージ８に記憶されたデータベース１１に基づいて被写体の名称を得ることが可能である。コントローラ６は、得られた名称を、センサ７から出力された他の情報と同様に扱うために、ストレージ８にセンサ情報８Ｃとして記憶してよい。名称は、後述するようにオーバーレイ処理で用いられる。

撮像部５は、撮像画像を撮像するカメラである。撮像部５は、少なくとも光学系と撮像素子とを含んで構成される。撮像素子は、光学系を介して受光面上に結像される被写体の像を画像信号に変換することにより撮像画像を撮像する。撮像素子としては、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサまたはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等が用いられる。また、撮像部５が撮像した撮像画像は、コントローラ６に出力される。後述するように、コントローラ６は、撮像画像に基づいてサイズ情報を得ることが可能である。コントローラ６は、得られたサイズ情報を、センサ７から出力された他の情報と同様に扱うために、ストレージ８にセンサ情報８Ｃとして記憶してよい。サイズ情報は、後述するようにオーバーレイ処理で用いられる。

センサ７は、検出対象の情報を検出する。センサ７は、連続的に検出対象を検出することによって検出対象の変化を検出することができる。また、センサ７は、検出値をコントローラ６に出力する。ここで、少なくとも一部の検出値は後述するセンサ情報８Ｃであり得る。つまり、少なくとも一部のセンサ７は、検出対象の情報をセンサ情報８Ｃとしてコントローラ６に出力する。

センサ７は、位置センサ７Ｂと、方位センサ７Ｃと、加速度センサ７Ｄと、気圧センサ７Ｅと、温度センサ７Ｆと、を含む。ここで、センサ７は、これらのセンサの一部を含まなくてよい。例えば、センサ７は、温度センサ７Ｆを含まなくてよい。また、センサ７は、更に別のセンサを含み得る。

位置センサ７Ｂは、電子機器１の位置を示す位置情報を取得する。位置センサ７Ｂは、例えば、ＧＰＳ衛星からＧＰＳ衛星の位置、信号の発信時刻等を示すＧＰＳ信号を受信し、ＧＰＳ信号に基づいて電子機器１の位置を示す位置情報を取得する。また、位置センサ７Ｂは、位置情報を連続的に取得して、位置情報が示す位置の履歴に基づいて移動経路情報を取得する。また、位置センサ７Ｂは、単位時間当たりの位置の変化を電子機器１の速度として算出し、算出した速度を示す速度情報を取得する。また、位置センサ７Ｂは、位置の変化に基づいて算出した電子機器１の移動距離を示す距離情報を取得する。また、位置センサ７Ｂは、取得した位置情報、移動経路情報、速度情報、および距離情報をそれぞれセンサ情報８Ｃとしてコントローラ６に出力する。

方位センサ７Ｃは、例えば、磁気センサまたはジャイロセンサ等である。方位センサ７Ｃは、地磁気の変化に基づいて方位を示す方位情報を取得する。また、方位センサ７Ｃは、取得した方位情報をコントローラ６に出力する。

加速度センサ７Ｄは、電子機器１の重力方向の加速度を示す重力加速度情報を取得する。また、加速度センサ７Ｄは、重力加速度情報をセンサ情報８Ｃとしてコントローラ６に出力する。

気圧センサ７Ｅは、電子機器１の周囲環境の気圧を示す気圧情報を取得する。気圧センサ７Ｅは、気圧情報をセンサ情報８Ｃとしてコントローラ６に出力する。

温度センサ７Ｆは、電子機器１の周囲環境の温度を示す温度情報を取得する。また、温度センサ７Ｆは、温度情報をセンサ情報８Ｃとしてコントローラ６に出力する。

ストレージ８は、プログラム８Ａ、設定情報８Ｂ、センサ情報８Ｃおよび画像情報８Ｄを記憶する記憶部である。また、ストレージ８は、コントローラ６の処理結果を一時的に記憶する作業領域としても利用される。ストレージ８は、半導体記憶デバイスおよび磁気記憶デバイス等の任意の記憶デバイスを含んでよい。また、ストレージ８は、複数の種類の記憶デバイスを含んでよい。また、ストレージ８は、メモリカード等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。

プログラム８Ａは、電子機器１を制御するプログラムである。コントローラ６がプログラム８Ａに従うことによって、電子機器１は各種機能を実行する。プログラム８Ａは、通信部４による無線通信、または記憶媒体を介してストレージ８にインストールされてよい。プログラム８Ａは、コントローラ６がオーバーレイ（重畳）処理を行うためのアプリケーションであるオーバーレイアプリケーションを含む。ここで、オーバーレイ処理は、撮像部５によって撮像された撮像画像にセンサ情報８Ｃをオーバーレイしたオーバーレイ画像を生成する処理を含む。また、オーバーレイ処理は、設定情報８Ｂに基づいて、オーバーレイ画像をストレージ８に画像情報８Ｄとして記憶する処理を含む。また、本明細書において、「アプリケーション」はアプリケーションプログラムの略記である。

設定情報８Ｂは、ユーザによって指定されたオーバーレイ処理に関する設定の情報である。設定情報８Ｂは、例えば後述するテーブルを含む。

センサ情報８Ｃは、コントローラ６がセンサ７から取得した情報、および、コントローラ６がセンサ７から取得した情報に基づいて生成した情報である。センサ情報８Ｃは、電子機器１の状態（例えば周囲環境）の変化によって時間とともに変化し得る情報を含む。センサ情報８Ｃは、例えば、位置情報、移動経路情報、速度情報、距離情報、方位情報、重力加速度情報、気圧情報、高度情報、温度情報、サイズ情報および名称等である。また、センサ情報８Ｃは、上述の情報に限られず、例えば、風速情報、天気情報、地図情報、山天気情報、海天気／波関連情報、雪関連情報、日出／日入情報および潮汐情報等の少なくとも１つをさらに含んでよい。

画像情報８Ｄは、オーバーレイ処理を行った画像の情報である。画像情報８Ｄは、静止画像および動画像を含む。コントローラ６は、例えば、ストレージ８から画像情報８Ｄ（例えばオーバーレイ処理を行った動画）を読み出して、タッチスクリーンディスプレイ３に表示させることが可能である。

コントローラ６は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。コントローラ６は、通信部４等の他の構成要素が統合されたＳｏＣ（Ｓｙｓｔｅｍ−ｏｎ−ａ−Ｃｈｉｐ）等の集積回路であってよい。コントローラ６は、複数の集積回路を組み合わせて構成されていてよい。コントローラ６は、電子機器１の各機能部を制御するとともに、電子機器１の動作を統括的に制御して各種の機能を実現する。本実施形態におけるコントローラ６の動作の詳細は後述する。

本実施形態に係る電子機器１は、センサ情報８Ｃを撮像画像にオーバーレイさせた画像（オーバーレイ画像）を生成し、プレビュー画像としてディスプレイに表示する。また、本実施形態に係る電子機器１は、表示部３Ａに表示されたオーバーレイ画像をストレージ８に記憶することができる。本実施形態に係る電子機器１は、撮像画像が撮像されたときに、撮像画像にセンサ情報８Ｃをオーバーレイさせる。さらに、本実施形態に係る電子機器１は、センサ情報８Ｃがオーバーレイされた画像を記憶する。したがって、本実施形態に係る電子機器１によれば、ユーザは、センサ情報８Ｃが所望の形（位置、大きさ等）でオーバーレイされた撮像画像を視認したうえで、撮像画像をリアルタイムで確実に記憶させることができる。

図２は電子機器１の外観図である。電子機器１は、例えば、スマートフォンとすることができるが、この限りではない。電子機器１は、例えばフィーチャーフォンタイプの携帯電話またはタブレット等としてよい。また、電子機器１は、例えば、デジタルカメラまたはアクションカメラなど、センサを搭載した撮像装置であってよい。

図２は、電子機器１のタッチスクリーンディスプレイ３が設けられた正面を示す。ハウジング２は、タッチスクリーンディスプレイ３等の電子機器１の部品を収納または固定して保護する、電子機器１の外郭である。図２に示すように、電子機器１の正面には撮像部５の一部（例えばインカメラ）が設けられる。ここで、電子機器１の正面には、撮像部５が設けられない構成であってよい。

図３は、電子機器１の正面とは反対側の面である背面を示す。図３に示すように、電子機器１の背面には撮像部５の一部（例えばアウトカメラ）が設けられる。

電子機器１は、例えば、図４に示すように、自転車１００のハンドルに取り付けられた状態で用いられてよい。この場合、電子機器１は、撮像部５が、ユーザが所望する任意の方向、例えば自転車１００の進行方向を撮像するように取り付けられる。また、電子機器１は、ユーザがタッチスクリーンディスプレイ３を視認することができるように取り付けられる。これにより、ユーザは、自転車１００に乗りながら、撮像部５が撮像した撮像画像をリアルタイムで視認することができる。

また、電子機器１は、運動するユーザが所持する状態で用いられてよい。例えば、図５に示すように、ウォーキング中のユーザは、電子機器１を把持することで、電子機器１を使用することができる。ここで、ユーザは、電子機器１が取り付けられた補助装置を把持することで、電子機器１を使用することも可能である。電子機器１は、撮像部５がユーザの所望の方向を撮像するように把持される。例えば、図５に示すように、ユーザは、電子機器１の撮像部５がユーザの進行方向を撮像するように電子機器１を把持すれば、電子機器１のタッチスクリーンディスプレイ３を視認することができる。これにより、ユーザは、運動中に、撮像部５が撮像した撮像画像をリアルタイムで視認することができる。

ここで、上記のように、オーバーレイアプリケーションによってコントローラ６はオーバーレイ処理を行う。オーバーレイ処理によって、表示部３Ａには、撮像部５が撮像した撮像画像にセンサ情報８Ｃがオーバーレイされたオーバーレイ画像が表示される。また、オーバーレイ処理によって、オーバーレイ画像はストレージ８に記憶される。撮像画像にオーバーレイされるセンサ情報８Ｃは、以下に説明する設定画面を用いてユーザによって選択され得る。

図６は設定画面を例示する図である。ユーザは、コントローラ６がオーバーレイ処理を開始する前に、図６の設定画面で撮像画像にオーバーレイされるセンサ情報８Ｃを選択する。図６の設定画面は、例えば電子機器１の初期画面（トップ画面）においてメニューから選択することによって表示され得る。

図６の設定画面は、電子機器１が使用される場面を選択させる。具体的には、ユーザがどのような運動をしているときに、電子機器１が使用されるかを選択させる。図６の設定画面で選択可能な運動は、「サーフィン・マリンスポーツ」、「登山」、「スキー・スノーボード」、「自転車」、「釣り」、「トレッキング」および「ウォーキング」である。ユーザは、いずれか１つの運動をラジオボタンへタッチすることによって選択する。選択された運動は、設定情報８Ｂの一つとしてストレージ８に記憶される。

図７は運動（用途）と撮像画像にオーバーレイされるセンサ情報８Ｃとの対応を例示する図である。図７のテーブルにおいて、各運動と各センサ情報８Ｃとが対応している場合に丸のマークが示されている。図７のテーブルは、設定情報８Ｂの一つとしてストレージ８に記憶される。

コントローラ６は、設定情報８Ｂからユーザによって選択された運動を読み出す。そして、コントローラ６は、設定情報８Ｂから図７に示されるテーブルを読み出して、選択された運動に対応するセンサ情報８Ｃを決定する。例えばユーザによって選択された運動がサーフィン・マリンスポーツである場合に、コントローラ６は、撮像画像にオーバーレイされるセンサ情報８Ｃを、速度情報、距離情報、重力加速度情報、風速情報および温度情報に決定する。つまり、コントローラ６は、速度情報、距離情報、重力加速度情報、風速情報および温度情報を撮像画像にオーバーレイしたオーバーレイ画像を表示する。また、コントローラ６は、ユーザから指示があった場合には、オーバーレイ画像の記憶を実行する。

運動と撮像画像にオーバーレイされるセンサ情報８Ｃとを対応させたテーブルに基づいて、ユーザが選択した運動に応じてセンサ情報８Ｃが自動的に決定される。そのため、ユーザは電子機器１が使用される場面（本実施形態ではユーザが行う運動）を選択するだけで、容易にセンサ情報８Ｃを決定することができる。

ここで、設定画面は、ラジオボタンの代わりにチェックボックスを用いてよい。このとき、ユーザは１つ以上の運動を選択することができる。このとき、コントローラ６は、選択された１つ以上の運動に対応する全てのセンサ情報８Ｃを撮像画像にオーバーレイする。

また、撮像画像にオーバーレイされるセンサ情報８Ｃは、上記のテーブルのセンサ情報８Ｃの項目（速度情報、距離情報、高度情報、重力加速度情報、気圧情報、移動経路情報、風速情報、方位情報、温度情報、サイズ情報および名称）に限定されなくてよい。コントローラ６は、ユーザによって選択された運動に関わらず、さらに現在日時情報を撮像画像にオーバーレイしてよい。また、コントローラ６は、ユーザによって選択された運動に関わらず、さらに位置情報を撮像画像にオーバーレイしてよい。また、コントローラ６は、ユーザによって選択された運動に関わらず、さらに、動画像であるオーバーレイ画像を記憶し始めてからの経過時間情報を撮像画像にオーバーレイしてよい。

ここで、図８は別の設定画面を例示する図である。別の例として、設定画面はユーザにセンサ情報８Ｃを個別に選択させるものであり得る。図８に示すように、設定画面には、各センサ情報８Ｃがチェックボックスと共に表示される。ユーザは、撮像画像にオーバーレイさせる１つ以上のセンサ情報８Ｃを、チェックボックスへタッチすることによって選択する。選択されたセンサ情報８Ｃは、設定情報８Ｂの一つとしてストレージ８に記憶される。コントローラ６は、設定情報８Ｂからユーザによって選択されたセンサ情報８Ｃを読み出す。そして、コントローラ６は、選択されたセンサ情報８Ｃをオーバーレイしたオーバーレイ画像を表示する。また、コントローラ６は、ユーザから指示があった場合には、オーバーレイ画像の記憶を実行する。

図８の設定画面が使用される場合、ユーザは撮像画像にオーバーレイさせるセンサ情報８Ｃを個別に設定可能である。そのため、ユーザは好みに合わせて、オーバーレイ画像をカスタマイズすることが可能になる。

ここで、更に別の例として、図６の設定画面（以下、第１の設定画面）と図８の設定画面（以下、第２の設定画面）が共に使用されてよい。ユーザは、例えば電子機器１の初期画面のメニューによって、第１の設定画面および第２の設定画面を順に表示させることが可能である。ユーザは、まず第１の設定画面で運動を選択する。選択された運動は、設定情報８Ｂの一つとしてストレージ８に記憶される。コントローラ６は、設定情報８Ｂからユーザによって選択された運動を読み出す。そして、コントローラ６は、設定情報８Ｂから図７に示されるテーブルを読み出して、選択された運動に対応するセンサ情報８Ｃを把握する。コントローラ６は、選択された運動に対応するセンサ情報８Ｃについて、第２の設定画面のチェックボックスがデフォルトで選択された状態であるように設定する。つまり、コントローラ６は、選択された運動に基づく第２の設定画面のチェックボックスの初期値を、設定情報８Ｂの一つとして記憶させる。そして、ユーザは第２の設定画面でチェックボックスをタッチすることによってセンサ情報８Ｃを選択または非選択する。つまり、ユーザは第２の設定画面でセンサ情報８Ｃを調整することができる。

例えば、ユーザは第１の設定画面でサーフィン・マリンスポーツを選択する。コントローラ６は、図７に示されるテーブルを読み出して、速度情報、距離情報、重力加速度情報、風速情報および温度情報を、第２の設定画面で最初から（デフォルトで）選択された状態に設定する。そして、コントローラ６は、ユーザの操作に従って、第２の設定画面を表示する。このとき、第２の設定画面では、速度情報、距離情報、重力加速度情報、風速情報および温度情報のチェックボックスが選択された状態になっている。ユーザは第２の設定画面で、センサ情報８Ｃの追加の選択および非選択（選択の解除）が可能である。一例として、ユーザが重力加速度情報、風速情報および温度情報を非選択にすると、速度情報および距離情報の選択だけが残る。このように、ユーザは、第１の設定画面で選択した運動に応じたセンサ情報８Ｃを、第２の設定画面で調整することができる。そのため、ユーザは、撮像画像にオーバーレイされるセンサ情報８Ｃを、容易にカスタマイズすることが可能である。

コントローラ６は、撮像画像にオーバーレイされるセンサ情報８Ｃが設定された後で、ユーザがオーバーレイ処理の開始を命令する所定の操作を行うと、オーバーレイ処理を実行する。ここで、所定の操作は、一例としてタッチスクリーンディスプレイ３に表示される所定のオブジェクトへのタッチである。

オーバーレイ処理の開始が命令されると、コントローラ６は、ストレージ８から撮像画像にオーバーレイされるセンサ情報８Ｃを取得する。そして、コントローラ６は、センサ情報８Ｃを撮像画像にオーバーレイしたオーバーレイ画像を生成する。コントローラ６は、生成されたオーバーレイ画像を表示部３Ａに表示する。

図９は表示部３Ａに表示されるオーバーレイ画像の例を示す。図９の例では、ユーザは自転車１００に乗っている。また、電子機器１は、自転車１００のハンドルに取り付けられた状態で用いられている。

コントローラ６は、撮像画像に、各種の情報（速度情報Ｄ１、距離情報Ｄ２、重力加速度情報Ｄ４、現在日時情報Ｄ５、温度情報Ｄ１１および高度情報Ｄ１２）をオーバーレイしたオーバーレイ画像を表示している。図９に示すように、撮像画像にオーバーレイされた各種の情報のそれぞれはセンサ情報８Ｃであり、数値情報を含み得る。また、撮像画像にオーバーレイされた各種の情報はセンサ情報８Ｃであり、テキスト情報を含み得る。テキスト情報は数値情報の具体的な内容を示す。

例えば、図９に示される重力加速度情報Ｄ４は、センサ情報８Ｃの１つである。重力加速度情報Ｄ４は、数値情報である「１．２（Ｇ）」を含む。また、重力加速度情報Ｄ４は、テキスト情報である「Ｇ−ＦＯＲＣＥ」を含む。重力加速度情報Ｄ４について、数値情報である「１．２（Ｇ）」は、時間とともに変化する。また、テキスト情報である「Ｇ−ＦＯＲＣＥ」は、「１．２（Ｇ）」が重力方向の加速度の値であることを示す。また、例えば、図９に示される温度情報Ｄ１１も、センサ情報８Ｃの１つである。温度情報Ｄ１１は、数値情報である「３１（℃）」を含む。また、温度情報Ｄ１１は、テキスト情報である「気温」を含む。また、テキスト情報である「気温」は、「３１（℃）」が気温であることを示す。

コントローラ６は、各種の情報（速度情報Ｄ１、距離情報Ｄ２、重力加速度情報Ｄ４、現在日時情報Ｄ５、温度情報Ｄ１１および高度情報Ｄ１２）を、ユーザの運動を妨げないように適切な位置に配置してよい。図９の例では、ユーザは自転車１００に乗っている。そのため、進行方向の道路を表示している表示部３Ａの中央部分および中央部分の上方に各種の情報をオーバーレイすることは好ましくない。そこで、図９に示すように、撮像画像の下部または左右端近傍に各種の情報を表示することが好ましい。

また、オーバーレイ画像には、ユーザ操作のためのオブジェクトが表示される。例えば、コントローラ６は、静止画像記憶オブジェクトＯ１をタッチスクリーンディスプレイ３に表示させる。ユーザが静止画像記憶オブジェクトＯ１をタッチすることで、オーバーレイ画像は静止画像として記憶される。また、例えば、コントローラ６は、動画像記憶オブジェクトＯ２をタッチスクリーンディスプレイ３に表示させる。ユーザが動画像記憶オブジェクトＯ２をタッチすることで、オーバーレイ画像は動画像として記憶される。また、例えば、コントローラ６は、動画像の記憶が開始されると、終了オブジェクトＯ３をタッチスクリーンディスプレイ３に表示させる。ユーザが終了オブジェクトＯ３をタッチすることで、動画像の記憶が終了する。終了オブジェクトＯ３は、静止画像記憶オブジェクトＯ１および動画像記憶オブジェクトＯ２に代えて表示されてよい。

ここで、コントローラ６は、ストレージ８に画像情報８Ｄとして記憶されたオーバーレイ画像をタッチスクリーンディスプレイ３に表示（再生）し得る。ただし、ユーザ操作のためのオブジェクトは、撮像画像にオーバーレイされた各種の情報（例えば速度情報Ｄ１等）と異なり、ストレージ８に記憶されない。つまり、再生の場合に、例えば速度情報Ｄ１および距離情報Ｄ２等の情報は表示される。しかし、再生の場合に、オブジェクトは表示されない。ストレージ８に画像情報８Ｄとして記憶されたオーバーレイ画像は、外部の機器から取得されたものであってもよい。つまり、コントローラ６は、通信部４を介して外部の機器から取得したオーバーレイ画像をタッチスクリーンディスプレイ３に表示（再生）してもよい。

図１０は表示部３Ａに表示されるオーバーレイ画像の別の例を示す。図１０は、図９の状態から時間が経過した後に表示されるオーバーレイ画像を示す。図１０に示すように、時間が経過すると撮像画像にオーバーレイされる情報が変化（この例では増加）してよい。コントローラ６は、オーバーレイ画像（動画像）の記憶を開始してからの経過時間である経過時間情報Ｄ６を撮像画像にオーバーレイしてよい。また、コントローラ６は、オーバーレイ画像の記憶を開始してから得られた最高速度である最高速度情報Ｄ７を撮像画像にオーバーレイしてよい。また、コントローラ６は、オーバーレイ画像の記憶を開始してから得られた最大の重力方向の加速度である最大重力加速度情報Ｄ８を撮像画像にオーバーレイしてよい。また、コントローラ６は、位置情報に基づいて、実空間での位置の履歴（移動経路）を所定の領域Ｒに表示可能なように縮小したオブジェクトを含む移動経路情報Ｄ９を撮像画像にオーバーレイしてよい。

図１１は表示部３Ａに表示されるオーバーレイ画像の別の例を示す。図１１の例では、ユーザはウォーキングをしている。図１１は、ユーザのウォーキング中に撮像部５で撮像した周囲の撮像画像に情報がオーバーレイされたオーバーレイ画像を示す。図１１のオーバーレイ画像は、所定の領域Ｒに表示された移動経路情報Ｄ９、温度情報Ｄ１１および名称Ｄ１４を含む。移動経路情報Ｄ９は、上記の通り、ユーザの実空間での移動経路を縮小したオブジェクトで示したものである。温度情報Ｄ１１は、温度センサ７Ｆによって測定された電子機器１の周囲環境の温度を示す。また、名称Ｄ１４は、撮像画像に含まれる特定の被写体の名前を示す。図１１の例では、名称Ｄ１４はビルＡおよびビルＢである。上述したように、オーバーレイ画像には、静止画像記憶オブジェクトＯ１および動画像記憶オブジェクトＯ２などのユーザ操作のためのオブジェクトが表示される。

ここで、図１１の撮像画像が含む多くのビルのうち、名称Ｄ１４が示される特定の被写体はビルＡおよびビルＢである。特定の被写体は、例えば次のように決定される。

通信部４は、コントローラ６の指示に従って、データベース１１を外部から取得する。外部は例えば電子機器１とインターネット等のネットワークを介して接続される外部のサーバである。図１３に示すように、データベース１１は、有体物の名称情報１１０と、有体物の位置を示す位置情報である第１位置情報１１１と、有体物の特徴点に関する情報である第１特徴点情報１１２と、を含む。有体物は、物理的に空間の一部を占める有形の物である。有体物は例えばビル等の人工物を含む。また、有体物は例えば魚および山等の自然物を含む。データベース１１の有体物は、特定の被写体と対応づけられる。したがって、特定の被写体は人工物を含む。また、特定の被写体は自然物を含む。ここで、別の例として、データベース１１は通信部４によって外部から取得されるのではなく、ストレージ８に予め記憶されていてよい。

名称情報１１０は、複数の有体物の名称を含む。例えば、有体物がビルを含む場合に、ビルＡ、ビルＢ等の個々の名称を含み得る。また、例えば有体物が魚である場合に、ハマチ、サンマ等の種類の名称を含み得る。また、例えば有体物が山である場合に、Ｘ山、Ｙ岳等の個々の名称を含み得る。名称情報１１０は、その地域で有名な建物、よく釣れる魚の種類および有名な山の名称だけを含んでよい。

第１位置情報１１１は、名称情報１１０に含まれる複数の有体物の位置の情報を含む。例えば、有体物がビルを含む場合に、ビルＡの座標、ビルＢの座標等の個々の位置（座標）を含み得る。また、例えば、有体物が魚を含む場合に、ハマチの生息域である水深１００ｍ程度の海の領域、サンマの生息域である北太平洋の領域等の分布の位置（座標範囲）を含み得る。また、例えば有体物が山である場合に、Ｘ山の座標、Ｙ岳の座標等の個々の位置（座標）を含み得る。

第１特徴点情報１１２は、名称情報１１０に含まれる複数の有体物の特徴点に関する情報である。第１特徴点情報１１２は、例えば各天候での見え方、季節または時間（例えば朝、昼、夜等）による見え方、様々な角度（方向）からの見え方（形状）等を含む。本実施形態において、第１特徴点情報１１２は、名称情報１１０に含まれる複数の有体物のそれぞれについて、これらの特徴点を示す画像を含む。

コントローラ６は、撮像部５が撮像した撮像画像に基づいて、自機から撮像画像に含まれる特定の被写体までの距離を示す距離情報を取得する。図１１の例では、タッチスクリーンディスプレイ３に多くのビルを含む撮像画像（プレビュー画像）が表示される。ユーザはビルＡをタッチすることでビルＡを特定の被写体に指定する。別の例として、ユーザはビルＡが画面の中心部分に含まれるように電子機器１の向きを変更して、オートフォーカス機能によってビルＡが特定の被写体であるとコントローラ６が判定できるようにしてよい。つまり、ユーザはタッチスクリーンディスプレイ３をタッチしなくても特定の被写体の設定が可能である。コントローラ６は、撮像部５が備える例えば赤外線レーザー等を用いる公知のフォーカス調整機能によって、特定の被写体までの距離を示す距離情報を取得する。例えば、撮像部５は、赤外線レーザーを照射して、特定の被写体で反射された赤外線レーザーを受光素子で受け取る。このとき、コントローラ６は、撮像部５から赤外線レーザーを受け取るまでの時間等を取得し、距離情報を演算で求め得る。また、コントローラ６は、撮像部５が演算した距離情報を取得し得る。

ここで、図１２は、図１１の例におけるビルＡの位置Ｐａ、ビルＢの位置Ｐｂおよび自機（電子機器１）の位置Ｐ０の関係の概要を示す上面図である。コントローラ６は、位置センサ７Ｂから自機の位置情報である第２位置情報を取得している。第２位置情報は例えば自機の位置Ｐ０の座標である。コントローラ６は、第２位置情報が示す位置Ｐ０から距離情報が示す距離までの第１範囲Ｒ０に含まれる第１位置情報１１１を特定することで、第１範囲Ｒ０に含まれる有体物を特定する。ここで、第２位置情報が示す位置Ｐ０から距離情報が示す距離は、図１１の例でビルＡの位置Ｐａと自機の位置Ｐ０との直線距離に対応する。そして、自機の位置Ｐ０を中心に、位置Ｐａと自機の位置Ｐ０との直線距離で円を描き、撮像画像の画角で区切った扇形の部分が第１範囲Ｒ０に対応する。このとき、コントローラ６は、方位センサ７Ｃが示す方位の情報を用いてよい。撮像方向と方位センサが示す方位とは略一致する蓋然性が高い。つまり、コントローラは、方位センサが示す方位の情報（撮像方向と略一致する方向）と撮像画像の画角の情報とに基づき、撮像画像の画角で区切った第１範囲Ｒ０を算出してもよい。コントローラ６は、撮像画像の画角とは関係なく、第１範囲Ｒ０を設定してもよい。例えば、コントローラ６は、方位センサが示す方位に対応するベクトルを基準として左右に所定の角度（例えば１５°ずつ）幅を持たせた範囲を第１範囲Ｒ０としてもよい。コントローラ６は、データベース１１の第１位置情報１１１のうち、第１範囲Ｒ０に含まれるものを特定する。例えば、図１２の例では、位置Ｐａだけでなく、ビルＢの位置Ｐｂが第１範囲Ｒ０に含まれる。しかし、自機の位置Ｐ０から離れたビルの位置Ｐｃおよび撮像画像の画角の範囲に入らないビルの位置Ｐｄは、第１範囲Ｒ０に含まれない。コントローラ６は、第１範囲Ｒ０に位置Ｐａおよび位置Ｐｂが含まれると判定して、名称情報１１０から対応する有体物（ビルＡおよびビルＢ）を特定する。つまり、図１１の例では、ビルＡおよびビルＢが特定の被写体となる。

そして、コントローラ６は、撮像部５が撮像した撮像画像に基づいて、特定の被写体の特徴点に関する情報である第２特徴点情報を含む画像認識情報を生成する。コントローラ６は、撮像画像の特定の被写体の特徴点を抽出し、必要なセンサ情報８Ｃを取得して、第２特徴点情報を生成する。ここで、第２特徴点情報は、第１特徴点情報１１２と対比可能であるように生成される。例えば、第２特徴点情報は、撮影時の天候、季節または時間での見え方、方位センサ７Ｃが検出した撮影の向きでの見え方（形状）を特定できる情報である。一例として、コントローラ６は、撮像画像の特定の被写体（図１１の例ではビルＡおよびビルＢ）の輪郭を抽出する。そして、コントローラ６は、抽出した輪郭の情報と、例えば撮像画像の撮影時の天気情報、撮像画像の向きの情報等を合わせて第２特徴点情報を生成する。

コントローラ６は、第２特徴点情報そのものを画像認識情報としてよい。また、コントローラ６は、本実施形態のように、第２特徴点情報に付加情報を加えて画像認識情報を生成してよい。例えば画像認識情報が含む付加情報は、撮像画像の全体に対して特定の有体物が占める比率情報であってよい。例えば比率情報は、オーバーレイ表示の内容を変化させ得る。例えばコントローラ６は、見易さのために、決められた閾値（例えば５％）を下回る比率情報を有する特定の被写体の名称を、撮像画像にオーバーレイ表示させなくてよい。また、例えば画像認識情報が含む付加情報は、撮像画像に含まれる範囲の三次元地図情報であってよい。三次元地図情報は、例えば特定の被写体だけでなく、撮像画像に含まれる固定物（例えば建物）および移動体（例えば自動車）の位置、高さおよび奥行き方向の前後関係を明確にするものである。例えば三次元地図情報は、オーバーレイ表示の内容を変化させ得る。コントローラ６は、三次元地図情報に基づいて、オーバーレイ画像内の特定の被写体の位置が移動したか否かを判定し、特定の被写体の位置が移動したと判定すると、撮像画像にオーバーレイ表示される名称の位置を変更し得る。例えば、コントローラ６は、オーバーレイ画像内の特定の被写体が移動体であって、その位置が移動したと判定した場合に、オーバーレイ画像内の名称の表示位置を、特定の被写体（移動体）に対する相対的な表示位置を変更することなく移動させてよい。つまり、コントローラ６は、三次元地図情報に基づいて、名称の表示が特定の被写体に追従して動くように、オーバーレイ画像を生成し得る。

コントローラ６は、画像認識情報と、データベース１１と、位置センサ７Ｂが取得した自機の位置情報である上記の第２位置情報とに基づいて、撮像画像に含まれる特定の被写体の名称を特定し、名称を撮像画像にオーバーレイ表示したオーバーレイ画像をタッチスクリーンディスプレイ３に表示させる。ここで、コントローラ６は、第２位置情報を、上記のように第１範囲Ｒ０の特定に用いる。また、コントローラ６は、画像認識情報と、データベース１１と、を詳細には以下のように用いる。

コントローラ６は、データベース１１の第１特徴点情報１１２から、第１範囲Ｒ０に含まれる有体物が有する第１特徴点情報１１２を取得する。そして、コントローラ６は、取得した第１特徴点情報１１２の中から、画像認識情報が含む第２特徴点情報と一致するものを特定することで、特定の被写体を示す有体物を特定する。例えば、コントローラ６が取得する第１範囲Ｒ０に含まれる有体物が有する第１特徴点情報１１２は、ビルＡおよびビルＢの第１特徴点情報１１２だけでなく、その他の建物の第１特徴点情報１１２を含み得る。コントローラ６は、第２特徴点情報との比較によって、特定の被写体を特定する。ここで、本実施形態において、第２特徴点情報との比較は、ある角度（撮像の向き）における形状比較が用いられるが、これに限定されない。コントローラ６は、形状比較による一致または不一致の判定について公知の手法を使用し得る。

コントローラ６は、形状比較の結果で一致したものを特定の被写体を示す有体物と特定し、その名称を撮像画像にオーバーレイ表示したオーバーレイ画像をディスプレイに表示させる。図１１の例では、このような形状比較の結果で一致した位置Ｐａおよび位置Ｐｂにある建物の名称Ｄ１４（ビルＡおよびビルＢ）が表示されている。図１１に示すように、名称Ｄ１４は特定の被写体の周辺にオーバーレイされてよい。コントローラ６は、形状比較の結果で一致するものがなかった場合、撮像画像に被写体の名称をオーバーレイ表示しなくてもよい。上記の実施形態によれば、ユーザは、撮像画像に表示された特定の被写体の名称を簡単に把握ことができる。また、上記のいくつかの実施形態によれば、電子機器１は、処理負担を軽減しつつ、高い確度で被写体の名称を特定することができる。また、上記のいくつかの実施形態によれば、特定の被写体の名称が表示されるか否かは適宜取捨選択されるため、被写体の名称を撮像画像にオーバーレイする際の利便性がより向上する。

図１４は、本実施形態に係る電子機器１の特定の被写体の名称がオーバーレイされたオーバーレイ画像を表示する場合の制御方法を例示するフローチャートである。

コントローラ６は、撮像部５（カメラ）が起動されるまで待機する（ステップＳ１のＮｏ）。

コントローラ６は、撮像部５（カメラ）が起動されると（ステップＳ１のＹｅｓ）、データベース１１を取得する（ステップＳ２）。

コントローラ６は、位置センサ７Ｂから自機の位置情報を取得する（ステップＳ３）。

コントローラ６は、ユーザによる特定の被写体を指示するためのタッチを検知するまで待機する（ステップＳ４のＮｏ）。

コントローラ６は、タッチを検知すると（ステップＳ４のＹｅｓ）、フォーカス調整のための処理（フォーカス処理）を実行する（ステップＳ５）。

コントローラ６は、上記のように、自機から撮像画像に含まれる特定の被写体までの距離を示す距離情報を取得する（ステップＳ６）。

コントローラ６は、データベース１１の検索範囲を決定する（ステップＳ７）。つまり、コントローラ６は、上記の第１範囲Ｒ０を定めることによって、データベース１１の検索の対象を第１範囲Ｒ０に含まれる有体物に限定する。

コントローラ６は、特定の被写体の特徴点に関する情報である第２特徴点情報を含む画像認識情報を生成する（ステップＳ８）。

コントローラ６は、上記のように、形状比較により特定の被写体の名称を特定する（ステップＳ９）。

コントローラ６は、例えば図１１のように、名称Ｄ１４を含むオーバーレイ画像をディスプレイに表示させる（ステップＳ１０）。

上述したように、センサ情報８Ｃは、例えば、位置情報、移動経路情報、速度情報、距離情報、方位情報、重力加速度情報、気圧情報、高度情報、温度情報、サイズ情報および名称等である。ここで、各センサ情報は、２つ以上が組み合わせて撮像画像にオーバーレイ表示されることで、電子機器１の利便性がさらに向上し得る。以下に、本開示の電子機器１が、被写体の名称およびサイズ情報を他のセンサ情報と組合せて撮像画像にオーバーレイ表示する例について説明する。

図１５は表示部３Ａに表示される設定途中のオーバーレイ画像の例を示す。図１５の例では、ユーザは釣りをしている。図１５は、撮像部５で撮像したユーザが釣った魚の撮像画像に情報がオーバーレイされたオーバーレイ画像を示す。ただし、図１５は、サイズ情報がまだオーバーレイされていない。図１５のオーバーレイ画像は、温度情報Ｄ１１、風速情報Ｄ１３、気圧情報Ｄ１６および位置情報Ｄ１７を含む。ここで、位置情報Ｄ１７は電子機器１の現在位置、すなわち、ユーザが釣りをしている位置を示す。風速情報Ｄ１３は、通信部４が取得した、位置情報Ｄ１７で示される位置における現在の風速を示す。また、気圧情報Ｄ１６は、気圧センサ７Ｅによって検出された、位置情報Ｄ１７で示される位置における現在の気圧を示す。

また、図１５のオーバーレイ画像には、ユーザ操作のためのオブジェクトが表示される。図１５の例では、静止画像記憶オブジェクトＯ１、動画像記憶オブジェクトＯ２およびフォーカスオブジェクトＯ４が表示されている。静止画像記憶オブジェクトＯ１および動画像記憶オブジェクトＯ２は、上記に説明したように、ストレージ８への記憶を実行させるためのオブジェクトである。つまり、ユーザが静止画像記憶オブジェクトＯ１をタッチすることで（第２操作の一例）、オーバーレイ画像は静止画像としてストレージ８に記憶される。また、ユーザが動画像記憶オブジェクトＯ２をタッチすることで（第３操作の一例）、オーバーレイ画像は動画像としてストレージ８に記憶される。ここで、動画像の記憶は、上記のように、動画像記憶オブジェクトＯ２に代わって表示される終了オブジェクトＯ３がタッチされること（第４操作の一例）で終了する。

フォーカスオブジェクトＯ４は、フォーカス処理を開始させるためのオブジェクトである。つまり、ユーザがフォーカスオブジェクトＯ４をタッチすることで、コントローラ６は、ユーザが続いてタッチする場所にあるオブジェクト（図１５の例では魚）を特定の被写体としてピントを合わせる。ユーザは、例えば撮像画像における特定の被写体の一部であるポイントＲ１をタッチする。コントローラ６は、撮像部５が備える例えば赤外線レーザー等を用いる公知のフォーカス調整機能によって、特定の被写体までの距離を示す距離情報を取得する。その後に、ユーザはサイズを測定したい部分の両端を指定する。図１５の例では、撮像画像における特定の被写体のポイントＲ２（図１５の例では魚の頭）とポイントＲ３（図１５の例では魚の尾）をタッチする。コントローラ６は、例えば三角測量と同様の手法でポイントＲ２とポイントＲ３との間の実際の長さを計算するサイズ情報の検出処理を開始する。例えば、コントローラ６は、撮像部５が有する撮像画像の画角の情報を取得可能である。また、コントローラ６は、入力部３ＢからポイントＲ２およびポイントＲ３のタッチスクリーンディスプレイ３における座標を取得可能である。コントローラ６は、これらの情報に基づいて、撮像位置と特定の被写体の一端（例えばポイントＲ２に対応する端）と他端（例えばポイントＲ３に対応する端）とが成す角度を計算できる。そして、コントローラ６は、フォーカス調整の際に取得した特定の被写体までの距離情報を用いて実際の長さを計算できる。このように計算された長さがサイズ情報である。

図１６は、図１５の後に表示部３Ａに表示されるオーバーレイ画像の例を示す。コントローラ６は、上記のように、ユーザによってサイズを測定したい部分の両端を指定する操作（一定の撮像範囲が撮像された撮像画像内で測定範囲を規定する操作の一例）が行われると、サイズ情報を撮像画像にオーバーレイする。コントローラ６は、特定の被写体を含む撮像画像に、サイズ情報を示すオブジェクトをオーバーレイしたオーバーレイ画像を表示部３Ａに表示する。図１５の例では、オブジェクトはゲージＤ１５である。ゲージＤ１５は所定の幅を有する線分の画像を含む。また、ゲージＤ１５は長さを示す数値および単位（ｃｍ）を含む。また、コントローラ６は、オーバーレイ画像に、オブジェクトとは異なる態様でサイズ情報をさらに表示してよい。図１５の例で、オーバーレイ画像はサイズ情報である測定結果表示Ｄ１８を含む。

このように、コントローラ６は、撮像部５が撮像した撮像画像に基づいて、撮像画像に含まれる特定の被写体に関するサイズ情報を測定し、サイズ情報（例えばゲージＤ１５）およびセンサ７の検出結果に基づくセンサ情報８Ｃ（例えば位置情報Ｄ１７）の双方を撮像画像にオーバーレイしたオーバーレイ画像を表示部３Ａに表示する。また、コントローラ６は、撮像部５が撮像した撮像画像に基づいて、撮像画像に含まれる特定の被写体に関するサイズ情報を測定し、サイズ情報（例えばゲージＤ１５）および通信部４が取得した情報（例えば温度情報Ｄ１１、風速情報Ｄ１３、気圧情報Ｄ１６）の双方を撮像画像にオーバーレイしたオーバーレイ画像を表示部３Ａに表示する。なお、上述したように、通信部４が取得した情報はセンサ情報８Ｃとして扱ってもよい。図１５の例で、コントローラ６は、特定の被写体の全体に関するサイズ情報を測定し、特定の被写体の全体を含む撮像画像に、サイズ情報を示すオブジェクトをオーバーレイしたオーバーレイ画像を表示部３Ａに表示する。ここで、コントローラ６は、特定の被写体の少なくとも一部分のサイズ情報を測定することができる。ユーザは、サイズを測定したい部分の両端を指定するが、特定の被写体の全体でなく、一部分を指定してよい。

また、コントローラ６は、撮像部５の動作に基づいてオーバーレイ画像を表示部３Ａに表示させてよい。例えば、ユーザによってカメラを起動させる操作（例えばメインメニューでカメラのアイコンをタッチする操作、第１操作の一例）が行われると、コントローラ６は、オーバーレイ画像を表示部３Ａに表示させてよい。そして、上記のように、コントローラ６は、オーバーレイ画像を表示部３Ａに表示させた後に、ユーザによって静止画像記憶オブジェクトＯ１がタッチされると、ストレージ８にオーバーレイ画像を静止画として記憶する。

また、コントローラ６は、ユーザによってカメラを起動させる操作が行われると、センサ情報８Ｃ（例えば位置情報Ｄ１７）を、所定の時間の間のみ撮像画像にオーバーレイしてよい。また、コントローラ６は、ユーザによってカメラを起動させる操作が行われると、サイズ情報に関連する画像（例えばゲージＤ１５の所定の幅を有する線分の画像）を、所定の時間の間のみ撮像画像にオーバーレイしてよい。サイズ情報に関連する画像が表示されることにより、ユーザはサイズ情報を測定することが可能であることを認識できる。

また、コントローラ６は、上記のように、ユーザによってサイズを測定したい部分の両端を指定する操作が行われた後、ユーザによって静止画像記憶オブジェクトＯ１がタッチされると、ストレージ８にサイズ情報がオーバーレイされたオーバーレイ画像を静止画として記憶してもよい。つまり、コントローラ６は、ユーザによってサイズを測定したい部分の両端を指定する操作が行われた時点では、サイズ情報を撮像画像にオーバーレイせず、ユーザによって静止画像記憶オブジェクトＯ１がタッチされることにより、ストレージ８にオーバーレイ画像を静止画として記憶する際に、サイズ情報を撮像画像にオーバーレイしてもよい。

上記の実施形態において、特定の被写体は、同種の個体が複数存在するものであって、サイズに個体差があるものであってもよい。特定の被写体は、人工物であってもよいし、自然物であってもよい。特定の被写体は生物であってもよいし、無生物であってもよい。無生物である特定の被写体は、建造物および家具を含む。生物である特定の被写体は魚に限定されず、植物および動物を含む。

上記の実施形態によれば、ユーザは、撮像画像に表示された特定の被写体のサイズを簡単に把握ことができる。また、上記の実施形態によれば、例えばユーザは、どのような環境においてどの程度のサイズの生物を捕獲できるのか、またはどの程度のサイズの生物を発見できるのかなどを把握することができる。また、上記のいくつかの実施形態によれば、例えばユーザは、どのような環境においてどの程度のサイズの生物を捕獲したか、またはどの程度のサイズの生物に発見できたかなどを、撮像後にあらためて確認または回想することができる。被写体のサイズは、周囲環境と因果関係を有する可能性がある。例えば、不特定多数の場所のうち、特定の場所において大きなサイズの魚が釣れやすい可能性がある。また、気温、風速、または気圧は時間帯および時期によって変化するが、特定の気温、風速、または気圧下において大きなサイズの魚が釣れやすい可能性がある。よって例えば、ユーザは、どのような環境においてどの程度のサイズの生物が生息する蓋然性が高いのかを、記録するとともに学ぶことができる。このように、ユーザが釣った魚を撮像する場合、撮像画像に釣った魚のサイズまたは名称等が表示されることは有益となり得る。また、上記のいくつかの実施形態によれば、特定の被写体に関するサイズ情報をオーバーレイするに当たり、電子機器１の操作性が向上する。

図１７は、本実施形態に係る電子機器１の特定の被写体のサイズ情報がオーバーレイされたオーバーレイ画像を表示する場合の制御方法を例示するフローチャートである。

コントローラ６は、撮像部５（カメラ）が起動されるまで待機する（ステップＳ１０１のＮｏ）。

コントローラ６は、撮像部５（カメラ）が起動されると（ステップＳ１０１のＹｅｓ）、ステップＳ１０２の処理に進む。

コントローラ６は、ユーザによる特定の被写体を指示するためのタッチを検知するまで待機する（ステップＳ１０２のＮｏ）。

コントローラ６は、タッチを検知すると（ステップＳ１０２のＹｅｓ）、フォーカス調整のための処理（フォーカス処理）を実行する（ステップＳ１０３）。上記の例では、入力部３ＢからユーザがフォーカスオブジェクトＯ４をタッチしたとの情報を取得することによって、コントローラ６はタッチを検知する。

コントローラ６は、上記のように、特定の被写体の少なくとも一部分のサイズ情報を測定する（ステップＳ１０４）。

コントローラ６は、例えば図１６のように、ゲージＤ１５および測定結果表示Ｄ１８を含むオーバーレイ画像をディスプレイに表示させる（ステップＳ１０５）。

コントローラ６は、特定の被写体の名称およびサイズ情報をオーバーレイ画像に含めることができる。図１８は表示部３Ａに表示されるオーバーレイ画像の例を示す。図１８の例では、ユーザはウォーキングをしている。図１８のオーバーレイ画像は、図１１と比較すると、さらにゲージＤ１５および測定結果表示Ｄ１８を含む。上記と同様の手法で、ユーザはビルＡの底部および最上部を指定して、コントローラ６に長さ（すなわちビルＡの高さ）を測定させている。図１８の例では、ビルＡの高さは５５ｍである。このように、コントローラ６は、カメラが撮像した撮像画像に基づいて撮像画像に含まれる特定の被写体（ビルＡ）の少なくとも一部分に関するサイズ情報を測定し、サイズ情報および名称情報の双方を撮像画像にオーバーレイしたオーバーレイ画像を表示する。ここで、名称Ｄ１４は通信部４が取得した有体物の名称情報１１０に基づいて特定される。よって、言い換えると、コントローラ６は、カメラが撮像した撮像画像に基づいて撮像画像に含まれる特定の被写体（ビルＡ）の少なくとも一部分に関するサイズ情報を測定し、サイズ情報および通信部４が取得した情報（名称Ｄ１４）の双方を撮像画像にオーバーレイしたオーバーレイ画像を表示する。

図１９は、表示部３Ａに表示されるオーバーレイ画像の例を示す。図１９の例では、ユーザは釣りをしている。図１９のオーバーレイ画像は、図１６と比較すると、さらに名称Ｄ１４を含む。図１９の例では、名称Ｄ１４はユーザが釣った魚の種類である「ハマチ」である。コントローラ６は、オーバーレイ画像に特定の被写体に共通する情報（名称Ｄ１４）および特定の被写体の個別の大きさの情報（ゲージＤ１５および測定結果表示Ｄ１８）の少なくとも１つを含める。コントローラ６は、特定の被写体に共通する情報を例えば以下のように特定する。まず、コントローラ６は、位置センサ７Ｂから自機の位置情報を取得する。また、コントローラ６は、特定の被写体が魚であることを公知の画像処理等によって判定する。コントローラ６は、自機の位置情報に近い海が第１位置情報１１１として示される生息域に含まれるか否かによって魚の種類の候補を選択する。そして、コントローラ６は、候補の魚の第１特徴点情報１１２と、撮像画像に含まれる魚の形状比較によって名称を特定する。図１９に示すように、撮像画像には、撮像画像に含まれる特定の被写体の名称情報およびセンサ情報（通信部４が取得した情報）の双方がオーバーレイされてもよい。

上記のいくつかの実施形態によれば、名称情報およびサイズ情報の双方、または名称およびセンサ情報（通信部４が取得した情報）の双方が撮像画像にオーバーレイして記憶されるため、ユーザは、撮像画像とともに、名称だけでなくその他ユーザにとって必要な情報を、記憶後にあらためて確認または回想することができる。例えばユーザは、建設現場などにおいて、記録すべき建造物の画像、名称、および日付などの情報をまとめて記録し、後から確認することができる。

図２０は、本実施形態に係る電子機器１の特定の被写体の名称およびサイズ情報がオーバーレイされたオーバーレイ画像を表示する場合の制御方法を例示するフローチャートである。

コントローラ６は、撮像部５（カメラ）が起動されるまで待機する（ステップＳ２０１のＮｏ）。

コントローラ６は、撮像部５（カメラ）が起動されると（ステップＳ２０１のＹｅｓ）、データベース１１を取得する（ステップＳ２０２）。

コントローラ６は、位置センサ７Ｂから自機の位置情報を取得する（ステップＳ２０３）。

コントローラ６は、ユーザによる特定の被写体を指示するためのタッチを検知するまで待機する（ステップＳ２０４のＮｏ）。

コントローラ６は、タッチを検知すると（ステップＳ２０４のＹｅｓ）、フォーカス調整のための処理（フォーカス処理）を実行する（ステップＳ２０５）。

コントローラ６は、上記のように、自機から撮像画像に含まれる特定の被写体までの距離を示す距離情報を取得する（ステップＳ２０６）。

コントローラ６は、データベース１１の検索範囲を決定する（ステップＳ２０７）。つまり、コントローラ６は、データベース１１の検索の対象を自機の位置情報等に基づいて限定する。

コントローラ６は、特定の被写体の特徴点に関する情報である第２特徴点情報を含む画像認識情報を生成する（ステップＳ２０８）。

コントローラ６は、上記のように、形状比較により特定の被写体の名称を特定する（ステップＳ２０９）。

また、コントローラ６は、上記のように、特定の被写体の少なくとも一部分のサイズ情報を測定する（ステップＳ２１０）。

コントローラ６は、例えば図１８または図１９のように、名称Ｄ１４、ゲージＤ１５および測定結果表示Ｄ１８を含むオーバーレイ画像をディスプレイに表示させる（ステップＳ２１１）。

以上のように、本実施形態に係る電子機器１は、上記のようなオーバーレイ画像をディスプレイに表示させて、情報の表示について、利便性を高めることができる。

続いて、図２１に示すフローチャートを参照して、オーバーレイ画像が表示された後の処理の一例について説明する。

電子機器１は、オーバーレイ画像をディスプレイに表示する（ステップＳ１００１）。

電子機器１は、静止画像記憶オブジェクトＯ１へのタッチを検出した場合に（ステップＳ１００２のＹｅｓ）、オーバーレイ静止画像を記憶する（ステップＳ１００３）。

電子機器１は、静止画像記憶オブジェクトＯ１へのタッチを検出しない場合に（ステップＳ１００２のＮｏ）、ステップＳ１００５の処理に進む。

電子機器１は、動画像記憶オブジェクトＯ２へのタッチを検出した場合に（ステップＳ１００５のＹｅｓ）、オーバーレイ動画像の記憶を開始する（ステップＳ１００６）。

電子機器１は、動画像記憶オブジェクトＯ２へのタッチを検出しない場合に（ステップＳ１００５のＮｏ）、ステップＳ１００４の処理に進む。

電子機器１は、オーバーレイ動画像の記憶を開始すると、終了オブジェクトＯ３へのタッチを検出するまで、オーバーレイ動画像を記憶しながら待機する（ステップＳ１００７のＮｏ）。

電子機器１は、終了オブジェクトＯ３へのタッチを検出した場合に（ステップＳ１００７のＹｅｓ）、オーバーレイ動画像の記憶を終了して（ステップＳ１００８）、ステップＳ１００４の処理に進む。

電子機器１は、オーバーレイ静止画像の記憶後に、動画像記憶オブジェクトＯ２へのタッチを検出しない場合に、または、オーバーレイ動画像の記憶の終了後に、終了操作を検出すると（ステップＳ１００４のＹｅｓ）、一連の処理を終了する。

電子機器１は、終了操作を検出しない場合に（ステップＳ１００４のＮｏ）、ステップＳ１００１の処理に戻る。

本開示を図面および実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形および修正を行うことが容易であることに注意されたい。したがって、これらの変形および修正は本開示の範囲に含まれることに留意されたい。例えば、各手段または各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の手段またはステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。

例えば、ユーザはオーバーレイ画像における名称Ｄ１４の表示について、様々な指定を実行可能であってよい。例えば、ユーザは撮像画像で指定した有体物に名称Ｄ１４がオーバーレイされないように指定してよい。例えば図１８のように、ユーザが特定のビルを指定すると、その前に表示されていた「ビルＢ」の名称Ｄ１４の一部がオーバーレイされないようになる。

また、ユーザの指定があった有体物についてだけ、名称Ｄ１４がオーバーレイされてよい。つまり、コントローラ６は、撮像画像を表示部３Ａに表示させ、撮像画像を表示部３Ａに表示させた後に、少なくとも１つの特定の被写体を選択する操作を含む所定の操作が行われると、選択された特定の被写体の名称Ｄ１４を撮像画像にオーバーレイ表示したオーバーレイ画像を表示部３Ａに表示させてよい。このとき、ユーザはオーバーレイ画像に表示される名称Ｄ１４を制御できるため、名称Ｄ１４の表示が多すぎて見にくくなることを防止できる。コントローラ６は、形状比較の結果で一致するものがなかった場合、その旨を通知してもよい。例えば、コントローラ６は、形状比較の結果で一致するものがなかった場合、その旨を示すテキストまたはオブジェクトを撮像画像にオーバーレイ表示したオーバーレイ画像をディスプレイに表示させる。形状比較の結果で一致するものがなかったことを示すオブジェクトは、撮像画像に所定時間オーバーレイされた後、表示されなくなってもよい。形状比較の結果で一致するものがなかったことを示すテキストは、例えば、「名称不明」というテキストである。形状比較の結果で一致するものがなかったことを示すオブジェクトは、例えば「？」というオブジェクトである。このとき、ユーザは、撮像画像に名称がオーバーレイされない際に、その原因が、オーバーレイ処理が実行されていないためなのか、オーバーレイ処理は実行されたものの被写体の名称を特定することが不可能であるためかを判別することができる。

また、別の例として、次のような手法によって、ユーザの指定があった有体物についてだけ、名称Ｄ１４がオーバーレイされてよい。コントローラ６は、図１１の例のように、撮像画像に含まれる複数の特定の被写体の名称を特定すると、複数の特定の被写体を撮像画像にオーバーレイ表示した第１オーバーレイ画像をディスプレイに表示する。コントローラ６は、第１オーバーレイ画像を表示させた後に、ユーザによって少なくとも１つの特定の被写体を選択する操作を含む所定の操作が行われると、選択された特定の被写体の名称を非表示にした第２オーバーレイ画像をディスプレイに表示させる。ここで、所定の操作で選択された特定の被写体の情報は、入力部３Ｂによって検出されてコントローラ６に出力される。そして、コントローラ６は選択された特定の被写体の名称を非表示にする。

また、図１５の例において、ユーザがフォーカスオブジェクトＯ４とポイントＲ１とをタッチした後に、フォーカスオブジェクトＯ４がオーバーレイ画像から消えてモードが切り替わったことをユーザに知らせてよい。つまり、コントローラ６は、撮像画像が表示されている間、所定の操作（例えばフォーカスオブジェクトＯ４へのタッチ）が行われると、フォーカス処理が可能な第１モードとサイズ情報の検出処理の開始が可能な第２モードとを切り替えてよい。

また、図１２の例では、第１位置情報１１１に含まれる位置を有する有体物（ビルＡおよびビルＢ）が、第１範囲Ｒ０に存在した。しかし、上述したように、コントローラ６が撮像画像の画角とは関係なく第１範囲Ｒ０を設定した場合、撮像画像の画角に合わせて第１範囲Ｒ０を設定した場合に比べて、第１範囲にそのような有体物が存在しない蓋然性が高まる。ここで、第１範囲Ｒ０にそのような有体物が存在しない場合に、コントローラ６は次のような処理をしてよい。第１範囲Ｒ０に含まれる有体物が存在しない場合、コントローラ６は、方位にかかわらず、第２位置情報（自機の位置Ｐ０）が示す位置から距離情報が示す距離までの第２範囲に含まれる第１位置情報１１１を特定する。つまり、コントローラ６は、自機の位置Ｐ０を中心に円を描いて、その円に含まれる領域（第２範囲）に含まれる有体物を特定する。第２範囲の一部が第１範囲Ｒ０に対応する。コントローラ６は、第２範囲に含まれる有体物が有する第１特徴点情報１１２の中から、第２特徴点情報と一致する第１特徴点情報１１２を特定することで、特定の被写体を示す有体物を特定する。そして、コントローラ６は、特定の被写体を示す有体物を表す名称を、撮像画像にオーバーレイ表示したオーバーレイ画像をディスプレイに表示させる。ここで、コントローラ６は、第１範囲Ｒ０に有体物が全く存在しない場合だけでなく、形状比較の処理において第２特徴点情報と一致する第１特徴点情報１１２が存在しない場合に（形状比較の処理で少なくとも１つの名称が不明である場合に）、このような処理を実行してよい。

いくつかの実施形態において、ユーザに新たな操作を求める場合等に、コントローラ６はユーザに操作を促すガイド表示をオーバーレイ画像に含めてよい。例えば、図１５の例において、ユーザがフォーカスオブジェクトＯ４をタッチした後に、特定の被写体へのタップを促すように「タップした位置にフォーカスします」との表示を行ってよい。また、例えば、図１５の例において、ユーザが特定の被写体である魚にタッチした後に、測定する長さの指定を促すように「魚の端と端をタップしてください」との表示を行ってよい。ユーザに次の操作を促す表示を実行することによって、電子機器１の利便性が更に向上する。

他の実施形態において、コントローラ６は、オーバーレイ画像を生成した後、オーバーレイ画像を表示部３Ａに表示することなく、オーバーレイ画像をストレージ８に記憶してよい。言い換えると、コントローラ６は、オーバーレイ画像を生成しても、表示部３Ａにはオーバーレイ処理がなされていない撮像画像を表示しつつ、オーバーレイ画像をストレージ８に記憶してよい。

電子機器１が備える機能は、複数の装置によって実現されてよい。例えば、電子機器１が備える機能は、少なくとも撮像部５を含む第１装置と、少なくとも表示部３Ａを備える第２装置とによって実現されてよい。このとき、第１装置と第２装置とは、無線または有線で接続される。第１装置は、少なくとも撮像部５が撮像した撮像画像を、無線または有線で第２装置に送信する。撮像画像のオーバーレイ処理は、第１装置が行ってよいし、第２装置が行ってよい。第１装置がオーバーレイ処理を実行する場合、第１装置は、オーバーレイ画像を、無線または有線で第２装置に送信する。第２装置は、受信したオーバーレイ画像を表示部３Ａに表示する。第２装置がオーバーレイ処理を実行する場合、第１装置は、オーバーレイ処理がなされていない撮像画像およびセンサ情報８Ｃを、無線または有線で第２装置に送信する。第２装置は、受信した撮像画像に対してオーバーレイ処理を実行し、表示部３Ａにオーバーレイ画像を表示する。第１装置および第２装置は、例えば、アクションカメラおよびスマートフォン、アクションカメラおよびウェアラブルデバイスなどであるが、これらに限定されない。

１ 電子機器
２ ハウジング
３ タッチスクリーンディスプレイ
３Ａ 表示部
３Ｂ 入力部
４ 通信部
５ 撮像部
６ コントローラ
７ センサ
７Ｂ 位置センサ
７Ｃ 方位センサ
７Ｄ 加速度センサ
７Ｅ 気圧センサ
７Ｆ 温度センサ
８ ストレージ
８Ａ プログラム
８Ｂ 設定情報
８Ｃ センサ情報
８Ｄ 画像情報
１１ データベース
１００ 自転車
１１０ 名称情報
１１１ 第１位置情報
１１２ 第１特徴点情報

Claims (1)

1. カメラと、位置センサと、ディスプレイと、通信部と、コントローラとを備え、
   前記通信部は、有体物の名称情報と、当該有体物の位置を示す位置情報である第１位置情報と、当該有体物の特徴点に関する情報である第１特徴点情報とを含むデータベースを外部から取得し、
   前記コントローラは、
   前記カメラが撮像した撮像画像に基づいて、自機から前記撮像画像に含まれる特定の被写体までの距離を示す距離情報と、前記特定の被写体の特徴点に関する情報である第２特徴点情報と、前記撮像画像の全体に対して前記特定の有体物が占める比率情報を含む画像認識情報を生成し、
   当該画像認識情報と、前記データベースと、前記位置センサが取得した自機の位置情報である第２位置情報とに基づいて、前記撮像画像に含まれる前記特定の被写体の名称を特定し、
   前記名称を前記撮像画像にオーバーレイ表示したオーバーレイ画像を前記ディスプレイに表示させ、
   決められた閾値を下回る比率情報を有する前記特定の被写体の前記名称は、前記撮像画像にオーバーレイ表示させない
   電子機器。

Images