WO2017208814A1

WO2017208814A1 - 端末装置

Info

Publication number: WO2017208814A1
Application number: PCT/JP2017/018455
Authority: WO
Inventors: 辰巳炭竃
Original assignee: サン電子株式会社
Priority date: 2016-05-30
Filing date: 2017-05-17
Publication date: 2017-12-07
Also published as: EP3467768A1; EP3467768B1; CN109196552A; JP2017215664A; CN109196552B; US20200326540A1; US11016296B2; EP3467768A4

Abstract

端末装置は、撮影部と、表示部と、制御部と、記憶部とを備える。制御部は、撮影制御部と、生成部と、記憶制御部と、表示制御部と、を備える。撮影制御部は、撮影部に撮影を実行させる。生成部は、撮影部が対象画像を撮影する対象タイミングにおける端末装置の環境の特徴を示す特徴情報を生成する。記憶制御部は、撮影された対象画像と、生成された特徴情報と、を対応付けて記憶部に記憶させる。表示制御部は、対象画像及び特徴情報が記憶部に記憶された後で、特徴が検出される特定の場合に、当該特徴を示す特徴情報に対応付けられて記憶部に記憶されている対象画像を表示部に表示させる。

Description

端末装置

　本明細書によって開示される技術は、画像を表示部に表示させる端末装置に関する。

　特開２０１４－９３０５０号公報（以下特許文献１という）には、ユーザの頭部に装着して用いられる画像表示装置が開示されている。この種の画像表示装置は、ユーザの視界に対応する範囲の画像（即ち、現実画像）を表示する表示部と、表示部に表示される画像に関連するオブジェクトを表すオブジェクト画像を表示部に表示されている現実画像に合成して表示させるコンピュータと、を備える。

　予め定められた条件が成立する場合に、撮影済みの画像を適切に表示させることができる技術の提供が求められている。

　本明細書では、予め定められた条件が成立する場合に、撮影済みの画像を表示部に適切に表示させることができる技術を開示する。

　本明細書が開示する一の端末装置は、撮影部と、表示部と、制御部と、記憶部とを備える。制御部は、撮影制御部と、生成部と、記憶制御部と、表示制御部と、を備える。撮影制御部は、撮影部に撮影を実行させる。生成部は、撮影部が対象画像を撮影する対象タイミングにおける端末装置の環境の特徴を示す特徴情報を生成する。記憶制御部は、撮影された対象画像と、生成された特徴情報と、を対応付けて記憶部に記憶させる。表示制御部は、対象画像及び特徴情報が記憶部に記憶された後で、特徴が検出される特定の場合に、当該特徴を示す特徴情報に対応付けられて記憶部に記憶されている対象画像を表示部に表示させる。

　上記の端末装置は、対象画像と特徴情報とを対応付けて記憶部に記憶させた後、特徴が検出される特定の場合に、当該特徴を示す特徴情報に対応付けられて記憶部に記憶されている対象画像を表示部に表示させる。そのため、上記の端末装置によると、予め定められた条件が成立する場合である特定の場合に、撮影済みの対象画像を適切に表示部に表示させることができる。

　本明細書が開示する他の端末装置は、表示部と、制御部と、記憶部とを備える。制御部は、取得部と、記憶制御部と、表示制御部とを備える。取得部は、撮影部が撮影した対象画像と、撮影部が対象画像を撮影する対象タイミングにおける撮影部の環境の特徴を示す特徴情報と、を取得する。記憶制御部は、取得された対象画像と特徴情報とを対応付けて記憶部に記憶させる。表示制御部は、対象画像及び特徴情報が記憶部に記憶された後で、特徴が検出される特定の場合に、当該特徴を示す特徴情報に対応付けられて記憶部に記憶されている対象画像を表示部に表示させる。

　この端末装置による場合も、上記と同様に、予め定められた条件が成立する場合である特定の場合に、撮影部によって予め撮影された対象画像を適切に表示部に表示させることができる。

　なお、上記の端末装置を実現するための制御方法、コンピュータプログラム、及び、当該コンピュータプログラムを格納するコンピュータ読取可能記録媒体も、新規で有用である。

端末装置の外観を示す。端末装置の構成を示す。第１実施例の記録処理のフローチャートを示す。第１実施例の再現処理のフローチャートを示す。第１実施例において対象画像を現状に並べて表示させる表示例を示す。第１実施例において対象画像を現状に重ねて表示させる表示例を示す。第２実施例の記録処理のフローチャートを示す。第２実施例の再現処理のフローチャートを示す。第２実施例において対象画像を現状に並べて表示させる表示例を示す。第２実施例において対象画像を現状に重ねて表示させる表示例を示す。第３実施例において対象画像を現状に並べて表示させる表示例を示す。第３実施例において対象画像を現状に重ねて表示させる表示例を示す。第４実施例で用いられる対象画像の例を示す。第４実施例において対象画像を現状に重ねて表示させる表示例を示す。

　以下に説明する実施例の主要な特徴を列記しておく。なお、以下に記載する技術要素は、それぞれ独立した技術要素であって、単独であるいは各種の組合せによって技術的有用性を発揮するものであり、出願時請求項記載の組合せに限定されるものではない。

（特徴１）端末装置は、さらに、所定の領域内における端末装置の位置を検出する位置検出手段を備えていてもよい。生成部は、対象タイミングにおいて位置検出手段によって検出される対象位置を含む特徴を示す特徴情報を生成してもよい。表示制御部は、対象画像及び特徴情報が記憶部に記憶された後で、位置検出手段によって対象位置が検出される特定の場合に、当該対象位置を含む特徴を示す特徴情報に対応付けられて記憶部に記憶されている対象画像を、表示部に表示させてもよい。

　ここで、「位置検出手段」は、例えばＧＰＳ受信機を含む。「位置検出手段」は、この他にも、制御部と通信インターフェース等、所定の領域内における端末装置の位置を検出可能な任意の手段を含む。制御部と通信インターフェースを位置検出手段として用いる場合、例えば、制御部は、通信インターフェースを介して、Ｗｉ－Ｆｉ通信用のアクセスポイントを検出し、当該アクセスポイントと端末装置との位置関係を算出することによって端末装置の位置を検出してもよい。

　この構成によると、端末装置は、対象画像と特徴情報とを対応付けて記憶部に記憶させた後、位置検出手段によって対象位置が検出される特定の場合に、対象画像を表示部に表示させることができる。端末装置のユーザは、端末装置を、対象画像が撮影された対象タイミングにおいて検出された位置である対象位置に配置すれば、表示部に表示された対象画像を見ることができる。そのため、端末装置のユーザは、端末装置を、対象画像を撮影した際の位置と同じ位置に配置すれば、対象画像を見ることができる。従って、端末装置のユーザは、対象画像の撮影時の状況と現在の状況とを適切に比較し得る。

（特徴２）端末装置は、さらに、端末装置の姿勢を検出するセンサを備えていてもよい。生成部は、対象タイミングにおいてセンサによって検出される対象姿勢をさらに含む特徴を示す特徴情報を生成してもよい。表示制御部は、対象画像及び特徴情報が記憶部に記憶された後で、位置検出手段によって対象位置が検出されるとともに、センサによって対象姿勢が検出される特定の場合に、当該対象位置及び当該対象姿勢を含む特徴を示す特徴情報に対応付けられて記憶部に記憶されている対象画像を、表示部に表示させてもよい。

　この構成によると、端末装置は、対象画像と特徴情報とを対応付けて記憶部に記憶させた後、位置検出手段によって対象位置が検出されるとともに、センサによって対象位置が検出される特定の場合に、対象画像を表示部に表示させることができる。端末装置のユーザは、端末装置を、対象画像が撮影された対象タイミングにおいて検出された位置である対象位置に配置するとともに、対象タイミングにおいて検出された姿勢に保持すれば、表示部に表示された対象画像を見ることができる。そのため、端末装置のユーザは、端末装置を、対象画像を撮影した際の位置と同じ位置に配置するとともに、同じ姿勢に保持すれば、対象画像を見ることができる。端末装置のユーザは、対象画像の撮影時の状況と現在の状況とをより適切に比較し得る。

（特徴３）生成部は、対象タイミングにおいて撮影部が撮影する対象画像内に含まれる特徴要素を特定し、特定された特徴要素を含む特徴を示す特徴情報を生成してもよい。表示制御部は、対象画像及び特徴情報が記憶部に記憶された後で、撮影部によって特徴要素が撮影されることが検出される特定の場合に、当該特徴要素を含む特徴を示す特徴情報に対応付けられて記憶部に記憶されている対象画像を、表示部に表示させてもよい。

　この構成によると、端末装置は、対象画像と特徴情報とを対応付けて記憶部に記憶させた後、撮影部によって特徴要素が撮影されることが検出される特定の場合に、対象画像を表示部に表示させることができる。端末装置のユーザは、対象画像に含まれる特徴要素を撮影部によって再び撮影させれば、表示部に表示された対象画像を見ることができる。そのため、端末装置のユーザは、対象画像の撮影時の状況と現在の状況とをより適切に比較し得る。

（特徴４）端末装置は、さらに、ユーザの頭部に装着可能なフレームを備えていてもよい。撮影部は、フレームに搭載され、フレームを装着したユーザの視界範囲に対応する範囲を撮影可能であってもよい。表示部は、フレームに搭載され、フレームを装着したユーザの右眼と左眼の少なくとも一方に対向する位置に配置されてもよい。

　この構成によると、端末装置は、ユーザの視界範囲に対応する範囲の対象画像を撮影して記憶部に記憶させ、特定の場合に対象画像を表示部に表示させることができる。端末装置のユーザは、自身の視界範囲を基準として、対象画像の撮影時の状況と現在の状況とを比較し得る。

（第１実施例）
（端末装置２の構成；図１、図２）
　図１に示す端末装置２は、ユーザの頭部に装着して用いられる画像表示装置（いわゆるヘッドマウントディスプレイ）である。端末装置２は、フレーム４と、表示部１０ａ、１０ｂと、投影部１１ａ、１１ｂと、第１のカメラ１２と、第２のカメラ１４と、コントロールボックス１６と、操作部１８とを備えている。

　フレーム４は、眼鏡フレーム状の部材である。ユーザは、眼鏡を装着するようにフレーム４を装着することによって、端末装置２を頭部に装着することができる。

　表示部１０ａ、１０ｂは、それぞれ、透光性の表示部材である。ユーザが端末装置２を頭部に装着すると、ユーザの右眼に対向する位置に表示部１０ａが配置され、左眼に対向する位置に表示部１０ｂが配置される。以下、左右の表示部１０ａ、１０ｂを総称して表示部１０と呼ぶ場合がある。本実施例では、ユーザは、表示部１０越しに周囲を視認することができる。

　投影部１１ａ、１１ｂは、表示部１０ａ、１０ｂに画像を投影する部材である。投影部１１ａ、１１ｂは、表示部１０ａ、１０ｂの側部に設けられている。以下、左右の投影部１１ａ、１１ｂを総称して投影部１１と呼ぶ場合がある。本実施例では、投影部１１は、制御部３０の指示に従って、所定の対象画像を表示部１０に投影する。以下、本明細書では、制御部３０が、投影部１１に画像の投影を指示することによって、表示部１０に所望の画面を表示させることを説明する場合に、投影部１１の動作の説明を省略し、単に「制御部３０が表示部１０に所望の画像を表示させる」などと表現する場合がある。

　第１のカメラ１２は、フレーム４のうち、表示部１０ａの上方位置（即ち、ユーザの右眼に対応する位置）に配置されているカメラである。一方、第２のカメラ１４は、フレーム４のうち、表示部１０ｂの上方位置（即ち、ユーザの左眼に対応する位置）に配置されているカメラである。第１のカメラ１２と第２のカメラ１４のそれぞれによって、端末装置２を装着するユーザの視界範囲に対応する範囲（以下では「特定範囲」と呼ぶ）を異なる角度から撮影することができる。以下、第１のカメラ１２と第２のカメラ１４とを合わせて単に「カメラ」と呼ぶ場合がある。

　コントロールボックス１６は、フレーム４の一部に取り付けられている箱体である。コントロールボックス１６には、端末装置２の制御系統を司る各要素が収容されている。具体的に言うと、図２に示すように、コントロールボックス１６には、ＧＰＳ（Global Positioning Systemの略）受信機２０と、センサ２２と、通信インターフェース２４と、制御部３０と、メモリ３２とが収納されている。以下では、インターフェースのことを「Ｉ／Ｆ」と記載する。

　操作部１８は、コントロールボックス１６の外面に備えられている。操作部１８は、ユーザが操作可能なボタンであり、ユーザは、操作部１８を操作することによって、後述の撮影指示を含む様々な指示を端末装置２に入力することができる。

　図２を参照して、コントロールボックス１６内の各構成要素について説明する。ＧＰＳ受信機２０は、ＧＰＳのユーザセグメントであって、ＧＰＳ衛星からの電波を受信して、地球上における自機の位置を計算して出力する。ＧＰＳ受信機２０から出力される位置を用いて、制御部３０は、端末装置２の位置を特定することができる。

　センサ２２は、３軸加速度センサである。センサ２２は、Ｘ，Ｙ，Ｚの３軸の加速度を検出する。センサ２２の検出値を用いて、制御部３０は、端末装置２の姿勢、及び、運動状態を特定することができる。

　通信Ｉ／Ｆ２４は、外部の装置（例えば、通信機能を有する他の端末装置）と無線通信を実行するためのＩ／Ｆである。

　制御部３０は、メモリ３２に記憶されているアプリケーションプログラム３４に従って様々な処理を実行する。制御部３０が実行する処理の内容は後で詳しく説明する。また、制御部３０は、図２に示すように、表示部１０、投影部１１、第１のカメラ１２、第２のカメラ１４、操作部１８、ＧＰＳ受信機２０、センサ２２、通信Ｉ／Ｆ２４、及び、メモリ３２と電気的に接続されており、これらの各要素の動作を制御することができる。

　メモリ３２は、アプリケーションプログラム３４を含む様々なプログラムを記憶している。アプリケーションプログラム３４は、制御部３０に、後述の記録処理（図３参照）、再現処理（図４参照）等の各種処理を実行させるためのプログラムである。また、メモリ３２には、後述の記録処理が実行されることによって生成される対象画像と特徴情報との組合せを記憶するための画像記憶領域３６が設けられている。

（記録処理；図３）
　図３を参照して、本実施例の端末装置２の制御部３０が実行する記録処理について説明する。ユーザが端末装置２を自身の頭部に装着し、端末装置２の電源をオンした後で、操作部１８に所定の記録処理開始指示を入力すると、制御部３０は、図３の記録処理を開始する。

　Ｓ１０では、制御部３０は、カメラ（即ち、第１のカメラ１２及び第２のカメラ１４）を起動させる。カメラが起動すると、カメラは、上記の特定範囲を撮影するための撮影モードで動作を開始する。カメラが撮影モードで動作を開始すると、カメラは、特定範囲を継続して撮影する状態になるが、撮影指示（後述）が入力されない限りシャッターが開かれず、カメラが撮影している画像（静止画）はメモリ３２には記憶されない。

　続くＳ１２では、制御部３０は、撮影指示が入力されることを監視する。ユーザは、操作部１８を操作し、画像の撮影を希望するタイミングで所定の撮影指示を入力することができる。撮影指示が入力されると、制御部３０は、Ｓ１２でＹＥＳと判断し、Ｓ１４に進む。

　Ｓ１４では、制御部３０は、カメラに撮影を実行させ、対象画像を生成する。具体的には、制御部３０は、第１のカメラ１２のシャッターを開いて画像を撮影するとともに第２のカメラ１４のシャッターを開いて画像を撮影する。そして、第１のカメラ１２による撮影画像と第２のカメラ１４による撮影画像とを用いて１つの画像である対象画像を生成する。

　続くＳ１６では、制御部３０は、この時点（即ち、対象画像が生成された時点）の端末装置２の位置である対象位置と、この時点の端末装置２の姿勢である対象姿勢とを特定する。具体的には、制御部３０は、この時点でＧＰＳ受信機２０が出力する位置に基づいて端末装置２の対象位置を特定するとともに、この時点でセンサ２２が特定する姿勢に基づいて端末装置２の対象姿勢を特定する。

　続くＳ１８では、制御部３０は、Ｓ１６で特定された対象位置を示す情報及び対象姿勢を示す情報を含む特徴情報を生成する。特徴情報には、対象位置を示す情報及び対象姿勢を示す情報に加えて、対象画像の撮影日時、対象画像を識別するための画像番号等の各種情報が含まれる。

　続くＳ２０では、制御部３０は、Ｓ１４で生成された対象画像と、Ｓ１８で生成された特徴情報とを対応付けてメモリ３２の画像記憶領域３６に記憶させる。これにより、画像記憶領域３６には、対象画像と特徴情報との組合せが記憶される。

　Ｓ２０を終えると、制御部３０は、Ｓ１２に戻って新たな撮影指示が入力されることを監視する。新たな撮影指示が入力される毎に、画像記憶領域３６には、対象画像と特徴情報との新たな組合せが記憶される（Ｓ１４～Ｓ２０）。なお、図３の記録処理の実行中に、操作部１８において所定の処理終了指示が入力されると、制御部３０は、カメラを停止し、図３の記録処理を終了する。

（再現処理；図４）
　図４を参照して、本実施例の端末装置２の制御部３０が実行する再現処理について説明する。ユーザが端末装置２を自身の頭部に装着し、端末装置２の電源をオンした後で、操作部１８に所定の再現処理開始指示を入力すると、制御部３０は、図４の再現処理を開始する。

　Ｓ３０では、制御部３０は、カメラを起動させる。上記の通り、カメラが起動すると、カメラは撮影モードで動作を開始する。続くＳ３２では、制御部３０は、ＧＰＳ受信機２０が出力する位置と、センサ２２が特定する姿勢とに基づいて、この時点の端末装置２の位置及び姿勢を特定する。

　続くＳ３４では、制御部３０は、メモリ３２の画像記憶領域３６内に、Ｓ３２で特定された位置及び姿勢と一致する対象位置を示す情報及び対象姿勢を示す情報を含む特徴情報（以下、本実施例では「第１種の特徴情報」と呼ぶ場合がある）が記憶されているか否かを判断する。画像記憶領域３６内に第１種の特徴情報が存在する場合、制御部３０はＳ３４でＹＥＳと判断し、Ｓ３６に進む。一方、画像記憶領域３６内に第１種の特徴情報が存在しない場合、制御部３０はＳ３４でＮＯと判断し、Ｓ３２に戻る。

　Ｓ３６では、制御部３０は、画像記憶領域３６内において、第１種の特徴情報に対応付けられている対象画像（以下では「第１種の対象画像」）を特定する。

　続くＳ３８では、制御部３０は、Ｓ３６で特定された第１種の対象画像を表示部１０に表示させる。Ｓ３８において第１種の対象画像を表示部１０に表示させる表示例は、図５、図６を参照して後で詳しく説明する。第１種の対象画像が表示部１０に表示されている間は、ユーザは、操作部１８を操作して、所定の表示切替指示を入力することができる。制御部３０は、表示切替指示が入力されると、入力された表示切替指示に従って第１種の対象画像の表示態様を変更する。

　続くＳ４０では、制御部３０は、所定の表示終了指示が入力されることを監視する。第１種の対象画像が表示部１０に表示されている間に、ユーザは、操作部１８を操作して、所定の表示終了指示を入力することができる。制御部３０は、表示終了指示が入力されると、Ｓ４０でＹＥＳと判断し、Ｓ４２で第１種の対象画像の表示を終了させる。その後、Ｓ３２に戻り、Ｓ３２で取得される端末装置２の位置及び姿勢に基づいて、再びＳ３４の判断を実行する。なお、図４の再現処理の実行中に、操作部１８において所定の処理終了指示が入力されると、制御部３０は、カメラを停止させ、図４の再現処理を終了させる。

（第１種の対象画像の表示例；図５、図６）
　図５、図６を参照して、本実施例において、第１種の対象画像が表示部１０に表示される際（図４のＳ３８参照）の表示例を説明する。図５、図６の例では、ユーザが、入居時のアパートの居室内の状態を撮影した第１種の対象画像５０と、現在（例えば退去前の引き渡し時点）のアパートの居室内の状態（以下では「現状」と呼ぶ場合がある）６０と、を比較することを希望する状況が想定されている。より具体的には、入居時の居室の状態と、現在の居室の状態とを比較し、居住期間中に生じた傷や汚れがどのくらい存在するのかを確認することを希望する状況が想定されている。図５、図６は、いずれも、上記の状況下における第１種の対象画像５０の表示例を示す。制御部３０は、表示切替指示が入力されると、図５の表示態様と図６の表示態様とを切り替えて表示部１０に表示させることができる。

　図５の例では、表示部１０の左側（即ち、ユーザの視界範囲の左側）に第１種の対象画像５０が表示されている。図５の表示態様によると、ユーザは、表示部１０の左側に表示された第１種の対象画像５０と、表示部１０の右側（即ち、ユーザの視界範囲の右側）を通してユーザが直接視認可能な現状６０と、を見比べて比較することができる。第１種の対象画像５０には、窓枠５２の画像が含まれている。また、第１種の対象画像５０には、対象画像である旨の表示と、当該対象画像の撮影日時（「2006.04.01」）も併せて表示されている。一方、現状６０では、第１種の対象画像５０の窓枠５２と同様の窓枠６２が存在するが、窓にカーテン６４が取り付けられている点で第１種の対象画像５０と異なる。また、現状６０では、壁に傷６６及び汚れ６８が存在している点でも第１種の対象画像５０と異なる。このように、ユーザは、第１種の対象画像５０と現状６０とを比較して差異点を特定することができる。そのため、例えばアパートの退去時の原状回復確認作業等を、過去に撮影された第１種の対象画像５０と現状６０とを比較して行うことができる。そのため、ユーザの利便性に資すると共に、確認時のトラブルの発生の抑制にも資する。

　図６の例では、表示部１０（即ちユーザの視界範囲）の全面に第１種の対象画像５０が表示されている。表示部１０は光透過性を有するため、ユーザは、第１種の対象画像５０を通して、その向こう側に存在する現状６０を視認することができる。図６に示すように、ユーザが、窓枠５２と窓枠６２とが重なるように位置合わせをすることにより、過去に撮影された第１種の対象画像５０と現状６０とを比較することができる。

（本実施例の作用効果）
　上記の通り、本実施例では、端末装置２は、第１種の対象画像と第１種の特徴情報とを対応付けてメモリ３２に記憶させた後（図３のＳ２０）、第１種の特徴情報が示す特徴（即ち、対象位置及び対象姿勢）に一致する特徴（即ち、端末装置２の位置及び姿勢）が検出される場合（図４のＳ３４でＹＥＳ）に、当該第１種の特徴情報に対応付けられてメモリ３２に記憶されている第１種の対象画像を表示部１０に表示させる（Ｓ３６、Ｓ３８）。従って、本実施例の端末装置２によると、予め定められた条件が成立する場合（即ち、第１種の特徴情報が示す特徴に一致する特徴が検出される場合）に、撮影済みの第１種の対象画像を適切に表示部１０に表示させることができる。

　また、本実施例では、特徴情報は、対象位置を示す情報及び対象姿勢を示す情報を含んでいる。端末装置２は、第１種の対象画像と第１種の特徴情報とを対応付けてメモリ３２に記憶させた後、ＧＰＳ受信機２０によって第１種の特徴情報に含まれる情報が示す対象位置が検出されるとともに、センサ２２によって第１種の特徴情報に含まれる情報が示す対象位置が検出される場合（Ｓ３４でＹＥＳ）に、第１種の対象画像を表示部１０に表示させることができる。ユーザは、端末装置２を、第１種の対象画像が撮影されたタイミングにおいて検出された位置である対象位置に配置し、かつ、そのタイミングにおいて検出された姿勢に保持すれば、表示部１０に表示された第１種の対象画像を見ることができる。言い換えると、端末装置２のユーザは、端末装置２を、第１種の対象画像を撮影した際の位置と同じ位置に配置し、その際と同じ姿勢に保持すれば、第１種の対象画像を見ることができる。端末装置２のユーザは、対象画像の撮影時の状況と現在の状況とを適切に比較することができる。

　また、本実施例では、端末装置２は、ユーザの頭部に装着可能なフレーム４を備えており、各構成要素はいずれもフレーム４に搭載されている。カメラ（即ち、第１のカメラ１２及び第２のカメラ１４）は、フレーム４を装着したユーザの視界範囲に対応する範囲を撮影可能であり、表示部１０ａ、１０ｂは、それぞれ、フレーム４を装着したユーザの右眼と左眼に対向する位置に配置されている。そのため、本実施例の端末装置２は、ユーザの視界範囲に対応する範囲の対象画像を撮影してメモリ３２に記憶させ、上記の場合（図４のＳ３４でＹＥＳ）に、第１種の対象画像を、ユーザの視界範囲に対応する表示部１０に表示させることができる。ユーザは、自身の視界範囲を基準として、対象画像の撮影時の状況と現在の状況とを比較することができる。

（対応関係）
　本実施例と請求項の対応関係を説明する。第１のカメラ１２及び第２のカメラ１４が「撮影部」の一例である。ＧＰＳ受信機２０が「位置検出手段」の一例である。メモリ３２が「記憶部」の一例である。図４のＳ３４でＹＥＳの場合が「特定の場合」の一例である。

（第２実施例）
　第１実施例とは異なる点を中心に説明する。本実施例の端末装置２も、基本的な構成は第１実施例の端末装置２（図１、図２参照）と共通するが、ＧＰＳ受信機２０及びセンサ２２を備えない点が第１実施例と異なる。そのため、本実施例では、記録処理と再現処理の内容の一部も第１実施例とは異なる（図７、図８参照）。

（記録処理；図７）
　Ｓ５０～Ｓ５４の処理は、図３のＳ１０～Ｓ１４の処理と同様であるため説明を省略する。Ｓ５６では、制御部３０は、Ｓ５４で生成された対象画像中の特徴要素を抽出する。例えば、図９の例に示すように、対象画像に自動車７２の画像が含まれる場合、当該自動車７２のフロント部分７４の構成（例えば、ヘッドライト、フロントグリル、ナンバープレートの各形状及び配置等）を特徴要素として抽出する。

　続くＳ５８では、制御部３０は、Ｓ５６で抽出された特徴要素を示す情報を含む特徴情報を生成する。そして、Ｓ６０において、Ｓ５４で生成された対象画像と、Ｓ５８で生成された特徴情報とを対応付けてメモリ３２の画像記憶領域３６に記憶させる。Ｓ６０を終えると、Ｓ５２に戻る。

（再現処理；図８）
　Ｓ７０では、制御部３０は、カメラを起動させ、カメラを動作モードで動作させる。そして、続くＳ７２では、制御部３０は、動作モードで動作しているカメラが撮影している画像中の特徴要素を抽出する。即ち、Ｓ７２では、制御部３０は、カメラが撮影する画像中の特徴要素をリアルタイムで抽出する。

　続くＳ７４では、制御部３０は、メモリ３２の画像記憶領域３６内に、Ｓ７２で抽出された特徴要素と一致する特徴要素を示す情報を含む特徴情報（以下、本実施例では「第２種の特徴情報」と呼ぶ場合がある）が記憶されているか否かを判断する。画像記憶領域３６内に第２の特徴情報が存在する場合、制御部３０はＳ７４でＹＥＳと判断し、Ｓ７６に進む。

　Ｓ７６では、制御部３０は、画像記憶領域３６内において、第２種の特徴情報に対応づけられている対象画像（以下では「第２種の対象画像」）を特定する。

　Ｓ７８では、制御部３０は、Ｓ７６で特定された第２種の対象画像を表示部１０に表示させる。Ｓ７８において第２種の対象画像を表示部１０に表示させる表示例は、図９、図１０を参照して後で詳しく説明する。続くＳ８０、Ｓ８２の各処理は、図４のＳ４０、Ｓ４２の各処理とほぼ同様であるため、詳しい説明を省略する。

（第２種の対象画像の表示例；図９、図１０）
　図９、図１０を参照して、本実施例において、第２種の対象画像が表示部１０に表示される際（図８のＳ７８参照）の表示例を説明する。図９、図１０の例では、ユーザが、レンタカーのレンタル開始時点の状態を撮影した第２種の対象画像７０と、現在（例えば返却時点）のレンタカーの状態（以下では「現状」と呼ぶ場合がある）８０と、を比較することを希望する状況が想定されている。図９、図１０は、いずれも、上記の状況下における第２種の対象画像７０の表示例を示す。制御部３０は、表示切替指示が入力されると、図９の表示態様と図１０の表示態様とを切り替えて表示部１０に表示させることができる。

　図９の例では、表示部１０の左側に第２種の対象画像７０が表示されている。図９の表示態様によると、ユーザは、表示部１０の左側に表示された第２種の対象画像７０と、表示部１０の右側を通してユーザが直接視認可能な現状８０と、を見比べて比較することができる。第２種の対象画像７０には、レンタル対象の自動車７２の画像が含まれている。第２種の対象画像７０の撮影時点では、自動車７２のフロント部分７４の構成が特徴要素として抽出されている（図７のＳ５６参照）。また、第２種の対象画像７０には、対象画像である旨の表示と、当該対象画像の撮影日時も併せて表示されている。一方、現状８０では、第２種の対象画像７０の自動車７２と同様の自動車８２が存在している。フロント部分８４の構成（即ち特徴要素）も第２種の対象画像７０の自動車７２と共通する。ただし、現状８０の自動車８２は、バンパー部分に傷８６が存在している点で第２種の対象画像７０と異なる。このように、ユーザは、第２種の対象画像７０と現状８０とを比較して差異点を特定することができる。そのため、例えばレンタカーの返却時の傷確認作業等を、過去に撮影された第２種の対象画像７０と現状８０とを比較して行うことができる。そのため、ユーザの利便性に資すると共に、確認時のトラブルの抑制にも資する。

　図１０の例では、表示部１０（即ちユーザの視界範囲）の全面に第２種の対象画像７０が表示されている。表示部１０は光透過性を有するため、ユーザは、第２種の対象画像７０を通して、その向こう側に存在する現状８０を視認することができる。図１０に示すように、ユーザが、自動車７２と自動車８２とが重なるように位置合わせをすることにより、過去に撮影された第２種の対象画像７０と現状８０とを比較することができる。

（本実施例の作用効果）
　上記の通り、本実施例では、特徴情報は、対象画像中の特徴要素を示す情報を含む。端末装置２は、第２種の対象画像と第２種の特徴情報とを対応付けてメモリ３２に記憶させた後、カメラによって再び特徴要素が撮影される場合（図８のＳ７４でＹＥＳ）に、第２種の対象画像を表示部１０に表示させることができる。ユーザは、第２種の対象画像が撮影されたタイミングにおいて抽出された特徴要素を再びカメラに撮影させれば、表示部１０に表示された第２種の対象画像を見ることができる。そのため、端末装置２のユーザは、第２種の対象画像の撮影時の状況と現在の状況とを適切に比較することができる。本実施例では、図８のＳ７４でＹＥＳの場合が「特定の場合」の一例である。

　特に、本実施例では、第１実施例とは異なり、特徴情報は、位置を示す情報及び姿勢を示す情報を含まないため、例えば、自動車のような動産における過去と現在の状況を比較することが必要な場合であっても、当該動産の存在位置に関わらず、過去と現在の状況を比較することができるという利点もある。

（第３実施例）
　第３実施例は第２実施例の変形例である。第３実施例について、第２実施例と異なる点を中心に説明する。本実施例の端末装置２の構成も、基本的な構成は第２実施例の端末装置２と共通する。本実施例では、制御部３０は、記録処理（図７参照）を実行しない点が第２実施例とは異なる。本実施例では、制御部３０は、事前に記録処理を実行することに代えて、事前に他の装置（例えば、撮影部を備える端末装置等）から通信Ｉ／Ｆ２４を介して対象画像と特徴情報との組合せを取得し、取得された対象画像と特徴情報との組合せをメモリ３２の画像記憶領域３６に記憶させる処理を行う。即ち、本実施例で画像記憶領域３６に記憶される対象画像と特徴情報との組合せは、事前に他の装置によって生成されたものである。本実施例の対象画像は、他の装置によって撮影された画像である。その上で、本実施例でも、制御部３０は、第３実施例と同様に再現処理（図８参照）を実行する。

（第２種の対象画像の表示例；図１１、図１２）
　図１１、図１２を参照して、本実施例において、第２種の対象画像が表示部１０に表示される際（図８のＳ７８参照）の表示例を説明する。図１１、図１２の例では、ユーザが、遊技機（具体的にはパチンコ台）の審査機関による審査合格時点（若しくは遊技機メーカー出荷時点）の状態を撮影した第２種の対象画像９０と、現在（例えば遊技店で稼働を開始した後の時点）の同種の遊技機の状態（以下では「現状」と呼ぶ場合がある）１００と、を比較することを希望する状況が想定されている。より具体的には、遊技機の審査合格時点の遊技機の釘の向きと、現在の釘の向きとを比較し、釘の向きが過度に変更されていないか否かを確認することを希望する状況が想定されている。図１１、図１２は、いずれも、上記の状況下における第２種の対象画像９０の表示例を示す。なお、図１２は、理解の容易のために、遊技機の入賞口９４（１０４）周辺部分を拡大した表示例を示す。本実施例でも、制御部３０は、表示切替指示が入力されると、図１１の表示態様と図１２の表示態様とを切り替えて表示部１０に表示させることができる。

　図１１の例では、表示部１０の左側に第２種の対象画像９０が表示されている。図１１の表示態様によると、ユーザは、表示部１０の左側に表示された第２種の対象画像９０と、表示部１０の右側を通してユーザが直接視認可能な現状１００と、を見比べて比較することができる。第２種の対象画像９０には、遊技機９２の審査合格時点において撮影された遊技機９２の画像が含まれている。遊技機９２には、主に、遊技媒体（具体的にはパチンコ玉）が投入される遊技領域（盤面）９３と、盤面９３に投入されたパチンコ玉が入る入賞口９４と、盤面９３に配置される装飾９５と、投入されたパチンコ玉の軌道を変更させるための釘９６と、が設けられている。第２種の対象画像９０の撮影時点では、これらの各構成９３、９４、９５、９６が特徴要素として抽出されている（図７のＳ５６参照）。また、遊技機９２と同機種の他の遊技機も、同様の特徴要素を有する。

　一方、右側の現状１００では、第２種の対象画像９０の遊技機９２と同機種の遊技機１０２が存在する。そのため、遊技機１０２も、第２種の対象画像９０の遊技機９２と共通する盤面１０３、入賞口１０４、装飾１０５、及び、釘１０６を有する。ただし、現状１００の遊技機１０２では、釘１０６の向き（即ち、釘１０６の頭部の位置）が、第２種の対象画像９０の遊技機９２の釘９６の向きと異なっている。このように、ユーザは、第２種の対象画像９０と現状１００とを比較して差異点を特定することができる。そのため、ユーザは、審査合格時点の遊技機９２の釘９６の向きと、現在の遊技機１０２の釘１０６の向きとを比較し、釘１０６の向きが過度に変更されていないか否かを確認することができる。

　図１２の例では、表示部１０（即ちユーザの視界範囲）の全面に第２種の対象画像９０が表示されている。表示部１０は光透過性を有するため、ユーザは、第２種の対象画像９０を通して、その向こう側に存在する現状１００を視認することができる。図１２に示すように、ユーザが、入賞口９４と入賞口１０４とが重なるように位置合わせをすることにより、審査合格時点の遊技機９２の釘９６の向きと、現在の遊技機１０２の釘１０６の向きとをより容易に比較することができる。

（本実施例の作用効果）
　上記の通り、本実施例の端末装置２では、制御部３０は、記録処理（図７参照）を実行することに代えて、事前に他の装置（例えば、撮影部を備える端末装置等）から対象画像と特徴情報との組合せを取得し、取得された対象画像と特徴情報との組合せをメモリ３２の画像記憶領域３６に記憶させる。そして、再現処理（図８参照）を実行する。そのため、本実施例による場合も、第２実施例と同様に、第２種の対象画像が撮影されたタイミングにおいて抽出された第２種の特徴要素を再びカメラに撮影させれば、表示部１０に表示された第２種の対象画像を見ることができる。そのため、端末装置２のユーザは、第２種の対象画像の撮影時の状況と現在の状況とを適切に比較することができる。本実施例では、撮影部を備える他の装置が「撮影部」の一例である。

（第４実施例）
　第４実施例は第３実施例の変形例である。第４実施例について、第３実施例と異なる点を中心に説明する。本実施例でも、制御部３０は、事前に記録処理を実行することに代えて、事前に他の装置から通信Ｉ／Ｆ２４を介して対象画像と特徴情報との組合せを取得し、取得された対象画像と特徴情報との組合せをメモリ３２の画像記憶領域３６に記憶させる処理を行う。ただし、本実施例では、事前に他の装置から取得する対象画像は、他の装置のカメラ等によって事前に撮影された画像（即ち撮影画像）ではなく、他の装置において事前に生成された仮想画像である点が第３実施例とは異なる。

　図１３を参照して、本実施例で用いられる対象画像１１０の例を説明する。この対象画像１１０は、遊技機（図９、図１０参照）に設けられた入賞口１１４と、釘の頭部１１６と、を示す仮想画像を含む。釘の頭部１１６の仮想画像は、目立つ色で着色されている。他の装置において対象画像１１０が生成される際に、入賞口１１４の形状及び配置、釘の頭部１１６の位置が、それぞれ特徴要素として抽出されている。特徴情報は、これらの特徴要素を示す情報を含む。そして、本実施例でも、制御部３０は、第３実施例と同様に再現処理（図８参照）を実行する。

（第２種の対象画像の表示例；図１４）
　図１４を参照して、本実施例において、第２種の対象画像（即ち図１３の対象画像１１０）が表示部１０に表示される際（図８のＳ７８参照）の表示例を説明する。図１４の例では、図１２の例と同様に、表示部１０の全面に第２種の対象画像１１０が表示されている。表示部１０は光透過性を有するため、ユーザは、第２種の対象画像１１０を通して、その向こう側に存在する現状１００を視認することができる。図１４に示すように、ユーザが、仮想画像の入賞口１１４と現実の入賞口１０４とが重なるように位置合わせをすることにより、仮想画像の釘の頭部１１６と、現在の遊技機１０２の釘１０６の頭部の位置とをより容易に比較することができる。

（本実施例の作用効果）
　本実施例による場合も、第２種の対象画像に対応付けられてメモリ３２に記憶されている第２種の特徴要素をカメラに撮影させれば、表示部１０に表示された第２種の対象画像を見ることができる。そのため、端末装置２のユーザは、第２種の対象画像と現在の状況とを適切に比較することができる。

　以上、本明細書で開示する技術の実施例を詳細に説明したが、上記の実施例は例示に過ぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。例えば、以下の変形例を採用してもよい。

（変形例１）上記の各実施例では、端末装置２は、フレーム４にすべての構成要素１０～３２が搭載された１個の装置として構成されている。これに限られず、端末装置２の構成要素の一部がフレーム４外に設けられていてもよい。例えば、カメラが、制御部３０と通信可能な態様でフレーム４外に設けられていてもよい。その場合、制御部３０が、カメラが撮影した画像を取得できればよい。例えば、カメラは他の装置（例えばドライブレコーダー等）に備えられているカメラであってもよい。また、例えば、メモリ３２が、制御部３０と通信可能な態様でフレーム４外に設けられていてもよい。この変形例では、フレーム４に搭載されている構成要素と、フレーム４外に設けられている構成要素とを組み合わせることによって端末装置２が形成されていればよい。

（変形例２）上記の各実施例では、端末装置２は、コントロールボックス１６の外面に備えられている操作部１８を有する。これに限られず、端末装置２には、物理的な操作部１８が設けられていなくてもよい。その場合、記録処理開始指示、撮影指示、再現処理開始指示等の各種指示の入力は、制御部３０が、カメラの撮影範囲（即ち上記の特定範囲）内で行われるユーザのジェスチャーを検出することによって行われてもよい。

（変形例３）上記の各実施例では、端末装置２は、第１のカメラ１２と第２のカメラ１４の２個のカメラを備えている。これに限られず、端末装置２は、１個のカメラのみを備えていてもよい。

（変形例４）上記の第１実施例では、端末装置２は、ＧＰＳ受信機２０とセンサ２２とを備えている。そして、特徴情報は、対象位置を示す情報と、対象姿勢を示す情報とを含む。これに限られず、端末装置２は、センサ２２を有していなくてもよい。その場合、特徴情報は、対象位置を示す情報を含んでいれば、対象姿勢を示す情報を含まなくてもよい。

（変形例５）上記の第１実施例では、制御部３０は、ＧＰＳ受信機２０が出力する位置を用いて、端末装置２の位置を特定するが、端末装置２の位置を特定する手段はこれに限られない。例えば、制御部３０は、通信Ｉ／Ｆ２４を介して、Ｗｉ－Ｆｉ通信のためのアクセスポイントの存在を検出し、端末装置２とアクセスポイントの位置（既知の情報）との距離を算出し、端末装置２の位置を特定してもよい。即ち、「位置検出手段」は、ＧＰＳ受信機に限られず、端末装置２の位置を検出可能な任意の手段を含んでもよい。

（変形例６）上記の第３、第４実施例においても、端末装置２がＧＰＳ受信機２０及びセンサ２２を備えていてもよい。そして、特徴情報は、所定の対象位置を示す情報と、所定の対象姿勢を示す情報とを含んでいてもよい。制御部３０は、図８の再現処理に代えて、図４の再現処理（即ち、端末装置２の位置及び姿勢に基づく再現処理）を実行するようにしてもよい。

（変形例７）上記の各実施例では、図１に示すように、端末装置２は、ユーザの頭部に装着可能な形状を有している。しかしながら、端末装置２はユーザの頭部に装着可能な形状に限られず、他の任意の形状（例えば、ユーザが把持可能な形状）を採用してもよい。

（変形例８）上記の各実施例では、カメラによって撮影される対象画像はいずれも静止画であるが、これに限られず、対象画像が動画であってもよい。

（変形例９）上記の各実施例では、端末装置２の表示部１０は、透光性の表示部材である。これに限られず、端末装置２の表示部は、遮光性のディスプレイであってもよい。

　また、本明細書又は図面に説明した技術要素は、単独であるいは各種の組合せによって技術的有用性を発揮するものであり、出願時請求項記載の組合せに限定されるものではない。また、本明細書又は図面に例示した技術は複数目的を同時に達成するものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。

Claims

　端末装置であって、
　撮影部と、
　表示部と、
　制御部と、
　記憶部と、を備え、
　前記制御部は、
　　前記撮影部に撮影を実行させる撮影制御部と、
　　前記撮影部が対象画像を撮影する対象タイミングにおける前記端末装置の環境の特徴を示す特徴情報を生成する生成部と、
　　撮影された前記対象画像と、生成された前記特徴情報と、を対応付けて前記記憶部に記憶させる記憶制御部と、
　　前記対象画像及び前記特徴情報が前記記憶部に記憶された後で、前記特徴が検出される特定の場合に、当該特徴を示す前記特徴情報に対応付けられて前記記憶部に記憶されている前記対象画像を前記表示部に表示させる、表示制御部と、を備える、
　端末装置。
　前記端末装置は、さらに、所定の領域内における前記端末装置の位置を検出する位置検出手段を備え、
　前記生成部は、前記対象タイミングにおいて前記位置検出手段によって検出される対象位置を含む前記特徴を示す前記特徴情報を生成し、
　前記表示制御部は、前記対象画像及び前記特徴情報が前記記憶部に記憶された後で、前記位置検出手段によって前記対象位置が検出される前記特定の場合に、当該対象位置を含む前記特徴を示す前記特徴情報に対応付けられて前記記憶部に記憶されている前記対象画像を、前記表示部に表示させる、
　請求項１に記載の端末装置。
　前記端末装置は、さらに、前記端末装置の姿勢を検出するセンサを備え、
　前記生成部は、前記対象タイミングにおいて前記センサによって検出される対象姿勢をさらに含む前記特徴を示す前記特徴情報を生成し、
　前記表示制御部は、前記対象画像及び前記特徴情報が前記記憶部に記憶された後で、前記位置検出手段によって前記対象位置が検出されるとともに、前記センサによって前記対象姿勢が検出される前記特定の場合に、当該対象位置及び当該対象姿勢を含む前記特徴を示す前記特徴情報に対応付けられて前記記憶部に記憶されている前記対象画像を、前記表示部に表示させる、
　請求項２に記載の端末装置。
　前記生成部は、前記対象タイミングにおいて前記撮影部が撮影する前記対象画像内に含まれる特徴要素を特定し、特定された前記特徴要素を含む前記特徴を示す前記特徴情報を生成し、
　前記表示制御部は、前記対象画像及び前記特徴情報が前記記憶部に記憶された後で、前記撮影部によって前記特徴要素が撮影されることが検出される前記特定の場合に、当該特徴要素を含む前記特徴を示す前記特徴情報に対応付けられて前記記憶部に記憶されている前記対象画像を、前記表示部に表示させる、
　請求項１に記載の端末装置。
　前記端末装置は、さらに、
　ユーザの頭部に装着可能なフレームを備え、
　前記撮影部は、前記フレームに搭載され、前記フレームを装着した前記ユーザの視界範囲に対応する範囲を撮影可能であり、
　前記表示部は、前記フレームに搭載され、前記フレームを装着した前記ユーザの右眼と左眼の少なくとも一方に対向する位置に配置される、
　請求項１から４のいずれか一項に記載の端末装置。
　端末装置であって、
　表示部と、
　制御部と、
　記憶部と、を備え、
　前記制御部は、
　　撮影部が撮影した対象画像と、前記撮影部が前記対象画像を撮影する対象タイミングにおける前記撮影部の環境の特徴を示す特徴情報と、を取得する取得部と、
　　取得された前記対象画像と前記特徴情報とを対応付けて前記記憶部に記憶させる記憶制御部と、
　　前記対象画像及び前記特徴情報が前記記憶部に記憶された後で、前記特徴が検出される特定の場合に、当該特徴を示す前記特徴情報に対応付けられて前記記憶部に記憶されている前記対象画像を前記表示部に表示させる、表示制御部と、を備える、
　端末装置。