JPWO2018143360A1 - 相対位置検出システム及び画像表示システム - Google Patents

相対位置検出システム及び画像表示システム Download PDF

Info

Publication number
JPWO2018143360A1
JPWO2018143360A1 JP2018566093A JP2018566093A JPWO2018143360A1 JP WO2018143360 A1 JPWO2018143360 A1 JP WO2018143360A1 JP 2018566093 A JP2018566093 A JP 2018566093A JP 2018566093 A JP2018566093 A JP 2018566093A JP WO2018143360 A1 JPWO2018143360 A1 JP WO2018143360A1
Authority
JP
Japan
Prior art keywords
terminal device
relative position
type terminal
glasses
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018566093A
Other languages
English (en)
Inventor
良夫 川又
良夫 川又
純一郎 和智
純一郎 和智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of JPWO2018143360A1 publication Critical patent/JPWO2018143360A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02Viewing or reading apparatus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

装置の小型化及び構成や処理の簡素化の妨げにならず、複数の装置間の相対位置を精度良く検出することが可能な相対位置検出システムを提供すること。第1端末装置と第2端末装置の相対位置を検出する相対位置検出システムであって、第1端末装置と第2端末装置は、それぞれが加速度センサ及び角速度センサを含む位置検出部と、相互にデータの授受を行うためのデータ送受信部とを備えると共に、第1端末装置と第2端末装置の少なくともいずれかには、第1端末装置と第2端末装置の相対位置情報を取得する相対位置情報取得部を備え、この相対位置情報取得部は、加速度センサの測定値と角速度センサの測定値のみを用いて第1端末装置と第2端末装置との相対位置情報を取得するように構成した。

Description

本発明は、第1端末装置と第2端末装置の相対位置を検出する相対位置検出システム、及び当該相対位置検出システムを備えた画像表示システムに関する。
従来、例えば、複数の装置や機器同士の相対位置を検出するための技術として、例えば特許文献1に示すような装置がある。この特許文献1に示す装置は、操作者の頭部に装着される頭部装着型ディスプレイと、当該ディスプレイに表示された表示物(マニピュレータ)を操作する操作部とを備えるマニピュレータシステムにおいて、頭部装着型ディスプレイと操作部の一方に対する他方の相対位置および相対姿勢を検出する相対位置センサを備えている。そして、この特許文献1に記載の相対位置センサは、頭部装着型ディスプレイと操作部の一方に設けられた指標としてのLEDと、他方に設けられて前方を撮影可能な視野を有するCCDなどの撮像部とで構成されている。
また、従来複数の装置の相対位置を検出する方法として、GPS(Global Positioning System)やインターネット(通信ネットワーク)など外部からの情報を受信することによって各装置の絶対的な位置情報を取得し、当該取得した各装置の絶対的な位置情報から装置間の相対位置を検出することが一般的に行われている。
しかしながら、近年、通信端末装置など各種の端末装置の小型化・軽量化及び装置構成の簡素化が進んでいる。そのため、複数の装置や機器、特に小型の装置や機器の相対位置を検出する場合においても、装置の構成要素を可能な限り少なく抑えることで、装置の小型化・軽量化を図ると共に構成及び処理の簡素化や省電力化などを図ることが重要である。この点、相対位置センサの構成部品としてカメラ(撮像手段)を備えると、装置の構成の複雑化、部品点数の増加や装置の大型化につながる。また、GPSなど外部からのデータの提供を受けて絶対的な位置情報を取得する方法では、そのための受信機器などの構成要素が必要になるうえ、受信したデータに基づいて装置間の相対位置を検出するための処理が煩雑になる。
また、上記のようなカメラを備える位置検出システムでは、カメラで相手側装置を撮影する必要があるため、装置同士が互いに視認できる位置にあることが必要である。そのため、例えば互いの装置の間に遮蔽物があるなどして互いが視認できない環境にある場合には位置検出を行えない、という不都合がある。
さらに、カメラを備える位置検出システムでは、例えば、街中や電車内などの公共の場での第三者のプライバシーに関わる撮影や、書店や映画館などでの著作権等に問題が生じる可能性のある撮影などを意図せずに行ってしまうおそれがある。また、カメラで撮影した画像などのデータが装置内の記憶手段などに少なくとも一時的に保存される場合がある。そのため、当該画像などのデータの漏洩などによってプライバシーの保護やセキュリティーの確保に問題が生じるおそれがある。また、撮影した画像のデータを記憶するためのメモリなどの記憶媒体の大容量化や、演算処理を行うための処理装置の処理能力の高度化が必要になるという問題もある。
特開2011−237987号公報
本発明は上述の点に鑑みてなされたものであり、その目的は、装置の小型化及び構成や処理の簡素化の妨げにならず、複数の装置間の相対位置を精度良く検出することが可能な相対位置検出システム、及びそれを備えた画像表示システムを提供することにある。
上記課題を解決するため、本発明にかかる相対位置検出システムは、第1端末装置と第2端末装置の相対位置を検出する相対位置検出システムであって、前記第1端末装置と前記第2端末装置のそれぞれに設けた加速度センサ及び角速度センサを含む位置検出部と、前記第1端末装置と前記第2端末装置の少なくともいずれか一方に設けたデータ送信部といずれか他方に設けた前記データ送信部からのデータを受信するデータ受信部と、前記第1端末装置と前記第2端末装置の少なくともいずれかに設けた相対位置情報を取得する相対位置情報取得部と、を備え、前記相対位置情報取得部は、前記加速度センサの測定値と前記角速度センサの測定値のみを用いて前記第1端末装置と前記第2端末装置との相対位置情報を取得するように構成したことを特徴とする。
本発明にかかる相対位置検出システムによれば、加速度センサと角速度センサの検出のみによって第1端末装置と第2端末装置の相対位置を検出するように構成したことで、従来のカメラ(撮像手段)を備える位置検知システムや、GPSやインターネットなどの外部からの情報に基づく絶対位置検出による相対位置検出を行うシステムと比較して、装置の構成の大幅な簡素化及び小型化・軽量化を図ることができる。また、簡単な処理で相対位置の検出が行えるようになるので、相対位置検出の処理速度を高めることができる。また、データを記憶するためのメモリなどの記憶媒体の容量を少なく抑えたり、演算処理を行うための処理装置の処理能力を低く抑えることが可能となり、装置の低廉化を図ることができるようになる。また、カメラ(撮像手段)などを備える従来のシステムと比較して省電力化を図ることができるので、端末装置にバッテリなどを搭載する場合でも、当該バッテリの小型化・軽量化に寄与することができる。
また、本発明にかかる相対位置検出システムによれば、加速度センサと角速度センサの検出のみによって第1端末装置と第2端末装置の相対位置を検出するように構成したことで、GPSやインターネットなどの外部からの情報を受信する必要がない。したがって、GPSやインターネットなどの外部からの情報を受信することができない環境や装置構成であっても、第1端末装置と第2端末装置の相対位置の検出を行うことができる。
さらに、本発明にかかる相対位置検出システムによれば、加速度センサと角速度センサの検出のみによって第1端末装置と第2端末装置の相対位置を検出するように構成したことで、従来のカメラ(撮像手段)を用いた相対位置検出システムのように装置同士が互いに視認できる位置に有る必要が無い。したがって、例えば互いの装置の間に遮蔽物がある場合や視界が十分に利かない水中などで互いを視認できない環境であっても相対位置検出を行うことができるので、装置が置かれる環境の制限がより少ない相対位置検出システムとなる。
加えて、本発明にかかる相対位置検出システムでは、従来のカメラを備える相対位置検出システムのように、第三者のプライバシーに関わる撮影や著作権等の権利関係に問題が生じる可能性のある撮影を意図せずに行ってしまうおそれが無い。また、撮影した画像などのデータが装置内の記憶手段などに保存されることが無い。したがって、当該画像などのデータの漏洩が生じるおそれがないため、その点においてもプライバシーの保護やセキュリティーの確保に問題が生じずに済む。さらに、撮影した画像のデータを記憶するためのメモリなどの記憶媒体の大容量化や、演算処理を行うための処理装置の処理能力の高度化が必要になるという問題も生じずに済む。
また、この相対位置検出システムでは、所定の条件が成立した場合に、前記位置検出部における前記加速度センサと前記角速度センサの測定値をリセットするリセット手段を備え、前記加速度センサ及び角速度センサの測定値は、前記リセット手段によるリセットが行われた時点からの累積値であってもよい。
加速度センサと角速度センサによる相対位置の検出では、検出値に累積の誤差が生じるところ、このリセット処理を行うことで、検出値に生じた累積の誤差をリセットすることが可能となる。したがって、相対位置検出の精度を効果的に高めることができる。
また、この相対位置検出システムでは、相対位置情報取得部は、前記第1端末装置と前記第2端末装置との相対位置、又は前記第1端末装置及び前記第2端末装置の姿勢を座標データとして取得可能であってよい。
この構成によれば、相対位置情報取得部は、第1端末装置と第2端末装置との相対位置又は前記第1端末装置及び前記第2端末装置の姿勢を座標データとして取得可能であることで、簡単な処理で第1端末装置と第2端末装置との相対位置又は姿勢をより正確に把握することができる。したがって、第1端末装置又は第2端末装置における処理の簡素化を図ることができると共に、相対位置情報を迅速かつ確実に取得することが可能となる。なお、ここでいう端末装置の姿勢とは、端末装置の位置情報を含まない(同一位置における)基準角度に対する傾きを指す。
また、本発明にかかる画像処理システムは、本発明にかかる上記いずれかの相対位置検出システムを備える画像処理システムであって、前記第1端末装置は、画像表示用のデータを生成する画像表示用データ生成手段を備え、前記第2端末装置は、画像表示用のデータに基づいて画像を表示するための画像表示手段を備え、前記第1端末装置の前記画像表示用データ生成手段で生成した画像表示用のデータが前記第2端末装置に送信され、前記画像表示用のデータに基づいて前記第2端末装置の前記画像表示手段で画像の表示が行われ、前記画像表示手段は、前記相対位置情報取得手段が取得した前記第1端末装置と前記第2端末装置との相対位置情報に基づいて、少なくとも前記画像表示用データに基づいて表示させる画像の表示位置を決定することを特徴とする。またこの場合、前記画像表示手段による画像の表示位置の決定は、前記第2端末装置から見た前記第1端末装置の位置に基づいて行われるとよい。
本発明にかかる画像表示システムによれば、本発明にかかる上記構成の相対位置検出システムで検出した第1端末装置と第2端末装置の相対位置の情報を用いて、第1端末装置と第2端末装置との相対位置情報に基づく位置に画像を表示させることができる。これにより、例えば、第1端末装置と第2端末装置との相対位置が刻々と変化するような場合でも、常に第2端末装置で表示する画像が第1端末装置に対して常に同じ位置に表示されるように制御することができる。したがって、第1端末装置と第2端末装置の構成の簡素化による小型化・軽量化を図りながらも、第1端末装置と第2端末装置による画像表示の利便性を効果的に向上させることができる。
本発明にかかる相対位置検出システムによれば、装置の小型化・軽量化や構成及び処理の簡素化を図りながらも、複数の装置間の相対位置を精度良く検出することができ、本発明にかかる画像表示システムによれば、第1端末装置と第2端末装置による画像表示の利便性を効果的に向上させることができる。
本発明の第一実施形態にかかる相対位置検出システムを含む画像表示システムの全体構成例を示す図である。 腕時計型端末装置とメガネ型端末装置の機能構成を示すブロック図である。 腕時計型端末装置とメガネ型端末装置との間で行われる相対位置検出の手順を説明するためのフローチャートである。 位置検出部による位置検出データのリセットと、リセット後の相対位置情報の取得について説明するための図である。 腕時計型端末装置とメガネ型端末装置との間で行われる画像表示処理の手順を説明するためのフローチャートである。 腕時計型端末装置からメガネ型端末装置に送信された表示画面用のデータに基づいて表示された表示画面の画像を示す図である。 本発明の第二実施形態にかかる相対位置検出システムを含む画像表示システムの全体構成例を示す図である。 携帯型端末装置(スマートフォン)の機能構成を示すブロック図である。
以下、添付図面を参照して本発明の実施形態を詳細に説明する。
〔第一実施形態〕
図1は、本発明の第一実施形態にかかる相対位置検出システムを含む画像表示システムの全体構成例を示す図である。図1に示す相対位置検出システムを含む画像表示システム1は、腕時計型端末装置(第1端末装置)100と、メガネ型端末装置(第2端末装置)200とを備えている。腕時計型端末装置100は、本体部101と該本体部101を腕に装着するためのバンド102とを有する腕時計の形状をしたウェアラブル端末であり、メガネ型端末装置200は、メガネとして機能する一対のレンズ201,201と該一対のレンズ201,201を支持するフレーム部202とからなるメガネ部分210と、該メガネ部分210のフレーム部202に取り付けた本体部205とで構成され、全体がメガネの形状をしたウェアラブル端末である。
メガネ型端末装置200は、後述する画像投影部213から投影した画像220をレンズ201に投影する(表示させる)ようになっている。これにより、メガネ型端末装置200を装着している装着者は、レンズ201に投影された画像がレンズ201を通してみた実際の景色の中に存在している(表示されている)ように視認することができる。そして、後述するように、この画像220として、腕時計型端末装置100で実行しているアプリケーションソフトウエアの表示画面などの画像(映像を含む、以下同じ。)を投影することで、この画像220が腕時計型端末装置100の位置又はその近傍位置にある(見える)ように投影される。これにより、メガネ型端末装置200の装着者にとって、表示画面の画像(映像)5があたかも腕時計型端末装置100の真上位置などの近傍位置に表示されているように見える。
そして、当該画像を表示する際、当該画像が腕時計型端末装置100の近傍位置にあるように表示し、かつ、腕時計型端末装置100の位置(メガネ型端末装置200に対する相対位置)が変化しても、当該画像が常に腕時計型端末装置100を追従してその近傍位置に表示され続けるようにするために、腕時計型端末装置100とメガネ型端末装置200との相対位置の情報を常時取得(把握)できるようにすることが必要である。そのために、本実施形態の画像表示システム1では、表示する画像を常に腕時計型端末装置100の近傍にあるように表示させるための手段として、メガネ型端末装置200と腕時計型端末装置100との相対位置を検出するための相対位置検出機能(相対位置検出システム)を備えている。
図2は、腕時計型端末装置100とメガネ型端末装置200の機能構成を示すブロック図である。同図に示す腕時計型端末装置100は、制御部(制御手段)111、記憶部(記憶手段)112、表示部(表示手段)113、操作部(入力手段)114、データ送受信部115、加速度センサ116a及び角速度センサ116bを含む位置検出部116を備えて構成されている。
制御部111は、腕時計型端末装置100を動作させるための各種処理を実行するための部分であり、マイクロプロセッサ、各種周辺回路等によって構成される。この制御部111は、記憶部112に記憶されたプログラム(アプリケーションソフトウェア、以下単に「アプリケーション」という。)120を実行するための機能などを備えている。
また、制御部111は、後述するように、腕時計型端末装置100の位置検出部116で検出した位置の情報(データ)とメガネ型端末装置200の位置検出部216で検出した位置の情報(データ)とに基づいて腕時計型端末装置100とメガネ型端末装置200の相対位置情報を取得(把握)することができる。したがって制御部111は、腕時計型端末装置100とメガネ型端末装置200の相対位置情報を取得する相対位置情報取得部としても機能する。
記憶部112は、フラッシュメモリ等の記憶媒体である。記憶部112には、制御部111によって実行されるアプリケーション120などの各種データが記憶されている。すなわち、記憶部112に記憶されているデータは、必要に応じて制御部111により記憶部112から読み出され、制御部111が実行する様々な処理や制御に利用される。また、制御部111は、記憶部112に新たなデータを記憶したり既に記憶されているデータを更新することもできる。
表示部113は、アプリケーションの実行内容などを表示するための表示画面や操作画面、あるいは、時計としての時刻表示画面などを表示するほか、様々な画像や映像等を表示するための装置であり、液晶ディスプレイ等が用いられる。
操作部114は、腕時計型端末装置100の各種機能を用いるために操作者によって入力される各種操作を検出するものであり、各種の入力手段(操作ボタン、タッチパネル、あるいは音声認識装置など)で構成することが可能である。操作者は、操作部114を操作することにより、腕時計型端末装置100で行われる後述するアプリケーションの実行などに必要な各種の操作を行うことができる。
位置検出部116は、腕時計型端末装置100の位置に関するデータを取得するための部分であり、加速度センサ116aと角速度センサ116bを備えて構成されている。これら加速度センサ116aと角速度センサ116bは、一例としてMEMS (Micro Electro Mechanical System) 型のセンサを用いることができる。加速度センサ116aは、地球上の重力加速度と当該腕時計型端末装置100の加速度とからその位置変化を測定することができる。(なお、ここでいう位置変化には、角度(向き・傾き)の変化も含まれる。)また、角速度センサ116bは、腕時計型端末装置100の基準角度からの角度変化を測定する。したがって、角速度センサ116bの検出値で加速度センサ116aの検出値に含まれる角度(向き・傾き)の情報を補正することで、腕時計型端末装置100の向き・傾きの変化を排除したいわゆる純粋な移動(位置)変化(三次元座標値(x,y,z)の変化)を測定することができる。さらに角速度センサ116bの検出値から腕時計型端末装置100の姿勢(位置情報を含まない(同一位置での)角度)変化(三次元座標値(x,y,z)の変化)を測定することができる。
したがって、本明細書で腕時計型端末装置100について「位置検出」というときは、これら加速度センサ116a及び角速度センサ116bによる腕時計型端末装置100の位置(変化)及び姿勢(変化)の検出を指すものとする。
また、位置検出部116は、後述する所定のリセット操作が行われた時点で位置検出(計測)したデータをリセットし、その時点から新たに位置検出(計測)を開始するように構成されている。したがって、位置検出部116による位置検出では、データのリセットが行われた時点の位置を初期位置(移動量0)とし、当該初期位置からの移動量(初期位置に対する相対位置)を計測し続けることで現在の位置を検出する。したがって以降の説明で「位置検出」というときは、この初期位置からの移動量の検出を指すものとする。
データ送受信部115は、制御部111や記憶部112から入力した各種データを含むデータ信号等をメガネ型端末装置200のデータ送受信部215に向けて送信すると共に、メガネ型端末装置200のデータ送受信部215から送信されたデータを受信する機能を備えている。このデータ送受信部115は、位置検出部116で検出した自身(腕時計型端末装置100)の位置に関するデータをメガネ型端末装置200に向けて送信する機能を有する。また、メガネ型端末装置200がその位置検出部216で検出した当該メガネ型端末装置200の位置に関するデータをメガネ型端末装置200のデータ送受信部215から受信する機能を有する。また、データ送受信部115は、後述するアプリケーションの表示画面やウェブブラウザの表示画面のデータ(後述する相対位置情報による修正が施されたデータ)など、メガネ型端末装置200で画像表示をするために必要なデータをメガネ型端末装置200のデータ送受信部215に向けて送信する機能を有する。
また、メガネ型端末装置200は、図2に示すように、制御部(制御手段)211、記憶部(記憶手段)212、画像投影部213、データ送受信部215、加速度センサ216a及び角速度センサ216bを含む位置検出部216を備えて構成されている。
制御部211は、メガネ型端末装置200を動作させるための各種処理を実行するための部分であり、マイクロプロセッサ、各種周辺回路等によって構成される。この制御部211は、腕時計型端末装置100から送信された画像表示に関するデータに基づいて画像投影部213を制御することで、当該画像投影部213によってメガネ型端末装置200のレンズ201に画像220を投影する機能を備えている。
記憶部212は、フラッシュメモリ等の記憶媒体である。なお、記憶部212に記憶されているデータは、必要に応じて制御部211により記憶部212から読み出され、制御部211が実行する様々な処理や制御に利用される。また、制御部211は、記憶部212に新たなデータを記憶したり既に記憶されているデータを更新することもできる。記憶部212は、腕時計型端末装置100から送信された画像に関するデータなどの各種データを一時的に記憶することができる。
位置検出部216は、メガネ型端末装置200の位置に関するデータを取得するための構成要素であり、腕時計型端末装置100の位置検出部116と同様、加速度センサ216aと角速度センサ216bを備えて構成されている。これら加速度センサ216aと角速度センサ216bは、一例としてMEMS (Micro Electro Mechanical System) 型のセンサを用いることができる。加速度センサ216aは、地球上の重力加速度とメガネ型端末装置200の加速度とから当該メガネ型端末装置200の位置変化を測定する。(ここでいう位置変化には、角度(向き・傾き)の変化も含まれる。)また、角速度センサ216bは、メガネ型端末装置200の基準角度からの角度変化を測定する。したがって、角速度センサ216bの検出値で加速度センサ216aの検出値に含まれる角度(向き・傾き)の情報を補正することで、メガネ型端末装置200の検出値に含まれる角度(向き・傾き)の情報を補正することで、メガネ型端末装置200の向き・傾きの変化を排除したいわゆる純粋な移動(位置)変化(三次元座標値(x,y,z)の変化)を測定することができる。さらに角速度センサ216bの検出値からメガネ型端末装置200の姿勢(位置情報を含まない(同一位置での)角度)変化(三次元座標値(x,y,z)の変化)を測定することができる。
したがって、本明細書でメガネ型端末装置200について「位置検出」というときは、これら加速度センサ216a及び角速度センサ216bによるメガネ型端末装置200の位置(変化)及び姿勢(変化)の検出を指すものとする。
データ送受信部215は、制御部211や記憶部212から入力した各種データを含むデータ信号等を腕時計型端末装置100のデータ送受信部115に向けて送信すると共に、腕時計型端末装置100のデータ送受信部115から送信されたデータを受信する機能を備えている。このデータ送受信部215は、位置検出部216で検出した自身(メガネ型端末装置200)の位置に関するデータを腕時計型端末装置100に向けて送信する機能を有する。また、腕時計型端末装置100がその位置検出部216で検出した当該腕時計型端末装置100の位置に関するデータを腕時計型端末装置100のデータ送受信部115から受信する機能を有する。
腕時計型端末装置100のデータ送受信部115とメガネ型端末装置200のデータ送受信部215との間でデータの授受を行うための通信手段としては、各種の既知のデジタル機器用の近距離無線通信規格による通信手段などを用いることが可能である。また、ここでの通信手段は、腕時計型端末装置100のデータ送受信部115とメガネ型端末装置200のデータ送受信部215との間で直接的な通信によってデータの授受を行う通信手段だけではなく、例えば、ラジオ波や携帯通信網などの電波や通信網などを用いて遠距離での通信を行うような通信手段も含まれる。
図3は、腕時計型端末装置100とメガネ型端末装置200との間で行われる相対位置検出の処理(手順)を説明するためのフローチャートである。図3に示すフローチャートでは、まず、腕時計型端末装置100とメガネ型端末装置200のそれぞれにおいて、所定のリセット条件が成立するか否かが判断される(ステップST1−1、ST2−1)。ここでいうリセットとは、位置検出部116,216の検出値(測定値)をリセット(初期化)することを指している。また、所定のリセット条件が成立する場合とは、例えば、腕時計型端末装置100とメガネ型端末装置200のそれぞれが基準位置にあると見なすことができる場合にリセット条件が成立すると判断することが挙げられる。また、ここでいう基準位置としては、予め定めた位置や明確に測定(確定)が可能な位置などが該当する。詳細には、例えば、腕時計型端末装置100とメガネ型端末装置200に電源を供給する充電用の装置(クレードル)などを設け、この充電用の装置に腕時計型端末装置100とメガネ型端末装置200を載せた際にこれら腕時計型端末装置100とメガネ型端末装置200が予め定めた基準位置にあると見なすことができるようにするとよい。また、腕時計型端末装置100とメガネ型端末装置200が互いに接触(当接)したことを何らかの手段で検知できるように構成し、これら腕時計型端末装置100とメガネ型端末装置200が互いに接触(当接)したことをもって予め定めた基準位置にあると見なすようにしてもよい。具体的には、互いの端末装置が基準位置にあるときに操作者によってリセット操作(リセット用のボタンを押すなど)が行われることでリセットすることが考えられる。また、腕時計型端末装置100とメガネ型端末装置200の筐体の表面に微弱な電気信号を流しておいたり、微弱な電波で固有番号などの情報を流しておくことで、互いの接触を検知できるようにすることが考えられる。
その結果、腕時計型端末装置100において所定のリセット条件が成立する場合(ステップST1−1でYES)には、腕時計型端末装置100の位置検出部116の検出位置情報(データ)をリセットする(ステップST1−2)一方、所定のリセット条件が成立しない場合(ステップST1−1でNO)には、位置検出部116の検出位置情報(データ)をリセットしない。同様に、メガネ型端末装置200において所定のリセット条件が成立する場合(ステップST2−1でYES)には、メガネ型端末装置200の位置検出部216の検出位置情報(データ)をリセットする(ステップST2−2)一方、所定のリセット条件が成立しない場合(ステップST2−1でNO)には、位置検出部216の検出位置情報(データ)をリセットしない。
なお、図3のフローチャートでは、腕時計型端末装置100における位置検出部116の検出位置情報のリセットの判断(ステップST1−1)及びリセットの処理(ステップST1−2)と、メガネ型端末装置200における位置検出部216の検出位置情報のリセットの判断(ステップST2−1)及びリセットの処理(ST2−2)とを別個の処理として別のタイミングで行うこともできるように示したが、これら腕時計型端末装置100におけるリセットの判断及びリセットの処理とメガネ型端末装置200におけるリセットの判断及びリセットの処理とは同一の処理として同じタイミングで行うようにすることが望ましい。
続けて、腕時計型端末装置100では位置検出が行われる(ステップST1−3)。これは、腕時計型端末装置100が備える位置検出部116(加速度センサ116a、角速度センサ116b)の検出による自身の位置の検出である。なお、先のステップST1−1で位置検出部116による検出位置情報のリセットが行われている場合には、位置検出部116の検出データは、リセットされた値(初期値)に対する積算値となる。すなわち、リセットが行われた位置を初期位置とする位置検出(計測)が行われる。一方、メガネ型端末装置200においても、当該メガネ型端末装置200の位置検出が行われる(ステップST2−3)。これは、メガネ型端末装置200が備える位置検出部216(加速度センサ216a、角速度センサ216b)の検出による自身の位置の検出である。なお、この場合にも、先のステップST2−1で位置検出部216による検出位置情報のリセットが行われている場合には、位置検出部216の検出データは、リセットされた値(初期値)に対する積算値となる。すなわち、リセットが行われた位置を初期位置とする位置検出(計測)が行われる。
そして、メガネ型端末装置200が検出した位置情報が腕時計型端末装置100に送信され(ステップST2−4)、腕時計型端末装置100で当該位置情報が受信される(ステップST1−4)。その後、腕時計型端末装置100では、先のステップST1−3で取得した当該腕時計型端末装置100の位置情報と、ステップST1−4で取得したメガネ型端末装置200の位置情報とに基づいて、腕時計型端末装置100とメガネ型端末装置200の相対位置情報を取得する(ステップST1−5)。これにより、腕時計型端末装置100とメガネ型端末装置200の相対位置が把握される。
図4は、位置検出部116,216による位置検出データのリセット時と、当該リセット後の相対位置把握時に行う相対位置情報の取得について説明するための図である。同図に示すように、本実施形態の相対位置検出システムでは、腕時計型端末装置100とメガネ型端末装置200とにおいて所定のリセット条件が成立する場合に、腕時計型端末装置100とメガネ型端末装置200の双方における位置検出部116,216における位置検出情報(計測)のリセットが行われる。そして、リセットが行われた後、当該リセットが行われた位置を初期位置とする位置変化(移動量)の検出が行われ、相対位置を取得(把握)できる状態となる。この状態では、腕時計型端末装置100とメガネ型端末装置200との相対位置(の変化)、及び腕時計型端末装置100とメガネ型端末装置200それぞれの姿勢(の変化)を座標データとして取得可能である。
そして、ここでいう腕時計型端末装置100とメガネ型端末装置200の相対位置の取得(把握)とは、腕時計型端末装置100とメガネ型端末装置200のいずれか一方の位置を起点にすれば他方の位置がわかるという相互関係が成立している状態をいい、腕時計型端末装置100とメガネ型端末装置200が上記のリセットが行われた位置からそれぞれ移動した場合の相対的な移動量を把握できる状態である。なお、腕時計型端末装置100とメガネ型端末装置200がリセットが行われた位置から互いに同じ位置変化をした場合には、相対位置の変化は無し(すなわち相対的な移動量は0)となる。
図5は、腕時計型端末装置100とメガネ型端末装置200との間で行われる画像表示処理の手順を説明するためのフローチャートである。ここでは、画像表示処理の一例として、腕時計型端末装置100で起動したアプリケーション120の表示画面をメガネ型端末装置200の画像投影部213の機能で投影表示させる処理(以下、この処理を「投影表示処理」と称す場合がある。)について説明する。
図5のフローチャートでは、まず、腕時計型端末装置100で操作部114の操作(アプリケーション120の起動のための操作)が行われたか否かを判断する(ステップST3−1)。その結果、操作部114の操作が行われていない場合(NO)には、操作部114の操作が行われるまで次の処理には進まず待機する。その一方で、操作部114の操作が行われた場合(YES)には、アプリケーションを起動させる(ステップST3−2)。その後、腕時計型端末装置100とメガネ型端末装置200の相対位置情報の取得が行われる(ステップST3−3)。このステップST3−3の相対位置情報の取得は、先の図3のフローチャートにおけるステップST1−5の処理である。これにより、腕時計型端末装置100とメガネ型端末装置200の相対位置情報が把握される。
そして、ステップST3−3で取得した相対位置情報を用いて、アプリケーション120の画面のデータを投影表示処理用のデータに変換する処理を行う(ステップST3−4)。ここでの処理は、アプリケーション120の画面表示用のデータに腕時計型端末装置100とメガネ型端末装置200の相対位置情報を組み込むことで、画面の画像が腕時計型端末装置100に対応する位置に適切な大きさ及び形状等で表示されるようにするための処理である。その後、この変換処理を施した画面のデータをメガネ型端末装置200のデータ送受信部215に向けて送信する(ステップST3−5)。メガネ型端末装置200では、この腕時計型端末装置100から送信された画面のデータを受信し(ステップST4−1)、この受信した画面のデータに基づいて画像投影部213で画面の画像(又は映像)220をレンズ201に向けて投影する(ステップST4−2)。これにより、メガネ型端末装置200の装着者は、レンズ201に投影された画像220によって、アプリケーションの画面の画像5が腕時計型端末装置100の真上位置に投影されているかのように視認することができる。
その後、腕時計型端末装置100では、操作部114の操作(アプリケーション120の終了のための操作)が行われたか否かを判断する(ステップST3−6)。その結果、操作部114の操作が行われていない場合(NO)には、ステップST3−3に戻って相対位置の取得(把握)の手順から処理を繰り返す。その一方で、操作部114の操作が行われた場合(YES)には、アプリケーションを終了させる(ステップST3−7)。一方、メガネ型端末装置200では、腕時計型端末装置100から送信された表示画面用のデータの受信が終了するまで表示画面用の画像を出力する処理が継続される(ステップST4−3)。
図6は、腕時計型端末装置100からメガネ型端末装置200に送信された表示画面用のデータに基づいて表示された表示画面の画像5を示す図である。同図に示すように、メガネ型端末装置200は、画像投影部213からレンズ201に画像220を投影する(表示させる)ようになっている。これにより、メガネ型端末装置200を装着している装着者は、このレンズ201に投影された画像220が当該レンズ201を通して見える実際の景色の中に存在している(表示されている)かように視認することができる。そしてこの際、腕時計型端末装置100とメガネ型端末装置200の相対位置情報を把握し、この相対位置情報に基づいて、レンズ201を通して見える画像が腕時計型端末装置100の真上位置など常に腕時計型端末装置100に対する同じ位置に表示されるように制御することができる。
以上説明したように、本実施形態の相対位置検出システムによれば、加速度センサ116a,216aと角速度センサ116b,216bの検出のみによって腕時計型端末装置100とメガネ型端末装置200の相対位置を検出するように構成したことで、従来のカメラ(撮像手段)を備える位置検知システムや、GPSなどの外部からの情報に基づく絶対位置検出による相対位置検出を行うシステムと比較して、装置の構成の大幅な簡素化及び小型化・軽量化を図ることができる。また、簡単な処理で相対位置の検出が行えるようになるので、相対位置検出の処理速度を高めることができる。また、データを記憶するためのメモリなどの記憶媒体の容量や演算処理を行うための処理装置の処理能力などを少なく(低く)抑えることが可能となる。
また、本実施形態の相対位置検出システムによれば、加速度センサ116a,216aと角速度センサ116b,216bの検出のみによって腕時計型端末装置(第1端末装置)100とメガネ型端末装置(第2端末装置)200の相対位置を検出するように構成したことで、GPSやインターネットなどの外部からの情報を受信する必要がない。したがって、GPSやインターネットなどの外部からの情報を受信することができない環境や装置構成であっても、腕時計型端末装置100とメガネ型端末装置200の相対位置の検出を行うことができる。
さらに、本実施形態の相対位置検出システムによれば、加速度センサ116a,216aと角速度センサ116b,216bの検出のみによって腕時計型端末装置100とメガネ型端末装置200の相対位置を検出するように構成したことで、従来のカメラ(撮像手段)を用いた相対位置検出システムのように装置同士が互いに視認できる位置に有る必要が無い。したがって、腕時計型端末装置100とメガネ型端末装置200との間に遮蔽物がある場合など、互いを直接見通せない環境であっても相対位置検出を行うことができるので、腕時計型端末装置100とメガネ型端末装置200が置かれる環境の制限がより少ない相対位置検出システムとなる。
加えて、本実施形態の相対位置検出システムでは、従来のカメラを備える相対位置検出システムのように、街中や電車内などの公共の場での第三者のプライバシーに関わる撮影や、書店や映画館などでの著作権等に問題が生じる可能性のある撮影などを意図せずに行ってしまうおそれが無い。また、撮影した画像などのデータが装置内の記憶部112,212などに保存されることが無い。したがって、当該画像などのデータの漏洩が生じるおそれがないため、プライバシーの保護やセキュリティーの確保に問題が生じずに済む。さらには、撮影した画像のデータを記憶するためのメモリなどの記憶媒体の大容量化や、演算処理を行うための処理装置の処理能力の高度化が必要になるという問題も生じずに済む。
また、本実施形態の相対位置検出システムによれば、腕時計型端末装置100とメガネ型端末装置200の相対位置及び姿勢を座標データとして取得可能であることで、簡単な処理で腕時計型端末装置100とメガネ型端末装置200の相対位置を正確に把握することができる。したがって、腕時計型端末装置100とメガネ型端末装置200における処理の簡素化を図ることができると共に、相対位置情報を迅速かつ確実に取得することが可能となる。
また、本実施形態の相対位置検出システムを備える画像表示システム1によれば、上記構成の相対位置検出システムで検出した腕時計型端末装置100とメガネ型端末装置200の相対位置の情報を用いて、レンズ201を通して見える画面の画像5が腕時計型端末装置100の真上位置などに常に位置するように制御することができる。したがって、腕時計型端末装置100とメガネ型端末装置200とを部品点数を少なく抑えた簡単な構成としながらも、腕時計型端末装置100の画面表示の利便性を向上させることができる。
なお、本実施形態では、腕時計型端末装置100とメガネ型端末装置200の相対位置の検出を腕時計型端末装置100の機能として行う場合について説明したが、これ以外にも、腕時計型端末装置100とメガネ型端末装置200の相対位置の検出(図3のステップST1−5の処理)をメガネ型端末装置200の機能として行うように構成することも可能である。
また、本実施形態では、メガネ型端末装置200は、図1に示すように、制御部211などの機能構成を備えた本体部205をメガネ部210のフレーム部202に一体に取り付けた構成のものを例示したが、この本体部205は、必ずしもメガネ部分210と一体に構成されている必要はなく、既製品のメガネなどに対して後付けで装着することが可能な別の装置として構成してもよい。すなわち、図1に示す本体部205は、例えば既存のメガネに後から装着することができるような構成であってもよい。
また、上記実施形態では、本発明にかかる相対位置検出システムを用いて画像の表示を行う際の表示画面の一例として、アプリケーションの表示画面を例示したが、これに限らず他の表示画面(例えばウェブブラウザの表示画面など)を用いることも可能である。
また、上記実施形態の説明及び図面では、腕時計型端末装置100とメガネ型端末装置200の機能構成として、図2に示す構成要素を備える場合を示したが、当該図2に示す構成要素は、本発明にかかる相対位置検出システム及び画像表示システムとしての構成要素のみを示したものである。したがって、腕時計型端末装置100やメガネ型端末装置200は、図2に示す構成要素以外にも、例えば、カメラなどの撮像手段や、GPSによる位置検出を行うための手段や、インターネットなど外部の通信ネットワークに接続するための通信手段などを備えていてもよい。ただし、これらの撮像手段や通信手段は、本発明にかかる相対位置検出システムにおける位置情報の検出のための手段としては用いられず、本発明にかかる相対位置検出システムは、あくまでも図2に示す位置検出部116,216が備える加速度センサ116a,216aと角速度センサ116b、216bのみによる位置検出を行うように構成されているものとする。
また、本実施形態の相対位置検出システムでは、位置検出部116,216が備える加速度センサ116a,216aと角速度センサ116b、216bの検出値の精度を高めるために、加速度センサ116a,216aと角速度センサ116b、216bの検出値を補正する補正手段を備えるようにするとよい。この補正手段として、例えば、下記(1)〜(5)のようなものが考えられる。
(1)上記の充電用の装置(クレードル)に腕時計型端末装置100とメガネ型端末装置200を載せた際にこれら腕時計型端末装置100とメガネ型端末装置200の相対距離がリセット可能な距離(リセット位置)であると判断して、その時点で腕時計型端末装置100とメガネ型端末装置200の位置検出部116,216の測定値を補正(測定値に含まれる誤差を補正する)処理を行うようにすることができる。あるいは、腕時計型端末装置100とメガネ型端末装置200が互いに接触(当接)したことを何らかの手段で検知できるように構成し、これら腕時計型端末装置100とメガネ型端末装置200が互いに接触(当接)したことをもって、その時点で腕時計型端末装置100とメガネ型端末装置200の位置検出部の測定値を補正する処理を行うようにすることもできる。すなわち、これらの場合は、上記のリセット処理に合わせて腕時計型端末装置100とメガネ型端末装置200の位置検出部116,216の測定値を補正する処理を行うようにする。
(2)腕時計型端末装置100とメガネ型端末装置200のデータ送受信部115,215が受信する電波の強度を判断し、その強度に応じて腕時計型端末装置100とメガネ型端末装置200の相対位置情報を把握し、それに基づいて腕時計型端末装置100とメガネ型端末装置200の位置検出部116,216の測定値の補正(測定値に含まれる誤差を補正する)処理を行うことができる。すなわち、例えば、腕時計型端末装置100とメガネ型端末装置200のデータ送受信部115,215のいずれか一方が他方から受信する電波の強度が所定の閾値以上となった場合に、腕時計型端末装置100とメガネ型端末装置200の相対位置(距離)が所定値以下になったと判断し、その距離の情報に基づいて位置検出部116,216の測定値を補正することができる。
(3)位置検出部116,216が備える加速度センサ116a,216aと角速度センサ116b,216bの測定値を補正するための補正用のセンサを更に備え、この補正用のセンサで加速度センサ116a,216aと角速度センサ116b,216bの測定値を補正するように構成する。ここでの補正用のセンサとしては、一例として地磁気センサ(電子コンパス)を挙げることができる。さらにこの場合、本発明の実施態様(実施形態)としては、位置検出部116,216として、加速度センサ116a,216aと角速度センサ216b、216bに加えて上記の地磁気センサを一体あるいは別体として備えたチップ型のセンサを設けるようにしてもよい。この場合は、位置検出部116,216の検出値として加速度センサ116a,216aと角速度センサ116b、216bの測定値を地磁気センサの測定値で補正した値を得ることができる。ただし、この場合でも、腕時計型端末装置100又はメガネ型端末装置200の位置検出は、加速度センサ116a,216aと角速度センサ116b,216bのみによって行われており、地磁気センサはこれら加速度センサ116a,216aと角速度センサ116b,216bによる位置検出の測定値を補正するための手段として機能しているものである。
(4)位置検出部116,216が備える加速度センサ116a,216aと角速度センサ116b,216bの測定値をデータとして蓄積し、この蓄積したデータを解析することで測定値に生じる誤差の傾向を把握し、この傾向に基づいて測定値の補正を行うようにしてもよい。この場合は、蓄積した測定値のデータ自体を腕時計型端末装置100又はメガネ型端末装置200に蓄えている必要はなく、当該蓄積したデータを用いて得られた補正の仕方を格納した補正プログラムなどを腕時計型端末装置100又はメガネ型端末装置200の記憶部112,212に記憶させておき、この補正プログラムに基づいて制御部111,211が補正を行うようにするとよい。
(5)腕時計型端末装置100の位置検出部116とメガネ型端末装置200の位置検出部216それぞれの測定値の劣化度を判断し、劣化度のより少ない方の測定値に合わせるように補正を行う。すなわち、リセット処理後の腕時計型端末装置100又はメガネ型端末装置200の移動量が多いほど、それらの位置検出部116又は216の測定値に誤差が累積することで、測定値の劣化が進む傾向がある。そのため、ある時点で腕時計型端末装置100とメガネ型端末装置200それぞれのリセット処理後の移動量を判断し、この移動量がより少ない方の測定値に合わせるように位置検出部116又は216の測定値を補正する処理を行うことができる。
上記(1)〜(5)の補正処理は、それぞれを単独で行うように構成してもよいし、いずれかを組み合わせて行うように構成してもよい。これらの補正処理を行うことで、加速度センサ116a,216aと角速度センサ116b,216bのみを備えた位置検出部116,216の測定値に生じる誤差をより少なく抑えることができるので、位置検出部116,216の測定値に基づく相対位置の検出の精度を効果的に高めることができる。
〔第二実施形態〕
次に、本発明の第二実施形態について説明する。なお、第二実施形態の説明及び対応する図面においては、第一実施形態と同一又は相当する構成部分には同一の符号を付し、以下ではその部分の詳細な説明は省略する。また、以下で説明する事項以外の事項、及び図示する以外の事項については、第一実施形態と同じである。
図7は、本発明の第二実施形態にかかる相対位置検出システムを含む画像表示システム1−2の全体構成例を示す図である。また、図8は、携帯型端末装置300の機能構成を示すブロック図である。本実施形態の画像表示システム1−2は、腕時計型端末装置(第1端末装置)100と、メガネ型端末装置(第2端末装置)200とに加えて、更に他の携帯型端末装置(第3端末装置)300を備えている。携帯型端末装置300は、いわゆるスマートフォンやタブレット型コンピュータといった小型の通信端末装置やコンピュータ装置である。この携帯型端末装置300は、図8に示すように、制御部(制御手段)311、記憶部(記憶手段)312、表示部(表示手段)313、操作部(入力手段)314、データ送受信部315を備えて構成されている。
制御部311は、携帯型端末装置300を動作させるための各種処理を実行するための部分であり、マイクロプロセッサ、各種周辺回路等によって構成される。この制御部311は、記憶部312に記憶されたプログラム(アプリケーション)320を実行するための機能などを備えている。
記憶部312は、フラッシュメモリ又はハードディスク等の記憶媒体である。記憶部312には、制御部311によって実行されるアプリケーション320などの各種データが記憶されている。すなわち、記憶部312に記憶されているデータは、必要に応じて制御部311により記憶部312から読み出され、制御部311が実行する様々な処理や制御に利用される。また、制御部311は、記憶部312に新たなデータを記憶したり既に記憶されているデータを更新することもできる。
表示部313は、アプリケーション320の実行内容を表示するための表示画面や操作画面などを表示するほか、様々な画像や映像等を表示するための装置であり、液晶ディスプレイ等が用いられる。
操作部314は、携帯型端末装置300の各種機能を用いるために操作者によって入力される各種操作を検出するものであり、各種の入力手段(操作ボタン、タッチパネル、あるいは音声認識装置など)で構成することが可能である。操作者は、操作部314を操作することにより、携帯型端末装置300で行われる後述するアプリケーションの実行などに必要な各種の操作を行うことができる。
データ送受信部315は、制御部311や記憶部312から入力した各種データを含むデータ信号等を腕時計型端末装置100又はメガネ型端末装置200のデータ送受信部115,215に向けて送信すると共に、腕時計型端末装置100又はメガネ型端末装置200のデータ送受信部115,215から送信されたデータを受信する機能を備えている。このデータ送受信部315は、メガネ型端末装置200がその位置検出部216で検出した当該メガネ型端末装置200の位置に関するデータをメガネ型端末装置200のデータ送受信部215から受信し、また腕時計型端末装置100がその位置検出部116で検出した当該腕時計型端末装置100の位置に関するデータを腕時計型端末装置100のデータ送受信部115から受信する機能を有する。また、データ送受信部315は、アプリケーション320の表示画面やウェブブラウザの表示画面のデータ(相対位置情報による修正が施されたデータ)など、メガネ型端末装置200で画像表示をするために必要なデータをメガネ型端末装置200のデータ送受信部215に向けて送信する機能を有する。
そして、本実施形態の画像表示システム1−2が第一実施形態の画像表示システム1と異なる点は、画像表示をするためのアプリケーションの実行を第一実施形態では腕時計型端末装置100で行っていたのに対して、本実施形態では携帯型端末装置300で行うようにした点、及び、腕時計型端末装置100で検出した位置情報とメガネ型端末装置200で検出した位置情報とに基づく腕時計型端末装置100とメガネ型端末装置200の相対位置情報の検出を第一実施形態では腕時計型端末装置100で行っていたのに対して、本実施形態では携帯型端末装置300で行うようにした点である。すなわち、本実施形態では、携帯型端末装置300で実行したアプリケーションの画面に関するデータをメガネ型端末装置200に送信し、画像投影部213から当該メガネ型端末装置200のレンズ201に画面の画像220を投影する。その際に、腕時計型端末装置100で検出した(自身の)位置情報とメガネ型端末装置200で検出した(自身の)位置情報とに基づいて携帯型端末装置300で腕時計型端末装置100とメガネ型端末装置200の相対位置情報の検出を行い、この検出した相対位置情報を携帯型端末装置300からメガネ型端末装置200に送信することで、当該相対位置情報を用いて画面のデータを変換することで、レンズ201を通して見える画面の画像5が腕時計型端末装置100の真上位置などに常に位置するように制御することができる。
したがって、本実施形態の腕時計型端末装置100は、位置検出部116とデータ送受信部115を備えてさえいればよく、アプリケーションを格納した記憶部112などは必ずしも備えていなくてもよい。また、腕時計型端末装置100のデータ送受信部115とメガネ型端末装置200のデータ送受信部215は、どちらも少なくとも携帯型端末装置300のデータ送受信部315との間でデータの授受(通信)を行う機能を備えてさえいれば、腕時計型端末装置100のデータ送受信部115とメガネ型端末装置200のデータ送受信部215との間で直接的にデータの授受を行う機能は必ずしも備えていなくてもよい。
本実施形態の画像表示システム1−2によれば、アプリケーションの実行及び相対位置の検出を携帯型端末装置300で行うように構成したことで、腕時計型端末装置100の更なる構成の簡素化、小型化、軽量化を図ることが可能となる。
以上、本発明の実施の形態を説明したが、本発明は上記実施の形態に限定されるものではなく、特許請求の範囲、及び明細書と図面に記載された技術的思想の範囲内において種々の変形が可能である。例えば、本発明は、上記実施形態における下記の点を変更して実施することが可能である。
すなわち、上記実施形態では、腕時計型端末装置100とメガネ型端末装置200の二つの端末装置の間で相対位置を検出するシステムを例に説明したが、本発明にかかる相対位置検出システムは、三つ以上の端末装置の相対位置を検出するシステムとして構成することも可能である。したがって、たとえば上記実施形態に示すメガネ型端末装置が複数台あってもよい。その場合は、複数台のメガネ型端末装置それぞれで腕時計型端末装置との相対位置を把握することで、複数台のメガネ型端末装置それぞれで共通の画像を見ることができるように設定することも可能である。
また、上記実施形態では、本発明にかかる相対位置検出システムをメガネ型端末装置200と腕時計型端末装置100の相対位置検出に用いて、メガネ型端末装置200の画像を腕時計型端末装置100の近傍位置に表示させるために用いた場合を示したが、本発明にかかる相対位置検出システムによる相対位置の検出は、他の技術にも適用が可能である。すなわち、本発明の位置検出システムで相対位置を検出する端末装置は、これらに限らず他の構成の端末装置であってもよい。
また、上記実施形態では、表示される画像や映像の位置が腕時計型端末装置100の位置に追従する場合を示したが、これ以外にも、表示される画像の位置を一時的に固定することなども可能である。これにより、例えば、腕時計型端末装置100を装着している腕を下に降ろすなどの動作をしても、腕時計型端末装置100があった場所に画像や映像が表示され続けるようにすることができる。また、腕時計型端末装置の上部に表示された画像又は映像を操作によって拡大又は縮小して表示することができるようにしてもよい。また、本発明にかかる画像表示システムで表示する画像には、2D画像や2D映像だけでなく、3D画像や3D映像などの3次元表示の画像又は映像も含まれる。
また、本発明は、上記のような腕時計型端末装置100とメガネ型端末装置200を備えるシステムに代えて、下記のようなシステムに用いることも可能である。
・車のハンドルの脇に本発明の第1端末装置に相当する端末装置を置いておき、カーナビゲーションの画像(映像)が当該端末装置の上部にメガネ型端末装置を通して見えるように投影する。
・メガネ型端末装置を通して見える画像又は映像として、ペット(例えば猿などの動物)の画像又は映像(3D画像など)を表示することで、ペットがあたかも自分の腕に巻き付いているように見える画像を表示する。
・腕時計型端末装置が美術館などで展示の情報を得られるようにし、メガネ型端末装置を通して当該腕時計型端末装置の上部に表示された3D画像又は映像で展示物などを360度の範囲で見ることができるようにする。
また、上記実施形態では、第1端末装置である腕時計型端末装置100と第2端末装置であるメガネ型端末装置200の二つの端末装置間での位置検出を行う場合について説明したが、これ以外にも例えば、第1端末装置と第2端末装置の両者がある時点で相対位置情報をリセットし、それ以降に第2端末装置が自身の位置情報を第1端末装置に送っている場合、さらに、第2端末装置が別の第3端末装置との間で位置情報のリセットを行い、その際、第3端末装置に第1端末装置への情報伝達手段も伝えることができれば、それ以降、第1端末装置は第2端末装置を経由しなくても(第2端末装置のリセット地点がわかれば)第3端末装置の位置も把握することができる。このように二つの端末装置間での位置検出の操作を繰り返していくことで、位置検出ができる端末装置の数を増やしていくことも可能である。

Claims (6)

  1. 第1端末装置と第2端末装置の相対位置を検出する相対位置検出システムであって、
    前記第1端末装置と前記第2端末装置のそれぞれに設けた加速度センサ及び角速度センサを含む位置検出部と、
    前記第1端末装置と前記第2端末装置の少なくともいずれか一方に設けたデータ送信部といずれか他方に設けた前記データ送信部からのデータを受信するデータ受信部と、
    前記第1端末装置と前記第2端末装置の少なくともいずれかに設けた相対位置情報を取得する相対位置情報取得部と、を備え、
    前記相対位置情報取得部は、前記加速度センサの測定値と前記角速度センサの測定値のみを用いて前記第1端末装置と前記第2端末装置との相対位置情報を取得するように構成した
    ことを特徴とする相対位置検出システム。
  2. 所定の条件が成立した場合に、前記位置検出部における前記加速度センサと前記角速度センサの測定値をリセットするリセット手段を備え、
    前記加速度センサ及び角速度センサの測定値は、前記リセット手段によるリセットが行われた時点からの累積値である
    ことを特徴とする請求項1に記載の相対位置検出システム。
  3. 前記相対位置情報取得部は、前記第1端末装置と前記第2端末装置との相対位置を座標データとして取得可能である
    ことを特徴とする請求項1又は2に記載の相対位置検出システム。
  4. 前記相対位置情報取得部は、前記第1端末装置及び前記第2端末装置の同一位置における基準角度に対する傾きを座標データとして取得可能である
    ことを特徴とする請求項1乃至3のいずれか1項に記載の相対位置検出システム。
  5. 請求項1乃至4のいずれか1項に記載の相対位置検出システムを備える画像表示システムであって、
    前記第1端末装置は、画像表示用のデータを生成する画像表示用データ生成手段を備え、
    前記第2端末装置は、前記画像表示用のデータに基づいて画像を表示するための画像表示手段を備え、
    前記第1端末装置の前記画像表示用データ生成手段で生成した画像表示用のデータが前記第2端末装置に送信され、前記画像表示用のデータに基づいて前記第2端末装置の前記画像表示手段で画像の表示が行われ、
    前記画像表示手段は、前記相対位置情報取得手段が取得した前記第1端末装置と前記第2端末装置との相対位置情報に基づいて、少なくとも前記画像表示用データに基づいて表示させる画像の表示位置の決定を行う
    ことを特徴とする画像表示システム。
  6. 前記画像表示手段による画像の表示位置の決定は、前記第2端末装置から見た前記第1端末装置の位置に基づいて行われる
    ことを特徴とする請求項5に記載の画像表示システム。
JP2018566093A 2017-02-03 2018-02-01 相対位置検出システム及び画像表示システム Pending JPWO2018143360A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017019140 2017-02-03
JP2017019140 2017-02-03
PCT/JP2018/003457 WO2018143360A1 (ja) 2017-02-03 2018-02-01 相対位置検出システム及び画像表示システム

Publications (1)

Publication Number Publication Date
JPWO2018143360A1 true JPWO2018143360A1 (ja) 2019-12-26

Family

ID=63040828

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018566093A Pending JPWO2018143360A1 (ja) 2017-02-03 2018-02-01 相対位置検出システム及び画像表示システム

Country Status (2)

Country Link
JP (1) JPWO2018143360A1 (ja)
WO (1) WO2018143360A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200097066A1 (en) * 2018-09-20 2020-03-26 XRSpace CO., LTD. Tracking Method and Tracking System Using the Same
US10817047B2 (en) 2018-09-19 2020-10-27 XRSpace CO., LTD. Tracking system and tacking method using the same
WO2023100012A1 (ja) * 2021-11-30 2023-06-08 株式会社半導体エネルギー研究所 表示システム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL179344A (en) * 2006-11-16 2014-02-27 Rafael Advanced Defense Sys Mobile Platform Tracking Method
EP2509334B1 (en) * 2009-11-30 2018-09-12 Sun Patent Trust Communication apparatus
JP5704833B2 (ja) * 2010-05-10 2015-04-22 オリンパス株式会社 操作入力装置およびマニピュレータシステム
US10175050B2 (en) * 2013-06-17 2019-01-08 Sony Corporation Image processing device, image processing method, and program
JP2015176186A (ja) * 2014-03-13 2015-10-05 ソニー株式会社 情報処理装置、情報処理方法、及び情報処理システム
JP2015176588A (ja) * 2014-03-18 2015-10-05 株式会社東芝 表示装置、画像表示システムおよび情報処理方法
JP2017003540A (ja) * 2015-06-16 2017-01-05 多摩川精機株式会社 積載物監視システム

Also Published As

Publication number Publication date
WO2018143360A1 (ja) 2018-08-09

Similar Documents

Publication Publication Date Title
US20130120224A1 (en) Recalibration of a flexible mixed reality device
JP6398472B2 (ja) 画像表示システム、画像表示装置、画像表示方法、およびプログラム
EP3062286B1 (en) Optical distortion compensation
JP5329480B2 (ja) ヘッドマウントディスプレイ装置
CN109166150B (zh) 获取位姿的方法、装置存储介质
JPWO2018143360A1 (ja) 相対位置検出システム及び画像表示システム
CN107560637B (zh) 头戴显示设备校准结果验证方法及头戴显示设备
JP2017147682A (ja) 全天球撮影システム
US20230388643A1 (en) Portable device
JP5514062B2 (ja) 電子機器、情報付き撮像画面表示方法及びプログラム
CN111263037B (zh) 图像处理装置、拍摄装置、视频播放系统、方法以及程序
JP4946914B2 (ja) カメラシステム
CN111127539B (zh) 视差确定方法、装置、计算机设备及存储介质
CN110443841B (zh) 地面深度的测量方法、装置及系统
JP6610741B2 (ja) 画像表示システム、画像表示装置、画像表示方法、およびプログラム
KR101583256B1 (ko) 웨어러블 다중 카메라 시스템 및 이를 이용한 이미지 출력 방법
JP7169422B2 (ja) 携帯機器および表示制御方法
JP2015049446A (ja) 撮像装置
JP6999052B2 (ja) 携帯機器および映像表示方法
WO2023068087A1 (ja) ヘッドマウントディスプレイ、情報処理装置および情報処理方法
CN111353934B (zh) 一种视频合成的方法及装置
CN111354032B (zh) 一种生成视差图的方法及装置
JP2018129720A (ja) 撮影装置、撮影方法およびプログラム
KR100711205B1 (ko) 경사계를 이용한 생체 모방형 시각처리 장치
WO2014091797A1 (ja) 電子機器

Legal Events

Date Code Title Description
AA64 Notification of invalidation of claim of internal priority (with term)

Free format text: JAPANESE INTERMEDIATE CODE: A241764

Effective date: 20191015

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191028