JP6665572B2 - 制御プログラム、制御方法およびコンピュータ - Google Patents

制御プログラム、制御方法およびコンピュータ Download PDF

Info

Publication number
JP6665572B2
JP6665572B2 JP2016027438A JP2016027438A JP6665572B2 JP 6665572 B2 JP6665572 B2 JP 6665572B2 JP 2016027438 A JP2016027438 A JP 2016027438A JP 2016027438 A JP2016027438 A JP 2016027438A JP 6665572 B2 JP6665572 B2 JP 6665572B2
Authority
JP
Japan
Prior art keywords
display
information
content
image data
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016027438A
Other languages
English (en)
Other versions
JP2017146749A (ja
Inventor
敬史 酒井
敬史 酒井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2016027438A priority Critical patent/JP6665572B2/ja
Priority to US15/420,607 priority patent/US9906702B2/en
Publication of JP2017146749A publication Critical patent/JP2017146749A/ja
Application granted granted Critical
Publication of JP6665572B2 publication Critical patent/JP6665572B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/02Details of power systems and of start or stop of display operation
    • G09G2330/021Power management, e.g. power saving
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/12Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/12Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/02Networking aspects
    • G09G2370/022Centralised management of display operation, e.g. in a server instead of locally
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Description

制御プログラム、制御方法およびコンピュータに関する
情報端末と位置情報を利用したアプリケーションやサービスが存在する。一例として、AR(Augmented Reality、拡張現実)技術の発達、スマートフォン等の携帯情報端末の普及により、AR技術を利用したアプリケーションやサービスが提供されている。携帯情報端末は、携帯情報端末が備えるカメラにより撮影された動画像を、携帯情報端末が備える表示画面に表示する際に、携帯情報端末の位置情報を用いて、動画像に含まれる被写体に関する説明などの付加的な表示情報(コンテンツ)を重畳表示する。
より具体的には、例えば、携帯情報端末の位置情報と、カメラで撮影されている撮影方向を取得し、位置情報と撮影方向の情報から、カメラにより撮影される撮影範囲を特定する。さらに、撮影装置は、特定した撮影範囲に含まれる地理的位置と対応付けられたコンテンツの情報をサーバ装置から取得し、表示画面に表示された動画像の対応する位置にコンテンツを重畳表示する。
利用者の移動に伴い携帯情報端末の位置が変わると、カメラにより撮影される撮影範囲も変わることとなる。この場合、携帯情報端末の位置を継続的に取得し続け、取得した位置の変化に応じて表示画面上のコンテンツの表示位置を更新することにより、携帯情報端末の位置の変化に追従したコンテンツの表示を実現できる。このようにして、例えば、携帯情報端末が備えるカメラで撮影された建物についてのガイドや、道案内などのサービスが、AR技術を利用して提供される。
特開2011−257865号公報
GPS(Global Positioning System)等を利用して位置情報を取得する場合、位置情報の取得精度等の事情により、実際には携帯情報端末の位置が変わっていない場合でも、取得される位置情報が変動することがある。そのため、例えば、携帯情報端末の利用者が携帯情報端末の表示画面を見ている際に、利用者や端末が静止しているにもかかわらず画面の表示領域上のコンテンツの表示位置が変動することがある。利用者や端末が静止しているにもかかわらず表示画面上のコンテンツの表示位置が頻繁に変動すると、表示画面でコンテンツを閲覧する際の視認性が低下し、サービスの利便性の低下を招く。
また、携帯情報端末の中にはタッチパネルを備える装置も存在する。タッチパネルを備える携帯情報端末では、例えば、表示画面に表示されたコンテンツの表示画面上の位置に対するタップ等の操作の検出に応じて、さらに詳細なコンテンツの情報を表示するといった制御を行うことも考えられる。しかし、前述のように、コンテンツの表示位置が頻繁に変動すると、タップすべき表示領域上の位置も頻繁に変動するため、アプリケーションを利用する際の操作性が低下し、サービスの利便性の低下を招く。
なお、上記の事例に留まらず、例えば、端末装置を用いて、遠隔のロボットやドローンの位置情報を確認する際などにも、上述した視認性や操作性の低下のおそれがある。
1つの側面によれば、表示領域に表示される表示対象の位置の過度な変動を抑制することを目的とする。
1つの態様では、コンピュータに、画像データを表示部に表示するとともに、無線測位システムを用いて取得された対象物の第1の位置に基づいて決定される、表示部に表示された画像データ上の位置座標と関連付けて、表示情報を重畳表示し、第1の位置を取得してから特定時間後に無線測位システムを用いて対象物の第2の位置を取得し、第1の位置を取得してから特定時間後までの対象物の移動距離を、対象物に備えられた慣性センサを用いて取得し、移動距離に基づいて、第2の位置に基づいて決定される、前記表示部に表示された前記画像データ上の位置座標と関連付けて、前記表示情報を重畳表示するか否かを制御する、処理を実行させる。
1つの側面によれば、表示領域に表示される表示対象の位置の過度な変動を抑制することができる。
AR技術を用いたアプリケーションの一例を示す。 本実施例で解決しようとする事象の一例を示す。 端末装置1の機能ブロック図を示す。 位置情報記憶部310に記憶される情報の一例を示す。 姿勢情報記憶部320に記憶される情報の一例を示す。 方位、ロール角、ピッチ角の図説を示す。 設定情報記憶部330に記憶される情報の一例を示す。 コンテンツ情報記憶部340に記憶される情報の一例を示す。 コンテンツ表示処理を説明するフローチャートを示す。 本実施例の位置情報の更新処理のフローチャートを示す。 本実施例における端末装置1のハードウェア構成の一例を示す。 本実施例のハードウェア構成の別態様を示す。 サーバ装置2のハードウェア構成の一例を示す。
本発明を実施する実施例について、図面とともに説明をする。なお、本実施例は、発明を実現する態様の1つであり、実施例中の各処理の内容や実行順序等については、発明を実現できる範囲内で適宜変更可能である。
まず、本実施例で解決しようとする問題について、具体的な一例を説明する。
図1は、AR技術を用いたアプリケーションの一例を示す図である。例えば図1では、携帯情報端末の内蔵のカメラ等で撮影され、携帯情報端末の表示画面20に表示される動画像に対して、付加的な表示情報(以降、コンテンツと記載する)が重畳表示される。例えば図1では、表示画面20に表示される動画像に対して、コンテンツ40が重畳表示されている。ここで、コンテンツ40は建物30に関する情報であり、コンテンツ40は、吹出しの起点が表示画面20に表示された動画像上の建物30の位置となるように表示される。アプリケーションの利用者は、図1のような表示画面を見ることで、建物30がどのような建物であるかを知ることができる。あるいは、例えば、建物30が店舗である場合には、図1のように、コンテンツとして「○○ショップ××店」、「キャンペーン実施中」といった情報が表示されることにより、アプリケーションの利用者は、店舗で実施中のセールやキャンペーンの情報を知ることも可能である。表示画面20におけるコンテンツ40の表示位置は、コンテンツ40に対して設定された位置情報、および携帯情報端末の位置情報、カメラの方向等をもとに決定される。コンテンツ40に対して設定された位置情報、および携帯情報端末の位置情報、カメラの方向が変わった場合には、表示画面20におけるコンテンツ40の表示位置も変わることとなる。すなわち、携帯情報端末等の対象物の位置が変化することによって、表示画面20におけるコンテンツ40の表示位置は変化する。
図2は、本実施例で解決しようとする事象の一例を示す図である。前述のように、位置情報の取得精度等の事情により、実際には携帯情報端末の位置が変わっていない場合でも、取得される位置情報が変動することがある。
そのため、例えば、携帯情報端末の利用者が情報を確認しようとして立ち止まり、同じ撮影範囲を撮影し続けているにもかかわらず、取得される位置情報をもとにした、表示画面20におけるコンテンツの表示位置が頻繁に変わってしまう。結果として、図2にコンテンツ40−1として示すコンテンツの表示位置が、すぐさまコンテンツ40−2として示す位置や、コンテンツ40−3として示す位置に変動するといった事象が発生する。なお、図2では、便宜上コンテンツ40−1〜40−3を同時に示しているが、実際には、ある1つのコンテンツはいずれか1つの位置に表示される。また、コンテンツ40−1〜40−3の吹出しの領域内には、図1のように種々の情報が表示されることを想定しているが、図2では省略している。
このように、コンテンツの表示位置が頻繁に変わってしまうと、コンテンツとして表示される情報の視認性が阻害され、アプリケーションの利便性が低下してしまう。また、例えば、表示されたコンテンツをタッチパネル上でタップする操作等を行う場合、タップすべき位置、すなわちコンテンツの表示位置が頻繁に変更されると、操作性を阻害する。本実施例では、上述した事項を解決することを目的の1つとしている。
〔機能ブロック〕
図3は端末装置1の機能ブロック図である。なお、端末装置1は、例えば、スマートフォンやタブレットPC(Personal Computer)、ノートPC、PDA(Personal Digital Assistant)等の情報処理装置であり、前述した携帯情報端末の一例である。
入力部101は、利用者からの操作入力を受け付ける。表示部102は、後述する制御部200が実行する制御に応じて、種々の情報を表示(出力)する。入力部101、表示部102は、例えば、タッチパネルである。
撮影部103は、動画像の撮影を行う手段であり、例えば、端末装置1に内蔵されるカメラである。
通信部104は、有線または無線で他の情報処理装置との通信を実行する。通信部104は、例えば、端末装置1が備えるネットワークアダプタやNIC(Network Interface Controller)等の通信デバイスである。
制御部200は、第1取得部201、第2取得部202、算出部203、判定部204、表示制御部205を含む。制御部200は、例えば、端末装置1が備えるプロセッサがプログラムを実行することにより実現される。ここで、プロセッサは、CPU(Central Processing Unit)やMPU(Micro Processing Unit)、ASIC(Application Specific Integrated Circuit)等のハードウェア回路の総称である。
第1取得部201は、端末装置1が備えるGPS受信器や慣性センサ等が取得した情報に基づいて算出される、端末装置1の位置情報を取得する。ここで慣性センサとは、加速度センサとジャイロセンサの機能の少なくともいずれか、または双方の機能を有するセンサ機器である。
第2取得部202は、撮影部103により撮影され、表示部102に表示される動画像に対し、AR技術を用いて重畳表示されるコンテンツの取得を行う。
算出部203は、例えば、端末装置1が備えるGPS受信器により取得される端末装置1の位置情報に基づいて、所定期間内における端末装置1の位置情報の示す位置の差分を算出する。またあるいは、算出部203は、端末装置1が備える加速度センサ、ジャイロセンサにより取得された計測値に基づいて、端末装置1の位置情報や所定期間内における端末装置1の移動距離を算出可能である。
判定部204は、算出部203により算出された端末装置1の位置情報、または位置情報の示す位置の差分に基づいて、表示部102に表示されるコンテンツの表示位置を変更するか否かの判定処理を実行する。判定処理の詳細については後述する。
表示制御部205は、表示部102への表示対象となる種々の情報の出力を制御する。例えば、判定部204により実行される判定処理の結果に応じて、表示部102への情報出力を制御する。この他、表示制御部205は、表示部102による情報表示の全般を制御する。
記憶部300は、本実施例において取得、参照等がなされる各種の情報を記憶する。記憶部300は、例えば、図3に示すように、位置情報記憶部310、姿勢情報記憶部320、設定情報記憶部330、コンテンツ情報記憶部340を含む。
記憶部300は、例えば、端末装置1が備える、メモリ、HDD(Hard Disk Drive)、SSD(Solid State Drive)等の記憶媒体を用いて実現される。また、記憶部300に含まれる位置情報記憶部310、姿勢情報記憶部320、設定情報記憶部330、コンテンツ情報記憶部340は、一部あるいは全部が、通信部104を用いて端末装置1が通信可能な他の情報処理装置(サーバ装置)や記憶装置に設けられることとしても良い。また、記憶部300に含まれる位置情報記憶部310、姿勢情報記憶部320、設定情報記憶部330、コンテンツ情報記憶部340は、一部あるいは全部が、端末装置1が読み取り可能な記録媒体を用いることとしても良い。端末装置1が読み取り可能な記録媒体とは、例えば、CD−ROM(Compact Disc Read Only Memory)、DVD−ROM(Digital Versatile Disc Read Only Memory)、USB(Universal Serial Bus)メモリ、SD(Secure Digital)メモリカード等である。
位置情報記憶部310は、例えば、端末装置1が備えるGPS受信器により取得される端末装置1の位置情報を記憶する。また例えば、位置情報記憶部310は、端末装置1が備える加速度センサ、ジャイロセンサにより取得された計測値に基づいて算出部204により算出された、端末装置1の位置情報を記憶することも可能である。
姿勢情報記憶部320は、端末装置1が備える加速度センサ、ジャイロセンサにより取得された計測値に基づいて算出部204により算出される、端末装置1の姿勢に関する状態を示す情報を記憶する。端末装置1の姿勢に関する状態を示す情報とは、例えば、地平面等の基準に対する端末装置1の傾き、撮影部103による撮影方向の方位、仰俯角等である。
設定情報記憶部330は、端末装置が実行する処理に関する設定情報を記憶する。設定情報の詳細については後述する。
コンテンツ情報記憶部340は、撮影部103により撮影され、表示部102に表示される動画像に対して重畳表示されるコンテンツの情報を記憶する。コンテンツ情報記憶部340に記憶される情報についても詳細は後述する。
〔記憶部300に記憶される情報の詳細〕
記憶部300に記憶される各種の情報の詳細を説明する。
〔位置情報〕
図4は、位置情報記憶部310に記憶される情報の一例である。例えば、位置情報記憶部310は、図4に示すように適用位置情報311と、前回位置情報312と、新位置情報313と、を記憶する。適用位置情報311、前回位置情報312、新位置情報313のそれぞれは、例えば、端末装置1が備えるGPS受信器により取得された、端末装置の位置を示す情報である。適用位置情報311、前回位置情報312、新位置情報313のそれぞれは、例えば、緯度、経度、高度、取得時刻の情報を含む。
適用位置情報311は、過去に端末装置1が備えるGPS受信器等により取得され、後述する表示部102へのコンテンツの表示処理に適用される位置情報である。すなわち、表示部102へコンテンツを重畳表示する際は、端末装置1が適用位置情報311に示されている位置に存在するものとして実行される。
前回位置情報312は、過去に端末装置1が備えるGPS受信器等により取得された位置情報であり、後述する判定部204が実行する算出処理に用いられる。1つの態様では、前回位置情報312は、例えば、過去に端末装置1が備えるGPS受信器等により取得された位置情報のうち、後述する新位置情報313の1つ前の契機で取得された位置情報であっても良い。また別の態様では、例えば、前回位置情報312は、過去に端末装置1が備えるGPS受信器等により取得された位置情報のうち、後述する判定部204の実行する処理に基づいて選択された位置情報であっても良い。
新位置情報313は、所定の取得契機で端末装置1が備えるGPS受信器等により取得された位置情報のうち、取得時刻(取得タイミング)が最も新しい位置情報である。新位置情報313は、後述する判定部204が実行する算出処理に用いられる。
〔姿勢情報〕
図5は、姿勢情報記憶部320に記憶される情報の一例である。姿勢情報記憶部320には、例えば、方位321、ロール角322、ピッチ角323の情報が記憶される。
方位321は、端末装置1の撮影部103が向いている方位を示す情報である。方位321は、例えば、端末装置1に地磁気センサが備えられていれば、その地磁気センサにより特定される方位を第1取得部201が取得することができる。ただし、端末装置1の撮影部103が向いている方位を特定可能であれば、地磁気センサ以外のセンサやその他のハードウェアを利用することもできる。
なお、図5に示す方位321の値は、北を0度とする左手系北基準の方位角である。ただし、方位321に関する具体的なデータの形式は左手系北基準に限定されず、左手系南基準や右手系東基準のような別の方位角での表現、あるいは方位角とは異なるデータの形式であっても良い。
ロール角322は、例えば、地平面に対する撮影部103の傾きである。また、ピッチ角323は、地平面に対する撮影部103の上下方向の角度(仰俯角)である。ロール角322、ピッチ角323のそれぞれは、例えば、端末装置1にジャイロセンサが備えられていれば、そのジャイロセンサにより特定されるロール角、ピッチ角を第1取得部201が取得することができる。ただし、端末装置1の撮影部103の傾きや仰俯角を特定可能であれば、ジャイロセンサ以外のセンサやその他のハードウェアを利用することもできる。
なお図5に示すロール角322は、撮影部103が水平である状態を0度として、時計回りで角度の値が大きくなる形式としている。また、図5に示すピッチ角323は、撮影部103が水平方向に向いている状態(例えば、撮影部103がカメラである場合は、カメラレンズの光軸が水平である状態)を0度として、仰角を1〜90度、俯角を−1〜−90度としている。ただし、ロール角322に関する具体的なデータの持ち方は、図5の形式に限定されず、図5とは異なるデータの形式であっても良い。
図6に、参考として、上述した方位、ロール角、ピッチ角の図説を示す。なお、図6は、Y軸とX軸のそれぞれは、地平面に対して平行、Z軸は地平面に対して垂直(重力方向に対して平行)であるものとして記載している。図6において、撮影部103が向いている方向が、X軸に平行、かつ、Y軸に直交である場合、ロール角322、ピッチ角323はともに0度となる。
〔設定情報〕
図7は、設定情報記憶部330に記憶される情報の一例を示す。例えば、設定情報記憶部330は、実行周期331と、上限値332と、下限値333と、を記憶する。
実行周期331は、後述する位置情報の更新処理を端末装置1が実行する周期を示す情報である。実行周期331は、例えば、端末装置1が備えるGPS受信器等による位置情報の取得間隔と同一としても良いし、異なる周期としても良い。図7では、一例として、実行周期331を1秒とした例を示しているが、実行周期331の具体的な設定値は一義的に限定されるものではなく、適宜変更可能である。
上限値332、下限値333は、上述する判定部204が実行する判定処理に用いられる。
上限値332は、例えば、端末装置1が備えるGPS受信器等により取得される位置情報において許容可能な取得精度と、ある取得契機から次の取得契機までの期間内に端末装置1の利用者が移動可能と考えられる距離とを考慮して決定しても良い。ある取得契機から次の取得契機までの期間とは、例えば、実行周期331に示される期間である。
例えば、許容可能な位置情報の取得精度を誤差5メートル以内とし、実行周期である1秒間に端末装置1の利用者が歩行して移動可能な距離を2メートルと仮定し、上限値332は図7に示すように7メートルとしても良い。ただし、図7に示す上限値332の数値、および数値の決定方法は、一例であり、前述した数値に限定されない。例えば、端末装置1の利用者が駆け足で移動すると仮定して、移動可能な距離を2メートルより長い距離と仮定しても良い。また、許容可能な位置情報の取得精度も前述の値に限定されず、適宜変更可能である。
下限値333は、例えば、ある取得契機から次の取得契機までの期間内に端末装置1の利用者が移動可能と考えられる距離とを考慮して決定しても良い。
例えば、実行周期である1秒間に端末装置1の利用者が移動可能な距離を2メートルと仮定し、下限値333は図7に示すように7メートルとしても良い。ただし、前述の上限値332の数値、および数値の決定方法は、一例であり、前述した数値に限定されない。例えば、前述した上限332と同様に、端末装置1の利用者が駆け足で移動すると仮定して、移動可能な距離を2メートルより長い距離と仮定しても良い。また、上限値332の決定において仮定する利用者の移動可能距離と、下限値333の決定において仮定する利用者の移動可能距離とは同一としても良いし、異なる数値としても良い。
〔コンテンツ情報〕
図8は、コンテンツ情報記憶部340に記憶される情報の一例である。設定情報記憶部330は、例えば、図8に示す、コンテンツ情報341〜344を記憶する。コンテンツ情報341〜344のそれぞれは、例えば、コンテンツID、表示情報(タップ入力前)、表示情報(タップ入力後)、緯度、経度、の情報を含む。
本実施例におけるコンテンツ情報の利用態様について簡単に説明する。例えば、コンテンツIDが0001のコンテンツ情報341は、緯度35.002XXX、経度132.00XXXの位置に対応付けられたコンテンツである。なお、コンテンツIDは、登録されたコンテンツを一意に識別するための識別情報である。ここで、端末装置1の撮影部103により取得された動画像の撮影範囲に緯度35.002XXX、経度132.00XXXに対応する領域が含まれると判定されたと仮定する。すると、コンテンツ情報341の表示情報(タップ入力前)である「○○ショップ××店 キャンペーン実施中」の文字列が、表示部102に表示された動画像に重畳されて表示される。
さらに、表示部102に表示された表示情報「○○ショップ××店 キャンペーン実施中」に対して、タッチパネル等でタップ入力(指定)を受け付けたとする。すると、コンテンツ情報341の表示情報(タップ入力後)である「キャンペーン情報 1.限定クーポン(後略)」の文字列が、表示部102に表示された動画像に重畳されて表示される。以上のように、端末装置1は、例えば、AR技術とコンテンツ情報を利用した地理情報のガイドを利用者に提供する。
上述したコンテンツ情報341は、タップ入力前、タップ入力後ともに、表示情報はテキスト情報である。他の態様として、例えば、コンテンツ情報342のように、表示情報を画像データや動画データとすることもできる。例えば、コンテンツ情報342では、表示情報(タップ入力後)として、「contents2.jpg」という画像データが設定されている。
また、例えば、コンテンツがタップされたことに応じて、設定されたURL(Uniform Resource Locator)のウェブサイトがブラウザで表示されるといったように、端末装置1で他のアプリケーションを起動して情報を表示することもできる。例えば、コンテンツ情報343では、表示情報(タップ入力前)に、YYY株式会社のウェブサイトへのハイパーリンクが設定されており、タップされたことに応じて、端末装置1に導入されたブラウザ等でリンク先のウェブサイトが閲覧可能となっている。
また、例えば、端末装置1の位置とコンテンツ情報に設定された位置との差に応じて、表示情報を変更することもできる。例えば、コンテンツ情報344では、端末装置1の位置とコンテンツ情報344に設定された位置との差が30メートル以上の場合、「セール品あり 店頭で発表中」のテキスト情報が、表示部102に表示された動画像に重畳されて表示される。一方、端末装置1の位置とコンテンツ情報344に設定された位置との差が30メートル未満の場合、「タップして写真を確認」のテキスト情報が、表示部102に表示された動画像に重畳されて表示される。さらに、端末装置1の位置とコンテンツ情報344に設定された位置との差が30メートル未満の場合、表示部102に表示された「タップして写真を確認」に対してタップ入力を受け付けると、「contens4.jpg」の画像データが表示部102に表示される。
〔コンテンツ表示処理〕
本実施例のコンテンツ表示処理について、詳細を説明する。
図9は、コンテンツ表示処理を説明するフローチャートである。コンテンツ表示処理は、例えば、端末装置1におけるARアプリケーションの起動等を契機として開始されることとしても良い。また、端末装置1におけるARアプリケーションの起動等を契機として、コンテンツを重畳表示する動画像が撮影部103により継続的に撮影され、表示部102に表示されることとして良い。
まず、ステップS901において、表示制御部205が、位置情報記憶部310に記憶された適用位置情報311を読み出す。
次に、ステップS902で、第2取得部202は、ステップS901で読み出された適用位置情報311に対応するコンテンツ情報を、コンテンツ情報記憶部340から取得する。例えば、第2取得部202は、コンテンツ情報記憶部340に記憶されたコンテンツ情報の中から、適用位置情報311に示される位置情報との差が100メートル以内の位置情報が設定されたコンテンツ情報を特定し、特定したコンテンツ情報を取得する。なお、前述した100メートルという基準は一例であり、他の値としても良い。また、第2取得部202が、ステップS902でコンテンツ情報記憶部340に記憶されたすべてのコンテンツ情報を取得することとしても実現可能である。
ステップS903では、第1取得部201が姿勢情報を取得する。姿勢情報は、例えば、図5に示すような方位、ロール角、ピッチ角の情報であり、端末装置1が備える地磁気センサ、加速度センサ、ジャイロセンサ等を利用して取得される。
次に、ステップS904では、表示制御部205が、ステップS903で取得された姿勢情報、ステップS901で読み出された新位置情報311をもとに、撮影部103の撮影範囲を特定する。言い換えれば、表示制御部205は、撮影部103により撮影され得る地理的領域を特定する。撮影範囲は、例えば、表示制御部205が、位置情報に含まれる端末装置1の緯度、経度、高度、姿勢情報に含まれる方位、ロール角、ピッチ角の情報から、端末装置1の位置と撮影部103が向いている方向を特定する。そして、表示制御部205は、撮影部103で動画像が撮影される場合の画角を取得して、特定された撮影部103が向いている方向を、取得した画角で撮影した際に撮影範囲に含まれ得る地理的領域を特定することとしてもよい。
次に、ステップS905では、表示制御部205が、コンテンツ情報が取得されているコンテンツのうち、表示部102への表示対象とするコンテンツを決定する。例えば、表示制御部205は、ステップS902で取得されたコンテンツ情報のそれぞれについて、コンテンツ情報に含まれる経度、緯度に示される位置が、ステップS904で特定された地理的領域に含まれるか否かを判定する。そして、表示制御部205は、コンテンツ情報に含まれる経度、緯度に示される位置が、ステップS904で特定された地理的領域に含まれると判定されたコンテンツ情報に対応するコンテンツを、表示部102への表示対象とする。
そして、ステップS906では、ステップS905で表示対象とされたコンテンツを、表示部102の表示領域内の、コンテンツ情報の緯度、経度に対応する位置に表示する。このとき、表示部102には撮影部103で撮影された動画像が表示されており、コンテンツは動画像に重畳して表示されることとなる。
例えば、ステップS904で撮影部103により撮影され得る地理的領域が特定されていれば、表示制御部205が、表示部102の表示領域上の2次元座標に対応する地理座標を特定することができる。そして、表示制御部205は、表示対象のコンテンツのコンテンツ情報に設定された位置情報(地理的座標)に対応する表示部102の表示領域上の座標と対応付けて表示対象のコンテンツを表示することとしても良い。
具体的な表示態様は種々の態様から適宜採用することが可能である。例えば、図1に示すように、コンテンツ情報に設定された位置情報(地理的座標)に対応する表示部102の表示領域上の座標を起点とする吹出し形式でコンテンツが表示されることとしても良い。また、コンテンツ情報に設定された位置情報(地理的座標)に対応する表示部102の表示領域上の座標と、表示部102に表示されたコンテンツとが、線や矢印で結ばれる態様であっても良い。あるいは、コンテンツ情報に設定された位置情報(地理的座標)に対応する表示部102の表示領域上の座標に隣接する位置にコンテンツが表示される態様であっても良い。
なお、本実施例では、コンテンツ情報には位置情報として緯度、経度が含まれており、コンテンツの表示位置の高さ、すなわち地理的座標における高度は、一律の値としている。ただし、コンテンツの表示処理は、本実施例で例示した以外にも変形例を採用することが可能である。例えば、コンテンツ情報の位置情報として、緯度、経度に加えて、高度も設定するなどして、コンテンツごとに表示位置の高さを変更できるようにしても良い。また、表示部102への表示の際に、表示対象のコンテンツが表示領域上で重ならないように、表示位置の高さを動的に変更することとしても良い。あるいは、撮影部103が撮影する動画像の撮影範囲に応じて、表示制御部205が、表示位置の高さを動的に変更してコンテンツを表示することとしても良い。
ステップS906でコンテンツの表示が実行された後、ステップS907では、表示制御部205が、終了契機が到来したか否かを判定する。終了契機は、例えば、端末装置1におけるARアプリケーションが終了した場合である。終了契機が到来してないと判定された場合は、図9に示す一連の処理、すなわちコンテンツの表示処理が繰り返される。以降は、端末装置1の位置情報および姿勢が逐次変動するため、表示制御部205は、端末装置1の位置情報および姿勢の変動に応じて、適宜、表示するコンテンツやコンテンツの表示位置を変更することとなる。
さらに、端末装置1は、表示されたコンテンツに対して、タッチパネルを用いたタップ入力を受け付けることができる。操作入力を受け付けたコンテンツに対応する表示情報(タップ後)がコンテンツ情報記憶部340に記憶されている場合は、表示制御部205は、操作入力を受け付けたコンテンツに対応する表示情報(タップ後)の表示を実行する。このとき、表示制御部205は、タップ入力を受け付ける前に表示部102に表示していた表示情報に代えて、表示情報(タップ後)を表示部102に表示することとしても良い。また、表示制御部205は、タップ入力を受け付ける前に表示部102に表示していた表示情報に加えてさらに、表示情報(タップ後)を表示部102に表示することとしても良い。
また、表示制御部205は、表示されたコンテンツに対して、タッチパネルを用いたタップ入力を受け付ける際に、コンテンツの表示位置を更新した場合には、次の制御を行うこととしても良い。すなわち、表示制御部205は、コンテンツの表示位置の更新から所定の時間内(例えば1〜3秒以内)であれば、更新前の表示位置に対するタップ入力を受け付けた場合でも、表示情報(タップ後)を表示部102に表示することとしても良い。これにより、操作性の低下をさらに抑制することができる。
ステップS907で終了契機が到来したと判定された場合は、表示制御部205は、図9に示すコンテンツ表示処理を終了する。なお、図9に示すコンテンツの表示処理は、例えば、端末装置1におけるARアプリケーションの起動中に周期的に実行されることとしても良いし、一定周期によらず実行されることとしても良い。また、図9に示すコンテンツの表示処理が周期的に実行される場合には、後述する図10の位置情報の更新処理の実行周期と同じ実行周期で実行されても良いし、異なる実行周期で実行されることとしても良い。
〔位置情報の更新処理〕
本実施例の位置情報の更新処理について説明する。位置情報の更新処理は、例えば、図9を用いて説明したコンテンツ表示処理と並行して、端末装置1が実行する。
図10は、本実施例の位置情報の更新処理のフローチャートである。以下、図10のフローチャートに記載する各処理について説明する。
まず、ステップS1001で、第1取得部201が端末装置1の位置情報を取得し、取得した位置情報を、位置情報記憶部310に前回位置情報312として記憶する。ここで、第1取得部201が取得する位置情報は、端末装置1が備えるGPS受信器により取得される位置情報である。なお、ステップS1001は、図10に示す位置情報の更新処理が開始されてから初回の位置情報取得処理であるが、第1取得部201は、後述する新位置情報313と別個に位置情報を保持しておくために、前回位置情報312として記憶している。
次に、ステップS1002では、第1取得部201が、位置情報の取得(再取得)周期が到来したか否かを判定する。ここで、実行周期の到来は、例えば、設定情報記憶部330に記憶された実行周期331に示される時間(本実施例では1秒)が、前回の位置情報取得時刻から経過したか否かにより判定される。実行周期が到来していないと判定された場合(S1002、NO)、第1取得部201は、ステップS1002の処理を再実行する。すなわち、第1取得部201は、実行周期が到来するまで以降の処理を待機する。
実行周期が到来したと判定された場合(S1002、YES)、第1取得部201は、ステップS1003で、端末装置1の位置情報を再度取得し、取得した位置情報を、位置情報記憶部310に新位置情報313として記憶する。ステップS1003についても、第1取得部201が取得する位置情報は、ステップS1001と同様に、端末装置1が備えるGPS受信器により取得される位置情報であって良い。
ステップS1004では、算出部203が、前回位置情報312と新位置情報313との差分を算出する。
そして、ステップS1005で、判定部204は、ステップS1004で算出された差分が、設定情報記憶部330に記憶された上限値332に示される値よりも大きいか否かを判定する。算出された差分が上限値332に示される値よりも大きいと判定された場合(S1005、YES)、ステップS1009の処理に移行する。一方、算出された差分が上限値332に示される値以下と判定された場合(S1005、NO)、ステップS1006の処理に移行する。
ここで、前述のように、上限値332に設定される値は、例えば、端末装置1が備えるGPS受信器による位置情報の取得精度と、実行周期の間に端末装置1の利用者が移動可能な距離とを考慮して決定される。より具体的には、上限値332に設定される値は、例えば、GPS受信器による位置情報の取得精度と、実行周期の間に端末装置1の利用者が移動可能な距離との和である。
上記のように上限値332を決定した場合、ステップS1004で算出された差分が上限値332に示される値よりも大きくなるときは、計測誤差等により実際の端末装置1の位置情報とは大きく異なる位置情報が取得されていると考えられる。したがって、ステップS1003で取得された新たな位置情報は、表示部102へのコンテンツの表示処理に反映されることなく処理される。
さて、ステップS1004で算出された差分が上限値332に示される値以下と判定された場合(S1005、NO)、ステップS1006の処理に移行する。ステップS1006では、算出部203が、端末装置1が備える加速度センサ、ジャイロセンサにより取得された計測値に基づいて、所定期間内における端末装置1の移動距離を算出する。所定期間とは、例えば前述した実行周期である。
例えば、算出部203は、慣性航法の手法を利用して、加速度センサを用いて取得される、端末装置1にかかる加速度と、ジャイロセンサにより特定される端末装置1の移動の向きとを用いて、所定期間内における端末装置1の移動軌跡を算出することが可能である。そして算出部203は、算出した移動軌跡に基づいて、所定期間内における端末装置1の移動距離を算出することができる。ここで移動距離は、算出した移動軌跡の始点から終点までの直線距離としても良いし、移動軌跡の軌跡長としても良い。あるいは、算出部203は、加速度センサの計測結果をもとに端末装置1の利用者の歩数を推定し、予め設定された利用者の1歩あたりの距離に推定した歩数を乗じることで、移動距離を算出することとしても良い。
ステップS1006の処理により移動距離が算出されると、ステップS1007で、判定部204は、算出された移動距離が、設定情報記憶部330に記憶された下限値333に示される値よりも大きいか否かを判定する。算出された差分が下限値333に示される値以下と判定された場合(S1007、NO)、ステップS1009の処理に移行する。
一方、算出された差分が下限値333に示される値より大きいと判定された場合(S1007、YES)、ステップS1008の処理に移行する。ステップS1008では、第1取得部201が、新位置情報313として記憶された位置情報で、位置情報記憶部310に記憶される適用位置情報311の値を更新する。すなわち、ステップS1008の処理以降は、図9で説明したコンテンツの表示処理は、ステップS1003で取得された位置情報をもとに実行されることとなる。ステップS1008の後は、ステップS1009の処理に移行する。
ステップS1009では、第1取得部201が、終了契機が到来したか否かを判定する。終了契機は、例えば、図9に示すコンテンツの表示処理と同様に、端末装置1におけるARアプリケーションが終了した場合である。終了契機が到来していないと判定された場合(S1009、NO)は、ステップS1002および以降の処理が繰り返される。終了契機が到来したと判定された場合(S1009、YES)は、図10に示す一連の処理が終了される。
ここで、上述した位置情報の更新処理が奏する効果について説明する。徒歩で移動をする利用者が端末装置の表示画面に表示されたコンテンツを確認する場合は、立ち止まって、同じ撮影範囲を撮影し続けることが想定される。しかし、立ち止まって、同じ撮影範囲を撮影し続けている状態でもコンテンツの表示位置が頻繁に変わってしまうと、前述のように、コンテンツとして表示される情報の視認性が阻害されてしまう。
本実施例では、所定期間内における端末装置の移動距離が下限値以下の場合、新たに取得された位置情報はコンテンツの表示処理に適用しないこととしている。これにより、端末装置1の移動距離が小さい場合、つまり、端末装置の利用者が立ち止まって、同じ撮影範囲を撮影し続けていると考えられる場合には、表示画面におけるコンテンツの表示位置が頻繁に変動してしまうことが抑制される。したがって、表示画面に表示されたコンテンツの内容を確認する際の視認性低下を抑止することができる。また、表示画面に表示されたコンテンツに対して、タップ入力等で指定を行う場合の操作性低下を抑止することができる。
そして、新たに取得された位置情報は、所定期間内における端末装置の移動距離が下限値よりも大きい場合にコンテンツの表示処理に適用される。言い換えれば、所定期間内に端末装置が基準以上に移動した場合に、新たな位置情報がコンテンツの表示処理に適用される。これにより、表示画面におけるコンテンツの表示位置が頻繁に変動を抑制したことにより、表示領域上でコンテンツの表示位置が重畳対象に対して大幅にずれてしまうことを防止できる。
また、コンテンツの表示位置の更新は、利用者が端末装置の表示画面に表示されたコンテンツを確認すると考えられるタイミング(移動距離が小さいとき)と異なるタイミングで行われる。すなわち、コンテンツの表示位置の更新は、利用者や端末装置が移動しており、利用者が端末装置の表示画面に表示されたコンテンツを確認する可能性の低いタイミングで実行される。したがって、表示情報の視認や表示されたコンテンツに対する操作入力に対するコンテンツの表示位置の更新の影響を抑止することができる。
本実施例では、端末装置の移動距離は、加速度センサやジャイロセンサの計測結果を用いて算出される。その理由は、移動距離が小さく、移動距離の算出対象の期間が短い場合には、加速度センサやジャイロセンサを用いて算出される移動距離のほうが、GPSの位置情報を用いて算出される移動距離と比較して算出誤差が小さくなると考えられるためである。また、慣性センサ(加速度センサやジャイロセンサ)を用いた移動距離の算出は、これらを用いた位置情報の算出と比べて処理負荷が格段に小さく、例えば処理能力が比較的小さい携帯電話のような端末装置であっても容易に実現できるためでもある。このため、GPS受信器により取得される位置情報に誤差が生じている場合でも、端末装置の位置が実際に変動しているか否かが判定可能である。
本実施例のように、店舗や建物についてのコンテンツが登録される場合、位置情報は地理座標(緯度、経度)を用いて設定されることが多いと考えられる。そこで、本実施例では、端末装置の移動距離は、慣性センサを用いて算出されるが、コンテンツの表示処理は、GPS受信器により取得される端末装置の位置情報に基づいて実行される。これにより、慣性センサを用いて位置情報を算出する場合と比較して、位置情報を地理座標に変換する処理や、およびそれらの処理負荷を削減することが可能である。ただし、コンテンツの表示処理は、慣性センサの計測結果から算出される位置情報を利用しても実現可能である。
さらに、第1取得部201は、前回位置情報と新位置情報との差分が、設定された上限値よりも大きい場合は、新位置情報はコンテンツの表示処理には適用しないこととしている。このとき、例えば、上限値は、例えば、GPS受信器による位置情報の取得精度と、実行周期の間に端末装置1の利用者が移動可能な距離との和である。このようにすれば、利用者が移動不可と考えられるほどに大きい差分となった場合、すなわち誤計測と考えられる場合に、誤計測の位置情報に基づいてコンテンツの表示処理が行われることを抑止できる。
また、本実施例によれば、過度なコンテンツの表示処理を抑止することができるため、端末装置の処理負荷やバッテリーの電力消費を低減させることができる、という効果を奏する。
〔ハードウェア構成と変形例〕
図11は、本実施例における端末装置1のハードウェア構成の一例である。端末装置1は、例えば、それぞれがバス1101で相互に接続された、CPU1102、メモリ1103、記憶装置1104、NIC1105、媒体読取装置1106、入力装置1107、表示装置1108、GPS受信器1109、加速度センサ1110、ジャイロセンサ1111、カメラ1112、地磁気センサ1113を備える情報処理装置である。
CPU1102は、端末装置1における種々の動作制御を行う。メモリ1103、記憶装置1104は、本実施例で説明した各種の処理を実行するプログラムや、各種の処理に利用される種々のデータを記憶する。記憶装置1104は、例えば、HDDや、SSD等の記憶媒体である。
CPU1102は、メモリ1103あるいは記憶装置1104に記憶されたプログラムを読み出して処理、制御を実行することで、図3に示す制御部200および制御部200に含まれる各機能部が実現されても良い。また、メモリ1103、記憶装置1104のそれぞれは、図3に記載した記憶部300として機能することができる。
NIC1105は、有線または無線のネットワークを介したデータの送受信に用いられるハードウェアである。NIC1105は、CPU1102の制御の下で、通信部104として機能することができる。
媒体読取装置1106は、記録媒体からデータを読み取るための装置であり、例えば、CD−ROMやDVD−ROM等のディスク媒体に記憶されたデータを読み取るディスクドライブや、メモリカードに記憶されたデータを読み取るカードスロット等である。前述した記憶部300に記憶されるデータの一部または全部は、媒体読取装置1106を用いて読み取り可能な記録媒体に記憶されることとしても良い。
入力装置1107は、端末装置1のユーザからの入力や指定を受け付ける装置である。表示装置1108は、CPU1102の制御の下で、種々の情報の表示を行う。入力装置1107の例としては、例えばキーボードやマウス、タッチパッドが挙げられる。また、表示装置1108は、例えば液晶ディスプレイである。本実施例においては、例えば、入力装置1107の機能と表示装置1108の機能とを備えるタッチパネルを用いることとしても良い。
GPS受信器1109は、衛星測位システムの衛星からの信号を受信し、受信した信号に基づいて、現在位置、すなわち端末装置1の位置情報を特定する装置である。例えば、GPS受信器1109により特定された位置情報をメモリ1103に記憶し、記憶された位置情報をCPU1102が読み出すことで、第1取得部201の機能が実現されることとしても良い。また、GPS受信器1109に代えて、GPS以外の無線測位システムを利用する受信器を端末装置1が備えることとしても良い。GPS以外の無線測位システムは、例えば、無線アクセスポイントから発信される電波の受信強度に基づいて位置特定を行うシステムや、GPS以外の衛星測位システムである。
加速度センサ1110は、端末装置1にかかる加速度を計測可能なハードウェアである。例えば、加速度センサ1110により特定された位置情報をメモリ1103に記憶し、記憶された位置情報をCPU1102が読み出すことで、第1取得部201の機能が実現されることとしても良い。
ジャイロセンサ1111は、地平面等に対する端末装置1の傾きを取得することが可能なハードウェアである。傾きとは、例えば、図5の説明において記載したロール角やピッチ角で表現される。例えば、加速度センサ1110により特定された端末装置の傾きを示す数値をメモリ1103に記憶し、記憶された傾きを示す数値をCPU1102が読み出すことで、第1取得部201の機能が実現されることとしても良い。
なお、加速度センサ1110とジャイロセンサ1111については、加速度センサとジャイロセンサの双方、または少なくともいずれかの機能を有する慣性センサであっても良い。
カメラ1112は動画像の撮影を実行し、撮影された動画像は、CPU1102の制御の下で表示装置1108に表示される。表示装置1108に表示された動画像には、本実施例で説明したコンテンツの表示処理により、端末装置1の位置情報および姿勢情報に応じたコンテンツが重畳表示される。
地磁気センサ1113は、端末装置1、またはカメラ1112が向いている方位を特定することが可能なハードウェアである。例えば、地磁気センサ1113により特定された方位を示す数値をメモリ1103に記憶し、記憶された方位を示す数値をCPU1102が読み出すことで、第1取得部201の機能が実現されることとしても良い。
図12は、本実施例のハードウェア構成の別態様を示す図である。本実施例は、端末装置1単体での実現だけでなく、図12に示すように、端末装置1とサーバ装置2とを用いて実現することもできる。
図12において、端末装置1は、ネットワーク3を介して、サーバ装置2と通信可能である。図3に示す各機能部や図9、図10のフローチャートに記載した各処理は、その一部がサーバ装置2を用いて実現されても良い。
例えば、記憶部300のコンテンツ情報記憶部340は、サーバ装置2が備える記憶装置を用いて実現されても良い。この場合、第2取得部202が実行するコンテンツ情報の取得処理は、例えば、端末装置1の位置情報を、通信部104がサーバ装置2に送信し、サーバ装置2が受信した位置情報に対応するコンテンツ情報を特定することとしても良い。そして、サーバ装置2は、特定したコンテンツ情報を端末装置1に送信し、送信されたコンテンツ情報を端末装置1が受信することで、コンテンツ情報を取得することとしても良い。なお、上記ではコンテンツ情報記憶部340を例に挙げて説明したが、記憶部300のコンテンツ情報記憶部340以外の記憶部についても、サーバ装置2が備える記憶装置を用いて実現されることとしても構わない。
図13は、サーバ装置2のハードウェア構成の一例である。端末装置1は、例えば、それぞれがバス1301で相互に接続された、CPU1302、メモリ1303、記憶装置1304、NIC1305、媒体読取装置1306、入力装置1307、表示装置1308を備える情報処理装置である。
CPU1302、メモリ1303、記憶装置1304、NIC1305、媒体読取装置1306、入力装置1307、表示装置1308のそれぞれについての説明は、前述のCPU1102、メモリ1103、記憶装置1104、NIC1105、媒体読取装置1106、入力装置1107、表示装置1108と同様のため省略する。ただし、CPU1302、メモリ1303、記憶装置1304、NIC1305、媒体読取装置1306、入力装置1307、表示装置1308のそれぞれは、具体的なハードウェア(型式や性能等)は、CPU1102、メモリ1103、記憶装置1104、NIC1105、媒体読取装置1106、入力装置1107、表示装置1108と異なっても構わない。
本発明は、上述した実施例で説明したAR技術以外にも適用可能である。例えば、端末装置を用いて、遠隔のロボットやドローンの位置情報を確認する態様において、本実施例で説明した位置情報の更新制御を適用することで、位置情報を表示する際の視認性の低下を抑制することが可能である。なお、このような場合、ロボットやドローンがGPS受信器や慣性センサを備えていることを前提としている。
また、ARアプリケーションにおいて、コンテンツに設定される位置情報が変動(移動)する場合は、コンテンツ側の位置情報の更新にも本実施例で説明した位置情報の更新処理を適用することとしても良い。コンテンツに設定される位置情報が変動(移動)する態様として、例えば、移動可能なドローンやロボットの位置情報をAR技術を用いて表示出力する態様や、雨雲の位置や動きを、AR技術を用いて表示出力する態様が挙げられる。コンテンツに設定される位置情報が変動(移動)する態様であれば、端末装置以外にも、移動する対象に対して、本実施例で説明した位置情報の更新処理を適用することとしても良い。また、本実施例で説明した位置情報の更新処理が、端末装置とコンテンツに設定される位置情報(移動する対象)の双方に適用されることとしても良い。
1 端末装置
2 サーバ装置
3 ネットワーク
101 入力部
102 表示部
103 撮影部
104 通信部
200 制御部
300 記憶部
1101、1301 バス
1102、1302 CPU
1103、1303 メモリ
1104、1304 記憶装置
1105、1305 NIC
1106、1306 媒体読取装置
1107、1307 入力装置
1108、1308 表示装置
1109 GPS受信器
1110 加速度センサ
1111 ジャイロセンサ
1112 カメラ
1113 地磁気センサ

Claims (12)

  1. コンピュータに、
    画像データを表示部に表示するとともに、無線測位システムを用いて取得された対象物の第1の位置に基づいて決定される、前記表示部に表示された前記画像データ上の位置座標と関連付けて、表示情報を重畳表示し、
    前記第1の位置を取得してから特定時間後に前記無線測位システムを用いて前記対象物の第2の位置を取得し、
    前記第1の位置を起点とした移動距離であって、前記第1の位置を取得してから前記特定時間後における前記対象物の移動距離を、前記対象物に備えられた慣性センサを用いて取得し、
    前記第2の位置を用いて前記表示情報の重畳表示の位置を変更するかを、前記移動距離に基づいて制御する、
    処理を実行させる制御プログラム。
  2. 前記コンピュータに、
    算出した前記移動距離が第1の所定値よりも小さい場合、前記第2の位置に基づいて決定される、前記表示部に表示された前記画像データ上の位置座標と関連付けて、前記表示情報を重畳表示しないように制御する、
    処理を実行させる請求項1に記載の制御プログラム。
  3. 前記第1の所定値は、人の歩く速度または、所定期間の間に人が歩く際の移動距離に基づいて決定される、
    求項2に記載の制御プログラム。
  4. 前記コンピュータに、
    前記第1の位置と前記第2の位置との差が、前記第1の所定値よりも大きい第2の所定値よりも大きい場合、前記第2の位置に基づいて決定される、前記表示部に表示された前記画像データ上の位置座標と関連付けて、前記表示情報を重畳表示しないように制御する、
    処理を実行させる請求項2または3に記載の制御プログラム。
  5. 前記第2の所定値は、人の歩く速度または、所定期間の間に人が歩く際の移動距離と、前記無線測位システムを用いた位置計測の許容誤差と、に基づいて決定される、請求項4に記載の制御プログラム。
  6. 前記コンピュータに、
    算出した前記移動距離に基づいて、前記第1の位置に基づいて決定される、前記表示部に表示された前記画像データ上の位置座標と関連付けて表示した表示情報を、前記第2の位置に基づいて決定される、前記表示部に表示された前記画像データ上の位置座標と関連付けて表示されるように表示を更新する、
    ことを実行させる請求項1〜5のいずれか1項に記載の制御プログラム。
  7. 前記画像データは、撮影装置により撮影された動画像である請求項1〜6のいずれか1項に記載の制御プログラム。
  8. 前記慣性センサに、ジャイロセンサと加速度センサの少なくともいずれかが含まれる請求項1〜7のいずれか1項に記載の制御プログラム。
  9. 前記対象物が前記コンピュータである請求項1〜8のいずれか1項に記載の制御プログラム。
  10. 前記コンピュータに、
    前記表示情報が重畳表示された前記画像データ上の位置座標を指定する操作を受け付けると、該操作を受け付ける前と異なる表示情報を前記画像データに表示し、
    前記表示部における前記表示情報の表示位置の更新が行われた場合、前記更新が行われてから所定の期間内では、前記更新が行われる前の前記表示情報が重畳表示されていた前記画像データ上の位置座標が指定された場合であっても、前記表示情報が重畳表示された前記画像データ上の位置座標が指定されたものとして制御する、
    処理を実行させる請求項5〜9のいずれか1項に記載の制御プログラム。
  11. コンピュータが、
    画像データを表示部に表示するとともに、無線測位システムを用いて取得された対象物の第1の位置に基づいて決定される、前記表示部に表示された前記画像データ上の位置座標と関連付けて、表示情報を重畳表示し、
    前記第1の位置を取得してから特定時間後に前記無線測位システムを用いて前記対象物の第2の位置を取得し、
    前記第1の位置を起点とした移動距離であって、前記第1の位置を取得してから前記特定時間後における前記対象物の移動距離を、前記対象物に備えられた慣性センサを用いて取得し、
    前記第2の位置を用いて前記表示情報の重畳表示の位置を変更するかを、前記移動距離に基づいて制御する、
    処理を実行する制御方法。
  12. 無線測位システムを用いて対象物の第1の位置を取得する位置取得部と、
    画像データを表示部に表示するとともに、取得された前記第1の位置に基づいて決定される、前記表示部に表示された前記画像データ上の位置座標と関連付けて、表示情報を重畳表示する制御部と、
    前記第1の位置を起点とした移動距離であって、前記第1の位置を取得してから特定時間後における前記対象物の移動距離を、前記対象物に備えられた慣性センサを用いて取得する距離取得部と、を備え、
    前記位置取得部は、前記第1の位置を取得してから前記特定時間後に前記無線測位システムを用いて前記対象物の第2の位置を取得し、
    前記制御部は、前記第2の位置を用いて前記表示情報の重畳表示の位置を変更するかを、前記移動距離に基づいて制御する
    ンピュータ。
JP2016027438A 2016-02-16 2016-02-16 制御プログラム、制御方法およびコンピュータ Active JP6665572B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016027438A JP6665572B2 (ja) 2016-02-16 2016-02-16 制御プログラム、制御方法およびコンピュータ
US15/420,607 US9906702B2 (en) 2016-02-16 2017-01-31 Non-transitory computer-readable storage medium, control method, and computer

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016027438A JP6665572B2 (ja) 2016-02-16 2016-02-16 制御プログラム、制御方法およびコンピュータ

Publications (2)

Publication Number Publication Date
JP2017146749A JP2017146749A (ja) 2017-08-24
JP6665572B2 true JP6665572B2 (ja) 2020-03-13

Family

ID=59559841

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016027438A Active JP6665572B2 (ja) 2016-02-16 2016-02-16 制御プログラム、制御方法およびコンピュータ

Country Status (2)

Country Link
US (1) US9906702B2 (ja)
JP (1) JP6665572B2 (ja)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10620084B2 (en) 2017-02-22 2020-04-14 Middle Chart, LLC System for hierarchical actions based upon monitored building conditions
US10902160B2 (en) 2017-02-22 2021-01-26 Middle Chart, LLC Cold storage environmental control and product tracking
US10733334B2 (en) 2017-02-22 2020-08-04 Middle Chart, LLC Building vital conditions monitoring
US10671767B2 (en) 2017-02-22 2020-06-02 Middle Chart, LLC Smart construction with automated detection of adverse structure conditions and remediation
US10467353B2 (en) 2017-02-22 2019-11-05 Middle Chart, LLC Building model with capture of as built features and experiential data
US11625510B2 (en) 2017-02-22 2023-04-11 Middle Chart, LLC Method and apparatus for presentation of digital content
US10984146B2 (en) 2017-02-22 2021-04-20 Middle Chart, LLC Tracking safety conditions of an area
US11436389B2 (en) 2017-02-22 2022-09-06 Middle Chart, LLC Artificial intelligence based exchange of geospatial related digital content
US11468209B2 (en) 2017-02-22 2022-10-11 Middle Chart, LLC Method and apparatus for display of digital content associated with a location in a wireless communications area
US11900021B2 (en) 2017-02-22 2024-02-13 Middle Chart, LLC Provision of digital content via a wearable eye covering
US10740502B2 (en) 2017-02-22 2020-08-11 Middle Chart, LLC Method and apparatus for position based query with augmented reality headgear
US10824774B2 (en) 2019-01-17 2020-11-03 Middle Chart, LLC Methods and apparatus for healthcare facility optimization
US12086507B2 (en) 2017-02-22 2024-09-10 Middle Chart, LLC Method and apparatus for construction and operation of connected infrastructure
US10949579B2 (en) 2017-02-22 2021-03-16 Middle Chart, LLC Method and apparatus for enhanced position and orientation determination
US10762251B2 (en) 2017-02-22 2020-09-01 Middle Chart, LLC System for conducting a service call with orienteering
US10831945B2 (en) 2017-02-22 2020-11-10 Middle Chart, LLC Apparatus for operation of connected infrastructure
US10872179B2 (en) 2017-02-22 2020-12-22 Middle Chart, LLC Method and apparatus for automated site augmentation
US11900023B2 (en) 2017-02-22 2024-02-13 Middle Chart, LLC Agent supportable device for pointing towards an item of interest
US10268782B1 (en) 2017-02-22 2019-04-23 Middle Chart, LLC System for conducting a service call with orienteering
US10628617B1 (en) 2017-02-22 2020-04-21 Middle Chart, LLC Method and apparatus for wireless determination of position and orientation of a smart device
US11194938B2 (en) 2020-01-28 2021-12-07 Middle Chart, LLC Methods and apparatus for persistent location based digital content
US11475177B2 (en) 2017-02-22 2022-10-18 Middle Chart, LLC Method and apparatus for improved position and orientation based information display
US10740503B1 (en) 2019-01-17 2020-08-11 Middle Chart, LLC Spatial self-verifying array of nodes
US11481527B2 (en) 2017-02-22 2022-10-25 Middle Chart, LLC Apparatus for displaying information about an item of equipment in a direction of interest
CA3114093C (en) 2018-09-26 2024-06-18 Middle Chart, LLC Method and apparatus for augmented virtual models and orienteering
EP3896678A4 (en) * 2018-12-11 2022-08-17 Agc Inc. TRANSPARENT GLASS WITH TRANSPARENT DISPLAY
CN111601233B (zh) * 2019-02-21 2022-06-28 昆山纬绩资通有限公司 定位装置的监控方法与系统
US11531833B2 (en) * 2020-01-16 2022-12-20 Honeywell International Inc. Creating a ground control point file using an existing landmark shown in images
US11507714B2 (en) 2020-01-28 2022-11-22 Middle Chart, LLC Methods and apparatus for secure persistent location based digital content
US11640486B2 (en) 2021-03-01 2023-05-02 Middle Chart, LLC Architectural drawing based exchange of geospatial related digital content

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003132068A (ja) 2001-10-22 2003-05-09 Nec Corp ナビゲーションシステム及びナビゲーション端末
JP3705187B2 (ja) * 2001-11-12 2005-10-12 株式会社デンソー ナビゲーション装置
ATE447205T1 (de) * 2003-05-12 2009-11-15 Elbit Systems Ltd Verfahren und system zur audiovisuellen kommunikation
US8585476B2 (en) * 2004-11-16 2013-11-19 Jeffrey D Mullen Location-based games and augmented reality systems
IL172797A (en) * 2005-12-25 2012-09-24 Elbit Systems Ltd Real-time image scanning and processing
JP2009229205A (ja) * 2008-03-21 2009-10-08 Sumitomo Electric Ind Ltd 歩行者誘導装置、コンピュータプログラム及び歩行者誘導方法
US8970690B2 (en) * 2009-02-13 2015-03-03 Metaio Gmbh Methods and systems for determining the pose of a camera with respect to at least one object of a real environment
JP4922436B2 (ja) 2010-06-07 2012-04-25 株式会社エヌ・ティ・ティ・ドコモ オブジェクト表示装置及びオブジェクト表示方法
JP4993637B2 (ja) * 2010-07-21 2012-08-08 株式会社ブリリアントサービス エアタグ表示システム
JP5646263B2 (ja) * 2010-09-27 2014-12-24 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法
US8315674B2 (en) * 2010-10-08 2012-11-20 Research In Motion Limited System and method for displaying object location in augmented reality
JP5838747B2 (ja) 2011-11-11 2016-01-06 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US9501831B2 (en) * 2012-10-02 2016-11-22 Google Inc. Identification of relative distance of objects in images
JP6063268B2 (ja) * 2013-01-18 2017-01-18 エヌ・ティ・ティ・コミュニケーションズ株式会社 位置表示情報提供装置、ユーザ端末、位置表示情報提供方法、位置情報取得制御方法、及びプログラム
JP2014181954A (ja) * 2013-03-18 2014-09-29 Hitachi Solutions Ltd 情報端末の位置情報の補正方法及び方位情報の補正方法並びに情報端末
JP2014191718A (ja) * 2013-03-28 2014-10-06 Sony Corp 表示制御装置、表示制御方法および記録媒体
JP5817012B2 (ja) 2013-11-15 2015-11-18 国土交通省国土技術政策総合研究所長 情報処理装置、情報処理方法及びプログラム
US20170140457A1 (en) * 2014-03-24 2017-05-18 Pioneer Corporation Display control device, control method, program and storage medium
US9619940B1 (en) * 2014-06-10 2017-04-11 Ripple Inc Spatial filtering trace location
US9646418B1 (en) * 2014-06-10 2017-05-09 Ripple Inc Biasing a rendering location of an augmented reality object
US9791919B2 (en) * 2014-10-19 2017-10-17 Philip Lyren Electronic device displays an image of an obstructed target

Also Published As

Publication number Publication date
US9906702B2 (en) 2018-02-27
JP2017146749A (ja) 2017-08-24
US20170237892A1 (en) 2017-08-17

Similar Documents

Publication Publication Date Title
JP6665572B2 (ja) 制御プログラム、制御方法およびコンピュータ
US11776185B2 (en) Server, user terminal, and service providing method, and control method thereof for displaying photo images within a map
JP5607759B2 (ja) 軌道ベースのロケーション判断を使用した画像識別
US9910866B2 (en) Methods, apparatuses and computer program products for automatically generating suggested information layers in augmented reality
EP3168571B1 (en) Utilizing camera to assist with indoor pedestrian navigation
JP2015055534A (ja) 情報処理装置、情報処理装置の制御プログラム及び情報処理装置の制御方法
EP3043149A1 (en) Information processing device, information processing method, and recording medium
US20140288873A1 (en) Pre-processing inertial sensor measurements for navigation
AU2018310477B2 (en) Information display method and apparatus
US20140152562A1 (en) Display controller, display system, storage medium and method
JPWO2018034053A1 (ja) 情報処理装置、情報処理システム及び情報処理方法
CN110619085A (zh) 信息处理方法和装置
CN113094966A (zh) 用于使用粒子滤波器进行定位的基于射频的虚拟运动模型
US20160343156A1 (en) Information display device and information display program
US20210381836A1 (en) Device navigation based on concurrent position estimates
KR101525224B1 (ko) 자동촬영모드를 가지는 휴대용 단말기
Löchtefeld et al. PINwI: pedestrian indoor navigation without infrastructure
Simon et al. Towards orientation-aware location based mobile services
US9389318B2 (en) Self-position measuring terminal
JP2016138864A (ja) 測位装置、測位方法、コンピュータプログラム、及び記憶媒体
JP5527005B2 (ja) 位置推定装置、位置推定方法及び位置推定プログラム
JP2014021802A (ja) 検索システム、検索サーバ及び携帯型端末用プログラム
JP7169527B2 (ja) 電子機器、機能制限方法及びプログラム
JP6575257B2 (ja) 情報処理装置、位置情報補正方法、情報処理システム、及びプログラム
CN117308910A (zh) 定位方法、装置、电子设备、头戴式显示设备及存储介质

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20160401

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20180528

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181011

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190507

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190426

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190628

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190827

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191024

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200203

R150 Certificate of patent or registration of utility model

Ref document number: 6665572

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150