WO2018216220A1 - ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム - Google Patents

ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム Download PDF

Info

Publication number
WO2018216220A1
WO2018216220A1 PCT/JP2017/019808 JP2017019808W WO2018216220A1 WO 2018216220 A1 WO2018216220 A1 WO 2018216220A1 JP 2017019808 W JP2017019808 W JP 2017019808W WO 2018216220 A1 WO2018216220 A1 WO 2018216220A1
Authority
WO
WIPO (PCT)
Prior art keywords
wearable terminal
guide map
display
guide
guidance
Prior art date
Application number
PCT/JP2017/019808
Other languages
English (en)
French (fr)
Inventor
俊二 菅谷
Original Assignee
株式会社オプティム
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社オプティム filed Critical 株式会社オプティム
Priority to CN201780093375.9A priority Critical patent/CN110999279A/zh
Priority to US16/616,850 priority patent/US20210278242A1/en
Priority to JP2019519941A priority patent/JPWO2018216220A1/ja
Priority to PCT/JP2017/019808 priority patent/WO2018216220A1/ja
Publication of WO2018216220A1 publication Critical patent/WO2018216220A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3885—Transmission of map data to client devices; Reception of map data by client devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/365—Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3848—Data obtained from both position sensors and additional sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3885—Transmission of map data to client devices; Reception of map data by client devices
    • G01C21/3889—Transmission of selected map data, e.g. depending on route
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Navigation (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】ウェアラブル端末の視界の画像から案内対象を特定して、案内対象に応じて収集した案内図をウェアラブル端末の表示板に拡張現実として表示する。 【解決手段】ウェアラブル端末の表示板に、案内対象の案内図を表示するウェアラブル端末表示システムであって、ウェアラブル端末の視界に入った案内対象の画像を取得する画像取得手段と、前記画像を画像解析して、前記案内対象を特定する特定手段と、前記案内対象の案内図を収集する収集手段と、前記ウェアラブル端末の表示板に、前記表示板を透過して見える前記案内対象に対して、前記案内図を拡張現実として表示する案内図表示手段と、を備えるウェアラブル端末表示システムを提供する。

Description

ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム
　本発明は、ウェアラブル端末の表示板に、表示板を透過して見える案内対象に対して、収集された案内対象の案内図を拡張現実として表示するウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラムに関する。
　近年、案内図のＩＴ化が進んでいる。例えば、ＩＣタグと連動して携帯電話に案内図や地図を表示する案内システムが提供されている（特許文献１）。
特開２００５-１８０９６７号公報
　しかしながら、特許文献１のシステムは、案内するためにはＩＣタグを設置しなければならない問題がある。
　本発明は、上記課題に鑑み、ウェアラブル端末の視界の画像から案内対象を特定して、案内対象に応じて収集した案内図をウェアラブル端末の表示板に拡張現実として表示するウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラムを提供することを目的とする。
　本発明では、以下のような解決手段を提供する。
　第１の特徴に係る発明は、ウェアラブル端末の表示板に、案内対象の案内図を表示するウェアラブル端末表示システムであって、ウェアラブル端末の視界に入った案内対象の画像を取得する画像取得手段と、前記画像を画像解析して、前記案内対象を特定する特定手段と、前記案内対象の案内図を収集する収集手段と、前記ウェアラブル端末の表示板に、前記表示板を透過して見える前記案内対象に対して、前記案内図を拡張現実として表示する案内図表示手段と、を備えるウェアラブル端末表示システムを提供する。
　第１の特徴に係る発明は、ウェアラブル端末の表示板に、案内対象の案内図を表示するウェアラブル端末表示方法であって、ウェアラブル端末の視界に入った案内対象の画像を取得する画像取得ステップと、前記画像を画像解析して、前記案内対象を特定する特定ステップと、前記案内対象の案内図を収集する収集ステップと、前記ウェアラブル端末の表示板に、前記表示板を透過して見える前記案内対象に対して、前記案内図を拡張現実として表示する案内図表示ステップと、を備えるウェアラブル端末表示方法を提供する。
　第１の特徴に係る発明は、コンピュータに、ウェアラブル端末の視界に入った案内対象の画像を取得する画像取得ステップと、前記画像を画像解析して、前記案内対象を特定する特定ステップと、前記案内対象の案内図を収集する収集ステップと、前記ウェアラブル端末の表示板に、前記表示板を透過して見える前記案内対象に対して、前記案内図を拡張現実として表示する案内図表示ステップと、をさせるためのプログラムを提供する。
　案内対象をウェアラブル端末の視界に入れるだけで、ウェアラブル端末の表示板に案内対象の案内図を表示できる。
図１は、ウェアラブル端末表示システムの概要図である。 図２は、ウェアラブル端末の表示板に案内対象の案内図を収集して表示した一例である。
　以下、本発明を実施するための最良の形態について説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
　本発明のウェアラブル端末表示システムは、ウェアラブル端末の表示板に、表示板を透過して見える案内対象に対して、収集された案内図を拡張現実として表示するシステムである。ウェアラブル端末とはスマートグラスやヘッドマウントディスプレイなどの視界がある端末のことをいう。
　本発明の好適な実施形態の概要について、図１に基づいて説明する。図１は、本発明の好適な実施形態であるウェアラブル端末表示システムの概要図である。
　図１にあるように、ウェアラブル端末表示システムは、制御部が所定のプログラムを読み込むことで実現される、画像取得手段、特定手段、収集手段、案内図表示手段、を備える。また図示しないが、同様に、判定手段、変更手段、検出手段、アクション結果表示手段、位置方向取得手段、推測手段、ガイドライン表示手段、選択受付手段、を備えてもよい。これらは、アプリケーション型、クラウド型またはその他であってもよい。上述の各手段が、単独のコンピュータで実現されてもよいし、２台以上のコンピュータ（例えば、サーバと端末のような場合）で実現されてもよい。
　画像取得手段は、ウェアラブル端末の視界に入った案内対象の画像を取得する。ウェアラブル端末のカメラで撮像された画像を取得してもよい。または、ウェアラブル端末以外であっても、このような画像を取得できるのであれば、それでも構わない。画像とは動画でも静止画でもよい。リアルタイムに案内図を表示するためには、リアルタイムな画像の方が好ましい。
　特定手段は、画像を画像解析して案内対象を特定する。例えば、案内対象が、特定の店舗名（例えば、伊勢丹、マルイ、三井アウトレットパーク）であるのかを特定する。具体的には、外観、看板、ロゴマークなどの画像から案内対象を特定する。また、映った案内対象の全てを特定してしまうと時間が掛かる場合には、ウェアラブル端末の視界の中央にある案内対象だけを特定してもよい。視界の中央にある案内対象だけを特定することで、特定に要する時間を大幅に短縮できる。機械学習によって画像解析の精度を向上させてもよい。例えば、案内対象の過去画像を教師データとして機械学習を行う。
　収集手段は、案内対象に応じた案内図を収集する。予め案内図が登録されたデータベースを参照して案内対象に応じた案内図を収集してもよい。また、案内対象に予め紐付けられたＷｅｂコンテンツにアクセスして案内図を収集してもよい。例えば、案内対象と案内図とを紐づけるＵＲＬなど割当てることでＷｅｂコンテンツから収取できる。また、案内対象をインターネット検索して検索されたＷｅｂコンテンツから案内図を収集してもよい。例えば、案内対象のホームページに案内図が掲載されているケースがあるので、インターネット検索から収集できる。または、ＳＮＳ（ｓｏｃｉａｌ　ｎｅｔｗｏｒｋｉｎｇ　ｓｅｒｖｉｃｅ）や口コミサイトなどから、案内図を収集できることもある。
　案内図表示手段は、ウェアラブル端末の表示板に、表示板を透過して見える案内対象に対して案内図を拡張現実として表示する。例えば図２にあるように、ウェアラブル端末の表示板に、表示板を透過して見える実線で描かれた案内対象に対して、破線で描かれた案内図を拡張現実として表示している。ここでは理解のために、実線は実物、破線は拡張現実、としている。表示板を透過して見える実線で描かれた案内対象に対して案内図を拡張現実で表示することで、案内対象にどのような案内図があるのかを視覚的に把握することが出来る。拡張現実として表示する案内図は、表示板を透過して見える案内対象に重なるように表示しても良いが、案内対象が見づらくなるので、案内図の表示ＯＮ／ＯＦＦを切り替えられるようにしてもよい。
　判定手段は、表示された案内図が閲覧されたかどうかを判定する。閲覧中の画像を取得して画像解析をすることで、案内図が閲覧されたかどうかを判定してもよい。また、ウェアラブル端末のセンサ情報や、閲覧者に装着されたセンサ情報などから、案内図が閲覧されたかどうかを判定してもよい。例えば、視線を検知するセンサ、モーションセンサ、加速度センサなど。
　変更手段は、閲覧されたと判定された場合は案内図を閲覧済みに変更し、閲覧されていないと判定された場合は案内図が閲覧されるように注目度を変更する。このようにすることで、どの案内図が、閲覧されたのか、閲覧されていないのか、を視覚的に把握できる。例えば、案内図のチェックボックスにチェックを入れることで閲覧済とてもよい。例えば、案内図にスタンプを押すことで閲覧済としてもよい。また、注目度の変更は、案内図の色・サイズを変更したり、案内図が目立つようにスタンプを押したりしてもよい。
　検出手段は、表示された案内図に対するアクションを検出する。アクションは、例えば、ジェスチャーや、手の動き、視線の動き、などである。閲覧中の画像を取得して画像解析をすることで、案内図に対するアクションを検出できる。また、ウェアラブル端末のセンサ情報や、閲覧者に装着されたセンサ情報などから、案内図に対するアクションを検出してもよい。例えば、視線を検知するセンサ、モーションセンサ、加速度センサなど。
　アクション結果表示手段は、ウェアラブル端末の表示板に、表示板を透過して見える案内対象に対して、アクションに応じた結果を拡張現実として表示する。例えば、案内図を消すアクションを検出したら案内図の表示を消してよい。例えば、案内図に付けられたリンクを開くアクションを検出したらリンクを開いてもよい。もちろん他のアクションでもよい。
　位置方向手段は、ウェアラブル端末の端末位置と撮像方向とを取得する。例えば、端末位置は、ウェアラブル端末のＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）から取得できる。例えば、撮像方向は、ウェアラブル端末で撮像する場合は、ウェアラブル端末の地磁気センサや加速度センサから取得できる。これら以外から取得してもよい。
　推測手段は、端末位置と撮像方向とに基づいて、案内対象の案内対象位置を推測する。端末位置と撮像方向が分かっていれば、撮像された案内対象の案内対象位置を推測することができる。
　また、特定手段は、案内対象位置と画像解析とから、案内対象を特定してもよい。例えば、同じチェーン店の案内対象であっても、店舗によって案内図が異なるケースもあるので、案内対象位置を推測しないと一意的に特定できないことがある。例えば、東京都港区店であると特定できれば、東京都港区店の案内図を表示できる。
　ガイドライン表示手段は、ウェアラブル端末の表示板に、案内対象を撮像するためのガイドラインを拡張現実として表示する。例えば、枠や十字などのガイドラインを表示してもよい。ガイドラインに沿って撮像してもらうことで画像解析がしやすくなる。
　また、取得手段は、ガイドラインに沿って撮像された画像を取得してもよい。ガイドラインに沿って撮像された画像だけを取得して画像解析することで、効率良く案内対象を特定できる。
　選択受付手段は、ウェアラブル端末の表示板を透過して見える案内対象に対して、選択対象の選択を受け付ける。例えば、ウェアラブル端末の表示板を透過して見える案内対象を一定時間見ることで選択対象の選択を受け付けてもよい。例えば、ウェアラブル端末の表示板を透過して見える案内対象にタッチして選択対象の選択を受け付けてもよい。例えば、ウェアラブル端末の表示板を透過して見える案内対象にカーソルを合わせることで選択対象の選択を受け付けてもよい。例えば、視線を検知するセンサ、モーションセンサ、加速度センサなど。
　また、案内図表示手段は、ウェアラブル端末の表示板に、表示板を透過して見える選択対象にだけ合わせて、案内図を拡張現実として表示してもよい。選択された選択対象にだけ合わせて案内図を拡張現実として表示するので、ピンポイントに案内図を把握することができる。特定された全ての案内対象に案内図を表示すると表示板の画面が煩わしくなることがある。
[動作の説明]
　次に、ウェアラブル端末表示方法について説明する。本発明のウェアラブル端末表示方法は、ウェアラブル端末の表示板に、表示板を透過して見える案内対象に対して、収集された案内図を拡張現実として表示する方法である。
　ウェアラブル端末表示方法は、画像取得ステップ、特定ステップ、収集ステップ、案内図表示ステップ、を備える。また図示しないが、同様に、判定ステップ、変更ステップ、検出ステップ、アクション結果表示ステップ、位置方向取得ステップ、推測ステップ、ガイドライン表示ステップ、選択受付ステップ、を備えてもよい。
　画像取得ステップは、ウェアラブル端末の視界に入った案内対象の画像を取得する。ウェアラブル端末のカメラで撮像された画像を取得してもよい。または、ウェアラブル端末以外であっても、このような画像を取得できるのであれば、それでも構わない。画像とは動画でも静止画でもよい。リアルタイムに案内図を表示するためには、リアルタイムな画像の方が好ましい。
　特定ステップは、像を画像解析して案内対象を特定する。例えば、案内対象が、特定の店舗名（例えば、伊勢丹、マルイ、三井アウトレットパーク等）であるのか、などを特定する。これは外観、看板、ロゴマーク等の画像から案内対象を特定できる。案内対象は、これらに限らない。また、映った案内対象の全てを特定してしまうと時間が掛かる場合には、ウェアラブル端末の視界の中央にある案内対象だけを特定してもよい。視界の中央にある案内対象だけを特定することで、特定に要する時間を大幅に短縮できる。機械学習によって画像解析の精度を向上させてもよい。例えば、案内対象の過去画像を教師データとして機械学習を行う。
　収集ステップは、案内対象に応じた案内図を収集する。予め案内図が登録されたデータベースを参照して案内対象に応じた案内図を収集してもよい。また、案内対象に予め紐付けられたＷｅｂコンテンツにアクセスして案内図を収集してもよい。例えば、案内対象と案内図とを紐づけるＵＲＬなど割当てることでＷｅｂコンテンツから収取できる。また、案内対象をインターネット検索して検索されたＷｅｂコンテンツから案内図を収集してもよい。例えば、案内対象のホームページに案内図が掲載されているケースがあるので、インターネット検索から収集できる。または、ＳＮＳ（ｓｏｃｉａｌ　ｎｅｔｗｏｒｋｉｎｇ　ｓｅｒｖｉｃｅ）や口コミサイトなどから、案内図を収集できることもある。
　案内図表示ステップは、ウェアラブル端末の表示板に、表示板を透過して見える案内対象に対して案内図を拡張現実として表示する。例えば図２にあるように、ウェアラブル端末の表示板に、表示板を透過して見える実線で描かれた案内対象に対して、破線で描かれた案内図を拡張現実として表示している。ここでは理解のために、実線は実物、破線は拡張現実、としている。表示板を透過して見える実線で描かれた案内対象に対して案内図を拡張現実で表示することで、案内対象にどのような案内図があるのかを視覚的に把握することが出来る。拡張現実として表示する案内図は、表示板を透過して見える案内対象に重なるように表示しても良いが、案内対象が見づらくなるので、案内図の表示ＯＮ／ＯＦＦを切り替えられるようにしてもよい。
　判定ステップは、表示された案内図が閲覧されたかどうかを判定する。閲覧中の画像を取得して画像解析をすることで、案内図が閲覧されたかどうかを判定してもよい。また、ウェアラブル端末のセンサ情報や、閲覧者に装着されたセンサ情報などから、案内図が閲覧されたかどうかを判定してもよい。例えば、視線を検知するセンサ、モーションセンサ、加速度センサなど。
　変更ステップは、閲覧されたと判定された場合は案内図を閲覧済みに変更し、閲覧されていないと判定された場合は案内図が閲覧されるように注目度を変更する。このようにすることで、どの案内図が、閲覧されたのか、閲覧されていないのか、を視覚的に把握できる。例えば、案内図のチェックボックスにチェックを入れることで閲覧済とてもよい。例えば、案内図にスタンプを押すことで閲覧済としてもよい。また、注目度の変更は、案内図の色・サイズを変更したり、案内図が目立つようにスタンプを押したりしてもよい。
　検出ステップは、表示された案内図に対するアクションを検出する。アクションは、例えば、ジェスチャーや、手の動き、視線の動き、などである。閲覧中の画像を取得して画像解析をすることで、案内図に対するアクションを検出できる。また、ウェアラブル端末のセンサ情報や、閲覧者に装着されたセンサ情報などから、案内図に対するアクションを検出してもよい。例えば、視線を検知するセンサ、モーションセンサ、加速度センサなどでよい。
　アクション結果表示ステップは、ウェアラブル端末の表示板に、表示板を透過して見える案内対象に対して、アクションに応じた結果を拡張現実として表示する。例えば、案内図を消すアクションを検出したら案内図の表示を消してよい。例えば、案内図に付けられたリンクを開くアクションを検出したらリンクを開いてもよい。もちろん他のアクションでもよい。
　位置方向ステップは、ウェアラブル端末の端末位置と撮像方向とを取得する。例えば、端末位置は、ウェアラブル端末のＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）から取得できる。例えば、撮像方向は、ウェアラブル端末で撮像する場合は、ウェアラブル端末の地磁気センサや加速度センサから取得できる。これら以外から取得してもよい。
　推測ステップは、端末位置と撮像方向とに基づいて、案内対象の案内対象位置を推測する。端末位置と撮像方向が分かっていれば、撮像された案内対象の案内対象位置を推測することができる。
　また、特定ステップは、案内対象位置と画像解析とから、案内対象を特定してもよい。例えば、同じチェーン店の案内対象であっても、店舗によって案内図が異なるケースもあるので、案内対象位置を推測しないと一意的に特定できないことがある。例えば、東京都港区店であると特定できれば、東京都港区店の案内図を表示できる。
　ガイドライン表示ステップは、ウェアラブル端末の表示板に、案内対象を撮像するためのガイドラインを拡張現実として表示する。例えば、枠や十字などのガイドラインを表示してもよい。ガイドラインに沿って撮像してもらうことで画像解析がしやすくなる。
　また、取得ステップは、ガイドラインに沿って撮像された画像を取得してもよい。ガイドラインに沿って撮像された画像だけを取得して画像解析することで、効率良く案内対象を特定できる。
　選択受付ステップは、ウェアラブル端末の表示板を透過して見える案内対象に対して、選択対象の選択を受け付ける。例えば、ウェアラブル端末の表示板を透過して見える案内対象を一定時間見ることで選択対象の選択を受け付けてもよい。例えば、ウェアラブル端末の表示板を透過して見える案内対象にタッチして選択対象の選択を受け付けてもよい。例えば、ウェアラブル端末の表示板を透過して見える案内対象にカーソルを合わせることで選択対象の選択を受け付けてもよい。例えば、視線を検知するセンサ、モーションセンサ、加速度センサなど。
　また、案内図表示ステップは、ウェアラブル端末の表示板に、表示板を透過して見える選択対象にだけ合わせて、案内図を拡張現実として表示してもよい。選択された選択対象にだけ合わせて案内図を拡張現実として表示するので、ピンポイントに案内図を把握することができる。特定された全ての案内対象に案内図を表示すると表示板の画面が煩わしくなることがある。
　上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、コンピュータにインストールされるアプリケーションであってもよいし、コンピュータからネットワーク経由で提供されるＳａａＳ（ソフトウェア・アズ・ア・サービス）形態であってもよいし、例えば、フレキシブルディスク、ＣＤ（ＣＤ－ＲＯＭなど）、ＤＶＤ（ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭなど）等のコンピュータ読取可能な記録媒体に記録された形態で提供されてもよい。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置または外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置（記録媒体）に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。
　上述した機械学習の具体的なアルゴリズムとしては、最近傍法、ナイーブベイズ法、決定木、サポートベクターマシン、強化学習などを利用してよい。また、ニューラルネットワークを利用して、学習するための特徴量を自ら生成する深層学習（ディープラーニング）であってもよい。
　以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。

 

Claims (13)

  1. 　ウェアラブル端末の表示板に、案内対象の案内図を表示するウェアラブル端末表示システムであって、
    　ウェアラブル端末の視界に入った案内対象の画像を取得する画像取得手段と、
    　前記画像を画像解析して、前記案内対象を特定する特定手段と、
    　前記案内対象の案内図を収集する収集手段と、
    　前記ウェアラブル端末の表示板に、前記表示板を透過して見える前記案内対象に対して、前記案内図を拡張現実として表示する案内図表示手段と、を備えるウェアラブル端末表示システム。
  2. 　前記特定手段は、前記ウェアラブル端末の視界の中央にある案内対象だけを特定する請求項１に記載のウェアラブル端末表示システム。
  3. 　前記収集手段は、予め案内図が登録されたデータベースを参照して、前記案内対象の案内図を収集する請求項１に記載のウェアラブル端末表示システム。
  4. 　前記収集手段は、前記案内対象に予め紐付けられたＷｅｂコンテンツにアクセスして、前記案内図を収集する請求項１に記載のウェアラブル端末表示システム。
  5. 　前記収集手段は、前記案内対象をインターネット検索して、検索されたＷｅｂコンテンツから前記案内図を収集する請求項１に記載のウェアラブル端末表示システム。
  6. 　前記表示された案内図が閲覧されたかどうかを判定する判定手段と、
    　前記閲覧されたと判定された場合、案内図を閲覧済みに変更する変更手段と、
    を備える請求項１に記載のウェアラブル端末表示システム。
  7. 　前記表示された案内図が閲覧されたかどうかを判定する判定手段と、
    　前記閲覧されていないと判定された場合、案内図が閲覧されるように注目度を変更する変更手段と、を備える請求項１に記載のウェアラブル端末表示システム。
  8. 　前記表示された案内図に対するアクションを検出する検出手段と、
    　前記ウェアラブル端末の表示板に、前記表示板を透過して見える前記案内対象に対して、前記アクションに応じた結果を拡張現実として表示するアクション結果表示手段と、を備える請求項１に記載のウェアラブル端末表示システム。
  9. 　前記ウェアラブル端末の、端末位置と撮像方向と、を取得する位置方向取得手段と、
    　前記端末位置と前記撮像方向とに基づいて、前記案内対象の案内対象位置を推測する推測手段と、を備え、
    　前記特定手段は、前記案内対象位置と前記画像解析とから、前記案内対象を特定する
    請求項１に記載のウェアラブル端末表示システム。
  10. 　前記ウェアラブル端末の表示板に、前記案内対象を撮像するためのガイドラインを拡張現実として表示するガイドライン表示手段を備え、
    　前記取得手段は、前記ガイドラインに沿って撮像された前記画像を取得する請求項１に記載のウェアラブル端末表示システム。　
  11. 　前記ウェアラブル端末の表示板を透過して見える前記案内対象に対して、選択対象の選択を受け付ける選択受付手段を備え、
    　前記案内図表示手段は、前記ウェアラブル端末の表示板に、前記表示板を透過して見える前記選択対象にだけ合わせて、前記案内図を拡張現実として表示する請求項１に記載のウェアラブル端末表示システム。
  12. 　ウェアラブル端末の表示板に、案内対象の案内図を表示するウェアラブル端末表示方法であって、
    　ウェアラブル端末の視界に入った案内対象の画像を取得する画像取得ステップと、
    　前記画像を画像解析して、前記案内対象を特定する特定ステップと、
    　前記案内対象の案内図を収集する収集ステップと、
    　前記ウェアラブル端末の表示板に、前記表示板を透過して見える前記案内対象に対して、前記案内図を拡張現実として表示する案内図表示ステップと、を備えるウェアラブル端末表示方法。
  13. 　コンピュータに、
    　ウェアラブル端末の視界に入った案内対象の画像を取得する画像取得ステップと、
    　前記画像を画像解析して、前記案内対象を特定する特定ステップと、
    　前記案内対象の案内図を収集する収集ステップと、
    　前記ウェアラブル端末の表示板に、前記表示板を透過して見える前記案内対象に対して、前記案内図を拡張現実として表示する案内図表示ステップと、を実行させるためのプログラム。
     
PCT/JP2017/019808 2017-05-26 2017-05-26 ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム WO2018216220A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201780093375.9A CN110999279A (zh) 2017-05-26 2017-05-26 可穿戴终端显示系统、可穿戴终端显示方法以及程序
US16/616,850 US20210278242A1 (en) 2017-05-26 2017-05-26 Wearable terminal display system, wearable terminal display method and program
JP2019519941A JPWO2018216220A1 (ja) 2017-05-26 2017-05-26 ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム
PCT/JP2017/019808 WO2018216220A1 (ja) 2017-05-26 2017-05-26 ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/019808 WO2018216220A1 (ja) 2017-05-26 2017-05-26 ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2018216220A1 true WO2018216220A1 (ja) 2018-11-29

Family

ID=64395504

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/019808 WO2018216220A1 (ja) 2017-05-26 2017-05-26 ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム

Country Status (4)

Country Link
US (1) US20210278242A1 (ja)
JP (1) JPWO2018216220A1 (ja)
CN (1) CN110999279A (ja)
WO (1) WO2018216220A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012008290A (ja) * 2010-06-23 2012-01-12 Softbank Mobile Corp 眼鏡型表示装置及びサーバ
JP2013038668A (ja) * 2011-08-10 2013-02-21 Casio Comput Co Ltd 表示装置、表示方法及びプログラム
WO2015155841A1 (ja) * 2014-04-08 2015-10-15 日立マクセル株式会社 情報表示方法および情報表示端末
JP2015219850A (ja) * 2014-05-21 2015-12-07 シャープ株式会社 情報管理システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4875843B2 (ja) * 2004-10-20 2012-02-15 オリンパス株式会社 情報端末装置
JP5622510B2 (ja) * 2010-10-01 2014-11-12 オリンパス株式会社 画像生成システム、プログラム及び情報記憶媒体
CN103873840B (zh) * 2012-12-12 2018-08-31 联想(北京)有限公司 显示方法及显示设备
TW201447375A (zh) * 2013-06-13 2014-12-16 Hsiu-Chi Yeh 擴增實境之頭戴式電子裝置及方法
US10725533B2 (en) * 2014-09-26 2020-07-28 Intel Corporation Systems, apparatuses, and methods for gesture recognition and interaction
CN104883556B (zh) * 2015-05-25 2017-08-29 深圳市虚拟现实科技有限公司 基于增强现实的三维显示方法和增强现实眼镜

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012008290A (ja) * 2010-06-23 2012-01-12 Softbank Mobile Corp 眼鏡型表示装置及びサーバ
JP2013038668A (ja) * 2011-08-10 2013-02-21 Casio Comput Co Ltd 表示装置、表示方法及びプログラム
WO2015155841A1 (ja) * 2014-04-08 2015-10-15 日立マクセル株式会社 情報表示方法および情報表示端末
JP2015219850A (ja) * 2014-05-21 2015-12-07 シャープ株式会社 情報管理システム

Also Published As

Publication number Publication date
JPWO2018216220A1 (ja) 2020-05-07
CN110999279A (zh) 2020-04-10
US20210278242A1 (en) 2021-09-09

Similar Documents

Publication Publication Date Title
US11227326B2 (en) Augmented reality recommendations
TWI418763B (zh) 作為導航器之行動成像裝置
US9874454B2 (en) Community-based data for mapping systems
US20180247361A1 (en) Information processing apparatus, information processing method, wearable terminal, and program
US20140330814A1 (en) Method, client of retrieving information and computer storage medium
KR102115286B1 (ko) 이미지 검색 서버, 이미지 검색 서비스 제공 단말, 시스템 및 방법
JP2016045678A (ja) 価格表示システム、価格判定装置、表示装置、価格判定方法、および、価格判定プログラム
WO2014176938A1 (en) Method and apparatus of retrieving information
JP6887198B2 (ja) ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム
KR20140140442A (ko) 모바일 증강현실 기반의 정보 제공 시스템
WO2018198320A1 (ja) ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム
TWI661351B (zh) 結合地圖服務的數位內容系統與數位內容產生方法
WO2018216220A1 (ja) ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム
WO2019021446A1 (ja) ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム
WO2018216221A1 (ja) ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム
US9911237B1 (en) Image processing techniques for self-captured images
JP6762470B2 (ja) ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム
WO2019021447A1 (ja) ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム
WO2019003359A1 (ja) ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム
Yang et al. Indoor query system for the visually impaired
CN110287872A (zh) 一种基于移动终端的兴趣点视线方向识别方法及装置
WO2022219780A1 (ja) 点検支援装置、点検支援システム、点検支援方法、及び点検支援プログラム
JP6343412B1 (ja) 地図連動センサ情報表示システム、地図連動センサ情報表示方法およびプログラム
CN116126179A (zh) 扩展现实设备搜索操作控件的方法、装置、及相关设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17911185

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019519941

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17911185

Country of ref document: EP

Kind code of ref document: A1