JPWO2018230649A1 - 情報提供システム、情報提供方法、およびプログラム - Google Patents

情報提供システム、情報提供方法、およびプログラム Download PDF

Info

Publication number
JPWO2018230649A1
JPWO2018230649A1 JP2019525519A JP2019525519A JPWO2018230649A1 JP WO2018230649 A1 JPWO2018230649 A1 JP WO2018230649A1 JP 2019525519 A JP2019525519 A JP 2019525519A JP 2019525519 A JP2019525519 A JP 2019525519A JP WO2018230649 A1 JPWO2018230649 A1 JP WO2018230649A1
Authority
JP
Japan
Prior art keywords
unit
information
image
event
logo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2019525519A
Other languages
English (en)
Inventor
安井 裕司
裕司 安井
賢太郎 石坂
賢太郎 石坂
将行 渡邉
将行 渡邉
コビ アヘゴ
コビ アヘゴ
クリストファー ラング
クリストファー ラング
立言 劉
立言 劉
伊藤 洋
洋 伊藤
寛隆 内富
寛隆 内富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of JPWO2018230649A1 publication Critical patent/JPWO2018230649A1/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3667Display of a road map
    • G01C21/3676Overview of the route on the road map
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/3407Route searching; Route guidance specially adapted for specific applications
    • G01C21/3423Multimodal routing, i.e. combining two or more modes of transportation, where the modes can be any of, e.g. driving, walking, cycling, public transport
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63Scene text, e.g. street names
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/005Traffic control systems for road vehicles including pedestrian guidance indicator
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/09Recognition of logos
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition

Abstract

情報提供システムにおいて、撮像部と、前記撮像部により撮像された画像を表示する表示部と、前記撮像部により撮像された画像を解析し、前記画像に含まれる意味情報が示す事象の種類を特定する特定部と、前記特定部により特定された事象の種類のうち、予め定められた事象の種類に対応する画像を前記表示部に表示させる表示制御部と、を備える。

Description

本発明は、情報提供システム、情報提供方法、およびプログラムに関する。
本願は、2017年6月16日に、日本に出願された特願2017−118693号に基づき優先権を主張し、その内容をここに援用する。
従来では、カメラにより撮像された画像に含まれる道路標識を利用者に表示する場合であって、且つ車両の走行領域が運転者の母国でない場合に、撮像した道路標識を母国の道路標識に変更して表示する技術が開示されている(例えば、特許文献1参照)。
特開2009−109404号公報
しかしながら、従来の技術では、撮像した道路標識に対応付けられた直接母国の道路標識に変更して表示されるだけであり、利用者の必要のない情報まで変換して表示される場合があった。そのため、利用者は、理解する必要のない情報まで確認する必要が生じるため、知覚に対する負担が増加し、見たい情報を見落とす場合があった。本発明は、このような事情を考慮してなされたものであり、利用者の知覚負担を軽減させることができる情報提供システム、情報提供方法、およびプログラムを提供することを目的の一つとする。
この発明に係る情報提供システム、情報提供方法、およびプログラムは、以下の構成を採用した。
(1):この発明の一態様に係る情報提供システムは、撮像部(130)と、前記撮像部により撮像された画像を表示する表示部(140)と、前記撮像部により撮像された画像を解析し、前記画像に含まれる意味情報が示す事象の種類を特定する特定部(122)と、前記特定部により特定された事象の種類のうち、予め定められた事象の種類に対応する画像を前記表示部に表示させる表示制御部(124)と、を備える情報提供システムである。
(2):上記(1)の態様において、利用者による入力操作を受け付ける受付部(140)を更に備え、前記表示制御部は、前記特定部により特定された事象の種類のうち、前記受付部に対して入力された事象の種類に対応する画像を前記表示部に表示させるものである。
(3):上記(1)または(2)の態様において、前記事象の種類に対応する画像は、前記事象の種類をテキスト情報に依らずに示す画像である。
(4):上記(1)から(3)のうち、何れか一つの態様において、前記表示制御部は、前記予め定められた事象の種類に対応する画像を、前記意味情報が表示されている位置に対応付けて前記表示部に表示させるものである。
(5):上記(1)から(4)のうち、何れか一つの態様において、利用者による入力操作を受け付ける受付部を更に備え、前記表示制御部は、前記画像が前記表示部により表示されたことに応じて前記受付部に対してなされた操作に応じて、前記特定部により特定された事象の詳細情報を前記表示部に表示させるものである。
(6):上記(5)の態様において、前記表示制御部は、前記特定部により特定された事象の詳細情報を、利用者により設定された言語に翻訳し、翻訳した情報を前記表示部に表示させるものである。
(7):上記(1)から(6)のうち、何れか一つの態様において、前記表示制御部は、前記画像における利用者により設定された事象の種類に対応する部分を、前記表示部に強調表示させるものである。
(8):この発明の一態様に係る情報提供方法は、コンピュータが、撮像部により撮像された画像を表示部に表示し、前記撮像部により撮像された画像を解析し、前記画像に含まれる意味情報が示す事象の種類を特定し、特定された前記事象の種類のうち、予め定められた事象の種類に対応する画像を前記表示部に表示する情報提供方法である。
(9):この発明の一態様に係るプログラムは、コンピュータに、撮像部により撮像された画像を表示部に表示させ、前記撮像部により撮像された画像を解析し、前記画像に含まれる意味情報が示す事象の種類を特定させ、特定された前記事象の種類のうち、予め定められた事象の種類に対応する画像を前記表示部に表示させるプログラムである。
(1)、(8)または(9)によれば、情報提供システムは、利用者の知覚負担を軽減させることができる。
(2)によれば、情報提供システムは、利用者が設定した事象の種類に対応する画像を表示することができる。そのため、利用者は、見たい情報を見落とさずに速やかに確認することができる。
(3)によれば、利用者は、画像から速やかに事象の種類を把握することができる。
(4)によれば、利用者は、事象の種類に対応する画像が、どの意味情報に対応付けられているかを容易に把握することができる。
(5)によれば、情報提供システムは、事象の種類に対応する画像に対してなされた操作に応じてその画像に対応付けられた詳細情報を利用者に提供することができる。これにより、利用者は、画像に対応付けられた意味情報の詳細を把握することができる。
(6)によれば、利用者は、意味情報の言語が分からなくても、詳細情報の翻訳結果に基づいて、その意味情報の詳細を容易に把握することができる。
(7)によれば、利用者は、利用者により設定された事象の種類に対応する意味情報が表示されている位置を容易に把握することができる。
第1の実施形態の情報提供システムの構成例を示す図である。 アプリ実行部の機能構成と、サーバ装置側との協働により提供される情報提供サービスの概要とを示す図である。 第1の実施形態の設定画面の一例を示す図である。 ロゴの一例を示す図である。 第1の実施形態の設定画面の他の例を示す図である。 設定情報の内容の一例を示す図である。 ロゴ取得テーブルの内容の一例を示す図である。 スルー画像にロゴを重畳表示する様子を示す図である。 詳細情報DBの内容の一例を示す図である。 詳細情報が表示された様子を示す図である。 翻訳結果が表示された様子を示す図である。 第1の実施形態の情報提供処理の流れの一例を示すフローチャートである。 第2の実施形態の情報提供システムの構成例を示す図である。 第2の実施形態の設定画面の一例を示す図である。 経路情報の表示例を示す図である。 経路情報の翻訳結果の表示例を示す図である。 第3の実施形態の情報提供システムの構成例を示す図である。 端末装置がレストランの料理メニューを撮像したスルー画像の一例を示している。 道路を走行する自動車から看板を撮影したスルー画像の一例を示す図である。 情報提供システムを適用したシステムにおけるインセンティブの流通する仕組みの一例を示す図である。
以下、図面を参照し、本発明の情報提供システム、情報提供方法、およびプログラムについて説明する。
[第1の実施形態]
図1は、第1の実施形態の情報提供システム1の構成例を示す図である。情報提供システム1は、例えば、一以上の端末装置100と、サーバ装置200とを備える。端末装置100とサーバ装置200は、ネットワークNWを介して通信を行う。ネットワークNWは、例えば、無線基地局、Wi−Fiアクセスポイント、通信回線、プロバイダ、インターネット等を含む。
端末装置100は、例えば、スマートフォンまたはタブレット端末等の可搬型端末装置である。
端末装置100は、例えば、通信部110と、アプリ実行部120と、撮像部130と、タッチパネル140と、位置特定部150と、記憶部160とを備える。アプリ実行部120と位置特定部150とは、CPU(Central Processing Unit)等のハードウェアプロセッサがプログラム(ソフトウェア)を実行することで実現される。また、アプリ実行部120および位置特定部150のうち一方または双方は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)等のハードウェアによって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めHDD(Hard Disk Drive)やフラッシュメモリ等の記憶装置(例えば、記憶部160)に格納されていてもよいし、DVDやCD−ROM等の着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置(不図示)に装着されることで記憶装置にインストールされてもよい。また、タッチパネル140は、「表示部」と「受付部」とを組み合わせて一体にしたものである。
通信部110は、ネットワークNWを介して、サーバ装置200と通信する。通信部110は、例えば、無線通信モジュール等の通信インターフェースである。
アプリ実行部120は、記憶部160に記憶された案内アプリ161が実行されることで実現される。案内アプリ161とは、例えば、撮像部130によって撮像された画像に含まれる意味情報が示す事象の種類を特定し、特定した事象の種類のうち、利用者により設定された事象の種類に対応する画像をタッチパネル140に表示させるためのアプリケーションプログラムである。特に、アプリ実行部120は、撮像部130によって撮像されたスルー画像に含まれる意味情報が示す事象の種類を特定し、上記の処理を行う。スルー画像とは、例えば、シャッターが切られる前にイメージセンサが光電変換した結果をストリーミングデータとして取得し、利用者に映像として見せる画像である。
アプリ実行部120は、スルー画像の中で任意のタイミングで静止画像を選び出し、静止画像に対して、利用者により設定された事象の種類に対応する画像をタッチパネル140に表示させる。意味情報とは、テキストやマーク、アイコン等、画像解析によって意味が把握可能な情報(画素分布)である。
第1の実施形態において、意味情報は、例えば、特定の場所までの行先を示す案内表示に関する情報やその場所に関連したインフォメーション表示に関する情報である。事象とは、例えば、意味情報を大まかなカテゴリーに分類した分類結果を示すものである。例えば、空港内における事象としては、搭乗ゲート、バス乗り場、電車乗り場、レストラン、トイレ等の概念が「事象」に相当する。アプリ実行部120の機能の詳細については後述する。
撮像部130は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の固体撮像素子(イメージセンサ)を利用したデジタルカメラである。撮像部130は、イメージセンサが光電変換した結果に基づくスルー画像を取得するとともに、シャッターの開閉を制御して静止画を撮像する。
タッチパネル140は、LCD(Liquid Crystal Display)や有機EL(Electro Luminescence)表示装置であり、画像を表示する機能と、表示面に対する利用者の指の位置を検出する機能とを備える。
位置特定部150は、端末装置100の位置を特定する。位置特定部150は、例えば、GNSS(Global Navigation Satellite System)衛星から受信した信号に基づいて、端末装置100の位置(例えば、緯度、経度、高度)を特定する。また、位置特定部150は、無線基地局の位置と電波強度等に基づいて端末装置100の位置を特定してもよい。
記憶部160は、ROM(Read Only Memory)やRAM(Random Access Memory)、フラッシュメモリ等で実現される。記憶部160には、例えば、案内アプリ161、設定情報162、ロゴ取得テーブル163、およびその他の情報が格納される。設定情報162は、例えば、利用者が選択した事象および翻訳言語を示す情報である。ロゴ取得テーブル163は、撮像部130の撮像画像に含まれる意味情報から得られる事象を、ロゴに変換するための情報である。設定情報162およびロゴ取得テーブル163の詳細については後述する。
サーバ装置200は、例えば、通信部210と、詳細情報提供部220と、翻訳部230と、記憶部240とを備える。詳細情報提供部220および翻訳部230は、CPU等のハードウェアプロセッサがプログラムを実行することで実現される。また、詳細情報提供部220および翻訳部230のうち一方または双方は、LSIやASIC、FPGA等のハードウェアによって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めHDDやフラッシュメモリ等の記憶装置(例えば、記憶部240)に格納されていてもよいし、DVDやCD−ROM等の着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置(不図示)に装着されることで記憶装置にインストールされてもよい。
通信部210は、ネットワークNWを介して、端末装置100と通信する。通信部210は、例えば、NIC(Network Interface Card)等の通信インターフェースである。
詳細情報提供部220は、通信部210が受信した端末装置100からの詳細情報の取得要求に応じて詳細情報を端末装置100に送信する。詳細情報提供部220の詳細については後述する。
翻訳部230は、端末装置100からの翻訳要求に応じて翻訳辞書243を参照して翻訳を行い、翻訳結果を端末装置100に送信する。
記憶部240は、ROMやRAM、HDD、フラッシュメモリ等で実現される。記憶部240には、例えば、詳細情報DB241、地図情報242、翻訳辞書243、およびその他の情報が格納される。詳細情報DB241は、意味情報に対応するロゴに関連付けられた具体的な説明が格納されたデータベースである。詳細情報DB241の具体例については、後述する。
地図情報242は、例えば、空港内や駅構内等の所定の施設内の地図である。また、地図情報242は、電車の路線図や時刻表、各路線区間の料金、走行時間に関する情報が含まれてもよい。また、地図情報242は、地図座標に対応付けられた道路情報や建物情報が含まれてもよい。建物情報には、建物内の店舗や施設の名称、住所、電話番号等が含まれる。翻訳辞書243には、複数の言語間の翻訳を行うために必要となる単語または文章が含まれる。
[アプリ実行部120とサーバ装置200との協働による情報提供サービス]
次に、アプリ実行部120とサーバ装置200との協働による情報提供サービスについて説明する。図2は、アプリ実行部120の機能構成と、サーバ装置200側との協働により提供される情報提供サービスの概要とを示す図である。
例えば、端末装置100は、タッチパネル140に表示された案内アプリ161を起動するための画像に対し、利用者からの入力操作が受け付けられると、案内アプリ161を起動する。これによって、アプリ実行部120が動作を開始する。
アプリ実行部120は、例えば、設定部121と、画像解析部122と、ロゴ取得部123と、表示制御部124と、詳細情報要求部125と、翻訳要求部126とを備える。画像解析部122は、「特定部」の一例である。また、ロゴ取得部123と、表示制御部124とを組み合わせたものが、「表示制御部」の一例である。
設定部121は、利用者設定を行う設定画面を表示するためのGUIスイッチをタッチパネル140に表示させ、利用者からの選択が行われた場合に、設定画面を表示するようにタッチパネル140を制御する。
図3は、第1の実施形態の設定画面の一例を示す図である。設定画面300Aには、画面に表示するロゴの種別を選択するロゴ表示種別選択領域301Aと、翻訳言語を選択する翻訳言語選択領域302Aと、設定した内容の決定もしくはキャンセルを行う確定操作領域303Aとが示されている。ロゴとは、事象に「一対一」または「一対複数」で対応付けられているものであり、事象の内容を模式的に示すものである。
図4は、ロゴの一例を示す図である。ロゴは、例えば、事象の種別が利用者に理解し易い模式的なマークや記号等により表現された画像であり、テキスト情報に依らずに事象を示すものである。また、ロゴは、世界的に標準化された画像であってもよい。それぞれのロゴには、ロゴを識別する識別情報(例えば「Image001」等)が対応付けられている。
利用者は、例えば、ロゴ表示種別選択領域301Aに表示された各種のロゴのうち、表示させたい事象に対応するロゴをチェックする。また、利用者は、国旗等のロゴから自分が理解可能な翻訳言語を使用しているロゴを選択してもよい。図3の例では、ロゴ表示種別選択領域301Aにおいて、ロゴ表示種別選択領域301Aで交通、食事、およびトイレに関するロゴが選択され、翻訳言語選択領域302Aで翻訳言語として英語(English)が選択された例を示している。これにより、利用者は、文字を読みなくてもロゴのみから画面に表示される案内情報や翻訳言語を選択することができる。
図5は、第1の実施形態の設定画面の他の例を示す図である。設定画面300Bには、ロゴ表示種別選択領域301Bと、翻訳言語選択領域302Bと、確定操作領域303Bとが示されている。図5に示す設定画面300Bは、設定画面300Aと比較すると、ロゴが表示される代わりに、文字情報が表示されている。
利用者は、例えば、ロゴ表示種別選択領域301Bに表示された種別のうち、表示させたい事象に対応するロゴのチェックボックスをチェックする。また、利用者は、ドロップダウンリストに表示された複数の言語から自分が理解可能な翻訳言語を選択してもよい。図5の例では、ロゴ表示種別選択領域301Bで交通、食事、およびトイレが選択され、翻訳言語選択領域302Aで翻訳言語として英語が選択されている。なお、設定部121は、設定画面300Bを表示する前に、表示する文字の言語を設定する画面を表示し、利用者により設定された言語に翻訳した文字情報で、設定画面300Bを表示させてもよい。また、図3および図5に示す設定画面300A、300Bのそれぞれは、他の設定画面に表示された情報の一部を組み合わせてもよい。
利用者により確定操作領域303A、303Bに表示された決定ボタンが選択されると、設定部121は、設定画面300A、300Bにおいて受け付けた情報を設定情報162として記憶部160に記憶する。
図6は、設定情報162の内容の一例を示す図である。設定情報162には、設定画面300A、300Bのロゴ表示種別選択領域301A、301Bで選択されたロゴに対応する事象の種類の識別情報である事象種別IDと、翻訳言語選択領域302A、302Bで選択された翻訳言語とが格納されている。アプリ実行部120は、上述した設定情報162が記憶部160に記憶されている状態で、利用者の操作により以下の処理を行う。
画像解析部122は、撮像部130のスルー画像を解析し、スルー画像に含まれる案内表示のテキストや記号の内容を、OCR(Optical Character Recognition)技術等により認識する。また、画像解析部122は、撮像部130のスルー画像に対するセグメンテーション処理を行ってもよい。セグメンテーション処理とは、例えば、スルー画像中の看板や標識その他の物体が表示された部分画像を抽出したり、部分画像を二次元画像に変換したりする処理である。
ロゴ取得部123は、画像解析部122による解析結果に基づいて、ロゴ取得テーブル163を参照し、解析結果に対応する事象種別IDおよびロゴを取得する。また、ロゴ取得部123は、ロゴ取得テーブル163を用いたロゴの取得処理に加えて、或いは代えて、画像解析部122が抽出した部分画像に基づいて、商標データベース等の外部装置を参照し、事象主情報等を取得してもよい。この場合、ロゴ取得部123は、取得した事業主情報等を用いてロゴ取得テーブル163を生成または更新してもよい。
図7は、ロゴ取得テーブル163の内容の一例を示す図である。ロゴ取得テーブル163は、事象の種類を識別する識別情報である事象種別IDに、事象種別情報およびロゴが対応付けられている。事象種別情報とは、例えば、分類される事象ごとに予め定められたテキスト、マーク、アイコン等の情報である。
ロゴ取得部123は、ロゴ取得テーブル163の事象種別情報を参照し、画像解析部122により得られた解析結果と合致する事象種別情報を含む事象種別IDと、事象種別IDに対応付けられたロゴを取得する。合致するとは、完全一致、部分一致の他、同義の別ワード(例えば、「ラーメン」に対して「らあめん」等)であることを含んでもよい。
また、ロゴ取得部123は、ロゴ取得テーブル163により取得したロゴが、予め定められた事象の種類に対応するロゴであるか否かを判定する。例えば、ロゴ取得部123は、ロゴとともに取得した事象種別IDに基づいて、設定情報162を参照し、設定情報162に含まれる事象種別IDと合致する場合に、そのロゴが予め定められた事象の種類に対応するロゴであると判定する。
表示制御部124は、表示対象であると判定されたロゴをスルー画像に重畳して表示するようにタッチパネル140を制御する。図8は、スルー画像にロゴを重畳表示する様子を示す図である。例えば、画像解析部122による画像解析によって、位置312aから「寿司」の文字が認識されたものとする。この場合、ロゴ取得部123は、ロゴ取得テーブル163を参照し、「寿司」の文字に対応付けられたロゴ「Image002」と、事象種別ID「E002」とを取得する。ロゴ取得部123は、取得した事象種別IDが設定情報162の事象種別IDに合致するため、ロゴ「Image002」がスルー画像310に重畳表示するロゴであると判定する。表示制御部124は、取得したロゴ「Image002」をスルー画像310に重畳表示するように、タッチパネル140を制御する。図8の例では、スルー画像310の位置312aに対応付けて「Image002」のロゴ314aが重畳表示されている。
また、画像解析部122による画像解析によって、位置312bから「鉄道」、「トイレ」等の文字が認識されたものとする。この場合、ロゴ取得部123は、ロゴ取得テーブル163から「鉄道」、「トイレ」に対応するロゴ「Image001」、「Image003」と、事象種別ID「E001」、「E003」を取得する。ロゴ取得部123は、取得した事象種別IDが設定情報162の事象種別IDに合致するため、ロゴ「Image001」、「Image003」がスルー画像310に重畳表示するロゴであると判定する。表示制御部124は、取得したロゴ「Image001」、「Image003」をスルー画像310に重畳表示するように、タッチパネル140を制御する。図8の例では、スルー画像310の位置312bに対応付けて「Image001」、「Image003」のロゴ314b、314cが重畳表示されている。
また、画像解析部122により位置312bから「B1F」の文字を認識した場合に、表示制御部124は、その文字情報314dをスルー画像310の位置312bに対応付けて重畳表示するようにタッチパネル140を制御してもよい。
また、画像解析部122による画像解析によって、位置312cから「ショップ」の文字が認識されたものとする。この場合、ロゴ取得部123は、ロゴ取得テーブル163から「ショップ」に対応するロゴ「Image004」と、事象種別ID「E004」を取得する。ロゴ取得部123は、取得した事象種別IDが設定情報162の事象種別IDに合致しないため、ロゴ「Image004」がスルー画像310に重畳表示しないロゴであると判定する。したがって、図8の例では、位置312cにロゴは表示されてない。
これにより、端末装置100は、利用者が設定した事象の種類に対応付けられたロゴを表示することができる。したがって、利用者は、その事象の種類をロゴから速やかに認識することができる。
また、例えば、タッチパネル140が、スルー画像310に重畳表示されたロゴ314a〜314cの何れかの表示位置をタップ等の操作により指定されたことを受け付けると、詳細情報要求部125は、サーバ装置200に、タップされたロゴに対する詳細情報の取得要求を行う。この場合、詳細情報要求部125は、タップされたロゴに対応する事象種別IDと、位置特定部150により特定された端末装置100の位置と、撮像部130のカメラパラメータに含まれる撮影方向とを含む詳細情報取得要求をサーバ装置200に送信する。
サーバ装置200の詳細情報提供部220は、端末装置100からの詳細情報取得要求に基づいて、詳細情報DB241を参照し、詳細情報取得要求に対応する詳細情報を端末装置100に送信する。
図9は、詳細情報DB241の内容の一例を示す図である。詳細情報DB241は、詳細情報に対応する意味情報の位置の識別情報である位置IDに、位置(例えば、緯度・経度・高さ)と、事象種別IDと、詳細情報とが対応付けられている。詳細情報とは、位置に対応付けられた意味情報の説明に関する情報である。第1の実施形態では、例えば、現在位置から電車の乗り場への経路に関する情報や、構内図面、店名等に関する情報が「詳細情報」に相当する。
また、詳細情報には、バリアフリー対応情報が含まれていてもよい。バリアフリー対応情報とは、例えば高齢者やケガ人等の利用者に対して、利用を支援するための施設等の対応があるか否かを識別するための情報である。例えば、トイレにおいて、車椅子のまま入れるトイレが設置している場合には、バリアフリー対応が「有り」と識別される。
詳細情報提供部220は、詳細情報DB241の位置が詳細情報取得要求に含まれる端末装置100の位置を基準にした撮像方向に含まれる位置であって、且つ、端末装置100の位置と詳細情報DB241の位置との距離が閾値以下である位置IDを取得する。そして、詳細情報提供部220は、取得した位置IDのうち、詳細情報取得要求に含まれる事象種別IDと合致する事象種別IDを有する位置IDを抽出し、抽出した位置IDに対応付けられた詳細情報を端末装置100に送信する。これにより、詳細情報要求部125は、利用者がタップにより指定したロゴに対応する詳細情報を取得する。
次に、翻訳要求部126は、詳細情報要求部125が取得した詳細情報の翻訳が必要であるか否かを判定する。例えば、翻訳要求部126は、詳細情報の言語を解析し、解析した言語が、設定情報162に含まれる翻訳言語に一致するか否かを判定する。解析した言語が、設定情報162に含まれる翻訳言語に一致しない場合、翻訳要求部126は、詳細情報と、翻訳言語とを含む翻訳要求をサーバ装置200に送信する。
翻訳部230は、端末装置100からの翻訳要求に基づいて、詳細情報を指定された翻訳言語に翻訳する。翻訳部230は、例えば、翻訳辞書243を参照し、詳細情報の文字または文章を翻訳言語の文字または文章に翻訳し、翻訳結果を端末装置100に送信する。
表示制御部124は、詳細情報要求部125による詳細情報または翻訳要求部126による翻訳結果を表示するように、タッチパネル140を制御する。図10は、詳細情報が表示された様子を示す図である。例えば、利用者によりロゴ314bがタップされた場合に、表示制御部124は、詳細情報表示領域320Aに、詳細情報を表示するようにタッチパネル140を制御する。詳細情報がタッチパネル140に表示されるのは、例えば、設定情報162に含まれる翻訳言語と詳細情報の言語とが同一の場合、設定情報162に翻訳言語の設定がない場合、または翻訳部230が設定された翻訳言語の翻訳ができなかった場合である。
また、表示制御部124は、詳細情報に含まれるバリアフリー対応情報に基づき、バリアフリー対応の有無に応じたロゴ321を、詳細情報表示領域320Aに表示するようにタッチパネル140を制御してもよい。なお、ロゴ321は、例えば、記憶部160に記憶されている。
また、表示制御部124は、タッチパネル140が詳細情報表示領域320Aに表示された構内図を表示する「http://aaa・・・.pdf」の文字がタップされると、文字に対応付けられたアクセス先にある構内図を表示するようにタッチパネル140を制御してもよい。また、表示制御部124は、ロゴ314bに対する詳細情報が存在しなかった場合に、「詳細情報なし」等の情報を、詳細情報表示領域320Aに表示するようにタッチパネルを制御してもよい。
図11は、翻訳結果が表示された様子を示す図である。例えば、利用者によりロゴ314bがタップされた場合に、表示制御部124は、詳細情報表示領域320Bに、翻訳結果を表示するようにタッチパネル140を制御する。翻訳結果がタッチパネル140に表示されるのは、例えば、設定情報162に含まれる翻訳言語と詳細情報の言語とが異なり、翻訳部230から翻訳結果が得られた場合である。図10および図11に示すように、表示制御部124は、利用者に応じて利用者に必要な情報のみを提示することができる。
これにより、利用者は、知覚負担が軽減する。
[処理フロー]
図12は、第1の実施形態の情報提供処理の流れの一例を示すフローチャートである。案内アプリ161を起動すると、アプリ実行部120は、設定画面300を表示し、設定画面から受け付けられた設定情報を登録する(ステップS100)。なお、すでに設定情報が登録済みである場合には、ステップS100の処理を行わなくてもよい。
次に、アプリ実行部120は、撮像部130により撮像されたスルー画像を解析し(ステップS102)、解析結果に基づいて記憶部160に記憶されたロゴ取得テーブル163を参照し、解析結果に対応するロゴを取得する(ステップS104)。次に、アプリ実行部120は、設定情報162を参照し、取得したロゴが表示対象のロゴであるか否かを判定する(ステップS106)。取得したロゴが表示対象のロゴである場合、アプリ実行部120は、解析結果が得られた位置に対応付けてスルー画像にロゴを重畳表示する(ステップS108)。
次に、アプリ実行部120は、利用者のタップ操作等によりロゴの指定を受け付けたか否かを判定する(ステップS110)。ロゴの指定を受け付けた場合、アプリ実行部120は、端末装置100の位置および撮像方向と、指定したロゴの事象種別IDとを含む詳細情報取得要求を、サーバ装置200に送信しステップS112)、指定したロゴに基づく詳細情報を取得する(ステップS114)。
次に、アプリ実行部120は、詳細情報の言語が設定情報162に含まれる翻訳言語と同一であるか否かを判定する(ステップS116)。詳細情報の言語が設定情報に含まれる翻訳言語と同一である場合、アプリ実行部120は、詳細情報を表示するようにタッチパネル140を制御する(ステップS118)。また、詳細情報の言語が設定情報に含まれる翻訳言語と同一でない場合、アプリ実行部120は、翻訳要求をサーバ装置200に送信し(ステップS120)、サーバ装置200から翻訳結果を取得する(ステップS122)。次に、アプリ実行部120は、翻訳結果を表示するようにタッチパネル140を制御する(ステップS124)。
ステップS118或いはS124の処理後、ステップS106において取得したロゴが表示対象のロゴでない場合、またはステップS110においてロゴの指定を受け付けていない場合、アプリ実行部120は、情報提供処理を終了するか否かを判定する(ステップS126)。情報提供処理を終了しない場合、アプリ実行部120は、ステップS104の処理に戻る。また、情報提供処理を終了する場合、アプリ実行部120は、本フローチャートの処理を終了する。
以上説明したように第1の実施形態の情報提供システム1によれば、スルー画像に含まれる意味情報に対して、利用者が指定した事象に対応するロゴをスルー画像に重畳表示することができるため、利用者の知覚負担を軽減させることができる。また、第1の実施形態によれば、利用者が指定したロゴに対応する詳細情報を翻訳して表示することができるため、利用者に必要な情報を容易に把握させることができる。
[第2の実施形態]
次に、第2の実施形態について説明する。第2の実施形態では、端末装置100において利用者により予め目的地が設定されている場合において、目的地に関連するロゴ(例えば、移動手段に関するロゴ)が指定された場合に、そのロゴの詳細情報として目的地までの経路を表示する。
図13は、第2の実施形態の情報提供システム2の構成例を示す図である。情報提供システム2では、端末装置100Aにアプリ実行部120Aを備え、サーバ装置200Aに経路探索部250を備える。その他の構成要素の機能は、第1の実施形態と同様である。
アプリ実行部120Aは、目的地を設定する設定画面を表示するようにタッチパネル140を制御する。図14は、第2の実施形態の設定画面300Cの一例を示す図である。設定画面300Cには、ロゴ表示種別選択領域331と、表示画像選択領域332と、目的地設定領域333と、翻訳言語選択領域334と、確定操作領域335とが示されている。
ロゴ表示種別選択領域331は、撮像部130から得られるスルー画像および地図上に表示されるロゴを選択する領域である。ロゴ表示種別選択領域331には、予め定められた複数のロゴが表示されている。利用者は、ロゴ表示種別選択領域331のうち、表示したい事象に対応する少なくとも一つのロゴを選択する。
表示画像選択領域332は、撮像部130から得られるスルー画像にロゴを重畳表示するか、またはサーバ装置200から取得した地図上にロゴを表示するかを選択する領域である。目的地設定領域333は、利用者が目的地を設定するための領域である。翻訳言語選択領域334および確定操作領域335は、例えば、翻訳言語選択領域302および確定操作領域303に相当する。
図14の例では、レストラン、電車、徒歩、宿泊に関するロゴが選択され、スルー画像にロゴを重畳表示するAR(Augmented Reality)表示が選択され、目的地としてGGホテルが入力され、翻訳言語として英語が選択されている。
アプリ実行部120Aは、設定画面300Cにより設定された各種情報を設定情報162として記憶部160に記憶する。また、アプリ実行部120Aは、撮像部130から得られるスルー画像または地図に含まれる意味情報を解析し、解析結果として認識された事象種別に対応するロゴであって、且つ、利用者により表示対象として設定されたロゴをスルー画像または地図に重畳表示する。
また、アプリ実行部120Aは、スルー画像または地図に重畳表示されたロゴがタップされると、タップされたロゴに対応する事象種別IDと、位置特定部150により特定された端末装置100Aの位置と、撮像部130のカメラパラメータに含まれる撮影方向と、目的地とを含む詳細情報取得要求をサーバ装置200Aに送信する。
サーバ装置200Aの経路探索部250は、端末装置100Aからの詳細情報取得要求に目的地が含まれている場合に、端末装置100Aの位置と目的地とに基づいて、地図情報242を参照し、現在位置から目的地までの経路を探索する。例えば、詳細情報取得要求に含まれる事象種別IDが電車に対応するIDである場合、経路探索部250は、移動手段に電車を用いた目的地までの最短経路および移動時間を探索する。また、経路探索部250は、自動車等の他の移動手段を用いて目的地までの最短経路および移動時間を探索してもよい。自動車とは、電車とは異なり発動機等の動力で、レールなしに走行する車両である。自動車には、二輪や三輪、四輪等の車両が含まれる。経路探索部250は、経路探索により得られる経路および移動時間を含む経路情報を端末装置100に送信する。
アプリ実行部120Aは、サーバ装置200Aから得られる経路情報に対して、設定情報162を参照し、経路情報の翻訳が必要であるか否かを判定する。翻訳が必要でないと判定された場合、表示制御部124は、サーバ装置200Aから取得した経路情報とをスルー画像または地図に重畳表示するようにタッチパネル140を制御する。
図15は、経路情報の表示例を示す図である。図15の例では、図8と同様にスルー画像310に含まれる意味情報に対応したロゴ314a〜314cが、スルー画像310に重畳表示されている。ここで、利用者によりロゴ314bがタップされると、アプリ実行部120Aは、ロゴ314bに対応させた経路情報を、詳細情報表示領域320Cに表示するようにタッチパネル140を制御する。
図15の例において、詳細情報表示領域320Cには、端末装置100Aの現在位置から設定画面300Cの目的地設定領域333に設定された「GGホテル」までの電車を用いた目的地までの経路と、到着までの時間、料金が表示されている。
また、アプリ実行部120Aは、サーバ装置200Aから得られる経路情報に対して、経路情報の翻訳が必要であると判定された場合、経路情報と翻訳言語とを含む翻訳依頼をサーバ装置200Aに送信し、サーバ装置200Aから翻訳結果を受信する。表示制御部124は、サーバ装置200Aから取得した経路情報に対応する翻訳結果を、スルー画像または地図に重畳表示するようにタッチパネル140を制御する。
図16は、経路情報の翻訳結果の表示例を示す図である。図16の例では、詳細情報表示領域320Dに経路情報の翻訳結果を表示するようにタッチパネル140を制御する。また、表示制御部124は、目的地に対して自動車を用いた場合の移動距離、移動時間、および料金に関する情報321Aを、詳細情報表示領域320C、詳細情報表示領域320Dに表示してもよい。これにより、利用者は、複数の経路を見比べて、経路を決定することができる。
以上説明したように、第2の実施形態によれば、第1の実施形態と同様の効果を奏する他、目的地までの経路情報を表示することで、利用者に目的に応じた詳細な情報を提供することができる。
[第3の実施形態]
次に、第3の実施形態について説明する。第3の実施形態では、端末装置100がスルー画像に含まれる意味情報に基づいて、事象に対応するロゴを表示し、ロゴの選択操作を受け付けると、そのロゴに対応する意味情報の翻訳結果を表示する。
図17は、第3の実施形態の情報提供システム3の構成例を示す図である。情報提供システム3では、端末装置100Bにアプリ実行部120Bおよび翻訳アプリ164を備える。その他の構成要素の機能は、第1の実施形態と同様である。
翻訳アプリ164とは、例えば、利用者の操作によりロゴが選択された場合に詳細情報が表示されるのではなく、そのロゴに対応する意味情報の翻訳結果を表示する点で案内アプリ161と相違するが、その他の機能については、案内アプリ161と同様の機能を備えるアプリケーションプログラムである。
例えば、端末装置100Bは、タッチパネル140に表示された翻訳アプリ164を起動するための画像に対し、利用者からの入力操作が受け付けられると、翻訳アプリ164を起動する。これによって、アプリ実行部120Bが動作を開始する。
図18は、端末装置100Bがレストランの料理メニュー352を撮像したスルー画像350の一例を示している。アプリ実行部120Bは、撮像部130からのスルー画像350を表示するとともに、スルー画像350に含まれる意味情報354を解析し、意味情報354に対応付けられた事象の種別に対応するロゴをロゴ取得テーブル163から取得して、スルー画像350に重畳表示するようにタッチパネル140を制御する。
図18の例において、アプリ実行部120Bは、スルー画像350の表示領域の左側に設けたロゴ表示領域356に、意味情報354に対応付けられた事象の種別に対応するロゴを表示するようにタッチパネル140を制御する。ロゴ表示領域356には、料理メニュー352に含まれる意味情報354から取得した、鳥料理、肉料理、野菜料理等のロゴがスルー画像350に表示されている。また、ロゴ表示領域356に表示されるロゴは、利用者により設定画面等で設定されてもよい。また、アプリ実行部120Bは、スルー画像の少なくとも一部を端末装置100Bの位置情報等と合わせて外部装置に送信し、外部装置によって解析されたスルー画像に含まれる複数の属性の情報を取得する。そして、アプリ実行部120Bは、取得した複数の属性の情報の中から、利用者による設定情報に基づいて、ロゴ表示領域356に表示されるロゴを抽出してもよい。
ここで、利用者により表示されたロゴの中から肉料理のロゴをタップされたとする。この場合、アプリ実行部120Bは、意味情報354から肉料理に対応するメニュー内容を抽出するとともに、そのメニュー内容の言語が設定情報162に設定された翻訳言語と一致するか否かを判定する。アプリ実行部120Bは、メニュー内容の言語と翻訳言語とが一致しない場合に、メニュー内容と翻訳言語とを含む翻訳要求をサーバ装置200に送信し、サーバ装置200から受信した翻訳結果358をスルー画像350に重畳表示するようにタッチパネル140を制御する。なお、アプリ実行部120Bは、翻訳結果358をメニュー内容の表示位置に対応付けた位置(例えば、メニュー内容の表示位置の下)に重畳表示するように、タッチパネル140を制御する。
以上説明したように、第3の実施形態によれば、利用者に必要な意味情報の翻訳情報を利用者に提示することができる。そのため、利用者は、知りたい情報を見落とさずに把握することができる。また、指定した事象の種別に対応する意味情報のみが翻訳表示されるため、利用者の知覚負担を軽減させることができる。
[第4の実施形態]
次に、第4の実施形態について説明する。第4の実施形態では、端末装置100の撮像部130から得られるスルー画像に含まれる意味情報のうち、ロゴで指定された事象に関連する意味情報が表示された部分を強調表示する。また、第4の実施形態では、強調表示された意味情報の翻訳結果を表示する。第4の実施形態の構成要素の機能は、第3の実施形態と同様である。
図19は、道路を走行する自動車から看板を撮影したスルー画像360の一例を示す図である。スルー画像は360には、実空間上の複数の看板362a〜362hが表示されている。アプリ実行部120Bは、看板362a〜362hの意味情報を解析し、解析結果から意味情報の事象の種別に対応するロゴを特定し、特定したロゴをスルー画像360に重畳表示するようにタッチパネル140を制御する。
図19の例において、アプリ実行部120Bは、スルー画像360の表示領域の左側に設けたロゴ表示領域364に、看板362a〜362hの意味情報の事象の種別に対応するロゴを表示するようにタッチパネル140を制御する。
ここで、利用者によりレストランと、自動車に対応付けられたロゴがタップされたとする。この場合、アプリ実行部120Bは、利用者によりタップされたロゴに対応する意味情報を含む部分を強調表示する。図19の例では、看板362aおよび362hの周囲が強調表示されている。
更に、アプリ実行部120Bは、そのロゴに対応する意味情報の言語と、設定情報162の翻訳言語とが異なる場合に、その意味情報と、翻訳言語とを含む翻訳要求をサーバ装置200に送信し、サーバ装置200から受信した翻訳結果366を翻訳対象の意味情報に対応付けて表示するようにタッチパネル140を制御する。
また、第4の実施形態において、アプリ実行部120は、看板362に記載された意味情報がレストラン等の店舗やテーマパーク等の施設の案内情報である場合、案内情報内のテキストを解析して名称や住所等により目的地を設定し、現在位置から目的地までの経路をサーバ装置200から取得し、取得した経路情報を画面に表示するようにタッチパネル140を制御してもよい。更に、アプリ実行部120は、サーバ装置200から得られた経路情報を、利用者が乗車している自動車に搭載されたナビゲーション装置に送信し、ナビゲーション装置において経路案内を行ってもよい。
以上説明したように、第4の実施形態によれば、利用者が設定した事象の種別に対応する意味情報が表示された部分を強調表示することで、利用者が知りたい意味情報が表示された位置を確実に把握し易くすることができ、利用者の知覚負担を軽減させることができる。また、第4の実施形態によれば、強調表示された意味情報に対応する翻訳結果を表示することで、利用者は、強調表示された意味情報の内容を容易に理解することができる。なお、上述した第1〜第4の実施形態は、他の実施形態の一部または全部と組み合わせてもよい。
[適用例]
次に、上記各実施形態の適用例について説明する。ここでは、上述した情報提供システムのサーバ装置200における機能をサービスプロバイダが提供し、そのサービスプロバイダが他のプロバイダやビジネスオーナー等から情報提供によるインセンティブを受け取る仕組みについて説明する。
図20は、情報提供システムを適用したシステムにおけるインセンティブの流通する仕組みの一例を示す図である。ビジネスオーナー402は、例えば、レストラン等の店舗を経営したり、テーマパーク等の施設を経営する経営者である。データプロバイダ404は、サービスプロバイダ406が管理する詳細情報DB241や地図情報242、翻訳辞書243等のデータを生成し、サービスプロバイダ406に提供するデータ提供者である。
サービスプロバイダ406は、情報提供システム1〜3におけるサーバ装置200を管理する管理者である。利用者408は、情報提供システム1〜3における端末装置100の所持者であり、情報提供システム1〜3の利用者である。
図20の例において、まず、ビジネスオーナー402は、例えば、経営する店舗や施設周辺の地図、販売する商品やサービスに関する案内情報、商標・称号や店舗看板イメージ等をデータプロバイダ404に提供する。データプロバイダ404は、ビジネスオーナー402から提供された地図や案内情報から地図情報242や詳細情報DB241を生成する。また、データプロバイダ404は、生成した詳細情報DB241に対応させて翻訳辞書243の生成や更新を行う。また、データプロバイダ404は、生成した地図情報242や詳細情報DB241、および翻訳辞書243をサービスプロバイダ406に提供する。
サービスプロバイダ406は、利用者408の端末装置100による詳細情報取得要求や翻訳要求、経路探索要求に対して、データプロバイダ404により提供された詳細情報DB241や翻訳辞書243に基づく翻訳結果、地図情報242に基づく経路結果等を提供する。また、サービスプロバイダ406は、利用者によるサービス利用実績(履歴情報)をデータプロバイダに提供する。
利用者408がサービスプロバイダ406から得た情報に基づいてビジネスオーナー402が経営する店舗や施設を利用すると、ビジネスオーナー402は、その利用結果をデータプロバイダ404に提供する。
データプロバイダ404は、例えば、利用者408に情報提供サービスを提供したサービスプロバイダ406に対してビジネスオーナー402の売り上げに基づく報奨金等のインセンティブを提供する。
以上説明した適用例によれば、サーバ装置200の管理者であるサービスプロバイダ406は、情報提供に対する利益を得ることができる。
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

Claims (9)

  1. 撮像部と、
    前記撮像部により撮像された画像を表示する表示部と、
    前記撮像部により撮像された画像を解析し、前記画像に含まれる意味情報が示す事象の種類を特定する特定部と、
    前記特定部により特定された事象の種類のうち、予め定められた事象の種類に対応する画像を前記表示部に表示させる表示制御部と、
    を備える情報提供システム。
  2. 利用者による入力操作を受け付ける受付部を更に備え、
    前記表示制御部は、前記特定部により特定された事象の種類のうち、前記受付部に対して入力された事象の種類に対応する画像を前記表示部に表示させる、
    請求項1に記載の情報提供システム。
  3. 前記事象の種類に対応する画像は、前記事象の種類をテキスト情報に依らずに示す画像である、
    請求項1または2に記載の情報提供システム。
  4. 前記表示制御部は、前記予め定められた事象の種類に対応する画像を、前記意味情報が表示されている位置に対応付けて前記表示部に表示させる、
    請求項1から3のうち、何れか1項に記載の情報提供システム。
  5. 利用者による入力操作を受け付ける受付部を更に備え、
    前記表示制御部は、前記画像が前記表示部により表示されたことに応じて前記受付部に対してなされた操作に応じて、前記特定部により特定された事象の詳細情報を前記表示部に表示させる、
    請求項1から4のうち、何れか1項に記載の情報提供システム。
  6. 前記表示制御部は、前記特定部により特定された事象の詳細情報を、利用者により設定された言語に翻訳し、翻訳した情報を前記表示部に表示させる、
    請求項5に記載の情報提供システム。
  7. 前記表示制御部は、前記画像における利用者により設定された事象の種類に対応する部分を、前記表示部に強調表示させる、
    請求項1から6のうち、何れか1項に記載の情報提供システム。
  8. コンピュータが、
    撮像部により撮像された画像を表示部に表示し、
    前記撮像部により撮像された画像を解析し、前記画像に含まれる意味情報が示す事象の種類を特定し、
    特定された前記事象の種類のうち、予め定められた事象の種類に対応する画像を前記表示部に表示する、
    情報提供方法。
  9. コンピュータに、
    撮像部により撮像された画像を表示部に表示させ、
    前記撮像部により撮像された画像を解析し、前記画像に含まれる意味情報が示す事象の種類を特定させ、
    特定された前記事象の種類のうち、予め定められた事象の種類に対応する画像を前記表示部に表示させる、
    プログラム。
JP2019525519A 2017-06-16 2018-06-14 情報提供システム、情報提供方法、およびプログラム Withdrawn JPWO2018230649A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017118693 2017-06-16
JP2017118693 2017-06-16
PCT/JP2018/022740 WO2018230649A1 (ja) 2017-06-16 2018-06-14 情報提供システム、情報提供方法、およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020007687A Division JP7221233B2 (ja) 2017-06-16 2020-01-21 情報提供システム、情報提供方法、およびプログラム

Publications (1)

Publication Number Publication Date
JPWO2018230649A1 true JPWO2018230649A1 (ja) 2020-02-27

Family

ID=64659126

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019525519A Withdrawn JPWO2018230649A1 (ja) 2017-06-16 2018-06-14 情報提供システム、情報提供方法、およびプログラム
JP2020007687A Active JP7221233B2 (ja) 2017-06-16 2020-01-21 情報提供システム、情報提供方法、およびプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2020007687A Active JP7221233B2 (ja) 2017-06-16 2020-01-21 情報提供システム、情報提供方法、およびプログラム

Country Status (4)

Country Link
US (1) US20200125850A1 (ja)
JP (2) JPWO2018230649A1 (ja)
CN (1) CN110741228A (ja)
WO (1) WO2018230649A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113272766A (zh) 2019-01-24 2021-08-17 麦克赛尔株式会社 显示终端、应用程序控制系统和应用程序控制方法
JP7267776B2 (ja) * 2019-03-01 2023-05-02 日産自動車株式会社 車両用情報表示方法及び車両用情報表示装置
JP2021128046A (ja) * 2020-02-13 2021-09-02 株式会社デンソー 車両用表示制御装置、及び表示方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6040715B2 (ja) * 2012-11-06 2016-12-07 ソニー株式会社 画像表示装置及び画像表示方法、並びにコンピューター・プログラム
JP2015177203A (ja) * 2014-03-13 2015-10-05 積水樹脂株式会社 携帯端末、情報取得方法及びプログラム
KR102178892B1 (ko) * 2014-09-15 2020-11-13 삼성전자주식회사 정보 제공 방법 및 그 전자 장치
JP2016173802A (ja) * 2015-03-18 2016-09-29 株式会社ゼンリンデータコム 経路案内装置

Also Published As

Publication number Publication date
CN110741228A (zh) 2020-01-31
JP7221233B2 (ja) 2023-02-13
US20200125850A1 (en) 2020-04-23
JP2020073913A (ja) 2020-05-14
WO2018230649A1 (ja) 2018-12-20

Similar Documents

Publication Publication Date Title
JP7221233B2 (ja) 情報提供システム、情報提供方法、およびプログラム
US20080281508A1 (en) Vehicle navigation system and method thereof
US20090285445A1 (en) System and Method of Translating Road Signs
US9971768B2 (en) Image capture system for a vehicle using translation of different languages
US20230066144A1 (en) Information processing system and information processing method
US20220187097A1 (en) Guidance system
JP2019191914A (ja) 情報処理装置、プログラム、及び情報処理方法
JP2005100276A (ja) 情報処理システム、情報処理装置、情報処理方法及びプログラム
JP7332471B2 (ja) 地点情報提供システム、地点情報提供方法、およびプログラム
KR101077054B1 (ko) 길 안내 서비스 시스템 및 방법
JP2006112981A (ja) 情報処理装置
JP2009205504A (ja) 案内システム、サーバシステム、案内方法及びプログラム
JP2005251134A (ja) 情報検索装置および情報検索方法
JP2020013382A (ja) 情報処理装置、情報処理方法、およびプログラム
JP4978219B2 (ja) 情報伝達システムおよび情報サーバ
US20200400448A1 (en) Ride-sharing management device, ride-sharing management method, and recording medium
JP2015053002A (ja) 情報提示プログラム及びそれを利用した移動通信端末
JP2013020517A (ja) 待ち合わせ場所提示装置及び待ち合わせ場所提示方法
JP2018106465A (ja) 乗車案内システム、乗車案内方法、情報処理装置およびプログラム
JP2011179977A (ja) ナビゲーション装置、ナビゲーション方法、およびナビゲーションプログラム
JP5144587B2 (ja) 出発地から目的地への経路情報に沿って移動しているか否かを報知する携帯端末装置および方法
KR20090101523A (ko) 지리정보를 이용한 업체광고가 가능한 차량용 디스플레이장치
JP4636033B2 (ja) 情報検索システム・装置・方法・プログラム、利用者端末、登録者端末、データベース構築方法
KR102435615B1 (ko) 증강현실기반 대중교통 승차정보 제공방법 및 이를 구현한 휴대단말장치
JP2015152985A (ja) 情報処理システム、サーバ装置、情報処理端末、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191009

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191009

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20200203