JP7303171B2 - 情報提供方法、プログラム及び情報提供装置 - Google Patents

情報提供方法、プログラム及び情報提供装置 Download PDF

Info

Publication number
JP7303171B2
JP7303171B2 JP2020180576A JP2020180576A JP7303171B2 JP 7303171 B2 JP7303171 B2 JP 7303171B2 JP 2020180576 A JP2020180576 A JP 2020180576A JP 2020180576 A JP2020180576 A JP 2020180576A JP 7303171 B2 JP7303171 B2 JP 7303171B2
Authority
JP
Japan
Prior art keywords
information
image
displayed
component
graphic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020180576A
Other languages
English (en)
Other versions
JP2022071548A (ja
Inventor
正英 小林
大祐 山岡
圭淳 根建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2020180576A priority Critical patent/JP7303171B2/ja
Priority to EP21204745.0A priority patent/EP3992009B1/en
Priority to US17/512,187 priority patent/US11734928B2/en
Priority to CN202111265488.7A priority patent/CN114500930A/zh
Publication of JP2022071548A publication Critical patent/JP2022071548A/ja
Application granted granted Critical
Publication of JP7303171B2 publication Critical patent/JP7303171B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/191—Highlight information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/199—Information management for avoiding maloperation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/55—Remote control arrangements
    • B60K2360/56—Remote control arrangements using mobile devices
    • B60K2360/566—Mobile devices displaying vehicle information

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Signal Processing (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)

Description

本発明は、情報提供方法、プログラム及び情報提供装置に関する。
特許文献１には、車両の情報を提供する車両の情報提供システムが開示されている。特許文献１では、車両の機器及び装備の問合せ対象箇所の写真が携帯端末によって撮影され、撮影された写真が携帯端末から処理サーバに送信される。処理サーバには、携帯端末から送信された写真が示す問合せ対象箇所を認識する認識サーバと、機器及び装備に関する説明を行う複数の説明情報を有するＦＡＱデータベースとが備えられている。処理サーバは、認識サーバによって認識された問合せ対象箇所に対応する説明情報をＦＡＱデータベースから選択して送信する。処理サーバから送信される説明情報は、車両に設けられた表示装置によって表示される。
特開２０１８－３６８１１号公報
しかしながら、特許文献１は、写真が示す問合せ対象箇所に対応する説明情報を表示装置によって表示することを単に開示しているに過ぎない。
本発明の目的は、車内の機器に関する情報をより良好に提供し得る情報提供方法、プログラム及び情報提供装置を提供することにある。
本発明の一態様による情報提供方法は、撮像部と表示部とを有する端末装置が、前記撮像部が撮像した車内の画像を前記表示部に表示する情報提供方法であって、前記車内には、複数の機器が設置され、複数の前記機器は、複数の種類に分類され、前記撮像部が撮像した前記車内の前記画像を取得する画像取得ステップと、前記画像を前記表示部に表示するとともに、複数の前記機器のうちの少なくとも１つが前記画像に含まれている場合に、前記機器に応じた図形を前記機器に重畳表示しつつ、前記機器が属する種類を示す情報も併せて表示する表示ステップと、を有する。
本発明の他の態様によるプログラムは、上記のような情報提供方法をコンピュータに実行させる。
本発明の更に他の態様による情報提供装置は、撮像部と表示部とを有し、前記撮像部が撮像した車内の画像を前記表示部に表示する情報提供装置であって、前記車内には、複数の機器が設置され、複数の前記機器は、複数の種類に分類され、前記撮像部が撮像した前記車内の前記画像を取得する画像取得部と、前記画像を前記表示部に表示するとともに、複数の前記機器のうちの少なくとも１つが前記画像に含まれている場合に、前記機器に応じた図形を前記機器に重畳表示しつつ、前記機器が属する種類を示す情報も併せて表示する表示制御部と、を備える。
本発明によれば、車内の機器に関する情報をより良好に提供し得る情報提供方法、プログラム及び情報提供装置を提供することができる。
一実施形態による情報提供システムを示すブロック図である。 表示部の表示画面に表示される画像の例を示す図である。 表示部の表示画面に表示される画像の例を示す図である。 表示部の表示画面に表示される画像の例を示す図である。 一実施形態による情報提供方法の例を示すフローチャートである。 一実施形態による情報提供方法の例を示すフローチャートである。 一実施形態による情報提供方法の例を示すフローチャートである。 一実施形態による情報提供方法の例を示すフローチャートである。 一実施形態による情報提供方法の例を示すフローチャートである。
本発明による情報提供方法、プログラム及び情報提供装置について、好適な実施形態を挙げ、添付の図面を参照して以下に詳細に説明する。
［一実施形態］
一実施形態による情報提供方法、プログラム及び情報提供装置について図１～図９を用いて説明する。図１は、本実施形態による情報提供システムを示すブロック図である。
本実施形態による情報提供システム１０は、端末装置（ユーザ端末、携帯端末、情報提供装置）１２と、サーバ装置（サーバ）１４とによって構成され得るが、これに限定されるものではない。
端末装置１２には、撮像部１６と、センサ群１８と、演算部２０と、記憶部２２と、通信装置２４と、操作部２６と、表示部２８とが備えられている。なお、端末装置１２には、これらの構成要素以外の構成要素も備えられ得るが、ここでは説明を省略する。サーバ装置１４には、演算部４８と、記憶部５０と、通信装置５２とが備えられている。なお、サーバ装置１４には、これらの構成要素以外の構成要素も備えられ得るが、ここでは説明を省略する。
端末装置１２には、本実施形態による情報提供方法をコンピュータに実行させるためのアプリケーションプログラムが予めインストールされる。アプリケーションプログラムの起動は、例えばユーザによる操作に基づいて行われ得る。
撮像部１６、即ち、カメラは、端末装置１２の少なくとも背面側に備えられ得る。撮像部１６を用いて取得される画像は、端末装置１２の正面側、即ち、前面側に備えられた表示部２８の表示画面２８Ａ（図２参照）に表示され得る。
センサ群１８には、例えば、加速度センサ３０と、ジャイロセンサ３２とが含まれ得る。加速度センサ３０は、例えば、３方向の加速度を同時に計測し得る。ジャイロセンサ３２、即ち、角速度センサは、例えば、３方向の角速度を同時に計測し得る。加速度センサ３０及びジャイロセンサ３２によって取得される情報に基づいて、端末装置１２の３次元の挙動が把握され得る。
演算部２０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等によって構成され得るが、これに限定されるものではない。演算部２０には、制御部３４と、画像取得部３６と、較正部３８と、位置姿勢判定部４０と、判定部４２と、表示制御部４４と、情報取得部４６とが備えられている。制御部３４と、画像取得部３６と、較正部３８と、位置姿勢判定部４０と、判定部４２と、表示制御部４４と、情報取得部４６とは、記憶部２２に記憶されているプログラムが演算部２０によって実行されることによって実現され得る。
記憶部２２には、不図示の揮発性メモリと、不図示の不揮発性メモリとが備えられている。揮発性メモリとしては、例えばＲＡＭ等が挙げられ得る。不揮発性メモリとしては、例えばＲＯＭ、フラッシュメモリ等が挙げられ得る。プログラム、テーブル、マップ等が、例えば不揮発性メモリに記憶され得る。
通信装置（通信部）２４には、例えば、携帯電話網に対応し得る不図示の通信モジュールが備えられている。通信装置２４は、電話網を介して通信を行い得る。通信装置２４は、サーバ装置１４に備えられた通信装置５２との間で中継局５４とネットワーク５６とを介して通信を行い得る。
操作部２６は、ユーザが端末装置１２を操作する際に用いられ得る。表示部２８には、不図示の表示素子が備えられている。表示素子としては、例えば、液晶表示素子、有機エレクトロルミネッセンス表示素子等が用いられ得る。このような表示素子が備えられた不図示のタッチパネルによって、操作部２６と表示部２８とが構成され得る。
制御部３４は、端末装置１２の全体の制御を司る。
画像取得部３６は、撮像部１６が撮像した車内の画像を取得し得る。
較正部３８は、較正処理を実行し得る。ユーザに対する情報提供を開始するに先立って、較正、即ち、キャリブレーションが行われ得る。かかる較正は、本実施形態によるアプリケーションプログラムが起動された状態で、例えば、車内１００（図２参照）に備えられた不図示のホームボタンを、端末装置１２の撮像部１６を用いて撮像することによって行われ得る。より具体的には、表示部２８の表示画面２８Ａの中心部にホームボタンが所定のサイズで表示されるように、ユーザが端末装置１２の撮像部１６を当該ホームボタンに正対させる。較正部３８は、ホームボタンを含む画像と、センサ群１８から供給される信号とに基づいて、端末装置１２の位置及び姿勢を判定し得る。端末装置１２の位置及び姿勢が予め決められた範囲内であると判定した場合、較正部３８は、較正が成功したと判定し、較正を完了させる。較正が完了すると、表示制御部４４は、較正が完了したことを示す情報を表示部２８の表示画面２８Ａに表示する。較正が完了したことを示す情報としては、例えば、不図示のチェックマーク等が挙げられ得る。
位置姿勢判定部４０は、端末装置１２の位置及び姿勢を判定し得る。位置姿勢判定部４０は、端末装置１２の位置及び姿勢に関する情報、即ち、位置姿勢情報を記憶部２２に格納する。位置姿勢判定部４０は、較正の際に得られた位置姿勢情報を基準にしつつ、画像取得部３６によって取得される画像と、センサ群１８から供給される信号とに基づいて、位置姿勢情報を随時更新する。
図２は、表示部の表示画面に表示される画像の例を示す図である。車両の室内、即ち、車内（車室内）１００が撮影された際に表示される画像の例が、図２には示されている。表示部２８の表示画面２８Ａには、図２に示すように、車内１００の画像が表示され得る。表示画面２８Ａの一部には、複数の操作ボタン６０Ａ～６０Ｃが表示され得る。操作ボタン６０Ａは、例えば、お役立ち情報ボタンである。操作ボタン６０Ｂは、例えば、警告灯一覧ボタンである。操作ボタン６０Ｃは、例えば、設定ボタンである。なお、操作ボタン６０Ａ～６０Ｃは、これらに限定されるものではない。操作ボタン６０Ａ、即ち、お役立ち情報ボタンは、ユーザにとって役に立つことが想定される情報が表示される画面に遷移するためのボタンである。操作ボタン６０Ｂ、即ち、警告灯一覧ボタンは、警告灯の一覧を表示する画面に遷移するためのボタンである。操作ボタン６０Ｃ、即ち、設定ボタンは、アプリケーションプログラムに関する様々な設定を行うための画面に遷移するためのボタンである。表示画面２８Ａには、再較正ボタン６０Ｄ、音声検索ボタン６０Ｅ等が更に表示され得るが、これに限定されるものではない。再較正ボタン６０Ｄは、再較正の実行を指示するためのボタンである。音声検索ボタン６０Ｅは、音声検索の実行を指示するためのボタンである。
図２に示すように、車内１００には、複数の機器１０２Ａ～１０２Ｏが設置されている。機器一般について説明する際には、符号１０２を用い、個々の機器について説明する際には、符号１０２Ａ～１０２Ｏを用いる。機器１０２Ａは、例えばインフォテイメントマルチ表示装置である。機器１０２Ｂは、例えば走行系モニタである。機器１０２Ｃ、１０２Ｄは、例えば走行系リアモニタである。機器１０２Ｅは、例えば、ステアリングホイールである。機器１０２Ｆは、例えばコンテンツマルチスイッチである。機器１０２Ｇは、例えば走行系スイッチである。機器１０２Ｈは、例えばインフォテイメントスイッチである。機器１０２Ｉは、例えば簡単駐車スイッチである。機器１０２Ｊは、例えばハザードスイッチである。機器１０２Ｋは、例えばエアコンディショナー、即ち、空調装置である。機器１０２Ｌは、例えばコンソール走行系スイッチである。機器１０２Ｍは、例えばＥＴＣ車載器である。機器１０２Ｎは、例えばサイドカメラミラーシステム調整スイッチである。機器１０２Ｏは、例えばドアノブである。
図２に示すように、本実施形態では、これらの機器１０２Ａ～１０２Ｏに応じた図形３１Ａ～３１Ｏをこれらの機器１０２Ａ～１０２Ｏに重畳表示しつつ、これらの機器１０２Ａ～１０２Ｏが属する種類を示す情報も併せて表示する。即ち、本実施形態では、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）表示が行われ得る。なお、図形一般について説明する際には、符号３１を用い、個々の図形について説明する際には、符号３１Ａ～３１Ｏを用いる。
判定部４２は、車内１００に設置された複数の機器１０２のうちの少なくとも１つが、画像取得部３６によって取得された画像に含まれているか否かを判定する。より具体的には、判定部４２は、拡張現実表示の対象となる機器１０２が当該画像に含まれているか否かを判定する。かかる判定は、位置姿勢判定部４０によって得られた位置姿勢情報と、画像取得部３６によって取得された画像とに基づいて行われ得る。拡張現実表示の対象となる機器１０２が当該画像に含まれているか否かを、画像取得部３６によって取得された画像のみならず、位置姿勢情報にも基づいて判定するのは、より正確な判定を行うためである。車内１００に設置された機器１０２を示す情報は、記憶部２２に予め記憶されている。より具体的には、車内１００に設置された複数の機器１０２の各々の位置情報、これらの機器１０２の各々の画像情報等が記憶部２２に予め記憶されている。判定部４２は、記憶部２２に記憶されたこれらの情報と、画像取得部３６によって取得された画像から得られる情報とを対比する。これにより、判定部４２は、車内１００に設置された複数の機器１０２のうちの少なくともいずれかが当該画像に含まれているか否かを判定し得る。また、判定部４２は、当該画像に含まれている機器１０２が、車内１００に設置された複数の機器１０２のうちのいずれの機器１０２であるかについても判定し得る。
車内１００に設置された複数の機器１０２は、複数の種類に予め分類されている。例えば、機器１０２に備えられた機能によって分類が行われ得るが、これに限定されるものではない。かかる種類としては、例えば、走行系、エンターテイメント系、快適系等が挙げられ得るが、これに限定されるものではない。走行系に分類される機器１０２は、車両の走行に関連する機器であり、例えば、速度計等が挙げられ得る。エンターテイメント系に分類される機器１０２は、エンターテイメントに関連する機器であり、例えば、音響機器等が挙げられ得る。快適系に分類される機器１０２は、車内１００における快適性を確保するための機器であり、例えば、空調装置等が挙げられ得る。
表示制御部４４は、画像取得部３６によって取得された画像を表示部２８の表示画面２８Ａに表示するとともに、車内１００に設置された複数の機器１０２のうちの少なくとも１つが当該画像に含まれている場合に、以下のような処理を行う。即ち、このような場合、表示制御部４４は、当該機器１０２に応じた図形３１を当該機器１０２に重畳表示しつつ、当該機器１０２が属する種類を示す情報も併せて表示する。
機器１０２に応じた図形３１は、例えば半透明の図形であるが、これに限定されるものではない。例えば、図形３１の輪郭のみを表示するようにしてもよい。
機器１０２が属する種類を示す情報は、例えば、当該種類に応じた色である。種類に応じた色の図形３１が機器１０２に重畳表示されるため、ユーザは、機器１０２の機能等を色に基づいて良好に把握し得る。例えば、走行系の機器１０２に対しては、例えば赤色の図形３１が用いられ得る。また、エンターテイメント系の機器１０２に対しては、例えば青色の図形３１が用いられ得る。また、快適系の機器１０２に対しては、例えば黄色の図形３１が用いられ得る。なお、機器１０２が属する種類を示す情報は、これに限定されるものではない。
機器１０２に応じた図形３１は、立体的な図形であることが好ましい。立体的な図形３１を表示することは、ユーザによる円滑な認識に資する。
また、機器１０２に応じた図形３１は、当該機器１０２のサイズに対応するサイズの図形であることが好ましい。当該機器１０２のサイズに対応するサイズの図形３１を表示することも、ユーザによる円滑な認識に資する。
また、機器１０２に応じた図形３１は、当該機器１０２の形状に対応する形状の図形であることが好ましい。当該機器１０２の形状に対応する形状の図形３１を表示することも、ユーザによる円滑な認識に資する。
なお、図２に示すように、当該機器１０２の名称等を、当該機器１０２に応じた図形３１とともに表示するようにしてもよい。
車内１００に設置された機器１０２には、当該機器１０２の一部を構成する構成部材（構成要素）１０４ＦＡ、１０４ＦＢ、１０４ＦＣ（図４参照）が複数備えられている場合もある。なお、構成部材一般について説明する際には、符号１０４を用い、機器１０２Ｆに備えられた個々の構成部材について説明する際には、符号１０４ＦＡ、１０４ＦＢ、１０４ＦＣを用いる。かかる構成部材１０４としては、操作スイッチ、操作ボタン、操作レバー等の操作部材が挙げられ得る。なお、構成部材１０４ＦＡは、セレクタホイールである。構成部材１０４ＦＢは、ホームスイッチである。構成部材１０４ＦＣは、発話スイッチである。また、構成部材１０４として、タコメータ等の表示器が挙げられ得る。なお、構成部材１０４は、これらに限定されるものではない。
機器１０２を構成する構成部材１０４が当該機器１０２に複数備えられているにもかかわらず、端末装置１２と機器１０２との間の距離が比較的大きい場合には、複数の構成部材１０４同士が接近した状態で画像に写る。このような場合に、複数の構成部材１０４の各々に関する情報６４ＦＡ～６４ＦＣ（図４参照）を複数の構成部材１０４の各々に対して単に表示した場合には、いずれの構成部材１０４に関する情報であるかが把握しにくい。情報一般について説明する際には、符号６４を用い、個々の情報について説明する際には、符号６４ＦＡ～６４ＦＣを用いる。一方、端末装置１２と機器１０２との間の距離が比較的小さい場合には、隣接する構成部材１０４同士が充分に離間した状態で画像に写る。このような場合には、複数の構成部材１０４の各々に関する情報６４を複数の構成部材１０４の各々に対して表示したとしても、いずれの構成部材１０４に関する情報６４であるかをユーザは良好に把握し得る。そこで、本実施形態では、機器１０２と端末装置１２との間の距離が第１距離閾値ＤＴＨ１以上である場合、構成部材１０４に関する情報６４を当該構成部材１０４に対して表示することなく、当該機器１０２に応じた図形３１を当該機器１０２に重畳表示する。一方、端末装置１２と機器１０２との間の距離が第１距離閾値ＤＴＨ１未満である場合、当該機器１０２に応じた図形３１を当該機器１０２に重畳表示することなく、当該機器１０２の構成部材１０４に関する情報６４を当該構成部材１０４に対して表示する。構成部材１０４に関する情報６４としては、例えば、当該構成部材１０４の名称等が挙げられ得るが、これに限定されるものではない。なお、端末装置１２と機器１０２との間の距離は、例えば撮像部１６に備えられた測距機能を用いて測定され得るが、これに限定されるものでない。
図３は、表示部の表示画面に表示される画像の例を示す図である。機器１０２Ｆと端末装置１２との間の距離が比較的大きい場合の画像の例が、図３には示されている。図３に示すように、表示制御部４４は、当該機器１０２Ｆを構成する構成部材１０４ＦＡ～１０４ＦＣ（図４参照）に関する情報６４ＦＡ～６４ＦＣを表示することなく、当該機器１０２Ｆに応じた図形３１Ｆを当該機器１０２Ｆに重畳表示する。機器１０２Ｆは、例えば、エンターテイメント系に属し得る。このため、図形３１Ｆは、例えば青色を用いて表示され得る。
図４は、表示部の表示画面に表示される画像の例を示す図である。機器１０２Ｆと端末装置１２との間の距離が比較的小さい場合に表示される画像の例が、図４には示されている。図４に示すように、表示制御部４４は、当該機器１０２Ｆ（図３参照）に応じた図形３１Ｆ（図３参照）を当該機器１０２Ｆに重畳表示することなく、当該機器１０２Ｆを構成する構成部材１０４ＦＡ～１０４ＦＣに関する情報６４ＦＡ～６４ＦＣを表示する。上述したように、機器１０２Ｆは、例えば、エンターテイメント系に属し得る。このため、構成部材１０４ＦＡ～１０４ＦＣに関する情報６４ＦＡ～６４ＦＣは、例えば青色を用いて表示され得る。
機器１０２に応じた図形３１を当該機器１０２に重畳させて表示している状態で、当該機器１０２と端末装置１２との間の距離が第１距離閾値ＤＴＨ１未満となった場合、表示制御部４４は、以下のような制御を行い得る。即ち、図３のような表示が行われている状態で、当該機器１０２と端末装置１２との間の距離が第１距離閾値ＤＴＨ１未満となった場合、表示制御部４４は、以下のような制御を行い得る。このような場合、表示制御部４４は、図４に示すように、当該機器１０２に応じた図形３１を非表示にするとともに、当該機器１０２を構成する構成部材１０４に関する情報６４を当該構成部材１０４に対して表示し得る。
機器１０２を構成する構成部材１０４に関する情報６４を表示している状態で、機器１０２と端末装置１２との間の距離が第１距離閾値ＤＴＨ１より大きい第２距離閾値ＤＴＨ２以上となった場合、表示制御部４４は、以下のような制御を行い得る。即ち、図４に示すような表示が行われている状態で、機器１０２と端末装置１２との間の距離が第１距離閾値ＤＴＨ１より大きい第２距離閾値ＤＴＨ２以上となった場合、表示制御部４４は、以下のような制御を行い得る。このような場合、表示制御部４４は、図３に示すように、当該機器１０２を構成する構成部材１０４に関する情報６４を非表示にするとともに、当該機器１０２に応じた図形３１を当該機器１０２に重畳表示し得る。
このように、機器１０２の構成部材１０４に関する情報６４を表示させる状態に遷移させる際の距離閾値と、当該機器１０２に応じた図形３１を当該機器１０２に重畳表示させる状態に遷移させる際の距離閾値とを互いに異ならせるようにしてもよい。このようにすれば、当該機器１０２から端末装置１２がある程度遠ざかったとしても、当該機器１０２を構成する構成部材１０４に関する情報６４が表示部２８の表示画面２８Ａに表示され続けるため、利便性の向上に資する。
機器１０２を構成する構成部材１０４に関する情報６４を表示している表示部２８がユーザによって継続して見られた時間が時間閾値ＴＴＨ以上である場合、表示制御部４４は、以下のような制御を行い得る。即ち、かかる場合、表示制御部４４は、当該機器１０２と端末装置１２との間の距離が第３距離閾値ＤＴＨ３以上となった際に、構成部材１０４に関する情報６４を非表示にするとともに、当該機器１０２に応じた図形３１を当該機器１０２に重畳表示する。一方、構成部材１０４に関する情報６４を表示している表示部２８がユーザによって継続して見られた時間が時間閾値ＴＴＨ未満である場合には、表示制御部４４は、以下のような処理を行い得る。即ち、このような場合、当該機器１０２と端末装置１２との間の距離が第４距離閾値ＤＴＨ４以上となった際に、構成部材１０４に関する情報６４を非表示にするとともに、当該機器１０２に応じた図形３１を当該機器１０２に重畳表示する。第４距離閾値ＤＴＨ４は、第３距離閾値ＤＴＨ３より小さく設定され得る。
このように、機器１０２を構成する構成部材１０４に関する情報６４を表示している表示部２８がユーザによって継続して見られた時間に基づいて、当該構成部材１０４に関する情報６４を非表示にした状態に遷移させる際の距離閾値を異ならせてもよい。このようにすれば、構成部材１０４に関する情報６４が比較的長時間に亘ってユーザによって見られていた場合、機器１０２から端末装置１２がある程度遠ざかったとしても、構成部材１０４に関する情報６４が表示部２８の表示画面２８Ａに表示され続ける。このため、利便性の向上に資する。
機器１０２に応じた図形３１を当該機器１０２に重畳表示している状態で、図形３１がユーザによって選択された場合、表示制御部４４は、選択された図形３１が重畳表示されていた当該機器１０２に関する詳細情報を表示部２８の表示画面２８Ａに表示し得る。より具体的には、以下のような処理が行われ得る。即ち、機器１０２に応じた図形３１が当該機器１０２に重畳表示されている状態で、当該図形３１がユーザによって選択された場合、情報取得部４６は、以下のような処理を行う。即ち、このような場合、情報取得部４６は、当該図形３１が重畳表示されていた当該機器１０２を示す識別情報を通信装置２４を介してサーバ装置１４に送信する。サーバ装置１４は、当該機器１０２に関する情報を、当該サーバ装置１４に備えられた記憶部５０から読み出し、当該サーバ装置１４に備えられた通信装置５２を介して端末装置１２に送信する。情報取得部４６は、当該機器１０２に関する詳細情報をサーバ装置１４から受信する。表示制御部４４は、当該機器１０２に関する詳細情報を表示部２８の表示画面２８Ａに表示する。なお、当該機器１０２に関する詳細情報が、端末装置１２に備えられた記憶部２２に既に格納されている場合には、かかる詳細情報をサーバ装置１４から取得することを要しない。このような場合には、情報取得部４６は、端末装置１２に備えられた記憶部２２から、かかる詳細情報を取得し得る。
上述したように、機器１０２には、当該機器１０２を構成する構成部材１０４が複数備えられている場合がある。当該機器１０２に複数の構成部材１０４が備えられているか否かについての情報は、記憶部２２に予め記憶されている。複数の構成部材１０４が備えられた機器１０２に対して当該機器１０２に応じた図形３１を重畳表示している状態で、当該図形３１がユーザによって選択された場合、表示制御部４４は、以下のような処理を行う。即ち、このような場合、表示制御部４４は、選択された図形３１が重畳表示されていた当該機器１０２を構成する複数の構成部材１０４に関する詳細情報の一覧を表示部２８の表示画面２８Ａに表示し得る。より具体的には、以下のような処理が行われ得る。即ち、複数の構成部材１０４が備えられた機器１０２に重畳表示された図形３１がユーザによって選択された場合、情報取得部４６は、当該図形３１が重畳表示されていた機器１０２を示す識別情報を、通信装置２４を介してサーバ装置１４に送信する。サーバ装置１４は、当該機器１０２に備えられた複数の構成部材１０４に関する詳細情報の一覧を、当該サーバ装置１４に備えられた記憶部５０から読み出し、当該サーバ装置１４に備えられた通信装置５２を介して端末装置１２に送信する。情報取得部４６は、当該機器１０２に備えられた複数の構成部材１０４に関する詳細情報の一覧を、サーバ装置１４から受信する。表示制御部４４は、当該機器１０２に備えられた複数の構成部材１０４に関する詳細情報の一覧を表示部２８の表示画面２８Ａに表示する。なお、当該機器１０２に備えられた複数の構成部材１０４に関する詳細情報の一覧が、端末装置１２に備えられた記憶部２２に既に格納されている場合には、かかる詳細情報の一覧をサーバ装置１４から取得することを要しない。このような場合には、情報取得部４６は、端末装置１２に備えられた記憶部２２から、かかる詳細情報の一覧を取得し得る。なお、詳細情報の一覧が表示部２８の表示画面２８Ａに表示された場合、ユーザは、表示画面２８Ａに対して適宜スクロールの操作を行うことによって、詳細情報の一覧に含まれる複数の詳細情報のうちの必要な詳細情報を見る。
図４に示すように、表示制御部４４は、機器１０２を構成する構成部材１０４に関する情報６４とともに、当該構成部材１０４に関する詳細情報の表示を指示するためのアイコン６６を表示し得る。表示制御部４４は、当該構成部材１０４に関する情報６４と、かかるアイコン６６とを、ボックス６２ＦＡ～６２ＦＣ内に表示し得る。ボックス一般について説明する際には、符号６２を用い、個々のボックスについて説明する際には、符号６２ＦＡ～６２ＦＣを用いる。表示制御部４４は、当該ボックス６２に吹き出し７４を付して表示し得る。表示制御部４４は、吹き出し７４の先端を、当該ボックス６２に対応する構成部材１０４に位置させ得る。
機器１０２に備えられた構成部材１０４に関する情報６４を表示している状態で、構成部材１０４の詳細情報の表示を指示するためのアイコン６６がユーザによって選択された場合、表示制御部４４は、当該構成部材１０４に関する詳細情報を表示部２８に表示する。より具体的には、以下のような処理が行われ得る。即ち、このような場合、情報取得部４６は、当該構成部材１０４を示す識別情報を、通信装置２４を介してサーバ装置１４に送信する。サーバ装置１４は、当該構成部材１０４に関する詳細情報を、当該サーバ装置１４に備えられた記憶部５０から読み出し、当該サーバ装置１４に備えられた通信装置５２を介して端末装置１２に送信する。情報取得部４６は、当該構成部材１０４に関する詳細情報をサーバ装置１４から受信する。表示制御部４４は、当該構成部材１０４に関する詳細情報を表示部２８の表示画面２８Ａに表示する。なお、当該構成部材１０４に関する詳細情報が、端末装置１２に備えられた記憶部２２に既に格納されている場合には、かかる詳細情報をサーバ装置１４から改めて取得することを要しない。このような場合には、情報取得部４６は、端末装置１２に備えられた記憶部２２から、かかる詳細情報を取得し得る。
表示制御部４４は、画像に写っている機器１０２によって隠された機器１０２に関する情報６４を、画像に写っている機器１０２に関する情報６４よりも小さく表示部２８の表示画面２８Ａに表示し得る。例えば、図４に示す例においては、画像に写っている機器１０２Ｆによって機器１０２Ｍが隠されている。このような場合、表示制御部４４は、隠された機器１０２Ｍに関する情報６４Ｍを、画像に写っている機器１０２Ｆに関する情報６４ＦＡ～６４ＦＣよりも小さく表示部２８の表示画面２８Ａに表示する。即ち、表示制御部４４は、隠された機器１０２Ｍに関する情報６４Ｍを、画像に写っている機器１０２Ｆを構成する構成部材１０４ＦＡ～１０４ＦＣに関する情報６４ＦＡ～６４ＦＣよりも小さく表示部２８の表示画面２８Ａに表示する。これにより、画像に写っている機器１０２に関する情報６４であるのか、隠された機器１０２に関する情報６４であるのかを、ユーザは良好に把握することができる。
表示制御部４４は、隠された機器１０２に関する情報６４を非表示にするための操作がユーザによって行われた場合、隠された機器１０２に関する情報６４を非表示にし得る。隠された機器１０２に関する情報６４を非表示にするための操作としては、例えば、隠された機器１０２に関する情報６４を非表示にするための非表示ボタン７６の選択等が挙げられ得る。また、隠された機器１０２に関する情報６４を非表示にするための操作として、隠された機器１０２に関する情報６４が示されたボックス６２に対するスワイプ操作等が挙げられ得る。例えば、図４に示す例においては、非表示ボタン７６がユーザによって選択された場合には、表示制御部４４は、隠された機器１０２Ｍに関する情報６４Ｍを非表示にする。また、図４に示す例においては、ボックス６２Ｍに対するスワイプ操作が行われた場合には、表示制御部４４は、隠された機器１０２Ｍに関する情報６４Ｍを非表示にする。
表示制御部４４は、画像に写っている機器１０２に関する情報６４を非表示にするための操作がユーザによって行われた場合、当該機器１０２に関する情報６４を非表示にし得る。画像に写っている機器１０２に関する情報６４を非表示にするための操作としては、例えば、当該機器１０２に関する情報６４を非表示にするための非表示ボタン７６の選択等が挙げられ得る。また、当該機器１０２に関する情報６４を非表示にするための操作として、当該機器１０２に関する情報６４が示されたボックス６２に対するスワイプ操作等が挙げられ得る。例えば、図４に示す例においては、構成部材１０４ＦＡ～１０４ＦＣに重畳表示されている非表示ボタン７６がユーザによって選択された場合には、表示制御部４４は、当該機器１０２Ｆに関する情報６４ＦＡ～６４ＦＣを非表示にする。また、図４に示す例においては、ボックス６２ＦＡ～６２ＦＣに対するスワイプ操作が行われた場合には、表示制御部４４は、当該機器１０２Ｆに関する情報６４ＦＡ～６４ＦＣを非表示にする。
表示制御部４４は、画像に写っている機器１０２によって隠された複数の機器１０２の各々に関する情報６４を一括して非表示にするための不図示の一括非表示ボタンを表示部２８の表示画面２８Ａに表示し得る。このような一括非表示ボタンがユーザによって選択された場合、表示制御部４４は、複数の隠された機器１０２の各々に関する情報６４を一括して非表示にし得る。
次に、本実施形態による情報提供方法の例について図５を用いて説明する。図５は、本実施形態による情報提供方法の例を示すフローチャートである。
まず、ステップＳ１において、画像取得部３６は、撮像部１６を用いて得られた画像を取得する。この後、ステップＳ２に遷移する。
ステップＳ２において、判定部４２は、車内１００に設置された複数の機器１０２のうちの少なくとも１つが、画像取得部３６によって取得された画像に含まれているか否かを判定する。車内１００に設置された複数の機器１０２のうちの少なくとも１つが当該画像に含まれている場合（ステップＳ２においてＹＥＳ）、より具体的には、拡張現実表示の対象となる機器１０２が画像に含まれている場合、ステップＳ３に遷移する。車内１００に設置された複数の機器１０２のうちの少なくとも１つが当該画像に含まれていない場合（ステップＳ２においてＮＯ）、ステップＳ６に遷移する。
ステップＳ３において、制御部３４は、機器１０２と端末装置１２との間の距離が第１距離閾値ＤＴＨ１未満であるか否かを判定する。機器１０２と端末装置１２との間の距離が第１距離閾値ＤＴＨ１未満である場合（ステップＳ３においてＹＥＳ）、ステップＳ４に遷移する。機器１０２と端末装置１２との間の距離が第１距離閾値ＤＴＨ１以上である場合（ステップＳ３においてＮＯ）、ステップＳ５に遷移する。
ステップＳ４において、表示制御部４４は、機器１０２に応じた図形３１を当該機器１０２に重畳表示することなく、当該機器１０２を構成する構成部材１０４に関する情報６４を当該構成部材１０４に対して表示する。ステップＳ４が完了した場合、図５に示す処理は終了する。
ステップＳ５において、表示制御部４４は、機器１０２を構成する構成部材１０４に関する情報６４を表示することなく、当該機器１０２に応じた図形３１を当該機器１０２に重畳表示する。ステップＳ５が完了した場合、図５に示す処理は完了する。
ステップＳ６において、表示制御部４４は、機器１０２に応じた図形３１も、当該機器１０２を構成する構成部材１０４に関する情報６４も表示部２８に表示することなく、画像取得部３６によって取得された画像を表示部２８に表示する。ステップＳ６が完了した場合、図５に示す処理は完了する。
次に、本実施形態による情報提供方法の例について図６を用いて説明する。図６は、本実施形態による情報提供方法の例を示すフローチャートである。
まず、ステップＳ１、Ｓ２は、上述したステップＳ１、Ｓ２と同様であるため、説明を省略する。車内１００に設置された複数の機器１０２のうちの少なくとも１つが画像取得部３６によって取得された画像に含まれている場合（ステップＳ２においてＹＥＳ）、ステップＳ１１に遷移する。車内１００に設置された複数の機器１０２のうちの少なくとも１つが当該画像に含まれていない場合（ステップＳ２においてＮＯ）、ステップＳ６に遷移する。
ステップＳ１１において、表示制御部４４は、当該機器１０２に応じた図形３１を当該機器１０２に重畳表示することなく、当該機器１０２を構成する構成部材１０４に関する情報６４が当該構成部材１０４に対して表示されているか否かを判定する。当該機器１０２に応じた図形３１を当該機器１０２に重畳表示することなく、当該機器１０２を構成する構成部材１０４に関する情報６４が表示されている場合（ステップＳ１１においてＹＥＳ）、ステップＳ１２に遷移する。当該機器１０２を構成する構成部材１０４に関する情報６４を表示することなく、当該機器１０２に応じた図形３１が当該機器１０２に重畳表示されている場合（ステップＳ１１においてＮＯ）、図６に示す処理が完了する。
ステップＳ１２において、制御部３４は、機器１０２と端末装置１２との間の距離が第２距離閾値ＤＴＨ２以上となったか否かを判定する。機器１０２と端末装置１２との間の距離が第２距離閾値ＤＴＨ２未満である場合（ステップＳ１２においてＮＯ）、ステップＳ４に遷移する。機器１０２と端末装置１２との間の距離が第２距離閾値ＤＴＨ２以上となった場合（ステップＳ１２においてＹＥＳ）、ステップＳ５に遷移する。
ステップＳ４～Ｓ６は、上述したステップＳ４～Ｓ６と同様であるため、説明を省略する。
こうして、図６に示す処理が行われ得る。
次に、本実施形態による情報提供方法の例について図７を用いて説明する。図７は、本実施形態による情報提供方法の例を示すフローチャートである。
まず、ステップＳ１、Ｓ２、Ｓ１１は、上述したステップＳ１、Ｓ２、Ｓ１１と同様であるため、説明を省略する。当該機器１０２に応じた図形３１を当該機器１０２に重畳表示することなく、当該機器１０２を構成する構成部材１０４に関する情報６４が表示されている場合（ステップＳ１１においてＹＥＳ）、ステップＳ２１に遷移する。当該機器１０２を構成する構成部材１０４に関する情報６４を表示することなく、当該機器１０２に応じた図形３１が当該機器１０２に重畳表示されている場合（ステップＳ１１においてＮＯ）、図７に示す処理が完了する。
ステップＳ２１において、制御部３４は、当該機器１０２を構成する構成部材１０４に関する情報６４を表示している表示部２８がユーザによって継続して見られた時間が時間閾値ＴＴＨ以上であるか否かを判定する。構成部材１０４に関する情報６４を表示している表示部２８がユーザによって継続して見られた時間が時間閾値ＴＴＨ以上である場合（ステップＳ２１においてＹＥＳ）、ステップＳ２２に遷移する。構成部材１０４に関する情報６４を表示している表示部２８がユーザによって継続して見られた時間が時間閾値ＴＴＨ未満である場合（ステップＳ２１においてＮＯ）、ステップＳ２３に遷移する。
ステップＳ２２において、制御部３４は、機器１０２と端末装置１２との間の距離が第３距離閾値ＤＴＨ３以上となったか否かを判定する。機器１０２と端末装置１２との間の距離が第３距離閾値ＤＴＨ３以上となった場合（ステップＳ２２においてＹＥＳ）、ステップＳ５に遷移する。機器１０２と端末装置１２との間の距離が第３距離閾値ＤＴＨ３未満である場合（ステップＳ２２においてＮＯ）、ステップＳ４に遷移する。
ステップＳ２３において、制御部３４は、機器１０２と端末装置１２との間の距離が第４距離閾値ＤＴＨ４以上となったか否かを判定する。機器１０２と端末装置１２との間の距離が第４距離閾値ＤＴＨ４以上となった場合（ステップＳ２３においてＹＥＳ）、ステップＳ５に遷移する。機器１０２と端末装置１２との間の距離が第４距離閾値ＤＴＨ４未満である場合（ステップＳ２３においてＮＯ）、ステップＳ４に遷移する。
ステップＳ４～Ｓ６は、上述したステップＳ４～Ｓ６と同様であるため、説明を省略する。
こうして、図７に示す処理が行われ得る。
次に、本実施形態による情報提供方法の例について図８を用いて説明する。図８は、本実施形態による情報提供方法の例を示すフローチャートである。
ステップＳ３１において、表示制御部４４は、機器１０２に応じた図形３１が当該機器１０２に重畳表示されているか否かを判定する。当該機器１０２に応じた図形３１が当該機器１０２に重畳表示されている場合（ステップＳ３１においてＹＥＳ）、ステップＳ３３に遷移する。当該機器１０２に応じた図形３１が当該機器１０２に重畳表示されていない場合（ステップＳ３１においてＮＯ）、ステップＳ３２に遷移する。
ステップＳ３２において、表示制御部４４は、当該機器１０２を構成する構成部材１０４に関する情報６４が表示部２８に表示されているか否かを判定する。機器１０２を構成する構成部材１０４に関する情報６４が表示部２８に表示されている場合（ステップＳ３２においてＹＥＳ）、ステップＳ３４に遷移する。機器１０２を構成する構成部材１０４に関する情報６４が表示部２８に表示されていない場合（ステップＳ３２においてＮＯ）、図８に示す処理が完了する。
ステップＳ３３において、表示制御部４４は、機器１０２に応じた図形３１がユーザによって選択されたか否かを判定する。機器１０２に応じた図形３１がユーザによって選択された場合（ステップＳ３３においてＹＥＳ）、ステップＳ３５に遷移する。機器１０２に応じた図形３１がユーザによって選択されていない場合（ステップＳ３３においてＮＯ）、ステップＳ３１以降の処理が繰り返される。
ステップＳ３４において、表示制御部４４は、機器１０２を構成する構成部材１０４に関する詳細情報の表示を指示するためのアイコン６６がユーザによって選択されたか否かを判定する。かかるアイコン６６がユーザによって選択された場合（ステップＳ３４においてＹＥＳ）、ステップＳ３８に遷移する。かかるアイコン６６がユーザによって選択されていない場合（ステップＳ３４においてＮＯ）、図８に示す処理が完了する。
ステップＳ３５において、表示制御部４４は、機器１０２を構成する構成部材１０４が当該機器１０２に複数備えられているか否かを判定する。当該機器１０２に構成部材１０４が複数備えられている場合（ステップＳ３５においてＹＥＳ）、ステップＳ３７に遷移する。当該機器１０２に備えられている構成部材１０４が複数ではない場合（ステップＳ３５においてＮＯ）、ステップＳ３６に遷移する。
ステップＳ３６において、表示制御部４４は、ユーザによって選択された図形３１が重畳表示されていた機器１０２に関する詳細情報を表示部２８の表示画面２８Ａに表示する。
ステップＳ３７において、表示制御部４４は、ユーザによって選択された図形３１が重畳表示されていた機器１０２を構成する複数の構成部材１０４に関する詳細情報の一覧を表示部２８の表示画面２８Ａに表示する。
ステップＳ３８において、表示制御部４４は、機器１０２を構成する構成部材１０４に関する詳細情報、即ち、アイコン６６の選択が行われた構成部材１０４に関する詳細情報を表示部２８の表示画面２８Ａに表示する。
こうして、図８に示す処理が行われ得る。
次に、本実施形態による情報提供方法の例について図９を用いて説明する。図９は、本実施形態による情報提供方法の例を示すフローチャートである。
ステップＳ４１において、表示制御部４４は、画像に写っている機器１０２によって隠された機器１０２が存在するか否かを判定する。画像に写っている機器１０２によって隠された機器１０２が存在する場合（ステップＳ４１においてＹＥＳ）、ステップＳ４２に遷移する。画像に写っている機器１０２によって隠された機器１０２が存在しない場合（ステップＳ４１においてＮＯ）、図９に示す処理が完了する。
ステップＳ４２において、表示制御部４４は、隠された機器１０２に関する情報６４を、画像に写っている機器１０２に関する情報６４よりも小さく表示部２８の表示画面２８Ａに表示する。この後、ステップＳ４３に遷移する。
ステップＳ４３において、表示制御部４４は、隠された機器１０２に関する情報６４を非表示にするための非表示ボタン７６の選択がユーザによって行われたか否かを判定する。隠された機器１０２に関する情報６４を非表示にするための非表示ボタン７６の選択がユーザによって行われた場合（ステップＳ４３においてＹＥＳ）、ステップＳ４６に遷移する。隠された機器１０２に関する情報６４を非表示にするための非表示ボタン７６の選択がユーザによって行われていない場合（ステップＳ４３においてＮＯ）、ステップＳ４４に遷移する。
ステップＳ４４において、表示制御部４４は、隠された機器１０２に関する情報６４が表示されたボックス６２に対するスワイプ操作がユーザによって行われたか否かを判定する。ボックス６２に対するスワイプ操作がユーザによって行われた場合（ステップＳ４４においてＹＥＳ）、ステップＳ４６に遷移する。ボックス６２に対するスワイプ操作がユーザによって行われていない場合（ステップＳ４４においてＮＯ）、ステップＳ４５に遷移する。
ステップＳ４５において、表示制御部４４は、隠された複数の機器１０２の各々に関する情報６４を一括して非表示にするための不図示の一括非表示ボタンがユーザによって選択されたか否かを判定する。一括非表示ボタンがユーザによって選択された場合（ステップＳ４５においてＹＥＳ）、ステップＳ４６に遷移する。一括非表示ボタンがユーザによって選択されていない場合（ステップＳ４５においてＮＯ）、図９に示す処理が完了する。
ステップＳ４６において、表示制御部４４は、隠された機器１０２に関する情報６４を非表示にする。非表示ボタン７６の選択又はボックス６２に対するスワイプ操作がユーザによって行われた場合には、当該隠された機器１０２に関する情報６４を非表示にする。一括非表示ボタンがユーザによって選択された場合には、隠された複数の機器１０２の各々に関する情報６４を一括して非表示にする。
こうして、図９に示す処理が完了する。
このように、本実施形態によれば、車内１００に設置された複数の機器１０２のうちの少なくとも１つが画像に含まれている場合に、当該機器１０２に応じた図形３１を当該機器１０２に重畳表示しつつ、当該機器１０２が属する種類を示す情報も併せて表示する。このため、本実施形態によれば、車内１００の機器１０２に関する情報をより良好に提供することができる。
本発明についての好適な実施形態を上述したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、種々の改変が可能である。
上記実施形態をまとめると以下のようになる。
情報提供方法は、撮像部（１６）と表示部（２８）とを有する端末装置（１２）が、前記撮像部が撮像した車内（１００）の画像を前記表示部に表示する情報提供方法であって、前記車内には、複数の機器（１０２Ａ～１０２Ｏ）が設置され、複数の前記機器は、複数の種類に分類され、前記撮像部が撮像した前記車内の前記画像を取得する画像取得ステップ（Ｓ１）と、前記画像を前記表示部に表示するとともに、複数の前記機器のうちの少なくとも１つが前記画像に含まれている場合に、前記機器に応じた図形（３１Ａ～３１Ｏ）を前記機器に重畳表示しつつ、前記機器が属する種類を示す情報も併せて表示する表示ステップ（Ｓ５）と、を有する。このような構成によれば、車内に設置された複数の機器のうちの少なくとも１つが画像に含まれている場合に、当該機器に応じた図形が当該機器に重畳表示され、当該機器が属する種類を示す情報も併せて表示される。このため、このような構成によれば、車内の機器に関する情報をより良好に提供し得る。
前記図形は、半透明の図形であるようにしてもよい。
前記機器が属する前記種類を示す情報は、前記種類に応じた色であるようにしてもよい。種類に応じた色の図形が機器に重畳表示されるため、ユーザは、機器の機能等を色に基づいて良好に把握し得る。
前記図形は、立体的な図形であるようにしてもよい。立体的な図形を表示することは、ユーザによる円滑な認識に資する。
前記図形は、前記機器のサイズに対応するサイズの図形であるようにしてもよい。機器のサイズに対応するサイズの図形を表示することは、ユーザによる円滑な認識に資する。
前記図形は、前記機器の形状に対応する形状の図形であるようにしてもよい。機器の形状に対応する形状の図形を表示することは、ユーザによる円滑な認識に資する。
前記機器には、前記機器の一部を構成する構成部材（１０４ＦＡ～１０４ＦＣ）が備えられており、前記表示ステップ（Ｓ４、Ｓ５）では、前記機器と前記端末装置との間の距離が第１距離閾値（ＤＴＨ１）以上である場合には、前記構成部材に関する情報を前記構成部材に対して表示することなく、前記図形を前記機器に重畳表示し、前記機器と前記端末装置との間の前記距離が前記第１距離閾値未満である場合には、前記図形を表示することなく、前記構成部材に関する情報を前記構成部材に対して表示するようにしてもよい。このような構成によれば、機器と端末装置との間の距離が第１距離閾値以上である場合には、構成部材に関する情報が構成部材に対して表示されることなく、図形が機器に重畳表示される。このような構成によれば、複数の構成部材の情報が接近して表示されるのを防止することができる。また、このような構成によれば、機器と端末装置との間の距離が第１距離閾値未満である場合には、図形が重畳表示されることなく、構成部材に関する情報が当該構成部材に対して表示される。機器と端末装置との間の距離が第１距離閾値未満である場合には、隣接する構成部材同士が充分に離間した状態で画像に写るため、複数の構成部材の情報が表示されたとしても、これらの情報をユーザは良好に把握し得る。
前記機器には、前記機器の一部を構成する構成部材が備えられており、前記表示ステップでは、前記図形を前記機器に重畳表示している状態で、前記機器と前記端末装置との間の距離が第１距離閾値未満となった場合に、前記図形を非表示にするとともに、前記構成部材に関する情報を前記構成部材に対して表示し、前記構成部材に関する情報を前記構成部材に対して表示している状態で、前記機器と前記端末装置との間の前記距離が前記第１距離閾値より大きい第２距離閾値（ＤＴＨ２）以上となった場合に、前記構成部材に関する情報を非表示にするとともに、前記図形を前記機器に重畳表示するようにしてもよい。このような構成によれば、機器から端末装置がある程度遠ざかったとしても、機器を構成する構成部材に関する情報が表示部の表示画面に表示され続けるため、利便性の向上に資する。
前記機器には、前記機器の一部を構成する構成部材が備えられており、前記表示ステップでは、前記構成部材に関する情報を表示している前記表示部がユーザによって継続して見られた時間が時間閾値（ＴＴＨ）以上である場合には、前記機器と前記端末装置との間の距離が第３距離閾値（ＤＴＨ３）以上となった際に、前記構成部材に関する情報を非表示にするとともに、前記図形を前記機器に重畳表示し、前記構成部材に関する情報を表示している前記表示部がユーザによって継続して見られた時間が前記時間閾値未満である場合には、前記機器と前記端末装置との間の前記距離が前記第３距離閾値より小さい第４距離閾値（ＤＴＨ４）以上となった際に、前記構成部材に関する情報を非表示にするとともに、前記図形を前記機器に重畳表示するようにしてもよい。このような構成によれば、構成部材に関する情報が比較的長時間に亘ってユーザによって見られていた場合、機器から端末装置がある程度遠ざかったとしても、当該構成部材に関する情報が表示部の表示画面に表示され続ける。このため、利便性の向上に資する。
前記表示ステップでは、前記図形を前記機器に重畳表示している状態で、前記図形がユーザによって選択された場合には、選択された前記図形が重畳表示されていた前記機器に関する詳細情報を前記表示部に表示するようにしてもよい。
前記機器に前記構成部材が複数備えられており、且つ、前記図形を前記機器に重畳表示している状態で、前記図形がユーザによって選択された場合には、前記表示ステップでは、選択された前記図形が重畳表示されていた前記機器に備えられた複数の前記構成部材に関する詳細情報の一覧を前記表示部に表示するようにしてもよい。
前記表示ステップでは、前記機器に備えられた前記構成部材に関する情報を表示している状態で、前記構成部材の詳細情報の表示を指示するためのアイコン（６６）がユーザによって選択された場合には、前記構成部材に関する詳細情報を前記表示部に表示するようにしてもよい。
前記表示ステップでは、前記画像に写っている前記機器（１０２）によって隠された機器（１０２Ｍ）に関する情報（６４Ｍ）を、前記画像に写っている前記機器に関する情報（６４ＦＡ～６４ＦＣ）よりも小さく前記表示部に表示するようにしてもよい。このような構成によれば、画像に写っている機器に関する情報であるのか、隠された機器に関する情報であるのかを、ユーザは良好に把握することができる。
前記表示ステップでは、前記隠された機器に関する情報を非表示にするための操作がユーザによって行われた場合に、前記隠された機器に関する情報を非表示にするようにしてもよい。このような構成によれば、ユーザは、表示が不要な情報を適宜非表示にすることができる。
前記隠された機器に関する情報を非表示にするための操作は、前記隠された機器に関する情報を非表示にするための非表示ボタン（７６）の選択であるようにしてもよい。
前記隠された機器に関する情報を非表示にするための操作は、前記隠された機器に関する情報が示されたボックス（６２Ｍ）に対するスワイプ操作であるようにしてもよい。
前記表示ステップでは、前記画像に写っている前記機器によって隠された複数の前記機器の各々に関する情報を一括して非表示にするための一括非表示ボタンを表示し、前記一括非表示ボタンがユーザによって選択された場合に、複数の前記隠された機器の各々に関する情報を一括して非表示にするようにしてもよい。
プログラムは、上記のような情報提供方法をコンピュータに実行させる。
情報提供装置（１２）は、撮像部と表示部とを有し、前記撮像部が撮像した車内の画像を前記表示部に表示する情報提供装置であって、前記車内には、複数の機器が設置され、複数の前記機器は、複数の種類に分類され、前記撮像部が撮像した前記車内の前記画像を取得する画像取得部（３６）と、前記画像を前記表示部に表示するとともに、複数の前記機器のうちの少なくとも１つが前記画像に含まれている場合に、前記機器に応じた図形を前記機器に重畳表示しつつ、前記機器が属する種類を示す情報も併せて表示する表示制御部（４４）と、を備える。
１０：情報提供システム １２：端末装置
１４：サーバ装置 １６：撮像部
１８：センサ群 ２０、４８：演算部
２２、５０：記憶部 ２４、５２：通信装置
２６：操作部 ２８：表示部
２８Ａ：表示画面 ３０：加速度センサ
３１Ａ～３１Ｏ：図形 ３２：ジャイロセンサ
３４：制御部 ３６：画像取得部
３８：較正部 ４０：位置姿勢判定部
４２：判定部 ４４：表示制御部
４６：情報取得部 ５４：中継局
５６：ネットワーク ６０Ａ～６０Ｃ：操作ボタン
６０Ｄ：再較正ボタン ６０Ｅ：音声検索ボタン
６２ＦＡ～６２ＦＣ、６２Ｍ：ボックス
６４ＦＡ～６４ＦＣ、６４Ｍ：情報 ６６：アイコン
７４：吹き出し ７６：非表示ボタン
１００：車内 １０２Ａ～１０２Ｏ：機器
１０４ＦＡ～１０４ＦＣ：構成部材

Claims (20)

  1. 撮像部と表示部とを有する端末装置が、前記撮像部が撮像した車内の画像を前記表示部に表示する情報提供方法であって、
    前記車内には、複数の機器が設置され、
    複数の前記機器は、複数の種類に分類され、
    前記撮像部が撮像した前記車内の前記画像を取得する画像取得ステップと、
    前記画像を前記表示部に表示するとともに、複数の前記機器のうちの少なくとも１つが前記画像に含まれている場合に、前記機器に応じた図形を前記機器に重畳表示しつつ、前記機器が属する種類を示す情報も併せて表示する表示ステップと、
    を有し、
    前記機器には、前記機器の一部を構成する構成部材が備えられており、
    前記表示ステップでは、前記機器と前記端末装置との間の距離が第１距離閾値以上である場合には、前記構成部材に関する情報を前記構成部材に対して表示することなく、前記図形を前記機器に重畳表示し、前記機器と前記端末装置との間の前記距離が前記第１距離閾値未満である場合には、前記図形を表示することなく、前記構成部材に関する情報を前記構成部材に対して表示する、情報提供方法。
  2. 撮像部と表示部とを有する端末装置が、前記撮像部が撮像した車内の画像を前記表示部に表示する情報提供方法であって、
    前記車内には、複数の機器が設置され、
    複数の前記機器は、複数の種類に分類され、
    前記撮像部が撮像した前記車内の前記画像を取得する画像取得ステップと、
    前記画像を前記表示部に表示するとともに、複数の前記機器のうちの少なくとも１つが前記画像に含まれている場合に、前記機器に応じた図形を前記機器に重畳表示しつつ、前記機器が属する種類を示す情報も併せて表示する表示ステップと、
    を有し、
    前記機器には、前記機器の一部を構成する構成部材が備えられており、
    前記表示ステップでは、前記図形を前記機器に重畳表示している状態で、前記機器と前記端末装置との間の距離が第１距離閾値未満となった場合に、前記図形を非表示にするとともに、前記構成部材に関する情報を前記構成部材に対して表示し、前記構成部材に関する情報を前記構成部材に対して表示している状態で、前記機器と前記端末装置との間の前記距離が前記第１距離閾値より大きい第２距離閾値以上となった場合に、前記構成部材に関する情報を非表示にするとともに、前記図形を前記機器に重畳表示する、情報提供方法。
  3. 撮像部と表示部とを有する端末装置が、前記撮像部が撮像した車内の画像を前記表示部に表示する情報提供方法であって、
    前記車内には、複数の機器が設置され、
    複数の前記機器は、複数の種類に分類され、
    前記撮像部が撮像した前記車内の前記画像を取得する画像取得ステップと、
    前記画像を前記表示部に表示するとともに、複数の前記機器のうちの少なくとも１つが前記画像に含まれている場合に、前記機器に応じた図形を前記機器に重畳表示しつつ、前記機器が属する種類を示す情報も併せて表示する表示ステップと、
    を有し、
    前記機器には、前記機器の一部を構成する構成部材が備えられており、
    前記表示ステップでは、前記構成部材に関する情報を表示している前記表示部がユーザによって継続して見られた時間が時間閾値以上である場合には、前記機器と前記端末装置との間の距離が第３距離閾値以上となった際に、前記構成部材に関する情報を非表示にするとともに、前記図形を前記機器に重畳表示し、前記構成部材に関する情報を表示している前記表示部がユーザによって継続して見られた時間が前記時間閾値未満である場合には、前記機器と前記端末装置との間の前記距離が前記第３距離閾値より小さい第４距離閾値以上となった際に、前記構成部材に関する情報を非表示にするとともに、前記図形を前記機器に重畳表示する、情報提供方法。
  4. 請求項１～３のいずれか１項に記載の情報提供方法において、
    前記表示ステップでは、前記図形を前記機器に重畳表示している状態で、前記図形がユーザによって選択された場合には、選択された前記図形が重畳表示されていた前記機器に関する詳細情報を前記表示部に表示する、情報提供方法。
  5. 請求項４に記載の情報提供方法において、
    前記機器に前記構成部材が複数備えられており、且つ、前記図形を前記機器に重畳表示している状態で、前記図形がユーザによって選択された場合には、前記表示ステップでは、選択された前記図形が重畳表示されていた前記機器に備えられた複数の前記構成部材に関する詳細情報の一覧を前記表示部に表示する、情報提供方法。
  6. 請求項１～５のいずれか１項に記載の情報提供方法において、
    前記表示ステップでは、前記機器に備えられた前記構成部材に関する情報を表示している状態で、前記構成部材の詳細情報の表示を指示するためのアイコンがユーザによって選択された場合には、前記構成部材に関する詳細情報を前記表示部に表示する、情報提供方法。
  7. 請求項１～６のいずれか１項に記載の情報提供方法において、
    前記図形は、半透明の図形である、情報提供方法。
  8. 請求項１～７のいずれか１項に記載の情報提供方法において、
    前記機器が属する前記種類を示す情報は、前記種類に応じた色である、情報提供方法。
  9. 請求項１～８のいずれか１項に記載の情報提供方法において、
    前記図形は、立体的な図形である、情報提供方法。
  10. 請求項１～９のいずれか１項に記載の情報提供方法において、
    前記図形は、前記機器のサイズに対応するサイズの図形である、情報提供方法。
  11. 請求項１～１０のいずれか１項に記載の情報提供方法において、
    前記図形は、前記機器の形状に対応する形状の図形である、情報提供方法。
  12. 請求項１～１１のいずれか１項に記載の情報提供方法において、
    前記表示ステップでは、前記画像に写っている前記機器によって隠された機器に関する情報を、前記画像に写っている前記機器に関する情報よりも小さく前記表示部に表示する、情報提供方法。
  13. 請求項１２に記載の情報提供方法において、
    前記表示ステップでは、前記隠された機器に関する情報を非表示にするための操作がユーザによって行われた場合に、前記隠された機器に関する情報を非表示にする、情報提供方法。
  14. 請求項１３に記載の情報提供方法において、
    前記隠された機器に関する情報を非表示にするための操作は、前記隠された機器に関する情報を非表示にするための非表示ボタンの選択である、情報提供方法。
  15. 請求項１３に記載の情報提供方法において、
    前記隠された機器に関する情報を非表示にするための操作は、前記隠された機器に関する情報が示されたボックスに対するスワイプ操作である、情報提供方法。
  16. 請求項１２～１５のいずれか１項に記載の情報提供方法において、
    前記表示ステップでは、前記画像に写っている前記機器によって隠された複数の前記機器の各々に関する情報を一括して非表示にするための一括非表示ボタンを表示し、前記一括非表示ボタンがユーザによって選択された場合に、複数の前記隠された機器の各々に関する情報を一括して非表示にする、情報提供方法。
  17. 請求項１～１６のいずれか１項に記載の情報提供方法をコンピュータに実行させるためのプログラム。
  18. 撮像部と表示部とを有し、前記撮像部が撮像した車内の画像を前記表示部に表示する情報提供装置であって、
    前記車内には、複数の機器が設置され、
    複数の前記機器は、複数の種類に分類され、
    前記撮像部が撮像した前記車内の前記画像を取得する画像取得部と、
    前記画像を前記表示部に表示するとともに、複数の前記機器のうちの少なくとも１つが前記画像に含まれている場合に、前記機器に応じた図形を前記機器に重畳表示しつつ、前記機器が属する種類を示す情報も併せて表示する表示制御部と、
    を備え、
    前記機器には、前記機器の一部を構成する構成部材が備えられており、
    前記表示制御部は、前記機器と前記情報提供装置との間の距離が第１距離閾値以上である場合には、前記構成部材に関する情報を前記構成部材に対して表示することなく、前記図形を前記機器に重畳表示し、前記機器と前記情報提供装置との間の前記距離が前記第１距離閾値未満である場合には、前記図形を表示することなく、前記構成部材に関する情報を前記構成部材に対して表示する、情報提供装置。
  19. 撮像部と表示部とを有し、前記撮像部が撮像した車内の画像を前記表示部に表示する情報提供装置であって、
    前記車内には、複数の機器が設置され、
    複数の前記機器は、複数の種類に分類され、
    前記撮像部が撮像した前記車内の前記画像を取得する画像取得部と、
    前記画像を前記表示部に表示するとともに、複数の前記機器のうちの少なくとも１つが前記画像に含まれている場合に、前記機器に応じた図形を前記機器に重畳表示しつつ、前記機器が属する種類を示す情報も併せて表示する表示制御部と、
    を備え、
    前記機器には、前記機器の一部を構成する構成部材が備えられており、
    前記表示制御部は、前記図形を前記機器に重畳表示している状態で、前記機器と前記情報提供装置との間の距離が第１距離閾値未満となった場合に、前記図形を非表示にするとともに、前記構成部材に関する情報を前記構成部材に対して表示し、前記構成部材に関する情報を前記構成部材に対して表示している状態で、前記機器と前記情報提供装置との間の前記距離が前記第１距離閾値より大きい第２距離閾値以上となった場合に、前記構成部材に関する情報を非表示にするとともに、前記図形を前記機器に重畳表示する、情報提供装置。
  20. 撮像部と表示部とを有し、前記撮像部が撮像した車内の画像を前記表示部に表示する情報提供装置であって、
    前記車内には、複数の機器が設置され、
    複数の前記機器は、複数の種類に分類され、
    前記撮像部が撮像した前記車内の前記画像を取得する画像取得部と、
    前記画像を前記表示部に表示するとともに、複数の前記機器のうちの少なくとも１つが前記画像に含まれている場合に、前記機器に応じた図形を前記機器に重畳表示しつつ、前記機器が属する種類を示す情報も併せて表示する表示制御部と、
    を備え、
    前記機器には、前記機器の一部を構成する構成部材が備えられており、
    前記表示制御部は、前記構成部材に関する情報を表示している前記表示部がユーザによって継続して見られた時間が時間閾値以上である場合には、前記機器と前記情報提供装置との間の距離が第３距離閾値以上となった際に、前記構成部材に関する情報を非表示にするとともに、前記図形を前記機器に重畳表示し、前記構成部材に関する情報を表示している前記表示部がユーザによって継続して見られた時間が前記時間閾値未満である場合には、前記機器と前記情報提供装置との間の前記距離が前記第３距離閾値より小さい第４距離閾値以上となった際に、前記構成部材に関する情報を非表示にするとともに、前記図形を前記機器に重畳表示する、情報提供装置。
JP2020180576A 2020-10-28 2020-10-28 情報提供方法、プログラム及び情報提供装置 Active JP7303171B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020180576A JP7303171B2 (ja) 2020-10-28 2020-10-28 情報提供方法、プログラム及び情報提供装置
EP21204745.0A EP3992009B1 (en) 2020-10-28 2021-10-26 Information providing method, non-transitory computer readable storage medium storing program, and information providing apparatus
US17/512,187 US11734928B2 (en) 2020-10-28 2021-10-27 Vehicle controls and cabin interior devices augmented reality usage guide
CN202111265488.7A CN114500930A (zh) 2020-10-28 2021-10-28 信息提供方法和装置、以及计算机可读非暂时性存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020180576A JP7303171B2 (ja) 2020-10-28 2020-10-28 情報提供方法、プログラム及び情報提供装置

Publications (2)

Publication Number Publication Date
JP2022071548A JP2022071548A (ja) 2022-05-16
JP7303171B2 true JP7303171B2 (ja) 2023-07-04

Family

ID=78770323

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020180576A Active JP7303171B2 (ja) 2020-10-28 2020-10-28 情報提供方法、プログラム及び情報提供装置

Country Status (4)

Country Link
US (1) US11734928B2 (ja)
EP (1) EP3992009B1 (ja)
JP (1) JP7303171B2 (ja)
CN (1) CN114500930A (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015193280A (ja) 2014-03-31 2015-11-05 富士通テン株式会社 車両制御装置及び車両制御方法
US20170166056A1 (en) 2015-12-11 2017-06-15 Ford Global Technologies, Llc In-vehicle component control user interface
WO2019235245A1 (ja) 2018-06-07 2019-12-12 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、及び、情報処理システム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101219933B1 (ko) * 2010-09-13 2013-01-08 현대자동차주식회사 증강현실을 이용한 차량 내 디바이스 제어 시스템 및 그 방법
WO2013032955A1 (en) * 2011-08-26 2013-03-07 Reincloud Corporation Equipment, systems and methods for navigating through multiple reality models
DE102016123360B4 (de) 2015-12-04 2020-06-25 Gm Global Technology Operations, Llc Magnetodynamische vorrichtung
JP2018036811A (ja) 2016-08-31 2018-03-08 三菱自動車工業株式会社 車両の情報提供システム
CN106681593A (zh) * 2016-12-30 2017-05-17 北京优朋普乐科技有限公司 一种用户界面ui控件的显示控制方法及装置
JP7102275B2 (ja) * 2018-07-30 2022-07-19 本田技研工業株式会社 表示制御装置及びプログラム
US10679420B2 (en) * 2018-11-02 2020-06-09 General Motors Llc Augmented reality (AR) remote vehicle assistance
US11302217B2 (en) * 2019-01-17 2022-04-12 Toyota Motor North America, Inc. Augmented reality dealer vehicle training manual
US11156456B2 (en) * 2019-05-21 2021-10-26 Apple Inc. Optical proximity sensor integrated into a camera module for an electronic device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015193280A (ja) 2014-03-31 2015-11-05 富士通テン株式会社 車両制御装置及び車両制御方法
US20170166056A1 (en) 2015-12-11 2017-06-15 Ford Global Technologies, Llc In-vehicle component control user interface
WO2019235245A1 (ja) 2018-06-07 2019-12-12 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、及び、情報処理システム

Also Published As

Publication number Publication date
JP2022071548A (ja) 2022-05-16
US11734928B2 (en) 2023-08-22
EP3992009B1 (en) 2023-08-23
CN114500930A (zh) 2022-05-13
EP3992009A1 (en) 2022-05-04
US20220129676A1 (en) 2022-04-28
EP3992009C0 (en) 2023-08-23

Similar Documents

Publication Publication Date Title
KR102204250B1 (ko) Ar 디스플레이 유닛 상에 내비게이션 경로를 표시하기 위한 증강 현실 오버레이를 계산하기 위한 방법, 이 방법을 수행하기 위한 장치 및 자동차 그리고 컴퓨터 프로그램
US9851882B2 (en) Fully designable vehicle information panel interface
JP4285500B2 (ja) 操作装置
EP2497671A1 (en) Display device for vehicle
US20060200277A1 (en) Driving evaluation system and server
US20180244286A1 (en) Driving assistance apparatus
US9428055B2 (en) Vehicle, terminal communicating with the vehicle, and method of controlling the vehicle
JP2012202706A (ja) 車両用装置および外部機器画面表示システム
WO2016084360A1 (ja) 車両用表示制御装置
JP6747914B2 (ja) 車両用計器装置
WO2015190062A1 (ja) 車両用表示装置
KR102270316B1 (ko) 스마트단말기로 구성된 멀티비젼을 구비한 다채널 avm 시스템
JP6176472B2 (ja) 車両用情報提供装置
JP7303171B2 (ja) 情報提供方法、プログラム及び情報提供装置
US20230143429A1 (en) Display controlling device and display controlling method
JP2016006601A (ja) 視線入力装置
JP5664336B2 (ja) 表示制御システム、表示制御装置及びプログラム
JP7445620B2 (ja) 情報提供方法、プログラム及び情報提供装置
JP2019031176A (ja) 車両用表示装置
JP2023049787A (ja) ミラー位置登録制御装置
JP2005313722A (ja) 車載機器の操作表示装置及びその操作表示方法
JP2017219350A (ja) 制御装置
JP7283478B2 (ja) 車両用表示装置、車両用表示装置の制御方法、及び車両用表示装置の制御プログラム
JP6027782B2 (ja) 車両用映像表示装置
JP2011100019A (ja) 表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220712

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220912

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230407

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20230407

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230417

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20230418

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230620

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230622

R150 Certificate of patent or registration of utility model

Ref document number: 7303171

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150