JP7117454B2

JP7117454B2 - 支援方法、および支援システム

Info

Publication number: JP7117454B2
Application number: JP2021511720A
Authority: JP
Inventors: 大祐山岡; 一彦田中; 祐瀧口; 瞳 ▲濱▼村
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2019-03-29
Filing date: 2019-03-29
Publication date: 2022-08-12
Anticipated expiration: 2039-03-29
Also published as: CN113396382A; CN113396382B; WO2020202345A1; JPWO2020202345A1

Description

本発明は、機能の把握を支援する支援方法および支援システムに関するものである。

近年、車両には、様々な機能が設けられており、それらの機能をユーザに把握させることが求められている。特許文献１には、スマートフォン等の携帯無線通信端末において撮影画像をディスプレイに表示するとともに、当該撮影画像内に含まれる部品の案内（名称）をディスプレイに重畳表示すること、および、ディスプレイに重畳表示された部品の案内を押下した場合に、当該部品の操作マニュアルをディスプレイに表示することが開示されている。

特開２０１４－２１５８４５号公報

特許文献１に記載されたように、部品の案内および操作マニュアルをディスプレイに表示するだけでは、当該部品を操作したときにどのような機能が発揮されるのかなど、当該部品を操作したときに発揮される車両の機能をユーザに容易に把握させることが困難である。

そこで、本発明は、容易に且つ直感的にユーザに機能を把握させることを目的とする。

本発明の一側面としての支援方法は、
カメラおよびディスプレイを有する情報端末を用いて機能の把握を支援する支援方法であって、
前記カメラで得られた撮影画像を前記ディスプレイに表示する第１表示工程と、
前記第１表示工程で前記ディスプレイに表示された撮影画像内に含まれる機能部品を特定する特定工程と、
前記特定工程で特定された前記機能部品に関する機能を把握するユーザの意思が検出された場合、当該機能部品が実際に操作されたときの動作状態を示す拡張現実画像を、前記カメラで得られた前記撮影画像に重ね合わせて前記ディスプレイに表示する第２表示工程と、
を含み、
前記第２表示工程では、前記拡張現実画像として、前記機能部品の実際の操作により現れる不可視の情報を可視化して前記ディスプレイに表示する、ことを特徴とする。

本発明によれば、例えば、機能が実際に発揮されている様子をユーザに認知させることができるため、従来より容易に且つ直感的にユーザに機能を把握させることができる。

添付図面は明細書に含まれ、その一部を構成し、本発明の実施の形態を示し、その記述と共に本発明の原理を説明するために用いられる。
支援システムの構成を示すブロック図情報端末とサーバ装置との間で行われる処理を示すシーケンス図情報端末の処理部で行われる処理を示すフローチャートユーザが情報端末のカメラによって車内のハンドルを撮影している様子を示す図ハンドルの撮影画像を情報端末のディスプレイに表示した例を示す図拡張現実画像がディスプレイに表示された情報端末によりユーザが車両の機能を把握している様子を示す図撮像画像と拡張現実画像とがディスプレイに表示された情報端末を示す図撮像画像と拡張現実画像とがディスプレイに表示された情報端末を示す図

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴のうち二つ以上の特徴が任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。

＜第１実施形態＞
本発明に係る第１実施形態について説明する。図１は、本実施形態の支援システム１００の構成を示すブロック図である。本実施形態の支援システムは、ユーザによる車両の機能の把握を支援するためのシステムであり、情報端末１０と、サーバ装置２０（クラウド）と、ネットワークＮＴＷとを含みうる。ここで、車両としては、例えば四輪車や鞍乗型車両（二輪車、三輪車）などが挙げられ、本実施形態では、車両として四輪車を例示して説明する。また、情報端末１０としては、例えばスマートフォンやタブレット端末などが用いられ、本実施形態では、情報端末１０としてタブレット端末を用いる例について説明する。スマートフォンおよびタブレット端末は、通話機能以外の様々な機能を有する携帯端末のことであるが、ディスプレイの寸法が互いに異なる。一般的には、タブレット端末の方が、スマートフォンよりディスプレイの寸法が大きい。

まず、情報端末１０の構成について説明する。情報端末１０は、例えば、処理部１１と、記憶部１２と、カメラ１３と、ディスプレイ１４と、位置検知センサ１５と、姿勢検知センサ１６と、通信部１７とを含みうる。情報端末１０の各部は、システムバス１８を介して相互に通信可能に接続されている。

処理部１１は、ＣＰＵに代表されるプロセッサ、半導体メモリ等の記憶デバイス、外部デバイスとのインターフェース等を含む。記憶部１２には、プロセッサが実行するプログラムやプロセッサが処理に使用するデータ等が格納されており、処理部１１は、記憶部１２に記憶されたプログラムをメモリ等の記憶デバイスに読み出して実行することができる。本実施形態の場合、記憶部１２には、ユーザによる車両の機能の把握を支援するためのアプリケーションプログラム（支援プログラム）が格納されており、処理部１１は、記憶部１２に記憶された当該支援プログラムをメモリ等の記憶デバイスに読み出して実行する。

カメラ１３は、レンズと撮像素子とを有し、被写体を撮影して撮影画像を取得する。カメラ１３は、例えばディスプレイ１４が設けられた外面とは反対側の外面に設けられうる。また、ディスプレイ１４は、画像の表示によりユーザに対して情報を報知する。本実施形態の場合、ディスプレイ１４は、カメラ１３で取得された撮影画像をリアルタイムに表示することができる。ここで、本実施形態のディスプレイ１４は、例えばタッチパネル式ＬＣＤ（Liquid Crystal Display）などを含み、画像を表示する機能に加えて、ユーザからの情報の入力を受け付ける機能を有する。しかしながら、それに限られず、画像を表示する機能のみをディスプレイ１４に持たせ、当該ディスプレイ１４とは独立して入力部（例えばキーボードやマウスなど）を設けてもよい。

位置検知センサ１５は、情報端末１０の位置および方位を検知する。位置検知センサ１５としては、例えば、ＧＰＳ衛星からの信号を受信して現時点での情報端末１０の位置情報を取得するＧＰＳセンサや、地磁気などに基づいて情報端末１０のカメラ１３が向けられている方位を検知する方位センサなどを用いることができる。本実施形態では、「情報端末１０の位置」と記載した場合、情報端末１０の位置に加えて、情報端末１０の方位をも含むものとする。また、姿勢検知センサ１６は、情報端末１０の姿勢を検知する。姿勢検知センサ１６としては、例えば、加速度センサやジャイロセンサなどを用いることができる。

通信部１７は、ネットワークＮＴＷを介してサーバ装置２０と通信可能に接続される。具体的には、通信部１７は、ネットワークＮＴＷを介してサーバ装置２０から情報を受信する受信部としての機能と、ネットワークＮＴＷを介してサーバ装置２０に情報を送信する送信部としての機能とを有する。本実施形態の場合、通信部１７は、ユーザによりディスプレイ１４上で操作された機能部品の種類およびその操作態様を示す情報（操作情報）をサーバ装置２０に送信する。また、通信部１７は、車両の機能部品が実際に操作されたときの当該車両の動作状態を示す拡張現実（ＡＲ；Augmented Reality）画像のデータをサーバ装置２０から受信しうる。

また、処理部１１の具体的な構成としては、例えば、第１取得部１１ａと、第２取得部１１ｂと、特定部１１ｃと、検出部１１ｄと、表示制御部１１ｅとが設けられうる。第１取得部１１ａは、カメラ１３で得られた撮影画像のデータを取得する。第２取得部１１ｂは、通信部１７を介してサーバ装置２０から拡張現実画像のデータを取得する。特定部１１ｃは、例えばパターンマッチング手法などの画像処理を行うことにより撮影画像を解析し、ディスプレイ１４に表示された撮影画像内に含まれる車両の機能部品を特定する。検出部１１ｄは、特定部１１ｃにより特定された機能部品に関する機能を把握するユーザの意思を検出する。本実施形態の場合、検出部１１ｄは、当該ユーザの意思として、特定部１１ｃにより特定された機能部品がユーザによりディスプレイ１４上で操作されたことを検出するが、例えばユーザの音声や視線などを検出する方式であってもよいし、情報端末１０に設けられたボタンの操作を検出する方式であってもよい。また、特定部１１ｄは、操作（機能把握のユーザの意思）が検出された機能部品の種類と当該機能部品の操作の態様とを示す情報を、通信部１７を介してサーバ装置２０に送信する。表示制御部１１ｅは、第１取得部１１ａで取得された撮影画像をディスプレイ１４に表示する。また、表示制御部１１ｅは、第２取得部１１ｂで拡張現実画像のデータが取得された場合には、位置検知センサ１５および姿勢検知センサ１６でそれぞれ検知された情報端末１０の位置および姿勢に基づいて、当該拡張現実画像を撮影画像に重ね合わせて（重畳させて）ディスプレイ１４に表示する。

次に、サーバ装置２０の構成について説明する。サーバ装置２０は、処理部２１と、記憶部２２と、通信部２３とを含みうる。処理部２１は、ＣＰＵに代表されるプロセッサ、半導体メモリ等の記憶デバイス、外部デバイスとのインターフェース等を含む。記憶部２２には、プロセッサが実行するプログラムやプロセッサが処理に使用するデータ等が格納されており、処理部２１は、記憶部２２に記憶されたプログラムをメモリ等の記憶デバイスに読み出して実行することができる。また、通信部２３は、ネットワークＮＴＷを介して情報端末１０と通信可能に接続される。具体的には、通信部２３は、ネットワークＮＴＷを介して情報端末１０から情報を受信する受信部としての機能と、ネットワークＮＴＷを介して情報端末１０に情報を送信する送信部としての機能とを有する。

本実施形態の場合、記憶部２２には、車両に設けられた複数種類の機能部品の各々について、車両の機能部品が実際に操作されたときの車両の動作状態（機能）を示す拡張現実画像のデータが記憶されている。処理部２１は、情報端末１０の処理部１１（検出部１１ｄ）で検出された機能部品の種類と当該機能部品の操作の態様とを示す情報を通信部２３を介して情報端末１０から受信し、受信した当該情報に基づいて、当該機能部品に対応付けられて記憶部２２に記憶されている拡張現実画像のデータを通信部２３を介して情報端末１０に送信する。

［支援システムの処理シーケンス］
次に、支援システム１００の処理シーケンスについて説明する。図２は、情報端末１０とサーバ装置２０との間で行われる処理を示すシーケンス図である。

情報端末１０において支援プログラムの実行が開始されると、情報端末１０は、カメラ１３による撮影を開始し（工程１０１）、カメラ１３で得られた撮影画像をディスプレイ１４にリアルタイムに表示する（工程１０２）。また、情報端末１０は、位置検知センサ１５による情報端末１０の位置の検知と、姿勢検知センサ１６による情報端末１０の姿勢の検知とを開始する（工程１０３）。そして、情報端末１０は、カメラ１３で得られた撮影画像を解析し、ディスプレイ１４に表示された撮影画像内に含まれる車両の機能部品を特定する（工程１０４）。情報端末１０は、特定された機能部品がユーザによりディスプレイ１４上で操作されたことを検出すると（工程１０５）、操作が行われた機能部品とその操作態様とを示す操作情報をサーバ装置２０に送信する（工程１０６）。

サーバ装置２０の記憶部２２には、機能部品が実際に操作されたときの車両の動作状態を示す拡張現実画像（例えば動画）のデータが、車両に設けられた複数の機能部品の各々について記憶されている。情報端末１０から操作情報を受信したサーバ装置２０は、記憶部２２に記憶されている複数の拡張現実画像の中から、操作情報（機能部品、操作態様）に対応する拡張現実画像のデータを選択し（工程１０７）、選択した拡張現実画像のデータを情報端末１０の送信する（工程１０８）。情報端末１０は、サーバ装置２０から受信した拡張現実画像を、カメラ１３で得られた撮影画像に重ね合わせてディスプレイ１４に表示する（工程１０９）。このとき、情報端末１０は、位置検知センサ１５で検知されている情報端末１０の位置と、姿勢検知センサ１６で検知されている情報端末１０の姿勢とに基づいて、情報端末１０の動きに合わせて拡張現実画像が移動するように、カメラ１３での撮影画像と拡張現実画像との位置合わせを行う。

［情報端末での処理］
次に、支援プログラムが実行されたときに情報端末１０で行われる処理について説明する。図３は、情報端末１０の処理部１１で行われる処理を示すフローチャートである。

車両には、運転時に用いられる機能や車内での快適性を向上させるための機能、安全性を向上させるための機能などの様々な機能が設けられ、それらの機能を発揮させるための機能部品が車両（車内）に設けられうる。運転時に用いられる機能としては、例えば、方向指示器（ウィンカ）やワイパー、サイドブレーキ、変速機などが挙げられる。また、快適性を向上させるための機能としては、例えば、エアコンやシートヒータ、オーディオなどが挙げられる。また、安全性を向上させるための機能としては、車間制御付きクルーズコントロール（以下、ＡＣＣ；Adoptive Cruise Control）や、車線維持支援システム（以下、ＬＫＡＳ；Lane Keeping Assistant System）などが挙げられる。本実施形態の支援システム１００は、上述したような車両の様々な機能をユーザに把握させるための支援を行うように構成されうるが、以下では、ＡＣＣやＬＫＡＳなどの安全性機能の把握の支援を行う例について説明する。ここで、ＡＣＣおよびＬＫＡＳの機能を発揮させるための機能部品（スイッチ）は、ハンドルに設けられているものとする。

Ｓ１１では、処理部１１（第１取得部１１ａ）は、カメラ１３に撮影を開始させるとともに、カメラ１３から撮影画像を取得する。Ｓ１２では、処理部１１（表示制御部１１ｅ）は、カメラ１３から取得した撮影画像をディスプレイ１４に逐次表示する。例えば、図４は、ユーザが情報端末１０のカメラ１３によって車内のハンドル２を撮影している様子を示している。この場合、情報端末１０では、カメラ１３で得られたハンドル２の撮影画像がディスプレイ１４に逐次表示される。なお、図４は、乗車したユーザから見える車内環境を示しており、ハンドル２の他に、フロントガラス１、フロントピラー３、ダッシュボード４およびメータパネル５も図示されている。

Ｓ１３では、処理部１１（特定部１１ｃ）は、ディスプレイ１４に表示された撮影画像内に含まれる車両の機能部品の特定を行う。例えば、処理部１１は、まず、公知の画像処理を行うことにより、撮影画像内に含まれる部品を認識する。情報端末１０の記憶部１２には、車両に設けられた複数の機能部品の各々についての特徴情報が記憶されており、処理部１１は、認識した部品の特徴との一致度が高い（即ち、一致度が所定値を超える）機能部品があるか否かの調査（判定）を行う。これにより、処理部１１は、撮影画像内に含まれる機能部品を特定することができる。

Ｓ１４では、処理部１１は、ディスプレイ１４に表示された撮影画像内において機能部品が特定されたか否かを判断する。撮影画像内において機能部品が特定された場合にはＳ１５に進み、機能部品が特定されなかった場合にはＳ１２に戻る。

Ｓ１５では、処理部１１は、Ｓ１３で特定された機能部品の名称を示す拡張現実画像を、カメラ１３で得られた撮影画像に重ね合わせてディスプレイ１４に表示する。このとき、処理部１１は、位置検知センサ１５および姿勢検知センサ１６で検知された情報端末１０の位置姿勢の情報に基づいて、ディスプレイ１４に表示された撮影画像における当該機能部品の位置に整合するように、当該機能部品の名称を示す拡張現実画像をディスプレイ１４に表示する。例えば、図５は、ハンドル２の撮影画像を情報端末１０のディスプレイ１４に表示した例を示している。図５に示す例では、ハンドル２の撮影画像内において、ＡＣＣスイッチ２ａ、ＬＫＡＳスイッチ２ｂ、キャンセルスイッチ２ｃ、および車間距離の設定スイッチ２ｄが特定され、それらの名称を示す拡張現実画像３１～３４が、ハンドルの撮影画像に重ね合わせてディスプレイ１４に表示されている。

本実施形態の場合、車両に設けられた複数の機能部品の各々についての名称を示す拡張現実画像が記憶部１２に記憶されているが、それに限られず、サーバ装置２０の記憶部２２に記憶されていてもよい。この場合、処理部１１は、Ｓ１２で特定された機能部品の識別情報を通信部１７を介してサーバ装置２０に送信し、当該機能部品の名称を示す拡張現実画像のデータを通信部１７を介してサーバ装置２０から受信しうる。

Ｓ１６では、処理部１１は、Ｓ１３で特定された機能部品がユーザによりディスプレイ１４上で操作されたか否かを判断する。ここで、本実施形態の場合、タッチパネル式のディスプレイ１４が用いられているため、処理部１１は、ユーザの指などによって機能部品がディスプレイ上で操作されたか否かを判断する。しかしながら、それに限られず、例えば、タッチパネル式でないディスプレイを用いる場合には、マウスなどの入力部を介して機能部品がディスプレイ上で操作されたか否かを判断してもよい。ユーザにより機能部品がディスプレイ１４上で操作された場合にはＳ１７に進み、機能部品がディスプレイ１４上で操作されなかた場合にはＳ１２に戻る。

Ｓ１７では、処理部１１は、ユーザによりディスプレイ１４上で操作された機能部品の種類およびその操作態様を示す情報（操作情報）を通信部１７を介してサーバ装置２０に送信する。Ｓ１８では、処理部１１（第２取得部１１ｂ）は、サーバ装置２０の記憶部２２に記憶されている複数の拡張現実画像の中から、操作情報に対応する拡張現実画像を通信部１７を介してサーバ装置２０から受信する。

ここで、Ｓ１８において取得される拡張現実画像は、車両の機能を説明するために、機能部品が実際に操作されたときの車両の動作状態を示す拡張現実画像（例えば動画）であり、例えば、機能部品が実際に操作された場合における車両の状態の変化および車両の周辺環境の変化うち少なくとも一方を含みうる。拡張現実画像に含まれる「車両の状態」とは、例えば、機能部品が実際に操作された場合に車両が行う動作・機能を仮想的に表したものであり、機能部品の実際の操作により現れる不可視の情報を可視化したものも含まれうる。不可視の情報としては、例えば、ＡＣＣスイッチ２ａが操作された場合に車両から射出されるミリ波レーダやレーザレーダなどの電波が挙げられる。また、拡張現実画像に含まれる「車両の周辺環境」とは、例えば、機能部品が実際に操作された場合に車両の周囲で変化する道路や車線、前方車両などを仮想的に表したものである。

Ｓ１９では、処理部１１（表示制御部１１ｅ）は、Ｓ１８で取得した拡張現実画像を、カメラ１３で得られた撮影画像に重ね合わせてディスプレイ１４に表示する。このとき、処理部１１は、位置検知センサ１５および姿勢検知センサ１６で検知された情報端末１０の位置姿勢の情報に基づいて、情報端末１０の動きに合わせて拡張現実画像が移動するように、カメラ１３での撮影画像とＳ１８で得られた拡張現実画像との位置合わせを行う。

図６は、Ｓ１８で取得した拡張現実画像が情報端末１０のディスプレイ１４に表示され、当該情報端末１０によりユーザが車両の機能を把握している様子を示している。具体的には、ユーザは、フロントガラス１を介して情報端末１０のカメラ１３で車外を撮影しており、情報端末１０のディスプレイ１４には、機能部品をディスプレイ１４上で操作されたときに取得された拡張現実画像が、カメラ１３での撮像画像に重ねて表示される。

例えば、図７は、ＡＣＣスイッチ２ａがディスプレイ１４上で操作されたときにＳ１８で得られた拡張現実画像を、カメラ１３での撮影画像に重ね合わせて情報端末１０のディスプレイ１４に表示した例を示している。図７に示す例では、道路４１、車線４２および前方車両４３が拡張現実画像としてディスプレイ１４に表示されている。そして、ＡＣＣを機能させたときに車両の前部から射出される電波４４（例えばミリ波レーダ）が前方車両４３に照射されている様子と、ＡＣＣの機能の説明４５とが拡張現実画像としてディスプレイ１４に表示されている。なお、ディスプレイ１４に表示されているダッシュボード４は、カメラ１３で撮影されている撮影画像である。このような拡張現実画像は、例えば動画であり、情報端末１０の位置、方向および姿勢に応じて拡張現実画像の見え方が変わるようにディスプレイ１４に表示されうる。また、車間距離の設定スイッチ２ｄがディスプレイ１４上で操作された場合には、その操作によって設定された車間距離に応じて、拡張現実画像としてディスプレイ１４に表示されている前方車両４３との距離が変更されうる。

また、図８は、ＬＫＡＳスイッチ２ｂがディスプレイ１４上で操作されたときにＳ１８で得られた拡張現実画像を、カメラ１３での撮影画像に重ね合わせて情報端末１０のディスプレイ１４に表示した例を示している。図８に示す例では、道路５１、車線５２が拡張現実画像としてディスプレイ１４に表示されている。そして、ＬＫＡＳを機能させたときに行われる動作、具体的には、車両が車線５２からはみ出したことを示す記号５３および説明５４、その場合にハンドル２の操作を支援する旨の記号５５および説明５６が拡張現実画像としてディスプレイ１４に表示されている。なお、ディスプレイ１４に表示されているダッシュボード４は、カメラ１３で撮像されている撮像画像である。このような拡張現実画像は、図７に示す例と同様に、例えば動画であり、情報端末１０の位置、方向および姿勢に応じて拡張現実画像の見え方が変わるようにディスプレイ１４に表示されうる。

このように、本実施形態の支援システム１００は、ディスプレイ１４に表示された撮影画像内に含まれる機能部品をユーザがディスプレイ１４上で操作した場合に、当該機能部品が実際に操作されたときの車両の動作状態を示す拡張現実画像を、撮影画像に重ね合わせてディスプレイ１４に表示する。これにより、ユーザは、車両の機能部品を操作することによりどのように車両が機能するのかを視覚的に把握することができる。即ち、本実施形態の支援システム１００により、車両の機能をユーザに容易に把握させることが可能となる。

＜他の実施形態＞
上記実施形態では、拡張現実画像のデータがサーバ装置２０の記憶部２２に記憶されている例を説明したが、それに限られず、拡張現実画像のデータが情報端末１０の記憶部２２に記憶されていてもよい。この場合、情報端末１０とサーバ装置２０との間でデータの送受信を行う必要がなくなるため、オフラインの情報端末１０においても上記の支援プログラムを実行することができる。

また、上記実施形態では、ユーザによる車両の機能の把握を支援するための支援システム１００について説明したが、当該支援システム１００は、車両の機能に限られず、他の物体の機能の把握を支援するために適用可能である。当該物体としては、機能部品の操作により状態が変化するものであればよく、状態の変化は、電気的な変化であってもよいし、機械的な変化であってもよい。

＜実施形態のまとめ＞
１．上記実施形態の支援方法は、
カメラ（例えば１３）およびディスプレイ（例えば１４）を有する情報端末（例えば１０）を用いて機能の把握を支援する支援方法であって、
前記カメラで得られた撮影画像を前記ディスプレイに表示する第１表示工程と、
前記第１表示工程で前記ディスプレイに表示された撮影画像内に含まれる機能部品（例えば２ａ～２ｄ）を特定する特定工程と、
前記特定工程で特定された前記機能部品に関する機能を把握するユーザの意思が検出された場合、当該機能部品が実際に操作されたときの動作状態を示す拡張現実画像を、前記カメラで得られた前記撮影画像に重ね合わせて前記ディスプレイに表示する第２表示工程と、を含む。
この構成によれば、機能および機能部品の操作に関するマニュアルを確認しなくても、機能部品を操作することによりどのように機能が発揮されるのかを視覚的に且つ直感的に把握することが可能となる。即ち、ユーザは、当該機能を疑似体験することができるため、当該機能の把握を容易に行うことが可能となる。

２．上記実施形態の支援方法において、
前記第２表示工程では、前記拡張現実画像として、前記機能部品が実際に操作されたときに機能を発揮する物体の状態、および、前記機能部品が実際に操作されたときの前記物体の周辺環境のうち少なくとも一方を前記ディスプレイに表示する。
この構成によれば、物体の機能をより視覚的に把握させることができるため、ユーザにとって物体の機能の把握をより容易に行うことが可能となる。

３．上記実施形態の支援方法において、
前記第２表示工程では、前記拡張現実画像として、前記機能部品の実際の操作により現れる不可視の情報を可視化して前記ディスプレイに表示する。
この構成によれば、どのような方法で機能を発揮させているのかを視覚的に把握することができるため、ユーザにとって機能の把握をより容易に行うことが可能となる。

４．上記実施形態の支援方法において、
前記不可視の情報は、前記機能部品の実際の操作により射出される電波を含む。
この構成によれば、機能を発揮させるために射出される電波を視覚的に表すことにより、ユーザにとって機能の把握をより容易に行うことが可能となる。

５．上記実施形態の支援方法において、
前記第２表示工程では、前記機能部品に関する機能を把握するユーザの意思として、ユーザによる前記ディスプレイ上での前記機能部品の操作を検出する。
この構成によれば、ユーザが機能を把握したいとの意思を的確に検出することが可能となる。

６．上記実施形態の支援方法において、
前記機能部品は、車両に設けられた部品であり、
前記第２表示工程では、前記機能部品が実際に操作されたときの前記車両の動作状態を示す前記拡張現実画像を前記ディスプレイに表示する。
この構成によれば、車両の機能および機能部品の操作に関するマニュアルを確認しなくても、機能部品を操作することによりどのように車両の機能が発揮されるのかを視覚的に且つ直感的に把握することが可能となる。

本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。

１０：情報端末、１１：処理部、１２：記憶部、１３：カメラ、１４：ディスプレイ、１５：位置検知センサ、１６：姿勢検知センサ、１７：通信部、２０：サーバ装置、２１：処理部、２２：記憶部、２３：通信部

Claims

カメラおよびディスプレイを有する情報端末を用いて機能の把握を支援する支援方法であって、
前記カメラで得られた撮影画像を前記ディスプレイに表示する第１表示工程と、
前記第１表示工程で前記ディスプレイに表示された撮影画像内に含まれる機能部品を特定する特定工程と、
前記特定工程で特定された前記機能部品に関する機能を把握するユーザの意思が検出された場合、当該機能部品が実際に操作されたときの動作状態を示す拡張現実画像を、前記カメラで得られた前記撮影画像に重ね合わせて前記ディスプレイに表示する第２表示工程と、
を含み、
前記第２表示工程では、前記拡張現実画像として、前記機能部品の実際の操作により現れる不可視の情報を可視化して前記ディスプレイに表示する、ことを特徴とする支援方法。
前記第２表示工程では、前記拡張現実画像として、前記機能部品が実際に操作されたときに機能を発揮する物体の状態、および、前記機能部品が実際に操作されたときの前記物体の周辺環境のうち少なくとも一方を前記ディスプレイに表示する、ことを特徴とする請求項１に記載の支援方法。
前記不可視の情報は、前記機能部品の実際の操作により射出される電波を含む、ことを特徴とする請求項１に記載の支援方法。
前記第２表示工程では、前記機能部品に関する機能を把握するユーザの意思として、ユーザによる前記ディスプレイ上での前記機能部品の操作を検出する、ことを特徴とする請求項１乃至３のいずれか１項に記載の支援方法。
前記機能部品は、車両に設けられた部品であり、
前記第２表示工程では、前記機能部品が実際に操作されたときの前記車両の動作状態を示す前記拡張現実画像を前記ディスプレイに表示する、ことを特徴とする請求項１乃至４のいずれか１項に記載の支援方法。
カメラおよびディスプレイを有する情報端末を用いて機能の把握を支援する支援システムであって、
前記情報端末は、
前記カメラで得られた撮影画像を前記ディスプレイに表示する第１表示手段と、
前記第１表示手段により前記ディスプレイに表示された撮影画像内に含まれる機能部品を特定する特定手段と、
前記特定手段により特定された前記機能部品に関する機能を把握するユーザの意思が検出された場合、当該機能部品が実際に操作されたときの動作状態を示す拡張現実画像を、前記カメラで得られた前記撮影画像に重ね合わせて前記ディスプレイに表示する第２表示手段と、
を含み、
前記第２表示手段は、前記拡張現実画像として、前記機能部品の実際の操作により現れる不可視の情報を可視化して前記ディスプレイに表示する、ことを特徴とする支援システム。