JP7107157B2 - 操作支援方法及び操作支援装置 - Google Patents
操作支援方法及び操作支援装置 Download PDFInfo
- Publication number
- JP7107157B2 JP7107157B2 JP2018196556A JP2018196556A JP7107157B2 JP 7107157 B2 JP7107157 B2 JP 7107157B2 JP 2018196556 A JP2018196556 A JP 2018196556A JP 2018196556 A JP2018196556 A JP 2018196556A JP 7107157 B2 JP7107157 B2 JP 7107157B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- user
- support
- vehicle
- function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Description
本実施形態の車載装置200は、各種の車載機器を備える。車載機器は、通信装置210と、入出力装置220と、検出装置230と、車両コントローラ240と、自動運転装置250と、車載のセンサ260と、ナビゲーション装置270と、アクセサリ280、エアバック装置291の少なくとも一つ以上を含む。車載装置200が備える各車載機器は、相互に情報の授受を行うためにCAN(Controller Area Network)その他の車載LANによって接続されている。車載装置200は、車載LANを介して操作支援装置100と情報の授受を行うことができる。
画像処理装置231は、カメラ226が撮像した撮像画像を分析する。画像処理装置231は、カメラ226の配置位置を基準とする撮像エリアの座標を設定する。画像処理装置231は、経時的に取得した撮像画像からパターンマッチング技術などを用いてユーザの手部、脚部、若しくは頭部を抽出し、その動きを抽出し、ユーザの手部、脚部、若しくは頭部の動きの位置を算出する。画像処理装置231は、経時的に取得した撮像画像からユーザの頭部・顔・目の動きから視線の向きを抽出し、ユーザの視線が向けられた位置及びその推移を算出する。これらの情報は、操作支援装置100へ送出される。なお、ユーザは、ドライバ、乗員のいずれをも含む。
また、画像処理装置231は、車両外部に設けられたカメラ226画像データを解析し、その解析結果に基づいて対象物の種別を識別してもよい。画像処理装置231は、パターンマッチング技術などを用いて、画像データに含まれる対象物が、車両であるか、歩行者であるか、標識であるか否かを識別する。画像処理装置231は、取得した画像データを処理し、車両の周囲に存在する対象物の位置に基づいて、車両から対象物までの距離を取得する。画像処理装置231は、車両の周囲に存在する対象物の位置及び時間に基づいて、車両が対象物に到達する時間を取得する。
音声処理装置232は、スピーカ224が取得した音声データを分析する。音声処理装置232は、ユーザ又はユーザ間の発話を分析する。発話内容から単語・フレーズを切り出し、辞書を参照して目的とする単語・フレーズを抽出する音声認識処理は、出願時に知られて手法を用いる。音声処理装置232は、ユーザの発話内容をテキストデータとして取得する。音声処理装置232は、ユーザ間の会話内容をテキストデータとして取得する。
ドアセンサ233は、車両コントローラ240からドアが解錠状態であるか、施錠状態であるかの情報を取得する。
着座センサ234は、車両のどこにユーザが所在するか、ユーザの数を検出する。
温度計235は、車両の車室内の温度及び車両の外部の温度を検出する。
位置センサ236は、自車両の現在位置が含まれるエリアの属性を取得する。エリアの属性は、後述するナビゲーション装置270から取得する。
シフトポジションセンサ237は、車両のシフトポジションの情報を取得する。シフトポジションの情報は車両の運転モードの識別情報、駐車モードであることの識別情報を含む。
操作支援装置100は、制御装置10と、記憶装置20と、出力装置30とを備える。出力装置30は、通信装置31を備える。出力装置30は、通信装置31を介して車載装置の入出力装置220へ制御命令を送出する。制御装置10と、記憶装置20と、出力装置30とは、有線又は無線の通信回線を介して互いに情報の授受が可能である。制御装置10は、通信装置31を介してサーバ300の記憶装置320と互いに情報を授受する。通信装置31は、車載装置200との情報授受、操作支援装置100内部の情報授受、外部装置と操作支援システム1との情報授受を行う。
制御装置10は、プロセッサ11を備える。プロセッサ11は、車載機器が備える機能を利用するユーザに対して、車載機器の操作に関する支援情報を生成し、出力する演算装置である。
具体的に、プロセッサ11は、支援装置の出力制御処理を実行させるプログラムが格納されたROM(Read Only Memory)と、このROMに格納されたプログラムを実行することで、制御装置10として機能する動作回路としてのCPU(Central Processing Unit)と、アクセス可能な記憶装置として機能するRAM(Random Access Memory)と、を備えるコンピュータである。
(1)ユーザの動作情報を取得する、
(2)ユーザの動作情報に基づいて、ユーザが実行しようとする機能の操作を推測する、
(3)記憶装置に少なくとも一時的に記憶され、機能を実行させるためにユーザが操作指令に要した操作所要時間を含む操作履歴情報を参照する、
(4)ユーザごとの操作所要時間に基づいて、推測された操作を支援する支援情報の支援態様を決定する、
(5)決定した支援態様で支援情報を出力させる。
図2に示すように、プロセッサ11は、動作情報取得部111と、操作推測部112と、支援態様決定部113と、出力制御部114とを有する。
ステップS101において、プロセッサ11は、ユーザを識別する。ユーザは、車両のキーの識別情報から識別してもよい。ユーザは、車両の使用の申し込み情報に含まれるユーザIDから識別してもよい。車両に設置されたカメラ226によるユーザの撮像画像に基づいて、パターンマッチング技術を用いてユーザを識別してもよい。パターンマッチング処理に用いるテンプレートは、車両利用申し込み時のデータから取得してもよいし、初回の搭乗時の撮像画像から取得してもよい。
プロセッサ11は、カメラ226により経時的に撮像された撮像画像から抽出されたユーザの手部、脚部、又は頭部の動きに基づいて動作情報を取得する。プロセッサ11は、カメラ226の位置を基準とした車室空間に座標を設定する。プロセッサ11は、経時的な撮像画像からユーザの手部、脚部、又は頭部の車室空間における位置の経時的な変化を「動作情報」として検出する。プロセッサ11は、経時的な撮像画像からユーザの頭部・顔と視線が向けられた車室空間における位置の経時的な変化を「動作情報」として検出する。人間の視線の向きの検出は出願時の技術を適用できる。例えば、顔から眼の位置を検出して眼の黒目の位置を追跡する手法、顔から眼の位置を検出する手法、黒目の位置を基準とするパターンマッチングの手法を用いることができる。プロセッサ11は、ユーザの動きを判断する。プロセッサ11は、画像情報などに基づいて、ユーザの手、指、腕がどこに位置し、視線がどこに向っているかという動作情報を取得する。さらに、プロセッサ11は、ユーザの動きに基づく動作情報に基づいて、ユーザが操作に手間取っていることを判断する。操作に手間取るときのユーザの動作は、予めパターンとして得ておくことができる。手、指、腕の動きのパターン、動きが繰り返される頻度などに基づいて、ユーザが手間取っていることを判断できる。同様に、操作に手間取るときのユーザの視線の動きは、予めパターンとして得ておくことができる。視線が向けられる位置、目・頭・顔の動きのパターン、視線の動きが繰り返される頻度などに基づいて、ユーザが手間取っていることを判断できる。
(1)手動運転モードで走行中に自動運転モードに切り替えたいが、運転者又は運転監督者は車両の前方乃至周囲を監視する必要があるため、すぐに自動運転切替スイッチを操作できずに、操作に手間取るシーン。
(2)カーシェアなどで利用した車両において、シートベルトを解除するスイッチの位置が分からず、シートベルトを外す操作に手間取るシーン。
(3)カーシェアなどで利用した車両において、ドアの開閉スイッチの位置が分からずに、ドアを開扉させる操作に手間取るシーン。
(4)スイッチが複数並んでいる機器、例えばエアコン、オーディオ、カーナビゲーションなどの操作で、どのスイッチを操作すればよいかが分からずに、エアコン、オーディオ、カーナビゲーションの操作に手間取るシーン。
(5)タッチパネル式のスイッチで選択の階層数が多い機器、例えばカーナビゲーションなどの操作で、どの階層を選択すればよいかが分からずに、エアコン、オーディオ、カーナビゲーションの操作に手間取るシーン。
プロセッサ11は、マイク222により集音された音声情報から抽出されたユーザの発話情報に基づいて動作情報を取得する。プロセッサ11は、集音された音声情報について音声認識処理を行い、発話された内容を取得する。動作情報に基づいて、ユーザが操作に手間取っていることを判断する。プロセッサ11は、ユーザの発話に基づく動作情報に基づいて、ユーザが操作に手間取っていることを判断する。
ステップS101で取得した車両状態情報、ステップS102で取得した走行環境情報は、後のステップS105のユーザが実行しようとする機能の操作を推測する処理において用いられる。
ユーザが手間取っているか否かを判断するための閾値となる「所定時間」は、過去の操作履歴情報に基づいて、機能の操作が開始されてから操作指令が入力されるまでの操作所要時間に基づいて設定することが好ましい。「所定時間」はユーザごとに設定されることが好ましい。「所定時間」の設定手法は特に限定されないが、例えば、操作所要時間の適正時間のテーブルを機能ごとに記憶し、適正時間に基づいて設定されたデフォルト値からのずれをユーザごとに学習し、適正時間をカスタマイズし、この適正時間に基づいて「所定時間」を算出してもよい。各ユーザの機能ごとの「所定時間」は、カスタマイズされた適正時間(操作所要時間)としてもよい。「所定時間」が操作シーンを検知してから計時して、上記適正時間が経過したときに支援情報を出力する。
ユーザが実際に手間取った時間に基づいて、手間取りの有無を判断する閾値を設定することにより、そのユーザが手間取ったことを高い精度で判断できる。
プロセッサ11は、動作情報の検出位置と車載機器の操作部の位置とが対応づけられた「操作対応情報」を参照し、動作情報から抽出されたユーザの動作の対象となる操作部の位置に基づいて、ユーザが実行しようとする機能の操作を推測する。
プロセッサ11は、カメラ226を基準とする座標において、撮像画像からユーザの動作の対象の位置を特定する。ユーザの動作の対象の位置とは、例えば、ユーザの動きのパターン、ユーザの手が存在する位置又は範囲、ユーザの指が存在する位置又は範囲である。プロセッサ11は、操作対応情報を参照し、ユーザの動作の対象の位置に存在する操作部を判断する。
ユーザの動作の対象の位置からユーザが実行しようとする機能の操作を推測することができるので、適切な支援情報を提供することができる。ユーザの手部、頭部の動きを分析することにより、ユーザが実行しようとする機能の操作部を高い精度で推測できる。
ユーザの動作情報からユーザが実行しようとする機能の操作を推測することができるので、適切な支援情報を提供することができる。ユーザの視線の向きを分析することにより、ユーザが実行しようとする機能の操作部を高い精度で推測できる。
プロセッサ11は、車両の状態に関する車両状態情報と、車両状態情報から予測される走行環境に応じた機能の操作部とが予め対応づけられた「操作対応情報」を参照し、判断された車両の状態に基づいて、ユーザが実行しようとする機能の操作を推測する。
車両の状態からユーザが実行しようとする機能の操作を推測することができるので、適切な支援情報を提供することができる。
(1)プロセッサ11は、車両が所定値未満(低速)の車速で、所定時間以上継続して走行していると判断された場合、又は車両の経時的な車速変化のパターンが予め定義した渋滞時の車速パターンとのマッチング率が所定値以上である場合には、自車両の走行環境は渋滞であると判断し、ユーザが実行しようとする機能は自動運転モード切替であると推測する。この場合において支援される操作部は自動運転モードの切替スイッチである。
(2)プロセッサ11は、車両の運転モードの種別が手動運転モード(非自動運転モードであり、かつ所定値未満の低速の車速での走行が所定時間以上継続したと判断された場合には、自車両の走行環境は渋滞であると判断し、ユーザが実行しようとする機能は自動運転モード切替であると推測する。この場合において支援される操作部は自動運転モードの切替スイッチである。なお、手動運転モードであるか自動運転モードであるかは、車両コントローラ240から取得する。
(3)プロセッサ11は、車両が外部装置(例えばVICS(登録商標):Vehicle Information and Communication Systemなど)から渋滞情報を取得した渋滞時の車速パターンである場合には、自車両の走行環境は渋滞であると判断し、ユーザが実行しようとする機能は自動運転モード切替であると推測する。この場合において支援される操作部は自動運転モードの切替スイッチである。
(4)プロセッサ11は、車室温度と外気温度との差が所定値以上である場合には、自車両の車室内の温度調節が必要であると判断し、ユーザが実行しようとする機能は温度調節であると推測する。この場合において支援される操作部は温度調節装置の操作スイッチである。
(5)プロセッサ11は、シフトポジションがパーキングである場合には、自車両から降車する必要であると判断し、ユーザが実行しようとする機能はシートベルトの解除機能、又はドアの開閉機能であると推測する。この場合において支援される操作部はシートベルトの解除スイッチ、又はドアの操作スイッチである。
(6)プロセッサ11は、現在位置が駐車場のエリアに属する場合には、自車両が駐車する状況であると判断し、ユーザが実行しようとする機能は駐車支援機能であると推測する。この場合において支援される操作部は駐車支援の操作スイッチである。プロセッサ11は、現在位置が駐車場のエリアに属する場合には、自車両から降車する必要であると判断し、ユーザが実行しようとする機能はシートベルトの解除機能、又はドアの開閉機能であると推測する。この場合において支援される操作部はシートベルトの解除スイッチ、又はドアの操作スイッチである。
(7)プロセッサ11は、自車両の現在位置が高速道路である場合には、自動運転走行が適切であると判断し、ユーザが実行しようとする機能は自動運転機能であると推測する。この場合において支援される操作部は自動運転モードの切替スイッチである。
(8)プロセッサ11は、エアバックの展開動作の実行情報を得た場合には、外部への通報が必要であると判断し、ユーザが実行しようとする機能は緊急通報機能であると推測する。この場合において支援される操作部は緊急通報スイッチである。
(9)プロセッサ11は、車載の機器についての故障検知情報を得た場合には、整備が必要であると判断し、ユーザが実行しようとする機能はオペレータの呼出し機能であると推測する。この場合において支援される操作部はオペレータの呼出しスイッチである。
(10)なお、上述した判断手法を複数組み合わせてユーザが実行しようとする機能を予測してもよい。例えば、プロセッサ11は、(A)車両が手動運転モードである、(B)走行位置が高速道路である、(C)所定速度未満(低速領域)で断続的に走行する(減速操作を繰り返す)、(D)ハンドルの自動運転機能の切り替えスイッチ近傍にユーザの手が所定時間/所定頻度で検出される、(E)自動運転に関するキーワード(「疲れた」「自動」など)が検出された、といった判断要因(A)~(E)のうち所定数以上の要因が検出された場合に、ユーザが実行しようとする機能の操作は「自動運転モードへの切り替え」であると予測する。
(1)カメラ226によりユーザの視線、動作、動作時の姿勢を判断し、ユーザが操作しようとしている対象領域を算出する。予め準備された車室内の操作部(スイッチ)の位置情報を含む地図情報を参照し、対象領域と共通する領域に位置する操作部(スイッチ)を絞り込む。ユーザの発話が検出された場合には、単語を抽出し、抽出された単語に予め定義された機能に関連づけられたキーワードが含まれる場合には、そのキーワードに対応づけられた機器が、ユーザが実行しようとする機能の操作部であると推測する。具体的に、ハンドル付近で手を動かすユーザの動作が検出され、マイク222が収拾した音声情報から自動運転に関するキーワードが抽出された場合には、ユーザが自動運転への切替ボタンを押す意図の下に動作をしていると判断する。さらに、自車両が走行している道路が高速道路である場合には、この判断の確度は向上するので、走行道路の道路種別を判断の条件に付加してもよい。
(2)自車両の位置検出装置271の位置情報や、カメラ226の撮像画像から抽出された関心領域(ROI:Region of interest)に基づいて、自車両の現在位置が駐車場であることが判断された場合には、ユーザが降車する意図の下にシートベルトを外す動作をしていると判断する。
(3)自車両の車室温度が、予め定義された快適温度範囲外であり、ユーザの視線が空調装置282の操作部(スイッチパネル)に向けられていると判断された場合において、操作指令が入力されない場合には、ユーザは車室内の温度調節をする意図の下に空調装置282を操作する動作をしていると判断する。
(4)ユーザの降車が検出され、車室内に存在する他のユーザの視線がドア近傍に向けられていることが検出された場合には、ユーザが降車する意図の下に、ドアの開閉スイッチを操作する動作をしていると判断する。ユーザの降車情報は、着座センサにより車両コントローラ240を介して取得する。
支援するべき操作が決定されたら、ステップS106へ進む。ステップS106において、プロセッサ11は、操作履歴情報を参照する。操作履歴情報321は、記憶装置320に少なくとも一時的に記憶され、機能を実行させるためにユーザが操作指令に要した操作所要時間を含む。操作履歴情報321は、操作支援装置100の記憶装置20に記憶してもよい。
プロセッサ11は、操作指令をしたユーザの識別結果と、ユーザが実行しようとする車載機器の操作の推測結果と、に基づいて、識別されたユーザについて機能ごとに記憶された操作所要時間のうち、相対的に短い操作所要時間に対応づけられた支援態様を選択する。ユーザの機能ごとの操作履歴情報のうち、その機能を操作するときに計測された、最も短い操作所要時間に対応づけられた支援態様を選択する。
選択された支援態様は、支援情報を出力するときの支援態様として決定される。
プロセッサ11は、操作履歴情報321における操作所要時間が短い支援態様を、今回の支援情報の支援態様として採用する。プロセッサ11は、操作所要時間の長さに応じた手間取りレベルの評価が高い支援態様を、今回の支援情報の支援態様として採用する。
プロセッサ11は、ユーザAが実行しようとする機能が「自動運転機能」であると推測された場合には、「ユーザA」が「自動運転モード切替」を操作したときの操作履歴情報321を参照する。プロセッサ11は、その中で操作所要時間が最も短く、評価が高い履歴を抽出し、その履歴における支援態様であるLEDなどの発光素子225を用いた点滅発光を、今回の支援態様として決定する。
支援情報を出力する入出力装置220としては、スピーカ224を含む音声出力装置、ディスプレイ221を含む画像出力装置、LEDなどの発光素子225を含む発光装置を用いることができる。音声出力装置としてのスピーカ224を用いて出力される支援情報は音声情報であり、支援態様は音声出力態様である。画像出力装置としてのディスプレイ221を介して出力される支援情報は画像(図形、テキストを含む)であり、支援態様は表示出力態様である。発光装置としての発光素子225を介して出力される支援情報は視認可能な発光情報であり、支援態様は発光態様である。発光素子225を含む発光装置はスイッチの操作部に組み込んで、発光によりスイッチの所在を示すようにしてもよい。
表示出力態様は、図形、テキスト、動画を用いた支援情報を出力する。操作が複雑な場合に詳細な説明に適している。ボタンやチェックボックス、スライドバーを含むGUI(Graphical User Interface)技術を用いた操作を利用して双方向に情報を授受してユーザから詳細説明を要求する、又は説明の繰り返しを指示することもできる。
発光態様は、操作部そのものを光らせるなどして、操作部(スイッチ)の位置を示す。細かな指示や操作手順の説明には適していないが、操作部を直接的に指し示すことが出来る。特に夜間に暗いことが原因で操作対象が見つからない場合に効果を発揮する。
これらの支援態様は、適宜に切り替えることができる。複数の支援態様を組み合わせて支援情報を提示してもよい。本実施形態では、メインとなる支援情報を予め定義しておき、そのメインとなる支援情報の支援態様を決定する。メインとなる支援情報を補完するサブの支援情報については、他の支援態様を用いることも可能である。
支援態様は、経時的に変更してもよい。本実施形態では、最初に出力されるべき支援情報を予め定義しておき、最初に出力する支援情報の支援態様を決定する。その後に出力される補完的な支援情報については、他の支援態様を用いることも可能である。
例えば、最初に出力されるべきメインの支援情報は、視覚的な通知・表示として、表示出力態様又は発光態様で出力し、ユーザの操作指令が入力されない(操作が完了しない)と判断された場合に、音声出力態様を用いて支援情報を出力してもよい。支援態様の有効性を考慮して、支援態様を切り替えてもよい。
プロセッサ11は、ユーザAが実行しようとする機能が「空調操作」であると推測された場合には、「ユーザA」が「空調操作」を操作したときの操作履歴情報321を参照する。プロセッサ11は、その中で操作所要時間が最も短く、評価が高い履歴を抽出し、その履歴における支援態様であるスピーカを用いた音声による支援情報の提示を、今回の支援態様として決定する。
また、ユーザ及び機能ごとに記憶された操作所要時間を含む操作履歴情報に基づいて支援態様を決定することにより、ユーザが実行を希望すると予測される機能について有効な支援態様で支援情報を提供することができる。
操作履歴情報321は、操作評価時間を含む。操作評価時間は、過去に出力された支援情報の有効性(支援の効果の程度)を評価する値である。操作評価時間は、「支援情報の出力完了」から「機能を実行させる操作指令の入力の完了」までの時間である。
操作評価時間が短くなることは、その支援態様が、そのユーザに適しているということである。
プロセッサ11は、操作指令をしたユーザの識別結果に基づいて、識別されたユーザの操作評価時間のうち、相対的に短い操作評価時間に対応づけられた支援態様を優先して選択されるように、重みづけを設定する。
また、プロセッサ11は、ユーザの識別結果と、ユーザが実行しようとする車載機器の操作の推測結果と、に基づいて、識別されたユーザの機能ごとに記憶された操作評価時間のうち、相対的に短い操作評価時間に対応づけられた支援態様が優先して選択されるように重みづけを設定する。
例えば、蓄積された複数のデータにおいて、異なる機能の操作に対応づけられた操作所要時間の差が所定値以内である場合に、更に操作評価時間の評価を参照し、操作評価時間が短い(評価が高い)支援態様が優先して選択されるように、重みづけを設定する。具体的に、操作評価時間が短い又は評価が高い支援態様に対応づけられた操作所要時間が短くなるように1未満の正の係数を付して、操作所要時間を短く算出する。これにより、操作所要時間が短くなり、その操作態様が優先的に選択される。
また、蓄積された複数のデータにおいて、異なる機能の操作に対応づけられた操作所要時間の差が所定値以内である場合に、更に操作評価時間の評価を参照し、操作評価時間の短縮度が大きい(前回の操作所要時間に対する今回の操作所要時間の割合が小さい)支援態様が優先して選択されるように、重みづけを設定する。具体的に、操作評価時間の短縮度が大きい支援態様に対応づけられた操作所要時間が短くなるように1未満の正の係数を付して、操作所要時間を短く算出する。これにより、操作所要時間が短くなり、その操作態様が優先的に選択される。
選択された支援態様は、支援情報を出力する支援態様として決定される。
プロセッサ11は、ユーザAが実行しようとする機能が「ドア操作」であると推測された場合には、「ユーザA」が「ドア操作」を操作したときの操作履歴情報321を参照する。プロセッサ11は、その中で操作評価時間が最も短く、評価が高い履歴を抽出し、その履歴における支援態様であるディスプレイを用いた画像情報による支援情報の提示が、今回の支援態様として優先的に選択されるように、表示出力態様に重みづけをする。
プロセッサ11は、ユーザAが実行しようとする機能が「空調操作」であると推測された場合には、「ユーザA」が「空調操作」を操作したときの操作履歴情報321を参照する。プロセッサ11は、その中で操作評価時間が最も短く、評価が高い履歴を抽出し、その履歴における支援態様であるスピーカを用いた音声、又はLEDを用いた発光による支援情報の提示が、今回の支援態様として優先的に選択されるように、音声出力態様又は発光態様に重みづけをする。
図6に示す操作履歴情報321において、ユーザAがタイプV1の車両を利用したときの空調操作に関し、スピーカを用いたときとLEDを用いたときの最短の操作評価時間は同じ5秒である。このような場合においては、支援態様の効果についてさらに検討する。操作履歴情報321を参照すると、スピーカを用いた音声ガイダンスを行った場合には、先の日時T12において記録された操作評価時間は5秒であり、後の日時T22において記録された操作評価時間も5秒である。また、LEDを用いた点滅発光によるガイドを行った場合には、先の日時T11において記録された操作評価時間は10秒であり、後の日時T212において記録された操作評価時間は5秒と短縮されている。このように操作評価時間が短縮された場合には、その支援態様はそのユーザにとって有効である(効果的である)と推測できる。
また、前回の操作評価時間よりも今回の操作評価時間が短くなる傾向が見られる場合には、その操作態様はユーザに適していると考えられる。操作評価時間が経時的に短縮の傾向がある支援態様は、支援情報の出力によってユーザの手間取り時間が短くなることが期待できる。ユーザごとに記憶された操作評価時間の経時的な変化を含む操作履歴情報に基づいて支援態様を決定することにより、ユーザにとって有効な支援態様で支援情報を提供することができる。
また、ユーザ及び機能ごとに記憶された操作評価時間を含む操作履歴情報に基づいて支援態様を決定することにより、ユーザが実行を希望すると予測される機能について有効な支援態様で支援情報を提供することができる。
上述したように、本実施形態のプロセッサ11は、操作所要時間又は操作評価時間に基づいて支援態様を決定する。
しかし、運転又は自動運転の監視にユーザを周囲の状況監視に集中させたい場面においては、表示出力態様や発光態様といった視認させる支援態様で支援情報を提供するよりも、ユーザに聴取させる音声出力態様のほうが有効である場合がある。
また、運転の管理者以外のユーザが睡眠中である場面や、乗員同士が会話をしている場面や、大音量で音楽を聴いている場面においては、音声出力態様で支援情報を提供するよりも、表示出力態様や発光態様といった視認させる支援態様で支援情報を提供したほうがユーザにとって好ましい場合がある。
このような場合には、いったん決定された表示態様を変更する。
本処理によれば、支援態様の決定がされた後であっても、ユーザの動作情報及び/又は車両状態情報に基づいて支援態様の変更処理を行うことにより、ユーザが理解しやすい支援態様で支援情報を提供することができる。
まず、表示出力態様や発光態様といった視認させる支援態様から、音声情報による音声出力態様に変更する場合の処理について説明する。
操作所要時間又は操作評価時間に基づいて決定された支援態様が、表示支援態様又は発光態様であり、支援情報の出力処理時において、自車両の車両状態情報が、予め定義された周囲監視度の高い状態であると判断された場合には、視認による表示支援態様又は発光態様から聴取による音声支援態様に変更する。周囲監視度とは、ユーザが自車両の周囲を監視する注意度に応じた度合いである。相対的に周囲を注意深く監視する場合には、周囲監視度は相対的に高く設定される。例えば、交差点走行時、障害物が存在する場合、車速が高い場合などである。
周囲監視度の高い状態においては、ユーザは運転や周囲の監視に集中しているため、表示支援態様又は発光態様で支援情報が提示されても、気づけない可能性が高い。また、発光によりスイッチの所在を示しても場所を理解できない場合がある。このような場合には、ユーザの視認させる支援情報よりも、ユーザに聴取させる支援情報のほうが、ユーザが理解しやすい。
周囲監視度の高い状態は、自車両の位置が交差点から所定距離以内に存在する状態、自車両が走行する道路の路幅が所定値未満である状態、自車両と障害物の距離、到達所要時間が所定値未満である状態、を含む。走行道路の路幅は、ナビゲーション装置270の地図情報272から取得する。
なお、この処理は、操作所要時間又は操作評価時間に基づいて決定された支援態様により支援情報を出力した後に、所定時間、操作指令が入力されない場合に実行してもよい。ユーザが支援情報を利用できない状況であると判断できるからである。
操作所要時間又は操作評価時間に基づいて決定された支援態様が、音声出力態様であり、
支援情報の出力処理時において、自車両に搭乗するユーザ(運転者又は運転管理者以外の乗員)が睡眠中であると判断された場合、自車両に搭乗する乗員同士が会話していると判断された場合には、音声支援態様から視認による表示支援態様又は発光態様に変更する。
乗員が睡眠中である状態においては、車室内は静寂である方が好ましい。また、乗員同士が会話をしている状態においては、会話を妨げないように車室内は静寂である方が好ましい。さらに、オーディオ装置281の音量が所定値以上である場合には、支援情報が聞き取れない可能性がある。
このような場合には、ユーザに聴取させる支援情報よりも、ユーザの視認させる支援情報のほうが、ユーザが理解しやすい。
ユーザが睡眠中であるか否かは、車室内のカメラ226の撮像画像に基づいて、顔を認証し、目の位置を特定し、黒目の存在が無いことにより、ユーザが寝ていることを検出できる。各ユーザの生体情報を経時的に取得し、睡眠中の生体情報パターンと比較して睡眠中であるか否かを判断してもよい。ユーザは、運転席に着座するユーザに限定されない。カメラ226は、車室の天井に設けられ、広角の撮像画像を得ることができる。顔認証技術については、出願時に知られた手法を用いることができる。
ユーザ同士が会話しているか否かは、車室内のマイク222で収集した音声情報に基づいて、音声の特徴を抽出し、異なるユーザ同士が会話をしていることを検出できる。
音楽の音量は、オーディオ装置281から取得する。
なお、この処理は、操作所要時間又は操作評価時間に基づいて決定された支援態様により支援情報を出力した後に、所定時間、操作指令が入力されない場合に実行してもよい。ユーザが支援情報を利用できない状況であると判断できるからである。
図7は、車両のステアリングSTの周囲の操作部を示す。スイッチSW1は、自動運転機能のスイッチである。スイッチSW1aは自動運転機能のメインスイッチである。スイッチSW2は、ナビゲーション機能のスイッチである。スイッチSW3は、スライドドアの開閉機能のスイッチである。スイッチSW4は、運転支援機能のスイッチである。スイッチSW5は、空調機能のスイッチである。以下、各支援態様による支援情報の出力例を説明する。
本実施形態におけるユーザは、運転者、乗員を含む。後部座席に所在するユーザについてもそのユーザの実行しようとする機能を推測し、その機能を実行させる操作指令の入力を支援することができる。
プロセッサ11は、ユーザの識別情報と、ユーザが実行しようとする機能の操作の推測結果と、ユーザが機能を実行させる操作指令の入力が完了するまでに要した操作所要時間と、を対応づけた操作履歴情報321を、通信ネットワークを介して記憶装置320へ送信し、記憶装置320に記憶させる。操作履歴情報321は、操作支援装置100の記憶装置20に記憶してもよい。このようにユーザの識別情報と操作所要時間と、操作内容とを対応づけた操作履歴情報321を参照して、支援態様を決定できるので、支援を受けるユーザに適した態様で支援情報を出力できる。
図11のステップS1において、プロセッサ11は、ユーザを識別する。具体的な処理内容は、図3のステップS101と共通する。
ステップS3において、ユーザが操作探索状態であると判断したタイミングを始点とし、計時を開始する。ユーザが操作探索状態であると判断されたタイミングが、「機能の操作が開始されたタイミング」と擬制する。ステップS4において、ユーザの操作指令の入力が完了したか否かを判断する。予測された機能に関する入力情報を得た場合には、操作指令の入力が完了したと判断する。ステップS5において、入力情報を得たタイミングを終点とし、計時を終了する。ステップS6において、プロセッサ11は、操作所要時間を算出する。ステップS3の計時開始の始点からステップS5の計時終了の終点までの間が操作所要時間である。プロセッサ11は、これにより、「機能の操作が開始されたタイミング」から、操作部に対して「操作指令の入力が完了したタイミング」までの操作所要時間を取得する。ステップS7において、プロセッサ11は、ユーザの識別情報と、操作対象と、支援態様と、操作所要時間とを対応づけた操作履歴情報を、サーバ300へ送出する。併せて、車両情報としての車種や、判断された手間取りレベルを送信してもよい。支援態様は、出力装置の種別と、伝達媒体の種別を含んでもよい。
図12は、記憶装置320に蓄積された操作履歴情報の一例である。操作履歴情報321は、ユーザごとにソートしてもよいし、機能ごとにソートしてもよい。ステップS9において、サーバ300は、操作履歴情報321を更新する。本実施形態では、ステップS8以降の処理は、サーバ300の制御装置310が実行する。操作支援装置100が操作所要時間を含む操作履歴情報に、記憶装置320への書き込み指令を含ませてサーバ300へ送信してもよい。
プロセッサ11は、ユーザの識別情報と、操作指令に応じて実行された機能と、支援情報を出力したときの支援態様と、支援情報の出力完了から機能を実行させる操作指令の入力が完了するまでの操作評価時間を含む操作履歴情報を、通信ネットワークを介して記憶装置320へ送信し、記憶装置320に記憶させる。操作履歴情報321は、操作支援装置100の記憶装置20に記憶してもよい。このように蓄積された操作評価時間と支援態様とを含む操作履歴情報321を参照して、支援態様を決定できるので、支援を受けるユーザに適した態様で支援情報を出力できる。
図13のステップS11において、プロセッサ11は、ユーザを識別する。具体的な処理内容は、図3のステップS101と共通する。
ステップS12において、ユーザが操作探索状態であると判断され、ステップS13において所定時間が経過した場合には、ステップS14に進む。そうでない場合には、ステップS11へ戻る。ステップS14において、プロセッサ11は、ユーザが操作指令を入力する機能の対象を取得する。ステップS15において、プロセッサ11は、支援態様を取得する。支援態様は、図3のステップS107において決定された態様である。ステップS16において、プロセッサ11は、支援情報を生成する。支援情報は、図3のステップS108において生成された出力命令に係る支援情報である。ステップS17において、プロセッサ11は、支援情報を出力する。
図14は、記憶装置320に蓄積された操作履歴情報の一例である。操作履歴情報321は、ユーザごとにソートしてもよいし、機能ごとにソートしてもよい。ステップS23において、サーバ300は、操作履歴情報321を更新する。本実施形態では、ステップS8以降の処理は、サーバ300の制御装置310が実行する。操作支援装置100が操作所要時間を含む操作履歴情報に、記憶装置320への書き込み指令を含ませてサーバ300へ送信してもよい。
本実施形態の操作支援方法によれば、ユーザが実行しようとする機能を推測するので、操作の対象が特定されていない場合であっても、適切な操作支援をすることができる。また、操作履歴情報321を参照し、推測された機能に基づいて支援態様を決定するので、ユーザにとって適した支援態様で支援情報を提供することができる。この結果、ユーザにとって効果的な支援態様で支援情報を提供できる。
音声出力装置としてのスピーカ224を用いて出力される支援情報は音声情報であり、支援態様は音声出力態様である。画像出力装置としてのディスプレイ221を介して出力される支援情報は画像(図形、テキストを含む)であり、支援態様は表示出力態様である。発光装置としての発光素子225を介して出力される支援情報は視認可能な発光情報であり、支援態様は発光態様である。
本実施形態の操作支援方法によれば、人間が聴取できる音声情報、人間が視認できる表示(画像)情報、人間が知覚できる発光情報の何れか一つ以上により支援情報を出力することができるので、ユーザに適した支援態様で支援情報を提供することができる。
操作所要時間は、「機能の操作が開始されたタイミング」から、操作部に対して「操作指令の入力が完了したタイミング」までの時間であるので、操作所要時間が短ければ、そのときの支援態様で支援情報が提供されればユーザは操作に手間取らないと評価できる。
本実施形態の操作支援方法によれば、ユーザごとに記憶された操作所要時間を含む操作履歴情報に基づいて支援態様を決定することにより、ユーザにとって有効な支援態様で支援情報を提供することができる。
また、ユーザ及び機能ごとに記憶された操作所要時間を含む操作履歴情報に基づいて支援態様を決定することにより、ユーザが実行を希望すると予測される機能について有効な支援態様で支援情報を提供することができる。
操作所要時間の短い支援態様で支援情報を提供するので、操作所要時間を短縮することができる。
本実施形態の操作支援方法によれば、ユーザ及び機能ごとに記憶された操作所要時間を含む操作履歴情報に基づいて支援態様を決定することにより、ユーザが実行を希望すると予測される機能について有効な支援態様で支援情報を提供することができる。
操作評価時間は、「支援情報の出力完了」から「機能を実行させる操作指令の入力の完了」までの時間であるので、操作評価時間が短ければ、支援情報の出力によってユーザの手間取り時間が短くなったと評価できる。
本実施形態の操作支援方法によれば、ユーザごとに記憶された操作評価時間を含む操作履歴情報に基づいて支援態様を決定することにより、ユーザにとって有効な支援態様で支援情報を提供することができる。
本実施形態の操作支援方法によれば、ユーザ及び機能ごとに記憶された操作評価時間を含む操作履歴情報に基づいて支援態様を決定することにより、ユーザが実行を希望すると予測される機能について有効な支援態様で支援情報を提供することができる。
ユーザが手間取っていることを判断するための閾値としての「所定時間」は、過去の操作履歴情報に基づいて、機能の操作か開始されてから操作指令が入力されるまでの操作所要時間に基づいて設定する。
本実施形態の操作支援方法によれば、ユーザが実際に手間取った時間に基づいて、手間取りの有無を判断する閾値を設定することにより、そのユーザが手間取ったことを高い精度で判断できる。
機能の操作が開始されたと判断されたタイミングからの経過時間が、操作所要時間に基づいて設定された所定時間以上となっても、操作指令が入力されないときに支援情報を提供できるので、ユーザが実際に手間取っているときに、支援情報を提供することができる。
本実施形態の操作支援方法によれば、ユーザの動作の対象の位置からユーザが実行しようとする機能の操作部を推測することができるので、適切な支援情報を提供することができる。
動作情報に基づいてユーザが実行しようとする機能の操作を推測することができるので、ユーザが実際に入力を完了していなくても、ユーザが操作指令を入力できずに手間取っているタイミングを判断し、ユーザが実行しようとする機能を推測できる。
本実施形態の操作支援方法によれば、ユーザの動作情報からユーザが実行しようとする機能の操作部を推測することができるので、適切な支援情報を提供することができる。
本実施形態の操作支援方法によれば、ユーザの手部、頭部の動きを分析することにより、ユーザが実行しようとする機能の操作部を高い精度で推測できる。ユーザの視線の向きを分析することにより、ユーザが実行しようとする機能の操作部を高い精度で推測できる。
本実施形態の操作支援方法によれば、ユーザの発話に含まれるワードを音声認識することにより、ユーザが実行しようとする機能の操作部を高い精度で推測できる。
本実施形態の操作支援方法によれば、車両の状態からユーザが実行しようとする機能の操作を推測することができるので、適切な支援情報を提供することができる。
本実施形態の操作支援方法によれば、様々な車両状態情報から、ユーザが実行しようとする機能を推測することができる。
本実施形態の操作支援方法によれば、蓄積した操作履歴情報321を参照して、支援態様を決定できるので、支援を受けるユーザに適した態様で支援情報を出力できる。
本実施形態の操作支援方法によれば、蓄積された操作評価時間と支援態様とを含む操作履歴情報321を参照して、支援態様を決定できるので、支援を受けるユーザに適した態様で支援情報を出力できる。
100…操作支援装置
10…制御装置
11…プロセッサ
20…記憶装置
321…操作履歴情報
30…出力装置
200…車載装置、車載された機器
210…通信装置
220…入出力装置
221…ディスプレイ
222…マイク
223…スイッチ
224…スピーカ
225…発光素子
226…カメラ
230…検出装置
231…画像処理装置
232…音声処理装置
233…ドアセンサ
234…着座センサ
235…温度計
236…位置センサ
237…シフトポジションセンサ
240…車両コントローラ
241…タイマ
250…自動運転装置
251…駆動装置
252…制動装置
253…操舵装置
260…センサ
261…舵角センサ
262…車速センサ
263…レーダー装置
270…ナビゲーション装置
271…位置検出装置
272…地図情報
273…施設情報
274…出力装置
280…アクセサリ
281…オーディオ装置
282…空調装置
283…外部通信装置
291…エアバック装置
292…自己診断装置
Claims (17)
- 車両の機器が備える機能を利用するユーザの操作に関する支援情報を出力する操作支援装置のプロセッサに実行させる操作支援方法であって、
前記プロセッサは、
前記ユーザの動作情報を取得し、
前記ユーザの動作情報に基づいて、前記ユーザが実行しようとする前記機能の操作を推測し、
記憶装置に少なくとも一時的に記憶され、前記機能を実行させる操作指令の入力が完了するまでに要した操作所要時間を含む操作履歴情報を参照し、
前記ユーザごとの前記操作所要時間に基づいて、前記推測された前記ユーザが実行しようとする前記機能の操作を支援する支援情報の支援態様を決定し、
前記支援態様で前記支援情報を出力させる操作支援方法。 - 前記支援態様を決定する処理において、
前記プロセッサは、
音声出力装置を用いて前記支援情報を音声出力する音声出力態様と、
画像出力装置を用いて前記支援情報を提示する表示出力態様と、
発光装置を用いた前記支援情報を出力する発光態様とのうちの何れか一つを前記支援態様として決定する請求項1に記載の操作支援方法。 - 前記支援態様を決定する処理において、
前記プロセッサは、
識別された前記ユーザに対応づけられた、前記機能を実行させる前記操作指令の入力が完了するまでに要した前記操作所要時間を含む操作履歴情報を参照し、
前記操作指令をした前記ユーザの識別結果に基づいて、前記識別された前記ユーザの前記操作所要時間のうち、相対的に短い前記操作所要時間に対応づけられた前記支援態様を優先して選択し、
前記選択された前記支援態様を、前記支援情報を出力する前記支援態様として決定する請求項1又は2に記載の操作支援方法。 - 前記支援態様を決定する処理において、
前記プロセッサは、
識別された前記ユーザが実行した前記機能に対応づけられた、前記機能を実行させる前記操作指令の入力が完了するまでに要した前記操作所要時間を含む操作履歴情報を参照し、
前記操作指令をした前記ユーザの識別結果と、前記ユーザが実行しようとする前記機器の操作の推測結果と、に基づいて、前記識別された前記ユーザの前記機能ごとに記憶された前記操作所要時間のうち、相対的に短い前記操作所要時間に対応づけられた前記支援態様を優先して選択し、
前記選択された前記支援態様を、前記支援情報を出力する前記支援態様として決定する請求項1又は2に記載の操作支援方法。 - 前記支援態様を決定する処理において、
前記プロセッサは、
識別された前記ユーザに対応づけられた、前記支援情報の出力完了から前記機能を実行させる前記操作指令の入力が完了するまでの操作評価時間を含む操作履歴情報を参照し、
前記操作指令をした前記ユーザの識別結果に基づいて、前記識別された前記ユーザの前記操作評価時間のうち、相対的に短い前記操作評価時間に対応づけられた前記支援態様が優先して選択されるように重みづけをし、
前記選択された前記支援態様を、前記支援情報を出力する前記支援態様として決定する請求項1~4の何れか一項に記載の操作支援方法。 - 前記支援態様を決定する処理において、
前記プロセッサは、
識別された前記ユーザが実行した前記機能に対応づけられた、前記支援情報の出力完了から前記機能を実行させる前記操作指令の入力が完了するまでの操作評価時間を含む操作履歴情報を参照し、
前記操作指令をした前記ユーザの識別結果と、前記ユーザが実行しようとする前記機器の操作の推測結果と、に基づいて、前記識別された前記ユーザの前記機能ごとに記憶された前記操作評価時間のうち、相対的に短い前記操作評価時間に対応づけられた前記支援態様を優先して選択されるように重みづけをし、
選択された前記支援態様を、前記支援情報を出力する前記支援態様として決定する請求項1~4の何れか一項に記載の操作支援方法。 - 前記プロセッサは、
前記操作指令をした前記ユーザを識別し、
前記機能の操作が開始されたと判断されたタイミングからの経過時間が、前記操作所要時間に基づいて設定された所定時間以上となった場合に、
前記支援態様を選択し、前記選択された前記支援態様により前記支援情報を出力する、請求項1~6の何れか一項に記載の操作支援方法。 - 前記ユーザが実行しようとする前記機能の操作を推測する処理において、
前記プロセッサは、
前記動作情報の検出位置と前記機器の操作部の位置とが予め対応づけられた操作対応情報を参照し、前記動作情報から抽出された前記ユーザの動作の対象となる操作部の位置に基づいて、前記ユーザが実行しようとする前記機能の操作を推測する、請求項1~7の何れか一項に記載の操作支援方法。 - 前記ユーザが実行しようとする前記機能の操作を推測する処理において、
前記プロセッサは、
前記ユーザの動作から予測される前記機能の操作部と前記動作情報とが予め対応づけられた操作対応情報を参照し、前記動作情報に基づいて前記ユーザが実行しようとする前記機能の操作を推測する請求項1~7の何れか一項に記載の操作支援方法。 - 前記動作情報は、撮像画像から抽出された、前記ユーザの手部、若しくは頭部の動き又は視線の向きに関する情報を含む請求項1~9の何れか一項に記載の操作支援方法。
- 前記動作情報は、集音された音声情報から抽出された、前記ユーザの発話情報を含む請求項1~10の何れか一項に記載の操作支援方法。
- 前記ユーザが実行しようとする前記機能の操作を推測する処理において、
前記プロセッサは、
車両の検出情報から前記車両の状態を判断し、
前記車両の状態に関する車両状態情報と、前記車両状態情報から予測される走行環境に応じた前記機能の操作部とが予め対応づけられた操作対応情報を参照し、前記判断された前記車両の状態に基づいて、前記ユーザが実行しようとする前記機能の操作部を推測する、請求項1~11の何れか一項に記載の操作支援方法。 - 前記車両状態情報は、前記車両の運転モードの種別、前記車両の速度、前記車両が走行する経路の渋滞状況、前記車両の損傷の有無、前記車両の前記機器の故障又は異常の有無、前記車両の位置、前記車両の室内温度、前記車両の外気温度、前記車両のワイパーの動作のうちのいずれか一つ以上を含む請求項12に記載の操作支援方法。
- 前記プロセッサは、
前記ユーザの前記動作情報及び/又は前記車両の状態に関する車両状態情報が所定の状態である場合には、前記決定された前記支援態様を変更する請求項1~13の何れか一項に記載の操作支援方法。 - 前記機能の操作の開始が検出された場合に、
前記プロセッサは、
前記ユーザの識別情報と、
前記ユーザが実行しようとする前記機能の操作の推測結果と、
前記ユーザが前記機能を実行させる前記操作指令の入力が完了するまでに要した前記操作所要時間と、を対応づけた操作履歴情報を、通信ネットワークを介して前記記憶装置へ送信し、
前記記憶装置に前記操作履歴情報を記憶させる、請求項1~14の何れか一項に記載の操作支援方法。 - 前記機能の操作の開始が検出された場合に、
前記プロセッサは、
前記ユーザの識別情報と、
前記操作指令に応じて実行された前記機能と、
前記ユーザが実行した前記機能に対応づけられた、前記支援情報の出力完了から前記機能を実行させる前記操作指令の入力が完了するまでの操作評価時間と、
前記支援情報を出力したときの前記支援態様と、を対応づけた操作履歴情報を、通信ネットワークを介して前記記憶装置へ送信し、
前記記憶装置に前記操作履歴情報を記憶する、請求項1~14の何れか一項に記載の操作支援方法。 - 車両の機器が備える機能を利用するユーザに操作に関する支援情報を出力する操作支援装置であって、
前記操作支援装置が備えるプロセッサは、
前記ユーザの動作情報を取得し、
前記動作情報に基づいて、前記ユーザが実行しようとする前記機能の操作を推測し、
記憶装置に少なくとも一時的に記憶され、前記機能を実行させるために前記ユーザが操作指令に要した操作所要時間を含む操作履歴情報を参照し、
前記ユーザごとの前記操作所要時間に基づいて、前記推測された前記操作を支援する支援情報の支援態様を決定し、
前記支援態様で前記支援情報を出力させる操作支援装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018196556A JP7107157B2 (ja) | 2018-10-18 | 2018-10-18 | 操作支援方法及び操作支援装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018196556A JP7107157B2 (ja) | 2018-10-18 | 2018-10-18 | 操作支援方法及び操作支援装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020064492A JP2020064492A (ja) | 2020-04-23 |
JP7107157B2 true JP7107157B2 (ja) | 2022-07-27 |
Family
ID=70387331
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018196556A Active JP7107157B2 (ja) | 2018-10-18 | 2018-10-18 | 操作支援方法及び操作支援装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7107157B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7294301B2 (ja) * | 2020-10-28 | 2023-06-20 | トヨタ自動車株式会社 | 移動体、サーバおよび判定プログラム |
WO2023238358A1 (ja) * | 2022-06-09 | 2023-12-14 | 日本電信電話株式会社 | 表示制御装置、表示制御方法および表示制御プログラム |
WO2024043053A1 (ja) * | 2022-08-23 | 2024-02-29 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009059229A (ja) | 2007-08-31 | 2009-03-19 | Auto Network Gijutsu Kenkyusho:Kk | 操作支援方法及び操作支援システム |
JP2013222299A (ja) | 2012-04-16 | 2013-10-28 | Toyota Central R&D Labs Inc | 操作支援装置、操作システム、操作支援方法、及びプログラム |
JP2015011370A (ja) | 2013-06-26 | 2015-01-19 | 日本電気株式会社 | 情報処理装置、gui操作支援方法、及びプログラム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014059803A (ja) * | 2012-09-19 | 2014-04-03 | Alps Electric Co Ltd | 入力装置 |
-
2018
- 2018-10-18 JP JP2018196556A patent/JP7107157B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009059229A (ja) | 2007-08-31 | 2009-03-19 | Auto Network Gijutsu Kenkyusho:Kk | 操作支援方法及び操作支援システム |
JP2013222299A (ja) | 2012-04-16 | 2013-10-28 | Toyota Central R&D Labs Inc | 操作支援装置、操作システム、操作支援方法、及びプログラム |
JP2015011370A (ja) | 2013-06-26 | 2015-01-19 | 日本電気株式会社 | 情報処理装置、gui操作支援方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2020064492A (ja) | 2020-04-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6508072B2 (ja) | 報知制御装置及び報知制御方法 | |
EP3124348B1 (en) | Vehicle occupant information acquisition device and vehicle control system | |
JP6578445B2 (ja) | 駐車支援装置 | |
JP6323549B2 (ja) | 車両用情報呈示装置 | |
EP3125211B1 (en) | Information presentation device and information presentation method | |
EP3330148A1 (en) | Automatic driving system for vehicles | |
JP7107157B2 (ja) | 操作支援方法及び操作支援装置 | |
JP2020091790A (ja) | 自動運転システム | |
CN112601689B (zh) | 车辆的行驶控制方法及行驶控制装置 | |
US20160307056A1 (en) | Arrangement for creating an image of a scene | |
KR101938314B1 (ko) | 운전 습관에 따른 후측방 경보 장치 및 방법 | |
US20190232931A1 (en) | Method and driver assistance system for assisting a driver in driving a vehicle | |
JP6075577B2 (ja) | 運転支援装置 | |
JP2016181032A (ja) | 自動走行制御装置及び自動走行制御システム | |
WO2018168049A1 (ja) | 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム | |
JP2020050204A (ja) | 車両の走行制御方法及び走行制御装置 | |
JP2004338496A (ja) | 車両用走行制御装置 | |
JP7147858B2 (ja) | 車両の走行制御方法及び走行制御装置 | |
JP7376996B2 (ja) | 車両の危険状況判別装置、車両の危険状況判別方法、及びプログラム | |
JP2014218124A (ja) | 操作支援装置及び操作支援方法 | |
JP2018151902A (ja) | 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム | |
CN207241570U (zh) | 具有三路录像功能的智能后视镜及汽车 | |
JP2020095466A (ja) | 電子装置 | |
JP2018149940A (ja) | 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム | |
WO2018168048A1 (ja) | 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210802 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220525 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220614 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220627 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7107157 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |