JP7111156B2 - 車載機器の制御装置及び制御方法 - Google Patents

車載機器の制御装置及び制御方法 Download PDF

Info

Publication number
JP7111156B2
JP7111156B2 JP2020520898A JP2020520898A JP7111156B2 JP 7111156 B2 JP7111156 B2 JP 7111156B2 JP 2020520898 A JP2020520898 A JP 2020520898A JP 2020520898 A JP2020520898 A JP 2020520898A JP 7111156 B2 JP7111156 B2 JP 7111156B2
Authority
JP
Japan
Prior art keywords
vehicle
motion
information
occupant
input operation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020520898A
Other languages
English (en)
Other versions
JPWO2019224905A1 (ja
Inventor
乘 西山
裕史 井上
剛仁 寺口
雄宇 志小田
翔太 大久保
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Publication of JPWO2019224905A1 publication Critical patent/JPWO2019224905A1/ja
Application granted granted Critical
Publication of JP7111156B2 publication Critical patent/JP7111156B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/227Position in the vehicle

Description

本発明は、車載機器の制御装置及び制御方法に関するものである。
乗員の生体認証を実行することで車両機能の使用を許可する車両機能制御装置において、複数人が乗車した場合には、各乗員の生体認証により乗員の組み合わせを把握し、当該組み合わせに係る過去の車両機能の設定情報(シート位置、空調温度、ミラー角度、音量、モード(DVDモード又はCDモード)など)を検索し、抽出された設定情報に基づいて車両機能を設定するものが知られている(特許文献1)。
特開2006-131031号公報
しかしながら、車載機器の操作は、複数の乗員の組み合わせだけで設定される訳ではなく、各種シーンに応じた乗員の動作や思考に起因することが少なくない。たとえば、後部座席に乗員Aが乗車している場合に、乗員Aが本を読もうとしたときは、後部座席用照明を点灯させたり、乗員A足を組もうとしたときは、前席のシート位置を前方に移動させたりする。上記従来の車両機能制御装置では、こうした乗員の動作に対応した車載機器の設定を自動化できないという問題がある。
本発明が解決しようとする課題は、乗員の動作に基づいて車載機器の操作を制御できる車載機器の制御装置及び制御方法を提供することである。
本発明は、乗員が車載機器に対して入力操作をする場合に、前記入力操作をする前の動作及び前記入力操作をした後の動作に関する動作情報を取得し、前記乗員の前記入力操作をする前の動作及び前記入力操作をした後の動作にともなう、前記車載機器に対する入力操作に関する操作情報を取得し、前記動作情報と前記操作情報とを関連付けて記憶し、前記乗員が、記憶された動作情報に関する動作を行ったことが検出された場合には、当該動作情報に関連付けて記憶された操作情報を参照し、前記車載機器への操作指示に関する指示情報を出力することによって上記課題を解決する。
本発明によれば、予め記憶された乗員の動作情報と操作情報とを参照して、検出された乗員の動作に基づく車載機器への指示情報を出力するので、各種シーンに適した車載機器の操作を制御することができる。
本発明に係る車載機器の制御装置の一実施の形態を示すブロック図である。 図1の車載機器の制御装置の制御部にて実行される処理の一例を示すフローチャートである。 (A)は、カメラなどの非接触センサにより取得された乗員の画像データの一例を示し、(B)は、図3(A)の画像データから抽出された乗員の姿勢情報の一例を示す図である。 図1の車載機器の制御装置1の操作学習部17において学習モデルを生成する場合の一例を示すデータシートである。
以下、本発明の実施形態を図面に基づいて説明する。図1は、本発明に係る車載機器の制御装置の一実施の形態を示すブロック図であり、本発明に係る車載機器の制御方法の一実施の形態を使用した車載機器の制御装置でもある。本実施形態の車載機器の制御装置及び制御方法は、特に限定されないが、たとえば、後部座席の乗員が本を読もうとしたときは、その動作を検出して後部座席用照明を点灯させたり、後部座席の乗員が足を組もうとしたときは、その動作を検出して前席のシート位置を前方に移動させたり、乗員が上着を脱いだり又は窓を開けようとしたら、その動作を検出して空調機器をONしたり、乗員が携帯用音楽再生装置を取り出したら、その動作を検出してその携帯用音楽再生装置の楽曲データを読み込み、車載オーディオ再生機器から音楽を流したり、乗員が本を読んでいるときやコーヒーなどを飲んでいるときは、その動作を検出して車両の走行速度を抑制制御したりする。
そのため、本実施形態の車載機器の制御装置1は、乗員の動作に関する動作情報を取得する第1情報取得部11と、乗員の動作にともなう、所定の車載機器2に対する入力操作に関する操作情報を取得する第2情報取得部12と、動作情報と操作情報とを関連付けて記憶する記憶部13と、乗員の動作を検出する動作検出部14と、制御部15と、乗員に対して、車載機器への操作指示を行うか否を通知する通知部16と、操作学習部17と、を備える。なお、第1情報取得部11、第2情報取得部12、記憶部13及び制御部15は、特定の車両に車載されていてもよいし、インターネットなどのネットワークを介してサーバに構築されていてもよい。また、第1情報取得部11、第2情報取得部12、記憶部13及び制御部15が特定の車両に車載されている場合に、記憶部13に蓄積されたデータを、ネットワークを介してサーバに送信し、他の車両により取得されたデータと共用し、これらから学習モデルを生成してもよい。また、第1情報取得部11、第2情報取得部12、記憶部13及び制御部15がサーバに構築されている場合に、複数の車両からのデータを読み込み、これらを後述する操作学習部17にて学習してもよい。
本実施形態の車載機器の制御装置1の制御対象となる車載機器2としては、特に限定はされないが、少なくとも、室内灯などの照明機器、オーディオ再生機器又は空調機器を含み、これ以外にも、シート位置調整装置、ウィンドガラス開閉装置、バックミラー又はルームミラーの角度調整装置、ナビゲーション装置、自動運転制御装置(速度制御装置又は操舵制御装置を含む)などを制御してもよい。これらの車載機器2に対する制御内容は、その入力操作として、少なくとも車載機器2に対する電源オン操作又は電源オフ操作を含み、これ以外にも、照明機器であれば照度調整又は角度調整、オーディオ再生機器であれば音量調整、選曲調整、チャンネル選択又は他の機器からのデータの読み込み、空調装置であれば温度調節、内外気取入口の選択、エアコンON/OFF又は吹出モードの選択、シート位置調整装置であれば特定のシートの前後方向位置調整又はシートバックの角度調整、ウィンドガラス開閉装置であればウィンドガラスの開閉、ミラーの角度調整装置であれば角度調整、曇り止めヒータのON/OFF又は防眩ミラーのON/OFF、ナビゲーション装置であれば設定された走行ルートの変更、自動運転制御装置であれば速度選択などを含んでもよい。
動作検出部14は、車室内を撮像するカメラ又は距離センサその他の非接触センサと、当該センサにより検出された検出信号を解析するプログラムがインストールされた電子回路とから構成され、乗員の動作を検出する。たとえば、動作検出部14としてカメラを用いる場合には、車両の前席の乗員を撮像するカメラをルームミラーの近傍に配置し、後席の乗員を撮像するカメラを天井又は前席のシートバックなどに配置し、これらのカメラで撮像した画像データを画像処理して、乗員の動作を検出する。図3(A)は、カメラなどの非接触センサにより取得された乗員の画像データの一例を示し、図3(B)は、図3(A)の画像データから抽出された乗員の姿勢情報の一例を示す図である。カメラなどの非接触センサにより、ある時刻における乗員の画像を取得し(図3(A))、画像処理を施して、図3(B)に示すように、乗員の器官部位(例えば,手,肘,膝,足,腰,胸,顔(目を含む)など)の位置や方向を抽出し、その時刻における乗員の姿勢を特定する。また、記憶部13に乗員の顔データと個人を特定する乗員IDとを関連付けて記憶しておき、カメラより取得した乗員の画像データから抽出された顔画像を基に、記憶部13に記憶された顔データを参照することによって、顔画像に含まれる乗員を特定し、特定された乗員IDを記憶部13に記憶する。
動作検出部14により検出される乗員の動作は、図3(B)のように特定された乗員の姿勢の時間的な連続情報である。すなわち、カメラなどの非接触センサにより時系列で記録された画像データから、少なくとも乗員の手、脚、頭又は視線を含む、乗員の器官部位(例えば,手,肘,膝,足,腰,胸,顔(目を含む)など)の位置や方向を抽出し、時間的に連続する乗員の姿勢情報の変化から乗員の動作を検出する。たとえば、乗員の脚が揃った状態から、一方の脚が他方の脚に重なる姿勢に変化した場合には、その乗員は脚を組む動作を行ったと検出する。また、乗員の手、肘又は顔の位置及び方向がカバンから本を取り出して当該本を読む姿勢情報に変化した場合などには、その乗員は本を読む動作を行ったと検出する。
そして、このようにして動作検出部14により検出される乗員の動作は、少なくとも、車載機器2に対して乗員が入力操作をする前の動作、車載機器2に対して乗員が入力操作をした後の動作、又は車載機器2に対して乗員が入力操作をした前後の動作の少なくとも何れかを含む。たとえば、助手席の後部座席の乗員が脚を組もうとする場合には、助手席のシート位置調整装置を操作して助手席を前方に移動させたのち脚を組んだり、脚を組んでから助手席のシート位置調整装置を操作して助手席を前方に移動させたり、又は脚を組みながら助手席のシート位置調整装置を操作して助手席を前方に移動させたりする。また、乗員がカバンから本を取り出して読もうとする場合も、照明装置をONしてからカバンから本を取り出して開いたり、カバンから本を取り出して開いたのちに照明装置をONしたり、カバンから本を取り出してから照明装置をONし、本を開いたりする。したがって、動作検出部14による乗員の動作は、シート位置調節装置や照明装置などの車載機器2に対して乗員が入力操作をする前の動作、車載機器2に対して乗員が入力操作をした後の動作、又は車載機器2に対して乗員が入力操作をした前後の動作の少なくとも何れかを含むことが望ましい。
第1情報取得部11は、上述した動作検出部14により検出された乗員の動作に関する動作情報を取得し、制御部15へ出力する。また、第2情報取得部12は、上述した動作検出部14により検出された乗員の動作にともなう、所定の車載機器2に対する入力操作に関する操作情報を車載機器2から取得し、制御部15へ出力する。これら第1情報取得部11による動作情報と、第2情報取得部12による操作情報は、制御部15にて関連付けて認識される。たとえば、乗員が脚を組んで助手席シートの位置を前方に移動させた場合には、乗員の動作情報として脚を組むという情報が第1情報取得部11から制御部15へ出力されるとともに、操作情報として助手席シート位置の前方への移動の情報が第2情報取得部12から制御部15へ出力される。同様に、乗員がカバンから本を取り出し、照明装置をONして読もうとする場合には、乗員の動作情報としてカバンから本を取り出して読むという情報が第1情報取得部11から制御部15へ出力されるとともに、操作情報として照明装置をONする情報が第2情報取得部12から制御部15へ出力される。
制御部15は、第1情報取得部11による動作情報と、第2情報取得部12による操作情報とを関連付け、これを記憶部13に記憶する。ただし、後述する通知部16によりユーザが記憶部13への登録を許可しない場合は記憶しないようにしてもよい。記憶部18は、車載機器2ごとに、第1情報取得部11による動作情報と、第2情報取得部12による操作情報とを関連付けて記憶する。
操作学習部17は、車載機器2と、車載機器2に対する入力操作と、乗員の動作とに基づいて所定の学習アルゴリズムを実行し、乗員の動作に対する車載機器2の入力操作の学習モデルを生成する。すなわち、制御部15により記憶部13に蓄積される、車載機器2ごとに関連付けられた第1情報取得部11による動作情報と第2情報取得部12による操作情報とを入力値(特徴量)とし、所定の学習アルゴリズムを適用して、乗員の動作に対する車載機器2の入力操作の学習モデルを生成する。上述したように、複数の車両に関して、車載機器2、車載機器2に対する入力操作及び乗員の動作のデータが収集される場合には、これらのビッグデータを用いた乗員の動作に対する車載機器2の入力操作の学習モデルが得られることになる。なお、操作学習部17は、記憶部13の一部として構成してもよいし、別のコンポーネントとして構成してもよい。
操作学習部17を含む記憶部13に、乗員の動作に対する車載機器2の入力操作の学習モデルが生成及び記憶されている状態において、制御部15は、動作検出部14により検出された乗員の動作に関する動作情報が、記憶部13に記憶されている場合には、動作情報に関連付けて記憶された操作情報を参照し、車載機器2への操作指示に関する指示情報を出力する。ここで、動作検出部14により検出された乗員の動作に関する動作情報が、記憶部13に記憶されている場合とは、動作検出部14により検出された動作情報と記憶部13に記憶された動作情報とが同一の場合のみならず、所定の閾値以内で類似する場合も含まれる。脚を組む動作や本を読む動作その他の乗員の動作は、多少なりとも個人差があるため、こうした個人差による動作情報の誤差を吸収して、同じ動作として認識するために所定の閾値以内の類似範囲を設定することが望ましい。
通知部16は、ディスプレイやスピーカなどの装置を有し、車載機器の制御装置1とユーザとの間の連絡手段及び指令手段として機能する。すなわち、通知部16は、制御部15により、車載機器2ごとに関連付けられた第1情報取得部11による動作情報と第2情報取得部12による操作情報とを記憶部13に記憶する際に、これらの情報を記憶部13に記憶してもよいか否かをユーザに通知する。そして、通知部16は、当該通知に対するユーザの回答が不可である場合は、その旨を制御部15に出力し、制御部15は、ユーザの回答にしたがって記憶部13への記憶をしない。
また通知部16は、制御部15により、動作情報に関連付けて記憶された操作情報を参照し、車載機器2への操作指示に関する指示情報を出力する際に、車載機器2への操作指示を行うか否を通知する。そして、通知部16は、当該通知に対するユーザの回答が不可である場合は、その旨を制御部15に出力し、制御部15は、ユーザの回答にしたがって車載機器2への操作指令を実行しない。なお、通知部16は、必要に応じて省略してもよい。
ちなみに、操作学習部17において、車載機器2ごとに関連付けられた第1情報取得部11による動作情報と第2情報取得部12による操作情報とを入力値(特徴量)とし、所定の学習アルゴリズムを適用して、乗員の動作に対する車載機器2の入力操作の学習モデルを生成するにあたり、入力値として車両情報を加えてもよい。この種の車両情報としては、たとえば、乗員ID、乗員人数、乗員の着座位置、現在日時、天気、気温、車速、乗車後の経過時間などが挙げられる。乗員IDは、動作検出部14として用いられるカメラによる顔認識により検出し、乗員人数や乗員の着座位置は、同じく動作検出部14として用いられるカメラによる画像処理により検出し、現在日時や乗車後の経過時間は車載時計により検出し、天気はネットワークを介して天気情報提供サーバから取得し、気温や車速は車載センサから検出することができる。乗員の動作に車両情報を加えることで、同じ乗員の動作であっても車両情報の相違による操作情報の違いをも学習できるので、より細かい車載機器の制御が実現できる。
図4は、操作学習部17において学習モデルを生成する場合の一例を示すデータシートである。学習モデル番号は、車両情報、操作機器情報及び動作ごとに検出した情報を互いに関連付けた1単位のデータであり、たとえば学習モデル番号1のデータは、乗員A(顔認識された乗員)、乗員数が2名、着座位置が後部シート#2(助手席の後)、日時が12月8日AM8:00、平均車速が40km/h、気温が5℃、天気は曇りという車両情報の下で、照明装置#2がON操作され、そのときの入力操作前(入力から所定時間前~入力の間)の乗員Aの視線の動き、手の動き、頭の動きと、入力操作後(入力~入力から所定時間後の間)の乗員Aの視線の動き、手の動き、頭の動きと、を取得したデータである。入力操作前の乗員Aの視線の動き、手の動き、頭の動きから、乗員Aがカバンから本を取り出す動作が検出され、入力操作後の乗員Aの視線の動き、手の動き、頭の動きから、乗員Aが本を開いて読み始める動作が検出されたものとする。
同様に、図4の学習モデル番号2のデータは、乗員A(顔認識された乗員)、乗員数が2名、着座位置が後部シート#3(運転席の後)、日時が8月9日PM12:00、平均車速が40km/h、気温が30℃、天気は晴れという車両情報の下で、後部座席用空調装置#2がON操作され、そのときの入力操作前(入力から所定時間前~入力の間)の乗員Aの視線の動き、手の動き、頭の動きと、入力操作後(入力~入力から所定時間後の間)の乗員Aの視線の動き、手の動き、頭の動きとを取得したデータである。入力操作前の乗員Aの視線の動き、手の動き、頭の動きから、乗員Aが上着を脱ぐ動作が検出され、入力操作後の乗員Aの視線の動き、手の動き、頭の動きから、乗員Aが手で顔を扇ぐ動作が検出されたものとする。
次に図2を参照して、本実施形態の車載機器の制御装置1の動作を説明する。図2は、図1の車載機器の制御装置1の制御部15にて実行される処理の一例を示すフローチャートである。ステップS1では、動作検出部14である非接触センサからのセンサ情報(カメラによる画像情報など)を取得し、ステップS2において時系列画像データから乗員の動作を検出する。一方、ステップS3では各種センサ類から車両情報を取得する。
ステップS4では、ステップS2にて検出された乗員の動作及びステップS3にて検出された車両情報に基づいて、記憶部13の操作学習部17にて生成された学習モデルを参照し、ステップS5において同一又は類似のシーンデータが存在するか否かを判定する。たとえば、ステップS2において乗員がカバンから本を取り出す動作が検出され、その際の車両情報が、図4の学習モデル番号1のように乗員A(顔認識された乗員)、乗員数が2名、着座位置が後部シート#2(助手席の後)、日時が12月8日AM8:00、平均車速が40km/h、気温が5℃、天気は曇りという車両情報と同一又は類似のデータが記憶されている場合には、ステップS11へ進み、記憶されていない場合はステップS6へ進む。ここで、車両情報の類似範囲としては、乗員ID、乗員人数、乗員の着座位置、現在日時、天気、気温、車速、乗車後の経過時間のうちの、いずれかが同一であるとしてもよい。
ステップS5において、ステップS2にて検出された乗員の動作及びステップS3にて検出された車両情報と同一又は類似のシーンデータが、記憶部13の操作学習部17に記憶されていないと判断された場合は、ステップS6にて、車載機器2に対する乗員の手動操作を、第2情報取得部12を介して制御部15へ入力する。そして、ステップS7にて車載機器2に対する操作が発生したか否かを判定し、操作が発生した場合はステップS8へ進み、その車載機器2に対する操作内容を通知部16へ通知する。この通知部16への通知内容としては、たとえば「只今、空調装置のON操作がされましたが、これを登録してもよろしいですか?」である。そして、この通知とともに、通知部16に「Yes」と「No」のボタンを表示してユーザの回答を促す。ステップS9では、ステップS8の通知に対するユーザの回答が承認を意味する場合、たとえば「Yes」である場合には、ステップS10へ進み、ステップS2にて検出された乗員の動作及びステップS3にて検出された車両情報と、ステップS6にて検出された車載機器2及びその操作内容を記憶部13に記憶させる。
なお、ステップS7において車載機器2に対する手動操作が何も発生していない場合は、ステップS2で検出された乗員の動作は車載機器2に対する操作とは無関係の動作であるとして、ステップS16へ進む。同様に、ステップS7において車載機器2に対する手動操作は発生したものの、ステップS9にてユーザが承認しない(たとえば「No」)である場合は、ステップS2で検出された乗員の動作は、ステップS6で検出された車載機器2に対する手動操作とは無関係の動作であるとして、ステップS16へ進む。
ステップS5へ戻り、ステップS2にて検出された乗員の動作及びステップS3にて検出された車両情報と同一又は類似のシーンデータが、記憶部13の操作学習部17に記憶されていると判断された場合は、ステップS11へ進み、記憶部13の操作学習部17に記憶された対象となる車載機器2とその操作内容を参照し、ステップS12にて、その操作内容を通知部16へ通知する。この通知部16への通知内容としては、たとえば「空調装置をONしますが、よろしいですか?」である。そして、この通知とともに、通知部16に「Yes」と「No」のボタンを表示してユーザの回答を促す。ステップS13では、ステップS12の通知に対するユーザの回答が承認を意味する場合、たとえば「Yes」である場合には、ステップS14へ進み、その操作(上記の例では空調装置のON操作)を実行する。これに対して、ステップS13においてユーザが承認しない(たとえば「No」)である場合は、ステップS11で抽出された車載機器2に対する操作内容は、ユーザが意図したものではないとして、ステップS15へ進み、記憶部13の操作学習部17に記憶された乗員の動作及び車両情報と車載機器2及びその操作内容を削除する。
ステップS16では、車両電源がOFFか否かを判定し、ONが継続している場合はステップS1へ戻り、OFFの場合は処理を終了する。
なお、上述したとおり、ステップS3において取得する車両情報は必ずしも必須の構成ではないことから、このステップS3を省略し、続くステップS4~S16までの処理においても車両情報を除く情報に基づいて上述した処理を実行してもよい。また、上述したとおり、通知部16は必要に応じて省略することができ、通知部16を省略した場合には、ステップS12及びS13を省略することで、ステップS11にて抽出された操作内容をステップS14にて直接実行してもよい。同様に、通知部16を省略した場合には、ステップS8及びS9を省略することで、ステップS6にて検出された手動操作内容をステップS10にて直接追加してもよい。
以上のとおり、本実施形態の車載機器の制御装置1及び制御方法によれば、予め記憶された乗員の動作情報と操作情報とを参照して、検出された乗員の動作に基づく車載機器2への指示情報を出力するので、各種シーンに適した車載機器2の操作を制御することができる。特にこうした操作制御は、乗員IDや複数の乗員の組み合わせで一義的に決まるのではなく、乗員IDなどに拘わらず乗員の動作や思考に起因するので、各種シーンにより一層適した操作制御となる。
また本実施形態の車載機器の制御装置1及び制御方法によれば、動作情報は、時系列で記録される、少なくとも乗員の手、脚、頭又は視線の動きに関する情報であり、これらの各要素は車載機器2の操作に特に強く関係するため、動作情報と操作情報との関連性がより一層強くなる。
また本実施形態の車載機器の制御装置1及び制御方法によれば、車載機器2として、少なくとも照明機器、オーディオ再生機器又は空調機器を含み、車載機器2への入力操作は、少なくとも車載機器2に対する電源オン操作を含み、これらの車載機器2及びその電源ON操作は、乗員の動作に特に強く関係するため、動作情報と操作情報との関連性がより一層強くなる。
また本実施形態の車載機器の制御装置1及び制御方法によれば、乗員の動作は、少なくとも、乗員が入力操作をする前の動作、乗員が入力操作をした後の動作、又は乗員が入力操作をした前後の動作を含むので、車載機器2に対する操作の前後のいずれの期間において、乗員の動作が行われても対応することができる。
また本実施形態の車載機器の制御装置1及び制御方法によれば、車載機器2への操作指示を行うか否を通知する通知部16をさらに備え、制御部15から出力される指示情報は通知部17へ通知されるので、誤動作を回避することができる。
また本実施形態の車載機器の制御装置1及び制御方法によれば、制御部15は車載機器2に対して指示情報を出力するので、通知部16による回答といった煩雑な手続きを経ることなく、車載機器2に対する操作を自動化することができる。
また本実施形態の車載機器の制御装置1及び制御方法によれば、車載機器2に対する入力操作と乗員の動作とに基づいて所定の学習アルゴリズムを実行し、乗員の動作に対する車載機器2の入力操作の学習モデルを生成する操作学習部17を備えるので、既定の学習モデルに加えて実際の利用状況に適した個人的な学習モデルを生成することができる。
また本実施形態の車載機器の制御装置1及び制御方法によれば、制御部15が、車載機器2に対して指示情報を出力してから所定期間内に、乗員から指示情報の内容を停止する指示を受け付けた場合には、学習モデルへの登録をしない又は学習モデルの修正を実行するので、適当でない操作の提案に対して学習モデルへの登録が回避又は修正され、この結果、再び適当でない操作の提案をすることが抑制される。
また本実施形態の車載機器の制御装置1及び制御方法によれば、制御部15は学習モデルの追加又は変更の可否を乗員へ問い合わせるので、適切でない学習モデルの追加または変更を抑制することができる。
1…車載機器の制御装置
11…第1情報取得部
12…第2情報取得部
13…記憶部
14…動作検出部
15…制御部
16…通知部
17…操作学習部
2…車載機器

Claims (9)

  1. 乗員が車載機器に対して入力操作をする場合に、前記入力操作をする前の動作及び前記入力操作をした後の動作に関する動作情報を取得する第1情報取得部と、
    前記乗員の前記入力操作をする前の動作及び前記入力操作をした後の動作にともなう、前記車載機器に対する入力操作に関する操作情報を取得する第2情報取得部と、
    前記動作情報と前記操作情報とを関連付けて記憶する記憶部と、
    乗員の動作を検出する動作検出部と、
    前記動作検出部により検出された乗員の動作が、前記記憶部に記憶されている前記動作情報に関する動作である場合には、前記動作情報に関連付けて記憶された操作情報を参照し、前記車載機器への操作指示に関する指示情報を出力する制御部と、を備える車載機器の制御装置。
  2. 前記動作情報は、時系列で記録される、少なくとも乗員の手、脚、頭又は視線の動きに関する情報である請求項1に記載の車載機器の制御装置。
  3. 前記車載機器は、少なくとも照明機器、オーディオ再生機器又は空調機器を含み、
    前記入力操作は、少なくとも前記車載機器に対する電源オン操作を含む請求項1又は2に記載の車載機器の制御装置。
  4. 前記乗員に対して、前記車載機器への操作指示を行うか否を通知する通知部をさらに備え、
    前記制御部から出力される前記指示情報は、前記通知部への通知である請求項1~3のいずれか一項に記載の車載機器の制御装置。
  5. 前記制御部は、前記車載機器に対して前記指示情報を出力する請求項1~3のいずれか一項に記載の車載機器の制御装置。
  6. 前記車載機器と、前記車載機器に対する入力操作と、前記乗員の動作とに基づいて所定の学習アルゴリズムを実行し、前記乗員の動作に対する前記車載機器の入力操作の学習モデルを生成する操作学習部をさらに備える請求項1~5のいずれか一項に記載の車載機器の制御装置。
  7. 前記制御部が、前記車載機器に対して前記指示情報を出力してから所定期間内に、前記乗員から前記指示情報の内容を停止する指示を受け付けた場合には、前記学習モデルへの登録をしない、又は前記学習モデルの修正を実行する請求項6に記載の車載機器の制御装置。
  8. 前記制御部は、前記学習モデルの追加又は変更の可否を乗員へ問い合わせる請求項6に記載の車載機器の制御装置。
  9. コントローラを用いて所定の車載機器に対する入力操作を制御する車載機器の制御方法において、
    前記コントローラは、
    乗員が車載機器に対して入力操作をする場合に、前記入力操作をする前の動作及び前記入力操作をした後の動作に関する動作情報を取得し、
    前記乗員の前記入力操作をする前の動作及び前記入力操作をした後の動作にともなう、前記車載機器に対する入力操作に関する操作情報を取得し、
    前記動作情報と前記操作情報とを関連付けて記憶し、
    前記乗員が、記憶された動作情報に関する動作を行ったことが検出された場合には、当該動作情報に関連付けて記憶された操作情報を参照し、前記車載機器への操作指示に関する指示情報を出力する車載機器の制御方法。
JP2020520898A 2018-05-22 2018-05-22 車載機器の制御装置及び制御方法 Active JP7111156B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/019639 WO2019224905A1 (ja) 2018-05-22 2018-05-22 車載機器の制御装置及び制御方法

Publications (2)

Publication Number Publication Date
JPWO2019224905A1 JPWO2019224905A1 (ja) 2021-07-01
JP7111156B2 true JP7111156B2 (ja) 2022-08-02

Family

ID=68616877

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020520898A Active JP7111156B2 (ja) 2018-05-22 2018-05-22 車載機器の制御装置及び制御方法

Country Status (5)

Country Link
US (1) US20210206384A1 (ja)
EP (1) EP3798059B1 (ja)
JP (1) JP7111156B2 (ja)
CN (1) CN112203903A (ja)
WO (1) WO2019224905A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112947740A (zh) * 2019-11-22 2021-06-11 深圳市超捷通讯有限公司 基于动作分析的人机交互方法、车载装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000127869A (ja) 1998-10-26 2000-05-09 Tokai Rika Co Ltd 自動車用付帯装置の自動制御システム
JP2007170898A (ja) 2005-12-20 2007-07-05 Toyota Motor Corp サービス提供システム
JP2007307992A (ja) 2006-05-17 2007-11-29 Toyota Motor Corp ワイパ制御装置
JP2008287626A (ja) 2007-05-21 2008-11-27 Sony Corp 学習制御装置および方法、並びにプログラム
JP2009101927A (ja) 2007-10-24 2009-05-14 Toyota Motor Corp 車両制御装置
JP2017182531A (ja) 2016-03-31 2017-10-05 大日本印刷株式会社 情報処理装置、情報処理方法、およびプログラム
WO2018016248A1 (ja) 2016-07-22 2018-01-25 パナソニックIpマネジメント株式会社 情報推定システム、情報推定方法及びプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006131031A (ja) 2004-11-04 2006-05-25 Toyota Motor Corp 車両機能制御装置
JP2014078124A (ja) * 2012-10-10 2014-05-01 Mitsubishi Electric Corp ジェスチャー入力装置および表示システム
US9348793B2 (en) * 2013-02-27 2016-05-24 GM Global Technology Operations LLC Method and system for adjusting performance based on vehicle occupants
US20140316607A1 (en) * 2013-04-18 2014-10-23 Ford Global Technologeis, Llc Occupant presence detection and identification
US10409382B2 (en) * 2014-04-03 2019-09-10 Honda Motor Co., Ltd. Smart tutorial for gesture control system
US9690387B2 (en) * 2014-06-13 2017-06-27 Ford Global Technologies, Llc Vehicle computing system in communication with a wearable device
JP2017200786A (ja) * 2016-05-02 2017-11-09 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
CN107122053A (zh) * 2017-04-27 2017-09-01 奥英光电(苏州)有限公司 一种显示器的控制方法、装置及显示器
CN107741781A (zh) * 2017-09-01 2018-02-27 中国科学院深圳先进技术研究院 无人机的飞行控制方法、装置、无人机及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000127869A (ja) 1998-10-26 2000-05-09 Tokai Rika Co Ltd 自動車用付帯装置の自動制御システム
JP2007170898A (ja) 2005-12-20 2007-07-05 Toyota Motor Corp サービス提供システム
JP2007307992A (ja) 2006-05-17 2007-11-29 Toyota Motor Corp ワイパ制御装置
JP2008287626A (ja) 2007-05-21 2008-11-27 Sony Corp 学習制御装置および方法、並びにプログラム
JP2009101927A (ja) 2007-10-24 2009-05-14 Toyota Motor Corp 車両制御装置
JP2017182531A (ja) 2016-03-31 2017-10-05 大日本印刷株式会社 情報処理装置、情報処理方法、およびプログラム
WO2018016248A1 (ja) 2016-07-22 2018-01-25 パナソニックIpマネジメント株式会社 情報推定システム、情報推定方法及びプログラム

Also Published As

Publication number Publication date
JPWO2019224905A1 (ja) 2021-07-01
WO2019224905A1 (ja) 2019-11-28
CN112203903A (zh) 2021-01-08
EP3798059A4 (en) 2021-04-28
EP3798059A1 (en) 2021-03-31
EP3798059B1 (en) 2022-05-11
US20210206384A1 (en) 2021-07-08

Similar Documents

Publication Publication Date Title
JP4670803B2 (ja) 操作推定装置およびプログラム
CN108725357B (zh) 基于人脸识别的参数控制方法、系统与云端服务器
CN108327722B (zh) 用于通过移动模式来识别车辆驾驶员的系统和方法
US10220854B2 (en) System and method for identifying at least one passenger of a vehicle by a pattern of movement
US20150081133A1 (en) Gesture-based system enabling children to control some vehicle functions in a vehicle
CN108284840A (zh) 结合乘员偏好的自主车辆控制系统和方法
US20130144470A1 (en) Vehicle climate control
US20160147233A1 (en) System and method for remote virtual reality control of movable vehicle partitions
JP7403546B2 (ja) 遺留対象検出
JP4561703B2 (ja) 顔認識装置及びそれを用いた自動車用ユーザーもてなしシステム
CN108688593B (zh) 用于通过移动模式来识别车辆的至少一个乘客的系统和方法
CN104470735A (zh) 交通工具气候控制
JPH11250395A (ja) エージェント装置
JP2017090613A (ja) 音声認識制御システム
JP2009143373A (ja) 車両用操作入力装置
CN111305695B (zh) 用于控制车辆的方法和装置
JP2006044420A (ja) 車両機器制御装置
JP7111156B2 (ja) 車載機器の制御装置及び制御方法
CN112109647A (zh) 一种车辆及车辆情景模式的实现方法、装置
JP4613999B2 (ja) 行動推定装置、プログラム
JP4683123B2 (ja) 行動推定装置、プログラム
CN108475485B (zh) 显示装置和用于控制显示装置的方法
JP2012121387A (ja) 車室内監視装置
JP2010274679A (ja) 車両用走行制御装置
CN112297842A (zh) 具有多种显示模式的自动驾驶车辆

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201110

A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A5211

Effective date: 20201110

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220310

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220621

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220704

R151 Written notification of patent or utility model registration

Ref document number: 7111156

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151