JP6962878B2 - 操作補助システムおよび操作補助方法 - Google Patents

操作補助システムおよび操作補助方法 Download PDF

Info

Publication number
JP6962878B2
JP6962878B2 JP2018138155A JP2018138155A JP6962878B2 JP 6962878 B2 JP6962878 B2 JP 6962878B2 JP 2018138155 A JP2018138155 A JP 2018138155A JP 2018138155 A JP2018138155 A JP 2018138155A JP 6962878 B2 JP6962878 B2 JP 6962878B2
Authority
JP
Japan
Prior art keywords
vehicle
occupant
unit
relative position
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018138155A
Other languages
English (en)
Other versions
JP2020016973A (ja
Inventor
航太 齊藤
良広 松儀
侑紀 松浦
勝鎬 崔
祥和 松尾
大海 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2018138155A priority Critical patent/JP6962878B2/ja
Priority to US16/519,549 priority patent/US10870436B2/en
Priority to CN201910673542.8A priority patent/CN110774992B/zh
Publication of JP2020016973A publication Critical patent/JP2020016973A/ja
Application granted granted Critical
Publication of JP6962878B2 publication Critical patent/JP6962878B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • B60K35/10
    • B60K35/22
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/10Interpretation of driver requests or demands
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • B60K2360/1464
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means

Description

本発明は、第1車両の車載装置に対する操作を補助する操作補助システムおよび操作補助方法に関する。
特許文献1には、車載装置に対する車両の乗員(操作者)の操作を支援する操作支援装置が開示される。この操作支援装置は、乗員が迷いを抱いていると判定する場合に、乗員の視線方向や手指の位置に基づいて操作対象の車載装置を検知し、その車載装置の操作支援情報を音声出力装置や表示装置で出力する。
特開2008−257363号公報
自車両に乗車する乗員が他車両に乗車しているものと勘違いをすると、乗員は車載装置を操作する際に他車両におけるスイッチの存在位置に手を伸ばしてスイッチの操作をしようとすることがある。自車両におけるその位置にスイッチが無い場合、乗員はスイッチ操作で迷う。特許文献1の装置では乗員の視線方向や手指の位置にスイッチが存在しない場合に操作対象の車載装置を検知することができない。
本発明はこのような課題を考慮してなされたものであり、乗員がスイッチ操作で迷っているときに車載装置の操作を適切に補助することができる操作補助システムおよび操作補助方法を提供することを目的とする。
本発明の第1の態様は、
第1車両の車載装置に対する操作を補助する操作補助システムであって、
前記第1車両に乗車する乗員の手元の所定動作を認識する動作認識部と、
前記乗員の手の前記第1車両に対する相対位置である第1相対位置を認識する位置認識部と、
第2車両の操作部の前記第2車両に対する相対位置と、当該操作部を用いて操作される前記第2車両の車載装置と、を対応付けて記録する記録部と、
前記記録部の記録に基づいて、前記第2車両に対する相対位置であって前記第1相対位置に相当する第2相対位置に設けられる前記第2車両の前記操作部を用いて操作される、前記第2車両の第2車載装置を特定する特定部と、
前記第2車載装置と共通する機能を有する、前記第1車両の第1車載装置に対する操作を補助する制御部とを備える。
本発明の第2の態様は、
第1車両の車載装置に対する操作を補助する操作補助方法であって、
記録部を用いて、第2車両の操作部の前記第2車両に対する相対位置と、当該操作部を用いて操作される前記第2車両の車載装置と、を対応付けて記録する工程と、
演算部を用いて、
前記第1車両に乗車する乗員の手元の所定動作を認識する動作認識工程と、
前記乗員の手の前記第1車両に対する相対位置である第1相対位置を認識する位置認識工程と、
前記記録部の記録に基づいて、前記第2車両に対する相対位置であって前記第1相対位置に相当する第2相対位置に設けられる前記第2車両の前記操作部を用いて操作される、前記第2車両の第2車載装置を特定する特定工程と、
前記第2車載装置と共通する機能を有する、前記第1車両の第1車載装置に対する操作を補助する制御工程と、
を行う。
本発明によれば、乗員がスイッチ操作で迷っているときに車載装置20の操作を適切に補助することができる。
図1は本実施形態に係る操作補助システムの構成図である。 図2は相対位置の説明に供する図である。 図3は個人識別DBに格納される個人情報を示す図である。 図4は乗員−車載装置DBに格納される乗員−車両情報を示す図である。 図5は操作補助装置が行う主処理のフローチャートである。 図6は操作補助装置が行う操作補助処理のフローチャートである。 図7Aは第1車両内の相対位置を示す図であり、図7Bは第2車両内の相対位置を示す図である。
以下、本発明に係る操作補助システムおよび操作補助方法について、好適な実施形態を挙げ、添付の図面を参照して詳細に説明する。
[1.操作補助システム200の構成]
図1に示されるように、操作補助システム200は、第1車両10とサーバ102を含む。
[1.1.第1車両10]
図1を用いて第1車両10の構成を説明する。本明細書では、説明の主体となる乗員が乗車する自車両を第1車両10といい、自車両以外の他車両を第2車両110(図7B)という。以下の説明において、第1車両10は、乗員と車両がそれぞれ複数存在することを前提とする形態で使用される車両、例えばレンタカーやカーシェアリング等で使用される車両、社用車、公用車等を想定する。
第1車両10は、カメラ12と、識別情報センサ14と、通信装置16と、操作補助装置18と、各種の車載装置20と、を有する。また、図2に示されるように、第1車両10のダッシュボード58およびステアリングホイール60には、車載装置20を制御するための各種の操作部38が設けられる。操作部38は、ボタン、レバー等のスイッチである。
カメラ12は、1以上の操作部38と各操作部38周辺とが含まれる所定範囲を撮像することができる位置、例えば天井に設けられる。第1車両10の室内に複数の操作部38が存在する場合、1つのカメラ12が複数の操作部38を撮像してもよいし、複数のカメラ12が個別に操作部38を撮像してもよい。カメラ12は、操作部38と操作部38周辺を撮像して画像情報を取得し、取得した画像情報を操作補助装置18に出力する。
識別情報センサ14は、乗員を識別するための情報(以下、識別情報70(図3)という。)を検出する。識別情報センサ14は、乗員の生体情報70a(図3)を検出する生体情報センサや、乗員が入力する暗証番号70b(図3)の入力装置等である。生体情報センサとしては、乗員の顔、眼、血管、指紋、掌、声の生体情報70aを検出するセンサが少なくとも一つ設けられる。識別情報センサ14は、識別情報70を操作補助装置18に出力する。
通信装置16は、通信回路とアンテナ等を備えており、通信回線100を介してサーバ102とデータ通信を行い、また、第1車両10内の通信線を介して操作補助装置18とデータ通信を行う。
操作補助装置18は、演算部24と、記録部25と、入出力インターフェース(不図示)等を有する電子制御ユニット(ECU)である。演算部24は、CPU等を備えるプロセッサを有し、プロセッサが記録部25に記録されるプログラムを実行することにより各種機能を実現する。本実施形態において、演算部24は、乗員認識部26と動作認識部27と位置認識部28と特定部29と制御部30として機能する。各種機能に関しては下記[2.]で説明する。
記録部25は、ROMとRAM等のメモリを有する。記録部25には、座標情報32と、個人識別データベース34(以下、個人識別DB34という。)と、乗員−車載装置データベース36(以下、乗員−車載装置DB36という。)と、が記録される。
座標情報32は、図2に示されるように、ダッシュボード58およびステアリングホイール60の正面を座標面64とした場合の相対位置を定義する。本実施形態において、座標面64は、ステアリングホイール60の中心位置を原点とし、車両の上下方向に延びる直線と車両の幅方向に延びる直線とを座標軸とする。更に、本実施形態では、座標面64を、上下方向と幅方向に所定間隔で区切り、各マス目の位置を上下方向の座標位置Vnと幅方向の座標位置Hnで表す。各マス目の座標位置Vn−Hnはステアリングホイール60の中心位置を基準位置とする相対位置となる。座標面64は、第1車両10および第2車両110で共通して使用される。
個人識別DB34は、図3に示される個人情報66を格納する。個人情報66は、乗員の識別番号68と乗員の識別情報70とを紐付ける。前述したように、識別情報70は、乗員を識別するための情報、例えば生体情報70aと暗証番号70bの少なくとも1つを示す情報である。
乗員−車載装置DB36は、図4に示される乗員−車両情報72を格納する。乗員−車両情報72は、乗員の識別番号68と車両型式情報74と乗車情報76と車載装置情報78とを紐付ける。車両型式情報74は、車両(第1車両10、第2車両110を含む。)に関する情報であり、車両の生産者(生産会社)を示す生産者情報80と、車両の生産国を示す生産国情報82と、車両の車種を示す車種情報84と、を含む。乗車情報76は、乗員が車両に乗車したことがあるか否かを示す。更に、乗車情報76は、乗車したことがあることを示す情報の他に、最新の乗車日時や乗車回数等を示す情報も含む。車載装置情報78は、車載装置20に関する情報であり、車載装置20の種類を示す装置種類情報86と、その車両において車載装置20の操作部38が配置される相対位置を示す位置情報88と、を含む。
なお、記録部25は、乗員−車載装置DB36とは別に、車両自体(ここでは第1車両10)の車両型式情報74を記録する。
図1に戻り説明を続ける。車載装置20には、エアコン装置40とハザードランプ装置42とワイパー装置44と報知装置46等が含まれる。エアコン装置40は、車内に冷気または暖気を送風する本体と、本体の制御を行うエアコンECUと、エアコンスイッチ48(操作部38)と、を有する。エアコン装置40は、乗員がエアコンスイッチ48を操作するか、または、操作補助装置18から出力される動作指示に応じて起動、停止、設定温度の変更等の動作を行う。ハザードランプ装置42は、ランプと、ハザード回路と、ハザード回路の通電制御を行うハザードコントローラと、ハザードスイッチ50(操作部38)とを有する。ハザードランプ装置42は、乗員がハザードスイッチ50を操作するか、または、操作補助装置18から出力される動作指示に応じて起動、停止の動作を行う。ワイパー装置44は、ワイパーアームと、ワイパーアームを駆動するモータを含むワイパー回路と、ワイパー回路の通電制御を行うワイパーコントローラと、ワイパースイッチ52(操作部38)と、を有する。ワイパー装置44は、乗員がワイパースイッチ52を操作するか、または、操作補助装置18から出力される動作指示に応じて起動、停止の動作を行う。報知装置46は、乗員に対して視覚情報を提供する表示装置54と、乗員に対して音声情報を提供する音響装置56と、を有する。
[1.2.サーバ102]
サーバ102は、レンタカー等のシステム管理者の施設内に設置されており、サーバ側記録部104を有する。サーバ側記録部104は、各乗員の個人情報66(図3)と乗員−車両情報72(図4)を記録する。個人情報66と乗員−車両情報72は、システム管理者のオペレータ等が入力装置を操作することによりサーバ側記録部104に登録される。
[2.操作補助装置18の動作]
[2.1.主処理]
図5を用いて操作補助装置18が行う主処理を説明する。
ステップS1において、制御部30は、所定のタイミングで通信装置16を介してサーバ102に対して個人情報66と乗員−車両情報72の送信を要求する。例えば、制御部30は、第1車両10のイグニッションスイッチやスタートスイッチ(いずれも不図示)が操作されて電源がオフからオンに切り替えられることをトリガとして、各情報(個人情報66、乗員−車両情報72)の要求指示を出力する。通信装置16は、要求指示をサーバ102に送信し、サーバ102から個人情報66と乗員−車両情報72をダウンロードして記録部25に格納する。
ステップS2において、乗員認識部26は、識別情報センサ14により検出される識別情報70を取得する。
ステップS3において、乗員認識部26は、取得した識別情報70を個人識別DB34に記録される個人情報66の識別情報70と照合する。そして、乗員認識部26は、個人識別DB34に一致または類似する識別情報70がある場合に、第1車両10に乗車する乗員を、識別情報70に紐付けられる識別番号68の乗員であるとして識別する。
ステップS3で乗員を識別することができた場合(ステップS4:YES)、処理はステップS5に移行する。一方、ステップS3で乗員を識別することができなかった場合(ステップS4:NO)、主処理は終了する。
ステップS4からステップS5に移行すると、図6に示される操作補助処理が行われる。ステップS5の操作補助処理は、第1車両10の電源がオンである場合(ステップS6:YES)に繰り返し行われ、第1車両10の電源がオフに切り替えられる場合(ステップS6:NO)に終了する。操作補助処理の終了と共に主処理は終了する。
[2.2.操作補助処理]
図6を用いて図5のステップS5で行われる操作補助処理を説明する。
ステップS11において、動作認識部27および位置認識部28は、カメラ12が出力する画像情報を取得する。
ステップS12において、動作認識部27は、画像情報を用いて公知の画像認識処理を行い、乗員の手元の所定動作を認識する。動作認識部27は、所定動作として、乗員が操作に迷っている状態として識別される動作、例えば、乗員の手H(図7A)の小刻みな動きを認識する。本明細書において、手Hの小刻みな動きを手Hの迷い動作ともいう。動作認識部27は、公知のジェスチャ認識技術(例えば特開2014−174776号公報の技術)を用いて乗員の手Hが迷い動作をしていることを認識することができる。または、動作認識部27は、乗員の手Hが所定時間内に一定の範囲内で同じ動きを繰り返し行うことを認識する場合に、手Hが迷い動作をしているものとして認識する。本実施形態では、この状態を、第1車両10に乗車する乗員が第2車両110に乗車していると勘違いをしてスイッチ操作をしようとしているものと想定する。
動作認識部27が手Hの迷い動作を認識する場合(ステップS13:YES)、処理はステップS14に移行する。一方、動作認識部27が手Hの迷い動作を認識しない場合(ステップS13:NO)、操作補助処理は終了する。
ステップS13からステップS14に移行すると、位置認識部28は、画像情報と座標情報32に基づいて、手Hの第1車両10に対する相対位置を認識する。この相対位置を第1相対位置90という。例えば、図7Aに示される状況では、位置認識部28は、手Hの第1相対位置90を座標位置V2−H2、V3−H2と認識する。
ステップS15において、特定部29は、乗員が乗車していると勘違いをしていると推測される第2車両110を特定する。ここで特定部29は、ステップS2で識別した乗員の識別番号68を用いて乗員−車載装置DB36を検索し、識別番号68が一致する乗員−車両情報72を抽出する。特定部29は、抽出した乗員−車両情報72に含まれる車両型式情報74に基づいて第2車両110を特定する。
このとき、特定部29は、抽出した乗員−車両情報72が1つのみの場合にはその乗員−車両情報72を使用する。一方、特定部29は、抽出した乗員−車両情報72が複数ある場合には、1つの乗員−車両情報72を選択する。その際、特定部29は、車両型式情報74に含まれる少なくとも1つの情報が第1車両10の車両型式情報74と異なる乗員−車両情報72を選択する。好ましくは、乗車情報76が「あり」である乗員−車両情報72を選択する。それでもなお複数の乗員−車両情報72が選択される場合、制御部30は、所定の規則に基づいて1つの乗員−車両情報72を選択する。例えば、車両型式情報74に含まれる生産者情報80、生産国情報82、車種情報84、乗車情報76の優先順位を設定しておく。そして、優先順位の高い情報の比較結果を優先的に使用する。または、乗車情報76の乗車日時が最も新しい乗員−車両情報72を、または乗車回数が最も多い乗員−車両情報72を選択する。なお、当然ではあるが、乗員−車両情報72に含まれる車両型式情報74と第1車両10の車両型式情報74とが一致する場合、特定部29は、その乗員−車両情報72を使用しない。その乗員−車両情報72は、乗員が乗車する第1車両10に関する情報であるためである。
ステップS16において、特定部29は、乗員が操作しようとしていると推測される第1車両10の車載装置20(第1車載装置)を特定する。ここで特定部29は、記録部25に記録される乗員−車両情報72に基づいて、第2車両110に対する相対位置であって第1相対位置90に相当する第2相対位置92に設けられる第2車両110の操作部38を用いて操作される第2車両110の車載装置20(第2車載装置)を特定する。具体的には、特定部29は、ステップS14で位置認識部28が認識した第1相対位置90を、ステップS15で特定した第2車両110の乗員−車両情報72に含まれる位置情報88と照合する。そして、一致する位置情報88がある場合、特定部29は、その位置情報88に紐付けられる車載装置20(第2車載装置)と共通する機能を有する第1車両10の車載装置20(第1車載装置)を特定する。例えば、図7Bに示されるように、第1相対位置90(座標位置V2−H2、V3−H2)に相当する第2相対位置92(座標位置V2−H2、V3−H2)には、エアコン装置40のエアコンスイッチ48(操作部38)が配置される。この場合、特定部29は、エアコンスイッチ48を用いて操作される第2車両110の車載装置20はエアコン装置40であると特定する。そして、特定部29は、第2車両110の車載装置20と共通の機能を有する第1車両10の車載装置20、すなわちエアコン装置40を、乗員が操作しようとしている車載装置20であると特定する。
ステップS17において、制御部30は、車載装置20に対する操作を補助する。例えば、制御部30は、報知装置46に対して報知指示を出力する。報知装置46は、車載装置20(第1車載装置)の操作部38の第1相対位置90を画像または音声で案内する。または、制御部30は、乗員に対して車載装置20の起動または停止等の問い合わせを行い、乗員の声等の応答に応じて車載装置20の起動または停止等の制御を行う。
[3.変形例]
本発明は前述した実施形態の他に様々な変形例が考えられる。
前述した実施形態では、第1車両10として、レンタカーやカーシェアリング等で使用される車両、社用車、公用車等を想定したが、第1車両10が個人所有の車両であってもよい。この場合、記録部25が予め特定の乗員の個人情報66を記録するようにし、図5に示されるステップS3(乗員の識別)、および、ステップS4で行われる処理(識別の可否判定)を省略してもよい。更に、記録部25が予め特定の乗員に対応する乗員−車両情報72を記録するようにし、図5に示されるステップS1で行われる処理(各情報の送信の要求)、および、ステップS2で行われる処理(識別情報70の取得)を省略してもよい。
前述した実施形態では、第1車両10が備える操作補助装置18の演算部24が特定部29として機能する。これに代わり、第1車両10の外部のプロセッサ、例えばサーバ102に設けられるプロセッサが特定部29として機能するようにしてもよい。更に、座標情報32および乗車−車載装置DB36が、サーバ側記録部104に記録されるようにしてもよい。
この場合、操作補助処理において、位置認識部28が第1相対位置90を認識すると、第1相対位置90の情報が第1車両10からサーバ102に送信される。また、サーバ102の特定部29が、乗員が操作しようとしている車載装置20(第1車載装置)を特定すると、車載装置20の情報がサーバ102から第1車両10に送信される。
図6に示されるステップS16において、車載装置20を特定できない場合に、ステップS15に戻り、他の第2車両110を特定するようにしてもよい。
[4.実施形態から得られる発明]
上記実施形態および変形例から把握しうる発明について、以下に記載する。
本発明は、
第1車両10の車載装置20に対する操作を補助する操作補助システム200であって、
第1車両10に乗車する乗員の手元の所定動作を認識する動作認識部27と、
乗員の手Hの第1車両10に対する相対位置である第1相対位置90を認識する位置認識部28と、
第2車両110の操作部38の第2車両110に対する相対位置と、操作部38を用いて操作される第2車両110の車載装置20と、を対応付けて記録する記録部25(乗車−車載装置DB36)と、
記録部25の記録に基づいて、第2車両110に対する相対位置であって第1相対位置90に相当する第2相対位置92に設けられる第2車両110の操作部38を用いて操作される、第2車両110の第2車載装置(車載装置20)を特定する特定部29と、
第2車載装置と共通する機能を有する、第1車両10の第1車載装置(車載装置20)に対する操作を補助する制御部30と、
を備える。
上記構成によれば、乗員が操作部38の操作で迷っているときに行う手Hの動作を認識し、手Hの相対位置に基づいて制御対象である車載装置20を特定し、その車載装置20の操作を補助するため、乗員がスイッチ操作で迷っているときに車載装置20の操作を適切に補助することができる。
本発明において、
動作認識部27は、乗員が操作に迷っている状態として識別される動作を、所定動作として認識し、
制御部30は、動作認識部27により、乗員が操作に迷っている状態として識別される動作が認識された場合に、第1車載装置(車載装置20)に対する操作を補助してもよい。
本発明において、
記録部25は、乗員が過去に乗車したことがある第2車両110に対して、第2車両110の操作部38の第2車両110に対する相対位置と、操作部38を用いて操作される第2車両110の車載装置20と、を対応付けて記録してもよい。
乗員は、現在乗車している第1車両10を、過去に乗車したことがある第2車両110と勘違いする場合がある。上記構成によれば、乗員が乗車したことがあることを示す乗車情報76に対応付けられる装置種類情報86に基づいて車載装置20を特定するため、適切な車載装置20を特定して操作を補助することができる。
本発明において、
記録部25は、乗員が過去に乗車したことがある第2車両110に対する、第2車両110の生産者を示す生産者情報80と、第2車両110の生産国を示す生産国情報82と、第2車両110の車種を示す車種情報84の少なくとも1つである車両型式情報74を、乗員と対応付けて記録し、
制御部30は、第1車両10についての車両型式情報74の少なくとも一部が、乗員が過去に乗車したことがある車両についての車両型式情報74に合致しない場合に、第1車載装置(車載装置20)に対する操作を補助してもよい。
第1車両10と第2車両110は、生産者、生産国、車種の少なくとも1つが異なると、操作部38の相対位置が異なる。上記構成によれば、生産者情報80、生産国情報82、車種情報84に対応付けられる装置種類情報86に基づいて車載装置20を特定するため、適切な車載装置20を特定して操作を補助することができる。
本発明において、
第1車載装置(車載装置20)および第2車載装置(車載装置20)は、エアコン装置40、ハザードランプ装置42、ワイパー装置44の少なくとも1つである。
上記構成によれば、エアコン装置40、ハザードランプ装置42、ワイパー装置44の操作を補助することができる。
また、本発明は、
第1車両の車載装置に対する操作を補助する操作補助方法であって、
記録部25を用いて、第2車両110の操作部38の第2車両110に対する相対位置と、操作部38を用いて操作される第2車両110の車載装置20と、を対応付けて記録する工程と、
演算部24を用いて、
第1車両10に乗車する乗員の手元の所定動作を認識する動作認識工程(ステップS12)と、
乗員の手Hの第1車両10に対する相対位置である第1相対位置90を認識する位置認識工程(ステップS14)と、
記録部25の記録に基づいて、第2車両110に対する相対位置であって第1相対位置90に相当する第2相対位置92に設けられる第2車両110の操作部38を用いて操作される、第2車両110の第2車載装置(車載装置20)を特定する特定工程(ステップS15、ステップS16)と、
第2車載装置(車載装置20)と共通する機能を有する、第1車両10の第1車載装置(車載装置20)に対する操作を補助する制御工程(ステップS17)と、
を行う。
上記構成によれば、乗員が操作部38の操作で迷っているときに行う手Hの動作を認識し、手Hの相対位置に基づいて制御対象である車載装置20を特定し、その車載装置20の操作を補助するため、乗員がスイッチ操作で迷っているときに車載装置20の操作を適切に補助することができる。
なお、本発明に係る操作補助システムおよび操作補助方法は、上述の実施形態に限らず、本発明の要旨を逸脱することなく、種々の構成を採り得ることはもちろんである。
10…第1車両 18…操作補助装置
20…車載装置 25…記録部
27…動作認識部 28…位置認識部
29…特定部 30…制御部
38…操作部 40…エアコン装置
42…ハザードランプ装置 44…ワイパー装置
76…乗車情報 80…生産者情報
82…生産国情報 84…車種情報
86…装置種類情報 88…位置情報
90…第1相対位置 92…第2相対位置
110…第2車両 200…操作補助システム

Claims (6)

  1. 第1車両の車載装置に対する操作を補助する操作補助システムであって、
    前記第1車両に乗車する乗員の手元の所定動作を認識する動作認識部と、
    前記乗員の手の前記第1車両に対する相対位置である第1相対位置を認識する位置認識部と、
    第2車両の操作部の前記第2車両に対する相対位置と、当該操作部を用いて操作される前記第2車両の車載装置と、を対応付けて記録する記録部と、
    前記記録部の記録に基づいて、前記第2車両に対する相対位置であって前記第1相対位置に相当する第2相対位置に設けられる前記第2車両の前記操作部を用いて操作される、前記第2車両の第2車載装置を特定する特定部と、
    前記第2車載装置と共通する機能を有する、前記第1車両の第1車載装置に対する操作を補助する制御部と、
    を備える、操作補助システム。
  2. 請求項1に記載の操作補助システムであって、
    前記動作認識部は、前記乗員が操作に迷っている状態として識別される動作を、前記所定動作として認識し、
    前記制御部は、前記動作認識部により、前記乗員が操作に迷っている状態として識別される前記動作が認識された場合に、前記第1車載装置に対する操作を補助する、操作補助システム。
  3. 請求項1または2に記載の操作補助システムであって、
    前記記録部は、前記乗員が過去に乗車したことがある前記第2車両に対して、前記第2車両の前記操作部の前記第2車両に対する相対位置と、当該操作部を用いて操作される前記第2車両の車載装置と、を対応付けて記録する、操作補助システム。
  4. 請求項1〜3のいずれか1項に記載の操作補助システムであって、
    前記記録部は、前記乗員が過去に乗車したことがある前記第2車両に対する、当該第2車両の生産者を示す生産者情報と、前記第2車両の生産国を示す生産国情報と、前記第2車両の車種を示す車種情報の少なくとも1つである車両型式情報を、前記乗員と対応付けて記録し、
    前記制御部は、前記第1車両についての前記車両型式情報の少なくとも一部が、前記乗員が過去に乗車したことがある車両についての前記車両型式情報に合致しない場合に、前記第1車載装置に対する操作を補助する、操作補助システム。
  5. 請求項1〜4のいずれか1項に記載の操作補助システムであって、
    前記第1車載装置および前記第2車載装置は、エアコン装置、ハザードランプ装置、ワイパー装置の少なくとも1つである、操作補助システム。
  6. 第1車両の車載装置に対する操作を補助する操作補助方法であって、
    記録部を用いて、第2車両の操作部の前記第2車両に対する相対位置と、当該操作部を用いて操作される前記第2車両の車載装置と、を対応付けて記録する工程と、
    演算部を用いて、
    前記第1車両に乗車する乗員の手元の所定動作を認識する動作認識工程と、
    前記乗員の手の前記第1車両に対する相対位置である第1相対位置を認識する位置認識工程と、
    前記記録部の記録に基づいて、前記第2車両に対する相対位置であって前記第1相対位置に相当する第2相対位置に設けられる前記第2車両の前記操作部を用いて操作される、前記第2車両の第2車載装置を特定する特定工程と、
    前記第2車載装置と共通する機能を有する、前記第1車両の第1車載装置に対する操作を補助する制御工程と、
    を行う、操作補助方法。
JP2018138155A 2018-07-24 2018-07-24 操作補助システムおよび操作補助方法 Active JP6962878B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018138155A JP6962878B2 (ja) 2018-07-24 2018-07-24 操作補助システムおよび操作補助方法
US16/519,549 US10870436B2 (en) 2018-07-24 2019-07-23 Operation assistance system and operation assistance method
CN201910673542.8A CN110774992B (zh) 2018-07-24 2019-07-24 操作辅助系统和操作辅助方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018138155A JP6962878B2 (ja) 2018-07-24 2018-07-24 操作補助システムおよび操作補助方法

Publications (2)

Publication Number Publication Date
JP2020016973A JP2020016973A (ja) 2020-01-30
JP6962878B2 true JP6962878B2 (ja) 2021-11-05

Family

ID=69177564

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018138155A Active JP6962878B2 (ja) 2018-07-24 2018-07-24 操作補助システムおよび操作補助方法

Country Status (3)

Country Link
US (1) US10870436B2 (ja)
JP (1) JP6962878B2 (ja)
CN (1) CN110774992B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7091983B2 (ja) * 2018-10-01 2022-06-28 トヨタ自動車株式会社 機器制御装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008257363A (ja) 2007-04-02 2008-10-23 Toyota Motor Corp 操作支援装置
JP5293570B2 (ja) * 2009-11-16 2013-09-18 富士通株式会社 表示装置、表示プログラム及び表示方法
JP2011201497A (ja) * 2010-03-26 2011-10-13 Aisin Aw Co Ltd 操作受付装置、方法およびプログラム
US8396252B2 (en) * 2010-05-20 2013-03-12 Edge 3 Technologies Systems and related methods for three dimensional gesture recognition in vehicles
US20140309871A1 (en) * 2013-04-15 2014-10-16 Flextronics Ap, Llc User gesture control of vehicle features
US20140309862A1 (en) * 2013-04-15 2014-10-16 Flextronics Ap, Llc User profile exchange via vehicle supported communications protocol
DE102012013503B4 (de) * 2012-07-06 2014-10-09 Audi Ag Verfahren und Steuerungssystem zum Betreiben eines Kraftwagens
JP5782061B2 (ja) 2013-03-11 2015-09-24 レノボ・シンガポール・プライベート・リミテッド 移動物体の動作を認識する方法および携帯式コンピュータ
DE102014002187B4 (de) * 2014-02-18 2023-06-29 Mercedes-Benz Group AG Verfahren zum Betrieb eines Fahrzeuges
US20160357262A1 (en) * 2015-06-05 2016-12-08 Arafat M.A. ANSARI Smart vehicle
JP2017219957A (ja) * 2016-06-06 2017-12-14 株式会社東海理化電機製作所 操作予測装置
JP6827197B2 (ja) * 2016-07-22 2021-02-10 パナソニックIpマネジメント株式会社 情報推定システム及び情報推定方法
CN106682572B (zh) * 2016-10-12 2020-09-08 纳恩博(北京)科技有限公司 目标跟踪方法、系统和第一电子设备
CN107463873B (zh) * 2017-06-30 2020-02-21 长安大学 一种基于rgbd深度传感器的实时手势分析与评价方法与系统

Also Published As

Publication number Publication date
US20200031369A1 (en) 2020-01-30
US10870436B2 (en) 2020-12-22
JP2020016973A (ja) 2020-01-30
CN110774992A (zh) 2020-02-11
CN110774992B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
JP6917827B2 (ja) 車両制御装置、車両、車両制御方法およびプログラム
JP2007245842A (ja) 走行制御システム
US10108191B2 (en) Driver interactive system for semi-autonomous modes of a vehicle
US10112622B2 (en) Method of operating a vehicle according to a request by a vehicle occupant
JP6950432B2 (ja) 運転支援装置、情報処理装置、運転支援システム、運転支援方法
KR102396993B1 (ko) 자율주행 차량에서 수동주행 모드로의 전환 조건
WO2017089535A1 (en) Vehicle with wearable to provide intelligent user settings
KR20180066612A (ko) 자율주차보조장치 및 그의 주차 지원 방법
JP5217754B2 (ja) 行動推定装置、プログラム
CN110968184B (zh) 设备控制装置
CN108688593A (zh) 用于通过移动模式来识别车辆的至少一个乘客的系统和方法
JP2018154140A (ja) 電子機器および車両
JP6913141B2 (ja) 認証登録システム
JP6962878B2 (ja) 操作補助システムおよび操作補助方法
CN113479202A (zh) 行驶控制装置、车辆、行驶控制方法以及存储介质
JP4683123B2 (ja) 行動推定装置、プログラム
JP4613999B2 (ja) 行動推定装置、プログラム
JP2018501998A (ja) 自動車の機器を制御するためのシステムおよび方法
JP2020164080A (ja) 車両制御システム
WO2018163491A1 (ja) 自動運転車両監視装置、方法およびプログラム
JP7161986B2 (ja) 車両起動制御装置、車両起動制御方法およびプログラム
JP2019131104A (ja) 車両の乗員監視装置
JP6676084B2 (ja) 車両の乗員監視装置
JP2021133877A5 (ja)
WO2017017938A1 (ja) ジェスチャ操作システム、方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201130

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210922

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210928

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211014

R150 Certificate of patent or registration of utility model

Ref document number: 6962878

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150