JP6962878B2 - 操作補助システムおよび操作補助方法 - Google Patents
操作補助システムおよび操作補助方法 Download PDFInfo
- Publication number
- JP6962878B2 JP6962878B2 JP2018138155A JP2018138155A JP6962878B2 JP 6962878 B2 JP6962878 B2 JP 6962878B2 JP 2018138155 A JP2018138155 A JP 2018138155A JP 2018138155 A JP2018138155 A JP 2018138155A JP 6962878 B2 JP6962878 B2 JP 6962878B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- occupant
- unit
- relative position
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 35
- 230000033001 locomotion Effects 0.000 claims description 42
- 230000006870 function Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 230000004044 response Effects 0.000 description 5
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
- B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- B60K35/10—
-
- B60K35/22—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/10—Interpretation of driver requests or demands
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- B60K2360/1464—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/143—Alarm means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
Description
第1車両の車載装置に対する操作を補助する操作補助システムであって、
前記第1車両に乗車する乗員の手元の所定動作を認識する動作認識部と、
前記乗員の手の前記第1車両に対する相対位置である第1相対位置を認識する位置認識部と、
第2車両の操作部の前記第2車両に対する相対位置と、当該操作部を用いて操作される前記第2車両の車載装置と、を対応付けて記録する記録部と、
前記記録部の記録に基づいて、前記第2車両に対する相対位置であって前記第1相対位置に相当する第2相対位置に設けられる前記第2車両の前記操作部を用いて操作される、前記第2車両の第2車載装置を特定する特定部と、
前記第2車載装置と共通する機能を有する、前記第1車両の第1車載装置に対する操作を補助する制御部とを備える。
第1車両の車載装置に対する操作を補助する操作補助方法であって、
記録部を用いて、第2車両の操作部の前記第2車両に対する相対位置と、当該操作部を用いて操作される前記第2車両の車載装置と、を対応付けて記録する工程と、
演算部を用いて、
前記第1車両に乗車する乗員の手元の所定動作を認識する動作認識工程と、
前記乗員の手の前記第1車両に対する相対位置である第1相対位置を認識する位置認識工程と、
前記記録部の記録に基づいて、前記第2車両に対する相対位置であって前記第1相対位置に相当する第2相対位置に設けられる前記第2車両の前記操作部を用いて操作される、前記第2車両の第2車載装置を特定する特定工程と、
前記第2車載装置と共通する機能を有する、前記第1車両の第1車載装置に対する操作を補助する制御工程と、
を行う。
図1に示されるように、操作補助システム200は、第1車両10とサーバ102を含む。
図1を用いて第1車両10の構成を説明する。本明細書では、説明の主体となる乗員が乗車する自車両を第1車両10といい、自車両以外の他車両を第2車両110(図7B)という。以下の説明において、第1車両10は、乗員と車両がそれぞれ複数存在することを前提とする形態で使用される車両、例えばレンタカーやカーシェアリング等で使用される車両、社用車、公用車等を想定する。
サーバ102は、レンタカー等のシステム管理者の施設内に設置されており、サーバ側記録部104を有する。サーバ側記録部104は、各乗員の個人情報66(図3)と乗員−車両情報72(図4)を記録する。個人情報66と乗員−車両情報72は、システム管理者のオペレータ等が入力装置を操作することによりサーバ側記録部104に登録される。
[2.1.主処理]
図5を用いて操作補助装置18が行う主処理を説明する。
図6を用いて図5のステップS5で行われる操作補助処理を説明する。
本発明は前述した実施形態の他に様々な変形例が考えられる。
上記実施形態および変形例から把握しうる発明について、以下に記載する。
第1車両10の車載装置20に対する操作を補助する操作補助システム200であって、
第1車両10に乗車する乗員の手元の所定動作を認識する動作認識部27と、
乗員の手Hの第1車両10に対する相対位置である第1相対位置90を認識する位置認識部28と、
第2車両110の操作部38の第2車両110に対する相対位置と、操作部38を用いて操作される第2車両110の車載装置20と、を対応付けて記録する記録部25(乗車−車載装置DB36)と、
記録部25の記録に基づいて、第2車両110に対する相対位置であって第1相対位置90に相当する第2相対位置92に設けられる第2車両110の操作部38を用いて操作される、第2車両110の第2車載装置(車載装置20)を特定する特定部29と、
第2車載装置と共通する機能を有する、第1車両10の第1車載装置(車載装置20)に対する操作を補助する制御部30と、
を備える。
動作認識部27は、乗員が操作に迷っている状態として識別される動作を、所定動作として認識し、
制御部30は、動作認識部27により、乗員が操作に迷っている状態として識別される動作が認識された場合に、第1車載装置(車載装置20)に対する操作を補助してもよい。
記録部25は、乗員が過去に乗車したことがある第2車両110に対して、第2車両110の操作部38の第2車両110に対する相対位置と、操作部38を用いて操作される第2車両110の車載装置20と、を対応付けて記録してもよい。
記録部25は、乗員が過去に乗車したことがある第2車両110に対する、第2車両110の生産者を示す生産者情報80と、第2車両110の生産国を示す生産国情報82と、第2車両110の車種を示す車種情報84の少なくとも1つである車両型式情報74を、乗員と対応付けて記録し、
制御部30は、第1車両10についての車両型式情報74の少なくとも一部が、乗員が過去に乗車したことがある車両についての車両型式情報74に合致しない場合に、第1車載装置(車載装置20)に対する操作を補助してもよい。
第1車載装置(車載装置20)および第2車載装置(車載装置20)は、エアコン装置40、ハザードランプ装置42、ワイパー装置44の少なくとも1つである。
第1車両の車載装置に対する操作を補助する操作補助方法であって、
記録部25を用いて、第2車両110の操作部38の第2車両110に対する相対位置と、操作部38を用いて操作される第2車両110の車載装置20と、を対応付けて記録する工程と、
演算部24を用いて、
第1車両10に乗車する乗員の手元の所定動作を認識する動作認識工程(ステップS12)と、
乗員の手Hの第1車両10に対する相対位置である第1相対位置90を認識する位置認識工程(ステップS14)と、
記録部25の記録に基づいて、第2車両110に対する相対位置であって第1相対位置90に相当する第2相対位置92に設けられる第2車両110の操作部38を用いて操作される、第2車両110の第2車載装置(車載装置20)を特定する特定工程(ステップS15、ステップS16)と、
第2車載装置(車載装置20)と共通する機能を有する、第1車両10の第1車載装置(車載装置20)に対する操作を補助する制御工程(ステップS17)と、
を行う。
20…車載装置 25…記録部
27…動作認識部 28…位置認識部
29…特定部 30…制御部
38…操作部 40…エアコン装置
42…ハザードランプ装置 44…ワイパー装置
76…乗車情報 80…生産者情報
82…生産国情報 84…車種情報
86…装置種類情報 88…位置情報
90…第1相対位置 92…第2相対位置
110…第2車両 200…操作補助システム
Claims (6)
- 第1車両の車載装置に対する操作を補助する操作補助システムであって、
前記第1車両に乗車する乗員の手元の所定動作を認識する動作認識部と、
前記乗員の手の前記第1車両に対する相対位置である第1相対位置を認識する位置認識部と、
第2車両の操作部の前記第2車両に対する相対位置と、当該操作部を用いて操作される前記第2車両の車載装置と、を対応付けて記録する記録部と、
前記記録部の記録に基づいて、前記第2車両に対する相対位置であって前記第1相対位置に相当する第2相対位置に設けられる前記第2車両の前記操作部を用いて操作される、前記第2車両の第2車載装置を特定する特定部と、
前記第2車載装置と共通する機能を有する、前記第1車両の第1車載装置に対する操作を補助する制御部と、
を備える、操作補助システム。 - 請求項1に記載の操作補助システムであって、
前記動作認識部は、前記乗員が操作に迷っている状態として識別される動作を、前記所定動作として認識し、
前記制御部は、前記動作認識部により、前記乗員が操作に迷っている状態として識別される前記動作が認識された場合に、前記第1車載装置に対する操作を補助する、操作補助システム。 - 請求項1または2に記載の操作補助システムであって、
前記記録部は、前記乗員が過去に乗車したことがある前記第2車両に対して、前記第2車両の前記操作部の前記第2車両に対する相対位置と、当該操作部を用いて操作される前記第2車両の車載装置と、を対応付けて記録する、操作補助システム。 - 請求項1〜3のいずれか1項に記載の操作補助システムであって、
前記記録部は、前記乗員が過去に乗車したことがある前記第2車両に対する、当該第2車両の生産者を示す生産者情報と、前記第2車両の生産国を示す生産国情報と、前記第2車両の車種を示す車種情報の少なくとも1つである車両型式情報を、前記乗員と対応付けて記録し、
前記制御部は、前記第1車両についての前記車両型式情報の少なくとも一部が、前記乗員が過去に乗車したことがある車両についての前記車両型式情報に合致しない場合に、前記第1車載装置に対する操作を補助する、操作補助システム。 - 請求項1〜4のいずれか1項に記載の操作補助システムであって、
前記第1車載装置および前記第2車載装置は、エアコン装置、ハザードランプ装置、ワイパー装置の少なくとも1つである、操作補助システム。 - 第1車両の車載装置に対する操作を補助する操作補助方法であって、
記録部を用いて、第2車両の操作部の前記第2車両に対する相対位置と、当該操作部を用いて操作される前記第2車両の車載装置と、を対応付けて記録する工程と、
演算部を用いて、
前記第1車両に乗車する乗員の手元の所定動作を認識する動作認識工程と、
前記乗員の手の前記第1車両に対する相対位置である第1相対位置を認識する位置認識工程と、
前記記録部の記録に基づいて、前記第2車両に対する相対位置であって前記第1相対位置に相当する第2相対位置に設けられる前記第2車両の前記操作部を用いて操作される、前記第2車両の第2車載装置を特定する特定工程と、
前記第2車載装置と共通する機能を有する、前記第1車両の第1車載装置に対する操作を補助する制御工程と、
を行う、操作補助方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018138155A JP6962878B2 (ja) | 2018-07-24 | 2018-07-24 | 操作補助システムおよび操作補助方法 |
US16/519,549 US10870436B2 (en) | 2018-07-24 | 2019-07-23 | Operation assistance system and operation assistance method |
CN201910673542.8A CN110774992B (zh) | 2018-07-24 | 2019-07-24 | 操作辅助系统和操作辅助方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018138155A JP6962878B2 (ja) | 2018-07-24 | 2018-07-24 | 操作補助システムおよび操作補助方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020016973A JP2020016973A (ja) | 2020-01-30 |
JP6962878B2 true JP6962878B2 (ja) | 2021-11-05 |
Family
ID=69177564
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018138155A Active JP6962878B2 (ja) | 2018-07-24 | 2018-07-24 | 操作補助システムおよび操作補助方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10870436B2 (ja) |
JP (1) | JP6962878B2 (ja) |
CN (1) | CN110774992B (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7091983B2 (ja) * | 2018-10-01 | 2022-06-28 | トヨタ自動車株式会社 | 機器制御装置 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008257363A (ja) | 2007-04-02 | 2008-10-23 | Toyota Motor Corp | 操作支援装置 |
JP5293570B2 (ja) * | 2009-11-16 | 2013-09-18 | 富士通株式会社 | 表示装置、表示プログラム及び表示方法 |
JP2011201497A (ja) * | 2010-03-26 | 2011-10-13 | Aisin Aw Co Ltd | 操作受付装置、方法およびプログラム |
US8396252B2 (en) * | 2010-05-20 | 2013-03-12 | Edge 3 Technologies | Systems and related methods for three dimensional gesture recognition in vehicles |
US20140309871A1 (en) * | 2013-04-15 | 2014-10-16 | Flextronics Ap, Llc | User gesture control of vehicle features |
US20140309862A1 (en) * | 2013-04-15 | 2014-10-16 | Flextronics Ap, Llc | User profile exchange via vehicle supported communications protocol |
DE102012013503B4 (de) * | 2012-07-06 | 2014-10-09 | Audi Ag | Verfahren und Steuerungssystem zum Betreiben eines Kraftwagens |
JP5782061B2 (ja) | 2013-03-11 | 2015-09-24 | レノボ・シンガポール・プライベート・リミテッド | 移動物体の動作を認識する方法および携帯式コンピュータ |
DE102014002187B4 (de) * | 2014-02-18 | 2023-06-29 | Mercedes-Benz Group AG | Verfahren zum Betrieb eines Fahrzeuges |
US20160357262A1 (en) * | 2015-06-05 | 2016-12-08 | Arafat M.A. ANSARI | Smart vehicle |
JP2017219957A (ja) * | 2016-06-06 | 2017-12-14 | 株式会社東海理化電機製作所 | 操作予測装置 |
JP6827197B2 (ja) * | 2016-07-22 | 2021-02-10 | パナソニックIpマネジメント株式会社 | 情報推定システム及び情報推定方法 |
CN106682572B (zh) * | 2016-10-12 | 2020-09-08 | 纳恩博(北京)科技有限公司 | 目标跟踪方法、系统和第一电子设备 |
CN107463873B (zh) * | 2017-06-30 | 2020-02-21 | 长安大学 | 一种基于rgbd深度传感器的实时手势分析与评价方法与系统 |
-
2018
- 2018-07-24 JP JP2018138155A patent/JP6962878B2/ja active Active
-
2019
- 2019-07-23 US US16/519,549 patent/US10870436B2/en active Active
- 2019-07-24 CN CN201910673542.8A patent/CN110774992B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
US20200031369A1 (en) | 2020-01-30 |
US10870436B2 (en) | 2020-12-22 |
JP2020016973A (ja) | 2020-01-30 |
CN110774992A (zh) | 2020-02-11 |
CN110774992B (zh) | 2023-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6917827B2 (ja) | 車両制御装置、車両、車両制御方法およびプログラム | |
JP2007245842A (ja) | 走行制御システム | |
US10108191B2 (en) | Driver interactive system for semi-autonomous modes of a vehicle | |
US10112622B2 (en) | Method of operating a vehicle according to a request by a vehicle occupant | |
JP6950432B2 (ja) | 運転支援装置、情報処理装置、運転支援システム、運転支援方法 | |
KR102396993B1 (ko) | 자율주행 차량에서 수동주행 모드로의 전환 조건 | |
WO2017089535A1 (en) | Vehicle with wearable to provide intelligent user settings | |
KR20180066612A (ko) | 자율주차보조장치 및 그의 주차 지원 방법 | |
JP5217754B2 (ja) | 行動推定装置、プログラム | |
CN110968184B (zh) | 设备控制装置 | |
CN108688593A (zh) | 用于通过移动模式来识别车辆的至少一个乘客的系统和方法 | |
JP2018154140A (ja) | 電子機器および車両 | |
JP6913141B2 (ja) | 認証登録システム | |
JP6962878B2 (ja) | 操作補助システムおよび操作補助方法 | |
CN113479202A (zh) | 行驶控制装置、车辆、行驶控制方法以及存储介质 | |
JP4683123B2 (ja) | 行動推定装置、プログラム | |
JP4613999B2 (ja) | 行動推定装置、プログラム | |
JP2018501998A (ja) | 自動車の機器を制御するためのシステムおよび方法 | |
JP2020164080A (ja) | 車両制御システム | |
WO2018163491A1 (ja) | 自動運転車両監視装置、方法およびプログラム | |
JP7161986B2 (ja) | 車両起動制御装置、車両起動制御方法およびプログラム | |
JP2019131104A (ja) | 車両の乗員監視装置 | |
JP6676084B2 (ja) | 車両の乗員監視装置 | |
JP2021133877A5 (ja) | ||
WO2017017938A1 (ja) | ジェスチャ操作システム、方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201130 |
|
TRDD | Decision of grant or rejection written | ||
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210922 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210928 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211014 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6962878 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |