TWI738132B - 基於動作分析的人機交互方法、車載裝置 - Google Patents

基於動作分析的人機交互方法、車載裝置 Download PDF

Info

Publication number
TWI738132B
TWI738132B TW108143515A TW108143515A TWI738132B TW I738132 B TWI738132 B TW I738132B TW 108143515 A TW108143515 A TW 108143515A TW 108143515 A TW108143515 A TW 108143515A TW I738132 B TWI738132 B TW I738132B
Authority
TW
Taiwan
Prior art keywords
occupant
seating position
action
human
computer interaction
Prior art date
Application number
TW108143515A
Other languages
English (en)
Other versions
TW202121121A (zh
Inventor
鍾庭顥
王于青
黃子魁
王淳毅
許乃晟
黃俊翔
Original Assignee
群邁通訊股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 群邁通訊股份有限公司 filed Critical 群邁通訊股份有限公司
Publication of TW202121121A publication Critical patent/TW202121121A/zh
Application granted granted Critical
Publication of TWI738132B publication Critical patent/TWI738132B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0881—Seat occupation; Driver or passenger presence
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/043—Identity of occupants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/22—Psychological state; Stress level or workload
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/227—Position in the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/26—Incapacity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

本發明提供了一種基於動作分析的人機交互方法，包括：透過獲取攝像頭即時拍攝的車內的視頻資料；基於所獲取的視頻資料檢測車內乘坐位置的乘員乘坐狀況；偵測乘坐位置的乘員的動作；及當偵測到指定的動作時，基於所述指定的動作，以及作出該指定的動作的乘員所在的乘坐位置，執行相應的控制操作。本發明還提供一種實現所述基於動作分析的人機交互方法的車載裝置。本發明能夠在實現人機交互的同時有效提升乘員的乘坐體驗。

Description

基於動作分析的人機交互方法、車載裝置
本發明涉及車輛管理技術領域，具體涉及一種基於動作分析的人機交互方法、車載裝置。
隨著車輛的普及，人們在生活中使用車輛的頻率越來越高。發明人在實施本發明的過程中，發現當前並沒有車輛能夠很好的車內乘員互動，使得乘員在駕駛或乘坐過程中有好的乘坐體驗。因此，存在對車輛改進的空間。
鑒於以上內容，有必要提出一種基於動作分析的人機交互方法、車載裝置，能夠在實現人機交互的同時有效提升乘員的乘坐體驗。
本發明第一方面提供一種基於動作分析的人機交互方法，應用於車載裝置，該方法包括：獲取攝像頭即時拍攝的車內的視頻資料；基於所獲取的視頻資料檢測車內乘坐位置的乘員乘坐狀況；偵測乘坐位置的乘員的動作；及當偵測到指定的動作時，基於所述指定的動作，以及作出該指定的動作的乘員所在的乘坐位置，執行相應的控制操作。
優選地，所述基於所獲取的視頻資料檢測車內乘坐位置的乘員乘坐狀況包括：基於所獲取的視頻資料確定車內各個乘坐位置是否有乘員；及當確定任意一個乘坐位置有乘員時，將所述任意一個乘坐位置與對應的乘員的人 臉圖像建立關聯。
優選地，所述基於所獲取的視頻資料確定車內各個乘坐位置是否有乘員包括：從所獲取的視頻資料截取一個圖片幀，以及從所截取的圖片幀中識別各個人臉圖像；確定各個人臉圖像在所述圖片幀中的座標點數據，並將每個人臉圖像與對應的座標點數據建立關聯；及根據所述各個人臉圖像所對應的座標點數據確定各個乘坐位置是否有乘員。
優選地，所述根據所述各個人臉圖像所對應的座標點數據確定各個乘坐位置是否有乘員包括：預先儲存一張圖像範本，其中，該圖像範本是在各個乘坐位置均無乘員的情況下由所述攝像頭所拍攝獲得；確定每個乘坐位置在所述圖像範本中的分佈區域；確定每個乘坐位置在所述圖像範本中的分佈區域所對應的座標點數據，由此獲得每個乘坐位置所對應的座標點數據；及將所述各個人臉圖像所對應的座標點數據與所述每個乘坐位置所對應的座標點數據進行匹配，其中，當其中某個乘坐位置所對應的座標點數據包括了某個人臉圖像所對應的座標點數據中的預設比例的座標點數據時，確定所述車內的該某個乘坐位置有乘員；其中，該某個乘坐位置為所述各個乘坐位置中的任意一個乘坐位置，該某個人臉圖像為所述各個人臉圖像中的任意一個人臉圖像。
優選地，所述指定的動作是指打電話的動作，其中，所述基於所偵測到的所述指定的動作，以及作出該指定的動作的乘員所在的乘坐位置，執行相應的控制操作包括：當作出所述打電話的動作的乘員的乘坐位置為非駕駛位置時，調低車內的指定的音響設備的音量，該指定的音響設備是指與所述非駕駛位置所對應的音響設備；及當作出所述打電話的動作的乘員的乘坐位置為所述駕駛位置時，發出警示。
優選地，所述指定的動作是指看手機的動作，其中，所述基於所偵測到的所述指定的動作，以及作出該指定的動作的乘員所在的乘坐位置，執行相應的控制操作包括：當作出所述看手機的動作的乘員的乘坐位置為所述非駕駛位置時，打開車內的指定的燈光設備，該指定的燈光設備是指用於為所述 非駕駛位置的乘員照明的設備；及當作出所述看手機的動作的乘員的乘坐位置為所述駕駛位置時，發出警示。
優選地，所述指定的動作是指打瞌睡的動作，其中，所述基於所偵測到的所述指定的動作，以及作出該指定的動作的乘員所在的乘坐位置，執行相應的控制操作包括：當作出所述打瞌睡的動作的乘員的乘坐位置為非駕駛位置時，關閉車內的所述指定的燈光設備；及當作出所述打瞌睡的動作的乘員的乘坐位置為所述駕駛位置時，發出警示。
優選地，所述乘坐狀況還包括各個乘坐位置的對應乘員的屬性；所述屬性包括年齡段、性別、以及乘員喜好。
優選地，所述乘員喜好包括：座椅位置、座椅傾斜角度、空調設定、喇叭音量、光線強弱。
優選地，該方法還包括：基於車內乘員的乘坐位置以及乘員的屬性執行相應的控制操作。
本發明第二方面提供一種車載裝置，該車載裝置包括儲存器和處理器，所述儲存器用於儲存電腦程式，所述處理器用於執行所述電腦程式時實現所述的基於動作分析的人機交互方法。
本發明實施例中所述的基於動作分析的人機交互的方法、車載裝置，透過獲取攝像頭即時拍攝的車內的視頻資料；基於所獲取的視頻資料檢測車內乘坐位置的乘員乘坐狀況；偵測乘坐位置的乘員的動作；及當偵測到指定的動作時，基於所述指定的動作，以及作出該指定的動作的乘員所在的乘坐位置，執行相應的控制操作，能夠實現人機交互的同時提升乘員乘坐體驗。
100:車
3:車載裝置
101:攝像頭
102:燈光設備
103:揚聲器
31:儲存器
32:處理器
30:基於動作分析的人機交互系統
301:執行模組
302:確定模組
為了更清楚地說明本發明實施例或習知技術中的技術方案，下面將對實施例或習知技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的實施例，對於本領域普通技術人員來講，在 不付出創造性勞動的前提下，還可以根據提供的附圖獲得其他的附圖。
圖1是本發明較佳實施例提供的基於動作分析的人機交互方法的流程圖。
圖2是本發明較佳實施例提供的基於動作分析的人機交互系統的功能模組圖。
圖3是本發明較佳實施例提供的車載裝置的架構圖。
如下具體實施方式將結合上述附圖進一步說明本發明。
為了能夠更清楚地理解本發明的上述目的、特徵和優點，下面結合附圖和具體實施例對本發明進行詳細描述。需要說明的是，在不衝突的情況下，本發明的實施例及實施例中的特徵可以相互組合。
在下面的描述中闡述了很多具體細節以便於充分理解本發明，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。
除非另有定義，本文所使用的所有的技術和科學術語與屬於本發明的技術領域的技術人員通常理解的含義相同。本文中在本發明的說明書中所使用的術語只是為了描述具體的實施例的目的，不是旨在於限制本發明。
圖1是本發明較佳實施例提供的基於動作分析的人機交互方法的流程圖。
在本實施例中，所述基於動作分析的人機交互方法可以應用於車載裝置中，對於需要進行基於動作分析的人機交互的車載裝置，可以直接在車載裝置上集成本發明的方法所提供的用於基於動作分析的人機交互的功能，或者以軟體開發套件(Software Development Kit，SDK)的形式運行在車載裝置上。
如圖1所示，所述基於動作分析的人機交互方法具體包括以下步驟，根據不同的需求，該流程圖中步驟的順序可以改變，某些步驟可以省略。
步驟S1，車載裝置獲取攝像頭即時拍攝的車內的視頻資料。
本實施例中，所述攝像頭可以為廣角攝像頭，該廣角攝像頭能夠拍攝到車內的各個乘坐位置的對應乘員的即時影像。
本實施例中，所述攝像頭在車內的安裝位置，可以由用戶自行確定，只要使得所述攝像頭能夠拍攝到車內的各個乘坐位置的乘員的即時影像即可。
在其他實施例中，也可以每個乘坐位置對應配置一個攝像頭，由此獲得每個乘坐位置的乘員的即時影像。
步驟S2，車載裝置基於所獲取的視頻資料檢測車內乘坐位置的乘員乘坐狀況。
在一個實施例中，所述基於所獲取的視頻資料檢測車內乘坐位置的乘員乘坐狀況包括：(t1)基於所獲取的視頻資料確定車內各個乘坐位置是否有乘員；(t2)當確定任意一個乘坐位置有乘員時，將所述任意一個乘坐位置與對應的乘員的人臉圖像建立關聯。
本實施例中，所述各個乘坐位置包括駕駛員的駕駛位置、副駕駛位置，以及後排的每個位置(如靠左邊窗戶的左側位置、中間位置、靠右邊窗戶的右側位置)。
在一個實施例中，所述基於所獲取的視頻資料確定車內各個乘坐位置是否有乘員包括(a1)-(a3)：
(a1)從所獲取的視頻資料截取一個圖片幀，以及從所截取的圖片幀中識別各個人臉圖像。
具體地，可以利用人臉識別演算法從所述圖片幀中識別每個人臉圖像。
(a2)確定各個人臉圖像在所述圖片幀中的座標點數據，並將每個人臉圖像與對應的座標點數據建立關聯。
具體地，可以首先基於所述圖片幀建立一個坐標系，然後基於所建立的坐標系來確定所述各個人臉圖像在所述圖片幀的座標點數據。
舉例而言，所述坐標系可以以所述圖片幀的左下角為原點，以所述圖片幀的下邊緣為橫軸，以所述圖片幀的左邊緣為縱軸來建立所述坐標系。
(a3)根據所述各個人臉圖像所對應的座標點數據確定各個乘坐位置是否有乘員。
具體地，所述根據所述各個人臉圖像所對應的座標點數據確定各個乘坐位置是否有乘員包括(a31)-(a32)：
(a31)預先儲存一張圖像範本，其中，該圖像範本可以是在各個乘坐位置均無乘員的情況下由所述攝像頭所拍攝獲得；確定每個乘坐位置在所述圖像範本中的分佈區域；確定每個乘坐位置在所述圖像範本中的分佈區域所對應的座標點數據，由此獲得每個乘坐位置所對應的座標點數據。
具體地，所述確定每個乘坐位置在所述圖像範本中的分佈區域可以透過識別各個座椅來確定。
此外，所述確定每個乘坐位置在所述圖像範本中的分佈區域所對應的座標點數據包括基於所述圖像範本建立一個坐標系。需要說明的是，基於所述圖像範本建立坐標系的原理與所述基於所述圖片幀建立坐標系的原理相同。例如，以所述圖像範本的左下角為原點，以所述圖像範本的下邊緣為橫著，以及以所述圖像範本的左邊緣為縱軸來建立坐標系。
(a32)將所述各個人臉圖像所對應的座標點數據與所述每個乘坐位置所對應的座標點數據進行匹配，由此確定各個乘坐位置是否有乘員。
具體地，當其中某個乘坐位置所對應的座標點數據包括了某個人臉圖像所對應的座標點數據中的預設比例(例如90%，或95%)的座標點數據時，確定所述車內的該某個乘坐位置有乘員。其中，該某個乘坐位置為所述各個乘坐位置中的任意一個乘坐位置，該某個人臉圖像為所述各個人臉圖像中的任意一個人臉圖像。
舉例而言，假設與副駕駛位置所對應的座標點數據包括了某個人臉所對應的座標點數據中的90%的座標點數據時，則可確定所述副駕駛位置有乘員。
在一個實施例中，當確定車內任意一個乘坐位置有乘員時，所述車載裝置還可以將所述人臉圖像與所述乘坐位置建立關聯。
在一個實施例中，所述乘坐狀況還包括各個乘坐位置的對應乘員的屬性。
本實施例中，所述屬性包括年齡段。在其他實施例中，所述屬性還可以進一步包括性別、乘員喜好。所述乘員喜好包括，但不限於，座椅位置、座椅傾斜角度、空調設定、喇叭音量、光線強弱。
本實施例中，所述車載裝置可以預先將乘員喜歡好與年齡段、性別建立對用關係，由此當獲得了乘員的性別和年齡段時即可獲得對應的乘員喜好。
本實施例中，所述車載裝置可以將各個乘坐位置所對應的人臉圖像分別輸入至預先訓練生成的年齡段識別模型，由此獲得各個乘坐位置的乘員的年齡段。
所述車載裝置可以將各個乘坐位置所對應的人臉圖像分別輸入至預先訓練生成的性別識別模型，由此獲得各個乘坐位置的乘員的性別。
本實施例中，所述車載裝置訓練所述年齡段識別模型的方法包括(b1)-(b3)：
(b1)將預設數量(例如10萬張)的包含人臉的圖片作為訓練樣本，根據每張圖片所對應的年齡將所述訓練樣本分組，得到多個樣本組，每個樣本組對應一個年齡段。
(b2)提取其中某個樣本組中的每張圖片的人臉特徵，然後提取該某個樣本組中的每張圖片的人臉特徵的特徵向量，對該某個樣本組的所有圖片的人臉特徵的特徵向量作加權求平均值，將所計算得到的平均值作為該某個樣 本組所對應的的人臉特徵的特徵向量。其中，該某個樣本組為所述多個樣本組中的任意一個樣本組。
(b3)根據上述步驟(b2)計算所述多個樣本組中的其他樣本組中的每個樣本組所對應的人臉特徵的特徵向量，由此獲得所述多個樣本組中的每個樣本組所對應的人臉特徵的特徵向量。所述其他樣本組是指所述多個樣本組中除所述某個樣本組之外的樣本組。
本實施例中，所述車載裝置訓練所述性別識別模型的方法包括(c1)-(c3)：
(c1)將預設數量(例如30萬張)的包含人臉的圖片作為訓練樣本，根據每張圖片所對應的性別將所述訓練樣本分為兩組，得到兩個樣本組，每個樣本組對應其中一個性別。
(c2)提取其中一個樣本組中的每張圖片的人臉特徵，然後提取該其中一個樣本組中的每張圖片的人臉特徵的特徵向量，對該其中一個樣本組的所有圖片的人臉特徵的特徵向量作加權求平均值，將所計算得到的平均值作為該其中一個樣本組所對應的人臉特徵的特徵向量。其中，該其中一個樣本組為所述兩個樣本組中的任意一個樣本組。
(c3)根據上述步驟(c2)計算所述兩個樣本組中的另外一個樣本組所對應的人臉特徵的特徵向量，由此獲得所述兩個樣本組中的每個樣本組所對應的人臉特徵的特徵向量。
步驟S3，車載裝置偵測乘坐位置的乘員的動作。
具體地，可以利用預先訓練生成的動作識別模型來偵測每個乘員的動作。
在一個實施例中，訓練所述動作識別模型的步驟包括：
(d1)獲取預設數量(例如30萬個)的視頻作為樣本集，將個視頻對應預設的多種動作中的其中一種動作；按照每個視頻所對應的動作將所述樣本集分組，每組對應一種預設的動作。
所述預設的多種動作可以包括，但不限於，打電話的動作、看手機的動作、打瞌睡的動作以及其他動作。
(d2)抽取每組中的每個視頻的灰度特徵、水準梯度特徵、豎直梯度特徵、水準光流特徵和豎直光流特徵，構成五個特徵立方體，將所獲得的特徵立方體輸入卷積神經網路，進行端到端訓練得到所述動作識別模型。
步驟S4，車載裝置確定是否偵測到指定的動作。當偵測到所述指定的動作時執行步驟S5。否則回到步驟S3，繼續偵測每個乘坐位置的每個乘員的動作。
本實施例中，所述指定的動作可以是指所述預設的多種動作中的任意一種。如前面所述，該預設的多種動作可以包括，但不限於，打電話的動作、看手機的動作、打瞌睡的動作以及其他動作。
步驟S5，車載裝置基於所偵測到的所述指定的動作，以及作出該指定的動作的乘員所在的乘坐位置，執行相應的控制操作。
在一個實施例中，所述基於所偵測到的所述指定的動作，以及作出該指定的動作的乘員所在的乘坐位置，執行相應的控制操作包括：
(f1)當所述指定的動作為所述打電話的動作時，且作出所述打電話的動作的乘員的乘坐位置為非駕駛位置(即除駕駛位置之外的其他的乘坐位置)例如後排時，調低車內的指定的音響設備的音量，其中，該指定的音響設備可以是指與所述非駕駛位置所對應的音響設備。舉例而言，假設作出所述打電話的動作的乘員是後排其中一個乘客，那麼可以調低對應後排的音響設備的音量。
(f2)當所述指定的動作為所述看手機的動作時，且作出所述看手機的動作的乘員的乘坐位置為非駕駛位置例如後排時，打開車內的指定的燈光設備，其中，該指定的燈光設備可以是指用於為所述非駕駛位置的乘員照明的設備。
(f3)當所述指定的動作為所述打瞌睡的動作，且作出所述打瞌睡的動作的乘員的乘坐位置為非駕駛位置例如副駕駛位置或者後排時，關閉車內的指定的燈光設備，其中，該指定的燈光設備可以是指用於為所述非駕駛位置的乘員照明的設備。
(f4)當所述指定的動作為所述打電話的動作或者看手機的動作或者打瞌睡的動作，且作出所述指定的動作的乘員的乘坐位置為所述駕駛位置時，則發出警示。例如可以透過語音提示駕駛員該指定的動作影響開車安全，或者透過揚聲器播放預設的警示音效。
在其他實施例中，所述車載裝置也可以基於車內乘員的乘坐位置以及乘員的屬性執行相應的控制操作。
舉例而言，當乘員的乘坐位置為後排靠窗位置，且乘員為小孩(例如年齡段是0~14歲)時，鎖定與該乘員的乘坐位置所對應的門窗。
在其他實施例中，所述車載裝置也可以基於所偵測到的所述指定的動作、作出所述指定的動作的乘員所在的乘坐位置以及作出所述指定的動作的乘員的屬性，執行相應的控制操作。
根據上述記載可知，本發明實施例的所述基於動作分析的人機交互方法，透過獲取攝像頭即時拍攝的車內的視頻資料；基於所獲取的視頻資料檢測車內乘坐狀況，所述乘坐狀況包括各個乘員對應的乘坐位置；即時偵測每個乘坐位置的每個乘員的動作；及當偵測到指定的動作時，基於所述指定的動作，以及作出該指定的動作的乘員所在的乘坐位置，執行相應的控制操作，可以基於車內乘員的動作及乘坐位置來實現相應的控制從而實現人機交互同時有效提升乘員的乘坐體驗。
上述圖1詳細介紹了本發明的基於動作分析的人機交互方法，下面結合圖2和圖3，分別對實現所述基於動作分析的人機交互方法的軟體裝置的功能模組以及實現所述基於動作分析的人機交互方法的硬體裝置架構進行介紹。
應該瞭解，所述實施例僅為說明之用，在專利申請範圍上並不受此結構的限制。
參閱圖2所示，是本發明較佳實施例提供的基於動作分析的人機交互系統30的功能模組圖。
在一些實施例中，所述基於動作分析的人機交互系統30運行於車載裝置中。所述基於動作分析的人機交互系統30可以包括多個由程式碼段所組成的功能模組。所述基於動作分析的人機交互系統30中的各個程式段的電腦程式代碼可以儲存於車載裝置的儲存器中，並由所述車載裝置的至少一個處理器所執行，以實現(詳見圖1描述)基於動作分析的人機交互。
本實施例中，所述基於動作分析的人機交互系統30根據其所執行的功能，可以被劃分為多個功能模組。所述功能模組可以包括：執行模組301、確定模組302。本發明所稱的模組是指一種能夠被至少一個處理器所執行並且能夠完成固定功能的一系列電腦程式段，其儲存在儲存器中。在本實施例中，關於各模組的功能將在後續的實施例中詳述。
執行模組301獲取攝像頭即時拍攝的車內的視頻資料。
本實施例中，所述攝像頭可以為廣角攝像頭，該廣角攝像頭能夠拍攝到車內的各個乘坐位置的對應乘員的即時影像。
本實施例中，所述攝像頭在車內的安裝位置，可以由用戶自行確定，只要使得所述攝像頭能夠拍攝到車內的各個乘坐位置的乘員的即時影像即可。
在其他實施例中，也可以每個乘坐位置對應配置一個攝像頭，由此獲得每個乘坐位置的乘員的即時影像。
所述執行模組301基於所獲取的視頻資料檢測車內乘坐位置的乘員乘坐狀況。
在一個實施例中，所述基於所獲取的視頻資料檢測車內乘坐位置的乘員乘坐狀況包括： (t1)基於所獲取的視頻資料確定車內各個乘坐位置是否有乘員；(t2)當確定任意一個乘坐位置有乘員時，將所述任意一個乘坐位置與對應的乘員的人臉圖像建立關聯。
本實施例中，所述各個乘坐位置包括駕駛員的駕駛位置、副駕駛位置，以及後排的每個位置(如靠左邊窗戶的左側位置、中間位置、靠右邊窗戶的右側位置)。
在一個實施例中，所述基於所獲取的視頻資料確定車內各個乘坐位置是否有乘員包括(a1)-(a3)：
(a1)從所獲取的視頻資料截取一個圖片幀，以及從所截取的圖片幀中識別各個人臉圖像。
具體地，可以利用人臉識別演算法從所述圖片幀中識別每個人臉圖像。
(a2)確定各個人臉圖像在所述圖片幀中的座標點數據，並將每個人臉圖像與對應的座標點數據建立關聯。
具體地，可以首先基於所述圖片幀建立一個坐標系，然後基於所建立的坐標系來確定所述各個人臉圖像在所述圖片幀的座標點數據。
舉例而言，所述坐標系可以以所述圖片幀的左下角為原點，以所述圖片幀的下邊緣為橫軸，以所述圖片幀的左邊緣為縱軸來建立所述坐標系。
(a3)根據所述各個人臉圖像所對應的座標點數據確定各個乘坐位置是否有乘員。
具體地，所述根據所述各個人臉圖像所對應的座標點數據確定各個乘坐位置是否有乘員包括(a31)-(a32)：
(a31)預先儲存一張圖像範本，其中，該圖像範本可以是在各個乘坐位置均無乘員的情況下由所述攝像頭所拍攝獲得；確定每個乘坐位置在所述圖像範本中的分佈區域；確定每個乘坐位置在所述圖像範本中的分佈區域所對應的座標點數據，由此獲得每個乘坐位置所對應的座標點數據。
具體地，所述確定每個乘坐位置在所述圖像範本中的分佈區域可以透過識別各個座椅來確定。
此外，所述確定每個乘坐位置在所述圖像範本中的分佈區域所對應的座標點數據包括基於所述圖像範本建立一個坐標系。需要說明的是，基於所述圖像範本建立坐標系的原理與所述基於所述圖片幀建立坐標系的原理相同。例如，以所述圖像範本的左下角為原點，以所述圖像範本的下邊緣為橫著，以及以所述圖像範本的左邊緣為縱軸來建立坐標系。
(a32)將所述各個人臉圖像所對應的座標點數據與所述每個乘坐位置所對應的座標點數據進行匹配，由此確定各個乘坐位置是否有乘員。
具體地，當其中某個乘坐位置所對應的座標點數據包括了某個人臉圖像所對應的座標點數據中的預設比例(例如90%，或95%)的座標點數據時，確定所述車內的該某個乘坐位置有乘員。其中，該某個乘坐位置為所述各個乘坐位置中的任意一個乘坐位置，該某個人臉圖像為所述各個人臉圖像中的任意一個人臉圖像。
舉例而言，假設與副駕駛位置所對應的座標點數據包括了某個人臉所對應的座標點數據中的90%的座標點數據時，則可確定所述副駕駛位置有乘員。
在一個實施例中，當確定車內任意一個乘坐位置有乘員時，所述執行模組301還可以將所述人臉圖像與所述乘坐位置建立關聯。
在一個實施例中，所述乘坐狀況還包括各個乘坐位置的對應乘員的屬性。
本實施例中，所述屬性包括年齡段。在其他實施例中，所述屬性還可以進一步包括性別、乘員喜好。所述乘員喜好包括，但不限於，座椅位置、座椅傾斜角度、空調設定、喇叭音量、光線強弱。
本實施例中，所述執行模組301可以預先將乘員喜歡好與年齡段、性別建立對用關係，由此當獲得了乘員的性別和年齡段時即可獲得對應的乘員喜好。
本實施例中，所述執行模組301可以將各個乘坐位置所對應的人臉圖像分別輸入至預先訓練生成的年齡段識別模型，由此獲得各個乘坐位置的乘員的年齡段。
所述執行模組301可以將各個乘坐位置所對應的人臉圖像分別輸入至預先訓練生成的性別識別模型，由此獲得各個乘坐位置的乘員的性別。
本實施例中，所述執行模組301訓練所述年齡段識別模型的方法包括(b1)-(b3)：
(b1)將預設數量(例如10萬張)的包含人臉的圖片作為訓練樣本，根據每張圖片所對應的年齡將所述訓練樣本分組，得到多個樣本組，每個樣本組對應一個年齡段。
(b2)提取其中某個樣本組中的每張圖片的人臉特徵，然後提取該某個樣本組中的每張圖片的人臉特徵的特徵向量，對該某個樣本組的所有圖片的人臉特徵的特徵向量作加權求平均值，將所計算得到的平均值作為該某個樣本組所對應的的人臉特徵的特徵向量。其中，該某個樣本組為所述多個樣本組中的任意一個樣本組。
(b3)根據上述步驟(b2)計算所述多個樣本組中的其他樣本組中的每個樣本組所對應的人臉特徵的特徵向量，由此獲得所述多個樣本組中的每個樣本組所對應的人臉特徵的特徵向量。所述其他樣本組是指所述多個樣本組中除所述某個樣本組之外的樣本組。
本實施例中，所述執行模組301訓練所述性別識別模型的方法包括(c1)-(c3)：
(c1)將預設數量(例如30萬張)的包含人臉的圖片作為訓練樣本，根據每張圖片所對應的性別將所述訓練樣本分為兩組，得到兩個樣本組，每個樣本組對應其中一個性別。
(c2)提取其中一個樣本組中的每張圖片的人臉特徵，然後提取該其中一個樣本組中的每張圖片的人臉特徵的特徵向量，對該其中一個樣本組的所有圖片的人臉特徵的特徵向量作加權求平均值，將所計算得到的平均值作為該其中一個樣本組所對應的人臉特徵的特徵向量。其中，該其中一個樣本組為所述兩個樣本組中的任意一個樣本組。
(c3)根據上述步驟(c2)計算所述兩個樣本組中的另外一個樣本組所對應的人臉特徵的特徵向量，由此獲得所述兩個樣本組中的每個樣本組所對應的人臉特徵的特徵向量。
所述執行模組301偵測乘坐位置的乘員的動作。
具體地，所述執行模組301可以利用預先訓練生成的動作識別模型來識別每個乘員的動作。
在一個實施例中，訓練所述動作識別模型的步驟包括：
(d1)獲取預設數量(例如30萬個)的視頻作為樣本集，將個視頻對應預設的多種動作中的其中一種動作；按照每個視頻所對應的動作將所述樣本集分組，每組對應一種預設的動作。
所述預設的多種動作可以包括，但不限於，打電話的動作、看手機的動作、打瞌睡的動作以及其他動作。
(d2)抽取每組中的每個視頻的灰度特徵、水準梯度特徵、豎直梯度特徵、水準光流特徵和豎直光流特徵，構成五個特徵立方體，將所獲得的特徵立方體輸入卷積神經網路，進行端到端訓練得到所述動作識別模型。
確定模組302確定是否偵測到指定的動作。當偵測到所述指定的動作時執行步驟S5。否則回到步驟S3，所述執行模組301繼續偵測每個乘坐位置的每個乘員的動作。
本實施例中，所述指定的動作可以是指所述預設的多種動作中的任意一種。如前面所述，該預設的多種動作可以包括，但不限於，打電話的動作、看手機的動作、打瞌睡的動作以及其他動作。
所述執行模組301基於所偵測到的所述指定的動作，以及作出該指定的動作的乘員所在的乘坐位置，執行相應的控制操作。
在一個實施例中，所述基於所偵測到的所述指定的動作，以及作出該指定的動作的乘員所在的乘坐位置，執行相應的控制操作包括：
(f1)當所述指定的動作為所述打電話的動作時，且作出所述打電話的動作的乘員的乘坐位置為非駕駛位置(即除駕駛位置之外的其他的乘坐位置)例如後排時，調低車內的指定的音響設備的音量，其中，該指定的音響設備可以是指與所述非駕駛位置所對應的音響設備。舉例而言，假設作出所述打電話的動作的乘員是後排其中一個乘客，那麼可以調低對應後排的音響設備的音量。
(f2)當所述指定的動作為所述看手機的動作時，且作出所述看手機的動作的乘員的乘坐位置為非駕駛位置例如後排時，打開車內的指定的燈光設備，其中，該指定的燈光設備可以是指用於為所述非駕駛位置的乘員照明的設備。
(f3)當所述指定的動作為所述打瞌睡的動作，且作出所述打瞌睡的動作的乘員的乘坐位置為非駕駛位置例如副駕駛位置或者後排時，關閉車內的指定的燈光設備，其中，該指定的燈光設備可以是指用於為所述非駕駛位置的乘員照明的設備。
(f4)當所述指定的動作為所述打電話的動作或者看手機的動作或者打瞌睡的動作，且作出所述指定的動作的乘員的乘坐位置為所述駕駛位置時，則發出警示。例如可以透過語音提示駕駛員該指定的動作影響開車安全，或者透過揚聲器播放預設的警示音效。
在其他實施例中，所述執行模組301也可以基於車內乘員的乘坐位置以及乘員的屬性執行相應的控制操作。
舉例而言，當乘員的乘坐位置為後排靠窗位置，且乘員為小孩(例如年齡段是0~14歲)時，鎖定與該乘員的乘坐位置所對應的門窗。
在其他實施例中，所述執行模組301也可以基於所偵測到的所述指定的動作、作出所述指定的動作的乘員所在的乘坐位置以及作出所述指定的動作的乘員的屬性，執行相應的控制操作。
根據上述記載可知，本發明實施例的所述基於動作分析的人機交互系統，透過獲取攝像頭即時拍攝的車內的視頻資料；基於所獲取的視頻資料檢測車內乘坐狀況，所述乘坐狀況包括各個乘員對應的乘坐位置；即時偵測每個乘坐位置的每個乘員的動作；及當偵測到指定的動作時，基於所述指定的動作，以及作出該指定的動作的乘員所在的乘坐位置，執行相應的控制操作，可以基於車內乘員的動作及乘坐位置來實現相應的控制從而實現人機交互同時有效提升乘員的乘坐體驗。
參閱圖3所示，為本發明較佳實施例提供的車載裝置的結構示意圖。
本發明的較佳實施例中，車載裝置3可以安裝在車100上。該車載裝置3可以是指車載電腦。所述車100可以是汽車、機車等。所述車載裝置3可以包括，但不限於，至少一個攝像頭101、一個或多個燈光設備102、一個或多個揚聲器103等。所述基於動作分析的人機交互系統30用於根據車100內的乘員的動作以及乘坐位置執行相應的控制(具體細節後面介紹)。
本實施例中，所述至少一個攝像頭101用於拍攝車100內的各個乘坐位置的對應乘員的即時影像。所述攝像頭101可以為廣角攝像頭。
本實施例中，所述攝像頭101在車100內的安裝位置，可以由用戶自行確定，只要使得所述攝像頭101能夠拍攝到車100內的各個乘坐位置的乘員的即時影像即可。
在其他實施例中，也可以每個乘坐位置對應配置一個攝像頭101，由此利用對應每個乘坐位置的攝像頭101分別獲得每個乘坐位置的乘員的即時影像。
本實施例中，所述各個乘坐位置包括駕駛員的駕駛位置、副駕駛位置，以及後排的每個位置(如靠左邊窗戶的左側位置、中間位置、靠右邊窗戶的右側位置)。
本實施例中，所述一個或多個燈光設備102可以為安裝在所述車100內的照明燈。所述一個或多個揚聲器103可以用於輸出音訊資料。
本實施例中，所述車載裝置3還可以包括互相之間電氣連接的儲存器31、至少一個處理器32。
本領域技術人員應該瞭解，圖1示出的車載裝置3以及車100的結構並不構成本發明實施例的限定，所述車載裝置3或者車100還可以包括比圖示更多或更少的其他硬體或者軟體，或者不同的部件佈置。例如，所述車載裝置3還可以包括顯示幕等部件。
在一些實施例中，所述車載裝置3包括一種能夠按照事先設定或儲存的指令，自動進行數值計算和/或資訊處理的終端，其硬體包括但不限於微處理器、專用積體電路、可程式設計閘陣列、數文書處理器及嵌入式設備等。
需要說明的是，所述車載裝置3僅為舉例，其他現有的或今後可能出現的電子產品如可適應於本發明，也應包含在本發明的保護範圍以內，並以引用方式包含於此。
在一些實施例中，所述儲存器31可以用於儲存電腦程式的程式碼和各種資料。例如，所述儲存器31可以用於儲存安裝在所述車載裝置3中的基於動作分析的人機交互系統30，並在車載裝置3的運行過程中實現高速、自動地完成程式或資料的存取。所述儲存器31可以是包括唯讀儲存器(Read-Only Memory，ROM)、可程式設計唯讀儲存器(Programmable Read-Only Memory，PROM)、可抹除可程式設計唯讀儲存器(Erasable Programmable Read-Only Memory，EPROM)、一次可程式設計唯讀儲存器(One-time Programmable Read-Only Memory，OTPROM)、電子抹除式可複寫唯讀儲存器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、唯讀光碟(Compact Disc Read-Only Memory，CD-ROM)或其他光碟儲存器、磁碟儲存器、磁帶儲存器、或者任何其他能夠用於攜帶或儲存資料的電腦可讀的儲存介質。
在一些實施例中，所述至少一個處理器32可以由積體電路組成。例如，可以由單個封裝的積體電路所組成，也可以是由多個相同功能或不同功能封裝的積體電路所組成，包括一個或者多個中央處理器(Central Processing unit，CPU)、微處理器、數文書處理晶片、圖形處理器及各種控制晶片的組合等。所述至少一個處理器32是所述車載裝置3的控制核心(Control Unit)，利用各種介面和線路連接整個車載裝置3的各個部件，透過運行或執行儲存在所述儲存器31內的程式或者模組，以及調用儲存在所述儲存器31內的資料，以執行車載裝置3的各種功能和處理資料，例如，根據車100內的乘員的動作以及乘坐位置對應控制相關設備如所述燈光設備102以實現人機交互的功能(具體細節後面介紹)。
儘管未示出，所述車載裝置3還可以包括給各個部件供電的電源(比如電池)，優選的，電源可以透過電源管理裝置與所述至少一個處理器32邏輯相連，從而透過電源管理裝置實現管理充電、放電、以及功耗管理等功能。電源還可以包括一個或一個以上的直流或交流電源、再充電裝置、電源故障檢測電路、電源轉換器或者逆變器、電源狀態指示器等任意元件。所述車載裝置3還可以包括多種感測器、藍牙模組、Wi-Fi模組等，在此不再贅述。
應該瞭解，所述實施例僅為說明之用，在專利申請範圍上並不受此結構的限制。
上述以軟體功能模組的形式實現的集成的單元，可以儲存在一個電腦可讀取儲存介質中。上述軟體功能模組包括若干指令，該若干指令用以使 得一台車載裝置(可以車載電腦等)或處理器(processor)執行本發明各個實施例所述方法的部分。
在進一步的實施例中，結合圖2，所述至少一個處理器32可執行所述車載裝置3的操作裝置以及安裝的各類應用程式(如基於動作分析的人機交互系統30)等。
所述儲存器31中儲存有電腦程式代碼，且所述至少一個處理器32可調用所述儲存器31中儲存的電腦程式代碼以執行相關的功能。例如，圖2中所述的各個模組是儲存在所述儲存器31中的電腦程式代碼，並由所述至少一個處理器32所執行，從而實現所述各個模組的功能以根據車100內的乘員的動作以及乘坐位置對應控制相關設備實現人機交互的功能的目的。
在本發明的一個實施例中，所述儲存器31儲存多個指令，所述多個指令被所述至少一個處理器32所執行以根據車100內的乘員的動作以及乘坐位置對應控制相關設備實現人機交互。
具體地，結合圖1所示，所述至少一個處理器32對上述指令的具體實現方法包括：獲取攝像頭即時拍攝的車內的視頻資料；基於所獲取的視頻資料檢測車內乘坐位置的乘員乘坐狀況；偵測乘坐位置的乘員的動作；及當偵測到指定的動作時，基於所述指定的動作，以及作出該指定的動作的乘員所在的乘坐位置，執行相應的控制操作。
優選地，所述基於所獲取的視頻資料檢測車內乘坐位置的乘員乘坐狀況包括：基於所獲取的視頻資料確定車內各個乘坐位置是否有乘員；及當確定任意一個乘坐位置有乘員時，將所述任意一個乘坐位置與對應的乘員的人臉圖像建立關聯。
優選地，所述基於所獲取的視頻資料確定車內各個乘坐位置是否有乘員包括：從所獲取的視頻資料截取一個圖片幀，以及從所截取的圖片幀中識別各個人臉圖像；確定各個人臉圖像在所述圖片幀中的座標點數據，並將每個人臉圖像與對應的座標點數據建立關聯；及根據所述各個人臉圖像所對應的 座標點數據確定各個乘坐位置是否有乘員。
優選地，所述根據所述各個人臉圖像所對應的座標點數據確定各個乘坐位置是否有乘員包括：預先儲存一張圖像範本，其中，該圖像範本是在各個乘坐位置均無乘員的情況下由所述攝像頭所拍攝獲得；確定每個乘坐位置在所述圖像範本中的分佈區域；確定每個乘坐位置在所述圖像範本中的分佈區域所對應的座標點數據，由此獲得每個乘坐位置所對應的座標點數據；及將所述各個人臉圖像所對應的座標點數據與所述每個乘坐位置所對應的座標點數據進行匹配，其中，當其中某個乘坐位置所對應的座標點數據包括了某個人臉圖像所對應的座標點數據中的預設比例的座標點數據時，確定所述車內的該某個乘坐位置有乘員；其中，該某個乘坐位置為所述各個乘坐位置中的任意一個乘坐位置，該某個人臉圖像為所述各個人臉圖像中的任意一個人臉圖像。
優選地，所述指定的動作是指打電話的動作，其中，所述基於所偵測到的所述指定的動作，以及作出該指定的動作的乘員所在的乘坐位置，執行相應的控制操作包括：當作出所述打電話的動作的乘員的乘坐位置為非駕駛位置時，調低車內的指定的音響設備的音量，該指定的音響設備是指與所述非駕駛位置所對應的音響設備；及當作出所述打電話的動作的乘員的乘坐位置為所述駕駛位置時，發出警示。
優選地，所述指定的動作是指看手機的動作，其中，所述基於所偵測到的所述指定的動作，以及作出該指定的動作的乘員所在的乘坐位置，執行相應的控制操作包括：當作出所述看手機的動作的乘員的乘坐位置為所述非駕駛位置時，打開車內的指定的燈光設備，該指定的燈光設備是指用於為所述非駕駛位置的乘員照明的設備；及當作出所述看手機的動作的乘員的乘坐位置為所述駕駛位置時，發出警示。
優選地，所述指定的動作是指打瞌睡的動作，其中，所述基於所偵測到的所述指定的動作，以及作出該指定的動作的乘員所在的乘坐位置，執行相應的控制操作包括：當作出所述打瞌睡的動作的乘員的乘坐位置為非駕駛 位置時，關閉車內的所述指定的燈光設備；及當作出所述打瞌睡的動作的乘員的乘坐位置為所述駕駛位置時，發出警示。
優選地，所述乘坐狀況還包括各個乘坐位置的對應乘員的屬性；所述屬性包括年齡段、性別、以及乘員喜好。
優選地，所述乘員喜好包括：座椅位置、座椅傾斜角度、空調設定、喇叭音量、光線強弱。
優選地，該方法還包括：基於車內乘員的乘坐位置以及乘員的屬性執行相應的控制操作。
在本發明所提供的幾個實施例中，應該理解到，所揭露的電腦可讀儲存介質，裝置和方法，可以透過其它的方式實現。例如，以上所描述的裝置實施例僅僅是示意性的，例如，所述模組的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式。
所述作為分離部件說明的模組可以是或者也可以不是物理上分開的，作為模組顯示的部件可以是或者也可以不是物理單元，即可以位於一個地方，或者也可以分佈到多個網路單元上。可以根據實際的需要選擇其中的部分或者全部模組來實現本實施例方案的目的。
另外，在本發明各個實施例中的各功能模組可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以採用硬體的形式實現，也可以採用硬體加軟體功能模組的形式實現。
對於本領域技術人員而言，顯然本發明不限於上述示範性實施例的細節，而且在不背離本發明的精神或基本特徵的情況下，能夠以其他的具體形式實現本發明。因此，無論從哪一點來看，均應將實施例看作是示範性的，而且是非限制性的，本發明的範圍由所附申請專利範圍而不是上述說明限定，因此旨在將落在申請專利範圍的等同要件的含義和範圍內的所有變化涵括在本發明內。不應將申請專利範圍中的任何附圖標記視為限制所涉及的申請專利範 圍。此外，顯然“包括”一詞不排除其他單元或，單數不排除複數。裝置申請專利範圍中陳述的多個單元或裝置也可以由一個單元或裝置透過軟體或者硬體來實現。第一，第二等詞語用來表示名稱，而並不表示任何特定的順序。
最後應說明的是，以上實施例僅用以說明本發明的技術方案而非限制，儘管參照較佳實施例對本發明進行了詳細說明，本領域的普通技術人員應當理解，可以對本發明的技術方案進行修改或等同替換，而不脫離本發明技術方案的精神和範圍。

Claims (11)

  1. 一種基於動作分析的人機交互方法，應用於車載裝置，其中，該方法包括：獲取攝像頭即時拍攝的車內的視頻資料；基於所獲取的視頻資料檢測車內各個乘坐位置的乘員乘坐狀況；偵測各個乘坐位置的乘員的動作；及當偵測到指定的動作時，基於所述指定的動作，以及作出該指定的動作的乘員所在的乘坐位置，執行相應的控制操作，所述各個乘坐位置包括駕駛位置以及非駕駛位置。
  2. 如請求項1所述的基於動作分析的人機交互方法，其中，所述基於所獲取的視頻資料檢測車內各個乘坐位置的乘員乘坐狀況包括：基於所獲取的視頻資料確定車內各個乘坐位置是否有乘員；及當確定任意一個乘坐位置有乘員時，將所述任意一個乘坐位置與對應的乘員的人臉圖像建立關聯。
  3. 如請求項2所述的基於動作分析的人機交互方法，其中，所述基於所獲取的視頻資料確定車內各個乘坐位置是否有乘員包括：從所獲取的視頻資料截取一個圖片幀，以及從所截取的圖片幀中識別各個人臉圖像；確定各個人臉圖像在所述圖片幀中的座標點數據，並將每個人臉圖像與對應的座標點數據建立關聯；及根據所述各個人臉圖像所對應的座標點數據確定各個乘坐位置是否有乘員。
  4. 如請求項3所述的基於動作分析的人機交互方法，其中，所述根據所述各個人臉圖像所對應的座標點數據確定各個乘坐位置是否有乘員包括：預先儲存一張圖像範本，其中，該圖像範本是在各個乘坐位置均無乘員的 情況下由所述攝像頭所拍攝獲得；確定每個乘坐位置在所述圖像範本中的分佈區域；確定每個乘坐位置在所述圖像範本中的分佈區域所對應的座標點數據，由此獲得每個乘坐位置所對應的座標點數據；及將所述各個人臉圖像所對應的座標點數據與所述每個乘坐位置所對應的座標點數據進行匹配，其中，當其中某個乘坐位置所對應的座標點數據包括了某個人臉圖像所對應的座標點數據中的預設比例的座標點數據時，確定所述車內的該某個乘坐位置有乘員；其中，該某個乘坐位置為所述各個乘坐位置中的任意一個乘坐位置，該某個人臉圖像為所述各個人臉圖像中的任意一個人臉圖像。
  5. 如請求項1所述的基於動作分析的人機交互方法，其中，所述指定的動作是指打電話的動作，其中，所述基於所偵測到的所述指定的動作，以及作出該指定的動作的乘員所在的乘坐位置，執行相應的控制操作包括：當作出所述打電話的動作的乘員的乘坐位置為所述非駕駛位置時，調低車內的指定的音響設備的音量，該指定的音響設備是指與所述非駕駛位置所對應的音響設備；及當作出所述打電話的動作的乘員的乘坐位置為所述駕駛位置時，發出警示。
  6. 如請求項1所述的基於動作分析的人機交互方法，其中，所述指定的動作是指看手機的動作，其中，所述基於所偵測到的所述指定的動作，以及作出該指定的動作的乘員所在的乘坐位置，執行相應的控制操作包括：當作出所述看手機的動作的乘員的乘坐位置為所述非駕駛位置時，打開車內的指定的燈光設備，該指定的燈光設備是指用於為所述非駕駛位置的乘員照明的設備；及當作出所述看手機的動作的乘員的乘坐位置為所述駕駛位置時，發出警示。
  7. 如請求項1所述的基於動作分析的人機交互方法，其中，所 述指定的動作是指打瞌睡的動作，其中，所述基於所偵測到的所述指定的動作，以及作出該指定的動作的乘員所在的乘坐位置，執行相應的控制操作包括：當作出所述打瞌睡的動作的乘員的乘坐位置為所述非駕駛位置時，關閉車內的所述指定的燈光設備；及當作出所述打瞌睡的動作的乘員的乘坐位置為所述駕駛位置時，發出警示。
  8. 如請求項1所述的基於動作分析的人機交互方法，其中，所述乘坐狀況還包括各個乘坐位置的對應乘員的屬性；所述屬性包括年齡段、性別、以及乘員喜好。
  9. 如請求項8所述的基於動作分析的人機交互方法，其中，所述乘員喜好包括：座椅位置、座椅傾斜角度、空調設定、喇叭音量、光線強弱。
  10. 如請求項8所述的基於動作分析的人機交互方法，其中，該方法還包括：基於車內乘員的乘坐位置以及乘員的屬性執行相應的控制操作。
  11. 一種車載裝置，其中，該車載裝置包括儲存器和處理器，所述儲存器用於儲存電腦程式，所述處理器用於執行所述電腦程式時實現請求項1-10任意一項所述的基於動作分析的人機交互方法。
TW108143515A 2019-11-22 2019-11-28 基於動作分析的人機交互方法、車載裝置 TWI738132B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201911158229.7 2019-11-22
CN201911158229.7A CN112947740A (zh) 2019-11-22 2019-11-22 基于动作分析的人机交互方法、车载装置

Publications (2)

Publication Number Publication Date
TW202121121A TW202121121A (zh) 2021-06-01
TWI738132B true TWI738132B (zh) 2021-09-01

Family

ID=75971536

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108143515A TWI738132B (zh) 2019-11-22 2019-11-28 基於動作分析的人機交互方法、車載裝置

Country Status (3)

Country Link
US (1) US20210155250A1 (zh)
CN (1) CN112947740A (zh)
TW (1) TWI738132B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113411496B (zh) * 2021-06-07 2022-07-22 恒大新能源汽车投资控股集团有限公司 一种车载摄像头的控制方法、装置及电子设备
CN114347932A (zh) * 2021-12-30 2022-04-15 宜宾凯翼汽车有限公司 基于车内乘员状态的车辆个性化控制系统及方法
CN114312580B (zh) * 2021-12-31 2024-03-22 上海商汤临港智能科技有限公司 确定车辆内乘员的座位及车辆控制方法及装置
CN115431919A (zh) * 2022-08-31 2022-12-06 中国第一汽车股份有限公司 一种控制车辆的方法、装置、电子设备及存储介质
CN115905734A (zh) * 2022-11-08 2023-04-04 中国第一汽车股份有限公司 一种基于地理位置信息进行智能推荐的方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050046584A1 (en) * 1992-05-05 2005-03-03 Breed David S. Asset system control arrangement and method
US7570785B2 (en) * 1995-06-07 2009-08-04 Automotive Technologies International, Inc. Face monitoring system and method for vehicular occupants
TW201437978A (zh) * 2013-03-27 2014-10-01 Pixart Imaging Inc 用於載人行動載具的安全監控裝置及安全監控方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0983277A (ja) * 1995-09-18 1997-03-28 Fujitsu Ten Ltd 音量調整装置
WO2007023900A1 (ja) * 2005-08-24 2007-03-01 Pioneer Corporation コンテンツ提供装置、コンテンツ提供方法、コンテンツ提供プログラムおよびコンピュータに読み取り可能な記録媒体
KR20100063394A (ko) * 2008-12-03 2010-06-11 한국전자통신연구원 차량에 탑승한 유아의 안전을 위한 제어 시스템 및 방법
US8527146B1 (en) * 2012-01-30 2013-09-03 Google Inc. Systems and methods for updating vehicle behavior and settings based on the locations of vehicle passengers
DE102013021928A1 (de) * 2013-12-20 2015-06-25 Audi Ag Komfortgerätesteuerung für ein Kraftfahrzeug
US10532659B2 (en) * 2014-12-30 2020-01-14 Joyson Safety Systems Acquisition Llc Occupant monitoring systems and methods
CN105235615B (zh) * 2015-10-27 2018-01-23 浙江吉利控股集团有限公司 一种基于人脸识别的车辆控制系统
CN105843375A (zh) * 2016-02-22 2016-08-10 乐卡汽车智能科技（北京）有限公司 用于车辆的设置方法、装置及车载电子信息系统
FR3048657B1 (fr) * 2016-03-08 2019-07-05 Alstom Transport Technologies Dispositif de gestion de l'eclairage dans une salle de vehicule de transport public, notamment de vehicule ferroviaire
CN106891833A (zh) * 2017-01-19 2017-06-27 深圳市元征科技股份有限公司 一种基于驾驶习惯的车辆设置方法及车载设备
CN107392094A (zh) * 2017-06-14 2017-11-24 蔚来汽车有限公司 自动调整车载音响音效模式的系统和方法
WO2019049355A1 (ja) * 2017-09-11 2019-03-14 三菱電機株式会社 車載機器制御装置および車載機器制御方法
CN107766835A (zh) * 2017-11-06 2018-03-06 贵阳宏益房地产开发有限公司 行车安全检测方法及装置
CN108146360A (zh) * 2017-12-25 2018-06-12 出门问问信息科技有限公司 车辆控制的方法、装置、车载设备和可读存储介质
JP6676084B2 (ja) * 2018-02-01 2020-04-08 株式会社Ｓｕｂａｒｕ 車両の乗員監視装置
CN108382296A (zh) * 2018-03-06 2018-08-10 戴姆勒股份公司 车内照明系统
CN108549720A (zh) * 2018-04-24 2018-09-18 京东方科技集团股份有限公司 一种基于情绪识别的安抚方法、装置及设备、存储介质
CN112203903A (zh) * 2018-05-22 2021-01-08 日产自动车株式会社 车载设备的控制装置和控制方法
CN110956060A (zh) * 2018-09-27 2020-04-03 北京市商汤科技开发有限公司 动作识别、驾驶动作分析方法和装置及电子设备
CN110059611B (zh) * 2019-04-12 2023-05-05 中国石油大学(华东) 一种智能化教室空余座位识别方法
WO2021020905A1 (ko) * 2019-07-30 2021-02-04 엘지전자 주식회사 차량에서 탑승자의 행동 모니터링 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050046584A1 (en) * 1992-05-05 2005-03-03 Breed David S. Asset system control arrangement and method
US7570785B2 (en) * 1995-06-07 2009-08-04 Automotive Technologies International, Inc. Face monitoring system and method for vehicular occupants
TW201437978A (zh) * 2013-03-27 2014-10-01 Pixart Imaging Inc 用於載人行動載具的安全監控裝置及安全監控方法

Also Published As

Publication number Publication date
CN112947740A (zh) 2021-06-11
TW202121121A (zh) 2021-06-01
US20210155250A1 (en) 2021-05-27

Similar Documents

Publication Publication Date Title
TWI738132B (zh) 基於動作分析的人機交互方法、車載裝置
CN108725357B (zh) 基于人脸识别的参数控制方法、系统与云端服务器
CN104244824B (zh) 情绪监视系统
CN111163974B (zh) 用于车辆的显示系统和方法
US11820228B2 (en) Control system and method using in-vehicle gesture input
US8411907B2 (en) Device function modification method and system
JP2017007652A (ja) 言語制御のための文脈を認識する方法、言語制御のための言語制御信号を決定する方法、および方法を実施するための装置
US10666901B1 (en) System for soothing an occupant in a vehicle
CN114286479A (zh) 基于场景的车内灯光控制方法、系统及可读存储介质
US20180022357A1 (en) Driving recorder system
KR20210141516A (ko) 점유자 상태를 관찰하고 빌딩의 디바이스들을 관리하는 시스템 및 방법
WO2021254141A1 (zh) 一种车辆交互方法和一种车辆
CN111045512B (zh) 车辆、输出车辆的信息的方法及计算机可读记录介质
KR101850857B1 (ko) 디스플레이 장치 및 이를 포함하는 차량
CN112644375A (zh) 基于情绪感知的车内氛围灯调节方法、系统、介质及终端
CN113709954B (zh) 一种氛围灯的控制方法、装置、电子设备及存储介质
CN114734912A (zh) 座舱内通过氛围灯进行提醒的方法和装置、电子设备和存储介质
CN112506353A (zh) 车辆交互系统、方法、存储介质和车辆
WO2021256173A1 (ja) プロジェクタ制御装置、およびプロジェクタ制御方法、並びにプログラム
CN218287648U (zh) 汽车的车载娱乐系统及汽车
CN112738447B (zh) 一种基于智能座舱的视频会议方法和智能座舱
Suryavanshi et al. In Cabin Driver Monitoring and Alerting System For Passenger cars using Machine Learning.
US11443533B2 (en) Information processing apparatus and computer readable storage medium
CN116844540A (zh) 车载语音助手互动方法、装置、电子设备及存储介质
CN116486383A (zh) 吸烟行为识别方法、吸烟检测模型、装置、车辆及介质