KR20220080474A - 차량 및 그 제어 방법 - Google Patents
차량 및 그 제어 방법 Download PDFInfo
- Publication number
- KR20220080474A KR20220080474A KR1020200169616A KR20200169616A KR20220080474A KR 20220080474 A KR20220080474 A KR 20220080474A KR 1020200169616 A KR1020200169616 A KR 1020200169616A KR 20200169616 A KR20200169616 A KR 20200169616A KR 20220080474 A KR20220080474 A KR 20220080474A
- Authority
- KR
- South Korea
- Prior art keywords
- vehicle
- passengers
- disembarking
- passenger
- board
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000004044 response Effects 0.000 claims description 20
- 230000008921 facial expression Effects 0.000 claims description 15
- 230000014509 gene expression Effects 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000012790 confirmation Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/593—Recognising seat occupancy
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
- B60K35/22—Display screens
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q3/00—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors
- B60Q3/70—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors characterised by the purpose
- B60Q3/74—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors characterised by the purpose for overall compartment lighting; for overall compartment lighting in combination with specific lighting, e.g. room lamps with reading lamps
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q3/00—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors
- B60Q3/80—Circuits; Control arrangements
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
- B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
- B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/18—Propelling the vehicle
- B60W30/18009—Propelling the vehicle related to particular drive situations
- B60W30/18054—Propelling the vehicle related to particular drive situations at stand still, e.g. engine in idling state
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- B60K2370/152—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0881—Seat occupation; Driver or passenger presence
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B60W2420/42—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/04—Vehicle stop
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/01—Occupants other than the driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/049—Number of occupants
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/227—Position in the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
- B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
- B60Y2300/00—Purposes or special features of road vehicle drive control systems
- B60Y2300/18—Propelling the vehicle
- B60Y2300/18008—Propelling the vehicle related to particular drive situations
- B60Y2300/1805—Propelling the vehicle related to particular drive situations at stand still, e.g. engine in idling state
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Traffic Control Systems (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명은 차량 및 그 제어 방법에 관한 것으로, 차량이 운행 중 잠시 정차한 상태에서 일부 승객이 하차 후 재탑승하지 않은 경우를 확인하고, 해당 승객과 통신하여 차량에 재탑승할 수 있도록 안내하는 것을 목적으로 한다. 이를 위해 본 발명에 따른 차량 제어 방법은, 주행 중인 차량이 정차할 때 차량의 내부를 촬영하여 획득한 제 1 이미지의 분석을 통해 상기 차량 내부의 승객의 수를 1차 확인하는 단계와; 상기 차량이 정차 후 재출발할 때 상기 차량의 내부를 촬영하여 획득한 제 2 이미지의 분석을 통해 상기 차량 내부의 승객의 수를 2차 확인하는 단계와; 상기 2차 확인된 승객의 수가 상기 1차 확인된 승객의 수보다 적으면 상기 차량에서 하차 후 재탑승하지 않은 승객이 존재하는 것으로 판단하는 단계를 포함한다.
Description
본 발명은 차량에 관한 것으로, 차량의 탑승 인원의 파악에 관한 것이다.
다수의 승객이 하나의 차량을 이용하여 이동할 때 중간 지점에서 일부 승객이 하차 후 재탑승하는 상황이 발생할 수 있다. 또는 다수의 승객이 목적지에 도착하여 모든 승객이 하차하는 상황도 발생할 수 있다.
이와 같은 경우, 기존에는 차량 내부에 하차하지 않고 남아있는 승객의 유무를 확인하여 통보하는 기술이 공개되어 있다. 그러나, 최종 목적지가 아닌 중간 경유지에서 잠시 하차하였다가 다시 탑승하여 이동하는 경우, 재탑승해야 할 승객이 미처 재탑승하지 않은 상태에서 차량이 재출발하는 경우가 발생할 수 있어서, 이에 대한 대책이 요구된다.
본 발명의 일 측면에 따르면, 차량이 운행 중 잠시 정차한 상태에서 일부 승객이 하차 후 재탑승하지 않은 경우를 확인하고, 해당 승객과 통신하여 차량에 재탑승할 수 있도록 안내하는 것을 목적으로 한다.
상술한 목적의 본 발명에 따른 차량 제어 방법은, 차량이 정차 상태로 진입할 때 차량의 내부를 촬영하여 획득한 제 1 이미지의 분석을 통해 상기 차량 내부의 승객의 수를 1차 확인하는 단계와; 상기 차량의 도어 신호가 발생하면 상기 차량의 내부를 촬영하여 획득한 제 2 이미지의 분석을 통해 상기 차량 내부의 승객의 수를 2차 확인하는 단계와; 상기 2차 확인된 승객의 수가 상기 1차 확인된 승객의 수보다 적으면 상기 차량의 표시 수단을 통해 상기 하차 후 재탑승할 승객이 존재함을 표시하는 단계를 포함한다.
상술한 차량 제어 방법에서, 상기 하차 후 재탑승할 승객이 존재하는 것으로 판단되면, 상기 하차 후 재탑승할 승객을 픽업하기 위해 주변의 정차 가능한 지점을 확인하고, 정차가 불가능한 지점일 때 정차 가능한 지점을 검색하는 단계를 더 포함한다.
상술한 차량 제어 방법은, 상기 차량을 상기 정차 가능한 지점으로 이동시키면서 상기 하차 후 재탑승할 승객에게 상기 차량의 현재 위치를 통보하는 단계를 더 포함한다.
상술한 차량 제어 방법은, 상기 하차 후 재탑승할 승객의 픽업을 위해 재정차하는 단계와; 상기 차량의 도어 신호가 다시 발생하면 상기 차량의 내부를 촬영하여 획득한 제 3 이미지의 분석을 통해 상기 차량 내부의 승객의 수를 3차 확인하는 단계와; 상기 3차 확인된 승객의 수가 상기 1차 확인된 승객의 수보다 적으면 상기 차량에서 하차 후 재탑승할 승객이 존재하는 것으로 판단하는 단계를 더 포함한다.
상술한 차량 제어 방법에서, 상기 표시 수단은 표정과 제스처를 표현하고 음성 메시지를 출력하도록 마련되는 AI 에이전트이다.
상술한 차량 제어 방법은, 상기 차량의 내비게이션에 목적지가 설정되어 있고, 상기 차량이 상기 목적지에 도달하기 전에 상기 차량의 정차 상황이 발생하면 상기 하차 후 재탑승할 승객의 존재를 확인하도록 이루어진다.
상술한 차량 제어 방법은, 상기 차량에 탑승하고 있는 승객들을 촬영하여 획득한 이미지의 분석을 통해 상기 승객들의 페이스 ID를 확보하는 단계와; 상기 하차 후 재탑승할 승객이 존재하는 것으로 확인될 때 상기 페이스 ID를 통해 상기 하차 후 재탑승할 승객을 분류하여 상기 하차 후 재탑승할 승객에게만 상기 차량의 현재 위치를 통보하는 단계를 더 포함한다.
상술한 차량 제어 방법은, 상기 차량이 운행하는 동안 승객의 하차 후 재탑승 이력을 저장하는 단계와; 상기 차량이 정차하여 승객의 하차 후 재탑승이 이루어질 때마다 상기 저장되어 있는 과거의 하차 후 재탑승 이력에 기초하여 상기 정차한 장소에서의 하차 후 재탑승할 승객의 존재 여부를 확인하는 단계를 더 포함한다.
상술한 차량 제어 방법에서, 상기 차량의 운전자가 현재 위치에서 재탑승에 대한 '긍정' 답변을 미리 설정된 회수 이상 반복하는 경우, 상기 차량의 현재 위치가 미리 설정된 재탑승 조건을 만족하는 장소인 것으로 판단하여 운전자 응답 확인을 생략하고 탑승자 비교를 실시한다.
상술한 차량 제어 방법에서, 상기 차량의 현재 위치가 하차 후 재탑승이 예상되는 장소로 미리 설정된 장소인 경우, 상기 차량의 현재 위치가 미리 설정된 재탑승 조건을 만족하는 장소인 것으로 판단하여 운전자 응답 확인을 생략하고 탑승자 비교를 실시한다.
상술한 차량 제어 방법에서, 상기 차량의 현재 위치가 하차 후 재탑승이 예상되지 않는 장소로 미리 설정된 장소인 경우, 상기 차량의 현재 위치가 미리 설정된 재탑승 조건을 만족하지 않는 장소인 것으로 판단하여 운전자 응답 확인 및 탑승자 비교를 모두 생략한다.
상술한 목적의 본 발명에 따른 차량은, 차량의 내부를 촬영하도록 마련되는 카메라와; 차량이 정차 상태로 진입할 때 차량의 내부를 촬영하여 획득한 제 1 이미지의 분석을 통해 상기 차량 내부의 승객의 수를 1차 확인하고, 상기 차량의 도어 신호가 발생하면 상기 차량의 내부를 촬영하여 획득한 제 2 이미지의 분석을 통해 상기 차량 내부의 승객의 수를 2차 확인하며, 상기 2차 확인된 승객의 수가 상기 1차 확인된 승객의 수보다 적으면 상기 차량의 표시 수단을 통해 상기 하차 후 재탑승할 승객이 존재함을 표시하는 제어부를 포함한다.
상술한 차량에서, 상기 제어부는, 상기 하차 후 재탑승할 승객이 존재하는 것으로 판단되면, 상기 하차 후 재탑승할 승객을 픽업하기 위해 주변의 정차 가능한 지점을 확인하고, 정차가 불가능한 지점일 때 정차 가능한 지점을 검색한다.
상술한 차량에서, 상기 제어부는, 상기 차량을 상기 정차 가능한 지점으로 이동시키면서 상기 하차 후 재탑승할 승객에게 상기 차량의 현재 위치를 통보한다.
상술한 차량에서, 상기 제어부는, 상기 하차 후 재탑승할 승객의 픽업을 위해 상기 차량을 재정차시키고; 상기 차량의 도어 신호가 발생하면 상기 차량의 내부를 촬영하여 획득한 제 3 이미지의 분석을 통해 상기 차량 내부의 승객의 수를 3차 확인하며; 상기 3차 확인된 승객의 수가 상기 1차 확인된 승객의 수보다 적으면 상기 차량에서 하차 후 재탑승할 승객이 여전히 존재하는 것으로 판단한다.
상술한 차량에서, 상기 표시 수단은 표정과 제스처를 표현하고 음성 메시지를 출력하도록 마련되는 AI 에이전트이다.
상술한 차량에서, 상기 차량의 내비게이션에 목적지가 설정되어 있고, 상기 차량이 상기 목적지에 도달하기 전에 상기 차량의 정차 상황이 발생하면 상기 하차 후 재탑승할 승객의 존재를 확인하도록 이루어진다.
상술한 차량에서, 상기 제어부는, 상기 차량에 탑승하고 있는 승객들을 촬영하여 획득한 이미지의 분석을 통해 상기 승객들의 페이스 ID를 확보하고; 상기 하차 후 재탑승할 승객이 존재하는 것으로 확인될 때 상기 페이스 ID를 통해 상기 하차 후 재탑승할 승객을 분류하여 상기 하차 후 재탑승할 승객에게만 상기 차량의 현재 위치를 통보한다.
상술한 차량에서, 상기 제어부는, 상기 차량이 운행하는 동안 승객의 하차 후 재탑승 이력을 저장하고;
상기 차량이 정차하여 승객의 하차 후 재탑승이 이루어질 때마다 상기 저장되어 있는 과거의 하차 후 재탑승 이력에 기초하여 상기 정차한 장소에서의 하차 후 재탑승할 승객의 존재 여부를 확인한다.
상술한 차량에서, 상기 제어부는, 상기 차량의 운전자가 현재 위치에서 재탑승에 대한 '긍정' 답변을 미리 설정된 회수 이상 반복하는 경우, 상기 차량의 현재 위치가 미리 설정된 재탑승 조건을 만족하는 장소인 것으로 판단하여 운전자 응답 확인을 생략하고 탑승자 비교를 실시한다.
상술한 차량에서, 상기 제어부는, 상기 차량의 현재 위치가 하차 후 재탑승이 예상되는 장소로 미리 설정된 장소인 경우, 상기 차량의 현재 위치가 미리 설정된 재탑승 조건을 만족하는 장소인 것으로 판단하여 운전자 응답 확인을 생략하고 탑승자 비교를 실시한다.
상술한 차량에서, 상기 제어부는, 상기 차량의 현재 위치가 하차 후 재탑승이 예상되지 않는 장소로 미리 설정된 장소인 경우, 상기 차량의 현재 위치가 미리 설정된 재탑승 조건을 만족하지 않는 장소인 것으로 판단하여 운전자 응답 확인 및 탑승자 비교를 모두 생략한다.
상술한 목적의 본 발명에 따른 또 다른 차량 제어 방법은, 차량이 정차 상태로 진입할 때 차량의 내부를 촬영하여 획득한 제 1 이미지의 분석을 통해 상기 차량 내부의 승객의 수를 1차 확인하는 단계와; 상기 차량의 도어 신호가 발생하면 상기 차량의 내부를 촬영하여 획득한 제 2 이미지의 분석을 통해 상기 차량 내부의 승객의 수를 2차 확인하는 단계와; 상기 2차 확인된 승객의 수가 상기 1차 확인된 승객의 수보다 적으면 상기 차량에서 하차 후 재탑승할 승객이 존재하는 것으로 판단하는 단계와; 상기 하차 후 재탑승할 승객이 존재하는 것으로 판단되면, 상기 차량에 마련되어 있는 AI 에이전트를 통해 표정과 제스처, 음성 메시지의 형태로 상기 하차 후 재탑승할 승객이 존재함을 표시하는 단계를 포함한다.
상술한 목적의 본 발명에 따른 또 다른 차량은, 차량의 내부를 촬영하도록 마련되는 카메라와; 차량이 정차 상태로 진입할 때 차량의 내부를 촬영하여 획득한 제 1 이미지의 분석을 통해 상기 차량 내부의 승객의 수를 1차 확인하고, 상기 차량의 도어 신호가 발생하면 상기 차량의 내부를 촬영하여 획득한 제 2 이미지의 분석을 통해 상기 차량 내부의 승객의 수를 2차 확인하며, 상기 2차 확인된 승객의 수가 상기 1차 확인된 승객의 수보다 적으면 상기 차량에서 하차 후 재탑승할 승객이 존재하는 것으로 판단하는 제어부와; 상기 하차 후 재탑승할 승객이 존재하는 것으로 판단되면, 표정과 제스처, 음성 메시지의 형태로 상기 하차 후 재탑승할 승객이 존재함을 표시하도록 상기 차량에 마련되는 AI 에이전트를 포함한다.
본 발명의 일 측면에 따르면, 차량이 운행 중 잠시 정차한 상태에서 일부 승객이 하차 후 재탑승하지 않은 경우를 확인하고, 해당 승객과 통신하여 차량에 재탑승할 수 있도록 안내하는 효과를 제공한다.
도 1은 본 발명의 실시 예에 따른 차량의 내부를 나타낸 도면이다.
도 2는 본 발명의 실시 예에 따른 차량의 통신 연결을 나타낸 도면이다.
도 3은 본 발명의 실시 예에 따른 차량의 AVN의 구성을 나타낸 도면이다.
도 4 내지 도 6은 본 발명의 실시 예에 따른 차량 제어 방법의 제 1 실시 예를 나타낸 도면이다.
도 7은 본 발명의 실시 예에 따른 차량 제어 방법의 제 2 실시 예를 나타낸 도면이다.
도 8은 본 발명의 실시 예에 따른 차량 제어 방법의 제 3 실시 예를 나타낸 도면이다.
도 9는 본 발명의 실시 예에 따른 차량 제어 방법의 제 4 실시 예를 나타낸 도면이다.
도 2는 본 발명의 실시 예에 따른 차량의 통신 연결을 나타낸 도면이다.
도 3은 본 발명의 실시 예에 따른 차량의 AVN의 구성을 나타낸 도면이다.
도 4 내지 도 6은 본 발명의 실시 예에 따른 차량 제어 방법의 제 1 실시 예를 나타낸 도면이다.
도 7은 본 발명의 실시 예에 따른 차량 제어 방법의 제 2 실시 예를 나타낸 도면이다.
도 8은 본 발명의 실시 예에 따른 차량 제어 방법의 제 3 실시 예를 나타낸 도면이다.
도 9는 본 발명의 실시 예에 따른 차량 제어 방법의 제 4 실시 예를 나타낸 도면이다.
도 1은 본 발명의 실시 예에 따른 차량의 내부를 나타낸 도면이다.
도 1에 나타낸 바와 같이, 운전석의 전면에는 AVN(100)과 스티어링 휠(102)이 장착된다. AVN(100)은 오디오(Audio)/비디오(Video)/내비게이션(Navigation)에 통신 기능이 부가된 인포테인먼트 기기로서, 디스플레이(160)를 포함한다. AVN(100)은 음성 명령 기능을 지원한다. AVN(100)의 음성 인식 제어를 위해 스티어링 휠(102)에는 음성 인식 버튼(104)이 장착되고, 운전석의 상부에는 마이크로폰(106)이 장착된다. 운전석의 좌측 도어와 동반자석의 우측 도어에는 스피커(116)가 장착된다.
도 1에서, 참조 부호 150이 지시하는 것은 AI 에이전트(AI robot)이다. 참조 부호 152가 지시하는 것은 AI 에이전트(150)에 장착되는 카메라이다. AI 에이전트(150)는 차량 내부의 상황을 검출하고, 검출된 상황에 맞는 동작을 수행하도록 마련된다. 예를 들면, 카메라(152)를 통해 차량의 내부를 촬영하여 승객의 수와 승객 각각의 안면 인식을 수행하고, 승객의 수 및 안면 인식 결과에 기초하여 그에 상응하는 제어를 수행한다. 차량의 내부를 촬영하여 승객의 수와 승객 각각의 안면 인식을 수행하기 위해, 인공 지능 로봇(150)의 카메라(152) 대신 차량의 내부에 마련되는 다른 카메라가 사용될 수도 있다. AI 에이전트(150)의 동작은 표정과 움직임, 소리(음성)를 통해 표현될 수 있다. 예를 들면 AI 에이전트(150)에 마련되어 있는 디스플레이 또는 LED 등의 점등을 통해 웃음이나 놀라움, 당황, 의문 등의 표정을 나타낼 수 있다. 또한 AI 에이전트(150)는 자체의 움직임을 통해 웃음이나 놀라움, 당황, 의문 등의 표정에 관련된 제스처를 표현할 수 있다. 또한 AI 에이전트(150)는 소리(음성)를 통해 소정의 내용을 포함하는 음성 메시지를 출력할 수 있다.
도 2는 본 발명의 실시 예에 따른 차량의 통신 연결을 나타낸 도면이다.
도 2에 나타낸 바와 같이, 차량의 내부에서는 AVN(100)과 AI 에이전트(150)가 통신 가능하도록 연결된다. AVN(100)은 원격지의 서버(210)와 무선 통신이 가능하도록 연결된다. 원격지의 서버(210)는 차량의 승객이 휴대한 모바일 디바이스(220)와 무선 통신이 가능하도록 연결된다.
서버(210)는 텔레매틱스 서버일 수 있다. 승객은, 반드시 차량 내에 탑승 중인 사람을 의미하는 것은 아니며, 차량에 승차했다가 잠시 하차한 사람도 승객의 범위에 포함될 수 있다. 승객은 자신의 페이스 ID 및 연락처를 서버(210)에 등록할 수 있다. 승객의 모바일 디바이스(220)는 승객이 서버(210)에 등록한 연락처에 연동된 단말기일 수 있다.
도 3은 본 발명의 실시 예에 따른 차량의 AVN의 구성을 나타낸 도면이다.
도 3에 나타낸 바와 같이, AVN(100)은 음성 인식부(310)와 내비게이션(320), 통신부(330), 제어부(340), AI 관리부(350)를 포함할 수 있다. 음성 인식부(310)는 승객(운전자) 또는 AI 에인전트(150)의 발화에 의해 발생하는 음성 신호를 수신하여 음성 인식을 위한 데이터 프로세싱을 수행한다. 내비게이션(320)은 AVN(100)의 내비게이션 기능을 담당하며, 맵 데이터를 포함할 수 있다. 통신부(330)는 원격지의 서버(210)와 무선 통신을 수행하도록 마련된다. AI 관리부(350)는 AI 에이전트(150)의 통신 및 제어를 수행하도록 마련된다.
제어부(340)는, 음성 인식부(310)와 내비게이션(320), 통신부(330), 제어부(340), AI 관리부(350)와의 협조를 통해 AVN(100)의 동작 전반을 제어하도록 마련된다. 제어부(340)는 특히 차량의 승객의 하차 후 재탑승 여부 등을 확인하고, 필요 시 재탑승할 승객에게 차량의 현재 위치를 통보할 수 있다.
도 4 내지 도 6은 본 발명의 실시 예에 따른 차량 제어 방법의 제 1 실시 예를 나타낸 도면이다. 도 4 내지 도 6에 나타낸 차량 제어 방법은, 차량의 내비게이션에 특정한 목적지가 설정되어 있지 않은 상태에서 복수의 승객이 차량을 이용할 때 승객의 하차 후 재탑승 여부를 확인하고, 하차 후 재탑승할 승객이 존재하면 해당 승객에게 차량의 현재 위치를 통보하기 위한 것이다. 도 4 내지 도 6에는 하나의 실시 예를 세 개의 도면으로 나누어 도시하였다.
먼저, 도 4에 나타낸 바와 같이, 본 발명의 실시 예에 따른 차량이 주행 중일 때 AVN(100)의 제어부(340)는 차량이 정차 상태로 진입하는지를 확인한다(402). 제어부(340)는 차량이 미리 정해진 정차 조건을 만족할 때 차량이 정차 상태로 진입하는 것으로 판단할 수 있다. 예를 들면, 차량의 속도가 미리 정해진 차속인 3km/h 이하가 되면, 제어부(340)는 차량이 정차 상태로 진입하는 것으로 판단할 수 있다.
차량이 정차 상태로 진입하면, 제어부(340)는 AI 에이전트(150)의 카메라(152)를 이용하여 차량의 실내를 촬영한다(404). 차량의 실내를 촬영하는 것은 차량에 현재 탑승하고 있는 승객의 수를 파악하기 위함이다. 차량의 실내에 다른 카메라가 설치되어 있다면, AI 에이전트(150)의 카메라(152) 대신 그 다른 카메라를 이용하여 차량의 실내를 촬영해도 좋다.
AI 에이전트(150)의 카메라(152)를 이용한 차량의 실내의 첫 번째 촬영이 완료되면, 제어부(340)는 촬영된 첫 번째 이미지의 분석을 통해 차량에 현재 탑승하고 있는 승객의 수(P1)를 파악하여 저장한다(406).
이후 차량의 도어가 열렸다 닫히는 상황이 발생하면(즉, 탑승객의 하차가 발생한 것으로 판단되면)(408), 제어부(340)는 AI 에이전트(150)의 카메라(152)를 이용하여 차량의 실내를 다시 한 번 더 촬영한다(410). 차량의 실내를 다시 한 번 더 촬영하는 것은 도어가 열린 후 다시 닫히는 상황 발생 이후 차량에 탑승하고 있는 승객의 수를 파악하기 위함이다. 차량의 실내에 다른 카메라가 설치되어 있다면, AI 에이전트(150)의 카메라(152) 대신 그 다른 카메라를 이용하여 차량의 실내를 촬영해도 좋다. 탑승객의 하차 여부의 판단은, 차량의 도어가 열린 후 다시 닫히는 상황이 발생하면 탑승객의 하차가 발생한 것으로 판단할 수 있다. 도어의 열림/닫힘 여부는 차량의 도어 신호 즉 도어 열림/닫힘 신호의 발생으로부터 확인할 수 있다.
AI 에이전트(150)의 카메라(152)를 이용한 차량의 실내의 두 번째 촬영이 완료되면, 제어부(340)는 촬영된 두 번째 이미지의 분석을 통해 차량에 현재 탑승하고 있는 승객의 수(P2)를 파악하여 저장한다(412).
AVN(100)의 제어부(340)는, 이와 같이 획득한 승객의 수 P1과 P2를 비교하여 서로 일치하는지를 확인한다(414). 제어부(340)는, 차량의 정차 상태 진입 후, 도어 열림 후 도어 닫힘이 발생하기 전의 승객 수(P1)와 도어 열림 후 도어 닫힘이 발생한 이후의 승객 수(P2)를 비교함으로써, 하차 후 재탑승할 승객이 있는지를 확인할 수 있다.
만약 승객의 수 P1과 P2가 서로 일치하면, 제어부(340)는 하차 후 재탑승할 승객이 없다고 판단하여 특별한 후속 조치를 취하지 않는다. 반대로, 만약 승객의 수 P1과 P2가 서로 일치하지 않으면(P1 > P2), 제어부(340)는 하차 후 재탑승할 승객이 존재한다고 판단하여 AI 에이전트(150)로 하여금 재탑승할 승객이 존재하는 경우에 해당하는 피드백을 실시하도록 요청한다. 이 때 AI 에이전트(150)는 의문을 나타내는 표정 및 제스처를 표현하면서 "하차한 승객이 다시 승차하나요?"와 같은 질문을 음성 메시지 형태로 출력할 수 있다(416). 차량의 운전자는 AI 에이전트(150)의 이와 같은 일련의 동작을 통해 차량의 승객 중 일부가 하차 후 재탑승할 것이라는 사실을 인지할 수 있다.
차량의 운전자는 AI 에이전트(150)의 질문에 대해 응답할 수 있다. 운전자의 응답은 차량의 마이크로폰(106)을 통해 이루어질 수 있다. AVN(100)의 제어부(340)는 마이크로폰(106)을 통해 수신한 운전자의 응답으로부터 하차 후 재탑승할 승객의 존재를 확인하고, 그 확인 결과에 기초하여 특별한 후속 조치를 취하지 않거나 또는 도 5에 나타낸 것과 같은 후속 조치를 취할 수 있다(418). 도 4의 416에서의 AI 에이전트(150)의 질문에 대한 운전자의 응답은, i) 재탑승할 승객이 없다는 응답하는 것과, ii) 아무런 응답을 하지 않는 것, iii) 재탑승할 승객이 있다고 응답하는 것으로 구분할 수 있다. 제어부(340)는, 이 중에서 i)과 ii의 경우에 특별한 후속 조치를 취하지 않고, iii)의 경우 즉 재탑승할 승객이 존재하는 경우에 도 5에 나타낸 것과 같은 후속 조치를 취할 수 있다.
도 5에서, 제어부(340)는 운전자로부터 재탑승할 승객이 존재한다는 응답을 수신한 상태에서 차량의 현재 위치와 운전자의 응답 결과를 서버(210)로 전송한다(502). 즉, 제어부(240)는, 차량의 현재 위치의 정보와 함께 운전자가 응답한 '재탑승할 승객의 존재 여부'를 서버(210)로 전송한다.
서버(210)에서는, 차량의 현재 위치의 교통 상황 및 정차 가능 여부를 확인하여 차량으로 전송한다(504). 또한 서버(210)는 현재 위치에서의 운전자의 승차 또는 하차 여부도 저장한다(506). 운전자의 승차 또는 하차 여부는 차량의 운전석 도어의 열림/닫힘 등을 통해 파악할 수 있다.
AVN(100)의 제어부(340)는, 서버(210)로부터 수신한 차량의 현재 위치의 교통 상황 및 정차 가능 여부에 기초하여 현재 위치에서 정차가 가능한지를 판단한다(508).
만약 현재 위치에서 정차가 가능한 경우에는, AI 에이전트(150)는 차량의 정차가 가능한 상황인 것을 안내하기 위한 피드백을 실시할 수 있다(510). 예를 들면, AI 에이전트(150)는 웃음을 나타내는 표정 및 제스처를 표현하면서 "현재 위치에서 (00)분 동안 정차 가능합니다."와 같은 안내 멘트를 음성 메시지 형태로 출력할 수 있다. 차량의 운전자는 AI 에이전트(150)에서 출력되는 이와 같은 안내 멘트를 참조하여 현재 위치에서 차량을 정차시킬 것인지를 결정할 수 있다.
반대로, 만약 현재 위치에서 정차가 불가능한 경우에는, AI 에이전트(150)는 차량의 정차가 불가능한 상황인 것을 안내하기 위한 피드백을 실시할 수 있다(512). 예를 들면, AI 에이전트(150)는 난처함을 나타내는 표정 및 제스처를 표현하면서 "현재 위치에서 정차가 불가능하니, 정차 가능한 지점을 안내하겠습니다."와 같은 안내 멘트를 음성 메시지 형태로 출력할 수 있다. 또한 AI 에이전트(150)는 서버(210)로 주변의 정차 가능한 지점의 정보를 요청할 수 있다. 서버(514)는 AI 에이전트(150)의 요청에 응답하여 차량의 현재 위치 주변에 정차 가능한 지점을 검색하고, 검색 결과를 차량의 AVN(100)으로 전송한다(514). AVN(100)은 서버(150)로부터 수신한 정차 가능 지점의 정보를 참조하여 해당 지점으로 차량의 경로를 안내한다(516). 운전자는 AVN(100)이 안내하는 경로를 따라 정차 가능 지점으로 차량을 이동시킬 수 있다.
도 6에서, 차량이 정차 가능 지점으로 이동하는 동안 AVN(100)의 제어부(340)는 차량이 정차 상태로 진입하는지를 확인한다(602). 제어부(340)는 차량이 미리 정해진 정차 조건을 만족할 때 차량이 정차 상태로 진입하는 것으로 판단할 수 있다. 예를 들면, 차량의 속도가 미리 정해진 차속인 3km/h 이하가 되면, 제어부(340)는 차량이 정차 상태로 진입하는 것으로 판단할 수 있다.
차량이 정차 상태로 진입하는 것으로 판단되면, 제어부(340)는 차량의 현재 위치를 서버(210)로 전송한다(604).
서버(150)는 차량으로부터 수신한 차량의 현재 위치를 승객의 모바일 디바이스(220)로 전송한다(606). 차량에서 하차했다가 재탑승하지 못한 승객은 서버(210)로부터 제공되는 차량의 현재 위치 정보를 통해 차량의 현재 위치를 확인함으로써 차량이 자신을 픽업하기 위해 이동 중임을 확인하고 안심할 수 있다.
이후 차량의 도어가 열렸다 닫히는 상황이 발생하면(즉, 탑승객의 하차가 발생한 것으로 판단되면)(608), 제어부(340)는 AI 에이전트(150)의 카메라(152)를 이용하여 차량의 실내를 촬영한다(610). 차량의 실내를 촬영하는 것은 도어가 열린 후 다시 닫히는 상황 발생 이후 차량에 탑승하고 있는 승객의 수를 파악하기 위함이다. 차량의 실내에 다른 카메라가 설치되어 있다면, AI 에이전트(150)의 카메라(152) 대신 그 다른 카메라를 이용하여 차량의 실내를 촬영해도 좋다. 탑승객의 하차 여부의 판단은, 차량의 도어가 열린 후 다시 닫히는 상황이 발생하면 탑승객의 하차가 발생한 것으로 판단할 수 있다. 도어의 열림/닫힘 여부는 차량의 도어 신호 즉 도어 열림/닫힘 신호의 발생으로부터 확인할 수 있다.
AI 에이전트(150)의 카메라(152)를 이용한 차량의 실내의 세 번째 촬영이 완료되면, 제어부(340)는 촬영된 세 번째 이미지의 분석을 통해 차량에 현재 탑승하고 있는 승객의 수(P3)를 파악하여 저장한다(612).
AVN(100)의 제어부(340)는, 앞서 첫 번째 촬영을 통해 획득한 최초 승객의 수 P1과 세 번째 촬영을 통해 획득한 승객의 수 P3을 비교하여 서로 일치하는지를 확인한다(614). 이 비교를 통해 하차 후 재탑승할 승객이 모두 재탑승하였는지를 확인할 수 있다.
만약 승객의 수 P1과 P3이 서로 일치하면, 하차 후 재탑승할 승객이 모두 재탑승한 경우이므로, 제어부(340)는 AI 에이전트(150)로 하여금 하차 후 재탑승할 승객이 모두 재탑승한 경우에 해당하는 피드백을 실시하도록 요청한다. 이 때 AI 에이전트(150)는 웃음을 나타내는 표정 및 제스처를 표현하면서 "전원 탑승했습니다. 출발해주세요."와 같은 안내 멘트를 음성 메시지 형태로 출력할 수 있다(616). 차량의 운전자는 AI 에이전트(150)의 이와 같은 피드백으로부터 차량의 최초 승객들이 모두 탑승하였음을 인지할 수 있다.
반대로, 만약 승객의 수 P1과 P3이 서로 일치하지 않으면(P1 > P3), 제어부(340)는 하차 후 재탑승할 승객이 여전히 존재한다고 판단하여 AI 에이전트(150)로 하여금 재탑승할 승객이 존재하는 경우에 해당하는 피드백을 실시하도록 요청한다. 이 때 AI 에이전트(150)는 난처함을 나타내는 표정 및 제스처를 표현하면서 "승객이 부족합니다. 확인해 주세요."와 같은 요청 멘트를 음성 메시지 형태로 출력할 수 있다(618). 차량의 운전자는 AI 에이전트(150)의 이와 같은 요청 멘트에 따라 모든 승객의 탑승 여부를 확인할 수 있다.
이와 같은 도 4 내지 도 6의 차량 제어 방법에 따르면, 복수의 승객이 하나의 차량을 이용할 때 발생할 수 있는 미탑승 승객의 발생을 미리 방지하거나 또는 누락 없이 모두 재탑승할 수 있도록 조치할 수 있다.
도 7은 본 발명의 실시 예에 따른 차량 제어 방법의 제 2 실시 예를 나타낸 도면이다. 도 7에 나타낸 차량 제어 방법은, 차량의 내비게이션에 특정한 목적지가 설정되어 있는 상태에서 복수의 승객이 차량을 이용할 때 승객의 하차 후 재탑승 여부를 확인하고, 하차 후 재탑승할 승객이 존재하면 해당 승객에게 차량의 현재 위치를 통보하기 위한 것이다.
먼저, 도 7에 나타낸 바와 같이, 본 발명의 실시 예에 따른 차량이 주행 중일 때 AVN(100)의 제어부(340)는 차량이 정차 상태로 진입하는지를 확인한다(702). 제어부(340)는 차량이 미리 정해진 정차 조건을 만족할 때 차량이 정차 상태로 진입하는 것으로 판단할 수 있다. 예를 들면, 차량의 속도가 미리 정해진 차속인 3km/h 이하가 되면, 제어부(340)는 차량이 정차 상태로 진입하는 것으로 판단할 수 있다.
차량이 정차 상태로 진입하면 제어부(340)는 차량이 AVN(100)에 설정되어 있는 목적지에 도착했는지를 확인한다(704). 차량이 목적지에 도착하면 운전자를 포함한 승객의 하차가 당연히 발생하겠지만, 목적지에 도착하기 전에 차량이 정차하는 경우에는 승객의 하차 후 재탑승을 모니터링할 필요가 있다.
따라서, 차량이 아직 목적지에 도착할 상태에서 정차 상태로 진입하는 경우(704의 '아니오'), 제어부(340)는 AI 에이전트(150)의 카메라(152)를 이용하여 차량의 실내를 촬영한다(706). 차량의 실내를 촬영하는 것은 차량에 현재 탑승하고 있는 승객의 수를 파악하기 위함이다. 차량의 실내에 다른 카메라가 설치되어 있다면, AI 에이전트(150)의 카메라(152) 대신 그 다른 카메라를 이용하여 차량의 실내를 촬영해도 좋다.
AI 에이전트(150)의 카메라(152)를 이용한 차량의 실내의 첫 번째 촬영이 완료되면, 제어부(340)는 촬영된 첫 번째 이미지의 분석을 통해 차량에 현재 탑승하고 있는 승객의 수(P1)를 파악하여 저장한다(708).
제어부(340)는 차량의 시동 오프 후 차량의 모든 도어가 열린 후 일부 또는 모든 도어가 다시 닫히는 상황이 발생하는지를 확인한다(710). 이는 모든 탑승객이 하차하는지를 확인하기 위함이다. 또한 제어부(340)는 차량의 시동 온 후 차량의 일부 또는 모든 도어가 열린 후 모든 도어가 다시 닫히는 상황이 발생하는지를 확인한다(712). 이는 하차한 모든 탑승객이 재탑승하는지를 확인하기 위함이다. 제어부(340)는 차량의 시동 오프 후 시동 온과 일부 또는 모든 도어의 열림 후 닫힘을 모두 고려함으로써 승객의 하차 후 재탑승 여부를 더욱 정확하게 판단할 수 있다. 탑승객의 하차 여부는, 시동 오프 후 차량의 도어가 열림 후 닫히는 것으로부터, 탑승객의 재탑승은 시동 온 후 차량의 도어가 열림 후 닫히는 것으로부터 판단할 수 있다. 도어의 열림/닫힘 여부는 차량의 도어 신호 즉 도어 열림/닫힘 신호의 발생으로부터 확인할 수 있다.
따라서, 차량의 시동 온/오프 및 도어의 열림/닫힘에 관련된 710 및 712의 상황이 발생하면(408), 제어부(340)는 AI 에이전트(150)의 카메라(152)를 이용하여 차량의 실내를 다시 한 번 더 촬영한다(714). 차량의 실내를 다시 한 번 더 촬영하는 것은 차량의 시동 온/오프 및 도어의 열림/닫힘 상황 발생 이후 차량에 탑승하고 있는 승객의 수를 파악하기 위함이다. 차량의 실내에 다른 카메라가 설치되어 있다면, AI 에이전트(150)의 카메라(152) 대신 그 다른 카메라를 이용하여 차량의 실내를 촬영해도 좋다.
AI 에이전트(150)의 카메라(152)를 이용한 차량의 실내의 두 번째 촬영이 완료되면, 제어부(340)는 촬영된 두 번째 이미지의 분석을 통해 차량에 현재 탑승하고 있는 승객의 수(P2)를 파악하여 저장한다(716).
AVN(100)의 제어부(340)는, 앞서 첫 번째 촬영을 통해 획득한 최초 승객의 수 P1과 두 번째 촬영을 통해 획득한 승객의 수 P2를 비교하여 서로 일치하는지를 확인한다(718). 이 비교를 통해, 차량이 목적지에 도착하기 전에 하차 후 재탑승할 승객이 모두 재탑승하였는지를 확인할 수 있다.
만약 승객의 수 P1과 P2가 서로 일치하면, 하차했던 승객이 모두 재탑승한 경우이므로, 제어부(340)는 AI 에이전트(150)로 하여금 하차했던 승객이 모두 재탑승한 경우에 해당하는 피드백을 실시하도록 요청한다. 이 때 AI 에이전트(150)는 웃음을 나타내는 표정 및 제스처를 표현하면서 "전원 탑승했습니다. 출발해주세요."와 같은 안내 멘트를 음성 메시지 형태로 출력할 수 있다(720). 차량의 운전자는 AI 에이전트(150)의 이와 같은 피드백으로부터 차량의 최초 승객들이 모두 탑승하였음을 인지할 수 있다.
반대로, 만약 승객의 수 P1과 P2가 서로 일치하지 않으면(P1 > P2), 제어부(340)는 하차 후 재탑승할 승객이 존재한다고 판단하여 AI 에이전트(150)로 하여금 재탑승할 승객이 존재하는 경우에 해당하는 피드백을 실시하도록 요청한다. 이 때 AI 에이전트(150)는 난처함을 나타내는 표정 및 제스처를 표현하면서 "승객이 부족합니다. 확인해 주세요."와 같은 요청 멘트를 음성 메시지 형태로 출력할 수 있다(722). 차량의 운전자는 AI 에이전트(150)의 이와 같은 요청 멘트에 따라 모든 승객의 탑승 여부를 확인할 수 있다.
또한, 서버(150)는 차량의 현재 위치를 승객의 모바일 디바이스(220)로 전송한다(724). 차량에서 하차했다가 재탑승하지 못한 승객은 서버(210)로부터 제공되는 차량의 현재 위치 정보를 통해 차량의 현재 위치를 확인할 수 있다.
이와 같은 도 7의 차량 제어 방법에 따르면, 목적지가 설정된 상태로 AVN(100)에 의해 경로를 안내받아 운행되는 경우, 운행 중 발생할 수 있는 미탑승 승객의 발생을 미리 방지하거나 또는 누락 없이 모두 재탑승할 수 있도록 조치할 수 있다.
도 8은 본 발명의 실시 예에 따른 차량 제어 방법의 제 3 실시 예를 나타낸 도면이다. 도 8에 나타낸 차량 제어 방법은, 승객의 페이스 ID를 통해 하차 후 재탑승할 승객을 식별하고, 페이스 ID를 통한 식별 결과를 참조하여 하차 후 재탑승할 승객에게만 차량의 현재 위치를 통보하기 위한 것이다.
도 8에 나타낸 바와 같이, 차량의 운행이 시작되면 제어부(340)는 AI 에이전트(150)의 카메라(152)를 이용하여 차량의 실내를 촬영한다(802). 차량의 실내를 촬영하는 것은 차량에 현재 탑승하고 있는 승객의 수를 파악하기 위함이다. 차량의 실내에 다른 카메라가 설치되어 있다면, AI 에이전트(150)의 카메라(152) 대신 그 다른 카메라를 이용하여 차량의 실내를 촬영해도 좋다.
AVN(100)의 제어부(340)는 AI 에이전트(150)의 카메라(152)를 이용하여 촬영한 이미지의 분석을 통해 차량에 탑승하고 있는 승객들의 페이스 ID를 확인한다(804).
이어서 AVN(100)의 제어부(340)는 촬영한 이미지의 분석 결과로부터 차량의 승객 수를 확인한다(806). 즉, 앞서 도 4 내지 도 6의 제 1 실시 예 또는 도 7의 제 2 실시 예에서 언급한 것과 같은 상황에서 하차 후 재탑승할 승객이 존재하는지를 확인한다.
만약 하차 후 재탑승할 승객이 존재하면, 하차 후 재탑승할 승객의 페이스 ID 및 차량의 현재 위치를 서버(210)로 전송한다(808).
하차 후 재탑승할 승객이 존재하는 경우, 제어부(340)는 AI 에이전트(150)로 하여금 재탑승할 승객이 존재하는 경우에 해당하는 피드백을 실시하도록 요청한다. 이 때 AI 에이전트(150)는 난처함을 나타내는 표정 및 제스처를 표현하면서 "승객이 부족합니다. 확인해 주세요."와 같은 요청 멘트를 음성 메시지 형태로 출력할 수 있다(810).
서버(210)에서는 차량으로부터 전송된 페이스 ID의 승객 즉 하차 후 재탑승할 승객의 등록된 연락처를 확인한다(812).
또한 서버(210)에서는 해당 페이스 ID의 승객 즉 하차 후 재탑승할 승객의 등록된 연락처로 차량의 현재 위치를 전송한다(814). 차량에서 하차했다가 재탑승하지 못한 승객은 서버(210)로부터 제공되는 차량의 현재 위치 정보를 통해 차량의 현재 위치를 확인할 수 있다.
도 9는 본 발명의 실시 예에 따른 차량 제어 방법의 제 4 실시 예를 나타낸 도면이다. 도 9에 나타낸 차량 제어 방법은, 차량의 승객이 현재 하차 후 재탑승하는 장소가 과거에 하차 후 재탑승 이력이 있는 장소일 때 하차 후 재탑승할 승객의 존재 여부를 확인하기 위한 것이다.
도 9에 나타낸 바와 같이, 차량의 운행이 시작되면 제어부(340)는 AI 에이전트(150)의 카메라(152)를 이용하여 차량의 실내를 촬영한다(902). 차량의 실내를 촬영하는 것은 차량에 현재 탑승하고 있는 승객의 수를 파악하기 위함이다. 차량의 실내에 다른 카메라가 설치되어 있다면, AI 에이전트(150)의 카메라(152) 대신 그 다른 카메라를 이용하여 차량의 실내를 촬영해도 좋다.
AVN(100)의 제어부(340)는 AI 에이전트(150)의 카메라(152)를 이용하여 촬영한 이미지의 분석을 통해 차량의 승객 수를 확인한다(904). 즉, 앞서 도 4 내지 도 6의 제 1 실시 예 또는 도 7의 제 2 실시 예에서 언급한 것과 같은 상황에서 하차 후 재탑승할 승객이 존재하는지를 확인한다.
AVN(100)의 제어부(340)는 차량의 현재 위치에서 승객의 승차와 하차, 재탑승 여부에 대한 정보와 차량의 현재 위치의 정보를 서버(210)로 전송한다(906).
서버(210)는, 차량으로부터 전송되는 승객의 승차와 하차, 재탑승 조건(재탑승 여부에 대한 정보)과 차량의 현재 위치의 정보를 분석 및 저장한다(908). 즉, 서버(210)는 차량의 현재 위치에서 승객의 하차 및 재탑승이 이루어진 것을 확인하고 그 하차 후 재탑승 이력을 위치 정보와 함께 저장한다.
이후 해당 차량이 소정의 어느 장소에서 정차 후 승객이 하차하는 상황이 발생하면, AVN(100)의 제어부(340)는 차량의 현재 위치를 서버(210)로 전송한다(910).
차량으로부터 현재 위치를 수신한 서버(210)는 차량의 현재 위치에서의 과거의 재탑승 이력을 검색하고 그 검색 결과를 차량의 AVN(100)으로 전송한다(912). 이는, 차량의 현재 위치가 과거에 하차 후 재탑승한 이력이 있는 장소인지를 차량의 AVN(100)이 확인할 수 있도록 하기 위함이다.
제어부(340)는, 만약 차량의 현재 위치가 과거에 재탑승한 이력이 있는 장소이면(914의 '예'), AI 에이전트(150)로 하여금 재탑승과 관련된 AI 피드백을 실시하도록 요청한다. 이 때 AI 에이전트(150)는 하차 후 재탑승할 승객이 존재하는지, 또는 하차한 승객이 모두 재탑승했는지에 따라, 앞서 설명한 제 1 실시 예 내지 도 3 실시 예에서 설명한 것과 같은 표정과 제스처, 음성 메시지 등을 출력할 수 있다(916).
반대로, 만약 차량의 현재 위치가 과거에 재탑승한 이력이 없는 장소이면(914의 '아니오'), 제어부(340)는 관련 알고리즘을 종료한다(918).
도 9에 나타낸 재탑승 조건의 판단은, 다음과 같은 서로 다른 여러 상황들을 고려하여 다양한 방식으로 구현될 수 있다.
<운전자가 현재 위치에서 재탑승에 대한 '긍정' 답변을 3회 연속 반복>
이 조건을 만족하는 경우에는 현재 위치에서 재탑승이 진행되는 것으로 판단한다(재탑승 조건 만족). 따라서, 이 경우에는 향후 현재 위치에서 탑승자 수 비교 단계 실행 시 운전자에게 재탑승 장소인지를 묻지 않고, 도어가 열린 후 다시 닫히는 상황이 발생하면 곧바로 탑승자 비교 단계를 실시한다.
<운전자가 현재 위치에서 재탑승에 대한 '부정' 답변을 3회 연속 반복>
이 조건을 만족하는 경우에는 현재 위치에서는 하차만 이루어지고 재탑승이 진행되지 않는 것으로 판단한다(재탑승 조건 불만족). 따라서, 이 경우에는 향후 현재 위치에서 탑승자 수 비교 단계 실행 시 운전자에게 재탑승 장소인지를 묻는 단계를 실행한다.
<운전자 문의 단계 생략 후 탑승자 비교 단계 실행>
미리 정해진 특정 장소에 정차하여 도어가 열린 후 다시 닫히는 상황이 발생하면, 운전자에게 재탑승 장소인지를 묻는 단계를 생략하고 곧바로 탑승자 비교 단계를 실행한다(재탑승 조건 만족). 여기서 특정 장소는, 예를 들면, 카페나 음식점, 고속 도로 휴게소의 주변일수 있다. 카페나 음식점, 고속 도로 휴게소에서는 매우 높은 확률로 하차 후 재탑승할 것이므로, 재탑승 장소 여부를 묻지 않고 곧바로 탑승자 비교 단계를 실행해도 좋다.
<운전자 문의 단계 및 탑승자 비교 단계를 모두 생략>
미리 정해진 또 다른 특정 장소에 정차하여 도어가 열린 후 다시 닫히는 상황이 발생하면, 운전자에게 재탑승 장소인지를 묻는 단계는 물론 탑승자 비교 단계도 모두 생략한다(재탑승 조건 불만족). 여기서 또 다른 특정 장소는, 예를 들면, 학원이나 학교의 주변일수 있다. 학원이나 학교의 경우, 비교적 긴 시간 동안 수업이 이루어지므로, 매우 높은 확률로 하차 후 재탑승하지 않는다. 구체적으로는, 하차 후 재탑승하기까지는 비교적 긴 시간이 경과해야 한다. 따라서 이 경우에는, 재탑승 장소 여부를 묻지 않음은 물론 탑승자 비교 단계도 모두 생략하는 것이 바람직하다.
위의 설명은 기술적 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명의 기술 분야에서 통상의 지식을 가진 자라면 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서 위에 개시된 실시 예 및 첨부된 도면들은 기술적 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예 및 첨부된 도면에 의하여 기술적 사상의 범위가 한정되는 것은 아니다. 그 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술적 사상은 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
100 : AVN
102 : 스티어링 휠
104 : 음성 인식 버튼
106 : 마이크로폰
116 : 스피커
150 : AI 에이전트
152 : 카메라
160 : 디스플레이
210 : 서버
220 : 모바일 디바이스
310 : 음성 인식부
320 : 내비게이션
330 : 통신부
340 : 제어부
350 : AI 관리부
102 : 스티어링 휠
104 : 음성 인식 버튼
106 : 마이크로폰
116 : 스피커
150 : AI 에이전트
152 : 카메라
160 : 디스플레이
210 : 서버
220 : 모바일 디바이스
310 : 음성 인식부
320 : 내비게이션
330 : 통신부
340 : 제어부
350 : AI 관리부
Claims (24)
- 차량이 정차 상태로 진입할 때 차량의 내부를 촬영하여 획득한 제 1 이미지의 분석을 통해 상기 차량 내부의 승객의 수를 1차 확인하는 단계와;
상기 차량의 도어 신호가 발생하면 상기 차량의 내부를 촬영하여 획득한 제 2 이미지의 분석을 통해 상기 차량 내부의 승객의 수를 2차 확인하는 단계와;
상기 2차 확인된 승객의 수가 상기 1차 확인된 승객의 수보다 적으면 상기 차량의 표시 수단을 통해 상기 하차 후 재탑승할 승객이 존재함을 표시하는 단계를 포함하는 차량 제어 방법. - 제 1 항에 있어서,
상기 하차 후 재탑승할 승객이 존재하는 것으로 판단되면, 상기 하차 후 재탑승할 승객을 픽업하기 위해 주변의 정차 가능한 지점을 확인하고, 정차가 불가능한 지점일 때 정차 가능한 지점을 검색하는 단계를 더 포함하는 차량 제어 방법. - 제 2 항에 있어서,
상기 차량을 상기 정차 가능한 지점으로 이동시키면서 상기 하차 후 재탑승할 승객에게 상기 차량의 현재 위치를 통보하는 단계를 더 포함하는 차량 제어 방법. - 제 3 항에 있어서,
상기 하차 후 재탑승할 승객의 픽업을 위해 재정차하는 단계와;
상기 차량의 도어 신호가 다시 발생하면 상기 차량의 내부를 촬영하여 획득한 제 3 이미지의 분석을 통해 상기 차량 내부의 승객의 수를 3차 확인하는 단계와;
상기 3차 확인된 승객의 수가 상기 1차 확인된 승객의 수보다 적으면 상기 차량에서 하차 후 재탑승할 승객이 존재하는 것으로 판단하는 단계를 더 포함하는 차량 제어 방법. - 제 1 항에 있어서,
상기 표시 수단은 표정과 제스처를 표현하고 음성 메시지를 출력하도록 마련되는 AI 에이전트인 차량 제어 방법. - 제 1 항에 있어서,
상기 차량의 내비게이션에 목적지가 설정되어 있고, 상기 차량이 상기 목적지에 도달하기 전에 상기 차량의 정차 상황이 발생하면 상기 하차 후 재탑승할 승객의 존재를 확인하도록 이루어지는 차량 제어 방법. - 제 1 항에 있어서,
상기 차량에 탑승하고 있는 승객들을 촬영하여 획득한 이미지의 분석을 통해 상기 승객들의 페이스 ID를 확보하는 단계와;
상기 하차 후 재탑승할 승객이 존재하는 것으로 확인될 때 상기 페이스 ID를 통해 상기 하차 후 재탑승할 승객을 분류하여 상기 하차 후 재탑승할 승객에게만 상기 차량의 현재 위치를 통보하는 단계를 더 포함하는 차량 제어 방법. - 제 1 항에 있어서,
상기 차량이 운행하는 동안 승객의 하차 후 재탑승 이력을 저장하는 단계와;
상기 차량이 정차하여 승객의 하차 후 재탑승이 이루어질 때마다 상기 저장되어 있는 과거의 하차 후 재탑승 이력에 기초하여 상기 정차한 장소에서의 하차 후 재탑승할 승객의 존재 여부를 확인하는 단계를 더 포함하는 차량 제어 방법. - 제 8 항에 있어서,
상기 차량의 운전자가 현재 위치에서 재탑승에 대한 '긍정' 답변을 미리 설정된 회수 이상 반복하는 경우, 상기 차량의 현재 위치가 미리 설정된 재탑승 조건을 만족하는 장소인 것으로 판단하여 운전자 응답 확인을 생략하고 탑승자 비교를 실시하는 차량 제어 방법. - 제 8 항에 있어서,
상기 차량의 현재 위치가 하차 후 재탑승이 예상되는 장소로 미리 설정된 장소인 경우, 상기 차량의 현재 위치가 미리 설정된 재탑승 조건을 만족하는 장소인 것으로 판단하여 운전자 응답 확인을 생략하고 탑승자 비교를 실시하는 차량 제어 방법. - 제 8 항에 있어서,
상기 차량의 현재 위치가 하차 후 재탑승이 예상되지 않는 장소로 미리 설정된 장소인 경우, 상기 차량의 현재 위치가 미리 설정된 재탑승 조건을 만족하지 않는 장소인 것으로 판단하여 운전자 응답 확인 및 탑승자 비교를 모두 생략하는 차량 제어 방법. - 차량의 내부를 촬영하도록 마련되는 카메라와;
차량이 정차 상태로 진입할 때 차량의 내부를 촬영하여 획득한 제 1 이미지의 분석을 통해 상기 차량 내부의 승객의 수를 1차 확인하고, 상기 차량의 도어 신호가 발생하면 상기 차량의 내부를 촬영하여 획득한 제 2 이미지의 분석을 통해 상기 차량 내부의 승객의 수를 2차 확인하며, 상기 2차 확인된 승객의 수가 상기 1차 확인된 승객의 수보다 적으면 상기 차량의 표시 수단을 통해 상기 하차 후 재탑승할 승객이 존재함을 표시하는 제어부를 포함하는 차량. - 제 12 항에 있어서, 상기 제어부는,
상기 하차 후 재탑승할 승객이 존재하는 것으로 판단되면, 상기 하차 후 재탑승할 승객을 픽업하기 위해 주변의 정차 가능한 지점을 확인하고, 정차가 불가능한 지점일 때 정차 가능한 지점을 검색하는 차량. - 제 13 항에 있어서, 상기 제어부는,
상기 차량을 상기 정차 가능한 지점으로 이동시키면서 상기 하차 후 재탑승할 승객에게 상기 차량의 현재 위치를 통보하는 차량. - 제 14 항에 있어서, 상기 제어부는,
상기 하차 후 재탑승할 승객의 픽업을 위해 상기 차량을 재정차시키고;
상기 차량의 도어 신호가 발생하면 상기 차량의 내부를 촬영하여 획득한 제 3 이미지의 분석을 통해 상기 차량 내부의 승객의 수를 3차 확인하며;
상기 3차 확인된 승객의 수가 상기 1차 확인된 승객의 수보다 적으면 상기 차량에서 하차 후 재탑승할 승객이 여전히 존재하는 것으로 판단하는 차량. - 제 12 항에 있어서,
상기 표시 수단은 표정과 제스처를 표현하고 음성 메시지를 출력하도록 마련되는 AI 에이전트인 차량. - 제 12 항에 있어서,
상기 차량의 내비게이션에 목적지가 설정되어 있고, 상기 차량이 상기 목적지에 도달하기 전에 상기 차량의 정차 상황이 발생하면 상기 하차 후 재탑승할 승객의 존재를 확인하도록 이루어지는 차량. - 제 12 항에 있어서, 상기 제어부는,
상기 차량에 탑승하고 있는 승객들을 촬영하여 획득한 이미지의 분석을 통해 상기 승객들의 페이스 ID를 확보하고;
상기 하차 후 재탑승할 승객이 존재하는 것으로 확인될 때 상기 페이스 ID를 통해 상기 하차 후 재탑승할 승객을 분류하여 상기 하차 후 재탑승할 승객에게만 상기 차량의 현재 위치를 통보하는 차량. - 제 12 항에 있어서, 상기 제어부는,
상기 차량이 운행하는 동안 승객의 하차 후 재탑승 이력을 저장하고;
상기 차량이 정차하여 승객의 하차 후 재탑승이 이루어질 때마다 상기 저장되어 있는 과거의 하차 후 재탑승 이력에 기초하여 상기 정차한 장소에서의 하차 후 재탑승할 승객의 존재 여부를 확인하는 차량. - 제 19 항에 있어서, 상기 제어부는,
상기 차량의 운전자가 현재 위치에서 재탑승에 대한 '긍정' 답변을 미리 설정된 회수 이상 반복하는 경우, 상기 차량의 현재 위치가 미리 설정된 재탑승 조건을 만족하는 장소인 것으로 판단하여 운전자 응답 확인을 생략하고 탑승자 비교를 실시하는 차량. - 제 19 항에 있어서, 상기 제어부는,
상기 차량의 현재 위치가 하차 후 재탑승이 예상되는 장소로 미리 설정된 장소인 경우, 상기 차량의 현재 위치가 미리 설정된 재탑승 조건을 만족하는 장소인 것으로 판단하여 운전자 응답 확인을 생략하고 탑승자 비교를 실시하는 차량. - 제 19 항에 있어서, 상기 제어부는,
상기 차량의 현재 위치가 하차 후 재탑승이 예상되지 않는 장소로 미리 설정된 장소인 경우, 상기 차량의 현재 위치가 미리 설정된 재탑승 조건을 만족하지 않는 장소인 것으로 판단하여 운전자 응답 확인 및 탑승자 비교를 모두 생략하는 차량. - 차량이 정차 상태로 진입할 때 차량의 내부를 촬영하여 획득한 제 1 이미지의 분석을 통해 상기 차량 내부의 승객의 수를 1차 확인하는 단계와;
상기 차량의 도어 신호가 발생하면 상기 차량의 내부를 촬영하여 획득한 제 2 이미지의 분석을 통해 상기 차량 내부의 승객의 수를 2차 확인하는 단계와;
상기 2차 확인된 승객의 수가 상기 1차 확인된 승객의 수보다 적으면 상기 차량에서 하차 후 재탑승할 승객이 존재하는 것으로 판단하는 단계와;
상기 하차 후 재탑승할 승객이 존재하는 것으로 판단되면, 상기 차량에 마련되어 있는 AI 에이전트를 통해 표정과 제스처, 음성 메시지의 형태로 상기 하차 후 재탑승할 승객이 존재함을 표시하는 단계를 포함하는 차량 제어 방법. - 차량의 내부를 촬영하도록 마련되는 카메라와;
차량이 정차 상태로 진입할 때 차량의 내부를 촬영하여 획득한 제 1 이미지의 분석을 통해 상기 차량 내부의 승객의 수를 1차 확인하고, 상기 차량의 도어 신호가 발생하면 상기 차량의 내부를 촬영하여 획득한 제 2 이미지의 분석을 통해 상기 차량 내부의 승객의 수를 2차 확인하며, 상기 2차 확인된 승객의 수가 상기 1차 확인된 승객의 수보다 적으면 상기 차량에서 하차 후 재탑승할 승객이 존재하는 것으로 판단하는 제어부와;
상기 하차 후 재탑승할 승객이 존재하는 것으로 판단되면, 표정과 제스처, 음성 메시지의 형태로 상기 하차 후 재탑승할 승객이 존재함을 표시하도록 상기 차량에 마련되는 AI 에이전트를 포함하는 차량.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200169616A KR20220080474A (ko) | 2020-12-07 | 2020-12-07 | 차량 및 그 제어 방법 |
US17/487,831 US20220176969A1 (en) | 2020-12-07 | 2021-09-28 | Vehicle configured to check number of passengers and method of controlling the same |
CN202111253886.7A CN114655238A (zh) | 2020-12-07 | 2021-10-27 | 配置为检查乘客数量的车辆及其控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200169616A KR20220080474A (ko) | 2020-12-07 | 2020-12-07 | 차량 및 그 제어 방법 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20220080474A true KR20220080474A (ko) | 2022-06-14 |
Family
ID=81849885
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200169616A KR20220080474A (ko) | 2020-12-07 | 2020-12-07 | 차량 및 그 제어 방법 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220176969A1 (ko) |
KR (1) | KR20220080474A (ko) |
CN (1) | CN114655238A (ko) |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9965819B1 (en) * | 2015-11-25 | 2018-05-08 | John DeVries | Real-time school bus and student tracking |
US9812151B1 (en) * | 2016-11-18 | 2017-11-07 | IPsoft Incorporated | Generating communicative behaviors for anthropomorphic virtual agents based on user's affect |
JP6145210B1 (ja) * | 2016-12-26 | 2017-06-07 | 株式会社スバルカーベル | 乗客管理装置、及び乗客管理方法 |
US10214219B2 (en) * | 2017-01-10 | 2019-02-26 | Ford Global Technologies, Llc | Methods and systems for powertrain NVH control in a vehicle |
US11106927B2 (en) * | 2017-12-27 | 2021-08-31 | Direct Current Capital LLC | Method for monitoring an interior state of an autonomous vehicle |
BR102019000743A2 (pt) * | 2019-01-14 | 2020-07-28 | Samsung Eletrônica da Amazônia Ltda. | sistema e método para fornecimento de assistente digital automatizado em veículos autônomos |
JP7275716B2 (ja) * | 2019-03-22 | 2023-05-18 | 日本電気株式会社 | 乗客管理装置、乗客管理方法、及びプログラム |
US20200393835A1 (en) * | 2019-06-17 | 2020-12-17 | Toyota Research Institute, Inc. | Autonomous rideshare rebalancing |
US11148671B2 (en) * | 2019-09-06 | 2021-10-19 | University Of Central Florida Research Foundation, Inc. | Autonomous systems human controller simulation |
JP2021167497A (ja) * | 2020-04-08 | 2021-10-21 | トヨタ自動車株式会社 | ドア開閉制御装置 |
JP7468411B2 (ja) * | 2021-03-05 | 2024-04-16 | トヨタ自動車株式会社 | 自動運転車両、配車管理装置、及び端末機器 |
US11599617B2 (en) * | 2021-04-29 | 2023-03-07 | The Government of the United States of America, as represented by the Secretary of Homeland Security | Mobile screening vehicle and method for mobile security scanning |
CN113392718A (zh) * | 2021-05-21 | 2021-09-14 | 海南师范大学 | 一种基于区块链的共享汽车行程管理系统及方法 |
JP2022190504A (ja) * | 2021-06-14 | 2022-12-26 | 株式会社アイシン | 画像解析装置及び監視システム |
JP2023005731A (ja) * | 2021-06-29 | 2023-01-18 | トヨタ自動車株式会社 | 乗合車両及び運行管理システム |
CN114489326B (zh) * | 2021-12-30 | 2023-12-15 | 南京七奇智能科技有限公司 | 面向人群的虚拟人交互注意力驱动的姿态控制装置及方法 |
-
2020
- 2020-12-07 KR KR1020200169616A patent/KR20220080474A/ko unknown
-
2021
- 2021-09-28 US US17/487,831 patent/US20220176969A1/en active Pending
- 2021-10-27 CN CN202111253886.7A patent/CN114655238A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
CN114655238A (zh) | 2022-06-24 |
US20220176969A1 (en) | 2022-06-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109715443B (zh) | 用于运行机动车的方法 | |
US20200379462A1 (en) | Driving control apparatus, driving control method, and program | |
US11302311B2 (en) | Artificial intelligence apparatus for recognizing speech of user using personalized language model and method for the same | |
EP3357780B1 (en) | Driving control device, driving control method, and program | |
US20190051069A1 (en) | User recognition system and methods for autonomous vehicles | |
US20200001892A1 (en) | Passenger assisting apparatus, method, and program | |
CN110103878B (zh) | 用于控制无人车的方法和装置 | |
US20190051173A1 (en) | Method and apparatus for vehicle control hazard detection | |
US11567509B2 (en) | Control system, control method, and non-transitory storage medium | |
US11132995B2 (en) | Artificial intelligence server for setting language of robot and method for the same | |
KR102336017B1 (ko) | 완전 자율주행에서의 사용자와 자율주행 시스템 간 인터랙션 방법 | |
US11755033B2 (en) | Artificial intelligence device installed in vehicle and method therefor | |
US10387737B1 (en) | Rider rating systems and methods for shared autonomous vehicles | |
US11364868B2 (en) | Vehicle control system and vehicle control method | |
US20190371297A1 (en) | Artificial intelligence apparatus and method for recognizing speech of user in consideration of user's application usage log | |
US11904900B2 (en) | Autonomous vehicle for blind people | |
JP2015089697A (ja) | 車両用音声認識装置 | |
KR20190102150A (ko) | 물체 낙하 감지 장치 및 방법 | |
US11270700B2 (en) | Artificial intelligence device and method for recognizing speech with multiple languages | |
US10757248B1 (en) | Identifying location of mobile phones in a vehicle | |
JP2020154996A (ja) | 情報処理システム、エージェントシステム、情報処理方法、およびプログラム | |
KR20220080474A (ko) | 차량 및 그 제어 방법 | |
US20210245783A1 (en) | Control device of automated driving vehicle | |
CN114616139A (zh) | 通过听觉信号的拼车的行程认证 | |
US20230230504A1 (en) | Voice output method |