KR20190106845A - 자율 주행 차량의 탑승자 인식 및 승하차 지원 장치 및 방법 - Google Patents

자율 주행 차량의 탑승자 인식 및 승하차 지원 장치 및 방법 Download PDF

Info

Publication number
KR20190106845A
KR20190106845A KR1020190104497A KR20190104497A KR20190106845A KR 20190106845 A KR20190106845 A KR 20190106845A KR 1020190104497 A KR1020190104497 A KR 1020190104497A KR 20190104497 A KR20190104497 A KR 20190104497A KR 20190106845 A KR20190106845 A KR 20190106845A
Authority
KR
South Korea
Prior art keywords
vehicle
passenger
boarding
information
stop
Prior art date
Application number
KR1020190104497A
Other languages
English (en)
Inventor
강성숙
김은숙
이은주
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020190104497A priority Critical patent/KR20190106845A/ko
Priority to US16/559,114 priority patent/US11188741B2/en
Publication of KR20190106845A publication Critical patent/KR20190106845A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/02—Reservations, e.g. for tickets, services or events
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0013—Planning or execution of driving tasks specially adapted for occupant comfort
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/002—Seats provided with an occupancy detection means mounted therein or thereon
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/14—Adaptive cruise control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18054—Propelling the vehicle related to particular drive situations at stand still, e.g. engine in idling state
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/181—Preparing for stopping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18—Propelling the vehicle
    • B60W30/182—Selecting between different operative modes, e.g. comfort and performance modes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0285—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using signals transmitted via a public communication network, e.g. GSM network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/096833—Systems involving transmission of navigation instructions to the vehicle where different aspects are considered when computing the route
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/123—Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams
    • G08G1/133—Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams within the vehicle ; Indicators inside the vehicles or at stops
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0881—Seat occupation; Driver or passenger presence
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/04—Vehicle stop
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Medical Informatics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Databases & Information Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Remote Sensing (AREA)
  • Data Mining & Analysis (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Quality & Reliability (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)

Abstract

자율 주행 차량의 탑승자 인식 및 승하차 지원 장치가 개시된다.
본 발명의 일 실시예에 따른 자율 주행 차량의 탑승자 인식 및 승하차 지원 장치는, 탑승 예정자 정보를 수신 받기 위한 차량 통신부, 차량 외부의 사람들을 감지하기 위한 센싱부 및 감지된 차량 외부의 사람들을 분석하여 탑승 승객 후보군을 추출하고, 추출된 탑승 승객 후보군 및 탑승 예정자 정보를 이용하여 예비 탑승자의 인원을 계산하는 차량 제어부를 포함할 수 있다.
본 발명의 자율 주행 차량, 서버 및 단말기 중의 적어도 하나 이상이 인공 지능(Artificial Intelligence) 모듈, 드론(Unmanned Aerial Vehicle, UAV), 로봇, 증강 현실(Augmented Reality, AR) 장치, 가상 현실(virtual reality, VR), 5G 네트워크 서비스와 관련된 장치 등과 연계 혹은 융복합될 수 있다.

Description

자율 주행 차량의 탑승자 인식 및 승하차 지원 장치 및 방법{METHOD AND APPARATUS FOR PASSENGER RECOGNITION AND BOARDING SUPPORT OF AUTONOMOUS VEHICLE}
본 발명은 자율 주행 차량의 탑승자 인식 및 승하차 지원 장치 및 방법에 관한 것으로, 보다 구체적으로는 단말기를 통해 입력된 탑승 예정자 정보 및 영상 분석을 통하여 추출된 탑승 승객 후보군을 이용하여 예비 탑승자의 인원을 계산하고, 탑승객들의 승하차를 안전하게 지원할 수 있도록 하는 자율 주행 차량의 탑승자 인식 및 승하차 지원 장치 및 방법에 관한 것이다.
최근 첨단 기술의 발전 및 IT 산업의 발전으로 드론, 전기 자동차 및 인공 지능에 대한 관심이 점차 증대되고 있으며, 또한 IT 및 자동차 기술이 결합된 자율 주행 차량에 대해서도 많은 관심과 연구가 활발히 진행되고 있다.
일반적으로 자율 주행 차량이란 운전자의 조작 없이도 도로와 차량, 보행자 등의 주변 물체를 인식하여 설정된 목적지까지 자율적으로 운행할 수 있는 차량을 의미한다.
이러한 자율 주행 차량은 인공 지능형 자동차 기술의 집합체로 운전자가 없거나 또한 운전자의 조작 없이도 자동으로 설정된 목적지까지 운행하는 차량이기 때문에, 운전자, 안내원, 안전 요원 등이 없어도 자동으로 탑승 예정자의 승차 가능 여부 확인, 탑승 예정자 인원 확인 및 안전하고 정확한 승하차 지원을 제공하는 기능은 매우 중요한 기능으로 생각되고 있다.
한국특허출원 제2016-0150442호는 단말기의 위치를 수신하여 단말기의 위치에 대응하는 제 1 목적지에서 정지하고, 제 1 목적지에서 단말기의 사용자가 탑승하면 자율 주행 조건 만족 여부를 검토한 후 제 2 목적지로의 자율 주행을 수행하는 자율 주행 차량에 대하여 개시하고 있다.
다만, 상기 한국특허출원 제2016-0150442호는 정류장에서의 탑승 예정자 및 미리 예약하지 못하였으나 정류장에서 탑승을 원하는 사용자(탑승 승객 후보군)의 인원 확인 및 승차 가능 여부에 대하여는 고려되지 않았기 때문에 자율 주행 차량이 정류장에서 승객의 승하차시 문제가 발생할 수 있다.
즉, 자율 주행 차량이 정차하는 시점을 기준으로 탑승자의 승차 가능 여부와 동시에 안전하고 정확한 승차 가이드를 제공하는 것이 자율 주행 차량의 중요한 기능의 하나로서 요구되고 있다.
한국특허출원 제2016-0150442호
본 발명은 상기와 같은 문제점을 해결하기 위해 창안된 것으로, 단말기를 통하여 입력된 탑승 예정자 정보 및 차량 외부 사람들의 영상 분석을 통하여 추출된 탑승 승객 후보군을 이용하여 정차 예정지에서의 예비 탑승자의 인원을 계산하는 자율 주행 차량의 탑승자 인식 및 승하차 지원 장치를 제공하는 것이다.
본 발명의 일 실시예에 따른 자율 주행 차량의 탑승자 인식 및 승하차 지원 장치는, 하향 링크 그랜트(DL grant)에 기초하여, 사용자 단말기 또는 정류장 단말기로부터 탑승 예정자에 관한 탑승 예정자 정보를 수신 받기 위한 차량 통신부, 정차 예정지를 기준으로 기설정된 영역 이내에서 차량 외부의 사람들을 감지하기 위한 센싱부 및 센싱부를 통하여 감지된 차량 외부의 사람들을 분석하여 탑승 승객 후보군을 추출하고, 추출된 탑승 승객 후보군 및 수신 받은 탑승 예정자 정보를 이용하여 예비 탑승자의 인원을 계산하는 차량 제어부를 포함할 수 있다.
또한, 본 발명의 일 실시예는, 상기 차량 제어부가, 기설정된 영역 이내에서 감지된 차량 외부의 사람들의 얼굴, 동작 및 이동 방향 중 적어도 하나를 분석하여 상기 탑승 승객 후보군을 추출할 수 있다.
또한, 본 발명의 일 실시예는, 상기 차량 제어부가, 상기 탑승 승객 후보군에 속한 사람들의 얼굴과 상기 탑승 예정자 정보 내 얼굴 사진을 비교한 결과, 일치하는 사람의 인원수를 산출하고, 상기 탑승 승객 후보군의 인원수와 상기 탑승 예정자의 인원수를 합한 결과에서, 상기 산출된 인원수를 차감하여, 상기 예비 탑승자의 인원을 계산할 수 있다.
또한, 본 발명의 일 실시예는, 상기 차량 제어부가, 상기 예비 탑승자에 속한 사람들의 얼굴, 체형, 걸음걸이 및 소지 물품 중 적어도 하나에 기초하여 승객 타입을 결정하고, 교통약자에 속하는 승객의 위치에 기초하여 상기 차량의 정차 위치를 결정할 수 있다.
또한, 본 발명의 일 실시예는, 상기 차량 제어부가, 상기 예비 탑승자의 인원에 기초하여, 상기 차량의 탑승 대기 시간을 결정하고, 상기 정차 예정지를 기준으로 이격 거리에 기초하여, 상기 기설정된 영역을 다수의 구간으로 구분하며, 상기 다수의 구간 중에서 상기 예비 탑승자가 존재하는 구간에 따라, 상기 탑승 대기 시간을 상이하게 조정할 수 있다.
또한, 본 발명의 일 실시예는, 상기 차량 제어부가, 상기 차량 외부의 사람들의 얼굴, 체형, 걸음걸이 및 소지 물품 중 적어도 하나에 기초하여, 상기 예비 탑승자의 승객 타입을 결정하고, 상기 예비 탑승자의 승객 타입에 기초하여, 상기 조정된 탑승 대기 시간을 재조정하거나, 또는 상기 예비 탑승자가 존재하는 구간을 구분하는 이격 거리를 조정할 수 있다.
또한, 본 발명의 일 실시예는, 상기 차량 제어부가, 상기 정차 예정지를 기준으로, 이격 거리에 기초하여 상기 기설정된 영역을 다수의 구간으로 구분하고, 상기 다수의 구간 중에서 상기 정차 예정지로부터 가장 가까운 구간에, 존재하는 상기 탑승 승객 후보군을 제1 탑승 확정자로 결정하고, 상기 탑승 예정자를 제2 탑승 확정자로 결정하며, 상기 제1 탑승 확정자의 인원수와 상기 제2 탑승 확정자의 인원수의 합에서 중복자를 제거한 탑승 확정자를, 상기 예비 탑승자의 인원으로서 계산할 수 있다.
또한, 본 발명의 일 실시예는, 상기 차량 제어부가, 탑승자 수요 정보 및 주행 지역 정보를 반영하여 고정 경로 운행 모드 및 유연 경로 운행 모드 중의 하나를 선택하여 차량을 운행하고, 상기 탑승자 수요 정보는, 상기 탑승 예정자 정보와, 요일 및 시간대별 자율 주행 차량의 탑승자 정보로 미리 훈련된 심층 신경망 모델을 이용하여 결정될 수 있다.
또한, 본 발명의 일 실시예는, 상기 차량 제어부가, 상기 고정 경로 운행 모드가 선택된 경우, 정해진 경로 내 기설정된 정류장 마다 정차하고, 상기 유연 경로 운행 모드가 선택된 경우, 상기 정해진 경로 내 기설정된 정류장 중에서, 상기 차량 내부에 하차하는 승객이 존재하거나, 또는 예비 탑승자가 존재하는 정류장에 정차하고, 상기 사용자 단말기 또는 상기 정류장 단말기에서 정차를 호출한 상기 정해진 경로 내 지점에 정차할 수 있다.
또한, 본 발명의 일 실시예는, 상기 차량이 승객의 승하차를 위해 정차한 경우, 상기 정차 예정지는 상기 차량의 승하차문이 배치된 지점이 되고, 상기 센싱부가, 상기 승하차문을 기준으로 기설정된 영역 내에서 차량 외부의 사람들을 감지할 수 있다.
또한, 본 발명의 일 실시예는, 차량 외부의 사람들에게 주행 정보를 제공하기 위한 외부 디스플레이를 더 포함하고, 상기 차량 제어부가, 계산된 상기 예비 탑승자의 인원에 따라 상기 정차 예정지에의 정차 여부 및 탑승 대기 시간을 결정하고, 상기 외부 디스플레이를 통해 상기 정차 여부 및 탑승 대기 시간을 차량 외부로 표시하며, 상기 표시 이후 상기 센싱부에 의해 감지되는 상기 기설정된 영역 내의 사람들의 얼굴, 동작 및 이동 방향 중 적어도 하나를 분석하여 상기 탑승 승객 후보군을 재추출할 수 있다.
또한, 본 발명의 일 실시예는 상기 차량 통신부가, SSB(synchronization signal block)에 기초하여 5G 네트워크와 초기 접속 절차를 수행할 수 있다.
본 발명의 일 실시예에 따른 자율 주행 차량의 탑승자 인식 및 승하차 지원 방법은, 하향 링크 그랜트(DL grant)에 기초하여, 사용자 단말기 또는 정류장 단말기로부터 탑승 예정자에 관한 탑승 예정자 정보를 수신 받는 단계와, 정차 예정지를 기준으로 기설정된 영역 이내에서 차량 외부의 사람들을 감지하는 단계와, 상기 감지된 차량 외부의 사람들을 분석하여 탑승 승객 후보군을 추출하는 단계와, 추출된 탑승 승객 후보군 및 수신 받은 탑승 예정자 정보를 이용하여 예비 탑승자의 인원을 계산하는 단계를 포함할 수 있다.
또한, 본 발명의 일 실시예는, 상기 탑승 승객 후보군을 추출하는 단계가, 기설정된 영역 이내에서 감지된 차량 외부의 사람들의 얼굴, 동작 및 이동 방향 중 적어도 하나를 분석하여 상기 탑승 승객 후보군을 추출하는 단계를 포함할 수 있다.
또한, 본 발명의 일 실시예는, 상기 예비 탑승자의 인원을 계산하는 단계가, 상기 탑승 승객 후보군에 속한 사람들의 얼굴과 상기 탑승 예정자 정보 내 얼굴 사진을 비교한 결과, 일치하는 사람의 인원수를 산출하는 단계와, 상기 탑승 승객 후보군의 인원수와 상기 탑승 예정자의 인원수를 합한 결과에서, 상기 산출된 인원수를 차감하여, 상기 예비 탑승자의 인원을 계산하는 단계를 포함할 수 있다.
또한, 본 발명의 일 실시예는, 상기 예비 탑승자의 인원에 기초하여, 상기 차량의 탑승 대기 시간을 결정하는 단계와, 상기 정차 예정지를 기준으로 이격 거리에 기초하여, 상기 기설정된 영역을 다수의 구간으로 구분하며, 상기 다수의 구간 중에서 상기 예비 탑승자가 존재하는 구간에 따라, 상기 탑승 대기 시간을 상이하게 조정하는 단계를 더 포함할 수 있다.
또한, 본 발명의 일 실시예는, 상기 차량 외부의 사람들의 얼굴, 체형, 걸음걸이 및 소지 물품 중 적어도 하나에 기초하여, 상기 예비 탑승자의 승객 타입을 결정하는 단계와, 상기 예비 탑승자의 승객 타입에 기초하여, 상기 조정된 탑승 대기 시간을 재조정하거나, 또는 상기 예비 탑승자가 존재하는 구간을 구분하는 이격 거리를 조정하는 단계를 더 포함할 수 있다.
또한, 본 발명의 일 실시예는, 탑승자 수요 정보 및 주행 지역 정보를 반영하여 고정 경로 운행 모드 및 유연 경로 운행 모드 중의 하나를 선택하여 차량을 운행하는 단계를 더 포함하고, 상기 탑승자 수요 정보는, 상기 탑승 예정자 정보와, 요일 및 시간대별 자율 주행 차량의 탑승자 정보로 미리 훈련된 심층 신경망 모델을 이용하여 결정될 수 있다.
또한, 본 발명의 일 실시예에 따른 자율 주행 차량의 탑승자 인식 및 승하차 지원 서버는, 사용자 단말기 또는 정류장 단말기로부터 정차 예정지에서의 탑승 예정자에 관한 탑승 예정자 정보를 수신하고, 상기 자율 주행 차량으로부터 상기 정차 예정지를 기준으로, 기설정된 영역 이내의 사람을 감지하여 생성된 센싱 정보를 수신하는 수신부와, 상기 센싱 정보로부터 탑승 승객 후보군을 추출하고, 상기 추출한 탑승 승객 후보군 및 상기 탑승 예정자 정보를 이용하여, 예비 탑승자의 인원을 계산하는 프로세서를 포함할 수 있다.
본 발명의 일 실시예는, 상기 프로세서가, 상기 예비 탑승자의 인원에 기초하여, 상기 자율 주행 차량의 탑승 대기 시간을 결정하고, 송신부를 통해, 상기 탑승 대기 시간을 상기 자율 주행 차량에 전송할 수 있다.
본 발명의 일 실시예에 따른 자율 주행 차량의 탑승자 인식 및 승하차 지원 장치는, 단말기를 통하여 입력된 탑승 예정자 정보 및 센싱부를 통하여 감지된 차량 외부의 사람들을 분석하여 추출된 탑승 승객 후보군 정보를 이용하여 예비 탑승자의 인원을 계산할 수 있다.
또한, 본 발명의 일 실시예에 따른 자율 주행 차량의 탑승자 인식 및 승하차 지원 장치는, 탑승자 수요 정보 및 주행 지역 정보를 반영하여 고정 경로 운행 모드 및 유연 경로 운행 모드 중의 하나를 선택하여 자율 주행 차량을 운행할 수 있다.
또한, 본 발명의 일 실시예에 따른 자율 주행 차량의 탑승자 인식 및 승하차 지원 장치는, 자율 주행 차량이 정차하는 시점을 기준으로 탑승자의 승차 가능 여부와 동시에 안전하고 정확한 승차 가이드를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 자율 주행 차량의 탑승자 인식 및 승하차 지원 장치를 도시한 도면이다.
도 2는 5G 통신 시스템에서 자율 주행 차량과 5G 네트워크의 기본동작의 일 예를 나타낸다.
도 3은 5G 통신 시스템에서 자율 주행 차량과 5G 네트워크의 응용 동작의 일 예를 나타낸다.
도 4는 본 발명의 일 실시예에 따른 자율 주행 차량을 도시한 블록도이다.
도 5a는 본 발명의 일 실시예에 따른 자율 주행 차량의 탑승자 인식 및 승하차 지원 장치가 기설정된 영역 이내에서 센싱부를 통하여 감지된 외부 사람들을 분석하여 탑승 승객 후보군을 추출하는 모습을 나타낸 도면이다.
도 5b는 본 발명의 일 실시예에 따른 자율 주행 차량의 탑승자 인식 및 승하차 지원 장치가 기설정된 영역 내 구간에 따라, 차량의 탑승 대기 시간을 결정하는 일례를 설명하기 위한 도면이다.
도 6a는 본 발명의 일 실시예에 따른 자율 주행 차량의 탑승자 인식 및 승하차 지원 장치에서 차량의 탑승 안내정보 및 운행 정보를 제공하는 일례를 도시한 도면이다.
도 6b는 본 발명의 일 실시예에 따른 자율 주행 차량의 탑승자 인식 및 승하차 지원 장치에서 차량의 속도 상태를 제공하는 일례를 도시한 도면이다.
도 7은 자율 주행 차량의 사용자 인터페이스부를 도시한 블록도이다.
도 8은 본 발명의 일 실시예에 따른 자율 주행 차량의 탑승자 인식 및 승하차 지원 방법을 설명하기 위한 흐름도이다.
도 9는 본 발명의 일 실시예에 따른 자율 주행 차량의 탑승자 인식 및 승하차 지원 방법을 설명하기 위한, 단말기, 서버 및 차량 간의 메시지 흐름도이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에서 기술되는 차량은, 자동차, 오토바이를 포함하는 개념일 수 있다. 이하에서는, 차량에 대해 자동차를 위주로 기술한다.
본 명세서에서 기술되는 차량은, 동력원으로서 엔진을 구비하는 내연기관 차량, 동력원으로서 엔진과 전기 모터를 구비하는 하이브리드 차량, 동력원으로서 전기 모터를 구비하는 전기 차량 등을 모두 포함하는 개념일 수 있다.
도 1은 본 발명의 일 실시예에 따른 자율 주행 차량의 탑승자 인식 및 승하차 지원 장치를 도시한 도면이다.
도 1을 참조하면, 자율 주행 차량의 탑승자 인식 및 승하차 지원 장치는 차량(1000), 서버(2000), 사용자 단말기(3000) 및 정류장 단말기(4000) 등을 포함할 수 있다.
분 발명의 일 실시예에 따른 자율 주행 차량의 탑승자 인식 및 승하차 지원 장치는, 도 1에 도시되고 이하 설명되는 구성 요소 외에 다른 구성요소를 포함하거나, 도 1에 도시되고 이하 설명되는 구성요소 중 일부를 포함하지 않을 수 있다.
본 발명의 실시예에 따른 자율 주행 차량의 탑승자 인식 및 승하차 지원 장치는, 동력원에 의해 회전하는 바퀴 및 진행 방향을 조절하기 위한 조향 입력 장치를 구비한 차량(1000)에 탑재될 수 있다. 여기서, 차량(1000)은 자율 주행 차량일 수 있다.
본 발명의 실시예에 따른 자율 주행 차량(1000)은 사용자 단말기(3000) 또는 정류장 단말기(4000)로부터 입력된 탑승 예정자 정보를 수신하고, 센싱부(1600)를 이용하여 차량 외부의 사람들을 감지하며, 차량 제어부(1200)의 차량 외부의 사람들의 분석 결과를 이용하여 탑승 승객 후보군을 추출할 수 있다.
또한, 자율 주행 차량의 탑승자 인식 및 승하차 지원 장치는 서버(2000)에도 탑재가 가능할 수 있다.
본 발명의 실시예에 따른 서버(2000)는 네트워크를 통하여 사용자 단말기(3000) 및/또는 정류장 단말기(4000)로부터 입력된 탑승 예정자 정보를 획득하고, 네트워크를 통하여 차량의 센싱부(1600)를 제어하여 차량 외부의 사람들을 분석하여 탑승 승객 후보군을 추출할 수도 있다.
또한, 서버(2000)는 사용자 단말기(3000) 또는 정류장 단말기(4000)로부터 입력된 정보를 네트워크를 통하여 차량(1000)에 전달할 수 있다.
또한, 서버(2000)는 네트워크를 통하여 자율 주행 차량(1000)과 주행 정보, 주행 노선, 차량 상태 및 날씨 정보 등과 같은 차량의 주행 관련 모든 정보를 서로 교환할 수 있다.
사용자 단말기(3000)는 노트북, 휴대폰, PDA(Personal Digital Assistant), 스마트 폰, 멀티미디어 기기 등과 같이 휴대 가능한 기기일 수 있고, 또는 PC(Personal Computer), 차량 탑재 장치와 같이 휴대 불가능한 기기일 수도 있다.
정류장 단말기(4000)는 정류장에 설치되어 차량(1000)의 정보를 전달하는 기기로서, 차량(1000)의 탑승을 원하는 사용자가 차량(1000)의 탑승을 예약하거나 차량의 탑승 인원 정보, 운행 정보, 운행 노선 등의 정보를 표시하는 기기일 수 있다.
즉, 자율 주행 차량의 탑승자 인식 및 승하차 지원 장치는, 자율 주행 차량(1000)과 서버(2000)의 네트워크 통신을 통하여 수행되며, 서버(2000)에서 직접적으로 제어하는 방식으로 수행되거나 또한, 후술할 차량 내부의 차량 제어부(1200)에 의해서 직접 수행될 수도 있다.
도 2는 5G 통신 시스템에서 자율 주행 차량(1000)과 5G 네트워크의 기본동작의 일 예를 나타낸다.
자율 주행 차량의 탑승자 인식 및 승하차 지원 시스템은, 자율 주행 차량(1000)과 서버(2000)의 네트워크 통신을 통하여 수행되며, 이는 5G 통신 시스템에서 5G 네트워크를 통하여 수행될 수 있다.
도 2를 참조하면, 자율 주행 차량(Autonomous Vehicle)(1000)은 5G 네트워크로 특정 정보를 전송한다(S1).
상기 특정 정보는, 자율 주행 관련 정보를 포함할 수 있다.
상기 자율 주행 관련 정보는, 자율 주행 차량(1000)의 주행 제어와 직접적으로 관련된 정보일 수 있다. 예를 들어, 자율 주행 관련 정보는 차량 주변의 오브젝트를 지시하는 오브젝트 데이터, 맵 데이터(map data), 차량 상태 데이터, 차량 위치 데이터 및 드라이빙 플랜 데이터(driving plan data) 중 하나 이상을 포함할 수 있다.
상기 자율 주행 관련 정보는 자율 주행에 필요한 서비스 정보 등을 더 포함할 수 있다. 예를 들어, 상기 특정 정보는, 사용자 단말기(3000) 또는 정류장 단말기(4000)를 통해 입력된 목적지와 차량의 안정 등급에 관한 정보를 포함할 수 있다.
그리고, 상기 5G 네트워크는 차량의 원격 제어 여부를 결정할 수 있다(S2).
여기서, 상기 5G 네트워크는 자율 주행 관련 원격 제어를 수행하는 서버(2000) 또는 모듈을 포함할 수 있다.
여기서, 상기 5G 네트워크는 원격 제어와 관련된 정보(또는 신호)를 자율 주행 차량(1000)으로 전송할 수 있다(S3).
전술한 바와 같이, 원격 제어와 관련된 정보는 자율 주행 차량(1000)에 직접적으로 적용되는 신호일 수도 있고, 나아가 자율 주행에 필요한 서비스 정보를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 자율 주행 차량(1000)은, 5G 네트워크에 연결된 서버(2000)를 통해서 주행 경로 상에서 선택된 구간별 도로 상황 정보, 위험 구간 정보 등의 서비스 정보를 수신함으로써, 자율 주행과 관련된 서비스를 제공할 수 있다.
즉, 자율 주행 차량(1000)은 5G 네트워크를 이용하여 서버(2000)와 차량 상태 정보, 실시간 도로 상황 정보, 날씨 정보 등을 교환하거나 자율 주행 관련 정보를 수신할 수 있다. 또한, 자율 주행 차량(1000)은 5G 네트워크를 이용하여 사용자 단말기(3000) 및/또는 정류장 단말기(4000)의 입력 정보를 서버(2000)를 통하여 수신할 수 있다.
도 3은 5G 통신 시스템에서 자율 주행 차량(1000)과 5G 네트워크의 응용 동작의 일 예를 나타낸다.
자율 주행 차량(1000)은 5G 네트워크와 초기 접속(initial access) 절차를 수행한다(S20).
여기에서, 초기 접속 절차는 하향 링크(Downlink, DL) 동작 획득을 위한 셀 서치(cell search), 시스템 정보(system information)를 획득하는 과정 등을 포함한다.
그리고, 자율 주행 차량(1000)은 5G 네트워크와 임의 접속(random access) 절차를 수행한다(S21).
상기 임의 접속 과정은 상향 링크(Uplink, UL) 동기 획득 또는 UL 데이터 전송을 위해 프리엠블 전송, 임의 접속 응답 수신 과정 등을 포함할 수 있다.
그리고, 5G 네트워크는 자율 주행 차량(1000)으로 특정 정보의 전송을 스케쥴링하기 위한 UL grant를 전송한다(S22).
상기 UL grant 수신은 5G 네트워크로 UL 데이터의 전송을 위해 시간/주파수 자원 스케줄링을 받는 과정을 포함할 수 있다.
그리고, 자율 주행 차량(1000)은 상기 UL grant에 기초하여 5G 네트워크로 특정 정보를 전송한다(S23).
그리고, 5G 네트워크는 차량의 원격 제어 여부를 결정한다(S24).
그리고, 자율 주행 차량(1000)은 5G 네트워크로부터 특정 정보에 대한 응답을 수신하기 위해 물리 하향링크 제어 채널을 통해 DL grant를 수신한다(S25).
그리고, 상기 5G 네트워크는 상기 DL grant에 기초하여 상기 자율 주행 차량(1000)으로 원격 제어와 관련된 정보(또는 신호)를 전송한다(S26).
도 2 및 도 3에서 사용되는 5G 네트워크는 5G 네트워크와 연결된 서버(2000)를 포함하는 의미로 사용될 수 있다.
한편, 도 3에서는 자율 주행 차량(1000)과 5G 통신의 초기 접속 과정 및 또는 임의 접속 과정 및 하향링크 그랜트 수신 과정이 결합된 예를 S20 내지 S26의 과정을 통해 예시적으로 설명하였지만, 본 발명은 이에 한정되지 않는다.
예를 들어, S20, S22, S23, S24 과정을 통해 초기 접속 과정 및/또는 임의접속 과정을 수행할 수 있다. 또한, 예를 들어 S21, S22, S23, S24, S26 과정을 통해 초기접속 과정 및/또는 임의 접속 과정을 수행할 수 있다. 또한 S23, S24, S25, S26을 통해 AI 동작과 하향링크 그랜트 수신과정이 결합되는 과정을 수행할 수 있다.
또한, 도 3에서는 자율 주행 차량 동작(1000)에 대하여 S20 내지 S26을 통해 예시적으로 설명한 것이며, 본 발명은 이에 한정되지 않는다.
예를 들어, 상기 자율 주행 차량 동작은, S20, S21, S22, S25가 S23, S26과 선택적으로 결합되어 동작할 수 있다, 또한 예를 들어, 상기 자율 주행 차량(1000)의 동작은, S21, S22, S23, S26으로 구성될 수도 있다. 또한 예를 들어, 상기 자율 주행 차량 동작(1000)은, S20, S21, S23, S26으로 구성될 수 있다. 또한, 예를 들어, 상기 자율 주행 차량 동작(1000)은, S22, S23, S25, S26으로 구성될 수 있다.
도 4는 본 발명의 일 실시예에 따른 자율 주행 차량(1000)을 도시한 블록도이다.
도 4를 참조하면, 자율 주행 차량(1000)은 차량 통신부(1100), 차량 제어부(1200), 사용자 인터페이스부(1300), 차량 구동부(1400), 운전 조작부(1500), 센싱부(1600), 운행부(1700), 내비게이션부(1800) 및 차량 저장부(1900)를 포함할 수 있다.
본 발명의 일 실시예에 따른 자율 주행 차량의 탑승자 인식 및 승하차 지원 장치는, 도 4에 도시되고 이하 설명되는 구성 요소 외에 다른 구성요소를 포함하거나, 도 4에 도시되고 이하 설명되는 구성요소 중 일부를 포함하지 않을 수 있다.
자율 주행 차량(1000)은 주행 상황에 따라 자율 주행 모드에서 매뉴얼 모드로 전환되거나 매뉴얼 모드에서 자율 주행 모드로 전환될 수 있다. 여기서, 주행 상황은 차량 통신부(1100)에 의해 수신된 정보, 오브젝트 검출 모듈(미도시)에 의해 검출된 외부 오브젝트 정보 및 내비게이션부(1800)에 의해 획득된 내비게이션 정보 중 적어도 어느 하나에 의해 판단될 수 있다.
자율 주행 차량(1000)은 사용자 인터페이스부(1300)를 통하여 수신되는 사용자 입력에 따라 자율 주행 모드에서 매뉴얼 모드로 전환되거나 매뉴얼 모드에서 자율 주행 모드로 전환될 수 있다.
자율 주행 차량(1000)은 사용자 단말기(3000)와 같은 외부 디바이스에서 제공되는 정보, 데이터, 신호에 기초하여 매뉴얼 모드에서 자율 주행 모드로 전환되거나, 자율 주행 모드에서 매뉴얼 모드로 전환될 수 있다.
자율 주행 차량(1000)이 자율 주행 모드로 운행되는 경우, 자율 주행 차량(1000)은 주행, 출차, 주차 동작을 제어하는 운행부(1700)의 제어에 따라 운행될 수 있다. 한편, 자율 주행 차량(1000)이 매뉴얼 모드로 운행되는 경우, 자율 주행 차량(1000)은 운전 조작부(1500)를 통해 운전자의 기계적 운전 조작에 의한 입력에 의해 운행될 수 있다.
차량 통신부(1100)는, 외부 장치와 통신을 수행하기 위한 모듈이다. 여기서, 외부 장치는, 타 차량, 서버(2000), 사용자 단말기(3000) 또는 정류장 단말기(4000)일 수 있다.
본 발명의 일 실시예에 따른 차량 통신부(1100)는, 하향 링크 그랜트(DL grant)에 기초하여 탑승 예정자 정보를 수신할 수 있다.
즉, 차량 통신부(1100)는 5G 네트워크로부터 특정 정보에 대한 응답을 수신하기 위해 물리 하향링크 제어 채널을 통해 하향 링크 그랜트(DL grant)를 수신하고, 하향 링크 그랜트(DL grant)에 기초하여 사용자 단말기(3000) 및/또는 정류장 단말기(4000) 등의 외부 단말기를 통하여 입력된 탑승 예정자 정보를 수신할 수 있다.
여기에서, 탑승 예정자 정보는 사용자 단말기(3000) 및/또는 정류장 단말기(4000)로부터 입력된 정보로서, 탑승을 희망하는 사람들이 탑승을 예약하기 위해서 단말기(3000, 4000)를 통하여 입력한 사용자 정보를 의미할 수 있다.
예를 들어, 탑승 희망자가 자율 주행 차량(1000)의 탑승을 희망하는 경우, 사용자 단말기(3000) 및/또는 정류장 단말기(4000)를 이용하여 탑승 희망 정보, 즉, 자신의 성명, 얼굴 사진, 소지 물품, 개인 식별 번호, 승차 예정지, 하차 예정지 및 승차 희망 시간 등의 탑승 예정자 정보를 입력할 수 있다.
구체적으로, 전술한 도 3을 참조하면, 차량 통신부(1100)는, SSB(synchronization signal block)에 기초하여 5G 네트워크와 초기 접속 절차(S20)를 수행하고, 5G 네트워크와 임의 접속 절차(random acess)를 수행할 수 있다(S21). 다음으로 5G 네트워크는 자율 주행 차량으로 특정 정보의 전송을 스케쥴링하기 위한 UL grant를 전송하고(S22), 자율 주행 차량(1000)은 UL grant에 기초하여 5G 네트워크로 특정 정보를 전송하고(S23), 5G 네트워크는 차량의 원격 제어 여부를 결정하고(S24), 자율 주행 차량은 5G 네트워크로부터 특정 정보에 대한 응답을 수신하기 위해 물리 하향링크 제어 채널을 통해 DL 그랜트를 수신하고(S25), 5G 네트워크는 상기 DL 그랜트에 기초하여 자율 주행 차량(1000)으로 원격 제어와 관련된 정보(또는 신호) 및 외부 단말기(3000, 4000)를 통하여 입력된 탑승 예정자 정보 등을 수신할 수 있다(S26).
차량 통신부(1100)는, 통신을 수행하기 위해 송신 안테나, 수신 안테나, 각종 통신 프로토콜이 구현 가능한 RF(Radio Frequency) 회로 및 RF 소자 중 적어도 어느 하나를 포함할 수 있다.
차량 통신부(1100)는, 근거리 통신(Short range communication) 모듈, 위치 정보 모듈, V2X 통신 모듈, 광통신 모듈, 방송 송수신 모듈 및 ITS(Intelligent Transport Systems) 통신 모듈을 포함할 수 있다.
실시예에 따라, 차량 통신부(1100)는, 설명되는 모듈 외에 다른 모듈을 더 포함하거나, 설명되는 모듈 중 일부를 포함하지 않을 수 있다.
차량 통신부(1100)는, 블루투스(Bluetooth?), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra WideBand), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다.
차량 통신부(1100)는, 근거리 무선 통신망(Wireless Area Networks)을 형성하여, 차량(1000)과 적어도 하나의 외부 장치 사이의 근거리 통신을 수행할 수 있다.
차량 통신부(1100)는, 자율 주행 차량(1000)의 위치 정보를 획득하기 위한 GPS(Global Positioning System) 모듈 또는 DGPS(Differential Global Positioning System) 모듈을 포함할 수 있다.
차량 통신부(1100)는, 자율 주행 차량(1000)과 서버(V2I: Vehicle to Infra), 타 차량(V2V: Vehicle to Vehicle) 또는 보행자(V2P: Vehicle to Pedestrian)와의 무선 통신을 지원하는 모듈, 즉, V2X 통신 모듈을 포함할 수 있다. V2X 통신 모듈은, 인프라와의 통신(V2I), 차량간 통신(V2V), 보행자와의 통신(V2P) 프로토콜이 구현 가능한 RF 회로를 포함할 수 있다.
차량 통신부(1100)는, 광을 매개로 외부 디바이스와 통신을 수행하기 위한 광통신 모듈을 포함할 수 있다. 광통신 모듈은, 전기 신호를 광 신호로 전환하여 외부에 발신하는 광발신 모듈 및 수신된 광 신호를 전기 신호로 전환하는 광수신 모듈을 포함할 수 있다.
실시예에 따라, 광발신 모듈은, 자율 주행 차량(1000)에 포함된 램프와 일체화되게 형성될 수 있다.
차량 통신부(1100)는, 방송 채널을 통해, 외부의 방송 관리 서버로부터 방송 신호를 수신하거나, 방송 관리 서버에 방송 신호를 송출하기 위한 방송 통신 모듈을 포함할 수 있다. 방송 채널은, 위성 채널, 지상파 채널을 포함할 수 있다. 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 수 있다.
차량 통신부(1100)는, 교통 시스템과 정보, 데이터 또는 신호를 교환하는 ITS 통신 모듈을 포함할 수 있다. ITS 통신 모듈은, 교통 시스템에 획득한 정보, 데이터를 제공할 수 있다. ITS 통신 모듈은, 교통 시스템으로부터, 정보, 데이터 또는 신호를 제공받을 수 있다. 예를 들면, ITS 통신 모듈은, 교통 시스템으로부터 도로 교통 정보를 수신하여, 차량 제어부(1200)에 제공할 수 있다. 예를 들면, ITS 통신 모듈은, 교통 시스템으로부터 제어 신호를 수신하여 차량 제어부(1200) 또는 자율 주행 차량(1000) 내부에 구비된 프로세서에 제공할 수 있다.
실시예에 따라, 차량 통신부(1100)의 각 모듈은 차량 통신부(1100) 내에 구비된 별도의 프로세서에 의해 전반적인 동작이 제어될 수 있다. 차량 통신부(1100)는, 복수의 프로세서를 포함하거나, 프로세서를 포함하지 않을 수도 있다. 차량 통신부(1100)에 프로세서가 포함되지 않는 경우, 차량 통신부(1100)는, 자율 주행 차량(1000) 내 다른 장치의 프로세서 또는 차량 제어부(1200)의 제어에 따라, 동작될 수 있다.
차량 통신부(1100)는, 사용자 인터페이스부(1300)와 함께 차량용 디스플레이 장치를 구현할 수 있다. 이 경우, 차량용 디스플레이 장치는, 텔레 매틱스(telematics) 장치 또는 AVN(Audio Video Navigation) 장치로 명명될 수 있다.
차량 통신부(1100)는, 자율 주행 차량(1000)이 자율 주행 모드로 운행되는 경우, 특정 정보를 5G 네트워크로 전송할 수 있다.
이 때, 특정 정보는 자율 주행 관련 정보를 포함할 수 있다.
자율 주행 관련 정보는, 차량의 주행 제어와 직접적으로 관련된 정보일 수 있다. 예를 들어, 자율 주행 관련 정보는 차량 주변의 오브젝트를 지시하는 오브젝트 데이터, 맵 데이터(map data), 차량 상태 데이터, 차량 위치 데이터 및 드라이빙 플랜 데이터(driving plan data) 중 하나 이상을 포함할 수 있다.
자율 주행 관련 정보는 자율 주행에 필요한 서비스 정보 등을 더 포함할 수 있다. 예를 들어, 특정 정보는, 사용자 단말기(3000) 또는 정류장 단말기(4000)를 통해 입력된 목적지와 차량의 안정 등급에 관한 정보를 포함할 수 있다.
또한, 5G 네트워크는 차량의 원격 제어 여부를 결정할 수 있다.
여기서, 5G 네트워크는 자율 주행 관련 원격 제어를 수행하는 서버(2000) 또는 모듈을 포함하는 의미일 수 있다.
또한, 5G 네트워크는 원격 제어와 관련된 정보(또는 신호)를 자율 주행 차량(1000)으로 전송할 수 있다.
전술한 바와 같이, 원격 제어와 관련된 정보는 자율 주행 차량(1000)에 직접적으로 적용되는 신호일 수도 있고, 나아가 자율 주행에 필요한 서비스 정보를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 차량 제어부(1200)는, 센싱부(1600)를 통하여 감지된 차량 외부의 사람들을 분석하여 탑승 승객 후보군을 추출할 수 있다.
즉, 차량 제어부(1200)는 센싱부(1600)를 제어하여 기설정된 영역 이내에서 차량 외부의 사람들을 감지하고, 감지된 차량 외부 사람들을 분석하여 탑승 승객 후보군을 추출할 수 있다.
도 5a는 본 발명의 일 실시예에 따른 차량 제어부(1200)가 기설정된 영역 이내에서 센싱부(1600)를 통하여 감지된 외부 사람들을 분석하여 탑승 승객 후보군을 추출하는 모습을 나타낸 도면이다.
도 5a를 참조하면, 차량(1000)은 기설정된 기준지점(501)(예컨대, 정차 예정지, 정류장)과의 거리가, 미리 설정된 거리(R) 이내로 진입하는 시점부터 센싱부(1600)를 통해, 기설정된 영역 내 외부 사람들을 감지할 수 있다. 기설정된 영역은 기준지점(501)으로부터 미리 설정된 거리(R) 이내의 범위로 설정될 수 있다. 여기서, 미리 설정된 거리(R)는 차량(1000)의 센싱부(1600)의 센싱 유효 거리, 차량(1000)의 정차 예정지에 대한 시야 확보 정도, 날씨, 시간(낮/밤), 도로의 교통 상황 등 다양한 조건에 의해 다르게 설정될 수 있다.
또한, 차량(1000)이 기준지점(501)에 도착한 경우, 상기 기설정된 영역은 차량(1000)의 승하차문이 배치된 지점으로부터, 미리 설정된 거리(R) 이내의 범위로 설정될 수도 있다.
예컨대, 차량(1000)이 승객의 승하차를 위해 정차한 경우, 정차 예정지는 차량(1000)의 승하차문이 배치된 지점이 될 수 있다. 이때, 센싱부(1600)는 상기 승하차문을 기준으로 기설정된 영역 내에서 차량 외부의 사람들을 감지할 수 있다.
센싱부(1600)는 라이더(미도시) 및/또는 레이더(미도시)를 이용하여 차량(1000) 승하차문으로부터 외부의 사람들 각각의 거리를 측정할 수 있으며, 외부 카메라(미도시)를 이용하여 기설정된 영역(R) 이내에서 차량(1000) 외부의 사람들을 촬영하거나, 외부 사람들이 소지한 단말기와의 통신(5G 네트워크, 블루투스 등) 등을 통해서 차량(1000) 외부의 사람들을 감지할 수 있다.
이에, 차량 제어부(1200)는 기설정된 영역 이내에서 센싱부(1600)를 통하여 감지된 외부 사람들의 행동, 위치, 소지한 단말기와의 통신 등을 통하여 탑승 승객 후보군을 추출할 수 있다.
본 발명의 일 실시예에 따른 차량 제어부(1200)는, 기설정된 영역 이내에서 감지된 차량 외부의 사람들의 얼굴, 동작 및 이동 방향 중 적어도 하나를 분석하여 탑승 승객 후보군을 추출할 수 있다.
예를 들어, 차량 제어부(1200)는 센싱부(1600)를 제어하여 기설정된 영역 이내에 차량 외부의 사람들을 카메라로 촬영하고, 촬영된 사람들의 특정 행동들, 예컨대, 얼굴, 동작 및 이동 방향 중 적어도 하나를 분석하여 탑승 승객 후보군을 추출할 수 있다.
즉, 차량 제어부(1200)는 자율 주행 차량(1000)의 외부 카메라(미도시)로 촬영된 동영상들의 각 프레임들에서 사람들의 얼굴, 동작, 이동 방향 등의 특징점들(features)을 추출하고, 기계 학습(machine learning)을 통한 특징점들의 공통 분류를 통하여 탑승 승객 후보군을 추출할 수 있다.
예를 들어, 차량 제어부(1200)는 미리 훈련된 심층 신경망 모델을 포함할 수 있다. 즉, 상기 심층 신경망 모델은 탑승 승객 후보군의 특정 행동들, 동작들, 이동방향, 얼굴 표정 등에서 특징점(feature)들을 추출 파악하여, 상기 특징점들을 훈련 데이터로 이용하여 미리 훈련된 심층 신경망 모델일 수 있다.
예를 들면, 카메라로 촬영된 프레임들에서의 특정 행동들, 얼굴, 동작 및 이동 방향 등, 예컨대, 사람들이 차량(1000)을 부르거나 대기하라는 몸짓, 손짓, 행동 등이 심층 신경망 모델의 학습을 위한 특징점들이 될 수 있다. 차량을 향하여 정차하여 기다리라는 손짓, 차량이 빨리 오라는 손짓이나 차량을 향해 뛰어오거나 급격히 걸어오는 모습, 차량 방향으로의 긴박한 표정 등이 특징점으로 사용되어, 심층 신경망 모델에서 탑승 승객 후보군을 추출하는 훈련 데이터로 사용될 수 있다.
이에, 차량 제어부(1200)는 미리 훈련된 심층 신경망 모델을 이용하여 차량 외부의 사람들의 얼굴, 동작 및 이동 방향 중 적어도 하나를 분석하여 탑승 승객 후보군을 추출할 수 있다. 이때, 차량 제어부(1200)는 사용자 단말기(3000) 또는 정류장 단말기(4000)를 통해 입력된, 탑승 예정자 정보에 기초하여, 탑승 승객 후보군의 예약 여부를 확인할 수 있다. 즉, 차량 제어부(1200)는 탑승 예정자 정보 내 얼굴 사진과 차량의 외부 카메라로 기설정된 영역을 촬영된 프레임 내 탑승 승객 후보군의 얼굴이 일치하는 경우, 상기 탑승 승객 후보군이 미리 예약한 것으로 확인할 수 있다. 여기서, 차량 제어부(1200)는 탑승 예정자 정보 내 얼굴 사진과 일치하는 사람은 물론, 탑승 예정자 정보 내 얼굴 사진과 일치하지 않는 사람 또한, 다양한 행동(탑승 승객 후보군의 특정 행동들, 동작들, 이동방향, 얼굴 표정)을 하는 경우, 탑승 승객 후보군으로 판단할 수 있다.
차량 제어부(1200)는 탑승 예정자에 대해서는 동작에 대한 판단을 수행하지 않고, 탑승 예정자가 아닌 사람들 중 기설정된 영역에 위치하는 사람들을 대상으로만 동작 분석을 수행할 수 있다.
여기에서, 차량 외부 사람들의 이동 방향은 카메라를 통한 동영상 촬영에서도 분석 가능하나, 소지 단말기와의 5G 네트워트 통신, 블루투스 통신, GPS 위치 확인 등을 통하여서도 분석 가능하다.
또한, 차량 제어부(1200)는 기설정된 영역 이내에서 감지된 외부 사람들의 얼굴을 분석하여 이전에 자율 주행 차량(1000)의 탑승 기록이 존재하는 경우에는 이번에도 탑승이 기대되는 탑승 승객 후보군으로 추출할 수 있다.
예를 들어, 센싱부(1600)를 통하여 감지된 외부 사람들의 얼굴 정보와 이전에 획득된 탑승 예정자 정보와 비교하여 동일 인물로 판단된 경우에는, 차량 제어부(1200)는 심층 신경망 모델을 이용하여 탑승 횟수, 특정 시간대의 탑승 여부, 탑승 주기 등을 고려하여 탑승 승객 후보군으로 추출할 수 있다.
본 발명의 일 실시예에 따른 차량 제어부(1200)는, 추출된 탑승 승객 후보군 및 수신 받은 탑승 예정자 정보를 이용하여 예비 탑승자의 인원을 계산할 수 있다.
여기에서, 탑승 예정자 정보는 사용자 단말기(3000) 및/또는 정류장 단말기(4000)로부터 입력된 정보로서, 탑승을 희망하는 사람들이 탑승을 예약하기 위해서 단말기(3000, 4000)를 통하여 입력한 사용자 정보를 의미할 수 있다.
예를 들어, 탑승 희망자가 자율 주행 차량(1000)의 탑승을 희망하는 경우, 사용자 단말기(3000) 및/또는 정류장 단말기(4000)를 이용하여 탑승 희망 정보, 즉, 자신의 성명, 얼굴 사진, 소지 물품, 개인 식별 번호, 승차 예정지, 하차 예정지 및 승차 희망 시간 등의 탑승 예정자 정보를 입력할 수 있다.
이에, 차량 제어부(1200)는 네트워크를 이용하여 사용자 단말기(3000) 및/또는 정류장 단말기(4000)를 통하여 입력된 탑승 예정자 정보를 획득하고, 단말기(3000, 4000)로부터 입력되어 획득된 탑승 예정자 정보 및 미리 훈련된 심층 신경망 모델을 이용하여 추출한 탑승 승객 후보군의 정보를 이용하여, 예비 탑승자의 인원을 계산할 수 있다.
환언하면, 차량 제어부(1200)는 외부 단말기, 예컨대 사용자 단말기(3000) 및/또는 정류장 단말기(4000)로부터 입력된 탑승 예정자 정보 및 미리 훈련된 심층 신경망 모델을 이용하여 추출된 탑승 승객 후보군의 정보를 이용하여 예비 탑승자의 인원을 계산할 수 있다. 이때, 차량 제어부(1200)는 상기 탑승 승객 후보군에 속하는 얼굴과 상기 탑승 예정자 정보 내 얼굴 사진을 비교한 결과, 일치하는 사람의 인원수를 산출하고, 상기 탑승 승객 후보군의 인원수와 상기 탑승 예정자의 인원수를 합한 결과에서, 상기 산출된 인원수를 차감하여, 상기 예비 탑승자의 인원을 계산할 수 있다.
이후, 차량 제어부(1200)는 상기 예비 탑승자의 인원에 기초하여, 상기 차량의 탑승 대기 시간을 결정(예컨대, 예비 탑승자의 인원이 속하는 범위에 대응하는 시간)하거나, 또는 설정된 시간을 상기 탑승 대기 시간으로 결정할 수 있다. 이때, 차량 제어부(1200)는 예컨대, 예비 탑승자의 인원이 속하는 범위를 확인하고, 상기 확인된 범위에 대응하는 시간을, 탑승 대기 시간으로 결정하거나, 또는 예비 탑승자의 인원에 비례하여 탑승 대기 시간을 결정할 수 있다. 차량 제어부(1200)는 예비 탑승자의 인원이 7명일 경우, 5~10 인원의 범위에 대응하는 2분으로 탑승 대기 시간으로 결정할 수 있다.
한편, 차량 제어부(1200)는 도 5b에 도시된 바와 같이, 상기 기설정된 영역을 기설정된 기준지점(501)(예컨대, 정차 예정지, 정류장, 차량의 승하차문)과의 이격 거리(d1, d2, d3)에 기초하여, 다수의 구간(예컨대, 제1~3구간)으로 나누어 구분하고, 상기 다수의 구간 중에서 상기 예비 탑승자가 존재하는 구간에 따라, 상기 탑승 대기 시간을 상이하게 조정할 수 있다. 이때, 차량 제어부(1200)는 기 설정 영역과의 이격 거리 먼 구간일수록 예비 탑승자가 존재하는 경우, 탑승 대기 시간을 길게 조정할 수 있다.
예를 들어, 기설정된 영역에서 자율 주행 차량(1000)의 승하차문에 대응되는 지점을 기준으로, 가장 가까운 거리 구간을 제1 구간으로 가정하고, 가장 먼 거리 구간을 제3 구간으로 가정했을 때, 차량 제어부(1200)는 예비 탑승자가 제1 구간에 존재하는 경우, 상기 결정된 탑승 대기 시간이 2분이면, 20초(제1 구간에 대응하는 조정시간)를 증가시켜 2분 20초로 상기 탑승 대기 시간을 조정할 수 있으며, 탑승 승객 후보군이 제3 구간에 존재하는 경우, 상기 결정된 탑승 대기 시간이 2분이면, 1분(제3 구간에 대응하는 조정시간) 증가시켜 3분으로 상기 탑승 대기 시간을 조정할 수 있다.
또한, 차량 제어부(1200)는 상기 차량 외부의 사람들의 얼굴, 체형, 걸음걸이 및 소지 물품 중 적어도 하나에 기초하여, 예비 탑승자의 승객 타입을 결정할 수 있다. 이때, 차량 제어부(1200)는 상기 결정된 예비 탑승자의 승객 타입(type)(예컨대, 환자, 노인, 어린이, 임산부, 일반인)에 기초하여, 상기 결정된 탑승 대기 시간(또는, 구간에 따라 조정된 탑승 대기 시간)을 조정하거나, 또는 예비 탑승자가 존재하는 구간을 구분하는 이격 거리를 조정 함으로써, 예비 탑승자가 존재하는 구간을 변경 함에 따라, 탑승 대기 시간을 조정할 수 있다.
승객 타입에 기초한 탑승 대기 시간 조정시, 차량 제어부(1200)는 상기 결정된 탑승 대기 시간을, 기설정된 승객 타입별 탑승 추가 시간에 기초하여 조정할 수 있다. 예컨대, 차량 제어부(1200)는 제1 구간, 제2 구간 및 제3 구간에 예비 탑승자가 존재하는 경우, 탑승 대기 시간을 각각 기설정된 기준에 따라, 2분 20초, 2분 40초, 3분으로 결정했을 때, 제1 구간에 존재하는 예비 탑승자의 승객 타입이 노인일 경우, 제1 구간에서의 탑승 대기 시간(2분 20초)을 노인의 탑승 추가 시간인 20초 만큼 증가시켜, 2분 40초로 조정할 수 있다.
또한, 승객 타입에 기초한 구간 변경시, 차량 제어부(1200)는 기설정된 기준지점으로부터의 설정된 구간별 이격 거리(d1, d2, d3)를, 예비 탑승자의 위치에 기초하여, 조정할 수 있다. 예컨대, 차량 제어부(1200)는 제1 구간, 제2 구간 및 제3 구간을 구분하는데 기준이 되는 구간별 이격 거리를 각각 기설정된 기준에 따라, 2m, 3m, 5m로 결정했을 때, 제2 구간에 존재하는 예비 탑승자의 승객 타입이 환자일 경우, 환자의 위치(2.5m)에 기초하여, 환자가 제3 구간에 존재할 수 있도록 기존 제2 구간의 이격 거리(3m)를 2.4로 조정 함으로써, 탑승 대기 시간을 2분 30초(제2 구간에 대응하는 탑승 대기 시간) 3분(제3 구간에 대응하는 탑승 대기 시간)으로 증가시킬 수 있다.
또한, 차량 제어부(1200)는 기설정된 영역에 존재하는 예비 탑승자의 인원(수)과 기설정 인원(수)(예컨대, 차량(1000)의 수용량)를 비교하고, 상기 비교한 결과에 기초하여, 기설정된 영역 내 각 구간에서의 탑승 대기 시간을 조정하거나, 또는 각 구간을 구분하는데 기준이 되는 상기 이격 거리를 조정할 수 있다. 예컨대, 차량 제어부(1200)는 기설정된 영역에 존재하는 예비 탑승자의 인원이 기설정 인원 보다 적은 경우, 각 구간에서의 탑승 대기 시간 또는 구간별 이격 거리를 인원 차이에 비례하여 증가시키거나, 또는 설정치 만큼 증가시킬 수 있다.
또한, 차량 제어부(1200)는 상기 탑승 승객 후보군 및 상기 탑승 예정자 정보에 기초하여 탑승 확정자를 결정하고, 상기 탑승 확정자에 기초하여 예비 탑승자의 인원을 계산 함으로써, 차량 내부에 실제로 탑승하는 탑승자의 인원수를 확인할 수 있다. 이때, 차량 제어부(1200)는 예컨대, 정차 예정지를 기준으로, 이격 거리에 기초하여 상기 기설정된 영역을 다수의 구간으로 구분하고, 상기 다수의 구간 중에서 상기 정차 예정지로부터 가장 가까운 구간(제1 구간)에, 존재하는 상기 탑승 승객 후보군만을 제1 탑승 확정자로 결정할 수 있다. 또한, 차량 제어부(1200)는 상기 탑승 예정자 정보에 포함된 탑승 예정자를 제2 탑승 확정자로 결정하며, 상기 제1 탑승 확정자의 인원수와 상기 제2 탑승 확정자의 인원수의 합에서 중복자를 제거한 탑승 확정자를, 상기 예비 탑승자의 인원으로서 계산할 수 있다. 여기서, 차량 제어부(1200)는 사용자 단말기(3000) 또는 정류장 단말기(4000)를 통해 입력된, 탑승 예정자 정보 내 얼굴 사진과 기설정된 영역 이내에서, 자율 주행 차량(1000)의 외부 카메라(미도시)로 촬영된 탑승 승객 후보군에 속하는 얼굴이 일치하는 경우, 해당 얼굴의 사람을 중복자로 확인할 수 있다.
즉, 차량 제어부(1200)는 탑승 승객 후보군이 제1 구간에 존재하면, 미리 예약하지 않더라도, 제1 구간에 존재하는 탑승 승객 후보군을 탑승 확정자로 결정할 수 있다. 반편, 차량 제어부(1200)는 탑승 승객 후보군이 미리 예약한 경우, 탑승 승객 후보군이 존재하는 구간에 상관없이, 미리 예약한 탑승 승객 후보군을 탑승 확정자로 결정할 수 있다. 즉, 차량 제어부(1200)는 제1 구간, 제2 구간 및 제3 구간에 존재하는 예약 탑승 승객 후보군을 모두 탑승 확정자로 결정할 수 있다.
이때, 차량 제어부(1200)는 미리 예약한 탑승 승객 후보군이 제3 구간을 벗어난 경우, 예약한 상기 탑승 승객 후보군이 제3 구간을 기준으로 일정 거리 범위 내에 있으면, 제3 구간의 이격 거리를 예약한 상기 탑승 승객 후보군을 포함하도록 조정할 수 있다.
한편, 차량 제어부(1200)는 탑승 예정자 정보 및 탑승 승객 후보군의 정보를 이용하여 예비 탑승자의 인원을 계산하고, 정류장(예상 정차지)에 정차시 하차 인원, 예비 탑승자의 인원, 기존의 차량 내 탑승객에 기초하여, 차량 내 전체 탑승객이 차량(1000)의 수용량을 초과한다고 판단되면, 우선 순위에 따라 좌석을 배분할 수 있다.
예를 들어, 단말기(3000, 4000)를 통하여 미리 예약한 승객들(탑승 예정자 정보에 포함된 승객들) 및 탑승 승객 후보군 중에서 환자, 노인, 어린 아이들을 우선 순위로 두고, 환자, 노인, 어린 아이들을 제외한 탑승 승객 후보군들을 후순위로 하여 좌석을 배분할 수 있다.
또한, 차량 제어부(1200)는 수용량을 초과하여 단말기(3000, 4000)를 통하여 미리 예약한 승객들(탑승 예정자 정보에 포함된 승객들)을 수용하지 못하는 경우, 미리 획득된 탑승 예정자 정보를 이용하여 각 사용자 단말기로 다음 차량을 안내하거나, 차량 외부에 장착된 디스플레이부(1340)를 통해 현재 수용량 상태(예컨대, 차량의 수용량 대비 기존 탑승객의 인원수)를 표시할 수 있다.
또한, 차량 제어부(1200)는 상기 예비 탑승자의 인원에 따라 상기 정차 예정지에의 정차 여부를 결정할 수 있다. 이때, 차량 제어부(1200)는 상기 정차 여부와 함께, 여유 좌석, 탑승 대기 시간, 탑승 정원(수용량, 수용인원) 및 현재 수용량 상태(예컨대, 기존 탑승자의 인원수) 중 적어도 하나를 포함하는 탑승 안내정보를 디스플레이부(1340)를 통해, 도 6a에 도시된 바와 같이, 차량 외부로 표시할 수 있다. 또한, 차량 제어부(1200)는 차량 번호, 출발지, 목적지 등을 포함하는 운행 정보를 디스플레이부(1340)를 통해 더 표시할 수 있다.
상기 정차 여부 결정시, 차량 제어부(1200)는 정차 예정지에서, 하차 인원과 예비 탑승자의 인원이 모두 없다고 판단되거나, 또는 하차 인원이 없는 상태에서, 기존의 차량 내 탑승객이 차량의 수용량을 초과하는 것으로 판단되는 경우, 패스(PASS, 정차하지 않음)로 결정할 수 있다.
현재 수용량 상태, 정차 여부 및 탑승 대기 시간 중 적어도 하나를 표시한 후, 차량 제어부(1200)는 센싱부(1600)에 의해 감지되는 상기 기설정된 영역 내의 사람들의 얼굴, 동작 및 이동 방향 중 적어도 하나를 분석하여 상기 탑승 승객 후보군을 재추출할 수 있다. 예컨대, 차량 제어부(1200)는 하차 인원과 예비 탑승자의 인원이 모두 없다고 판단됨에 따라, 정차 여부를 패스(PASS)로 결정하여 디스플레이부(1340)에 표시한 후, 센싱부(1600)의 센싱 정보를 분석한 결과, 탑승 승객 후보군이 재추출되고, 기존 탑승객의 인원수가 차량의 수용량 보다 적은 경우(탑승자를 승차시킬 수 있는 경우), 정차 여부를 스탑('STOP', 정차함)으로 변경하여, 차량을 정차 예정지에 정차시킬 수 있다.
또한, 차량 제어부(1200)는 탑승 예정자 정보에 기초하여, 정차 예정지에서의 차량의 정치 위치를 결정할 수 있다.
예를 들어, 정류장 단말기(4000)로부터 입력된 탑승 예정자 정보만이 존재하고, 사용자 단말기(3000)를 통하여 입력된 탑승 예정자 정보가 부존재 하는 경우에는, 기 입력된 정류장 단말기(4000)의 위치를, 정차 예정지에서의 차량의 정차 위치로 결정할 수 있다.
또한, 사용자 단말기(3000)를 통하여 입력된 탑승 예정자 정보만 존재 하고, 정류장 단말기(4000)로부터 입력된 탑승 예정자 정보는 부존재하는 경우에는, 기 입력된 사용자 단말기(3000)의 위치를 고려하여, 정차 예정지 근방에서의 차량의 정차 위치로 결정할 수 있다.
또한, 사용자 단말기(3000)로 입력된 탑승 예정자 정보 및 정류장 단말기(4000)로부터 입력된 탑승 예정자 정보 모두 존재하는 경우에는, 차량 제어부(1200)는 사용자 단말기(3000)의 대응 위치 및 정류장 단말기(4000)의 대응 위치 각각 모두를 정차 예정지에서의 차량의 정차 위치로 설정하는 것도 가능하고, 사용자 단말기(3000)의 대응 위치 및 정류장 단말기(4000)의 대응 위치가 가까운 곳에 위치하면 두 지역 중 어느 하나의 지역을 정차 예정지에서의 차량의 정차 위치로 설정하는 것도 가능하다.
또한, 본 발명의 일 실시예에 따른 차량 제어부(1200)는, 탑승 예정자 정보 및 추출된 탑승 승객 후보군의 영상을 분석하여, 예비 탑승자의 승객 타입을 결정하고, 교통약자(예컨대, 임산부, 환자, 노인, 어린이 등)에 속하는 승객의 위치에 기초하여, 정차 예정지에서의 차량의 정차 위치를 결정할 수 있다.
예를 들어, 탑승 희망자가 사용자 단말기(3000) 및/또는 정류장 단말기(4000)를 이용하여 소지 물품, 예컨대, 휠체어, 유모차 등의 소지 물품의 소지 유무를 입력하면, 탑승 예정자 정보에 휠체어, 유모차 등의 소지 물품의 소지 유무가 포함되어 차량 제어부(1200)에 전달될 수 있다. 차량 제어부(1200)는 사용자 단말기(3000) 및/또는 정류장 단말기(4000)로부터 입력된 상기 탑승 예정자 정보로부터 탑승 예정자의 승객 타입을 결정하거나, 또는 차량의 외부 카메라를 통해 촬영한 영상으로부터 추출한 탑승 승객 후보군(또는, 탑승 예정자)에 속한 사람들의 얼굴, 체형, 걸음걸이 및 소지 물품 중 적어도 하나에 기초하여 승객 타입을 결정할 수 있다.
차량 제어부(1200)는 상기 교통약자에 속하는 승객의 위치에 기초하여, 탑승 거리를 최소화할 수 있는 거리를 계산하여 승차 지원을 위한 차량의 정차 위치를 결정 함으로써, 탑승을 용이하게 한다. 예컨대, 차량 제어부(1200)는 탑승 예정자 정보에 기초하여, 승객 타입이 임산부로 결정되면, 차량의 정차 위치를, 환자가 위치하는 인도와의 일반적인 거리 폭 보다 설정치 적은 폭 이내로 결정(예컨대, 차량과 인도와의 거리 폭을 1m에서 20㎝로 줄임)할 수 있다. 또한, 차량 제어부(1200)는 예컨대, 기설정된 영역 이내에서 차량의 외부 카메라를 통해 촬영한 영상에서 노인이 추출되는 경우, 노인이 존재하는 위치를 기준으로 설정된 범위 이내에, 승하차문이 위치하도록 차량의 정차 위치를 결정할 수 있다.
또한, 차량 제어부(1200)는 탑승 예정자 정보 및 추출된 탑승 승객 후보군들의 영상을 이용하여, 소지 물품 종류(예컨대, 휠체어, 유모차)에 따라 탑승자들이 승차에 어려움이 있을 것이라고 판단되는 경우에 승차 지원을 위한 발판을 작동시키거나, 차량(1000)의 승하차문 높이를 인도의 높이에 맞추도록 차량(1000)의 높이를 조절할 수 있다.
또한, 본 발명의 일 실시예에 따른 차량 제어부(1200)는, 내부 카메라에서 촬영된 영상을 이용하여 차량 내부의 승객 타입을 결정할 수 있으며, 승객 타입이 교통약자(예컨대, 임산부, 환자, 노인, 어린이 등)에 속하는 경우, 승차시와 마찬가지로, 하차시에도 해당 승객의 위치에 기초하여, 정차 예정지에서의 차량의 정차 위치를 결정할 수 있다.
한편, 본 발명의 일 실시예에 따른 차량 제어부(1200)는, 탑승자 수요 정보 및 주행 지역 정보를 반영하여 고정 경로 운행 모드 및 유연 경로 운행 모드 중의 하나를 선택하여 차량을 운행할 수 있다.
예를 들어, 고정 경로 운행 모드가 선택된 경우, 사용자 단말기(3000) 및 정류장 단말기(4000)로부터 입력된 탑승 예정자 정보가 부존재(단말기를 통한 입력(예약)이 없는 경우)하는 경우라 하더라도, 차량 제어부(1200)는 탑승자 수요 정보 및 주행 지역 정보를 반영하여 예약 없이 탑승하려는 탑승객들(탑승 승객 후보군)이 존재하리라고 판단되면, 기 설정된 정류장을 다음 정차 예정지로 설정하여 다음 정차 예정지로 이동 후 대기할 수 있다.
즉, 단말기(3000, 4000)를 통한 자율 주행 차량(1000)의 이동 예약이 없는 경우라 할지라도, 차량 제어부(1200)는 탑승자 수요 정보 및 주행 지역 정보를 반영하여, 시간대에 따라서 탑승자가 빈번하게 발생되는 지역이거나 사람들의 이동이 빈번하게 발생되는 인구 밀집 지역이라고 판단하면, 정류장 단말기(4000)의 예약이 없는 곳의 정류장도 다음 정차 예정지로 설정하여 고정된 경로로 운행할 수 있다. 다시 말해, 차량 제어부(1200)는 상기 고정 경로 운행 모드가 선택된 경우, 정해진 경로 내 기설정된 정류장 마다 정차할 수 있다.
또한, 유연 경로 운행 모드가 선택된 경우, 차량 제어부(1200)는 사용자 단말기(3000) 및 정류장 단말기(4000)로부터의 입력도 없고, 탑승자 수요 정보 및 주행 지역 정보를 반영하여 탑승객이 부존재할 것이라고 판단하면, 다음 예약이 존재하는 단말기(3000, 4000)에 대응하는 장소를 다음 정차 예정지로 설정하여 이동할 수 있다.
예를 들면, 차량 제어부(1200)는 탑승자 수요 정보 및 주행 지역 정보를 반영하여, 현재 위치에 대응되는 외부 단말기(3000, 4000)로부터의 아무런 입력(예약)도 없고, 사용 시간대 및 주행 지역을 고려하여 아무런 탑승객이 없다고 판단하면, 현재 위치에 대응하는 정류장을 그대로 통과하고, 다음 예약이 존재하는 단말기(3000, 4000)에 대응하는 위치(장소)를 다음 정차 예정지로 설정하는 등 유연한 경로를 설정하여 차량(1000)을 운행시킬 수 있다. 다시 말해, 차량 제어부(1200)는 상기 정해진 경로 내 기설정된 정류장 중에서, 상기 차량 내부에 하차하는 승객이 존재하거나, 또는 예비 탑승자가 존재하는 정류장에 정차할 수 있다. 또한, 차량 제어부(1200)는 상기 사용자 단말기 또는 상기 정류장 단말기에서 정차를 호출한 상기 정해진 경로 내 지점에 정차 함으로써, 정류장이 아니더라도, 탑승자가 원하는 위치에서 차량을 탑승할 수 있게 한다.
결과적으로, 차량 제어부(1200)는, 탑승자 수요 정보 및 주행 지역 정보를 반영하여 고정적인 경로를 운행하는 고정 경로 운행 모드 및 단말기(3000, 4000)로부터의 입력(예약) 존재 유무 및 시간대에 따른 탑승자 수요 정보, 인구 밀집 지역, 교통 밀집 지역 등의 주행 지역 정보를 고려하여 예상되는 정차 예정지를 유연적으로 결정하여 운행하는 유연 경로 운행 모드 중의 하나를 선택하여 차량(1000)을 운행할 수 있다.
예를 들어, 자율 주행 차량(1000)은 평일 출, 퇴근 시간대에는 탑승객들의 편의 및 승하차 장소 혼동을 방지하기 위해서 고정적인 경로로 운행되는 고정 경로 운행 모드로 운행될 수 있으며, 출, 퇴근 시간대를 제외한 시간대에는 단말기(3000, 4000)를 통한 입력 유무, 시간대에 따른 교통량, 탑승자 수요 정보 등을 고려하여 유연한 경로로 운행되는 유연 경로 운행 모드로 운행 될 수 있다.
여기에서, 탑승자 수요 정보는 단말기(3000, 4000)를 통하여 입력되는 탑승 예정자 정보와, 요일 및 시간대별 자율 주행 차량의 탑승자 정보로 미리 훈련된 심층 신경망 모델을 이용하여 결정될 수 있다.
즉, 차량 제어부(1200)는 탑승자 수요 정보를 단말기(3000, 4000)를 통하여 입력된 탑승 예정자 정보로부터 획득할 수 있다.
또한, 요일 및 시간대별 차량의 탑승자 정보는 심층 신경망 모델을 이용하여 각 요일, 시간대별로 이용하는 승객들의 수요 정보를 특징점으로 훈련시켜 각 요일, 시간대별로 이용할 승객들의 수요를 미리 예측할 수 있다.
즉, 차량 제어부(1200)는 단말기(3000, 4000)를 통하여 미리 입력된 탑승 예정자 정보와 미리 훈련된 심층 신경망 모델을 이용하여 각 요일, 시간대별 이용하는 승객들의 수요 정보를 미리 예측함으로써, 탑승 예정자들이 존재하리라고 예상되는 각 정차 예정지를 순차적으로 설정하여 유연 경로 운행을 수행할 수 있다.
차량 제어부(1200)는, ASICs (Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서(Processors), 제어기(Controllers), 마이크로 컨트롤러(Micro-controllers), 마이크로 프로세서(Microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
도 7은 자율 주행 차량(1000)의 사용자 인터페이스부(1300)를 도시한 블록도이다.
도 7을 참조하면, 사용자 인터페이스부(1300)는, 차량(1000)과 차량 이용자와의 소통을 위한 것으로, 이용자의 입력 신호를 수신하고, 수신된 입력 신호를 차량 제어부(1200)로 전달하며, 차량 제어부(1200)의 제어에 의해 이용자에게 차량(1000)이 보유하는 정보를 제공할 수 있다.
사용자 인터페이스부(1300)는, 입력부(1310), 내부 카메라부(1320), 생체 감지부(1330), 디스플레이부(1340) 및 음향 출력부(1350)를 포함할 수 있으나 이에 한정되지 않는다.
입력부(1310)는, 사용자로부터 정보를 입력 받기 위한 것으로, 입력부(1310)에서 수집한 데이터는, 차량 제어부(1200)에 의해 분석되어, 사용자의 제어 명령으로 처리될 수 있다.
입력부(1310)는, 차량 내부에 배치될 수 있다. 예를 들면, 입력부(1310)는, 스티어링 휠(Steering wheel)의 일 영역, 인스투루먼트 패널(Instrument panel)의 일 영역, 시트(seat)의 일 영역, 각 필러(Pillar)의 일 영역, 도어(Door)의 일 영역, 센타 콘솔(Center console)의 일 영역, 헤드 라이닝(Head lining)의 일 영역, 썬바이저(Sun visor)의 일 영역, 윈드 쉴드(Windshield)의 일 영역 또는 윈도우(Window)의 일 영역 등에 배치될 수 있다.
입력부(1310)는, 음성 입력 모듈, 제스쳐 입력 모듈, 터치 입력 모듈 및 기계식 입력 모듈을 포함할 수 있다.
음성 입력 모듈은, 사용자의 음성 입력을 전기적 신호로 전환할 수 있다. 전환된 전기적 신호는, 차량 제어부(1200)에 제공될 수 있다.
음성 입력 모듈은, 하나 이상의 마이크로 폰을 포함할 수 있다.
제스쳐 입력 모듈은, 사용자의 제스쳐 입력을 전기적 신호로 전환할 수 있다. 전환된 전기적 신호는, 차량 제어부(1200)에 제공될 수 있다.
제스쳐 입력 모듈은, 사용자의 제스쳐 입력을 감지하기 위한 적외선 센서 및 이미지 센서 중 적어도 어느 하나를 포함할 수 있다.
실시예에 따라, 제스쳐 입력 모듈은, 사용자의 3차원 제스쳐 입력을 감지할 수 있다. 이를 위해, 제스쳐 입력 모듈은, 복수의 적외선 광을 출력하는 광출력부 또는 복수의 이미지 센서를 포함할 수 있다.
제스쳐 입력 모듈은, TOF(Time of Flight) 방식, 구조광(Structured light) 방식 또는 디스패러티(Disparity) 방식을 통해 사용자의 3차원 제스쳐 입력을 감지할 수 있다.
터치 입력 모듈은, 사용자의 터치 입력을 전기적 신호로 전환할 수 있다. 전환된 전기적 신호는 차량 제어부(1200)에 제공될 수 있다.
터치 입력 모듈은, 사용자의 터치 입력을 감지하기 위한 터치 센서를 포함할 수 있다.
실시예에 따라, 터치 입력 모듈은 디스플레이부(1340)와 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한, 터치 스크린은, 차량(1000)과 사용자 사이의 입력 인터페이스 및 출력 인터페이스를 함께 제공할 수 있다.
기계식 입력 모듈은, 버튼, 돔 스위치(dome switch), 조그 휠 및 조그 스위치 중 적어도 어느 하나를 포함할 수 있다. 기계식 입력 모듈에 의해 생성된 전기적 신호는, 차량 제어부(1200)에 제공될 수 있다.
기계식 입력 모듈은, 스티어링 휠, 센테 페시아, 센타 콘솔, 칵픽 모듈, 도어 등에 배치될 수 있다.
내부 카메라부(1320)는, 차량 내부 영상을 획득할 수 있다. 차량 제어부(1200)는, 차량 내부 영상을 기초로, 사용자의 상태를 감지할 수 있다. 차량 제어부(1200)는, 차량 내부 영상에서 사용자의 시선 정보를 획득할 수 있다. 차량 제어부(1200)는, 차량 내부 영상에서 사용자의 제스쳐를 감지할 수 있다.
생체 감지부(1330)는, 사용자의 생체 정보를 획득할 수 있다. 생체 감지부(1330)는, 사용자의 생체 정보를 획득할 수 있는 센서를 포함하고, 센서를 이용하여, 사용자의 지문 정보, 심박동 정보 등을 획득할 수 있다. 생체 정보는 사용자 인증을 위해 이용될 수 있다.
출력부는, 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 출력부는, 디스플레이부(1340), 음향 출력부(1350) 및 햅틱 출력 모듈 중 적어도 어느 하나를 포함할 수 있다.
디스플레이부(1340)는, 다양한 정보에 대응되는 그래픽 객체를 표시할 수 있다.
디스플레이부(1340)는 액정 디스플레이(Liquid Crystal Display, LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor Liquid Crystal Display, TFT LCD), 유기 발광 다이오드(Organic Light Emitting Diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.
디스플레이부(1340)는 터치 입력 모듈과 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다.
디스플레이부(1340)는 HUD(Head Up Display)로 구현될 수 있다. 디스플레이부(1340)가 HUD로 구현되는 경우, 디스플레이부(1340)는 투사 모듈을 구비하여 윈드 쉴드 또는 윈도우에 투사되는 이미지를 통해 정보를 출력할 수 있다.
디스플레이부(1340)는, 투명 디스플레이를 포함할 수 있다. 투명 디스플레이는 윈드 쉴드 또는 윈도우에 부착될 수 있다.
투명 디스플레이는 소정의 투명도를 가지면서, 소정의 화면을 표시할 수 있다. 투명 디스플레이는, 투명도를 가지기 위해, 투명 디스플레이는 투명 TFEL(Thin Film Electroluminescent), 투명 OLED(Organic Light-Emitting Diode), 투명 LCD(Liquid Crystal Display), 투과형 투명디스플레이, 투명 LED(Light Emitting Diode) 디스플레이 중 적어도 하나를 포함할 수 있다. 투명 디스플레이의 투명도는 조절될 수 있다.
한편, 사용자 인터페이스부(1300)는, 복수의 디스플레이 모듈을 포함할 수 있다.
디스플레이부(1340)는, 스티어링 휠의 일 영역, 인스투루먼트 패널의 일 영역, 시트의 일 영역, 각 필러의 일 영역, 도어의 일 영역, 센타 콘솔의 일 영역, 헤드 라이닝의 일 영역, 썬 바이저의 일 영역에 배치되거나, 윈드 쉴드의 일 영역, 윈도우의 일 영역에 구현될 수 있다.
본 발명의 일 실시예에 따른 디스플레이부(1340)는, 탑승자 및 보행자의 안전을 위해서, 자율 주행 차량(1000)의 주행 정보 및 주행 경로 내 장애물 정보를 실시간으로 표시할 수 있다.
예를 들어, 디스플레이부(1340)는 탑승자 및 보행자(타차량 운전자)의 안전 및 정보 제공을 위해서 자율 주행 차량(1000)의 내, 외부(예컨대, 차량의 전면, 측면, 후면)에 장착될 수 있다.
즉, 탑승자의 안전 및 정보 제공을 위해서, 차량의 내부에 설치된 디스플레이부(1340)는 주행 정보, 예컨대, 예컨대, 도 6b에 도시된 바와 같이, 자율 주행 여부, 정상 속도 주행 여부(예컨대, 정상 운행 중, 최고 속도의 80%), 가속 주행, 감속 주행(예컨대, 장애물 발견으로 인해 속도 줄임), 급정거 상태(또는, 정지) 및 주행 경로 내 장애물 정보를 실시간으로 디스플레이부(1340)에 표시할 수 있다.
예를 들어, 차량의 내부에 설치된 디스플레이부(1340)는 현재 자율 주행 중인지 또는 운전자가 운전 중인지의 자율 주행 여부, 현재 속도 표시 및 정상 운행 표시, 다음 정류장 정차를 위한 감속 주행 등을 실시간으로 디스플레이부(1340)에 표시할 수 있다.
또한, 주행 경로 내 장애물을 발견한 경우에, 탑승자들이 미리 대비할 수 있도록, 차량(1000)의 내부에 설치된 디스플레이부(1340)는 장애물의 위치, 크기 등을 실시간으로 디스플레이부(1340)에 표시할 수 있다.
또한, 보행자 및 타차량의 운전자의 안전 및 정보 제공을 위해서, 차량(1000)의 외부에 설치된 디스플레이부(1340)는 차량 번호, 다음 정차 예정지, 자율 주행 여부, 정상 속도 주행 여부, 가속 주행, 감속 주행, 급정거 상태, 주행 경로 내 장애물 정보를 실시간으로 디스플레이부(1340)에 표시할 수 있다.
즉, 보행자 및 타차량 운전자는 자율 주행 차량(1000)의 외부 디스플레이부(1340)를 통하여 다음 정차 예정지, 자율 주행 여부, 현재 주행 속도, 주행 경로 내 장애물 감지 여부 등을 확인하여 자율 주행 차량(1000)의 현재 상태, 진행 방향, 장애물 감지 여부 등을 파악함으로써, 자신(보행자 및 타차량)의 이동 방향, 운전 방향, 속도 등을 결정할 수 있다.
또한, 차량 제어부(1200)는 자율 주행 차량(1000)이 정류장에 근접하는 경우, 자율 주행 차량(1000)의 외부 디스플레이부(1340)를 통해, 정류장에서의 정차예정 유무를 표시하여, 상기 정류장의 탑승 승객 후보군으로 하여금 자율 주행 차량(1000)의 정차 여부를 확인할 수 있게 한다. 이때, 차량 제어부(1200)는 예컨대, 정류장에서 차량 내 탑승객이 하차하지 않고, 차량 내 탑승객이 차량(1000)의 수용량을 이미 초과한다고 판단되면, 무 정차에 대한 메시지를 외부 디스플레이부(1340)를 통해, 표시할 수 있다. 또한, 차량 제어부(1200)는 사용자 단말기(3000) 또는 정류장 단말기(4000)로부터 탑승 예정자 정보가 수신되지 않고, 차량의 외부 카메라를 통해 촬영한 영상에서 탑승 승객 후보군이 추출되지 않는 경우, 무 정차에 대한 메시지를 외부 디스플레이부(1340)를 통해, 표시할 수 있다.
차량 제어부(1200)는 외부 디스플레이부(1340)를 통한 정차 여부 표시 후 정류장에 있는 사람들의 반응 영상을 수집할 수 있다. 수집된 영상은 서버(2000)로 전달되어 해당 차량을 탑승하려는 의지가 있는지가 분석되고, 다음 번에 해당 정류장으로 오는 차량에 전달될 수 있다. 예를 들어, 서버(2000)는, 차량이 정차하지 않는다는 표시를 보고서도 차량 방향으로 접근하거나, 차량을 향해 손을 흔드는 사람이 있는 경우, 해당 노선의 차량을 탑승하려는 사람으로 판단할 수 있다.
음향 출력부(1350)는, 차량 제어부(1200)로부터 제공되는 전기 신호를 오디오 신호로 변환하여 출력한다. 이를 위해, 음향 출력부(1350)는, 하나 이상의 스피커를 포함할 수 있다.
햅틱 출력 모듈은, 촉각적인 출력을 발생시킨다. 예를 들면, 햅틱 출력 모듈은, 스티어링 휠, 안전 벨트, 시트를 진동시켜, 사용자가 출력을 인지할 수 있게 동작할 수 있다.
사용자 인터페이스부(1300)에 프로세서가 포함되지 않는 경우, 사용자 인터페이스부(1300)는, 차량(1000)내 다른 장치의 프로세서 또는 차량 제어부(1200)의 제어에 따라, 동작될 수 있다.
그 외에, 차량(1000) 외부에 위치하는 오브젝트를 검출하기 위한 오브젝트 검출 모듈을 포함할 수 있고, 오브젝트 검출 모듈은, 센싱 데이터에 기초하여 오브젝트 정보를 생성하고, 생성된 오브젝트 정보를 차량 제어부(1200)로 전달할 수 있다. 이때, 오브젝트는 차량(1000)의 운행과 관련된 다양한 물체, 예를 들면, 차선, 타 차량, 보행자, 이륜차, 교통 신호, 빛, 도로, 구조물, 과속 방지턱, 지형물, 동물 등을 포함할 수 있다.
즉, 오브젝트 검출 모듈은 센싱부(1600)에 포함되거나 센싱부(1600)를 포함하는 모듈일 수 있다.
오브젝트 검출 모듈은, 카메라, 레이다(RADAR: Radio Detection and Ranging), 라이다(LIDAR: Light Imaging Detection and Ranging), 초음파 센서 및 적외선 센서를 포함할 수 있다.
실시예에 따라, 오브젝트 검출 모듈은, 설명되는 구성 요소 외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
카메라는, 차량 외부 영상을 획득하기 위해, 차량의 외부의 적절한 곳에 위치할 수 있다. 카메라는, 모노 카메라, 스테레오 카메라, AVM(Around View Monitoring) 카메라 또는 360도 카메라일 수 있다.
카메라는, 차량(1000)에 장착된 카메라, 예를 들면, 블랙박스 장치에 장착된 카메라를 포함할 수 있고, 차량(1000)에 장착된 카메라를 이용하여 차량(1000) 주변의 영상을 촬상하고, 촬상된 영상을 차량 제어부(1200)에 제공할 수 있다. 카메라는, 오브젝트 검출 모듈의 동작을 위한 영상을 제공할 수 있다.
카메라는, 다양한 영상 처리 알고리즘을 이용하여, 오브젝트의 위치 정보, 오브젝트와의 거리 정보 또는 오브젝트와의 상대 속도 정보를 획득할 수 있다.
카메라는, 획득된 영상에서, 시간에 따른 오브젝트 크기의 변화를 기초로, 오브젝트와의 거리 정보 및 상대 속도 정보를 획득할 수 있다.
카메라는, 핀홀(pin hole) 모델, 노면 프로파일링 등을 통해, 오브젝트와의 거리 정보 및 상대 속도 정보를 획득할 수 있다.
카메라는, 스테레오 카메라에서 획득된 스테레오 영상에서 디스패러티(disparity) 정보를 기초로 오브젝트와의 거리 정보 및 상대 속도 정보를 획득할 수 있다.
카메라는, 차량 전방의 영상을 획득하기 위해, 차량의 실내에서, 프런트 윈드 쉴드에 근접하게 배치될 수 있다. 또는, 카메라는, 프런트 범퍼 또는 라디에이터 그릴 주변에 배치될 수 있다.
카메라는, 차량 후방의 영상을 획득하기 위해, 차량의 실내에서, 리어 글라스에 근접하게 배치될 수 있다. 카메라는, 리어 범퍼, 트렁크 또는 테일 게이트 주변에 배치될 수 있다.
카메라는, 차량 측방의 영상을 획득하기 위해, 차량의 실내에서 사이드 윈도우 중 적어도 어느 하나에 근접하게 배치될 수 있다. 또는, 카메라는, 사이드 미러, 휀더 또는 도어 주변에 배치될 수 있다.
카메라는, 획득된 영상을 차량 제어부(1200)에 제공할 수 있다.
차량 제어부(1200)는, 카메라의 스테레오 카메라에서 획득된 스테레오 영상에서 디스패러티(disparity) 정보를 기초로 오브젝트와의 거리 정보 및 상대 속도 정보를 획득할 수 있다.
레이다는, 전자파 송신 모듈, 수신 모듈을 포함할 수 있다. 레이다는 전파 발사 원리상 펄스 레이다(Pulse Radar) 방식 또는 연속파 레이다(Continuous Wave Radar) 방식으로 구현될 수 있다. 레이다는 연속파 레이다 방식 중에서 신호 파형에 따라 FMCW(Frequency Modulated Continuous Wave)방식 또는 FSK(Frequency Shift Keyong) 방식으로 구현될 수 있다.
레이다는 전자파를 매개로, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식에 기초하여, 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
레이다는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
라이다는, 레이저 송신 모듈, 수신 모듈을 포함할 수 있다. 라이다는, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식으로 구현될 수 있다.
라이다는, 구동식 또는 비구동식으로 구현될 수 있다.
구동식으로 구현되는 경우, 라이다는, 모터에 의해 회전되며, 차량(1000) 주변의 오브젝트를 검출할 수 있고, 비구동식으로 구현되는 경우, 라이다는, 광 스티어링에 의해, 차량(1000)을 기준으로 소정 범위 내에 위치하는 오브젝트를 검출할 수 있다. 차량(1000)은 복수의 비구동식 라이다를 포함할 수 있다.
라이다는, 레이저 광 매개로, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식에 기초하여, 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
라이다는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
초음파 센서는, 초음파 송신 모듈, 수신 모듈을 포함할 수 있다. 초음파 센서는, 초음파를 기초로 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
초음파 센서는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
적외선 센서는, 적외선 송신 모듈, 수신 모듈을 포함할 수 있다. 적외선 센서는, 적외선 광을 기초로 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
적외선 센서는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
차량 제어부(1200)는, 오브젝트 검출 모듈의 전반적인 동작을 제어할 수 있다.
차량 제어부(1200)는, 레이다, 라이다, 초음파 센서 및 적외선 센서에 의해 센싱된 데이터와 기 저장된 데이터를 비교하여, 오브젝트를 검출하거나 분류할 수 있다.
차량 제어부(1200)는, 획득된 영상에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 차량 제어부(1200)는, 영상 처리 알고리즘을 통해, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.
예를 들면, 차량 제어부(1200)는, 획득된 영상에서, 시간에 따른 오브젝트 크기의 변화를 기초로, 오브젝트와의 거리 정보 및 상대 속도 정보를 획득할 수 있다.
예를 들면, 차량 제어부(1200)는, 핀홀(pin hole) 모델, 노면 프로파일링 등을 통해, 오브젝트와의 거리 정보 및 상대 속도 정보를 획득할 수 있다.
차량 제어부(1200)는, 송신된 전자파가 오브젝트에 반사되어 되돌아오는 반사 전자파에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 차량 제어부(1200)는, 전자파에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.
차량 제어부(1200)는, 송신된 레이저가 오브젝트에 반사되어 되돌아오는 반사 레이저 광에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 차량 제어부(1200)는, 레이저 광에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.
차량 제어부(1200)는, 송신된 초음파가 오브젝트에 반사되어 되돌아오는 반사 초음파에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 차량 제어부(1200)는, 초음파에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.
차량 제어부(1200)는, 송신된 적외선 광이 오브젝트에 반사되어 되돌아오는 반사 적외선 광에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 차량 제어부(1200)는, 적외선 광에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.
실시예에 따라, 오브젝트 검출 모듈은, 차량 제어부(1200)와 별도의 프로세서를 내부에 포함할 수 있다. 또한, 레이다, 라이다, 초음파 센서 및 적외선 센서 각각 개별적으로 프로세서를 포함할 수 있다.
오브젝트 검출 모듈에 프로세서가 포함된 경우, 오브젝트 검출 모듈은, 차량 제어부(1200)의 제어를 받는 프로세서의 제어에 따라, 동작될 수 있다.
차량 구동부(1400)는, 차량(1000)내 각종 장치의 구동을 전기적으로 제어할 수 있다.
운전 조작부(1500)는, 운전을 위한 사용자 입력을 수신할 수 있다.
센싱부(1600)는, 차량(1000)에 장착된 센서를 이용하여 차량(1000)의 상태를 센싱, 즉, 차량(1000)의 상태에 관한 신호를 감지하고, 감지된 신호에 따라 차량(1000)의 이동 경로 정보를 획득할 수 있다. 센싱부(1600)는, 획득된 이동 경로 정보를 차량 제어부(1200)에 제공할 수 있다.
센싱부(1600)는, 자세 센서(예를 들면, 요 센서(yaw sensor), 롤 센서(roll sensor), 피치 센서(pitch sensor)), 충돌 센서, 휠 센서(wheel sensor), 속도 센서, 경사 센서, 중량 감지 센서, 헤딩 센서(heading sensor), 자이로 센서(gyro sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 배터리 센서, 연료 센서, 타이어 센서, 핸들 회전에 의한 스티어링 센서, 차량 내부 온도 센서, 차량 내부 습도 센서, 초음파 센서, 조도 센서, 가속 페달 포지션 센서, 브레이크 페달 포지션 센서, 등을 포함할 수 있다.
센싱부(1600)는, 차량 자세 정보, 차량 충돌 정보, 차량 방향 정보, 차량 위치 정보(GPS 정보), 차량 각도 정보, 차량 속도 정보, 차량 가속도 정보, 차량 기울기 정보, 차량 전진/후진 정보, 배터리 정보, 연료 정보, 타이어 정보, 차량 램프 정보, 차량 내부 온도 정보, 차량 내부 습도 정보, 스티어링 휠 회전 각도, 차량 외부 조도, 가속 페달에 가해지는 압력, 브레이크 페달에 가해지는 압력 등에 대한 센싱 신호를 획득할 수 있다.
센싱부(1600)는, 그 외, 가속페달센서, 압력센서, 엔진 회전 속도 센서(engine speed sensor), 공기 유량 센서(AFS), 흡기 온도 센서(ATS), 수온 센서(WTS), 스로틀 위치 센서(TPS), TDC 센서, 크랭크각 센서(CAS), 등을 더 포함할 수 있다.
센싱부(1600)는, 센싱 데이터를 기초로, 차량 상태 정보를 생성할 수 있다. 차량 상태 정보는, 차량 내부에 구비된 각종 센서에서 감지된 데이터를 기초로 생성된 정보일 수 있다.
차량 상태 정보는, 차량의 자세 정보, 차량의 속도 정보, 차량의 기울기 정보, 차량의 중량 정보, 차량의 방향 정보, 차량의 배터리 정보, 차량의 연료 정보, 차량의 타이어 공기압 정보, 차량의 스티어링 정보, 차량 실내 온도 정보, 차량 실내 습도 정보, 페달 포지션 정보 및 차량 엔진 온도 정보 등을 포함할 수 있다.
운행부(1700)는, 차량(1000)의 각종 운행을 제어할 수 있다. 운행부(1700)은, 자율 주행 모드에서 동작될 수 있다.
운행부(1700)은, 주행 모듈, 출차 모듈 및 주차 모듈을 포함할 수 있다.
실시예에 따라, 운행부(1700)은, 설명되는 구성 요소 외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
운행부(1700)는, 차량 제어부(1200)의 제어를 받는 프로세서를 포함할 수 있다. 운행부(1700)의 각 모듈은, 각각 개별적으로 프로세서를 포함할 수 있다.
실시예에 따라, 운행부(1700)가 소프트웨어적으로 구현되는 경우, 차량 제어부(1200)의 하위 개념일 수도 있다.
주행 모듈은, 차량(1000)의 주행을 수행할 수 있다.
주행 모듈은, 오브젝트 검출부(1400)로부터 오브젝트 정보를 제공받아, 차량 구동 모듈에 제어 신호를 제공하여, 차량(1000)의 주행을 수행할 수 있다.
주행 모듈은, 차량 통신부(1100)를 통해, 외부 디바이스로부터 신호를 제공받아, 차량 구동 모듈에 제어 신호를 제공하여, 차량(1000)의 주행을 수행할 수 있다.
출차 모듈은, 차량(1000)의 출차를 수행할 수 있다.
출차 모듈은, 내비게이션부(1800)으로부터 내비게이션 정보를 제공받아, 차량 구동 모듈에 제어 신호를 제공하여, 차량(1000)의 출차를 수행할 수 있다.
출차 모듈은, 오브젝트 검출부(1400)로부터 오브젝트 정보를 제공받아, 차량 구동 모듈에 제어 신호를 제공하여, 차량(1000)의 출차를 수행할 수 있다.
출차 모듈은, 차량 통신부(1100)를 통해, 외부 디바이스로부터 신호를 제공받아, 차량 구동 모듈에 제어 신호를 제공하여, 차량(1000)의 출차를 수행할 수 있다.
주차 모듈은, 차량(1000)의 주차를 수행할 수 있다.
주차 모듈은, 내비게이션부(1800)으로부터 내비게이션 정보를 제공받아, 차량 구동 모듈에 제어 신호를 제공하여, 차량(1000)의 주차를 수행할 수 있다.
주차 모듈은, 오브젝트 검출부(1400)로부터 오브젝트 정보를 제공받아, 차량 구동 모듈에 제어 신호를 제공하여, 차량(1000)의 주차를 수행할 수 있다.
주차 모듈은, 차량 통신부(1100)를 통해, 외부 디바이스로부터 신호를 제공받아, 차량 구동 모듈에 제어 신호를 제공하여, 차량(1000)의 주차를 수행할 수 있다.
내비게이션부(1800)는, 차량 제어부(1200)에 내비게이션 정보를 제공할 수 있다. 내비게이션 정보는, 맵(map) 정보, 설정된 목적지 정보, 목적지 설정 따른 경로 정보, 경로 상의 다양한 오브젝트에 대한 정보, 차선 정보 및 차량의 현재 위치 정보 중 적어도 어느 하나를 포함할 수 있다.
내비게이션부(1800)는, 차량(1000)이 진입한 주차장의 주차장 지도를 차량 제어부(1200)에 제공할 수 있다. 차량 제어부(1200)는, 차량(1000)이 주차장에 진입한 경우, 내비게이션부(1800)로부터 주차장 지도를 제공받고, 산출된 이동 경로 및 고정 식별 정보를 제공된 주차장 지도에 투영하여 지도 데이터를 생성할 수 있다.
내비게이션부(1800)는, 메모리를 포함할 수 있다. 메모리는 내비게이션 정보를 저장할 수 있다. 내비게이션 정보는 차량 통신부(1100)를 통해 수신된 정보에 의하여 갱신될 수 있다. 내비게이션부(1800)는, 내장 프로세서에 의해 제어될 수도 있고, 외부 신호, 예를 들면, 차량 제어부(1200)로부터 제어 신호를 입력 받아 동작할 수 있으나 이에 한정되지 않는다.
운행부(1700)의 주행 모듈은, 내비게이션부(1800)로부터 내비게이션 정보를 제공받아, 차량 구동 모듈에 제어 신호를 제공하여, 차량(1000)의 주행을 수행할 수 있다.
차량 저장부(1900)는, 차량 제어부(1200)와 전기적으로 연결된다. 차량 저장부(1900)는 광고 구간 설정 장치 각 부에 대한 기본 데이터, 광고 구간 설정 장치 각 부의 동작 제어를 위한 제어 데이터, 입출력되는 데이터를 저장할 수 있다.
차량 저장부(1900)는, 영상 및 음향 중 적어도 하나의 형식의 컨텐츠를 저장할 수 있고, 저장되는 컨텐츠는 복수개의 컨텐츠일 수 있다.
차량 저장부(1900)는, 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기일 수 있다. 차량 저장부(1900)는 차량 제어부(1200)의 처리 또는 제어를 위한 프로그램 등, 차량(1000) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다. 이때, 차량 저장부(1900)는, 차량 제어부(1200)와 일체형으로 형성되거나, 차량 제어부(1200)의 하위 구성 요소로 구현될 수 있다.
이하 도 8을 참조하여 자율 주행 차량의 탑승자 인식 및 승하차 지원 방법에 대해 살펴보기로 한다.
도 8은 본 발명의 일 실시예에 따른 자율 주행 차량의 탑승자 인식 및 승하차 지원 방법을 설명하기 위한 흐름도이다.
도 8을 참조하면, 단계 S80에서, 차량 통신부(1100)는 하향 링크 그랜트(DL grant)에 기초하여 탑승 예정자 정보를 수신 받을 수 있다.
여기에서, 탑승 예정자 정보는 사용자 단말기(3000) 및/또는 정류장 단말기(4000)로부터 입력된 정보로서, 탑승을 희망하는 사람들이 탑승을 예약하기 위해서 단말기(3000, 4000)를 통하여 입력한 사용자 정보를 의미할 수 있다.
예를 들어, 탑승 희망자가 자율 주행 차량(1000)의 탑승을 희망하는 경우, 사용자 단말기(3000) 및/또는 정류장 단말기(4000)를 이용하여 탑승 희망 정보, 즉, 자신의 성명, 얼굴 사진, 소지 물품, 개인 식별 번호, 승차 예정지, 하차 예정지 및 승차 희망 시간 등의 탑승 예정자 정보를 입력할 수 있다.
또한, 도 2를 참조하면, 차량 통신부(1100)는, SSB(synchronization signal block)에 기초하여 5G 네트워크와 초기 접속 절차(S20)를 수행하고, 5G 네트워크와 임의 접속 절차(random acess)를 수행할 수 있다(S21). 다음으로 5G 네트워크는 자율 주행 차량으로 특정 정보의 전송을 스케쥴링하기 위한 UL grant를 전송하고(S22), 자율 주행 차량(1000)은 UL grant에 기초하여 5G 네트워크로 특정 정보를 전송하고(S23), 5G 네트워크는 차량의 원격 제어 여부를 결정하고(S24), 자율 주행 차량은 5G 네트워크로부터 특정 정보에 대한 응답을 수신하기 위해 물리 하향링크 제어 채널을 통해 DL 그랜트를 수신하고(S25), 5G 네트워크는 상기 DL 그랜트에 기초하여 자율 주행 차량(1000)으로 원격 제어와 관련된 정보(또는 신호) 및 외부 단말기(3000, 4000)를 통하여 입력된 탑승 예정자 정보 등을 수신할 수 있다(S26).
단계 S82에서, 센싱부(1600)는 정차 예정지의 기설정된 영역 이내에서 차량 외부의 사람들을 감지할 수 있다.
도 5a를 참조하면, 기설정된 영역은 기준지점(예컨대, 정차 예정지, 정류장, 자율 주행 차량(1000)의 승하차문)으로부터 미리 설정된 거리(R) 이내의 범위로 설정될 수 있으며, 센싱부(1600)의 센싱 유효 거리, 구간 내 차량 제어부(1200)의 탑승 승객 후보군 추출 계산 처리 능력 등을 고려하여 미리 설정될 수 있다.
예를 들어, 센싱부(1600)는 라이더(미도시) 및/또는 레이더(미도시)를 이용하여 차량(1000) 승하차문으로부터 외부의 사람들 각각의 거리를 측정할 수 있으며, 외부 카메라(미도시)를 이용하여 기설정된 영역(R) 이내에서 차량(1000) 외부의 사람들을 촬영하거나, 외부 사람들이 소지한 단말기와의 통신(5G 네트워크, 블루투스 등) 등을 통해서 차량(1000) 외부의 사람들을 감지할 수 있다.
단계 S84에서, 차량 제어부(1200)는 기설정된 영역 이내에서 센싱부(1600)를 통하여 감지된 차량 외부의 사람들을 분석하여 탑승 승객 후보군을 추출할 수 있다.
예를 들어, 차량 제어부(1200)는 센싱부(1600)를 제어하여 기설정된 영역 이내에 차량 외부의 사람들을 카메라로 촬영하고, 촬영된 사람들의 특정 행동들, 예컨대, 얼굴, 동작 및 이동 방향 중 적어도 하나를 분석하여 탑승 승객 후보군을 추출할 수 있다.
즉, 차량 제어부(1200)는 자율 주행 차량(1000)의 외부 카메라(미도시)로 촬영된 동영상들의 각 프레임들에서 사람들의 얼굴, 동작, 이동 방향 등의 특징점들(features)을 추출하고, 기계 학습(machine learning)을 통한 특징점들의 공통 분류를 통하여 탑승 승객 후보군을 추출할 수 있다.
예를 들어, 차량 제어부(1200)는 미리 훈련된 심층 신경망 모델을 포함할 수 있다. 즉, 상기 심층 신경망 모델은 탑승 승객 후보군의 특정 행동들, 동작들, 이동방향, 얼굴 표정 등에서 특징점(feature)들을 추출 파악하여, 상기 특징점들을 훈련 데이터로 이용하여 미리 훈련된 심층 신경망 모델일 수 있다.
예를 들면, 카메라로 촬영된 프레임들에서의 특정 행동들, 얼굴, 동작 및 이동 방향 등, 예컨대, 사람들이 차량(1000)을 부르거나 대기하라는 몸짓, 손짓, 행동 등이 심층 신경망 모델의 학습을 위한 특징점들이 될 수 있다. 차량을 향하여 정차하여 기다리라는 손짓, 차량이 빨리 오라는 손짓이나 차량을 향해 뛰어오거나 급격히 걸어오는 모습, 차량 방향으로의 긴박한 표정 등이 특징점으로 사용되어, 심층 신경망 모델에서 탑승 승객 후보군을 추출하는 훈련 데이터로 사용될 수 있다.
이에, 차량 제어부(1200)는 미리 훈련된 심층 신경망 모델을 이용하여 차량 외부의 사람들의 얼굴, 동작 및 이동 방향 중 적어도 하나를 분석하여 탑승 승객 후보군을 추출할 수 있다.
여기에서, 차량 외부 사람들의 이동 방향은 카메라를 통한 동영상 촬영에서도 분석 가능하나, 소지 단말기와의 5G 네트워트 통신, 블루투스 통신, GPS 위치 확인 등을 통하여서도 분석 가능하다.
또한, 차량 제어부(1200)는 기설정된 영역 이내에서 감지된 외부 사람들의 얼굴을 분석하여 이전에 자율 주행 차량(1000)의 탑승 기록이 존재하는 경우에는 이번에도 탑승이 기대되는 탑승 승객 후보군으로 추출할 수 있다.
예를 들어, 센싱부(1600)를 통하여 감지된 외부 사람들의 얼굴 정보와 이전에 획득된 탑승 예정자 정보와 비교하여 동일 인물로 판단된 경우에는, 차량 제어부(1200)는 심층 신경망 모델을 이용하여 탑승 횟수, 특정 시간대의 탑승 여부, 탑승 주기 등을 고려하여 탑승 승객 후보군으로 추출할 수 있다.
단계 S86에서, 차량 제어부(1200)는 추출된 탑승 승객 후보군 및 수신 받은 탑승 예정자 정보를 이용하여 예비 탑승자의 인원을 계산할 수 있다.
차량 제어부(1200)는 네트워크를 이용하여 사용자 단말기(3000) 및/또는 정류장 단말기(4000)를 통하여 입력된 탑승 예정자 정보를 획득하고, 단말기(3000, 4000)로부터 입력되어 획득된 탑승 예정자 정보 및 미리 훈련된 심층 신경망 모델을 이용하여 추출한 탑승 승객 후보군의 정보를 이용하여 예비 탑승자의 인원을 계산할 수 있다.
환언하면, 차량 제어부(1200)는 외부 단말기, 예컨대 사용자 단말기(3000) 및/또는 정류장 단말기(4000)로부터 입력된 탑승 예정자 정보 및 미리 훈련된 심층 신경망 모델을 이용하여 추출된 탑승 승객 후보군의 정보를 이용하여 예비 탑승자의 인원을 계산할 수 있다.
또한, 차량 제어부(1200)는 상기 탑승 승객 후보군에 속한 사람들의 얼굴과 상기 탑승 예정자 정보 내 얼굴 사진을 비교한 결과, 일치하는 사람의 인원수를 산출하고, 상기 탑승 승객 후보군의 인원수와 상기 탑승 예정자의 인원수를 합한 결과에서, 상기 산출된 인원수를 차감하여, 상기 예비 탑승자의 인원을 계산할 수 있다.
차량 제어부(1200)는 상기 예비 탑승자의 인원에 기초하여, 상기 차량의 탑승 대기 시간을 결정할 수 있다. 이때, 차량 제어부(1200)는 상기 정차 예정지를 기준으로 이격 거리에 기초하여, 상기 기설정된 영역을 다수의 구간으로 구분하며, 상기 다수의 구간 중에서 상기 예비 탑승자가 존재하는 구간에 따라, 상기 탑승 대기 시간을 상이하게 조정할 수 있다.
또한, 차량 제어부(1200)는 상기 차량 외부의 사람들의 얼굴, 체형, 걸음걸이 및 소지 물품 중 적어도 하나에 기초하여, 상기 예비 탑승자의 승객 타입을 결정하고, 상기 예비 탑승자의 승객 타입에 기초하여, 상기 조정된 탑승 대기 시간을 재조정하거나, 또는 상기 예비 탑승자가 존재하는 구간을 구분하는 이격 거리를 조정할 수 있다.
또한, 차량 제어부(1200)는 탑승자 수요 정보 및 주행 지역 정보를 반영하여 고정 경로 운행 모드 및 유연 경로 운행 모드 중의 하나를 선택하여 차량을 운행할 수 있다. 여기서, 상기 탑승자 수요 정보는 상기 탑승 예정자 정보와, 요일 및 시간대별 자율 주행 차량의 탑승자 정보로 미리 훈련된 심층 신경망 모델을 이용하여 결정될 수 있다.
본 발명의 일 실시예에 따른 자율 주행 차량의 탑승자 인식 및 승하차 지원 방법에 관련하여서는 전술한 자율 주행 차량의 탑승자 인식 및 승하차 지원 장치에 대한 내용이 적용될 수 있다. 따라서, 자율 주행 차량의 탑승자 인식 및 승하차 지원 방법과 관련하여, 전술한 자율 주행 차량의 탑승자 인식 및 승하차 지원 장치에 대한 내용과 동일한 내용에 대하여는 설명을 생략하였다.
도 9는 본 발명의 일 실시예에 따른 자율 주행 차량의 탑승자 인식 및 승하차 지원 방법을 설명하기 위한, 단말기, 서버 및 차량 간의 메시지 흐름도이다. 여기서, 자율 주행 차량의 탑승자 인식 및 승하차 지원 장치는 서버에 포함될 수 있다.
도 9를 참조하면, 단말기(예컨대, 사용자 단말기, 정류장 단말기)는 정차 예정지에서 탑승을 희망하는 사람(탑승 예정자)으로부터 탑승 예정자 정보를 입력받고(901), 입력된 탑승 예정자 정보를 서버에 전송할 수 있다. 여기서, 탑승 예정자 정보는 예컨대, 자신의 성명, 얼굴 사진, 소지 물품, 개인 식별 번호, 승차 예정지, 하차 예정지 및 승차 희망 시간 등을 포함할 수 있다.
서버는 단말기로부터 상기 탑승 예정자 정보를 수신할 수 있다(902).
또한, 차량(예컨대, 자율 주행 차량)은 정차 예정지(예컨대, 정류장)를 기준으로, 기설정된 영역 이내의 사람을 감지하여 센싱 정보를 생성하고(903), 상기 생성된 센싱 정보를 서버에 전송할 수 있다. 여기서, 센싱 정보는 예컨대, 차량 외부의 사람을 촬영한 영상일 수 있다.
서버는 차량으로부터 센싱 정보를 수신하고(904), 상기 수신된 센싱 정보로부터 탑승 승객 후보군을 추출할 수 있다(905). 이때, 서버는 정차 예정지를 기준으로, 상기 기설정된 영역 이내에서 감지된 차량 외부의 사람들의 얼굴, 동작 및 이동 방향 중 적어도 하나를 분석하여 상기 탑승 승객 후보군을 추출할 수 있다.
이후, 서버는 탑승자 예정자 정보 및 탑승 승객 후보군을 이용하여, 예비 탑승자의 인원을 계산하고(906), 상기 계산한 예비 탑승자의 인원에 기초하여, 상기 정차 예정지에서의 차량의 탑승 대기 시간을 결정할 수 있다(907).
상기 예비 탑승자의 인원 계산시, 서버는 상기 탑승 승객 후보군에 속한 사람들의 얼굴과 상기 탑승 예정자 정보 내 얼굴 사진을 비교한 결과, 일치하는 사람의 인원수를 산출하고, 상기 탑승 승객 후보군의 인원수와 상기 탑승 예정자의 인원수를 합한 결과에서, 상기 산출된 인원수를 차감하여, 상기 예비 탑승자의 인원을 계산할 수 있다.
또한, 상기 탑승 대기 시간 결정시, 서버는 예컨대, 예비 탑승자의 인원이 속하는 범위를 확인하고, 상기 확인된 범위에 대응하는 시간을, 탑승 대기 시간으로 결정하거나, 또는 설정된 시간을 상기 탑승 대기 시간으로 결정할 수 있다. 예컨대, 서버는 예비 탑승자의 인원이 7명일 경우, 5~10인원의 범위에 대응하는 2분으로 탑승 대기 시간으로 결정할 수 있다.
서버는 상기 결정된 탑승 대기 시간을 차량에 전송할 수 있다. 이때, 서버는 탑승 대기 시간과 함께, 예비 탑승자를 전송할 수 있다.
차량은 서버로부터 상기 탑승 대기 시간을 수신(908)하고, 상기 수신된 탑승 대기 시간 동안 승하차문을 오픈하여, 예비 탑승자가 승차할 수 있게 한다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
1000: 자율 주행 차량
1100: 차량 통신부
1200: 차량 제어부
1300: 사용자 인터페이스부
1310: 입력부
1320: 내부 카메라부
1330: 생체 감지부
1340: 디스플레이부
1350: 음향 출력부
1400: 차량 구동부
1500: 운전 조작부
1600: 센싱부
1700: 운행부
1800: 내비게이션부
1900: 차량 저장부
2000: 서버
3000: 사용자 단말기
4000: 정류장 단말기

Claims (20)

  1. 자율 주행 차량의 탑승자 인식 및 승하차 지원 장치로서,
    사용자 단말기 또는 정류장 단말기로부터 탑승 예정자에 관한 탑승 예정자 정보를 수신 받기 위한 차량 통신부;
    정차 예정지를 기준으로 기설정된 영역 이내에서 차량 외부의 사람들을 감지하기 위한 센싱부; 및
    상기 센싱부를 통하여 감지된 차량 외부의 사람들을 분석하여 탑승 승객 후보군을 추출하고, 상기 추출된 탑승 승객 후보군 및 상기 수신 받은 탑승 예정자 정보를 이용하여 예비 탑승자의 인원을 계산하는 차량 제어부를 포함하는,
    자율 주행 차량의 탑승자 인식 및 승하차 지원 장치.
  2. 제 1 항에 있어서,
    상기 차량 제어부는,
    상기 기설정된 영역 이내에서 감지된 차량 외부의 사람들의 얼굴, 동작 및 이동 방향 중 적어도 하나를 분석하여 상기 탑승 승객 후보군을 추출하는,
    자율 주행 차량의 탑승자 인식 및 승하차 지원 장치.
  3. 제 2 항에 있어서,
    상기 차량 제어부는,
    상기 탑승 승객 후보군에 속한 사람들의 얼굴과 상기 탑승 예정자 정보 내 얼굴 사진을 비교한 결과, 일치하는 사람의 인원수를 산출하고, 상기 탑승 승객 후보군의 인원수와 상기 탑승 예정자의 인원수를 합한 결과에서, 상기 산출된 인원수를 차감하여, 상기 예비 탑승자의 인원을 계산하는,
    자율 주행 차량의 탑승자 인식 및 승하차 지원 장치.
  4. 제 2 항에 있어서,
    상기 차량 제어부는,
    상기 예비 탑승자에 속한 사람들의 얼굴, 체형, 걸음걸이 및 소지 물품 중 적어도 하나에 기초하여 승객 타입을 결정하고, 교통약자에 속하는 승객의 위치에 기초하여 상기 차량의 정차 위치를 결정하는,
    자율 주행 차량의 탑승자 인식 및 승하차 지원 장치.
  5. 제 1 항에 있어서,
    상기 차량 제어부는,
    상기 예비 탑승자의 인원에 기초하여, 상기 차량의 탑승 대기 시간을 결정하고,
    상기 정차 예정지를 기준으로 이격 거리에 기초하여, 상기 기설정된 영역을 다수의 구간으로 구분하며, 상기 다수의 구간 중에서 상기 예비 탑승자가 존재하는 구간에 따라, 상기 탑승 대기 시간을 상이하게 조정하는,
    자율 주행 차량의 탑승자 인식 및 승하차 지원 장치.
  6. 제 5 항에 있어서,
    상기 차량 제어부는,
    상기 차량 외부의 사람들의 얼굴, 체형, 걸음걸이 및 소지 물품 중 적어도 하나에 기초하여, 상기 예비 탑승자의 승객 타입을 결정하고,
    상기 예비 탑승자의 승객 타입에 기초하여, 상기 조정된 탑승 대기 시간을 재조정하거나, 또는 상기 예비 탑승자가 존재하는 구간을 구분하는 이격 거리를 조정하는,
    자율 주행 차량의 탑승자 인식 및 승하차 지원 장치.
  7. 제 1 항에 있어서,
    상기 차량 제어부는,
    상기 정차 예정지를 기준으로, 이격 거리에 기초하여 상기 기설정된 영역을 다수의 구간으로 구분하고, 상기 다수의 구간 중에서 상기 정차 예정지로부터 가장 가까운 구간에, 존재하는 상기 탑승 승객 후보군을 제1 탑승 확정자로 결정하고,
    상기 탑승 예정자를 제2 탑승 확정자로 결정하며, 상기 제1 탑승 확정자의 인원수와 상기 제2 탑승 확정자의 인원수의 합에서 중복자를 제거한 탑승 확정자를, 상기 예비 탑승자의 인원으로서 계산하는,
    자율 주행 차량의 탑승자 인식 및 승하차 지원 장치.
  8. 제 1 항에 있어서,
    상기 차량 제어부는,
    탑승자 수요 정보 및 주행 지역 정보를 반영하여 고정 경로 운행 모드 및 유연 경로 운행 모드 중의 하나를 선택하여 차량을 운행하고,
    상기 탑승자 수요 정보는,
    상기 탑승 예정자 정보와, 요일 및 시간대별 자율 주행 차량의 탑승자 정보로 미리 훈련된 심층 신경망 모델을 이용하여 결정되는,
    자율 주행 차량의 탑승자 인식 및 승하차 지원 장치.
  9. 제 8 항에 있어서,
    상기 차량 제어부는,
    상기 고정 경로 운행 모드가 선택된 경우, 정해진 경로 내 기설정된 정류장 마다 정차하고,
    상기 유연 경로 운행 모드가 선택된 경우, 상기 정해진 경로 내 기설정된 정류장 중에서, 상기 차량 내부에 하차하는 승객이 존재하거나, 또는 예비 탑승자가 존재하는 정류장에 정차하고,
    상기 사용자 단말기 또는 상기 정류장 단말기에서 정차를 호출한 상기 정해진 경로 내 지점에 정차하는,
    자율 주행 차량의 탑승자 인식 및 승하차 지원 장치.
  10. 제 1 항에 있어서,
    상기 차량이 승객의 승하차를 위해 정차한 경우, 상기 정차 예정지는 상기 차량의 승하차문이 배치된 지점이 되고,
    상기 센싱부는,
    상기 승하차문을 기준으로 기설정된 영역 내에서 차량 외부의 사람들을 감지하는,
    자율 주행 차량의 탑승자 인식 및 승하차 지원 장치.
  11. 제 1 항에 있어서,
    차량 외부의 사람들에게 주행 정보를 제공하기 위한 외부 디스플레이를 더 포함하고,
    상기 차량 제어부는,
    계산된 상기 예비 탑승자의 인원에 따라 상기 정차 예정지에의 정차 여부 및 탑승 대기 시간을 결정하고,
    상기 외부 디스플레이를 통해 상기 정차 여부 및 탑승 대기 시간을 차량 외부로 표시하며,
    상기 표시 이후 상기 센싱부에 의해 감지되는 상기 기설정된 영역 내의 사람들의 얼굴, 동작 및 이동 방향 중 적어도 하나를 분석하여 상기 탑승 승객 후보군을 재추출하는,
    자율 주행 차량의 탑승자 인식 및 승하차 지원 장치.
  12. 제 1 항에 있어서,
    상기 차량 통신부는,
    SSB(synchronization signal block)에 기초하여 5G 네트워크와 초기 접속 절차를 수행하고, 하향 링크 그랜트(DL grant)에 기초하여, 상기 사용자 단말기 또는 상기 정류장 단말기로부터 탑승 예정자에 관한 탑승 예정자 정보를 수신하는,
    자율 주행 차량의 탑승자 인식 및 승하차 지원 장치.
  13. 자율 주행 차량의 탑승자 인식 및 승하차 지원 방법으로서,
    하향 링크 그랜트(DL grant)에 기초하여, 사용자 단말기 또는 정류장 단말기로부터 탑승 예정자에 관한 탑승 예정자 정보를 수신 받는 단계;
    정차 예정지를 기준으로 기설정된 영역 이내에서 차량 외부의 사람들을 감지하는 단계;
    상기 감지된 차량 외부의 사람들을 분석하여 탑승 승객 후보군을 추출하는 단계; 및
    상기 추출된 탑승 승객 후보군 및 상기 수신 받은 탑승 예정자 정보를 이용하여 예비 탑승자의 인원을 계산하는 단계를 포함하는,
    자율 주행 차량의 탑승자 인식 및 승하차 지원 방법.
  14. 제 13 항에 있어서,
    상기 탑승 승객 후보군을 추출하는 단계는,
    상기 기설정된 영역 이내에서 감지된 차량 외부의 사람들의 얼굴, 동작 및 이동 방향 중 적어도 하나를 분석하여 상기 탑승 승객 후보군을 추출하는 단계를 포함하는,
    자율 주행 차량의 탑승자 인식 및 승하차 지원 방법.
  15. 제 13 항에 있어서,
    상기 예비 탑승자의 인원을 계산하는 단계는,
    상기 탑승 승객 후보군에 속한 사람들의 얼굴과 상기 탑승 예정자 정보 내 얼굴 사진을 비교한 결과, 일치하는 사람의 인원수를 산출하는 단계; 및
    상기 탑승 승객 후보군의 인원수와 상기 탑승 예정자의 인원수를 합한 결과에서, 상기 산출된 인원수를 차감하여, 상기 예비 탑승자의 인원을 계산하는 단계를 포함하는,
    자율 주행 차량의 탑승자 인식 및 승하차 지원 방법.
  16. 제 13 항에 있어서,
    상기 예비 탑승자의 인원에 기초하여, 상기 차량의 탑승 대기 시간을 결정하는 단계; 및
    상기 정차 예정지를 기준으로 이격 거리에 기초하여, 상기 기설정된 영역을 다수의 구간으로 구분하며, 상기 다수의 구간 중에서 상기 예비 탑승자가 존재하는 구간에 따라, 상기 탑승 대기 시간을 상이하게 조정하는 단계를 더 포함하는,
    자율 주행 차량의 탑승자 인식 및 승하차 지원 방법.
  17. 제 16항에 있어서,
    상기 차량 외부의 사람들의 얼굴, 체형, 걸음걸이 및 소지 물품 중 적어도 하나에 기초하여, 상기 예비 탑승자의 승객 타입을 결정하는 단계; 및
    상기 예비 탑승자의 승객 타입에 기초하여, 상기 조정된 탑승 대기 시간을 재조정하거나, 또는 상기 예비 탑승자가 존재하는 구간을 구분하는 이격 거리를 조정하는 단계를 더 포함하는,
    자율 주행 차량의 탑승자 인식 및 승하차 지원 방법.
  18. 제 13항에 있어서,
    탑승자 수요 정보 및 주행 지역 정보를 반영하여 고정 경로 운행 모드 및 유연 경로 운행 모드 중의 하나를 선택하여 차량을 운행하는 단계를 더 포함하고,
    상기 탑승자 수요 정보는,
    상기 탑승 예정자 정보와, 요일 및 시간대별 자율 주행 차량의 탑승자 정보로 미리 훈련된 심층 신경망 모델을 이용하여 결정되는,
    자율 주행 차량의 탑승자 인식 및 승하차 지원 방법.
  19. 자율 주행 차량의 탑승자 인식 및 승하차 지원 서버로서,
    사용자 단말기 또는 정류장 단말기로부터 정차 예정지에서의 탑승 예정자에 관한 탑승 예정자 정보를 수신하고, 상기 자율 주행 차량으로부터 상기 정차 예정지를 기준으로, 기설정된 영역 이내의 사람을 감지하여 생성된 센싱 정보를 수신하는 수신부; 및
    상기 센싱 정보로부터 탑승 승객 후보군을 추출하고, 상기 추출한 탑승 승객 후보군 및 상기 탑승 예정자 정보를 이용하여, 예비 탑승자의 인원을 계산하는 프로세서를 포함하는,
    자율 주행 차량의 탑승자 인식 및 승하차 지원 서버.
  20. 제 19항에 있어서,
    상기 프로세서는,
    상기 예비 탑승자의 인원에 기초하여, 상기 자율 주행 차량의 탑승 대기 시간을 결정하고, 송신부를 통해, 상기 탑승 대기 시간을 상기 자율 주행 차량에 전송하는,
    자율 주행 차량의 탑승자 인식 및 승하차 지원 서버.
KR1020190104497A 2019-08-26 2019-08-26 자율 주행 차량의 탑승자 인식 및 승하차 지원 장치 및 방법 KR20190106845A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190104497A KR20190106845A (ko) 2019-08-26 2019-08-26 자율 주행 차량의 탑승자 인식 및 승하차 지원 장치 및 방법
US16/559,114 US11188741B2 (en) 2019-08-26 2019-09-03 Method and apparatus for passenger recognition and boarding support of autonomous vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190104497A KR20190106845A (ko) 2019-08-26 2019-08-26 자율 주행 차량의 탑승자 인식 및 승하차 지원 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20190106845A true KR20190106845A (ko) 2019-09-18

Family

ID=68070474

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190104497A KR20190106845A (ko) 2019-08-26 2019-08-26 자율 주행 차량의 탑승자 인식 및 승하차 지원 장치 및 방법

Country Status (2)

Country Link
US (1) US11188741B2 (ko)
KR (1) KR20190106845A (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102109779B1 (ko) * 2019-09-30 2020-05-29 인포뱅크 주식회사 자율주행버스의 동적 정류장 생성 장치 및 방법
KR102200804B1 (ko) * 2019-09-30 2021-01-13 인포뱅크 주식회사 자율주행버스의 동적 정류장 생성 장치 및 방법
KR102227350B1 (ko) * 2020-04-07 2021-03-12 인포뱅크 주식회사 퍼스널 모빌리티 예약기능을 가지는 자율주행버스의 동적 정류장 생성 장치 및 방법
US11163372B2 (en) 2020-04-01 2021-11-02 Toyota Motor North America, Inc Transport gait and gesture interpretation
KR20220018111A (ko) * 2020-08-05 2022-02-15 한양대학교 에리카산학협력단 자율주행 차량의 승하차 확인 시스템
KR20220090394A (ko) * 2020-12-22 2022-06-29 도요타지도샤가부시키가이샤 자동 운전 장치 및 자동 운전 방법
KR102497319B1 (ko) * 2021-11-30 2023-02-07 (사)한국지체장애인협회 휠체어 이용 장애인의 모바일 장치를 이용한 운전자 없는 자율주행차량의 휠체어 탑승 고정장치
KR102509592B1 (ko) 2021-11-30 2023-03-15 (사)한국지체장애인협회 휠체어 이용 장애인의 모바일 장치를 이용한 운전자가 없는 자율주행차량의 탑승 인증 시스템

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10887023B1 (en) * 2018-10-10 2021-01-05 Wayfarer, Inc. Variable bandwidth free-space optical communication system for autonomous or semi-autonomous passenger vehicles
KR20210077048A (ko) * 2019-12-16 2021-06-25 현대자동차주식회사 시각장애인용 자율 주행 차량
US11485308B2 (en) * 2020-06-29 2022-11-01 Nvidia Corporation In-cabin hazard prevention and safety control system for autonomous machine applications
US11879745B2 (en) * 2020-07-20 2024-01-23 Ford Global Technologies, Llc Systems and methods for facilitating a final leg of a journey
CN112131935A (zh) * 2020-08-13 2020-12-25 浙江大华技术股份有限公司 一种机动车车厢载人识别方法、装置和计算机设备
WO2022044179A1 (ja) * 2020-08-27 2022-03-03 三菱電機株式会社 停車位置判断装置、および、停車位置判断方法
DE102021210264B4 (de) 2021-09-16 2023-06-29 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Ermitteln einer Position eines Haltebereichs für ein Fahrzeug und für einen potentiellen Passagier des Fahrzeugs
CN114379588B (zh) * 2021-12-28 2023-12-22 阿波罗智联(北京)科技有限公司 进站状态检测方法、装置、车辆、设备和存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160150442A (ko) 2015-06-22 2016-12-30 플로우닉스 주식회사 배관 부착형 누설 감지 센서

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102003940B1 (ko) 2016-11-11 2019-10-01 엘지전자 주식회사 자율 주행 차량 및 그 제어방법
WO2019023324A1 (en) * 2017-07-26 2019-01-31 Via Transportation, Inc. SYSTEMS AND METHODS FOR MANAGING AND ROUTING COOPERATING VEHICLES
US10275670B1 (en) * 2018-03-07 2019-04-30 State Farm Mutual Automobile Insurance Company Image analysis technologies for identifying abnormal vehicle conditions
US11051234B2 (en) * 2018-11-14 2021-06-29 Qualcomm Incorporated Control search space overlap indication

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160150442A (ko) 2015-06-22 2016-12-30 플로우닉스 주식회사 배관 부착형 누설 감지 센서

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102109779B1 (ko) * 2019-09-30 2020-05-29 인포뱅크 주식회사 자율주행버스의 동적 정류장 생성 장치 및 방법
KR102200804B1 (ko) * 2019-09-30 2021-01-13 인포뱅크 주식회사 자율주행버스의 동적 정류장 생성 장치 및 방법
US11163372B2 (en) 2020-04-01 2021-11-02 Toyota Motor North America, Inc Transport gait and gesture interpretation
US11935147B2 (en) 2020-04-01 2024-03-19 Toyota Motor North America, Inc. Transport gait and gesture interpretation
KR102227350B1 (ko) * 2020-04-07 2021-03-12 인포뱅크 주식회사 퍼스널 모빌리티 예약기능을 가지는 자율주행버스의 동적 정류장 생성 장치 및 방법
KR20220018111A (ko) * 2020-08-05 2022-02-15 한양대학교 에리카산학협력단 자율주행 차량의 승하차 확인 시스템
KR20220090394A (ko) * 2020-12-22 2022-06-29 도요타지도샤가부시키가이샤 자동 운전 장치 및 자동 운전 방법
US11807223B2 (en) 2020-12-22 2023-11-07 Toyota Jidosha Kabushiki Kaisha Automated drive device and automated drive method
KR102497319B1 (ko) * 2021-11-30 2023-02-07 (사)한국지체장애인협회 휠체어 이용 장애인의 모바일 장치를 이용한 운전자 없는 자율주행차량의 휠체어 탑승 고정장치
KR102509592B1 (ko) 2021-11-30 2023-03-15 (사)한국지체장애인협회 휠체어 이용 장애인의 모바일 장치를 이용한 운전자가 없는 자율주행차량의 탑승 인증 시스템

Also Published As

Publication number Publication date
US20200019761A1 (en) 2020-01-16
US11188741B2 (en) 2021-11-30

Similar Documents

Publication Publication Date Title
US11188741B2 (en) Method and apparatus for passenger recognition and boarding support of autonomous vehicle
US11422555B2 (en) Autonomous vehicle and control method thereof
EP3425469B1 (en) Driving system for vehicle and vehicle thereof
EP3654127B1 (en) Method for platooning of vehicles and vehicle using same
US20210122364A1 (en) Vehicle collision avoidance apparatus and method
KR101750178B1 (ko) 차량 외부 알람방법, 이를 실행하는 차량 운전 보조장치 및 이를 포함하는 차량
CN107054245B (zh) 车辆用便利装置及车辆
KR101730321B1 (ko) 운전자 보조 장치 및 그 제어방법
KR102064222B1 (ko) 차량의 운행 시스템을 제어하는 방법
KR102267331B1 (ko) 자율 주행 차량과 이를 이용한 보행자 안내 시스템 및 방법
KR20190041253A (ko) 자율주행차량 및 이의 제어방법
KR20190033368A (ko) 주행 시스템 및 차량
US11334754B2 (en) Apparatus and method for monitoring object in vehicle
US11318961B2 (en) Robot for vehicle and control method thereof
US10573177B2 (en) Vehicle controlling technology
US20190276044A1 (en) User interface apparatus for vehicle and vehicle including the same
CN111148674A (zh) 自动驾驶车辆及其控制方法
EP3920159A1 (en) Image output device
KR20190086406A (ko) 광고 구간 설정 장치 및 방법
KR102135379B1 (ko) 차량용 로봇 및 상기 로봇의 제어 방법
KR20190098795A (ko) 차량 단말기 및 그것을 포함하는 운송 시스템의 제어방법
KR20170055334A (ko) 주차 난이도를 기초로 운전자를 지원하는 장치 및 방법
US20210055116A1 (en) Get-off point guidance method and vehicular electronic device for the guidance
KR101985496B1 (ko) 차량 운전 보조장치 및 이를 포함하는 차량
KR20210118066A (ko) 차량 제어 방법, 장치, 차량을 이용한 배달 서비스 방법 및 시스템

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right