KR20210111932A - 자율주행차량 내 분실물 처리 시스템 및 방법 - Google Patents

자율주행차량 내 분실물 처리 시스템 및 방법 Download PDF

Info

Publication number
KR20210111932A
KR20210111932A KR1020200026645A KR20200026645A KR20210111932A KR 20210111932 A KR20210111932 A KR 20210111932A KR 1020200026645 A KR1020200026645 A KR 1020200026645A KR 20200026645 A KR20200026645 A KR 20200026645A KR 20210111932 A KR20210111932 A KR 20210111932A
Authority
KR
South Korea
Prior art keywords
vehicle
passenger
lost
found
image
Prior art date
Application number
KR1020200026645A
Other languages
English (en)
Inventor
최은영
양동일
정진수
성기석
유민상
함형진
변다예
장필천
김우진
Original Assignee
현대자동차주식회사
기아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사 filed Critical 현대자동차주식회사
Priority to KR1020200026645A priority Critical patent/KR20210111932A/ko
Priority to US16/891,869 priority patent/US11507960B2/en
Priority to DE102020207488.7A priority patent/DE102020207488A1/de
Priority to CN202010575492.2A priority patent/CN113343741A/zh
Publication of KR20210111932A publication Critical patent/KR20210111932A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/01—Customer relationship services
    • G06Q30/015—Providing customer assistance, e.g. assisting a customer within a business location or via helpdesk
    • G06Q30/016—After-sales
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/24—Reminder alarms, e.g. anti-loss alarms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01G—WEIGHING
    • G01G19/00—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups
    • G01G19/08—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups for incorporation in vehicles
    • G01G19/12—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups for incorporation in vehicles having electrical weight-sensitive devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/04—Systems determining presence of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/04—Systems determining the presence of a target
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G06K9/6201—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/085—Payment architectures involving remote charge determination or related payment systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/30—Payment architectures, schemes or protocols characterised by the use of specific devices or networks
    • G06Q20/32—Payment architectures, schemes or protocols characterised by the use of specific devices or networks using wireless devices
    • G06Q20/322—Aspects of commerce using mobile devices [M-devices]
    • G06Q20/3224—Transactions dependent on location of M-devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/30—Payment architectures, schemes or protocols characterised by the use of specific devices or networks
    • G06Q20/32—Payment architectures, schemes or protocols characterised by the use of specific devices or networks using wireless devices
    • G06Q20/327—Short range or proximity payments by means of M-devices
    • G06Q20/3278—RFID or NFC payments by means of M-devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4015—Transaction verification using location information
    • G06Q20/40155—Transaction verification using location information for triggering transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07B—TICKET-ISSUING APPARATUS; FARE-REGISTERING APPARATUS; FRANKING APPARATUS
    • G07B15/00—Arrangements or apparatus for collecting fares, tolls or entrance fees at one or more control points
    • G07B15/02—Arrangements or apparatus for collecting fares, tolls or entrance fees at one or more control points taking into account a variable factor such as distance or time, e.g. for passenger transport, parking systems or car rental systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/20—Monitoring the location of vehicles belonging to a group, e.g. fleet of vehicles, countable or determined number of vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B60W2420/42—
    • B60W2420/52—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01G—WEIGHING
    • G01G19/00—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups
    • G01G19/40—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight
    • G01G19/413—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight using electromechanical or electronic computing means
    • G01G19/414—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight using electromechanical or electronic computing means using electronic computing means only
    • G01G19/4142—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight using electromechanical or electronic computing means using electronic computing means only for controlling activation of safety devices, e.g. airbag systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q2240/00—Transportation facility access, e.g. fares, tolls or parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Accounting & Taxation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Finance (AREA)
  • Data Mining & Analysis (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Tourism & Hospitality (AREA)
  • Multimedia (AREA)
  • Primary Health Care (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Emergency Management (AREA)
  • Development Economics (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Combustion & Propulsion (AREA)

Abstract

본 발명은 자율주행차량 내 분실물 처리 시스템 및 방법에 관한 것으로, 차량이 승객 탑승 및 하차 시 비전 센서를 통해 제1차내 영상 및 제2차내 영상을 각각 촬영하여 전송하고, 서버가 제1차내 영상과 제2차내 영상을 비교하여 차량 내 분실물을 감지하면 분실물 정보를 승객에게 전송한다.

Description

자율주행차량 내 분실물 처리 시스템 및 방법{SYSTEM AND METHOD FOR HANDLING LOST ITEM IN AUTONOMOUS VEHICLE}
본 발명은 자율주행차량 내 분실물 처리 시스템 및 방법에 관한 것이다.
자율주행기술이 발달함에 따라, 로봇 택시 및 PBV(Purpose Built Vehicle) 등과 같은 공유 모빌리티 서비스가 등장하게 되었다. 공유 모빌리티 서비스는 불특정 다수를 대상으로 서비스하므로, 사용자의 개인 정보 보호가 이슈화되고 있다. 불특정 다수가 사용 가능한 차량 예컨대, 로봇 택시 또는 PBV 서비스 시 차량 내 탑승자의 분실물 및 차량의 위생 등을 관리가 필요하나 별도 관리자 없이 무인으로 운영되어야 한다.
본 발명은 공유 모빌리티 서비스 제공 시 개인정보보호 규정에 저촉되지 않게 차량의 실내를 모니터링하여 분실물을 감지하고 감지된 분실물에 대한 후속 조치를 취하는 자율주행차량 내 분실물 처리 시스템 및 방법을 제공하고자 한다.
상기한 과제를 해결하기 위하여, 본 발명의 일 실시 예에 따른 자율주행차량 내 분실물 처리 시스템은 승객 탑승 및 하차 시 비전 센서를 통해 제1차내 영상 및 제2차내 영상을 촬영하여 전송하는 차량, 및 상기 제1차내 영상과 상기 제2차내 영상을 비교하여 상기 차량 내 분실물을 감지하면 분실물 정보를 상기 승객에게 전송하는 서버를 포함한다.
상기 차량은, 상기 승객의 동의 여부에 따라 탑승 전 또는 탑승 직후를 제1촬영 시점으로 결정하고 하차 후 또는 하차 직전을 제2촬영 시점으로 결정하는 것을 특징으로 한다.
상기 차량은, 상기 제1촬영 시점에 상기 차량 내 다른 승객이 탑승한 상태이면, 상기 제1차내 영상에서 상기 다른 승객의 탑승 위치에 매칭되는 영역을 블러 처리하거나 삭제 처리하는 것을 특징으로 한다.
상기 차량은, 상기 제2촬영 시점에 상기 차량 내 다른 승객이 탑승한 상태이면, 상기 제2차내 영상에서 상기 다른 승객의 탑승 위치에 매칭되는 영역을 블러 처리하거나 삭제 처리하는 것을 특징으로 한다.
상기 차량은, 차량 위치를 활용하여 호출 위치 도착 여부를 판단하는 것을 특징으로 한다.
상기 차량은, 상기 호출 위치 도착 여부 판단 시 차량 속도 및 브레이크 상태 정보 중 적어도 하나를 추가로 활용하는 것을 특징으로 한다.
상기 차량은, 도어 상태 정보에 근거하여 승객 탑승 직전을 감지하는 것을 특징으로 한다.
상기 차량은, 무게 센서, 비전 센서, 카메라, 초음파 센서 및 레이더 중 적어도 하나를 이용하여 상기 승객을 감지하는 것을 특징으로 한다.
상기 차량은, 서비스 이용료 결제 완료 및 탑승자 위치 정보를 토대로 상기 승객의 서비스 종료를 결정하는 것을 특징으로 한다.
상기 차량은, 도어 상태 정보, 외부 버튼 신호, 무게 센서, 초음파 센서, 레이더 및 비전 센서 중 적어도 하나를 이용하여 상기 승객의 하차 직후를 감지하는 것을 특징으로 한다.
상기 서버는, 상기 차량 내 분실물 감지 시 상기 분실물 정보를 사업자에게 통보하는 것을 특징으로 한다.
상기 차량 내 분실물은 상기 승객의 소지품, 오물 및 쓰레기 중 적어도 하나인 것을 특징으로 한다.
한편, 본 발명의 일 실시 예에 따른 자율주행차량 내 분실물 처리 방법은 서버가 차량으로부터 승객 탑승 및 하차 시 비전 센서에 의해 촬영된 제1차내 영상 및 제2차내 영상을 수신하는 제1단계, 상기 서버가 상기 제1차내 영상과 상기 제2차내 영상을 비교하여 상기 차량 내 분실물을 감지하는 제2단계, 및 상기 서버가 분실물 정보를 상기 승객에게 전송하는 제3단계를 포함한다.
상기 제1단계는, 상기 차량이 상기 승객의 촬영 동의 여부에 따라 탑승 전 또는 탑승 직후를 제1촬영 시점으로 결정하는 단계, 및 상기 차량이 상기 승객의 촬영 동의 여부에 따라 하차 후 또는 하차 직전을 제2촬영 시점으로 결정하는 단계를 포함하는 것을 특징으로 한다.
상기 제1단계는, 상기 차량이 상기 제1촬영 시점에 상기 차량 내 다른 승객이 존재하면, 상기 제1차내 영상에서 상기 다른 승객의 탑승 위치에 매칭되는 영역을 블러 처리하거나 삭제 처리하는 것을 특징으로 한다.
상기 제1단계는, 상기 차량이 상기 제2촬영 시점에 상기 차량 내 다른 승객이 탑승한 상태이면, 상기 제2차내 영상에서 상기 다른 승객의 탑승 위치에 매칭되는 영역을 블러 처리하거나 삭제 처리하는 것을 특징으로 한다.
상기 제1단계는, 상기 차량이 차량 위치를 활용하여 호출 위치 도착 여부를 판단하는 단계를 포함하는 것을 특징으로 한다.
상기 제1단계는,상기 차량이 상기 호출 위치 도착 여부 판단 시 차량 속도 및 브레이크 상태 정보 중 적어도 하나를 추가로 활용하는 단계를 더 포함하는 것을 특징으로 한다.
상기 제1단계는, 상기 차량이 도어 상태 정보에 근거하여 승객 탑승 직전을 감지하는 단계를 포함하는 것을 특징으로 한다.
상기 제1단계는, 상기 차량이 무게 센서, 비전 센서, 카메라, 초음파 센서 및 레이더 중 적어도 하나를 이용하여 상기 승객을 감지하는 단계를 포함하는 것을 특징으로 한다.
상기 제1단계는, 상기 차량이 서비스 이용료 결제 완료 및 탑승자 위치 정보를 토대로 상기 승객의 서비스 종료를 결정하는 단계를 포함하는 것을 특징으로 한다.
상기 제1단계는, 상기 차량이 도어 상태 정보, 외부 버튼 신호, 무게 센서, 초음파 센서, 레이더 및 비전 센서 중 적어도 하나를 이용하여 상기 승객의 하차 직후를 감지하는 단계를 더 포함하는 것을 특징으로 한다.
상기 제1단계는, 상기 서버가 상기 차량 내 분실물 감지 시 상기 분실물 정보를 사업자에게 통보하는 단계를 더 포함하는 것을 특징으로 한다.
상기 차량 내 분실물은, 상기 승객의 소지품, 오물 및 쓰레기 중 적어도 하나인 것을 특징으로 한다.
본 발명에 따르면, 차량에 승객 탑승 전 및 하차 후에 차내 영상을 획득하여 비교하므로, 개인정보보호 규정에 저촉되지 않게 차량의 실내를 모니터링하여 차량 내 분실물을 감지할 수 있다.
또한, 본 발명에 따르면, 차량에 승객 탑승 시 또는 하차 시 차량 내 다른 탑승자가 존재하는 경우 다른 탑승자가 위치하는 영역을 블록 처리하므로, 다른 탑승자의 개인정보를 보호할 수 있다.
또한, 본 발명에 따르면, 차량 내 분실물을 감지하면 감지된 분실물의 주인에게 분실물 정보를 제공하므로, 분실물을 처리할 수 있어 무인으로 공유 모빌리티 서비스를 운영할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 자율주행차량 내 분실물 처리 시스템을 도시한 구성도.
도 2는 도 1에 도시된 차량의 블록구성도.
도 3은 본 발명의 일 실시 예에 따른 자율주행차량 내 분실물 처리 방법을 도시한 흐름도.
도 4 및 도 5는 본 발명과 관련된 영상 처리 방법을 설명하기 위한 예시도.
도 6은 본 발명의 일 실시 예에 따른 자율주행차량 내 분실물 처리 방법을 실행하는 컴퓨팅 시스템을 보여주는 블록도.
이하, 본 발명의 일부 실시 예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시 예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시 예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시 예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명의 일 실시 예에 따른 자율주행차량 내 분실물 처리 시스템을 도시한 구성도이고, 도 2는 도 1에 도시된 차량의 블록구성도이다. 본 실시 예에서는 자율주행차량(예: 로봇 택시 및 PBV 등)을 이용하여 공유 모빌리티 서비스를 제공하는 경우를 예로 들어 설명한다.
자율주행차량 내 분실물 처리 시스템은 사용자 단말(100), 차량(200) 및 서버(300)를 포함한다.
사용자 단말(100)은 공유 모빌리티 서비스를 이용하는 사용자(예: 탑승 예정자, 예약자, 승객, 이용자 및 탑승자)가 소지하며 무선 및/또는 유선 통신이 가능한 기기로, 스마트폰(smartphone), 태블릿(tablet), PDA(Personal Digital Assistant), PMP(Portable Multimedia Player) 및/또는 노트북 컴퓨터 등의 기기로 구현될 수 있다. 이러한 사용자 단말(100)은 도면에 도시하지 않았으나 통신모듈, 사용자 입력모듈, 출력모듈, 프로세서 및 메모리를 포함한다.
사용자 단말(100)은 서비스 사업자가 제공하는 특정 소프트웨어 및/또는 어플리케이션을 통해 공유 모빌리티 서비스 이용 즉, 공유 차량 이용을 서버(300)에 예약할 수 있다. 즉, 사용자 단말(100)은 사용자 입력에 따라 탑승 예약(차량 호출)을 서버(300)에 요청한다. 사용자 단말(100)은 탑승 예약 요청 시 탑승지(즉, 승차 위치 및 출발지), 목적지(즉, 하차 위치), 탑승 시간, 예약자 정보(예: 이름 및 연락처 등), 탑승 인원, 촬영 동의 여부 및/또는 결제 정보(결제 방식 및/또는 결제 수단 등 포함) 등을 포함하는 탑승 예약 정보를 전송한다.
사용자 단말(100)은 사용자(예약자)가 차량(200)에 승차하거나 하차할 때 사용자 식별 정보 예컨대, 사용자 아이디(ID), 전화번호, 이메일 주소, 결제 수단 정보 및/또는 단말 고유번호 등을 차량(200)에 전송할 수 있다. 사용자 식별 정보는 차량(200)이 승하차 승객을 식별하는데 이용된다.
차량(200)은 불특정 다수가 이용할 수 있는 공유 차량으로, 자율주행이 가능한 로봇 택시 및/또는 PBV(Purpose Built Vehicle) 등으로 구현될 수 있다. 도 1에는 1대의 차량만 도시하였으나, 2대 이상의 공유 차량이 존재할 수 있다. 도 2를 참조하면, 차량(200)은 위치 측정부(210), 검출부(220), 승객 감지부(230), 통신부(240), 비전 센서(250), 저장부(260) 및 처리부(270)를 포함한다.
위치 측정부(210)는 차량(200)의 현재 위치를 측정한다. 위치 측정부(210)는 GPS(Global Positioning System), DR(Dead Reckoning), DGPS(Differential GPS) 및/또는 CDGPS(Carrier phase Differential GPS) 등의 측위 기술 중 적어도 하나를 이용하여 차량 위치를 측정할 수 있다.
검출부(220)는 차량에 탑재된 센서들 및/또는 전자제어장치(ECU)로부터 차량 정보를 획득한다. 차량 정보는 차량 속도, 브레이크 상태 정보, 및/또는 도어 상태 정보(예: 도어 열림 버튼 작동 여부 및/또는 도어 레버 작동 여부) 등을 포함할 수 있다. 센서들은 속도 센서, 브레이크 페달 위치 센서, 도어 센서, 무게 센서 및/또는 비전 센서 등으로 구현될 수 있다. 전자제어장치는 차량도어 시스템, ESC(Electronic Stability Control), TCS(Traction Control System), 및/또는 ABS(Antilock Brake System) 등으로 구현될 수 있다.
승객 감지부(230)는 무게 센서, 비전 센서(예: 카메라), 초음파 센서 및/또는 레이더 등을 이용하는 승객감지기술을 활용하여 차량(200)에 탑승한 승객을 감지한다. 승객 감지부(230)는 차량에 탑승(승차)한 승객(즉, 탑승자)의 탑승(착석) 위치 및/또는 탑승 인원 등을 획득할 수 있다. 승객 감지부(230)는 차량(200)에 탑승 또는 하차하는 승객(사용자)을 감지한다. 또한, 승객 감지부(230)는 차량(200) 내에서 승객의 좌석 변경을 감지할 수도 있다.
통신부(240)는 차량(200)이 사용자 단말(100) 및/또는 서버(300)와의 무선 통신을 수행하게 한다. 통신부(240)는 와이파이(Wi-Fi), 블루투스(Bluetooth), NFC(Near Field Communication), LTE(Long Term Evolution), IMT(International Mobile Telecommunication)-2020, 이더넷(ethernet) 및/또는 차량사물통신(Vehicle to Everything, V2X) 등의 통신 기술을 이용할 수 있다.
비전 센서(250)는 차량(200)의 내부(실내)에 설치되어 기정해진 승객 탑승 공간을 촬영한다. 비전 센서(250)는 CCD(charge coupled device) 이미지 센서(image sensor), CMOS(complementary metal oxide semi-conductor) 이미지 센서, CPD(charge priming device) 이미지 센서 및 CID(charge injection device) 이미지 센서 등과 같은 이미지 센서들 중 적어도 하나의 이미지 센서로 구현될 수 있다. 비전 센서(250)는 차량(200) 내 전방에 단독으로 설치되는 이미지 센서를 통해 차량 실내(차내) 전체 영상을 획득하거나 좌석별로 설치되는 각각의 이미지 센서를 통해 좌석별 차내 영상을 획득할 수 있다. 좌석별로 이미지 센서가 장착되는 경우, 이미지 센서의 전방에 위치하는 렌즈가 매칭되는 좌석을 향하도록 설치된다. 비전 센서(250)는 이미지 센서를 통해 획득한 영상에 대해 노이즈(noise) 제거, 컬러재현, 파일 압축, 화질 조절 및 채도 조절 등의 이미지 처리를 수행하는 이미지 처리기를 포함할 수 있다.
저장부(260)는 처리부(270)에 탑재되어 기정해진 동작을 수행하도록 프로그래밍된 소프트웨어를 저장할 수 있다. 저장부(260)는 지도 데이터를 저장할 수 있고, 저장부(260)는 비전 센서(250)에 의해 획득되는 영상(들)을 저장할 수도 있다. 저장부(260)는 플래시 메모리(flash memory), 하드디스크(hard disk), SD 카드(Secure Digital Card), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read Only Memory, ROM), PROM(Programmable Read Only Memory), EEPROM(Electrically Erasable and Programmable ROM), EPROM(Erasable and Programmable ROM) 및/또는 레지스터 등의 저장매체(기록매체) 중 적어도 하나로 구현될 수 있다.
처리부(270)는 차량(200)의 전반적인 동작(예: 자율주행)을 제어한다. 처리부(270)는 ASIC(Application Specific Integrated Circuit), DSP(Digital Signal Processor), PLD(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), CPU(Central Processing unit), 마이크로 컨트롤러(microcontrollers) 및 마이크로 프로세서(microprocessors) 중 적어도 하나로 구현될 수 있다.
처리부(270)는 통신부(240)를 통해 차량 호출 정보를 수신한다. 차량 호출 정보는 호출 위치(호출지, 호출 장소), 하차 위치, 탑승 시간, 탑승 인원, 촬영 동의 여부, 결제 정보 및/또는 예약자 정보 등을 포함한다. 처리부(270)는 차량 호출 정보 내 촬영 동의 여부에 근거하여 촬영 시점을 결정할 수 있다. 다시 말해서, 처리부(270)는 예약자(사용자)가 촬영에 동의한 경우, 탑승 직후를 탑승 시 촬영 시점(제1촬영 시점)으로 결정하고, 하차 직전을 하차 시 촬영 시점(제2촬영 시점)으로 결정할 수 있다. 또한, 처리부(270)는 예약자가 촬영에 동의하지 않은 경우 탑승 직전을 제1촬영 시점으로 결정하고, 하차 직후를 제2촬영시점으로 결정할 수 있다.
처리부(270)는 위치 측정부(210)에 의해 측정되는 차량 위치 및 저장부(260)에 저장된 지도 데이터를 기반으로 차량 호출 정보에 포함된 호출 위치를 목적지로 설정하여 목적지까지의 주행 경로를 탐색한다. 처리부(270)는 탐색된 주행 경로를 따라 차량(200)의 자율주행을 제어한다. 처리부(270)는 차량(200)이 자율주행을 하는 동안 위치 측정부(210)에 의해 측정되는 차량 위치를 호출 위치와 비교한다. 처리부(270)는 차량 위치와 호출 위치의 비교결과에 따라 차량(200)의 호출 위치 도달여부를 확인한다. 또한, 처리부(270)는 차량(200)이 호출 위치에 도달하면, 차량 속도 및/또는 브레이크 상태 정보 등에 근거하여 차량(200)의 정차여부를 확인하여 차량(200)의 호출 위치 도착여부를 결정할 수 있다. 처리부(270)는 차량(200)이 호출 위치에 정차한 상태이면, 사용자 단말(100)과의 무선 통신을 통해 차량(200)의 주변에 예약자가 있는지를 확인할 수 있다.
처리부(270)는 차량(200)의 주변에 위치하는 예약자가 확인되면 승객 탑승 전인지를 확인한다. 처리부(270)는 도어 레버 또는 도어 열림 버튼의 작동 정보 즉, 도어 상태 정보에 근거하여 승객 탑승 직전(승객 탑승 전)을 감지할 수 있다. 또한, 처리부(270)는 승객 탑승 전 여부를 판단하기 위해 승객 감지부(230)에 의해 획득된 승객 정보를 이용할 수도 있다. 처리부(270)는 승객 탑승 전인 경우, 비전 센서(250)를 작동시켜 차량(200)의 내부 영상(제1차내 영상)을 촬영한다. 처리부(270)는 승객 탑승 전 차량(200) 내 다른 탑승자(승객)가 존재하는 경우 제1차내 영상에서 해당 다른 탑승자의 탑승 위치에 매칭되는 영역을 블록 처리하거나 블러(blur) 처리하거나 삭제 처리한다. 처리부(270)는 승객이 촬영에 동의한 경우, 승객이 차량(200)에 승차한 후 비전 센서(250)를 통해 제1차내 영상을 획득한다. 이때, 처리부(270)는 승차한 승객의 좌석 공간(탑승 공간)에 대한 영상(제1차내 영상)을 선별적으로 획득한다. 다시 말해서, 처리부(270)는 차량(200) 내에 승차 승객 외 다른 승객이 존재하는 경우 비전 센서(250)에 의해 촬영된 제1차내 영상에서 해당 다른 승객의 탑승 위치에 매칭되는 영역을 블러 처리하거나 삭제 처리하여 다른 승객의 개인정보를 보호할 수 있다. 처리부(270)는 통신부(240)를 통해 제1차내 영상을 서버(300)로 전송한다.
처리부(270)는 차량(200)에 승객이 탑승하면 승객 감지부(230)를 통해 승객 탑승 위치 및/또는 승객 탑승 인원 등을 확인한다. 예컨대, 처리부(270)는 무게 센서, 비전 센서, 카메라, 초음파 센서 및 레이더 중 적어도 하나를 이용하여 차량(200)에 탑승한 승객을 감지할 수 있다. 처리부(270)는 탑승한 승객이 예약자(호출자)가 맞는지 확인할 수 있다. 예를 들어, 처리부(270)는 블루투스 또는 NFC 등을 통해 사용자 단말(100)로부터 사용자 식별정보를 수신하고, 수신된 사용자 식별정보와 차량 호출 정보의 예약자 정보를 비교하여 탑승자를 확인할 수 있다.
처리부(270)는 승객이 차량(200)에 탑승 완료하면, 차량 호출 정보에 근거하여 하차 위치를 목적지를 설정하여 주행 경로를 설정한다. 또한, 처리부(270)는 설정된 주행 경로를 따라 목적지까지 차량(200)의 자율주행을 제어한다. 처리부(270)는 공지된 자율주행기술 중 어느 하나를 이용할 수 있다.
처리부(270)는 차량(200)이 목적지에 도착하면 이용자(하차 승객)의 서비스 이용 종료 절차를 실행한다. 처리부(270)는 위치 측정부(210)에 의해 측정되는 차량 위치, 저장부(260)에 저장된 지도 데이터 및 차량 호출 정보의 목적지 정보에 근거하여 차량(200)의 목적지 도달 여부를 확인한다. 또한, 처리부(270)는 차량 속도 및/또는 브레이크 상태 정보 등에 근거하여 차량(200)의 정차 여부를 확인한다. 처리부(270)는 승객 감지부(230)를 통해 차량(200) 내 탑승자 위치 정보를 확인하여 승객 하차 여부, 승객 하차 위치(좌석) 및/또는 하차 인원 등을 확인할 수 있다. 다시 말해서, 처리부(270)는 목적지 도달 여부, 정차 여부, 탑승자 위치 정보 및/또는 서비스 이용료 결제 완료 여부 등에 근거하여 서비스 이용 종료를 결정할 수 있다.
처리부(270)는 목적지 도착 후 서비스 이용료 결제가 완료되면 하차 승객의 촬영 동의 여부에 따른 제2촬영 시점에 비전 센서(250)를 작동시켜 차량(200)의 내부 영상(제2차내 영상)을 촬영한다. 처리부(270)는 하차 승객이 촬영에 동의한 경우, 승객 하차 직전에 비전 센서(250)를 통해 제2차내 영상을 획득한다. 처리부(270)는 하차 승객이 촬영에 동의하지 않은 경우, 승객 하차 후 비전 센서(250)를 통해 제2차내 영상을 획득한다. 처리부(270)는 도어 상태 정보, 외부 버튼 신호, 무게 센서, 초음파 센서, 레이더 및 비전 센서 중 적어도 하나를 이용하여 승객 하차 직후를 감지할 수 있다. 처리부(270)는 제2차내 영상 촬영 시 차량(200) 내에 하차 승객 외 다른 승객이 존재하는 경우 비전 센서(250)에 의해 촬영된 영상에서 해당 다른 승객의 탑승 위치에 매칭되는 영역을 블러 처리하거나 또는 삭제 처리하여 다른 승객의 개인정보를 보호할 수 있다. 처리부(270)는 촬영된 제2차내 영상을 서버(300)로 전송한다.
서버(300)는 사용자 단말(100)로부터 차량(200)에 대한 탑승 예약 즉, 공유 모빌리티 서비스 이용을 요청 받으면 차량(200)을 배정하고 차량 배정에 따른 배차 정보를 생성하여 사용자 단말(100)로 전송한다. 사용자 단말(100)은 배차 정보를 디스플레이 화면에 표시하여 사용자가 배차 정보를 확인할 수 있게 한다. 배차 정보는 배정된 차량번호 및/또는 차종 등을 포함한다. 서버(300)는 사용자 단말(100)로부터 제공받은 탑승 예약 정보를 기반으로 차량 호출 정보를 생성하여 배정된 차량(200)으로 전송한다.
서버(300)는 차량(200)이 전송하는 제1차내 영상 및 제2차내 영상을 수신하면 데이터베이스(DB)에 저장한다. 차량(200)은 제1차내 영상 및 제2차내 영상을 촬영된 시점에 즉각적으로 각각 전송하거나 또는 제1차내 영상 및 제2차내 영상을 촬영한 후 한번에 전송할 수도 있다.
서버(300)는 제1차내 영상과 제2차내 영상을 비교·분석하여 차내 분실물 유무를 판단(감지)한다. 여기서, 분실물은 승객의 소지품, 쓰레기, 및/또는 오물 등일 수 있다. 서버(300)는 감지된 분실물이 하차 승객의 소지품인 경우, 직전에 하차한 승객(분실자)의 사용자 단말(100)로 분실물 감지 사실, 분실물 종류, 분실물 사진 및/또는 분실물 찾는 방법 등을 포함하는 분실물 정보를 전송한다. 이때, 서버(300)는 분실물 정보를 사업자에게도 전송할 수 있다. 또한, 서버(300)는 분실물 정보를 분실물 센터에 등록할 수도 있다. 서버(300)는 감지된 분실물이 쓰레기 및/또는 오물인 경우에만 사업자에게 쓰레기 및/또는 오물 처리를 요청하는 알림을 전송할 수도 있다.
도 3은 본 발명의 일 실시 예에 따른 차내 모니터링 방법을 도시한 흐름도이다.
도 3을 참조하면, 차량(200)은 서버(300)로부터 전송되는 차량 호출을 수신한다(S110). 사용자 단말(100)은 사용자의 입력에 따라 공유 모빌리티 서비스 이용을 서버(300)에 요청할 수 있다. 다시 말해서, 사용자는 사용자 단말(100)을 통해 서버(300)에 접속하여 공유 차량 탑승을 예약할 수 있다. 사용자 단말(100)은 공유 차량 탑승 예약 시 탑승 예약 정보를 서버(300)에 전송한다. 서버(300)는 사용자 단말(100)의 요청 즉, 탑승 예약 정보를 토대로 차량(200)을 배정하고, 배차 정보(예: 차량번호 및 차종 등)를 사용자 단말(100)로 전송한다. 또한, 서버(300)는 탑승 예약 정보에 근거하여 차량 호출 정보를 생성하여 배정된 차량(200)에 전송한다.
차량(200)은 사용자(탑승 예정자)의 호출지(호출 위치)에 도착하면(S120), 사용자 승차 시 비전 센서(250)를 이용하여 제1차내 영상을 촬영한다(S130). 차량(200)은 호출지에 도착하여 정차한 후 제1촬영 시점에 제1차내 영상을 촬영한다. 차량(200)은 검출부(220) 및 승객 감지부(230)를 통해 제1촬영 시점을 판단할 수 있다. 차량(200)은 차량(200)에 다른 승객이 존재하는 경우 비전 센서(250)에 의해 촬영된 제1차내 영상에서 해당 다른 승객에 매칭되는 영역을 블러 처리하거나 삭제 처리하여 다른 승객의 개인정보를 보호할 수 있다. 또한, 차량(200)은 승객이 차량(200)에 탑승하면, 승객의 사용자 단말(100)과의 무선 통신을 통해 해당 승객이 예약자가 맞는지 확인할 수 있다.
차량(200)은 촬영된 제1차내 영상을 서버(300)로 전송한다(S140). 서버(300)는 제1차내 영상을 수신하여 데이터베이스(DB)에 저장한다.
차량(200)은 승객이 탑승(승차)하면 목적지까지의 주행경로를 따라 주행한다(S150). 차량(200)은 승객이 승차하면 위치 측정부(210) 및 지도 데이터를 기반으로 목적지까지의 주행 경로를 검색하고, 검색된 주행 경로를 따라 자율주행한다.
차량(200)은 목적지에 도착하면(S160), 제2차내 영상을 촬영한다(S170). 차량(200)은 위치 측정부(210) 및 지도 데이터를 이용하여 목적지 도달 여부를 확인할 수 있다. 또한, 차량(200)은 차량 속도 및/또는 브레이크 정보에 기초하여 정차 여부를 확인할 수 있다. 차량(200)은 정차 위치가 목적지에 해당하면 목적지 도착으로 판단한다. 차량(200)은 목적지에 도착하면, 제2촬영 시점에 제2차내 영상을 촬영한다. 차량(200)은 검출부(220) 및 승객 감지부(230)를 통해 제2촬영 시점을 판단할 수 있다. 차량(200)은 차량(200)에 하차 승객 외 다른 승객이 존재하는 경우 비전 센서(250)에 의해 촬영된 제2차내 영상에서 해당 다른 승객에 매칭되는 영역을 블러 처리하거나 삭제 처리한다.
차량(200)은 촬영된 제2차내 영상을 서버(300)로 전송한다(S180). 서버(300)는 제2차내 영상을 수신하여 데이터베이스(DB)에 저장한다. 본 실시 예에서는 차량(200)이 제1차내 영상 및 제2차내 영상을 획득 시 즉각적으로 서버(300)에 전송하는 것을 설명하고 있으나, 이에 한정되지 않고 제1차내 영상 및 제2차내 영상을 모두 획득한 후 한번에 서버(300)에 전송하도록 구현할 수도 있다.
서버(300)는 제1차내 영상과 제2차내 영상을 비교·분석하여 차내 분실물 유무를 판단(감지)한다(S190). 여기서, 분실물은 승객의 소지품, 쓰레기, 및/또는 오물 등일 수 있다.
서버(300)는 차내 분실물이 감지되면 하차 승객의 사용자 단말(100)로 분실물 정보를 전송한다(S200). 서버(300)는 감지된 분실물이 하차 승객의 소지품인 경우, 직전에 하차한 승객(분실자)의 사용자 단말(100)로 분실물 감지 사실, 분실물 종류, 분실물 사진 및/또는 분실물 찾는 방법 등을 포함하는 분실물 정보를 전송한다. 또한, 서버(300)는 분실물 정보를 분실물 센터에 등록할 수도 있다. 서버(300)는 감지된 분실물이 쓰레기 및/또는 오물이면 사업자에게 쓰레기 및/또는 오물 처리를 요청하는 알림을 전송할 수 있다. 본 실시 예에서는 차내 분실물이 쓰레기 및/또는 오물인 경우에만 사업자에게 알림을 전송하는 것을 설명하고 있으나, 차내 분실물 즉, 승객의 소지품, 쓰레기 및 오물 중 적어도 하나 감지 시 분실물 정보를 하차 승객의 사용자 단말(100)과 함께 사업자에게 전송하도록 구현할 수도 있다.
도 4 및 도 5는 본 발명과 관련된 영상 처리 방법을 설명하기 위한 예시도이다. 본 실시 예는 승객 하차 시 차량 내 다른 승객이 존재하는 경우 다른 승객의 개인정보 보호를 위해 차내 영상을 촬영하여 처리(필터링)하는 방법을 설명한다.
도 4를 참조하면, 차량(200)에 6명의 승객 즉, 승객 1, 승객 2, 승객 3, 승객 4, 승객 5 및 승객 6이 탑승한 상태에서, 승객 6이 하차하면, 차량(200)은 비전 센서(250)를 통해 차내 영상을 촬영한다. 이때, 비전 센서(250)는 승객 1, 승객 2, 승객 3, 승객 4 및 승객 5을 블록(block) 처리하여 하차한 승객 6이 탑승했던 위치의 공간 정보만을 선별할 수 있다.
도 5를 참조하면, 차량(200)에 6명의 승객이 탑승한 상태에서 3명의 승객 즉, 승객 2, 승객 5 및 승객 6이 하차하는 경우 차량(200)은 차내 다른 승객이 존재하는지를 확인한다. 차량(200)은 차내 다른 승객이 존재하면 해당 승객 즉, 승객 1, 승객 3 및 승객 4의 탑승 위치를 확인한다. 차량(200)은 비전 센서(250)에 의해 획득된 차내 영상에서 확인된 다른 승객의 탑승 위치에 해당하는 영역을 블록 처리한다.
도 6은 본 발명의 일 실시 예에 따른 자율주행차량 내 분실물 처리 방법을 실행하는 컴퓨팅 시스템을 보여주는 블록도이다.
도 6을 참조하면, 컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.
프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 비휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory)(1310) 및 RAM(Random Access Memory)(1320)을 포함할 수 있다.
따라서, 본 명세서에 개시된 실시 예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서(1100) 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서(1100) 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 사용자 단말
200: 차량
300: 서버

Claims (24)

  1. 승객 탑승 및 하차 시 비전 센서를 통해 제1차내 영상 및 제2차내 영상을 각각 촬영하여 전송하는 차량, 및
    상기 제1차내 영상과 상기 제2차내 영상을 비교하여 상기 차량 내 분실물을 감지하면 분실물 정보를 상기 승객에게 전송하는 서버를 포함하는 자율주행차량 내 분실물 처리 시스템.
  2. 제1항에 있어서,
    상기 차량은, 상기 승객의 동의 여부에 따라 탑승 전 또는 탑승 직후를 제1촬영 시점으로 결정하고 하차 후 또는 하차 직전을 제2촬영 시점으로 결정하는 것을 특징으로 하는 자율주행차량 내 분실물 처리 시스템.
  3. 제2항에 있어서,
    상기 차량은, 상기 제1촬영 시점에 상기 차량 내 다른 승객이 탑승한 상태이면, 상기 제1차내 영상에서 상기 다른 승객의 탑승 위치에 매칭되는 영역을 블러 처리하거나 삭제 처리하는 것을 특징으로 하는 자율주행차량 내 분실물 처리 시스템.
  4. 제2항에 있어서,
    상기 차량은, 상기 제2촬영 시점에 상기 차량 내 다른 승객이 탑승한 상태이면, 상기 제2차내 영상에서 상기 다른 승객의 탑승 위치에 매칭되는 영역을 블러 처리하거나 삭제 처리하는 것을 특징으로 하는 자율주행차량 내 분실물 처리 시스템.
  5. 제1항에 있어서,
    상기 차량은, 차량 위치를 활용하여 호출 위치 도착 여부를 판단하는 것을 특징으로 하는 자율주행차량 내 분실물 처리 시스템.
  6. 제5항에 있어서,
    상기 차량은, 상기 호출 위치 도착 여부 판단 시 차량 속도 및 브레이크 상태 정보 중 적어도 하나를 추가로 활용하는 것을 특징으로 하는 자율주행차량 내 분실물 처리 시스템.
  7. 제1항에 있어서,
    상기 차량은, 도어 상태 정보에 근거하여 승객 탑승 직전을 감지하는 것을 특징으로 하는 자율주행차량 내 분실물 처리 시스템.
  8. 제1항에 있어서,
    상기 차량은, 무게 센서, 비전 센서, 카메라, 초음파 센서 및 레이더 중 적어도 하나를 이용하여 상기 승객을 감지하는 것을 특징으로 하는 자율주행차량 내 분실물 처리 시스템.
  9. 제1항에 있어서,
    상기 차량은, 서비스 이용료 결제 완료 및 탑승자 위치 정보를 토대로 상기 승객의 서비스 종료를 결정하는 것을 특징으로 하는 자율주행차량 내 분실물 처리 시스템.
  10. 제1항에 있어서,
    상기 차량은, 도어 상태 정보, 외부 버튼 신호, 무게 센서, 초음파 센서, 레이더 및 비전 센서 중 적어도 하나를 이용하여 상기 승객의 하차 직후를 감지하는 것을 특징으로 하는 자율주행차량 내 분실물 처리 시스템.
  11. 제1항에 있어서,
    상기 서버는, 상기 차량 내 분실물 감지 시 상기 분실물 정보를 사업자에게 통보하는 것을 특징으로 하는 자율주행차량 내 분실물 처리 시스템.
  12. 제11항에 있어서,
    상기 차량 내 분실물은 상기 승객의 소지품, 오물 및 쓰레기 중 적어도 하나인 것을 특징으로 하는 자율주행차량 내 분실물 처리 시스템.
  13. 서버가 차량으로부터 승객 탑승 및 하차 시 비전 센서에 의해 각각 촬영된 제1차내 영상 및 제2차내 영상을 수신하는 제1단계,
    상기 서버가 상기 제1차내 영상과 상기 제2차내 영상을 비교하여 상기 차량 내 분실물을 감지하는 제2단계, 및
    상기 서버가 분실물 정보를 상기 승객에게 전송하는 제3단계를 포함하는 자율주행차량 내 분실물 처리 방법.
  14. 제13항에 있어서,
    상기 제1단계는,
    상기 차량이 상기 승객의 촬영 동의 여부에 따라 탑승 전 또는 탑승 직후를 제1촬영 시점으로 결정하는 단계, 및
    상기 차량이 상기 승객의 촬영 동의 여부에 따라 하차 후 또는 하차 직전을 제2촬영 시점으로 결정하는 단계를 포함하는 것을 특징으로 하는 자율주행차량 내 분실물 처리 방법.
  15. 제14항에 있어서,
    상기 제1단계는,
    상기 차량이 상기 제1촬영 시점에 상기 차량 내 다른 승객이 존재하면, 상기 제1차내 영상에서 상기 다른 승객의 탑승 위치에 매칭되는 영역을 블러 처리하거나 삭제 처리하는 것을 특징으로 하는 자율주행차량 내 분실물 처리 방법.
  16. 제14항에 있어서,
    상기 제1단계는,
    상기 차량이 상기 제2촬영 시점에 상기 차량 내 다른 승객이 탑승한 상태이면, 상기 제2차내 영상에서 상기 다른 승객의 탑승 위치에 매칭되는 영역을 블러 처리하거나 삭제 처리하는 것을 특징으로 하는 자율주행차량 내 분실물 처리 방법.
  17. 제13항에 있어서,
    상기 제1단계는,
    상기 차량이 차량 위치를 활용하여 호출 위치 도착 여부를 판단하는 단계를 포함하는 것을 특징으로 하는 자율주행차량 내 분실물 처리 방법.
  18. 제17항에 있어서,
    상기 제1단계는,
    상기 차량이 상기 호출 위치 도착 여부 판단 시 차량 속도 및 브레이크 상태 정보 중 적어도 하나를 추가로 활용하는 단계를 더 포함하는 것을 특징으로 하는 자율주행차량 내 분실물 처리 방법.
  19. 제13항에 있어서,
    상기 제1단계는,
    상기 차량이 도어 상태 정보에 근거하여 승객 탑승 직전을 감지하는 단계를 포함하는 것을 특징으로 하는 자율주행차량 내 분실물 처리 방법.
  20. 제13항에 있어서,
    상기 제1단계는,
    상기 차량이 무게 센서, 비전 센서, 카메라, 초음파 센서 및 레이더 중 적어도 하나를 이용하여 상기 승객을 감지하는 단계를 포함하는 것을 특징으로 하는 자율주행차량 내 분실물 처리 방법.
  21. 제13항에 있어서,
    상기 제1단계는,
    상기 차량이 서비스 이용료 결제 완료 및 탑승자 위치 정보를 토대로 상기 승객의 서비스 종료를 결정하는 단계를 포함하는 것을 특징으로 하는 자율주행차량 내 분실물 처리 방법.
  22. 제13항에 있어서,
    상기 제1단계는,
    상기 차량이 도어 상태 정보, 외부 버튼 신호, 무게 센서, 초음파 센서, 레이더 및 비전 센서 중 적어도 하나를 이용하여 상기 승객의 하차 직후를 감지하는 단계를 더 포함하는 것을 특징으로 하는 자율주행차량 내 분실물 처리 방법.
  23. 제13항에 있어서,
    상기 제1단계는,
    상기 서버가 상기 차량 내 분실물 감지 시 상기 분실물 정보를 사업자에게 통보하는 단계를 더 포함하는 것을 특징으로 하는 자율주행차량 내 분실물 처리 방법.
  24. 제23항에 있어서,
    상기 차량 내 분실물은, 상기 승객의 소지품, 오물 및 쓰레기 중 적어도 하나인 것을 특징으로 하는 자율주행차량 내 분실물 처리 방법.
KR1020200026645A 2020-03-03 2020-03-03 자율주행차량 내 분실물 처리 시스템 및 방법 KR20210111932A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020200026645A KR20210111932A (ko) 2020-03-03 2020-03-03 자율주행차량 내 분실물 처리 시스템 및 방법
US16/891,869 US11507960B2 (en) 2020-03-03 2020-06-03 System and method for handling lost item in autonomous vehicle
DE102020207488.7A DE102020207488A1 (de) 2020-03-03 2020-06-17 System und Verfahren zur Handhabung eines verloren gegangenen Gegenstands in einem autonomen Fahrzeug
CN202010575492.2A CN113343741A (zh) 2020-03-03 2020-06-22 用于处理自动驾驶车辆中的遗落物品的系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200026645A KR20210111932A (ko) 2020-03-03 2020-03-03 자율주행차량 내 분실물 처리 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20210111932A true KR20210111932A (ko) 2021-09-14

Family

ID=77389130

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200026645A KR20210111932A (ko) 2020-03-03 2020-03-03 자율주행차량 내 분실물 처리 시스템 및 방법

Country Status (4)

Country Link
US (1) US11507960B2 (ko)
KR (1) KR20210111932A (ko)
CN (1) CN113343741A (ko)
DE (1) DE102020207488A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10795356B2 (en) * 2017-08-31 2020-10-06 Uatc, Llc Systems and methods for determining when to release control of an autonomous vehicle
JP7547985B2 (ja) * 2020-12-15 2024-09-10 トヨタ自動車株式会社 情報処理装置、情報処理システム、およびプログラム
CN116612615A (zh) * 2023-04-21 2023-08-18 中国第一汽车股份有限公司 一种车辆内遗落物品提醒方法、系统、电子设备、存储介质及车辆

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006338535A (ja) * 2005-06-03 2006-12-14 Matsushita Electric Ind Co Ltd 車内忘れ物防止方法及び装置
US20210209517A1 (en) * 2018-06-18 2021-07-08 Nissan Motor Co., Ltd. System for operating commercial vehicles
KR20210101367A (ko) * 2020-02-07 2021-08-19 부산대학교 산학협력단 자율주행차량 내 분실물 및 위험물 감지 시스템 및 방법

Also Published As

Publication number Publication date
CN113343741A (zh) 2021-09-03
US11507960B2 (en) 2022-11-22
DE102020207488A1 (de) 2021-09-09
US20210279740A1 (en) 2021-09-09

Similar Documents

Publication Publication Date Title
US12017613B2 (en) System and method for wirelessly rostering a vehicle
KR20210111932A (ko) 자율주행차량 내 분실물 처리 시스템 및 방법
JP6145210B1 (ja) 乗客管理装置、及び乗客管理方法
JP6596892B2 (ja) バス乗車方法及びモバイル装置
CN110232552B (zh) 一种基于车辆后备箱的快递管理系统及方法
US20170109828A1 (en) Device-based incident detection and notification
WO2015042572A1 (en) Methods and systems for determining auto accidents using mobile phones and initiating emergency response
JP7150619B2 (ja) 車両状態評価装置
JP2021047606A (ja) 情報通知装置およびカーシェアリングシステム
US20200097743A1 (en) Riding manner evaluation apparatus, riding manner evaluation system, and riding manner evaluation method
JP7059845B2 (ja) 車載装置
JP2014126912A (ja) 情報処理装置、通信端末装置および記憶媒体
US20220266746A1 (en) System and method for monitoring a former convict of an intoxication-related offense
CN114445943A (zh) 一种健康信息自动查验方法及系统、智慧汽车门岗
CN110044372A (zh) 车载器、服务器、导航系统、地图显示程序及方法
JP2022169086A (ja) 乗客乗降データ生成システムおよび乗客乗降データ生成方法
JP2016218894A (ja) 見込み客位置情報通知システム、方法およびプログラム
CN113781792B (zh) 停放检测系统、方法及相关设备
CN110705446B (zh) 用于辅助乘车的方法及装置
KR20170041480A (ko) 택시용 올인원 시스템에서의 영상 정보 제공 방법 및 컴퓨터 프로그램
JP7514739B2 (ja) 乗降判定装置および乗降判定方法
KR20230065042A (ko) 승객의 소지품 분실 방지방법 및 시스템
JP2024093913A (ja) 格納庫管理装置、物品貸出サービス管理装置、物品貸出サービス管理システム、および物品貸出サービス管理方法
JP2023037801A (ja) 情報処理装置および情報処理方法
JP2023007317A (ja) 記録装置、記録方法、およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination