KR20230125091A - 승객 관련 물품 손실 완화 - Google Patents

승객 관련 물품 손실 완화 Download PDF

Info

Publication number
KR20230125091A
KR20230125091A KR1020237027502A KR20237027502A KR20230125091A KR 20230125091 A KR20230125091 A KR 20230125091A KR 1020237027502 A KR1020237027502 A KR 1020237027502A KR 20237027502 A KR20237027502 A KR 20237027502A KR 20230125091 A KR20230125091 A KR 20230125091A
Authority
KR
South Korea
Prior art keywords
passenger
identified
item
vehicle
vehicle cabin
Prior art date
Application number
KR1020237027502A
Other languages
English (en)
Inventor
치졔 수
파티 포리클리
준치앙 선
Original Assignee
후아웨이 테크놀러지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후아웨이 테크놀러지 컴퍼니 리미티드 filed Critical 후아웨이 테크놀러지 컴퍼니 리미티드
Publication of KR20230125091A publication Critical patent/KR20230125091A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19647—Systems specially adapted for intrusion detection in or around a vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/24—Reminder alarms, e.g. anti-loss alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
    • G08B29/18—Prevention or correction of operating errors
    • G08B29/185—Signal analysis techniques for reducing or preventing false alarms or for enhancing the reliability of the system
    • G08B29/186—Fuzzy logic; neural networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00—Audible signalling systems; Audible personal calling systems
    • G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B5/00—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
    • G08B5/22—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1895—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for short real-time information, e.g. alarms, notifications, alerts, updates
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H04L51/046—Interoperability with other network applications or services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/58—Message adaptation for wireless communication
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8006—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying scenes of vehicle interior, e.g. for monitoring passengers or cargo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Emergency Management (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Molecular Biology (AREA)
  • Tourism & Hospitality (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • General Business, Economics & Management (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Security & Cryptography (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)

Abstract

이동-대여 상황에서 승객 관련 물품 손실을 완화하기 위한 방법 및 장치가 개시된다. 차량 승객 영역 내의 물품이 식별되고, 식별된 물품이 승객 식별자로 식별되는 승객과 연결된다. 차량 객실 목록 데이터베이스는 승객 식별자와 관련된 식별된 물품을 기반으로 한 엔트리로 업데이트된다. 승객 이탈 이벤트가 발생하면 차량 객실 승객 영역 내에서 식별된 물품의 존재가 탐지되고, 차량 객실 승객 영역 내에서 식별된 물품의 존재를 기반으로 식별된 물품과 관련된 엔트리를 포함하는 메시지 데이터가 생성된다.

Description

승객 관련 물품 손실 완화{PASSENGER-RELATED ITEM LOSS MITIGATION}
관련 출원에 대한 상호 참조
본 출원은 2018년 3월 29일에 출원된 미국 출원 제15/939,984호 "Passenger-related Item Loss Mitigation"에 대한 우선권을 주장하며, 해당 출원의 전체 내용이 본 명세서에 참조로서 통합된다.
본 발명은 이동-대여(travel-for-hire) 상황에서 승객 관련 물품 손실을 완화하는 방법 및 관련 장치에 관한 것이다.
일반적으로 다양한 컴퓨터 장치는 다양한 환경에서 물체 인식을 위한 플랫폼을 제공한다. 차량 장치와 관련하여, 차량이 차량 센서 장치를 사용하여 교통 환경에서 물체를 탐지하고 회피할 수 있는 자율 애플리케이션에서 물체 인식이 구현되고 있다. 또한, 차량 객실 내에서, 차량 센서 장치는 시선 추적 기술과 같은 운전자의 조작을 강화하여 차량 사용자 인터페이스(예: 음악 제어, 조명, 환경 제어 등)에 대한 운전자의 주의를 평가하고, 과거의 운전자 기본 설정을 기반으로 상이한 그래픽 사용자 인터페이스를 조정 또는 표시하기 위해 사용되고 있다.
처리 능력과 센서 장치 감도가 향상됨에 따라, 차량 실내 환경에서의 사용을 위해 다른 애플리케이션도 구현될 수 있다.
일 실시 예에서, 본 명세서는 이동-대여(travel-for-hire) 상황에서 승객 관련 물품 손실을 완화하는 방법을 포함한다. 이 방법은, 차량 객실 승객 영역 내의 물품을 식별하는 단계, 식별된 물품을 승객 식별자로 식별된 승객과 연관시키는 단계, 승객 식별자와 연관된 식별된 물품에 기초한 엔트리(entry)로 차량 객실 목록 데이터베이스를 업데이트하는 단계, 승객 이탈 이벤트가 발생할 때 차량 객실 승객 영역 내에서 식별된 물품의 존재를 탐지하는 단계, 및 차량 객실 승객 영역 내에서 식별된 물품의 존재를 기반으로 식별된 물품과 관련된 엔트리를 포함하는 메시지 데이터를 생성하는 단계를 포함한다.
선택적으로, 임의의 선행 양태에서, 그 양태의 또 다른 구현은, 물품을 식별하는 단계가 차량 객실 승객 영역의 이미지를 캡처하는 단계, 이미지의 관심 영역을 식별하는 단계 - 여기서 관심 영역은 차량 객실 영역과 관련된 탐지 신뢰도 메트릭에 기초한 것임 - , 업샘플링된 관심 영역을 생성하기 위해 관심 영역을 업샘플링하는 단계 - 업샘플링된 관심 영역은 이미지 인식을 촉진하기 위한 것임 - , 및 이미지의 업샘플링된 관심 영역의 이미지 인식을 수행하여 차량 객실 승객 영역 내의 물품을 식별하는 단계를 포함한다. 선택적으로, 임의의 선행 양태에서, 그 양태의 또 다른 구현은, 승객 진입 이벤트가 발생할 때 차량 객실 승객 영역의 이미지를 캡처하는 단계가 수행된다. 선택적으로, 임의의 선행 양태에서, 그 양태의 또 다른 구현은, 차량 객실 승객 영역 내의 물품을 식별하는 단계가, 그 식별된 물품을 승객 관련 물품으로 검증하는 단계를 포함한다. 선택적으로, 임의의 선행 양태에서, 그 양태의 또 다른 구현은, 안내(announcement) 장치를 통해 메시지 데이터를 구두로 안내하는 단계를 추가로 제공한다. 선택적으로, 임의의 선행 양태에서, 그 양태의 또 다른 구현은 메시지 데이터를 안내하는 단계를 포함한다. 선택적으로, 임의의 선행 양태에서, 그 양태의 또 다른 구현은, 메시지 데이터를 안내하는 단계가: 휴대용 모바일 장치에 의한 수신을 위해 승객 식별자에 기초하여 텍스트 메시지를 전송하는 단계, 휴대용 모바일 장치의 클라이언트 애플리케이션에 의한 수신을 위해 승객 식별자에 기초하여 메시지 데이터를 전송하는 단계, 또는 사용자 장치에 의한 수신을 위해 URL(Universal Resource Locator) 링크로서 승객 식별자에 기초하여 메시지 데이터를 전송하는 단계 중 하나 이상의 단계를 포함한다. 선택적으로, 임의의 선행 양태에서, 그 양태의 또 다른 구현은, 승객 이탈 이벤트가, 카메라 장치 데이터 또는 차량 도어 센서 데이터 중 적어도 하나에 기초한다.
일 실시 예에서, 본 명세서는 물품의 차량 내 추적을 위한 차량 제어 유닛을 포함한다. 이 차량 제어 유닛은, 명령을 포함하는 메모리 및 메모리에 연결된 프로세서를 포함하며, 프로세서는 메모리에 저장된 명령을 실행하여 프로세서로 하여금, 복수의 차량 객실 승객 영역 내의 물품을 식별하고, 식별된 물품을 승객 식별자로 식별된 승객과 연관 시키며, 승객 식별자와 연관된 식별된 물품을 포함하는 엔트리로 차량 객실 목록 데이터베이스를 업데이트하고, 승객 이탈 이벤트가 발생할 때 복수의 차량 객실 승객 영역 내에서 식별된 물품의 존재를 탐지하고, 복수의 차량 객실 승객 영역 내에서 식별된 물품의 존재에 기초하여 식별된 물품과 관련된 엔트리로 메시지 데이터를 생성하도록 구성된다.
선택적으로, 임의의 선행 양태에서, 그 양태의 또 다른 구현은, 메모리에 저장된 추가 명령을 제공하여, 프로세서로 하여금, 복수의 차량 객실 승객 영역 중의 차량 객실 승객 영역의 이미지를 캡처하여 물품을 식별하고, 이미지의 관심 영역을 식별하며 - 여기서 관심 영역은 복수의 차량 객실 승객 영역 중의 차량 객실 승객 영역과 관련된 탐지 신뢰도 메트릭에 기초하는 것임 - , 업샘플링된 관심 영역을 생성하기 위해 관심 영역을 업샘플링하고 - 여기서 업샘플링된 관심 영역은 이미지 인식을 촉진하기 위한 것임 - , 이미지의 업샘플링된 관심 영역의 이미지 인식을 수행하여 차량 객실 승객 영역 내의 물품을 식별하도록 한다. 선택적으로, 임의의 선행 양태에서, 그 양태의 또 다른 구현은, 복수의 차량 객실 승객 영역 내의 물품을 식별하는 것이, 식별된 물품을 승객 관련 물품으로 검증하는 것을 포함한다. 선택적으로, 임의의 선행 양태에서, 그 양태의 다른 구현은, 프로세서가 사용자 인터페이스를 통해 메시지 데이터를 구두로 안내하게끔 하는, 메모리에 저장된 추가 명령을 제공한다. 선택적으로, 임의의 선행 양태에서, 그 양태의 또 다른 구현은, 프로세서가, 휴대용 모바일 장치에 의한 수신을 위해 승객 식별자에 기초하여 텍스트 메시지를 통하는 것, 휴대용 모바일 장치의 클라이언트 애플리케이션에 의한 수신을 위해 승객 식별자에 기초한 클라이언트 애플리케이션을 통하는 것, 또는 사용자 장치에 의한 수신을 위해 URL(Universal Resource Locator) 링크를 통하는 것 중 하나 이상을 통해 메시지 데이터를 전송하게끔 하는, 메모리에 저장된 추가 명령을 제공한다. 선택적으로, 임의의 선행 양태에서, 그 양태의 또 다른 구현은, 승객 이탈 이벤트가 카메라 장치 데이터 또는 차량 도어 센서 데이터 중 하나 이상에 기초한다. 선택적으로, 임의의 선행 양태에서, 그 양태의 또 다른 구현은, 승객 식별자가 사용자 이름, 국제 모바일 장비 ID(IMEI) 번호 또는 전자 일련 번호(ESN) 중 적어도 하나를 포함한다.
일 실시 예에서, 본 명세서는 승객 관련 물품 손실을 완화하는 방법을 포함하고, 이 방법은 이미지 인식을 통해 차량 객실 승객 영역 내의 물품을 승객 관련 물품으로 식별하는 단계, 물품이 승객 관련 물품일 때 승객 식별자에 의해 식별된 승객과 그 물품을 연관시키는 단계, 승객 식별자 및 승객 관련 물품으로 차량 객실 목록 데이터베이스 엔트리를 업데이트하는 단계, 승객 이탈 이벤트가 발생할 때 차량 객실 승객 영역 내에서 승객 관련 물품의 존재를 탐지하는 단계, 차량 객실 승객 영역 내의 승객 관련 물품의 존재 및 차량 객실 목록 데이터베이스 엔트리에 기초하여 메시지 데이터를 생성하는 단계, 및 승객 식별자에 의해 식별된 승객에게 경고하기 위한 메시지 데이터를 전송하는 단계를 포함한다.
선택적으로, 임의의 선행 양태에서, 그 양태의 또 다른 구현은, 물품을 식별하는 단계가 차량 객실 승객 영역의 이미지를 캡처하는 단계, 이미지의 관심 영역을 식별하는 단계 - 여기서 관심 영역은 차량 객실 승객 영역과 관련된 탐지 신뢰도 메트릭에 기초한 것임 - , 업샘플링된 관심 영역을 생성하기 위해 관심 영역을 업샘플링하는 단계 - 여기서 업샘플링된 관심 영역은 이미지 인식을 촉진하기 위해 향상된 초점을 제공하는 것임 - , 및 차량 객실 승객 영역 내의 물품을 식별하기 위해 이미지의 업샘플링된 관심 영역의 이미지 인식을 수행하는 단계를 포함한다. 선택적으로, 임의의 선행 양태에서, 그 양태의 또 다른 구현은, 메시지 데이터를 전송하는 단계가, 휴대용 모바일 장치에 의한 수신을 위해 승객 식별자에 기초하여 텍스트 메시지를 전송하는 단계, 휴대용 모바일 장치의 클라이언트 애플리케이션에 의한 수신을 위해 승객 식별자에 기초하여 메시지 데이터를 전송하는 단계, 또는 사용자 장치에 의한 수신을 위해 URL(Universal Resource Locator) 링크로서 승객 식별자에 기초하여 메시지 데이터를 전송하는 단계 중 하나 이상을 포함한다. 선택적으로, 임의의 선행 양태에서, 그 양태의 또 다른 구현은, 승객 이탈 이벤트가 카메라 장치 데이터 또는 차량 도어 센서 데이터 중 하나 이상에 기초한다. 선택적으로, 임의의 선행 양태에서, 그 양태의 또 다른 구현은, 승객 식별자가 사용자 이름, 국제 모바일 장비 ID(IMEI) 번호 또는 전자 일련 번호(ESN) 중 적어도 하나를 포함한다.
명확성을 위해, 전술한 실시 예 중 어느 하나는, 본 명세서의 범위 내에서 새로운 실시 예를 생성하기 위해 다른 전술한 실시 예 중 어느 하나 이상과 결합될 수 있다.
이들 특징 및 다른 특징은 첨부된 도면 및 청구범위와 함께 취해진 다음의 상세한 설명으로부터 더욱 명확하게 이해될 것이다.
본 명세서의 보다 완전한 이해를 위해, 첨부된 도면 및 상세한 설명과 관련하여 취해진 다음의 간단한 설명이 참조되며, 여기서 유사한 참조 번호는 유사한 부분을 나타낸다.
도 1은 차량 제어 유닛을 포함하는 차량의 개략도이다.
도 2는 차량의 카메라 장치에 의해 캡처된 차량 객실의 예시적인 측면도 이미지를 도시한다.
도 3은 관심 영역의 향상된 초점을 생성하기 위해 업샘플링의 인스턴스를 갖는 예시적인 컨볼루션 신경망을 도시한다.
도 4는 도 1의 차량 제어 유닛의 실시 예의 개략도이다.
도 5는 차량 제어 유닛의 수동 탐지 작동 모드를 예시하는 예시적인 기능 흐름도이다.
도 6은 차량 제어 유닛의 능동 탐지 작동 모드를 예시하는 예시적인 기능 흐름도이다.
도 7은 이동-대여 상황에서 승객 관련 물품 손실을 완화하기 위한 방법의 실시 예를 예시하는 흐름도이다.
하나 이상의 실시 예의 예시적인 구현이 아래에 제공되지만, 개시된 시스템 및/또는 방법은, 현재 알려져 있거나 존재하는지 여부에 관계없이, 임의의 수량의 기술을 사용하여 구현될 수 있다는 것을 처음부터 이해해야 한다. 본 명세서는, 본 명세서에서 예시되고 설명되는 예시적인 설계 및 구현을 포함하여, 아래에 예시된 예시적인 구현, 도면 및 기술로 제한되지 않아야 하며, 최대 범위의 동등물에 따라, 첨부된 청구 범위의 범위 내에서 수정될 수 있다.
이미지 처리 기술을 사용하면, 공유 차량 환경, 또는 승객이 의도하지 않게 지갑, 신용카드, 서류 가방, 헤어 브러시, 일반 포켓류 물품 등과 같은 개인 물품을 남겨둘 수 있는 택시 서비스, 차량 공유 애플리케이션, 승차 공유 등과 같은 차량 대여 환경에서, 적시에 물품을 탐지할 수 있다. 차량은, 예를 들어 자동차, 트럭, 버스, 철도 차량, 선박, 항공기 등과 같이 사람을 수송하는 이동형 기계를 의미하는 것으로 이해될 수 있다.
환경 모니터링을 통해 승객 좌석에서 나타나는 미확인 물품과 같은 물품들을 탐지할 수 있지만, 이러한 모니터링은 물품을 식별할 수는 없었다 - 예컨대, 그 물품이 위에서 언급한 개인 물품과 같이, 승객에 대한 고유의 가치를 가지는 물품이 아니라 이와는 전혀 다른 중요하지 않은 쓰레기 또는 잔여물일 수 있다.
의도하지 않게 남겨진 물품의 또 다른 복잡한 문제는 그 소유권을 결정하는 데 걸리는 시간이다. 소유권이 결정될 수 있을 때, 더 많은 복잡성은 물품을 찾아 적절한 소유자에게 반환하는 데 필요한 시간과 자원이 되어, 승차 요금이나 기타 수익 창출 활동을 생성하지 못하게 된다.
예비 승객이 스마트 폰을 통해 승차할 수 있는 편의성이 증가함에 따라, 이에 상응하는 증가로 인해 의도치 않게 남겨진 물품이 발생하고, 승객과 운전자에게 불편이 발생한다. 목적지로 이동하는 동안, 승객은 개인 물품을 꺼낼 필요가 있다. 그러나 목적지에 도착하면 승객은 탑승 중에 꺼낸 물건을 잊어버리거나 간과할 수 있다. 또한, 때로는 승객이 모르는 사이에 실수로 주머니나 지갑에서 일부 물체가 빠져 나갈 수도 있다. 헤어 브러시, 잡지 등과 같은 작은 물품은, 예를 들어 그러한 물품을 찾고 재구매하는 데 드는 불편함, 시간 및 비용 때문에, 승객에게 여전히 내재된 편의성 가치를 가질 수 있다. 이러한 개인 물품은 중요한 물품이기 때문에, 승객은 적시에 반환되기를 원하거나 더 나은 방법으로는, 처음 장소에서의 물품의 추적을 상실하지 않는 것이다.
본 명세서에 개시된 것은, 이동-대여 상황에서(그러나 이에 국한되지는 않음), 승객 물품을 식별할 수 있고 승객이 떠난 후에 차량에 남아있는 식별된 물품에 대해 승객에게 알리기 위해 알림 또는 경고를 제공할 수 있는 승객 관련 물품 손실을 완화하기 위한 방법 및 장치이다.
도 1은 차량 제어 유닛(110)을 포함하는 차량(100)의 개략도이다. 카메라 장치(120, 121, 122 및 123) 및 차량 도어 센서 장치(172, 174 및 176)는 차량 제어 유닛(110)과 통신하여 본 명세서의 승객 관련 물품 손실 완화를 제공한다.
일반적으로, 승객(162)이 차량 탑승을 원할 때, 승객(162)은 자신의 휴대용 모바일 장치(236)에 로드된 승차 공유 애플리케이션에 액세스할 수 있다. 휴대용 모바일 장치(236)의 예로는 휴대폰, 스마트 폰, PDA(Personal Digital Assistant) 장치, 태블릿 컴퓨터, 전자 판독기 등을 포함할 수 있다. 승차 공유 애플리케이션의 예로는 서비스 제공 업체 Uber, Lyft 등이 제공하는 애플리케이션이 있다.
차량 대여 또는 승차 공유를 요청하기 위해, 승객(162)은 애플리케이션 서비스와 연관된 승객의 연락처 데이터(151)를 포함하는 계정 프로필을 갖는다. 연락처 데이터(151)는 예를 들어 성명, 주소, 나이, 회원 번호, 휴대 전화 번호, 이메일 주소 등과 같은 승객 정보를 포함할 수 있다.
연락처 데이터(151)는 본 명세서의 시스템에 의해 승객(162) 및/또는 그들의 휴대용 모바일 장치(236)에 할당된 고유 식별자를 포함하는 승객 식별자(148)로 액세스될 수 있다. 예를 들어, 승객 식별자(148)는 승객(162)의 사용자 이름, 국제 모바일 장비 ID(IMEI) 번호 또는 승객의 휴대용 모바일 장치(236)의 전자 일련 번호(ESN) 및/또는 승객(162) 및/또는 그들의 휴대용 모바일 장치(236)와 관련된 기타 고유 식별자를 포함할 수 있다.
승객(162)이 휴대용 모바일 장치(236)를 통해 차량 탑승을 요청하면, 승객 식별자(148)는 네트워크 클라우드(118)와 결합된 무선 통신(144 및 142)을 통해 제3자 서버(133)에 제공된다. 이에 응답하여, 예를 들어 승객(162)에 대한 픽업 좌표 및 연락처 데이터(151)를 특정하는 운전자 지향 애플리케이션을 통해 승객(162)을 위한 차량(100)으로 차량 탑승이 배정된다.
승객 식별자(148) 및 연락처 데이터(151)는 안테나(112)를 통한 무선 통신(140)을 통해 차량 제어 유닛(110)으로 전달될 수 있다. 무선 통신(140)은 네트워크 클라우드(118)를 통해 무선 통신(142 및 144)으로 확장된다. 이러한 무선 통신은 국내 및/또는 국제 셀룰러 전화 시스템에서 인터넷, 지점 간 가정 내 무선 네트워크(point-to-point in-home wireless networks), 무선 주파수 식별(RFID) 시스템에 이르기까지 다양하다. 각각의 유형의 통신 시스템은 하나 이상의 통신 표준에 따라 구성되어 작동한다. 예를 들어, 무선 통신 시스템은, 3세대 파트너십 프로젝트(3GPP), 4세대 파트너십(4GPP), 5세대 파트너십 프로젝트(5GPP), 장기 진화(LTE), LTE Advanced, RFID, IEEE(Institute of Electrical and Electronics Engineers) 802.11, 블루투스(Bluetooth), AMPS(Advanced Mobile Phone Services), 디지털 AMPS, GSM(Global System for Mobile Communications), CDMA(Code Division Multiple Access), LMDS(local multi-point distribution systems), MMDS(multi-channel-multi-point distribution systems) 및/또는 그 변형을 포함하나 이에 국한되지는 않는 하나 이상의 표준에 따라 작동할 수 있다.
차량(100)에서 이동하는 동안, 차량 제어 유닛(110)은 카메라 장치(120, 121, 122 및 123)를 통해 차량 객실(102)의 물품을 모니터링하도록 작동할 수 있다. 각각의 카메라 장치(120, 121, 122 및 123)는 차량 제어 유닛(110)을 통해 차량 객실 승객 영역(124, 126 및/또는 127) 중 하나 또는 여러 개를 모니터링하도록 할당될 수 있다. 또한, 각각의 카메라 장치(120, 121, 122 및 123)는 차량 객실 승객 영역(124, 126 및/또는 127)의 측면도 또는 평면도와 같은 상이한 뷰를 캡처하기 위해 차량 객실(102) 내에 위치될 수 있다. 도 1의 예시에서, 차량(100)은 조수석 앞좌석, 조수석 뒷좌석, 운전석 뒷좌석, 운전석에 위치한 운전자/조작자 좌석 등 4개 이상의 좌석 위치를 가지는 승용 세단으로 제시된다.
카메라 또는 카메라 장치라는 용어는 본 명세서에서 이미지를 기록하거나 캡처하기 위한 임의의 광학 기기를 나타내기 위해 사용되며, 이는 장치에 국부적으로 저장될 수도 있고 전원/데이터 버스(128)를 통해 차량 제어 유닛(110)과 같은 다른 위치로 전송될 수도 있으며, 또는 둘 다일 수 있다. 이미지는 개별 스틸 사진 또는 비디오 생성을 위한 이미지 시퀀스를 포함할 수 있다. 비디오는 카메라 또는 카메라 장치와 함께 로컬로 저장될 수 있고, MPEG-2 Part 2, MPEG-4 Part 2, H.264(MPEG-4 Part 10), HEVC(High Efficiency Video Coding), Theora, RealVideo RV40, VP9, AV1 등과 같은 압축된 비디오 형식으로 차량 제어 유닛(110)에 전송 및/또는 스트리밍될 수 있다.
도 1의 예시에서, 승객(162)은 차량 객실 승객 영역(124)에 대응하는 앞 좌석을 차지한다. 설명의 명확성을 위해, 차량 객실 승객 영역(124)에 착석한 승객의 예시는 도시되지 않았다. 카메라 장치(122)는 차량(100)의 도어 프레임에 위치되고 차량 객실 승객 영역(124)의 측면 시야를 갖는다. 카메라 장치(120)는 차량(100)의 천장에 위치되고 차량 객실 승객 영역(124)의 상부 시야를 갖는다. 카메라 장치는 승객 물품을 식별하기 위해 내부의 임의의 각도 및/또는 영역을 캡처하기 위해 차량 캐빈(102) 내의 어느 곳에나 배치될 수 있다는 점을 유의한다.
카메라 장치(120 및 122)는 차량 객실(102)의 이미지를 캡처하고 차량 제어 유닛(110)에 의해 차량 객실 승객 영역(124)에 위치한 물품(130)과 같은 물품의 식별을 결정하기 위해 사용될 수 있는 데이터(152)를 생성할 수 있다. 일단 식별되면, 차량 제어 유닛(110)은 물품(130)과 같은 식별된 물품을 승객 식별자(148)에 의해 식별된 승객(162)과 연관시키도록 작동하고, 식별된 물품(130)에 기초하여 차량 객실 목록 데이터베이스 엔트리(114)로 차량 객실 목록 데이터베이스(150)를 업데이트하도록 작동한다. 차량 제어 유닛(110)은 승객(162) 및 물품(130)의 위치, 일치 시간에 기초하여 물품(130)을 승객(162)과 연관시킨다. 예를 들어, 이미지 타임 스탬프, 결제 타임 스탬프, 예약된 픽업 시간 등을 기반으로 승객이 차량 대여와 일치하는 시간이다. 물품(130)이 차량(100)에 탑승한 승객의 존재 시간과 대응하는 것으로 나타나면, 물품과 일치하는 시간이 고려될 수 있다.
또한, 각각의 카메라 장치(120, 121, 122 및 123)는 가시 광선 및/또는 비가시 광선 스펙트럼에서 작동할 수 있으므로 차량 객실 승객 영역(124, 126 및/또는 127)의 이미지가 차량 객실(102) 내부의 적합한 및/또는 부적합한 광량 조건에서 캡처될 수 있다.
차량 도어 센서 장치(172, 174 및 176)는 승객의 이탈 및/또는 진입 이벤트를 탐지하도록 작동한다. 도 1의 예시에서, 차량 도어 센서 장치(172, 174 및 176) 각각은 차량 객실 승객 영역(124, 126 및 127)에 각각 대응한다. 승객 이탈 및/또는 이벤트의 예시는 잠금 상태에서 잠금 해제 상태로 전이하는 차량 승객 도어 잠금을 탐지하는 차량 도어 센서 장치(172, 174 및 176)를 포함한다.
예를 들어, 차량(100)이 승객 픽업 지점에 도달하거나 목적지에 도착하면, 승객(162)(또는 운전자)은 차량(100)의 앞 좌석 도어를 열게 된다. 승객 픽업 시의 승객 진입 이벤트 또는 목적지 도달 시의 승객 이탈 이벤트를 탐지할 때, 이 예시에서의 차량 도어 센서 장치(172)는 각각의 진입 및/또는 이탈 이벤트를 나타내는 데이터(152)를 생성하도록 작동 가능하다. 데이터(152)는 전원/데이터 버스(128)를 통해 차량 제어 유닛(110)에 전달될 수 있다.
카메라 장치(120, 121, 122 및 123), 차량 도어 센서 장치(172, 174 및 176) 및 차량 제어 장치(110)는, BEAN(Body Electronic Area Network), CAN(Controller Area Network) 버스 구성, 자동차 이더넷 LAN(Local Area Network), 자동차 무선 LAN 구성, 및/또는 차량(100)의 장치와 시스템 간의 통신을 제공하기 위한 그 밖의 통신 시스템 아키텍처와 같은 네트워크 아키텍처의 조합을 포함하는 전원/데이터 버스(128)에 의해 결합될 수 있다.
이해될 수 있는 바와 같이, 자율 주행 차량에서, 운전석 좌석(예를 들어, 앞쪽 운전석 측 좌석)은 결과적으로는 구성 가능한 추가 차량 객실 승객 영역을 제공할 수 있다. 또한, 더 적거나 더 많은 수의 차량 객실 승객 영역은 차량(100)의 모델에 대한 좌석 용량에 대응할 수 있다.
본 명세서에서는, 차량 제어부(110)에 의해 실행 가능한 이미지 인식 처리를 통해 차량 객실 승객 영역(124) 내의 물품(130)을 식별한다. 이미지 인식 처리는 머신 러닝 기술에 의해 구현될 수 있으며, 이는 도 2 내지 도 3을 참조하여 상세히 설명된다.
승객 이탈 이벤트가 발생하면, 차량 도어 센서 장치(172, 174 및/또는 176)에 의해 표시되는 바와 같이, 차량 제어 유닛(110)은 차량 객실 승객 영역(124) 내의 식별된 물품(130)의 존재를 탐지하도록 작동하고, 메시지 데이터(160)를 생성한다. 메시지 데이터(160)는 탐지된 물품(130)과 관련된 차량 객실 목록 데이터베이스 엔트리(114)를 포함하고 또한 연락처 데이터(151)를 포함한다.
메시지 데이터(160)는 식별된 물품(130)이 차량(100)에 남겨진 것을 승객(162)에게 통지하는데 사용될 수 있다. 경고는 휴대용 모바일 장치(236)를 통해 이루어질 수 있으며, 승객(162)에게 물품(130)을 경고하기 위해 문자 메시지(촉각 진동, 소음 경고, 시각적 그래픽 경고 등을 포함)를 수신할 수 있다. 경보는 또한 승객(162)의 주의를 물품(130)으로 유도하기 위한 청각적 및/또는 시각적 경보를 포함하여, 차량(100)의 안내 장치(164)를 통해 이루어질 수 있다. 작동 시, 차량 제어 유닛(110)은 이동-대여 상황에서 승객 관련 물품 손실을 완화한다.
이해될 수 있는 바와 같이, 물품(130)의 위치가 고정이 아니기 때문에, 차량 제어 유닛(110)은 차량(100)으로 이동하는 동안 차량 객실 승객 영역(124, 126 및/또는 127)을 지속적으로 및/또는 주기적으로 모니터링하도록 작동 할 수 있다. 승객(162)은 차량 객실 승객 영역(124) 또는 다른 차량 객실 승객 영역(126 및/또는 127)에서의 물품(130)과 같은 물품을 의도적으로 및/또는 의도하지 않게 이동하거나 취급할 수 있다. 따라서, 차량 제어 유닛(110)은 물품(130)을 재식별하거나 차량 이동 중에 물품(130)을 추적하도록 구성된다.
차량 제어 유닛(110)이 주기적으로 동작하는 경우, 차량 제어 유닛(110)은 수동 탐지 모드 동작으로 지칭될 수 있으며, 이에 대해서는 도 7을 참조하여 상세히 설명한다. 차량 제어 유닛(110)이 연속적으로 동작하는 경우, 차량 제어 유닛(110)은 능동 탐지 모드 동작으로 지칭될 수 있으며, 이에 대해서는 도 6을 참조하여 상세히 설명한다. 인식할 수 있는 바와 같이, 수동 탐지 모드 작동은 차량 제어 유닛(110)의 더 적은 컴퓨팅 자원을 필요로 하고, 차량 객실 승객 영역(124, 126 및/또는 127)을 모니터링하기 위해 더 적은 전력을 필요로 하는 반면, 능동 탐지 모드 작동은 차량 제어 유닛(110)의 더 많은 컴퓨팅 자원을 필요로 하고, 객실 승객 영역(124, 126 및/또는 127)을 모니터링하기 위해 더 큰 전력을 사용한다.
도 2는 도 1의 카메라 장치(122)와 같은, 차량(100)의 카메라 장치에 의해 캡처될 수 있는 차량 객실(102)의 예시적인 측면도 이미지(202)를 도시한다. 도 2의 투시도는 가려진 물품(130)의 이미지 인식의 예시 또는 이미지 인식을 복잡하게 할 수 있는 즉시 인식할 수 없는 위치를 예시한다. 물품(130)은 예를 들어, 이미지(202)에 의해 에지 투시도가 캡처될 수 있도록, 차량 객실 승객 영역(124)에서 아래를 향하고 있는 승객의 신용 카드일 수 있다. 이미지 인식은 일반적으로 이미지 내의 에지 경계 탐지를 기반으로 한다. 예를 들어, 신용 카드의 에지 경계는 카메라 장치와 관련하여 상이한 위치 또는 방향에서 일반적인 직사각형을 형성한다.
이미지 처리를 위해, 이미지(202)는 다중 영역(206)으로서 정의될 수 있다. 이들 중, 관심 영역(208)은 영역 206(1,1), 206(2,1), 206(3,1) 등과 같이 신뢰도가 높은 메트릭으로 정의될 수 있다. 도 2의 예에서, 관심 영역(208)은 매트릭스 블록을 형성하나; 관심 영역은 이미지 처리를 위한 관리 가능한 블록을 제공하기 위해 더 굵은 또는 더 미세한 그래뉼래러티(granularity)로 스케일링될 수 있다. 승객 관련 물품은 차량 객실 승객 영역(124) 내의 고정된 위치에 묶이지 않기 때문에, 이미지 인식 기술은 머신 러닝 기술을 통합할 수 있으며, 이는 도 3에서 상세히 설명된다.
이해될 수 있는 바와 같이, 차량 객실 승객 영역 내의 물품을 인식하기 위해 다양한 이미지 인식 전략이 구현될 수 있다. 예를 들어, 이미지 인식 기술은 물품의 구체적인 특징을 고려하여 외관에 기반한 것일 수 있고, 모델 매칭을 위한 깊이 우선 검색 기술인 해석 트리로 구현될 수도 있으며, 패턴 또는 템플릿, 더 간단한 물품의 매핑으로 구현될 수도 있고, 생물학적 신경망에서 영감을 받은 인공 신경망으로 구현될 수도 있다.
처음에는, 기존의 신경망이 사용되었지만, 구현 과정에서 지나친 번거로움이 입증되었다. 기법과 기술이 발전함에 따라, 일반적인 태양의 이미지를 활용하기 위해 컨볼루션 신경망이 개발되었으며, 이는 근접성이 유사성과 강력한 상관 관계가 있다는 원칙이다. 예를 들어, 주어진 이미지에서 서로 가까이에 있는 두 개의 픽셀은 더 멀리 떨어져 있는 두 개의 픽셀보다 관련될 가능성이 더 높다.
신경망 효율성을 향상시키기 위해 컨볼루션은 덜 중요한 연결을 제거하도록 작동하여, 근접성에 따라 연결을 필터링하여 이미지 처리를 계산적으로 관리할 수 있게 한다. 컨벌루션 신경망은 연결을 제한하여 네트워크의 뉴런이 주어진 이미지 레이어(예: 3x3x1 또는 5x5x1 픽셀)의 작은 하위 섹션으로부터의 입력만 받아들이도록 한다. 따라서, 이미지는 전체적인 시각적 이미지 인식을 위한 처리의 효율성을 더욱 높이기 위해, 관리 가능한 부분으로 분할된다.
작동 중에, 영역(206)으로 분할된 차량 객실 승객 영역(124, 126 및/또는 127)을 포함하는 이미지(202)가 캡처된다. 영역(206)은, (x, y)와 같은 열/행 기반으로 지정될 수 있다. 관심 영역(208)은 이미지(202)에서 식별되며, 여기서 관심 영역(208)은 영역(206) 중의 하나 및 차량 객실 승객 영역(124, 126 및/또는 127) 중 적어도 하나에 대응하는 탐지 신뢰도 메트릭에 기초한다. 차량 객실 승객 영역(124, 126 및/또는 127)을 포함하지 않는 이들 영역(206)은 기본적으로, 차량 객실 승객 영역과 일반적으로는 관련되지 않는 최상단 열(row) 영역(206(1,3), 206(2,3), 206(3,3))과 같이 더 낮거나 무시할 수 있을만한 신뢰도 메트릭을 갖는다. 나머지 영역(206) 중에서, 물품을 갖는 영역은, 물품이 탐지되지 않은 관심 영역(208)에 비해 상승된 탐지 신뢰도 메트릭을 제공한다.
탐지 신뢰도 메트릭은 이미지 인식 기술을 통해 식별된 물체가 정확하게 식별되거나 식별될 수 있는 확률 또는 가능성과 관련된다. 일반적으로, 탐지 신뢰도 메트릭은 본질적으로 휴리스틱(heuristic)이며 추가 교육 데이터, 피드백 데이터 및 실제 응용 프로그램을 통해 개선되고 특정 이미지 인식 기술에 대한 피드백 결과를 얻을 수 있다. 예를 들어, 컨볼루션 신경망은 경사 하강법을 학습하도록 작동할 수 있는데, 여기서 신경망의 각각의 계층은 아래의 계층에서부터 피드하여 높은 탐지 신뢰도 메트릭에서 객체를 해결, 즉 인식할 수 있는 계층적 특징을 구축한다.
이미지 처리와 관련하여, 컨볼루션 신경망은 많은 양의 훈련 데이터를 통해 머신 러닝에 참여할 수 있다. 또한, 시간이 지남에 따라 컨볼루션 신경망은 서로 다른 관점 및/또는 방향으로 물품을 묘사하는 서로 다른 데이터에 노출되면 스스로 학습할 수도 있다. 계속하여, 이미지 인식을 적용할 때, 탐지 신뢰도 메트릭은, 여러 물품 중 하나로 인식될 가능성이 있거나 확률적으로 그렇게 인식할 수 있는 다양한 픽셀 밀도를 중계한다.
관심 영역(208)은 업샘플링된 관심 영역(210)을 생성하기 위해 업샘플링되며, 이는 사실상 관심 영역(208)에 추가의 픽셀 초점을 가져다 준다. 이와 관련하여, 차량 제어 유닛(110)의 자원은 업샘플링된 관심 영역에 집중되어 이미지(202)의 업샘플링된 관심 영역(208)의 업샘플링된 수행 이미지 인식의 이미지 인식을 수행하여 차량 객실 승객 영역(124) 내의 물품(130)을 식별한다. 또한, 머신 러닝 기술을 구현하여 추가로, 물품을 기본적인 클래스로 정확하게 설명할 수 있다. 예를 들어, 이동-대여 승객과 연관된 물품과 같은 승객 관련 물품의 클래스와, 차량 운영자의 물품과 같은 승객과 관련되지 않은 물품의 다른 클래스가 있다. 위에서 설명된 이미지 처리 기술을 사용하여, 물품(130)과 같은 물품을 쉽게 탐지하고 식별할 수 있다.
이미지(202)에 기초한 이미지 인식에 대해, 도 3은 예시적인 컨볼루션 신경망(300)을 도시한다. 일반적으로, 컨볼루션 신경망(300)은 컨볼루션 계층(302), 풀링 계층(304) 및 완전 연결 신경망 계층(306)을 포함한다. 훈련과 관련하여, 컨볼루션 신경망(300)은(위에서 논의 된 것과 같은) 가능한 승객 관련 물품의 세트에 대해 훈련될 수 있다.
동작 시, 컨볼루션 신경망(300)은 근접성에 의한 필터링 연결에 기초하여 이미지(202)에 대한 이미지 인식을 제공하도록 동작한다. 예를 들어, 신경망과 같이 주어진 계층의 모든 뉴런에 모든 입력을 연결하는 대신, 컨벌루션 신경망(300)은 뉴런이 그 이전 계층의 작은 하위 섹션에서만 입력을 받아들일 수 있게, 연결을 제한하도록 작동한다. 따라서, 컨볼루션 신경망(300)의 뉴런은 이미지(202)의 일부의 이미지 처리를 담당한다.
컨볼루션 계층(302)은 이미지(202)(폭(x), 높이(y) 및 색상(d) 치수를 가짐)를 출력(310)으로서 중첩 타일 그룹(예를 들어, 3 x 3 x 3 타일)으로 처리하도록 동작한다. 이미지(202)가 비디오 또는 일련의 이미지 형태인 경우, 시간(t)을 고려하기 위해 추가적인 차원이 부가될 수 있다. 출력(310)은 이미지(202)의 각각의 영역의 콘텐츠를 수치적으로 표현하기 위해 어레이에 배열된 값을 제공한다(예를 들어,도 2 참조).
풀링 계층(304)은 3차원 또는 4차원 어레이로 출력(310)을 수신하고 관심 영역(208) 내의 물품(130)을 나타내는 탐지 신뢰 메트릭과 관련된 이미지(202)의 일부를 포함하는 풀링된 출력(312)을 생성한다. 일반적으로, 풀링 계층은 이미지 표현의 공간 크기를 줄이기 위해 작동한다. 풀링은 원래의 입력 볼륨에서 특징의 관계형 컨텍스트를 생성하도록 작동하여, 사실상 이미지 볼륨의 공간 크기를 줄이는데, 여기서 픽셀 길이와 너비는 변경되지만 픽셀 깊이는 변경되지 않는다. 결과적으로, 컨벌루션 네트워크에 의한 파라미터 및 연산의 수량도 감소한다.
완전 연결 신경망 계층(306)은 이미지(202)와 관련된 관심 영역(208)을 생성하는 탐지 계층(314)으로서 기능한다. 탐지 계층(314)은 탐지된 물품(130)을 나타내는 상승된 탐지 신뢰도 메트릭을 갖는 관심 영역(208)을 보존한다.
제어기(316)는 업샘플링(318) 및 필터(322)를 통해 업샘플링된 출력(324)을 생성하기 위해, 풀링된 출력(312)을 선택적으로 업샘플링하도록 동작하며, 이는 관심 영역(208)을 통해 이미지(202)의 추가 세그먼트에 대해 윤곽을 그리고 포커싱(예컨대, 픽셀 밀도를 증가시킴)하도록 작동한다. 업샘플링된 출력(324)은 예를 들어 이미지(202)와 같은 저해상도 이미지의 일부의 해상도가 증가된 업샘플링된 풀링된 출력(326)을 생성하기 위해 추가로 풀링될 수 있다.
업샘플링된 풀링된 출력(326)은, 예를 들어 관심 영역(208) 내에서, 업샘플링된 풀링된 출력(326)으로부터 탐지(320)에 의해 생성된 업샘플링된 관심 영역(210)에 의해 추가로 포커싱되는, 물품(130)을 나타내는 탐지 신뢰도 메트릭과 관련된 이미지(202)의 구성요소 및/또는 부분을 추가로 포함한다. 이와 관련하여, 이미지(202)의 해상도는 풀링된 계층으로부터 컨텍스트를 캡처하도록 향상된다. 사실상, 풀링된 출력(326)을 업샘플링하는 것은 이미지 인식을 위한 추가 정보를 제공하기 위해 이미지(202)의 원하는 부분에 초점 기능을 제공한다.
이미지 인식 결과에 도달하기 위해, 관심 영역(208)의 부분에 반복적으로 초점을 맞추도록, 추가의 업샘플링 단계, 추가의 컨볼루션 구현, 풀링 및 업샘플링 프로세스가 구현될 수 있다. 도 4를 참조로 상세히 설명되는 것처럼, 컨벌루션 신경망(300)은 차량 제어 유닛(110)를 통해 실행될 수 있다.
도 4는 본 명세서의 일 실시 예에 따른 차량 제어 유닛(110)의 개략도이다. 차량 제어 유닛(110)은 본 명세서에 설명된 바와 같이 개시된 실시 예를 구현하기 위한 적절한 플랫폼이다. 차량 제어 유닛(110)은 데이터를 수신 및/또는 전송하기 위한 통신 인터페이스(402); 데이터를 처리하기 위한 프로세서, 로직 유닛, 또는 중앙 처리 유닛(CPU)(404); 및 데이터를 저장하기 위한 메모리(406)를 포함하고, 이들은 버스(408)를 통해 서로 결합된다.
프로세서(404)는 하드웨어 및 소프트웨어에 의해 구현된다. 프로세서(404)는 하나 이상의 CPU 칩, 코어(예를 들어, 멀티 코어 프로세서), FPGA(field-programmable gate array), ASIC(application specific integrated circuits) 및 DSP(digital signal processor)로 구현될 수 있다. 프로세서(404)는 통신 인터페이스(402) 및 메모리(406)와 통신한다. 프로세서(404)는 통상적인 중앙 처리 장치 또는 정보를 조작하거나 처리할 수 있는 임의의 다른 유형의 장치 또는 다중 장치일 수 있다. 이해될 수 있는 바와 같이, 프로세서(404)는 단일 처리 장치 또는 복수의 처리 장치일 수 있다. 이러한 처리 장치는 마이크로 프로세서 마이크로 컨트롤러, 디지털 신호 프로세서, 마이크로 컴퓨터, 중앙 처리 장치, 필드 프로그래밍 가능 게이트 어레이, 프로그래밍 가능 논리 장치, 상태 머신, 논리 회로, 유추 회로, 디지털 회로 및/또는 회로 및/또는 작동 명령의 하드 코딩에 기반한 신호(아날로그 및/또는 디지털) 조작하는 임의의 장치일 수 있다.
메모리(및/또는 메모리 요소)(406)는 하나 이상의 디스크, 테이프 드라이브 및 솔리드 스테이트 드라이브를 포함하고, 오버-플로 데이터 저장 장치로서 사용되어, 프로그램이 실행을 위해 선택될 때 프로그램을 저장할 수 있고 또한 프로그램 실행 중에 판독되는 명령이나 데이터를 저장할 수 있다. 메모리(406)는 휘발성 및/또는 비휘발성 일 수 있고 ROM(read-only memory), RAM(random access memory), TCAM(ternary content-addressable memory) 및/또는 SRAM(static random-access memory)일 수 있다. 더욱이, 본 명세서에 설명된 배열은 컴퓨터 판독 가능 프로그램 코드가 구현된, 즉 저장되어 있는 하나 이상의 컴퓨터 판독 가능 저장 매체에 구현된 컴퓨터 프로그램 제품의 형태를 취할 수 있다. 하나 이상의 컴퓨터 판독 가능 매체의 임의의 조합이 활용될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터 판독 가능 신호 매체 또는 컴퓨터 판독 가능 저장 매체일 수 있다.
"컴퓨터 판독 가능 저장 매체"라는 문구는 비일시적 저장 매체를 의미한다. 컴퓨터 판독 가능 저장 매체는 예를 들어, 전자, 자기, 광학, 전자기, 적외선 또는 반도체 시스템, 장치 또는 장치, 또는 이들의 임의의 적절한 조합일 수 있지만 이에 제한되지는 않는다. 컴퓨터 판독 가능 저장 매체의 보다 구체적인 예시(완전하지 않은 목록)로는, 휴대용 컴퓨터 디스켓, 하드 디스크 드라이브(HDD), 솔리드 스테이트 드라이브(SSD), ROM, 지울 수 있는 프로그램 가능 읽기 전용 메모리(EPROM 또는 플래시 메모리), 휴대용 컴팩트 디스크 읽기 전용 메모리(CD-ROM), 디지털 다용도 디스크(DVD), 광학 저장 장치, 자기 저장 장치 또는 이들의 적절한 조합을 포함할 것이다. 본 명세서에서 설명된 실시 예들의 맥락에서, 컴퓨터 판독 가능 저장 매체는 명령어 실행 시스템, 장치 또는 기기에 의해 또는 이와 관련하여 사용하기 위한 프로그램을 포함하거나 저장할 수 있는 임의의 실재하는 매체일 수 있다. 컴퓨터 판독 가능 매체에 구현된 프로그램 코드는 무선, 무선, 광섬유, 케이블, RF(Radio Frequency) 등을 포함하지만 이에 제한되지 않는 임의의 적절한 매체를 사용하여 전송될 수 있다.
메모리(406)는 기계 판독 가능 명령어를 저장할 수 있으므로, 기계 판독 가능 명령어는 프로그래밍 언어로 작성된 논리 또는 알고리즘, 및 예를 들어, 프로세서(404)에 의해 직접 실행될 수 있는 기계 언어 또는 기계 판독 가능 명령어로 컴파일 또는 조립되어 메모리(406)에 저장 될 수 있는 어셈블리 언어, JAVA, Smalltalk, C 등과 같은 객체 지향 프로그래밍(OOP), 기존의 절차적 프로그래밍 언어, 스크립팅 언어, 마이크로 코드 등의 그 생성물(예: 1GL, 2GL, 3GL, 4GL 또는 5GL)을 포함할 수 있다. 대안으로, 기계 판독 가능 명령어는 FPGA 구성이나 ASIC 또는 등가물을 통해 구현된 로직과 같은 하드웨어 설명 언어(HDL)로 작성될 수 있다. 따라서, 본 명세서에 설명된 방법 및 장치는 임의의 종래의 컴퓨터 프로그래밍 언어, 사전 프로그래밍 된 하드웨어 요소 또는 하드웨어 및 소프트웨어 구성 요소의 조합으로 구현될 수 있다.
프로세서(404)가 하나 이상의 처리 장치를 포함할 때, 처리 장치는 중앙에 위치할 수 있거나(예를 들어, 유선 및/또는 무선 버스 구조를 통해 직접 연결) 분산적으로 위치할 수 있다(예를 들어, 근거리 통신망 및/또는 광역 통신망을 통한 간접 연결을 통한 클라우드 컴퓨팅). 또한 프로세서(404)가 상태 머신, 아날로그 회로, 디지털 회로 및/또는 논리 회로를 통해 하나 이상의 기능을 구현할 때, 대응하는 동작 명령을 저장하는 메모리(및/또는 메모리 요소)가 내부에 내장될 수 있거나 또는 상태 머신, 아날로그 회로, 디지털 회로 및/또는 논리 회로를 포함하는 회로 외부에 있을 수 있다는 점을 유의한다.
통신 인터페이스(402)는 일반적으로 전력/데이터 버스(128)를 통해 차량 네트워크(412)에 제공되는 메시지 데이터(160)뿐만 아니라 수신 데이터(152)와 같은, 차량 네트워크(412)를 통해 수신되는 데이터를 통제하고 관리한다.
차량 객실 목록 데이터베이스는 메모리(406)에 정의된 로컬 차량 객실 목록 데이터베이스(450)로서 국부적으로 저장될 수 있고, 클라이언트 자체 데이터베이스 동작을 위해 차량 제어 유닛(110)과 함께 배치될 수 있다. 예를 들어, 무선 통신(140)에서 불량한 신호 품질에 의한 데이터 중단을 피하기 위해, 도 1의 차량 객실 목록 데이터베이스(150)의 일부(도시되지 않음)가 로컬 차량 객실 목록 데이터베이스(450)로서 메모리(406)에 다운로드, 푸시 및/또는 복사될 수 있다.
이와 관련하여, 차량 제어 유닛(110)은 승객(162)에 대한 연락처 데이터(151)를 기반으로 안내용 메시지 데이터(160)를 생성할 수 있다. 통신 인터페이스(402)는 또한 무선 통신(140)을 통해 네트워크 클라우드(118)에 의해 표현되는 것과 같은 외부 네트워크에 대한 데이터 흐름을 관리하도록 동작할 수 있다. 본 명세서 상에 임의의 특정 하드웨어 배치에서 동작한다는 제한이 없으므로, 본 명세서의 기본 특징은 개발될 수 있는 개선된 하드웨어 및/또는 펌웨어 배열을 위해 대체, 제거, 추가 또는 수정될 수 있다.
도 5는 차량 제어 유닛(110)의 수동 탐지 작동 모드(500)를 예시하는 예시적인 기능 흐름도이다. 일반적으로, 수동 탐지 작동 모드(500)는 차량 객실 승객 영역(124, 126 및/또는 127) 내의 물품을 탐지하고 식별하기 위해 더 크거나 지연된 시간 간격으로 작동할 수 있다. 수동 탐지 작동 모드(500)에서, 차량 제어 유닛(110)의 컴퓨팅 리소스에 대한 요구가 적고, 그 결과 차량(100) 전원으로부터 더 적은 전력 요구만이 존재한다. 수동 탐지 작동 모드(500)는 차량 제어 유닛(110)에 의한 전력 소비를 최소화하기 위해 전기 및/또는 하이브리드 전기 차량 환경에서 사용될 수 있다.
수동 탐지 작동 모드(500)는 오프라인 구성 요소(510) 및 온라인 구성 요소(560)를 포함한다. 오프라인 구성 요소(510)는 블록(512)에서와 같이 차량 제어 유닛(110)의 다운 타임 동안 생성하여 차량 객실 승객 영역(124, 126 및 127)에 대응하는 차량 객실(102)에 대한 차량 객실 훈련 데이터를 구축할 수 있다. 차량 객실 훈련 데이터는 차량 객실(102)에 대한 카메라 장치의 위치 및 조망에 기초하여 각각의 카메라 장치(120, 121, 122 및 123)에 대해 생성될 수 있다. 이해될 수 있는 바와 같이, 훈련 데이터는 차량 객실(102) 내의 물품 인식을 위해 컨볼루션 신경망(300)을 훈련시키는 데 사용될 수 있다.
블록(514)에서, 작동은 차량 객실 모델을 도 2에 도시되었고 위에서 상세히 설명된 것처럼 영역(206(a, b))으로 분할한다. 분할된 차량 객실 모델은 (1) 승객 입장 이벤트(562) 및 (2) 승객 이탈 이벤트(576)의 예에 의해 개시되는 물품 식별을 위해 온라인 컴포넌트(560)에서 사용된다. 이해될 수 있는 바와 같이, 승객 입장 이벤트(562)와 승객 이탈 이벤트(576) 사이의 기간은 차량 제어 유닛(110)의 전력 및 자원 가용성을 기반으로 차량 객실 승객 영역에서 물품 탐지 및 식별을 위해 더 작은 샘플링 시간 간격으로 취할 수 있다.
온라인 컴포넌트(560)에서, 승객 입장 이벤트(562)는 이어서 물품 식별 및 승객 식별을 개시한다. 승객 입장 이벤트(562)의 예시는, 예를 들어 승객이 좌석에 자리를 잡기 위한 시간에 수반되는 승객 도어의 개방을 포함한다.
블록 564에서, 수동 탐지 작동 모드(500)는 차량 객실(102)의 이미지를 캡처하고, 블록(566)에서, 차량 객실 승객 영역(124, 126 및/또는 127)에서 물품 및/또는 물품을 탐지하고 식별한다.
승객 식별은 승객 이미지가 캡처 및/또는 애플리케이션에 액세스되는 블록 568에서 시작하고, 블록 570에서는 승객 인식 및 승객 식별자를 생성한다.
이해될 수 있는 바와 같이, 승객 인식은 인터넷 소스 인식 데이터를 사용하는 얼굴 및/또는 생체 인식 기술에 기초할 수 있다. 예를 들어, 얼굴 인식 기능이 개발되어 생체 정보와 결합된 사용자 이미지 게시물로부터 소셜 네트워킹 데이터 리소스에서 사용할 수 있다. 소셜 네트워킹 리소스의 예시에는 Facebook, Linkedin, Google, YouTube, Pinterest, Instagram, Tumblr 등이 포함될 수 있다.
또한 이해될 수 있는 바와 같이, 승객 인식은 도 1을 참조하여 위에서 언급한 바와 같이 이동-대여 차량을 요청하는 데 사용되는 클라이언트 애플리케이션으로부터의 승객의 연락처 데이터(151)에 기초할 수 있다.
블록(572)에서, 블록(566)의 식별된 물품은 블록(570)에서 식별되거나 인식된 승객과 연관된다. 블록(574)에서, 차량 객실 목록 데이터베이스(150)는 승객 식별자와 연관된 식별 된 물품에 기초한 엔트리로 업데이트된다.
블록(576)에서, 승객 이탈 이벤트는 차량 객실 승객 영역(124, 126 및/또는 127)에서 물품 또는 물품을 식별하는 것을 트리거한다. 블록(562)의 승객 입장 이벤트로부터의 물품 식별과 대조적으로, 물품은 다른 차량 객실 승객 영역으로 재배치되거나 승객에 의해 승객의 의류 또는 액세서리로 반환하는 것과 같이 함께 제거되었을 수 있다. 블록(578)에서, 남아있는 물품 또는 제거된 물품이 식별된다. 블록(580)에서, 남아있는 물품의 위치 및 제거된 물품의 마지막으로 알려진 위치가 결정된다. 블록(572)에서, 남아 있는 물품 또는 제거된 물품은 승객과 연관되고, 블록(574)에서, 차량 객실 목록 데이터베이스(150)는 남아 있는 물품 또는 제거된 물품의 상태를 반영하도록 업데이트된다.
블록(594)에서, 위에서 상세히 설명된 바와 같이, 승객에게 통지하기 위해 차량 객실 승객 영역 내의 식별된 물품 또는 물품들에 관한 엔트리를 포함하는 메시지 데이터가 생성된다. 블록(562)의 승객 입장 이벤트와 블록(576)의 승객 이탈 이벤트 사이의 시간 범위 때문에, 여러 승객이 있는 시나리오는 식별된 물품을 개별 승객과 연관시킬 수 없지만, 일반적으로 식별된 물품을 전체 승객 그룹과 연관시킬 수는 있다.
또한, 차량 객실 목록 데이터베이스(150)는 사용자 질의를 통해 블록(590)에서 액세스될 수 있다. 이와 관련하여, 승객, 차량 운영자 또는 차량 대여 서비스는 블록(592)에서 차량 객실 목록 데이터베이스(150)에서 쿼리 객체를 검색할 수 있고, 블록(594)에서 승객뿐만 아니라 차량 운영자 및/또는 차량 대여 서비스에게 알리기 위한 메시지 데이터를 생성할 수 있다.
도 6은 차량 제어 유닛(110)의 능동 탐지 작동 모드(600)를 예시하는 예시적인 기능 흐름도이다. 일반적으로, 능동 탐지 동작 모드(600)는 식별된 물품을 승객과 연관시키기 위해 연속적 또는 거의 연속적으로 동작할 수 있다.
블록(610)에서, 승객 입장 이벤트가 발생하면, 승객은 블록(612)에서 탐지되고, 전술한 얼굴 인식 및/또는 생체 인식 입력을 통해 또는 승객의 클라이언트 애플리케이션을 통해 액세스된 연락처 데이터(151)를 통해 블록(614)에서 식별된다. 또한, 블록(612)에서, 승객에 의해 제거될 수 있거나 의도하지 않게 주머니 및/또는 지갑에서 떨어질 수 있는 승객의 물품 또는 물품들을 관찰하기 위해 블록(616)에서 승객의 손 움직임, 주머니, 지갑 등이 탐지될 수 있다.
블록(618)에서, 식별된 물품은 블록(614)에서 식별된 승객과 연관되고, 블록(619)에서, 차량 객실 목록 데이터베이스(150)는 승객 식별자와 연관된 식별된 물품에 기초한 엔트리로 업데이트된다.
블록(630)에서, 승객 이탈 이벤트는 블록(632)에서 트리거되어 차량 객실 승객 영역(124, 126 및/또는 127)에서 물품 또는 물품의 존재를 탐지한다. 식별된 물품이 블록(634)에서 탐지될 때, 위에서 상세히 논의된 바와 같이 승객에게 통지하기 위해 차량 객실 승객 영역 내의 식별된 물품 또는 물품들과 관련된 엔트리를 포함하는 메시지 데이터가 생성된다. 블록(634)에서, 식별된 물품이 승객에 의해 의류 또는 액세서리로 돌아간 등으로 탐지되지 않으면, 차량 객실 목록 데이터베이스(150)는 업데이트된 상태를 반영하기 위해 블록(638)에서 업데이트된다.
또한, 차량 객실 목록 데이터베이스(150)는 사용자 질의를 통해 블록(620)에서 액세스될 수 있다. 이와 관련하여, 승객, 차량 운영자 또는 차량 대여 서비스는 블록(622)에서 차량 객실 목록 데이터베이스(150)에서 질의 객체를 검색할 수 있고, 블록(624)에서 승객뿐만 아니라 차량 운영자 및/또는 차량 대여 서비스에게 식별된 물품의 상태에 관하여 알리기 위한 메시지 데이터를 생성할 수 있다.
도 7은 승객 관련 물품 손실 완화를 위한 방법(700)의 실시 예를 예시하는 흐름도이다. 일 실시 예에서, 방법(700)은 차량 제어 유닛에서 구현되고, 예를 들어 승객 물품이 차량 객실 승객 영역 내에서 식별될 때 사용된다.
블록(702)에서, 차량 객실 승객 영역 내에서 물품이 식별된다. 이해될 수 있는 바와 같이, 이미지 처리 기술은 환경의 변화를 탐지하기 위해 사용될 수 있다. 공유 차량 환경에서 이미지 인식은, 처음에는 없었던 조수석의 물품과 같은 환경 변화를 탐지하는 데 사용할 수 있다.
또한, 이미지 인식 처리는 탐지 신뢰도 메트릭에 기초하여 차량 승객 영역을 추가로 묘사하고 초점을 맞추기 위한 업샘플링 기술을 포함할 수 있다. 예를 들어, 차량 객실 영역의 이미지를 캡처할 때 차량 승객 영역 간의 각각의 탐지 신뢰도 메트릭을 기반으로 이미지의 관심 영역을 식별할 수 있다(예: 차량 승객 영역의 물품을 나타냄). 일반적으로 이미지 인식을 위한 머신 러닝 기술은 개발된 모델링 데이터 세트(예: 차량 객실 이미지 데이터 및 물품 세트에 대한 물품 이미지 데이터)를 기반으로 학습된다. 이미지 처리를 개선하기 위해, 딥 러닝 머신 기술(예: 컨볼루션 신경망, 행위자 비판적 머신 러닝, 강화된 러닝 등)에 의하는 등으로, 관심 영역을 업샘플링하여 업샘플링된 관심 영역을 생성할 수 있고, 이미지 인식이 차량 객실 승객 영역 내의 물품을 식별하기 위해 업샘플링된 관심 영역에서 수행될 수 있다.
블록(704)에서, 식별된 물품 및 승객 식별자에 의해 식별된 승객과 연관이 이루어진다. 연관은 차량 객실 내의 승객 위치에 대한 물품 근접성을 기반으로 할 수 있다. 다른 예에서, 연관은 승객과 함께 배치된 출발지를 갖는 추적 데이터에 기초할 수 있다. 일반적으로, 위에서 설명한대로 승객 식별자를 제공할 수 있다. 또한, 홍채 인식 데이터, 지문 인식 데이터, 안면 인식 데이터, 음성 인식 데이터 등과 같은 생체 인식이 탑승자로부터 탐지되거나 수신될 수 있다. 또한, 블록 체인 아키텍처 또는 기술을 통한 검증을 기반으로 다른 형태의 승객 식별자를 사용할 수 있다. 다른 식별 데이터는 승객의 휴대용 모바일 장치를 통해 수신될 수 있다.
블록(706)에서, 차량 객실 목록 데이터베이스는 승객 식별자와 연관된 식별된 물품에 기초한 엔트리로 업데이트될 수 있다. 이러한 방식으로, 여러 승객의 차량 객실 승객 영역 내에서 식별된 물품과 관련하여 거의 실시간의 목록이 생성될 수 있다. 운전자 및/또는 운영자 물품은, 운전자와 관련된 영역의 특성(예: 운전석) 및 시간이 지남에 따라 차량 내에 존재하는 것으로 일관되게 식별되는 물품(예: 이동용 머그, 휴대용 모바일 장치 등)때문에, 배제될 수 있다.
블록(708)에서, 이 방법은 승객 이탈 이벤트가 발생하는지 여부를 결정한다. 카메라 장치(120) 및 카메라 장치(122)와 같은 차량 센서 장치는 차량 객실(102)의 내부 상태뿐만 아니라 차량의 주변 상태를 모니터링하기위한 장치를 더 포함할 수 있다. 예를 들어, 차량 센서 장치는 승객 이탈 및/또는 진입 이벤트와 관련된 차량 도어 센서 데이터를 제공할 수 있는 도어 작동 센서 장치뿐만 아니라 승객 이탈 및/또는 입장 이벤트를 나타낼 수 있는 승객 좌석 센서 데이터를 제공할 수 있는 승객 좌석 센서 장치를 포함할 수 있다. 차량 센서 장치의 다른 예시로는, 차량 잠금 센서 데이터를 통해 차량 도어의 잠금 상태를 나타낼 수 있는 차량 잠금 센서 장치와 이탈 및/또는 진입 이벤트을 나타내는 목적지 도착 데이터를 생성할 수 있는 GPS(Global Positioning System) 장치를 포함할 수 있다. 블록(710)에서, 차량 객실 승객 영역 내에서 식별된 물품의 계속된 존재.
블록(712)에서, 메시지 데이터가 생성되고, 이탈 이벤트 시에 차량 객실 승객 영역 내의 식별된 물품의 존재에 기초하여 탐지된 물품과 관련된 데이터베이스 엔트리 포함한다. 이해될 수 있는 바와 같이, 메시지 데이터는 차량 스피커, 차량 디스플레이 등과 같은 안내 장치를 통해 구두로 안내될 수도 있다. 추가로 또는 대안적으로, 메시지 데이터는 휴대용 모바일 장치에 의한 수신을 위해 승객 식별자에 기초한 텍스트 메시지를 전송함으로써 안내될 수 있고, 클라이언트 애플리케이션에 의한 수신을 위해 승객 식별자에 기초한 메시지 데이터를 전송함으로써 안내될 수도 있으며, 및/또는 사용자 장치에 의한 수신을 위한 범용 리소스 로케이터(URL) 링크로서 승객 식별자에 기초하여 메시지 데이터를 전송함으로써 안내될 수도 있다. 이와 관련하여, 모바일 휴대용 장치는 웹 사이트에 연결되어 승객에게 남겨진 물품과 물품을 회수하거나 회수할 기회를 알릴 수 있다.
이동-대여 상황에서 승객 관련 물품 손실을 완화하는 방법은, 식별된 물품을 승객 식별자로 식별된 승객과 연관시키는 수단, 승객 식별자와 연관된 식별된 물품에 기초한 엔트리로 차량 객실 목록 데이터베이스를 업데이트하는 수단, 승객 이탈 이벤트 발생시 차량 객실 승객 영역 내에서 식별된 물품의 존재를 탐지하는 수단 및 차량 객실 승객 지역 내에서 식별된 물품의 존재에 기초하여 탐지된 물품과 관련된 엔트리를 포함하는 메시지 데이터를 생성하는 수단을 포함한다.
명령을 포함하는 메모리 수단 및 메모리에 연결된 프로세서 수단을 포함하는, 물품의 차량 내 추적을 위한 차량 제어 유닛으로서, 프로세서 수단은 메모리 수단에 저장된 명령을 실행하여 프로세서 수단이 차량 객실 승객 영역 내의 물품을 식별하고, 식별된 물품을 승객 식별자로 식별된 승객과 연관시키고, 승객 식별자와 연관된 식별된 물품을 포함하는 엔트리로 차량 객실 목록 데이터베이스를 업데이트하고, 승객 이탈 이벤트가 발생할 때 차량 객실 승객 영역 내에서 식별된 물품의 존재를 탐지하며, 차량 객실 승객 영역 내에서 식별된 물품의 존재에 기초하여 탐지된 물품에 관한 엔트리를 포함하는 메시지 데이터를 생성하도록 구성된다.
승객 관련 물품 손실을 완화하는 방법으로서, 이미지 인식을 통해 차량 객실 승객 영역 내의 물품을 승객 관련 물품으로 식별하는 수단, 식별된 물품이 승객 관련 물품일 때 승객 식별자로 식별된 승객과 식별된 물품을 연관시키는 수단, 승객 식별자와 연관된 차량 객실 목록 데이터베이스 엔트리를 승객 관련 물품으로 업데이트하는 수단, 승객 이탈 이벤트가 발생할 때 차량 객실 승객 영역 내에서 승객 관련 물품의 존재를 탐지하는 수단, 차량 객실 승객 영역 내 승객 관련 물품의 존재 여부 및 차량 객실 목록 데이터베이스를 기반으로 탐지된 물품과 관련된 메시지 데이터를 생성하는 수단, 및 승객 식별자에 의해 식별된 승객에게 경고하기 위한 메시지 데이터를 전송하는 수단을 포함한다.
제1 구성 요소와 제2 구성 요소 사이에 라인, 트레이스 또는 다른 매체를 제외하고 중간 구성 요소가 없을 때 제1 구성 요소는 제2 구성 요소에 직접 연결된다. 제1 구성 요소와 제2 구성 요소 사이에 라인, 트레이스 또는 다른 매체 이외의 중간 구성 요소가 있을 때 제1 구성 요소는 제2 구성 요소에 간접적으로 결합된다. 용어 "결합된"및 그 변형은 직접 결합 및 간접 결합을 모두 포함한다. 용어 "약"의 사용은 달리 명시되지 않는 한 후속하는 숫자의 ± 10 %를 포함하는 범위를 의미한다.
본 명세서에서 여러 실시 예가 제공되었지만, 개시된 시스템 및 방법은 본 명세서의 사상 또는 범위를 벗어나지 않고 많은 다른 특정 형태로 구현될 수 있음을 이해할 수 있다. 본 실시 예는 제한적이지 않고 예시적인 것으로 간주되어야 하며, 그 의도는 여기에 제공된 세부 사항에 제한되지 않는다. 예를 들어, 다양한 요소 또는 구성 요소는 다른 시스템에서 결합 또는 통합될 수 있거나, 특정 기능이 생략되거나 구현되지 않을 수 있다.
또한, 다양한 실시 예에서 개별적이거나 별개로 설명되고 예시된 기술, 시스템, 서브 시스템 및 방법은 본 명세서의 범위를 벗어나지 않고 다른 시스템, 구성 요소, 기술 또는 방법과 결합되거나 통합될 수 있다. 결합된 것으로 도시되거나 설명된 다른 물품은 서로 연결될 수 있으며, 전기적, 기계적으로 또는 다른 방식으로 일부 인터페이스, 장치 또는 중간 구성 요소를 통해 간접적으로 결합되거나 통신할 수 있다. 변경, 대체 및 교환의 다른 예시들은 통상의 기술자에 의해 확인될 수 있으며 여기에 개시된 사상 및 범위를 벗어나지 않고 이루어질 수 있다.

Claims (20)

  1. 승객 관련 물품 손실을 완화하는 방법으로서,
    차량 객실 승객 영역 내에서 물품을 식별하는 단계;
    상기 식별된 물품과 식별된 승객을 연관시키는 단계;
    상기 식별된 승객의 이탈을 탐지하는 것에 응답하여, 상기 차량 객실 승객 영역 내의 상기 식별된 물품의 존재를 탐지하는 단계; 및
    상기 차량 객실 승객 영역 내의 상기 식별된 물품의 존재에 기초하여 안내 메시지를 생성하는 단계
    를 포함하는 승객 관련 물품 손실을 완화하는 방법.
  2. 제1항에 있어서,
    상기 물품을 식별하는 단계는,
    카메라 장치에 의해, 상기 차량 객실 승객 영역의 이미지를 캡처하는 단계;
    상기 이미지의 관심 영역을 식별하는 단계 - 여기서 상기 관심 영역은 상기 차량 객실 승객 영역에 관한 탐지 신뢰도 메트릭에 기초하고, 상기 탐지 신뢰도 메트릭은 상기 차량 객실 승객 영역 내의 물품의 지시자임 - ;
    이미지 인식을 촉진하기 위해 업샘플링된 관심 영역을 생성하도록 상기 관심 영역을 업샘플링하는 단계; 및
    상기 차량 객실 승객 영역 내의 물품을 식별하기 위해 상기 이미지의 업샘플링된 관심 영역의 이미지 인식을 수행하는 단계
    를 포함하는, 승객 관련 물품 손실을 완화하는 방법.
  3. 제2항에 있어서,
    상기 식별된 승객의 진입을 탐지하는 것에 응답하여, 상기 차량 객실 승객 영역의 이미지가 캡처되는, 승객 관련 물품 손실을 완화하는 방법.
  4. 제1항에 있어서,
    상기 식별된 물품은, 상기 식별된 승객과 상기 식별된 물품의 일치하는 위치 및 시간에 기초하여 상기 식별된 승객과 연관되는, 승객 관련 물품 손실을 완화하는 방법.
  5. 제1항에 있어서,
    안내 장치를 통해 상기 안내 메시지를 구두로 안내하는 단계 - 상기 안내 장치는 차량 스피커 또는 차량 디스플레이를 포함함 -
    를 더 포함하는 승객 관련 물품 손실을 완화하는 방법.
  6. 제1항에 있어서,
    상기 안내 메시지를 안내하는 단계를 더 포함하는 승객 관련 물품 손실을 완화하는 방법.
  7. 제6항에 있어서,
    상기 안내 메시지를 안내하는 단계가,
    휴대용 모바일 장치에 의한 수신을 위해 상기 식별된 승객에 기초하여 텍스트 메시지를 전송하는 단계; 또는
    휴대용 모바일 장치의 클라이언트 애플리케이션에 의한 수신을 위해 상기 식별된 승객에 기초하여 메시지 데이터를 전송하는 단계; 또는
    사용자 장치에 의한 수신을 위해 URL(Universal Resource Locator) 링크로서, 상기 식별된 승객에 기초하여 상기 안내 메시지를 전송하는 단계
    중 하나 이상을 포함하는, 승객 관련 물품 손실을 완화하는 방법.
  8. 제1항에 있어서,
    상기 식별된 승객의 이탈은 상기 카메라 장치 또는 차량 도어 센서에 의해 탐지되는, 승객 관련 물품 손실을 완화하는 방법.
  9. 물품의 차량 내 추적을 위한 차량 제어 유닛으로서,
    명령을 포함하는 메모리; 및
    상기 메모리에 결합된 프로세서
    를 포함하고, 상기 프로세서는 상기 메모리에 저장된 명령어를 실행하여,
    복수의 차량 객실 승객 영역 내에서 물품을 식별하고;
    상기 식별된 물품과 식별된 승객을 연관시키고;
    상기 식별된 승객의 이탈을 탐지하는 것에 응답하여, 상기 복수의 차량 객실 승객 영역 내의 상기 식별된 물품의 존재를 탐지하고; 및
    상기 복수의 차량 객실 승객 영역 내의 상기 식별된 물품의 존재에 기초하여 안내 메시지를 생성하도록 구성되는, 물품의 차량 내 추적을 위한 차량 제어 유닛.
  10. 제9항에 있어서,
    상기 프로세서로 하여금,
    카메라 장치에 의해, 상기 복수의 차량 객실 승객 영역 중의 차량 객실 승객 영역의 이미지를 캡처하고;
    상기 이미지의 관심 영역을 식별하고 - 여기서 상기 관심 영역은 상기 복수의 차량 객실 승객 영역 중의 차량 객실 승객 영역에 관한 탐지 신뢰도 메트릭에 기초하고, 상기 탐지 신뢰도 메트릭은 상기 차량 객실 승객 영역 내의 물품의 지시자임 - ;
    이미지 인식을 촉진하기 위해 업샘플링된 관심 영역을 생성하도록 상기 관심 영역을 업샘플링하고;
    상기 차량 객실 승객 영역 내의 물품을 식별하기 위해 상기 이미지의 업샘플링된 관심 영역의 이미지 인식을 수행함으로써,
    상기 물품을 식별하도록 하는 상기 메모리 내의 추가 명령을 포함하는, 물품의 차량 내 추적을 위한 차량 제어 유닛.
  11. 제9항에 있어서,
    상기 식별된 물품은, 상기 식별된 승객과 상기 식별된 물품의 일치하는 위치 및 시간에 기초하여 상기 식별된 승객과 연관되는, 물품의 차량 내 추적을 위한 차량 제어 유닛.
  12. 제9항에 있어서,
    상기 프로세서로 하여금, 사용자 인터페이스를 통해 상기 안내 메시지를 구두로 안내하게 하기 위해 상기 메모리에 저장된 추가 명령을 포함하는, 물품의 차량 내 추적을 위한 차량 제어 유닛.
  13. 제9항에 있어서,
    상기 프로세서로 하여금,
    휴대용 모바일 장치에 의한 수신을 위해 상기 식별된 승객에 기초한 텍스트 메시지; 또는
    휴대용 모바일 장치의 클라이언트 애플리케이션에 의한 수신을 위해 상기 식별된 승객에 기초한 클라이언트 애플리케이션; 또는
    사용자 장치에 의한 수신을 위해 상기 식별된 승객에 대한 URL(Universal Resource Locator) 링크
    중 어느 하나에 의해 상기 안내 메시지를 전송하도록 하기 위한 상기 메모리 내의 추가 명령을 포함하는, 물품의 차량 내 추적을 위한 차량 제어 유닛.
  14. 제9항에 있어서,
    상기 식별된 승객의 이탈은 상기 카메라 장치 또는 차량 도어 센서에 의해 탐지되는, 물품의 차량 내 추적을 위한 차량 제어 유닛.
  15. 제9항에 있어서,
    상기 식별된 승객은,
    사용자 이름;또는
    IMEI(International Mobile Equipment Identity) 번호; 또는
    전자 일련 번호(ESN); 또는
    상기 식별된 승객에 관련된 고유 식별자
    중 하나 이상을 포함하는 승객 식별자에 의해 식별되는, 물품의 차량 내 추적을 위한 차량 제어 유닛.
  16. 승객 관련 물품 손실을 완화하는 방법으로서,
    이미지 인식을 통해, 차량 객실 승객 영역 내의 물품을 승객 관련 물품으로 식별하는 단계;
    상기 물품이 승객 관련 물품으로 식별된 경우, 상기 물품과 식별된 승객을 연관시키는 단계;
    상기 식별된 승객의 이탈을 탐지하는 것에 응하여, 상기 차량 객실 승객 영역 내의 승객 관련 물품의 존재를 탐지하는 단계;
    상기 차량 객실 승객 영역 내의 승객 관련 물품의 존재에에 기초하여 안내 메시지를 생성하는 단계; 및
    상기 식별된 승객에 경고하기 위해 상기 안내 메시지를 전송하는 단계
    를 포함하는 승객 관련 물품 손실을 완화하는 방법.
  17. 제16항에 있어서,
    상기 물품을 식별하는 단계는,
    카메라 장치에 의해, 상기 차량 객실 승객 영역의 이미지를 캡처하는 단계;
    상기 이미지의 관심 영역을 식별하는 단계 - 여기서 상기 관심 영역은 상기 차량 객실 승객 영역에 관한 탐지 신뢰도 메트릭에 기초하고, 상기 탐지 신뢰도 메트릭은 상기 차량 객실 승객 영역 내의 물품의 지시자임 - ;
    이미지 인식을 촉진하기 위해 강화된 포커스를 제공하는 업샘플링된 관심 영역을 생성하도록 상기 관심 영역을 업샘플링하는 단계; 및
    상기 차량 객실 승객 영역 내의 물품을 식별하기 위해 상기 이미지의 업샘플링된 관심 영역의 이미지 인식을 수행하는 단계
    를 포함하는, 승객 관련 물품 손실을 완화하는 방법.
  18. 제16항에 있어서,
    상기 안내 메시지를 전송하는 단계는,
    휴대용 모바일 장치에 의한 수신을 위해 상기 식별된 승객에 기초한 텍스트 메시지를 전송하는 단계; 또는
    휴대용 모바일 장치의 클라이언트 애플리케이션에 의한 수신을 위해 상기 식별된 승객에 기초하여 상기 안내 메시지를 전송하는 단계; 또는
    상기 식별된 승객에 상기 안내 메시지를, 사용자 장치에 의한 수신을 위한 URL(Universal Resource Locator) 링크로서 전송하는 단계
    를 포함하는, 승객 관련 물품 손실을 완화하는 방법.
  19. 제16항에 있어서,
    상기 식별된 승객의 이탈은 카메라 장치 데이터; 또는 차량 도어 센서 데이터
    중 하나 이상에 기초하는 것인, 승객 관련 물품 손실을 완화하는 방법.
  20. 제16항에 있어서,
    상기 식별된 승객은,
    사용자 이름; 또는
    IMEI(International Mobile Equipment Identity) 번호; 또는
    전자 일련 번호(ESN); 또는
    상기 식별된 승객에 관한 고유 식별자
    중 하나 이상을 포함하는 승객 식별자에 의해 식별되는, 승객 관련 물품 손실을 완화하는 방법.
KR1020237027502A 2018-03-29 2019-01-24 승객 관련 물품 손실 완화 KR20230125091A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US15/939,984 US10311704B1 (en) 2018-03-29 2018-03-29 Passenger-related item loss mitigation
US15/939,984 2018-03-29
PCT/CN2019/073036 WO2019184573A1 (en) 2018-03-29 2019-01-24 Passenger-related item loss mitigation
KR1020207030671A KR20200133385A (ko) 2018-03-29 2019-01-24 승객 관련 물품 손실 완화

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020207030671A Division KR20200133385A (ko) 2018-03-29 2019-01-24 승객 관련 물품 손실 완화

Publications (1)

Publication Number Publication Date
KR20230125091A true KR20230125091A (ko) 2023-08-28

Family

ID=66673342

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020237027502A KR20230125091A (ko) 2018-03-29 2019-01-24 승객 관련 물품 손실 완화
KR1020207030671A KR20200133385A (ko) 2018-03-29 2019-01-24 승객 관련 물품 손실 완화

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020207030671A KR20200133385A (ko) 2018-03-29 2019-01-24 승객 관련 물품 손실 완화

Country Status (7)

Country Link
US (2) US10311704B1 (ko)
EP (1) EP3766056A4 (ko)
JP (2) JP7366921B2 (ko)
KR (2) KR20230125091A (ko)
CN (2) CN115439831A (ko)
MX (1) MX2020010170A (ko)
WO (1) WO2019184573A1 (ko)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11493348B2 (en) 2017-06-23 2022-11-08 Direct Current Capital LLC Methods for executing autonomous rideshare requests
WO2019030985A1 (ja) * 2017-08-10 2019-02-14 住友電気工業株式会社 制御装置、制御方法、およびコンピュータプログラム
US11106927B2 (en) * 2017-12-27 2021-08-31 Direct Current Capital LLC Method for monitoring an interior state of an autonomous vehicle
US10853629B2 (en) 2018-02-20 2020-12-01 Direct Current Capital LLC Method for identifying a user entering an autonomous vehicle
US10311704B1 (en) * 2018-03-29 2019-06-04 Futurewei Technologies, Inc. Passenger-related item loss mitigation
EP3594860B1 (en) * 2018-07-09 2024-05-08 Tata Consultancy Services Limited Sparse neural network based anomaly detection in multi-dimensional time series
US11295148B2 (en) * 2019-09-24 2022-04-05 Ford Global Technologies, Llc Systems and methods of preventing removal of items from vehicles by improper parties
US11111895B2 (en) 2019-10-16 2021-09-07 GM Cruise Holdings, LLC Safely initiating an autonomous vehicle ride
US11485383B2 (en) 2019-12-06 2022-11-01 Robert Bosch Gmbh System and method for detecting and mitigating an unsafe condition in a vehicle
US11393225B2 (en) 2019-12-06 2022-07-19 Robert Bosch Gmbh System and method for detecting abnormal settling of passengers in a vehicle
JP7055785B2 (ja) * 2019-12-18 2022-04-18 矢崎総業株式会社 車載装置
CN111982372A (zh) * 2020-07-09 2020-11-24 深圳市元征科技股份有限公司 车辆遗落物品检测方法、车载设备及计算机存储介质
CN112036303A (zh) * 2020-08-31 2020-12-04 上海商汤临港智能科技有限公司 遗留物品的提醒方法及装置、电子设备和存储介质
CN112435154B (zh) * 2020-12-11 2024-03-19 山西省信息产业技术研究院有限公司 轨道交通运营阶段综合信息监管系统
US11763660B2 (en) * 2021-02-04 2023-09-19 Aurora Flight Sciences Corporation Monitoring an environment for objects left by individuals
CN114005103A (zh) * 2021-10-29 2022-02-01 上海商汤临港智能科技有限公司 关联车内的人和物的方法及装置、电子设备和存储介质
US12106586B2 (en) * 2022-03-28 2024-10-01 Gm Cruise Holdings Llc Lost object tracking system
CN114863669B (zh) * 2022-04-29 2023-04-25 湖南喜宝达信息科技有限公司 一种共享车辆及其车筐遗留物件的监控方法、存储介质

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2691813B1 (fr) * 1992-05-26 1997-12-19 Thomson Csf Systeme pour l'identification et la detection automatique de vehicules ou d'objets.
WO2002047942A2 (en) 2000-11-16 2002-06-20 Donnelly Corporation Vehicle compartment occupancy detection system
EP1504276B1 (en) 2002-05-03 2012-08-08 Donnelly Corporation Object detection system for vehicle
US7720580B2 (en) 2004-12-23 2010-05-18 Donnelly Corporation Object detection system for vehicle
JP2006338535A (ja) 2005-06-03 2006-12-14 Matsushita Electric Ind Co Ltd 車内忘れ物防止方法及び装置
JP2008262459A (ja) 2007-04-13 2008-10-30 Fujitsu Ten Ltd 置き忘れ報知装置
EP2026246A1 (en) 2007-08-03 2009-02-18 Harman/Becker Automotive Systems GmbH Method and apparatus for evaluating an image
CN101587627A (zh) * 2008-05-23 2009-11-25 林国朋 物品防落下语音提醒器
JP2010182189A (ja) 2009-02-06 2010-08-19 Pioneer Electronic Corp 情報出力装置、情報出力方法、情報出力プログラムおよび記録媒体
DE102009029616A1 (de) * 2009-09-18 2010-03-04 Alexander Holst Computergestütztes System zum Wiederfinden von Gegenständen
CN101937609A (zh) 2010-09-20 2011-01-05 奇瑞汽车股份有限公司 一种提醒乘客物品遗失的方法及装置
JP2012123491A (ja) 2010-12-06 2012-06-28 Fujitsu Ten Ltd 車載装置および忘れ物確認サービス
WO2013101057A1 (en) * 2011-12-29 2013-07-04 Intel Corporation Object recognition and notification
CN103839090A (zh) * 2012-11-26 2014-06-04 张龙斌 二维码标签管理方法及系统
CN103856501B (zh) * 2012-11-29 2017-07-18 上海贝尔软件有限公司 一种利用无线通信网络的公共交通记录跟踪系统
CN102982170A (zh) * 2012-12-14 2013-03-20 上海斐讯数据通信技术有限公司 失物追踪系统及方法
US9123244B2 (en) * 2013-03-15 2015-09-01 Denso International America, Inc. Vehicle tracking of personal devices with response system
CN103310597A (zh) * 2013-06-08 2013-09-18 安徽工程大学 出租车乘客物品防丢提示系统
JP2015023459A (ja) * 2013-07-19 2015-02-02 株式会社ニコン 投影システム
US9327645B2 (en) * 2013-08-28 2016-05-03 Harman International Industries, Incorporated Providing alerts for objects left in a vehicle
JP6146228B2 (ja) 2013-09-17 2017-06-14 株式会社Ｓｏｋｅｎ 物体検知装置及び物体検知システム
US9616773B2 (en) * 2015-05-11 2017-04-11 Uber Technologies, Inc. Detecting objects within a vehicle in connection with a service
US9734699B2 (en) 2015-06-05 2017-08-15 GM Global Technology Operations LLC System for providing alerts to vehicle occupants
KR101841948B1 (ko) 2015-10-02 2018-03-26 엘지전자 주식회사 차량 내 분실물 예방 서비스 제공장치, 제공방법 및 이동 단말기
KR20170064880A (ko) 2015-12-02 2017-06-12 엘지전자 주식회사 차량 내 영상기록장치 및 그것의 제어 방법
CN205486689U (zh) 2015-12-30 2016-08-17 江苏穿越金点信息科技有限公司 公交车内遗留物智能监测报警系统
JP6909960B2 (ja) * 2017-03-31 2021-07-28 パナソニックＩｐマネジメント株式会社 検知装置、検知方法及び検知プログラム
CN206653958U (zh) * 2017-04-12 2017-11-21 济南大学 一种带储物功能且能提醒乘客带行李的公交车座椅
US10303961B1 (en) * 2017-04-13 2019-05-28 Zoox, Inc. Object detection and passenger notification
CN107403159A (zh) * 2017-07-28 2017-11-28 北京中航安通科技有限公司 一种目标物品关联、核验及票务核验方法及其装置
US10636276B2 (en) * 2017-08-17 2020-04-28 Manish Desai Cabin activity detection device
US20190095714A1 (en) * 2017-09-28 2019-03-28 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Vehicle interior lidar detection systems
US11106927B2 (en) * 2017-12-27 2021-08-31 Direct Current Capital LLC Method for monitoring an interior state of an autonomous vehicle
US10127795B1 (en) * 2017-12-31 2018-11-13 Lyft, Inc. Detecting and handling material left in vehicles by transportation requestors
JP6662935B2 (ja) * 2018-03-09 2020-03-11 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
JP2019168815A (ja) * 2018-03-22 2019-10-03 東芝メモリ株式会社 情報処理装置、情報処理方法、及び情報処理プログラム
US10311704B1 (en) * 2018-03-29 2019-06-04 Futurewei Technologies, Inc. Passenger-related item loss mitigation
JP2020004252A (ja) * 2018-06-29 2020-01-09 株式会社東芝 残留物検出システム
US10515535B1 (en) * 2018-08-24 2019-12-24 General Motors Llc System and method to provide a misplacement notification
DE112018007911T5 (de) * 2018-09-27 2021-04-29 Mitsubishi Electric Corporation Hinterlassenen-Erkennungsvorrichtung und Hinterlassenen-Erkennungsverfahren
WO2020128921A1 (en) * 2018-12-20 2020-06-25 Gentex Corporation Systems and methods for ride share monitoring
US10796174B2 (en) * 2018-12-21 2020-10-06 Nissan North America, Inc. Distance and object based external notification system for automated hailing service

Also Published As

Publication number Publication date
US20200380848A1 (en) 2020-12-03
EP3766056A1 (en) 2021-01-20
EP3766056A4 (en) 2021-05-05
CN111937050A (zh) 2020-11-13
JP2023017925A (ja) 2023-02-07
US11776083B2 (en) 2023-10-03
WO2019184573A1 (en) 2019-10-03
MX2020010170A (es) 2020-10-28
CN115439831A (zh) 2022-12-06
CN111937050B (zh) 2022-05-31
JP7366921B2 (ja) 2023-10-23
US10311704B1 (en) 2019-06-04
KR20200133385A (ko) 2020-11-27
JP2021517320A (ja) 2021-07-15

Similar Documents

Publication Publication Date Title
US11776083B2 (en) Passenger-related item loss mitigation
Eraqi et al. Driver distraction identification with an ensemble of convolutional neural networks
CN111587437B (zh) 使用视频管的活动识别方法
US10650681B2 (en) Parking position identification method, parking position learning method, parking position identification system, parking position learning device, and non-transitory recording medium for recording program
Fridman et al. ‘Owl’and ‘Lizard’: Patterns of head pose and eye pose in driver gaze classification
KR20220066155A (ko) 차량의 도어 제어 방법 및 장치, 시스템, 차량, 전자 기기 및 기억 매체
US20180304854A1 (en) Platform for wireless interaction with vehicle
WO2021189641A1 (zh) 遗留对象检测
US11308722B2 (en) Method and system for determining an activity of an occupant of a vehicle
US11914745B2 (en) Personally identifiable information in encrypted data streams
US11481913B2 (en) LiDAR point selection using image segmentation
US11609565B2 (en) Methods and systems to facilitate monitoring center for ride share and safe testing method based for selfdriving cars to reduce the false call by deuddaction systems based on deep learning machine
CN110298257B (zh) 一种基于人体多部位特征的驾驶员行为识别方法
EP3471060B1 (en) Apparatus and methods for determining and providing anonymized content within images
US20190302785A1 (en) Vision-based sample-efficient reinforcement learning framework for autonomous driving
US20210213909A1 (en) Confirmed automated access to portions of vehicles
US20230153424A1 (en) Systems and methods for an automous security system
JP7068156B2 (ja) 情報処理装置及びプログラム
US20200151433A1 (en) Face recognition apparatus and face recognition method
DE102019135633A1 (de) Dezentrale cloud-basierte authentifizierung für fahrzeuge und assoziierte transaktionen
Tu et al. Deep passenger state monitoring using viewpoint warping
Ulhaq et al. Deep actionlet proposals for driver's behavior monitoring
US20230109171A1 (en) Operator take-over prediction
CN116834691A (zh) 车内遗留对象的提醒方法、系统、计算机存储介质及车辆
Kannadhasan et al. Intelligent Technologies for Automated Electronic Systems

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal