KR20190104473A - 물건 낙하 감지 장치 및 방법 - Google Patents

물건 낙하 감지 장치 및 방법 Download PDF

Info

Publication number
KR20190104473A
KR20190104473A KR1020190101906A KR20190101906A KR20190104473A KR 20190104473 A KR20190104473 A KR 20190104473A KR 1020190101906 A KR1020190101906 A KR 1020190101906A KR 20190101906 A KR20190101906 A KR 20190101906A KR 20190104473 A KR20190104473 A KR 20190104473A
Authority
KR
South Korea
Prior art keywords
vehicle
occupant
dropped
seat
drop detection
Prior art date
Application number
KR1020190101906A
Other languages
English (en)
Other versions
KR102267184B1 (ko
Inventor
이철희
김현규
송기봉
정상경
정준영
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020190101906A priority Critical patent/KR102267184B1/ko
Publication of KR20190104473A publication Critical patent/KR20190104473A/ko
Priority to US16/575,320 priority patent/US11062157B2/en
Application granted granted Critical
Publication of KR102267184B1 publication Critical patent/KR102267184B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B60R16/0231—Circuits relating to the driving or the functioning of the vehicle
    • B60R16/0232—Circuits relating to the driving or the functioning of the vehicle for measuring vehicle parameters and indicating critical, abnormal or dangerous conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/02—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles the seat or part thereof being movable, e.g. adjustable
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/02—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles the seat or part thereof being movable, e.g. adjustable
    • B60N2/0224—Non-manual adjustments, e.g. with electrical operation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/02—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles the seat or part thereof being movable, e.g. adjustable
    • B60N2/0224—Non-manual adjustments, e.g. with electrical operation
    • B60N2/0226—User interfaces specially adapted for seat adjustment
    • B60N2/0239—User interfaces specially adapted for seat adjustment using movement detection or gesture recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/02—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles the seat or part thereof being movable, e.g. adjustable
    • B60N2/0224—Non-manual adjustments, e.g. with electrical operation
    • B60N2/0244—Non-manual adjustments, e.g. with electrical operation with logic circuits
    • B60N2/0268—Non-manual adjustments, e.g. with electrical operation with logic circuits using sensors or detectors for adapting the seat or seat part, e.g. to the position of an occupant
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/02—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles the seat or part thereof being movable, e.g. adjustable
    • B60N2/0224—Non-manual adjustments, e.g. with electrical operation
    • B60N2/0244—Non-manual adjustments, e.g. with electrical operation with logic circuits
    • B60N2/0273—Non-manual adjustments, e.g. with electrical operation with logic circuits taking into account user data, e.g. knee height or physical state
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0241—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for telephones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/181—Preparing for stopping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2210/00—Sensor types, e.g. for passenger detection systems or for controlling seats
    • B60N2210/10—Field detection presence sensors
    • B60N2210/16—Electromagnetic waves
    • B60N2210/22—Optical; Photoelectric; Lidar [Light Detection and Ranging]
    • B60N2210/24—Cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2220/00—Computerised treatment of data for controlling of seats
    • B60N2220/20—Computerised treatment of data for controlling of seats using a deterministic algorithm
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2230/00—Communication or electronic aspects
    • B60N2230/20—Wireless data transmission
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/04—Vehicle stop
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B60W2550/402—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/18—Propelling the vehicle
    • B60Y2300/18008—Propelling the vehicle related to particular drive situations
    • B60Y2300/18091—Preparing for stopping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

차량 내부에서 물건이 낙하할 경우, 상기 물건을 쉽게 습득할 수 있도록 탑승자의 좌석시트를 조정하는 물건 낙하 감지 장치 및 방법이 개시된다. 본 발명의 일 실시예에 따른 물건 낙하 감지 장치는 차량 내 물건의 낙하를 감지하는 장치로서, 탑승자와 물건이 존재하는 차량 내부를 주기적으로 촬영하여 영상을 생성하는 촬영부와, 상기 영상에 기초하여 상기 차량 내부에서 물건이 낙하한 것으로 판단되는 경우, 상기 영상에 기초하여 상기 낙하한 물건의 위치를 확인하는 확인부와, 상기 낙하한 물건의 위치를 상기 차량 내 컴포넌트를 통해 제공하고, 상기 낙하한 물건의 위치 및 상기 탑승자의 신체조건에 기초하여, 상기 차량 내 상기 탑승자의 좌석시트를 조정하는 제어부를 포함할 수 있다.

Description

물건 낙하 감지 장치 및 방법{APPARATUS AND METHOD FOR DETECTING FALLING OBJECT}
본 발명은 차량 내부에서 물건이 낙하할 경우, 상기 물건을 쉽게 습득할 수 있도록 탑승자의 좌석시트를 조정하는 물건 낙하 감지 장치 및 방법에 관한 것이다.
핸드폰은 통신 발전으로 인해, 시간과 장소에 제한되지 않고, 언제 어디서나 다양한 서비스(예컨대, 음성 통화, 영상 통화)를 제공할 수 있다. 이에 따라, 주행하는 차량에서도 운전자는 핸드폰을 사용할 수 있다.
그러나, 차량 주행시 운전자는 사용하던 핸드폰을 떨어뜨린 후, 떨어진 핸드폰의 위치를 바로 인지하지 못하는 경우, 핸드폰을 탐색하기 위해 움직이게 되고, 이로 인해, 운전에 집중하지 못함에 따라, 위험한 상황을 초래할 수 있다.
이에 따라, 운전의 편리성 및 안전성을 위해 차량에서 핸드폰이 낙하하지 않도록, 차량 내부에 핸드폰을 고정시킬 수 있는 거치대가 많이 출시되고 있다.
또한, 선행기술에는 거치대의 상단부에 상하로 작동하는 지지대를 설치하여 핸드폰의 상측을 지지하게 하고, 거치대의 하단부 양측에는 좌우로 각각 위치를 변경할 수 있는 받침대를 설치함으로써, 핸드폰의 크기에 상관없이 핸드폰을 거치시킬 수 있는 차량용 핸드폰 거치대를 제안하고 있다.
그러나, 주행 속도가 높거나, 비포장 도로를 주행하는 경우, 차량의 움직임이 증가 함에 따라, 핸드폰이 거치대에서 쉽게 분리되어, 낙하할 수 있다.
따라서, 차량 내에서 핸드폰이 낙하하는 경우, 핸드폰의 위치를 제공 함으로써, 운전자가 쉽게 핸드폰을 습득하여, 운전에 집중할 수 있게 하는 기술이 필요하다.
선행기술: 한국 공개특허공보 제20-2012-0005732호
본 발명의 일 실시예는, 차량 내부에서 물건이 낙하한 것으로 판단되는 경우, 상기 낙하한 물건의 위치를 상기 차량 내 컴포넌트(component)(예컨대, 스피커, AVN 화면) 또는 내부 디스플레이부를 통해 제공하고, 상기 낙하한 물건의 위치 및 상기 탑승자의 신체조건(예컨대, 탑승자의 팔, 다리, 손의 길이)에 기초하여, 상기 차량 내 탑승자의 좌석시트를 조정 함으로써, 낙하한 물건을 쉽게 습득할 수 있게 하는 물건 낙하 감지 장치 및 방법을 제공하는데 목적이 있다.
본 발명의 일 실시예는, 차량 내부에서 물건이 낙하할 것으로 예측되면, 상기 물건이 낙하하기 전에, 상기 물건이 낙하하지 않을 것으로 판단되는 세이프 영역으로 상기 물건의 이동을 제안 함으로써, 물건의 낙하를 애초에 방지하여, 물건이 손상되지 않게 하는 것을 목적으로 한다.
본 발명의 일 실시예는, 안정적인 주행 환경일 때, 상기 차량 내부에서 낙하한 물건을 습득하도록 알려주거나, 불안정적인 주행 환경이 예상될 때, 상기 차량 내부에서 낙하한 물건을 미리 습득하도록 알려 줌으로써, 낙하한 물건을 습득할 수 있는 시점을 가이드하는 것을 목적으로 한다.
또한, 본 발명의 일 실시예는, 차량의 주행이 종료한 후에도, 탑승자가 낙하한 물건을 습득하지 않은 경우, 상기 낙하한 물건에 대한 알림 정보를 차량 내 컴포넌트를 통해 제공 함으로써, 낙하한 물건을 차량에 방치시키지 않게 하는 것을 목적으로 한다.
본 발명의 일 실시예는, 차량 내 물건의 낙하를 감지하는 장치로서, 탑승자와 물건이 존재하는 차량 내부를 주기적으로 촬영하여 영상을 생성하는 촬영부와, 상기 영상에 기초하여 상기 차량 내부에서 물건이 낙하한 것으로 판단되는 경우, 상기 영상에 기초하여 상기 낙하한 물건의 위치를 확인하는 확인부와, 상기 낙하한 물건의 위치를 상기 차량 내 컴포넌트(component)를 통해 제공하고, 상기 낙하한 물건의 위치 및 상기 탑승자의 신체조건에 기초하여, 상기 차량 내 탑승자의 좌석시트를 조정하는 제어부를 포함하는, 물건 낙하 감지 장치일 수 있다.
본 발명의 일 실시예는, 상기 제어부가, 상기 탑승자의 팔, 다리 및 손의 길이 중 적어도 하나를 포함하는 상기 탑승자의 신체조건에 기초하여, 상기 탑승자가 상기 물건을 습득할 수 있는 범위를 설정하고, 상기 물건의 위치가 상기 설정된 범위를 벗어난 경우, 상기 탑승자의 좌석시트의 위치, 높이 및 각도 중 적어도 하나를 조정하는, 물건 낙하 감지 장치일 수 있다.
본 발명의 일 실시예는, 상기 확인부가, 상기 영상으로부터 상기 물건이 추출되면, 상기 물건의 이동을 트래킹(tracking)하고, 상기 트래킹 결과, 상기 물건이 설정된 거리 이상 아래로 떨어지거나, 또는 상기 차량의 바닥으로 떨어진 경우, 상기 물건이 낙하한 것으로 판단하는, 물건 낙하 감지 장치일 수 있다.
본 발명의 일 실시예는, 상기 제어부가, 상기 낙하한 물건의 위치에 기초하여, 상기 물건이 손상되지 않는 범위 내에서 상기 탑승자의 좌석시트의 조정범위를 제한하는, 물건 낙하 감지 장치일 수 있다.
본 발명의 일 실시예는, 상기 확인부가, 상기 영상으로부터 추출되는 물건의 이동을 트래킹하고, 상기 제어부가, 상기 트래킹한 물건의 이동 및 형태 중 적어도 하나에 기초하여, 상기 트래킹한 물건이 낙하할 것으로 예측되면, 상기 트래킹한 물건이 낙하하기 전에, 상기 트래킹한 물건이 낙하하지 않을 것으로 판단되는 세이프 영역으로 상기 물건의 이동을 제안하는, 물건 낙하 감지 장치일 수 있다.
본 발명의 일 실시예는, 상기 제어부가, 상기 차량이 정차하거나, 설정된 속도 미만으로 주행하는 구간에서 상기 낙하한 물건의 습득을 제안하거나, 또는 상기 차량의 내비게이션 정보에 기초하여, 설정된 시간 내에 급커브 또는 불규칙한 노면의 도로를 주행할 것으로 예상되거나, 상기 차량의 급감속 또는 급가속이 예상되는 경우, 상기 낙하한 물건의 즉시 습득을 제안하는, 물건 낙하 감지 장치일 수 있다.
본 발명의 일 실시예는, 상기 낙하한 물건이, 상기 차량 내 컴포넌트와 근거리 무선 통신 연결이 가능한 통신 기기인 경우, 상기 제어부가, 상기 물건과 상기 차량 내 컴포넌트가 연결된 상태인지를 판단하고, 상기 판단 결과, 연결된 상태인 경우, 상기 낙하한 물건 및 상기 컴포넌트에서의 서비스 제공을 일시 정지시키고, 상기 물건이 상기 탑승자에 의해 습득된 경우, 상기 서비스를 연이어 제공하도록 상기 물건 및 상기 컴포넌트를 제어하는, 물건 낙하 감지 장치일 수 있다.
본 발명의 일 실시예는, 상기 확인부가, 상기 촬영부에 의해 주기적으로 생성되는 영상으로부터 상기 낙하한 물건에 대한 탑승자의 습득 여부를 확인하고, 상기 제어부가, 상기 낙하한 물건이 상기 탑승자에 의해 습득되지 않은 것으로 확인된 상태에서, 상기 낙하한 물건이 손상되는 범위로의 상기 좌석시트에 대한 조정 명령이 입력되면, 상기 좌석시트에 대한 조정을 제한하고, 상기 낙하한 물건의 습득을 제안하는, 물건 낙하 감지 장치일 수 있다.
본 발명의 일 실시예는, 상기 낙하한 물건의 위치가 상기 탑승자가 상기 물건을 습득할 수 있는 범위를 벗어난 경우, 상기 제어부가, 상기 차량 내에 설치된 도구를 이용하여 상기 낙하한 물건을 습득할 수 있는 범위로 이동시키거나, 또는 상기 낙하한 물건이 상기 습득할 수 있는 범위로 이동되도록 상기 차량의 주행방향 또는 상기 차량의 속도를 변경하는, 물건 낙하 감지 장치일 수 있다.
본 발명의 일 실시예는, 상기 확인부가, 상기 낙하한 물건의 이미지에 상기 탑승자에게 필요한 물건인지를 판단하도록 훈련된 심층 신경망 모델을 적용하여, 상기 낙하한 물건에 대한 습득 필요 여부를 판단하고, 상기 제어부가, 상기 낙하한 물건이 습득 불필요한 것으로 판단되는 경우, 상기 물건의 위치 제공 및 상기 탑승자의 좌석시트 조정을 제한하는, 물건 낙하 감지 장치일 수 있다.
본 발명의 일 실시예는, 상기 낙하한 물건이 습득 불필요한 것으로 판단되는 경우, 상기 제어부가, 상기 차량 내 도구를 이용하여, 상기 습득 불필요한 물건을 제거하는, 물건 낙하 감지 장치일 수 있다.
본 발명의 일 실시예는, 상기 낙하한 물건의 위치를 디스플레이하는 디스플레이부를 더 포함하는, 물건 낙하 감지 장치일 수 있다.
본 발명의 일 실시예는, 차량 내 물건의 낙하를 감지하는 방법으로서, 탑승자와 물건이 존재하는 차량 내부를 주기적으로 촬영하여 영상을 생성하는 단계와, 상기 영상에 기초하여 상기 차량 내부에서 물건이 낙하한 것으로 판단되는 경우, 상기 영상에 기초하여 상기 낙하한 물건의 위치를 확인하는 단계와, 상기 낙하한 물건의 위치를 상기 차량 내 컴포넌트를 통해 제공하고, 상기 낙하한 물건의 위치 및 상기 탑승자의 신체조건에 기초하여, 상기 차량 내 상기 탑승자의 좌석시트를 조정하는 단계를 포함하는, 물건 낙하 감지 방법일 수 있다.
본 발명의 일 실시예는, 상기 탑승자의 좌석시트를 조정하는 단계가, 상기 탑승자의 팔, 다리 및 손의 길이 중 적어도 하나를 포함하는 상기 탑승자의 신체조건에 기초하여, 상기 탑승자가 상기 물건을 습득할 수 있는 범위를 설정하고, 상기 물건의 위치가 상기 설정된 범위를 벗어난 경우, 상기 탑승자의 좌석시트의 위치, 높이 및 각도 중 적어도 하나를 조정하는 단계를 포함하는, 물건 낙하 감지 방법일 수 있다.
본 발명의 일 실시예는, 상기 영상으로부터 상기 물건이 추출되면, 상기 물건의 이동을 트래킹하고, 상기 트래킹 결과, 상기 물건이 설정된 거리 이상 아래로 떨어지거나, 또는 상기 차량의 바닥으로 떨어진 경우, 상기 물건이 낙하한 것으로 판단하는 단계를 더 포함하는, 물건 낙하 감지 방법일 수 있다.
본 발명의 일 실시예는, 상기 영상으로부터 추출되는 물건의 이동을 트래킹하는 단계와, 상기 트래킹한 물건의 이동 및 형태 중 적어도 하나에 기초하여, 상기 트래킹한 물건이 낙하할 것으로 예측되면, 상기 트래킹한 물건이 낙하하기 전에, 상기 트래킹한 물건이 낙하하지 않을 것으로 판단되는 세이프 영역으로 상기 트래킹한 물건의 이동을 제안하는 단계를 더 포함하는, 물건 낙하 감지 방법일 수 있다.
본 발명의 일 실시예는, 상기 차량이 정차하거나, 설정된 속도 미만으로 주행하는 구간에서 상기 낙하한 물건의 습득을 제안하는 단계와, 상기 차량의 내비게이션 정보에 기초하여, 설정된 시간 내에 급커브 또는 불규칙한 노면의 도로를 주행할 것으로 예상되거나, 상기 차량의 급감속 또는 급가속이 예상되는 경우, 상기 낙하한 물건의 즉시 습득을 제안하는 단계를 더 포함하는, 물건 낙하 감지 방법일 수 있다.
본 발명의 일 실시예는, 상기 낙하한 물건이, 상기 차량 내 컴포넌트와 근거리 무선 통신 연결이 가능한 통신 기기인 경우, 상기 물건과 상기 차량 내 컴포넌트가 연결된 상태인지를 판단하고, 상기 판단 결과, 연결된 상태인 경우, 상기 낙하한 물건 및 상기 컴포넌트에서의 서비스 제공을 일시 정지시키는 단계와, 상기 물건이 상기 탑승자에 의해 습득된 경우, 상기 서비스를 연이어 제공하도록 상기 물건 및 상기 컴포넌트를 제어하는 단계를 더 포함하는, 물건 낙하 감지 방법일 수 있다.
본 발명의 일 실시예는, 주기적으로 생성되는 영상으로부터 상기 낙하한 물건에 대한 탑승자의 습득 여부를 확인하는 단계와, 상기 낙하한 물건이 상기 탑승자에 의해 습득되지 않은 것으로 확인된 상태에서, 상기 낙하한 물건이 손상되는 범위로의 상기 좌석시트에 대한 조정 명령이 입력되면, 상기 좌석시트에 대한 조정을 제한하고, 상기 낙하한 물건의 습득을 제안하는 단계를 더 포함하는, 물건 낙하 감지 방법일 수 있다.
본 발명의 일 실시예는, 상기 낙하한 물건의 이미지에 상기 탑승자에게 필요한 물건인지를 판단하도록 훈련된 심층 신경망 모델을 적용하여, 상기 낙하한 물건에 대한 습득 필요 여부를 판단하는 단계와, 상기 낙하한 물건이 습득 불필요한 것으로 판단되는 경우, 상기 물건의 위치 제공 및 상기 탑승자의 좌석시트 조정을 제한하는 단계를 더 포함하는, 물건 낙하 감지 방법일 수 있다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램이 저장된 컴퓨터로 판독 가능한 기록매체가 더 제공될 수 있다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
본 발명에 의하면, 차량 내부에서 물건이 낙하한 것으로 판단되는 경우, 상기 낙하한 물건의 위치를 상기 차량 내 컴포넌트 또는 내부 디스플레이부를 통해 제공하고, 상기 낙하한 물건의 위치 및 상기 탑승자의 신체조건(예컨대, 탑승자의 팔, 다리, 손의 길이)에 기초하여, 상기 차량 내 탑승자의 좌석시트를 조정 함으로써, 낙하한 물건을 쉽게 습득할 수 있게 한다.
본 발명에 따르면, 차량 내부에서 물건이 낙하할 것으로 예측되면, 상기 물건이 낙하하기 전에, 상기 물건이 낙하하지 않을 것으로 판단되는 세이프 영역으로 상기 물건의 이동을 제안 함으로써, 물건의 낙하를 애초에 방지하여, 물건이 손상되지 않게 한다.
본 발명에 의하면, 안정적인 주행 환경일 때, 상기 차량 내부에서 낙하한 물건을 습득하도록 알려주거나, 불안정적인 주행 환경이 예상될 때, 상기 차량 내부에서 낙하한 물건을 미리 습득하도록 알려 줌으로써, 낙하한 물건을 습득할 수 있는 시점을 가이드할 수 있다.
또한, 본 발명에 따르면, 차량의 주행이 종료한 후에도, 탑승자가 낙하한 물건을 습득하지 않은 경우, 상기 낙하한 물건에 대한 알림 정보를 차량 내 컴포넌트를 통해 제공 함으로써, 낙하한 물건을 차량에 방치시키지 않게 한다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 물건 낙하 감지 장치의 구성을 도시한 도면이다.
도 2 및 도 3은 본 발명의 일 실시예에 따른 물건 낙하 감지 장치에서 탑승자의 좌석시트를 조정하는 일례를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 물건 낙하 감지 장치에서 차량 내 도구를 이용하여, 낙하한 물건을 이동시키는 일례를 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 물건 낙하 감지 장치에서 차량 내 낙하한 물건의 이동을 예측하여, 낙하한 물건의 습득을 가이드하는 일례를 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 물건 낙하 감지 장치에서 낙하한 물건의 습득 시기를 가이드하는 일례를 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 물건 낙하 감지 장치에서 차량 내 낙하할 것으로 예측되는 물건을 안전하게 보관하도록 가이드하는 일례를 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 물건 낙하 감지 장치에서, 차량 내 낙하한 물건에서 제공하는 서비스를 제어하는 일례를 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 물건 낙하 감지 방법을 나타내는 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 설명되는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 아래에서 제시되는 실시 예들로 한정되는 것이 아니라, 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 아래에 제시되는 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
이하, 본 발명에 따른 실시 예들을 첨부된 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
본 명세서에서 기술되는 차량은, 동력원으로서 엔진을 구비하는 내연기관 차량, 동력원으로서 엔진과 전기 모터를 구비하는 하이브리드 차량, 동력원으로서 전기 모터를 구비하는 전기 차량 등을 모두 포함하는 개념일 수 있다.
또한, 본 명세서에서 기술되는 차량은, 자율주행 차량일 수 있다.
자율 주행은 스스로 주행하는 기술을 의미하며, 자율 주행 차량은 사용자의 조작 없이 또는 사용자의 최소한의 조작으로 주행하는 차량(Vehicle)을 의미한다. 예컨대, 자율 주행에는 주행중인 차선을 유지하는 기술, 어댑티브 크루즈 컨트롤과 같이 속도를 자동으로 조절하는 기술, 정해진 경로를 따라 자동으로 주행하는 기술, 목적지가 설정되면 자동으로 경로를 설정하여 주행하는 기술 등이 모두 포함될 수 있다.
구체적으로, 자율 주행 차량은 자율 주행 기능을 제어하기 위한 자율 주행 제어 모듈을 포함할 수 있고, 자율 주행 제어 모듈은 소프트웨어 모듈 또는 이를 하드웨어로 구현한 칩을 의미할 수 있다. 자율 주행 제어 모듈은 자율 주행 차량의 구성으로써 내부에 포함될 수도 있지만, 자율 주행 차량의 외부에 별도의 하드웨어로 구성되어 연결될 수도 있다.
자율 주행 차량은 다양한 종류의 센서들로부터 획득한 센서 정보를 이용하여 자율 주행 차량의 상태 정보를 획득하거나, 주변 환경 및 객체를 검출(인식)하거나, 맵 데이터를 생성하거나, 이동 경로 및 주행 계획을 결정하거나, 동작을 결정할 수 있다.
여기서, 자율 주행 차량은 이동 경로 및 주행 계획을 결정하기 위하여, 예컨대, 라이다, 레이더, 카메라 중에서 적어도 하나 이상의 센서에서 획득한 센서 정보를 이용할 수 있다.
특히, 자율 주행 차량은 시야가 가려지는 영역이나 일정 거리 이상의 영역에 대한 환경이나 객체는 외부 장치들로부터 센서 정보를 수신하여 인식하거나, 외부 장치들로부터 직접 인식된 정보를 수신할 수 있다.
자율 주행 차량은 적어도 하나 이상의 인공 신경망으로 구성된 학습 모델을 이용하여 상기한 동작들을 수행할 수 있다. 예컨대, 자율 주행 차량은 학습 모델을 이용하여 주변 환경 및 객체를 인식할 수 있고, 인식된 주변 환경 정보 또는 객체 정보를 이용하여 주행 동선을 결정할 수 있다. 여기서, 학습 모델은 자율 주행 차량에서 직접 학습되거나, AI 서버 등의 외부 장치에서 학습된 것일 수 있다.
이때, 자율 주행 차량은 직접 학습 모델을 이용하여 결과를 생성하여 동작을 수행할 수도 있지만, AI 서버 등의 외부 장치에 센서 정보를 전송하고 그에 따라 생성된 결과를 수신하여 동작을 수행할 수도 있다.
자율 주행 차량은 맵 데이터, 센서 정보로부터 검출한 객체 정보 또는 외부 장치로부터 획득한 객체 정보 중에서 적어도 하나 이상을 이용하여 이동 경로와 주행 계획을 결정하고, 구동부를 제어하여 결정된 이동 경로와 주행 계획에 따라 자율 주행 차량을 주행시킬 수 있다.
맵 데이터에는 자율 주행 차량이 주행하는 공간(예컨대, 도로)에 배치된 다양한 객체들에 대한 객체 식별 정보가 포함될 수 있다. 예컨대, 맵 데이터에는 가로등, 바위, 건물 등의 고정 객체들과 차량, 보행자 등의 이동 가능한 객체들에 대한 객체 식별 정보가 포함될 수 있다. 그리고, 객체 식별 정보에는 명칭, 종류, 거리, 위치 등이 포함될 수 있다.
또한, 자율 주행 차량은 사용자의 제어/상호작용에 기초하여 구동부를 제어함으로써, 동작을 수행하거나 주행할 수 있다. 이때, 자율 주행 차량은 사용자의 동작이나 음성 발화에 따른 상호작용의 의도 정보를 획득하고, 획득한 의도 정보에 기초하여 응답을 결정하여 동작을 수행할 수 있다.
도 1은 본 발명의 일 실시예에 따른 물건 낙하 감지 장치의 구성을 도시한 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 물건 낙하 감지 장치(100)는 차량 내 물건의 낙하를 감지하는 장치로서, 상기 차량에 설치될 수 있다. 이러한 물건 낙하 감지 장치(100)는 촬영부(101), 확인부(102), 제어부(103), 디스플레이부(104) 및 통신부(105)를 포함할 수 있다.
촬영부(101)는 예컨대, 카메라일 수 있으며, 탑승자(예컨대, 운전자, 동승자)와 물건이 존재하는 차량 내부를 설정된 주기(예컨대, 1초) 마다 촬영하여 영상(예컨대, 2D, 3D 이미지)을 생성할 수 있다. 이때, 촬영부(101)는 기존에 차량의 내부에 설치된 카메라일 수 있으며, 이에 한정되지 않고, 물건 낙하 감지를 모니터링하기 위한 별도의 카메라일 수 있다.
확인부(102)는 촬영부(101)에 의해 생성된 영상으로부터, 사람 및 물건을 인지하도록 훈련된 심층 신경망을 이용하여, 탑승자 및 물건을 추출할 수 있다. 이때, 확인부(102)는 상기 물건 추출시, 상기 물건의 종류(예컨대, 쓰레기, 지갑, 스마트폰, 무선 이어폰 등) 또한, 추출할 수 있다. 여기서, 확인부(102)는 상기 물건으로서, 상기 차량 내 컴포넌트와 근거리 무선 통신(예컨대, 블루투스(bluetooth), 와이파이(wi-fi))이 가능한 기기가 추출될 경우, 상기 물건을 통신 기기로 확인할 수 있다. 여기서, 근거리 무선 통신이 가능한 기기는 예컨대, 스마트폰, 무선 이어폰, 태블릿 PC(personal computer) 및 노트북 중 어느 하나일 수 있다.
확인부(102)는 상기 영상으로부터 탑승자 및 물건이 추출되면, 상기 탑승자의 움직임(예컨대, 상체, 얼굴 방향, 팔의 좌표 변화) 및 상기 물건의 이동을 트래킹(tracking)할 수 있다. 이때, 확인부(102)는 예컨대, 골격화 알고리즘(Skeletonization Algorithm)을 이용하여, 상기 영상으로부터 탑승자의 팔, 다리, 머리, 얼굴 등의 움직임 거리 및 방향을 검출 함으로써, 탑승자의 움직임을 트래킹할 수 있다. 또한, 확인부(102)는 예컨대, 물건 감지 알고리즘(Object Detection Algorithm)을 이용하여, 상기 영상으로부터 물건의 이동 거리 및 방향을 검출 함으로써, 물건의 이동을 트래킹할 수 있다.
확인부(102)는 상기 트래킹 결과, 상기 물건이 설정된 거리 이상 아래로 떨어지거나, 또는 상기 차량의 바닥으로 떨어진 경우, 상기 물건이 낙하한 것으로 판단할 수 있다. 즉, 확인부(102)는 예컨대, 거치대, 좌석시트, 탑승자의 손에서 상기 물건이 분리 또는 이동되어, 설정된 거리 이상 아래로 떨어지거나 바닥에 떨어지는 경우, 상기 물건이 낙하한 것으로 판단할 수 있다.
상기 탑승자가 물건을 소지하고 있을 때에는, 확인부(102)는 상기 트래킹 결과, 상기 탑승자의 손과 상기 물건의 거리가 설정된 간격 이상 이격되고, 상기 물건이 설정된 거리 이상 아래로 떨어지는 경우, 상기 물건이 낙하한 것으로 판단할 수 있다. 즉, 확인부(102)는 물건이 떨어지는 거리 외에, 탑승자의 손에서 물건이 분리되었는지를 더 확인하여, 물건의 낙하 여부를 판단할 수 있다. 이에 따라, 확인부(102)는 차량 내부에서 물건이 설정된 거리 이상 아래로 떨어지는 경우에도, 탑승자의 손과 물건의 거리가 설정된 간격 이상 이격되지 않으면, 상기 물건이 낙하하지 않은 것으로 판단할 수 있다. 결과적으로, 확인부(102)는 물건이 설정된 거리 이상 아래로 떨어지더라도, 탑승자의 손과 물건이 접촉되어 있는 경우, 탑승자가 물건을 소지한 상태에서 탑승자의 손을 아래로 움직인 것으로 인지하여, 상기 물건이 낙하하지 않은 것으로 판단할 수 있다.
확인부(102)는 촬영부(101)에 의해, 주기적으로 생성되는 영상에 기초하여, 상기 차량 내부에서 물건이 낙하한 것으로 판단되는 경우, 상기 영상에 기초하여 상기 물건이 낙하한 위치를 확인할 수 있다.
한편, 확인부(102)는 촬영부(101)에 의해 주기적으로 생성되는 영상으로부터 상기 낙하한 물건에 대한 탑승자의 습득 여부를 확인할 수 있다. 구체적으로, 확인부(102)는 촬영부(101)에서 주기적으로 생성되는 영상 내 탑승자 및 물건에 대한 트래킹 결과, 탑승자의 손과 상기 낙하한 물건의 거리가 설정된 간격(예컨대, 0.1㎜) 미만이고(또는, 탑승자의 손과 물건이 접촉), 상기 낙하한 물건이 설정된 거리 이상 위로 올라가는 경우, 상기 탑승자가 상기 낙하한 물건을 습득한 것으로 판단할 수 있다.
제어부(103)는 상기 물건에 대한 낙하 정보 및 상기 낙하한 물건의 위치를 상기 차량 내 컴포넌트(component)(예컨대, 스피커, AVN(Audio Video Navigation) 화면) 또는 디스플레이부(104)를 통해 제공할 수 있다. 예컨대, 제어부(103)는 차량 내부에서 핸드폰이 낙하한 경우, '핸드폰이 기어박스의 우측에 떨어졌습니다'의 물건에 대한 낙하 메시지를 차량 내 스피커를 통해 제공하거나, 기어박스 우측에 핸드폰의 위치가 표시된 차량 내부 영상을 디스플레이부(104)를 통해 제공할 수 있다.
이후, 제어부(103)는 상기 물건의 위치 및 상기 탑승자의 신체조건에 기초하여, 상기 탑승자의 손 또는 발이 상기 낙하한 물건의 위치에 닿을 수 있는 거리까지 상기 차량 내 탑승자의 좌석시트를 조정할 수 있다. 이때, 제어부(103)는 상기 탑승자의 팔, 다리 및 손의 길이 중 적어도 하나를 포함하는 상기 탑승자의 신체조건에 기초하여, 상기 탑승자가 상기 물건을 습득할 수 있는 범위(예컨대, 탑승자의 손 또는 발이 접근 가능한 위치)를 설정하고, 상기 물건의 위치가 상기 설정된 범위를 벗어난 경우(즉, 탑승자의 손 또는 발이 상기 낙하한 물건에 닿지 않는 경우, 상기 탑승자의 좌석시트의 위치, 높이 및 각도 중 적어도 하나를 조정 함으로써, 탑승자로 하여금, 낙하한 물건을 쉽게 습득할 수 있는 자세를 취할 수 있게 한다.
상기 탑승자의 좌석시트 조정 전에, 제어부(103)는 확인부(102)를 통해, 탑승자가 물건을 탐색하는 것으로 확인되면, 상기 차량 내 탑승자의 좌석시트를 조정 함으로써, 탑승자가 물건을 습득할 의사가 있을 때, 좌석시트를 움직일 수 있다. 이때, 확인부(102)는 탑승자의 움직임 트래킹 결과에 기초하여, 상기 탑승자가 고개를 숙이고 있는지를 판단하고, 상기 탑승자가 고개를 숙이고 있는 것으로 판단되면, 상기 탑승자가 상기 물건을 탐색하는 것으로 확인할 수 있다. 여기서, 확인부(102)는 예컨대, 탑승자의 얼굴(또는, 머리)가 움직이는 정도, 움직이는 방향 등에 기초하여, 상기 탑승자가 고개를 숙이고 있는지를 판단할 수 있다. 다른 일례로서, 확인부(102)는 탑승자가 낙하한 물건을 습득하기 위해, 물건을 탐색하는지를 판단하도록 훈련된 심층 신경망 모델을 이용하여, 상기 영상으로부터 물건에 대한 탑승자의 탐색 여부를 확인할 수 있다.
상기 탑승자의 좌석시트 조정시, 제어부(103)는 상기 낙하한 물건의 위치에 기초하여, 상기 물건이 손상되지 않는 범위 내에서 상기 탑승자의 좌석시트의 조정범위를 제한 함으로써, 조정되는 좌석시트의 움직임에 의해, 물건이 손상되는 것을 방지할 수 있다. 즉, 제어부(103)는 물건이 손상될 수 있는 위치까지 좌석시트가 움직이는 것을 방지하여, 온전한 상태의 물건을 습득할 수 있게 한다.
또한, 제어부(103)는 상기 낙하한 물건의 위치가 상기 탑승자가 상기 물건을 습득할 수 있는 범위를 벗어난 경우, 상기 차량 내에 설치된 도구(예컨대, 무선 청소기)를 이용하여 상기 낙하한 물건을 습득할 수 있는 범위로 이동시킬 수 있다. 다른 일례로서, 제어부(103)는 상기 낙하한 물건의 위치가 상기 탑승자가 상기 물건을 습득할 수 있는 범위를 벗어난 경우, 상기 낙하한 물건이 상기 습득할 수 있는 범위로 이동되도록 상기 차량의 주행방향 또는 상기 차량의 속도를 변경하거나, 또는 차량 내 컴포넌트(또는, 내부 디스플레이부)를 통해, 변경하도록 안내할 수 있다.
예컨대, 제어부(103)는 낙하한 물건의 위치가, 습득할 수 있는 범위를 기준으로 좌측인 경우, 상기 도구를 이용하여, 낙하한 물건을 우측으로 이동시키거나, 또는 차량의 주행 방향을 좌회전(또는, 좌측으로의 차선변경)시킴으로써, 상기 낙하한 물건을 상기 습득할 수 있는 범위로 이동시킬 수 있다.
제어부(103)는 예컨대, 좌석시트가 조정되기 전에, 상기 도구 또는 상기 차량의 주행방향(속도)을 제어할 수 있으나, 이에 한정되지 않고, 1차로 좌석시트를 조정한 후에도 상기 낙하한 물건의 위치가 상기 탑승자가 상기 물건을 습득할 수 있는 범위를 벗어난 경우, 2차로 상기 도구 또는 상기 차량의 주행 방향(속도)을 제어 함으로써, 탑승자가 낙하한 물건을 쉽게 습득할 수 있게 한다. 여기서, 탑승자가 상기 물건을 습득할 수 있는 범위는 탑승자의 좌석시트가 조정되기 전과 후에 따라, 달라질 수 있다.
한편, 제어부(103)는 주기적으로 생성되는 상기 영상으로부터 트래킹한 물건의 이동 및 형태 중 적어도 하나에 기초하여, 상기 트래킹한 물건에 대한 낙하 여부를 예측할 수 있다. 이때, 제어부(103)는 트래킹한 물건이 낙하할 것으로 예측되면, 상기 트래킹한 물건이 낙하하기 전에, 상기 트래킹한 물건이 낙하하지 않을 것으로 판단되는 세이프 영역(safe area)으로 상기 트래킹한 물건의 이동을 제안할 수 있다. 예컨대, 제어부(103)는 상기 물건이 설정치 이상으로 이동하거나(양방향으로 흔들림), 또는 상기 물건의 형태가 원형(또는, 원기둥)일 경우, 상기 물건이 낙하할 것으로 예측할 수 있다. 이때, 제어부(103)는 상기 물건이 낙하하기 전에, 상기 물건이 낙하하지 않을 것으로 판단되는 세이프 영역으로서, 예컨대, 차량 내 수납장, 컵 홀더 홈 영역을 결정하고, 상기 결정된 세이프 영역으로 물건의 이동을 제안할 수 있다. 이때, 제어부(103)는 상기 차량 내 컴포넌트(예컨대, 스피커, AVN 화면) 또는 디스플레이부(104)를 통해, 상기 세이프 영역으로의 물건 이동을 제안할 수 있다.
또한, 제어부(103)는 차량 내부에서 물건이 낙하한 후, 상기 물건이 낙하하기 전에 위치했던 영역에, 상기 물건이 다시 위치하는 경우, 상기 물건이 또 낙하할 것으로 예측하여, 세이프 영역으로 물건의 이동을 제안할 수 있다.
또한, 제어부(103)는 안정적인 주행 환경일 때, 상기 차량 내부에서 낙하한 물건을 습득하도록 알려주거나, 불안정적인 주행 환경이 예상될 때, 상기 차량 내부에서 낙하한 물건을 미리 습득하도록 알려 줌으로써, 물건을 습득할 수 있는 시점을 가이드할 수 있다. 구체적으로, 제어부(103)는 상기 차량이 정차하거나, 설정된 속도 미만으로 주행하는 구간에서 상기 낙하한 물건의 습득을 제안할 수 있다. 또한, 제어부(103)는 상기 차량의 내비게이션 정보에 기초하여, 설정된 시간 내에 급커브 또는 불규칙한 노면의 도로를 주행할 것으로 예상되거나, 상기 차량의 급감속 또는 급가속이 예상되는 경우, 상기 낙하한 물건의 즉시 습득을 제안할 수 있다. 여기서, 제어부(103)는 통신부(105)를 통해, 맵 서버로부터 상기 차량의 현위치에서 목적지까지 대응하는 상기 차량의 내비게이션 정보(예컨대, 주행하는 도로, 도로의 형태, 도로의 노면, 도로에서의 속도 등)를 획득할 수 있다.
제어부(103)는 확인부(102)에 의해, 상기 낙하한 물건이 상기 탑승자에 의해 습득되지 않은 것으로 확인된 상태에서, 상기 낙하한 물건이 손상되는 범위로의 상기 좌석시트에 대한 조정 명령이 입력되면, 상기 좌석시트에 대한 조정을 제한하고, 상기 낙하한 물건의 습득을 제안할 수 있다. 즉, 제어부(103)는 상기 좌석시트에 대한 조정 명령이 입력되면, 상기 조정 명령에 대응하여 조정되는 좌석시트의 이동범위가, 상기 낙하한 물건의 위치를 포함하는지를 판단하고, 상기 좌석시트의 이동범위가 상기 낙하한 물건의 위치를 포함하는 것으로 판단되면, 상기 좌석시트의 조정이 상기 낙하한 물건을 손상시킬 수 있는 것으로 결정하여, 상기 좌석시트에 대한 조정을 제한하고, 상기 낙하한 물건의 습득을 권고할 수 있다.
또한, 제어부(103)는 확인부(102)를 통해, 낙하한 물건에 대한 습득 필요 여부를 판단할 수 있다. 여기서, 확인부(102)는 상기 낙하한 물건의 종류가, 설정된 리스트에 포함되는지에 따라, 상기 낙하한 물건에 대한 습득 필요 여부를 판단하거나, 또는 상기 낙하한 물건의 이미지에, 상기 탑승자에게 필요한 물건인지를 판단하도록 훈련된 심층 신경망 모델을 적용하여, 상기 낙하한 물건에 대한 습득 필요 여부를 판단할 수 있다.
제어부(103)는 상기 판단 결과, 상기 낙하한 물건이 습득 불필요한 것(예컨대, 쓰레기)으로 판단되는 경우, 상기 물건의 위치 제공 및 상기 탑승자의 좌석시트 조정을 제한(생략)할 수 있다. 또한, 제어부(103)는 상기 판단 결과, 상기 낙하한 물건이 습득 불필요한 것으로 판단되는 경우, 상기 차량 내 도구(예컨대, 무선 청소기)를 이용하여, 상기 습득 불필요한 물건을 제거할 수 있다.
한편, 제어부(103)는 상기 낙하한 물건이, 상기 차량 내 컴포넌트와 근거리 무선 통신 연결이 가능한 통신 기기인 경우, 상기 낙하한 물건이, 상기 차량 내 컴포넌트와 근거리 무선 통신으로 연결된 상태인지를 확인할 수 있다. 구체적으로, 제어부(103)는 통신부(105)를 통해, 낙하한 물건으로 식별정보를 요청하고, 상기 요청에 대한 응답으로서, 상기 물건으로부터 수신한 물건의 식별정보와 차량 내 컴포넌트에서 연결된 장치의 식별정보가 일치하면, 상기 물건과 상기 컴포넌트가 근거리 무선 통신으로 연결된 것으로 확인할 수 있다. 이때, 제어부(103)은 통신부(105)를 통해, 차량 내 컴포넌트로부터 상기 컴포넌트와 연결된 장치의 식별정보를 수신할 수 있다.
제어부(103)는 상기 확인 결과, 상기 낙하한 물건이, 상기 차량 내 컴포넌트와 근거리 무선 통신으로 연결된 상태인 경우, 상기 낙하한 물건 및 상기 컴포넌트에서의 서비스(예컨대, 동영상, 게임 플레이) 제공을 일시 정지시키고, 확인부(102)에 의해, 상기 물건이 상기 탑승자에 의해 습득된 것으로 확인된 경우, 상기 서비스를 연이어 제공하도록 상기 물건 및 상기 컴포넌트를 제어할 수 있다. 즉, 제어부(103)는 서비스를 제공하던 물건이 낙하한 경우, 탑승자가 상기 서비스를 정상적으로 제공받지 못함에 따라, 상기 물건 및 상기 컴포넌트에서 제공하는 서비스를 일시 정지시키고, 탑승자가 낙하한 물건을 습득 함에 따라, 서비스를 정상적으로 제공받을 수 있게 되면, 상기 물건 및 상기 컴포넌트에서의 서비스 제공을 재개할 수 있다.
또한, 제어부(103)는 상기 탑승자가 낙하한 물건을 습득하지 않은 경우, 상기 차량의 주행이 종료될 때, 상기 낙하한 물건에 대한 알림 정보(예컨대, 물건이 바닥에 떨어졌음)를 상기 차량 내 컴포넌트 또는 디스플레이부(104)를 통해 제공 함으로써, 낙하 직후 물건을 바로 줍지 않더라도, 낙하한 물건의 존재를 알려 줌으로써, 물건을 잊지 않고 습득할 수 있게 한다.
디스플레이부(104)는 물건에 대한 정보(예컨대, 낙하한 물건의 위치) 또는 물건에 대한 안내(예컨대, 세이프 영역으로의 물건 이동 안내, 낙하한 물건의 습득 안내)를 디스플레이할 수 있다. 이러한 디스플레이부(104)는 물건에 대한 정보를 제공하기 위한 디스플레이부일 수 있으나, 이에 한정되지 않고, 기존에 설치된 차량 내 컴포넌트(예컨대, AVN 화면)으로 대체될 수 있다.
통신부(105)는 맵 서버로부터 차량의 내비게이션 정보를 수신하거나, 차량 내 낙하한 물건으로부터 식별정보를 수신하거나, 또는 차량 내 컴포넌트로부터 연결된 장치의 식별정보를 수신할 수 있다.
도 2 및 도 3은 본 발명의 일 실시예에 따른 물건 낙하 감지 장치에서 탑승자의 좌석시트를 조정하는 일례를 도시한 도면이다.
도 2를 참조하면, 물건 낙하 감지 장치는 차량 내부를 주기적으로 촬영하는 영상으로부터 차량 내부에서 물건이 낙하한 것으로 판단되면, 상기 낙하한 물건의 위치를 컴포넌트(예컨대, 스피커, AVN 화면) 또는 디스플레이부를 통해 제공할 수 있다. 이때, 물건 낙하 감지 장치는 상기 낙하한 물건의 위치 및 상기 탑승자의 신체조건(예컨대, 탑승자의 팔, 다리, 손의 길이)에 기초하여, 상기 차량 내 상기 탑승자의 좌석시트의 위치(예컨대, 앞, 뒤), 높이(예컨대, 위, 아래) 및 각도(예컨대, 방향) 중 적어도 하나를 조정할 수 있다.
예컨대, 물건 낙하 감지 장치는 차량 내부에서 '무선 이어폰'(201)이 낙하한 것으로 판단되면, 낙하한 '무선 이어폰'(201)의 위치를 차량 내 스피커를 통해 제공할 수 있으며, 낙하한 '무선 이어폰'(201)에 탑승자의 손이 접근할 수 있도록 상기 탑승자의 좌석시트의 앞/뒤 위치(202), 위/아래 높이(203) 및 좌/우 각도(204) 중 적어도 하나를 조정 함으로써, 탑승자가 '무선 이어폰'(201)을 쉽게 습득할 수 있게 한다.
이때, 물건 낙하 감지 장치는 도 3에 도시한 바와 같이, 낙하한 '무선 이어폰'(201)의 위치에 기초하여, '무선 이어폰'(201)이 손상되지 않는 범위 내에서 상기 탑승자의 좌석시트의 조정범위를 제한 함으로써(301), 좌석시트의 조정범위가, '무선 이어폰'(201)이 손상되는 범위로 침입하지 않도록 하여, 조정되는 좌석시트에 의해, '무선 이어폰'(201)이 훼손되는 것을 방지할 수 있다.
도 4는 본 발명의 일 실시예에 따른 물건 낙하 감지 장치에서 차량 내 도구를 이용하여, 낙하한 물건을 이동시키는 일례를 도시한 도면이다.
도 4를 참조하면, 물건 낙하 감지 장치는 차량 내부에서 낙하한 물건의 위치가 탑승자가 습득할 수 있는 범위(예컨대, 탑승자의 손 또는 발이 접근 가능한 위치)를 벗어난 경우, 상기 차량 내에 설치된 도구를 이용하여, 상기 낙하한 물건을 상기 습득할 수 있는 범위로 이동시킬 수 있다.
예컨대, 물건 낙하 감지 장치는 차량 내부에서 낙하한 '무선 이어폰'(401)의 위치가 탑승자가 습득할 수 있는 범위(402)를 벗어난 경우, 상기 차량 내에 설치된 '무선 청소기'(403)를 제어하여, '무선 이어폰'(401)을 탑승자가 습득할 수 있는 범위(402) 방향으로 밀도록 함으로써, '무선 이어폰'(401)을 탑승자가 습득할 수 있는 범위(402)로 이동시켜, 탑승자가 '무선 이어폰'(401)을 쉽게 습득할 수 있게 한다.
도 5는 본 발명의 일 실시예에 따른 물건 낙하 감지 장치에서 차량 내 낙하한 물건의 이동을 예측하여, 낙하한 물건의 습득을 가이드하는 일례를 설명하기 위한 도면이다.
도 5를 참조하면, 물건 낙하 감지 장치는 주행하는 차량에서, 카메라를 통해, 주기적으로 생성되는 영상 내 물건을 트래킹한 결과에 기초하여, 낙하한 물건의 이동을 확인할 수 있다. 이때, 물건은 무게 및 형태에 따라 상이하게 이동할 수 있다.
예컨대, 물건 낙하 감지 장치는 주행하는 차량에서 낙하한 물건이 '서류 가방'(501), '무선 이어폰'(502) 및 '공'(503)일 경우, 가볍고, 쉽게 굴러갈 수 있는 원형의 '공'(503)이 가장 멀리 이동하고, '서류 가방'(501) 보다 무게가 작은 '무선 이어폰'(502)이 다음으로 멀리 이동하고, 다른 물건 보다 무거운 '서류 가방'(501)이 상대적으로 적게 이동할 수 있다.
이에 따라, 물건 낙하 감지 장치는 무게 및 형태에 기초하여, 가장 멀리 이동할 수 있는 물건 순서 즉, '공'(503), '무선 이어폰'(502) 및 '서류 가방'(501) 순서대로 물건을 습득하도록 차량 내 컴포넌트를 통해 가이드하거나, 또는 가장 멀리 이동할 수 있는 '공'(503)을 즉시 습득하도록 차량 내 컴포넌트를 통해 안내할 수 있다.
도 6은 본 발명의 일 실시예에 따른 물건 낙하 감지 장치에서 낙하한 물건의 습득 시기를 가이드하는 일례를 설명하기 위한 도면이다.
도 6을 참조하면, 물건 낙하 감지 장치는 차량 내부에서 낙하한 물건에 대해 습득 시기를 가이드할 수 있다. 예컨대, 물건 낙하 감지 장치는 차량의 내비게이션 정보에 기초하여, 20초 내에 급커브 또는 불규칙한 노면의 도로를 주행할 것으로 예상되거나, 상기 차량의 급감속 또는 급가속이 예상되는 경우, 차량 내부에서 낙하한 물건의 즉시 습득을 제안할 수 있다.
또한, 물건 낙하 감지 장치는 차량(601)이 정차하거나, 설정된 속도 미만으로 주행하는 구간에서 상기 낙하한 물건의 습득을 제안할 수 있다.
다른 일례로서, 물건 낙하 감지 장치는 구불거리는 도로(602)를 주행함에 따라, 구불거리는 도로(602)로 진입하는 시점(603)에서 물건이 낙하한 경우, 구불거리는 도로(602)를 이탈하는 시점(604)에서, 낙하한 물건의 습득을 제안할 수 있다.
도 7은 본 발명의 일 실시예에 따른 물건 낙하 감지 장치에서 차량 내 낙하할 것으로 예측되는 물건을 안전하게 보관하도록 가이드하는 일례를 설명하기 위한 도면이다.
도 7을 참조하면, 물건 낙하 감지 장치는 차량 내 물건의 이동 및 물건의 형태를 중 적어도 하나를 고려하여, 상기 물건이 낙하할 것으로 예측되면, 상기 물건이 낙하하기 전에, 물건을 안전한 장소에 보관하도록 제안할 수 있다.
예컨대, 물건 낙하 감지 장치는 주행하는 차량 내부를 주기적으로 촬영하여 영상을 생성하고, 상기 영상으로부터 '핸드폰'(701)이 추출되면, '핸드폰'(701)을 트래킹하여, '핸드폰'(701)의 이동을 확인할 수 있다. 이때, 물건 낙하 감지 장치는 '핸드폰'(701)이 설정치(예컨대, 10㎝) 이상 이동하거나, 또는 '핸드폰'(701)이 선반(702)의 가장자리(선반의 테두리와 일정 간격 이내의 영역)에 위치하는 경우, '핸드폰'(701)이 낙하할 것으로 예측할 수 있다. 이에 따라, 물건 낙하 감지 장치는 '핸드폰'(701)이 낙하하기 전에, '핸드폰'(701)이 낙하하지 않을 것으로 판단되는 세이프 영역 예컨대, 좌석시트 사이의 수납장(703)으로 물건의 이동을 제안 함으로써, 물건의 낙하를 애초에 방지하여, 물건이 손상되지 않게 한다. 이때, 물건 낙하 감지 장치는 상기 차량 내 스피커를 통해, 예컨대, '핸드폰이 낙하할 가능성이 있습니다. 안전 영역인 수납장으로 이동해주세요'의 물건에 대한 이동 제안 메시지를 출력할 수 있다.
도 8은 본 발명의 일 실시예에 따른 물건 낙하 감지 장치에서, 차량 내 낙하한 물건에서 제공하는 서비스를 제어하는 일례를 설명하기 위한 도면이다.
도 8를 참조하면, 물건 낙하 감지 장치는 차량 내부에서 낙하한 물건이, 상기 차량 내 컴포넌트와 근거리 무선 통신으로 연결된 상태인지를 확인할 수 있다. 예컨대, 물건 낙하 감지 장치는 차량 내부에서 '무선 이어폰'(801)이 낙하하면, 낙하한 '무선 이어폰'(801)으로 식별정보를 요청하고, 상기 요청에 대한 응답으로서, '무선 이어폰'(801)으로부터 수신한 '무선 이어폰'(801)의 식별정보와 차량 내 컴포넌트 예컨대, 디스플레이부(802)(또는, AVN 화면)에서 연결된 장치의 식별정보가 일치하면, '무선 이어폰'(801)과 차량 내 디스플레이부(802)가 근거리 무선 통신으로 연결된 것으로 확인할 수 있다.
물건 낙하 감지 장치는 상기 확인 결과, 상기 낙하한 물건이, 상기 차량 내 디스플레이부(802)와 근거리 무선 통신으로 연결된 상태인 경우, 낙하한 '무선 이어폰'(801) 및 차량 내 디스플레이부(802)에서의 서비스 제공(예컨대, 동영상 플레이)을 일시 정지시키고, '무선 이어폰'(801)이 상기 탑승자에 의해 습득된 경우, 상기 서비스를 연이어 제공하도록 '무선 이어폰'(801) 및 차량 내 디스플레이부(802)를 제어할 수 있다. 즉, 물건 낙하 감지 장치는 서비스를 제공하던 '무선 이어폰'(801)이 낙하한 경우, 탑승자가 상기 서비스를 정상적으로 제공받지 못함에 따라, '무선 이어폰'(801) 및 차량 내 디스플레이부(802)에서 제공하는 서비스를 일시 정지시키고, 탑승자가 낙하한 '무선 이어폰'(801)을 습득 함에 따라, 서비스를 정상적으로 제공받을 수 있게 되면, '무선 이어폰'(801) 및 차량 내 디스플레이부(802)에서의 서비스 제공을 재개할 수 있다.
도 9는 본 발명의 일 실시예에 따른 물건 낙하 감지 방법을 나타내는 흐름도이다.
도 9를 참조하면, 단계 S901에서, 물건 낙하 감지 장치는 탑승자(예컨대, 운전자, 동승자)와 물건이 존재하는 차량 내부를 주기적으로 촬영하여 영상을 생성할 수 있다. 이때, 물건 낙하 감지 장치는 내부의 카메라 또는 기존에 차량의 내부에 설치된 카메라를 통해, 탑승자와 물건이 존재하는 차량 내부를 설정된 주기(예컨대, 1초) 마다 촬영하여 영상(예컨대, 2D, 3D 이미지)을 생성할 수 있다.
물건 낙하 감지 장치는 카메라를 통해 생성되는 영상으로부터, 사람 및 물건을 인지하도록 훈련된 심층 신경망을 이용하여, 탑승자 및 물건을 추출할 수 있다. 이때, 물건 낙하 감지 장치는 상기 물건 추출시, 상기 물건의 종류(예컨대, 쓰레기, 지갑, 스마트폰, 무선 이어폰 등) 또한, 추출할 수 있다. 여기서, 물건 낙하 감지 장치는 상기 물건으로서, 예컨대, 상기 차량 내 컴포넌트와 근거리 무선 통신이 가능한 스마트폰, 무선 이어폰, 태블릿 PC 및 노트북 중 어느 하나의 기기가 추출될 경우, 상기 물건을 통신 기기로 확인할 수 있다.
물건 낙하 감지 장치는 상기 영상으로부터 탑승자 및 물건이 추출되면, 상기 탑승자의 움직임(예컨대, 상체, 얼굴 방향, 팔의 좌표 변화) 및 상기 물건의 이동을 트래킹할 수 있다. 이때, 물건 낙하 감지 장치는 예컨대, 골격화 알고리즘을 이용하여, 상기 영상으로부터 탑승자의 팔, 다리, 머리, 얼굴 등의 움직임 거리 및 방향을 검출 함으로써, 탑승자의 움직임을 트래킹할 수 있다. 또한, 물건 낙하 감지 장치는 예컨대, 물건 감지 알고리즘을 이용하여, 상기 영상으로부터 물건의 이동 거리 및 방향을 검출 함으로써, 물건의 이동을 트래킹할 수 있다.
물건 낙하 감지 장치는 상기 트래킹한 물건의 이동 및 형태 중 적어도 하나에 기초하여, 상기 트래킹한 물건에 대한 낙하 여부를 예측할 수 있다. 이때, 물건 낙하 감지 장치는 상기 트래킹한 물건이 낙하할 것으로 예측되면, 상기 트래킹한 물건이 낙하하기 전에, 상기 트래킹한 물건이 낙하하지 않을 것으로 판단되는 세이프 영역으로 상기 물건의 이동을 차량 내 컴포넌트(또는, 내부 디스플레이부)를 통해 제안 함으로써, 물건의 낙하를 방지할 수 있다. 예컨대, 물건 낙하 감지 장치는 상기 물건이 설정치 이상으로 이동하거나(흔들림), 또는 상기 물건의 형태가 원형(또는, 원기둥)일 경우, 상기 물건이 낙하할 것으로 예측할 수 있다. 이때, 물건 낙하 감지 장치는 상기 세이프 영역으로서, 예컨대, 차량 내 수납장, 컵 홀더 홈 영역을 결정하고, 상기 결정된 세이프 영역으로 물건의 이동을 제안하여, 물건을 온전한 상태로 보관할 수 있게 한다. 이때, 물건 낙하 감지 장치는 상기 차량 내 컴포넌트(예컨대, 스피커, AVN 화면) 또는 내부 디스플레이부를 통해, 상기 세이프 영역으로의 물건 이동을 제안할 수 있다.
또한, 물건 낙하 감지 장치는 상기 트래킹 결과, 상기 물건이 설정된 거리 이상 아래로 떨어지거나, 또는 상기 차량의 바닥으로 떨어진 경우, 상기 물건이 낙하한 것으로 판단할 수 있다. 즉, 물건 낙하 감지 장치는 예컨대, 거치대, 좌석시트, 탑승자의 손에서 상기 물건이 분리 또는 이동되어, 설정된 거리 이상 아래로 떨어지거나 바닥에 떨어지는 경우, 상기 물건이 낙하한 것으로 판단할 수 있다.
상기 탑승자가 물건을 소지하고 있을 때에는, 물건 낙하 감지 장치는 상기 트래킹 결과, 상기 탑승자의 손과 상기 물건의 거리가 설정된 간격 이상 이격되고, 상기 물건이 설정된 거리 이상 아래로 떨어지는 경우, 상기 물건이 낙하한 것으로 판단할 수 있다. 즉, 물건 낙하 감지 장치는 물건이 떨어지는 거리 외에, 탑승자의 손에서 물건이 분리되었는지를 더 확인하여, 물건의 낙하 여부를 판단할 수 있다.
단계 S902에서, 물건 낙하 감지 장치는 영상에 기초하여, 차량 내부에서 물건이 낙하한 것으로 판단되는 경우, 상기 영상에 기초하여 낙하한 물건의 위치를 확인할 수 있다. 이때, 물건 낙하 감지 장치는 상기 탑승자의 팔, 다리 및 손의 길이 중 적어도 하나를 포함하는 상기 탑승자의 신체조건에 기초하여, 상기 탑승자가 상기 물건을 습득할 수 있는 범위(탑승자의 손 또는 발이 접근 가능한 위치)를 설정하고, 낙하한 물건의 위치가, 상기 설정된 범위를 벗어났는지를 확인할 수 있다.
단계 S903에서, 물건 낙하 감지 장치는 낙하한 물건의 위치가, 탑승자가 상기 낙하한 물건을 습득할 수 있는 범위를 벗어난 경우, 단계 S904에서, 상기 차량 내 탑승자의 좌석시트를 조정할 수 있다. 이때, 물건 낙하 감지 장치는 상기 낙하한 물건의 위치 및 상기 탑승자의 신체조건에 기초하여, 상기 탑승자의 손 또는 발이 상기 낙하한 물건의 위치에 닿을 수 있는 거리까지 상기 차량 내 탑승자의 좌석시트의 위치, 높이 및 각도 중 적어도 하나를 조정할 수 있다. 상기 탑승자의 좌석시트 조정시, 물건 낙하 감지 장치는 상기 낙하한 물건의 위치에 기초하여, 상기 물건이 손상되지 않는 범위 내에서 상기 탑승자의 좌석시트의 조정범위를 제한 함으로써, 조정되는 좌석시트에 의해, 물건이 손상되는 것을 방지할 수 있다.
한편, 물건 낙하 감지 장치는 상기 탑승자의 좌석시트 조정 전에, 물건에 대한 탑승자의 탐색 여부를 확인할 수 있으며, 탑승자가 물건을 탐색하는 것으로 확인되면, 상기 차량 내 탑승자의 좌석시트를 조정 함으로써, 탑승자가 물건을 습득할 의사가 있을 때, 좌석시트를 움직일 수 있다. 이때, 물건 낙하 감지 장치는 카메라에 의해 생성되는 영상 내 탑승자의 움직임 트래킹 결과에 기초하여, 상기 탑승자가 고개를 숙이고 있는지를 판단하고, 상기 탑승자가 고개를 숙이고 있는 것으로 판단되면, 상기 탑승자가 상기 물건을 탐색하는 것으로 확인할 수 있다.
또한, 물건 낙하 감지 장치는 상기 낙하한 물건의 위치가 상기 탑승자가 상기 물건을 습득할 수 있는 범위를 벗어난 경우, 상기 차량 내에 설치된 도구(예컨대, 무선 청소기)를 이용하여 상기 낙하한 물건을 습득할 수 있는 범위로 이동시킬 수 있다. 다른 일례로서, 물건 낙하 감지 장치는 상기 낙하한 물건이 상기 습득할 수 있는 범위로 이동되도록 상기 차량의 주행방향 또는 상기 차량의 속도를 변경하거나, 또는 차량 내 컴포넌트(또는, 내부 디스플레이부)를 통해, 변경하도록 안내할 수 있다. 예컨대, 물건 낙하 감지 장치는 낙하한 물건의 위치가, 습득할 수 있는 범위를 기준으로 우측인 경우, 상기 도구를 이용하여, 낙하한 물건을 좌측으로 이동시키거나, 또는 차량의 주행 방향을 우회전(또는, 우측으로의 차선변경)시킴으로써, 상기 낙하한 물건을 상기 습득할 수 있는 범위로 이동시킬 수 있다.
한편, 물건 낙하 감지 장치는 상기 단계 S903에서, 낙하한 물건의 위치가, 탑승자가 상기 낙하한 물건을 습득할 수 있는 범위에 포함되는 경우, 상기 단계 S904를 생략할 수 있다.
이후, 물건 낙하 감지 장치는 상기 낙하한 물건에 대한 탑승자의 습득 여부를 확인할 수 있다. 구체적으로, 물건 낙하 감지 장치는 카메라에서 주기적으로 생성되는 영상 내 탑승자 및 물건에 대한 트래킹 결과, 탑승자의 손과 상기 낙하한 물건이 접촉하고, 상기 낙하한 물건이 설정된 거리 이상 위로 올라가는 경우, 상기 탑승자가 상기 낙하한 물건을 습득한 것으로 판단할 수 있다.
단계 S905에서, 물건 낙하 감지 장치는 탑승자가 낙하한 물건을 습득하지 않은 것으로 확인되는 경우, 단계 S906에서, 낙하한 물건을 습득할 수 있는 시점을 가이드할 수 있다. 즉, 물건 낙하 감지 장치는 안정적인 주행 환경일 때, 상기 차량 내부에서 낙하한 물건을 습득하도록 알려주거나, 불안정적인 주행 환경이 예상될 때, 상기 차량 내부에서 낙하한 물건을 미리 습득하도록 알려 줌으로써, 물건을 습득할 수 있는 시점을 가이드할 수 있다. 구체적으로, 물건 낙하 감지 장치는 상기 차량이 정차하거나, 설정된 속도 미만으로 주행하는 구간에서 상기 낙하한 물건의 습득을 제안할 수 있다. 또한, 물건 낙하 감지 장치는 상기 차량의 내비게이션 정보에 기초하여, 설정된 시간 내에 급커브 또는 불규칙한 노면의 도로를 주행할 것으로 예상되거나, 상기 차량의 급감속 또는 급가속이 예상되는 경우, 상기 낙하한 물건의 즉시 습득을 제안할 수 있다.
또한, 물건 낙하 감지 장치는 상기 낙하한 물건이 상기 탑승자에 의해 습득되지 않은 것으로 확인된 상태에서, 상기 낙하한 물건이 손상되는 범위로의 상기 좌석시트에 대한 조정 명령이 입력되면, 상기 좌석시트에 대한 조정을 제한하고, 상기 낙하한 물건의 습득을 제안할 수 있다. 즉, 물건 낙하 감지 장치는 상기 좌석시트에 대한 조정 명령이 입력되면, 상기 조정 명령에 대응하여 조정되는 좌석시트의 이동범위가, 상기 낙하한 물건의 위치를 포함하는지를 판단하고, 상기 좌석시트의 이동범위가 상기 낙하한 물건의 위치를 포함하는 것으로 판단되면, 상기 좌석시트의 조정이 상기 낙하한 물건을 손상시킬 수 있는 것으로 결정하여, 상기 좌석시트에 대한 조정을 제한하고, 차량 내 컴포넌트(또는, 내부 디스플레이부)를 통해, 상기 낙하한 물건의 습득을 권고할 수 있다.
또한, 물건 낙하 감지 장치는 낙하한 물건에 대한 습득 필요 여부를 판단하고, 상기 낙하한 물건이 습득 불필요한 것으로 판단되는 경우, 상기 물건의 위치 제공 및 상기 탑승자의 좌석시트 조정을 제한할 수 있다. 여기서, 물건 낙하 감지 장치는 상기 낙하한 물건의 종류가, 설정된 리스트에 포함되는지에 따라, 상기 낙하한 물건에 대한 습득 필요 여부를 판단하거나, 또는 상기 낙하한 물건의 이미지에, 상기 탑승자에게 필요한 물건인지를 판단하도록 훈련된 심층 신경망 모델을 적용하여, 상기 낙하한 물건에 대한 습득 필요 여부를 판단할 수 있다.
또한, 물건 낙하 감지 장치는 상기 판단 결과, 상기 낙하한 물건이 습득 불필요한 것으로 판단되는 경우, 상기 차량 내 도구를 이용하여, 상기 습득 불필요한 물건을 제거할 수 있다.
물건 낙하 감지 장치는 상기 낙하한 물건이, 상기 차량 내 컴포넌트와 근거리 무선 통신 연결이 가능한 통신 기기인 경우, 상기 낙하한 물건이, 상기 차량 내 컴포넌트와 근거리 무선 통신으로 연결된 상태인지를 확인할 수 있다. 구체적으로, 물건 낙하 감지 장치는 낙하한 물건으로 식별정보를 요청하고, 상기 요청에 대한 응답으로서, 상기 물건으로부터 수신한 물건의 식별정보와 차량 내 컴포넌트에서 연결된 장치의 식별정보가 일치하면, 상기 물건과 상기 컴포넌트가 근거리 무선 통신으로 연결된 것으로 확인할 수 있다.
물건 낙하 감지 장치는 상기 확인 결과, 상기 낙하한 물건이, 상기 차량 내 컴포넌트와 근거리 무선 통신으로 연결된 상태인 경우, 상기 낙하한 물건 및 상기 컴포넌트에서의 서비스(예컨대, 동영상, 게임 플레이) 제공을 일시 정지시키고, 상기 물건이 상기 탑승자에 의해 습득된 경우, 상기 서비스를 연이어 제공하도록 상기 물건 및 상기 컴포넌트를 제어할 수 있다. 즉, 물건 낙하 감지 장치는 서비스를 제공하던 물건이 낙하한 경우, 탑승자가 상기 서비스를 정상적으로 제공받지 못함에 따라, 상기 물건 및 상기 컴포넌트에서 제공하는 서비스를 일시 정지시키고, 탑승자가 낙하한 물건을 습득 함에 따라, 서비스를 정상적으로 제공받을 수 있게 되면, 상기 물건 및 상기 컴포넌트에서의 서비스 제공을 재개할 수 있다.
또한, 물건 낙하 감지 장치는 차량의 주행이 종료되면, 낙하한 물건에 대한 탑승자의 습득 여부를 다시 확인할 수 있으며, 탑승자가 낙하한 물건을 습득하지 않은 경우, 낙하한 물건에 대한 알림 정보(예컨대, 물건이 바닥에 떨어졌음)를 상기 차량 내 컴포넌트를 통해 제공 함으로써, 낙하한 물건을 차량에 방치시키지 않게 한다.
이상 설명된 본 발명에 따른 실시 예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.
한편, 상기 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.
본 발명의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다.
본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.
100: 물건 낙하 감지 장치
101: 촬영부
102: 확인부
103: 제어부
104: 디스플레이부
105: 통신부

Claims (20)

  1. 차량 내 물건의 낙하를 감지하는 장치로서,
    탑승자와 물건이 존재하는 차량 내부를 주기적으로 촬영하여 영상을 생성하는 촬영부;
    상기 영상에 기초하여 상기 차량 내부에서 물건이 낙하한 것으로 판단되는 경우, 상기 영상에 기초하여 상기 낙하한 물건의 위치를 확인하는 확인부; 및
    상기 낙하한 물건의 위치를 상기 차량 내 컴포넌트(component)를 통해 제공하고, 상기 낙하한 물건의 위치 및 상기 탑승자의 신체조건에 기초하여, 상기 차량 내 탑승자의 좌석시트를 조정하는 제어부를 포함하는,
    물건 낙하 감지 장치.
  2. 제1항에 있어서,
    상기 제어부는,
    상기 탑승자의 팔, 다리 및 손의 길이 중 적어도 하나를 포함하는 상기 탑승자의 신체조건에 기초하여, 상기 탑승자가 상기 물건을 습득할 수 있는 범위를 설정하고, 상기 물건의 위치가 상기 설정된 범위를 벗어난 경우, 상기 탑승자의 좌석시트의 위치, 높이 및 각도 중 적어도 하나를 조정하는,
    물건 낙하 감지 장치.
  3. 제1항에 있어서,
    상기 확인부는,
    상기 영상으로부터 상기 물건이 추출되면, 상기 물건의 이동을 트래킹(tracking)하고,
    상기 트래킹 결과, 상기 물건이 설정된 거리 이상 아래로 떨어지거나, 또는 상기 차량의 바닥으로 떨어진 경우, 상기 물건이 낙하한 것으로 판단하는,
    물건 낙하 감지 장치.
  4. 제1항에 있어서,
    상기 제어부는,
    상기 낙하한 물건의 위치에 기초하여, 상기 물건이 손상되지 않는 범위 내에서 상기 탑승자의 좌석시트의 조정범위를 제한하는,
    물건 낙하 감지 장치.
  5. 제1항에 있어서,
    상기 확인부는,
    상기 영상으로부터 추출되는 물건의 이동을 트래킹하고,
    상기 제어부는,
    상기 트래킹한 물건의 이동 및 형태 중 적어도 하나에 기초하여, 상기 트래킹한 물건이 낙하할 것으로 예측되면, 상기 트래킹한 물건이 낙하하기 전에, 상기 트래킹한 물건이 낙하하지 않을 것으로 판단되는 세이프 영역으로 상기 물건의 이동을 제안하는,
    물건 낙하 감지 장치.
  6. 제1항에 있어서,
    상기 제어부는,
    상기 차량이 정차하거나, 설정된 속도 미만으로 주행하는 구간에서 상기 낙하한 물건의 습득을 제안하거나, 또는
    상기 차량의 내비게이션 정보에 기초하여, 설정된 시간 내에 급커브 또는 불규칙한 노면의 도로를 주행할 것으로 예상되거나, 상기 차량의 급감속 또는 급가속이 예상되는 경우, 상기 낙하한 물건의 즉시 습득을 제안하는,
    물건 낙하 감지 장치.
  7. 제1항에 있어서,
    상기 낙하한 물건이, 상기 차량 내 컴포넌트와 근거리 무선 통신 연결이 가능한 통신 기기인 경우,
    상기 제어부는,
    상기 물건과 상기 차량 내 컴포넌트가 연결된 상태인지를 판단하고, 상기 판단 결과, 연결된 상태인 경우, 상기 낙하한 물건 및 상기 컴포넌트에서의 서비스 제공을 일시 정지시키고,
    상기 물건이 상기 탑승자에 의해 습득된 경우, 상기 서비스를 연이어 제공하도록 상기 물건 및 상기 컴포넌트를 제어하는,
    물건 낙하 감지 장치.
  8. 제1항에 있어서,
    상기 확인부는,
    상기 촬영부에 의해 주기적으로 생성되는 영상으로부터 상기 낙하한 물건에 대한 탑승자의 습득 여부를 확인하고,
    상기 제어부는,
    상기 낙하한 물건이 상기 탑승자에 의해 습득되지 않은 것으로 확인된 상태에서, 상기 낙하한 물건이 손상되는 범위로의 상기 좌석시트에 대한 조정 명령이 입력되면, 상기 좌석시트에 대한 조정을 제한하고, 상기 낙하한 물건의 습득을 제안하는,
    물건 낙하 감지 장치.
  9. 제1항에 있어서,
    상기 낙하한 물건의 위치가 상기 탑승자가 상기 물건을 습득할 수 있는 범위를 벗어난 경우,
    상기 제어부는,
    상기 차량 내에 설치된 도구를 이용하여 상기 낙하한 물건을 습득할 수 있는 범위로 이동시키거나, 또는 상기 낙하한 물건이 상기 습득할 수 있는 범위로 이동되도록 상기 차량의 주행방향 또는 상기 차량의 속도를 변경하는,
    물건 낙하 감지 장치.
  10. 제1항에 있어서,
    상기 확인부는,
    상기 낙하한 물건의 이미지에 상기 탑승자에게 필요한 물건인지를 판단하도록 훈련된 심층 신경망 모델을 적용하여, 상기 낙하한 물건에 대한 습득 필요 여부를 판단하고,
    상기 제어부는,
    상기 낙하한 물건이 습득 불필요한 것으로 판단되는 경우, 상기 물건의 위치 제공 및 상기 탑승자의 좌석시트 조정을 제한하는,
    물건 낙하 감지 장치.
  11. 제10항에 있어서,
    상기 낙하한 물건이 습득 불필요한 것으로 판단되는 경우,
    상기 제어부는,
    상기 차량 내 도구를 이용하여, 상기 습득 불필요한 물건을 제거하는,
    물건 낙하 감지 장치.
  12. 제1항에 있어서,
    상기 낙하한 물건의 위치를 디스플레이하는 디스플레이부를 더 포함하는,
    물건 낙하 감지 장치.
  13. 차량 내 물건의 낙하를 감지하는 방법으로서,
    탑승자와 물건이 존재하는 차량 내부를 주기적으로 촬영하여 영상을 생성하는 단계;
    상기 영상에 기초하여 상기 차량 내부에서 물건이 낙하한 것으로 판단되는 경우, 상기 영상에 기초하여 상기 낙하한 물건의 위치를 확인하는 단계; 및
    상기 낙하한 물건의 위치를 상기 차량 내 컴포넌트를 통해 제공하고, 상기 낙하한 물건의 위치 및 상기 탑승자의 신체조건에 기초하여, 상기 차량 내 상기 탑승자의 좌석시트를 조정하는 단계를 포함하는,
    물건 낙하 감지 방법.
  14. 제13항에 있어서,
    상기 탑승자의 좌석시트를 조정하는 단계는,
    상기 탑승자의 팔, 다리 및 손의 길이 중 적어도 하나를 포함하는 상기 탑승자의 신체조건에 기초하여, 상기 탑승자가 상기 물건을 습득할 수 있는 범위를 설정하고, 상기 물건의 위치가 상기 설정된 범위를 벗어난 경우, 상기 탑승자의 좌석시트의 위치, 높이 및 각도 중 적어도 하나를 조정하는 단계를 포함하는,
    물건 낙하 감지 방법.
  15. 제13항에 있어서,
    상기 물건 낙하 감지 방법은,
    상기 영상으로부터 상기 물건이 추출되면, 상기 물건의 이동을 트래킹하고, 상기 트래킹 결과, 상기 물건이 설정된 거리 이상 아래로 떨어지거나, 또는 상기 차량의 바닥으로 떨어진 경우, 상기 물건이 낙하한 것으로 판단하는 단계를 더 포함하는,
    물건 낙하 감지 방법.
  16. 제13항에 있어서,
    상기 물건 낙하 감지 방법은,
    상기 영상으로부터 추출되는 물건의 이동을 트래킹하는 단계; 및
    상기 트래킹한 물건의 이동 및 형태 중 적어도 하나에 기초하여, 상기 트래킹한 물건이 낙하할 것으로 예측되면, 상기 트래킹한 물건이 낙하하기 전에, 상기 트래킹한 물건이 낙하하지 않을 것으로 판단되는 세이프 영역으로 상기 트래킹한 물건의 이동을 제안하는 단계를 더 포함하는,
    물건 낙하 감지 방법.
  17. 제13항에 있어서,
    상기 물건 낙하 감지 방법은,
    상기 차량이 정차하거나, 설정된 속도 미만으로 주행하는 구간에서 상기 낙하한 물건의 습득을 제안하는 단계; 또는
    상기 차량의 내비게이션 정보에 기초하여, 설정된 시간 내에 급커브 또는 불규칙한 노면의 도로를 주행할 것으로 예상되거나, 상기 차량의 급감속 또는 급가속이 예상되는 경우, 상기 낙하한 물건의 즉시 습득을 제안하는 단계를 더 포함하는,
    물건 낙하 감지 방법.
  18. 제13항에 있어서,
    상기 물건 낙하 감지 방법은,
    상기 낙하한 물건이, 상기 차량 내 컴포넌트와 근거리 무선 통신 연결이 가능한 통신 기기인 경우,
    상기 물건과 상기 차량 내 컴포넌트가 연결된 상태인지를 판단하고, 상기 판단 결과, 연결된 상태인 경우, 상기 낙하한 물건 및 상기 컴포넌트에서의 서비스 제공을 일시 정지시키는 단계; 및
    상기 물건이 상기 탑승자에 의해 습득된 경우, 상기 서비스를 연이어 제공하도록 상기 물건 및 상기 컴포넌트를 제어하는 단계를 더 포함하는
    물건 낙하 감지 방법.
  19. 제13항에 있어서,
    상기 물건 낙하 감지 방법은,
    주기적으로 생성되는 영상으로부터 상기 낙하한 물건에 대한 탑승자의 습득 여부를 확인하는 단계; 및
    상기 낙하한 물건이 상기 탑승자에 의해 습득되지 않은 것으로 확인된 상태에서, 상기 낙하한 물건이 손상되는 범위로의 상기 좌석시트에 대한 조정 명령이 입력되면, 상기 좌석시트에 대한 조정을 제한하고, 상기 낙하한 물건의 습득을 제안하는 단계를 더 포함하는,
    물건 낙하 감지 방법.
  20. 제13항에 있어서,
    상기 물건 낙하 감지 방법은,
    상기 낙하한 물건의 이미지에 상기 탑승자에게 필요한 물건인지를 판단하도록 훈련된 심층 신경망 모델을 적용하여, 상기 낙하한 물건에 대한 습득 필요 여부를 판단하는 단계; 및
    상기 낙하한 물건이 습득 불필요한 것으로 판단되는 경우, 상기 물건의 위치 제공 및 상기 탑승자의 좌석시트 조정을 제한하는 단계를 더 포함하는,
    물건 낙하 감지 방법.
KR1020190101906A 2019-08-20 2019-08-20 물건 낙하 감지 장치 및 방법 KR102267184B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190101906A KR102267184B1 (ko) 2019-08-20 2019-08-20 물건 낙하 감지 장치 및 방법
US16/575,320 US11062157B2 (en) 2019-08-20 2019-09-18 Apparatus and method for detecting falling object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190101906A KR102267184B1 (ko) 2019-08-20 2019-08-20 물건 낙하 감지 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20190104473A true KR20190104473A (ko) 2019-09-10
KR102267184B1 KR102267184B1 (ko) 2021-06-21

Family

ID=67950921

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190101906A KR102267184B1 (ko) 2019-08-20 2019-08-20 물건 낙하 감지 장치 및 방법

Country Status (2)

Country Link
US (1) US11062157B2 (ko)
KR (1) KR102267184B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110539670A (zh) * 2019-09-25 2019-12-06 恒大新能源汽车科技(广东)有限公司 车辆座椅调节方法、装置及车载终端、计算机存储介质
CN111634289A (zh) * 2020-05-07 2020-09-08 中国第一汽车股份有限公司 车辆部件调整方法、装置、终端和存储介质

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200133308A1 (en) * 2018-10-18 2020-04-30 Cartica Ai Ltd Vehicle to vehicle (v2v) communication less truck platooning
DE102020125834A1 (de) * 2019-10-04 2021-04-08 Lear Corporation System mit entfernbaren komponenten
US11130446B2 (en) * 2019-10-15 2021-09-28 Robert Bosch Gmbh System to detect objects ejected from a vehicle
US11928789B2 (en) * 2019-12-19 2024-03-12 Zf Friedrichshafen Ag Vehicle vision system
KR20210133511A (ko) * 2020-04-29 2021-11-08 현대자동차주식회사 탑승자 서비스 제공 장치 및 그의 제어 방법
US11223928B1 (en) * 2020-10-15 2022-01-11 Toyota Motor Engineering & Manufacturing North America, Inc. Unsecured object detection and alert
CN112577474B (zh) * 2020-12-28 2022-03-22 湖南师范大学 一种基于视频图像的目标检测装置
FR3136421A1 (fr) * 2022-06-08 2023-12-15 Psa Automobiles Sa Procédé et dispositif de contrôle d’ouverture d’une porte de coffre d’un véhicule pour prévenir la chute d’un objet

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002166379A (ja) * 2000-09-19 2002-06-11 Toyota Motor Corp 移動体搭載用ロボット及びこれを搭載した移動体
JP2009297892A (ja) * 2000-09-19 2009-12-24 Toyota Motor Corp 移動体搭載用のロボット及びこれを搭載した移動体
KR20120005732U (ko) 2011-02-01 2012-08-09 영 섭 신 차량용 핸드폰 거치대
KR20180092409A (ko) * 2017-02-09 2018-08-20 현대자동차주식회사 차량 시트와 센터페시아 사이의 낙하물 유도수거 장치
JP6450852B2 (ja) * 2015-09-17 2019-01-09 株式会社日立国際電気 落下物検知追跡システム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160318424A1 (en) * 2015-04-28 2016-11-03 Lear Corporation Easy entry seat assembly having an object detection feature
JP2017191562A (ja) * 2016-04-15 2017-10-19 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002166379A (ja) * 2000-09-19 2002-06-11 Toyota Motor Corp 移動体搭載用ロボット及びこれを搭載した移動体
JP2009297892A (ja) * 2000-09-19 2009-12-24 Toyota Motor Corp 移動体搭載用のロボット及びこれを搭載した移動体
KR20120005732U (ko) 2011-02-01 2012-08-09 영 섭 신 차량용 핸드폰 거치대
JP6450852B2 (ja) * 2015-09-17 2019-01-09 株式会社日立国際電気 落下物検知追跡システム
KR20180092409A (ko) * 2017-02-09 2018-08-20 현대자동차주식회사 차량 시트와 센터페시아 사이의 낙하물 유도수거 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110539670A (zh) * 2019-09-25 2019-12-06 恒大新能源汽车科技(广东)有限公司 车辆座椅调节方法、装置及车载终端、计算机存储介质
CN111634289A (zh) * 2020-05-07 2020-09-08 中国第一汽车股份有限公司 车辆部件调整方法、装置、终端和存储介质

Also Published As

Publication number Publication date
US20200012871A1 (en) 2020-01-09
KR102267184B1 (ko) 2021-06-21
US11062157B2 (en) 2021-07-13

Similar Documents

Publication Publication Date Title
KR102267184B1 (ko) 물건 낙하 감지 장치 및 방법
AU2016355605B2 (en) Controlling autonomous vehicles in connection with transport services
KR20190102150A (ko) 물체 낙하 감지 장치 및 방법
CN111183428B (zh) 识别自动驾驶车辆的分配的乘客
US9975483B1 (en) Driver assist using smart mobile devices
US20210138654A1 (en) Robot and method for controlling the same
JP6188795B2 (ja) 車載器、サーバ装置および走行状態制御方法
US20200004261A1 (en) Autonomous vehicle and a control method thereof
US20180229654A1 (en) Sensing application use while driving
JP2017135601A (ja) 車両周囲監視装置、監視システム、遠隔監視装置及び監視方法
CN108407671A (zh) 车辆系统、车辆控制方法及存储车辆控制程序的介质
KR20190086406A (ko) 광고 구간 설정 장치 및 방법
CN109781124A (zh) 一种无人机救援方法、装置、无人机及车辆
KR20150098071A (ko) 차선 분석을 위한 방법, 이를 위한 장치 및 시스템
CN110087450A (zh) 工作系统以及工作方法
JPWO2020157531A1 (ja) 乗車許可判断装置及び乗車許可判断方法
KR20200009986A (ko) 차량용 로봇 및 상기 로봇의 제어 방법
US11334094B2 (en) Method for maintaining stability of mobile robot and mobile robot thereof
JP7137151B2 (ja) 運行制御装置及び車両
JP2023151177A (ja) 移動体の制御装置、移動体の制御方法、プログラム及び記憶媒体
KR20210064878A (ko) 차량 인테리어 제어 장치 및 방법
JP6619316B2 (ja) 駐車位置探索方法、駐車位置探索装置、駐車位置探索プログラム及び移動体
CN114691979A (zh) 信息提供装置、信息提供方法及存储介质
CN113641172A (zh) 自主移动设备、回充方法及存储介质
KR20200133850A (ko) 자율 주행 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant