KR20210149476A - 자동차 및 그를 위한 실내 청결 관리 방법 - Google Patents

자동차 및 그를 위한 실내 청결 관리 방법 Download PDF

Info

Publication number
KR20210149476A
KR20210149476A KR1020200066564A KR20200066564A KR20210149476A KR 20210149476 A KR20210149476 A KR 20210149476A KR 1020200066564 A KR1020200066564 A KR 1020200066564A KR 20200066564 A KR20200066564 A KR 20200066564A KR 20210149476 A KR20210149476 A KR 20210149476A
Authority
KR
South Korea
Prior art keywords
indoor
cleanliness
vehicle
pollution
detection
Prior art date
Application number
KR1020200066564A
Other languages
English (en)
Inventor
박민재
우승현
아나스타샤 야리지나
에드빈 에릭센
Original Assignee
현대자동차주식회사
기아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사 filed Critical 현대자동차주식회사
Priority to KR1020200066564A priority Critical patent/KR20210149476A/ko
Priority to US17/109,518 priority patent/US11408833B2/en
Priority to CN202011580499.XA priority patent/CN113758940A/zh
Publication of KR20210149476A publication Critical patent/KR20210149476A/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/30Transportation; Communications
    • G06Q50/40
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01MTESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M17/00Testing of vehicles
    • G01M17/007Wheeled or endless-tracked vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/314Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry with comparison of measurements at specific and non-specific wavelengths
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/94Investigating contamination, e.g. dust
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/0001Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00 by organoleptic means
    • G06K9/00832
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60SSERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S3/00Vehicle cleaning apparatus not integral with vehicles
    • B60S3/008Vehicle cleaning apparatus not integral with vehicles for interiors of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/94Investigating contamination, e.g. dust
    • G01N2021/945Liquid or solid deposits of macroscopic size on surfaces, e.g. drops, films, or clustered contaminants
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/02Mechanical
    • G01N2201/021Special mounting in general
    • G01N2201/0216Vehicle borne

Abstract

본 발명은 실내 오염 여부를 감지하고 감지 정보를 관리할 수 있는 자동차 및 그를 위한 실내 청결 관리 방법에 관한 것이다. 본 발명의 일 실시예에 따른 차량용 실내 청결 관리 방법은, 적어도 카메라를 포함하는 오염 감지부를 통해 실내 오염을 감지하는 단계; 상기 감지의 결과를 기반으로 실내 청결도를 분석하는 단계; 및 상기 분석된 실내 청결도를 기반으로 안내 정보를 출력하는 단계를 포함하되, 상기 실내 오염을 감지하는 단계는, 실내의 감지 대상 영역 내에서 적어도 하나의 오브젝트를 검출하는 단계; 및 상기 적어도 하나의 오브젝트 각각이 검출된 영역을 제외한 상기 감지 대상 영역에서 오염 여부를 감지하는 단계를 포함할 수 있다.

Description

자동차 및 그를 위한 실내 청결 관리 방법{VEHICLE AND METHOD OF MANAGING IN-CAR CLEANLINESS FOR THE SAME}
본 발명은 실내 오염 여부를 감지하고 감지 정보를 관리할 수 있는 자동차 및 그를 위한 실내 청결 관리 방법에 관한 것이다.
차량은 이동 중 노면 환경 변화나 가감속에 의해 내부 물체에 관성이 작용하기 쉽다. 따라서, 오염을 발생시킬 수 있는 음식물 등이 쉽게 쏟아져 시트나 매트 등이 오염되기도 한다. 실내 오염이 발생할 경우 차량이 기존의 소유의 대상으로 인식되는 상황 하에서는 차량 소유자의 의지에 따라 청결 유지 여부가 크게 문제되지 않았다. 그러나, 최근 비용 부담과 효율성 관점에서 차량은 소유의 개념에서 공유의 개념이 점점 확정되고, 카 셰어링을 기반으로 하는 서비스 시장이 크게 성장할 것으로 예측되면서 실내 청결도 문제가 대두되고 있다.
즉, 카 셰어링 서비스에서는 하나의 차량을 불특정 다수가 이용하게 되면서 차량 소유자 대비 주인 의식이 약해지는 측면이 있어 사용시 실내 오염에 대한 주의가 부족해지는 경향이 있다. 그에 따라 차량 이용을 마치는 시점에서 사용 중 발생한 오염을 제거하지 않고 반납하는 경우가 빈번히 발생할 수 있으며, 다음 사용자는 실내 환경이 오염된 상태로 차량을 인도받아 사용하게 되어 서비스 불만족의 원인이 된다.
본 발명은 보다 효과적으로 실내 오염 여부를 감지하고 이를 탑승자에 알려줄 수 있는 자동차 및 그를 위한 실내 청결 관리 방법을 제공하기 위한 것이다.
또한, 본 발명은 감지된 오염 여부에 대한 정보를 기반으로 탑승자의 오염 제거를 유도할 수 있는 자동차 및 그를 위한 실내 청결 관리 방법을 제공하기 위한 것이다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 차량용 실내 청결 관리 방법은, 적어도 카메라를 포함하는 오염 감지부를 통해 실내 오염을 감지하는 단계; 상기 감지의 결과를 기반으로 실내 청결도를 분석하는 단계; 및 상기 분석된 실내 청결도를 기반으로 안내 정보를 출력하는 단계를 포함하되, 상기 실내 오염을 감지하는 단계는, 실내의 감지 대상 영역 내에서 적어도 하나의 오브젝트를 검출하는 단계; 및 상기 적어도 하나의 오브젝트 각각이 검출된 영역을 제외한 상기 감지 대상 영역에서 오염 여부를 감지하는 단계를 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 차량용 실내 청결 관리 장치는, 적어도 카메라를 포함하는 오염 감지부; 상기 오염 감지부를 통해 획득된 정보를 기반으로 실내 오염을 판단하고, 상기 감지의 결과를 기반으로 실내 청결도를 분석하는 제어부; 및 상기 분석된 실내 청결도를 기반으로 안내 정보를 출력하는 출력부를 포함하되, 상기 제어부는 실내의 감지 대상 영역 내에서 적어도 하나의 오브젝트를 검출하고, 상기 적어도 하나의 오브젝트 각각이 검출된 영역을 제외한 상기 감지 대상 영역에서 오염 여부를 판단할 수 있다.
상기와 같이 구성되는 본 발명의 적어도 하나의 실시예에 관련된 자동차는 다양한 방식으로 실내 오염 부위를 판단하고 오염도를 분석할 수 있다.
또한, 본 발명은 감지된 오염 여부에 대한 정보를 사용자별 서비스 평판에 적용하도록 하여 탑승자의 오염 제거를 유도할 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예들에 적용될 수 있는 차량용 청결 관리 장치 구조의 일례를 나타낸다.
도 2는 본 발명의 일 실시예에 따른 실내 청결 관리 과정의 일례를 나타내는 순서도이다.
도 3은 도 2의 실내 청결도 감지 과정이 수행되는 형태의 일례를 나타내는 순서도이다.
도 4는 본 발명의 일 실시예에 따른 영상 기반 오브젝트 감지가 수행되는 형태의 일례를 나타낸다.
도 5는 본 발명의 일 실시예에 따른 영상 기반 오염 감지가 수행되는 형태의 일례를 나타낸다.
도 6은 본 발명의 일 실시예에 따른 영상 기반 오염 추적이 수행되는 형태의 일례를 나타낸다.
도 7은 본 발명의 일 실시예에 따른 청결도 기반 안내가 출력되는 형태의 일례를 나타낸다.
도 8은 본 발명의 일 실시예에 따른 오염 안내 정보 형태의 일례를 나타낸다.
도 9는 본 발명의 일 실시예에 따른 구역별 청결도 기반 안내 형태의 일례를 나타낸다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서 전체에 걸쳐서 동일한 참조번호로 표시된 부분들은 동일한 구성요소들을 의미한다.
본 발명의 일 실시예에서는 다양한 방식을 통해 차량의 실내 청결도를 감지 및 분석하고, 이를 기반으로 안내 정보의 출력이 수행되도록 할 것을 제안한다.
도 1은 본 발명의 실시예들에 적용될 수 있는 차량용 청결 관리 장치 구조의 일례를 나타낸다.
도 1을 참조하면, 실시예들에 적용될 수 있는 차량용 청결 관리 장치는 실내 오염 발생 여부를 감지하는 오염 감지부(110), 안내 정보를 출력하는 출력부(120), 차량 내부 및 외부와 데이터 교환을 위한 통신을 수행하는 통신부(130) 및 전술한 각 구성요소의 전반적인 제어를 수행하는 제어부(140)를 포함할 수 있다.
먼저, 오염 감지부(110)는 영상 정보 기반 오염 감지를 수행하기 위한 실내 영상을 획득하는 카메라(111)와 냄새를 통해 오염 여부를 감지하는 후각센서(112)를 포함할 수 있다. 카메라(111)는 오염 감지의 대상이 되는 실내 영역과 오염 감지 방식에 따라 복수의 카메라를 포함할 수도 있다. 예를 들어, 카메라의 배치 위치는 전석 주변(즉, 운전석, 조수석, 대시보드 등)을 촬영하기 위해 룸미러 부근과, 후석 주변(즉, 후석과 리어글라스 하단 영역 등)을 촬영하기 위해 루프 중앙이나 후미가 될 수 있으나, 이는 예시적인 것으로 오염 여부를 감지하고자 하는 실내 영역을 효과적으로 촬영할 수 있다면 그 위치와 개수에 제한되지 아니한다. 물론, 후각 센서(112)의 배치 위치와 개수도 한정되지 아니한다.
또한, 카메라(111)의 종류로는 후술할 오브젝트 감지와 오염 감지를 위해, 일반적인 RGB 타입 카메라, 적외선(IR) 카메라, 3D 촬영을 위한 스테레오 카메라, 분광학(Spectroscpic) 센서를 구비한 카메라 중 적어도 하나가 사용될 수 있다.
출력부(120)는 안내 정보를 다양한 형태로 출력할 수 있다. 예를 들어, 안내 정보를 시각 정보 형태로 출력하기 위해, 출력부(120)는 디스플레이를 구비할 수 있으며, 청각 정보 형태로 출력하기 위해 출력부(120)는 스피커를 구비할 수도 있다. 디스플레이는 헤드유닛의 디스플레이나 클러스터에 배치되는 디스플레이 등을 포함할 수 있으나, 안내 정보의 시각적 출력이 가능하다면 어떠한 형태의 디스플레이에도 한정되지 아니한다.
통신부(130)는 차량용 청결 관리 장치가 차량 내 다른 개체(예컨대, 제어기들)와 통신하기 위한 유선 통신부(미도시)와 해당 차량 이외의 개체(예컨대, 외부 서버, 탑승자가 소지한 스마트 기기 등)와 통신하기 위한 무선 통신부(미도시) 중 적어도 하나를 포함할 수 있다. 유선 통신부는 소정의 차량 네트워크 통신에 적용되는 하나 이상의 프로토콜, 예컨대, CAN, CAN-FD, LIN, 이더넷 등의 프로토콜을 지원할 수 있으나, 반드시 이에 한정되는 것은 아니다. 또한, 무선 통신부는 사용자가 소지한 스마트 기기 등과 통신하기 위한 근거리 통신(블루투스, Wi-Fi, Wi-Di, Zigbee, NFC 등)과, 텔레매틱스나 셀룰러 기반 통신(3G, LTE, 5G 등) 중 적어도 하나를 지원할 수 있다.
제어부(140)는 통신부(130)를 통해 차량 운행의 준비나 운행 개시를 감지하면, 오염 감지부(110)로부터 실내 청결도 판단을 위한 정보를 획득하여 청결도를 분석하고, 분석 결과에 대응되는 안내 정보가 출력부(120)를 통해 출력되도록 할 수 있다. 또한, 제어부(140)는 분석 결과에 대응되는 정보를 외부 개체, 예컨대, 카 셰어링 서비스 서버나 텔레매틱스 서버, 또는 탑승자 소지 단말 등에 통신부(130)를 통해 전송되도록 할 수도 있다.
이하에서는 전술한 차량용 청결 관리 장치의 구성을 바탕으로 실시예에 따른 실내 청결 관리 과정을 구체적으로 설명한다.
도 2는 본 발명의 일 실시예에 따른 실내 청결 관리 과정의 일례를 나타내는 순서도이다.
도 2를 참조하면, 제어부(140)는 시작 조건의 만족 여부를 판단할 수 있다(S210). 예컨대, 시작 조건은 카 셰어링 서비스 서버로부터 다음 사용자가 배정됨을 통지받거나, 이전 운행 종료 후 차문 잠금이 해제된 경우나 시동이 걸린 경우 등에 만족될 수 있으나, 반드시 이에 한정되는 것은 아니다.
시작 조건이 만족되면(S210의 Yes), 초기 환경 정보 획득이 수행될 수 있다(S220). 여기서 초기 환경 정보란 사용자가 본격적으로 차량을 사용하기 전 실내 상태에 대한 정보를 의미할 수 있다. 예를 들어, 초기 환경 정보는 차량 출고시 실내 상태에 대한 정보를 의미할 수도 있고, 마지막 사용 이후 현재 운행이 시작되기 전, 또는 현재 탑승자가 탑승한 후 오염이 발생하기 전의 실내 상태 정보를 의미할 수도 있다. 따라서, 본 단계는 카메라(111)를 통해 차량 내장재나 기본 탑재 품목의 위치, 시트나 매트의 색상 등을 판단하기 위한 영상을 얻고, 후각 센서(112)를 통해 오염 전 실내 냄새 상태를 감지하는 형태로 수행될 수 있다. 실시예에 따라, 본 단계는 카 셰어링 서비스 서버로부터 디폴트 초기 환경 정보를 획득하는 형태로 수행될 수도 있으며, 또 다른 실시예에 의하면 생략될 수도 있다.
이후 오염 감지부(111)를 통해 실내 청결도를 판단하기 위한 실내 오염 감지가 수행될 수 있으며(S230), 제어부(140)는 감지 정보를 기반으로 청결도를 분석할 수 있다(S240). 구체적인 감지 과정(S230)은 도 3 내지 도 6을 참조하여 후술하기로 하며, 청결도 분석은 아래와 같은 형태가 될 수 있다.
청결도 분석은 오염물의 분류와 위치 등을 기준으로 수행될 수 있다.
오염종류 오염크기 오염위치와색상차 물질 냄새정도
액체 30cm 이상 차이큼 점도강함 심함
고체
5_30cm 차이중간 점도약함 보통
5cm 이내 차이적음 점도없음
(건조함)
냄새없음
오염물의 분류는 표 1에 나타난 바와 같이 오염 종류, 오염 크기, 오염 위치에 초기 색상과의 색상차, 물질(점도), 냄새 정도 등과 같이 분류될 수 있으며, 각 항목별 분류에 따라 서로 다른 점수(또는 가중치)가 부여될 수 있다. 예컨대, 오염크기가 30cm 이상이며 색상 차가 크고 냄새가 심각할 경우 청결도가 크게 하락할 수 있으며, 오염 크기가 5cm 이내이고 색상 차이가 적으며 냄새가 없을 경우 청결도가 높은 것으로 판단될 수 있다.
오염부분의재질 오염발견 후 경과시간
가죽류 60분이상
천류 30~60분
플라스틱류 10~30분
금속류 10분이내
또한, 표 2와 같이 위치별로 재질을 매칭시키고, 재질에 따른 오염 시간에 따라 서로 다른 가중치가 부여되도록 할 수도 있다. 예컨대, 비교적 오염에 강한 금속류는 오염 후 경과 시간이 많이 지나더라도 청결도 하락이 크지 않을 수 있으나, 오염에 취약한 천류는 짧은 시간이 경과되더라도 청결도가 크게 하락하도록 가중치가 부여될 수 있다.
정리하면, 제어부(140)는 표 1의 대조 결과와 표 2의 대조 결과 각각에서 항목별로 아래쪽 상태로 갈 수록 높은 청결도 점수를 부여하며, 항목별 점수를 종합하여 청결도를 판단할 수 있으나, 이는 예시적인 것으로 표 1 및 표 2의 구성, 항목, 가중치 등의 변경이 가능함은 당업자에 자명하다,
제어부(140)는 청결도 분석 결과를 기반으로 실내 오염이 발생한 경우 이에 대한 안내 정보를 출력부(120)를 통해 출력할 수 있다(S250). 구체적인 안내 정보의 출력 형태는 도 7 내지 도 9를 참조하여 후술하기로 한다.
제어부(140)는 운행 종료 전까지(S260의 No) 재측정 조건의 만족 여부를 판단하여(S270), 재측정 조건 만족시(S270의 Yes) 실내 청결도를 반복적으로 감지 및 분석할 수 있다. 여기서, 재측정 조건은 마지막 청결도 분석으로부터 소정 시간이 지난 경우, 청결도 기반 안내 출력시 긴급 청소를 권한 경우, 재측정시마다 오염도가 증가하는 추세인 경우, 이전까지 감지되던 오브젝트 중 적어도 일부가 사라진 경우, 도어 오픈 등을 통해 탑승자 변동이 발생한 경우 등에 만족될 수 있으나, 반드시 이에 한정되는 것은 아니다. 만일, 재측정 조건 중 이전까지 감지되던 오브젝트(탑승자 포함) 중 적어도 일부가 사라진 경우에는, 사라진 오브젝트에 가려져 마킹되었던 위치에 대한 재측정이 수행될 수도 있다.
운행이 종료되면(S260의 Yes), 제어부(140)는 오염 감지부(110)를 통해 최종 청결도 감지 및 분석을 수행하고(S280), 그 결과를 통신부(130)를 통해 외부로 보고할 수 있다(S290). 실시예에 따라, 최종 청결도 감지 및 분석 과정이 별도로 수행되지 않을 경우, 보고 대상이 되는 청결도 정보는 마지막으로 분석된 청결도 정보일 수 있다. 또한, 청결도 보고의 대상은 카 셰어링 서비스 서버, 기 설정된 청소 관리 업체 서버, 텔레매틱스 센터, 탑승자의 스마트 기기 중 적어도 하나가 될 수 있다. 카 셰어링 서비스 서버가 청결도 보고를 받을 경우, 이를 기반으로 마지막 탑승자에게 청결도에 따른 인센티브나 디센티브를 부여할 수 있으며, 청소 관리 업체 서버가 청결도 보고를 받을 경우 청소 인력 파견 여부를 결정할 수 있다. 또한, 탑승자의 스마트 기기로 전송할 경우, 디센티브 부여 가능성을 경고하여 차량으로 복귀하여 스스로 오염을 제거하도록 유도할 수도 있으며, 오염이 아닌 오브젝트(즉, 유실물)가 실내에 존재함을 알려 바로 찾아가도록 할 수도 있다.
이하에서는 상술한 청결도 감지 과정을 도 3 내지 도 6을 참조하여 구체적으로 설명한다.
도 3은 도 2의 실내 청결도 감지 과정이 수행되는 형태의 일례를 나타내는 순서도이다.
도 3을 참조하면, 실내 청결도 감지를 위해, 카메라(111)를 통해 촬영된 영상을 기반으로 오브젝트 감지가 수행될 수 있다(S231). 오브젝트 감지는 RGB 카메라나 스테레오 카메라를 통해 촬영된 영상에서 오브젝트 검출 로직을 통해 초기 상태에 존재하지 않았던 오브젝트를 감지하는 과정을 의미할 수 있다. 이때, 오브젝트 감지는 기 준비된 인공지능(AI) 로직을 통해 제어부(140)가 직접 수행할 수도 있고, 카메라(111)를 통해 획득된 영상을 통신부(130)를 통해 외부 서버에 전송하여 외부 서버로부터 오브젝트 감지 결과를 수신하는 형태가 될 수도 있다. 또한, 초기 상태에 존재하지 않았던 오브젝트를 감지하기 위하여, 현재 획득된 영상과 초기 환경 정보의 비교가 수행될 수도 있다.
본 발명은 오브젝트 감지 로직에 대하여 한정하지 않는 바, 오브젝트 감지 로직의 구체적인 알고리즘에 대한 기재는 생략하기로 한다.
오브젝트 감지 과정(S231)을 통해 실내에 적어도 하나의 오브젝트가 감지되면, 제어부(140)는 해당 오브젝트가 감지된 위치를 마킹(즉, 기록)해둘 수 있다(S232).
또한, 제어부(140)는 카메라(111)를 통해 촬영된 영상을 기반으로 오염 여부를 감지할 수 있다(S233). 이때, 오염 여부의 감지 대상이 되는 실내 영역은 오브젝트가 감지된 영역을 제외한 영역일 수 있다. 이는 오브젝트 자체를 오염으로 오인식하는 것을 방지하기 위함이다. 오염 감지 방식으로는 분광학 센서를 기반으로 실내 구성 요소의 분자가 가지고 있는 고유의 색상이 초기 환경 정보와 상이한지 여부를 판단하는 방식이 적용될 수 있다. 예컨대, 가죽 시트가 갖는 고유의 색상에 따른 파장과 다른 색상에 따른 파장이 있을 경우, 해당 부위에 오염이 발생한 것으로 판단할 수 있다. 또한, RGB나 IR 방식 카메라를 통해 촬영된 영상에서 특정 부분의 반사도가 상승한 경우 액체에 의한 오염이 발생한 것으로 판단할 수도 있다. 이 외에도, 영상(광학) 기반으로 오염도 판단이 가능하다면 어떠한 방식이라도 적용될 수 있음은 물론이다.
아울러, 실내 청결도 감지를 위해 후각 센서(112)를 통한 냄새 감지가 수행될 수 있다(S234). 본 과정은 도 3에서 마지막에 수행되는 것으로 도시되어 있으나, 영상 기반 감지 방식보다 먼저 수행될 수도 있고 병렬적으로 수행될 수도 있다.
도 4는 본 발명의 일 실시예에 따른 영상 기반 오브젝트 감지가 수행되는 형태의 일례를 나타낸다.
도 4를 포함한 이하의 도면에서 카메라(111)는 차량 실내에서 후석 주변을 촬영하도록 실내 후석측에 배치된 카메라(111a)와 전석 주변을 촬영하도록 실내 전석측에 배치돈 카메라(111b)를 포함하는 것으로 가정한다.
먼저 도 4의 (a)를 참조하면, 영상 기반 인식을 통해 운전석측 후석에 오브젝트(410)와, 조수석에 오브젝트(420)가 각각 감지될 수 있다. 그에 따라, 제어부(140)는 도 4의 (b)와 같이 해당 오브젝트가 감지된 위치(410', 420')를 마킹하여 영상 기반 오염 감지를 수행함에 있어 해당 위치(410', 420')가 판단 대상에서 제외되도록 할 수 있다.
도 5는 본 발명의 일 실시예에 따른 영상 기반 오염 감지가 수행되는 형태의 일례를 나타낸다.
도 5에서는 RGB 각각의 색상 영역에 대하여 분광학 기법을 적용하기 위한 촬영 이미지의 일례가 도시되어 있다. 여기서, 초기 환경 정보와 상이한 파장이 감지된 영역(510)이 있을 경우, 해당 영역이 오염이 발생한 영역으로 인식될 수 있다. 만일, 도 4에서와 유사하게 운전석측 후석에 오브젝트(410)가 감지되었던 경우, 해당 영역(510)은 판단 대상에서 제외되므로 해당 영역의 파장 차이는 무시될 수 있다.
도 6은 본 발명의 일 실시예에 따른 영상 기반 오염 추적이 수행되는 형태의 일례를 나타낸다.
도 6의 (a)를 참조하면, 청결도 감지 절차에서 오염 영역(610)이 감지될 수 있다. 이후 재측정 조건의 만족(S270의 Yes)에 따라 실내 청결도가 다시 감지될 때, 도 6의 (b)와 같이 해당 영역의 오염이 확대(610')된 것으로 감지되면, 제어부(140)는 오염도가 증가한 것으로 판단할 수 있다.
이하에서는 안내 정보의 출력 형태를 도 7 내지 도 9를 참조하여 설명한다.
도 7은 본 발명의 일 실시예에 따른 청결도 기반 안내가 출력되는 형태의 일례를 나타낸다.
도 7의 상단을 먼저 참조하면, 제어부(140)가 판단한 실내 청결도가 일정 수준 이하라 판단한 경우, 헤드유닛의 디스플레이(121)를 통해 판단에 대응되는 안내 정보가 출력되도록 할 수 있다. 여기서 안내 정보는 오염 위치, 정도를 나타내는 디스플레이 오브젝트(710)와 텍스트(720) 중 적어도 하나를 포함할 수 있다.
만일, 판단된 청결도가 심각한 수준이거나, 도 6에서와 같이 오염된 영역의 크기가 증가한 경우 제어부(140)는 안내 정보 중 적어도 일부의 형태를 변경할 수도 있다. 예를 들어, 도 7의 하단과 같이 텍스트(720')의 내용과 색상이 변경될 수 있으나, 이는 예시적인 것으로 청결도나 오염 진행 여부에 따라 다양한 형태의 시각 효과가 부여될 수 있다.
상술한 알림 정보는 출력 후 일정 시간이 지나거나, 다음 청결도 감지 및 분석시 일정 수준 이상의 청결도가 회복될 경우 사라질 수 있으나, 반드시 이에 한정되는 것은 아니다.
도 7에서와 같이 안내 정보에 오염을 나타내는 아이콘 형태의 디스플레이 오브젝트(710)가 포함될 경우, 아이콘은 오염 상태를 반영하도록 변형될 수 있다. 이를 도 8을 참조하여 설명한다.
도 8은 본 발명의 일 실시예에 따른 오염 안내 정보 형태의 일례를 나타낸다.
도 8의 (a)를 참조하면, 오염물 타입에 따라 메인 아이콘의 외형이 결정될 수 있으며, 냄새의 정도에 따른 제1 보조 아이콘과 긴급 여부(오염 영역 확대 상황이나 청결도가 심각한 수준인 경우)시 제2 보조 아이콘이 메인 아이콘 주변에 부여될 수 있다. 또한, 메인 아이콘의 크기는 오염영역의 크기에 따라 변경될 수 있다. 아울러, 메인 아이콘의 색상은 청결도에 따라 변경될 수 있다. 예를 들어, 청결도가 높으면 청색, 중간 수준인 경우 황색, 낮은 수준인 경우 적색 등이 될 수 있으나, 이는 예시적인 것으로 반드시 이에 한정되는 것은 아니다.
그에 따라, 중간 정도 오염도에 냄새가 심한 액체 오염물에 의한 오염 영역이 확산되고 있는 경우, 아이콘(810)은 도 8의 (b)와 같은 형태가 될 수 있다.
한편, 안내 정보는 오염 위치까지 포함할 수도 있다. 이를 도 9를 참조하여 설명한다.
도 9는 본 발명의 일 실시예에 따른 구역별 청결도 기반 안내 형태의 일례를 나타낸다.
먼저, 도 9의 좌측을 참조하면, 안내 정보에 포함되는 차량의 실내 영역(910)은 운전석 전방부(스티어링 휠, 운전석측 대시보드, 페달 주변 등), 센터페시아, 조수석 전방부(글로브 박스, 조수석측 대시 보드, 조수석 앞 매트 등), 운전석, 센터콘솔, 조수석, 후석 1, 후석 2, 후석 3 등과 같이 9개의 영역으로 구분될 수 있다. 제어부(140)는 도 9의 우측과 같이 오염이 감지된 영역에 도 8을 참조하여 전술한 아이콘(810)을 배치하여 오염 영역을 탑승자가 직관적으로 인식 가능하도록 할 수 있다. 이때, 오염이 감지된 영역에는 아이콘(810)과 함께 소정의 시각 효과(예컨대, 색상 부여)가 더욱 부여될 수도 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다.
따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (20)

  1. 적어도 카메라를 포함하는 오염 감지부를 통해 실내 오염을 감지하는 단계;
    상기 감지의 결과를 기반으로 실내 청결도를 분석하는 단계; 및
    상기 분석된 실내 청결도를 기반으로 안내 정보를 출력하는 단계를 포함하되,
    상기 실내 오염을 감지하는 단계는,
    실내의 감지 대상 영역 내에서 적어도 하나의 오브젝트를 검출하는 단계; 및
    상기 적어도 하나의 오브젝트 각각이 검출된 영역을 제외한 상기 감지 대상 영역에서 오염 여부를 감지하는 단계를 포함하는, 차량용 실내 청결 관리 방법.
  2. 제1 항에 있어서,
    상기 감지하는 단계 이전에 초기 환경 정보를 획득하는 단계를 더 포함하는, 차량용 실내 청결 관리 방법.
  3. 제2 항에 있어서,
    상기 초기 환경 정보는,
    상기 감지 대상 영역에서 오염이 감지되기 전의 상기 감지 대상 영역의 영상 또는 마지막 운행 이후 탑승자가 탑승하기 전의 상기 감지 대상 영역의 영상을 포함하는, 차량용 실내 청결 관리 방법.
  4. 제2 항에 있어서,
    상기 초기 환경 정보는,
    외부 서버로부터 획득되는, 차량용 실내 청결 관리 방법.
  5. 제2 항에 있어서,
    상기 카메라는 분광학 센서를 포함하고,
    상기 실내 오염을 감지하는 단계는,
    상기 초기 환경 정보에 나타난 위치별 파장과 상이한 파장이 검출되는 위치를 판단하는 단계를 포함하는, 차량용 실내 청결 관리 방법.
  6. 제2 항에 있어서,
    상기 적어도 하나의 오브젝트를 감지하는 단계는,
    상기 초기 환경 정보와 상기 카메라를 통해 촬영된 영상을 비교하는 단계를 포함하는, 차량용 실내 청결 관리 방법.
  7. 제1 항에 있어서,
    상기 실내 오염을 감지하는 단계 및 상기 실내 청결도를 분석하는 단계는, 주기적으로 또는 오염 영역 확대시 재수행되는, 차량용 실내 청결 관리 방법.
  8. 제1 항에 있어서,
    상기 실내 청결도를 분석하는 단계는,
    오염물의 종류, 오염 영역의 크기, 냄새, 오염 영역의 재질, 오염 경과 시간 중 적어도 하나를 고려하여 수행되는, 차량용 실내 청결 관리 방법.
  9. 제1 항에 있어서,
    차량 운행이 종료된 후 최종 청결도를 판단하는 단계; 및
    상기 최종 청결도를 기 설정된 서버 및 탑승자 단말 중 적어도 하나로 전송하는 단계를 더 포함하는, 차량용 실내 청결 관리 방법.
  10. 제1 항 내지 제9 항 중 어느 한 항에 따른 차량용 실내 청결 관리 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터 해독 가능 기록 매체.
  11. 적어도 카메라를 포함하는 오염 감지부;
    상기 오염 감지부를 통해 획득된 정보를 기반으로 실내 오염을 판단하고, 상기 감지의 결과를 기반으로 실내 청결도를 분석하는 제어부; 및
    상기 분석된 실내 청결도를 기반으로 안내 정보를 출력하는 출력부를 포함하되,
    상기 제어부는,
    실내의 감지 대상 영역 내에서 적어도 하나의 오브젝트를 검출하고, 상기 적어도 하나의 오브젝트 각각이 검출된 영역을 제외한 상기 감지 대상 영역에서 오염 여부를 판단하는, 차량용 실내 청결 관리 장치.
  12. 제11 항에 있어서,
    상기 제어부는,
    상기 실내 오염을 판단하기 전에 초기 환경 정보를 획득하는, 차량용 실내 청결 관리 장치.
  13. 제12 항에 있어서,
    상기 초기 환경 정보는,
    상기 감지 대상 영역에서 오염이 감지되기 전의 상기 감지 대상 영역의 영상 또는 마지막 운행 이후 탑승자가 탑승하기 전의 상기 감지 대상 영역의 영상을 포함하는, 차량용 실내 청결 관리 장치.
  14. 제12 항에 있어서,
    상기 초기 환경 정보는,
    외부 서버로부터 획득되는, 차량용 실내 청결 관리 장치.
  15. 제12 항에 있어서,
    상기 카메라는 분광학 센서를 포함하고,
    상기 제어부는,
    상기 초기 환경 정보에 나타난 위치별 파장과 상이한 파장이 검출되는 위치를 판단하여 상기 실내 오염을 판단하는, 차량용 실내 청결 관리 장치.
  16. 제12 항에 있어서,
    상기 제어부는,
    상기 초기 환경 정보와 상기 카메라를 통해 촬영된 영상을 비교하여 상기 적어도 하나의 오브젝트를 감지하는, 차량용 실내 청결 관리 장치.
  17. 제11 항에 있어서,
    상기 제어부는,
    주기적으로 또는 오염 영역 확대시 상기 실내 오염의 감지 및 상기 실내 청결도의 분석을 재수행하는, 차량용 실내 청결 관리 장치.
  18. 제11 항에 있어서,
    상기 제어부는,
    오염물의 종류, 오염 영역의 크기, 냄새, 오염 영역의 재질, 오염 경과 시간 중 적어도 하나를 고려하여 상기 실내 청결도를 분석하는, 차량용 실내 청결 관리 장치.
  19. 제11 항에 있어서,
    통신부를 더 포함하되,
    상기 제어부는,
    차량 운행이 종료된 후 최종 청결도를 판단하고, 상기 최종 청결도를 상기 통신부를 통해 기 설정된 서버 및 탑승자 단말 중 적어도 하나로 전송하는, 차량용 실내 청결 관리 장치.
  20. 제11 항에 있어서,
    상기 제어부는,
    상기 검출된 적어도 하나의 오브젝트 중 적어도 일부가 사라진 경우, 상기 사라진 오브젝트 각각이 검출된 영역에 대하여 상기 실내 오염의 감지 및 상기 실내 청결도의 분석을 재수행하는, 차량용 실내 청결 관리 장치.
KR1020200066564A 2020-06-02 2020-06-02 자동차 및 그를 위한 실내 청결 관리 방법 KR20210149476A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200066564A KR20210149476A (ko) 2020-06-02 2020-06-02 자동차 및 그를 위한 실내 청결 관리 방법
US17/109,518 US11408833B2 (en) 2020-06-02 2020-12-02 Vehicle and method of managing cleanliness of interior of the vehicle
CN202011580499.XA CN113758940A (zh) 2020-06-02 2020-12-28 车辆及管理车辆内部清洁度的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200066564A KR20210149476A (ko) 2020-06-02 2020-06-02 자동차 및 그를 위한 실내 청결 관리 방법

Publications (1)

Publication Number Publication Date
KR20210149476A true KR20210149476A (ko) 2021-12-09

Family

ID=78704806

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200066564A KR20210149476A (ko) 2020-06-02 2020-06-02 자동차 및 그를 위한 실내 청결 관리 방법

Country Status (3)

Country Link
US (1) US11408833B2 (ko)
KR (1) KR20210149476A (ko)
CN (1) CN113758940A (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220006895A (ko) * 2020-07-09 2022-01-18 현대자동차주식회사 자동차 및 그를 위한 실내 청결 관리 방법

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4654208B2 (ja) * 2007-02-13 2011-03-16 日立オートモティブシステムズ株式会社 車載用走行環境認識装置
DE102013001332B4 (de) * 2013-01-26 2017-08-10 Audi Ag Verfahren zur Erfassung des Verschmutzungsgrades eines Fahrzeugs
CN105445808B (zh) * 2014-08-19 2018-10-02 清华大学 对移动目标进行检查的设备及方法
JP6365477B2 (ja) * 2015-09-16 2018-08-01 トヨタ自動車株式会社 物体認識装置及び汚れ検出方法
KR102372560B1 (ko) * 2015-10-29 2022-03-10 한국자동차연구원 차량을 영상으로 관리하는 방법 및 장치
KR101924061B1 (ko) * 2016-01-07 2018-11-30 엘지전자 주식회사 차량용 보조 장치 및 차량
US10319157B2 (en) * 2016-03-22 2019-06-11 GM Global Technology Operations LLC System and method for automatic maintenance
DE102016215525A1 (de) * 2016-08-18 2018-02-22 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Reinigen eines Innenraums eines Kraftfahrzeugs
US10509974B2 (en) * 2017-04-21 2019-12-17 Ford Global Technologies, Llc Stain and trash detection systems and methods
US10304165B2 (en) * 2017-05-12 2019-05-28 Ford Global Technologies, Llc Vehicle stain and trash detection systems and methods
WO2018230532A1 (ja) * 2017-06-16 2018-12-20 本田技研工業株式会社 配車サービスサーバ、車両システム、車両、配車サービス方法、およびプログラム
WO2019032097A1 (en) * 2017-08-08 2019-02-14 Ford Global Technologies, Llc VEHICLE INSPECTION SYSTEMS AND METHODS
JP6970924B2 (ja) * 2018-03-27 2021-11-24 トヨタ自動車株式会社 車両検索システム、車両検索方法、及び車両検索プログラム
JP7118529B2 (ja) * 2018-03-29 2022-08-16 矢崎総業株式会社 車内監視モジュール、及び、監視システム
JP2020013474A (ja) * 2018-07-20 2020-01-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 情報処理方法
DE102018212456B4 (de) * 2018-07-26 2023-06-07 Audi Ag Reinigungsanlage zum Reinigen eines Innenraums eines Kraftfahrzeugs und Verfahren zum Betreiben einer Reinigungsanlage
JP7107179B2 (ja) * 2018-11-12 2022-07-27 トヨタ自動車株式会社 車両の情報処理システム
EP3893189A4 (en) * 2018-12-07 2021-12-29 Panasonic Intellectual Property Corporation of America Information processing method, information processing device, and program
WO2020153501A1 (ja) * 2019-01-24 2020-07-30 パナソニックIpマネジメント株式会社 移動体
JPWO2020158340A1 (ja) * 2019-02-01 2021-11-18 パナソニックIpマネジメント株式会社 検査装置、及び、検査方法
US11550320B2 (en) * 2019-03-18 2023-01-10 Pony Ai Inc. Vehicle redundant processing resource usage
KR20200144005A (ko) * 2019-06-17 2020-12-28 엘지전자 주식회사 차량내의 물품 정보를 제공하는 방법 및 장치

Also Published As

Publication number Publication date
CN113758940A (zh) 2021-12-07
US20210372942A1 (en) 2021-12-02
US11408833B2 (en) 2022-08-09

Similar Documents

Publication Publication Date Title
JP6751436B2 (ja) 自律走行車両へのアクセス及び運転制御
US20230356721A1 (en) Personalization system and method for a vehicle based on spatial locations of occupants' body portions
CN106564494B (zh) 用于控制具有自动驾驶系统的车辆的方法和系统
CN105292036B (zh) 边界检测系统
US10899365B2 (en) Parking support information display method and parking support device
EP3367362B1 (en) Parking support method and parking support device
CN110997418A (zh) 车辆占用管理系统和方法
KR20220014681A (ko) 자동차 및 그를 위한 실내 청결 관리 방법
US10295360B2 (en) Assistance when driving a vehicle
CN108263324A (zh) 基于姿势信息的行人检测和行人碰撞预防装置及方法
US10836390B2 (en) Monitoring driver movement
JPWO2019030922A1 (ja) 駐車制御方法及び駐車制御装置
CN110371018A (zh) 使用其他车辆车灯的信息改善车辆行为
CN111183066A (zh) 停车控制方法及停车控制装置
CN109278642A (zh) 车辆倒车安全性映射
KR20220127863A (ko) 차량에 갇힌 승객을 검출하기 위한 인공 지능 기반 경보
KR20210149476A (ko) 자동차 및 그를 위한 실내 청결 관리 방법
CN106218611B (zh) 一种自动紧急制动系统的稳定性控制装置及方法
US20190057264A1 (en) Detecting objects in vehicles
JP7268959B2 (ja) 車両が停止後に自動的に再び前進させないようにすることを可能にする装置及び方法
KR20220003320A (ko) 자동차 및 그를 위한 실내 청결 관리 방법
KR20170080869A (ko) 차량 사고 방지 장치 및 방법
KR20220006895A (ko) 자동차 및 그를 위한 실내 청결 관리 방법
US20240078819A1 (en) Steering wheel contact detection
CN110723096B (zh) 用于检测被夹柔性材料的系统及方法