KR20230119898A - Lost item alarm device for taxi - Google Patents

Lost item alarm device for taxi Download PDF

Info

Publication number
KR20230119898A
KR20230119898A KR1020220016216A KR20220016216A KR20230119898A KR 20230119898 A KR20230119898 A KR 20230119898A KR 1020220016216 A KR1020220016216 A KR 1020220016216A KR 20220016216 A KR20220016216 A KR 20220016216A KR 20230119898 A KR20230119898 A KR 20230119898A
Authority
KR
South Korea
Prior art keywords
module
taxi
lost item
seat
image
Prior art date
Application number
KR1020220016216A
Other languages
Korean (ko)
Inventor
염정국
서재성
송민근
신건우
Original Assignee
동아대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동아대학교 산학협력단 filed Critical 동아대학교 산학협력단
Priority to KR1020220016216A priority Critical patent/KR20230119898A/en
Publication of KR20230119898A publication Critical patent/KR20230119898A/en

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/24—Reminder alarms, e.g. anti-loss alarms
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P11/00—Measuring average value of speed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/14—Central alarm receiver or annunciator arrangements
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00—Audible signalling systems; Audible personal calling systems
    • G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 실시 예에 따르면, 택시 좌석을 촬영하도록 택시 내측에 설치되는 카메라; 상기 카메라에서 촬영된 영상에서 실시간으로 객체를 인식하는 객체인식모듈; 상기 객체인식모듈에서 사람 객체가 인식되지 않는 경우에, 현재 좌석 이미지를 캡쳐하여 저장하는 좌석캡쳐모듈; 상기 객체인식모듈에서 사람 객체가 인식된 경우에, 가장 최근에 캡쳐된 좌석 이미지를 빈좌석 이미지로 지정하는 빈좌석지정모듈; 상기 객체인식모듈에서 사람 객체가 인식되고 소정의 시간이 경과한 후, 사람 객체가 다시 인식되지 않는 경우에 승객이 하차한 것으로 판단하는 하차판단모듈; 상기 승객이 하차한 것으로 판단되었을 때, 빈좌석 이미지와 현재 좌석 이미지를 비교하여 차이점 여부를 확인하는 제1좌석변경검출모듈; 상기 빈좌석 이미지와 현재 좌석 이미지 사이에 차이점이 있는 것으로 판단되었을 때, 상기 차이점 부분에서 분실물 객체를 인식하는 분실물인식모듈; 및 상기 분실물 객체가 인식되었을 때, 택시 내부의 스피커, 택시 기사용 단말기 및 승객용 단말기 중 하나 이상에 분실물 발생 알람을 발생시키는 알람발생모듈;을 포함하여, 상기 승객이 하차한 뒤 좌석에서 분실물이 확인되었을 때 즉시 분실물 발생 사실을 알려 분실물을 즉시 확인할 수 있도록 보조하는, 택시용 분실물 알람 장치를 제공한다.According to an embodiment of the present invention, a camera installed inside the taxi to photograph the taxi seat; an object recognition module recognizing an object in real time from the image captured by the camera; a seat capture module for capturing and storing a current seat image when the human object is not recognized by the object recognition module; an empty seat designation module for designating a most recently captured seat image as an empty seat image when a human object is recognized in the object recognition module; a getting-off determination module for determining that the passenger has got off when the human object is not recognized again after a predetermined time elapses after the object recognizing module recognizes the human object; a first seat change detection module comparing an empty seat image and a current seat image to determine whether there is a difference when it is determined that the passenger has disembarked; a lost item recognizing module recognizing a lost object in the difference portion when it is determined that there is a difference between the empty seat image and the current seat image; and an alarm generating module generating a lost item occurrence alarm to at least one of a speaker inside the taxi, a taxi driver terminal, and a passenger terminal when the lost item object is recognized; Provides a lost item alarm device for taxis that notifies the occurrence of a lost item immediately when it is confirmed and assists in checking the lost item immediately.

Description

택시용 분실물 알람 장치{Lost item alarm device for taxi}Lost item alarm device for taxi {Lost item alarm device for taxi}

본 발명은 택시용 분실물 알람 장치에 관한 것으로, 더 상세하게는 승객이 택시 좌석에 분실물을 놔두고 내린 경우에 영상/이미지 객체 인식 알고리즘을 통해 분실물을 인식하고, 이를 승객 또는/및 택시 기사에게 알림으로써 분실물의 원활한 회수를 유도하는, 택시용 분실물 알람 장치에 관한 것이다.The present invention relates to a lost item alarm device for a taxi, and more particularly, when a passenger leaves a lost item in a taxi seat and gets off, the lost item is recognized through a video/image object recognition algorithm and notified to the passenger or/and the taxi driver. It relates to a lost item alarm device for a taxi that induces smooth recovery of lost items.

택시에 탑승한 승객이 택시 내에 소지품(이하, '분실물'이라 함)을 두고 내리는 경우가 종종 발생한다.It often happens that passengers boarding a taxi leave their belongings (hereinafter referred to as 'lost property') in the taxi.

분실물이 발생한 경우, 승객은 그 사실을 상당한 시간이 지난 뒤에 인지하게 되며, 자신이 탑승했던 택시의 정보를 확인하기가 어려워 분실물을 찾는 데 상당한 어려움을 겪게 된다.When a lost item occurs, the passenger becomes aware of the fact after a considerable amount of time has passed, and it is difficult to check the information of the taxi in which he/she boarded, and thus, it is difficult to find the lost item.

카드 결제 정보나 택시 운영 회사 등을 통해 택시의 정보를 확인하여 분실물을 회수하는 데에는 매우 많은 시간이 소요되므로 불편함이 크다.It is very inconvenient because it takes a lot of time to check taxi information through card payment information or taxi operating companies to retrieve lost items.

국내등록특허 제10-1941948호에는 "차량 내부의 물체를 감지하기 위한 센서부; 상기 센서부를 이용하여 상기 차량 내부의 물체를 감지하고, 감지된 물체의 특징을 검출하고, 검출된 특징에 따라 차량 내 물체 상태 정보를 생성하는 프로세서; 및 상기 차량 내 물체 상태 정보를 알림하는 알람부를 포함하고, 상기 프로세서는, 상기 물체의 위치, 상기 물체의 종류 및 상기 물체의 분실 시점 중 적어도 하나 이상의 상기 물체의 특징이 나타나도록 상기 차량 내 물체 상태 정보를 생성하고 상기 알람부의 알림 방법을 제어하고, 상기 센서부는, 탑승 전 차량 내부 이미지, 탑승 후 차량 내부 이미지, 정차시 차량 내부 이미지, 및 하차 후 차량 내부 이미지 중 적어도 둘 이상을 감지하는 이미지 센서를 포함하고, 상기 프로세서는, 상기 차량 내부 이미지들 중 적어도 둘 이상을 비교하여 상기 차량 내부의 물체를 감지하고, 상기 프로세서는, 상기 차량 내부 이미지들로부터 상기 물체와 탑승자의 접촉 여부를 검출하고, 접촉 여부에 따라서 상기 물체 상태 정보의 알림 여부를 결정하는 분실물 예방 서비스 제공장치"가 개시되어 있다.Korean Registered Patent No. 10-1941948 describes a “sensor unit for detecting an object inside the vehicle; detects an object inside the vehicle using the sensor unit, detects characteristics of the sensed object, and uses the sensor unit to detect characteristics of the vehicle. A processor generating state information of objects in the vehicle; and an alarm unit notifying information about the state of the objects in the vehicle, wherein the processor determines the location of the object, the type of the object, and a point in time when the object is lost. Generates state information of objects in the vehicle and controls a notification method of the alarm unit, and the sensor unit includes a vehicle interior image before boarding, a vehicle interior image after boarding, a vehicle interior image when stopping, and a vehicle interior image after getting off. and an image sensor for detecting at least two or more of the vehicle interior images, wherein the processor detects an object inside the vehicle by comparing at least two or more of the vehicle interior images, and the processor detects the object from the vehicle interior images. An apparatus for providing a lost item prevention service that detects whether an occupant is in contact with an occupant and determines whether or not to notify the object state information according to the contact.

상기 특허문헌에서는 일반적인 승용차 등 개인용 차량에서 활용할 수 있는 형태의 분실물 예방 서비스가 제공되고 있으나, 상기 특허기술은 짧은 시간마다 다양한 승객이 거쳐가는 택시에 적용하기에는 어려움이 크다.In the patent document, a lost item prevention service in a form that can be used in personal vehicles such as general cars is provided, but the patent technology is difficult to apply to taxis that various passengers pass through every short time.

본 발명이 해결하고자 하는 과제는, 전술한 종래 분실물 예방 장치 등의 한계점을 개선하기 위하여, 택시에 탑승하는 승객들이나 택시 기사 등이 별도의 작업이나 행동을 하지 않고도 분실물 발생 여부를 실시간으로 알도록 안내하여 빠른시간 내에 분실물을 회수할 수 있도록 보조하는 택시용 분실물 알람 장치를 제공하는 것이다.The problem to be solved by the present invention is to improve the limitations of the above-mentioned conventional lost and found devices, etc., so that passengers boarding a taxi or taxi driver, etc. know in real time whether a lost item has occurred without performing a separate operation or action. It is to provide a lost item alarm device for a taxi that assists in recovering a lost item in a short time by doing so.

본 발명은 전술한 종래 분실물 예방 장치 등의 한계점을 개선하기 위하여, 택시 좌석을 촬영하도록 택시 내측에 설치되는 카메라; 상기 카메라에서 촬영된 영상에서 실시간으로 객체를 인식하는 객체인식모듈; 상기 객체인식모듈에서 사람 객체가 인식되지 않는 경우에, 현재 좌석 이미지를 캡쳐하여 저장하는 좌석캡쳐모듈; 상기 객체인식모듈에서 사람 객체가 인식된 경우에, 가장 최근에 캡쳐된 좌석 이미지를 빈좌석 이미지로 지정하는 빈좌석지정모듈; 상기 객체인식모듈에서 사람 객체가 인식되고 소정의 시간이 경과한 후, 사람 객체가 다시 인식되지 않는 경우에 승객이 하차한 것으로 판단하는 하차판단모듈; 상기 승객이 하차한 것으로 판단되었을 때, 빈좌석 이미지와 현재 좌석 이미지를 비교하여 차이점 여부를 확인하는 제1좌석변경검출모듈; 상기 빈좌석 이미지와 현재 좌석 이미지 사이에 차이점이 있는 것으로 판단되었을 때, 상기 차이점 부분에서 분실물 객체를 인식하는 분실물인식모듈; 및 상기 분실물 객체가 인식되었을 때, 택시 내부의 스피커, 택시 기사용 단말기 및 승객용 단말기 중 하나 이상에 분실물 발생 알람을 발생시키는 알람발생모듈;을 포함하여, 상기 승객이 하차한 뒤 좌석에서 분실물이 확인되었을 때 즉시 분실물 발생 사실을 알려 분실물을 즉시 확인할 수 있도록 보조하는, 택시용 분실물 알람 장치를 제공한다.The present invention, in order to improve the limitations of the above-mentioned conventional lost property prevention device, etc., a camera installed inside the taxi to take a picture of the taxi seat; an object recognition module recognizing an object in real time from the image captured by the camera; a seat capture module for capturing and storing a current seat image when the human object is not recognized by the object recognition module; an empty seat designation module for designating a most recently captured seat image as an empty seat image when a human object is recognized in the object recognition module; a getting-off determination module for determining that the passenger has got off when the human object is not recognized again after a predetermined time elapses after the object recognizing module recognizes the human object; a first seat change detection module comparing an empty seat image and a current seat image to determine whether there is a difference when it is determined that the passenger has disembarked; a lost item recognizing module recognizing a lost object in the difference portion when it is determined that there is a difference between the empty seat image and the current seat image; and an alarm generating module generating a lost item occurrence alarm to at least one of a speaker inside the taxi, a taxi driver terminal, and a passenger terminal when the lost item object is recognized; Provides a lost item alarm device for taxis that notifies the occurrence of a lost item immediately when it is confirmed and assists in checking the lost item immediately.

또한, 상기 객체인식모듈은: 상기 빈좌석 이미지들을 학습하여, 좌석에 배치된 소정의 기물들이 분실물 객체로 판단되지 않도록 처리하는 기물학습모듈; 및 상기 분실물 객체가 인식된 현재 좌석 이미지들을 학습하여, 분실물로 판별되었던 분실물들의 인식 정확도를 향상시키는 분실물학습모듈;을 포함하고, 상기 택시의 출입문에 구비된 개방감지센서; 상기 택시의 속도를 측정하는 속도센서; 및 상기 택시가 정차한 상태에서 출입문이 개방되었을 때, 상기 빈좌석 이미지와 현재 좌석 이미지에서 사람 객체를 제외한 이미지를 비교하여 차이점 여부를 확인하는 제2좌석변경검출모듈;을 더 포함하여, 상기 승객이 하차하기 전에 분실물 발생을 미리 판단하여 상기 알람발생모듈을 작동시킬 수 있다.In addition, the object recognition module may include: an object learning module that learns the images of the empty seats and processes certain objects disposed on the seats so that they are not determined as lost objects; and a lost item learning module for improving the recognition accuracy of the lost items determined as lost items by learning images of current seats in which the lost item objects are recognized, including an open detection sensor provided at the door of the taxi; a speed sensor for measuring the speed of the taxi; and a second seat change detection module that compares the empty seat image and the current seat image except for the human object when the taxi is stopped and the door is opened to determine whether or not there is a difference between the image of the empty seat and the current seat image. Before getting off the vehicle, the occurrence of a lost item may be determined in advance and the alarm generating module may be operated.

그리고, 상기 택시 기사용 단말기 및 승객용 단말기가 소정의 거리 내에 위치한 경우 승객이 해당 택시에 탑승한 것으로 인식하여 탑승정보를 저장하는 탑승인식모듈; 및 상기 승객용 단말기가 택시 기사용 단말기로부터 소정의 거리 내 밖으로 벗어났을 때, 상기 빈좌석 이미지와 현재 좌석 이미지에서 사람 객체를 제외한 이미지를 비교하여 차이점 여부를 확인하는 제3좌석변경검출모듈;을 포함하고, 상기 알람발생모듈은: 상기 분실물 객체의 이미지를 승객용 단말기에 전송하여 분실물의 소유주 여부를 확인받는 분실확인모듈; 및 상기 승객이 분실물의 소유주인 것으로 확인하였을 때, 상기 택시 기사용 단말기에 분실물을 수거하도록 알림을 발생시키는 수거알림모듈;을 포함할 수 있다.And, a boarding recognition module for storing boarding information by recognizing that a passenger has boarded the taxi when the taxi driver's terminal and the passenger terminal are located within a predetermined distance; and a third seat change detection module that compares the empty seat image and the current seat image excluding the human object to determine whether there is a difference when the passenger terminal is out of a predetermined distance from the taxi driver terminal. and the alarm generating module includes: a loss confirmation module that transmits the image of the lost item to a passenger terminal and confirms whether the owner of the lost item is confirmed; and a collection notification module generating a notification to the taxi driver's terminal to collect the lost item when it is confirmed that the passenger is the owner of the lost item.

본 발명의 실시 예에 따르면, 승객이나 택시 기사가 별도의 동작을 하지 않고도 택시 내부에 발생한 분실물을 실시간으로 확인하여, 승객이 택시에서 멀어지기 전에 분실물을 확인하도록 알릴 수 있다.According to an embodiment of the present invention, the passenger or taxi driver can check the lost item inside the taxi in real time without performing a separate operation, and notify the passenger to check the lost item before leaving the taxi.

또한, 분실물 발생 시 택시 단말기와 승객 단말기를 연동시켜 분실물을 빠른 시간 내에 회수할 수 있도록 도울 수 있다.In addition, when a lost item occurs, the taxi terminal and the passenger terminal can be interlocked to help recover the lost item in a short time.

그리고, 승객이 하차할 것으로 예상되는 시점에 분실물을 미리 확인하여 승객이 하차하기 전 또는 하차하는 도중에 분실물이 있음을 인지할 수 있도록 도울 수 있다.In addition, the lost item can be checked in advance at the time when the passenger is expected to get off, so that the passenger can be helped to recognize that there is a lost item before or during alighting.

도 1 은 본 발명의 실시 예에 따른 택시용 분실물 알람 장치의 객체인식모듈에서 승객 및 물품을 인식한 상태를 도시한 도면이다.
도 2 는 본 발명의 실시 예에 따른 택시용 분실물 알람 장치의 객체인식모듈에서 분실물을 인식한 상태를 도시한 도면이다.
도 3 은 본 발명의 실시 예에 따른 택시용 분실물 알람 방법의 순서도이다.1 is a diagram illustrating a state in which passengers and articles are recognized in an object recognition module of a lost item alarm device for a taxi according to an embodiment of the present invention.
2 is a diagram illustrating a state in which a lost item is recognized in an object recognition module of a lost item alarm device for a taxi according to an embodiment of the present invention.
3 is a flowchart of a lost item alarm method for a taxi according to an embodiment of the present invention.

이하, 본 문서의 다양한 실시예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 문서의 실시예의 다양한 변경(modifications), 균등물 (equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.Hereinafter, various embodiments of this document will be described with reference to the accompanying drawings. However, it should be understood that this is not intended to limit the technology described in this document to specific embodiments, and includes various modifications, equivalents, and/or alternatives of the embodiments of this document. . In connection with the description of the drawings, like reference numerals may be used for like elements.

본 문서에서, "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.In this document, expressions such as "comprises" or "may include" indicate the presence of corresponding features (eg, components such as numerical values, functions, operations, or parts), and do not exclude the presence of additional features. don't

본 문서에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.In this document, expressions such as “A or B,” “at least one of A and/and B,” or “one or more of A or/and B” may include all possible combinations of the items listed together. . For example, “A or B,” “at least one of A and B,” or “at least one of A or B” (1) includes at least one A, (2) includes at least one B, Or (3) may refer to all cases including at least one A and at least one B.

본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시 예들을 배제하도록 해석될 수 없다.Terms used in this document are only used to describe a specific embodiment, and may not be intended to limit the scope of other embodiments. Singular expressions may include plural expressions unless the context clearly dictates otherwise. Terms used herein, including technical or scientific terms, may have the same meaning as commonly understood by a person of ordinary skill in the technical field described in this document. Among the terms used in this document, terms defined in a general dictionary may be interpreted as having the same or similar meaning as the meaning in the context of the related art, and unless explicitly defined in this document, an ideal or excessively formal meaning. not be interpreted as In some cases, even terms defined in this document cannot be interpreted to exclude the embodiments of this document.

본 발명의 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.Of course, various modifications can be made by those skilled in the art without departing from the gist of the present invention claimed in the claims of the present invention, and these modifications are the technical spirit of the present invention or It should not be understood individually from the perspective.

그리고, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.In addition, terms such as "... unit" and "module" described in the specification mean a unit that processes at least one function or operation, which may be implemented by hardware, software, or a combination of hardware and software.

또한, 본 발명에 따르는 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드(프로그램)로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함할 수 있다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 분산 컴퓨터 시스템에 의하여 분산 방식으로 실행될 수 있는 컴퓨터가 읽을 수 있는 코드를 저장할 수 있다.In addition, the method according to the present invention can be implemented as a computer readable code (program) on a computer readable recording medium. A computer-readable recording medium may include all types of recording devices storing data that can be read by a computer system. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, and optical data storage devices, and also those implemented in the form of carrier waves (for example, transmission through the Internet). include In addition, the computer-readable recording medium may store computer-readable codes that can be executed in a distributed manner by distributed computer systems connected through a network.

본 발명의 실시 예에 따르면, 택시 좌석을 촬영하도록 택시 내측에 설치되는 카메라; 상기 카메라에서 촬영된 영상에서 실시간으로 객체를 인식하는 객체인식모듈; 상기 객체인식모듈에서 사람 객체가 인식되지 않는 경우에, 현재 좌석 이미지를 캡쳐하여 저장하는 좌석캡쳐모듈; 상기 객체인식모듈에서 사람 객체가 인식된 경우에, 가장 최근에 캡쳐된 좌석 이미지를 빈좌석 이미지로 지정하는 빈좌석지정모듈; 상기 객체인식모듈에서 사람 객체가 인식되고 소정의 시간이 경과한 후, 사람 객체가 다시 인식되지 않는 경우에 승객이 하차한 것으로 판단하는 하차판단모듈; 상기 승객이 하차한 것으로 판단되었을 때, 빈좌석 이미지와 현재 좌석 이미지를 비교하여 차이점 여부를 확인하는 제1좌석변경검출모듈; 상기 빈좌석 이미지와 현재 좌석 이미지 사이에 차이점이 있는 것으로 판단되었을 때, 상기 차이점 부분에서 분실물 객체를 인식하는 분실물인식모듈; 및 상기 분실물 객체가 인식되었을 때, 택시 내부의 스피커, 택시 기사용 단말기 및 승객용 단말기 중 하나 이상에 분실물 발생 알람을 발생시키는 알람발생모듈;을 포함하여, 상기 승객이 하차한 뒤 좌석에서 분실물이 확인되었을 때 즉시 분실물 발생 사실을 알려 분실물을 즉시 확인할 수 있도록 보조하는, 택시용 분실물 알람 장치를 제공한다.According to an embodiment of the present invention, a camera installed inside the taxi to photograph the taxi seat; an object recognition module recognizing an object in real time from the image captured by the camera; a seat capture module for capturing and storing a current seat image when the human object is not recognized by the object recognition module; an empty seat designation module for designating a most recently captured seat image as an empty seat image when a human object is recognized in the object recognition module; a getting-off determination module for determining that the passenger has got off when the human object is not recognized again after a predetermined time elapses after the object recognizing module recognizes the human object; a first seat change detection module comparing an empty seat image and a current seat image to determine whether there is a difference when it is determined that the passenger has disembarked; a lost item recognizing module recognizing a lost object in the difference portion when it is determined that there is a difference between the empty seat image and the current seat image; and an alarm generating module generating a lost item occurrence alarm to at least one of a speaker inside the taxi, a taxi driver terminal, and a passenger terminal when the lost item object is recognized; Provides a lost item alarm device for taxis that notifies the occurrence of a lost item immediately when it is confirmed and assists in checking the lost item immediately.

또한, 상기 객체인식모듈은: 상기 빈좌석 이미지들을 학습하여, 좌석에 배치된 소정의 기물들이 분실물 객체로 판단되지 않도록 처리하는 기물학습모듈; 및 상기 분실물 객체가 인식된 현재 좌석 이미지들을 학습하여, 분실물로 판별되었던 분실물들의 인식 정확도를 향상시키는 분실물학습모듈;을 포함하고, 상기 택시의 출입문에 구비된 개방감지센서; 상기 택시의 속도를 측정하는 속도센서; 및 상기 택시가 정차한 상태에서 출입문이 개방되었을 때, 상기 빈좌석 이미지와 현재 좌석 이미지에서 사람 객체를 제외한 이미지를 비교하여 차이점 여부를 확인하는 제2좌석변경검출모듈;을 더 포함하여, 상기 승객이 하차하기 전에 분실물 발생을 미리 판단하여 상기 알람발생모듈을 작동시킬 수 있다.In addition, the object recognition module may include: an object learning module that learns the images of the empty seats and processes certain objects disposed on the seats so that they are not determined as lost objects; and a lost item learning module for improving the recognition accuracy of the lost items determined as lost items by learning images of current seats in which the lost item objects are recognized, including an open detection sensor provided at the door of the taxi; a speed sensor for measuring the speed of the taxi; and a second seat change detection module that compares the empty seat image and the current seat image except for the human object when the taxi is stopped and the door is opened to determine whether or not there is a difference between the image of the empty seat and the current seat image. Before getting off the vehicle, the occurrence of a lost item may be determined in advance and the alarm generating module may be operated.

그리고, 상기 택시 기사용 단말기 및 승객용 단말기가 소정의 거리 내에 위치한 경우 승객이 해당 택시에 탑승한 것으로 인식하여 탑승정보를 저장하는 탑승인식모듈; 및 상기 승객용 단말기가 택시 기사용 단말기로부터 소정의 거리 내 밖으로 벗어났을 때, 상기 빈좌석 이미지와 현재 좌석 이미지에서 사람 객체를 제외한 이미지를 비교하여 차이점 여부를 확인하는 제3좌석변경검출모듈;을 포함하고, 상기 알람발생모듈은: 상기 분실물 객체의 이미지를 승객용 단말기에 전송하여 분실물의 소유주 여부를 확인받는 분실확인모듈; 및 상기 승객이 분실물의 소유주인 것으로 확인하였을 때, 상기 택시 기사용 단말기에 분실물을 수거하도록 알림을 발생시키는 수거알림모듈;을 포함할 수 있다.And, a boarding recognition module for storing boarding information by recognizing that a passenger has boarded the taxi when the taxi driver's terminal and the passenger terminal are located within a predetermined distance; and a third seat change detection module that compares the empty seat image and the current seat image excluding the human object to determine whether there is a difference when the passenger terminal is out of a predetermined distance from the taxi driver terminal. and the alarm generating module includes: a loss confirmation module that transmits the image of the lost item to a passenger terminal and confirms whether the owner of the lost item is confirmed; and a collection notification module generating a notification to the taxi driver's terminal to collect the lost item when it is confirmed that the passenger is the owner of the lost item.

이하, 본 발명의 실시 예에 따른 택시용 분실물 알람 방법은, 상기 택시 기사용 단말기 및 승객용 단말기가 소정의 거리 내에 위치한 경우 승객이 해당 택시에 탑승한 것으로 인식하여 탑승정보를 저장하는 탑승인식단계; 상기 카메라에서 촬영된 영상에서 실시간으로 객체를 인식하는 객체인식단계; 상기 객체인식단계에서 사람 객체가 인식되지 않는 경우에, 현재 좌석 이미지를 캡쳐하여 저장하는 좌석캡쳐단계; 상기 객체인식단계에서 사람 객체가 인식된 경우에, 가장 최근에 캡쳐된 좌석 이미지를 빈좌석 이미지로 지정하는 빈좌석지정단계; 상기 객체인식단계에서 사람 객체가 인식되고 소정의 시간이 경과한 후, 사람 객체가 다시 인식되지 않는 경우에 승객이 하차한 것으로 판단하는 하차판단단계; 상기 승객이 하차한 것으로 판단되었을 때, 빈좌석 이미지와 현재 좌석 이미지를 비교하여 차이점 여부를 확인하는 제1좌석변경검출단계; 상기 승객이 하차하지 않은 것으로 판단되었으나 택시가 정차한 상태에서 출입문이 개방되었을 때, 상기 빈좌석 이미지와 현재 좌석 이미지에서 사람 객체를 제외한 이미지를 비교하여 차이점 여부를 확인하는 제2좌석변경검출모듈; 상기 승객용 단말기가 택시 기사용 단말기로부터 소정의 거리 내 밖으로 벗어났을 때, 상기 빈좌석 이미지와 현재 좌석 이미지에서 사람 객체를 제외한 이미지를 비교하여 차이점 여부를 확인하는 제3좌석변경검출단계; 상기 빈좌석 이미지와 현재 좌석 이미지 사이에 차이점이 있는 것으로 판단되었을 때, 상기 차이점 부분에서 분실물 객체를 인식하는 분실물인식단계; 상기 분실물 객체가 인식되었을 때, 택시 내부의 스피커, 택시 기사용 단말기 및 승객용 단말기 중 하나 이상에 분실물 발생 알람을 발생시키는 알람발생단계; 상기 분실물 객체의 이미지를 승객용 단말기에 전송하여 분실물의 소유주 여부를 확인받는 분실확인단계; 및 상기 승객이 분실물의 소유주인 것으로 확인하였을 때, 상기 택시 기사용 단말기에 분실물을 수거하도록 알림을 발생시키는 수거알림단계;를 포함할 수 있다.Hereinafter, a lost item alarm method for a taxi according to an embodiment of the present invention includes a boarding recognition step of recognizing that a passenger has boarded the taxi and storing boarding information when the terminal for the taxi driver and the terminal for the passenger are located within a predetermined distance. ; an object recognition step of recognizing an object in real time from an image captured by the camera; a seat capture step of capturing and storing a current seat image when the human object is not recognized in the object recognition step; an empty seat designation step of designating a most recently captured seat image as an empty seat image when a human object is recognized in the object recognizing step; an alighting determination step of determining that the passenger has alighted when the human object is not recognized again after a predetermined time elapses after the human object is recognized in the object recognizing step; a first seat change detection step of comparing an empty seat image and a current seat image to determine whether there is a difference when it is determined that the passenger has alighted; a second seat change detection module comparing the empty seat image and the current seat image excluding the human object to determine whether there is a difference when it is determined that the passenger has not gotten off but the taxi is stopped and the door is opened; a third seat change detection step of comparing the empty seat image and the current seat image excluding the human object to determine whether there is a difference when the passenger terminal is out of a predetermined distance from the taxi driver terminal; a lost item recognizing step of recognizing a lost object in the difference portion when it is determined that there is a difference between the empty seat image and the current seat image; an alarm generating step of generating a lost item occurrence alarm to at least one of a speaker inside the taxi, a taxi driver terminal, and a passenger terminal when the lost item object is recognized; a loss confirmation step of transmitting an image of the lost item object to a passenger terminal and confirming whether the owner of the lost item is confirmed; and a collection notification step of generating a notification to the taxi driver's terminal to collect the lost item when it is confirmed that the passenger is the owner of the lost item.

상기 객체인식단계는: 상기 빈좌석 이미지들을 학습하여, 좌석에 배치된 소정의 기물들이 분실물 객체로 판단되지 않도록 처리하는 기물학습단계; 및 상기 분실물 객체가 인식된 현재 좌석 이미지들을 학습하여, 분실물로 판별되었던 분실물들의 인식 정확도를 향상시키는 분실물학습단계;를 포함할 수 있다.The object recognizing step may include: an object learning step of learning the empty seat images and processing certain objects disposed on the seats so that they are not determined as lost objects; and a lost item learning step of improving the recognition accuracy of the lost items determined as lost items by learning images of current seats in which the lost item objects are recognized.

Claims (3)

택시 좌석을 촬영하도록 택시 내측에 설치되는 카메라;
상기 카메라에서 촬영된 영상에서 실시간으로 객체를 인식하는 객체인식모듈;
상기 객체인식모듈에서 사람 객체가 인식되지 않는 경우에, 현재 좌석 이미지를 캡쳐하여 저장하는 좌석캡쳐모듈;
상기 객체인식모듈에서 사람 객체가 인식된 경우에, 가장 최근에 캡쳐된 좌석 이미지를 빈좌석 이미지로 지정하는 빈좌석지정모듈;
상기 객체인식모듈에서 사람 객체가 인식되고 소정의 시간이 경과한 후, 사람 객체가 다시 인식되지 않는 경우에 승객이 하차한 것으로 판단하는 하차판단모듈;
상기 승객이 하차한 것으로 판단되었을 때, 빈좌석 이미지와 현재 좌석 이미지를 비교하여 차이점 여부를 확인하는 제1좌석변경검출모듈;
상기 빈좌석 이미지와 현재 좌석 이미지 사이에 차이점이 있는 것으로 판단되었을 때, 상기 차이점 부분에서 분실물 객체를 인식하는 분실물인식모듈; 및
상기 분실물 객체가 인식되었을 때, 택시 내부의 스피커, 택시 기사용 단말기 및 승객용 단말기 중 하나 이상에 분실물 발생 알람을 발생시키는 알람발생모듈;을 포함하여,
상기 승객이 하차한 뒤 좌석에서 분실물이 확인되었을 때 즉시 분실물 발생 사실을 알려 분실물을 즉시 확인할 수 있도록 보조하는, 택시용 분실물 알람 장치A camera installed inside the taxi to photograph the taxi seat;
an object recognition module recognizing an object in real time from the image captured by the camera;
a seat capture module for capturing and storing a current seat image when the human object is not recognized by the object recognition module;
an empty seat designation module for designating a most recently captured seat image as an empty seat image when a human object is recognized in the object recognition module;
a getting-off determination module for determining that the passenger has got off when the human object is not recognized again after a predetermined time elapses after the object recognizing module recognizes the human object;
a first seat change detection module comparing an empty seat image and a current seat image to determine whether there is a difference when it is determined that the passenger has disembarked;
a lost item recognizing module recognizing a lost object in the difference portion when it is determined that there is a difference between the empty seat image and the current seat image; and
When the lost item object is recognized, an alarm generating module generating a lost item occurrence alarm to one or more of a speaker inside the taxi, a taxi driver terminal, and a passenger terminal; Including,
A lost item alarm device for a taxi that immediately notifies the lost item when a lost item is confirmed in the seat after the passenger gets off and assists in immediately checking the lost item. 청구항 1항에 있어서,
상기 객체인식모듈은:
상기 빈좌석 이미지들을 학습하여, 좌석에 배치된 소정의 기물들이 분실물 객체로 판단되지 않도록 처리하는 기물학습모듈; 및
상기 분실물 객체가 인식된 현재 좌석 이미지들을 학습하여, 분실물로 판별되었던 분실물들의 인식 정확도를 향상시키는 분실물학습모듈;을 포함하고,
상기 택시의 출입문에 구비된 개방감지센서;
상기 택시의 속도를 측정하는 속도센서; 및
상기 택시가 정차한 상태에서 출입문이 개방되었을 때, 상기 빈좌석 이미지와 현재 좌석 이미지에서 사람 객체를 제외한 이미지를 비교하여 차이점 여부를 확인하는 제2좌석변경검출모듈;을 더 포함하여,
상기 승객이 하차하기 전에 분실물 발생을 미리 판단하여 상기 알람발생모듈을 작동시키는, 택시용 분실물 알람 장치The method of claim 1,
The object recognition module:
an object learning module that learns the images of the empty seats and processes certain objects disposed on the seats so that they are not determined as lost objects; and
A lost item learning module for improving recognition accuracy of lost items determined as lost items by learning images of current seats in which the lost item objects are recognized;
an open detection sensor provided at the door of the taxi;
a speed sensor for measuring the speed of the taxi; and
When the taxi is stopped and the door is opened, a second seat change detection module that compares the image of the empty seat and the image of the current seat excluding the human object to determine whether there is a difference; further comprising,
A lost item alarm device for a taxi that determines in advance the occurrence of a lost item before the passenger gets off and operates the alarm generating module. 청구항 2항에 있어서,
상기 택시 기사용 단말기 및 승객용 단말기가 소정의 거리 내에 위치한 경우 승객이 해당 택시에 탑승한 것으로 인식하여 탑승정보를 저장하는 탑승인식모듈; 및
상기 승객용 단말기가 택시 기사용 단말기로부터 소정의 거리 내 밖으로 벗어났을 때, 상기 빈좌석 이미지와 현재 좌석 이미지에서 사람 객체를 제외한 이미지를 비교하여 차이점 여부를 확인하는 제3좌석변경검출모듈;을 포함하고,
상기 알람발생모듈은:
상기 분실물 객체의 이미지를 승객용 단말기에 전송하여 분실물의 소유주 여부를 확인받는 분실확인모듈; 및
상기 승객이 분실물의 소유주인 것으로 확인하였을 때, 상기 택시 기사용 단말기에 분실물을 수거하도록 알림을 발생시키는 수거알림모듈;을 포함하는, 택시용 분실물 알람 장치
The method of claim 2,
a boarding recognition module for storing boarding information by recognizing that a passenger has boarded the taxi when the terminal for the taxi driver and the terminal for passengers are located within a predetermined distance; and
and a third seat change detection module for comparing the empty seat image and the current seat image excluding the human object to determine whether there is a difference when the passenger terminal moves out of a predetermined distance from the taxi driver terminal. do,
The alarm generating module:
a loss confirmation module that transmits the image of the lost item to a passenger terminal and confirms whether the lost item is the owner; and
When it is confirmed that the passenger is the owner of the lost item, a collection notification module for generating a notification to collect the lost item in the terminal for the taxi driver; including, a lost item alarm device for a taxi
KR1020220016216A 2022-02-08 2022-02-08 Lost item alarm device for taxi KR20230119898A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220016216A KR20230119898A (en) 2022-02-08 2022-02-08 Lost item alarm device for taxi

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220016216A KR20230119898A (en) 2022-02-08 2022-02-08 Lost item alarm device for taxi

Publications (1)

Publication Number Publication Date
KR20230119898A true KR20230119898A (en) 2023-08-16

Family

ID=87848334

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220016216A KR20230119898A (en) 2022-02-08 2022-02-08 Lost item alarm device for taxi

Country Status (1)

Country Link
KR (1) KR20230119898A (en)

Similar Documents

Publication Publication Date Title
US10150448B2 (en) Autonomous vehicle unauthorized passenger or object detection
CN107817714B (en) Passenger monitoring system and method
CN109690609B (en) Passenger assist device, method, and program
JP6145210B1 (en) Passenger management device and passenger management method
US10817751B2 (en) Learning data creation method, learning method, risk prediction method, learning data creation device, learning device, risk prediction device, and recording medium
JP5127392B2 (en) Classification boundary determination method and classification boundary determination apparatus
CN107813829A (en) Passenger's tracing system and method
CN107813828A (en) Passenger verification system and method
CN105730392A (en) Reminding system and method for non-wearing of safety belt
CN108010153A (en) Bus driver's identification system and method
JPWO2021176642A5 (en)
KR20210042579A (en) Method And Apparatus for Detecting Vehicle Occupancy
CN112634558A (en) System and method for preventing removal of an item from a vehicle by an improper party
KR101205365B1 (en) System and method for acquiring information of passenger for the car
JP2008021177A (en) Dangerous condition determination device and dangerous condition recorder
JP2020166524A (en) Monitoring system, monitoring method, and computer program
KR20230119898A (en) Lost item alarm device for taxi
US20200265221A1 (en) Processing system and processing method
KR20160028542A (en) an emergency management and crime prevention system for cars and the method thereof
CN113615166A (en) Accident detection device and accident detection method
KR20140059677A (en) Accident recognition system for railway vehicle
Lupinska-Dubicka et al. Vehicle passengers detection for onboard eCall-compliant devices
US10482320B2 (en) Device and method for providing moving body information for a vehicle, and recording medium, on which a program for executing the method is recorded
EP4398201A1 (en) Activity and seating pose classification
US11967219B2 (en) System and method of notifying an owner of a lost item in a vehicle

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application