KR101365423B1 - Apparatus and method for lock using facial recognition - Google Patents

Apparatus and method for lock using facial recognition Download PDF

Info

Publication number
KR101365423B1
KR101365423B1 KR1020120115590A KR20120115590A KR101365423B1 KR 101365423 B1 KR101365423 B1 KR 101365423B1 KR 1020120115590 A KR1020120115590 A KR 1020120115590A KR 20120115590 A KR20120115590 A KR 20120115590A KR 101365423 B1 KR101365423 B1 KR 101365423B1
Authority
KR
South Korea
Prior art keywords
information
face
vehicle
user
occupant
Prior art date
Application number
KR1020120115590A
Other languages
Korean (ko)
Inventor
임기택
박부식
신대교
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020120115590A priority Critical patent/KR101365423B1/en
Application granted granted Critical
Publication of KR101365423B1 publication Critical patent/KR101365423B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20—Means to switch the anti-theft system on or off
    • B60R25/25—Means to switch the anti-theft system on or off using biometry
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/01—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles operating on vehicle systems or fittings, e.g. on doors, seats or windscreens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Lock And Its Accessories (AREA)

Abstract

When an auto-locking apparatus recognizes a face of a vehicle occupant to obtain the facial information of the occupant in order to control a child lock of a vehicle, the auto-locking apparatus confirms whether the obtained facial information is stored in advance. If the obtained facial information is stored in advance, the auto-locking apparatus checks whether the child lock of the vehicle is engaged, and controls the child lock of the vehicle to automatically lock the doors of the vehicle according to the status of the child lock of the vehicle and the information of the vehicle occupant. [Reference numerals] (110) Face recognition unit; (120) Facial information detection unit; (130) User information storing unit; (140) Locking mode check unit; (150) Control unit; (AA) Facial image; (BB) Child lock control

Description

얼굴 인지를 통한 자동 잠금 장치 및 이를 이용한 자동 잠금 방법{Apparatus and method for lock using facial recognition}Apparatus and method for lock using facial recognition

본 발명은 얼굴 인지를 통한 자동 잠금 장치 및 이를 이용한 자동 잠금 방법에 관한 것이다.The present invention relates to an automatic locking device using face recognition and an automatic locking method using the same.

자동차에는 어린이들이 문을 열지 못하도록 방지하는 잠금 장치(child lock)가 있다. 이 잠금 장치는 때때로 경찰차와 같은 곳에서도 뒷좌석 문을 열지 못하도록 하는데 사용된다.The car has a child lock that prevents children from opening the door. This lock is sometimes used to prevent the rear seat doors from opening, such as in a police car.

그러나 자동차 내에 잠금 장치가 구비되어 있다고 하더라도 자동차 문이 열리는 경우가 발생할 수 있다.However, even if the locking device is provided in the car, the door may open.

따라서, 본 발명은 뒷좌석에 탑승한 탑승자의 얼굴을 인지하여 문의 개폐를 자동으로 제어하는 자동 잠금 장치 및 이를 이용한 자동 잠금 방법을 제공한다.Accordingly, the present invention provides an automatic locking device for automatically controlling the opening and closing of a door by recognizing the face of the occupant in the rear seat and an automatic locking method using the same.

상기 본 발명의 기술적 과제를 달성하기 위한 본 발명의 하나의 특징인 자동 잠금 장치가 차량의 잠금 장치를 제어하는 방법은,Method for controlling the locking device of the vehicle is an automatic locking device which is one feature of the present invention for achieving the technical problem of the present invention,

차량 탑승자의 얼굴을 인식하여 상기 탑승자의 얼굴의 특징 정보인 얼굴 정보를 획득하는 단계; 상기 획득한 얼굴 정보가 미리 저장되어 있는지 확인하는 단계; 상기 획득한 얼굴 정보가 미리 저장되어 있지 않으면, 상기 획득한 얼굴 정보에 대한 사용자 정보의 등록 의사를 묻는 메시지를 출력하는 단계; 상기 획득한 얼굴 정보가 미리 저장되어 있는 얼굴 정보라면, 차량의 뒷좌석 문 잠금 장치 상태가 잠김 상태인지 확인하는 단계; 및 상기 확인한 결과 상기 차량의 잠금 장치가 잠김 상태가 아니라면, 상기 차량의 뒷좌석 문 잠금 장치 상태와 상기 탑승자의 정보에 따라 차량의 뒷좌석 문 잠금 장치를 자동으로 잠김 상태가 되도록 제어하는 단계를 포함한다.Recognizing a face of a vehicle occupant and acquiring face information which is characteristic information of the face of the occupant; Checking whether the acquired face information is stored in advance; If the acquired face information is not stored in advance, outputting a message asking for the intention of registering user information on the acquired face information; If the acquired face information is previously stored face information, checking whether a rear door lock state of the vehicle is locked; And if the locking device of the vehicle is not locked as a result of the checking, controlling the rear seat door locking device of the vehicle to be automatically locked according to the rear seat door locking device state and information of the occupant.

상기 미리 저장되어 있는지 확인하는 단계 이후에, 상기 획득한 얼굴 정보가 미리 저장되어 있지 않으면, 상기 획득한 얼굴 정보에 대한 사용자 정보의 등록 의사를 묻는 메시지를 출력하는 단계; 상기 등록 의사를 묻는 메시지에 대한 답으로 사용자 이름 정보가 입력되면, 상기 입력된 사용자 이름 정보가 중복되는 이름인지 확인하는 단계; 및 상기 사용자 이름이 중복되는 이름이 아니라면, 상기 획득한 얼굴 정보와 얼굴 사진 정보 및 사용자 이름 정보를 신규 사용자 정보로 등록하는 단계를 포함할 수 있다.After the checking whether the previously stored face information is not stored in advance, outputting a message asking for the intention of registering user information with respect to the acquired face information; Checking whether the input user name information is a duplicate name when the user name information is input in response to a message asking for the registration intention; And if the user name is not a duplicate name, registering the acquired face information, face photo information, and user name information as new user information.

상기 중복되는 이름인지 확인하는 단계에서, 상기 사용자 이름이 중복되는 이름이라면, 상기 획득한 얼굴 정보를 신규로 저장할 것인지 묻는 메시지를 출력하는 단계; 신규로 저장하는 것을 알리는 정보가 입력되면, 상기 획득한 얼굴 정보를 얼굴 사진 정보 및 사용자 이름 정보를 신규 사용자 정보로 등록하는 단계; 및 신규로 저장하지 않고 기존 정보를 갱신하는 것을 알리는 정보가 입력되면, 미리 저장되어 있는 정보 중 상기 사용자 이름에 대응하는 정보를 상기 획득한 얼굴 정보와 얼굴 사진 정보로 갱신하는 단계를 포함할 수 있다.In the checking of the duplicate name, if the user name is a duplicate name, outputting a message asking whether to newly store the acquired face information; Registering the acquired face information with face photo information and user name information as new user information when information indicating a new storing is input; And when information indicating that the existing information is updated without storing the data is input, updating the information corresponding to the user name among the previously stored information with the acquired face information and face photo information. .

상기 본 발명의 기술적 과제를 달성하기 위한 본 발명의 또 다른 특징인 차량의 자동 잠금 장치는,The automatic locking device of a vehicle which is another feature of the present invention for achieving the technical problem of the present invention,

탑승자가 착석했음을 인지하고, 차량에 탑승한 탑승자의 얼굴을 인식하여 화상 정보를 획득하는 얼굴 인지부; 얼굴 정보, 얼굴 사진 정보 및 사용자 이름 정보를 포함하는 사용자 정보를 저장하고 관리하는 사용자 정보 저장부; 상기 얼굴 인지부가 획득한 화상 정보로부터 얼굴 정보 및 얼굴 사진 정보를 추출하고, 상기 추출한 정보가 상기 사용자 정보 저장부에 저장되어 있는 정보인지 확인하는 얼굴 정보 검출부; 및 차량 문의 잠금 장치의 상태 정보와 상기 얼굴 정보 검출부가 검출한 탑승자에 대한 정보를 토대로 상기 차량 문의 잠금 장치를 자동으로 제어하도록 제어 신호를 생성하는 제어부를 포함한다.A face recognition unit recognizing that the occupant is seated and recognizing a face of the occupant in the vehicle to obtain image information; A user information storage unit for storing and managing user information including face information, face photo information, and user name information; A face information detection unit extracting face information and face photo information from the image information acquired by the face recognition unit and checking whether the extracted information is information stored in the user information storage unit; And a controller configured to generate a control signal to automatically control the vehicle door lock device based on the state information of the vehicle door lock device and the information on the occupant detected by the face information detector.

상기 자동 잠금 장치는 차량 문의 잠금 상태가 잠김으로 되어 있는지 아닌지 여부를 확인하고, 잠김으로 되어 있지 않으면 상기 제어부로 이를 알리는 잠금 여부 확인부를 포함할 수 있다.The automatic locking device may include checking whether the lock state of the vehicle door is locked or not, and locking the confirmation unit notifying the control unit if it is not locked.

상기 얼굴 정보 검출부는 외부로부터 상기 추출한 사용자 정보와 자동문 잠금 여부를 나타내는 정보가 함께 저장되도록 하는 신호를 입력받으면, 상기 추출한 사용자 정보와 상기 자동문 잠금 여부 정보를 상기 사용자 정보 저장부로 전달할 수 있다.When the face information detector receives a signal for storing the extracted user information and information indicating whether the automatic door is locked from the outside, the face information detector may transfer the extracted user information and the automatic door locking information to the user information storage.

본 발명에 따르면, 뒷좌석에 탑승한 탑승자의 얼굴을 인지하여 문의 개폐를 자동으로 제어하므로, 자동차 문이 임의로 열리는 것을 방지할 수 있다.According to the present invention, since the face of the occupant in the rear seat is recognized and automatically controlled to open and close the door, the vehicle door can be prevented from being opened arbitrarily.

도 1은 본 발명의 실시예에 따른 자동 잠금 장치의 구조도이다.
도 2는 본 발명의 실시예에 따른 자동 잠금 방법을 나타낸 흐름도이다.
도 3은 본 발명의 실시예에 따른 사용자 정보 등록을 나타낸 흐름도이다.
도 4는 본 발명의 실시예에 따라 자동 잠금 장치가 구비된 차량의 예시도이다.1 is a structural diagram of an automatic locking device according to an embodiment of the present invention.
2 is a flowchart illustrating an automatic locking method according to an embodiment of the present invention.
3 is a flowchart illustrating user information registration according to an embodiment of the present invention.
4 is an exemplary view of a vehicle equipped with an automatic locking device according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.DETAILED DESCRIPTION Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. Throughout the specification, when a part is said to "include" a certain component, it means that it can further include other components, without excluding other components unless specifically stated otherwise.

이하 도면을 참조로 하여 본 발명의 실시예에 따른 얼굴 인지를 통한 자동 잠금 장치 및 방법에 대해 설명하기로 한다.Hereinafter, an automatic locking device and a method through face recognition according to an embodiment of the present invention will be described with reference to the drawings.

도 1은 본 발명의 실시예에 따른 자동 잠금 장치의 구조도이다.1 is a structural diagram of an automatic locking device according to an embodiment of the present invention.

도 1에 도시된 바와 같이, 뒷좌석 탑승자의 얼굴을 인지하여 이를 토대로 뒷좌석 문의 자동 잠금 여부를 결정하는 자동 잠금 장치(100)는 얼굴 인지부(110), 얼굴 정보 검출부(120), 사용자 정보 저장부(130), 잠금 여부 확인부(140) 및 제어부(150)를 포함한다.As shown in FIG. 1, the automatic locking device 100 for recognizing a face of a rear seat occupant and determining whether to automatically lock a rear door is based on a face recognition unit 110, a face information detector 120, and a user information storage unit. 130, the lock check unit 140 and the controller 150.

얼굴 인지부(110)는 탑승자가 착석했음을 인지하고, 차량에 탑승한 탑승자의 얼굴을 인식하여 화상 정보를 획득한다. 얼굴 인지부(110)가 탑승자가 착석하였음을 인지하는 방법과 탑승자의 얼굴을 인식하는 방법은 여러 방법에 의해 인지하고 인식할 수 있으므로, 본 발명의 실시예에서는 어느 하나의 방법으로 한정하여 설명하지는 않는다. The face recognizing unit 110 recognizes that the occupant is seated, recognizes the face of the occupant in the vehicle, and acquires image information. Since the face recognizing unit 110 recognizes and recognizes the occupant's face can be recognized and recognized by various methods, embodiments of the present invention will not be limited to any one method. Do not.

본 발명의 실시예에서는 얼굴 인지부(110)는 탑승자의 얼굴을 인식하기 위해 얼굴 인지 카메라를 통해 구현되며, 운전석 또는 조수석 중 하나 이상의 좌석의 일측에 설치되는 것을 예로 하여 설명한다. 이를 위해 본 발명의 실시예에서는 자동 잠금 장치(100)에서 얼굴 인지부(110)만 별도로 구비되어 있는 것을 예로 하여 설명하나, 반드시 이와 같이 한정되는 것은 아니다.In the embodiment of the present invention, the face recognition unit 110 is implemented through a face recognition camera to recognize the face of the occupant, it will be described by way of example installed on one side of one or more seats of the driver's seat or the passenger seat. To this end, in the embodiment of the present invention will be described with an example that only the face recognition unit 110 is provided separately from the automatic locking device 100, but is not necessarily limited to this.

얼굴 정보 검출부(120)는 얼굴 인지부(110)가 획득한 화상 정보로부터 탑승자의 얼굴 부분의 사진(이하, ‘얼굴 사진 정보’라 지칭함)과 함께 얼굴 정보를 검출한다. 얼굴 정보는 탑승자의 얼굴에서 특징이 될 수 있는 부분(예를 들어, 눈의 크기, 점 위치, 입 크기 등)을 의미한다. 얼굴 정보 검출부(120)가 화상 정보로부터 얼굴 정보를 검출하는 방법은 이미 알려진 사항으로, 본 발명의 실시예에서는 상세한 설명을 생략한다. The face information detector 120 detects face information together with a picture of a part of a passenger's face (hereinafter, referred to as “face picture information”) from the image information acquired by the face recognition unit 110. The face information refers to a part (eg, eye size, point position, mouth size, etc.) that may be characteristic of the passenger's face. The method for detecting the face information from the image information by the face information detector 120 is already known, and detailed descriptions thereof will be omitted in the exemplary embodiment of the present invention.

그리고, 얼굴 정보 검출부(120)는 검출한 얼굴 정보가 사용자 정보 저장부(130)에 저장된 사용자 정보인지 확인한다. 또한 사용자 정보 저장부(130)에 탑승자의 얼굴 정보가 저장되어 있지 않으면 화상 정보로부터 획득한 탑승자의 얼굴 정보를 사용자 정보 저장부(130)에 저장하도록 하는 화면을 운전자 또는 동승자에게 제공한다. 만약 얼굴 정보 검출부(120)가 검출한 얼굴 정보를 사용자 정보 저장부(130)에 따로 저장하지 않아도 되는 경우, 운전자 또는 동승자의 입력 신호에 의해 검출한 얼굴 정보는 삭제한다.The face information detector 120 determines whether the detected face information is user information stored in the user information storage 130. In addition, if the face information of the occupant is not stored in the user information storage 130, a screen for allowing the face information of the occupant obtained from the image information to be stored in the user information storage 130 is provided to the driver or passenger. If the face information detection unit 120 does not need to separately store the detected face information in the user information storage unit 130, the face information detected by the driver's or passenger's input signal is deleted.

사용자 정보 저장부(130)는 얼굴 정보 검출부(120)가 획득한 얼굴 정보 및 얼술 사진 정보를 사용자 이름 정보와 함께 저장한다. 그리고 얼굴 정보 검출부(120)에서 뒷 좌석의 탑승자가 어린이 또는 장애인인지 확인할 때 사용자 정보를 제공한다. 사용자 정보 저장부(130)에는 차량 소유자에 의해 미리 자신의 가족 중 어린이 또는 장애인에 해당하는 사용자 정보가 저장되어 있다. 또한 사용자에 의해 어린이 또는 장애인에 해당하는 탑승자의 사용자 정보가 추가로 저장되거나, 이미 저장되어 있는 사용자 정보가 갱신될 수도 있다.The user information storage unit 130 stores the face information and the sulsul photo information acquired by the face information detection unit 120 together with the user name information. In addition, the face information detection unit 120 provides user information when checking whether the occupant of the rear seat is a child or a disabled person. The user information storage unit 130 stores user information corresponding to a child or a disabled person of his / her family in advance by the vehicle owner. In addition, user information of a passenger corresponding to a child or a disabled person may be additionally stored by the user, or user information that is already stored may be updated.

사용자 정보 저장부(130)에 저장된 사용자 정보는 다음 표 1과 같은 형태로 저장될 수 있다.User information stored in the user information storage unit 130 may be stored in the form shown in Table 1 below.

일련번호Serial Number 이름name 자동 잠금 여부Auto Lock 나이age 얼굴 정보Face information 1One 홍길동Hong Gil Dong NN 3535 얼굴 정보 1Face information 1 22 짱구Crayon YY 77 얼굴 정보 2Face details 2 …... …... …... …... …...

여기서 얼굴 정보는 점의 위치나 눈의 크기, 입 크기 등 사용자별로 특징적으로 얼굴을 구분할 수 있도록 하는 정보를 의미한다. 그리고 자동 잠금 여부는 운전자 또는 동승자에 의해 선택적으로 입력될 수도 있고, 사용자의 나이에 따라 강제적으로 설정할 수도 있다. 그러나 본 발명의 실시예에서는 운전자 또는 동승자에 의해 선택적으로 입력되는 것을 예로 하여 설명한다.In this case, the face information refers to information for distinguishing a face characteristic for each user such as a dot position, an eye size, and a mouth size. The automatic locking may be selectively input by a driver or a passenger, or may be forcibly set according to the age of the user. However, in the embodiment of the present invention will be described with an example that is selectively input by the driver or passengers.

잠금 여부 확인부(140)는 차량의 뒷 좌석 문의 잠금 장치의 상태가 잠금으로 되어 있는지 아닌지 여부를 확인한다. The lock check unit 140 checks whether or not the state of the lock device of the rear seat door of the vehicle is locked.

제어부(150)는 얼굴 정보 검출부(120)에서 탑승자가 어린이 또는 장애인 중 어느 하나의 그룹에 속해있고, 잠금 여부 확인부(140)가 차량 문의 잠금 장치의 상태가 열려 있는 상태라 확인하면, 차량 뒷 좌석 문의 잠금 장치가 잠금 상태가 되도록 제어하는 제어 신호를 생성한다. 그리고 생성한 제어 신호를 차량 문의 잠금 장치에 반영되도록 전송한다.The controller 150 determines that the occupant belongs to any one of a child or a disabled person in the face information detecting unit 120 and the lock determining unit 140 determines that the lock state of the vehicle door is open. Generate a control signal to control the locking of the seat door to be locked. The generated control signal is transmitted to be reflected to the vehicle door lock.

상기에서 설명한 자동 잠금 장치(100)를 이용하여 어린이 또는 장애인이 차량에 탑승한 경우 뒷 좌석 문을 자동으로 잠그는 방법에 대해 도 2를 참조로 설명한다.A method of automatically locking the rear seat door when a child or a disabled person rides in a vehicle using the above-described automatic locking device 100 will be described with reference to FIG. 2.

도 2는 본 발명의 실시예에 따른 자동 잠금 방법을 나타낸 흐름도이다.2 is a flowchart illustrating an automatic locking method according to an embodiment of the present invention.

도 2에 도시된 바와 같이, 차량 뒷 좌석으로 탑승자가 탑승하여 착석하면, 얼굴 인지부(110)는 차량에 탑승자가 착석하였음을 인지한다(S100). 착석을 인지한 후 얼굴 인지부(110)는 탑승자의 얼굴을 인식한다(S120). As shown in FIG. 2, when the occupant is seated and seated in the rear seat of the vehicle, the face recognizing unit 110 recognizes that the occupant is seated in the vehicle (S100). After recognizing the seating, the face recognizing unit 110 recognizes the face of the passenger (S120).

얼굴 정보 검출부(120)는 S120 단계에서 얼굴 인지부(110)가 인식한 탑승자의 얼굴 화상 정보로부터 얼굴 정보를 추출한다(S130). 여기서 얼굴 정보는 탑승자의 얼굴에서 특징이 될 수 있는 부분(예를 들어, 눈의 크기, 점 위치, 입 크기 등)을 의미하며, 얼굴 사진과 함께 추출한다. The face information detection unit 120 extracts face information from the face image information of the passenger recognized by the face recognizing unit 110 in step S120 (S130). Here, the face information means a part (eg, eye size, point position, mouth size, etc.) that may be characteristic of the passenger's face, and is extracted together with the face picture.

얼굴 정보 검출부(120)는 사용자 정보 저장부(130)와의 연동을 통해 S130 단계에서 추출한 얼굴 정보에 대한 사용자 정보가 저장되어 있는지 판단한다(S140). 만약 저장된 사용자라면, 차량 뒷 좌석에 탑승한 탑승자는 어린이 또는 장애인에 해당하므로, 차량 문의 자동 잠금이 필요하다. 따라서 잠금 여부 확인부(140)는 현재 차량 문의 상태가 잠김 상태인지 아닌지 확인한다(S150).The face information detection unit 120 determines whether user information on the face information extracted in step S130 is stored through interworking with the user information storage unit 130 (S140). If the user is a stored user, the occupant in the rear seat of the vehicle corresponds to a child or a disabled person, and therefore, an automatic door lock is required. Therefore, the lock check unit 140 checks whether the current vehicle door state is locked or not (S150).

만약 차량 문의 상태가 잠김 상태이면 자동 잠금 장치(100)는 실행을 종료한다. 그러나, 차량 문의 상태가 잠김 상태가 아니라면, 제어부(150)는 사용자 정보 저장부(130)에 저장되어 있는 사용자에 따른 자동 잠금 여부 정보가 'Y'로 설정되어 있다면 이를 토대로 차량 문의 상태가 잠김 상태가 되도록 제어 신호를 생성하여 문이 자동으로 잠김 상태가 되도록 한다(S150). If the state of the vehicle door is locked, the automatic locking device 100 ends the execution. However, if the vehicle door state is not in the locked state, the controller 150 locks the vehicle door state based on this if the automatic lock information according to the user stored in the user information storage unit 130 is set to 'Y'. By generating a control signal so that the door is automatically locked (S150).

한편 S130 단계에서 확인한 결과 S130 단계에서 추출한 얼굴 정보가 사용자 정보 저장부(130)에 저장되어 있지 않다면, 얼굴 정보 검출부(120)는 차량 운전자 또는 동승자에게 S120 단계에서 추출한 얼굴 정보 및 얼굴 사진 정보를 사용자 정보 저장부(130)에 저장할지 여부를 문의하는 메시지를 제공하여 사용자 정보를 저장하는지 여부를 판단한다(S160). On the other hand, if it is determined in step S130 that the face information extracted in step S130 is not stored in the user information storage unit 130, the face information detection unit 120 is a user of the face information and face photo information extracted in step S120 to the vehicle driver or passenger In operation S160, it is determined whether the user information is stored by providing a message asking whether to store the information in the information storage unit 130 or not.

만약 운전자 또는 동승자가 해당 사용자 정보를 저장하지 않는 것으로 하면, 자동 잠금 장치(100)는 실행을 종료한다. 그러나, 사용자 정보를 저장할 것을 알리는 입력 신호가 발생하면, 사용자 정보 저장부(130)는 S120 단계에서 추출한 얼굴 정보와 얼굴 사진 정보를 등록한다(S170). 여기서 S160 단계 및 S170 단계에서 사용자 정보를 등록하는 과정에 대해 도 3을 참조로 상세히 설명한다.If the driver or passenger does not store the user information, the automatic locking device 100 ends the execution. However, when an input signal indicating to store user information is generated, the user information storage unit 130 registers the face information and the face photo information extracted in step S120 (S170). A process of registering user information in steps S160 and S170 will be described in detail with reference to FIG. 3.

도 3은 본 발명의 실시예에 따른 사용자 정보 등록을 나타낸 흐름도이다.3 is a flowchart illustrating user information registration according to an embodiment of the present invention.

도 3에 도시된 바와 같이 얼굴 정보 검출부(120)가 뒷 좌석에 착석한 탑승자의 얼굴 정보를 획득하면(S161), 얼굴 정보 검출부(120)는 획득한 얼굴 사진 정보를 운전자 또는 동승자에게 제공하여 해당 얼굴 사진에 대한 사용자 정보를 등록할 것인지 여부를 문의한다(S162).As shown in FIG. 3, when the face information detector 120 acquires face information of a passenger seated in a rear seat (S161), the face information detector 120 provides the acquired face photograph information to a driver or a passenger. It is inquired whether or not to register user information on the face picture (S162).

운전자 또는 동승자가 사용자 정보를 등록함을 알리는 신호를 입력하고, 사용자 얼굴에 대한 사용자 이름을 입력하면 얼굴 정보 검출부(120)는 사용자 이름 정보를 획득한다(S163). 사용자 정보 저장부(130)에 저장된 사용자 정보 중 얼굴 정보 검출부(120)는 S163 단계에서 획득한 사용자 이름 정보와 동일한 이름으로 저장된 사용자 정보가 있는지, 즉 이름이 중복되어 저장되어 있는지 확인한다(S164). When the driver or passenger inputs a signal indicating that the user information is registered, and inputs a user name for the user's face, the face information detector 120 acquires user name information (S163). Among the user information stored in the user information storage unit 130, the face information detection unit 120 checks whether there is user information stored under the same name as the user name information acquired in step S163, that is, the names are duplicated and stored (S164). .

만약 이름이 중복되어 있지 않다면, 사용자 정보 저장부(130)는 운전자 또는 동승자에 의해 입력된 사용자 이름 정보와 S161 단계에서 얼굴 정보 검출부(120)가 획득한 얼굴 정보 및 얼굴 사진 정보를 신규 사용자 정보로 등록한다(S170). 그러나 S164 단계에서 판단한 결과 이름이 중복되어 이미 저장되어 있는 경우라면, 얼굴 정보 검출부(120)는 미리 사용자 정보 저장부(130)에 저장된 사용자 정보와 이름을 운전자 또는 동승자에게 제공한다(S165). If the names do not overlap, the user information storage unit 130 uses the user name information input by the driver or passenger and the face information and the face photo information acquired by the face information detection unit 120 in step S161 as new user information. Register (S170). However, if it is determined in step S164 that the name is duplicated and already stored, the face information detection unit 120 provides the driver or passenger with the user information and name previously stored in the user information storage unit 130 (S165).

그리고 S161단계에서 획득한 정보를 운전자 또는 동승자에게 제공한 저장되어 있는 정보와 달리 신규 정보로 저장할 것인지 여부를 문의하는 메시지를 제공한다(S166). 만약 저장되어 있는 정보와 획득한 정보가 상이한 경우, 운전자 또는 동승자는 신규로 저장할 것을 알리는 정보를 발생하고, 사용자 정보 저장부(130)는 S161 단계에서 획득한 정보를 신규 사용자 정보로 등록한다(S170). In addition, unlike the stored information provided to the driver or passenger, the information acquired in step S161 is provided with a message for inquiring whether to store the information as new information (S166). If the stored information and the acquired information are different, the driver or passenger generates information indicating that the new storage is to be stored, and the user information storage unit 130 registers the information acquired in step S161 as new user information (S170). ).

그러나, 동일한 사용자를 인식한 경우에는 사용자 정보 저장부(130)는 기존 정보를 갱신한다(S168). 이는 사용자 정보 저장부(130)에 저장되어 있는 얼굴 사진 정보와 S161 단계에서 획득한 얼굴 정보가 다소 상이한 경우, 즉, 어린이의 경우 성장을 하거나 장애인의 경우 상태가 호전되거나 악화된 경우 등과 같이 어린이 또는 장애인의 상태에 변화가 있어 얼굴 정보 검출부(120)에서 정확하게 검출하지 못한 경우 기존 정보를 갱신할 수도 있다.However, if the same user is recognized, the user information storage unit 130 updates the existing information (S168). This is because the face photo information stored in the user information storage unit 130 and the face information acquired in step S161 are slightly different, that is, when the child grows up or the disabled person improves or worsens, for example, the child or the like. If there is a change in the state of the disabled and the face information detection unit 120 does not detect correctly, the existing information may be updated.

이상에서 설명한 자동 잠금 장치(100)가 구비된 차량에 대해 도 4를 참조로 설명한다.A vehicle equipped with the self-locking device 100 described above will be described with reference to FIG. 4.

도 4는 본 발명의 실시예에 따라 자동 잠금 장치가 구비된 차량의 예시도이다.4 is an exemplary view of a vehicle equipped with an automatic locking device according to an embodiment of the present invention.

도 4에 도시된 바와 같이, 본 발명의 실시예에서는 자동 잠금 장치(100) 중 얼굴 인지부(110)가 차량의 조수석의 일측면에 설치되어 차량의 뒷 좌석에 탑승하는 탑승자의 얼굴을 인지한다. 그리고 운전석과 조수석 사이에 얼굴 인지부(110)를 제외한 나머지 자동 잠금 장치(100)의 구조들이 설치되어, 차량의 뒷 좌석 문의 잠금 장치를 제어하도록 한다.As shown in FIG. 4, in the embodiment of the present invention, the face recognizing unit 110 of the automatic locking device 100 is installed on one side of the passenger seat of the vehicle to recognize the face of the occupant who rides in the rear seat of the vehicle. . And the rest of the structure of the automatic locking device 100 except for the face recognition unit 110 is installed between the driver's seat and the passenger seat, to control the locking device of the rear seat door of the vehicle.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, It belongs to the scope of right.

Claims (6)

자동 잠금 장치가 차량의 뒷좌석 문 잠금 장치를 제어하는 방법에 있어서,
차량 탑승자의 얼굴을 인식하여 상기 탑승자의 얼굴의 특징 정보인 얼굴 정보를 획득하는 단계;
상기 획득한 얼굴 정보가 미리 저장되어 있는지 확인하는 단계;
상기 획득한 얼굴 정보가 미리 저장되어 있지 않으면, 상기 획득한 얼굴 정보에 대한 사용자 정보의 등록 의사를 묻는 메시지를 출력하는 단계;
상기 획득한 얼굴 정보가 미리 저장되어 있는 얼굴 정보라면, 차량의 뒷좌석 문 잠금 장치 상태가 잠김 상태인지 확인하는 단계; 및
상기 확인한 결과 상기 차량의 잠금 장치가 잠김 상태가 아니라면, 상기 차량의 뒷좌석 문 잠금 장치 상태와 상기 탑승자의 정보에 따라 차량의 뒷좌석 문 잠금 장치를 자동으로 잠김 상태가 되도록 제어하는 단계
를 포함하는 자동 잠금 방법.In the method of the automatic locking device for controlling the rear door lock of the vehicle,
Recognizing a face of a vehicle occupant and acquiring face information which is characteristic information of the face of the occupant;
Checking whether the acquired face information is stored in advance;
If the acquired face information is not stored in advance, outputting a message asking for the intention of registering user information on the acquired face information;
If the acquired face information is previously stored face information, checking whether a rear door lock state of the vehicle is locked; And
If it is determined that the locking device of the vehicle is not locked, controlling the rear seat door locking device of the vehicle to be automatically locked according to the rear seat door locking device state and information of the occupant of the vehicle;
Automatic locking method comprising a. 제1항에 있어서,
상기 등록 의사를 묻는 메시지를 출력하는 단계는,
상기 등록 의사를 묻는 메시지에 대한 답으로 사용자 이름 정보가 입력되면, 상기 입력된 사용자 이름 정보가 중복되는 이름인지 확인하는 단계; 및
상기 사용자 이름이 중복되는 이름이 아니라면, 상기 획득한 얼굴 정보와 얼굴 사진 정보 및 사용자 이름 정보를 신규 사용자 정보로 등록하는 단계
를 포함하는 자동 잠금 방법.The method of claim 1,
The step of outputting a message asking for the registration intention,
Checking whether the input user name information is a duplicate name when the user name information is input in response to a message asking for the registration intention; And
If the user name is not a duplicate name, registering the acquired face information, face photo information, and user name information as new user information;
Automatic locking method comprising a. 제2항에 있어서,
상기 중복되는 이름인지 확인하는 단계에서,
상기 사용자 이름이 중복되는 이름이라면, 상기 획득한 얼굴 정보를 신규로 저장할 것인지, 신규로 저장하지 않고 기존 정보를 갱신할 것인지 묻는 메시지를 출력하는 단계;
신규로 저장하는 것을 알리는 정보가 입력되면, 상기 획득한 얼굴 정보를 얼굴 사진 정보 및 사용자 이름 정보를 신규 사용자 정보로 등록하는 단계; 및
신규로 저장하지 않고 기존 정보를 갱신하는 것을 알리는 정보가 입력되면, 미리 저장되어 있는 정보 중 상기 사용자 이름에 대응하는 정보를 상기 획득한 얼굴 정보와 얼굴 사진 정보로 갱신하는 단계
를 포함하는 자동 잠금 방법.3. The method of claim 2,
In the checking of the duplicate name,
If the user name is a duplicate name, outputting a message asking whether to store the acquired face information newly or update existing information without storing the new face information;
Registering the acquired face information with face photo information and user name information as new user information when information indicating a new storing is input; And
If information indicating that the existing information is to be updated without storing the new information is input, updating the information corresponding to the user name among the previously stored information with the acquired face information and face photo information.
Automatic locking method comprising a. 차량의 자동 잠금 장치에 있어서,
탑승자가 착석했음을 인지하고, 차량에 탑승한 탑승자의 얼굴을 인식하여 화상 정보를 획득하는 얼굴 인지부;
얼굴 정보, 얼굴 사진 정보 및 사용자 이름 정보를 포함하는 사용자 정보를 저장하고 관리하는 사용자 정보 저장부;
상기 얼굴 인지부가 획득한 화상 정보로부터 얼굴 정보 및 얼굴 사진 정보를 추출하고, 상기 추출한 정보가 상기 사용자 정보 저장부에 저장되어 있는 정보인지 확인하여 상기 차량에 탑승한 탑승자의 얼굴 정보를 검출하며, 상기 추출한 얼굴 정보가 미리 저장되어 있지 않은 경우 상기 추출한 얼굴 정보와 얼굴 사진 정보를 저장할지 여부를 문의하는 메시지를 출력하는 얼굴 정보 검출부; 및
차량의 뒷좌석 문 잠금 장치의 상태 정보와 상기 얼굴 정보 검출부가 검출한 탑승자의 얼굴 정보를 토대로, 상기 탑승자가 미리 설정한 그룹에 속해 있는 경우에는 상기 차량 뒷좌석 문 잠금 장치의 상태가 자동으로 잠김 상태가 되도록 제어하도록 제어 신호를 생성하는 제어부
를 포함하는 자동 잠금 장치.In the auto locking device of the vehicle,
A face recognition unit recognizing that the occupant is seated and recognizing a face of the occupant in the vehicle to obtain image information;
A user information storage unit for storing and managing user information including face information, face photo information, and user name information;
Extracting face information and face photo information from the image information acquired by the face recognition unit, detecting whether the extracted information is information stored in the user information storage unit, and detecting face information of a passenger in the vehicle; A face information detector for outputting a message inquiring whether to store the extracted face information and face photo information when the extracted face information is not stored in advance; And
When the occupant belongs to a preset group based on the state information of the rear seat door lock of the vehicle and the face information of the occupant detected by the face information detector, the state of the rear seat door lock of the vehicle is automatically locked. A control unit for generating a control signal to control
Automatic locking device comprising a. 제4항에 있어서,
상기 차량의 뒷좌석 문 잠금 상태가 잠김으로 되어 있는지 아닌지 여부를 확인하고, 잠김으로 되어 있지 않으면 상기 제어부로 이를 알리는 잠금 여부 확인부
를 포함하는 자동 잠금 장치.
5. The method of claim 4,
Check whether the lock state of the rear seat door of the vehicle is locked or not, and if it is not locked, the lock check unit for notifying the control unit
Automatic locking device comprising a.
삭제delete
KR1020120115590A 2012-10-17 2012-10-17 Apparatus and method for lock using facial recognition KR101365423B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120115590A KR101365423B1 (en) 2012-10-17 2012-10-17 Apparatus and method for lock using facial recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120115590A KR101365423B1 (en) 2012-10-17 2012-10-17 Apparatus and method for lock using facial recognition

Publications (1)

Publication Number Publication Date
KR101365423B1 true KR101365423B1 (en) 2014-02-21

Family

ID=50271559

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120115590A KR101365423B1 (en) 2012-10-17 2012-10-17 Apparatus and method for lock using facial recognition

Country Status (1)

Country Link
KR (1) KR101365423B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115610349A (en) * 2022-10-21 2023-01-17 阿维塔科技(重庆)有限公司 Intelligent interaction method and device based on multimode fusion

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040013539A (en) * 2002-08-07 2004-02-14 현대자동차주식회사 Apparatus for controlling child lock of vehicle and method therefore
KR20060058435A (en) * 2004-11-25 2006-05-30 기아자동차주식회사 Safety control device of vehicle and method thereof

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040013539A (en) * 2002-08-07 2004-02-14 현대자동차주식회사 Apparatus for controlling child lock of vehicle and method therefore
KR20060058435A (en) * 2004-11-25 2006-05-30 기아자동차주식회사 Safety control device of vehicle and method thereof

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115610349A (en) * 2022-10-21 2023-01-17 阿维塔科技(重庆)有限公司 Intelligent interaction method and device based on multimode fusion
CN115610349B (en) * 2022-10-21 2024-05-17 阿维塔科技(重庆)有限公司 Intelligent interaction method and device based on multimode fusion

Similar Documents

Publication Publication Date Title
JP6650032B2 (en) Vehicle control system based on human face recognition
JP6447379B2 (en) Authentication apparatus, authentication system, and authentication method
US9822576B2 (en) Method for operating an activatable locking device for a door and/or a window, securing device for a vehicle, vehicle
WO2019201307A1 (en) Method, device, and system for preventing terminal apparatus from being left in vehicle and vehicle
US11511756B2 (en) Passenger authentication system for a vehicle
US20200135190A1 (en) Vehicle Digital Assistant Authentication
JP2008296777A (en) Vehicular opening/closing control device
US11495128B2 (en) In-vehicle information system
KR101365423B1 (en) Apparatus and method for lock using facial recognition
CN112124232A (en) Method for automatically adjusting vehicle seat
US20180361992A1 (en) Vehicle lighting system
JP2021189620A (en) Vehicle control system, and vehicle control method
US9908436B2 (en) System and method for backseat child safety
CN113799731A (en) Vehicle control system, server, and vehicle control method
KR20150027319A (en) Apparatus and method for activating child safety lock
JP6381937B2 (en) Vehicle door opening / closing control device
JP6434291B2 (en) Child lock control device
CN107093161A (en) Public transport is invited guests to be seated method and device
US10430675B2 (en) Method and device for providing a piece of occupant information for a safety unit for a vehicle
JP2017095008A (en) Control device, control method and program
KR20130131719A (en) Face authentication apparatus and method for vehicle
CN116248996A (en) Control method and control system for in-vehicle camera of vehicle
GB2564938A (en) Vehicle lock control system
DE102017218100A1 (en) Method and apparatus for configuring vehicle functions
JP2021188295A (en) Vehicle control system and vehicle control method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161229

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171207

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190211

Year of fee payment: 6