KR20190090630A - Method And Digital Door Lock Apparatus for Providing Situational Awareness by using Detecting Object of Blind Area - Google Patents

Method And Digital Door Lock Apparatus for Providing Situational Awareness by using Detecting Object of Blind Area Download PDF

Info

Publication number
KR20190090630A
KR20190090630A KR1020180009570A KR20180009570A KR20190090630A KR 20190090630 A KR20190090630 A KR 20190090630A KR 1020180009570 A KR1020180009570 A KR 1020180009570A KR 20180009570 A KR20180009570 A KR 20180009570A KR 20190090630 A KR20190090630 A KR 20190090630A
Authority
KR
South Korea
Prior art keywords
door lock
situation
detection information
image
preset
Prior art date
Application number
KR1020180009570A
Other languages
Korean (ko)
Other versions
KR102033057B1 (en
Inventor
유용성
Original Assignee
주식회사 오션아이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 오션아이 filed Critical 주식회사 오션아이
Priority to KR1020180009570A priority Critical patent/KR102033057B1/en
Publication of KR20190090630A publication Critical patent/KR20190090630A/en
Application granted granted Critical
Publication of KR102033057B1 publication Critical patent/KR102033057B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/182—Level alarms, e.g. alarms responsive to variables exceeding a threshold
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B5/00—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
    • G08B5/22—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C19/00—Electric signal transmission systems
    • G08C19/02—Electric signal transmission systems in which the signal transmitted is magnitude of current or voltage
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05B—LOCKS; ACCESSORIES THEREFOR; HANDCUFFS
    • E05B47/00—Operating or controlling locks or other fastening devices by electric or magnetic means
    • E05B2047/0048—Circuits, feeding, monitoring
    • E05B2047/005—Opening, closing of the circuit
    • E05B2047/0056—Opening, closing of the circuit by sensing the presence of a person, e.g. body heat sensor
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05B—LOCKS; ACCESSORIES THEREFOR; HANDCUFFS
    • E05B47/00—Operating or controlling locks or other fastening devices by electric or magnetic means
    • E05B2047/0048—Circuits, feeding, monitoring
    • E05B2047/0067—Monitoring

Abstract

Disclosed are a method and a digital door lock apparatus for providing situational awareness by using object detection of a blind area. The digital door lock apparatus having a fisheye lens camera for sensing an object in a blind area not only automatically records an image photographed by a fisheye lens if an object is sensed based on information sensed from an illumination sensor, a motion sensor and an impact sensor but recognizes conditions by step based on the sensed information to perform a pre-registered motion according to the conditions.

Description

사각지대 객체 감지를 이용하여 상황을 인지하는 방법 및 디지털 도어락 장치{Method And Digital Door Lock Apparatus for Providing Situational Awareness by using Detecting Object of Blind Area}Method and Digital Door Lock Apparatus for Providing Situational Awareness by using Detecting Object of Blind Area}

본 실시예는 사각지대 객체 감지를 이용하여 상황을 인지하는 방법 및 디지털 도어락 장치에 관한 것이다. The present embodiment relates to a method for recognizing a situation using blind spot object detection and a digital door lock device.

이하에 기술되는 내용은 단순히 본 실시예와 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다.The contents described below merely provide background information related to this embodiment and do not constitute a prior art.

일반적으로 일반 가정, 상점, 정부 기관, 기업 등은 인가되지 않은 외부인의 출입을 제한하기 위한 출입 통제 시스템을 널리 사용하고 있다. 출입 통제 시스템은 저가의 단순 자물쇠에서 복잡한 기계적 메커니즘(Mechanism)을 가진 고가의 기계적 장치와 기계적 메커니즘에 전자적 기술이 결합된 전자적 장치에 이르기까지 여러 형태로 제작되어 사용되고 있다.Generally, general households, shops, government agencies, companies, etc. are widely using access control systems to restrict unauthorized access by outsiders. Access control systems are used in many forms, from low cost simple locks to expensive mechanical devices with complex mechanical mechanisms, to electronic devices that combine mechanical mechanisms with electronic technology.

최근에는 단지 기계적 메커니즘에 의해서만 작동하는 출입문의 잠금 장치의 단점을 개선하기 위하여 전자기(Electromagnetic) 기술을 적용한 디지털 도어락이 널리 사용되고 있다. 디지털 도어락은 키 입력부를 통한 인증수단 입력 방식, 마그네틱 띠(Magnetic Stripe)를 입힌 마그네틱 카드방식, RF(Radio Frequency) 카드 방식, IC(Integrated Circuit) 카드 방식, 지문 인식, 홍채 인식 등의 다양한 인증 기술을 이용하여 출입자를 인증하고, 불법적인 침입을 방지한다.Recently, digital door locks using electromagnetic technology have been widely used in order to improve the disadvantage of the door locking device which operates only by a mechanical mechanism. Digital door lock has various authentication technologies such as authentication method input method through key input unit, magnetic stripe with magnetic stripe, RF (Radio Frequency) card, IC (Integrated Circuit) card, fingerprint recognition, iris recognition, etc. Authenticate accessors and prevent illegal intrusion.

키 입력부를 통한 인증수단 입력 방식을 채택하는 종래의 디지털 도어락은 통상 복수의 키 버튼이라는 입력 장치를 구비하고, 사용자가 복수의 키 버튼을 눌러 숫자열을 입력하면 마이크로프로세서에서 입력된 숫자열이 비밀번호와 일치하는지 비교하여 일치할 때, 도어를 자동으로 개방하는 방식으로 구성된다.Conventional digital door lock adopting the authentication means input method through the key input unit is usually provided with an input device called a plurality of key buttons, when the user presses a plurality of key buttons to input a string of numbers, the numeric string input from the microprocessor is a password And the door is automatically opened when it matches.

하지만, 종래의 도어락은 별도의 장치와 출입자가 지녀야 하는 유닛이 필요하여 휴대의 불편과 추가 비용이 요구되는 문제점을 안고 있다. 또한, 출입자간의 약속된 일정 인증번호 및 난수를 발생하여 전송된 OTP(One Time Password)를 키패드에 입력하는 방식은 사용자가 디지털 도어락을 이용하여 도어를 개방하는 데에 있어 물리적인 제약을 안고 있다.However, the conventional door lock has a problem in that it requires a separate device and a unit to be carried by the accessor, which requires the inconvenience of carrying and additional costs. In addition, a method of inputting a one-time password (OTP) transmitted by generating an appointment schedule authentication number and a random number between accessors on a keypad has a physical limitation in opening a door by using a digital door lock.

따라서, 출입자의 편의성을 도모하면서도 강화된 보안수준을 유지할 수 있는 기술을 필요로 한다.Therefore, there is a need for a technology that can maintain the security level while enhancing the convenience of the accessor.

본 실시예는 어안렌즈 카메라를 구비하는 디지털 도어락 장치가 조도 센서, 모션 센서, 충격 센서로부터 센싱된 정보에 근거하여 객체가 감지되면 어안 렌즈로 촬영된 영상을 자동으로 녹화할 뿐만 아니라, 센싱된 정보를 근거로 단계별 상황을 인지하여 상황에 따른 기 등록된 동작을 수행하도록 하는 사각지대의 물체를 감지하기 위한 디지털 도어락 장치 및 방법을 제공하는 데 목적이 있다.According to the present embodiment, when an object is detected based on information sensed by an illumination sensor, a motion sensor, or an impact sensor, the digital door lock device having a fisheye lens camera not only automatically records an image photographed by the fisheye lens, but also sensed information. It is an object of the present invention to provide a digital door lock device and method for detecting an object in the blind spot to perform a pre-registered operation according to the situation by recognizing the step-by-step situation based on the.

본 실시예의 일 측면에 의하면, 기 설정된 영역을 촬영한 영상 정보를 생성하는 촬영부; 움직임, 밝기, 외부 충격 중 적어도 하나 이상의 정보를 센싱한 센싱 정보를 생성하는 센서부; 단말기와 무선 통신을 수행하는 무선통신부; 및 상기 센서부로부터 수집된 상기 센싱 정보의 변화가 감지되는 경우, 기 설정된 영역에 객체가 감지된 것으로 인지하여 상기 촬영부가 촬영한 상기 영상 정보가 이벤트 영상 정보로서 녹화되도록 하며, 상기 센싱 정보의 변화 정도에 따라 단계별 상황을 인지하고, 상기 단계별 상황에 따라 기 설정된 동작이 수행되도록 하는 메인 제어부를 포함하는 것을 특징으로 하는 디지털 도어락 장치를 제공한다.According to an aspect of the present embodiment, the photographing unit for generating image information of the photographed area; A sensor unit configured to generate sensing information that senses at least one of motion, brightness, and external impact; A wireless communication unit performing wireless communication with a terminal; And when the change of the sensing information collected from the sensor unit is sensed, recognizes that an object is detected in a preset area, and records the image information photographed by the photographing unit as event image information, and changes the sensing information. The present invention provides a digital door lock apparatus including a main control unit for recognizing a step-by-step situation according to a degree and performing a predetermined operation according to the step-by-step situation.

상기 센서부는 기 설정된 영역의 주변 상황의 움직임 센싱한 움직임 감지 정보를 생성하는 모션 센서; 기 설정된 영역의 주변 상황의 밝기값을 센싱한 조도 감지 정보를 생성하는 조도 센서; 및 도어락 자체의 x,y,z값 변화치를 센싱한 충격 감지 정보를 생성하는 G 센서를 포함하며, 상기 메인 제어부는 상기 움직임 감지 정보, 상기 조도 감지 정보 및 상기 충격 감지 정보 중 적어도 하나 이상의 정보의 변화 정도에 따라 단계별 상황을 인지한다.The sensor unit may include a motion sensor for generating motion sensing information of motion sensing of a surrounding situation of a preset area; An illuminance sensor configured to generate illuminance detection information sensing a brightness value of a surrounding situation of a preset area; And a G-sensor configured to generate shock detection information for sensing a change in x, y, and z values of the door lock itself, wherein the main controller is configured to generate at least one of the motion detection information, the illuminance detection information, and the shock detection information. Recognize the situation in stages according to the degree of change.

상기 메인 제어부는 상기 움직임 감지 정보가 기 설정된 움직임 임계치를 초과하는지의 여부, 상기 조도 감지 정보가 기 설정된 밝기 임계치를 초과하는지의 여부, 상기 충격 감지 정보가 기 설정된 변화 임계치를 초과하는지의 여부 중 적어도 하나의 판단 결과에 근거하여 단계별 상황을 인지한다.The main controller may determine whether the motion detection information exceeds a preset motion threshold, whether the illuminance detection information exceeds a preset brightness threshold, and whether the shock detection information exceeds a preset change threshold. Recognize step-by-step situations based on the results of one judgment.

상기 메인 제어부는 상기 움직임 감지 정보 및 상기 조도 감지 정보에 근거하여 기 설정된 영역의 객체를 감지되면 일반상황으로 인지하여 기 설정된 영역에 대한 영상을 촬영한 후 녹화를 실행하도록 하는 일반상황 인지부; 상기 일반상황 상태에서 비밀번호 오류가 감지되는 경우 경계상황으로 인지하여 디스플레이부 내에 경고 메시지를 출력하도록 하는 경계상황 인지부; 및 상기 경계상황 상태에서 비밀번호 오류가 누적되며, 상기 충격 감지 정보가 감지되는 경우 긴급상황으로 인지하여 외부로 긴급 메시지를 전송하도록 하는 긴급상황 인지부를 포함한다.The main controller recognizes an object in a preset area based on the motion detection information and the illuminance detection information, and recognizes the object as a general situation so as to record an image of the preset area and execute recording. A boundary situation recognition unit for recognizing a boundary situation and outputting a warning message in a display unit when a password error is detected in the general situation; And a password error is accumulated in the boundary state, and an emergency situation recognition unit recognizes an emergency situation and transmits an emergency message to the outside when the shock detection information is detected.

상기 일반상황 인지부는 일차적으로 상기 조도 감지 정보가 기 설정된 밝기 임계치를 초과하는 경우, 상기 조도 감지 정보의 변화가 임계치를 벗어나는 것으로 판단하여 기 설정된 영역에 객체가 감지된 것으로 추정하며, 이차적으로 상기 움직임 감지 정보가 기 설정된 움직임 임계치를 초과하는 경우, 상기 움직임 감지 정보의 변화가 임계치를 벗어나는 것으로 판단하여 기 설정된 영역에 객체가 감지된 것으로 확정하여, 상기 일반상황으로 인지한 후 기 설정된 영역에 대한 촬영된 영상을 녹화하도록 한다.When the illuminance detection information exceeds a predetermined brightness threshold, the general situation recognizer determines that the change of the illuminance detection information is out of a threshold value, and estimates that an object is detected in a preset area. When the sensing information exceeds the preset motion threshold, it is determined that the change of the motion sensing information is out of the threshold value, and it is determined that the object is detected in the preset area, and recognized as the general situation and then photographing the preset area. Record recorded video.

상기 일반상황 인지부는 현재 시간에 상기 조도 감지 정보를 매칭한 후 상기 밝기 임계치에 포함된 시간대별 자연광에 대한 평균값 및 주변 조도값과 비교하여 기 설정된 밝기 임계치를 초과하였는지의 여부를 확인한다.The general situation recognizer matches the illuminance detection information at a current time and checks whether the predetermined brightness threshold is exceeded by comparing with the average value of the natural light for each time zone included in the brightness threshold and the ambient illuminance value.

상기 경계상황 인지부는 상기 일반상황으로 인지한 상태에서 입력된 도어락 비밀번호에 대한 오류가 발생하는 경우, 상기 경계상황으로 인지하여 디스플레이부 내에 기 설정된 색깔로 경고 메시지가 블링크(Blink)되도록 한다.When an error with respect to the door lock password input in the state recognized as the general situation occurs, the boundary situation recognition unit recognizes the boundary situation and causes the warning message to be blinked in a predetermined color in the display unit.

상기 경계상황 인지부는 상기 일반상황으로 인지한 상태에서 상기 조도 감지 정보가 기 설정된 밝기 임계치를 지속적으로 초과하고, 상기 움직임 감지 정보가 기 설정된 움직임 임계치를 지속적으로 초과하는 경우, 상기 경계상황으로 인지하여 디스플레이부 내에 기 설정된 색깔로 경고 메시지가 블링크되도록 한다.The boundary condition recognition unit recognizes the boundary condition when the illumination intensity sensing information continuously exceeds a predetermined brightness threshold while the motion sensing information continuously exceeds a preset movement threshold in a state recognized as the general situation. The warning message is linked to the preset color in the display unit.

상기 경계상황 인지부는 상기 일반상황으로 인지한 상태에서 입력된 도어락 비밀번호에 대한 오류가 발생하고, 상기 조도 감지 정보가 기 설정된 밝기 임계치를 초과하는 횟수가 기 설정된 횟수 이상으로 발생하고, 상기 움직임 감지 정보가 기 설정된 움직임 임계치를 초과하는 횟수가 기 설정된 횟수 이상으로 발생하는 경우, 상기 경계상황으로 인지하여 디스플레이부 내에 기 설정된 색깔로 경고 메시지가 블링크되도록 한다.The boundary situation recognition unit generates an error for the door lock password input in the state recognized as the general situation, the number of times that the illuminance detection information exceeds a predetermined brightness threshold is generated more than a preset number of times, and the motion detection information. When the number of times exceeding the preset motion threshold occurs more than the predetermined number of times, the warning message is linked to the preset color in the display unit by recognizing the boundary condition.

상기 긴급상황 인지부는 상기 경계상황으로 인지한 상태에서 입력된 도어락 비밀번호에 대한 오류가 기 설정된 횟수 이상으로 누적하여 발생하고, 상기 충격 감지 정보가 기 설정된 변화 임계치를 초과하여 발생하는 경우 충격이 발생한 것으로 간주하여 충격 발생 시점의 촬영된 영상을 캡쳐한 충격 발생 이미지를 저장한다.The emergency situation recognition unit accumulates and generates an error for the door lock password input in the state recognized as the boundary condition more than a predetermined number of times, and the shock detection information occurs when the shock detection information exceeds the preset change threshold. It is considered to store the shock-generating image captured the captured image of the point of impact.

상기 긴급상황 인지부는 충격 발생 이미지와 긴급 상황 메시지를 기 등록된 단말기로 무선통신으로 전송하도록 한다.The emergency situation recognition unit transmits the shock generation image and the emergency situation message to a pre-registered terminal through wireless communication.

디지털 도어락 장치는 연동하는 상기 단말기의 요청에 따라 상기 단말기를 등록하도록 설정하는 설정, 기 저장된 단계별 상황에 따라 녹화된 영상 정보를 전송, 긴급 상황시 등록된 단말기로 알림을 전달, 기 설정된 영역에 대한 영상을 스트리밍하거나 캡쳐, 상기 단말기의 요청에 따라 잠금장치가 열리도록 도어락 모터를 제어하도록 하는 단말기 연동부를 추가로 포함한다.The digital door lock device may be configured to register the terminal according to a request of the terminal to be interlocked, to transmit recorded image information according to pre-stored step-by-step situations, and to transmit a notification to a registered terminal in case of an emergency. The terminal further includes a terminal interlocking unit configured to control the door lock motor so that the locking device is opened at the request of the terminal.

상기 촬영부는 어안렌즈를 구비하며, 상기 어안렌즈를 이용하여 기 설정된 영역 상에서 사각지대가 미존재하도록 하는 영상을 촬영한다.The photographing unit includes a fisheye lens and photographs an image such that a blind spot does not exist on a predetermined area by using the fisheye lens.

디지털 도어락 장치는 내장된 메모리에 이벤트 녹화 영상을 저장하며, 상기 어안렌즈로 촬영한 어안 영상(Fish Eye Image)을 파노라마 영상 또는 분할영상으로 형태로 디스플레이되도록 하며, 상기 어안 영상에 영상 왜곡현상 보정 기술을 적용하여 영상 왜곡을 제거하는 것을 특징으로 하는 영상 관리부를 추가로 포함한다.The digital door lock device stores an event recording image in a built-in memory, displays a fish eye image captured by the fisheye lens as a panorama image or a segmented image, and corrects an image distortion phenomenon in the fisheye image. It further comprises an image management unit characterized in that to remove the image distortion by applying.

본 실시예의 다른 측면에 의하면, 기 설정된 영역을 촬영한 영상 정보를 생성하는 과정; 움직임, 밝기, 외부 충격 중 적어도 하나 이상의 정보를 센싱한 센싱 정보를 생성하는 과정; 상기 센싱 정보의 변화가 감지되는지의 여부를 확인하는 과정; 상기 센싱 정보의 변화가 감지되면 기 설정된 영역에 객체가 감지된 것으로 인지하여 상기 촬영부가 촬영한 상기 영상 정보가 이벤트 영상 정보로서 녹화되도록 하는 과정; 및 상기 센싱 정보의 변화 정도에 따라 단계별 상황을 인지하고, 상기 단계별 상황에 따라 기 설정된 동작이 수행되도록 하는 과정을 포함하는 것을 특징으로 하는 사각지대 객체 감지를 이용하여 상황을 인지하는 방법을 제공한다.According to another aspect of the present embodiment, a process of generating image information photographing a predetermined area; Generating sensing information that senses at least one of motion, brightness, and external impact; Checking whether a change in the sensing information is detected; Recognizing that an object is detected in a predetermined area when the change of the sensing information is detected so that the image information captured by the photographing unit is recorded as event image information; And recognizing a situation according to the degree of change of the sensing information, and performing a predetermined operation according to the step situation. .

이상에서 설명한 바와 같이 본 실시예에 의하면, 어안렌즈 카메라를 구비하는 디지털 도어락 장치가 조도 센서, 모션 센서, 충격 센서로부터 센싱된 정보에 근거하여 객체가 감지되면 어안 렌즈로 촬영된 영상을 자동으로 녹화할 뿐만 아니라, 센싱된 정보를 근거로 단계별 상황을 인지하여 상황에 따른 기 등록된 동작을 수행하도록 하는 효과가 있다.As described above, according to the present embodiment, the digital door lock device having the fisheye lens camera automatically records an image photographed by the fisheye lens when an object is detected based on information sensed by the illumination sensor, the motion sensor, and the impact sensor. In addition, there is an effect of performing a pre-registered operation according to the situation by recognizing the situation step by step based on the sensed information.

도 1은 본 실시예에 따른 디지털 도어락 장치 시스템을 개략적으로 나타낸 블럭 구성도이다.
도 2는 본 실시예에 따른 디지털 도어락 장치를 개략적으로 나타낸 블럭 구성도이다.
도 3은 본 실시예에 따른 메인 제어부를 개략적으로 나타낸 블럭 구성도이다.
도 4는 본 실시예에 따른 본 실시예에 따른 사각지대 객체 감지를 이용하여 상황을 인지하는 방법을 설명하기 위한 순서도이다.
도 5는 본 실시예에 따른 디지털 도어락 장치의 촬영 범위를 설명하기 위한 도면이다.
도 6은 본 실시예에 따른 디지털 도어락 애플리케이션 기능을 설명하기 위한 도면이다.
도 7은 본 실시예에 따른 디지털 도어락 장치에서 촬영한 영상을 나타낸 도면이다.1 is a block diagram schematically showing a digital door lock device system according to the present embodiment.
2 is a block diagram schematically showing a digital door lock device according to the present embodiment.
3 is a block diagram schematically illustrating the main controller according to the present embodiment.
4 is a flowchart illustrating a method of recognizing a situation using blind spot object detection according to the present embodiment according to the present embodiment.
5 is a view for explaining a shooting range of the digital door lock apparatus according to the present embodiment.
6 is a diagram for explaining a digital door lock application function according to the present embodiment.
7 is a view showing an image captured by the digital door lock device according to the present embodiment.

이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, the present embodiment will be described in detail with reference to the accompanying drawings.

도 1은 본 실시예에 따른 디지털 도어락 장치 시스템을 개략적으로 나타낸 블럭 구성도이다.1 is a block diagram schematically showing a digital door lock device system according to the present embodiment.

본 실시예에 따른 디지털 도어락 장치 시스템은 디지털 도어락 장치(110), 네트워크(120), 단말기(130), 도어락 제어 애플리케이션(132)을 포함한다. 디지털 도어락 장치 시스템에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다.The digital door lock device system according to the present embodiment includes a digital door lock device 110, a network 120, a terminal 130, and a door lock control application 132. Components included in the digital door lock device system are not necessarily limited thereto.

디지털 도어락 장치(110)는 문의 손잡이에 장착되며, 문이 닫힘과 동시에 자동으로 잠금장치를 잠그며, 외부에서 잠금을 해제하고자 하는 경우, 비밀번호를 입력하면 디지털 방식으로 잠금장치를 해제하는 장치를 의미한다.The digital door lock device 110 is mounted on the handle of the door, automatically locks the lock as soon as the door is closed, if you want to unlock from the outside, enter the password means a device to unlock the digital device digitally do.

디지털 도어락 장치(110)는 형태에 따라 문 손잡이에 도어락을 장착해서 도어락과 손잡이의 역할을 동시에 하는 주키식과 기존 보조키 위치에 장착하고 문 손잡이는 그대로 유지하는 보조키식 방식으로 구현된다. 디지털 도어락 장치(110)는 버튼을 보호하는 슬라이드 커버가 있거나 터치스크린을 구비한다. 디지털 도어락 장치(110)는 문을 닫기만 하면 자동으로 잠금장치를 잠가주고 비밀번호나 NFC, 지문 등으로 열 수 있다.The digital door lock device 110 is mounted on the door handle according to the shape, and is implemented in a main key type that simultaneously serves as a door lock and the handle and an auxiliary key type that is installed in the existing auxiliary key position and the door handle remains intact. The digital door lock device 110 has a slide cover to protect the button or has a touch screen. The digital door lock device 110 can automatically lock the lock just by closing the door and open with a password, NFC, fingerprint, and the like.

본 실시예에 따른 디지털 도어락 장치(110)는 무선통신모듈(240)을 구비하여 네트워크(120)를 경유하여 기 등록된 단말기(130)와 무선 통신을 수행한다. 디지털 도어락 장치(110)는 단말기(130)의 제어에 따라 동작이 가능하다.The digital door lock device 110 according to the present embodiment includes a wireless communication module 240 to perform wireless communication with a terminal 130 that is registered via the network 120. The digital door lock device 110 may operate under the control of the terminal 130.

디지털 도어락 장치(110)는 별도의 센서부(230)(모션 센서(232), 조도 센서(234), G 센서(236))와 어안렌즈 카메라를 구비한다. 디지털 도어락 장치(110)는 별도의 센서부(230)로부터 센싱된 센싱 정보의 변화를 감지하여 어안렌즈 카메라(210)로 촬영된 영상의 녹화 기능을 자동으로 실행한다. 디지털 도어락 장치(110)는 별도의 센서부(230)로부터 센싱된 센싱 정보의 변화 정도에 따라 단계별 상황을 인지한다. 디지털 도어락 장치(110)는 긴급상황(예컨대, 비밀번호 3회 연속 오류 등)이 발생하면 기 등록된 단말기(130)로 관련 메시지를 전송한다. The digital door lock device 110 includes a separate sensor unit 230 (motion sensor 232, illuminance sensor 234, G sensor 236) and a fisheye lens camera. The digital door lock device 110 detects a change in sensing information sensed by a separate sensor unit 230 and automatically executes a recording function of an image captured by the fisheye lens camera 210. The digital door lock device 110 recognizes a step-by-step situation according to the degree of change of the sensing information sensed by the separate sensor unit 230. The digital door lock apparatus 110 transmits a related message to the pre-registered terminal 130 when an emergency situation (for example, three consecutive password errors, etc.) occurs.

네트워크(120)는 인터넷망, 인트라넷망, 이동통신망, 위성 통신망 등 다양한 유무선 통신 기술을 이용하여 인터넷 프로토콜로 데이터를 송수신할 수 있는 망을 의미한다. The network 120 refers to a network capable of transmitting and receiving data using an internet protocol using various wired and wireless communication technologies such as an internet network, an intranet network, a mobile communication network, and a satellite communication network.

네트워크(120)는 LAN(Local Area Network), WAN(Wide Area Network)등의 폐쇄형 네트워크, 인터넷(Internet)과 같은 개방형 네트워크뿐만 아니라, CDMA(Code Division Multiple Access), WCDMA(Wideband Code Division Multiple Access), GSM(Global System for Mobile Communications), LTE(Long Term Evolution), EPC(Evolved Packet Core), 5G 등의 네트워크와 향후 구현될 차세대 네트워크 및 클라우드 컴퓨팅 네트워크를 통칭하는 개념이다.The network 120 is not only a closed network such as a local area network (LAN), a wide area network (WAN), an open network such as the Internet, but also code division multiple access (CDMA) and wideband code division multiple access (WCDMA). ), Global System for Mobile Communications (GSM), Long Term Evolution (LTE), Evolved Packet Core (EPC), 5G, and the like, as well as next-generation networks and cloud computing networks.

단말기(130)는 사용자의 키 조작에 따라 네트워크(120)를 경유하여 음성 또는 데이터 통신을 수행하는 전자 기기를 의미한다. 단말기(130)는 네트워크(120)를 경유하여 디지털 도어락 장치(110)와 통신하기 위한 프로그램 또는 프로토콜을 저장하기 위한 메모리, 해당 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비한다. The terminal 130 refers to an electronic device that performs voice or data communication via the network 120 according to a user's key manipulation. The terminal 130 is provided with a memory for storing a program or protocol for communicating with the digital door lock device 110 via the network 120, a microprocessor for executing and controlling the program, and the like.

단말기(130)는 스마트폰(Smart Phone), 태블릿(Tablet), 랩톱(Laptop), 개인용 컴퓨터(PC: Personal Computer), 개인 휴대 단말기(PDA: Personal Digital Assistant), 게임 콘솔, 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 무선 통신 단말기(Wireless Communication Terminal), 미디어 플레이어 등과 같은 전자 기기일 수 있다. The terminal 130 may be a smart phone, a tablet, a laptop, a laptop, a personal computer (PDA), a personal digital assistant (PDA), a game console, a portable multimedia player (PMP). : An electronic device such as a portable multimedia player, a wireless communication terminal, a media player, or the like.

단말기(130)는 메모리 내에 도어락 제어 애플리케이션(132)을 탑재한다. 단말기(130)는 도어락 제어 애플리케이션(132)을 이용하여 무선통신으로 디지털 도어락 장치(110)와 통신한다. 단말기(130)는 도어락 제어 애플리케이션(132)을 이용하여 무선통신으로 디지털 도어락 장치(110)를 제어하거나 디지털 도어락 장치(110)로부터 메시지를 수신한다.The terminal 130 mounts the door lock control application 132 in the memory. The terminal 130 communicates with the digital door lock device 110 by wireless communication using the door lock control application 132. The terminal 130 controls the digital door lock device 110 by wireless communication using the door lock control application 132 or receives a message from the digital door lock device 110.

도어락 제어 애플리케이션(132)은 단말기(130)의 메모리 내에 탑재되어 구동되는 프로그램을 의미한다. 도어락 제어 애플리케이션(132)은 단말기(130)에 임베디드(Embedded) 형태로 탑재되거나, OS(Operating System)에 인스톨되는 형태로 탑재될 수 있다. 도어락 제어 애플리케이션(132)은 무선통신으로 디지털 도어락 장치(110)를 제어하거나 디지털 도어락 장치(110)로부터 메시지를 수신한다The door lock control application 132 refers to a program that is mounted and driven in the memory of the terminal 130. The door lock control application 132 may be mounted in the form of being embedded in the terminal 130 or installed in an operating system (OS). The door lock control application 132 controls the digital door lock device 110 by wireless communication or receives a message from the digital door lock device 110.

도 2는 본 실시예에 따른 디지털 도어락 장치를 개략적으로 나타낸 블럭 구성도이다.2 is a block diagram schematically showing a digital door lock device according to the present embodiment.

본 실시예에 따른 디지털 도어락 장치(110)는 어안렌즈 카메라(210), 배터리(212), 도어락 모터 제어부(214), 터치패드 디스플레이부(216), 메인 제어부(220), 모션 센서부(232), 조도 센서부(234), G 센서부(236), 무선통신모듈(240)을 포함한다. 디지털 도어락 장치(110)에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다.The digital door lock device 110 according to the present embodiment includes a fisheye lens camera 210, a battery 212, a door lock motor controller 214, a touch pad display unit 216, a main controller 220, and a motion sensor unit 232. ), An illumination sensor unit 234, a G sensor unit 236, and a wireless communication module 240. Components included in the digital door lock device 110 are not necessarily limited thereto.

디지털 도어락 장치(110)에 포함된 각 구성요소는 장치 내부의 소프트웨어적인 모듈 또는 하드웨어적인 모듈을 연결하는 통신 경로에 연결되어 상호 간에 유기적으로 동작할 수 있다. 이러한 구성요소는 하나 이상의 통신 버스 또는 신호선을 이용하여 통신한다.Each component included in the digital door lock device 110 may be connected to a communication path connecting a software module or a hardware module inside the device to operate organically with each other. These components communicate using one or more communication buses or signal lines.

도 2에 도시된 디지털 도어락 장치(110)의 각 구성요소는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 소프트웨어적인 모듈, 하드웨어적인 모듈 또는 소프트웨어와 하드웨어의 결합으로 구현될 수 있다.Each component of the digital door lock apparatus 110 illustrated in FIG. 2 refers to a unit that processes at least one function or operation, and may be implemented as a software module, a hardware module, or a combination of software and hardware.

어안렌즈 카메라(210)는 어안 렌즈(Fish Lens)를 구비한 촬영장치를 의미한다. 어안렌즈 카메라(210)는 기 설정된 영역(예컨대, 도어의 바깥쪽)을 촬영한 영상을 생성한다. 어안렌즈 카메라(210)는 어안렌즈를 이용하여 기 설정된 영역 상에서 사각지대가 미존재하도록 하는 영상을 촬영한다.The fisheye lens camera 210 refers to a photographing apparatus having a fisheye lens. The fisheye lens camera 210 generates an image of a preset area (eg, the outside of the door). The fisheye lens camera 210 photographs an image such that a blind spot does not exist on a preset area using a fisheye lens.

배터리(212)는 디지털 도어락 장치(110) 내부로 전력을 공급한다. 배터리(212)는 디지털 도어락 장치(110)의 내부 또는 외부에 구현될 수 있으나, 바람직하게는 내부에 탑재된다. 배터리(212)는 디지털 도어락 장치(110)의 내부에 구현되는 경우, 충전 모듈 또는 건전지 형태로 구현될 있다.The battery 212 supplies power to the digital door lock device 110. The battery 212 may be implemented inside or outside the digital door lock device 110, but is preferably mounted therein. When the battery 212 is implemented inside the digital door lock device 110, the battery 212 may be implemented in the form of a charging module or a battery.

도어락 모터 제어부(214)는 문이 닫히는 경우, 이를 감지하여 잠금장치가 잠기도록 모터를 구동한다. 도어락 모터 제어부(214)는 비밀번호나 NFC, 지문 등이 입력되어 사용자가 인증되는 경우, 잠금장치가 풀리도록 모터를 구동한다.The door lock motor control unit 214 detects this when the door is closed and drives the motor to lock the locking device. The door lock motor control unit 214 drives the motor to unlock the lock device when the user is authenticated by inputting a password, NFC, fingerprint, or the like.

터치패드 디스플레이부(216)는 비밀번호를 입력받기 위해 터치스크린 상에 숫자 패드를 출력한다. 터치패드 디스플레이부(216)는 메인 제어부(220)의 제어에 따라 데이터나 메시지를 출력한다.The touch pad display unit 216 outputs a numeric pad on the touch screen to receive a password. The touch pad display unit 216 outputs data or a message under the control of the main controller 220.

메인 제어부(220)는 디지털 도어락 장치(110)의 전반적인 기능을 제어하는 제어 수단으로서, 디지털 도어락 장치(110)의 내부 구성 요소를 모두 제어하여 디지털 도어락이 동작하도록 하는 기능을 수행한다. The main controller 220 is a control means for controlling the overall function of the digital door lock device 110, and performs a function to control the internal components of the digital door lock device 110 to operate the digital door lock.

메인 제어부(220)는 디지털 도어락 장치(110)의 구성 요소를 제어하기 위한 프로그램을 저장하는 메모리와 해당 프로그램을 실행하여 디지털 도어락 장치(110)의 구성 요소를 제어하는 마이크로프로세서 등으로 포함하여 구성될 수 있다.The main controller 220 may include a memory for storing a program for controlling the components of the digital door lock apparatus 110 and a microprocessor for executing the corresponding program to control the components of the digital door lock apparatus 110. Can be.

메인 제어부(220)는 센서부(230)(모션 센서(232), 조도 센서(234), G 센서(236))로부터 센싱값을 수신하여 사각 지대 내의 개체를 감지한다. 메인 제어부(220)는 모션 센서(232), 조도 센서, G 센서(236)로부터 감지된 센싱값을 기준값과 비교하여 센싱값의 변화에 따라 단계적으로 기 설정된 기능이 구현되도록 동작한다.The main controller 220 receives a sensing value from the sensor unit 230 (motion sensor 232, illuminance sensor 234, and G sensor 236) to detect an object in the blind spot. The main controller 220 compares the sensing values sensed by the motion sensor 232, the illuminance sensor, and the G sensor 236 with a reference value to operate a preset function in stages according to the change of the sensing value.

메인 제어부(220)는 센서부(230)로부터 수집된 센싱 정보의 변화가 감지되는 경우, 기 설정된 영역에 객체가 감지된 것으로 인지하여 어안렌즈 카메라(210)가 촬영한 영상 정보가 이벤트 영상 정보로서 녹화되도록 한다.When a change in the sensing information collected from the sensor unit 230 is detected, the main controller 220 recognizes that an object is detected in a preset area, and the image information captured by the fisheye lens camera 210 is used as event image information. Make sure to record.

메인 제어부(220)는 센싱 정보의 변화 정도에 따라 단계별 상황을 인지하고, 단계별 상황에 따라 기 설정된 동작이 수행되도록 한다. 메인 제어부(220)는 움직임 감지 정보, 조도 감지 정보 및 충격 감지 정보 중 적어도 하나 이상의 정보의 변화 정도에 따라 단계별 상황을 인지한다. The main controller 220 recognizes a step-by-step situation according to the change degree of the sensing information, and performs a predetermined operation according to the step-by-step situation. The main controller 220 recognizes a step-by-step situation according to the degree of change of at least one or more information among the motion detection information, the illumination detection information, and the shock detection information.

메인 제어부(220)는 움직임 감지 정보가 기 설정된 움직임 임계치를 초과하는지의 여부, 조도 감지 정보가 기 설정된 밝기 임계치를 초과하는지의 여부, 충격 감지 정보가 기 설정된 변화 임계치를 초과하는지의 여부 중 적어도 하나의 판단 결과에 근거하여 단계별 상황을 인지한다.The main controller 220 may include at least one of whether the motion detection information exceeds a preset motion threshold, whether the illuminance detection information exceeds a predetermined brightness threshold, and whether the shock detection information exceeds a preset change threshold. Recognize the situation step by step based on the result of the judgment.

메인 제어부(220)는 주변 상황의 움직임 감지 정보가 기 설정된 움직임 임계치를 초과하는 경우, 어안렌즈 카메라(210)를 이용하여 영상을 촬영하고 녹화하도록 제어한다. 메인 제어부(220)는 주변 상황의 밝기값이 기 설정된 밝기 임계치를 초과하는 경우, 기 설정된 알고리즘에 따라 어안렌즈 카메라(210)를 이용하여 영상을 촬영하고 녹화하도록 제어한다. 메인 제어부(220)는 도어락 충격 감지시 x,y,z값 변화치가 기 설정된 변화 임계치를 초과하는 경우, 어안렌즈 카메라(210)를 이용하여 영상을 촬영하고 녹화하도록 제어한다.The main controller 220 controls to capture and record an image by using the fisheye lens camera 210 when the motion detection information of the surrounding situation exceeds a preset motion threshold. The main controller 220 controls to capture and record an image using the fisheye lens camera 210 according to a preset algorithm when the brightness value of the surrounding situation exceeds a preset brightness threshold. The main controller 220 controls to capture and record an image using the fisheye lens camera 210 when the change value of the x, y, z value exceeds a preset change threshold value when the door lock shock is detected.

센서부(230)는 움직임, 밝기, 외부 충격 중 적어도 하나 이상의 정보를 센싱한 센싱 정보를 생성한다. 센서부(230)는 모션 센서(232), 조도 센서(234), G 센서(236)를 포함한다.The sensor unit 230 generates sensing information that senses at least one or more information of movement, brightness, and external impact. The sensor unit 230 includes a motion sensor 232, an illuminance sensor 234, and a G sensor 236.

모션 센서(232)는 주변 상황의 움직임을 감지한다. 모션 센서(232)는 주변 상황의 움직임을 센싱한 움직임 감지 정보를 메인 제어부(220)로 전송한다. 모션 센서(232)는 기 설정된 영역의 주변 상황의 움직임을 센싱한 움직임 감지 정보를 생성한다.The motion sensor 232 detects the movement of the surrounding situation. The motion sensor 232 transmits motion detection information sensing the movement of the surrounding situation to the main controller 220. The motion sensor 232 generates motion detection information that senses the movement of the surrounding situation of the preset area.

조도 센서(234)는 주변 상황의 밝기값을 감지한다. 조도 센서부(230)는 주변 상황의 밝기값을 센싱한 조도 감지 정보를 메인 제어부(220)로 전송한다. 조도 센서(234)는 기 설정된 영역의 주변 상황의 밝기값을 센싱한 조도 감지 정보를 생성한다.  The illumination sensor 234 detects a brightness value of the surrounding situation. The illuminance sensor unit 230 transmits illuminance detection information sensing the brightness value of the surrounding situation to the main controller 220. The illuminance sensor 234 generates illuminance detection information sensing a brightness value of the surrounding situation of the preset area.

G 센서(236)는 도어락 충격 감지시 x,y,z값 변화치를 감지한다. G 센서부(230)는 x,y,z값 변화치를 센싱한 충격 감지 정보를 메인 제어부(220)로 전송한다. G 센서(236)는 도어락 자체의 x,y,z값 변화치를 센싱한 충격 감지 정보를 생성한다. The G sensor 236 detects a change in x, y, z values when the door lock shock is detected. The G sensor unit 230 transmits shock detection information sensing the change in x, y, and z values to the main controller 220. The G sensor 236 generates shock detection information that senses a change in x, y, z values of the door lock itself.

무선통신모듈(240)은 네트워크(120)를 경유하여 단말기(130)와 연동하는 기능을 수행하는 통신 수단으로서, 각종 데이터를 송수신하는 기능을 수행한다. 무선통신모듈(240)은 단말기(130)와 무선 통신을 수행한다.The wireless communication module 240 is a communication means for performing a function of interworking with the terminal 130 via the network 120, and performs a function of transmitting and receiving various data. The wireless communication module 240 performs wireless communication with the terminal 130.

도 3은 본 실시예에 따른 메인 제어부를 개략적으로 나타낸 블럭 구성도이다.3 is a block diagram schematically illustrating the main controller according to the present embodiment.

본 실시예에 따른 메인 제어부(220)는 일반상황 인지부(310), 경계상황 인지부(320), 긴급상황 인지부(330), 단말기 연동부(340), 영상 관리부(350)를 포함한다. 메인 제어부(220)에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다.The main controller 220 according to the present exemplary embodiment includes a general situation recognizer 310, a boundary situation recognizer 320, an emergency situation recognizer 330, a terminal linkage unit 340, and an image manager 350. . Components included in the main controller 220 are not necessarily limited thereto.

메인 제어부(220)에 포함된 각 구성요소는 장치 내부의 소프트웨어적인 모듈 또는 하드웨어적인 모듈을 연결하는 통신 경로에 연결되어 상호 간에 유기적으로 동작할 수 있다. 이러한 구성요소는 하나 이상의 통신 버스 또는 신호선을 이용하여 통신한다.Each component included in the main controller 220 may be connected to a communication path connecting a software module or a hardware module inside the device to operate organically with each other. These components communicate using one or more communication buses or signal lines.

일반상황 인지부(310)는 움직임 감지 정보 및 조도 감지 정보에 근거하여 기 설정된 영역의 객체를 감지되면 일반상황으로 인지하여 기 설정된 영역에 대한 영상을 촬영한 후 녹화를 실행하도록 한다.The general situation recognition unit 310 detects an object in a preset area based on the motion detection information and the illumination detection information, and recognizes the object as a general situation so as to record an image of the preset area and perform recording.

일반상황 인지부(310)는 일차적으로 조도 감지 정보가 기 설정된 밝기 임계치를 초과하는 경우, 조도 감지 정보의 변화가 임계치를 벗어나는 것으로 판단하여 기 설정된 영역에 객체가 감지된 것으로 추정한다. 일반상황 인지부(310)는 이차적으로 움직임 감지 정보가 기 설정된 움직임 임계치를 초과하는 경우, 움직임 감지 정보의 변화가 임계치를 벗어나는 것으로 판단하여 기 설정된 영역에 객체가 감지된 것으로 확정한다. 일반상황 인지부(310)는 일반상황으로 인지한 후 기 설정된 영역에 대한 촬영된 영상을 녹화하도록 한다.The general situation recognition unit 310 primarily determines that an object is detected in a preset area when the illumination sensing information exceeds the preset brightness threshold and determines that the change in the illumination sensing information is out of the threshold. In general, when the motion detection information exceeds the preset motion threshold, the general situation recognition unit 310 determines that the change of the motion detection information is out of the threshold, and determines that the object is detected in the preset area. The general situation recognition unit 310 recognizes the general situation and records the captured image of the preset area.

일반상황 인지부(310)는 현재 시간에 조도 감지 정보를 매칭한 후 밝기 임계치에 포함된 시간대별 자연광에 대한 평균값 및 주변 조도값과 비교하여 기 설정된 밝기 임계치를 초과하였는지의 여부를 확인한다.The general situation recognition unit 310 checks whether or not the predetermined brightness threshold is exceeded by matching the illumination detection information at the current time and comparing it with the average value of the natural light for each time zone included in the brightness threshold and the ambient illumination value.

경계상황 인지부(320)는 일반상황 상태에서 비밀번호 오류가 감지되는 경우 경계상황으로 인지하여 터치패드 디스플레이부(216) 내에 경고 메시지를 출력하도록 한다.The boundary situation recognition unit 320 recognizes the boundary situation and outputs a warning message in the touch pad display unit 216 when a password error is detected in the general situation.

경계상황 인지부(320)는 일반상황으로 인지한 상태에서 입력된 도어락 비밀번호에 대한 오류가 발생하는 경우, 경계상황으로 인지하여 터치패드 디스플레이부(216) 내에 기 설정된 색깔(예컨대, 붉은색) 경고 메시지가 블링크(Blink)되도록 한다.When an error regarding the door lock password input in the state of being recognized as a general situation occurs, the boundary situation recognition unit 320 recognizes the boundary situation and warns a preset color (eg, red color) in the touch pad display unit 216. Causes the message to be Blinked.

경계상황 인지부(320)는 일반상황으로 인지한 상태에서 조도 감지 정보가 기 설정된 밝기 임계치를 지속적으로 초과하고, 움직임 감지 정보가 기 설정된 움직임 임계치를 지속적으로 초과하는 경우, 경계상황으로 인지하여 터치패드 디스플레이부(216) 내에 기 설정된 색깔(예컨대, 붉은색) 경고 메시지가 블링크되도록 한다.The boundary situation recognition unit 320 recognizes as the boundary situation when the illumination intensity detection information continuously exceeds the predetermined brightness threshold in the state recognized as the general situation and the motion detection information continuously exceeds the preset motion threshold. A preset color (eg red) warning message is linked in the pad display unit 216.

경계상황 인지부(320)는 일반상황으로 인지한 상태에서 입력된 도어락 비밀번호에 대한 오류가 발생하고, 조도 감지 정보가 기 설정된 밝기 임계치를 초과하는 횟수가 기 설정된 횟수 이상으로 발생하고, 움직임 감지 정보가 기 설정된 움직임 임계치를 초과하는 횟수가 기 설정된 횟수 이상으로 발생하는 경우, 경계상황으로 인지하여 터치패드 디스플레이부(216) 내에 기 설정된 색깔(예컨대, 붉은색) 경고 메시지가 블링크되도록 한다.The boundary situation recognition unit 320 generates an error for the door lock password input in a state of being recognized as a general situation, the number of times that the illuminance detection information exceeds a predetermined brightness threshold occurs more than a preset number of times, and motion detection information. When the number of times exceeding the preset movement threshold occurs more than the predetermined number of times, the warning message is recognized as a boundary condition so that a preset color (eg, red) warning message is linked in the touch pad display unit 216.

긴급상황 인지부(330)는 경계상황 상태에서 비밀번호 오류가 누적되며, 충격 감지 정보가 감지되는 경우 긴급상황으로 인지하여 기 등록된 단말기(130)로 긴급 메시지를 전송하도록 한다.The emergency situation recognition unit 330 accumulates a password error in a boundary state, and when shock detection information is detected, recognizes an emergency situation and transmits an emergency message to the registered terminal 130.

긴급상황 인지부(330)는 경계상황으로 인지한 상태에서 입력된 도어락 비밀번호에 대한 오류가 기 설정된 횟수 이상으로 누적하여 발생하고, 충격 감지 정보가 기 설정된 변화 임계치를 초과하여 발생하는 경우 충격이 발생한 것으로 간주하여 충격 발생 시점의 촬영된 영상을 캡쳐한 충격 발생 이미지를 저장한다.The emergency situation recognition unit 330 accumulates an error for the door lock password input in a state of being recognized as a boundary condition more than a preset number of times, and generates an impact when the shock detection information exceeds the preset change threshold. It is considered to store the shock generated image captured by the captured image of the impact occurred.

긴급상황 인지부(330)는 충격 발생 이미지와 긴급 상황 메시지를 기 등록된 단말기(130)로 무선통신으로 전송하도록 한다.The emergency situation recognition unit 330 transmits the shock generation image and the emergency situation message to the registered terminal 130 through wireless communication.

단말기 연동부(340)는 연동하는 단말기(130)의 요청에 따라 단말기(130)를 등록하도록 설정하는 설정, 기 저장된 단계별 상황에 따라 녹화된 영상 정보를 전송, 긴급 상황시 등록된 단말기(130)로 알림을 전달, 기 설정된 영역에 대한 영상을 스트리밍하거나 캡쳐, 단말기(130)의 요청에 따라 잠금장치가 열리도록 도어락 모터를 제어하도록 하는 동작을 제어한다.The terminal linking unit 340 is configured to register the terminal 130 according to a request of the terminal 130 to interlock, and transmits the recorded image information according to a pre-stored step situation, the terminal 130 registered in an emergency situation. Control the operation to control the door lock motor so that the lock is opened in response to the request of the terminal 130, streaming or capturing the image of the predetermined area to the notification.

영상 관리부(350)는 내장된 메모리에 이벤트 녹화 영상을 저장한다. 영상 관리부(350)는 어안렌즈로 촬영한 어안 영상(Fish Eye Image)을 파노라마 영상 또는 분할영상으로 형태로 디스플레이되도록 한다. 영상 관리부(350)는 어안 영상에 영상 왜곡현상 보정 기술을 적용하여 영상 왜곡을 제거한다.The image manager 350 stores the event recording image in the built-in memory. The image manager 350 may display the fish eye image captured by the fisheye lens in the form of a panoramic image or a segmented image. The image manager 350 removes image distortion by applying an image distortion correction technique to the fisheye image.

도 4는 본 실시예에 따른 본 실시예에 따른 사각지대 객체 감지를 이용하여 상황을 인지하는 방법을 설명하기 위한 순서도이다.4 is a flowchart illustrating a method of recognizing a situation using blind spot object detection according to the present embodiment according to the present embodiment.

디지털 도어락 장치(110)는 기 설정된 영역을 촬영한 영상 정보를 생성한다(S410). 단계 S410에서, 디지털 도어락 장치(110)는 어안렌즈를 이용하여 기 설정된 영역 상에서 사각지대가 미존재하도록 하는 영상을 촬영한 영상 정보를 생성한다.The digital door lock apparatus 110 generates image information photographing a preset area (S410). In operation S410, the digital door lock apparatus 110 generates image information of an image of using a fisheye lens to capture a blind spot on a preset area.

디지털 도어락 장치(110)는 센서부(230)를 이용하여 움직임, 밝기, 외부 충격 중 적어도 하나 이상의 정보를 센싱한 센싱 정보를 생성한다(S420).The digital door lock device 110 generates sensing information by sensing at least one or more information of movement, brightness, and external impact using the sensor unit 230 (S420).

단계 S420에서, 디지털 도어락 장치(110)는 모션 센서(232)를 이용하여 기 설정된 영역의 주변 상황의 움직임 센싱한 움직임 감지 정보를 생성한다. 디지털 도어락 장치(110)는 조도 센서(234)를 이용하여 기 설정된 영역의 주변 상황의 밝기값을 센싱한 조도 감지 정보를 생성한다. 디지털 도어락 장치(110)는 G 센서(236)를 이용하여 도어락 자체의 x,y,z값 변화치를 센싱한 충격 감지 정보를 생성한다.In operation S420, the digital door lock apparatus 110 generates motion sensing motion detection information of a surrounding situation of a preset area using the motion sensor 232. The digital door lock apparatus 110 generates illuminance detection information sensing a brightness value of the surrounding situation of the preset area using the illuminance sensor 234. The digital door lock device 110 generates shock detection information that senses a change in x, y, z values of the door lock itself using the G sensor 236.

디지털 도어락 장치(110)는 센서부(230)로부터 수집된 센싱 정보의 변화가 감지되는 경우, 기 설정된 영역에 객체가 감지된 것으로 인지하여 어안렌즈 카메라(210)를 이용하여 촬영한 영상 정보가 이벤트 영상 정보로서 녹화되도록 한다(S430).When the digital door lock apparatus 110 detects a change in the sensing information collected from the sensor unit 230, the digital door lock apparatus 110 recognizes that an object is detected in a preset area, and the image information captured by using the fisheye lens camera 210 is an event. Recording is made as image information (S430).

디지털 도어락 장치(110)는 센싱 정보의 변화 정도에 따라 단계별 상황을 인지하고, 단계별 상황에 따라 기 설정된 동작이 수행되도록 한다(S440).The digital door lock device 110 recognizes a step-by-step situation according to the degree of change of the sensing information, and performs a predetermined operation according to the step-by-step situation (S440).

단계 S440에서, 디지털 도어락 장치(110)는 움직임 감지 정보 및 조도 감지 정보에 근거하여 기 설정된 영역의 객체를 감지되면 일반상황으로 인지하여 기 설정된 영역에 대한 영상을 촬영한 후 녹화를 실행하도록 한다.In operation S440, when the object of the preset area is detected based on the motion detection information and the illuminance detection information, the digital door lock apparatus 110 recognizes the object as a general situation and records the image of the preset area and then performs recording.

디지털 도어락 장치(110)는 일차적으로 조도 감지 정보가 기 설정된 밝기 임계치를 초과하는 경우, 조도 감지 정보의 변화가 임계치를 벗어나는 것으로 판단하여 기 설정된 영역에 객체가 감지된 것으로 추정한다. 디지털 도어락 장치(110)는 이차적으로 움직임 감지 정보가 기 설정된 움직임 임계치를 초과하는 경우, 움직임 감지 정보의 변화가 임계치를 벗어나는 것으로 판단하여 기 설정된 영역에 객체가 감지된 것으로 확정한다. 디지털 도어락 장치(110)는 일반상황으로 인지한 후 기 설정된 영역에 대한 촬영된 영상을 녹화하도록 한다.When the illuminance detection information exceeds the preset brightness threshold, the digital door lock apparatus 110 determines that the change in the illuminance detection information is out of the threshold and estimates that the object is detected in the preset area. When the motion detection information exceeds the preset motion threshold, the digital door lock apparatus 110 determines that the change of the motion detection information is out of the threshold and determines that the object is detected in the preset area. The digital door lock apparatus 110 records the captured image of the preset area after recognizing the general situation.

디지털 도어락 장치(110)는 현재 시간에 조도 감지 정보를 매칭한 후 밝기 임계치에 포함된 시간대별 자연광에 대한 평균값 및 주변 조도값과 비교하여 기 설정된 밝기 임계치를 초과하였는지의 여부를 확인한다.The digital door lock device 110 checks whether the brightness threshold is exceeded by matching the illumination detection information at the current time and comparing the average value and the ambient illumination value of natural light for each time zone included in the brightness threshold.

단계 S440에서, 디지털 도어락 장치(110)는 일반상황 상태에서 비밀번호 오류가 감지되는 경우 경계상황으로 인지하여 터치패드 디스플레이부(216) 내에 경고 메시지를 출력하도록 한다.In operation S440, when the password error is detected in the general state, the digital door lock device 110 recognizes the boundary condition and outputs a warning message in the touch pad display unit 216.

디지털 도어락 장치(110)는 일반상황으로 인지한 상태에서 입력된 도어락 비밀번호에 대한 오류가 발생하는 경우, 경계상황으로 인지하여 터치패드 디스플레이부(216) 내에 기 설정된 색깔(예컨대, 붉은색) 경고 메시지가 블링크(Blink)되도록 한다.When the digital door lock device 110 detects an error about a door lock password input in a state recognized as a general situation, the digital door lock device 110 recognizes as a boundary condition and sets a preset color (eg, red) warning message in the touch pad display unit 216. Let Blink.

디지털 도어락 장치(110)는 일반상황으로 인지한 상태에서 조도 감지 정보가 기 설정된 밝기 임계치를 지속적으로 초과하고, 움직임 감지 정보가 기 설정된 움직임 임계치를 지속적으로 초과하는 경우, 경계상황으로 인지하여 터치패드 디스플레이부(216) 내에 기 설정된 색깔(예컨대, 붉은색) 경고 메시지가 블링크되도록 한다.The digital door lock device 110 recognizes the boundary condition when the illumination intensity sensing information continuously exceeds the predetermined brightness threshold in a state recognized as a general situation and the motion sensing information continuously exceeds the preset movement threshold. The predetermined color (eg, red) warning message is blinked in the display unit 216.

디지털 도어락 장치(110)는 일반상황으로 인지한 상태에서 입력된 도어락 비밀번호에 대한 오류가 발생하고, 조도 감지 정보가 기 설정된 밝기 임계치를 초과하는 횟수가 기 설정된 횟수 이상으로 발생하고, 움직임 감지 정보가 기 설정된 움직임 임계치를 초과하는 횟수가 기 설정된 횟수 이상으로 발생하는 경우, 경계상황으로 인지하여 터치패드 디스플레이부(216) 내에 기 설정된 색깔(예컨대, 붉은색) 경고 메시지가 블링크되도록 한다.The digital door lock device 110 generates an error for the door lock password input in a state recognized as a general situation, the number of times that the illuminance detection information exceeds a preset brightness threshold occurs more than a preset number of times, and the motion detection information is displayed. When the number of times exceeding the predetermined movement threshold occurs more than the predetermined number of times, the warning message is recognized as a boundary condition so that a preset color (eg, red) warning message is linked in the touch pad display unit 216.

단계 S440에서, 디지털 도어락 장치(110)는 경계상황 상태에서 비밀번호 오류가 누적되며, 충격 감지 정보가 감지되는 경우 긴급상황으로 인지하여 기 등록된 단말기(130)로 긴급 메시지를 전송하도록 한다.In operation S440, the digital door lock device 110 accumulates a password error in a boundary state, and when the shock detection information is detected, recognizes the emergency situation and transmits an emergency message to the registered terminal 130.

디지털 도어락 장치(110)는 경계상황으로 인지한 상태에서 입력된 도어락 비밀번호에 대한 오류가 기 설정된 횟수 이상으로 누적하여 발생하고, 충격 감지 정보가 기 설정된 변화 임계치를 초과하여 발생하는 경우 충격이 발생한 것으로 간주하여 충격 발생 시점의 촬영된 영상을 캡쳐한 충격 발생 이미지를 저장한다. 디지털 도어락 장치(110)는 충격 발생 이미지와 긴급 상황 메시지를 기 등록된 단말기(130)로 무선통신으로 전송하도록 한다.The digital door lock device 110 is generated by accumulating more than a predetermined number of errors for the input door lock password in a state recognized as a boundary condition, and the impact occurs when the shock detection information exceeds the preset change threshold. It is considered to store the shock-generating image captured the captured image of the point of impact. The digital door lock device 110 transmits the shock generation image and the emergency message to the terminal 130 registered by wireless communication.

도 4에서는 단계 S410 내지 단계 S440을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 4에 기재된 단계를 변경하여 실행하거나 하나 이상의 단계를 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 4는 시계열적인 순서로 한정되는 것은 아니다.In FIG. 4, steps S410 through S440 are sequentially executed, but the present disclosure is not limited thereto. In other words, since the steps described in FIG. 4 may be applied by changing the steps or executing one or more steps in parallel, FIG. 4 is not limited to the time series order.

전술한 바와 같이 도 4에 기재된 본 실시예에 따른 사각지대 객체 감지를 이용하여 상황을 인지하는 방법은 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 본 실시예에 따른 사각지대 객체 감지를 이용하여 상황을 인지하는 방법을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. As described above, the method for recognizing a situation using the blind spot object detection according to the present embodiment described in FIG. 4 may be implemented in a program and recorded in a computer-readable recording medium. A computer-readable recording medium for recording a program for implementing a method for recognizing a situation using blind spot object detection according to the present embodiment may be any type of recording device that stores data that can be read by a computer system. Include.

도 5는 본 실시예에 따른 디지털 도어락 장치의 촬영 범위를 설명하기 위한 도면이다.5 is a view for explaining a shooting range of the digital door lock apparatus according to the present embodiment.

도 5의 (a)에 도시된 바와 같이, 일반 카메라를 적용한 디지털 도어락 장치는 화각으로 인해 촬영 범위상에서 ‘사각지대’가 발생하게 된다.As shown in (a) of FIG. 5, the digital door lock device to which the general camera is applied generates a 'blind spot' in the shooting range due to the angle of view.

하지만, 도 5의 (b)에 도시된 바와 같이, 어안렌즈 카메라(210)를 적용한 디지털 도어락 장치(110)는 보다 넓은 화각으로 촬영하기 때문에, 촬영 범위상에서 ‘사각지대’가 미발생하게 된다.However, as shown in (b) of FIG. 5, since the digital door lock device 110 to which the fisheye lens camera 210 is applied is photographed with a wider angle of view, the 'blind spot' does not occur in the shooting range.

즉, 도 5의 (b)에 도시된 디지털 도어락 장치(110)는 센서부(230)로부터 수신한 센싱 정보의 변화치에 따라 3단계로 대응 동작을 설정하여 각 단계별로 설정된 동작을 수행한다.That is, the digital door lock apparatus 110 shown in FIG. 5B sets a corresponding operation in three steps according to the change value of the sensing information received from the sensor unit 230 to perform the operation set in each step.

< 1 단계 > 일반상황 < Stage 1 > General situation

디지털 도어락 장치(110)는 기 설정된 영역에서 객체가 감지되는지의 여부를 확인하고, 객체가 감지되면, 해당 객체가 일반적인 객체인지의 여부를 확인한 후 ‘일반상황’으로 인식하여 기 설정된 영역에 대한 영상을 촬영한 후 녹화를 실행한다.The digital door lock apparatus 110 checks whether an object is detected in a preset area, and if an object is detected, checks whether the object is a general object, and recognizes the image as a 'normal situation' so as to display an image of the preset area. After recording, perform recording.

디지털 도어락 장치(110)는 도어락 근처로 접근하는 객체에 대해 조도 센서(234)로부터 센싱한 조도 감지 정보와 모션 센서(232)로부터 센싱한 움직임 값을 근거로 현재 상황을 종합 판단한다.The digital door lock device 110 comprehensively determines the current situation based on the illumination detection information sensed by the illumination sensor 234 and the motion value sensed by the motion sensor 232 for the object approaching the door lock.

디지털 도어락 장치(110)는 밝기값과 움직임 값에 근거하여 도어락 근처로 접근하는 객체가 일반적인 객체로 인한 경우, 일반적인 상황으로 인지하여 기 설정된 영역에 대한 영상을 촬영하면서 녹화를 실행한다.When the object approaching near the door lock is a general object based on the brightness value and the motion value, the digital door lock device 110 recognizes as a general situation and performs recording while capturing an image of a preset area.

디지털 도어락 장치(110)는 조도 센서(234)로부터 센싱한 조도 감지 정보와 모션 센서(232)로부터 센싱한 움직임 값을 이용하여 객체를 정확하게 감지한다. The digital door lock device 110 accurately detects the object by using the illumination detection information sensed by the illumination sensor 234 and the motion value sensed by the motion sensor 232.

디지털 도어락 장치(110)는 조도 센서(234)로부터 센싱한 조도 감지 정보의 변화를 판단하기 위해 시간대별 자연광에 대한 평균값, 주변 조도값을 이용한다.The digital door lock apparatus 110 uses an average value of natural light for each time zone and an ambient illuminance value to determine a change in illuminance detection information sensed by the illuminance sensor 234.

디지털 도어락 장치(110)는 기 설정된 영역에서 객체가 다가오는 것을 정확하게 인지하기 위해 1차적으로 조도 센서(234)로부터 센싱한 조도 감지 정보가 기 설정된 밝기 임계치를 초과하여 변화하는 경우 기 설정된 영역(도어락 바깥쪽)에 객체가 감지된 것으로 인지한다.The digital door lock device 110 may be configured to display a preset area (outside the door lock) when the illumination detection information sensed from the illumination sensor 234 primarily changes beyond a preset brightness threshold in order to accurately recognize an object approaching in a preset area. The object is detected.

디지털 도어락 장치(110)는 기 설정된 영역에서 객체가 다가오는 것을 정확하게 인지하기 위해 2차적으로 조도 센서(234)로부터 센싱한 조도 감지 정보가 기 설정된 밝기 임계치를 초과하며, 모션 센서(232)로부터 센싱된 움직임 값이 기 설정된 움직임 임계치를 초과하는 경우 객체가 도어락으로 접근하는 것으로 판단하여 영상을 촬영하고 녹화를 할 수 있다.In order to accurately recognize the approach of the object in the preset area, the digital door lock device 110 may have second illumination information sensed by the illumination sensor 234 exceeding a preset brightness threshold, and detected by the motion sensor 232. When the motion value exceeds the preset motion threshold, the object may be determined to approach the door lock, and thus the image may be recorded and recorded.

< 2 단계 > 경계상황 < Stage 2 > Boundary situation

디지털 도어락 장치(110)는 <1 단계>를 수행하여 ‘일반상황’으로 인지한 상태에서 추가적으로 특이 상황이 발생하는 경우 ‘경계상황’으로 인식한다.The digital door lock apparatus 110 performs a <step 1> to recognize as a "border situation" when an additional unusual situation occurs in a state recognized as a "general situation".

디지털 도어락 장치(110)는 <1 단계>를 수행하여 ‘일반상황’으로 인지한 상태에서 입력된 도어락 비밀번호에 대한 1회 오류가 인식되고, 센서부(230)로부터 센싱된 센싱값이 지속적으로 변화되는 경우 특이 상황이 발생한 것으로 인지하여 디지털 도어락 장치(110)의 터치패드 디스플레이부(216)에 붉은색 경고 메시지가 블링크(Blink)되도록 한다.The digital door lock apparatus 110 performs a <step 1> and recognizes a single error for the door lock password input while being recognized as 'a general situation', and the sensing value sensed by the sensor unit 230 continuously changes. If it is recognized that the unusual situation has occurred so that the red warning message on the touch pad display unit 216 of the digital door lock device 110 (Blink).

< 3 단계 > 긴급상황 < Stage 3 > Emergency

디지털 도어락 장치(110)는 <1 단계>, <2 단계>를 수행하여 ‘경계상황’으로 인지한 상태에서 추가적으로 특이 상황이 발생하는 경우 ‘긴급상황’으로 인식한다.The digital door lock apparatus 110 performs a <step 1> and a <step 2> to recognize as an 'emergency situation' when an additional unusual situation occurs while being recognized as a 'border situation'.

디지털 도어락 장치(110)는 <1 단계>, <2 단계>를 수행하여 ‘경계상황’으로 인지한 상태에서 입력된 도어락 비밀번호에 대한 3회 오류가 인식되고, G 센서(236)로부터 센싱된 x,y,z값이 기 설정된 변화 임계치를 초과하는 경우, 충격이 발생한 것으로 간주하여 영상 촬영 후 기 설정된 사용자 단말기(130)로 메시지와 캡쳐사진이 전송되도록 한다.The digital door lock device 110 performs steps <1> and <step 2>, and recognizes an error three times for the door lock password input while being recognized as a 'border situation' and is detected by the G sensor 236. If, y, z values exceed the preset change threshold value, the shock is considered to occur and the message and the captured picture are transmitted to the preset user terminal 130 after the image is taken.

도 6은 본 실시예에 따른 디지털 도어락 애플리케이션 기능을 설명하기 위한 도면이다.6 is a diagram for explaining a digital door lock application function according to the present embodiment.

도어락 제어 애플리케이션(132)은 도 6에 도시된 바와 같은 기능을 제공한다.The door lock control application 132 provides the functionality as shown in FIG.

‘설정’은 디지털 도어락 장치(110)에 무선통신방식(예컨대, Wi-Fi) 등록, 스마트폰 등록, 기능 설정(비밀번호, 기타설정)하도록 하는 기능을 의미한다.'Setting' means a function of registering a wireless communication method (eg, Wi-Fi), registering a smartphone, and setting a function (password, other settings) to the digital door lock device 110.

‘영상녹화 확인’은 단계별 상황에 녹화된 영상은 무선 통신망(예컨대, Wi-Fi)을 이용하여 다운로드한 후 영상 확인할 수 있도록 하는 가능을 의미한다.'Video recording confirmation' means that the video recorded in the step-by-step situation can be confirmed after downloading the image using a wireless communication network (for example, Wi-Fi).

‘긴급 신고’는 기 설정된 단계별(예컨대, 3단계) 긴급상황시 등록된 스마트폰으로 알림을 전달한 후 사용자가 긴급신고 버튼을 누를 경우, 설정된 번호(예컨대, 112)로 통화 연결을 시도하도록 하는 기능을 의미한다.'Emergency report' is a function that attempts to connect a call to the set number (eg 112) when the user presses an emergency report button after delivering a notification to a registered smartphone in a predetermined step (eg step 3) emergency Means.

‘실시간 영상 확인’은 사용자가 특이상황 없이도 실시간 현관문 앞 상황을 영상을 스트리밍으로 시청할 수 있도록 수 하며, 해당 영상을 캡쳐할 수 있도록 하는 기능을 의미한다.'Real-time video confirmation' refers to a function that enables the user to watch the video in front of the front door in real time without any unusual situation and to capture the video.

‘자동 열림’은 사용자의 승인하에 등록된 스마트폰으로 보안확인 절차를 거쳐 자동으로 문을 열어 줄 수 있도록 하는 기능을 의미한다.'Auto-open' refers to a function that allows a user to automatically open a door through a security check procedure with a smartphone registered with the user's approval.

도 7은 본 실시예에 따른 디지털 도어락 장치에서 촬영한 영상을 나타낸 도면이다.7 is a view showing an image captured by the digital door lock device according to the present embodiment.

디지털 도어락 장치(110)에 장착된 어안렌즈 카메라(210)를 이용하여 360˚ 범위의 영상을 촬영한다.The fisheye lens camera 210 mounted on the digital door lock device 110 captures an image of a 360 ° range.

디지털 도어락 장치(110)에 내장된 메모리에 이벤트 녹화 영상을 저장한다. 디지털 도어락 장치(110)에 내장된 메모리는 디지털 도어락의 구동에 필요한 각종 데이터를 저장하는 저장수단을 의미한다. 디지털 도어락 장치(110)에 내장된 메모리는 이벤트 녹화 영상을 저장할 뿐만 아니라, 디지털 도어락의 구동에 필요한 각종 프로그램 및 관련 데이터를 저장한다.The event recording image is stored in a memory built in the digital door lock device 110. The memory built in the digital door lock device 110 refers to storage means for storing various data required for driving the digital door lock. The memory embedded in the digital door lock device 110 not only stores event recorded images, but also stores various programs and related data necessary for driving the digital door lock.

사용자는 집안 내 모니터(디스플레이부)를 이용하거나 단말기(130)를 이용하여 영상을 확인할 때, 도 7에 도시된 바와 같이, 어안 영상(Fish Eye Image)을 도어락 제어 애플리케이션(132)과 연동하여 파노라마 또는 분할영상으로 형태로 시청할 수 있다.When the user uses an in-house monitor (display unit) or checks the image using the terminal 130, as shown in FIG. 7, the fish eye image is interlocked with the door lock control application 132. Or it can be viewed in the form of a divided image.

도 7에 도시된 바와 같이, 디지털 도어락 장치(110)는 어안렌즈 카메라(210)로 촬영한 어안 영상에 영상 왜곡현상 보정 기술(예컨대, 디워핑(De-Warping))을 적용하여 영상 왜곡없이 사용자 기호에 맞게 파노라마 영상 또는 분할영상을 생성하여 디스플레이한다. 결과적으로 디지털 도어락 장치(110)는 사용자가 왜곡없이 파노라마 영상 또는 분할 영상을 시청할 수 있도록 한다.As shown in FIG. 7, the digital door lock apparatus 110 applies a distortion correction technique (for example, de-warping) to a fisheye image captured by the fisheye lens camera 210, thereby eliminating image distortion. Creates and displays a panoramic image or a segmented image according to your preference. As a result, the digital door lock device 110 allows the user to watch the panorama image or the divided image without distortion.

이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The foregoing description is merely illustrative of the technical idea of the present embodiment, and various modifications and changes may be made to those skilled in the art without departing from the essential characteristics of the embodiments. Therefore, the present embodiments are to be construed as illustrative rather than restrictive, and the scope of the technical idea of the present embodiment is not limited by these embodiments. The scope of protection of the present embodiment should be construed according to the following claims, and all technical ideas within the scope of equivalents thereof should be construed as being included in the scope of the present invention.

110: 디지털 도어락 120: 네트워크
130: 단말기 132: 도어락 제어 애플리케이션
210: 어안렌즈 카메라 212: 배터리
214: 도어락 모터 제어부 216: 터치패드 디스플레이부
220: 메인 제어부 232: 모션 센서
234: 조도 센서 236: G 센서
240: 무선통신모듈
310: 일반상황 인지부 320: 경계상황 인지부
330: 긴급상황 인지부 340: 단말기 연동부
350: 영상 관리부110: digital door lock 120: network
130: terminal 132: door lock control application
210: fisheye lens camera 212: battery
214: door lock motor control unit 216: touch pad display unit
220: main control unit 232: motion sensor
234: illuminance sensor 236: G sensor
240: Wireless communication module
310: general situation recognition unit 320: boundary situation recognition unit
330: emergency situation recognition unit 340: terminal interworking unit
350: video management unit

Claims (15)

기 설정된 영역을 촬영한 영상 정보를 생성하는 촬영부;
움직임, 밝기, 외부 충격 중 적어도 하나 이상의 정보를 센싱한 센싱 정보를 생성하는 센서부;
단말기와 무선 통신을 수행하는 무선통신부; 및
상기 센서부로부터 수집된 상기 센싱 정보의 변화가 감지되는 경우, 기 설정된 영역에 객체가 감지된 것으로 인지하여 상기 촬영부가 촬영한 상기 영상 정보가 이벤트 영상 정보로서 녹화되도록 하며, 상기 센싱 정보의 변화 정도에 따라 단계별 상황을 인지하고, 상기 단계별 상황에 따라 기 설정된 동작이 수행되도록 하는 메인 제어부
를 포함하는 것을 특징으로 하는 디지털 도어락 장치.A photographing unit generating image information photographing a predetermined area;
A sensor unit configured to generate sensing information that senses at least one of motion, brightness, and external impact;
A wireless communication unit performing wireless communication with a terminal; And
When the change in the sensing information collected from the sensor unit is detected, the object is detected in a preset area so that the image information captured by the photographing unit is recorded as event image information, and the degree of change of the sensing information is detected. Recognizing the step-by-step situation according to, and the main control unit to perform a predetermined operation according to the step-by-step situation
Digital door lock device comprising a. 제 1 항에 있어서,
상기 센서부는,
기 설정된 영역의 주변 상황의 움직임 센싱한 움직임 감지 정보를 생성하는 모션 센서;
기 설정된 영역의 주변 상황의 밝기값을 센싱한 조도 감지 정보를 생성하는 조도 센서; 및
도어락 자체의 x,y,z값 변화치를 센싱한 충격 감지 정보를 생성하는 G 센서를 포함하며,
상기 메인 제어부는 상기 움직임 감지 정보, 상기 조도 감지 정보 및 상기 충격 감지 정보 중 적어도 하나 이상의 정보의 변화 정도에 따라 단계별 상황을 인지하는 것을 특징으로 하는 디지털 도어락 장치.The method of claim 1,
The sensor unit includes:
A motion sensor for generating motion sensing information of motion sensing of a surrounding situation of a preset area;
An illuminance sensor configured to generate illuminance detection information sensing a brightness value of a surrounding situation of a preset area; And
It includes a G-sensor for generating shock detection information sensing the change in the x, y, z value of the door lock itself,
And the main controller recognizes a step-by-step situation according to a change degree of at least one or more of the motion detection information, the illuminance detection information, and the impact detection information. 제 2 항에 있어서,
상기 메인 제어부는,
상기 움직임 감지 정보가 기 설정된 움직임 임계치를 초과하는지의 여부, 상기 조도 감지 정보가 기 설정된 밝기 임계치를 초과하는지의 여부, 상기 충격 감지 정보가 기 설정된 변화 임계치를 초과하는지의 여부 중 적어도 하나의 판단 결과에 근거하여 단계별 상황을 인지하는 것을 특징으로 하는 디지털 도어락 장치.3. The method of claim 2,
The main control unit,
A determination result of at least one of whether the motion detection information exceeds a preset motion threshold, whether the illuminance detection information exceeds a preset brightness threshold, and whether the shock detection information exceeds a preset change threshold Digital door lock device, characterized in that for recognizing the step-by-step situation based on. 제 3 항에 있어서,
상기 메인 제어부는,
상기 움직임 감지 정보 및 상기 조도 감지 정보에 근거하여 기 설정된 영역의 객체를 감지되면 일반상황으로 인지하여 기 설정된 영역에 대한 영상을 촬영한 후 녹화를 실행하도록 하는 일반상황 인지부;
상기 일반상황 상태에서 비밀번호 오류가 감지되는 경우 경계상황으로 인지하여 디스플레이부 내에 경고 메시지를 출력하도록 하는 경계상황 인지부; 및
상기 경계상황 상태에서 비밀번호 오류가 누적되며, 상기 충격 감지 정보가 감지되는 경우 긴급상황으로 인지하여 외부로 긴급 메시지를 전송하도록 하는 긴급상황 인지부
를 포함하는 것을 특징으로 하는 디지털 도어락 장치.The method of claim 3, wherein
The main control unit,
A general situation recognizer configured to recognize an object in a preset area based on the motion detection information and the illuminance detection information and to record an image of the preset area and to perform recording after detecting an object in a preset area;
A boundary situation recognition unit for recognizing a boundary situation and outputting a warning message in a display unit when a password error is detected in the general situation; And
The password error accumulates in the boundary state, and when the shock detection information is detected, an emergency situation recognition unit recognizes an emergency situation and transmits an emergency message to the outside.
Digital door lock device comprising a. 제 4 항에 있어서,
상기 일반상황 인지부는,
일차적으로 상기 조도 감지 정보가 기 설정된 밝기 임계치를 초과하는 경우, 상기 조도 감지 정보의 변화가 임계치를 벗어나는 것으로 판단하여 기 설정된 영역에 객체가 감지된 것으로 추정하며,
이차적으로 상기 움직임 감지 정보가 기 설정된 움직임 임계치를 초과하는 경우, 상기 움직임 감지 정보의 변화가 임계치를 벗어나는 것으로 판단하여 기 설정된 영역에 객체가 감지된 것으로 확정하여,
상기 일반상황으로 인지한 후 기 설정된 영역에 대한 촬영된 영상을 녹화하도록 하는 것을 특징으로 하는 디지털 도어락 장치.5. The method of claim 4,
The general situation recognition unit,
First, when the illuminance detection information exceeds a preset brightness threshold, it is determined that the change of the illuminance detection information is out of the threshold, and it is estimated that an object is detected in a preset area.
Secondly, when the motion detection information exceeds a preset motion threshold, it is determined that the change of the motion detection information is out of the threshold, and it is determined that an object is detected in a preset area.
And recognizing the general situation and recording the captured image of the preset area. 제 5 항에 있어서,
상기 일반상황 인지부는,
현재 시간에 상기 조도 감지 정보를 매칭한 후 상기 밝기 임계치에 포함된 시간대별 자연광에 대한 평균값 및 주변 조도값과 비교하여 기 설정된 밝기 임계치를 초과하였는지의 여부를 확인하는 것을 특징으로 하는 디지털 도어락 장치.The method of claim 5, wherein
The general situation recognition unit,
And matching the illuminance detection information at a current time and comparing the average value and the ambient illuminance value of natural light for each time zone included in the brightness threshold to check whether a preset brightness threshold is exceeded. 제 4 항에 있어서,
상기 경계상황 인지부는,
상기 일반상황으로 인지한 상태에서 입력된 도어락 비밀번호에 대한 오류가 발생하는 경우, 상기 경계상황으로 인지하여 디스플레이부 내에 기 설정된 색깔로 경고 메시지가 블링크(Blink)되도록 하는 것을 특징으로 하는 디지털 도어락 장치.5. The method of claim 4,
The boundary situation recognition unit,
The digital door lock device, characterized in that when the error occurs for the door lock password input in the state recognized as the general situation, the warning message is blinked with a predetermined color in the display unit by recognizing the boundary condition. 제 4 항에 있어서,
상기 경계상황 인지부는,
상기 일반상황으로 인지한 상태에서 상기 조도 감지 정보가 기 설정된 밝기 임계치를 지속적으로 초과하고, 상기 움직임 감지 정보가 기 설정된 움직임 임계치를 지속적으로 초과하는 경우, 상기 경계상황으로 인지하여 디스플레이부 내에 기 설정된 색깔로 경고 메시지가 블링크되도록 하는 것을 특징으로 하는 디지털 도어락 장치.5. The method of claim 4,
The boundary situation recognition unit,
When the illuminance detection information continuously exceeds a predetermined brightness threshold in the state recognized as the general situation, and the motion detection information continuously exceeds the preset motion threshold, the controller detects the boundary condition and presets the preset in the display unit. Digital door lock device characterized in that the warning message is linked to the color. 제 4 항에 있어서,
상기 경계상황 인지부는,
상기 일반상황으로 인지한 상태에서 입력된 도어락 비밀번호에 대한 오류가 발생하고, 상기 조도 감지 정보가 기 설정된 밝기 임계치를 초과하는 횟수가 기 설정된 횟수 이상으로 발생하고, 상기 움직임 감지 정보가 기 설정된 움직임 임계치를 초과하는 횟수가 기 설정된 횟수 이상으로 발생하는 경우, 상기 경계상황으로 인지하여 디스플레이부 내에 기 설정된 색깔로 경고 메시지가 블링크되도록 하는 것을 특징으로 하는 디지털 도어락 장치.5. The method of claim 4,
The boundary situation recognition unit,
An error with respect to the door lock password input in the state recognized as the general situation occurs, the number of times that the illuminance detection information exceeds a preset brightness threshold occurs more than a preset number of times, and the motion detection information is a preset motion threshold value. If the number of times exceeds the predetermined number of times, the digital door lock device characterized in that the warning message is blinked in a predetermined color in the display unit by recognizing the boundary condition. 제 4 항에 있어서,
상기 긴급상황 인지부는,
상기 경계상황으로 인지한 상태에서 입력된 도어락 비밀번호에 대한 오류가 기 설정된 횟수 이상으로 누적하여 발생하고, 상기 충격 감지 정보가 기 설정된 변화 임계치를 초과하여 발생하는 경우 충격이 발생한 것으로 간주하여 충격 발생 시점의 촬영된 영상을 캡쳐한 충격 발생 이미지를 저장하는 것을 특징으로 하는 디지털 도어락 장치.5. The method of claim 4,
The emergency situation recognition unit,
If the error for the door lock password input in the state recognized as the boundary condition accumulates more than a predetermined number of times and occurs when the shock detection information exceeds the preset change threshold, the shock is considered to have occurred. Digital door lock device, characterized in that for storing the shock-generating image captured the captured image. 제 10 항에 있어서,
상기 긴급상황 인지부는 충격 발생 이미지와 긴급 상황 메시지를 기 등록된 단말기로 무선통신으로 전송하도록 하는 것을 특징으로 하는 디지털 도어락 장치.11. The method of claim 10,
The emergency situation recognition unit is a digital door lock device, characterized in that for transmitting the shock generated image and the emergency message to the wireless communication to the pre-registered terminal. 제 1 항에 있어서,
연동하는 상기 단말기의 요청에 따라 상기 단말기를 등록하도록 설정하는 설정, 기 저장된 단계별 상황에 따라 녹화된 영상 정보를 전송, 긴급 상황시 등록된 단말기로 알림을 전달, 기 설정된 영역에 대한 영상을 스트리밍하거나 캡쳐, 상기 단말기의 요청에 따라 잠금장치가 열리도록 도어락 모터를 제어하도록 하는 단말기 연동부
를 추가로 포함하는 것을 특징으로 하는 디지털 도어락 장치.The method of claim 1,
Setting to register the terminal according to a request of the terminal to be interlocked; transmitting recorded video information according to pre-stored step-by-step situations; delivering a notification to a registered terminal in case of emergency; Capturing, the terminal interlocking unit to control the door lock motor to open the lock according to the request of the terminal
Digital door lock device characterized in that it further comprises. 제 1 항에 있어서,
상기 촬영부는,
어안렌즈를 구비하며, 상기 어안렌즈를 이용하여 기 설정된 영역 상에서 사각지대가 미존재하도록 하는 영상을 촬영하는 것을 특징으로 하는 디지털 도어락 장치.The method of claim 1,
Wherein,
And a fisheye lens, and photographing an image in which a blind spot does not exist on a predetermined area by using the fisheye lens. 제 13 항에 있어서,
내장된 메모리에 이벤트 녹화 영상을 저장하며, 상기 어안렌즈로 촬영한 어안 영상(Fish Eye Image)을 파노라마 영상 또는 분할영상으로 형태로 디스플레이되도록 하며, 상기 어안 영상에 영상 왜곡현상 보정 기술을 적용하여 영상 왜곡을 제거하는 것을 특징으로 하는 영상 관리부
를 추가로 포함하는 것을 특징으로 하는 디지털 도어락 장치.The method of claim 13,
Stores the event recording image in the built-in memory, and displays the fish eye image taken by the fisheye lens in the form of a panoramic image or a segmented image, by applying image distortion correction technology to the fisheye image Image management unit characterized in that to remove the distortion
Digital door lock device characterized in that it further comprises. 기 설정된 영역을 촬영한 영상 정보를 생성하는 과정;
움직임, 밝기, 외부 충격 중 적어도 하나 이상의 정보를 센싱한 센싱 정보를 생성하는 과정;
상기 센싱 정보의 변화가 감지되는지의 여부를 확인하는 과정;
상기 센싱 정보의 변화가 감지되면 기 설정된 영역에 객체가 감지된 것으로 인지하여 상기 촬영부가 촬영한 상기 영상 정보가 이벤트 영상 정보로서 녹화되도록 하는 과정; 및
상기 센싱 정보의 변화 정도에 따라 단계별 상황을 인지하고, 상기 단계별 상황에 따라 기 설정된 동작이 수행되도록 하는 과정
을 포함하는 것을 특징으로 하는 사각지대 객체 감지를 이용하여 상황을 인지하는 방법.
Generating image information of a preset region;
Generating sensing information that senses at least one of motion, brightness, and external impact;
Checking whether a change in the sensing information is detected;
Recognizing that an object is detected in a predetermined area when the change of the sensing information is detected so that the image information captured by the photographing unit is recorded as event image information; And
Recognizing a step-by-step situation in accordance with the degree of change of the sensing information, and a process for performing a predetermined operation according to the step-by-step situation
Method for recognizing a situation using blind spot object detection, characterized in that it comprises a.
KR1020180009570A 2018-01-25 2018-01-25 Method And Digital Door Lock Apparatus for Providing Situational Awareness by using Detecting Object of Blind Area KR102033057B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180009570A KR102033057B1 (en) 2018-01-25 2018-01-25 Method And Digital Door Lock Apparatus for Providing Situational Awareness by using Detecting Object of Blind Area

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180009570A KR102033057B1 (en) 2018-01-25 2018-01-25 Method And Digital Door Lock Apparatus for Providing Situational Awareness by using Detecting Object of Blind Area

Publications (2)

Publication Number Publication Date
KR20190090630A true KR20190090630A (en) 2019-08-02
KR102033057B1 KR102033057B1 (en) 2019-10-16

Family

ID=67614303

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180009570A KR102033057B1 (en) 2018-01-25 2018-01-25 Method And Digital Door Lock Apparatus for Providing Situational Awareness by using Detecting Object of Blind Area

Country Status (1)

Country Link
KR (1) KR102033057B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115361523A (en) * 2022-07-13 2022-11-18 重庆甲智甲创科技有限公司 Intelligent monitoring method and device and intelligent door
KR20230038923A (en) * 2021-09-13 2023-03-21 주식회사 동영엠텍 Push-pull door lock for non-contact, non-face-to-face automatic entry and exit IoT control and its control method
WO2023163311A1 (en) * 2022-02-24 2023-08-31 주식회사 아이티공간 Smart door lock having security function

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102237742B1 (en) 2019-12-31 2021-04-07 전정일 Digital doorlocks for pvc doors with sealing and doule locking functions

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150137539A (en) * 2014-05-30 2015-12-09 조동수 Door lock controlling apparatus using mobile terminal and method thereof
KR20170009532A (en) * 2015-07-17 2017-01-25 김민구 A digital-door lock interlocking with smart phone

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150137539A (en) * 2014-05-30 2015-12-09 조동수 Door lock controlling apparatus using mobile terminal and method thereof
KR20170009532A (en) * 2015-07-17 2017-01-25 김민구 A digital-door lock interlocking with smart phone

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230038923A (en) * 2021-09-13 2023-03-21 주식회사 동영엠텍 Push-pull door lock for non-contact, non-face-to-face automatic entry and exit IoT control and its control method
WO2023163311A1 (en) * 2022-02-24 2023-08-31 주식회사 아이티공간 Smart door lock having security function
CN115361523A (en) * 2022-07-13 2022-11-18 重庆甲智甲创科技有限公司 Intelligent monitoring method and device and intelligent door
CN115361523B (en) * 2022-07-13 2024-02-13 重庆甲智甲创科技有限公司 Intelligent monitoring method and device and intelligent door

Also Published As

Publication number Publication date
KR102033057B1 (en) 2019-10-16

Similar Documents

Publication Publication Date Title
US11093731B2 (en) Analysis of reflections of projected light in varying colors, brightness, patterns, and sequences for liveness detection in biometric systems
KR102033057B1 (en) Method And Digital Door Lock Apparatus for Providing Situational Awareness by using Detecting Object of Blind Area
WO2021017561A1 (en) Face recognition method and apparatus, electronic device, and storage medium
US20160378961A1 (en) Security system, apparatus and method using additional code
KR101595413B1 (en) Access control system and method with structure type approved by hierarchical manager based on ICT convergence technology
KR101960799B1 (en) biometric recognition access control system having IoT and its control methods
CN102509053A (en) Authentication and authorization method, processor, equipment and mobile terminal
JP2011048547A (en) Abnormal-behavior detecting device, monitoring system, and abnormal-behavior detecting method
WO2018225642A1 (en) Face authentication system, face authentication method, biometric authentication system, biometric authentication method, and recording medium
US10417886B2 (en) Camera with wireless power transmitter
WO2019173521A1 (en) Frictionless access control system for a building
KR101573887B1 (en) Security Managing System Regulating Selectively a Function of the Smartphone and Controlling Method for the same
CN111989671A (en) Security system
KR100787005B1 (en) A system for controlling the exit and entry using a camera built-in no-touch type card reader
KR20160005204A (en) Security system and method using detecting face or shape of human in doorlock
CN110969067B (en) User registration and authentication method and device
JP2002364224A (en) Television door phone with electric lock locking/ unlocking function
CN111275850A (en) Access control method and system
KR20160105595A (en) Door Lock with Camera
KR101668342B1 (en) monitering apparatus for inside of a safe
KR20210099987A (en) Device and method to control door lock
KR20070110152A (en) Processing device for locking and opening of image phase
KR20170073109A (en) Doorlock System Using Mobile Communication Terminal
KR20180003897A (en) Document security method, device and computer readable medium
JP2021139175A (en) Control system and control method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant