WO2022158681A1 - 얼굴 인식을 기반으로 출입문의 잠금 및 해제를 제어하는 출입문 제어 장치 및 그 동작 방법 - Google Patents

얼굴 인식을 기반으로 출입문의 잠금 및 해제를 제어하는 출입문 제어 장치 및 그 동작 방법 Download PDF

Info

Publication number
WO2022158681A1
WO2022158681A1 PCT/KR2021/014279 KR2021014279W WO2022158681A1 WO 2022158681 A1 WO2022158681 A1 WO 2022158681A1 KR 2021014279 W KR2021014279 W KR 2021014279W WO 2022158681 A1 WO2022158681 A1 WO 2022158681A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
value
image data
indoor
outdoor
Prior art date
Application number
PCT/KR2021/014279
Other languages
English (en)
French (fr)
Inventor
우경일
이홍규
Original Assignee
(주)한컴인텔리전스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)한컴인텔리전스 filed Critical (주)한컴인텔리전스
Publication of WO2022158681A1 publication Critical patent/WO2022158681A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00563—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys using personal physical data of the operator, e.g. finger prints, retinal images, voicepatterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/20—Individual registration on entry or exit involving the use of a pass
    • G07C9/22—Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder
    • G07C9/23—Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder by means of a password
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37—Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00309—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys operated with bidirectional data transmission between data carrier and locks
    • G07C2009/00412—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys operated with bidirectional data transmission between data carrier and locks the transmitted data signal being encrypted

Definitions

  • the present invention relates to a door control device for controlling locking and unlocking of a door based on face recognition and a method of operating the same.
  • a general locking device installed on a door uses a password-based locking method that unlocks when a user applies a password.
  • This password-based locking method is more convenient and safer in that the user has to manually input the password each time to unlock the lock, inconvenient to use and there is a risk that the password may be easily exposed. Research on locking methods is needed.
  • a method of unlocking a door by recognizing a user's face and confirming whether the recognized face is a face of a person permitted to enter may be considered. If the door is unlocked based on face recognition in this way, the user does not have to enter the password directly and there is no risk of the password being exposed. .
  • the camera is mounted on the indoor and outdoor sides of the door to record the images of the indoor and outdoor sides, and the face of a person who wants to unlock the door is recognized through the outdoor camera to unlock the door. It is necessary to study the door control technology that makes this possible.
  • the present invention obtains a face image of a user through a camera mounted on a door, passes the obtained face image through a convolutional neural network to obtain an output vector, and then obtains an output vector A first feature vector having a maximum similarity with the output vector among feature vectors for the face images of the plurality of users is identified through comparison between the feature vector and the output vector, and then the first feature vector and the output vector When it is confirmed that the error is less than a preset reference value, by unlocking the lock mounted on the door, it is intended to support the user to easily unlock the door only by recognizing a face.
  • Door control for controlling locking and unlocking of a locking device existing in the door by being provided on a door in which a first camera is mounted in an indoor direction and a second camera is mounted in an outdoor direction according to an embodiment of the present invention
  • the device is a user information storage unit in which a preset n (n is a natural number greater than or equal to 2) dimensional feature vector corresponding to the face images of a plurality of users who are pre-designated as allowed access, is photographed through the first camera.
  • An image transmission unit that encrypts an indoor image and an outdoor image captured by the second camera and transmits it to an image storage server.
  • Convolutional Neural Networks in which pre-machine learning is completed after obtaining the face image of the first user through the second camera is passed through a plurality of convolutional and pooling layers for image feature extraction, and is pre-trained to calculate an n-dimensional output vector.
  • an output vector obtaining unit which obtains one output vector, when the first output vector is obtained, a vector between the first output vector and a feature vector corresponding to the face images of the plurality of users stored in the user information storage unit a vector selector that calculates a degree of similarity and selects a first feature vector having the maximum degree of vector similarity among feature vectors corresponding to the face images of the plurality of users; n components constituting the first feature vector; n components constituting one output vector are matched with each other at the same positions within the vector, so that the first calculating a mean squared error between the feature vector and the first output vector and an error calculating unit and a lock releasing unit for releasing the lock of the locking device when it is determined that the mean square error is less than a preset reference value.
  • a first camera is mounted in an indoor direction and a second camera is mounted in an outdoor direction to control locking and unlocking of a locking device existing in the door according to an embodiment of the present invention.
  • the operation method of the door control device includes the steps of maintaining a user information storage unit in which a preset n (n is a natural number equal to or greater than 2) dimensional feature vector corresponding to the face images of a plurality of users who are pre-designated as being allowed to enter is stored; Encrypting the indoor image photographed through the first camera and the outdoor image photographed through the second camera and transmitting it to an image storage server, locking the locking device by the first user existing outdoors When a release command is applied, a convolutional neural network in which pre-machine learning is completed after obtaining the face image of the first user through the second camera.
  • the image By passing the image through a plurality of convolutional layers and pooling layers for image feature extraction, it is pre-trained to calculate an n-dimensional output vector - by applying the face image of the first user as an input to the obtaining an output vector; when the first output vector is obtained, calculating a vector similarity between the first output vector and a feature vector corresponding to the face images of the plurality of users stored in the user information storage unit , selecting a first feature vector having the maximum degree of vector similarity from among feature vectors corresponding to the face images of the plurality of users, comprising n components constituting the first feature vector and the first output vector By matching n components to the same positions in a vector, the first feature vector and the first calculating a mean squared error between the output vectors, and if it is determined that the mean squared error is less than a preset reference value, locking the locking device and releasing it.
  • the present invention obtains a face image of a user through a camera mounted on a door, passes the obtained face image through a convolutional neural network to obtain an output vector, and then obtains an output vector A first feature vector having a maximum similarity with the output vector among feature vectors for the face images of the plurality of users is identified through comparison between the feature vector and the output vector, and then the first feature vector and the output vector When it is confirmed that the error is less than the preset reference value, by unlocking the lock mounted on the door, the user can easily unlock the door by simply recognizing a face.
  • FIG. 1 is a view showing the structure of an apparatus for controlling a door according to an embodiment of the present invention.
  • FIG. 2 is a flowchart illustrating a method of operating an apparatus for controlling a door according to an embodiment of the present invention.
  • each of the components, functional blocks or means may be composed of one or more sub-components, and the electrical, electronic, and mechanical functions performed by each component are electronic.
  • a circuit, an integrated circuit, an ASIC (Application Specific Integrated Circuit), etc. may be implemented with various well-known devices or mechanical elements, and may be implemented separately or two or more may be integrated into one.
  • the blocks in the accompanying block diagram or steps in the flowchart are computer program instructions that are loaded in a processor or memory of equipment capable of data processing, such as a general-purpose computer, a special-purpose computer, a portable notebook computer, and a network computer, and perform specified functions.
  • a processor or memory of equipment capable of data processing such as a general-purpose computer, a special-purpose computer, a portable notebook computer, and a network computer, and perform specified functions.
  • these computer program instructions may be stored in a memory provided in a computer device or in a memory readable by a computer
  • the functions described in the blocks of the block diagram or the steps of the flowchart are produced in an article containing instruction means for performing the same. it might be
  • each block or each step may represent a module, segment, or portion of code comprising one or more executable instructions for executing the specified logical function(s).
  • FIG. 1 is a view showing the structure of an apparatus for controlling a door according to an embodiment of the present invention.
  • an access door control device 110 is provided on a door 100 and controls locking and unlocking of a locking device existing in the door 100 , and includes a user information storage unit 111 . ), an image transmitting unit 112 , an output vector obtaining unit 113 , a vector selecting unit 114 , an error calculating unit 115 , and a lock releasing unit 116 .
  • the first camera 101 is mounted on the door 100 in the indoor direction
  • the second camera 102 is mounted in the outdoor direction.
  • the user information storage unit 111 stores a preset n (n is a natural number equal to or greater than 2) dimension feature vectors corresponding to face images of a plurality of users who are pre-designated to be allowed in and out.
  • information may be stored in the user information storage unit 111 as shown in Table 1 below.
  • Face images of multiple users feature vector User 1's face image [a b c d e] User 2's face image [f g h i j] User 3's face image [k l m n o] ... ...
  • the image transmission unit 112 encrypts the indoor image photographed through the first camera 101 and the outdoor image photographed through the second camera 102 and transmits the encrypted image to the image storage server 10 .
  • the output vector obtaining unit 113 acquires the face image of the first user through the second camera 102 when a lock release command for the lock is applied by the first user existing outside. Then, an n-dimensional first output vector is obtained by applying the face image of the first user as an input to the convolutional neural networks in which the pre-machine learning has been completed.
  • a convolutional neural network is a neural network composed of a number of convolutional layers and pooling layers composed of convolution filters. Then, convolution is generated by convolution filters having one or more channels constituting the convolution layer to generate an output feature map, downsampling is performed to reduce the size of the output feature map through a pooling layer, and then the output After this, the process of applying the input again to the convolution layer and the pooling layer is repeated, and a predetermined output is calculated through the repetition of this process.
  • the convolutional neural network used in the present invention when a face image is applied as an input, passes the face image applied as an input through a plurality of convolutional layers and pooling layers for image feature extraction, and outputs an n-dimensional It is pre-trained to yield vectors.
  • the developer constructs a training set in which a plurality of face images and an n-dimensional correct answer vector corresponding to each face image are matched, and then a plurality of face images constituting the training set are used.
  • the convolutional neural network can be trained so that the predictive vector of each face image is closest to the corresponding correct answer vector. .
  • the output vector obtaining unit 113 applies the first user's face image to the convolutional neural network as an input, thereby performing the synthesis.
  • the n-dimensional first output vector calculated through the product neural network may be obtained.
  • the developer may utilize the convolutional neural network in which machine learning has been completed even in the process of building the user information storage unit 111 in which the information shown in Table 1 is stored.
  • the developer selects the face images of a plurality of users who are pre-designated as having direct access and a feature vector corresponding thereto to build the user information storage unit 111.
  • the face images of the plurality of users are passed through the convolutional neural network on which machine learning has been completed, an output vector corresponding to each user's face image is calculated, and then this output vector is applied to the face image of each user. It may be designated as a feature vector and stored on the user information storage unit 111 .
  • the vector selector 114 determines a vector similarity between the first output vector and a feature vector corresponding to the face images of the plurality of users stored in the user information storage 111 .
  • a first feature vector having the maximum degree of vector similarity is selected from among the feature vectors corresponding to the face images of the plurality of users.
  • S is the cosine similarity between vectors A and B, and has a value between -1 and 1, and a larger value means a similar vector
  • a i is the i-th component of the vector A
  • B i is the i of the vector B means the second component.
  • Equation 2 D denotes a Euclidean distance, and A i and B i denote i-th components included in the two vectors.
  • the error calculating unit 115 associates the n components constituting the first feature vector and the n components constituting the first output vector to the same positions within the vector, so that n components constituting the first feature vector A mean squared error between the first feature vector and the first output vector is calculated based on the n components and the n components constituting the first output vector.
  • Equation 3 the mean squared error
  • MSE is the mean squared error
  • x i is the component at the i-th position among n components constituting the first feature vector
  • t i is the i-th position among the n components constituting the first output vector.
  • n is '5'
  • feature vectors are stored in the user information storage unit 111 as shown in Table 1, and the vector selector 114 selects the
  • the error calculating unit 115 sets the 'feature vector 1' as the first feature vector and the first output.
  • 5 components constituting the vector are matched with each other at the same positions in the vector, based on the 5 components constituting the 'feature vector 1' that is the first feature vector and the 5 components constituting the first output vector , the mean square error between the 'feature vector 1', which is the first feature vector, and the first output vector, may be calculated according to the operation of Equation (3).
  • the error calculating unit 115 corresponds to the component 'a' in the 'feature vector 1' to the component 'q' in the first output vector, and , corresponding component 'b' in 'feature vector 1' to component 'z' in the first output vector, and component 'c' in 'feature vector 1' to component 'x' in the first output vector ', component 'd' in 'feature vector 1' corresponds to component 's' in the first output vector, and component 'e' in 'feature vector 1' in the first output vector.
  • each corresponding component is applied as an input to x i and t i in Equation 3 above, so that the mean square error between the two vectors can be calculated.
  • the unlocking unit 116 unlocks the locking device.
  • the small mean square error between the first feature vector and the first output vector means that the first feature vector and the first output vector have very similar values, which means that the first user Since it means that the degree of approximation between the face image of and the user's face image with respect to the first feature vector is high, the unlocking unit 116 determines that the mean square error is less than the reference value, By confirming that the user is an authorized user and unlocking the locking device, it is possible to support the first user to open the door 100 and enter the room.
  • the door control apparatus 110 may further include an object check unit 117 and a lock control unit 118 .
  • the object checking unit 117 uses a preconfigured object recognition model for recognizing a human object from an image within a first preset time from the time when the locking device is unlocked, It is checked whether a human object is recognized from the indoor image captured by the first camera 101 .
  • the lock control unit 118 controls the locking device to be locked immediately, and when the human object is not recognized from the indoor image, the locking device is unlocked.
  • the locking device is controlled to be locked.
  • the object confirmation unit 117 performs the object recognition model within '30 seconds' when the locking device is unlocked by the lock release unit 116 . can be used to check whether a human object is recognized from an indoor image captured by the first camera 101 .
  • the object checking unit 117 displays the indoor image. By checking whether the human object is recognized from the , it can be checked whether the first user has entered the room after unlocking the door 100 .
  • the lock control unit 118 can be viewed as a situation in which the first user has entered the room normally, so that the locking device is locked again. can be controlled
  • the lock control unit 118 may view a situation in which the first user does not normally enter the room, and thus maintains the unlocked state of the locking device.
  • a time of '30 seconds' elapses from the time the locking device is unlocked it is considered that the first user does not enter the room, and the locking device may be controlled to be locked.
  • the image transmission unit 112 of the door control device 110 transmits an indoor image photographed through the first camera 101 and an outdoor image photographed through the second camera 102 . It can be transmitted by encryption to the storage server 10. In this case, the image transmission unit 112 encrypts the indoor image and the outdoor image and transmits the encrypted image to the image storage server 10.
  • preset t (t is a natural number greater than or equal to 2) encryption keys and different integers from 0 to t-1 corresponding to each encryption key are stored in correspondence with each other.
  • encryption keys may be stored in the key storage unit 119 as shown in Table 2 below.
  • the event generator 120 generates an event for transmitting the indoor image and the outdoor image to the image storage server 10 by encrypting the indoor image and the outdoor image every preset first period.
  • the data generating unit 121 captures the indoor image and the outdoor image captured by the first camera 101 and the second camera 102 from the time the event occurs until the next event occurs. Generate image data for
  • the calculation value calculator 122 checks a date value and a time value for a time point when the image data for the indoor image and the outdoor image are generated, and then By performing a modulo operation in which a date value is a dividend and t is a divisor, a first operation value is calculated, and a modulo operation is performed in which the time value is a dividend and t is a divisor, A second calculated value is calculated.
  • the modulo operation refers to an operation of dividing a dividend by a divisor and calculating a remainder thereof.
  • the calculation value calculating unit 122 confirms '20210111' as the date value, '1314' as the time value, and performs a modulo operation with the date value '20210111' as a dividend and '5' as a divisor
  • the first calculated value can be calculated as '1'
  • the second calculated value can be calculated as '4' by performing a modulo operation in which the time value '1314' is a dividend and '5' is a divisor.
  • the key extraction unit 123 extracts a first encryption key corresponding to the first operation value from the key storage unit 119 and extracts a second encryption key corresponding to the second operation value.
  • the key extraction unit 123 may extract 'encryption key 2' with the first encryption key corresponding to '1', which is the first operation value, when encryption keys are stored as shown in Table 2 above, 'Encryption key 5' may be extracted with the second encryption key corresponding to '4' which is the second operation value.
  • the transmission unit 124 encrypts the image data for the indoor image with the first encryption key, encrypts the image data for the outdoor image with the second encryption key, and then encrypts the encrypted indoor image and the outdoor image. While transmitting data together with the date value and the time value to the image storage server 10, the encrypted image data for the indoor image and the outdoor image are transmitted to the image storage server 10 with the date value and the time. Sends a save command instructing to store a value corresponding to the value.
  • the transmission unit 124 transmits the encrypted image data for the indoor image and the outdoor image. While transmitting to the image storage server 10 together with the date value '20210111' and the time value '1314', the encrypted image data for the indoor image and the outdoor image are transmitted to the image storage server 10 on the date A storage command instructing to be stored in correspondence with the value and the time value may be transmitted.
  • the image storage server 10 may store the encrypted image data for the indoor image and the outdoor image in correspondence with the date value '20210111' and the time value '1314'.
  • the door control device 110 is configured to acquire the indoor image and the outdoor image encrypted and stored in the image storage server 10, and includes a manager information storage unit 125, The first message output unit 126 , the second message output unit 127 , the search request unit 128 , the information request unit 129 , the calculation unit 130 , and the download information transmission unit 131 may be further included. have.
  • a preset first manager password for confirming an access right to an image and identification information of a pre-specified manager terminal 20 for providing an image are stored.
  • the first message output unit 126 outputs a password request message requesting input of an administrator password when a command to provide the indoor image and the outdoor image stored in the image storage server 10 is applied by the administrator. do.
  • the first message output unit 126 receives the password request message through a display or a speaker provided in the door control device 110 when a command to provide the indoor image and the outdoor image is applied by the administrator. can be output on the screen or by voice.
  • the second message output unit 127 may input a date value and a time value at the desired time to be provided. Outputs a time request message requesting something.
  • the second message output unit 127 displays the time request message on the screen or through the display or speaker provided in the door control device 110 . It can be output by voice.
  • the search request unit 128 transmits the first date value and the first time value to the image storage server 10, and the first date A request is made to search for image data for the indoor image and the outdoor image stored in correspondence with a value and a date value and a time value that are closest to the value and the first time value.
  • the search request unit 128 transmits the first date value '20210111' and the first time value '1310' to the image storage server 10 while transmitting the first date value and the first time value.
  • a request may be made to search for image data for the indoor image and the outdoor image stored in correspondence with a date value and a time value closest to the time value.
  • the image storage server 10 receives the first date value '20210111' and the first time value '1310' from the door control device 110 and receives a search request for image data.
  • the indoor image stored in correspondence with the date value and time value closest to the first date value '20210111' and the first time value '1310' You can search image data for outdoor images.
  • the image data stored in the image storage server 10 corresponding to the date value '20210111' and the time value '1314' and the date value '20210112' and the time value '1110' are stored in correspondence to If the image data stored in the image data and the image data stored corresponding to the date value of '20210111' and the time value of '1012' are stored, the image storage server 10 sets the first date value of '20210111' and the After retrieving the image data stored corresponding to the date value and time value closest to the first time value '1310' and the image data stored corresponding to the date value '20210111' and the time value '1314', The search result for this may be fed back to the door control device 110 .
  • the information requesting unit 129 receives first indoor image data and first outdoor image data (the first indoor image data and the second outdoor image data) from the image storage server 10 .
  • the image storage server 10 requests transmission of download path information for downloading the first indoor image data and the first outdoor image data.
  • it requests transmission of the date value and time value stored in correspondence with the first indoor image data and the first outdoor image data.
  • the calculation unit 130 responds to the request of the information request unit 129, and the second date value and the second time value are fed back. 2
  • a modulo operation in which a date value is a dividend and t is a divisor, a third operation value is calculated, and a modulo operation is performed in which the third time value is a dividend and t is a divisor, A fourth calculation value is calculated.
  • the calculator 130 divides the second date value '20210111' as a dividend, By performing a modulo operation in which '5' is a divisor, the third operation value can be calculated as '1', the second time value '1314' as a dividend, and '5' as a divisor. By performing the operation with , the fourth operation value may be calculated as '4'.
  • the download information transmission unit 131 extracts a third encryption key corresponding to the third operation value from the key storage unit 119, and After extracting the fourth encryption key corresponding to the 4 operation value, the manager terminal 20 is connected to the manager terminal 20 based on the identification information of the manager terminal 20 stored in the manager information storage unit 125, and the manager terminal 20 The first download path information is transmitted to the , and the third encryption key and the fourth encryption key are transmitted as a decryption key for decrypting the first indoor image data and the second indoor image data, respectively.
  • the download information transmission unit 131 may extract 'encryption key 2' with the third encryption key corresponding to '1', which is the third operation value, and 'Encryption key 5' may be extracted with the fourth encryption key corresponding to '4' which is the fourth operation value.
  • the download information transmission unit 131 connects with the manager terminal 20 based on the identification information of the manager terminal 20 stored in the manager information storage unit 125, and sends the first information to the manager terminal 20. 1 While transmitting 'www.abcdef.abc/data' as download path information, 'encryption key 2' as the third encryption key and 'encryption key 5' as the fourth encryption key are respectively applied to the first indoor image.
  • the data and the second indoor image data may be transmitted as a decryption key for decryption.
  • the manager terminal 20 when the manager terminal 20 receives the first download path information, the third encryption key, and the fourth encryption key from the door control device 110 , the first download After accessing the image storage server 10 based on the route information and downloading the first indoor image data and the first outdoor image data from the image storage server 10, the second The first indoor image data may be decrypted with the third encryption key, and the first outdoor image data may be decrypted with the fourth encryption key received from the door control device 110 .
  • the download information transmission unit 131 sends 'www.abcdef.abc/data' as the first download path information to the manager terminal 20 by the download information transmission unit 131, along with the third encryption key '
  • the manager terminal 20 performs the first download path information, 'www.abcdef.abc/data', on the basis of the image storage server ( After accessing 10) and downloading the first indoor image data and the first outdoor image data from the image storage server 10, the first indoor image data is decrypted with the 'encryption key 2', which is the third encryption key. and 'encryption key 5', which is the fourth encryption key, may decrypt the first outdoor image data.
  • the manager reproduces the decoded first indoor image data and the first outdoor image data so that he or she can view You can check the indoor and outdoor images for the time closest to the desired date and time values.
  • Figure 2 is provided on a door equipped with a first camera in an indoor direction and a second camera in an outdoor direction, according to an embodiment of the present invention, to control locking and unlocking of a locking device existing in the door; It is a flow chart showing the operation method of the door control device.
  • step S210 a user information storage unit in which a preset n (n is a natural number equal to or greater than 2) dimension feature vectors corresponding to the face images of a plurality of users who are pre-designated as access allowed is stored is maintained.
  • step S220 the indoor image photographed through the first camera and the outdoor image photographed through the second camera are encrypted and transmitted to an image storage server.
  • step S230 when a lock release command for the locking device is applied by the first user existing outside, a face image of the first user is acquired through the second camera, and then prior machine learning is performed.
  • Completed convolutional neural network (the convolutional neural network, when a face image is applied as an input, passes the face image applied as an input through a plurality of convolutional layers and pooling layers for image feature extraction to calculate an n-dimensional output vector.
  • a first n-dimensional output vector is obtained by applying the face image of the first user as an input to the pre-learned).
  • step S240 when the first output vector is obtained, the vector similarity between the first output vector and the feature vector corresponding to the face images of the plurality of users stored in the user information storage unit is calculated, and the A first feature vector having the greatest degree of vector similarity is selected from among feature vectors corresponding to face images of a plurality of users.
  • step S250 n components constituting the first feature vector and n components constituting the first output vector are matched with each other at the same positions in the vector, and n components constituting the first feature vector are matched.
  • a mean square error between the first feature vector and the first output vector is calculated based on the components and n components constituting the first output vector.
  • step S260 if it is confirmed that the mean square error is less than a preset reference value, the locking device is unlocked.
  • step S220 preset t (t is a natural number greater than or equal to 2) encryption keys and different integers from 0 to t-1 corresponding to each encryption key are stored.
  • maintaining a key storage unit generating an event for encrypting the indoor image and the outdoor image for transmission to the image storage server at each preset first cycle; when the event occurs, the event is generated generating image data for the indoor image and the outdoor image captured by the first camera and the second camera from a time point until a next event occurs, and image data for the indoor image and the outdoor image is generated
  • a modulo operation is performed using the date value as a dividend and t as a divisor, so that the first calculating a second operation value by calculating an operation value, performing a modulo operation in which the time value is a dividend and t is a divisor, and a first operation value corresponding to the first operation
  • a preset first administrator password for confirming access right to an image and identification information of a preset administrator terminal for providing an image are stored. maintaining an administrator information storage unit, outputting a password request message requesting input of an administrator password when a command to provide the indoor image and the outdoor image stored in the image storage server is applied by an administrator , when the same password as the first administrator password stored in the administrator information storage unit is applied by the administrator, outputting a time request message requesting input of a date value and a time value at a time point to be provided , when the first date value and the first time value are input by the manager, the first date value and the first time value are transmitted to the image storage server while the first date value and the first time value are requesting to retrieve the image data for the indoor image and the outdoor image stored corresponding to the closest date value and time value, first indoor image data and first outdoor image data from the image storage server ( When a response message indicating that the first indoor image data and the second
  • the manager terminal when the first download path information, the third encryption key, and the fourth encryption key are received from the door control device, the manager terminal receives the first download path information based on the first download path information. After accessing the image storage server and downloading the first indoor image data and the first outdoor image data from the image storage server, the first indoor image data is encrypted with the third encryption key received from the door control device. and decrypts the first outdoor image data with the fourth encryption key received from the door control device.
  • the operation method of the door control apparatus according to an embodiment of the present invention has been described with reference to FIG. 2 .
  • the method of operating the door control apparatus according to an embodiment of the present invention may correspond to the configuration of the operation of the door control apparatus 110 described with reference to FIG. 1 , a more detailed description thereof will be omitted. .
  • the method of operating the door control apparatus may be implemented as a computer program stored in a storage medium for execution through combination with a computer.
  • the operating method of the door control apparatus may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium.
  • the computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the art of computer software.
  • Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic such as floppy disks.
  • - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
  • Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Lock And Its Accessories (AREA)
  • Image Analysis (AREA)

Abstract

얼굴 인식을 기반으로 출입문의 잠금 및 해제를 제어하는 출입문 제어 장치 및 그 동작 방법이 개시된다. 본 발명은 출입문에 탑재된 카메라를 통해 사용자의 얼굴 이미지를 획득하고, 상기 획득된 얼굴 이미지를 합성곱 신경망에 통과시켜 출력 벡터를 획득한 후, 출입이 허가된 것으로 사전 지정된 복수의 사용자들의 얼굴 이미지에 대한 특징 벡터와 상기 출력 벡터 간의 비교를 통해, 상기 복수의 사용자들의 얼굴 이미지에 대한 특징 벡터 중 상기 출력 벡터와의 유사도가 최대인 제1 특징 벡터를 확인한 후 상기 제1 특징 벡터와 상기 출력 벡터 간의 오차가 사전 설정된 기준치 미만인 것으로 확인되면, 상기 출입문에 탑재된 잠금 장치의 잠금을 해제함으로써, 사용자가 얼굴을 인식시키는 것만으로 상기 출입문의 잠금을 손쉽게 해제할 수 있도록 지원할 수 있다.

Description

얼굴 인식을 기반으로 출입문의 잠금 및 해제를 제어하는 출입문 제어 장치 및 그 동작 방법
본 발명은 얼굴 인식을 기반으로 출입문의 잠금 및 해제를 제어하는 출입문 제어 장치 및 그 동작 방법에 대한 것이다.
최근, 방범의 중요성이 증대됨에 따라, 잠금 장치가 탑재된 출입문의 활용이 증가하고 있다. 아울러, 최근에는 출입문에 CCTV 카메라를 설치하여 외부의 영상을 촬영할 수 있는 시스템의 도입도 증가하고 있다.
출입문에 설치되는 일반적인 잠금 장치는 사용자가 비밀번호를 인가하면, 잠금이 해제되는 비밀번호 기반의 잠금 방식이 활용되고 있다.
이러한 비밀번호 기반의 잠금 방식은 사용자가 잠금을 해제하고자 할 때, 매번 비밀번호를 직접 입력해야 한다는 점에서, 사용에 불편이 존재하고, 비밀번호가 쉽게 노출될 수 있는 위험성이 있다는 점에서, 보다 편리하고 안전한 잠금 방식에 대한 연구가 필요하다.
관련해서, 최근에는 얼굴 인식 기술이 발전함에 따라, 사용자의 얼굴을 인식하여 인식된 얼굴이 출입이 허가된 사람의 얼굴인지 확인함으로써, 출입문의 잠금을 해제하는 방식의 도입을 고려할 수 있다. 이렇게 얼굴 인식을 기반으로 출입문의 잠금을 해제하게 되면, 사용자가 비밀번호를 직접 입력하지 않아도 되고, 비밀번호가 노출될 위험도 없다는 점에서, 사용자의 편의성이 강화되고, 잠금 장치의 보안성도 강화될 수 있을 것이다.
아울러, 기존에는 출입문의 실외측에만 카메라를 설치해서, 실외측의 영상만을 촬영하는 시스템이 존재하였는데, 실내측에도 카메라를 설치하게 된다면, 실내에서 발생하는 사고, 외부에서의 침입 등도 영상으로 기록할 수 있어서, 보다 효과적인 방범 체계의 구축이 가능해질 수 있다.
따라서, 출입문의 실내측과 실외측에 카메라를 탑재하여, 실내측과 실외측의 영상을 기록함과 동시에, 실외측 카메라를 통해 상기 출입문의 잠금을 해제하려는 사람의 얼굴을 인식하여 상기 출입문의 잠금 해제가 가능하도록 하는 출입문 제어 기술에 대한 연구가 필요하다.
본 발명은 출입문에 탑재된 카메라를 통해 사용자의 얼굴 이미지를 획득하고, 상기 획득된 얼굴 이미지를 합성곱 신경망에 통과시켜 출력 벡터를 획득한 후, 출입이 허가된 것으로 사전 지정된 복수의 사용자들의 얼굴 이미지에 대한 특징 벡터와 상기 출력 벡터 간의 비교를 통해, 상기 복수의 사용자들의 얼굴 이미지에 대한 특징 벡터 중 상기 출력 벡터와의 유사도가 최대인 제1 특징 벡터를 확인한 후 상기 제1 특징 벡터와 상기 출력 벡터 간의 오차가 사전 설정된 기준치 미만인 것으로 확인되면, 상기 출입문에 탑재된 잠금 장치의 잠금을 해제함으로써, 사용자가 얼굴을 인식시키는 것만으로 상기 출입문의 잠금을 손쉽게 해제할 수 있도록 지원하고자 한다.
본 발명의 일실시예에 따른 실내측 방향에 제1 카메라가 탑재되고, 실외측 방향에 제2 카메라가 탑재된 출입문에 구비되어, 상기 출입문에 존재하는 잠금 장치의 잠금과 해제를 제어하는 출입문 제어 장치는 출입이 허가된 것으로 사전 지정된 복수의 사용자들의 얼굴 이미지에 대응되는 사전 설정된 n(n은 2이상의 자연수임)차원의 특징 벡터가 저장되어 있는 사용자 정보 저장부, 상기 제1 카메라를 통해서 촬영되는 실내 영상과 상기 제2 카메라를 통해서 촬영되는 실외 영상을 암호화하여 영상 저장 서버에 전송하는 영상 전송부, 상기 실외측에 존재하는 제1 사용자에 의해, 상기 잠금 장치에 대한 잠금 해제 명령이 인가되면, 상기 제2 카메라를 통해 상기 제1 사용자의 얼굴 이미지를 획득한 후 사전 기계학습이 완료된 합성곱 신경망(Convolutional Neural Networks) - 상기 합성곱 신경망은 얼굴 이미지가 입력으로 인가되면, 입력으로 인가된 얼굴 이미지를 이미지 특징 추출을 위한 복수의 합성곱층과 풀링(pooling)층들에 통과시켜, n차원의 출력 벡터를 산출하도록 사전 학습되어 있음 - 에 상기 제1 사용자의 얼굴 이미지를 입력으로 인가하여 n차원의 제1 출력 벡터를 획득하는 출력 벡터 획득부, 상기 제1 출력 벡터가 획득되면, 상기 제1 출력 벡터와, 상기 사용자 정보 저장부에 저장되어 있는 상기 복수의 사용자들의 얼굴 이미지에 대응되는 특징 벡터 간의 벡터 유사도를 연산하여, 상기 복수의 사용자들의 얼굴 이미지에 대응되는 특징 벡터 중 상기 벡터 유사도가 최대인 제1 특징 벡터를 선택하는 벡터 선택부, 상기 제1 특징 벡터를 구성하는 n개의 성분들과 상기 제1 출력 벡터를 구성하는 n개의 성분들을 벡터 내에서 서로 동일한 위치끼리 대응시켜, 상기 제1 특징 벡터를 구성하는 n개의 성분들과 상기 제1 출력 벡터를 구성하는 n개의 성분들을 기초로 상기 제1 특징 벡터와 상기 제1 출력 벡터 간의 평균 제곱 오차(Mean Squared Error)를 연산하는 오차 연산부 및 상기 평균 제곱 오차가 사전 설정된 기준치 미만인 것으로 확인되면, 상기 잠금 장치의 잠금을 해제하는 잠금 해제부를 포함한다.
또한, 본 발명의 일실시예에 따른 실내측 방향에 제1 카메라가 탑재되고, 실외측 방향에 제2 카메라가 탑재된 출입문에 구비되어, 상기 출입문에 존재하는 잠금 장치의 잠금과 해제를 제어하는 출입문 제어 장치의 동작 방법은 출입이 허가된 것으로 사전 지정된 복수의 사용자들의 얼굴 이미지에 대응되는 사전 설정된 n(n은 2이상의 자연수임)차원의 특징 벡터가 저장되어 있는 사용자 정보 저장부를 유지하는 단계, 상기 제1 카메라를 통해서 촬영되는 실내 영상과 상기 제2 카메라를 통해서 촬영되는 실외 영상을 암호화하여 영상 저장 서버에 전송하는 단계, 상기 실외측에 존재하는 제1 사용자에 의해, 상기 잠금 장치에 대한 잠금 해제 명령이 인가되면, 상기 제2 카메라를 통해 상기 제1 사용자의 얼굴 이미지를 획득한 후 사전 기계학습이 완료된 합성곱 신경망 - 상기 합성곱 신경망은 얼굴 이미지가 입력으로 인가되면, 입력으로 인가된 얼굴 이미지를 이미지 특징 추출을 위한 복수의 합성곱층과 풀링층들에 통과시켜, n차원의 출력 벡터를 산출하도록 사전 학습되어 있음 - 에 상기 제1 사용자의 얼굴 이미지를 입력으로 인가하여 n차원의 제1 출력 벡터를 획득하는 단계, 상기 제1 출력 벡터가 획득되면, 상기 제1 출력 벡터와, 상기 사용자 정보 저장부에 저장되어 있는 상기 복수의 사용자들의 얼굴 이미지에 대응되는 특징 벡터 간의 벡터 유사도를 연산하여, 상기 복수의 사용자들의 얼굴 이미지에 대응되는 특징 벡터 중 상기 벡터 유사도가 최대인 제1 특징 벡터를 선택하는 단계, 상기 제1 특징 벡터를 구성하는 n개의 성분들과 상기 제1 출력 벡터를 구성하는 n개의 성분들을 벡터 내에서 서로 동일한 위치끼리 대응시켜, 상기 제1 특징 벡터를 구성하는 n개의 성분들과 상기 제1 출력 벡터를 구성하는 n개의 성분들을 기초로 상기 제1 특징 벡터와 상기 제1 출력 벡터 간의 평균 제곱 오차를 연산하는 단계 및 상기 평균 제곱 오차가 사전 설정된 기준치 미만인 것으로 확인되면, 상기 잠금 장치의 잠금을 해제하는 단계를 포함한다.
본 발명은 출입문에 탑재된 카메라를 통해 사용자의 얼굴 이미지를 획득하고, 상기 획득된 얼굴 이미지를 합성곱 신경망에 통과시켜 출력 벡터를 획득한 후, 출입이 허가된 것으로 사전 지정된 복수의 사용자들의 얼굴 이미지에 대한 특징 벡터와 상기 출력 벡터 간의 비교를 통해, 상기 복수의 사용자들의 얼굴 이미지에 대한 특징 벡터 중 상기 출력 벡터와의 유사도가 최대인 제1 특징 벡터를 확인한 후 상기 제1 특징 벡터와 상기 출력 벡터 간의 오차가 사전 설정된 기준치 미만인 것으로 확인되면, 상기 출입문에 탑재된 잠금 장치의 잠금을 해제함으로써, 사용자가 얼굴을 인식시키는 것만으로 상기 출입문의 잠금을 손쉽게 해제할 수 있도록 지원할 수 있다.
도 1은 본 발명의 일실시예에 따른 출입문 제어 장치의 구조를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 출입문 제어 장치의 동작 방법을 도시한 순서도이다.
이하에서는 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명하기로 한다. 이러한 설명은 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였으며, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 본 명세서 상에서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 사람에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.
본 문서에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 본 발명의 다양한 실시예들에 있어서, 각 구성요소들, 기능 블록들 또는 수단들은 하나 또는 그 이상의 하부 구성요소로 구성될 수 있고, 각 구성요소들이 수행하는 전기, 전자, 기계적 기능들은 전자회로, 집적회로, ASIC(Application Specific Integrated Circuit) 등 공지된 다양한 소자들 또는 기계적 요소들로 구현될 수 있으며, 각각 별개로 구현되거나 2 이상이 하나로 통합되어 구현될 수도 있다.
한편, 첨부된 블록도의 블록들이나 흐름도의 단계들은 범용 컴퓨터, 특수용 컴퓨터, 휴대용 노트북 컴퓨터, 네트워크 컴퓨터 등 데이터 프로세싱이 가능한 장비의 프로세서나 메모리에 탑재되어 지정된 기능들을 수행하는 컴퓨터 프로그램 명령들(instructions)을 의미하는 것으로 해석될 수 있다. 이들 컴퓨터 프로그램 명령들은 컴퓨터 장치에 구비된 메모리 또는 컴퓨터에서 판독 가능한 메모리에 저장될 수 있기 때문에, 블록도의 블록들 또는 흐름도의 단계들에서 설명된 기능들은 이를 수행하는 명령 수단을 내포하는 제조물로 생산될 수도 있다. 아울러, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 명령들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 가능한 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 정해진 순서와 달리 실행되는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 실질적으로 동시에 수행되거나, 역순으로 수행될 수 있으며, 경우에 따라 일부 블록들 또는 단계들이 생략된 채로 수행될 수도 있다.
도 1은 본 발명의 일실시예에 따른 출입문 제어 장치의 구조를 도시한 도면이다.
도 1을 참조하면, 본 발명에 따른 출입문 제어 장치(110)는 출입문(100)에 구비되어, 출입문(100)에 존재하는 잠금 장치의 잠금과 해제를 제어하는 장치로서, 사용자 정보 저장부(111), 영상 전송부(112), 출력 벡터 획득부(113), 벡터 선택부(114), 오차 연산부(115) 및 잠금 해제부(116)를 포함한다. 이때, 출입문(100)에는 실내측 방향에 제1 카메라(101)가 탑재되어 있고, 실외측 방향에 제2 카메라(102)가 탑재되어 있다.
사용자 정보 저장부(111)에는 출입이 허가된 것으로 사전 지정된 복수의 사용자들의 얼굴 이미지에 대응되는 사전 설정된 n(n은 2이상의 자연수임)차원의 특징 벡터가 저장되어 있다.
관련해서, n을 '5'라고 하는 경우, 사용자 정보 저장부(111)에는 하기의 표 1과 같이 정보가 저장되어 있을 수 있다.
복수의 사용자들의 얼굴 이미지 특징 벡터
사용자 1의 얼굴 이미지 [a b c d e]
사용자 2의 얼굴 이미지 [f g h i j]
사용자 3의 얼굴 이미지 [k l m n o]
... ...
영상 전송부(112)는 제1 카메라(101)를 통해서 촬영되는 실내 영상과 제2 카메라(102)를 통해서 촬영되는 실외 영상을 암호화하여 영상 저장 서버(10)에 전송한다.
출력 벡터 획득부(113)는 상기 실외측에 존재하는 제1 사용자에 의해, 상기 잠금 장치에 대한 잠금 해제 명령이 인가되면, 제2 카메라(102)를 통해 상기 제1 사용자의 얼굴 이미지를 획득한 후 사전 기계학습이 완료된 합성곱 신경망(Convolutional Neural Networks)에 상기 제1 사용자의 얼굴 이미지를 입력으로 인가하여 n차원의 제1 출력 벡터를 획득한다.
합성곱 신경망이란 합성곱 필터로 구성된 다수의 합성곱층과 풀링(pooling)층들로 구성되는 신경망으로서, 합성곱 신경망에서는 이미지 등과 같은 입력 데이터가 피처맵(feature map)으로 구성되어 합성곱층에 입력으로 인가되면, 합성곱층을 구성하는 하나 이상의 채널을 갖는 합성곱 필터들에 의해 합성곱이 발생하여 출력 피처맵이 생성되고, 풀링층을 통해서 상기 출력 피처맵의 크기를 줄이기 위한 다운샘플링이 수행된 후 그 출력이 다음 합성곱층과 풀링층에 다시 입력으로 인가되는 과정이 반복되며, 이러한 과정의 반복을 통해 소정의 출력이 산출되게 된다.
이와 관련해서, 본 발명에서 사용되는 상기 합성곱 신경망은 얼굴 이미지가 입력으로 인가되면, 입력으로 인가된 얼굴 이미지를 이미지 특징 추출을 위한 복수의 합성곱층과 풀링층들에 통과시켜, n차원의 출력 벡터를 산출하도록 사전 학습되어 있다. 이때, 개발자는 상기 합성곱 신경망을 학습시키기 위해서, 다수의 얼굴 이미지들과 각 얼굴 이미지에 대응되는 n차원의 정답 벡터를 대응시킨 트레이닝 세트를 구성한 후, 상기 트레이닝 세트를 구성하는 다수의 얼굴 이미지들을 상기 합성곱 신경망에 통과시켜 산출되는 예측 벡터와 각 얼굴 이미지에 대응되는 정답 벡터 간의 비교를 통해서, 각 얼굴 이미지의 예측 벡터가 대응되는 정답 벡터에 최대로 근접하도록 상기 합성곱 신경망을 학습시킬 수 있다.
이로 인해, 출력 벡터 획득부(113)는 제2 카메라(102)를 통해 상기 제1 사용자의 얼굴 이미지가 획득되면, 상기 합성곱 신경망에 상기 제1 사용자의 얼굴 이미지를 입력으로 인가함으로써, 상기 합성곱 신경망을 통해서 산출되는 상기 n차원의 제1 출력 벡터를 획득할 수 있다.
이때, 개발자는 상기 표 1과 같은 정보가 저장되어 있는 사용자 정보 저장부(111)를 구축하는 과정에서도 기계학습이 완료된 상기 합성곱 신경망을 활용할 수 있다. 구체적으로, 개발자는 사용자 정보 저장부(111)를 구축하기 위해서, 자신이 직접 출입이 허가된 것으로 사전 지정된 복수의 사용자들의 얼굴 이미지와 그에 대응되는 특징 벡터를 선정하여 사용자 정보 저장부(111) 상에 저장해둘 수도 있지만, 상기 복수의 사용자들의 얼굴 이미지를 기계학습이 완료된 상기 합성곱 신경망에 통과시켜 각 사용자의 얼굴 이미지에 대응되는 출력 벡터를 산출한 후 이 출력 벡터를 각 사용자의 얼굴 이미지에 대한 특징 벡터로 지정하여 사용자 정보 저장부(111) 상에 저장해둘 수도 있다.
벡터 선택부(114)는 상기 제1 출력 벡터가 획득되면, 상기 제1 출력 벡터와, 사용자 정보 저장부(111)에 저장되어 있는 상기 복수의 사용자들의 얼굴 이미지에 대응되는 특징 벡터 간의 벡터 유사도를 연산하여, 상기 복수의 사용자들의 얼굴 이미지에 대응되는 특징 벡터 중 상기 벡터 유사도가 최대인 제1 특징 벡터를 선택한다.
여기서, 상기 벡터 유사도는 하기의 수학식 1로 연산될 수 있는 코사인 유사도나 하기의 수학식 2로 연산될 수 있는 유클리드 거리(Euclidean Distance)가 사용될 수 있다.
Figure PCTKR2021014279-appb-M000001
여기서, S는 벡터 A와 B 사이의 코사인 유사도로 -1에서 1사이의 값을 가지며, 그 값이 클수록 유사한 벡터임을 의미하고, Ai는 벡터 A의 i번째 성분, Bi는 벡터 B의 i번째 성분을 의미한다.
Figure PCTKR2021014279-appb-M000002
상기 수학식 2에서 D는 유클리드 거리, Ai와 Bi는 두 벡터에 포함되어 있는 i번째 성분들을 의미한다. 보통, 두 벡터 간의 유클리드 거리가 작을수록 두 벡터는 유사한 벡터라고 볼 수 있고, 두 벡터 간의 유클리드 거리가 클수록 두 벡터는 비유사한 벡터라고 볼 수 있다.
오차 연산부(115)는 상기 제1 특징 벡터를 구성하는 n개의 성분들과 상기 제1 출력 벡터를 구성하는 n개의 성분들을 벡터 내에서 서로 동일한 위치끼리 대응시켜, 상기 제1 특징 벡터를 구성하는 n개의 성분들과 상기 제1 출력 벡터를 구성하는 n개의 성분들을 기초로 상기 제1 특징 벡터와 상기 제1 출력 벡터 간의 평균 제곱 오차(Mean Squared Error)를 연산한다.
여기서, 상기 평균 제곱 오차는 하기의 수학식 3과 같이 연산될 수 있다.
Figure PCTKR2021014279-appb-M000003
여기서, MSE는 상기 평균 제곱 오차, xi는 상기 제1 특징 벡터를 구성하는 n개의 성분들 중 i번째 위치의 성분, ti는 상기 제1 출력 벡터를 구성하는 n개의 성분들 중 i번째 위치의 성분을 의미한다.
예컨대, n을 '5'라고 하고, 사용자 정보 저장부(111)에 상기 표 1과 같이 특징 벡터들이 저장되어 있다고 하며, 벡터 선택부(114)에 의해, 상기 표 1과 같은 특징 벡터들 중 상기 제1 출력 벡터와의 벡터 유사도가 최대인 상기 제1 특징 벡터로 '특징 벡터 1'이 선택되었다고 하는 경우, 오차 연산부(115)는 상기 제1 특징 벡터인 '특징 벡터 1'과 상기 제1 출력 벡터를 구성하는 5개의 성분들을 벡터 내에서 서로 동일한 위치끼리 대응시켜, 상기 제1 특징 벡터인 '특징 벡터 1'을 구성하는 5개의 성분들과 상기 제1 출력 벡터를 구성하는 5개의 성분들을 기초로, 상기 수학식 3의 연산에 따라 상기 제1 특징 벡터인 '특징 벡터 1'과 상기 제1 출력 벡터 간의 평균 제곱 오차를 연산할 수 있다.
관련해서, 상기 제1 출력 벡터를 '[q z x s w]'라고 하는 경우, 오차 연산부(115)는 '특징 벡터 1'에서의 성분 'a'를 상기 제1 출력 벡터에서의 성분 'q'에 대응시키고, '특징 벡터 1'에서의 성분 'b'를 상기 제1 출력 벡터에서의 성분 'z'에 대응시키며, '특징 벡터 1'에서의 성분 'c'를 상기 제1 출력 벡터에서의 성분 'x'에 대응시키고, '특징 벡터 1'에서의 성분 'd'를 상기 제1 출력 벡터에서의 성분 's'에 대응시키고, '특징 벡터 1'에서의 성분 'e'를 상기 제1 출력 벡터에서의 성분 'w'에 대응시킨 후 각 대응되는 성분을 상기 수학식 3에서의 xi와 ti에 입력으로 인가하여, 두 벡터 간의 평균 제곱 오차를 연산할 수 있다.
잠금 해제부(116)는 상기 평균 제곱 오차가 사전 설정된 기준치 미만인 것으로 확인되면, 상기 잠금 장치의 잠금을 해제한다.
여기서, 상기 제1 특징 벡터와 상기 제1 출력 벡터 간의 평균 제곱 오차가 작다는 의미는 상기 제1 특징 벡터와 상기 제1 출력 벡터가 매우 유사한 값을 갖는 벡터라는 의미이고, 이는 곧 상기 제1 사용자의 얼굴 이미지와 상기 제1 특징 벡터에 대한 사용자의 얼굴 이미지 간의 근사도가 높다는 의미이기 때문에, 잠금 해제부(116)는 상기 평균 제곱 오차가 상기 기준치 미만인 것으로 확인되면, 상기 제1 사용자가 출입이 허가된 사용자인 것으로 확인하고, 상기 잠금 장치의 잠금을 해제함으로써, 상기 제1 사용자가 출입문(100)을 열고 실내로 들어올 수 있도록 지원할 수 있다.
이때, 본 발명의 일실시예에 따르면, 출입문 제어 장치(110)는 객체 확인부(117) 및 잠금 제어부(118)를 더 포함할 수 있다.
객체 확인부(117)는 상기 잠금 장치의 잠금이 해제되면, 상기 잠금 장치의 잠금이 해제된 시점으로부터 사전 설정된 제1 시간이내에, 영상으로부터 사람 객체를 인식하기 위한 사전 구성된 객체 인식 모델을 이용하여, 제1 카메라(101)를 통해 촬영되는 상기 실내 영상으로부터 사람 객체가 인식되는지 여부를 확인한다.
잠금 제어부(118)는 상기 실내 영상으로부터 사람 객체가 인식되는 것으로 확인되는 경우, 상기 잠금 장치가 즉시 잠기도록 제어하고, 상기 실내 영상으로부터 사람 객체가 인식되지 않는 경우, 상기 잠금 장치의 잠금이 해제된 시점으로부터 상기 제1 시간이 경과하면, 상기 잠금 장치가 잠기도록 제어한다.
관련해서, 상기 제1 시간을 '30초'라고 하는 경우, 객체 확인부(117)는 잠금 해제부(116)에 의해 상기 잠금 장치의 잠금이 해제된 경우, '30초' 이내에 상기 객체 인식 모델을 이용하여 제1 카메라(101)를 통해서 촬영되는 실내 영상으로부터 사람 객체가 인식되는지 여부를 확인할 수 있다.
즉, 상기 제1 사용자가 출입문(100)의 잠금을 해제하고 실내로 진입하는 경우, 제1 카메라(101)를 통해서 상기 제1 사용자가 촬영될 것이기 때문에, 객체 확인부(117)는 상기 실내 영상으로부터 사람 객체가 인식되는지 여부를 확인함으로써, 상기 제1 사용자가 출입문(100)의 잠금을 해제한 후 실내로 진입을 하였는지 여부를 확인할 수 있다.
만약, 객체 확인부(117)를 통해 실내 영상으로부터 사람 객체가 인식되는 경우, 잠금 제어부(118)는 상기 제1 사용자가 실내로 정상 진입한 상황인 것으로 볼 수 있으므로, 상기 잠금 장치가 다시 잠기도록 제어할 수 있다.
하지만, 상기 실내 영상으로부터 사람 객체가 인식되지 않는 경우, 잠금 제어부(118)는 상기 제1 사용자가 실내로 정상 진입하지 않은 상황으로 볼 수 있기 때문에, 상기 잠금 장치의 잠금 해제 상태를 유지하고 있다가, 상기 잠금 장치의 잠금이 해제된 시점으로부터 '30초'의 시간이 경과하게 되면, 상기 제1 사용자가 실내로 진입하지 않는 것으로 간주하고, 상기 잠금 장치가 잠기도록 제어할 수 있다.
본 발명의 일실시예에 따르면, 출입문 제어 장치(110)의 영상 전송부(112)는 제1 카메라(101)를 통해서 촬영되는 실내 영상과 제2 카메라(102)를 통해서 촬영되는 실외 영상을 영상 저장 서버(10)에 암호화하여 전송할 수 있는데, 이때, 영상 전송부(112)는 상기 실내 영상과 상기 실외 영상을 암호화하여 영상 저장 서버(10)에 전송하기 위한 구체적인 구성으로, 키 저장부(119), 이벤트 발생부(120), 데이터 생성부(121), 연산 값 산출부(122), 키 추출부(123) 및 전송부(124)를 포함할 수 있다.
키 저장부(119)에는 사전 설정된 t(t는 2이상의 자연수)개의 암호화키들과 각 암호화키에 대응되는 0 이상 t-1 이하의 서로 다른 정수가 대응되어 저장되어 있다.
예컨대, t를 '5'라고 가정하는 경우, 키 저장부(119)에는 하기의 표 2와 같이 암호화키들이 저장되어 있을 수 있다.
5개의 암호화키들 정수 값
암호화키 1 0
암호화키 2 1
암호화키 3 2
암호화키 4 3
암호화키 5 4
이벤트 발생부(120)는 사전 설정된 제1 주기마다 상기 실내 영상과 상기 실외 영상을 암호화하여 영상 저장 서버(10)에 전송하기 위한 이벤트를 발생시킨다.
데이터 생성부(121)는 상기 이벤트가 발생되면, 상기 이벤트가 발생된 시점으로부터 다음 이벤트가 발생할 때까지 제1 카메라(101)와 제2 카메라(102)를 통해 촬영되는 상기 실내 영상과 상기 실외 영상에 대한 영상 데이터를 생성한다.
연산 값 산출부(122)는 상기 실내 영상과 상기 실외 영상에 대한 영상 데이터가 생성되면, 상기 실내 영상과 상기 실외 영상에 대한 영상 데이터가 생성된 시점에 대한 날짜 값과 시간 값을 확인한 후, 상기 날짜 값을 피제수로, 상기 t를 제수로 하는 모듈로(Modulo) 연산을 수행함으로써, 제1 연산 값을 산출하고, 상기 시간 값을 피제수로, 상기 t를 제수로 하는 모듈로 연산을 수행함으로써, 제2 연산 값을 산출한다.
여기서, 모듈로 연산은 피제수를 제수로 나누는 나눗셈을 수행하여 그에 대한 나머지(remainder)를 산출하는 연산을 의미한다.
예컨대, 상기 t를 '5'라고 하고, 상기 실내 영상과 상기 실외 영상에 대한 영상 데이터가 생성된 시점이 '2021년 1월 11일 13시 14분'이라고 하는 경우, 연산 값 산출부(122)는 상기 날짜 값으로, '20210111'을 확인하고, 상기 시간 값으로, '1314'를 확인한 후, 상기 날짜 값인 '20210111'을 피제수로, 상기 '5'를 제수로 하는 모듈로 연산을 수행함으로써, 제1 연산 값을 '1'로 산출할 수 있고, 상기 시간 값인 '1314'를 피제수로, 상기 '5'를 제수로 하는 모듈로 연산을 수행함으로써, 제2 연산 값을 '4'로 산출할 수 있다.
키 추출부(123)는 키 저장부(119)로부터 상기 제1 연산 값에 대응되는 제1 암호화키를 추출하고, 상기 제2 연산 값에 대응되는 제2 암호화키를 추출한다.
관련해서, 전술한 예와 같이, 연산 값 산출부(122)에 의해 상기 제1 연산 값이 '1'로 산출되었고, 상기 제2 연산 값이 '4'로 산출되었다고 하고, 키 저장부(119)에 상기 표 2와 같이 암호화키들이 저장되어 있다고 하는 경우, 키 추출부(123)는 상기 제1 연산 값인 '1'에 대응되는 상기 제1 암호화키로 '암호화키 2'를 추출할 수 있고, 상기 제2 연산 값인 '4'에 대응되는 상기 제2 암호화키로 '암호화키 5'를 추출할 수 있다.
전송부(124)는 상기 실내 영상에 대한 영상 데이터를 상기 제1 암호화키로 암호화하고, 상기 실외 영상에 대한 영상 데이터를 상기 제2 암호화키로 암호화한 후 암호화된 상기 실내 영상과 상기 실외 영상에 대한 영상 데이터를 상기 날짜 값 및 상기 시간 값과 함께 영상 저장 서버(10)에 전송하면서, 영상 저장 서버(10)에 대해, 암호화된 상기 실내 영상과 상기 실외 영상에 대한 영상 데이터를 상기 날짜 값 및 상기 시간 값에 대응시켜 저장할 것을 지시하는 저장 명령을 전송한다.
관련해서, 전술한 예와 같이, 상기 날짜 값이 '20210111'라고 하고, 상기 시간 값이 '1314'라고 하는 경우, 전송부(124)는 암호화된 상기 실내 영상과 상기 실외 영상에 대한 영상 데이터를 상기 날짜 값인 '20210111' 및 상기 시간 값인 '1314'와 함께 영상 저장 서버(10)에 전송하면서, 영상 저장 서버(10)에 대해, 암호화된 상기 실내 영상과 상기 실외 영상에 대한 영상 데이터를 상기 날짜 값 및 상기 시간 값에 대응시켜 저장할 것을 지시하는 저장 명령을 전송할 수 있다.
그러면, 영상 저장 서버(10)는 하기의 표 3과 같이, 암호화된 상기 실내 영상과 상기 실외 영상에 대한 영상 데이터를 상기 날짜 값인 '20210111' 및 상기 시간 값인 '1314'에 대응시켜 저장할 수 있다.
실내 영상(암호화됨) 실외 영상(암호화됨) 날짜 값 시간 값
... ... ... ...
실내 영상 데이터 1 실외 영상 데이터 1 20210111 1314
... ... ... ...
이때, 본 발명의 일실시예에 따르면, 출입문 제어 장치(110)는 영상 저장 서버(10)에 암호화되어 저장되어 있는 실내 영상과 실외 영상을 획득하기 위한 구성으로, 관리자 정보 저장부(125), 제1 메시지 출력부(126), 제2 메시지 출력부(127), 검색 요청부(128), 정보 요청부(129), 산출부(130) 및 다운로드 정보 전송부(131)를 더 포함할 수 있다.
관리자 정보 저장부(125)에는 영상에 대한 접근 권한을 확인하기 위한 사전 설정된 제1 관리자 비밀번호와 영상의 제공을 위한 사전 지정된 관리자 단말(20)의 식별 정보가 저장되어 있다.
제1 메시지 출력부(126)는 관리자에 의해 영상 저장 서버(10)에 저장되어 있는 상기 실내 영상과 상기 실외 영상에 대한 제공 명령이 인가되면, 관리자 비밀번호를 입력할 것을 요청하는 비밀번호 요청 메시지를 출력한다.
관련해서, 제1 메시지 출력부(126)는 상기 관리자에 의해 상기 실내 영상과 상기 실외 영상에 대한 제공 명령이 인가되면, 출입문 제어 장치(110)에 구비되어 있는 디스플레이나 스피커를 통해서 상기 비밀번호 요청 메시지를 화면 또는 음성으로 출력할 수 있다.
제2 메시지 출력부(127)는 상기 관리자에 의해 관리자 정보 저장부(125)에 저장되어 있는 상기 제1 관리자 비밀번호와 동일한 비밀번호가 인가되면, 제공받기를 원하는 시점의 날짜 값과 시간 값을 입력할 것을 요청하는 시간 요청 메시지를 출력한다.
관련해서, 제2 메시지 출력부(127)는 상기 관리자에 의해 상기 제1 관리자 비밀번호와 동일한 비밀번호가 인가되면, 출입문 제어 장치(110)에 구비되어 있는 디스플레이나 스피커를 통해서 상기 시간 요청 메시지를 화면 또는 음성으로 출력할 수 있다.
검색 요청부(128)는 상기 관리자에 의해 제1 날짜 값과 제1 시간 값이 입력되면, 영상 저장 서버(10)로 상기 제1 날짜 값과 상기 제1 시간 값을 전송하면서, 상기 제1 날짜 값과 상기 제1 시간 값에 최대로 근접한 날짜 값과 시간 값에 대응되어 저장되어 있는 상기 실내 영상과 상기 실외 영상에 대한 영상 데이터를 검색할 것을 요청한다.
예컨대, 상기 관리자에 의해서 상기 제1 날짜 값으로, '2021년 1월 11일'을 지칭하는 '20210111'이 입력되었고, 상기 제1 시간 값으로, '13시 10분'을 지칭하는 '1310'이 입력되었다고 하는 경우, 검색 요청부(128)는 영상 저장 서버(10)로 상기 제1 날짜 값인 '20210111'과 상기 제1 시간 값인 '1310'을 전송하면서, 상기 제1 날짜 값과 상기 제1 시간 값에 최대로 근접한 날짜 값과 시간 값에 대응되어 저장되어 있는 상기 실내 영상과 상기 실외 영상에 대한 영상 데이터를 검색할 것을 요청할 수 있다.
이때, 영상 저장 서버(10)는 출입문 제어 장치(110)로부터 상기 제1 날짜 값인 '20210111'과 상기 제1 시간 값인 '1310'이 수신되면서, 영상 데이터의 검색 요청이 수신되면, 상기 표 3과 같이 영상 저장 서버(10)에 저장되어 있는 영상 데이터들 중 상기 제1 날짜 값인 '20210111'과 상기 제1 시간 값인 '1310'에 최대로 근접한 날짜 값과 시간 값에 대응되어 저장되어 있는 실내 영상과 실외 영상에 대한 영상 데이터를 검색할 수 있다.
관련해서, 영상 저장 서버(10)에 '20210111'이라는 날짜 값과 '1314'라는 시간 값에 대응되어 저장되어 있는 영상 데이터와 '20210112'라는 날짜 값과 '1110'이라는 시간 값에 대응되어 저장되어 있는 영상 데이터, 및 '20210111'이라는 날짜 값과 '1012'라는 시간 값에 대응되어 저장되어 있는 영상 데이터가 저장되어 있다고 하는 경우, 영상 저장 서버(10)는 상기 제1 날짜 값인 '20210111'과 상기 제1 시간 값인 '1310'에 최대로 근접한 날짜 값과 시간 값에 대응되어 저장되어 있는 영상 데이터로 '20210111'이라는 날짜 값과 '1314'라는 시간 값에 대응되어 저장되어 있는 영상 데이터를 검색한 후 이에 대한 검색 결과를 출입문 제어 장치(110)에 피드백할 수 있다.
정보 요청부(129)는 검색 요청부(128)의 검색 요청에 대응하여, 영상 저장 서버(10)로부터 제1 실내 영상 데이터와 제1 실외 영상 데이터(상기 제1 실내 영상 데이터와 상기 제2 실외 영상 데이터는 암호화되어 있음)가 검색되었음을 지시하는 응답 메시지가 피드백되면, 영상 저장 서버(10)로 상기 제1 실내 영상 데이터와 상기 제1 실외 영상 데이터를 다운로드받기 위한 다운로드 경로 정보의 전송을 요청함과 동시에, 상기 제1 실내 영상 데이터와 상기 제1 실외 영상 데이터에 대응되어 저장되어 있는 날짜 값과 시간 값의 전송을 요청한다.
산출부(130)는 정보 요청부(129)의 요청에 대응하여, 영상 저장 서버(10)로부터 제1 다운로드 경로 정보가 피드백됨과 동시에, 제2 날짜 값과 제2 시간 값이 피드백되면, 상기 제2 날짜 값을 피제수로, 상기 t를 제수로 하는 모듈로 연산을 수행함으로써, 제3 연산 값을 산출하고, 상기 제3 시간 값을 피제수로, 상기 t를 제수로 하는 모듈로 연산을 수행함으로써, 제4 연산 값을 산출한다.
관련해서, 정보 요청부(129)의 요청에 대응하여 영상 저장 서버(10)로부터 출입문 제어 장치(110)에 상기 제1 다운로드 경로 정보로 'www.abcdef.abc/data'와 함께 상기 제2 날짜 값으로, '20210111'와 상기 제2 시간 값으로, '1314'가 피드백되었다고 하고, 상기 t를 '5'라고 하는 경우, 산출부(130)는 상기 제2 날짜 값인 '20210111'을 피제수로, 상기 '5'를 제수로 하는 모듈로 연산을 수행함으로써, 제3 연산 값을 '1'로 산출할 수 있고, 상기 제2 시간 값인 '1314'를 피제수로, 상기 '5'를 제수로 하는 모듈로 연산을 수행함으로써, 제4 연산 값을 '4'로 산출할 수 있다.
이렇게, 상기 제3 연산 값과 상기 제4 연산 값이 산출되면, 다운로드 정보 전송부(131)는 키 저장부(119)로부터 상기 제3 연산 값에 대응되는 제3 암호화키를 추출하고, 상기 제4 연산 값에 대응되는 제4 암호화키를 추출한 후, 관리자 정보 저장부(125)에 저장되어 있는 관리자 단말(20)의 식별 정보를 기초로 관리자 단말(20)과 접속하여, 관리자 단말(20)에 상기 제1 다운로드 경로 정보를 전송함과 동시에, 상기 제3 암호화키와 상기 제4 암호화키를 각각 상기 제1 실내 영상 데이터와 상기 제2 실내 영상 데이터를 복호화하기 위한 복호화키로서 전송한다.
관련해서, 전술한 예와 같이, 산출부(130)에 의해 상기 제3 연산 값이 '1'로 산출되었고, 상기 제4 연산 값이 '4'로 산출되었다고 하고, 키 저장부(119)에 상기 표 2와 같이 암호화키들이 저장되어 있다고 하는 경우, 다운로드 정보 전송부(131)는 상기 제3 연산 값인 '1'에 대응되는 상기 제3 암호화키로 '암호화키 2'를 추출할 수 있고, 상기 제4 연산 값인 '4'에 대응되는 상기 제4 암호화키로 '암호화키 5'를 추출할 수 있다.
그러고 나서, 다운로드 정보 전송부(131)는 관리자 정보 저장부(125)에 저장되어 있는 관리자 단말(20)의 식별 정보를 기초로 관리자 단말(20)과 접속하여, 관리자 단말(20)에 상기 제1 다운로드 경로 정보인 'www.abcdef.abc/data'를 전송함과 동시에, 상기 제3 암호화키인 '암호화키 2'와 상기 제4 암호화키인 '암호화키 5'를 각각 상기 제1 실내 영상 데이터와 상기 제2 실내 영상 데이터를 복호화하기 위한 복호화키로서 전송할 수 있다.
이때, 본 발명의 일실시예에 따르면, 관리자 단말(20)은 출입문 제어 장치(110)로부터 상기 제1 다운로드 경로 정보와 상기 제3 암호화키 및 상기 제4 암호화키가 수신되면, 상기 제1 다운로드 경로 정보를 기초로 영상 저장 서버(10)에 접속하여 영상 저장 서버(10)로부터 상기 제1 실내 영상 데이터와 상기 제1 실외 영상 데이터를 다운로드받은 후, 출입문 제어 장치(110)로부터 수신된 상기 제3 암호화키로 상기 제1 실내 영상 데이터를 복호화하고, 출입문 제어 장치(110)로부터 수신된 상기 제4 암호화키로 상기 제1 실외 영상 데이터를 복호화할 수 있다.
관련해서, 전술한 예와 같이, 다운로드 정보 전송부(131)에 의해 관리자 단말(20)로 상기 제1 다운로드 경로 정보인 'www.abcdef.abc/data'와 함께, 상기 제3 암호화키인 '암호화키 2'와 상기 제4 암호화키인 '암호화키 5'가 전송된 경우, 관리자 단말(20)은 상기 제1 다운로드 경로 정보인 'www.abcdef.abc/data'을 기초로 영상 저장 서버(10)에 접속하여 영상 저장 서버(10)로부터 상기 제1 실내 영상 데이터와 상기 제1 실외 영상 데이터를 다운로드받은 후, 상기 제3 암호화키인 '암호화키 2'로 상기 제1 실내 영상 데이터를 복호화하고, 상기 제4 암호화키인 '암호화키 5'로 상기 제1 실외 영상 데이터를 복호화할 수 있다.
이렇게, 관리자 단말(20)에서 상기 제1 실내 영상 데이터와 상기 제1 실외 영상 데이터의 복호화가 완료되면, 관리자는 복호화된 제1 실내 영상 데이터와 상기 제1 실외 영상 데이터를 재생함으로써, 자신이 보기를 원하는 날짜 값과 시간 값에 최대로 근접한 시점에 대한 실내 영상과 실외 영상을 확인할 수 있다.
도 2는 본 발명의 일실시예에 따른 실내측 방향에 제1 카메라가 탑재되고, 실외측 방향에 제2 카메라가 탑재된 출입문에 구비되어, 상기 출입문에 존재하는 잠금 장치의 잠금과 해제를 제어하는 출입문 제어 장치의 동작 방법을 도시한 순서도이다.
단계(S210)에서는 출입이 허가된 것으로 사전 지정된 복수의 사용자들의 얼굴 이미지에 대응되는 사전 설정된 n(n은 2이상의 자연수임)차원의 특징 벡터가 저장되어 있는 사용자 정보 저장부를 유지한다.
단계(S220)에서는 상기 제1 카메라를 통해서 촬영되는 실내 영상과 상기 제2 카메라를 통해서 촬영되는 실외 영상을 암호화하여 영상 저장 서버에 전송한다.
단계(S230)에서는 상기 실외측에 존재하는 제1 사용자에 의해, 상기 잠금 장치에 대한 잠금 해제 명령이 인가되면, 상기 제2 카메라를 통해 상기 제1 사용자의 얼굴 이미지를 획득한 후 사전 기계학습이 완료된 합성곱 신경망(상기 합성곱 신경망은 얼굴 이미지가 입력으로 인가되면, 입력으로 인가된 얼굴 이미지를 이미지 특징 추출을 위한 복수의 합성곱층과 풀링층들에 통과시켜, n차원의 출력 벡터를 산출하도록 사전 학습되어 있음)에 상기 제1 사용자의 얼굴 이미지를 입력으로 인가하여 n차원의 제1 출력 벡터를 획득한다.
단계(S240)에서는 상기 제1 출력 벡터가 획득되면, 상기 제1 출력 벡터와, 상기 사용자 정보 저장부에 저장되어 있는 상기 복수의 사용자들의 얼굴 이미지에 대응되는 특징 벡터 간의 벡터 유사도를 연산하여, 상기 복수의 사용자들의 얼굴 이미지에 대응되는 특징 벡터 중 상기 벡터 유사도가 최대인 제1 특징 벡터를 선택한다.
단계(S250)에서는 상기 제1 특징 벡터를 구성하는 n개의 성분들과 상기 제1 출력 벡터를 구성하는 n개의 성분들을 벡터 내에서 서로 동일한 위치끼리 대응시켜, 상기 제1 특징 벡터를 구성하는 n개의 성분들과 상기 제1 출력 벡터를 구성하는 n개의 성분들을 기초로 상기 제1 특징 벡터와 상기 제1 출력 벡터 간의 평균 제곱 오차를 연산한다.
단계(S260)에서는 상기 평균 제곱 오차가 사전 설정된 기준치 미만인 것으로 확인되면, 상기 잠금 장치의 잠금을 해제한다.
이때, 본 발명의 일실시예에 따르면, 상기 출입문 제어 장치의 동작 방법은 상기 잠금 장치의 잠금이 해제되면, 상기 잠금 장치의 잠금이 해제된 시점으로부터 사전 설정된 제1 시간이내에, 영상으로부터 사람 객체를 인식하기 위한 사전 구성된 객체 인식 모델을 이용하여, 상기 제1 카메라를 통해 촬영되는 상기 실내 영상으로부터 사람 객체가 인식되는지 여부를 확인하는 단계 및 상기 실내 영상으로부터 사람 객체가 인식되는 것으로 확인되는 경우, 상기 잠금 장치가 즉시 잠기도록 제어하고, 상기 실내 영상으로부터 사람 객체가 인식되지 않는 경우, 상기 잠금 장치의 잠금이 해제된 시점으로부터 상기 제1 시간이 경과하면, 상기 잠금 장치가 잠기도록 제어하는 단계를 더 포함할 수 있다.
또한, 본 발명의 일실시예에 따르면, 단계(S220)에서는 사전 설정된 t(t는 2이상의 자연수)개의 암호화키들과 각 암호화키에 대응되는 0 이상 t-1 이하의 서로 다른 정수가 대응되어 저장되어 있는 키 저장부를 유지하는 단계, 사전 설정된 제1 주기마다 상기 실내 영상과 상기 실외 영상을 암호화하여 상기 영상 저장 서버에 전송하기 위한 이벤트를 발생시키는 단계, 상기 이벤트가 발생되면, 상기 이벤트가 발생된 시점으로부터 다음 이벤트가 발생할 때까지 상기 제1 카메라와 상기 제2 카메라를 통해 촬영되는 상기 실내 영상과 상기 실외 영상에 대한 영상 데이터를 생성하는 단계, 상기 실내 영상과 상기 실외 영상에 대한 영상 데이터가 생성되면, 상기 실내 영상과 상기 실외 영상에 대한 영상 데이터가 생성된 시점에 대한 날짜 값과 시간 값을 확인한 후, 상기 날짜 값을 피제수로, 상기 t를 제수로 하는 모듈로 연산을 수행함으로써, 제1 연산 값을 산출하고, 상기 시간 값을 피제수로, 상기 t를 제수로 하는 모듈로 연산을 수행함으로써, 제2 연산 값을 산출하는 단계, 상기 키 저장부로부터 상기 제1 연산 값에 대응되는 제1 암호화키를 추출하고, 상기 제2 연산 값에 대응되는 제2 암호화키를 추출하는 단계 및 상기 실내 영상에 대한 영상 데이터를 상기 제1 암호화키로 암호화하고, 상기 실외 영상에 대한 영상 데이터를 상기 제2 암호화키로 암호화한 후 암호화된 상기 실내 영상과 상기 실외 영상에 대한 영상 데이터를 상기 날짜 값 및 상기 시간 값과 함께 상기 영상 저장 서버에 전송하면서, 상기 영상 저장 서버에 대해, 암호화된 상기 실내 영상과 상기 실외 영상에 대한 영상 데이터를 상기 날짜 값 및 상기 시간 값에 대응시켜 저장할 것을 지시하는 저장 명령을 전송하는 단계를 포함할 수 있다.
이때, 본 발명의 일실시예에 따르면, 상기 출입문 제어 장치의 동작 방법은 영상에 대한 접근 권한을 확인하기 위한 사전 설정된 제1 관리자 비밀번호와 영상의 제공을 위한 사전 지정된 관리자 단말의 식별 정보가 저장되어 있는 관리자 정보 저장부를 유지하는 단계, 관리자에 의해 상기 영상 저장 서버에 저장되어 있는 상기 실내 영상과 상기 실외 영상에 대한 제공 명령이 인가되면, 관리자 비밀번호를 입력할 것을 요청하는 비밀번호 요청 메시지를 출력하는 단계, 상기 관리자에 의해 상기 관리자 정보 저장부에 저장되어 있는 상기 제1 관리자 비밀번호와 동일한 비밀번호가 인가되면, 제공받기를 원하는 시점의 날짜 값과 시간 값을 입력할 것을 요청하는 시간 요청 메시지를 출력하는 단계, 상기 관리자에 의해 제1 날짜 값과 제1 시간 값이 입력되면, 상기 영상 저장 서버로 상기 제1 날짜 값과 상기 제1 시간 값을 전송하면서, 상기 제1 날짜 값과 상기 제1 시간 값에 최대로 근접한 날짜 값과 시간 값에 대응되어 저장되어 있는 상기 실내 영상과 상기 실외 영상에 대한 영상 데이터를 검색할 것을 요청하는 단계, 상기 영상 저장 서버로부터 제1 실내 영상 데이터와 제1 실외 영상 데이터(상기 제1 실내 영상 데이터와 상기 제2 실외 영상 데이터는 암호화되어 있음)가 검색되었음을 지시하는 응답 메시지가 피드백되면, 상기 영상 저장 서버로 상기 제1 실내 영상 데이터와 상기 제1 실외 영상 데이터를 다운로드받기 위한 다운로드 경로 정보의 전송을 요청함과 동시에, 상기 제1 실내 영상 데이터와 상기 제1 실외 영상 데이터에 대응되어 저장되어 있는 날짜 값과 시간 값의 전송을 요청하는 단계, 상기 영상 저장 서버로부터 제1 다운로드 경로 정보가 피드백됨과 동시에, 제2 날짜 값과 제2 시간 값이 피드백되면, 상기 제2 날짜 값을 피제수로, 상기 t를 제수로 하는 모듈로 연산을 수행함으로써, 제3 연산 값을 산출하고, 상기 제3 시간 값을 피제수로, 상기 t를 제수로 하는 모듈로 연산을 수행함으로써, 제4 연산 값을 산출하는 단계 및 상기 키 저장부로부터 상기 제3 연산 값에 대응되는 제3 암호화키를 추출하고, 상기 제4 연산 값에 대응되는 제4 암호화키를 추출한 후, 상기 관리자 정보 저장부에 저장되어 있는 상기 관리자 단말의 식별 정보를 기초로 상기 관리자 단말과 접속하여, 상기 관리자 단말에 상기 제1 다운로드 경로 정보를 전송함과 동시에, 상기 제3 암호화키와 상기 제4 암호화키를 각각 상기 제1 실내 영상 데이터와 상기 제2 실내 영상 데이터를 복호화하기 위한 복호화키로서 전송하는 단계를 더 포함할 수 있다.
이때, 본 발명의 일실시예에 따르면, 상기 관리자 단말은 상기 출입문 제어 장치로부터 상기 제1 다운로드 경로 정보와 상기 제3 암호화키 및 상기 제4 암호화키가 수신되면, 상기 제1 다운로드 경로 정보를 기초로 상기 영상 저장 서버에 접속하여 상기 영상 저장 서버로부터 상기 제1 실내 영상 데이터와 상기 제1 실외 영상 데이터를 다운로드받은 후, 상기 출입문 제어 장치로부터 수신된 상기 제3 암호화키로 상기 제1 실내 영상 데이터를 복호화하고, 상기 출입문 제어 장치로부터 수신된 상기 제4 암호화키로 상기 제1 실외 영상 데이터를 복호화할 수 있다.
이상, 도 2를 참조하여 본 발명의 일실시예에 따른 출입문 제어 장치의 동작 방법에 대해 설명하였다. 여기서, 본 발명의 일실시예에 따른 출입문 제어 장치의 동작 방법은 도 1을 이용하여 설명한 출입문 제어 장치(110)의 동작에 대한 구성과 대응될 수 있으므로, 이에 대한 보다 상세한 설명은 생략하기로 한다.
본 발명의 일실시예에 따른 출입문 제어 장치의 동작 방법은 컴퓨터와의 결합을 통해 실행시키기 위한 저장매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다.
또한, 본 발명의 일실시예에 따른 출입문 제어 장치의 동작 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (12)

  1. 실내측 방향에 제1 카메라가 탑재되고, 실외측 방향에 제2 카메라가 탑재된 출입문에 구비되어, 상기 출입문에 존재하는 잠금 장치의 잠금과 해제를 제어하는 출입문 제어 장치에 있어서,
    출입이 허가된 것으로 사전 지정된 복수의 사용자들의 얼굴 이미지에 대응되는 사전 설정된 n(n은 2이상의 자연수임)차원의 특징 벡터가 저장되어 있는 사용자 정보 저장부;
    상기 제1 카메라를 통해서 촬영되는 실내 영상과 상기 제2 카메라를 통해서 촬영되는 실외 영상을 암호화하여 영상 저장 서버에 전송하는 영상 전송부;
    상기 실외측에 존재하는 제1 사용자에 의해, 상기 잠금 장치에 대한 잠금 해제 명령이 인가되면, 상기 제2 카메라를 통해 상기 제1 사용자의 얼굴 이미지를 획득한 후 사전 기계학습이 완료된 합성곱 신경망(Convolutional Neural Networks) - 상기 합성곱 신경망은 얼굴 이미지가 입력으로 인가되면, 입력으로 인가된 얼굴 이미지를 이미지 특징 추출을 위한 복수의 합성곱층과 풀링(pooling)층들에 통과시켜, n차원의 출력 벡터를 산출하도록 사전 학습되어 있음 - 에 상기 제1 사용자의 얼굴 이미지를 입력으로 인가하여 n차원의 제1 출력 벡터를 획득하는 출력 벡터 획득부;
    상기 제1 출력 벡터가 획득되면, 상기 제1 출력 벡터와, 상기 사용자 정보 저장부에 저장되어 있는 상기 복수의 사용자들의 얼굴 이미지에 대응되는 특징 벡터 간의 벡터 유사도를 연산하여, 상기 복수의 사용자들의 얼굴 이미지에 대응되는 특징 벡터 중 상기 벡터 유사도가 최대인 제1 특징 벡터를 선택하는 벡터 선택부;
    상기 제1 특징 벡터를 구성하는 n개의 성분들과 상기 제1 출력 벡터를 구성하는 n개의 성분들을 벡터 내에서 서로 동일한 위치끼리 대응시켜, 상기 제1 특징 벡터를 구성하는 n개의 성분들과 상기 제1 출력 벡터를 구성하는 n개의 성분들을 기초로 상기 제1 특징 벡터와 상기 제1 출력 벡터 간의 평균 제곱 오차(Mean Squared Error)를 연산하는 오차 연산부; 및
    상기 평균 제곱 오차가 사전 설정된 기준치 미만인 것으로 확인되면, 상기 잠금 장치의 잠금을 해제하는 잠금 해제부
    를 포함하는 출입문 제어 장치.
  2. 제1항에 있어서,
    상기 잠금 장치의 잠금이 해제되면, 상기 잠금 장치의 잠금이 해제된 시점으로부터 사전 설정된 제1 시간이내에, 영상으로부터 사람 객체를 인식하기 위한 사전 구성된 객체 인식 모델을 이용하여, 상기 제1 카메라를 통해 촬영되는 상기 실내 영상으로부터 사람 객체가 인식되는지 여부를 확인하는 객체 확인부; 및
    상기 실내 영상으로부터 사람 객체가 인식되는 것으로 확인되는 경우, 상기 잠금 장치가 즉시 잠기도록 제어하고, 상기 실내 영상으로부터 사람 객체가 인식되지 않는 경우, 상기 잠금 장치의 잠금이 해제된 시점으로부터 상기 제1 시간이 경과하면, 상기 잠금 장치가 잠기도록 제어하는 잠금 제어부
    를 더 포함하는 출입문 제어 장치.
  3. 제1항에 있어서,
    상기 영상 전송부는
    사전 설정된 t(t는 2이상의 자연수)개의 암호화키들과 각 암호화키에 대응되는 0 이상 t-1 이하의 서로 다른 정수가 대응되어 저장되어 있는 키 저장부;
    사전 설정된 제1 주기마다 상기 실내 영상과 상기 실외 영상을 암호화하여 상기 영상 저장 서버에 전송하기 위한 이벤트를 발생시키는 이벤트 발생부;
    상기 이벤트가 발생되면, 상기 이벤트가 발생된 시점으로부터 다음 이벤트가 발생할 때까지 상기 제1 카메라와 상기 제2 카메라를 통해 촬영되는 상기 실내 영상과 상기 실외 영상에 대한 영상 데이터를 생성하는 데이터 생성부;
    상기 실내 영상과 상기 실외 영상에 대한 영상 데이터가 생성되면, 상기 실내 영상과 상기 실외 영상에 대한 영상 데이터가 생성된 시점에 대한 날짜 값과 시간 값을 확인한 후, 상기 날짜 값을 피제수로, 상기 t를 제수로 하는 모듈로(Modulo) 연산을 수행함으로써, 제1 연산 값을 산출하고, 상기 시간 값을 피제수로, 상기 t를 제수로 하는 모듈로 연산을 수행함으로써, 제2 연산 값을 산출하는 연산 값 산출부;
    상기 키 저장부로부터 상기 제1 연산 값에 대응되는 제1 암호화키를 추출하고, 상기 제2 연산 값에 대응되는 제2 암호화키를 추출하는 키 추출부; 및
    상기 실내 영상에 대한 영상 데이터를 상기 제1 암호화키로 암호화하고, 상기 실외 영상에 대한 영상 데이터를 상기 제2 암호화키로 암호화한 후 암호화된 상기 실내 영상과 상기 실외 영상에 대한 영상 데이터를 상기 날짜 값 및 상기 시간 값과 함께 상기 영상 저장 서버에 전송하면서, 상기 영상 저장 서버에 대해, 암호화된 상기 실내 영상과 상기 실외 영상에 대한 영상 데이터를 상기 날짜 값 및 상기 시간 값에 대응시켜 저장할 것을 지시하는 저장 명령을 전송하는 전송부
    를 포함하는 출입문 제어 장치.
  4. 제3항에 있어서,
    영상에 대한 접근 권한을 확인하기 위한 사전 설정된 제1 관리자 비밀번호와 영상의 제공을 위한 사전 지정된 관리자 단말의 식별 정보가 저장되어 있는 관리자 정보 저장부;
    관리자에 의해 상기 영상 저장 서버에 저장되어 있는 상기 실내 영상과 상기 실외 영상에 대한 제공 명령이 인가되면, 관리자 비밀번호를 입력할 것을 요청하는 비밀번호 요청 메시지를 출력하는 제1 메시지 출력부;
    상기 관리자에 의해 상기 관리자 정보 저장부에 저장되어 있는 상기 제1 관리자 비밀번호와 동일한 비밀번호가 인가되면, 제공받기를 원하는 시점의 날짜 값과 시간 값을 입력할 것을 요청하는 시간 요청 메시지를 출력하는 제2 메시지 출력부;
    상기 관리자에 의해 제1 날짜 값과 제1 시간 값이 입력되면, 상기 영상 저장 서버로 상기 제1 날짜 값과 상기 제1 시간 값을 전송하면서, 상기 제1 날짜 값과 상기 제1 시간 값에 최대로 근접한 날짜 값과 시간 값에 대응되어 저장되어 있는 상기 실내 영상과 상기 실외 영상에 대한 영상 데이터를 검색할 것을 요청하는 검색 요청부;
    상기 영상 저장 서버로부터 제1 실내 영상 데이터와 제1 실외 영상 데이터 - 상기 제1 실내 영상 데이터와 상기 제2 실외 영상 데이터는 암호화되어 있음 - 가 검색되었음을 지시하는 응답 메시지가 피드백되면, 상기 영상 저장 서버로 상기 제1 실내 영상 데이터와 상기 제1 실외 영상 데이터를 다운로드받기 위한 다운로드 경로 정보의 전송을 요청함과 동시에, 상기 제1 실내 영상 데이터와 상기 제1 실외 영상 데이터에 대응되어 저장되어 있는 날짜 값과 시간 값의 전송을 요청하는 정보 요청부;
    상기 영상 저장 서버로부터 제1 다운로드 경로 정보가 피드백됨과 동시에, 제2 날짜 값과 제2 시간 값이 피드백되면, 상기 제2 날짜 값을 피제수로, 상기 t를 제수로 하는 모듈로 연산을 수행함으로써, 제3 연산 값을 산출하고, 상기 제3 시간 값을 피제수로, 상기 t를 제수로 하는 모듈로 연산을 수행함으로써, 제4 연산 값을 산출하는 산출부; 및
    상기 키 저장부로부터 상기 제3 연산 값에 대응되는 제3 암호화키를 추출하고, 상기 제4 연산 값에 대응되는 제4 암호화키를 추출한 후, 상기 관리자 정보 저장부에 저장되어 있는 상기 관리자 단말의 식별 정보를 기초로 상기 관리자 단말과 접속하여, 상기 관리자 단말에 상기 제1 다운로드 경로 정보를 전송함과 동시에, 상기 제3 암호화키와 상기 제4 암호화키를 각각 상기 제1 실내 영상 데이터와 상기 제2 실내 영상 데이터를 복호화하기 위한 복호화키로서 전송하는 다운로드 정보 전송부
    를 더 포함하는 출입문 제어 장치.
  5. 제4항에 있어서,
    상기 관리자 단말은
    상기 출입문 제어 장치로부터 상기 제1 다운로드 경로 정보와 상기 제3 암호화키 및 상기 제4 암호화키가 수신되면, 상기 제1 다운로드 경로 정보를 기초로 상기 영상 저장 서버에 접속하여 상기 영상 저장 서버로부터 상기 제1 실내 영상 데이터와 상기 제1 실외 영상 데이터를 다운로드받은 후, 상기 출입문 제어 장치로부터 수신된 상기 제3 암호화키로 상기 제1 실내 영상 데이터를 복호화하고, 상기 출입문 제어 장치로부터 수신된 상기 제4 암호화키로 상기 제1 실외 영상 데이터를 복호화하는 것을 특징으로 하는 출입문 제어 장치.
  6. 실내측 방향에 제1 카메라가 탑재되고, 실외측 방향에 제2 카메라가 탑재된 출입문에 구비되어, 상기 출입문에 존재하는 잠금 장치의 잠금과 해제를 제어하는 출입문 제어 장치의 동작 방법에 있어서,
    출입이 허가된 것으로 사전 지정된 복수의 사용자들의 얼굴 이미지에 대응되는 사전 설정된 n(n은 2이상의 자연수임)차원의 특징 벡터가 저장되어 있는 사용자 정보 저장부를 유지하는 단계;
    상기 제1 카메라를 통해서 촬영되는 실내 영상과 상기 제2 카메라를 통해서 촬영되는 실외 영상을 암호화하여 영상 저장 서버에 전송하는 단계;
    상기 실외측에 존재하는 제1 사용자에 의해, 상기 잠금 장치에 대한 잠금 해제 명령이 인가되면, 상기 제2 카메라를 통해 상기 제1 사용자의 얼굴 이미지를 획득한 후 사전 기계학습이 완료된 합성곱 신경망(Convolutional Neural Networks) - 상기 합성곱 신경망은 얼굴 이미지가 입력으로 인가되면, 입력으로 인가된 얼굴 이미지를 이미지 특징 추출을 위한 복수의 합성곱층과 풀링(pooling)층들에 통과시켜, n차원의 출력 벡터를 산출하도록 사전 학습되어 있음 - 에 상기 제1 사용자의 얼굴 이미지를 입력으로 인가하여 n차원의 제1 출력 벡터를 획득하는 단계;
    상기 제1 출력 벡터가 획득되면, 상기 제1 출력 벡터와, 상기 사용자 정보 저장부에 저장되어 있는 상기 복수의 사용자들의 얼굴 이미지에 대응되는 특징 벡터 간의 벡터 유사도를 연산하여, 상기 복수의 사용자들의 얼굴 이미지에 대응되는 특징 벡터 중 상기 벡터 유사도가 최대인 제1 특징 벡터를 선택하는 단계;
    상기 제1 특징 벡터를 구성하는 n개의 성분들과 상기 제1 출력 벡터를 구성하는 n개의 성분들을 벡터 내에서 서로 동일한 위치끼리 대응시켜, 상기 제1 특징 벡터를 구성하는 n개의 성분들과 상기 제1 출력 벡터를 구성하는 n개의 성분들을 기초로 상기 제1 특징 벡터와 상기 제1 출력 벡터 간의 평균 제곱 오차(Mean Squared Error)를 연산하는 단계; 및
    상기 평균 제곱 오차가 사전 설정된 기준치 미만인 것으로 확인되면, 상기 잠금 장치의 잠금을 해제하는 단계
    를 포함하는 출입문 제어 장치의 동작 방법.
  7. 제6항에 있어서,
    상기 잠금 장치의 잠금이 해제되면, 상기 잠금 장치의 잠금이 해제된 시점으로부터 사전 설정된 제1 시간이내에, 영상으로부터 사람 객체를 인식하기 위한 사전 구성된 객체 인식 모델을 이용하여, 상기 제1 카메라를 통해 촬영되는 상기 실내 영상으로부터 사람 객체가 인식되는지 여부를 확인하는 단계; 및
    상기 실내 영상으로부터 사람 객체가 인식되는 것으로 확인되는 경우, 상기 잠금 장치가 즉시 잠기도록 제어하고, 상기 실내 영상으로부터 사람 객체가 인식되지 않는 경우, 상기 잠금 장치의 잠금이 해제된 시점으로부터 상기 제1 시간이 경과하면, 상기 잠금 장치가 잠기도록 제어하는 단계
    를 더 포함하는 출입문 제어 장치의 동작 방법.
  8. 제6항에 있어서,
    상기 영상 저장 서버에 전송하는 단계는
    사전 설정된 t(t는 2이상의 자연수)개의 암호화키들과 각 암호화키에 대응되는 0 이상 t-1 이하의 서로 다른 정수가 대응되어 저장되어 있는 키 저장부를 유지하는 단계;
    사전 설정된 제1 주기마다 상기 실내 영상과 상기 실외 영상을 암호화하여 상기 영상 저장 서버에 전송하기 위한 이벤트를 발생시키는 단계;
    상기 이벤트가 발생되면, 상기 이벤트가 발생된 시점으로부터 다음 이벤트가 발생할 때까지 상기 제1 카메라와 상기 제2 카메라를 통해 촬영되는 상기 실내 영상과 상기 실외 영상에 대한 영상 데이터를 생성하는 단계;
    상기 실내 영상과 상기 실외 영상에 대한 영상 데이터가 생성되면, 상기 실내 영상과 상기 실외 영상에 대한 영상 데이터가 생성된 시점에 대한 날짜 값과 시간 값을 확인한 후, 상기 날짜 값을 피제수로, 상기 t를 제수로 하는 모듈로(Modulo) 연산을 수행함으로써, 제1 연산 값을 산출하고, 상기 시간 값을 피제수로, 상기 t를 제수로 하는 모듈로 연산을 수행함으로써, 제2 연산 값을 산출하는 단계;
    상기 키 저장부로부터 상기 제1 연산 값에 대응되는 제1 암호화키를 추출하고, 상기 제2 연산 값에 대응되는 제2 암호화키를 추출하는 단계; 및
    상기 실내 영상에 대한 영상 데이터를 상기 제1 암호화키로 암호화하고, 상기 실외 영상에 대한 영상 데이터를 상기 제2 암호화키로 암호화한 후 암호화된 상기 실내 영상과 상기 실외 영상에 대한 영상 데이터를 상기 날짜 값 및 상기 시간 값과 함께 상기 영상 저장 서버에 전송하면서, 상기 영상 저장 서버에 대해, 암호화된 상기 실내 영상과 상기 실외 영상에 대한 영상 데이터를 상기 날짜 값 및 상기 시간 값에 대응시켜 저장할 것을 지시하는 저장 명령을 전송하는 단계
    를 포함하는 출입문 제어 장치의 동작 방법.
  9. 제8항에 있어서,
    영상에 대한 접근 권한을 확인하기 위한 사전 설정된 제1 관리자 비밀번호와 영상의 제공을 위한 사전 지정된 관리자 단말의 식별 정보가 저장되어 있는 관리자 정보 저장부를 유지하는 단계;
    관리자에 의해 상기 영상 저장 서버에 저장되어 있는 상기 실내 영상과 상기 실외 영상에 대한 제공 명령이 인가되면, 관리자 비밀번호를 입력할 것을 요청하는 비밀번호 요청 메시지를 출력하는 단계;
    상기 관리자에 의해 상기 관리자 정보 저장부에 저장되어 있는 상기 제1 관리자 비밀번호와 동일한 비밀번호가 인가되면, 제공받기를 원하는 시점의 날짜 값과 시간 값을 입력할 것을 요청하는 시간 요청 메시지를 출력하는 단계;
    상기 관리자에 의해 제1 날짜 값과 제1 시간 값이 입력되면, 상기 영상 저장 서버로 상기 제1 날짜 값과 상기 제1 시간 값을 전송하면서, 상기 제1 날짜 값과 상기 제1 시간 값에 최대로 근접한 날짜 값과 시간 값에 대응되어 저장되어 있는 상기 실내 영상과 상기 실외 영상에 대한 영상 데이터를 검색할 것을 요청하는 단계;
    상기 영상 저장 서버로부터 제1 실내 영상 데이터와 제1 실외 영상 데이터 - 상기 제1 실내 영상 데이터와 상기 제2 실외 영상 데이터는 암호화되어 있음 - 가 검색되었음을 지시하는 응답 메시지가 피드백되면, 상기 영상 저장 서버로 상기 제1 실내 영상 데이터와 상기 제1 실외 영상 데이터를 다운로드받기 위한 다운로드 경로 정보의 전송을 요청함과 동시에, 상기 제1 실내 영상 데이터와 상기 제1 실외 영상 데이터에 대응되어 저장되어 있는 날짜 값과 시간 값의 전송을 요청하는 단계;
    상기 영상 저장 서버로부터 제1 다운로드 경로 정보가 피드백됨과 동시에, 제2 날짜 값과 제2 시간 값이 피드백되면, 상기 제2 날짜 값을 피제수로, 상기 t를 제수로 하는 모듈로 연산을 수행함으로써, 제3 연산 값을 산출하고, 상기 제3 시간 값을 피제수로, 상기 t를 제수로 하는 모듈로 연산을 수행함으로써, 제4 연산 값을 산출하는 단계; 및
    상기 키 저장부로부터 상기 제3 연산 값에 대응되는 제3 암호화키를 추출하고, 상기 제4 연산 값에 대응되는 제4 암호화키를 추출한 후, 상기 관리자 정보 저장부에 저장되어 있는 상기 관리자 단말의 식별 정보를 기초로 상기 관리자 단말과 접속하여, 상기 관리자 단말에 상기 제1 다운로드 경로 정보를 전송함과 동시에, 상기 제3 암호화키와 상기 제4 암호화키를 각각 상기 제1 실내 영상 데이터와 상기 제2 실내 영상 데이터를 복호화하기 위한 복호화키로서 전송하는 단계
    를 더 포함하는 출입문 제어 장치의 동작 방법.
  10. 제9항에 있어서,
    상기 관리자 단말은
    상기 출입문 제어 장치로부터 상기 제1 다운로드 경로 정보와 상기 제3 암호화키 및 상기 제4 암호화키가 수신되면, 상기 제1 다운로드 경로 정보를 기초로 상기 영상 저장 서버에 접속하여 상기 영상 저장 서버로부터 상기 제1 실내 영상 데이터와 상기 제1 실외 영상 데이터를 다운로드받은 후, 상기 출입문 제어 장치로부터 수신된 상기 제3 암호화키로 상기 제1 실내 영상 데이터를 복호화하고, 상기 출입문 제어 장치로부터 수신된 상기 제4 암호화키로 상기 제1 실외 영상 데이터를 복호화하는 것을 특징으로 하는 출입문 제어 장치의 동작 방법.
  11. 제6항 내지 제10항 중 어느 한 항의 방법을 컴퓨터와의 결합을 통해 실행시키기 위한 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.
  12. 제6항 내지 제10항 중 어느 한 항의 방법을 컴퓨터와의 결합을 통해 실행시키기 위한 저장매체에 저장된 컴퓨터 프로그램.
PCT/KR2021/014279 2021-01-19 2021-10-14 얼굴 인식을 기반으로 출입문의 잠금 및 해제를 제어하는 출입문 제어 장치 및 그 동작 방법 WO2022158681A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0007738 2021-01-19
KR1020210007738A KR102258957B1 (ko) 2021-01-19 2021-01-19 얼굴 인식을 기반으로 출입문의 잠금 및 해제를 제어하는 출입문 제어 장치 및 그 동작 방법

Publications (1)

Publication Number Publication Date
WO2022158681A1 true WO2022158681A1 (ko) 2022-07-28

Family

ID=76375798

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/014279 WO2022158681A1 (ko) 2021-01-19 2021-10-14 얼굴 인식을 기반으로 출입문의 잠금 및 해제를 제어하는 출입문 제어 장치 및 그 동작 방법

Country Status (2)

Country Link
KR (1) KR102258957B1 (ko)
WO (1) WO2022158681A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102258957B1 (ko) * 2021-01-19 2021-06-01 (주)한컴인텔리전스 얼굴 인식을 기반으로 출입문의 잠금 및 해제를 제어하는 출입문 제어 장치 및 그 동작 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101730255B1 (ko) * 2015-09-17 2017-04-26 이근장 얼굴 인식 디지털 도어록
KR20190059824A (ko) * 2017-11-23 2019-05-31 퍼시픽솔루션 주식회사 영상광고가 가능한 영상보안장치를 이용한 영상광고 중계 서비스 시스템
KR20200047294A (ko) * 2018-10-26 2020-05-07 삼성전자주식회사 생체 인식 기반의 사용자 인증 방법 및 장치
KR20200101641A (ko) * 2019-02-20 2020-08-28 주식회사 애드리온 출입 관리 제어 방법 및 시스템
KR102161359B1 (ko) * 2018-12-07 2020-09-29 주식회사 포스코아이씨티 딥러닝 기반의 얼굴이미지 추출장치
KR102258957B1 (ko) * 2021-01-19 2021-06-01 (주)한컴인텔리전스 얼굴 인식을 기반으로 출입문의 잠금 및 해제를 제어하는 출입문 제어 장치 및 그 동작 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101954763B1 (ko) * 2017-09-04 2019-03-06 동국대학교 산학협력단 얼굴 인식 출입 통제 장치 및 이의 동작 방법
KR101993096B1 (ko) * 2018-09-14 2019-06-26 주식회사 대명코퍼레이션 디지털 비디오 리코더의 데이터 관리 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101730255B1 (ko) * 2015-09-17 2017-04-26 이근장 얼굴 인식 디지털 도어록
KR20190059824A (ko) * 2017-11-23 2019-05-31 퍼시픽솔루션 주식회사 영상광고가 가능한 영상보안장치를 이용한 영상광고 중계 서비스 시스템
KR20200047294A (ko) * 2018-10-26 2020-05-07 삼성전자주식회사 생체 인식 기반의 사용자 인증 방법 및 장치
KR102161359B1 (ko) * 2018-12-07 2020-09-29 주식회사 포스코아이씨티 딥러닝 기반의 얼굴이미지 추출장치
KR20200101641A (ko) * 2019-02-20 2020-08-28 주식회사 애드리온 출입 관리 제어 방법 및 시스템
KR102258957B1 (ko) * 2021-01-19 2021-06-01 (주)한컴인텔리전스 얼굴 인식을 기반으로 출입문의 잠금 및 해제를 제어하는 출입문 제어 장치 및 그 동작 방법

Also Published As

Publication number Publication date
KR102258957B1 (ko) 2021-06-01

Similar Documents

Publication Publication Date Title
US10284885B1 (en) Method and apparatus for redacting video for compression and identification of releasing party
WO2013157864A1 (ko) 입력 패턴이 결합된 아이콘을 이용한 사용자 인증 방법 및 패스워드 입력 장치
WO2013100699A1 (en) Method, apparatus, and computer-readable recording medium for authenticating a user
WO2013069841A1 (ko) 홍채이미지를 이용한 보안이 강화된 잠금장치
WO2013012120A1 (ko) 생체이미지 정보를 포함하는 일회용 비밀번호를 이용한 인증방법 및 장치
WO2019164379A1 (en) Method and system for facial recognition
WO2022250213A1 (ko) 통화 연결 시 음성 기반의 발신자 인증을 수행하는 모바일 단말 장치 및 그 동작 방법
WO2022019693A1 (ko) 사용자 비대면 인증 vc(verifiable credential)를 이용한 did(decentralized identifier) 기반의 사용자 비대면 인증 방법 및 이를 이용한 인증 지원 서버
WO2020111426A1 (en) Method and system of presenting moving images or videos corresponding to still images
WO2015170797A1 (en) Display device and method for controlling the same
WO2013054993A1 (ko) 전자 계약서를 이용한 통합 인증 시스템
WO2016117907A1 (ko) 개인 정보 데이터 보안을 강화하는 장치 및 방법
WO2021150032A1 (en) Method for providing authentication service by using decentralized identity and server using the same
WO2022124701A1 (en) Method for producing labeled image from original image while preventing private information leakage of original image and server using the same
WO2023128345A1 (ko) 동형 암호화된 이미지를 이용한 개인 식별 방법 및 시스템
WO2012030077A2 (ko) 디지털 도어락과 연동된 출입문 지문저장 시스템 및 그 방법
WO2022158681A1 (ko) 얼굴 인식을 기반으로 출입문의 잠금 및 해제를 제어하는 출입문 제어 장치 및 그 동작 방법
WO2021157794A1 (ko) 도어락을 제어하는 장치 및 방법
WO2023128342A1 (ko) 동형 암호화된 음성을 이용한 개인 식별 방법 및 시스템
WO2022216020A1 (ko) 영상/음성의 생성 이력과 연관된 메타데이터를 포함한 원본 영상/음성 파일 또는 딥페이크 변조 파일을 생성하는 영상/음성획득 또는 편집 장치, 원본 영상/음성 파일 또는 딥페이크 변조 파일 관련 해시값을 수신 및 저장하는 해시뱅크 서버, 원본 영상/음성 파일 또는 딥페이크 변조 파일을 수신 및 처리하는 서버 및 방법
WO2017052240A1 (ko) 진본성 및 무결성을 입증하기 위한 사본영상 증거관리시스템
WO2019103443A1 (en) Method, apparatus and system for managing electronic fingerprint of electronic file
WO2022149726A1 (ko) 배송원의 공동주택에 대한 출입 편의를 지원하기 위한 공동 출입문 관리 시스템 장치 및 그 동작 방법
WO2015156432A1 (ko) 단말 장치 및 제어 방법
WO2019156492A1 (ko) 디지털 콘텐츠의 개인 보안 열람 플랫폼

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21921440

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21921440

Country of ref document: EP

Kind code of ref document: A1