KR20170000128A - Mobile electric document system of multiple biometric - Google Patents
Mobile electric document system of multiple biometric Download PDFInfo
- Publication number
- KR20170000128A KR20170000128A KR1020150088908A KR20150088908A KR20170000128A KR 20170000128 A KR20170000128 A KR 20170000128A KR 1020150088908 A KR1020150088908 A KR 1020150088908A KR 20150088908 A KR20150088908 A KR 20150088908A KR 20170000128 A KR20170000128 A KR 20170000128A
- Authority
- KR
- South Korea
- Prior art keywords
- user
- information
- image information
- unit
- biometric
- Prior art date
Links
- 238000012545 processing Methods 0.000 claims abstract description 21
- 230000008921 facial expression Effects 0.000 claims description 58
- 230000001815 facial effect Effects 0.000 claims description 23
- 238000000034 method Methods 0.000 claims description 11
- 230000000694 effects Effects 0.000 abstract description 7
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 201000004384 Alopecia Diseases 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003676 hair loss Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000013475 authorization Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 208000024963 hair loss Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000001953 recrystallisation Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/604—Tools and structures for managing or administering access control systems
-
- G06K9/00221—
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Automation & Control Theory (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Technology Law (AREA)
- Collating Specific Patterns (AREA)
- Telephone Function (AREA)
Abstract
Description
본 발명은 다중 생체 인증을 통한 모바일 전자 문서 시스템에 관한 것으로서, 보다 자세하게는, 다양한 생체 인증의 기법이 활용 및 적용되어, 모바일 단말기 상에서 사용자 인증을 하여, 전자 문서 시스템에 접근 권한을 부여하도록 하는 시스템에 관한 기술 분야이다.BACKGROUND OF THE
최근 원자력 발전소 등의 정보 유출과, 금융권에서의 개인 고객 정보 유출 등의 이슈로 인하여, 문서 등의 정보 보안이 강화될 수 있도록 요구되고 있는 실정이다.Recently, due to issues such as leakage of information from nuclear power plants and leakage of personal customer information in the financial sector, information security such as documents is required to be strengthened.
이러한 정보의 보안은 다양한 접근 방식으로 이루어질 수 있는데, 그 중 시스템 혹은 문서에의 사용자의 접근 권한의 부여, 즉 사용자 인증을 통한 방식 있다.The security of such information can be achieved through various approaches, such as granting users' access rights to the system or document, that is, through user authentication.
특히 최근에는 모바일 단말기 즉, 스마트폰의 빠른 보급과 더불어, 모바일 단말기를 통하여 각종 문서 데이터베이스의 접근이 용이하게 되었는데, 이러한 모바일 단말기 상에서 사용자의 인증에 대한 기술이 아직 미흡한 상황이다.Especially, in recent years, with the rapid spread of mobile terminals, that is, smart phones, various document databases have been easily accessed through mobile terminals. However, there is still a lack of technology for user authentication on such mobile terminals.
도 1은 ID와 패스워드를 입력하여 사용자의 인증을 하기 위한 종래 인증 방식을 나타내는 화면이다.1 is a screen showing a conventional authentication method for authenticating a user by inputting an ID and a password.
이러한 방식은 해당 ID와 패스워드를 알고 있는 사용자가 해당 ID와 패스워드에 대한 정보를 타인에게 유출하면, 그 타인의 접근을 막을 수 있는 방법이 없었으며, 고의적인 유출이 아닌 경우라도, 해당 ID와 패스워드의 해킹 등을 통해 외부로 정보가 유출될 수 있는 문제점을 안고 있었다.In this method, if a user who knows the corresponding ID and password leaks information about the ID and password to another person, there is no way to prevent the access of the other person. Even if the ID and the password are not intentionally leaked, The information can be leaked to the outside through the hacking of the user.
최근에는 사용자 고유의 정보에 해당할 수 있는, 사용자의 생체 인식을 통한 생체 인증 시스템이 도입되고 있는 추세이다.In recent years, there has been a tendency to introduce a biometric authentication system based on a user's biometric information, which may correspond to user-specific information.
도 2는 사용자 인증을 위하여 사용자의 얼굴 인식을 진행하는 종래 생체 인증 시스템의 화면이다. 도 2에 도시된 바와 같이, 접근 권한을 부여 받은 사용자는 모바일 단말기나 테블릿 PC, 혹은 랩탑 컴퓨터의 카메라를 이용하여 자신의 안면(face)을 인식시킨 후, 사용자 생체 인증을 완료할 수 있게 된다.2 is a screen of a conventional biometric authentication system in which a user's face recognition is performed for user authentication. As shown in FIG. 2, the user who has been granted the access right can recognize the face of the user using the camera of the mobile terminal, the tablet PC, or the laptop computer, and then complete the user biometric authentication .
그러나 도 2와 같은 안면 인식의 방법은 접근 권한을 부여 받은 사용자의 사진을 카메라에 인식시키면, 사용자의 생체 인증이 이루어진다는 허점을 가지고 있다.However, the facial recognition method shown in FIG. 2 has a loophole in that a user's biometric authentication is performed when the camera recognizes a photograph of a user who has been granted access authority.
사용자의 생체 인증을 통해 접근 권한을 부여하도록 하는 기술적인 시도는 여러 방식으로 존재하였으며, 예시적인 특허 문헌으로는 “이중 생체 인증 시스템 및 방법(공개 번호 제10-2004-0082674호)”, “얼굴과 신체 정보를 융합한 다중 생체 인식을 이용한 영상 감시 시스템 및 방법(공개 번호 제10-2011-0129789호)”, “생체 정보를 이용한 사용자 인증 방법 및 시스템과 생체정보를 이용하여 인증 정보를 전송하는 이동통신 단말기(공개 번호 제10-2008-0036446호)”또는 “생체 인식을 이용한 인증서 비밀번호 대체 방법(공개 번호 제10-2014-0063014호)” 등이 있다.Technological attempts to grant access authority through biometric authentication of a user exist in various ways. As an example patent document, " Dual biometric authentication system and method (Publication No. 10-2004-0082674) ", " (No. 10-2011-0129789) ", " User authentication method using biometric information, and authentication information using biometric information, Mobile communication terminal (publication No. 10-2008-0036446) "or" certificate password replacement method using biometrics (publication No. 10-2014-0063014) ".
이들 종래 특허 문헌들은 생체 인증에 대한 다양한 접근 방법을 제시하고 있으나, 사용자 고유의 생체 정보와 사용자만이 알고 있는 고유의 정보를 적절히 융합하지 못하는 문제점이 존재하였다.These conventional patent documents disclose various approaches to biometric authentication, but there is a problem in that the biometric information unique to the user and unique information known only to the user can not be properly fused.
본 발명에 따른 다중 생체 인증을 통한 모바일 전자 문서 시스템은 상기한 바와 같은 종래 문제점을 해결하기 위해 안출된 것으로서, 다음과 같은 해결과제를 가진다.A mobile electronic document system using multiple biometric authentication according to the present invention is devised to solve the above-described problems, and has the following problems.
첫째, 사용자의 생체 정보를 활용하여 사용자 고유의 정보를 활용하여 인증하도록 하는 시스템을 제공하고자 한다First, the present invention provides a system for authenticating a user using biometric information of a user by utilizing information unique to the user
둘째, 사용자만이 알고 있는 신체적 표시 정보를 활용하여 사용자 인증을 할 수 있도록 하는 시스템을 제공하고자 한다.Second, a system for providing user authentication by utilizing physical display information only known by the user is provided.
셋째, 사용자의 생체 정보와 사용자만이 알고 있는 신체적 표시 정보를 융합하여 사용자 인증의 단계를 강화할 수 있는 융합된 생체 인증 시스템을 제공하고자 한다.Third, a fusion biometric authentication system capable of enhancing a user authentication step by merging biometric information of the user and physical display information only known by the user is provided.
본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The solution of the present invention is not limited to those mentioned above, and other solutions not mentioned can be clearly understood by those skilled in the art from the following description.
본 발명에 따른 다중 생체 인증을 통한 모바일 전자 문서 시스템은 상기의 해결하고자 하는 과제를 위하여 다음과 같은 과제 해결 수단을 가진다.A mobile electronic document system using multiple biometric authentication according to the present invention has the following problem solution for the above-mentioned problem to be solved.
본 발명에 따른 다중 생체 인증을 통한 모바일 전자 문서 시스템은 모바일 단말기를 통해 사용자에게 접근 권한을 부여하기 위한 모바일 생체 인증 시스템으로서, 상기 모바일 단말기에 장착된 카메라를 이용하여, 상기 사용자의 생체 영상 정보를 인식하는 영상 인식부; 상기 모바일 단말기에 장착된 마이크로폰을 이용하여, 상기 사용자의 생체 음성 정보를 인식하는 음성 인식부; 상기 생체 영상 정보와 상기 생체 음성 정보를 저장하고 관리하는 저장부; 상기 영상 인식부가 인식한 상기 사용자의 상기 생체 영상 정보와 상기 음성 인식부가 인식한 상기 사용자의 상기 생체 음성 정보를 상기 저장부에 미리 저장된 상기 사용자의 생체 영상 정보와 생체 음성 정보와 각각 비교하여 매칭되는지 판단하는 매칭부; 및 상기 매칭부로부터 상기 영상 인식부가 인식한 상기 사용자의 상기 생체 영상 정보와 상기 음성 인식부가 인식한 상기 사용자의 상기 생체 음성 정보를 상기 저장부에 미리 저장된 생체 영상 정보와 생체 음성 정보가 각각 매칭되는 경우, 상기 사용자에게 접근 권한을 부여하는 중앙 처리 유닛을 포함하는 것을 특징으로 할 수 있다.A mobile electronic document system using multiple biometric authentication according to the present invention is a mobile biometric authentication system for granting an access right to a user through a mobile terminal. The mobile biometric authentication system includes a camera attached to the mobile terminal, A recognizing image recognizing unit; A voice recognition unit for recognizing the user's bio-voice information using a microphone mounted on the mobile terminal; A storage unit for storing and managing the biometric image information and the biometric voice information; The biometric image information of the user recognized by the image recognition unit and the biometric voice information of the user recognized by the voice recognition unit are compared with the biometric image information of the user and the biometric voice information stored in advance in the storage unit, A matching unit for judging And biometric information of the user recognized by the image recognition unit and biometric information of the user recognized by the voice recognition unit from the matching unit are matched with biometric image information previously stored in the storage unit And a central processing unit for granting access authority to the user.
본 발명에 따른 다중 생체 인증을 통한 모바일 전자 문서 시스템의 상기 영상 인식부는, 상기 사용자의 얼굴 영상 정보를 취득하는 안면 인식부를 포함하는 것을 특징으로 할 수 있다.The image recognition unit of the mobile electronic document system through multiple biometric authentication according to the present invention may include a face recognition unit for acquiring face image information of the user.
본 발명에 따른 다중 생체 인증을 통한 모바일 전자 문서 시스템의 상기 안면 인식부는, 상기 사용자의 양 눈을 2점 포인트로 설정하며, 상기 2점 포인트를 수평하게 놓이도록, 상기 사용자의 얼굴 영상을 회전시키는 것을 특징으로 할 수 있다.The facial recognition unit of the mobile electronic document system through the multiple biometric authentication according to the present invention sets the two eyes of the user to two points and rotates the face image of the user so that the two points are horizontally placed . ≪ / RTI >
본 발명에 따른 다중 생체 인증을 통한 모바일 전자 문서 시스템의 상기 안면 인식부는, 상기 사용자의 얼굴 영상 정보를 초당 미리 결정된 프레임 개수만큼 획득하고, 프레임마다 픽셀간의 평균 그레이 레벨의 편차를 측정하며, 프레임들 중 픽셀간 평균 그레이 레벨 편차가 가장 큰 프레임을 상기 사용자의 얼굴 영상 정보로 채택하는 것을 특징으로 할 수 있다.The facial recognition unit of the mobile electronic document system through multiple biometric authentication according to the present invention acquires the facial image information of the user by a predetermined number of frames per second and measures the deviation of the average gray level between the pixels for each frame, The frame having the largest gray-level deviation between pixels is adopted as the face image information of the user.
본 발명에 따른 다중 생체 인증을 통한 모바일 전자 문서 시스템의 상기 영상 인식부는, 상기 사용자의 복수 개의 얼굴 표정 영상 정보를 취득하는 표정 인식부를 포함하는 것을 특징으로 할 수 있다.The image recognition unit of the mobile electronic document system through multiple biometric authentication according to the present invention may include a facial expression recognition unit for acquiring a plurality of facial expression image information of the user.
본 발명에 따른 다중 생체 인증을 통한 모바일 전자 문서 시스템의 상기 표정 인식부는, 상기 복수 개의 얼굴 표정 영상 정보를 취득된 시각의 순서에 따라 소팅하는 것을 특징으로 할 수 있다.The facial expression recognition unit of the mobile electronic document system through multiple biometric authentication according to the present invention may sort the plurality of facial expression image information according to the acquired time sequence.
본 발명에 따른 다중 생체 인증을 통한 모바일 전자 문서 시스템의 상기 저장부는, 상기 표정 인식부로부터, 시각의 순서에 따라 소팅된 상기 복수 개의 얼굴 표정 영상 정보를 저장하는 것을 특징으로 할 수 있다.The storage unit of the mobile electronic document system through multiple biometric authentication according to the present invention may store the plurality of facial expression image information sorted by the time sequence from the facial expression recognition unit.
본 발명에 따른 다중 생체 인증을 통한 모바일 전자 문서 시스템의 상기 매칭부는, 상기 저장부에 저장된, 시각의 순서에 따라 소팅된 상기 복수 개의 얼굴 표정 영상 정보와 상기 표정 인식부에 의해 취득된 복수 개의 얼굴 표정 영상 정보를 각각 순서대로 비교하여 매칭 여부를 판단하며, 상기 매칭 여부를 상기 중앙 처리 유닛으로 전송하는 것을 특징으로 할 수 있다.The matching unit of the mobile electronic document system through the multiple biometric authentication according to the present invention may further comprise a matching unit for matching the plurality of facial expression image information sorted by the time sequence stored in the storage unit and a plurality of faces And the facial image information are sequentially compared with each other to judge whether or not to match, and the matching is transmitted to the central processing unit.
본 발명에 따른 다중 생체 인증을 통한 모바일 전자 문서 시스템의 상기 영상 인식부는, 상기 사용자의 복수 개의 손 모양 영상 정보를 인식하는 제스추어 인식부를 더 포함하는 것을 특징으로 할 수 있다.The image recognition unit of the mobile electronic document system through multiple biometric authentication according to the present invention may further include a gesture recognition unit for recognizing a plurality of hand image information of the user.
본 발명에 따른 다중 생체 인증을 통한 모바일 전자 문서 시스템의 상기 제스추어 인식부는, 상기 복수 개의 손 모양 영상 정보를 시각의 순서에 따라 소팅하는 것을 특징으로 할 수 있다.The gesture recognition unit of the mobile electronic document system through multiple biometric authentication according to the present invention may sort the plurality of hand shape image information according to the order of time.
본 발명에 따른 다중 생체 인증을 통한 모바일 전자 문서 시스템의 상기 저장부는, 상기 제스추어 인식부로부터, 시각의 순서에 따라 소팅된 상기 복수 개의 손 모양 영상 정보를 저장하는 것을 특징으로 할 수 있다.The storage unit of the mobile electronic document system through the multiple biometric authentication according to the present invention may store the plurality of hand shape image information sorted in order of time from the gesture recognition unit.
본 발명에 따른 다중 생체 인증을 통한 모바일 전자 문서 시스템의 상기 매칭부는, 상기 저장부에 저장된, 시각의 순서에 따라 소팅된 상기 복수 개의 손 모양 영상 정보와 상기 제스추어 인식부에 의해 취득된 복수 개의 복수 개의 손 모양 영상 정보를 각각 순서대로 비교하여 매칭 여부를 판단하며, 상기 매칭 여부를 상기 중앙 처리 유닛으로 전송하는 것을 특징으로 할 수 있다.The matching unit of the mobile electronic document system through the multiple biometric authentication according to the present invention may further comprise: the matching unit of the mobile electronic document system through the multiple biometric authentication method, wherein the matching unit stores the plurality of hand-shaped image information sorted by the time sequence stored in the storage unit, And the hand-shake image information are sequentially compared to determine whether or not to match, and the matching is transmitted to the central processing unit.
본 발명에 따른 다중 생체 인증을 통한 모바일 전자 문서 시스템의 상기 음성 인식부는, 상기 사용자의 음성 정보를 취득하여, 상기 음성 정보의 메시지 정보를 추출하고, 상기 음성 정보가 가지는 주파수 대역 정보를 추출하며, 상기 메시지 정보와 상기 주파수 대역 정보를 상기 저장부에 저장하는 것을 특징으로 할 수 있다.The voice recognition unit of the mobile electronic document system through the multiple biometric authentication according to the present invention acquires voice information of the user, extracts message information of the voice information, extracts frequency band information of the voice information, And storing the message information and the frequency band information in the storage unit.
본 발명에 따른 다중 생체 인증을 통한 모바일 전자 문서 시스템의 상기 매칭부는, 상기 저장부에 저장된 상기 메시지 정보와 상기 주파수 대역 정보를 상기 음성 인식부가 취득한 음성 정보의 메시지 정보와 주파수 대역 정보와 각각 비교하여 매칭 여부를 판단하고, 상기 매칭 여부를 상기 중앙 처리 유닛으로 전송하는 것을 특징으로 할 수 있다.The matching unit of the mobile electronic document system through the multiple biometric authentication according to the present invention compares the message information and the frequency band information stored in the storage unit with the message information and the frequency band information of the voice information acquired by the voice recognition unit And transmits the matching status to the central processing unit.
본 발명에 따른 다중 생체 인증을 통한 모바일 전자 문서 시스템은, 소팅하는 순서를 임의로 변경할 수 있도록 하는 설정부를 더 포함하는 것을 특징으로 할 수 있다.The mobile electronic document system via multiple biometric authentication according to the present invention may further include a setting unit for arbitrarily changing a sorting order.
본 발명에 따른 다중 생체 인증을 통한 모바일 전자 문서 시스템의 상기 매칭부는, 상기 설정부에 의해 변경된 소팅 순서에 따라, 상기 매칭 여부를 판단하는 것을 특징으로 할 수 있다.The matching unit of the mobile electronic document system through the multiple biometric authentication according to the present invention may determine whether the matching is performed according to a sorting order changed by the setting unit.
본 발명에 따른 다중 생체 인증을 통한 모바일 전자 문서 시스템의 상기 저장부는, 상기 사용자의 얼굴 영상 정보를 저장하는 안면 저장부; 상기 사용자의 복수 개의 얼굴 표정 영상 정보를 저장하는 표정 저장부; 및 상기 사용자의 복수 개의 손 모양 영상 정보를 저장하는 제스추어 저장부를 포함하는 것을 특징으로 할 수 있다.The storage unit of the mobile electronic document system through multi-biometric authentication according to the present invention may include a facial storage unit for storing facial image information of the user; A facial expression storage unit for storing a plurality of facial expression image information of the user; And a gesture storage unit for storing a plurality of hand image information of the user.
본 발명에 따른 다중 생체 인증을 통한 모바일 전자 문서 시스템의 상기 저장부는, 상기 안면 저장부, 상기 표정 저장부 및 상기 제스추어 저장부의 저장공간을 물리적으로 상호 분리시키는 것을 특징으로 할 수 있다.The storage unit of the mobile electronic document system through multiple biometric authentication according to the present invention physically separates the storage spaces of the facial storage unit, the facial expression storage unit, and the gesture storage unit.
본 발명의 상기 중앙 처리 유닛은, 상기 사용자에게 접근 권한을 부여한 이후, 상기 사용자의 생체 영상 정보 또는 상기 생체 음성 정보를 소정의 시간 주기 마다 모니터링하여, 상기 사용자의 접근 권한 부여 여부를 상기 소정의 시간 주기마다 재결정하는 것을 특징으로 할 수 있다.The central processing unit of the present invention monitors the biometric image information or the biometric voice information of the user every predetermined time period after granting the access right to the user, And recrystallization is performed every cycle.
본 발명의 상기 중앙 처리 유닛은, 상기 소정의 시간 주기마다 모니터링되는 상기 사용자의 생체 영상 정보 또는 생체 음성 정보를 상기 전자 문서함의 일측에 디스플레이하는 것을 특징으로 할 수 있다.The central processing unit of the present invention may display biometric image information or bio-voice information of the user, which is monitored every predetermined period of time, on one side of the electronic document box.
이상과 같은 구성의 본 발명에 따른 다중 생체 인증을 통한 모바일 전자 문서 시스템은 다음과 같은 효과를 가진다.The mobile electronic document system through the multiple biometric authentication according to the present invention having the above-described configuration has the following effects.
첫째, 사용자의 안면 인식과 더불어, 사용자의 육성 인식을 병합하여, 사용자 생체 인증의 보안 단계를 높이는 효과를 제공한다.First, in addition to the facial recognition of the user, it provides an effect of enhancing the security level of the user biometric authentication by merging the user's upbringing recognition.
둘째, 사용자의 음성 인식은 사용자의 육성의 고유 주파수의 인식뿐만 아니라, 사용자 인증을 위한 메시지까지 인식하는바, 단순한 사용자의 육성 주파수의 복제 또는 사용자의 메시지 복제만으로는 사용자 생체 인증의 보안이 뚫리지 않도록 하는 효과를 제공한다.Second, the user's voice recognition recognizes not only the natural frequency of user's upbringing but also the message for user authentication, so that the copying of the user's uplifting frequency or the duplication of the user's message can prevent the security of the user's biometric authentication from being breached Effect.
셋째, 사용자의 안면 인식에 더하여, 사용자만이 알고 있는 표정과 표정의 순서를 이용하여 사용자 생체 인식을 실시하는바, 보안의 수준을 한층 격상하는 효과를 제공한다.Third, in addition to the user's facial recognition, user biometric identification is performed using the facial expression and the facial expression sequence, which are known only to the user, thereby providing an effect of further upgrading the level of security.
넷째, 사용자의 안면 인식에 더하여, 사용자만이 알고 있는 손의 제스추어와 이에 대한 순서를 이용하여 사용자 생체 인식을 실시하는바, 보안의 수준을 보다 강화되도록 하는 효과를 제공한다.Fourth, in addition to the facial recognition of the user, user biometrics are performed using the gesture of the hand, which is known only to the user, and the sequence thereof, thereby providing an effect of further enhancing the level of security.
본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to those mentioned above, and other effects not mentioned can be clearly understood by those skilled in the art from the following description.
도 1은 ID와 패스워드를 입력하여 사용자의 인증을 하기 위한 종래 인증 방식을 나타내는 화면이다.
도 2는 사용자 인증을 위하여 사용자의 얼굴 인식을 진행하는 종래 생체 인증 시스템의 화면이다.
도 3은 본 발명의 일 실시예에 따라, 사용자의 얼굴 인식과 음식 인식이 동시에 진행되어 사용자 인증을 완료하는 화면이다.
도 4는 본 발명의 일 실시예에 따라, 사용자의 얼굴 인식에 더하여 사용자의 표정과 표정 순서까지 인식하여, 사용자 인증을 진행하는 (모바일) 화면이다.
도 5는 본 발명의 일 실시예에 따라, 사용자의 얼굴 인식에 더하여 사용자의 손 제스추어와 제스추어 순서까지 인식하여, 사용자 인증을 진행하는 (모바일) 화면이다.
도 6은 본 발명의 바람직한 실시예에 따라, 주요 구성을 도시한 블록도이다.
도 7은 본 발명의 바람직한 실시예에 따른, 영상 인식부와 그 하위 구성들을 도시한 블록도이다.
도 8은 본 발명의 일 실시예에 따른 전자 문서 시스템의 전자 문서함과, 사용자 인증이 완료된 사용자의 안면을 디스플레이하는 화면이다.1 is a screen showing a conventional authentication method for authenticating a user by inputting an ID and a password.
2 is a screen of a conventional biometric authentication system in which a user's face recognition is performed for user authentication.
FIG. 3 is a screen for completing user authentication by simultaneously performing face recognition and food recognition of a user according to an embodiment of the present invention.
FIG. 4 is a (mobile) screen for recognizing a user's facial expression and a facial expression sequence in addition to a user's face recognition according to an embodiment of the present invention, and performing user authentication.
FIG. 5 is a (mobile) screen for recognizing a hand gesture and a gesture sequence of a user in addition to a face recognition of a user and performing user authentication according to an embodiment of the present invention.
6 is a block diagram illustrating a main configuration according to a preferred embodiment of the present invention.
FIG. 7 is a block diagram illustrating an image recognition unit and its sub-structures according to a preferred embodiment of the present invention.
FIG. 8 is a screen for displaying an electronic document of an electronic document system according to an embodiment of the present invention and a face of a user who has completed user authentication.
본 발명에 따른 다중 생체 인증을 통한 모바일 전자 문서 시스템은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 기술적 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. The mobile electronic document system through multiple biometric authentication according to the present invention can make various changes and have various embodiments, and specific embodiments will be illustrated in the drawings and described in detail. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.
이하에서는 도면을 참조하여, 본 발명에 따른 다중 생체 인증을 통한 모바일 전자 문서 시스템을 상세히 설명하고자 한다.Hereinafter, a mobile electronic document system using multiple biometric authentication according to the present invention will be described in detail with reference to the drawings.
도 3은 본 발명의 일 실시예에 따라, 사용자의 얼굴 인식과 음식 인식이 동시에 진행되어 사용자 인증을 완료하는 (모바일) 화면이다. 도 4는 본 발명의 일 실시예에 따라, 사용자의 얼굴 인식에 더하여 사용자의 표정과 표정 순서까지 인식하여, 사용자 인증을 진행하는 (모바일) 화면이다. 도 5는 본 발명의 일 실시예에 따라, 사용자의 얼굴 인식에 더하여 사용자의 손 제스추어와 제스추어 순서까지 인식하여, 사용자 인증을 진행하는 (모바일) 화면이다. 도 6은 본 발명의 바람직한 실시예에 따라, 주요 구성을 도시한 블록도이다. 도 7은 본 발명의 바람직한 실시예에 따른, 영상 인식부와 그 하위 구성들을 도시한 블록도이다. 도 8은 본 발명의 일 실시예에 따른 전자 문서 시스템의 전자 문서함과, 사용자 인증이 완료된 사용자의 안면을 디스플레이하는 화면이다.FIG. 3 is a screen (mobile) screen in which user's face recognition and food recognition proceed simultaneously to complete user authentication according to an embodiment of the present invention. FIG. 4 is a (mobile) screen for recognizing a user's facial expression and a facial expression sequence in addition to a user's face recognition according to an embodiment of the present invention, and performing user authentication. FIG. 5 is a (mobile) screen for recognizing a hand gesture and a gesture sequence of a user in addition to a face recognition of a user and performing user authentication according to an embodiment of the present invention. 6 is a block diagram illustrating a main configuration according to a preferred embodiment of the present invention. FIG. 7 is a block diagram illustrating an image recognition unit and its sub-structures according to a preferred embodiment of the present invention. FIG. 8 is a screen for displaying an electronic document of an electronic document system according to an embodiment of the present invention and a face of a user who has completed user authentication.
본 발명에 따른, 다중 생체 인증을 통한 모바일 전자 문서 시스템(100)은 모바일 단말기를 통해 사용자에게 특정 시스템 혹은 특정 문서 등에 대한 접근 권한을 부여하기 위한 모바일 생체 인증 시스템으로서, 도 6에 도시된 바와 같이, 영상 인식부(110); 음성 인식부(120); 저장부(130); 매칭부(103); 및 중앙 처리 유닛(101)을 포함한다.The mobile
먼저, 본 발명에 있어서, 모바일 단말기는 유무선의 데이터 통신이 가능하며, 내부에 중앙 처리 장치 예컨대, CPU가 장착되고, 내부에 일정한 용량의 데이터 저장소가 있어야 한다. 아울러, 모바일 단말기의 특성상 배터리가 내장되고, 데이터 저장소 내에는 애플리케이션 등의 프로그램을 설치하여 구동할 수 있어야 함은 물론이다.First, in the present invention, a mobile terminal is capable of wired / wireless data communication, a central processing unit such as a CPU is installed therein, and a data storage unit with a predetermined capacity is provided therein. It is needless to say that the battery must be built in the mobile terminal, and a program such as an application must be installed in the data storage to be able to be driven.
본 발명의 모바일 단말기는 기존의 3G 방식의 데이터 통신과, LTE-Advanced 와 같은 최신 사용화된 데이터 통신은 물론 향후 개발되어 상용화될 수 있는 차세대 이동 통신 기술도 아우를 수 있음은 물론이며, 데이터 통신 방식에 의해 본 발명에서 언급하는 모바일 단말기의 범위게 제한되어서는 안될 것이다.The mobile terminal of the present invention not only includes data communication of the existing 3G method, data communication of the latest usage such as LTE-Advanced, but also the next generation mobile communication technology that can be developed and commercialized in the future, The range of the mobile terminal referred to in the present invention should not be limited.
본 발명의 모바일 단말기는 후방뿐만 아니라 전방 즉, 사용자를 향하여 카메라가 설치되는 것이 바람직하며, 전방 카메라 역시 사용자의 안면의 인식력이 양호하도록 하기 위하여, 300만 화소 이상의 해상도를 가지도록 하는 것이 바람직하다. Preferably, the mobile terminal of the present invention is provided with a camera not only to the rear but also to the user, that is, toward the user. Also, the front camera preferably has a resolution of more than 3,000,000 pixels in order to improve the recognition performance of the user's face.
본 발명의 모바일 단말기는 사용자의 음성을 인식해야 하는바, 자체적으로 마이크로폰(microphone)을 갖추고 있는 것이 바람직하다.The mobile terminal of the present invention needs to recognize the voice of the user, and it is preferable that the mobile terminal itself has a microphone.
본 발명의 모바일 단말기는 최근 널리 보급된 스마트폰이나 테블릿 PC, 랩탑(laptop) 컴퓨터 등일 수 있다. The mobile terminal of the present invention can be a smart phone, a tablet PC, a laptop computer, etc., which have become popular recently.
먼저, 본 발명의 영상 인식부(110)의 경우, 모바일 단말기에 장착된 카메라를 이용하여, 사용자의 생체 영상 정보를 인식하여 수집하는 구성이다.First, in the case of the
여기서 사용자의 생체 영상 정보는 도 3에 도시된 바와 같이, 사용자의 안면(face)이 대표적일 수 있으며, 사용자가 모바일 단말기의 전방 카메라를 이용하여 자신의 얼굴을 모바일 단말기에 노출시키면, 영상 인식부(110)는 노출된 사람의 얼굴(11)을 인식하여 수집하게 된다.3, the face of the user may be representative. When the user exposes his or her face to the mobile terminal using the forward camera of the mobile terminal, (110) recognizes and collects the face (11) of the exposed person.
상술한 바와 같이, 영상 인식부(110)는 모바일 단말기의 카메라를 활용해야 하는바, 모바일 단말기의 설정에서 카메라에 접근할 수 있도록 임의 설정될 수 있어야 함은 물론이다.As described above, the
도 3에 도시된 바와 같이, 영상 인식부(110)의 생체 영상 정보의 인식과 더불어, 사용자의 생체 음성 정보 즉, 육성을 인식하여 사용자의 인증을 수행하는바 본 발명의 음성 인식부(120)는 모바일 단말기에 장착된 마이크로폰을 이용하여 사용자의 생체 음성 정보를 인식하고 수집하게 된다.3, in addition to recognition of the biometric image information of the
시스템이나 문서 등에 접근 권한이 부여되는 사용자의 경우, 이들 생체 영상 정보와 생체 음성 정보는 저장부(130)에 저장되고 관리된다.In the case of a user who is granted access authority to a system or a document, the biometric image information and the biometric voice information are stored and managed in the
향후, 사용자가 모바일 단말기를 이용하여, 영상 인식부(110)를 통해 자신의 생체 영상 정보 예컨대 안면을 인식시키고, 이와 동시 혹은 순차적으로 자신의 생체 음성 정보 즉, 육성 메시지를 인식시키는 경우, 미리 저장된 접근 권한이 부여된 사용자들의 생체 영상 정보와 생체 음성 정보와 각각 매칭하게 되는데, 이러한 기능은 도 6에 도시된 바와 같이, 매칭부(103)가 수행하게 된다.In the future, when the user recognizes his or her biometric image information, such as the face, through the
매칭부(103)가 매칭한 후, 현재 사용자가 인식시킨 생체 영상 정보와 생체 음성 정보가 저장부(130)에 저장된 것들과 매칭되는 경우, 이러한 사용자는 사용자 인증이 완료되며 소정의 시스템이나 문서 등에 대한 접근 권한이 부여된다.If the biometric image information and the biometric voice information recognized by the current user after matching by the
상술한 바와 같이, 영상 인식부(110)는 사용자의 생체 정보 즉, 사용자의 안면(face)을 인식하도록 하는데, 이를 위하여 영상 인식부(110)는 사용자의 얼굴 영상 정보를 취득하도록 하는 안면 인식부(111)를 포함할 수 있다.As described above, the
안면 인식부(111)는 도 3에 도시된 바와 같이, 인식되는 영상 정보로부터 사람의 안면에 해당하는 것으로 판단되는 부분을 가중치를 부여하게 되고, 이러한 부분을 캡처하게 된다.As shown in FIG. 3, the
안면 인식부(111)는 사람의 안면의 특징적인 정보를 미리 가지고 있다. 사람의 안면의 경우, 상부와 상부의 양측에는 블랙, 브라운, 골드 등으로 배치된다. 물론 이 경우, 탈모와 대머리와 같은 경우를 감안하며, 절대적인 특징으로 인식하지는 않으며, 부수적인 기준으로 설정하여 사람의 안면을 인식한다. 그리고, 사람의 안면은 상하를 기준으로 중앙부의 양측에 두 점 즉, 사람의 눈이 배치되며, 이러한 두 점의 사이에는 세로의 수직선 즉, 코를 인식하게 되며, 이러한 세로 수직선의 하부에는 수평하게 놓인 붉은색의 가로선 즉, 입술을 인식하게 되는바, 이러한 통계적인 특징들을 구비하여 사람의 안면을 인식하게 되는 것이다. 이러한 통계적인 특징은 사람의 피부색이나 연령에 따라 상이할 수 있으므로, 인식력을 높이기 위하여 보다 많은 통계 데이터를 수집하는 것이 바람직하다.The
안면 인식부(111)는 사용자의 생체 영상 정보에서 양 눈을 2점 포인트로 설정하고, 이러한 2점 포인트가 가로로 수평하게 놓이도록 사용자의 인식된 얼굴 영상을 회전시키는 기능을 수행한다. 이후 이렇게 양 눈이 수평 즉, 사용자 얼굴을 곧게 위치시킨 후, 저장하고, 현재 실시간 인식된 생체 영상 정보와 저장된 정보와의 대조를 시켜, 사용자의 생체 영상 정보를 통한 인증 성능을 높이도록 한다.The
안면 인식부(111)는 사용자의 얼굴 영상 정보를 한 장 즉, 하나의 프레임만을 획득하는 것은 아니며, 초당 미리 결정된 프레임 개수만큼 획득한다. 이렇게 미리 결정된 프레임 개수는 임의로 설정 및 변경할 수 있는데, 가급적 3개의 프레임 내지 5개 등으로 설정하는 것이 바람직하다. 이는 과도한 프레임의 수를 획득하면, 사용자의 얼굴 인식력은 좋아질 수 있으나, 모바일 단말기의 동작이 느려질 수 있으며, 모바일 단말기의 배터리 전력 낭비가 증가할 수 있기 때문이다.The
안면 인식부(111)는 획득한 프레임마다, 픽셀간 평균 그레이 레벨 편차를 각각 측정하게 되는데, 이들 프레임들 중 픽셀간 평균 그레이 레벨 편차가 가장 큰 프레임 즉, 가장 선명도가 뛰어난 것으로 인식되는 것을 사용자의 얼굴 영상 정보로 채택하게 된다. 이러한 작업은 초기에 접근 권한을 부여 받은 사용자의 등록시에도 이루어지며, 향후 실시간으로 사용자의 얼굴을 인식하는 경우에도 매번 수행될 수도 있다.The
영상 인식부(110)는 사용자의 단순한 안면 인식뿐만 아니라, 사용자의 복수 개의 표정에 대한 정보도 취득하여 이를 사용자의 인증에 활용할 수도 있다.The
영상 인식부(110)는 표정 인식부(112)를 포함할 수 있는데, 표정 인식부(112)는 사용자의 복수 개의 얼굴 표정 영상 정보를 취득하게 된다.The
이러한 복수 개의 얼굴 표정 영상 정보는 반드시 특정 표정이어야 하는 것은 아니며, 사용자가 임의로 아무 표정이나 인식시키고 저장한 후, 나중에 동일한 표정만 지으면, 표정 인식부(112)는 기 저장된 표정들과 매칭시켜, 사용자 인증이 수행되는 것이다. The facial
사용자는 도 4에 도시된 바와 같이, 자기 마음대로 윙크하는 모습, 입술을 내민 모습, 혀를 내민 모습 등으로 자신의 인증을 위한 표정을 임의로 지을 수 있는데, 제3자는 접근 권한을 부여받은 사용자가 어떤 표정을 지어서 인증을 수행하는지 알 수 없기 때문에, 표정이 어떠한 것인지 여부 역시 인증을 위한 중요 정보가 될 수 있다. As shown in FIG. 4, the user can arbitrarily construct a facial expression for his or her own authentication with his / her own winking, lips and tongue. Since it is not known whether the authentication is carried out by making a facial expression, whether the facial expression is also can be important information for authentication.
아울러, 이러한 표정의 순서까지도 사용자 인증을 위한 또 다른 정보에 해당할 수 있다. 도 4를 예로 들면, 사용자는 윙크 → 입술 내밀기 → 혀 내밀기의 순서로 표정을 지었으나, 제3자가 접근 권한을 부여받은 사용자가 이러한 표정을 지었다는 것을 알지라도, 이들 표정의 순서까지 똑같이 따라하지 않는 경우에는 사용자 인증이 이루어지지 않게 된다.In addition, the order of these facial expressions may correspond to other information for user authentication. For example, in FIG. 4, the user has a facial expression in the order of "winks" → "lip retraction" → "tongue retraction", but even if the user who has been granted the access authority knows that the facial expression is created, The user authentication is not performed.
이에 따라, 표정 인식부(112)는 복수 개의 얼굴 표정 영상 정보를 취득한 시각 순서에 따라 소팅(sorting)하도록 하게 되며, 이렇게 소팅된 순서에 따라 사용자가 표정을 지어야 동일한 사람으로 인식하여 사용자 인증을 완료하게 된다.Accordingly, the facial
표정 인식부(112)의 이러한 기능에 상응하여, 저장부(130)는 표정 인식부(112)로부터 시각의 순서에 따라 소팅된 복수 개의 얼굴 표정 영상 정보를 저장하게 된다.The
향 후, 매칭부(103)는 저장부(130)에 저장된, 시각의 순서에 따라 소팅된 복수 개의 얼굴 표정 영상 정보와 표정 인식부(112)가 현재 취득한 복수 개의 얼굴 표정 영상 정보를 각각 순서대로 비교하여 매칭 여부를 판단하고, 이러한 매칭 여부에 대한 정보를 중앙 처리 유닛(101)으로 전송하면, 중앙 처리 유닛(101)은 현재 표정을 인식시킨 사용자의 접근 권한 부여 여부를 결정하게 된다.The
영상 인식부(110)는 제스추어 인식부(113)를 포함할 수 있는데, 제스추어 인식부(113)는 사용자의 복수 개의 손 모양에 대한 영상 정보를 인식하게 된다. The
제스추어 인식부(113)는 도 5에 도시된 바와 같이, 사용자가 임의로 인식시킨 V자 손 모양, C자 손 모양, Peace를 상징하는 손 모양 등을 인식시킬 수 있는데, 이러한 손 모양은 반드시 정해지는 것은 아니며 사용자가 자신 취향대로 인식시켜, 자기만의 고유 정보로 활용할 수 있다. 이러한 손 모양은 손모양 그 자체뿐만 아니라, 복수 개의 손 모양의 순서 역시 사용자 인증을 위한 정보에 해당할 수 있다. As shown in FIG. 5, the
제스추어 인식부(113)는 복수 개의 손 모양 정보를 시각의 순서에 따라 소팅하며, 이에 저장부(130)는 제스추어 인식부(113)로부터 시각의 순서에 따라 소팅된 복수 개의 손 모양 정보를 저장하며, 이후 매칭부(103)는 저장부(130)에 저장된 시각의 순서에 따라 소팅된 복수 개의 손 모양 영상 정보와 제스추어 인식부(113)에 의해 취득된 복수 개의 손 모양 영상 정보를 각각 순서대로 비교하여 매칭 여부를 판단하며, 매칭 여부를 중앙 처리 유닛(101)으로 전송하여 사용자 인증을 수행하게 된다.The
본 발명은 설정부(102)를 더 포함할 수 있는데, 상술한 바와 같이, 사용자의 표정의 시간적 순서와 제스추어의 시간적 순서는 사용자 인증에 유용한 수단일 수 있는데, 이러한 정보는 본 발명의 설정부(102)에 의해 임의 변경 가능하다. The present invention may further include a
이 경우, 매칭부(103)는 설정부(102)에 의해 변경된 소팅 순서 즉, 기준에 따라 매칭 여부를 판단할 수 있다.In this case, the
본 발명은 상술한 바와 같이, 그리고 도 3에 도시된 바와 같이, 사용자의 생체 영상 정보뿐만 아니라 사용자의 생체 음성 정보도 사용자 인증을 위해 활용한다.As described above and as shown in FIG. 3, the present invention utilizes biometric information of a user as well as bio-voice information of a user for user authentication.
이에 따라, 본 발명의 음성 인식부(120)는 사용자의 음성 정보를 취득하여, 음성 정보로부터 메시지 정보와 음성 정보가 가지는 주파수 대역 정보를 각각 추출한다. 이후, 이러한 메시지 정보와 주파수 대역 정보를 저장부에 저장하게 되며, 향후 사용자가 입력하는 육성의 메시지와 주파수 대역 정보를 비교하여, 사용자 인증이 완료되는 것이다.Accordingly, the
이러한 생체 음성 정보는 사용자가 가지는 고유한 음성 주파수 대역 역시 사용자 인증을 위한 고유 정보에 해당하지만, 사용자가 입력한 메시지 정보 역시 인증이 허용되어야 할 사용자만이 알고 있는 정보로서 사용자 인증을 위한 정보로 활용될 수 있다.Although the unique voice frequency band of the user corresponds to the unique information for user authentication, the user information inputted by the user is information that is known only to the user who should be permitted to be authenticated. .
이에 본 발명의 매칭부(103)는 저장부(130)에 저장된 메시지 정보와 주파수 대역 정보를 음성 인식부(120)가 취득한 음성 정보의 메시지 정보와 주파수 대역 정보와 각각 비교하여 매칭 여부를 판단하고, 매칭 여부를 중앙 처리 유닛(101)으로 전송하게 된다.Accordingly, the
도 7에 도시된 바와 같이, 본 발명의 저장부(130)는 사용자의 얼굴 영상 정보를 저장하는 안면 저장부(131); 사용자의 복수 개의 얼굴 표정 영상 정보를 저장하는 표정 저장부(132); 및 사용자의 복수 개의 손 모양 영상 정보를 저장하는 제스추어 저장부(133)를 포함할 수 있으며, 저장부(130)는 이들 안면 저장부(131), 표정 저장부(132) 및 제스추어 저장부(133)의 저장공간을 물리적으로 상호 분리시켜, 해킹시 발생할 수 있는 정보의 유출을 최소화한다. 따라서, 어느 한 물리적인 공간이 해킹으로 인해 정보가 유출되는 경우라도 타 영역의 정보는 유출되지 않았는바, 다중의 생체 인증 정보는 제3자에게 노출되지 않도록 하게 된다.As shown in FIG. 7, the
아울러, 중앙 처리 유닛(101)은 사용자에게 접근 권한을 부여한 이후에도, 사용자의 생체 영상 정보 또는 생체 음성 정보를 소정의 시간 주기마다 모니터링하여, 사용자의 접근 권한 부여 여부를 소정의 시간 주기마다 재결정할 수 있다.In addition, the
중앙 처리 유닛은 소정의 시간 주기마다 모니터링되는 사용자의 생체 영상 정보 또는 생체 음성 정보를 전자 문서함(20)의 일측에 디스플레이(도 8 참조)할 수 있다.The central processing unit may display biometric image information or bio-voice information of a user monitored at predetermined time intervals on one side of the electronic document storage 20 (see FIG. 8).
본 발명의 권리 범위는 특허청구범위에 기재된 사항에 의해 결정되며, 특허 청구범위에 사용된 괄호는 선택적 한정을 위해 기재된 것이 아니라, 명확한 구성요소를 위해 사용되었으며, 괄호 내의 기재도 필수적 구성요소로 해석되어야 한다.The scope of the present invention is defined by the claims, the parentheses used in the claims are not used for optional limitation but are used for the definite components and the description in parentheses is also interpreted as an essential component .
10: 사용자
11: 사용자의 얼굴
12: 사용자의 음성
13: 사용자의 제스추어
20: 전자 문서 시스템의 전자 문서함
100: 본 발명에 따른, 다중 생체 인증을 통한 모바일 전자 문서 시스템
101: 중앙 처리 유닛
102: 설정부
103: 매칭부
110: 영상 인식부
111: 안면 인식부
112: 표정 인식부
113: 제스추어 인식부
120: 음성 인식부
130: 저장부
131: 안면 저장부
132: 표정 저장부
133: 제스추어 저장부10: User 11: User's face
12: user's voice 13: user's gesture
20: Electronic Document in Electronic Document System
100: a mobile electronic document system through multiple biometric authentication according to the present invention
101: Central processing unit 102:
103: matching unit 110: image recognition unit
111: facial recognition unit 112: facial expression recognition unit
113: gesture recognition unit 120: voice recognition unit
130: storage unit 131: face storage unit
132: facial expression storage unit 133: gesture storage unit
Claims (20)
상기 모바일 단말기에 장착된 카메라를 이용하여, 상기 사용자의 생체 영상 정보를 인식하는 영상 인식부;
상기 모바일 단말기에 장착된 마이크로폰을 이용하여, 상기 사용자의 생체 음성 정보를 인식하는 음성 인식부;
상기 생체 영상 정보와 상기 생체 음성 정보를 저장하고 관리하는 저장부;
상기 영상 인식부가 인식한 상기 사용자의 상기 생체 영상 정보와 상기 음성 인식부가 인식한 상기 사용자의 상기 생체 음성 정보를 상기 저장부에 미리 저장된 상기 사용자의 생체 영상 정보와 생체 음성 정보와 각각 비교하여 매칭되는지 판단하는 매칭부; 및
상기 매칭부로부터 상기 영상 인식부가 인식한 상기 사용자의 상기 생체 영상 정보와 상기 음성 인식부가 인식한 상기 사용자의 상기 생체 음성 정보를 상기 저장부에 미리 저장된 생체 영상 정보와 생체 음성 정보가 각각 매칭되는 경우, 상기 사용자에게 전자 문서함으로의 접근 권한을 부여하는 중앙 처리 유닛을 포함하는 것을 특징으로 하는 모바일 전자 문서 시스템.
In a mobile electronic document system using multiple biometric authentication through a mobile terminal,
An image recognition unit for recognizing the user's biometric image information using a camera mounted on the mobile terminal;
A voice recognition unit for recognizing the user's bio-voice information using a microphone mounted on the mobile terminal;
A storage unit for storing and managing the biometric image information and the biometric voice information;
The biometric image information of the user recognized by the image recognition unit and the biometric voice information of the user recognized by the voice recognition unit are compared with the biometric image information of the user and the biometric voice information stored in advance in the storage unit, A matching unit for judging And
When the biometric image information of the user recognized by the image recognition unit and the biometric voice information of the user recognized by the voice recognition unit recognized from the matching unit match the biometric image information and the biometric voice information stored in advance in the storage unit And a central processing unit for granting the user access to the electronic document.
상기 사용자의 얼굴 영상 정보를 취득하는 안면 인식부를 포함하는 것을 특징으로 하는 모바일 전자 문서 시스템.
2. The image processing apparatus according to claim 1,
And a facial recognition unit for acquiring facial image information of the user.
상기 사용자의 양 눈을 2점 포인트로 설정하며, 상기 2점 포인트를 수평하게 놓이도록, 상기 사용자의 얼굴 영상을 회전시키는 것을 특징으로 하는 모바일 전자 문서 시스템.
The facial recognition apparatus according to claim 2,
Sets the two eyes of the user to two points and rotates the face image of the user so that the two points are placed horizontally.
상기 사용자의 얼굴 영상 정보를 초당 미리 결정된 프레임 개수만큼 획득하고, 프레임마다 픽셀간의 평균 그레이 레벨의 편차를 측정하며, 프레임들 중 픽셀간 평균 그레이 레벨 편차가 가장 큰 프레임을 상기 사용자의 얼굴 영상 정보로 채택하는 것을 특징으로 하는 모바일 전자 문서 시스템.
The facial recognition apparatus according to claim 2,
The method includes obtaining a face image information of the user by a predetermined number of frames per second, measuring a deviation of an average gray level between pixels for each frame, and determining a frame having a largest average gray level deviation among frames as the face image information of the user Wherein the mobile electronic document system is a mobile electronic document system.
상기 사용자의 복수 개의 얼굴 표정 영상 정보를 취득하는 표정 인식부를 포함하는 것을 특징으로 하는 모바일 전자 문서 시스템.
2. The image processing apparatus according to claim 1,
And a facial expression recognition unit for acquiring a plurality of facial expression image information of the user.
상기 복수 개의 얼굴 표정 영상 정보를 취득된 시각의 순서에 따라 소팅하는 것을 특징으로 하는 모바일 전자 문서 시스템.
6. The apparatus according to claim 5,
Wherein the plurality of facial expression image information are sorted according to the acquired time sequence.
상기 표정 인식부로부터, 시각의 순서에 따라 소팅된 상기 복수 개의 얼굴 표정 영상 정보를 저장하는 것을 특징으로 하는 모바일 전자 문서 시스템.
7. The apparatus according to claim 6,
And stores the plurality of facial expression image information sorted by the time sequence from the facial expression recognition unit.
상기 저장부에 저장된, 시각의 순서에 따라 소팅된 상기 복수 개의 얼굴 표정 영상 정보와 상기 표정 인식부에 의해 취득된 복수 개의 얼굴 표정 영상 정보를 각각 순서대로 비교하여 매칭 여부를 판단하며, 상기 매칭 여부를 상기 중앙 처리 유닛으로 전송하는 것을 특징으로 하는 모바일 전자 문서 시스템.
8. The apparatus of claim 7,
Wherein the plurality of facial expression image information sorted in accordance with the order of time stored in the storage unit and the plurality of facial expression image information acquired by the facial expression recognition unit are sequentially compared to judge whether they are matched or not, To the central processing unit.
상기 사용자의 복수 개의 손 모양 영상 정보를 인식하는 제스추어 인식부를 더 포함하는 것을 특징으로 하는 모바일 전자 문서 시스템.
[3] The apparatus of claim 2,
Further comprising a gesture recognition unit for recognizing a plurality of hand image information of the user.
상기 복수 개의 손 모양 영상 정보를 시각의 순서에 따라 소팅하는 것을 특징으로 하는 모바일 전자 문서 시스템.
The apparatus of claim 9, wherein the gesture recognition unit comprises:
And sorting the plurality of hand-shaped image information according to the order of time.
상기 제스추어 인식부로부터, 시각의 순서에 따라 소팅된 상기 복수 개의 손 모양 영상 정보를 저장하는 것을 특징으로 하는 모바일 전자 문서 시스템.
11. The apparatus according to claim 10,
And stores the plurality of hand-shaped image information sorted by the time sequence from the gesture recognition unit.
상기 저장부에 저장된, 시각의 순서에 따라 소팅된 상기 복수 개의 손 모양 영상 정보와 상기 제스추어 인식부에 의해 취득된 복수 개의 복수 개의 손 모양 영상 정보를 각각 순서대로 비교하여 매칭 여부를 판단하며, 상기 매칭 여부를 상기 중앙 처리 유닛으로 전송하는 것을 특징으로 하는 모바일 전자 문서 시스템.
12. The apparatus of claim 11,
Wherein the controller compares the plurality of hand-shaped image information sorted in the order of time stored in the storage unit with a plurality of hand-shaped image information acquired by the gesture recognition unit, And transmits the matching status to the central processing unit.
상기 사용자의 음성 정보를 취득하여, 상기 음성 정보의 메시지 정보를 추출하고, 상기 음성 정보가 가지는 주파수 대역 정보를 추출하며, 상기 메시지 정보와 상기 주파수 대역 정보를 상기 저장부에 저장하는 것을 특징으로 하는 모바일 전자 문서 시스템.
The speech recognition apparatus according to claim 1,
Extracting the message information of the voice information, extracting frequency band information of the voice information, and storing the message information and the frequency band information in the storage unit Mobile electronic document system.
상기 저장부에 저장된 상기 메시지 정보와 상기 주파수 대역 정보를 상기 음성 인식부가 취득한 음성 정보의 메시지 정보와 주파수 대역 정보와 각각 비교하여 매칭 여부를 판단하고, 상기 매칭 여부를 상기 중앙 처리 유닛으로 전송하는 것을 특징으로 하는 모바일 전자 문서 시스템.
14. The apparatus of claim 13,
The message information and the frequency band information stored in the storage unit are compared with the message information and the frequency band information of the voice information acquired by the voice recognition unit to determine whether they are matched or not and the matching is transmitted to the central processing unit A mobile electronic document system characterized by.
소팅하는 순서를 임의로 변경할 수 있도록 하는 설정부를 더 포함하는 것을 특징으로 하는 모바일 전자 문서 시스템.
The mobile biometric authentication system according to claim 8 or 12,
And a setting unit for arbitrarily changing the order of sorting.
상기 설정부에 의해 변경된 소팅 순서에 따라, 상기 매칭 여부를 판단하는 것을 특징으로 하는 모바일 전자 문서 시스템.
16. The apparatus of claim 15,
Wherein the determining unit determines whether the matching is performed according to a sorting order changed by the setting unit.
상기 사용자의 얼굴 영상 정보를 저장하는 안면 저장부;
상기 사용자의 복수 개의 얼굴 표정 영상 정보를 저장하는 표정 저장부; 및
상기 사용자의 복수 개의 손 모양 영상 정보를 저장하는 제스추어 저장부를 포함하는 것을 특징으로 하는 모바일 전자 문서 시스템.
10. The apparatus according to any one of claims 2, 5, and 9,
A face storage unit for storing face image information of the user;
A facial expression storage unit for storing a plurality of facial expression image information of the user; And
And a gesture storage unit for storing a plurality of hand image information of the user.
상기 안면 저장부, 상기 표정 저장부 및 상기 제스추어 저장부의 저장공간을 물리적으로 상호 분리시키는 것을 특징으로 하는 모바일 전자 문서 시스템.
18. The apparatus according to claim 17,
Wherein the facial storage unit, the facial expression storage unit, and the gesture storage unit are physically separated from each other.
상기 사용자에게 접근 권한을 부여한 이후,
상기 사용자의 생체 영상 정보 또는 상기 생체 음성 정보를 소정의 시간 주기 마다 모니터링하여, 상기 사용자의 접근 권한 부여 여부를 상기 소정의 시간 주기마다 재결정하는 것을 특징으로 하는 모바일 전자 문서 시스템.
The apparatus according to claim 1,
After granting access to the user,
The biometric image information or the biometric voice information of the user is monitored at predetermined time intervals to determine whether or not the user is granted access authority at every predetermined time period.
상기 소정의 시간 주기마다 모니터링되는 상기 사용자의 생체 영상 정보 또는 생체 음성 정보를 상기 전자 문서함의 일측에 디스플레이하는 것을 특징으로 하는 모바일 전자 문서 시스템.
20. The apparatus according to claim 19,
Wherein the biometric image information or the biometric voice information of the user monitored at the predetermined time period is displayed on one side of the electronic document box.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150088908A KR101710478B1 (en) | 2015-06-23 | 2015-06-23 | Mobile electric document system of multiple biometric |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150088908A KR101710478B1 (en) | 2015-06-23 | 2015-06-23 | Mobile electric document system of multiple biometric |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20170000128A true KR20170000128A (en) | 2017-01-02 |
| KR101710478B1 KR101710478B1 (en) | 2017-02-27 |
Family
ID=57810507
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150088908A KR101710478B1 (en) | 2015-06-23 | 2015-06-23 | Mobile electric document system of multiple biometric |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101710478B1 (en) |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| USD800130S1 (en) | 2016-05-27 | 2017-10-17 | Belkin International, Inc. | Overlay |
| USD800129S1 (en) | 2016-05-27 | 2017-10-17 | Belkin International, Inc. | Overlay |
| USD800128S1 (en) | 2016-05-27 | 2017-10-17 | Belkin International, Inc. | Overlay |
| USD800127S1 (en) | 2016-05-27 | 2017-10-17 | Belkin International, Inc. | Overlay |
| USD800131S1 (en) | 2016-05-27 | 2017-10-17 | Belkin International, Inc. | Overlay |
| USD800126S1 (en) | 2016-05-27 | 2017-10-17 | Belkin International, Inc. | Overlay |
| USD802594S1 (en) | 2016-05-27 | 2017-11-14 | Belkin International, Inc. | Overlay |
| USD811404S1 (en) | 2016-05-27 | 2018-02-27 | Belkin International, Inc. | Overlay |
| USD811408S1 (en) | 2016-05-27 | 2018-02-27 | Belkin International, Inc. | Overlay |
| USD811406S1 (en) | 2016-05-27 | 2018-02-27 | Belkin International, Inc. | Overlay tray |
| USD811407S1 (en) | 2016-05-27 | 2018-02-27 | Belkin International, Inc. | Overlay |
| USD811405S1 (en) | 2016-05-27 | 2018-02-27 | Belkin International, Inc. | Overlay |
| USD812061S1 (en) | 2016-05-27 | 2018-03-06 | Belkin International, Inc. | Overlay tray |
| USD812062S1 (en) | 2016-09-15 | 2018-03-06 | Belkin International, Inc. | Overlay tray |
| USD812063S1 (en) | 2013-12-20 | 2018-03-06 | Belkin International, Inc. | Overlay |
| USD817945S1 (en) | 2016-05-27 | 2018-05-15 | Belkin International, Inc. | Overlay |
| CN108737649A (en) * | 2018-05-10 | 2018-11-02 | Oppo广东移动通信有限公司 | A kind of method, apparatus and computer storage media sending file |
| WO2019088338A1 (en) * | 2017-10-31 | 2019-05-09 | 엘지전자 주식회사 | Electronic device and control method therefor |
| CN112639871A (en) * | 2018-10-03 | 2021-04-09 | 株式会社日立制作所 | Biometric authentication system, biometric authentication method, and program |
| US12005628B2 (en) | 2020-02-19 | 2024-06-11 | Belkin International, Inc. | Overlay applicator machines and methods of providing the same |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20040082674A (en) | 2003-03-20 | 2004-09-30 | 주식회사 비즈모델라인 | System and Method for Authenticating a Living Body Doubly |
| KR20080036446A (en) | 2006-10-23 | 2008-04-28 | 에스케이 텔레콤주식회사 | Method and system for providing user authorization service using bio information and mobile communication terminal for transmitting authorization information using bio information |
| JP2011215942A (en) * | 2010-03-31 | 2011-10-27 | Nec Personal Products Co Ltd | Apparatus, system and method for user authentication, and program |
| KR20110129789A (en) | 2010-05-26 | 2011-12-02 | 수원대학교산학협력단 | A security system and a method using multiplex biometrics of face and body |
| KR20140034088A (en) * | 2012-09-11 | 2014-03-19 | 소니 주식회사 | Gesture-and expression-based authentication |
| KR20140063014A (en) | 2012-11-16 | 2014-05-27 | 사단법인 금융결제원 | Method for substituting password of certificate by using biometrics |
| KR20140075756A (en) * | 2011-09-28 | 2014-06-19 | 구글 인코포레이티드 | Login to a computing device based on facial recognition |
-
2015
- 2015-06-23 KR KR1020150088908A patent/KR101710478B1/en active IP Right Grant
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20040082674A (en) | 2003-03-20 | 2004-09-30 | 주식회사 비즈모델라인 | System and Method for Authenticating a Living Body Doubly |
| KR20080036446A (en) | 2006-10-23 | 2008-04-28 | 에스케이 텔레콤주식회사 | Method and system for providing user authorization service using bio information and mobile communication terminal for transmitting authorization information using bio information |
| JP2011215942A (en) * | 2010-03-31 | 2011-10-27 | Nec Personal Products Co Ltd | Apparatus, system and method for user authentication, and program |
| KR20110129789A (en) | 2010-05-26 | 2011-12-02 | 수원대학교산학협력단 | A security system and a method using multiplex biometrics of face and body |
| KR20140075756A (en) * | 2011-09-28 | 2014-06-19 | 구글 인코포레이티드 | Login to a computing device based on facial recognition |
| KR20140034088A (en) * | 2012-09-11 | 2014-03-19 | 소니 주식회사 | Gesture-and expression-based authentication |
| KR20140063014A (en) | 2012-11-16 | 2014-05-27 | 사단법인 금융결제원 | Method for substituting password of certificate by using biometrics |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| USD812063S1 (en) | 2013-12-20 | 2018-03-06 | Belkin International, Inc. | Overlay |
| USD811407S1 (en) | 2016-05-27 | 2018-02-27 | Belkin International, Inc. | Overlay |
| USD800129S1 (en) | 2016-05-27 | 2017-10-17 | Belkin International, Inc. | Overlay |
| USD800127S1 (en) | 2016-05-27 | 2017-10-17 | Belkin International, Inc. | Overlay |
| USD800131S1 (en) | 2016-05-27 | 2017-10-17 | Belkin International, Inc. | Overlay |
| USD800126S1 (en) | 2016-05-27 | 2017-10-17 | Belkin International, Inc. | Overlay |
| USD802594S1 (en) | 2016-05-27 | 2017-11-14 | Belkin International, Inc. | Overlay |
| USD811404S1 (en) | 2016-05-27 | 2018-02-27 | Belkin International, Inc. | Overlay |
| USD811405S1 (en) | 2016-05-27 | 2018-02-27 | Belkin International, Inc. | Overlay |
| USD811406S1 (en) | 2016-05-27 | 2018-02-27 | Belkin International, Inc. | Overlay tray |
| USD800130S1 (en) | 2016-05-27 | 2017-10-17 | Belkin International, Inc. | Overlay |
| USD811408S1 (en) | 2016-05-27 | 2018-02-27 | Belkin International, Inc. | Overlay |
| USD812061S1 (en) | 2016-05-27 | 2018-03-06 | Belkin International, Inc. | Overlay tray |
| USD817945S1 (en) | 2016-05-27 | 2018-05-15 | Belkin International, Inc. | Overlay |
| USD800128S1 (en) | 2016-05-27 | 2017-10-17 | Belkin International, Inc. | Overlay |
| USD812062S1 (en) | 2016-09-15 | 2018-03-06 | Belkin International, Inc. | Overlay tray |
| WO2019088338A1 (en) * | 2017-10-31 | 2019-05-09 | 엘지전자 주식회사 | Electronic device and control method therefor |
| US11734400B2 (en) | 2017-10-31 | 2023-08-22 | Lg Electronics Inc. | Electronic device and control method therefor |
| CN108737649A (en) * | 2018-05-10 | 2018-11-02 | Oppo广东移动通信有限公司 | A kind of method, apparatus and computer storage media sending file |
| CN112639871A (en) * | 2018-10-03 | 2021-04-09 | 株式会社日立制作所 | Biometric authentication system, biometric authentication method, and program |
| US12005628B2 (en) | 2020-02-19 | 2024-06-11 | Belkin International, Inc. | Overlay applicator machines and methods of providing the same |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101710478B1 (en) | 2017-02-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101710478B1 (en) | Mobile electric document system of multiple biometric | |
| CN107886032B (en) | Terminal device, smart phone, authentication method and system based on face recognition | |
| CN109446981B (en) | Face living body detection and identity authentication method and device | |
| CN107450708B (en) | Unlocking control method and related product | |
| KR101997371B1 (en) | Identity authentication method and apparatus, terminal and server | |
| EP3061023B1 (en) | A method and a system for performing 3d-based identity verification of individuals with mobile devices | |
| Tolosana et al. | BioTouchPass2: Touchscreen password biometrics using time-aligned recurrent neural networks | |
| US10867199B2 (en) | Data update method for face-to-unlock authentication, authentication device, and non-volatile storage medium | |
| US9215233B2 (en) | Server capable of authenticating identity and identity authentication method thereof | |
| KR101430348B1 (en) | Authentication apparatus, control method of authentication apparatus, control program, and recording medium | |
| CN106709303B (en) | Display method and device and intelligent terminal | |
| CN107506629B (en) | Unlocking control method and related product | |
| CN107622246B (en) | Face recognition method and related product | |
| US20200082155A1 (en) | Hybrid mode illumination for facial recognition authentication | |
| CN105426730A (en) | Login authentication processing method and device as well as terminal equipment | |
| KR20120139100A (en) | Apparatus and method for security management using face recognition | |
| CN109544384A (en) | Subsidy distribution method, device, terminal, storage medium based on bio-identification | |
| CN109389279A (en) | Insurance sales link closes rule determination method, device, equipment and storage medium | |
| US20160217565A1 (en) | Health and Fitness Monitoring via Long-Term Temporal Analysis of Biometric Data | |
| US10547610B1 (en) | Age adapted biometric authentication | |
| CN109254661A (en) | Image display method, device, storage medium and electronic equipment | |
| CN110826410B (en) | Face recognition method and device | |
| US20170061202A1 (en) | Human identity verification via automated analysis of facial action coding system features | |
| CN111695509A (en) | Identity authentication method, identity authentication device, machine readable medium and equipment | |
| KR100795360B1 (en) | A Method Of Face Recognizing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20200310 Year of fee payment: 4 |