KR20140078429A - 지문 인식을 이용한 애플리케이션 실행 방법, 장치 및 컴퓨터 판독 가능 기록 매체 - Google Patents

지문 인식을 이용한 애플리케이션 실행 방법, 장치 및 컴퓨터 판독 가능 기록 매체 Download PDF

Info

Publication number
KR20140078429A
KR20140078429A KR1020120147776A KR20120147776A KR20140078429A KR 20140078429 A KR20140078429 A KR 20140078429A KR 1020120147776 A KR1020120147776 A KR 1020120147776A KR 20120147776 A KR20120147776 A KR 20120147776A KR 20140078429 A KR20140078429 A KR 20140078429A
Authority
KR
South Korea
Prior art keywords
fingerprint
application
screen
executing
recognized
Prior art date
Application number
KR1020120147776A
Other languages
English (en)
Other versions
KR101435482B1 (ko
Inventor
서종철
박정제
주효민
김재한
박준우
임채웅
Original Assignee
크루셜텍 (주)
크루셜소프트 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 크루셜텍 (주), 크루셜소프트 주식회사 filed Critical 크루셜텍 (주)
Priority to KR1020120147776A priority Critical patent/KR101435482B1/ko
Priority to US14/107,879 priority patent/US9207850B2/en
Publication of KR20140078429A publication Critical patent/KR20140078429A/ko
Application granted granted Critical
Publication of KR101435482B1 publication Critical patent/KR101435482B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1335—Combining adjacent partial images (e.g. slices) to create a composite input or reference pattern; Tracking a sweeping finger movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006—Details of the interface to the display terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/06—Authentication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/30—Security of mobile devices; Security of mobile applications
    • H04W12/37—Managing security policies for mobile devices or for controlling mobile applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2358/00—Arrangements for display data security
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861—Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Image Input (AREA)
  • Collating Specific Patterns (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 일 실시예에 따르면, (a) 지문 센서를 통해 제1지문의 영상을 획득하여 상기 제1 지문을 인식하는 단계; (b) 상기 제1 지문을 인식하면, 상기 제1 지문에 상응하는 제1 애플리케이션을 제1 화면에 실행하는 단계; (c) 지문 센서를 통해 제2지문의 영상을 획득하여 상기 제2 지문을 인식하는 단계; (d) 상기 제1 지문에 상응하는 제1 애플리케이션을 실행한 시점 이후 임계 시간 이내에 상기 제2 지문을 인식하였는지 판단하는 단계; 및 (e) 상기 판단 결과, 상기 제1 지문에 상응하는 제1 애플리케이션을 실행한 시점 이후 상기 임계 시간 이내에 상기 제2 지문을 인식한 경우, 상기 제1 화면을 분할하여 상기 제1 화면을 분할한 제2 화면을 생성하고, 상기 제1 애플리케이션은 상기 제2화면 중 어느 하나에, 상기 제 2 지문에 상응하는 제2 애플리케이션은 상기 제2 화면 중 다른 하나에 실행하는 단계를 포함하는 지문 인식을 이용한 애플리케이션 실행 방법이 제공된다.

Description

지문 인식을 이용한 애플리케이션 실행 방법, 장치 및 컴퓨터 판독 가능 기록 매체 {METHOD, APPARATUS AND COMPUTER-READABLE RECORDING MEDIUM FOR RUNNING A PROGRAM USING RECOGNIZING FINGERPRINT}
본 발명은 지문 인식 방법, 장치 및 컴퓨터 판독 가능 기록 매체에 관한 것으로, 보다 상세하게는, 지문 인식을 이용하여 애플리케이션을 실행하기 위한 방법, 장치 및 컴퓨터 판독 가능 기록 매체에 관한 것이다.
최근 이동 통신 단말기를 통해서는 전화 또는 문자 메시지 전송 서비스와 같은 통신 기능뿐만 아니라, 모바일 뱅킹 등 개인 정보가 활용되는 다양한 부가 기능이 제공되고 있다. 이에 따라, 이동 통신 단말기의 잠금 장치에 대한 필요성이 더욱 중요하게 부각되고 있다.
이동 통신 단말기에 적용되었던 기존의 잠금 장치는 비밀번호를 이용하는 전통적인 방식이 대부분이었다. 예를 들면, 전화 기능, 부가 기능, 또는 국제 전화 기능 등에 잠금 장치를 적용시키고, 해당 기능을 이용하기 위해서는 해당 비밀번호를 입력해야만 이용이 가능하도록 하는 방식이었다.
그러나, 이러한 방식은 비밀번호가 노출되었을 때 무용지물이 된다는 점, 안정성 확보를 위해 주기적으로 비밀번호를 변경하여야 한다는 점, 사용자 입장에서 비밀번호를 기억해 두어야 한다는 점 등에서 불편함이 있었다.
따라서, 최근에는 이러한 방식을 보완하고 잠금 효과를 향상시키기 위하여, 지문 인식을 통한 잠금장치가 장착된 단말기를 본격적으로 개발하고 있다.
이러한 지문 인식 장치를 소형으로 제작되고 있는 이동 통신 단말기에 탑재하기 위해서는 그 센서의 크기를 최소화하여야 하는데, 이러한 필요에 따라, 좌우로 긴 바(Bar) 형태의 센서에 손가락을 긁듯이 지문을 인식시키는 '슬라이딩 방식' 지문 인식 센서에 대한 개발이 이루어지고 있다.
한편, 지문 인식 센서가 이동 통신 단말기에 탑재됨에 따라, 다른 기능과 접목하고자 하는 노력도 행해지고 있다.
본 발명은 지문 인식을 통해서 다양한 애플리케이션을 한 화면에 동시에 실행할 수 있도록 하여, 사용자 편리성을 향상시키는 것을 그 목적으로 한다
상술한 목적을 달성하기 위한 본 발명의 일 실시예에 따르면, 지문 센서를 통해 제1지문의 영상을 획득하여 상기 제1 지문을 인식하는 단계; 상기 제1 지문을 인식하면, 상기 제1 지문에 상응하는 제1 애플리케이션을 제1 화면에 실행하는 단계; 상기 지문 센서를 통해 제2지문의 영상을 획득하여 상기 제2 지문을 인식하는 단계; 상기 제1 지문에 상응하는 제1 애플리케이션을 실행한 시점 이후 임계 시간 이내에 상기 제2 지문을 인식하였는지 판단하는 단계; 및 상기 판단 결과, 상기 제1 지문에 상응하는 제1 애플리케이션을 실행한 시점 이후 상기 임계 시간 이내에 상기 제2 지문을 인식한 경우, 상기 제1 화면을 분할하여 상기 제1 화면을 분할한 제2 화면을 생성하고, 상기 제1 애플리케이션은 상기 제2화면 중 어느 하나에, 상기 제 2 지문에 상응하는 제2 애플리케이션은 상기 제2 화면 중 다른 하나에 실행하는 단계를 포함하는, 지문 인식을 이용한 애플리케이션 실행 방법이 제공된다.
상기 판단 결과, 상기 제1 지문에 상응하는 상기 제1 애플리케이션을 실행한 시점 이후 상기 임계 시간을 초과하는 시점에 상기 제2 지문을 인식한 경우, 상기 제1 화면에 실행하는 상기 제1 애플리케이션의 실행을 중지하고, 상기 제2 애플리케이션을 상기 제1 화면에 실행하는 단계를 더 포함할 수 있다.
상기 제1 화면을 가로 방향 반으로 분할하여 상기 제2 화면을 생성하고, 상기 제2 화면 중 어느 하나에 상기 제1 애플리케이션을 실행하고, 상기 제2 화면 중 다른 하나에 제2 애플리케이션을 실행하는 단계를 포함할 수 있다.
상기 제1 지문을 인식하면 상기 제1 애플리케이션을 실행하고, 상기 제2 지문을 인식하면 상기 제2 애플리케이션을 실행하도록 하는 사용자 설정 정보를 수신하여 저장하는 단계를 더 포함할 수 있다.
본 발명의 다른 실시예에 따르면, 이동하는 사용자의 손가락으로부터 복수의 단편 지문 영상을 순차적으로 획득하여 지문을 인식하는 지문 센서; 상기 지문 센서에서 인식한 지문이 제1 지문인 경우 제1 애플리케이션을 실행하고, 제2지문인 경우 제2 애플리케이션을 실행하는 애플리케이션 실행부; 상기 애플리케이션 실행부에서 상기 제1 지문에 상응하는 제1 애플리케이션을 실행한 시점 이후 임계 시간 이내에 상기 제2 지문을 인식하였는지 판단하는 임계 시간 판단부; 및 상기 임계 시간 판단부의 판단 결과, 상기 제1 지문에 상응하는 제1 애플리케이션을 실행한 시점 이후 상기 임계 시간 이내에 상기 제2 지문을 인식한 경우, 상기 제1 애플리케이션이 실행되는 상기 제1 화면을 분할하여 상기 제1 화면을 분할한 제2 화면을 생성하고, 상기 제1 애플리케이션을 상기 제2 화면 중 어느 하나에, 상기 제 2 지문에 상응하는 제2 애플리케이션을 상기 제2 화면 중 다른 하나에 실행하도록 제어하는 화면 제어부를 포함하는, 지문 인식을 이용한 애플리케이션 실행 장치가 제공된다.
상기 임계 시간 판단부의 판단 결과, 상기 제1 지문에 상응하는 상기 제1 애플리케이션을 실행한 시점 이후 상기 임계 시간을 초과하는 시점에 상기 제2 지문을 인식한 경우, 상기 화면 제어부는 상기 제1 화면에 실행하는 상기 제1 애플리케이션의 실행을 중지하고, 상기 제2 애플리케이션을 상기 제1 화면에 실행하도록 제어할 수 있다.
상기 화면 제어부는, 상기 제1 화면을 가로 방향 반으로 분할하여 제2 화면을 생성하고, 상기 제2 화면 중 어느 하나에 상기 제1 애플리케이션을 실행하고, 상기 제2 화면 중 다른 하나에 제2 애플리케이션을 실행하도록 제어할 수 있다.
상기 지문 센서가 상기 제1 지문을 인식하면 상기 제1 애플리케이션을 실행하고, 상기 제2 지문을 인식하면 상기 제2 애플리케이션을 실행하도록 하는 사용자 설정 정보를 수신하는 사용자 설정 정보 수신부를 더 포함할 수 있다.
상기 지문 센서는 바(bar) 형 또는 일자형 지문 센서일 수 있다.
본 발명의 또 다른 실시예는 지문 인식을 이용하여 애플리케이션을 구동하는 다른 방법 및 이러한 방법을 실행하기 위한 컴퓨터 프로그램을 기록하기 위한 컴퓨터 판독 가능한 기록 매체를 제공한다.
본 발명에 따르면, 지문 인식을 통하여, 지문에 따라 상이한 애플리케이션이 실행 될 수 있다.
또한, 본 발명에 따르면, 별 다른 동작을 수행하지 않고 지문 인식만을 통해 다양한 애플리케이션을 한 화면에 동시에 실행할 수 있다.
도 1은 본 발명의 일 실시예에 따른 지문 인식을 이용한 애플리케이션 실행 장치의 전체적인 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 지문 센서에 의해 얻어지는 단편적인 지문 영상의 예를 도시한다.
도 3은 본 발명의 일 실시예에 따른 지문 인식을 이용한 애플리케이션 실행 장치의 내부 구성을 나타내는 블록도이다.
도 4는 본 발명의 다른 실시예에 따른 지문 인식을 이용한 애플리케이션 실행 방법을 도시한 순서도이다.
도 5는 본 발명의 다른 실시예에 따른 지문 인식을 이용한 애플리케이션 실행 방법이 구현되는 화면을 도시한 도면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
[본 발명의 바람직한 실시예]
지문 인식을 이용한 애플리케이션 실행 장치의 동작
도 1은 본 발명의 일 실시예에 따른 지문 인식을 이용한 애플리케이션 실행 장치의 구조를 나타내는 도면이다.
도 1을 참조하면, 지문 인식을 이용한 애플리케이션 실행 장치(100)는 적어도 일부분에 지문 센서(110)를 구비할 수 있다. 도면에서는 지문 센서(110)가 지문 인식을 이용한 애플리케이션 실행 장치(100)의 일측 가장자리에 형성되는 것으로 도시되었으나, 어느 위치에 형성되어도 본 발명의 범위를 벗어나는 것은 아니다.
일 실시예에 따른 지문 인식을 이용한 애플리케이션 실행 장치(100)는 소정의 데이터 처리를 수행하여 사용자가 원하는 동작을 수행하는 디지털 기기일 수 있다. 지문 인식을 이용한 애플리케이션 실행 장치(100)는 입력부와 표시부(101)를 구비할 수 있으며, 입력부를 통한 사용자의 소정 동작 명령에 의해 이루어지는 동작에 대한 상태를 표시부(101)를 통해 사용자에게 제공할 수 있다. 도 1에서는 지문 인식을 이용한 애플리케이션 실행 장치(100)의 표시부(101)가 터치스크린 방식으로 구현되어 그 자체로서 입력부의 역할을 동시에 하는 것으로 도시되었으나, 입력부는 예를 들면, 키보드 또는 키패드 방식으로 구현되어 표시부(101)와 별도로 구비될 수도 있다.
일 실시예에 따른 지문 인식을 이용한 애플리케이션 실행 장치(100)는 태블릿 PC, 스마트폰, 개인용 컴퓨터, 워크스테이션, PDA, 웹 패드, 이동 전화기, 내비게이션 등과 같이 메모리 수단을 구비하고 마이크로 프로세서를 탑재하여 연산 능력을 갖춘 디지털 기기를 포괄하는 용어로서 이해되어야 한다. 본 명세서에서 애플리케이션은, 디지털 기기에서 수행 가능한 프로그램을 모두 포함하는 개념으로 사용된다.
일 실시예에 따른 지문 센서(110)는 슬라이드 형으로 구현될 수 있다. 슬라이드 형 지문 센서(110)는 슬라이딩 방식으로 움직이는 손가락의 지문을 센싱하여 단편적인 지문 영상들을 읽어들인 후, 이 단편 지문 영상을 하나의 영상으로 정합하여 온전한 지문 영상을 구현하는 방식으로 지문 인식을 수행한다.
도 2는 도 1에 도시되는 슬라이드 방식의 지문 센서(110)에 의해 얻어지는 단편적인 지문 영상의 예를 도시한다. 예를 들어, 사용자가 엄지 손가락를 지문 센서(110)에 대고 슬라이딩 방식으로 이동하면 연속적으로 부분적인 단편 영상(P1~P4)이 획득된다.
즉, 사용자의 지문 영상이 단편적이지만 서로 연속되는 형태로 순차적으로 획득된다. 지문 센서(110)에서 읽어들인 단편 지문 영상들은 하나의 지문 영상으로 정합된다.
일 실시예에 따르면, 정합된 지문 영상은 기 등록된 지문 영상과 비교되어 해당 사용자의 정당성을 입증하는 수단으로 이용될 수 있다. 즉, 지문 인식을 이용한 애플리케이션 실행 장치(100)의 데이터베이스(미도시됨)에는 사용자의 등록된 지문 영상이 저장되어 있을 수 있고, 지문 센서(110)를 통해 획득된 당해 지문 영상이 데이터베이스에 저장된 지문 영상과 비교됨으로써, 사용자 인증을 수행할 수 있다.
다른 실시예에 따르면, 정합된 지문 영상은 기 등록된 일 이상의 지문 영상과 비교되어 특정 동작 수행을 위한 명령으로서의 기능을 할 수도 있다. 예를 들면, 사용자의 각 손가락의 지문에 대해 특정 동작들이 매칭되어 저장될 수 있으며, 지문 센서(110)에 의해 획득된 정합된 지문 영상이 특정 손가락의 지문 영상과 일치하면, 이와 매칭된 특정 동작이 행해질 수 있다. 이를 본 명세서에서는 '퀵 런칭' 기능이라 하기로 한다. 예를 들어, 진정한 사용자의 엄지 손가락 지문이 인식되면 제1 애플리케이션이 실행되고, 진정한 사용자의 검지 손가락 지문이 인식되면 제2 애플리케이션이 실행되도록 사용자가 기 설정해놓을 수 있다. 그 후, 사용자가 지문 센서(110)에 엄지 손가락을 대고 슬라이딩 방식으로 이동하고, 지문 센서(110)에 의해 획득된 정합 지문 영상이 기 등록된 엄지 손가락의 지문 영상과 일치한다면, 이와 매칭된 동작, 즉, 제1 애플리케이션의 실행 동작이 이루어지게 된다.
지문 인식을 이용한 애플리케이션 실행 장치의 내부 구성
도 3은 본 발명의 일 실시예에 따른 지문 인식을 이용한 애플리케이션 실행 장치의 내부 구성을 나타내는 도면이다.
도 3을 참조하면, 일 실시예에 따른 지문 인식을 이용한 애플리케이션 실행 장치(100)는 지문 센서(110), 애플리케이션 실행부(120), 임계 시간 판단부(130), 화면 제어부(140)를 포함하며, 사용자 설정 정보 저장부(150)를 더 포함하여 구성될 수 있다.
본 발명의 일 실시예에 따르면, 지문 센서(110), 프로그램 실행부(120), 임계 시간 판단부(130), 화면 제어부(140), 사용자 설정 정보 저장부(150)는 각각 프로그램 모듈 또는 하드웨어들일 수 있다. 이러한 프로그램 모듈 또는 하드웨어는 운영 시스템, 응용 프로그램 모듈 및 기타 프로그램 모듈의 형태로 지문 인식을 이용한 애플리케이션 실행 장치(100) 또는 이와 데이터 통신이 가능한 다른 장치에 포함될 수 있으며, 물리적으로는 여러 가지 공지의 기억 장치 상에 저장될 수 있다. 한편, 이러한 프로그램 모듈 또는 하드웨어들은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다.
일 실시예에 따른 지문 센서(110)는 도 1 및 도 2를 참조하여 설명한 바와 같이 슬라이드 형 지문 센서로 구현될 수 있다. 지문 센서(110)의 인식 창에 사용자가 손가락을 대고 소정의 속도로 슬라이딩시키면 해당 지문이 스캔되고, 단편적인 지문 영상이 획득될 수 있다. 지문 센서(110)는 이동하는 사용자의 손가락으로부터 복수의 단편 지문 영상을 순차적으로 획득하여 지문을 인식한다. 이러한 슬라이드 형 지문 센서는 그 인식 창의 형상을 빗대어 "바(bar) 형" 또는 "일자형" 지문 센서로도 칭해진다.
애플리케이션 실행부(120)는 지문 센서(110)에서 인식한 지문이 제1 지문인 경우 제1 애플리케이션을 실행하고, 제2 지문인 경우 제2 애플리케이션을 실행하는데, 사용자 설정 정보 저장부(150)는 제1 지문이 인식되면 제1 애플리케이션을 실행하고, 제2 지문이 인식되면 제2 애플리케이션을 실행하도록 하는 사용자 설정 정보를 입력받아 저장하고, 애플리케이션 실행부(120) 및 화면 제어부(140)에 전달할 수 있다. 즉, 사용자 설정 정보 저장부(150)는 전술한 바 있는 퀵 런칭 기능을 수행하기 위한 사용자 설정 정보를 입력 받아 저장하고, 이에 따라 애플리케이션 실행부(120)는 제1 지문에 상응하는 제1 애플리케이션 및 제2 지문에 상응하는 제2 애플리케이션을 실행할 수 있다.
임계 시간 판단부(130)는, 애플리케이션 실행부(120)에서 제1 지문에 따른 제1 애플리케이션을 실행한 시점 이후 임계 시간 이내에 지문 센서(110)가 제2 지문을 인식하였는지 판단한다. 지문 센서(110)에서 제2 지문을 인식한 시점과 제 1 애플리케이션 실행 시점 간의 간격이, 미리 설정되어 있는 임계 시간과 동일하거나, 임계 시간 보다 작은지 판단한다. 즉, 임계 시간 판단부(130)는 제1 애플리케이션이 실행되는 중에 제2 지문이 인식되는 경우, 제2 지문이 인식되는 시점이 제1 애플리케이션 실행 시점과 임계 시간 이내의 간격을 갖는지 판단하는 것이다.
화면 제어부(140)는 임계 시간 판단부(130)의 판단 결과, 제1 애플리케이션을 실행한 시점 이후 임계 시간 이내에 제2 지문을 인식한 경우, 제1 애플리케이션이 실행되는 제1 화면을 분할하여 제2 화면을 생성하고, 제1 애플리케이션을 제2 화면 중 어느 하나에, 제 2 지문에 상응하는 제2 애플리케이션을 제2 화면 중 다른 하나에 실행하도록 제어한다.
일 실시예에 따르면, 화면 제어부(140)는 제1 애플리케이션이 실행되는 중에 임계 시간 이내에 제2 지문이 인식되면, 제1 애플리케이션이 실행되는 제1 화면을 가로 방향으로 반으로 나누어 제2 화면을 생성하고, 제2 화면의 어느 하나인 윗 화면에 제1 애플리케이션을, 제2 화면의 다른 하나인 아래 화면에 제2 애플리케이션을 실행하도록 제어할 수 있다.
물론, 제1 화면을 분할하여 생성되는 제2 화면은 2분할 화면뿐 아니라 3분할, 4분할 등 다양한 개수 및 다양한 방법으로 분할 되어 생성될 수 있다.
또한, 화면 제어부(140)는 임계 시간 판단부(130)의 판단 결과, 제1 애플리케이션을 실행한 시점 이후 임계 시간을 초과하는 시점에 제2 지문을 인식한 경우, 제1 애플리케이션의 실행을 중지하고, 제1 화면에 제2 애플리케이션을 실행하도록 제어할 수 있다. 즉, 임계 시간을 벗어난 시각에 제2 지문이 인식이 되면, 실행되고 있는 제1 애플리케이션이 중지되고, 제1 애플리케이션이 실행되고 있던 제1 화면에 제2 애플리케이션이 실행될 수 있다.
지문 인식을 이용한 애플리케이션 실행 방법 및 실행 실시예
이하, 도 4 및 도 5를 참조하여 본 발명의 다른 실시예에 따른 지문 인식을 이용한 애플리케이션 실행 방법에 대하여 살펴 본다. 도 4는 본 발명의 다른 실시예에 따른 지문 인식을 이용한 애플리케이션 실행 방법을 도시한 순서도 이며, 도 5는 본 발명의 다른 실시예에 따른 지문 인식을 이용한 애플리케이션 실행 방법이 구현되는 화면을 도시한 도면이다.
지문 센서(110)가 센싱을 대기하고 있는 상태에서 제1 손가락이 지문 센서(110)에 닿으면 제1 지문의 단편화된 지문 영상이 계속적으로 획득되어, 제1 지문을 인식한다(S410).
도 5에 도시된 바와 같이, 제1 지문은 오른쪽 손의 검지 손가락의 지문일 수 있고, 제1 지문에 의하여 퀵 런칭되는 제1 애플리케이션은 카메라이고, 제2 지문은 오른쪽 손의 중지 손가락의 지문일 수 있고, 제2 지문에 의하여 퀵 런칭되는 제2 애플리케이션은 채팅 애플리케이션이라 가정하자.
이때, 지문 센서(110)가 지문 인식을 하기 전에, 제1 지문이 인식되면 제1 애플리케이션이 실행되고, 제2 지문이 인식되면 제2 애플리케이션이 실행되도록 하는 사용자 설정 정보가 사용자로부터 수신되어 저장되어 있을 수 있다.
제1 지문이 인식이 되면, 애플리케이션 실행부(120)는 제1 지문에 상응하여 실행하게 되어 있는 제1 애플리케이션 즉, 카메라를 제1 화면(510)에 실행 한다(S420). 이렇게 제1 애플리케이션, 카메라 애플리케이션이 실행되는 중에 제2 지문이 지문 센서(110)를 통해 인식된다(S430).
제2 지문이 인식되면, 임계 시간 판단부(130)는 제2 지문의 인식이 제1 애플리케이션 실행 시점으로부터 임계 시간 이내에 이루어졌는지 판단(S440)하는데, 제1 애플리케이션 실행 시점으로부터 임계 시간 이내에 제2 지문을 인식한 경우, 도 5에 도시된 바와 같이 제1 애플리케이션이 실행되는 제1 화면(510)이 분할되어 제2 화면(520)이 생성되고, 제2 화면의 어느 하나인 위쪽 화면(520-1)에 제1 애플리케이션인 카메라가 실행되고, 제2 화면의 다른 화면(520-2)에 제2 애플리케이션인 채팅 애플리케이션이 동시에 실행이 된다(S451).
반면, 임계 시간 판단부(130)의 판단 결과, 제2 지문의 인식이 제1 애플리케이션 실행 시점으로부터 임계 시간을 초과하는 시점에 이루어 진 경우, 제1 화면에 실행이 되고 있던 제1 애플리케이션인 카메라 실행이 중지되고, 대신 제1 화면에 제2 애플리케이션인 채팅 애플리케이션이 실행이 된다(S452).
이와 같이, 본 발명에 따르면 지문 인식을 이용하여 빠르게 다양한 애플리케이션을 실행할 수 있고, 또한 한 화면에 다양한 애플리케이션을 동시에 실행할 수 있어 사용자의 편의성이 증대 될 수 있다.
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.
100: 지문 인식을 이용한 애플리케이션 실행 장치
110: 지문 센서
120: 애플리케이션 실행부
130: 임계 시간 판단부
140: 화면 제어부
150: 사용자 설정 정보 저장부

Claims (6)

  1. (a) 지문 센서를 통해 제1지문의 영상을 획득하여 상기 제1 지문을 인식하는 단계;
    (b) 상기 제1 지문을 인식하면, 상기 제1 지문에 상응하는 제1 애플리케이션을 제1 화면에 실행하는 단계;
    (c) 상기 지문 센서를 통해 제2지문의 영상을 획득하여 상기 제2 지문을 인식하는 단계;
    (d) 상기 제1 애플리케이션을 실행한 시점 이후 임계 시간 이내에 상기 제2 지문을 인식하였는지 판단하는 단계; 및
    (e) 상기 판단 결과, 상기 제1 지문에 상응하는 제1 애플리케이션을 실행한 시점 이후 상기 임계 시간 이내에 상기 제2 지문을 인식한 경우, 상기 제1 화면을 분할하여 상기 제1 화면을 분할한 제2 화면을 생성하고, 상기 제1 애플리케이션은 상기 제2화면 중 어느 하나에, 상기 제 2 지문에 상응하는 제2 애플리케이션은 상기 제2 화면 중 다른 하나에 실행하는 단계를 포함하는, 지문 인식을 이용한 애플리케이션 실행 방법.
  2. 제1항에 있어서,
    상기 판단 결과, 상기 제1 애플리케이션을 실행한 시점 이후 상기 임계 시간을 초과하는 시점에 상기 제2 지문을 인식한 경우, 상기 제1 화면에 실행하는 상기 제1 애플리케이션의 실행을 중지하고, 상기 제2 애플리케이션을 상기 제1 화면에 실행하는 단계를 더 포함하는, 지문 인식을 이용한 애플리케이션 실행 방법.
  3. 제1항에 있어서,
    상기 제2 화면은 상기 제1 화면을 가로 방향 반으로 분할한 화면인, 지문 인식을 이용한 애플리케이션 실행 방법.
  4. 제1항에 있어서,
    상기 (a) 단계 이전에,
    상기 제1 지문을 인식하면 상기 제1 애플리케이션을 실행하고, 상기 제2 지문을 인식하면 상기 제2 애플리케이션을 실행하도록 하는 사용자 설정 정보를 수신하여 저장하는 단계를 더 포함하는, 지문 인식을 이용한 애플리케이션 실행 방법.
  5. 이동하는 사용자의 손가락으로부터 복수의 단편 지문 영상을 순차적으로 획득하여 지문을 인식하는 지문 센서;
    상기 지문 센서에서 인식한 지문이 제1 지문인 경우 제1 애플리케이션을 실행하고, 제2지문인 경우 제2 애플리케이션을 실행하는 애플리케이션 실행부;
    상기 애플리케이션 실행부에서 상기 제1 애플리케이션을 실행한 시점 이후 임계 시간 이내에 상기 지문 센서에서 상기 제2 지문을 인식하였는지 판단하는 임계 시간 판단부; 및
    상기 임계 시간 판단부의 판단 결과, 상기 제1 지문에 상응하는 제1 애플리케이션을 실행한 시점 이후 상기 임계 시간 이내에 상기 제2 지문을 인식한 경우, 상기 제1 애플리케이션이 실행되는 상기 제1 화면을 분할하여 상기 제1 화면을 분할한 제2 화면을 생성하고, 상기 제1 애플리케이션을 상기 제2 화면 중 어느 하나에, 상기 제 2 지문에 상응하는 제2 애플리케이션을 상기 제2 화면 중 다른 하나에 실행하도록 제어하는 화면 제어부를 포함하는, 지문 인식을 이용한 애플리케이션 실행 장치.
  6. 제1항 내지 제4항 중 어느 한 항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록하기 위한 컴퓨터 판독 가능한 기록 매체.

KR1020120147776A 2012-12-17 2012-12-17 지문 인식을 이용한 애플리케이션 실행 방법, 장치 및 컴퓨터 판독 가능 기록 매체 KR101435482B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120147776A KR101435482B1 (ko) 2012-12-17 2012-12-17 지문 인식을 이용한 애플리케이션 실행 방법, 장치 및 컴퓨터 판독 가능 기록 매체
US14/107,879 US9207850B2 (en) 2012-12-17 2013-12-16 Application executing method using fingerprint recognition, device therefor, and computer readable recording medium therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120147776A KR101435482B1 (ko) 2012-12-17 2012-12-17 지문 인식을 이용한 애플리케이션 실행 방법, 장치 및 컴퓨터 판독 가능 기록 매체

Publications (2)

Publication Number Publication Date
KR20140078429A true KR20140078429A (ko) 2014-06-25
KR101435482B1 KR101435482B1 (ko) 2014-08-28

Family

ID=50930304

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120147776A KR101435482B1 (ko) 2012-12-17 2012-12-17 지문 인식을 이용한 애플리케이션 실행 방법, 장치 및 컴퓨터 판독 가능 기록 매체

Country Status (2)

Country Link
US (1) US9207850B2 (ko)
KR (1) KR101435482B1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102087395B1 (ko) * 2013-01-16 2020-03-10 삼성전자주식회사 전자 장치에서 응용프로그램을 실행하기 위한 장치 및 방법
US20150227226A1 (en) * 2014-02-12 2015-08-13 Griffin Technology, Inc. Screen Protector
CN105912203A (zh) * 2016-04-06 2016-08-31 上海斐讯数据通信技术有限公司 一种智能终端及实现方法
CN106095295B (zh) * 2016-06-15 2020-09-25 维沃移动通信有限公司 一种基于指纹识别的处理方法和移动终端
CN106372893B (zh) * 2016-08-26 2020-06-30 维沃移动通信有限公司 一种扫码界面切换方法及装置
CN108228250A (zh) * 2016-12-19 2018-06-29 南昌欧菲生物识别技术有限公司 一种应用界面的显示方法及终端
CN107025395B (zh) * 2017-03-06 2020-07-07 Oppo广东移动通信有限公司 一种指纹识别方法及移动终端
WO2021077368A1 (zh) * 2019-10-24 2021-04-29 深圳市汇顶科技股份有限公司 指纹识别装置和电子设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100348365B1 (ko) * 2000-10-04 2002-08-10 (주)니트 젠 지문에 의한 응용프로그램 실행장치 및 방법
KR20060003689A (ko) * 2004-07-07 2006-01-11 엘지전자 주식회사 지문인식 통신단말기의 메뉴 선택 장치 및 방법
KR100695080B1 (ko) * 2005-03-22 2007-03-14 에스케이 텔레콤주식회사 화면 분할 기능을 갖는 이동통신 단말
US20090224874A1 (en) * 2008-03-05 2009-09-10 International Business Machines Corporation Apparatus, system, and method for providing authentication and activation functions to a computing device
US8600446B2 (en) * 2008-09-26 2013-12-03 Htc Corporation Mobile device interface with dual windows
JP5491043B2 (ja) * 2009-02-25 2014-05-14 京セラ株式会社 生体認証機能付きデータ処理装置
KR101640460B1 (ko) * 2009-03-25 2016-07-18 삼성전자 주식회사 휴대 단말기의 분할 화면 운용 방법 및 이를 지원하는 휴대 단말기
US8810367B2 (en) * 2011-09-22 2014-08-19 Apple Inc. Electronic device with multimode fingerprint reader
KR101888457B1 (ko) * 2011-11-16 2018-08-16 삼성전자주식회사 복수 개의 어플리케이션을 실행하는 터치스크린을 가지는 장치 및 그 제어 방법
CN111176516B (zh) * 2012-05-18 2023-10-20 苹果公司 用于操纵用户界面的设备、方法和图形用户界面

Also Published As

Publication number Publication date
KR101435482B1 (ko) 2014-08-28
US20140168125A1 (en) 2014-06-19
US9207850B2 (en) 2015-12-08

Similar Documents

Publication Publication Date Title
KR101435482B1 (ko) 지문 인식을 이용한 애플리케이션 실행 방법, 장치 및 컴퓨터 판독 가능 기록 매체
KR20140079960A (ko) 지문 인식 이용한 애플리케이션을 실행하기 위한 방법, 장치 및 컴퓨터 판독 가능 기록 매체
EP2629228B1 (en) Location-based security system for portable electronic device
KR102157313B1 (ko) 촬영된 영상을 이용하여 객체를 인식하는 방법 및 컴퓨터 판독 가능한 기록 매체
JP6397036B2 (ja) 動的なキーボードおよびタッチスクリーンのバイオメトリクス
US9020567B2 (en) Authentication using fingerprint sensor in gesture path
US9165176B2 (en) Method, apparatus, and computer-readable recording medium for recognizing fingerprint
KR101556599B1 (ko) 패턴 입력 장치 및 방법과 이를 이용한 기록 매체
US20220121293A1 (en) Character editing on a physical device via interaction with a virtual device user interface
KR101435487B1 (ko) 사용자 단말기, 사용자 단말기의 숨김 페이지 사용 방법 및 컴퓨터 판독 가능한 기록 매체
US20230325488A1 (en) Multi-factor authentication via mixed reality
KR101331480B1 (ko) 지문 인식을 위한 방법, 장치 및 컴퓨터 판독 가능 기록 매체
EP3299987B1 (en) Information processing method, electronic device, and computer storage medium
CN111178277A (zh) 一种视频流识别方法及装置
KR20140036582A (ko) 지문을 이용한 로그인 방법, 사용자 단말기 및 기록 매체
US10372893B2 (en) Sensor-based authentication
KR101462227B1 (ko) 지문을 이용한 파일 관리 방법, 장치 및 기록 매체
EP2787462B1 (en) Authentication using fingerprint sensor in gesture path
KR20140035758A (ko) 지문을 이용한 애플리케이션 사용 제한 방법, 사용자 단말기 및 기록 매체
KR20140047746A (ko) 사용자 단말기, 사용자 단말기의 저장기기 사용 인증 방법 및 컴퓨터 판독 가능한 기록 매체
KR20140044146A (ko) 사용자 단말기, 사용자 단말기의 메시지 숨김 기능 사용 방법 및 컴퓨터 판독 가능한 기록 매체

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170621

Year of fee payment: 4