KR102455247B1 - 손가락을 이용한 학습 시스템 - Google Patents

손가락을 이용한 학습 시스템 Download PDF

Info

Publication number
KR102455247B1
KR102455247B1 KR1020210131194A KR20210131194A KR102455247B1 KR 102455247 B1 KR102455247 B1 KR 102455247B1 KR 1020210131194 A KR1020210131194 A KR 1020210131194A KR 20210131194 A KR20210131194 A KR 20210131194A KR 102455247 B1 KR102455247 B1 KR 102455247B1
Authority
KR
South Korea
Prior art keywords
fingerprint
learning
unit
image
menu
Prior art date
Application number
KR1020210131194A
Other languages
English (en)
Inventor
최정민
Original Assignee
주식회사 천재교과서
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 천재교과서 filed Critical 주식회사 천재교과서
Priority to KR1020210131194A priority Critical patent/KR102455247B1/ko
Application granted granted Critical
Publication of KR102455247B1 publication Critical patent/KR102455247B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education
    • G06Q50/205Education administration or guidance
    • G06Q50/2057Career enhancement or continuing education service
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/13Sensors therefor
    • G06V40/1318Sensors therefor using electro-optical elements or layers, e.g. electroluminescent sensing
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/02Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Human Computer Interaction (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Security & Cryptography (AREA)
  • Strategic Management (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

본 발명은 학습자 단말기에서 실행되는 학습 어플리케이션에 학습생의 손가락 또는 부모의 손가락을 접촉하면 학습생의 수준에 맞는 학습 또는 손가락에 매칭된 컨텐츠 학습을 자동으로 실행할 수 있도록 하는, 손가락을 이용한 학습 시스템에 대하여 개시한다.
본 발명에 따른 학습 시스템은, 손가락 터치를 입력받으며, 학습 메뉴를 화면 상으로 제공하는 터치 입출력부; 상기 학습 메뉴에 해당하는 하나 이상의 학습 컨텐츠를 저장하고 있는 저장부; 상기 터치 입출력부를 통해 획득된 지문 이미지와 상기 학습 메뉴에 따른 학습 컨텐츠를 매칭시키는 컨텐츠 매칭부; 상기 터치 입출력부의 화면 상으로 상기 학습 메뉴를 제공하고, 선택된 학습 메뉴에 해당하는 학습 컨텐츠를 실행하는 학습 실행부; 및 상기 터치 입출력부를 통해 선택된 학습 메뉴에 해당하는 학습 컨텐츠와, 상기 터치 입출력부를 통해 획득된 지문 이미지를 상기 컨텐츠 매칭부를 통해 매칭하여 등록하고, 상기 학습 실행부가 실행되고 상기 터치 입출력부를 통해 손가락 터치가 입력되어, 상기 등록된 지문 이미지와 동일한 지문 이미지가 상기 터치 입출력부를 통해 획득되면, 상기 등록된 지문 이미지에 매칭된 학습 컨텐츠가 실행되도록 상기 학습 실행부를 제어하는 제어부를 포함할 수 있다.

Description

손가락을 이용한 학습 시스템{Childhood learning system using fingers}
본 발명은 손가락을 이용한 학습 시스템에 관한 것으로, 보다 상세하게는 학습자 단말기에서 실행되는 학습 어플리케이션에 학습생의 손가락 또는 부모의 손가락을 접촉하면 학습생의 수준에 맞는 학습 또는 손가락에 매칭된 컨텐츠 학습을 자동으로 실행할 수 있도록 하는, 손가락을 이용한 학습 시스템에 관한 것이다.
본 출원인이 태블릿 단말기 또는 웹 페이지를 통하여 제공하는 밀크티(milk-T) 초등 학습 서비스는 밀크T 학교공부, 수준별 수학, 수준별 영어, 창의 사고력 등의 학습 메뉴를 제공한다.
이러한 밀크T 학습 서비스를 초등학생이 태블릿 단말기를 통하여 이용하기 위해서는 밀크T 어플리케이션을 실행하고, 다수의 메뉴 중에서 원하는 학습 메뉴를 찾아서 선택하는 여러 단계의 과정을 거쳐야 한다.
따라서 저학년 학습자의 경우에 다수의 학습 메뉴에서 원하는 학습 메뉴를 찾아서 학습을 실행하기까지 어려움을 겪거나 번거로워서 학습 의욕이 저하되는 문제점이 있었다.
관련 선행 특허 문헌으로는 대한민국 공개특허공보 제10-2020-0137755호(2020.12.09, 공개)가 있으며, 상기 문헌에는 유아가 참여하는 학습 콘텐츠 시스템이 기재되어 있다.
본 발명의 목적은 학습자 단말기에서 실행되는 학습 어플리케이션에 학습생의 손가락 또는 부모의 손가락을 접촉하면 학습생의 수준에 맞는 학습 또는 손가락에 매칭된 컨텐츠 학습을 자동으로 실행할 수 있도록 하는, 손가락을 이용한 학습 시스템을 제공하는 것이다.
전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 손가락을 이용한 학습 시스템은, 손가락 터치를 입력받으며, 학습 메뉴를 화면 상으로 제공하는 터치 입출력부; 상기 학습 메뉴에 해당하는 하나 이상의 학습 컨텐츠를 저장하고 있는 저장부; 상기 터치 입출력부를 통해 획득된 지문 이미지와 상기 학습 메뉴에 따른 학습 컨텐츠를 매칭시키는 컨텐츠 매칭부; 상기 터치 입출력부의 화면 상으로 상기 학습 메뉴를 제공하고, 선택된 학습 메뉴에 해당하는 학습 컨텐츠를 실행하는 학습 실행부; 및 상기 터치 입출력부를 통해 선택된 학습 메뉴에 해당하는 학습 컨텐츠와, 상기 터치 입출력부를 통해 획득된 지문 이미지를 상기 컨텐츠 매칭부를 통해 매칭하여 등록하고, 상기 학습 실행부가 실행되고 상기 터치 입출력부를 통해 손가락 터치가 입력되어, 상기 등록된 지문 이미지와 동일한 지문 이미지가 상기 터치 입출력부를 통해 획득되면, 상기 등록된 지문 이미지에 매칭된 학습 컨텐츠가 실행되도록 상기 학습 실행부를 제어하는 제어부를 포함할 수 있다.
상기 학습 메뉴는 밀크T 학교공부, 수준별 수학, 수준별 영어, 창의 사고력, 밀크T 중학 종합반 메뉴를 포함하고, 상기 밀크T 학교공부 메뉴는 과목별 공부, 시험대비 특강, 첨삭과외, 중학특강 메뉴를 포함하고, 상기 수준별 수학 메뉴는 스토리텔링 개념학습, 영역별 수학, FunFun 연산게임, 유형격파, 실력충전 메뉴를 포함하고, 상기 수준별 영어 메뉴는 술술 Speaking, 쏙쏙 Words, 팡팡 Phonics, 줄줄 Reading, 탄탄 Grammer, 영어 Songs, 영어 Library 메뉴를 포함하고, 상기 창의 사고력 메뉴는 특별 학습, 숙제해결, 천재북클럽, 초등생활 메뉴를 포함하고, 상기 밀크T 중학 종합반 메뉴는 스터디 매니져, 멀티학습 플레이어, 자기주도 학습, 수학 영어 첨삭 서비스, 수학 질답 커뮤니티, 10분 수학 영어 메뉴를 포함할 수 있다.
상기 터치 입출력부는, 광을 방출하는 발광 소자들, 상기 발광 소자들에서 방출되어 지문 접촉면에 접촉한 지문에 의해 반사된 광을 센싱하여 상기 지문에 대응하는 영상을 생성하는 적어도 하나의 광 센서를 포함한 광 감지 어레이부 및 상기 광 센서로 입사되는 광의 진행 경로를 형성하는 복수의 핀홀들을 포함한 선택적 광 투과부를 포함한 지문 센서; 및 상기 지문 센서로부터 상기 영상을 입력받아 상기 지문의 제1 영역에 대응하는 제1 영상과 상기 지문의 제2 영역에 대응하는 제2 영상을 추출하여 상기 제1 및 제2 영상들을 비교하여 유사도를 판단하며, 그 결과에 따라 지문 인증을 수행하는 지문 검출부를 포함할 수 있다.
상기 지문의 제1 영역은 상기 지문 접촉면에 접촉한 상기 지문의 일 영역이고, 상기 지문의 제2 영역은 상기 지문의 일 영역의 외곽에 위치하며 상기 지문 접촉면에 접촉되지 않는 상기 지문의 다른 영역일 수 있다.
상기 지문 검출부는, 상기 광 감지 로부터 상기 영상을 입력받아 상기 제1 영상과 상기 제2 영상을 추출하는 지문 영상 추출부; 상기 제1 및 제2 영상들에 대해 이미지 전처리(Preprocessing)를 수행하는 영상 처리부; 상기 영상 처리부에서 전처리가 이루어진 상기 제1 영상과 상기 제2 영상을 비교하여 유사도 여부를 판단하는 유사도 판단부; 및 상기 유사도 판단부의 결과에 따라 지문 인증 여부를 수행하는 인증 수행부를 포함할 수 있다.
상기 유사도 판단부는, 상기 제1 영상의 휘도와 상기 제2 영상의 휘도를 비교하고, 상기 제1 및 제2 영상들이 유사한 패턴을 서로 갖는지를 확인하여 상기 지문 접촉면에 접촉한 상기 지문의 생체 지문 여부를 판단할 수 있다.
한편, 전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 손가락을 이용한 학습 방법은, (a) 학습자 단말기 통해 학습 서비스를 제공하는 단계; (b) 상기 학습자 단말기에서 현재 학습 메뉴와 학습자의 지문을 매칭하여 등록하는 단계; (c) 상기 학습자 단말기에서 학습 서비스의 실행 시에 지문 입력 화면을 제공하는 단계; (d) 상기 학습자 단말기에서 학습자의 지문을 입력받아, 등록된 지문과 비교하는 단계; 및 (e) 상기 학습자 단말기에서 입력받은 지문과 등록된 지문이 일치하는 경우에, 등록된 지문에 대응된 학습 메뉴를 실행하는 단계를 포함할 수 있다.
상기 (b) 단계에서 상기 학습자 단말기는, 터치 입출력부를 통해 획득된 지문 이미지와 상기 학습 메뉴에 따른 학습 컨텐츠를 매칭시켜 저장부에 저장하여 등록할 수 있다.
상기 터치 입출력부는, 지문 센서 및 지문 검출부를 포함할 수 있다.
상기 지문 센서는 광을 방출하는 발광 소자들, 상기 발광 소자들에서 방출되어 지문 접촉면에 접촉한 지문에 의해 반사된 광을 센싱하여 상기 지문에 대응하는 영상을 생성하는 적어도 하나의 광 센서를 포함한 광 감지 어레이부 및 상기 광 센서로 입사되는 광의 진행 경로를 형성하는 복수의 핀홀들을 포함한 선택적 광 투과부를 포함할 수 있다.
상기 지문 검출부는 상기 지문 센서로부터 상기 영상을 입력받아 상기 지문의 제1 영역에 대응하는 제1 영상과 상기 지문의 제2 영역에 대응하는 제2 영상을 추출하여 상기 제1 및 제2 영상들을 비교하여 유사도를 판단하며, 그 결과에 따라 지문 인증을 수행한다.
상기 지문의 제1 영역은 상기 지문 접촉면에 접촉한 상기 지문의 일 영역이고, 상기 지문의 제2 영역은 상기 지문의 일 영역의 외곽에 위치하며 상기 지문 접촉면에 접촉되지 않는 상기 지문의 다른 영역일 수 있다.
상기 지문 검출부는 영상 추출부를 통해 광 감지로부터 영상을 입력받아 제1 영상과 제2 영상을 추출하고, 영상 처리부를 통해 제1 및 제2 영상들에 대해 이미지 전처리(Preprocessing)를 수행하고, 유사도 판단부를 통해 영상 처리부에서 전처리가 이루어진 제1 영상과 제2 영상을 비교하여 유사도 여부를 판단하며, 인증 수행부를 통해 유사도 판단부의 결과에 따라 지문 인증 여부를 수행한다.
상기 유사도 판단부는, 상기 제1 영상의 휘도와 상기 제2 영상의 휘도를 비교하고, 상기 제1 및 제2 영상들이 유사한 패턴을 서로 갖는지를 확인하여 상기 지문 접촉면에 접촉한 상기 지문의 생체 지문 여부를 판단한다.
한편, 전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 손가락을 이용한 학습 방법은, (a) 학습자 단말기 통해 학습 서비스를 제공하는 단계; (b) 상기 학습자 단말기에서 현재 학습 메뉴와 학습자의 지문을 매칭하여 등록하는 단계; (c) 상기 학습자 단말기에서 학습 서비스의 실행 시에 지문 입력 화면을 제공하는 단계; (d) 상기 학습자 단말기에서 학습자의 지문을 입력받아, 등록된 지문과 비교하는 단계; 및 (e) 상기 학습자 단말기에서 입력받은 지문과 등록된 지문이 일치하는 경우에, 등록된 지문에 대응된 학습 메뉴를 실행하는 단계를 포함하는 손가락을 이용한 학습 방법을 기록한 컴퓨터로 판독이 가능한 기록 매체에 프로그램으로 기록할 수 있다.
본 발명에 의하면, 학습자의 각 손가락의 지문에 학교 공부, 수학, 영어, 창의 사고력 메뉴를 매칭시켜 등록하였다가, 학습자가 언제든지 손가락 터치만으로 원하는 학습을 즉시로 실행할 수 있다.
또한, 본 발명에 의하면, 엄지 손가락을 터치하여, 밀크T 학교공부를 실행하게 됨에 따라, 스스로 공부하는 능력을 키워주고, 자기주도학습 습관을 잡아주는 기능을 제공할 수 있다.
또한, 본 발명에 의하면, 검지 손가락을 터치하여, 수준별 수학 학습을 실행하게 됨에 따라, 기초부터 심화까지 수학을 마스터 할 수 있는 기능을 제공할 수 있다.
또한, 본 발명에 의하면, 중지 손가락을 터치하여, 수준별 영어 학습을 실행하게 됨에 따라, 다양한 멀티미디어 컨텐츠와 상호작용하면서 영어 실력을 향상시키는 기능을 제공할 수 있다.
또한, 본 발명에 의하면, 약지 손가락을 터치하여, 창의 사고력 학습을 실행하게 됨에 따라, 다양한 분야의 교양과 정보를 쉽고 편하게 획득할 수 있으며, 개정교육과정에서 제시하는 기준에 따라 분야별로 다양한 간접체험을 통해 창의적 사고력을 기르는 기능을 제공할 수 있다.
또한, 본 발명에 의하면, 새끼 손가락을 터치하여, 중학 종합반 학습을 실행하게 됨에 따라, 진로교육특강을 수강하고, 진로적성검사를 통해 나만의 경쟁력을 키우는 진로 설계를 진행하며, 나에게 맞는 진로를 찾아 기본 개념을 다지고, 어떠한 난이도에도 흔들리지 않는 실력을 기를 수 있는 기능을 제공할 수 있다.
도 1은 본 발명의 실시예에 따른 학습 유도 시스템의 전체적인 구성을 개략적으로 나타낸 구성도이다.
도 2는 본 발명의 실시예에 따른 학습 챗봇의 내부 구성을 개략적으로 나타낸 구성도이다.
도 3은 본 발명의 실시예에 따른 학습 챗봇의 변환부 동작 과정을 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 학습 챗봇의 동작 흐름도를 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 학습 챗봇의 상세 동작 흐름도를 나타낸 도면이다.
도 6은 본 발명의 실시예에 따른 학습 챗봇에서 제공하는 오늘의 학습 화면을 나타낸 도면이다.
도 7은 본 발명의 실시예에 따른 학습 챗봇에서 제공하는 전체메뉴 화면을 나타낸 도면이다.
도 8은 본 발명의 실시예에 따른 학습 챗봇에서 제공하는 질문게시판 화면을 나타낸 도면이다.
도 9는 본 발명의 실시예에 따른 학습 챗봇에서 제공하는 학습창 화면을 나타낸 도면이다.
도 10은 본 발명의 실시예에 따른 학습 챗봇에서 1~6학년 대상 오늘의 학습을 제공하는 예를 나타낸 도면이다.
도 11은 본 발명의 실시예에 따른 학습 챗봇에서 키즈 대상 오늘의 학습을 제공하는 예를 나타낸 도면이다.
도 12는 본 발명의 실시예에 따른 학습 챗봇에서 전체메뉴를 제공하는 예를 나타낸 도면이다.
도 13은 본 발명의 일 실시예에 따른 학습자 단말기의 개략적인 단면도이다.
도 14는 도 6 또는 도 7에 도시된 지문 검출부를 개략적으로 도시한 블록도이다.
도 15는 본 발명의 실시예에 따른 손가락을 이용한 학습 방법을 나타낸 동작 흐름도이다.
도 16은 본 발명의 실시예에 따른 학습자 단말기를 통해 제공되는 밀크T 초등 학습 서비스에 대한 화면 예를 나타낸 도면이다.
도 17은 본 발명의 실시예에 따른 학습자 단말기를 통해 제공되는 학습 메뉴와 학습자의 지문을 매칭시켜 등록하기 위한 지문등록 아이콘을 나타낸 도면이다.
도 18은 본 발명의 실시예에 따른 학습 단말기에서 현재 실행된 학습 메뉴와 매칭하기 위한 학습자 지문을 입력받는 예를 나타낸 도면이다.
도 19는 본 발명의 일 실시예에 따른 학습자 단말기의 지문 접촉면에 사용자의 손가락 지문이 접촉한 모습을 나타낸 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예를 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예는 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 따라서, 몇몇 실시예에서, 잘 알려진 공정 단계들, 잘 알려진 소자 구조 및 잘 알려진 기술들은 본 발명이 모호하게 해석되는 것을 피하기 위하여 구체적으로 설명되지 않는다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
도면에서 여러 층 및 영역을 명확하게 표현하기 위하여 두께를 확대하여 나타내었다. 명세서 전체를 통하여 유사한 부분에 대해서는 동일한 도면 부호를 붙였다. 층, 막, 영역, 판 등의 부분이 다른 부분 "위에" 있다고 할 때, 이는 다른 부분 "바로 위에" 있는 경우뿐 아니라 그 중간에 또 다른 부분이 있는 경우도 포함한다. 반대로 어떤 부분이 다른 부분 "바로 위에" 있다고 할 때에는 중간에 다른 부분이 없는 것을 뜻한다. 또한, 층, 막, 영역, 판 등의 부분이 다른 부분 "아래에" 있다고 할 때, 이는 다른 부분 "바로 아래에" 있는 경우뿐 아니라 그 중간에 또 다른 부분이 있는 경우도 포함한다. 반대로 어떤 부분이 다른 부분 "바로 아래에" 있다고 할 때에는 중간에 다른 부분이 없는 것을 뜻한다.
공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 소자 또는 구성 요소들과 다른 소자 또는 구성 요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 소자의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들면, 도면에 도시되어 있는 소자를 뒤집을 경우, 다른 소자의 "아래(below)"또는 "아래(beneath)"로 기술된 소자는 다른 소자의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 소자는 다른 방향으로도 배향될 수 있고, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.
본 명세서에서 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적으로 연결되어있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 전기적으로 연결되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성 요소를 포함한다고 할 때, 이는 특별히 그에 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 명세서에서 제 1, 제 2, 제 3 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 이러한 구성 요소들은 상기 용어들에 의해 한정되는 것은 아니다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소들로부터 구별하는 목적으로 사용된다. 예를 들어, 본 발명의 권리 범위로부터 벗어나지 않고, 제 1 구성 요소가 제 2 또는 제 3 구성 요소 등으로 명명될 수 있으며, 유사하게 제 2 또는 제 3 구성 요소도 교호적으로 명명될 수 있다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않은 한 이상적으로 또는 과도하게 해석되지 않는다.
이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 따른 학습 챗봇을 활용한 학습 유도 시스템 및 방법에 관하여 상세히 설명하면 다음과 같다.
도 1은 본 발명의 실시예에 따른 손가락을 이용한 학습 시스템의 전체적인 구성을 개략적으로 나타낸 구성도이다.
도 1을 참조하면, 본 발명의 실시예에 따른 손가락을 이용한 학습 시스템(100)은, 복수의 웹 서버(102), 학습자 단말기(104), 제1 서버(Server 1)(110) 및 제2 서버(Server 2)(120)를 포함한다.
웹 서버(102)는 제1 서버(110)와 연동하여, 웹 페이지를 통하여 학습 서비스를 제공하는 서버이다.
학습자 단말기(104)는 학습자가 휴대하는 단말기로서, 웹 서버(102)에 접속하여, 웹 서버(102)로부터 학습 서비스를 제공받는다. 학습자 단말기(104)는 예를 들면, 태블릿 단말기나 스마트폰 등이 될 수 있다.
제1 서버(110)는, 학습 실행부(114)를 통하여 학습을 실행 또는 유도하는 서비스를 제공하는 서버이다.
제1 서버(110)는 터치 입출력부(112) 및 학습 실행부(114)를 포함한다. 여기서, 학습 실행부(114)는 예를 들면, 학습 챗봇(Learning Chot Bot)을 예로 들 수 있다.
터치 입출력부(112)는, 학습 메뉴를 화면 상으로 제공하고, 메뉴 선택에 관한 터치를 입력받거나, 사용자의 질문에 관한 음성 또는 문자를 입력받는다.
학습 메뉴는 예를 들면, 밀크T 초등 학습 메뉴를 포함할 수 있다. 밀크T 초등 학습 메뉴는 밀크T 학교공부, 수준별 수학, 수준별 영어, 창의 사고력, 밀크T 중학 종합반 메뉴를 포함할 수 있다.
학습 실행부(114)는 터치 입출력부(112)를 통해 입력받은 음성 또는 문자를 처리하고, 처리 결과에 따라 키워드 추천, 단순 응답, 진도 확인, 연관 학습, 단순 게임, 감성 코칭 중 하나로 학습을 유도할 수 있다.
학습 실행부(114)는 챗봇 서비스 API와 WE 모델을 이용하여 학습 유도 서비스를 제공할 수 있다.
학습 실행부(114)는 학습 메뉴에 대하여 오늘의 학습, 전체 메뉴, 숙제질문을 제공하고, 사용자가 과목을 선택하고, 선택된 과목의 학습을 실행하며, 숙제질문에 대하여 Q&A 데이터 및 학습백과사전에 대한 데이터를 활용하여 학습 답변을 제공할 수 있다.
학습 실행부(114)는 학습 메뉴에 대하여 밀크T 초등 학습 메뉴로서, 밀크T 학교공부, 수준별 수학, 수준별 영어, 창의 사고력, 밀크T 중학 종합반 메뉴를 제공할 수 있다.
학습 실행부(114)는 학습 메뉴에 대하여 학습창을 제공하고, 학습창 과목 코드를 기준으로 과목을 자동으로 선택하고, 숙제질문에 대하여 Q&A 데이터 및 학습백과사전에 대한 데이터를 활용하여 학습 답변을 제공할 수 있다.
제2 서버(120)는, 제1 서버(110)와 연동하여, 챗봇 관리 API, WE 모델, 데이터베이스, 탄력적 검색기(Elastic Searcher) 등을 제공하는 서버이다.
데이터베이스는 프로젝트/인텐트/문장정보와 프로젝트별 Token Weight를 저장하기 위해 사용된다.
탄력적 검색기는 문장 정보와 문장의 벡터를 색인 벡터 필드를 활용한 유사도 비교를 위해 사용된다.
여기서, 웹 서버(102), 제1 서버(110) 및 제2 서버(120)는 예를 들면, 각각 컴퓨터 장치 등으로 구현할 수 있다.
학습자 단말기(14)는 웹 서버(102)에 접속하여, 학습 메뉴에 대하여 밀크T 초등 학습 메뉴로서, 밀크T 학교공부, 수준별 수학, 수준별 영어, 창의 사고력, 밀크T 중학 종합반 메뉴를 제공받을 수 있다.
도 2는 본 발명의 실시예에 따른 학습 실행부의 내부 구성을 개략적으로 나타낸 구성도이다.
도 2를 참조하면, 본 발명의 실시예에 따른 학습 실행부(114)는, 변환부(210), 임베딩(Embedding) 처리부(220) 및 학습 유도부(230)를 포함할 수 있다.
변환부(210)는 터치 입출력부(112)를 통해 입력받은 음성을 문자로 변환 또는 문자를 음성으로 변환하여 인식하고 언어 모델로 생성한다.
임베딩 처리부(220)는 변환된 문자를 임베딩(Embedding) 처리한다.
학습 유도부(230)는 임베딩 처리된 결과에 따라 키워드 추천, 단순 응답, 진도 확인, 연관 학습, 단순 게임, 감성 코칭 중 하나로 학습을 유도할 수 있다.
변환부(210)에서 음성을 문자로 변환(Speech To Text) 하는 음성 인식(Speech Recognition)은 키패드 입력에 익숙하지 않은 학습자를 위해 음성 입력을 받기 위해 필요한 기술이다.
음성 인식은 사람이 말하는 음성 언어를 컴퓨터가 해석해 그 내용을 문자 데이터로 전환하는 처리를 말한다. STT(Speech-to-Text) 기술이라고도 한다. 키보드 대신 문자를 입력하는 방식으로 주목을 받고 있다. 로봇, 텔레매틱스 등 음성으로 기기제어, 정보검색이 필요한 경우에 응용된다. 대표적인 알고리즘은 HMM(Hidden Markov Model)으로서, 도 3에 도시된 바와 같이 다양한 화자들이 발성한 음성들을 전처리하고 통계적으로 모델링하여 음향 모델을 구성하며, 말뭉치 수집을 통하여 언어모델을 구성한다. 도 3은 본 발명의 실시예에 따른 학습 실행부의 변환부 동작 과정을 나타낸 도면이다. 도 3에 도시된 바와 같이, 학습 실행부(114)에서 변환부(220)는 전처리 과정, 음향 모델 과정, 언어 모델 및 후처리 과정을 통하여 음성을 문자 데이터로 변환하게 되는 것이다.
또한, 변환부(210)는 사용자에 의해 입력된 문자(Text)를 음성(Speech)으로 변환하는 TTS(Text To Speech) 기능도 수행할 수 있다. 물론, 변환부(210)는 사용자로부터 입력된 음성(Speech)을 문자(Text)로 변환하는 STT(Speech To Text) 기능을 수행할 수 있다.
임베딩 처리부(220)는 변환된 문자를 전처리하여 임베딩(Embedding) 처리할 때 자연어 처리(NLP) 과정을 수행하고 후처리하여 문자 데이터를 출력한다.
자연어 처리(National Language Processing) 기술은, 컴퓨터 과학과 인공지능과 언어학이 합쳐진 분야이다. 컴퓨터를 이용한 사람 언어의 이해, 생성, 분석을 다루는 AI 기술이다.
자연어 처리 또는 자연 언어 처리는 인간의 언어 현상을 컴퓨터와 같은 기계를 이용해서 묘사할 수 있도록 연구하고 이를 구현하는 인공지능의 주요 분야 중 하나다. 자연 언어 처리는 연구 대상이 언어이기 때문에 당연하게도 언어 자체를 연구하는 언어학과 언어 현상의 내적 기재를 탐구하는 언어 인지 과학과 연관이 깊다. 구현을 위해 수학적 통계적 도구를 많이 활용하며 특히 기계학습 도구를 많이 사용하는 대표적인 분야이다. 정보검색, QA 시스템, 문서 자동 분류, 신문기사 클러스터링, 대화형 Agent 등 다양한 응용이 이루어지고 있다. 자연 언어에 대한 연구는 오래전부터 이어져 오고 있음에도 2018년에 들어서도 아직 컴퓨터가 자연 언어를 사람처럼 이해하지는 못한다. 대신, 언어에 대한 깊은 이해없이 피상적인 확률 및 통계를 이용하여 대량의 정보를 처리하는 기술은 많이 발전한 상태이다.
본 발명은 단어와 문장을 숫자 벡터로 인코딩하는 텍스트 임베딩 기법을 활용할 수 있다. 이러한 벡터 표현은 텍스트의 언어적 내용을 포착하도록 설계되었으며 쿼리와 문서 사이의 유사도를 평가하는데 사용할 수 있다.
단어를 밀집 벡터(dense vector)의 형태로 표현하는 방법을 워드 임베딩(word embedding)이라고 한다. 그리고 이 밀집 벡터를 워드 임베딩 과정을 통해 나온 결과라고 하여 임베딩 벡터(embedding vector)라고도 한다.
워드 임베딩 방법으로는 LSA, Word2Vec, FastText, Glove 등이 있다. 케라스에서 제공하는 도구인 Embedding()은 앞서 언급한 방법들을 사용하지는 않지만, 단어를 랜덤한 값을 가지는 밀집 벡터로 변환한 뒤에, 인공 신경망의 가중치를 학습하는 것과 같은 방식으로 단어 벡터를 학습하는 방법을 사용한다.
단어의 특징과 유사도를 나타내 주는 (진정한) embedding은 Word2Vec과 같은 학습을 통한 예측 기반 방법이다.
이때 분포 가설(Distributed hypothesis)이 등장한다. 분포 가설은 같은 문맥의 단어, 즉 비슷한 위치에 나오는 단어는 비슷한 의미를 가진다라는 의미이다. 따라서 어떤 글의 비슷한 위치에 존재하는 단어는 단어 간의 유사도를 높게 측정할 것이다.
한편, 도 2에서, 학습 유도부(230)는 임베딩 처리된 결과에 따라 키워드 추천, 단순 응답, 진도 확인, 연관 학습, 단순 게임, 감성 코칭 중 하나로 학습을 유도할 수 있다.
학습 실행부(114)는 챗봇을 통해 실시간으로 학생의 궁금증을 해소해 주면서, 추가적으로 알면 좋을 연관 키워드를 추천해 준다. 이를 통해 학생은 호기심을 느끼고, 학습에 대한 흥미를 찾을 수 있다.
학습 유도부(230)는 학습 진도에 대해 체크해 주고, 필요한 학습이 뭐가 있는지 대화가 생성될 때 알려준다.
학습 유도부(230)는 기후 변화가 있을 때 날씨에 연관되게 안부를 묻고, 학습자와 감정 소통이 가능하게 한다. 예를 들면, 학습 유도부(230)는 오늘 비가 오는데 우산 꼭 챙겨가길 바래 !, 햇빛이 쨍쨍해. 오늘 기분은 어때? 등과 같이 학습자와 감정 소통을 유도할 수 있다.
학습 유도부(230)는 챗봇 내의 단순 게임을 통해 연관 학습을 추천한다. 게임으로 흥미를 유발하고, 이후에 학습을 유도하도록 하는 것이다. 학생이 물어온 질문에 대한 답과 동일한 벡터값을 가지는 키워드나 연관 학습을 추천하여, 심화된 학습에 흥미를 느끼게 한다.
도 4는 본 발명의 실시예에 따른 학습 실행부의 동작 흐름도를 나타낸 도면이다.
도 4를 참조하면, 본 발명의 실시예에 따른 학습 실행부(114)는 전면(Front) 동작과 후면(Back) 동작으로 구분할 수 있다.
전면 동작의 경우에, 하나의 서비스는, 사용자가 휴대하는 밀크T 초등에 관한 태블릿 PC에서 학습 챗봇을 실행하면(S410), 학습 챗봇은 오늘의 학습, 전체메뉴, 숙제질문에 관한 메뉴를 제공한다. 이에, 사용자는 과목을 선택하고(S420), 숙제질문을 실행한다(S430). 여기서, 숙제질문은 Q&A 데이터를 활용하거나, 학습백과사전 데이터를 활용하여 제공한다.
전면 동작의 경우에, 다른 서비스는, 사용자가 휴대하는 밀크T 초등에 관한 태블릿 PC에서 학습 챗봇을 실행하면(S440), 학습 챗봇은 학습창을 제공하고, 학습창 과목 코드를 기준으로 과목 자동 선택을 제공한다(S450). 이에, 학습 챗봇은 Q&A 데이터를 활용하거나, 학습백과사전 데이터를 활용하여 숙제질문을 제공한다(S460).
후면 동작의 경우에, 챗봇 관리자 활용 및 운영에 관한 ADMIN 기능을 제공함과 더불어 사용자 챗봇 사용 이력에 관한 CRM 기능을 제공한다.
도 5는 본 발명의 실시예에 따른 손가락을 이용한 학습 시스템의 구성을 개략적으로 나타낸 구성도이다.
즉, 도 5는 본 발명의 실시예에 따른 손가락을 이용한 학습 시스템이 적용된 학습자 단말기(104)의 내부 구성을 나타낸 도면이다.
도 5를 참조하면, 본 발명이 적용된 학습자 단말기(104)는, 터치 입출력부(502), 저장부(504), 매칭부(506), 학습 실행부(508) 및 제어부(510)를 포함할 수 있다.
터치 입출력부(502)는 손가락 터치를 입력받으며, 학습 메뉴를 화면 상으로 제공한다.
저장부(504)는 학습 메뉴에 해당하는 하나 이상의 학습 컨텐츠를 저장하고 있다. 또한, 저장부(504)는 터치 입출력부를 통해 획득된 지문 영상 또는 터치 입출력부를 통해 등록된 지문 영상을 저장할 수 있다.
매칭부(506)는 터치 입출력부를 통해 획득된 지문 이미지와 상기 학습 메뉴에 따른 학습 컨텐츠를 매칭시킨다.
학습 실행부(508)는 터치 입출력부의 화면 상으로 상기 학습 메뉴를 제공하고, 선택된 학습 메뉴에 해당하는 학습 컨텐츠를 실행한다.
제어부(510)는 터치 입출력부를 통해 선택된 학습 메뉴에 해당하는 학습 컨텐츠와, 터치 입출력부를 통해 획득된 지문 이미지를 매칭부를 통해 매칭하여 등록하고, 학습 실행부가 실행되고 터치 입출력부를 통해 손가락 터치가 입력되어, 등록된 지문 이미지와 동일한 지문 이미지가 터치 입출력부를 통해 획득되면, 등록된 지문 이미지에 매칭된 학습 컨텐츠가 실행되도록 학습 실행부를 제어할 수 있다.
학습자 단말기(104)로 제공받은 학습 메뉴는 밀크T 학교공부, 수준별 수학, 수준별 영어, 창의 사고력, 밀크T 중학 종합반 메뉴를 포함한다.
밀크T 학교공부 메뉴는 과목별 공부, 시험대비 특강, 첨삭과외, 중학특강 메뉴를 포함하고, 수준별 수학 메뉴는 스토리텔링 개념학습, 영역별 수학, FunFun 연산게임, 유형격파, 실력충전 메뉴를 포함한다.
수준별 영어 메뉴는 술술 Speaking, 쏙쏙 Words, 팡팡 Phonics, 줄줄 Reading, 탄탄 Grammer, 영어 Songs, 영어 Library 메뉴를 포함하고, 창의 사고력 메뉴는 특별 학습, 숙제해결, 천재북클럽, 초등생활 메뉴를 포함한다.
밀크T 중학 종합반 메뉴는 스터디 매니져, 멀티학습 플레이어, 자기주도 학습, 수학 영어 첨삭 서비스, 수학 질답 커뮤니티, 10분 수학 영어 메뉴를 포함할 수 있다.
도 6및 도 7은 본 발명의 실시예에 따른 학습자 단말기를 개략적으로 나타낸 평면도들이다.
도 6 및 도 7을 참조하면, 본 발명의 실시예에 따른 학습자 단말기(104)는 표시 패널(PN) 및 표시 패널(PN)을 구동하기 위한 구동 회로(DCP)를 포함할 수 있다.
표시 패널(PN)은 표시 영역(DA)과 비표시 영역(NDA)을 포함할 수 있다. 표시 영역(DA)은 화소들(PXL)이 제공됨으로써 영상이 표시될 수 있고, 비표시 영역(NDA)은 표시 영역(DA)의 적어도 일측에 위치할 수 있다. 예를 들어, 비표시 영역(NDA)은 표시 영역(DA)을 둘러싸는 형태로 제공될 수 있다.
표시 영역(DA)에는 복수의 화소들(PXL)이 제공될 수 있다. 실시예에 따라, 화소들(PXL) 각각은 적어도 하나의 발광 소자를 포함할 수 있다. 실시예에 따라, 발광 소자는 유기 발광 다이오드 또는 마이크로 내지 나노 스케일 범위의 크기를 가지는 초소형 무기 발광 다이오드들을 포함한 발광 유닛일 수 있으나, 본 발명이 이에 한정되지 않는다. 표시 장치(DD)는 입력되는 영상 데이터에 대응하여 화소들(PXL)을 구동함으로써 표시 영역(DA)에서 영상을 표시할 수 있다.
비표시 영역(NDA)은 표시 영역(DA)의 적어도 일측을 둘러싸는 영역으로서, 표시 영역(DA)을 제외한 나머지 영역일 수 있다. 실시예에 따라, 비표시 영역(NDA)은 배선 영역, 패드 영역, 및/또는 각종 더미 영역 등을 포함할 수 있다.
표시 영역(DA)은 터치 입출력부(502)를 포함할 수 있다. 터치 입출력부(502)는, 지문 센서(FPS) 및 지문 검출부(FPDP)를 포함할 수 있다.
본 발명의 실시예에 따른 학습자 단말기(104)의 표시 패널(PN)에서 일 영역은 사용자의 지문 등을 감지할 수 있는 감지 영역(SA)으로 설정될 수 있다. 즉, 표시 영역(DA)의 적어도 일부가 감지 영역(SA)일 수 있다. 이러한 감지 영역(SA)은 표시 영역(DA)에 제공된 화소들(PXL) 중 적어도 일부의 화소들(PXL)을 포함할 수 있다.
여기서 감지 영역(SA)은 사용자의 지문을 감지하는 지문 센서(FPS)를 포함할 수 있다.
도 6에 도시된 바와 같이 표시 영역(DA) 중 일부의 영역만이 감지 영역(SA)으로 설정될 수 있다. 또한 다른 실시예에 따라 도 7에 도시된 바와 같이 표시 영역(DA)의 전체가 감지 영역(SA)으로 설정될 수 있다. 표시 영역(DA) 전체가 감지 영역(SA)으로 설정되는 경우, 표시 영역(DA)을 둘러싼 비표시 영역(NDA)은 비감지 영역(NSA)이 될 수 있다. 감지 영역(SA)에는 복수의 화소들(PXL)과 함께 복수의 광 센서들(PSR)이 배치될 수 있다.
광 센서들(PSR)은 표시 장치(DD)에서 영상이 표시되는 일면(일 예로, 영상 표시면)과 마주보는 타면 측에 배치될 수 있다. 즉, 광 센서들(PSR)은 표시 장치(DD)에서 영상이 표시되지 않는 면에 배치될 수 있다. 이러한 광 센서들(PSR)은 감지 영역(SA) 또는 그 주변에 배치된 적어도 하나의 화소(PXL)에 구비된 발광 소자를 지문 감지 등을 위한 광원으로 이용할 수 있다. 이를 위해, 광 센서들(PSR)은 감지 영역(SA)에 배치된 화소들(PXL) 중 적어도 일부와 중첩되거나, 또는 화소들(PXL)의 주변에 배치될 수 있다.
이와 같은 광 센서들(PSR)은, 감지 영역(SA)의 화소들(PXL), 특히, 화소들(PXL)에 구비된 발광 소자와 함께 광 감지 방식의 지문 센서를 구성할 수 있다. 즉, 광 센서들(PSR)은 발광 소자에서 출사된 광이 사용자에 의해 반사되는 것을 감지하고, 반사광을 검출하여 사용자의 지문을 감지할 수 있다. 상술한 실시예에서 광 센서들(PSR)이 지문 감지를 위한 용도로 이용되는 것으로 설명하였으나, 본 발명이 이에 한정되는 것은 아니다. 실시예에 따라, 광 센서들(PSR)은 지문 감지 외에 터치 센서나 스캐너 등과 같은 다양한 기능을 수행하기 위한 용도로 이용될 수 있다.
상술한 본 발명의 일 실시예에 따른 발명자 단말기(104)는, 표시 영역(DA)에 포함된 감지 영역(SA)에 배치된 광 센서들(PSR)을 이용하여, 표시 패널(PN) 상에 위치한 물체의 형상이나 패턴 등을 감지할 수 있다. 일 예로, 발명자 단말기(104)는 사용자의 지문을 감지할 수 있다. 또한, 본 발명의 일 실시예에 따른 발명자 단말기(104)는 화소들(PXL)로부터 방출되는 광을 이용하여 사용자의 지문을 감지할 수 있다. 이와 같이, 별도의 외부 광원을 구비하지 않고 화소들(PXL)을 광원으로 활용하여 지문 센서 내장형 표시 장치를 구현할 경우, 발명자 단말기(104)의 두께를 줄일 수 있고, 그의 제조 비용을 줄일 수 있다. 다만, 본 발명이 이에 한정되는 것은 아니고, 지문 감지를 위한 별도의 외부 광원이 채용될 수도 있다.
구동 회로(DCP)는 표시 패널(PN)을 구동할 수 있다. 예를 들어, 구동 회로(DCP)는 표시 패널(PN)로 영상 데이터에 대응하는 데이터 신호를 출력하거나, 광 센서들(PSR)을 위한 구동 신호를 출력하고 광 센서들(PSR)로부터 수신되는 전기적 신호(일 예로, 센싱 신호)를 수신할 수 있다. 구동 회로(DCP)는 전기적 신호들을 이용하여 사용자의 지문 형태를 검출할 수 있다.
실시예에 따라, 구동 회로(DCP)는 패널 구동부(PNDP)와 지문 검출부(FPDP)를 포함할 수 있다. 편의를 위하여, 도 6 및 도 7에서는 패널 구동부(PNDP)와 지문 검출부(FPDP)를 분리하여 도시하였으나, 본 발명이 이에 한정되는 것은 아니다. 예를 들어, 지문 검출부(FPDP)의 적어도 일부는 패널 구동부(PNDP)와 함께 집적되거나, 패널 구동부(PNDP)와 연동하여 동작할 수 있다.
패널 구동부(PNDP)는 표시 영역(DA)의 화소들(PXL)을 순차적으로 주시하면서 화소들(PXL)로 영상 데이터 신호에 대응하는 데이터 신호를 공급할 수 있다. 이러한 경우 표시 패널(PN)은 영상 데이터에 대응하는 영상을 표시할 수 있다.
실시예에 따라, 패널 구동부(PNDP)는 화소들(PXL)로 지문 감지를 위한 구동 신호를 공급할 수 있다. 이러한 구동 신호는 화소들(PXL)이 발광하여 광 센서들(PSR)을 위한 광원으로서 동작하도록 하기 위해 제공될 수 있다. 지문 감지를 위한 구동 신호는, 표시 패널(PN) 내의 특정 영역에 마련된 화소들(PXL), 일 예로 감지 영역(SA)에 제공된 화소들(PXL)에 전달될 수 있다. 다양한 실시예에서, 지문 감지를 위한 구동 신호는 지문 검출부(FPDP)에 의하여 감지 영역(SA)의 화소들(PXL)로 전달될 수 있다.
지문 검출부(FPDP)는 광 센서들(PSR)을 구동하기 위한 구동 신호(일 예로, 구동 전압)를 광 센서들(PSR)로 전달하고, 광 센서들(PSR)로부터 수신되는 전기적 신호들에 기초하여 사용자 지문을 검출할 수 있다.
도 8은 도 6 또는 도 7에 도시된 학습자 단말기를 개략적으로 도시한 단면도이고, 도 9는 도 8의 선택적 광 투과부를 개략적으로 나타낸 평면도이다.
도 6, 도 7, 도 8 및 도 9를 참조하면, 본 발명의 실시예에 따른 학습자 단말기(104)는, 표시 패널(PN), 터치 센서(TS), 및 윈도우(WD)를 포함할 수 있다.
표시 패널(PN)은 지문 센서(SA)를 포함하고, 지문 센서(SA)는 광 감지 어레이부(LSL) 및 선택적 광 투과부(LBL)를 포함할 수 있다.
광 감지 어레이부(LSL)는 광을 방출하는 발광 소자(LD)들, 상기 발광 소자들에서 방출되어 지문 접촉면에 접촉한 지문에 의해 반사된 광을 센싱하여 지문에 대응하는 영상을 생성하는 적어도 하나의 광 센서(PSR)를 포함한다.
선택적 광 투과부(LBL)는 광 센서(PSR)로 입사되는 광의 진행 경로를 형성하는 복수의 핀홀들을 포함한다.
본 발명의 실시예에 따른 학습자 단말기(104)는, 영상이 표시되는 제1 면(SF1) 및 제1 면(SF1)과 마주보는 제2 면(SF2)을 포함하며, 광 감지 어레이부(LSL)는 제1 면(SF1)보다 제2 면(SF2)에 인접하게 위치할 수 있다. 본 발명의 일 실시예에 있어서, 학습자 단말기(104)의 제1 면(SF1)은 영상이 표시되는 표시면일 수 있다. 학습자 단말기(104)의 제1 면(SF1)의 일 영역은 사용자의 손가락 지문이 접촉되는 지문 접촉면일 수 있다.
표시 패널(PN)은 영상을 표시할 수 있다. 표시 패널(PN)의 종류는 영상을 표시하는 것으로서 특별히 한정되는 것은 아니다. 표시 패널(PN)로는 유기 발광 표시 패널(Organic Light Emitting Display panel, OLED panel)과 같은 자발광이 가능한 표시 패널이 사용될 수 있다. 또한, 표시 패널(PN)로는 액정 표시 패널(Liquid Crystal Display panel, LCD panel), 전기 영동 표시 패널(Electro-Phoretic Display panel, EPD panel), 및 일렉트로웨팅 표시 패널(Electro-Wetting Display panel, EWD panel)과 같은 비발광성 표시 패널이 사용될 수 있다. 비발광성 표시 패널이 본 발명의 실시예에 따른 학습자 단말기(104)의 표시 패널(PN)로 사용되는 경우, 학습자 단말기(104)는 표시 패널(PN)로 광을 공급하는 백라이트 유닛을 구비할 수 있다.
표시 패널(PN)은 기판(SUB), 선택적 광 투과부(LBL), 표시 모듈(DM), 및 박막 봉지층(TFE)을 포함할 수 있다. 본 발명의 일 실시예에 있어서, 표시 모듈(DM)은 광을 방출하는 발광 소자(LD)를 포함한 표시 소자부(DPL)와 발광 소자(LD)를 구동하는 회로 소자들을 포함한 화소 회로부(PCL)를 포함할 수 있다.
기판(SUB)은 표시 패널(PN)의 베이스 기재로서, 실질적으로 투명한 투광성 기판일 수 있다. 실시예에 따라, 기판(SUB)은 유리 또는 강화 유리를 포함한 경성 기판(rigid substrate), 또는 플라스틱 재질의 가요성 기판(flexible substrate)일 수 있다. 본 발명의 일 실시예에 있어서, 기판(SUB)은 가요성 기판일 수 있다.
화소 회로부(PCL)는 기판(SUB)의 일면(일 예로, 상면) 상에 배치되며, 적어도 하나의 도전층을 포함할 수 있다. 일 예로, 화소 회로부(PCL)는 화소 영역들(PXA) 각각에 형성되어 해당 화소(PXL)의 화소 회로를 구성하는 복수의 회로 소자들과, 화소들(PXL)을 구동하기 위한 각종 전원 및 신호를 공급하기 위한 배선들을 포함할 수 있다. 이러한 경우, 화소 회로부(PCL)는 적어도 하나의 트랜지스터 및 커패시터 등과 같은 각종 회로 소자들과, 이에 연결되는 배선들을 구성하기 위한 복수의 도전층들을 포함할 수 있다. 또한, 화소 회로부(PCL)는 복수의 도전층들 사이에 제공된 적어도 하나의 절연층을 포함할 수 있다. 또한, 화소 회로부(PCL)는 표시 패널(PN)의 비표시 영역(NDA)에 배치되어 화소들(PXL)에 연결된 배선들에 대응하는 전원 및 신호를 공급하는 팬아웃 라인부를 포함할 수 있다.
표시 소자부(DPL)는 화소 회로부(PCL)를 포함한 기판(SUB)의 일면 상에 배치될 수 있다. 실시예에 따라, 표시 소자부(DPL)는, 컨택 홀 등을 통해 화소 회로부(PCL)의 회로 소자들 및/또는 배선들에 연결되는 복수의 발광 소자들(LD)을 포함할 수 있다. 일 예로, 표시 소자부(DPL)는, 화소 영역들(PXA) 각각에 적어도 하나씩 배치된 발광 소자(LD)를 포함할 수 있다. 즉, 표시 소자부(DPL)는 복수 개의 발광 소자들(LD)을 포함할 수 있다. 본 발명의 일 실시예에 있어서, 발광 소자들(LD)은 유기 발광 다이오드이거나 무기 결정 구조를 성장시킨 구조를 이용한 초소형의 발광 소자일 수 있다.
박막 봉지층(TFE)은 적어도 표시 영역(DA)을 커버하도록 표시 소자부(DPL) 상부에 배치될 수 있다.
선택적 광 투과부(LBL)는 적어도 감지 영역(SA)에서 기판(SUB)과 화소 회로부(PCL) 사이에 위치할 수 있다. 일 예로, 선택적 광 투과부(LBL)는 기판(SUB)과 화소 회로부(PCL)의 사이에 위치하도록 기판(SUB)의 일면 상에 배치될 수 있다. 이러한 선택적 광 투과부(LBL)는 복수 개의 핀홀들(PIH) 및 차광 패턴(LBP)을 포함할 수 있다.
차광 패턴(LBP)은 차광성 및/또는 흡광성 물질로 구성될 수 있다. 일 예로, 차광 패턴(LBP)은 인접한 핀홀들(PIH) 사이에서 불투명한 금속층으로 구성될 수 있다. 핀홀들(PIH)은 차광 패턴(LBP)의 적어도 일 영역을 관통하는 관통홀일 수 있다.
선택적 광 투과부(LBL)는 일정 크기 및 간격을 가지도록 차광 패턴(LBP)에 균일하게 제공된 복수의 핀홀들(PIH)을 포함할 수 있다. 다만, 본 발명이 이에 한정되는 것은 아니며, 핀홀들(PIH)의 크기, 형상, 개수, 해상도 및/또는 배열 구조 등은 다양하게 변경될 수 있다. 예를 들어, 핀홀들(PIH)은 불규칙적으로 차광 패턴(LBP)에 제공될 수도 있다.
핀홀들(PIH)은 입사되는 광의 회절을 방지하면서, 보다 또렷한 지문의 형태를 감지할 수 있을 정도의 적절한 크기 및 간격으로 형성될 수 있다. 예를 들어, 핀홀들(PIH) 각각의 폭은 광의 회절을 방지하기 위하여 입사되는 광의 파장에 대하여 대략 10배 이상으로 설정될 수 있다. 핀홀들(PIH)은 일정한 간격으로 이격될 수 있다. 핀홀들(PIH)은, 도 8에 도시된 바와 같이 격자 배열(grid arrangement)을 이룰 수 있다. 핀홀들(PIH) 사이의 간격은 차광층(LBL)과 광 감지 어레이부(LSL) 사이의 거리, 입사되는 광의 파장, 핀홀들(PIH)에 대하여 요구되는 관측 시야(시야각, Field Of View: FOV)를 기초로 결정될 수 있다. 예를 들어, 상대적으로 선명한 지문의 형태를 감지하기 위해서 이웃한(또는 인접한) 두 핀홀들(PIH) 사이에는 3개 내지 15개의 화소들(PXL)이 위치할 수 있으나, 본 발명이 이에 한정되는 것은 아니다. 실시예에 따라, 이웃한(또는 인접한) 두 핀홀들(PIH) 사이에 15개 이상의 화소들(PXL)이 위치하거나 3개 이하의 화소들(PXL)이 위치할 수도 있다.
핀홀들(PIH) 각각은 평면 상으로 볼 때 원 형상으로 이루어질 수 있으나, 본 발명이 이에 한정되는 것은 아니다. 실시예에 따라, 핀홀들(PIH)은 정삼각형, 정사각형, 및 정육각형 등을 포함한 다양한 형상으로 이루어질 수 있다. 핀홀들(PIH)의 밀도(또는 해상도)는 감지 영역(SA) 전체에 균일할 수 있으나, 이에 한정되는 것은 아니며, 실시예에 따라 핀홀들(PIH)의 밀도는 감지 영역(SA)의 일 영역에서는 높고, 감지 영역(SA)의 다른 영역에서는 낮을 수 있다. 핀홀들(PIH) 각각은 광 감지 어레이부(LSL)로 입사되는 반사광(RL)이 수렴하는 초점(Focal Point, F)이 형성되는 유효 홀일 수 있다.
선택적 광 투과부(LBL)로 입사되는 광 중 일부는 차광 패턴(LBP)에 의해 차단되고, 나머지 일부는 핀홀들(PIH)을 통과하여 광 감지 어레이부(LSL)에 도달할 수 있다. 선택적 광 투과부(LBL)는 표시 장치(DD)의 제1 면(SF1) 상에 위치한 물체, 일 예로, 사용자의 손가락 지문에서 반사되는 반사광(RL)을 선택적으로 투과시킬 수 있다. 상술한 핀홀들(PIH)은 광학적인 홀을 의미할 수 있는 것으로서, 핀홀들(PIH) 각각은 관통홀 또는 투광홀의 일종일 수 있다.
상술한 표시 패널(PN)에서, 선택적 광 투과부(LBL)는 표시 소자부(DPL)와 광 감지 어레이부(LSL) 사이에 배치되어 일부 광(일 예로, 반사광(RL))만을 선택적으로 투과시킴으로써 광의 경로 등을 제어하기 위한 광학계를 구성할 수 있다.
상술한 선택적 광 투과부(LBL)는, 표시 패널(PN)의 표시 영역(DA)에 대응되며, 표시 영역(DA)보다 크거나 혹은 동일한 크기(또는 면적)를 가질 수 있다. 일 예로, 감지 영역(SA)이 표시 영역(DA)의 전체인 경우, 선택적 광 투과부(LBL)는 표시 영역(DA)보다 크거나 동일한 크기(또는 면적)를 가질 수 있다. 다른 예로, 감지 영역(SA)이 표시 영역(DA)의 일부인 경우, 선택적 광 투과부(LBL)는 감지 영역(SA) 이상이고 표시 영역(DA) 이하인 크기(또는 면적)를 가지거나 감지 영역(SA)과 동일한 크기(또는 면적)를 가질 수 있다. 또 다른 예로, 감지 영역(SA)이 표시 영역(DA)의 일부인 경우, 선택적 광 투과부(LBL)는 감지 영역(SA)과 동일한 크기(또는 면적)를 가질 수 있다.
광 감지 어레이부(LSL)는 표시 패널(PN)의 적어도 일 영역과 중첩되도록 기판(SUB)의 타면(또는 하부 면)에 부착될 수 있다. 일 예로, 광 감지 어레이부(LSL)는 적어도 감지 영역(SA)에서 표시 패널(PN)과 중첩되도록 배치될 수 있다. 이러한 광 감지 어레이부(LSL)는 소정의 밀도(또는 해상도) 및/또는 간격으로 분산된 복수의 광 센서들(PSR)을 포함할 수 있다.
광 센서들(PSR)은 다수의 광전 변환 소자들(예컨대, 포토 다이오드, 포토트랜지스터, 포토 게이트, 및 핀드 포토 다이오드 등)이 형성된 반도체층(layer) 또는 반도체 칩으로 구현될 수 있다. 실시예에 따라, 광 센서들(PSR)은 CIS(CMOS Image Sensor) 또는 CCD(Charge Coupled Device)와 같은 이미지 센서가 구현된 반도체 레이어일 수 있다.
광 감지 어레이부(LSL)의 광 센서들(PSR)은 핀홀들(PIH)을 통과하여 수신되는 반사광(RL)에 대응하는 전기적 신호를 센싱 신호로서 출력할 수 있다. 각각의 광 센서(PSR)로 수신되는 반사광(RL)은 사용자의 손가락에 형성되는 지문의 골(valley)에 의한 것인지 아니면 융선(ridge)에 의한 것인지 여부에 따라 상이한 광 특성(일 예로, 주파수, 파장, 크기 등)을 가질 수 있다. 따라서, 광 센서들(PSR) 각각은 반사광(RL)의 광 특성에 대응하여 상이한 전기적 특성을 갖는 센싱 신호(또는 전기 신호)를 출력할 수 있다. 광 센서들(PSR)에 의해 출력된 센싱 신호는 이미지 데이터로 변환되어 사용자의 지문 식별을 위해 사용될 수 있다.
본 발명의 일 실시예에 있어서, 광 센서들(PSR)을 포함한 광 감지 어레이부(LSL)와 핀홀들(PIH)을 포함한 선택적 광 투과부(LBL)는 학습자 단말기(104)의 감지 영역(SA) 내에서 지문 센서의 광학계를 구성할 수 있다.
본 발명의 일 실시예에 있어서, 감지 영역(SA)의 화소들(PXL), 핀홀들(PIH), 및 광 센서들(PSR)을 얼라인함에 있어, 핀홀들(PIH) 각각의 직경(d) 및 두께(T)는 각각의 핀홀(PIH)을 기준으로 하여 윗 면 및 아랫 면에 대한 화각(θ, Angle of View)을 결정하는 파라미터에 해당할 수 있다. 광 센서들(PSR)을 포함한 광 감지 어레이부(LSL)와, 핀홀들(PIH)을 포함한 선택적 광 투과부(LBL)의 크기, 간격, 및/또는 해상도 등을 제어함으로써, 상술한 파라미터가 결정될 수 있다.
상술한 구성들을 포함한 표시 패널(PN) 상에 터치 센서(TS) 및 윈도우(WD)가 배치될 수 있다.
터치 센서(TS)는 표시 패널(PN)에서 영상이 표시되는 면 상에 배치되어 사용자의 터치 입력 및/또는 호버(hover) 입력을 수신할 수 있다. 터치 센서(TS)는 사용자의 손이나 이와 유사한 도전체와 같은 별도의 입력 수단의 접촉 및/또는 근접에 의해 터치 커패시턴스를 감지하여 학습자 단말기(104)의 터치 입력 및/또는 호버 입력을 인식할 수 있다. 여기서, 터치 입력은 사용자의 손이나 별도의 입력 수단에 의해 직접 터치(또는 접촉)되는 것을 의미하고, 호버 입력은 사용자의 손이나 별도의 입력 수단이 터치 센서(TS)를 포함한 학습자 단말기(104)의 근처에 있지만 터치하지는 않는 것을 의미할 수 있다.
또한, 터치 센서(TS)는 사용자의 터치 동작을 감지하고, 터치 동작에 응답하여 학습자 단말기(104)에 표시된 객체를 원래 표시된 위치에서 다른 위치로 이동할 수 있다. 여기서, 터치 동작이란, 단일의 싱글 터치, 멀티 터치, 및 터치 제스처 중의 적어도 하나의 터치를 포함할 수 있다. 일 예로, 사용자의 손가락을 터치 센서(TS)의 터치면 상에 터치한 상태에서 일정 거리를 움직여 텍스트나 영상을 확대하거나 축소하는 등의 특정 제스처 등을 포함한 다양한 터치 동작이 있을 수 있다.
윈도우(WD)는 표시 패널(PN)을 포함한 학습자 단말기(104)의 최상단에 배치되는 부재로서, 실질적으로 투명한 투광성 기판일 수 있다. 윈도우(WD)는 표시 패널(PN)로부터의 영상을 투과시킴과 동시에 외부의 충격을 완화시킴으로써, 외부의 충격에 상기 표시 패널(PN)이 파손되거나 오동작하는 것을 방지할 수 있다. 여기서, 외부의 충격이라 함은, 압력, 스트레스 등으로 표현할 수 있는 외부로부터의 힘으로써, 표시 패널(PN)에 결함을 일으킬 수 있는 힘을 의미할 수 있다. 이러한 윈도우(WD)는 경성 또는 가요성의 기재를 포함할 수 있으며, 윈도우(WD)의 구성 물질이 특별히 한정되는 것은 아니다.
상술한 실시예에 따른 학습자 단말기(104)의 지문 감지 방법을 간략히 설명하면 다음과 같을 수 있다. 광 센서들(PSR)이 활성화되는 지문 감지 기간 동안, 사용자의 손가락(예를 들어, 지문 영역)을 감지 영역(SA)에 접촉 또는 근접시킨 상태에서, 감지 영역(SA)의 화소들(PXL)에 구비된 발광 소자들(LD)이 발광될 수 있다. 일 예로, 지문 감지 기간 동안 감지 영역(SA)의 모든 화소들(PXL)에 구비된 발광 소자들(LD)이 동시에 또는 순차적으로 발광될 수 있다. 또는, 감지 영역(SA)의 화소들(PXL) 중 소정 간격으로 일부 화소들(PXL)에 포함된 발광 소자들(LD)만 발광되거나, 특정 색상의 광(일 예로, 청색 광과 같이 단파장대의 광)을 방출하는 일부 화소들(PXL)에 포함된 발광 소자들(LD)만이 선택적으로 발광될 수 있다.
화소들(PXL)로부터 방출된 광(EL) 중 일부가 사용자의 손가락에서 반사되어 학습자 단말기(104)의 각 층에 형성된 핀홀들(PIH)을 통과하여 광 센서들(PSR)로 입사될 수 있다. 이때, 각각 지문의 융선(ridge)과 골(valley)에서 반사되는 반사광(RL)의 광량 차이 및/또는 파형에 기초하여 사용자의 지문 형태(지문 패턴)가 검출될 수 있다.
도 10은 본 발명의 일 실시예에 따른 지문 센서를 포함한 학습자 단말기의 감지 영역의 일 예를 개략적으로 도시한 사시도이다.
도 6 내지 도 10을 참조하면, 학습자 단말기(104)는 표시 패널(PN), 윈도우(WD), 및 지문 센서(FPS)를 포함할 수 있다. 도면에 직접적으로 도시하지 않았으나, 표시 패널(PN)과 윈도우(WD) 사이에 터치 센서(TS)가 위치할 수 있다.
지문 센서(FPS)는 사용자 지문의 융선(ridge)과 융선(ridge) 사이의 골(valley)에 의해 반사된 광(또는 빛)을 광학 센서들(PSR)을 통해 센싱함으로써 사용자의 지문을 인식하는 광학식 지문 센서일 수 있다. 일 실시예에 있어서, 지문 센서(FPS)는 지문에 의해 반사된 반사광(RL)을 통과시키는 선택적 광 투과부(LBL) 및 선택적 광 투과부(LBL)를 통과한 반사광(RL)을 센싱하여 전기 신호를 발생하는 광 감지 어레이부(LSL)를 포함할 수 있다.
도 10에서는, 선택적 광 투과부(LBL)가 광 감지 어레이부(LSL)와 함께 지문 센서(FPS)를 구성하는 것을 직접적으로 설명하기 위하여 선택적 광 투과부(LBL)를 표시 패널(PN)로부터 독립된 구성으로 도시하였으나, 본 발명이 이에 한정되는 것은 아니다.
실시예에 따라, 지문 센서(FPS)를 구현함에 있어서 광 감지 어레이부(LSL)에 대한 패키징 과정에서 선택적 광 투과부(LBL)가 광 감지 어레이부(LSL)에 적층될 수 있다. 또는, 광 감지 어레이부(LSL)를 구현하기 위한 공정 과정에서, 광 감지 어레이부(LSL)를 구성하는 하나 이상의 레이어에 선택적 광 투과부(LBL)가 레이어 형태로 광 감지 어레이부(LSL)에 적층될 수 있다. 즉, 선택적 광 투과부(LBL)가 광 감지 어레이부(LSL)에 내장된 형태로 지문 센서(FPS)가 구현될 수 있으며, 선택적 광 투과부(LBL)가 내장된 광 감지 어레이부(LSL)에 대해 패키지 과정이 수행될 수 있다. 즉, 실시예에 따라, 선택적 광 투과부(LBL)와 광 감지 어레이부(LSL)는 일체형으로 형성될 수 있다. 그러나, 본 발명이 이에 한정되는 것은 아니다. 실시예에 따라, 선택적 광 투과부(LBL)는 도 8에 도시된 바와 같이 표시 패널(PN)의 기판(SUB)과 화소 회로부(PCL) 사이에 배치될 수 있으며, 기판(SUB)을 사이에 두고 광 감지 어레이부(LSL)와 함께 학습자 단말기(104)의 지문 센서(FPS)를 구성할 수 있다.
선택적 광 투과부(LBL)는 광 투과율 및 반사율이 낮은 재료를 이용하여 다양한 방식에 의해 구현될 수 있다. 일 예로, 선택적 광 투과부(LBL)는 광(또는 빛)을 차단하면서 반사율이 낮은(또는, 흡수율이 높은) 특성을 가짐과 함께, 온도 또는 습도 변화에도 그 경도(hardness)가 유지될 수 있는 재료를 이용하여 구현될 수 있다.
본 발명의 일 실시예에 있어서, 표시 패널(PN)의 표시 모듈(DM)과 선택적 광 투과부(LBL)는 대략 평행하게 배치될 수 있다. 이에 따라, 표시 모듈(DM) 내의 다수의 발광 소자들(LD)로부터의 광(또는 빛, EL)이 윈도우(WD)에 위치한 지문 방향으로 전달될 수 있으며, 지문에 의해 반사된 반사광(RL)이 선택적 광 투과부(LBL)의 핀홀들(PIH)에 의해 형성된 화각(θ) 내에서 선택적 광 투과부(LBL)로 전달될 수 있다.
지문 센서(FPS)는, 학습자 단말기(104)에 접촉하거나 근접한 지문을 감지할 수 있다. 사용자의 지문이 학습자 단말기(104)의 제1 면(SF1) 상에 놓여질 때, 표시 모듈(DM) 내의 발광 소자들(LD)로부터 방출된 광이 광원이 되어 사용자의 지문으로 전달 및 반사되고, 반사된 반사광(RL)은 표시 모듈(DM) 및 기판(SUB)을 투과하여(또는 통과하여) 선택적 광 투과부(LBL)의 핀홀들(PIH)을 통해 광 감지 어레이부(LBL)로 전달될 수 있다.
광 감지 어레이부(LSL)는 복수의 광 센서들(PSR)을 포함하고, 각각의 광 센서(PSR)는 지문의 서로 다른 영역에 의해 반사된 반사광(RL)을 센싱하며, 센싱된 반사광(RL)에 대응하는 전기 신호를 발생한다. 각각의 광 센서들(PSR)은 지문의 융선(ridge)에 반사된 광에 대응하는 전기 신호를 발생하거나, 융선(ridge) 사이의 골(valley)에 의해 반사된 광에 대응하는 전기 신호를 발생할 수 있다. 광이 반사된 지문의 형태에 따라 각각의 광 센서(PSR)에서 센싱된 광의 양(또는 세기)은 달라질 수 있으며, 센싱된 광의 양에 따라 서로 다른 레벨을 갖는 전기 신호가 생성될 수 있다. 즉, 복수의 광 센서들(PSR)로부터의 전기 신호는 각각 명암 정보(또는 이미지 정보)를 포함할 수 있으며, 전기 신호에 대한 처리 동작을 통해 각각의 광 센서(PSR)에 대응하는 영역이 융선(ridge)인지 또는 골(valley)인지가 판단될 수 있으며, 판단된 정보를 조합함으로써 전체적인 지문 이미지가 구성될 수 있다.
학습자 단말기(104)에서 광학적으로 샘플링되는 지문의 영역들이 정의될 수 있다. 일 예로서, 광 감지 어레이부(LSL)의 복수의 광 센서들(PSR)에 대응하여 다수의 지문 화소들(FPXL)이 정의될 수 있으며, 각각의 지문 화소(FPXL)는 하나의 핀홀(PIH)과 하나의 광 센서(PSR)에 의해 보여지는 피사체 영역에 해당할 수 있다. 본 발명의 일 실시예에 있어서, 각각의 지문 화소(FPXL)는 사용자가 접촉 또는 근접하여 사용자의 지문이 감지되는 감지 영역(SA)의 일 영역에 포함된 하나의 화소(PXL)를 의미할 수 있다. 다만, 본 발명이 이에 한정되는 것은 아니며, 실시예에 따라 감지 영역(SA)의 일 영역에 포함되는 복수개의 화소들(PXL)이 하나의 그룹을 이루어 각각의 지문 화소(FPXL)를 구성할 수도 있다.
표시 패널(PN)과 선택적 광 투과부(LBL) 상의 거리(O), 선택적 광 투과부(LBL)와 광 감지 어레이부(LSL) 사이의 거리(f), 선택적 광 투과부(LBL)의 두께(T), 각각의 핀홀(PIH)의 지름(d) 및 형태 등에 따라 각각의 핀홀(PIH)에 대응하는 지문 화소(FPXL)의 형태 및 사이즈가 결정될 수 있다.
각각의 지문 화소(FPXL) 내에서 하나의 핀 홀(PIH)에 통과될 수 있는 광을 반사하는 영역이 포함될 수 있으며, 해당 영역은 광학 샘플링 영역(OSA)으로 정의될 수 있다. 광학 샘플링 영역(OSA)에 따라, 광 감지 어레이부(LSL) 내에서도 이에 대응하는 광 센싱 영역(LSA)이 정의될 수 있다. 광 센싱 영역(LSA)은 광학 샘플링 영역(OSA)에 대응되며, 광학 샘플링 영역(OSA)에서 반사된 반사광(RL)이 하나의 핀홀(PIH)을 통과하여 광 감지 어레이부(LSL)의 광학 센서들(PSR)로 입사되는 영역을 의미할 수 있다.
상술한 바와 같이, 학습자 단말기(104) 내에 포함된 일부 구성들, 일 예로, 선택적 광 투과부(LBL)와 광 감지 어레이부(LSL)를 이용하여 광학식의 지문 센서(FPS)를 용이하게 구현함에 따라 사용자의 손가락 전체를 감지할 수 있는 대면적의 지문 센서(FPS) 구현이 가능해질 수 있다. 즉, 사용자의 손가락보다 큰 크기(또는 면적)를 갖는 대면적 지문 센서(FPS)가 구현될 수 있다.
도 11a 내지 도 11d는 본 발명의 일 실시예들에 따른 지문 화소들, 핀홀들, 및 광 센서들의 배치를 설명하기 위한 평면도들이다. 구체적으로, 도 11a 내지 도 11d는 도 10의 감지 영역(SA)에 위치하는 지문 화소들(FPXL), 핀홀들(PIH), 및 광 센서들(PSR)의 상대적 크기, 밀도(또는 해상도) 및/또는 배치 관계를 다양한 실시예에 따라 설명하기 위한 평면도들이다.
우선 도 11a를 참조하면, 감지 영역(SA)은 지문 화소들(FPXL, PXL)보다 적은 개수의 핀홀들(PIH) 및 광 센서들(PSR)을 포함할 수 있다. 예를 들어, 핀홀들(PIH) 및 광 센서들(PSR)은 지문 화소들(FPXL, PXL)보다 작은 크기를 가지되, 지문 화소들(FPXL, PXL)보다 낮은 밀도로 감지 영역(SA) 내에 분포될 수 있다.
한편, 도 11a에서는 핀홀들(PIH) 및 광 센서들(PSR)이 지문 화소들(FPXL, PXL)보다 밀도가 낮은 실시예를 도시하였으나, 본 발명이 이에 한정되는 것은 아니다. 실시예에 따라, 핀홀들(PIH) 및 광 센서들(PSR)은 일대일(1:1)로 대응하도록 실질적으로 동일한 개수 및 간격으로 감지 영역(SA)에 분포될 수 있다. 일 예로, 핀홀들(PIH) 및 광 센서들(PSR)은 일대일(1:1) 쌍을 이루어 서로 중첩되도록 배치될 수 있다. 실시예에 따라, 한 쌍을 이루는 핀홀(PIH) 및 광 센서(PSR)는 감지 영역(SA)에 배치된 어느 하나의 지문 화소(FPXL, PXL)와 중첩되도록 배치될 수 있으나, 본 발명이 이에 한정되는 것은 아니다. 일 예로, 핀홀들(PIH) 및 광 센서들(PSR)은 서로 중첩되지 않도록 교호적으로 배치되거나, 지문 화소들(FPXL, PXL)과 중첩되지 않도록 배치될 수도 있다.
핀홀들(PIH) 및 광 센서들(PSR)은 서로 동일 또는 상이한 크기를 가질 수 있다. 즉, 핀홀들(PIH) 및 광 센서들(PSR)의 상대적 크기나 밀도가 특별히 한정되지 않는다.
도 11b를 참조하면, 감지 영역(SA)은 지문 화소들(FPXL, PXL)보다 적은 개수의 핀홀들(PIH) 및 지문 화소들(FPXL, PXL)보다 많은 개수의 광 센서들(PSR)을 포함할 수 있다. 일 예로, 핀홀들(PIH) 및 광 센서들(PSR)은 지문 화소들(FPXL, PXL)보다 작은 크기를 가지되, 핀홀들(PIH)은 지문 화소들(FPXL, PXL)보다 낮은 밀도로 감지 영역(SA) 내에 분포되고, 광 센서들(PSR)은 지문 화소들(FPXL, PXL)보다 높은 밀도로 감지 영역(SA) 내에 조밀하게 분포될 수 있다.
광 센서들(PSR) 중 적어도 일부는, 적어도 하나의 핀홀(PIH) 및/또는 지문 화소(FPXL, PXL)와 중첩될 수 있으나, 본 발명이 이에 한정되는 것은 아니다. 실시예에 따라, 광 센서들(PSR) 중 일부는 핀홀들(PIH) 및/또는 지문 화소들(FPXL, PXL)과 중첩되도록 배치되고, 다른 일부는 지문 화소들(FPXL, PXL) 사이의 간극에 배치될 수도 있다.
도 11c 및 도 11d를 참조하면, 광 센서들(PSR)은 도 11b에 도시된 실시예보다 작은 크기 및 보다 높은 밀도를 가지도록 감지 영역(SA)에 분포될 수 있다. 일 예로, 광 센서들(PSR)은 핀홀들(PIH)의 간격에 비해 대략 1/10 배 내지 1/100 배 정도의 좁은 간격으로 감지 영역(SA)에 분포될 수 있다. 이러한 경우, 광 센서들(PSR)은, 지문 화소들(FPXL, PXL) 및/또는 핀홀들(PIH)과의 사이에서 일대일(1:1) 정렬이 필요하지 않을 정도로 감지 영역(SA)에 조밀하게 배치되며, 이에 따라 지문 화소들(FPXL, PXL) 및/또는 핀홀들(PIH)과 광 센서들(PSR)의 정렬 여부와 무관하게 모아레 발생이 방지 또는 최소화될 수 있다.
실시예에 따라, 핀홀들(PIH)은 동일 또는 상이한 밀도로 감지 영역(SA)에 분포될 수 있다. 일 예로, 핀홀들(PIH)은 도 11c에 도시된 바와 같이 지문 화소들(FPXL, PXL)과 동일한 밀도로 감지 영역(SA)에 분포되거나, 도 11d에 도시된 바와 같이 지문 화소들(FPXL, PXL)보다 낮은 밀도로 감지 영역(SA)에 분포될 수 있다.
도 11a 내지 도 11d에서는 핀홀들(PIH) 및 광 센서들(PSR)이 감지 영역(SA) 내에 규칙적인 어레이 형태로 배열되는 실시예가 도시되었지만, 본 발명이 이에 한정되는 것은 아니다. 실시예에 따라, 핀홀들(PIH) 및/또는 광 센서들(PSR)은 감지 영역(SA) 내에 불규칙적으로 분포되거나, 감지 영역(SA)의 각 영역 또는 구간에 따라 상이한 밀도 또는 배열 구조로 분포될 수 있다.
감지 영역(SA) 내에서 지문 화소들(FPXL, PXL), 핀홀들(PIH), 및 광 센서들(PSR)의 배치 구조 등이 상술한 실시예들에 한정되지는 않는다. 예를 들어, 감지 영역(SA)에 배치되는 지문 화소들(FPXL, PXL), 핀홀들(PIH), 및/또는 광 센서들(PSR)의 형상, 배열 형태, 상대적 크기, 개수, 밀도 및/또는 상호 배치 관계 등은 다양하게 변경될 수 있다.
도 12는 도8의 EA 영역을 확대한 단면도이다.
도 12에서는 도 8에 도시된 EA 영역, 일 예로, 하나의 화소에 포함된 화소 회로부(PCL)와 표시 소자부(DPL)를 보다 상세하게 도시하였다. 특히, 도 12에서는, 화소 회로부(PCL)에 제공된 적어도 하나의 트랜지스터(TR)와 표시 소자부(DPL)에 제공된 발광 소자(LD, OLED)를 도시하였다.
도 6 내지 도 12를 참조하면, 하나의 화소(PXL, 이하 '화소'라 함)는 기판(SUB), 기판(SUB) 상에 제공된 화소 회로부(PCL) 및 화소 회로부(PCL) 상에 제공된 표시 소자부(DPL)를 포함할 수 있다.
화소 회로부(PCL)는 버퍼층(BFL), 적어도 하나의 트랜지스터(TR), 보호층(PSV)을 포함할 수 있다. 표시 소자부(DPL)는 광을 방출하는 발광 소자(LD, OLED)를 포함할 수 있다. 설명의 편의를 위하여, 화소 회로부(PCL)를 우선 설명한 후 표시 소자부(DPL)에 대해 설명하기로 한다.
버퍼층(BFL)은 기판(SUB) 상에 제공될 수 있다. 버퍼층(BFL)은 트랜지스터(TR)에 불순물이 확산되는 것을 방지할 수 있다. 버퍼층(BFL)은 단일층으로 제공될 수 있으나, 적어도 이중층 이상의 다중층으로 제공될 수도 있다. 버퍼층(BFL)이 다중층으로 제공되는 경우, 각 층은 동일한 재료로 형성되거나 또는 서로 다른 재료로 형성될 수 있다. 버퍼층(BFL)은 기판(SUB)의 재료 및/또는 공정 조건 등에 따라 생략될 수도 있다. 버퍼층(BFL)은 무기 재료를 포함한 무기 절연막이거나 또는 유기 재료를 포함한 유기 절연막일 수 있다.
트랜지스터(TR)는 표시 소자부(DPL)의 발광 소자들(LD, OLED)에 전기적으로 연결되어 발광 소자(LD, OLED)를 구동하는 구동 트랜지스터를 포함할 수 있다. 도면에 직접적으로 도시하지 않았으나, 트랜지스터(TR)는 구동 트랜지스터를 스위칭하는 스위칭 트랜지스터를 포함할 수 있다.
트랜지스터(TR)는 반도체층(SCL), 게이트 전극(GE), 제1 단자(SE), 및 제2 단자(DE)를 포함할 수 있다. 제1 단자(SE)는 소스 전극 및 드레인 전극 중 어느 하나의 전극일 수 있으며, 제2 단자(DE)는 나머지 하나의 전극일 수 있다. 예를 들어, 제1 단자(SE)가 소스 전극일 경우 제2 단자(DE)는 드레인 전극일 수 있다.
반도체층(SCL)은 버퍼층(BFL) 상에 배치될 수 있다. 반도체층(SCL)은 제1 단자(SE)에 접촉되는 제1 영역과 제2 단자(DE)에 접촉되는 제2 영역을 포함할 수 있다. 제1 영역과 제2 영역 사이의 영역은 채널 영역일 수 있다. 반도체층(SCL)은 폴리 실리콘, 아몰퍼스 실리콘, 산화물 반도체 등으로 이루어진 반도체 패턴일 수 있다. 채널 영역은 불순물이 도핑되지 않는 반도체 패턴으로서, 진성 반도체일 수 있다. 제1 영역 및 제2 영역은 불순물이 도핑된 반도체 패턴일 수 있다.
게이트 전극(GE)은 게이트 절연층(GI)을 사이에 두고 반도체층(SCL) 상에 제공될 수 있다. 게이트 절연층(GI)은 무기 재료를 포함한 무기 절연막일 수 있다.
제1 단자(SE)와 제2 단자(DE) 각각은 층간 절연층(ILD)과 게이트 절연층(GI)을 관통하는 관통 홀을 통해 반도체층(SCL)의 제1 영역 및 제2 영역에 접촉될 수 있다. 층간 절연층(ILD)은 무기 재료를 포함한 무기 절연막일 수 있으나, 본 발명이 이에 한정되는 것은 아니며, 실시예에 따라 유기 재료를 포함한 유기 절연막일 수도 있다.
상술한 실시예에 있어서, 트랜지스터(TR)의 제1 및 제2 단자들(SE, DE)이 반도체층(SCL)과 전기적으로 연결된 별개의 전극으로 설명하였으나, 본 발명이 이에 한정되는 것은 아니다. 실시예에 따라, 트랜지스터(TR)의 제1 단자(SE)는 반도체층(SCL)의 채널 영역에 인접한 제1 및 제2 영역 중 하나의 영역일 수 있으며, 상기 트랜지스터(TR)의 제2 단자(DE)는 반도체층(SCL)의 채널 영역에 인접한 제1 및 제2 영역들 중 나머지 영역일 수 있다. 이러한 경우, 트랜지스터(TR)의 제2 단자(DE)는 브릿지 전극, 또는 컨택 전극 등을 포함한 연결 수단을 통해 표시 소자부(DPL)의 발광 소자(LD, OLED)에 전기적으로 연결될 수 있다.
본 발명의 일 실시예에 있어서, 화소 회로부(PCL)에 포함된 트랜지스터(TR)는 LTPS 트랜지스터로 구성될 수 있으나, 본 발명이 이에 한정되는 것은 아니며, 실시예에 따라, 산화물 반도체 박막 트랜지스터로 구성될 수도 있다. 또한, 실시예에 따라, 화소 회로부(PCL)는 LTPS 박막 트랜지스터로 이루어진 적어도 하나의 트랜지스터(TR)와 산화물 반도체 박막 트랜지스터로 이루어진 적어도 하나의 트랜지스터(TR)를 포함할 수 있다. 추가적으로, 본 발명의 일 실시예에 있어서, 트랜지스터(TR)가 탑 게이트(top gate) 구조의 박막 트랜지스터인 경우를 예로서 설명하였으나, 본 발명이 이에 한정되는 것은 아니다. 실시예에 따라, 트랜지스터(TR)는 바텀 게이트(bottom gate) 구조의 박막 트랜지스터일 수도 있다.
트랜지스터(TR) 상에는 보호층(PSV)이 제공될 수 있다. 보호층(PSV)은 트랜지스터(TR) 상에 제공 및/또는 형성되어 트랜지스터(TR)를 커버할 수 있다. 보호층(PSV)은 유기 절연막, 무기 절연막, 또는 무기 절연막 상에 배치된 유기 절연막을 포함하는 형태로 제공될 수 있다. 여기서, 무기 절연막은 실리콘 산화물(SiOx), 실리콘 질화물(SiNx) 중 적어도 하나를 포함할 수 있다. 유기 절연막은 광을 투과시킬 수 있는 절연 물질을 포함할 수 있다. 예를 들어, 유기 절연막은 아크릴계 수지(polyacrylates resin), 에폭시계 수지(epoxy resin), 페놀 수지(phenolic resin), 폴리아미드계 수지(polyamides resin), 폴리이미드계 수지(polyimides rein), 불포화 폴리에스테르계 수지(unsaturated polyesters resin), 폴리페닐렌 에테르계 수지(poly-phenylen ethers resin), 폴리페닐렌 설파이드계 수지(poly-phenylene sulfides resin), 및 벤조사이클로부텐 수지(benzocyclobutene resin) 중 적어도 하나를 포함할 수 있다.
다음으로, 표시 소자부(DPL)에 대해 설명한다.
표시 소자부(DPL)는 보호층(PSV) 상에 제공된 발광 소자(LD, OLED)를 포함할 수 있다. 발광 소자(LD, OLED)는 제1 전극(AE), 발광층(EML), 및 제2 전극(CE)을 포함할 수 있다.
제1 전극(AE) 및 제2 전극(CE) 중 하나는 애노드 전극일 수 있으며, 나머지는 캐소드 전극일 수 있다. 예를 들어, 제1 전극(AE)이 애노드 전극일 수 있으며 제2 전극(CE)이 캐소드 전극일 수 있다. 발광 소자(LD, OLED)가 전면 발광형 유기 발광 소자인 경우, 제1 전극(AE)이 반사형 전극이고, 제2 전극(CE)이 투과형 전극일 수 있다. 본 발명의 일 실시예에서는, 발광 소자(LD, OLED)가 전면 발광형 유기 발광 소자이며, 제1 전극(AE)이 애노드 전극인 경우를 예로서 설명한다.
제1 전극(AE)은 보호층(PSV)을 관통하는 컨택 홀(CH)을 통해 화소 회로부(PCL)의 트랜지스터(TR)에 전기적으로 연결될 수 있다. 일 예로, 제1 전극(AE)은 보호층(PSV)의 컨택 홀(CH)을 통해 화소 회로부(PCL)의 트랜지스터(TR)의 제2 단자(DE)에 전기적으로 연결될 수 있다. 제1 전극(AE)은 광을 반사시킬 수 있는 반사막(미도시) 및 반사막의 상부 또는 하부에 배치되는 투명 도전막(미도시)을 포함할 수 있다. 투명 도전막 및 반사막 중 적어도 하나는 트랜지스터(TR)에 전기적으로 연결될 수 있다.
보호층(PSV) 상에는 제1 전극(AE)의 일부, 예를 들면, 제1 전극(AE)의 상면을 노출하는 개구부(OPN)를 구비한 화소 정의막(PDL)을 더 포함할 수 있다. 화소 정의막(PDL)은 유기 절연막을 포함할 수 있다. 예를 들면, 화소 정의막(PDL)은 폴리스티렌(polystyrene), 폴리메틸메타아크릴레이트(PMMA, polymethylmethacrylate), 폴리아크릴로니트릴(PAN, polyacrylonitrile), 폴리아미드(PA, polyamide), 폴리이미드(PI, polyimide), 폴리아릴에테르(PAE, polyarylether), 헤테로사이클릭 폴리머(heterocyclic polymer), 파릴렌(parylene), 에폭시(epoxy), 벤조시클로부텐(BCB, benzocyclobutene), 실록산계 수지(siloxane based resin) 및 실란계 수지(silane based resin) 중 적어도 하나를 포함할 수 있다.
화소(PXL)는 표시 패널(PN)의 표시 영역(DA)의 화소 영역(PXA)에 배치될 수 있다. 본 발명의 일 실시예에 있어서, 화소 영역(PXA)은 발광 소자(LD, OLED)에서 광이 방출되는 발광 영역(EMA) 및 상기 발광 영역에 인접한 주변 영역을 포함할 수 있다. 주변 영역은 광이 방출되지 않는 영역일 수 있으며, 발광 영역(EMA)은 제1 전극(AE), 발광층(EML), 및 제2 전극(CE)이 중첩된 영역일 수 있다. 이러한 발광 영역(EMA)은 화소 정의막(PDL)의 개구부(OPN)에 의해 노출된 제1 전극(AE)의 일부 영역에 대응하게 정의될 수 있다.
발광층(EML)은 화소 정의막(PDL)의 개구부(OPN)에 의해 노출된 제1 전극(AE) 상면 상에 배치될 수 있다. 발광층(EML)은 적어도 광 생성층(light generation layer)을 포함한 다층 박막 구조를 가질 수 있다. 발광층(EML)은 정공을 주입하는 정공 주입층(hole injection layer), 정공의 수송성이 우수하고 광 생성층에서 결합하지 못한 전자의 이동을 억제하여 정공과 전자의 재결합 기회를 증가시키기 위한 정공 수송층(hole transport layer), 주입된 전자와 정공의 재결합에 의하여 광을 생성하는(또는 방출하는) 광 생성층(light generation layer), 광 생성층에서 결합하지 못한 정공의 이동을 억제하기 위한 정공 억제층(hole blocking layer), 전자를 광 생성층으로 원활히 수송하기 위한 전자 수송층(electron transport layer), 및 전자를 주입하는 전자 주입층(electron injection layer)을 구비할 수 있다.
광 생성층에서 생성되는 광의 색상은 적색(red), 녹색(green), 청색(blue), 및 백색(white) 중 하나일 수 있으나, 본 실시예에서 이를 한정하는 것은 아니다. 예를 들어, 발광층(EML)의 광 생성층에서 생성되는 광의 색상은 마젠타(magenta), 시안(cyan), 옐로우(yellow) 중 하나일 수도 있다. 정공 주입층, 정공 수송층, 정공 억제층, 전자 수송층, 및 전자 주입층은 서로 인접한 발광 영역(EMA)에서 연결되는 공통막일 수 있다.
제2 전극(CE) 상에는 제2 전극(CE)을 커버하는 박막 봉지층(TFE)이 제공될 수 있다.
박막 봉지층(TFE)은 표시 소자부(DPL)를 밀봉한다. 박막 봉지층(TFE)은 단일층으로 이루어질 수 있으나, 이에 한정되는 것은 아니며 실시예에 따라 다중층으로 이루어질 수도 있다. 박막 봉지층(TFE)은 발광 소자(LD, OLED)를 포함한 표시 소자부(DPL)를 커버하는 복수의 절연막을 포함할 수 있다. 박막 봉지층(TFE)은 적어도 하나의 무기막 및 적어도 하나의 유기막을 포함할 수 있다. 예를 들면, 박막 봉지층(TFE)은 무기막 및 유기막이 교번하여 적층된 구조를 가질 수 있다. 또한, 실시예에 따라, 박막 봉지층(TFE)은 표시 소자부(DPL) 상에 배치되고 실런트를 통해 기판(SUB)과 합착되는 봉지 기판일 수 있다.
기판(SUB)과 화소 회로부(PCL) 사이에는 선택적 광 투과부(LBL)가 제공될 수 있다. 선택적 광 투과부(LBL)는 차광 패턴(LBP)과 적어도 하나의 핀홀(PIH)을 포함할 수 있다. 선택적 광 투과부(LBL)의 핀홀(PIH)은 화소(PXL)의 발광 영역(EMA)과 중첩되도록 선택적 광 투과부(LBL) 내에 위치할 수 있으나, 본 발명이 이에 한정되는 것은 아니다.
도 13은 본 발명의 일 실시예에 따른 학습자 단말기의 개략적인 단면도이다.
도 13을 참조하면, 학습자 단말기(104)의 감지 영역(SA)의 제1 면(SF1)에 사용자의 지문이 접촉하면, 접촉 영역에 대응하는 지문 화소들(FPXL, PXL) 각각의 발광 소자(LD, OLED)가 구동되어 제1 면(SF1)으로 광(EL)을 방출할 수 있다. 이하, 설명의 편의를 위하여, 감지 영역(SA)의 제1 면(SF1) 중 사용자의 지문이 직접적으로 접촉되는 영역을 지문 접촉면(SF1)으로 지칭한다.
지문 접촉면(SF1)에 대응하는 지문 화소들(FPXL)의 발광 소자들(LD, OLED)은 동시에 발광되거나 순차적으로 발광될 수 있다. 사용자 지문으로 방출된 광은 사용자 지문에 의해 반사되어 표시 모듈(DM) 및 선택적 광 투과부(LBL)를 통과하여(또는 투과하여) 광 감지 어레이부(LSL)로 입사할 수 있다. 광 감지 어레이부(LSL)의 광 센서들(PSR)은 반사광(RL)을 수신하여 사용자의 지문 영상을 획득하고, 획득한 지문 영상을 지문 검출부(FPDP)로 소정 프레임 속도로 제공한다.
이때, 광 감지 어레이부(LSL)는 사용자 지문의 외곽부에서 반사된 반사광(RL)을 수신하여 사용자 지문의 외곽부 영상을 확득하고, 획득한 지문 외곽부 영상을 지문 검출부(FPDP)로 제공할 수 있다. 본 발명의 일 실시예에 있어서, 사용자 지문의 외곽부라 함은, 사용자 지문이 감지 영역(SA)의 지문 접촉면(SF1)에 접촉되는 부분(A, 지문 인증부)의 주변으로 사용자 지문이 상기 제1 면(SF1)에 접촉되지 않고 제1 면(SF1)으로부터 이격된(또는 근접한) 영역(B)을 의미할 수 있다. 이하에서는, 설명의 편의를 위하여 사용자 지문이 지문 접촉면(SF1)에 접촉하는 부분(A, 또는 지문 인증부)을 '제1 영역(A)'으로 지칭하고, 제1 영역(A)의 외곽부를 '제2 영역(B)'으로 지칭한다.
지문의 제1 영역(A)과 지문의 제2 영역(B)은, 연속되는 융선(ridge)과 융선(ridge) 사이에 위치하며 연속되는 골(valley)을 포함하고 있으며, 영역별로 광 감지 어레이부(LSL)로 입사되는 반사광(RL)의 차이로 인하여 밝기 차이(또는 그레이 레벨 차이)가 존재할 수 있다. 이러한 차이를 이용하여 광 감지 어레이부(LSL)에서 획득된 지문 영상에서 지문의 제1 영역(A)과 지문의 제2 영역(B)의 구분이 가능할 수 있다.
도 13에 도시된 바와 같이, 사용자의 지문을 감지하는 감지 영역(SA) 내의 선택적 광 투과부(LBL)가 제1 내지 제5 핀홀들(PIH1 ~ PIH5)을 포함하는 경우, 광 감지 어레이부(LSL)는 제1 내지 제5 핀홀들(PIH1 ~ PIH5) 각각을 통과하여 광 감지 어레이부(LSL)로 진행하는 광을 수신하여 단위 핀홀(PIH) 별로 지문 영상을 획득할 수 있다. 예를 들어, 지문 인증을 위해 감지 영역(SA) 내에서 사용자 손가락이 직접 접촉되는 제1 영역(A)과 상기 제1 영역(A)의 외곽부에 위치하는 제2 영역(B)이 선택적 광 투과부(LBL)의 제1 내지 제4 핀홀들(PIH1 ~ PIH4)에 대응되는 경우, 광 감지 어레이부(LSL)는 제1 내지 제4 핀홀들(PIH1 ~ PIH4) 각각을 통과하여 광 감지 어레이부(LSL)로 진행하는 광을 수신하여 단위 핀홀(PIH) 별로 지문 영상을 획득할 수 있다.
제1 영역(A)에서 반사된 광은 제1 내지 제4 핀홀들(PIH1 ~ PIH4)을 통과하여 제1 내지 제4 핀홀들(PIH1 ~ PIH4) 각각에 대응하는 광 감지 어레이부(LSL)로 진행될 수 있다. 이와 동시에, 제2 영역(B)에서 반사된 광도 제1 내지 제4 핀홀들(PIH1 ~ PIH4)을 통과하여 상기 제1 내지 제4 핀홀들(PIH1 ~ PIH4) 각각에 대응하는 광 감지 어레이부(LSL)로 진행될 수 있다.
제1 영역(A)에서 반사된 광의 양(또는 세기)과 제2 영역(B)에서 반사된 광의 양(또는 세기)은 서로 상이할 수 있다. 일 예로, 제1 영역(A)에서 반사된 광의 양(또는 세기)은 제2 영역(B)에서 반사된 광의 양(또는 세기)보다 많을 수 있다. 제1 영역(A)은 사용자 지문이 지문 접촉면(SF1)에 직접 접촉되는 영역이고, 제2 영역(B)은 사용자 지문이 지문 접촉면(SF1)에 닿지 않는 영역이므로, 각 영역에서 지문의 융선(ridge)과 골(valley)에서의 반사율 차이가 발생할 수 있다. 이러한 반사율 차이로 인하여 광 감지 어레이부(LSL)에서 획득한 지문 영상에서 사용자 지문의 제1 영역(A)과 제2 영역(B)이 구분될 수 있다.
한편, 학습자 단말기(104)의 지문 접촉면(SF1)에는 사용자의 실제 손가락 지문이 접촉되거나 위조 지문이 접촉될 수 있다. 여기서, 위조 지문이라 함은 투명 필름 또는 종이 등에 인쇄한 위조 지문, 지문틀에 특정 물질을 부어 만든 위조 지문 등을 포함할 수 있다.
사용자의 손가락 지문(이하, '생체 지문'이라 함)이 지문 접촉면(SF1)에 접촉될 때 지문 검출부(FPDP)에서 영상처리 된 지문 영상의 일 예는, 제1 영역(A)에 생체 지문에 형성된 융선(ridge)과 골(valley)이 관측되고, 제2 영역(B)에는 제1 영역(A)에 비하여 상대적으로 희미하지만 제1 영역(A)의 융선(ridge)과 연속성을 갖는 융선(ridge) 및 제1 영역(A)의 골(valley)과 연속성을 갖는 골(valley)이 인식될 수 있다.
위조 지문, 일 예로, 종이에 인쇄한 위조 지문이 지문 접촉면(SF1)에 접촉될 때 지문 검출부(FPDP)에서 영상처리 된 지문 영상의 일 예는, 제1 영역(A)에서는 생체 지문에 형성된 융선(ridge) 및 골(valley)과 유사한 형태를 갖는 패턴이 나타나지만, 제2 영역(B)에서는 선택적 광 투과부(LBL)에 포함된 핀홀들(PIH)의 배열이 관측되는 것을 확인할 수 있다. 일 예로, 제2 영역(B)에서는 격자 배열을 이루는 핀홀들(PIH)이 인식될 수 있다.
상술한 바와 같이, 생체 지문 및 위조 지문 각각의 제1 영역(A)에서는 지문의 융선(ridge)과 골(valley)이 관측될 수 있으나, 생체 지문 및 위조 지문 각각의 제2 영역(B)에서는 서로 상이한 영상이 관측될 수 있다. 즉, 생체 지문의 제2 영역(B)에서는 희미하지만 지문의 융선(ridge)과 골(valley)이 관측될 수 있으나, 위조 지문의 제2 영역(B)에서는 핀홀들(PIH)의 격자 배열이 관측될 수 있다. 본 발명의 일 실시예에서는, 생체 지문과 위조 지문 각각의 제2 영역(B)에서 관측되는 영상을 통하여 지문 접촉면(SF1)에 접촉된 지문이 생체 지문인지 위조 지문인지를 판단할 수 있다.
지문 검출부(FPDP)는 광 감지 어레이부(LSL)로부터 획득된 지문 영상에서 제1 영역(A)에 해당하는 영상과 제2 영역(B)에 해당하는 영상을 추출하고, 추출된 영상들에 대해 이미지 전처리(Preprocessing) 및 합성 등을 수행한 후 유사도 여부를 판단하거나 특정 패턴, 일 예로, 핀홀들(PIH)의 격자 배열과의 대응 여부를 판단함으로써 표시 장치(DD)의 지문 접촉면(SF1)에 접촉된 지문이 생체 지문인지 위조 지문인지를 판단할 수 있다.
지문 검출부(FPDP)는 지문 센서(FPS)로부터 영상을 입력받아 지문의 제1 영역에 대응하는 제1 영상과 지문의 제2 영역에 대응하는 제2 영상을 추출하여 제1 및 제2 영상들을 비교하여 유사도를 판단하며, 그 결과에 따라 지문 인증을 수행할 수 있다.
지문의 제1 영역은 지문 접촉면에 접촉한 지문의 일 영역이고, 지문의 제2 영역은 지문의 일 영역의 외곽에 위치하며 지문 접촉면에 접촉되지 않는 지문의 다른 영역일 수 있다.
도 14는 도 6 또는 도 7에 도시된 지문 검출부를 개략적으로 도시한 블록도이다.
도 6 내지 도 14를 참조하면, 지문 검출부(FPDP)는 영상 수신부(IRP), 저장부(DBP), 영상 추출부(IEP), 영상 처리부(IPP), 유사도 판단부(SDP), 및 지문 인증 수행부(FPAP)를 포함할 수 있다.
지문 검출부(FPDP)는 광 감지 어레이부(LSL)와 일체로 하나의 모듈처럼 형성될 수도 있으나, 광 감지 어레이부(LSL)와 특정 통신 인터페이스로 연결된 별도의 장치일 수도 있다. 예컨대, 지문 검출부(FPDP)는 모듈 형태로 마련된 광 감지 어레이부(LSL)와 유에스비(USB: Universal Serial Bus)로 연결된 컴퓨터 장치(또는 그 내부의 일부 구성)일 수 있다. 이러한 경우, 광 감지 어레이부(LSL)도 지문 검출부(FPDP)와 연결된 유에스비(USB) 인터페이스를 구비해야 한다.
영상 수신부(IRP)는 광 감지 어레이부(LSL)가 소정 프레임 속도로 제공하는 영상을 모두 수신하고 이를 영상 추출부(IEP)로 전달할 수 또한, 영상 수신부(IRP)는 수신한 영상들 중에서 학습자 단말기(104)의 지문 접촉면(SF1)에 지문이 접촉한 때에 광 감지 어레이부(LSL)에서 획득된 지문 영상을 인식하여 버퍼에 저장한 후 이를 영상 추출부(40)로 전달한다. 영상 수신부(IRP)는 수신한 영상들 중 특정 요소 값(일 예로, 그레이 레벨, 밝기 레벨, 값이 변한 화소의 개수 등)의 변화를 감지하여 지문 영상인지 여부를 확인하고, 지문 영상으로 판단되면 버퍼에 저장하고 이를 영상 추출부(IEP)로 전달한다.
저장부(DBP)는 등록 지문 영상을 저장한다. 이때, 저장부(DBP)는 등록 지문 영상에 대하여 분석된 특징점 정보를 저장할 수 있다. 특징점은 사람마다 다르기 때문에, 저장부(DBP)는 사용자로부터 등록 지문 영상을 얻고, 특징점의 위치와 개수 등을 분석하여 데이터 베이스화하여 저장할 수 있다. 여기서, 특징점은, 등록 지문 영상에서 융선(ridge)이 지나는 끝점(ending point)과 2개 이상의 융선(ridge)이 만나는 분기점(bifurcation point) 등을 포함할 수 있다.
영상 추출부(IEP)는 영상 수신부(IRP)로부터 전달된 지문 영상으로부터 원하는 영역의 영상을 추출한다. 영상 추출부(IEP)는 영상 수신부(IRP)로부터 전달된 지문 영상에서 반사광의 차이로 인한 영역별 밝기 차이(또는 그레이 레벨 차이)를 이용하여 지문 인증을 위한 제1 영역(A)의 영상과 지문 외곽부 영역인 제2 영역(B)의 영상을 각각 추출할 수 있다.
일 예로, 영상 추출부(IEP)는 지문 영상에서 상대적으로 밝은 영역에 해당하는 제1 영역(A)을 관심 영역(Region Of Interest, ROI)으로 선택하여 해당 영역의 영상만을 추출할 수 있다. 또는, 영상 추출부(IEP)는 지문 영상에서 상대적으로 어두운 영역에 해당하는 제2 영역(B)을 관심 영역(Region Of Interest, ROI)으로 선택하여 해당 영역의 영상만을 추출할 수 있다. 실시예에 따라, 영상 추출부(IEP)는 에지 트레이싱(Edge Tracing), 에지 검출(Edge Detection), 경계 추척(Boundary Flowing) 알고리즘 등을 이용하여 제1 영역(A)의 영상과 제2 영역(B)의 영상을 추출할 수 있다. 영상 추출부(IEP)는 영상 수신부(IRP)로부터 전달된 지문 영상에서 공지된 다양한 방법 등을 이용하여 지문 인증을 위한 제1 영역(A)의 영상 및 상기 제1 영역(A)의 외곽부에 해당하는 제2 영역(B)의 영상을 추출할 수 있다.
영상 추출부(IEP)에서 추출된 제1 영역(A)의 영상과 제2 영역(B)의 영상은 영상 처리부(IPP)로 전달될 수 있다.
영상 처리부(IPP)는 영상 추출부(IEP)로부터 전달된 제1 영역(A)의 영상 및 제2 영역(B)의 영상에 대해 이미지 전처리(Preprocessing)를 수행할 수 있다. 여기서, 이미지 전처리(Preprocessing)라 함은, 제1 영역(A)의 영상과 제2 영역(B)의 영상에 포함된 잡음(또는 노이즈)을 제거하고, 데이터의 양을 축소하여 필요한 정보를 찾아내기에 수월한 형태로 영상을 처리하는 것을 의미할 수 있다. 이미지 전처리(Preprocessing)는 평활화(smoothing) 과정, 이진화(binarization) 과정, 및 세선화(thinning) 과정 등을 포함할 수 있다.
영상 처리부(IPP)는 제1 영역(A)의 영상과 제2 영역(B)의 영상 각각에 대해 잡음(또는 노이즈)의 영향을 최소화시키기 위해서 명암 구분을 높이고 잡음을 제거하는 평활화 과정을 진행할 수 있다. 일 예로, 평활화 과정은 히스토그램(Histogran)을 이용한 평활화를 거쳐 미세한 잡음을 추가로 제거하는 메디언 필터(Median Filter)를 사용한 평활화를 진행할 수 있다. 또한, 영상 처리부(IPP)는 평활화 과정을 통해 잡음이 제거된 256 그레이 레벨의 제1 영역(A)의 영상과 제2 영상(B)을 0(검은색) 또는 1(흰색)로 변경하는 이진화 과정을 수행한 후 세선화 과정을 진행할 수 있다. 영상 처리부(IPP)는 이미지 전처리(Preprocessing)가 이루어진 제1 영역(A)의 영상과 제2 영역(B)의 영상을 합성한 뒤 이를 유사도 판단부(SDP)로 전달할 수 있다.
유사도 판단부(SDP)는 영상 처리부(IPP)로부터 전달된 영상을 통해 제1 영역(A)과 제2 영역(B)의 유사도 정도를 판단할 수 있다.
유사도 판단부(SDP)는, 제1 영역(A)과 제2 영역(B) 사이의 경계를 기준으로 제1 영역(A)의 영상과 제2 영역(B)의 영상 사이에 휘도(또는 밝기) 차이가 있고 서로 유사한 패턴 또는 실질적으로 동일한 패턴을 갖는 경우 제1 영역(A)의 영상과 제2 영역(B)의 영상을 유사한 영상으로 판단할 수 있다. 본 발명의 일 실시예에 있어서, 제1 영역(A)의 영상과 제2 영역(B)의 영상이 서로 유사한 패턴을 갖거나 실질적으로 동일한 패턴을 갖는 경우는, 연속성을 갖는 지문의 융선(ridge)과 골(valley)을 포함하는 경우를 의미할 수 있다. 또한, 유사도 판단부(SDP)는 제1 영역(A)의 영상의 휘도(또는 밝기)와 제2 영역(B)의 영상의 휘도(또는 밝기)가 차이가 있되 서로 유사한 패턴 또는 실질적으로 동일한 패턴을 갖지 않을 때 제1 영역(A)의 영상과 제2 영역(B)의 영상을 유사하지 않는 영상으로 판단할 수 있다.
제1 영역(A)의 영상과 제2 영역(B)의 영상이 유사하다고 판단되면(즉, 제1 영역(A)의 영상과 제2 영역(B)의 영상 사이에 휘도(또는 밝기) 차이가 있고 서로 연속되는 지문의 융선(ridge)과 골(valley)을 포함하면), 유사도 판단부(SDP)는 지문 접촉면(SF1)에 접촉한 지문을 생체 지문으로 인식하고 그 결과를 지문 인증 수행부(FPAP)로 전달한다. 지문 인증 수행부(FPAP)는 저장부(DBP)로부터 전달된 등록 지문 영상과 제1 영역(A)의 영상의 매칭을 통해 지문 인증을 수행한다.
또한, 제1 영역(A)의 영상과 제2 영역(B)의 영상이 유사하다고 판단되지 않으면(즉, 제1 영역(A)의 영상과 제2 영역(B)의 영상 사이에 휘도(또는 밝기) 차이가 있되, 서로 연속되는 지문의 융선(ridge)과 골(valley)을 포함하지 않으면), 유사도 판단부(SDP)는 지문 접촉면(SF1)에 접촉한 지문을 위조 지문으로 인식하고 그 결과를 지문 인증 수행부(FPAP)로 전달하고, 지문 인증 수행부(FPAP)를 유사도 판단부(SDP)의 결과에 따라 지문 인증을 수행하지 않는다.
한편, 다른 실시예에 따라, 유사도 판단부(SDP)는 영상 처리부(IPP)로부터 전달된 영상과 등록된 기준 영상을 비교하여 영상들의 유사도 정도를 판단할 수 있다. 등록된 기준 영상이라 함은, 위조 지문의 제2 영역(B)에서 관측되는 핀홀들(PIH)의 격자 배열을 포함한 영상일 수 있다. 즉, 다른 실시예에 따른 유사도 판단부(SDP)는 영상 처리부(IPP)로부터 전달된 영상이 핀홀들(PIH)의 격자 배열을 포함한 기준 영상에 대응하는지 아닌지를 판단하여 그 결과를 지문 인증 수행부(FPAP)로 전달할 수 있다.
영상 처리부(IPP)로부터 전달된 영상이 핀홀들(PIH)의 격자 배열을 포함한 기준 영상에 대응하지 않는 경우, 유사도 판단부(SDP)는 지문 접촉면(SF1)에 접촉한 지문을 생체 지문으로 판단하고 그 결과를 지문 인증 수행부(FPAP)로 전달한다. 지문 인증 수행부(FPAP)는 저장부(DBP)로부터 전달된 등록 지문 영상과 제1 영역(A)의 영상의 매칭을 통해 지문 인증을 수행한다. 또한, 영상 처리부(IPP)로부터 전달된 영상이 핀홀들(PIH)의 격자 배열을 포함한 등록된 기준 영상에 대응하는 경우, 유사도 판단부(SDP)는 지문 접촉면(SF1)에 접촉한 지문을 위조 지문으로 판단하고 그 결과를 지문 인증 수행부(FPAP)로 전달하고, 지문 인증 수행부(FPAP)는 유사도 판단부(SDP)의 결과에 따라 지문 인증을 수행하지 않는다.
상술한 바와 같이, 본 발명의 일 실시예에 따르면, 광 센서들(PSR)을 포함한 광 감지 어레이부(LSL)와 핀홀들(PIH)을 포함한 선택적 광 투과부(LBL)를 지문 센서(FPS)로 구성함으로써 지문 센서(FPS)를 대면적으로 구현할 수 있다. 이러한 대면적 지문 센서(FPS)를 활용할 경우, 사용자 손가락 지문의 전체 영상 취득이 가능하여 지문 접촉면(SF1)에 접촉된 지문의 제1 영역(A)의 영상뿐만 아니라 제1 영역(A)의 외곽부인 제2 영역(B)의 영상까지 획득할 수 있다. 제1 영역(A)의 영상과 제2 영역(B)의 영상만을 분석하여 유사도 정도를 판단함으로써 지문 접촉면(SF1)에 접촉된 지문이 생체 지문인지 위조 지문인지를 판단할 수 있다.
이에 따라, 본 발명의 일 실시예에 따른 학습자 단말기(104)는 생체 지문임을 판단하는 별도의 바이오 센서의 구비 없이도 지문의 위조 여부를 용이하게 판단할 수 있다. 또한, 본 발명의 일 실시예에 따른 학습자 단말기(104)는 지문 접촉면(SF1)에 접촉된 지문에서 반사되는 광의 색 특성을 이용하여 지문의 위조 여부를 판단하는 센서(일 예로, 컬러 센서)의 구비 없이도 지문의 위조 여부를 용이하게 판단할 수 있다. 또한, 본 발명의 일 실시예에 따른 학습자 단말기(104)는 별도의 바이오 센서 및/또는 컬러 센서의 구비에 따른 제조 비용을 절감할 수 있다.
도 15는 본 발명의 실시예에 따른 손가락을 이용한 학습 방법을 나타낸 동작 흐름도이다.
도 15를 참조하면, 본 발명의 실시예에 따른 손가락을 이용한 학습 시스템(100)은, 학습자 단말기(104)를 통해 학습 서비스를 제공한다(S502).
예를 들면, 학습자 단말기(104)는 학습 실행부(508)에서 도 16에 도시된 바와 같이 밀크T 초등 학습 서비스를 실행한다.
여기서, 밀크T 초등 학습 서비스는 밀크T 학교공부, 수준별 수학, 수준별 영어, 창의 사고력, 밀크T 중학 종합반 메뉴를 포함한다. 도 16은 본 발명의 실시예에 따른 학습자 단말기를 통해 제공되는 밀크T 초등 학습 서비스에 대한 화면 예를 나타낸 도면이다.
밀크T 학교공부 메뉴는 과목별 공부, 시험대비 특강, 첨삭과외, 중학특강 메뉴를 포함하고, 수준별 수학 메뉴는 스토리텔링 개념학습, 영역별 수학, FunFun 연산게임, 유형격파, 실력충전 메뉴를 포함한다.
수준별 영어 메뉴는 술술 Speaking, 쏙쏙 Words, 팡팡 Phonics, 줄줄 Reading, 탄탄 Grammer, 영어 Songs, 영어 Library 메뉴를 포함하고, 창의 사고력 메뉴는 특별 학습, 숙제해결, 천재북클럽, 초등생활 메뉴를 포함한다.
밀크T 중학 종합반 메뉴는 스터디 매니져, 멀티학습 플레이어, 자기주도 학습, 수학 영어 첨삭 서비스, 수학 질답 커뮤니티, 10분 수학 영어 메뉴를 포함한다.
이에, 학습자는 예를 들면, 수준별 수학 메뉴에서 스토리텔링 개념학습, 영역별 수학, FunFun 연산게임, 유형격파, 실력충전 메뉴 중 FunFun 연산게임 메뉴를 실행할 수 있다.
따라서, 학습자 단말기(104)는 도 17에 도시된 바와 같이 수준별 수학 메뉴의 FunFun 연산게임 에 대한 학습 페이지 화면을 제공한다.
이때, FunFun 연산게임 에 대한 학습 페이지 화면에는 지문 등록을 위한 아이콘 또는 버튼이 화면 우측 상단에 표시된다. 도 17은 본 발명의 실시예에 따른 학습자 단말기를 통해 제공되는 학습 메뉴와 학습자의 지문을 매칭시켜 등록하기 위한 지문등록 아이콘을 나타낸 도면이다.
학습자는 학습 페이지 화면 상에 표시된 지문등록 메뉴(아이콘 or 버튼)를 통해 현재 실행하는 학습 메뉴에 대한 지문 등록을 요청한다.
이어, 학습자 단말기(104)는 지문등록 메뉴의 입력에 따라 현재 학습 메뉴와 학습자의 지문을 매칭하여 등록한다(S504).
즉, 학습자 단말기(104)는 도 6 내지 도 14에 도시된 바와 같은 과정으로 학습자의 지문을 스캔하여 등록하고, 현재 실행되는 FunFun 연산게임 에 대한 학습 페이지 화면과 매칭하여 저장부에 등록 저장하는 것이다.
이후, 학습자는 밀크T 초등 학습 서비스의 수준별 수학 학습에서 FunFun 연산게임 메뉴에 대한 학습자의 지문 등록을 완료하고, 학습 서비스를 계속 진행하여 수준별 수학의 FunFun 연산게임 학습을 종료할 수 있다.
한편, 일정 시간이 경과한 후에, 학습자는 다시 밀크T 초등 학습 서비스의 수준별 수학 학습에서 FunFun 연산게임 메뉴에 대한 학습을 하고자 진행하고자 할 수 있다.
이에, 학습자는 학습자 단말기(104)를 통하여 밀크T 초등 학습 서비스에 대한 어플리케이션을 실행하게 된다.
이어, 학습자 단말기(104)는 밀크T 초등 학습 서비스의 실행 시에 지문 입력 화면을 제공한다(S506).
이어, 학습자 단말기(104)는 학습자의 지문을 입력받아, 등록된 지문과 비교한다(S508).
즉, 학습자 단말기(104)는 도 18에 도시된 바와 같이, 팝업 화면을 통해 여기에 지문을 입력해 주세요.라는 메시지를 표시하여, 현재 실행된 학습 메뉴와 매칭하기 위한 학습자 지문을 입력받는다. 도 18은 본 발명의 실시예에 따른 학습 단말기에서 현재 실행된 학습 메뉴와 매칭하기 위한 학습자 지문을 입력받는 예를 나타낸 도면이다.
사용자의 손가락 지문(이하, '생체 지문'이라 함)이 지문 접촉면(SF1)에 접촉될 때 학습자 단말기(104)의 지문 검출부(FPDP)에서 영상처리 된 지문 영상의 일 예는 도 19에 도시된 바와 같을 수 있다. 도 19는 본 발명의 일 실시예에 따른 학습자 단말기의 지문 접촉면에 사용자의 손가락 지문이 접촉한 모습을 나타낸 것으로, 지문의 제1 영역과 지문의 제2 영역을 각각 확대하여 나타낸 도면이다.
지문 영상에 나타난 바와 같이, 제1 영역(A)에는 생체 지문에 형성된 융선(ridge)과 골(valley)이 관측되고, 제2 영역(B)에는 제1 영역(A)에 비하여 상대적으로 희미하지만 제1 영역(A)의 융선(ridge)과 연속성을 갖는 융선(ridge) 및 제1 영역(A)의 골(valley)과 연속성을 갖는 골(valley)이 관측되는 것을 확인할 수 있다.
여기서, 학습자의 지문을 입력받아 등록하는 과정은 전술한 도 6 내지 도 14에서 설명하였으므로 그에 대한 자세한 동작은 생략하기로 한다.
이어, 학습자 단말기(104)는 입력받은 지문과 등록된 지문이 일치하는 경우에, 등록된 지문에 대응된 학습 메뉴를 실행한다(S510).
즉, 학습자 단말기(104)는 등록된 지문에 대응하는 밀크T 초등 학습 서비스의 수준별 수학 학습에서 FunFun 연산게임 메뉴를 바로 실행하는 것이다.
여기서, 입력받은 학습자의 지문과 등록된 지문을 비교하여 일치하는지 여부를 판단하는 과정은 전술한 도 6 내지 도 14에서 설명하였으므로 그에 대한 자세한 동작은 생략하기로 한다.
따라서, 학습자는 학습 서비스 어플리케이션을 실행하고, FunFun 연산게임 메뉴를 찾아가는 번거로운 절차를 밟지 않고 곧바로 원하는 학습 서비스를 실행할 수 있게 되는 것이다.
또한, 본 발명의 실시예에 따른 손가락을 이용한 학습 방법은, 프로그램이 판독 가능한 USB, CD, DVD 등 기록 매체에 프로그램으로 기록될 수 있다.
한편, 학습자 단말기(104)는 서로 마주보는 상부 기판 및 하부 기판을 포함하는 표시 패널; 상기 상부 기판 상에 배치되어, 상기 표시 패널의 전면을 덮는 커버 윈도우; 상기 커버 윈도우 상에 형성된 터치 센서 어레이; 및 상기 커버 윈도우 상에 형성되고, 상기 터치 센서 어레이와 동일층에 형성된 지문 센서 어레이를 포함할 수 있다.
상기 터치 센서 어레이는 서로 교차되는 제 1 구동 전극과 제 1 센싱 전극, 상기 제 1 구동 전극에 연결된 제 1 구동 라인, 및 상기 제 1 센싱 전극에 연결된 제 1 센싱 라인을 포함할 수 있다.
상기 지문 센서 어레이는 상기 제 1 구동 전극과 동일층에 형성된 제 2 구동 전극, 상기 제 1 센싱 전극과 동일층에 형성된 제 2 센싱 전극, 상기 제 2 구동 전극에 연결된 제 2 구동 라인, 및 상기 제 2 센싱 전극에 연결된 제 2 센싱 라인을 포함할 수 있다.
상기 터치 센서 어레이의 일측 가장자리에는 상기 터치 센서 어레이의 상기 제 1 구동 전극 각각에 연결된 상기 제 1 구동 라인이 나란하게 배치될 수 있다.
상기 터치 센서 어레이의 타측 가장자리에는 상기 터치 센서 어레이와 오버랩되지 않는 상기 지문 센서 어레이, 상기 지문 센서 어레이의 상기 제 2 구동 전극에 연결된 제 2 구동 라인, 및 상기 지문 센서 어레이의 상기 제 2 센싱 전극에 연결된 제 2 센싱 라인이 나란하게 배치될 수 있다.
상기 지문 센서 어레이는 제 1 열에 배치된 단일의 상기 제 2 구동 전극, 및 제 2 열에 배치된 상기 다수의 제 2 센싱 전극을 포함하여 구성된 지문 센서 그룹을 포함할 수 있다.
상기 다수의 제 2 센싱 전극은 상기 제 2 센싱 라인을 통해 적어도 2개씩 서로 연결되고, 상기 지문 센서 어레이는 사용자의 터치 조작부가 배치된 상기 표시 패널의 하단부 중에서 선택된 일부 영역 또는 전체 영역에 더 배치될 수 있다.
상기 지문 센서 어레이는 제 1 방향으로 배열된 상기 다수의 제 2 구동 전극 및 상기 제 1 방향에 수직된 제 2 방향으로 배열된 상기 다수의 제 2 센싱 전극을 포함할 수 있다.
전술한 바와 같이 본 발명에 의하면, 학습자 단말기에서 실행되는 학습 어플리케이션에 학습생의 손가락 또는 부모의 손가락을 접촉하면 학습생의 수준에 맞는 학습 또는 손가락에 매칭된 컨텐츠 학습을 자동으로 실행할 수 있도록 하는, 손가락을 이용한 학습 시스템을 제공할 수 있다.
이상에서는 본 발명의 실시예를 중심으로 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 기술자의 수준에서 다양한 변경이나 변형을 가할 수 있다. 이러한 변경과 변형은 본 발명이 제공하는 기술 사상의 범위를 벗어나지 않는 한 본 발명에 속한다고 할 수 있다. 따라서 본 발명의 권리범위는 이하에 기재되는 청구범위에 의해 판단되어야 할 것이다.
100 : 손가락을 이용한 학습 시스템 102 : 웹 서버
104 : 학습자 단말기 110 : 제1 서버
112 : 터치 입출력부 114 : 학습 실행부
120 : 제2 서버 210 : 변환부
220 : 임베딩 처리부 230 : 학습 유도부
502 : 터치 입출력부 504 : 저장부
506 : 매칭부 508 : 학습 실행부
510 : 제어부 PN: 표시 패널
DCP: 구동 회로 FPDP: 지문 검출부
SUB: 기판 PXL: 화소
FPXL: 지문 화소 FPS: 지문 센서
LSL: 광 감지 어레이부 LBL: 선택적 광 투과부
PSR: 지문 센서 PIH: 핀홀
SF1: 제1 면(지문 접촉면) IRP: 영상 수신부
IEP: 영상 추출부 DBP: 저장부
IPP: 영상 처리부 SDP: 유사도 판단부
FPAP: 지문 인증 수행부

Claims (5)

  1. 손가락 터치를 입력받으며, 학습 메뉴를 화면 상으로 제공하는 터치 입출력부;
    상기 학습 메뉴에 해당하는 하나 이상의 학습 컨텐츠를 저장하고 있는 저장부;
    상기 터치 입출력부를 통해 획득된 지문 이미지와 상기 학습 메뉴에 따른 학습 컨텐츠를 매칭시키는 매칭부;
    상기 터치 입출력부의 화면 상으로 상기 학습 메뉴를 제공하고, 선택된 학습 메뉴에 해당하는 학습 컨텐츠를 실행하는 학습 실행부; 및
    상기 터치 입출력부를 통해 선택된 학습 메뉴에 해당하는 학습 컨텐츠와, 상기 터치 입출력부를 통해 획득된 지문 이미지를 상기 매칭부를 통해 매칭하여 등록하고, 상기 학습 실행부가 실행되고 상기 터치 입출력부를 통해 손가락 터치가 입력되어, 상기 등록된 지문 이미지와 동일한 지문 이미지가 획득되면, 상기 등록된 지문 이미지에 매칭된 학습 컨텐츠가 실행되도록 상기 학습 실행부를 제어하는 제어부를 포함하고,
    상기 학습 실행부는 챗봇을 통해 실시간으로 학생의 궁금증을 해소해 주면서, 추가적으로 연관 키워드를 추천해 주고,
    상기 학습 실행부는 학습 진도에 대해 체크해 주고, 필요한 학습이 있는지 대화가 생성될 때 알려주는 학습 유도부를 포함하고,
    상기 학습 유도부는 기후 변화가 있을 때 날씨에 연관되게 안부를 묻고, 학습자와 감정 소통을 유도하고, 상기 챗봇 내의 단순 게임을 통해 연관 학습을 추천하며, 학생이 물어온 질문에 대한 답과 동일한 벡터값을 가지는 키워드나 연관 학습을 추천하여 학습을 유도하는 손가락을 이용한 학습 시스템.
  2. 제 1 항에 있어서,
    상기 학습 메뉴는 밀크T 학교공부, 수준별 수학, 수준별 영어, 창의 사고력, 밀크T 중학 종합반 메뉴를 포함하고,
    상기 밀크T 학교공부 메뉴는 과목별 공부, 시험대비 특강, 첨삭과외, 중학특강 메뉴를 포함하고,
    상기 수준별 수학 메뉴는 스토리텔링 개념학습, 영역별 수학, FunFun 연산게임, 유형격파, 실력충전 메뉴를 포함하고,
    상기 수준별 영어 메뉴는 술술 Speaking, 쏙쏙 Words, 팡팡 Phonics, 줄줄 Reading, 탄탄 Grammer, 영어 Songs, 영어 Library 메뉴를 포함하고,
    상기 창의 사고력 메뉴는 특별 학습, 숙제해결, 천재북클럽, 초등생활 메뉴를 포함하고,
    상기 밀크T 중학 종합반 메뉴는 스터디 매니져, 멀티학습 플레이어, 자기주도 학습, 수학 영어 첨삭 서비스, 수학 질답 커뮤니티, 10분 수학 영어 메뉴를 포함하는, 손가락을 이용한 학습 시스템.
  3. 제1항에 있어서,
    상기 터치 입출력부는,
    광을 방출하는 발광 소자들, 상기 발광 소자들에서 방출되어 지문 접촉면에 접촉한 지문에 의해 반사된 광을 센싱하여 상기 지문에 대응하는 영상을 생성하는 적어도 하나의 광 센서를 포함한 광 감지 어레이부 및 상기 광 센서로 입사되는 광의 진행 경로를 형성하는 복수의 핀홀들을 포함한 선택적 광 투과부를 포함한 지문 센서; 및
    상기 지문 센서로부터 상기 영상을 입력받아 상기 지문의 제1 영역에 대응하는 제1 영상과 상기 지문의 제2 영역에 대응하는 제2 영상을 추출하여 상기 제1 및 제2 영상들을 비교하여 유사도를 판단하며, 그 결과에 따라 지문 인증을 수행하는 지문 검출부를 포함하고,
    상기 지문의 제1 영역은 상기 지문 접촉면에 접촉한 상기 지문의 일 영역이고, 상기 지문의 제2 영역은 상기 지문의 일 영역의 외곽에 위치하며 상기 지문 접촉면에 접촉되지 않는 상기 지문의 다른 영역인,
    손가락을 이용한 학습 시스템.
  4. 제3항에 있어서,
    상기 지문 검출부는,
    상기 지문 센서로부터 상기 영상을 입력받아 상기 제1 영상과 상기 제2 영상을 추출하는 영상 추출부;
    상기 제1 및 제2 영상들에 대해 이미지 전처리(Preprocessing)를 수행하는 영상 처리부;
    상기 영상 처리부에서 전처리가 이루어진 상기 제1 영상과 상기 제2 영상을 비교하여 유사도 여부를 판단하는 유사도 판단부; 및
    상기 유사도 판단부의 결과에 따라 지문 인증 여부를 수행하는 인증 수행부를 포함하는,
    손가락을 이용한 학습 시스템.
  5. 제4 항에 있어서,
    상기 유사도 판단부는, 상기 제1 영상의 휘도와 상기 제2 영상의 휘도를 비교하고, 상기 제1 및 제2 영상들이 유사한 패턴을 서로 갖는지를 확인하여 상기 지문 접촉면에 접촉한 상기 지문의 생체 지문 여부를 판단하는,
    손가락을 이용한 학습 시스템.
KR1020210131194A 2021-10-01 2021-10-01 손가락을 이용한 학습 시스템 KR102455247B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210131194A KR102455247B1 (ko) 2021-10-01 2021-10-01 손가락을 이용한 학습 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210131194A KR102455247B1 (ko) 2021-10-01 2021-10-01 손가락을 이용한 학습 시스템

Publications (1)

Publication Number Publication Date
KR102455247B1 true KR102455247B1 (ko) 2022-10-17

Family

ID=83809761

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210131194A KR102455247B1 (ko) 2021-10-01 2021-10-01 손가락을 이용한 학습 시스템

Country Status (1)

Country Link
KR (1) KR102455247B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200137755A (ko) 2019-05-31 2020-12-09 주식회사 에듀앤플레이 유아가 참여하는 학습 콘텐츠 시스템
KR20210024310A (ko) * 2019-08-21 2021-03-05 삼성디스플레이 주식회사 지문 센서를 포함한 표시 장치 및 그의 지문 인증 방법
KR102285665B1 (ko) * 2020-11-23 2021-08-04 주식회사 제로원파트너스 학습 커리큘럼 제공 방법, 시스템 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200137755A (ko) 2019-05-31 2020-12-09 주식회사 에듀앤플레이 유아가 참여하는 학습 콘텐츠 시스템
KR20210024310A (ko) * 2019-08-21 2021-03-05 삼성디스플레이 주식회사 지문 센서를 포함한 표시 장치 및 그의 지문 인증 방법
KR102285665B1 (ko) * 2020-11-23 2021-08-04 주식회사 제로원파트너스 학습 커리큘럼 제공 방법, 시스템 및 장치

Similar Documents

Publication Publication Date Title
US20200279527A1 (en) Oled array substrate, oled display panel, pixel circuit, driving method and method for fingerprint recognition using oled display panel
US9589170B2 (en) Information detection and display apparatus, and detecting method and displaying method thereof
CN108885693A (zh) 具有发散光学元件的生物计量传感器
US11568036B2 (en) Display device including fingerprint sensor and fingerprint authentication method thereof
CN106255944A (zh) 移动平台中的空中和表面多点触摸检测
CN113902964A (zh) 基于关键词感知的多模态注意力视频问答方法与系统
Tolba et al. Recent developments in sign language recognition systems
CN111343507A (zh) 在线授课方法、装置、存储介质和电子设备
US11417141B2 (en) In-screen fingerprint identification apparatus and electronic device
KR102455247B1 (ko) 손가락을 이용한 학습 시스템
KR102455248B1 (ko) 손가락을 이용한 학습 방법 및 이를 기록한 기록매체
Wang et al. Exploring the potential of immersive virtual environments for learning american sign language
Chakraborty et al. Flight: a low-cost reading and writing system for economically less-privileged visually-impaired people exploiting ink-based braille system
CN113505786A (zh) 试题拍照评判方法、装置及电子设备
CN109154865A (zh) 移动设备上的顺序双手触摸键入
Shilkrot et al. FingerReader: A finger-worn assistive augmentation
KR102468551B1 (ko) 학습평가를 지원하는 능동형 인공지능 튜터링 시스템 및 이의 제어방법
KR102510998B1 (ko) 학습 유도용 챗봇 시스템
Zhao et al. TADA: Making Node-link Diagrams Accessible to Blind and Low-Vision People
Özgür Cellulo: Tangible haptic swarm robots for learning
Patel et al. Hand-gesture recognition for automated speech generation
KR102498540B1 (ko) 컨텐츠 구조 이용 학습 시스템
KR102510995B1 (ko) 학습 컨텐츠 추천 방법 및 이를 기록한 기록매체
US20230266826A1 (en) Gesture Simulated Interactive Environment
Zahid et al. A Computer Vision‐Based System for Recognition and Classification of Urdu Sign Language Dataset for Differently Abled People Using Artificial Intelligence

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant