KR101677426B1 - 얼굴 인식 기반 어플리케이션의 피드백 ｕｉ 제공 서비스 방법 및 시스템 - Google Patents
얼굴 인식 기반 어플리케이션의 피드백 ｕｉ 제공 서비스 방법 및 시스템 Download PDFInfo
- Publication number
- KR101677426B1 KR101677426B1 KR1020150046990A KR20150046990A KR101677426B1 KR 101677426 B1 KR101677426 B1 KR 101677426B1 KR 1020150046990 A KR1020150046990 A KR 1020150046990A KR 20150046990 A KR20150046990 A KR 20150046990A KR 101677426 B1 KR101677426 B1 KR 101677426B1
- Authority
- KR
- South Korea
- Prior art keywords
- state
- unlock
- interface
- pattern
- feedback
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000008921 facial expression Effects 0.000 claims description 16
- 230000014509 gene expression Effects 0.000 claims description 6
- 230000001360 synchronised effect Effects 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- 239000003086 colorant Substances 0.000 claims description 2
- 230000006855 networking Effects 0.000 claims description 2
- 230000008451 emotion Effects 0.000 description 11
- 230000001939 inductive effect Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 210000001097 facial muscle Anatomy 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
- G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G06K9/00268—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/01—Social networking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/72427—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting games or graphical animations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/52—Details of telephonic subscriber devices including functional features of a camera
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Tourism & Hospitality (AREA)
- Computer Hardware Design (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Security & Cryptography (AREA)
- Marketing (AREA)
- Economics (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 사용자 인터럽트(interrupt)를 통해 잠금 해제 인터페이스를 디스플레이하는 과정과, 상기 잠금 해제 인터페이스를 통해 입력된 잠금 해제 패턴을 수신하는 과정과, 상기 수신된 잠금 해제 패턴을 검출하고 검출된 잠금 해제 패턴에 대응하는 모드를 실행하여 상기 검출된 잠금 해제 패턴에 대응하는 오브젝트의 상태 정도를 측정하는 과정과, 기설정되어 분류된 오브젝트 유형에 따라 유형별 적정 상태 정도 범위가 측정되어 매칭된 룩업 테이블을 호출하여 상기 측정된 오브젝트의 상태 정도를 판단하고, 판단 결과를 상기 잠금 해제 인터페이스를 통해 피드백하는 과정을 포함함을 특징으로 한다.
Description
본 발명은 얼굴 표정 인식 기반 웃음 유발 어플리케이션의 피드백 UI에 관한 것이다.
최근 인공지능과 패턴인식 기술이 발전함에 따라서 얼굴 표정 인식은 HCI(Human Computer Interface)에서 중요한 기술 중 하나이며, 이에 관련된 많은 연구가 진행되고 있으며, 표정 인식 기술을 통한 표정 진단과 관련해서 기술적인 연구가 활발히 이루어졌지만[1, 2] 실제적인 사용을 고려한 인터렉션 설계가 미비하여 이를 활용한 프로그램 상용화도 미지수인 실정이다.
또한, 사람의 얼굴 표정을 세밀하게 측정하여 사람의 감성을 진단하는 기술이 연구되고 있다[3]. 이런 기술은 얼굴 표정으로 나타나는 감정을 통해 이해 및 흥미를 파악하여 인터렉션을 도와줄 수 있어 지속적으로 발전하고 있다[4].
이와 관련하여, 한국공개특허 제2013-0082980호(2013. 07. 22 공개)에는 사용자의 얼굴을 인식하고 얼굴 식별을 위한 식별정보를 생성하여 생성된 사용자별 식별정보를 DB에 저장 후 잠금 해제를 시도하는 사용자의 얼굴이 상기 DB 존재하는지 여부 판단을 통해 검증된 사용자에게 기저장된 정보를 통해 맞춤형 추천 서비스를 수행하는 방법을 개시하고 있다.
이러한 선행문헌은 단지 최초 저장된 고정된 사용자 얼굴을 기반으로 고정적인 서비스만을 수행하므로 변화 무쌍한 얼굴 표정을 기반으로 적응적인 서비스는 불가능하다.
더불어 사용자가 스스로 표정을 진단할 수 있도록 하는 기술도 연구되고 있는데[5] 기존의 연구들은 웃음의 정도를 측정할 뿐 웃음 훈련 혹은 웃음 유발을 위한 효과적 설계 방식을 논하지 않아 실용성에 의문을 남겨둔 상황이다.
따라서 본 발명은 사용자의 웃음의 정도를 판단하여 웃음 유형 및 레벨 범위에 따라 설정되어 특화된 UI를 사용자에게 피드백함으로써 사용자의 감정 변화에 따른 피드백이 가능하여 사용자의 감성을 진단 가능할 뿐만 아니라, 얼굴 표정으로 나타나는 감정을 통해 이해 및 흥미를 파악하여 물품, 어플리케이션, 여행지, 맛집 등을 추천하여 감성 기반 인터렉션(interaction) 메커니즘을 통해 사용자의 접근성이 높고, 자신을 점검 가능한 자기 표현의 매체 어플리케이션 기술을 제공하고자 한다.
본 발명의 일 견지에 따르면, 사용자 인터럽트(interrupt)를 통해 잠금 해제 인터페이스를 디스플레이하는 과정과, 상기 잠금 해제 인터페이스를 통해 입력된 잠금 해제 패턴을 수신하는 과정과, 상기 수신된 잠금 해제 패턴을 검출하고 검출된 잠금 해제 패턴에 대응하는 모드를 실행하여 상기 검출된 잠금 해제 패턴에 대응하는 오브젝트의 상태 정도를 측정하는 과정과, 기설정되어 분류된 오브젝트 유형에 따라 유형별 적정 상태 정도 범위가 측정되어 매칭된 룩업 테이블을 호출하여 상기 측정된 오브젝트의 상태 정도를 판단하고, 판단 결과를 상기 잠금 해제 인터페이스를 통해 피드백하는 과정을 포함함을 특징으로 한다.
본 발명의 다른 견지에 따르면, 사용자의 얼굴을 포함하는 영상을 획득하는 카메라부와, 사용자 인터럽트(interrupt)를 통해 잠금 해제 인터페이스를 디스플레이하고, 상기 잠금 해제 인터페이스를 통해 입력된 잠금 해제 패턴을 출력하는 터치 스크린, 상기 터치 스크린으로부터 출력된 잠금 해제 패턴을 검출하고 검출된 잠금 해제 패턴에 대응하는 모드를 실행하여 상기 검출된 잠금 해제 패턴에 대응하는 오브젝트의 상태 정도를 측정하고, 기설정되어 분류된 오브젝트 유형에 따라 유형별 적정 상태 정도 범위가 측정되어 매칭된 룩업 테이블을 호출하여 상기 측정된 오브젝트의 상태 정도를 판단하고, 판단 결과를 상기 잠금 해제 인터페이스를 통해 피드백되도록 제어하는 제어부를 포함함을 특징으로 한다.
본 발명은 사용자의 감정 변화에 따른 피드백이 가능하여 사용자의 감성을 진단 가능할 뿐만 아니라, 얼굴 표정으로 나타나는 감정을 통해 이해 및 흥미를 파악하여 물품, 어플리케이션, 여행지, 맛집 등을 추천하여 감성 기반 인터렉션(interaction) 메커니즘을 통해 사용자의 접근성이 높고, 자신을 점검 가능한 자기 표현의 매체 어플리케이션 제공이 가능한 효과가 있다.
도 1은 본 발명의 일 실시 예에 따른 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 방법에 관한 전체 흐름도.
도 2는 본 발명의 일 실시 예에 따른 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 방법에 있어서, 잠금 해제 패턴에 대응하는 모드의 동작을 보인 상세 흐름도.
도 3은 본 발명의 일 실시 예에 따라 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 방법에 있어서, 오브젝트 유형별 기설정된 피드백 UI 프로토타입(prototype)에 관한 예시도.
도 4는 본 발명의 일 실시 예에 따른 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 장치에 관한 상세 블록도.
도 2는 본 발명의 일 실시 예에 따른 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 방법에 있어서, 잠금 해제 패턴에 대응하는 모드의 동작을 보인 상세 흐름도.
도 3은 본 발명의 일 실시 예에 따라 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 방법에 있어서, 오브젝트 유형별 기설정된 피드백 UI 프로토타입(prototype)에 관한 예시도.
도 4는 본 발명의 일 실시 예에 따른 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 장치에 관한 상세 블록도.
이하 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 구성 소자 등과 같은 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술 분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다.
본 발명은 얼굴 표정 인식 기반 웃음 유발 어플리케이션의 피드백 UI에 관한 것으로, 더욱 상세하게는 터치스크린이 구비된 단말이 화면 잠금 상태에 들어간 후, 작동 상태로 하기 위한 잠금 해제(shortcut unlocking) 인터페이스가 디스플레이된 화면에서 상기 잠금 해제 인터페이스를 통해 입력된 잠금 해제 패턴을 검출하고, 검출된 잠금 해제 패턴이 기설정된 패턴임을 검증 후 검증된 상기 패턴에 해당하는 오브젝트의 상태 정도를 룩업(look-up) 테이블을 통해 판단하여 오브젝트 관련 유형 및 레벨 범위에 따라 설정되어 특화된 UI를 사용자에게 피드백함으로써 사용자의 감정 변화에 따른 피드백이 가능하여 사용자의 감성을 진단 가능할 뿐만 아니라, 얼굴 표정으로 나타나는 감정을 통해 이해 및 흥미를 파악하여 물품, 어플리케이션, 여행지, 맛집 등을 추천하여 감성 기반 인터렉션(interaction) 메커니즘을 통해 사용자의 접근성이 높고, 자신을 점검 가능한 자기 표현의 매체 어플리케이션 기술을 제공하고자 한다.
이하, 본 발명의 일 실시 예에 따른 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 방법에 관해 도 1 내지 도 3을 참조하여 자세히 살펴보기로 한다.
먼저, 도 1은 본 발명의 일 실시 예에 따른 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 방법에 관한 전체 흐름도이다.
도 1을 참조하면, 먼저 110 과정에서는 사용자 인터럽트(interrupt)를 통해 잠금 해제 기능이 구비된 단말의 초기 화면에 잠금 해제 인터페이스를 디스플레이하고, 112 과정에서는 상기 잠금 해제 인터페이스를 통해 입력된 잠금 해제 패턴을 수신하여 수신된 잠금 해제 패턴을 검출한다.
이때, 상기 초기 화면에 잠금 해제 인터페이스는 잠금 수단 즉, 잠금 어플리케이션 형성을 의미하는 것으로, 상기 잠금 수단은 기설정된 시간 내 숫자 암호를 입력하여 잠금을 해제하는 방식 혹은 패턴을 입력하는 방식 등에 의해 잠금을 해제하는 방식 등이 사용자로부터 미리 설정되어 선택 사용된다. 또한, 상기 패턴을 입력하는 방식에는 이미지, 문자, 음성 등 다양한 타입의 패턴 선택 사용이 가능하며 타입별 특징 추출과 패턴 정합 부분으로 분류되어 인식된다. 본 발명에서는 카메라를 통해 입력되는 얼굴을 인식하여 잠금 해제 패턴으로 미리 설정된 패턴과 일치하는지 여부를 판정하여 일치하는 경우 화면을 잠금 해제하여 실행 화면을 제공한다.
또한, 상기 잠금 해제 인터페이스는 복수의 분할된 영역을 갖고, 각 분할된 영역에는 대응하는 아이템이 형성되고, 상기 분할된 영역 내의 제1 위치에는 상기 아이템과 관련된 제1 서비스를 제공하는 제1 메뉴가 미리 설정되고, 상기 제1 위치와 다른 제2 위치에는 상기 분할된 영역 내에 형성된 상기 아이템과 관련되며 상기 제1 서비스와 다른 제2 서비스를 제공하는 제2 메뉴가 미리 설정된다.
상기 제1 위치에는 오브젝트 유형별 피드백 UI가 제공되는 서비스인 제1 메뉴가 미리 설정되고, 상기 제2 위치에는 상기 제1 위치에 표시되는 피드백 UI에 연계된 메시지가 소정 프레임이 표시되는 서비스인 제2 메뉴가 미리 설정된다.
114 과정에서는 검출된 잠금 해제 패턴에 대응하는 모드를 실행하여, 116 과정에서 상기 검출된 잠금 해제 패턴에 대응하는 오브젝트의 상태 정도를 측정한다.
여기서, 상기 잠금 해제 패턴에 대응하는 모드는 본 발명의 일 실시 예에 따른 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 동작을 수행하는 모드로서, 상세히는 후술 되는 도 2의 동작 설명을 통해 상기 모드의 동작을 자세히 살펴보도록 한다.
계속해서, 118 과정에서는 기설정되어 분류된 오브젝트 유형에 따라 유형별 적정 상태 정도 범위가 측정되어 매칭된 룩업 테이블을 호출하고, 120 과정에서는 호출된 룩업 테이블을 통해 상기 측정된 오브젝트의 상태 정도를 판단한다.
상기 118 과정에서 기설정되어 분류된 오브젝트 유형은, 사용자에게 웃음을 유발하는 피드백 방식을 설계하기 위해 사용 맥락을 고려하여 정의되어 분류된 것으로, 웃음 훈련을 필요로 하거나 순간의 표정관리를 원하는 목적형, 웃으려는 의도가 있으나 웃을 수 없는 상황에서 마음의 변화를 요구하는 동기형, 웃으려는 의도가 없을 때에도 자극을 받아 웃으려는 의지를 갖게 되는 수동형을 포함한다.
상기 목적형에 대응하는 피드백은 웃음을 정확히 평가하기 위해 웃음의 수치 정보를 제공한다.
상기 동기형에 대응하는 피드백은 자연스런 웃음 동기 형성을 위해 위로 및 공감의 메시지들을 제공한다.
상기 수동형에 대응하는 피드백은 사용자의 표정을 가시화하는 이미지들로 웃음 의지를 부여한다.
122 과정에서는 상기 120 과정에서의 판단 결과를 상기 잠금 해제 인터페이스를 통해 피드백한다.
여기서, 상기 피드백은 잠금 해제 인터페이스를 통해 서로 상이하게 디스플레이되는 피드백 UI가 오브젝트의 유형별로 기설정되어, 모드에 미리 설정된 유형에 따라 해당 피드백 UI를 측정된 상태 정도와 매칭되어 표시된다.
예컨대, 상기 모드에 설정된 유형이 목적형일 경우 목적형에 해당하는 오브젝트의 상태 정도를 수치화 및 시각화하여 레벨별로 분류하여 테이블화된 룩업 테이블을 통해 레벨별 기설정되어 매칭된 피드백 UI를 확인하고, 이를 사용자에게 잠금 해제 인터페이스를 통해 도 3의 a)에서와 같이 가이드한다.
본 발명에서 피드백 UI는 오브젝트의 유형별로 분류되어 각 웃음 유발 피드백 방식에 따른 잠금 화면에 적합한 피드백 UI 방식을 묘사한다.
이를 살펴보면, 원형 그래프로 오브젝트의 상태 정도를 시각화 및 수치화하여 표시하는 목적형, 원형 그래프로 오브젝트의 상태 정도를 시각화하거나 혹은 상태 정도별 기설정되어 매칭된 메시지가 출력되는 동기형, 잠금 해제 패턴의 상태 정도에 해당하는 기등록된 이미지 및 상기 이미지 관련 메시지를 연계하여 소정 프레임에 표시하는 수동형 피드백 UI를 포함한다.
이때, 상기 원형 그래프는 도 3의 a) 및 b)에 각각 도시된 바와 같이 잠금 해제 인터페이스가 디스플레이되는 영역 중앙에 표시되어 상태 정도에 따라 상태 정도가 수치화된 숫자가 서로 상이하게 채색되어 표시된다.
여기서, 도 3을 참조하면, 도 3은 본 발명의 일 실시 예에 따라 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 방법에 있어서, 오브젝트 유형별 기설정된 피드백 UI 프로토타입(prototype)에 관한 것으로, 도 3의 a)는 원형 그래프로 웃음 정도를 시각화하고 수치를 보여주는 정량 수치화(목적형)에 관한 것으로, 좌로부터 우 방향으로 사용자의 웃음 정도에 따라서 그래프 및 숫자의 색을 붉은색-노란색-녹색 단계로 표시된다.
도 3의 b)는 원형 그래프로 웃음 정도를 시각화하나 수치 없이 위로 및 공감의 메시지를 보여주는 동기 유발 메시지(동기형)에 관한 것으로, 웃음의 정도에 따라 기설정된 메시지를 보여주어 사용자의 공감을 이끌어 낸다. 사용자의 웃음 정도에 따라 그래프 및 숫자의 색을 붉은색-노란색-녹색 단계로 표시된다.
도 3의 c)에서는 그래프나 수치 표현 없이 원형 틀 안에 사용자 표정과 가장 유사한 이미지 및 보조 멘트를 보여 주는 것으로, 여기서, 이미지는 동물 이미지, 연예인 이미지 등을 활용한다.
이와 같이, 본 발명의 일 실시 예에 따른 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 방법은 단말의 잠금 해제와 동시에 얼굴의 표정을 인식하여 웃음의 정도를 측정하고 측정된 결과를 사용자 선택에 따라 유형 및 피드백 UI 타입 기반 피드백 방식을 설정하고, 또한 웃음의 정도를 수치화 즉, 점수 방식 혹은 메시지 방식 혹은 형상화 방식으로 피드백함으로써 웃음 유발 어플리케이션의 피드백 UI를 제공한다.
이어서, 도 2는 본 발명의 일 실시 예에 따른 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 방법에 있어서, 잠금 해제 패턴에 대응하는 모드의 동작을 보인 상세 흐름도이다.
도 2를 참조하면, 210 과정에서는 본 발명이 적용된 단말에 구비된 카메라를 통하여 기설정된 거리에서 상기 사용자의 얼굴을 포함하는 영상을 획득한다.
상기 획득된 영상을 기설정된 서로 상이한 프레임 수를 갖는 프레임별로 각각 분할한다.
이때, 상기 기설정된 거리는 본 발명의 실시 예에서는 얼굴 표정을 인식 가능한 정도의 거리를 의미하는 것이고, 상기 기설정된 프레임 수는 기설정된 거리별 얼굴 영상의 생성을 위해 사용되는 프레임이 할당되는 것이지만, 본 발명이 이에 한정되지는 않는다. 기설정된 거리 내에서 서로 다른 프레임 수를 갖는 각 분할된 프레임은 얼굴 영상의 자동 생성을 위해 상기 기설정된 거리에서 촬영된 실제 영상으로부터 획득된다.
212 과정에서는 분할된 프레임별 영상으로부터 얼굴 인식 알고리즘을 이용하여 얼굴을 인식 및 추출한다.
여기서, 상기 얼굴 인식 알고리즘은 전체 영상 공간에서 얼굴의 윤곽, 눈, 턱 및 입의 위치 인식을 통하여 얼굴을 인식하는 기술로서, 상기 획득된 얼굴 영상으로부터 사용자의 얼굴들에 해당하는 얼굴 영역을 검출하기 위한 공지된 다양한 방법들이 사용될 수 있다. 예를 들어, 얼굴의 구성 요소인 눈, 코, 입 등의 크기 및 위치 등의 기하학적 특징으로 인식하는 방법과 주성분 분석 기법(PCA : Principal Component Analysis), 선형 판별 분석 기법(LDA : Linear Discriminant Analysis)와 같은 얼굴 전체의 통계적인 값을 특징으로 인식하는 방법이 있다.
214 과정에서는 상기 추출된 얼굴 영상으로부터 오브젝트 상태 정도를 결정짓는 기설정된 특징점을 추출하고, 216 과정에서 추출된 상기 특징점으로부터 해당 오브젝트의 상태 정도를 측정하여 218 과정에서 기설정된 피드백 UI를 표시한다.
이때, 상기 오브젝트는 웃음 정도가 측정 가능한 웃음 표정이고, 상기 상태 정도는 상기 웃음 표정에 대응되는 웃음량이 측정되어 레벨화된 것이다.
상기 기설정된 특징점은, 얼굴 근육 움직임 정보를 이용하여 표정을 인식하여 웃음 정도를 측정하기 위한 것으로, 사용자로부터 등록된 얼굴 영상을 기준으로 상기 얼굴의 소정 위치를 특징점으로 미리 설정하고, 설정된 특징점에 해당하는 현재 입력된 영상 내 위치의 움직임 정보를 추정하여 오브젝트의 상태 정도를 측정한다. 예를 들어, 미간 사이의 특징점들이 중앙으로 모인 경우 눈썹의 안쪽에 부여된 특징점들이 하측으로 내려간 경우 또는 입술의 양쪽 끝에 부여된 특징점들이 내려간 경우에 특징점이 변화하였다고 판단한다.
이후, 본 발명에서는 상기 잠금 해제 패턴에 대응하는 모드에 설정된 서브 모드에 따라 제1 혹은 제2 서브 모드로 모드 전환되어 해당 서브 모드에 따른 동작을 수행한다.
더욱 상세하게는 220 과정에서 제1 서브 모드로 모드 전환된 경우 222 과정에서는 상기 피드백 서비스 수행 후 잠금이 해제된 인터페이스를 통해 해당 피드백 UI별 사용자의 만족도를 수집한다.
상기 만족도는 잠금 해제된 실행 화면에서 별도의 윈도우를 통해 수집되는 것으로, 기설정된 주기별 혹은 잠금 해제 발생별 상기 잠금 해제를 위한 잠금 해제 패턴에 대응하는 상태 정도 관련 피드백 UI의 만족도를 수집하여 저장하고, 네트워크를 통해 연동된 서빙(serving) 서비스 서버로 전송한다.
이때, 상기 서빙 서비스 서버는 224 과정의 동작을 통해 오브젝트의 유형별 매칭된 피드백 UI별 해당 사용자의 만족도를 수집하여 상기 피드백 UI별 선호도에 대한 이력을 추가로 저장, 관리한다.
226 과정에서는 네트워크를 통해 단말로부터 요청된 오브젝트 유형별 매칭된 UI별 선호 이력을 표시하여 실행 화면 초기에 피드백 UI별 이력을 토대로 사용자 평판을 동시에 표시하여 이를 참고로 모드에 웃음을 유발하는 피드백 UI를 선별하여 적응적으로 설정한다.
한편, 228 과정에서는 제2 서브 모드로 모드 전환되어 그 이후의 동작을 수행한다. 230 과정에서는 상기 검출된 잠금 해제 패턴의 오브젝트를 잠금이 해제된 인터페이스 즉, 실행 화면의 별도의 윈도우를 통해 표시한다.
232 과정에서는 표시된 오브젝트를 해당 시간 정보와 함께 저장한다.
234 과정의 동작을 통해 사용자 호출 여부를 체크하고, 사용자 호출이 발생된 경우 236 과정으로 이동하여 시간 순 순차 축적된 오브젝트를 표시한다.
238 과정에서는 시간별 오브젝트에 대응하는 상태 정도에 따라 기설정된 서비스를 제공한다.
이때, 상기 기설정된 서비스는, 상기 오브젝트에 대응하는 상태 정도별 출력되는 수치 데이터를 기반으로 연계된 SNS(social networking service) 서비스 서버를 통해 연동된 서비스를 추천하는 것으로, 이를 통해 본 발명의 일 실시 예에 따른 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 방법은 단말의 잠금 해제와 동시에 측정된 얼굴 인식 기반 웃음의 상태 정도 데이터를 통해 사용자에게 필요한 것들을 추천해주기 때문에 사용자의 접근성이 좋고, 수시로 웃음을 측정하기 때문에 사용자가 자신을 점검하기 유용하다.
이상, 본 발명의 일 실시 예에 따른 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 방법에 관해 살펴보았다.
이하, 본 발명의 일 실시 예에 따른 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 장치에 관해 도 4를 참조하여 자세히 살펴보기로 한다.
도 4는 본 발명의 일 실시 예에 따른 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 장치에 관한 상세 블록도이다.
도 4를 참조하면, 본 발명이 적용된 장치는 카메라부(410), 터치스크린(412), 검출부(414), 모드 실행부(416), 제어부(418), 피드백 UI(420), 상태 정도 측정부(422), 얼굴 인식 알고리즘(424) 및 룩업 테이블(426)을 포함한다.
상기 카메라부(410)은 사용자의 얼굴을 포함하는 영상을 획득한다.
상기 터치스크린(412)는 본 발명이 적용된 장치의 전반적인 동작 실행 화면을 표시하고, 사용자로부터 발생되는 데이터를 입력받는다. 또한, 상기 터치스크린(412)는 사용자 인터럽트(interrupt)를 통해 잠금 해제 인터페이스를 디스플레이하고, 상기 잠금 해제 인터페이스를 통해 입력된 잠금 해제 패턴을 출력한다.
상기 제어부(418)는 터치 스크린(412)으로부터 출력된 잠금 해제 패턴을 검출부(414)를 통해 검출하고 검출된 잠금 해제 패턴에 대응하는 모드를 모드 실행부(416)를 제어하여 실행한다.
또한, 상기 제어부(418)는 검출된 잠금 해제 패턴에 대응하는 오브젝트의 상태 정도를 상태 정도 측정부(422)를 통해 측정하고, 기설정되어 분류된 오브젝트 유형에 따라 유형별 적정 상태 정도 범위가 측정되어 매칭된 룩업 테이블(426)을 호출하여 상기 측정된 오브젝트의 상태 정도를 판단하고, 판단 결과를 상기 잠금 해제 인터페이스를 통해 대응하는 피드백 UI가 피드백되도록 제어한다.
이때, 상기 기설정되어 분류된 오브젝트 유형은, 웃음 훈련을 필요로 하거나 순간의 표정관리를 원하는 목적형, 웃으려는 의도가 있으나 웃을 수 없는 상황에서 마음의 변화를 요구하는 동기형, 웃으려는 의도가 없을 때에도 자극을 받아 웃으려는 의지를 갖게 되는 수동형을 포함한다.
그리고, 상기 제어부(418)는 잠금 해제 인터페이스를 통해 서로 상이하게 디스플레이되는 피드백 UI가 오브젝트의 유형별로 기설정되어 모드에 설정된 유형에 따라 해당 피드백 UI를 측정된 상태 정도와 매칭하여 표시하여 터치스크린(412)를 통해 피드백한다.
여기서, 상기 피드백 UI는 원형 그래프로 오브젝트의 상태 정도를 시각화 및 수치화하여 표시하는 목적형, 원형 그래프로 오브젝트의 상태 정도를 시각화하거나 혹은 상태 정도별 기설정되어 매칭된 메시지가 출력되는 동기형, 잠금 해제 패턴의 상태 정도에 해당하는 기등록된 이미지 및 상기 이미지 관련 메시지를 연계하여 소정 프레임에 표시하는 수동형 피드백 UI를 포함한다.
상기 원형 그래프는, 잠금 해제 인터페이스가 디스플레이되는 영역에 표시되어 상태 정도에 따라 상태 정도가 수치화된 숫자가 서로 상이하게 채색되어 표시된다.
상기 모드 실행부(416)은 제어부(418)의 제어 하에 모드를 스위칭하여 해당 모드를 실행하는 것으로, 카메라부(410)를 통하여 기설정된 거리에서 상기 사용자의 얼굴을 포함하는 영상을 획득하고, 기설정된 얼굴 인식 알고리즘(424)을 이용하여 얼굴을 인식 및 추출하여 추출된 얼굴 영상으로부터 오브젝트 상태 정도를 결정짓는 기설정된 특징점을 추출하고, 추출된 상기 특징점으로부터 해당 오브젝트의 상태 정도 측정이 실행되는 모드를 실행한다.
상기와 같이 본 발명에 따른 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 방법 및 장치에 관한 동작이 이루어질 수 있으며, 한편 상기한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나 여러 가지 변형이 본 발명의 범위를 벗어나지 않고 실시될 수 있다. 따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 청구범위와 청구범위의 균등한 것에 의하여 정하여져야 할 것이다.
410: 카메라부 412: 터치스크린
414: 검출부 416: 모드 실행부
418: 제어부 420: 피드백 UI
422: 상태 정도 측정부 424: 얼굴 인식 알고리즘
426: 룩업 테이블
414: 검출부 416: 모드 실행부
418: 제어부 420: 피드백 UI
422: 상태 정도 측정부 424: 얼굴 인식 알고리즘
426: 룩업 테이블
Claims (16)
- 삭제
- 사용자 인터럽트(interrupt)를 통해 잠금 해제 인터페이스를 디스플레이하는 과정과,
상기 잠금 해제 인터페이스를 통해 입력된 잠금 해제 패턴을 수신하는 과정과,
상기 수신된 잠금 해제 패턴을 검출하고 검출된 잠금 해제 패턴에 대응하는 모드를 실행하여 상기 검출된 잠금 해제 패턴에 대응하는 오브젝트의 상태 정도를 측정하는 과정과,
기설정되어 분류된 오브젝트 유형에 따라 유형별 적정 상태 정도 범위가 측정되어 매칭된 룩업 테이블을 호출하여 상기 측정된 오브젝트의 상태 정도를 판단하고, 판단 결과를 상기 잠금 해제 인터페이스를 통해 피드백하는 과정을 포함함을 특징으로 하며,
상기 기설정되어 분류된 오브젝트 유형은,
웃음 훈련을 필요로 하거나 순간의 표정관리를 원하는 목적형,
웃으려는 의도가 있으나 웃을 수 없는 상황에서 마음의 변화를 요구하는 동기형,
웃으려는 의도가 없을 때에도 자극을 받아 웃으려는 의지를 갖게 되는 수동형을 포함함을 특징으로 하는 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 방법. - 사용자 인터럽트(interrupt)를 통해 잠금 해제 인터페이스를 디스플레이하는 과정과,
상기 잠금 해제 인터페이스를 통해 입력된 잠금 해제 패턴을 수신하는 과정과,
상기 수신된 잠금 해제 패턴을 검출하고 검출된 잠금 해제 패턴에 대응하는 모드를 실행하여 상기 검출된 잠금 해제 패턴에 대응하는 오브젝트의 상태 정도를 측정하는 과정과,
기설정되어 분류된 오브젝트 유형에 따라 유형별 적정 상태 정도 범위가 측정되어 매칭된 룩업 테이블을 호출하여 상기 측정된 오브젝트의 상태 정도를 판단하고, 판단 결과를 상기 잠금 해제 인터페이스를 통해 피드백하는 과정을 포함함을 특징으로 하며,
상기 잠금 해제 패턴에 대응하는 모드는,
카메라를 통하여 기설정된 거리에서 상기 사용자의 얼굴을 포함하는 영상을 획득하는 과정과,
기설정된 얼굴 인식 알고리즘을 이용하여 얼굴을 인식 및 추출하는 과정과,
상기 추출된 얼굴 영상으로부터 오브젝트 상태 정도를 결정짓는 기설정된 특징점을 추출하는 과정과,
추출된 상기 특징점으로부터 해당 오브젝트의 상태 정도를 측정하는 과정을 포함함을 특징으로 하는 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 방법. - 사용자 인터럽트(interrupt)를 통해 잠금 해제 인터페이스를 디스플레이하는 과정과,
상기 잠금 해제 인터페이스를 통해 입력된 잠금 해제 패턴을 수신하는 과정과,
상기 수신된 잠금 해제 패턴을 검출하고 검출된 잠금 해제 패턴에 대응하는 모드를 실행하여 상기 검출된 잠금 해제 패턴에 대응하는 오브젝트의 상태 정도를 측정하는 과정과,
기설정되어 분류된 오브젝트 유형에 따라 유형별 적정 상태 정도 범위가 측정되어 매칭된 룩업 테이블을 호출하여 상기 측정된 오브젝트의 상태 정도를 판단하고, 판단 결과를 상기 잠금 해제 인터페이스를 통해 피드백하는 과정을 포함함을 특징으로 하며,
상기 피드백하는 과정은,
잠금 해제 인터페이스를 통해 서로 상이하게 디스플레이되는 피드백 UI가 오브젝트의 유형별로 기설정되어 모드에 설정된 유형에 따라 해당 피드백 UI를 측정된 상태 정도와 매칭하여 표시됨을 특징으로 하는 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 방법. - 제4항에 있어서, 상기 피드백 UI는,
원형 그래프로 오브젝트의 상태 정도를 시각화 및 수치화하여 표시하는 목적형,
원형 그래프로 오브젝트의 상태 정도를 시각화하거나 혹은 상태 정도별 기설정되어 매칭된 메시지가 출력되는 동기형,
잠금 해제 패턴의 상태 정도에 해당하는 기등록된 이미지 및 상기 이미지 관련 메시지를 연계하여 소정 프레임에 표시하는 수동형 피드백 UI를 포함함을 특징으로 하는 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 방법. - 제5항에 있어서, 상기 원형 그래프는,
잠금 해제 인터페이스가 디스플레이되는 영역에 표시되어 상태 정도에 따라 상태 정도가 수치화된 숫자가 서로 상이하게 채색되어 표시됨을 특징으로 하는 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 방법. - 사용자 인터럽트(interrupt)를 통해 잠금 해제 인터페이스를 디스플레이하는 과정과,
상기 잠금 해제 인터페이스를 통해 입력된 잠금 해제 패턴을 수신하는 과정과,
상기 수신된 잠금 해제 패턴을 검출하고 검출된 잠금 해제 패턴에 대응하는 모드를 실행하여 상기 검출된 잠금 해제 패턴에 대응하는 오브젝트의 상태 정도를 측정하는 과정과,
기설정되어 분류된 오브젝트 유형에 따라 유형별 적정 상태 정도 범위가 측정되어 매칭된 룩업 테이블을 호출하여 상기 측정된 오브젝트의 상태 정도를 판단하고, 판단 결과를 상기 잠금 해제 인터페이스를 통해 피드백하는 과정을 포함함을 특징으로 하며,
상기 잠금 해제 인터페이스는,
복수의 분할된 영역을 갖고, 각 분할된 영역에는 대응하는 아이템이 형성되고, 상기 분할된 영역 내의 제1 위치에는 상기 아이템과 관련된 제1 서비스를 제공하는 제1 메뉴가 미리 설정되고, 상기 제1 위치와 다른 제2 위치에는 상기 분할된 영역 내에 형성된 상기 아이템과 관련되며 상기 제1 서비스와 다른 제2 서비스를 제공하는 제2 메뉴가 미리 설정됨을 특징으로 하는 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 방법. - 사용자 인터럽트(interrupt)를 통해 잠금 해제 인터페이스를 디스플레이하는 과정과,
상기 잠금 해제 인터페이스를 통해 입력된 잠금 해제 패턴을 수신하는 과정과,
상기 수신된 잠금 해제 패턴을 검출하고 검출된 잠금 해제 패턴에 대응하는 모드를 실행하여 상기 검출된 잠금 해제 패턴에 대응하는 오브젝트의 상태 정도를 측정하는 과정과,
기설정되어 분류된 오브젝트 유형에 따라 유형별 적정 상태 정도 범위가 측정되어 매칭된 룩업 테이블을 호출하여 상기 측정된 오브젝트의 상태 정도를 판단하고, 판단 결과를 상기 잠금 해제 인터페이스를 통해 피드백하는 과정을 포함함을 특징으로 하며,
상기 오브젝트는 웃음 표정이고,
상기 상태 정도는 상기 웃음 표정에 대응되는 웃음량이 측정되어 레벨화된 것임을 특징으로 하는 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 방법. - 사용자 인터럽트(interrupt)를 통해 잠금 해제 인터페이스를 디스플레이하는 과정과,
상기 잠금 해제 인터페이스를 통해 입력된 잠금 해제 패턴을 수신하는 과정과,
상기 수신된 잠금 해제 패턴을 검출하고 검출된 잠금 해제 패턴에 대응하는 모드를 실행하여 상기 검출된 잠금 해제 패턴에 대응하는 오브젝트의 상태 정도를 측정하는 과정과,
기설정되어 분류된 오브젝트 유형에 따라 유형별 적정 상태 정도 범위가 측정되어 매칭된 룩업 테이블을 호출하여 상기 측정된 오브젝트의 상태 정도를 판단하고, 판단 결과를 상기 잠금 해제 인터페이스를 통해 피드백하는 과정을 포함함을 특징으로 하며,
상기 잠금 해제 패턴에 대응하는 모드는,
상기 피드백 서비스 수행 후 잠금이 해제된 인터페이스를 통해 해당 피드백 UI별 사용자의 만족도를 수집하여 상기 피드백 UI에 대한 만족도 이력을 추가로 저장, 관리하고, 사용자 요청 시 오브젝트 유형별 매칭된 피드백 UI별 선호 이력을 표시하는 제1 서브 모드와,
상기 검출된 잠금 해제 패턴의 오브젝트를 잠금이 해제된 인터페이스를 통해 표시하고, 표시된 오브젝트를 해당 시간 정보와 함께 저장하여 사용자 호출 시 시간 순 순차 축적된 오브젝트를 표시하고, 시간별 오브젝트에 대응하는 상태 정도에 따라 기설정된 서비스를 제공하는 제2 서브 모드를 포함함을 특징으로 하는 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 방법. - 제9항에 있어서, 상기 기설정된 서비스는,
상기 오브젝트에 대응하는 상태 정도별 출력되는 수치 데이터를 기반으로 연계된 SNS(social networking service) 서비스 서버를 통해 연동된 서비스를 추천함을 특징으로 하는 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 방법. - 삭제
- 사용자의 얼굴을 포함하는 영상을 획득하는 카메라부와,
사용자 인터럽트(interrupt)를 통해 잠금 해제 인터페이스를 디스플레이하고, 상기 잠금 해제 인터페이스를 통해 입력된 잠금 해제 패턴을 출력하는 터치 스크린,
상기 터치 스크린으로부터 출력된 잠금 해제 패턴을 검출하고 검출된 잠금 해제 패턴에 대응하는 모드를 실행하여 상기 검출된 잠금 해제 패턴에 대응하는 오브젝트의 상태 정도를 측정하고, 기설정되어 분류된 오브젝트 유형에 따라 유형별 적정 상태 정도 범위가 측정되어 매칭된 룩업 테이블을 호출하여 상기 측정된 오브젝트의 상태 정도를 판단하고, 판단 결과를 상기 잠금 해제 인터페이스를 통해 피드백되도록 제어하는 제어부를 포함함을 특징으로 하며,
상기 기설정되어 분류된 오브젝트 유형은,
웃음 훈련을 필요로 하거나 순간의 표정관리를 원하는 목적형, 웃으려는 의도가 있으나 웃을 수 없는 상황에서 마음의 변화를 요구하는 동기형, 웃으려는 의도가 없을 때에도 자극을 받아 웃으려는 의지를 갖게 되는 수동형을 포함함을 특징으로 하는 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 장치. - 사용자의 얼굴을 포함하는 영상을 획득하는 카메라부와,
사용자 인터럽트(interrupt)를 통해 잠금 해제 인터페이스를 디스플레이하고, 상기 잠금 해제 인터페이스를 통해 입력된 잠금 해제 패턴을 출력하는 터치 스크린,
상기 터치 스크린으로부터 출력된 잠금 해제 패턴을 검출하고 검출된 잠금 해제 패턴에 대응하는 모드를 실행하여 상기 검출된 잠금 해제 패턴에 대응하는 오브젝트의 상태 정도를 측정하고, 기설정되어 분류된 오브젝트 유형에 따라 유형별 적정 상태 정도 범위가 측정되어 매칭된 룩업 테이블을 호출하여 상기 측정된 오브젝트의 상태 정도를 판단하고, 판단 결과를 상기 잠금 해제 인터페이스를 통해 피드백되도록 제어하는 제어부를 포함함을 특징으로 하며,
상기 제어부의 제어 하에 모드를 스위칭하여 해당 모드를 실행하는 모드 실행부를 더 포함하고,
상기 모드 실행부는,
카메라를 통하여 기설정된 거리에서 상기 사용자의 얼굴을 포함하는 영상을 획득하고, 기설정된 얼굴 인식 알고리즘을 이용하여 얼굴을 인식 및 추출하여 추출된 얼굴 영상으로부터 오브젝트 상태 정도를 결정짓는 기설정된 특징점을 추출하고, 추출된 상기 특징점으로부터 해당 오브젝트의 상태 정도 측정이 실행되는 모드를 실행함을 특징으로 하는 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 장치. - 사용자의 얼굴을 포함하는 영상을 획득하는 카메라부와,
사용자 인터럽트(interrupt)를 통해 잠금 해제 인터페이스를 디스플레이하고, 상기 잠금 해제 인터페이스를 통해 입력된 잠금 해제 패턴을 출력하는 터치 스크린,
상기 터치 스크린으로부터 출력된 잠금 해제 패턴을 검출하고 검출된 잠금 해제 패턴에 대응하는 모드를 실행하여 상기 검출된 잠금 해제 패턴에 대응하는 오브젝트의 상태 정도를 측정하고, 기설정되어 분류된 오브젝트 유형에 따라 유형별 적정 상태 정도 범위가 측정되어 매칭된 룩업 테이블을 호출하여 상기 측정된 오브젝트의 상태 정도를 판단하고, 판단 결과를 상기 잠금 해제 인터페이스를 통해 피드백되도록 제어하는 제어부를 포함함을 특징으로 하며,
상기 제어부는,
잠금 해제 인터페이스를 통해 서로 상이하게 디스플레이되는 피드백 UI가 오브젝트의 유형별로 기설정되어 모드에 설정된 유형에 따라 해당 피드백 UI를 측정된 상태 정도와 매칭하여 표시하여 피드백함을 특징으로 하는 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 장치. - 제14항에 있어서, 상기 피드백 UI는,
원형 그래프로 오브젝트의 상태 정도를 시각화 및 수치화하여 표시하는 목적형,
원형 그래프로 오브젝트의 상태 정도를 시각화하거나 혹은 상태 정도별 기설정되어 매칭된 메시지가 출력되는 동기형,
잠금 해제 패턴의 상태 정도에 해당하는 기등록된 이미지 및 상기 이미지 관련 메시지를 연계하여 소정 프레임에 표시하는 수동형 피드백 UI를 포함함을 특징으로 하는 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 장치. - 제15항에 있어서, 상기 원형 그래프는,
잠금 해제 인터페이스가 디스플레이되는 영역에 표시되어 상태 정도에 따라 상태 정도가 수치화된 숫자가 서로 상이하게 채색되어 표시됨을 특징으로 하는 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 장치.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150046990A KR101677426B1 (ko) | 2015-04-02 | 2015-04-02 | 얼굴 인식 기반 어플리케이션의 피드백 ｕｉ 제공 서비스 방법 및 시스템 |
| US15/563,448 US20180121715A1 (en) | 2015-04-02 | 2015-06-18 | Method and system for providing feedback ui service of face recognition-based application |
| PCT/KR2015/006181 WO2016159443A1 (ko) | 2015-04-02 | 2015-06-18 | 얼굴 인식 기반 어플리케이션의 피드백 ｕｉ 제공 서비스 방법 및 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150046990A KR101677426B1 (ko) | 2015-04-02 | 2015-04-02 | 얼굴 인식 기반 어플리케이션의 피드백 ｕｉ 제공 서비스 방법 및 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20160118610A KR20160118610A (ko) | 2016-10-12 |
| KR101677426B1 true KR101677426B1 (ko) | 2016-11-21 |
Family
ID=57004463
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150046990A KR101677426B1 (ko) | 2015-04-02 | 2015-04-02 | 얼굴 인식 기반 어플리케이션의 피드백 ｕｉ 제공 서비스 방법 및 시스템 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20180121715A1 (ko) |
| KR (1) | KR101677426B1 (ko) |
| WO (1) | WO2016159443A1 (ko) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102386299B1 (ko) * | 2015-07-03 | 2022-04-14 | 삼성전자주식회사 | 도움 가이드 제공 방법 및 장치 |
| KR102401170B1 (ko) * | 2015-10-21 | 2022-05-24 | 삼성전자주식회사 | 복합 인증 장치 및 방법 |
| US10698998B1 (en) * | 2016-03-04 | 2020-06-30 | Jpmorgan Chase Bank, N.A. | Systems and methods for biometric authentication with liveness detection |
| CN107317927A (zh) * | 2017-06-22 | 2017-11-03 | 深圳市沃特沃德股份有限公司 | 与用户互动的方法及智能终端 |
| CN109145195A (zh) * | 2017-06-28 | 2019-01-04 | 南宁富桂精密工业有限公司 | 信息推荐方法、电子装置及计算机可读存储介质 |
| CN107784114A (zh) * | 2017-11-09 | 2018-03-09 | 广东欧珀移动通信有限公司 | 表情图像的推荐方法、装置、终端及存储介质 |
| CN112783332A (zh) * | 2019-11-04 | 2021-05-11 | 北京搜狗科技发展有限公司 | 一种信息推荐方法、装置和电子设备 |
| CN115203555B (zh) * | 2022-07-15 | 2024-03-19 | 重庆工商大学 | 一种基于大数据的景区景点推荐方法及系统 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101443960B1 (ko) * | 2012-02-22 | 2014-11-03 | 주식회사 팬택 | 사용자 인증 전자 장치 및 방법 |
| AU2013205535B2 (en) * | 2012-05-02 | 2018-03-15 | Samsung Electronics Co., Ltd. | Apparatus and method of controlling mobile terminal based on analysis of user's face |
| KR20140071802A (ko) * | 2012-12-04 | 2014-06-12 | 주식회사 엘지유플러스 | 얼굴 인식을 통한 휴대 단말기 숏컷 정보 실행 시스템 및 방법 |
| KR102166041B1 (ko) * | 2013-07-18 | 2020-10-16 | 삼성전자 주식회사 | 생체인식 기반 인증 방법 및 장치 |
-
2015
- 2015-04-02 KR KR1020150046990A patent/KR101677426B1/ko active IP Right Grant
- 2015-06-18 WO PCT/KR2015/006181 patent/WO2016159443A1/ko active Application Filing
- 2015-06-18 US US15/563,448 patent/US20180121715A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| WO2016159443A1 (ko) | 2016-10-06 |
| US20180121715A1 (en) | 2018-05-03 |
| KR20160118610A (ko) | 2016-10-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101677426B1 (ko) | 얼굴 인식 기반 어플리케이션의 피드백 ｕｉ 제공 서비스 방법 및 시스템 | |
| US10264870B2 (en) | Makeup application assistance device, makeup application assistance system, and makeup application assistance method | |
| CN105559802B (zh) | 基于注意和情感信息融合的抑郁诊断系统及数据处理方法 | |
| JP6809226B2 (ja) | 生体検知装置、生体検知方法、および、生体検知プログラム | |
| JP2016149063A (ja) | 感情推定装置及び感情推定方法 | |
| CN106682473A (zh) | 一种用户身份信息的识别方法及其装置 | |
| Król et al. | A novel machine learning analysis of eye-tracking data reveals suboptimal visual information extraction from facial stimuli in individuals with autism | |
| JP5225870B2 (ja) | 情動分析装置 | |
| CN110741377A (zh) | 人脸图像处理方法、装置、存储介质及电子设备 | |
| CN109766785A (zh) | 一种人脸的活体检测方法及装置 | |
| KR20110090731A (ko) | 위조 영상 판별 장치 및 그 방법 | |
| WO2018154098A1 (en) | Method and system for recognizing mood by means of image analysis | |
| Werner et al. | Pain recognition and intensity rating based on comparative learning | |
| CN107871118A (zh) | 烹饪器具的控制方法、装置和系统、存储介质、处理器 | |
| JP2017117384A (ja) | 情報処理装置 | |
| JP2018032164A (ja) | 面接システム | |
| WO2022024354A1 (ja) | 反応解析システム | |
| Rhue | Beauty’s in the AI of the beholder: how AI anchors subjective and objective predictions | |
| Hossain et al. | Facial emotion verification by infrared image | |
| WO2021112048A1 (ja) | 運転分析装置、及び運転分析方法 | |
| CN113159876B (zh) | 服装搭配推荐装置、方法及存储介质 | |
| CN108804893A (zh) | 一种基于人脸识别的控制方法、装置和服务器 | |
| US11935140B2 (en) | Initiating communication between first and second users | |
| JP2020087305A (ja) | 情報処理装置、情報処理方法及びプログラム | |
| Sato et al. | An automatic classification method for involuntary and two types of voluntary blinks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |