KR20210089248A - 사용자 상호작용 방법, 장치, 디바이스 및 매체 - Google Patents

사용자 상호작용 방법, 장치, 디바이스 및 매체 Download PDF

Info

Publication number
KR20210089248A
KR20210089248A KR1020217019699A KR20217019699A KR20210089248A KR 20210089248 A KR20210089248 A KR 20210089248A KR 1020217019699 A KR1020217019699 A KR 1020217019699A KR 20217019699 A KR20217019699 A KR 20217019699A KR 20210089248 A KR20210089248 A KR 20210089248A
Authority
KR
South Korea
Prior art keywords
user
current
laughter
level
expression
Prior art date
Application number
KR1020217019699A
Other languages
English (en)
Other versions
KR102662884B1 (ko
Inventor
샤오쿤 짜오
즤웨이 친
?p웨이 친
쿤 송
Original Assignee
베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN202010437954.4A external-priority patent/CN113703565A/zh
Application filed by 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. filed Critical 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Publication of KR20210089248A publication Critical patent/KR20210089248A/ko
Application granted granted Critical
Publication of KR102662884B1 publication Critical patent/KR102662884B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G06K9/00335—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 출원은 사용자 상호작용 방법, 장치, 디바이스 및 매체를 제공하는 것으로, 인공 지능 분야에 관한 것이다. 구체적인 구현 방안은, 사용자의 현재 얼굴 표정 정보를 획득하고; 상기 현재 얼굴 표정 정보에 따라 상기 사용자의 현재 웃음 레벨을 확정하며; 상기 현재 웃음 레벨에 따라 상응하는 상호작용 동작을 실행하는 것이다.

Description

사용자 상호작용 방법, 장치, 디바이스 및 매체
본 출원은 컴퓨터 기술에 관한 것으로, 예를 들어, 인공 지능 분야에 관한 것이고, 구체적으로는 사용자 상호작용 방법, 장치, 디바이스 및 매체에 관한 것이다.
스마트 디바이스가 보급됨에 따라 사용자들은 매일마다 스마트 디바이스를 통해 많은 양의 정보와 상호작용하고 있다. 사용자가 스마트 디바이스를 사용하여 여러 가지 상호작용 동작을 실행할 때, 대부분의 상호작용 동작은 모두 사용자가 수동으로 완성하여야 하는 것으로, 예를 들면, 좋아요 표시 동작, 정보 피드백 동작 등, 상응하는 상호작용 동작을 완성하려면 사용자는 반드시 스마트 디바이스의 스크린에 표시되어 있는 컨트롤 요소를 수동으로 터치하거나 또는 클릭하여야 한다.
관련 기술에 따르면, 사용자는 반드시 손가락으로 스마트 디바이스의 스크린에 표시되어 있는 상호작용 컨트롤을 클릭하거나 또는 커서(cursor)를 컨트롤하여 클릭하여야만 상호작용 동작을 완성할 수 있므로, 상호작용 동작의 트리거 요구 사항이 높아져, 사용자의 상호작용 동작이 불편해지고, 사용자의 상호작용 체험감이 떨어지게 된다.
아래에 본 명세서에서 상세하게 서술할 주제를 요약하여 설명한다. 본 요약은 청구범위를 한정하려는 것은 아니다.
본 출원의 실시예는 사용자 상호작용 방법, 장치, 디바이스 및 매체를 제공한다.
본 출원은 사용자 상호작용 방법을 제공하되, 해당 사용자 상호작용 방법은,
사용자의 현재 얼굴 표정 정보를 획득하는 단계;
상기 현재 얼굴 표정 정보에 따라 상기 사용자의 현재 웃음 레벨을 확정하는 단계;
상기 현재 웃음 레벨에 따라 상응하는 상호작용 동작을 실행하는 단계; 를 포함한다.
본 출원은 또한 사용자 상호작용 장치를 제공하되, 해당 사용자 상호작용 장치는,
사용자의 현재 얼굴 표정 정보를 획득하도록 구성되는 표정 획득 모듈;
상기 현재 얼굴 표정 정보에 따라 상기 사용자의 현재 웃음 레벨을 확정하도록 구성되는 레벨 확정 모듈;
상기 현재 웃음 레벨에 따라 상응하는 상호작용 동작을 실행하도록 동작 실행 모듈; 을 포함한다.
본 출원은 또한 전자 디바이스를 제공하되, 해당 전자 디바이스는,
적어도 하나의 프로세서; 및
상기 적어도 하나의 프로세서와 통신 연결하는 메모리; 를 포함하고, 여기서,
상기 메모리에 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되어 있고, 상기 명령이 상기 적어도 하나의 프로세서에 의해 실행됨으로써, 상기 적어도 하나의 프로세서가 본 출원의 실시예에 따른 사용자 상호작용 방법을 구현하도록 한다.
본 출원은 또한 컴퓨터 명령이 저장되어 있는 비일시적 컴퓨터 판독 가능 저장 매체를 제공하되, 상기 컴퓨터는 상기 컴퓨터 명령에 의해 본 출원의 실시예에 따른 사용자 상호작용 방법을 구현할 수 있는 것을 특징으로 한다.
도면과 상세한 서술을 읽고 이해하면 기타 측면도 알 수 있다.
도면은 본 발명을 보다 쉽게 이해하기 위한 것으로, 본 발명을 한정하려는 것이 아니다. 도면에서,
도 1은 본 출원의 실시예에 따른 사용자 상호작용 방법의 흐름도이다.
도 2는 본 출원의 실시예에 따른 또 다른 사용자 상호작용 방법의 흐름도이다.
도 3a는 본 출원의 실시예에 따른 또 다른 사용자 상호작용 방법의 흐름도이다.
도 3b는 본 출원의 실시예에 따른 좋아요 표시 상호작용 과정의 개략도이다.
도 4는 본 출원의 실시예에 따른 사용자 상호작용 장치의 구조 개략도이다.
도 5는 본 출원의 실시예의 사용자 상호작용 방법을 구현하기 위해 사용되는 전자 디바이스의 블록도이다.
아래에 도면을 참조하여 본 출원의 예시적인 실시예에 대해 설명한다. 설명해야 할 것은, 충돌되지 않는 상황하에, 본 출원의 실시예 및 실시예의 특징은 서로 조합될 수 있다. 마찬가지로, 본 발명을 보다 뚜렷하고 간단 명료하게 나타내기 위해, 아래의 서술에서는 공지된 기능과 구조에 대한 서술을 생략한다.
본 출원의 실시예에 따르면, 본 출원은 사용자 상호작용 방법을 제공한다.
도 1에서 도시한 본 출원의 실시예에 따른 사용자 상호작용 방법의 흐름도와 같이, 본 실시예는 사용자 표정을 이용하여 좋아요 표시 상호작용을 수행하는 경우에 적용될 수 있고, 해당 방법은 사용자 상호작용 장치에 의해 실행될 수 있고, 해당 장치는 소프트웨어 및/또는 하드웨어에 의해 구현 가능하며, 일반적으로 컴퓨터, 휴대폰 등 전자 디바이스에 집적될 수 있다.
구체적으로, 도 1을 참조하면, 해당 방법은 구체적으로 단계(S110), 단계(S120) 및 단계(S130)를 포함한다.
단계(S110)에서, 사용자의 현재 얼굴 표정 정보를 획득한다.
얼굴 표정 중, 미소는 자연스럽고, 명확하게, 칭찬의 의미를 나타나는 표정이다. 사용자는 정보를 수신한 경우, 일반적으로 미소를 통해 해당 정보의 긍정적 작용을 피드백한다. 이에 기초하여, 본 실시예는 사용자의 현재 얼굴 표정 정보를 획득하고, 현재 웃음 레벨을 확정함으로써, 상응하는 좋아요 표시 상호작용 동작을 수행하는바, 이는 사용자 좋아요 표시 상호작용이 수요되는 애플리케이션에 응용될 수 있다.
본 실시예에 따르면, 사용자의 현재 얼굴 표정 정보는 사용자 현재 얼굴 표정을 데이터화 하여 얻은 정보일 수 있다. 구체적으로, 사용자의 현재 얼굴 표정 정보를 획득하는 방식은, 카메라 등 로컬 머신 또는 외부의 이미지 수집 장치를 연결하여, 사용자 얼굴의 이미지 또는 동영상을 실시간으로 수집하는 것을 포함하지만 이에 한정되지 않는다.
예시적으로, 사용자가 전자 디바이스를 클릭하여 사용자 좋아요 표시 상호작용이 수요되는 애플리케이션을 실행한 경우, 디바이스의 카메라가 켜지고, 기설정 수집 빈도에 따라 사용자 얼굴의 이미지 데이터를 실시간으로 수집하여 이를 해당 사용자의 현재 얼굴 표정 정보로 정한다.
단계(S120)에서, 현재 얼굴 표정 정보에 따라 사용자의 현재 웃음 레벨을 확정한다.
본 실시예에 따르면, 상이한 웃음 정도는 사용자의 상이한 칭찬 정도를 의미하므로, 복수 개의 웃음 레벨을 설정할 수 있고, 웃음 레벨별로 사용자의 상이한 웃음 정도가 대응될 수 있다. 예를 들면, 기설정 웃음 레벨에 두 가지 레벨: 무표정 레벨 및 웃음 레벨이 포함될 수 있고, 또한, 기설정 웃음 레벨에 네 가지 레벨: 무표정 레벨, 미소 레벨, 활짝 웃음 레벨 및 너털 웃음 레벨이 포함될 수 있으며, 물론, 상술한 내용은 단지 예시적인 것일 뿐, 실제 수요에 따라 기타 웃음 레벨을 설정할 수도 있는바, 본 발명은 이에 대해 한정하지 않는다.
예시적으로, 통일된 지표 파라미터를 이용하여 현재 얼굴 표정 정보를 웃음 정도로 계량화한 다음, 계량화한 지표 파라미터 값에 따라 현재 얼굴 표정 정보에 대응되는 소속 현재 웃음 레벨을 확정할 수 있다.
본 실시예에서 상이한 웃음 레벨을 설정하는 유리한 효과로는, 사용자 현재 웃음 레벨을 확정함으로써, 사용자의 상이한 칭찬 정도가 반영되고, 상호작용의 정밀도가 향상되며, 상호작용 동작의 다양성이 증가되는데 있다.
단계(S130)에서, 현재 웃음 레벨에 따라 상응하는 상호작용 동작을 실행한다.
본 실시예에 따르면, 웃음 레벨별로 상이한 상호작용 동작이 대응되어 실행될 수 있고, 여기서, 상호작용 동작은 사용자 인터페이스（User Interface, UI） 상호작용 동작 및 백엔드 논리 동작 등을 포함하지만 이에 한정되지 않는다.
상이한 웃음 레벨이 상이한 상호작용 동작에 대응되므로, 사용자는 실시간으로 드러내는 표정으로 진실하고 객관적으로 좋아요 표시 대상에 대한 사용자의 선호도를 나타낼 수 있고, 그에 대응되는 피드백 상호작용 동작을 자동적으로 실행할 수 있으므로, 두 손을 해방시켜 표정 식별 기능에 의해 상호작용 과정을 완성하고, 상호작용 상의 혁신을 구현하였으며, 아울러, 사용자 상호작용의 비용을 절감시키고, 상호작용 과정의 흥미를 돋구어, 사용자가 좋아하는 대상에 대해 적극적으로 피드백하도록 추진시켰으며, 사용자의 상호작용 체험감을 향상시켜 상호작용 결과 정보에 대한 통계를 추진시켰다.
선택적으로, 상응하는 상호작용 동작을 실행하는 단계는, 대응되는 좋아요 표시 효과 화면을 표시하는 단계; 및/또는 대응되는 사용자 피드백 정보에 대해 통계하는 단계; 를 포함한다.
예시적으로, 상이한 웃음 레벨에 대응되는 좋아요 표시 상호작용 동작은, 좋아요 표시 대상의 표시 인터페이스에 상이한 좋아요 표시 효과 화면을 대응되게 표시하는 것일 수 있다. 구체적인 예를 들면, 만약 사용자의 현재 웃음 레벨이 미소이면, 현재 좋아요 표시 대상의 표시 인터페이스에는 하나의 작은 하트가 표시되고; 만약 사용자의 현재 웃음 레벨이 활짝 웃음이면, 현재 좋아요 표시 대상의 표시 인터페이스에는 복수 개의 작은 하트가 표시되며; 만약 사용자의 현재 웃음 레벨이 너털 웃음이면, 좋아요 표시 대상의 표시 인터페이스에는 풀 스크린으로 하나의 큰 하트가 표시되며; 만약 사용자의 현재 웃음 레벨이 무표정이면, 좋아요 표시 대상의 표시 인터페이스에는 하트의 동화상 효과 표시가 수행되지 않는다. 이에 따라 좋아요 표시 과정의 흥미를 돋굴 수 있어, 사용자의 좋아요 표시 상호작용의 적극성이 향상된다.
그리고, 본 실시예는 상이한 웃음 레벨을 상이한 사용자 피드백 정보와 대응시켜 통계를 수행하되, 예를 들면, 만약 사용자의 현재 웃음 레벨이 미소이면, 좋아요 표시 대상에 대한 사용자의 좋음 정도를 일반으로 피드백하고; 만약 사용자의 현재 웃음 레벨이 활짝 웃음이면, 좋아요 표시 대상에 대한 사용자의 좋음 정도를 비교적 좋아함으로 피드백하며; 만약 사용자의 현재 웃음 레벨이 너털 웃음이면, 좋아요 표시 대상에 대한 사용자의 좋음 정도를 매우 좋아함으로 피드백하며; 만약 사용자의 현재 웃음 레벨이 무표정이면, 좋아요 표시 대상에 대한 사용자의 좋음 정도를 좋아하지 않음으로 피드백한다. 이에 따라 사용자가 수동으로 피드백 동작을 수행할 필요 없이, 고품질 정보에 대한 통계를 수행할 수 있다.
본 실시예의 기술 방안에 따르면, 사용자의 현재 얼굴 표정 정보를 획득하고, 해당 현재 얼굴 표정 정보에 따라 사용자의 현재 웃음 레벨을 확정한 후, 사용자의 현재 웃음 레벨에 따라 상응하는 상호작용 동작을 실행함으로써, 관련 기술에 존재하는 사용자가 수동으로 상호작용 동작을 완성해야 함으로 인한, 사용자 상호작용 동작의 불편성 및 사용자 상호작용 체험감의 저하 문제를 해결하였고, 상이한 수준의 상호작용 동작에 대한 사용자의 트리거 요구 사항을 낮추어, 사용자가 상이한 수준의 상호작용 동작을 수행하기 위한 편의성을 제공하였으며, 사용자의 상호작용 체험감을 향상시키는 효과를 달성하였다.
상술한 실시예를 기초로 하여, 선택적으로, 사용자의 현재 얼굴 표정 정보를 획득하는 단계는, 증강 현실(AR) 엔진을 사용하여, 설정된 빈도에 따라 사용자의 얼굴 표정 데이터를 실시간으로 수집하여 사용자의 현재 얼굴 표정 정보로 정하는 단계를 포함한다.
예시적으로, 사용자의 현재 얼굴 표정 정보를 획득하는 과정에서, 증강 현실(Augmented Reality, AR) 엔진을 통해 사용자 얼굴 모델을 실시간으로 수집할 수 있고, 아울러 설정된 수집 빈도에 따라 사용자의 얼굴 표정 이미지 데이터를 실시간으로 수집하여 이를 사용자의 현재 얼굴 표정 정보로 할 수 있다.
AR 엔진을 사용하여 사용자의 얼굴 표정 데이터를 수집하는 유리한 점으로는, 수집의 정밀도를 향상시켜, 사용자 웃음을 보다 정확하게 식별하게 할 수 있으므로, 상호작용 결과의 정확성과 신뢰성을 향상시킬 수 있는데 있다.
본 출원의 실시예에 따르면, 또 다른 사용자 상호작용 방법을 제공한다.
도 2에서 도시한 것은 본 출원의 실시예에 따른 또 다른 사용자 상호작용 방법의 흐름도이다. 본 실시예는 상술한 임의의 실시예를 세부화한 것으로, 상기 현재 얼굴 표정 정보에 따라 상기 사용자의 현재 웃음 레벨을 확정하는 단계를, 상기 현재 얼굴 표정 정보에 따라 현재 표정 계수를 확정하는 단계; 상기 현재 표정 계수에 따라 상기 사용자의 현재 웃음 레벨을 확정하는 단계; 를 포함하는 것으로 세부화한다.
구체적으로, 도 2를 참조하면, 본 방법은 구체적으로 단계(S210), 단계(S220), 단계(S230) 및 단계(S240)를 포함한다.
단계(S210)에서, 사용자의 현재 얼굴 표정 정보를 획득한다.
단계(S220)에서, 현재 얼굴 표정 정보에 따라 현재 표정 계수를 확정한다.
상술한 실시예를 기초로 하여, 본 실시예는 구체적으로 표정 계수를 사용하여, 사용자의 현재 얼굴 표정 정보를 웃음 정도에 따라 계량화한다. 여기서, 표정 계수의 값의 범위는 예를 들어 [0, 1]일 수 있다.
예시적으로, 얼굴 표정 정보별로 상이한 표정 계수를 얻을 수 있다. 예를 들면, 현재 얼굴 표정 정보 중 사용자의 입꼬리가 올라가는 정도를 검출함으로써 사용자의 현재 표정 계수를 확정할 수 있다. 사용자의 입꼬리가 올라가는 정도가 크면 컬수록, 사용자의 웃음 정도가 크다는 것을 의미하고, 이럴 경우, 확정된 현재 표정 계수도 크다. 실제적인 예를 들면, 사용자가 미소를 지을 경우 얻은 현재 얼굴 표정 정보 중 입꼬리가 올라가는 정도가 비교적 작으므로, 확정된 현재 표정 계수가 작고; 사용자가 활짝 웃거나 또는 너털 웃음을 지을 경우 얻은 현재 얼굴 표정 정보 중 입꼬리가 올라가는 정도가 비교적 크므로 확정된 현재 표정 계수가 크다.
선택적으로, 현재 얼굴 표정 정보에 따라 현재 표정 계수를 확정하는 단계는, 현재 얼굴 표정 정보를 표정 인식 모델에 입력하고, 현재 표정 계수를 출력하여 얻는 단계를 포함한다.
여기서, 표정 인식 모델은 학습을 거친 신경망 모델, 예를 들면 인공 지능(Artificial Intelligence, AI) 표정 인식 모델일 수 있다. 구체적인 예를 들면, AR 엔진은 일정한 샘플 수집률에 따라 사람 얼굴 정보를 수집하고, 얼굴 모델을 구축하며, 얼굴 모델은 AI 표정 인식 모델에 의해 분석 처리가 수행되고, AI표정 인식 모델은 AR 엔진에서 생성된 얼굴 모델과 기설정한 무표정 얼굴 모델에 대한 대조를 통해, 표정 계수를 출력하여 얻는다.
표정 인식 모델을 이용하여 얼굴 표정 정보를 식별하는 유리한 효과로는 식별 과정을 간략화하고, 식별의 정밀도를 향상시키고, 식별의 강인성(Robustness)을 증강시킬 수 있는데 있다.
단계(S230)에서, 현재 표정 계수에 따라 사용자의 현재 웃음 레벨을 확정한다.
본 실시예에 따르면, 상이한 웃음 레벨은 상이한 표정 계수의 값의 구간에 대응될 수 있는바, 예를 들면, 무표정 레벨에 대응되는 표정 계수 값의 구간은 [0, 2.5)로 설정될 수 있고, 미소 레벨에 대응되는 표정 계수 값의 구간은 [2.5, 5)로 설정될 수 있으며, 활짝 웃음 레벨에 대응되는 표정 계수 값의 구간은 [5, 7.5)로 설정될 수 있고, 너털 웃음 레벨에 대응되는 표정 계수 값의 구간은 [7.5, 1]로 설정될 수 있다.
예시적으로, 현재 표정 계수를 확정한 후, 현재 표정 계수값이 속한 값의 구간에 따라 현재 표정 계수값의 소속 웃음 레벨, 즉 사용자의 현재 웃음 레벨을 확정할 수 있다. 실제적인 예를 들면, 만약 현재 표정 계수값이 0.3으로 확정되고, 미소 레벨에 대응되는 표정 계수 값의 구간이 [2.5,5)이면, 사용자의 현재 웃음 레벨을 미소 레벨으로 확정할 수 있다.
단계(S240)에서, 현재 웃음 레벨에 따라 상응하는 상호작용 동작을 실행한다.
본 실시예의 기술 방안에 따르면, 먼저 사용자의 현재 얼굴 표정 정보에 따라 현재 표정 계수를 확정하고, 그 다음, 현재 표정 계수에 따라 사용자의 현재 웃음 레벨을 확정하며, 마지막에 현재 웃음 레벨에 따라 상응하는 상호작용 동작을 실행하고, 표정 계수를 사용하여 현재 얼굴 표정 정보를 웃음 정도로 계량화함으로써, 웃음 레벨이 쉽게 구분되도록 하였고, 웃음 식별 결과의 정확도를 향상시켰다.
본 출원의 실시예에 따르면, 본 출원은 또 다른 사용자 상호작용 방법을 제공한다.
도 3a에서 도시한 것은 본 출원의 실시예에 따른 또 다른 사용자 상호작용 방법의 흐름도이다. 본 실시예는 상술한 임의의 실시예를 세부화한 것으로, 상기 현재 표정 계수에 따라 상기 사용자의 현재 웃음 레벨을 확정하는 단계를, 상기 사용자에 대응되는 웃음 시작 문턱값을 획득하는 단계; 상기 현재 표정 계수 및 상기 웃음 시작 문턱값에 따라 상기 사용자의 현재 웃음 레벨을 확정하는 단계; 를 포함하는 것으로 세부화한다.
구체적으로, 도 3a를 참조하면, 본 방법은 구체적으로 단계(310), 단계(S320), 단계(S330), 단계(S340) 및 단계(S350)를 포함한다.
단계(S310)에서, 사용자의 현재 얼굴 표정 정보를 획득한다.
단계(S320)에서, 현재 얼굴 표정 정보에 따라 현재 표정 계수를 확정한다.
단계(S330)에서, 사용자에 대응되는 웃음 시작 문턱값을 획득한다.
본 실시예에 따르면, 웃음 시작 문턱값은 웃음 표정으로 판정하는 것과 무표정으로 판정하는 것 사이의 표정 계수값일 수 있고, 즉, 표정 계수가 해당 웃음 시작 문턱값보다 크거나 같으면, 웃음 표정으로 판정되고, 아니면 무표정으로 판정된다. 상술한 실시예의 기초상, 본 실시예는 사용자별로 상이한 웃음 시작 문턱값이 설정되어 있으므로, 사용자의 현재 웃음 레벨을 확정할 때, 먼저 해당 사용자에 대응되는 개성화된 웃음 시작 문턱값을 확정함으로써, 해당 사용자에 대응되는 웃음 레벨의 개성화된 값의 구간을 확정한다.
사용자별로 평상시의 입꼬리가 올라가는 각도가 서로 다르므로, 웃음 표정을 나타낼 때의 입꼬리가 올라가는 시작 각도도 서로 다르는바, 예를 들면, 일부 사람은 표정이 풍부하여, 평상시의 입꼬리가 올라가는 각도가 비교적 크고, 일부 사람은 표정이 근엄하여, 평상시의 입꼬리가 올라가는 각도가 작으며 심지어 올라가지도 않는다. 그러므로, 본 실시예는 웃음 식별의 정확성을 향상시키기 위해 사용자별로 상이한 웃음 시작 문턱값을 설정한다.
선택적으로, 사용자에 대응되는 웃음 시작 문턱값을 획득하는 단계는, 사용자의 이력 표정 계수(Historical expression coefficient)를 획득하는 단계; 이력 표정 계수를 이용하여, 사용자에 대응되는 웃음 문턱값 인식 모델에 대해 학습(training)하는 단계; 웃음 문턱값 인식 모델에 대한 학습 결과에 따라 사용자에 대응되는 웃음 시작 문턱값을 획득하는 단계, 여기서, 학습 결과는 적어도 두 가지 웃음 유형의 표정 계수 범위가 포함됨; 을 포함한다.
본 실시예에 따르면, 이력 표정 계수는, 사용자가 해당 애플리케이션을 사용하는 과정에서 계속 수집되는 사용자 표정 데이터를 통해 해당 사용자의 이력 얼굴 표정 정보를 얻고, 해당 사용자의 이력 얼굴 표정 정보에 따라 확정된 표정 계수일 수 있다. 여기서, 이력 표정 계수를 확정하는 방식은, 평소에 수집한 해당 사용자의 복수 개의 이력 얼굴 표정 정보를 순서대로 표정 인식 모델에 입력하여, 복수 개의 표정 계수를 출력하여 얻는 것을 포함하지만 이에 한정되지 않는다.
예시적으로, 사용자의 이력 표정 계수를 획득한 후, 해당 이력 표정 계수를 사용하여 사용자에 대응되는 웃음 문턱값 인식 모델에 대해 비지도 학습을 수행하되, 여기서, 웃음 문턱값 인식 모델은 기설정한 신경망 분류 모델일 수 있고, 입력된 이력 표정 계수는 학습을 통해 차츰차츰 군집화되어 적어도 두 가지 웃음 유형으로 구분되고, 모델이 수렴된 후, 적어도 두 가지 웃음 유형에 대응되는 표정 계수 범위를 얻을 수 있고, 또한 해당 적어도 두 가지 웃음 유형에 대응되는 표정 계수 범위에 따라 사용자에 대응되는 웃음 시작 문턱값을 획득할 수 있다. 상이한 웃음 유형에 대응되는 표정 계수 범위 사이는 연속되지 않는 가능성이 있으므로, 웃음 시작 문턱값을 획득하는 방식은, 최소 표정 계수값의 웃음 유형에 대응되는 표정 계수 범위 내의 최댓값과, 그 표정 계수값보다 약간 큰 표정 계수값의 웃음 유형에 대응되는 표정 계수 범위 내의 최솟값을 획득하고, 해당 최댓값과 최솟값 사이의 어느 한 값을 웃음 시작 문턱값으로 확정하는 것을 포함하지만 이에 한정되지 않으며, 물론, 표정 계수가 제일 작은 웃음 유형에 대응되는 표정 계수 범위에 따라 사용자에 대응되는 웃음 시작 문턱값을 확정할 수도 있는바, 본 발명은 이에 대해 한정하지 않는다.
본 실시예에 따르면, 획득한 이력 표정 계수를 이용하여, 사용자에 대응되는 웃음 문턱값 인식 모델에 대해 학습하고, 또한 계속 수정되는 해당 사용자에 대응되는 웃음 시작 문턱값을 획득하는바, 이에 따른 유리한 효과로는, 상이한 사용자의 개성화된 웃음 특징에 맞추어, 상이한 웃음 시작 문턱값을 설정함으로써, 상이한 사용자에 대한 웃음 식별 정확도를 향상시키고, 웃음 식별의 강인성을 향상시키는데 있다.
선택적으로, 웃음 문턱값 인식 모델에 대한 학습 결과에 따라 사용자에 대응되는 웃음 시작 문턱값을 획득하는 단계는, 학습 결과 중 최소 표정 계수값의 웃음 유형을 평상시 표정 유형으로 확정하는 단계; 평상시 표정 유형에 대응되는 표정 계수 범위의 최댓값을 사용자에 대응되는 웃음 시작 문턱값으로 확정하는 단계; 를 포함한다.
본 실시예에 따르면, 학습 결과 중 최소 표정 계수값의 웃음 유형을 사용자가 웃지 않을 때의 유형, 즉, 평상시 표정 유형으로 할 수 있고, 해당 평상시 표정 유형에 대응하여 수집된 얼굴 표정 이미지에서 사용자가 뚜렷한 웃음 표정이 없으면, 사용자의 이런 얼굴 표정을 사용자의 평상시 표정으로 삼을 수 있고, 이에 따라, 평상시 표정 유형에 대응되는 표정 계수 범위의 최댓값을 사용자에 대응되는 웃음 시작 문턱값으로 확정할 수 있다.
예시적으로, 학습 결과 중 최소 표정 계수값의 웃음 유형에 대응되는 표정 계수 범위의 최댓값을 사용자에 대응되는 웃음 시작 문턱값으로 정할 수 있으며, 이에 따른 유리한 효과로는, 기타 웃음 유형의 표정 계수 범위에 주목할 필요 없이, 모델의 군집화 효과가 좋지 않더라도, 웃음 시작 문턱값의 확정 결과에 크게 영향을 끼치지 않으며, 웃음 문턱값 인식 모델의 학습과정을 간략화하였고, 또한 웃음 시작 문턱값의 정확성을 확보하였으며, 웃음 시작 문턱값을 획득하는 실시간성을 향상시켰다.
단계(S340)에서, 현재 표정 계수 및 웃음 시작 문턱값에 따라 사용자의 현재 웃음 레벨을 확정한다.
본 실시예에 따르면, 해당 사용자에 대응되는 웃음 시작 문턱값을 획득한 후, 해당 웃음 시작 문턱값을 참조하여, 웃음 레벨에 대해 재구분하고, 현재 표정 계수에 따라 현재 표정 계수가 속하는 웃음 레벨을 해당 사용자의 현재 웃음 레벨로 확정할 수 있다.
선택적으로, 현재 표정 계수 및 웃음 시작 문턱값에 따라 사용자의 현재 웃음 레벨을 확정하는 단계는, 웃음 시작 문턱값에 따라 적어도 두 가지 기설정 웃음 레벨에 대응되는 레벨 값의 구간을 확정하는 단계; 현재 표정 계수 및 적어도 두 가지 기설정 웃음 레벨에 대응되는 레벨 값의 구간에 따라 사용자의 현재 웃음 레벨을 확정하는 단계; 를 포함한다.
예시적으로, 적어도 두 가지 기설정 웃음 레벨에 대응되는 레벨 값의 구간을 확정할 때, 웃음 시작 문턱값을 무표정 레벨 이외의 제1 기설정 웃음 레벨의 시작 문턱값으로 정하고, 이를 기준으로 하여, 기설정 영역의 간격에 따라 기타 웃음 레벨의 시작 문턱값을 확정함으로써, 각 기설정 웃음 레벨의 레벨 값의 구간을 확정할 수 있다. 예를 들면, 웃음 시작 문턱값을 미소 레벨의 시작 문턱값으로 설정한 후, 고정된 영역 간격에 따라 각 웃음 레벨의 시작 문턱값을 설정한다. 실제적인 예를 들면, 만약 웃음 시작 문턱값이 0.2이면, 무표정 레벨의 레벨 값의 구간은 [0,0.2)이고, 미소 레벨의 레벨 값의 구간은 [0.2,0.4)이며, 이와 같이 유추한다. 물론, 비 등간격의 기타 방식으로 웃음 레벨에 대응되는 레벨 값의 구간을 확정할 수 도 있으며, 본 발명은 이에 대해 한정하지 않는다.
본 실시예는 사용자의 개성화된 웃음 시작 문턱값을 확정함으로써, 기설정 웃음 레벨의 개성화된 레벨 값의 구간을 확정하는바, 이렇게 설정하는 이로운 점은, 각 사용자의 웃음 차이에 따라 상이한 레벨 구간으로 나눌 수 있어, 최종적으로 식별해 낸 현재 웃음 레벨이 보다 정확하게 되어, 웃음 식별의 정확성을 향상시켰다.
단계(S350)에서, 현재 웃음 레벨에 따라 상응하는 상호작용 동작을 실행한다.
본 실시예의 기술 방안에 따르면, 상술한 실시예의 기초상, 사용자에 대응되는 웃음 시작 문턱값을 획득하고, 현재 표정 계수 및 웃음 시작 문턱값에 따라 사용자의 현재 웃음 레벨을 확정함으로써, 웃음 식별의 정확성을 향상시켰고, 웃음 식별의 강인성을 향상시켰다.
상술한 각 실시예에 기초하여, 구체적인 예를 들면, 구체적인 상호작용 과정의 개략도는 도 3b에서 도시한 바와 같으며, 여기서, AR 엔진(301)은, 기설정 샘플 수집률에 따라 사용자 얼굴 표정 데이터를 수집하고, 얼굴 모델을 구축하며, 얼굴 모델을 AI표정 인식 모델(302)에 전송하도록 구성되고; AI표정 인식 모델(302)은, 수신한 얼굴 모델을 분석하고, 현재 웃음 표정 계수를 출력하여 얻고, 현재 웃음 표정 계수를 좋아요 표시 상호작용 모듈(303) 및 웃음 문턱값 인식 모델(304)에 전송하도록 구성되며; 웃음 문턱값 인식 모델(304)은, 기설정 문턱값보다 작은 현재 웃음 표정 계수를 평상시 표정 계수로 정하여, 모델 학습을 실행하고, 해당 사용자의 웃음 시작 문턱값에 대해 계속 수정하도록 구성되며; 좋아요 표시 상호작용 모듈(303)은, 현재 웃음 표정 계수 및 웃음 시작 문턱값에 따라 사용자의 현재 웃음 레벨을 확정하고, 또한 웃음 레벨에 따라 상응하는 좋아요 표시 상호작용 동작을 실행하여, 현재 대응되는 콘덴츠를 위해 좋아요 표시를 한다.
본 출원의 실시예에 따르면, 본 출원은 또한 사용자 상호작용 장치를 제공한다.
도 4에서 도시한 것은 본 출원의 실시예에 따른 사용자 상호작용 장치의 구조 개략도이다. 해당 장치는 소프트웨어 및/또는 하드웨어에 의해 구현 가능하고, 또한 본 출원의 임의의 실시예에 따른 상호작용 방법을 실행한다. 구체적으로, 사용자 상호작용 장치(400)는 표정 획득 모듈(401), 레벨 확정 모듈(402) 및 동작 실행 모듈(403)을 포함한다.
여기서, 표정 획득 모듈(401)은 사용자의 현재 얼굴 표정 정보를 획득하도록 구성되고;
레벨 확정 모듈(402)은 상기 현재 얼굴 표정 정보에 따라 상기 사용자의 현재 웃음 레벨을 확정하도록 구성되며;
동작 실행 모듈(403)은 상기 현재 웃음 레벨에 따라 상응하는 상호작용 동작을 실행하도록 구성된다.
선택적으로, 레벨 확정 모듈(402)은,
상기 현재 얼굴 표정 정보에 따라 현재 표정 계수를 확정하도록 구성되는 현재 계수 확정 서브 모듈;
상기 현재 표정 계수에 따라 상기 사용자의 현재 웃음 레벨을 확정하도록 구성되는 현재 레벨 확정 서브 모듈; 을 포함할 수 있다.
선택적으로, 현재 레벨 확정 서브 모듈은,
상기 사용자에 대응되는 웃음 시작 문턱값을 획득하도록 구성되는 시작 문턱값 획득 유닛;
현재 상기 현재 표정 계수 및 상기 웃음 시작 문턱값에 따라 상기 사용자의 현재 웃음 레벨을 확정하도록 구성되는 웃음 레벨 확정 유닛; 을 포함할 수 있다.
선택적으로, 시작 문턱값 획득 유닛은,
상기 사용자의 이력 표정 계수를 획득하도록 구성되는 이력 계수 획득 서브 유닛;
상기 이력 표정 계수를 이용하여, 상기 사용자에 대응되는 웃음 문턱값 인식 모델에 대해 학습하도록 구성되는 인식 모델 학습 서브 유닛; 을 포함할 수 있다.
웃음 문턱값 획득 서브 유닛은 상기 웃음 문턱값 인식 모델에 대한 학습 결과에 따라 상기 사용자에 대응되는 웃음 시작 문턱값을 획득하도록 구성되고, 상기 학습 결과에 적어도 두 가지 웃음 유형의 표정 계수 범위가 포함된다.
선택적으로, 웃음 문턱값 획득 서브 유닛은, 구체적으로,
상기 학습 결과 중 최소 표정 계수값의 웃음 유형을 평상시 표정 유형으로 확정하고;
상기 평상시 표정 유형에 대응되는 표정 계수 범위의 최댓값을 상기 사용자에 대응되는 웃음 시작 문턱값으로 확정하도록 구성될 수 있다.
선택적으로, 웃음 레벨 확정 유닛은,
상기 웃음 시작 문턱값에 따라 적어도 두 가지 기설정 웃음 레벨에 대응되는 레벨 값의 구간을 확정하도록 구성되는 레벨 구간 확정 서브 유닛;
상기 현재 표정 계수 및 상기 적어도 두 가지 기설정 웃음 레벨에 대응되는 레벨 값의 구간에 따라 상기 사용자의 현재 웃음 레벨을 확정하도록 구성되는 사용자 레벨 확정 서브 유닛; 을 포함할 수 있다.
선택적으로, 현재 계수 확정 서브 모듈은, 구체적으로,
상기 현재 얼굴 표정 정보를 표정 인식 모델에 입력하고, 현재 표정 계수를 출력하여 얻도록 구성될 수 있다.
선택적으로, 표정 획득 모듈(401)은, 구체적으로,
증강 현실(AR) 엔진을 사용하여, 설정된 빈도에 따라 사용자의 얼굴 표정 데이터를 실시간으로 수집하여 상기 사용자의 현재 얼굴 표정 정보로 정하도록 구성될 수 있다.
선택적으로, 동작 실행 모듈(403)은, 구체적으로,
대응되는 좋아요 표시 효과 화면을 표시하고; 및/또는
대응되는 사용자 피드백 정보에 대해 통계하도록 구성될 수 있다.
본 출원의 실시예에 의해 제공되는 사용자 상호작용 장치는 본 출원의 임의의 실시예에 의해 제공되는 사용자 상호작용 방법을 실행 가능하고, 실행 방법에 상응되는 기능 모듈 및 유리한 효과를 구비한다.
본 출원의 실시예에 따르면, 본 출원은 또한 전자 디바이스 및 판독 가능 저장 매체를 제공한다.
도 5에서 도시한 것은 본 출원의 실시예에 따른 사용자 상호작용 방법의 의한 전자 디바이스의 블록도이다. 전자 디바이스란 다양한 형태의 디지털 컴퓨터, 예를 들면, 랩톱 컴퓨터, 탁상용 컴퓨터, 워크벤치(workbench), 개인용 정보 단말기(personal digital assistant, PDA), 서버, 블레이드 서버 (blade server), 메인 프레임 컴퓨터(general purpose computer) 및 기타 적합한 컴퓨터를 가리킨다. 전자 디바이스는 또한 다양한 이동 장치, 예를 들면, 개인용 정보 단말기, 셀룰러 폰(cellular phone), 스마트 폰, 웨어러블(wearable) 디바이스 및 기타 유사 컴퓨팅 장치를 가리킬 수 있다. 본 명세서에서 제시한 구성 요소 및 그들의 연결과 관계, 그리고 그들의 기능은 단지 예시적인 것일 뿐, 본 명세서에서 서술되는 본 발명 및/또는 청구범위에서 요구되는 본 발명에 대해 한정하려는 것이 아니다.
도 5에서 도시한 바와 같이, 해당 전자 디바이스는 하나 또는 복수 개의 프로세서(501), 메모리(502) 및 각 구성 요소를 연결하는 인터페이스를 포함하되, 상기 인터페이스에 고속 인터페이스와 저속 인터페이스가 포함된다. 각 구성 요소는 상이한 버스를 이용하여 상호 연결되고, 공용 메인보드에 설치되거나 또는 수요에 따라 기타 실시 형태로 설치될 수 있다. 프로세서는 전자 디바이스 내에서 실행하는 명령에 대해 처리 가능하고, 상기 명령은 메모리에 저장된 명령 또는 메모리에 저장되면서 외부의 입출력장치(예를 들면, 인터페이스에 연결된 디스플레이 장치)에 그래픽 사용자 인터페이스(graphical user interface, GUI)의 이미지 정보를 표시하도록 하는 명령을 포함한다. 기타 실시 형태에 따르면, 수요에 따라, 복수 개의 프로세서 및/또는 복수 개의 버스 및 복수 개의 메모리를 복수 개의 메모리와 함께 사용할 수 있다. 마찬가지로, 복수 개의 전자 디바이스에 연결하여, 각 디바이스에 의해 일부 필수적인 동작(예를 들면, 서버 어레이, 한 세트의 블레이드 서버, 또는 다중 처리기 시스템의 형태)을 제공할 수 있다. 도 5는 하나의 프로세서(501)를 예로 든다.
메모리(502)는 본 출원에 의해 제공되는 비일시적 컴퓨터 판독 가능 저장 매체이다. 여기서, 상기 메모리에 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되어 있고, 상기 적어도 하나의 프로세서는 본 출원에 의해 제공되는 사용자 상호작용 방법을 실행한다. 본 출원에 따른 비일시적 컴퓨터 판독 가능 저장 매체에 저장되어 있는 컴퓨터 명령은 컴퓨터로 하여금 본 출원에 의해 제공되는 사용자 상호작용 방법을 실행하도록 한다.
메모리(502)는 비일시적 컴퓨터 판독 가능 저장 매체의 일종으로, 비일시적 소프트웨어 프로그램을 저장하는데 이용될 수 있고, 비일시적 컴퓨터는 프로그램 및 모듈, 예를 들면 본 출원의 실시예에 따른 사용자 상호작용 방법에 대응되는 프로그램 명령/모듈(예를 들면, 도 4에서 도시한 표정 획득 모듈(401), 레벨 확정 모듈(402) 및 동작 실행 모듈(403))을 실행할 수 있다. 프로세서(501)는 메모리(502)에 저장되어 있는 비일시적 소프트웨어 프로그램, 명령 및 모듈을 운행함으로써, 서버의 각종 기능 응용 및 데이터 처리를 실행하되, 즉, 상술한 방법에 관한 실시예의 사용자 상호작용 방법을 구현한다.
메모리(502)는 프로그램 저장부와 데이터 저장부를 포함할 수 있고, 여기서, 프로그램 저장부에 운영체제(operation system), 적어도 하나의 기능에 요구되는 애플리케이션이 저장될 수 있고; 데이터 저장부에 사용자 상호작용 방법에 따른 전자 디바이스의 사용에 의해 생성되는 데이터 등이 저장될 수 있다. 그리고, 메모리(502)는 고속 랜덤 액세스 메모리(Random Access Memory, RAM)를 포함할 수 있고, 또한 비일시적 메모리, 예를 들면 적어도 하나의 자기 디스크 메모리, 플래시 메모리 또는 기타 비일시적 솔리드 스테이트 메모리(Solid-state memory)를 포함할 수도 있다. 일부 실시예에 따르면, 메모리(502)는 선택적으로 프로세서(501)에 비해 원거리로 설정된 메모리를 포함하며, 이러한 원거리 메모리는 네트워크를 통해 사용자 상호작용 방법에 따른 전자 디바이스에 연결될 수 있다. 상술한 네트워크의 실예로는, 인터넷, 기업 인트라넷, 근거리 통신망(LAN), 이동 통신망 및 이들의 조합을 포함하지만 이에 한정되지 않는다.
사용자 상호작용 방법에 따른 전자 디바이스는, 또한 입력 장치(503)와 출력 장치(504)를 포함할 수 있다. 프로세서(501), 메모리(502), 입력 장치(503) 및 출력 장치(504)는 버스 또는 기타 방식에 의해 연결될 수 있는바, 도 5는 버스를 통한 연결을 예로 든다.
입력 장치(503)는 입력된 숫자 또는 문자 정보를 수신하고, 사용자 상호작용 방법에 따른 전자 디바이스의 사용자 설정 및 기능 컨트롤과 관련되는 키 신호 입력을 생성할 수 있는바, 예를 들면, 터치 스크린(touch screen), 키 패드(key pad), 마우스, 트랙 패드(track pad), 터치 패드(touch pad), 포인터 스틱(Pointer Stick), 하나 또는 복수 개의 마우스 버튼, 트랙 볼(track ball), 조이스틱(joy stick) 등 입력 장치가 있다. 출력 장치(504)는 디스플레이 장치, 보조 조명 장치(예를 들면, LED) 및 촉각 피드백 장치(예를 들면, 진동 모터) 등을 포함할 수 있다. 해당 디스플레이 장치는 액정 디스플레이 장치(LCD), 발광 다이오드(LED) 디스플레이 장치 및 플라즈마 디스플레이 장치를 포함하지만 이에 한정되지 않는다. 일부 실시 형태에 따르면, 디스플레이 장치는 터치 스크린일 수 있다.
본 명세서에서 서술되는 시스템 및 기술의 다양한 실시 형태는 디지털 전자 회로 시스템, 집적 회로 시스템, 주문형 집적 회로(ASIC), 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및/또는 이들의 조합으로 구현될 수 있다. 이러한 다양한 실시 형태는 다음을 포함할 수 있다: 하나 또는 복수 개의 컴퓨터 프로그램에서 실시되고, 해당 하나 또는 복수 개의 컴퓨터 프로그램은 적어도 하나의 프로그래밍 가능 프로세서를 포함하는 프로그래밍 가능 시스템에 의해 실행 및/또는 해석 가능하며, 해당 프로그래밍 가능 프로세서는 전용 또는 범용의 프로그래밍 가능 프로세서일 수 있고, 기억 시스템, 적어도 하나의 입력 장치 및 적어도 하나의 출력 장치로부터 데이터와 명령을 수신할 수 있고, 또한 데이터와 명령을 해당 기억 시스템, 해당 적어도 하나의 입력 장치 및 해당 적어도 하나의 출력 장치로 전송할 수 있다.
이들의 컴퓨팅 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션, 또는 코드라고도 함)은 프로그래밍 가능 프로세서의 기계 명령이 포함되고, 또한 고급 절차 및/또는 객체 지향 프로그래밍 언어(object-oriented programming language) 및/또는 어셈블러 언어/기계 언어에 의해 이들의 컴퓨팅 프로그램을 실시할 수 있다. 예를 들면, 본 명세서에서 사용되는 용어 "기계 판독 가능 매체” 및 "컴퓨터 판독 가능 매체"는, 프로그래밍 가능 프로세서에게 기계 명령 및/또는 데이터를 제공하기 위한 임의의 컴퓨터 프로그램 제품, 디바이스 및/또는 장치(예를 들면, 자기 디스크, 광 디스크, 메모리, 프로그래밍 가능 논리 장치(PLD))를 가리키고, 기계 판독 가능 신호로 되는 기계 명령을 수신하는 기계 판독 가능 매체를 포함한다. 용어 "기계 판독 가능 신호"는 프로그래밍 가능 프로세서에게 기계 명령 및/또는 데이터를 제공하기 위한 임의의 신호를 가리킨다.
사용자와의 상호작용을 제공하기 위해, 본 명세서에서 서술된 시스템 및 기술은 컴퓨터에서 실시될 수 있는바, 해당 컴퓨터는, 사용자에게 정보를 표시하는 디스플레이 장치(예를 들면, 음극선 관(CRT) 또는 액정 디스플레이(LCD) 모니터); 및 키보드와 포인팅 장치(예를 들면, 마우스 또는 트랙 볼가 구비되어 있고, 사용자는 해당 키보드와 해당 포인팅 장치를 통해 컴퓨터에게 입력을 제공할 수 있다. 또한 기타 유형의 장치를 제공하여 사용자와의 상호작용을 할 수 있는바, 예를 들면, 사용자에게 제공되는 피드백은 임의의 형태의 감각 피드백(sensory feedback)(예를 들면, 시각 피드백, 청각 피드백, 또는 촉각 피드백)일 수 있고; 또한 사용자로부터 임의의 형태(음향 입력, 음성 입력 또는 촉각 입력을 포함)의 입력을 수신할 수 있다.
본 명세서에서 서술된 시스템 및 기술은 백그라운드 구성 요소를 포함한 컴퓨팅 시스템(예를 들면, 데이터 서버) 또는 미들웨어 구성 요소를 포함한 컴퓨팅 시스템(예를 들면, 애플리케이션 서버) 또는 프런트엔드 구성 요소를 포함한 컴퓨팅 시스템(예를 들면, 그래픽 사용자 인터페이스 또는 웹 브라우저를 구비한 사용자 컴퓨터, 사용자는 해당 그래픽 사용자 인터페이스 또는 해당 웹 브라우저를 통해 본 명세서에서 서술된 시스템 및 기술에 따른 실시 형태와 상호작용 가능함) 또는 이러한 백그라운드 구성 요소, 미들웨어 구성 요소 또는 프런트엔드 구성 요소의 임의의 조합을 포함한 컴퓨팅 시스템에서 실시될 수 있다. 시스템의 각 구성 요소는 임의의 형태 또는 매체에 의한 디지털 데이터 통신(예를 들면, 통신망)을 통해 상호 연결될 수 있다. 통신망의 예시로는 근거리 통신망(LAN), 광역망(WAN) 및 인터넷이 포함된다.
컴퓨터 시스템은 클라이언트 및 서버를 포함할 수 있다. 클라이언트 및 서버는 일반적으로 서로 멀리 떨어져 있으며 일반적으로 통신망을 통해 상호 작용한다. 상응하는 컴퓨터에서 실행되되 서로 클라이언트-서버 관계를 갖는 컴퓨터 프로그램에 의해, 클라이언트와 서버의 관계가 생성된다.
본 출원의 실시예에 따른 기술 방안은, 사용자의 현재 얼굴 표정 정보를 획득하고, 해당 현재 얼굴 표정 정보에 따라 사용자의 현재 웃음 레벨을 확정한 후, 사용자의 현재 웃음 레벨에 따라 상응하는 상호작용 동작을 실행함으로써, 관련 기술에 존재하는 사용자가 반드시 수동으로 상호작용 동작을 완성해야 함으로 인한 사용자 상호작용 동작의 불편성 및 사용자 상호작용 체험감의 저하 문제를 해결하였고, 상이한 수준의 상호작용 동작에 대한 사용자의 트리거 요구 사항을 낮추어, 사용자가 상이한 수준의 상호작용 동작을 수행하기 위한 편의성을 제공하였으며, 사용자의 상호작용 체험감을 향상시키는 효과를 달성하였다.
이해해야 할 것은, 상술한 각 형태의 프로세스를 이용하여 단계를 재정렬, 추가 또는 삭제할 수 있다. 예를 들면, 본 발명 출원에서 기재되는 각 단계들은 본 출원에서 개시된 기술 방안의 원하는 결과가 달성될 수 있는 한, 병렬로, 순차적으로 또는 다른 순서로 실행될 수 있으며, 본 명세서는 이에 대해 한정하지 않는다.
본 발명의 보호 범위는 상술한 구체적인 실시 형태에 의해 한정되지 않는다. 본 분야 당업자라면 이해할 수 있는바, 본 발명은 설계 요건 및 기타 요소에 따라 각종 수정, 조합, 하위 조합 및 교체 등이 있을 수 있다. 본 발명의 기술적 사상과 원칙을 벗어나지 않는 범위 내에서 진행하는 임의의 수정, 동등한 교체, 개진 등은 본 발명의 보호 범위 내에 속한다.
주의해야 할 것은, 상술한 실시예는 본 발명에 대해 상세하게 설명하였으나, 본 발명은 상술한 실시예에 의해 한정되지 않으며, 본 출원의 기술적 사상을 벗어나지 않는 범위 내에서 다른 동등 효과의 실시예를 더 포함 할 수 있으며, 본 발명의 범위는 첨부된 청구 범위에 의해 결정된다.

Claims (12)

  1. 사용자의 현재 얼굴 표정 정보를 획득하는 단계;
    상기 현재 얼굴 표정 정보에 따라 상기 사용자의 현재 웃음 레벨을 확정하는 단계;
    상기 현재 웃음 레벨에 따라 상응하는 상호작용 동작을 실행하는 단계; 를 포함하는, 것을 특징으로 하는 사용자 상호작용 방법.
  2. 제 1 항에 있어서,
    상기 현재 얼굴 표정 정보에 따라 상기 사용자의 현재 웃음 레벨을 확정하는 단계는,
    상기 현재 얼굴 표정 정보에 따라 현재 표정 계수를 확정하는 단계;
    상기 현재 표정 계수에 따라 상기 사용자의 현재 웃음 레벨을 확정하는 단계; 를 포함하는, 것을 특징으로 하는 사용자 상호작용 방법.
  3. 제 2 항에 있어서,
    상기 현재 표정 계수에 따라 상기 사용자의 현재 웃음 레벨을 확정하는 단계는,
    상기 사용자에 대응되는 웃음 시작 문턱값을 획득하는 단계;
    상기 현재 표정 계수 및 상기 웃음 시작 문턱값에 따라 상기 사용자의 현재 웃음 레벨을 확정하는 단계; 를 포함하는, 것을 특징으로 하는 사용자 상호작용 방법.
  4. 제 3 항에 있어서,
    상기 사용자에 대응되는 웃음 시작 문턱값을 획득하는 단계는,
    상기 사용자의 이력 표정 계수를 획득하는 단계;
    상기 이력 표정 계수를 이용하여, 상기 사용자에 대응되는 웃음 문턱값 인식 모델에 대해 학습하는 단계;
    상기 웃음 문턱값 인식 모델에 대한 학습 결과에 따라 상기 사용자에 대응되는 웃음 시작 문턱값을 획득하는 단계; 를 포함하되, 여기서, 상기 학습 결과에 적어도 두 가지 웃음 유형의 표정 계수 범위가 포함되는, 것을 특징으로 하는 사용자 상호작용 방법.
  5. 제 4 항에 있어서,
    상기 웃음 문턱값 인식 모델에 대한 학습 결과에 따라 상기 사용자에 대응되는 웃음 시작 문턱값을 획득하는 단계는,
    상기 학습 결과 중 최소 표정 계수값의 웃음 유형을 평상시 표정 유형으로 확정하는 단계;
    상기 평상시 표정 유형에 대응되는 표정 계수 범위의 최댓값을, 상기 사용자에 대응되는 웃음 시작 문턱값으로 확정하는 단계; 를 포함하는, 것을 특징으로 하는 사용자 상호작용 방법.
  6. 제 3 항에 있어서,
    상기 현재 표정 계수 및 상기 웃음 시작 문턱값에 따라 상기 사용자의 현재 웃음 레벨을 확정하는 단계는,
    상기 웃음 시작 문턱값에 따라 적어도 두 가지 기설정 웃음 레벨에 대응되는 레벨 값의 구간을 확정하는 단계;
    상기 현재 표정 계수 및 상기 적어도 두 가지 기설정 웃음 레벨에 대응되는 레벨 값의 구간에 따라 상기 사용자의 현재 웃음 레벨을 확정하는 단계; 를 포함하는, 것을 특징으로 하는 사용자 상호작용 방법.
  7. 제 2 항에 있어서,
    상기 현재 얼굴 표정 정보에 따라 현재 표정 계수를 확정하는 단계는,
    상기 현재 얼굴 표정 정보를 표정 인식 모델에 입력하고, 현재 표정 계수를 출력하여 얻는 단계; 를 포함하는, 것을 특징으로 하는 사용자 상호작용 방법.
  8. 제 1 항에 있어서,
    사용자의 현재 얼굴 표정 정보를 획득하는 단계는,
    증강 현실(AR) 엔진을 사용하여, 설정된 빈도에 따라 사용자의 얼굴 표정 데이터를 실시간으로 수집하여 상기 사용자의 현재 얼굴 표정 정보로 정하는 단계를 포함하는, 것을 특징으로 하는 사용자 상호작용 방법.
  9. 제 1 항에 있어서,
    상응하는 상호작용 동작을 실행하는 단계는,
    대응되는 좋아요 표시 효과 화면을 표시하는 단계; 및/또는
    대응되는 사용자 피드백 정보에 대해 통계하는 단계; 를 포함하는, 것을 특징으로 하는 사용자 상호작용 방법.
  10. 사용자의 현재 얼굴 표정 정보를 획득하도록 구성되는 표정 획득 모듈;
    상기 현재 얼굴 표정 정보에 따라 상기 사용자의 현재 웃음 레벨을 확정하도록 구성되는 레벨 확정 모듈;
    상기 현재 웃음 레벨에 따라 상응하는 상호작용 동작을 실행하도록 동작 실행 모듈; 을 포함하는, 것을 특징으로 하는 사용자 상호작용 장치.
  11. 적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서와 통신 연결하는 메모리; 를 포함하되, 여기서,
    상기 메모리에 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되어 있고, 상기 명령이 상기 적어도 하나의 프로세서에 의해 실행 시, 상기 적어도 하나의 프로세서는 제 1 항 내지 제 9 항 중의 어느 한 항에 따른 사용자 상호작용 방법을 구현할 수 있는, 것을 특징으로 하는 전자 디바이스.
  12. 컴퓨터 명령이 저장되어 있되,
    상기 컴퓨터 명령은 상기 컴퓨터가 제 1 항 내지 제 9 항 중의 어느 한 항에 따른 사용자 상호작용 방법을 실행하도록 하는, 것을 특징으로 하는 컴퓨터 명령이 저장되어 있는 비일시적 컴퓨터 판독 가능 저장 매체.
KR1020217019699A 2020-05-21 2020-12-01 사용자 상호작용 방법, 장치, 디바이스 및 매체 KR102662884B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010437954.4 2020-05-21
CN202010437954.4A CN113703565A (zh) 2020-05-21 2020-05-21 一种用户交互方法、装置、设备及介质
PCT/CN2020/133080 WO2021232744A1 (zh) 2020-05-21 2020-12-01 一种用户交互方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
KR20210089248A true KR20210089248A (ko) 2021-07-15
KR102662884B1 KR102662884B1 (ko) 2024-05-03

Family

ID=76920374

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217019699A KR102662884B1 (ko) 2020-05-21 2020-12-01 사용자 상호작용 방법, 장치, 디바이스 및 매체

Country Status (4)

Country Link
US (1) US20230066616A1 (ko)
EP (1) EP3934268A4 (ko)
JP (1) JP7266688B2 (ko)
KR (1) KR102662884B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023018084A1 (en) * 2021-08-11 2023-02-16 Samsung Electronics Co., Ltd. Method and system for automatically capturing and processing an image of a user

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120218398A1 (en) * 2011-02-25 2012-08-30 Tessera Technologies Ireland Limited Automatic Detection of Vertical Gaze Using an Embedded Imaging Device
US20190095695A1 (en) * 2015-07-28 2019-03-28 Sony Corporation Information processing system, information processing method, and recording medium

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4914398B2 (ja) * 2008-04-09 2012-04-11 キヤノン株式会社 表情認識装置、撮像装置、方法及びプログラム
US20120243751A1 (en) * 2011-03-24 2012-09-27 Zhihong Zheng Baseline face analysis
US8261090B1 (en) * 2011-09-28 2012-09-04 Google Inc. Login to a computing device based on facial recognition
US20150227208A1 (en) * 2012-12-18 2015-08-13 Google Inc. Gesture Based Rating System and Method
JP2014167829A (ja) * 2014-06-06 2014-09-11 Nec Corp 入力支援装置、入力支援方法、及び、プログラム
CA2975124C (en) * 2015-01-31 2024-02-13 Brian Lee Moffat Control of a computer via distortions of facial geometry
KR102136241B1 (ko) * 2015-09-29 2020-07-22 바이너리브이알, 인크. 표정 검출 성능을 갖는 머리-장착형 디스플레이
KR101904453B1 (ko) * 2016-05-25 2018-10-04 김선필 인공 지능 투명 디스플레이의 동작 방법 및 인공 지능 투명 디스플레이

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120218398A1 (en) * 2011-02-25 2012-08-30 Tessera Technologies Ireland Limited Automatic Detection of Vertical Gaze Using an Embedded Imaging Device
US20190095695A1 (en) * 2015-07-28 2019-03-28 Sony Corporation Information processing system, information processing method, and recording medium

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023018084A1 (en) * 2021-08-11 2023-02-16 Samsung Electronics Co., Ltd. Method and system for automatically capturing and processing an image of a user

Also Published As

Publication number Publication date
JP7266688B2 (ja) 2023-04-28
KR102662884B1 (ko) 2024-05-03
JP2022539634A (ja) 2022-09-13
EP3934268A1 (en) 2022-01-05
US20230066616A1 (en) 2023-03-02
EP3934268A4 (en) 2022-01-26

Similar Documents

Publication Publication Date Title
CN111221984A (zh) 多模态内容处理方法、装置、设备及存储介质
CN110991427B (zh) 用于视频的情绪识别方法、装置和计算机设备
JP2019535055A (ja) ジェスチャに基づく操作の実施
CN114612749B (zh) 神经网络模型训练方法及装置、电子设备和介质
CN111968203B (zh) 动画驱动方法、装置、电子设备及存储介质
CN105122353A (zh) 用于虚拟个人助理系统的自然人-计算机交互
CN110741377A (zh) 人脸图像处理方法、装置、存储介质及电子设备
JP7267379B2 (ja) 画像処理方法、事前トレーニングモデルのトレーニング方法、装置及び電子機器
CN111524123B (zh) 用于处理图像的方法和装置
CN111625157B (zh) 指尖关键点检测方法、装置、设备和可读存储介质
JP7264957B2 (ja) 音声インタラクション方法、装置、電子機器、コンピュータ読取可能な記憶媒体及びコンピュータプログラム
CN111966212A (zh) 基于多模态的交互方法、装置、存储介质及智能屏设备
KR102551835B1 (ko) 능동적 인터랙션 방법, 장치, 전자 기기 및 판독 가능 기록 매체
CN110659600A (zh) 物体检测方法、装置及设备
US11704813B2 (en) Visual search method, visual search device and electrical device
JP2022002093A (ja) 顔編集方法、装置、電子デバイス及び可読記憶媒体
KR20210089248A (ko) 사용자 상호작용 방법, 장치, 디바이스 및 매체
CN114625297A (zh) 一种交互方法、装置、设备以及存储介质
CN112016523B (zh) 跨模态人脸识别的方法、装置、设备和存储介质
CN111638787B (zh) 用于展示信息的方法和装置
CN112652304A (zh) 智能设备的语音交互方法、装置和电子设备
CN114461078B (zh) 一种基于人工智能的人机交互方法
CN113325951B (zh) 基于虚拟角色的操作控制方法、装置、设备以及存储介质
CN116167426A (zh) 人脸关键点定位模型的训练方法及人脸关键点定位方法
CN112733879B (zh) 针对不同场景的模型蒸馏方法和装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant