KR20220010580A - 휴먼 머신 인터랙션 제어 방법, 장치와 시스템, 전자기기 - Google Patents

휴먼 머신 인터랙션 제어 방법, 장치와 시스템, 전자기기 Download PDF

Info

Publication number
KR20220010580A
KR20220010580A KR1020227000737A KR20227000737A KR20220010580A KR 20220010580 A KR20220010580 A KR 20220010580A KR 1020227000737 A KR1020227000737 A KR 1020227000737A KR 20227000737 A KR20227000737 A KR 20227000737A KR 20220010580 A KR20220010580 A KR 20220010580A
Authority
KR
South Korea
Prior art keywords
mode
human machine
machine interaction
operation mode
environment
Prior art date
Application number
KR1020227000737A
Other languages
English (en)
Inventor
준 우
시유 우
시얀 리
Original Assignee
베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 filed Critical 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드
Publication of KR20220010580A publication Critical patent/KR20220010580A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1601—Constructional details related to the housing of computer displays, e.g. of CRT monitors, of flat displays
    • G06F1/1605—Multimedia displays, e.g. with integrated or attached speakers, cameras, microphones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231—Monitoring the presence, absence or movement of users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/4401—Bootstrapping
    • G06F9/4418—Suspend and resume; Hibernate and awake
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

휴먼 머신 인터랙션 방법, 장치와 시스템, 전자기기 및 저장 매체는, 휴먼 머신 인터랙션 기술분야에 관한 것이다. 상기 방법은, 휴먼 머신 인터랙션 인터페이스 주변에 대한 환경 인식 결과를 획득하고(S101), 환경 인식 결과를 기초로, 휴먼 머신 인터랙션 인터페이스 상에 표시된 디지털맨의 동작 모드를 확정하고(S102), 동작 모드는 자체 전시 모드, 능동적 인터랙션 모드와 웨이크업 인터랙션 모드 중 적어도 하나를 포함하고, 디지털맨를 제어하여 휴먼 머신 인터랙션 인터페이스를 통해, 동작 모드에 대응되는 조작을 출력하고(S103), 환경 인식 결과를 기초로, 디지털맨의 동작 모드를 확정하여, 종래기술 중의 간단하게 웨이크업 단어를 통해 디지털맨을 웨이크업 할 때, 인터랙션 방식이 단일한 문제를 방지하고, 다양한 동작 모드를 사용하여 사용자와 인터랙션을 수행할 수 있기에, 인터랙션 방식의 다양성과 유연성을 구현할 수 있고, 사용자의 인터랙션 체험을 향상시킬 수 있다.

Description

휴먼 머신 인터랙션 제어 방법, 장치와 시스템, 전자기기
본 출원은 인공 지능 기술분야에 관한 것으로, 특히 휴먼 머신 인터랙션 기술분야에 관한 것이며, 구체적으로 휴먼 머신 인터랙션 제어 방법, 장치와 시스템, 전자기기 및 저장 매체에 관한 것이다.
본 출원은 2020년 03월 25일 중국 특허국에 출원한 출원번호가 CN202010220639.6이고, 출원의 명칭이 "휴먼 머신 인터랙션 제어 방법, 장치와 시스템, 전자기기”인 중국 특허 출원의 우선권을 주장하며, 그 모든 내용은 인용을 통해 본 출원에 결합된다.
인공 지능 기술의 발전에 따라, 휴먼 머신 인터랙션과 관련된 기술도 새로운 진전을 이루게 되었다.
종래기술에서, 휴먼 머신 인터랙션은 주로 웨이크업 단어로 구현하였다. 예를 들어, 디지털맨에 하나 또는 복수의 웨이크업 단어를 미리 설정하고, 사용자의 음성 명령에 웨이크업 단어가 포함될 경우, 디지털맨은 사용자와의 인터랙션 상태에 진입하게 된다.
하지만 발명자는 본 출원을 구현하는 과정에, 적어도 아래와 같은 문제가 존재함을 발견하였다. 즉, 디지털맨과 사용자가 인터랙션하도록 트리거하는 방식이 단일하고 유연성이 부족한 것이다.
인터랙션 유연성을 향상시키는 휴먼 머신 인터랙션 제어 방법, 장치와 시스템, 전자기기 및 저장 매체.
제1 측면에 따르면, 휴먼 머신 인터랙션 제어 방법을 제공하는 바, 상기 방법은,
휴먼 머신 인터랙션 인터페이스 주변에 대한 환경 인식 결과를 획득하는 단계;
상기 환경 인식 결과를 기초로, 상기 휴먼 머신 인터랙션 인터페이스 상에 표시된 디지털맨의 동작 모드를 확정하되, 상기 동작 모드는 자체 전시 모드, 능동적 인터랙션 모드와 웨이크업 인터랙션 모드 중 적어도 하나를 포함하는 단계;
상기 디지털맨을 제어하여 상기 휴먼 머신 인터랙션 인터페이스를 통해, 상기 동작 모드에 대응되는 조작을 출력하는 단계;를 포함한다.
본 출원의 실시예에서, 환경 인식 결과를 기초로, 디지털맨의 동작 모드를 확정하여, 종래기술 중의 간단하게 웨이크업 단어를 통해 디지털맨을 웨이크업 시킬 때, 인터랙션 방식이 단일한 문제를 방지하고, 다양한 동작 모드를 사용하여 사용자와 인터랙션을 수행할 수 있기에, 인터랙션 방식의 다양성과 유연성을 구현할 수 있고, 사용자의 인터랙션 체험을 향상시킬 수 있다.
제2 측면에 따르면, 본 출원의 실시예는 휴먼 머신 인터랙션 제어 장치를 제공하는 바, 상기 장치는,
휴먼 머신 인터랙션 인터페이스 주변에 대한 환경 인식 결과를 획득하는 획득 모듈;
상기 환경 인식 결과를 기초로, 상기 휴먼 머신 인터랙션 인터페이스 상에 표시된 디지털맨의 동작 모드를 확정하되, 상기 동작 모드는 자체 전시 모드, 능동적 인터랙션 모드와 웨이크업 인터랙션 모드 중 적어도 하나를 포함하는 확정 모듈;
상기 디지털맨을 제어하여 상기 휴먼 머신 인터랙션 인터페이스를 통해, 상기 동작 모드에 대응되는 조작을 출력하는 출력 모듈;을 포함한다.
제3 측면에 따르면, 본 출원의 실시예는 휴먼 머신 인터랙션 제어 시스템을 제공하는 바, 상기 시스템은 수집 장치, 처리 장치, 디스플레이 장치와 디지털맨을 포함하고, 여기서,
상기 수집 장치는 디스플레이 장치 주변의 환경에 대해 수집하여 환경 수집 정보를 획득하고;
상기 처리 장치는 상기 환경 수집 정보에 대해 인식을 수행하여, 환경 인식 결과를 생성하고, 상기 환경 인식 결과를 기초로, 상기 디지털맨의 동작 모드를 확정하되, 상기 동작 모드는 자체 전시 모드, 능동적 인터랙션 모드와 웨이크업 인터랙션 모드 중 적어도 하나를 포함하고;
상기 처리 장치는 또한, 상기 디지털맨을 제어하여 상기 디스플레이 장치를 통해, 상기 동작 모드에 대응되는 조작을 표시한다.
제4 측면에 따르면, 본 출원의 실시예는 전자기기를 제공하는 바,
적어도 하나의 프로세서; 및
상기 적어도 하나의 프로세서와 통신 연결되는 메모리;를 포함하되, 여기서,
상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되고, 상기 명령은 상기 적어도 하나의 프로세서에 의해 실행되어, 상기 적어도 하나의 프로세서가 상술한 실시예에 따른 방법을 수행할 수 있도록 한다.
제5 측면에 따르면, 본 출원의 실시예는 컴퓨터 명령이 저장된 비일시적 컴퓨터 판독 가능 저장 매체를 제공하는 바, 상기 컴퓨터 명령은 상기 컴퓨터가 상술한 실시예에 따른 방법을 수행하도록 하기 위한 것이다.
제6 측면에 따르면, 본 출원의 실시예는 휴먼 머신 인터랙션 제어 방법을 제공하는 바, 상기 방법은,
수집된 휴먼 머신 인터랙션 인터페이스 주변의 환경에 대응되는 환경 인식 결과를 기초로, 휴먼 머신 인터랙션 인터페이스가 디지털맨의 동작 모드를 표시하도록 제어하되, 상기 동작 모드는 자체 전시 모드, 능동적 인터랙션 모드와 웨이크업 인터랙션 모드 중 하나인 단계를 포함한다.
제7 측면에 따르면, 본 출원의 실시예는 컴퓨터 프로그램을 제공하는 바, 프로그램 코드를 포함하고, 컴퓨터가 상기 컴퓨터 프로그램을 실행할 때, 상기 프로그램 코드는 상술한 어느 하나의 실시예에 따른 방법을 실행한다.
제8 측면에 따르면, 본 출원의 실시예는 또한 컴퓨터 프로그램 제품을 제공하는 바, 컴퓨터 프로그램을 포함하고, 상기 컴퓨터 프로그램은 프로세서에 의해 실행될 때 상술한 어느 하나의 실시예에 따른 방법을 구현한다.
본 출원에 따른 기술은 휴먼 머신 인터랙션이 단일하고, 유연성이 부족한 문제를 해결하고, 인터랙션 방식의 다양성과 유연성을 구현하고, 사용자의 인터랙션 체험을 향상시킨다.
본 부분에 기재되는 내용은 본 개시의 실시예의 핵심 또는 중요 특징을 특정하려는 목적이 아니며, 본 개시의 범위를 한정하는 것도 아닌 것으로 이해하여야 한다. 본 개시의 기타 특징은 아래의 명세서로부터 쉽게 이해할 수 있다.
첨부되는 도면은 본 방안을 더 충분히 이해하도록 제공되는 것으로서, 본 출원에 대한 한정은 아니다. 여기서,
도 1은 본 출원의 제1 실시예의 응용 시나리오를 나타내는 도면이다.
도 2는 본 출원의 제2 실시예의 응용 시나리오를 나타내는 도면이다.
도 3은 본 출원의 일 실시예의 휴먼 머신 인터랙션 제어 방법의 흐름도이다.
도 4는 본 출원의 다른 일 실시예의 휴먼 머신 인터랙션 제어 방법의 흐름도이다.
도 5는 본 출원의 일 실시예의 인터페이스를 나타내는 도면이다.
도 6은 본 출원의 다른 일 실시예의 인터페이스를 나타내는 도면이다.
도 7은 본 출원의 또 다른 일 실시예의 인터페이스를 나타내는 도면이다.
도 8은 본 출원의 다른 일 실시예의 휴먼 머신 인터랙션 제어 방법의 흐름도이다.
도 9는 본 출원의 또 다른 일 실시예의 휴먼 머신 인터랙션 제어 방법의 흐름도이다.
도 10은 본 출원의 실시예의 휴먼 머신 인터랙션 제어 장치를 나타내는 도면이다.
도 11은 본 출원의 실시예의 인터랙션 시스템을 나타내는 도면이다.
도 12는 본 출원의 실시예의 전자기기의 블록도이다.
아래에서는 첨부 도면과 결합하여 본 출원의 예시적인 실시예에 대해 설명하며, 이해를 돕기 위하여 본 출원의 실시예의 다양한 세부 사항을 포함하며, 이들을 단지 예시적인 것으로만 간주하여야 한다. 따라서, 본 분야의 통상적인 지식을 가진 자라면, 여기에 설명된 실시예에 대하여 다양한 변경과 수정을 가할 수 있으며, 이는 본 출원의 범위와 정신을 벗어나지 않음을 이해해야 한다. 마찬가지로, 명확성과 간결성을 위하여, 아래의 설명에서 공지 기능과 구조에 대한 설명을 생략한다.
일부 실시예에서, 본 출원의 실시예의 휴먼 머신 인터랙션 제어 방법은 도 1에 도시된 바와 같은 응용 시나리오에 응용될 수 있다.
도 1에 도시된 바와 같은 응용 시나리오에서, 휴먼 머신 인터랙션 제어 장치는 휴먼 머신 인터랙션 인터페이스를 포함하는 디스플레이 스크린일 수 있고, 휴먼 머신 인터랙션 인터페이스를 통해 디지털맨에 대해 표시할 수 있으며, 해당 디스플레이 스크린은 백화점, 은행과 병원 등 장소에 응용될 수 있고, 휴먼 머신 인터랙션 제어 장치의 높이는 사용자의 신장에 따라 설정될 수 있다.
설명해야 할 바로는, 일부 실시예에서, 디스플레이 스크린은 발광 다이오드LED(light emitting diode, LED) 디스플레이 스크린을 사용할 수 있고, 도 1 중의 1-1에 도시된 바와 같다.
물론, 다른 일부 실시예에서, 디스플레이 스크린은 유기 발광 다이오드(OLED) 디스플레이 스크린을 사용할 수도 있으며, 도 1 중의 1-2에 도시된 바와 같다.
다른 일부 실시예에서, 본 출원의 실시예의 휴먼 머신 인터랙션 제어 방법은 도 2에 도시된 바와 같은 응용 시나리오에 응용될 수도 있다.
도 2에 도시된 바와 같은 응용 시나리오에서, 휴먼 머신 인터랙션 제어 장치는 휴먼 머신 인터랙션 인터페이스를 포함한 디스플레이 스크린일 수 있고, 휴먼 머신 인터랙션 인터페이스를 통해 디지털맨에 대해 표시할 수 있으며, 해당 디스플레이 스크린은 특히 카운터 업무 처리 시의 시나리오에 적합하며, 예컨대 백화점의 회원 수속 카운터와 은행의 업무 처리 카운터 등 시나리오가 있고, 휴먼 머신 인터랙션 제어 장치의 카운터에서의 높이는 사용자가 서 있을 때의 높이에 따라 설정될 수 있고, 카운터 앞의 의자의 높이에 따라 설정될 수 도 있다.
관련 기술에서, 휴먼 머신 인터랙션은 주로 웨이크업 단어를 통해 구현되는 바, 예를 들어, 미리 디지털맨을 위해 하나 또는 복수의 웨이크업 단어를 설정하고, 사용자의 음성 명령에 웨이크업 단어가 포함되면, 디지털맨은 사용자와의 인터랙션 상태에 진입하게 된다.
디지털맨이 사용자가 말한 웨이크업 단어를 수신한 후에야만, 디지털맨이 인터랙션 상태에 진입하여 사용자와 인터랙션을 진행하기에, 휴먼 머신 인터랙션 방식이 단일하고, 유연성이 부족한 문제가 발생할 수 있다.
상술한 문제를 해결하기 위하여, 본 출원의 발명자는 창조적 노력을 거쳐 본 출원의 발명 아이디어를 획득하게 되었다. 즉, 디지털맨의 다양한 동작 모드를 설정하고, 주위 환경에 대해 인식한 인식 결과를 기초로, 디지털맨을 제어하여 인식 결과에 대응되는 동작 모드를 실행한다.
본 출원에서, 다양한 동작 모드가 존재하고, 서로 다른 인식 결과를 기초로 인식 결과에 대응되는 동작 모드를 선택할 수 있으며, 웨이크업 단어에 의존할 필요없이 동작 모드에 대해 유연하게 선택할 수 있기에, 인터랙션의 다양성과 유연성을 구현하고, 사용자의 인터랙션 체험을 향상시킬 수 있다.
아래 구체적인 실시예를 통해 본 출원의 기술방안 및 본 출원의 기술방안이 어떻게 상술한 기술문제를 해결하는 가에 대해 상세하게 설명한다. 아래 몇개의 구체적인 실시예는 서로 결합될 수 있고, 동일하거나 유사한 개념 또는 과정은 일부 실시예에서 중복 설명하지 않을 수 있다. 아래 첨부 도면을 결합하여, 본 출원의 실시예에 대해 설명한다.
본 출원의 실시예의 일 측면에 따르면, 본 출원의 실시예는 휴먼 머신 인터랙션 제어 방법을 제공한다.
도 3을 참조하면, 도 3은 본 출원의 일 실시예의 휴먼 머신 인터랙션 제어 방법의 흐름도이다.
도 3에 도시된 바와 같이, 해당 방법은 아래의 단계를 포함한다.
S101: 휴먼 머신 인터랙션 인터페이스 주변에 대한 환경 인식 결과를 획득한다.
여기서, 본 출원의 실시예의 실행 주체는 휴먼 머신 인터랙션 제어 장치일 수 있고, 휴먼 머신 인터랙션 제어 장치는 구체적으로 서버, 컴퓨터와 프로세서 등일 수 있다.
예를 들어, 본 출원의 실시예의 방법이 도 1과 도 2에 도시된 응용 시나리오에 응용될 때, 본 출원의 실시예의 실행 주체는 디스플레이 스크린에 설치된 프로세서일 수 있고; 또는 디스플레이 스크린과 통신 연결되는 컴퓨터와 서버일 수 있다.
여기서, 환경 인식 결과는, 휴먼 머신 인터랙션 인터페이스의 주위의 환경 중의 사람과 물건에 대해 인식을 수행하여, 획득된 인식 결과를 나타내기 위한 것이고, 환경 인식 결과는 환경 중의 사용자의 정보(예컨대 사용자의 영상 정보 및/또는 오디오 정보 등)를 포함할 수 있고, 물체의 정보(예컨대 상품, 식물과 동물 등)를 포함할 수도 있으며, 구체적으로 인식하는 방법은 관련 기술을 참조할 수 있고, 여기서 중복 설명하지 않는다.
구체적으로, 주위의 환경은 기설정된 거리를 기준으로 할 수 있다. 예컨대, 환경 인식 결과는 휴먼 머신 인터랙션 인터페이스와의 거리가 2미터인 환경에 대해 인식을 수행하여, 획득된 인식 결과를 나타내기 위한 것이다.
예를 들어, 도 1에 도시된 디스플레이 스크린이 백화점에 설치되어 있으면, 환경 인식 결과는 디스플레이 스크린 주변 2미터 내의 환경의 인식 결과를 나타내기 위한 것이다.
또 예컨대, 도 1에 도시된 디스플레이 스크린이 어느 은행에 설치되어 있으면, 환경 인식 결과는 디스플레이 스크린 주변 2미터 내의 환경의 인식 결과를 나타내기 위한 것이다.
또 예컨대, 도 1에 도시된 디스플레이 스크린이 어느 병원에 설치되어 있으면, 환경 인식 결과는 디스플레이 스크린 주변 2미터 내의 환경의 인식 결과를 나타내기 위한 것이다.
여기서, 사용자 인터페이스 또는 유저 인터페이스라고도 지칭하는 휴먼 머신 인터랙션 인터페이스는 머신과 사용자 간에 인터랙션하고 정보를 교환하는 매체를 나타내기 위한 것이다.
예를 들어, 도 1과 도 2에 도시된 바와 같은 응용 시나리오에서, 휴먼 머신 인터랙션 인터페이스는 디스플레이 스크린의 디스플레이 인터페이스이고, 사용자는 음성 또는 터치 스크린 등 방식으로 디스플레이 스크린과 교류하고 소통할 수 있다. 본 출원의 실시예에서, 교류와 소통은 주로, 사용자가 휴먼 머신 인터랙션 인터페이스 상에 표시된 디지털맨과 교류와 소통할 수 있는 것을 가리킨다.
S102: 환경 인식 결과를 기초로, 휴먼 머신 인터랙션 인터페이스 상에 표시된 디지털맨의 동작 모드를 확정하되, 동작 모드는 자체 전시 모드, 능동적 인터랙션 모드와 웨이크업 인터랙션 모드 중 적어도 하나를 포함한다.
여기서, 동작 모드는 휴먼 머신 인터랙션 제어 장치를 시동할 때, 환경 인식 결과를 기초로 확정된 것일 수 있고; 휴먼 머신 인터랙션 제어 장치를 시동한 후에, 여전히 휴먼 머신 인터랙션 인터페이스 주변의 환경에 대해 인식하는 것을 유지하고, 환경 인식 결과에 변화가 발생하지 않을 때, 환경 인식 결과에 대응되는 동작 모드를 계속 유지하고, 환경 인식 결과에 변화가 발생할 때, 변화된 후의 환경 인식 결과를 기초로 동작 모드에 대해 확정하고 조정하는 것일 수도 있다.
즉, 동작 모드는 환경 인식 결과의 변화에 따라 변화될 수 있다. 즉, 동작 모드 사이는 서로 스위칭될 수 있고, 예컨대 자체 전시 모드에서 능동적 인터랙션 모드로 스위칭되거나, 또는 능동적 인터랙션 모드에서 웨이크업 인터랙션 모드로 스위칭 되는 것 등일 수 있다.
여기서, 자체 전시 모드는, 디지털맨이 자발적으로 어떤 동작 또는 표정을 나타내거나, 또는 자발적으로 어떤 정보를 표달하는 모드를 나타내기 위한 것이다.
여기서, 능동적 인터랙션 모드는, 디지털맨이 능동적으로 사용자와 인터랙션을 수행하는 모드를 표시하기 위한 것이다.
여기서, 웨이크업 인터랙션 모드는, 사용자가 웨이크업시키는 경우에, 디지털맨과 사용자가 인터랙션을 수행하는 모드를 나타내기 위한 것이다.
즉, 본 출원의 실시예에서, 환경 인식 결과를 기초로, 다양한 동작 모드 중에서 환경 인식 결과에 대응되는 동작 모드를 확정하여, 디지털맨의 동작 모드를 확정할 수 있으며, 종래기술 중의 간단하게 웨이크업 단어를 통해 디지털맨을 웨이크업 할 때, 인터랙션 방식이 단일한 문제를 방지하고, 다양한 동작 모드 중에서 선택할 수 있기에, 휴먼 머신 인터랙션의 다양성과 유연성을 구현할 수 있고, 사용자의 인터랙션 체험을 향상시킬 수 있다.
S103: 디지털맨을 제어하여 휴먼 머신 인터랙션 인터페이스를 통해, 동작 모드에 대응되는 조작을 출력한다.
예를 들어, 동작 모드가 자체 전시 모드이면, 휴먼 머신 인터랙션 인터페이스 상에 디지털맨이 자체 전시를 수행하는 모드에 대응되는 조작을 출력하고; 동작 모드가 능동적 인터랙션 모드이면, 휴먼 머신 인터랙션 인터페이스 상에 디지털맨이 능동적 인터랙션를 수행하는 모드에 대응되는 조작을 출력하고; 동작 모드가 웨이크업 인터랙션 모드이면, 휴먼 머신 인터랙션 인터페이스 상에 디지털맨이 웨이크업 인터랙션을 수행하는 모드에 대응되는 조작을 출력한다.
본 출원의 실시예에서, 휴먼 머신 인터랙션 인터페이스를 통해 디지털맨이 상응한 동작 모드를 실행한 조작을 표시하여, 사용자의 직관적인 체험을 증가시킴으로써, 휴먼 머신 인터랙션의 활발성을 향상시키고, 나아가 휴먼 머신 인터랙션의 효율성을 향상시킬 수 있다.
상술한 분석을 바탕으로 알 수 있듯이, 본 출원의 실시예는 휴먼 머신 인터랙션 제어 방법을 제공하는 바, 해당 방법은, 휴먼 머신 인터랙션 인터페이스 주변에 대한 환경 인식 결과를 획득하는 단계, 환경 인식 결과를 기초로, 휴먼 머신 인터랙션 인터페이스 상에 표시된 디지털맨의 동작 모드를 확정하되, 동작 모드는 자체 전시 모드, 능동적 인터랙션 모드와 웨이크업 인터랙션 모드 중 적어도 하나를 포함하는 단계, 디지털맨을 제어하여 휴먼 머신 인터랙션 인터페이스를 통해, 동작 모드에 대응되는 조작을 출력하는 단계를 포함하며, 본 출원의 실시예에서, 환경 인식 결과를 기초로, 디지털맨의 동작 모드를 확정하여, 종래기술 중의 간단하게 웨이크업 단어를 통해 디지털맨을 웨이크업 할 때, 인터랙션 방식이 단일한 문제를 방지하고, 다양한 동작 모드를 사용하여 사용자와 인터랙션을 수행할 수 있기에, 인터랙션 방식의 다양성과 유연성을 구현할 수 있고, 사용자의 인터랙션 체험을 향상시킬 수 있다.
구독자들이 환경 인식 결과와 동작 모드 간의 연관 관계를 더욱 잘 이해할 수 있도록 하기 위하여, 여기서 도 4를 결합하여 본 출원의 실시예에 대해 상세하게 설명한다. 여기서, 도 4는 본 출원의 다른 일 실시예의 휴먼 머신 인터랙션 제어 방법의 흐름도이다.
도 4에 도시된 바와 같이, 해당 방법은,
S201: 휴먼 머신 인터랙션 인터페이스 주변에 대한 환경 인식 결과를 획득한다.
여기서, S201에 대한 설명은 S101을 참조할 수 있으며, 여기서 중복 설명하지 않는다.
S202: 환경 인식 결과를 기초로 환경 중의 사용자의 수량을 확정한다.
상술한 예시를 바탕으로 알 수 있듯이, 환경 인식 결과는 사용자의 정보를 포함하고, 따라서, 환경 인식 결과를 기초로, 환경 중의 사용자의 수량을 확정할 수 있다.
S203: 사용자의 수량과 수량 임계값의 크기를 판단하고, 만약 사용자의 수량이 수량 임계값보다 작으면, S204 내지 S205를 실행하고; 만약 사용자의 수량이 수량 임계값보다 크거나 같으면, S206 내지 S207을 실행한다.
여기서, 수량 임계값은 수요, 경험 및 실험에 근거하여 설정할 수 있다.
S204: 동작 모드를 자체 전시식 모드로 확정한다.
즉, 사용자의 수량이 상대적으로 적을 때, 디지털맨의 동작 모드를 자체 전시식 모드로 확정할 수 있다.
S205: 디지털맨을 제어하여 휴먼 머신 인터랙션 인터페이스 상에서 홀로 상태의 신체 동작을 표시하거나; 또는 디지털맨을 제어하여 휴먼 머신 인터랙션 인터페이스 상에서 문안 정보, 전시 정보, 조작 안내 정보 중 적어도 하나를 출력한다.
즉, 자체 전시식 모드는 적어도 두 개의 측면으로부터 구현할 수 있는 바, 일 측면은 신체 동작 상의 구현이고, 즉 디지털맨이 휴먼 머신 인터랙션 인터페이스 상에서 홀로 상태의 신체 동작을 표시하는 것이고; 다른 측면은 디지털맨이 휴먼 머신 인터랙션 인터페이스 상에서 문안 정보, 전시 정보, 조작 안내 정보 중 적어도 하나를 출력하는 것이다.
구체적으로, 신체 동작 상의 구현에 대해 아래와 같이 설명한다.
여기서, 신체 동작은 둘러보기, 사고, 귀여운척 하기, 거닐기, 멍때리기, 하픔, 졸음과 스트래칭을 포함하나 이에 한정하지 않는다.
일부 실시예에서, 기설정된 시간 간격으로, 디지털맨을 제어하여 휴먼 머신 인터랙션 인터페이스 상에서 순차적으로 상술한 신체 동작을 전시할 수 있고, 예컨대 0.1 초마다 하나의 신체 동작을 스위칭하고, 각 신체 동작의 시간 길이는 신체 동작에 따라 서로 다른 시간 길이로 설정할 수 있다.
예를 들어, 디지털맨이 5초 동안 둘러보기 한 후, 0.1초 간격을 두고 사고하는 동작을 실행하고, 사고하는 동작을 5초동안 실행한 후, 0.1초 간격을 두고 귀여운척하는 동작을 실행한다.
예를 들어, 디스플레이 스크린이 백화점에 설치되어 있고, 환경 중의 사용자의 수가 보다 적은 것으로 인식되면, 디지털맨의 동작 모드를 자체 전시식 모드로 확정하고, 디지털맨을 제어하여 휴먼 머신 인터랙션 인터페이스 상에서 상술한 동작을 표시할 수 있다.
이해할 수 있는 것은, 적어도 부분 사용자가 상술한 동작을 본 후에, 환경 안에 진입하여, 디지털맨과 인터랙션할 것이다.
즉, 사용자의 수량이 보다 적을 때, 디지털맨을 제어하여 휴먼 머신 인터랙션 인터페이스 상에서 홀로 상태의 신체 동작을 표시함으로써, 더욱 많은 사용자의 주의를 끌어, 더욱 많은 사용자를 환경 중에 끌어들일 수 있기에, 휴먼 머신 인터랙션의 가능성을 향상시킨다.
구체적으로, 문안 정보, 전시 정보, 조작 안내 정보에 대한 설명은 아래와 같다.
여기서, 문안 정보는 사용자에 대해 문안하는 관련 정보를 나타내기 위한 것이다.
구체적으로 도 5를 참조할 수 있으며, 도 5는 문안 정보에 대응되는 인터페이스를 나타내는 도면이다.
여기서, 전시 정보는 디지털맨의 정보, 상품 정보, 통지 정보 등에 대해 전시하는 정보를 나타내기 위한 것이다.
예를 들어, 디지털맨의 정보는 디지털맨의 자아 소개 관련 정보 등을 포함하고; 상품의 정보는 상품의 품질과 성능 관련 정보를 포함할 수 있고, 상품의 가격 관련 정보를 포함할 수도 있으며, 상품의 사용 방법 관련 정보 등을 더 포함할 수 있고; 통지 정보는 상품에 관련된 최신 동향 관련 정보 등을 포함할 수 있다.
구체적으로 6을 참조하면, 도 6은 상품 관련 정보에 대응되는 인터페이스를 나타내는 도면이다.
여기서, 조작 안내 정보는 사용자가 휴먼 머신 인터랙션 인터페이스에 대해 조작하거나, 또는 휴먼 머신 인터랙션 인터페이스 상의 상품에 대해 조작하도록 안내하는 정보를 나타내기 위한 것이다. 휴먼 머신 인터랙션 인터페이스 상의 상품에 대해 조작하는 정보는 사용자가 상품에 대해 파악하고 구매하도록 안내하는 관련 정보, 사용자가 은행 재태크 제품에 대해 파악하고 구매하도록 안내 하는 관련 정보를 포함한다.
구체적으로 도 7을 참조할 수 있으며, 도 7은 상품에 에 대해 조작하는 정보에 대응되는 인터페이스를 나타내는 도면이다.
마찬가지로, 사용자 수량이 보다 적을 때 디지털맨을 제어하여 휴먼 머신 인터랙션 인터페이스 상에서 문안 정보, 전시 정보, 조작 안내 정보 중 적어도 하나를 출력함으로써, 더욱 많은 사용자의 주의를 끌어, 더욱 많은 사용자를 환경에 끌어들일 수 있기에, 휴먼 머신 인터랙션의 가능성을 향상시킨다.
일부 실시예에서, 자체 전시식 모드는 상술한 두 개 측면에 기반하여 구현되는 기초 상에서, 디지털맨이 휴먼 머신 인터랙션 인터페이스 상에서 표시하는 것에 대해 더욱 세분화할 수 있다.
예를 들어, 사용자의 수량에 따라 두 개 측면에 대해 구분하고, 즉 수량 임계값의 범위 내에서 사용자의 수량에 대해 구간을 나누고, 만약 사용자의 수량이 제1 구간에 있으면, 디지털맨을 제어하여 휴먼 머신 인터랙션 인터페이스 상에서 홀로의 신체 동작을 표시하고; 만약 사용자의 수량이 제2 구간에 있으면, 디지털맨을 제어하여 휴먼 머신 인터랙션 인터페이스 상에서 인사 정보, 전시 정보, 조작 안내 정보 중 적어도 하나를 출력한다.
여기서, 제1 구간 중의 임의의 수량은, 제2 구간 중의 임의의 수량보다 작고, 제2 구간의 최대값은 수량 임계값이다.
S206: 동작 모드를 능동적 인터랙션 모드로 확정한다.
S207: 디지털맨을 제어하여 휴먼 머신 인터랙션 인터페이스 상에서 능동적 인터랙션 모드의 조작을 표시한다.
상술한 예시를 바탕으로 알 수 있듯이, 능동적 인터랙션 모드는 디지털맨이 능동적으로 사용자와 인터랙션을 수행하는 것일 수 있기에, 능동적 인터랙션 모드의 조작은 디지털맨이 능동적으로 사용자에게 문안하는 문안 정보, 또는 능동적으로 상품 등에 대해 소개하는 소개 정보, 또는 능동적으로 사용자의 수요를 문의하여, 사용자의 수요에 따라 해당하는 서비스를 제공하는 서비스 정보 등으로 표현할 수 있다.
즉, 본 출원의 실시예에서, 환경에 일정한 수량의 사용자가 있을 때, 디지털맨을 제어하여 휴먼 머신 인터랙션 인터페이스 상에서 능동적 인터랙션 모드에 대응하는 상술한 조작을 표시하여, 능동적 인터랙션 방식으로 인터랙션 유연성을 향상시키는 것을 구현할 수 있고, 능동적 인터랙션 방식으로 사용자의 관심을 끌 수 있으므로, 사용자와의 인터랙션 가능성을 향상시킬 수 있다.
설명해야 할 바로는, 일부 실시예에서, S203을 실행한 후, 사용자의 수량이 수량 임계값보다 작은 시간을 확정하는 단계를 실행할 수 있으며, 사용자의 수량이 수량 임계값보다 작은 시간이 설정 시간을 초과할 경우, S204를 실행하거나; 또는 사용자의 수량이 수량 임계값보다 크거나 같은 시간을 확정하는 단계를 실행하고, 사용자의 수량이 수량 임계값보다 크거나 같은 시간이 설정 시간보다 크거나 같을 경우, S206을 실행한다.
이해할 수 있는 것은, 사용자 수량의 변화 빈도가 보다 높을 수 있으며, 예컨대, 현재 시각의 사용자 수량이 상대적으로 보다 많고, 수량 임계값보다 크고, 이전 시각의 사용자 수량이 상대적으로 보다 적고 수량 임계값보다 작으며, 더욱 이전 시각의 사용자 수량이 상대적으로 보다 많고 수량 임계값보다 크면, 짧은 시간 내에 동작 모드에 대해 두 번 스위칭 해야 한다.
하지만 본 출원의 실시예에서, 설정 시간을 통해 동작 모드의 시작 또는 스위칭에 대해 제어하여, 빈번하게 동작 모드를 스위칭하는 것을 방지함으로써, 처리 리소스를 절약하는 기술효과를 구현할 수 있다.
구독자들이 환경 인식 결과와 동작 모드 간의 연관 관계를 더욱 명확하게 이해하도록 하기 위하여, 여기서 도 8을 결합하여 본 출원의 실시예에 대해 상세하게 설명한다. 여기서, 도 8은 본 출원의 다른 일 실시예의 휴먼 머신 인터랙션 제어 방법의 흐름도이다.
도 8에 도시된 바와 같이, 해당 방법은 아래의 단계를 포함한다.
S301: 휴먼 머신 인터랙션 인터페이스 주변에 대한 환경 인식 결과를 획득한다.
여기서, S301에 대한 설명은 S101을 참조할 수 있으며, 여기서 중복 설명하지 않는다.
S302: 환경 인식 결과를 기초로 환경에 적어도 하나의 사용자가 포함되는지 여부를 판단하고, 그렇다면, S303을 실행하고, 그렇지 않으면, S307 내지 S308을 실행한다.
S303: 각 사용자의 머문 시간을 획득한다.
여기서, 머문 시간은 사용자가 환경에서 머문 시간을 표시할 수 있고, 머문 시간은 사용자의 시선이 휴먼 머신 인터랙션 인터페이스 상에 머문 시간을 표시할 수도 있다.
S304: 각각의 머문 시간 중에 기설정된 시간 임계값보다 큰 머문 시간이 있는지 여부를 판단하고, 그렇다면, S305를 실행하고, 그렇지 않으면, S307 내지 S308을 실행한다.
S305: 동작 모드를 능동적 인터랙션 모드로 확정한다.
본 출원의 실시예에서, 만약 시간 임계값보다 큰 하나 또는 복수의 머문 시간이 있으면, 디스플레이 스크린을 주시하는 사용자(시간 임계값보다 큰 머문 시간에 대응되는 사용자)가 있을 수 있다는 것을 의미하며, 이때 디지털맨의 동작 모드를 능동적 인터랙션 모드로 확정함으로써, 디지털맨을 제어하여 능동적으로 사용자와 인터랙션하도록 하여, 인터랙션 유연성을 구현하고, 나아가 사용자의 인터랙션 체험을 향상시킨다.
S306: 디지털맨을 제어하여 휴먼 머신 인터랙션 인터페이스 상에서 능동적 인터랙션 모드의 조작을 표시한다.
여기서, S306에 대한 설명은 S207을 참조할 수 있으며, 여기서 중복 설명하지 않는다.
S307: 동작 모드를 자체 전시식 모드로 확정한다.
S308: 디지털맨을 제어하여 휴먼 머신 인터랙션 인터페이스 상에서 홀로 상태의 신체 동작을 표시하거나; 또는 디지털맨을 제어하여 휴먼 머신 인터랙션 인터페이스 상에서 문안 정보, 전시 정보, 조작 안내 정보 중 적어도 하나를 출력한다.
여기서, S307 내지 S308에 대한 설명은 S204 내지 S205를 참조할 수 있으며, 여기서 중복 설명하지 않는다.
구독자들이 환경 인식 결과와 동작 모드 간의 연관 관계를 더욱 명확하게 이해하도록 하기 위하여, 여기서 도 9를 결합하여 본 출원의 실시예에 대해 상세하게 설명한다. 여기서, 도 9는 본 출원의 또 다른 일 실시예의 휴먼 머신 인터랙션 제어 방법의 흐름도이다.
도 9에 도시된 바와 같이, 해당 방법은 아래의 단계를 포함한다.
S401: 휴먼 머신 인터랙션 인터페이스 주변에 대한 환경 인식 결과를 획득한다.
여기서, S401에 대한 설명은 S101을 참조할 수 있으며, 여기서 중복 설명하지 않는다.
S402: 환경 인식 결과를 기초로 환경 중 각 사용자에 대응하는 사용자의 어의를 확정한다.
여기서, 어의는 사용자가 개시한 오디오 정보, 또는 동작 정보를 나타내기 위한 것이다.
S403: 각 사용자의 어의에 웨이크업 어의와 동일한 하나의 사용자의 어의가 있는지 여부를 판단하고, 그렇다면, S404 내지 S405를 실행하고, 그렇지 않으면, S406 내지 S407을 실행하거나, 또는 S408 내지 S412를 실행한다(미도시).
여기서, 웨이크업 어의는 디지털맨을 웨이크업시켜, 디지털맨이 사용자와 인터랙션을 수행하도록 하는 오디오 정보 또는 동작 정보를 나타내기 위한 것이다.
S404: 동작 모드를 웨이크업 인터랙션 모드로 확정한다.
S405: 디지털맨을 제어하여 휴먼 머신 인터랙션 인터페이스 상에서 웨이크업 인터랙션 모드에 대응되는 조작을 표시한다.
구체적으로, 디지털맨은 사용자의 인터랙션 내용을 기초로 응답한다.
예를 들어, 사용자가 어느 상품의 성능을 문의하고, 디지털맨이 사용자에게 해당 상품을 상세하게 소개한다.
S406: 동작 모드를 자체 전시식 모드로 확정한다.
S407: 디지털맨을 제어하여 휴먼 머신 인터랙션 인터페이스 상에서 홀로 상태의 신체 동작을 표시하거나; 또는 디지털맨을 제어하여 휴먼 머신 인터랙션 인터페이스 상에서 문안 정보, 전시 정보, 조작 안내 정보 중 적어도 하나를 출력한다.
여기서, S406 내지 S407에 대한 설명은 S204 내지 S205를 참조할 수 있으며, 여기서 중복 설명하지 않는다.
S408: 환경 인식 결과를 기초로 환경에 적어도 하나의 사용자가 포함되는지 여부를 판단하고, 그렇다면 S409를 실행하고, 그렇지 않으면, S406 내지 S407을 실행한다.
S409: 각 사용자의 머문 시간을 획득한다.
S410: 각 머문 시간에 기설정된 시간 임계값보다 큰 머문 시간이 있는지 여부를 판단하고, 그렇다면, S411을 실행하고, 그렇지 않으면, S406 내지 S407을 실행한다.
S411: 동작 모드를 능동적 인터랙션 모드로 확정한다.
S412: 디지털맨을 제어하여 휴먼 머신 인터랙션 인터페이스 상에서 능동적 인터랙션 모드의 조작을 표시한다.
여기서, S408 내지 S412에 대한 설명은 S302 내지 S308을 참조할 수 있으며, 여기서 중복 설명하지 않는다.
본 출원의 실시예의 다른 측면에 따르면, 본 출원의 실시예는 휴먼 머신 인터랙션 제어 장치를 더 제공하는 바, 상술한 실시예에 따른 휴먼 머신 인터랙션 제어 방법을 실행하기 위한 것이다.
도 10을 참조하면, 도 10은 본 출원의 실시예의 휴먼 머신 인터랙션 제어 장치를 나타내는 도면이다.
도 10에 도시된 바와 같이, 해당 장치는,
휴먼 머신 인터랙션 인터페이스 주변에 대한 환경 인식 결과를 획득하는 획득 모듈(11);
상기 환경 인식 결과를 기초로, 상기 휴먼 머신 인터랙션 인터페이스 상에 표시된 디지털맨의 동작 모드를 확정하되, 상기 동작 모드는 자체 전시 모드, 능동적 인터랙션 모드와 웨이크업 인터랙션 모드 중 적어도 하나를 포함하는 확정 모듈(12);
상기 디지털맨을 제어하여 상기 휴먼 머신 인터랙션 인터페이스를 통해, 상기 동작 모드에 대응되는 조작을 출력하는 출력 모듈(13)을 포함한다.
일부 실시예에서, 상기 환경 인식 결과가 상기 환경 중의 사용자의 수량이 기설정 수량 임계값보다 작으면, 확정된 동작 모드는 자체 전시 모드이다.
일부 실시예에서, 상기 확정 모듈(12)은, 상기 사용자의 수량이 기설정 수량 임계값보다 작은 시간이 설정 시간을 초과하는 것을 확정한다.
일부 실시예에서, 상기 동작 모드가 자체 전시 모드이면; 상기 출력 모듈(13)은, 상기 디지털맨을 제어하여 상기 휴먼 머신 인터랙션 인터페이스 상에 홀로 상태의 신체 동작을 표시한다.
일부 실시예에서, 상기 동작 모드가 자체 전시 모드이면; 상기 출력 모듈(13)은, 상기 디지털맨을 제어하여 상기 휴먼 머신 인터랙션 인터페이스에 문안 정보, 전시 정보, 조작 안내 정보 중 적어도 하나를 출력한다.
일부 실시예에서, 상기 환경 인식 결과가 환경 중의 사용자의 수량이 기설정 수량 임계값보다 크거나 같으면, 확정된 동작 모드는 능동적 인터랙션 모드이다.
일부 실시예에서, 상기 환경 인식 결과가 환경 중의 적어도 하나의 사용자의 머문 시간이 기설정된 시간 임계값보다 크면, 확정된 동작 모드는 능동적 인터랙션 모드이다.
일부 실시예에서, 상기 환경 인식 결과가 해석하여 획득된 환경 중의 적어도 하나의 사용자의 어의와 기설정된 웨이크업 어의가 서로 매칭되면, 확정된 동작 모드는 웨이크업 인터랙션 모드이다.
본 출원의 실시예의 다른 측면에 따르면, 본 출원의 실시예는 인터랙션 시스템을 더 제공한다.
도 11을 참조하면, 도 11은 본 출원의 실시예의 인터랙션 시스템을 나타내는 도면이다.
도 11에 도시된 바와 같이, 해당 시스템은, 수집 장치(21), 처리 장치(미도시), 디스플레이 장치(22)와 디지털맨(23)을 포함하고, 여기서,
수집 장치(21)는, 디스플레이 장치 주위의 환경을 수집하여, 환경 수집 정보를 획득한다.
도 11에 도시된 바와 같이, 수집 장치(21)는 카메라(211)와 마이크(212)를 포함한다.
설명해야 할 바로는, 카메라(211)와 마이크(212)의 위치와 수량은 도 11의 한정을 받지 않는다.
예를 들어, 일부 실시예에서, 카메라(211)의 설치 위치는 도 11에 도시된 바와 같이 중간에 설치될 수 있고, 카메라(211)를 기타 위치에 설치할 수도 있으며, 예컨대 카메라(211)를 디스플레이 장치(22)의 왼쪽 위 모서리 또는 오른쪽 위 모서리 등에 설치할 수 있고; 카메라(211)의 수량은 도 11에 도시된 바와 같이 하나 또는 복수 개 일 수도 있다.
다른 일부 실시예에서, 마이크(212)의 설치 위치도 도 11에 도시된 바와 같이 중간에 설치될 수 있고, 마이크(212)를 기타 위치에 설치할 수도 있으며, 예컨대 마이크(211)를 디스플레이 장치(22)의 좌우 양측 등에 설치할 수 있고; 마이크(212)의 수량은 도 11에 도시된 바와 같이 4개이거나, 하나 또는 두 개 등일 수도 있다.
여기서, 환경 수집 정보는 환경 중의 사용자의 영상 및/또는 음성과 같은 영상 정보 및/또는 오디오 정보를 포함한다.
처리 장치는, 환경 수집 정보에 대해 인식하여, 환경 인식 결과를 생성하고, 환경 인식 결과를 기초로, 디지털맨(23)의 동작 모드를 확정하고, 동작 모드는 자체 전시 모드, 능동적 인터랙션 모드와 웨이크업 인터랙션 모드 중 적어도 하나를 포함한다.
처리 장치는 또한, 디지털맨(23)을 제어하여 상기 디스플레이 장치(22)를 통해, 동작 모드에 대응되는 조작을 표시한다.
여기서, 다양한 동작 모드에 대한 소개는 상술한 예시를 참조할 수 있으며, 여기서 중복 설명하지 않는다.
본 출원의 실시예에 따르면, 본 출원은 전자기기와 판독 가능 저장 매체를 더 제공한다.
도 12를 참조하면, 도 12는 본 출원의 실시예의 전자기기의 블록도이다.
여기서, 전자기기는 다양한 형태의 디지털 컴퓨터, 예컨대, 랩톱 컴퓨터, 데스크톱 컴퓨터, 워크스테이션, 개인 정보 단말기, 서버, 블레이드 서버, 대형 컴퓨터, 및 기타 적합한 컴퓨터를 나타내기 위한 것이다. 전자기기는 다양한 형태의 이동 장치, 예컨대, 개인 정보 처리, 셀폰, 스마트 폰, 웨어러블 기기 및 기타 유사한 컴퓨팅 장치를 더 나타낼 수 있다. 본문에 개시된 부재, 이들의 연결 및 관계, 및 이들의 기능은 단지 예시적인 것이며, 본문에 개시된 것 및/또는 요구하는 본 출원의 실시예의 구현을 한정하려는 의도가 아니다.
도 12에 도시된 바와 같이, 해당 전자기기는 하나 또는 복수의 프로세서(101), 메모리(102), 및 각 부재를 연결시키기 위한 고속 인터페이스와 저속 인터페이스를 포함하는 인터페이스를 포함한다. 각각의 부재는 서로 다른 버스를 통해 서로 연결되며, 공통 메인보드에 장착되거나 수요에 따라 기타 방식으로 장착될 수 있다. 프로세서는 전자기기 내에서 실행되는 명령을 처리할 수 있으며, 메모리 내 또는 메모리 상에 저장되어 외부 입력/출력 장치(예컨대, 인터페이스에 커플링된 디스플레이 기기) 상에 GUI의 그래픽 정보를 표시하는 명령을 포함할 수 있다. 기타 실시형태에서, 수요에 따라, 복수의 프로세서 및/또는 복수의 버스와 복수의 메모리 및 복수의 메모리를 함께 사용할 수 있다. 마찬가지로, 복수의 전자기기를 연결할 수 있으며, 각각의 기기는 부분 필요한 조작을 제공한다(예를 들어, 서버 어레이, 한 세트의 블레이드 서버, 또는 멀티 프로세서 시스템으로서). 도 12는 하나의 프로세서(101)를 예로 든다.
메모리(102)는 바로 본 출원의 실시예에 따른 비일시적 컴퓨터 판독 가능 저장 매체이다. 여기서, 상기 메모리는 적어도 하나의 프로세서에 의해 실행될 수 있는 명령이 저장되어, 상기 적어도 하나의 프로세서가 본 출원의 실시예에 따른 휴먼 머신 인터랙션 제어 방법을 수행하도록 한다. 본 출원의 비일시적 컴퓨터 판독 가능 저장 매체는 컴퓨터 명령을 저장하고, 해당 컴퓨터 명령은 컴퓨터가 본 출원의 실시예에 따른 휴먼 머신 인터랙션 제어 방법을 수행하도록 한다.
메모리(102)는 비일시적 컴퓨터 판독 가능 저장 매체로서, 비일시적 소프트웨어 프로그램, 비일시적 컴퓨터 실행 가능 프로그램 및 모듈, 예컨대 본 출원의 실시예에 따른 휴먼 머신 인터랙션 제어 방법에 대응되는 프로그램 명령/모듈을 저장할 수 있다. 프로세서(101)는 메모리(102)에 저장된 비일시적 소프트웨어 프로그램, 명령 및 모듈을 실행하여, 서버의 다양한 기능 응용 및 데이터 처리를 수행한다. 즉, 상술한 방법 실시예 중 휴먼 머신 인터랙션 제어 방법을 구현한다.
메모리(102)는 프로그램 저장 영역과 데이터 저장 영역을 포함할 수 있다. 여기서, 프로그램 저장 영역은 운영체제, 적어도 하나의 기능에 필요한 응용 프로그램을 저장할 수 있다. 데이터 저장 영역은 전자기기의 사용에 따라 구축되는 데이터 등을 저장할 수 있다. 한편, 메모리(102)는 고속 랜덤 액세스 메모리를 포함할 수 있고, 예를 들어 적어도 하나의 자기 저장 장치, 플래시 메모리, 또는 기타 비일시적 솔리드 스테이트 저장 장치와 같은 비일시적 메모리를 포함할 수도 있다. 일부 실시예에서, 메모리(102)는 선택적으로 프로세서(101)에 대해 원격으로 설치된 메모리를 포함할 수 있다. 이러한 원격 메모리는 네트워크를 통해 전자기기에 연결될 수 있다. 상술한 네트워크의 실예로서 인터넷, 인트라넷, 근거리 통신망, 블록 채인 서비스 네트워크(Block-chain-based Service Network，BSN), 이동 통신망 및 그 조합을 포함하지만 이에 한정되지 않는다.
전자기기는 입력 장치(103)와 출력 장치(104)를 더 포함할 수 있다. 프로세서(101), 메모리(102), 입력 장치(103) 및 출력 장치(104)는 버스 또는 기타 방식으로 연결될 수 있으며, 도 12에서는 버스를 통해 연결되는 것을 예시하고 있다.
입력 장치(103)는 입력되는 숫자 또는 문자 부호 정보를 수신할 수 있고, 전자기기의 사용자 설정 및 기능 제어에 대한 키 신호 입력을 생성할 수 있는 바, 예를 들어 터치 스크린, 키패드, 마우스, 트랙패드, 터치패널, 지시레버, 하나 또는 복수의 마우스 버튼, 트랙볼, 조종레버 등 입력 장치를 포함할 수 있다. 출력 장치(104)는 디스플레이 기기, 보조 조명 장치(예를 들어, LED) 및 촉각 피드백 장치(예를 들어, 진동모터) 등을 포함할 수 있다. 해당 디스플레이 기기는, 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이와 플라즈마 디스플레이 등을 포함할 수 있지만 이에 한정되지 않는다. 일부 실시형태에서, 디스플레이 기기는 터치 스크린일 수 있다.
여기에 기재되는 시스템 및 기술의 다양한 실시형태는 디지털 전자 회로 시스템, 집적 회로 시스템, 전용 ASIC(전용 집적 회로), 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 이들의 조합에서 구현될 수 있다. 이러한 다양한 실시형태는 하나 또는 복수의 컴퓨터 프로그램에서 구현되는 것을 포함할 수 있고, 해당 하나 또는 복수의 컴퓨터 프로그램은 적어도 하나의 프로그래머블 프로세서를 포함하는 프로그래머블 시스템 상에서 실행 및/또는 해석될 수 있으며, 해당 프로그래머블 프로세서는 전용 또는 범용 프로그래머블 프로세서일 수 있고, 저장 시스템, 적어도 하나의 입력 장치, 및 적어도 하나의 출력 장치로부터 데이터와 명령을 수신할 수 있으며, 데이터와 명령을 해당 저장 시스템, 해당 적어도 하나의 입력 장치, 및 해당 적어도 하나의 출력 장치로 전송한다.
이러한 컴퓨팅 프로그램(프로그램, 소프트웨어, 소프트웨어 응용, 또는 코드라고도 불리운다)은 프로그래머블 프로세서의 기계적 명령을 포함하고, 고급 프로세스 및/또는 객체 지향 프로그래밍 언어, 및/또는 어셈블리/기계적 언어를 이용하여 이러한 컴퓨터 프로그램을 실행할 수 있다. 예컨대 본문에서 사용되는 용어 "기계 판독 가능 매체"와 “컴퓨터 판독 가능 매체”는 기계적 명령 및/또는 데이터를 프로그래머블 프로세서로 제공하기 위한 임의의 컴퓨터 프로그램 제품, 기기, 및/또는 장치(예를 들어, 자기 디스크, 광 디스크, 메모리, 프로그래머블 논리 디바이스(PLD))를 가리키고, 기계 판독 가능 신호인 기계적 명령을 수신하는 기계 판독 가능 매체를 포함한다. 용어 “기계 판독 가능 신호”는 기계적 명령 및/또는 데이터를 프로그래머블 프로세서로 제공하기 위한 임의의 신호를 가리킨다.
사용자와의 인터랙션을 제공하기 위하여, 컴퓨터 상에서 여기에 기재되는 시스템 및 기술을 실시할 수 있으며, 해당 컴퓨터는 사용자에게 정보를 표시하기 위한 표시 장치(예를 들어, CRT(캐소드레이 튜브) 또는 LCD(액정 디스플레이) 모니터); 및 키보드 지향 장치(예를 들어, 마우스 또는 트랙볼)를 구비하고, 사용자는 해당 키보드와 해당 지향 장치를 통해 입력을 컴퓨터로 제공할 수 있다. 기타 종류의 장치는 또한 사용자와의 인터랙션을 제공할 수도 있다. 예를 들어, 사용자에게 제공되는 피드백은 임의의 형태의 센싱 피드백(예를 들어, 시각적 피드백, 청각적 피드백, 또는 촉각적 피드백)일 수 있고; 임의의 형태(사운드 입력, 음성 입력 또는 촉각 입력)을 통해 사용자로부터의 입력을 수신할 수 있다.
여기에 기재되는 시스템과 기술은 백그라운드 부재를 포함하는 컴퓨팅 시스템(예를 들어, 데이터 서버로서), 또는 중간부재를 포함하는 컴퓨팅 시스템(예를 들어, 응용 서버), 또는 프론트 엔드 부재를 포함하는 컴퓨팅 시스템(예를 들어, 그래픽 유저 인터페이스 또는 인터넷 브라우저를 구비하는 사용자 컴퓨터, 사용자는 해당 그래픽 유저 인터페이스 또는 해당 인터넷 브라우저를 통해 여기에 기재되는 시스템 및 기술의 실시방식과 인터랙션할 수 있다), 또는 이러한 백그라운드 부재, 중간 부재, 또는 프론트 엔드 부재를 포함하는 임의의 조합의 컴퓨팅 시스템에서 실시될 수 있다. 임의의 형태 또는 매체의 디지털 데이터 통신(예를 들어, 통신망)을 통해 시스템의 부재를 서로 연결시킬 수 있다. 통신망의 예시로서, 근거리 통신망(LAN), 블록 채인 서비스 네트워크(Block-chain-based Service Network，BSN), 광역 통신망(WAN) 및 인터넷을 포함한다.
컴퓨터 시스템은 클라이언트와 서버를 포함할 수 있다. 클라이언트와 서버는 일반적으로 서로 멀리 떨어져 있으며 통상적으로 통신망을 통해 인터랙션한다. 상응한 컴퓨터 상에서 실행되며 서로 클라이언트-서버 관계를 가지는 컴퓨터 프로그램을 통해 클라이언트와 서버의 관계를 생성한다.
본 출원의 실시예의 다른 측면에 따르면, 본 출원의 실시예는 휴먼 머신 인터랙션 제어 방법을 더 제공하는 바, 상기 방법은,
수집된 휴먼 머신 인터랙션 인터페이스 주변의 환경에 대응되는 환경 인식 결과를 기초로, 휴먼 머신 인터랙션 인터페이스가 디지털맨의 동작 모드를 표시하도록 제어하되, 동작 모드는 자체 전시 모드, 능동적 인터랙션 모드와 웨이크업 인터랙션 모드 중 적어도 하나를 포함하는 단계를 포함한다.
즉, 본 출원의 실시예에서, 환경 인식 결과를 기초로 디지털맨을 제어하여 휴먼 머신 인터랙션 인터페이스에 대응되는 동작 모드를 표시할 수 있으며, 즉 디지털맨은 서로 다른 환경 인식 결과를 기초로 서로 다른 동작 모드를 전시하여, 휴먼 머신 인터랙션의 다양성과 유연성을 구현하고, 사용자의 인터랙션 체험을 향상시킬 수 있다.
본 출원의 실시예의 다른 측면에 따르면, 본 출원의 실시예는 컴퓨터 프로그램을 더 제공하는 바, 프로그램 코드를 포함하고, 컴퓨터가 상기 컴퓨터 프로그램을 실행할 때, 상기 프로그램 코드는 상술한 어느 하나의 실시예에 따른 방법을 실행한다.
본 출원의 실시예의 다른 측면에 따르면, 본 출원의 실시예는 컴퓨터 프로그램 제품을 더 제공하는 바, 컴퓨터 프로그램을 포함하고, 상기 컴퓨터 프로그램이 프로세서에 의해 실행될 때 상술한 임의의 실시예에 따른 방법을 구현한다.
상술한 다양한 형태의 프로세스를 사용하여 단계를 재배열, 추가 또는 삭제할 수 있다는 것을 이해해야 한다. 예를 들어, 본 출원에 기재된 각 단계는 병열로 수행될 수 있고 순차적으로 수행될 수도 있고 서로 다른 순서로 수행될 수도 있으며, 본 출원에 개시된 기술적 해결수단이 원하는 결과를 얻을 수만 있다면, 본문에서는 여기서 한정하지 않는다.
상술한 구체적인 실시형태는, 본 출원의 보호범위에 대한 한정이 아니다. 본 분야의 통상의 지식을 가진 자라면, 설계 수요와 기타 요소를 기초로, 다양한 수정, 조합, 서브 조합 및 대체를 가할 수 있음을 이해하여야 한다. 본 출원의 정신과 원칙 내에서 이루어진 모든 수정, 동등한 치환과 개선 등은 모두 본 출원의 보호 범위 내에 속한다.

Claims (22)

  1. 휴먼 머신 인터랙션 제어 방법에 있어서, 상기 방법은,
    휴먼 머신 인터랙션 인터페이스 주변에 대한 환경 인식 결과를 획득하는 단계;
    상기 환경 인식 결과를 기초로, 상기 휴먼 머신 인터랙션 인터페이스 상에 표시된 디지털맨의 동작 모드를 확정하되, 상기 동작 모드는 자체 전시 모드, 능동적 인터랙션 모드와 웨이크업 인터랙션 모드 중 적어도 하나를 포함하는 단계;
    상기 디지털맨을 제어하여 상기 휴먼 머신 인터랙션 인터페이스를 통해, 상기 동작 모드에 대응되는 조작을 출력하는 단계;를 포함하는 휴먼 머신 인터랙션 제어 방법.
  2. 제1항에 있어서, 상기 환경 인식 결과가 상기 환경 중의 사용자의 수량이 기설정 수량 임계값보다 작으면, 확정된 동작 모드는 자체 전시 모드인 방법.
  3. 제2항에 있어서, 상기 휴먼 머신 인터랙션 인터페이스 상에 표시된 디지털맨의 동작 모드를 확정하는 단계 전에,
    상기 사용자의 수량이 기설정 수량 임계값보다 작은 시간이 설정 시간을 초과하는 단계;를 더 포함하는 방법.
  4. 제2항 또는 제3항에 있어서, 상기 동작 모드가 자체 전시 모드이면; 상기 디지털맨을 제어하여 상기 휴먼 머신 인터랙션 인터페이스를 통해, 상기 동작 모드에 대응되는 조작을 출력하는 단계는,
    상기 디지털맨을 제어하여 상기 휴먼 머신 인터랙션 인터페이스 상에서 홀로 상태의 신체 동작을 표시하는 단계;를 포함하는 방법.
  5. 제2항 내지 제4항 중 어느 한 항에 있어서, 상기 동작 모드가 자체 전시 모드이면; 상기 디지털맨을 제어하여 상기 휴먼 머신 인터랙션 인터페이스를 통해, 상기 동작 모드에 대응되는 조작을 출력하는 단계는,
    상기 디지털맨을 제어하여 상기 휴먼 머신 인터랙션 인터페이스에서 문안 정보, 전시 정보, 조작 안내 정보 중 적어도 하나를 출력하는 단계;를 포함하는 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 환경 인식 결과가 환경 중의 사용자의 수가 기설정 수량 임계값보다 크거나 같으면, 확정된 동작 모드는 능동적 인터랙션 모드인 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서, 상기 환경 인식 결과가 환경 중의 적어도 하나의 사용자의 머문 시간이 기설정된 시간 임계값보다 크면, 확정된 동작 모드는 능동적 인터랙션 모드인 방법.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서, 상기 환경 인식 결과가 해석하여 획득된 환경 중의 적어도 하나의 사용자의 어의와 기설정된 웨이크업 어의가 서로 매칭되는 것이면, 확정된 동작 모드는 웨이크업 인터랙션 모드인 방법.
  9. 휴먼 머신 인터랙션 제어 장치에 있어서, 상기 장치는,
    휴먼 머신 인터랙션 인터페이스 주변에 대한 환경 인식 결과를 획득하는 획득 모듈;
    상기 환경 인식 결과를 기초로, 상기 휴먼 머신 인터랙션 인터페이스 상에 표시된 디지털맨의 동작 모드를 확정하되, 상기 동작 모드는 자체 전시 모드, 능동적 인터랙션 모드와 웨이크업 인터랙션 모드 중 적어도 하나를 포함하는 확정 모듈;
    상기 디지털맨을 제어하여 상기 휴먼 머신 인터랙션 인터페이스를 통해, 상기 동작 모드에 대응되는 조작을 출력하는 출력 모듈;을 포함하는 휴먼 머신 인터랙션 제어 장치.
  10. 제9항에 있어서, 상기 환경 인식 결과가 상기 환경 중의 사용자의 수량이 기설정 수량 임계값보다 작으면, 확정된 동작 모드는 자체 전시 모드인 장치.
  11. 제10항에 있어서, 상기 확정 모듈은 상기 사용자의 수량이 기설정 수량 임계값보다 작은 시간이 설정 시간을 초과하는 것으로 확정하는 장치.
  12. 제10항 또는 제11항에 있어서, 상기 동작 모드가 자체 전시 모드이면; 상기 출력 모듈은 상기 디지털맨을 제어하여 상기 휴먼 머신 인터랙션 인터페이스 상에 홀로 상태의 신체 동작을 표시하는 장치.
  13. 제10항 내지 제12항 중 어느 한 항에 있어서, 상기 동작 모드가 자체 전시 모드이면; 상기 출력 모듈은 상기 디지털맨을 제어하여 상기 휴먼 머신 인터랙션 인터페이스에서 문안 정보, 전시 정보, 조작 안내 정보 중 적어도 하나를 출력하는 장치.
  14. 제9항 내지 제13항 중 어느 한 항에 있어서, 상기 환경 인식 결과가 환경 중의 사용자의 수량이 기설정 수량 임계값보다 크거나 같으면, 확정된 동작 모드는 능동적 인터랙션 모드인 장치.
  15. 제9항 내지 제14항 중 어느 한 항에 있어서, 상기 환경 인식 결과가 환경 중의 적어도 하나의 사용자의 머문 시간이 기설정된 시간 임계값보다 크면, 확정된 동작 모드는 능동적 인터랙션 모드인 것은 장치.
  16. 제9항 내지 제15항 중 어느 한 항에 있어서, 상기 환경 인식 결과가 해석하여 획득된 환경 중의 적어도 하나의 사용자의 어의와 기설정된 웨이크업 어의가 서로 매칭되는 것이면, 확정된 동작 모드는 웨이크업 인터랙션 모드인 것인 장치.
  17. 휴먼 머신 인터랙션 제어 시스템에 있어서, 상기 시스템은 수집 장치, 처리 장치, 디스플레이 장치와 디지털맨을 포함하고, 여기서,
    상기 수집 장치는 디스플레이 장치 주변의 환경에 대해 수집하여 환경 수집 정보를 획득하고;
    상기 처리 장치는 상기 환경 수집 정보에 대해 인식을 수행하여, 환경 인식 결과를 생성하고, 상기 환경 인식 결과를 기초로, 상기 디지털맨의 동작 모드를 확정하되, 상기 동작 모드는 자체 전시 모드, 능동적 인터랙션 모드와 웨이크업 인터랙션 모드 중 적어도 하나를 포함하고;
    상기 처리 장치는 또한, 상기 디지털맨을 제어하여 상기 디스플레이 장치를 통해, 상기 동작 모드에 대응되는 조작을 표시하는 시스템.
  18. 적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서와 통신 연결되는 메모리를 포함하고;
    여기서, 상기 메모리에 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되어 있고, 상기 명령이 상기 적어도 하나의 프로세서에 의해 실행되어, 상기 적어도 하나의 프로세서가 제1항 내지 제8항 중 어느 한 항에 따른 방법을 수행할 수 있도록 하는 전자기기.
  19. 컴퓨터 명령이 저장된 비일시적 컴퓨터 판독 가능 저장 매체에 있어서, 상기 컴퓨터 명령은 상기 컴퓨터가 제1항 내지 제8항 중 어느 한 항에 따른 방법을 수행하도록 하기 위한 것인 컴퓨터 명령이 저장된 비일시적 컴퓨터 판독 가능 저장 매체.
  20. 휴먼 머신 인터랙션 제어 방법에 있어서, 상기 방법은,
    수집된 휴먼 머신 인터랙션 인터페이스 주변의 환경에 대응되는 환경 인식 결과를 기초로, 휴먼 머신 인터랙션 인터페이스가 디지털맨의 동작 모드를 표시하도록 제어하되, 상기 동작 모드는 자체 전시 모드, 능동적 인터랙션 모드와 웨이크업 인터랙션 모드 중 하나인 단계를 포함하는 휴먼 머신 인터랙션 제어 방법.
  21. 컴퓨터 프로그램에 있어서,
    프로그램 코드를 포함하고, 컴퓨터가 상기 컴퓨터 프로그램을 실행할 때, 상기 프로그램 코드가 제1항 내지 제8항 중 어느 한 항에 따른 방법을 실행하는 컴퓨터 프로그램.
  22. 컴퓨터 프로그램을 포함하고, 상기 컴퓨터 프로그램이 프로세서에 의해 실행될 때 제1항 내지 제8항 중 어느 한 항에 따른 방법을 구현하는 컴퓨터 프로그램 제품.

KR1020227000737A 2020-03-25 2020-12-11 휴먼 머신 인터랙션 제어 방법, 장치와 시스템, 전자기기 KR20220010580A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010220639.6 2020-03-25
CN202010220639.6A CN111273833B (zh) 2020-03-25 2020-03-25 人机交互的控制方法、装置和系统、电子设备
PCT/CN2020/135719 WO2021189967A1 (zh) 2020-03-25 2020-12-11 人机交互的控制方法、装置和系统、电子设备

Publications (1)

Publication Number Publication Date
KR20220010580A true KR20220010580A (ko) 2022-01-25

Family

ID=70999656

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227000737A KR20220010580A (ko) 2020-03-25 2020-12-11 휴먼 머신 인터랙션 제어 방법, 장치와 시스템, 전자기기

Country Status (6)

Country Link
US (1) US20210349526A1 (ko)
EP (1) EP3913473A4 (ko)
JP (1) JP7345551B2 (ko)
KR (1) KR20220010580A (ko)
CN (1) CN111273833B (ko)
WO (1) WO2021189967A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111273833B (zh) * 2020-03-25 2022-02-01 北京百度网讯科技有限公司 人机交互的控制方法、装置和系统、电子设备
CN111309153B (zh) * 2020-03-25 2024-04-09 北京百度网讯科技有限公司 人机交互的控制方法和装置、电子设备和存储介质
CN111918106A (zh) * 2020-07-07 2020-11-10 胡飞青 应用场景识别的多媒体播放系统及方法
CN111538456A (zh) * 2020-07-10 2020-08-14 深圳追一科技有限公司 基于虚拟形象的人机交互方法、装置、终端以及存储介质
CN112967010A (zh) * 2021-02-07 2021-06-15 中国工商银行股份有限公司 基于数字人引导的业务办理方法、装置、电子设备及介质
CN114090166A (zh) * 2021-11-29 2022-02-25 云知声智能科技股份有限公司 一种交互的方法和装置
CN114356092B (zh) * 2022-01-05 2022-09-09 花脸数字技术(杭州)有限公司 一种基于多模态的数字人信息处理用人机交互系统

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4822319B2 (ja) * 2005-10-27 2011-11-24 株式会社国際電気通信基礎技術研究所 コミュニケーションロボットおよびそれを用いた注意制御システム
JP4923876B2 (ja) * 2006-09-01 2012-04-25 富士通株式会社 情報提供ロボットおよびロボットを用いた情報提供方法
CN103927091B (zh) * 2013-01-15 2018-04-27 华为终端有限公司 一种人机交互的方法、装置及系统
US20170139471A1 (en) * 2015-11-12 2017-05-18 Microsoft Technology Licensing, Llc Adaptive user presence awareness for smart devices
US20170289766A1 (en) * 2016-03-29 2017-10-05 Microsoft Technology Licensing, Llc Digital Assistant Experience based on Presence Detection
CN105892829A (zh) * 2016-04-02 2016-08-24 上海大学 一种基于身份识别的人-机器人交互装置和方法
JP6447578B2 (ja) * 2016-05-27 2019-01-09 トヨタ自動車株式会社 音声対話装置および音声対話方法
US10168767B2 (en) * 2016-09-30 2019-01-01 Intel Corporation Interaction mode selection based on detected distance between user and machine interface
KR102391322B1 (ko) * 2017-06-30 2022-04-26 엘지전자 주식회사 이동 로봇
CN107765852A (zh) * 2017-10-11 2018-03-06 北京光年无限科技有限公司 基于虚拟人的多模态交互处理方法及系统
CN109753264A (zh) * 2017-11-08 2019-05-14 阿里巴巴集团控股有限公司 一种任务处理方法和设备
CN107825438A (zh) * 2017-12-06 2018-03-23 山东依鲁光电科技有限公司 城市智能综合服务机器人及其运行方法
CN107861626A (zh) * 2017-12-06 2018-03-30 北京光年无限科技有限公司 一种虚拟形象被唤醒的方法及系统
JP6991051B2 (ja) * 2017-12-11 2022-01-12 株式会社日立ビルシステム 案内システム
JP7130201B2 (ja) * 2018-01-18 2022-09-05 株式会社ユピテル 装置及びプログラム等
KR102574277B1 (ko) * 2018-05-04 2023-09-04 구글 엘엘씨 사용자와 자동화된 어시스턴트 인터페이스 간의 거리에 따른 자동화된 어시스턴트 콘텐츠의 생성 및/또는 적용
CN108833941A (zh) * 2018-06-29 2018-11-16 北京百度网讯科技有限公司 人机交互处理方法、装置、用户终端、处理服务器及系统
CN110874137B (zh) * 2018-08-31 2023-06-13 阿里巴巴集团控股有限公司 一种交互方法以及装置
CN110096191B (zh) * 2019-04-24 2021-06-29 北京百度网讯科技有限公司 一种人机对话方法、装置及电子设备
CN109940638B (zh) * 2019-04-26 2021-04-16 北京猎户星空科技有限公司 机器人、机器人控制方法、装置、存储介质和控制器
CN113110788B (zh) * 2019-08-14 2023-07-04 京东方科技集团股份有限公司 信息显示交互方法及装置、计算机设备及介质
CN111273833B (zh) * 2020-03-25 2022-02-01 北京百度网讯科技有限公司 人机交互的控制方法、装置和系统、电子设备

Also Published As

Publication number Publication date
CN111273833A (zh) 2020-06-12
JP7345551B2 (ja) 2023-09-15
WO2021189967A1 (zh) 2021-09-30
JP2022529869A (ja) 2022-06-27
US20210349526A1 (en) 2021-11-11
EP3913473A1 (en) 2021-11-24
CN111273833B (zh) 2022-02-01
EP3913473A4 (en) 2022-12-07

Similar Documents

Publication Publication Date Title
KR20220010580A (ko) 휴먼 머신 인터랙션 제어 방법, 장치와 시스템, 전자기기
US11928432B2 (en) Multi-modal pre-training model acquisition method, electronic device and storage medium
US11175823B2 (en) Method and apparatus for controlling terminal device using gesture control function, and non-transitory computer-readable storage medium
AU2013271141A1 (en) Object suspension realizing method and device
CN111443801B (zh) 人机交互方法、装置、设备及存储介质
CN111897619A (zh) 浏览器页面的显示方法、装置、电子设备及存储介质
CN109471626A (zh) 页面逻辑结构、页面生成方法、页面数据处理方法及装置
EP3799036A1 (en) Speech control method, speech control device, electronic device, and readable storage medium
EP3796308A1 (en) Speech recognition control method and apparatus, electronic device and readable storage medium
US11520473B2 (en) Switch control for animations
CN112346612A (zh) 页面显示方法和装置
CN105359104A (zh) 状态信息的同步点
CN111339462A (zh) 一种组件渲染方法、装置、服务器、终端和介质
CN111638787B (zh) 用于展示信息的方法和装置
CN111309153B (zh) 人机交互的控制方法和装置、电子设备和存储介质
Linghao et al. On methods of designing smartphone interface
US20240095141A1 (en) Displaying information flow
JP7256857B2 (ja) 対話処理方法、装置、電子機器及び記憶媒体
CN112035210A (zh) 用于输出颜色信息的方法、装置、设备和介质
WO2022183331A1 (zh) 界面显示方法及装置、计算机可读存储介质及电子设备
CN110704595B (zh) 对话的处理方法、装置、电子设备及可读存储介质
CN112269517B (zh) 交互界面的生成方法和装置
WO2023000867A1 (zh) 页面配置方法和装置
JP2013016099A (ja) 表示処理プログラム、表示処理方法、および情報処理装置
EP3941077A1 (en) Method and apparatus for controlling video playing, and electronic device and storage medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal