WO2021208432A1 - 交互方法、装置、交互系统、电子设备及存储介质 - Google Patents
交互方法、装置、交互系统、电子设备及存储介质 Download PDFInfo
- Publication number
- WO2021208432A1 WO2021208432A1 PCT/CN2020/130092 CN2020130092W WO2021208432A1 WO 2021208432 A1 WO2021208432 A1 WO 2021208432A1 CN 2020130092 W CN2020130092 W CN 2020130092W WO 2021208432 A1 WO2021208432 A1 WO 2021208432A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- action
- interactive object
- trigger operation
- display device
- display
- Prior art date
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 98
- 238000000034 method Methods 0.000 title claims abstract description 89
- 230000009471 action Effects 0.000 claims abstract description 279
- 230000004044 response Effects 0.000 claims abstract description 142
- 230000002452 interceptive effect Effects 0.000 claims description 285
- 230000006870 function Effects 0.000 claims description 65
- 238000013507 mapping Methods 0.000 claims description 49
- 230000000704 physical effect Effects 0.000 claims description 38
- 238000004590 computer program Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 description 31
- 238000010586 diagram Methods 0.000 description 13
- 230000001960 triggered effect Effects 0.000 description 12
- 238000012545 processing Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 8
- 238000009877 rendering Methods 0.000 description 5
- 238000012546 transfer Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000008921 facial expression Effects 0.000 description 3
- 108091026890 Coding region Proteins 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
Claims (20)
- 一种交互方法,所述方法包括:接收对显示设备的第一触发操作;获取用于响应所述第一触发操作的交互对象的动作标识;基于所述动作标识,控制所述显示设备展示的交互对象进行响应,所述响应中包括与所述交互对象的动作标识对应的动作。
- 根据权利要求1所述的方法,其中,所述获取用于响应所述第一触发操作的交互对象的动作标识,包括:基于对所述显示设备的触发操作与所述交互对象的动作标识之间的预设映射关系,获取与所述第一触发操作对应的所述动作标识。
- 根据权利要求1所述的方法,其中,所述获取用于响应所述第一触发操作的交互对象的动作标识,包括:获取用于响应所述第一触发操作的响应数据;基于对所述显示设备的触发操作的响应数据与所述交互对象的动作标识之间的预设映射关系,获取用于响应所述第一触发操作的响应数据对应的所述动作标识。
- 根据权利要求3所述的方法,其中,所述响应数据包括文本数据,所述预设映射关系包括所述文本数据中的关键文本数据与动作标识之间的预设映射关系。
- 根据权利要求1至4任一项所述的方法,其中,所述动作标识包括所述交互对象的肢体动作标识,和/或,所述交互对象在做出动作时的展示位置标识。
- 根据权利要求1至5任一项所述的方法,其中,所述接收对显示设备的第一触发操作,包括:接收对所述显示设备的目标应用程序的第一触发操作;或者,接收对所述显示设备的目标应用程序的目标功能选项的第一触发操作,所述目标功能选项位于所述目标应用程序的显示界面中的预设展示区域。
- 根据权利要求5所述的方法,其中,在所述动作标识包括所述交互对象的肢体动作标识的情况下,所述动作标识对应的动作包括所述交互对象指向所述显示设备的目标展示区域的肢体动作;在所述动作标识包括所述交互对象在做出动作时的展示位置标识的情况下,所述动作标识对应的动作包括所述交互对象在目标展示位置上做出的动作;在所述动作标识包括所述肢体动作标识和所述展示位置标识的情况下,所述动作标识对应的动作包括所述交互对象在目标展示位置上做出指向所述目标展示区域的肢体 动作。
- 根据权利要求1至7任一项所述的方法,其中,基于所述动作标识,控制所述显示设备展示的交互对象进行响应,包括:获取与所述动作标识对应的驱动数据;利用所述驱动数据,渲染所述交互对象的显示画面,所述显示画面中包括以下画面内容中的任一种:所述交互对象做出与肢体动作标识对应的肢体动作的画面内容;所述交互对象在展示位置标识对应的目标展示位置上做出与所述肢体动作标识对应的肢体动作的画面内容;控制所述显示设备显示所述交互对象的显示画面。
- 根据权利要求8所述的方法,其中,所述控制所述显示设备显示所述交互对象的显示画面,包括:控制所述显示设备在目标应用程序的显示界面的背景层上显示所述交互对象的显示画面,所述显示界面位于所述背景层之上。
- 根据权利要求1至9任一项所述的方法,所述方法还包括:获取所述第一触发操作对应的响应数据;控制所述显示设备播放所述响应数据中的语音数据,和/或,在所述显示设备的界面上展示所述响应数据的提示框。
- 一种交互系统,包括:显示设备和服务器;其中,所述显示设备,用于获取对显示设备的第一触发操作并将所述第一触发操作发送给所述服务器,并且基于所述服务器的指示控制所述显示设备展示的交互对象进行响应;所述服务器,用于接收所述第一触发操作;获取用于响应所述第一触发操作的交互对象的动作标识;基于所述动作标识,指示所述显示设备控制所述交互对象进行响应,所述响应中包括与所述交互对象的动作标识对应的动作。
- 一种交互装置,所述装置包括:接收模块,用于接收对显示设备的第一触发操作;获取模块,用于获取用于响应所述第一触发操作的交互对象的动作标识;控制模块,用于基于所述动作标识,控制所述显示设备展示的交互对象进行响应,所述响应中包括与所述交互对象的动作标识对应的动作。
- 根据权利要求12所述的装置,其中,所述获取模块在用于获取用于响应所述第一触发操作的交互对象的动作标识时,包括:基于对所述显示设备的触发操作与所述交互对象的动作标识之间的预设映射关系, 获取与所述第一触发操作对应的所述动作标识。
- 根据权利要求12所述的装置,其中,所述获取模块在用于获取用于响应所述第一触发操作的交互对象的动作标识时,包括:获取用于响应所述第一触发操作的响应数据;基于对所述显示设备的触发操作的响应数据与所述交互对象的动作标识之间的预设映射关系,获取用于响应所述第一触发操作的响应数据对应的所述动作标识。
- 根据权利要求14所述的装置,其中,所述响应数据包括文本数据,所述预设映射关系包括所述文本数据中的关键文本数据与动作标识之间的预设映射关系。
- 根据权利要求12至15任一项所述的装置,其中,所述动作标识包括所述交互对象的肢体动作标识,和/或,所述交互对象在做出动作时的展示位置标识。
- 根据权利要求12至16任一项所述的装置,其中,所述接收模块在用于接收对显示设备的第一触发操作时,包括:接收对所述显示设备的目标应用程序的第一触发操作;或者,接收对所述显示设备的目标应用程序的目标功能选项的第一触发操作,所述目标功能选项位于所述目标应用程序的显示界面中的预设展示区域。
- 根据权利要求16所述的装置,其中,在所述动作标识包括所述交互对象的肢体动作标识的情况下,所述动作标识对应的动作包括所述交互对象指向所述显示设备的目标展示区域的肢体动作;在所述动作标识包括所述交互对象在做出动作时的展示位置标识的情况下,所述动作标识对应的动作包括所述交互对象在目标展示位置上做出的动作;在所述动作标识包括所述肢体动作标识和所述展示位置标识的情况下,所述动作标识对应的动作包括所述交互对象在目标展示位置上做出指向所述目标展示区域的肢体动作。
- 一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,其中,所述机器可读指令被所述处理器执行时使所述处理器执行如权利要求1至10任一项所述的交互方法。
- 一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,其中,该计算机程序被处理器执行时使所述处理器执行如权利要求1至10任一项所述的交互方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021556975A JP2022532696A (ja) | 2020-04-13 | 2020-11-19 | インタラクション方法、装置、システム、電子デバイス及び記憶媒体 |
SG11202109187WA SG11202109187WA (en) | 2020-04-13 | 2020-11-19 | Interaction methods and apparatuses, interaction systems, electronic devices and storage media |
KR1020217026797A KR20210129067A (ko) | 2020-04-13 | 2020-11-19 | 상호작용 방법, 장치, 상호작용 장치, 전자 장치 및 저장 매체 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010285478.9A CN111488090A (zh) | 2020-04-13 | 2020-04-13 | 交互方法、装置、交互系统、电子设备及存储介质 |
CN202010285478.9 | 2020-04-13 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021208432A1 true WO2021208432A1 (zh) | 2021-10-21 |
Family
ID=71791805
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/CN2020/130092 WO2021208432A1 (zh) | 2020-04-13 | 2020-11-19 | 交互方法、装置、交互系统、电子设备及存储介质 |
Country Status (6)
Country | Link |
---|---|
JP (1) | JP2022532696A (zh) |
KR (1) | KR20210129067A (zh) |
CN (1) | CN111488090A (zh) |
SG (1) | SG11202109187WA (zh) |
TW (1) | TW202138971A (zh) |
WO (1) | WO2021208432A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111488090A (zh) * | 2020-04-13 | 2020-08-04 | 北京市商汤科技开发有限公司 | 交互方法、装置、交互系统、电子设备及存储介质 |
CN113138765A (zh) * | 2021-05-19 | 2021-07-20 | 北京市商汤科技开发有限公司 | 交互方法、装置、设备以及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103116463A (zh) * | 2013-01-31 | 2013-05-22 | 广东欧珀移动通信有限公司 | 个人数字助理应用的界面控制方法及移动终端 |
CN107085495A (zh) * | 2017-05-23 | 2017-08-22 | 厦门幻世网络科技有限公司 | 一种信息展示方法、电子设备及存储介质 |
CN107294838A (zh) * | 2017-05-24 | 2017-10-24 | 腾讯科技(深圳)有限公司 | 社交应用的动画生成方法、装置、系统以及终端 |
CN108491147A (zh) * | 2018-04-16 | 2018-09-04 | 青岛海信移动通信技术股份有限公司 | 一种基于虚拟人物的人机交互方法及移动终端 |
CN111488090A (zh) * | 2020-04-13 | 2020-08-04 | 北京市商汤科技开发有限公司 | 交互方法、装置、交互系统、电子设备及存储介质 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006235671A (ja) * | 2005-02-22 | 2006-09-07 | Norinaga Tsukiji | 会話装置及びコンピュータ読み取り可能な記録媒体。 |
JP2009163631A (ja) * | 2008-01-09 | 2009-07-23 | Nippon Telegr & Teleph Corp <Ntt> | バーチャルエージェント制御装置及びそのプログラム |
CN105718133A (zh) * | 2014-12-05 | 2016-06-29 | 珠海金山办公软件有限公司 | 一种引导用户操作的方法及装置 |
JP2017143992A (ja) * | 2016-02-16 | 2017-08-24 | 株式会社トプコン | 眼科検査システム及び眼科検査装置 |
US10685656B2 (en) * | 2016-08-31 | 2020-06-16 | Bose Corporation | Accessing multiple virtual personal assistants (VPA) from a single device |
CN107894833B (zh) * | 2017-10-26 | 2021-06-15 | 北京光年无限科技有限公司 | 基于虚拟人的多模态交互处理方法及系统 |
CN110874137B (zh) * | 2018-08-31 | 2023-06-13 | 阿里巴巴集团控股有限公司 | 一种交互方法以及装置 |
CN110125932B (zh) * | 2019-05-06 | 2024-03-19 | 达闼科技(北京)有限公司 | 一种机器人的对话交互方法、机器人及可读存储介质 |
CN110989900B (zh) * | 2019-11-28 | 2021-11-05 | 北京市商汤科技开发有限公司 | 交互对象的驱动方法、装置、设备以及存储介质 |
CN110968194A (zh) * | 2019-11-28 | 2020-04-07 | 北京市商汤科技开发有限公司 | 交互对象的驱动方法、装置、设备以及存储介质 |
CN110868635B (zh) * | 2019-12-04 | 2021-01-12 | 深圳追一科技有限公司 | 视频处理方法、装置、电子设备及存储介质 |
-
2020
- 2020-04-13 CN CN202010285478.9A patent/CN111488090A/zh active Pending
- 2020-11-19 SG SG11202109187WA patent/SG11202109187WA/en unknown
- 2020-11-19 JP JP2021556975A patent/JP2022532696A/ja active Pending
- 2020-11-19 WO PCT/CN2020/130092 patent/WO2021208432A1/zh active Application Filing
- 2020-11-19 KR KR1020217026797A patent/KR20210129067A/ko not_active Application Discontinuation
- 2020-12-21 TW TW109145339A patent/TW202138971A/zh unknown
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103116463A (zh) * | 2013-01-31 | 2013-05-22 | 广东欧珀移动通信有限公司 | 个人数字助理应用的界面控制方法及移动终端 |
CN107085495A (zh) * | 2017-05-23 | 2017-08-22 | 厦门幻世网络科技有限公司 | 一种信息展示方法、电子设备及存储介质 |
CN107294838A (zh) * | 2017-05-24 | 2017-10-24 | 腾讯科技(深圳)有限公司 | 社交应用的动画生成方法、装置、系统以及终端 |
CN108491147A (zh) * | 2018-04-16 | 2018-09-04 | 青岛海信移动通信技术股份有限公司 | 一种基于虚拟人物的人机交互方法及移动终端 |
CN111488090A (zh) * | 2020-04-13 | 2020-08-04 | 北京市商汤科技开发有限公司 | 交互方法、装置、交互系统、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
TW202138971A (zh) | 2021-10-16 |
SG11202109187WA (en) | 2021-11-29 |
CN111488090A (zh) | 2020-08-04 |
KR20210129067A (ko) | 2021-10-27 |
JP2022532696A (ja) | 2022-07-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7411133B2 (ja) | 仮想現実ディスプレイシステム、拡張現実ディスプレイシステム、および複合現実ディスプレイシステムのためのキーボード | |
US11043031B2 (en) | Content display property management | |
JP6013583B2 (ja) | 有効インターフェース要素の強調のための方式 | |
US11615592B2 (en) | Side-by-side character animation from realtime 3D body motion capture | |
KR20210046591A (ko) | 증강 현실 데이터 제시 방법, 장치, 전자 기기 및 저장 매체 | |
CN108273265A (zh) | 虚拟对象的显示方法及装置 | |
CN111158469A (zh) | 视角切换方法、装置、终端设备及存储介质 | |
US10955929B2 (en) | Artificial reality system having a digit-mapped self-haptic input method | |
KR20230022269A (ko) | 증강 현실 데이터 제시 방법, 장치, 전자 기기 및 저장 매체 | |
WO2021208432A1 (zh) | 交互方法、装置、交互系统、电子设备及存储介质 | |
CN111771180A (zh) | 增强现实环境中对象的混合放置 | |
US20210357075A1 (en) | Trackpad on back portion of a device | |
CN111971714A (zh) | 增强现实环境中的加载指示器 | |
WO2019166005A1 (zh) | 智能终端及其感控方法、具有存储功能的装置 | |
US11367416B1 (en) | Presenting computer-generated content associated with reading content based on user interactions | |
CN103752010B (zh) | 用于控制设备的增强现实覆盖 | |
WO2020201998A1 (en) | Transitioning between an augmented reality scene and a virtual reality representation | |
US20230142566A1 (en) | System and method for precise positioning with touchscreen gestures | |
CN110609615A (zh) | 用于在增强现实中集成触觉覆盖的系统和方法 | |
CN112717409B (zh) | 虚拟车辆控制方法、装置、计算机设备及存储介质 | |
US9041669B1 (en) | Input/output device | |
US11875465B2 (en) | Virtual reality data-processing device, system and method | |
US11948237B2 (en) | System and method for mimicking user handwriting or other user input using an avatar | |
TWI799195B (zh) | 利用虛擬物件實現第三人稱視角的方法與系統 | |
US11934627B1 (en) | 3D user interface with sliding cylindrical volumes |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
ENP | Entry into the national phase |
Ref document number: 2021556975 Country of ref document: JP Kind code of ref document: A |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20930989 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 20930989 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 521430712 Country of ref document: SA |