KR20210129714A - 인터렉티브 방법, 장치, 디바이스 및 기록 매체 - Google Patents
인터렉티브 방법, 장치, 디바이스 및 기록 매체 Download PDFInfo
- Publication number
- KR20210129714A KR20210129714A KR1020217031161A KR20217031161A KR20210129714A KR 20210129714 A KR20210129714 A KR 20210129714A KR 1020217031161 A KR1020217031161 A KR 1020217031161A KR 20217031161 A KR20217031161 A KR 20217031161A KR 20210129714 A KR20210129714 A KR 20210129714A
- Authority
- KR
- South Korea
- Prior art keywords
- user
- interactive
- display device
- response
- state
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G06K9/00315—
-
- G06K9/00342—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/176—Dynamic expression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- User Interface Of Digital Computer (AREA)
- Transition And Organic Metals Composition Catalysts For Addition Polymerization (AREA)
- Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
- Holo Graphy (AREA)
- Controls And Circuits For Display Device (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명은 인터렉티브 방법, 장치, 디바이스 및 기록 매체에 관한 것이다. 상기 방법은 카메라에 의해 수집된, 투명 표시 스크린을 이용하여 인터렉티브 오브젝트를 표시하기 위한 표시 디바이스의 주변의 이미지를 얻는 단계; 상기 이미지 중 얼굴 및 인체 중의 적어도 하나에 대해 검출을 실행하여 검출 결과를 얻은 단계; 및 상기 검출 결과에 기반하여 상기 표시 디바이스의 상기 투명 표시 스크린 상에 표시된 상기 인터렉티브 오브젝트를 구동하여 응답을 실행하도록 하는 단계를 포함한다.
Description
본 발명은 컴퓨터 비전의 기술 분야에 관한 것으로, 구체적으로 인터렉티브 방법, 장치, 디바이스 및 기록 매체에 관한 것이다.
대부분의 인간과 컴퓨터 사이의 인터렉티브 방식은 사용자가 버튼 클릭, 터치, 음성을 통해 입력을 실행하고, 디바이스가 표시 스크린 상에 표시된 이미지, 텍스트 또는 가상 인물을 이용하여 응답을 실행하는 방식이다. 현재, 대부분의 가상 인물은 음성 어시스턴트의 기초로 개량된 것인바, 디바이스에 입력된 음성만에 대해 출력을 실행하기에, 사용자와 가상 인물 사이의 인터렉티브는 아직 표면 상에 정체되어 있다.
본 발명의 실시예는 인터렉티브 해결책을 제공한다.
제1 양태에 따르면, 인터렉티브 방법을 제공하는 바, 상기 방법은 카메라에 의해 수집된, 투명 표시 스크린을 이용하여 인터렉티브 오브젝트를 표시하기 위한 표시 디바이스의 주변의 이미지를 얻는 단계; 상기 이미지 내의 얼굴 및 인체 중의 적어도 하나에 대해 검출을 실행하여 검출 결과를 얻는 단계; 및 상기 검출 결과에 기반하여 상기 표시 디바이스의 상기 투명 표시 스크린 상에 표시된 상기 인터렉티브 오브젝트를 구동하여 응답을 실행하도록 하는 단계를 포함한다.
본 발명의 실시예에 있어서, 표시 디바이스의 주변의 이미지에 대해 검출을 실행하고, 검출 결과에 기반하여 표시 디바이스의 상기 투명 표시 스크린 상에 표시된 인터렉티브 오브젝트를 구동하여 응답을 실행하도록 함으로써, 인터렉티브 오브젝트의 응답이 실제의 인터렉티브 요건에 더욱 부합되도록 하고, 사용자와 상기 인터렉티브 오브젝트 사이의 인터렉티브가 더욱 리얼하고 선명해지도록 함으로써, 사용자 체험을 개선할 수 있다.
일 예에 있어서, 상기 표시 디바이스는 상기 투명 표시 스크린을 이용하여 상기 인터렉티브 오브젝트의 도영을 표시하거나 또는 바닥 판에 상기 인터렉티브 오브젝트의 도영을 표시한다.
투명 표시 스크린 상에 입체 화면을 표시하고, 투명 표시 스크린 또는 바닥 판 상에 도영을 형성하여 입체 효과를 실현함으로써, 표시된 인터렉티브 오브젝트가 더욱 입체적이고 선명해지도록 하고, 사용자의 인터렉티브 익스피리언스를 향상시킬 수 있다.
일 예에 있어서, 상기 인터렉티브 오브젝트는 입체 효과를 가지는 가상 인물을 포함한다.
입체 효과를 가지는 가상 인물을 이용하여 사용자와 인터렉티브를 실행함으로써, 인터렉티브 과정이 더욱 자연스러워지도록 하고, 사용자의 인터렉티브 익스피리언스를 향상시킬 수 있다.
일 예에 있어서, 상기 검출 결과는 상기 표시 디바이스의 현재 서비스 상태를 적어도 포함하고, 상기 현재 서비스 상태는 사용자를 기다리는 상태, 사용자가 떠난 상태, 사용자를 발견한 상태, 서비스 활성화 상태 및 서비스 중인 상태 중 임의의 하나를 포함한다.
디바이스의 현재 서비스 상태와 결합하여 상기 인터렉티브 오브젝트를 구동하여 응답을 실행하도록 함으로써, 상기 인터렉티브 오브젝트의 응답이 사용자의 인터렉티브 요건에 더욱 부합되도록 할 수 있다.
일 예에 있어서, 상기 이미지 내의 얼굴 및 인체 중의 적어도 하나에 대해 검출을 실행하여 검출 결과를 얻는 단계는, 현재 시점에서 상기 얼굴 및 상기 인체가 검출되지 않은 동시에, 현재 시점 전의 소정의 시간대 내에서 상기 얼굴 및 상기 인체가 검출되지 않은 것에 응답하여, 상기 현재 서비스 상태를 상기 사용자를 기다리는 상태로 확정하는 단계, 또는, 현재 시점에서 상기 얼굴 및 상기 인체가 검출되지 않은 동시에, 현재 시점 전의 소정의 시간대 내에서 상기 얼굴 및 상기 인체가 검출된 것에 응답하여, 상기 현재 서비스 상태가 상기 사용자가 떠난 상태로 확정하는 단계, 또는, 현재 시점에 상기 얼굴 및 상기 인체 중의 적어도 하나가 검출된 것에 응답하여, 상기 표시 디바이스의 현재 서비스 상태를 사용자를 발견한 상태로 확정하는 단계를 포함한다.
인터렉티브 오브젝트와 인터렉티브를 실행하는 사용자가 없을 경우, 표시 디바이스가 현재 사용자를 기다리는 상태 또는 사용자가 떠난 상태에 있는 것으로 확정하고, 상기 인터렉티브 오브젝트를 구동하여 기타 응답을 실행하도록 함으로써, 상기 인터렉티브 오브젝트의 전시 상태가 인터렉티브 요건에 더욱 부합되도록 할 수 있으며, 맞춤형이 더욱 정확해질 수 있다.
일 예에 있어서, 상기 검출 결과는 사용자 속성 정보 및/또는 사용자 과거 조작 정보를 더 포함하고, 상기 방법은 상기 표시 디바이스의 상기 현재 서비스 상태를 상기 사용자를 발견한 상태로 확정한 후, 상기 이미지를 이용하여 상기 사용자 속성 정보를 얻고, 및/또는, 상기 사용자의 얼굴 및 인체 중의 적어도 하나의 특징 정보에 매칭되는 상기 사용자 과거 조작 정보를 검색하는 단계를 더 포함한다.
사용자 과거 조작 정보를 얻고, 상기 사용자 과거 조작 정보와 결합하여 상기 인터렉티브 오브젝트를 구동함으로써, 상기 인터렉티브 오브젝트가 맞춤형적으로 상기 사용자에 대해 응답을 실행하도록 할 수 있다.
일 예에 있어서, 상기 방법은 적어도 두 명의 사용자가 검출된 것에 응답하여, 상기 적어도 두 명의 사용자의 특징 정보를 얻는 단계; 상기 적어도 두 명의 사용자의 특징 정보에 기반하여 상기 적어도 두 명의 사용자 중에서 목표 사용자를 확정하는 단계; 및 상기 표시 디바이스의 상기 투명 표시 스크린 상에 표시된 상기 인터렉티브 오브젝트를 구동하여 상기 목표 사용자에 대해 응답을 실행하도록 하는 단계를 더 포함한다.
적어도 두 명의 사용자의 특징 정보에 기반하여 상기 적어도 두 명의 사용자 중에서 목표 사용자를 확정하고, 상기 인터렉티브 오브젝트를 구동하여 상기 목표 오브젝트에 대해 응답을 실행하도록 함으로써, 복수의 사용자 장면에서 인터렉티브를 실행하려는 목표 사용자를 선택하고, 서로 다른 목표 사용자 사이의 변경 및 응답을 실현할 수 있으며, 사용자 체험을 개선할 수 있다.
일 예에 있어서, 상기 방법은 상기 표시 디바이스의 환경 정보를 얻는 단계를 더 포함하며, 상기 검출 결과에 기반하여 상기 표시 디바이스의 상기 투명 표시 스크린 상에 표시된 상기 인터렉티브 오브젝트를 구동하여 응답을 실행하도록 하는 단계는, 상기 검출 결과 및 상기 표시 디바이스의 환경 정보에 기반하여, 상기 표시 디바이스의 상기 투명 표시 스크린 상에 표시된 상기 인터렉티브 오브젝트를 구동하여 응답을 실행하도록 하는 단계를 포함한다.
일 예에 있어서, 상기 환경 정보는 상기 표시 디바이스의 지리 위치, 상기 표시 디바이스의 인터넷 프로토콜(IP) 주소 및 상기 표시 디바이스가 위치하는 영역의 날씨와 날짜 중 적어도 하나를 포함한다.
상기 표시 디바이스의 환경 정보를 얻고, 상기 환경 정보와 결합하여 상기 인터렉티브 오브젝트를 구동하여 응답을 실행하도록 함으로써, 상기 인터렉티브 오브젝트의 응답이 실제의 인터렉티브 요건에 더욱 부합되도록 할 수 있고, 사용자와 인터렉티브 오브젝트 사이의 인터렉티브가 더욱 리얼하고 선명해지도록 할 수 있으며, 사용자 체험을 개선할 수 있다.
일 예에 있어서, 상기 검출 결과 및 상기 환경 정보에 기반하여, 상기 표시 디바이스의 상기 투명 표시 스크린 상에 표시된 상기 인터렉티브 오브젝트를 구동하여 응답을 실행하도록 하는 단계는, 상기 검출 결과 및 상기 환경 정보에 매칭되는 미리 설정한 응답 라벨을 얻는 단계; 및 상기 표시 디바이스의 상기 투명 표시 스크린 상에 표시된 상기 인터렉티브 오브젝트를 구동하여 상기 응답 라벨에 대응하는 응답을 실행하도록 하는 단계를 포함한다.
일 예에 있어서, 상기 표시 디바이스의 상기 투명 표시 스크린 상에 표시된 상기 인터렉티브 오브젝트를 구동하여 상기 응답 라벨에 대응하는 응답을 실행하도록 하는 단계는, 상기 응답 라벨을 미리 트레이닝한 신경망에 입력하고, 상기 신경망이 상기 응답 라벨에 대응하는 구동 내용을 출력하는 단계 - 상기 구동 내용은 상기 인터렉티브 오브젝트를 구동하여 해당하는 동작, 표정, 언어 중 하나 또는 복수를 출력하도록 하기 위한 것임 -를 포함한다.
서로 다른 검출 결과 및 서로 다른 환경 정보의 조합에 대해 해당하는 응답 라벨을 설정하고, 상기 응답 라벨을 이용하여 인터렉티브 오브젝트를 구동하여 해당하는 동작, 표정, 언어 중 하나 또는 복수를 출력하도록 함으로써, 인터렉티브 오브젝트를 구동하여 디바이스의 서로 다른 상태 및 서로 다른 장면에 기반하여 서로 다른 응답을 실행하도록 할 수 있으며, 상기 인터렉티브 오브젝트의 응답이 더욱 다양화되도록 했다.
일 예에 있어서, 상기 방법은 상기 현재 서비스 상태가 상기 사용자를 발견한 상태로 확정된 것에 응답하여, 상기 인터렉티브 오브젝트를 구동하여 응답을 실행한 후, 상기 표시 디바이스의 주변의 이미지에서 검출된 사용자를 추적하는 단계; 및 상기 사용자를 추적하는 과정에서, 상기 사용자가 출력한 제1 트리거 정보가 검출된 것에 응답하여, 상기 표시 디바이스가 상기 서비스 활성화 상태로 되는 것을 확정하고, 상기 인터렉티브 오브젝트를 구동하여 상기 제1 트리거 정보에 매칭되는 서비스를 전시하도록 하는 단계를 더 포함한다.
본 발명의 실시예에 기반하여 제공되는 인터렉티브 방법에 따르면, 사용자가 버튼 클릭, 터치 또는 음성 입력을 실행할 필요 없이, 표시 디바이스의 주변에 서 있는 것만으로, 디바이스에 표시되어 있는 인터렉티브 오브젝트로 하여금 맞춤형적으로 환영하는 동작을 실행하도록 하고, 사용자의 요건 또는 흥취에 따라 서비스 항목을 전시하도록 하여, 사용자의 이용 익스피리언스를 개선할 수 있다.
일 예에 있어서, 상기 방법은 상기 표시 디바이스가 상기 서비스 활성화 상태에 있을 때, 상기 사용자가 출력한 제2 트리거 정보가 검출된 것에 응답하여, 상기 표시 디바이스가 서비스 중인 상태로 되는 것을 확정하고, 상기 인터렉티브 오브젝트를 구동하여 상기 제2 트리거 정보에 매칭되는 서비스를 전시하도록 하는 단계를 더 포함한다.
상기 표시 디바이스가 사용자를 발견한 상태가 된 후, 두 가지 입도의 식별 방식을 제공한다. 제1 입도(굵은 입도)의 식별 방식은 사용자가 출력한 제1 트리거 정보가 검출되었을 경우, 디바이스가 서비스 활성화 상태로 되도록 하고, 상기 인터렉티브 오브젝트를 구동하여 상기 제1 트리거 정보에 매칭되는 서비스를 전시하도록 하며, 제2 입도(가는 립도)의 식별 방식은 사용자가 출력한 제2 트리거 정보가 검출되었을 경우, 디바이스가 서비스 중인 상태로 되도록 하고, 상기 인터렉티브 오브젝트를 구동하여 해당하는 서비스를 제공하도록 한다. 상기 두 가지 입도의 식별 방식을 통해 사용자와 인터렉티브 오브젝트의 인터렉티브가 더욱 원활하고 더욱 자연스러워지도록 할 수 있다.
일 예에 있어서, 상기 방법은 상기 현재 서비스 상태를 사용자를 발견한 상태로 확정된 것에 응답하여, 상기 사용자의 상기 이미지 내의 위치에 기반하여, 상기 사용자의 상기 투명 표시 스크린에 전시되어 있는 상기 인터렉티브 오브젝트에 대한 위치 정보를 얻는 단계; 및 상기 인터렉티브 오브젝트가 상기 사용자를 향하도록, 상기 위치 정보에 기반하여 상기 인터렉티브 오브젝트의 방향을 조정하는 단계를 더 포함한다.
사용자의 위치에 기반하여 인터렉티브 오브젝트의 방향을 자동적으로 조정하여, 상기 인터렉티브 오브젝트가 항상 사용자를 향하게 유지함으로써, 인터렉티브가 더욱 다정해지도록 하고, 사용자의 인터렉티브 체험을 개선할 수 있다.
제2 양태에 따르면, 인터렉티브 장치를 제공하는 바, 상기 장치는 카메라에 의해 수집된, 투명 표시 스크린을 이용하여 인터렉티브 오브젝트를 표시하기 위한 표시 디바이스의 주변의 이미지를 얻기 위한 이미지 취득 유닛; 상기 이미지 내의 얼굴 및 인체 중의 적어도 하나에 대해 검출을 실행하여 검출 결과를 얻기 위한 검출 유닛; 및 상기 검출 결과에 기반하여 상기 표시 디바이스의 상기 투명 표시 스크린 상에 표시된 상기 인터렉티브 오브젝트를 구동하여 응답을 실행하도록 하기 위한 구동 유닛을 구비한다.
일 예에 있어서, 상기 표시 디바이스는 또한 상기 투명 표시 스크린을 이용하여 상기 인터렉티브 오브젝트의 도영을 표시하거나 또는 상기 표시 디바이스는 또한 바닥 판에 상기 인터렉티브 오브젝트의 도영을 표시한다.
일 예에 있어서, 상기 인터렉티브 오브젝트는 입체 효과를 가지는 가상 인물을 포함한다.
일 예에 있어서, 상기 검출 결과는 상기 표시 디바이스의 현재 서비스 상태를 적어도 포함하고, 상기 현재 서비스 상태는 사용자를 기다리는 상태, 사용자가 떠난 상태, 사용자를 발견한 상태, 서비스 활성화 상태 및 서비스 중인 상태 중 임의의 하나를 포함한다.
일 예에 있어서, 상기 검출 유닛은 구체적으로 현재 시점에서 얼굴 및 인체가 검출되지 않은 동시에, 현재 시점 전의 소정의 시간대 내에서 얼굴 및 인체가 검출되지 않은 것에 응답하여, 상기 현재 서비스 상태가 사용자를 기다리는 상태로 확정한다.
일 예에 있어서, 상기 검출 유닛은 현재 시점에서 얼굴 및 인체가 검출되지 않은 동시에, 현재 시점 전의 소정의 시간대 내에서 얼굴 및 인체가 검출된 것에 응답하여, 상기 현재 서비스 상태를 사용자가 떠난 상태로 확정한다.
일 예에 있어서, 상기 검출 유닛은 구체적으로 현재 시점에 상기 얼굴 및 상기 인체 중의 적어도 하나가 검출된 것에 응답하여, 상기 표시 디바이스의 현재 서비스 상태를 사용자를 발견한 상태로 확정한다.
일 예에 있어서, 상기 검출 결과는 사용자 속성 정보 및/또는 사용자 과거 조작 정보를 더 포함하고, 상기 장치는 정보 취득 유닛을 더 구비하고, 상기 정보 취득 유닛은 상기 이미지를 이용하여 사용자 속성 정보를 얻고, 및/또는, 상기 사용자의 얼굴 및 인체 중의 적어도 하나의 특징 정보에 매칭되는 사용자 과거 조작 정보를 검색한다.
일 예에 있어서, 상기 장치는 목표 확정 유닛을 더 구비하며, 상기 목표 확정 유닛은 상기 검출 유닛에 의해 적어도 두 명의 사용자가 검출된 것에 응답하여, 상기 적어도 두 명의 사용자의 특징 정보를 얻고, 상기 적어도 두 명의 사용자의 특징 정보에 기반하여 상기 적어도 두 명의 사용자 중에서 목표 사용자를 확정하며, 상기 구동 유닛은 상기 표시 디바이스의 상기 투명 표시 스크린 상에 표시된 상기 인터렉티브 오브젝트를 구동하여 상기 목표 사용자에 대해 응답을 실행하도록 한다.
일 예에 있어서, 상기 장치는 상기 표시 디바이스의 환경 정보를 얻기 위한 환경 정보 취득 유닛을 더 구비하며, 상기 구동 유닛은 상기 검출 결과 및 상기 표시 디바이스의 환경 정보에 기반하여 상기 표시 디바이스의 상기 투명 표시 스크린 상에 표시된 상기 인터렉티브 오브젝트를 구동하여 응답을 실행하도록 한다.
일 예에 있어서, 상기 환경 정보는 상기 표시 디바이스의 지리 위치, 상기 표시 디바이스의 IP 주소 및 상기 표시 디바이스가 위치하는 영역의 날씨와 날짜 중 적어도 하나 또는 복수를 포함한다.
일 예에 있어서, 상기 구동 유닛은 또한 상기 검출 결과 및 상기 환경 정보에 매칭되는 미리 설정한 응답 라벨을 얻고, 상기 표시 디바이스의 상기 투명 표시 스크린 상에 표시된 상기 인터렉티브 오브젝트를 구동하여 상기 응답 라벨에 대응하는 응답을 실행한다.
일 예에 있어서, 상기 구동 유닛은 상기 응답 라벨에 기반하여 상기 표시 디바이스의 상기 투명 표시 스크린 상에 표시된 상기 인터렉티브 오브젝트를 구동하여 해당하는 응답을 실행할 때, 구체적으로 상기 응답 라벨을 미리 트레이닝한 신경망에 입력하고, 상기 신경망을 통해 상기 응답 라벨에 대응하는, 상기 인터렉티브 오브젝트를 구동하여 해당하는 동작, 표정, 언어 중 하나 또는 복수를 출력하도록 하기 위한 구동 내용이 출력된다.
일 예에 있어서, 상기 장치는 서비스 활성화 유닛을 더 구비하며, 상기 서비스 활성화 유닛은 상기 검출 유닛에 의해 상기 현재 서비스 상태가 사용자를 발견한 상태로 검출된 것에 응답하여, 상기 구동 유닛이 상기 인터렉티브 오브젝트를 구동하여 응답을 실행하도록 한 후, 상기 표시 디바이스의 주변의 이미지에서 검출된 사용자를 추적하고, 상기 사용자를 추적하는 과정에서, 상기 사용자가 출력한 제1 트리거 정보가 검출된 것에 응답하여, 상기 표시 디바이스가 서비스 활성화 상태로 되는 것을 확정하고, 상기 구동 유닛이 상기 인터렉티브 오브젝트를 구동하여 제공하는 서비스를 전시하도록 한다.
일 예에 있어서, 상기 장치 서비스 유닛을 더 구비하며, 상기 서비스 유닛은 상기 표시 디바이스가 상기 서비스 활성화 상태에 있을 때, 상기 사용자가 출력한 제2 트리거 정보가 검출된 것에 응답하여, 상기 표시 디바이스가 서비스 중인 상태로 되는 것을 확정하고, 상기 구동 유닛은 상기 인터렉티브 오브젝트를 구동하여 상기 제2 트리거 정보에 매칭되는 서비스를 전시하도록 한다.
일 예에 있어서, 상기 장치는 방향 조정 유닛을 더 구비하며, 상기 방향 조정 유닛은 상기 검출 유닛에 의해 상기 현재 서비스 상태가 사용자를 발견한 상태로 검출된 것에 응답하여, 상기 사용자의 상기 이미지 내의 위치에 기반하여, 상기 사용자의 상기 투명 표시 스크린에 전시되어 있는 상기 인터렉티브 오브젝트에 대한 위치 정보를 얻고, 상기 인터렉티브 오브젝트가 상기 사용자를 향하도록, 상기 위치 정보에 기반하여 상기 인터렉티브 오브젝트의 방향을 조정한다.
제3 양태에 따르면, 인터렉티브 디바이스를 제공하는 바, 상기 디바이스는 프로세서; 및 프로세서에 의해 실행될 수 있는 명령을 저장하기 위한 메모리를 구비하고, 상기 명령이 실행될 때, 상기 프로세서가 본 발명에 기반하여 제공되는 임의의 실시 형태에 기재된 방법을 실현하도록 한다.
제4 양태에 따르면, 컴퓨터 프로그램이 저장되어 있는 컴퓨터 판독 가능 기록 매체를 제공하는 바, 상기 컴퓨터 프로그램이 프로세서에 의해 실행될 때, 상기 프로세서가 본 발명에 기반하여 제공되는 임의의 실시 형태에 기재된 방법을 실현하도록 한다.
도 1은 본 발명의 적어도 하나의 실시예에 따른 인터렉티브 방법을 나타내는 플로우 챠트이다.
도 2는 본 발명의 적어도 하나의 실시예에 따른 인터렉티브 오브젝트를 표시하는 모식도이다.
도 3은 본 발명의 적어도 하나의 실시예에 따른 인터렉티브 장치의 구성을 나타내는 모식도이다.
도 4는 본 발명의 적어도 하나의 실시예에 따른 인터렉티브 디바이스의 구성을 나타내는 모식도이다.
도 2는 본 발명의 적어도 하나의 실시예에 따른 인터렉티브 오브젝트를 표시하는 모식도이다.
도 3은 본 발명의 적어도 하나의 실시예에 따른 인터렉티브 장치의 구성을 나타내는 모식도이다.
도 4는 본 발명의 적어도 하나의 실시예에 따른 인터렉티브 디바이스의 구성을 나타내는 모식도이다.
여기서 예시적인 실시예를 상세하게 설명하며, 그 예를 도면에 나타낸다. 이하의 서술이 도면을 언급할 때에, 별도의 설명이 없는 한, 기타 도면에서의 동일한 숫자는 동일한 요소 또는 유사한 요소를 나타낸다. 이하의 예시적인 실시예로 서술되는 실시 형태는 본 발명과 일치한 모든 실시 형태를 대표하지 않는다. 반대로, 이들은 첨부된 특허 청구의 범위에 기재된, 본 발명의 몇몇의 양태와 일치한 장치 및 방법의 예에 지나치지 않는다.
본 명세서 중의 "및/또는"이라는 용어는 단지 하나의 관련 대상의 관련 관계를 나타내는바, 예를 들면 A 및/또는 B는 A가 단독적으로 존재하는 것, A와 B가 동시에 존재하는 것 및 B가 단독적으로 존재하는 것과 같은 세 종류의 관계가 존재할 수 있음을 의미한다. 또한 본 명세서 중의 "적어도 하나"라는 용어는 복수개 중의 임의의 하나 또는 복수개 중의 적어도 두 종류의 임의의 조합을 의미하는바, 예를 들면 A, B, C 중의 적어도 하나를 포함하는 것은 A, B 및 C로 구성된 세트 중에서 선택한 임의의 하나 또는 복수의 요소를 의미한다.
도 1은 본 발명의 적어도 하나의 실시예에 따른 인터렉티브 방법을 나타내는 플로우 챠트이며, 도 1에 나타낸 바와 같이, 상기 방법은 단계101∼단계103을 포함한다.
단계101에 있어서, 카메라에 의해 수집된, 투명 표시 스크린을 이용하여 인터렉티브 오브젝트를 표시하기 위한 표시 디바이스의 주변의 이미지를 얻는다.
상기 표시 디바이스의 주변은 상기 표시 디바이스의 소정의 범위 내의 임의의 방향을 포함하는바, 예를 들면 상기 표시 디바이스의 전방, 측방, 후방, 상방 중의 하나 또는 복수의 방향을 포함할 수 있다.
이미지를 수집하기 위한 카메라는 표시 디바이스 상에 배치될 수도 있고, 표시 디바이스로부터 독립된 외부 디바이스일 수도 있다. 또한 상기 카메라가 수집한 이미지는 표시 디바이스의 투명 표시 스크린 상에 표시될 수 있다. 상기 카메라의 수량은 복수일 수 있다.
선택적으로, 카메라가 수집한 이미지는 비디오 스트림 중의 하나의 프레임일 수도 있고, 실시간으로 취득된 이미지일 수도 있다.
단계102에 있어서, 상기 이미지 내의 얼굴 및 인체 중의 적어도 하나에 대해 검출을 실행하여 검출 결과를 얻는다.
표시 디바이스의 주변의 이미지에 대해 얼굴 및/또는 인체 검출을 실행함으로써, 예를 들면 상기 표시 디바이스의 주변에 사용자가 있는지 여부, 몇 명의 사용자가 있는지와 같은 검출 결과를 얻는다. 얼굴 및/또는 인체 인식 기술을 이용하여 상기 이미지로부터 사용자에 관한 관련 정보를 취득하거나 또는 사용자의 이미지에 기반하여 검색을 실행하여 사용자의 관련 정보를 얻는다. 또한 이미지 인식 기술을 이용하여 사용자의 동작, 자세, 제스처 등을 식별할 수 있다. 당업자는 상기 검출 결과는 예에 불과 할 뿐, 기타 검출 결과를 더 포함할 수 있음을 이해해야 한다.
단계103에 있어서, 상기 검출 결과에 기반하여 상기 표시 디바이스의 상기 투명 표시 스크린 상에 표시된 상기 인터렉티브 오브젝트를 구동하여 응답을 실행하도록 한다.
서로 다른 검출 결과에 응답하여, 상기 인터렉티브 오브젝트를 구동하여 서로 다른 응답을 실행할 수 있다. 예를 들면 표시 디바이스의 주변에 사용자가 없을 경우에는 상기 인터렉티브 오브젝트를 구동하여 환영의 액션, 표정, 음성 등을 출력할 수 있다.
본 발명의 실시예에 있어서, 표시 디바이스의 주변의 이미지에 대해 검출을 실행하고, 검출 결과에 기반하여 표시 디바이스의 상기 투명 표시 스크린 상에 표시된 인터렉티브 오브젝트를 구동하여 응답을 실행하도록 함으로써, 인터렉티브 오브젝트의 응답이 사용자의 인터렉티브 요건에 더욱 부합되도록 하고, 사용자와 상기 인터렉티브 오브젝트 사이의 인터렉티브가 더욱 리얼하고 선명해지도록 함으로써, 사용자 체험을 개선할 수 있다.
여러 실시예에 있어서, 상기 표시 디바이스의 투명 표시 스크린에 표시되는 인터렉티브 오브젝트는 입체 효과를 가지는 가상 인물을 포함한다.
입체 효과를 가지는 가상 인물을 이용하여 사용자와 인터렉티브를 실행함으로써, 인터렉티브 과정이 더욱 자연스러워지도록 하고, 사용자의 인터렉티브 익스피리언스를 향상시킬 수 있다.
당업자는 인터렉티브 오브젝트는 입체 효과를 가지는 가상 인물에 한정되지 않으며, 가상 동물, 가상 물품, 만화 캐릭터 등과 같은 인터렉티브 기능을 실현할 수 있는 기타 가상 이미지일 수도 있음을 이해해야 한다.
여러 실시예에 있어서, 이하의 방법을 통해 투명 표시 스크린에 표시되는 인터렉티브 오브젝트의 입체 효과를 실현할 수 있다.
인간의 눈이 본 물체가 입체인지 여부는 일반적으로 물체 자체의 형상 및 물체의 빛과 그림자의 효과에 의해 결정된다. 당해 빛과 그림자의 효과는 예를 들면 물체의 서로 다른 영역의 밝은 빛과 어두운 빛 및 빛이 물체에 조사된 후 지면에 형성된 투영(즉 도영임)이다.
일 예에 있어서, 상기 원리를 이용하여, 투명 표시 스크린 상에 인터렉티브 오브젝트의 입체 비디오 또는 이미지의 화면을 표시하는 동시에, 투명 표시 스크린 상에 당해 인터렉티브 오브젝트의 도영을 더 표시함으로써, 인간의 눈이 입체 효과를 가지는 인터렉티브 오브젝트를 볼 수 있도록 한다.
다른 일 예에 있어서, 상기 투명 표시 스크린의 하방에는 바닥 판이 배치되어 있으며, 또한 상기 투명 표시 스크린은 상기 바닥 판에 대해 수직되거나 경사된다. 투명 표시 스크린에 인터렉티브 오브젝트의 입체 비디오 또는 이미지의 화면을 표시하는 동시에, 상기 바닥 판에 상기 인터렉티브 오브젝트의 도영을 표시함으로써, 인간의 눈이 입체 효과를 가지는 인터렉티브 오브젝트를 볼 수 있도록 한다.
여러 실시예에 있어서, 상기 표시 디바이스는 박스 바디를 더 포함하며, 또한 상기 박스 바디의 정면은 투명하게 설계되는바, 예를 들면 유리, 플라스틱 등의 재료로 투명 설계를 실현한다. 박스 바디의 정면에서 투명 표시 스크린의 화면과 투명 표시 스크린 또는 바닥 판 상의 화면의 도영을 볼 수 있고, 인간의 눈이 입체 효과를 가지는 인터렉티브 오브젝트를 볼 수 있도록 하는바, 도 2에 나타낸 바와 같다.
여러 실시예에 있어서, 박스 바디 내에는 하나 또는 복수의 광원이 더 배치되어 투명 표시 스크린에 대해 빛을 제공한다.
본 발명의 실시예에 있어서, 투명 표시 스크린 상에 인터렉티브 오브젝트의 입체 비디오 또는 이미지의 화면을 표시하고, 투명 표시 스크린 또는 바닥 판에 당해 인터렉티브 오브젝트의 도영을 형성하여 입체 효과를 실현함으로써, 표시된 인터렉티브 오브젝트가 더욱 입체적이고 선명해지도록 하고, 사용자의 인터렉티브 익스피리언스를 향상시킬 수 있다.
여러 실시예에 있어서, 상기 검출 결과는 상기 표시 디바이스의 현재 서비스 상태를 포함할 수도 있으며, 상기 현재 서비스 상태는 예를 들면 사용자를 기다리는 상태, 사용자를 발견한 상태, 사용자가 떠난 상태, 서비스 활성화 상태, 서비스 중인 상태 중 임의의 하나를 포함한다. 당업자는 상기 표시 디바이스의 현재 서비스 상태는 기타 상태를 더 포함할 수도 있는바, 상기에 한정되지 않음을 이해해야 한다.
표시 디바이스의 주변의 이미지에서 얼굴 및 인체가 검출되지 않는 경우는 상기 표시 디바이스의 주변에 사용자가 없는 것을 나타내는바, 즉 당해 표시 디바이스가 현재 사용자와 인터렉티브를 실행하는 상태에 있지 않는 것을 나타낸다. 이러한 상태는 현재 시점 전의 소정의 시간대 내에서 디바이스와 인터렉티브를 실행한 사용자가 없는 상태, 즉 사용자를 기다리는 상태를 포함한다. 또한 현재 시점 전의 소정의 시간대 내에서 사용자와 인터렉티브를 실행한 상황, 즉 사용자가 떠난 상태도 포함한다. 이 두 가지 서로 다른 상태에 대해, 상기 인터렉티브 오브젝트를 구동하여 기타 응답을 실행할 것이 있다. 예를 들면 사용자를 기다리는 상태에 대해서는 상기 인터렉티브 오브젝트를 구동하여 현재 환경과 결합하여 사용자를 환영하는 응답을 실행할 수 있고, 사용자가 떠난 상태에 대해서는 상기 인터렉티브 오브젝트를 구동하여 전의 인터렉티브한 사용자에 대해 종료 서비스를 실행하는 응답을 실행할 수 있다.
일 예에 있어서, 이하의 방식을 통해 사용자를 기다리는 상태를 확정할 수 있다. 현재 시점에서 얼굴 및 인체가 검출되지 않은 동시에, 현재 시점 전의 5초 등의 소정의 시간대 내에서 얼굴 및 인체가 검출되지 않았고, 또한 얼굴 및 인체를 추적하지 않은 것에 응답하여, 당해 표시 디바이스의 현재 서비스 상태를 사용자를 기다리는 상태로 확정한다.
일 예에 있어서, 이하의 방식을 통해 사용자가 떠난 상태를 확정할 수 있다. 현재 시점에서 얼굴 및 인체가 검출되지 않은 동시에, 현재 시점 전의 5초 등의 소정의 시간대 내에서 얼굴 및/또는 인체가 검출되었거나 또는 얼굴 및/또는 인체가 추적된 것에 응답하여, 당해 표시 디바이스의 현재 서비스 상태를 사용자가 떠난 상태로 확정한다.
표시 디바이스가 사용자를 기다리는 상태 또는 사용자가 떠난 상태에 있을 경우, 상기 표시 디바이스의 현재 서비스 상태에 기반하여 상기 인터렉티브 오브젝트를 구동하여 응답을 실행하도록 할 수 있다. 예를 들면 표시 디바이스가 사용자를 기다리는 상태에 있을 경우, 표시 디바이스에 표시된 인터렉티브 오브젝트를 구동하여, 환영의 액션 또는 제스처를 취하도록 하거나 또는 몇 가지의 재미있는 동작을 하도록 하거나 또는 "어서 오세요"의 음성을 출력하도록 할 수 있다. 표시 디바이스가 사용자가 떠난 상태에 있을 경우, 상기 인터렉티브 오브젝트를 구동하여, "안녕히 가십시오"의 동작 또는 제스처를 취하도록 하거나 또는 "안녕히 가십시오"의 음성을 출력하도록 할 수 있다.
표시 디바이스의 주변의 이미지로부터 얼굴 및/또는 인체가 검출되었을 경우는 상기 표시 디바이스의 주변에 사용자가 존재하는 것을 나타내며, 사용자가 검출된 당해 시점의 현재 서비스 상태를 사용자를 발견한 상태로 확정할 수 있다.
표시 디바이스의 주변에 사용자가 존재하는 것이 검출되었을 경우, 상기 이미지를 이용하여 상기 사용자의 사용자 속성 정보를 얻을 수 있다. 예를 들면 얼굴 및/또는 인체의 검출 결과에 기반하여 디바이스의 주변에 몇 명의 사용자가 존재하는지를 확정할 수 있다. 각 사용자에 대해, 얼굴 및/또는 인체 인식 기술을 이용하여 상기 이미지로부터 사용자의 성별, 사용자의 대략 연령 등의 상기 사용자에 관한 관련 정보를 얻을 수 있는 바, 예를 들면 서로 다른 성별 및 다른 서로 연령 레벨의 사용자에 대해, 인터렉티브 오브젝트를 구동하여 기타 응답을 실행하도록 할 수 있다.
사용자를 발견한 상태의 경우, 검출된 사용자에 대해 또한 상기 표시 디바이스에 저장되어 있는 사용자 과거 조작 정보를 얻고, 및/또는, 클라우드 측에 저장되어 있는 사용자 과거 조작 정보를 얻고, 당해 사용자가 단골 손님 손님인지 여부 또는 VIP손님인지 여부를 확정할 수 있다. 상기 사용자 과거 조작 정보는 상기 사용자의 성명, 성별, 연령, 서비스 기록, 비고 등을 더 포함할 수 있다. 당해 사용자 과거 조작 정보는 상기 사용자가 스스로 입력한 정보를 포함할 수도 있고, 상기 표시 디바이스 및/또는 클라우드 측에서 기록한 정보를 포함할 수도 있다. 사용자 과거 조작 정보를 취득함으로써, 상기 인터렉티브 오브젝트를 구동하여 맞춤형적으로 상기 사용자에 대해 응답을 실행하도록 할 수 있다.
일 예에 있어서, 검출된 사용자의 얼굴 및/또는 인체의 특징 정보에 기반하여 상기 사용자와 매칭되는 사용자 과거 조작 정보를 검색할 수 있다.
표시 디바이스가 사용자를 발견한 상태에 있을 경우, 상기 표시 디바이스의 현재 서비스 상태 및 상기 이미지로부터 취득한 사용자 속성 정보에 기반하여 취득한 사용자 과거 조작 정보를 검색 함으로써, 상기 인터렉티브 오브젝트를 구동하여 응답을 실행하도록 할 수 있다. 한 명의 사용자가 처음으로 검출되었을 경우, 상기 사용자 과거 조작 정보가 비어 있으므로, 상기 현재 서비스 상태, 상기 사용자 속성 정보 및 상기 환경 정보에 기반하여 상기 인터렉티브 오브젝트를 구동한다.
표시 디바이스의 주변의 이미지로부터 한 명의 사용자가 검출되었을 경우, 먼저 이미지를 이용하여 당해 사용자에 대해 얼굴 및/또는 인체의 식별을 실행하여, 상기 사용자에 관한 사용자 속성 정보를 얻으며, 예를 들면 당해 사용자가 여성이고, 연령이 20세∼30세이다. 그 다음, 당해 사용자의 얼굴 및/또는 인체의 특징 정보에 기반하여 표시 디바이스 및/또는 클라우드 측에서 검색을 실행하여 상기 특징 정보에 매칭되는 사용자 과거 조작 정보를 검색할 수 있는 바, 예를 들면 당해 사용자의 성명, 서비스 기록 등을 검색한다. 이어서 사용자를 발견한 상태에서, 상기 인터렉티브 오브젝트를 구동하여 당해 여성의 사용자에 대해 맞춤형의 환영하는 동작을 실행하고, 또한 당해 여성 사용자에 대해 제공하는 서비스를 전시한다. 사용자 과거 조작 정보에 포함된 당해 사용자가 이전에 이용한 적이 있는 서비스 항목에 기반하여 제공하는 서비스의 순서를 조정함으로써, 사용자로 하여금 흥취를 가지는 서비스 항목을 더욱 빠르게 발견하도록 할 수 있다.
디바이스의 주변의 이미지로부터 적어도 두 명의 사용자가 검출된 경우, 먼저 상기 적어도 두 명의 사용자의 특징 정보를 얻을 수 있다. 당해 특징 정보는 사용자 자세 정보, 사용자 속성 정보 중 적어도 하나를 포함할 수도 있으며, 또한 상기 특징 정보는 사용자의 과거 조작 정보에 대응되어, 여기서, 상기 사용자 자세 정보는 상기 이미지 내의 상기 사용자의 동작에 대해 식별을 실행하여 얻을 수 있다.
계속하여, 얻어진 상기 적어도 두 명의 사용자의 특징 정보에 기반하여 상기 적어도 두 명의 사용자 중에서 목표 사용자를 확정한다. 실제의 장면과 결합하여 각 사용자의 특징 정보를 종합적으로 평가함으로써, 인터렉티브 대기의 목표 사용자를 확정할 수 있다.
목표 사용자를 확정한 후에는 상기 표시 디바이스의 상기 투명 표시 스크린 상에 표시된 상기 인터렉티브 오브젝트를 구동하여 상기 목표 사용자에 대해 응답을 실행하도록 할 수 있다.
여러 실시예에 있어서, 사용자를 발견한 상태에서 상기 인터렉티브 오브젝트를 구동하여 응답을 실행하도록 한 후, 표시 디바이스의 주변의 이미지에서 검출된 사용자를 추적함으로써, 예를 들면 상기 사용자의 얼굴 표정 및/또는 상기 사용자의 동작 등을 추적할 수 있고, 또한 상기 사용자에 자발적인 인터렉티브 표정 및/또는 동작이 있는지 여부를 판단함으로써, 상기 표시 디바이스가 서비스 활성화 상태로 되도록 할 필요가 있는지 여부를 판단할 수 있다.
일 예에 있어서, 상기 사용자를 추적하는 과정에서, 지정된 트리거 정보를 설정하는바, 예를 들면 눈 깜빡임, 끄덕임, 손 흔들기, 손 들기, 토닥이기 등의 사람과 사람 사이에서 인사하는 일반적인 표정 및/또는 동작을 설정할 수 있다. 이하와 구별하기 위하여, 여기서 설정한 지정된 트리거 정보를 제1 트리거 정보라고 부를 수 있다. 상기 사용자가 출력한 상기 제1 트리거 정보가 검출되었을 경우, 상기 표시 디바이스가 서비스 활성화 상태로 되는 것을 확정하고, 상기 인터렉티브 오브젝트를 구동하여 상기 제1 트리거 정보에 매칭되는 서비스를 전시하도록 하는바, 예를 들면 언어를 이용하여 전시할 수도 있고, 스크린 상에 표시된 문자 정보를 이용하여 전시할 수도 있다.
현재 일반적인 체성 감각의 인터렉티브는 사용자가 먼저 손을 일정한 시간 동안 들고 있는 것으로 서비스를 활성화 시킬 필요가 있으며, 서비스를 선택한 후에는 손의 위치를 움직이지 않고 몇초 동안 유지해야만 활성화를 완성시킬 수 있다. 본 발명의 실시예에 기반하여 제공되는 인터렉티브 방법에 따르면, 사용자가 먼저 손을 일정한 시간 동안 들고 있는 것으로 서비스를 활성화할 필요가 없고, 또한 손의 위치를 움직이지 않고 유지함으로써 선택을 완성시킬 필요도 없다. 사용자의 지정된 트리거 정보를 자동적으로 판단함으로써, 서비스를 자동적으로 활성화할 수 있고, 디바이스로 하여금 서비스 활성화 상태로 되도록 하며, 사용자가 손이 일정한 시간 동안 들고 기다리는 것을 피면하여, 사용자 체험을 개선할 수 있다.
여러 실시예에 있어서, 서비스 활성화 상태에 있어서, 지정된 트리거 정보를 설정하는바, 예를 들면 특정 제스처 동작 및/또는 특정 음성 명령 등을 설정할 수 있다. 상기와 구별하기 위하여 여기서 설정한 지정된 트리거 정보 명칭을 제2 트리거 정보라 부를 수 있다. 상기 사용자가 출력한 상기 제2 트리거 정보가 검출되었을 경우, 상기 표시 디바이스가 서비스 중인 상태로 되는 것을 확정하고, 상기 인터렉티브 오브젝트를 구동하여 상기 제2 트리거 정보에 매칭되는 서비스를 전시하도록 할 수 있다.
일 예에 있어서, 사용자가 출력한 제2 트리거 정보에 기반하여 해당하는 서비스를 실행한다. 예를 들면 사용자를 위하여 제공하는 서비스는 제1 서비스 옵션, 제2 서비스 옵션, 제3 서비스 옵션 등일 수 있으며, 또한 제1 서비스 옵션을 위하여 해당하는 제2 트리거 정보를 설정할 수 있다. 예를 들면 "1"의 음성을 제1 서비스 옵션에 대응하는 제2 트리거 정보로 설정하고, "2"의 음성을 제2 서비스 옵션에 대응하는 제2 트리거 정보로 설정하며, …, 이렇게 유추할 수 있다. 상기 사용자에 의해 그 중의 하나의 음성이 출력된 것이 검출되면, 상기 표시 디바이스는 제2 트리거 정보에 대응하는 서비스 옵션으로 진입하며, 상기 인터렉티브 오브젝트를 구동하여 당해 서비스 옵션에 대해 설정한 내용에 기반하여 서비스를 제공하도록 한다.
본 발명의 실시예에 있어서, 상기 표시 디바이스가 사용자를 발견한 상태가 된 후에, 두 가지 입도의 식별 방식을 제공한다. 제1 입도(굵은 입도) 식별 방식은 사용자가 출력한 제1 트리거 정보가 검출되었을 경우, 디바이스가 서비스 활성화 상태로 되도록 하고, 상기 인터렉티브 오브젝트를 구동하여 상기 제1 트리거 정보에 매칭되는 서비스를 전시하도록 하며, 제2 입도(가는 립도) 식별 방식은 사용자가 출력한 제2 트리거 정보가 검출되었을 경우, 디바이스가 서비스 중인 상태로 되도록 하고, 상기 인터렉티브 오브젝트를 구동하여 해당하는 서비스를 제공하도록 한다. 상기 두 가지 입도의 식별 방식을 통해 사용자와 인터렉티브 오브젝트의 인터렉티브가 더욱 원활하고 더욱 자연스러워지도록 할 수 있다.
본 발명의 실시예에 기반하여 제공되는 인터렉티브 방법에 따르면, 사용자가 버튼 클릭, 터치 또는 음성 입력을 실행할 필요 없이, 표시 디바이스의 주변에 서 있는 것만으로, 표시 디바이스에 표시되어 있는 인터렉티브 오브젝트로 하여금 맞춤형적으로 환영하는 동작을 실행하도록 하고, 사용자의 요건 또는 흥취에 따라 서비스 항목을 전시하도록 하여, 사용자의 이용 익스피리언스를 개선할 수 있다.
여러 실시예에 있어서, 상기 표시 디바이스의 환경 정보를 얻고, 상기 검출 결과 및 상기 환경 정보에 기반하여 상기 표시 디바이스의 상기 투명 표시 스크린 상에 표시된 상기 인터렉티브 오브젝트를 구동하여 응답을 실행하도록 할 수 있다.
상기 표시 디바이스의 환경 정보는 상기 표시 디바이스의 지리 위치 및/또는 상기 표시 디바이스의 적용 장면에 기반하여 얻을 수 있다. 상기 환경 정보는 예를 들면 상기 표시 디바이스의 지리 위치, 인터넷 프로토콜(Internet Protocol, IP) 주소일 수 있으며, 또한 상기 표시 디바이스가 위치하는 영역의 날씨, 날짜 등일 수 있다. 당업자는 상기 환경 정보는 예에 불과 할 뿐, 기타 환경 정보를 더 포함할 수 있음을 이해해야 한다.
예를 들어 설명하면, 표시 디바이스가 사용자를 기다리는 상태와 사용자가 떠난 상태에 있을 경우, 상기 표시 디바이스의 현재 서비스 상태 및 환경 정보에 기반하여 상기 인터렉티브 오브젝트를 구동하여 응답을 실행하도록 할 수 있다. 예를 들면 상기 표시 디바이스가 사용자를 기다리는 상태에 있을 경우, 환경 정보는 시간, 장소 및 날씨 상황을 포함할 수 있다. 표시 디바이스에 표시된 인터렉티브 오브젝트를 구동하여 환영하는 동작과 제스처를 취하도록 하거나 또는 몇 가지의 재미있는 동작을 수행하도록 할 수 있으며, 또한 "지금은 X년X월X일XX시이며, 날씨는 XX이고, XX시의 XX쇼핑몰에 오신 것을 환영합니다. 모시게 되어 매우 기쁩니다"라는 음성을 출력할 수 있다. 일반적인 환영하는 동작, 제스처 및 음성 이외에, 또한 현재 시간, 장소 및 날씨 상황을 추가함으로써, 더욱 많은 뉴스를 제공할 뿐만 아니라, 또한 인터렉티브 오브젝트의 응답이 인터렉티브 요건에 더욱 부합되도록 할 수 있으며, 맞춤형이 더욱 정확해질 수 있다.
표시 디바이스의 주변의 이미지에 대해 사용자 검출을 실행하고, 검출 결과 및 상기 표시 디바이스의 환경 정보에 기반하여, 상기 표시 디바이스에 표시되어 있는 인터렉티브 오브젝트를 구동하여 응답을 실행하도록 함으로써, 인터렉티브 오브젝트의 응답이 인터렉티브 요건에 더욱 부합되도록 할 수 있고, 사용자와 인터렉티브 오브젝트 사이의 인터렉티브가 더욱 리얼하고 선명해지도록 할 수 있으며, 사용자 체험을 개선할 수 있다.
여러 실시예에 있어서, 상기 검출 결과 및 상기 환경 정보에 기반하여, 매칭되는 미리 설정한 응답 라벨을 얻은 후, 상기 응답 라벨에 기반하여 상기 인터렉티브 오브젝트를 구동하여 해당하는 응답을 실행하도록 할 수 있다. 상기 응답 라벨은 상기 인터렉티브 오브젝트의 동작, 표정, 제스처, 언어 중 하나 또는 복수의 구동 텍스트에 대응할 수 있다. 서로 다른 검출 결과 및 환경 정보에 대해, 확정된 응답 라벨에 기반하여 해당하는 구동 텍스트를 얻음으로써, 상기 인터렉티브 오브젝트를 구동하여 해당하는 동작, 표정, 언어 중 하나 또는 복수를 출력하도록 할 수 있다.
예를 들면 현재 서비스 상태가 사용자를 기다리는 상태이고, 또한 환경 정보가 나타내는 장소가 "상해"이면, 대응하는 응답 라벨은 동작은 환영하는 동작이며, 음성은 "상해에 오신 것을 환영합니다"일 수 있다.
또한 예를 들면 현재 서비스 상태가 사용자를 발견한 상태이고, 환경 정보가 나타내는 시간이 오전이며, 사용자 속성 정보가 여성을 나타내고, 또한 사용자 과거 기록이 나타내는 성이 "장"이면, 대응하는 응답 라벨은 동작은 환영하는 동작이며, 음성은 "장 여사, 안녕하세요! 환영합니다. 모시게 되어 매우 기쁩니다"일 수 있다.
서로 다른 검출 결과 및 서로 다른 환경 정보의 조합에 대해, 해당하는 응답 라벨을 설정하고, 상기 응답 라벨에 기반하여 인터렉티브 오브젝트를 구동하여 해당하는 동작, 표정, 언어 중 하나 또는 복수를 출력하도록 함으로써, 인터렉티브 오브젝트를 구동하여 디바이스의 서로 다른 상태 및 서로 다른 장면에 기반하여 서로 다른 응답을 실행하도록 할 수 있으며, 상기 인터렉티브 오브젝트의 응답이 더욱 다양해지도록 할 수 있다.
여러 실시예에 있어서, 상기 응답 라벨을 미리 트레이닝한 신경망에 입력하고, 상기 응답 라벨에 대응하는 구동 텍스트를 출력함으로써, 상기 인터렉티브 오브젝트를 구동하여 해당하는 동작, 표정, 언어 중 하나 또는 복수를 출력하도록 할 수 있다.
여기서, 상기 신경망은 샘플 응답 라벨 세트를 이용하여 트레이닝을 실행할 수 있으며, 여기서, 상기 샘플 응답 라벨에는 대응하는 구동 텍스트가 라벨링되어 있다. 상기 신경망은 트레이닝을 거친 후, 출력하는 응답 라벨에 대해 해당하는 구동 텍스트를 출력할 수 있으며, 상기 인터렉티브 오브젝트를 구동하여 해당하는 동작, 표정, 언어 중 하나 또는 복수를 출력하도록 할 수 있다. 직접 표시 디바이스 측 또는 클라우드 측에서 대응하는 구동 텍스트를 검색하는 것과 비교하면, 미리 트레이닝한 신경망을 이용하여 구동 텍스트를 미리 설정한 적이 없는 응답 라벨에 대해서도, 구동 텍스트를 생성하고, 상기 인터렉티브 오브젝트를 구동하여 적합한 응답을 실행하도록 할 수 있다.
여러 실시예에 있어서, 빈도가 높은 동시에 상대적으로 중요한 장면에 대해서는 수동으로 설정하는 방식으로 최적화를 실행할 수도 있다. 즉 출현 빈도보다 높은 검출 결과와 환경 정보의 조합에 대해서는 대응하는 응답 라벨에 대해 구동 텍스트를 수동으로 설정할 수 있다. 당해 장면이 출현되면, 해당하는 구동 텍스트를 자동적으로 호출하여 상기 인터렉티브 오브젝트를 구동하여 응답을 실행하도록 할 수 있으며, 인터렉티브 오브젝트의 동작과 표정이 더욱 자연스러워지도록 할 수 있다.
일 실시예에 있어서, 상기 표시 디바이스가 사용자를 발견한 상태에 있는 것에 응답하여, 상기 사용자의 상기 이미지 내의 위치에 기반하여, 상기 사용자의 상기 투명 표시 스크린에 전시되어 있는 상기 인터렉티브 오브젝트에 대한 위치 정보를 얻고, 상기 인터렉티브 오브젝트가 상기 사용자를 향하도록, 상기 위치 정보에 기반하여 상기 인터렉티브 오브젝트의 방향을 조정한다.
사용자의 위치에 기반하여 인터렉티브 오브젝트의 몸 방향을 자동적으로 조정하고, 상기 인터렉티브 오브젝트가 항상 사용자를 서로 향하게 유지함으로써, 인터렉티브가 더욱 다정해지도록 하고, 사용자의 인터렉티브 체험을 개선할 수 있다.
여러 실시예에 있어서, 상기 인터렉티브 오브젝트의 이미지는, 가상 카메라에 의해 수집된 것이다. 가상 카메라는 3D소프트웨어 및 이미지를 수집하기 위한 가상 소프트웨어 카메라에 적용되며, 인터렉티브 오브젝트는 상기 가상 카메라에 의해 수집된 3D 이미지를 스크린 상에 표시한 것이다. 따라서, 사용자의 시각을 3D소프트웨어 중의 가상 카메라의 시각으로 이해할 수 있으며, 따라서 인터렉티브 오브젝트가 사용자와의 눈빛 교류를 실현하지 못하는 문제가 발생하게 된다.
상기 문제를 해결하기 위하여 본 발명의 적어도 하나의 실시예에 있어서, 인터렉티브 오브젝트의 몸 방향을 조정하는 동시에, 상기 인터렉티브 오브젝트의 시선도 상기 가상 카메라를 향하도록 유지한다. 인터렉티브 오브젝트가 인터렉티브 과정에서 사용자를 향하고 있어, 또한 시선도 가상 카메라를 향하도록 유지하고 있기 때문에, 인터렉티브 오브젝트가 자신을 보고 있는 것처럼 사용자에게 보일 수 있으며, 사용자의 인터렉티브 오브젝트의 인터렉티브의 쾌적성을 향상시킬 수 있다.
도 3은 본 발명의 적어도 하나의 실시예에 따른 인터렉티브 장치의 구성을 나타내는 모식도이며, 도 3에 나타낸 바와 같이, 당해 장치는 이미지 취득 유닛(301); 검출 유닛(302); 및 구동 유닛(303)을 구비할 수 있다.
여기서 이미지 취득 유닛(301)은 카메라에 의해 수집된, 투명 표시 스크린을 이용하여 인터렉티브 오브젝트를 표시하기 위한 표시 디바이스의 주변의 이미지를 얻고, 검출 유닛(302)은 상기 이미지 내의 얼굴 및 인체 중의 적어도 하나에 대해 검출을 실행하여 검출 결과를 얻으며, 구동 유닛(303)은 상기 검출 결과에 기반하여 상기 표시 디바이스의 상기 투명 표시 스크린 상에 표시된 상기 인터렉티브 오브젝트를 구동하여 응답을 실행하도록 한다.
여러 실시예에 있어서, 상기 표시 디바이스는 또한 상기 투명 표시 스크린을 이용하여 상기 인터렉티브 오브젝트의 도영을 표시하거나 또는 바닥 판에 상기 인터렉티브 오브젝트의 도영을 표시한다.
여러 실시예에 있어서, 상기 인터렉티브 오브젝트는 입체 효과를 가지는 가상 인물을 포함한다.
여러 실시예에 있어서, 상기 검출 결과는 상기 표시 디바이스의 현재 서비스 상태를 적어도 포함하고, 상기 현재 서비스 상태는 사용자를 기다리는 상태, 사용자가 떠난 상태, 사용자를 발견한 상태, 서비스 활성화 상태 및 서비스 중인 상태 중 임의의 하나를 포함한다.
여러 실시예에 있어서, 검출 유닛(302)은 구체적으로 현재 시점에서 얼굴 및 인체가 검출되지 않은 동시에, 현재 시점 전의 소정의 시간대 내에서 얼굴 및 인체가 검출되지 않은 것에 응답하여, 상기 현재 서비스 상태가 사용자를 기다리는 상태로 확정한다.
여러 실시예에 있어서, 검출 유닛(302)은 구체적으로 현재 시점에서 얼굴 및 인체가 검출되지 않은 동시에, 현재 시점 전의 소정의 시간대 내에서 얼굴 및/또는 인체가 검출된 것에 응답하여, 상기 현재 서비스 상태를 사용자가 떠난 상태로 확정한다.
여러 실시예에 있어서, 검출 유닛(302)은 구체적으로 상기 얼굴 및 상기 인체 중의 적어도 하나가 검출된 것에 응답하여, 상기 표시 디바이스의 현재 서비스 상태를 사용자를 발견한 상태로 확정한다.
여러 실시예에 있어서, 상기 검출 결과는 사용자 속성 정보 및/또는 사용자 과거 조작 정보를 더 포함하고, 상기 장치는 정보 취득 유닛을 더 구비하며, 상기 정보 취득 유닛은 상기 이미지를 이용하여 사용자 속성 정보를 얻고, 및/또는, 상기 사용자의 얼굴 및 인체 중의 적어도 하나의 특징 정보에 매칭되는 사용자 과거 조작 정보를 검색한다.
여러 실시예에 있어서, 상기 장치는 목표 확정 유닛을 더 구비하며, 상기 목표 확정 유닛은 적어도 두 명의 사용자가 검출된 것에 응답하여, 상기 적어도 두 명의 사용자의 특징 정보를 얻고, 상기 적어도 두 명의 사용자의 특징 정보에 기반하여 상기 적어도 두 명의 사용자 중에서 목표 사용자를 확정한다. 상기 구동 유닛(303)은 상기 표시 디바이스의 상기 투명 표시 스크린 상에 표시된 상기 인터렉티브 오브젝트를 구동하여 상기 목표 사용자에 대해 응답을 실행하도록 한다.
여러 실시예에 있어서, 상기 장치는 환경 정보를 얻기 위한 환경 정보 취득 유닛을 더 구비하며, 상기 구동 유닛(303)은 구체적으로 상기 검출 결과 및 상기 표시 디바이스의 환경 정보에 기반하여 상기 표시 디바이스의 상기 투명 표시 스크린 상에 표시된 상기 인터렉티브 오브젝트를 구동하여 응답을 실행하도록 한다.
여러 실시예에 있어서, 상기 환경 정보는 상기 표시 디바이스의 지리 위치, 상기 표시 디바이스의 IP 주소 및 상기 표시 디바이스가 위치하는 영역의 날씨와 날짜 중 적어도 하나 또는 복수를 포함한다.
여러 실시예에 있어서, 구동 유닛(303)은 구체적으로 상기 검출 결과 및 상기 환경 정보에 매칭되는 미리 설정한 응답 라벨을 얻고, 상기 표시 디바이스의 상기 투명 표시 스크린 상에 표시된 상기 인터렉티브 오브젝트를 구동하여 상기 응답 라벨에 대응하는 응답을 실행하도록 한다.
여러 실시예에 있어서, 구동 유닛(303)은 상기 응답 라벨에 기반하여 상기 표시 디바이스의 상기 투명 표시 스크린 상에 표시된 상기 인터렉티브 오브젝트를 구동하여 해당하는 응답을 실행할 때, 구체적으로 상기 응답 라벨을 미리 트레이닝한 신경망에 입력하고, 상기 신경망을 통해 상기 응답 라벨에 대응하는, 상기 인터렉티브 오브젝트를 구동하여 해당하는 동작, 표정, 언어 중 하나 또는 복수를 출력하도록 하기 위한 구동 내용이 출력된다.
여러 실시예에 있어서, 상기 장치는 서비스 활성화 유닛을 더 구비하며, 상기 서비스 활성화 유닛은 상기 검출 유닛(302)에 기반하여 현재 서비스 상태가 사용자를 발견한 상태로 검출된 것에 응답하여, 상기 구동 유닛(303)이 상기 인터렉티브 오브젝트를 구동하여 응답을 실행하도록 한 후, 상기 표시 디바이스의 주변의 이미지에서 검출된 사용자를 추적하고, 상기 사용자를 추적하는 과정에서, 상기 사용자가 출력한 제1 트리거 정보가 검출된 것에 응답하여, 상기 표시 디바이스가 서비스 활성화 상태로 되는 것을 확정하고, 상기 구동 유닛(303)이 상기 인터렉티브 오브젝트를 구동하여 상기 제1 트리거 정보에 매칭되는 서비스를 전시하도록 한다.
여러 실시예에 있어서, 상기 장치 서비스 유닛을 더 구비하며, 상기 서비스 유닛은 상기 표시 디바이스가 상기 서비스 활성화 상태에 있을 때, 상기 사용자가 출력한 제2 트리거 정보가 검출된 것에 응답하여, 상기 표시 디바이스가 서비스 중인 상태로 되는 것을 확정하고, 여기서, 상기 구동 유닛(303)은 상기 인터렉티브 오브젝트를 구동하여 상기 제2 트리거 정보에 매칭되는 서비스를 제공하도록 한다.
여러 실시예에 있어서, 상기 장치는 방향 조정 유닛을 더 구비하며, 상기 방향 조정 유닛은 우 상기 검출 유닛(302)에 기반하여 현재 서비스 상태가 사용자를 발견한 상태로 검출된 것에 응답하여, 상기 사용자의 상기 이미지 내의 위치에 기반하여, 상기 사용자의 상기 투명 표시 스크린에 전시되어 있는 상기 인터렉티브 오브젝트에 대한 위치 정보를 얻고, 상기 인터렉티브 오브젝트가 상기 사용자를 향하도록, 상기 위치 정보에 기반하여 상기 인터렉티브 오브젝트의 방향을 조정한다.
본 발명의 적어도 하나의 실시예는 인터렉티브 디바이스를 더 제공하는 바, 도 4에 나타낸 바와 같이, 상기 디바이스는 메모리(401) 및 프로세서(402)를 구비한다. 메모리(401)는 프로세서에 의해 실행될 수 있는 컴퓨터 명령을 저장하고, 상기 명령이 실행될 때, 프로세서(402)이 본 발명이 임의의 일 실시예에 기재된 방법을 실현하도록 한다.
본 발명의 적어도 하나의 실시예는 컴퓨터 프로그램이 저장되어 있는 컴퓨터 판독 가능 기록 매체를 더 제공하는 바, 상기 컴퓨터 프로그램이 프로세서에 의해 실행될 때, 상기 프로세서가 본 발명이 임의의 일 실시예에 기재된 인터렉티브 방법을 실현하도록 한다.
당업자는 본 발명의 하나 또는 복수의 실시예는 방법, 시스템 또는 컴퓨터 프로그램 제품으로서 제공할 수 있음을 이해해야 한다. 따라서, 본 발명의 하나 또는 복수의 실시예는 완전한 하드웨어의 실시예, 완전한 소프트웨어의 실시예 또는 소프트웨어와 하드웨어를 조합시키는 실시예의 형식을 채택할 수 있다. 또한 본 발명의 하나 또는 복수의 실시예는 컴퓨터 이용 가능한 프로그램 코드를 포함하는 하나 또는 복수의 컴퓨터 이용 가능한 기록 매체(디스크 메모리, CD-ROM, 광학 메모리 등을 포함하지만, 이에 한정되지 않음) 상에서 실시되는 컴퓨터 프로그램 제품의 형식을 채택할 수 있다.
본 발명의 각 실시예는 모두 점진적인 방식을 이용하여 서술되었으며, 각 실시예들 사이의 동일 또는 유사한 부분은 서로 참조할 수 있고, 각 실시예에서는 기타 실시예와의 차이점에 중점을 맞춰 설명했다. 특히 데이터 처리 디바이스의 실시예의 경우, 기본적으로 방법의 실시예와 유사하기 때문에 상대적으로 간단히 서술했지만, 관련되는 부분은 방법의 실시예의 부분 설명을 참조하면 된다.
상기에서 본 발명의 특정의 실시예를 서술했다. 기타 실시예는 첨부된 "특허 청구의 범위"의 범위 내에 있다. 몇몇의 경우, 특허 청구의 범위에 기재된 행위 또는 단계는 실시예와 서로 다른 순서에 따라 실행될 수 있으며, 이 경우에도 여전히 기대하는 결과가 실현될 수 있다. 또한 도면에 나타낸 과정은, 기대하는 결과 얻기 위하여, 반드시 나타낸 특정 순서 또는 연속적인 순서를 필요로 하지 않는다. 몇몇의 실시 형태에 있어서, 멀티 태스크 처리 및 병렬 처리도 가능하거나, 또한 더 유리할 수도 있다.
본 발명의 주제 및 기능 조작의 실시예는 디지털 전자 회로, 유형 컴퓨터 소프트웨어 또는 펌웨어, 본 발명에 개시되는 구성 및 그 구조적 등가물을 포함하는 컴퓨터 하드웨어 또는 이들의 하나 또는 복수의 조합으로 실현될 수 있다. 본 발명의 주제의 실시예는 하나 또는 복수의 컴퓨터 프로그램으로 실현될 수 있는바, 즉 유형 비 일시적 프로그램 캐리어 상에 부호화되며, 데이터 처리 장치에 의해 실행되거나, 또는 데이터 처리 장치의 조작을 제어하기 위한 컴퓨터 프로그램 명령 중의 하나 또는 복수의 모듈에 의해 실현될 수 있다. 대체적 또는 추가적으로, 프로그램 명령은 수동으로 생성되는 전파 신호 상에 부호화될 수 있는바, 예를 들면 기계에 의해 생성되는 전기신호, 광학 신호 또는 전자신호로 부호화될 수 있다. 당해 신호는 정보를 부호화하여 적절한 수신기 장치에 전송함으로써 데이터 처리 장치에 의해 실행되도록 하기 위하여 생성된다. 컴퓨터 기록 매체는 기계 판독 가능 기억 디바이스, 기계 판독 가능 기억 기판, 랜덤 액세스 메모리 디바이스 또는 직렬 액세스 메모리 디바이스 또는 이들의 하나 또는 복수의 조합일 수 있다.
본 명세서에 서술된 발명의 처리와 논리 플로우는 하나 또는 복수의 컴퓨터 프로그램을 실행하는 하나 또는 복수의 프로그램 가능한 컴퓨터에 의해 실행될 수 있으며, 입력 데이터에 기반하여 조작을 실행하여 출력을 생성함으로써 해당하는 기능을 실행한다. 상기 처리와 논리 플로우는 또한 예를 들면 FPGA(필드 프로그래머블 게이트 어레이) 또는 ASIC(전용 집적 회로)등의 전용 논리 회로에 의해 실행될 수 있으며, 또한 장치도 전용 논리 회로로 실현될 수 있다.
컴퓨터 프로그램의 실행에 적합한 컴퓨터는 예를 들면 범용 및/또는 전용 마이크로 프로세서 또는 임의의 기타 종류의 중심 처리 유닛을 포함한다. 일반적으로, 중심 처리 유닛은 판독 전용 메모리 및/또는 랜덤 액세스 메모리로부터 명령과 데이터를 수신하게 된다. 컴퓨터의 기본 컴포넌트는 명령을 실시 또는 실행하기 위한 중심 처리 유닛 및 명령과 데이터를 기억하기 위한 하나 또는 복수의 메모리 디바이스를 구비한다. 일반적으로, 컴퓨터는 자기 디스크, 자기 광학 디스크 또는 광학 디스크 등의 데이터를 기억하기 위한 하나 또는 복수의 대용량 기억 디바이스를 더 구비하거나, 또는 조작 가능하도록 당해 대 용량 기억 디바이스와 결합되어 데이터를 수신하거나 또는 데이터를 전송하거나, 또는 이 양자를 모두 포함한다. 그러나, 컴퓨터는 반드시 이러한 디바이스를 구비하는 것이 아니다. 한편, 컴퓨터는 다른 하나의 디바이스에 내장될 수 있는바, 예를 들면 휴대 전화, 개인 디지털 보조(PDA), 모바일 오디오 또는 비디오 플레이어, 게임 콘솔, 글로벌 포지셔닝 시스템(GPS) 수신기 또는 범용 시리얼 버스(USB) 플래시 드라이브 등의 포터블 기억 디바이스에 내장될 수 있고, 이러한 디바이스는 몇몇의 예에 지나지 않는다.
컴퓨터 프로그램 명령과 데이터의 기억에 적합한 컴퓨터 판독 가능 매체는 모든 형태의 비 휘발성 메모리, 매개 및 메모리 디바이스를 구비하는바, 예를 들면 반도체 메모리 디바이스(예를 들면 EPROM, EEPROM 및 플래시 디바이스), 자기 디스크(예를 들면 내부 하드 디스크 또는 이동 가능 디스크), 자기 광학 디스크 및 CD ROM 및 DVD-ROM디스크를 포함한다. 프로세서와 메모리는 전용 논리 회로에 의해 보완되거나 또는 전용 논리 회로에 구비될 수 있다.
본 발명은 많은 구체적인 실시의 세부 사항을 포함하지만, 이를 본 발명의 범위 또는 보호하려고 하는 범위를 한정하는 것으로 해석해서는 안되며, 주로 본 발명을 특정하는 몇몇의 실시예의 특징을 서술하기 위하여 사용된다. 본 발명의 복수의 실시예 중의 일부 특징은 단일 실시예에 조합되어 실시될 수도 있다. 서로 다른 한편, 단일 실시예 중의 각 특징은 복수의 실시예로 독립적으로 실시되거나 또는 임의의 적절한 서브 조합으로 실시될 수도 있다. 또한, 특징이 상기와 같이 특정의 조합으로 역할을 발휘하며, 또한 처음부터 상기와 같이 보호하는 것으로 주장했지만, 보호하는 것으로 주장한 조합 중의 하나 또는 복수의 특징은 경우에 따라 당해 조합으로부터 제외될 수도 있고, 또한 보호하는 것으로 주장한 조합은 서브 조합 또는 서브 조합의 변형을 지향할 수 있다.
마찬가지로, 도면에서 특정 순서에 따라 조작을 나타냈지만, 이는 이러한 조작을 나타낸 특정 순서에 따라 실행하도록 요구하거나 또는 순차적으로 실행하도록 요구하거나, 또는 예시한 모든 조작이 실행됨으로써 기대하는 결과가 실현되는 것을 요구하는 것으로 이해해서는 안된다. 경우에 따라 멀티 태스크 및 병렬 처리가 더 유리할 가능성이 있다. 한편, 상기의 실시예 중의 각 종의 시스템 모듈과 컴포넌트의 분리가 모든 실시예에서 모두 이렇게 분리되지 않으면 안되는 것으로 이해해서는 안되며, 또한 서술한 프로그램 컴포넌트와 시스템은 일반적으로 함께 단일 소프트웨어 제품에 통합되거나 또는 복수의 소프트웨어 제품에 패키징될 수 있음을 이해해야 한다.
따라서, 주제가 특정의 실시예가 이미 서술되었다. 기타 실시예는 첨부된 "특허 청구의 범위"의 범위 내에 있다. 경우에 따라 특허 청구의 범위에 기재되어 있는 동작은 기타 순서에 따라 실행될 경우에도 여전히 기대하는 결과가 실현될 수 있다. 한편, 도면에 나타낸 처리는 기대하는 결과를 실현하기 위하여, 반드시 나타낸 특정 순서 또는 순차를 필요로 하지 않는다. 일부 구현에 있어서, 멀티 태스크 및 병렬 처리가 더 유리할 가능성이 있다.
상기는 본 명세서의 하나 또는 복수의 실시예의 바람직한 실시예에 불과할 뿐, 본 명세서의 하나 또는 복수의 실시예를 한정하기 위하여 사용되는 것이 아니다. 본 명세서의 하나 또는 복수의 실시예의 정신과 원칙의 범위 내에서 행하여진 어떠한 수정, 등가 치환, 개량 등은 모두 본 명세서의 하나 또는 복수의 실시예가 보호하는 범위에 포함되어야 한다.
Claims (30)
- 인터렉티브 방법에 있어서,
카메라에 의해 수집된, 투명 표시 스크린을 이용하여 인터렉티브 오브젝트를 표시하기 위한 표시 디바이스의 주변의 이미지를 얻는 단계;
상기 이미지 내의 얼굴 및 인체 중의 적어도 하나에 대해 검출을 실행하여 검출 결과를 얻는 단계; 및
상기 검출 결과에 기반하여 상기 표시 디바이스의 상기 투명 표시 스크린 상에 표시된 상기 인터렉티브 오브젝트를 구동하여 응답을 실행하도록 하는 단계를 포함하는
것을 특징으로 하는 인터렉티브 방법. - 제1항에 있어서,
상기 표시 디바이스는 상기 투명 표시 스크린을 이용하여 상기 인터렉티브 오브젝트의 도영을 표시하거나 또는 바닥 판에 상기 인터렉티브 오브젝트의 도영을 표시하는
것을 특징으로 하는 인터렉티브 방법. - 제1항 또는 제2항에 있어서,
상기 인터렉티브 오브젝트는 입체 효과를 가지는 가상 인물을 포함하는
것을 특징으로 하는 인터렉티브 방법. - 제1항 내지 제3항 중 어느 한 항에 있어서,
상기 검출 결과는 상기 표시 디바이스의 현재 서비스 상태를 적어도 포함하고,
상기 현재 서비스 상태는 사용자를 기다리는 상태, 사용자가 떠난 상태, 사용자를 발견한 상태, 서비스 활성화 상태 및 서비스 중인 상태 중 임의의 하나를 포함하는
것을 특징으로 하는 인터렉티브 방법. - 제4항에 있어서,
상기 이미지 내의 얼굴 및 인체 중의 적어도 하나에 대해 검출을 실행하여 검출 결과를 얻는 단계는,
현재 시점에서 상기 얼굴 및 상기 인체가 검출되지 않은 동시에, 현재 시점 전의 소정의 시간대 내에서 상기 얼굴 및 상기 인체가 검출되지 않은 것에 응답하여, 상기 현재 서비스 상태를 상기 사용자를 기다리는 상태로 확정하는 단계, 또는,
현재 시점에서 상기 얼굴 및 상기 인체가 검출되지 않은 동시에, 현재 시점 전의 소정의 시간대 내에서 상기 얼굴 및 상기 인체가 검출된 것에 응답하여, 상기 현재 서비스 상태가 상기 사용자가 떠난 상태로 확정하는 단계, 또는,
현재 시점에 상기 얼굴 및 상기 인체 중의 적어도 하나가 검출된 것에 응답하여, 상기 표시 디바이스의 현재 서비스 상태를 사용자를 발견한 상태로 확정하는 단계를 포함하는
것을 특징으로 하는 인터렉티브 방법. - 제4항에 있어서,
상기 검출 결과는 사용자 속성 정보 및/또는 사용자 과거 조작 정보를 더 포함하고,
상기 인터렉티브 방법은,
상기 표시 디바이스의 상기 현재 서비스 상태를 상기 사용자를 발견한 상태로 확정한 후, 상기 이미지를 이용하여 상기 사용자 속성 정보를 얻고, 및/또는, 상기 사용자의 얼굴 및 인체 중의 적어도 하나의 특징 정보에 매칭되는 상기 사용자 과거 조작 정보를 검색하는 단계를 더 포함하는
것을 특징으로 하는 인터렉티브 방법. - 제1항 내지 제6항 중 어느 한 항에 있어서,
적어도 두 명의 사용자가 검출된 것에 응답하여, 상기 적어도 두 명의 사용자의 특징 정보를 얻는 단계;
상기 적어도 두 명의 사용자의 특징 정보에 기반하여 상기 적어도 두 명의 사용자 중에서 목표 사용자를 확정하는 단계; 및
상기 표시 디바이스의 상기 투명 표시 스크린 상에 표시된 상기 인터렉티브 오브젝트를 구동하여 상기 목표 사용자에 대해 응답을 실행하도록 하는 단계를 더 포함하는
것을 특징으로 하는 인터렉티브 방법. - 제1항 내지 제7항 중 어느 한 항에 있어서,
상기 표시 디바이스의 환경 정보를 얻는 단계를 더 포함하며,
상기 검출 결과에 기반하여 상기 표시 디바이스의 상기 투명 표시 스크린 상에 표시된 상기 인터렉티브 오브젝트를 구동하여 응답을 실행하도록 하는 단계는,
상기 검출 결과 및 상기 환경 정보에 기반하여 상기 표시 디바이스의 상기 투명 표시 스크린 상에 표시된 상기 인터렉티브 오브젝트를 구동하여 응답을 실행하도록 하는 단계를 포함하는
것을 특징으로 하는 인터렉티브 방법. - 제8항에 있어서,
상기 환경 정보는 상기 표시 디바이스의 지리 위치, 상기 표시 디바이스의 인터넷 프로토콜(IP) 주소 및 상기 표시 디바이스가 위치하는 영역의 날씨와 날짜 중 적어도 하나를 포함하는
것을 특징으로 하는 인터렉티브 방법. - 제8항 또는 제9항에 있어서,
상기 검출 결과 및 상기 환경 정보에 기반하여 상기 표시 디바이스의 상기 투명 표시 스크린 상에 표시된 상기 인터렉티브 오브젝트를 구동하여 응답을 실행하도록 하는 단계는,
상기 검출 결과 및 상기 환경 정보에 매칭되는 미리 설정한 응답 라벨을 얻는 단계; 및
상기 표시 디바이스의 상기 투명 표시 스크린 상에 표시된 상기 인터렉티브 오브젝트를 구동하여 상기 응답 라벨에 대응하는 응답을 실행하도록 하는 단계를 포함하는
것을 특징으로 하는 인터렉티브 방법. - 제10항에 있어서,
상기 표시 디바이스의 상기 투명 표시 스크린 상에 표시된 상기 인터렉티브 오브젝트를 구동하여 상기 응답 라벨에 대응하는 응답을 실행하도록 하는 단계는,
상기 응답 라벨을 미리 트레이닝한 신경망에 입력하고, 상기 신경망이 상기 응답 라벨에 대응하는 구동 내용을 출력하는 단계 - 상기 구동 내용은 상기 인터렉티브 오브젝트를 구동하여 해당하는 동작, 표정, 언어 중 하나 또는 복수를 출력하도록 하기 위한 것임 -를 포함하는
것을 특징으로 하는 인터렉티브 방법. - 제4항 내지 제11항 중 어느 한 항에 있어서,
상기 현재 서비스 상태가 상기 사용자를 발견한 상태로 확정된 것에 응답하여, 상기 인터렉티브 오브젝트를 구동하여 응답을 실행한 후, 상기 표시 디바이스의 주변의 이미지에서 검출된 사용자를 추적하는 단계; 및
상기 사용자를 추적하는 과정에서, 상기 사용자가 출력한 제1 트리거 정보가 검출된 것에 응답하여, 상기 표시 디바이스가 상기 서비스 활성화 상태로 되는 것을 확정하고, 상기 인터렉티브 오브젝트를 구동하여 상기 제1 트리거 정보에 매칭되는 서비스를 전시하도록 하는 단계를 더 포함하는
것을 특징으로 하는 인터렉티브 방법. - 제12항에 있어서,
상기 표시 디바이스가 상기 서비스 활성화 상태에 있을 때, 상기 사용자가 출력한 제2 트리거 정보가 검출된 것에 응답하여, 상기 표시 디바이스가 상기 서비스 중인 상태로 되는 것을 확정하고, 상기 인터렉티브 오브젝트를 구동하여 상기 제2 트리거 정보에 매칭되는 서비스를 전시하도록 하는 단계를 더 포함하는
것을 특징으로 하는 인터렉티브 방법. - 제4항 내지 제13항 중 어느 한 항에 있어서,
상기 현재 서비스 상태가 상기 사용자를 발견한 상태로 확정된 것에 응답하여, 상기 사용자의 상기 이미지 내의 위치에 기반하여, 상기 사용자의 상기 투명 표시 스크린에 전시되어 있는 상기 인터렉티브 오브젝트에 대한 위치 정보를 얻는 단계; 및
상기 인터렉티브 오브젝트가 상기 사용자를 향하도록, 상기 위치 정보에 기반하여 상기 인터렉티브 오브젝트의 방향을 조정하는 단계를 더 포함하는
것을 특징으로 하는 인터렉티브 방법. - 인터렉티브 장치에 있어서,
카메라에 의해 수집된, 투명 표시 스크린을 이용하여 인터렉티브 오브젝트를 표시하기 위한 표시 디바이스의 주변의 이미지를 얻기 위한 이미지 취득 유닛;
상기 이미지 내의 얼굴 및 인체 중의 적어도 하나에 대해 검출을 실행하여 검출 결과를 얻기 위한 검출 유닛; 및
상기 검출 결과에 기반하여 상기 표시 디바이스의 상기 투명 표시 스크린 상에 표시된 상기 인터렉티브 오브젝트를 구동하여 응답을 실행하도록 하기 위한 구동 유닛을 구비하는
것을 특징으로 하는 인터렉티브 장치. - 제15항에 있어서,
상기 표시 디바이스는 상기 투명 표시 스크린을 이용하여 상기 인터렉티브 오브젝트의 도영을 표시하거나 또는 바닥 판에 상기 인터렉티브 오브젝트의 도영을 표시하는
것을 특징으로 하는 인터렉티브 장치. - 제15항 또는 제16항에 있어서,
상기 인터렉티브 오브젝트는 입체 효과를 가지는 가상 인물을 포함하는
것을 특징으로 하는 인터렉티브 장치. - 제15항 내지 제17항 중 어느 한 항에 있어서,
상기 검출 결과는 상기 표시 디바이스의 현재 서비스 상태를 적어도 포함하고,
상기 현재 서비스 상태는 사용자를 기다리는 상태, 사용자가 떠난 상태, 사용자를 발견한 상태, 서비스 활성화 상태 및 서비스 중인 상태 중 임의의 하나를 포함하는
것을 특징으로 하는 인터렉티브 장치. - 제18항에 있어서,
상기 검출 유닛은,
현재 시점에서 상기 얼굴 및 상기 인체가 검출되지 않은 동시에, 현재 시점 전의 소정의 시간대 내에서 상기 얼굴 및 상기 인체가 검출되지 않은 것에 응답하여, 상기 현재 서비스 상태를 상기 사용자를 기다리는 상태로 확정하거나 또는,
현재 시점에서 상기 얼굴 및 상기 인체가 검출되지 않은 동시에, 현재 시점 전의 소정의 시간대 내에서 상기 얼굴 및 상기 인체가 검출된 것에 응답하여, 상기 현재 서비스 상태가 상기 사용자가 떠난 상태로 확정하거나 또는,
현재 시점에 상기 얼굴 및 상기 인체 중의 적어도 하나가 검출된 것에 응답하여, 상기 표시 디바이스의 현재 서비스 상태가 상기 사용자를 발견한 상태로 확정하는
것을 특징으로 하는 인터렉티브 장치. - 제19항에 있어서,
상기 검출 결과는 사용자 속성 정보 및/또는 사용자 과거 조작 정보를 더 포함하고,
상기 인터렉티브 장치는 정보 취득 유닛을 더 구비하며,
상기 정보 취득 유닛은,
상기 이미지를 이용하여 상기 사용자 속성 정보를 얻고, 및/또는, 상기 사용자의 얼굴 및 인체 중의 적어도 하나의 특징 정보에 매칭되는 상기 사용자 과거 조작 정보를 검색하는
것을 특징으로 하는 인터렉티브 장치. - 제15항 내지 제20항 중 어느 한 항에 있어서,
목표 확정 유닛을 더 구비하며,
상기 목표 확정 유닛은,
상기 검출 유닛에 의해 적어도 두 명의 사용자가 검출된 것에 응답하여, 상기 적어도 두 명의 사용자의 특징 정보를 얻고,
상기 적어도 두 명의 사용자의 특징 정보에 기반하여 상기 적어도 두 명의 사용자 중에서 목표 사용자를 확정하며,
여기서, 상기 구동 유닛은 상기 표시 디바이스의 상기 투명 표시 스크린 상에 표시된 상기 인터렉티브 오브젝트를 구동하여 상기 목표 사용자에 대해 응답을 실행하도록 하는
것을 특징으로 하는 인터렉티브 장치. - 제15항 내지 제21항 중 어느 한 항에 있어서,
상기 표시 디바이스의 환경 정보를 얻기 위한 환경 정보 취득 유닛을 더 구비하며,
상기 구동 유닛은,
상기 검출 결과 및 상기 환경 정보에 기반하여 상기 표시 디바이스의 상기 투명 표시 스크린 상에 표시된 상기 인터렉티브 오브젝트를 구동하여 응답을 실행하도록 하는
것을 특징으로 하는 인터렉티브 장치. - 제22항에 있어서,
상기 환경 정보는 상기 표시 디바이스의 지리 위치, 상기 표시 디바이스의 인터넷 프로토콜(IP) 주소 및 상기 표시 디바이스가 위치하는 영역의 날씨와 날짜 중 적어도 하나를 포함하는
것을 특징으로 하는 인터렉티브 장치. - 제22항 또는 제23항에 있어서,
상기 구동 유닛은,
상기 검출 결과 및 상기 환경 정보에 매칭되는 미리 설정한 응답 라벨을 얻고,
상기 표시 디바이스의 상기 투명 표시 스크린 상에 표시된 상기 인터렉티브 오브젝트를 구동하여 상기 응답 라벨에 대응하는 응답을 실행하도록 하는
것을 특징으로 하는 인터렉티브 장치. - 제24항에 있어서,
상기 구동 유닛은 또한,
상기 응답 라벨을 미리 트레이닝한 신경망에 입력하고, 상기 신경망을 통해 상기 응답 라벨에 대응하는, 상기 인터렉티브 오브젝트를 구동하여 해당하는 동작, 표정, 언어 중 하나 또는 복수를 출력하도록 하기 위한 구동 내용이 출력되는
것을 특징으로 하는 인터렉티브 장치. - 제18항 내지 제25항 중 어느 한 항에 있어서,
서비스 활성화 유닛을 더 구비하며,
상기 서비스 활성화 유닛은
상기 검출 유닛에 의해 상기 현재 서비스 상태가 상기 사용자를 발견한 상태로 검출된 것에 응답하여, 상기 구동 유닛이 상기 인터렉티브 오브젝트를 구동하여 응답을 실행하도록 한 후, 상기 표시 디바이스의 주변의 이미지에서 검출된 사용자를 추적하고,
상기 사용자를 추적하는 과정에서, 상기 사용자가 출력한 제1 트리거 정보가 검출된 것에 응답하여, 상기 표시 디바이스가 상기 서비스 활성화 상태로 되는 것을 확정하며, 상기 구동 유닛은 상기 인터렉티브 오브젝트를 구동하여 상기 제1 트리거 정보에 매칭되는 서비스를 전시하도록 하는
것을 특징으로 하는 인터렉티브 장치. - 제26항에 있어서,
서비스 유닛을 더 구비하며,
상기 서비스 유닛은,
상기 표시 디바이스가 상기 서비스 활성화 상태에 있을 때, 상기 사용자가 출력한 제2 트리거 정보가 검출된 것에 응답하여, 상기 표시 디바이스가 상기 서비스 중인 상태로 되는 것을 확정하며, 상기 구동 유닛은 상기 인터렉티브 오브젝트를 구동하여 상기 제2 트리거 정보에 매칭되는 서비스를 전시하도록 하는
것을 특징으로 하는 인터렉티브 장치. - 제18항 내지 제27항 중 어느 한 항에 있어서,
방향 조정 유닛을 더 구비하며,
상기 방향 조정 유닛은,
상기 검출 유닛에 의해 상기 현재 서비스 상태가 상기 사용자를 발견한 상태로 검출된 것에 응답하여, 상기 사용자의 상기 이미지 내의 위치에 기반하여, 상기 사용자의 상기 투명 표시 스크린에 전시되어 있는 상기 인터렉티브 오브젝트에 대한 위치 정보를 얻고,
상기 인터렉티브 오브젝트가 상기 사용자를 향하도록, 상기 위치 정보에 기반하여 상기 인터렉티브 오브젝트의 방향을 조정하는
것을 특징으로 하는 인터렉티브 장치. - 인터렉티브 디바이스에 있어서,
프로세서; 및
상기 프로세서에 의해 실행될 수 있는 명령을 저장하기 위한 메모리를 구비하며,
상기 명령이 실행될 때, 상기 프로세서로 하여금 제1항 내지 제14항 중 어느 한 항에 기재된 인터렉티브 방법을 실현하도록 하는
것을 특징으로 하는 인터렉티브 디바이스. - 컴퓨터 프로그램이 저장되어 있는 컴퓨터 판독 가능 기록 매체에 있어서,
상기 컴퓨터 프로그램이 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 제1항 내지 제14항 중 어느 한 항에 기재된 인터렉티브 방법을 실현하도록 하는
것을 특징으로 하는 컴퓨터 판독 가능 기록 매체.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910804635.X | 2019-08-28 | ||
| CN201910804635.XA CN110716641B (zh) | 2019-08-28 | 2019-08-28 | 交互方法、装置、设备以及存储介质 |
| PCT/CN2020/104291 WO2021036622A1 (zh) | 2019-08-28 | 2020-07-24 | 交互方法、装置、设备以及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20210129714A true KR20210129714A (ko) | 2021-10-28 |
Family
ID=69209534
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217031161A KR20210129714A (ko) | 2019-08-28 | 2020-07-24 | 인터렉티브 방법, 장치, 디바이스 및 기록 매체 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20220300066A1 (ko) |
| JP (1) | JP2022526511A (ko) |
| KR (1) | KR20210129714A (ko) |
| CN (1) | CN110716641B (ko) |
| TW (1) | TWI775135B (ko) |
| WO (1) | WO2021036622A1 (ko) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110716641B (zh) * | 2019-08-28 | 2021-07-23 | 北京市商汤科技开发有限公司 | 交互方法、装置、设备以及存储介质 |
| CN111640197A (zh) * | 2020-06-09 | 2020-09-08 | 上海商汤智能科技有限公司 | 一种增强现实ar特效控制方法、装置及设备 |
| CN113936033A (zh) * | 2021-09-18 | 2022-01-14 | 特斯联科技集团有限公司 | 基于人员跟踪识别算法驱动全息音乐实时定位方法和系统 |
| CN113989611B (zh) * | 2021-12-20 | 2022-06-28 | 北京优幕科技有限责任公司 | 任务切换方法及装置 |
| CN115309301A (zh) * | 2022-05-17 | 2022-11-08 | 西北工业大学 | 基于深度学习的Android手机端侧AR交互系统 |
| CN117631833B (zh) * | 2023-11-24 | 2024-08-02 | 深圳若愚科技有限公司 | 一种适用于大语言模型的交互式感知方法及计算机存储介质 |
Family Cites Families (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW543323B (en) * | 2000-10-03 | 2003-07-21 | Jestertek Inc | Multiple camera control system |
| US8749557B2 (en) * | 2010-06-11 | 2014-06-10 | Microsoft Corporation | Interacting with user interface via avatar |
| US9529424B2 (en) * | 2010-11-05 | 2016-12-27 | Microsoft Technology Licensing, Llc | Augmented reality with direct user interaction |
| KR20140063673A (ko) * | 2011-09-23 | 2014-05-27 | 탱고미, 인크. | 비디오 컨퍼런스 증강 |
| CN103513753B (zh) * | 2012-06-18 | 2017-06-27 | 联想(北京)有限公司 | 信息处理方法和电子设备 |
| JP5651639B2 (ja) * | 2012-06-29 | 2015-01-14 | 株式会社東芝 | 情報処理装置、情報表示装置、情報処理方法およびプログラム |
| KR102079097B1 (ko) * | 2013-04-09 | 2020-04-07 | 삼성전자주식회사 | 투명 디스플레이를 이용한 증강현실 구현 장치 및 그 방법 |
| JP6322927B2 (ja) * | 2013-08-14 | 2018-05-16 | 富士通株式会社 | インタラクション装置、インタラクションプログラムおよびインタラクション方法 |
| JP6201212B2 (ja) * | 2013-09-26 | 2017-09-27 | Kddi株式会社 | キャラクタ生成装置およびプログラム |
| US20160070356A1 (en) * | 2014-09-07 | 2016-03-10 | Microsoft Corporation | Physically interactive manifestation of a volumetric space |
| CN105518582B (zh) * | 2015-06-30 | 2018-02-02 | 北京旷视科技有限公司 | 活体检测方法及设备 |
| US20170185261A1 (en) * | 2015-12-28 | 2017-06-29 | Htc Corporation | Virtual reality device, method for virtual reality |
| CN105898346A (zh) * | 2016-04-21 | 2016-08-24 | 联想(北京)有限公司 | 控制方法、电子设备及控制系统 |
| KR101904453B1 (ko) * | 2016-05-25 | 2018-10-04 | 김선필 | 인공 지능 투명 디스플레이의 동작 방법 및 인공 지능 투명 디스플레이 |
| US9906885B2 (en) * | 2016-07-15 | 2018-02-27 | Qualcomm Incorporated | Methods and systems for inserting virtual sounds into an environment |
| US9983684B2 (en) * | 2016-11-02 | 2018-05-29 | Microsoft Technology Licensing, Llc | Virtual affordance display at virtual target |
| US20180273345A1 (en) * | 2017-03-25 | 2018-09-27 | Otis Elevator Company | Holographic elevator assistance system |
| WO2019067901A2 (en) * | 2017-09-29 | 2019-04-04 | Apple Inc. | USER INTERACTIONS BASED ON THE LOOK |
| EP3744086A1 (en) * | 2018-01-22 | 2020-12-02 | Apple Inc. | Method and device for tailoring a synthesized reality experience to a physical setting |
| JP2019139170A (ja) * | 2018-02-14 | 2019-08-22 | Ｇａｔｅｂｏｘ株式会社 | 画像表示装置、画像表示方法および画像表示プログラム |
| CN108665744A (zh) * | 2018-07-13 | 2018-10-16 | 王洪冬 | 一种智能化的英语辅助学习系统 |
| CN109547696B (zh) * | 2018-12-12 | 2021-07-30 | 维沃移动通信（杭州）有限公司 | 一种拍摄方法及终端设备 |
| CN110716641B (zh) * | 2019-08-28 | 2021-07-23 | 北京市商汤科技开发有限公司 | 交互方法、装置、设备以及存储介质 |
| CN110716634A (zh) * | 2019-08-28 | 2020-01-21 | 北京市商汤科技开发有限公司 | 交互方法、装置、设备以及显示设备 |
-
2019
- 2019-08-28 CN CN201910804635.XA patent/CN110716641B/zh active Active
-
2020
- 2020-07-24 JP JP2021556966A patent/JP2022526511A/ja active Pending
- 2020-07-24 KR KR1020217031161A patent/KR20210129714A/ko not_active Application Discontinuation
- 2020-07-24 WO PCT/CN2020/104291 patent/WO2021036622A1/zh active Application Filing
- 2020-08-25 TW TW109128919A patent/TWI775135B/zh active
-
2022
- 2022-02-25 US US17/680,837 patent/US20220300066A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021036622A1 (zh) | 2021-03-04 |
| TWI775135B (zh) | 2022-08-21 |
| JP2022526511A (ja) | 2022-05-25 |
| CN110716641A (zh) | 2020-01-21 |
| TW202109247A (zh) | 2021-03-01 |
| CN110716641B (zh) | 2021-07-23 |
| US20220300066A1 (en) | 2022-09-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102707660B1 (ko) | 인터렉티브 방법, 장치, 디바이스 및 기록 매체 | |
| KR20210129714A (ko) | 인터렉티브 방법, 장치, 디바이스 및 기록 매체 | |
| US9754420B2 (en) | Mixed reality interactions | |
| CN106562792B (zh) | 信息提示装置的控制方法和信息提示装置 | |
| US9594537B2 (en) | Executable virtual objects associated with real objects | |
| US9412201B2 (en) | Mixed reality filtering | |
| CN105027033B (zh) | 用于选择扩增现实对象的方法、装置和计算机可读媒体 | |
| CN105934760B (zh) | 利用计算机视觉辅助的适应性图像搜索 | |
| US8810513B2 (en) | Method for controlling interactive display system | |
| US8723796B2 (en) | Multi-user interactive display system | |
| US10545339B2 (en) | Information processing method and information processing system | |
| US20140192084A1 (en) | Mixed reality display accommodation | |
| JP2019197499A (ja) | プログラム、記録媒体、拡張現実感提示装置及び拡張現実感提示方法 | |
| KR20130027081A (ko) | 직관적 컴퓨팅 방법들 및 시스템들 | |
| CN108491534A (zh) | 虚拟环境中的信息展示方法、装置及计算机设备 | |
| CN111698564A (zh) | 信息推荐方法、装置、设备及存储介质 | |
| CN109658167A (zh) | 试妆镜设备及其控制方法、装置 | |
| JP2019101457A (ja) | ヘッドマウントデバイスを介して情報を提供するためにコンピュータによって実行される方法、当該方法をコンピュータに実行させるプログラム、および、情報処理装置 | |
| WO2023093329A1 (zh) | 信息输出方法、头戴式显示设备及可读存储介质 | |
| US20220189128A1 (en) | Temporal segmentation | |
| NL2004709C2 (en) | System and method for communicating information to a public. | |
| US20240104863A1 (en) | Contextual presentation of extended reality content | |
| CN113532464B (en) | Control method, personal authentication device, and recording medium | |
| Hsieh et al. | A Virtual Interactive System for Merchandising Stores |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| WITB | Written withdrawal of application |