KR20210131415A - 인터렉티브 방법, 장치, 디바이스 및 기록 매체 - Google Patents
인터렉티브 방법, 장치, 디바이스 및 기록 매체 Download PDFInfo
- Publication number
- KR20210131415A KR20210131415A KR1020217031185A KR20217031185A KR20210131415A KR 20210131415 A KR20210131415 A KR 20210131415A KR 1020217031185 A KR1020217031185 A KR 1020217031185A KR 20217031185 A KR20217031185 A KR 20217031185A KR 20210131415 A KR20210131415 A KR 20210131415A
- Authority
- KR
- South Korea
- Prior art keywords
- interactive
- objects
- user
- information
- image
- Prior art date
Links
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 240
- 238000000034 method Methods 0.000 title claims abstract description 71
- 230000004044 response Effects 0.000 claims abstract description 86
- 238000001514 detection method Methods 0.000 claims abstract description 44
- 230000000694 effects Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 13
- 238000012790 confirmation Methods 0.000 claims description 13
- 230000033001 locomotion Effects 0.000 description 15
- 238000012545 processing Methods 0.000 description 14
- 230000003993 interaction Effects 0.000 description 11
- 230000009471 action Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000014509 gene expression Effects 0.000 description 6
- 230000008449 language Effects 0.000 description 6
- 230000004913 activation Effects 0.000 description 5
- 230000007613 environmental effect Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008921 facial expression Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008450 motivation Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000009118 appropriate response Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G06K9/00362—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
- Transition And Organic Metals Composition Catalysts For Addition Polymerization (AREA)
- Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
- Holo Graphy (AREA)
Abstract
본 발명은 인터렉티브 방법, 장치, 디바이스 및 기록 매체에 관한 것이다. 상기 방법은 카메라에 의해 수집된, 투명 표시 스크린을 이용하여 인터렉티브 오브젝트를 표시하기 위한 표시 디바이스의 주변의 이미지를 얻는 것; 상기 이미지 내의 관련된 하나 또는 복수의 오브젝트에 대해 검출을 실행하는 것; 상기 이미지 내의 관련된 적어도 두 개의 오브젝트가 검출된 것에 응답하여, 검출된 상기 적어도 두 개의 오브젝트의 특징 정보에 기반하여, 상기 적어도 두 개의 오브젝트 중에서 목표 오브젝트를 선택하는 것; 및 상기 목표 오브젝트에 대한 검출 결과에 기반하여, 상기 표시 디바이스의 투명 표시 스크린 상에 표시된 상기 인터렉티브 오브젝트를 구동하여 상기 목표 오브젝트에 대해 응답을 실행하도록 하는 것을 포함한다.
Description
본 발명은 컴퓨터 비전의 기술 분야에 관한 것으로, 구체적으로 인터렉티브 방법, 장치, 디바이스 및 기록 매체에 관한 것이다.
대부분의 인간과 컴퓨터 사이의 인터렉티브 방법은 사용자을 통해 버튼 클릭, 터치, 음성에 기반하여 입력을 실행하고, 디바이스를 통해 표시 스크린 상에 이미지 및 텍스트를 표시하여 응답을 실행한다. 현재 대부분의 가상 인물은 음성 어시스턴트의 기초로 개량하여 얻어진 것이며, 디바이스의 음성만을 출력하고, 사용자와 가상 인물 사이의 인터렉티브는 아직 표면 상에 정체되어 있다.
본 발명의 실시예는 인터렉티브 해결 방안을 제공한다.
제1 양태에 따르면, 인터렉티브 방법을 제공하는 바, 상기 방법은 카메라에 의해 수집된, 투명 표시 스크린을 이용하여 인터렉티브 오브젝트를 표시하기 위한 표시 디바이스의 주변의 이미지를 얻는 것; 상기 이미지 내의 관련된 하나 또는 복수의 오브젝트에 대해 검출을 실행하는 것; 상기 이미지 내의 관련된 적어도 두 개의 오브젝트가 검출된 것에 응답하여, 검출된 상기 적어도 두 개의 오브젝트의 특징 정보에 기반하여, 상기 적어도 두 개의 오브젝트 중에서 목표 오브젝트를 선택하는 것; 및 상기 목표 오브젝트에 대한 검출 결과에 기반하여, 상기 표시 디바이스의 투명 표시 스크린 상에 표시된 상기 인터렉티브 오브젝트를 구동하여 상기 목표 오브젝트에 대해 응답을 실행하도록 하는 것을 포함한다.
표시 디바이스의 주변의 이미지에 대해 오브젝트 검출을 실행하고, 오브젝트의 특징 정보에 기반하여 목표 오브젝트를 선택하며, 상기 표시 디바이스의 투명 표시 스크린 상에 표시된 상기 인터렉티브 오브젝트를 구동하여 상기 목표 오브젝트에 대해 응답을 실행하도록 함으로써, 복수의 오브젝트가 있는 장면에서 적절한 목표 오브젝트를 선택하여 인터렉티브를 실행할 수 있으며, 인터렉티브 효율을 개선하고, 인터렉티브 체험도 개선할 수 있다.
일 예에 있어서, 상기 특징 정보는 오브젝트 자세 정보 및/또는 오브젝트 속성 정보를 포함한다.
일 예에 있어서, 상기 검출된 상기 적어도 두 개의 오브젝트의 특징 정보에 기반하여 상기 적어도 두 개의 오브젝트 중에서 목표 오브젝트를 선택하는 것은, 상기 적어도 두 개의 오브젝트 중 각 오브젝트의 오브젝트 자세 정보와 소정의 자세 특징 사이의 자세 매칭 정도 또는 상기 적어도 두 개의 오브젝트 중 각 오브젝트의 오브젝트 속성 정보와 소정의 속성 특징 사이의 속성 매칭 정도에 기반하여 상기 적어도 두 개의 오브젝트 중에서 상기 목표 오브젝트를 선택하는 것을 포함한다.
각 오브젝트의 오브젝트 자세 정보, 오브젝트 속성 정보 등의 특징 정보에 기반하여 복수의 오브젝트 중에서 목표 오브젝트를 선택함으로써, 적절한 오브젝트를 인터렉티브를 실행하는 목표 오브젝트로 선택할 수 있으며, 인터렉티브 효율과 서비스 체험을 개선할 수 있다.
일 예에 있어서, 상기 검출된 상기 적어도 두 개의 오브젝트의 특징 정보에 기반하여, 상기 적어도 두 개의 오브젝트 중에서 목표 오브젝트를 선택하는 것은, 상기 적어도 두 개의 오브젝트 중 각 오브젝트의 오브젝트 자세 정보에 기반하여 소정의 자세 특징을 충족시키는 하나 또는 복수의 제1 오브젝트를 선택하는 것; 및 상기 제1 오브젝트가 적어도 두 개 있을 경우, 상기 인터렉티브 오브젝트를 구동하여 상기 적어도 두 개의 제1 오브젝트를 안내하여 각각 소정의 정보를 출력하도록 하고, 검출된 상기 제1 오브젝트가 상기 소정의 정보를 각각 출력하는 순서에 기반하여 상기 목표 오브젝트를 확정하는 것을 포함한다.
제1 오브젝트를 안내하여 소정의 정보를 출력하도록 하고, 소정의 자세 특징을 충족시키는 오브젝트 중에서 협력할 의욕이 높은 목표 오브젝트를 선택할 수 있으며, 인터렉티브 효율과 서비스 체험을 개선할 수 있다.
일 예에 있어서, 상기 검출된 상기 적어도 두 개의 오브젝트의 특징 정보에 기반하여 상기 적어도 두 개의 오브젝트 중에서 목표 오브젝트를 선택하는 것은, 상기 적어도 두 개의 오브젝트 중 각 오브젝트의 오브젝트 자세 정보에 기반하여 소정의 자세 특징을 충족시키는 하나 또는 복수의 제1 오브젝트를 선택하는 것; 및 상기 제1 오브젝트가 적어도 두 개 있을 경우, 상기 적어도 두 개의 제1 오브젝트의 각각의 오브젝트 속성 정보에 기반하여 상기 적어도 두 개의 제1 오브젝트의 각각의 인터렉티브 응답 우선 레벨을 확정하고, 상기 인터렉티브 응답 우선 레벨에 기반하여 상기 목표 오브젝트를 확정하는 것을 포함한다.
오브젝트 속성 정보, 오브젝트 자세 정보 및 적용 장면과 결합시켜 복수의 검출된 오브젝트 중에서 목표 오브젝트를 선택하고, 서로 다른 인터렉티브 응답 우선 레벨을 설정하여 목표 오브젝트에 대해 해당하는 서비스를 제공함으로써, 적절한 오브젝트를 인터렉티브를 실행하는 목표 오브젝트로 선택할 수 있으며, 인터렉티브 효율과 서비스 체험을 개선할 수 있다.
일 예에 있어서, 상기 방법은 상기 적어도 두 개의 오브젝트 중에서 목표 오브젝트를 선택한 후, 상기 인터렉티브 오브젝트를 구동하여 상기 목표 오브젝트에 대해 확인 정보를 출력하도록 하는 것을 더 포함한다.
목표 오브젝트에 확인 정보를 출력함으로써, 오브젝트가 현재 인터렉티브 상태에 있음을 명확히 할 수 있으며, 인터렉티브 효율을 개선할 수 있다.
일 예에 있어서, 상기 방법은 현재 시점에서 상기 이미지로부터 오브젝트가 검출되지 않은 동시에, 현재 시점 전의 소정의 시간대 내에서 상기 이미지로부터 오브젝트가 검출되지 않은 동시에, 오브젝트가 추적되지 않은 것에 응답하여, 상기 인터렉티브 오브젝트의 인터렉티브 대기 오브젝트가 비어 있는 것으로 확정하고, 상기 표시 디바이스가 오브젝트 대기 상태로 되도록 하는 것을 더 포함한다.
일 예에 있어서, 상기 방법은 현재 시점에서 상기 이미지로부터 오브젝트가 검출되지 않은 동시에, 현재 시점 전의 소정의 시간대 내에서 상기 이미지로부터 오브젝트가 검출되었거나 또는 오브젝트가 추적된 것에 응답하여, 상기 인터렉티브 오브젝트의 인터렉티브 대기 오브젝트가 가장 최근에 인터렉티브를 실행한 오브젝트인 것으로 확정하는 것을 포함한다.
인터렉티브 오브젝트와 인터렉티브를 실행하는 오브젝트가 없을 경우, 디바이스가 현재 오브젝트 대기 상태 또는 오브젝트가 떠난 상태에 있는 것으로 확정하고, 상기 인터렉티브 오브젝트를 구동하여 기타 응답을 실행하도록 함으로써, 상기 인터렉티브 오브젝트의 전시 상태가 실제의 인터렉티브 요건에 더욱 부합되도록 할 수 있으며, 맞춤형이 더욱 정확해질 수 있다.
일 예에 있어서, 상기 표시 디바이스는 상기 투명 표시 스크린을 이용하여 상기 인터렉티브 오브젝트의 도영을 표시하거나, 또는 바닥 판에 상기 인터렉티브 오브젝트의 도영을 표시한다.
투명 표시 스크린 상에 입체 화면을 표시하고, 투명 표시 스크린 또는 바닥 판 상에 도영을 형성하여 입체 효과를 실현함으로써, 표시된 인터렉티브 오브젝트가 더욱 입체적이고 선명해지도록 할 수 있다.
일 예에 있어서, 상기 인터렉티브 오브젝트는 입체 효과를 가지는 가상 인물을 포함한다.
입체 효과를 가지는 가상 인물을 이용하여 오브젝트와 인터렉티브를 실행함으로써, 인터렉티브 과정이 더욱 자연스러워지도록 할 수 있으며, 오브젝트의 인터렉티브 익스피리언스를 개선할 수 있다.
제2 양태에 따르면, 인터렉티브 장치를 제공하는 바, 상기 장치는 카메라에 의해 수집된, 투명 표시 스크린을 이용하여 인터렉티브 오브젝트를 표시하기 위한 표시 디바이스의 주변의 이미지를 얻기 위한 이미지 취득 유닛; 상기 이미지 내의 관련된 하나 또는 복수의 오브젝트에 대해 검출을 실행하기 위한 검출 유닛; 상기 검출 유닛을 이용하여 상기 이미지 내의 관련된 적어도 두 개의 오브젝트가 검출된 것에 응답하여, 검출된 상기 적어도 두 개의 오브젝트의 특징 정보에 기반하여, 상기 적어도 두 개의 오브젝트 중에서 목표 오브젝트를 선택하기 위한 오브젝트 선택 유닛; 및 상기 목표 오브젝트에 대한 검출 결과에 기반하여 상기 표시 디바이스의 투명 표시 스크린 상에 표시된 상기 인터렉티브 오브젝트를 구동하여 상기 목표 오브젝트에 대해 응답을 실행하도록 하기 위한 구동 유닛을 구비한다.
일 예에 있어서, 상기 특징 정보는 오브젝트 자세 정보 및/또는 오브젝트 속성 정보를 포함한다.
일 예에 있어서, 상기 오브젝트 선택 유닛은 구체적으로 상기 적어도 두 개의 오브젝트 중 각 오브젝트의 오브젝트 자세 정보와 소정의 자세 특징 사이의 자세 매칭 정도 또는 상기 적어도 두 개의 오브젝트 중 각 오브젝트의 오브젝트 속성 정보와 소정의 속성 특징 사이의 속성 매칭 정도에 기반하여 상기 적어도 두 개의 오브젝트 중에서 상기 목표 오브젝트를 선택한다.
일 예에 있어서, 상기 오브젝트 선택 유닛은 구체적으로 상기 적어도 두 개의 오브젝트 중 각 오브젝트의 오브젝트 자세 정보에 기반하여, 소정의 자세 특징을 충족시키는 하나 또는 복수의 제1 오브젝트를 선택하고, 상기 제1 오브젝트가 적어도 두 개 있을 경우, 상기 구동 유닛이 상기 인터렉티브 오브젝트를 구동하여 상기 적어도 두 개의 제1 오브젝트를 안내하여 각각 소정의 정보를 출력하도록 하며, 검출된 상기 제1 오브젝트가 상기 소정의 정보를 각각 출력하는 순서에 기반하여 상기 목표 오브젝트를 확정한다.
일 예에 있어서, 상기 오브젝트 선택 유닛은 구체적으로 상기 적어도 두 개의 오브젝트 중 각 오브젝트의 오브젝트 자세 정보에 기반하여 소정의 자세 특징을 충족시키는 하나 또는 복수의 제1 오브젝트를 선택하고, 상기 제1 오브젝트가 적어도 두 개 있을 경우, 상기 적어도 두 개의 제1 오브젝트의 각각의 오브젝트 속성 정보에 기반하여 상기 적어도 두 개의 제1 오브젝트의 각각의 인터렉티브 응답 우선 레벨을 확정하며, 상기 인터렉티브 응답 우선 레벨에 기반하여 상기 목표 오브젝트를 확정한다.
일 예에 있어서, 상기 장치는 확인 유닛을 더 구비하며, 상기 확인 유닛은 상기 오브젝트 선택 유닛이 상기 적어도 두 개의 오브젝트 중에서 목표 오브젝트를 선택한 것에 응답하여, 상기 구동 유닛이 상기 인터렉티브 오브젝트를 구동하여 상기 목표 오브젝트에 대해 확인 정보를 출력하도록 한다.
일 예에 있어서, 상기 장치는 대기 상태 유닛을 더 구비하며, 상기 대기 상태 유닛은 상기 검출 유닛에 의해 현재 시점에서 상기 이미지로부터 오브젝트가 검출되지 않은 동시에, 현재 시점 전의 소정의 시간대 내에서 상기 이미지로부터 오브젝트가 검출되지 않은 동시에, 오브젝트가 추적되지 않은 것에 응답하여, 상기 인터렉티브 오브젝트의 인터렉티브 대기 오브젝트가 비어 있는 것으로 확정하고, 상기 표시 디바이스가 오브젝트 대기 상태로 되도록 한다.
일 예에 있어서, 상기 장치는 종료 상태 유닛을 더 구비하며, 상기 종료 상태 유닛은 상기 검출 유닛에 의해 현재 시점에서 상기 이미지로부터 오브젝트가 검출되지 않은 동시에, 현재 시점 전의 소정의 시간대 내에서 상기 이미지로부터 오브젝트가 검출되었거나 또는 오브젝트가 추적된 것에 응답하여, 상기 인터렉티브 오브젝트의 인터렉티브 대기 오브젝트가 가장 최근에 인터렉티브를 실행한 오브젝트인 것으로 확정한다.
일 예에 있어서, 상기 표시 디바이스는 또한 상기 투명 표시 스크린을 이용하여 상기 인터렉티브 오브젝트의 도영을 표시하거나, 또는 상기 표시 디바이스는 또한 바닥 판에 상기 인터렉티브 오브젝트의 도영을 표시한다.
일 예에 있어서, 상기 인터렉티브 오브젝트는 입체 효과를 가지는 가상 인물을 포함한다.
제3 양태에 따르면, 인터렉티브 디바이스를 제공하는 바, 상기 디바이스는 프로세서; 및 프로세서에 의해 실행될 수 있는 명령을 저장하기 위한 메모리를 구비하고, 상기 명령이 실행될 때, 상기 프로세서로 하여금 본 발명에 의해 제공되는 임의의 실시 형태에 기재된 인터렉티브 방법을 실현하도록 한다.
제4 양태에 따르면, 컴퓨터 프로그램이 저장되어 있는 컴퓨터 판독 가능 기록 매체를 제공하는 바, 상기 컴퓨터 프로그램이 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 본 발명에 의해 제공되는 임의의 실시 형태에 기재된 인터렉티브 방법을 실현하도록 한다.
도 1은 본 발명의 적어도 하나의 실시예에 따른 인터렉티브 방법을 나타내는 플로우 챠트다.
도 2는 본 발명의 적어도 하나의 실시예에 따른 인터렉티브 오브젝트를 표시하는 모식도이다
도 3은 본 발명의 적어도 하나의 실시예에 따른 인터렉티브 장치의 구성을 나타내는 모식도이다.
도 4는 본 발명의 적어도 하나의 실시예에 따른 인터렉티브 디바이스의 구성을 나타내는 모식도이다.
도 2는 본 발명의 적어도 하나의 실시예에 따른 인터렉티브 오브젝트를 표시하는 모식도이다
도 3은 본 발명의 적어도 하나의 실시예에 따른 인터렉티브 장치의 구성을 나타내는 모식도이다.
도 4는 본 발명의 적어도 하나의 실시예에 따른 인터렉티브 디바이스의 구성을 나타내는 모식도이다.
여기서 예시적인 실시예를 상세하게 설명하며, 그 예를 도면에 나타낸다. 이하의 서술이 도면을 언급할 때에, 별도의 설명이 없는 한, 기타 도면에서의 동일한 숫자는 동일한 요소 또는 유사한 요소를 나타낸다. 이하의 예시적인 실시예로 서술되는 실시 형태는 본 발명과 일치한 모든 실시 형태를 대표하지 않는다. 반대로, 이들은 첨부된 특허 청구의 범위에 기재된, 본 발명의 몇몇의 양태와 일치한 장치 및 방법의 예에 지나치지 않는다.
본 명세서 중의 "및/또는 "이라는 용어는 단지 하나의 관련 대상의 관련 관계를 나타내는바, 예를 들면 A 및/또는 B는 A가 단독적으로 존재하는 것, A와 B가 동시에 존재하는 것 및 B가 단독적으로 존재하는 것과 같은 세 종류의 관계가 존재할 수 있음을 의미한다. 또한 본 명세서 중의 "적어도 하나"라는 용어는 복수개 중의 임의의 하나 또는 복수개 중의 적어도 두 종류의 임의의 조합을 의미하는 바, 예를 들면 A, B, C 중의 적어도 하나를 포함하는 것은 A, B 및 C로 구성된 세트 중에서 선택한 임의 하나 또는 복수의 요소를 의미한다.
도 1은 본 발명의 적어도 하나의 실시예에 따른 인터렉티브 방법을 나타내는 플로우 챠트이며, 도 1에 나타낸 바와 같이, 상기 방법은 단계101∼단계104를 포함한다.
단계101에 있어서, 카메라에 의해 수집된, 투명 표시 스크린을 이용하여 인터렉티브 오브젝트를 표시하기 위한 표시 디바이스의 주변의 이미지를 얻는다.
상기 표시 디바이스의 주변은 상기 표시 디바이스의 소정의 범위 내의 임의의 방향을 포함하는 바, 예를 들면 상기 표시 디바이스의 전방, 측방, 후방, 상방 중의 하나 또는 복수의 방향을 포함할 수 있다.
이미지를 수집하기 위한 카메라는 표시 디바이스 상에 배치될 수도 있고, 표시 디바이스로부터 독립된 외부 디바이스일 수도 있다. 또한 상기 카메라가 수집한 이미지는 표시 디바이스의 투명 표시 스크린 상에 표시될 수 있다. 상기 카메라의 수량은 복수일 수 있다.
선택적으로, 카메라가 수집한 이미지는 비디오 스트림 중의 하나의 프레임일 수도 있고, 실시간으로 취득된 이미지일 수도 있다.
단계102에 있어서, 상기 이미지 내의 관련된 하나 또는 복수의 사용자에 대해 검출을 실행한다. 본 명세서에 기재된 이미지 내의 하나 또는 복수의 사용자란, 이미지 검출 과정에서 관련되는 하나 또는 복수의 오브젝트를 가리킨다. 이하의 설명에서 "오브젝트"와 "사용자"는 서로 바꾸어 사용될 수 있으며, 설명의 편리를 위하여 "사용자"라고 총칭한다.
표시 디바이스의 주변의 이미지 내의 사용자에 대해 검출을 실행함으로써, 예를 들면 상기 표시 디바이스의 주변에 사용자가 있는지 여부, 몇 명의 사용자가 있는지와 같은 검출 결과를 얻을 수 있고, 또한 예를 들면 이미지 인식 기술을 이용하여 상기 이미지로부터 취득한 특징 정보 또는 상기 사용자의 얼굴 및/또는 인체 이미지에 기반하여 표시 디바이스 측 또는 클라우드 측에서 검색을 실행하여 얻은 특징 정보와 같은, 검출된 사용자에 관한 정보를 얻을 수 있다. 당업자는 상기 검출 결과는 기타 정보를 더 포함할 수 있음을 이해해야 한다.
단계103에 있어서, 상기 이미지 내의 관련된 적어도 두 명의 사용자가 검출된 것에 응답하여, 검출된 상기 적어도 두 명의 사용자의 특징 정보에 기반하여 상기 적어도 두 명의 사용자 중에서 목표 사용자를 선택한다.
다른 적용 장면에 대해, 해당하는 특징 정보에 기반하여 사용자를 선택할 수 있다.
단계104에 있어서, 상기 목표 사용자에 대한 검출 결과에 기반하여, 상기 표시 디바이스의 투명 표시 스크린 상에 표시된 상기 인터렉티브 오브젝트를 구동하여 상기 목표 사용자에 대해 응답을 실행하도록 한다.
다른 목표 사용자에 대한 검출 결과에 응답하여, 상기 인터렉티브 오브젝트를 구동하여 상기 다른 목표 사용자에 대해 해당하는 응답을 실행한다.
본 발명의 실시예에 있어서, 표시 디바이스의 주변의 이미지에 대해 사용자 검출을 실행하고, 사용자의 특징 정보에 기반하여 목표 사용자를 선택하며, 상기 표시 디바이스의 투명 표시 스크린 상에 표시된 상기 인터렉티브 오브젝트를 구동하여 상기 목표 사용자에 대해 응답을 실행하도록 함으로써, 복수의 사용자 장면에서 현재 장면에 적합한 목표 사용자를 선택하여 인터렉티브를 실행할 수 있으며, 인터렉티브 효율과 서비스 체험을 개선할 수 있다.
여러 실시예에 있어서, 상기 표시 디바이스의 투명 표시 스크린에 표시되는 인터렉티브 오브젝트는 입체 효과를 가지는 가상 인물을 포함한다.
입체 효과를 가지는 가상 인물을 이용하여 사용자와 인터렉티브를 실행함으로써, 인터렉티브 과정이 더욱 자연스러워지도록 할 수 있으며, 사용자의 인터렉티브 익스피리언스를 향상시킬 수 있다.
당업자는 인터렉티브 오브젝트는 입체 효과를 가지는 가상 인물에 한정되지 않으며, 가상 동물, 가상 물품, 만화 캐릭터 등과 같은 인터렉티브 기능을 실현할 수 있는 기타 가상 이미지일 수도 있음을 이해해야 한다.
여러 실시예에 있어서, 이하의 방법을 통해 투명 표시 스크린에 표시되는 인터렉티브 오브젝트의 입체 효과를 실현할 수 있다.
인간의 눈이 본 물체가 입체인지 여부는 일반적으로 물체 자체의 형상 및 물체의 빛과 그림자의 효과에 의해 결정된다. 당해 빛과 그림자의 효과는 예를 들면 물체의 서로 다른 영역의 밝은 빛과 어두운 빛 및 빛이 물체에 조사된 후 지면에 형성된 투영(즉 도영임)이다.
일 예에 있어서, 상기 원리를 이용하여, 투명 표시 스크린 상에 인터렉티브 오브젝트의 입체 비디오 또는 이미지의 화면을 표시하는 동시에, 투명 표시 스크린 상에 당해 인터렉티브 오브젝트의 도영을 더 표시함으로써, 인간의 눈이 입체 효과를 가지는 인터렉티브 오브젝트를 볼 수 있도록 한다.
다른 일 예에 있어서, 상기 투명 표시 스크린의 하방에는 바닥 판이 배치되어 있으며, 또한 상기 투명 표시 스크린은 상기 바닥 판에 대해 수직되거나 경사된다. 투명 표시 스크린에 인터렉티브 오브젝트의 입체 비디오 또는 이미지의 화면을 표시하는 동시에, 상기 바닥 판에 상기 인터렉티브 오브젝트의 도영을 표시함으로써, 인간의 눈이 입체 효과를 가지는 인터렉티브 오브젝트를 볼 수 있도록 한다.
여러 실시예에 있어서, 상기 표시 디바이스는 박스 바디를 더 포함하며, 또한 상기 박스 바디의 정면은 투명하게 설계되는바, 예를 들면 유리, 플라스틱 등의 재료로 투명 설계를 실현한다. 박스 바디의 정면에서 투명 표시 스크린의 화면과 투명 표시 스크린 또는 바닥 판 상의 화면의 도영을 볼 수 있고, 인간의 눈이 입체 효과를 가지는 인터렉티브 오브젝트를 볼 수 있도록 하는 바, 도 2에 나타낸 바와 같다.
여러 실시예에 있어서, 박스 바디 내에는 하나 또는 복수의 광원이 더 배치되어 투명 표시 스크린에 대해 빛을 제공한다.
본 발명의 실시예에 있어서, 투명 표시 스크린 상에 인터렉티브 오브젝트의 입체 비디오 또는 이미지의 화면을 표시하고, 투명 표시 스크린 또는 바닥 판에 당해 인터렉티브 오브젝트의 도영을 형성하여 입체 효과를 실현함으로써, 표시된 인터렉티브 오브젝트가 더욱 입체적이고 선명해지도록 할 수 있으며, 사용자의 인터렉티브 익스피리언스를 향상시킬 수 있다.
여러 실시예에 있어서, 상기 특징 정보는 사용자 자세 정보 및/또는 사용자 속성 정보를 포함하고, 사용자 자세 정보 및/또는 사용자 속성 정보에 기반하여 검출된 적어도 두 명의 사용자 중에서 목표 사용자를 선택할 수 있다.
여기서, 상기 사용자 자세 정보란, 이미지에 대해 영상 식별을 실행하여 얻은 사용자의 동작, 제스처 등의 특징 정보를 가리킨다. 사용자 속성 정보란, 사용자 자체에 관한 특징 정보를 가리키고, 상기 사용자의 신분(예를 들면 VIP사용자 인지 여부), 서비스 기록, 현재의 장소에 도달하는 시간 등을 포함한다. 상기 속성 특징 정보는 표시 디바이스 측 또는 클라우드 측에 저장되어 있는 사용자 과거 기록으로부터 얻을 수 있고, 상기 사용자 과거 기록은 상기 표시 디바이스 측 또는 클라우드 측에서 상기 사용자의 얼굴 및/또는 인체의 특징 정보에 매칭되는 기록을 검색하여 얻을 수 있다.
여러 실시예에 있어서, 상기 적어도 두 명의 사용자 중 각 사용자의 사용자 자세 정보와 소정의 자세 특징 사이의 자세 매칭 정도에 기반하여 상기 적어도 두 명의 사용자 중에서 목표 사용자를 선택할 수 있다.
예를 들면 소정의 자세 특징이 손의 드는 동작인 것으로 가정하면, 상기 적어도 두 명의 사용자의 사용자 자세 정보와 손의 드는 동작에 대해 매칭을 실행하고, 상기 적어도 두 명의 사용자의 매칭 결과 중 자세 매칭 정도가 가장 높은 사용자를 목표 사용자로 확정할 수 있다.
여러 실시예에 있어서, 상기 적어도 두 명의 사용자 중 각 사용자의 사용자 속성 정보와 소정의 속성 특징 사이의 속성 매칭 정도에 기반하여 상기 적어도 두 명의 사용자 중에서 목표 사용자를 선택할 수 있다.
예를 들면 소정의 속성 특징이 VIP사용자이며 또한 여성인 것으로 가정하면, 상기 적어도 두 명의 사용자의 사용자 속성 정보와 상기 소정의 속성 특징에 대해 매칭을 실행하며, 상기 적어도 두 명의 사용자의 매칭 결과 중 속성 매칭 정도가 가장 높은 사용자를 인터렉티브 오브젝트로 확정할 수 있다.
본 발명의 실시예에 있어서, 각 사용자의 사용자 자세 정보, 사용자 속성 정보 등의 특징 정보에 기반하여 검출된 적어도 두 명의 사용자 중에서 목표 사용자를 선택함으로써, 현재의 적용 장면에 적합한 사용자를 인터렉티브를 실행하려는 목표 사용자로 선택할 수 있으며, 인터렉티브 효율과 서비스 체험을 개선할 수 있다.
여러 실시예에 있어서, 이하의 방식을 통해 상기 적어도 두 명의 사용자 중에서 목표 사용자를 선택할 수 있다.
먼저 상기 적어도 두 명의 사용자의 사용자 자세 정보에 기반하여 소정의 자세 특징을 충족시키는 제1 사용자를 선별한다. 여기서 소정의 자세 특징을 충족시키는 것이란, 사용자 자세 정보와 상기 소정의 자세 특징 사이의 자세 매칭 정도가 80%와 같은 소정의 값보다 큰 것을 가리킨다.
예를 들어 설명하면, 소정의 자세 특징이 손의 드는 동작인 것으로 가정하면, 먼저 이미지에서 사용자 자세 정보와 손의 드는 동작의 자세 매칭 정도가 80%(당해 사용자가 손의 드는 동작을 실행했다고 가정함)보다 높은 제1 사용자를 선택하는 바, 즉 손의 드는 동작을 실행한 모든 사용자를 선별한다.
제1 사용자가 적어도 두 명 있을 경우, 또한 이하의 방법을 통해 목표 사용자를 확정할 수 있는 바, 즉 상기 인터렉티브 오브젝트를 구동하여 상기 적어도 두 명의 제1 사용자를 안내하여 각각 소정의 정보를 출력하도록 하고, 검출된 상기 제1 사용자가 상기 소정의 정보를 각각 출력하는 순서에 기반하여 상기 목표 사용자를 확정한다.
일 예에 있어서, 제1 사용자에 기반하여 출력되는 소정의 정보는 동작, 표정, 음성 중의 하나 또는 복수일 수 있다. 예를 들면 적어도 두 명의 제1 사용자를 안내하여 점프 동작을 실행하도록 하고, 가장 빨리 점프 동작을 실행한 제1 사용자를 목표 사용자로 확정한다.
본 발명의 실시예에 있어서, 제1 사용자를 안내하여 소정의 정보를 출력하도록 하고, 소정의 자세 특징을 충족시키는 사용자 중에서, 협력할 의욕이 높은 목표 사용자를 선별함으로써, 인터렉티브 효율과 서비스 체험을 개선할 수 있다.
제1 사용자가 적어도 두 명 있을 경우, 또한 이하의 방법을 통해 목표 사용자를 확정할 수 있다.
상기 제1 사용자가 적어도 두 명 있을 경우, 상기 적어도 두 명의 제1 사용자의 각각의 사용자 속성 정보에 기반하여 상기 적어도 두 명의 제1 사용자의 각각의 인터렉티브 응답 우선 레벨을 확정하고, 상기 인터렉티브 응답 우선 레벨에 기반하여 상기 목표 사용자를 확정한다.
예를 들면 손의 드는 동작을 실행한 제1 사용자가 한 명을 초과하면, 이러한 손을 든 제1 사용자 중에서, 각 제1 사용자의 사용자 속성 정보에 기반하여 인터렉티브 응답 우선 레벨을 확정하고, 우선 레벨이 가장 높은 제1 사용자를 목표 사용자로 확정한다. 여기서 선택하는 기준이 되는 사용자 속성 정보는 사용자의 현재의 요구와 실제의 장면을 결합하여 종합적으로 판단할 수 있다. 예를 들면 줄을 서서 티켓을 구입하는 장면에서는, 현재의 장소에 도달하는 시간을 기준으로 하는 사용자 속성 정보로 설정하여, 인터렉티브 우선 레벨을 확정할 수 있다. 가장 빨리 도달하는 사용자가 가장 높은 인터렉티브 응답 우선 레벨을 가지며, 당해 사용자를 목표 사용자로 확정할 수 있다. 기타 서비스 장소에서는 서로 다른 사용자 속성 정보에 기반하여 목표 사용자를 확정할 수 있는 바, 예를 들면 사용자의 당해 장소에서의 포인트에 기반하여 인터렉티브 우선 레벨을 확정할 수 있으며, 포인트가 가장 높은 사용자가 가장 높은 인터렉티브 응답 우선 레벨을 가지도록 한다.
일 예에 있어서, 상기 적어도 두 명의 제1 사용자의 인터렉티브 응답 우선 레벨을 확정한 후, 또한 각 사용자를 안내하여 소정의 정보를 출력하도록 할 수 있다. 예를 들면 소정의 정보를 출력하는 제1 사용자의 수량이 여전히 한 명보다 많으면, 여기서의 인터렉티브 응답 우선 레벨이 가장 높은 사용자를 목표 사용자로 확정할 수 있다.
본 발명의 실시예에 있어서, 사용자 속성 정보, 사용자 자세 정보 및 적용 장면과 결합시켜 검출된 복수의 사용자 중에서 목표 사용자를 선택하고, 서로 다른 인터렉티브 응답 우선 레벨을 설정함으로써 목표 사용자에 대해 해당하는 서비스를 제공함으로써, 적절한 사용자를 인터렉티브를 실행하려는 목표 사용자로 선택할 수 있으며, 인터렉티브 효율과 서비스 체험을 개선할 수 있다.
특정 사용자를 인터렉티브를 실행하려는 목표 사용자로 확정한 후, 당해 사용자에 대해 확인 정보를 출력함으로써, 당해 사용자가 선택된 것을 통지할 수 있다. 예를 들면 상기 인터렉티브 오브젝트를 구동하여 손으로 당해 사용자를 가리키도록 하거나 또는 상기 인터렉티브 오브젝트를 구동하여 카메라 프리뷰 화면에서 선택된 당해 사용자를 강조 표시하거나 또는 기타 방식을 통해 확인 정보를 출력할 수 있다.
본 발명의 실시예에 있어서, 목표 사용자에게 확인 정보를 출력함으로써, 사용자가 현재 인터렉티브 상태에 있음을 명확히 할 수 있으며, 인터렉티브 효율을 개선할 수 있다.
특정 사용자가 인터렉티브를 실행하려는 목표 사용자로 선택된 후에, 상기 인터렉티브 오브젝트는 당해 목표 사용자가 카메라의 촬영 범위로부터 떠날 때까지, 당해 목표 사용자의 명령에만 응답하거나 또는 당해 목표 사용자의 명령에 우선적으로 응답한다.
디바이스의 주변 이미지에서 사용자가 검출되지 않았을 경우는 상기 표시 디바이스의 주변에 사용자가 없는 것을 나타내는 바, 즉 당해 디바이스가 현재 사용자와 인터렉티브를 실행하는 상태에 있지 않는 것을 나타낸다. 이러한 상태는 현재 시점 전의 소정의 시간대 내에서 디바이스와 인터렉티브를 실행한 사용자가 없는 상태, 즉 사용자를 기다리는 상태를 포함한다. 또한 현재 시점 전의 소정의 시간대 내에서 사용자와 인터렉티브를 실행한 상태, 즉 사용자가 떠난 상태도 포함한다. 이 두 가지 서로 다른 상태에 대해, 상기 인터렉티브 오브젝트를 구동하여 기타 응답을 실행해야 한다. 예를 들면 사용자를 기다리는 상태에 대해서는 상기 인터렉티브 오브젝트를 구동하여 현재 환경과 결합하여 사용자를 환영하는 응답을 실행할 수 있고, 사용자가 떠난 상태에 대해서는 인터렉티브 오브젝트를 구동하여 가장 최근에 인터렉티브를 실행한 사용자에 대해 종료 서비스의 응답을 실행할 수 있다.
여러 실시예에 있어서, 현재 시점에서 상기 이미지 내에서 사용자가 검출되지 않은 동시에, 현재 시점 전의 5초 등의 소정의 시간대 내에서 상기 이미지 내에서 사용자가 검출되지 않은 동시에, 사용자가 추적되지 않은 것에 응답하여, 상기 인터렉티브 오브젝트의 인터렉티브 대기 사용자가 비어있다고 하여 확정하고, 상기 표시 디바이스 가미노마에기 인터렉티브 오브젝트를 구동하여 사용자를 기다리는 상태로 되도록 한다.
여러 실시예에 있어서, 현재 시점에서 상기 이미지 내에서 사용자가 검출되지 않은 동시에, 현재 시점 전의 소정의 시간대 내에서 상기 이미지 내에서 사용자가 검출되었거나 또는 사용자가 추적된 것에 응답하여, 상기 인터렉티브 오브젝트의 인터렉티브 대기 사용자가 가장 최근에 인터렉티브를 실행한 사용자인 것으로 확정한다.
본 발명의 실시예에 있어서, 인터렉티브 오브젝트와 인터렉티브를 실행하는 사용자가 없을 경우, 디바이스가 현재 사용자를 기다리는 상태 또는 사용자가 떠난 상태에 있는 것으로 확정하고, 상기 인터렉티브 오브젝트를 구동하여 기타 응답을 실행하도록 함으로써, 상기 인터렉티브 오브젝트의 전시 상태가 인터렉티브 요건에 더욱 부합되도록 할 수 있으며, 맞춤형이 더욱 정확해질 수 있다.
여러 실시예에 있어서, 상기 검출 결과는 상기 디바이스의 현재 서비스 상태를 더 포함할 수 있다. 상기 현재 서비스 상태는 사용자를 기다리는 상태와 사용자가 떠난 상태 이외에, 사용자를 발견한 상태 등을 더 포함할 수 있다. 당업자는 상기 디바이스의 현재 서비스 상태는 기타 상태를 더 포함할 수도 있는 바, 상기에 한정되지 않음을 이해해야 한다.
디바이스의 주변의 이미지로부터 얼굴 및/또는 인체가 검출되었을 경우에는 상기 표시 디바이스의 주변에 사용자가 존재하는 것을 나타내며, 사용자가 검출된 당해 1시점의 상태를 사용자를 발견한 상태로 확정할 수 있다.
사용자를 발견한 상태의 경우, 검출된 사용자에 대해, 또한 상기 표시 디바이스에 저장되어 있는 사용자 과거 조작 정보를 얻고, 및/또는, 클라우드 측에 저장되어 있는 사용자 과거 조작 정보를 얻고, 당해 사용자가 단골 손님 손님인지 여부 또는 VIP손님인지 여부를 확정할 수 있다. 상기 사용자 과거 조작 정보는 상기 사용자의 성명, 성별, 연령, 서비스 기록, 비고 등을 더 포함할 수 있다. 당해 사용자 과거 조작 정보는 상기 사용자가 스스로 입력한 정보를 포함할 수도 있고, 상기 표시 디바이스 및/또는 클라우드 측에서 기록한 정보를 포함할 수도 있다. 사용자 과거 조작 정보를 취득함으로써, 상기 인터렉티브 오브젝트를 구동하여 맞춤형적으로 상기 사용자에 대해 응답을 실행하도록 할 수 있다.
일 예에 있어서, 검출된 사용자의 얼굴 및/또는 인체의 특징 정보에 기반하여 상기 사용자와 매칭되는 사용자 과거 조작 정보를 검색할 수 있다.
표시 디바이스가 사용자를 발견한 상태에 있을 경우, 상기 표시 디바이스의 현재 서비스 상태 및 상기 이미지로부터 취득한 사용자 속성 정보에 기반하여 취득한 사용자 과거 조작 정보를 검색함으로써, 상기 인터렉티브 오브젝트를 구동하여 응답을 실행하도록 할 수 있다. 한 명의 사용자가 처음으로 검출되었을 경우, 상기 사용자 과거 조작 정보가 비어있으므로, 상기 현재 서비스 상태, 상기 사용자 속성 정보 및 상기 환경 정보에 기반하여 상기 인터렉티브 오브젝트를 구동한다.
표시 디바이스의 주변의 이미지로부터 한 명의 사용자가 검출되었을 경우, 먼저 이미지를 이용하여 당해 사용자에 대해 얼굴 및/또는 인체의 식별을 실행하여, 상기 사용자에 관한 사용자 속성 정보를 얻는 바, 예를 들면 당해 사용자는 여성이고, 연령이 20세∼30세이다. 그 다음, 당해 사용자의 얼굴 및/또는 인체의 특징 정보에 기반하여 표시 디바이스 및/또는 클라우드 측에서 검색을 실행하여 상기 특징 정보에 매칭되는 사용자 과거 조작 정보를 검색할 수 있는 바, 예를 들면 당해 사용자의 성명, 서비스 기록 등을 검색한다. 이어서 사용자를 발견한 상태에서, 상기 인터렉티브 오브젝트를 구동하여 당해 여성의 사용자에 대해 맞춤형의 환영하는 동작을 실행하고, 또한 당해 여성 사용자에 대해 제공하는 서비스를 전시한다. 사용자 과거 조작 정보에 포함된 당해 사용자가 이전에 이용한 적이 있는 서비스 항목에 기반하여 제공하는 서비스의 순서를 조정함으로써, 사용자로 하여금 흥취를 가지는 서비스 항목을 더욱 빠르게 발견하도록 할 수 있다.
디바이스의 주변의 이미지로부터 적어도 두 명의 사용자가 검출된 경우, 먼저 상기 적어도 두 명의 사용자의 특징 정보를 얻을 수 있다. 당해 특징 정보는 사용자 자세 정보, 사용자 속성 정보 중 적어도 하나를 포함할 수도 있으며, 또한 상기 특징 정보는 사용자의 과거 조작 정보에 대응되며, 여기서, 상기 사용자 자세 정보는 상기 이미지 내의 상기 사용자의 동작에 대해 식별을 실행하여 얻을 수 있다.
계속하여, 얻어진 상기 적어도 두 명의 사용자의 특징 정보에 기반하여 상기 적어도 두 명의 사용자 중에서 목표 사용자를 확정한다. 실제의 장면과 결합하여 각 사용자의 특징 정보를 종합적으로 평가함으로써, 인터렉티브 대기의 목표 사용자를 확정할 수 있다.
목표 사용자를 확정한 후에는 상기 표시 디바이스의 상기 투명 표시 스크린 상에 표시된 상기 인터렉티브 오브젝트를 구동하여 상기 목표 사용자에 대해 응답을 실행하도록 할 수 있다.
여러 실시예에 있어서, 사용자를 발견한 상태에서 상기 인터렉티브 오브젝트를 구동하여 응답을 실행하도록 한 후, 표시 디바이스의 주변의 이미지에서 검출된 사용자를 추적함으로써, 예를 들면 상기 사용자의 얼굴 표정 및/또는 상기 사용자의 동작 등을 추적할 수 있고, 또한 상기 사용자에 자발적인 인터렉티브 표정 및/또는 동작이 있는지 여부를 판단함으로써, 상기 표시 디바이스가 서비스 활성화 상태로 되도록 할 필요가 있는지 여부를 판단할 수 있다.
일 예에 있어서, 상기 사용자를 추적하는 과정에서, 지정된 트리거 정보를 설정하는 바, 예를 들면 눈 깜빡임, 끄덕임, 손 흔들기, 손 들기, 토닥이기 등의 사람과 사람 사이에서 인사하는 일반적인 표정 및/또는 동작을 설정할 수 있다. 이하와 구별하기 위하여, 여기서 설정한 지정된 트리거 정보를 제1 트리거 정보라고 부를 수 있다. 상기 사용자가 출력한 상기 제1 트리거 정보가 검출되었을 경우, 상기 표시 디바이스가 서비스 활성화 상태로 되는 것을 확정하고, 상기 인터렉티브 오브젝트를 구동하여 상기 제1 트리거 정보에 매칭되는 서비스를 전시하도록 하는 바, 예를 들면 언어를 이용하여 전시할 수도 있고, 스크린 상에 표시된 문자 정보를 이용하여 전시할 수도 있다.
현재 일반적인 체성 감각의 인터렉티브는 사용자가 먼저 손을 일정한 시간 동안 들고 있는 것으로 서비스를 활성화 시킬 필요가 있으며, 서비스를 선택한 후에는 손의 위치를 움직이지 않고 몇초 동한 유지해야만 활성화를 완성시킬 수 있다. 본 발명의 실시예에 기반하여 제공되는 인터렉티브 방법에 따르면, 사용자가 먼저 손을 일정한 시간 동안 들고 있는 것으로 서비스를 활성화할 필요가 없고, 또한 손의 위치를 움직이지 않고 유지함으로써 선택을 완성시킬 필요도 없다. 사용자의 지정된 트리거 정보를 자동적으로 판단함으로써, 서비스를 자동적으로 활성화할 수 있고, 디바이스로 하여금 서비스 활성화 상태로 되도록 하며, 사용자가 손이 일정한 시간 동안 들고 기다리는 것을 피면하여, 사용자 체험을 개선할 수 있다.
여러 실시예에 있어서, 서비스 활성화 상태에 있어서, 지정된 트리거 정보를 설정하는 바, 예를 들면 특정 제스처 동작 및/또는 특정 음성 명령 등을 설정할 수 있다. 상기와 구별하기 위하여 여기서 설정한 지정된 트리거 정보 명칭을 제2 트리거 정보라고 부를 수 있다. 상기 사용자가 출력한 상기 제2 트리거 정보가 검출되었을 경우, 상기 표시 디바이스가 서비스 중인 상태로 되는 것을 확정하고, 상기 인터렉티브 오브젝트를 구동하여 상기 제2 트리거 정보에 매칭되는 서비스를 전시하도록 할 수 있다.
일 예에 있어서, 사용자가 출력한 제2 트리거 정보에 기반하여 해당하는 서비스를 실행한다. 예를 들면 사용자를 위하여 제공하는 서비스는 제1 서비스 옵션, 제2 서비스 옵션, 제3 서비스 옵션 등일 수 있으며, 또한 제1 서비스 옵션을 위하여 해당하는 제2 트리거 정보를 설정할 수 있다. 예를 들면 "1"의 음성을 제1 서비스 옵션에 대응하는 제2 트리거 정보로 설정하고, "2"의 음성을 제2 서비스 옵션에 대응하는 제2 트리거 정보로 설정하며, ?? , 이렇게 유추할 수 있다. 상기 사용자에 의해 그 중의 하나의 음성이 출력된 것이 검출되면, 상기 표시 디바이스는 제2 트리거 정보에 대응하는 서비스 옵션으로 진입하며, 상기 인터렉티브 오브젝트를 구동하여 당해 서비스 옵션에 대해 설정한 내용에 기반하여 서비스를 제공하도록 한다.
본 발명의 실시예에 있어서, 상기 표시 디바이스가 사용자를 발견한 상태가 된 후에, 두 가지 입도의 식별 방식을 제공한다. 제1 입도(굵은 입도) 식별 방식은 사용자가 출력한 제1 트리거 정보가 검출되었을 경우, 디바이스가 서비스 활성화 상태로 되도록 하고, 상기 인터렉티브 오브젝트를 구동하여 상기 제1 트리거 정보에 매칭되는 서비스를 전시하도록 하며, 제2 입도(가는 입도) 식별 방식은 사용자가 출력한 제2 트리거 정보가 검출되었을 경우, 디바이스가 서비스 중인 상태로 되도록 하고, 상기 인터렉티브 오브젝트를 구동하여 해당하는 서비스를 제공하도록 한다. 상기 두 가지 입도의 식별 방식을 통해 사용자와 인터렉티브 오브젝트의 인터렉티브가 더욱 원활하고 더욱 자연스러워지도록 할 수 있다.
본 발명의 실시예에 기반하여 제공되는 인터렉티브 방법에 따르면, 사용자가 버튼 클릭, 터치 또는 음성 입력을 실행할 필요 없이, 표시 디바이스의 주변에 서 있는것 만으로, 표시 디바이스에 표시되어 있는 인터렉티브 오브젝트로 하여금 맞춤형적으로 환영하는 동작을 실행하도록 하고, 사용자의 요건 또는 흥취에 따라 서비스 항목을 전시하도록 하여, 사용자의 이용 익스피리언스를 개선할 수 있다.
여러 실시예에 있어서, 상기 표시 디바이스의 환경 정보를 얻고, 상기 검출 결과 및 상기 환경 정보에 기반하여 상기 표시 디바이스의 상기 투명 표시 스크린 상에 표시된 상기 인터렉티브 오브젝트를 구동하여 응답을 실행하도록 할 수 있다.
상기 표시 디바이스의 환경 정보는 상기 표시 디바이스의 지리 위치 및/또는 상기 표시 디바이스의 적용 장면에 기반하여 얻을 수 있다. 상기 환경 정보는 예를 들면 상기 표시 디바이스의 지리 위치, 인터넷 프로토콜(Internet Protocol, IP) 주소일 수 있으며, 또한 상기 표시 디바이스가 위치하는 영역의 날씨, 날짜 등일 수 있다. 당업자는 상기 환경 정보는 예에 불과 할 뿐, 기타 환경 정보를 더 포함할 수 있음을 이해해야 한다.
예를 들어 설명하면, 표시 디바이스가 사용자를 기다리는 상태와 사용자가 떠난 상태에 있을 경우, 상기 표시 디바이스의 현재 서비스 상태 및 환경 정보에 기반하여 상기 인터렉티브 오브젝트를 구동하여 응답을 실행하도록 할 수 있다. 예를 들면 상기 표시 디바이스가 사용자를 기다리는 상태에 있을 경우, 환경 정보는 시간, 장소 및 날씨 상황을 포함할 수 있다. 표시 디바이스에 표시된 인터렉티브 오브젝트를 구동하여 환영하는 동작과 제스처를 취하도록 하거나 또는 몇 가지의 재미있는 동작을 수행하도록 할 수 있으며, 또한 "지금은 X년X월X일XX시이며, 날씨는 XX이고, XX시의 XX쇼핑몰에 오신 것을 환영합니다. 모시게 되어 매우 기쁩니다"라는 음성을 출력할 수 있다. 일반적인 환영하는 동작, 제스처 및 음성 이외에, 또한 현재 시간, 장소 및 날씨 상황을 추가함으로써, 더욱 많은 뉴스를 제공한뿐만 아니라, 또한 인터렉티브 오브젝트의 응답이 인터렉티브 요건에 더욱 부합되도록 할 수 있으며, 맞춤형이 더욱 정확해질 수 있다.
표시 디바이스의 주변의 이미지에 대해 사용자 검출을 실행하고, 검출 결과 및 상기 표시 디바이스의 환경 정보에 기반하여, 상기 표시 디바이스에 표시되어 있는 인터렉티브 오브젝트를 구동하여 응답을 실행하도록 함으로써, 인터렉티브 오브젝트의 응답이 인터렉티브 요건에 더욱 부합되도록 할 수 있고, 사용자와 인터렉티브 오브젝트 사이의 인터렉티브가 더욱 리얼하고 선명해지도록 할 수 있으며, 사용자 체험을 개선할 수 있다.
여러 실시예에 있어서, 상기 검출 결과 및 상기 환경 정보에 기반하여, 매칭되는 소정의 응답 라벨을 얻은 후, 상기 응답 라벨에 기반하여 상기 인터렉티브 오브젝트를 구동하여 해당하는 응답을 실행하도록 할 수 있다. 본 발명은 이에 대해 한정하지 않는다.
상기 응답 라벨은 상기 인터렉티브 오브젝트의 동작, 표정, 제스처, 언어 중 하나 또는 복수의 구동 텍스트에 대응할 수 있다. 서로 다른 검출 결과 및 환경 정보에 대해, 확정된 응답 라벨에 기반하여 해당하는 구동 텍스트를 얻음으로써, 상기 인터렉티브 오브젝트를 구동하여 해당하는 동작, 표정, 언어 중 하나 또는 복수를 출력하도록 할 수 있다.
예를 들면 현재 서비스 상태가 사용자를 기다리는 상태이고, 또한 환경 정보가 나타내는 장소가 “상해”이면, 대응하는 응답 라벨은 동작은 환영하는 동작이며, 음성은 "상해에 오신 것을 환영합니다"일 수 있다.
또한 예를 들면 현재 서비스 상태가 사용자를 발견한 상태이고, 환경 정보가 나타내는 시간이 오전이며, 사용자 속성 정보가 여성을 나타내고, 또한 사용자 과거 기록이 나타내는 성이 "장"이면, 대응하는 응답 라벨은 동작은 환영하는 동작이며, 음성은 "장 여사, 안녕하세요! 환영합니다. 모시게 되어 매우 기쁩니다"일 수 있다.
서로 다른 검출 결과 및 서로 다른 환경 정보의 조합에 대해, 해당하는 응답 라벨을 설정하고, 상기 응답 라벨에 기반하여 인터렉티브 오브젝트를 구동하여 해당하는 동작, 표정, 언어 중 하나 또는 복수를 출력하도록 함으로써, 인터렉티브 오브젝트를 구동하여 디바이스의 서로 다른 상태 및 서로 다른 장면에 기반하여 서로 다른 응답을 실행하도록 할 수 있으며, 상기 인터렉티브 오브젝트의 응답이 더욱 다양해지도록 할 수 있다.
여러 실시예에 있어서, 상기 응답 라벨을 미리 트레이닝한 신경망에 입력하고, 상기 응답 라벨에 대응하는 구동 텍스트를 출력함으로써, 상기 인터렉티브 오브젝트를 구동하여 해당하는 동작, 표정, 언어 중 하나 또는 복수를 출력하도록 할 수 있다.
여기서, 상기 신경망은 샘플 응답 라벨 세트를 이용하여 트레이닝을 실행할 수 있으며, 여기서, 상기 샘플 응답 라벨에는 대응하는 구동 텍스트가 라벨링되어 있다. 상기 신경망은 트레이닝을 거친 후, 출력하는 응답 라벨에 대해 해당하는 구동 텍스트를 출력할 수 있으며, 상기 인터렉티브 오브젝트를 구동하여 해당하는 동작, 표정, 언어 중 하나 또는 복수를 출력하도록 할 수 있다. 직접 표시 디바이스 측 또는 클라우드 측에서 대응하는 구동 텍스트를 검색하는 것과 비교하면, 미리 트레이닝한 신경망을 이용하여 구동 텍스트를 미리 설정한 적이 없는 응답 라벨에 대해서도, 구동 텍스트를 생성하고, 상기 인터렉티브 오브젝트를 구동하여 적합한 응답을 실행하도록 할 수 있다.
여러 실시예에 있어서, 빈도가 높은 동시에 상대적으로 중요한 장면에 대해서는 수동으로 설정하는 방식으로 최적화를 실행할 수도 있다. 즉 출현 빈도보다 높은 검출 결과와 환경 정보의 조합에 대해서는 대응하는 응답 라벨에 대해 구동 텍스트를 수동으로 설정할 수 있다. 당해 장면이 출현되면, 해당하는 구동 텍스트를 자동적으로 호출하여 상기 인터렉티브 오브젝트를 구동하여 응답을 실행하도록 할 수 있으며, 인터렉티브 오브젝트의 동작과 표정이 더욱 자연스러워지도록 할 수 있다. .
일 실시예에 있어서, 상기 표시 디바이스가 사용자를 발견한 상태에 있는 것에 응답하여, 상기 사용자의 상기 이미지 내의 위치에 기반하여, 상기 사용자의 상기 투명 표시 스크린에 전시되어 있는 상기 인터렉티브 오브젝트에 대한 위치 정보를 얻고, 상기 인터렉티브 오브젝트가 상기 사용자를 향하도록, 상기 위치 정보에 기반하여 상기 인터렉티브 오브젝트의 방향을 조정한다.
여러 실시예에 있어서, 상기 인터렉티브 오브젝트의 이미지는, 가상 카메라에 의해 수집된 것이다. 가상 카메라는 3D소프트웨어 및 이미지를 수집하기 위한 가상 소프트웨어 카메라에 적용되며, 인터렉티브 오브젝트는 상기 가상 카메라에 의해 수집된 3D 이미지를 스크린 상에 표시한 것이다. 따라서, 사용자의 시각을 3D소프트웨어 중의 가상 카메라의 시각으로 이해할 수 있으며, 따라서 인터렉티브 오브젝트가 사용자와의 눈빛 교류를 실현하지 못하는 문제가 발생하게 된다.
상기 문제를 해결하기 위하여 본 발명 적어도 하나의 실시예에 있어서, 인터렉티브 오브젝트의 몸 방향을 조정하는 동시에, 상기 인터렉티브 오브젝트의 시선도 상기 가상 카메라를 향하도록 유지한다. 인터렉티브 오브젝트가 인터렉티브 과정에서 사용자를 향하고 있어, 또한 시선도 가상 카메라를 향하도록 유지하고 있기 때문에, 인터렉티브 오브젝트가 자신을 보고 있는 것처럼 사용자에게 보일 수 있으며, 사용자의 인터렉티브 오브젝트의 인터렉티브의 쾌적성을 향상시킬 수 있다.
도 3은 본 발명의 적어도 하나의 실시예에 따른 인터렉티브 장치의 구성을 나타내는 모식도이며, 도 3에 나타낸 바와 같이, 당해 장치는 이미지 취득 유닛(301); 검출 유닛(302); 사용자 선택 유닛(303); 및 구동 유닛 (304)을 구비할 수 있다.
여기서 이미지 취득 유닛(301)은 카메라에 의해 수집된, 투명 표시 스크린을 이용하여 인터렉티브 오브젝트를 표시하기 위한 표시 디바이스의 주변의 이미지를 얻고, 검출 유닛(302)은 상기 이미지 내의 관련된 하나 또는 복수의 사용자에 대해 검출을 실행하며, 사용자 선택 유닛(303)은 상기 검출 유닛(302)에 의해 상기 이미지 내의 관련된 적어도 두 명의 사용자가 검출된 것에 응답하여, 검출된 상기 적어도 두 명의 사용자의 특징 정보에 기반하여, 상기 적어도 두 명의 사용자 중에서 목표 사용자를 선택하고, 구동 유닛 (304)은 상기 목표 사용자에 대한 검출 결과에 기반하여 상기 표시 디바이스의 투명 표시 스크린 상에 표시된 상기 인터렉티브 오브젝트를 구동하여 상기 목표 사용자에 대해 응답을 실행하도록 한다. 본 명세서에 기재된 이미지 내의 하나 또는 복수의 사용자란, 이미지의 검출 과정에서 관련된 하나 또는 복수의 오브젝트를 가리킨다. 이하의 설명에 있어서, "오브젝트"와 “사용자”는 서로 바꾸어 이용될 수 있으며, 설명의 편리를 위하여 "사용자"라고 총칭한다.
여러 실시예에 있어서, 상기 특징 정보는 사용자 자세 정보 및/또는 사용자 속성 정보를 포함한다.
여러 실시예에 있어서, 상기 사용자 선택 유닛(303)은 구체적으로 상기 적어도 두 명의 사용자 중 각 사용자의 사용자 자세 정보와 소정의 자세 특징 사이의 자세 매칭 정도 또는 상기 적어도 두 명의 사용자 중 각 사용자의 사용자 속성 정보와 소정의 속성 특징 사이의 속성 매칭 정도에 기반하여 상기 적어도 두 명의 사용자 중에서 목표 사용자를 선택한다.
여러 실시예에 있어서, 상기 사용자 선택 유닛(303)은 구체적으로 상기 적어도 두 명의 사용자 중 각 사용자의 사용자 자세 정보에 기반하여 소정의 자세 특징을 충족시키는 하나 또는 복수의 제1 사용자를 선택하고, 상기 제1 사용자가 적어도 두 명 있을 경우, 상기 구동 유닛 (304)이 상기 인터렉티브 오브젝트를 구동하여 상기 적어도 두 명의 제1 사용자를 안내하여 각각 소정의 정보를 출력하도록 하고, 검출된 상기 제1 사용자가 상기 소정의 정보를 각각 출력하는 순서에 기반하여 상기 목표 사용자를 확정한다.
여러 실시예에 있어서, 상기 사용자 선택 유닛(303)은 구체적으로 상기 적어도 두 명의 사용자 중 각 사용자의 사용자 자세 정보에 기반하여 상기 소정의 자세 특징을 충족시키는 하나 또는 복수의 제1 사용자를 선택하고, 상기 제1 사용자가 적어도 두 명 있을 경우, 상기 적어도 두 명의 제1 사용자의 각각의 사용자 속성 정보에 기반하여 상기 적어도 두 명의 제1 사용자의 각각의 인터렉티브 응답 우선 레벨을 확정하고, 상기 인터렉티브 응답 우선 레벨에 기반하여 상기 목표 사용자를 확정한다.
여러 실시예에 있어서, 상기 장치는 확인 유닛을 더 구비하며, 상기 확인 유닛은 상기 사용자 선택 유닛(303)이 상기 적어도 두 명의 사용자 중에서 목표 사용자를 선택한 것에 응답하여, 상기 구동 유닛이 상기 인터렉티브 오브젝트를 구동하여 오브젝트가 목표 사용자 확인 정보를 출력하도록 한다.
여러 실시예에 있어서, 상기 장치는 대기 상태 유닛을 더 구비하며, 상기 대기 상태 유닛은 상기 검출 유닛(302)을 통해 현재 시점에서 상기 이미지 내에서 사용자가 검출되지 않은 동시에, 현재 시점 전의 소정의 시간대 내에서 상기 이미지 내에서 사용자가 검출되지 않은 동시에, 사용자가 추적되지 않은 것에 응답하여, 상기 인터렉티브 오브젝트의 인터렉티브 대기 사용자가 비어있다고 하여 확정하고, 상기 표시 디바이스가 사용자를 기다리는 상태로 되도록 한다.
여러 실시예에 있어서, 상기 장치는 종료 상태 유닛을 더 구비하며, 상기 종료 상태 유닛은 상기 검출 유닛(302)에 의해 현재 시점에서 상기 이미지 내에서 사용자가 검출되지 않은 동시에, 현재 시점 전의 소정의 시간대 내에서 상기 이미지 내에서 사용자가 검출되었거나 또는 사용자가 추적된 것에 응답하여, 상기 인터렉티브 오브젝트의 인터렉티브 대기 사용자가 가장 최근에 인터렉티브를 실행한 사용자인 것으로 확정한다.
여러 실시예에 있어서, 상기 표시 디바이스는 상기 투명 표시 스크린을 이용하여 상기 인터렉티브 오브젝트의 도영을 표시하거나, 또는 바닥 판에 상기 인터렉티브 오브젝트의 도영을 표시한다.
여러 실시예에 있어서, 상기 인터렉티브 오브젝트는 입체 효과를 가지는 가상 인물을 포함한다.
본 발명 적어도 하나의 실시예는 인터렉티브 디바이스를 더 제공하는 바, 도 4에 나타낸 바와 같이, 상기 디바이스는 메모리(401) 및 프로세서(402)를 구비한다. 메모리(401)는 프로세서에 의해 실행될 수 있는 명령을 저장하고, 상기 명령이 실행될 때, 프로세서(402)로 하여금 본 발명이 임의의 일 실시예에 기재된 인터렉티브 방법을 실현하도록 한다.
본 발명 적어도 하나의 실시예는 컴퓨터 프로그램이 저장되어 있는 컴퓨터 판독 가능 기록 매체를 더 제공하는 바, 상기 컴퓨터 프로그램이 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 본 발명이 임의의 일 실시예에 기재된 인터렉티브 방법을 실현하도록 한다.
당업자는 본 발명의 하나 또는 복수의 실시예는 방법, 시스템 또는 컴퓨터 프로그램 제품으로서 제공할 수 있음을 이해해야 한다. 따라서, 본 발명의 하나 또는 복수의 실시예는 완전한 하드웨어의 실시예, 완전한 소프트웨어의 실시예 또는 소프트웨어와 하드웨어를 조합시키는 실시예의 형식을 채택할 수 있다. 또한 본 발명의 하나 또는 복수의 실시예는 컴퓨터 이용 가능한 프로그램 코드를 포함하는 하나 또는 복수의 컴퓨터 이용 가능한 기록 매체(디스크 메모리, CD-ROM, 광학 메모리 등을 포함하지만, 이에 한정되지 않음) 상에서 실시되는 컴퓨터 프로그램 제품의 형식을 채택할 수 있다.
본 발명의 각 실시예는 모두 점진적인 방식을 이용하여 서술되었으며, 각 실시예들 사이의 동일 또는 유사한 부분은 서로 참조할 수 있고, 각 실시예에서는 기타 실시예와의 차이점에 중점을 맞춰 설명했다. 특히 데이터 처리 디바이스의 실시예의 경우, 기본적으로 방법의 실시예와 유사하기 때문에 상대적으로 간단히 서술했지만, 관련되는 부분은 방법의 실시예의 부분 설명을 참조하면 된다.
상기에서 본 발명의 특정의 실시예를 서술했다. 기타 실시예는 첨부된 "특허 청구의 범위"의 범위 내에 있다. 몇몇의 경우, 특허 청구의 범위에 기재된 행위 또는 단계는 실시예와 서로 다른 순서에 따라 실행될 수 있으며, 이 경우에도 여전히 기대하는 결과가 실현될 수 있다. 또한 도면에 나타낸 과정은, 기대하는 결과를 얻기 위하여, 반드시 나타낸 특정 순서 또는 연속적인 순서를 필요로 하지 않는다. 몇몇의 실시 형태에 있어서, 멀티 태스크 처리 및 병렬 처리도 가능하거나, 또한 더 유리할 수도 있다.
본 발명의 주제 및 기능 조작의 실시예는 디지털 전자 회로, 유형 컴퓨터 소프트웨어 또는 펌웨어, 본 발명에 개시되는 구성 및 그 구조적 등가물을 포함하는 컴퓨터 하드웨어 또는 이들의 하나 또는 복수의 조합으로 실현될 수 있다. 본 발명의 주제의 실시예는 하나 또는 복수의 컴퓨터 프로그램으로 실현될 수 있는 바, 즉 유형 비 일시적 프로그램 캐리어 상에 부호화되며, 데이터 처리 장치에 의해 실행되거나, 또는 데이터 처리 장치의 조작을 제어하기 위한 컴퓨터 프로그램 명령 중의 하나 또는 복수의 모듈에 의해 실현될 수 있다. 대체적 또는 추가적으로, 프로그램 명령은 수동으로 생성되는 전파 신호 상에 부호화될 수 있는 바, 예를 들면 기계에 의해 생성되는 전기신호, 광학 신호 또는 전자신호로 부호화될 수 있다. 당해 신호는 정보를 부호화하여 적절한 수신기 장치에 전송함으로써 데이터 처리 장치에 의해 실행되도록 하기 위하여 생성된다. 컴퓨터 기록 매체는 기계 판독 가능 기억 디바이스, 기계 판독 가능 기억 기판, 랜덤 액세스 메모리 디바이스 또는 직렬 액세스 메모리 디바이스 또는 이들의 하나 또는 복수의 조합일 수 있다.
본 명세서에 서술된 발명의 처리와 논리 플로우는 하나 또는 복수의 컴퓨터 프로그램을 실행하는 하나 또는 복수의 프로그램 가능한 컴퓨터에 의해 실행될 수 있으며, 입력 데이터에 기반하여 조작을 실행하여 출력을 생성함으로써 해당하는 기능을 실행한다. 상기 처리와 논리 플로우는 또한 예를 들면 FPGA(필드 프로그래머블 게이트 어레이) 또는 ASIC(전용 집적 회로)등의 전용 논리 회로에 의해 실행될 수 있으며, 또한 장치도 전용 논리 회로로 실현될 수 있다.
컴퓨터 프로그램의 실행에 적합한 컴퓨터는 예를 들면 범용 및/또는 전용 마이크로 프로세서 또는 임의의 기타 종류의 중심 처리 유닛을 포함한다. 일반적으로, 중심 처리 유닛은 판독 전용 메모리 및/또는 랜덤 액세스 메모리로부터 명령과 데이터를 수신하게 된다. 컴퓨터의 기본 컴포넌트는 명령을 실시 또는 실행하기 위한 중심 처리 유닛 및 명령과 데이터를 기억하기 위한 하나 또는 복수의 메모리 디바이스를 구비한다. 일반적으로, 컴퓨터는 자기 디스크, 자기 광학 디스크 또는 광학 디스크 등의 데이터를 기억하기 위한 하나 또는 복수의 대용량 기억 디바이스를 더 구비하거나, 또는 조작 가능하도록 당해 대 용량 기억 디바이스와 결합되어 데이터를 수신하거나 또는 데이터를 전송하거나, 또는 이 양자를 모두 포함한다. 그러나, 컴퓨터는 반드시 이러한 디바이스를 구비하는 것이 아니다. 한편, 컴퓨터는 다른 하나의 디바이스에 내장될 수 있는바, 예를 들면 휴대 전화, 개인 디지털 보조(PDA), 모바일 오디오 또는 비디오 플레이어, 게임 콘솔, 글로벌 포지셔닝 시스템(GPS) 수신기 또는 범용 시리얼 버스(USB) 플래시 드라이브 등의 포터블 기억 디바이스에 내장될 수 있고, 이러한 디바이스는 몇몇의 예에 지나지 않는다.
컴퓨터 프로그램 명령과 데이터의 기억에 적합한 컴퓨터 판독 가능 매체는 모든 형태의 비 휘발성 메모리, 매개 및 메모리 디바이스를 구비하는바, 예를 들면 반도체 메모리 디바이스(예를 들면 EPROM, EEPROM 및 플래시 디바이스), 자기 디스크(예를 들면 내부 하드 디스크 또는 이동 가능 디스크), 자기 광학 디스크 및 CD ROM 및 DVD-ROM디스크를 포함한다. 프로세서와 메모리는 전용 논리 회로에 의해 보완되거나 또는 전용 논리 회로에 구비될 수 있다.
본 발명은 많은 구체적인 실시의 세부 사항을 포함하지만, 이를 본 발명의 범위 또는 보호하려고 하는 범위를 한정하는 것으로 해석해서는 안되며, 주로 본 발명을 특정하는 몇몇의 실시예의 특징을 서술하기 위하여 사용된다. 본 발명의 복수의 실시예 중의 일부 특징은 단일 실시예에 조합되어 실시될 수도 있다. 서로 다른 한편, 단일 실시예 중의 각 특징은 복수의 실시예로 독립적으로 실시되거나 또는 임의의 적절한 서브 조합으로 실시될 수도 있다. 또한, 특징이 상기와 같이 특정의 조합으로 역할을 발휘하며, 또한 처음부터 상기와 같이 보호하는 것으로 주장했지만, 보호하는 것으로 주장한 조합 중의 하나 또는 복수의 특징은 경우에 따라 당해 조합으로부터 제외될 수도 있고, 또한 보호하는 것으로 주장한 조합은 서브 조합 또는 서브 조합의 변형을 지향할 수 있다.
마찬가지로, 도면에서 특정 순서에 따라 조작을 나타냈지만, 이는 이러한 조작을 나타낸 특정 순서에 따라 실행하도록 요구하거나 또는 순차적으로 실행하도록 요구하거나, 또는 예시한 모든 조작이 실행됨으로써 기대하는 결과가 실현되는 것을 요구하는 것으로 이해해서는 안된다. 경우에 따라 멀티 태스크 및 병렬 처리가 더 유리할 가능성이 있다. 한편, 상기의 실시예 중의 각 종의 시스템 모듈과 컴포넌트의 분리가 모든 실시예에서 모두 이렇게 분리되지 않으면 안되는 것으로 이해해서는 안되며, 또한 서술한 프로그램 컴포넌트와 시스템은 일반적으로 함께 단일 소프트웨어 제품에 통합되거나 또는 복수의 소프트웨어 제품에 패키징될 수 있음을 이해해야 한다.
따라서, 주제가 특정의 실시예가 이미 서술되었다. 기타 실시예는 첨부된 "특허 청구의 범위"의 범위 내에 있다. 경우에 따라 특허 청구의 범위에 기재되어 있는 동작은 기타 순서에 따라 실행될 경우에도 여전히 기대하는 결과가 실현될 수 있다. 한편, 도면에 나타낸 처리는 기대하는 결과를 실현하기 위하여, 반드시 나타낸 특정 순서 또는 순차를 필요로 하지 않는다. 일부 구현에 있어서, 멀티 태스크 및 병렬 처리가 더 유리할 가능성이 있다.
상기는 본 명세서의 하나 또는 복수의 실시예의 바람직한 실시예에 불과할 뿐, 본 명세서의 하나 또는 복수의 실시예를 한정하기 위하여 사용되는 것이 아니다. 본 명세서의 하나 또는 복수의 실시예의 정신과 원칙의 범위 내에서 행하여진 어떠한 수정, 등가 치환, 개량 등은 모두 본 명세서의 하나 또는 복수의 실시예가 보호하는 범위에 포함되어야 한다.
Claims (22)
- 인터렉티브 방법에 있어서,
카메라에 의해 수집된, 투명 표시 스크린을 이용하여 인터렉티브 오브젝트를 표시하기 위한 표시 디바이스의 주변의 이미지를 얻는 것;
상기 이미지 내의 관련된 하나 또는 복수의 오브젝트에 대해 검출을 실행하는 것;
상기 이미지 내의 관련된 적어도 두 개의 오브젝트가 검출된 것에 응답하여, 검출된 상기 적어도 두 개의 오브젝트의 특징 정보에 기반하여 상기 적어도 두 개의 오브젝트 중에서 목표 오브젝트를 선택하는 것; 및
상기 목표 오브젝트에 대한 검출 결과에 기반하여 상기 표시 디바이스의 투명 표시 스크린 상에 표시된 상기 인터렉티브 오브젝트를 구동하여 상기 목표 오브젝트에 대해 응답을 실행하도록 하는 것을 포함하는
것을 특징으로 하는 인터렉티브 방법. - 제1항에 있어서,
상기 특징 정보는 오브젝트 자세 정보 및/또는 오브젝트 속성 정보를 포함하는
것을 특징으로 하는 인터렉티브 방법. - 제2항에 있어서,
상기 검출된 상기 적어도 두 개의 오브젝트의 특징 정보에 기반하여 상기 적어도 두 개의 오브젝트 중에서 목표 오브젝트를 선택하는 것은,
상기 적어도 두 개의 오브젝트 중 각 오브젝트의 오브젝트 자세 정보와 소정의 자세 특징 사이의 자세 매칭 정도 또는 상기 적어도 두 개의 오브젝트 중 각 오브젝트의 오브젝트 속성 정보와 소정의 속성 특징 사이의 속성 매칭 정도에 기반하여 상기 적어도 두 개의 오브젝트 중에서 상기 목표 오브젝트를 선택하는 것을 포함하는
것을 특징으로 하는 인터렉티브 방법. - 제2항에 있어서,
상기 검출된 상기 적어도 두 개의 오브젝트의 특징 정보에 기반하여 상기 적어도 두 개의 오브젝트 중에서 목표 오브젝트를 선택하는 것은,
상기 적어도 두 개의 오브젝트 중 각 오브젝트의 오브젝트 자세 정보에 기반하여 소정의 자세 특징을 충족시키는 하나 또는 복수의 제1 오브젝트를 선택하는 것; 및
상기 제1 오브젝트가 적어도 두 개 있을 경우, 상기 인터렉티브 오브젝트를 구동하여 상기 적어도 두 개의 제1 오브젝트를 안내하여 각각 소정의 정보를 출력하도록 하고, 검출된 상기 제1 오브젝트가 상기 소정의 정보를 각각 출력하는 순서에 기반하여 상기 목표 오브젝트를 확정하는 것을 포함하는
것을 특징으로 하는 인터렉티브 방법. - 제2항에 있어서,
상기 검출된 상기 적어도 두 개의 오브젝트의 특징 정보에 기반하여 상기 적어도 두 개의 오브젝트 중에서 목표 오브젝트를 선택하는 것은,
상기 적어도 두 개의 오브젝트 중 각 오브젝트의 오브젝트 자세 정보에 기반하여 소정의 자세 특징을 충족시키는 하나 또는 복수의 제1 오브젝트를 선택하는 것; 및
상기 제1 오브젝트가 적어도 두 개 있을 경우, 상기 적어도 두 개의 제1 오브젝트의 각각의 오브젝트 속성 정보에 기반하여 상기 적어도 두 개의 제1 오브젝트의 각각의 인터렉티브 응답 우선 레벨을 확정하고, 상기 인터렉티브 응답 우선 레벨에 기반하여 상기 목표 오브젝트를 확정하는 것을 포함하는
것을 특징으로 하는 인터렉티브 방법. - 제1항 내지 제5항 중 어느 한 항에 있어서,
상기 적어도 두 개의 오브젝트 중에서 목표 오브젝트를 선택한 후,
상기 인터렉티브 방법은,
상기 인터렉티브 오브젝트를 구동하여 상기 목표 오브젝트에 대해 확인 정보를 출력하도록 하는 것을 더 포함하는
것을 특징으로 하는 인터렉티브 방법. - 제1항 내지 제6항 중 어느 한 항에 있어서,
현재 시점에서 상기 이미지로부터 오브젝트가 검출되지 않은 동시에, 현재 시점 전의 소정의 시간대 내에서 상기 이미지로부터 오브젝트가 검출되지 않은 동시에, 오브젝트가 추적되지 않은 것에 응답하여, 상기 인터렉티브 오브젝트의 인터렉티브 대기 오브젝트가 비어 있는 것으로 확정하고, 상기 표시 디바이스가 오브젝트 대기 상태로 되도록 하는 것을 더 포함하는
것을 특징으로 하는 인터렉티브 방법. - 제1항 내지 제6항 중 어느 한 항에 있어서,
현재 시점에서 상기 이미지로부터 오브젝트가 검출되지 않은 동시에, 현재 시점 전의 소정의 시간대 내에서 상기 이미지로부터 오브젝트가 검출되었거나 또는 오브젝트가 추적된 것에 응답하여, 상기 인터렉티브 오브젝트의 인터렉티브 대기 오브젝트가 가장 최근에 인터렉티브를 실행한 오브젝트인 것으로 확정하는 것을 포함하는
것을 특징으로 하는 인터렉티브 방법. - 제1항 내지 제8항 중 어느 한 항에 있어서,
상기 표시 디바이스는 상기 투명 표시 스크린을 이용하여 상기 인터렉티브 오브젝트의 도영을 표시하거나, 또는 바닥 판에 상기 인터렉티브 오브젝트의 도영을 표시하는
것을 특징으로 하는 인터렉티브 방법. - 제1항 내지 제9항 중 어느 한 항에 있어서,
상기 인터렉티브 오브젝트는 입체 효과를 가지는 가상 인물을 포함하는
것을 특징으로 하는 인터렉티브 방법. - 인터렉티브 장치에 있어서,
카메라에 의해 수집된, 투명 표시 스크린을 이용하여 인터렉티브 오브젝트를 표시하기 위한 표시 디바이스의 주변의 이미지를 얻기 위한 이미지 취득 유닛;
상기 이미지 내의 관련된 하나 또는 복수의 오브젝트에 대해 검출을 실행하기 위한 검출 유닛;
상기 검출 유닛을 이용하여 상기 이미지 내의 관련된 적어도 두 개의 오브젝트가 검출된 것에 응답하여, 검출된 상기 적어도 두 개의 오브젝트의 특징 정보에 기반하여 상기 적어도 두 개의 오브젝트 중에서 목표 오브젝트를 선택하기 위한 오브젝트 선택 유닛; 및
상기 목표 오브젝트에 대한 검출 결과에 기반하여 상기 표시 디바이스의 투명 표시 스크린 상에 표시된 상기 인터렉티브 오브젝트를 구동하여 상기 목표 오브젝트에 대해 응답을 실행하도록 하기 위한 구동 유닛을 구비하는
것을 특징으로 하는 인터렉티브 장치. - 제11항에 있어서,
상기 특징 정보는 오브젝트 자세 정보 및/또는 오브젝트 속성 정보를 포함하는
것을 특징으로 하는 인터렉티브 장치. - 제12항에 있어서,
상기 오브젝트 선택 유닛은 또한,
상기 적어도 두 개의 오브젝트 중 각 오브젝트의 오브젝트 자세 정보와 소정의 자세 특징 사이의 자세 매칭 정도 또는 상기 적어도 두 개의 오브젝트 중 각 오브젝트의 오브젝트 속성 정보와 소정의 속성 특징 사이의 속성 매칭 정도에 기반하여 상기 적어도 두 개의 오브젝트 중에서 상기 목표 오브젝트를 선택하는
것을 특징으로 하는 인터렉티브 장치. - 제12항에 있어서,
상기 오브젝트 선택 유닛은 또한,
상기 적어도 두 개의 오브젝트 중 각 오브젝트의 오브젝트 자세 정보에 기반하여 소정의 자세 특징을 충족시키는 하나 또는 복수의 제1 오브젝트를 선택하고,
상기 제1 오브젝트가 적어도 두 개 있을 경우, 상기 구동 유닛이 상기 인터렉티브 오브젝트를 구동하여 상기 적어도 두 개의 제1 오브젝트를 안내하여 각각 소정의 정보를 출력하도록 하고, 검출된 상기 제1 오브젝트가 상기 소정의 정보를 각각 출력하는 순서에 기반하여 상기 목표 오브젝트를 확정하는
것을 특징으로 하는 인터렉티브 장치. - 제12항에 있어서,
상기 오브젝트 선택 유닛은 또한,
상기 적어도 두 개의 오브젝트 중 각 오브젝트의 오브젝트 자세 정보에 기반하여 소정의 자세 특징을 충족시키는 하나 또는 복수의 제1 오브젝트를 선택하고,
상기 제1 오브젝트가 적어도 두 개 있을 경우, 상기 적어도 두 개의 제1 오브젝트의 각각의 오브젝트 속성 정보에 기반하여 상기 적어도 두 개의 제1 오브젝트의 각각의 인터렉티브 응답 우선 레벨을 확정하고, 상기 인터렉티브 응답 우선 레벨에 기반하여 상기 목표 오브젝트를 확정하는
것을 특징으로 하는 인터렉티브 장치. - 제11항 내지 제15항 중 어느 한 항에 있어서,
확인 유닛을 더 구비하며,
상기 확인 유닛은,
상기 오브젝트 선택 유닛이 상기 적어도 두 개의 오브젝트 중에서 목표 오브젝트를 선택한 것에 응답하여, 상기 구동 유닛이 상기 인터렉티브 오브젝트를 구동하여 상기 목표 오브젝트에 대해 확인 정보를 출력하도록 하는
것을 특징으로 하는 인터렉티브 장치. - 제11항 내지 제16항 중 어느 한 항에 있어서,
대기 상태 유닛을 더 구비하며,
상기 대기 상태 유닛은,
상기 검출 유닛에 의해 현재 시점에서 상기 이미지로부터 오브젝트가 검출되지 않은 동시에, 현재 시점 전의 소정의 시간대 내에서 상기 이미지로부터 오브젝트가 검출되지 않은 동시에, 오브젝트가 추적되지 않은 것에 응답하여, 상기 인터렉티브 오브젝트의 인터렉티브 대기 오브젝트가 비어 있는 것으로 확정하고, 상기 표시 디바이스가 오브젝트 대기 상태로 되도록 하는
것을 특징으로 하는 인터렉티브 장치. - 제11항 내지 제16항 중 어느 한 항에 있어서,
종료 상태 유닛을 더 구비하며,
상기 종료 상태 유닛은,
상기 검출 유닛에 의해 현재 시점에서 상기 이미지로부터 오브젝트가 검출되지 않은 동시에, 현재 시점 전의 소정의 시간대 내에서 상기 이미지로부터 오브젝트가 검출되었거나 또는 오브젝트가 추적된 것에 응답하여, 상기 인터렉티브 오브젝트의 인터렉티브 대기 오브젝트가 가장 최근에 인터렉티브를 실행한 오브젝트인 것으로 확정하는
것을 특징으로 하는 인터렉티브 장치. - 제11항 내지 제18항 중 어느 한 항에 있어서,
상기 표시 디바이스는 상기 투명 표시 스크린을 이용하여 상기 인터렉티브 오브젝트의 도영을 표시하거나, 또는 바닥 판에 상기 인터렉티브 오브젝트의 도영을 표시하는
것을 특징으로 하는 인터렉티브 장치. - 제11항 내지 제19항 중 어느 한 항에 있어서,
상기 인터렉티브 오브젝트는 입체 효과를 가지는 가상 인물을 포함하는
것을 특징으로 하는 인터렉티브 장치. - 인터렉티브 디바이스에 있어서,
프로세서; 및
상기 프로세서에 의해 실행될 수 있는 명령을 저장하기 위한 메모리를 구비하며,
상기 명령이 실행될 때, 상기 프로세서로 하여금 제1항 내지 제10항 중 어느 한 항에 기재된 인터렉티브 방법을 실현하도록 하는
것을 특징으로 하는 인터렉티브 디바이스. - 컴퓨터 프로그램이 저장되어 있는 컴퓨터 판독 가능 기록 매체에 있어서,
여기서, 상기 컴퓨터 프로그램이 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 제1항 내지 제10항 중 어느 한 항에 기재된 인터렉티브 방법을 실현하도록 하는
것을 특징으로 하는 컴퓨터 판독 가능 기록 매체.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910803899.3A CN110716634A (zh) | 2019-08-28 | 2019-08-28 | 交互方法、装置、设备以及显示设备 |
| CN201910803899.3 | 2019-08-28 | ||
| PCT/CN2020/104466 WO2021036624A1 (zh) | 2019-08-28 | 2020-07-24 | 交互方法、装置、设备以及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20210131415A true KR20210131415A (ko) | 2021-11-02 |
Family
ID=69209574
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217031185A KR20210131415A (ko) | 2019-08-28 | 2020-07-24 | 인터렉티브 방법, 장치, 디바이스 및 기록 매체 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20220179609A1 (ko) |
| JP (1) | JP7224488B2 (ko) |
| KR (1) | KR20210131415A (ko) |
| CN (1) | CN110716634A (ko) |
| TW (1) | TWI775134B (ko) |
| WO (1) | WO2021036624A1 (ko) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110716634A (zh) * | 2019-08-28 | 2020-01-21 | 北京市商汤科技开发有限公司 | 交互方法、装置、设备以及显示设备 |
| CN110716641B (zh) * | 2019-08-28 | 2021-07-23 | 北京市商汤科技开发有限公司 | 交互方法、装置、设备以及存储介质 |
| CN111443801B (zh) * | 2020-03-25 | 2023-10-13 | 北京百度网讯科技有限公司 | 人机交互方法、装置、设备及存储介质 |
| CN111459452B (zh) * | 2020-03-31 | 2023-07-18 | 北京市商汤科技开发有限公司 | 交互对象的驱动方法、装置、设备以及存储介质 |
| CN111627097B (zh) * | 2020-06-01 | 2023-12-01 | 上海商汤智能科技有限公司 | 一种虚拟景物的展示方法及装置 |
| CN111640197A (zh) * | 2020-06-09 | 2020-09-08 | 上海商汤智能科技有限公司 | 一种增强现实ar特效控制方法、装置及设备 |
| CN114466128B (zh) * | 2020-11-09 | 2023-05-12 | 华为技术有限公司 | 目标用户追焦拍摄方法、电子设备及存储介质 |
Family Cites Families (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6720949B1 (en) * | 1997-08-22 | 2004-04-13 | Timothy R. Pryor | Man machine interfaces and applications |
| JP2005189426A (ja) | 2003-12-25 | 2005-07-14 | Nippon Telegr & Teleph Corp <Ntt> | 情報表示装置および情報入出力装置 |
| US8555207B2 (en) | 2008-02-27 | 2013-10-08 | Qualcomm Incorporated | Enhanced input using recognized gestures |
| US8749557B2 (en) * | 2010-06-11 | 2014-06-10 | Microsoft Corporation | Interacting with user interface via avatar |
| JP6322927B2 (ja) | 2013-08-14 | 2018-05-16 | 富士通株式会社 | インタラクション装置、インタラクションプログラムおよびインタラクション方法 |
| EP2919094A1 (en) * | 2014-03-10 | 2015-09-16 | BAE Systems PLC | Interactive information display |
| TW201614423A (en) * | 2014-10-03 | 2016-04-16 | Univ Southern Taiwan Sci & Tec | Operation system for somatosensory device |
| CN104978029B (zh) * | 2015-06-30 | 2018-11-23 | 北京嘿哈科技有限公司 | 一种屏幕操控方法及装置 |
| KR20170029320A (ko) * | 2015-09-07 | 2017-03-15 | 엘지전자 주식회사 | 이동 단말기 및 그 제어방법 |
| WO2017086108A1 (ja) | 2015-11-16 | 2017-05-26 | 大日本印刷株式会社 | 情報提示装置、情報提示方法、プログラム、情報処理装置及び案内ロボット制御システム |
| CN106203364B (zh) * | 2016-07-14 | 2019-05-24 | 广州帕克西软件开发有限公司 | 一种3d眼镜互动试戴系统及方法 |
| CN106325517A (zh) * | 2016-08-29 | 2017-01-11 | 袁超 | 一种基于虚拟现实的目标对象触发方法、系统和穿戴设备 |
| JP6768597B2 (ja) * | 2017-06-08 | 2020-10-14 | 株式会社日立製作所 | 対話システム、対話システムの制御方法、及び装置 |
| CN107728780B (zh) * | 2017-09-18 | 2021-04-27 | 北京光年无限科技有限公司 | 一种基于虚拟机器人的人机交互方法及装置 |
| CN107728782A (zh) * | 2017-09-21 | 2018-02-23 | 广州数娱信息科技有限公司 | 交互方法及交互系统、服务器 |
| CN108153425A (zh) * | 2018-01-25 | 2018-06-12 | 余方 | 一种基于全息投影的互动娱乐系统和方法 |
| WO2019148491A1 (zh) * | 2018-02-05 | 2019-08-08 | 深圳前海达闼云端智能科技有限公司 | 人机交互方法、装置、机器人及计算机可读存储介质 |
| CN108470205A (zh) * | 2018-02-11 | 2018-08-31 | 北京光年无限科技有限公司 | 基于虚拟人的头部交互方法及系统 |
| CN108415561A (zh) * | 2018-02-11 | 2018-08-17 | 北京光年无限科技有限公司 | 基于虚拟人的手势交互方法及系统 |
| CN108363492B (zh) * | 2018-03-09 | 2021-06-25 | 南京阿凡达机器人科技有限公司 | 一种人机交互方法及交互机器人 |
| CN108682202A (zh) * | 2018-04-27 | 2018-10-19 | 伍伟权 | 一种文科用全息投影教学设备 |
| CN109522790A (zh) * | 2018-10-08 | 2019-03-26 | 百度在线网络技术（北京）有限公司 | 人体属性识别方法、装置、存储介质及电子设备 |
| CN109739350A (zh) * | 2018-12-24 | 2019-05-10 | 武汉西山艺创文化有限公司 | 基于透明液晶显示屏的ai智能助理设备及其交互方法 |
| CN110119197A (zh) * | 2019-01-08 | 2019-08-13 | 佛山市磁眼科技有限公司 | 一种全息互动系统 |
| CN110716634A (zh) * | 2019-08-28 | 2020-01-21 | 北京市商汤科技开发有限公司 | 交互方法、装置、设备以及显示设备 |
-
2019
- 2019-08-28 CN CN201910803899.3A patent/CN110716634A/zh active Pending
-
2020
- 2020-07-24 JP JP2021556968A patent/JP7224488B2/ja active Active
- 2020-07-24 KR KR1020217031185A patent/KR20210131415A/ko not_active Application Discontinuation
- 2020-07-24 WO PCT/CN2020/104466 patent/WO2021036624A1/zh active Application Filing
- 2020-08-25 TW TW109128905A patent/TWI775134B/zh active
-
2022
- 2022-02-25 US US17/681,026 patent/US20220179609A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| JP7224488B2 (ja) | 2023-02-17 |
| TWI775134B (zh) | 2022-08-21 |
| US20220179609A1 (en) | 2022-06-09 |
| CN110716634A (zh) | 2020-01-21 |
| JP2022526772A (ja) | 2022-05-26 |
| WO2021036624A1 (zh) | 2021-03-04 |
| TW202109246A (zh) | 2021-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20210131415A (ko) | 인터렉티브 방법, 장치, 디바이스 및 기록 매체 | |
| KR102247642B1 (ko) | 사용자 특유의 그래머를 사용하는 미디어 아이템 선택 | |
| CN105934760B (zh) | 利用计算机视觉辅助的适应性图像搜索 | |
| KR101832693B1 (ko) | 직관적 컴퓨팅 방법들 및 시스템들 | |
| KR20210129714A (ko) | 인터렉티브 방법, 장치, 디바이스 및 기록 매체 | |
| JP5879637B2 (ja) | 直観的コンピューティング方法及びシステム | |
| EP2877254B1 (en) | Method and apparatus for controlling augmented reality | |
| CN106105185B (zh) | 表示用户的简档的方法、移动设备和计算机可读存储介质 | |
| US10339176B2 (en) | Device for providing image related to replayed music and method using same | |
| US20140204117A1 (en) | Mixed reality filtering | |
| US20110304774A1 (en) | Contextual tagging of recorded data | |
| US20170264973A1 (en) | Video playing method and electronic device | |
| KR20120075487A (ko) | 센서-기반 모바일 검색, 관련 방법들 및 시스템들 | |
| US9589296B1 (en) | Managing information for items referenced in media content | |
| KR20210088601A (ko) | 상태 인식 방법, 장치, 전자 디바이스 및 기록 매체 | |
| US20160240006A1 (en) | Evaluation of augmented reality skins | |
| CN109658167A (zh) | 试妆镜设备及其控制方法、装置 | |
| CN112204539A (zh) | 使用社交图信息的自适应搜索 | |
| CN104901939B (zh) | 多媒体文件播放方法和终端及服务器 | |
| KR20150136181A (ko) | 동공인식을 이용한 광고 제공 장치 및 방법 | |
| CN108573056B (zh) | 内容数据处理方法、装置、电子设备及存储介质 | |
| JP2015179390A (ja) | 販売促進装置、販売促進方法及びプログラム | |
| CN208938000U (zh) | 智能镜面设备 | |
| NL2004709C2 (en) | System and method for communicating information to a public. | |
| JP6857537B2 (ja) | 情報処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal |