KR20200101912A - 정보 처리 장치, 정보 처리 방법, 및 기록 매체 - Google Patents

정보 처리 장치, 정보 처리 방법, 및 기록 매체 Download PDF

Info

Publication number
KR20200101912A
KR20200101912A KR1020207016205A KR20207016205A KR20200101912A KR 20200101912 A KR20200101912 A KR 20200101912A KR 1020207016205 A KR1020207016205 A KR 1020207016205A KR 20207016205 A KR20207016205 A KR 20207016205A KR 20200101912 A KR20200101912 A KR 20200101912A
Authority
KR
South Korea
Prior art keywords
target device
information processing
control target
control
user
Prior art date
Application number
KR1020207016205A
Other languages
English (en)
Inventor
세이지 스즈키
겐타로 이다
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20200101912A publication Critical patent/KR20200101912A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/382—Information transfer, e.g. on bus using universal interface adapter
    • G06F13/385—Information transfer, e.g. on bus using universal interface adapter for adaptation of a particular data processing system to different peripheral devices
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M11/00—Telephonic communication systems specially adapted for combination with other electrical systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M11/00—Telephonic communication systems specially adapted for combination with other electrical systems
    • H04M11/007—Telephonic communication systems specially adapted for combination with other electrical systems with remote control systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Selective Calling Equipment (AREA)
  • Telephonic Communication Services (AREA)

Abstract

어느 제어 대상 기기에 조작 커맨드가 발행되었는지를 유저가 직감적으로 깨닫게 하는 것이 가능한 정보 처리 장치, 정보 처리 방법, 및 기록 매체를 제공한다. 제어 대상 기기의 장소로 유저의 시선을 유도하는 처리와, 상기 시선의 유도의 타이밍에 따라, 상기 제어 대상 기기에 있어서의 조작 커맨드의 실행 타이밍을 제어하는 처리를 행하는 제어부를 구비하는, 정보 처리 장치.

Description

정보 처리 장치, 정보 처리 방법, 및 기록 매체
본 개시는 정보 처리 장치, 정보 처리 방법, 및 기록 매체에 관한 것이다.
근년, 스마트폰, 태블릿 단말기 및 디지털 사이니지 등의 정보 처리 장치가 널리 보급되고 있으며, 이와 같은 복잡한 처리 및 표현이 가능한 정보 처리 장치에 있어서의 표시 오브젝트(즉, UI: User Interface)에 관한 개발이 다양한 관점에서 행해지고 있다. 예를 들어 유저가 보다 직관적으로 조작 가능한 UI, 복잡한 조작을 간이하게 실현 가능한 UI, 유저의 편리성을 향상시키는 UI 등이 개발되고 있다. 그 일례로서, 예를 들어 하기 특허문헌 1에는, 테이블 상에 UI를 표시하여, UI와 유저의 인터랙션을 실현하는 기술이 개시되어 있다.
또한 근년에는, IoT(Internet of Things)의 보급에 수반하여, 가전이더라도 네트워크에 접속되어 타 디바이스와 협조 동작하는 것이 증가되고 있다.
일본 특허 공개 제2015-90524호 공보
종래, 텔레비전 등의 디바이스가 다른 기기와 연계되는 일 없이 단독으로 동작하고 있었기 때문에 유저의 조작에 대한 피드백도, 디바이스 상에 설치된 디스플레이나 LED 등을 이용하면 충분하였다. 그러나 IoT의 보급에 수반하여, 가전이더라도 네트워크에 접속되어 타 디바이스와 협조 동작하는 것이 증가되게 되면(예를 들어 테이블 상에 표시된 UI와의 연동 등), 유저가 디바이스의 피드백을 깨닫기 어렵다는 문제가 생긴다.
그래서, 본 개시에서는, 어느 제어 대상 기기에 조작 커맨드가 발행되었는지를 유저가 직감적으로 깨닫게 하는 것이 가능한 정보 처리 장치, 정보 처리 방법, 및 기록 매체를 제안한다.
본 개시에 따르면, 제어 대상 기기의 장소로 유저의 시선을 유도하는 처리와, 상기 시선의 유도의 타이밍에 따라, 상기 제어 대상 기기에 있어서의 조작 커맨드의 실행 타이밍을 제어하는 처리를 행하는 제어부를 구비하는, 정보 처리 장치를 제안한다.
본 개시에 따르면, 프로세서가, 제어 대상 기기의 장소로 유저의 시선을 유도하는 것과, 상기 시선의 유도의 타이밍에 따라, 상기 제어 대상 기기에 있어서의 조작 커맨드의 실행 타이밍을 제어하는 것을 포함하는, 정보 처리 방법을 제안한다.
본 개시에 따르면, 컴퓨터를, 제어 대상 기기의 장소로 유저의 시선을 유도하는 처리와, 상기 시선의 유도의 타이밍에 따라, 상기 제어 대상 기기에 있어서의 조작 커맨드의 실행 타이밍을 제어하는 처리를 행하는 제어부로서 기능시키기 위한 프로그램이 기록된, 기록 매체를 제안한다.
이상 설명한 바와 같이 본 개시에 따르면, 어느 제어 대상 기기에 조작 커맨드가 발행되었는지를 유저가 직감적으로 깨닫게 하는 것이 가능해진다.
또한 상기 효과는 반드시 한정적인 것은 아니며, 상기 효과와 함께 또는 상기 효과 대신, 본 명세서에 나타난 어느 효과 또는 본 명세서로부터 파악될 수 있는 다른 효과가 발휘되어도 된다.
도 1은 본 개시의 일 실시 형태에 의한 정보 처리 시스템의 개요에 대하여 설명하는 도면이다.
도 2는 본 실시 형태에 따른 시스템의 구성의 일례를 도시하는 블록도다.
도 3은 본 실시 형태에 따른 음성에 의한 에이전트의 호출에 대하여 설명하는 도면이다.
도 4는 본 실시 형태에 따른 메뉴 UI에 의한 에이전트의 호출에 대하여 설명하는 도면이다.
도 5는 본 실시 형태에 따른 시스템의 정보 처리 장치에 있어서 실행되는 디바이스 제어의 흐름의 일례를 도시하는 흐름도다.
도 6은 본 실시 형태에 따른 디바이스에 의한 빙의 표현 처리의 흐름의 일례를 도시하는 흐름도다.
도 7은 본 실시 형태에 따른 에이전트 화상에 의한, 디바이스까지의 시선 유도 및 빙의 표현에 대하여 설명하는 도면이다.
도 8은 본 실시 형태에 따른 에이전트 화상에 의한, 디바이스까지의 시선 유도에 있어서의 궤적의 산출에 대하여 설명하는 도면이다.
도 9는 본 실시 형태에 따른 에이전트 화상의 이동 시에 있어서의 변형의 일례에 대하여 설명하는 도면이다.
도 10은 본 실시 형태에 따른 에이전트의 빙의 표현의 일례에 대하여 설명하는 도면이다.
도 11은 본 실시 형태에 따른 시스템에 의한 빙의 표현 처리의 흐름의 일례를 도시하는 흐름도다.
도 12는 본 실시 형태에 따른 시스템의 대전형 볼더링에 대한 응용예에 대하여 설명하는 도면이다.
도 13은 본 실시 형태에 따른 시스템의 변형 로봇에 대한 응용예에 대하여 설명하는 도면이다.
도 14는 본 실시 형태에 따른 정보 처리 장치의 하드웨어 구성의 일례를 도시하는 블록도다.
이하에, 첨부 도면을 참조하면서 본 개시의 적합한 실시 형태에 대하여 상세히 설명한다. 또한 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 갖는 구성 요소에 대해서는 동일한 번호를 붙임으로써 중복 설명을 생략한다.
또한 설명은 이하의 순서로 행하기로 한다.
1. 본 개시의 일 실시 형태에 의한 정보 처리 시스템의 개요
2. 구성예
2-1. 출력 장치(200)
2-2. 센서 장치(300)
2-3 정보 처리 장치(100)
3. 동작 처리
3-1. 에이전트의 호출
3-2. 디바이스 제어의 흐름
3-3. 디바이스에 의한 빙의 표현 처리
3-4. 시스템에 의한 빙의 표현 처리
3-5. 보충
4. 응용예
5. 하드웨어 구성예
6. 정리
≪1. 본 개시의 일 실시 형태에 의한 정보 처리 시스템의 개요≫
도 1은, 본 개시의 일 실시 형태에 의한 정보 처리 시스템의 개요에 대하여 설명하는 도면이다. 본 실시 형태에 의한 정보 처리 시스템은 정보 처리 장치(100)(도 1에서는 도시하지 않음), 출력 장치(200)(도 1에서는 일례로서 프로젝터(210)와 TV(220)를 도시) 및 센서 장치(300)를 포함한다.
센서 장치(300)는 다양한 정보를 센싱하는 장치이다. 예를 들어 센서 장치(300)는 카메라, 뎁스 센서 및 마이크로폰 등을 포함하며, 유저 및 유저가 있는 공간에 관한 정보를 센싱한다. 예를 들어 센서 장치(300)는 유저의 위치, 자세, 움직임, 시선, 방의 형상, 및 가구의 배치 등을 센싱한다.
출력 장치(200)는, 정보 처리 장치(100)로부터의 다양한 정보를 출력하는 장치이며, 예를 들어 프로젝터(210)나 TV(220)를 상정한다. 프로젝터(210)는, 센서 장치(300)가 센싱하는 공간에 포함되는 벽, 바닥, 테이블, 또는 기타 가구 등의 임의의 장소(즉, 영역)를 투영 장소(즉, 투영면 또는 투영 영역)로 하여 정보를 투영 가능하다. 또한 투영 장소는 평면에 한정되지 않으며, 곡면이어도 되고, 복수의 면으로 나뉘어 있어도 된다. 또한 프로젝터(210)는 공간 내의 어느 곳으로도 투영할 수 있도록 복수 대, 혹은 이른바 무빙 프로젝터에 의하여 실현된다.
출력 장치(200) 및 센서 장치(300)는 단수여도 되고 복수여도 된다.
도 1에 도시한 예에서는, 프로젝터(210)에 의하여 테이블(30)의 상면에 표시 화상(20)이 표시되어 있다. 표시 화상(20)은, 유저 입력에 대한 애플리케이션으로부터의 인터랙션을 나타내는 표시 오브젝트이며, 예를 들어 정지 화상, 동화상(영상), 메뉴 화면 또는 컨트롤 화면과 같은 각종 UI 등이다.
표시 화상(20)에 대한 유저에 의한 조작 입력은 센서 장치(300)에 의하여 검출되기 때문에 유저는 표시 화상(20) 상에서 조작체, 예를 들어 손을 접촉 또는 근접시켜 움직임으로써 표시 화상(20)에 대하여 각종 조작 입력을 행할 수 있다.
표시 화상(20)의 표시 위치는 테이블(30)의 천장면에 한정되지 않으며, 공간 내에 있어서의 벽, 바닥, 또는 가구 등의 임의의 장소여도 되고, 자동적으로 또는 유저에 의한 지시에 따라 제어된다.
여기서, 공간 내의 기기(예를 들어 가전 등의 IoT 디바이스)가 정보 처리 장치(100)와 통신 접속되어 있는 경우, 정보 처리 장치(100)는, 테이블(30)에 표시한 컨트롤 화면(표시 화상(20))에 대한 유저에 의한 조작 입력에 있어서, 각 기기의 ON/OFF 등의 제어가 가능해진다. 이때, 유저는 컨트롤 화면을 보면서 조작하기 때문에, 실제로 어느 기기가 자신의 컨트롤 하에서 동작하고 있는 것인지 깨닫기 어려운 경우가 있다. 또한, 예를 들어 컨트롤 화면의 조작에 의하여 유저가 집 안을 영화 모드로 바꾼 경우, 텔레비전의 화질 설정이 영화 모드로 되고 오디오 시스템이 중저음 모드로 되고 천장 조명이 어두워지는 등 다수의 디바이스가 협조 동작하는데, 많은 변화가 동시에 일어나기 때문에 유저는 잠깐동안은 무슨 일이 일어났는지 이해하지 못하는 경우도 있다.
여기서는 일례로서, 테이블(30)에 표시된 컨트롤 화면으로부터의 조작을 예로 들어 문제점을 설명하였지만, 유저가 스마트폰 상에서 동작하는 애플리케이션을 이용하여 조작한 경우에도 마찬가지의 문제가 생긴다.
이와 같은 문제에 대처하기 위하여 본 개시에서는, 유저에 대한 적절한 피드백을 제시하여, 어느 제어 대상 기기에 조작 커맨드가 발행되었는지를 유저가 직감적으로 깨닫게 하는 것을 가능하게 하는 구조를 제안한다.
구체적으로는 본 개시에서는, 조작 커맨드를 실행하는 디바이스의 위치, 즉, 제어 대상 기기의 장소로 유저의 시선을 유도하고, 당해 시선의 유도의 타이밍에 따라, 제어 대상 기기에 있어서의 조작 커맨드의 실행 타이밍을 제어하는 처리를 행한다. 구체적으로는 제어 대상 기기로 유저의 시선을 유도하고, 유도 완료 후에 당해 제어 대상 기기에 조작 커맨드가 작용한 것을 나타내는 피드백(가능하면 디바이스의 특성을 살린 피드백 표현)을 제시하도록 제어함으로써, 제어 대상 기기에 대한 작용을 유저가 직감적으로 깨닫게 하는 것을 가능하게 한다.
≪2. 구성≫
도 2는, 본 실시 형태에 따른 시스템(1)의 구성의 일례를 도시하는 블록도다. 도 2에 도시한 바와 같이 시스템(1)은 정보 처리 장치(100), 출력 장치(200) 및 센서 장치(300)를 포함한다.
<2-1. 출력 장치(200)>
출력 장치(200)는 프로젝터(210), TV(220), 태블릿(230), 스마트폰(240), PC(250), 스피커(260) 및 단일 지향성 스피커(270)를 포함한다. 또한 시스템(1)은 출력 장치(200)로서 이들 중 하나 또는 복수의 조합을 포함해도 되고, 동일 종류의 장치를 복수 포함해도 된다.
프로젝터(210)는, 공간의 임의의 장소에 화상을 투영하는 투영 장치이다. 프로젝터(210)는, 예를 들어 고정형 광각 프로젝터여도 되고, Pan/Tilt 구동형 등의, 투영 방향을 변경 가능한 가동부를 구비하는, 이른바 무빙 프로젝터여도 된다. TV(220)는, 텔레비전 방송의 전파를 수신하여 화상 및 음성을 출력하는 장치이다. 태블릿(230)은, 전형적으로는 스마트폰(240)보다 큰 화면을 갖는, 무선 통신 가능한 모바일 기기이며, 화상, 음성 및 진동 등을 출력 가능하다. 스마트폰(240)은, 전형적으로는 태블릿(230)보다 작은 화면을 갖는, 무선 통신 가능한 모바일 기기이며, 화상, 음성 및 진동 등을 출력 가능하다. PC(250)는 고정형 데스크탑 컴퓨터여도 되고, 모바일형 노트북 PC여도 되며, 화상 및 음성 등을 출력 가능하다. 스피커(260)는 DAC(Digital Analog Converter) 및 증폭기를 통하여 음성 데이터를 아날로그 신호로 변환하여 출력(재생)한다. 단일 지향성 스피커(270)는 단일 방향으로 지향성을 형성 가능한 스피커이다.
출력 장치(200)는, 정보 처리 장치(100)에 의한 제어에 기초하여 정보를 출력한다. 정보 처리 장치(100)는, 출력하는 정보의 내용에 더해 출력 방법도 제어 가능하다. 예를 들어 정보 처리 장치(100)는 프로젝터(210)의 투영 방향을 제어하거나 단일 지향성 스피커(270)의 지향성을 제어하거나 할 수 있다.
또한 출력 장치(200)는, 상술한 구성 요소 이외의, 임의의 출력이 가능한 구성 요소를 포함하고 있어도 된다. 예를 들어 출력 장치(200)는, HMD(Head Mounted Display), AR(Augmented Reality) 글라스 및 시계형 디바이스 등의 웨어러블 디바이스를 포함하고 있어도 된다.
또한 출력 장치(200)는 조명 장치, 공조 장치, 또는 음악 재생 장치 등을 포함하고 있어도 된다.
<2-2. 센서 장치(300)>
센서 장치(300)는 카메라(310), 뎁스 센서(320) 및 마이크로폰(330)을 포함한다.
카메라(310)는, RGB 카메라 등의, 렌즈계, 구동계 및 촬상 소자를 갖고, 화상(정지 화상 또는 동화상)을 촬상하는 촬상 장치이다. 뎁스 센서(320)는, 적외선 측거 장치, 초음파 측거 장치, LiDAR(Laser Imaging Detection and Ranging), 또는 스테레오 카메라 등의, 심도 정보를 취득하는 장치이다. 마이크로폰(330)은, 주위의 소리를 수음하여 증폭기 및 ADC(Analog Digital Converter)를 통하여 디지털 신호로 변환한 음성 데이터를 출력하는 장치이다. 마이크로폰(330)은 어레이 마이크여도 된다.
센서 장치(300)는, 정보 처리 장치(100)에 의한 제어에 기초하여 정보를 센싱한다. 예를 들어 정보 처리 장치(100)는 카메라(310)의 줌률 및 촬상 방향을 제어할 수 있다.
또한 센서 장치(300)는, 상술한 구성 요소 이외의, 임의의 센싱이 가능한 구성 요소를 포함하고 있어도 된다. 예를 들어 센서 장치(300)는, 마우스, 키보드, 터치 패널, 버튼, 스위치 및 레버 등, 유저에 의하여 정보가 입력되는 장치를 포함하고 있어도 된다. 또한 센서 장치(300)는, 가속도 센서, 자이로 센서, 지자기 센서, 광 센서, 조도 센서, 힘 센서, 초음파 센서, 기압 센서, 가스 센서(Co2), 서모 카메라 등의 각종 센서를 포함할 수 있다.
<2-3. 정보 처리 장치(100)>
정보 처리 장치(100)는 I/F(Interface)부(110), 제스처 검출부(120), 유저 검출부(130), 환경 검출부(140), 기기 검출부(150), 기억부(160) 및 제어부(170)를 포함한다.
·I/F부(110)
I/F부(110)는, 정보 처리 장치(100)와 다른 기기를 접속하기 위한 접속 장치이다. I/F부(110)는, 예를 들어 USB(Universal Serial Bus) 커넥터 등에 의하여 실현되며, 출력 장치(200) 및 센서 장치(300)의 각 구성 요소와의 사이에서 정보의 입출력을 행한다.
·제스처 검출부(120)
제스처 검출부(120)는, 센서 장치(300)에 의하여 센싱된 정보에 기초하여 유저의 제스처 정보를 검출하는 기능을 갖는다. 제스처 정보는, 예를 들어 뎁스 카메라, 서모 카메라, RGB 카메라, 또는 초음파 센서 등에 의하여 검출될 수 있다. 제스처 정보는, 예를 들어 유저의 손의 움직임, 팔의 움직임, 자세(예를 들어 본(bone) 정보), 시선, 터치 조작 등의 정보이다. 보다 구체적으로는 제스처 검출부(120)는, 손가락질이나 머리의 움직임, 시선 등에 의한 방향을 지시하는 동작이나, 벽, 바닥, 테이블, 또는 기타 가구 등의 투영 장소에 대한 터치 조작을 제스처 정보로서 검출한다. 터치 조작은, 벽, 바닥, 또는 가구 등에 투영된 표시 화상에 대한 유저에 의한 조작 입력으로서도 검출된다. 예를 들어 테이블(30)에 표시 화상(20)이 표시되고 있는 경우, 제스처 검출부(120)는, 센서 장치(300)로부터 입력된 촬상 화상이나 뎁스 정보를 해석하여, 표시 화면 상에 위치하는 유저의 손이나 손가락의 위치나 심도 정보(달리 말하면 3차원 정보)를 취득하여, 높이 방향에 있어서의 테이블(30)에 대한 유저의 손의 접촉 혹은 근접, 및 테이블(30)로부터의 손의 이탈을 검출한다. 본 명세서에서는, 유저가 정보에 표시 화면에 손 등의 조작체를 접촉 또는 근접시키는 것을 통틀어, 간단히 「접촉」이라고도 칭한다.
제스처 검출부(120)는, 검출한 제스처 정보를 제어부(170)에 출력한다.
·유저 검출부(130)
유저 검출부(130)는, 센서 장치(300)에 의하여 센싱된 정보에 기초하여 유저에 관한 정보(유저 정보)를 검출하는 기능을 갖는다.
유저 정보는, 센서 장치(300)에 의하여 센싱되는 공간 내에 있어서의 유저의 위치 및 인원수를 나타내는 정보를 포함할 수 있다. 유저의 위치 및 인원수는 서모 카메라, RGB 카메라, 적외선 센서, 또는 초음파 센서 등에 의하여 검출될 수 있다.
유저 정보는, 유저의 시선을 나타내는 정보를 포함할 수 있다. 유저의 시선을 나타내는 정보는, 시점의 위치 및 시선 방향을 나타내는 정보를 포함한다. 또한 유저의 시선을 나타내는 정보는, 유저의 얼굴이나 머리의 배향을 나타내는 정보여도 되고, 또한 안구의 배향을 나타내는 정보여도 된다. 유저의 시선을 나타내는 정보는, RGB 카메라, 적외선 카메라, 또는 유저에 장착된 접안 카메라 등에 의하여 얻어지는 유저의 눈의 화상을 해석함으로써 검출될 수 있다.
유저 정보는, 유저의 자세를 나타내는 정보를 포함할 수 있다. 유저의 자세를 나타내는 정보는, RGB 카메라 또는 적외선 카메라 등에 의하여 얻어지는 화상을 해석함으로써 검출될 수 있다.
유저 정보는, 유저의 발화 음성을 나타내는 정보를 포함할 수 있다. 유저의 발화 음성을 나타내는 정보는, 마이크로폰에 의하여 얻어지는 음성 정보를 해석함으로써 검출될 수 있다.
유저 검출부(130)는, 검출한 유저 정보를 제어부(170)에 출력한다.
·환경 검출부(140)
환경 검출부(140)는, 센서 장치(300)에 의하여 센싱된 정보에 기초하여 환경 정보를 검출하는 기능을 갖는다. 환경 정보는, 유저가 있는 공간에 관한 정보이다. 환경 정보는 다양한 정보를 포함할 수 있다.
환경 정보는, 유저가 있는 공간의 형상을 나타내는 정보를 포함할 수 있다. 공간의 형상을 나타내는 정보는, 예를 들어 벽면, 천장, 바닥, 도어, 가구 및 생활용품 등의, 공간을 형성하는 물체의 형상을 나타내는 정보를 포함한다. 공간의 형상을 나타내는 정보는 2차원 정보여도 되고, 포인트 클라우드 등의 3차원 정보여도 된다. 공간의 형상을 나타내는 정보는, 예를 들어 적외선 측거, 초음파 측거, 또는 스테레오 카메라에 의하여 얻어지는 심도 정보에 기초하여 검출될 수 있다.
환경 정보는, 투영면의 상태를 나타내는 정보를 포함할 수 있다. 투영면의 상태는, 예를 들어 투영면의 요철 및 색을 의미한다. 투영면의 요철은, 예를 들어 LiDAR에 의하여 얻어지는 심도 정보에 기초하여 검출될 수 있다. 투영면의 색은, 예를 들어 RGB 카메라에 의하여 촬상된 화상을 해석함으로써 검출될 수 있다.
환경 정보는, 투영면의 밝기를 나타내는 정보를 포함할 수 있다. 투영면의 밝기는 조도 센서 또는 RGB 카메라에 의하여 검출될 수 있다.
환경 정보는, 공간 내의 물체의 위치(3차원 위치)를 나타내는 정보를 포함할 수 있다. 예를 들어 방 안의 컵, 의자, 테이블 및 전자 기기 등의 위치는 화상 인식에 의하여 검출될 수 있다. 또한, 예를 들어 방 안의 스마트폰의 위치는, 스마트폰과 무선 LAN의 액세스 포인트 사이의 통신에 따른 전파 강도에 의하여 검출될 수 있다.
환경 정보는 환경음을 포함할 수 있다. 환경음은 마이크로폰에 의하여 검출될 수 있다.
환경 검출부(140)는, 검출한 환경 정보를 제어부(170)에 출력한다.
기기 검출부(150)는, 공간 내의 기기에 관한 정보(기기 정보)를 검출하는 기능을 갖는다. 기기 정보는 기기의 존재 및 기기의 3차원 위치를 포함할 수 있다.
정보 처리 장치(100)는 I/F부(110)를 통하여 각 기기(출력 장치(200))와 접속된다. 예를 들어 I/F부(110)는, 무선/유선 LAN(Local Area Network), DLNA(등록 상표)(Digital Living Network Alliance), Wi-Fi(등록 상표), Bluetooth(등록 상표), USB 접속, 또는 기타 전용선 등에 의하여 공간 내의 각 기기와 접속된다. 기기 검출부(150)는, I/F부(110)를 통하여 각 기기가 접속됨으로써 그 기기의 존재를 파악한다.
기기의 3차원 위치는, 센서 장치(300)에 의하여 센싱된 정보에 기초하여 특정될 수 있다. 예를 들어 기기 검출부(150)는, 기기에 마련된 재귀성 반사재를, 센서 장치(300)의 IR(infrared) 카메라로 촬영한 적외선 화상의 해석에 의하여 추출하여, 공간 내에 있어서의 기기의 위치를 특정해도 된다. 또한 기기 검출부(150)는, 기기에 마련된 특정 패턴(메이커명 또는 이차원 바코드 등)을 센서 장치(300)의 카메라(RGB 카메라)로 촬영한 촬영 화상의 해석에 의하여 추출하여, 공간 내에 있어서의 기기의 위치를 특정해도 된다. 또한 기기 검출부(150)는, 기기별로 발신되는 유니크한 초음파를 센서 장치(300)의 마이크로폰으로 취득하여, 공간 내에 있어서의 기기의 위치를 특정해도 된다. 또한 기기 검출부(150)는, 유저에 의한 장소 지정의 동작(손가락질, 터치, 시선, 또는 마커를 두는 등)과 등록 조작(UI 선택, 또는 음성 발화 등)을 센서 장치(300)에 의하여 센싱하여, 공간 내에 있어서의 기기의 위치를 특정해도 된다.
기기 검출부(150)는, 검출한 기기 정보를 제어부(170)에 출력한다.
이상, 공간 내의 사람, 환경, 및 기기에 관한 정보를 검출하는 기능에 대하여 설명하였다. 본 명세서에 있어서, 제스처 검출부(120), 유저 검출부(130), 환경 검출부(140) 및 기기 검출부(150)에 의한 각 정보의 검출은 공간 인식에 상당하며, 얻어진 정보(공간의 환경 센싱 처리의 결과)는 공간 정보라고도 칭한다.
·제어부(170)
제어부(170)는 각종 프로그램에 따라 정보 처리 장치(100) 내의 동작 전반을 제어한다. 제어부(170)는 표시 제어부(171) 및 음향 제어부(173)를 포함한다. 표시 제어부(171)는, 출력 장치(200)에 의한 표시를 제어한다. 음향 제어부(173)는, 출력 장치(200)에 의한 음성 출력을 제어한다.
또한 제어부(170)는, I/F부(110)를 통하여 접속되는 각종 기기의 동작 제어를 행할 수 있다. 정보 처리 장치(100)에 의하여 제어를 행하는 것이 가능한 기기를 「제어 대상 기기」라고도 칭한다. 제어 대상 기기에는, 상술한 출력 장치(200)의 예 외에, 세탁기나 냉장고 등의 IoT 가전, 완구, 가구, 자가용 차 등의 다양한 IoT 디바이스, 및 바닥 난방, 목욕물 급탕기, 욕실 건조기, 도어/창의 시정, 창 셔터, 차고 등의 홈 설비도 포함된다. 제어부(170)는, 소정의 제어를 지시하는 커맨드(제어 신호)를 I/F부(110)를 통하여 제어 대상 기기에 송신한다.
또한 제어부(170)는, 공간 내로부터 취득한 정보에 기초하여 조작 커맨드를 취득한다.
예를 들어 제어부(170)는 유저의 음성 발화, 조작 입력(제스처나, 공간 내에 표시한 컨트롤 화면에 대한 조작), 또는 유저의 상황 등을 해석하여, 제어 대상 기기의 제어에 관한 조작 커맨드를 취득한다.
구체적으로는, 예를 들어 제어부(170)는, 마이크로폰(330)에 의하여 집음한 음성 정보(발화 음성)로부터 음성 인식 엔진을 이용하여 문자열을 취득하고, 또한 구문 분석을 행하여 유저의 발화 내용을 인식하여 조작 트리거를 검출한다. 조작 트리거는, 소정의 키워드(예를 들어 시스템의 명칭, 시스템에 대한 호창 등), 또는 동작의 지시(예를 들어 「표시해」, 「보여 줘」, 「○○ 모드로 이행」, 「불을 켜」 등)여도 된다. 트리거가 검출된 경우, 제어부(170)는 조작 커맨드의 생성을 행한다. 조작 커맨드란, 공간 내의 기기에 무언가 동작을 실행시키기 위한 제어 신호이다. 제어부(170)는, 인식한 유저의 발화 내용으로부터 제어 대상 기기와 제어 내용을 취득하여 조작 커맨드를 생성한다. 예를 들어 「텔레비전 켜」라고 유저가 발화한 경우, 제어부(170)는 「TV_ON 커맨드」로서 유효하게 인식한다.
또한 제어부(170)는, 유저가 추운 것처럼 하고 있는 등의 상황을 해석하여, 난방을 트는 등의 유효 커맨드를 인식해도 된다. 이 경우, 제어부(170)는 에이전트를 표시시켜 「난방을 켤까요?」, 「난방을 켤게요」 등과 같이 유저에게 커맨드 내용을 제시하고 나서 조작 커맨드의 발행을 행하도록 해도 된다.
이어서, 제어부(170)는, 생성한 조작 커맨드를 제어 대상 기기에 발행(송신)하기 전에 유저의 시선 유도 처리를 행한다. 즉, 본 실시 형태에 의한 제어부(170)는 유저의 시선을 제어 대상 기기로 유도하고, 유도 타이밍에 따라 제어 대상 기기의 동작을 제어함으로써(제어 대상 기기에 있어서의 조작 커맨드의 실행 타이밍을 제어함으로써), 제어 대상 기기에 대한 작용을 유저가 직감적으로 깨닫게 하는 것을 가능하게 한다. 시선 유도 처리는, 예를 들어 화상 또는 음성에 의하여 행한다. 예를 들어 제어부(170)는, 시선 유도가 종료되는 타이밍에 제어 대상 기기에 조작 커맨드를 송신하는 제어를 행한다. 시선 유도가 종료되는 타이밍이란, 예를 들어 유도 화상이 제어 대상 기기의 위치에 도달한 경우이다. 「제어 대상 기기의 위치에 도달한 경우」는, 예를 들어 유도 화상이 제어 대상 기기의 단부로부터 소정의 거리 이내, 또는 제어 대상 기기의 무게 중심 위치로부터 소정의 거리 이내에 든 경우에 도달하였다고 판정해도 된다. 보다 구체적으로는, 예를 들어 제어부(170)는 프로젝터(210)에 의하여 유도 화상을 유저의 시선 방향에 표시하고, 유도 화상을 제어 대상 기기의 위치까지 이동시킴으로써 유저의 시선을 제어 대상 기기로 유도한다. 그리고 유도 화상을 제어 대상 기기의 위치까지 이동시킨 후, 제어부(170)는 조작 커맨드를 제어 대상 기기에 발행하여 제어 대상 기기를 동작시킨다(예를 들어 TV의 전원을 ON으로 하는 등). 또한 「시선 유도가 종료되는 타이밍」은 상기 예에 한정되지 않으며, 예를 들어 유도 화상이 제어 대상 기기의 위치에 도달하고, 또한 유저의 시선 방향이 제어 대상 기기를 향한 경우로 해도 된다. 혹은 「시선 유도가 종료되는 타이밍」은, 유도 화상이 제어 대상 기기의 위치에 도달하고, 또한 제어 대상 기기로부터 조작 커맨드의 실행 준비 완료 통지를 수신한 경우(미리 제어 대상 기기에 조작 커맨드의 실행 준비 지시 커맨드를 정보 처리 장치(100)가 송신하였을 것이 전제로 됨)로 해도 된다.
또한 제어부(170)는 유도 화상을 제어 대상 기기의 위치까지 이동시킨 후, 조작 커맨드를 제어 대상 기기에 발행하기 전에, 제어 대상 기기에 대하여 유도 화상의 빙의 표현을 출력하는 제어를 행한 후에, 조작 커맨드를 제어 대상 기기에 발행하도록 해도 된다. 빙의 표현을 출력함으로써, 시스템의 컨트롤이 제어 대상 기기에 작용한 것을 직감적으로 유저에게 나타내는 것이 가능해진다. 빙의 표현을 출력하는 제어란, 예를 들어 제어 대상 기기로부터의 음성 출력, 화상 표시, 진동, 또는 움직임, 혹은 프로젝터(210)에 의한 제어 대상 기기로의 소정 화상의 투영이 상정된다. 예를 들어 유도 화상을 제어 대상 기기의 위치까지 이동시킨 후에 제어 대상 기기가 약간 움직이면, 유저는, 시스템의 컨트롤이 제어 대상 기기에 작용하고 있음을 직감적으로 인식할 수 있다. 또한 제어부(170)는, 이와 같은 빙의 표현의 출력 제어가 종료된 타이밍에 제어 대상 기기에 조작 커맨드를 발행하도록 해도 된다.
또한 제어부(170)는, 발화자의 특정을 행하는 것도 가능하다. 본 시스템에서는, 유저 검출부(130) 및 환경 검출부(140)에 의하여 공간 내의 모든 유저의 위치나 자세가 정기적으로 인식되어 있기 때문에, 제어부(170)는 마이크로폰에서 일정 이상의 음량의 음성 신호를 취득한 경우에, 마이크 어레이를 이용하여 발화자의 방향을 특정하고, 미리 인식하고 있는 모든 유저의 위치를 참조하여 발화자를 특정한다. 이것에 의하여, 예를 들어 제어부(170)는, 상술한 바와 같이 발화자의 시선 방향으로 유도 화상을 표시하는 것이 가능해진다.
·기억부(160)
기억부(160)는, 제어부(170)의 처리에 이용되는 프로그램이나 연산 파라미터 등을 기억하는 ROM(Read Only Memory), 및 적당히 변화되는 파라미터 등을 일시 기억하는 RAM(Random Access Memory)에 의하여 실현된다. 또한 기억부(160)는, 제스처 검출부(120)에 의하여 검출된 제스처 정보, 유저 검출부(130)에 의하여 검출된 유저 정보, 환경 검출부(140)에 의하여 검출된 환경 정보, 및 기기 검출부(150)에 의하여 검출된 기기 정보 등을 기억한다.
이상, 본 실시 형태에 의한 정보 처리 장치(100)의 구성에 대하여 구체적으로 설명하였다. 또한 정보 처리 장치(100)의 구성은, 도 2에 도시한 예에 한정되지 않는다. 예를 들어 정보 처리 장치(100)가 출력 장치(200) 및 센서 장치(300)와 동일한 공간 내에 있어도 되고 다른 공간에 있어도 된다. 또한 정보 처리 장치(100)가 네트워크 상에 있어도 된다. 또한 정보 처리 장치(100)의 적어도 일부의 구성이 외부 장치에 있어도 된다. 정보 처리 장치(100)의 각 구성을 적당히 분산함으로써, 리얼타임성의 향상이나 처리 부담의 경감, 나아가 보안을 담보하는 것이 가능해진다.
≪3. 동작 처리≫
계속해서, 본 실시 형태에 의한 정보 처리 시스템의 동작 처리에 대하여 도면을 이용하여 구체적으로 설명한다.
<3-1. 에이전트의 호출>
먼저, 유저는 음성 또는 제스처에 의하여 에이전트의 호출을 행한다. 정보 처리 장치(100)는, 센서 장치(300)에 의하여 공간으로부터 취득한 정보를 해석하여, 에이전트의 이름이나 시스템에 대한 호창이 행해진 경우나 소정의 제스처를 인식한 경우에 프로젝터(210)에 의하여 에이전트 화상을 투영한다.
도 3은, 본 실시 형태에 따른 음성에 의한 에이전트의 호출에 대하여 설명하는 도면이다. 도 3 좌측에 도시한 바와 같이, 예를 들어 유저가 「마이클」이라는 에이전트의 이름을 발화한 경우, 정보 처리 장치(100)는 발화와 유저의 방향(발화자의 위치)을 어레이 마이크에 의하여 특정한다. 이어서, 정보 처리 장치(100)는, 특정한 방향에 있는 유저를 뎁스 카메라로 포착하여 얼굴 배향(혹은 시선)의 방향 V를 인식한다. 다음으로, 정보 처리 장치(100)는, 도 3 우측에 도시한 바와 같이, 그 얼굴 배향의 방향 V의 앞쪽에, 프로젝터(210)를 이용하여 에이전트 화상(10)을 표시한다.
도 4는, 본 실시 형태에 따른 컨트롤 UI에 의한 에이전트의 호출에 대하여 설명하는 도면이다. 도 4 좌측에 도시한 바와 같이 유저가 테이블이나 벽 등을 탭한 경우, 정보 처리 장치(100)는 도 4 중앙에 도시한 바와 같이 탭한 장소에 메뉴 UI(21)를 프로젝터(210)에 의하여 투영 표시한다. 그리고 유저가 메뉴 UI(21) 중에서 「Agent」라는 항목을 선택한 경우, 정보 처리 장치(100)는 에이전트 화상(10)을 투영 표시한다. 이 경우에는, 탭한 장소에 에이전트 화상(10)이 표시된다.
<3-2. 디바이스 제어의 흐름>
이와 같이 에이전트를 호출한 후, 유저가 에이전트를 통하여 디바이스(기기)의 제어를 행하는 경우의 동작 처리에 대하여 도 5을 참조하여 설명한다. 도 5는, 본 실시 형태에 따른 시스템(1)의 정보 처리 장치(100)에 있어서 실행되는 디바이스 제어의 흐름의 일례를 도시하는 흐름도다.
도 5에 도시한 바와 같이 먼저, 정보 처리 장치(100)는 마이크로폰(330)으로부터 취득한 음성 정보에 기초하여 유저의 발화 인식을 행한다(스텝 S103). 예를 들어 유저가 에이전트에 대하여 「텔레비전 켜」라고 발화한 경우, 정보 처리 장치(100)는 발화 내용을 해석하여 TV_ON 커맨드로서 유효하게 인식한다.
다음으로, 정보 처리 장치(100)는 유저의 발화 음성으로부터 유효한 조작 커맨드를 인식한다(스텝 S106). 유효한 커맨드인 경우, 정보 처리 장치(100)는 그 커맨드의 송신처 디바이스(제어 대상 기기)를 판정한다. 예를 들어 「텔레비전 켜」라면 TV(220)이고 「음악 켜」라면 음악 플레이어(또는 스피커(260))이다. 발화 인식에 실패한 경우(스텝 S106/아니오), 정보 처리 장치(100)는 아무것도 하지 않고 종료해도 되고, 「한번 더 말하세요」 등과 같이 유저에게 다시 발화를 촉구해도 된다.
이어서, 정보 처리 장치(100)는, 판정한 송신처 디바이스가 빙의 표현 가능한 디바이스인지 여부를 판단한다(스텝 S109). 빙의 표현이란, 시스템이 대상 디바이스에 작용한 것을 유저에게 직감적으로 파악시키기 위하여 디바이스의 피드백이다. 에이전트가 디바이스를 갈아탄 것처럼 보여 주기 때문에 「빙의 표현」이라 칭하고 있다. 디바이스의 피드백은, 예를 들어 화상 표시, 음성 출력, 진동, 또는 소정의 움직임 등에 의하여 행하는 것이 상정된다. 정보 처리 장치(100)는, 예를 들어 TV(220)는 디스플레이를 갖고 있기 때문에 빙의 표현 가능하다고 판정할 수 있다. 또한 빙의 표현이 가능한지 여부는 정보 처리 장치(100)로부터 디바이스에 문의해도 되고, 미리 디바이스로부터 취득한 기기 정보에 기초하여 판단해도 된다.
다음으로, 디바이스가 빙의 표현 가능한 경우(스텝 S109/예), 정보 처리 장치(100)는 디바이스에 의한 빙의 표현을 행하도록 제어한다(스텝 S112). 상세에 대해서는 도 6을 참조하여 후술한다.
한편, 디바이스가 빙의 표현에 대응하고 있지 않은 경우(스텝 S109/아니오), 정보 처리 장치(100)는, 시스템에 의한 빙의 표현을 행하도록 제어한다(스텝 S115). 시스템에 의한 빙의 표현이란, 제어 대상 디바이스 이외의 디바이스를 이용한 제어이며, 예를 들어 프로젝터(210)에 의하여 제어 대상 디바이스에 소정의 화상 투영 등을 행하여, 제어 대상 디바이스가 움직이고 있는 것처럼 보여 주거나 한다. 상세에 대해서는 도 6을 참조하여 후술한다.
그리고 빙의 표현의 출력 완료 후, 정보 처리 장치(100)는 디바이스에 조작 커맨드를 발행(송신)한다(스텝 S118). 예를 들어 인식한 유효 커맨드가 TV_ON 커맨드인 경우, 정보 처리 장치(100)는 TV(220)를 전회 설정했던 입력으로 전환하도록 지시하는 조작 커맨드를 발행한다. 구체적으로는, 예를 들어 전회 전원 오프 시에 지상 디지털 방송 3ch로 했었으면 DIGITAL_3CH 커맨드를 발행한다. 이 경우, 정보 처리 장치(100)는 HDMI1(HDMI(등록 상표): High-Definition Multimedia Interface)에 신호를 송출한다. 빙의 표현의 출력 완료는, 예를 들어 디바이스에서 빙의 표현 출력을 행한 경우, 디바이스로부터의 완료 통지 수신에 의하여 판단하는 것이 가능하다. 또한 시스템에서 빙의 표현 출력을 행한 경우에는, 예를 들어 시스템측의 완료 통지 수신에 의하여 판단하는 것이 가능하다.
<3-3. 디바이스에 의한 빙의 표현 처리>
도 6은, 본 실시 형태에 따른 디바이스에 의한 빙의 표현 처리의 흐름의 일례를 도시하는 흐름도다.
도 6에 도시한 바와 같이 먼저, 정보 처리 장치(100)는 디바이스에 빙의 준비 커맨드를 출력한다(스텝 S123). 빙의 준비 커맨드란 빙의 표현 출력의 준비이며, 디바이스를 피드백 제시 가능한 상태로 하는 것이다. 예를 들어 TV(220)의 경우라면, 전원을 ON으로 하고 HDMI1로 전환하는 것 등이다. TV(220)의 입력을 전환하는 수법으로서는 DLNA(등록 상표)를 이용해도 되고 전용 Web API를 이용해도 된다.
다음으로, 디바이스에 의한 빙의 준비가 완료되면(스텝 S126/예), 정보 처리 장치(100)는 시선 유도를 개시한다(스텝 S129). 디바이스에 의한 빙의 준비의 완료는, 디바이스로부터 준비 완료 통지를 수신함으로써 확인해도 되고, 소정 시간 경과 후(타임 아웃)에 의하여 준비 완료로 간주해도 된다.
시선 유도는, 유저의 시선을 디바이스로 유도하는 처리이며, 예를 들어 유저의 시선 방향으로 유도 화상을 표시하여 행한다. 본 실시 형태에서는, 이미 표시하고 있는 에이전트 화상(10)(도 3, 도 4 참조)을 유도 화상으로서 이용한다. 예를 들어 정보 처리 장치(100)는, 도 7 좌측 상방에 도시한 바와 같이, 에이전트 화상(10)을 현재의 표시 위치(유저의 시선 방향에 표시되고 있는)로부터 TV(220)로 이동시킴으로써 시선 유도를 실현한다.
이때, 정보 처리 장치(100)는 시선 유도의 궤적(42)을 산출한다. 여기서, 도 8에, 시선 유도의 궤적 산출에 대하여 설명하는 도면을 도시한다. 정보 처리 장치(100)는, 도 8에 도시한 바와 같이, 예를 들어 에이전트 화상(10)의 이동원 지점 M1, 유저의 시점 위치 P, 및 에이전트 화상(10)의 이동처 지점 M2의 3점을 포함하는 평면(40)을 규정하고, 그 평면(40)과 실 공간 상의 벽면의 교선을 산출하여 궤적(42)으로 해도 된다. 또한 실 공간 상의 벽면은 뎁스 카메라 등에 의하여 인식되어 있다. 또한 궤적(42) 상에 회화나 기타 오브젝트가 있어서 영상 투영에 부적합한 경우, 정보 처리 장치(100)는 장애물을 회피하는 궤적을 산출해도 된다.
정보 처리 장치(100)는, 산출한 궤적(42)에 따라 시선 유도 애니메이션을 출력한다. 구체적으로는, 도 7 좌측에 도시한 바와 같이, 에이전트 화상(10)이 현재 위치로부터 궤적(42)을 따라 TV(220)로 이동하도록 투영 제어한다. 이때, 정보 처리 장치(100)는 에이전트 화상(10)을, 시선 유도하기 쉬운 형태로 변화시켜도 된다. 예를 들어 도 9에 도시한 바와 같이, 에이전트 화상(10)을 단순한 점의 형상으로 변형시키고 나서 이동시키고, TV(220)의 위치에 도달한 경우에는 원래의 에이전트 화상(10)으로 되돌리도록 해도 된다.
또한 정보 처리 장치(100)는, 시선 유도 개시 직후에는 에이전트 화상(10)의 이동 스피드를 조금 천천히(유저가 눈으로 좇기에 충분한 속도로) 설정해도 된다. 이것에 의하여 유저가 에이전트 화상(10)을 놓치지 않도록 할 수 있다. 또한 정보 처리 장치(100)는 유저의 시선 방향을 뎁스 카메라 등으로 인식함으로써, 유저가 에이전트 화상(10)을 눈으로 좇고 있는지 축차 판정하고, 놓친 것 같으면 에이전트 화상(10)을 그 자리에 대기시키거나 명멸시키거나 하여 유저가 다시 발견하게 하는 제어를 행해도 된다.
이어서, 시선 유도가 종료되면(스텝 S132/예), 정보 처리 장치(100)는 디바이스에 빙의 표현 출력 커맨드를 발행한다(스텝 S135). 시선 유도의 종료는, 유도 화상이 디바이스에 도달한 시점에서 종료로 해도 되고, 유도 화상이 디바이스에 도달하고, 또한 유저가 디바이스의 방향을 본 경우에 종료로 해도 된다. 혹은 유도 화상이 디바이스에 도달하고, 또한 소정 시간이 경과한 경우에 종료로 해도 된다.
여기서, 빙의 표현의 일례에 대하여 설명한다. 예를 들어 이동처가 TV(220)인 경우, 정보 처리 장치(100)는, 에이전트 화상(10)이 TV(220)의 위치에 도달하였을 때, 에이전트 화상(10)의 출력처를 프로젝터(210)로부터 TV(220)로 전환한다. 이것에 의하여, 도 7의 우측 상방에 도시한 바와 같이, TV(220)에 에이전트 화상(10)이 표시되어, 에이전트가 TV(220)에 빙의한 것처럼 유저에 인식시키는 것이 가능해진다. 이때, 프로젝터(210)로부터의 출력(즉, 시선 유도)과 TV(220)로부터의 출력(즉, 빙의 표현의 출력)의 전환은 일괄적으로 행하는 것이 아니라, 도 10에 도시한 바와 같이, 에이전트 화상(10)의 일부가 TV(220)의 화면 단부에 들어가도록 에이전트 화상(10)을 분할하여 일시적으로 프로젝터(210)와 TV(220)의 양쪽으로부터 동시에 출력하도록 해도 된다. 도 10에 도시한 예에서는, 에이전트 화상(10)은, 프로젝터(210)로부터의 투영 화상(11)과, TV(220)에 의한 표시 화상(221)에 의하여 형성되어 있다. 이것에 의하여 보다 효과적으로, 에이전트가 TV(220)에 빙의한 것처럼 보여 줄 수 있다. 또한 시선 유도 중에 에이전트 화상(10)을, 도 9에 도시한 바와 같은 점의 표현으로 하고 있는 경우에는, 이동처 도달 후에 통상의 표현으로 되돌려도 된다. 이와 같이 시선 유도와 빙의 표현이 동시에 행해져도 된다.
그리고 정보 처리 장치(100)는 빙의 표현의 출력 완료를 확인한다(스텝 S138). 빙의 표현의 출력 완료는, 디바이스로부터의 빙의 표현 출력 완료 통지를 수신한 경우에 판단해도 되고, 빙의 표현 출력 커맨드를 발행하고 나서 소정 시간 경과한 경우(타임 아웃)여도 된다. 혹은 유저가 빙의 표현을 본 경우에 빙의 표현 완료로 판단해도 된다. 그리고 빙의 표현 출력이 완료되면, 정보 처리 장치(100)는, 도 5을 참조하여 설명한 바와 같이 디바이스에 조작 커맨드를 발행하고 디바이스에 있어서 조작 커맨드를 실행시킨다. 구체적으로는, 예를 들어 도 7의 우측 하방에 도시한 바와 같이, TV(220)에 있어서 전회 설정했었던 채널로 입력이 전환된다.
이상, 본 실시 형태에 의한 빙의 표현 처리의 일례에 대하여 설명하였다. 또한 도 6에 도시하는 동작 처리는 일례이며, 본 개시는, 도 6에 도시하는 예에 한정되지 않는다. 예를 들어 스텝 S123 내지 S126에 나타내는 빙의 표현의 준비 처리와, 스텝 S129 내지 S132에 나타내는 시선 유도 처리가 병렬로 행해져도 된다. 시선 유도 종료 시점에서 빙의 표현의 준비가 완료되어 있으면 된다. 또한 정보 처리 장치(100)는, 빙의 표현의 준비가 완료에 시선 유도의 종료 타이밍을 맞추도록 제어해도 된다. 예를 들어 에이전트 화상(10)을 멀리 돌아가게 하거나 쓸데없는 움직임을 하게 하거나 이동 속도를 느리게 하거나 하여, 대상 디바이스에 도착하는 시간(시선 유도가 종료되는 타이밍)을 조정해도 된다.
또한, 예를 들어 스텝 S132와 스텝 S135는, 도 6에 도시하는 순번으로 행해지지 않아도 된다. 즉, 도 10에 도시한 바와 같이 시선 유도와 빙의 표현이 동시에 행해져도 되고, 정보 처리 장치(100)는 빙의 표현 출력 커맨드 발행 후에 시선 유도를 종료하는 처리를 행해도 된다.
<3-4. 시스템에 의한 빙의 표현 처리>
도 11은, 본 실시 형태에 따른 시스템에 의한 빙의 표현 처리의 흐름의 일례를 도시하는 흐름도다. 디바이스가 빙의 표현에 대응하고 있지 않은 경우에는 시스템측에서 빙의 표현을 출력한다.
도 11에 도시한 바와 같이 먼저, 정보 처리 장치(100)는 시선 유도를 개시한다(스텝 S153). 시선 유도의 상세에 대해서는, 상술한 스텝 S129 내지 S132와 마찬가지이다.
다음으로, 시선 유도가 종료되면(스텝 S156/예), 정보 처리 장치(100)는, 시스템측에서 빙의 표현을 출력하는 처리를 행한다(스텝 S159). 시스템측에서의 빙의 표현의 출력이란, 즉, 제어 대상 디바이스(빙의 표현의 출력에 대응하고 있지 않은 디바이스) 이외의 디바이스를 이용하여, 제어 대상 디바이스에 의한 피드백인 것처럼 유저에게 보여 주는 제어이다. 예를 들어 정보 처리 장치(100)는, 프로젝터(210) 등으로 제어 대상 디바이스에 소정의 화상을 투영하여 빙의 표현을 출력하거나, 디바이스 주변을 빛나게 하거나, 프로젝션 매핑 등에 의하여, 마치 디바이스가 움직이고 있는 것처럼 유저가 착각하게 하는 영상을 투영해도 된다.
그리고 정보 처리 장치(100)는 빙의 표현의 출력 완료를 확인한다(스텝 S162). 빙의 표현의 출력 완료는, 빙의 표현의 출력을 행하고 있는 다른 디바이스, 예를 들어 프로젝터(210)로부터의 빙의 표현 출력 완료 통지를 수신한 경우에 판단해도 되고, 빙의 표현 출력을 프로젝터(210)에 의하여 개시하고 나서 소정 시간 경과한 경우(타임 아웃)여도 된다. 혹은 유저가 빙의 표현을 본 경우에 빙의 표현 완료로 판단해도 된다.
이상, 본 실시 형태에 의한 빙의 표현 처리의 일례에 대하여 설명하였다. 또한 도 11에 도시하는 동작 처리는 일례이며, 본 개시는, 도 11에 도시한 예에 한정되지 않는다. 예를 들어 스텝 S156과 스텝 S159는, 도 11에 도시하는 순번으로 행해지고 있지 않아도 된다. 즉, 시선 유도와 빙의 표현이 동시에 행해져도 되고, 정보 처리 장치(100)는 빙의 표현 출력 제어 후에 시선 유도를 종료하는 처리를 행해도 된다.
또한 정보 처리 장치(100)는, 스텝 S153 내지 스텝 S162에 나타내는 처리와 병행하여, 제어 대상 디바이스에 조작 커맨드 실행의 준비를 지시하는 준비 커맨드를 출력해도 된다. 예를 들어 제어 대처의 디바이스가 기동에 시간이 걸리는 것인 경우에는 조작 커맨드의 발행 전에 기동시켜 두게 되면, 기동하는 동안에 시선 유도와 빙의 표현을 행하고, 빙의 표현의 출력 완료 후에 대기 시간 없이 조작 커맨드를 실행시키는 것이 가능해진다.
<3-5. 보충>
이상, 본 실시 형태에 의한 디바이스 제어의 처리의 흐름에 대하여 구체적으로 설명하였다. 또한 도 5, 도 6 및 도 11에 도시하는 동작 처리는 일례이며, 본 개시는, 도 5, 도 6 및 도 11에 도시한 예에 한정되지 않는다. 예를 들어 에이전트가 빙의한 것처럼 보여 주는 빙의 표현의 출력은 필수는 아니며, 정보 처리 장치(100)는 시선 유도 후에 조작 커맨드를 디바이스에 발행하도록 해도 된다. 이때, 정보 처리 장치(100)는, 유도 화상이 디바이스의 위치에 도달한 경우, 유도 화상이 디바이스의 위치에 도달하고 소정 시간 경과한 경우, 유도 화상이 디바이스의 위치에 도달하고, 또한 유저가 디바이스를 보고 있는 경우, 또는 디바이스로부터 조작 커맨드 실행 준비 완료 통지를 수신한 경우에(디바이스에는 미리 조작 커맨드 실행 준비 커맨드를 송신하였음), 조작 커맨드를 디바이스에 발행하여 디바이스에서의 조작 커맨드를 실행시켜도 된다.
또한 정보 처리 장치(100)는, 시선 유도가 종료되는 타이밍을 산출하여 미리 조작 커맨드를 디바이스에 발행해도 된다. 예를 들어 정보 처리 장치(100)는 시선 유도에 걸리는 시간을 산출하여, N초 후에 조작 커맨드를 실행하라고 지시하는 지시 커맨드를 송출해도 된다. 또한 디바이스측에서 시선 유도의 종료 타이밍을 인식하여 조작 커맨드의 실행 타이밍을 제어해도 된다. 예를 들어 디바이스는, 정보 처리 장치(100)로부터 시선 유도 완료의 통지를 수신한 경우에 조작 커맨드를 실행하도록 해도 되고, 정보 처리 장치(100)로부터 시선 유도 완료의 통지를 수신하고, 또한 소정 시간 경과 후 또는 유저가 디바이스를 보고 있는 경우에 조작 커맨드를 실행하도록 해도 된다.
또한 정보 처리 장치(100)는, 빙의 표현이 종료되는 타이밍을 디바이스측에서 판단한 후, 조작 커맨드를 실행하도록 지시하는 지시 커맨드를 미리 발행해도 된다. 예를 들어 디바이스는 지시 커맨드에 따라, 디바이스에 있어서 빙의 표현의 출력이 완료된 경우, 빙의 표현을 출력하고 나서 소정 시간 경과한 경우, 또는 빙의 표현을 출력하고, 또한 유저의 시선 방향이 디바이스를 향한 경우(유저가 빙의 표현을 시인한 경우)에 빙의 표현을 완료하고 조작 커맨드를 실행한다.
≪4. 응용예≫
본 개시에 의한 시스템은, 홈 시스템에 대한 적용에 한정되지 않으며, 예를 들어 엔터테인먼트에 대한 응용도 가능하다.
(대전형 볼터링)
예를 들어 대전형 볼더링에 있어서, 한쪽 유저에 의한 발화에 따라 무언가의 제어를 행할 때, 제어처로의 시선 유도를 행하는 이펙트를 출력하도록 해도 된다. 도 12는, 대전형 볼더링에 대한 응용예에 대하여 설명하는 도면이다.
도 12에 도시하는 예에서는, 유저 A 및 유저 B가 벽면을 오르면서 대전하는 대전형 볼더링에 있어서, 상대측의 홀을 순번대로 대서, 말한 장소를 사용할 수 없게 되는 게임을 상정한다. 예를 들어 도 12 상방에 도시한 바와 같이, 유저 A가 「B의 5」라고 발화한 경우, 시스템(1)은, 도 12 하방에 도시한 바와 같이, 이펙트 화상(15)이 유저 A의 부근으로부터 상대측이 지정한 홀까지 날아가, 상대측이 지정한 홀을 공격하여 사용할 수 없도록 하는 이펙트를 출력해도 된다.
또한 대전형 볼더링에 있어서, 좌우 양 진영으로 나뉘어 각자의 양손 양발을 좋아하는 장소에 고정하고, 그 후, 순번대로 에어리어를 대서, 먼저 상대의 양손 양발을 알아맞힌 쪽이 승리하는 게임에서도, 마찬가지로 이펙트를 출력하는 제어를 행할 수 있다.
또한 이와 같은 이펙트는 대전형 볼더링에 한정되지 않으며, 체스나 장기 등에도 응용 가능하다.
(변형 로봇)
도 13은, 본 시스템의 변형 로봇에 대한 응용예에 대하여 설명하는 도면이다. 도 13에 도시하는 로봇(25)은, 음성으로 변형되는 로봇이다. 예를 들어 유저가 「믹서 트럭」과 로봇(25)을 선택한 경우, 시스템(1)은 에이전트 화상(10)을 로봇(25)의 위치까지 이동시켜 유저의 시선 유도 처리를 행하고, 또한 로봇(25)의 주변에 이펙트 화상(27)을 투영하여, 에이전트가 로봇(25)에 빙의한 것처럼 보여 주는 표현을 출력한다. 한편, 시스템(1)은 시선 유도 및 빙의 표현하는 동안에 로봇(25)에 대하여 변형을 개시하기 위한 준비 동작을 행하게 하도록 준비 커맨드를 송출한다. 이것에 의하여 빙의 표현 출력 완료 후에 변형을 개시시킬 수 있다.
(빙의 표현의 파생예)
예를 들어 유저가 「8시로 알람 세트해」라고 발화한 경우, 시스템(1)은 에이전트를 알람 시계에 빙의시키지만, 알람 시계의 빙의 표현 출력으로서는, 예를 들어 시계 바늘이 한 바퀴 일주하거나, 알람음이 일순간 울리는 것 등이어도 된다.
또한, 예를 들어 유저가 「포트로 물 끓여」라고 발화한 경우, 시스템(1)은 에이전트를 전기 포트에 빙의시키지만, 전기 포트의 빙의 표현 출력으로서는, 예를 들어 전기 포트로부터 수증기와 같은 것이 분출하고 있는 것처럼 보이는 영상을 투영해도 되고, 전기 포트의 덮개를 일순간 개폐시켜도 된다.
또한, 예를 들어 유저가 「할머니께 전화해」라고 발화한 경우, 시스템(1)은 에이전트를 전화에 빙의시키지만, 전화의 빙의 표현 출력으로서는, 예를 들어 전화로부터 다이얼음을 울리게 해도 된다.
또한, 예를 들어 유저가 「목욕물 데워」라고 발화한 경우, 시스템(1)은 에이전트를 욕실에 빙의시키지만, 욕실의 빙의 표현 출력으로서는, 예를 들어 에이전트 화상을 욕실 쪽으로 이동시켜 시선 유도를 행하고, 욕실 근처에 있는 스피커 등으로부터 「목욕물 데우겠습니다」 등의 음성을 출력하도록 해도 된다.
또한, 예를 들어 유저가 「선풍기 켜」라고 발화한 경우, 시스템(1)은 에이전트를 선풍기에 빙의시키지만, 선풍기의 빙의 표현 출력으로서는, 예를 들어 선풍기의 고개를 가볍게 좌우로 흔들도록 해도 된다.
또한, 예를 들어 유저가 「음악 켜」라고 발화한 경우, 시스템(1)은 에이전트를 스피커에 빙의시키지만, 스피커의 빙의 표현 출력으로서는, 예를 들어 스피커로부터 일순간 소리(효과음)를 내도 되고, 조명을 구비한 스피커인 경우에는 조명을 일순간 명멸시켜도 된다.
(유효 커맨드 인식의 트리거)
시스템(1)은 유저의 음성 발화, 제스처, 또는 유저의 상황에 한하지 않고, 공간 내의 환경에 따라 유효 커맨드를 인식하도록 해도 된다. 예를 들어 실내의 기온이 소정의 최적 온도보다도 높은 경우, 「기온이 높으므로 에어컨을 켤게요」 등과 같이 시스템측으로부터 유저에게 제시를 행하여 유효 커맨드의 실행을 개시해도 된다.
(디바이스의 상태에 따라 빙의 표현의 변형)
예를 들어 이미 TV(220)의 전원이 켜져 있는 경우, 빙의 표현 출력을 위하여 TV(220)의 영상을 전환하면 유저의 시청을 방해해 버릴 우려가 있다. 이 경우, 시스템(1)은 TV(220)의 둘레를 프로젝션으로 빛나게 하거나 하여 빙의를 표현해도 된다.
또한, 예를 들어 이미 TV(220)의 전원이 켜져 있고, 유저가 에이전트에게 「5ch로 해」라고 TV(220)의 채널을 바꾸게 하는 경우에는, 빙의 표현의 출력이나 TV(220)에 대한 준비 커맨드의 발행을 행하지 않아도 된다. 이 경우, 유저로서는 당장 반응하기를 바라는 커맨드이기 때문에, 시스템(1)은 즉시 조작 커맨드를 발행해도 된다. 또한 이미 유저가 TV(220)를 보고 있는 경우, 시스템(1)은, 에이전트 화상(10)은 TV(220)의 주변에 표시하여 즉시 조작 커맨드를 실행시킨다.
(시선 유도의 응용예)
시선 유도의 표현으로서, 에이전트 자체가 이동하는 것이 아니라, 에이전트는 당초의 위치에 머문 채 그대로 커맨드를 가시화하고, 디바이스를 향하여 이동하는 것 같은 표현을 행해도 된다. 예를 들어 시스템(1)은, 에이전트 화상(10)으로부터 디바이스의 위치로 전파를 날리는 것 같은 이펙트를 투영하도록 해도 된다.
또한 유저가 「텔레비전과 불을 켜」라고 발화한 경우, 먼저 TV(220)로 시선 유도를 행하여 전원을 켠 후에, 그 후, TV(220)로부터 불(조명 장치 또는 조명 장치의 스위치)을 향하여 시선 유도하여 불을 켜도록 해도 된다. 또는 에이전트 화상(10)으로부터 TV(220)와 불(조명 장치)을 향하여 순차 또는 동시에 커맨드가 발행되었음을 가시화하는 이펙트를 투영해도 된다.
≪5. 하드웨어 구성예≫
끝으로, 도 14을 참조하여, 본 실시 형태에 따른 정보 처리 장치의 하드웨어 구성에 대하여 설명한다. 도 14은, 본 실시 형태에 따른 정보 처리 장치의 하드웨어 구성의 일례를 도시하는 블록도다. 또한 도 14에 도시하는 정보 처리 장치(900)는, 예를 들어 도 2에 도시한 정보 처리 장치(100)를 실현할 수 있다. 본 실시 형태에 따른 정보 처리 장치(100)에 의한 정보 처리는, 소프트웨어와, 이하에 설명하는 하드웨어의 협동에 의하여 실현된다.
도 14에 도시한 바와 같이 정보 처리 장치(900)는 CPU(Central Processing Unit)(901), ROM(Read Only Memory)(902), RAM(Random Access Memory)(903) 및 호스트 버스(904a)를 구비한다. 또한 정보 처리 장치(900)는 브리지(904), 외부 버스(904b), 인터페이스(905), 입력 장치(906), 출력 장치(907), 스토리지 장치(908), 드라이브(909), 접속 포트(911) 및 통신 장치(913)를 구비한다. 정보 처리 장치(900)는 CPU(901) 대신, 또는 이와 함께 전기 회로, DSP 혹은 ASIC 등의 처리 회로를 가져도 된다.
CPU(901)는, 연산 처리 장치 및 제어 장치로서 기능하며, 각종 프로그램에 따라 정보 처리 장치(900) 내의 동작 전반을 제어한다. 또한 CPU(901)는 마이크로프로세서여도 된다. ROM(902)은, CPU(901)가 사용하는 프로그램이나 연산 파라미터 등을 기억한다. RAM(903)은, CPU(901)의 실행에 있어서 사용하는 프로그램이나, 그 실행에 있어서 적당히 변화되는 파라미터 등을 일시 기억한다. CPU(901)는, 예를 들어 도 2에 도시하는 제스처 검출부(120), 유저 검출부(130), 환경 검출부(140), 기기 검출부(150) 및 제어부(170)를 형성할 수 있다.
CPU(901), ROM(902) 및 RAM(903)은, CPU 버스 등을 포함하는 호스트 버스(904a)에 의하여 상호 간에 접속되어 있다. 호스트 버스(904a)는 브리지(904)를 통하여 PCI(Peripheral Component Interconnect/Interface) 버스 등의 외부 버스(904b)에 접속되어 있다. 또한, 반드시 호스트 버스(904a), 브리지(904) 및 외부 버스(904b)를 분리 구성할 필요는 없으며, 하나의 버스에 이들 기능을 실장해도 된다.
입력 장치(906)는, 예를 들어 마우스, 키보드, 터치 패널, 버튼, 마이크로폰, 스위치 및 레버 등, 유저에 의하여 정보가 입력되는 장치에 의하여 실현된다. 또한 입력 장치(906)는, 예를 들어 적외선이나 그 외의 전파를 이용한 리모트 컨트롤 장치여도 되고, 정보 처리 장치(900)의 조작에 대응한 휴대 전화나 PDA 등의 외부 접속 기기여도 된다. 또한, 입력 장치(906)는, 예를 들어 상기 입력 수단을 이용하여 유저에 의하여 입력된 정보에 기초하여 입력 신호를 생성하여 CPU(901)에 출력하는 입력 제어 회로 등을 포함하고 있어도 된다. 정보 처리 장치(900)의 유저는 이 입력 장치(906)를 조작함으로써, 정보 처리 장치(900)에 대하여 각종 데이터를 입력하거나 처리 동작을 지시하거나 할 수 있다.
출력 장치(907)는, 취득한 정보를 유저에 대하여 시각적 또는 청각적으로 통지하는 것이 가능한 장치로 형성된다. 이와 같은 장치로서, CRT 디스플레이 장치, 액정 디스플레이 장치, 플라스마 디스플레이 장치, EL 디스플레이 장치, 레이저 프로젝터, LED 프로젝터 및 램프 등의 표시 장치나, 스피커 및 헤드폰 등의 음성 출력 장치나, 프린터 장치 등이 있다. 출력 장치(907)는, 예를 들어 정보 처리 장치(900)가 행한 각종 처리에 의하여 얻어진 결과를 출력한다. 구체적으로는, 출력 장치는, 정보 처리 장치(900)가 행한 각종 처리에 의하여 얻어진 결과를 텍스트, 이미지, 표, 그래프 등 다양한 형식으로 시각적으로 표시한다. 한편, 음성 출력 장치는, 재생된 음성 데이터나 음향 데이터 등으로 이루어지는 오디오 신호를 아날로그 신호로 변환하여 청각적으로 출력한다.
스토리지 장치(908)는, 정보 처리 장치(900)의 기억부의 일례로서 형성된 데이터 저장용 장치이다. 스토리지 장치(908)는, 예를 들어 HDD 등의 자기 기억부 디바이스, 반도체 기억 디바이스, 광 기억 디바이스, 또는 광 자기 기억 디바이스 등에 의하여 실현된다. 스토리지 장치(908)는, 기억 매체, 기억 매체에 데이터를 기록하는 기록 장치, 기억 매체로부터 데이터를 판독하는 판독 장치, 및 기억 매체에 기록된 데이터를 삭제하는 삭제 장치 등을 포함해도 된다. 이 스토리지 장치(908)는, CPU(901)가 실행하는 프로그램이나 각종 데이터, 및 외부로부터 취득한 각종 데이터 등을 저장한다. 스토리지 장치(908)는, 예를 들어 도 2에 도시하는 기억부(160)를 형성할 수 있다.
드라이브(909)는 기억 매체용 리더라이터이며, 정보 처리 장치(900)에 내장 혹은 외장된다. 드라이브(909)는, 장착되어 있는 자기 디스크, 광 디스크, 광 자기 디스크, 또는 반도체 메모리 등의 리무버블 기억 매체에 기록되어 있는 정보를 판독하여 RAM(903)에 출력한다. 또한 드라이브(909)는 리무버블 기억 매체에 정보를 기입할 수도 있다.
접속 포트(911)는 외부 기기와 접속되는 인터페이스이며, 예를 들어 USB(Universal Serial Bus) 등에 의하여 데이터 전송 가능한 외부 기기와의 접속구이다. 접속 포트(911)는, 예를 들어 도 2에 도시하는 I/F부(110)를 형성할 수 있다. 그리고 접속 포트(911)는, 도 2에 도시하는 출력 장치(200) 및 센서 장치(300)에 접속된다.
통신 장치(913)는, 예를 들어 네트워크(920)에 접속하기 위한 통신 디바이스 등으로 형성된 통신 인터페이스이다. 통신 장치(913)는, 예를 들어 유선 혹은 무선 LAN(Local Area Network), LTE(Long Term Evolution), Bluetooth(등록 상표), 또는 WUSB(Wireless USB)용 통신 카드 등이다. 또한 통신 장치(913)는 광 통신용 라우터, ADSL(Asymmetric Digital Subscriber Line)용 라우터 또는 각종 통신용 모뎀 등이어도 된다. 이 통신 장치(913)는, 예를 들어 인터넷이나 다른 통신 기기와의 사이에서, 예를 들어 TCP/IP 등의 소정의 프로토콜에 의거하여 신호 등을 송수신할 수 있다. 통신 장치(913)는, 예를 들어 도 2에 도시하는 I/F부(110)를 형성할 수 있다. 그리고 통신 장치(913)는, 도 2에 도시하는 출력 장치(200) 및 센서 장치(300)와 통신할 수 있다.
또한 네트워크(920)는, 네트워크(920)에 접속되어 있는 장치로부터 송신되는 정보의 유선 또는 무선 전송로이다. 예를 들어 네트워크(920)는, 인터넷, 전화 회선망, 위성 통신망 등의 공중 회선망이나, Ethernet(등록 상표)을 포함하는 각종LAN(Local Area Network), WAN(Wide Area Network) 등을 포함해도 된다. 또한 네트워크(920)는 IP-VPN(Internet Protocol-Virtual Private Network) 등의 전용 회선망을 포함해도 된다.
이상, 본 실시 형태에 따른 정보 처리 장치(900)의 기능을 실현 가능한 하드웨어 구성의 일례를 나타내었다. 상기 각 구성 요소는, 범용적인 부재를 이용하여 실현되어 있어도 되고, 각 구성 요소의 기능에 특화된 하드웨어에 의하여 실현되어 있어도 된다. 따라서 본 실시 형태를 실시하는 그때그때의 기술 레벨에 따라 적당히, 이용할 하드웨어 구성을 변경하는 것이 가능하다.
또한 상술한 바와 같은 본 실시 형태에 따른 정보 처리 장치(900)의 각 기능을 실현하기 위한 컴퓨터 프로그램을 작성하여 PC 등에 실장하는 것이 가능하다. 또한 이와 같은 컴퓨터 프로그램이 저장된, 컴퓨터에서 판독 가능한 기록 매체도 제공할 수 있다. 기록 매체는, 예를 들어 자기 디스크, 광 디스크, 광 자기 디스크, 플래시 메모리 등이다. 또한 상기 컴퓨터 프로그램은, 기록 매체를 이용하지 않고, 예를 들어 네트워크를 통하여 배신되어도 된다.
≪6. 정리≫
이상, 첨부 도면을 참조하면서 본 개시의 적합한 실시 형태에 대하여 상세히 설명하였지만, 본 기술은 이러한 예에 한정되지 않는다. 본 개시의 기술 분야에 있어서의 통상의 지식을 갖는 자이면, 특허 청구의 범위에 기재된 기술적 사상의 범주 내에 있어서 각종 변경예 또는 수정예에 상도할 수 있음은 명백하며, 이들에 대해서도 당연히 본 개시의 기술적 범위에 속하는 것으로 이해된다.
예를 들어 상술한 정보 처리 장치(100)에 내장되는 CPU, ROM 및 RAM 등의 하드웨어로 하여금 정보 처리 장치(100)의 기능을 발휘하게 하기 위한 컴퓨터 프로그램도 작성 가능하다. 또한 당해 컴퓨터 프로그램을 기억시킨, 컴퓨터 판독 가능한 기억 매체도 제공된다.
또한 본 명세서에 기재된 효과는 어디까지나 설명적 또는 예시적인 것이며 한정적이지는 않다. 즉, 본 개시에 따른 기술은, 상기 효과와 함께, 또는 상기 효과 대신, 본 명세서의 기재로부터 당업자에게는 명확한 다른 효과를 발휘할 수 있다.
또한 본 기술은 이하와 같은 구성도 취할 수 있다.
(1)
제어 대상 기기의 장소로 유저의 시선을 유도하는 처리와,
상기 시선의 유도의 타이밍에 따라, 상기 제어 대상 기기에 있어서의 조작 커맨드의 실행 타이밍을 제어하는 처리를 행하는 제어부를 구비하는, 정보 처리 장치.
(2)
상기 제어부는,
상기 시선의 유도가 종료된 타이밍에, 상기 제어 대상 기기에 상기 조작 커맨드를 송신하는 제어를 행하는, 상기 (1)에 기재된 정보 처리 장치.
(3)
상기 제어부는,
상기 시선의 유도가 종료되는 타이밍에 상기 조작 커맨드를 실행하도록 지시하는 지시 커맨드를, 상기 제어 대상 기기에 송신하는 제어를 행하는, 상기 (1)에 기재된 정보 처리 장치.
(4)
상기 제어부는,
상기 제어 대상 기기의 공간 내에 있어서의 3차원 위치 정보를 취득하고,
투영 장치로부터 유도 화상을 투영하고, 상기 제어 대상 기기의 위치까지 이동시킴으로써, 상기 유저의 시선 유도를 행하는, 상기 (2) 또는 (3)에 기재된 정보 처리 장치.
(5)
상기 시선의 유도가 종료되는 타이밍은, 상기 유도 화상이 상기 제어 대상 기기의 위치에 도달한 경우인, 상기 (4)에 기재된 정보 처리 장치.
(6)
상기 시선의 유도가 종료되는 타이밍은, 상기 유도 화상이 상기 제어 대상 기기의 위치에 도달하고, 또한 상기 유저의 시선 방향이 상기 제어 대상 기기를 향한 경우인, 상기 (4)에 기재된 정보 처리 장치.
(7)
상기 시선의 유도가 종료되는 타이밍은, 상기 유도 화상이 상기 제어 대상 기기의 위치에 도달하고, 또한 상기 제어 대상 기기로부터 상기 조작 커맨드의 실행 준비 완료 통지를 수신한 경우인, 상기 (4)에 기재된 정보 처리 장치.
(8)
상기 제어부는,
상기 유도 화상을 상기 제어 대상 기기의 위치까지 이동시킨 후, 상기 제어 대상 기기에 대하여 빙의 표현을 출력하는 제어를 행하고,
상기 빙의 표현의 출력 제어가 완료된 타이밍에, 상기 제어 대상 기기에 상기 조작 커맨드를 송신하는 제어를 행하는, 상기 (4) 내지 (6) 중 어느 한 항에 기재된 정보 처리 장치.
(9)
상기 제어부는,
상기 유도 화상이 상기 제어 대상 기기의 위치에 도달한 후, 상기 제어 대상 기기에 상기 빙의 표현의 출력 커맨드를 송신하는, 상기 (8)에 기재된 정보 처리 장치.
(10)
상기 제어부는,
상기 제어 대상 기기에 있어서의 상기 빙의 표현의 출력 완료 통지를 수신한 경우에, 상기 제어 대상 기기에 상기 조작 커맨드를 송신하는 제어를 행하는, 상기 (9)에 기재된 정보 처리 장치.
(11)
상기 빙의 표현의 상기 출력 커맨드는, 상기 제어 대상 기기에 의한 소정의 음성 출력, 화상 표시, 진동, 또는 움직임을 지시하는 커맨드인, 상기 (9) 또는 (10)에 기재된 정보 처리 장치.
(12)
상기 빙의 표현의 상기 출력 커맨드는, 상기 제어 대상 기기의 표시부에 상기 유도 화상을 표시할 것을 지시하는 커맨드인, 상기 (11)에 기재된 정보 처리 장치.
(13)
상기 제어부는,
상기 제어 대상 기기에, 상기 빙의 표현의 출력 완료 후, 상기 빙의 표현을 출력하고 나서 소정 시간 경과 후, 또는 상기 빙의 표현을 출력하고, 또한 상기 유저의 시선 방향이 상기 제어 대상 기기를 향한 경우, 상기 빙의 표현을 완료하고 상기 조작 커맨드를 실행하도록 지시하는 지시 커맨드를, 상기 제어 대상 기기에 송신하는 제어를 행하는, 상기 (9) 내지 (12) 중 어느 한 항에 기재된 정보 처리 장치.
(14)
상기 제어부는,
상기 유도 화상이 상기 제어 대상 기기의 위치에 도달한 후, 상기 빙의 표현의 출력 제어로서, 상기 제어 대상 기기에 대하여 상기 유도 화상을 투영하는 제어를 행하는, 상기 (8)에 기재된 정보 처리 장치.
(15)
상기 제어부는,
상기 제어 대상 기기에 상기 유도 화상을 투영한 후, 소정 시간 경과 후 또는 상기 유저의 시선 방향이 상기 제어 대상 기기를 향한 경우, 상기 유도 화상의 투영을 종료하고, 상기 제어 대상 기기에 상기 조작 커맨드를 송신하는 제어를 행하는, 상기 (14)에 기재된 정보 처리 장치.
(16)
상기 제어부는,
상기 유저의 발화 음성으로부터 취득한 지시에 기초하여 상기 조작 커맨드를 생성하는, 상기 (1) 내지 (15) 중 어느 한 항에 기재된 정보 처리 장치.
(17)
상기 제어부는,
상기 유저의 상황에 기초하여 상기 조작 커맨드를 생성하는, 상기 (1) 내지 (15) 중 어느 한 항에 기재된 정보 처리 장치.
(18)
프로세서가,
제어 대상 기기의 장소로 유저의 시선을 유도하는 것과,
상기 시선의 유도의 타이밍에 따라, 상기 제어 대상 기기에 있어서의 조작 커맨드의 실행 타이밍을 제어하는 것
을 포함하는, 정보 처리 방법.
(19)
컴퓨터를,
제어 대상 기기의 장소로 유저의 시선을 유도하는 처리와,
상기 시선의 유도의 타이밍에 따라, 상기 제어 대상 기기에 있어서의 조작 커맨드의 실행 타이밍을 제어하는 처리를 행하는 제어부로서 기능시키기 위한 프로그램이 기록된, 기록 매체.
10: 에이전트 화상
40: 평면
42: 궤적
100: 정보 처리 장치
110: I/F부
120: 제스처 검출부
130: 유저 검출부
140: 환경 검출부
150: 기기 검출부
160: 기억부
170: 제어부
171: 표시 제어부
173: 음향 제어부
200: 출력 장치
210: 프로젝터
230: 태블릿
240: 스마트폰
260: 스피커
270: 단일 지향성 스피커
300: 센서 장치
310: 카메라
320: 뎁스 센서
330: 마이크로폰

Claims (19)

  1. 제어 대상 기기의 장소로 유저의 시선을 유도하는 처리와,
    상기 시선의 유도의 타이밍에 따라, 상기 제어 대상 기기에 있어서의 조작 커맨드의 실행 타이밍을 제어하는 처리를 행하는 제어부를 구비하는, 정보 처리 장치.
  2. 제1항에 있어서,
    상기 제어부는,
    상기 시선의 유도가 종료된 타이밍에, 상기 제어 대상 기기에 상기 조작 커맨드를 송신하는 제어를 행하는, 정보 처리 장치.
  3. 제1항에 있어서,
    상기 제어부는,
    상기 시선의 유도가 종료되는 타이밍에 상기 조작 커맨드를 실행하도록 지시하는 지시 커맨드를, 상기 제어 대상 기기에 송신하는 제어를 행하는, 정보 처리 장치.
  4. 제2항에 있어서,
    상기 제어부는,
    상기 제어 대상 기기의 공간 내에 있어서의 3차원 위치 정보를 취득하고,
    투영 장치로부터 유도 화상을 투영하고, 상기 제어 대상 기기의 위치까지 이동시킴으로써, 상기 유저의 시선 유도를 행하는, 정보 처리 장치.
  5. 제4항에 있어서,
    상기 시선의 유도가 종료되는 타이밍은, 상기 유도 화상이 상기 제어 대상 기기의 위치에 도달한 경우인, 정보 처리 장치.
  6. 제4항에 있어서,
    상기 시선의 유도가 종료되는 타이밍은, 상기 유도 화상이 상기 제어 대상 기기의 위치에 도달하고, 또한 상기 유저의 시선 방향이 상기 제어 대상 기기를 향한 경우인, 정보 처리 장치.
  7. 제4항에 있어서,
    상기 시선의 유도가 종료되는 타이밍은, 상기 유도 화상이 상기 제어 대상 기기의 위치에 도달하고, 또한 상기 제어 대상 기기로부터 상기 조작 커맨드의 실행 준비 완료 통지를 수신한 경우인, 정보 처리 장치.
  8. 제4항에 있어서,
    상기 제어부는,
    상기 유도 화상을 상기 제어 대상 기기의 위치까지 이동시킨 후, 상기 제어 대상 기기에 대하여 빙의 표현을 출력하는 제어를 행하고,
    상기 빙의 표현의 출력 제어가 완료된 타이밍에, 상기 제어 대상 기기에 상기 조작 커맨드를 송신하는 제어를 행하는, 정보 처리 장치.
  9. 제8항에 있어서,
    상기 제어부는,
    상기 유도 화상이 상기 제어 대상 기기의 위치에 도달한 후, 상기 제어 대상 기기에 상기 빙의 표현의 출력 커맨드를 송신하는, 정보 처리 장치.
  10. 제9항에 있어서,
    상기 제어부는,
    상기 제어 대상 기기에 있어서의 상기 빙의 표현의 출력 완료 통지를 수신한 경우에, 상기 제어 대상 기기에 상기 조작 커맨드를 송신하는 제어를 행하는, 정보 처리 장치.
  11. 제9항에 있어서,
    상기 빙의 표현의 상기 출력 커맨드는, 상기 제어 대상 기기에 의한 소정의 음성 출력, 화상 표시, 진동, 또는 움직임을 지시하는 커맨드인, 정보 처리 장치.
  12. 제11항에 있어서,
    상기 빙의 표현의 상기 출력 커맨드는, 상기 제어 대상 기기의 표시부에 상기 유도 화상을 표시할 것을 지시하는 커맨드인, 정보 처리 장치.
  13. 제9항에 있어서,
    상기 제어부는,
    상기 제어 대상 기기에, 상기 빙의 표현의 출력 완료 후, 상기 빙의 표현을 출력하고 나서 소정 시간 경과 후, 또는 상기 빙의 표현을 출력하고, 또한 상기 유저의 시선 방향이 상기 제어 대상 기기를 향한 경우, 상기 빙의 표현을 완료하고 상기 조작 커맨드를 실행하도록 지시하는 지시 커맨드를, 상기 제어 대상 기기에 송신하는 제어를 행하는, 정보 처리 장치.
  14. 제8항에 있어서,
    상기 제어부는,
    상기 유도 화상이 상기 제어 대상 기기의 위치에 도달한 후, 상기 빙의 표현의 출력 제어로서, 상기 제어 대상 기기에 대하여 상기 유도 화상을 투영하는 제어를 행하는, 정보 처리 장치.
  15. 제14항에 있어서,
    상기 제어부는,
    상기 제어 대상 기기에 상기 유도 화상을 투영한 후, 소정 시간 경과 후 또는 상기 유저의 시선 방향이 상기 제어 대상 기기를 향한 경우, 상기 유도 화상의 투영을 종료하고, 상기 제어 대상 기기에 상기 조작 커맨드를 송신하는 제어를 행하는, 정보 처리 장치.
  16. 제1항에 있어서,
    상기 제어부는,
    상기 유저의 발화 음성으로부터 취득한 지시에 기초하여 상기 조작 커맨드를 생성하는, 정보 처리 장치.
  17. 제1항에 있어서,
    상기 제어부는,
    상기 유저의 상황에 기초하여 상기 조작 커맨드를 생성하는, 정보 처리 장치.
  18. 프로세서가,
    제어 대상 기기의 장소로 유저의 시선을 유도하는 것과,
    상기 시선의 유도의 타이밍에 따라, 상기 제어 대상 기기에 있어서의 조작 커맨드의 실행 타이밍을 제어하는 것
    을 포함하는, 정보 처리 방법.
  19. 컴퓨터를,
    제어 대상 기기의 장소로 유저의 시선을 유도하는 처리와,
    상기 시선의 유도의 타이밍에 따라, 상기 제어 대상 기기에 있어서의 조작 커맨드의 실행 타이밍을 제어하는 처리를 행하는 제어부로서 기능시키기 위한 프로그램이 기록된, 기록 매체.
KR1020207016205A 2017-12-21 2018-09-26 정보 처리 장치, 정보 처리 방법, 및 기록 매체 KR20200101912A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017245033A JP2019113928A (ja) 2017-12-21 2017-12-21 情報処理装置、情報処理方法、および記録媒体
JPJP-P-2017-245033 2017-12-21
PCT/JP2018/035729 WO2019123754A1 (ja) 2017-12-21 2018-09-26 情報処理装置、情報処理方法、および記録媒体

Publications (1)

Publication Number Publication Date
KR20200101912A true KR20200101912A (ko) 2020-08-28

Family

ID=66994593

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207016205A KR20200101912A (ko) 2017-12-21 2018-09-26 정보 처리 장치, 정보 처리 방법, 및 기록 매체

Country Status (6)

Country Link
US (1) US11449451B2 (ko)
EP (1) EP3731076A4 (ko)
JP (1) JP2019113928A (ko)
KR (1) KR20200101912A (ko)
CN (1) CN111492339A (ko)
WO (1) WO2019123754A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11244372B2 (en) * 2019-02-27 2022-02-08 International Business Machines Corporation Remote determination of a suitable item

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015090524A (ja) 2013-11-05 2015-05-11 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10253510A1 (de) * 2002-11-16 2004-05-27 Robert Bosch Gmbh Vorrichtung und Verfahren zur Verbesserung der Sicht in einem Kraftfahrzeug
US8645985B2 (en) * 2005-09-15 2014-02-04 Sony Computer Entertainment Inc. System and method for detecting user attention
JP4829696B2 (ja) * 2006-06-19 2011-12-07 日本電信電話株式会社 会話支援システム
WO2008085201A2 (en) * 2006-12-29 2008-07-17 Prodea Systems, Inc. Managed file backup and restore at remote storage locations through multi-services gateway device at user premises
US9003326B2 (en) * 2008-09-23 2015-04-07 Apple Inc. Indicating input focus by showing focus transitions
CN101896957B (zh) 2008-10-15 2013-06-19 松下电器产业株式会社 光投射装置
US9507418B2 (en) * 2010-01-21 2016-11-29 Tobii Ab Eye tracker based contextual action
US10394320B2 (en) * 2012-01-04 2019-08-27 Tobii Ab System for gaze interaction
US8963805B2 (en) * 2012-01-27 2015-02-24 Microsoft Corporation Executable virtual objects associated with real objects
JP5702411B2 (ja) * 2013-01-21 2015-04-15 エヌ・ティ・ティ・コミュニケーションズ株式会社 遠隔制御システム、遠隔制御方法及び遠隔制御プログラム
KR20150039355A (ko) * 2013-10-02 2015-04-10 엘지전자 주식회사 이동 단말기 및 그 제어방법
US9533772B2 (en) * 2014-07-09 2017-01-03 Honeywell International Inc. Visual search assistance for an occupant of a vehicle
JP2016169080A (ja) 2015-03-12 2016-09-23 パナソニックＩｐマネジメント株式会社 照明機能を有する検索システム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015090524A (ja) 2013-11-05 2015-05-11 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Also Published As

Publication number Publication date
CN111492339A (zh) 2020-08-04
US20210081343A1 (en) 2021-03-18
JP2019113928A (ja) 2019-07-11
EP3731076A1 (en) 2020-10-28
WO2019123754A1 (ja) 2019-06-27
US11449451B2 (en) 2022-09-20
EP3731076A4 (en) 2021-02-24

Similar Documents

Publication Publication Date Title
CN109088803B (zh) 一种ar遥控装置、智能家居遥控系统及方法
US9983687B1 (en) Gesture-controlled augmented reality experience using a mobile communications device
US8823642B2 (en) Methods and systems for controlling devices using gestures and related 3D sensor
EP3117417B1 (en) Remote device control via gaze detection
US9870058B2 (en) Control of a real world object user interface
US11373650B2 (en) Information processing device and information processing method
JP7020474B2 (ja) 情報処理装置、情報処理方法及び記録媒体
US10564712B2 (en) Information processing device, information processing method, and program
TW201805744A (zh) 控制系統、控制處理方法及裝置
US20220057922A1 (en) Systems and interfaces for location-based device control
US10701661B1 (en) Location determination for device control and configuration
KR20200101912A (ko) 정보 처리 장치, 정보 처리 방법, 및 기록 매체
US11698578B2 (en) Information processing apparatus, information processing method, and recording medium
WO2022009338A1 (ja) 情報処理端末、遠隔制御方法およびプログラム
US11221684B2 (en) Information processing device, information processing method, and recording medium
WO2019082520A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN111208903B (zh) 信息传输方法、穿戴式设备及介质
TWM478193U (zh) 外接式體感控制微型裝置

Legal Events

Date Code Title Description
WITB Written withdrawal of application