KR20200099523A - 정보 처리 장치, 정보 처리 방법 및 기록 매체 - Google Patents

정보 처리 장치, 정보 처리 방법 및 기록 매체 Download PDF

Info

Publication number
KR20200099523A
KR20200099523A KR1020207015915A KR20207015915A KR20200099523A KR 20200099523 A KR20200099523 A KR 20200099523A KR 1020207015915 A KR1020207015915 A KR 1020207015915A KR 20207015915 A KR20207015915 A KR 20207015915A KR 20200099523 A KR20200099523 A KR 20200099523A
Authority
KR
South Korea
Prior art keywords
display
user
target device
information processing
information
Prior art date
Application number
KR1020207015915A
Other languages
English (en)
Inventor
겐타로 이다
세이지 스즈키
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20200099523A publication Critical patent/KR20200099523A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Social Psychology (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)
  • Selective Calling Equipment (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

조작 대상으로서 선택된 대상 기기와 조작 유저를 시인할 수 있는 표시를 행함으로써 편리성을 향상시킨다. 소정의 실 공간 내에 있어서의 대상 기기의 위치 정보와, 상기 대상 기기의 조작 권한을 갖는 유저의 위치 정보에 기초하여, 상기 유저와 상기 대상 기기의 위치 관계에 따른 표시를 상기 실 공간 내에서 상기 유저가 시인 가능하도록 제어하는 표시 제어부를 구비하는 정보 처리 장치를 제공한다. 이것에 의하여, 조작 대상으로서 선택된 대상 기기와 조작 유저를 시인할 수 있는 표시를 행함으로써 편리성을 향상시킬 수 있다.

Description

정보 처리 장치, 정보 처리 방법 및 기록 매체
본 개시는 정보 처리 장치, 정보 처리 방법 및 기록 매체에 관한 것이다.
사람이 생활하는 공간에는 가전 제품, 정보 기기 등의 다양한 전화(電化) 제품이 존재하고 있다. 근년에는 유저가 이와 같은 전화 제품을, 레이저 포인터, 리모컨 등의 디바이스를 이용하는 일 없이 원격 조작하는 기술이 개발되고 있다.
예를 들어 특허문헌 1에는, 유저의 손에 의한 제스처 등과 같은 유저의 직감적인 조작에 기초하여 조작 대상 기기에 대한 제어 커맨드를 입력하는 기술이 개시되어 있다.
일본 특허 공개 제2013-205983호 공보
그러나 인용 문헌 1 등에 기재된 기술에서는, 소정의 실 공간 내에 복수의 조작 대상 기기가 존재하는 경우에 조작 대상인 대상 기기를 선택했는지 여부를 알 수 없는 경우가 있었다. 또한 소정의 실 공간 내에 복수의 조작 유저가 존재하는 경우, 복수의 조작 유저 중 누가 조작 권한을 갖고 있는지 알 수 없는 경우가 있었다. 즉, 인용 문헌 1 등에 기재된 기술에서는, 조작이 실제로 조작 대상 기기에 반영되기까지 조작을 인식할 수 없었다.
상기 사정을 감안하면, 조작 대상으로서 선택된 대상 기기와 조작 유저를 시인할 수 있는 표시를 행함으로써 편리성을 향상시키는 것이 바람직하다.
본 개시에 따르면, 소정의 실 공간 내에 있어서의 대상 기기의 위치 정보와, 상기 대상 기기의 조작 권한을 갖는 유저의 위치 정보에 기초하여, 상기 유저와 상기 대상 기기의 위치 관계에 따른 표시를 상기 실 공간 내에서 상기 유저가 시인 가능하도록 제어하는 표시 제어부를 구비하는 정보 처리 장치가 제공된다.
또한 본 개시에 따르면, 소정의 실 공간 내에 있어서의 대상 기기의 위치 정보와, 상기 대상 기기의 조작 권한을 갖는 유저의 위치 정보에 기초하여, 상기 유저와 상기 대상 기기의 위치 관계에 따른 표시를 상기 실 공간 내에서 상기 유저가 시인 가능하도록 제어하는 것을 포함하는 정보 처리 방법이 제공된다.
또한 본 개시에 따르면, 컴퓨터를, 소정의 실 공간 내에 있어서의 대상 기기의 위치 정보와, 상기 대상 기기의 조작 권한을 갖는 유저의 위치 정보에 기초하여, 상기 유저와 상기 대상 기기의 위치 관계에 따른 표시를 상기 실 공간 내에서 상기 유저가 시인 가능하도록 제어하는 표시 제어부로서 기능시키기 위한 프로그램을 기록한 기록 매체가 제공된다.
본 개시에 따르면, 대상 기기의 위치 정보와, 대상 기기의 조작 권한을 갖는 유저의 위치 정보에 기초하여, 유저와 대상 기기의 위치 관계에 따른 표시를 실 공간 내에서 유저가 시인 가능하도록 제어할 수 있다. 이것에 의하여 유저는, 조작 대상으로서 대상 기기를 선택한 것, 및 조작 권한이 유저에게 있음을 인식할 수 있기 때문에 유저의 편리성을 향상시킬 수 있다.
이상 설명한 바와 같이 본 개시에 따르면, 조작 대상으로서 선택된 대상 기기와 조작 유저를 시인할 수 있는 표시를 행함으로써 편리성을 향상시킬 수 있다.
또한 상기 효과는 반드시 한정적인 것은 아니며, 상기 효과와 함께 또는 상기 효과 대신, 본 명세서에 나타난 어느 효과 또는 본 명세서로부터 파악될 수 있는 다른 효과가 발휘되어도 된다.
도 1은 본 개시의 일 실시 형태에 따른 동작의 플로를 도시하는 개략도이다.
도 2는 동 실시 형태에 따른 개념도이다.
도 3은 동 실시 형태에 따른 시스템의 구성의 일례를 도시하는 블록도이다.
도 4는 동 실시 형태에 따른 시스템에 있어서 실행되는 표시 제어의 흐름의 일례를 도시하는 시퀀스도이다.
도 5는 동 실시 형태에 따른 시스템에 의하여 투영되는 장소의 개념을 설명하는 개념도이다.
도 6은 동 실시 형태에 따른 시스템에 의하여 투영되는 표시의 일례를 도시하는 도면이다.
도 7은 동 실시 형태에 따른 시스템에 의하여 투영되는 표시의 일례를 도시하는 도면이다.
도 8은 동 실시 형태에 따른 시스템에 의하여 투영되는 표시의 일례를 도시하는 도면이다.
도 9a는 동 실시 형태에 따른 시스템에 의하여 투영되는 표시의 일례를 도시하는 도면이다.
도 9b는 동 실시 형태에 따른 시스템에 의하여 투영되는 표시의 일례를 도시하는 도면이다.
도 9c는 동 실시 형태에 따른 시스템에 의하여 투영되는 표시의 일례를 도시하는 도면이다.
도 9d는 동 실시 형태에 따른 시스템에 의하여 투영되는 표시의 일례를 도시하는 도면이다.
도 9e는 동 실시 형태에 따른 시스템에 의하여 투영되는 표시의 일례를 도시하는 도면이다.
도 9f는 동 실시 형태에 따른 시스템에 의하여 투영되는 표시의 일례를 도시하는 도면이다.
도 10은 동 실시 형태에 따른 시스템에 의하여 투영되는 장소의 개념을 설명하는 개념도이다.
도 11은 동 실시 형태에 따른 시스템에 의하여 투영되는 표시의 일례를 도시하는 도면이다.
도 12는 동 실시 형태에 따른 시스템에 의하여 투영되는 표시의 일례를 도시하는 도면이다.
도 13은 동 실시 형태에 따른 시스템에 의하여 투영되는 표시의 일례를 도시하는 도면이다.
도 14a는 동 실시 형태에 따른 시스템에 의하여 투영되는 표시의 일례를 도시하는 도면이다.
도 14b는 동 실시 형태에 따른 시스템에 의하여 투영되는 표시의 일례를 도시하는 도면이다.
도 14c는 동 실시 형태에 따른 시스템에 의하여 투영되는 표시의 일례를 도시하는 도면이다.
도 14d는 동 실시 형태에 따른 시스템에 의하여 투영되는 표시의 일례를 도시하는 도면이다.
도 15a는 동 실시 형태에 따른 시스템에 의하여 투영되는 표시의 일례를 도시하는 도면이다.
도 15b는 동 실시 형태에 따른 시스템에 의하여 투영되는 표시의 일례를 도시하는 도면이다.
도 16은 변형예에 따른 시스템에 의하여 투영되는 표시의 일례를 도시하는 도면이다.
도 17a는 변형예에 따른 시스템에 의하여 투영되는 표시의 일례를 도시하는 도면이다.
도 17b는 변형예에 따른 시스템에 의하여 투영되는 표시의 일례를 도시하는 도면이다.
도 17c는 변형예에 따른 시스템에 의하여 투영되는 표시의 일례를 도시하는 도면이다.
도 17d는 변형예에 따른 시스템에 의하여 투영되는 표시의 일례를 도시하는 도면이다.
도 17e는 변형예에 따른 시스템에 의하여 투영되는 표시의 일례를 도시하는 도면이다.
도 17f는 변형예에 따른 시스템에 의하여 투영되는 표시의 일례를 도시하는 도면이다.
도 17g는 변형예에 따른 시스템에 의하여 투영되는 표시의 일례를 도시하는 도면이다.
도 17h는 변형예에 따른 시스템에 의하여 투영되는 표시의 일례를 도시하는 도면이다.
도 18a는 변형예에 따른 시스템에 의하여 투영되는 표시의 일례를 도시하는 도면이다.
도 18b는 변형예에 따른 시스템에 의하여 투영되는 표시의 일례를 도시하는 도면이다.
도 18c는 변형예에 따른 시스템에 의하여 투영되는 표시의 일례를 도시하는 도면이다.
도 18d는 변형예에 따른 시스템에 의하여 투영되는 표시의 일례를 도시하는 도면이다.
도 18e는 변형예에 따른 시스템에 의하여 투영되는 표시의 일례를 도시하는 도면이다.
도 18f는 변형예에 따른 시스템에 의하여 투영되는 표시의 일례를 도시하는 도면이다.
도 18g는 변형예에 따른 시스템에 의하여 투영되는 표시의 일례를 도시하는 도면이다.
도 18h는 변형예에 따른 시스템에 의하여 투영되는 표시의 일례를 도시하는 도면이다.
도 19a는 변형예에 따른 시스템에 의하여 투영되는 표시의 일례를 도시하는 도면이다.
도 19b는 변형예에 따른 시스템에 의하여 투영되는 표시의 일례를 도시하는 도면이다.
도 20은 본 실시 형태에 따른 정보 처리 장치의 하드웨어 구성의 일례를 도시하는 블록도이다.
이하에, 첨부 도면을 참조하면서 본 개시의 적합한 실시 형태에 대하여 상세히 설명한다. 또한 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 갖는 구성 요소에 대해서는 동일한 번호를 붙임으로써 중복 설명을 생략한다.
또한 설명은 이하의 순서로 행하기로 한다.
1. 시스템의 개요
2. 구성예
3. 처리의 흐름
4. 표시 장소의 결정
4.1. 대상 기기의 근방에 대한 투영
4.2. 대상 기기와 이격된 장소에 대한 투영
4.3. 스마트폰 또는 HMD에서 표시하는 경우
5. 변형예
5.1. 조작 권한이 위양되는 경우
5.2. 대상 기기에 대한 조작이 인식 불능인 경우
5.3. 대상 기기가 어느 유저에 대하여 로크되어 있는 경우
6. 하드웨어 구성예
7. 정리
<실시 형태>
≪1.시스템의 개요≫
먼저, 도 1을 참조하여 본 개시의 실시 형태에 따른 정보 처리 장치의 시스템 개요에 대하여 설명한다. 도 1은, 소정의 실 공간 내(이하, 실 공간 내라고도 칭함)에 있어서 원격 조작으로 대상 기기의 조작이 행해지는 경우의 플로를 도시하고 있다. 소정의 실 공간 내란, 유저 및 조작 대상 기기가 존재하는 공간으로서, 예를 들어 외부 환경과 구획된 옥내이며, 방, 회의실 등의, 유저 및 대상 기기가 일정수 포함되는 공간을 나타낸다.
도 1에 도시하는 플로에서 유저는 먼저, 조작 대상으로 할 대상 기기를 선택한다(S10). 유저는 대상 기기를 선택함으로써, 조작 대상으로 할 대상 기기에 대하여 조작 권한을 가질 수 있다. 조작 권한이란, 대상 기기를 조작하기 전에 해당 대상 기기를 조작할 권리이며, 유저는 조작 권한을 가짐으로써 나중에 대상 기기를 실제로 조작할 수 있다. 다음으로, 조작 권한을 가진 유저는 커맨드의 입력 등을 행함으로써, 선택된 대상 기기를 조작한다(S12). 커맨드 내용이 대상 기기에 반영됨으로써 유저는, 조작이 종료된 것을 파악한다(S14).
상기 플로에 있어서, 소정의 공간 내에 복수의 기기가 있고, 해당 복수의 기기 중에서 제스처 등의 원격 조작에 의하여 조작 대상 기기를 선택하는 경우, 선택된 기기가 유저에게 명시되지 않으면 유저는, 조작이 완료되기까지, 조작하고자 하는 기기를 올바르게 선택하고 있는지 여부의 판단을 할 수 없다.
또한 소정의 공간 내에 복수의 유저가 있는 경우, 어느 유저가 어느 기기를 조작 대상 기기로서 선택하고 있는 것인지 알 수 없는 일이 있을 수 있다. 이때는, 복수의 유저에 의하여 입력되는 커맨드가 경합함으로써, 각 유저의 의도에 반하여 조작의 입력이 대상 기기에 대하여 행해질 가능성이 있으며, 캔슬 조작이 늘거나 함으로써 유저의 편리성이 저하될 가능성이 있다.
그래서, 본 개시의 기술에서는, 유저와 대상 기기를 상호 간에 관련지은 표시를 유저에 대하여 표시함으로써, 선택된 대상 기기와, 해당 대상 기기의 조작 권한을 갖는 유저를 명시하여, 선택 조작의 신속한 파악과, 유저 사이에 있어서의 입력 커맨드의 경합의 억제를 가능하게 할 수 있다.
도 2는, 본 개시의 일 실시 형태의 개념도이다. 도 2에 도시한 바와 같이 소정의 공간 내에 1 이상의 유저, 예를 들어 유저 A, B 및 C가 존재한다. 또한 이 공간 내에는, 표시를 투영하는 투영 장치 Pr이 설치되어 있다. 투영 장치 Pr은, 유저 A가 조작 대상 기기 Ob를 조작하는 경우에, 유저 A가 선택한 대상 기기 Ob와 유저 A를, 예를 들어 화살표선으로 나타내는 표시 Ef를 행한다. 이것에 의하여 유저 A는, 유저 A가 대상 기기 Ob를 선택하고 있고 또한 유저 A에게 조작 권한이 있음을 시인할 수 있다. 도 2에서는, 표시 Ef를 행하는 대상의 예로서, 예를 들어 투영 장치 Pr을 들었지만, 표시 Ef는 대상 기기 Ob의 표시부에서 표시되어도 되고, 대상 기기 Ob의 하우징부의 램프 등으로 표시되어도 된다. 또한 표시 Ef는, 스마트폰 또는 HMD(Head Mounted Display) 등의 기기를 통하여 시인되는 가상 공간 내에 표시되어도 된다.
이하에서 설명하는 본 실시 형태에 있어서는, 주로 투영 장치에 의하여 투영되는 표시에 관하여 설명을 행한다. 또한, 본 실시 형태의 베리에이션으로서, 투영 장소에 따른 표시의 변형예, 표시 장치가 대상 기기인 경우의 표시, 조작 권한의 유무 등에 의한 표시 등, 유저에 대한 표시 등에 관하여 설명을 행한다.
≪2. 구성예≫
도 3은, 본 실시 형태에 따른 시스템(1000)의 구성의 일례를 도시하는 블록도이다. 도 3에 도시한 바와 같이 시스템(1000)은 정보 처리 장치(1100), 표시 장치(1200), 센서 장치(1300)를 포함한다. 본 실시 형태에 있어서는, 시스템(1000)은, 정보 처리 장치(1100), 표시 장치(1200), 센서 장치(1300)가 다른 구성으로서 나타나 있지만, 표시 장치(1200)는 정보 처리 장치(1100)에 포함되어도 되고, 센서 장치(1300)도 정보 처리 장치(1100)에 포함되어도 된다.
(1) 표시 장치(1200)
표시 장치(1200)는, 유저와 대상 기기의 위치 관계에 따른 표시를 실 공간 내에서 유저가 시인 가능하게 제시하는 기능을 갖는다. 표시 장치(1200)는, 프로젝터(1210), TV(1220), 태블릿(1230), 스마트폰(1240), 또는 PC(Personal Computer)(1250) 중 어느 것을 적어도 하나 이상 포함한다. 본 실시 형태에 있어서는, 유저가 선택한 대상 기기, 및 유저가 해당 대상 기기의 조작 권한을 가짐을 나타내기 위하여 시인 가능한 표시를 이용한다는 취지를 예시하였지만, 본 실시 형태는 이러한 예시에 한정되지 않는다. 예를 들어 유저가 선택한 대상 기기, 및 유저가 해당 대상 기기의 조작 권한을 갖는다는 것은, 음성 등을 이용하여 유저에게 제시해도 됨은 물론이다. 그 경우, 표시 장치(1200)는 스피커 또는 단일 지향성 스피커를 포함하며 음성 출력 장치로서의 기능을 갖는다. 이것에 의하여 표시 장치(1200)는, 유저와 대상 기기의 위치 관계에 따른 음성을 유저에 대하여 제시한다.
프로젝터(1210)는, 소정의 공간 내의 임의의 장소에 표시를 투영하는 투영 장치이다. 프로젝터(1210)는, 예를 들어 고정형 광각 프로젝터여도 되고, Pan/Tilt 구동형 등의, 투영 방향을 변경 가능한 가동부를 구비하는, 이른바 무빙 프로젝터여도 된다. TV(1220)는, 텔레비전 방송의 전파를 수신하여 화상 및 음성을 출력하는 장치이다. 태블릿(1230)은, 전형적으로는 스마트폰(1240)보다 큰 화면을 갖고 화상, 음성 및 진동 등을 출력하는, 무선 통신 가능한 모바일 기기이다. 스마트폰(1240)은, 전형적으로는 태블릿(1230)보다 작은 화면을 갖고 화상, 음성 및 진동 등을 출력하는, 무선 통신 가능한 모바일 기기이다. PC(1250)는, 화상 및 음성 등을 출력 가능한 고정형 데스크탑 컴퓨터 또는 모바일형 노트북 PC이다.
상기와 같은 표시 장치(1200)는 화상 표시의 기능을 갖고 있기 때문에, 본 개시의 기술에 있어서의 유저와 대상 기기의 위치 관계에 따른 표시를 실 공간 내에서 유저가 시인 가능하게 제시할 수 있다.
본 개시의 기술은, 상술한 바와 같이 표시가 아니라 음성에 의하여 유저와 대상 기기의 위치 관계에 따른 제시를 행해도 된다. 그때는, 표시 장치가 음성 출력 장치로서 기능하며 스피커 또는 단일 지향성 스피커를 갖는다. 스피커는 DAC(Digital Analog Converter) 및 증폭기를 통하여 음성 데이터를 아날로그 신호로 변환하여 유저에 대하여 출력(재생)한다. 단일 지향성 스피커는, 단일의 방향으로 지향성을 형성 가능한 스피커이며, 유저에 대하여 음성을 출력할 수 있다.
표시 장치(1200)는, 정보 처리 장치(1100)에 의한 제어에 기초하여 표시를 출력한다. 정보 처리 장치(1100)는, 표시할 정보 또는 내용에 더해 표시의 양태도 제어 가능하다. 예를 들어 정보 처리 장치(1100)는, 표시를 투영하는 프로젝터(1210)의 투영 방향을 제어할 수 있다.
또한 표시 장치(1200)는, 상술한 구성 요소 이외의, 임의의 표시 출력이 가능한 구성 요소를 포함하고 있어도 된다. 예를 들어 표시 장치(1200)는 HMD(Head Mounted Display), AR(Augmented Reality) 글라스 등을 포함하고 있어도 된다.
(2) 센서 장치(1300)
센서 장치(1300)는, 카메라(1310), 뎁스 센서(1320), 또는 마이크로폰(1330) 중 어느 것을 적어도 하나 이상 포함한다.
카메라(1310)는 RGB 카메라 또는 서모 카메라 등의, 화상(정지 화상 또는 동화상)을 촬상하는 촬상 장치이며, 렌즈계, 구동계 및 촬상 소자를 갖는다. 뎁스 센서(1320)는 적외선 측거 장치, 초음파 측거 장치, LiDAR(Laser Imaging Detection and Ranging), 또는 스테레오 카메라 등이며, 심도 정보를 취득하는 장치이다. 마이크로폰(1330)은, 주위의 소리를 수음하고 증폭기 및 ADC(Analog Digital Converter)를 통하여 디지털 신호로 변환한 음성 데이터를 출력하는 장치이다.
센서 장치(1300)는, 정보 처리 장치(1100)에 의한 제어에 기초하여 정보를 센싱해도 된다. 예를 들어 정보 처리 장치(1100)는 카메라(1310)의 줌률 및 촬상 방향을 제어할 수 있다.
또한 센서 장치(1300)는, 상술한 구성 요소 이외의, 임의의 센싱이 가능한 구성 요소를 포함하고 있어도 된다. 예를 들어 센서 장치(1300)는, 마우스, 키보드, 터치 패널, 버튼, 마이크로폰, 스위치 및 레버 등, 유저에 의하여 정보를 입력 가능한 장치를 포함하고 있어도 된다. 또한 센서 장치(1300)는, ToF(Time Of Flight) 센서, 초음파 센서, 기압 센서 및 가스 센서(CO2) 등의 각종 센서를 포함할 수 있다.
(3) 정보 처리 장치(1100)
정보 처리 장치(1100)는 I/F(Interface)부(1130), 검출부(1120), 제어부(1110) 및 기억부(1140)를 포함한다.
·I/F부(1130)
I/F부(1130)는, 정보 처리 장치(1100)와 다른 기기를 접속하기 위한 접속 장치이다. I/F부(1130)는, 예를 들어 USB(Universal Serial Bus) 커넥터 등에 의하여 실현되며, 표시 장치(1200) 및 센서 장치(1300)의 각 구성 요소와의 사이에서 정보의 입출력을 행한다.
·검출부(1120)
검출부(1120)는 유저 검출부(1121), 트리거 검출부(1123), 환경 검출부(1125) 및 기기 검출부(1126)를 포함한다. 검출부(1120)는, 센서 장치(1300)로부터 취득한 센서 정보로부터, 대상으로 할 검출 데이터를 각 구성 요소로 추출하고, 또한 제어부(1110)에 있어서 사용되는 검출 데이터를 제어부(1110)에 출력하는 기능을 갖는다.
(유저 검출부(1121))
유저 검출부(1121)는, 센서 장치(1300)에 의하여 센싱된 정보에 기초하여 유저 정보를 검출하는 기능을 갖는다. 유저 정보는 유저에 관한 정보이다.
유저 정보는, 센서 장치(1300)에 의하여 센싱되는 소정의 공간 내에 있어서의 유저의 위치를 나타내는 정보를 포함할 수 있다. 유저의 위치는, ToF(Time of Flight) 센서, 서모 카메라, RGB 카메라, 초음파 센서, 기압 센서, 가스(CO2) 센서 등에 의하여 검출될 수 있다. 이들 센서는, 복수의 유저가 소정의 공간 내에 있는 경우, 유저의 인원수를 검출하는 것도 가능하다.
유저 정보는, 유저의 시선을 나타내는 정보를 포함할 수 있다. 유저의 시선을 나타내는 정보는, 유저의 시점의 위치 및 시선 방향을 나타내는 정보를 포함한다. 또한 유저의 시선을 나타내는 정보는, 유저의 얼굴이나 머리의 배향을 나타내는 정보를 포함해도 되고, 또한 안구의 배향을 나타내는 정보를 포함해도 된다. 예를 들어 유저의 시선을 나타내는 정보는, RGB 카메라, 적외선 카메라, 또는 유저에게 장착된 접안 카메라 등에 의하여 얻어지는 유저의 눈의 화상을 해석함으로써 검출될 수 있다.
(트리거 검출부(1123))
트리거 검출부(1123)는, 센서 장치(1300)에 의하여 센싱된 정보에 기초하여 트리거 정보를 검출하는 기능을 갖는다.
트리거 정보는, 유저의 제스처를 나타내는 정보를 포함할 수 있다. 유저의 제스처를 나타내는 정보는, RGB 카메라, 적외선 카메라 등에 의하여 얻어지는 화상을 해석함으로써 검출될 수 있다.
유저의 제스처를 나타내는 정보는, 공중 포인팅 제스처, 터치 제스처 등의 유저가 행하는 제스처를 포함할 수 있다. 예를 들어 대상 기기 Ob를 향하여 손가락으로 가리키는 제스처 등이 포함된다.
트리거 정보는, 상기와 같은 제스처를 나타내는 정보가 아니더라도 유저가 발하는 음성에 의한 정보를 포함해도 된다. 유저가 발하는 음성의 정보는, 마이크로폰 등에 의하여 수음된 음성을 해석함으로써 검출될 수 있다. 예를 들어 트리거 검출부(1123)는, 「텔레비전」 등의 음성 지시에 의하여 대상 기기 Ob가 지정된 경우, 트리거가 검지되었다고 해도 된다. 이것에 의하여, 유저가 제스처 등의 동작을 할 수 없더라도 트리거 검출부(1123)는 음성에 의하여 트리거를 검지할 수 있다.
(환경 검출부(1125))
환경 검출부(1125)는, 센서 장치(1300)에 의하여 센싱된 정보에 기초하여 환경 정보를 검출하는 기능을 갖는다. 환경 정보는, 유저가 있는 소정의 공간에 관한 정보이다. 환경 정보는 다양한 정보를 포함할 수 있다.
환경 정보는, 유저가 있는 소정의 공간의 형상을 나타내는 정보를 포함할 수 있다. 공간의 형상을 나타내는 정보는, 예를 들어 벽면, 천장, 바닥, 도어, 가구, 장식물 및 생활용품 등의, 공간을 형성하는 형상을 나타내는 정보를 포함한다. 공간의 형상을 나타내는 정보는 2차원 정보여도 되고 포인트 클라우드 등의 3차원 정보여도 된다.
환경 정보는, 공간을 형성하는 물체의 표면 상태를 나타내는 정보를 포함할 수 있다. 표면 상태는, 예를 들어 표면의 요철 및 색을 포함한다. 표면의 요철은, 예를 들어 LiDAR, 뎁스 센서에 의하여 얻어지는 심도 정보에 기초하여 검출될 수 있다. 표면의 색은, 예를 들어 RGB 카메라에 의하여 촬상된 화상을 해석함으로써 검출될 수 있다.
환경 정보는, 공간을 형성하는 물체의 표면의 조도를 나타내는 정보를 포함할 수 있다. 물체의 표면의 조도는 조도 센서 또는 RGB 카메라에 의하여 검출될 수 있다. 물체의 표면의 조도는, 소정의 공간 내에 있어서의 물체의 표면의 조도를 매핑한 환경광 맵을 작성하기 위하여 사용될 수 있다. 환경광 맵은, 소정의 공간 내에 있어서의 조도의 분포를 나타내며, 유저에 의하여 시인되기 쉬운 표시 방법을 적당히 선택하기 위하여 사용된다.
환경 정보는, 공간 내의 물체의 위치를 나타내는 정보를 포함할 수 있다. 예를 들어 방 안의 컵, 의자, 테이블, 잡지, 리모컨 및 전자 기기 등의 위치는 화상 인식에 의하여 검출될 수 있다. 공간 내의 물체의 위치를 나타내는 정보는, 물론 벽면, 천장, 바닥, 도어, 가구, 장식물 등의, 소정의 공간 내에서 고정되어 있을 가능성이 높은 물체의 위치 정보도 포함할 수 있다.
환경 정보는, 물체의 위치를 나타내는 정보 중에서, 물체가 움직이는 빈도에 따라 단계적으로 계층 구분되어 있어도 된다. 예를 들어 심층 학습(DeepLearning)을 이용한 기계 학습 알고리즘을 이용하여, 유저가 빈번히 들고 옮겨서 위치를 이동시키는 컵 등을 자주 움직이는 물체로서 분류하고, 움직이지 않는 벽 또는 천장 등을 부동체로서 분류한다. 센서 장치(1300)에서는 많은 검출 정보가 얻어지기 때문에, 얻어진 모든 검출 정보를 고려하여 표시를 제어한 경우, 정보 처리 장치(1100)의 부하가 커질 가능성이 높다. 그 때문에, 자주 움직이는 물체로 분류된 것의 차분에 관해서만 고려하여 표시를 제어함으로써, 정보 처리 장치(1100)에 대한 부하를 억제하면서 정보 처리 장치(1100)는 고정밀도 및 고속의 표시 제어를 행하는 것이 가능하다.
환경 정보는, 소정의 공간 내에 있어서의 환경음에 관한 정보를 포함할 수 있다. 환경음을 파악함으로써, 유저와 대상 기기의 위치 관계에 따른 표시 또는 음성 중 어느 것을 유저에게 제시할 것인지를 선택할 수 있다. 또한 유저와 대상 기기의 위치 관계에 따른 음성을 유저에게 제시하는 경우, 환경음에 따라 음성의 음량을 변화시킴으로써 유저에 대한 인식성의 향상을 도모할 수 있다.
(기기 검출부(1126))
기기 검출부(1126)는, 소정의 공간 내에 있어서 유저의 조작 대상으로 되는 대상 기기의 존재 및 위치를 검출하는 기능을 갖는다. 예를 들어 대상 기기의 존재를 검출하기 위하여, DLNA(Digital Living Network Alliance, 등록 상표), Wifi(등록 상표), USB 접속, 그 외 전용기 등에 의한, 정보 처리 장치(1100)에 대한 접속에 의하여 대상 기기의 존재를 검출해도 된다. 이때, 대상 기기의 종류나 메이커명 등의 정보를 검출해도 된다.
또한 대상 기기의 존재 및 위치를 검출할 때, 대상 기기에 재귀성 반사재를 첩부함으로써 적외선 카메라 등에 의하여 대상 기기의 존재 및 위치를 검출해도 된다. 또한 대상 기기의 표면 상에 각인된 메이커명, 대상 기기의 표면 상에 부여된 2차원 바코드를 카메라에 의하여 검출함으로써 대상 기기의 존재 및 위치를 검출해도 된다.
또한 대상 기기의 존재 및 위치를 검출할 때, 대상 기기별로 유니크한 초음파를 발생시키고 그 초음파를 마이크로폰 등으로 수음함으로써 대상 기기의 존재 및 위치를 검출해도 된다. 초음파는, 예를 들어 사람의 가청역과 다른 범위의 주파수를 가져도 된다.
또한 대상 기기의 존재 및 위치는, 상기한 바와 같이 기기 검출부(1126)에 의하여 검출되어도 되고 유저의 등록 조작에 의하여 검출되어도 된다. 또한 이들은 병용하여 행해져도 된다.
예를 들어 유저의 등록 조작은 유저의 손가락질과 음성의 발성에 의하여 행해진다. 구체적으로는 카메라 등을 사용하여, 유저의 손끝 방향에 존재하는 기기를 대상 기기로 하여 존재 위치를 검출하고, 마이크로폰 등에 의하여 유저의 음성을 수집, 해석함으로써 대상 기기의 종류 또는 위치를 등록할 수 있다. 여기서는 유저에 의한 손가락질을 일례로 하였지만, 유저에 의한 터치, 시선, 마커에 의하여 대상 기기의 존재 위치를 검출하고, 유저에 의한 UI 선택 등에 의하여 대상 기기의 등록 조작이 행해져도 된다.
·제어부(1110)
제어부(1110)는 각종 프로그램에 따라 정보 처리 장치(1100) 내의 동작 전반을 제어한다. 제어부(1110)는 표시 제어부(1111), 해석부(1115)를 포함한다. 표시 제어부(1111)는, 표시 장치(1200)에 의한 표시를 제어한다. 본 실시 형태에 있어서는, 표시 제어부(1111)에 의하여, 유저에 대하여 표시를 제어하는 예를 나타내지만, 표시에 한하지 않고 음성에 의하여 유저에 대한 제시를 행해도 된다. 그 경우, 제어부(1110)에는 음향 제어부가 포함된다.
해석부(1115)는, 제어부(1110)가 표시를 제어할 때 필요한 데이터의 해석을 행하는 기능을 갖는다. 해석부(1115)는, 유저 검출부(1121), 환경 검출부(1125) 및 기기 검출부(1126)로부터 얻어진 정보에 기초하여, 유저가 트리거 동작을 행하였는지 여부를 판정하고, 조작 대상 기기의 특정 및 조작 유저의 특정을 행하는 기능을 갖는다.
예를 들어 기기 검출부(1126)로부터 얻어진 소정의 실 공간 내에 있어서, 대상 기기가 어느 위치에 배치되어 있는지를 나타내는 위치 정보 또는 대상 기기의 명칭을 나타내는 ID 정보 등과, 유저 검출부(1121)로부터 얻어진 유저가 소정의 실 공간 내에서 어디에 존재하는 것인지를 나타내는 위치 정보 또는 트리거 동작 등에 의하여, 해석부(1115)가 조작 유저 및 조작 대상 기기의 특정을 행한다.
상세하게는, 유저의 트리거 동작에 의하여 유저의 제스처, 음성 등을 유저 검출부(1121)가 검출하기 위하여 해석부(1115)는, 트리거 동작을 행한 유저를 소정의 실 공간 내에 있어서의 1 이상의 유저 중에서 조작 유저로서 특정하고, 유저 검출부(1121)에서 얻어진 유저의 위치 정보 및 제스처 등과, 기기 검출부(1126)에서 얻어진 대상 기기의 위치 정보 및 대상 기기의 명칭 등을 대조하여, 조작 유저가 어느 대상 기기를 조작 대상으로 하고 있는지를 해석하여 조작 대상 기기의 특정을 행한다.
또한 트리거 동작이 음성이면, 예를 들어 소정의 트리거 음성 「텔레비전」을 유저가 발함으로써 유저 검출부(1121)가, 「텔레비전」이라는 음성을 발한 유저를 검출하고, 해석부(1115)가 복수의 유저 중에서 트리거 동작을 행한 유저를 조작 유저로서 특정한다. 또한, 해석부(1115)는, 기기 검출부(1126)에 의하여 검출되어 있는 대상 기기 중에서 텔레비전인 대상 기기를 추출하여 조작 대상 기기로서 특정한다.
(표시 제어부(1111))
표시 제어부(1111)는, 해석부(1115)에 의하여 특정된 소정의 실 공간 내에 있어서의 대상 기기의 위치 정보와, 대상 기기의 조작 권한을 갖는 유저의 위치 정보에 기초하여, 유저와 대상 기기의 위치 관계에 따른 표시를 실 공간 내에서 유저가 시인 가능하도록 표시 장치(1200)에 의하여 표시시킨다. 이것에 의하여 유저는 해당 표시를 시인함으로써, 유저가 선택한 대상 기기 Ob에 조작을 행하기 전에 파악할 수 있고, 또한 조작 권한을 어느 유저가 갖고 있는지를 파악할 수 있다.
대상 기기의 위치 정보란, 소정의 실 공간 내에 있어서 어느 위치에 대상 기기가 배치되어 있는지를 나타내는 정보를 포함하고, 대상 기기의 조작 권한을 갖는 유저의 위치 정보란, 소정의 실 공간 내에 있어서 어느 위치에 유저가 존재하고 있는지를 나타내는 정보를 포함한다. 이들 조작 권한을 갖는 유저와 대상 기기의 위치 정보에 기초하여 해석부(1115)는 해당 유저와 해당 대상 기기의 위치 관계를 해석한다. 위치 관계란, 조작 권한을 갖는 유저 및 대상 기기의 상호 간의 배치 위치의 관계를 나타내며, 대상 기기 및 조작 권한을 갖는 유저 위치 중 어느 쪽으로부터 한쪽이 존재하는 위치까지의 거리, 또는 방향에 관한 상호 간의 관계를 포함해도 된다. 해석부(1115)에 의하여 얻어진 위치 관계로부터 표시 제어부(1111)는 표시의 제어를 행해도 된다.
예를 들어 표시 제어부(1111)는, 대상 기기의 위치로부터 조작 유저가 존재하는 위치까지의 거리가 가까운지 먼지에 따라 표시를 변경 제어해도 된다. 조작 유저가 대상 기기에 가까우면, 대상 기기 근방에서 표시를 행하더라도 다른 유저와 혼동하는 일 없이 조작 유저는, 조작 유저가 조작 대상 기기를 조작하는 권한을 얻고 있다고 인식할 수 있다. 한편, 조작 유저가 대상 기기로부터 멀면, 대상 기기와 조작 유저 사이에는 다른 유저 또는 다른 대상 기기 등이 존재하는 경우를 많이 생각할 수 있다. 그 때문에 표시 제어부(1111)는, 대상 기기 근방의 표시가 아니라 조작 유저의 위치까지 연속성을 가진 표시, 상세하게는 대상 기기와 조작 유저를 잇는 선분 또는 곡선 표시 등을 이용하는 것에 의하여 표시를 제어함으로써, 다른 유저와 조작 유저의 혼동을 억제할 수 있다.
또한, 예를 들어 표시 제어부(1111)는, 조작 유저의 위치로부터 대상 기기의 위치까지의 방향이 어느 방향인지에 따라 표시를 변경 제어해도 된다. 예를 들어 조작 유저로부터 보아 대상 기기의 방향에 있어서, 태양광이 비쳐 들어 해당 방향의 실 공간 내에 있어서 휘도가 높아서 유저에 대한 표시의 시인성이 저하되는 경우에는 표시 제어부(1111)는, 조작 유저와 대상 기기를 잇는 직선 표시를 이용하는 것이 아니라, 조작 유저로부터 보아 대상 기기의 방향과는 다른 방향을 경유한 곡선 표시를 이용하여 표시의 제어를 행해도 된다.
표시 제어부(1111)는, 선택한 표시 장치, 유저 검출부(1121), 환경 검출부(1125) 및 기기 검출부(1126)로부터 얻어진 정보에 기초하여 표시를 제어해도 되고, 대상 기기의 선택에 기초하여, 상기 유저와 상기 대상 기기에 대하여 상호 간에 관련지어진 표시를 제어해도 된다.
대상 기기의 선택이란, 소정의 실 공간 내에 존재하는 1 이상의 대상 기기 중에서 유저가 조작하고자 하는 대상 기기를 선택하는 것이며, 대상 기기가 유저에게 선택됨으로써 표시 제어부(1111)는, 조작 권한을 갖는 유저와 해당 대상 기기에 대하여 상호 간에 관련지어진 표시를 제어해도 된다. 예를 들어 표시 제어부(1111)는, 제1 유저가 일 대상 기기의 선택을 행하였을 때, 제1 유저와 해당 대상 기기에 대하여 상호 간에 관련지어진 표시의 제어를 행하여, 해당 대상 기기에 대하여 제1 유저가 조작 권한을 가짐을 표시에 의하여 표현해도 된다.
또한 해당 대상 기기에 대하여 조작 권한을 갖는 제1 유저와는 다른 제2 유저가 해당 대상 기기를 조작하고자 해당 대상 기기를 선택한 경우에, 표시 제어부(1111)는, 조작 권한을 갖는 제1 유저와 해당 대상 기기에 대하여 상호 간에 관련지어진 표시의 제어를 행하여, 해당 대상 기기에 대하여 제1 유저가 조작 권한을 가짐을 표시에 의하여 표현해도 된다. 여기서는 조작 권한을 갖는 유저를 1명으로서 설명하였지만, 조작 권한을 갖는 유저는 복수여도 되고, 대상 기기를 선택한 제2 유저가 복수여도 된다.
대상 기기의 선택은, 조작 권한을 갖는 유저의 트리거 동작에 따른 트리거 검출과 마찬가지로, 유저 검출부(1121) 및 트리거 검출부(1123)에 의하여 검출된 유저에 의한 제스처, 음성 입력 중 적어도 어느 것에 의하여 대상 기기의 선택이 행해져도 된다.
표시는, 유저와 대상 기기에 대하여 상호 간에 관련지어진 표시이면 어떠한 표시여도 된다. 상호 간에 관련지어진 표시란, 유저와 대상 기기 사이에 관계가 있음을 나타내는 표시이며, 예를 들어 유저의 방향을 대상 기기가 표시하거나, 대상 기기 근방에서 유저의 방향을 나타내는 표시를 투영하는 등의 표시를 포함한다. 유저에 대한 표시의 표시 내용 등은 적당히 각 조건 또는 경우 구분에 따라 선택될 수 있다. 이들 각 조건이나 경우 구분에 관해서는 후술한다.
표시 제어부(1111)는, 표시 제어부(1111)가 제어를 행하는 대상인 표시 장치(1200)의 각 구성을 선택해도 된다. 본 실시 형태에 있어서는, 예를 들어 표시 장치로서 투영 장치인 프로젝터(1210), 혹은 표시부를 갖는 TV(1220)를 선택하는 경우를 예로 들어 주로 설명을 행한다. 표시 장치(1200)의 선택은, 각 조건 또는 경우 구분에 따라 적합한 형태가 선택될 수 있다. 이들 각 조건이나 경우 구분에 관해서는 후술한다.
≪3. 처리의 흐름≫
지금까지 설명한 각 구성을 이용한 본 개시 기술에 있어서의 처리의 흐름을, 도 4을 참조하여 설명한다. 도 4는, 본 개시에 따른 기술에 있어서의 처리의 흐름을 도시하고 있다.
도 4에 도시한 바와 같이 시스템(1000)은, 예를 들어 전원 버튼 등이 눌러짐으로써 환경 인식, 유저 인식 및 기기 인식의 동작을 개시한다. 구체적으로는, 환경 인식은 환경 검출부(1125)가 행하고, 유저 인식은 유저 검출부(1121)가 행하고, 기기 인식은 기기 검출부(1126)가 각각 행한다. 이들 각 부는 일제히 동작을 개시해도 되고, 각각이 개별적으로 동작을 개시해도 된다. 또한 동작이 개시되는 순번은 불문한다.
환경 인식에서는 환경 검출부(1125)가 환경 정보를 검출한다(S102). 예를 들어 환경 검출부(1125)는 벽의 위치 및 형상, 도어의 개폐, 머그 컵의 위치 및 형상 등을 검출한다.
시스템(1000)은 환경 인식과 병행하여 유저 인식을 행한다. 유저 인식에서는 유저 검출부(1121)가 유저 정보를 검출한다(S104). 예를 들어 유저 검출부(1121)는, 유저의 위치 또는 인원수를 검출하거나 유저가 향하고 있는 방향을 검출하거나 함으로써 유저에 관한 정보의 검출을 행한다.
시스템(1000)은 환경 인식 및 유저 인식과 병행하여 기기 인식을 행한다. 기기 인식에서는 기기 검출부(1126)는, 유저가 조작할 대상으로 될 수 있는 전자 기기 등의 위치, 형상, 명칭 등을 검출한다(S106).
다음으로, 트리거 검출부(1123)가 유저의 동작 및 제스처 등의 트리거 검지를 행한다(S108). 트리거 검지의 대상은 유저의 동작 및 제스처 이외에도, 유저가 발하는 음성 등이어도 된다.
트리거 검지에서는 유저가 소정의 제스처를 행하거나 음성 등을 발하거나 함으로써 트리거 신호의 검지를 행한다. 제스처 또는 음성 등을 시스템(1000)을 검지하지 못한 경우, 시스템(1000)은 다시 환경 인식, 유저 인식 및 기기 인식을 개시한다. 제스처 또는 음성은 각각 단독의 트리거로서 행해져도 되고, 복수의 제스처 및 음성의 조합에 의한 트리거로서 행해져도 된다.
트리거 검지에서 소정의 제스처 또는 음성 등이 검지되면, 해석부(1115)에 의하여, 조작 유저 및 조작 대상으로 할 대상 기기가 해석된다(S110). 해석부(1115)에서는, 조작 유저가 조작 대상으로 할 대상 기기가 해석되면, 유저가 조작 권한을 갖는 대상 기기, 및 해당 대상 기기의 조작 권한을 갖는 유저가 특정된다(S112, S114).
다음으로, 표시 제어부(1111)가, 특정된 조작 대상 기기의 위치 정보 및 유저의 위치 정보에 기초하여 표시 장치(1200)를 선택한다. 그리고 표시 장치(1200)의 위치 정보 그리고 환경 정보 및 유저 정보에 기초하여, 조작 권한을 갖는 유저에게 시인 가능한 표시를 작성한다(S116). 이때, 표시 제어부(1111)는, 조작 권한을 갖는 유저에 대한 시인성 쪽이, 조작 권한을 갖지 않는 다른 유저에 대한 시인성보다도 높아지도록, 작성할 표시의 양태를 제어해도 된다. 시인성이란, 유저가 표시를 확인할 때 인식하기 쉬운 정도를 나타내는 지표이다. 시인성이 높을수록 유저는 표시를 용이하게 파악할 수 있고, 시인성이 낮을수록 표시를 파악하기 어려워진다.
다음으로, 표시 장치(1200)를 표시 제어부(1111)가 제어한다(S118). 예를 들어 표시 장치(1200)로서 프로젝터(1210)가 선택된 경우, 표시 제어부(1111)가 프로젝터(1210)에 대하여 표시의 투영을 행하게 한다. 이것에 의하여 시스템(1000)은, 유저와 대상 기기의 위치 관계에 따른 표시를 실 공간 내에서 유저가 시인 가능하도록 제어하는 것이 가능해진다. 따라서 유저의 원격 조작에 대한 편리성이 향상된다. 본 개시에 따른 기술에 있어서, 표시 장치(1200)의 선택 및 표시에 관해서는 다양한 베리에이션이 존재한다. 다음 항에서 이들 본 개시에 따른 기술의 베리에이션에 대하여 상세히 설명한다.
≪4. 표시 장소의 결정≫
여기서는, 정보 처리 장치(1100)에서 제어하는 표시를 프로젝터(1210)에서 투영하는 경우를 예시하여 실시 형태를 설명한다. 단, 표시 장소 및 표시는, 조작 권한을 갖는 유저와 선택된 대상 기기를 유저가 시인할 수 있으면 되기 때문에, 표시를 제시하는 장치는 프로젝터(1210)에 한정되지 않는다.
표시는, 조작 권한을 갖는 유저와 대상 기기에 대하여 상호 간에 관련지어진 표시이면 된다. 해석부(1115)에서 해석된 조작 권한을 갖는 유저 U1 및 대상 기기 Ob의 위치 정보에 기초하여 표시 제어부(1111)는 표시를 제어한다. 상호 간에 관련지어진 표시란, 대상 기기 Ob와 조작 권한을 갖는 유저 U1 사이에 관계성이 있음을 나타내는 표시이며, 예를 들어 대상 기기 Ob의 위치로부터 조작 권한을 갖는 유저 U1이 존재하는 위치까지의 방향을 나타내는 표시여도 되고, 대상 기기 Ob와 유저 U1을 잇는 선분의 표시여도 된다.
<4.1. 대상 기기의 근방에 대한 투영>
먼저, 표시가, 대상 기기 Ob의 위치로부터 조작 권한을 갖는 유저 U1이 존재하는 위치까지의 방향을 나타내는 표시이고, 또한 해당 표시의 제어가 대상 기기의 근방에서 행해지는 경우를 설명한다. 소정의 공간 내에 있어서 유저 U1 및 U2가 존재하는 경우에, 조작 권한을 갖는 유저 U1과 대상 기기 Ob를 잇는 직선, 및 조작 권한을 갖지 않는 다른 유저 U2와 대상 기기를 잇는 직선이 이루는 각도에 따라, 표시를 대상 기기의 근방에 표시할지 여부가 결정된다. 여기서는 도 5을 참조하여, 대상 기기의 근방에서 표시를 제어하는 경우에 관하여 설명한다. 대상 기기의 근방이란, 대상 기기의 주위 및 주변을 나타내며, 대상 기기의 주위 및 주변에 표시를 행함으로써 다른 대상 기기와 조작 대상 기기의 혼동을 억제한다.
도 5는, 소정의 공간 내에 있어서의 유저 U1 및 U2, 그리고 대상 기기 Ob의 배치예를 도시하는 도면이다. 소정의 공간 내에 있어서 유저 U1 및 U2가 존재하는 경우에, 조작 권한을 갖는 유저 U1과 대상 기기 Ob를 잇는 직선, 및 조작 권한을 갖지 않는 다른 유저 U2와 대상 기기를 잇는 직선이 이루는 각도를 각도 A°라 하자. 예를 들어 유저 U1 및 유저 U2가 대상 기기 Ob에 가까워지는 경우, 각도 A°는 커질 것으로 생각된다. 이 경우, 유저 U1 및 U2는, 대상 기기 Ob의 위치로부터 유저 U1의 위치까지의 방향만의 표시로도, 해당 표시가 각각 서로 중 어느 쪽을 나타내고 있는 것인지를 인식할 수 있다. 이와 같이, 대상 기기 Ob의 위치로부터 조작 유저의 위치까지의 방향의 표시만으로도, 조작 권한을 가질 수 있는 유저 U1 및 U2를 식별할 수 있는 경우에는, 시스템(1000)은 대상 기기 Ob의 근방에서 표시를 제어해도 된다. 이와 같은 표시에 따르면, 유저 U1 및 유저 U2는, 대상 기기 Ob가 조작 대상으로서 선택된 것과, 조작 권한을 갖는 유저가 유저 U1 및 유저 U2 중 어느 쪽인지를 동시에 인지할 수 있다.
각도 A°가 커지는 경우로서는, 유저 U1 및 유저 U2가 대상 기기 Ob에 가까워지는 경우 외에는, 유저 U1 및 U2가 대상 기기 Ob의 좌단 및 우단 등에 충분히 이격되어 존재하고 있는 경우를 생각할 수 있다. 이 경우에 있어서도 대상 기기 Ob의 근방에서 표시를 제어해도 된다. 이것에 의하여 시스템(1000)은, 유저 U1 및 U2가 대상 기기 Ob의 근처에 없더라도, 대상 기기 Ob가 조작 대상으로서 선택된 것과, 조작 권한을 갖는 유저가 유저 U1 및 유저 U2 중 어느 쪽인지를 동시에 인지할 수 있다.
도 6은, 대상 기기 Ob의 근방에 표시를 행한 일례를 도시한 도면이다. 도 6에서는, 대상 기기 Ob의 프레임부의 에지 개소에 표시가 투영되어 있음을 도시하고 있다. 이와 같이, 유저 U1 및 U2가 대상 기기 Ob에 대하여, 각각이 어느 방향에 존재하는지 인식할 수 있는 경우, 대상 기기의 에지 개소에 표시의 투영을 행함으로써 유저는, 대상 기기 Ob에 대하여 어느 쪽 유저가 조작 권한을 갖고 있는지를 확인할 수 있다. 이러한 구성에 따르면, 시스템(1000)이 작성한 표시가 대상 기기 Ob의 프레임에 표시되기 때문에, 대상 기기 Ob에서 표시되는 콘텐츠의 내용에 영향을 미치는 일 없이, 대상 기기와 그 대상 기기의 조작 권한을 갖는 유저가 유저 U1 및 유저 U2 중 어느 쪽인지를 동시에 인지할 수 있다.
도 7은, 표시부를 갖는 대상 기기 Ob의 표시부의 표시 영역 상에 중첩시켜 표시 제어부(1111)가 표시를 제어하는 일례이다. 표시 제어부(1111)는, 대상 기기 Ob의 표시부에서 표시되는 콘텐츠의 표시 범위가 표시부의 표시 영역을 점유하는 영역의 비율에 따라, 표시를 표시부의 표시 영역 상에 중첩시켜 투영을 행할지, 또는 표시부의 표시 영역 외의 대상 기기 Ob에 표시를 투영할지를 선택해도 된다. 예를 들어 표시부 상의 콘텐츠의 표시 범위가 표시부의 표시 영역의 중심으로부터 일부의 범위인 경우, 투영되는 표시는, 표시부의 표시 영역 상의 에어리어에 중첩되도록 투영되어도 된다. 이러한 구성에 의하여, 대상 기기 Ob의 영역 내에서 표시의 투영을 완결시킬 수 있기 때문에, 복수의 대상 기기가 인접하여 존재하는 경우에, 표시가 나타내는 대상 기기가 오해받는 것을 억제할 수 있다.
한편, 표시부 상의 콘텐츠의 표시 범위가 표시부의 표시 영역의 대부분을 점유하고 있는 경우, 표시의 투영은, 표시부의 표시 영역 상이 아니라 표시부의 표시 영역 외측에서 행해져도 된다. 도 8은, 표시부의 표시 영역 상이 아니라 표시부의 표시 영역 외측에서 표시 제어를 행한 일례이다. 도 8에서는, 대상 기기 Ob의 근방에서 프레임과는 겹쳐지지 않도록 표시의 투영을 행하고 있는 모습이 도시되어 있다. 이러한 구성에 의하여, 시스템(1000)은 표시부 상의 콘텐츠에 영향을 주는 일 없이 표시의 투영을 행할 수 있다.
상기에서는, 표시부를 갖는 대상 기기 Ob에 있어서, 투영 장치에서 투영을 행하는 표시의 투영 장소에 관하여 설명을 행하였다. 그러나 대상 기기 Ob가 표시부를 갖는 경우, 시스템(1000)은, 프로젝터(1210)에 의한 투영이 아니라 대상 기기 Ob의 표시부에 해당 표시를 출력해도 된다. 표시가 제시되는 장소는, 상술한 경우와 마찬가지로, 대상 기기 Ob의 표시부의 표시 영역에서 표시되는 콘텐츠의 표시 범위가 표시부의 표시 영역을 점유하는 비율에 따라 제어되어도 된다. 대상 기기 Ob에 의한 표시는 표시부에 의하여 행해져도 되고, 대상 기기 Ob의 프레임 등에 램프 등이 마련되어 있는 경우에는 램프 등의 부분이 빛나거나 함으로써 표시가 행해져도 된다. 이와 같이, 대상 기기 Ob 자신에 의하여 표시가 제시됨으로써, 별도로 프로젝터(1210) 등의 투영 장치를 준비하지 않더라도 유저에게, 대상 기기와 조작 권한을 갖는 유저의 상호 간에 관련지어진 표시를 제시할 수 있다.
대상 기기 Ob의 근방에서 표시를 제어하는 경우의 예를 도 9a 내지 도 9f의 도면을 이용하여 설명한다. 도 9a 내지 도 9f는, 표시 양태의 일례를 도시하는 도면이다. 도 9a 내지 도 9f에서는, 유저 U1이 조작 권한을 갖는 상태를 도시하고 있다.
도 9a는, 대상 기기 Ob의 프레임 근방의 전체 둘레에 걸쳐 표시가 투영되어 있고, 또한 유저 U1이 있는 방향으로 볼록 형상을 갖는 표시 표현을 행함으로써, 유저 U1이 조작 권한을 갖는 대상 기기와 유저 U1이 조작 권한을 갖고 있음을 동시에 인식할 수 있도록 하고 있다. 도 9a에 있어서의 볼록 형상은, 유저가 있는 방향에 존재하는 대상 기기 Ob의 프레임의 1변을 저변으로 하고, 프레임을 기점으로 하여 표시부가 있는 측과는 반대측에 볼록부를 갖는 이등변삼각형으로 표시 표현이 행해지고 있다.
도 9b는, 대상 기기 Ob의 표시부 상에 왜곡을 가진 파문의 표시를 투영함으로써, 방향성을 가진 표현을 행하고 있다. 파문은, 타원이 큰 타원으로부터 작은 타원의 순으로 내포되어 가고, 또한 큰 타원으로부터 작은 타원으로 됨에 따라 각 타원의 중심이 유저 U1의 방향으로 이동하는 파문 표현에 의한 표시를 행하고 있다. 도 9b에서는, 타원 사이의 간격이 좁은 방향으로 유저 U1이 있는 방향을 나타냄으로써, 유저 U1이 조작 권한을 갖는 대상 기기와 유저 U1이 조작 권한을 갖고 있음을 동시에 인식할 수 있도록 하고 있다.
도 9c는, 대상 기기 Ob의 표시부 상에 화살표의 표시를 투영하는 모습을 도시하고 있다. 화살표의 화살머리 방향이, 유저 U1이 있는 방향을 나타냄으로써, 유저 U1이 조작 권한을 갖는 대상 기기와 유저 U1이 조작 권한을 갖고 있음을 동시에 인식할 수 있도록 하고 있다.
도 9d는, 대상 기기 Ob의 근방에 있어서의 파티클 표현에 의하여 방향성을 나타내는 표시를 행한 일례이다. 파티클 표현은 사다리꼴 형상으로 표현될 수 있다. 도 9d에 있어서의 사다리꼴은 등각 사다리꼴의 형상이며, 유저가 있는 방향에 존재하는 대상 기기 Ob의 프레임의 1변측의 대상 기기 Ob의 근방에서 투영된다. 파티클이 나타내는 사다리꼴 형상은, 아랫변이, 해당 프레임의 유저 U1이 있는 측의 1변을 따라 배치되고, 윗변은, 아랫변을 시작점으로 하여 유저 U1이 있는 방향으로 배치된다. 이때 윗변의 길이는 아랫변보다도 짧다. 이와 같은 파티클 표현에 의하여, 유저 U1이 조작 권한을 갖는 대상 기기와 유저 U1이 조작 권한을 갖고 있음을 동시에 인식할 수 있도록 하고 있다.
도 9e는, 대상 기기 Ob의 표시부 상에 파문의 표시를 투영함으로써, 유저 U1이 있는 방향을 나타내는 일례이다. 반경이 다른 3개의 동심원의 원호의 일부에 의하여 파문을 표현하고 있다. 원호선이 점차 길어지는 방향이, 유저 U1이 있는 방향을 나타냄으로써, 유저 U1이 조작 권한을 갖는 대상 기기와 유저 U1이 조작 권한을 갖고 있음을 동시에 인식할 수 있도록 하고 있다.
도 9f는, 대상 기기 Ob가 표시하는 콘텐츠가, 복수의 대소의 사이즈를 가진 콘텐츠로서 복제되고, 대상 기기 Ob를 시작점으로 하여 콘텐츠의 경사를 변화시키면서, 대소의 콘텐츠가 작은 사이즈의 것으로부터 유저 U1 방향으로 중첩되는 표시를 투영하는 모습을 도시하고 있다. 중첩된 콘텐츠 중, 최하 콘텐츠의 중심을 시작점으로 하여 최상 콘텐츠의 중심이 있는 방향이 유저 U1의 방향을 나타냄으로써, 유저 U1이 조작 권한을 갖는 대상 기기와 유저 U1이 조작 권한을 갖고 있음을 동시에 인식할 수 있도록 하고 있다.
이와 같이 대상 기기 Ob의 근방에서 표시를 제어하는 경우에는 다양한 표시 양태가 포함될 수 있다. 이들은 적당히 환경 정보, 유저 정보, 기기 정보에 따라 선택되며, 조작 권한을 갖는 유저에 대하여 시인성이 높은 표시가 선택될 수 있다. 여기에 든 예는 일례이며, 이러한 예에 한정되지 않는다.
<4.2. 대상 기기와 이격된 장소에 대한 투영>
다음으로, 대상 기기와 이격된 장소에 표시를 투영하는 경우에 관하여 설명을 행한다. 이러한 투영은, 예를 들어 유저가 3명 이상의 복수인 경우, 또는 대상 기기와 유저 사이의 거리가 먼 경우에 행해질 수 있다. 대상 기기와 이격된 장소에 투영하는 경우에 관하여 도 10을 참조하여 설명한다.
도 10은, 유저 U1 및 U2, 그리고 대상 기기 Ob의 배치예를 도시하고 있다. 소정의 공간 내에 있어서 유저 U1 및 U2가 존재하는 경우에, 조작 권한을 갖는 유저 U1과 대상 기기 Ob를 잇는 직선, 및 조작 권한을 갖지 않는 다른 유저 U2와 대상 기기를 잇는 직선이 이루는 각도 B°에 따라 표시 제어부(1111)는 표시를 제어한다. 도 5과 도 10에서는, 각각 유저 U1 및 U2가 이루는 각 A°과 B°에는 A>B의 관계가 있다. 예를 들어 유저 U1 및 유저 U2의 위치가, 보다 대상 기기 Ob로부터의 거리가 멀어지는 경우, 각도 B°가 작아질 것으로 생각된다. 이 경우, 유저 U1 및 U2는, 대상 기기 Ob를 시작점으로 하는 방향만의 표시로는 서로를 판별하기 어렵다. 또한 유저가 3명 이상인 경우에는, 대상 기기 Ob를 시작점으로 하는 방향만의 표시로는 복수의 유저를 나타내 버릴 가능성이 있다. 이와 같은 때는 시스템(1000)은, 대상 기기 Ob의 위치로부터 조작 권한을 갖는 유저 U1의 위치로 직선 또는 곡선으로 잇는 표시를 제어해도 된다.
도 11을 참조하여, 대상 기기 Ob를 시작점으로 하여 조작 권한을 갖는 유저 U1까지 선분 또는 곡선으로 잇는 표시에 관하여 설명한다. 선분 또는 곡선은, 시작점 및 종료점이 조작 유저 및 조작 대상 기기의 표면 영역 및 해당 영역의 주변에 있고, 시작점 및 종료점을 잇는 연속성을 가진 표시이면 된다. 도 11에서는, 도 10과 마찬가지로 유저 U1 및 U2 사이에는, 조작 권한을 갖는 유저 U1과 대상 기기 Ob를 잇는 직선, 및 조작 권한을 갖지 않는 다른 유저 U2와 대상 기기를 잇는 직선이 이루는 각도 B°의 관계가 있는 것으로 하자. 도 11은, 유저 U1과 대상 기기 Ob를 선으로 잇는 표시를 행한 도면이다. 이와 같이 유저 U1과 대상 기기 Ob를 선으로 이음으로써, 대상 기기 Ob가 조작 대상으로서 선택되었음과, 조작 권한을 갖는 유저를 유저가 시인하는 것이 가능해진다. 이와 같은 표시에 따르면, 보다 높은 식별성으로, 조작 권한을 갖는 유저가 유저 U1임을 특정할 수 있다.
여기서 표시는, 조작 권한을 갖지 않는 다른 유저보다도, 조작 권한을 갖는 유저에 대한 시인성이 높은 표시이면 된다. 도 12에서는, 유저 U1에 대한 시인성이 유저 U2에 대한 시인성보다도 높은 표시인 경우의 일례를 도시한다.
도 12에서는 표시 Ef1은, 유저 U1과 대상 기기 Ob를 선분에 의하여 이은 표시이다. 대상 기기 Ob는 TV이며, TV대 상에 배치되어 있다. 유저 U1과 대상 기기 Ob 사이에는 테이블이 배치되어 있다. 환경 정보에는, 유저 U1과 대상 기기 Ob 사이에 존재하는 TV대의 형상, 표시부에 관한 정보, 및 테이블에 관한 정보가 포함되어 있으며, 뎁스 정보 등이 포함되기 때문에 유저 U1이, TV대 및 테이블이 배치되는 개소에서 표시 Ef1의 선분을, 이어진 하나의 선분으로서 시인할 수 있도록 표시 제어부(1111)가 표시를 제어할 수 있다. 이 경우, 유저 U1과는 다른 각도에서 표시를 시인하는 유저 U2는, 선분이 분단된 상태에서 시인되기 때문에, 각 선분이 무엇을 의미하고 있는 것인지 파악하는 것이 곤란해진다. 예를 들어 이와 같은 표시가, 유저 U2보다도 유저 U1에 대한 시인성이 높은 표시이다.
도 12에서는 표시 Ef1은, 유저 U1과 대상 기기 Ob를 선분에 의하여 이은 표시였지만 표시는 선분에 한하지 않으며, 유저 U1의 시점에서 보아 파탄되지 않는 표시이면 된다.
도 13은, 유저 U1과 표시에 관한 개념을 도시하는 도면이다. 표시의 양태에 한하지 않고 유저 U1이 표시를 시인할 수 있으면 되며, 유저 U1에 대한 시인성이 다른 유저에 대한 시인성보다도 높으면 된다. 예를 들어 유저 U1과 대상 기기 Ob 사이에, 원근 차를 갖는 물체 X1, X2 및 X3이 존재하는 환경을 상정하자. 예를 들어 물체 X1, X2 및 X3에 걸쳐 연속된 표시 Ef2를 제시한 경우, 유저 U1측으로부터 봄으로써, 연속된 직선으로서 인식하는 것이 가능한 표시로 된다. 이 표시는, 환경 정보에 포함되는 소정의 공간 내에 있어서의 물체의 형상에 관한 뎁스 정보 등을 이용하여, 물체 X1, X2 및 X3에 대하여, 유저 U1로부터의 거리 또는 시선에 따른 표시 Ef2를 투영시킴으로써 유저 U1에 대하여 연속적인 표시를 시인시킬 수 있다. 이러한 구성에 의하여, 다른 각도에서 표시를 시인한 다른 유저에 대해서는 파탄된 표시가 보이는 것이 되어서 표시의 의미를 이루지 못한다. 이와 같은 표시 방법을 이용함으로써, 소정의 공간 내의 물체의 수나 크기 형상에 관계없이 유저 U1에 대하여 시인성이 높은 표시를 시인시킬 수 있다.
도 14a에서는, 유저 U1과 대상 기기 Ob를 잇는 표시로서 선분의 일부에 곡선을 이용한 경우를 도시하고 있다. 유저 U1과 대상 기기 Ob를 직선의 선분으로 이은 경우, 차폐물 X1에 의하여 대상 기기 Ob와 유저 U1의 이어짐을 알기 어려울 가능성이 있다. 이 경우에는, 표시는, 차폐물 X1을 피하는 곡선으로서 작성되어도 된다. 단, 곡선의 시작점과 종료점은 각각 대상 기기 Ob, 유저 U1로 되도록 제어된다. 이에 따르면 시스템(1000)은, 표시의 시인성을 향상시키는 것이 가능하다. 또한 차폐물 X1에 의한 표시의 차폐의 영향이 커서 유저 U1에 대한 표시의 시인성이 현저히 낮은 경우에는, 예를 들어 유저 U1에 대하여 음성에 의한 제시를 표시 대신 또는 표시와 함께 행함으로써, 유저 U1이 대상 기기 Ob의 조작 권한을 갖고 있음을 유저 U1에게 인식시켜도 된다. 예를 들어 시스템(1000)은, 사운드 이펙트 등을 이용한 지향성이 있는 표현으로 유저 U1에게, 유저 U1이 대상 기기 Ob의 조작 권한을 갖고 있음을 인식시켜도 된다.
도 14b는, 대상 기기 Ob와 유저 U1을 잇는 직선의 선분 사이에 차폐 유저 U3이 있는 경우에, 차폐 유저 U3을 관통하는 직선 표시를 제어하는 경우를 도시하고 있다. 차폐 유저 U3을 관통하는 형태로 표시를 행함으로써, 유저 U1에 대한 표시의 시인성을 보다 직관적으로 향상시킬 수 있다.
도 14c는, 도 14a의 차폐물 X1이 차폐 유저 U4인 경우를 도시하고 있다. 차폐 유저 U4를 회피하는 표시를 행함으로써, 유저 U4가 잘못하여 조작 권한을 갖고 있다고 인식할 가능성을 낮게 할 수 있다.
도 14d는, 환경광에 따라 곡선 표시의 표시 제어를 행하는 경우를 도시하고 있다. 환경 정보에는, 소정의 공간에 있어서의 조도 정보가 포함되어 있으며, 시스템(1000)은 조도 정보에 기초하여 표시를 제어해도 된다. 예를 들어 태양광을 받고 있어서 조도가 높은 영역 Y에 표시를 투영하는 경우, 투영된 표시를 보기 어렵게 된다. 보기 어렵게 되는 것을 억제하기 위하여 보다 조도가 낮은 영역에 표시를 행해도 된다. 이에 따르면 시스템(1000)은, 유저 U1에 대한 표시의 시인성을 향상시킬 수 있다.
지금까지는 대상 기기 Ob가 하나인 경우에 관하여 설명하였지만, 대상 기기 Ob는 복수여도 된다. 도 15a는, 조작 대상 기기가 복수인 경우의 표시의 일례를 도시한 도면이다. 도 15a에서는 유저가, 복수의 대상 기기에 대하여 조작 권한을 갖는 경우, 선분 또는 곡선으로 대상 기기 사이를 잇도록 표시를 제어하고 있다. 예를 들어 도 15a에서는 유저 U1은, 대상 기기 Ob1 및 대상 기기 Ob2에 대하여 조작 권한을 갖고 있다. 이 경우, 대상 기기 Ob1과 대상 기기 Ob2가 선분 또는 곡선에 의하여 이어지도록 표시가 제어되어도 되고, 이어진 선분의 도중으로부터 갈라져 나오는 표시로 대상 기기 Ob1, 대상 기기 Ob2 및 유저 U1이 이어지도록 표시가 제어되어도 된다. 이러한 구성에 의하여, 조작 권한을 갖는 대상 기기가 복수이더라도, 유저 U1이 조작 권한을 갖고 있음을 유저 U1에게 제시할 수 있다.
도 15b는, 대상 기기 Ob가 복수 있는 경우에, 유저 U1과 대상 기기 Ob1 및 Ob2를 잇는 표시가 도 15a와 다른 일례를 도시한 도면이다. 대상 기기가 복수인 경우에, 각각의 대상 기기 Ob1 및 Ob2로부터 각각 유저 U1과 잇는 선분에 의하여 표시 제어를 행해도 된다. 이것에 의하여, 대상 기기 사이가 복수 인접해 있는 경우에 대상 기기 사이를 이음으로써, 표시가 중복될 가능성을 억제할 수 있어서 유저 U1에 대한 표시의 시인성이 향상된다.
<4.3. 스마트폰 또는 HMD에서 표시하는 경우>
여기까지는 프로젝터(1210) 및 대상 기기 Ob를 통하여 소정의 공간 내에 있어서의 표시가 제어되는 경우를 설명하였다. 단, 이들 표시는 스마트폰의 표시부를 통하여 제어되어도 되고, HMD(Head Mounted Display)의 표시부를 통하여 제어되어도 된다. 즉, 이들 표시는 스마트폰 또는 HMD 등의 가상 공간 상에서 표시 및 제어되어도 된다.
예를 들어 유저 U1이 스마트폰을 통하여 소정의 공간을 시인하는 경우, 시스템(1000)의 표시 제어부(1111)는 환경 정보, 유저 정보, 기기 정보에 기초하여 스마트폰의 표시부에 대하여 표시의 제어를 행해도 된다. 스마트폰을 보유하는 유저는, 조작 권한을 갖는 유저여도 되고 조작 권한을 갖지 않는 유저여도 된다. 표시 제어부(1111)는 환경 정보, 유저 정보, 기기 정보에 기초하여, 유저가 보고 있는 방향, 스마트폰의 위치 및 유저의 위치 정보에 따라 스마트폰의 표시부에 대하여 표시의 제어를 행해도 된다.
예를 들어 유저 U1이 장착하고 있는 HMD의 표시부를 통하여 소정의 공간을 시인하는 경우, 시스템(1000)의 표시 제어부(1111)는 스마트폰과 마찬가지로, 유저가 보고 있는 방향, 대상 기기의 위치, HMD의 위치 및 유저의 위치 정보에 따라 HMD의 표시부에 대하여 표시의 제어를 행해도 된다.
≪5. 변형예≫
<5.1. 조작 권한이 위양되는 경우>
여기까지는, 조작 권한을 가진 유저 U1이, 대상 기기 Ob가 선택되었음과, 조작 권한을 갖고 있는 것이 유저 U1임을 나타내는 표시를 표시 제어부(1111)가 제어하는 설명을 행하였다. 다음으로, 조작이 행해지기 전에 조작 권한이, 다른 유저에게 위양되는 경우를 설명한다.
조작 권한은, 조작 대상 기기 Ob가 조작되기 전에 위양되어도 된다. 예를 들어 유저 U1이 대상 기기를 선택하고, 대상 기기의 조작을 행하지 않고 유저 U2에게 조작 권한을 위양함으로써, 유저 U2가 조작 권한을 취득하여 대상 기기의 조작을 실행해도 된다. 도 16은, 조작 권한이 위양되는 개념도를 도시한 도면이다. 도 16에서는, 유저 U1이 대상 기기 Ob를 선택함으로써 자신 주변으로 대상 기기 Ob의 조작 화면 S를 끌어당긴다. 자신 주변으로 끌어당겨진 조작 화면 S 상에서 유저 U1이, 유저(2)의 방향으로 손을 미끄러뜨림으로써 조작 화면 S(즉, 대상 기기 Ob의 조작 권한)를 유저(2)의 주변으로 넘길 수 있다. 이 조작 화면 S의 위양이 이루어졌을 때, 예를 들어 유저 U1과 대상 기기 Ob를 잇고 있던 선분 Ef3은, 유저(2)과 대상 기기 Ob를 잇는 선분 Ef4로 전환되어도 된다.
도 17에서는 유저가 2명 있는 경우에 대하여 설명을 행하였지만, 소정의 공간 내에는 유저가 3명 이상 있어도 된다. 이 경우, 조작 화면 S 상의 손을 미끄러뜨리는 방향을 임의의 유저의 방향으로 미끄러뜨림으로써, 임의의 유저에게 대상 기기 Ob의 조작 권한을 위양할 수 있다.
이상에서는 조작 권한을 갖는 유저가 1명인 경우에 관하여 설명을 행하였다. 그러나 본 개시의 기술에서는, 조작 권한을 갖는 유저는 1명인 경우에 한하지 않으며 복수 명이어도 된다. 이때, 표시는, 복수의 유저에 대하여 방향성을 나타내는 표시여도 된다. 예를 들어 1 대상 기기에 대하여 복수의 유저가 조작 권한을 갖는 경우에, 복수의 유저에 대하여, 대상 기기의 위치로부터 조작 유저의 위치까지의 방향을 나타내는 표시여도 된다.
또한 조작 권한을 갖는 복수의 유저에 대한 표시는 각각 다른 표시여도 된다. 예를 들어 조작 권한을 갖는 제1 유저가 제2 유저보다도 조작 대상 기기의 근처에 있는 경우, 해당 대상 기기의 근방에서 표시를 행함으로써, 제1 유저에게 조작 권한이 있음을 나타낼 수 있다. 이때, 조작 권한을 갖는 제2 유저가 제1 유저보다도 조작 대상 기기로부터 멀리 떨어진 장소에 있는 경우, 제2 유저와 조작 대상 기기를 잇는 선분 또는 곡선 등의 연속성을 갖는 표시를 행함으로써, 제2 유저에게 조작 권한이 있음을 나타낼 수 있다. 이와 같이 표시는, 조작 권한을 갖는 복수의 유저에 대하여 다른 표시여도 된다.
조작 권한을 갖는 복수의 유저에 대하여 다른 표시는, 이 외에는, 대상 기기를 조작할 때 조작 권한을 갖고 있는 복수의 유저 중에서 조작의 서열이 있는 경우를 들 수 있다. 그 경우의 표시는, 제1 번째로 대상 기기를 조작 가능한 유저와 대상 기기를 잇는 선분 표시를 행하고, 해당 선분으로부터 갈라져 나오도록 제2 번째로 대상 기기를 조작 가능한 유저와 대상 기기를 잇는 선분 표시를 행하는 등, 조작 가능한 유저의 서열을 표현하는 표시여도 된다.
또한 표시 제어부(1111)는, 복수의 유저가 미리 설정한 표시 양태를 사용하여 표시 제어를 행해도 된다. 예를 들어 각 유저가 마음에 드는 표시 양태를 설정하고, 선분 표시가 설정된 유저에게는 선분 표시를 이용하고, 곡선 표시가 설정된 유저에게는 곡선 표시를 이용하는 등을 행함으로써, 표시 제어부(1111)는 각 유저에 따라 다른 표시를 행해도 된다.
<5.2. 대상 기기에 대한 조작이 인식 불능인 경우>
다음으로, 표시의 다양성에 관하여 설명한다. 여기까지는, 유저 U1의 트리거 동작을 검지하여 해석부(1115)가 해석을 행하고, 대상 기기 Ob와 조작 권한을 갖는 유저 U1을 특정하고, 대상 기기 Ob와 조작 권한을 갖는 유저 U1의 위치 정보에 기초하여 표시 제어부(1111)가 표시의 제어를 행하는 경우의 설명을 하였다.
여기서는, 트리거의 검지가 행해지기는 하였지만, 시스템(1000)에 있어서, 유저가 행하는 조작의 인식이 불능인 경우의 표시예에 대하여 설명한다. 구체적으로는, 해석부(1115)에서 1 이상의 대상 기기 및 유저 중에서 조작 유저 및 조작 대상 기기를 특정하기는 하였지만 그 후의 조작을 인식할 수 없는 경우를 들 수 있다. 이때, 표시는, 방향성을 갖지 않는 표시로 되어도 된다. 이와 같은 경우, 유저 U1은 대상 기기를 조작할 수 없기 때문에, 조작 권한을 확실히 갖고 있는 경우와 구별할 목적으로, 대상 기기와 유저 사이의 방향성을 갖지 않는 표시를 제시해도 된다. 도 17a 내지 도 17h에, 방향성을 갖지 않는 표시의 구체예를 도시한다.
도 17a는, 대상 기기 Ob의 근방, 특히 프레임부 전체 둘레의 근방에 걸쳐 표시의 투영을 행하고, 또한 해당 프레임부 상을 구슬 형상의 표시가 주위 회전 이동하는 표시의 투영을 행한 예이다. 주위 회전 이동하는 표시는, 방향성이 항시 이동하기 때문에 방향성을 갖지 않는 표현을 할 수 있다. 이 표시에 의하여 시스템(1000)은, 대상 기기에 대한 조작이 인식 불능임을 나타내도 된다.
도 17b는, 대상 기기 Ob의 표시부 상에 직경의 다른 타원 표현이 중첩된 표시를 행한 예이다. 각 타원은, 중심의 위치가 동 위치이며, 도 9b처럼 각 타원의 위치에서 방향성을 갖는 표현과는 다르다. 타원 표현에, 방향성을 갖게 하지 않는 표시를 행함으로써, 시스템(1000)은, 대상 기기에 대한 조작이 인식 불능임을 나타내도 된다.
도 17c는, 대상 기기 Ob의 표시부 상에 물음표 등의 특정 표시를 행한 예이다. 물음표 등의 특정 표시를 나타냄으로써 시스템(1000)은, 대상 기기에 대한 조작이 인식 불능임을 나타내도 된다. 표시는 물음표에 한하지 않으며, 유저로부터의 조작을 인식할 수 없음을 나타내는 내용이어도 된다.
도 17d에서는, 대상 기기 Ob의 프레임부의 전체 둘레에 걸쳐 표시가 투영되어 있다. 이 표시에 의하여 시스템(1000)은, 대상 기기에 대한 조작이 인식 불능임을 나타내도 된다.
도 17e는, 대상 기기 Ob의 근방에서, 대상 기기 Ob의 위치로부터 유저가 있는 위치까지의 방향이 아닌 방향으로 선분을 뻗게 하는 표시를 행한 예이다. 선분은 직선으로 해도 되고 곡선으로 해도 된다. 이와 같이, 조작 권한을 가질 수 있는 유저에 대하여, 선분을 뻗게 하지 않는 표시를 이용함으로써 시스템(1000)은, 대상 기기에 대한 조작이 인식 불능임을 나타내도 된다.
도 17f는, 대상 기기 Ob의 근방 또는 표시부의 표시 영역 상에서 파티클의 표시를 투영한 예이다. 해당 파티클은 편재하는 일 없이 대상 기기 Ob의 전체 둘레에 걸쳐 산재하고 있으며, 방향성을 갖지 않는 표시이다. 이와 같은 표시에 의하여 시스템(1000)은, 대상 기기에 대한 조작이 인식 불능임을 나타내도 된다.
도 17g에서는, 크기가 다른 타원이 대상 기기 Ob의 근방에서 대상 기기 Ob를 둘러싸도록 표시되어 있는 예이다. 도 9b와 같이 각 타원의 중심 위치가 다른 점에서, 방향성을 나타내는 표시와는 달리 도 17g에서는, 각 타원은 중심의 위치를 동일하게 하고 있으며, 방향성을 나타내지 않는다. 이와 같은 표시에 의하여 시스템(1000)은, 대상 기기에 대한 조작이 인식 불능임을 나타내도 된다.
도 17h는, 표시된 콘텐츠가 유저 U1을 향하여 도 9f와 같이 투사되지 않고, 대상 기기 Ob의 표시부로부터 이동하지 않는 표시가 행해진 예이다. 이와 같은 표시에 의하여 시스템(1000)은, 대상 기기에 대한 조작이 인식 불능임을 나타내도 된다.
이상과 같이 방향성을 나타내지 않는 표현으로서 구체예에서 설명을 행하였지만, 유저 U1에 대하여 방향성을 나타내지 않는 표현이면 어떠한 표시여도 되며, 이러한 예에 한정되지 않는다.
<5.3. 대상 기기가 어느 유저에 대하여 로크되어 있는 경우>
대상 기기가 어느 유저에 대하여 로크되어 있는 경우(조작 불가 상태로 되어 있는 경우), 도 9a 내지 도 9f에 도시한 바와 같은 방향성을 나타내는 표시에 더해, 로크 상태를 나타내는 키의 마크 등의 특정 표시를 부가하여 표시를 행해도 된다. 표시는, 도 9a 내지 도 9f에 도시한 바와 같은 방향성을 갖는 표시에 특정 표시가 부가된 표시여도 되고, 도 17a 내지 도 17h에 도시한 바와 같은 방향성을 갖지 않는 표시에 특정 표시가 부가된 표시여도 된다.
도 18a 내지 도 18h는, 유저 U1에 대하여, 대상 기기 Ob의 조작이 로크되어 있는 경우의 표시예를 도시하고 있다.
도 18a는, 도 9a에 도시하는 표시에 더해, 키 마크와 같은 특정 마크가 더 부가되는 예를 도시한 도면이다. 이 표시에 의하여 유저 U1에 대하여, 유저 U1이 선택한 대상 기기와 유저 U1이 선택을 행한 것, 그리고 대상 기기의 조작이 로크되어 있음을 나타내도 된다.
도 18b는, 도 9b에 나타내는 표시에 더해, 키 마크와 같은 특정 마크가 더 부가되는 예를 도시한 도면이다. 이 표시에 의하여 유저 U1에 대하여, 유저 U1이 선택한 대상 기기와 유저 U1이 선택을 행한 것, 그리고 대상 기기의 조작이 로크되어 있음을 나타내도 된다.
도 18c는, 도 9c에 나타내는 표시에 더해, 키 마크와 같은 특정 마크가 더 부가된 예를 도시한 도면이다. 이 표시에 의하여 유저 U1에 대하여, 유저 U1이 선택한 대상 기기와 유저 U1이 선택을 행한 것, 그리고 대상 기기의 조작이 로크되어 있음을 나타내도 된다.
도 18d는, 대상 기기 Ob의 하우징의 프레임부의 에지 개소에 표시를 투영함으로써, 에지 개소 방향으로 유저 U1이 있는 방향을 나타낸 표시의 예를 도시한 도면이다. 이 표시에 또한, 대상 기기 Ob의 표시부 상에, 키 마크와 같은 특정 마크를 부가함으로써, 유저 U1에 대하여, 유저 U1이 선택한 대상 기기와 유저 U1이 선택을 행한 것, 그리고 대상 기기의 조작이 로크되어 있음을 나타내도 된다.
도 18e는, 대상 기기 Ob와 유저 U1을 잇는 표시를 행함으로써, 유저 U1이 선택한 대상 기기와 유저 U1이 선택을 행한 것을 도시한 도면이다. 그 표시에 더해, 키 마크와 같은 특정 마크를 더 부가함으로써, 유저 U1에 대하여, 유저 U1이 선택한 대상 기기와 유저 U1이 선택을 행한 것, 그리고 대상 기기의 조작이 로크되어 있음을 나타내도 된다.
도 18f는, 도 9d에 나타내는 표시에 더해, 파티클과 중첩시켜 키 마크와 같은 특정 마크를 더 부가한 표시를 도시한 도면이다. 이 표시에 의하여 유저 U1에 대하여, 유저 U1이 선택한 대상 기기와 유저 U1이 선택을 행한 것, 그리고 대상 기기의 조작이 로크되어 있음을 나타내도 된다.
도 18g는, 도 9e에 더해, 키 마크와 같은 특정 마크를 더 부가한 표시를 도시한 도면이다. 이 표시에 의하여 유저 U1에 대하여, 유저 U1이 선택한 대상 기기와 유저 U1이 선택을 행한 것, 그리고 대상 기기의 조작이 로크되어 있음을 나타내도 된다.
도 18h는, 도 9f에 더해, 키 마크와 같은 특정 마크를 더 부가시킨 표시를 도시한 도면이다. 이 표시에 의하여 유저 U1에 대하여, 유저 U1이 선택한 대상 기기와 유저 U1이 선택을 행한 것, 그리고 대상 기기의 조작이 로크되어 있음을 나타내도 된다.
도 19a는, 도 18a 내지 도 18h가, 유저 U1에 대하여 방향성을 나타내는 표시인 데 비해, 유저 U1에 대하여 방향성을 나타내지 않고, 대상 기기 Ob가 로크되어 있음을 나타내는 일례이다. 도 19a에서는, 대상 기기 Ob의 표시부 상에 키 마크와 같은 특정 표시를 행하고 있으며, 이 표시에 의하여, 대상 기기 Ob의 조작이 로크되어 있음을 나타내도 된다.
도 19b는, 도 19a와 마찬가지로, 유저에 대하여 방향성을 나타내지 않고, 대상 기기 Ob가 로크되어 있음을 나타내는 일례이다. 도 19b에서는, 대상 기기 Ob가 표시부를 갖지 않기 때문에, 대상 기기 Ob의 근방을 둘러싸는 표시에 더해, 키 마크와 같은 특정 표시를 행하고 있으며, 이 표시에 의하여, 대상 기기 Ob의 조작이 로크되어 있음을 나타내도 된다.
여기서는 특정 마크로서 키 마크를 일례로 들었지만, 유저 U1이 로크되어 있음을 파악할 수 있으면 이러한 예에 한정되지 않는다. 예를 들어 문자 등의 표시를 행해도 된다.
≪6. 하드웨어 구성예≫
끝으로, 도 20을 참조하여, 본 실시 형태에 따른 정보 처리 장치의 하드웨어 구성에 대하여 설명한다. 도 20은, 본 실시 형태에 따른 정보 처리 장치의 하드웨어 구성의 일례를 도시하는 블록도이다. 또한 도 20에 도시하는 정보 처리 장치(900)는, 예를 들어 도 3에 도시한 정보 처리 장치(1100)를 실현할 수 있다. 본 실시 형태에 따른 정보 처리 장치(1100)에 의한 정보 처리는, 소프트웨어와, 이하에 설명하는 하드웨어의 협동에 의하여 실현된다.
도 20에 도시한 바와 같이 정보 처리 장치(900)는 CPU(Central Processing Unit)(901), ROM(Read Only Memory)(902), RAM(Random Access Memory)(903) 및 호스트 버스(904a)를 구비한다. 또한 정보 처리 장치(900)는 브리지(904), 외부 버스(904b), 인터페이스(905), 입력 장치(906), 표시 장치(907), 스토리지 장치(908), 드라이브(909), 접속 포트(911) 및 통신 장치(913)를 구비한다. 정보 처리 장치(900)는 CPU(901) 대신, 또는 이와 함께 전기 회로, DSP 혹은 ASIC 등의 처리 회로를 가져도 된다.
CPU(901)는, 연산 처리 장치 및 제어 장치로서 기능하며, 각종 프로그램에 따라 정보 처리 장치(900) 내의 동작 전반을 제어한다. 또한 CPU(901)는 마이크로프로세서여도 된다. ROM(902)은, CPU(901)가 사용하는 프로그램이나 연산 파라미터 등을 기억한다. RAM(903)은, CPU(901)의 실행에 있어서 사용하는 프로그램이나, 그 실행에 있어서 적당히 변화되는 파라미터 등을 일시 기억한다. CPU(901)는, 예를 들어 도 3에 도시하는 검출부(1120) 및 제어부(1110)를 형성할 수 있다.
CPU(901), ROM(902) 및 RAM(903)은, CPU 버스 등을 포함하는 호스트 버스(904a)에 의하여 상호 간에 접속되어 있다. 호스트 버스(904a)는 브리지(904)를 통하여 PCI(Peripheral Component Interconnect/Interface) 버스 등의 외부 버스(904b)에 접속되어 있다. 또한 반드시 호스트 버스(904a), 브리지(904) 및 외부 버스(904b)를 분리 구성할 필요는 없으며, 하나의 버스에 이들 기능을 실장해도 된다.
입력 장치(906)는, 예를 들어 마우스, 키보드, 터치 패널, 버튼, 마이크로폰, 스위치 및 레버 등, 유저에 의하여 정보가 입력되는 장치에 의하여 실현된다. 또한 입력 장치(906)는, 예를 들어 적외선이나 그 외의 전파를 이용한 리모트 컨트롤 장치여도 되고, 정보 처리 장치(900)의 조작에 대응한 휴대 전화나 PDA 등의 외부 접속 기기여도 된다. 또한, 입력 장치(906)는, 예를 들어 상기 입력 수단을 이용하여 유저에 의하여 입력된 정보에 기초하여 입력 신호를 생성하여 CPU(901)에 출력하는 입력 제어 회로 등을 포함하고 있어도 된다. 정보 처리 장치(900)의 유저는 이 입력 장치(906)를 조작함으로써 정보 처리 장치(900)에 대하여 각종 데이터를 입력하거나 처리 동작을 지시하거나 할 수 있다.
표시 장치(907)는, 취득한 정보를 유저에 대하여 시각적 또는 청각적으로 통지하는 것이 가능한 장치로 형성된다. 이와 같은 장치로서, CRT 디스플레이 장치, 액정 디스플레이 장치, 플라스마 디스플레이 장치, EL 디스플레이 장치, 레이저 프로젝터, LED 프로젝터 및 램프 등의 표시 장치나, 스피커 및 헤드폰 등의 음성 출력 장치 등이 있다. 표시 장치(907)는, 예를 들어 정보 처리 장치(900)가 행한 각종 처리에 의하여 얻어진 결과를 출력한다. 구체적으로는 표시 장치(907)는, 정보 처리 장치(900)가 행한 각종 처리에 의하여 얻어진 결과를 텍스트, 이미지, 표, 그래프 등 다양한 형식으로 시각적으로 표시한다. 한편, 음성 출력 장치를 이용하는 경우에는, 재생된 음성 데이터나 음향 데이터 등으로 이루어지는 오디오 신호를 아날로그 신호로 변환하여 청각적으로 출력한다.
스토리지 장치(908)는, 정보 처리 장치(900)의 기억부의 일례로서 형성된 데이터 저장용 장치이다. 스토리지 장치(908)는, 예를 들어 HDD 등의 자기 기억부 디바이스, 반도체 기억 디바이스, 광 기억 디바이스, 또는 광 자기 기억 디바이스 등에 의하여 실현된다. 스토리지 장치(908)는, 기억 매체, 기억 매체에 데이터를 기록하는 기록 장치, 기억 매체로부터 데이터를 판독하는 판독 장치, 및 기억 매체에 기록된 데이터를 삭제하는 삭제 장치 등을 포함해도 된다. 이 스토리지 장치(908)는, CPU(901)가 실행하는 프로그램이나 각종 데이터, 및 외부로부터 취득한 각종 데이터 등을 저장한다. 스토리지 장치(908)는, 예를 들어 도 3에 도시하는 기억부(1140)를 형성할 수 있다.
드라이브(909)는 기억 매체용 리더라이터이며, 정보 처리 장치(900)에 내장 혹은 외장된다. 드라이브(909)는, 장착되어 있는 자기 디스크, 광 디스크, 광 자기 디스크, 또는 반도체 메모리 등의 리무버블 기억 매체에 기록되어 있는 정보를 판독하여 RAM(903)에 출력한다. 또한 드라이브(909)는 리무버블 기억 매체에 정보를 기입할 수도 있다.
접속 포트(911)는 외부 기기와 접속되는 인터페이스이며, 예를 들어 USB(Universal Serial Bus) 등에 의하여 데이터 전송 가능한 외부 기기와의 접속구이다. 접속 포트(911)는, 예를 들어 도 3에 도시하는 I/F부(1130)를 형성할 수 있다. 그리고 접속 포트(911)는, 도 3에 도시하는 표시 장치(1200) 및 센서 장치(1300)에 접속된다.
통신 장치(913)는, 예를 들어 네트워크(920)에 접속하기 위한 통신 디바이스 등으로 형성된 통신 인터페이스이다. 통신 장치(913)는, 예를 들어 유선 혹은 무선 LAN(Local Area Network), LTE(Long Term Evolution), Bluetooth(등록 상표), 또는 WUSB(Wireless USB)용의 통신 카드 등이다. 또한 통신 장치(913)는 광 통신용 라우터, ADSL(Asymmetric Digital Subscriber Line)용 라우터 또는 각종 통신용 모뎀 등이어도 된다. 이 통신 장치(913)는, 예를 들어 인터넷이나 다른 통신 기기와의 사이에서, 예를 들어 TCP/IP 등의 소정의 프로토콜에 의거하여 신호 등을 송수신할 수 있다. 통신 장치(913)는, 예를 들어 도 3에 도시하는 I/F부(1130)를 형성할 수 있다. 그리고 통신 장치(913)는, 도 3에 도시하는 표시 장치(1200) 및 센서 장치(1300)와 통신할 수 있다.
또한 네트워크(920)는, 네트워크(920)에 접속되어 있는 장치로부터 송신되는 정보의 유선 또는 무선 전송로이다. 예를 들어 네트워크(920)는, 인터넷, 전화 회선망, 위성 통신망 등의 공중 회선망이나, Ethernet(등록 상표)을 포함하는 각종LAN(Local Area Network), WAN(Wide Area Network) 등을 포함해도 된다. 또한 네트워크(920)는 IP-VPN(Internet Protocol-Virtual Private Network) 등의 전용 회선망을 포함해도 된다.
또한 정보 처리 장치(1100)에 내장되는 CPU, ROM 및 RAM 등의 하드웨어를 상술한 본 실시 형태에 따른 정보 처리 장치(1100)의 각 구성과 동등한 기능을 발휘시키기 위한 컴퓨터 프로그램도 작성 가능하다. 또한 해당 컴퓨터 프로그램을 기억시킨 기록 매체도 제공된다.
≪7. 정리≫
이상, 도 1 내지 도 20을 참조하여 본 개시의 일 실시 형태에 대하여 상세히 설명하였다. 상기 설명한 바와 같이 본 실시 형태에 따른 시스템(1000)은, 소정의 공간 내에 있어서의 대상 기기의 위치 정보 및 유저의 위치 정보에 기초하여, 대상 기기 및 유저의 위치 관계에 따른 표시를 행한다. 이것에 의하여, 대상 기기의 조작 권한을 갖는 유저와 대상 기기를 조작 전에 시인하는 것이 가능해진다.
이상, 첨부 도면을 참조하면서 본 개시의 적합한 실시 형태에 대하여 상세히 설명하였지만, 본 개시의 기술적 범위는 이러한 예에 한정되지 않는다. 본 개시의 기술 분야에 있어서의 통상의 지식을 갖는 자이면, 특허 청구의 범위에 기재된 기술적 사상의 범주 내에 있어서, 각종 변경예 또는 수정예에 상도할 수 있음은 명백하며, 이들에 대해서도 당연히 본 개시의 기술적 범위에 속하는 것으로 이해된다.
또한 본 명세서에 있어서 설명한 각 장치는 단독의 장치로서 실현되어도 되고, 일부 또는 전부가 제각각의 장치로서 실현되어도 된다. 예를 들어 도 3에 도시한 정보 처리 장치(1100), 표시 장치(1200) 및 센서 장치(1300)는 단독의 장치로서 구성되어도 된다. 또한, 예를 들어 도 3에 도시한 정보 처리 장치(1100)가, 표시 장치(1200) 및 센서 장치(1300)와 네트워크 등으로 접속된 서버 장치로서 구성되어도 된다. 또한, 예를 들어 도 3에 도시한 정보 처리 장치(1100)의 기능 구성예 중, 제어부(1110)가, I/F부(1130), 검출부(1120)와 네트워크 등으로 접속된 서버 등의 장치에 구비되어 있어도 된다.
또한 본 명세서에 있어서 플로 차트를 이용하여 설명한 처리는, 반드시 도시된 순서로 실행되지 않아도 된다. 몇몇 처리 스텝은 병렬적으로 실행되어도 된다. 또한 추가적인 처리 스텝이 채용되어도 되고 일부의 처리 스텝이 생략되어도 된다.
또한 본 명세서에 기재된 효과는 어디까지나 설명적 또는 예시적인 것이며 한정적이지는 않다. 즉, 본 개시에 따른 기술은, 상기 효과와 함께, 또는 상기 효과 대신, 본 명세서의 기재로부터 당업자에게는 명확한 다른 효과를 발휘할 수 있다.
또한 이하와 같은 구성도 본 개시의 기술적 범위에 속한다.
(1)
소정의 실 공간 내에 있어서의 대상 기기의 위치 정보와, 상기 대상 기기의 조작 권한을 갖는 유저의 위치 정보에 기초하여, 상기 유저와 상기 대상 기기의 위치 관계에 따른 표시를 상기 실 공간 내에서 상기 유저가 시인 가능하도록 제어하는 표시 제어부를 구비하는, 정보 처리 장치.
(2)
상기 표시 제어부는 상기 대상 기기의 선택에 기초하여, 상기 유저와 상기 대상 기기에 대하여 상호 간에 관련지어진 상기 표시를 제어하는, 상기 (1)에 기재된 정보 처리 장치.
(3)
상기 표시는, 상기 대상 기기의 위치로부터 상기 유저의 위치까지의 방향을 나타내는 표시인, 상기 (1) 또는 (2)에 기재된 정보 처리 장치.
(4)
상기 표시는, 상기 조작 권한을 갖지 않는 다른 유저보다도 상기 유저에 대한 시인성이 높은 표시인, 상기 (1) 내지 (3) 중 어느 한 항에 기재된 정보 처리 장치.
(5)
상기 표시는, 상기 유저와 상기 대상 기기를 잇는 선분 또는 곡선인, 상기 (1) 내지 (4) 중 어느 한 항에 기재된 정보 처리 장치.
(6)
상기 대상 기기는 표시부를 구비하고,
상기 표시 제어부는 상기 표시를 상기 표시부에 표시시키는, 상기 (1) 내지 (5) 중 어느 한 항에 기재된 정보 처리 장치.
(7)
상기 표시 제어부는 상기 표시를 투영 장치에 의하여 투영시키는, 상기 (1) 내지 (5) 중 어느 한 항에 기재된 정보 처리 장치.
(8)
상기 투영 장치는, 투영 방향을 변경 가능한 가동부를 구비하고,
상기 표시 제어부는 상기 투영 장치의 투영 방향을 변경시킴으로써 상기 표시의 투영 장소를 변경하는, 상기 (7)에 기재된 정보 처리 장치.
(9)
상기 표시 제어부는, 상기 실 공간에 관한 환경 정보에 기초하여 상기 투영 장소를 결정하는, 상기 (8)에 기재된 정보 처리 장치.
(10)
상기 환경 정보는, 상기 실 공간 내의 휘도, 색, 소리, 또는 상기 실 공간을 형성하는 물체에 관한 뎁스 정보를 포함하는, 상기 (9)에 기재된 정보 처리 장치.
(11)
상기 표시 제어부는, 상기 조작 권한을 갖는 상기 유저와 상기 대상 기기를 잇는 직선, 및 상기 조작 권한을 갖지 않는 다른 유저와 상기 대상 기기를 잇는 직선이 이루는 각도에 의하여 상기 표시를 변경하는, 상기 (1) 내지 (10) 중 어느 한 항에 기재된 정보 처리 장치.
(12)
상기 각도가 소정의 각도보다 큰 경우, 상기 표시는 상기 대상 기기의 근방 또는 상기 대상 기기에 중첩되어 표시되고, 상기 각도가 소정의 각도보다 작은 경우, 상기 표시는, 상기 유저와 상기 대상 기기를 잇는 선분 또는 곡선으로 표시되는, 상기 (11)에 기재된 정보 처리 장치.
(13)
상기 표시 제어부는, 상기 대상 기기의 상기 표시부에서 표시되는 콘텐츠의 표시 범위가 상기 표시부의 표시 영역을 점유하는 영역의 비율에 따라, 상기 표시를 상기 표시부의 표시 영역 내에 표시시킬지 상기 표시 영역의 외측에 표시시킬지의 선택을 행하는, 상기 (6)에 기재된 정보 처리 장치.
(14)
상기 표시를 상기 표시 영역의 외측에 표시시키는 경우, 투영 장치에 의하여 투영시키는, 상기 (13)에 기재된 정보 처리 장치.
(15)
상기 대상 기기의 선택은, 소정의 공간 내에 있어서의 유저의 제스처, 음성 입력 중 적어도 어느 것에 의하여 행해지는, 상기 (2)에 기재된 정보 처리 장치.
(16)
상기 유저가 상기 조작 권한을 복수의 상기 대상 기기에 대하여 갖는 경우, 상기 선분 또는 상기 곡선은, 상기 대상 기기 사이를 잇는 선분 또는 곡선을 더 포함하는, 상기 (5)에 기재된 정보 처리 장치.
(17)
상기 표시 제어부는, 상기 조작 권한이 상기 유저로부터 다른 유저에게 위양된 경우에, 상기 대상 기기의 위치로부터 상기 유저가 있는 위치까지의 방향을 나타내는 표시를, 상기 다른 유저가 있는 방향을 나타내는 표시로 변경하는, 상기 (5)에 기재된 정보 처리 장치.
(18)
상기 표시 제어부는 상기 표시를 상기 대상 기기의 하우징과 중첩시키도록, 또는 상기 대상 기기의 하우징의 근방에 투영시키는, 상기 (8)에 기재된 정보 처리 장치.
(19)
소정의 실 공간 내에 있어서의 대상 기기의 위치 정보와, 상기 대상 기기의 조작 권한을 갖는 유저의 위치 정보에 기초하여, 상기 유저와 상기 대상 기기의 위치 관계에 따른 표시를 상기 실 공간 내에서 상기 유저가 시인 가능하도록 제어하는 것을 포함하는, 정보 처리 방법.
(20)
컴퓨터를,
소정의 실 공간 내에 있어서의 대상 기기의 위치 정보와, 상기 대상 기기의 조작 권한을 갖는 유저의 위치 정보에 기초하여, 상기 유저와 상기 대상 기기의 위치 관계에 따른 표시를 상기 실 공간 내에서 상기 유저가 시인 가능하도록 제어하는 표시 제어부로서 기능시키기 위한 프로그램을 기록한, 기록 매체.
1000: 시스템
1100: 정보 처리 장치
1110: 제어부
1111: 표시 제어부
1115: 해석부
1120: 검출부
1121: 유저 검출부
1123: 트리거 검출부
1125: 환경 검출부
1126: 기기 검출부
1130: I/F부
1140: 기억부
1200: 표시 장치
1300: 센서 장치

Claims (20)

  1. 소정의 실 공간 내에 있어서의 대상 기기의 위치 정보와, 상기 대상 기기의 조작 권한을 갖는 유저의 위치 정보에 기초하여, 상기 유저와 상기 대상 기기의 위치 관계에 따른 표시를 상기 실 공간 내에서 상기 유저가 시인 가능하도록 제어하는 표시 제어부를 구비하는, 정보 처리 장치.
  2. 제1항에 있어서,
    상기 표시 제어부는 상기 대상 기기의 선택에 기초하여, 상기 유저와 상기 대상 기기에 대하여 상호 간에 관련지어진 상기 표시를 제어하는, 정보 처리 장치.
  3. 제1항에 있어서,
    상기 표시는, 상기 대상 기기의 위치로부터 상기 유저의 위치까지의 방향을 나타내는 표시인, 정보 처리 장치.
  4. 제1항에 있어서,
    상기 표시는, 상기 조작 권한을 갖지 않는 다른 유저보다도 상기 유저에 대한 시인성이 높은 표시인, 정보 처리 장치.
  5. 제1항에 있어서,
    상기 표시는, 상기 유저와 상기 대상 기기를 잇는 선분 또는 곡선인, 정보 처리 장치.
  6. 제1항에 있어서,
    상기 대상 기기는 표시부를 구비하고,
    상기 표시 제어부는 상기 표시를 상기 표시부에 표시시키는, 정보 처리 장치.
  7. 제1항에 있어서,
    상기 표시 제어부는 상기 표시를 투영 장치에 의하여 투영시키는, 정보 처리 장치.
  8. 제7항에 있어서,
    상기 투영 장치는, 투영 방향을 변경 가능한 가동부를 구비하고,
    상기 표시 제어부는 상기 투영 장치의 투영 방향을 변경시킴으로써 상기 표시의 투영 장소를 변경하는, 정보 처리 장치.
  9. 제8항에 있어서,
    상기 표시 제어부는, 상기 실 공간에 관한 환경 정보에 기초하여 상기 투영 장소를 결정하는, 정보 처리 장치.
  10. 제9항에 있어서,
    상기 환경 정보는, 상기 실 공간 내의 휘도, 색, 소리, 또는 상기 실 공간을 형성하는 물체에 관한 뎁스 정보를 포함하는, 정보 처리 장치.
  11. 제1항에 있어서,
    상기 표시 제어부는, 상기 조작 권한을 갖는 상기 유저와 상기 대상 기기를 잇는 직선, 및 상기 조작 권한을 갖지 않는 다른 유저와 상기 대상 기기를 잇는 직선이 이루는 각도에 의하여 상기 표시를 변경하는, 정보 처리 장치.
  12. 제11항에 있어서,
    상기 각도가 소정의 각도보다 큰 경우, 상기 표시는 상기 대상 기기의 근방 또는 상기 대상 기기에 중첩되어 표시되고, 상기 각도가 소정의 각도보다 작은 경우, 상기 표시는, 상기 유저와 상기 대상 기기를 잇는 선분 또는 곡선으로 표시되는, 정보 처리 장치.
  13. 제6항에 있어서,
    상기 표시 제어부는, 상기 대상 기기의 상기 표시부에서 표시되는 콘텐츠의 표시 범위가 상기 표시부의 표시 영역을 점유하는 영역의 비율에 따라, 상기 표시를 상기 표시부의 표시 영역 내에 표시시킬지 상기 표시 영역의 외측에 표시시킬지의 선택을 행하는, 정보 처리 장치.
  14. 제13항에 있어서,
    상기 표시를 상기 표시 영역의 외측에 표시시키는 경우, 투영 장치에 의하여 투영시키는, 정보 처리 장치.
  15. 제2항에 있어서,
    상기 대상 기기의 선택은, 소정의 공간 내에 있어서의 유저의 제스처, 음성 입력 중 적어도 어느 것에 의하여 행해지는, 정보 처리 장치.
  16. 제5항에 있어서,
    상기 유저가 상기 조작 권한을 복수의 상기 대상 기기에 대하여 갖는 경우, 상기 선분 또는 상기 곡선은, 상기 대상 기기 사이를 잇는 선분 또는 곡선을 더 포함하는, 정보 처리 장치.
  17. 제5항에 있어서,
    상기 표시 제어부는, 상기 조작 권한이 상기 유저로부터 다른 유저에게 위양된 경우에, 상기 대상 기기의 위치로부터 상기 유저가 있는 위치까지의 방향을 나타내는 표시를, 상기 다른 유저가 있는 방향을 나타내는 표시로 변경하는, 정보 처리 장치.
  18. 제8항에 있어서,
    상기 표시 제어부는 상기 표시를 상기 대상 기기의 하우징과 중첩시키도록, 또는 상기 대상 기기의 하우징의 근방에 투영시키는, 정보 처리 장치.
  19. 소정의 실 공간 내에 있어서의 대상 기기의 위치 정보와, 상기 대상 기기의 조작 권한을 갖는 유저의 위치 정보에 기초하여, 상기 유저와 상기 대상 기기의 위치 관계에 따른 표시를 상기 실 공간 내에서 상기 유저가 시인 가능하도록 제어하는 것을 포함하는, 정보 처리 방법.
  20. 컴퓨터를,
    소정의 실 공간 내에 있어서의 대상 기기의 위치 정보와, 상기 대상 기기의 조작 권한을 갖는 유저의 위치 정보에 기초하여, 상기 유저와 상기 대상 기기의 위치 관계에 따른 표시를 상기 실 공간 내에서 상기 유저가 시인 가능하도록 제어하는 표시 제어부로서 기능시키기 위한 프로그램을 기록한, 기록 매체.
KR1020207015915A 2017-12-15 2018-10-05 정보 처리 장치, 정보 처리 방법 및 기록 매체 KR20200099523A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017240512A JP6693495B2 (ja) 2017-12-15 2017-12-15 情報処理装置、情報処理方法及び記録媒体
JPJP-P-2017-240512 2017-12-15
PCT/JP2018/037291 WO2019116692A1 (ja) 2017-12-15 2018-10-05 情報処理装置、情報処理方法及び記録媒体

Publications (1)

Publication Number Publication Date
KR20200099523A true KR20200099523A (ko) 2020-08-24

Family

ID=66819117

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207015915A KR20200099523A (ko) 2017-12-15 2018-10-05 정보 처리 장치, 정보 처리 방법 및 기록 매체

Country Status (6)

Country Link
US (1) US11221684B2 (ko)
EP (1) EP3726355A4 (ko)
JP (1) JP6693495B2 (ko)
KR (1) KR20200099523A (ko)
CN (1) CN111448541A (ko)
WO (1) WO2019116692A1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013205983A (ja) 2012-03-27 2013-10-07 Sony Corp 情報入力装置及び情報入力方法、並びにコンピューター・プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2421252A1 (en) * 2010-08-17 2012-02-22 LG Electronics Display device and control method thereof
WO2012117508A1 (ja) * 2011-02-28 2012-09-07 株式会社Pfu 情報処理装置、方法およびプログラム
US9723293B1 (en) 2011-06-21 2017-08-01 Amazon Technologies, Inc. Identifying projection surfaces in augmented reality environments
KR101885295B1 (ko) * 2011-12-26 2018-09-11 엘지전자 주식회사 전자기기 및 그 제어방법
US9542544B2 (en) * 2013-11-08 2017-01-10 Microsoft Technology Licensing, Llc Correlated display of biometric identity, feedback and user interaction state
CN105850116A (zh) * 2013-12-27 2016-08-10 索尼公司 控制装置、控制方法和计算机程序
KR102211123B1 (ko) * 2014-07-23 2021-02-02 삼성전자주식회사 디스플레이 드라이버, 디스플레이 시스템 및 디스플레이 드라이버의 동작방법
JP2016099732A (ja) * 2014-11-19 2016-05-30 セイコーエプソン株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
EP3279790B1 (en) * 2015-03-31 2020-11-11 Sony Corporation Information processing device, control method, and program
KR102594792B1 (ko) * 2016-09-30 2023-10-30 엘지디스플레이 주식회사 유기발광표시장치 및 그 제어방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013205983A (ja) 2012-03-27 2013-10-07 Sony Corp 情報入力装置及び情報入力方法、並びにコンピューター・プログラム

Also Published As

Publication number Publication date
JP6693495B2 (ja) 2020-05-13
EP3726355A1 (en) 2020-10-21
US11221684B2 (en) 2022-01-11
CN111448541A (zh) 2020-07-24
JP2019109578A (ja) 2019-07-04
US20210165503A1 (en) 2021-06-03
WO2019116692A1 (ja) 2019-06-20
EP3726355A4 (en) 2021-02-17

Similar Documents

Publication Publication Date Title
US11561519B2 (en) Systems and methods of gestural interaction in a pervasive computing environment
US10528154B2 (en) System for projecting content to a display surface having user-controlled size, shape and location/direction and apparatus and methods useful in conjunction therewith
US10572073B2 (en) Information processing device, information processing method, and program
JP6968154B2 (ja) 制御システムならびに制御処理方法および装置
US11373650B2 (en) Information processing device and information processing method
US20160306422A1 (en) Virtual reality system with a finger-wearable control
US20170236492A1 (en) Information processing apparatus and control method
US10564712B2 (en) Information processing device, information processing method, and program
US10672187B2 (en) Information processing apparatus and information processing method for displaying virtual objects in a virtual space corresponding to real objects
US10268277B2 (en) Gesture based manipulation of three-dimensional images
US20220057922A1 (en) Systems and interfaces for location-based device control
WO2018163637A1 (ja) 情報処理装置、情報処理方法及び記録媒体
JP7294350B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JPWO2019069575A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP2009282637A (ja) 表示方法および表示装置
JP6693495B2 (ja) 情報処理装置、情報処理方法及び記録媒体
WO2017033544A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US11216179B2 (en) Information processing apparatus and information processing method
US20200401031A1 (en) Information processing apparatus, information processing method, and recording medium
WO2019082520A1 (ja) 情報処理装置、情報処理方法、およびプログラム
KR20200101912A (ko) 정보 처리 장치, 정보 처리 방법, 및 기록 매체

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right