KR20190096988A - 정보 처리 장치, 정보 처리 방법, 및 프로그램 - Google Patents

정보 처리 장치, 정보 처리 방법, 및 프로그램 Download PDF

Info

Publication number
KR20190096988A
KR20190096988A KR1020197016051A KR20197016051A KR20190096988A KR 20190096988 A KR20190096988 A KR 20190096988A KR 1020197016051 A KR1020197016051 A KR 1020197016051A KR 20197016051 A KR20197016051 A KR 20197016051A KR 20190096988 A KR20190096988 A KR 20190096988A
Authority
KR
South Korea
Prior art keywords
sensory stimulus
output
stimulus
user
unit
Prior art date
Application number
KR1020197016051A
Other languages
English (en)
Other versions
KR102469574B1 (ko
Inventor
츠요시 이시카와
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20190096988A publication Critical patent/KR20190096988A/ko
Application granted granted Critical
Publication of KR102469574B1 publication Critical patent/KR102469574B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Abstract

감각 자극의 출력에 관한 제어 내용에 적응한 화상의 표시를 제어하는 것이 가능한, 정보 처리 장치, 정보 처리 방법, 및 프로그램을 제안한다. 유저에 대하여 감각 자극을 출력하는 제1 출력부에 대한 제어 정보에 따른 화상의 표시를 제어하는 출력 제어부를 구비하는 정보 처리 장치.

Description

정보 처리 장치, 정보 처리 방법, 및 프로그램
본 개시는, 정보 처리 장치, 정보 처리 방법, 및 프로그램에 관한 것이다.
종래, 예를 들어 진동 등의 촉각 자극을 유저에게 제시하기 위한 기술이 각종 제안되어 있다.
예를 들어, 하기 특허문헌 1에는, 가상 공간에 있어서 2개의 오브젝트가 접촉한 상태에서 상대적으로 오브젝트가 이동된 경우에, 오브젝트의 접촉면의 조도 정보에 따라서, 음성 또는 촉각 자극의 출력을 제어하는 기술이 기재되어 있다.
일본 특허 공개 제2015-170174호 공보
그러나, 특허문헌 1에 기재된 기술에서는, 음성 또는 촉각 자극의 출력에 관한 제어 내용이 상이한 경우라도, 표시되는 영상은 변화되지 않는다.
따라서, 본 개시에서는, 감각 자극의 출력에 관한 제어 내용에 적응한 화상의 표시를 제어하는 것이 가능한, 신규이면서도 개량된 정보 처리 장치, 정보 처리 방법, 및 프로그램을 제안한다.
본 개시에 의하면, 유저에 대하여 감각 자극을 출력하는 제1 출력부에 대한 제어 정보에 따른 화상의 표시를 제어하는 출력 제어부를 구비하는, 정보 처리 장치가 제공된다.
또한, 본 개시에 의하면, 유저에 대하여 감각 자극을 출력하는 제1 출력부에 대한 제어 정보에 따른 화상의 표시를 프로세서가 제어하는 것을 포함하는, 정보 처리 방법이 제공된다.
또한, 본 개시에 의하면, 컴퓨터를, 유저에 대하여 감각 자극을 출력하는 제1 출력부에 대한 제어 정보에 따른 화상의 표시를 제어하는 출력 제어부로서 기능시키기 위한, 프로그램이 제공된다.
이상 설명한 바와 같이 본 개시에 의하면, 감각 자극의 출력에 관한 제어 내용에 적응한 화상의 표시를 제어할 수 있다. 또한, 여기에 기재된 효과는 반드시 한정되는 것은 아니고, 본 개시 중에 기재된 어느 효과여도 된다.
도 1은 본 개시의 실시 형태에 의한 정보 처리 시스템의 구성예를 도시한 설명도이다.
도 2는 도 1에 도시한 유저(2)의 정면의 외관의 일례를 도시한 도면이다.
도 3은 동 실시 형태에 의한 정보 처리 장치(10)의 구성예를 도시한 기능 블록도이다.
도 4는 오리지널의 온도와 실제의 온도의 관계의 일례를 나타낸 그래프이다.
도 5는 가상 오브젝트에 대하여 유저가 접촉하였다고 판정되었을 때의 부가 화상의 표시예를 도시한 도면이다.
도 6은 소정의 가상 오브젝트가 HMD(20e)에 의해 표시되었을 때의 부가 화상의 표시예를 도시한 도면이다.
도 7은 가상 오브젝트에 대하여 유저가 접촉하였다고 판정되었을 때의 부가 화상의 다른 표시예를 도시한 도면이다.
도 8은 가상 오브젝트에 대하여 유저가 접촉하였다고 판정되었을 때의 부가 화상의 다른 표시예를 도시한 도면이다.
도 9는 가상 오브젝트에 대하여 유저가 접촉하였다고 판정되었을 때의 부가 화상의 다른 표시예를 도시한 도면이다.
도 10은 동 실시 형태에 의한 처리의 흐름의 일부를 나타낸 흐름도이다.
도 11은 동 실시 형태에 의한 처리의 흐름의 일부를 나타낸 흐름도이다.
도 12는 동 실시 형태에 의한 처리의 흐름의 변형예의 일부를 나타낸 흐름도이다.
도 13은 동 실시 형태에 의한 정보 처리 장치(10)의 하드웨어 구성예를 도시한 설명도이다.
이하에 첨부 도면을 참조하면서, 본 개시의 적합한 실시 형태에 대하여 상세하게 설명한다. 또한, 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 갖는 구성 요소에 대해서는, 동일한 번호를 부여함으로써 중복 설명을 생략한다.
또한, 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 갖는 복수의 구성 요소를, 동일한 부호 뒤에 상이한 알파벳을 붙여 구별하는 경우도 있다. 예를 들어, 실질적으로 동일한 기능 구성을 갖는 복수의 구성 요소를, 필요에 따라서 자극 출력부(20a) 및 자극 출력부(20b)와 같이 구별한다. 단, 실질적으로 동일한 기능 구성을 갖는 복수의 구성 요소의 각각을 특별히 구별할 필요가 없는 경우, 동일 부호만을 부가한다. 예를 들어, 자극 출력부(20a) 및 자극 출력부(20b)를 특별히 구별할 필요가 없는 경우에는, 간단히 자극 출력부(20)라 칭한다.
또한, 이하에 나타내는 항목 순서에 따라서 당해 「발명을 실시하기 위한 형태」를 설명한다.
1. 정보 처리 시스템의 구성
2. 실시 형태의 상세한 설명
3. 하드웨어 구성
4. 변형예
<<1. 정보 처리 시스템의 구성>>
먼저, 본 개시의 실시 형태에 의한 정보 처리 시스템의 구성에 대하여, 도 1을 참조하여 설명한다. 도 1에 도시한 바와 같이, 본 실시 형태에 의한 정보 처리 시스템은, 정보 처리 장치(10), 복수의 종류의 자극 출력부(20), 및 통신망(22)을 갖는다.
<1-1. 자극 출력부(20)>
자극 출력부(20)는, 본 개시에 있어서의 제1 출력부 및 제2 출력부의 일례이다. 자극 출력부(20)는, 예를 들어 소정의 감각을 유저에게 제시하기 위한 디바이스일 수 있다. 예를 들어, 자극 출력부(20)는, 후술하는 정보 처리 장치(10)로부터 수신되는 출력 제어 정보에 따라서, 피부 감각, 시각, 청각, 및/또는, 후각에 관한 자극을 출력한다. 여기서, 피부 감각은, 예를 들어 촉각, 압각, 온냉각, 및 통각을 포함할 수 있다. 또한, 이하에서는, 피부 감각에 관한 자극을 촉각 자극이라 칭한다. 예를 들어, 자극 출력부(20)는 (촉각 자극으로서) 진동을 발생시키거나, 열을 발생시킬 수 있다.
{1-1-1. 촉각 자극부(20a 내지 20c)}
예를 들어, 도 1에 도시한 바와 같이, 자극 출력부(20)는, 촉각 자극부(20a)(액추에이터를 구비한 글러브 등), 및 촉각 자극부(20b)(액추에이터를 구비한 재킷 등)를 포함할 수 있다.
도 1에 도시한 바와 같이, 촉각 자극부(20a) 및 촉각 자극부(20b)는, 유저(예를 들어 유저의 손이나 동체 등)에 장착될 수 있다. 이 경우, 촉각 자극부(20)는, 촉각 자극부(20)가 장착되어 있는 부위에 대하여 촉각 자극을 출력할 수 있다. 예를 들어, 후술하는 HMD(20e)에 의해 오브젝트가 표시되고, 또한, 당해 오브젝트에 대하여 유저가 접촉하였다고 판정되는 경우에는, 촉각 자극부(20)는, 정보 처리 장치(10)로부터 수신되는 출력 제어 정보에 따라서, 당해 오브젝트에 유저가 접촉한 것에 대한 피드백(또는 응답)으로서 촉각 자극을 출력한다.
도 2는 도 1에 도시한 유저(2)의 정면의 외관의 일례를 도시한 도면이다. 도 2에 도시한 바와 같이, 촉각 자극부(20b)는, 복수의 액추에이터(200)를 포함할 수 있다. 이 경우, 개개의 액추에이터(200)는, 예를 들어 정보 처리 장치(10)로부터 수신되는 출력 제어 정보에 따라서, 촉각 자극(진동 등)을 출력할 수 있다. 이에 의해, 유저(2)는, 촉각 자극부(20b)에 의해 제시되는 촉각, 역각, 온냉각, 또는, 통각을 느낄 수 있다.
또한, 도 1에 도시한 바와 같이, 자극 출력부(20)는, 촉각 자극부(20c)(선풍기나 에어 컨디셔너 등)를 포함할 수 있다. 촉각 자극부(20c)는, 예를 들어 정보 처리 장치(10)로부터 수신되는 출력 제어 정보에 따라서, 바람을 발생시킬 수 있다. 여기서, 바람은 촉각 자극의 일례이다. 또한, 이하에서는, 촉각 자극부(20a) 내지 촉각 자극부(20c)를 총칭하여 촉각 자극부(20)라 칭하는 경우가 있다.
{1-1-2. 후각 자극부(20d)}
또한, 도 1에 도시한 바와 같이, 자극 출력부(20)는, 후각 자극부(20d)를 포함할 수 있다. 후각 자극부(20d)는, 향기(냄새)를 발생시킬 수 있다. 여기서, 향기는, 후각에 관한 자극의 일례이다.
{1-1-3. HMD(20e)}
또한, 도 1에 도시한 바와 같이, 자극 출력부(20)는, HMD(Head Mounted Display)(20e)를 포함할 수 있다. HMD(20e)는, 예를 들어 도 1에 도시한 바와 같은 헤드부 장착형 디바이스이다. HMD(20e)는, 표시부 및 음성 출력부를 포함할 수 있다.
HMD(20e)는, 차폐형 헤드 마운트 디스플레이여도 되고, 투과형 헤드 마운트 디스플레이여도 된다. 예를 들어, HMD(20e)는, 광학 시스루형 디바이스일 수 있다. 이 경우, HMD(20e)는, 좌안용 렌즈 및 우안용 렌즈(또는, 고글형 렌즈)와 표시부를 가질 수 있다. 그리고, 당해 표시부는, 좌안용 렌즈 및 우안용 렌즈의 각각 적어도 일부의 영역(또는, 고글형 렌즈의 적어도 일부의 영역)을 투영면으로 하여 영상을 투영할 수 있다.
또는, HMD(20e)는, 비디오 시스루형 디바이스일 수 있다. 이 경우, HMD(20e)는, HMD(20e)의 장착 시의 유저의 전방을 촬영하는 카메라와, 당해 카메라에 의해 촬영된 영상을 표시하는 표시부를 가질 수 있다. 예를 들어, HMD(20e)는, 당해 카메라에 의해 촬영된 영상을 당해 표시부에 순차적으로 표시할 수 있다. 이에 의해, 유저는, 당해 표시부에 표시되는 영상을 통해, 유저의 전방의 풍경을 볼 수 있다. 또한, 당해 표시부는, 예를 들어 액정 디스플레이(LCD : Liquid Crystal Display)나, OLED(Organic Light Emitting Diode) 등에 의해 구성될 수 있다.
이 HMD(20e)는, 예를 들어 정보 처리 장치(10)로부터 수신되는 출력 제어 정보에 따라서, 영상을 표시하거나, 음성을 출력하는 것이 가능하다. 여기서, 영상은 시각에 관한 자극의 일례이며, 또한, 음성은 청각에 관한 자극의 일례이다.
예를 들어, HMD(20e)는, 정보 처리 장치(10)로부터 수신되는 출력 제어 정보에 따라서, 오브젝트를 포함하는 영상을 표시한다. 여기서, 오브젝트는, 가상 오브젝트, 또는, 실제 오브젝트를 포함한다. 또한, 오브젝트가 실제 오브젝트인 경우에는, 실제 오브젝트가 촬영된 화상이 HMD(20e)에 의해 표시될 수 있다. 또한, 예를 들어 실제 오브젝트가 촬영된 화상에 대한 화상 인식의 결과에 기초하여, 당해 실제 오브젝트의 속성 정보(예를 들어 오브젝트의 종류, 당해 화상 내에서의 오브젝트의 사이즈, 또는, 오브젝트의 텍스처 정보 등)가 특정될 수 있다.
또한, 가상 오브젝트는, 예를 들어 CG(Computer Graphics)에 의해 생성되는 3D 데이터나, 실제 오브젝트의 센싱 결과로부터 얻어지는 3D 데이터 등을 포함한다. 또한, 이하에서는, 오브젝트가 가상 오브젝트인 예를 중심으로 하여 설명을 행한다.
{1-1-4. 유저의 움직임의 센싱}
또한, 자극 출력부(20)(예를 들어 촉각 자극부(20a), 촉각 자극부(20b), 및 HMD(20e) 등)는, 예를 들어 가속도 센서나 자이로스코프 등의 각종 센서를 가질 수 있다. 이 경우, 자극 출력부(20)는, 유저의 신체의 움직임(예를 들어 손의 움직임 등)을 센싱하는 것이 가능하다. 또한, 자극 출력부(20)는, 센싱 결과를 당해 유저의 모션 정보로서 통신망(22)을 통해 정보 처리 장치(10)에 송신하는 것이 가능하다. 또한, HMD(20e)에 카메라가 설치되는 경우, 당해 카메라는 유저의 신체(예를 들어 손 등)의 화상을 촬영하고, 그리고, HMD(20e)는, 촬영된 화상을 정보 처리 장치(10)로 송신하는 것도 가능하다.
<1-2. 정보 처리 장치(10)>
정보 처리 장치(10)는, 본 개시에 있어서의 정보 처리 장치의 일례이다. 정보 처리 장치(10)는, 예를 들어 후술하는 통신망(22)을 통해, 자극 출력부(20)의 동작을 제어한다. 예를 들어, 정보 처리 장치(10)는, VR(Virtual Reality)이나 AR(Augmented Reality)의 어플리케이션에 관한 영상을 HMD(20e)에 표시시킨다. 또한, 정보 처리 장치(10)는, 소정의 타이밍(예를 들어 HMD(20e)에 의한 영상의 표시시 등)에 소정의 촉각 자극을 촉각 자극부(20a)에 출력시킨다.
여기서, 정보 처리 장치(10)는, 예를 들어 서버, 범용 PC(Personal Computer), 태블릿형 단말기, 게임기, 스마트폰 등의 휴대 전화, 휴대형 음악 플레이어, 또는, 로봇 등일 수 있다. 또한, 도 1에서는, 정보 처리 장치(10)가 1대만 도시되어 있지만, 이러한 예에 한정되지 않고, 복수대의 컴퓨터가 협동하여 동작함으로써, 본 실시 형태에 의한 정보 처리 장치(10)의 기능이 실현되어도 된다.
<1-3. 통신망(22)>
통신망(22)은, 통신망(22)에 접속되어 있는 장치로부터 송신되는 정보의 유선, 또는 무선의 전송로이다. 예를 들어, 통신망(22)은, 전화 회선망, 인터넷, 위성 통신망 등의 공중 회선망이나, Ethernet(등록 상표)을 포함하는 각종 LAN(Local Area Network), WAN(Wide Area Network) 등을 포함해도 된다. 또한, 통신망(22)은, IP-VPN(Internet Protocol-Virtual Private Network) 등의 전용 회선망을 포함해도 된다.
또한, 본 실시 형태에 의한 정보 처리 시스템은, 전술한 예에 한정되지 않는다. 예를 들어, 유저가 위치하는 실공간 내에는 음성 출력부(20)(스피커 등)가 또한 설치되어도 되고, 또는, 유저는 음성 출력부(20)(스테레오 폰이나 이어폰 등)를 더 장착해도 된다. 이 경우, 음성 출력부(20)는, (HMD(20e) 대신에, 또는, HMD(20e)와 함께) 정보 처리 장치(10)로부터 수신되는 출력 제어 정보에 따라서, 음성을 출력할 수 있다.
<1-4. 과제의 정리>
이상, 본 실시 형태에 의한 정보 처리 시스템의 구성에 대하여 설명하였다. 그런데, 종래, 원하는 피부 감각을 유저에게 제시하기 위한 기술이 연구되었다. 그러나, 제시되는 피부 감각의 정도에 따라서는, 인체에 위험성이 발생할 수 있다. 예를 들어, 제시되는 온도가 고온인 경우에는 유저가 화상을 입거나, 또한, 제시되는 압이 강한 경우에는 유저가 부상을 입을 우려가 있다.
또한, 다른 과제로서, 대상의 유저에 따라서, 상이한 강도의 감각을 제시 가능한 것이 요망된다. 예를 들어, 대상의 유저가 어린이인 경우와 전문 오퍼레이터인 경우에서는, 상이한 강도의 감각(피부 감각 등)을 제시 가능한 것이 요망된다.
따라서, 상기 사정을 일 착안점으로 하여, 본 실시 형태에 의한 정보 처리 장치(10)를 창작하기에 이르렀다. 정보 처리 장치(10)는, HMD(20e)에 의해 표시되는 가상 오브젝트에 따른 오리지널의 감각 자극을, 소정의 기준에 기초하여 결정되는 변환 방법을 사용하여 변환하고, 그리고, 변환 후의 감각 자극을 자극 출력부(20)에 출력시키는 것이 가능하다. 이 때문에, 적절한 정도의 감각 자극을 유저에게 제시할 수 있다.
또한, 정보 처리 장치(10)는, 자극 출력부(20)에 대한, 감각 자극의 출력에 관한 제어 정보에 따른 부가 화상의 표시를 제어하는 것이 가능하다. 이에 의해, 감각 자극의 출력에 관한 제어 내용에 적응한 부가 화상의 표시를 제어할 수 있다. 여기서, 부가 화상은, 본 개시에 있어서의 화상의 일례이다.
<<2. 실시 형태의 상세한 설명>>
<2-1. 구성>
다음에, 본 실시 형태에 의한 정보 처리 장치(10)의 구성에 대하여 상세하게 설명한다. 도 3은 본 실시 형태에 의한 정보 처리 장치(10)의 구성예를 도시한 기능 블록도이다. 도 3에 도시한 바와 같이, 정보 처리 장치(10)는, 제어부(100), 통신부(120), 및 기억부(122)를 갖는다.
{2-1-1. 제어부(100)}
제어부(100)는, 예를 들어 후술하는 CPU(Central Processing Unit)(150)나 GPU(Graphics Processing Unit) 등의 처리 회로를 포함하여 구성될 수 있다. 제어부(100)는, 정보 처리 장치(10)의 동작을 통괄적으로 제어한다. 또한, 도 3에 도시한 바와 같이, 제어부(100)는, 정보 취득부(102), 판정부(104), 및 출력 제어부(106)를 갖는다.
{2-1-2. 정보 취득부(102)}
(2-1-2-1. 모션 정보의 취득)
정보 취득부(102)는, 유저의 모션 정보를 취득한다. 예를 들어, 모션 정보가 촉각 자극부(20)에 의해 센싱되는 경우에는, 정보 취득부(102)는, 촉각 자극부(20)로부터 수신되는 모션 정보를 취득한다. 또는, 유저가 장착하는 다른 센서(예를 들어 HMD(20e)에 설치되어 있는 카메라 등)나, 당해 유저가 위치하는 실공간 내에 설치된 다른 센서(카메라 등)에 의한 센싱 결과가 수신되는 경우에는, 정보 취득부(102)는, 당해 센싱 결과를 해석(예를 들어 화상 인식 등)하고, 그리고, 해석 결과를 당해 유저의 모션 정보로서 취득해도 된다.
예를 들어, 정보 취득부(102)는, HMD(20e)에 가상 오브젝트가 표시되고 있을 때의, 당해 가상 오브젝트에 대한 유저의 모션 정보를 촉각 자극부(20)로부터 취득한다. 일례로서, 정보 취득부(102)는, HMD(20e)에 표시되고 있는 가상 오브젝트에 대하여 유저가 접촉하는 동작의 센싱 결과를 당해 모션 정보로서 자극 출력부(20)로부터 취득한다.
(2-1-2-2. 가상 오브젝트의 속성 정보의 취득)
또한, 정보 취득부(102)는, HMD(20e)에 의해 표시되고 있는 가상 오브젝트의 속성 정보를 취득한다. 예를 들어, 가상 오브젝트별 속성 정보가 미리 제작자에 의해 정해지고, 그리고, 가상 오브젝트와 속성 정보가 관련지어져 오브젝트 DB(124)에 등록될 수 있다. 이 경우, 정보 취득부(102)는, HMD(20e)에 의해 표시되고 있는 가상 오브젝트의 속성 정보를 오브젝트 DB(124)로부터 취득할 수 있다.
여기서, 오브젝트 DB(124)는, 예를 들어 가상 오브젝트의 식별 정보와 가상 오브젝트의 속성 정보를 관련지어 저장하는 데이터베이스이다. 또한, 속성 정보는, 예를 들어 가상 오브젝트가 포함하는 개개의 면에 관련지어져 있는 텍스처의 정보(예를 들어 텍스처의 종류 등)를 포함할 수 있다. 또한, 텍스처의 정보는, 제작자에 의해 제작되어도 되고, 또는, 당해 가상 오브젝트에 대응하는 실제 오브젝트가 촬영된 화상에 대한 화상 인식에 기초하여 특정되어도 된다. 여기서, 화상 인식은, 예를 들어 기계 학습이나 딥 러닝 등의 방법을 사용하여 행해질 수 있다.
{2-1-3. 판정부(104)}
(2-1-3-1. 유저의 움직임의 판정)
판정부(104)는, HMD(20e)에 의해 표시되고 있는 가상 오브젝트에 대한 유저의 움직임을, 정보 취득부(102)에 의해 취득된 모션 정보에 기초하여 판정한다. 예를 들어, 판정부(104)는, HMD(20e)에 의해 표시되고 있는 가상 오브젝트에 대하여 유저가 접촉 또는 근접하였는지 여부(예를 들어 접촉하였는지 여부)를 취득된 모션 정보에 기초하여 판정한다. 일례로서, 판정부(104)는, 당해 가상 오브젝트에 포함되는 각 면과 유저의 신체의 거리에 기초하여, 당해 가상 오브젝트에 유저가 접촉하였는지 여부를 판정한다. 예를 들어, 당해 가상 오브젝트에 포함되는 어느 면과, 유저의 신체의 거리가 소정의 역치 이내인 경우에는, 판정부(104)는, 당해 가상 오브젝트의 당해 면에 유저가 접촉하였다고 판정한다. 또한, 당해 가상 오브젝트에 포함되는 모든 면과 유저의 신체의 거리가 소정의 역치보다도 큰 경우에는, 판정부(104)는, 당해 가상 오브젝트에 유저가 접촉하지 않았다고 판정한다.
또한, 당해 가상 오브젝트에 유저가 접촉하였다고 판정한 경우에는, 판정부(104)는, 추가로 당해 가상 오브젝트에 대한 유저의 접촉 방식을 판정한다. 여기서, 유저의 접촉 방식은, 예를 들어 접촉하는 강도, 접촉하는 속도, 및 접촉하는 방향 등을 포함한다.
(2-1-3-2. 오리지널의 감각 자극의 특정)
또한, 판정부(104)는 추가로, HMD(20e)에 의해 표시되고 있는 가상 오브젝트에 따라서, 오리지널의 감각 자극(즉 본래의 감각 자극)의 정보를 특정하는 것이 가능하다. 예를 들어, 가상 오브젝트와 오리지널의 감각 자극(예를 들어 시각, 청각, 또는, 후각에 관한 자극 등)의 정보가 관련지어져, 소정의 테이블에 저장될 수 있다. 이 경우, 판정부(104)는, HMD(20e)에 의해 현재 표시되고 있는 가상 오브젝트별로, 당해 가상 오브젝트와, 당해 소정의 테이블에 기초하여, 오리지널의 감각 자극의 정보를 특정할 수 있다. 여기서, 오리지널의 감각 자극의 정보는, 예를 들어 감각 자극의 종류나, 감각 자극의 강도(예를 들어 휘도나 음량 등) 등을 포함할 수 있다. 또한, 소정의 테이블은, 오브젝트 DB(124)여도 된다.
또한, HMD(20e)에 의해 표시되고 있는 가상 오브젝트에 유저가 접촉하였다고 판정한 경우에는, 판정부(104)는, 당해 가상 오브젝트에 대한 유저의 접촉 방식에 따라서, 오리지널의 촉각 자극의 정보를 특정하는 것이 가능하다. 예를 들어, 텍스처의 정보와 오리지널의 촉각 자극의 정보가 관련지어져, 소정의 테이블에 저장될 수 있다. 이 경우, 판정부(104)는, 먼저, HMD(20e)에 의해 표시되고 있는 가상 오브젝트에 포함되는 면 중, 유저가 접촉하였다고 판정되는 면의 텍스처 정보를 특정할 수 있다. 그리고, 판정부(104)는, 특정 면의 텍스처 정보와, 당해 면에 대한 유저의 접촉 방식과, 당해 소정의 테이블에 기초하여, 오리지널의 촉각 자극의 정보를 특정할 수 있다. 또한, 소정의 테이블은, 오브젝트 DB(124)여도 된다.
- 변형예 1
또한, 변형예로서, 텍스처 정보와 오리지널의 피부 감각의 정보는 관련지어져 있지 않아도 된다. 이 경우, 정보 처리 장치(10)(제어부(100))는, 먼저, HMD(20e)에 의해 표시되고 있는 가상 오브젝트에 포함되는 면마다, 당해 면의 텍스처 정보에 관련지어져 있는 소리 데이터를 취득하고, 그리고, 취득한 소리 데이터와 공지의 기술에 기초하여 오리지널의 피부 감각의 정보를 동적으로 생성해도 된다. 또한, 통신망(22)에 접속된 다른 장치(도시 생략) 또는 기억부(122)에 있어서, 개개의 텍스처 정보와 소리 데이터는 관련지어져 저장될 수 있다.
- 변형예 2
또한, 다른 변형예로서, 가상 오브젝트와 오리지널의 감각(예를 들어 피부 감각, 시각, 청각 또는, 후각)의 정보가 관련지어져, 소정의 테이블에 저장되어도 된다. 이 경우, 판정부(104)는, HMD(20e)에 의해 현재 표시되고 있는 가상 오브젝트별로, 당해 가상 오브젝트와, 당해 소정의 테이블에 기초하여, 오리지널의 감각의 정보를 특정해도 된다. 그리고, 판정부(104)는, 특정한 오리지널의 감각에 대응하는 감각 자극을, 오리지널의 감각 자극으로서 특정해도 된다.
{2-1-4. 출력 제어부(106)}
(2-1-4-1. 가상 오브젝트의 표시 제어)
출력 제어부(106)는, 예를 들어 가상 오브젝트를 포함하는 영상의 표시를 HMD(20e)에 대하여 제어한다. 예를 들어, 출력 제어부(106)는, 당해 영상을 표시시키기 위한 표시 제어 정보를 HMD(20e)로 통신부(120)에 송신시킨다.
(2-1-4-2. 감각 자극의 출력 제어)
또한, 출력 제어부(106)는, 자극 출력부(20)에 대한 감각 자극의 출력을 제어한다. 예를 들어, 출력 제어부(106)는, 먼저, 소정의 감각 자극을 출력시키기 위한 출력 제어 정보를 생성하고, 그리고, 당해 소정의 감각 자극을 출력 가능한 자극 출력부(20)로 당해 출력 제어 정보를 통신부(120)에 송신시킨다. 일례로서, HMD(20e)에 표시되고 있는 가상 오브젝트에 유저가 접촉하였다고 판정부(104)에 의해 판정된 경우에는, 출력 제어부(106)는, 당해 가상 오브젝트에 유저가 접촉한 것에 대한 피드백(또는 응답)에 상당하는 촉각 자극을 촉각 자극부(20)에 출력시키기 위한 출력 제어 정보를 생성한다.
(2-1-4-3. 감각 자극의 변환)
여기서, 출력 제어 정보는, HMD(20e)에 의해 표시되고 있는 가상 오브젝트에 따른 오리지널의 감각 자극의 정보가 소정의 변환 방법에 기초하여 변환(억제 또는 강화)된 감각 자극(이하, 실제의 감각 자극이라 칭함)을 자극 출력부(20)에 출력시키기 위한 정보일 수 있다. 즉, 출력 제어 정보는 감각 자극의 출력량을 포함한다고 간주되어도 된다. 또한, 오리지널의 감각 자극은, 본 개시에 있어서의 제1 감각 자극의 일례이며, 또한, 실제의 감각 자극은, 본 개시에 있어서의 제2 감각 자극의 일례이다. 또한, 오리지널의 감각 자극에 대응하는 감각과, 실제의 감각 자극에 대응하는 감각은, 기본적으로 동일한 종류일 수 있다.
예를 들어, 출력 제어부(106)는, 먼저, HMD(20e)에 의해 표시되고 있는 각 가상 오브젝트에 관한 오리지널의 감각 자극의 변환 방법을 소정의 기준에 기초하여 동적으로 결정한다. 그리고, 출력 제어부(106)는, 가상 오브젝트별로, 판정부(104)에 의해 특정된 오리지널의 감각 자극의 정보를, 결정된 변환 방법에 기초하여 변환함으로써, 실제의 감각 자극의 정보를 결정한다. 그리고, 출력 제어부(106)는, 당해 실제의 감각 자극을 자극 출력부(20)에 출력시키기 위한 출력 제어 정보를 생성한다.
- 유저의 프로파일
여기서, 소정의 기준은, 유저의 프로파일을 포함할 수 있다. 프로파일은, 예를 들어 연령, 성별, 조작의 숙련도(전문 오퍼레이터인지 여부나, 이용 횟수 등), 및 감각 자극(촉각 자극 등)에 대한 내성을 나타내는 정보 등을 포함할 수 있다. 예를 들어, 유저가 전문 오퍼레이터인 경우에는, 출력 제어부(106)는, 오리지널의 감각 자극을 그대로 실제의 감각 자극으로서 결정해도 된다. 또한, 유저가 어린이인 경우에는, 출력 제어부(106)는, 오리지널의 감각 자극의 정도가 소정의 변환식에 기초하여 억제된 감각 자극을 실제의 감각 자극으로서 결정해도 된다.
또는, 유저의 정보와 변환식이 관련지어져 소정의 데이터베이스(도시 생략)에 등록될 수 있다. 이 경우, 출력 제어부(106)는, 먼저, 해당의 유저에 관련지어져 소정의 데이터베이스에 등록되어 있는 변환식을 추출하고, 그리고, 오리지널의 감각 자극의 정보를 당해 변환식에 기초하여 변환함으로써 실제의 감각 자극을 결정해도 된다.
- 콘텍스트 정보
또한, 소정의 기준은, 가상 오브젝트의 표시 시의 콘텍스트 정보를 포함할 수 있다. 여기서, 당해 콘텍스트 정보는, HMD(20e)에 의해 표시되고 있는 영상에 대응하는 어플리케이션에 관한 유저의 이용 상황을 나타내는 정보여도 된다. 예를 들어, 보다 정확하게 피부 감각을 재현하는 것을 유저가 원하는 상황임을 당해 콘텍스트 정보가 나타내는 경우에는, 출력 제어부(106)는, 오리지널의 감각 자극을 거의 변경하지 않고 실제의 감각 자극으로서 결정해도 된다. 또한, 특정 범위 내의 피부 감각에 관하여 보다 상세하게 정보를 얻는 것을 유저가 원하는 상황임을 당해 콘텍스트 정보가 나타내는 경우에는, 출력 제어부(106)는, 당해 특정 범위를, 당해 특정 범위보다도 넓은 범위로 맵핑함으로써, (오리지널의 촉각 자극에 대응하는) 오리지널의 피부 감각의 정도를 변환하고, 그리고, 변환 후의 피부 감각에 대응하는 촉각 자극을 실제의 촉각 자극으로서 결정해도 된다.
또는, 당해 콘텍스트 정보는, 당해 어플리케이션에 관하여 설정되어 있는 이용 모드를 나타내는 정보여도 된다. 여기서, 이용 모드는, 예를 들어 검사 모드 및 통상 모드를 포함할 수 있다. 또한, 검사 모드는, 예를 들어 식품 가공 시의 오일의 온도 등을 원격지에서 검사하는 장면이나, 당해 검사를 가상적으로 체험하는 장면 등에서 이용될 수 있다. 예를 들어, 이용 모드가 검사 모드로 설정되어 있는 경우에는, 출력 제어부(106)는, 오리지널의 감각 자극(예를 들어 열 등)을 그대로 실제의 감각 자극으로서 결정해도 된다. 또한, 이용 모드가 통상 모드인 경우에는, 출력 제어부(106)는, 오리지널의 감각 자극의 정도가 소정의 변환식에 기초하여 억제된 감각 자극을 실제의 감각 자극으로서 결정해도 된다.
- 오리지널의 감각 자극의 정도
또한, 소정의 기준은, 오리지널의 감각 자극의 정도가 소정의 역치 이상인 것을 포함할 수 있다. 예를 들어 VR의 카 레이스 게임이나 스포츠 게임 등에 있어서 심한 충돌이 발생한 경우나, 게임에 있어서 총에 맞은 경우 등에는, 이들의 이벤트에 대응하는 오리지널의 압각이 그대로 유저에게 제시되면, 유저가 부상을 입어 버릴 우려가 있다. 따라서, 압각에 관한 오리지널의 자극의 정도가 소정의 역치 이상인 경우에는, 출력 제어부(106)는, 인체에 영향이 없는 범위 내의 압각이 제시되도록 당해 오리지널의 자극을 억제하고, 그리고, 억제 후의 자극을 (실제의 촉각 자극으로서) 촉각 자극부(20)(예를 들어 도 1에 도시한 촉각 자극부(20b))에 출력시킨다. 이에 의해, 게임으로서 즐길 수 있는 범위 내의 피부 감각을 유저에게 제시할 수 있다.
또한, 가상 오브젝트에 관련지어져 있는 휘도가 소정의 역치 이상인 경우나, 당해 가상 오브젝트에 관련지어져 있는 음량(예를 들어, 가상 공간 내의 스피커로부터 출력되는 음량 등)이 소정의 역치 이상인 경우에는, 오리지널의 휘도나 오리지널의 음량이 그대로 유저에게 제시되면, 유저에게 있어서 유해가 될 수 있다. 따라서, 이들의 경우에는, 출력 제어부(106)는, 당해 가상 오브젝트에 관련지어져 있는 오리지널의 휘도나 오리지널의 음량(만)을 인체에 영향이 없는 범위 내의 값이 되도록 각각 억제하는 것이 가능하다. 즉, 출력 제어부(106)는, 표시부의 휘도나 음성 출력부(20)가 출력하는 음량을 전체로서 유지하면서, 가상 오브젝트 각각의 휘도나 관련되는 음량을 독립적으로 제어하는 것이 가능하다. 그리고, 출력 제어부(106)는, 억제 후의 휘도로 당해 가상 오브젝트를 HMD(20e)에 표시시키거나, 또한, 억제 후의 음량을 음성 출력부(20)에 출력시키는 것이 가능하다. 또한, 유저의 편리성을 향상시키기 위해, 독립적으로 제어되는 가상 오브젝트의 파라미터는 가상 오브젝트의 종류별로 그룹화되어도 된다. 가상 오브젝트의 종류는, 예를 들어 "발광체"나 "무기(특히 총화기)" 등과 같이, 감각 자극의 종류나 감각 자극의 강도에 따라서 그룹화되는 것이 바람직하다.
- 변환 방법의 구체예
여기서, 감각 자극의 변환 방법의 구체예에 대하여, 도 4를 참조하여 설명한다. 도 4는 HMD(20e)에 의해 표시되고 있는 가상 오브젝트에 유저가 접촉하였을 때의, 접촉한 위치에 대응하는 오리지널의 온도와, 당해 오리지널의 온도가 변환된 온도(실제의 온도)의 관계의 일례를 나타낸 그래프이다. 도 4에 도시한 예에서는, 오리지널의 온도가 80℃ 이상 100℃ 이하인 경우에는, 출력 제어부(106)는, 비선형 변환식을 사용하여 오리지널의 온도를, 20℃ 이상 80℃ 이하의 온도로 변환하고, 그리고, 변환 후의 온도에 대응하는 촉각 자극을 실제의 촉각 자극으로서 결정한다. 또한, 오리지널의 온도가 100℃보다도 큰 경우에는, 출력 제어부(106)는, 「80℃」에 대응하는 촉각 자극을 실제의 촉각 자극으로서 (획일적으로) 결정한다. 이 변환예에 의하면, 특정 범위(즉 「80℃ 이상 100℃ 이하」)의 온도 변화에 관해서, 유저는, 보다 상세하게 정보를 얻을 수 있다. 또한, 제시되는 온도의 상한값(「80℃」)이 설정되므로, 예를 들어 전문 오퍼레이터가 아닌 유저가 가상 오브젝트에 접촉하였을 때의 안전성을 확보할 수 있다.
(2-1-4-4. 부가 화상의 표시 제어)
또한, 출력 제어부(106)는, 자극 출력부(20)에 대한 감각 자극의 출력 제어 정보에 따른 부가 화상의 표시를 제어하는 것이 가능하다. 여기서, 당해 부가 화상은, 오리지널의 감각 자극의 정도를 나타내는 제1 표시, 및 오리지널의 감각 자극을 변환(억제 또는 강화)하고 있음을 나타내는 문자열이나 화상을 포함할 수 있다. 또한, 당해 부가 화상은, (자극 출력부(20)에 의해 출력되고 있는) 실제의 감각 자극의 정도를 나타내는 제2 표시를 더 포함할 수 있다. 여기서, 감각 자극의 정도란, 예를 들어 감각 자극의 강도의 레벨(정도)이나, 감각 자극의 강도의 값일 수 있다. 또는, 당해 부가 화상은, 오리지널의 감각 자극과 실제의 감각 자극의 차이의 정도(예를 들어, 차이의 레벨, 차이의 값, 또는, 오리지널의 감각 자극의 정도에 대한 실제의 감각 자극의 정도의 비율(퍼센티지) 등)를 나타내는 표시를 더 포함해도 된다.
예를 들어, 출력 제어부(106)는, HMD(20e)에 있어서의 가상 오브젝트의 표시 위치와 관련지어 당해 부가 화상을 HMD(20e)에 표시시킨다. 일례로서, 출력 제어부(106)는, 당해 가상 오브젝트의 표시 위치의 부근에 당해 부가 화상을 HMD(20e)에 표시시킨다. 또는, HMD(20e)에 표시되고 있는 가상 오브젝트에 유저가 접촉하였다고 판정된 경우에는, 출력 제어부(106)는, 당해 가상 오브젝트 내의, 접촉하였다고 판정된 위치와 관련지어 부가 화상을 HMD(20e)에 표시시킨다. 또한, 가상 오브젝트와 부가 화상의 대응 관계를 유저가 인식 가능하도록 당해 부가 화상이 라벨링되어 있으면, 가상 오브젝트와 부가 화상의 위치 관계는 특별히 제한되지 않는 것으로 간주해도 된다.
- 표시예 1
도 5는 HMD(20e)에 의해 표시되는 영상(40) 내의 가상 오브젝트(50)(가상의 프라이팬)에 대하여 유저가 접촉하였다고 판정되었을 때의 부가 화상(54)의 표시예(부가 화상(54a))를 도시한 도면이다. 또한, 실공간에 있어서의 유저의 손의 인식 결과에 따라서, 도 5에 도시한 바와 같이, 영상(40) 내에 가상의 손(52)이 표시될 수 있다. 예를 들어, 영상(40)과 삼차원의 가상 공간이 관련지어져 있고, 그리고, 실공간에 있어서 인식된 유저의 손의 위치에 대응하는, 당해 가상 공간 내의 위치에 가상의 손(52)은 표시된다.
도 5에 도시한 영상(40b)과 같이, 가상 오브젝트(50)에 유저가 접촉하였다고 판정되었을 때는, 출력 제어부(106)는, 부가 화상(54a)을 영상(40b)에 중첩시켜 HMD(20e)에 표시시킨다. 예를 들어, 도 5에 도시한 바와 같이, 출력 제어부(106)는, 가상 오브젝트(50)에 유저가 접촉하고 있는 위치(500)의 부근에 부가 화상(54a)을 표시시킨다.
또한, 도 5에 도시한 바와 같이, 부가 화상(54a)은, 가상 오브젝트(50)에 대한 유저의 접촉 위치(500)에 대응하는 오리지널의 온도를 나타내는 표시(540), 및 당해 오리지널의 온도가 억제되어 제시되고 있음(즉, 당해 오리지널의 온도보다도 낮은 온도가 제시되어 있음)을 나타내는 표시(542)를 포함한다. 또한, 도 5에 도시한 바와 같이, 표시(540)는, 온도의 정도를 나타내는 인디케이터(예를 들어 미터 등)를 포함해도 되고, 또는, 온도의 값을 나타내는 문자열(즉 「180℃」)만을 포함해도 된다. 또한, 표시(540)가 인디케이터를 포함하는 경우, 온도의 정도에 따라서 당해 인디케이터의 표시 양태(예를 들어 인디케이터의 길이나 색 등)가 동적으로 변경된다. 또한, 도 5에 도시한 바와 같이, 부가 화상(54a)은, 접촉 위치(500)를 나타내는 화상(예를 들어 원 등)을 더 포함해도 된다. 이에 의해, 유저는, 가상 오브젝트(50)에 대하여 자신이 접촉하고 있는 위치(500)를 정확하게 알 수 있다.
- - 변형예
또한, HMD(20e)에 표시되고 있는, 1 이상의 가상 오브젝트(50)에 대하여 유저가 양손으로 접촉하였다고 판정된 경우에는, 손별로, 당해 손이 접촉하고 있는 위치에 대응하는 오리지널의 감각 자극의 정도를 나타내는 부가 화상(54)을, 당해 손의 접촉 위치의 부근에 각각 표시시켜도 된다. 또한, 이와 같은 경우의 예로서는, 개개의 손이 각각의 가상 오브젝트에 접촉하는 경우나, 양손으로 동일한 가상 오브젝트에 접촉하는 경우 등을 들 수 있다.
- 표시예 2
또한, 도 6은 소정의 가상 오브젝트(50)(가상의 태양(50))가 HMD(20e)에 의해 표시되었을 때의 부가 화상(54)의 표시예(부가 화상(54b))를 도시한 도면이다. 또한, 도 6에 도시한 예에서는, 가상의 태양(50)에 관련지어져 있는 오리지널의 휘도가, 예를 들어 어린이 등의 유저의 시각에 대하여 과잉인 정도로 큰 것으로 한다. 또한, 도 6에 도시한 예에서는, 출력 제어부(106)는, 당해 오리지널의 휘도를 80％로 억제하여, 가상의 태양(50)을 HMD(30)에 표시시키고 있는 예를 나타내고 있다. 이 경우, 도 6에 도시한 바와 같이, 출력 제어부(106)는, 「가상의 태양(50)의 휘도가 80％로 억제되어 있음」을 나타내는 문자열을 포함하는 부가 화상(54b)을, 가상의 태양(50)의 표시 위치의 근처에 표시시켜도 된다.
- 표시예 3
또한, 도 7은 HMD(20e)에 의해 표시되는 가상 오브젝트(50)에 대하여 유저가 접촉하였다고 판정되었을 때의 부가 화상(54)의 다른 표시예(부가 화상(54c))를 도시한 도면이다. 도 7에 도시한 바와 같이, 부가 화상(54c)은, 가상 오브젝트(50) 내의 각 위치에 있어서 제시될 수 있는 피부 감각(예를 들어 온도 등)의 분포를 나타내는 표시(56)를 (도 5에 도시한 부가 화상(54a)과 비교하여) 더 포함한다. 예를 들어, 도 7에 도시한 바와 같이, 표시(56)는, 가상 오브젝트(50) 내의 각 위치의 온도를 나타내는 등치선을 포함해도 된다. 이에 의해, 유저는, 가상 오브젝트(50)에 있어서 자신이 현재 접촉하고 있는 위치(500)의 온도와, 접촉 위치(500)의 주위 온도의 관계를 동시에 알 수 있다.
- 표시예 4
또한, 도 8은 HMD(20e)에 의해 표시되는 가상 오브젝트(50)에 대하여 유저가 접촉하였다고 판정되었을 때의 부가 화상(54)의 또 다른 표시예(부가 화상(54d))를 도시한 도면이다. 도 8에 도시한 바와 같이, 부가 화상(54d)은, 자극 출력부(20)에 의해 실제로 제시되어 있는 온도를 나타내는 표시(540b)를 (도 5에 도시한 부가 화상(54a)과 비교하여) 더 포함한다. 예를 들어, 도 8에 도시한 바와 같이, 출력 제어부(106)는, 오리지널의 온도를 나타내는 표시(540a)와, 실제의 온도를 나타내는 표시(540b)를 나란히 영상(40b) 내에 표시시켜도 된다. 이 표시예에 의하면, 오리지널의 온도와, 현재 제시되어 있는 온도를 유저는 동시에 알 수 있다. 따라서, 현재 피부로 느끼고 있는 온도와, 오리지널의 온도(즉, 가상 오브젝트에 관련지어져 있는 본래의 온도)가 어느 정도 상이한지를, 유저는, 부가 화상(54a)을 열람함으로써 알 수 있다.
(2-1-4-5. 감각 자극의 출력에 관한 설정)
또한, 실제의 감각 자극의 정도, 또는, 상기 소정의 변환식은, 예를 들어 소정의 설정 화면에 대한 유저의 입력에 기초하여 미리 설정 가능해도 되고, 또는, 리얼타임으로 조정 가능해도 된다. 또한, 부가 화상(54)은, 예를 들어 출력되는 감각 자극(또는 제시되는 감각)의 종류, 출력되는 감각 자극의 정도, 또는, 상기 소정의 변환식 등을 유저가 지정하기 위한 GUI(Graphical User Interface)를 포함해도 된다. 이 경우, 출력되는 감각 자극의 종류, 출력되는 감각 자극의 정도, 또는, 상기 소정의 변환식은, 당해 GUI에 대한 유저의 조작에 기초하여 리얼타임으로 조정 가능해도 된다. 여기서, GUI는, 본 개시에 있어서의 조작 화상의 일례이다. 또한, GUI는, 예를 들어 슬라이더와 같은 형상의 오브젝트여도 된다.
여기서, 도 9를 참조하여, 상기 내용에 대하여 보다 상세하게 설명한다. 도 9는 HMD(20e)에 의해 표시되는 가상 오브젝트(50)에 유저가 접촉하였다고 판정되었을 때의 부가 화상(54)의 또 다른 표시예(부가 화상(54e))를 도시한 도면이다. 도 9에 도시한 바와 같이, 부가 화상(54e)은, 촉각 자극부(20)에 의해 출력되는 열의 온도를 유저가 조정 가능한 GUI(544)를 더 포함한다. 도 9에 도시한 예에서는, 출력 제어부(106)는, GUI(544)에 대한 유저의 조작에 기초하여, 촉각 자극부(20)에 의해 출력되는 열의 온도를 리얼타임으로 변경하는 것이 가능하다. 예를 들어, 도 9에 도시한 바와 같이, 유저가 가상 오브젝트(50)에 오른손을 접촉시킨 상태에서, 「120℃」에 대응하는 위치까지 GUI(544)를 왼손으로 이동시킨 경우에는, 출력 제어부(106)는, 촉각 자극부(20)에 의해 출력되는 열의 온도를 예를 들어 「80℃」로부터 「120℃」로 변경한다. 또한, 도 9에 도시한 예에 있어서, 손으로 GUI(544)를 조작하는 예에 한정되지 않고, 소정의 입력 디바이스(조이 스틱 등)를 사용하여 GUI(544)를 조작 가능해도 된다.
(2-1-4-6. 대체의 감각 자극의 출력 제어)
또한, 어떤 감각 자극에 관하여, 실제의 감각 자극의 정도가 오리지널의 감각 자극의 정도보다도 소정의 역치 이상 작아지도록 감각 자극이 변환되는 경우, 또는, 당해 감각 자극의 출력이 중지되는 경우에는, 출력 제어부(106)는, 당해 감각 자극에 대응하는 감각과는 상이한 감각에 관한 자극을 보상 피드백으로서 (즉 대체의 감각 자극으로서) 다른 자극 출력부(20)에 새롭게 출력시키는 것도 가능하다. 예를 들어, 실제의 촉각 자극의 정도가 오리지널의 감각 자극의 정도보다도 소정의 역치 이상 작아지도록 촉각 자극이 억제되는 경우에는, 출력 제어부(106)는, 시각 또는 청각에 대응하는 자극 출력부(20)(즉, HMD(20e) 또는 음성 출력부(20))에 소정의 영상이나 소정의 음성을 새롭게 출력시켜도 된다.
또는, 어떤 감각 자극에 관하여, 실제의 감각 자극의 정도가 오리지널의 감각 자극의 정도보다도 소정의 역치 이상 작아지도록 감각 자극이 변환되는 경우, 또는, 당해 감각 자극의 출력이 중지되는 경우에는, 출력 제어부(106)는, 현재 출력되고 있는, 당해 감각 자극에 대응하는 감각과는 상이한 감각에 관한 자극의 강도를 해당의 자극 출력부(20)로 변경시켜도 된다. 예를 들어, 실제의 촉각 자극의 정도가 오리지널의 촉각 자극의 정도보다도 소정의 역치 이상 작아지도록 촉각 자극이 억제되는 경우에는, 출력 제어부(106)는, HMD(20e)에 의해 표시되고 있는 영상의 표시 양태를 변경하거나, 또한, HMD(20e) 또는 음성 출력부(20)에 의해 출력되고 있는 음성을 변화시켜도 된다.
예를 들어, 어뮤즈먼트 파크 등에 설치되어 있는 전용의 바이크에 유저가 타고 있는 상황에 있어서, HMD(20e)에 의해 표시되고 있는 VR 영상(게임 등)에 따라서, 바이크의 주행풍에 대응하는 바람을 선풍기(20c)가 발생시키고 있는 것으로 하자. 이 경우, 선풍기(20c)에 의해 발생되는 바람의 강도(풍량이나 풍속 등)가, 오리지널의 바람의 강도보다도 소정의 역치 이상 작아지도록 억제되는 경우에는, 출력 제어부(106)는, HMD(20e)에 표시되고 있는 영상에 대하여, 바람의 이펙트(예를 들어 표시 중인 영상을 흔들리게 하는 것 등)를 새롭게 표시시키거나, 현재 표시 중인 바람의 이펙트를 강조하도록 당해 이펙트를 변경하거나, 또는, 바람이 불고 있는 것을 나타내는 의성어(예를 들어 「씽」 등)를 새롭게 표시시켜도 된다. 또는, 이 경우, 출력 제어부(106)는, 바람의 이펙트음(폭풍 소리 등)을 HMD(20e)에 새롭게 출력시키거나, 또는, 현재 출력 중인 바람의 이펙트음을 강조하도록 당해 이펙트를 변경해도 된다. 예를 들어, 출력 제어부(106)는, 현재 출력 중인 바람의 이펙트음의 음량을 크게 해도 된다.
{2-1-5. 통신부(120)}
통신부(120)는, 예를 들어 후술하는 통신 장치(162)를 포함하여 구성될 수 있다. 통신부(120)는 다른 장치와의 사이에서 정보의 송수신을 행한다. 예를 들어, 통신부(120)는 모션 정보를 자극 출력부(20)로부터 수신한다. 또한, 통신부(120)는, 출력 제어부(106)의 제어에 따라서, 출력 제어 정보를 자극 출력부(20)로 송신한다.
{2-1-6. 기억부(122)}
기억부(122)는, 예를 들어 후술하는 스토리지 장치(160)를 포함하여 구성될 수 있다. 기억부(122)는 각종 데이터, 및 각종 소프트웨어를 기억한다. 예를 들어, 도 3에 도시한 바와 같이, 기억부(122)는 오브젝트 DB(124)를 기억한다.
또한, 본 실시 형태에 의한 정보 처리 장치(10)의 구성은, 전술한 예에 한정되지 않는다. 예를 들어, 오브젝트 DB(124)는, 기억부(122)에 기억되는 대신에, 통신망(22)에 접속된 다른 장치(도시 생략)에 기억되어도 된다.
<2-2. 처리의 흐름>
이상, 본 실시 형태의 구성에 대하여 설명하였다. 다음에, 본 실시 형태에 의한 처리의 흐름의 일례에 대하여, 도 10 및 도 11을 참조하여 설명한다. 또한, 이하에서는, 가상 오브젝트를 포함하는 영상을 정보 처리 장치(10)가 HMD(20e)에 표시시키는 장면에 있어서의 처리의 흐름의 예에 대하여 설명한다.
도 10에 도시한 바와 같이, 먼저, 정보 처리 장치(10)의 출력 제어부(106)는, 가상 오브젝트를 포함하는 소정의 영상을 HMD(20e)에 표시시키기 위한 표시 제어 정보를 HMD(20e)로 통신부(120)에 송신시킨다. 그리고, HMD(20e)는, 당해 표시 제어 정보에 따라서 소정의 영상을 표시한다(S101).
그 후, 자극 출력부(20)는, 유저의 움직임을 센싱한다. 그리고, 자극 출력부(20)는, 센싱 결과를 모션 정보로서 정보 처리 장치(10)에 송신한다(S103).
그 후, 정보 처리 장치(10)의 판정부(104)는, HMD(20e)에 표시되고 있는 가상 오브젝트에 대한 유저의 움직임을 당해 모션 정보에 기초하여 판정한다(S105). 그리고, 당해 가상 오브젝트에 대하여 유저가 접촉하지 않았다고 판정된 경우에는(S107 : "아니오"), 다시 S103의 처리가 행해진다.
한편, 당해 가상 오브젝트에 대하여 유저가 접촉하였다고 판정된 경우에는(S107 : "예"), 먼저, 출력 제어부(106)는, S105에 있어서의, 당해 가상 오브젝트에 대한 유저의 접촉 방식의 판정 결과와, 당해 가상 오브젝트의 속성 정보에 따라서, 오리지널의 감각 자극의 정보를 특정한다(S109).
계속해서, 출력 제어부(106)는, 예를 들어 유저의 프로파일이나, 현재의 콘텍스트 정보 등에 기초하여, 오리지널의 감각 자극의 변환 방법을 결정한다. 그리고, 출력 제어부(106)는, 당해 오리지널의 감각 자극의 정보를, 결정한 변환 방법을 사용하여 변환함으로써, 실제의 감각 자극의 정보를 결정한다(S111).
계속해서, 출력 제어부(106)는, 예를 들어 오리지널의 감각 자극의 정도 등을 나타내는 부가 화상을 당해 가상 오브젝트와 관련지어 HMD(20e)에 표시시킨다(S113).
여기서, 도 11을 참조하여, S113보다 뒤의 처리의 흐름에 대하여 설명한다. 도 11에 도시한 바와 같이, S113 후, 출력 제어부(106)는, S111에서 결정된 감각 자극을 자극 출력부(20)에 출력시키기 위한 출력 제어 정보를 생성한다. 그리고, 통신부(120)는, 출력 제어부(106)의 제어에 따라서, 당해 감각 자극에 대응하는 자극 출력부(20)로 출력 제어 정보를 송신한다. 그 후, 자극 출력부(20)는, 수신된 출력 제어 정보에 따라서, 감각 자극을 출력한다(S121).
{변형예}
또한, 본 실시 형태에 의한 처리의 흐름은, 전술한 예에 한정되지 않는다. 여기서, 본 실시 형태에 의한 처리의 흐름의 변형예에 대하여, 도 12를 참조하여 설명한다. 또한, 도 10에 도시한 S101 내지 S113의 처리는, 본 변형예에서도 마찬가지이다. 이하에서는, S113보다 뒤의 처리의 흐름에 대하여 설명한다.
S113 후, 출력 제어부(106)는, S109에서 특정된 오리지널의 감각 자극의 정도와, S111에서 결정된 실제의 감각 자극의 정도의 차이가 소정의 역치 이상인지 여부를 판정한다(S151). 당해 차이가 소정의 역치보다도 작은 경우에는(S151 : "아니오"), 출력 제어부(106)는 후술하는 S155의 처리를 행한다.
한편, 당해 차이가 소정의 역치 이상인 경우에는(S151 : "예"), 출력 제어부(106)는, 당해 오리지널의 감각 자극에 대응하는 감각과는 상이한 감각에 관한 자극을, 당해 다른 감각에 대응하는 자극 출력부(20b)에 출력시키기 위한 출력 제어 정보를 생성한다. 그리고, 통신부(120)는, 출력 제어부(106)의 제어에 따라서, 당해 출력 제어 정보를 자극 출력부(20b)로 송신한다(S153).
또한, 도 12에 도시한 S155는, 도 11에 도시한 S121과 개략 마찬가지이다.
<2-3. 효과>
{2-3-1. 효과 1}
이상 설명한 바와 같이, 본 실시 형태에 따르면, 정보 처리 장치(10)는, HMD(20e)에 의해 표시되는 가상 오브젝트에 따른 오리지널의 감각 자극을, 소정의 기준에 기초하여 결정되는 변환 방법을 사용하여 변환하고, 그리고, 변환 후의 감각 자극을 자극 출력부(20)에 출력시키는 것이 가능하다. 이 때문에, 적절한 정도의 감각 자극을 유저에게 제시할 수 있다.
예를 들어, 어린이 등의 유저가 당해 가상 오브젝트에 접촉하였다고 판정된 경우에는, 정보 처리 장치(10)는, 오리지널의 감각 자극을, 인체에 영향이 없는 범위 내의 강도의 감각 자극으로 변환하고, 그리고, 변환 후의 감각 자극을 촉각 자극부(20)에 출력시킨다. 이 때문에, 예를 들어 유저가 부상을 입는 것을 방지할 수 있다.
{2-3-2. 효과 2}
또한, 본 실시 형태에 따르면, 정보 처리 장치(10)는, 자극 출력부(20)에 대한, 감각 자극의 출력에 관한 제어 정보에 따른 부가 화상의 표시를 제어한다. 이 때문에, 감각 자극의 출력에 관한 제어 내용에 적응한 부가 화상의 표시를 제어할 수 있다.
예를 들어, 당해 부가 화상은, 오리지널의 감각 자극이 억제되어 출력되고 있음을 나타내거나, 또한, 억제의 정도를 나타낸다. 또한, 정보 처리 장치(10)는, 표시되고 있는 가상 오브젝트와 관련지어 당해 부가 화상을 HMD(20e)에 표시시킨다. 따라서, 예를 들어 오리지널의 감각 자극이 억제되어 자극 출력부(20)에 의해 출력되고 있음이나, 오리지널의 감각 자극의 정도 등을 유저는 용이하게 알 수 있다.
<<3. 하드웨어 구성>>
다음에, 본 실시 형태에 의한 정보 처리 장치(10)의 하드웨어 구성에 대하여, 도 13을 참조하여 설명한다. 도 13에 도시한 바와 같이, 정보 처리 장치(10)는, CPU(150), ROM(Read Only Memory)(152), RAM(Random Access Memory)(154), 버스(156), 인터페이스(158), 스토리지 장치(160), 및 통신 장치(162)를 구비한다.
CPU(150)는, 연산 처리 장치 및 제어 장치로서 기능하고, 각종 프로그램에 따라서 정보 처리 장치(10) 내의 동작 전반을 제어한다. 또한, CPU(150)는, 정보 처리 장치(10)에 있어서 제어부(100)의 기능을 실현한다. 또한, CPU(150)는, 마이크로프로세서 등의 프로세서에 의해 구성된다.
ROM(152)은, CPU(150)가 사용하는 프로그램이나 연산 파라미터 등의 제어용 데이터 등을 기억한다.
RAM(154)은, 예를 들어 CPU(150)에 의해 실행되는 프로그램이나, 사용 중인 데이터 등을 일시적으로 기억한다.
버스(156)는 CPU 버스 등으로 구성된다. 이 버스(156)는 CPU(150), ROM(152), 및 RAM(154)을 서로 접속한다.
인터페이스(158)는, 스토리지 장치(160) 및 통신 장치(162)를 버스(156)와 접속한다.
스토리지 장치(160)는, 기억부(122)로서 기능하는, 데이터 저장용의 장치이다. 스토리지 장치(160)는, 예를 들어 기억 매체, 기억 매체에 데이터를 기록하는 기록 장치, 기억 매체로부터 데이터를 판독하는 판독 장치, 또는 기억 매체에 기록된 데이터를 삭제하는 삭제 장치 등을 포함한다.
통신 장치(162)는, 예를 들어 통신망(22) 등에 접속하기 위한 통신 디바이스(예를 들어 네트워크 카드 등) 등으로 구성된 통신 인터페이스이다. 또한, 통신 장치(162)는, 무선 LAN 대응 통신 장치, LTE(Long Term Evolution) 대응 통신 장치, 또는 유선에 의한 통신을 행하는 와이어 통신 장치여도 된다. 이 통신 장치(162)는 통신부(120)로서 기능한다.
<<4. 변형예>>
이상, 첨부 도면을 참조하면서 본 개시의 적합한 실시 형태에 대하여 상세하게 설명하였지만, 본 개시는 이러한 예에 한정되지 않는다. 본 개시가 속하는 기술의 분야에 있어서의 통상의 지식을 갖는 자라면, 청구범위에 기재된 기술적 사상의 범주 내에서, 각종 변경예 또는 수정예에 상도할 수 있는 것은 명백하고, 이들에 대해서도, 당연히 본 개시의 기술적 범위에 속하는 것으로 이해된다.
<4-1. 변형예 1>
예를 들어, 전술한 실시 형태에서는, 정보 처리 장치(10)(출력 제어부(106))가, 자극 출력부(20)에 대한, 감각 자극의 출력에 관한 제어 정보에 따른 부가 화상을 HMD(20e)에 표시시키는 예에 대하여 설명하였지만, 본 개시는 이러한 예에 한정되지 않는다. 예를 들어, 정보 처리 장치(10)(출력 제어부(106))는, 자극 출력부(20)에 대한, 감각 자극의 출력에 관한 제어 정보에 따른 음성을 음성 출력부(20)(HMD(20e)나 이어폰 등)에 출력시켜도 된다. 일례로서, 도 5에 도시한 바와 같이, HMD(20e)에 의해 표시되는 가상 오브젝트(50)에 유저가 접촉하였다고 판정되었을 때는, 출력 제어부(106)는, 가상 오브젝트(50)에 대한 유저의 접촉 위치(500)에 대응하는 오리지널의 온도를 나타내는 음성이나, 당해 오리지널의 온도가 억제되어 있음을 나타내는 음성 등을 (가상 오브젝트(50)의 표시 중에) 음성 출력부(20)에 출력시켜도 된다. 예를 들어, 이 경우, 출력 제어부(106)는, 「접촉하고 있는 위치의 본래 온도는 180℃입니다. 현재, 온도를 억제하고 있습니다.」 등의 음성을 음성 출력부(20)에 출력시켜도 된다.
<4-2. 변형예 2>
또한, 전술한 실시 형태에 의한 정보 처리 시스템의 구성은, 도 1에 도시한 예에 한정되지 않는다. 예를 들어, HMD(20e)와 정보 처리 장치(10)는 일체적으로 구성되어도 된다. 일례로서, 전술한 제어부(100)에 포함되는 각 구성 요소는 HMD(20e)가 가져도 된다. 이 경우, 본 개시에 있어서의 정보 처리 장치는, HMD(20e)일 수 있다. 예를 들어, HMD(20e)는, 촉각 자극부(20a) 내지 촉각 자극부(20c)에 대하여 촉각 자극의 출력을 제어하거나, 후각 자극부(20d)에 대하여 향기의 출력을 제어할 수 있다.
또한, 유저(2)가 위치하는 실공간 내에 프로젝터가 배치되어도 된다. 그리고, 정보 처리 장치(10)는, 예를 들어 가상 오브젝트 등을 포함하는 영상을 당해 실공간 내의 투영 대상(예를 들어 벽 등)에 대하여 당해 프로젝터에 투영시켜도 된다. 또한, 이 변형예에서는, 본 개시에 있어서의 표시부는, 프로젝터여도 된다. 또한, 이 경우, 당해 정보 처리 시스템은, HMD(20e)를 갖지 않아도 된다.
<4-3. 변형예 3>
또한, 전술한 실시 형태의 처리의 흐름에 있어서의 각 스텝은, 반드시 기재된 순서에 따라서 처리되지 않아도 된다. 예를 들어, 각 스텝은, 적절히 순서가 변경되어 처리되어도 된다. 또한, 각 스텝은, 시계열적으로 처리되는 대신에, 일부 병렬적으로 또는 개별적으로 처리되어도 된다. 또한, 기재된 스텝 중 일부가 생략되거나, 또는, 다른 스텝이 더 추가되어도 된다.
또한, 전술한 실시 형태에 따르면, CPU(150), ROM(152) 및 RAM(154) 등의 하드웨어를, 전술한 실시 형태에 의한 정보 처리 장치(10)의 각 구성과 동등한 기능을 발휘시키기 위한 컴퓨터 프로그램도 제공 가능하다. 또한, 당해 컴퓨터 프로그램이 기록된 기록 매체도 제공된다.
또한, 본 명세서에 기재된 효과는, 어디까지나 설명적 또는 예시적인 것이며 한정적인 것은 아니다. 즉, 본 개시에 관한 기술은, 상기 효과와 함께, 또는 상기 효과 대신에, 본 명세서의 기재로부터 당업자에게는 명백한 다른 효과를 발휘할 수 있다.
또한, 이하와 같은 구성도 본 개시의 기술적 범위에 속한다.
(1)
유저에 대하여 감각 자극을 출력하는 제1 출력부에 대한 제어 정보에 따른 화상의 표시를 제어하는 출력 제어부를 구비하는, 정보 처리 장치.
(2)
상기 출력 제어부는, 표시부에 있어서의 가상 오브젝트의 표시 위치와 관련지어 상기 화상을 상기 표시부에 표시시키는, 상기 (1)에 기재된 정보 처리 장치.
(3)
상기 감각 자극은, 피부 감각에 관한 자극이며,
상기 정보 처리 장치는, 표시부에 의해 표시되고 있는 가상 오브젝트에 상기 유저가 접촉하였는지 여부를 판정하는 판정부를 더 구비하고,
상기 출력 제어부는, 상기 가상 오브젝트에 대하여 상기 유저가 접촉하였다고 판정된 위치와 관련지어 상기 화상을 상기 표시부에 표시시키는, 상기 (1) 또는 (2)에 기재된 정보 처리 장치.
(4)
상기 제어 정보는, 상기 가상 오브젝트에 따른 제1 감각 자극이 소정의 변환 방법에 기초하여 변환된 제2 감각 자극을 상기 제1 출력부에 출력시키기 위한 정보이며,
상기 제1 감각 자극에 대응하는 감각과, 상기 제2 감각 자극에 대응하는 감각은 종류가 동일한, 상기 (2) 또는 (3)에 기재된 정보 처리 장치.
(5)
상기 화상은, 상기 제1 감각 자극의 정도를 나타내는 제1 표시, 및 상기 제2 감각 자극의 정도를 나타내는 제2 표시 중 적어도 한쪽을 포함하는, 상기 (4)에 기재된 정보 처리 장치.
(6)
상기 화상은, 상기 제2 감각 자극의 정도, 또는, 상기 소정의 변환 방법을 유저가 지정하기 위한 조작 화상을 더 포함하는, 상기 (5)에 기재된 정보 처리 장치.
(7)
상기 제1 감각 자극의 강도와, 상기 제2 감각 자극의 강도는 상이한, 상기 (4) 내지 (6) 중 어느 한 항에 기재된 정보 처리 장치.
(8)
상기 제2 감각 자극의 강도는, 상기 제1 감각 자극의 강도보다도 작은, 상기 (7)에 기재된 정보 처리 장치.
(9)
상기 제2 감각 자극의 정도가 상기 제1 감각 자극의 정도보다도 소정의 역치 이상 작아지도록 상기 제1 감각 자극이 변환되는 경우에는, 상기 출력 제어부는, 추가로, 상기 유저에 대하여 제3 감각 자극을 제2 출력부에 출력시키고,
상기 제1 감각 자극 및 상기 제2 감각 자극에 대응하는 제1 감각과, 상기 제3 감각 자극에 대응하는 제2 감각은 종류가 상이한, 상기 (4) 내지 (8) 중 어느 한 항에 기재된 정보 처리 장치.
(10)
상기 제2 감각 자극의 정도가 상기 제1 감각 자극의 정도보다도 소정의 역치 이상 작아지도록 상기 제1 감각 자극이 변환되는 경우에는, 상기 출력 제어부는, 제2 출력부에 의해 출력되고 있는 제3 감각 자극의 강도를 상기 제2 출력부로 변화시키고,
상기 제1 감각 자극 및 상기 제2 감각 자극에 대응하는 제1 감각과, 상기 제3 감각 자극에 대응하는 제2 감각은 종류가 상이한, 상기 (4) 내지 (8) 중 어느 한 항에 기재된 정보 처리 장치.
(11)
상기 제1 감각은, 피부 감각이며,
상기 제2 감각은, 시각 또는 청각인, 상기 (9) 또는 (10)에 기재된 정보 처리 장치.
(12)
상기 출력 제어부는, 추가로, 상기 소정의 변환 방법을 소정의 기준에 기초하여 결정하고, 또한, 상기 제어 정보를 생성하는, 상기 (4) 내지 (11) 중 어느 한 항에 기재된 정보 처리 장치.
(13)
상기 소정의 기준은, 상기 유저의 프로파일을 포함하는, 상기 (12)에 기재된 정보 처리 장치.
(14)
상기 소정의 기준은, 상기 가상 오브젝트의 표시 시의 콘텍스트 정보를 포함하는, 상기 (12) 또는 (13)에 기재된 정보 처리 장치.
(15)
상기 소정의 기준은, 상기 제1 감각 자극의 정도를 포함하는, 상기 (12) 내지 (14) 중 어느 한 항에 기재된 정보 처리 장치.
(16)
상기 감각 자극은, 피부 감각에 관한 자극이며,
상기 정보 처리 장치는, 상기 가상 오브젝트에 상기 유저가 접촉하였는지 여부를 판정하는 판정부를 더 구비하고,
상기 가상 오브젝트에 상기 유저가 접촉하였다고 판정되었을 때, 상기 출력 제어부는, 상기 제어 정보를 생성하는, 상기 (12) 내지 (15) 중 어느 한 항에 기재된 정보 처리 장치.
(17)
상기 출력 제어부는, 추가로, 상기 제1 출력부로 상기 제어 정보를 통신부에 송신시키는, 상기 (12) 내지 (16) 중 어느 한 항에 기재된 정보 처리 장치.
(18)
상기 제어 정보는, 상기 감각 자극의 출력량에 관한 정보를 포함하고,
상기 출력 제어부는, 상기 감각 자극의 출력량에 기초하여 상기 화상의 표시를 변화시키는, 상기 (1) 내지 (17) 중 어느 한 항에 기재된 정보 처리 장치.
(19)
유저에 대하여 감각 자극을 출력하는 제1 출력부에 대한 제어 정보에 따른 화상의 표시를 프로세서가 제어하는 것을 포함하는, 정보 처리 방법.
(20)
컴퓨터를,
유저에 대하여 감각 자극을 출력하는 제1 출력부에 대한 제어 정보에 따른 화상의 표시를 제어하는 출력 제어부로서 기능시키기 위한, 프로그램.
10 : 정보 처리 장치
20 : 자극 출력부
20e : HMD
22 : 통신망
100 : 제어부
102 : 정보 취득부
104 : 판정부
106 : 출력 제어부
120 : 통신부
122 : 기억부
124 : 오브젝트 DB

Claims (20)

  1. 유저에 대하여 감각 자극을 출력하는 제1 출력부에 대한 제어 정보에 따른 화상의 표시를 제어하는 출력 제어부를 구비하는, 정보 처리 장치.
  2. 제1항에 있어서,
    상기 출력 제어부는, 표시부에 있어서의 가상 오브젝트의 표시 위치와 관련지어 상기 화상을 상기 표시부에 표시시키는, 정보 처리 장치.
  3. 제1항에 있어서,
    상기 감각 자극은, 피부 감각에 관한 자극이며,
    상기 정보 처리 장치는, 표시부에 의해 표시되고 있는 가상 오브젝트에 상기 유저가 접촉하고 있는지 여부를 판정하는 판정부를 더 구비하고,
    상기 출력 제어부는, 상기 가상 오브젝트에 대하여 상기 유저가 접촉하고 있다고 판정된 위치와 관련지어 상기 화상을 상기 표시부에 표시시키는, 정보 처리 장치.
  4. 제2항에 있어서,
    상기 제어 정보는, 상기 가상 오브젝트에 따른 제1 감각 자극이 소정의 변환 방법에 기초하여 변환된 제2 감각 자극을 상기 제1 출력부에 출력시키기 위한 정보이며,
    상기 제1 감각 자극에 대응하는 감각과, 상기 제2 감각 자극에 대응하는 감각은 종류가 동일한, 정보 처리 장치.
  5. 제4항에 있어서,
    상기 화상은, 상기 제1 감각 자극의 정도를 나타내는 제1 표시, 및 상기 제2 감각 자극의 정도를 나타내는 제2 표시 중 적어도 한쪽을 포함하는, 정보 처리 장치.
  6. 제5항에 있어서,
    상기 화상은, 상기 제2 감각 자극의 정도, 또는, 상기 소정의 변환 방법을 유저가 지정하기 위한 조작 화상을 더 포함하는, 정보 처리 장치.
  7. 제4항에 있어서,
    상기 제1 감각 자극의 강도와, 상기 제2 감각 자극의 강도는 상이한, 정보 처리 장치.
  8. 제7항에 있어서,
    상기 제2 감각 자극의 강도는, 상기 제1 감각 자극의 강도보다도 작은, 정보 처리 장치.
  9. 제4항에 있어서,
    상기 제2 감각 자극의 정도가 상기 제1 감각 자극의 정도보다도 소정의 역치 이상 작아지도록 상기 제1 감각 자극이 변환되는 경우에는, 상기 출력 제어부는, 추가로, 상기 유저에 대하여 제3 감각 자극을 제2 출력부에 출력시키고,
    상기 제1 감각 자극 및 상기 제2 감각 자극에 대응하는 제1 감각과, 상기 제3 감각 자극에 대응하는 제2 감각은 종류가 상이한, 정보 처리 장치.
  10. 제4항에 있어서,
    상기 제2 감각 자극의 정도가 상기 제1 감각 자극의 정도보다도 소정의 역치 이상 작아지도록 상기 제1 감각 자극이 변환되는 경우에는, 상기 출력 제어부는, 제2 출력부에 의해 출력되고 있는 제3 감각 자극의 강도를 상기 제2 출력부로 변화시키고,
    상기 제1 감각 자극 및 상기 제2 감각 자극에 대응하는 제1 감각과, 상기 제3 감각 자극에 대응하는 제2 감각은 종류가 상이한, 정보 처리 장치.
  11. 제9항에 있어서,
    상기 제1 감각은, 피부 감각이며,
    상기 제2 감각은, 시각 또는 청각인, 정보 처리 장치.
  12. 제4항에 있어서,
    상기 출력 제어부는, 추가로, 상기 소정의 변환 방법을 소정의 기준에 기초하여 결정하고, 또한, 상기 제어 정보를 생성하는, 정보 처리 장치.
  13. 제12항에 있어서,
    상기 소정의 기준은, 상기 유저의 프로파일을 포함하는, 정보 처리 장치.
  14. 제12항에 있어서,
    상기 소정의 기준은, 상기 가상 오브젝트의 표시 시의 콘텍스트 정보를 포함하는, 정보 처리 장치.
  15. 제12항에 있어서,
    상기 소정의 기준은, 상기 제1 감각 자극의 정도를 포함하는, 정보 처리 장치.
  16. 제12항에 있어서,
    상기 감각 자극은, 피부 감각에 관한 자극이며,
    상기 정보 처리 장치는, 상기 가상 오브젝트에 상기 유저가 접촉하고 있는지 여부를 판정하는 판정부를 더 구비하고,
    상기 가상 오브젝트에 상기 유저가 접촉하였다고 판정되었을 때, 상기 출력 제어부는, 상기 제어 정보를 생성하는, 정보 처리 장치.
  17. 제12항에 있어서,
    상기 출력 제어부는, 추가로, 상기 제1 출력부로 상기 제어 정보를 통신부에 송신시키는, 정보 처리 장치.
  18. 제1항에 있어서,
    상기 제어 정보는, 상기 감각 자극의 출력량에 관한 정보를 포함하고,
    상기 출력 제어부는, 상기 감각 자극의 출력량에 기초하여 상기 화상의 표시를 변화시키는, 정보 처리 장치.
  19. 유저에 대하여 감각 자극을 출력하는 제1 출력부에 대한 제어 정보에 따른 화상의 표시를 프로세서가 제어하는 것을 포함하는, 정보 처리 방법.
  20. 컴퓨터를,
    유저에 대하여 감각 자극을 출력하는 제1 출력부에 대한 제어 정보에 따른 화상의 표시를 제어하는 출력 제어부로서 기능시키기 위한, 프로그램.
KR1020197016051A 2016-12-19 2017-09-08 정보 처리 장치, 정보 처리 방법, 및 프로그램 KR102469574B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2016-245395 2016-12-19
JP2016245395 2016-12-19
PCT/JP2017/032519 WO2018116544A1 (ja) 2016-12-19 2017-09-08 情報処理装置、情報処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
KR20190096988A true KR20190096988A (ko) 2019-08-20
KR102469574B1 KR102469574B1 (ko) 2022-11-22

Family

ID=62626306

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197016051A KR102469574B1 (ko) 2016-12-19 2017-09-08 정보 처리 장치, 정보 처리 방법, 및 프로그램

Country Status (5)

Country Link
US (1) US11422626B2 (ko)
EP (1) EP3557375B1 (ko)
JP (1) JP6908053B2 (ko)
KR (1) KR102469574B1 (ko)
WO (1) WO2018116544A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020098152A (ja) * 2018-12-18 2020-06-25 株式会社中電工 表示システム
JP7240180B2 (ja) * 2019-01-10 2023-03-15 東京瓦斯株式会社 設備環境出力システムおよびプログラム
WO2021193421A1 (ja) * 2020-03-27 2021-09-30 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム及び情報処理システム
US11249553B2 (en) * 2020-06-12 2022-02-15 Emerge Now Inc. Method and system for the generation and management of tactile commands for tactile sensation
JP2023053592A (ja) * 2021-10-01 2023-04-13 株式会社電通 食品、感覚提示システムおよび感覚提示方法
WO2023228919A1 (ja) * 2022-05-27 2023-11-30 京セラ株式会社 表示装置および空中像表示装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013122750A (ja) * 2011-11-11 2013-06-20 Panasonic Corp 電子機器
WO2014061310A1 (ja) * 2012-10-16 2014-04-24 日本電気株式会社 表示物制御システム、表示物制御方法及びプログラム
JP2015170174A (ja) 2014-03-07 2015-09-28 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9063570B2 (en) * 2012-06-27 2015-06-23 Immersion Corporation Haptic feedback control system
CN104641400A (zh) * 2012-07-19 2015-05-20 戈拉夫·瓦茨 用户控制三维仿真技术,提供增强的逼真数字对象视图和交互体验
JP6217747B2 (ja) * 2013-04-16 2017-10-25 ソニー株式会社 情報処理装置及び情報処理方法
JP6225989B2 (ja) * 2013-06-21 2017-11-08 株式会社ニコン 振動データ生成プログラム、および振動データ生成装置
GB201313444D0 (en) * 2013-07-29 2013-09-11 Ambi Labs Ltd Energy efficient indoor climate controller
JP6264542B2 (ja) 2014-01-30 2018-01-24 任天堂株式会社 情報処理装置、情報処理プログラム、情報処理システム、および情報処理方法
US10627904B2 (en) 2014-02-07 2020-04-21 Ultrahaptics IP Two Limited Systems and methods of determining interaction intent in three-dimensional (3D) sensory space
JP2015162152A (ja) * 2014-02-28 2015-09-07 京セラドキュメントソリューションズ株式会社 タッチパネル装置及び画像形成装置
JP6341417B2 (ja) 2014-06-10 2018-06-13 任天堂株式会社 振動生成システム、振動生成プログラム、および振動生成方法
US10296086B2 (en) * 2015-03-20 2019-05-21 Sony Interactive Entertainment Inc. Dynamic gloves to convey sense of touch and movement for virtual objects in HMD rendered environments
CN105843278B (zh) 2016-04-29 2018-04-17 广东美的制冷设备有限公司 根据虚拟场景控制环境温度的方法、温度数据终端和系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013122750A (ja) * 2011-11-11 2013-06-20 Panasonic Corp 電子機器
WO2014061310A1 (ja) * 2012-10-16 2014-04-24 日本電気株式会社 表示物制御システム、表示物制御方法及びプログラム
JP2015170174A (ja) 2014-03-07 2015-09-28 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム

Also Published As

Publication number Publication date
EP3557375A4 (en) 2019-10-23
EP3557375B1 (en) 2023-10-25
US20210286432A1 (en) 2021-09-16
US11422626B2 (en) 2022-08-23
KR102469574B1 (ko) 2022-11-22
EP3557375A1 (en) 2019-10-23
WO2018116544A1 (ja) 2018-06-28
JP6908053B2 (ja) 2021-07-21
JPWO2018116544A1 (ja) 2019-10-24

Similar Documents

Publication Publication Date Title
JP6977134B2 (ja) 頭部装着ディスプレイにおける仮想現実（ｖｒ）コンテンツの視野（ｆｏｖ）絞り
KR20190096988A (ko) 정보 처리 장치, 정보 처리 방법, 및 프로그램
US10636212B2 (en) Method for generating image to be displayed on head tracking type virtual reality head mounted display and image generation device
US20170178411A1 (en) Mobile tele-immersive gameplay
JP6244593B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP2021082310A (ja) 拡張現実および仮想現実のためのシステムおよび方法
JP2023542846A (ja) 三次元環境と相互作用するためのデバイス、方法、及びグラフィカルユーザインタフェース
IL264217A (en) A system control technique for creating a virtual character through the use of a user&#39;s emotional states
GB2556347A (en) Virtual reality
CN112198959A (zh) 虚拟现实交互方法、装置及系统
JP6321263B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
KR20180013892A (ko) 가상 현실을 위한 반응성 애니메이션
US20220147138A1 (en) Image generation apparatus and information presentation method
EP4083854A1 (en) System and method of head mounted display personalisation
JP2018192238A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP2019036239A (ja) 情報処理方法、情報処理プログラム、情報処理システム及び情報処理装置
JP2018190196A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP6856572B2 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP6863391B2 (ja) 情報処理装置、情報処理方法、およびプログラム
CN112654951A (zh) 基于现实世界数据移动头像
WO2023127403A1 (ja) Ｖｒ臨場感向上システムおよびｖｒ臨場感向上プログラム
WO2023017584A1 (ja) 仮想空間体感システム、及び、複合空間体感システム
CN117908666A (zh) 交互方法、装置、存储介质、设备及程序产品
CN113918014A (zh) 虚拟物体控制方法、装置、设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant