KR20200100046A - 정보 처리 장치, 정보 처리 방법 및 프로그램 - Google Patents

정보 처리 장치, 정보 처리 방법 및 프로그램 Download PDF

Info

Publication number
KR20200100046A
KR20200100046A KR1020207015001A KR20207015001A KR20200100046A KR 20200100046 A KR20200100046 A KR 20200100046A KR 1020207015001 A KR1020207015001 A KR 1020207015001A KR 20207015001 A KR20207015001 A KR 20207015001A KR 20200100046 A KR20200100046 A KR 20200100046A
Authority
KR
South Korea
Prior art keywords
information
content
user
virtual object
image
Prior art date
Application number
KR1020207015001A
Other languages
English (en)
Inventor
츠요시 아비코
야스히데 호소다
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20200100046A publication Critical patent/KR20200100046A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/216—Input arrangements for video game devices characterised by their sensors, purposes or types using geographical information, e.g. location of the game device or player using GPS
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/537—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
    • A63F13/5378—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen for displaying an additional top view, e.g. radar screens or maps
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/63—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor by the player, e.g. authoring using a level editor
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/308—Details of the user interface
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55—Details of game data or player data management
    • A63F2300/5546—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
    • A63F2300/5553—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history user representation in the game field, e.g. avatar
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6009—Methods for processing data by generating or executing the game program for importing or creating game content, e.g. authoring tools during game development, adapting content to different platforms, use of a scripting language to create content
    • A63F2300/6018—Methods for processing data by generating or executing the game program for importing or creating game content, e.g. authoring tools during game development, adapting content to different platforms, use of a scripting language to create content where the game content is authored by the player, e.g. level editor or by game device at runtime, e.g. level is created from music data on CD
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8088—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game involving concurrently several players in a non-networked game, e.g. on the same game console
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Environmental & Geological Engineering (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Architecture (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)
  • Processing Or Creating Images (AREA)

Abstract

자택 외에서 제공되는 콘텐츠에 대한 흥미를 야기하는 것이 가능하게 된다. 가상 오브젝트의 화상 정보 및 실공간에 있어서의 상기 가상 오브젝트의 위치 정보를 포함하고, 상기 실공간을 나타내는 지도 정보에 대하여 부가되는 콘텐츠 정보를 취득하는 취득부와, 상기 콘텐츠 정보에 기초하여, 상기 위치 정보에 대응하는 가상 공간에 있어서의 위치에, 일인칭 시점에서 시인 가능한 상기 가상 공간의 상에 대하여 중첩되도록 상기 화상 정보를 제1 클라이언트 단말기에 표시시키는 제1 제어부를 구비하는, 정보 처리 장치가 제공된다.

Description

정보 처리 장치, 정보 처리 방법 및 프로그램
본 개시는 정보 처리 장치, 정보 처리 방법 및 프로그램에 관한 것이다.
근년, 정보 처리 기술의 진전에 수반하여, 게임 등의 콘텐츠를 유저에게 제공하는 여러 가지 기술이 개발되고 있다. 예를 들어, 이하의 특허문헌 1에는, 휴대 단말 장치로부터 게임 서버로 로그인함으로써, 자택 등에서 게임 장치에 의해 즐길 수 있는 게임에 관련된 아이템 등을, 외출 시에 휴대 단말 장치의 위치에 따라 입수 가능한 기술이 개시되어 있다. 아울러, 입수된 아이템 등을, 자택 등에서 게임 장치에 의해 실행되는 게임에 반영하는 기술도 개시되어 있다. 이들 기술에 의해, 게임에 대한 유저의 흥미가 야기되어, 보다 오락성이 높은 게임이 제공된다.
일본 특허 공개 제2016-087017호 공보
그러나, 특허문헌 1에 개시된 기술은, 주로, 유저가 자택 등에서 즐기는 게임에 대한 흥미를 야기하는 것이며, 유저가 자택 외에서 즐기는 게임에 대한 흥미를 야기하는 것은 아니다. 따라서, 자택 외에서 제공되는 콘텐츠에 대한 흥미를 야기하는 것에 대해서는, 여전히 개선의 여지가 있다.
그래서, 본 개시는, 상기 문제를 감안하여 이루어진 것이며, 본 발명의 목적으로 하는 바는, 자택 외에서 제공되는 게임 등의 콘텐츠에 대한 유저의 흥미를 야기하는 것이 가능한, 신규이면서도 개량된 정보 처리 장치, 정보 처리 방법 및 프로그램을 제공하는 데 있다.
본 개시에 따르면, 가상 오브젝트의 화상 정보 및 실공간에 있어서의 상기 가상 오브젝트의 위치 정보를 포함하고, 상기 실공간을 나타내는 지도 정보에 대하여 부가되는 콘텐츠 정보를 취득하는 취득부와, 상기 콘텐츠 정보에 기초하여, 상기 위치 정보에 대응하는 가상 공간에 있어서의 위치에, 일인칭 시점에서 시인 가능한 상기 가상 공간의 상에 대하여 중첩되도록 상기 화상 정보를 제1 클라이언트 단말기에 표시시키는 제1 제어부를 구비하는, 정보 처리 장치가 제공된다.
또한, 본 개시에 따르면, 가상 오브젝트의 화상 정보 및 실공간에 있어서의 상기 가상 오브젝트의 위치 정보를 포함하고, 상기 실공간을 나타내는 지도 정보에 대하여 부가되는 콘텐츠 정보를 취득하는 것과, 상기 콘텐츠 정보에 기초하여, 상기 위치 정보에 대응하는 가상 공간에 있어서의 위치에, 일인칭 시점에서 시인 가능한 상기 가상 공간의 상에 대하여 중첩되도록 상기 화상 정보를 제1 클라이언트 단말기에 표시시키는 것을 갖는, 컴퓨터에 의해 실행되는 정보 처리 방법이 제공된다.
또한, 본 개시에 따르면, 가상 오브젝트의 화상 정보 및 실공간에 있어서의 상기 가상 오브젝트의 위치 정보를 포함하고, 상기 실공간을 나타내는 지도 정보에 대하여 부가되는 콘텐츠 정보를 취득하는 것과, 상기 콘텐츠 정보에 기초하여, 상기 위치 정보에 대응하는 가상 공간에 있어서의 위치에, 일인칭 시점에서 시인 가능한 상기 가상 공간의 상에 대하여 중첩되도록 상기 화상 정보를 제1 클라이언트 단말기에 표시시키는 것을 컴퓨터에 실현시키기 위한 프로그램이 제공된다.
이상 설명한 바와 같이 본 개시에 따르면, 자택 외에서 제공되는 콘텐츠에 대한 흥미를 야기하는 것이 가능하게 된다.
또한, 상기 효과는 반드시 한정적인 것은 아니며, 상기 효과와 함께, 또는 상기 효과 대신에, 본 명세서에 나타난 어느 효과, 또는 본 명세서로부터 파악될 수 있는 다른 효과가 발휘되어도 된다.
도 1은, 본 실시 형태에 관한 정보 처리 시스템의 시스템 구성예를 도시하는 도면이다.
도 2는, 클라이언트(200)의 일례를 도시하는 도면이다.
도 3은, 클라이언트(200)의 일례를 도시하는 도면이다.
도 4는, 클라이언트(200)의 일례를 도시하는 도면이다.
도 5는, 서버(100)의 기능 구성예를 도시하는 블록도이다.
도 6은, 콘텐츠의 작성에 사용되는 GUI 화면의 일례를 도시하는 도면이다.
도 7은, 콘텐츠의 작성에 사용되는 GUI 화면의 일례를 도시하는 도면이다.
도 8은, 콘텐츠의 작성에 사용되는 GUI 화면의 일례를 도시하는 도면이다.
도 9는, 콘텐츠의 작성에 사용되는 GUI 화면의 일례를 도시하는 도면이다.
도 10은, 콘텐츠의 작성에 사용되는 GUI 화면의 일례를 도시하는 도면이다.
도 11은, AR 콘텐츠의 표시예에 대하여 설명하는 도면이다.
도 12는, VR 콘텐츠의 표시예에 대하여 설명하는 도면이다.
도 13은, 클라이언트(200)의 기능 구성예를 도시하는 블록도이다.
도 14는, 콘텐츠의 제공에 관한 처리 플로우의 예를 도시하는 흐름도이다.
도 15는, 콘텐츠의 제공에 관한 처리 플로우의 예를 도시하는 흐름도이다.
도 16은, 서버(100) 또는 클라이언트(200)를 구현하는 정보 처리 장치(900)의 하드웨어 구성예를 도시하는 블록도이다.
도 17은, 제1 실시예에 관한 콘텐츠 제공예를 도시하는 도면이다.
도 18은, 제1 실시예에 관한 콘텐츠 제공예를 도시하는 도면이다.
도 19는, 제1 실시예에 관한 콘텐츠 제공예를 도시하는 도면이다.
도 20은, 제2 실시예에 관한 콘텐츠 제공예를 도시하는 도면이다.
이하에 첨부 도면을 참조하면서, 본 개시의 적합한 실시 형태에 대하여 상세하게 설명한다. 또한, 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 갖는 구성 요소에 대해서는, 동일한 번호를 부여함으로써 중복 설명을 생략한다.
또한, 설명은 이하의 순서로 행하기로 한다.
1. 실시 형태
1.1. 개요
1.2. 시스템 구성예
1.3. 서버(100)의 기능 구성예
1.4. 클라이언트(200)의 기능 구성예
1.5. 처리 플로우의 예
1.6. 하드웨어 구성예
2. 실시예
2.1. 제1 실시예
2.2. 제2 실시예
2.3. 제3 실시예
2.4. 변형예
3. 마무리
<1. 실시 형태>
(1.1. 개요)
우선, 본 개시에 관한 일 실시 형태의 개요에 대하여 설명한다.
상기한 바와 같이, 정보 처리 기술의 진전에 수반하여, 게임을 포함하는 콘텐츠를 유저에게 제공하는 여러 가지 기술이 개발되고 있다. 그러나, 자택 외에서 제공되는 콘텐츠에 대한 유저의 흥미를 야기하는 것에 대해서는, 여전히 개선의 여지가 있다.
그래서, 본건의 개시자는, 이 사정을 감안하여 본건의 기술을 창작하기에 이르렀다. 본 개시는, AR(Augmented Reality) 콘텐츠의 제공에 사용되는 정보의 적어도 일부를 사용하여 VR(Virtual Reality) 콘텐츠를 제공 가능한 플랫폼을 제공할 수 있다.
보다 구체적으로는, 본 개시에 관한 정보 처리 장치(서버(100))는, AR 콘텐츠의 제공에 사용되는 정보의 적어도 일부를 사용하여 VR 콘텐츠를 작성할 수 있다. 그리고, 정보 처리 장치는, 작성한 VR 콘텐츠를 유저 장치(클라이언트(200))에 제공할 수 있다. 또한, 정보 처리 장치는, AR 콘텐츠를 작성할 수도 있고, 작성한 AR 콘텐츠를 유저 장치에 제공할 수도 있다. 본 개시에 있어서, AR 콘텐츠는 옥외에서 제공되는 콘텐츠이고, VR 콘텐츠는 옥내에서 제공되는 콘텐츠라고 간주되어도 된다. 또한, 콘텐츠가 상업 시설 등이나 빌딩 등의 일반적인 개인집보다 넓은 면적을 갖는 옥내를 이용하여 제공되는 콘텐츠인 경우, 그 콘텐츠는 AR 콘텐츠로서 간주될 수 있다. 즉, AR 콘텐츠는, 실공간에 있어서의 유저의 위치의 이동이, AR 콘텐츠에 있어서의 유저의 위치의 이동과 일대일로 대응하는 콘텐츠로 간주되어도 된다. 한편, VR 콘텐츠는, 실공간에 있어서의 유저의 위치의 이동과는 독립적으로, VR 콘텐츠에 있어서의 유저의 위치가 임의로 이동될 수 있는 콘텐츠라고 간주되어도 된다.
이에 의해, 본 개시는, AR 콘텐츠에 대응하는 VR 콘텐츠를 유저에게 체험시킴으로써, 원래 현지에서만 체험할 수 있었던 AR 콘텐츠에 대한 유저의 흥미를 야기할 수 있어, AR 콘텐츠를 보다 효율적으로 보급시킬 수 있다.
또한, 본 실시 형태에 관한 AR 콘텐츠란, 실공간의 상에 대하여 가상 오브젝트를 중첩적으로 표시 가능한 콘텐츠를 가리키고, VR 콘텐츠란, 가상 공간의 상에 대하여 가상 오브젝트를 중첩적으로 표시 가능한 콘텐츠(또는 표시 화면 전체를 가상 오브젝트로 구성하는 콘텐츠)를 가리킨다. 이후에는, AR 콘텐츠 또는 VR 콘텐츠를 간단히 「콘텐츠」 또는 「이들 콘텐츠」라고 호칭하는 경우가 있다. 또한, 본 개시에 있어서의 「실공간의 상」은, 실공간을 촬상함으로써 취득되는 실공간 화상에 기초하여 생성되는 합성 화상을 포함할 수 있다. 즉, 합성 화상은, 실공간 화상의 해석 결과에 기초하는 실공간에 대응한 뎁스 정보를 갖는 뎁스 화상, 가상 오브젝트의 톤(색, 콘트라스트, 밝기 등의 외관 정보)에 기초하여 가공된 보정 화상 등이어도 된다. 한편, 「가상 공간의 상」은, 실공간의 정보를 참조하지 않고 작성되는 화상으로 해석되어도 된다.
(1.2. 시스템 구성예)
상기에서는, 본 개시에 관한 일 실시 형태의 개요에 대하여 설명하였다. 계속해서, 도 1 내지 도 4를 참조하여, 본 실시 형태에 관한 정보 처리 시스템의 시스템 구성예에 대하여 설명한다.
도 1에 도시하는 바와 같이, 본 실시 형태에 관한 정보 처리 시스템은, 서버(100)와 클라이언트(200)를 구비한다.
(서버(100))
서버(100)는, AR 콘텐츠 및 VR 콘텐츠를 작성 가능하고, 이들 콘텐츠를 클라이언트(200)에 제공 가능한 정보 처리 장치이다. 콘텐츠의 작성에 대하여 보다 구체적으로 설명하면, 서버(100)는, AR 콘텐츠 및 VR 콘텐츠를 작성 가능한 개발 플랫폼을 유저에 대하여 제공한다. 예를 들어, 서버(100)는, 이들 콘텐츠를 작성 가능한 GUI(Graphical User Interface) 화면을 클라이언트(200)에 제공한다. 그리고, 유저는, 당해 GUI 화면에 대하여 여러 가지 입력을 행함으로써, 가상 오브젝트의 화상 정보 및 실공간에 있어서의 가상 오브젝트의 위치 정보 등을 포함하고, AR 콘텐츠에 사용될 콘텐츠 정보를 작성할 수 있다. 그리고, 유저는, 당해 가상 오브젝트의 적어도 일부를 사용하여, VR 콘텐츠에 사용되는 콘텐츠 정보를 작성할 수도 있다.
또한, 콘텐츠의 제공에 대하여 보다 구체적으로 설명하면, 서버(100)는, 실공간에 있어서의 유저의 위치 정보와 클라이언트(200)의 프로퍼티 정보에 기초하여AR 콘텐츠 또는 VR 콘텐츠 중 어느 것을 제공할지를 판단한다. 예를 들어, 유저의 위치 정보가 「자택」을 나타내고, 클라이언트(200)의 프로퍼티 정보가 「거치용 단말기(AR 비대응 단말기)」를 나타내는 경우에는, 서버(100)는, VR 콘텐츠를 클라이언트(200)에 제공한다. 또한, 유저의 위치 정보가, 실공간에 있어서의 특정 위치를 나타내고, 클라이언트(200)의 프로퍼티 정보가 「AR 대응 단말기」를 나타내는 경우에는, 서버(100)는, AR 콘텐츠를 클라이언트(200)에 제공한다. 여기서, 클라이언트(200)의 프로퍼티 정보란, 클라이언트(200)의 제품 정보 또는 설정 정보 등을 포함하는, 클라이언트(200)에 관한 어떠한 정보를 가리킨다. 또한, 상기는 어디까지나 일례이며, 서버(100)에 의한 콘텐츠의 제공의 제어 방법에 대해서는 적절하게 변경될 수 있다. 예를 들어, 클라이언트(200)가 휴대 단말기인 경우, 서버(100)는, 휴대 단말기의 유저의 위치 정보가 「AR 콘텐츠 에어리어 외」를 나타내는 경우에는 VR 콘텐츠를 제공하고, 휴대 단말기의 유저의 위치 정보가 「AR 콘텐츠 에어리어 내」를 나타내는 경우에는 AR 콘텐츠를 제공하도록 제어되어도 된다. 또한, 서버(100)는, 휴대 단말기에 대하여, 동일한 콘텐츠에 관하여, AR 콘텐츠와 VR 콘텐츠 중 어느 것을 플레이 가능한지를 나타내는 아이콘을 제시해도 된다.
여기서, 서버(100)와 클라이언트(200)의 통신 방법은 특별히 한정되지 않는다. 예를 들어, 서버(100)와 클라이언트(200)를 접속하는 네트워크는, 유선의 전송로 또는 무선의 전송로 중 어느 것이어도 된다. 예를 들어, 당해 네트워크는, 인터넷 등의 공중 회선망이나, Ethernet(등록 상표)을 포함하는 각종 LAN(Local Area Network), WAN(Wide Area Network) 등을 포함해도 된다. 또한, 당해 네트워크는, IP-VPN(Internet Protocol-Virtual Private Network) 등의 전용 회선망이나, Bluetooth(등록 상표) 등의 근거리 무선 통신망을 포함해도 된다.
또한, 서버(100)의 종류는 특별히 한정되지 않으며, 예를 들어 범용 컴퓨터, 테스크톱형 PC(Personal Computer), 노트북형 PC, 태블릿형 PC, 스마트폰 등을 포함하는 임의의 정보 처리 장치일 수 있다.
(클라이언트(200))
클라이언트(200)는, AR 콘텐츠 및 VR 콘텐츠의 작성 시, 또는 이들 콘텐츠의 재생 시에 유저가 사용하는 정보 처리 장치이다. 콘텐츠의 작성에 대하여 보다 구체적으로 설명하면, 클라이언트(200)는, 서버(100)로부터 제공되는 GUI 화면을 표시한다. 유저는, 당해 GUI 화면을 사용하여 콘텐츠의 작성에 필요한 정보(예를 들어, 가상 오브젝트의 화상 정보, 실공간에 있어서의 가상 오브젝트의 위치 정보 또는 가상 오브젝트에 의한 이벤트 정보 등)를 설정할 수 있다. 그리고, 클라이언트(200)는, 유저로부터의 입력 정보를 서버(100)에 제공함으로써, 이들 콘텐츠의 작성을 실현한다.
콘텐츠의 재생에 대하여 보다 구체적으로 설명하면, 클라이언트(200)는, 유저의 위치 정보와 클라이언트(200)의 프로퍼티 정보를 서버(100)에 제공한다. 그리고, 클라이언트(200)는, 이들 정보에 기초하여 서버(100)에 의해 제공되는 콘텐츠 정보를 수신하고, 소정의 방법으로 출력함으로써, 이들 콘텐츠를 유저에게 제공한다. 또한, 클라이언트(200)에 의한 콘텐츠의 출력 방법은 특별히 한정되지 않는다. 예를 들어, 클라이언트(200)는, 콘텐츠를 디스플레이 등에 표시해도 되고, 스피커 등으로부터 발음시켜도 된다. 또한, 콘텐츠의 재생 시에 클라이언트(200)로부터 서버(100)로 제공되는 정보는 상기에 한정되지 않는다.
또한, 도 1에 도시하는 바와 같이, 클라이언트(200)에는 여러 가지 장치가 포함된다. 예를 들어, 클라이언트(200)에는, 광학 투과형의 헤드 마운트 디스플레이(201)(이후, 「HMD」라고 호칭함), 차폐형(또는 비디오 투과형)의 HMD(202), 스마트폰(203) 또는 태블릿형 PC(204) 등이 포함된다. AR 콘텐츠의 재생에는, 광학 투과형 HMD(201), 비디오 투과형 HMD(202), 스마트폰(203) 또는 태블릿형 PC(204) 등이 사용되고, VR 콘텐츠의 재생에는, 차폐형 HMD(202), 스마트폰(203) 또는 태블릿형 PC(204) 등이 사용되는 것을 상정하고 있지만, 이들에 한정되지 않는다. 또한, 클라이언트(200)에는, 이들 이외의 임의의 표시 장치가 포함되어도 된다. 예를 들어, 클라이언트(200)에는 텔레비전 등이 포함되어도 된다.
또한, 클라이언트(200)에는, 표시 기능을 갖지 않는 임의의 정보 처리 장치가 포함되어도 된다. 예를 들어, 클라이언트(200)에는, 도 2의 2A 및 2B에 도시하는 바와 같이, 귀를 막지 않는 스피커(205)(이후, 「오픈 이어형 스피커」라고 호칭함)가 포함되어도 된다. 오픈 이어형 스피커(205)는, 2B에 도시하는 바와 같이, 유저의 목에 걸린 상태로 사용되며, 귀를 막지 않기 때문에, 외부음을 차단하지 않는다. 이에 의해, 오픈 이어형 스피커(205)는, 콘텐츠(특히, AR 콘텐츠)를 재생함에 있어서, 실공간의 음에 중첩시키도록 음상을 정위시킴으로써 임장감이 있는 음향 출력을 행할 수 있다.
또한, 클라이언트(200)에는, 도 3의 3A 및 3B에 도시하는 오픈 이어형 스피커(206)가 포함되어도 된다. 오픈 이어형 스피커(206)는, 3B에 도시하는 바와 같이, 유저의 귀에 삽입됨으로써 장착되지만, 귀에 대한 삽입 부분에 관통된 구멍을 갖고 있기 때문에, 귀를 막지 않고, 외부음을 차단하지 않는다. 이에 의해 오픈 이어형 스피커(206)도, 상기와 마찬가지로, 콘텐츠(특히, AR 콘텐츠)를 재생함에 있어서, 실공간의 음에 중첩시키도록 음상을 정위시킴으로써 임장감이 있는 음향 출력을 행할 수 있다.
또한, 클라이언트(200)에는, 도 4의 4A 및 4B에 도시하는 웨어러블 단말기(207)가 포함되어도 된다. 웨어러블 단말기(207)는, 4B에 도시하는 바와 같이, 유저의 귀에 장착되는 장치이며, 음상을 정위시킴으로써 임장감이 있는 음향 출력을 행할 수 있다. 또한, 웨어러블 단말기(207)에는, 여러 가지 센서가 구비되어 있으며, 이들 센서로부터의 센서 정보에 기초하여 유저의 자세(예를 들어, 헤드의 기울기 등), 발화, 위치 또는 행동 등을 추정할 수 있는 장치이다.
(1.3. 서버(100)의 기능 구성예)
상기에서는, 본 실시 형태에 관한 정보 처리 시스템의 시스템 구성예에 대하여 설명하였다. 계속해서, 도 5를 참조하여, 서버(100)의 기능 구성예에 대하여 설명한다.
도 5에 도시하는 바와 같이, 서버(100)는, 콘텐츠 작성부(110)와, 콘텐츠 제공부(120)와, 통신부(130)와, 기억부(140)를 구비한다.
(콘텐츠 작성부(110))
콘텐츠 작성부(110)는, AR 콘텐츠 또는 VR 콘텐츠를 작성하는 기능 구성이다. 도 5에 도시하는 바와 같이, 콘텐츠 작성부(110)는, 위치 처리부(111)와, 오브젝트 처리부(112)와, 이벤트 처리부(113)와, 콘텐츠 작성 제어부(114)를 구비한다.
위치 처리부(111)는, AR 콘텐츠 또는 VR 콘텐츠에 있어서, 가상 오브젝트의 위치 정보에 관한 처리를 행하는 기능 구성이다. 보다 구체적으로는, 위치 처리부(111)는, 이들 콘텐츠의 작성 시, 유저로부터의 입력에 기초하여, 실공간에 있어서의 가상 오브젝트의 위치 정보를 설정한다. 여기서, 위치 정보는, 예를 들어 위도 정보 및 경도 정보를 포함한다. 위치 처리부(111)는, 가상 오브젝트의 위치 정보로서 위도 정보 및 경도 정보를 설정함으로써, AR 콘텐츠에 대해서는 당해 위치 정보에 대응하는 실공간에 있어서의 위치에 당해 가상 오브젝트를 표시시킬 수 있고, VR 콘텐츠에 대해서는 당해 위치 정보에 대응하는 가상 공간에 있어서의 위치에 당해 가상 오브젝트를 표시시킬 수 있다.
또한, 위치 정보의 내용은 상기에 한정되지 않는다. 예를 들어, 위치 정보는 고도 정보를 포함해도 된다. 위치 처리부(111)는, 가상 오브젝트의 위치 정보로서 고도 정보도 설정함으로써, 위도 및 경도가 동일한 위치에 있어서도 다른 고도로 가상 오브젝트를 표시시킬 수 있다. 이와 같이 구성됨으로써, 예를 들어 건물의 각 층의 평면별로 다른 가상 오브젝트군을 표시시킬 수 있다. 또한, 위치 정보는 주소 정보, 스폿 명칭 정보 또는 스폿 코드 정보 등과 같이, 실공간에 있어서의 위치, 영역 또는 건축물 등을 나타내는 어떠한 정보를 포함해도 된다. 또한, 위치 정보는, 가상 오브젝트의 방향 또는 자세에 관한 정보를 포함해도 된다.
오브젝트 처리부(112)는, AR 콘텐츠 또는 VR 콘텐츠에 있어서, 가상 오브젝트에 관한 처리를 행하는 기능 구성이다. 보다 구체적으로는, 오브젝트 처리부(112)는, 유저로부터의 입력에 기초하여 가상 오브젝트의 화상 정보를 포함하는 가상 오브젝트 정보를 설정한다. 예를 들어, 오브젝트 처리부(112)는, 복수의 가상 오브젝트의 화상 정보를 관리하고 있고, 당해 가상 오브젝트의 화상 정보 중에서 콘텐츠에 사용될 가상 오브젝트의 화상 정보를 유저에게 선택시켜도 된다. 또한, 오브젝트 처리부(112)는, 외부의 네트워크(예를 들어, 인터넷) 상에 산재해 있는 화상 정보를 수집하고, 이들 화상 정보 중에서 콘텐츠에 사용될 화상 정보를 유저에게 선택시켜도 된다. 또한, 오브젝트 처리부(112)는, 유저로부터 입력된 화상 정보를 콘텐츠에 사용해도 된다.
또한, 가상 오브젝트의 화상 정보의 내용은 특별히 한정되지 않는다. 예를 들어, 가상 오브젝트의 화상 정보는, 어떠한 일러스트 정보(또는 애니메이션 정보)여도 되고, 실공간에 존재하는 오브젝트의 정지 화상 정보(또는 동화상 정보)여도 된다.
이벤트 처리부(113)는, AR 콘텐츠 또는 VR 콘텐츠에 있어서, 가상 오브젝트에 의해 행해지는 이벤트에 관한 처리를 행하는 기능 구성이다. 보다 구체적으로는, 이벤트 처리부(113)는, 유저로부터의 입력에 기초하여 이벤트의 내용, 발생 조건을 포함하는 이벤트 정보를 설정한다. 여기서, 이벤트란, 1 또는 2 이상의 가상 오브젝트에 의해 행해지는 임의의 행동, 특정 장소에서 행해지는 행사, 또는 가상 오브젝트의 행동 등에 의해 발생하는 사상 등을 포함하며, 이들에 한정되지 않는다. 또한, 이벤트의 내용이란, 이벤트를 행하는 가상 오브젝트, 이벤트가 행해지는 위치, 이벤트가 행해지는 타이밍, 이벤트의 목적 또는 이벤트의 실시 방법 등을 포함하며, 이들에 한정되지 않는다. 또한, 이벤트의 발생 조건이란, 일시, 장소, 유저 혹은 가상 오브젝트의 행동 혹은 상황 등으로 지정되는 것이지만, 이들 이외의 요소에 의해 지정되어도 된다.
콘텐츠 작성 제어부(114)는, AR 콘텐츠 또는 VR 콘텐츠의 작성을 제어하는 기능 구성이다. 보다 구체적으로는, 콘텐츠 작성 제어부(114)는, 클라이언트(200)에 대하여, 이들 콘텐츠의 작성(또는 편집 등)에 사용될 GUI 화면을 제공한다.
여기서, 도 6 내지 도 10을 참조하여, 콘텐츠 작성 제어부(114)가 클라이언트(200)(클라이언트 단말기)에 제공하는 GUI 화면의 예에 대하여 설명한다. 또한, 이 GUI 화면에 관련된 데이터는 일시적으로 클라이언트(200)에 의해 오프라인에서 이용되어도 되고, GUI 화면에 관련된 데이터가, 서버(100)와 클라이언트(200)에 의해 분산적으로 관리되어도 된다. 도 6은, 위치 정보의 작성에 사용되는 GUI 화면의 예이다. 도 6에 도시하는 바와 같이, GUI 화면에는, 복수의 콘텐츠(도 6에 있어서는, 콘텐츠 A 내지 콘텐츠 E)에 관한 콘텐츠 정보를 관리하는 콘텐츠 탭(300)이 표시되어 있고, 유저는, 클라이언트(200)를 사용하여 콘텐츠 탭(300)을 선택함으로써, 작성(또는 편집 등)의 대상으로 되는 콘텐츠를 지정한다.
유저가 콘텐츠 탭(300)을 선택하면, 콘텐츠 탭(300)이 전개되어 지도 탭(301)이 표시된다. 또한, 도 6에는 도시하고 있지 않지만, 각 콘텐츠에는 복수의 지도 정보가 사용되어도 되며, 복수의 지도 정보가 사용되는 경우에는, 복수의 지도 탭(301)이 표시되어도 된다(여기서 말하는 복수의 지도 정보란, 단일의 지도 정보가 분할되어 생성된 것이어도 되고, 복수의 서로 다른 지도 정보여도 됨). 그리고, 유저가 지도 탭(301)을 선택하면, 콘텐츠 작성 제어부(114)는, 가상 오브젝트 선택 영역(310)과 지도 표시 영역(320)을 화면에 표시시킨다. 가상 오브젝트 선택 영역(310)은, 지도 상에 배치 가능한 가상 오브젝트 등(도 6에 있어서는, 가상 오브젝트 A 내지 가상 오브젝트 D. 아울러 이벤트 A도 표시되어 있음)이 표시되는 영역이며, 유저는, 소정의 조작에 의해, 지도 상에 배치할 가상 오브젝트를 선택할 수 있다.
지도 표시 영역(320)은, 콘텐츠의 무대로서 선택되는 실공간을 나타내는 지도가 표시되는 영역이며, 유저는, 지도 표시 영역(320)에 표시된 세계 지도를 확대시키거나, 축소시키거나, 이동시키거나 함으로써 원하는 범위의 지도를 표시시킬 수 있다. 그리고, 유저는, 가상 오브젝트 선택 영역(310)에서 선택한 가상 오브젝트를, 소정의 조작에 의해 지도 표시 영역(320)에 배치할 수 있다. 또한, 가상 오브젝트 선택 영역(310)으로부터의 가상 오브젝트의 선택, 및 지도 표시 영역(320)에의 가상 오브젝트의 배치를 실현하는 소정의 조작 내용은 특별히 한정되지 않는다. 예를 들어, 유저는, 가상 오브젝트 선택 영역(310)의 가상 오브젝트를 드래그하고, 지도 표시 영역(320) 내의 원하는 위치에 드롭함으로써, 가상 오브젝트의 선택 및 배치를 실현해도 된다. 이에 의해, 유저는 보다 용이하게 위치 정보를 편집할 수 있다. 위치 처리부(111)는, 지도 표시 영역(320)에 있어서의 가상 오브젝트의 배치에 기초하여 위치 정보를 생성한다.
또한, 드래그 조작되는 가상 오브젝트의 아이콘은, 유저의 시인성, 조작성을 확보하기 위해 소정의 사이즈를 갖는다. 이 때문에, 표시될 지도의 축척대로, 가상 오브젝트를 의도한 위치에 배치하기가 곤란한 경우가 있다.
상기 과제를 해결하기 위해, 유저는 일인칭 시점의 VR 콘텐츠로서 작성 중인 콘텐츠를 표시하고, VR 콘텐츠 내에서의 유저 조작에 따라, 가상 오브젝트의 위치를 적절하게 조정해도 된다. 이러한 VR 콘텐츠 내에서의 유저 조작에 의한 가상 오브젝트의 위치의 조정 결과는, 지도 표시 영역(320) 상의 가상 오브젝트의 위치 정보에 반영된다.
VR 콘텐츠 내에서의 조정 대신에, 지도 표시 영역(320) 내에 드래그 및 드롭된 가상 오브젝트의 위치가, 지도 정보에 포함되는 도로 정보, 구획 정보, 건물 정보 등에 기초하여, 적절하게 자동적으로 조정되어도 된다. 예를 들어, 드롭된 가상 오브젝트인 인물의 아이콘이 실질적으로 도로 영역에 포함되는 경우, 인물의 아이콘의 위치는, 도로 영역 외 또한 도로 영역의 우측 혹은 좌측을 따라 설정되도록 조정된다. 혹은, 드롭된 가상 오브젝트로서의 가구 아이콘이 실질적으로 건물 영역에 포함되는 경우, 가구 아이콘의 위치는 건물 내의 벽을 따라 설정되어도 된다. 즉, 가상 오브젝트의 프로퍼티와, 가상 오브젝트의 드롭 위치와, 가상 오브젝트의 드롭 위치에 대응하는 지도 정보의 조합이 소정의 조건을 충족한 경우에, 가상 오브젝트의 위치를 지도 정보에 기초하여 자동적으로 조정하고, 조합이 소정의 조건을 충족하지 않은 경우에, 가상 오브젝트의 위치를 유저에 의한 드롭 위치로 설정해도 된다. 또한, 이러한 자동 조정은, 표시되는 지도의 축척이 역치 이상인 경우에는 금지되고, 유저의 드롭 위치에 따라 가상 오브젝트의 위치가 임의로 설정되어도 된다. 표시되는 지도의 축척이 상대적으로 큰 경우, 가상 오브젝트의 아이콘의 사이즈에 대하여, 표시되는 지도가 충분한 사이즈를 가질 수 있다. 따라서, 유저는 적절하게 드롭 위치를 조작할 수 있기 때문에, 그러한 경우, 가상 오브젝트의 위치의 자동 조정이 적절하게 금지되어도 된다.
도 7은, 가상 오브젝트 정보의 작성에 사용되는 GUI 화면의 예이다. 도 7에 도시하는 바와 같이, 유저가 콘텐츠 탭(300)을 선택하면, 콘텐츠 탭(300)이 전개되어 가상 오브젝트 탭(302)이 표시된다. 또한, 도 7에 도시하는 바와 같이, 콘텐츠에서 복수의 가상 오브젝트가 사용되는 경우에는, 가상 오브젝트 탭(302)이 더 전개되어, 가상 오브젝트 탭(302a)이 표시되어도 된다. 그리고, 유저가 가상 오브젝트 탭(302) 또는 가상 오브젝트 탭(302a)을 선택하면, 콘텐츠 작성 제어부(114)는, 가상 오브젝트 표시 영역(330)을 화면에 표시시킨다. 가상 오브젝트 표시 영역(330)은, 유저가 당해 콘텐츠에 사용하기 위해 선택(또는 입력)한 가상 오브젝트의 화상 정보(331)가 표시되는 영역이며, 유저는, 선택한 가상 오브젝트의 화상 정보(331)를 가상 오브젝트 표시 영역(330)에서 확인할 수 있다. 또한, 콘텐츠 작성 제어부(114)는, 가상 오브젝트 표시 영역(330)에 가상 오브젝트의 화상 정보(331)를 표시시킬 뿐만 아니라, 가상 오브젝트 표시 영역(330)을 통하여 가상 오브젝트의 화상 정보(331)의 편집 기능(예를 들어, 형상, 모양 또는 색채 등의 편집 기능)을 유저에게 제공해도 된다. 또한, 도 7에는 도시되어 있지 않지만, 가상 오브젝트 정보는 음상 정보를 포함해도 되고, 도 7의 GUI 화면에서, 음상 정보의 확인, 편집 등이 실현되어도 된다. 오브젝트 처리부(112)는, 가상 오브젝트 표시 영역(330)을 통하여 행해진 편집의 내용에 기초하여 가상 오브젝트 정보를 생성한다.
도 8 및 도 9는, 이벤트 정보의 작성에 사용되는 GUI 화면의 예이다. 도 8에 도시하는 바와 같이, 유저가 콘텐츠 탭(300)을 선택하면, 콘텐츠 탭(300)이 전개되어 이벤트 탭(303)이 표시된다. 또한, 도 8에 도시하는 바와 같이, 콘텐츠에서 복수의 이벤트가 설정되는 경우에는, 이벤트 탭(303)이 더 전개되어, 이벤트 탭(303a)이 표시되어도 된다. 그리고, 유저가 이벤트 탭(303) 또는 이벤트 탭(303a)을 선택하면, 콘텐츠 작성 제어부(114)는, 이벤트 표시 영역(340)을 화면에 표시시킨다. 이벤트 표시 영역(340)은, 유저가 이벤트를 편집할 수 있는 영역이다. 당해 이벤트의 편집은, 통일 모델링 언어(UML(Unified Modeling Language))에 의해 기술될 수 있다. 예를 들어, 이벤트 표시 영역(340)에는, 텍스트 박스(341) 등이 미리 표시되어 있고, 유저는, 당해 텍스트 박스(341)에 대하여 입력을 행함으로써, 이벤트에 있어서 실시될 처리 또는 가상 오브젝트의 행동 등을 정의할 수 있다. 또한, 유저는, 이벤트에 있어서의 처리 등의 천이를, 화살표(342)를 사용하여 정의할 수 있고, 천이 조건(343)을 사용하여 천이의 조건 등을 정의할 수 있다. 또한, 도 8에 도시하는 내용은, 이벤트 전체에 있어서의 일부이며, 유저의 작업 영역은 확대, 드래그 또는 스크롤될 수 있다. 또한, 유저는, 이벤트 표시 영역(340)의 아이콘(344)을 누름으로써, 도 8에 도시하는 화면(텍스트 베이스의 화면)으로부터, 도 9에 도시하는 화면(GUI 베이스의 화면)으로 전환할 수 있다.
도 9는, 도 8에서 설정된 이벤트 정보에 대응하는 내용이 나타난 화면(GUI 베이스의 화면)이다(적절하게 정보가 변경되어 있음). 환언하면, 도 9의 이벤트 표시 영역(350)에는, 도 8에서 편집된 이벤트 정보가, 아이콘 등을 사용하여 지도 상에 나타나 있다. 도 8에 있어서의 화살표(342) 및 천이 조건(343)은, 도 9에 있어서의 화살표(351) 및 천이 조건(352)에 대응하고 있다. 환언하면, 도 9에 있어서의 천이 조건(352)이 충족되면, 화살표(351)로 나타난 앞서의 처리 등이 행해진다. 유저는, 이벤트 표시 영역(350)에서, 클릭 또는 드래그 등을 행함으로써 가상 오브젝트 사이 등에 화살표(351)를 그을 수 있다. 또한, 예를 들어 천이 조건 A의 달성을 복수의 가상 오브젝트에 대응시키기 위해, 직사각형의 파선(353)이 사용될 수 있다. 또한, 이벤트의 구획으로서, 도 9에서는 별 형상 오브젝트(354)가 사용되고 있다. 유저가 당해 오브젝트(354)를 일련의 이벤트의 종료로서 설정함으로써, 도 9의 하부에 나타난 이벤트 진도(355)에 있어서 구획이 자동적으로 부가되어도 된다. 이벤트 진도(355)란, 단계적인 이벤트 진도를 슬라이더 표시하는 구성이다. 유저는, 당해 슬라이더의 위치를 변화시킴으로써, 이벤트 진도에 따른 가상 오브젝트의 배치를 이벤트 표시 영역(350)에 표시시킬 수 있다. 이에 의해, 이벤트 진도를 용이하게 또한 시각적으로 확인하는 것이 가능하게 된다. 슬라이더에는, 이벤트의 명칭 등이 애너테이션으로서 부가된다. 또한, 유저는, 이벤트 표시 영역(350)의 아이콘(356)을 누름으로써, 도 9에 도시하는 화면(GUI 베이스의 화면)으로부터, 도 8에 도시하는 화면(텍스트 베이스의 화면)으로 전환할 수 있다. 또한, 가상 오브젝트의 배치에 대해서는, 도 6을 참조하여 설명한 바와 같이, 가상 오브젝트가 이벤트 표시 영역(350)에 있어서 이동한 경우, 당해 가상 오브젝트의 위치 정보가 갱신됨과 함께, 그 위치 정보가 이벤트별로 관리된다.
도 10은, 위치 정보, 가상 오브젝트 정보 또는 이벤트 정보를 포함하는 콘텐츠 정보의 확인, 편집에 사용되는 GUI 화면의 예이다. 도 10에 도시하는 바와 같이, 유저가 콘텐츠 탭(300)을 선택하면, 콘텐츠 탭(300)이 전개되어 데이터 테이블 탭(304)이 표시된다. 데이터 테이블 표시 영역(360)에는 콘텐츠 정보를 나타내는 데이터 테이블이 표시된다.
또한, 당해 데이터 테이블에는, 가상 오브젝트 정보에 포함되는 「가상 오브젝트 No」, 「명칭」 및 「보충」과, 위치 정보에 포함되는 「위치의 고정 유무」, 「위도」 및 「경도」가 표시되어 있다. 「가상 오브젝트 No」는 가상 오브젝트를 특정 가능한 번호를 표시하고, 「명칭」은 가상 오브젝트의 명칭을 표시하고, 「보충」은 가상 오브젝트에 관한 보충 정보를 표시한다. 또한, 「위치의 고정 유무」는 가상 오브젝트의 위치가 고정되어 있는지 가변인지를 표시하고, 「위도」는 가상 오브젝트가 배치되어 있는 위도 정보를 표시하고, 「경도」는 가상 오브젝트가 배치되어 있는 경도 정보를 표시한다. 데이터 테이블 표시 영역(360)에 표시되는 내용은 이것에 한정되지 않는다. 예를 들어, 데이터 테이블 표시 영역(360)에는, 위치 정보, 가상 오브젝트 정보 또는 이벤트 정보 이외의 임의의 정보가 표시되어도 된다.
그리고, 유저는, 데이터 테이블 표시 영역(360)에 표시된 데이터 테이블을 편집함으로써, 위치 정보, 가상 오브젝트 정보 또는 이벤트 정보를 포함하는 콘텐츠 정보를 편집할 수 있다. 또한, 데이터 테이블을 사용하여 편집된 내용은, 상기에서 설명한 별도의 화면에 자동적으로 반영된다. 예를 들어, 유저가 데이터 테이블에 있어서의 가상 오브젝트의 위도 정보 또는 경도 정보를 편집한 경우, 도 6의 지도 표시 영역(320)에 있어서의 가상 오브젝트의 위치가, 편집 후의 위도 정보 또는 경도 정보에 대응하는 위치로 변경되어 있다.
또한, 콘텐츠 작성 제어부(114)가 클라이언트(200)에 제공하는 GUI 화면은, 도 6 내지 도 10의 예에 한정되지 않는다.
그리고, 콘텐츠 작성 제어부(114)는, 콘텐츠 정보의 포맷, 사이즈, 시큐리티 설정 등(예를 들어, 액세스권 등)을 결정하고, 위치 정보, 가상 오브젝트 정보 및 이벤트 정보 등의 통합 및 패키징을 행함으로써, AR 콘텐츠 또는 VR 콘텐츠를 구성하는 콘텐츠 정보를 작성한다. 또한, 콘텐츠 작성 제어부(114)는, 작성한 콘텐츠 정보를, 실공간을 나타내는 지도 정보에 대하여 부가한 상태로 기억부(140)에 저장한다. 이에 의해, 콘텐츠가 실공간을 나타내는 지도 정보에 기초하여 적절하게 실행 가능하게 된다.
(콘텐츠 제공부(120))
콘텐츠 제공부(120)는, AR 콘텐츠 또는 VR 콘텐츠를 클라이언트(200)에 제공하는 기능 구성이다. 도 5에 도시하는 바와 같이, 콘텐츠 제공부(120)는, 취득부(121)와, 루트 결정부(122)와, 콘텐츠 제공 제어부(123)를 구비한다.
취득부(121)는, AR 콘텐츠 또는 VR 콘텐츠의 제공에 사용되는 임의의 정보를 취득하는 기능 구성이다. 예를 들어, 취득부(121)는, 콘텐츠 작성부(110)에 의해작성되고, 기억부(140)에 저장되어 있는 콘텐츠 정보(AR 콘텐츠에 관한 콘텐츠 정보 또는 VR 콘텐츠에 관한 콘텐츠 정보 중 어느 것이어도 됨)를 취득한다.
또한, 취득부(121)는, 유저의 상황(또는 상태)을 나타내는 정보(이후, 「유저 상황 정보」라고 호칭함)를 취득한다. 예를 들어, 클라이언트(200)는, 자장치에 구비되어 있는 각종 센서를 사용하여, 자장치를 장착하고 있는 유저의 자세, 시선, 발화, 위치 또는 행동 등을 추정하고, 추정 결과에 기초하여 유저 상황 정보를 생성하고, 서버(100)에 제공한다. 또한, 유저 상황 정보의 내용은 이것에 한정되지 않고, 센서 등에 기초하여 출력 가능한 유저의 상황(또는 상태)에 관한 정보라면 어떠한 정보여도 된다. 또한, 유저 상황 정보는, 유저가 클라이언트(200)에 구비되어 있는 입력 수단을 사용하여 행한 입력의 내용을 포함해도 된다.
또한, 취득부(121)는, 유저의 행동 로그도 취득한다. 행동 로그는, 예를 들어 유저의 위치 정보의 이력을 포함한다. 부가적으로, 행동 로그는, 유저의 행동에 수반하여 취득된 화상이나, 유저의 행동의 컨텍스트 등을 포함해도 된다. 여기서, 취득부(121)에 행동 로그를 제공하는 유저는, AR 콘텐츠 또는 VR 콘텐츠를 이용하는 유저와는 다른 하나 또는 복수의 유저를 포함할 수 있다. 또한, 취득부(121)는, 클라이언트(200)의 제품 정보 또는 설정 정보 등을 포함하는, 클라이언트(200)에 관한 어떠한 정보인 프로퍼티 정보도 취득한다. 또한, 이들 정보의 취득 방법은 특별히 한정되지 않는다. 예를 들어, 취득부(121)는, 통신부(130)를 통하여 클라이언트(200)로부터 이들 정보를 취득해도 된다.
그리고, 취득부(121)는, 취득한 이들 정보를 루트 결정부(122) 및 콘텐츠 제공 제어부(123)에 제공한다. 이에 의해, 루트 결정부(122)는, 유저의 위치 정보나 행동 로그 등에 기초하여 콘텐츠에 있어서의 루트(예를 들어, 권장 루트 등)를 결정할 수 있고, 콘텐츠 제공 제어부(123)는, 이들 정보에 기초하여 콘텐츠의 제공을 제어할 수 있다.
루트 결정부(122)는, AR 콘텐츠 또는 VR 콘텐츠에 있어서의 루트(예를 들어, 권장 루트 등)를 결정하는 기능 구성이다. 보다 구체적으로는, 루트 결정부(122)는, 유저에게 제공되고 있는 콘텐츠의 내용 및 취득부(121)에 의해 취득된 유저 상황 정보에 포함되는 위치 정보 등에 기초하여, 당해 콘텐츠에 있어서의 루트를 결정한다. 예를 들어, AR 콘텐츠가 제공되고 있는 경우, 루트 결정부(122)는, 실공간에 있어서의 유저의 현재 위치로부터, 당해 AR 콘텐츠에 있어서의 다음의 목적 위치(예를 들어, 이벤트의 발생 위치 등)로의 최단 루트를 출력한다. 또한, VR 콘텐츠가 제공되고 있는 경우, 루트 결정부(122)는, 가상 공간에 있어서의 유저의 현재 위치로부터, VR 콘텐츠에 있어서의 다음의 목적 위치로의 최단 루트를 출력한다. 또한, 루트의 출력 방법은, 특별히 한정되지 않는다.
또한, 루트의 결정에 사용되는 정보는 상기에 한정되지 않는다. 예를 들어, 루트 결정부(122)는, 행동 로그 등에도 기초하여 루트를 결정해도 된다. 이에 의해, 루트 결정부(122)는, 유저의 과거의 행동도 근거로 하여 보다 적절한 루트를 결정할 수 있다. 예를 들어, 루트 결정부(122)는, 유저가 빈번히 지나는 루트를 콘텐츠에 있어서의 루트로서 결정해도 되고, 반대로 유저가 지난 적이 없는 루트를 콘텐츠에 있어서의 루트로서 결정해도 된다. 루트 결정부(122)는 결정한 루트를 나타내는 정보(이후, 「루트 정보」라고 호칭함)를 콘텐츠 제공 제어부(123)에 제공한다.
콘텐츠 제공 제어부(123)는, VR 콘텐츠의 제공을 제어하는 제1 제어부 및 AR 콘텐츠의 제공을 제어하는 제2 제어부로서 기능하는 기능 구성이다. 보다 구체적으로는, 콘텐츠 제공 제어부(123)는, 취득부(121)에 의해 취득된 유저 상황 정보(위치 정보를 포함함) 및 루트 결정부(122)에 의해 출력된 루트 정보 등에 기초하여 AR 콘텐츠 또는 VR 콘텐츠의 제공을 제어한다.
예를 들어, 콘텐츠 제공 제어부(123)는, 유저 상황 정보에 포함되는 실공간에 있어서의 유저의 위치 정보와 클라이언트(200)의 프로퍼티 정보에 기초하여, AR 콘텐츠 또는 VR 콘텐츠 중 어느 것을 제공할지를 판단한다. 예를 들어, 유저의 위치 정보가 「자택」을 나타내고, 클라이언트(200)의 프로퍼티 정보가 「거치용 단말기(AR 비대응 단말기)」를 나타내는 경우에는, 콘텐츠 제공 제어부(123)는, VR 콘텐츠를 클라이언트(200)에 제공한다. 또한, 유저의 위치 정보가, 실공간에 있어서의 특정 위치를 나타내고, 클라이언트(200)의 프로퍼티 정보가 「AR 대응 단말기」를 나타내는 경우에는, 콘텐츠 제공 제어부(123)는, AR 콘텐츠를 클라이언트(200)에 제공한다. 또한, 상기는 어디까지나 일례이며, 콘텐츠 제공 제어부(123)에 의한 콘텐츠의 제공의 제어 방법에 대해서는 적절하게 변경될 수 있다. 예를 들어, 콘텐츠 제공 제어부(123)는, 행동 로그 등에도 기초하여 AR 콘텐츠 또는 VR 콘텐츠 중 어느 것을 제공할지를 판단해도 된다.
또한, 콘텐츠 제공 제어부(123)는, 콘텐츠의 제안을 행할 수도 있다. 예를 들어, 콘텐츠 제공 제어부(123)는, 행동 로그에 포함되는 유저의 위치 정보의 이력에 기초하여, 유저가 과거에 간 적이 있는 위치(또는, 그 위치에서 가까운 위치)에서 제공되고 있는 하나 또는 복수의 콘텐츠를 제안해도 된다. 그리고, 콘텐츠 제공 제어부(123)는, 제안한 복수의 콘텐츠 중에서 유저에 의해 선택된 콘텐츠를 유저에게 제공한다.
여기서, 도 11 및 도 12를 참조하여, 콘텐츠 제공 제어부(123)가 제공하는 AR 콘텐츠 및 VR 콘텐츠의 표시예에 대하여 설명한다. 도 11은, 콘텐츠 제공 제어부(123)가 AR 콘텐츠를 제공하는 경우의 클라이언트(200)의 표시예이다. 도 11에 있어서의 11B는, 11A에 도시하는 바와 같이, 전차의 가상 오브젝트(10)가 배치되어 있는 실공간에 있어서의 위치에 유저가 위치하고 있는 상태에서, 유저가 가상 오브젝트(10)의 전방 방향으로 클라이언트(200)를 향한 경우의 클라이언트(200)의 표시예를 도시하고 있다(또한, 도 11의 예에서는, 클라이언트(200)가 스마트폰(203)임). 이때, 콘텐츠 제공 제어부(123)는, 실공간의 상(배경(11))에 대하여 중첩되도록 가상 오브젝트(10)를 클라이언트(200)에 표시시킨다.
도 12는, 콘텐츠 제공 제어부(123)가 VR 콘텐츠를 제공하는 경우의 클라이언트(200)의 표시예이다. 도 12에 있어서의 12B는, 12A에 도시하는 바와 같이, 전차의 가상 오브젝트(12)가 배치되어 있는 실공간에 있어서의 위치에 대응하는 가상 공간에 있어서의 위치에 유저가 위치하고 있는 상태에서, 유저가 가상 오브젝트(12)의 전방 방향을 향한 경우의 클라이언트(200)의 표시예를 도시하고 있다(또한, 도 12의 예에서는, 클라이언트(200)가 차폐형 HMD(202)임). 이때, 콘텐츠 제공 제어부(123)는, 일인칭 시점에서 시인 가능한 가상 공간의 상(배경 화상(13))에 대하여 중첩되도록 가상 오브젝트(12)를 클라이언트(200)에 표시시킨다. 또한, 배경 화상(13)은, 실공간에 대응하는 화상이다. 환언하면, 배경 화상(13)은, 실공간의 상을 재현하는 상이며, 전천구 화상이어도 되고, 자유 시점 화상이어도 된다. 예를 들어, 가상 오브젝트의 위치(위도, 경도)로부터 소정의 거리 이내에서 촬영된 전천구 화상이 네트워크 상에서 검색되고, 추출된 전천구 화상이 배경 화상(13)으로서 사용되어도 된다. 또한, 배치되는 가상 오브젝트의 톤이 해석되고, 해석 결과에 기초하여 전천구 화상의 톤이 조정되어도 된다. 예를 들어, 애니메이션스러운 가상 오브젝트가 표시되는 경우, 배경 화상(13)으로서 사용되는 전천구 화상도 애니메이션스럽게 가공되어도 된다. 콘텐츠 제공 제어부(123)가 제공하는 AR 콘텐츠 및 VR 콘텐츠의 표시 양태는 도 11 및 도 12에 한정되지 않는다.
또한, 콘텐츠 제공 제어부(123)는, 가상 오브젝트의 화상 정보뿐만 아니라, 콘텐츠 정보에 포함되는, 가상 오브젝트의 음상 정보를 클라이언트(200)에 제공해도 된다. 예를 들어, AR 콘텐츠에 관해서는, 콘텐츠 제공 제어부(123)는, 실공간에 있어서의 가상 오브젝트의 위치 정보에 대응하는 실공간에 있어서의 위치에서 클라이언트(200)에 음상 정보를 출력시켜도 된다. 또한, VR 콘텐츠에 관해서는, 콘텐츠 제공 제어부(123)는, 실공간에 있어서의 가상 오브젝트의 위치 정보에 대응하는 가상 공간에 있어서의 위치에서 클라이언트(200)에 음상 정보를 출력시켜도 된다. 또한, 콘텐츠 제공 제어부(123)는, 클라이언트(200)에 음상 정보만을 출력시켜도 되고, 화상 정보와 음상 정보의 양쪽을 출력시켜도 된다.
(통신부(130))
통신부(130)는, 클라이언트(200)와의 각종 통신을 제어하는 기능 구성이다. 예를 들어, AR 콘텐츠 또는 VR 콘텐츠의 작성 시에는, 통신부(130)는, 각종 설정에 사용되는 GUI 화면 정보를 클라이언트(200)에 송신하고, 입력 정보 등을 클라이언트(200)로부터 수신한다. 또한, AR 콘텐츠 또는 VR 콘텐츠의 제공 시에는, 통신부(130)는, 유저 상황 정보(위치 정보 등을 포함함) 또는 클라이언트(200)의 프로퍼티 정보 등을 클라이언트(200)로부터 수신하고, 콘텐츠 정보를 클라이언트(200)에 송신한다. 또한, 통신부(130)가 통신하는 정보 및 통신하는 케이스는 이들에 한정되지 않는다.
(기억부(140))
기억부(140)는, 각종 정보를 기억하는 기능 구성이다. 예를 들어, 기억부(140)는, 위치 처리부(111)에 의해 생성된 위치 정보, 오브젝트 처리부(112)에 의해 생성된 가상 오브젝트 정보, 이벤트 처리부(113)에 의해 생성된 이벤트 정보, 콘텐츠 작성 제어부(114)에 의해 생성된 콘텐츠 정보, 취득부(121)에 의해 취득된 각종 정보(예를 들어, 유저 상황 정보, 행동 로그 또는 클라이언트(200)의 프로퍼티 정보 등), 루트 결정부(122)에 의해 결정된 루트 정보 또는 콘텐츠 제공 제어부(123)에 의해 클라이언트(200)에 제공된 콘텐츠 정보 등을 기억한다. 또한, 기억부(140)는, 서버(100)의 각 기능 구성에 의해 사용되는 프로그램 또는 파라미터 등을 기억한다. 또한, 기억부(140)가 기억하는 정보의 내용은 이들에 한정되지 않는다.
이상, 서버(100)의 기능 구성예에 대하여 설명하였다. 또한, 도 5를 사용하여 설명한 상기 기능 구성은 어디까지나 일례이며, 서버(100)의 기능 구성은 이러한 예에 한정되지 않는다. 예를 들어, 서버(100)는, 도 5에 도시하는 구성 전부를 반드시 구비해야 하는 것은 아니다. 또한, 서버(100)의 기능 구성은, 사양이나 운용에 따라 유연하게 변형 가능하다.
(1.4. 클라이언트(200)의 기능 구성예)
상기에서는, 서버(100)의 기능 구성예에 대하여 설명하였다. 계속해서, 도 13을 참조하여, 클라이언트(200)의 기능 구성예에 대하여 설명한다. 도 13은, AR 콘텐츠를 실행하는 광학 투과형 HMD(201), 및 VR 콘텐츠를 실행하는 차폐형 HMD(202)를 상정한 기능 구성예이다. 또한, 클라이언트(200)가 광학 투과형 HMD(201) 또는 차폐형 HMD(202) 이외인 경우에는, 적절하게 기능 구성의 추가 또는 삭제가 행해질 수 있다.
도 13에 도시하는 바와 같이, 클라이언트(200)는, 센서부(210)와, 입력부(220)와, 제어부(230)와, 출력부(240)와, 통신부(250)와, 기억부(260)를 구비한다.
(제어부(230))
제어부(230)는, 연산 처리 장치 및 제어 장치로서 기능하며, 각종 프로그램에 따라 클라이언트(200) 내의 동작 전반을 제어한다. 제어부(230)는, 예를 들어 CPU(Central Processing Unit), 마이크로 프로세서 등의 전자 회로에 의해 실현된다. 또한, 제어부(230)는, 사용할 프로그램이나 연산 파라미터 등을 기억하는 ROM(Read Only Memory), 및 적절하게 변화하는 파라미터 등을 일시 기억하는 RAM(Random Access Memory)을 포함하고 있어도 된다.
또한, 본 실시 형태에 따른 제어부(230)는, 도 13에 도시하는 바와 같이, 인식 엔진(231)과, 콘텐츠 처리부(232)를 구비한다. 인식 엔진(231)은, 센서부(210)에 의해 센싱된 각종 센서 정보를 사용하여 유저 또는 주변의 각종 상황을 인식하는 기능을 갖는다. 보다 구체적으로는, 인식 엔진(231)은, 헤드부 자세 인식 엔진(231a)과, Depth 인식 엔진(231b)과, SLAM(Simultaneous Localization and Mapping) 인식 엔진(231c)과, 시선 인식 엔진(231d)과, 음성 인식 엔진(231e)과, 위치 인식 엔진(231f)과, 행동 인식 엔진(231g)을 구비한다. 또한, 도 13에 도시하는 이들 인식 엔진은 일례이며, 본 실시 형태는 이것에 한정되지 않는다.
헤드부 자세 인식 엔진(231a)은, 센서부(210)에 의해 센싱된 각종 센서 정보를 사용하여, 유저의 헤드부의 자세(신체에 대한 얼굴의 방향 또는 기울기를 포함함)를 인식한다. 예를 들어 헤드부 자세 인식 엔진(231a)은, 외향 카메라(211)에 의해 촬상된 주변의 촬상 화상, 자이로 센서(214)에 의해 취득된 자이로 정보, 가속도 센서(215)에 의해 취득된 가속도 정보, 및 방위 센서(216)에 의해 취득된 방위 정보 중 적어도 어느 것을 해석하여, 유저의 헤드부의 자세를 인식할 수 있다. 또한 헤드부 자세의 인식 알고리즘은 일반적으로 알려져 있는 알고리즘을 사용해도 되며, 본 실시 형태에서는 특별히 한정하지 않는다.
Depth 인식 엔진(231b)은, 센서부(210)에 의해 센싱된 각종 센서 정보를 사용하여, 유저 주변의 공간에 있어서의 뎁스 정보를 인식한다. 예를 들어 Depth 인식 엔진(231b)은, 외향 카메라(211)에 의해 취득한 주변의 촬상 화상을 해석하여, 주변 공간의 물체의 거리 정보 및 물체의 평면 위치를 인식할 수 있다. 또한 Depth 인식의 알고리즘에 대해서는 일반적으로 알려져 있는 알고리즘을 사용해도 되며, 본 실시 형태에서는 특별히 한정하지 않는다.
SLAM 인식 엔진(231c)은, 센서부(210)에 의해 센싱된 각종 센서 정보를 사용하여, 자기 위치의 추정과 주변 공간의 지도 작성을 동시에 행하여, 주변 공간 내에 있어서의 자신의 위치를 동정할 수 있다. 예를 들어 SLAM 인식 엔진(231c)은, 외향 카메라(211)에 의해 취득한 주변의 촬상 화상을 해석하여, 클라이언트(200)의 자기 위치를 동정할 수 있다. 또한 SLAM 인식의 알고리즘에 대해서는 일반적으로 알려져 있는 알고리즘을 사용해도 되며, 본 실시 형태에서는 특별히 한정하지 않는다.
또한 인식 엔진(231)은, 상술한 Depth 인식 엔진(231b)의 인식 결과 및 SLAM 인식 엔진(231c)의 인식 결과에 기초하여, 공간 인식(공간 파악)을 행하는 것이 가능하다. 구체적으로는, 인식 엔진(231)은, 주변 3차원 공간에 있어서의 클라이언트(200)의 위치를 인식할 수 있다.
시선 인식 엔진(231d)은, 센서부(210)에 의해 센싱된 각종 센서 정보를 사용하여, 유저의 시선 검출을 행한다. 예를 들어 시선 인식 엔진(231d)은, 내향 카메라(212)에 의해 취득한 유저의 눈의 촬상 화상을 해석하여, 유저의 시선 방향을 인식한다. 또한 시선 검출의 알고리즘에 대해서는 특별히 한정하지 않지만, 예를 들어 눈시울과 홍채의 위치 관계, 또는 각막 반사와 동공의 위치 관계에 기초하여, 유저의 시선 방향을 인식할 수 있다.
음성 인식 엔진(231e)은, 센서부(210)에 의해 센싱된 각종 센서 정보를 사용하여, 유저 또는 환경음의 인식을 행한다. 예를 들어 음성 인식 엔진(231e)은, 마이크(213)에 의해 취득한 수음 정보에 대하여 노이즈 제거나 음원 분리 등을 행하여, 음성 인식, 형태소 해석, 음원 인식 또는 소음 레벨의 인식 등을 행할 수 있다.
위치 인식 엔진(231f)은, 센서부(210)에 의해 센싱된 각종 센서 정보를 사용하여, 클라이언트(200)의 절대 위치를 인식한다. 예를 들어 위치 인식 엔진(231f)은, 측위부(217)에 의해 측위된 위치 정보, 및 미리 취득한 지도 정보에 기초하여, 클라이언트(200)의 장소(예를 들어 역, 학교, 집, 회사, 전동차, 테마파크 등)를 인식한다.
행동 인식 엔진(231g)은, 센서부(210)에 의해 센싱된 각종 센서 정보를 사용하여, 유저의 행동을 인식한다. 예를 들어 행동 인식 엔진(231g)은, 외향 카메라(211)의 촬상 화상, 마이크(213)의 수음 음성, 자이로 센서(214)의 각속도 정보, 가속도 센서(215)의 가속도 정보, 방위 센서(216)의 방위 정보, 및 측위부(217)의 절대 위치 정보 중 적어도 어느 것을 사용하여, 유저의 행동 상황(활동 상태의 일례)을 인식한다. 유저의 행동 상황으로서는, 예를 들어 정지 상태, 보행 상태(천천히 보행, 조깅), 주행 상태(대시, 고속 주행), 앉아 있는 상태, 서 있는 상태, 자고 있는 상태, 자전거를 타고 있는 상태, 전동차를 타고 있는 상태, 자동차를 타고 있는 상태를 인식할 수 있다. 또한, 행동 인식 엔진(231g)은, 보다 구체적으로는, 각속도 정보 및 가속도 정보에 기초하여 측정되는 활동량에 따라 상태 상황을 인식해도 된다.
콘텐츠 처리부(232)는, AR 콘텐츠 또는 VR 콘텐츠에 관한 처리를 실행하는 기능 구성이다. 보다 구체적으로는, 콘텐츠 처리부(232)는, 콘텐츠의 작성 또는 콘텐츠의 재생에 관한 처리를 행한다.
콘텐츠의 작성 시에 대하여 보다 구체적으로 설명하면, 유저가 입력부(220)를 사용하여 입력(예를 들어, 서버(100)로부터 제공된 GUI 화면에의 입력)을 행한 경우, 콘텐츠 처리부(232)는, 입력 정보를 입력부(220)로부터 취득하고, 당해 입력 정보를 서버(100)에 제공한다.
콘텐츠의 재생 시에 대하여 보다 구체적으로 설명하면, 콘텐츠 처리부(232)는, 상기 인식 엔진(231)에 의해 인식된, 유저의 상황(또는 상태)을 나타내는 유저 상황 정보를 생성하고, 당해 유저 상황 정보를 서버(100)에 제공한다. 그 후, 서버(100)가 유저 상황 정보 등에 기초하여 AR 콘텐츠 또는 VR 콘텐츠에 대한 콘텐츠 정보를 제공해 온 경우에는, 콘텐츠 처리부(232)는, 출력부(240)를 제어함으로써 당해 콘텐츠 정보를 출력한다. 예를 들어, 콘텐츠 처리부(232)는, 디스플레이 등에 가상 오브젝트를 표시시키거나, 스피커 등에 음상을 출력시키거나 한다.
(센서부(210))
센서부(210)는, 유저 또는 주변 환경에 관한 각종 정보를 취득하는 기능을 갖는다. 예를 들어 센서부(210)는, 외향 카메라(211)와, 내향 카메라(212)와, 마이크(213)와, 자이로 센서(214)와, 가속도 센서(215)와, 방위 센서(216)와, 측위부(217)를 구비한다. 또한, 여기서 예시하는 센서부(210)의 구체예는 일례이며, 본 실시 형태는 이것에 한정되지 않는다. 또한, 각 센서는 복수 있어도 된다.
외향 카메라(211) 및 내향 카메라(212)는, 촬상 렌즈, 조리개, 줌 렌즈 및 포커스 렌즈 등에 의해 구성되는 렌즈계, 렌즈계에 대하여 포커스 동작이나 줌 동작을 행하게 하는 구동계, 렌즈계에서 얻어지는 촬상광을 광전 변환하여 촬상 신호를 생성하는 고체 촬상 소자 어레이 등을 각각 갖는다. 고체 촬상 소자 어레이는, 예를 들어 CCD(Charge Coupled Device) 센서 어레이나, CMOS(Complementary Metal Oxide Semiconductor) 센서 어레이에 의해 실현되어도 된다.
마이크(213)는, 유저의 음성이나 주위의 환경음을 수음하고, 음성 정보로서 제어부(230)에 출력한다.
자이로 센서(214)는, 예를 들어 3축 자이로 센서에 의해 실현되며, 각속도(회전 속도)를 검출한다.
가속도 센서(215)는, 예를 들어 3축 가속도 센서(G 센서라고도 칭함)에 의해 실현되며, 이동 시의 가속도를 검출한다.
방위 센서(216)는, 예를 들어 3축 지자기 센서(컴퍼스)에 의해 실현되며, 절대 방향(방위)을 검출한다.
측위부(217)는, 외부로부터의 취득 신호에 기초하여 클라이언트(200)의 현재 위치를 검지하는 기능을 갖는다. 구체적으로는, 예를 들어 측위부(217)는, GPS(Global Positioning System) 측위부에 의해 실현되며, GPS 위성으로부터의 전파를 수신하여, 클라이언트(200)가 존재하고 있는 위치를 검지하고, 검지한 위치 정보를 제어부(230)에 출력한다. 또한, 측위부(217)는, GPS 외에, 예를 들어 Wi-Fi(등록 상표), Bluetooth(등록 상표), 휴대 전화ㆍPHSㆍ스마트폰 등과의 송수신, 또는 근거리 통신 등에 의해 위치를 검지하는 것이어도 된다. 또한, 측위부(217)는, 사전에 매뉴얼 설치된 바코드 정보 등(예를 들어, QR 코드 등)을 인식함으로써, 간접적으로 클라이언트(200)의 위치를 특정해도 된다. 또한, 측위부(217)는, 실공간에 있어서의 여러 가지 지점의 화상을 미리 데이터베이스 상에 기록해 두고, 이들 화상의 특징점과, 외향 카메라(211) 등에 의해 촬상된 화상의 특징점을 매칭함으로써 클라이언트(200)의 위치를 특정해도 된다.
(입력부(220))
입력부(220)는, 스위치, 버튼, 또는 레버 등의 물리적인 구조를 갖는 조작 부재에 의해 실현된다.
(출력부(240))
출력부(240)는, 각종 정보를 출력하는 기능 구성이다. 예를 들어, 출력부(240)는, 디스플레이 등의 표시 수단 또는 스피커 등의 음성 출력 수단 등을 구비하고 있고, 제어부(230)의 제어에 기초하여, 콘텐츠 정보의 출력을 실현한다. 또한, 출력부(240)가 구비하는 출력 수단은 특별히 한정되지 않는다.
(통신부(250))
통신부(250)는, 서버(100)와의 각종 통신을 제어하는 기능 구성이다. 예를 들어, AR 콘텐츠 또는 VR 콘텐츠의 작성 시에는, 통신부(250)는, 각종 설정에 사용될 GUI 화면 정보를 서버(100)로부터 수신하고, 입력 정보 등을 서버(100)에 송신한다. 또한, AR 콘텐츠 또는 VR 콘텐츠의 재생 시에는, 통신부(250)는, 유저 상황 정보(위치 정보 등을 포함함) 또는 자장치의 프로퍼티 정보 등을 서버(100)에 송신하고, 콘텐츠 정보를 서버(100)로부터 수신한다. 또한, 통신부(250)가 통신하는 정보 및 통신하는 케이스는 이들에 한정되지 않는다.
(기억부(260))
기억부(260)는, 각종 정보를 기억하는 기능 구성이다. 예를 들어, 기억부(260)는, 자장치의 프로퍼티 정보, 콘텐츠 처리부(232)에 의해 생성된 유저 상황 정보, 또는 서버(100)로부터 제공된 콘텐츠 정보 등을 기억한다. 또한, 기억부(260)는, 클라이언트(200)의 각 기능 구성에 의해 사용되는 프로그램 또는 파라미터 등을 기억한다. 또한, 기억부(260)가 기억하는 정보의 내용은 이들에 한정되지 않는다.
이상, 클라이언트(200)의 기능 구성예에 대하여 설명하였다. 또한, 도 13을 사용하여 설명한 상기의 기능 구성은 어디까지나 일례이며, 클라이언트(200)의 기능 구성은 이러한 예에 한정되지 않는다. 예를 들어, 클라이언트(200)는, 도 13에 도시하는 기능 구성 전부를 반드시 구비하는 것은 아니다. 또한, 클라이언트(200)의 기능 구성은, 사양이나 운용에 따라 유연하게 변형 가능하다.
(1.5. 처리 플로우의 예)
상기에서는, 클라이언트(200)의 기능 구성예에 대하여 설명하였다. 계속해서, 도 14 및 도 15를 참조하여, 콘텐츠의 제공에 관한 처리 플로우의 일례에 대하여 설명한다.
도 14는, 서버(100)에 의한 VR 콘텐츠의 제공에 관한 처리 플로우의 일례이다. 스텝 S1000에서는, 서버(100)의 취득부(121)가 유저 상황 정보(위치 정보 등을 포함함) 및 클라이언트(200)의 프로퍼티 정보 등을 포함하는 각종 정보를 클라이언트(200)로부터 취득한다. 스텝 S1004에서는, 콘텐츠 제공 제어부(123)가, 취득된 각종 정보에 기초하여 하나 또는 복수의 VR 콘텐츠를 제안한다. 예를 들어, 유저 상황 정보에 포함되는 위치 정보가 「자택」을 나타내고, 클라이언트(200)의 프로퍼티 정보가 「거치용 단말기(AR 비대응 단말기)」를 나타내는 경우에는, 콘텐츠 제공 제어부(123)는, 하나 또는 복수의 VR 콘텐츠를 유저에게 제안한다. 또한, 콘텐츠 제공 제어부(123)는, 행동 로그 등에 기초하여 유저가 과거에 간 적이 있는 위치 등에 기초하여 하나 또는 복수의 VR 콘텐츠를 유저에게 제안한다.
스텝 S1008에서는, 유저가, 클라이언트(200)의 입력부(220)를 사용하여, 제안된 VR 콘텐츠 중에서 원하는 VR 콘텐츠를 선택한다(제안된 VR 콘텐츠가 하나인 경우에는, 유저는, 당해 VR 콘텐츠를 플레이할지 여부의 입력을 행함). 스텝 S1012에서는, 서버(100)의 콘텐츠 제공 제어부(123)가, 유저에 의해 선택된 VR 콘텐츠를 제공한다(VR 콘텐츠의 제공에 관한 보다 상세한 처리 플로우에 대해서는, 도 15를 참조하여 설명함). VR 콘텐츠의 제공이 종료된 경우, 스텝 S1016에서, 취득부(121)가 행동 로그를 클라이언트(200)로부터 취득하고, 기억부(140)에 저장함으로써 일련의 처리가 종료된다.
도 15는, 도 14의 스텝 S1012에서 행해지는 VR 콘텐츠의 제공 처리를 보다 상세하게 도시한 것이다. 스텝 S1100에서는, 서버(100)의 취득부(121)는, 유저 상황 정보(위치 정보를 포함함)를 계속적으로 취득한다. 또한, 콘텐츠 제공 중에, 취득부(121)가 유저 상황 정보를 취득하는 빈도 또는 타이밍 등은 특별히 한정되지 않는다.
그리고, 콘텐츠 제공 제어부(123)는, 유저 상황 정보에 기초하여 VR 콘텐츠에 있어서의 이벤트의 발생 조건을 충족하는지 여부를 확인한다. 이벤트의 발생 조건이 충족된 경우(스텝 S1104/"예"), 스텝 S1108에서, 콘텐츠 제공 제어부(123)는, VR 콘텐츠에서 이벤트를 발생시킨다.
스텝 S1112에서, 콘텐츠 제공 제어부(123)는, VR 콘텐츠가 종료되었는지 여부를 확인하고, VR 콘텐츠가 종료되지 않은 경우(스텝 S1112/"아니오"), 스텝 S1100 내지 스텝 S1108의 처리가 계속적으로 실시된다. VR 콘텐츠가 종료된 경우(스텝 S1112/"예"), VR 콘텐츠의 제공 처리가 종료된다.
또한, 도 14 및 도 15에 도시한 흐름도에 있어서의 각 스텝은, 반드시 기재된 순서를 따라 시계열로 처리할 필요는 없다. 즉, 흐름도에 있어서의 각 스텝은, 기재된 순서와 다른 순서로 처리되어도, 병렬적으로 처리되어도 된다.
(1.6. 하드웨어 구성예)
상기에서는, 콘텐츠의 제공에 관한 처리 플로우의 일례에 대하여 설명하였다. 계속해서, 도 16을 참조하여, 서버(100) 또는 클라이언트(200)의 하드웨어 구성예에 대하여 설명한다.
도 16은, 서버(100) 또는 클라이언트(200)를 구현하는 정보 처리 장치(900)의 하드웨어 구성예를 도시하는 블록도이다. 정보 처리 장치(900)는, CPU(Central Processing Unit)(901)와, ROM(Read Only Memory)(902)과, RAM(Random Access Memory)(903)과, 호스트 버스(904)와, 브리지(905)와, 외부 버스(906)와, 인터페이스(907)와, 입력 장치(908)와, 출력 장치(909)와, 스토리지 장치(HDD)(910)와, 드라이브(911)와, 통신 장치(912)를 구비한다.
CPU(901)는, 연산 처리 장치 및 제어 장치로서 기능하며, 각종 프로그램에 따라 정보 처리 장치(900) 내의 동작 전반을 제어한다. 또한, CPU(901)는, 마이크로 프로세서여도 된다. ROM(902)은, CPU(901)가 사용할 프로그램이나 연산 파라미터 등을 기억한다. RAM(903)은, CPU(901)의 실행에 있어서 사용할 프로그램이나, 그 실행에 있어서 적절하게 변화하는 파라미터 등을 일시 기억한다. 이들은 CPU 버스 등으로 구성되는 호스트 버스(904)에 의해 서로 접속되어 있다. 당해 CPU(901), ROM(902) 및 RAM(903)의 협동에 의해, 서버(100)의 콘텐츠 작성부(110) 혹은 콘텐츠 제공부(120), 또는 클라이언트(200)의 센서부(210) 혹은 제어부(230)의 각 기능이 실현된다.
호스트 버스(904)는, 브리지(905)를 통하여, PCI(Peripheral Component Interconnect/Interface) 버스 등의 외부 버스(906)에 접속되어 있다. 또한, 반드시 호스트 버스(904), 브리지(905) 및 외부 버스(906)를 분리 구성할 필요는 없으며, 하나의 버스에 이들 기능을 실장해도 된다.
입력 장치(908)는, 마우스, 키보드, 터치 패널, 버튼, 마이크로폰, 스위치 및 레버 등 유저가 정보를 입력하기 위한 입력 수단과, 유저에 의한 입력에 기초하여 입력 신호를 생성하고, CPU(901)에 출력하는 입력 제어 회로 등으로 구성되어 있다. 정보 처리 장치(900)를 사용하는 유저는, 해당 입력 장치(908)를 조작함으로써, 각 장치에 대하여 각종 데이터를 입력하거나 처리 동작을 지시하거나 할 수 있다. 당해 입력 장치(908)에 의해, 클라이언트(200)의 입력부(220)의 기능이 실현된다.
출력 장치(909)는, 예를 들어 CRT(Cathode Ray Tube) 디스플레이 장치, 액정 디스플레이(LCD) 장치, OLED(Organic Light Emitting Diode) 장치 및 램프 등의 표시 장치를 포함한다. 또한, 출력 장치(909)는, 스피커 및 헤드폰 등의 음성 출력 장치를 포함한다. 출력 장치(909)는, 예를 들어 재생된 콘텐츠를 출력한다. 구체적으로는, 표시 장치는 재생된 영상 데이터 등의 각종 정보를 텍스트 또는 이미지로 표시한다. 한편, 음성 출력 장치는, 재생된 음성 데이터 등을 음성으로 변환하여 출력한다. 당해 출력 장치(909)에 의해, 클라이언트(200)의 출력부(240)의 기능이 실현된다.
스토리지 장치(910)는, 데이터 저장용 장치이다. 스토리지 장치(910)는, 기억 매체, 기억 매체에 데이터를 기록하는 기록 장치, 기억 매체로부터 데이터를 판독하는 판독 장치 및 기억 매체에 기록된 데이터를 삭제하는 삭제 장치 등을 포함해도 된다. 스토리지 장치(910)는, 예를 들어 HDD(Hard Disk Drive)로 구성된다. 이 스토리지 장치(910)는, 하드 디스크를 구동하고, CPU(901)가 실행할 프로그램이나 각종 데이터를 저장한다. 당해 스토리지 장치(910)에 의해, 서버(100)의 기억부(140) 또는 클라이언트(200)의 기억부(260)의 기능이 실현된다.
드라이브(911)는, 기억 매체용 리더/라이터이며, 정보 처리 장치(900)에 내장 혹은 외장된다. 드라이브(911)는, 장착되어 있는 자기 디스크, 광 디스크, 광 자기 디스크, 또는 반도체 메모리 등의 리무버블 기억 매체(913)에 기록되어 있는 정보를 판독하여, RAM(903)에 출력한다. 또한, 드라이브(911)는, 리무버블 기억 매체(913)에 정보를 기입할 수도 있다.
통신 장치(912)는, 예를 들어 통신망(914)에 접속하기 위한 통신 디바이스 등으로 구성된 통신 인터페이스이다. 통신 장치(912)에 의해, 서버(100)의 통신부(130) 또는 클라이언트(200)의 통신부(250)의 기능이 실현된다.
<2. 실시예>
상기에서는, 본 개시에 관한 일 실시 형태에 대하여 설명하였다. 상기에서는, 콘텐츠의 제공에 관한 주된 예에 대하여 설명하였지만, 서버(100)는, 상기 이외에도 여러 가지 양태로 콘텐츠를 제공 가능하다. 이후에서는, 서버(100)에 의한 콘텐츠의 제공의 베리에이션에 대하여 여러 가지 실시예를 설명한다.
(2.1. 제1 실시예)
예를 들어, 유저가, 차폐형 HMD(202) 등의 클라이언트(200)를 사용하고 있는 경우에 있어서, 서버(100)의 취득부(121)는, 유저 상황 정보 또는 행동 로그 등을 취득한다. 그리고, 상기한 바와 같이, 콘텐츠 제공 제어부(123)는, 유저 상황 정보에 포함되는 위치 정보나, 행동 로그에 기초하여 VR 콘텐츠를 제안할 수 있다. 이때, 콘텐츠 제공 제어부(123)는, 도 17에 도시하는 바와 같이, 실공간에 대응하는 가상 공간의 지도의 부감도(버드 뷰)에 대하여, 제안하는 VR 콘텐츠가 제공되고 있는 위치를 POI(Point of Interest)로서 표시시킬 수 있다(도 17의 예에서는 POI(14) 및 POI(15)가 표시되어 있음).
그때, 콘텐츠 제공 제어부(123)는, POI(15)와 같이, VR 콘텐츠의 내용을 나타내는 화상(예를 들어, VR 콘텐츠의 포스터 화상 또는 VR 콘텐츠의 한 장면을 나타내는 화상 등)을 함께 표시시켜도 된다. 또한, 콘텐츠 제공 제어부(123)는, POI(14)와 같이, VR 콘텐츠의 내용을 나타내는 화상 이외의 정보를 표시시켜도 된다. 예를 들어, POI(14)의 예에서는, 「총 유저수」, 「요금」, 「소요 시간」 및 「난이도」가 표시되어 있다. 「총 유저수」는, 표시 시점에 있어서의, POI(14)에 대응하는 VR 콘텐츠를 플레이하고 있는 유저수의 총합을 나타내고 있고, 「요금」은, 당해 VR 콘텐츠의 플레이 요금을 나타내고 있고, 「소요 시간」은, 당해 VR 콘텐츠의 개시부터 종료까지 요하는 시간(또는 개시부터 종료까지 요하는 시간의 평균값)을 나타내고 있고, 「난이도」는, 당해 VR 콘텐츠의 난이도를 나타내고 있다. 또한, POI에 표시되는 정보는, 상기에 한정되지 않는다.
유저는, 소정의 방법(예를 들어, 클라이언트(200)의 입력부(220)로의 입력, 또는 클라이언트(200)를 장착한 상태에서의 제스처 혹은 콘텐츠의 주시 등)으로 플레이할 VR 콘텐츠를 선택한다. 그 후, 서버(100)의 루트 결정부(122)는, 가상 공간에 있어서의 현재지(또는 소정의 방법으로 유저에 의해 선택된 위치)로부터 선택된 VR 콘텐츠가 제공되고 있는 위치까지의 권장 루트(16)를 출력하고, 콘텐츠 제공 제어부(123)는, 당해 권장 루트(16)를 클라이언트(200)에 표시시킨다. 또한, 콘텐츠 제공 제어부(123)는, 예를 들어 실공간에 있어서의 권장 루트(16) 상의 점포나 이벤트 등의 광고 정보 등을 제공해도 된다.
유저가, 가상 공간에 있어서 권장 루트(16)를 이동할 때에는, 콘텐츠 제공 제어부(123)는, 도 18의 18A에 도시하는 지도의 부감도(버드뷰)로부터 18B에 도시하는 가상 공간에 있어서의 유저의 위치에 대응하는 전천구 화상(예를 들어, 실공간을 재현한 전천구 화상 등)을 표시시킨다. 보다 구체적으로는, 콘텐츠 제공 제어부(123)는, 클라이언트(200)로부터 취득된, 가상 공간에 있어서의 유저의 위치 정보에 기초하여 당해 권장 루트(16) 상의 각 위치에 대응하는 전천구 화상을 클라이언트(200)에 표시시킨다. 이때, 콘텐츠 제공 제어부(123)는, 유저에 의한 권장 루트(16)의 이동에 연동되도록, 전천구 화상이 연속적으로 재생되는 하이퍼랩스 동화상을 클라이언트(200)에 재생시켜도 된다(환언하면, 타임랩스 동화상을 클라이언트(200)에 재생시키지 않아도 됨). 이에 의해, 콘텐츠 제공 제어부(123)는, 보다매끄럽게 다이내믹한 표시를 유저에 대하여 제공할 수 있다. 또한, 하이퍼랩스 동화상의 재생 속도는, 유저에 의해 적절하게 조정되어도 된다. 또한, 콘텐츠 제공 제어부(123)는, 전천구 화상이 아니라 자유 시점 화상을 표시시켜도 된다.
그리고, 유저가, 선택한 VR 콘텐츠의 제공 위치에 도착하여, VR 콘텐츠를 플레이할 때에는, 도 19에 도시하는 바와 같이, 콘텐츠 제공 제어부(123)는, 가상 오브젝트로서 캐릭터(17)를 표시시켜도 된다. 그리고, 콘텐츠 제공 제어부(123)는, 이벤트의 진행에 따라 캐릭터(17)를 화면에 대하여 안측 방향을 향하여 이동시킴으로써, 유저에 대하여 루트를 인식시켜도 된다.
또한, 복수의 유저가 동시에 당해 VR 콘텐츠를 플레이하고 있는 경우, 콘텐츠 제공 제어부(123)는, 각 유저의 위치 정보에 기초하여 다른 유저를 나타내는 아바타(18) 내지 아바타(20)를 표시시켜도 된다. 이에 의해, 콘텐츠 제공 제어부(123)는, 다른 유저가 VR 콘텐츠를 플레이하고 있는 모습을 유저에 대하여 나타낼 수 있다. 또한, 콘텐츠 제공 제어부(123)는, VR 콘텐츠의 번화함 등을 표현할 수 있다. 또한, 콘텐츠 제공 제어부(123)는, 과거(예를 들어, 최근 1주일 이내 등)에 당해 VR 콘텐츠를 플레이한 유저의 아바타를 표시시켜도 된다. 또한, 콘텐츠 제공 제어부(123)는, 아바타의 혼잡 상황 등에 기초하여 표시시키는 아바타의 수를 조절해도 된다. 또한, 콘텐츠 제공 제어부(123)는, 미리 준비된 화상을 랜덤하게 선택함으로써, 당해 화상을 아바타로서 표시시켜도 되고, 유저에 의해 입력된 화상을 아바타로서 표시시켜도 된다. 콘텐츠 제공 제어부(123)는, AR 콘텐츠를 플레이하고 있는(또는 플레이하고 있던) 클라이언트(200)의 위치 정보에 기초하여, VR 콘텐츠를 플레이하고 있는 클라이언트(200) 상에 아바타를 표시해도 된다.
또한, 콘텐츠 제공 제어부(123)는, 각 유저가 진행하고 있는 이벤트에 설정된 조건에 따른 행동(예를 들어, 손을 흔듬, 퀴즈에 대하여 고개를 갸웃거림)을, 각 아바타에 행하게 할 수도 된다. 이에 의해, 콘텐츠 제공 제어부(123)는, 유저에 대하여 VR 콘텐츠의 임장감을 보다 구체적으로 느끼게 할 수 있다.
(2.2. 제2 실시예)
제2 실시예는, 복수의 유저가 동시에 플레이 가능한 콘텐츠(레이드 콘텐츠)에 관한 실시예이다.
본 실시예에 있어서, 콘텐츠 제공 제어부(123)는, 복수의 유저에 의해 사용되고 있는 클라이언트(200)로부터의 유저 상황 정보(위치 정보를 포함함)에 기초하여, 각 유저의 상황(위치 관계를 포함함)을 파악함으로써, 각 유저의 상황(위치 관계를 포함함)을 AR 콘텐츠 또는 VR 콘텐츠에 반영시킬 수 있다.
예를 들어, 도 20에 도시하는 바와 같이, 콘텐츠 제공 제어부(123)는, 유저 A에 대응하는 아바타(21)와 유저 B에 대응하는 아바타(22)가 몬스터(23)와 싸우는 콘텐츠 등을, 유저 A 및 유저 B에 대하여 동시에 제공할 수 있다. 콘텐츠 제공 제어부(123)는, 유저 A 및 유저 B의 위치 정보에 기초하여 이벤트를 발생시키거나, 가상 오브젝트(예를 들어, 몬스터(23) 등)를 공통화시키거나 하는 것 등에 의해, 이들 유저에 대하여 높은 임장감 및 오락성을 제공할 수 있다.
여기서, 몬스터(23)의 거동이나 위치는, 시시각각 변화하는 유저 A, B 각각의 위치나 거동에 따라 변화하는 편이 몰입감의 관점에서 바람직하다. 이를 위해서는, 유저 A의 클라이언트(200)로부터 송신된 유저 상황 정보(위치 정보를 포함함), 및 유저 B의 클라이언트(200)로부터 송신된 유저 상황 정보(위치 정보를 포함함)에 기초하여, 서버(100) 상에서 처리된 공통의 콘텐츠 정보가 유저 A, 유저 B의 클라이언트(200)에 대하여 실시간으로 송신될 필요가 있다.
그러나, 각 유저의 유저 상황 정보는, 각 클라이언트(200)에 구비된 복수의 센서에 의해 취득되며, 통상은 상한을 갖는 통신 속도로 서버(100)에 송신된다. 그 때문에, 콘텐츠의 진행이 지연될 가능성이 있고, 또한 유저별로 지연 정도가 다를 가능성이 있다.
그래서, 클라이언트(200)는, 서버(100)와의 통신뿐만 아니라, 다른 클라이언트(200)와 Bluetooth 등의 근거리 무선 통신을 행함으로써, 당해 과제를 해결해도 된다. 예를 들어, 우선, 유저 A의 클라이언트(200)는, 몬스터(23)의 현재 위치를 서버(100)로부터 취득하고 있는 것으로 하자. 몬스터(23)의 위치 정보는, 유저 B의 클라이언트(200)에 의해서도 실시간으로 취득되고 있다. 유저 A는, 몬스터(23)에 대하여, 예를 들어 오른쪽에서 왼쪽으로 손을 뿌리치는 제스처를 행한다. 유저 A의 클라이언트(200)는, 유저 A의 제스처에 관한 유저 상황 정보와, 서버(100)로부터 취득한 몬스터(23)의 위치 정보에 기초하여, 몬스터(23)가 튕겨졌는지 여부를, 서버(100)를 통하지 않고 판정한다. 그리고, 유저 A의 클라이언트(200)는, 판정 결과에 따라 "몬스터(23)가 튕겨졌다"고 하는 콘텐츠 정보(또는 콘텐츠 정보에 포함되는 이벤트 정보)를 생성한다.
유저 A의 클라이언트(200)에 의해 생성된 콘텐츠 정보는, 소정의 통신 방식에 의해 서버(100)에 송신됨과 함께, 유저 B의 클라이언트(200)에 Bluetooth 등의 근거리 무선 통신으로 송신된다. 이에 의해, 유저 B의 클라이언트(200)는, "유저 A에 의해 몬스터(23)가 튕겨졌다"고 하는 이벤트의 발생을 인식할 수 있다.
그 후, 유저 B의 클라이언트(200)는, 당해 콘텐츠 정보에 기초하여 몬스터(23)의 거동을 제어한다. 환언하면, 유저 B의 클라이언트(200)는, 서버(100)를 통하지 않고, "유저 A에 의해 몬스터(23)가 튕겨졌다"고 하는 이벤트를 유저 B에게 제공할 수 있다.
서버(100)를 통하지 않고 처리된 몬스터(23)의 거동이나 위치는, 서버(100)에 의한 처리 결과에 따라 보정된다. 이때, 서버(100)는, 유저 A 및 유저 B에 의한 행동의, 콘텐츠로의 반영을 가능한 한 실시간으로 실현하기 위해, 유저 A의 클라이언트(200)에 있어서의 처리 결과를 우선하여 보정 처리를 행해도 된다. 예를 들어, 유저 A의 제스처 시에, 유저 B의 위치나 거동에 따라 몬스터(23)의 위치가 변화함으로써, 유저 A에 의한 오른쪽에서 왼쪽으로 손을 뿌리치는 제스처가 본래라면 몬스터(23)에 닿지 않는 경우가 생길 수 있다. 이러한 경우라도, 서버(100)는, 유저 A의 클라이언트(200)에 의해 처리된 "유저 A에 의해 몬스터(23)가 튕겨졌다"고 하는 결과를 우선하고, 그 결과에 따라 이벤트의 진행을 보정해도 된다. 구체적으로는, 서버(100)는, "유저 A에 의해 몬스터(23)가 튕겨졌다"고 하는 결과를 전제로, 유저 A 및 유저 B의 클라이언트(200)에 있어서의 몬스터(23)의 위치가 정합되도록, 유저 A 및 유저 B의 클라이언트(200)에 있어서의 몬스터(23)의 위치를 보정한다.
이에 의해, 유저 A 및 유저 B 각각에 의한 제스처가, 각 클라이언트(200)에 의해 실행되는 콘텐츠에 대하여, 적은 지연으로 반영될 수 있다. 또한, 각각의 클라이언트(200)의 센서 정보가 참작된 결과, 몬스터(23)에 닿은 제스처(오른쪽에서 왼쪽으로 손을 뿌리치는 제스처)가 닿지 않도록 보정되는 등의 이벤트의 되감기를 방지할 수 있어, 유용성의 저하를 억제할 수 있다.
(2.3. 제3 실시예)
제3 실시예는, AR 콘텐츠 및 VR 콘텐츠 사이에서의 리얼타임 인터랙션에 관한 실시예이다.
AR 콘텐츠를 플레이하고 있는 유저 A와, 당해 AR 콘텐츠에 대응하는 VR 콘텐츠를 유저 A와 동일한 타이밍에 플레이하고 있는 유저 B가 존재하는 경우에 대하여 생각하자. 이 경우, 서버(100)는, 각 유저에 의해 사용되고 있는 클라이언트(200)로부터 유저 상황 정보(위치 정보를 포함함)를 수신하고, 각 유저의 상황(위치 관계를 포함함)을 파악함으로써, 각 유저의 상황을 AR 콘텐츠 및 VR 콘텐츠의 각각에 반영시킬 수 있다.
이에 의해, 서버(100)는, 유저 A가 플레이하고 있는 AR 콘텐츠에 있어서의 이벤트와, 유저 B가 플레이하고 있는 VR 콘텐츠에 있어서의 이벤트를 동기시킬 수 있기 때문에, 이들 유저에 대하여 높은 임장감 및 오락성을 제공할 수 있다. 예를 들어, 각 유저는 협력하여 이벤트를 실시할 수 있다(예를 들어, 문제의 해결 등).
이 경우, VR 콘텐츠를 플레이하고 있는 유저 B의 이동 속도나 이동 범위는, AR 콘텐츠와 이벤트를 동기시키지 않고 VR 콘텐츠 단체가 재생되는 경우보다 제한된다. 보다 구체적으로는, 가상 공간 내의 이동 속도는, 실공간을 도보로 이동하였을 때의 속도에 대응하도록 시속 4 내지 10[km] 정도로 제한된다. 또한, VR 콘텐츠를 플레이하고 있는 유저 B의 이동 범위에 대하여, 가상 공간에 있어서 도로의 중앙을 걷는 것이 금지되어도 되고, 횡단보도를 이용하지 않으면 도로를 횡단할 수 없도록 이동 범위가 제한되어도 된다.
AR 콘텐츠를 플레이하는 유저 A의 클라이언트(200)에는, VR 콘텐츠를 플레이하는 유저 B의 실공간에 있어서의 위치가 표시되어도 된다. 예를 들어, 유저 A의 클라이언트(200)가 스마트폰(혹은 투과형 HMD)인 경우, 유저 B가 위치하는 범위로 스마트폰의 카메라의 화각을 향하게 함으로써, 유저 B를 나타내는 아바타가 실공간의 상에 중첩되도록 스마트폰의 표시가 제어된다. 한편, VR 콘텐츠를 플레이하는 유저 B의 클라이언트(200)에는, AR 콘텐츠를 플레이하는 유저 A의 실공간에 있어서의 위치가 표시되어도 된다. 유저 A의 실공간에 있어서의 위치는, 예를 들어 GPS에 의해 검출된다. 유저 B의 클라이언트(200)가 HMD인 경우, 유저 A가 위치하는 범위로 HMD를 향하게 함으로써, 유저 A를 나타내는 아바타가 예를 들어 전천구 영상에 중첩되도록 HMD의 표시가 제어된다.
그런데, AR 콘텐츠를 플레이하는 유저 A의 클라이언트(200)의 위치 및 방향은, 예를 들어 GPS, 가속도 센서, 자이로 센서 등의 각종 센서의 조합에 의해 특정될 수 있다. 한편, 각종 센서는 각각 검출 오차를 갖기 때문에, 각종 센서에 의해 취득되는 센서값이 나타내는 유저 A의 위치와 방향은, 유저 A의 실제의 위치와 방향과는 다를 수 있다. 따라서, 유저 B의 클라이언트(200)에 있어서의, 센서값에 기초하는 유저 A를 나타내는 아바타의 위치 및 방향은, 실제의 유저 A의 위치 및 방향과 다를 수 있다. 이 결과, AR 콘텐츠를 플레이하는 유저 A의 시선과 VR 콘텐츠를 플레이하는 유저 B의 시선은, 커뮤니케이션 시에 의도하지 않게 어긋날 가능성이 있다.
상기 과제를 감안하여, 유저 B와 유저 A의 사이에서 커뮤니케이션이 행해질 것으로 추정되는 경우에는, 예를 들어 유저 B의 클라이언트(200)에 있어서의 유저 A의 시선은 적절하게 보정되는 것이 바람직하다. 구체적으로는, 실공간에 있어서의 유저 A의 위치와 유저 B의 위치를 연결하는 직선과 유저 A의 클라이언트(200)의 방향이 이루는 각도가 감소하고 있는, 즉 유저 A와 유저 B가 정면으로 대향하려고 하고 있다고 추정된 경우, 유저 B의 클라이언트(200)에 있어서, 유저 A의 클라이언트(200)에 의해 취득되는 센서값은 유저 A가 유저 B에 정면으로 대향하고 있지 않음을 나타내고 있는 경우라도, 유저 A를 나타내는 아바타를 유저 B에 대하여 정면으로 대향시켜도 된다. 즉, 유저 B와 유저 A의 사이에서 커뮤니케이션이 행해질 것으로 추정되는 경우보다, 유저 B와 유저 A의 사이에서 커뮤니케이션이 행해질 것으로 추정되지 않는 경우보다, 아바타의 방향을 크게 변화시킨다. 이 정면 대향 표시 처리는, 유저 A의 클라이언트(200)에 있어서도, 마찬가지로 실행되어도 된다. 이에 의해, 유저 A와 유저 B의 커뮤니케이션에 있어서의 시선의 불일치를 완화 또는 해소할 수 있다.
(2.4. 변형예)
상기 실시예에 있어서는, 기본적으로 지구 상에 관한 AR 콘텐츠 및 VR 콘텐츠에 대하여 설명하였지만, 본 개시에 관한 서버(100)는, 지구 밖에 관한 AR 콘텐츠 및 VR 콘텐츠의 제공에도 사용될 수 있다. 예를 들어, 달이나 화성과 같은 천체 표면의 지도에 가상 오브젝트를 관련지어, VR 콘텐츠가 작성되어도 된다. 혹은, 3차원적인 우주 공간의 지도를 이용하여 VR 콘텐츠가 작성되어도 된다. 이러한 지구 밖의 콘텐츠는, 예를 들어 우주 비행사의 훈련이나, 민간인에 의한 의사적인 우주 여행의 콘텐츠로서 제공될 수 있다. 혹은, 지구 상에서 이용 가능한 천체 관측 콘텐츠로서 제공될 수 있다.
상기 실시예에 있어서는, 콘텐츠를 제작하는 유저가 적절하게 가상 오브젝트를 지도 정보에 배치하는 예를 설명하였다. 일반적으로, 절과 신사, 불각과 같은 에어리어나, 선로 상과 같이 위험성이 높은 에어리어 등에 관해서는, 당해 에어리어를 관리하는 조직(또는 관리인)으로부터 당해 에어리어에서의 AR 콘텐츠의 제공에 대하여 사전에 인가를 받는 것이 바람직하다. 따라서, 유저에 의한 각 콘텐츠의 플레이 에어리어의 설정에 기초하여 플레이 에어리어에 관련된 AR 콘텐츠 관리 조직을, 네트워크를 통하여 검색하고, 검색 결과에 기초하는 인가 관련 정보를 GUI 상에서 유저에게 제시해도 된다. 혹은, 검색 결과에 기초하여 E 메일 등으로 AR 콘텐츠 관리 조직에 자동적으로 인가 신청을 송신하도록 플랫폼이 구성되어도 된다. 또한, 플랫폼이 당해 콘텐츠 제공의 인가를 AR 콘텐츠 관리 조직으로부터 수령하지 않은 경우, 서버(100)로부터 클라이언트(200)로의 AR 콘텐츠의 제공을 금지하도록 서버(100)를 제어해도 된다. 한편, 인가의 검토를 위해, 적어도 AR 콘텐츠 관리 조직에 대한 제작된 VR 콘텐츠의 제공은 허가되어도 된다.
본 개시에 있어서의 플랫폼을 통하여, 복수명의 유저의 클라이언트(200)에 의해 취득된 2D 화상을 사용하여, 특정의 실제 오브젝트의 3D 모델링이 행해져도 된다. AR 콘텐츠를 플레이하는 각 유저는, 예를 들어 「다음에, 봉제 인형을 촬영한다」라는 지시(이벤트)를 받는 경우가 있다. 이 지시에 따라, 각 유저의 클라이언트(200)로부터, 다른 시점, 각도에서 촬영된 봉제 인형을 포함하는 서로 다른 복수의 2D 화상이 서버(100)에 송신된다. 서버(100)는, 이 복수의 2D 화상의 특징점을 해석하여, 봉제 인형의 3D 가상 오브젝트를 생성할 수 있다. 서버(100)는, 수신하는 다수의 2D 화상으로부터, 실제 오브젝트의 3D 모델링에 사용할 2D 화상의 후보를, 2D 화상을 송신한 클라이언트(200)가 진행하고 있던 특정 이벤트 정보, 및 클라이언트(200)의 위치 정보에 기초하여 특정(한정)할 수 있다. 따라서, 서버(100)는, 3D 모델링에 걸리는 해석 부하를 효율적으로 저감할 수 있다. 생성된 3D 가상 오브젝트는, 위치 정보를 부여하여 플랫폼 상에서 공유될 수 있다. 이에 의해, AR 콘텐츠의 제공에 수반하여 AR 콘텐츠에 사용할 수 있는 3D 가상 오브젝트가 수집될 수 있다. 수집된 3D 가상 오브젝트는, 플랫폼 상에서, 예를 들어 VR 콘텐츠 내에서 표시되는 3D 가상 오브젝트로서 적절하게 제공되어도 된다. 또한, 수집된 3D 가상 오브젝트에는, 블록 체인 기술을 이용하여, 2D 화상을 송신하는 복수명의 유저의 클라이언트(200)에 의한 계산 결과로부터 취득되는, 각 유저 또는 클라이언트(200)의 프로퍼티 정보가 부여되어도 된다. 이 프로퍼티 정보는, 적절하게 3D 가상 오브젝트의 생성에 관한 각 유저의 기여율의 계산에 이용되며, 계산된 기여율에 따라 각 유저에게는 보답이 지급되어도 된다. 보답의 지급은, 예를 들어 블록 체인 기술에 기초하는 가상 통화를 포함하는 통화 정보의 부여, 혹은 AR 콘텐츠에 관련된 특전 데이터의 부여에 의해 행해질 수 있다.
<3. 마무리>
이상에서 설명한 바와 같이, 본 개시는 AR 콘텐츠의 제공에 사용되는 정보의 적어도 일부를 사용하여 VR 콘텐츠를 제공 가능한 플랫폼을 제공할 수 있다. 보다 구체적으로는, 본 개시에 관한 서버(100)는, AR 콘텐츠의 제공에 사용되는 정보의 적어도 일부를 사용하여 VR 콘텐츠를 작성할 수 있다. 그리고, 서버(100)는, 작성한 VR 콘텐츠를 클라이언트(200)에 제공할 수 있다. 또한, 서버(100)는, AR 콘텐츠를 작성할 수도 있고, 작성한 AR 콘텐츠를 클라이언트(200)에 제공할 수도 있다.
이에 의해, 본 개시는, AR 콘텐츠에 대응하는 VR 콘텐츠를 유저에게 체험시킴으로써, 원래 현지에서만 체험할 수 있었던 AR 콘텐츠에 대한 유저의 흥미를 야기할 수 있어, AR 콘텐츠를 보다 효율적으로 보급시킬 수 있다.
이상, 첨부 도면을 참조하면서 본 개시의 적합한 실시 형태에 대하여 상세하게 설명하였지만, 본 개시의 기술적 범위는 이러한 예에 한정되지 않는다. 본 개시의 기술 분야에 있어서의 통상의 지식을 갖는 자라면, 청구범위에 기재된 기술적 사상의 범주 내에 있어서, 각종 변경예 또는 수정예에 상도할 수 있는 것은 명확하며, 이들에 대해서도, 당연히 본 개시의 기술적 범위에 속하는 것이라고 이해된다.
예를 들어, AR 콘텐츠 및 VR 콘텐츠라고 하는 문맥에서 벗어나, 유저에 의한 소정의 조작(예를 들어, 드래그&드롭 등의 간단한 조작)으로 실공간(또는 실공간에 있어서의 임의의 오브젝트)에 가상 오브젝트를 관련지어, 클라이언트(200)의 종류에 의존하지 않고 당해 가상 오브젝트를 공유 가능한 시스템이 제공되어도 된다. 이에 의해, 예를 들어 유저가, 클라이언트(200)에 표시된 GUI 화면을 사용하여, 가상적인 자재(가상 오브젝트)를 빈 테넌트에 드래그&드롭으로 배치하고, 당해 유저(또는 다른 유저)가 실제로 빈 테넌트에 다다렀을 때 당해 가상 오브젝트를 클라이언트(200)에서 시인한다는 체험이 제공될 수 있다.
또한, 가상 오브젝트로서, 위치 정보와 관련지어진, 크리에이티브ㆍ커먼즈로서 설정된 오브젝트나, 공개 유료 오브젝트, 특정 유저에게만 한정된 오브젝트 등이 적절하게 검색되어, 이용되어도 된다.
또한, 본 명세서에 기재된 효과는, 어디까지나 설명적 또는 예시적인 것이며 한정적인 것은 아니다. 즉, 본 개시에 관한 기술은, 상기 효과와 함께, 또는 상기 효과 대신에, 본 명세서의 기재로부터 당업자에게는 명확한 다른 효과를 발휘할 수 있다.
또한, 이하와 같은 구성도 본 개시의 기술적 범위에 속한다.
(1)
가상 오브젝트의 화상 정보 및 실공간에 있어서의 상기 가상 오브젝트의 위치 정보를 포함하고, 상기 실공간을 나타내는 지도 정보에 대하여 부가되는 콘텐츠 정보를 취득하는 취득부와,
상기 콘텐츠 정보에 기초하여, 상기 위치 정보에 대응하는 가상 공간에 있어서의 위치에, 일인칭 시점에서 시인 가능한 상기 가상 공간의 상에 대하여 중첩되도록 상기 화상 정보를 제1 클라이언트 단말기에 표시시키는 제1 제어부를 구비하는,
정보 처리 장치.
(2)
상기 가상 공간의 상은, 상기 실공간의 촬상 화상에 기초하는 상기 실공간에 대응하는 상인,
상기 (1)에 기재된 정보 처리 장치.
(3)
상기 제1 제어부는, 상기 제1 클라이언트 단말기와는 다른 제2 클라이언트 단말기의 상기 지도 정보에 관한 위치 정보에 기초하여, 상기 제2 클라이언트 단말기에 대응하는 아바타를, 상기 가상 공간의 상에 대하여 중첩되도록 상기 제1 클라이언트 단말기에 표시시키는,
상기 (2)에 기재된 정보 처리 장치.
(4)
상기 제1 제어부는, 상기 지도 정보에 관한 상기 제1 클라이언트 단말기의 위치 정보, 상기 제2 클라이언트 단말기의 상기 위치 정보, 및 상기 제2 클라이언트 단말기의 자세 정보에 기초하여, 상기 제1 클라이언트 단말기의 유저와 상기 제2 클라이언트 단말기의 유저의 사이에서의 커뮤니케이션이 행해질 것으로 추정된 경우, 상기 커뮤니케이션이 행해질 것으로 추정되지 않는 경우보다, 상기 아바타의 방향을 크게 변화시키는,
상기 (3)에 기재된 정보 처리 장치.
(5)
상기 콘텐츠 정보는, 상기 가상 오브젝트에 의해 행해질 이벤트에 관한 정보를 더 포함하는,
상기 (1) 내지 (4) 중 어느 한 항에 기재된 정보 처리 장치.
(6)
상기 콘텐츠 정보는, 상기 가상 오브젝트의 음상 정보를 더 포함하고,
상기 제1 제어부는, 상기 콘텐츠 정보에 기초하여, 상기 위치 정보에 대응하는 가상 공간에 있어서의 위치에서 상기 음상 정보를 출력시키는,
상기 (1) 내지 (5) 중 어느 한 항에 기재된 정보 처리 장치.
(7)
상기 콘텐츠 정보에 기초하여, 상기 위치 정보에 대응하는 상기 실공간에 있어서의 위치에, 상기 실공간의 상에 대하여 중첩되도록 상기 화상 정보를 표시시키는 제2 제어부를 더 구비하는,
상기 (1) 내지 (6) 중 어느 한 항에 기재된 정보 처리 장치.
(8)
유저로부터의 입력에 기초하여 상기 콘텐츠 정보를 작성하는 콘텐츠 작성부를 더 구비하는,
상기 (1) 내지 (7) 중 어느 한 항에 기재된 정보 처리 장치.
(9)
상기 콘텐츠 작성부는, AR(Augmented Reality) 콘텐츠, 및 상기 AR 콘텐츠에 대응하는 VR(Virtual Reality) 콘텐츠를 작성하는,
상기 (8)에 기재된 정보 처리 장치.
(10)
상기 콘텐츠 작성부는, 상기 AR 콘텐츠의 작성에 사용되는 정보의 적어도 일부를 사용하여 상기 VR 콘텐츠를 작성하는,
상기 (9)에 기재된 정보 처리 장치.
(11)
상기 콘텐츠 작성부는, 상기 입력에 사용되는 GUI 화면을 유저에게 제공하는,
상기 (8) 내지 (11) 중 어느 한 항에 기재된 정보 처리 장치.
(12)
상기 콘텐츠 작성부는, 상기 GUI 화면으로서, 상기 화상 정보의 입력 화면, 상기 위치 정보의 입력 화면, 또는 상기 가상 오브젝트에 의해 행해지는 이벤트에 관한 정보의 입력 화면을 상기 유저에게 제공하는,
상기 (11)에 기재된 정보 처리 장치.
(13)
상기 콘텐츠 작성부는,
상기 유저에 의한 가상 오브젝트에 대한 드래그 조작 정보 및 드롭 조작 정보를 수신하고,
상기 가상 오브젝트의 프로퍼티와, 상기 드래그 조작 정보에 대응하는 상기 가상 오브젝트의 드롭 위치와, 상기 드롭 위치에 대응하는 상기 지도 정보의 조합이 소정의 조건을 충족한 경우에, 상기 가상 오브젝트의 위치를 지도 정보에 기초하여 자동적으로 조정하고,
상기 조합이 상기 소정의 조건을 충족하지 않은 경우에, 상기 가상 오브젝트의 위치를 유저에 의한 드롭 위치로 설정하는,
상기 (12)에 기재된 정보 처리 장치.
(14)
상기 콘텐츠 작성부는, AR 콘텐츠를 플레이하는 복수의 클라이언트 단말기로부터 취득되는 복수의 촬상 화상, 상기 복수의 클라이언트 단말기로부터 취득되는 상기 AR 콘텐츠의 콘텐츠 정보, 및 상기 복수의 클라이언트 단말기의 상기 지도 정보에 관한 위치 정보에 기초하여, 상기 실공간에 있는 특정의 실제 오브젝트의 3D 모델링을 행하는,
상기 (8) 내지 (13) 중 어느 한 항에 기재된 정보 처리 장치.
(15)
가상 오브젝트의 화상 정보 및 실공간에 있어서의 상기 가상 오브젝트의 위치 정보를 포함하고, 상기 실공간을 나타내는 지도 정보에 대하여 부가되는 콘텐츠 정보를 취득하는 것과,
상기 콘텐츠 정보에 기초하여, 상기 위치 정보에 대응하는 가상 공간에 있어서의 위치에, 일인칭 시점에서 시인 가능한 상기 가상 공간의 상에 대하여 중첩되도록 상기 화상 정보를 제1 클라이언트 단말기에 표시시키는 것을 갖는,
컴퓨터에 의해 실행되는 정보 처리 방법.
(16)
가상 오브젝트의 화상 정보 및 실공간에 있어서의 상기 가상 오브젝트의 위치 정보를 포함하고, 상기 실공간을 나타내는 지도 정보에 대하여 부가되는 콘텐츠 정보를 취득하는 것과,
상기 콘텐츠 정보에 기초하여, 상기 위치 정보에 대응하는 가상 공간에 있어서의 위치에, 일인칭 시점에서 시인 가능한 상기 가상 공간의 상에 대하여 중첩되도록 상기 화상 정보를 제1 클라이언트 단말기에 표시시키는 것
을 컴퓨터에 실현시키기 위한 프로그램.
100: 서버
110: 콘텐츠 작성부
111: 위치 처리부
112: 오브젝트 처리부
113: 이벤트 처리부
114: 콘텐츠 작성 제어부
120: 콘텐츠 제공부
121: 취득부
122: 루트 결정부
123: 콘텐츠 제공 제어부
130: 통신부
140: 기억부
200: 클라이언트
210: 센서부
211: 외향 카메라
212: 내향 카메라
213: 마이크
214: 자이로 센서
215: 가속도 센서
216: 방위 센서
217: 측위부
220: 입력부
230: 제어부
231: 인식 엔진
231a: 헤드부 자세 인식 엔진
231b: Depth 인식 엔진
231c: SLAM 인식 엔진
231d: 시선 인식 엔진
231e: 음성 인식 엔진
231f: 위치 인식 엔진
231g: 행동 인식 엔진
232: 콘텐츠 처리부
240: 출력부
250: 통신부
260: 기억부

Claims (16)

  1. 가상 오브젝트의 화상 정보 및 실공간에 있어서의 상기 가상 오브젝트의 위치 정보를 포함하고, 상기 실공간을 나타내는 지도 정보에 대하여 부가되는 콘텐츠 정보를 취득하는 취득부와,
    상기 콘텐츠 정보에 기초하여, 상기 위치 정보에 대응하는 가상 공간에 있어서의 위치에, 일인칭 시점에서 시인 가능한 상기 가상 공간의 상에 대하여 중첩되도록 상기 화상 정보를 제1 클라이언트 단말기에 표시시키는 제1 제어부를 구비하는,
    정보 처리 장치.
  2. 제1항에 있어서,
    상기 가상 공간의 상은, 상기 실공간의 촬상 화상에 기초하는 상기 실공간에 대응하는 상인,
    정보 처리 장치.
  3. 제2항에 있어서,
    상기 제1 제어부는, 상기 제1 클라이언트 단말기와는 다른 제2 클라이언트 단말기의 상기 지도 정보에 관한 위치 정보에 기초하여, 상기 제2 클라이언트 단말기에 대응하는 아바타를, 상기 가상 공간의 상에 대하여 중첩되도록 상기 제1 클라이언트 단말기에 표시시키는,
    정보 처리 장치.
  4. 제3항에 있어서,
    상기 제1 제어부는, 상기 지도 정보에 관한 상기 제1 클라이언트 단말기의 위치 정보, 상기 제2 클라이언트 단말기의 상기 위치 정보, 및 상기 제2 클라이언트 단말기의 자세 정보에 기초하여, 상기 제1 클라이언트 단말기의 유저와 상기 제2 클라이언트 단말기의 유저의 사이에서의 커뮤니케이션이 행해질 것으로 추정된 경우, 상기 커뮤니케이션이 행해질 것으로 추정되지 않는 경우보다, 상기 아바타의 방향을 크게 변화시키는,
    정보 처리 장치.
  5. 제1항에 있어서,
    상기 콘텐츠 정보는, 상기 가상 오브젝트에 의해 행해질 이벤트에 관한 정보를 더 포함하는,
    정보 처리 장치.
  6. 제1항에 있어서,
    상기 콘텐츠 정보는, 상기 가상 오브젝트의 음상 정보를 더 포함하고,
    상기 제1 제어부는, 상기 콘텐츠 정보에 기초하여, 상기 위치 정보에 대응하는 가상 공간에 있어서의 위치에서 상기 음상 정보를 출력시키는,
    정보 처리 장치.
  7. 제1항에 있어서,
    상기 콘텐츠 정보에 기초하여, 상기 위치 정보에 대응하는 상기 실공간에 있어서의 위치에, 상기 실공간의 상에 대하여 중첩되도록 상기 화상 정보를 표시시키는 제2 제어부를 더 구비하는,
    정보 처리 장치.
  8. 제1항에 있어서,
    유저로부터의 입력에 기초하여 상기 콘텐츠 정보를 작성하는 콘텐츠 작성부를 더 구비하는,
    정보 처리 장치.
  9. 제8항에 있어서,
    상기 콘텐츠 작성부는, AR(Augmented Reality) 콘텐츠, 및 상기 AR 콘텐츠에 대응하는 VR(Virtual Reality) 콘텐츠를 작성하는,
    정보 처리 장치.
  10. 제9항에 있어서,
    상기 콘텐츠 작성부는, 상기 AR 콘텐츠의 작성에 사용되는 정보의 적어도 일부를 사용하여 상기 VR 콘텐츠를 작성하는,
    정보 처리 장치.
  11. 제8항에 있어서,
    상기 콘텐츠 작성부는, 상기 입력에 사용되는 GUI 화면을 유저에게 제공하는,
    정보 처리 장치.
  12. 제11항에 있어서,
    상기 콘텐츠 작성부는, 상기 GUI 화면으로서, 상기 화상 정보의 입력 화면, 상기 위치 정보의 입력 화면, 또는 상기 가상 오브젝트에 의해 행해지는 이벤트에 관한 정보의 입력 화면을 상기 유저에게 제공하는,
    정보 처리 장치.
  13. 제12항에 있어서,
    상기 콘텐츠 작성부는,
    상기 유저에 의한 가상 오브젝트에 대한 드래그 조작 정보 및 드롭 조작 정보를 수신하고,
    상기 가상 오브젝트의 프로퍼티와, 상기 드래그 조작 정보에 대응하는 상기 가상 오브젝트의 드롭 위치와, 상기 드롭 위치에 대응하는 상기 지도 정보의 조합이 소정의 조건을 충족한 경우에, 상기 가상 오브젝트의 위치를 지도 정보에 기초하여 자동적으로 조정하고,
    상기 조합이 상기 소정의 조건을 충족하지 않은 경우에, 상기 가상 오브젝트의 위치를 유저에 의한 드롭 위치로 설정하는,
    정보 처리 장치.
  14. 제8항에 있어서,
    상기 콘텐츠 작성부는, AR 콘텐츠를 플레이하는 복수의 클라이언트 단말기로부터 취득되는 복수의 촬상 화상, 상기 복수의 클라이언트 단말기로부터 취득되는 상기 AR 콘텐츠의 콘텐츠 정보, 및 상기 복수의 클라이언트 단말기의 상기 지도 정보에 관한 위치 정보에 기초하여, 상기 실공간에 있는 특정의 실제 오브젝트의 3D 모델링을 행하는,
    정보 처리 장치.
  15. 가상 오브젝트의 화상 정보 및 실공간에 있어서의 상기 가상 오브젝트의 위치 정보를 포함하고, 상기 실공간을 나타내는 지도 정보에 대하여 부가되는 콘텐츠 정보를 취득하는 것과,
    상기 콘텐츠 정보에 기초하여, 상기 위치 정보에 대응하는 가상 공간에 있어서의 위치에, 일인칭 시점에서 시인 가능한 상기 가상 공간의 상에 대하여 중첩되도록 상기 화상 정보를 제1 클라이언트 단말기에 표시시키는 것을 갖는,
    컴퓨터에 의해 실행되는, 정보 처리 방법.
  16. 가상 오브젝트의 화상 정보 및 실공간에 있어서의 상기 가상 오브젝트의 위치 정보를 포함하고, 상기 실공간을 나타내는 지도 정보에 대하여 부가되는 콘텐츠 정보를 취득하는 것과,
    상기 콘텐츠 정보에 기초하여, 상기 위치 정보에 대응하는 가상 공간에 있어서의 위치에, 일인칭 시점에서 시인 가능한 상기 가상 공간의 상에 대하여 중첩되도록 상기 화상 정보를 제1 클라이언트 단말기에 표시시키는 것
    을 컴퓨터에 실현시키기 위한, 프로그램.
KR1020207015001A 2017-12-28 2018-11-13 정보 처리 장치, 정보 처리 방법 및 프로그램 KR20200100046A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017253804 2017-12-28
JPJP-P-2017-253804 2017-12-28
PCT/JP2018/041933 WO2019130864A1 (ja) 2017-12-28 2018-11-13 情報処理装置、情報処理方法およびプログラム

Publications (1)

Publication Number Publication Date
KR20200100046A true KR20200100046A (ko) 2020-08-25

Family

ID=67067078

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207015001A KR20200100046A (ko) 2017-12-28 2018-11-13 정보 처리 장치, 정보 처리 방법 및 프로그램

Country Status (5)

Country Link
US (1) US20210375052A1 (ko)
JP (1) JPWO2019130864A1 (ko)
KR (1) KR20200100046A (ko)
DE (1) DE112018006666T5 (ko)
WO (1) WO2019130864A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220052676A (ko) * 2020-10-21 2022-04-28 주식회사 와이드브레인 위치기반 ar 게임 제공 방법 및 장치
KR20220150020A (ko) * 2021-05-03 2022-11-10 주식회사 와이드브레인 위치기반 게임을 이용한 ar 좌표 수집 방법 및 장치
WO2023200318A1 (ko) * 2022-04-15 2023-10-19 주식회사 네모즈랩 가상 공간 상에서 음악을 제공하기 위한 방법, 장치 및 비일시성의 컴퓨터 판독 가능한 기록 매체

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11508134B2 (en) * 2018-12-03 2022-11-22 Maxell, Ltd. Augmented reality display device and augmented reality display method
US20230011625A1 (en) * 2019-12-24 2023-01-12 Nec Corporation Information processing device, control method, and storage medium
US11393171B2 (en) * 2020-07-21 2022-07-19 International Business Machines Corporation Mobile device based VR content control
JP7185670B2 (ja) * 2020-09-02 2022-12-07 株式会社スクウェア・エニックス ビデオゲーム処理プログラム、及びビデオゲーム処理システム
CN114546108A (zh) * 2022-01-14 2022-05-27 深圳市大富网络技术有限公司 一种基于vr/ar的用户操作方法、装置、系统及存储介质
JP7412497B1 (ja) 2022-09-26 2024-01-12 株式会社コロプラ 情報処理システム
JP7413472B1 (ja) 2022-09-26 2024-01-15 株式会社コロプラ 情報処理システムおよびプログラム
JP7354466B1 (ja) * 2023-02-02 2023-10-02 株式会社コロプラ 情報処理システムおよびプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016087017A (ja) 2014-10-31 2016-05-23 株式会社ソニー・コンピュータエンタテインメント 携帯端末装置、ゲーム装置、ゲームシステム、ゲーム制御方法及びゲーム制御プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4048347B2 (ja) * 2001-11-09 2008-02-20 ソニー株式会社 三次元仮想空間表示方法、プログラム及びそのプログラムを格納した記録媒体、並びに、三次元仮想空間制御装置
JP4078080B2 (ja) * 2002-01-15 2008-04-23 キヤノン株式会社 情報処理装置および方法
JP2003305276A (ja) * 2002-02-18 2003-10-28 Space Tag Inc ゲームシステム、ゲーム装置、および記録媒体
JP4253567B2 (ja) * 2003-03-28 2009-04-15 オリンパス株式会社 データオーサリング処理装置
US8839121B2 (en) * 2009-05-06 2014-09-16 Joseph Bertolami Systems and methods for unifying coordinate systems in augmented reality applications
US8682879B2 (en) * 2010-04-16 2014-03-25 Bizmodeline Co., Ltd. Marker search system for augmented reality service
JP5987306B2 (ja) * 2011-12-06 2016-09-07 ソニー株式会社 画像処理装置、画像処理方法、プログラム
EP2967322A4 (en) * 2013-03-11 2017-02-08 Magic Leap, Inc. System and method for augmented and virtual reality
US9521515B2 (en) * 2015-01-26 2016-12-13 Mobli Technologies 2010 Ltd. Content request by location
CN108601978B (zh) * 2015-11-27 2020-05-15 株式会社阿尔斯比特 游戏系统以及游戏程序

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016087017A (ja) 2014-10-31 2016-05-23 株式会社ソニー・コンピュータエンタテインメント 携帯端末装置、ゲーム装置、ゲームシステム、ゲーム制御方法及びゲーム制御プログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220052676A (ko) * 2020-10-21 2022-04-28 주식회사 와이드브레인 위치기반 ar 게임 제공 방법 및 장치
KR20220150020A (ko) * 2021-05-03 2022-11-10 주식회사 와이드브레인 위치기반 게임을 이용한 ar 좌표 수집 방법 및 장치
WO2023200318A1 (ko) * 2022-04-15 2023-10-19 주식회사 네모즈랩 가상 공간 상에서 음악을 제공하기 위한 방법, 장치 및 비일시성의 컴퓨터 판독 가능한 기록 매체

Also Published As

Publication number Publication date
WO2019130864A1 (ja) 2019-07-04
JPWO2019130864A1 (ja) 2021-01-28
US20210375052A1 (en) 2021-12-02
DE112018006666T5 (de) 2020-09-24

Similar Documents

Publication Publication Date Title
KR20200100046A (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
JP7002684B2 (ja) 拡張現実および仮想現実のためのシステムおよび方法
JP6792039B2 (ja) 拡張現実および仮想現実のためのシステムおよび方法
JP6276882B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
CN109792564B (zh) 用于通过在游戏云系统上执行的视频记录访问先前所存储游戏情节的方法和系统
JP6281496B2 (ja) 情報処理装置、端末装置、情報処理方法及びプログラム
JP6281495B2 (ja) 情報処理装置、端末装置、情報処理方法及びプログラム
US9767524B2 (en) Interaction with virtual objects causing change of legal status
JP2022046670A (ja) 対話型拡張現実表示を表示するためのシステム、方法、及び媒体
US9286711B2 (en) Representing a location at a previous time period using an augmented reality display
CN103357177B (zh) 使用便携式游戏装置来记录或修改在主游戏系统上实时运行的游戏或应用
CN103635891B (zh) 大量同时远程数字呈现世界
CN109314801A (zh) 用于保存游戏娱乐的快照并且用于在游戏云系统上执行时开始任何用户进行的游戏娱乐的稍后执行的方法和系统
JP2014149712A (ja) 情報処理装置、端末装置、情報処理方法及びプログラム
CN106716306A (zh) 将多个头戴式显示器同步到统一空间并且使统一空间中的对象移动关联
JP6234622B1 (ja) 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
US20190043263A1 (en) Program executed on a computer for providing vertual space, method and information processing apparatus for executing the program
CN109314800B (zh) 用于将用户注意力引导到基于位置的游戏进行伴随应用的方法和系统
JP2023143963A (ja) プログラム、情報処理方法及び情報処理装置
JP6554139B2 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP7016438B1 (ja) 情報処理システム、情報処理方法およびコンピュータプログラム
US20240179291A1 (en) Generating 3d video using 2d images and audio with background keyed to 2d image-derived metadata
JP7317322B2 (ja) 情報処理システム、情報処理方法およびコンピュータプログラム
JP7357865B1 (ja) プログラム、情報処理方法、及び情報処理装置
US20230078189A1 (en) Adaptive rendering of game to capabilities of device

Legal Events

Date Code Title Description
A201 Request for examination