KR20170135763A - 화상 제공 시스템 - Google Patents

화상 제공 시스템 Download PDF

Info

Publication number
KR20170135763A
KR20170135763A KR1020170067687A KR20170067687A KR20170135763A KR 20170135763 A KR20170135763 A KR 20170135763A KR 1020170067687 A KR1020170067687 A KR 1020170067687A KR 20170067687 A KR20170067687 A KR 20170067687A KR 20170135763 A KR20170135763 A KR 20170135763A
Authority
KR
South Korea
Prior art keywords
image
user
unit
image data
data
Prior art date
Application number
KR1020170067687A
Other languages
English (en)
Inventor
신지 다니구치
야마토 카네코
Original Assignee
포브, 아이엔씨.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포브, 아이엔씨. filed Critical 포브, 아이엔씨.
Publication of KR20170135763A publication Critical patent/KR20170135763A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

복수의 헤드 마운트 디스플레이에 영상을 표시하고, 복수의 유저를 관리한다.
복수의 헤드 마운트 디스플레이 시스템이 서버와 접속되고, 서버는, 접속되는 상기 헤드 마운트 디스플레이 시스템에 화상 데이터를 송신하는 제1 통신 제어부와, 당해 화상 데이터에 따라 헤드 마운트 디스플레이 시스템으로부터 송신된 유저의 시선에 관한 정보에 따른 새로운 화상 데이터를 생성하여, 제1 통신 제어부에 출력하는 생성부를 구비하고, 헤드 마운트 디스플레이 시스템은, 서버로부터 공급되는 화상 데이터를 표시하는 표시부와, 표시부에 표시되는 화상 데이터를 시인하는 유저의 시선을 검출하는 검출부와, 검출부에서 검출되는 시선에 관한 정보를 서버에 송신하는 제2 통신 제어부를 구비한다.

Description

화상 제공 시스템{IMAGE PROVIDING SYSTEM}
이 발명은, 화상 제공 시스템에 관한 것으로, 특히 헤드 마운트 디스플레이를 이용한 영상 표시 기술에 관한 것이다.
종래부터, 헤드 마운트 디스플레이를 이용한 영상 표시 시스템이 개발되고 있다. 또, 그러한 헤드 마운트 디스플레이에 있어서 시선 검출을 행하여, 시선에 근거하는 입력을 행하는 기술도 개발되고 있다(예를 들면, 특허문헌 1 참조).
헤드 마운트 디스플레이에서는, 개인이 영상을 감상하는 것 외에, 복수의 사람이 동시에 동일한 영상을 감상할 수도 있다.
특허문헌 1: 일본 공개특허공보 2012-32568호
그런데, 일반적인 영화 감상과 같이 동일한 스크린에 표시되는 영상을 복수의 사람이 동시에 감상하는 경우와 비교하여, 각각이 다른 헤드 마운트 디스플레이로 영상을 감상하는 경우, 타인과 영상을 공유하는 이익이 얻어지기 어렵다. 또, 각 헤드 마운트 디스플레이를 이용하는 복수의 유저를 관리하는 것은 곤란하다.
본 발명은, 상기 문제를 감안하여 이루어진 것이며, 복수의 헤드 마운트 디스플레이에 영상을 표시하고, 복수의 유저를 관리할 수 있는 화상 표시 시스템을 제공하는 것을 목적으로 한다.
본 발명의 일 양태에 관한 화상 제공 시스템은, 복수의 헤드 마운트 디스플레이 시스템이 서버와 접속되고, 서버는, 접속되는 헤드 마운트 디스플레이 시스템에 화상 데이터를 송신하는 제1 통신 제어부와, 당해 화상 데이터에 따라 헤드 마운트 디스플레이 시스템으로부터 송신된 유저의 시선에 관한 정보에 따른 새로운 화상 데이터를 생성하여, 제1 통신 제어부에 출력하는 생성부를 구비하고, 헤드 마운트 디스플레이 시스템은, 서버로부터 공급되는 화상 데이터를 표시하는 표시부와, 표시부에 표시되는 화상 데이터를 시인하는 유저의 시선을 검출하는 검출부와, 검출부에서 검출되는 시선에 관한 정보를 서버에 송신하는 제2 통신 제어부를 구비한다.
생성부는, 화상 데이터에 복수의 헤드 마운트 디스플레이 시스템에서 검출된 시선에 관한 정보를 포함하는 화상 데이터를 생성하고, 제1 통신 제어부는, 시선을 포함하는 화상 데이터를 송신해도 된다.
복수의 헤드 마운트 디스플레이 시스템 중 적어도 1개가 호스트 시스템이고, 다른 헤드 마운트 디스플레이 시스템은 클라이언트 시스템이며, 생성부는, 화상 데이터에 복수의 클라이언트 시스템에서 검출된 시선에 관한 정보를 포함하는 화상 데이터를 생성하고, 제1 통신 제어부는, 호스트 시스템에, 시선에 관한 정보를 포함하는 화상 데이터를 송신해도 된다.
호스트 시스템은, 화상 데이터에 포함되는 시선에 따른 정보를 추가한 화상 데이터의 생성을 요구하는 리퀘스트의 입력을 유저로부터 받아들이는 입력부를 더욱 구비하고, 호스트 시스템의 제2 통신 제어부는, 입력부에 입력된 리퀘스트 신호를 서버에 송신하며, 생성부는, 호스트 시스템으로부터 송신되는 리퀘스트 신호에 따른 새로운 화상 데이터를 생성해도 된다.
생성부는, 복수의 헤드 마운트 디스플레이 시스템 중, 선택된 헤드 마운트 디스플레이 시스템에서 검출된 시선에 관한 정보만을 추가하여 새로운 화상 데이터를 생성해도 된다.
서버는, 화상 데이터에 있어서 시선의 위치가 소정 조건인 유저의 그룹으로서 복수의 유저를 분류하는 분류부를 더욱 구비하고, 생성부는, 분류부로 분류된 그룹에 속하는 유저마다 화상 데이터를 생성해도 된다.
서버는, 시선으로 주시하는 위치가 목적 위치와 다른 유저를 추출하는 추출부를 더욱 구비하고, 생성부는, 추출부로 추출된 유저에게 목적 위치를 유도하는 화상 데이터를 생성해도 된다.
리퀘스트 신호는, 분류된 유저의 그룹에 관한 그룹 정보를 포함하며, 생성부는, 그룹 정보를 포함하는 화상 데이터를 생성해도 된다.
리퀘스트 신호는, 시선을 유도하는 유도 정보를 포함하며, 생성부는, 유도 정보를 포함하는 화상 데이터를 생성해도 된다.
또, 본 발명의 일 양태에 관한 서버는, 복수의 헤드 마운트 디스플레이 시스템과 접속되어, 화상 제공 시스템에서 이용되는 서버로서, 접속되는 헤드 마운트 디스플레이 시스템에 화상 데이터를 송신하는 제1 통신 제어부와, 당해 화상 데이터에 따라 헤드 마운트 디스플레이 시스템으로부터 송신된 유저의 시선에 관한 정보에 따른 새로운 화상 데이터를 생성하여, 제1 통신 제어부에 출력하는 생성부를 구비한다.
또, 본 발명의 일 양태에 관한 화상 제공 방법은, 서버와 복수의 헤드 마운트 디스플레이 시스템이 접속되는 화상 제공 시스템에 있어서의 화상 제공 방법으로서, 서버가, 접속되는 헤드 마운트 디스플레이 시스템에 화상 데이터를 송신하는 스텝과, 헤드 마운트 디스플레이 시스템이, 서버로부터 공급되는 화상 데이터를 표시하는 스텝과, 헤드 마운트 디스플레이 시스템이, 표시부에 표시되는 화상 데이터를 시인하는 유저의 시선을 검출하는 스텝과, 헤드 마운트 디스플레이 시스템이, 검출되는 시선에 관한 정보를 서버에 송신하는 스텝과, 서버가, 헤드 마운트 디스플레이 시스템으로부터 송신된 유저의 시선에 관한 정보에 따른 새로운 화상 데이터를 생성하여, 헤드 마운트 디스플레이 시스템에 송신하는 스텝을 포함한다.
또, 본 발명의 일 양태에 관한 화상 제공 프로그램은, 화상 제공 서버와 복수의 헤드 마운트 디스플레이 시스템이 접속되는 화상 제공 시스템에 있어서, 서버에, 접속되는 헤드 마운트 디스플레이 시스템에 화상 데이터를 송신하는 스텝과, 당해 화상 데이터에 따라 헤드 마운트 디스플레이 시스템으로부터 송신된 유저의 시선에 관한 정보에 따른 새로운 화상 데이터를 생성하여, 헤드 마운트 디스플레이 시스템에 송신하는 스텝을 실현시킨다.
본 발명에 의하면, 복수의 헤드 마운트 디스플레이에 영상을 표시하고, 복수의 유저를 관리할 수 있다.
도 1은 제1 실시형태에 관한 화상 제공 시스템을 나타내는 개략도이다.
도 2에 있어서, (a)는, 제1 실시형태에 관한 화상 제공 시스템의 서버의 구성을 나타내는 블록도이다. (b)는, 제1 실시형태에 관한 화상 제공 시스템의 헤드 마운트 디스플레이 시스템의 구성을 나타내는 블록도이다.
도 3은 제1 실시형태에 관한 헤드 마운트 디스플레이를 유저가 장착한 모습을 나타내는 외관도이다.
도 4는 제1 실시형태에 관한 헤드 마운트 디스플레이의 화상 표시계의 개관을 모식적으로 나타내는 사시도이다.
도 5는 제1 실시형태에 관한 헤드 마운트 디스플레이의 화상 표시계의 광학 구성을 모식적으로 나타내는 도이다.
도 6은 제1 실시형태에 관한 헤드 마운트 디스플레이 시스템의 시선 방향의 검출을 위한 캘리브레이션을 설명하는 모식도이다.
도 7은 유저의 각막의 위치 좌표를 설명하는 모식도이다.
도 8은 제1 실시형태에 관한 화상 제공 시스템의 서버에 있어서의 처리를 설명하는 플로차트이다.
도 9는 제1 실시형태에 관한 화상 제공 시스템의 헤드 마운트 디스플레이 시스템에 있어서의 처리를 설명하는 플로차트이다.
도 10에 있어서, (a)~(c)는, 제1 실시형태에 관한 화상 제공 시스템의 헤드 마운트 디스플레이 시스템으로 표시되는 화면 데이터의 일례이다.
도 11은 제1 실시형태에 관한 화상 제공 시스템의 서버에 있어서의 다른 처리를 설명하는 플로차트이다.
도 12에 있어서, (a), (b)는, 제1 실시형태에 관한 화상 제공 시스템의 헤드 마운트 디스플레이 시스템으로 표시되는 화면 데이터의 다른 예이다.
도 13은 제1 실시형태에 관한 화상 제공 시스템의 서버에 있어서의 다른 처리를 설명하는 플로차트이다.
도 14에 있어서, (a)~(c)는, 제1 실시형태에 관한 화상 제공 시스템의 헤드 마운트 디스플레이 시스템으로 표시되는 화면 데이터의 다른 예이다.
도 15에 있어서, (a)~(c)는, 제1 실시형태에 관한 화상 제공 시스템의 헤드 마운트 디스플레이 시스템으로 표시되는 화면 데이터의 다른 예이다.
도 16은 제2 실시형태에 관한 화상 제공 시스템을 나타내는 개략도이다.
도 17에 있어서, (a)~(c)는, 제2 실시형태에 관한 화상 제공 시스템의 호스트 시스템으로 표시되는 화면 데이터의 일례이다.
도 18은 제2 실시형태에 관한 화상 제공 시스템의 호스트 시스템에 있어서의 처리를 설명하는 플로차트이다.
도 19에 있어서, (a)는, 서버의 회로 구성을 나타내는 블록도이다. (b)는, 헤드 마운트 디스플레이 시스템의 회로 구성을 나타내는 블록도이다.
도 20은 제3 실시형태에 관한 헤드 마운트 디스플레이 시스템의 구성을 나타내는 블록도이다.
도 21에 있어서, (a), (b)는, 제3 실시형태에 관한 헤드 마운트 디스플레이 시스템에 있어서의 처리를 설명하는 플로차트이다.
도 22에 있어서, (a), (b)는, 제3 실시형태에 관한 헤드 마운트 디스플레이 시스템으로 표시되는 가시화의 일례이다.
도 23에 있어서, (a)~(c)는, 제3 실시형태에 관한 헤드 마운트 디스플레이 시스템으로 표시되는 가시화의 다른 예이다.
도 24는 제4 실시형태에 관한 영상 표시 시스템을 나타내며, 영상 표시 시스템 구성의 블록도이다.
도 25는 제4 실시형태에 관한 영상 표시 시스템을 나타내며, 영상 표시 시스템의 동작을 나타내는 플로차트이다.
도 26은 제4 실시형태에 관한 영상 표시 시스템을 나타내며, 영상 표시 시스템이 표시하는 영상 처리전의 영상 표시예의 설명도이다.
도 27은 제4 실시형태에 관한 영상 표시 시스템을 나타내며, 영상 표시 시스템이 표시하는 영상 처리 상태의 영상 표시예의 설명도이다.
본 발명에 관한 화상 제공 시스템, 서버, 화상 제공 방법 및 화상 제공 프로그램은, 복수의 헤드 마운트 디스플레이에 제공하는 화상을 관리하는 것이다. 이하, 도면을 이용하여 본 발명의 각 실시형태에 대하여 설명한다. 또한, 이하의 설명에 있어서, 동일한 구성에 대해서는 동일한 부호를 이용하여 설명을 생략한다.
<제1 실시형태>
도 1에 나타내는 바와 같이, 제1 실시형태에 관한 화상 제공 시스템(I)은, 서버(400)와 복수의 헤드 마운트 디스플레이 시스템(1;1A~1C)이 네트워크(500)를 통하여 접속된다.
《서버》
서버(400)는, 도 2(a)에 나타내는 바와 같이, 중앙 처리 장치(CPU)(40), 기억 장치(41) 및 통신 인터페이스(통신 I/F)(42) 등을 구비하는 정보처리 장치이다. 서버(400)의 기억 장치(41)는, 화상 데이터(d1) 및 화상 제공 프로그램(P1)을 기억한다. 이 서버(400)는, 화상 데이터(d1)를 헤드 마운트 디스플레이(100)에 제공한다. 이 때, 화상 제공 프로그램(P1)의 실행에 의하여, CPU(40)가, 제1 통신 제어부(401), 생성부(402), 분류부(403) 및 추출부(404)로서 처리를 실행한다.
화상 데이터(d1)는 정지화면 데이터에 한정되지 않고, 동영상 데이터여도 된다. 이하의 설명에서는, 화상 데이터(d1)는 동영상 데이터이며, 구체적으로는, 음성 데이터를 포함하는 영상 데이터인 것으로 한다.
제1 통신 제어부(401)는, 접속되는 헤드 마운트 디스플레이 시스템(1)에 화상 데이터를 통신 I/F(42)를 통하여 송신한다. 예를 들면, 제1 통신 제어부(401)는, 기억 장치(41)에 기억되는 화상 데이터(411)를 송신한다. 또는 제1 통신 제어부(401)는, 생성부(402)에서 생성된 화상 데이터를 송신한다.
생성부(402)는, 제1 통신 제어부(401)가 송신한 화상 데이터에 따라 헤드 마운트 디스플레이 시스템(1)으로부터 송신된 유저의 시선에 따라 새로운 화상 데이터를 생성하여, 제1 통신 제어부(401)에 출력한다.
예를 들면, 생성부(402)는, 기억 장치(41)에 기억되는 화상 데이터(411)에 복수의 헤드 마운트 디스플레이 시스템(1)으로부터 수신한 시선 데이터에 근거하는 화상을 추가하여 새로운 화상 데이터를 생성한다. 시선 데이터를 추가할 때, 생성부(402)는, 각 헤드 마운트 디스플레이 시스템(1)으로부터 수신한 모든 시선 데이터를 추가하여 새로운 화상 데이터를 생성해도 된다. 또는 생성부(402)는, 일부의 선택된 헤드 마운트 디스플레이 시스템(1)으로부터 수신한 시선 데이터만 추가하여 새로운 화상 데이터를 추가해도 된다.
또, 생성부(402)는, 기억 장치(41)에 기억되는 화상 데이터(411)에 후술하는 분류부(403)에 의하여 분류된 그룹의 데이터에 근거하는 화상을 추가하여 새로운 화상 데이터를 생성할 수 있다. 그룹의 데이터를 추가할 때, 그룹마다 새로운 화상 데이터를 생성해도 된다. 즉, 생성부(402)는, 그룹마다 다른 화상 데이터를 생성하여, 각 헤드 마운트 디스플레이 시스템(1)은, 속하는 그룹용으로 생성된 화상 데이터가 제공된다.
또한 생성부(402)는, 기억 장치(41)에 기억되는 화상 데이터(411)에 후술하는 추출부(404)로 분류된 유저에게, 유도 데이터에 근거하는 화상을 추가하여 새로운 화상 데이터를 생성할 수 있다. 유도 데이터에 근거하는 화상은, 유저에게 화상 중의 목적 위치, 즉, 봐야 할 위치를 유도하는 것이다. 구체적으로는, 유도 데이터에 근거하는 화상은, 목적 위치에 눈에 띄도록 배치된 아이콘(예를 들면, 화살표나 "주목"이라고 쓰여진 팝업), 프레임 등에 의하여 표현된다.
분류부(403)는, 시선 데이터가 소정 조건인 유저를 그룹으로서 분류한다. 분류부(403)에 있어서의 분류 방법으로서는, 예를 들면, 하기와 같은 방법을 생각할 수 있다.
1. 시선 데이터를 이용한 분류
(1) 동일한 오브젝트를 주시하는 유저의 그룹
분류부(403)는, 시선이 동일한 오브젝트 상에 존재하는 유저를 동일한 그룹으로 분류해도 된다. 이 때, 분류부(403)는, 시선이 대상인 오브젝트 상에 존재하는 유저를 추출할 뿐만 아니라, 어느 한 점(예를 들면, 대상인 오브젝트의 중심점)으로부터 소정 거리 내에 시선이 존재하는 유저를 추출해도 된다. 또, 분류부(403)는, 대상인 오브젝트로부터 소정 거리 내에 시선이 존재하는 유저를 추출해도 된다.
(2) 시선이 소정 범위 내에 있는 그룹
분류부(403)는, 시선이 소정 범위 내에 있는 유저를 동일한 그룹으로 분류해도 된다. 예를 들면, 분류부(403)는, 시선이 화상의 중심에 있는 그룹, 시선이 화상의 우측에 있는 그룹 등과 같이 유저의 그룹을 분류할 수도 있다. 또 이 때, 분류부(403)는, 시선이 소정 거리 내인 유저를 동일한 그룹으로 분류할 수도 있다.
(3) 클러스터링 처리로 분류된 그룹
분류부(403)는, 시선 정보로부터 특정되는 주시 좌표 위치를 클러스터링하여, 각 그룹의 유저를 분류해도 된다.
(4) 시선이 동일한 에리어에 있는 그룹
분류부(403)는, 미리 화상을 복수의 에리어로 분할하여, 시선이 동일한 에리어에 존재하는 유저를 동일한 그룹으로 분류해도 된다.
(5) 기타
또, 상기 설명한 바와 같이, 시선에 따라 유저의 그룹을 분류하는 경우, 유저의 시선이 동일한 시각에 상기와 같은 관계에 있던 유저뿐만 아니라, 소정 기간에 상기와 같은 관계에 있던 유저를 동일한 그룹으로 분류할 수 있다. 구체적으로는, 상기 (1)의 예에 있어서, 대상인 오브젝트를 보고 있던 시각이 완전히 일치하지 않는 경우여도, 특정 기간에, 대상인 오브젝트를 소정 시간 이상 보고 있는 유저를 동일 그룹으로 분류해도 된다. 예를 들면, 특정 화상이 표시되는 3분 동안 적어도 15초 이상, 대상인 오브젝트를 주시하고 있는 유저를 동일한 그룹으로 분류한다.
2. 시선 데이터 및 유저의 행동을 이용한 분류
또, 분류부(403)는, 시선 데이터에 더하여 하기에 나타내는 것과 같은 유저의 행동을 이용하여 그룹을 분류해도 된다.
(1) 유저의 동작
분류부(403)는, 시선이 상기 설명한 것과 같은 소정 조건임과 함께, 그 시점에서, 특정 행동을 취한 유저를, 동일한 그룹으로 분류할 수 있다. 예를 들면, 시선이 소정 조건인 것에 더해 머리를 오른쪽으로 움직인 유저를 동일한 그룹으로 분류해도 된다. 또, 시선이 소정 조건인 것에 더해 좌우로 흔들리는 유저를 동일한 그룹으로 분류해도 된다. 이로써, 감정이나 생각이 비슷한 유저를, 동일 그룹으로서 분류할 수 있다. 유저의 행동은, 예를 들면, 헤드 마운트 디스플레이(100)에 있어서 쟈이로 센서 등의 센서로 검출되어, 헤드 마운트 디스플레이 시스템(1)으로부터 서버(400)로 송신된다.
(2) 유저에 의한 신호 입력
분류부(403)는, 시선이 상기 설명한 것과 같은 소정 조건임과 함께, 그 시점에서, 소정 조작 신호를 입력한 유저를, 동일한 그룹으로 분류할 수 있다. 예를 들면, 헤드 마운트 디스플레이 시스템(1)에 제공되는 화상이, 비디오 수업의 화상인 경우, 조작 신호에 의하여, 질문에 대하여 동일한 해답을 입력한 유저를, 동일 그룹으로 분류할 수 있다. 이로써, 동일한 생각의 유저를, 그룹 워크 등을 행하는 그룹으로서 분류할 수 있다. 또 예를 들면, 헤드 마운트 디스플레이 시스템(1)에 제공되는 화상이, 비디오 게임의 화상인 경우, 조작 신호에 의하여, 캐릭터를 동일한 방향으로 작동시키는 조작을 한 유저를, 동일 그룹으로 분류할 수 있다. 이로써, 동일한 생각의 유저를 그룹으로서 분류할 수 있다. 여기에서 이용되는 조작 신호는, 헤드 마운트 디스플레이 시스템(1)에 있어서 입력 장치(23)를 이용하여 입력되어, 서버(400)에 송신된다.
(3) 유저의 행동 이력
분류부(403)는, 시선이 상기 설명한 것과 같은 소정 조건임과 함께, 과거에 소정 행동을 취한 유저를 동일한 그룹으로 분류할 수 있다. 과거의 행동이란, 예를 들면, 이벤트의 참가나, 조작 신호의 입력 등을 생각할 수 있다. 예를 들면, 헤드 마운트 디스플레이 시스템(1)에 제공되는 화상이, 비디오 수업의 화상인 경우, 과거에, 특정 강좌를 받은 적이 있는 유저 또는 받은 적이 없는 유저를, 동일한 그룹으로 분류할 수 있다. 이로써, 특정 지식이 있는 유저 또는 지식이 없는 유저를, 그룹 워크 등을 행하는 그룹으로서 분류할 수 있다. 또 예를 들면, 헤드 마운트 디스플레이 시스템(1)에 제공되는 화상이, 비디오 게임의 화상인 경우, 과거에 동일한 행동을 취한 유저를, 동일 그룹으로 분류할 수 있다. 이로써, 동일한 생각의 유저를, 그룹으로서 분류할 수 있다. 여기에서, 예를 들면, 유저의 행동 이력은, 행동 이력 데이터로서 서버(400)의 기억 장치로 기억된다. 이 행동 이력 데이터는, 유저가 과거에 간 적이 있는 행동, 간 적이 없는 행동을 특정하는 온 오프의 플래그 등으로 구성되어도 된다.
추출부(404)는, 시선으로 주시하는 위치가 목적 위치와 다른 유저를 추출한다. 예를 들면, 추출부(404)는, 시선의 위치가 미리 정해지는 목적 위치의 좌표로부터 소정 거리 떨어진 유저를 추출한다. 또, 추출부(404)는, 시선 데이터에 더하여 유저의 행동을 이용하여 유저를 추출해도 된다. 유저의 행동으로서는, 상기 설명한 바와 같이, 유저의 동작, 유저에 의한 신호 입력, 유저의 행동 이력 등이다.
《헤드 마운트 디스플레이 시스템》
각 헤드 마운트 디스플레이 시스템(1;1A~1C)은, 헤드 마운트 디스플레이(100;100A~100C)와 시선 검출 장치(200;200A~200C)를 갖는다.
도 2(b)에 나타내는 바와 같이, 시선 검출 장치(200)는, CPU(20), 기억 장치(21), 통신 I/F(22), 입력 장치(23) 및 출력 장치(24)를 구비한다. 기억 장치(21)에는 시선 검출 프로그램(P2)이 기억된다. 이 시선 검출 프로그램(P2)이 실행되는 것으로, CPU(20)가, 제2 통신 제어부(201), 검출부(202), 화상 생성부(203) 및 화상 출력부(204)로서 처리를 실행한다. 여기에서는, 통신 I/F(22)는, 네트워크(500)를 통하여 서버(400)와의 사이에서의 통신에 이용되는 것 외에, 헤드 마운트 디스플레이(100)와의 사이에서의 통신에 이용되는 것으로서 설명하지만, 각 통신에 있어서 다른 인터페이스를 이용해도 된다.
제2 통신 제어부(201)는, 서버(400)로부터 송신된 화상 데이터를 통신 I/F(22)를 통하여 수신한다. 또, 제2 통신 제어부(201)는, 검출부(202)에서 검출되는 시선 데이터를 통신 I/F(22)를 통하여 서버(400)에 송신한다.
검출부(202)는, 표시부(121)에 표시되는 화상 데이터를 시인하는 유저의 시선을 검출한다.
화상 생성부(203)는, 예를 들면, 도 6을 이용하여 후술하는 방법으로, 헤드 마운트 디스플레이(100)에 표시하는 화상을 생성한다.
화상 출력부(204)는, 서버로부터 수신한 화상 데이터를, 통신 I/F(22)를 통하여 헤드 마운트 디스플레이에 출력한다.
또, 헤드 마운트 디스플레이(100)는, 통신 I/F(110), 제3 통신 제어부(118), 표시부(121), 적외선 조사부(122), 화상 처리부(123), 촬상부(124) 등을 구비한다.
도 4는, 실시형태에 관한 헤드 마운트 디스플레이 시스템(1)의 구성을 설명하는 블록도이다. 도 4에 나타내는 바와 같이, 헤드 마운트 디스플레이 시스템(1)의 헤드 마운트 디스플레이(100)는, 통신 인터페이스(I/F)(110), 제3 통신 제어부(118), 표시부(121), 적외선 조사부(122), 화상 처리부(123) 및 촬상부(124)를 갖는다.
표시부(121)는, 제3 통신 제어부(118)로부터 전달된 화상 데이터를 화상 표시 소자(108)에 표시하는 기능을 갖는다. 표시부(121)는, 화상 데이터로서 테스트 화상을 표시한다. 또, 표시부(121)는, 화상 생성부(203)로부터 출력된 마커 화상을 화상 표시 소자(108)의 지정되어 있는 좌표에 표시한다.
적외선 조사부(122)는, 적외광원(103)을 제어하여, 유저의 오른쪽눈 또는 왼쪽눈에 적외광을 조사한다.
화상 처리부(123)는, 필요에 따라, 촬상부(124)가 촬상한 화상에 화상 처리를 행하여, 제3 통신 제어부(118)에 전달한다.
촬상부(124)는, 카메라(116)를 이용하여, 각각의 눈에서 반사된 근적외광을 포함하는 화상을 촬상한다. 또, 촬상부(124)는, 화상 표시 소자(108)에 표시된 마커 화상을 주시하는 유저의 눈을 포함하는 화상을 촬상한다. 촬상부(124)는, 촬상해서 얻은 화상을, 제3 통신 제어부(118) 또는 화상 처리부(123)에 전달한다.
도 3은, 실시형태에 관한 헤드 마운트 디스플레이 시스템(1)의 개관을 모식적으로 나타내는 도이다. 도 3에 나타내는 바와 같이, 헤드 마운트 디스플레이(100)는, 유저(300)의 두부에 장착하여 사용된다.
시선 검출 장치(200)는, 헤드 마운트 디스플레이(100)를 장착한 유저의 오른쪽눈 및 왼쪽눈 중 적어도 한쪽의 시선 방향을 검출하여, 유저의 초점, 즉, 유저가 헤드 마운트 디스플레이에 표시되어 있는 3차원 화상에 있어서 주시하고 있는 개소를 특정한다. 또, 시선 검출 장치(200)는, 헤드 마운트 디스플레이(100)가 표시하는 영상을 생성하는 영상 생성 장치로서도 기능한다. 한정은 하지 않지만, 일례로서 시선 검출 장치(200)는, 거치형 게임기, 휴대용 게임기, PC, 태블릿, 스마트폰, 패블릿, 비디오 플레이어, 텔레비전 등의 영상을 재생 가능한 장치이다. 시선 검출 장치(200)는, 헤드 마운트 디스플레이(100)와 무선 또는 유선으로 접속한다. 도 3에 나타내는 예에서는, 시선 검출 장치(200)는 헤드 마운트 디스플레이(100)와 무선으로 접속하고 있다. 시선 검출 장치(200)와 헤드 마운트 디스플레이(100)의 무선 접속은, 예를 들면 기존의 Wi-Fi(등록 상표)나Bluetooth(등록 상표) 등의 무선 통신 기술을 이용하여 실현할 수 있다. 한정은 하지 않지만, 일례로서 헤드 마운트 디스플레이(100)와 시선 검출 장치(200)의 사이에 있어서의 영상의 전송은, Miracast(상표)나 WiGig(상표), WHDI(상표) 등의 규격에 준하여 실행된다. 또, 그 이외의 통신기술을 이용해도 되고, 예를 들면, 음파 통신기술이나 광전송 기술을 이용해도 된다.
또한, 도 3은, 헤드 마운트 디스플레이(100)와 시선 검출 장치(200)가 상이한 장치인 경우의 예를 나타내고 있다. 그러나 시선 검출 장치(200)는 헤드 마운트 디스플레이(100)에 내장되어도 된다.
헤드 마운트 디스플레이(100)는, 케이스(150), 장착구(160), 및 헤드폰(170)을 구비한다. 케이스(150)는, 화상 표시 소자 등 유저(300)에게 영상을 제시하기 위한 화상 표시계나, 도시하지 않은 Wi-Fi모듈이나Bluetooth(등록 상표) 모듈 등의 무선 전송 모듈을 수용한다. 장착구(160)는, 헤드 마운트 디스플레이(100)를 유저(300)의 두부에 장착한다. 장착구(160)는 예를 들면, 벨트나 신축성의 띠 등으로 실현할 수 있다. 유저(300)가 장착구(160)를 이용하여 헤드 마운트 디스플레이(100)를 장착하면, 케이스(150)는 유저(300)의 눈을 덮는 위치에 배치된다. 이로 인하여, 유저(300)가 헤드 마운트 디스플레이(100)를 장착하면, 유저(300)의 시야는 케이스(150)에 의하여 차단된다.
헤드폰(170)은, 시선 검출 장치(200)가 재생하는 영상의 음성을 출력한다. 헤드폰(170)은 헤드 마운트 디스플레이(100)에 고정되지 않아도 된다. 유저(300)는, 장착구(160)를 이용하여 헤드 마운트 디스플레이(100)를 장착한 상태이더라도, 헤드폰(170)을 자유롭게 착탈할 수 있다. 또한, 헤드폰(170)은, 필수의 구성은 아니다.
도 4는, 실시형태에 관한 헤드 마운트 디스플레이(100)의 화상 표시계(130)의 개관을 모식적으로 나타내는 사시도이다. 보다 구체적으로, 도 4는, 실시형태에 관한 케이스(150) 중, 헤드 마운트 디스플레이(100)를 장착했을 때에 유저(300)의 각막(302)에 대향하는 영역을 나타내는 도이다.
도 4에 나타내는 바와 같이, 왼쪽눈용 볼록 렌즈(114a)는, 유저(300)가 헤드 마운트 디스플레이(100)를 장착했을 때에, 유저(300)의 왼쪽눈의 각막(302a)과 대향하는 위치가 되도록 배치된다. 마찬가지로, 오른쪽눈용 볼록 렌즈(114b)는, 유저(300)가 헤드 마운트 디스플레이(100)를 장착했을 때에, 유저(300)의 오른쪽눈의 각막(302b)과 대향하는 위치가 되도록 배치된다. 왼쪽눈용 볼록 렌즈(114a)와 오른쪽눈용 볼록 렌즈(114b)는, 각각 왼쪽눈용 렌즈 지지부(152a)와 오른쪽눈용 렌즈 지지부(152b)에 파지되어 있다.
이하 본 명세서에 있어서, 왼쪽눈용 볼록 렌즈(114a)와 오른쪽눈용 볼록 렌즈(114b)를 특별히 구별하는 경우를 제외하고, 간단히 "볼록 렌즈(114)"라고 기재한다. 마찬가지로, 유저(300)의 왼쪽눈의 각막(302a)과 유저(300)의 오른쪽눈의 각막(302b)을 특별히 구별하는 경우를 제외하고, 간단히 "각막(302)"이라고 기재한다. 왼쪽눈용 렌즈 지지부(152a)와 오른쪽눈용 렌즈 지지부(152b) 모두, 특별히 구별하는 경우를 제외하고 "렌즈 지지부(152)"라고 기재한다.
렌즈 지지부(152)에는, 복수의 적외광원(103)이 구비되어 있다. 번잡해지는 것을 피하기 위하여, 도 4에 있어서는 유저(300)의 왼쪽눈의 각막(302a)에 대하여 적외광을 조사하는 적외광원을 통틀어 적외광원(103a)으로 나타내고, 유저(300)의 오른쪽눈의 각막(302b)에 대하여 적외광을 조사하는 적외광원을 통틀어 적외광원(103b)으로 나타낸다. 이하, 적외광원(103a)과 적외광원(103b)을 특별히 구별하는 경우를 제외하고 "적외광원(103)"이라고 기재한다. 도 4에 나타내는 예에서는, 왼쪽눈용 렌즈 지지부(152a)에는 6개의 적외광원(103a)이 구비되어 있다. 마찬가지로, 오른쪽눈용 렌즈 지지부(152b)에도 6개의 적외광원(103b)이 구비되어 있다. 이와 같이, 적외광원(103)을 볼록 렌즈(114)에 직접 배치하지 않고, 볼록 렌즈(114)를 파지하는 렌즈 지지부(152)에 배치하는 것에 의하여, 적외광원(103)의 장착이 용이해진다. 일반적으로 렌즈 지지부(152)는 수지 등으로 구성되기 때문에, 유리 등으로 구성되는 볼록 렌즈(114)보다 적외광원(103)을 장착하기 위한 가공이 용이해진다.
상기 설명한 바와 같이, 렌즈 지지부(152)는 볼록 렌즈(114)를 파지하는 부재이다. 따라서, 렌즈 지지부(152)에 구비된 적외광원(103)은, 볼록 렌즈(114)의 주위에 배치되게 된다. 또한, 여기에서는, 각각의 눈에 대하여 적외광을 조사하는 적외광원(103)을 6개로 하고 있지만, 이 수는 이에 한정되는 것은 아니고, 각각의 눈에 대응하여 적어도 1개 있으면 되고, 2개 이상 배치되어 있는 것이 바람직하다.
도 5는, 실시형태에 관한 케이스(150)가 수용하는 화상 표시계(130)의 광학 구성을 모식적으로 나타내는 도이며, 도 5에 나타내는 케이스(150)를 왼쪽눈측의 측면에서 본 경우의 도이다. 화상 표시계(130)는, 적외광원(103), 화상 표시 소자(108), 광학 장치(112), 볼록 렌즈(114), 카메라(116), 및 제3 통신 제어부(118)를 구비한다.
적외광원(103)은, 근적외(700nm~2500nm 정도)의 파장 대역의 광을 조사 가능한 광원이다. 근적외광은, 일반적으로, 유저(300)의 육안으로는 관측을 할 수 없는 비가시광의 파장 대역의 광이다.
화상 표시 소자(108)는, 유저(300)에게 제시하기 위한 화상을 표시한다. 화상 표시 소자(108)가 표시하는 화상은, 서버(400) 내의 생성부(402) 또는 시선 검출 장치(200) 내의 화상 생성부(203)가 생성한다. 또한, 생성부(402) 및 화상 생성부(203)에 의하여, 화상을 생성해도 된다. 화상 표시 소자(108)는, 예를 들면 기존의 LCD(Liquid Crystal Display)나 유기 EL디스플레이(Organic Electro Luminescence Display) 등을 이용하여 실현할 수 있다.
광학 장치(112)는, 유저(300)가 헤드 마운트 디스플레이(100)를 장착했을 때에, 화상 표시 소자(108)와 유저(300)의 각막(302)의 사이에 배치된다. 광학 장치(112)는, 화상 표시 소자(108)가 생성하는 가시광은 투과하지만, 근적외광은 반사하는 성질을 갖는다. 이 광학 장치(112)는, 특정 주파수대역의 광을 반사하는 특징을 갖는 것이며, 예를 들면, 투명한 평판이나, 핫 미러, 프리즘 등이 있다.
볼록 렌즈(114)는, 광학 장치(112)에 대하여, 화상 표시 소자(108)의 반대측에 배치된다. 바꿔 말하면, 볼록 렌즈(114)는, 유저(300)가 헤드 마운트 디스플레이(100)를 장착했을 때에, 광학 장치(112)와 유저(300)의 각막(302)의 사이에 배치된다. 즉, 볼록 렌즈(114)는, 헤드 마운트 디스플레이(100)가 유저(300)에게 장착되었을 때에, 유저(300)의 각막(302)에 대향하는 위치에 배치된다.
볼록 렌즈(114)는 광학 장치(112)를 투과하는 화상 표시광을 집광한다. 이로 인하여, 볼록 렌즈(114)는, 화상 표시 소자(108)가 생성하는 화상을 확대하여 유저(300)에게 제시하는 화상 확대부로서 기능한다. 또한, 설명의 편의상, 도 5에서는 볼록 렌즈(114)를 하나만 나타내고 있지만, 볼록 렌즈(114)는, 다양한 렌즈를 조합하여 구성되는 렌즈군이어도 되고, 한쪽이 곡률을 갖고, 다른 한쪽이 평면인 편볼록 렌즈여도 된다.
복수의 적외광원(103)은, 볼록 렌즈(114)의 주위에 배치되어 있다. 적외광원(103)은, 유저(300)의 각막(302)을 향하여 적외광을 조사한다.
도시하지 않지만, 실시형태에 관한 헤드 마운트 디스플레이(100)의 화상 표시계(130)는 화상 표시 소자(108)를 2개 구비하고 있어, 유저(300)의 오른쪽눈에 제시하기 위한 화상과 왼쪽눈에 제시하기 위한 화상을 독립적으로 생성할 수 있다. 이로 인하여, 실시형태에 관한 헤드 마운트 디스플레이(100)는, 유저(300)의 오른쪽눈과 왼쪽눈에, 각각 오른쪽눈용의 시차 화상과 왼쪽눈용의 시차 화상을 제시할 수 있다. 이로써, 실시형태에 관한 헤드 마운트 디스플레이(100)는, 유저(300)에 대하여 깊이감을 가진 입체 영상을 제시할 수 있다.
상기 설명한 바와 같이, 광학 장치(112)는, 가시광을 투과하고, 근적외광을 반사 또는 일부 반사, 혹은 어느 특정 주파수의 광을 반사한다. 따라서, 화상 표시 소자(108)가 조사하는 화상광은 광학 장치(112)를 투과하여 유저(300)의 각막(302)까지 도달한다. 또 적외광원(103)으로부터 조사되어 볼록 렌즈(114)의 내부의 반사 영역에서 반사된 적외광은, 유저(300)의 각막(302)에 도달한다.
유저(300)의 각막(302)에 도달한 적외광은, 유저(300)의 각막(302)에서 반사되어 다시 볼록 렌즈(114)의 방향으로 향한다. 이 적외광은 볼록 렌즈(114)를 투과하여, 광학 장치(112)에서 반사된다. 카메라(116)는 가시광을 차단하는 필터를 구비하고 있고, 광학 장치(112)에서 반사된 근적외광을 촬상한다. 즉, 카메라(116)는, 적외광원(103)으로부터 조사되어 유저(300)의 눈에서 각막 반사된 근적외광을 촬상하는 근적외 카메라이다.
또한, 도시하지 않지만, 실시형태에 관한 헤드 마운트 디스플레이(100)의 화상 표시계(130)는, 카메라(116)를 2개, 즉, 오른쪽눈에서 반사된 적외광을 포함하는 화상을 촬상하는 제1 촬상부와, 왼쪽눈에서 반사된 적외광을 포함하는 화상을 촬상하는 제2 촬상부를 구비한다. 이로써, 유저(300)의 오른쪽눈 및 왼쪽눈의 쌍방의 시선 방향을 검출하기 위한 화상을 취득할 수 있다.
제3 통신 제어부(118)는, 카메라(116)가 촬상한 화상을, 유저(300)의 시선 방향을 검출하는 시선 검출 장치(200)에 출력한다. 구체적으로는, 제3 통신 제어부(118)는, 통신 I/F(110)를 통하여 카메라(116)가 촬상한 화상을 시선 검출 장치(200)에 송신한다. 시선 방향 검출부로서 기능하는 검출부(202)의 상세에 대해서는 후술하지만, 시선 검출 장치(200)의 CPU(Central Processing Unit)가 실행하는 영상 표시 프로그램에 의하여 실현된다. 또한, 헤드 마운트 디스플레이(100)가 CPU나 메모리 등의 계산 리소스를 갖고 있는 경우에는, 헤드 마운트 디스플레이(100)의 CPU가 시선 방향 검출부를 실현하는 프로그램을 실행해도 된다.
상세한 것은 후술하지만, 카메라(116)가 촬상하는 화상에는, 유저(300)의 각막(302)에서 반사된 근적외광에 기인하는 휘점과, 근적외의 파장 대역에서 관찰되는 유저(300)의 각막(302)을 포함하는 눈의 화상이 촬상되어 있다.
이상은, 실시형태에 관한 화상 표시계(130) 중 주로 유저(300)의 왼쪽눈에 화상을 제시하기 위한 구성에 대하여 설명했지만, 유저(300)의 오른쪽눈에 화상을 제시하기 위한 구성은 상기와 같다.
다음으로, 실시형태에 관한 시선 방향의 검출에 대하여 설명한다.
도 6은, 실시형태에 관한 시선 방향의 검출을 위한 캘리브레이션을 설명하는 모식도이다. 유저(300)의 시선 방향은, 카메라(116)가 촬상하여 제3 통신 제어부(118)가 시선 검출 장치(200)에 출력한 영상을, 시선 검출 장치(200) 내의 검출부(202)가 해석하는 것에 의하여 실현된다.
화상 생성부(203)는, 도 6에 나타내는 것과 같은 점 Q1~Q9까지의 9개의 점(마커 화상)을 생성하여, 헤드 마운트 디스플레이(100)의 화상 표시 소자(108)에 표시시킨다. 시선 검출 장치(200)는, 점 Q1~점 Q9에 도달할 때까지 차례로 유저(300)에게 주시시킨다. 이 때, 유저(300)는 목을 움직이지 않고 최대한 안구의 움직임만으로 각 점을 주시하도록 요구받는다. 카메라(116)는, 유저(300)가 점 Q1~Q9까지의 9개의 점을 주시하고 있을 때의 유저(300)의 각막(302)을 포함하는 화상을 촬상한다.
도 7은, 유저(300)의 각막(302)의 위치 좌표를 설명하는 모식도이다. 시선 검출 장치(200) 내의 검출부(202)는, 카메라(116)가 촬상한 화상을 해석하여 적외광에 유래하는 휘점(105)을 검출한다. 유저(300)가 안구의 움직임만으로 각 점을 주시하고 있을 때는, 유저가 어느 한 점을 주시하고 있는 경우여도, 휘점(105)의 위치는 움직이지 않는다고 생각된다. 따라서 검출부(202)는, 검출한 휘점(105)을 근거로, 카메라(116)가 촬상한 화상 중에 2차원 좌표계(306)를 설정한다.
검출부(202)는 또, 카메라(116)가 촬상한 화상을 해석하는 것에 의하여, 유저(300)의 각막(302)의 중심(P)을 검출한다. 이는 예를 들면 하프 변환이나 엣지 추출 처리 등, 이미 알려져 있는 화상 처리를 이용함으로써 실현할 수 있다. 이로써, 검출부(202)는, 설정한 2차원 좌표계(306)에 있어서의 유저(300)의 각막(302)의 중심(P)의 좌표를 취득할 수 있다.
도 6에 있어서, 화상 표시 소자(108)가 표시하는 표시 화면에 설정된 2차원 좌표계에 있어서의 점 Q1~점 Q9의 좌표를 각각 Q1(x1, y1)T, Q2(x2, y2)T …, Q9(x9, x9)T로 한다. 각 좌표는, 예를 들면 각 점의 중심에 위치하는 화소의 번호가 된다. 또, 유저(300)가 점 Q1~점 Q9를 주시하고 있을 때의, 유저(300) 각막(302)의 중심(P)을, 각각 점 P1~P9로 한다. 이 때, 2차원 좌표계(306)에 있어서의 점 P1~P9의 좌표를 각각 P1(X1, Y1)T, P2(X2, Y2)T, …, P9(Z9, Y9)T로 한다. 또한, T는 벡터 또는 행렬의 전치를 나타낸다.
여기에서, 2×2의 크기의 행렬 M을 이하의 식 (1)과 같이 정의한다.
[수 1]
Figure pat00001
이 때, 행렬 M이 이하의 식 (2)를 만족시키면, 행렬 M은 유저(300)의 시선 방향을 화상 표시 소자(108)가 표시하는 화상면에 사영(射影)하는 행렬이 된다.
Figure pat00002
(2)
상기 식 (2)를 구체적으로 새로 쓰면 이하의 식 (3)과 같이 된다.
[수 2]
Figure pat00003
식 (3)을 변형하면 이하의 식 (4)를 얻는다.
[수 3]
Figure pat00004
여기에서,
[수 4]
Figure pat00005
로 하면, 이하의 식 (5)을 얻는다.
y=Ax (5)
식 (5)에 있어서, 벡터 y의 요소는 검출부(202)가 화상 표시 소자(108)에 표시시키는 점 Q1~Q9의 좌표이기 때문에 기지(旣知)이다. 또, 행렬 A의 요소는 유저(300)의 각막(302)의 정점(P)의 좌표이기 때문에 취득할 수 있다. 따라서, 검출부(202)는, 벡터 y 및 행렬 A를 취득할 수 있다. 또한, 변환 행렬 M의 요소를 나열한 벡터인 벡터 x는 미지(未知)이다. 따라서, 행렬 M을 추정하는 문제는, 벡터 y와 행렬 A가 기지일 때, 미지의 벡터 x를 구하는 문제가 된다.
식 (5)는, 미지수의 수(즉 벡터 x의 요소수 4)보다 식의 수(즉, 검출부(202)가 캘리브레이션 시에 유저(300)에게 제시한 점 Q의 수)가 많으면, 과결정 문제가 된다. 식 (5)에 나타내는 예에서는, 식의 수는 9개이기 때문에, 과결정 문제이다.
벡터 y와 벡터Ax의 오차 벡터를 벡터 e로 한다. 즉, e=y-Ax이다. 이 때, 벡터 e의 요소의 제곱합을 최소로 한다는 의미에서 최적의 벡터 xopt는, 이하의 식 (6)으로 구해진다.
xopt=(ATA)-1ATy (6)
여기에서 "-1"은 역행렬을 나타낸다.
검출부(202)는, 구한 벡터 xopt의 요소를 이용함으로써, 식 (1)의 행렬 M을 구성한다. 이로써, 검출부(202)는, 유저(300)의 각막(302)의 정점(P)의 좌표와 행렬 M을 이용함으로써, 식 (2)에 따라, 유저(300)의 오른쪽눈이 화상 표시 소자(108)에 표시되는 동화상(動畵像) 상의 어느 곳을 주시하고 있는지를 추정할 수 있다. 여기에서, 검출부(202)는, 또한, 유저의 눈과 화상 표시 소자(108) 간의 거리 정보를 헤드 마운트 디스플레이(100)로부터 수신하여, 그 거리 정보에 따라, 추정한 유저가 주시하고 있는 좌표값을 수정한다. 또한, 유저의 눈과 화상 표시 소자(108)의 사이의 거리에 의한 주시 위치의 추정의 어긋남은 오차의 범위로서 무시해도 된다. 이로써, 검출부(202)는, 화상 표시 소자(108) 상의 오른쪽눈의 주시점과 유저의 오른쪽눈의 각막의 정점을 연결하는 오른쪽눈 시선 벡터를 산출할 수 있다. 마찬가지로, 검출부(202)는, 화상 표시 소자(108) 상의 왼쪽눈의 주시점과 유저의 왼쪽눈의 각막의 정점을 연결하는 왼쪽눈 시선 벡터를 산출할 수 있다. 또한, 한쪽 눈만의 시선 벡터로 2차원 평면상에서의 유저의 주시점을 특정할 수 있어, 양눈의 시선 벡터를 얻음으로써 유저의 주시점의 깊이 방향의 정보까지 산출할 수 있다. 시선 검출 장치(200)는 이와 같이 하여 유저의 주시점을 특정할 수 있다. 또한, 여기에 나타낸 주시점의 특정 방법은 일례이며, 본 실시형태에 나타낸 이외의 수법을 이용하여, 유저의 주시점을 특정해도 된다.
《화상에 유저의 시선 정보가 표시되는 예》
도 8 및 도 9를 이용하여, 화상에 유저의 시선 정보가 표시되는 경우의 처리의 일례를 설명한다. 도 8은, 서버(400)에 있어서의 처리를 나타내는 플로차트이다.
우선, 서버(400)는, 네트워크(500)를 통하여 접속되는 각 헤드 마운트 디스플레이 시스템(1)에, 기억 장치(41)에 기억되는 화상 데이터(d1)를 송신한다(S01).
그 후, 서버(400)는, 각 헤드 마운트 디스플레이 시스템(1)으로부터, 화상 데이터(d1)를 시인한 유저의 시선 데이터를 수신한다(S02).
또, 서버(400)는, 수신한 각 헤드 마운트 디스플레이 시스템(1)의 시선 데이터를 포함하는 새로운 화상 데이터를 생성한다(S03).
계속해서, 서버(400)는, 새로운 화상 데이터를 각 헤드 마운트 디스플레이 시스템(1)에 송신한다(S04).
서버(400)는, 종료 리퀘스트를 수신할 때까지, 스텝 S02~S04의 처리를 계속한다(S05).
도 9는, 헤드 마운트 디스플레이 시스템(1)에 있어서의 처리를 나타내는 플로차트이다. 헤드 마운트 디스플레이 시스템(1)은, 서버(400)로부터 화상 데이터를 수신하면(S11), 수신한 화상 데이터를 표시한다(S12).
또, 헤드 마운트 디스플레이 시스템(1)은, 표시한 화상 데이터를 시인하는 유저의 시선 데이터를 검출한다(S13).
그 후, 헤드 마운트 디스플레이 시스템(1)은, 검출한 시선 데이터를 서버(400)에 송신한다(S14).
헤드 마운트 디스플레이 시스템(1)은, 종료 리퀘스트를 수신할 때까지, 스텝 S11~S14의 처리를 반복한다(S15).
도 10(a)는, 서버(400)에 있어서 스텝 S01에서 송신되어, 헤드 마운트 디스플레이 시스템(1)에 있어서 스텝 S12에서 표시되는 화상의 일례이다.
또, 도 10(b)는, 시선 데이터를 포함하는 화상의 일례이다. 이는, 헤드 마운트 디스플레이 시스템(1)에 있어서 스텝 S13에서 시선 데이터가 검출되고, 스텝 S03에서 생성된 시선 데이터를 포함하는 화상 데이터이다. 여기에서, 유저의 시선 데이터를, 식별자 A~K로 하여 화상 데이터에 추가한 일례이다.
또한 도 10(c)는, 시선 데이터를 포함하는 화상의 다른 예이다. 도 10(b)는, 동일한 화상 데이터를 시인하는 모든 유저, 즉, 식별자 A~K의 11명의 시선을 포함하는 예였다. 이것에 대하여, 도 10(c)는, 일부의 유저만의 시선을 포함하는 화상 데이터의 예이다.
서버(400)의 생성부(402)는, 시선 데이터를 포함하는 화상 데이터를 생성하는 경우, 도 10(b)에 나타내는 바와 같이, 모든 유저의 시선을 포함하는 화상 데이터를 생성해도 된다. 또, 생성부(402)는, 도 10(c)에 나타내는 바와 같이, 일부의 유저의 시선을 포함하는 화상 데이터를 생성해도 된다.
《시선 정보로부터 유저를 그룹핑하는 예》
도 11을 이용하여, 유저의 시선 정보를 이용해, 유저를 그룹핑하는 경우의 처리의 일례를 설명한다. 도 11은, 서버(400)에 있어서의 처리를 나타내는 플로차트이다.
우선, 서버(400)는, 네트워크(500)를 통하여 접속되는 각 헤드 마운트 디스플레이 시스템(1)에, 기억 장치(41)에 기억되는 화상 데이터(d1)를 송신한다(S21).
그 후, 서버(400)는, 각 헤드 마운트 디스플레이 시스템(1)으로부터, 화상 데이터(d1)를 시인한 유저의 시선 데이터를 수신한다(S22).
다음으로, 서버(400)는, 시선이 소정 조건인 유저를 추출한다(S23). 예를 들면, 서버(400)는, 상기 설명한 바와 같이, 시선이 동일한 오브젝트에 있는 그룹, 시선이 소정 범위에 있는 그룹, 클러스터링 처리에 의하여 특정되는 그룹, 시선이 동일 에리어에 있는 그룹 등을 추출한다. 이 때, 서버(400)는, 유저의 시선에 더하여 유저의 행동을 추출 조건에 이용해도 된다.
서버(400)는, 추출한 유저마다 그룹을 생성한다(S24). 추출 조건과 유저의 시선 데이터에 따라, 그룹의 수나 각 그룹에 포함되는 유저의 수는 다르다.
또, 서버(400)는, 스텝 S22에서 수신한 각 헤드 마운트 디스플레이 시스템(1)의 시선 데이터와, 스텝 S24에서 생성한 그룹 데이터를 포함하는 새로운 화상 데이터를 생성한다(S25).
계속해서, 서버(400)는, 새로운 화상 데이터를 각 헤드 마운트 디스플레이 시스템(1)에 송신한다(S26).
서버(400)는, 종료 리퀘스트를 수신할 때까지, 스텝 S22~S26의 처리를 계속한다(S27).
이 경우의 헤드 마운트 디스플레이 시스템(1)에 있어서의 처리는, 도 9를 이용하여 상기 설명한 처리와 동일하다. 또한, 그룹 데이터를 포함하는 새로운 화상 데이터는, 예를 들면, 도 12(a)에 포함되는 바와 같이, 유저의 식별자를 그룹마다 구별할 수 있는 것과 같은 화상이다.
구체적으로는, 도 12(a)에 나타내는 예에서는, 그룹 1에는, 식별자 C 및 H의 유저가 포함된다. 그룹 2에는, 식별자 D, E 및 J의 유저가 포함된다. 그룹 3에는, 식별자 F, K의 유저가 포함된다. 그룹 4에는 식별자 A 및B의 유저가 포함된다. 그룹 5에는, 식별자 G 및 I의 유저가 포함된다.
《시선 정보가 다른 유저를 유도하는 예》
도 13을 이용하여, 유저의 시선이 목적 위치와는 다른 경우, 시선을 목적 위치에 유도하는 경우의 처리의 일례를 설명한다. 도 13은, 서버(400)에 있어서의 처리를 나타내는 플로차트이다.
우선, 서버(400)는, 네트워크(500)를 통하여 접속되는 각 헤드 마운트 디스플레이 시스템(1)에, 기억 장치(41)에 기억되는 화상 데이터(d1)를 송신한다(S31).
그 후, 서버(400)는, 각 헤드 마운트 디스플레이 시스템(1)으로부터, 화상 데이터(d1)를 시인한 유저의 시선 데이터를 수신한다(S32).
다음으로, 서버(400)는, 시선이 목적 위치 이외인 유저를 추출한다(S33). 예를 들면, 서버(400)는, 목적 위치의 좌표로부터 소정 거리를 벗어난 위치에 시선이 있는 유저를 추출한다. 이 때, 서버(400)는, 유저의 시선에 더하여 유저의 행동을 추출 조건에 이용해도 된다.
서버(400)는, 유도 데이터를 포함하는 새로운 화상 데이터를 생성한다(S34).
계속해서, 서버(400)는, 새로운 화상 데이터를 각 헤드 마운트 디스플레이 시스템(1)에 송신한다(S35).
서버(400)는, 종료 리퀘스트를 수신할 때까지, 스텝 S32~S25의 처리를 계속한다(S26).
이 경우의 헤드 마운트 디스플레이 시스템(1)에 있어서의 처리는, 도 9를 이용하여 상기 설명한 처리와 동일하다. 예를 들면, 도 12(b)에 포함되는 바와 같이, 화상 데이터에 포함되는 유도 데이터는, 목적 위치를 지시하는 것이며, 기호나 부호 등이다. 예를 들면, 기호의 일례로서는, 포인터를 들 수 있다. 또한, 도 12(b)에 나타내는 예에 있어서, 파선으로 둘러싸인 부분이 목적 위치이다.
도 14(a)~(c)는, 유도 데이터가 표시되는 화상의 다른 예이다. 도 14(a)에 나타내는 예에서는, 화상에는, 유도 데이터에 의하여, 목적 위치(파선 부분)와 유저의 시점(H부분)을 포함하는 마크(F1)가 생성된다. 이 마크(F1)가, 목적 위치를 중심으로 도 14(b) 및 (c)에 나타내는 바와 같이, 서서히 작아져, 유저의 시선을 유도한다. 또한, 마크(F1)의 형상은, 도 14(a)~(c)에 나타내는 형상으로 한정되지 않는다.
도 15(a)~(c)는, 유도 데이터가 표시되는 화상의 또 다른 예이다. 도 15(a)에 나타내는 예에서는, 화상에는, 유도 데이터에 의하여, 유저의 시점(H부분)을 포함하는 마크(F2)가 생성된다. 이 마크(F2)가, 유저의 시점으로부터, 목적 위치(파선 부분)로 향하여 서서히 커지면서 이동함으로써, 유저의 시선을 유도한다. 도 15(b)는, 마크(F2)가 이동하는 과정의 화상예이다. 또, 도 15(c)는, 마크(F2)가 목적 위치까지 이동된 화상예이다. 또한, 도 15(b)에 있어서, 파선의 원은, 도 15(a)의 마크(F2)의 위치를 나타내는 것이다. 또, 도 15(c)에 있어서, 파선의 원은, 도 15(a)의 마크(F2)의 위치 및 도 15(b)의 마크(F2)의 위치를 나타내는 것이다.
또, 목적 위치를 지시하기 위하여 표시되는 기호나 부호는, 소정 시간 간격으로 점멸하거나, 점멸하도록 사이즈를 변화시키는 것이어도 된다. 기호나 부호가 점멸하거나, 사이즈를 변화시킴으로써, 유저가 그 목적 위치를 파악하기 쉽게 한다.
상기 설명한 구성의 제1 실시형태에 관한 화상 제공 시스템(I)에 의하면, 복수의 유저의 헤드 마운트 디스플레이에 화상 데이터를 제공하는 경우, 유저의 시선 데이터에 따라 생성되는 화상 데이터를 제공할 수 있다. 예를 들면, 화상 데이터에는, 시선 데이터에 따른 그룹 데이터, 유도 데이터를 포함할 수 있다. 이로써, 화상 제공 시스템(I)을 이용하여, 복수의 유저를 관리할 수 있다.
<제2 실시형태>
도 16에 나타내는 바와 같이, 제2 실시형태에 관한 화상 제공 시스템(II), 서버(400)에, 적어도 1대의 호스트 단말인 헤드 마운트 디스플레이 시스템(1X)(이하, 필요에 따라 "호스트 단말(1X)"라고 한다)과, 클라이언트 시스템인 복수의 헤드 마운트 디스플레이 시스템(1;1A~1C)이 접속된다.
제2 실시형태에 관한 화상 제공 시스템(II)에서는, 호스트 단말(1X)의 입력 장치(23)로부터, 그룹을 지정할 수 있다. 또는 화상 제공 시스템(II)에서는, 호스트 단말(1X)의 검출부(202)에서 검출되는 시선 데이터로부터, 그룹을 지정할 수 있다. 또한 화상 제공 시스템(II)에서는, 호스트 단말(1X)로부터 유저의 시선을 유도할 수 있다.
《서버》
제2 실시형태에 관한 화상 제공 시스템(II)의 서버(400)도, 도 2(a)를 이용하여 상기 설명한 서버(400)와 동일한 구성이다. 또한, 제2 실시형태에 관한 화상 제공 시스템(II)에서는, 호스트 단말(1X)에 있어서, 그룹 나누기나 유저의 시선을 유도할 수 있다. 이로 인하여, 서버(400)의 분류부(403)나 추출부(404)는 필수의 구성은 아니다.
또, 화상 제공 시스템(II)의 서버(400)의 생성부(402)는, 헤드 마운트 디스플레이 시스템(1)으로부터 제공되는 그룹 데이터나 유도 데이터를 포함해 새로운 화상 데이터를 생성할 수 있다.
《헤드 마운트 디스플레이 시스템》
제2 실시형태에 관한 화상 제공 시스템(II)의 헤드 마운트 디스플레이 시스템(1)의 제2 통신 제어부(201)는, 시선 검출 장치(200)의 입력 장치(23)를 통하여 입력되는 그룹 데이터나 유도 데이터를, 검출부(202)에서 검출되는 시선 데이터와 함께, 통신 I/F(22)를 통하여 서버(400)에 제공한다. 또한, 호스트 시스템(1X)의 시선 검출 장치(200X)와 서버(400)는, 일체로 구성되어 있어도 된다.
도 16 및 도 17을 이용하여, 호스트 단말(1X)에 있어서의 처리를 설명한다. 도 17은, 호스트 단말(1X)에서 표시되는 화상의 일례이다. 또, 도 18은, 호스트 단말(1X)에 있어서의 처리를 설명하는 플로차트이다.
도 18에 나타내는 바와 같이, 호스트 단말(1X)은, 서버(400)로부터 화상 데이터를 수신한다(S41). 또, 호스트 단말(1X)은, 수신한 화상 데이터를 표시한다(S42).
여기에서, 유저의 시선 데이터가 취득되기 전은, 호스트 단말(1X)에서는, 도 17(a)에 나타내는 바와 같이 시선 데이터를 포함하지 않는 화상이 표시된다. 또, 유저의 시선 데이터가 취득된 후, 호스트 단말(1X)에서는, 도 17(b)에 나타내는 바와 같이, 유저의 시선 데이터(예를 들면, 유저의 식별자)를 포함하는 화상이 표시된다.
그 후, 호스트 단말(1X)은, 표시되는 화상에 대하여, 그룹의 지정이 입력되면(S43에서 YES), 이 그룹 데이터를 포함하는 리퀘스트 신호를 서버(400)에 송신한다(S44). 리퀘스트 신호는, 시선에 따른 정보인 그룹 데이터를 포함하는 화상 데이터의 생성을 요구하는 것이다. 여기에서, 리퀘스트 신호는, 그룹마다 화상 데이터의 생성을 하도록 요구하는 것이어도 된다. 이 그룹의 지정은, 예를 들면, 마우스, 터치 패널 등의 입력 장치(23)를 이용하여 입력된다. 구체적으로는, 도 17(c)에 나타내는 바와 같이, 유저의 식별자가 입력 장치(23)에 의하여 둘러싸임으로써, 그룹이 지정된다. 또는 예를 들면, 검출부(202)가 호스트 단말(1X)을 이용하는 유저의 시선을 검출하여, 그룹을 지정할 수 있다. 구체적으로는, 도 17(c)에 나타내는 바와 같이, 호스트 단말(1X)을 이용하는 유저가, 표시부(121)에 표시되는 화상을 시인하여, 화상 중의 식별자를 둘러싸도록 시선을 움직임으로써, 그룹을 지정할 수 있다.
또, 호스트 단말(1X)은, 표시되는 화상에 대하여, 입력 장치(23)를 통하여 유도 데이터가 입력되면(S45에서 YES), 이 유도 데이터를 포함하는 리퀘스트 신호를 서버(400)에 송신한다(S46). 이 리퀘스트 신호는, 시선을 유도하는 유도 데이터를 포함하는 화상 데이터의 생성을 요구하는 것이다.
호스트 단말(1X)은, 종료 리퀘스트를 수신할 때까지, 스텝 S41~S46의 처리를 계속한다(S26).
상기 설명한 구성의 제2 실시형태에 관한 화상 제공 시스템(II)에 의하면, 복수의 유저의 헤드 마운트 디스플레이에 화상 데이터를 제공하는 경우, 유저의 시선 데이터에 따라 생성되는 화상 데이터를 제공할 수 있다. 예를 들면, 화상 데이터에는, 시선 데이터에 따른 그룹 데이터, 유도 데이터를 포함할 수 있다. 이로써, 화상 제공 시스템(II)을 이용하여, 복수의 유저를 관리할 수 있다.
상기 실시형태에 있어서의 시선 검출에 관한 수법은 일례이며, 상기 헤드 마운트 디스플레이(100) 및 시선 검출 장치(200)에 의한 시선 검출 방법은, 이것에 한정되는 것은 아니다.
우선, 상기 실시형태에 있어서는, 비가시광으로서 근적외광을 조사하는 적외광원을 복수 마련하는 예를 나타내고 있지만, 근적외광을 유저의 눈에 조사하는 수법은 이것에 한정되지 않는다. 예를 들면, 헤드 마운트 디스플레이(100)의 화상 표시 소자(108)를 구성하는 화소에 대하여, 근적외광을 발광하는 서브 화소를 갖는 화소를 마련하는 구성으로 하여, 그러한 근적외광을 발광하는 서브 화소를 선택적으로 발광시켜, 유저의 눈에 근적외광을 조사하는 것으로 해도 된다. 또, 혹은 화상 표시 소자(108) 대신에, 헤드 마운트 디스플레이(100)에 망막 투영 디스플레이를 구비함과 함께, 당해 망막 투영 디스플레이로 표시하여, 유저의 망막에 투영하는 화상 안에, 근적외광색으로 발광하는 화소를 포함시킴으로써, 근적외광의 조사를 실현하는 구성으로 해도 된다. 화상 표시 소자(108)의 경우로 해도, 망막 투영 디스플레이의 경우로 해도, 근적외광을 발광시키는 서브 화소는, 정기적으로 변경하는 것으로 해도 된다.
또, 상기 실시형태에 있어서 나타낸 시선 검출의 알고리즘도 상기 실시형태에 나타낸 수법으로 한정되는 것은 아니고, 시선 검출을 실현할 수 있다면, 그 외의 알고리즘을 이용해도 된다.
상기 설명한 실시형태에 있어서는, 화상 제공 시스템에 있어서의 각 처리를, 서버(400), 헤드 마운트 디스플레이(100) 및 시선 검출 장치(200)의 CPU가 화상 제공 프로그램 등을 실행하는 것에 의하여, 실현되는 것으로서 설명했다. 한편, 서버(400), 헤드 마운트 디스플레이(100) 및 시선 검출 장치(200)에 있어서, CPU 대신에, 집적회로(IC(Integrated Circuit) 칩, LSI(Large Scale Integration)), FPGA(Field Programmable gatearray), CPLD(Complex Programmable Logic Device) 등에 형성된 논리 회로(하드웨어)나 전용 회로에 의하여 각 처리를 실현해도 된다. 또, 이러한 회로는, 1개 또는 복수의 집적회로에 의하여 실현되어도 되고, 상기 실시형태에 나타낸 복수의 기능부의 기능을 1개의 집적회로에 의하여 실현하는 것으로 해도 된다. LSI는, 집적도의 차이에 따라, VLSI, 슈퍼 LSI, 울트라 LSI 등이라고 불리는 경우도 있다.
즉, 도 19(a)에 나타내는 바와 같이, 서버(400)는, 통신 I/F(42)와, 제1 통신 제어 회로(401a), 생성 회로(402a), 분류 회로(403a) 및 추출 회로(404a)를 갖는 제1 통신 제어 회로(401a)와, 화상 데이터(411) 및 화상 제공 프로그램(P1)을 기억하는 기억 장치(41)로 구성되어도 된다. 제1 통신 제어 회로(401a), 생성 회로(402a), 분류 회로(403a) 및 추출 회로(404a)는, 화상 제공 프로그램(P1)에 의하여 제어된다. 각각의 기능은, 상기 실시형태에 나타낸 동일한 명칭을 갖는 각부와 같다.
또, 도 19(b)에 나타내는 바와 같이, 헤드 마운트 디스플레이(100)는, 통신 I/F(110)와, 제3 통신 제어 회로(118a)와, 표시 회로(121a)와, 적외광 조사 회로(122a)와, 화상 처리 회로(123a)와, 촬상 회로(124a)로 구성되어도 된다. 각각의 기능은, 상기 실시형태에 나타낸 동일한 명칭을 갖는 각부와 같다.
또한 도 19(b)에 나타내는 바와 같이, 시선 검출 장치(200)는, 제2 통신 제어 회로(201a), 검출 회로(202a), 화상 생성 회로(203a) 및 화상 출력 회로(204a)를 갖는 제어 회로(20a)와, 시선 검출 프로그램(P2)를 기억하는 기억 장치(21)와, 통신 I/F(22)와, 입력 장치(23)와, 출력 장치(24)로 구성되어도 된다. 제2 통신 제어 회로(201a), 검출 회로(202a), 화상 생성 회로(203a) 및 화상 출력 회로(204a)는, 시선 검출 프로그램(P2)에 의하여 제어된다. 각각의 기능은, 상기 실시형태에 나타낸 동일한 명칭을 갖는 각부와 같다.
또, 상기 기억 장치(21, 41)로서는, "일시적이 아닌 유형의 매체", 예를 들면, 테이프, 디스크, 카드, 반도체 메모리, 프로그래머블한 논리 회로 등을 이용할 수 있다. 또, 상기 검색 프로그램은, 당해 검색 프로그램을 전송 가능한 임의의 전송 매체(통신 네트워크나 방송파 등)를 통하여 상기 프로세서에 공급되어도 된다. 본 발명은, 상기 영상 표시 프로그램이 전자적인 전송에 의하여 구현화된, 반송파에 포함된 데이터 신호의 형태로도 실현될 수 있다.
또한, 상기 프로그램은, 예를 들면, ActionScript, JavaScript(등록 상표), Python, Ruby 등의 스크립트 언어, C언어, C++, C#, Objective-C, Java(등록 상표) 등의 컴파일러 언어, 어셈블리 언어, RTL(Register Transfer Level) 등을 이용하여 실장할 수 있다.
<제3 실시형태>
도 20은, 제3 실시형태에 관한 헤드 마운트 디스플레이 시스템(1b)의 구성을 설명하는 블록도이다. 도 20에 나타내는 바와 같이, 헤드 마운트 디스플레이 시스템(1b)의 헤드 마운트 디스플레이(100)는, 통신 인터페이스(I/F)(110), 통신 제어부(118), 표시부(121), 적외선 조사부(122), 화상 처리부(123) 및 촬상부(124)를 갖는다.
통신 제어부(118)는, 통신 I/F(110)를 통하여 시선 검출 장치(200)와 통신을 제어한다. 통신 제어부(118)는, 촬상부(124) 또는 화상 처리부(123)로부터 전송된 시선 검출에 이용하는 화상 데이터를 시선 검출 장치(200)에 송신한다. 또, 통신 제어부(118)는, 시선 검출 장치(200)로부터 송신된 화상 데이터나 마커 화상을 표시부(121)에 전달한다. 화상 데이터는, 일례로서 테스트를 표시하기 위한 데이터이다. 또, 화상 데이터는, 3차원 화상을 표시하기 위한 오른쪽눈용 시차 화상과 왼쪽눈용 시차 화상으로 이루어지는 시차 화상쌍이어도 된다.
표시부(121)는, 통신 제어부(118)로부터 전달된 화상 데이터를 화상 표시 소자(108)에 표시하는 기능을 갖는다. 표시부(121)는, 화상 데이터로서 테스트 화상을 표시한다. 또, 표시부(121)는, 영상 생성부(222)로부터 출력된 마커 화상을 화상 표시 소자(108)의 지정되어 있는 좌표에 표시한다.
적외선 조사부(122)는, 적외광원(103)을 제어하여, 유저의 오른쪽눈 또는 왼쪽눈에 적외광을 조사한다.
화상 처리부(123)는, 필요에 따라, 촬상부(124)가 촬상한 화상에 화상 처리를 행하여, 통신 제어부(118)에 전달한다.
촬상부(124)는, 카메라(116)를 이용하여, 각각의 눈에서 반사된 근적외광을 포함하는 화상을 촬상한다. 또, 촬상부(124)는, 화상 표시 소자(108)에 표시된 마커 화상을 주시하는 유저의 눈을 포함하는 화상을 촬상한다. 촬상부(124)는, 촬상해서 얻은 화상을, 통신 제어부(118) 또는 화상 처리부(123)에 전달한다.
또, 도 20에 나타내는 바와 같이, 시선 검출 장치(200)는, 중앙 처리 장치(CPU)(20)와, 화상 데이터(211) 및 데이터 생성 프로그램(P3)을 기억하는 기억 장치(21)와, 통신 I/F(22)와, 조작 버튼, 키보드 또는 터치 패널 등의 입력 장치(23)와, 디스플레이 또는 프린터 등의 출력 장치(24)를 구비하는 정보처리 장치이다. 시선 검출 장치(200)는, 기억 장치(21)에 기억되는 데이터 생성 프로그램(P3)이 실행됨으로써, CPU(20)가, 통신 제어부(201b), 검출부(202b), 해석부(203b), 타이머(204b), 조작 취득부(205b), 속성 취득부(206b), 생성부(207b) 및 출력부(208b)로서의 처리를 실행한다.
화상 데이터(211)는, 헤드 마운트 디스플레이(100)에 표시하는 데이터이다. 화상 데이터(211)는, 2차원 화상이어도, 3차원 화상이어도 된다. 또, 화상 데이터(211)는, 정지 화상이어도 동화상이어도 된다.
예를 들면, 화상 데이터(211)는, 비디오 게임의 동화상 데이터이다. 화상 데이터(211)가 비디오 게임의 화상일 때, 표시되는 화상은, 유저에 의하여 입력되는 조작 신호에 따라 변경된다. 또 예를 들면, 화상 데이터(211)는, 영화의 동화상 데이터이다. 화상 데이터(211)는, 유저의 조작에 따라, 접속되는 외부의 서버 장치 등(도시하지 않음)으로부터, 구입할 수 있다.
통신 제어부(201b)는, 통신 I/F(22)를 통하여 헤드 마운트 디스플레이(100)와의 통신을 제어한다.
검출부(202b)는, 유저의 시선을 검출하여, 시선 데이터를 생성한다.
해석부(203b)는, 시선 데이터를 이용하여, 유저의 시선을 해석한다. 여기에서, 해석부(203b)는, 필요에 따라, 타이머(204b), 조작 취득부(205b), 속성 취득부(206b)로부터 입력되는 데이터를 이용한다.
타이머(204b)는, 화상 데이터(211)가 게임의 동화상 데이터일 때, 유저의 게임의 플레이 시간을 계측한다. 또, 타이머(204b)는, 계시한 데이터를 해석부(203b)에 출력한다. 예를 들면, 타이머(204b)는, 게임의 개시부터 종료(게임 클리어)까지의 달성 시간을 계측한다. 여기에서, 유저가 복수 회, 동일한 게임을 플레이하는 경우, 타이머(204b)는, 1회째의 게임의 개시부터 종료까지의 달성 시간을 계측한다. 또 예를 들면, 타이머(204b)는, 게임의 총 플레이 시간을 계측한다. 여기에서, 유저가 복수 회, 동일한 게임을 플레이하는 경우, 타이머(204b)는, 복수 회의 플레이 시간의 합계를 총 플레이 시간(토탈 시간)으로서 계측한다.
조작 취득부(205b)는, 화상 데이터(211)의 표시에 관해서 입력된 다양한 조작 신호를 입력한다. 또, 조작 취득부(205b)는, 조작 신호에 관한 데이터를, 해석부(203b)에 출력한다. 예를 들면, 화상 데이터(211)가 게임의 데이터일 때, 이 게임 내에서 실행된 유저에 의한 조작의 정보를 취득한다. 여기에서, 유저에 의한 조작은, 입력 버튼을 이용하여 입력되는 조작이나 음성 신호의 입력에 의한 조작 외에, 검출부(202b)에서 검출할 수 있는 시선의 움직임에 따른 조작이어도 된다.
속성 취득부(206b)는, 화상 데이터(211)를 이용하는 유저의 속성 데이터를 취득한다. 또, 속성 취득부(206b)는, 취득한 데이터를 해석부(203b)에 출력한다. 속성 데이터는, 예를 들면, 유저의 성별, 연령, 직업 등에 관한 데이터이다. 예를 들면, 이 속성 데이터는, 헤드 마운트 디스플레이 시스템(1)이 관리 서버 등에 접속되어 있고, 그 관리 서버에 유저 등록되어 있는 경우, 그 등록 정보로부터 취득할 수 있다. 또는 시선 검출 장치(200)의 기억 장치(21)에 유저의 속성 데이터가 기억되어 있어도 된다.
생성부(207b)는, 검출부(202b)의 검출 결과, 해석부(203b)의 해석 결과를 포함하는 가시화 데이터를 생성한다. 예를 들면, 해석부(203b)에서 특정 시선이 해석된 경우, 생성부(207b)는, 화상과 이 화상에 대응하는 시선으로 특정되는 데이터(좌표를 나타내는 점이나 시선 궤적)를 포함하는 가시화 데이터를 생성한다. 가시화 데이터란, 히트 맵 데이터, 분석 결과를 그래프로 나타내는 데이터 등을 생각할 수 있다. 여기에서, 화상 데이터가 동화상 데이터일 때, 가시화 데이터는, 화상에 있어서의 유저의 시점과 화상 데이터에 있어서의 한 화상의 시간축의 관계를 특정하는 시간축 표시부를 포함해도 된다. 또, 해석부에서 해석된 결과를 막대 그래프 등으로 나타낼 수 있을 때, 막대 그래프를 포함하는 데이터를 가시화 데이터로서 생성한다.
출력부(208b)는, 생성부(207b)가 생성한 가시화 데이터를 출력 장치(24) 등에 출력한다.
또한, 상기 설명한 시선 검출 장치(200)의 각부 중, 해석부(203b), 타이머(204b), 조작 취득부(205b), 속성 취득부(206b) 및 생성부(207b)는, 외부의 서버 등의 정보처리 장치로 실현하는 것도 가능하다. 또, 이들 처리부(203b~207b)를 외부의 정보처리 장치로 실현하는 경우, 헤드 마운트 디스플레이 시스템(1)의 검출부(202b)에서 검출되는 시선 데이터를 취득하는 취득부를 정보처리 장치에서 갖고, 해석부(203b)는, 이 취득부가 취득한 시선 데이터를 이용하여 데이터의 해석 처리를 실행한다.
《가시화 데이터 생성 처리 1》
도 21(a)에 나타내는 플로차트를 이용하여, 헤드 마운트 디스플레이 시스템(1b)에 있어서, 가시화 데이터를 생성해 출력하는 경우의 처리에 대하여 설명한다.
헤드 마운트 디스플레이 시스템(1b)은, 우선 대상의 화상 데이터(211)를 표시한다(S51).
헤드 마운트 디스플레이 시스템(1b)은, 화상을 표시하면, 표시한 화상 데이터(211)를 시인하는 유저의 시선을 검출한다(S52).
또, 헤드 마운트 디스플레이 시스템(1b)은, 유저의 시선을 검출하면, 검출된 유저의 시선을 해석한다(S53).
헤드 마운트 디스플레이 시스템(1b)은, 시선을 해석하면, 가시화 데이터를 생성한다(S54).
헤드 마운트 디스플레이 시스템(1b)은, 생성한 가시화 데이터를 출력한다(S55).
여기에서, 도 20은, 1대의 시선 검출 장치(200)에 1대의 헤드 마운트 디스플레이(100)가 접속되는 예를 나타낸다. 그러나 1대의 시선 검출 장치(200)에 복수 대의 헤드 마운트 디스플레이(100)가 접속되어도 된다. 이 경우, 각 헤드 마운트 디스플레이(100)에 화상 데이터(211)를 표시하여 각각의 유저로부터 시선 데이터를 검출하기 위하여, 스텝 S01 및 S02의 처리를 복수 회 반복한다. 또, 복수의 유저로부터 검출된 시선 데이터를 이용하여, 스텝 S53~S55의 처리를 반복한다.
도 22(a) 및 도 22(b)는, 어느 정지 화상을 일정시간 표시한 경우의 복수의 유저의 시선 데이터를 이용하여 생성된 가시화 데이터의 일례이다. 도 22(a)에 나타내는 예는, 각 유저의 시선 궤적(S1~S4)을 포함하는 가시화 데이터(W1)이다. 또, 도 22(b)에 나타내는 예는, 유저가 소정 시간 이상 주시한 위치를 나타내는 막대 그래프를 포함하는 가시화 W2이다.
도 23(a) 내지 도 23(c)는, 동화상을 표시한 경우의 유저의 시선 데이터를 이용하여 생성된 가시화 데이터의 일례이다. 도 23(a) 및 도 23(b)는, 동화상의 진행 상황을 나타내는 타임 슬라이더 T를 갖는 가시화 데이터(W3)이다. 도 23(a)와 도 23(b)는, 도 23(a)의 화상이 먼저 표시되고, 그 후, 도 7(b)의 화상이 표시된다. 여기에서, 도 23(a) 및 도 23(b)에 있어서, 까만 동그라미 부분이, 유저의 시선의 위치이다.
《가시화 데이터 생성 처리 2》
도 21(b)에 나타내는 플로차트를 이용하여, 헤드 마운트 디스플레이 시스템(1b)에 있어서, 가시화 데이터를 생성해 출력하는 경우의 처리에 대하여 설명한다.
헤드 마운트 디스플레이 시스템(1b)은, 유저의 시선 데이터를 취득한다(S61).
또, 헤드 마운트 디스플레이 시스템(1b)은, 유저의 시선 데이터를 취득하면, 취득한 유저의 시선을 해석한다(S62).
헤드 마운트 디스플레이 시스템(1b)은, 시선을 해석하면, 가시화 데이터를 생성한다(S63).
헤드 마운트 디스플레이 시스템(1b)은, 생성한 가시화 데이터를 출력한다(S64).
이 스텝 S11~S14의 처리는, 헤드 마운트 디스플레이 시스템(1b)이 아닌, 검출부(202b)에서 검출된 결과를 취득하는 취득부, 해석부(203b), 타이머(204b), 조작 취득부(205b), 속성 취득부(206b) 및 생성부(207b) 등을 구비하는 외부의 서버 등의 정보처리 장치에서 실행되어도 된다.
화상 데이터(211)가 비디오 게임의 데이터일 때, 해석부(203b)는, 예를 들면, 이하의 (1-1)~(1-6)의 내용을 해석할 수 있다.
(1-1) 시선이 목표 위치로 이동할 때까지의 유저의 시점
유저의 시선이 목표 위치로 이동할 때까지의 유저의 시선 궤적이나 유저의 시선이 목표 위치로 이동하기까지 필요한 시간을 해석한다. 유저의 시선이 목표 위치로 이동하기까지 필요한 시간은, 예를 들면, 타이머(204b)로부터 입력하는 시간으로부터 특정할 수 있다. 이로써, 예를 들면, 표시되는 화상에 있어서의 목표 위치의 탐색 난이도를 파악할 수 있다. 또, 생성부(207b)는, 유저의 시선이 목표 위치에 도달하기까지 필요한 시간의 그래프를 가시화 데이터로서 생성한다.
또, 복수의 유저의 데이터를 수집하여 해석함으로써, 해석부(203b)는, 유저가 목표 위치를 찾아내기 쉬운 화상 데이터의 경향을 해석할 수 있다. 또한 유저의 속성을 함께 해석함으로써, 해석부(203b)는, 시선이 목표 위치로 이동하기까지 필요한 시간과, 유저의 속성의 경향을 해석할 수도 있다. 유저의 속성은, 속성 취득부(206b)로부터 입력된다.
(1-2) 시선이 목표 위치로부터 벗어난 유저의 시점
유저의 시선이 목표 위치에 없는 경우, 해석부(203b)는, 그 시점의 유저의 시선의 좌표(시점)를 해석한다. 이로써, 표시되는 화상에 있어서, 유저가 어디에 주의를 끌려 헤매었는지를 특정할 수 있다. 예를 들면, 생성부(207b)는, 유저의 시점의 좌표를 가시화 데이터로서 생성한다.
또, 복수의 유저의 데이터를 수집하여 해석함으로써, 해석부(203b)는, 유저가 헤매기 쉬운 화상 데이터의 경향을 해석할 수 있다. 또한 유저의 속성을 함께 해석함으로써, 해석부(203b)는, 헤매기 쉬운 유저의 속성의 경향을 해석할 수도 있다. 유저의 속성은, 속성 취득부(206b)로부터 입력된다.
(1-3) 시선이 목표 위치로부터 벗어난 경우의 원인
유저의 시선이 목표 위치에 없는 경우, 해석부(203b)는, 그 상태에 이를 때까지의 소정 시간에 표시된 화상에 있어서의 유저의 시선 궤적을 구한다. 이로써, 어떤 상태에 이르기까지 표시된 화상에 있어서, 유저가 무엇에 주의를 끌려 헤매는지의 원인을 예측할 수 있다. 예를 들면, 생성부(207b)는, 유저의 시점의 궤적을 가시화 데이터로서 생성한다.
또, 복수의 유저의 시선 궤적의 데이터를 수집하여 해석함으로써, 해석부(203b)는, 유저가 헤매기 쉬운 화상 데이터를 해석할 수 있다. 또한 유저의 속성을 함께 해석함으로써, 해석부(203b)는, 헤매기 쉬운 유저의 경향을 해석할 수도 있다.
(1-4) 초기 화면에서의 유저의 주목 위치
해석부(203b)는, 게임의 초기 화면에서의 유저의 시선의 좌표를 검출한다. 이로써, 해석부(203b)는, 유저가 초기 화면에 있어서, 어디를 주목했는지를 해석한다. 즉, 해석부(203b)는, 초기 화면에서 주목한 장소를 해석함으로써, 초기 화면에 있어서 유저가 주의를 끌린 장소를 파악할 수 있다. 예를 들면, 생성부(207b)는, 유저의 시점의 좌표를 가시화 데이터로서 생성한다.
또, 복수의 유저의 시선 데이터를 수집하여 해석함으로써, 해석부(203b)는, 많은 유저의 주의를 끄는 화상 구성에 대하여 해석할 수 있다. 또한 유저의 속성을 함께 해석함으로써, 해석부(203b)는, 각 화상 구성이 주의를 끄는 유저의 경향을 해석할 수도 있다.
또한 유저의 총 플레이 시간을 함께 해석함으로써, 해석부(203b)는, 유저가 끌리기 쉬운 데이터와, 게임에 대한 유저의 흥미의 정도의 경향을 해석할 수 있다. 예를 들면, 총 플레이 시간이 긴 유저는, 대상 게임을 좋아하는 유저인 경우가 많고, 총 플레이 시간이 짧은 유저는, 대상 게임에 흥미가 없는 유저인 경우가 많다. 따라서, 예를 들면, 유저의 주의를 끈 데이터와, 그 유저의 플레이 시간을 함께 해석함으로써, 게임에 흥미를 갖는 유저와 흥미가 없는 유저의 시점의 차이를 해석할 수 있다. 유저의 총 플레이 시간은, 타이머(204b)로부터 입력된다.
(1-5) 특정 조작을 실행하는 유저의 경향
해석부(203b)는, 게임 시에 특정 조작을 실행한 유저의 시선의 좌표(시점)를 검출한다. 이로써, 각 조작을 실행한 유저의 흥미나 관심을 특정할 수 있다. 이 조작은, 게임의 플레이에 관한 조작이어도 되고, 그 이외의 조작이어도 된다. 해석부(203b)는, 조작 취득부(205b)로부터 조작의 실행에 관한 데이터를 입력한다. 예를 들면, 생성부(207b)는, 유저의 시점의 좌표를 가시화 데이터로서 생성한다.
예를 들면, 게임의 플레이에 관한 조작과, 그 조작을 실행했을 때의 유저의 시점을 확인함으로써, 유저의 조작과 시선의 관계를 파악할 수 있다. 유저의 조작으로서는, 예를 들면, 득점을 얻는 게임인 경우에는, 높은 득점을 얻는 조작을 한 유저의 시선을 생각할 수 있다. 또, 게임의 플레이 이외의 조작으로서는, 예를 들면, 게임에 있어서 컨텐츠를 구입하는 조작이다. 예를 들면, 컨텐츠를 구입하는 유저는, 어떠한 점에 흥미를 갖고 컨텐츠를 구입하는지를 해석함으로써, 어떠한 게임 전개로 하면 유저가 컨텐츠를 구입할지나, 컨텐츠를 많이 구입하는 유저가 좋아하는 화상 구성을 특정할 수 있다.
또, 복수의 유저의 시선의 데이터와 조작의 실행에 관한 데이터를 수집하여, 해석함으로써, 해석부(203b)는, 유저의 조작과 화상 데이터의 관련을 해석할 수 있다. 또한 유저의 속성을 함께 해석함으로써, 해석부(203b)는, 각 조작을 실행하는 유저의 경향을 해석할 수도 있다.
또한 유저의 총 플레이 시간을 함께 해석함으로써, 해석부(203b)는, 특정 조작을 하는 유저와, 유저 게임에 대한 유저의 흥미의 정도의 경향을 해석할 수 있다. 예를 들면, 총 플레이 시간이 긴 유저는, 대상 게임을 좋아하는 유저인 경우가 많고, 총 플레이 시간이 짧은 유저는, 대상 게임에 흥미가 없는 유저인 경우가 많다. 따라서, 예를 들면, 게임에 흥미를 갖는 유저와 흥미가 없는 유저의 특정 조작의 실행의 관계를 해석할 수 있다.
(1-6) 유저의 레벨
해석부(203b)는, (1)~(4)에 있어서의 해석에, 게임에서 획득하는 득점 등으로부터 유저의 레벨을 구할 수 있는 게임의 경우, 그 레벨을 고려해도 된다. 즉, 유저의 레벨마다, 시선이 목표 위치로부터 벗어난 유저의 시점, 시선이 목표 위치로부터 벗어난 경우의 원인, 초기 화면에서의 유저의 주목 위치, 특정 조작을 실행하는 유저의 경향을 해석할 수 있다.
화상 데이터(211)가 영화의 데이터일 때, 예를 들면, 이하의 (2-1)~(2-3)의 내용을 해석할 수 있다.
(2-1) 유저의 주목 위치
해석부(203b)는, 화상 중의 유저의 시선의 좌표(시점)를 검출한다. 이로써, 표시되는 화상에 있어서, 유저가 어디에 관심을 갖는지를 특정할 수 있다. 또, 복수의 유저의 데이터를 수집하여 해석함으로써, 복수의 유저가 관심을 갖게 된 화상의 구성을 특정할 수 있다.
(2-2) 유저의 속성
해석부(203b)는, 상기 (2-1)의 유저의 주목 위치와 함께, 유저의 속성을 함께 해석해도 된다. 이로써, 각 화상의 구성을 좋아하는 유저의 속성의 경향도 함께 해석할 수도 있다. 이 유저의 속성은, 속성 취득부(206b)로부터 입력된다.
(2-3) 컨텐츠의 구입 이력
해석부(203b)는, 상기 (2-1)의 유저의 주목 위치 및 (2-2) 유저의 속성과 함께, 유저에 따라 영화 컨텐츠의 구입 이력을 함께 해석해도 된다. 구입 이력으로서는, 예를 들면, 영화 컨텐츠의 가격, 온라인 구입한 경우에는, 구입 일시 등을 들 수 있다. 이로써, 컨텐츠의 구입에 관한 경향도 함께 해석할 수 있다.
이와 같이, 해석부(203b)는, 특정 유저의 시점, 유저의 복수의 시점의 경향을 해석한다.
<제4 실시형태>
도 24는, 제4 실시형태에 관한 영상 표시 시스템(1c)의 헤드 마운트 디스플레이(100)와 시선 검출 장치(200)의 블록도이다.
헤드 마운트 디스플레이(100)는, 전기 회로 부품으로서, 적외광원(103), 화상 표시 소자(108)(이하, "디스플레이(108)"라고 한다), 카메라(116), 및 통신 I/F(110)에 더하여 제어부(CPU)(150), 메모리(151), 적외선 조사부(122), 표시부(121), 촬상부(124), 화상 처리부(123), 경사 검출부(156)를 포함한다.
한편, 시선 검출 장치(200)는, 제어부(CPU)(20)와, 기억 장치(21)와, 통신 I/F(22)와, 시선 검출부(213)와, 영상 생성부(214)와, 음성 생성부(215)를 포함한다.
통신 I/F(110)는, 시선 검출 장치(200)의 통신 I/F(22)와 통신을 실행하는 기능을 갖는 통신 인터페이스이다. 통신 I/F(110)는, 유선 통신 또는 무선 통신에 의하여 통신 I/F(22)와 통신을 실행한다. 또한, 사용 가능한 통신 규격의 예는 상기 설명한 바와 같다. 통신 I/F(110)는, 촬상부(124) 또는 화상 처리부(123)로부터 전송한 시선 검출에 이용하는 영상 데이터를 통신 I/F(22)에 송신한다. 또, 통신 I/F(110)는, 시선 검출 장치(200)로부터 송신한 영상 데이터나 마커상을 표시부(121)에 전달한다. 시선 검출 장치(200)로부터 송신하는 영상 데이터는, 일례로서 상기 설명한 PV 등과 같이, 한 사람 이상의 인간의 영상을 포함하는 동영상 등을 표시하기 위한 데이터이다. 또, 영상 데이터는, 3차원 영상을 표시하기 위한 오른쪽눈용 시차 영상과 왼쪽눈용 시차 영상으로 이루어지는 시차 영상쌍이어도 된다.
제어부(140)는, 메모리(151)에 격납한 프로그램에 의하여 상기 설명한 전기 회로 부품을 제어한다. 따라서, 헤드 마운트 디스플레이(100)의 제어부(140)가 메모리(151)에 격납한 프로그램에 따라 시선 방향 검출 기능을 실현하는 프로그램을 실행해도 된다.
메모리(151)는, 상기 설명한 헤드 마운트 디스플레이(100)를 기능시키기 위한 프로그램을 격납하고 있는 것 외에 필요에 따라 카메라(116)로 촬상한 화상 데이터 등을 일시적으로 격납하는 것도 가능하다.
적외선 조사부(122)는, 적외광원(103)의 점등 상태를 제어하여, 적외광원(103)으로부터 유저(300)의 오른쪽눈 또는 왼쪽눈에 근적외광을 조사시킨다.
표시부(121)는, 통신 I/F(110)가 전달한 영상 데이터를 디스플레이(108)에 표시시키는 기능을 갖는다. 표시부(121)는, 영상 데이터로서 아이돌 그룹 등의 프로모션 비디오(PV), 각종 콘서트 등의 라이브 비디오, 토크 쇼 등의 각종 강연 비디오와 같이, 한 사람 이상의 인물을 포함하는 영상을 표시한다. 또, 표시부(121)는, 영상 생성부(214)가 출력한 마커상을 표시부(121)의 지정하고 있는 좌표에 표시한다.
촬상부(124)는, 카메라(116)를 이용하여, 유저(300)의 좌우눈에서 반사한 근적외광을 포함하는 화상을 촬상한다. 또, 촬상부(124)는, 후술하는 디스플레이(108)에 표시한 마커상을 주시하는 유저(300)의 휘점상(輝點像) 및 전안부상(前眼部像)을 촬상한다. 촬상부(124)는, 촬상해서 얻은 화상 데이터를, 통신 I/F(110) 또는 화상 처리부(123)에 전달한다.
화상 처리부(123)는, 필요에 따라, 촬상부(124)가 촬상한 화상에 화상 처리를 행하여, 통신 I/F(110)에 전달한다.
경사 검출부(156)는, 헤드 마운트 디스플레이(100)의 경사를, 예를 들면, 가속도 센서나 쟈이로 센서 등의 경사 센서(157)로부터의 검출 신호에 근거하여 유저(300)의 두부의 경사를 헤드 마운트 디스플레이(100)의 경사로서 산출한다. 경사 검출부(156)는, 순서대로, 헤드 마운트 디스플레이(100)의 경사를 산출하여, 그 산출 결과인 경사 정보를 통신 I/F(110)에 전달한다.
제어부(CPU)(210)는, 기억 장치(21)에 격납한 프로그램에 의하여 상기 설명한 시선 검출을 실행한다. 제어부(210)는, 기억 장치(21)에 기억한 프로그램에 따라 영상 생성부(214) 및 음성 생성부(215)를 제어한다.
기억 장치(21)는, 시선 검출 장치(200)가 동작상 필요한 각종 프로그램이나 데이터를 기억하는 기록 매체이다. 기억 장치(21)는, 예를 들면, HDD(Hard Disc Drive), SSD(Solid State Drive) 등에 의하여 실현 가능하다. 기억 장치(21)는, 영상 데이터에 대응하여 영상 중의 각 등장 인물에 대응한 디스플레이(108)의 화면상에서의 위치 정보나 각 등장 인물의 음성 정보를 기억하고 있다.
통신 I/F(22)는, 헤드 마운트 디스플레이(100)의 통신 I/F(110)와 통신을 실행하는 기능을 갖는 통신 인터페이스이다. 상기 설명한 바와 같이, 통신 I/F(22)는, 유선 통신 또는 무선 통신에 의하여 통신 I/F(110)와 통신을 실행한다. 통신 I/F(22)는, 영상 생성부(214)가 전달한 한 사람 이상의 인물을 포함하는 영상을 표시하기 위한 영상 데이터나, 캘리브레이션을 위하여 이용하는 마커상 등을 헤드 마운트 디스플레이(100)에 송신한다. 또, 헤드 마운트 디스플레이(100)가 전달한 촬상부(124)에 의하여 촬상한 마커상을 주시하는 유저(300)의 휘점상, 영상 생성부(214)가 출력한 영상 데이터에 근거하여 표시한 영상을 보는 유저(300)의 전안부상, 경사 검출부(156)이 산출한 경사 정보를 시선 검출부(213)에 전달한다. 또, 통신 I/F(22)는, 외부의 네트워크(예를 들면, 인터넷)에 액세스하여, 영상 생성부(214)에서 지정한 동영상 웹 사이트의 영상 정보를 취득하여, 영상 생성부(214)에 전달하는 것도 가능하다. 또, 통신 I/F(22)는, 음성 생성부(215)가 전달한 음성 정보를, 직접 또는 통신 I/F(110)를 경유하여 헤드폰(170)에 송신한다.
시선 검출부(213)는, 카메라(116)로 촬상한 전안부상을 해석하여 유저(300)의 시선 방향을 검출한다. 구체적으로는, 통신 I/F(22)로부터 유저(300)의 오른쪽눈의 시선 검출용의 영상 데이터를 받아들여, 유저(300)의 오른쪽눈의 시선 방향을 검출한다. 시선 검출부(213)는, 후술하는 수법을 이용하여, 유저(300)의 오른쪽눈의 시선 방향을 나타내는오른쪽눈 시선 벡터를 산출한다. 마찬가지로, 통신 I/F(22)로부터 유저(300)의 왼쪽눈의 시선 검출용의 영상 데이터를 받아들여, 유저(300)의 왼쪽눈의 시선 방향을 나타내는 왼쪽눈 시선 벡터를 산출한다. 그리고, 산출한 시선 벡터를 이용하여, 유저(300)가 표시부(121)에 표시하고 있는 영상의 주시하고 있는 개소를 특정한다. 시선 검출부(213)는, 특정한 주시점을 영상 생성부(214)에 전달한다.
영상 생성부(214)는, 헤드 마운트 디스플레이(100)의 표시부(121)에 표시시키는 영상 데이터를 생성하여, 통신 I/F(22)에 전달한다. 영상 생성부(214)는, 시선 검출을 위한 캘리브레이션을 위한 마커상을 생성하여, 그 표시 좌표 위치와 함께, 통신 I/F(22)에 전달하여, 헤드 마운트 디스플레이(100)에 송신시킨다. 또, 영상 생성부(214)는, 시선 검출부(213)가 검출한 유저(300)의 시선 방향을 따라, 영상의 표시 양태를 바꾼 영상 데이터를 생성한다. 영상의 표시 양태의 변경 방법의 상세에 대해서는 후술한다. 영상 생성부(214)는, 시선 검출부(213)가 전달한 주시점에 근거하여, 유저(300)가 특정 한 사람을 주시하고 있는지 여부를 판정하고, 특정 한 사람을 주시하고 있었던 경우에, 그 한 사람이 어느 인물인지를 특정한다.
음성 생성부(215)는, 시선 검출부(213)에서 검출한 유저(300)의 시선 방향으로 디스플레이(108)에서 출력하고 있는 영상 중에 한 사람 이상의 인물이 존재하고 있는 경우에, 그 인물을 특정함과 함께 특정한 인물에 대응하여 헤드폰(170)으로부터 출력하는 음성의 출력 상태를 다른 음성의 출력 상태와 다르게 하여 유저(300)가 식별 가능하게 되도록 음성 데이터를 생성한다.
예를 들면, 음성 생성부(215)는, 특정한 인물의 소리의 크기를 그 외의 음성의 크기보다 크게 하도록, 특정한 인물의 소리를 크게 한다, 또는 특정한 인물 이외의 소리를 작게 하는 것에 의하여 유저(300)가 식별 가능하게 되도록 음성 데이터를 생성한다.
또, 음성 생성부(215)는, 특정한 인물의 소리의 크기를 그 외의 음성의 크기보다 크게 한 후에, 예를 들면, 변조하는, 템포를 빠르게(또는 늦게) 하는, 음성 강조와 같은 부가 기능을 음성 데이터에 부여하는 것도 가능하다. 음성 생성부(215)는, 가요 음악 비디오(PV) 등의 간주 중에는 연주 등의 음악을 뮤트로 하는 것과 같은 부가 기능을 음성 데이터에 부여하는 것도 가능하다. 또한, 상세는 후술하지만, 영상 생성부(214)는, 음성 생성부(215)에 의하여 간주 중에 음악을 뮤트로 한 경우에는, 특정한 인물의 안무 등을 천천히 보기 위하여 영상을 슬로우로 하는 것과 같은 부가 기능을 부여하는 것도 가능하다.
영상 생성부(214)는, 유저(300)의 시선 방향에 근거하여, 특정한 인물의 적어도 일부를 포함하는 소정 에리어의 영상이 소정 에리어 이외의 영상보다 주시하기 쉬워지도록 영상 데이터를 생성할 수 있다. 예를 들면, 특정 인물 이외에 스모크 처리를 하는 것과 같은 강조, 특정 인물이 디스플레이(108)의 중앙에 위치하도록 이동하는, 예를 들면, 얼굴이나 악기 등의 특정 인물 일부를 줌 업하는 것과 같은 부가 기능을 부여하는 것도 가능하다. 또, 예를 들면, 최근의 프로모션 비디오 등에서는, 같은 악곡이어도, 등장 인물, 촬영 풍경이나 장소(천연·인공에 관계없이), 안무나 의상 등을 다르게 한 복수 패턴의 영상을 조합하여 하나의 악곡으로서 구성하고 있다. 이로 인하여, 같은 멜로디 부분이어도, 다른 영상 패턴을 선택 가능하게 하고 있는 경우도 있다. 이로 인하여, 예를 들면, 특정 인물이 보다 많이 등장하고 있는 영상 패턴으로 전환하거나, 특정 인물이 이동하고 있을 때에 따라가는 것과 같은 부가 기능을 부여하는 것도 가능하다.
<데이터>
여기에서, 구체적인 영상 데이터에 대하여 설명한다. 예를 들면, 아이돌 그룹 등의 프로모션 비디오는, 영상의 촬영이나 작성과, 음성(가창 및 연주)의 녹음은 따로 따로 제작되는 것이 일반적이다.
이 때, 가창은, 전원이 노래하는 파트와 개인이 노래하는 파트(솔로 파트)에 관계없이, 개개인으로 행해진다. 따라서, 소리나 연주는 개인별로 용이하게 특정할 수 있어, 기존의 정보로서 이용할 수 있다.
한편, 영상에 관해서도, 전원이 옥외 혹은 스튜디오에 있어서 전원이 촬영하는 경우와 개인으로 촬영하는 경우가 있고, 최종적으로는 배경 가공 등의 화상 처리를 행하는 경우가 통상으로서 행해진다. 따라서, 음성과 합체(결합)하는 것으로부터, 영상과 시간축의 관계도 기존의 정보로서 이용할 수 있다. 또, 화면상에 있어서의 각 개인이 안무 등에 따라 이동하고 있을 때에 있어서도, 미리 설정한 화면 사이즈(종횡비)에 대하여, 예를 들면, 얼굴을 기준으로 시간축에 따른 위치는 용이하게 기존의 정보로 할 수 있다.
이로써, 상기 설명한 디스플레이(108)의 표시 화면에 있어서, 영상상의 각개인(등장 인물)에 관한 것으로, 소리(연주)와 위치를 시간축에 관련시켜 영상 데이터에 도입하거나, 혹은 영상 데이터에 대응한 테이블 방식의 출연자 데이터로 할 수 있다.
따라서, 제어부(210)는, 시선 검출부(213)에 의하여 유저(300)의 시선 위치를 검출했을 때, 그 XY좌표와 타임 테이블에 의하여, 유저(300)가 영상 중의 누구를 집중적으로 보고 있는지를 특정할 수 있다.
<동작>
다음으로, 도 25의 플로차트에 근거하여, 영상 표시 시스템(1c)의 동작을 설명한다. 또한, 이하의 설명에서는, 시선 검출 장치(200)의 제어부(210)가 음성 데이터를 포함하는 영상 데이터를 통신 I/F(22)로부터 통신 I/F(110)로 송신한 것으로서 설명한다.
(스텝 S71)
스텝 S71에 있어서, 제어부(140)는, 표시부(121) 및 음성 출력부(132)를 동작시켜, 디스플레이(108)에 영상을 표시 출력시킴과 함께 헤드폰(170)의 음성 출력부(132)로부터 음성 출력시켜 스텝 S72로 이행한다.
(스텝 S72)
스텝 S72에 있어서, 제어부(210)는, 카메라(116)로 촬상한 화상 데이터에 근거하여, 시선 검출부(213)에 의하여 유저(300)가 디스플레이(108)의 주시점(시선 위치)을 검출시켜, 그 위치를 특정시킨다.
(스텝 S73)
스텝 S73에 있어서, 제어부(210)는, 유저(300)가 특정 한명의 사람을 주시하고 있는지 여부를 판정한다. 구체적으로는, 제어부(210)는, 시계열로 영상 중의 사람이 이동하고 있거나 하는 경우여도, 시간축으로 변화하는 검출한 주시점에 있어서의 XY좌표축의 변화가, 최초로 특정한 XY좌표축을 기점으로 소정 시간(예를 들면, 2초간), 타임 테이블을 따르는 영상상의 XY좌표축과 일치하고 있는지 여부에 따라 유저(300)가 특정 한명의 사람을 주시하고 있는지 여부를 판정한다. 제어부(210)는, 특정 한명의 사람을 주시하고 있다고 판정한 경우(Yes)에는, 스텝 S4로 이행한다. 제어부(210)는, 특정 한 사람을 주시하고 있다고 판정하지 않은 경우(No)에는, 스텝 S78로 이행한다. 또한, 특정 한명의 사람이 이동하고 있지 않은 경우여도, 상기 특정 순서는 같다.
(스텝 S74)
스텝 S74에 있어서, 제어부(210)는, 유저(300)가 주시하고 있는 사람을 특정하여, 스텝 S75로 이행한다.
(스텝 S75)
스텝 S75에 있어서, 제어부(210)는, 특정한 사람의 음성 데이터를 특정해 스텝 S76로 이행한다.
(스텝 S76)
스텝 S76에 있어서, 제어부(210)는, 음성 생성부(215)에 의하여 특정한 사람의 음성 데이터와, 그 외의 사람(연주는 포함해도 되고 제외해도 된다)의 음성 데이터를 생성시켜, 그 생성 후의 새로운 음성 데이터를 통신 I/F(22)로부터 통신 I/F(110)에 송신하고, 스텝 S7로 이행한다. 이로써, 예를 들면, 유저(300)가 주시하고 있던 사람의 가창음의 음량이 다른 사람의 가창음의 음량보다 결과적으로 높아진 상태로 헤드폰(170)으로부터 출력된다. 또한, 음성 생성부(215)는, 유저(300)가 주시하고 있던 사람의 가창음의 볼륨만을 높게 올리거나 반대로 유저(300)가 주시하고 있던 사람 이외의 가창음의 볼륨을 낮추거나 하는 것에 의하여, 특정한 사람의 음성을 다른 사람의 음성보다 두드러지게 하여 유저(300)가, 특정 한 사람의 가창을 용이하게 식별 가능하게 한다.
(스텝 S77)
스텝 S77에 있어서, 제어부(210)는, 실제로는 상기 스텝 S76의 루틴과 병행하여, 영상 생성부(214)에 의하여, 유저(300)가 주시하고 있던 사람의 식별이 용이해지도록, 새로운 영상 데이터를 생성시켜, 그 생성 후의 새로운 영상 데이터를 통신 I/F(22)로부터 통신 I/F(110)에 송신하고, 스텝 S7로 이행한다. 이로써, 디스플레이(108)에는, 예를 들면, 도 26에 나타낸 통상의 영상 표시 상태로부터, 도 27에 나타내는 바와 같이, 특정 사람(예를 들면, 센터 위치에서 가창하고 있는 여성)의 영상은 그대로, 그 외의 주위의 사람의 영상은 희미해진 상태로 표시한다. 즉, 영상 생성부(214)는, 소정 에리어(센터 위치의 여성)의 영상이 소정 에리어 이외의 영상보다 주시하기 쉬워지도록 영상 데이터를 새로 생성하는 강조 처리를 실행한다.
(스텝 S78)
스텝 S78에 있어서, 제어부(210)는, 영상 데이터의 재생이 종료되었는지 아닌지를 판정한다. 제어부(210)는, 영상 데이터의 생성이 종료되었다고 판정한 경우(Yes)에는, 이 루틴을 종료한다. 제어부(210)는, 영상 데이터의 생성이 종료되었다고 판정하지 않은 경우(No)에는, 스텝 S2로 루프하고, 이후, 영상 데이터의 재생이 종료될 때까지, 상기 각 루틴을 반복한다. 따라서, 유저(300)는, 예를 들면, 강조 상태의 영상 출력을 주시하고 싶은 경우에는, 주시하고 있던 특정 사람의 주시를 그만두는 것만으로 특정 한 사람을 주시하고 있다고 판정하지 않는(스텝 S73에서 No) 것에 의해, 강조 표시나 음성 제어는 중지가 된다.
<정리>
이와 같이, 영상 표시 시스템(1c)은, 음성 생성부(215)에 의하여, 시선 검출부(213)에서 검출한 유저(300)의 시선 방향으로 디스플레이(108)로부터 출력하고 있는 영상 중에 한 사람 이상의 인물이 존재하고 있는 경우에, 그 인물을 특정함과 함께 특정한 인물에 대응하여 음성 출력부(132)로부터 출력하는 음성(악기 연주 등을 포함한다)의 출력 상태를 다른 음성의 출력 상태와 다르게 하여 이용자가 식별 가능하게 되도록 음성 데이터를 생성한다.
예를 들면, 좋아하는 아이돌 그룹 중, 자신이 추천하는 멤버의 가성을 다른 멤버의 가성보다 두드러지게 하도록, 추천하는 멤버의 가성의 음량을 다른 멤버의 가성의 음량보다 결과적으로 크게 할 수 있다.
이로써, 유저(300)는, 어떤 소리가 추천하는 멤버의 가성(파트인지)인지 용이하게 인식할 수 있어, 프로모션 비디오의 시청을 즐길 수 있다.
또, 특정 인물이란, 아이돌 그룹의 멤버 등으로 한정되지 않고, 콘서트의 라이브 비디오에 있어서의 백 밴드의 연주자 등을 대상으로 하는 것도 가능하다.
이러한 경우에는, 그 연주자를 특정하여, 그 연주음(예를 들면, 메인 기타음이나 베이스 기타음)의 음량을 올리면, 어떠한 연주 방법을 하고 있는지나 어레인지를 하고 있는지 등의 학습용으로서 제공할 수 있다.
이 때, 상기 설명한 프로모션 비디오 제작과 같이, 영상과 음성을 따로 따로 수록하는 것이 아니라, 동시기에 영상과 음성을 수록한 것과 같은 경우에도, 비디오 편집 시에는 사용 마이크의 특정까지 가능하다면, 영상과 음성의 결합은 용이하다. 또, 비유 마이크를 사용하고 있지 않은 것과 같은 경우여도, 악기나 소리에는 고유의 주파수 등을 갖고 있기 때문에, 인물과 샘플 음성(코덱 등)을 테이블 방식으로 데이터베이스화하고 있으면, 영상상의 인물과 음성을 대응시킬 수 있다.
그 외, 영상 데이터에는, 복수의 인물이 등장하는 영상 전반, 예를 들면, 각종 연극이나 가극, 혹은 토크 쇼 등의 각종 강연과 같이 영상화된 것으로 복수의 등장 인물이 포함되는 것 전반에 적용 가능하고, 특히 음성이 혼성하는 것과 같은 경우에 유용하다.
이와 같이, 현실적인 이용 형태에 따라 출력을 변화시킬 수 있어, 범용성을 향상시킬 수 있다.
여기에서, 음성 생성부(215)는, 유저(300)에 의한 음성의 식별성을 향상시키는 수법으로서,
·특정 인물의 음성의 음량을 높인다
·특정 인물의 음성의 음량은 그대로 하고 다른 인물의 음성의 음량을 낮춘다
등이 있다.
또, 음성 생성부(215)는, 이러한 특정 인물의 음성의 음량을 다른 인물의 음성의 음량보다 결과적으로 높게 한 상태로, 또한 특정적 혹은 전체적으로 변조를 더하거나, 템포를 바꾸거나, 음성 강조를 한다는 부가 기능을 추가해도 된다.
또한 음성 생성부(215)는, 가요곡과 같이 간주가 있는 경우, 간주 중에는 소리(악기음 등)를 뮤트해도 된다. 이로써, 영상 생성부(214)의 기능을 이용하여, 특정 인물의 안무(댄스) 영상 등을 슬로우로 재생하는 등의 영상 협조와 병용하여, 특정 인물의 안무를 기억하는 것과 같은 경우에도 이용할 수 있다.
또, 음성 생성부(215)에 의한 음성 제어에 더하여 영상 생성부(214)를 병용하는 경우, 예를 들면, 시선 검출부(213)에 의하여 검출한 유저(300)의 시선 방향에 근거하여, 특정한 인물의 적어도 일부를 포함하는 소정 에리어의 영상이 소정 에리어 이외의 영상보다 주시하기 쉬워지도록 표시 양태를 변경해도 된다.
음성 생성부(215)에 의한 음성 제어에 더하여 영상 생성부(214)를 병용하는 경우의 구체예로서는, 상기 설명한 도 7과 같이, 특정 인물 전체를 소정 에리어로 하여 다른 에리어에 비해 강조한 표시 양태로 하는 것 외에,
·특정 인물의 영상이 화면상의 중앙 부근에 표시되고 있지 않은 경우에, 특정 인물을 화면상의 중앙 부근으로 이동한다
·특정 인물의 얼굴이나 악기 연주자의 손의 악기(연주하고 있는 모습 등)를 줌 업한다
·동일곡에 대하여 복수의 영상 패턴이 존재하는 경우에, 특정 인물이 등장하는 영상 데이터(카메라)로 전환한다
와 같은 양태로 할 수 있다.
<보충>
또한, 영상 표시 시스템은, 상기 실시형태로 한정되는 것은 아니고, 다른 수법에 의하여 실현되어도 된다. 이하, 그 외의 예에 대하여 설명한다.
(1) 상기 실시형태에 있어서는, 프로모션 비디오나 라이브 비디오 등의 영상을 이용하는 것으로 하여, 병용을 포함하는 현실 공간상의 영상의 예를 나타냈지만, 가상 현실 공간 내에 있어서 유사한 인물, 악기 혹은 보면 등을 표시한 경우에 적용하는 것으로 해도 된다.
(2) 상기 실시형태에 있어서는, 특정 인물 자체의 음성을 다른 음성보다 결과적으로 높게 하는 예를 설명했지만, 예를 들면, 특정 인물이 이른바 메인 보컬이 아닌 경우에, 메인 보컬의 소리와 바꿔 넣어, 마치 메인 보컬인 것처럼 해도 된다.
(3) 상기 실시형태에 있어서는, 유저(300)의 시선을 검출하기 위하여, 유저(300)의 눈을 촬상하는 수법으로서 파장 제어 부재 등의 광학 장치(112)에서 반사시킨 영상을 촬상하고 있지만, 이는, 광학 장치(112)를 통하지 않고 직접 유저(300)의 눈을 촬상해도 된다.
(4) 상기 실시형태에 있어서의 시선 검출에 관한 수법은 일례이며, 상기 헤드 마운트 디스플레이(100) 및 시선 검출 장치(200)에 의한 시선 검출 방법은, 이것에 한정되는 것은 아니다.
우선, 비가시광으로서 근적외광을 조사하는 적외선 조사부를 복수 마련하는 예를 나타내고 있지만, 근적외광을 유저(300)의 눈에 조사하는 수법은 이것에 한정되지 않는다. 예를 들면, 헤드 마운트 디스플레이(100)의 디스플레이(108)를 구성하는 화소에 대하여, 근적외광을 발광하는 서브 화소를 갖는 화소를 마련하는 구성으로 하여, 그러한 근적외광을 발광하는 서브 화소를 선택적으로 발광시켜, 유저(300)의 눈에 근적외광을 조사하는 것으로 해도 된다. 또, 혹은 디스플레이(108) 대신에, 헤드 마운트 디스플레이(100)에 망막 투영 디스플레이를 구비함과 함께, 당해 망막 투영 디스플레이로 표시하여, 유저(300)의 망막에 투영하는 영상안에, 근적외광색으로 발광하는 화소를 포함시킴으로써, 근적외광의 조사를 실현하는 구성으로 해도 된다. 디스플레이(108)의 경우로 해도, 망막 투영 디스플레이의 경우로 해도, 근적외광을 발광시키는 서브 화소는, 정기적으로 변경하는 것으로 해도 된다.
또, 시선 검출의 알고리즘도 상기 수법으로 한정되는 것은 아니고, 시선 검출을 실현할 수 있다면, 그 외의 알고리즘을 이용해도 된다.
(5) 상기 실시형태에 있어서는, 유저(30)가 소정 시간 이상 주시한 인물이 있는지 여부에 따라, 특정 인물의 음성 양태를 변경하는 예를 나타냈다. 당해 처리에 있어서는, 또한, 이하의 처리를 추가해도 된다. 즉, 촬상부(124)를 이용하여 유저(300)의 눈을 촬상하고, 시선 검출 장치(200)는, 유저(300)의 동공의 움직임(열린 상태의 변화)을 특정한다. 그리고, 시선 검출 장치(200)는, 그 동공이 열린 상태에 따라, 유저(300)의 감정을 특정하는 감정 특정부를 구비해도 된다. 그리고, 영상 생성부(214)는, 감정 특정부가 특정한 감정에 따라 음성을 변경하는 것으로 해도 된다. 보다 구체적으로는, 예를 들면, 유저(300)의 동공이 크게 열린 경우에는, 유저(300)가 본 인물이 좋아하는 표정이나 안무를 했다고 판정하여, 유저(300)가 그 인물에게 흥미를 가졌다고 추정한다. 그리고, 음성 생성부(215)는, 유저(300)가 흥미를 가졌던 표정이나 안무를 한 영상과 동일한 경향의 영상을 표시하는 경우(예를 들면, 악곡의 1회째의 하이라이트 멜로디에 대한 2번째의 하이라이트 멜로디)에, 특정 인물의 음성의 음량을 다른 인물의 음성의 음량과의 차이가 커지도록 높게 함으로써, 유저(300)의 흥미를 끄는 영상을 포함시킨 강조 효과를 촉진할 수 있다. 마찬가지로, 영상 생성부(214)는, 그 때의 영상의 강조를 더욱 강조하는 것(예를 들면, 주위를 더욱 흐리게 하는 것)과 같이 변화시킬 수 있다.
(6) 상기 실시형태에 있어서는, 음성 생성부(215)에 의한 음성 양태의 변경과 동시에 영상 생성부(214)에 의한 강조 등의 표시 양태의 변경을 행하는 것으로 예시했지만, 표시 양태의 변경에는, 예를 들면, 주시하고 있는 아이돌에 관련된 상품이나 다른 PV를 인터넷 판매하는 CM영상으로 전환해도 된다.
《그 외의 적용예》
본 발명에 관한 화상 제공 시스템에 있어서, 서버는, 화상 데이터에 있어서 시선의 위치가 소정 조건인 유저의 그룹으로서 복수의 유저를 분류하는 분류부를 더욱 구비하고, 생성부는, 분류부로 분류된 그룹에 속하는 유저마다 화상 데이터를 생성하는 화상 제공 시스템이어도 된다.
또, 화상 제공 시스템에 있어서, 서버는, 시선으로 주시하는 위치가 목적 위치와 다른 유저를 추출하는 추출부를 더욱 구비하고, 상기 생성부는, 추출부로 추출된 유저에게 목적 위치를 유도하는 화상 데이터를 생성하는 화상 제공 시스템이어도 된다.
또, 화상 제공 시스템에 있어서, 리퀘스트 신호는, 분류된 유저의 그룹에 관한 그룹 정보를 포함하며, 생성부는, 그룹 정보를 포함하는 화상 데이터를 생성하는 화상 제공 시스템이어도 된다.
또, 화상 제공 시스템에 있어서, 리퀘스트 신호는, 시선을 유도하는 유도 정보를 포함하며, 생성부는, 유도 정보를 포함하는 화상 데이터를 생성하는 화상 제공 시스템이어도 된다.
본 발명에 관한 서버는, 복수의 헤드 마운트 디스플레이 시스템과 접속되며, 화상 제공 시스템에서 이용되는 서버로서, 접속되는 헤드 마운트 디스플레이 시스템에 화상 데이터를 송신하는 제1 통신 제어부와, 당해 화상 데이터에 따라 헤드 마운트 디스플레이 시스템으로부터 송신된 유저의 시선에 관한 정보에 따른 새로운 화상 데이터를 생성하여, 제1 통신 제어부에 출력하는 생성부를 구비하는 서버여도 된다.
본 발명에 관한 화상 제공 방법은, 서버와 복수의 헤드 마운트 디스플레이 시스템이 접속되는 화상 제공 시스템에 있어서의 화상 제공 방법으로서, 서버가, 접속되는 헤드 마운트 디스플레이 시스템에 화상 데이터를 송신하는 스텝과, 헤드 마운트 디스플레이 시스템이, 서버로부터 공급되는 화상 데이터를 표시하는 스텝과, 헤드 마운트 디스플레이 시스템이, 표시부에 표시되는 화상 데이터를 시인하는 유저의 시선을 검출하는 스텝과, 헤드 마운트 디스플레이 시스템이, 검출되는 시선에 관한 정보를 서버에 송신하는 스텝과, 서버가, 헤드 마운트 디스플레이 시스템으로부터 송신된 유저의 시선에 관한 정보에 따른 새로운 화상 데이터를 생성하여, 헤드 마운트 디스플레이 시스템에 송신하는 스텝을 포함하는 화상 제공 방법이어도 된다.
본 발명에 관한 화상 제공 프로그램은, 서버와 복수의 헤드 마운트 디스플레이 시스템이 접속되는 화상 제공 시스템에 있어서, 서버에, 접속되는 헤드 마운트 디스플레이 시스템에 화상 데이터를 송신하는 스텝과, 당해 화상 데이터에 따라 헤드 마운트 디스플레이 시스템으로부터 송신된 유저의 시선에 관한 정보에 따른 새로운 화상 데이터를 생성하여, 헤드 마운트 디스플레이 시스템에 송신하는 스텝을 실현시키는 화상 제공 프로그램이어도 된다.
본 발명에 관한 헤드 마운트 디스플레이는, 화상을 표시하는 표시부와, 표시부에 표시된 화상을 보는 유저의 시선 데이터를 검출하는 검출부와, 검출된 1 이상의 유저의 시선 데이터에 따른 가시화 데이터를 생성하는 생성부를 구비하는 헤드 마운트 디스플레이 시스템이어도 된다.
또, 헤드 마운트 디스플레이 시스템의 생성부는, 검출부에서 검출된 시선 데이터로 특정되는 유저의 시점의 좌표 위치를 포함하는 가시화 데이터를 생성해도 된다.
또, 헤드 마운트 디스플레이 시스템은, 검출부에서 검출된 시선 데이터로부터, 표시부에 표시된 화상을 보는 유저의 복수의 시점의 경향을 해석하는 해석부를 더욱 구비하고, 생성부는, 해석부의 해석 결과를 포함하는 가시화 데이터를 생성해도 된다.
또, 헤드 마운트 디스플레이 시스템은, 검출부에서 검출된 시선 데이터에 있어서, 표시부에 표시되는 화상 중에 있어서의 소정 목적 위치에 유저의 시선이 없는 경우, 유저의 시점을 해석하는 해석부를 더욱 구비하고, 생성부는, 해석부의 해석 결과를 포함하는 가시화 데이터를 생성해도 된다.
또, 헤드 마운트 디스플레이 시스템은, 검출부에서 검출된 시선 데이터에 있어서, 표시부에 표시되는 화상 중에 있어서의 소정 목적 위치에 유저의 시선이 없는 경우, 당해 화상이 표시될 때까지의 소정 시간의 유저의 시선 궤적을 해석하는 해석부를 더욱 구비하고, 생성부는, 해석부의 해석 결과를 포함하는 가시화 데이터를 생성해도 된다.
또, 헤드 마운트 디스플레이 시스템에서, 화상을 표시시키는 화상 데이터는, 비디오 게임의 동화상 데이터이며, 게임의 달성 시간을 계측하는 타이머를 더욱 구비하고, 해석부는, 타이머로 계측된 달성 시간과, 유저의 시선을 해석해도 된다.
또, 헤드 마운트 디스플레이 시스템의 해석부는, 유저의 시선 데이터에 대하여, 달성 시간에 특정되는 레벨별로, 유저의 시선을 해석해도 된다.
또, 헤드 마운트 디스플레이 시스템에서, 화상을 표시시키는 화상 데이터는, 유저에 의하여 입력되는 조작 신호에 따라 표시되는 화상이 변경되는 비디오 게임의 동화상 데이터이며, 해석부는, 게임 개시 시의 유저의 시선을 해석해도 된다.
또, 헤드 마운트 디스플레이 시스템은, 유저가 당해 게임을 플레이하는 토탈 시간을 계측하는 타이머를 더욱 구비하고, 해석부는, 타이머로 계측된 토탈 시간이 소정 범위 시간의 유저의 시선을 해석해도 된다.
또, 헤드 마운트 디스플레이 시스템에서, 화상을 표시시키는 화상 데이터는, 유저에 의하여 입력되는 조작 신호에 따라 표시되는 화상이 변경되는 비디오 게임의 동화상 데이터이며, 유저에 의하여, 게임 내에서 소정 조작이 실행된 정보를 취득하는 조작 취득부를 더욱 구비하고, 해석부는, 조작 취득부에서 소정 조작의 실행을 취득한 경우, 유저의 시선을 해석해도 된다.
또, 헤드 마운트 디스플레이 시스템에서, 소정 조작은, 컨텐츠를 구입하는 조작이어도 된다.
또, 헤드 마운트 디스플레이 시스템에서, 화상을 표시시키는 화상 데이터는, 동화상 데이터이며, 유저의 속성을 취득하는 속성 취득부를 더욱 구비하고, 해석부는, 속성마다, 검출부에서 검출된 시점의 경향을 해석하며, 생성부는, 해석부에서 해석된 시점에서 특정되는 데이터를 포함하는 가시화 데이터를 생성해도 된다.
또, 헤드 마운트 디스플레이 시스템에서, 화상을 표시시키는 화상 데이터는, 유저에 의하여 구입된 화상 데이터이며, 해석부는, 속성 및 화상 데이터의 가격별로, 검출부에서 취득된 시점의 경향을 해석해도 된다.
또, 헤드 마운트 디스플레이 시스템의 생성부는, 화상에, 검출부에서 취득된 유저의 시점의 위치를 추가한 데이터를 가시화 데이터로서 생성해도 된다.
또, 헤드 마운트 디스플레이 시스템에서, 화상을 표시시키는 화상 데이터는, 동화상 데이터이며, 가시화 데이터는, 화상 데이터에 있어서의 각 유저의 시점과 화상 데이터의 시간축의 관계를 특정하는 시간축 표시부를 포함해도 된다.
또, 헤드 마운트 디스플레이 시스템의 생성부는, 해석부에서 해석된 결과를 포함하는 막대 그래프를 추가한 데이터를 가시화 데이터로서 생성해도 된다.
또, 헤드 마운트 디스플레이 시스템은, 생성된 가시화 데이터를 출력하는 출력부를 더욱 구비해도 된다.
본 발명에 관한 데이터 표시 방법은, 표시부에 화상을 표시하는 스텝과, 표시부에 표시된 화상을 보는 유저의 시선 데이터를 검출하는 스텝과, 검출된 1 이상의 유저의 시선 데이터에 따른 가시화 데이터를 생성하는 스텝을 갖는 데이터 표시 방법이어도 된다.
본 발명에 관한 데이터 생성 프로그램은, 헤드 마운트 디스플레이 시스템에, 표시부에 화상을 표시하는 표시 기능과, 표시부에 표시된 화상을 보는 유저의 시선 데이터를 검출하는 검출 기능과, 검출된 1 이상의 유저의 시선 데이터에 따른 가시화 데이터를 생성하는 생성 기능을 실현시키는 데이터 생성 프로그램이어도 된다.
본 발명에 관한 영상 표시 시스템은, 한 사람 이상의 인물을 포함하는 영상을 출력하는 영상 출력부와, 한 사람 이상의 인물에 대응한 소리를 포함하는 음성을 출력하는 음성 출력부와, 이용자의 전안부를 향하여 불가시광을 포함하는 조명광을 조사하는 조명부와, 이용자의 전안부를 포함하는 전안부상을 촬상하는 촬상부와, 전안부상을 해석하여 이용자의 시선 방향을 검출하는 시선 검출부와, 시선 검출부에서 검출한 이용자의 시선 방향으로 영상 출력부에서 출력하고 있는 영상 중에 한 사람 이상의 인물이 존재하고 있는 경우에, 그 인물을 특정함과 함께 특정한 인물에 대응하여 상기 음성 출력부로부터 출력하는 음성의 출력 상태를 다른 음성의 출력 상태와 다르게 하여 이용자가 식별 가능하게 되도록 음성 데이터를 생성하는 음성 생성부를 구비하는 영상 표시 시스템이어도 된다.
또, 영상 표시 시스템의 음성 생성부는, 특정한 인물의 소리의 크기를 그 외의 음성의 크기보다 크게 함으로써 이용자가 식별 가능하게 되도록 음성 데이터를 생성해도 된다.
또, 영상 표시 시스템의 음성 생성부는, 특정한 인물의 소리의 크기를 상기 그 외의 음성의 크기보다 크게 한 후에, 부가 기능을 부여해도 된다.
또, 영상 표시 시스템은, 시선 검출부에서 검출한 이용자의 시선 방향으로 상기 영상 출력부에서 출력하고 있는 영상 중에 상기 한 사람 이상의 인물이 존재하고 있는 경우에, 그 인물을 특정함과 함께 특정한 인물의 적어도 일부를 포함하는 소정 에리어의 영상이 상기 소정 에리어 이외의 영상보다 주시하기 쉬워지도록 표시 양태를 변경하는 영상 생성부를 갖고도 된다.
또, 영상 표시 시스템의 영상 출력부는, 이용자가 두부에 장착하는 헤드 마운트 디스플레이에 마련되어 있어도 된다.
또, 본 발명에 관한 영상 표시 방법은, 한 사람 이상의 인물을 포함하는 영상을 출력하는 영상 출력 스텝과, 한 사람 이상의 인물에 대응한 소리를 포함하는 음성을 출력하는 음성 출력 스텝과, 이용자의 전안부를 향하여 불가시광을 포함하는 조명광을 조사하는 조명 스텝과, 이용자의 전안부를 포함하는 전안부상을 촬상하는 촬상 스텝과, 전안부상을 해석하여 이용자의 시선 방향을 검출하는 시선 검출 스텝과, 시선 검출 스텝에서 검출한 이용자의 시선 방향으로, 출력하고 있는 영상 중에 상기 한 사람 이상의 인물이 존재하고 있는 경우에, 그 인물을 특정함과 함께 특정한 인물에 대응하여 출력하는 음성의 출력 상태를 다른 음성의 출력 상태와 다르게 하여 이용자가 식별 가능하게 되도록 음성 데이터를 생성하는 음성 생성 스텝을 포함하는 영상 표시 방법이어도 된다.
또, 본 발명에 관한 영상 표시 프로그램은, 컴퓨터에, 한 사람 이상의 인물을 포함하는 영상을 출력하는 영상 출력 기능과, 한 사람 이상의 인물에 대응한 소리를 포함하는 음성을 출력하는 음성 출력 기능과, 이용자의 전안부를 향하여 불가시광을 포함하는 조명광을 조사하는 조명 기능과, 이용자의 전안부를 포함하는 전안부상을 촬상하는 촬상 기능과, 전안부상을 해석하여 이용자의 시선 방향을 검출하는 시선 검출 기능과, 시선 검출 기능으로 검출한 이용자의 시선 방향으로, 출력하고 있는 영상 중에 한 사람 이상의 인물이 존재하고 있는 경우에, 그 인물을 특정함과 함께 특정한 인물에 대응하여 출력하는 음성의 출력 상태를 다른 음성의 출력 상태와 다르게 하여 이용자가 식별 가능하게 되도록 음성 데이터를 생성하는 음성 생성 기능을 실현시키는 영상 표시 프로그램이어도 된다.
이 발명은, 헤드 마운트 디스플레이에 이용 가능하다.
I, II 화상 제공 시스템
1, 1b 헤드 마운트 디스플레이 시스템
1c 영상 표시 시스템
100 헤드 마운트 디스플레이
110 통신 I/F
103 적외광원(조명부)
118 제3 통신 제어부
121 표시부
122 적외선 조사부
123 화상 처리부
124 촬상부
130 화상 표시계(영상 출력부)
132 음성 출력부(스피커)
200 시선 검출 장치
20 CPU
201 제2 통신 제어부
202 검출부
203 화상 생성부
204 화상 출력부
201b 통신 제어부
202b 검출부
203b 해석부
204b 타이머
206b 속성 취득부
207b 생성부
208b 출력부
213 시선 검출부
214 영상 생성부
215 음성 생성부
21 기억 장치
P2 시선 검출 프로그램
P3 데이터 생성 프로그램
22 통신 I/F
23 입력 장치
24 출력 장치
400 서버
40 CPU
401 제1 통신 제어부
402 생성부
403 분류부
404 추출부
41 기억 장치
P1 화상 제공 프로그램
42 통신 I/F

Claims (5)

  1. 복수의 헤드 마운트 디스플레이 시스템이, 서버와 접속되는 화상 제공 시스템으로서, 상기 서버는, 접속되는 상기 헤드 마운트 디스플레이 시스템에 화상 데이터를 송신하는 제1 통신 제어부와,
    당해 화상 데이터에 따라 상기 헤드 마운트 디스플레이 시스템으로부터 송신된 유저의 시선에 관한 정보에 따른 새로운 화상 데이터를 생성하여, 상기 제1 통신 제어부에 출력하는 생성부를 구비하고,
    상기 헤드 마운트 디스플레이 시스템은, 상기 서버로부터 공급되는 화상 데이터를 표시하는 표시부와,
    상기 표시부에 표시되는 화상 데이터를 시인하는 유저의 시선을 검출하는 검출부와,
    상기 검출부에서 검출되는 시선에 관한 정보를 상기 서버에 송신하는 제2 통신 제어부를 구비하는 화상 제공 시스템.
  2. 청구항 1에 있어서,
    상기 생성부는, 화상 데이터에 복수의 헤드 마운트 디스플레이 시스템에서 검출된 시선에 관한 정보를 포함하는 화상 데이터를 생성하고,
    상기 제1 통신 제어부는, 상기 시선을 포함하는 화상 데이터를 송신하는, 화상 제공 시스템.
  3. 청구항 1에 있어서,
    상기 복수의 헤드 마운트 디스플레이 시스템 중 적어도 1개가 호스트 시스템이고, 다른 헤드 마운트 디스플레이 시스템은 클라이언트 시스템이며,
    상기 생성부는, 화상 데이터에 복수의 클라이언트 시스템에서 검출된 시선에 관한 정보를 포함하는 화상 데이터를 생성하고,
    상기 제1 통신 제어부는, 상기 호스트 시스템에, 상기 시선에 관한 정보를 포함하는 화상 데이터를 송신하는, 화상 제공 시스템.
  4. 청구항 3에 있어서,
    상기 호스트 시스템은,
    화상 데이터에 포함되는 시선에 따른 정보를 추가한 화상 데이터의 생성을 요구하는 리퀘스트의 입력을 유저로부터 받아들이는 입력부를 더욱 구비하고,
    상기 호스트 시스템의 상기 제2 통신 제어부는, 상기 입력부에 입력된 리퀘스트 신호를 상기 서버에 송신하며,
    상기 생성부는, 상기 호스트 시스템으로부터 송신되는 리퀘스트 신호에 따른 새로운 화상 데이터를 생성하는 화상 제공 시스템.
  5. 청구항 2 내지 청구항 4 중 어느 한 항에 있어서,
    상기 생성부는, 복수의 헤드 마운트 디스플레이 시스템 중, 선택된 헤드 마운트 디스플레이 시스템에서 검출된 시선에 관한 정보만을 추가하여 새로운 화상 데이터를 생성하는 화상 제공 시스템.
KR1020170067687A 2016-05-31 2017-05-31 화상 제공 시스템 KR20170135763A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JPJP-P-2016-109082 2016-05-31
JP2016109082 2016-05-31
JPJP-P-2016-177545 2016-09-12
JP2016177545A JP2017216667A (ja) 2016-05-31 2016-09-12 画像提供システム

Publications (1)

Publication Number Publication Date
KR20170135763A true KR20170135763A (ko) 2017-12-08

Family

ID=60575939

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170067687A KR20170135763A (ko) 2016-05-31 2017-05-31 화상 제공 시스템

Country Status (5)

Country Link
US (1) US20170374359A1 (ko)
JP (1) JP2017216667A (ko)
KR (1) KR20170135763A (ko)
CN (1) CN107526164A (ko)
TW (1) TW201812386A (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180061956A (ko) * 2016-11-30 2018-06-08 삼성전자주식회사 눈 위치 예측 방법 및 장치
JP7171964B1 (ja) * 2022-07-29 2022-11-15 株式会社ドワンゴ コンテンツ配信システム、コンテンツ配信方法、およびコンテンツ配信プログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001117046A (ja) * 1999-10-22 2001-04-27 Shimadzu Corp 視線検出機能付ヘッドマウントディスプレイシステム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4961914B2 (ja) * 2006-09-08 2012-06-27 ソニー株式会社 撮像表示装置、撮像表示方法
EP2812775A1 (en) * 2012-02-06 2014-12-17 Sony Mobile Communications AB Gaze tracking with projector
JP5880115B2 (ja) * 2012-02-17 2016-03-08 ソニー株式会社 ヘッドマウントディスプレイ、ヘッドマウントディスプレイ制御プログラム及びヘッドマウントディスプレイの制御方法
WO2015011741A1 (ja) * 2013-07-25 2015-01-29 株式会社スクウェア・エニックス・ホールディングス 画像処理プログラム、サーバ装置、画像処理システムおよび画像処理方法
EP3030968A4 (en) * 2013-08-06 2017-05-10 Square Enix Holdings Co., Ltd. Information processing apparatus, control method, program, and recording medium
US9818225B2 (en) * 2014-09-30 2017-11-14 Sony Interactive Entertainment Inc. Synchronizing multiple head-mounted displays to a unified space and correlating movement of objects in the unified space
US11181990B2 (en) * 2016-03-18 2021-11-23 Sony Interactive Entertainment Inc. Spectator view tracking of virtual reality (VR) user in VR environments
US10388071B2 (en) * 2016-03-25 2019-08-20 Sony Interactive Entertainment Inc. Virtual reality (VR) cadence profile adjustments for navigating VR users in VR environments

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001117046A (ja) * 1999-10-22 2001-04-27 Shimadzu Corp 視線検出機能付ヘッドマウントディスプレイシステム

Also Published As

Publication number Publication date
TW201812386A (zh) 2018-04-01
JP2017216667A (ja) 2017-12-07
US20170374359A1 (en) 2017-12-28
CN107526164A (zh) 2017-12-29

Similar Documents

Publication Publication Date Title
US11670267B2 (en) Computer vision and mapping for audio applications
CN109844854B (zh) 单词流注释
KR20180004018A (ko) 영상 표시 시스템, 영상 표시 방법, 영상 표시 프로그램
CN105142498B (zh) 增强光学和感知数字护目镜
CA2953335C (en) Methods and systems for creating virtual and augmented reality
US9767524B2 (en) Interaction with virtual objects causing change of legal status
KR102246310B1 (ko) 시선-기반 미디어 선택 및 편집을 위한 시스템들 및 방법들
CN104076512B (zh) 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
US8767014B2 (en) Automatic text scrolling on a display device
CA2545202C (en) Method and apparatus for calibration-free eye tracking
CN112567287A (zh) 具有帧调制功能的增强现实显示
US11520399B2 (en) Interactive augmented reality experiences using positional tracking
KR101563312B1 (ko) 시선 기반 교육 콘텐츠 실행 시스템
CN109923462A (zh) 感测眼镜
TW201228380A (en) Comprehension and intent-based content for augmented reality displays
WO2014144918A2 (en) Enhanced optical and perceptual digital eyewear
CN108475109A (zh) 眼睛姿态跟踪
JP2015229052A (ja) 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
KR20170135763A (ko) 화상 제공 시스템
KR20180013790A (ko) 정보 처리 시스템, 조작 방법 및 조작 프로그램
CN116324579A (zh) 使用虚拟眼戴器光束的增强现实游戏
CN106662911A (zh) 在媒体中使用参考帧的注视检测器
US20230015732A1 (en) Head-mountable display systems and methods
GB2621868A (en) An image processing method, device and computer program
JP2021141424A (ja) 表示システム、表示制御装置及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application