KR20180043828A - 통신 시스템, 송신 장치, 수신 장치, 통신 시스템의 제어 방법 및 프로그램을 기록한 컴퓨터 판독가능 기록 매체 - Google Patents

통신 시스템, 송신 장치, 수신 장치, 통신 시스템의 제어 방법 및 프로그램을 기록한 컴퓨터 판독가능 기록 매체 Download PDF

Info

Publication number
KR20180043828A
KR20180043828A KR1020187008636A KR20187008636A KR20180043828A KR 20180043828 A KR20180043828 A KR 20180043828A KR 1020187008636 A KR1020187008636 A KR 1020187008636A KR 20187008636 A KR20187008636 A KR 20187008636A KR 20180043828 A KR20180043828 A KR 20180043828A
Authority
KR
South Korea
Prior art keywords
unit
transmission
data
receiving
transmitting
Prior art date
Application number
KR1020187008636A
Other languages
English (en)
Other versions
KR102037161B1 (ko
Inventor
가츠요시 오니시
요시오 미야자키
Original Assignee
주식회사 소니 인터랙티브 엔터테인먼트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 소니 인터랙티브 엔터테인먼트 filed Critical 주식회사 소니 인터랙티브 엔터테인먼트
Publication of KR20180043828A publication Critical patent/KR20180043828A/ko
Application granted granted Critical
Publication of KR102037161B1 publication Critical patent/KR102037161B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/32—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections
    • A63F13/327—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections using wireless networks, e.g. Wi-Fi® or piconet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/358—Adapting the game course according to the network or server load, e.g. for reducing latency due to different connection speeds between clients
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70—Game security or game management aspects
    • A63F13/71—Game security or game management aspects using secure communication between game devices and game servers, e.g. by encrypting game data or authenticating players
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W48/00—Access restriction; Network selection; Access point selection
    • H04W48/16—Discovering, processing access restriction or access information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W84/00—Network topologies
    • H04W84/02—Hierarchically pre-organised networks, e.g. paging networks, cellular networks, WLAN [Wireless Local Area Network] or WLL [Wireless Local Loop]
    • H04W84/10—Small scale networks; Flat hierarchical networks
    • H04W84/12—WLAN [Wireless Local Area Networks]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices
    • H04W88/06—Terminal devices adapted for operation in multiple networks or having at least two operational modes, e.g. multi-mode terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

본 발명은 송신 장치에서 생성되는 데이터가 수신 장치에서 이용 가능하게 될 때까지의 시간에 따른 적절한 통신 경로의 선택이 가능한 통신 시스템, 송신 장치, 수신 장치, 통신 시스템의 제어 방법 및 프로그램을 제공한다. 제1 송신부(68a)는, 인코드된 데이터를 제1 수신부에 송신한다. 제2 송신부(68b)는, 인코드된 데이터를 제2 수신부에 송신한다. 제1 송신부(68a)는 제2 송신부(68b)보다도 송신 가능한 최대 레이트가 높다. 송신 전처리 실행부(66)는, 제2 송신부(68b)에 의한 송신이 행해질 때에는, 제1 송신부(68a)에 의한 송신에서의 압축률보다도 높은 압축률로 데이터를 인코드한다. 송신 제어부(72)는, 제1 수신부가 수신하는 데이터, 또는 제2 수신부가 수신하는 데이터 중 어느 것을 HMD(14)가 이용할지를 데이터가 생성된 후 당해 데이터가 HMD(14)에서 이용 가능하게 될 때까지의 시간에 기초하여 제어한다.

Description

통신 시스템, 송신 장치, 수신 장치, 통신 시스템의 제어 방법 및 프로그램
본 발명은, 통신 시스템, 송신 장치, 수신 장치, 통신 시스템의 제어 방법 및 프로그램에 관한 것이다.
송신부를 복수 구비한 송신 장치나 수신부를 복수 구비한 수신 장치에 있어서, 무선 통신의 전파 상황에 따라 통신을 행하는 송신부나 수신부를 변경하는 기술이 알려져 있다.
최근 몇년간 무선 통신에 의한 동화상의 송수신이 검토되고 있다. 예를 들어 게임 프로그램을 실행하는 게임 장치가 생성하는, 게임의 플레이 상황을 나타내는 동화상이 헤드 마운트 디스플레이(HMD)에 무선으로 송신되어, HMD에 표시되도록 하는 것이 검토되고 있다.
이러한 용도에서 무선 통신을 행하는 경우에는, 조작에 있어서의 플레이어의 위화감을 저감하기 위해, 송신 장치에서 생성되는 데이터가 수신 장치에서 이용 가능하게 될 때까지의 시간(레이턴시)을 짧게 하는 것이 중요해진다. 구체적으로는 예를 들어 게임 장치에서 생성되는 동화상이 HMD에서 표시될 때까지의 시간을 짧게 하는 것이 중요해진다. 그 때문에 상기한 용도에서 무선 통신을 행하는 경우에는 레이턴시에 따라 적절한 통신 경로가 선택되는 것이 바람직하다.
그러나 종래 기술에서는, 레이턴시에 따른 통신 경로의 선택이 행해지지 않았다. 그 때문에 상기한 용도에서 무선 통신을 행하는데 있어서 종래 기술로는 충분하다고는 할 수 없었다.
본 발명은 상기 실정을 감안하여 이루어진 것이며, 그 목적의 하나는, 송신 장치에서 생성되는 데이터가 수신 장치에서 이용 가능하게 될 때까지의 시간에 따른 적절한 통신 경로의 선택이 가능한 통신 시스템, 송신 장치, 수신 장치, 통신 시스템의 제어 방법 및 프로그램을 제공하는 데 있다.
상기 과제를 해결하기 위해, 본 발명에 관한 통신 시스템은, 데이터를 생성하는 생성부와, 상기 데이터를 인코드하는 인코드부와, 수신 장치와 통신 가능한 제1 송신부와, 상기 수신 장치와 통신 가능한 제2 송신부를 포함하는 송신 장치와, 상기 제1 송신부와 통신 가능한 제1 수신부와, 상기 제2 송신부와 통신 가능한 제2 수신부와, 인코드된 상기 데이터를 디코드하는 디코드부를 포함하는 수신 장치를 포함하고, 상기 제1 송신부는, 상기 인코드부에 의해 인코드된, 상기 생성부가 생성하는 데이터를 상기 제1 수신부에 송신하고, 상기 제2 송신부는, 상기 인코드부에 의해 인코드된, 상기 생성부가 생성하는 데이터를 상기 제2 수신부에 송신하고, 상기 제1 송신부는 상기 제2 송신부보다도 송신 가능한 최대 레이트가 높고, 상기 인코드부는, 상기 제2 송신부에 의한 송신이 행해질 때에는, 상기 제1 송신부에 의한 송신에서의 압축률보다도 높은 압축률로 상기 데이터를 인코드하고, 상기 제1 수신부가 수신하는 데이터, 또는 상기 제2 수신부가 수신하는 데이터 중 어느 것을 상기 수신 장치가 이용할지를, 상기 생성부가 상기 데이터를 생성한 후 당해 데이터가 상기 수신 장치에서 이용 가능하게 될 때까지의 시간에 기초하여 제어하는 제어부를 더 포함한다.
본 발명의 일 형태에서는, 상기 제어부는, 상기 제1 송신부에 의한 송신, 또는 상기 제2 송신부에 의한 송신 중 어느 것이 행해질지를, 상기 생성부가 상기 데이터를 생성한 후 당해 데이터가 상기 수신 장치에서 이용 가능하게 될 때까지의 시간에 기초하여 제어한다.
이 형태에서는, 상기 제2 송신부에 의한 송신이 행해지지 않고 상기 제1 송신부에 의한 통신이 행해지고 있을 때에, 상기 생성부가 상기 데이터를 생성한 후 당해 데이터가 상기 수신 장치에서 이용 가능하게 될 때까지의 시간이 소정 시간을 초과한 횟수를 특정하는 횟수 특정부를 더 포함하고, 상기 횟수가 소정수에 도달한 경우에, 상기 제어부는, 이후 상기 제1 송신부에 의한 송신이 행해지지 않고 상기 제2 송신부에 의한 송신이 행해지도록 제어해도 된다.
또한, 상기 송신 장치가 상기 제어부를 포함하고, 상기 수신 장치가, 상기 생성부가 상기 데이터를 생성한 후 당해 데이터가 상기 수신 장치에서 이용 가능하게 될 때까지의 시간에 기초하여, 상기 제1 송신부에 의한 송신, 또는 상기 제2 송신부에 의한 송신 중 어느 것을 상기 송신 장치에 지시하는 지시부를 더 포함하고, 상기 제어부는, 상기 수신 장치로부터 상기 지시를 수신했을 때에는, 이후 상기 지시에 따라 상기 제1 송신부 또는 상기 제2 송신부에 의한 송신이 행해지도록 제어해도 된다.
또한, 상기 인코드부는, 상기 제2 송신부에 의한 송신이 행해지고 있을 때에, 통신 품질이 소정의 품질 이하가 된 경우에는, 상기 생성부가 생성하는 데이터의 압축률을 증가시켜도 된다.
또한 본 발명의 일 형태에서는, 상기 인코드부는, 제1 인코드부와, 상기 제1 인코드부와는 별체인 제2 인코드부를 포함하고, 상기 제1 인코드부는, 상기 제1 통신부에서의 송신이 행해질 때에 상기 데이터를 인코드하고, 상기 제2 인코드부는, 상기 제2 통신부에서의 송신이 행해질 때에 상기 데이터를 인코드하고, 상기 제2 인코드부에 의한 인코드의 압축률은, 상기 제1 인코드부에 의한 인코드의 압축률보다도 높다.
또한, 본 발명에 관한 송신 장치는, 데이터를 생성하는 생성부와, 상기 데이터를 인코드하는 인코드부와, 수신 장치와 통신 가능한 제1 송신부와, 상기 수신 장치와 통신 가능한 제2 송신부를 포함하고, 상기 제1 송신부와 통신 가능한 제1 수신부와, 상기 제2 송신부와 통신 가능한 제2 수신부와, 인코드된 상기 데이터를 디코드하는 디코드부를 포함하는 수신 장치와 통신 가능하고, 상기 제1 송신부는, 상기 인코드부에 의해 인코드된, 상기 생성부가 생성하는 데이터를 상기 제1 수신부에 송신하고, 상기 제2 송신부는, 상기 인코드부에 의해 인코드된, 상기 생성부가 생성하는 데이터를 상기 제2 수신부에 송신하고, 상기 제1 송신부는 상기 제2 송신부보다도 송신 가능한 최대 레이트가 높고, 상기 인코드부는 상기 제2 송신부에 의한 송신이 행해질 때에는, 상기 제1 송신부에 의한 송신에서의 압축률보다도 높은 압축률로 상기 데이터를 인코드하고, 상기 제1 수신부가 수신하는 데이터, 또는 상기 제2 수신부가 수신하는 데이터 중 어느 것을 상기 수신 장치가 이용할지를, 상기 생성부가 상기 데이터를 생성한 후 당해 데이터가 상기 수신 장치에서 이용 가능하게 될 때까지의 시간에 기초하여 제어하는 제어부를 더 포함한다.
또한, 본 발명에 관한 수신 장치는, 데이터를 생성하는 생성부와, 상기 데이터를 인코드하는 인코드부와, 수신 장치와 통신 가능한 제1 송신부와, 상기 수신 장치와 통신 가능한 제2 송신부를 포함하는 송신 장치와 통신 가능하고, 상기 제1 송신부와 통신 가능한 제1 수신부와, 상기 제2 송신부와 통신 가능한 제2 수신부와, 인코드된 상기 데이터를 디코드하는 디코드부를 포함하고, 상기 제1 송신부는, 상기 인코드부에 의해 인코드된, 상기 생성부가 생성하는 데이터를 상기 제1 수신부에 송신하고, 상기 제2 송신부는, 상기 인코드부에 의해 인코드된, 상기 생성부가 생성하는 데이터를 상기 제2 수신부에 송신하고, 상기 제1 송신부는 상기 제2 송신부보다도 송신 가능한 최대 레이트가 높고, 상기 인코드부는 상기 제2 송신부에 의한 송신이 행해질 때에는, 상기 제1 송신부에 의한 송신에서의 압축률보다도 높은 압축률로 상기 데이터를 인코드하고, 상기 제1 수신부가 수신하는 데이터, 또는 상기 제2 수신부가 수신하는 데이터 중 어느 것을 상기 수신 장치가 이용할지를, 상기 생성부가 상기 데이터를 생성한 후 당해 데이터가 상기 수신 장치에서 이용 가능하게 될 때까지의 시간에 기초하여 제어하는 제어부를 더 포함한다.
또한, 본 발명에 관한 통신 시스템의 제어 방법은, 데이터를 생성하는 생성부와, 상기 데이터를 인코드하는 인코드부와, 수신 장치와 통신 가능한 제1 송신부와, 상기 수신 장치와 통신 가능한 제2 송신부를 포함하는 송신 장치와, 상기 제1 송신부와 통신 가능한 제1 수신부와, 상기 제2 송신부와 통신 가능한 제2 수신부와, 인코드된 상기 데이터를 디코드하는 디코드부를 포함하는 수신 장치를 포함하고, 상기 제1 송신부는, 상기 인코드부에 의해 인코드된, 상기 생성부가 생성하는 데이터를 상기 제1 수신부에 송신하고, 상기 제2 송신부는, 상기 인코드부에 의해 인코드된, 상기 생성부가 생성하는 데이터를 상기 제2 수신부에 송신하고, 상기 제1 송신부는 상기 제2 송신부보다도 송신 가능한 최대 레이트가 높고, 상기 인코드부는, 상기 제2 송신부에 의한 송신이 행해질 때에는, 상기 제1 송신부에 의한 송신에서의 압축률보다도 높은 압축률로 상기 데이터를 인코드하는 통신 시스템의 제어 방법이며, 상기 제1 수신부가 수신하는 데이터, 또는 상기 제2 수신부가 수신하는 데이터 중 어느 것을 상기 수신 장치가 이용할지를, 상기 생성부가 상기 데이터를 생성한 후 당해 데이터가 상기 수신 장치에서 이용 가능하게 될 때까지의 시간에 기초하여 제어하는 스텝을 포함한다.
또한, 본 발명에 관한 프로그램은, 데이터를 생성하는 생성부와, 상기 데이터를 인코드하는 인코드부와, 수신 장치와 통신 가능한 제1 송신부와, 상기 수신 장치와 통신 가능한 제2 송신부를 포함하는 송신 장치와, 상기 제1 송신부와 통신 가능한 제1 수신부와, 상기 제2 송신부와 통신 가능한 제2 수신부와, 인코드된 상기 데이터를 디코드하는 디코드부를 포함하는 수신 장치를 포함하고, 상기 제1 송신부는, 상기 인코드부에 의해 인코드된, 상기 생성부가 생성하는 데이터를 상기 제1 수신부에 송신하고, 상기 제2 송신부는, 상기 인코드부에 의해 인코드된, 상기 생성부가 생성하는 데이터를 상기 제2 수신부에 송신하고, 상기 제1 송신부는 상기 제2 송신부보다도 송신 가능한 최대 레이트가 높고, 상기 인코드부는, 상기 제2 송신부에 의한 송신이 행해질 때에는, 상기 제1 송신부에 의한 송신에서의 압축률보다도 높은 압축률로 상기 데이터를 인코드하는, 통신 시스템을 제어하는 컴퓨터에, 상기 제1 수신부가 수신하는 데이터, 또는 상기 제2 수신부가 수신하는 데이터 중 어느 것을 상기 수신 장치가 이용할지를, 상기 생성부가 상기 데이터를 생성한 후 당해 데이터가 상기 수신 장치에서 이용 가능하게 될 때까지의 시간에 기초하여 제어하는 수순을 실행시킨다.
도 1은 본 발명의 일 실시 형태에 관한 영상 표시 시스템의 전체 구성의 일례를 도시하는 도면이다.
도 2는 본 발명의 일 실시 형태에 관한 헤드 마운트 디스플레이의 구성의 일례를 도시하는 도면이다.
도 3은 부분 동화상의 송신의 일례를 모식적으로 도시한 설명도이다.
도 4는 본 발명의 일 실시 형태에 관한 엔터테인먼트 장치에서 실장되는 기능의 일례를 도시하는 기능 블록도이다.
도 5는 본 발명의 일 실시 형태에 관한 헤드 마운트 디스플레이에서 실장되는 기능의 일례를 도시하는 기능 블록도이다.
도 6은 본 발명의 일 실시 형태에 관한 엔터테인먼트 장치에 있어서 행해지는 처리의 흐름의 일례를 도시하는 흐름도이다.
도 7a는 본 발명의 일 실시 형태에 관한 헤드 마운트 디스플레이에 있어서 행해지는 처리의 흐름의 일례를 도시하는 흐름도이다.
도 7b는 본 발명의 일 실시 형태에 관한 헤드 마운트 디스플레이에 있어서 행해지는 처리의 흐름의 일례를 도시하는 흐름도이다.
이하, 본 발명의 일 실시 형태에 대하여 도면을 참조하면서 설명한다.
도 1은, 본 발명의 일 실시 형태에 관한 영상 표시 시스템(10)의 전체 구성의 일례를 도시하는 도면이다.
도 1에 도시한 바와 같이, 본 실시 형태에 관한 영상 표시 시스템(10)에는 엔터테인먼트 장치(12), 헤드 마운트 디스플레이(HMD)(14) 및 컨트롤러(16)가 포함되어 있다.
본 실시 형태에 관한 엔터테인먼트 장치(12)는, 예를 들어 게임 콘솔, DVD 플레이어, Blu-ray(등록 상표) 플레이어 등과 같은 컴퓨터이다. 본 실시 형태에서는, 엔터테인먼트 장치(12)가 생성하는 동화상이 HMD(14)에 송신되어, HMD(14)에서 표시되게 된다.
도 1에 도시한 바와 같이, 본 실시 형태에 관한 엔터테인먼트 장치(12)에는 제어부(20), 기억부(22), 제1 통신부(24a), 제2 통신부(24b), 컨트롤러 통신부(26), 제1 인코더부(28a), 제2 인코더부(28b), 전환 제어 회로(30)가 포함된다.
제어부(20)는, 예를 들어 CPU 등의 프로그램 제어 디바이스이며, 기억부(22)에 기억된 프로그램에 따라 각종 정보 처리를 실행한다. 본 실시 형태에 관한 제어부(20)에는, CPU로부터 공급되는 그래픽 커맨드나 데이터에 기초하여 프레임 버퍼에 화상을 묘화하는 GPU(Graphics Processing Unit)도 포함되어 있다.
기억부(22)는, 예를 들어 ROM이나 RAM 등의 기억 소자나 하드디스크 드라이브 등이다. 기억부(22)에는, 제어부(20)에 의해 실행되는 프로그램 등이 기억된다. 또한, 본 실시 형태에 관한 기억부(22)에는, GPU에 의해 화상이 묘화되는 프레임 버퍼의 영역이 확보되어 있다.
제1 통신부(24a), 제2 통신부(24b)는, 예를 들어 HMD(14)와의 사이에서 데이터를 주고받기 위한 통신 인터페이스이다. 본 실시 형태에 관한 엔터테인먼트 장치(12)는, 제1 통신부(24a) 또는 제2 통신부(24b)를 경유하여 HMD(14)와의 사이에서 통신을 행한다.
본 실시 형태에서는 제1 통신부(24a)에서 행해지는 통신의 통신 규격과 제2 통신부(24b)에서 행해지는 통신의 통신 규격은 상이하다. 예를 들어 제1 통신부(24a)에서는 60GHz대에서의 통신이 행해지고, 제2 통신부(24b)에서는 5GHz대에서의 통신이 행해진다.
60GHz대에서의 통신 쪽이 5GHz대의 통신보다도 통신 가능한 최대 레이트는 높다. 또한 60GHz대에서의 통신 쪽이 5GHz대의 통신보다도 직진성이 강하고, 또한 통신 가능 거리는 짧다. 본 실시 형태에서는, 무선 통신의 전파 상황에 따라 HMD(14)와의 통신에 제1 통신부(24a)를 사용할지 제2 통신부(24b)를 사용할지가 전환 가능하게 되어 있다. 또한 본 실시 형태에서는 공지된 적응 변조 부호화 기술에 의해, 무선 통신의 전파 상황에 따라 제1 통신부(24a)나 제2 통신부(24b)의 변조 방식이나 부호화 방식을 적응적으로 변화시킬 수 있도록 되어 있다.
컨트롤러 통신부(26)는, 예를 들어 컨트롤러(16)와의 유선 통신 또는 무선 통신을 행하는 통신 인터페이스이다.
제1 인코더부(28a), 제2 인코더부(28b)는, 예를 들어 제어부(20)가 생성하는 동화상 등의 콘텐츠의 데이터, 또는 기억부(22)가 기억하고 있는 동화상 등의 콘텐츠의 데이터를 인코드하는 하드웨어 인코더이다. 또한 본 실시 형태에서는, 제1 인코더부(28a)와 제2 인코더부(28b)는 별체이다. 또한 제1 인코더부(28a)나 제2 인코더부(28b)는, 콘텐츠의 데이터를 압축해도 된다. 본 실시 형태에서는, 제2 인코더부(28b)에 의한 인코드의 압축률은 제1 인코더부(28a)에 의한 인코드의 압축률보다도 높다.
또한 본 실시 형태에서는, 제1 인코더부(28a)가 인코드한 데이터는 제1 통신부(24a)가 HMD(14)에 송신하고, 제2 인코더부(28b)가 인코드한 데이터는 제2 통신부(24b)가 HMD(14)에 송신한다.
전환 제어 회로(30)는, 콘텐츠의 데이터의 인코드를 제1 인코더부(28a)에 실행시킬지 제2 인코더부(28b)에 실행시킬지를 전환하는 회로이다.
도 2는, 본 실시 형태에 관한 HMD(14)의 구성의 일례를 도시하는 도면이다.
도 2에 도시한 바와 같이 본 실시 형태에 관한 HMD(14)에는, 제어부(40), 기억부(42), 제1 통신부(44a), 제2 통신부(44b), 제1 디코더부(46a), 제2 디코더부(46b), 전환 제어 회로(48), 스위치 회로(50), 출력부(52)가 포함되어 있다.
제어부(40)는, 예를 들어 CPU 등의 프로그램 제어 디바이스이며, 기억부(42)에 기억된 프로그램에 따라 각종 정보 처리를 실행한다. 본 실시 형태에 관한 제어부(40)에는, CPU로부터 공급되는 그래픽 커맨드나 데이터에 기초하여 프레임 버퍼에 화상을 묘화하는 GPU(Graphics Processing Unit)도 포함되어 있다.
기억부(42)는, 예를 들어 ROM이나 RAM 등의 기억 소자 등이다. 기억부(42)에는, 제어부(40)에 의해 실행되는 프로그램 등이 기억된다. 또한, 본 실시 형태에 관한 기억부(42)에는, GPU에 의해 화상이 묘화되는 프레임 버퍼의 영역이 확보되어 있다.
제1 통신부(44a), 제2 통신부(44b)는, 예를 들어 엔터테인먼트 장치(12)와의 사이에서 데이터를 주고받기 위한 통신 인터페이스이다. 본 실시 형태에 관한 HMD(14)는, 제1 통신부(44a) 또는 제2 통신부(44b)를 경유하여 엔터테인먼트 장치(12)와의 사이에서 통신을 행한다.
본 실시 형태에서는 제1 통신부(44a)에서 행해지는 통신의 통신 규격과, 제2 통신부(44b)에서 행해지는 통신의 통신 규격은 상이하다. 예를 들어 제1 통신부(44a)에서는 60GHz대에서의 통신이 행해지고, 제2 통신부(44b)에서는 5GHz대에서의 통신이 행해진다.
상술한 바와 같이, 60GHz대에서의 통신 쪽이 5GHz대의 통신보다도 통신 가능한 최대 레이트는 높다. 또한 60GHz대에서의 통신 쪽이 5GHz대의 통신보다도 직진성이 강하고, 또한 통신 가능 거리는 짧다. 본 실시 형태에서는, 무선 통신의 전파 상황에 따라, 제1 통신부(44a)를 엔터테인먼트 장치(12)와의 통신에 사용할지, 제2 통신부(44b)를 엔터테인먼트 장치(12)와의 통신에 사용할지가 전환되도록 되어 있다. 또한 본 실시 형태에서는 공지된 적응 변조 부호화 기술에 의해, 무선 통신의 전파 상황에 따라 제1 통신부(44a)나 제2 통신부(44b)의 변조 방식이나 부호화 방식을 적응적으로 변화시킬 수 있도록 되어 있다.
본 실시 형태에서는, 엔터테인먼트 장치(12)와 HMD(14) 사이에서의 통신이 행해질 때에, 제1 통신부(24a)와 제1 통신부(44a) 사이의 60GHz대에서의 통신, 또는 제2 통신부(24b)와 제2 통신부(44b) 사이의 5GHz대에서의 통신이 행해지게 된다.
제1 디코더부(46a), 제2 디코더부(46b)는, 예를 들어 엔터테인먼트 장치(12)로부터 수신하는 콘텐츠의 데이터를 디코드하는 하드웨어 디코더이다. 본 실시 형태에서는, 제1 디코더부(46a)는 제1 통신부(44a)가 수신하는 콘텐츠의 데이터를 디코드하고, 제2 디코더부(46b)는 제2 통신부(44b)가 수신하는 콘텐츠의 데이터를 디코드한다. 여기서 수신하는 콘텐츠의 데이터가 압축된 데이터인 경우에는, 제1 디코더부(46a)나 제2 디코더부(46b)는 당해 압축된 데이터를 신장한다.
전환 제어 회로(48)는, 예를 들어 콘텐츠의 데이터의 디코드를 제1 디코더부(46a)에 실행시킬지 제2 디코더부(46b)에 실행시킬지를 전환하는 회로이다.
스위치 회로(50)는, 제1 디코더부(46a)가 디코드한 데이터가 나타내는 동화상을 출력부(52)에 표시시킬지 제2 디코더부(46b)가 디코드한 데이터가 나타내는 동화상을 출력부(52)에 표시시킬지를 전환하는 회로이다.
출력부(52)는, 예를 들어 정보를 표시 출력하거나 음성 출력하거나 하는 디바이스이다. 출력부(52)에는, 예를 들어 HMD(14)의 전방측에 배치되어 있는, 예를 들어 액정 디스플레이나 유기 EL 디스플레이 등의 표시부나, HMD(14)의 좌우측에 배치되어 있는, 예를 들어 헤드폰이나 스피커 등의 음성 출력부 등이 포함된다. 본 실시 형태에 관한 출력부(52)는, 예를 들어 엔터테인먼트 장치(12)가 생성하는 동화상을 표시하거나, 엔터테인먼트 장치(12)가 생성하는 음성 데이터가 나타내는 음성을 출력하거나 한다. 또한 본 실시 형태에 관한 표시부는, 예를 들어 좌안용의 화상과 우안용의 화상을 표시함으로써 삼차원 화상을 표시시킬 수 있도록 되어 있다. 또한 표시부는 삼차원 화상의 표시를 할 수 없고 이차원 화상의 표시만을 할 수 있는 것이어도 상관없다.
도 1에 도시한 컨트롤러(16)는, 엔터테인먼트 장치(12)에 대한 조작 입력을 행하기 위한 조작 입력 장치이다. 유저는, 컨트롤러(16)가 구비하는 방향 키나 버튼을 누르거나, 조작 스틱을 기울이거나 함으로써, 컨트롤러(16)를 사용하여 각종 조작 입력을 행할 수 있다. 그리고 본 실시 형태에서는, 컨트롤러(16)는 조작 입력에 대응지어지는 입력 데이터를 엔터테인먼트 장치(12)에 출력한다. 본 실시 형태에 관한 컨트롤러(16)는, 유선 또는 무선으로 엔터테인먼트 장치(12)의 컨트롤러 통신부(26)와 통신 가능하게 되어 있다.
본 실시 형태에서는 예를 들어, 엔터테인먼트 장치(12)가, 엔터테인먼트 장치(12)에 인스톨되어 있는 게임의 프로그램을 실행한다. 그리고 당해 게임의 플레이 상황에 따라 엔터테인먼트 장치(12)가 생성하는 동화상이 HMD(14)의 출력부(52)에 표시된다. 이하, 당해 동화상을 플레이 동화상이라 칭하기로 한다. 플레이 동화상은, 예를 들어 소정의 프레임 레이트(예를 들어 1/60초 간격)로 표시되는 복수의 프레임 화상으로 구성된다.
이하, 본 실시 형태에 관한 영상 표시 시스템(10)에 있어서, 플레이 동화상이 HMD(14)의 출력부(52)에 표시되는 장면을 중심으로 설명한다.
본 실시 형태에서는 예를 들어, 플레이 동화상은, 그 일부인 부분 동화상을 하나의 단위로 하여 엔터테인먼트 장치(12)로부터 HMD(14)에 송신된다. 또한 플레이 동화상을 구성하는 복수의 부분 동화상의 사이즈는 동일해도 되고 상이해도 된다.
도 3은, 부분 동화상의 송신의 일례를 모식적으로 도시한 설명도이다. 이하, 부분 동화상의 송신의 일례에 대하여 도 3을 참조하면서 설명한다.
본 실시 형태에서는 부분 동화상의 데이터는, 인코드에 적합한 사이즈의 복수의 패킷으로 분할되고, 분할된 복수의 패킷에 대하여 인코드, 데이터 전송, 스택 처리 등과 같은 송신 전처리가 실행된다. 이하, 엔터테인먼트 장치(12)가 생성하는 부분 동화상의 데이터를 분할함으로써 생성되는 n개의 패킷 각각을 제1 패킷, 제2 패킷, 제3 패킷, ···, 제n 패킷이라 칭하기로 한다.
송신 전처리의 실행이 종료된 복수의 패킷은, 엔터테인먼트 장치(12)로부터 HMD(14)로 순차 송신된다.
HMD(14)는, 이들 복수의 패킷을 수신한 후에, 이들 복수의 패킷에 대하여 데이터 전송, 스택 처리, 디코드 등과 같은 수신 후처리를 실행한다. 수신 후처리가 실행됨으로써, 엔터테인먼트 장치(12)가 생성한 부분 동화상의 데이터는 HMD(14)에 있어서 이용 가능하게 된다. 본 실시 형태에서는 이와 같이 하여 이용 가능하게 된 부분 동화상의 데이터가 나타내는 동화상이 HMD(14)의 출력부(52)에 표시되게 된다.
HMD(14)에서 이용 가능하게 되는 부분 동화상의 데이터가 나타내는 동화상의 내용은, 엔터테인먼트 장치(12)가 생성한 부분 동화상의 내용과 동일하다. 그러나, HMD(14)에서 이용 가능하게 되는 부분 동화상의 데이터와, 엔터테인먼트 장치(12)가 생성한 부분 동화상의 데이터가 동일할 필요는 없다. 예를 들어 엔터테인먼트 장치(12)에 있어서의 인코드로 부분 동화상의 데이터에 불가역 압축이 된 경우에는, HMD(14)에서 이용 가능하게 되는 부분 동화상의 데이터와, 엔터테인먼트 장치(12)가 생성한 부분 동화상의 데이터는 완전히 동일하게 되지는 않는다.
이하, 도 3에 도시한 바와 같이, 송신 전처리에 요하는 시간을 송신 전처리 실행 시간(ta)이라 칭하기로 한다. 또한 엔터테인먼트 장치(12)가 제1 패킷을 송신한 후 HMD(14)가 수신할 때까지의 시간을, 제1 패킷 송신 시간(tb)이라 칭하기로 한다. 또한 제1 패킷을 HMD(14)가 수신한 후, 제2 패킷, 제3 패킷의 순서로 제n 패킷을 수신할 때까지의 시간을, 데이터 수신 시간(tc)이라 칭하기로 한다. 또한 제1 패킷 송신 시간(tb)과 데이터 수신 시간(tc)의 합계를, 무선 레이턴시(wl)라 칭하기로 한다. 또한 수신 후처리에 요하는 시간을 수신 후처리 실행 시간(td)이라 칭하기로 한다. 또한 송신 전처리 실행 시간(ta), 무선 레이턴시(wl), 수신 후처리 실행 시간(td)의 합계를, 시스템 레이턴시(sl)라 칭하기로 한다. 즉 엔터테인먼트 장치(12)가 부분 동화상의 데이터를 생성한 후 당해 데이터가 HMD(14)에서 이용 가능하게 될 때까지의 시간이 시스템 레이턴시(sl)에 상당하게 된다.
본 실시 형태와 같은 무선 통신에 의한 플레이 동화상의 통신에서는, 게임 중의 조작에 있어서의 플레이어의 위화감을 저감하기 위해, 상술한 시스템 레이턴시(sl)를 짧게 하는 것이 중요해진다. 예를 들어 시스템 레이턴시(sl)가 소정 시간 th_sl 이하(예를 들어 1/2VSYNC 이하)가 되는 것이 요구된다.
여기에서 예를 들어 인코드에 있어서의 데이터의 압축률이 높을수록 인코드나 디코드에 요하는 시간은 길어진다. 그 결과, 송신 전처리 실행 시간이나 수신 후처리 실행 시간이 길어진다. 한편 인코드의 압축률이 높을수록 압축된 데이터의 송신 시간은 짧아진다. 그 때문에 인코드의 압축률이 높을수록 무선 레이턴시(wl)는 짧아지게 된다.
또한 60GHz대의 통신 쪽이 5GHz대의 통신보다도 통신 가능한 최대 레이트가 높다. 그 때문에 통신 상황이 양호하면, 60GHz대에서의 통신에서는 인코드의 압축률을 높게 하지 않아도, 시스템 레이턴시(sl)가 소정 시간 th_sl 이하가 될 가능성이 높다.
그러나 60GHz대에서의 통신 쪽이 5GHz대의 통신보다도 직진성이 강하고, 또한 통신 가능 거리는 짧다. 그 때문에, 엔터테인먼트 장치(12)와 HMD(14) 사이에 장해물이 있는 경우나 엔터테인먼트 장치(12)와 HMD(14)의 거리가 긴 경우에는, 데이터의 송신에 있어서의 리트라이 횟수가 증가하여 버리는 경우가 있다. 그 결과 통신 상황에 따라서는 60GHz대에서의 통신에 있어서, 시스템 레이턴시(sl)를 소정시간 th_sl 이하로 할 수 없는 경우가 있다.
이와 같이 압축률이나 통신 상황 등과 같은 다양한 상황이 시스템 레이턴시(sl)에 영향을 준다. 그리고 예를 들어 무선 통신에 의한 플레이 동화상의 통신에서는, 상술한 시스템 레이턴시(sl)에 따라 적절한 통신 경로가 선택되도록 하여, 예를 들어 시스템 레이턴시(sl)가 가능한 한 소정 시간 th_sl 이하가 되도록 하는 것이 바람직하다. 그러나 종래 기술에서는 상술한 시스템 레이턴시(sl)에 따른 통신 경로의 선택은 행해지지 않았다.
본 실시 형태에서는, 상술한 시스템 레이턴시(sl)에 기초하여, 제1 통신부(44a)가 수신하는 데이터 또는 제2 통신부(44b)가 수신하는 데이터 중 어느 것을HMD(14)가 이용할지가 제어되도록 하였다. 그 때문에 본 실시 형태에 따르면, 상술한 시스템 레이턴시(sl)에 따라 적절한 통신 경로가 선택되게 된다.
이하, 시스템 레이턴시(sl)에 따른 통신 경로의 선택을 중심으로, 본 실시 형태에 관한 영상 표시 시스템(10)의 기능 및 본 실시 형태에 관한 영상 표시 시스템(10)에서 실행되는 처리에 대하여 더 설명한다. 또한 본 실시 형태에 관한 영상 표시 시스템(10)은, 시스템 레이턴시(sl)에 따라 통신 경로가 제어되는 통신 시스템으로서의 역할을 담당하게 된다.
도 4는, 본 실시 형태에 관한 엔터테인먼트 장치(12)에서 실장되는 기능의 일례를 도시하는 기능 블록도이다. 또한, 본 실시 형태에 관한 엔터테인먼트 장치(12)에서 도 4에 도시한 기능이 모두 실장될 필요는 없고, 또한 도 4에 도시한 기능 이외의 기능이 실장되어 있어도 상관없다.
도 4에 도시한 바와 같이, 본 실시 형태에 관한 엔터테인먼트 장치(12)는, 기능적으로는 예를 들어 동화상 생성부(60), 부분 동화상 데이터 생성부(62), 부분 동화상 데이터 분할부(64), 송신 전처리 실행부(66), 송신부(68), 지시 수신부(70), 송신 제어부(72)를 포함하고 있다. 또한 송신 전처리 실행부(66)는, 제1 송신 전처리 실행부(66a)와 제2 송신 전처리 실행부(66b)를 포함하고 있다. 또한 송신부(68)는, 제1 송신부(68a)와 제2 송신부(68b)를 포함하고 있다. 동화상 생성부(60), 부분 동화상 데이터 생성부(62), 부분 동화상 데이터 분할부(64)는, 제어부(20)를 주로 하여 실장된다. 제1 송신 전처리 실행부(66a)는, 제1 통신부(24a) 및 제1 인코더부(28a)를 주로 하여 실장된다. 제2 송신 전처리 실행부(66b)는, 제2 통신부(24b) 및 제2 인코더부(28b)를 주로 하여 실장된다. 제1 송신부(68a)는, 제1 통신부(24a)를 주로 하여 실장된다. 제2 송신부(68b)는, 제2 통신부(24b)를 주로 하여 실장된다. 지시 수신부(70)는, 제1 통신부(24a) 및 제2 통신부(24b)를 주로 하여 실장된다. 송신 제어부(72)는 제어부(20) 및 전환 제어 회로(30)를 주로 하여 실장된다. 본 실시 형태에 관한 엔터테인먼트 장치(12)는, 시스템 레이턴시(sl)에 따라 통신 경로가 제어되는 송신 장치로서의 역할을 담당하게 된다.
이상의 기능은, 컴퓨터인 엔터테인먼트 장치(12)에 인스톨된, 이상의 기능에 대응하는 지령을 포함하는 프로그램을 제어부(20)에서 실행함으로써 실장되어도 된다. 이 프로그램은, 예를 들어 광 디스크, 자기 디스크, 자기 테이프, 광자기 디스크, 플래시 메모리 등의 컴퓨터 판독 가능한 정보 기억 매체를 통해, 혹은 인터넷 등을 통해 엔터테인먼트 장치(12)에 공급된다.
도 5는, 본 실시 형태에 관한 HMD(14)에서 실장되는 기능의 일례를 도시하는 기능 블록도이다. 또한, 본 실시 형태에 관한 HMD(14)에서 도 5에 도시한 기능이 모두 실장될 필요는 없고, 또한 도 5에 도시한 기능 이외의 기능이 실장되어 있어도 상관없다.
도 5에 도시한 바와 같이, 본 실시 형태에 관한 HMD(14)는, 기능적으로는 예를 들어 수신부(74), 수신 후처리 실행부(76), 레이턴시 측정부(78), 횟수 특정부(80), 수신 제어부(82), 지시 송신부(84), 출력 제어부(86)를 포함하고 있다. 또한 수신부(74)는, 제1 수신부(74a)와 제2 수신부(74b)를 포함하고 있다. 또한 수신 후처리 실행부(76)는, 제1 수신 후처리 실행부(76a)와 제2 수신 후처리 실행부(76b)를 포함하고 있다. 제1 수신부(74a)는, 제1 통신부(44a)를 주로 하여 실장된다. 제2 수신부(74b)는, 제2 통신부(44b)를 주로 하여 실장된다. 제1 수신 후처리 실행부(76a)는, 제1 통신부(44a) 및 제1 디코더부(46a)를 주로 하여 실장된다. 제2 수신 후처리 실행부(76b)는, 제2 통신부(44b) 및 제2 디코더부(46b)를 주로 하여 실장된다. 레이턴시 측정부(78), 횟수 특정부(80)는, 제어부(40)를 주로 하여 실장된다. 수신 제어부(82)는, 제어부(40), 전환 제어 회로(48) 및 스위치 회로(50)를 주로 하여 실장된다. 지시 송신부(84)는, 제1 통신부(44a) 및 제2 통신부(44b)를 주로 하여 실장된다. 출력 제어부(86)는, 제어부(40) 및 출력부(52)를 주로 하여 실장된다. 본 실시 형태에 관한 HMD(14)는, 시스템 레이턴시(sl)에 따라 통신 경로가 제어되는 수신 장치로서의 역할을 담당하게 된다.
이상의 기능은, 컴퓨터인 HMD(14)에 인스톨된, 이상의 기능에 대응하는 지령을 포함하는 프로그램을 제어부(40)에서 실행함으로써 실장되어도 된다. 이 프로그램은, 예를 들어 광 디스크, 자기 디스크, 자기 테이프, 광자기 디스크, 플래시 메모리 등의 컴퓨터 판독 가능한 정보 기억 매체를 통해, 혹은 인터넷 등을 통해 HMD(14)에 공급된다.
동화상 생성부(60)는, 본 실시 형태에서는 예를 들어 상술한 플레이 동화상 등과 같은 동화상을 생성한다.
부분 동화상 데이터 생성부(62)는, 본 실시 형태에서는 예를 들어 동화상 생성부(60)가 생성한 동화상의 일부인 부분 동화상의 데이터를 생성한다.
부분 동화상 데이터 분할부(64)는, 본 실시 형태에서는 예를 들어 부분 동화상 데이터 생성부(62)가 생성하는 부분 동화상의 데이터를 분할한다. 부분 동화상 데이터 분할부(64)는, 본 실시 형태에서는 예를 들어 제1 패킷, 제2 패킷, 제3 패킷, ···, 제n 패킷의 n개의 패킷을 생성한다.
송신 전처리 실행부(66)는, 본 실시 형태에서는 예를 들어 동화상 생성부(60)가 생성하는 데이터에 대하여 상술한 송신 전처리를 실행한다. 송신 전처리 실행부(66)는, 본 실시 형태에서는 예를 들어 부분 동화상 데이터 분할부(64)가 생성하는 각 패킷에 대하여 상술한 송신 전처리를 실행한다. 당해 송신 전처리에는 상술한 바와 같이 인코드의 처리가 포함된다. 또한 당해 인코드의 처리에 압축 처리가 포함되어 있어도 된다.
송신부(68)는, 본 실시 형태에서는 예를 들어 송신 전처리 실행부(66)가 인코드 등의 송신 전처리를 실행한 데이터를 수신부(74)에 송신한다.
지시 수신부(70)는, 본 실시 형태에서는 예를 들어, 제1 송신부(68a)에 의한 송신, 또는 제2 송신부(68b)에 의한 송신 중 어느 하나의 지시를 HMD(14)의 지시 송신부(84)로부터 수신한다.
송신 제어부(72)는, 본 실시 형태에서는 예를 들어, 시스템 레이턴시(sl)에 기초하여 제1 송신부(68a)에 의한 송신, 또는 제2 송신부(68b)에 의한 송신 중 어느 것이 행해질지를 제어한다. 송신 제어부(72)는, 지시 수신부(70)가 HMD(14)로부터 상기 지시를 수신했을 때에는, 이후 당해 지시에 따라 제1 송신부(68a)에 의한 송신 또는 제2 송신부(68b)에 의한 송신이 행해지도록 제어해도 된다.
또한 본 실시 형태에서는, 송신 제어부(72)는 제1 송신부(68a)에 의한 송신이 행해지고 있는지 제2 송신부(68b)에 의한 송신이 행해지고 있는지를 관리하는 송신부 특정 데이터를 유지한다. 예를 들어, 제1 송신부(68a)에 의한 송신이 행해지고 있을 때에는 송신부 특정 데이터의 값이 "1"로 설정되고, 제2 송신부(68b)에 의한 송신이 행해지고 있을 때에는 송신부 특정 데이터의 값이 "2"로 설정된다. 또한 송신부 특정 데이터의 값이 "1"로 설정되어 있을 때에는, 송신 제어부(72)는 제2 통신부(24b)가 정지하도록 제어해도 된다. 또한 송신부 특정 데이터의 값이 "2"로 설정되어 있을 때에는, 송신 제어부(72)는 제1 통신부(24a)가 정지하도록 제어해도 된다.
또한 예를 들어 제2 송신부(68b)에 의한 송신이 행해지지 않고 제1 송신부(68a)에 의한 송신이 행해지고 있을 때에, 시스템 레이턴시(sl)가 소정 시간 th_sl을 초과한 횟수가 소정수에 도달했다고 하자. 이 경우에 예를 들어 송신 제어부(72)는, 이후 제1 송신부(68a)에 의한 송신이 행해지지 않고 제2 송신부(68b)에 의한 송신이 행해지도록 제어해도 된다.
또한 본 실시 형태에서는, 송신 제어부(72)는, 통신에 사용되고 있는 변조 방식이나 부호화 방식을 나타내는 MCS(modulation and coding scheme)의 값(인덱스 번호)을 유지한다. 또한 MCS의 값과 변조 방식 및 부호화 방식의 조합의 대응 관계는, 통신 규격에 따라 상이하다. 그 때문에 제1 송신부(68a)에 의한 60GHz대에서의 통신에 있어서의 MCS의 어떤 값에 대응지어지는 변조 방식이나 부호화 방식은, 제2 송신부(68b)에 의한 5GHz대에서의 통신에 있어서의 당해 값에 대응지어지는 변조 방식이나 부호화 방식과는 상이하다.
본 실시 형태에서는 예를 들어, 송신 제어부(72)에 의해 제1 송신부(68a)에 의한 송신이 행해지도록 제어되는 경우에는, 제1 송신부(68a)가 패킷을 송신한다. 또한 송신 제어부(72)에 의해 제2 송신부(68b)에 의한 송신이 행해지도록 제어되는 경우에는, 제2 송신부(68b)가 패킷을 송신한다.
또한 본 실시 형태에서는 예를 들어, 송신 전처리 실행부(66)는 제2 송신부(68b)에 의한 송신이 행해질 때에는, 제1 송신부(68a)에 의한 송신에서의 압축률보다도 높은 압축률로 데이터를 인코드한다. 본 실시 형태에서는 예를 들어, 송신 제어부(72)에 의해 제1 송신부(68a)에 의한 송신이 행해지도록 제어되는 경우에는, 제1 송신 전처리 실행부(66a)가 송신 전처리를 실행한다. 또한 송신 제어부(72)에 의해 제2 송신부(68b)에 의한 송신이 행해지도록 제어되는 경우에는, 제2 송신 전처리 실행부(66b)가 송신 전처리를 실행한다. 또한 본 실시 형태에서는, 제2 송신 전처리 실행부(66b)에 의한 인코드의 압축률은, 제1 송신 전처리 실행부(66a)에 의한 인코드의 압축률보다도 높다.
또한 송신 전처리 실행부(66)는, 제2 송신부(68b)에 의한 송신이 행해지고 있을 때에 통신 품질이 소정의 품질 이하가 된 경우에는, 동화상 생성부(60)가 생성하는 데이터의 압축률을 증가시켜도 된다. 이렇게 하면 1의 프레임 화상에 대응지어지는 데이터량이 적어지기 때문에, 통신 품질의 저하에 따른 시스템 레이턴시(sl)의 증가를 억제할 수 있다.
수신부(74)는, 본 실시 형태에서는 예를 들어 송신부(68)가 송신하는 데이터를 수신한다.
수신 후 처리 실행부(76)는, 본 실시 형태에서는 예를 들어 수신부(74)가 수신한 데이터에 대하여 상술한 수신 후처리를 실행한다.
레이턴시 측정부(78)는, 본 실시 형태에서는 예를 들어 상술한 시스템 레이턴시(sl)를 측정한다. 본 실시 형태에서는 예를 들어, 미리 엔터테인먼트 장치(12)와 HMD(14) 사이에서 시스템 클록의 동기가 취해져 있는 것으로 한다. 그리고 송신 전처리 실행부(66)가, 상술한 송신 전처리의 실행이 개시되는 시각의 타임 스탬프를 나타내는 데이터를 상술한 n개의 패킷 각각에 부여한다. 이와 같이 하면레이턴시 측정부(78)는, 예를 들어 당해 n개의 패킷에 부여되어 있는 타임 스탬프를 나타내는 데이터가 나타내는 시각으로부터, 당해 n개의 패킷에 대하여 수신 후처리가 종료된 시각까지의 시간을 시스템 레이턴시(sl)로서 측정할 수 있게 된다.
횟수 특정부(80)는, 본 실시 형태에서는 예를 들어 상술한 시스템 레이턴시(sl)가 소정 시간 th_sl을 초과한 횟수를 특정한다. 본 실시 형태에서는 횟수 특정부(80)는, 시스템 레이턴시(sl)가 소정 시간 th_sl을 초과한 횟수를 나타내는 레이턴시 오버 횟수 데이터를 유지하고 있는 것으로 한다. 레이턴시 오버 횟수 데이터의 값 c의 초기값은 0이다. 그리고, 시스템 레이턴시(sl)가 소정 시간 th_sl을 초과한 경우에는 횟수 특정부(80)는, 당해 레이턴시 오버 횟수 데이터의 값 c를 1만큼 증가시킨다.
수신 제어부(82)는, 본 실시 형태에서는 예를 들어, 시스템 레이턴시(sl)에 기초하여, 제1 수신부(74a)가 수신하는 데이터 또는 제2 수신부(74b)가 수신하는 데이터 중 어느 것을 HMD(14)가 이용할지를 제어한다.
또한 본 실시 형태에서는, 수신 제어부(82)는, 제1 수신부(74a)가 수신하는 데이터가 HMD(14)에 이용되고 있는지 제2 수신부(74b)가 수신하는 데이터가 HMD(14)에 이용되고 있는지를 관리하는 수신부 특정 데이터를 유지한다. 예를 들어, 제1 수신부(74a)가 수신하는 데이터가 HMD(14)에 이용되고 있을 때에는 수신부 특정 데이터의 값이 "1"로 설정되고, 제2 수신부(74b)가 수신하는 데이터가 HMD(14)에 이용되고 있을 때에는 수신부 특정 데이터의 값이 "2"로 설정된다. 또한 수신부 특정 데이터의 값이 "1"로 설정되어 있을 때에는, 수신 제어부(82)는 제2 통신부(44b)가 정지하도록 제어해도 된다. 또한 수신부 특정 데이터의 값이 "2"로 설정되어 있을 때에는, 수신 제어부(82)는 제1 통신부(44a)가 정지하도록 제어해도 된다.
또한 본 실시 형태에서는, 수신 제어부(82)는, 통신에 사용되고 있는 변조 방식이나 부호화 방식을 나타내는 MCS의 값(인덱스 번호)을 유지한다. 또한 상술한 바와 같이, 제1 수신부(74a)에 의한 60GHz대에서의 통신에 있어서의 MCS의 어떤 값에 대응지어지는 변조 방식이나 부호화 방식은, 제2 수신부(74b)에 의한 5GHz대에서의 통신에 있어서의 당해 값에 대응지어지는 변조 방식이나 부호화 방식과는 상이하다.
본 실시 형태에서는 예를 들어, 수신 제어부(82)에 의해 제1 수신부(74a)가 수신하는 데이터를 HMD(14)가 이용하도록 제어되는 경우에는, 제1 수신부(74a)가 데이터를 수신한다. 또한 수신 제어부(82)에 의해 제2 수신부(74b)가 수신하는 데이터를 HMD(14)가 이용하도록 제어되는 경우에는, 제2 수신부(74b)가 데이터를 수신한다.
본 실시 형태에서는 예를 들어, 수신 제어부(82)에 의해 제1 수신부(74a)가 수신하는 데이터를 HMD(14)가 이용하도록 제어되는 경우에는, 제1 수신 후처리 실행부(76a)가 수신 후처리를 실행한다. 또한 수신 제어부(82)에 의해 제2 수신부(74b)가 수신하는 데이터를 HMD(14)가 이용하도록 제어되는 경우에는, 제2 수신 후처리 실행부(76b)가 수신 후처리를 실행한다.
또한 본 실시 형태에서는, 송신 제어부(72)가 제1 송신부(68a)에 의한 송신이 행해지도록 제어하는 경우에는, 결과로서 HMD(14)는 제1 수신부(74a)가 수신하는 데이터를 이용한다. 또한 송신 제어부(72)가 제2 송신부(68b)에 의한 송신이 행해지도록 제어하는 경우에는, 결과로서 HMD(14)는 제2 수신부(74b)가 수신하는 데이터를 이용한다. 그 때문에 송신 제어부(72)는, 시스템 레이턴시(sl)에 기초하여, 제1 수신부(74a)가 수신하는 데이터 또는 제2 수신부(74b)가 수신하는 데이터 중 어느 것을 HMD(14)가 이용할지를 제어하는 제어부로서의 역할을 하고 있다고 할 수 있게 된다.
지시 송신부(84)는, 본 실시 형태에서는 예를 들어, 시스템 레이턴시(sl)에 기초하여 제1 송신부(68a)에 의한 송신, 또는 제2 송신부(68b)에 의한 송신 중 어느 하나의 지시를 엔터테인먼트 장치(12)에 지시한다. 지시 송신부(84)는, 본 실시 형태에서는 예를 들어, 시스템 레이턴시(sl)에 기초하여 제1 송신부(68a)에 의한 송신, 또는 제2 송신부(68b)에 의한 송신 중 어느 하나의 지시를 지시 수신부(70)에 송신한다.
출력 제어부(86)는, 수신 후처리 실행부(76)에 의한 수신 후처리의 실행이 종료된 데이터가 출력되도록 제어한다. 출력 제어부(86)는, 본 실시 형태에서는 예를 들어, 수신 후처리의 실행이 종료된 데이터가 나타내는 동화상을 출력부(52)에 표시 출력시킨다.
이하, 본 실시 형태에 관한 영상 표시 시스템(10)에 있어서 행해지는 처리의 흐름의 일례를 설명한다.
또한 이하의 설명에 있어서, 상술한 바와 같이, 본 실시 형태에 관한 엔터테인먼트 장치(12)와 HMD(14) 사이에서는 시스템 클록의 동기가 취해져 있는 것으로 한다.
또한 전제로서, 본 실시 형태에 관한 엔터테인먼트 장치(12)는, 공지 기술에 의해 무선 통신의 전파 상황에 따라, HMD(14)와의 통신에 제1 통신부(24a)를 사용할지 제2 통신부(24b)를 사용할지가 전환되도록 되어 있는 것으로 한다. 또한 본 실시 형태에 관한 HMD(14)는, 공지 기술에 의해 무선 통신의 전파 상황에 따라, 엔터테인먼트 장치(12)와의 통신에 제1 통신부(44a)를 사용할지 제2 통신부(44b)를 사용할지가 전환되도록 되어 있는 것으로 한다.
또한 전제로서, 본 실시 형태에 관한 엔터테인먼트 장치(12)는, 공지된 적응 변조 부호화 기술에 의해 무선 통신의 전파 상황에 따라, 제1 통신부(24a)나 제2 통신부(24b)의 변조 방식이나 부호화 방식이 적응적으로 변화하도록 되어 있는 것으로 한다. 또한 본 실시 형태에 관한 HMD(14)는, 공지된 적응 변조 부호화 기술에 의해 무선 통신의 전파 상황에 따라, 제1 통신부(44a)나 제2 통신부(44b)의 변조 방식이나 부호화 방식이 적응적으로 변화하도록 되어 있는 것으로 한다.
또한 이하의 설명에서는 예를 들어, 60GHz대의 통신에서는, 싱글 캐리어 방식에서의 통신이 행해지는 것으로 한다. 또한 5GHz대의 통신에서는, 802.11ac의 규격에 따른 4×4MIMO(multiple-input and multiple-output)에 의한 통신이 80MHz의 대역폭으로 행해지는 것으로 한다. 또한 본 실시 형태에 있어서의 적응 변조 부호화에서는, MCS(modulation and coding scheme)의 값(인덱스 번호)을 변화시킴으로써, 변조 방식이나 부호화 방식이 변화하는 것으로 한다.
우선, 본 실시 형태에 관한 엔터테인먼트 장치(12)에 있어서 행해지는 패킷의 송신 처리의 흐름의 일례를, 도 6에 도시한 흐름도를 참조하면서 설명한다.
우선, 부분 동화상 데이터 생성부(62)가, 동화상 생성부(60)가 생성한 동화상의 일부인 부분 동화상의 데이터를 생성한다(S101). 그리고, 부분 동화상 데이터 분할부(64)가 S101에 나타내는 처리로 생성된 부분 동화상의 데이터를 분할하여, 복수의 패킷(제1 패킷 내지 제n 패킷)을 생성한다(S102). 그리고, 송신 제어부(72)가 유지하고 있는 송신부 특정 데이터의 값을 확인한다(S103).
S103에 나타내는 처리에서 확인된 값이 "1"인 경우에는, 제1 송신 전처리 실행부(66a)가 S102에 나타내는 처리로 생성된 패킷에 대하여 송신 전처리를 실행한다(S104). 그리고 제1 송신부(68a)가 S104에 나타내는 처리로 송신 전처리가 실행된 복수의 패킷을 HMD(14)에 송신한다(S105).
S103에 나타내는 처리에서 확인된 값이 "2"인 경우에는, 제2 송신 전처리 실행부(66b)가 S102에 나타내는 처리로 생성된 패킷에 대하여 송신 전처리를 실행한다(S106). 그리고 제2 송신부(68b)가 S106에 나타내는 처리로 송신 전처리가 실행된 복수의 패킷을 HMD(14)에 송신한다(S107).
S105에 나타내는 처리 또는 S107에 나타내는 처리가 종료되면, S101에 나타내는 처리로 복귀되고, 이후 S101 내지 S107에 나타내는 처리가 반복된다.
또한 S104에 나타내는 처리에는 상술한 바와 같이 인코드가 포함된다. 또한 당해 인코드의 처리에는 압축 처리가 포함되어 있어도 된다. 또한 상술한 바와 같이, S104에 나타내는 처리에는 송신 전처리의 실행이 개시되는 시각의 타임 스탬프를 나타내는 데이터를 S102에 나타내는 처리로 생성된 n개의 패킷 각각에 부여하는 처리도 포함된다.
이어서, 본 실시 형태에 관한 HMD(14)에 있어서 행해지는, 상술한 S105 또는 S107에 나타내는 처리로 송신된 복수의 패킷의 수신에 따라 실행되는 처리의 흐름의 일례를, 도 7a 및 도 7b에 도시한 흐름도를 참조하면서 설명한다.
우선 수신 제어부(82)가 유지하고 있는 수신부 특정 데이터의 값을 확인한다(S201). S201에 나타내는 처리에서 확인된 값이 "1"인 경우에는, 제1 수신 후처리 실행부(76a)가, 제1 수신부(74a)가 수신한 패킷에 대하여 수신 후처리를 실행한다(S202). S201에 나타내는 처리에서 확인된 값이 "2"인 경우에는, 제2 수신 후처리 실행부(76b)가, 제2 수신부(74b)가 수신한 패킷에 대하여 수신 후처리를 실행한다(S203).
그리고 S202 또는 S203에 나타내는 처리의 종료 후, 출력 제어부(86)가, S203에 나타내는 처리로 수신 후처리가 실행된 데이터가 나타내는 플레이 동화상을 출력부(52)에 표시시킨다(S204).
그리고 레이턴시 측정부(78)가, S202 또는 S203에 나타내는 처리로 수신 후처리가 실행된 데이터에 기초하여 상술한 바와 같이 시스템 레이턴시(sl)를 특정한다(S205).
그리고 횟수 특정부(80)가, S205에 나타내는 처리로 특정된 시스템 레이턴시(sl)가 소정 시간 th_sl을 초과하였는지 여부를 확인한다(S206). 특정된 시스템 레이턴시(sl)가 소정 시간 th_sl을 초과하였음이 확인된 경우에는(S206: "예"), 횟수 특정부(80)는 유지하고 있는 레이턴시 오버 횟수 데이터의 값 c를 1만큼 증가시킨다(S207).
특정된 시스템 레이턴시(sl)가 소정 시간 th_sl을 초과하지 않았음이 확인된 경우(S206: "아니오"), 또는 S207에 나타내는 처리가 종료된 경우에는, 수신 제어부(82)가 유지하고 있는 수신부 특정 데이터의 값을 확인한다(S208).
수신부 특정 데이터의 값이 "1"인 것이 확인된 경우에는, 수신 제어부(82)는 유지하고 있는 MCS의 값을 확인한다(S209). 확인된 MCS의 값이 8 이상인(2310Mbps 이상에 상당) 경우에는, 본 처리예에 나타내는 처리가 종료된다.
확인된 MCS의 값이 4 이상 7 이하인(1155Mbps 이상 1925Mbps 이하에 상당) 경우에는, 수신 제어부(82)는 횟수 특정부(80)가 유지하고 있는 레이턴시 오버 횟수 데이터의 값 c가 소정의 역치 th_c 이상인지 여부를 확인한다(S210).
유지하고 있는 레이턴시 오버 횟수 데이터의 값 c가 소정의 역치 th_c 이상이 아닌 경우(S210: "아니오")에는, 본 처리예에 나타내는 처리가 종료된다. 유지하고 있는 레이턴시 오버 횟수 데이터의 값 c가 소정의 역치 th_c 이상인 경우(S210: "예")에는, 횟수 특정부(80)는 유지하고 있는 레이턴시 오버 횟수 데이터의 값 c를 0으로 변경한다(S211).
S211에 나타내는 처리의 종료 후, 또는 S209에 나타내는 처리에서 확인된 MCS의 값이 3인(962.5Mbps에 상당) 경우에는, 수신 제어부(82)는 유지하고 있는 수신부 특정 데이터의 값을 "2"로 변경한다(S212). 또한 S212에 나타내는 처리에 있어서, 수신 제어부(82)가 제2 통신부(44b)를 기동하고, 제1 통신부(44a)를 정지시켜도 된다. 그리고 지시 송신부(84)가 제2 송신부(68b)에 의한 송신의 지시를 엔터테인먼트 장치(12)에 송신하여(S213), 본 처리예에 나타내는 처리가 종료된다.
S208에 나타내는 처리에서 수신부 특정 데이터의 값이 "2"인 것이 확인된 경우에는, 수신 제어부(82)는 유지하고 있는 MCS의 값을 확인한다(S214). 확인된 MCS의 값이 7 이하인(1560Mbps 이하에 상당) 경우에는, 수신 제어부(82)는 횟수 특정부(80)가 유지하고 있는 레이턴시 오버 횟수 데이터의 값 c가 소정의 역치 th_c 이상인지 여부를 확인한다(S215).
유지하고 있는 레이턴시 오버 횟수 데이터의 값 c가 소정의 역치 th_c 이상인 경우(S215: "예")에는, 횟수 특정부(80)가 유지하고 있는 레이턴시 오버 횟수 데이터의 값 c를 0으로 변경하여(S216), 수신 제어부(82)가 유지하고 있는 MCS의 값을 1만큼 감소시킨다(S217). 그리고 지시 송신부(84)가 MCS의 값을 1만큼 감소시키는 지시를 엔터테인먼트 장치(12)에 송신한다(S218). 이 경우, 이후에는 감소한 후의 MCS가 나타내는 변조 방식 및 부호화 방식으로 통신이 행해지게 된다.
S215에 나타내는 처리에서 유지하고 있는 레이턴시 오버 횟수 데이터의 값 c가 소정의 역치 th_c 이상이 아닌 것이 확인된 경우(S215: "아니오")에는, 수신 제어부(82)는 유지하고 있는 MCS의 값이 4인지(780Mbps에 상당) 아닌지를 확인한다(S219). S218에 나타내는 처리가 종료된 경우에 대해서도, 수신 제어부(82)는 유지하고 있는 MCS의 값이 4인지(780Mbps에 상당) 아닌지를 확인한다(S219).
유지하고 있는 MCS의 값이 4가 아닌 것이 확인된 경우에는(S219: "아니오"), 본 처리예에 나타내는 처리는 종료된다. 유지하고 있는 MCS의 값이 4인 것이 확인된 경우에는(S219: "예"), 통신 품질을 나타내는 지표의 값 i(예를 들어 신호 대 잡음비(S/N비)나 수신 강도 등)가 소정의 역치 th_i보다 작은지 여부를 확인한다(S220). 여기서 역치 th_i로서, 예를 들어 적응 변조 부호화에 있어서 MCS의 값이 4로부터 3으로 변화할 때의 지표의 값 i에 소정의 버퍼값을 더한 값을 채용해도 된다. 값 i가 역치 th_i보다도 작지는 않은 것이 확인된 경우에는(S220: "아니오"), 본 처리예에 나타내는 처리는 종료된다. 값 i가 역치 th_i보다도 작은 것이 확인된 경우에는(S220: "예"), 지시 송신부(84)가 제2 송신 전처리 실행부(66b)에 있어서의 인코드의 압축률을 소정량만큼 증가시키는 지시를 엔터테인먼트 장치(12)에 송신한다(S221).
S214에 나타내는 처리에서 확인된 MCS의 값이 8 이상인(1560Mbps 이상에 상당) 경우에는, 수신 제어부(82)는 유지하고 있는 수신부 특정 데이터의 값을 "1"로 변경한다(S222). 또한 S222에 나타내는 처리에 있어서, 수신 제어부(82)가 제1 통신부(44a)를 기동하고, 제2 통신부(44b)를 정지시켜도 된다. 그리고 지시 송신부(84)가 제1 송신부(68a)에 의한 송신의 지시를 엔터테인먼트 장치(12)에 송신하여(S223), 본 처리예에 나타내는 처리는 종료된다.
상술한 S213에 나타내는 처리에서 송신된, 제2 송신부(68b)에 의한 송신의 지시를 엔터테인먼트 장치(12)의 지시 수신부(70)가 수신했다고 하자. 이 경우에는, 송신 제어부(72)가 유지하고 있는 송신부 특정 데이터의 값을 "2"로 변경한다. 여기서 송신 제어부(72)가 제2 통신부(24b)를 기동하고, 제1 통신부(24a)를 정지시켜도 된다.
상술한 S218에 나타내는 처리에서 송신된, MCS의 값을 1만큼 감소시키는 지시를 엔터테인먼트 장치(12)의 지시 수신부(70)가 수신했다고 하자. 이 경우에는, 송신 제어부(72)가 유지하고 있는 MCS의 값을 1만큼 감소시킨다. 이 경우, 이후에는 감소한 후의 MCS가 나타내는 변조 방식 및 부호화 방식으로 통신이 행해지게 된다.
상술한 S221에 나타내는 처리에서 송신된, 제2 송신 전처리 실행부(66b)에 있어서의 인코드의 압축률을 소정량만큼 증가시키는 지시를 엔터테인먼트 장치(12)의 지시 수신부(70)가 수신했다고 하자. 이 경우에는, 송신 제어부(72)는 제2 송신 전처리 실행부(66b)에 있어서의 인코드의 압축률을 소정량만큼 증가시킨다.
상술한 S223에 나타내는 처리에서 송신된, 제1 송신부(68a)에 의한 송신의 지시를 엔터테인먼트 장치(12)의 지시 수신부(70)가 수신했다고 하자. 이 경우에는, 송신 제어부(72)가 유지하고 있는 송신부 특정 데이터의 값을 "1"로 변경한다. 여기서 송신 제어부(72)가 제1 통신부(24a)를 기동하고, 제2 통신부(24b)를 정지시켜도 된다.
또한 도 7a 및 도 7b에 도시한 처리예에 있어서, 예를 들어 S212나 S222에 도시한 바와 같이, 수신 제어부(82)가 유지하고 있는 수신부 특정 데이터의 값을 변경할 때에, 횟수 특정부(80)는 유지하고 있는 레이턴시 오버 횟수 데이터의 값 c를 0으로 변경해도 된다. 또한 예를 들어 무선 통신의 전파 상황에 따라, HMD(14)와의 통신에 제1 통신부(24a)를 사용할지 제2 통신부(24b)를 사용할지가 전환되었을 때에, 횟수 특정부(80)는 유지하고 있는 레이턴시 오버 횟수 데이터의 값 c를 0으로 변경해도 된다. 또한 예를 들어 무선 통신의 전파 상황에 따라, 엔터테인먼트 장치(12)와의 통신에 제1 통신부(44a)를 사용할지 제2 통신부(44b)를 사용할지가 전환되었을 때에 횟수 특정부(80)는 유지하고 있는 레이턴시 오버 횟수 데이터의 값 c를 0으로 변경해도 된다.
또한, 본 발명은 상술한 실시 형태로 한정되는 것은 아니다.
예를 들어, 어떤 데이터가 제1 인코더부(28a)에서 인코드된 후 제1 통신부(24a)에 의해 HMD(14)에 송신되고, 당해 데이터의 카피가 제2 인코더부(28b)에서 인코드된 후 제2 통신부(24b)에 의해 HMD(14)에 송신되어도 된다. 여기서 제2 인코더부(28b)에 의한 인코드의 압축률은, 제1 인코더부(28a)에 의한 인코드의 압축률보다도 높아도 된다. 그리고 HMD(14)는, 수신한 이들 2개의 데이터 중으로부터 시스템 레이턴시(sl)가 짧은 데이터를 선택하여, 선택된 데이터가 나타내는 동화상이 출력부(52)에 표시되도록 제어해도 된다. 예를 들어 HMD(14)는, 우선 수신한 데이터가 나타내는 동화상이 출력부(52)에 표시되도록 제어해도 된다. 이 경우에 대해서도, 시스템 레이턴시(sl)에 따른 통신 경로의 선택이 행해지고 있다고 할 수 있다. 또한 예를 들어, 5GHz대에 의한 통신이 항상 행해지고 있으며, 통신 상황이 양호한 경우에 상술한 바와 같이 60GHz대에 의한 통신도 행해지도록 해도 된다.
또한 시스템 레이턴시(sl)를 계산할 때에 사용되는, 인코드나 디코드의 시간을 나타내는 값으로서 예를 들어 과거의 실측값에 기초한 소정값이 사용되어도 된다.
또한 예를 들어 엔터테인먼트 장치(12)가, 제1 인코더부(28a) 및 제2 인코더부(28b) 대신에 하나의 인코더부를 구비하고 있어도 된다. 그리고 제1 통신부(24a)에 의한 통신이 행해지는 경우에도 제2 통신부(24b)에 의한 통신이 행해지는 경우에도 당해 하나의 인코드부가 데이터의 인코드를 행하도록 해도 된다. 여기서 당해 하나의 인코더부는, 제2 통신부(24b)에 의한 통신이 행해질 때에는, 제1 통신부(24a)에 의한 통신에서의 압축률보다도 높은 압축률로 데이터를 인코드하도록 해도 된다.
또한 하드웨어인 제1 인코더부(28a)나 제2 인코더부(28b)에 의해 실장되는 기능이, 제어부(20)에서 실행되는 프로그램(소프트웨어)으로서 실장되어도 상관없다.
또한 본 발명의 적용 범위는, 상술한 바와 같은 플레이 동화상이 HMD(14)의 출력부(52)에 표시되는 장면으로 한정되지 않는다. 예를 들어 기억부(22)에 기억되어 있는 영화 등의 콘텐츠가 HMD(14)의 출력부(52)에 표시되는 장면에 본 발명을 적용해도 된다. 또한 본 발명의 적용 범위는 동화상의 데이터로 한정되지 않는다. 예를 들어 엔터테인먼트 장치(12)가 생성하는 음성 데이터가 나타내는 음성이 HMD(14)의 출력부(52)로부터 출력되는 장면에 본 발명을 적용해도 된다.
또한 예를 들어 엔터테인먼트 장치(12) 및 HMD(14)의 역할 분담은 상술한 것으로 한정되지 않는다. 예를 들어 도 4에 예시하는 기능의 일부 또는 전부가 HMD(14)에서 실장되어도 상관없다. 혹은 도 5에 예시하는 기능의 일부 또는 전부가 엔터테인먼트 장치(12)에서 실장되어도 상관없다.
또한, 상기한 구체적인 문자열이나 수치 및 도면 중의 구체적인 문자열이나 수치는 예시이며, 이들 문자열이나 수치에 한정되지는 않는다.

Claims (10)

  1. 데이터를 생성하는 생성부와, 상기 데이터를 인코드하는 인코드부와, 수신 장치와 통신 가능한 제1 송신부와, 상기 수신 장치와 통신 가능한 제2 송신부를 포함하는 송신 장치와,
    상기 제1 송신부와 통신 가능한 제1 수신부와, 상기 제2 송신부와 통신 가능한 제2 수신부와, 인코드된 상기 데이터를 디코드하는 디코드부를 포함하는 수신 장치를 포함하고,
    상기 제1 송신부는, 상기 인코드부에 의해 인코드된, 상기 생성부가 생성하는 데이터를 상기 제1 수신부에 송신하고,
    상기 제2 송신부는, 상기 인코드부에 의해 인코드된, 상기 생성부가 생성하는 데이터를 상기 제2 수신부에 송신하고,
    상기 제1 송신부는 상기 제2 송신부보다도 송신 가능한 최대 레이트가 높고,
    상기 인코드부는, 상기 제2 송신부에 의한 송신이 행해질 때에는, 상기 제1 송신부에 의한 송신에서의 압축률보다도 높은 압축률로 상기 데이터를 인코드하고,
    상기 제1 수신부가 수신하는 데이터, 또는 상기 제2 수신부가 수신하는 데이터 중 어느 것을 상기 수신 장치가 이용할지를, 상기 생성부가 상기 데이터를 생성한 후 당해 데이터가 상기 수신 장치에서 이용 가능하게 될 때까지의 시간에 기초하여 제어하는 제어부를 더 포함하는
    것을 특징으로 하는 통신 시스템.
  2. 제1항에 있어서, 상기 제어부는, 상기 제1 송신부에 의한 송신, 또는 상기 제2 송신부에 의한 송신 중 어느 것이 행해질지를, 상기 생성부가 상기 데이터를 생성한 후 당해 데이터가 상기 수신 장치에서 이용 가능하게 될 때까지의 시간에 기초하여 제어하는
    것을 특징으로 하는 통신 시스템.
  3. 제2항에 있어서, 상기 제2 송신부에 의한 송신이 행해지지 않고 상기 제1 송신부에 의한 통신이 행해지고 있을 때에, 상기 생성부가 상기 데이터를 생성한 후 당해 데이터가 상기 수신 장치에서 이용 가능하게 될 때까지의 시간이 소정 시간을 초과한 횟수를 특정하는 횟수 특정부를 더 포함하고,
    상기 횟수가 소정수에 도달한 경우에, 상기 제어부는, 이후 상기 제1 송신부에 의한 송신이 행해지지 않고 상기 제2 송신부에 의한 송신이 행해지도록 제어하는
    것을 특징으로 하는 통신 시스템.
  4. 제2항 또는 제3항에 있어서, 상기 송신 장치가 상기 제어부를 포함하고,
    상기 수신 장치가, 상기 생성부가 상기 데이터를 생성한 후 당해 데이터가 상기 수신 장치에서 이용 가능하게 될 때까지의 시간에 기초하여 상기 제1 송신부에 의한 송신, 또는 상기 제2 송신부에 의한 송신 중 어느 것을 상기 송신 장치에 지시하는 지시부를 더 포함하고,
    상기 제어부는, 상기 수신 장치로부터 상기 지시를 수신했을 때에는, 이후 상기 지시에 따라 상기 제1 송신부 또는 상기 제2 송신부에 의한 송신이 행해지도록 제어하는
    것을 특징으로 하는 통신 시스템.
  5. 제2항 내지 제4항 중 어느 한 항에 있어서, 상기 인코드부는, 상기 제2 송신부에 의한 송신이 행해지고 있을 때에, 통신 품질이 소정의 품질 이하가 된 경우에는 상기 생성부가 생성하는 데이터의 압축률을 증가시키는
    것을 특징으로 하는 통신 시스템.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 인코드부는, 제1 인코드부와, 상기 제1 인코드부와는 별체인 제2 인코드부를 포함하고,
    상기 제1 인코드부는, 상기 제1 통신부에서의 송신이 행해질 때에 상기 데이터를 인코드하고,
    상기 제2 인코드부는, 상기 제2 통신부에서의 송신이 행해질 때에 상기 데이터를 인코드하고,
    상기 제2 인코드부에 의한 인코드의 압축률은, 상기 제1 인코드부에 의한 인코드의 압축률보다도 높은
    것을 특징으로 하는 통신 시스템.
  7. 데이터를 생성하는 생성부와, 상기 데이터를 인코드하는 인코드부와, 수신 장치와 통신 가능한 제1 송신부와, 상기 수신 장치와 통신 가능한 제2 송신부를 포함하고,
    상기 제1 송신부와 통신 가능한 제1 수신부와, 상기 제2 송신부와 통신 가능한 제2 수신부와, 인코드된 상기 데이터를 디코드하는 디코드부를 포함하는 수신 장치와 통신 가능하고,
    상기 제1 송신부는, 상기 인코드부에 의해 인코드된, 상기 생성부가 생성하는 데이터를 상기 제1 수신부에 송신하고,
    상기 제2 송신부는, 상기 인코드부에 의해 인코드된, 상기 생성부가 생성하는 데이터를 상기 제2 수신부에 송신하고,
    상기 제1 송신부는 상기 제2 송신부보다도 송신 가능한 최대 레이트가 높고,
    상기 인코드부는, 상기 제2 송신부에 의한 송신이 행해질 때에는, 상기 제1 송신부에 의한 송신에서의 압축률보다도 높은 압축률로 상기 데이터를 인코드하고,
    상기 제1 수신부가 수신하는 데이터, 또는 상기 제2 수신부가 수신하는 데이터 중 어느 것을 상기 수신 장치가 이용할지를, 상기 생성부가 상기 데이터를 생성한 후 당해 데이터가 상기 수신 장치에서 이용 가능하게 될 때까지의 시간에 기초하여 제어하는 제어부를 더 포함하는
    것을 특징으로 하는 송신 장치.
  8. 데이터를 생성하는 생성부와, 상기 데이터를 인코드하는 인코드부와, 수신 장치와 통신 가능한 제1 송신부와, 상기 수신 장치와 통신 가능한 제2 송신부를 포함하는 송신 장치와 통신 가능하고,
    상기 제1 송신부와 통신 가능한 제1 수신부와, 상기 제2 송신부와 통신 가능한 제2 수신부와, 인코드된 상기 데이터를 디코드하는 디코드부를 포함하고,
    상기 제1 송신부는, 상기 인코드부에 의해 인코드된, 상기 생성부가 생성하는 데이터를 상기 제1 수신부에 송신하고,
    상기 제2 송신부는, 상기 인코드부에 의해 인코드된, 상기 생성부가 생성하는 데이터를 상기 제2 수신부에 송신하고,
    상기 제1 송신부는 상기 제2 송신부보다도 송신 가능한 최대 레이트가 높고,
    상기 인코드부는, 상기 제2 송신부에 의한 송신이 행해질 때에는, 상기 제1 송신부에 의한 송신에서의 압축률보다도 높은 압축률로 상기 데이터를 인코드하고,
    상기 제1 수신부가 수신하는 데이터, 또는 상기 제2 수신부가 수신하는 데이터 중 어느 것을 상기 수신 장치가 이용할지를, 상기 생성부가 상기 데이터를 생성한 후 당해 데이터가 상기 수신 장치에서 이용 가능하게 될 때까지의 시간에 기초하여 제어하는 제어부를 더 포함하는
    것을 특징으로 하는 수신 장치.
  9. 데이터를 생성하는 생성부와, 상기 데이터를 인코드하는 인코드부와, 수신 장치와 통신 가능한 제1 송신부와, 상기 수신 장치와 통신 가능한 제2 송신부를 포함하는 송신 장치와,
    상기 제1 송신부와 통신 가능한 제1 수신부와, 상기 제2 송신부와 통신 가능한 제2 수신부와, 인코드된 상기 데이터를 디코드하는 디코드부를 포함하는 수신 장치를 포함하고,
    상기 제1 송신부는, 상기 인코드부에 의해 인코드된, 상기 생성부가 생성하는 데이터를 상기 제1 수신부에 송신하고,
    상기 제2 송신부는, 상기 인코드부에 의해 인코드된, 상기 생성부가 생성하는 데이터를 상기 제2 수신부에 송신하고,
    상기 제1 송신부는 상기 제2 송신부보다도 송신 가능한 최대 레이트가 높고,
    상기 인코드부는, 상기 제2 송신부에 의한 송신이 행해질 때에는, 상기 제1 송신부에 의한 송신에서의 압축률보다도 높은 압축률로 상기 데이터를 인코드하는 통신 시스템의 제어 방법이며,
    상기 제1 수신부가 수신하는 데이터, 또는 상기 제2 수신부가 수신하는 데이터 중 어느 것을 상기 수신 장치가 이용할지를, 상기 생성부가 상기 데이터를 생성한 후 당해 데이터가 상기 수신 장치에서 이용 가능하게 될 때까지의 시간에 기초하여 제어하는 스텝을 포함하는
    것을 특징으로 하는 통신 시스템의 제어 방법.
  10. 데이터를 생성하는 생성부와, 상기 데이터를 인코드하는 인코드부와, 수신 장치와 통신 가능한 제1 송신부와, 상기 수신 장치와 통신 가능한 제2 송신부를 포함하는 송신 장치와,
    상기 제1 송신부와 통신 가능한 제1 수신부와, 상기 제2 송신부와 통신 가능한 제2 수신부와, 인코드된 상기 데이터를 디코드하는 디코드부를 포함하는 수신 장치를 포함하고,
    상기 제1 송신부는, 상기 인코드부에 의해 인코드된, 상기 생성부가 생성하는 데이터를 상기 제1 수신부에 송신하고,
    상기 제2 송신부는, 상기 인코드부에 의해 인코드된, 상기 생성부가 생성하는 데이터를 상기 제2 수신부에 송신하고,
    상기 제1 송신부는 상기 제2 송신부보다도 송신 가능한 최대 레이트가 높고,
    상기 인코드부는, 상기 제2 송신부에 의한 송신이 행해질 때에는, 상기 제1 송신부에 의한 송신에서의 압축률보다도 높은 압축률로 상기 데이터를 인코드하는 통신 시스템을 제어하는 컴퓨터에,
    상기 제1 수신부가 수신하는 데이터, 또는 상기 제2 수신부가 수신하는 데이터 중 어느 것을 상기 수신 장치가 이용할지를, 상기 생성부가 상기 데이터를 생성한 후 당해 데이터가 상기 수신 장치에서 이용 가능하게 될 때까지의 시간에 기초하여 제어하는 수순
    을 실행시키는 것을 특징으로 하는 프로그램.
KR1020187008636A 2015-10-06 2016-10-04 통신 시스템, 송신 장치, 수신 장치, 통신 시스템의 제어 방법 및 프로그램을 기록한 컴퓨터 판독가능 기록 매체 KR102037161B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015198735 2015-10-06
JPJP-P-2015-198735 2015-10-06
PCT/JP2016/079494 WO2017061428A1 (ja) 2015-10-06 2016-10-04 通信システム、送信装置、受信装置、通信システムの制御方法及びプログラム

Publications (2)

Publication Number Publication Date
KR20180043828A true KR20180043828A (ko) 2018-04-30
KR102037161B1 KR102037161B1 (ko) 2019-10-29

Family

ID=58487755

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187008636A KR102037161B1 (ko) 2015-10-06 2016-10-04 통신 시스템, 송신 장치, 수신 장치, 통신 시스템의 제어 방법 및 프로그램을 기록한 컴퓨터 판독가능 기록 매체

Country Status (6)

Country Link
US (1) US11265595B2 (ko)
EP (1) EP3343934B1 (ko)
JP (2) JP6714010B2 (ko)
KR (1) KR102037161B1 (ko)
CN (1) CN108141639B (ko)
WO (1) WO2017061428A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7077914B2 (ja) * 2018-10-24 2022-05-31 日本電信電話株式会社 無線ｌａｎ通信品質推定方法、無線ｌａｎ通信品質推定システム、情報収集装置および無線ｌａｎ通信品質推定装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009021935A (ja) * 2007-07-13 2009-01-29 Sharp Corp 無線送受信システム、無線送受信方法、送受信装置およびプログラム
JP2014523721A (ja) * 2011-07-22 2014-09-11 サムスン エレクトロニクス カンパニー リミテッド 送信装置、受信装置およびその送受信方法
WO2015033762A1 (ja) * 2013-09-05 2015-03-12 ソニー株式会社 情報処理装置および情報処理方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6028631A (en) * 1997-09-08 2000-02-22 Hitachi, Ltd. Portable terminal apparatus for multimedia communication
JPH11187367A (ja) 1997-12-19 1999-07-09 Nec Corp 映像送信装置，映像受信装置及びこれらを用いた映像伝送システム
JP2003087209A (ja) * 2001-09-06 2003-03-20 Matsushita Electric Ind Co Ltd デジタル放送表示装置
JP2003309541A (ja) 2002-04-15 2003-10-31 Sony Corp データ転送システム、データ転送装置及びデータ転送方法、並びにコンピュータ・プログラム
JP2003348548A (ja) * 2002-05-23 2003-12-05 Nippon Telegr & Teleph Corp <Ntt> ストリーム配信システムと方法およびストリーム受信装置
JP4242606B2 (ja) * 2002-06-20 2009-03-25 株式会社エヌ・ティ・ティ・ドコモ 通信制御システム、通信制御方法、移動局及び基地局
US8964830B2 (en) * 2002-12-10 2015-02-24 Ol2, Inc. System and method for multi-stream video compression using multiple encoding formats
EP1844612B1 (en) 2005-02-04 2017-05-10 Barco NV Method and device for image and video transmission over low-bandwidth and high-latency transmission channels
JP4616121B2 (ja) 2005-08-10 2011-01-19 株式会社日立製作所 ディジタル放送受信装置
FR2895629A1 (fr) * 2005-12-22 2007-06-29 France Telecom Procede et systeme de distribution de contenus numeriques
CA2649667C (en) 2006-04-29 2014-08-26 Thomson Licensing Seamless handover of multicast sessions in internet protocol based wireless networks using staggercasting
JP2008252390A (ja) * 2007-03-29 2008-10-16 Sharp Corp 放送受信装置、放送受信方法、プログラムおよびその記録媒体
JP2010062630A (ja) * 2008-09-01 2010-03-18 Pioneer Electronic Corp 放送信号切換装置、放送信号切換方法、放送信号切換プログラム、及び記録媒体
EP2211224A1 (en) 2009-01-27 2010-07-28 Thomson Licensing SA Head-mounted display and operating method thereof
JP5456784B2 (ja) * 2009-09-11 2014-04-02 パナソニック株式会社 コンテンツ送信装置、コンテンツ受信装置、コンテンツ送信プログラム、コンテンツ受信プログラム、コンテンツ送信方法、及びコンテンツ受信方法
US8141784B2 (en) * 2009-09-25 2012-03-27 Hand Held Products, Inc. Encoded information reading terminal with user-configurable multi-protocol wireless communication interface
JP2012186701A (ja) 2011-03-07 2012-09-27 Ricoh Co Ltd 無線通信端末
US20120307886A1 (en) 2011-05-31 2012-12-06 Broadcom Corporation Adaptive Video Encoding Based on Predicted Wireless Channel Conditions
US20120309321A1 (en) * 2011-05-31 2012-12-06 Broadcom Corporation Synchronized calibration for wireless communication devices
CN103828384B (zh) 2011-09-30 2018-02-27 英特尔公司 基于软件的无线信道感知自适应视频比特率编码
JP5996252B2 (ja) 2012-04-25 2016-09-21 シャープ株式会社 無線通信機器、および無線システム
EP2680527A1 (en) 2012-06-28 2014-01-01 Alcatel-Lucent Adaptive streaming aware node, encoder and client enabling smooth quality transition
US10905943B2 (en) * 2013-06-07 2021-02-02 Sony Interactive Entertainment LLC Systems and methods for reducing hops associated with a head mounted system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009021935A (ja) * 2007-07-13 2009-01-29 Sharp Corp 無線送受信システム、無線送受信方法、送受信装置およびプログラム
JP2014523721A (ja) * 2011-07-22 2014-09-11 サムスン エレクトロニクス カンパニー リミテッド 送信装置、受信装置およびその送受信方法
WO2015033762A1 (ja) * 2013-09-05 2015-03-12 ソニー株式会社 情報処理装置および情報処理方法

Also Published As

Publication number Publication date
CN108141639A (zh) 2018-06-08
JP6714010B2 (ja) 2020-06-24
WO2017061428A1 (ja) 2017-04-13
KR102037161B1 (ko) 2019-10-29
CN108141639B (zh) 2021-07-27
EP3343934A4 (en) 2019-03-27
US20180255349A1 (en) 2018-09-06
EP3343934A1 (en) 2018-07-04
US11265595B2 (en) 2022-03-01
EP3343934B1 (en) 2021-03-10
JP6752312B2 (ja) 2020-09-09
JP2019118108A (ja) 2019-07-18
JPWO2017061428A1 (ja) 2018-03-29

Similar Documents

Publication Publication Date Title
JP7608487B2 (ja) コンピュータ媒介式の現実アプリケーションにおける送信器と受信器との間の通信を最適化する方法、装置およびシステム
US20230156250A1 (en) Low latency wireless virtual reality systems and methods
CN103988166A (zh) 媒体输出的选择性镜射
KR20150022532A (ko) 컨텐츠 재생 방법 및 그에 따른 단말, 그에 따른 시스템
CN109076258B (zh) 接收装置、发送装置、控制方法、发送方法和存储介质
JP6752312B2 (ja) 通信システム、送信装置、受信装置、通信システムの制御方法及びプログラム
CN108616767B (zh) 一种音频数据传输方法及装置
US12204815B2 (en) Adaptive audio delivery and rendering
JP5300760B2 (ja) 映像伝送システム、映像伝送方法及びプログラム
EP2424159A1 (en) Information transmission apparatus, information transmission method, and computer readable medium
JP7304419B2 (ja) 送信装置、送信方法及びプログラム
US8923689B2 (en) Image processing apparatus and method
RU2774212C2 (ru) Способ и система для обработки аудиоконтента, способ и система для обработки мультимедийного контента для воспроизведения
WO2013108307A1 (ja) 映像処理装置および映像処理方法
JP2017076908A (ja) コンテンツ再生装置、コンテンツ再生方法、コンテンツ再生プログラム

Legal Events

Date Code Title Description
A201 Request for examination
PA0105 International application

Patent event date: 20180327

Patent event code: PA01051R01D

Comment text: International Patent Application

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20190313

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20190923

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20191022

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20191023

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20220922

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee