JP6714010B2 - 通信システム、送信装置、受信装置、通信システムの制御方法及びプログラム - Google Patents

通信システム、送信装置、受信装置、通信システムの制御方法及びプログラム Download PDF

Info

Publication number
JP6714010B2
JP6714010B2 JP2017544506A JP2017544506A JP6714010B2 JP 6714010 B2 JP6714010 B2 JP 6714010B2 JP 2017544506 A JP2017544506 A JP 2017544506A JP 2017544506 A JP2017544506 A JP 2017544506A JP 6714010 B2 JP6714010 B2 JP 6714010B2
Authority
JP
Japan
Prior art keywords
unit
data
transmission
reception
transmitting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017544506A
Other languages
English (en)
Other versions
JPWO2017061428A1 (ja
Inventor
克嘉 大西
克嘉 大西
良雄 宮崎
良雄 宮崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of JPWO2017061428A1 publication Critical patent/JPWO2017061428A1/ja
Application granted granted Critical
Publication of JP6714010B2 publication Critical patent/JP6714010B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/32—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections
    • A63F13/327—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections using wireless networks, e.g. Wi-Fi® or piconet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/358—Adapting the game course according to the network or server load, e.g. for reducing latency due to different connection speeds between clients
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70—Game security or game management aspects
    • A63F13/71—Game security or game management aspects using secure communication between game devices and game servers, e.g. by encrypting game data or authenticating players
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W48/00—Access restriction; Network selection; Access point selection
    • H04W48/16—Discovering, processing access restriction or access information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W84/00—Network topologies
    • H04W84/02—Hierarchically pre-organised networks, e.g. paging networks, cellular networks, WLAN [Wireless Local Area Network] or WLL [Wireless Local Loop]
    • H04W84/10—Small scale networks; Flat hierarchical networks
    • H04W84/12—WLAN [Wireless Local Area Networks]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices
    • H04W88/06—Terminal devices adapted for operation in multiple networks or having at least two operational modes, e.g. multi-mode terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Mobile Radio Communication Systems (AREA)

Description

本発明は、通信システム、送信装置、受信装置、通信システムの制御方法及びプログラムに関する。
送信部を複数備えた送信装置や受信部を複数備えた受信装置において、無線通信の電波状況に応じて通信を行う送信部や受信部を変更する技術が知られている。
近年、無線通信による動画像の送受信が検討されている。例えばゲームプログラムを実行するゲーム装置が生成する、ゲームのプレイ状況を表す動画像が、ヘッドマウントディスプレイ（ＨＭＤ）に無線で送信され、ＨＭＤに表示されるようにすることが検討されている。
このような用途で無線通信を行う場合は、操作におけるプレイヤの違和感を低減するために、送信装置で生成されるデータが受信装置で利用可能となるまでの時間（レイテンシ）を短くすることが重要となる。具体的には例えばゲーム装置で生成される動画像がＨＭＤで表示されるまでの時間を短くすることが重要となる。そのため上記の用途で無線通信を行う場合にはレイテンシに応じて適切な通信経路が選択されることが望ましい。
しかし従来技術では、レイテンシに応じた通信経路の選択が行われていなかった。そのため上記の用途で無線通信を行うにあたって従来技術では充分であるとは言えなかった。
本発明は上記実情に鑑みてなされたものであって、その目的の一つは、送信装置で生成されるデータが受信装置で利用可能になるまでの時間に応じた適切な通信経路の選択が可能な通信システム、送信装置、受信装置、通信システムの制御方法及びプログラムを提供することにある。
上記課題を解決するために、本発明に係る通信システムは、データを生成する生成部と、前記データをエンコードするエンコード部と、受信装置と通信可能な第１の送信部と、前記受信装置と通信可能な第２の送信部と、を含む送信装置と、前記第１の送信部と通信可能な第１の受信部と、前記第２の送信部と通信可能な第２の受信部と、エンコードされた前記データをデコードするデコード部と、を含む受信装置と、を含み、前記第１の送信部は、前記エンコード部によりエンコードされた、前記生成部が生成するデータを前記第１の受信部に送信し、前記第２の送信部は、前記エンコード部によりエンコードされた、前記生成部が生成するデータを前記第２の受信部に送信し、前記第１の送信部は前記第２の送信部よりも送信可能な最大レートが高く、前記エンコード部は、前記第２の送信部による送信が行われる際には、前記第１の送信部による送信での圧縮率よりも高い圧縮率で前記データをエンコードし、前記第１の受信部が受信するデータ、又は、前記第２の受信部が受信するデータのいずれを前記受信装置が利用するかを、前記生成部が前記データを生成してから当該データが前記受信装置で利用可能となるまでの時間に基づいて制御する制御部、をさらに含む。
本発明の一態様では、前記制御部は、前記第１の送信部による送信、又は、前記第２の送信部による送信のいずれが行われるかを、前記生成部が前記データを生成してから当該データが前記受信装置で利用可能となるまでの時間に基づいて制御する。
この態様では、前記第２の送信部による送信が行われておらず前記第１の送信部による通信が行われている際に、前記生成部が前記データを生成してから当該データが前記受信装置で利用可能となるまでの時間が所定時間を超えた回数を特定する回数特定部、をさらに含み、前記回数が所定数に達した場合に、前記制御部は、以後、前記第１の送信部による送信が行われず前記第２の送信部による送信が行われるよう制御してもよい。
また、前記送信装置が、前記制御部を含み、前記受信装置が、前記生成部が前記データを生成してから当該データが前記受信装置で利用可能となるまでの時間に基づいて、前記第１の送信部による送信、又は、前記第２の送信部による送信のいずれかを前記送信装置に指示する指示部、をさらに含み、前記制御部は、前記受信装置から前記指示を受信した際には、以後、前記指示に従って前記第１の送信部又は前記第２の送信部による送信が行われるよう制御してもよい。
また、前記エンコード部は、前記第２の送信部による送信が行われている際に、通信品質が所定の品質以下となった場合は、前記生成部が生成するデータの圧縮率を増加させてもよい。
また本発明の一態様では、前記エンコード部は、第１のエンコード部と、前記第１のエンコード部とは別体である第２のエンコード部とを含み、前記第１のエンコード部は、前記第１の通信部での送信が行われる際に前記データをエンコードし、前記第２のエンコード部は、前記第２の通信部での送信が行われる際に前記データをエンコードし、前記第２のエンコード部によるエンコードの圧縮率は、前記第１のエンコード部によるエンコードの圧縮率よりも高い。
また、本発明に係る送信装置は、データを生成する生成部と、前記データをエンコードするエンコード部と、受信装置と通信可能な第１の送信部と、前記受信装置と通信可能な第２の送信部と、を含み、前記第１の送信部と通信可能な第１の受信部と、前記第２の送信部と通信可能な第２の受信部と、エンコードされた前記データをデコードするデコード部と、を含む受信装置と通信可能であり、前記第１の送信部は、前記エンコード部によりエンコードされた、前記生成部が生成するデータを前記第１の受信部に送信し、前記第２の送信部は、前記エンコード部によりエンコードされた、前記生成部が生成するデータを前記第２の受信部に送信し、前記第１の送信部は前記第２の送信部よりも送信可能な最大レートが高く、前記エンコード部は、前記第２の送信部による送信が行われる際には、前記第１の送信部による送信での圧縮率よりも高い圧縮率で前記データをエンコードし、前記第１の受信部が受信するデータ、又は、前記第２の受信部が受信するデータのいずれを前記受信装置が利用するかを、前記生成部が前記データを生成してから当該データが前記受信装置で利用可能となるまでの時間に基づいて制御する制御部、をさらに含む。
また、本発明に係る受信装置は、データを生成する生成部と、前記データをエンコードするエンコード部と、受信装置と通信可能な第１の送信部と、前記受信装置と通信可能な第２の送信部と、を含む送信装置と通信可能であり、前記第１の送信部と通信可能な第１の受信部と、前記第２の送信部と通信可能な第２の受信部と、エンコードされた前記データをデコードするデコード部と、を含み、前記第１の送信部は、前記エンコード部によりエンコードされた、前記生成部が生成するデータを前記第１の受信部に送信し、前記第２の送信部は、前記エンコード部によりエンコードされた、前記生成部が生成するデータを前記第２の受信部に送信し、前記第１の送信部は前記第２の送信部よりも送信可能な最大レートが高く、前記エンコード部は、前記第２の送信部による送信が行われる際には、前記第１の送信部による送信での圧縮率よりも高い圧縮率で前記データをエンコードし、前記第１の受信部が受信するデータ、又は、前記第２の受信部が受信するデータのいずれを前記受信装置が利用するかを、前記生成部が前記データを生成してから当該データが前記受信装置で利用可能となるまでの時間に基づいて制御する制御部、をさらに含む。
また、本発明に係る通信システムの制御方法は、データを生成する生成部と、前記データをエンコードするエンコード部と、受信装置と通信可能な第１の送信部と、前記受信装置と通信可能な第２の送信部と、を含む送信装置と、前記第１の送信部と通信可能な第１の受信部と、前記第２の送信部と通信可能な第２の受信部と、エンコードされた前記データをデコードするデコード部と、を含む受信装置と、を含み、前記第１の送信部は、前記エンコード部によりエンコードされた、前記生成部が生成するデータを前記第１の受信部に送信し、前記第２の送信部は、前記エンコード部によりエンコードされた、前記生成部が生成するデータを前記第２の受信部に送信し、前記第１の送信部は前記第２の送信部よりも送信可能な最大レートが高く、前記エンコード部は、前記第２の送信部による送信が行われる際には、前記第１の送信部による送信での圧縮率よりも高い圧縮率で前記データをエンコードする、通信システムの制御方法であって、前記第１の受信部が受信するデータ、又は、前記第２の受信部が受信するデータのいずれを前記受信装置が利用するかを、前記生成部が前記データを生成してから当該データが前記受信装置で利用可能となるまでの時間に基づいて制御するステップ、を含む。
また、本発明に係るプログラムは、データを生成する生成部と、前記データをエンコードするエンコード部と、受信装置と通信可能な第１の送信部と、前記受信装置と通信可能な第２の送信部と、を含む送信装置と、前記第１の送信部と通信可能な第１の受信部と、前記第２の送信部と通信可能な第２の受信部と、エンコードされた前記データをデコードするデコード部と、を含む受信装置と、を含み、前記第１の送信部は、前記エンコード部によりエンコードされた、前記生成部が生成するデータを前記第１の受信部に送信し、前記第２の送信部は、前記エンコード部によりエンコードされた、前記生成部が生成するデータを前記第２の受信部に送信し、前記第１の送信部は前記第２の送信部よりも送信可能な最大レートが高く、前記エンコード部は、前記第２の送信部による送信が行われる際には、前記第１の送信部による送信での圧縮率よりも高い圧縮率で前記データをエンコードする、通信システムを制御するコンピュータに、前記第１の受信部が受信するデータ、又は、前記第２の受信部が受信するデータのいずれを前記受信装置が利用するかを、前記生成部が前記データを生成してから当該データが前記受信装置で利用可能となるまでの時間に基づいて制御する手順、を実行させる。
本発明の一実施形態に係る映像表示システムの全体構成の一例を示す図である。 本発明の一実施形態に係るヘッドマウントディスプレイの構成の一例を示す図である。 部分動画像の送信の一例を模式的に示した説明図である。 本発明の一実施形態に係るエンタテインメント装置で実装される機能の一例を示す機能ブロック図である。 本発明の一実施形態に係るヘッドマウントディスプレイで実装される機能の一例を示す機能ブロック図である。 本発明の一実施形態に係るエンタテインメント装置において行われる処理の流れの一例を示すフロー図である。 本発明の一実施形態に係るヘッドマウントディスプレイにおいて行われる処理の流れの一例を示すフロー図である。 本発明の一実施形態に係るヘッドマウントディスプレイにおいて行われる処理の流れの一例を示すフロー図である。
以下、本発明の一実施形態について、図面を参照しながら説明する。
図１は、本発明の一実施形態に係る映像表示システム１０の全体構成の一例を示す図である。
図１に示すように、本実施形態に係る映像表示システム１０には、エンタテインメント装置１２、ヘッドマウントディスプレイ（ＨＭＤ）１４、及び、コントローラ１６が含まれている。
本実施形態に係るエンタテインメント装置１２は、例えばゲームコンソール、ＤＶＤプレイヤ、Ｂｌｕ−ｒａｙ（登録商標）プレイヤなどといったコンピュータである。本実施形態では、エンタテインメント装置１２が生成する動画像が、ＨＭＤ１４に送信されて、ＨＭＤ１４で表示されることとなる。
図１に示すように、本実施形態に係るエンタテインメント装置１２には、制御部２０、記憶部２２、第１通信部２４ａ、第２通信部２４ｂ、コントローラ通信部２６、第１エンコーダ部２８ａ、第２エンコーダ部２８ｂ、切替制御回路３０、が含まれる。
制御部２０は、例えばＣＰＵ等のプログラム制御デバイスであって、記憶部２２に記憶されたプログラムに従って各種の情報処理を実行する。本実施形態に係る制御部２０には、ＣＰＵから供給されるグラフィックスコマンドやデータに基づいてフレームバッファに画像を描画するＧＰＵ（Graphics Processing Unit）も含まれている。
記憶部２２は、例えばＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブなどである。記憶部２２には、制御部２０によって実行されるプログラムなどが記憶される。また、本実施形態に係る記憶部２２には、ＧＰＵにより画像が描画されるフレームバッファの領域が確保されている。
第１通信部２４ａ、第２通信部２４ｂは、例えばＨＭＤ１４との間でデータを授受するための通信インタフェースである。本実施形態に係るエンタテインメント装置１２は、第１通信部２４ａ又は第２通信部２４ｂを経由してＨＭＤ１４との間で通信を行う。
本実施形態では第１通信部２４ａで行われる通信の通信規格と第２通信部２４ｂで行われる通信の通信規格とは異なっている。例えば第１通信部２４ａでは６０ＧＨｚ帯での通信が行われ、第２通信部２４ｂでは５ＧＨｚ帯での通信が行われる。
６０ＧＨｚ帯での通信の方が５ＧＨｚ帯の通信よりも通信可能な最大レートは高い。また６０ＧＨｚ帯での通信の方が５ＧＨｚ帯の通信よりも直進性が強く、また通信可能距離は短い。本実施形態では、無線通信の電波状況に応じて、ＨＭＤ１４との通信に、第１通信部２４ａを用いるか第２通信部２４ｂを用いるかが切替可能になっている。また本実施形態では公知の適応変調符号化技術により、無線通信の電波状況に応じて、第１通信部２４ａや第２通信部２４ｂの変調方式や符号化方式を適応的に変化させることができるようになっている。
コントローラ通信部２６は、例えばコントローラ１６との有線通信又は無線通信を行う通信インタフェースである。
第１エンコーダ部２８ａ、第２エンコーダ部２８ｂは、例えば制御部２０が生成する動画像等のコンテンツのデータ、又は、記憶部２２が記憶している動画像等のコンテンツのデータをエンコードするハードウェアエンコーダである。なお本実施形態では、第１エンコーダ部２８ａと第２エンコーダ部２８ｂとは別体である。また第１エンコーダ部２８ａや第２エンコーダ部２８ｂは、コンテンツのデータを圧縮してもよい。本実施形態では、第２エンコーダ部２８ｂによるエンコードの圧縮率は、第１エンコーダ部２８ａによるエンコードの圧縮率よりも高い。
また本実施形態では、第１エンコーダ部２８ａがエンコードしたデータは第１通信部２４ａがＨＭＤ１４に送信し、第２エンコーダ部２８ｂがエンコードしたデータは第２通信部２４ｂがＨＭＤ１４に送信する。
切替制御回路３０は、コンテンツのデータのエンコードを第１エンコーダ部２８ａに実行させるか第２エンコーダ部２８ｂに実行させるかを切り替える回路である。
図２は、本実施形態に係るＨＭＤ１４の構成の一例を示す図である。
図２に示すように本実施形態に係るＨＭＤ１４には、制御部４０、記憶部４２、第１通信部４４ａ、第２通信部４４ｂ、第１デコーダ部４６ａ、第２デコーダ部４６ｂ、切替制御回路４８、スイッチ回路５０、出力部５２、が含まれている。
制御部４０は、例えばＣＰＵ等のプログラム制御デバイスであって、記憶部４２に記憶されたプログラムに従って各種の情報処理を実行する。本実施形態に係る制御部４０には、ＣＰＵから供給されるグラフィックスコマンドやデータに基づいてフレームバッファに画像を描画するＧＰＵ（Graphics Processing Unit）も含まれている。
記憶部４２は、例えばＲＯＭやＲＡＭ等の記憶素子などである。記憶部４２には、制御部４０によって実行されるプログラムなどが記憶される。また、本実施形態に係る記憶部４２には、ＧＰＵにより画像が描画されるフレームバッファの領域が確保されている。
第１通信部４４ａ、第２通信部４４ｂは、例えばエンタテインメント装置１２との間でデータを授受するための通信インタフェースである。本実施形態に係るＨＭＤ１４は、第１通信部４４ａ又は第２通信部４４ｂを経由してエンタテインメント装置１２との間で通信を行う。
本実施形態では第１通信部４４ａで行われる通信の通信規格と、第２通信部４４ｂで行われる通信の通信規格とは異なっている。例えば第１通信部４４ａでは６０ＧＨｚ帯での通信が行われ、第２通信部４４ｂでは５ＧＨｚ帯での通信が行われる。
上述した通り、６０ＧＨｚ帯での通信の方が５ＧＨｚ帯の通信よりも通信可能な最大レートは高い。また６０ＧＨｚ帯での通信の方が５ＧＨｚ帯の通信よりも直進性が強く、また通信可能距離は短い。本実施形態では、無線通信の電波状況に応じて、第１通信部４４ａをエンタテインメント装置１２との通信に用いるか、第２通信部４４ｂをエンタテインメント装置１２との通信に用いるかが切り替わるようになっている。また本実施形態では公知の適応変調符号化技術により、無線通信の電波状況に応じて、第１通信部４４ａや第２通信部４４ｂの変調方式や符号化方式を適応的に変化させることができるようになっている。
本実施形態では、エンタテインメント装置１２とＨＭＤ１４との間での通信が行われる際に、第１通信部２４ａと第１通信部４４ａとの間の６０ＧＨｚ帯での通信、又は、第２通信部２４ｂと第２通信部４４ｂとの間の５ＧＨｚ帯での通信が行われることとなる。
第１デコーダ部４６ａ、第２デコーダ部４６ｂは、例えばエンタテインメント装置１２から受信するコンテンツのデータをデコードするハードウェアデコーダである。本実施形態では、第１デコーダ部４６ａは、第１通信部４４ａが受信するコンテンツのデータをデコードし、第２デコーダ部４６ｂは、第２通信部４４ｂが受信するコンテンツのデータをデコードする。ここで受信するコンテンツのデータが圧縮されたデータである場合は、第１デコーダ部４６ａや第２デコーダ部４６ｂは、当該圧縮されたデータを伸長する。
切替制御回路４８は、例えばコンテンツのデータのデコードを第１デコーダ部４６ａに実行させるか第２デコーダ部４６ｂに実行させるかを切り替える回路である。
スイッチ回路５０は、第１デコーダ部４６ａがデコードしたデータが表す動画像を出力部５２に表示させるか第２デコーダ部４６ｂがデコードしたデータが表す動画像を出力部５２に表示させるかを切り替える回路である。
出力部５２は、例えば情報を表示出力したり音声出力したりするデバイスである。出力部５２には、例えば、ＨＭＤ１４の前側に配置されている、例えば液晶ディスプレイや有機ＥＬディスプレイ等の表示部や、ＨＭＤ１４の左右側に配置されている、例えばヘッドホンやスピーカ等の音声出力部などが含まれる。本実施形態に係る出力部５２は、例えばエンタテインメント装置１２が生成する動画像を表示したり、エンタテインメント装置１２が生成する音声データが表す音声を出力したりする。また本実施形態に係る表示部は、例えば左目用の画像と右目用の画像を表示することによって三次元画像を表示させることができるようになっている。なお表示部は三次元画像の表示ができず二次元画像の表示のみができるものであっても構わない。
図１に示すコントローラ１６は、エンタテインメント装置１２に対する操作入力を行うための操作入力装置である。ユーザは、コントローラ１６が備える方向キーやボタンを押下したり、操作スティックを傾けたりすることで、コントローラ１６を用いて各種の操作入力を行うことができる。そして本実施形態では、コントローラ１６は、操作入力に対応付けられる入力データをエンタテインメント装置１２に出力する。本実施形態に係るコントローラ１６は、有線又は無線でエンタテインメント装置１２のコントローラ通信部２６と通信可能となっている。
本実施形態では例えば、エンタテインメント装置１２が、エンタテインメント装置１２にインストールされているゲームのプログラムを実行する。そして当該ゲームのプレイ状況に応じてエンタテインメント装置１２が生成する動画像がＨＭＤ１４の出力部５２に表示される。以下、当該動画像をプレイ動画像と呼ぶこととする。プレイ動画像は、例えば所定のフレームレート（例えば１／６０秒間隔）で表示される複数のフレーム画像から構成される。
以下、本実施形態に係る映像表示システム１０において、プレイ動画像がＨＭＤ１４の出力部５２に表示される場面を中心に説明する。
本実施形態では例えば、プレイ動画像は、その一部である部分動画像を一単位としてエンタテインメント装置１２からＨＭＤ１４に送信される。なおプレイ動画像を構成する複数の部分動画像のサイズは同じであってもよいし異なっていてもよい。
図３は、部分動画像の送信の一例を模式的に示した説明図である。以下、部分動画像の送信の一例について、図３を参照しながら説明する。
本実施形態では部分動画像のデータは、エンコードに適したサイズの複数のパケットに分割され、分割された複数のパケットに対してエンコード、データ伝送、スタック処理などといった送信前処理が実行される。以下、エンタテインメント装置１２が生成する部分動画像のデータを分割することで生成されるｎ個のパケットのそれぞれを第１パケット、第２パケット、第３パケット、・・・、第ｎパケットと呼ぶこととする。
送信前処理の実行が終了した複数のパケットは、エンタテインメント装置１２からＨＭＤ１４に順次送信される。
ＨＭＤ１４は、これら複数のパケットを受信した後に、これら複数のパケットに対して、データ伝送、スタック処理、デコードなどといった受信後処理を実行する。受信後処理が実行されることによって、エンタテインメント装置１２が生成した部分動画像のデータはＨＭＤ１４において利用可能となる。本実施形態ではこのようにして利用可能となった部分動画像のデータが表す動画像が、ＨＭＤ１４の出力部５２に表示されることとなる。
ＨＭＤ１４で利用可能となる部分動画像のデータが表す動画像の内容は、エンタテインメント装置１２が生成した部分動画像の内容と同一である。しかし、ＨＭＤ１４で利用可能となる部分動画像のデータと、エンタテインメント装置１２が生成した部分動画像のデータとが同一である必要はない。例えばエンタテインメント装置１２におけるエンコードで部分動画像のデータに不可逆圧縮がされた場合には、ＨＭＤ１４で利用可能となる部分動画像のデータと、エンタテインメント装置１２が生成した部分動画像のデータとは、完全に同一とはならない。
以下、図３に示すように、送信前処理に要する時間を送信前処理実行時間ｔａと呼ぶこととする。またエンタテインメント装置１２が第１パケットを送信してからＨＭＤ１４が受信するまでの時間を、第１パケット送信時間ｔｂと呼ぶこととする。また第１パケットをＨＭＤ１４が受信してから、第２パケット、第３パケットの順に、第ｎパケットを受信するまでの時間を、データ受信時間ｔｃと呼ぶこととする。また第１パケット送信時間ｔｂとデータ受信時間ｔｃの合計を、無線レイテンシｗｌと呼ぶこととする。また受信後処理に要する時間を受信後処理実行時間ｔｄと呼ぶこととする。また送信前処理実行時間ｔａ、無線レイテンシｗｌ、受信後処理実行時間ｔｄの合計を、システムレイテンシｓｌと呼ぶこととする。すなわちエンタテインメント装置１２が部分動画像のデータを生成してから当該データがＨＭＤ１４で利用可能となるまでの時間がシステムレイテンシｓｌに相当することとなる。
本実施形態のような無線通信によるプレイ動画像の通信では、ゲーム中の操作におけるプレイヤの違和感を低減するために、上述のシステムレイテンシｓｌを短くすることが重要となる。例えばシステムレイテンシｓｌが所定時間ｔｈ＿ｓｌ以下（例えば１／２ＶＳＹＮＣ以下）になることが要求される。
ここで例えばエンコードにおけるデータの圧縮率が高いほどエンコードやデコードに要する時間は長くなる。その結果、送信前処理実行時間や受信後処理実行時間が長くなる。その一方でエンコードの圧縮率が高いほど圧縮されたデータの送信時間は短くなる。そのためエンコードの圧縮率が高いほど無線レイテンシｗｌは短くなることとなる。
また６０ＧＨｚ帯の通信の方が５ＧＨｚ帯の通信よりも通信可能な最大レートが高い。そのため通信状況が良好であれば、６０ＧＨｚ帯での通信では、エンコードの圧縮率を高くしなくても、システムレイテンシｓｌを所定時間ｔｈ＿ｓｌ以下となる可能性が高い。
しかし６０ＧＨｚ帯での通信の方が５ＧＨｚ帯の通信よりも直進性が強く、また通信可能距離は短い。そのため、エンタテインメント装置１２とＨＭＤ１４との間に障害物がある場合やエンタテインメント装置１２とＨＭＤ１４との距離が長い場合は、データの送信におけるリトライ回数が増えてしまうことがある。その結果通信状況によっては６０ＧＨｚ帯での通信において、システムレイテンシｓｌを所定時間ｔｈ＿ｓｌ以下とすることができない場合がある。
このように圧縮率や通信状況などといった様々な状況がシステムレイテンシｓｌに影響を与える。そして例えば無線通信によるプレイ動画像の通信では、上述のシステムレイテンシｓｌに応じて適切な通信経路が選択されるようにして、例えばシステムレイテンシｓｌがなるべく所定時間ｔｈ＿ｓｌ以下となるようにすることが望ましい。しかし従来技術では上述のシステムレイテンシｓｌに応じた通信経路の選択は行われていなかった。
本実施形態では、上述のシステムレイテンシｓｌに基づいて、第１通信部４４ａが受信するデータ又は第２通信部４４ｂが受信するデータのいずれをＨＭＤ１４が利用するかが制御されるようにした。そのため本実施形態によれば、上述のシステムレイテンシｓｌに応じて適切な通信経路が選択されることとなる。
以下、システムレイテンシｓｌに応じた通信経路の選択を中心に、本実施形態に係る映像表示システム１０の機能並びに本実施形態に係る映像表示システム１０で実行される処理についてさらに説明する。なお本実施形態に係る映像表示システム１０は、システムレイテンシｓｌに応じて通信経路が制御される通信システムとしての役割を担うこととなる。
図４は、本実施形態に係るエンタテインメント装置１２で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係るエンタテインメント装置１２で、図４に示す機能のすべてが実装される必要はなく、また、図４に示す機能以外の機能が実装されていても構わない。
図４に示すように、本実施形態に係るエンタテインメント装置１２は、機能的には例えば、動画像生成部６０、部分動画像データ生成部６２、部分動画像データ分割部６４、送信前処理実行部６６、送信部６８、指示受信部７０、送信制御部７２、を含んでいる。また送信前処理実行部６６は、第１送信前処理実行部６６ａと第２送信前処理実行部６６ｂとを含んでいる。また送信部６８は、第１送信部６８ａと第２送信部６８ｂとを含んでいる。動画像生成部６０、部分動画像データ生成部６２、部分動画像データ分割部６４は、制御部２０を主として実装される。第１送信前処理実行部６６ａは、第１通信部２４ａ及び第１エンコーダ部２８ａを主として実装される。第２送信前処理実行部６６ｂは、第２通信部２４ｂ及び第２エンコーダ部２８ｂを主として実装される。第１送信部６８ａは、第１通信部２４ａを主として実装される。第２送信部６８ｂは、第２通信部２４ｂを主として実装される。指示受信部７０は、第１通信部２４ａ及び第２通信部２４ｂを主として実装される。送信制御部７２は、制御部２０及び切替制御回路３０を主として実装される。本実施形態に係るエンタテインメント装置１２は、システムレイテンシｓｌに応じて通信経路が制御される送信装置としての役割を担うこととなる。
以上の機能は、コンピュータであるエンタテインメント装置１２にインストールされた、以上の機能に対応する指令を含むプログラムを制御部２０で実行することにより実装されてもよい。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してエンタテインメント装置１２に供給される。
図５は、本実施形態に係るＨＭＤ１４で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係るＨＭＤ１４で、図５に示す機能のすべてが実装される必要はなく、また、図５に示す機能以外の機能が実装されていても構わない。
図５に示すように、本実施形態に係るＨＭＤ１４は、機能的には例えば、受信部７４、受信後処理実行部７６、レイテンシ測定部７８、回数特定部８０、受信制御部８２、指示送信部８４、出力制御部８６、を含んでいる。また受信部７４は、第１受信部７４ａと第２受信部７４ｂとを含んでいる。また受信後処理実行部７６は、第１受信後処理実行部７６ａと第２受信後処理実行部７６ｂとを含んでいる。第１受信部７４ａは、第１通信部４４ａを主として実装される。第２受信部７４ｂは、第２通信部４４ｂを主として実装される。第１受信後処理実行部７６ａは、第１通信部４４ａ及び第１デコーダ部４６ａを主として実装される。第２受信後処理実行部７６ｂは、第２通信部４４ｂ及び第２デコーダ部４６ｂを主として実装される。レイテンシ測定部７８、回数特定部８０は、制御部４０を主として実装される。受信制御部８２は、制御部４０、切替制御回路４８、及び、スイッチ回路５０を主として実装される。指示送信部８４は、第１通信部４４ａ及び第２通信部４４ｂを主として実装される。出力制御部８６は、制御部４０及び出力部５２を主として実装される。本実施形態に係るＨＭＤ１４は、システムレイテンシｓｌに応じて通信経路が制御される受信装置としての役割を担うこととなる。
以上の機能は、コンピュータであるＨＭＤ１４にインストールされた、以上の機能に対応する指令を含むプログラムを制御部４０で実行することにより実装されてもよい。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してＨＭＤ１４に供給される。
動画像生成部６０は、本実施形態では例えば上述のプレイ動画像などといった動画像を生成する。
部分動画像データ生成部６２は、本実施形態では例えば動画像生成部６０が生成した動画像の一部である部分動画像のデータを生成する。
部分動画像データ分割部６４は、本実施形態では例えば部分動画像データ生成部６２が生成する部分動画像のデータを分割する。部分動画像データ分割部６４は、本実施形態では例えば第１パケット、第２パケット、第３パケット、・・・、第ｎパケット、のｎ個のパケットを生成する。
送信前処理実行部６６は、本実施形態では例えば動画像生成部６０が生成するデータに対して上述の送信前処理を実行する。送信前処理実行部６６は、本実施形態では例えば部分動画像データ分割部６４が生成する各パケットに対して上述の送信前処理を実行する。当該送信前処理には上述したようにエンコードの処理が含まれる。また当該エンコードの処理に圧縮処理が含まれていてもよい。
送信部６８は、本実施形態では例えば送信前処理実行部６６がエンコード等の送信前処理を実行したデータを受信部７４に送信する。
指示受信部７０は、本実施形態では例えば、第１送信部６８ａによる送信、又は、第２送信部６８ｂによる送信のいずれかの指示をＨＭＤ１４の指示送信部８４から受信する。
送信制御部７２は、本実施形態では例えば、システムレイテンシｓｌに基づいて、第１送信部６８ａによる送信、又は、第２送信部６８ｂによる送信のいずれが行われるかを制御する。送信制御部７２は、指示受信部７０がＨＭＤ１４から上記指示を受信した際には、以後、当該指示に従って第１送信部６８ａによる送信又は第２送信部６８ｂによる送信が行われるよう制御してもよい。
また本実施形態では、送信制御部７２は、第１送信部６８ａによる送信が行われているか第２送信部６８ｂによる送信が行われているかを管理する送信部特定データを保持する。例えば、第１送信部６８ａによる送信が行われている際には送信部特定データの値が「１」に設定され、第２送信部６８ｂによる送信が行われている際には送信部特定データの値が「２」に設定される。なお送信部特定データの値が「１」に設定されている際には、送信制御部７２は、第２通信部２４ｂが停止するよう制御してもよい。また送信部特定データの値が「２」に設定されている際には、送信制御部７２は、第１通信部２４ａが停止するよう制御してもよい。
また例えば第２送信部６８ｂによる送信が行われておらず第１送信部６８ａによる送信が行われている際に、システムレイテンシｓｌが所定時間ｔｈ＿ｓｌを超えた回数が所定数に達したこととする。この場合に例えば送信制御部７２は、以後、第１送信部６８ａによる送信が行われず第２送信部６８ｂによる送信が行われるよう制御してもよい。
また本実施形態では、送信制御部７２は、通信に用いられている変調方式や符号化方式を示すＭＣＳ（modulation and coding scheme）の値（インデックス番号）を保持する。なおＭＣＳの値と変調方式及び符号化方式の組合せとの対応関係は、通信規格によって異なっている。そのため第１送信部６８ａによる６０ＧＨｚ帯での通信におけるＭＣＳのある値に対応付けられる変調方式や符号化方式は、第２送信部６８ｂによる５ＧＨｚ帯での通信における当該値に対応付けられる変調方式や符号化方式とは異なる。
本実施形態では例えば、送信制御部７２によって、第１送信部６８ａによる送信が行われるよう制御される場合は、第１送信部６８ａがパケットを送信する。また送信制御部７２によって、第２送信部６８ｂによる送信が行われるよう制御される場合は、第２送信部６８ｂがパケットを送信する。
また本実施形態では例えば、送信前処理実行部６６は、第２送信部６８ｂによる送信が行われる際には、第１送信部６８ａによる送信での圧縮率よりも高い圧縮率でデータをエンコードする。本実施形態では例えば、送信制御部７２によって、第１送信部６８ａによる送信が行われるよう制御される場合は、第１送信前処理実行部６６ａが送信前処理を実行する。また送信制御部７２によって、第２送信部６８ｂによる送信が行われるよう制御される場合は、第２送信前処理実行部６６ｂが送信前処理を実行する。また本実施形態では、第２送信前処理実行部６６ｂによるエンコードの圧縮率は、第１送信前処理実行部６６ａによるエンコードの圧縮率よりも高い。
また送信前処理実行部６６は、第２送信部６８ｂによる送信が行われている際に、通信品質が所定の品質以下となった場合は、動画像生成部６０が生成するデータの圧縮率を増加させてもよい。こうすれば１のフレーム画像に対応付けられるデータ量が少なくなるので、通信品質の低下に伴うシステムレイテンシｓｌの増加を抑えることができる。
受信部７４は、本実施形態では例えば送信部６８が送信するデータを受信する。
受信後処理実行部７６は、本実施形態では例えば受信部７４が受信したデータに対して上述の受信後処理を実行する。
レイテンシ測定部７８は、本実施形態では例えば上述したシステムレイテンシｓｌを測定する。本実施形態では例えば、予めエンタテインメント装置１２とＨＭＤ１４との間でシステムクロックの同期がとれていることとする。そして送信前処理実行部６６が、上述の送信前処理の実行が開始される時刻のタイムスタンプを示すデータを上述のｎ個のパケットのそれぞれに付与する。このようにすれば、レイテンシ測定部７８は、例えば、当該ｎ個のパケットに付与されているタイムスタンプを示すデータが示す時刻から、当該ｎ個のパケットについて受信後処理が終了した時刻までの時間を、システムレイテンシｓｌとして測定できることとなる。
回数特定部８０は、本実施形態では例えば上述したシステムレイテンシｓｌが所定時間ｔｈ＿ｓｌを超えた回数を特定する。本実施形態では回数特定部８０は、システムレイテンシｓｌが所定時間ｔｈ＿ｓｌを超えた回数を示すレイテンシオーバ回数データを保持していることとする。レイテンシオーバ回数データの値ｃの初期値は０である。そして、システムレイテンシｓｌが所定時間ｔｈ＿ｓｌを超えた場合には回数特定部８０は、当該レイテンシオーバ回数データの値ｃを１だけ増加させる。
受信制御部８２は、本実施形態では例えば、システムレイテンシｓｌに基づいて、第１受信部７４ａが受信するデータ又は第２受信部７４ｂが受信するデータのいずれをＨＭＤ１４が利用するかを制御する。
また本実施形態では、受信制御部８２は、第１受信部７４ａが受信するデータがＨＭＤ１４に利用されているか第２受信部７４ｂが受信するデータがＨＭＤ１４に利用されているかを管理する受信部特定データを保持する。例えば、第１受信部７４ａが受信するデータがＨＭＤ１４に利用されている際には受信部特定データの値が「１」に設定され、第２受信部７４ｂが受信するデータがＨＭＤ１４に利用されている際には受信部特定データの値が「２」に設定される。なお受信部特定データの値が「１」に設定されている際には、受信制御部８２は、第２通信部４４ｂが停止するよう制御してもよい。また受信部特定データの値が「２」に設定されている際には、受信制御部８２は、第１通信部４４ａが停止するよう制御してもよい。
また本実施形態では、受信制御部８２は、通信に用いられている変調方式や符号化方式を示すＭＣＳの値（インデックス番号）を保持する。なお上述したように、第１受信部７４ａによる６０ＧＨｚ帯での通信におけるＭＣＳのある値に対応付けられる変調方式や符号化方式は、第２受信部７４ｂによる５ＧＨｚ帯での通信における当該値に対応付けられる変調方式や符号化方式とは異なる。
本実施形態では例えば、受信制御部８２によって、第１受信部７４ａが受信するデータをＨＭＤ１４が利用するよう制御される場合は、第１受信部７４ａがデータを受信する。また受信制御部８２によって、第２受信部７４ｂが受信するデータをＨＭＤ１４が利用するよう制御される場合は、第２受信部７４ｂがデータを受信する。
本実施形態では例えば、受信制御部８２によって、第１受信部７４ａが受信するデータをＨＭＤ１４が利用するよう制御される場合は、第１受信後処理実行部７６ａが受信後処理を実行する。また受信制御部８２によって、第２受信部７４ｂが受信するデータをＨＭＤ１４が利用するよう制御される場合は、第２受信後処理実行部７６ｂが受信後処理を実行する。
なお本実施形態では、送信制御部７２が、第１送信部６８ａによる送信が行われるように制御する場合は、結果としてＨＭＤ１４は第１受信部７４ａが受信するデータを利用する。また送信制御部７２が、第２送信部６８ｂによる送信が行われるように制御する場合は、結果としてＨＭＤ１４は第２受信部７４ｂが受信するデータを利用する。そのため送信制御部７２は、システムレイテンシｓｌに基づいて、第１受信部７４ａが受信するデータ又は第２受信部７４ｂが受信するデータのいずれをＨＭＤ１４が利用するかを制御する制御部としての役割を果たしていると言えることとなる。
指示送信部８４は、本実施形態では例えば、システムレイテンシｓｌに基づいて、第１送信部６８ａによる送信、又は、第２送信部６８ｂによる送信のいずれかの指示をエンタテインメント装置１２に指示する。指示送信部８４は、本実施形態では例えば、システムレイテンシｓｌに基づいて、第１送信部６８ａによる送信、又は、第２送信部６８ｂによる送信のいずれかの指示を指示受信部７０に送信する。
出力制御部８６は、受信後処理実行部７６による受信後処理の実行が終了したデータが出力されるよう制御する。出力制御部８６は、本実施形態では例えば、受信後処理の実行が終了したデータが表す動画像を出力部５２に表示出力させる。
以下、本実施形態に係る映像表示システム１０において行われる処理の流れの一例を説明する。
なお以下の説明において、上述した通り、本実施形態に係るエンタテインメント装置１２とＨＭＤ１４との間ではシステムクロックの同期がとれているものとする。
また前提として、本実施形態に係るエンタテインメント装置１２は、公知技術によって、無線通信の電波状況に応じて、ＨＭＤ１４との通信に、第１通信部２４ａを用いるか第２通信部２４ｂを用いるかが切り替わるようになっていることとする。また本実施形態に係るＨＭＤ１４は、公知技術によって、無線通信の電波状況に応じて、エンタテインメント装置１２との通信に、第１通信部４４ａを用いるか第２通信部４４ｂを用いるかが切り替わるようになっていることとする。
また前提として、本実施形態に係るエンタテインメント装置１２は、公知の適応変調符号化技術により、無線通信の電波状況に応じて、第１通信部２４ａや第２通信部２４ｂの変調方式や符号化方式が適応的に変化するようになっていることとする。また本実施形態に係るＨＭＤ１４は、公知の適応変調符号化技術により、無線通信の電波状況に応じて、第１通信部４４ａや第２通信部４４ｂの変調方式や符号化方式が適応的に変化するようになっていることとする。
また以下の説明では例えば、６０ＧＨｚ帯の通信では、シングルキャリア方式での通信が行われることとする。また５ＧＨｚ帯の通信では、８０２．１１ａｃの規格に従った４×４ＭＩＭＯ（multiple-input and multiple-output）による通信が、８０ＭＨｚの帯域幅で行われることとする。また本実施形態における適応変調符号化では、ＭＣＳ（modulation and coding scheme）の値（インデックス番号）を変化させることで、変調方式や符号化方式が変化することとする。
まず、本実施形態に係るエンタテインメント装置１２において行われる、パケットの送信処理の流れの一例を、図６に示すフロー図を参照しながら説明する。
まず、部分動画像データ生成部６２が、動画像生成部６０が生成した動画像の一部である部分動画像のデータを生成する（Ｓ１０１）。そして、部分動画像データ分割部６４が、Ｓ１０１に示す処理で生成された部分動画像のデータを分割して、複数のパケット（第１パケット〜第ｎパケット）を生成する（Ｓ１０２）。そして、送信制御部７２が、保持している送信部特定データの値を確認する（Ｓ１０３）。
Ｓ１０３に示す処理で確認された値が「１」である場合は、第１送信前処理実行部６６ａがＳ１０２に示す処理で生成されたパケットに対して送信前処理を実行する（Ｓ１０４）。そして第１送信部６８ａがＳ１０４に示す処理で送信前処理が実行された複数のパケットをＨＭＤ１４に送信する（Ｓ１０５）。
Ｓ１０３に示す処理で確認された値が「２」である場合は、第２送信前処理実行部６６ｂがＳ１０２に示す処理で生成されたパケットに対して送信前処理を実行する（Ｓ１０６）。そして第２送信部６８ｂがＳ１０６に示す処理で送信前処理が実行された複数のパケットをＨＭＤ１４に送信する（Ｓ１０７）。
Ｓ１０５に示す処理又はＳ１０７に示す処理が終了したら、Ｓ１０１に示す処理に戻り、以後、Ｓ１０１〜Ｓ１０７に示す処理が繰り返される。
なおＳ１０４に示す処理には上述のようにエンコードが含まれる。また当該エンコードの処理には圧縮処理が含まれていてもよい。また上述したように、Ｓ１０４に示す処理には、送信前処理の実行が開始される時刻のタイムスタンプを示すデータをＳ１０２に示す処理で生成されたｎ個のパケットのそれぞれに付与する処理も含まれる。
次に、本実施形態に係るＨＭＤ１４において行われる、上述のＳ１０５又はＳ１０７に示す処理で送信された複数のパケットの受信に応じて実行される処理の流れの一例を、図７Ａ及び図７Ｂに示すフロー図を参照しながら説明する。
まず受信制御部８２が、保持している受信部特定データの値を確認する（Ｓ２０１）。Ｓ２０１に示す処理で確認された値が「１」である場合は、第１受信後処理実行部７６ａが、第１受信部７４ａが受信したパケットに対して受信後処理を実行する（Ｓ２０２）。Ｓ２０１に示す処理で確認された値が「２」である場合は、第２受信後処理実行部７６ｂが、第２受信部７４ｂが受信したパケットに対して受信後処理を実行する（Ｓ２０３）。
そしてＳ２０２又はＳ２０３に示す処理の終了後、出力制御部８６が、Ｓ２０３に示す処理で受信後処理が実行されたデータが表すプレイ動画像を出力部５２に表示させる（Ｓ２０４）。
そしてレイテンシ測定部７８が、Ｓ２０２又はＳ２０３に示す処理で受信後処理が実行されたデータに基づいて、上述したようにシステムレイテンシｓｌを特定する（Ｓ２０５）。
そして回数特定部８０が、Ｓ２０５に示す処理で特定されたシステムレイテンシｓｌが所定時間ｔｈ＿ｓｌを超えているか否かを確認する（Ｓ２０６）。特定されたシステムレイテンシｓｌが所定時間ｔｈ＿ｓｌを超えていることが確認された場合は（Ｓ２０６：Ｙ）、回数特定部８０は、保持しているレイテンシオーバ回数データの値ｃを１だけ増加させる（Ｓ２０７）。
特定されたシステムレイテンシｓｌが所定時間ｔｈ＿ｓｌを超えていないことが確認された場合（Ｓ２０６：Ｎ）、又は、Ｓ２０７に示す処理が終了した場合は、受信制御部８２が、保持している受信部特定データの値を確認する（Ｓ２０８）。
受信部特定データの値が「１」であることが確認された場合は、受信制御部８２は、保持しているＭＣＳの値を確認する（Ｓ２０９）。確認されたＭＣＳの値が８以上である（２３１０Ｍｂｐｓ以上に相当）場合は、本処理例に示す処理が終了される。
確認されたＭＣＳの値が４以上７以下である（１１５５Ｍｂｐｓ以上１９２５Ｍｂｐｓ以下に相当）場合は、受信制御部８２は、回数特定部８０が保持しているレイテンシオーバ回数データの値ｃが所定の閾値ｔｈ＿ｃ以上であるか否かを確認する（Ｓ２１０）。
保持しているレイテンシオーバ回数データの値ｃが所定の閾値ｔｈ＿ｃ以上でない場合（Ｓ２１０：Ｎ）は、本処理例に示す処理が終了される。保持しているレイテンシオーバ回数データの値ｃが所定の閾値ｔｈ＿ｃ以上である場合（Ｓ２１０：Ｙ）は、回数特定部８０は、保持しているレイテンシオーバ回数データの値ｃを０に変更する（Ｓ２１１）。
Ｓ２１１に示す処理の終了後、又は、Ｓ２０９に示す処理で確認されたＭＣＳの値が３である（９６２．５Ｍｂｐｓに相当）場合は、受信制御部８２は、保持している受信部特定データの値を「２」に変更する（Ｓ２１２）。なおＳ２１２に示す処理において、受信制御部８２が、第２通信部４４ｂを起動し、第１通信部４４ａを停止させてもよい。そして指示送信部８４が、第２送信部６８ｂによる送信の指示をエンタテインメント装置１２に送信して（Ｓ２１３）、本処理例に示す処理が終了される。
Ｓ２０８に示す処理で受信部特定データの値が「２」であることが確認された場合は、受信制御部８２は、保持しているＭＣＳの値を確認する（Ｓ２１４）。確認されたＭＣＳの値が７以下である（１５６０Ｍｂｐｓ以下に相当）場合は、受信制御部８２は、回数特定部８０が保持しているレイテンシオーバ回数データの値ｃが所定の閾値ｔｈ＿ｃ以上であるか否かを確認する（Ｓ２１５）。
保持しているレイテンシオーバ回数データの値ｃが所定の閾値ｔｈ＿ｃ以上である場合（Ｓ２１５：Ｙ）は、回数特定部８０が、保持しているレイテンシオーバ回数データの値ｃを０に変更して（Ｓ２１６）、受信制御部８２が、保持しているＭＣＳの値を１だけ減少させる（Ｓ２１７）。そして指示送信部８４が、ＭＣＳの値を１だけ減少させる指示をエンタテインメント装置１２に送信する（Ｓ２１８）。この場合、以後は、減少した後のＭＣＳが示す変調方式及び符号化方式で通信が行われることとなる。
Ｓ２１５に示す処理で保持しているレイテンシオーバ回数データの値ｃが所定の閾値ｔｈ＿ｃ以上でないことが確認された場合（Ｓ２１５：Ｎ）は、受信制御部８２は、保持しているＭＣＳの値が４である（７８０Ｍｂｐｓに相当）か否かを確認する（Ｓ２１９）。Ｓ２１８に示す処理が終了した場合についても、受信制御部８２は、保持しているＭＣＳの値が４である（７８０Ｍｂｐｓに相当）か否かを確認する（Ｓ２１９）。
保持しているＭＣＳの値が４でないことが確認された場合は（Ｓ２１９：Ｎ）、本処理例に示す処理は終了される。保持しているＭＣＳの値が４であることが確認された場合は（Ｓ２１９：Ｙ）、通信品質を表す指標の値ｉ（例えば信号対雑音比（Ｓ／Ｎ比）や受信強度など）が所定の閾値ｔｈ＿ｉより小さいか否かを確認する（Ｓ２２０）。ここで閾値ｔｈ＿ｉとして、例えば適応変調符号化においてＭＣＳの値が４から３に変化する際の指標の値ｉに所定のバッファ値を加えた値を採用してもよい。値ｉが閾値ｔｈ＿ｉよりも小さくはないことが確認された場合は（Ｓ２２０：Ｎ）、本処理例に示す処理は終了される。値ｉが閾値ｔｈ＿ｉよりも小さいことが確認された場合は（Ｓ２２０：Ｙ）、指示送信部８４が、第２送信前処理実行部６６ｂにおけるエンコードの圧縮率を所定量だけ増加させる指示をエンタテインメント装置１２に送信する（Ｓ２２１）。
Ｓ２１４に示す処理で確認されたＭＣＳの値が８以上である（１５６０Ｍｂｐｓ以上に相当）場合は、受信制御部８２は、保持している受信部特定データの値を「１」に変更する（Ｓ２２２）。なおＳ２２２に示す処理において、受信制御部８２が、第１通信部４４ａを起動し、第２通信部４４ｂを停止させてもよい。そして指示送信部８４が、第１送信部６８ａによる送信の指示をエンタテインメント装置１２に送信して（Ｓ２２３）、本処理例に示す処理は終了される。
上述のＳ２１３に示す処理で送信された、第２送信部６８ｂによる送信の指示を、エンタテインメント装置１２の指示受信部７０が受信したこととする。この場合は、送信制御部７２が、保持している送信部特定データの値を「２」に変更する。ここで送信制御部７２が、第２通信部２４ｂを起動し、第１通信部２４ａを停止させてもよい。
上述のＳ２１８に示す処理で送信された、ＭＣＳの値を１だけ減少させる指示を、エンタテインメント装置１２の指示受信部７０が受信したこととする。この場合は、送信制御部７２が、保持しているＭＣＳの値を１だけ減少させる。この場合、以後は、減少した後のＭＣＳが示す変調方式及び符号化方式で通信が行われることとなる。
上述のＳ２２１に示す処理で送信された、第２送信前処理実行部６６ｂにおけるエンコードの圧縮率を所定量だけ増加させる指示をエンタテインメント装置１２の指示受信部７０が受信したこととする。この場合は、送信制御部７２は、第２送信前処理実行部６６ｂにおけるエンコードの圧縮率を所定量だけ増加させる。
上述のＳ２２３に示す処理で送信された、第１送信部６８ａによる送信の指示を、エンタテインメント装置１２の指示受信部７０が受信したこととする。この場合は、送信制御部７２が、保持している送信部特定データの値を「１」に変更する。ここで送信制御部７２が、第１通信部２４ａを起動し、第２通信部２４ｂを停止させてもよい。
なお図７Ａ及び図７Ｂに示した処理例において、例えばＳ２１２やＳ２２２に示すように、受信制御部８２が保持している受信部特定データの値を変更する際に、回数特定部８０は、保持しているレイテンシオーバ回数データの値ｃを０に変更してもよい。また例えば無線通信の電波状況に応じて、ＨＭＤ１４との通信に、第１通信部２４ａを用いるか第２通信部２４ｂを用いるかが切り替わった際に、回数特定部８０は、保持しているレイテンシオーバ回数データの値ｃを０に変更してもよい。また例えば無線通信の電波状況に応じて、エンタテインメント装置１２との通信に、第１通信部４４ａを用いるか第２通信部４４ｂを用いるかが切り替わった際に、回数特定部８０は、保持しているレイテンシオーバ回数データの値ｃを０に変更してもよい。
なお、本発明は上述の実施形態に限定されるものではない。
例えば、あるデータが第１エンコーダ部２８ａでエンコードされた上で第１通信部２４ａによりＨＭＤ１４に送信され、当該データのコピーが第２エンコーダ部２８ｂでエンコードされた上で第２通信部２４ｂによりＨＭＤ１４に送信されてもよい。ここで第２エンコーダ部２８ｂによるエンコードの圧縮率は、第１エンコーダ部２８ａによるエンコードの圧縮率よりも高くてもよい。そしてＨＭＤ１４は、受信したこれら２つのデータのうちからシステムレイテンシｓｌが短いデータを選択して、選択されたデータが表す動画像が出力部５２に表示されるよう制御してもよい。例えばＨＭＤ１４は、先に受信したデータが表す動画像が出力部５２に表示されるよう制御してもよい。この場合についても、システムレイテンシｓｌに応じた通信経路の選択が行われていると言える。また例えば、５ＧＨｚ帯による通信が常に行われており、通信状況がよい場合に上述したように、６０ＧＨｚ帯による通信も行われるようにしてもよい。
またシステムレイテンシｓｌを計算する際に用いられる、エンコードやデコードの時間を示す値として例えば過去の実測値に基づく所定値が用いられてもよい。
また例えばエンタテインメント装置１２が、第１エンコーダ部２８ａ及び第２エンコーダ部２８ｂの代わりに１つのエンコーダ部を備えていてもよい。そして第１通信部２４ａによる通信が行われる場合も第２通信部２４ｂによる通信が行われる場合も当該１つのエンコード部がデータのエンコードを行うようにしてもよい。ここで当該１つのエンコーダ部は、第２通信部２４ｂによる通信が行われる際には、第１通信部２４ａによる通信での圧縮率よりも高い圧縮率でデータをエンコードするようにしてもよい。
またハードウェアである第１エンコーダ部２８ａや第２エンコーダ部２８ｂによって実装される機能が、制御部２０で実行されるプログラム（ソフトウェア）として実装されても構わない。
また本発明の適用範囲は、上述したようなプレイ動画像がＨＭＤ１４の出力部５２に表示される場面に限定されない。例えば記憶部２２に記憶されている映画等のコンテンツがＨＭＤ１４の出力部５２に表示される場面に本発明を適用してもよい。また本発明の適用範囲は動画像のデータに限定されない。例えばエンタテインメント装置１２が生成する音声データが表す音声がＨＭＤ１４の出力部５２から出力される場面に本発明を適用してもよい。
また例えばエンタテインメント装置１２、及び、ＨＭＤ１４の役割分担は上述のものに限定されない。例えば図４に例示する機能の一部又は全部が、ＨＭＤ１４で実装されても構わない。あるいは図５に例示する機能の一部又は全部が、エンタテインメント装置１２で実装されても構わない。
また、上記の具体的な文字列や数値及び図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。

Claims (10)

  1. データを生成する生成部と、前記データをエンコードするエンコード部と、受信装置と通信可能な第１の送信部と、前記受信装置と通信可能な第２の送信部と、を含む送信装置と、
    前記第１の送信部と通信可能な第１の受信部と、前記第２の送信部と通信可能な第２の受信部と、エンコードされた前記データをデコードするデコード部と、を含む受信装置と、を含み、
    前記第１の送信部は、前記エンコード部によりエンコードされた、前記生成部が生成するデータを前記第１の受信部に送信し、
    前記第２の送信部は、前記エンコード部によりエンコードされた、前記生成部が生成するデータを前記第２の受信部に送信し、
    前記第１の送信部は前記第２の送信部よりも送信可能な最大レートが高く、
    前記第１の受信部が受信するデータ、又は、前記第２の受信部が受信するデータのいずれを前記受信装置が利用するかを、前記生成部が前記データを生成してから前記受信装置による当該データのデコードを含む当該データについての受信後処理が終了するまでの時間が所定時間を超えた回数に基づいて制御する制御部、をさらに含む、
    ことを特徴とする通信システム。
  2. 前記第２の送信部による送信が行われておらず前記第１の送信部による通信が行われている際に、前記生成部が前記データを生成してから前記受信装置による当該データのデコードを含む当該データについての受信後処理が終了するまでの時間が所定時間を超えた回数を特定する回数特定部、をさらに含み、
    前記回数が所定数に達した場合に、前記制御部は、以後、前記第１の送信部による送信が行われず前記第２の送信部による送信が行われるよう制御する、
    ことを特徴とする請求項１に記載の通信システム。
  3. 前記送信装置が、前記制御部を含み、
    前記受信装置が、前記回数に基づいて、前記第１の送信部による送信、又は、前記第２の送信部による送信のいずれかを前記送信装置に指示する指示部、をさらに含み、
    前記制御部は、前記受信装置から前記指示を受信した際には、以後、前記指示に従って前記第１の送信部又は前記第２の送信部による送信が行われるよう制御する、
    ことを特徴とする請求項１又は２に記載の通信システム。
  4. 前記エンコード部は、前記第２の送信部による送信が行われる際には、前記第１の送信部による送信での圧縮率よりも高い圧縮率で前記データをエンコードする、
    ことを特徴とする請求項１から３のいずれか一項に記載の通信システム。
  5. 前記エンコード部は、前記第２の送信部による送信が行われている際に、通信品質が所定の品質以下となった場合は、前記生成部が生成するデータの圧縮率を増加させる、
    ことを特徴とする請求項４に記載の通信システム。
  6. 前記エンコード部は、第１のエンコード部と、前記第１のエンコード部とは別体である第２のエンコード部とを含み、
    前記第１のエンコード部は、前記第１の送信部での送信が行われる際に前記データをエンコードし、
    前記第２のエンコード部は、前記第２の送信部での送信が行われる際に前記データをエンコードし、
    前記第２のエンコード部によるエンコードの圧縮率は、前記第１のエンコード部によるエンコードの圧縮率よりも高い、
    ことを特徴とする請求項４又は５に記載の通信システム。
  7. データを生成する生成部と、前記データをエンコードするエンコード部と、受信装置と通信可能な第１の送信部と、前記受信装置と通信可能な第２の送信部と、を含み、
    前記第１の送信部と通信可能な第１の受信部と、前記第２の送信部と通信可能な第２の受信部と、エンコードされた前記データをデコードするデコード部と、を含む受信装置と通信可能であり、
    前記第１の送信部は、前記エンコード部によりエンコードされた、前記生成部が生成するデータを前記第１の受信部に送信し、
    前記第２の送信部は、前記エンコード部によりエンコードされた、前記生成部が生成するデータを前記第２の受信部に送信し、
    前記第１の送信部は前記第２の送信部よりも送信可能な最大レートが高く、
    前記第１の受信部が受信するデータ、又は、前記第２の受信部が受信するデータのいずれを前記受信装置が利用するかを、前記生成部が前記データを生成してから前記受信装置による当該データのデコードを含む当該データについての受信後処理が終了するまでの時間が所定時間を超えた回数に基づいて制御する制御部と、をさらに含む、
    ことを特徴とする送信装置。
  8. データを生成する生成部と、前記データをエンコードするエンコード部と、受信装置と通信可能な第１の送信部と、前記受信装置と通信可能な第２の送信部と、を含む送信装置と通信可能であり、
    前記第１の送信部と通信可能な第１の受信部と、前記第２の送信部と通信可能な第２の受信部と、エンコードされた前記データをデコードするデコード部と、を含み、
    前記第１の送信部は、前記エンコード部によりエンコードされた、前記生成部が生成するデータを前記第１の受信部に送信し、
    前記第２の送信部は、前記エンコード部によりエンコードされた、前記生成部が生成するデータを前記第２の受信部に送信し、
    前記第１の送信部は前記第２の送信部よりも送信可能な最大レートが高く、
    前記第１の受信部が受信するデータ、又は、前記第２の受信部が受信するデータのいずれを前記受信装置が利用するかを、前記生成部が前記データを生成してから前記受信装置による当該データのデコードを含む当該データについての受信後処理が終了するまでの時間が所定時間を超えた回数に基づいて制御する制御部と、をさらに含む、
    ことを特徴とする受信装置。
  9. データを生成する生成部と、前記データをエンコードするエンコード部と、受信装置と通信可能な第１の送信部と、前記受信装置と通信可能な第２の送信部と、を含む送信装置と、
    前記第１の送信部と通信可能な第１の受信部と、前記第２の送信部と通信可能な第２の受信部と、エンコードされた前記データをデコードするデコード部と、を含む受信装置と、を含み、
    前記第１の送信部は、前記エンコード部によりエンコードされた、前記生成部が生成するデータを前記第１の受信部に送信し、
    前記第２の送信部は、前記エンコード部によりエンコードされた、前記生成部が生成するデータを前記第２の受信部に送信し、
    前記第１の送信部は前記第２の送信部よりも送信可能な最大レートが高い、通信システムの制御方法であって、
    前記第１の受信部が受信するデータ、又は、前記第２の受信部が受信するデータのいずれを前記受信装置が利用するかを、前記生成部が前記データを生成してから前記受信装置による当該データのデコードを含む当該データについての受信後処理が終了するまでの時間が所定時間を超えた回数に基づいて制御するステップ、を含む、
    ことを特徴とする通信システムの制御方法。
  10. データを生成する生成部と、前記データをエンコードするエンコード部と、受信装置と通信可能な第１の送信部と、前記受信装置と通信可能な第２の送信部と、を含む送信装置と、
    前記第１の送信部と通信可能な第１の受信部と、前記第２の送信部と通信可能な第２の受信部と、エンコードされた前記データをデコードするデコード部と、を含む受信装置と、を含み、
    前記第１の送信部は、前記エンコード部によりエンコードされた、前記生成部が生成するデータを前記第１の受信部に送信し、
    前記第２の送信部は、前記エンコード部によりエンコードされた、前記生成部が生成するデータを前記第２の受信部に送信し、
    前記第１の送信部は前記第２の送信部よりも送信可能な最大レートが高い、通信システムを制御するコンピュータに、
    前記第１の受信部が受信するデータ、又は、前記第２の受信部が受信するデータのいずれを前記受信装置が利用するかを、前記生成部が前記データを生成してから前記受信装置による当該データのデコードを含む当該データについての受信後処理が終了するまでの時間が所定時間を超えた回数に基づいて制御する手順、
    を実行させることを特徴とするプログラム。
JP2017544506A 2015-10-06 2016-10-04 通信システム、送信装置、受信装置、通信システムの制御方法及びプログラム Active JP6714010B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015198735 2015-10-06
JP2015198735 2015-10-06
PCT/JP2016/079494 WO2017061428A1 (ja) 2015-10-06 2016-10-04 通信システム、送信装置、受信装置、通信システムの制御方法及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019023239A Division JP6752312B2 (ja) 2015-10-06 2019-02-13 通信システム、送信装置、受信装置、通信システムの制御方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2017061428A1 JPWO2017061428A1 (ja) 2018-03-29
JP6714010B2 true JP6714010B2 (ja) 2020-06-24

Family

ID=58487755

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017544506A Active JP6714010B2 (ja) 2015-10-06 2016-10-04 通信システム、送信装置、受信装置、通信システムの制御方法及びプログラム
JP2019023239A Active JP6752312B2 (ja) 2015-10-06 2019-02-13 通信システム、送信装置、受信装置、通信システムの制御方法及びプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2019023239A Active JP6752312B2 (ja) 2015-10-06 2019-02-13 通信システム、送信装置、受信装置、通信システムの制御方法及びプログラム

Country Status (6)

Country Link
US (1) US11265595B2 (ja)
EP (1) EP3343934B1 (ja)
JP (2) JP6714010B2 (ja)
KR (1) KR102037161B1 (ja)
CN (1) CN108141639B (ja)
WO (1) WO2017061428A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7077914B2 (ja) * 2018-10-24 2022-05-31 日本電信電話株式会社 無線ｌａｎ通信品質推定方法、無線ｌａｎ通信品質推定システム、情報収集装置および無線ｌａｎ通信品質推定装置

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6028631A (en) * 1997-09-08 2000-02-22 Hitachi, Ltd. Portable terminal apparatus for multimedia communication
JPH11187367A (ja) * 1997-12-19 1999-07-09 Nec Corp 映像送信装置，映像受信装置及びこれらを用いた映像伝送システム
JP2003087209A (ja) * 2001-09-06 2003-03-20 Matsushita Electric Ind Co Ltd デジタル放送表示装置
JP2003309541A (ja) 2002-04-15 2003-10-31 Sony Corp データ転送システム、データ転送装置及びデータ転送方法、並びにコンピュータ・プログラム
JP2003348548A (ja) * 2002-05-23 2003-12-05 Nippon Telegr & Teleph Corp <Ntt> ストリーム配信システムと方法およびストリーム受信装置
JP4242606B2 (ja) * 2002-06-20 2009-03-25 株式会社エヌ・ティ・ティ・ドコモ 通信制御システム、通信制御方法、移動局及び基地局
US8964830B2 (en) * 2002-12-10 2015-02-24 Ol2, Inc. System and method for multi-stream video compression using multiple encoding formats
US20070183493A1 (en) * 2005-02-04 2007-08-09 Tom Kimpe Method and device for image and video transmission over low-bandwidth and high-latency transmission channels
JP4616121B2 (ja) * 2005-08-10 2011-01-19 株式会社日立製作所 ディジタル放送受信装置
FR2895629A1 (fr) * 2005-12-22 2007-06-29 France Telecom Procede et systeme de distribution de contenus numeriques
KR101249665B1 (ko) * 2006-04-29 2013-04-03 톰슨 라이센싱 스태거캐스팅을 위한 방법
JP2008252390A (ja) * 2007-03-29 2008-10-16 Sharp Corp 放送受信装置、放送受信方法、プログラムおよびその記録媒体
JP2009021935A (ja) * 2007-07-13 2009-01-29 Sharp Corp 無線送受信システム、無線送受信方法、送受信装置およびプログラム
JP2010062630A (ja) * 2008-09-01 2010-03-18 Pioneer Electronic Corp 放送信号切換装置、放送信号切換方法、放送信号切換プログラム、及び記録媒体
EP2211224A1 (en) 2009-01-27 2010-07-28 Thomson Licensing SA Head-mounted display and operating method thereof
WO2011030477A1 (ja) * 2009-09-11 2011-03-17 パナソニック株式会社 コンテンツ送信装置、コンテンツ受信装置、コンテンツ送信プログラム、コンテンツ受信プログラム、コンテンツ送信方法、及びコンテンツ受信方法
US8141784B2 (en) * 2009-09-25 2012-03-27 Hand Held Products, Inc. Encoded information reading terminal with user-configurable multi-protocol wireless communication interface
JP2012186701A (ja) 2011-03-07 2012-09-27 Ricoh Co Ltd 無線通信端末
US20120307886A1 (en) * 2011-05-31 2012-12-06 Broadcom Corporation Adaptive Video Encoding Based on Predicted Wireless Channel Conditions
US20120309321A1 (en) * 2011-05-31 2012-12-06 Broadcom Corporation Synchronized calibration for wireless communication devices
KR20130011994A (ko) * 2011-07-22 2013-01-30 삼성전자주식회사 송신 장치, 수신 장치 및 그 송수신 방법
CN103828384B (zh) * 2011-09-30 2018-02-27 英特尔公司 基于软件的无线信道感知自适应视频比特率编码
JP5996252B2 (ja) 2012-04-25 2016-09-21 シャープ株式会社 無線通信機器、および無線システム
EP2680527A1 (en) 2012-06-28 2014-01-01 Alcatel-Lucent Adaptive streaming aware node, encoder and client enabling smooth quality transition
US10905943B2 (en) * 2013-06-07 2021-02-02 Sony Interactive Entertainment LLC Systems and methods for reducing hops associated with a head mounted system
CN105474691B (zh) * 2013-09-05 2019-08-27 索尼公司 信息处理设备和信息处理方法

Also Published As

Publication number Publication date
KR20180043828A (ko) 2018-04-30
JPWO2017061428A1 (ja) 2018-03-29
CN108141639A (zh) 2018-06-08
EP3343934A1 (en) 2018-07-04
CN108141639B (zh) 2021-07-27
JP6752312B2 (ja) 2020-09-09
EP3343934B1 (en) 2021-03-10
WO2017061428A1 (ja) 2017-04-13
JP2019118108A (ja) 2019-07-18
US20180255349A1 (en) 2018-09-06
US11265595B2 (en) 2022-03-01
KR102037161B1 (ko) 2019-10-29
EP3343934A4 (en) 2019-03-27

Similar Documents

Publication Publication Date Title
US10953327B2 (en) Methods, apparatus and systems for optimizing communication between sender(s) and receiver(s) in computer-mediated reality applications
US9674568B2 (en) Audio/video signal synchronization method and apparatus
JP6585831B2 (ja) 受信装置、送信装置、制御方法、送信方法及びプログラム
CN103988166A (zh) 媒体输出的选择性镜射
WO2017110731A1 (ja) 周波数帯決定装置、ヘッドマウントディスプレイ、周波数帯決定方法及びプログラム
CN115209960A (zh) 解码装置、解码方法、程序、编码装置和编码方法
CN106572353A (zh) 用于虚拟现实的无线传输方法、装置、终端和头显设备
CN106464969B (zh) 用于优化具有超高清显示器的无线底座中的视频性能的系统及方法
JP6752312B2 (ja) 通信システム、送信装置、受信装置、通信システムの制御方法及びプログラム
CN109076250B (zh) 交互式音频元数据处置
CN108184163A (zh) 一种视频播放方法、存储介质及播放器
JP6535420B2 (ja) 通信システム、通信装置、通信方法及びプログラム
WO2018232327A1 (en) Methods, apparatus and systems for optimizing communication between sender(s) and receiver(s) in computer-mediated reality applications
EP2424159A1 (en) Information transmission apparatus, information transmission method, and computer readable medium
WO2021044974A1 (ja) 送信装置、受信装置、送信方法、受信方法及びプログラム
US20230164330A1 (en) Data codec method and apparatus
RU2774212C2 (ru) Способ и система для обработки аудиоконтента, способ и система для обработки мультимедийного контента для воспроизведения
CN117957781A (zh) 高效的分组丢失保护数据编码和/或解码
JP5512485B2 (ja) ３ｄ表示装置、３ｄメガネ、及び３ｄ表示装置の映像伝達方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171106

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180925

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181109

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20181211

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200604

R150 Certificate of patent or registration of utility model

Ref document number: 6714010

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150