JP7234025B2 - 電子機器、および制御方法 - Google Patents

電子機器、および制御方法 Download PDF

Info

Publication number
JP7234025B2
JP7234025B2 JP2019082050A JP2019082050A JP7234025B2 JP 7234025 B2 JP7234025 B2 JP 7234025B2 JP 2019082050 A JP2019082050 A JP 2019082050A JP 2019082050 A JP2019082050 A JP 2019082050A JP 7234025 B2 JP7234025 B2 JP 7234025B2
Authority
JP
Japan
Prior art keywords
electronic device
signal
earc
cable
transmission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019082050A
Other languages
English (en)
Other versions
JP2020182028A (ja
Inventor
健司 小森
孝 土井
伸明 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2019082050A priority Critical patent/JP7234025B2/ja
Priority to US16/807,291 priority patent/US11146757B2/en
Publication of JP2020182028A publication Critical patent/JP2020182028A/ja
Application granted granted Critical
Publication of JP7234025B2 publication Critical patent/JP7234025B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/10Adaptations for transmission by electrical cable
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006Details of the interface to the display terminal
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/12Synchronisation between the display unit and other units, e.g. other display units, video-disc players
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4126The peripheral being portable, e.g. PDAs or mobile phones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43632Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wired protocol, e.g. IEEE 1394
    • H04N21/43635HDMI
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/38Transmitter circuitry for the transmission of television signals according to analogue transmission standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/025Systems for the transmission of digital non-picture data, e.g. of text during the active part of a television frame
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/08Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/04Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • G09G2370/045Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller using multiple communication channels, e.g. parallel and serial
    • G09G2370/047Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller using multiple communication channels, e.g. parallel and serial using display data channel standard [DDC] communication
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/06Consumer Electronics Control, i.e. control of another device by a display or vice versa
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/12Use of DVI or HDMI protocol in interfaces along the display data pipeline

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明の実施形態は、電子機器、および制御方法に関する。
バーチャルリアリティ(VR)映像を視聴するためのシステムとして、ヘッドマウントディスプレイ(HMD)を使用するVRシステムがある。このVRシステムでは、ホストコンピューターで作成されたVR映像信号が映像信号伝送ケーブルを通じてHMDに送られ、VR映像信号に基づくVR映像がHMDの表示部に表示される。これにより、ユーザーはVR映像を視聴できる。
特開2015-195573号公報
本発明が解決しようとする課題は、ユーザーがVR映像を容易に視聴できる電子機器、および制御方法を提供することである。
実施形態によれば、電子機器は、受信部と、送信部とを具備する。前記受信部は、High-Definition Multimedia Interface(HDMI(登録商標))規格に準拠したケーブルを介して外部電子機器から映像信号を受信し、HDMI規格のAudio Return Channel(ARC)またはenhanced Audio Return Channel(eARC)の機能を用いた信号伝送のための情報を、前記ケーブルを介して前記外部電子機器から受信するように構成される。前記送信部は、受信された前記情報に基づいて、前記電子機器を使用するユーザーの位置情報と姿勢情報の少なくとも一方を含む位置情報信号と音声信号のいずれか一方を、前記ケーブルを介して前記外部電子機器に送信するように構成される。
比較例に係る電子機器を含む制御システムの構成を示すブロック図。 実施形態に係る電子機器を含む制御システムの構成を示すブロック図。 図2の制御システムによって用いられるステータスレジスタの一構成例を示す図。 図2の制御システムによって用いられるデータブロックの一構成例を示す図。 図2の制御システムによって用いられる信号リストの一構成例を示す図。 図2の制御システムによって行われる位置情報信号を伝送するための制御シーケンスの例を示す図。 図2の制御システムによって行われる音声信号を伝送するための制御シーケンスの例を示す図。 同実施形態の電子機器(例えばHMD)によって実行される制御処理の手順の例を示すフローチャート。 同実施形態の電子機器(例えばホストコンピューター)によって実行される制御処理の手順の例を示すフローチャート。
以下、実施の形態について図面を参照して説明する。
まず本実施形態が理解されやすいように、図1を参照して、比較例に係る電子機器を含む制御システム1の構成を説明する。この制御システム1は、バーチャルリアリティ(VR)映像をユーザーに提示するためのVRシステムである。制御システム1は、2つの電子機器と、これら電子機器を接続するための映像信号伝送ケーブル301および位置情報信号伝送ケーブル302とを備える。ここでは、2つの電子機器がホストコンピューター100とヘッドマウントディスプレイ(HMD)200である場合を例示する。
ホストコンピューター100は映像信号を、映像信号伝送ケーブル301を介してHMD200に送信する。HMD200は、この映像信号に基づくVR映像を画面に表示する。HMD200の画面は、頭部にHMD200を装着したユーザーの眼前に位置する。したがって、ユーザーはHMD200の画面に表示されるVR映像を視認できる。
制御システム1は、ユーザーの頭部の動きや向き、およびユーザーの位置のような、ユーザーの位置・姿勢情報の変化に応じて、表示されるVR映像を変化させるトラッキング機能を有している。以下では、ユーザーの位置と姿勢の少なくとも一方を含む信号を位置情報信号とも称する。位置情報信号は映像信号伝送ケーブル301とは別の位置情報信号伝送ケーブル302を通じて、HMD200からホストコンピューター100に送信される。ホストコンピューター100は、受信したユーザーの位置情報信号を用いてVR映像の映像信号(以下、単に映像信号とも称する)を作成し、映像信号伝送ケーブル301を通じてHMD200に送信する。これにより、ユーザーの現在の位置や姿勢に応じたVR映像がHMD200の表示部に表示されるので、ユーザーは視聴している映像への没入感を得ることができる。
トラッキング機能を実現するために、VR映像信号の伝送と位置情報信号の伝送とは並行して行われる必要がある。そのため比較例の制御システム1において、ホストコンピューター100とHMD200とは、映像信号伝送ケーブル301と位置情報信号伝送ケーブル302の2つのケーブルで接続されている。ここでは、映像信号伝送ケーブル301がHigh-Definition Multimedia Interface(HDMI)規格に準拠したHDMIケーブル301であり、位置情報信号伝送ケーブル302がUSB規格に準拠したUSBケーブル302であることを想定する。
HDMIは、電子機器間で映像や音声をデジタル信号で伝送するためのインタフェースの1つである。HDMI(例えばHDMI2.1)に準拠した電子機器間では、HDMIケーブルを介して4Kや8K等の大容量映像信号を高速に伝送できる。ホストコンピューター100とHMD200とは、HDMIケーブル301を介して映像信号を伝送するためのHDMI接続を確立し得ると共に、USBケーブル302を介して位置情報信号を伝送するためのUSB接続を確立し得る。
ホストコンピューター100はHDMIケーブル301を介してHMD200に映像信号を送信する。つまり、ホストコンピューター100はHDMI接続におけるソース機器であり、HMD200はHDMI接続におけるシンク機器である。
また、HMD200はUSBケーブル302を介してホストコンピューター100に位置情報信号を送信する。映像信号がホストコンピューター100からHMD200に伝送されるのに対して、位置情報信号はHMD200からホストコンピューター100に伝送される。このように、映像信号が伝送される方向と位置情報信号が伝送される方向とは逆方向である。
ホストコンピューター100は、制御部101、映像信号生成部102、映像情報記録部103、HDMI送信部(HDMI TX)104、およびUSB受信部(USB RX)105を備える。制御部101はホストコンピューター100内の各部を制御する。制御部101は映像信号生成部102に対して、映像信号の生成を要求する。制御部101はUSB RX105を介して位置情報信号を受信し、この位置情報信号に応じた映像信号の生成を映像信号生成部102に要求してもよい。
USB RX105は、USBケーブル302を介したHMD200との接続を制御する。USB RX105は、例えばUSBケーブル302を介したHMD200からの位置情報信号の受信を制御する。
映像信号生成部102は制御部101による要求に応じて、映像信号を生成する。映像信号生成部102は、例えば、あるVR映像コンテンツの映像信号を映像情報記録部103から読み出し、読み出された映像信号をHDMI TX104およびHDMIケーブル301を介してHMD200に送信する。
映像情報記録部103には1つ以上のVR映像コンテンツのデータが格納され得る。各VR映像コンテンツのデータは、HMD200にそのまま送信される映像信号を含んでいてもよいし、映像信号生成部102が特定の処理を行うことによってHMD200に送信される映像信号が得られるデータであってもよい。
HDMI TX104は、HDMIケーブル301を介したHMD200との接続を制御する。HDMI TX104は、例えばHDMIケーブル301を介したHMD200への映像信号の送信を制御する。
また、HMD200は、映像信号表示部201、各種センサー202、HDMI受信部(HDMI RX)203、およびUSB送信部(USB TX)204を備える。
映像信号表示部201は、HDMIケーブル301およびHDMI RX203を介してホストコンピューター100から受信された映像信号に基づく映像を、画面に表示するように制御する。映像信号表示部201は、例えば、HMD200を装着するユーザーの両眼それぞれの眼前に位置する2つの画面(ディスプレイ)を備える。
HDMI RX203は、HDMIケーブル301を介したホストコンピューター100との接続を制御する。HDMI RX203は、例えばHDMIケーブル301を介したホストコンピューター100からの映像信号の受信を制御する。
各種センサー202は、HMD200を装着しているユーザーの少なくとも一部(例えば頭部)の位置、姿勢、またはこれらの組み合わせを示す情報(データ)を生成する。各種センサー202は、生成された情報を含む位置情報信号を、USB TX204およびUSBケーブル302を介してホストコンピューター100に送信する。
USB TX204は、USBケーブル302を介したホストコンピューター100との接続を制御する。USB TX204は、例えばUSBケーブル302を介したホストコンピューター100への位置情報信号の送信を制御する。
以上の構成により、制御システム1はユーザーの位置・姿勢情報の変化に応じたVR映像を表示できる。しかし、この制御システム1では、映像信号伝送用のHDMIケーブル301と、位置情報伝送用のUSBケーブル302とが必要である。そのため、VRシステムを構築するためのコストが高く、またVRシステムを使用しようとする毎に、2つのケーブル301,302をホストコンピューター100とHMD200とに接続しなければならない煩雑さが生じる。さらに、接続に2つのケーブル301,302を用いることは、VRシステムを使用するユーザーの身体にケーブル301,302が接触して、動きを阻害する可能性を高める。
接続に用いられるケーブルの数を削減するために、例えばUSBケーブル302で伝送されている位置情報信号をHDMIケーブル301で伝送することが考えられる。上述したように、映像信号が伝送されるホストコンピューター100からHMD200への方向と、位置情報信号が伝送されるHMD200からホストコンピューター100への方向とは、逆方向である。
HDMIケーブル301を用いて位置情報信号を伝送するためには、HDMIにおいてその逆方向の信号伝送が可能な、Consumer Electronics Control(CEC)、HDMI Ethernet(登録商標) Channel(HEC)、HDMI1.4bで規定されたAudio Return Channel(ARC)、およびHDMI2.1で規定されたenhanced Audio Return Channel(eARC)のいずれかを利用することが考えられる。
CECは、制御コマンドを伝送するための狭帯域の(すなわち低速な)制御チャネルであり、位置情報信号を伝送するために必要な帯域を満たさない。
HECは100Mbpsの伝送帯域を有するが、HECに準拠したLSIが普及していない。したがってHECを利用するためには、HECに対応するLSIを使用する必要があり、コストが上昇する。
また、eARCは37Mbpsの伝送帯域を有するが、音声信号の伝送に用いられるチャネルであって、VR用の位置情報信号を伝送するための構成を備えていない。ARCについても、eARCと同様に、音声信号の伝送に用いられるチャネルであって、VR用の位置情報信号を伝送するための構成を備えていない。
そのため本実施形態では、eARCまたはARCを拡張することによって、HDMIケーブルを介して接続された2つの電子機器が位置情報信号を伝送するように構成する。これら電子機器は、HDMIケーブルを用いて、映像信号だけでなく位置情報信号も伝送する。これにより、ユーザーはVR映像を容易に視聴できる。
位置情報信号の伝送に、eARCまたはARCで規定された伝送路(例えば物理層およびプロトコル層)が利用されることにより、各電子機器に対するソフトウェアおよびハードウェアの大幅な変更や追加を抑制できる。各電子機器には、eARCまたはARCとの互換性が維持されるように、音声信号の伝送と位置情報信号の伝送とを切り替えるための構成が設けられる。
図2は、本実施形態に係る電子機器を含む制御システム2の構成を示す。この制御システム2は、図1を参照して上述した比較例の制御システム1と同様に、VR映像をユーザーに提示するためのVRシステムであり、ホストコンピューター150とHMD250である2つの電子機器を備える。
また、比較例の制御システム1が映像信号伝送ケーブル301と位置情報信号伝送ケーブル302とを備えるのに対して、本実施形態の制御システム2は1つの伝送ケーブル350を備えている。以下では、ホストコンピューター150、HMD250、および伝送ケーブル350が、位置情報信号も伝送可能であるように拡張したeARCを含むHDMI規格に準拠したものである場合を例示するが、同様に拡張したARCを含むHDMI規格に準拠したものであってもよい。
ホストコンピューター150は映像信号を、伝送ケーブル350を介してHMD250に送信する。HMD250は、この映像信号に基づくVR映像を画面に表示する。HMD250の画面は、頭部にHMD250を装着したユーザーの眼前に位置する。したがって、ユーザーはHMD250の画面に表示されるVR映像を視認できる。
制御システム2は上述したトラッキング機能を有している。HMD250は、伝送ケーブル350を介して、HMD250を使用するユーザーの位置と姿勢の少なくとも一方を含む位置情報信号をホストコンピューター150に送信する。ホストコンピューター150は、受信したユーザーの位置情報信号を用いてVR映像の映像信号を作成し、伝送ケーブル350を通じてHMD250に送信する。これにより、ユーザーの現在の位置や姿勢に応じたVR映像がHMD250の表示部に表示される。
このように、ホストコンピューター150とHMD250とは伝送ケーブル350で接続されている。ここでは、伝送ケーブル350がHDMI2.1規格に準拠したHDMIケーブル350であることを想定する。ホストコンピューター150とHMD250とは、HDMIケーブル350を介して、映像信号および位置情報信号を伝送するためのHDMI接続を確立し得る。ホストコンピューター150はHDMI接続におけるソース機器であり、HMD250はHDMI接続におけるシンク機器である。
ホストコンピューター150はHDMIケーブル350を介してHMD250に映像信号を送信する。また、HMD250はHDMIケーブル350を介してホストコンピューター150に位置情報信号を送信する。映像信号がホストコンピューター150からHMD250に伝送されるのに対して、位置情報信号はHMD250からホストコンピューター150に伝送される。このように、映像信号が伝送される方向と位置情報信号が伝送される方向とは逆方向である。
ホストコンピューター150は、制御部151、映像信号生成部152、映像情報記録部153、HDMI送信部(HDMI TX)154を備える。また、HDMI TX154はeARC受信部(eARC RX)155を含んでいる。
制御部151はホストコンピューター150内の各部を制御するように構成される。制御部151は、例えばCPUとして実現される。制御部151は、映像信号生成部152に対して映像信号の生成を要求する。制御部151は、eARC RX155を介してHMD250から位置情報信号を受信し、この位置情報信号に応じた映像信号の生成(例えば再描画)を映像信号生成部152に要求してもよい。
映像信号生成部152は、制御部151による要求に応じて映像信号を生成するように構成される。映像信号生成部152は、例えばGPUとして実現される。映像信号生成部152は、例えば、あるVR映像コンテンツの映像信号を映像情報記録部153から読み出し、読み出された映像信号をHDMI TX154およびHDMIケーブル350を介してHMD250に送信する。
さらに、映像信号生成部152は、位置情報信号に応じた映像信号を生成することもできる。映像信号生成部152は、映像情報記録部153から位置情報信号に対応する映像信号を読み出すか、あるいは映像情報記録部153から読み出した映像信号に対して、位置情報信号に基づく処理を施すことにより、位置情報信号に応じた映像信号を生成する。映像信号生成部152は、eARC RX155を介してHMD250から位置情報信号が受信された場合、位置情報信号に応じた映像信号をHDMI TX154およびHDMIケーブル350を介してHMD250に送信する。
映像情報記録部153は、1つ以上のVR映像コンテンツのデータが格納され得るストレージ(例えばHDDまたはSSD)である。各VR映像コンテンツのデータは、HMD250にそのまま送信される映像信号を含んでいてもよいし、映像信号生成部152が特定の処理を行うことによってHMD250に送信される映像信号が得られるデータであってもよい。
HDMI TX154は、例えば映像信号や音声信号を伝送するためのTransition Minimized Differential Signaling(TMDS)方式に従って、HDMIケーブル350を介してHMD250に映像信号を送信するように構成される。
さらに、制御部151およびHDMI TX154は、CEC等に基づく制御チャネルを介した制御コマンドの送受信を制御する。制御コマンドの送受信により、ホストコンピューター150およびHMD250の各々の動作が制御される。なお、HDMI TX154内に、制御コマンドの送受信を制御するための制御部、送信部、受信部等がさらに設けられていてもよい。制御部151およびHDMI TX154は、例えばeARC(またはARC)機能が有効化されている場合に、eARC機能を用いた信号伝送のためのフォーマット情報を、HDMIケーブル350を介してHMD250に送信する。フォーマット情報は位置情報信号と音声信号のいずれか一方の伝送を示す。フォーマット情報の詳細については、図4および図5を参照して後述する。
eARC RX155は、送信されたフォーマット情報に基づいてHMD250によって送信される、位置情報信号と音声信号のいずれか一方を、HDMIケーブル350を介して受信するように構成される。HMD250は、フォーマット情報に基づく状態(あるいはモード)に設定され得る。eARC RX155は、位置情報信号の伝送を示すフォーマットが送信された場合に位置情報信号を受信し、音声信号の伝送を示すフォーマットが送信された場合に音声信号を受信する。
HMD250は、映像信号表示部251、各種センサー252、およびHDMI受信部(HDMI RX)253を備える。また、HDMI RX253はeARC送信部(eARC TX)254を含んでいる。
映像信号表示部251は、HDMIケーブル350およびHDMI RX253を介してホストコンピューター150から受信された映像信号に基づく映像を、画面に表示するように制御する。映像信号表示部251は、例えば、HMD250を装着するユーザーの両眼それぞれの眼前に位置する2つの画面(ディスプレイ)を備える。
各種センサー252は、HMD250を装着しているユーザーの少なくとも一部(例えば頭部)の位置、姿勢、またはこれらの組み合わせを示す情報(データ)を、例えばリアルタイムで生成する。各種センサー252には、ジャイロセンサー、距離センサー等が含まれ得る。
より具体的には、各種センサー252は、三次元空間のX軸、Y軸、およびZ軸のそれぞれに対するHMD250の回転角速度ω(ωx,ωy,ωz)、三次元空間におけるHMD250の位置を示す座標(x,y,z)、等の情報を生成し得る。各種センサー252は、生成された情報を含む位置情報信号を、eARC TX254およびHDMIケーブル350を介してホストコンピューター150に送信する。
HDMI RX253は、例えばTMDS方式に従って、HDMIケーブル350を介してホストコンピューター150から映像信号を受信するように構成される。また、HDMI RX253は、CEC等に基づく制御チャネルを介した制御コマンドの送受信を制御する。HDMI RX253には、制御コマンドの送受信を制御するための制御部、送信部、受信部等が設けられていてもよい。HDMI RX253は、例えばeARC(またはARC)機能が有効化されている場合に、eARC機能を用いた信号伝送のためのフォーマット情報を、HDMIケーブル350を介してホストコンピューター150から受信する。
eARC TX254は、eARC(またはARC)の機能を用いた信号伝送のためのフォーマット情報に基づいて、位置情報信号と音声信号のいずれか一方を、HDMIケーブル350を介してホストコンピューター150に送信するように構成される。より具体的には、eARC TX254は、フォーマット情報が位置情報信号の伝送を示す場合、HDMIケーブル350を介してホストコンピューター150に位置情報信号を送信する。また、eARC TX254は、フォーマット情報が音声信号の伝送を示す場合、HDMIケーブル350を介してホストコンピューター150に音声信号を送信する。eARC TX254は、例えばフォーマット情報に基づいて設定されているHMD250のモードに応じて、送信対象の信号を、位置情報信号と音声信号とで切り替えることができる。
さらに、HDMI RX253は、eARC TX254によって位置情報信号が送信された場合、この位置情報信号に応じた映像信号を、HDMIケーブル350を介してホストコンピューター150から受信する。映像信号表示部251によってこの映像信号に基づく映像が表示されることにより、ユーザーは自身の位置・姿勢に応じたVR映像を視認でき、没入感を得ることができる。
上述したようなHDMIケーブル350を介したeARC機能によるデータ伝送を制御するために、ホストコンピューター150内のHDMI_TX154とHMD250内のHDMI RX253とは、データ伝送のステータスやフォーマットを管理する。より具体的には、HDMI_TX154およびHDMI_RX253は、eARC機能を用いた伝送のステータスを示すEARC_STATE601と、eARC機能を用いて伝送される信号(例えばデータブロック)のフォーマットを定義するためのeARC_Data_Block701と、eARC機能を用いて伝送される信号の種類を識別するためのStream_IDリスト801とを管理する。
図3はEARC_STATE601の一構成例を示す。EARC_STATE601はeARC機能を用いた伝送のステータスを示し、HDMI_RX253内のレジスタとして実現され得る。
EARC_STATE601は、例えば第0ビットから第7ビットまでの8ビットのレジスタで構成される。第4ビットには、eARC機能の有効化または無効化を示すEARC_MODEの値が設定される。eARC機能の有効化は、制御システム2内でeARC機能を利用したデータ伝送が可能であることを意味する。一方、eARC機能の無効化は、制御システム2内でeARC機能を利用したデータ伝送が不可能であることを意味する。EARC_MODEには、例えば、eARC機能が有効化される場合に1が設定され、eARC機能が無効化される場合に0が設定される。
第0ビットには、有効化されたeARC機能を用いた伝送モードを示すVR_MODEの値が設定される。より詳しくは、VR_MODEの値は、有効化されたeARC機能が、VRシステムでの位置情報信号の伝送に利用されるか否かを示す。eARC機能がVRシステムでの位置情報信号の伝送に利用される場合、eARC機能を用いた伝送モードとしてVRモードが設定される。また、eARC機能を本来の音声信号の伝送に利用される場合、eARC機能を用いた伝送モードとしてeARCモードが設定される。
より具体的には、VR_MODEには、eARC機能が位置情報信号の伝送(VRモード)で利用される場合に1が設定される。一方、eARC機能が音声信号の伝送(eARCモード)で利用される場合、VR_MODEには0が設定される。
EARC_STATE601の第4ビットおよび第0ビット以外のビットには、例えば0が設定される。なお、これらビットはeARC機能に関する他のステータスの設定のために(例えば、さらに別の種類の信号を伝送するために)用いられてもよい。
図4は、eARC機能を用いて伝送される信号のフォーマット情報を定義するためのeARC_Data_Block701の一構成例を示す。eARC_Data_Block701は、例えばホストコンピューター150(ソース機器)で設定され、ホストコンピューター150からHMD250(シンク機器)に通知される。
eARC_Data_Block701は、伝送単位のデータのサイズに応じた任意のサイズを有する。図4に示すように、第0バイトには、伝送されるデータの種類を示すStream_IDの値が設定される。第1バイトには、伝送されるデータのサイズを示すData_lengthの値が設定される。第2バイト以降には、伝送されるデータの構成を示すData_Structureの値が設定される。
第0バイトのStream_IDに設定され得る値は、Stream_IDリスト801で規定される。図5はStream_IDリスト801の一構成例を示す。Stream_IDリスト801は複数のレコードを含む。各レコードは、Stream_IDとして設定され得る値と、その値に関連付けられた信号の種類とを示す。
図5では、0から255までの整数値がStream_IDとして設定され得る場合が例示されている。例えば、整数値0には、あるタイプの音声信号を示す“Audio Stream 1”が関連付けられ、整数値1には、別のタイプの音声信号を示す“Audio Stream 2”が関連付けられている。“Audio Stream 1”と“Audio Stream 2”とは、ビットレート、モノラル/ステレオ、2D/3D等の属性が異なる音声信号を示す。
整数値2には、位置情報信号を示す“VR Stream 1”が関連付けられている。また、整数値3から255は、特定の種類の信号がまだ関連付けられていない未使用の値(Reserved)である。未使用の各整数値は、eARC機能を用いてさらに別の種類の信号が伝送され得る場合に、その信号と関連付けられるように規定されてもよい。
HMD250のHDMI_RX253は、EARC_STATE601内のEARC_MODEの値とVR_MODEの値とをそれぞれ設定または変更し得る。また、ホストコンピューター150の制御部151およびHDMI TX154は、eARC_Data_Block701内の値を設定または変更し得る。
HMD250のHDMI_RX253は、例えばホストコンピューター150からの映像信号の受信が開始されることに応じて、EARC_MODEにeARC機能を有効化するための値(=1)を設定する。また、HDMI_RX253は、例えばホストコンピューター150からの映像信号の受信が終了したことに応じて、EARC_MODEにeARC機能を無効化するための値(=0)を設定する。あるいは、HDMI_RX253は、ホストコンピューター150から受信した、eARC機能の有効化または無効化を要求する制御コマンドに従って、EARC_MODEの値を設定または変更してもよい。
また、ホストコンピューター150の制御部151およびHDMI TX154は、EARC_STATE601内のEARC_MODEにeARC機能を有効化するための値(=1)が設定されたことに応じて、eARC_Data_Block701内の少なくともStream_IDの値を設定または変更し得る。制御部151およびHDMI TX154は、eARC機能を用いてHMD250からホストコンピューター150に伝送されるべき信号の種類に応じた値を、Stream_IDとして設定する。
例えば、伝送されるべき信号が位置情報信号(VR Stream 1)であるならば、制御部151およびHDMI TX154は位置情報信号を示す値(=2)をStream_IDとして設定する。また、伝送されるべき信号が音声信号(Audio Stream 1またはAudio Stream 2)であるならば、制御部151およびHDMI TX154は音声信号を示す値(=0または1)をStream_IDとして設定する。
HDMI TX154は、上述のように設定されたStream_IDを含むeARC_Data_Block701を、HMD250のHDMI RX253に送信する。これにより、eARC_Data_Block701を用いて、eARC機能により送信すべき信号が位置情報信号と音声信号のいずれであるかをHMD250に通知できる。
より具体的には、HDMI_RX253は、ホストコンピューター150から受信したeARC_Data_Block701に含まれるStream_IDの値に基づいて、EARC_STATE601内のVR_MODEの値を設定または変更する。例えばStream_IDに位置情報信号(VR Stream 1)を示す値(=2)が設定されているならば、HDMI_RX253はVR_MODEとして、eARC機能をVRシステムで利用すること(すなわちVRモードで利用すること)を示す値(=1)を設定する。一方、Stream_IDに音声信号(Audio Stream 1またはAudio Stream 2)を示す値(=0または1)が設定されているならば、HDMI_RX253はVR_MODEとして、eARC機能をVRシステムで利用しないこと(すなわちeARCモードで利用すること)を示す値(=0)を設定する。
EARC_MODE=1、およびVR_MODE=1が設定された場合、つまりeARC機能が有効化され、VRモードで利用される場合、HMD250のeARC TX254は位置情報信号を送信し、ホストコンピューター150のeARC RX155はこの位置情報信号を受信する。また、EARC_MODE=1、且つVR_MODE=0である場合、つまりeARC機能が有効化され、eARCモードで利用される場合、HMD250のeARC TX254は音声信号を送信し、ホストコンピューター150のeARC RX155はこの音声信号を受信する。
以上のように、ホストコンピューター150とHMD250とは、EARC_STATE601、eARC_Data_Block701、およびStream_IDリスト801を用いて、eARC機能により伝送される信号を、位置情報信号と音声信号とで切り替えることができる。
図6および図7は、HMD250からホストコンピューター150に位置情報信号または音声信号を送信するための制御シーケンスの例を示す。上述した通り、ホストコンピューター150はHDMI接続のソース機器の一例であり、HMD250はHDMI接続のシンク機器の一例である。
図6を参照して、HMD250からホストコンピューター150に位置情報信号を送信するための制御シーケンスについて説明する。
まずHMD250は、EARC_STATE601内のEARC_MODEに、eARC機能の有効化を示す値(=1)を設定する(A1)。HMD250は、例えばCECのような制御チャネルを介したホストコンピューター150による要求に応じて、EARC_MODEに1を設定し得る。EARC_MODEに1が設定されたことに応じて、制御システム2のeARC機能が有効化される。HMD250はEARC_MODEに1が設定されたことを、制御チャネルを介してホストコンピューター150に通知する(A2)。
この通知に応じて、ホストコンピューター150はeARC_Data_Block701内のStream_IDに、伝送される信号が位置情報信号(VR Stream 1)であることを示す値(=2)を設定する(A3)。ホストコンピューター150はeARC_Data_Block701内のData_LengthおよびData_Structureにも、任意の値を設定し得る。そして、ホストコンピューター150はeARC_Data_Block701を、制御チャネルを介してHMD250に送信する(A4)。
HMD250は、このeARC_Data_Block701内のStream_IDに、位置情報信号の伝送を示す値(=2)が設定されているので、EARC_STATE601内のVR_MODEに、eARC機能がVRシステムで利用されることを示す値(=1)を設定する(A5)。HMD250はVR_MODEに1が設定されたことを、制御チャネルを介してホストコンピューター150に通知する(A6)。
次いで、HMD250は各種センサー252によって生成される位置情報信号を取得し(A7)、eARC TX254を介してホストコンピューター150に送信する(A8)。A7およびA8の位置情報信号の取得および送信のための処理は、例えばホストコンピューター150からHMD250への映像信号の伝送が終了するまで、繰り返し行われ得る。
位置情報信号の伝送が終了した場合、HMD250はEARC_STATE601内のEARC_MODEに、eARC機能の無効化を示す値(=0)を設定する(A9)。HMD250は、例えばCECのような制御チャネルを介したホストコンピューター150による要求に応じて、EARC_MODEに0を設定し得る。EARC_MODEに0が設定されたことに応じて、制御システム2のeARC機能が無効化される。
以上により、HDMIケーブル350を用いて位置情報信号を伝送できるので、例えばVRシステムを構成するホストコンピューター150とHMD250とを接続するためのケーブルが1つで済む。つまり、1つのHDMIケーブル350を用いて、映像信号だけでなく位置情報信号も伝送できる。したがって本実施形態の制御システム2は、映像信号と位置情報信号とを伝送するためにホストコンピューター100とHMD200とを2つのケーブル301,302で接続する比較例の制御システム1よりも、ケーブルの数を削減できる。この削減により、本実施形態の制御システム2では、価格や構築作業に関するコストが低く、また利用時にユーザーの動きが阻害されにくいVRシステムを実現できる。したがって、ユーザーはVR映像を容易に、且つ快適に視聴できる。
次いで図7を参照して、HMD250からホストコンピューター150に音声信号を送信するための制御シーケンスについて説明する。
図7に示すB1およびB2の処理では、図6を参照して上述したA1およびA2の処理と同様に、HMD250は、EARC_STATE601内のEARC_MODEに、eARC機能の有効化を示す値(=1)を設定し(B1)、EARC_MODEに1が設定されたことを、制御チャネルを介してホストコンピューター150に通知する(B2)。
この通知に応じて、ホストコンピューター150はeARC_Data_Block701内のStream_IDに、伝送される信号が音声信号(Audio Stream 1またはAudio Stream 2)であることを示す値(=0または1)を設定する(B3)。ホストコンピューター150は、eARC_Data_Block701内のData_LengthおよびData_Structureにも任意の値を設定し得る。そして、ホストコンピューター150はeARC_Data_Block701を、制御チャネルを介してHMD250に送信する(B4)。
HMD250は、このeARC_Data_Block701内のStream_IDに、音声信号の伝送を示す値(=0または1)が設定されているので、EARC_STATE601内のVR_MODEに、eARC機能がVRシステムで利用されないことを示す値(=0)を設定する(B5)。HMD250はVR_MODEに0が設定されたことを、制御チャネルを介してホストコンピューター150に通知する(B6)。
次いで、HMD250は音声信号を取得し(B7)、eARC TX254を介してホストコンピューター150に送信する(B8)。B7およびB8の音声信号の取得および送信のための処理は、例えばホストコンピューター150からHMD250への映像信号の伝送が終了するまで、繰り返し行われ得る。
音声信号の伝送が終了した場合、HMD250はEARC_STATE601内のEARC_MODEに、eARC機能の無効化を示す値(=0)を設定する(B9)。HMD250は、例えばCECのような制御チャネルを介したホストコンピューター150による要求に応じて、EARC_MODEに0を設定し得る。EARC_MODEに0が設定されたことに応じて、制御システム2のeARC機能が無効化される。
なお、図6および図7の制御シーケンスは、ホストコンピューター150とHMD250との組み合わせに限らず、HDMI接続のソース機器とシンク機器として用いられる様々な電子機器(例えば、テレビジョン信号受信機、AVアンプ、録画機器、DVDプレイヤー、セットトップボックス、ゲーム機、ビデオカメラ、等)の任意の組み合わせにおいて行われ得る。HDMIケーブルで接続された任意の組み合わせの電子機器間では、第1の方向に映像信号を伝送でき、また上述した制御シーケンスに従って、第1の方向とは反対の第2の方向に、eARC機能(またはARC機能)を利用して位置情報信号と音声信号のいずれか一方を伝送できる。なお、この位置情報信号は別の種類の信号であってもよい。
図8のフローチャートを参照して、HMD250によって実行される制御処理の手順の例を説明する。ここでは、HMD250がeARCを含むHDMI2.1に準拠している場合について例示する。
まず、HMD250は、HDMIケーブル350を介して接続されたホストコンピューター150の認証を開始するか否かを判定する(ステップS101)。HMD250は、例えば映像の視聴が開始される場合や映像信号の受信が開始される場合に、ホストコンピューター150の認証を開始すると判断する。ホストコンピューター150の認証を開始しない場合(ステップS101のNO)、ステップS101に戻り、認証を開始するか否かが再度判定される。
ホストコンピューター150の認証を開始する場合(ステップS101のYES)、HMD250は、ホストコンピューター150の認証処理を行った後、EARC_STATE601内のEARC_MODEに、eARC機能を有効化するための値(=1)を設定する(ステップS102)。これに応じて、ホストコンピューター150とHMD250とは、eARC機能によるデータ伝送が可能な状態に移行する。
次いでHMD250は、ホストコンピューター150からeARC_Data_Block701を受信し(ステップS103)、eARC_Data_Block701内のStream_IDの値を取得する(ステップS104)。eARC_Data_Block701は、ホストコンピューター150によって定義(設定)されている。HMD250は、取得されたStream_IDの値に応じて処理を分岐する(ステップS105)。
取得されたStream_IDの値が2である場合(ステップS105の“2”)、HMD250は、EARC_MODE601内のVR_MODEに、位置情報信号を伝送するための値(=1)を設定する(ステップS106)。HMD250は位置情報信号を、HDMIケーブル350を介してホストコンピューター150に送信する(ステップS107)。そして、HMD250は位置情報信号の送信を終了するか否かを判定する(ステップS108)。HMD250は、例えば映像信号の受信が終了した場合に、位置情報信号の送信を終了すると判断する。一方、HMD250は、例えば映像信号の受信が継続している場合に、位置情報信号の送信を終了しないと判断する。
位置情報信号の送信が終了しないならば(ステップS108のNO)、ステップS107に戻り、HMD250は位置情報信号の送信を続行する。一方、位置情報信号の送信を終了するならば(ステップS108のYES)、HMD250はEARC_MODEに、eARC機能を無効化するための値(=0)を設定し(ステップS109)、処理を終了する。
また、ステップS104で取得されたStream_IDの値が0または1である場合(ステップS105の“0または1”)、HMD250は、EARC_MODE601内のVR_MODEに、音声信号を伝送するための値(=0)を設定する(ステップS110)。HMD250は音声信号を、HDMIケーブル350を介してホストコンピューター150に送信する(ステップS111)。そして、HMD250は音声信号の送信を終了するか否かを判定する(ステップS112)。HMD250は、例えば映像信号の受信が終了した場合に、音声信号の送信を終了すると判断する。一方、HMD250は、例えば映像信号の受信が継続している場合に、音声信号の送信を終了しないと判断する。
音声信号の送信が終了しないならば(ステップS112のNO)、ステップS111に戻り、HMD250は音声信号の送信を続行する。一方、音声信号の送信を終了するならば(ステップS112のYES)、HMD250はEARC_MODEに、eARC機能を無効化するための値(=0)を設定し(ステップS109)、処理を終了する。
さらに、ステップS104で取得されたStream_IDの値が0,1,および2のいずれでもない場合(ステップS105の“定義されていない値”)、HMD250はEARC_MODEに、eARC機能を無効化するための値(=0)を設定し(ステップS109)、処理を終了する。
以上により、HMD250は、ホストコンピューター150が位置情報信号の伝送を指定している場合に、HDMIケーブル350を介してホストコンピューター150に位置情報信号を送信できる。一方、ホストコンピューター150が音声信号の伝送を指定している場合、HMD250は、HDMIケーブル350を介してホストコンピューター150に音声信号を送信できる。HMD250は、ホストコンピューター150によって定義されるeARC_Data_Block701を取得し、eARC_Data_Block701に含まれるStream_IDの値に応じて、送信対象の信号を、位置情報信号と音声信号とで切り替えることができる。
図9のフローチャートは、ホストコンピューター150によって実行される制御処理の手順の例を示す。ここでは、ホストコンピューター150がeARCを含むHDMI2.1に準拠している場合について例示する。
まず、ホストコンピューター150は、HDMIケーブル350を介して接続されたHMD250の認証を開始するか否かを判定する(ステップS201)。ホストコンピューター150は、例えば映像の視聴が開始される場合や映像信号の送信が開始される場合に、HMD250の認証を開始すると判断する。HMD250の認証を開始しない場合(ステップS201のNO)、ステップS201に戻り、認証を開始するか否かが再度判定される。
HMD250の認証を開始する場合(ステップS201のYES)、ホストコンピューター150はHMD250の認証処理を行った後、HMD250から、EARC_STATE601内のEARC_MODEの値を取得する(ステップS202)。ホストコンピューター150は、取得したEARC_MODEの値がeARC機能の有効化を示す値(=1)であるか否かを判定する(ステップS203)。
取得したEARC_MODEの値が1でない場合(例えば0である場合)(ステップS203のNO)、ホストコンピューター150はタイムアウトが検出されたか否かを判定する(ステップS204)。取得したEARC_MODEの値が1でないことは、HMD250のeARC機能が有効化されていないことを示す。ホストコンピューター150は、EARC_MODEの値を最初に取得してから特定の時間(例えば数秒)が経過するまでEARC_MODEの値を繰り返し取得しても、1が設定されたEARC_MODEが取得されない場合に、タイムアウトを検出する。タイムアウトが検出されていない場合(ステップS204のNO)、ステップS202に戻り、新たに取得されるEARC_MODEの値に基づく処理が行われる。タイムアウトが検出された場合(ステップS204のYES)、処理を終了する。
また、取得したEARC_MODEの値が1である場合(ステップS203のYES)、ホストコンピューター150はeARC_Data_Block701を定義(設定)する(ステップS205)。より具体的には、ホストコンピューター150は、HMD250から位置情報信号を受信すべき場合、eARC_Data_Block701内のStream_IDに2を設定する。一方、HMD250から音声信号を受信すべき場合、ホストコンピューター150は、eARC_Data_Block701内のStream_IDに0または1を設定する。なお、Stream_IDには、HMD250から受信すべき信号に応じた別の値が設定されてもよい。
次いでホストコンピューター150は、HMD250からVR_MODEの値を取得し(ステップS206)、その値が、位置情報信号の伝送を示す値(=1)であるか否かを判定する(ステップS207)。
VR_MODEの値が1である場合(ステップS207のYES)、ホストコンピューター150はHMD250(より具体的にはeARC TX254)から位置情報信号を受信する(ステップS208)。位置情報信号は、例えば、HMD250を使用するユーザーの位置・姿勢に応じた映像信号を生成するために用いられる。そして、ホストコンピューター150は位置情報信号の受信を終了するか否かを判定する(ステップS209)。ホストコンピューター150は、例えば映像信号の送信が終了した場合に、位置情報信号の受信を終了すると判断する。一方、ホストコンピューター150は、例えば映像信号の送信が継続している場合に、位置情報信号の受信を終了しないと判断する。
位置情報信号の受信が終了しないならば(ステップS209のNO)、ステップS208に戻り、ホストコンピューター150は位置情報信号の受信を続行する。一方、位置情報信号の受信を終了するならば(ステップS209のYES)、ホストコンピューター150は処理を終了する。
また、VR_MODEの値が1でない場合(ステップS207のNO)、つまりVR_MODEの値が音声信号の伝送を示す値(=0)である場合、ホストコンピューター150はHMD250(より具体的にはeARC TX254)から音声信号を受信する(ステップS210)。そして、ホストコンピューター150は音声信号の受信を終了するか否かを判定する(ステップS211)。ホストコンピューター150は、例えば映像信号の送信が終了した場合に、音声信号の受信を終了すると判断する。一方、ホストコンピューター150は、例えば映像信号の送信が継続している場合に、音声信号の受信を終了しないと判断する。
音声信号の受信が終了しないならば(ステップS211のNO)、ステップS210に戻り、ホストコンピューター150は音声信号の受信を続行する。一方、音声信号の受信を終了するならば(ステップS211のYES)、ホストコンピューター150は処理を終了する。
以上により、ホストコンピューター150は、位置情報信号の伝送(受信)を指定している場合に、HDMIケーブル350を介してHMD250から位置情報信号を受信できる。一方、音声信号の伝送を指定している場合、ホストコンピューター150は、HDMIケーブル350を介してHMD250から音声信号を受信できる。ホストコンピューター150は、eARC_Data_Block701を定義(設定)し、eARC_Data_Block701に含まれるStream_IDの値に応じて、受信対象の信号を、位置情報信号と音声信号とで切り替えることができる。
以上説明したように、本実施形態によれば、ユーザーがVR映像を容易に視聴できる。HMD250のHDMI RX253は、HDMIケーブル350を介して外部電子機器(例えばホストコンピューター150)から映像信号を受信し、HDMI規格のARCまたはeARCの機能を用いた信号伝送のための情報(例えばeARC_Data_Block701)を、HDMIケーブル350を介してその外部電子機器から受信するように構成される。eARC TX254は、受信された情報に基づいて、位置情報信号と音声信号のいずれか一方を、HDMIケーブル350を介してその外部電子機器に送信するように構成される。
また、ホストコンピューター150のHDMI TX154は、HDMIケーブル350を介して外部電子機器(例えばHMD250)に映像信号を送信し、HDMI規格のARCまたはeARCの機能を用いた、位置情報信号と音声信号のいずれか一方の伝送のための情報(例えばeARC_Data_Block701)を、HDMIケーブル350を介してその外部電子機器に送信するように構成される。eARC RX155は、情報に基づいて外部電子機器によって送信される、位置情報信号と音声信号のいずれか一方を、HDMIケーブル350を介して受信するように構成される。
以上により、ARCまたはeARC機能を用いて位置情報信号を伝送できる。つまり、HDMIケーブル350を用いて映像信号だけでなく位置情報信号も伝送できる。これにより、例えばホストコンピューター150とHMD250とからなる制御システム2は、価格や構築作業に関するコストが低く、また利用時にユーザーの動きが阻害されにくいVRシステムを実現できる。したがって、ユーザーはVR映像を容易に、且つ快適に視聴できる。
本実施形態に記載された様々な機能の各々は、回路(処理回路)によって実現されてもよい。処理回路の例には、中央処理装置(CPU)のような、プログラムされたプロセッサが含まれる。このプロセッサは、メモリに格納されたコンピュータプログラム(命令群)を実行することによって、記載された機能それぞれを実行する。このプロセッサは、電気回路を含むマイクロプロセッサであってもよい。処理回路の例には、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、マイクロコントローラ、コントローラ、他の電気回路部品も含まれる。本実施形態に記載されたCPU以外の他のコンポーネントの各々もまた処理回路によって実現されてもよい。
また、本実施形態の各種処理はコンピュータプログラムによって実現することができるので、このコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのコンピュータプログラムをコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
2…制御システム、150…ホストコンピューター、151…制御部、152…映像信号生成部、153…映像情報記録部、154…HDMI送信部(HDMI TX)、155…eARC受信部(eARC RX)、250…ヘッドマウントディスプレイ(HMD)、251…映像信号表示部、252…各種センサー、253…HDMI受信部(HDMI RX)、254…eARC送信部(eARC TX)、350…HDMIケーブル。

Claims (12)

  1. 電子機器であって、
    High-Definition Multimedia Interface(HDMI)規格に準拠したケーブルを介して外部電子機器から映像信号を受信し、HDMI規格のAudio Return Channel(ARC)またはenhanced Audio Return Channel(eARC)の機能を用いた信号伝送のための情報を、前記ケーブルを介して前記外部電子機器から受信するように構成される受信部と、
    受信された前記情報に基づいて、前記電子機器を使用するユーザーの位置情報と姿勢情報の少なくとも一方を含む位置情報信号と音声信号のいずれか一方を、前記ケーブルを介して前記外部電子機器に送信するように構成される送信部とを具備する電子機器。
  2. 前記受信部は、前記機能が有効化されている場合、前記情報を受信するように構成される請求項1記載の電子機器。
  3. 前記送信部は、
    受信された前記情報が前記位置情報信号の伝送を示す場合、前記ケーブルを介して前記外部電子機器に前記位置情報信号を送信し、
    受信された前記情報が前記音声信号の伝送を示す場合、前記ケーブルを介して前記外部電子機器に前記音声信号を送信するように構成される請求項1または請求項2記載の電子機器。
  4. 前記送信部は、
    受信された前記情報が前記位置情報信号の伝送を示す場合、前記機能を用いた伝送モードとして第1モードを設定し、前記ケーブルを介して前記外部電子機器に前記位置情報信号を送信し、
    受信された前記情報が前記音声信号の伝送を示す場合、前記機能を用いた伝送モードとして第2モードを設定し、前記ケーブルを介して前記外部電子機器に前記音声信号を送信するように構成される請求項1または請求項2記載の電子機器。
  5. 前記受信部はさらに、前記送信部によって前記電子機器を使用するユーザーの位置情報と姿勢情報の少なくとも一方を含む第1位置情報信号が送信された場合、前記第1位置情報信号に応じた映像信号を、前記ケーブルを介して前記外部電子機器から受信するように構成される請求項1記載の電子機器。
  6. High-Definition Multimedia Interface(HDMI)規格に準拠したケーブルを介して外部電子機器に映像信号を送信し、HDMI規格のAudio Return Channel(ARC)またはenhanced Audio Return Channel(eARC)の機能を用いた、前記外部電子機器を使用するユーザーの位置情報と姿勢情報の少なくとも一方を含む位置情報信号と音声信号のいずれか一方の伝送のための情報を、前記ケーブルを介して前記外部電子機器に送信するように構成される送信部と、
    前記情報に基づいて前記外部電子機器によって送信される、前記位置情報信号と前記音声信号のいずれか一方を、前記ケーブルを介して受信するように構成される受信部とを具備する電子機器。
  7. 前記送信部は、前記機能が有効化されている場合、前記情報を送信するように構成される請求項記載の電子機器。
  8. 前記送信部は、前記位置情報信号と前記音声信号のいずれか一方の伝送を示す前記情報を送信するように構成され、
    前記受信部は、
    前記位置情報信号の伝送を示す前記情報が送信された場合、前記ケーブルを介して前記外部電子機器から前記位置情報信号を受信し、
    前記音声信号の伝送を示す前記情報が送信された場合、前記ケーブルを介して前記外部電子機器から前記音声信号を受信するように構成される請求項または請求項記載の電子機器。
  9. 前記受信部は、
    前記位置情報信号の伝送を示す前記情報が送信され、前記外部電子機器の前記機能を用いた伝送モードとして第1モードが設定された場合、前記ケーブルを介して前記外部電子機器から前記位置情報信号を受信し、
    前記音声信号の伝送を示す前記情報が送信され、前記外部電子機器の前記機能を用いた伝送モードとして第2モードが設定された場合、前記ケーブルを介して前記外部電子機器から前記音声信号を受信するように構成される請求項または請求項記載の電子機器。
  10. 前記送信部はさらに、前記受信部によって前記外部電子機器を使用するユーザーの位置情報と姿勢情報の少なくとも一方を含む第1位置情報信号が受信された場合、前記第1位置情報信号に応じた映像信号を、前記ケーブルを介して前記外部電子機器に送信するように構成される請求項記載の電子機器。
  11. High-Definition Multimedia Interface(HDMI)規格に準拠したケーブルを介して外部電子機器から映像信号を受信する電子機器を制御する制御方法であって、
    HDMI規格のAudio Return Channel(ARC)またはenhanced Audio Return Channel(eARC)の機能を用いた信号伝送のための情報を、前記ケーブルを介して前記外部電子機器から受信し、
    受信された前記情報に基づいて、前記電子機器を使用するユーザーの位置情報と姿勢情報の少なくとも一方を含む位置情報信号と音声信号のいずれか一方を、前記ケーブルを介して前記外部電子機器に送信する制御方法。
  12. High-Definition Multimedia Interface(HDMI)規格に準拠したケーブルを介して外部電子機器に映像信号を送信する電子機器を制御する制御方法であって、
    HDMI規格のAudio Return Channel(ARC)またはenhanced Audio Return Channel(eARC)の機能を用いた、前記外部電子機器を使用するユーザーの位置情報と姿勢情報の少なくとも一方を含む位置情報信号と音声信号のいずれか一方の伝送のための情報を、前記ケーブルを介して前記外部電子機器に送信し、
    前記情報に基づいて前記外部電子機器によって送信される、前記位置情報信号と前記音声信号のいずれか一方を、前記ケーブルを介して受信する制御方法。
JP2019082050A 2019-04-23 2019-04-23 電子機器、および制御方法 Active JP7234025B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019082050A JP7234025B2 (ja) 2019-04-23 2019-04-23 電子機器、および制御方法
US16/807,291 US11146757B2 (en) 2019-04-23 2020-03-03 Electronic apparatus and control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019082050A JP7234025B2 (ja) 2019-04-23 2019-04-23 電子機器、および制御方法

Publications (2)

Publication Number Publication Date
JP2020182028A JP2020182028A (ja) 2020-11-05
JP7234025B2 true JP7234025B2 (ja) 2023-03-07

Family

ID=72921752

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019082050A Active JP7234025B2 (ja) 2019-04-23 2019-04-23 電子機器、および制御方法

Country Status (2)

Country Link
US (1) US11146757B2 (ja)
JP (1) JP7234025B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210218591A1 (en) * 2020-01-15 2021-07-15 Universal Electronics Inc. System and method for optimized appliance utilization
TWI816071B (zh) * 2020-12-09 2023-09-21 宏正自動科技股份有限公司 音訊轉換裝置及音訊處理方法
CN113067995B (zh) * 2021-03-18 2022-06-03 深圳市玩视科技有限公司 Hdmi切换器和hdmi切换系统
WO2022193732A1 (zh) * 2021-03-19 2022-09-22 海信视像科技股份有限公司 一种音频输出通道的切换控制方法及显示设备
CN113784074B (zh) * 2021-09-24 2023-06-27 广东博华超高清创新中心有限公司 一种改进增强型音频回传通道互通互连的方法
CN114900633B (zh) * 2022-05-12 2024-09-10 广东博华超高清创新中心有限公司 一种增强型音频回传通道快速建立连接的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012151725A (ja) 2011-01-20 2012-08-09 Funai Electric Co Ltd シンク機器
JP2013085224A (ja) 2011-07-29 2013-05-09 D & M Holdings Inc コンテンツデータ伝送システム及びコンテンツデータ伝送方法
JP2013093663A (ja) 2011-10-24 2013-05-16 Sony Corp ヘッド・マウント・ディスプレイ及びヘッド・マウント・ディスプレイの制御方法
WO2016136257A1 (ja) 2015-02-25 2016-09-01 パナソニックIpマネジメント株式会社 シンク機器

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5466519B2 (ja) * 2010-01-20 2014-04-09 日立コンシューマエレクトロニクス株式会社 情報処理装置、及び情報処理装置の信号処理方法
US20130159565A1 (en) * 2011-12-14 2013-06-20 Motorola Mobility, Inc. Method and apparatus for data transfer of touch screen events between devices
WO2013122385A1 (en) * 2012-02-15 2013-08-22 Samsung Electronics Co., Ltd. Data transmitting apparatus, data receiving apparatus, data transreceiving system, data transmitting method, data receiving method and data transreceiving method
JP5584806B2 (ja) 2012-09-25 2014-09-03 シャープ株式会社 セットトップボックス、表示システム、表示装置、テレビジョン受像機、制御方法、プログラム、および記録媒体
JP6340792B2 (ja) 2013-12-26 2018-06-13 セイコーエプソン株式会社 映像表示システムおよび映像表示システムを構成する映像送信装置と映像受信表示装置との間の映像無線伝送規格に従った接続方法、並びに、映像送信装置および映像受信表示装置
CN105850148B (zh) 2013-12-26 2019-04-02 精工爱普生株式会社 视频显示系统及连接方法
JP2015195573A (ja) 2014-03-25 2015-11-05 セイコーエプソン株式会社 プロジェクター

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012151725A (ja) 2011-01-20 2012-08-09 Funai Electric Co Ltd シンク機器
JP2013085224A (ja) 2011-07-29 2013-05-09 D & M Holdings Inc コンテンツデータ伝送システム及びコンテンツデータ伝送方法
JP2013093663A (ja) 2011-10-24 2013-05-16 Sony Corp ヘッド・マウント・ディスプレイ及びヘッド・マウント・ディスプレイの制御方法
WO2016136257A1 (ja) 2015-02-25 2016-09-01 パナソニックIpマネジメント株式会社 シンク機器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HDMI2.1仕様について,映像情報メディア学会誌,2018年11月30日,Vol.72, No.6,pp.913-916,https://www.ite.or.jp/contents/keywords/1811keyword.pdf

Also Published As

Publication number Publication date
JP2020182028A (ja) 2020-11-05
US20200344445A1 (en) 2020-10-29
US11146757B2 (en) 2021-10-12

Similar Documents

Publication Publication Date Title
JP7234025B2 (ja) 電子機器、および制御方法
KR102349716B1 (ko) 영상 공유 방법 및 이를 수행하는 전자 장치
JP6684802B2 (ja) 仮想化されたディスプレイ出力ポートの構成
JP2002157607A (ja) 画像生成システム、画像生成方法および記憶媒体
WO2019105239A1 (zh) 视频流发送方法、播放方法、装置、设备及存储介质
JP2015095802A (ja) 表示制御装置、表示制御方法、およびプログラム
US10871822B2 (en) Image generation apparatus, image generation system, and image generation method
JP2019106628A (ja) 画像補正装置、画像補正方法およびプログラム
KR20150025122A (ko) 헤드 마운트 디스플레이 디바이스 및 그 제어 방법
JP2017111539A (ja) プログラム及びコンピュータ
EP3229482B1 (en) Master device, slave device, and control method therefor
WO2016063617A1 (ja) 画像生成装置、画像抽出装置、画像生成方法、および画像抽出方法
US20180270463A1 (en) Recording medium, image generation apparatus, and image generation method
WO2019078580A2 (ko) 실감형 미디어를 전송하는 방법 및 장치
JP2013085052A (ja) 表示装置及び再生装置
JP6563138B2 (ja) ヘッドマウントディスプレイデバイス及びヘッドマウントディスプレイシステム
WO2021216375A1 (en) Hybrid wireless streaming solution, switching from 2d to 3d based on an intuitive hand gesture in ar hmd
EP2843958A1 (en) Content providing electronic device and method
JP2009122476A (ja) 制御装置、ヘッドマウントディスプレイ装置、プログラム及び制御方法
US11086587B2 (en) Sound outputting apparatus and method for head-mounted display to enhance realistic feeling of augmented or mixed reality space
KR20060060741A (ko) 미디어 어댑터와 관련한 다수의 통신 링크의 사용
EP4216544A1 (en) Stereoscopic-image playback device and method for generating stereoscopic images
JP2022034091A (ja) 三次元データ再生装置
WO2011039913A1 (ja) 映像音声信号伝送システムおよび映像音声信号切替・分配装置
JP7030075B2 (ja) プログラム、情報処理装置、及び情報処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210903

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220816

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221014

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230222

R151 Written notification of patent or utility model registration

Ref document number: 7234025

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151