JP7439758B2 - 送信装置、送信方法、受信装置および受信方法 - Google Patents

送信装置、送信方法、受信装置および受信方法 Download PDF

Info

Publication number
JP7439758B2
JP7439758B2 JP2020540227A JP2020540227A JP7439758B2 JP 7439758 B2 JP7439758 B2 JP 7439758B2 JP 2020540227 A JP2020540227 A JP 2020540227A JP 2020540227 A JP2020540227 A JP 2020540227A JP 7439758 B2 JP7439758 B2 JP 7439758B2
Authority
JP
Japan
Prior art keywords
predetermined number
signal
channels
channel
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020540227A
Other languages
English (en)
Other versions
JPWO2020045044A1 (ja
Inventor
元 市村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2020045044A1 publication Critical patent/JPWO2020045044A1/ja
Application granted granted Critical
Publication of JP7439758B2 publication Critical patent/JP7439758B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4131—Peripherals receiving signals from specially adapted client devices home appliance, e.g. lighting, air conditioning system, metering devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/025—Systems for the transmission of digital non-picture data, e.g. of text during the active part of a television frame
    • H04N7/035—Circuits for the digital non-picture data signal, e.g. for slicing of the data signal, for regeneration of the data-clock signal, for error detection or correction of the data signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • H04N5/602—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals for digital sound signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • H04N5/607—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals for more than one sound signal, e.g. stereo, multilanguages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/10—Adaptations for transmission by electrical cable

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Electrotherapy Devices (AREA)
  • Burglar Alarm Systems (AREA)

Description

本技術は、送信装置、送信方法、受信装置および受信方法に関し、詳しくは、オーディオ信号と共に触覚振動信号を取り扱う送信装置、送信方法、受信装置および受信方法に関する。
５．１チャネル、７．１チャネルなどのマルチチャンネルオーディオアプリケーションにおいては、それぞれのチャンネル利用法を識別するために名前が付けられ運用されている。例えば、ライトチャンネル、レフトチャンネル、センターチャネル、ＬＦＥ（Low Frequency Effect）チャンネル等である。これらはその名前が示す位置に配置されたラウドスピーカに届けられ、音として再生されることが期待されている。
近年、マルチメディアアプリケーションが提案され、中には従来のオーディオビデオと同期して利用される触覚振動アプリケーション等がある。例えば、特許文献１には、触覚振動信号（触覚信号）を送信し、受信側では、その触覚振動信号に基づいて振動部を振動させる技術についての記載がある。
特開２０１８－０６０３１３号公報
オーディオビデオと同期して利用される触覚振動アプリケーションにおいては、触覚振動信号をオーディオ信号と同期して伝送することが望まれる。そして、その際、触覚振動信号はオーディオ信号とは信号性質が違っており、触覚振動信号をオーディオ信号と明確に区別できることが望まれる。また、その際、触覚振動信号自体も複数信号を組み合わせて運用することが想定され、それらも識別できることが望まれる。
本技術の目的は、触覚振動信号をオーディオ信号と同期して良好に伝送することにある。
本技術の概念は、
複数フレームからなるブロック毎の伝送信号を順次所定伝送路を介して受信側に送信する送信部を備え、
上記伝送信号は、所定チャネル数のオーディオ信号と所定チャネル数の触覚振動信号を含む
送信装置にある。
本技術において、送信部により、複数フレームからなるブロック毎の伝送信号が順次所定伝送路を介して受信側に送信される。ここで、伝送信号には、所定チャネル数のオーディオ信号と所定チャネル数の触覚振動信号が含まれている。例えば、所定伝送路は、同軸ケーブル、光ケーブル、イーサネット（ＩＥＣ ６１８８３－６）ケーブル、ＨＤＭＩケーブル、ＭＨＬケーブルまたはディスプレイポートケーブルである、ようにされてもよい。また、例えば、オーディオ信号に関連するメディア信号に基づいて触覚振動信号を生成する処理部をさらに備える、ようにされてもよい。
例えば、伝送信号に、所定チャネル数のオーディオ信号と所定チャネル数の触覚振動信号の構成情報を付加する情報付加部をさらに備える、ようにされてもよい。この場合、例えば、構成情報は、触覚振動信号をオーディイオ信号と区別するための識別情報を含む、ようにされてもよい。そして、この場合、例えば、識別情報は、所定チャネル数の触覚振動信号のそれぞれが対象とする振動位置の情報を含む、ようにされてもよい。
また、例えば、情報付加部は、ブロック毎に構成されるチャネルステータスの所定ビット領域を用いて構成情報を付加する、ようにされてもよい。また、例えば、情報付加部は、連続する所定数のフレームのユーザデータビットを用いて構成情報を付加する、ようにされてもよい。
また、例えば、複数フレームは、所定数のフレームからなるマルチチャネルグループの繰り返しで構成され、送信部は、所定チャネル数のオーディオ信号および所定チャネル数の触覚振動信号を、マルチチャネルグループ毎に、所定数のフレームの全部または一部にチャネル別に時分割的に配置して送信する、ようにされてもよい。
このように本技術においては、所定チャネル数のオーディオ信号と所定チャネル数の触覚振動信号を含む、複数フレームからなるブロック毎の伝送信号を、順次所定伝送路を介して、受信側に送信するものである。そのため、触覚振動信号をオーディオ信号と同期して良好に送信できる。
また、本技術の他の概念は、
複数フレームからなるブロック毎の伝送信号を送信側から順次所定伝送路を介して受信する受信部を備え、
上記伝送信号は、所定チャネル数のオーディオ信号と所定チャネル数の触覚振動信号を含む
受信装置にある。
本技術において、受信部により、複数フレームからなるブロック毎の伝送信号が送信側から順次所定伝送路を介して受信される。ここで、伝送信号には、所定チャネル数のオーディオ信号と所定チャネル数の触覚振動信号が含まれている。例えば、所定伝送路は、同軸ケーブル、光ケーブル、イーサネット（ＩＥＣ ６１８８３－６）ケーブル、ＨＤＭＩケーブル、ＭＨＬケーブルまたはディスプレイポートケーブルである、ようにされてもよい。
例えば、伝送信号を処理して所定チャネル数のオーディオ信号と所定チャネル数の触覚振動信号を出力する処理部をさらに備える、ようにされてもよい。そして、この場合、例えば、伝送信号は所定チャネル数のオーディオ信号と所定チャネル数の触覚振動信号の構成情報を含み、処理部は、構成情報に基づいて信号を処理して、所定チャネル数のオーディオ信号と所定チャネル数の触覚振動信号を出力する、ようにされてもよい。
また、例えば、構成情報は、ブロック毎に構成されるチャネルステータスの所定ビット領域を用いて付加されている、ようにされてもよい。また、例えば、構成情報は、連続する所定数のフレームのユーザデータビットを用いて付加されている、ようにされてもよい。また、例え場、複数フレームは、所定数のフレームからなるマルチチャネルグループの繰り返しで構成され、所定チャネル数のオーディオ信号および所定チャネル数の触覚振動信号は、マルチチャネルグループ毎に、所定数のフレームの全部または一部にチャネル別に時分割的に配置されている、ようにされていてもよい。
このように本技術においては、所定チャネル数のオーディオ信号と所定チャネル数の触覚振動信号を含む、複数フレームからなるブロック毎の伝送信号を、順次所定伝送路を介して、送信側に受信するものである。そのため、触覚振動信号をオーディオ信号と同期して良好に受信できる。
実施の形態としてのＡＶシステムの構成例を示すブロック図である。 ビデオ信号、オーディオ信号および触覚振動信号のダイナミックレンジ、サンプリング周波数、連続/不連続、次元の一例を比較して示す図である。 テレビ受信機のＨＤＭＩ受信部とオーディオアンプのＨＤＭＩ送信部の構成例を示すブロック図である。 ＴＭＤＳチャネルにおいて横×縦が１９２０ピクセル×１０８０ラインの画像データが伝送される場合の各種の伝送データの区間を示す図である。 ＨＤＭＩコネクタのピン配列を示す図である。 テレビ受信機の高速バスインタフェースの構成例を示す図である。 オーディオアンプの高速バスインタフェースの構成例を示す図である。 ＩＥＣ ６０９５８規格におけるフレーム構成を示す図である。 ＩＥＣ ６０９５８規格におけるサブフレーム構成を示す図である。 ＩＥＣ ６０９５８規格における信号変調方式を示す図である。 ＩＥＣ ６０９５８規格におけるプリアンブルのチャネルコーディングを示す図である。 マルチチャネル伝送フォーマットにおけるフレーム構成の一例を示す図である。 ＩＥＣ ６０９５８規格におけるチャネルステータスのフォーマットを概略的に示す図である。 マルチチャネルコンフィグレーションの値と、それで示されるオーディオチャネルセットとの対応関係を示す図である。 高さ毎のスピーカの数を特定するパケットの一例を示す図である。 マルチチャンネルグループ内の送信順に対して何番のオーディオチャンネルを送信するかを指定するパケットの一例を示す図である。 マルチチャネル伝送フォーマットにおけるマルチチャネルグループ１～４の指定方法の具体例を示す図である。 マルチチャネルオーディオ信号と所定チャネル数の触覚振動信号を同時に伝送する場合のマルチチャネル伝送フォーマットのフレーム構成の一例を示す図である。 ５．１チャネルオーディオと２チャネルの触覚振動信号を含む伝送信号を示す図である。 マルチチャネルオーディオ信号と所定チャネル数の触覚振動信号を同時に伝送するためのマルチチャネルサブグループが第２の方法で指定される例を説明するための図である。 ＡＶシステムの他の構成例を示すブロック図である。 触覚振動信号を構成するＸ軸、Ｙ軸、Ｚ軸の振動データを説明するための図である。 触覚振動信号を構成するＸ軸、Ｙ軸、Ｚ軸の振動データをＩＥＣ ６０９５８-１のサブフレーム内の２４ビットスロットにアサインすることを説明するための図である。 ユーザを覆うような立方体の空間を考え、その立方体の各頂点における触覚振動信号を代表として送信する場合を説明するための図である。
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
１．実施の形態
２．変形例
＜１．実施の形態＞
［ＡＶシステムの構成例］
図１は、実施の形態としてのＡＶ（Audio/Visual）システム１０の構成例を示している。このＡＶシステム１０は、テレビ受信機１００とオーディオアンプ２００を有している。テレビ受信機１００には、テレビ放送の受信アンテナ１２１と、ＢＤ（Blu-ray Disc）プレーヤ１２２と、インターネット１２３が接続されている。また、オーディオアンプ２００には、２チャネルあるいはマルチチャネルのスピーカシステム２５０と、１チャネルまたは複数チャネルの振動システム２６０が接続されている。なお、「Blu-ray」は登録商標である。
テレビ受信機１００およびオーディオアンプ２００はＨＤＭＩケーブル３００を介して接続されている。なお、「ＨＤＭＩ」は登録商標である。テレビ受信機１００には、ＨＤＭＩ受信部（HDMI RX）１０２と、通信部を構成する高速バスインタフェース１０３とが接続されたＨＤＭＩ端子１０１が設けられている。オーディオアンプ２００には、ＨＤＭＩ送信部（HDMI TX）２０２と、通信部を構成する高速バスインタフェース２０３とが接続されたＨＤＭＩ端子２０１が設けられている。ＨＤＭＩケーブル３００の一端はテレビ受信機１００のＨＤＭＩ端子１０１に接続され、その他端はオーディオアンプ２００のＨＤＭＩ端子２０１に接続されている。
テレビ受信機１００は、ＨＤＭＩ受信部１０２と、高速バスインタフェース１０３と、ＳＰＤＩＦ送信回路１０４を有している。また、テレビ受信機１００は、システムコントローラ１０５と、デジタル放送受信回路１０７と、コンテンツ再生回路１０８と、表示部１０９と、イーサネットインタフェース１１０を有している。なお、「イーサネット」および「Ｅｔｈｅｒｎｅｔ」は登録商標である。また、図示の例では、説明の簡単化のために、画像系の各部については適宜省略されている。
システムコントローラ１０５は、テレビ受信機１００の各部の動作を制御する。デジタル放送受信回路１０７は、受信アンテナ１２１から入力されたテレビ放送信号を処理して、放送コンテンツに係るビデオ信号、マルチチャネルオーディオ信号（リニアＰＣＭ信号）および所定チャネル数の触覚振動信号を出力する。ここで、マルチチャネルオーディオ信号は、複数チャネル数のオーディオ信号により構成されている。
イーサネットインタフェース１１０はインターネット１２３を介して外部サーバと通信を行って、ネットコンテンツに係るビデオ信号、マルチチャネルオーディオ信号（リニアＰＣＭ信号）および所定チャネル数の触覚振動信号を出力する。ＢＤプレーヤ１２２は、再生動作により、再生コンテンツに係るビデオ信号、マルチチャネルオーディオ信号（リニアＰＣＭ信号）および所定チャネル数の触覚振動信号を出力する。
コンテンツ再生回路１０８は、デジタル放送受信回路１０７、イーサネットインタフェース１１０あるいはＢＤプレーヤ１２２で得られたビデオ信号、マルチチャネルオーディオ信号および所定チャネル数の触覚振動信号を選択的に取り出す。そして、コンテンツ再生回路１０８は、ビデオ信号を表示部１０９に送る。表示部１０９は、このビデオ信号による画像を表示する。
また、コンテンツ再生回路１０８は、マルチチャネルオーディオ信号および所定チャネル数の触覚振動信を、ＳＰＤＩＦ送信回路１０４に送る。ＳＰＤＩＦ送信回路１０４は、ＩＥＣ ６０９５８規格のデジタルオーディオ伝送信号（以下、適宜、「ＳＰＤＩＦ信号」という）を送信するための回路である。このＳＰＤＩＦ送信回路１０４はＩＥＣ ６０９５８規格に準拠した送信回路である。なお、ＳＰＤＩＦ信号の詳細は後述する。
ＳＰＤＩＦ送信回路１０４は、マルチチャネルオーディオ信号（リニアＰＣＭ信号）および所定チャネル数の触覚振動信号を、オーディオアンプ２００に、同時に送信する。この場合、ＳＰＤＩＦ信号として、複数フレーム、ここでは１９２フレームからなるブロック毎の伝送信号が順次送信される。そして、この伝送信号に、マルチチャネルオーディオ信号（リニアＰＣＭ信号）および所定チャネル数の触覚振動信号が含まれる。
ここで、複数フレームは、所定数のフレームからなるマルチチャネルグループの繰り返しで構成されている。マルチチャネルオーディオ信号および所定チャネル数の触覚振動信号は、マルチチャネルグループ毎に、所定数のフレームの全部または一部にチャネル別に時分割的に配置されている。
伝送信号には、マルチチャネルオーディオ信号および所定チャネル数の触覚振動信号の構成情報が付加される。この構成情報には、触覚振動信号をオーディイオ信号と区別するための識別情報が含まれる。また、この識別情報には、所定チャネル数の触覚振動信号のそれぞれが対象とする振動位置の情報が含まれる。例えば、構成情報はブロック毎に構成されるチャネルステータスの所定ビット領域を用いて付加される。また、例えば、構成情報は連続する所定数のフレームのユーザデータビットを用いて付加される。
ＨＤＭＩ受信部１０２は、ＨＤＭＩに準拠した通信により、ＨＤＭＩケーブル３００を介してＨＤＭＩ端子１０１に供給されるビデオやオーディオのデータを受信する。高速バスインタフェース１０３は、ＨＤＭＩケーブル３００を構成するリザーブラインおよびＨＰＤ（Hot Plug Detect）ラインを用いて構成される双方向通信路のインタフェースである。なお、ＨＤＭＩ受信部１０２と高速バスインタフェース１０３の詳細は後述する。
オーディオアンプ２００は、ＨＤＭＩ送信部２０２と、高速バスインタフェース２０３と、ＳＰＤＩＦ受信回路２０４を有している。また、オーディオアンプ２００は、システムコントローラ２０５と、オーディオアンプ２０８と、振動アンプ２０９と、イーサネットインタフェース２１０を有している。
システムコントローラ２０５は、オーディオアンプ２００の各部の動作を制御する。ＨＤＭＩ送信部２０２は、ＨＤＭＩに準拠した通信により、ビデオやオーディオのデータを、ＨＤＭＩ端子２０１からＨＤＭＩケーブル３００に送出する。高速バスインタフェース２０３は、ＨＤＭＩケーブル３００を構成するリザーブラインおよびＨＰＤ（Hot Plug Detect）ラインを用いて構成される双方向通信路のインタフェースである。なお、ＨＤＭＩ送信部２０２と高速バスインタフェース２０３の詳細は後述する。
ＳＰＤＩＦ受信回路２０４は、ＳＤＰＩＦ信号（ＩＥＣ ６０９５８規格のデジタルオーディオ信号）としての伝送信号を受信し、それに含まれるマルチチャネルオーディオ信号および所定チャネル数の触覚振動信号を取得する。この場合、伝送信号に含まれる構成情報に基づいて、マルチチャネルオーディオ信号および所定チャネル数の触覚振動信号の取り出しが行われる。
オーディオアンプ２０８は、ＳＰＤＩＦ受信回路２０４で取り出されたマルチチャネルオーディオ信号をチャネル毎に増幅し、それぞれのチャネルに対応したスピーカを持つスピーカシステム２５０に送る。これにより、スピーカシステム２５０で、マルチチャネルオーディオ信号による音声再生が行われる。
また、振動アンプ２０９は、ＳＰＤＩＦ受信回路２０４で取り出された所定チャネル数の触覚振動信号をチャネルごとに増幅し、それぞれのチャネルに対応した振動デバイスを持つ振動システム２６０に送る。これにより、振動システム２６０で、所定チャネル数の触覚振動信号による振動再生が行われる。この場合、上述したように、所定チャネル数の触覚振動信号がマルチチャネルオーディオ信号と同時に送られてくるものであることから、この振動再生は音声再生と正しく同期したものとなり、またテレビ受信機１００の表示部１０９における映像表示とも同期したものとなる。
図２は、ビデオ信号、オーディオ信号および触覚振動信号のダイナミックレンジ、サンプリング周波数、連続/不連続、次元の一例を比較して示している。ビデオ信号に関しては、ダイナミックレンは４８－９６ｄＢ、サンプリング周波数は６０Ｈｚ、不連続信号、および２次元または３次元の信号である。また、オーディオ信号に関しては、ダイナミックレンジは９６ｄＢ－１４４ｄＢ、サンプリング周波数は４８ｋＨｚ、連続信号、および１次元の信号である。
そして、触覚振動信号に関しては、ダイナミックレンジは４０－６０ｄＢであり、サンプリング周波数は２ｋＨｚ、連続信号、および１次元の信号である。このように触覚振動信号はオーディオ信号と同様にサンプリング周波数が高く連続信号である。そのため、上述したように、触覚振動信号を、オーディオ信号の伝送路を使用して、オーディオ信号と同時に伝送することで、オーディオ信号と同期した伝送を、簡単かつ容易に達成できる。
なお、触覚振動信号は、上述したように、ダイナミックレンジは４０－６０ｄＢ、周波数帯域はＤＣ－１ｋＨｚといわれているが、ビデオ信号よりはオーディオ信号に近い。リニアＰＣＭを伝送できるデジタルオーディオインタフェースであれば触覚振動信号も伝送できる。この場合、ＤＣ領域に関してはプラスで“押す”、マイナスで“引く”あるいは“引っ張る”というような表現が可能である。
「ＨＤＭＩ送信部/受信部の構成例」
図３は、図１のＡＶシステム１０における、テレビ受信機１００のＨＤＭＩ受信部１０２とオーディオアンプ２００のＨＤＭＩ送信部２０２の構成例を示している。
ＨＤＭＩ送信部２０２は、ある垂直同期信号から次の垂直同期信号までの区間（以下、適宜、「ビデオフィールド」という）から、水平ブランキング期間および垂直ブランキング期間を除いた区間である有効画像区間（以下、適宜、「アクティブビデオ区間」という）において、ベースバンド（非圧縮）の一画面分の画像データの差動信号を、複数のチャネルで、ＨＤＭＩ受信部１０２に一方向に送信する。また、ＨＤＭＩ送信部２０２は、水平ブランキング期間および垂直ブランキング期間において、画像データに付随する音声データおよび制御パケット（Control Packet）、さらにその他の補助データ等に対応する差動信号を、複数のチャネルで、ＨＤＭＩ受信部１０２に一方向に送信する。
ＨＤＭＩ送信部２０２は、ソース信号処理部７１およびＨＤＭＩトランスミッタ７２を有する。ソース信号処理部７１には、ベースバンドの非圧縮の画像（Video）および音声（Audio）のデータが供給される。ソース信号処理部７１は、供給される画像および音声のデータに必要な処理を施し、ＨＤＭＩトランスミッタ７２に供給する。また、ソース信号処理部７１は、ＨＤＭＩトランスミッタ７２との間で、必要に応じて、制御用の情報やステータスを知らせる情報（Control/Status）等をやりとりする。
ＨＤＭＩトランスミッタ７２は、ソース信号処理部７１から供給される画像データを、対応する差動信号に変換し、複数のチャネルである３つのＴＭＤＳチャネル＃０，＃１，＃２で、ＨＤＭＩケーブル３００を介して接続されているＨＤＭＩ受信部１０２に、一方向に送信する。
さらに、トランスミッタ７２、ソース信号処理部７１から供給される、非圧縮の画像データに付随する音声データや制御パケットその他の補助データ（auxiliary data）と、垂直同期信号（VSYNC）、水平同期信号（HSYNC）等の制御データ（control data）とを、対応する差動信号に変換し、３つのＴＭＤＳチャネル＃０，＃１，＃２で、ＨＤＭＩケーブル３００を介して接続されているＨＤＭＩ受信部１０２に、一方向に送信する。
また、トランスミッタ７２は、３つのＴＭＤＳチャネル＃０，＃１，＃２で送信する画像データに同期したピクセルクロックを、ＴＭＤＳクロックチャネルで、ＨＤＭＩケーブル３００を介して接続されているＨＤＭＩ受信部１０２に送信する。
ＨＤＭＩ受信部１０２は、アクティブビデオ区間において、複数チャネルで、ＨＤＭＩ送信部２０２から一方向に送信されてくる、画像データに対応する差動信号を受信すると共に、水平ブランキング期間および垂直ブランキング期間において、複数のチャネルで、ＨＤＭＩ送信部２０２から送信されてくる、補助データや制御データに対応する差動信号を受信する。
ＨＤＭＩ受信部１０２は、ＨＤＭＩレシーバ８１およびシンク信号処理部８２を有する。ＨＤＭＩレシーバ８１は、ＴＭＤＳチャネル＃０，＃１，＃２で、ＨＤＭＩケーブル３００を介して接続されているＨＤＭＩ送信部２０２から一方向に送信されてくる、画像データに対応する差動信号と、補助データや制御データに対応する差動信号を、同じくＨＤＭＩ送信部２０２からＴＭＤＳクロックチャネルで送信されてくるピクセルクロックに同期して受信する。さらに、ＨＤＭＩレシーバ８１は、差動信号を、対応する画像データ、補助データ、制御データに変換し、必要に応じて、シンク信号処理部８２に供給する。
シンク信号処理部８２は、ＨＤＭＩレシーバ８１から供給されるデータに必要な処理を施して出力する。その他、シンク信号処理部８２は、ＨＤＭＩレシーバ８１との間で、必要に応じて、制御用の情報やステータスを知らせる情報（Control/Status）等をやりとりする。
ＨＤＭＩの伝送チャネルには、ＨＤＭＩ送信部２０２からＨＤＭＩ受信部１０２に対して、画像データ、補助データ、および制御データを、ピクセルクロックに同期して、一方向にシリアル伝送するための３つのＴＭＤＳチャネル＃０，＃１，＃２と、ピクセルクロックを伝送する伝送チャネルとしてのＴＭＤＳクロックチャネルとの他に、ＤＤＣ(Display Data Channel)８３、さらには、ＣＥＣライン８４と呼ばれる伝送チャネルがある。
ＤＤＣ８３は、ＨＤＭＩケーブル３００に含まれる図示しない２本のライン（信号線）からなり、ソース機器が、ＨＤＭＩケーブル３００を介して接続されたシンク機器から、Ｅ－ＥＤＩＤ(Enhanced-Extended Display Identification)を読み出すために使用される。すなわち、シンク機器は、ＥＤＩＤＲＯＭ８５を有している。ソース機器は、ＨＤＭＩケーブル３００を介して接続されているシンク機器から、ＥＤＩＤＲＯＭ８５が記憶しているＥ－ＥＤＩＤを、ＤＤＣ８３を介して読み出し、当該Ｅ－ＥＤＩＤに基づき、シンク機器の設定、性能を認識する。
ＣＥＣライン８４は、ＨＤＭＩケーブル３００に含まれる図示しない１本のラインからなり、ソース機器とシンク機器との間で、制御用のデータの双方向通信を行うために用いられる。
また、ＨＤＭＩケーブル３００には、ＨＰＤ(Hot Plug Detect)と呼ばれるピンに接続されるライン８６が含まれている。ソース機器は、当該ライン８６を利用して、シンク機器の接続を検出することができる。また、ＨＤＭＩケーブル３００には、ソース機器からシンク機器に電源を供給するために用いられるライン８７が含まれている。さらに、ＨＤＭＩケーブル３００には、リザーブライン８８が含まれている。
図４は、ＴＭＤＳチャネルにおいて、横×縦が１９２０ピクセル×１０８０ラインの画像データが伝送される場合の、各種の伝送データの区間を示している。ＨＤＭＩの３つのＴＭＤＳチャネルで伝送データが伝送されるビデオフィールド（Video Field）には、伝送データの種類に応じて、ビデオデータ区間２４（Video Data Period）、データアイランド区間２５（Data Island Period）、およびコントロール区間２６（Control Period）の３種類の区間が存在する。
ここで、ビデオフィールド区間は、ある垂直同期信号の立ち上がりエッジ（Active Edge）から次の垂直同期信号の立ち上がりエッジまでの区間であり、水平帰線期間２２（Horizontal Blanking）、垂直帰線期間２３（Vertical Blanking）、並びに、ビデオフィールド区間から、水平帰線期間および垂直帰線期間を除いた区間である有効画素区間２１（Active Video）に分けられる。
ビデオデータ区間２４は、有効画素区間２１に割り当てられる。このビデオデータ区間２４では、非圧縮の１画面分の画像データを構成する１９２０ピクセル（画素）×１０８０ライン分の有効画素（Active Pixel）のデータが伝送される。データアイランド区間２５およびコントロール区間２６は、水平帰線期間２２および垂直帰線期間２３に割り当てられる。このデータアイランド区間２５およびコントロール区間２６では、補助データ（Auxiliary Data）が伝送される。
すなわち、データアイランド区間２５は、水平帰線期間２２と垂直帰線期間２３の一部分に割り当てられている。このデータアイランド区間２５では、補助データのうち、制御に関係しないデータである、例えば、音声データのパケット等が伝送される。コントロール区間２６は、水平帰線期間２２と垂直帰線期間２３の他の部分に割り当てられている。このコントロール区間２６では、補助データのうちの、制御に関係するデータである、例えば、垂直同期信号および水平同期信号、制御パケット等が伝送される。
図５は、ＨＤＭＩコネクタのピン配列を示している。このピン配列は、タイプＡ（type-A）の例である。ＴＭＤＳチャネル＃ｉの差動信号であるＴＭＤＳ Ｄａｔａ＃ｉ＋とＴＭＤＳ Ｄａｔａ＃ｉ－が伝送される差動線である２本のラインは、ＴＭＤＳ Ｄａｔａ＃ｉ＋が割り当てられているピン（ピン番号が１，４，７のピン）と、ＴＭＤＳ Ｄａｔａ＃ｉ－が割り当てられているピン（ピン番号が３，６，９のピン）に接続される。
また、制御用のデータであるＣＥＣ信号が伝送されるＣＥＣライン８４は、ピン番号が１３であるピンに接続され、ピン番号が１４のピンは空き（Reserved）ピンとなっている。また、Ｅ－ＥＤＩＤ等のＳＤＡ(Serial Data)信号が伝送されるラインは、ピン番号が１６であるピンに接続され、ＳＤＡ信号の送受信時の同期に用いられるクロック信号であるＳＣＬ(Serial Clock)信号が伝送されるラインは、ピン番号が１５であるピンに接続される。上述のＤＤＣ８３は、ＳＤＡ信号が伝送されるラインおよびＳＣＬ信号が伝送されるラインにより構成される。
また、上述したようにソース機器がシンク機器の接続を検出するためのＨＰＤライン８６は、ピン番号が１９であるピンに接続される。また、上述したように電源を供給するための電源ライン８７は、ピン番号が１８であるピンに接続される。
「高速バスインタフェースの構成例」
図６は、図１のＡＶシステム１０におけるテレビ受信機１００の高速バスインタフェース１０３の構成例を示している。イーサネットインタフェース１１０は、ＨＤＭＩケーブル３００を構成する複数のラインのうち、リザーブラインおよびＨＰＤラインの一対のラインにより構成された伝送路を用いてＬＡＮ(Local Area Network)通信、つまりイーサネット信号の送受信を行う。ＳＰＤＩＦ送信回路１０４は、上述の一対のラインにより構成された伝送路を用いて、ＳＰＤＩＦ信号を送信する。
テレビ受信機１００は、ＬＡＮ信号送信回路４４１、終端抵抗４４２、ＡＣ結合容量４４３，４４４、ＬＡＮ信号受信回路４４５、減算回路４４６、加算回路４４９，４５０および増幅器４５１を有している。これらは、これらは高速バスインタフェース１０３を構成している。また、テレビ受信機１００は、プラグ接続伝達回路１２８を構成する、チョークコイル４６１、抵抗４６２および抵抗４６３を有している。
ＨＤＭＩ端子１０１の１４ピン端子５２１と１９ピン端子５２２との間には、ＡＣ結合容量４４３、終端抵抗４４２およびＡＣ結合容量４４４の直列回路が接続される。また、電源線（＋５．０Ｖ）と接地線との間には、抵抗４６２および抵抗４６３の直列回路が接続される。そして、この抵抗４６２と抵抗４６３の互いの接続点は、チョークコイル４６１を介して、１９ピン端子５２２とＡＣ結合容量４４４との接続点Ｑ４に接続される。
ＡＣ結合容量４４３と終端抵抗４４２の互いの接続点Ｐ３は、加算回路４４９の出力側に接続されると共に、ＬＡＮ信号受信回路４４５の正入力側に接続される。また、ＡＣ結合容量４４４と終端抵抗４４２の互いの接続点Ｐ４は、加算回路４５０の出力側に接続されると共に、ＬＡＮ信号受信回路４４５の負入力側に接続される。
加算回路４４９の一方の入力側はＬＡＮ信号送信回路４４１の正出力側に接続され、この加算回路４４９の他方の入力側にはＳＰＤＩＦ送信回路１０４から出力されるＳＰＤＩＦ信号が増幅器４５１を介して供給される。また、加算回路４５０の一方の入力側はＬＡＮ信号送信回路４４１の負出力側に接続され、この加算回路４５０の他方の入力側にはＳＰＤＩＦ送信回路１０４から出力されるＳＰＤＩＦ信号が増幅器４５１を介して供給される。
ＬＡＮ信号送信回路４４１の入力側には、イーサネットインタフェース１１０から送信信号（送信データ）ＳＧ417が供給される。また、減算回路４４６の正側端子には、ＬＡＮ信号受信回路４４５の出力信号ＳＧ418が供給され、この減算回路４４６の負側端子には、送信信号ＳＧ417が供給される。この減算回路４４６では、ＬＡＮ信号受信回路４４５の出力信号ＳＧ418から送信信号ＳＧ417が減算され、受信信号（受信データ）ＳＧ419が得られる。この受信信号ＳＧ419は、リザーブラインおよびＨＰＤラインを介してＬＡＮ信号（イーサネット信号）が差動信号として送信されてくる場合には、当該ＬＡＮ信号となる。この受信信号ＳＧ419は、イーサネットインタフェース１１０に供給される。
図７は、図１のＡＶシステム１０におけるオーディオアンプ２００の高速バスインタフェース２０３の構成例を示している。イーサネットインタフェース２１０は、ＨＤＭＩケーブル６１０を構成する複数のラインのうち、リザーブラインおよびＨＰＤラインの一対のラインにより構成された伝送路を用いてＬＡＮ(Local Area Network)通信、つまりイーサネット信号の送受信を行う。ＳＰＤＩＦ受信回路２０４は、上述の一対のラインにより構成された伝送路を用いて、ＳＰＤＩＦ信号を受信する。
オーディオアンプ２００は、ＬＡＮ信号送信回路４１１、終端抵抗４１２、ＡＣ結合容量４１３，４１４、ＬＡＮ信号受信回路４１５、減算回路４１６、加算回路４１９および増幅器４２０を有している。これらは、高速バスインタフェース２０３を構成している。また、オーディオアンプ２００は、プラグ接続検出回路２２１を構成する、プルダウン抵抗４３１、抵抗４３２、容量４３３および比較器４３４を有している。ここで、抵抗４３２および容量４３３は、ローパスフィルタを構成している。
ＨＤＭＩ端子２０１の１４ピン端子５１１と１９ピン端子５１２との間には、ＡＣ結合容量４１３、終端抵抗４１２およびＡＣ結合容量４１４の直列回路が接続される。ＡＣ結合容量４１３と終端抵抗４１２の互いの接続点Ｐ１は、ＬＡＮ信号送信回路４１１の正出力側に接続されると共に、ＬＡＮ信号受信回路４１５の正入力側に接続される。
ＡＣ結合容量４１４と終端抵抗４１２の互いの接続点Ｐ２は、ＬＡＮ信号送信回路４１１の負出力側に接続されると共に、ＬＡＮ信号受信回路４１５の負入力側に接続される。ＬＡＮ信号送信回路４１１の入力側には、イーサネットインタフェース２１０から送信信号（送信データ）ＳＧ411が供給される。
減算回路４１６の正側端子には、ＬＡＮ信号受信回路４１５の出力信号ＳＧ412が供給され、この減算回路４１６の負側端子には、送信信号（送信データ）ＳＧ411が供給される。この減算回路４１６では、ＬＡＮ信号受信回路４１５の出力信号ＳＧ412から送信信号ＳＧ411が減算され、受信信号ＳＧ413が得られる。この受信信号ＳＧ413は、リザーブラインおよびＨＰＤラインを介して、ＬＡＮ信号（イーサネット信号）が差動信号として送信されてくる場合には、当該ＬＡＮ信号となる。この受信信号ＳＧ413は、イーサネットインタフェース２１０に供給される。
ＡＣ結合容量４１４と１９ピン端子５１２との接続点Ｑ２は、プルダウン抵抗４３１を介して接地線に接続されると共に、抵抗４３２および容量４３３の直列回路を介して接地線に接続される。そして、抵抗４３２および容量４３３の互いの接続点に得られるローパスフィルタの出力信号は比較器４３４の一方の入力端子に供給される。この比較器４３４では、ローパスフィルタの出力信号が他方の入力端子に供給される基準電圧Ｖref2（＋１．４Ｖ）と比較される。この比較器４３４の出力信号ＳＧ415は、オーディオアンプ２００の図示しない制御部（ＣＰＵ）に供給される。
また、ＡＣ結合容量４１３と終端抵抗４１２の互いの接続点Ｐ１は、加算回路４１９の一方の入力端子に接続される。また、ＡＣ結合容量４１４と終端抵抗４１２の互いの接続点Ｐ２は、加算回路４１９の他方の入力端子に接続される。この加算回路４１９の出力信号は、増幅器４２０を介してＳＰＤＩＦ受信回路２０４に供給される。この加算回路４１９の出力信号は、リザーブラインおよびＨＰＤラインを介して、ＳＰＤＩＦ信号が同相信号として送信されてくる場合には、当該ＳＰＤＩＦ信号となる。
「ＳＰＤＩＦ信号の詳細」
最初に、ＩＥＣ ６０９５８規格の概要について説明する。図８は、ＩＥＣ ６０９５８規格におけるフレーム構成を示している。各フレームは２つのサブフレームから構成される。２チャネルステレオ音声の場合、１つ目のサブフレームに左チャネル信号が含まれ、２つ目のサブフレームに右チャネル信号が含まれる。
サブフレームの先頭には後述するようにプリアンブルが設けられ、左チャネル信号にはプリアンブルとして「Ｍ」が、右チャネル信号にはプリアンブルとして「Ｗ」が付与される。ただし、１９２フレーム毎に先頭のプリアンブルにはブロックの開始を表す「Ｂ」が付与される。すなわち、１ブロックは１９２フレームにより構成される。ブロックは、後述するチャネルステータスを構成する単位である。
図９は、ＩＥＣ ６０９５８規格におけるサブフレーム構成を示している。サブフレームは、第０乃至第３１の計３２のタイムスロットから構成される。第０乃至第３タイムスロットは、プリアンブル（Sync preamble）を示す。このプリアンブルは、上述のように左右チャネルの区別やブロックの開始位置を表すために、「Ｍ」、「Ｗ」または「Ｂ」の何れかを示す。
第４乃至第２７タイムスロットはメインデータフィールドであり、２４ビットコードレンジが採用される場合には全体がオーディオデータを表す。また、２０ビットコードレンジが採用される場合には第８乃至第２７タイムスロットがオーディオデータ（Audio sample word）を表す。後者の場合、第４乃至第７タイムスロットは追加情報（Auxiliary sample bits）として利用することができる。図示の例は、後者の場合を示している。
第２８タイムスロットは、メインデータフィールドの有効フラグ（Validity flag）である。第２９タイムスロットは、ユーザデータ（User data）の１ビット分を表す。各フレームにまたがってこの第２９タイムスロットを累積することによって一連のユーザデータを構成することができる。このユーザデータのメッセージは８ビットの情報ユニット（ＩＵ：Information Unit）を単位として構成され、１つのメッセージには３乃至１２９個の情報ユニットが含まれる。
情報ユニット間には０乃至８ビットの「０」が存在し得る。情報ユニットの先頭は開始ビット「１」により識別される。メッセージ内の最初の７個の情報ユニットは予約されており、８個目以降の情報ユニットにユーザは任意の情報を設定することができる。メッセージ間は８ビット以上の「０」により分割される。
第３０タイムスロットは、チャネルステータス（Channel status）の１ビット分を表す。各フレームにまたがってブロック毎に第３０タイムスロットを累積することによって一連のチャネルステータスを構成することができる。なお、ブロックの先頭位置は、上述のように、「Ｂ」のプリアンブル（第０乃至第３タイムスロット）により示される。
第３１タイムスロットは、パリティビット（Parity bit）である。第４乃至第３１タイムスロットに含まれる「０」および「１」の数が偶数になるように、このパリティビットが付与される。
図１０は、ＩＥＣ ６０９５８規格における信号変調方式を示している。サブフレームのうちプリアンブルを除く第４乃至第３１タイムスロットがバイフェーズマーク変調される。このバイフェーズマーク変調の際には、元の信号（ソースコーディング）の２倍速のクロックが用いられる。元の信号のクロックサイクルを前半と後半に分けると、前半のクロックサイクルのエッジで、バイフェーズマーク変調の出力は必ず反転する。また、後半クロックサイクルのエッジにおいて、元の信号が「１」を示しているときには反転し、元の信号が「０」を示しているときには反転しない。これにより、バイフェーズマーク変調された信号から元の信号におけるクロック成分を抽出できることになる。
図１１は、ＩＥＣ ６０９５８規格におけるプリアンブルのチャネルコーディングを示している。上述のように、サブフレームのうち第４乃至第３１タイムスロットはバイフェーズマーク変調される。一方、第０乃至第３タイムスロットのプリアンブルは通常のバイフェーズマーク変調ではなく、２倍速のクロックに同期したビットパターンとして扱われる。すなわち、第０乃至第３タイムスロットの各タイムスロットに２ビットずつ割り当てることにより、同図のような８ビットパターンを得る。
直前の状態が「０」であれば、プリアンブル「Ｂ」には「１１１０１０００」が、「Ｍ」には「１１１０００１０」が、「Ｗ」には「１１００１００」がそれぞれ割り当てられる。一方、直前の状態が「１」であれば、プリアンブル「Ｂ」には「０００１０１１１」が、「Ｍ」には「０００１１１０１」が、「Ｗ」には「０００１１０１１」がそれぞれ割り当てられる。
この実施の形態においては、ＩＥＣ ６０９５８規格を基礎とするマルチチャネル伝送フォーマットを利用して、上述のマルチチャネルオーディオ信号および所定チャネル数の触覚振動信号を同時に伝送する。
まず、マルチチャネル伝送フォーマットについて説明する。図１２は、マルチチャネル伝送フォーマットにおけるフレーム構成の一例を示している。ＩＥＣ ６０９５８規格では、１９２フレームで１つのブロックが構成されるが、この１９２フレームは所定数のサブフレームからなるマルチチャネルグループ（Multichannel group）の繰り返しからなる。それぞれのサブフレーム部分はマルチチャネルオーダを構成している。マルチチャネルグループに含めるサブフレームの数を幾つにするかは、ブロック毎に構成されるチャネルステータスの所定ビット領域を用いて示すことができる。
また、マルチチャネルグループ内に、それぞれマルチチャネルオーディオ信号を伝送するための１つまたは複数のマルチチャネルサブグループが形成される。マルチチャネルサブグループは、１つまたは複数のマルチチャネルオーダからなる。このマルチチャネルサブグループを構成するそれぞれのマルチチャネルオーダにマルチチャネルオーディオ信号の各チャネルの信号が順次配置される。マルチチャネルグループ内に如何なるマルチチャネルサブグループが形成されるかは、ブロック毎に構成されるチャネルステータスの所定ビット領域を用いて示すことができ、また、所定数のフレームのユーザデータビットを用いても示すことができる。
図示の例においては、１つのマルチチャネルグループが８サブフレーム、つまりマルチチャネルオーダ１～８で構成されている。また、マルチチャネルグループ内に、マルチチャネルサブグループ１～４の４つのマルチチャネルサブグループが形成されている。
マルチチャネルサブグループ１は、マルチチャネルオーダ１～３からなり、それぞれのマルチチャネルオーダに３チャネルのマルチチャネルオーディオ信号の各チャネルの信号（チャネル番号６５，６６，６７の信号）が順に配置されている。ここで、チャネル番号６５はフロントレフト（ＦＬ）を示し、チャネル番号６６はフロントライト（ＦＲ）を示し、チャネル番号６７はフロントセンター（ＦＣ）を示す。
また、マルチチャネルサブグループ２は、マルチチャネルオーダ４～５からなり、それぞれのマルチチャネルオーダに２チャネルのマルチチャネルオーディオ信号の各チャネルの信号（チャネル番号７７，７８の信号）が順に配置されている。ここで、チャネル番号７７はハイフロントレフト（ＨＦＬ）を示し、チャネル番号７８はフロントライト（ＨＦＲ）を示す。
また、マルチチャネルサブグループ３は、マルチチャネルオーダ６からなり、そのマルチチャネルオーダに１チャネルのマルチチャネルオーディオ信号（チャネル番号８０の信号）が配置されている。ここで、チャネル番号８０はオーバーヘッドセンター（ＯｈＣ）を示す。
また、マルチチャネルサブグループ４は、マルチチャネルオーダ７～８からなり、そのマルチチャネルオーダに２チャネルのマルチチャネルオーディオ信号（チャネル番号６５，６６の信号）が順に配置されている。
マルチチャネルグループ内に形成されるマルチチャネルサブグループの指定の仕方について説明する。マルチチャネルサブグループの指定方法として、例えば、以下の第１～第３の方法がある。
第１の方法は、ブロック毎に構成されるチャネルステータスのビット６３～６０に格納されるマルチチャネルコンフィグレーションの情報により、マルチチャネルサブグループを直接指定する方法である。ここで、マルチチャネルコンフィグレーションは、予め所定のオーディオチャネルが組み合わせられたオーディオチャネルセットを示すものである。この第１の方法では、予め所定のオーディオチャネルが組み合わせられたオーディオチャネルセットしか指定することができない。
第２の方法は、ブロック毎に構成されるチャネルステータスのビット１６５～１９１に格納されるマルチチャネルマップを利用し、該当するチャネルにあたるビットに１を立てることでチャネルサブグループを指定する方法である。この第２の方法では、任意のオーディオチャネルを組み合わせたオーディオチャネルセットを指定できるが、送信順はマルチチャネルマップに出てくる順番となり、任意の送信順とすることはできない。
図１３は、ＩＥＣ ６０９５８規格におけるチャネルステータスのフォーマットを概略的に示している。チャネルステータスは、サブフレームにおける第３０タイムスロットをブロック毎に累積したものである（図９参照）。この図では、チャネルステータスの内容が縦方向に１バイトずつ配置され、横方向には各バイトにおけるビット構成が示されている。なお、ここでは、民生用（Consumer use）のフォーマットを想定して説明する。
第０ビット（bit 0）aは“０”とされ、このチャンネルステータスが民生用であることを示す。また、第１ビット（bit 1）ｂは“０”とされ、リニアＰＣＭのサンプルであることを示す。また、第６および７ビット（bit 6-7）は、チャネルステータスのモードを示す。
また、第４４ビット乃至第４７ビット（bit 44-47）は、「Multichannel Count」の４ビットフィールドを構成しており、マルチチャネルグループに含めるサブフレームの数が示される。例えば、“００００”は２ｃｈ ＬＰＣＭ、つまりマルチチャネルグループに含めるサブフレームの数が２であることを示し、“１０１１”は６４ｃｈ ＬＰＣＭ、つまりマルチチャネルグループに含めるサブフレームの数が６４であることを示し、“１１００”は３２ｃｈ ＬＰＣＭ、つまりマルチチャネルグループに含めるサブフレームの数が３２であることを示し、“１１０１”は１６ｃｈ ＬＰＣＭ、つまりマルチチャネルグループに含めるサブフレームの数が１６であることを示し、“１１１０”は８ｃｈ ＬＰＣＭ、つまりマルチチャネルグループに含めるサブフレームの数が８であることを示し、さらに“１１１１”は４ｃｈ ＬＰＣＭ、つまりマルチチャネルグループに含めるサブフレームの数が４であることを示す。
また、第５３ビット乃至第６０ビットは、「Multichannel configuration value」の８ビットフィールドを構成しており、第１の方法によるマルチチャネルサブグループの指定に用いられるマルチチャネルコンフィグレーションの値を示す。
図１４は、マルチチャネルコンフィグレーションの値と、それで示されるオーディオチャネルセットとの対応関係を示している。それぞれのオーディオチャンネルセットは、ＩＳＯ/ＩＥＣ ２３００１-８ ２０１６で決められたものであり、マルチチャンネルコンフィグレーションの値で識別される。なお、図１４には示されていないが、ＩＴＵ-Ｒ ＢＳ.２０９４-１で規定されているオーディオチャンネルセットやＩＥＣ独自のオーディオチャンネルセットを指定することも可能である。
マルチチャネルコンフィグレーションの値が“１０００００００”であれば、チャネルコンフィグレーション１（ChannelConfiguration 1）であるオーディオチャンネルセット（マルチチャネルサブグループ）が存在し、このオーディオチャンネルセットは「６７：ＦＣ」のオーディオチャネルのみで構成されることを示す。また、マルチチャネルコンフィグレーションの値が“０１００００００”であれば、チャネルコンフィグレーション２（ChannelConfiguration 2）であるオーディオチャンネルセット（マルチチャネルサブグループ）が存在し、このオーディオチャンネルセットは「６５：ＦＬ」、「６６：ＦＲ」のオーディオチャネルで構成され、この順番で送信されることを示す。
また、マルチチャネルコンフィグレーションの値が“１１００００００”であれば、チャネルコンフィグレーション３（ChannelConfiguration 3）であるオーディオチャンネルセット（マルチチャネルサブグループ）が存在し、このオーディオチャンネルセットは「６５：ＦＬ」、「６６：ＦＲ」、「６７：ＦＣ」のオーディオチャネルで構成され、この順番で送信されることを示す。また、マルチチャネルコンフィグレーションの値が“００１０００００”であれば、チャネルコンフィグレーション４（ChannelConfiguration 4）であるオーディオチャンネルセット（マルチチャネルサブグループ）が存在し、このオーディオチャンネルセットは「６５：ＦＬ」、「６６：ＦＲ」、「６７：ＦＣ」、「１８４：ＭＳ」のオーディオチャネルで構成され、この順番で送信されることを示す。
また、マルチチャネルコンフィグレーションの値が“１０１０００００”であれば、チャネルコンフィグレーション５（ChannelConfiguration 5）であるオーディオチャンネルセット（マルチチャネルサブグループ）が存在し、このオーディオチャンネルセットは「６５：ＦＬ」、「６６：ＦＲ」、「６７：ＦＣ」、「６９：ＬＳ」、「７０：ＲＳ」のオーディオチャネルで構成され、この順番で送信されることを示す。
また、マルチチャネルコンフィグレーションの値が“０１１０００００”であれば、チャネルコンフィグレーション６（ChannelConfiguration 6）であるオーディオチャンネルセット（マルチチャネルサブグループ）が存在し、このオーディオチャンネルセットは「６５：ＦＬ」、「６６：ＦＲ」、「６７：ＦＣ」、「６８：ＬＦＥ」、「６９：ＬＳ」、「７０：ＲＳ」のオーディオチャネルで構成され、この順番で送信されることを示す。
また、マルチチャネルコンフィグレーションの値が“１１１０００００”であれば、チャネルコンフィグレーション７（ChannelConfiguration 7）であるオーディオチャンネルセット（マルチチャネルサブグループ）が存在し、このオーディオチャンネルセットは「６５：ＦＬ」、「６６：ＦＲ」、「６７：ＦＣ」、「６８：ＬＦＥ」、「６９：ＬＳ」、「７０：ＲＳ」、「１０９：ＦＬｍｉｄ」、「１１０：ＦＲｍｉｄ」のオーディオチャネルで構成され、この順番で送信されることを示す。
ここで、６５，６６，６７，６８，６９，７０，１０９，１１０などの番号は、第２の方法で使用されるマルチチャネルマップで決められるオーディオチャネル特有の番号であり、それぞれ特定のスピーカに対応している。例えば、フロントレフトスピーカは６５番、フロントライトスピーカは６６番である。この番号は、第３の方法でも使用される。これらのスピーカ位置、番号はＩＴＵ-Ｒ ＢＳ.２０９４-１, ＩＳＯ/ＩＥＣ ２３００１-８を元にＩＥＣ ６２５７４で決められているが、それに限定されるものではなく、その他に独自にアサインするチャンネルがあってもよい。なお、マルチチャンネルコンフィグレーション値が“００００００００”の場合は、第１の方法で指定されたオーディオチャンネルセット（マルチチャネルサブグループ）は存在しないことを示す。
図１３に戻って、第６４ビット（bit 64）は、第６５ビットから第１９１ビットのマルチチャネルマップが利用されて、オーディオチャンネルセット（マルチチャネルサブグループ）の指定がされているか否かを示す。例えば、“０”は指定されていないことを示し、“１”は指定されていることを示す。第６５ビットから第１９１ビットのマルチチャネルマップにおいては、ビット番号がそのままチャネル特有の番号に対応するようにされている。
例えば、第６５ビットは「６５：ＦＬ」のオーディオチャネルに対応し、第２の方法で指定されるオーディオチャンネルセットに、この「６５：ＦＬ」のオーディオチャネルを含める場合には、この第６５ビットに１が立てられる。詳細説明は省略するが、第２の方法で指定されるオーディオチャンネルセットにその他のオーディオチャネルを含める場合も、同様にして行われる。
第３の方法は、連続する所定数のフレームのユーザデータビットを用いて、マルチチャネルサブグループを指定する方法である。この第３の方法では、任意のオーディオチャネルを組み合わせたオーディオチャネルセットを指定でき、各オーディオチャネルの送信順も任意に設定できる。
第３の方法は、ユーザデータビットを利用してマルチチャンネルコンフィグレーション情報をパケット化してエンベデッドするという方法である。この場合、まず、高さ毎のスピーカの数を特定するパケットを送る。図１５は、そのパケットの一例を示している。ここで、高さの種類は、「Ｏｖｅｒｈｅａｄ」、「Ｈｉｇｈ」、「Ｍｉｄｄｌｅ」、「Ｂｏｔｔｏｍ」、「ＬＦＥ」である。それぞれのレイヤにスピーカがトータルいくつ配置されているか規定する。この仕組みをパケット内で繰り返すことにより複数個のマルチチャンネルサブグループを構成できる。次に、マルチチャンネルグループ内の送信順に対して何番のオーディオチャンネルを送信するかを指定するパケットを送る。図１６は、そのパケットの一例を示している。
この第３の方法は、オーディオチャンネルセット（マルチチャネルサブグループ）を指定する方法として最も自由度が高く、特定のオーディオチャネルを特定の順で送信することが可能で、また、複数回送信することも可能である。
図１７は、上述の図１２に示すマルチチャネル伝送フォーマットにおけるフレーム構成の一例における、マルチチャネルグループ１～４の指定方法の具体例を示している。マルチチャネルサブグループ１は、第１の方法で指定される。この場合、チャネルステータスの第５３ビット乃至第６０ビットの「Multichannel configuration value」の値が“１１００００００”とされ、「６５：ＦＬ」、「６６：ＦＲ」、「６７：ＦＣ」で構成されるオーディオチャンネルセット（マルチチャネルサブグループ）の存在が示される（図１４参照）。
また、マルチチャネルサブグループ２は、第２の方法で指定される。この場合、チャネルステータスの第６４ビットが“１”とされてマルチチャネルマップ利用の第２の方法で指定されるオーディオチャンネルセット（マルチチャネルサブグループ）の存在が示され、さらに第７７ビットおよび第７８ビットに１が立てられて、このオーディオチャンネルセット（マルチチャネルサブグループ）は、「７７：ＨＦＬ」、「７８：ＨＦＲ」のオーディオチャンネルがこの順に含まれた構成であることが示される。
また、マルチチャネルサブグループ３，４は、第３の方法で指定される。この場合、マルチチャネルサブグループ３に関しては、高さ毎のスピーカの数を特定するパケット（図１５参照）にオーバーヘッドスピーカの数が１個で構成されることが示され、何番のオーディオチャンネルを送信するかを指定するパケット（図１６参照）で「８０：ＯｈＣ」のオーディオチャネルが示される。
また、マルチチャネルサブグループ４に関しては、高さ毎のスピーカの数を特定するパケット（図１５参照）にボトムスピーカの数が２個で構成されることが示され、何番のオーディオチャンネルを送信するかを指定するパケット（図１６参照）で「６５：ＦＬ」、「６６：ＦＲ」のオーディオチャネルが示される。
この実施の形態においては、上述の第１から第３の方法で指定されるマルチチャネルサブグループを利用して、マルチチャネルオーディオ信号と所定チャネル数の触覚振動信号を同時に伝送する。なお、ＩＳＯ/ＩＥＣ ２３００１-８ ２０１６に現時点では触覚振動信号を含むセットは定義されていない。しかし、将来定義されれば、第１の方法でマルチチャネルオーディオ信号と所定チャネル数の触覚振動信号を同時に伝送するためのマルチチャネルサブグループを指定することも可能である。
また、第２の方法でマルチチャネルオーディオ信号と所定チャネル数の触覚振動信号を同時に伝送するマルチチャネルサブグループを指定するために、チャネルステータスのマルチチャネルマップを構成する第６５ビット乃至第１９１ビットのうち、未定義のビットに、触覚振動信号を新たに定義することが考えられる。この実施の形態においては、例えば、図１３に示すように、第１２０乃至１２２ビットに、触覚振動信号が定義される。
マルチメディア信号の一種である触覚振動信号は人体に取り付けたアクチュエータを振動させる用途の信号である。この触覚振動信号は、非圧縮オーディオ信号伝送路を利用して伝送できるものの、信号は低域に偏っており。場合によっては圧力を表すため直流成分を含む場合がある。
この触覚振動信号を旧来のオーディオアンプで再生すると、正しく再生できなかったり、増幅素子を熱によるダメージ等で破損したり、スピーカがつながっていた場合、最悪ボイスコイルが断線したりする。この問題を回避するために、触覚振動信号に独自のチャネル番号を振り当ててオーディオチャンネル信号と区別する。例えば、右腕振動信号を１２０番とし、マルチチャネルマップの第１２０ビットに定義する。また、例えば、左腕振動信号を１２１番とし、マルチチャネルマップの第１２１ビットに定義する。また、両足振動信号を１２２番とし、マルチチャネルマップの第１２２ビットに定義する。なお、触覚振動信号は、これらに限定されるものではなく、それらの触覚振動信号に関しても、独自の番号を振り当ててオーディオチャンネル信号と区別すればよい。
また、上述の第２の方法で決めた触覚振動信号のチャネル番号を利用して、第３の方法で、マルチチャネルオーディオ信号と所定チャネル数の触覚振動信号を同時に伝送するためのマルチチャネルサブグループを指定することも可能である。あるいは、この第３の方法独自に触覚振動信号のチャネル番号を決めて独自に運用することも可能である。
なお、マルチチャネルオーディオ信号と所定チャネル数の触覚振動信号を同時に伝送するためのマルチチャネルサブグループの指定はブロック（１９２フレーム）毎に変更することが可能であり、時分割とすることで、マルチチャネルサブグループに割り当てられた触覚振動信号のチャネル数以上のチャネルの触覚振動信号を、伝送することも可能となる。例えば、ユーザの全身に多数の振動ユニットを付けて、下から１秒ごとに上へと振動させていく場合などが考えられる。
図１８は、マルチチャネルオーディオ信号と所定チャネル数の触覚振動信号を同時に伝送する場合のマルチチャネル伝送フォーマットのフレーム構成の一例を示している。この図１８のフレーム構成は、詳細説明は省略するが、全体としては、図１２のフレーム構成と同様である。
この例においては、８サブフレーム、つまりマルチチャネルオーダ１～８で構成されているマルチチャネルグループ内に、マルチチャネルサブグループ１の１つのマルチチャネルサブグループが形成されている。そして、この例は、その１つのマルチチャネルサブグループによって、図１９に示すような、５．１チャネルオーディオと２チャネルの触覚振動信号を伝送する例である。
マルチチャネルサブグループ１を構成するマルチチャネルオーダ１～８に、マルチチャネルオーディオ信号と所定チャネル数の触覚振動信号の各チャネルの信号（チャネル番号６５，６６，６７，６８，６９，７８，１２０，１２１の信号）が順に配置されている。
ここで、チャネル番号６５～７０はマルチチャネルオーディオ信号を構成する各オーディオチャネルを表し、「６５」はフロントレフト（ＦＬ）を示し、「６６」はフロントライト（ＦＲ）を示し、「６７」はフロントセンター（ＦＣ）を示し、「６８」はＬＦＥを示し、「６９」はレフトサラウンドを示し、「７０」はライトサラウンドを示す。また、チャネル番号１２０，１２１は触覚振動信号の各チャネルを表し、「１２０」はレフトハンド（右腕振動信号）を示し、「１２１」はライトハンド（左腕信号信号）を示す。
なお、図１８のフレーム構成では、マルチチャネルグループ内に１つのマルチチャネルサブグループが形成される例を示したが、マルチチャネルグループ内に複数のマルチチャネルサブグループを形成することも考えられ、また、全てにマルチチャネルオーディオ信号と所定チャネル数の触覚振動信号の各チャネルの信号が順に配置される場合だけでなく、一部のマルチチャネルサブグループに、マルチチャネルオーディオ信号の各チャネルの信号のみが配置される場合、あるいは所定チャネル数の触覚振動信号の各チャネルの信号のみが配置される場合も考えられる。
マルチチャネルオーディオ信号と所定チャネル数の触覚振動信号の各チャネルの信号を順に配置するマルチチャネルサブグループの指定も、上述の第１～第３の方法により行うことができる。この場合の指定情報は、マルチチャネルオーディオ信号および所定チャネル数の触覚振動信号の構成情報ともなる。この構成情報には、触覚振動信号をオーディイオ信号と区別するための識別情報が含まれる。また、この識別情報には、所定チャネル数の触覚振動信号のそれぞれが対象とする振動位置の情報が含まれる。
図２０は、上述の図１８に示すマルチチャネル伝送フォーマットにおけるフレーム構成の一例における、マルチチャネルサブグループ１が、第２の方法で指定される場合について示している。この場合、チャネルステータス（図１３参照）の第６４ビットが“１”とされてマルチチャネルマップ利用の第２の方法で指定されるマルチチャネルサブグループの存在が示される。
そして、チャネルステータスの第６５ビット乃至第７０ビットおよび第１２０ビット乃至第１２１ビットに１が立てられて、このマルチチャネルサブグループは、「６５：ＦＬ」、「６６：ＦＲ」、「６７：ＦＣ」、「６８：ＬＦＥ」、「６９：ＬＳ」、「７０：ＲＳ」のオーディオチャンネルがこの順に含まれ、さらに、「１２０：Ｌｅｆｔ Ｈａｎｄ」、「１２１：Ｌｅｆｔ Ｈａｎｄ」の触覚振動信号のチャネルがこの順に含まれた構成であることが示される。
上述したように、図１に示すＡＶシステム１０においては、所定チャネル数のオーディオ信号と所定チャネル数の触覚振動信号を含む、１９２フレームからなるブロック毎の信号を、テレビ受信機１００からオーディオアンプ２００に、ＨＤＭＩケーブル３００を介して、送信するものである。そのため、テレビ受信機１００からオーディオアンプ２００に、触覚振動信号をオーディオ信号と同期して良好に伝送できる。
また、図１に示すＡＶシステム１０においては、ブロックを構成する１９２フレームを所定数のサブフレームからなるマルチチャネルグループの繰り返しとし、そのマルチチャネルグループ内に形成された、チャネルステータスの所定ビット領域あるいは連続する所定数のユーザデータビットで指定された構成のマルチチャネルサブグループに、マルチチャネルオーディオ信号（所定チャネル数のオーディオ信号）と所定チャネル数の触覚振動信号の各チャネルの信号を順に配置して送信するものである。そのため、受信側であるオーディオアンプ２００では、所定チャネル数のオーディオ信号と所定チャネル数の触覚振動信号を、チャネルステータスの所定ビット領域あるいは連続する所定数のユーザデータビットから取得される構成情報に基づいて、簡単かつ適切に取得できる。
また、図１に示すＡＶシステム１０においては、上述の構成情報は同時に送信されるマルチチャネルオーディオ信号と所定チャネル数の触覚振動信号とを区別し得る識別情報を含むものである。そのため、受信側であるオーディオアンプ２００では、同時に送信されるマルチチャネルオーディオ信号と所定チャネル数の触覚振動信号から、それぞれの信号を区別して取得でき、従って例えば触覚振動信号が誤ってオーディオ信号の再生系に供給される等の誤動作を防止できる。
また、図１に示すＡＶシステム１０においては、複数チャネルの触覚振動信号を送信する場合、上述の構成情報はそれぞれのチャネルの触覚振動信号が対象とする振動位置の情報を含むものである。そのため、受信側であるオーディオアンプ２００では、それぞれのチャネルの触覚振動信号により対象とする振動位置の振動デバイスを適切に振動させることが可能となる。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
＜２．変形例＞
なお、上述実施の形態においては、テレビ受信機１００がオーディオアンプ２００に送信する触覚振動信号は放送コンテンツ、ネットコンテンツあるいは再生コンテンツに含まれているものであった。しかし、それらのコンテンツに触覚振動信号が含まれていない場合、オーディオ信号に関連するメディア信号、例えばコンテンツに含まれるオーディオ信号やビデオ信号を分析して触覚振動信号を生成して利用することも考えられる。
図２１は、その場合におけるＡＶシステム１０Ａの構成例を示している。この図２１において、図１と対応する部分には、同一符号を付し、適宜その詳細説明は省略する。テレビ受信機１００は触覚振動信号生成部１１１をさらに有するものとされる。この触覚振動信号生成部１１１は、コンテンツ再生回路１０８から入力されるオーディオ信号やビデオ信号を分析して触覚振動信号を生成してＳＰＤＩＦ送信回路１０４に供給する。テレビ受信機１００のその他は、図１のＡＶシステム１０のテレビ受信機１００と同様に構成される。
なお、コンテンツに例えばＭＩＤＩ（Musical Instrument Digital Interface）のような振動指示信号が含まれる場合、触覚振動信号生成部１１１は、その振動指示信号に基づいて触覚振動信号を生成することも考えられる。
また、上述していないが、触覚振動信号自体が多次元である場合も考えられる。例えば、触覚振動信号を構成するＸ軸、Ｙ軸、Ｚ軸の振動データ（図２２参照）を伝送する場合、それぞれ８ビットのデータでデジタル化し、図２３に示すように、ＩＥＣ ６０９５８-１のサブフレーム内の２４ビットスロットにアサインすることで伝送できる。サブフレームのうち、リニアＰＣＭではビット４からビット２７の合計２４ビットがオーディオチャネル伝送に使用されているが、８ビットずつに３分割して使用される。なお、例えば、Ｚ軸は皮膚に垂直で、Ｘ軸、Ｙ軸は皮膚に平行とされる。さらに、ビット配分は重み付けが可能で、Ｚ軸に１０ビット、Ｘ軸、Ｙ軸に７ビットのように不均一にあてがってもよい。
図２３に示すように２４ビットスロットを３分割して使用する場合、Ｚ軸しか駆動しないデバイスでも、この２４ビットデータであれば、下位をノイズと見なして1次元の場合と互換性をもってドライブできる。また、この場合、指一本一本にチャネルを割り当てたり、より細かい接触平面を構成するよう分割したりすることができる。
また、上述していないが、図２４に示すように、ユーザを覆うような立方体の空間を考え、この立方体のａ～ｈの各頂点における触覚振動信号を代表として送信し、この立方体の空間に含まれる実際の駆動点における触覚振動信号を各頂点における触覚振動信号から線形補完などにより求めることも考えられる。この場合の各頂点における触覚振動信号の信号名としては、前方右上コーナー、後方下左コーナー等が考えられる。
また、上述していないが、図１２に示すマルチチャネル伝送フォーマットの信号の記録再生に対応している機器であれば、図１８に示すマルチチャネルオーディオ信号および所定チャネル数の触覚振動信号を含むマルチチャネル伝送フォーマットの信号も同様に記録再生できる。
また、上述実施の形態においては、触覚振動信号をオーディオ信号と同時に伝送する例を示した。同様に、発話対応ロボティクスマシンコントロール信号、あるいはオーディオマイク信号に各種センサ信号をパックして同時に伝送する場合にも、本技術を適用できる。また、車のエンジン音と温度センサデータなどの一括同期伝送にも、本技術を適用できる。
なお、上述実施の形態においては、ＩＥＣ ６０９５８伝送路としてＨＤＭＩ ＡＲＣを利用する例を示したが、ＩＥＣ ６０９５８伝送路として、同軸ケーブルや光ケーブルを利用する例も考えられる。また、ＩＥＣ ６０９５８伝送路として、ＨＤＭＩ伝送路を利用する例も考えられる。この場合、ＳＰＤＩＦ信号（IEC 60958信号）はオーディオサンプルパケット（audio sample packet）にマッピングされ、ビデオ伝送と同じ順方向に伝送される。同様に、ＩＥＣ ６０９５８伝送路として、ＩＥＣ ６１８８３－６伝送路、ＭＨＬ伝送路、ディスプレイポート伝送路（ＤＰ伝送路）などを利用する例も考えられる。これらの場合も、ＳＰＤＩＦ信号（IEC 60958信号）はオーディオサンプルパケット（audio sample packet）にマッピングされ、ビデオ伝送と同じ順方向に伝送される。
また、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、技術は、以下のような構成もとることができる。
（１）複数フレームからなるブロック毎の伝送信号を順次所定伝送路を介して受信側に送信する送信部を備え、
上記伝送信号は、所定チャネル数のオーディオ信号と所定チャネル数の触覚振動信号を含む
送信装置。
（２）上記伝送信号に、上記所定チャネル数のオーディオ信号と上記所定チャネル数の触覚振動信号の構成情報を付加する情報付加部をさらに備える
前記（１）に記載の送信装置。
（３）上記構成情報は、上記触覚振動信号を上記オーディイオ信号と区別するための識別情報を含む
前記（２）に記載の送信装置。
（４）上記識別情報は、上記所定チャネル数の触覚振動信号のそれぞれが対象とする振動位置の情報を含む
前記（３）に記載の送信装置。
（５）上記情報付加部は、上記ブロック毎に構成されるチャネルステータスの所定ビット領域を用いて上記構成情報を付加する
前記（２）から（４）のいずれかに記載の送信装置。
（６）上記情報付加部は、連続する所定数のフレームのユーザデータビットを用いて上記構成情報を付加する
前記（２）から（５）のいずれかに記載の送信装置。
（７）上記複数フレームは、所定数のフレームからなるマルチチャネルグループの繰り返しで構成され、
上記送信部は、上記所定チャネル数のオーディオ信号および上記所定チャネル数の触覚振動信号を、上記マルチチャネルグループ毎に、上記所定数のフレームの全部または一部にチャネル別に時分割的に配置して送信する
前記（１）から（６）のいずれかに記載の送信装置。
（８）上記オーディオ信号に関連するメディア信号に基づいて上記触覚振動信号を生成する処理部をさらに備える
前記（１）から（７）のいずれかに記載の送信装置。
（９）上記所定伝送路は、同軸ケーブル、光ケーブル、イーサネット（ＩＥＣ ６１８８３－６）ケーブル、ＨＤＭＩケーブル、ＭＨＬケーブルまたはディスプレイポートケーブルである
前記（１）から（８）のいずれかに記載の送信装置。
（１０）複数フレームからなるブロック毎の伝送信号を順次所定伝送路を介して受信側に送信する手順を有し、
上記伝送信号は、所定チャネル数のオーディオ信号と所定チャネル数の触覚振動信号を含む
送信方法。
（１１）複数フレームからなるブロック毎の伝送信号を送信側から順次所定伝送路を介して受信する受信部を備え、
上記伝送信号は、所定チャネル数のオーディオ信号と所定チャネル数の触覚振動信号を含む
受信装置。
（１２）上記伝送信号を処理して上記所定チャネル数のオーディオ信号と上記所定チャネル数の触覚振動信号を出力する処理部をさらに備える
前記（１１）に記載の受信装置。
（１３）上記伝送信号は上記所定チャネル数のオーディオ信号と上記所定チャネル数の触覚振動信号の構成情報を含み、
上記処理部は、上記構成情報に基づいて上記伝送信号を処理して、上記所定チャネル数のオーディオ信号と上記所定チャネル数の触覚振動信号を出力する
前記（１２）に記載の受信装置。
（１４）上記構成情報は、上記ブロック毎に構成されるチャネルステータスの所定ビット領域を用いて付加されている
前記（１３）に記載の受信装置。
（１５） 上記構成情報は、連続する所定数のフレームのユーザデータビットを用いて付加されている
前記（１３）または（１４）に記載の受信装置。
（１６）上記複数フレームは、所定数のフレームからなるマルチチャネルグループの繰り返しで構成され、
上記所定チャネル数のオーディオ信号および上記所定チャネル数の触覚振動信号は、上記マルチチャネルグループ毎に、上記所定数のフレームの全部または一部にチャネル別に時分割的に配置されている
前記（１１）から（１５）のいずれかに記載の受信装置。
（１７）上記所定伝送路は、同軸ケーブル、光ケーブル、イーサネット（ＩＥＣ ６１８８３－６）ケーブル、ＨＤＭＩケーブル、ＭＨＬケーブルまたはディスプレイポートケーブルである
前記（１１）から（１６）のいずれかに記載の受信装置。
（１８）複数フレームからなるブロック毎の伝送信号を送信側から順次所定伝送路を介して受信する手順を有し、
上記伝送信号は、所定チャネル数のオーディオ信号と所定チャネル数の触覚振動信号を含む
受信方法。
１０，１０Ａ・・・・ＡＶシステム
１００・・・テレビ受信機
１０１・・・ＨＤＭＩ端子
１０２・・・ＨＤＭＩ受信部
１０３・・・高速バスインタフェース
１０４・・・ＳＰＤＩＦ送信回路
１０５・・・システムコントローラ
１０７・・・デジタル放送受信回路
１０８・・・コンテンツ再生回路
１０９・・・表示部
１１０・・・イーサネットインタフェース
１１１・・・触覚振動信号生成部
１２１・・・受信アンテナ
１２２・・・ＢＤプレーヤ
１２３・・・インターネット
２００・・・オーディオアンプ
２０１・・・ＨＤＭＩ端子
２０２・・・ＨＤＭＩ送信部
２０３・・・高速バスインタフェース
２０４・・・ＳＰＤＩＦ受信回路
２０５・・・システムコントローラ
２０８・・・オーディオアンプ
２０９・・・振動アンプ
２１０・・・イーサネットインタフェース
２５０・・・スピーカシステム
２６０・・・振動システム
３００・・・ＨＤＭＩケーブル

Claims (9)

  1. １９２フレームで１つのブロックが構成され、上記１９２フレームは所定数のサブフレームからなるマルチチャネルグループの繰り返しからなるＩＥＣ ６０９５８規格を基礎とするマルチチャネル伝送フォーマットの、所定コンテンツに係る所定チャネル数のオーディオ信号と所定チャネル数の触覚振動信号を含む伝送信号を生成し、該伝送信号を所定伝送路を介して受信側に送信する送信部を備え、
    上記送信部は、
    上記所定チャネル数のオーディオ信号と上記所定チャネル数の触覚振動信号を、上記マルチチャネルグループ毎に、上記所定数のサブフレームの全部または一部にチャネル別に時分割的に配置し、
    上記ブロック毎に構成されるチャネルステータスの所定ビット領域、または連続する所定数のフレームのユーザデータビットを用いて、上記所定チャネル数のオーディオ信号と上記所定チャネル数の触覚振動信号の構成情報を付加する
    送信装置。
  2. 上記構成情報は、上記触覚振動信号を上記オーディオ信号と区別するための識別情報を含む
    請求項１に記載の送信装置。
  3. 上記識別情報は、上記所定チャネル数の触覚振動信号のそれぞれが対象とする振動位置の情報を含む
    請求項２に記載の送信装置。
  4. 上記オーディオ信号に関連するメディア信号に基づいて上記触覚振動信号を生成する処理部をさらに備える
    請求項１に記載の送信装置。
  5. 上記所定伝送路は、同軸ケーブル、光ケーブル、イーサネット（ＩＥＣ ６１８８３－６）ケーブル、ＨＤＭＩケーブル、ＭＨＬケーブルまたはディスプレイポートケーブルである
    請求項１に記載の送信装置。
  6. １９２フレームで１つのブロックが構成され、上記１９２フレームは所定数のサブフレームからなるマルチチャネルグループの繰り返しからなるＩＥＣ ６０９５８規格を基礎とするマルチチャネル伝送フォーマットの、所定コンテンツに係る所定チャネル数のオーディオ信号と所定チャネル数の触覚振動信号を含む伝送信号を生成し、該伝送信号を所定伝送路を介して受信側に送信する送信手順を有し、
    上記送信手順では、
    上記所定チャネル数のオーディオ信号と上記所定チャネル数の触覚振動信号を、上記マルチチャネルグループ毎に、上記所定数のサブフレームの全部または一部にチャネル別に時分割的に配置し、
    上記ブロック毎に構成されるチャネルステータスの所定ビット領域、または連続する所定数のフレームのユーザデータビットを用いて、上記所定チャネル数のオーディオ信号と上記所定チャネル数の触覚振動信号の構成情報を付加する
    送信方法。
  7. １９２フレームで１つのブロックが構成され、上記１９２フレームは所定数のサブフレームからなるマルチチャネルグループの繰り返しからなるＩＥＣ ６０９５８規格を基礎とするマルチチャネル伝送フォーマットの、所定コンテンツに係る所定チャネル数のオーディオ信号と所定チャネル数の触覚振動信号を含む伝送信号を送信側から所定伝送路を介して受信する受信部を備え、
    上記所定チャネル数のオーディオ信号と上記所定チャネル数の触覚振動信号は、上記マルチチャネルグループ毎に、上記所定数のサブフレームの全部または一部にチャネル別に時分割的に配置されており、
    上記ブロック毎に構成されるチャネルステータスの所定ビット領域、または連続する所定数のフレームのユーザデータビットを用いて、上記所定チャネル数のオーディオ信号と上記所定チャネル数の触覚振動信号の構成情報が付加されており、
    上記構成情報に基づいて上記伝送信号を処理して上記所定チャネル数のオーディオ信号と上記所定チャネル数の触覚振動信号を出力する処理部をさらに備える
    受信装置。
  8. 上記所定伝送路は、同軸ケーブル、光ケーブル、イーサネット（ＩＥＣ ６１８８３－６）ケーブル、ＨＤＭＩケーブル、ＭＨＬケーブルまたはディスプレイポートケーブルである
    請求項７に記載の受信装置。
  9. １９２フレームで１つのブロックが構成され、上記１９２フレームは所定数のサブフレームからなるマルチチャネルグループの繰り返しからなるＩＥＣ ６０９５８規格を基礎とするマルチチャネル伝送フォーマットの、所定コンテンツに係る所定チャネル数のオーディオ信号と所定チャネル数の触覚振動信号を含む伝送信号を送信側から所定伝送路を介して受信する受信手順を有し、
    上記所定チャネル数のオーディオ信号と上記所定チャネル数の触覚振動信号は、上記マルチチャネルグループ毎に、上記所定数のサブフレームの全部または一部にチャネル別に時分割的に配置されており、
    上記ブロック毎に構成されるチャネルステータスの所定ビット領域、または連続する所定数のフレームのユーザデータビットを用いて、上記所定チャネル数のオーディオ信号と上記所定チャネル数の触覚振動信号の構成情報が付加されており、
    上記構成情報に基づいて上記伝送信号を処理して上記所定チャネル数のオーディオ信号と上記所定チャネル数の触覚振動信号を出力する処理手順をさらに有する
    受信方法。
JP2020540227A 2018-08-30 2019-08-09 送信装置、送信方法、受信装置および受信方法 Active JP7439758B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018162146 2018-08-30
JP2018162146 2018-08-30
PCT/JP2019/031547 WO2020045044A1 (ja) 2018-08-30 2019-08-09 送信装置、送信方法、受信装置および受信方法

Publications (2)

Publication Number Publication Date
JPWO2020045044A1 JPWO2020045044A1 (ja) 2021-08-12
JP7439758B2 true JP7439758B2 (ja) 2024-02-28

Family

ID=69644915

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020540227A Active JP7439758B2 (ja) 2018-08-30 2019-08-09 送信装置、送信方法、受信装置および受信方法

Country Status (7)

Country Link
US (1) US11991473B2 (ja)
EP (1) EP3833039A4 (ja)
JP (1) JP7439758B2 (ja)
KR (1) KR20210049786A (ja)
CN (1) CN112585982B (ja)
TW (1) TWI802739B (ja)
WO (1) WO2020045044A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210106993A (ko) 2018-12-26 2021-08-31 소니그룹주식회사 송신 장치, 송신 방법, 수신 장치 및 수신 방법
WO2023008605A1 (ko) * 2021-07-28 2023-02-02 엘지전자 주식회사 영상표시장치

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004272698A (ja) 2003-03-10 2004-09-30 Japan Science & Technology Agency 振動通知装置および振動通知システム
US20060020474A1 (en) 2004-07-02 2006-01-26 Stewart William G Universal container for audio data
JP2011124925A (ja) 2009-12-14 2011-06-23 Sony Corp 出力制御装置、出力制御方法、プログラム、及び出力制御システム
JP2014204445A (ja) 2013-04-09 2014-10-27 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ オフラインハプティック変換システム
JP2015111417A (ja) 2013-11-14 2015-06-18 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ ハプティック空間化システム
JP2015185168A (ja) 2014-03-21 2015-10-22 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ ハプティック効果の自動チューニング
JP2015509308A5 (ja) 2012-12-18 2016-01-21

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7088224B2 (en) * 2003-03-11 2006-08-08 National Institute Of Advanced Industrial Science And Technology Audio information transmitting apparatus and the method thereof, and a vibrator holding structure
US8700791B2 (en) * 2005-10-19 2014-04-15 Immersion Corporation Synchronization of haptic effect data in a media transport stream
US9019087B2 (en) * 2007-10-16 2015-04-28 Immersion Corporation Synchronization of haptic effect data in a media stream
US10013857B2 (en) 2011-12-21 2018-07-03 Qualcomm Incorporated Using haptic technologies to provide enhanced media experiences
JP5390667B2 (ja) 2012-06-11 2014-01-15 株式会社東芝 映像送信機器及び映像受信機器
WO2014055329A1 (en) * 2012-10-01 2014-04-10 Internet Services, Llc System and method for synchronization of haptic data and media data
US10073523B2 (en) * 2014-12-23 2018-09-11 Immersion Corporation Position control of a user input element associated with a haptic output device
JP2018060313A (ja) 2016-10-04 2018-04-12 ソニー株式会社 受信装置および方法、送信装置および方法、並びにプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004272698A (ja) 2003-03-10 2004-09-30 Japan Science & Technology Agency 振動通知装置および振動通知システム
US20060020474A1 (en) 2004-07-02 2006-01-26 Stewart William G Universal container for audio data
JP2011124925A (ja) 2009-12-14 2011-06-23 Sony Corp 出力制御装置、出力制御方法、プログラム、及び出力制御システム
JP2015509308A5 (ja) 2012-12-18 2016-01-21
JP2014204445A (ja) 2013-04-09 2014-10-27 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ オフラインハプティック変換システム
JP2015111417A (ja) 2013-11-14 2015-06-18 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ ハプティック空間化システム
JP2015185168A (ja) 2014-03-21 2015-10-22 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ ハプティック効果の自動チューニング

Also Published As

Publication number Publication date
US11991473B2 (en) 2024-05-21
WO2020045044A1 (ja) 2020-03-05
TWI802739B (zh) 2023-05-21
CN112585982A (zh) 2021-03-30
EP3833039A1 (en) 2021-06-09
TW202015375A (zh) 2020-04-16
US20210297627A1 (en) 2021-09-23
KR20210049786A (ko) 2021-05-06
JPWO2020045044A1 (ja) 2021-08-12
EP3833039A4 (en) 2021-06-09
CN112585982B (zh) 2024-04-16

Similar Documents

Publication Publication Date Title
JP7396300B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP4785989B2 (ja) 映像音声送信装置および映像音声受信装置
JP7439758B2 (ja) 送信装置、送信方法、受信装置および受信方法
US10986070B2 (en) Transmission apparatus, transmission method, reception apparatus, and reception method
JP7452526B2 (ja) 送信装置、送信方法、受信装置および受信方法
US20230004340A1 (en) Transmission apparatus, transmission method, reception apparatus, and reception method
US12014709B2 (en) Transmission device, transmission method, reception device and reception method
US11942103B2 (en) Transmission apparatus, transmission method, reception apparatus, and reception method for transmitting and receiving an audio signal including a mixed signal simultaneously transmitted by mixing a compressed audio signal and a linear pulse code modulation signal
WO2019225449A1 (ja) 送信装置、送信方法、受信装置および受信方法
KR102012231B1 (ko) 데이터 전송 장치, 데이터 수신 장치, 데이터 송수신 시스템, 데이터 전송 방법, 데이터 수신 방법 및 데이터 송수신 방법
US11012736B2 (en) Transmission apparatus, transmission method, reception apparatus, and reception method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230822

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231017

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240129

R151 Written notification of patent or utility model registration

Ref document number: 7439758

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151