WO2016163327A1 - 送信装置、送信方法、受信装置および受信方法 - Google Patents

送信装置、送信方法、受信装置および受信方法 Download PDF

Info

Publication number
WO2016163327A1
WO2016163327A1 PCT/JP2016/060985 JP2016060985W WO2016163327A1 WO 2016163327 A1 WO2016163327 A1 WO 2016163327A1 JP 2016060985 W JP2016060985 W JP 2016060985W WO 2016163327 A1 WO2016163327 A1 WO 2016163327A1
Authority
WO
WIPO (PCT)
Prior art keywords
stream
decoding
audio
encoded
unit
Prior art date
Application number
PCT/JP2016/060985
Other languages
English (en)
French (fr)
Inventor
一彰 鳥羽
市村　元
敏 宮崎
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US15/563,341 priority Critical patent/US10477269B2/en
Priority to JP2017510973A priority patent/JP6904250B2/ja
Publication of WO2016163327A1 publication Critical patent/WO2016163327A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4398—Processing of audio elementary streams involving reformatting operations of audio signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/23—Reproducing arrangements
    • H04N1/2307—Circuits or arrangements for the control thereof, e.g. using a programmed control device, according to a measured quantity
    • H04N1/2315—Circuits or arrangements for the control thereof, e.g. using a programmed control device, according to a measured quantity according to characteristics of the reproducing apparatus, e.g. capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/23—Reproducing arrangements
    • H04N1/2307—Circuits or arrangements for the control thereof, e.g. using a programmed control device, according to a measured quantity
    • H04N1/2346—Circuits or arrangements for the control thereof, e.g. using a programmed control device, according to a measured quantity according to a detected condition or state of the reproducing device, e.g. temperature or ink quantity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/23—Reproducing arrangements
    • H04N1/2307—Circuits or arrangements for the control thereof, e.g. using a programmed control device, according to a measured quantity
    • H04N1/2369—Selecting a particular reproducing mode from amongst a plurality of modes, e.g. paper saving or normal, or simplex or duplex
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43632—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wired protocol, e.g. IEEE 1394
    • H04N21/43635—HDMI
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field

Definitions

  • the present invention relates to a transmission device, a transmission method, a reception device, and a reception method, and more particularly to a transmission device that handles a plurality of encoded data having priority information.
  • Patent Document 1 describes an object-based audio mixing technique.
  • Object-based audio realizes stereophonic sound by supplying individual object sound sources without mixing and rendering on the playback device side.
  • the encoded stream of object-based audio includes encoded data of a plurality of object sound sources.
  • the encoded data of each object sound source is composed of metadata such as position information on the coordinate axes in addition to sound data. It is also conceivable to give priority information indicating the priority at the time of decoding to the encoded data of each object sound source.
  • This technique is to enable the optimum decoding process to be applied to an encoded stream including a plurality of encoded data having priority information.
  • a stream acquisition unit for acquiring an encoded stream including a plurality of encoded data having priority information;
  • a decoding unit that performs a decoding process on the encoded stream acquired by the stream acquisition unit to generate a decoded stream including decoded data;
  • a determination unit that determines whether or not the receiving side decoding capability is equal to or higher than its own decoding capability based on the receiving side decoding capability information indicating to what order priority decoding is possible;
  • the transmission apparatus includes a transmission unit that transmits the decoded stream generated by the decoding unit.
  • the stream acquisition unit acquires an encoded stream including a plurality of encoded data having priority information.
  • the decoding unit performs a decoding process on the encoded stream acquired by the stream acquisition unit, and generates a decoded stream including decoded data.
  • the encoded stream is an encoded audio stream of object-based audio including encoded data of a plurality of object sound sources having priority information, and the decoding unit decodes the encoded audio stream acquired by the stream acquisition unit. It is also possible to generate a decoded audio stream including a predetermined number of channels of audio data as decoded data.
  • the determination unit determines whether or not the decoding capability on the receiving side is equal to or higher than its own decoding capability based on the decoding capability information on the receiving side indicating to what order of priority decoding is possible.
  • the information processing unit may further include an information receiving unit that receives the decoding capability information on the receiving side from the receiving side via the digital interface.
  • the transmission unit transmits the encoded stream acquired by the stream acquisition unit or the decoded stream generated by the decoding unit to the reception side via the digital interface.
  • the digital interface may be HDMI.
  • the determination unit determines that the decoding capability on the reception side is equal to or higher than its own decoding capability, the encoded stream is transmitted, and the decoding capability on the reception side is higher than its own decoding capability in the determination unit. If it is determined that it is not, the decoded stream is transmitted.
  • the encoded stream is transmitted, and when the receiving side decoding capability is not equal to or higher than its own decoding capability, decoding is performed.
  • the transmitted stream is transmitted, and the optimum decoding process can be applied to the encoded stream.
  • An information transmission unit that transmits its own decoding capability information indicating to what priority level it can be decoded to the transmission side via a digital interface; Decoding having a coded stream including a plurality of pieces of coded data having priority information or decoded data generated by performing a decoding process on the coded stream from the transmission side via the digital interface A receiving unit for receiving the digitized stream; When the encoded stream is received by the reception unit, the reception apparatus includes a decoding unit that performs a decoding process on the encoded stream and generates a decoded stream including decoded data.
  • the information transmitting unit transmits its own decoding capability information indicating to what priority level decoding is possible to the transmitting side via the digital interface.
  • the digital interface may be HDMI.
  • the reception unit transmits the encoded stream including a plurality of pieces of encoded data having priority information or the decoded data generated by performing a decoding process on the encoded stream from the transmission side via the digital interface.
  • a decrypted stream is received.
  • the decoding unit performs a decoding process on the encoded stream to generate a decoded stream including decoded data.
  • the encoded stream is an encoded audio stream of object-based audio including encoded data of a plurality of object sound sources having priority information, and the decoded stream is subjected to decoding processing on the encoded audio stream.
  • the predetermined number of channels of audio data generated as described above may be included as decoded data.
  • the decoding capability information of the receiver is transmitted to the transmitting side via the digital interface, and the decoding capability of the receiving side is based on the decoding capability information on the transmitting side. If the receiving side decoding capability is equal to or higher than its own decoding capability, an encoded stream is transmitted, and the receiving side decoding capability is not higher than its own decoding capability. In some cases, the decoded stream can be transmitted, and the optimum decoding process can be applied to the encoded stream.
  • FIG. 1 shows a configuration example of an AV (Audio Visual) system 10 as an embodiment.
  • the AV system 10 includes a BD (Blu-Ray Disc) player 100 as a source device, an audio amplifier 200 as a repeater device, and a television receiver 300 as a sink device.
  • a multi-channel speaker system 400 is connected to the audio amplifier 200.
  • the BD player 100 and the audio amplifier 200 are connected via an HDMI cable 510.
  • the BD player 100 is provided with an HDMI terminal 101 to which an HDMI transmission unit (HDNI TX) 102 is connected.
  • the audio amplifier 200 is provided with an HDMI terminal 201a to which an HDMI receiving unit (HDMI RX) 202a is connected.
  • One end of the HDMI cable 510 is connected to the HDMI terminal 101 of the BD player 100, and the other end is connected to the HDMI terminal 201 a of the audio amplifier 200.
  • the audio amplifier 200 and the television receiver 300 are connected via an HDMI cable 520.
  • the audio amplifier 200 is provided with an HDMI terminal 201b to which an HDMI transmission unit (HDMI TX) 202b is connected.
  • the television receiver 100 is provided with an HDMI terminal 301 to which an HDMI receiving unit (HDMI RX) 302 is connected.
  • HDMI cable 520 is connected to the HDMI terminal 201 b of the audio amplifier 200, and the other end is connected to the HDMI terminal 301 of the television receiver 300.
  • HDMI is a registered trademark.
  • FIG. 2 shows a configuration example of the BD player 100.
  • the BD player 100 includes an HDMI terminal 101 and an HDMI transmission unit 102.
  • the BD player 100 includes an internal bus 103, a CPU (Central Processing Unit) 104, a flash ROM (Read Only Memory) 105, an SDRAM (Synchronous Random Access Memory) 106, a display control unit 107, and a remote control reception. Part 108 and a remote control transmitter 109.
  • CPU Central Processing Unit
  • flash ROM Read Only Memory
  • SDRAM Synchronous Random Access Memory
  • the BD player 100 includes a storage (recording) medium control interface 111, a BD (Blu-Ray Disc) drive 112, an HDD (Hard disc drive) 113, an SSD (Solid State Drive) 114, and an Ethernet interface (Ethernet). I / F) 115 and a network terminal 116.
  • BD Blu-Ray Disc
  • HDD Hard disc drive
  • SSD Solid State Drive
  • Ethernet interface Ethernet interface
  • the BD player 100 also includes a demultiplexer 121, a video decoder 122, a graphic generation circuit 123, a video output terminal 124, a panel drive circuit 125, a display panel 126, an audio decoder 127, a selection unit 128, An audio output terminal 129 is provided. Further, the BD player 100 has a power supply unit 131.
  • the power supply unit 131 supplies power to each unit of the BD player 100.
  • the power supply unit 131 may be an AC power supply or a battery (storage battery, dry battery).
  • CPU 104 controls the operation of each unit of the BD player 100.
  • the flash ROM 105 stores control software and data.
  • the SDRAM 106 constitutes a work area for the CPU 104.
  • the CPU 104 develops software and data read from the flash ROM 105 on the SDRAM 106 and activates the software to control each unit of the BD player 100.
  • the remote control receiving unit 108 receives a remote control signal (remote control code) transmitted from the remote control transmitter 109 and supplies it to the CPU 104.
  • the CPU 104 controls each part of the BD player 100 according to the remote control code.
  • the remote control unit is shown as the user instruction input unit.
  • the user instruction input unit has other configurations, for example, a switch, a wheel, a touch panel unit for inputting an instruction by proximity / touch, a mouse It may be a keyboard, a gesture input unit for detecting an instruction input with a camera, a voice input unit for inputting an instruction by voice, or the like.
  • the BD drive 112 records content data on a BD disc as a disc-shaped recording medium or reproduces content data from the BD disc.
  • the HDD 113 records content data or reproduces the content data.
  • the SSD 114 records content data in a semiconductor memory such as a memory card or reproduces content data from the semiconductor memory.
  • the BD drive 112, HDD 113, and SSD 114 are connected to the internal bus 103 via the storage medium control interface 111.
  • a SATA interface is used as an interface for the BD drive 112 and the HDD 113.
  • a SATA interface or a PCIe interface is used as an interface for the SSD 114.
  • the network terminal 116 is a terminal connected to the network, and is connected to the Ethernet interface 115.
  • the Ethernet interface 115 makes a network connection via the network terminal 116.
  • the demultiplexer 121 extracts an encoded video stream and an encoded audio stream from the multiplexed stream that is content data reproduced by the BD drive 112, the HDD 113, or the SSD 114.
  • the video decoder 122 performs a decoding process on the encoded video stream to obtain uncompressed image data.
  • the graphic generation circuit 123 performs graphics data superimposition processing on the image data obtained by the video decoder 122 as necessary.
  • the video output terminal 124 outputs the image data output from the graphic generation circuit 123.
  • the panel drive circuit 125 drives the display panel 126 based on the image data output from the graphic generation circuit 123.
  • the display control unit 107 controls the display on the display panel 126 by controlling the graphics generation circuit 123 and the panel drive circuit 125.
  • the display panel 126 includes, for example, an LCD (Liquid Crystal Display), a PDP (Plasma Display Panel), an organic EL panel (Organic Electro-Luminescence Panel), and the like.
  • the display control unit 107 may directly control the display on the display panel 126.
  • the CPU 104 and the display control unit 107 may be a single chip or a plurality of cores.
  • the audio decoder 127 performs a decoding process on the encoded audio stream extracted by the demultiplexer 121 to obtain uncompressed audio data.
  • the encoded audio stream is an object-based audio encoded audio stream including encoded data of a plurality of object sound sources having priority information.
  • the encoded data of each object sound source is composed of metadata such as position information on the coordinate axes in addition to sound data.
  • the audio decoder 127 performs a decoding process on the encoded audio stream, obtains a predetermined number of channels of uncompressed audio data, and generates a decoded audio stream including the predetermined number of channels of uncompressed audio data. To do.
  • the audio output terminal 129 outputs uncompressed audio data of a predetermined number of channels obtained by the audio decoder 127.
  • the number of channels of uncompressed audio data output to the audio output terminal 129 may be different from the number of channels of uncompressed audio data included in the decoded audio stream.
  • the number of channels of uncompressed audio data included in the decoded audio stream is “6” for 5.1 channels
  • the number of channels of uncompressed audio data output to the audio output terminal 129 is For example, “2” for stereo.
  • the audio decoder 127 performs the decoding process on the encoded audio stream within the range of its own decoding capability. That is, the audio decoder 127 encodes a predetermined number of object sound sources having a priority included in a range up to a priority that can be decoded by a plurality of object sound sources included in the encoded audio stream. The decoded data is subjected to a decoding process to obtain a predetermined number of channels of uncompressed audio data.
  • the selection unit 128 is an encoded audio stream extracted by the demultiplexer 121 or a decoded audio stream generated by the audio decoder 127 as an audio stream to be transmitted to the receiving side via the HDMI digital interface. Take out.
  • the CPU 104 determines whether or not the decoding capability of the reception side is based on the reception side decoding capability information, that is, information indicating to what priority the audio amplifier 200 can decode in the reception side, in this embodiment. It is determined whether or not the decoding capability is exceeded. In this embodiment, the CPU 104 receives the decoding capability information on the receiving side from the receiving side through the HDMI digital interface.
  • FIG. 3 shows an example of the structure of the decoding capability information on the receiving side.
  • the decoding capability information is 8-bit information as a whole, but as shown in FIG. 3B, the lower 4 bits from the third bit to the 0th bit are substantially the same. Information. For example, “0000” indicates that decoding for an encoded audio stream of object-based audio is not supported.
  • “0001” indicates that only priority 1 can be decoded, that is, only encoded data of an object sound source having priority 1 can be decoded.
  • “0010” indicates that decoding up to priority 2 is possible, that is, decoding of encoded data of an object sound source having priorities 1 and 2 is possible. The same applies hereinafter.
  • the CPU 104 controls the selection unit 128 to extract the encoded audio stream when determining that the receiving side decoding capability is higher than its own decoding capability. Further, when the CPU 104 determines that the receiving side decoding capability is not equal to or higher than its own decoding capability, the CPU 104 controls the selection unit 128 to extract the decoded audio stream. By controlling in this way, it is possible to apply an optimal decoding process to the encoded audio stream.
  • the flowchart in FIG. 4 shows an example of a control processing procedure in the CPU 104.
  • the CPU 104 starts determination processing.
  • the CPU 104 receives the decoding capability information on the reception side (see FIG. 3) from the reception side through the HDMI digital interface.
  • the decoding capability information is recorded as one of EDID (ExtendedEDDisplay Identification Data) on the receiving side.
  • the CPU 104 reads out the EDID through a DDC (DisplayEDData Channel) channel to obtain the decoding capability information on the receiving side.
  • DDC DisplayEDData Channel
  • step ST3 the CPU 104 determines whether or not the receiving side supports decoding of the encoded audio stream of object-based audio.
  • step ST4 the CPU 104 determines whether or not the receiving side decoding capability is equal to or higher than its own decoding capability.
  • the CPU 104 When the decoding capability on the receiving side is equal to or higher than its own decoding capability, the CPU 104 outputs an encoded audio stream in step ST5 and controls the selection unit 128 to extract the encoded audio stream. Thereafter, in step ST6, the CPU 104 ends the control process.
  • step ST7 When the receiving side does not support decoding of the encoded audio stream of object-based audio in step ST3, or when the decoding capability of the receiving side is not equal to or higher than its own decoding capability in step ST4, the CPU 104 performs step ST7. , The decoded audio stream is output, and the selection unit 128 controls to extract the decoded audio stream. Thereafter, in step ST6, the CPU 104 ends the control process.
  • the HDMI transmission unit 102 transmits the uncompressed image data obtained by the video decoder 122 and the audio stream extracted by the selection unit 128 from the HDMI terminal 101 by communication conforming to HDMI. .
  • the HDMI transmission unit 102 packs the image data and the audio stream and outputs them to the HDMI terminal 101 for transmission through the HDMI TMDS channel. Details of the HDMI transmission unit 102 will be described later.
  • the operation of the BD player 100 shown in FIG. 2 will be briefly described.
  • content data to be recorded is acquired via a digital tuner (not shown) or from the network terminal 116 via the Ethernet interface 115.
  • This content data is input to the storage medium control interface 111 and recorded on the BD disc by the BD drive 112, on the HDD 113, or on the semiconductor memory by the SSD 114.
  • a multiplexed stream that is content data reproduced by the BD drive 112, HDD 113, or SSD 114 is supplied to the demultiplexer 121 via the storage medium control interface 111.
  • the demultiplexer 121 an encoded video stream and an encoded audio stream are extracted from the multiplexed stream.
  • the encoded video stream extracted by the demultiplexer 121 is supplied to the video decoder 122.
  • the video decoder 122 performs a decoding process on the encoded video stream to obtain non-compressed image data.
  • the image data is output to the video output terminal 124 after the graphics generation circuit 123 performs graphics data superimposition processing or the like as necessary.
  • image data is supplied from the graphic generation circuit 123 to the panel drive circuit 125, and a reproduced image is displayed on the display panel 126.
  • This encoded audio stream extracted by the demultiplexer 121 is supplied to the audio decoder 127.
  • This encoded audio stream is an object-based audio encoded audio stream including encoded data of a plurality of object sound sources having priority information.
  • the audio decoder 127 performs a decoding process on the encoded audio stream to obtain a predetermined number of channels of uncompressed audio data, and also includes decoded audio data including the predetermined number of channels of uncompressed audio data. A stream is generated. Uncompressed audio data of a predetermined number of channels generated by the audio decoder 127 is output to the audio output terminal 129.
  • the encoded audio stream extracted by the demultiplexer 121 is supplied to the selection unit 128.
  • the selection unit 128 is also supplied with the decoded audio stream generated by the audio decoder 127. Under the control of the CPU 104, the selection unit 128 extracts an encoded audio stream or a decoded audio stream as an audio stream to be transmitted to the receiving side via HDMI.
  • the CPU 104 determines whether or not the decoding capability on the receiving side is equal to or higher than its own decoding capability based on the decoding capability information on the receiving side (information indicating what order of priority can be decoded). Based on the determination result, the selection unit 128 is controlled. When the decoding capability on the receiving side is equal to or higher than its own decoding capability, the selection unit 128 extracts the encoded audio stream. On the other hand, when the decoding capability on the receiving side is not equal to or higher than its own decoding capability, the selection unit 128 extracts a decoded audio stream.
  • the audio stream extracted by the selection unit 128 is supplied to the HDMI transmission unit 102 and the video decoder 122 is used.
  • the uncompressed image data obtained in the above is supplied to the HDMI transmission unit 102.
  • these image data and audio stream are packed and output to the HDMI terminal 101.
  • FIG. 5 shows a configuration example of the audio amplifier 200.
  • the audio amplifier 200 includes HDMI terminals 201a and 201b, an HDMI receiving unit 202a, and an HDMI transmitting unit 202b.
  • the audio amplifier 200 includes an audio decoder 221, a selection unit 222, an audio processing circuit 223, an audio amplification circuit 224, and an audio output terminal 225.
  • the audio amplifier 200 includes an internal bus 203, a CPU 204, a flash ROM 205, an SDRAM 206, a display control unit 207, a panel drive circuit 208, a display panel 209, a remote control reception unit 210, and a remote control transmitter 211.
  • the power supply unit 212 is included.
  • the CPU 204, flash ROM 205, SDRAM 206, and display control unit 207 are connected to the internal bus 203.
  • the CPU 204 controls the operation of each part of the audio amplifier 200.
  • the flash ROM 205 stores control software and data.
  • the SDRAM 206 constitutes a work area for the CPU 204.
  • the CPU 204 develops software and data read from the flash ROM 205 on the SDRAM 206 and activates the software to control each unit of the audio amplifier 200.
  • the remote control receiving unit 210 receives a remote control signal (remote control code) transmitted from the remote control transmitter 211 and supplies it to the CPU 204.
  • the CPU 204 controls each part of the audio amplifier 200 based on the remote control code.
  • the remote control unit is shown as the user instruction input unit.
  • the user instruction input unit has other configurations, for example, a switch, a wheel, a touch panel unit for inputting an instruction by proximity / touch, a mouse It may be a keyboard, a gesture input unit for detecting an instruction input with a camera, a voice input unit for inputting an instruction by voice, or the like.
  • the display control unit 207 controls the display on the display panel 209 by controlling the panel drive circuit 208 in order to perform, for example, user interface display or status display of the audio amplifier 200.
  • the display panel 209 includes, for example, an LCD (Liquid Crystal Display), an organic EL panel (Organic Electro-Luminescence Panel), and the like.
  • the display control unit 207 is provided in addition to the CPU 204 is shown, but the display on the display panel 209 may be directly controlled by the CPU 204.
  • the CPU 204 and the display control unit 207 may be a single chip or a plurality of cores.
  • the power supply unit 212 supplies power to each unit of the audio amplifier 200.
  • the power supply unit 212 may be an AC power supply or a battery (storage battery, dry battery).
  • the HDMI receiving unit 202a receives uncompressed image data and an audio stream supplied to the HDMI terminal 201a via the HDMI cable by communication conforming to HDMI.
  • This audio stream is an encoded audio stream of object-based audio including encoded data of a plurality of object sound sources having priority information, or a decoded audio stream including uncompressed audio data of a predetermined number of channels. Details of the HDMI receiving unit 202a will be described later.
  • the audio decoder 221 When the audio stream received by the HDMI receiving unit 202a is an encoded audio stream, the audio decoder 221 performs a decoding process on the encoded audio stream to obtain uncompressed audio data having a predetermined number of channels. Then, a decoded audio stream including the predetermined number of channels of uncompressed audio data is generated.
  • the selection unit 222 takes out the audio stream received by the HDMI receiving unit 202a or the decoded audio stream obtained by the audio decoder 221 under the control of the CPU 204. In this case, when the audio stream received by the HDMI receiving unit 202a is an encoded audio stream, the selection unit 222 extracts the decoded audio stream obtained by the audio decoder 221. In addition, when the audio stream received by the HDMI receiving unit 202a is a decoded audio stream, the selection unit 222 extracts the decoded audio stream.
  • the audio processing circuit 223 extracts a predetermined number of channels of uncompressed audio data from the decoded audio stream extracted by the selection unit 222, and performs necessary processing such as D / A conversion. Note that the audio processing circuit 223 performs necessary up / down mix processing according to the configuration of the speaker system 400 to be connected, and obtains audio signals of the required number of channels.
  • the audio amplification circuit 224 amplifies the audio signal of each channel obtained by the audio processing circuit 223 and outputs it to the audio output terminal 225. Note that the speaker system 400 is connected to the audio output terminal 225.
  • the HDMI transmission unit 202b transmits the uncompressed image data received by the HDMI reception unit 202a and the decoded audio stream extracted by the selection unit 222 from the HDMI terminal 201b by communication conforming to HDMI.
  • the HDMI transmission unit 202b packs the image data and the audio stream and outputs them to the HDMI terminal 201b for transmission via the HDMI TMDS channel. Details of the HDMI transmission unit 202b will be described later.
  • the HDMI receiving unit 202a receives uncompressed image data and an audio stream (encoded audio stream or decoded audio stream) transmitted from the BD player 100 via the HDMI cable to the HDMI terminal 201a.
  • the audio stream received by the HDMI receiving unit 202a is supplied to the audio decoder 221.
  • the audio decoder 221 when the audio stream received by the HDMI receiving unit 202a is an encoded audio stream, the encoded audio stream is subjected to a decoding process so that uncompressed audio data of a predetermined number of channels is obtained. As a result, a decoded audio stream including the predetermined number of channels of uncompressed audio data is generated.
  • the selection unit 222 extracts the audio stream received by the HDMI receiving unit 202a or the decoded audio stream obtained by the audio decoder 221 under the control of the CPU 204. In this case, when the audio stream received by the HDMI receiving unit 202a is an encoded audio stream, the selection unit 222 extracts the decoded audio stream obtained by the audio decoder 221. On the other hand, when the audio stream received by the HDMI receiving unit 202a is a decoded audio stream, the selection unit 222 extracts the decoded audio stream.
  • the decoded audio stream is always extracted from the selection unit 222.
  • the decoded audio stream is generated by the audio decoder 221 when its own decoding capability is equal to or higher than the decoding capability on the transmission side. Also, this decoded audio stream is generated by the audio decoder on the transmission side (see the audio decoder 127 in FIG. 2) when its own decoding capability is not higher than the decoding capability on the transmission side. Therefore, this decoded audio stream is obtained by applying an optimum decoding process to the encoded audio stream.
  • the decoded audio stream extracted by the selection unit 222 is supplied to the audio processing circuit 223.
  • the audio processing circuit 223 extracts a predetermined number of channels of uncompressed audio data from the decoded audio stream, and further performs necessary processing such as up / downmix, D / A conversion, etc. A signal is obtained.
  • the audio signal of each channel output from the audio processing circuit 223 is amplified by the audio amplification circuit 224 and output to the audio output terminal 225. Therefore, a predetermined number of channels of audio output can be obtained from the speaker system 400 connected to the audio output terminal 225.
  • the uncompressed image data received by the HDMI receiving unit 202a and the decoded audio stream extracted by the selecting unit 222 are supplied to the HDMI transmitting unit 202b.
  • image data after processing such as superimposition of graphics data on the image data may be supplied to the HDMI transmitting unit 202b.
  • the HDMI transmission unit 202b packs these image data and audio stream and outputs them to the HDMI terminal 201b.
  • FIG. 6 shows a configuration example of the television receiver 300.
  • the television receiver 300 includes an HDMI terminal 301 and an HDMI receiving unit 302.
  • the television receiver 300 includes an internal bus 303, a CPU 304, a flash ROM 305, an SDRAM (Synchronous RAM) 306, a display control unit 307, a remote control reception unit 308, a remote control transmitter 309, and a power supply unit 310.
  • the television receiver 300 includes an antenna terminal 321, a digital tuner 322, a demultiplexer 323, a video decoder 324, a video processing circuit 325, a graphic generation circuit 326, a panel drive circuit 327, and a display panel 328. Have.
  • the television receiver 300 includes an audio decoder 329, an audio processing circuit 330, an audio amplification circuit 331, and a speaker 332.
  • the CPU 304, flash ROM 305, SDRAM 306, display control unit 307, Ethernet interface 311, and demultiplexer 323 are connected to the internal bus 303.
  • the CPU 304 controls the operation of each unit of the television receiver 300.
  • the flash ROM 305 stores control software and data.
  • the SDRAM 306 constitutes a work area for the CPU 304.
  • the CPU 304 develops software and data read from the flash ROM 305 on the SDRAM 306 and activates the software to control each unit of the television receiver 300.
  • the remote control receiving unit 308 receives the remote control signal (remote control code) transmitted from the remote control transmitter 309 and supplies it to the CPU 304.
  • the CPU 304 controls each unit of the television receiver 300 based on the remote control code.
  • the remote control unit is shown as the user instruction input unit.
  • the user instruction input unit has other configurations, for example, a switch, a wheel, a touch panel unit for inputting an instruction by proximity / touch, a mouse It may be a keyboard, a gesture input unit for detecting an instruction input with a camera, a voice input unit for inputting an instruction by voice, or the like.
  • the power supply unit 310 supplies power to each unit of the television receiver 300.
  • the power supply unit 310 may be an AC power supply or a battery (storage battery, dry battery).
  • the network terminal 312 is a terminal connected to the network, and is connected to the Ethernet interface 311.
  • the Ethernet interface 311 performs network connection via the network terminal 312.
  • the HDMI receiving unit 302 receives the uncompressed image data and the decoded audio stream supplied to the HDMI terminal 301 via the HDMI cable by communication conforming to HDMI.
  • This decoded audio stream includes a predetermined number of channels of uncompressed audio data. Details of the HDMI receiving unit 302 will be described later.
  • the antenna terminal 321 is a terminal for inputting a television broadcast signal received by a receiving antenna (not shown).
  • the digital tuner 322 processes the television broadcast signal input to the antenna terminal 321 to obtain a multiplexed stream that is content data corresponding to the user's selected channel.
  • the demultiplexer 323 extracts the encoded video stream and the encoded audio stream from the multiplexed stream obtained by the digital tuner 322.
  • the video decoder 324 performs a decoding process on the encoded video stream to obtain uncompressed image data.
  • the video processing circuit 325 and the graphic generation circuit 326 perform scaling processing (resolution conversion processing), graphics on image data obtained by the video decoder 324 or image data received by the HDMI receiving unit 302 as necessary. Performs data superimposition processing.
  • the panel drive circuit 327 drives the display panel 328 based on the image data output from the graphic generation circuit 326.
  • the display control unit 307 controls the display on the display panel 328 by controlling the graphics generation circuit 326 and the panel drive circuit 327.
  • the display panel 328 includes, for example, an LCD (Liquid Crystal Display), a PDP (Plasma Display Panel), an organic EL panel (Organic Electro-Luminescence Panel), and the like.
  • the display control unit 307 may directly control the display on the display panel 328.
  • the CPU 304 and the display control unit 307 may be a single chip or a plurality of cores.
  • the audio decoder 329 performs a decoding process on the encoded audio stream extracted by the demultiplexer 323 to obtain uncompressed audio data having a predetermined number of channels.
  • the audio processing circuit 330 performs necessary processing such as up / downmix and D / A conversion according to the configuration of the speaker 332 on the uncompressed audio data of a predetermined number of channels obtained by the audio decoder 329, and the necessary processing. An audio signal having the number of channels is obtained.
  • the audio processing circuit 330 extracts a predetermined number of channels of uncompressed audio data from the decoded audio stream received by the HDMI receiving unit 302, and performs up / down mixing or D / A conversion according to the configuration of the speaker 332 Necessary processing such as the above is performed to obtain a necessary number of channels of audio signals.
  • the audio amplification circuit 331 amplifies the audio signal of each channel obtained by the audio processing circuit 330 and supplies it to the speaker 332.
  • the speaker 332 may be monaural or stereo.
  • the speaker 332 may be an earphone or a headphone.
  • the speaker 332 may be compatible with multi-channels such as 2.1 channels and 5.1 channels.
  • the speaker 332 may be connected to the television receiver 300 wirelessly.
  • the speaker 332 may be another device.
  • the HDMI receiving unit 302 receives uncompressed image data and a decoded audio stream transmitted to the HDMI terminal 301 from the audio amplifier 200 via the HDMI cable.
  • the decoded audio stream includes uncompressed audio data of a predetermined number of channels. Uncompressed image data is supplied to the video processing circuit 325, and the decoded audio stream is supplied to the audio processing circuit 330.
  • the television broadcast signal input to the antenna terminal 321 is supplied to the digital tuner 322.
  • a television broadcast signal is processed, and a multiplexed stream that is content data corresponding to a user's selected channel is obtained.
  • This multiplexed stream is supplied to the demultiplexer 323.
  • the demultiplexer 323 extracts an encoded video stream and an encoded audio stream from the multiplexed stream.
  • the encoded video stream is supplied to the video decoder 324.
  • the video decoder 324 performs a decoding process on the encoded video stream to obtain uncompressed image data. This uncompressed image data is supplied to the video processing circuit 325.
  • scaling processing resolution conversion processing
  • graphics are performed on the image data obtained by the video decoder 324 or the image data received by the HDMI receiving unit 302 as necessary.
  • Data superimposition processing is performed.
  • the processed image data is supplied to the panel drive circuit 327, and an image corresponding to the image data is displayed on the display panel 328.
  • the encoded audio stream extracted by the demultiplexer 323 is supplied to the audio decoder 329.
  • the encoded audio stream is subjected to a decoding process, and uncompressed audio data having a predetermined number of channels is obtained.
  • the predetermined number of channels of uncompressed audio data is supplied to the audio processing circuit 330.
  • the audio processing circuit 330 necessary processing such as up / down mixing and D / A conversion according to the configuration of the speaker 332 is performed on the uncompressed audio data of a predetermined number of channels obtained by the audio decoder 329.
  • the required number of audio signals can be obtained.
  • this audio processing circuit 330 after extracting a predetermined number of channels of uncompressed audio data from the decoded audio stream received by the HDMI receiving unit 302, an up / down mix corresponding to the configuration of the speaker 332 is performed. Necessary processing such as D / A conversion is performed, and audio signals of a necessary number of channels are obtained.
  • the audio signals of a predetermined number of channels obtained by the audio processing circuit 330 are amplified by the audio amplifying circuit 331 and then supplied to the speaker 332. Therefore, monaural, stereo, or multi-channel audio corresponding to the image display on the display panel 328 is output from the speaker 332.
  • FIG. 7 shows a configuration example of the HDMI transmission unit 102 of the BD player 100 and the HDMI reception unit 202a of the audio amplifier 200 in the AV system 10 of FIG. Note that configuration examples of the HDMI transmitting unit 202b of the audio amplifier 200 and the HDMI receiving unit 302 of the television receiver 300 are the same, and thus the description thereof is omitted.
  • the HDMI transmission unit 102 is an effective image section 21 (hereinafter referred to as “active” as appropriate) that is a section obtained by removing the horizontal blanking section 22 and the vertical blanking section 23 from the section from one vertical synchronization signal to the next vertical synchronization signal. (Also referred to as “video section”) (see FIG. 8), a differential signal corresponding to pixel data of an uncompressed image for one screen is transmitted to the HDMI receiving unit 202a in one direction through a plurality of channels. Also, the HDMI transmission unit 102 transmits, at a plurality of channels, differential signals corresponding to at least audio data, control data, other auxiliary data, etc. associated with an image in the horizontal blanking interval 22 or the vertical blanking interval 23. It transmits to the HDMI receiving unit 202a in one direction.
  • the HDMI transmission unit 102 includes the HDMI transmitter 31.
  • the transmitter 31 converts, for example, pixel data of an uncompressed image into a corresponding differential signal, and receives HDMI signals on three TMDS (Transition Minimized Differential Signaling) channels # 0, # 1, and # 2. Serial transmission is performed in one direction to the unit 202a.
  • TMDS Transition Minimized Differential Signaling
  • the transmitter 31 converts audio data accompanying the uncompressed image, further necessary control data and other auxiliary data, etc. into corresponding differential signals, and converts them into three TMDS channels # 0, # 1, #. 2, serially transmit to the HDMI receiving unit 202 a in one direction.
  • the HDMI receiving unit 202a receives a differential signal corresponding to pixel data transmitted from the HDMI transmitting unit 102 in one direction through a plurality of channels in the active video section 21 (see FIG. 8). Also, the HDMI receiving unit 202a transmits audio signals transmitted in one direction from the HDMI transmitting unit 102 through a plurality of channels in the horizontal blanking interval 22 (see FIG. 8) or the vertical blanking interval 23 (see FIG. 8). A differential signal corresponding to data and control data is received.
  • the transmission channel of the HDMI system including the HDMI transmission unit 102 and the HDMI reception unit 202a transmits pixel clocks with three TMDS channels # 0 to # 2 as transmission channels for transmitting pixel data and audio data.
  • TMDS clock channel As a transmission channel, there are transmission channels called DDC (Display Data Channel) 33 and CEC (Consumer Electronics Control) line 34.
  • the DDC 33 includes two signal lines included in the HDMI cable 510, and is used by the HDMI transmission unit 102 to read EDID (Extended Display Identification Data) from the HDMI receiving unit 202a connected via the HDMI cable 510. Is done. That is, in addition to the HDMI receiver 32, the HDMI receiving unit 202a has an EDID ROM (Read Only Memory) that stores EDID that is performance information related to its performance (Configuration / Capability). In the audio amplifier 200, decoding capability information (see FIG. 3) is recorded as one of the EDIDs. When the HDMI transmitting unit 102 reads the EDID, the decoding capability information on the receiving side is sent to the transmitting side.
  • EDID Extended Display Identification Data
  • the HDMI transmitting unit 102 reads the EDID from the HDMI receiving unit 202a connected via the HDMI cable 510 via the DDC 33. Then, the CPU 104 of the BD player 100 recognizes the performance of the audio amplifier 200 having the HDMI receiving unit 202a based on the EDID.
  • the CEC line 34 includes one signal line included in the HDMI cable 510, and is used for bidirectional communication of control data between the HDMI transmission unit 102 and the HDMI reception unit 202a.
  • the HDMI cable 510 includes an HPD line 35 connected to a pin called HPD (Hot Plug Detect).
  • the source device can detect the connection of the sink device by the DC bias potential using the HPD line 35.
  • the HPD line 35 has a function of receiving a connection state notification from the sink device by a DC bias potential.
  • the HPD line has a function of notifying the source device of the connection state by a DC bias potential.
  • the HDMI cable 510 includes a power supply line 36 that is used to supply power from the source device to the sink device. Further, the HDMI cable 510 includes a reserved line 37. A pair of differential transmission paths may be configured using the HPD line 35 and the reserved line 37 and used as a bidirectional communication path.
  • FIG. 8 shows sections of various transmission data when image data of horizontal ⁇ vertical 1920 pixels ⁇ 1080 lines is transmitted in the TMDS channel.
  • a video field 24 Video Data Period
  • a data island period 25 Data Island Period
  • a video field in which transmission data is transmitted using the three TMDS channels of HDMI There are three types of sections, namely, control section 26 (Control26Period).
  • the video field period is a period from a rising edge (Active Edge) of a certain vertical synchronizing signal to a rising edge of the next vertical synchronizing signal, and includes a horizontal blanking period 22 (Horizontal Blanking) and a vertical blanking period 23 ( Vertical Blanking) and an effective pixel section 21 (Active Video) that is a section obtained by removing the horizontal blanking period and the vertical blanking period from the video field section.
  • the video data section 24 is assigned to the effective pixel section 21.
  • data of 1920 pixels (pixels) ⁇ 1080 lines of effective pixels (Active Pixel) constituting uncompressed image data for one screen is transmitted.
  • the data island period 25 and the control period 26 are assigned to the horizontal blanking period 22 and the vertical blanking period 23.
  • auxiliary data (Auxiliary Data) is transmitted.
  • the data island section 25 is allocated to a part of the horizontal blanking period 22 and the vertical blanking period 23.
  • audio data packets that are not related to the control among the auxiliary data are transmitted.
  • the control section 26 is allocated to other portions of the horizontal blanking period 22 and the vertical blanking period 23.
  • vertical synchronization signals, horizontal synchronization signals, control packets, and the like, which are data related to control, of auxiliary data are transmitted.
  • the BD player 100 encodes the audio amplifier 200 through the HDMI digital interface when the receiving side decoding capability is higher than its own decoding capability.
  • a stream is transmitted, and when the decoding capability on the receiving side is not higher than its own decoding capability, a decoded stream is transmitted. Therefore, it is possible to apply an optimal decoding process to the encoded stream, and the user can obtain an optimal audio output from the speaker system 400 connected to the audio amplifier 200.
  • the BD player 100 receives the decoding capability information from the audio amplifier 200, determines whether or not the receiving side decoding capability is equal to or higher than its own decoding capability, Decide whether to send an encoded stream or a decoded stream. Therefore, the user can obtain an optimal audio output from the speaker system 400 connected to the audio amplifier 200 without any operation being imposed.
  • HDMI digital interface In the above-described embodiment, an example of an HDMI digital interface is shown, but the digital interface is not limited to HDMI.
  • the technology can have the following configurations. (1) a stream acquisition unit that acquires an encoded stream including a plurality of encoded data having priority information; A decoding unit that performs a decoding process on the encoded stream acquired by the stream acquisition unit to generate a decoded stream including decoded data; A determination unit that determines whether or not the receiving side decoding capability is equal to or higher than its own decoding capability based on the receiving side decoding capability information indicating to what order priority decoding is possible; When the determination unit determines that the decoding capability of the reception side is equal to or higher than its own decoding capability, the encoded stream acquired by the stream acquisition unit is transmitted to the reception side via the digital interface.
  • the encoded stream is an encoded audio stream of object-based audio including encoded data of a plurality of object sound sources having priority information.
  • the decoding unit performs a decoding process on the encoded audio stream acquired by the stream acquisition unit to generate a decoded audio stream including audio data of a predetermined number of channels as the decoded data. ).
  • the transmission device according to any one of (1) to (3), wherein the digital interface is HDMI.
  • the transmitting unit determines that the receiving side decoding capability is equal to or higher than its own decoding capability in the determining step via the digital interface to the receiving side, the code acquired in the stream acquiring step
  • the determination step determines that the receiving side decoding capability is not equal to or higher than its own decoding capability, the encoded stream acquired in the stream acquisition step is decoded and generated.
  • An information transmitting unit that transmits its own decoding capability information indicating to what priority level decoding is possible to the transmitting side via a digital interface; Decoding having a coded stream including a plurality of pieces of coded data having priority information or decoded data generated by performing a decoding process on the coded stream from the transmission side via the digital interface A receiving unit for receiving the digitized stream; A receiving apparatus comprising: a decoding unit that generates a decoded stream including decoded data by performing a decoding process on the encoded stream when the reception unit receives the encoded stream.
  • the encoded stream is an encoded audio stream of object-based audio including encoded data of a plurality of object sound sources having priority information
  • An information transmission step of transmitting own decoding capability information indicating to what priority level decoding is possible to the transmission side via the digital interface;
  • the reception unit generates a coded stream including a plurality of pieces of coded data having priority information from the transmission side through the digital interface or a decoded stream generated by performing a decoding process on the coded stream.
  • a receiving step for receiving a decrypted stream having data comprising: a decoding step of generating a decoded stream including decoded data by performing a decoding process on the encoded stream when the encoded stream is received in the receiving step.
  • SYMBOLS 10 ... AV system 100 ... BD player 101 ... HDMI terminal 102 ... HDMI transmission part 103 ... Internal bus 104 ... CPU 105 ... Flash ROM 106 ... SDRAM DESCRIPTION OF SYMBOLS 107 ... Display control part 108 ... Remote control receiver 109 ... Remote control transmitter 111 ... Storage medium control interface 112 ... BD drive 113 ... HDD 114 ... SSD DESCRIPTION OF SYMBOLS 115 ... Ethernet interface 116 ... Network terminal 121 ... Demultiplexer 122 ... Video decoder 123 ... Graphic generation circuit 124 ... Video output terminal 125 ... Panel drive circuit 126 ... Display Panel 127 ... Audio decoder 128 ...
  • SDRAM 307 Display control unit 308: Remote control receiver 309 ... Remote control transmitter 310 ... Power supply unit 311 ... Ethernet interface 312 ... Network terminal 321 ... Antenna terminal 322 ... Digital Tuner 323 ... Demultiplexer 324 ... Video decoder 325 ... Video processing circuit 326 ... Graphic generation circuit 327 ... Panel drive circuit 328 ... Display panel 329 ... Audio decoder 330 ... Audio processing circuit 331 ... Audio amplification circuit 332 ... Speaker 400 ... Speaker system 510, 520 ... HDMI cable

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

　優先度情報を持つ複数の符号化データを含む符号化ストリームに対して最適な復号化処理の適用を可能とする。　優先度情報を持つ複数の符号化データを含む符号化ストリームを取得する。何番目の優先度まで復号化可能かを示す受信側の復号化能力情報に基づいて受信側の復号化能力が自身の復号化能力以上か否かを判断する。受信側の復号化能力が自身の復号化能力以上であるときは、符号化ストリームを送信する。一方、受信側の復号化能力が自身の復号化能力以上でないとき、符号化ストリームに復号化処理を施して生成した、復号化済データを含む復号化済ストリームを送信する。

Description

送信装置、送信方法、受信装置および受信方法
　この発明は、送信装置、送信方法、受信装置および受信方法に関し、詳しくは、優先度情報を持つ複数の符号化データを取り扱う送信装置等に関する。
　従来、受信機は復号化可能であることのみデジタルインタフェースを介して送信機に通知することが可能であった。この場合、送信機と受信機の両方が復号化可能であった場合、送信機がどちらで復号化を行うかを判断する、あるいは視聴者が自身の操作で復号化を行う機器を指定するという形で伝送が行われている。送信機は受信機の復号化能力の品質を知るすべがなく、また視聴者も両機器のうちどちらの復号化能力が優れているかを判断することは非常に困難であった。
　例えば、特許文献１には、オブジェクトベースオーディオのミキシング技術が記載されている。オブジェクトベースオーディオは、個々のオブジェクト音源をミキシングせずに供給し、再生機器側でレンダリングすることで立体音響を実現するものである。
　オブジェクトベースオーディオの符号化ストリームには、複数のオブジェクト音源の符号化データが含まれる。各オブジェクト音源の符号化データは、音データの他に、座標軸上の位置情報などのメタデータから構成されている。各オブジェクト音源の符号化データに、復号化の際の優先度を示す優先度情報を持たせることも考えられている。
特表２０１４－５２３１９０号公報
　本技術は、優先度情報を持つ複数の符号化データを含む符号化ストリームに対して最適な復号化処理の適用を可能とすることにある。
　本技術の概念は、
　優先度情報を持つ複数の符号化データを含む符号化ストリームを取得するストリーム取得部と、
　上記ストリーム取得部で取得された符号化ストリームに復号化処理を施して復号化済データを含む復号化済ストリームを生成するデコード部と、
　何番目の優先度まで復号化可能かを示す受信側の復号化能力情報に基づいて上記受信側の復号化能力が自身の復号化能力以上か否かを判断する判断部と、
　上記受信側に、デジタルインタフェースを介して、上記判断部で上記受信側の復号化能力が自身の復号化能力以上であると判断されたときは上記ストリーム取得部で取得された符号化ストリームを送信し、上記判断部で上記受信側の復号化能力が自身の復号化能力以上でないと判断されるときは上記デコード部で生成された復号化済ストリームを送信する送信部を備える
　送信装置にある。
　本技術において、ストリーム取得部により、優先度情報を持つ複数の符号化データを含む符号化ストリームが取得される。デコード部により、ストリーム取得部で取得された符号化ストリームに復号化処理が施されて復号化済データを含む復号化済ストリームが生成される。例えば、符号化ストリームは、優先度情報を持つ複数のオブジェクト音源の符号化データを含むオブジェクトベースオーディオの符号化オーディオストリームであり、デコード部は、ストリーム取得部で取得された符号化オーディオストリームに復号化処理を施して復号化済データとして所定チャネル数のオーディオデータを含む復号化済オーディオストリームを生成する、ようにされてもよい。
　判断部により、何番目の優先度まで復号化可能かを示す受信側の復号化能力情報に基づいて、受信側の復号化能力が自身の復号化能力以上か否かが判断される。例えば、受信側から、デジタルインタフェースを介して、受信側の復号化能力情報を受信する情報受信部をさらに備える、ようにされてもよい。
　送信部により、受信側に、デジタルインタフェースを介して、ストリーム取得部で取得された符号化ストリームあるいはデコード部で生成された復号化済ストリームが送信される。例えば、デジタルインタフェースは、ＨＤＭＩである、ようにされてもよい。この場合、判断部で受信側の復号化能力が自身の復号化能力以上であると判断されたときは符号化ストリームが送信され、判断部で受信側の復号化能力が自身の復号化能力以上でないと判断されたときは復号化済ストリームが送信される。
　このように本技術においては、受信側の復号化能力が自身の復号化能力以上であるときは符号化ストリームを送信し、受信側の復号化能力が自身の復号化能力以上でないときは復号化済ストリームを送信するものであり、符号化ストリームに対して最適な復号化処理の適用が可能となる。
　また、本技術の他の概念は、
　何番目の優先度まで復号化可能かを示す自身の復号化能力情報を、デジタルインタフェースを介して、送信側に送信する情報送信部と、
　上記送信側から、上記デジタルインタフェースを介して、優先度情報を持つ複数の符号化データを含む符号化ストリームまたは該符号化ストリームに復号化処理が施されて生成された復号化済データを持つ復号化済ストリームを受信する受信部と、
　上記受信部で上記符号化ストリームが受信されたとき、該符号化ストリームに復号化処理を施して復号化済データを含む復号化済ストリームを生成するデコード部を備える
　受信装置にある。
　本技術において、情報送信部により、何番目の優先度まで復号化可能かを示す自身の復号化能力情報が、デジタルインタフェースを介して、送信側に送信される。例えば、デジタルインタフェースはＨＤＭＩである、ようにされてもよい。
　受信部により、送信側から、デジタルインタフェースを介して、優先度情報を持つ複数の符号化データを含む符号化ストリームまたはこの符号化ストリームに復号化処理が施されて生成された復号化済データを持つ復号化済ストリームが受信される。デコード部により、受信部で符号化ストリームが受信されたとき、この符号化ストリームに復号化処理が施されて復号化済データを含む復号化済ストリームが生成される。
　例えば、符号化ストリームは、優先度情報を持つ複数のオブジェクト音源の符号化データを含むオブジェクトベースオーディオの符号化オーディオストリームであり、復号化済ストリームは、符号化オーディオストリームに復号化処理が施されて生成された所定チャネル数のオーディオデータを復号化済みデータとして含む、ようにされてもよい。
　このように本技術においては、自身の復号化能力情報を、デジタルインタフェースを介して、送信側に送信するものであり、送信側ではこの復号化能力情報に基づいて受信側の復号化能力が自身の復号化能力以上か否かを判断し、受信側の復号化能力が自身の復号化能力以上であるときは符号化ストリームを送信し、受信側の復号化能力が自身の復号化能力以上でないときは復号化済ストリームを送信することが可能となり、符号化ストリームに対して最適な復号化処理の適用が可能となる。
　本技術によれば、優先度情報を持つ複数の符号化データを含む符号化ストリームに対して最適な復号化処理の適用が可能となる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
実施の形態としてのＡＶシステムの構成例を示すブロック図である。 ＡＶシステムを構成するＢＤプレーヤの構成例を示すブロック図である。 受信側の復号化能力情報の一例の構造を示す図である。 ＢＤプレーヤのＣＰＵにおける制御処理手順の一例を示すフローチャートである。 ＡＶシステムを構成するオーディオアンプの構成例を示すブロック図である。 ＡＶシステムを構成するテレビ受信機の構成例を示すブロック図である。 ＢＤプレーヤのＨＤＭＩ送信部とオーディオアンプのＨＤＭＩ受信部の構成例を示すブロック図である。 ＴＭＤＳチャネルにおいて横×縦が１９２０ピクセル×１０８０ラインの画像データが伝送される場合の各種の伝送データの区間を示す図である。
　以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
　１．実施の形態
　２．変形例
　＜１．実施の形態＞
　［ＡＶシステムの構成例］
　図１は、実施の形態としてのＡＶ（Audio Visual）システム１０の構成例を示している。このＡＶシステム１０は、ソース機器としてのＢＤ(Blu-Ray Disc)プレーヤ１００と、リピータ機器としてのオーディオアンプ２００と、シンク機器としてのテレビ受信機３００を有している。オーディオアンプ２００には、マルチチャネル用のスピーカシステム４００が接続されている。
　また、ＢＤプレーヤ１００およびオーディオアンプ２００はＨＤＭＩケーブル５１０を介して接続されている。ＢＤプレーヤ１００には、ＨＤＭＩ送信部（HDNI TX）１０２が接続されたＨＤＭＩ端子１０１が設けられている。オーディオアンプ２００には、ＨＤＭＩ受信部（HDMI RX）２０２ａが接続されたＨＤＭＩ端子２０１ａが設けられている。ＨＤＭＩケーブル５１０の一端はＢＤプレーヤ１００のＨＤＭＩ端子１０１に接続され、その他端はオーディオアンプ２００のＨＤＭＩ端子２０１ａに接続されている。
　オーディオアンプ２００およびテレビ受信機３００はＨＤＭＩケーブル５２０を介して接続されている。オーディオアンプ２００には、ＨＤＭＩ送信部（HDMI TX）２０２ｂが接続されたＨＤＭＩ端子２０１ｂが設けられている。テレビ受信機１００には、ＨＤＭＩ受信部（HDMI RX）３０２が接続されたＨＤＭＩ端子３０１が設けられている。ＨＤＭＩケーブル５２０の一端はオーディオアンプ２００のＨＤＭＩ端子２０１ｂに接続され、その他端はテレビ受信機３００のＨＤＭＩ端子３０１に接続されている。なお、「ＨＤＭＩ」は登録商標である。
　［ＢＤプレーヤの構成例］
　図２は、ＢＤプレーヤ１００の構成例を示している。このＢＤプレーヤ１００は、ＨＤＭＩ端子１０１と、ＨＤＭＩ送信部１０２を有している。また、このＢＤプレーヤ１００は、内部バス１０３と、ＣＰＵ（Central Processing Unit）１０４と、フラッシュＲＯＭ（Read Only Memory）１０５と、ＳＤＲＡＭ（Synchronous Random Access Memory）１０６と、表示制御部１０７と、リモコン受信部１０８と、リモコン送信機１０９を有している。
　また、ＢＤプレーヤ１００は、記憶（記録）媒体制御インタフェース１１１と、ＢＤ(Blu-Ray Disc)ドライブ１１２と、ＨＤＤ（Hard disk drive）１１３と、ＳＳＤ（Solid State Drive）１１４と、イーサネットインタフェース（Ethernet I/F）１１５と、ネットワーク端子１１６を有している。なお、「イーサネット」および「Ｅｔｈｅｒｎｅｔ」は登録商標である。
　また、ＢＤプレーヤ１００は、デマルチプレクサ１２１と、ビデオデコーダ１２２と、グラフィック生成回路１２３と、映像出力端子１２４と、パネル駆動回路１２５と、表示パネル１２６と、オーディオデコーダ１２７と、選択部１２８と、音声出力端子１２９を有している。また、ＢＤプレーヤ１００は、電源部１３１を有している。電源部１３１は、ＢＤプレーヤ１００の各部に電源を供給する。なお、電源部１３１は、ＡＣ電源であっても、電池（蓄電池、乾電池）であってもよい。
　ＣＰＵ１０４、フラッシュＲＯＭ１０５、ＳＤＲＡＭ１０６、表示制御部１０７、記憶媒体制御インタフェース１１１、イーサネットインタフェース１１５およびデマルチプレクサ１２１は、内部バス１０３に接続されている。ＣＰＵ１０４は、ＢＤプレーヤ１００の各部の動作を制御する。
　フラッシュＲＯＭ１０５は、制御ソフトウェアの格納およびデータの保管を行う。ＳＤＲＡＭ１０６は、ＣＰＵ１０４のワークエリアを構成する。ＣＰＵ１０４は、フラッシュＲＯＭ１０５から読み出したソフトウェアやデータをＳＤＲＡＭ１０６上に展開してソフトウェアを起動させ、ＢＤプレーヤ１００の各部を制御する。
　リモコン受信部１０８は、リモコン送信機１０９から送信されたリモーコントロール信号（リモコンコード）を受信し、ＣＰＵ１０４に供給する。ＣＰＵ１０４は、リモコンコードに従ってＢＤプレーヤ１００の各部を制御する。なお、この実施の形態では、ユーザ指示入力部としてリモートコントロール部を示しているが、ユーザ指示入力部は、その他の構成、例えば、スイッチ、ホイール、近接/タッチにより指示入力を行うタッチパネル部、マウス、キーボード、カメラで指示入力を検出するジェスチャ入力部、音声により指示入力を行う音声入力部などであってもよい。
　ＢＤドライブ１１２は、ディスク状記録メディアとしてのＢＤディスクに対して、コンテンツデータを記録し、あるいは、このＢＤディスクからコンテンツデータを再生する。ＨＤＤ１１３は、コンテンツデータを記録し、あるいは、そのコンテンツデータを再生する。ＳＳＤ１１４は、メモリカード等の半導体メモリに対して、コンテンツデータを記録し、あるいは、この半導体メモリからコンテンツデータを再生する。
　ＢＤドライブ１１２、ＨＤＤ１１３、ＳＳＤ１１４は、記憶媒体制御インタフェース１１１を介して内部バス１０３に接続されている。例えば、ＢＤドライブ１１２やＨＤＤ１１３のためのインタフェースとしてはＳＡＴＡインタフェースが使用される。また、例えば、ＳＳＤ１１４のためのインタフェースとしてＳＡＴＡインタフェースあるいはＰＣＩｅインタフェースが使用される。
　ネットワーク端子１１６は、ネットワークに接続する端子であり、イーサネットインタフェース１１５に接続される。イーサネットインタフェース１１５は、ネットワーク端子１１６を介して、ネットワーク接続をする。
　デマルチプレクサ１２１は、ＢＤドライブ１１２、ＨＤＤ１１３あるいはＳＳＤ１１４で再生されたコンテンツデータである多重化ストリームから符号化ビデオストリームおよび符号化オーディオストリームを抽出する。ビデオデコーダ１２２は、符号化ビデオストリームに対して復号化処理を行って、非圧縮の画像データを得る。
　グラフィック生成回路１２３は、ビデオデコーダ１２２で得られた画像データに対して、必要に応じてグラフィックスデータの重畳処理等を行う。映像出力端子１２４は、グラフィック生成回路１２３から出力される画像データを出力する。
　パネル駆動回路１２５は、グラフィック生成回路１２３から出力される画像データに基づいて、表示パネル１２６を駆動する。表示制御部１０７は、グラフィクス生成回路１２３やパネル駆動回路１２５を制御して、表示パネル１２６における表示を制御する。表示パネル１２６は、例えば、ＬＣＤ(Liquid Crystal Display)、ＰＤＰ(Plasma Display Panel)、有機ＥＬパネル（Organic Electro-Luminescence Panel）等で構成されている。
　なお、この実施の形態では、ＣＰＵ１０４の他に、表示制御部１０７を有する例を示しているが、表示パネル１２６における表示をＣＰＵ１０４が直接制御するようにしてもよい。また、ＣＰＵ１０４と表示制御部１０７は、１つのチップになっていても、複数コアであってもよい。
　オーディオデコーダ１２７は、デマルチプレクサ１２１で抽出された符号化オーディオストリームに対して復号化処理を行って、非圧縮の音声データを得る。この実施の形態において、符号化オーディオストリームは、優先度情報を持つ複数のオブジェクト音源の符号化データを含むオブジェクトベースオーディオの符号化オーディオストリームである。各オブジェクト音源の符号化データは、音データの他に、座標軸上の位置情報などのメタデータから構成されている。
　オーディオデコーダ１２７は、符号化オーディオストリームに対して復号化処理を施し、所定チャネル数の非圧縮の音声データを得ると共に、この所定チャネル数の非圧縮の音声データを含む復号化済オーディオストリームを生成する。音声出力端子１２９は、オーディオデコーダ１２７で得られた所定チャネル数の非圧縮の音声データを出力する。
　なお、音声出力端子１２９に出力する非圧縮の音声データのチャネル数は、復号化済オーディオストリームに含める非圧縮の音声データのチャネル数と異なっていてもよい。例えば、復号化済オーディオストリームに含める非圧縮の音声データのチャネル数が５．１チャネル用の「６」であるのに対して、音声出力端子１２９に出力する非圧縮の音声データのチャネル数がステレオ用の「２」などである。
　オーディオデコーダ１２７は、符号化オーディオストリームに対して復号化処理を施す際に、自身の復号化能力の範囲で行う。すなわち、オーディオデコーダ１２７は、符号化オーディオストリームに含まれる複数のオブジェクト音源の符号化データのうち、自身が復号化可能な優先度までの範囲に含まれる優先度を持つ所定数のオブジェクト音源の符号化データに対して復号化処理を施して、所定チャネル数の非圧縮の音声データを得る。
　選択部１２８は、ＣＰＵ１０４の制御のもと、ＨＤＭＩのデジタルインタフェースで受信側に送信するオーディオストリームとして、デマルチプレクサ１２１で抽出された符号化オーディオストリームまたはオーディオデコーダ１２７で生成された復号化済オーディオストリームを取り出す。
　ＣＰＵ１０４は、受信側の復号化能力情報、すなわち、受信側、この実施の形態ではオーディオアンプ２００が何番目の優先度まで復号化可能かを示す情報に基づいて、受信側の復号化能力が自身の復号化能力以上か否かを判断する。この実施の形態において、ＣＰＵ１０４は、この受信側の復号化能力情報を、ＨＤＭＩのデジタルインタフェースで受信側から受信する。
　図３は、受信側の復号化能力情報の一例の構造を示している。この復号化能力情報は、図３（ａ）に示すように、全体として８ビット情報であるが、図３（ｂ）に示すように、第３ビットから第０ビットまでの下位４ビットが実質的な情報を構成している。例えば、“００００”は、オブジェクトベースオーディオの符号化オーディオストリームに対する復号化に非対応であることを示す。
　また、例えば、“０００１”は、優先度１のみ復号化可能であること、つまり優先度１を持つオブジェクト音源の符号化データの復号化のみが可能であることを示す。また、例えば、“００１０”は、優先度２まで復号化可能であること、つまり優先度１，２を持つオブジェクト音源の符号化データの復号化が可能であることを示す。以下、同様である。
　ＣＰＵ１０４は、受信側の復号化能力が自身の復号化能力以上であると判断するとき、選択部１２８で符号化オーディオストリームが取り出されるように制御する。また、ＣＰＵ１０４は、受信側の復号化能力が自身の復号化能力以上でないと判断するとき、選択部１２８で復号化済オーディオストリームが取り出されるように制御する。このように制御されることで、符号化オーディオストリームに対して最適な復号化処理の適用が可能となる。
　図４のフローチャートは、ＣＰＵ１０４における制御処理手順の一例を示している。ＣＰＵ１０４は、ステップＳＴ１において、判断処理を開始する。そして、ＣＰＵ１０４は、ステップＳＴ２において、受信側からＨＤＭＩのデジタルインタフェースを通じて、受信側の復号化能力情報（図３参照）を受信する。例えば、受信側において復号化能力情報はＥＤＩＤ（Extended Display Identification Data）の一つとして記録されている。ＣＰＵ１０４は、ＤＤＣ(Display Data Channel)チャネルでＥＤＩＤを読み出すことで、受信側の復号化能力情報を取得する。
　次に、ＣＰＵ１０４は、ステップＳＴ３において、受信側がオブジェクトベースオーディオの符号化オーディオストリームに対する復号化に対応しているか否かを判断する。復号化に対応しているとき、ＣＰＵ１０４は、ステップＳＴ４において、受信側の復号化能力が自身の復号化能力以上であるか否かを判断する。
　受信側の復号化能力が自身の復号化能力以上であるとき、ＣＰＵ１０４は、ステップＳＴ５において、符号化オーディオストリームを出力することとし、選択部１２８で符号化オーディオストリームが取り出されるように制御する。その後、ＣＰＵ１０４は、ステップＳＴ６において、制御処理を終了する。
　また、ステップＳＴ３で受信側がオブジェクトベースオーディオの符号化オーディオストリームに対する復号化に対応していないとき、あるいはステップＳＴ４で受信側の復号化能力が自身の復号化能力以上でないとき、ＣＰＵ１０４は、ステップＳＴ７において、復号化済オーディオストリームを出力することとし、選択部１２８で復号化済オーディオストリームが取り出されるように制御する。その後、ＣＰＵ１０４は、ステップＳＴ６において、制御処理を終了する。
　図２に戻って、ＨＤＭＩ送信部１０２は、ＨＤＭＩに準拠した通信により、ビデオデコーダ１２２で得られた非圧縮の画像データと、選択部１２８で取り出されたオーディオストリームを、ＨＤＭＩ端子１０１から送出する。ＨＤＭＩ送信部１０２は、ＨＤＭＩのＴＭＤＳチャネルで送信するため、画像データおよびオーディオストリームをパッキングして、ＨＤＭＩ端子１０１に出力する。このＨＤＭＩ送信部１０２の詳細は後述する。
　図２に示すＢＤプレーヤ１００の動作を簡単に説明する。記録時には、図示されていないデジタルチューナを介して、あるいはネットワーク端子１１６からイーサネットインタフェース１１５を介して、記録すべきコンテンツデータが取得される。このコンテンツデータは、記憶媒体制御インタフェース１１１に入力され、ＢＤドライブ１１２によりＢＤディスクに、ＨＤＤ１１３に、あるいはＳＳＤ１１４により半導体メモリに、記録される。
　再生時には、ＢＤドライブ１１２、ＨＤＤ１１３、あるいはＳＳＤ１１４で再生されたコンテンツデータである多重化ストリームは、記憶媒体制御インタフェース１１１を介してデマルチプレクサ１２１に供給される。デマルチプレクサ１２１では、多重化ストリームから符号化ビデオストリームおよび符号化オーディオストリームが抽出される。
　デマルチプレクサ１２１で抽出された符号化ビデオストリームは、ビデオデコーダ１２２に供給される。ビデオデコーダ１２２では、符号化ビデオストリームに対して復号化処理が施されて、非圧縮の画像データが得られる。この画像データは、グラフィック生成回路１２３で必要に応じてグラフィックスデータの重畳処理等が行われた後に、映像出力端子１２４に出力される。また、ユーザ操作に応じて、グラフィック生成回路１２３からパネル駆動回路１２５に画像データが供給され、表示パネル１２６に再生画像が表示される。
　また、デマルチプレクサ１２１で抽出された符号化オーディオストリームは、オーディオデコーダ１２７に供給される。この符号化オーディオストリームは、優先度情報を持つ複数のオブジェクト音源の符号化データを含むオブジェクトベースオーディオの符号化オーディオストリームである。
　オーディオデコーダ１２７では、符号化オーディオストリームに対して復号化処理が施されて、所定チャネル数の非圧縮の音声データが得られると共に、この所定チャネル数の非圧縮の音声データを含む復号化済オーディオストリームが生成される。オーディオデコーダ１２７で生成された所定チャネル数の非圧縮の音声データは、音声出力端子１２９に出力される。
　また、デマルチプレクサ１２１で抽出された符号化オーディオストリームは、選択部１２８に供給される。この選択部１２８には、オーディオデコーダ１２７で生成された復号化済オーディオストリームも供給される。選択部１２８では、ＣＰＵ１０４の制御のもと、ＨＤＭＩで受信側に送信するオーディオストリームとして、符号化オーディオストリームまたは復号化済オーディオストリームが取り出される。
　ＣＰＵ１０４では、受信側の復号化能力情報（何番目の優先度まで復号化可能かを示す情報）に基づいて、受信側の復号化能力が自身の復号化能力以上か否かが判断され、その判断結果に基づいて選択部１２８を制御することが行われる。受信側の復号化能力が自身の復号化能力以上であるとき、選択部１２８では符号化オーディオストリームが取り出される。一方、受信側の復号化能力が自身の復号化能力以上でないととき、選択部１２８では復号化済オーディオストリームが取り出される。
　再生時に、ＢＤドライブ１１２、ＨＤＤ１１３、あるいはＳＳＤ１１４で再生されたコンテンツデータをＨＤＭＩのＴＭＤＳチャネルで送信する場合、選択部１２８で取り出されたオーディオストリームがＨＤＭＩ送信部１０２に供給されると共に、ビデオデコーダ１２２で得られた非圧縮の画像データがＨＤＭＩ送信部１０２に供給される。ＨＤＭＩ送信部１０２では、これらの画像データおよびオーディオストリームがパッキングされ、ＨＤＭＩ端子１０１に出力される。
　［オーディオアンプの構成例］
　図５は、オーディオアンプ２００の構成例を示している。オーディオアンプ２００は、ＨＤＭＩ端子２０１ａ，２０１ｂと、ＨＤＭＩ受信部２０２ａと、ＨＤＭＩ送信部２０２ｂを有している。また、オーディオアンプ２００は、オーディオデコーダ２２１と、選択部２２２と、音声処理回路２２３と、音声増幅回路２２４と、音声出力端子２２５を有している。
　また、オーディオアンプ２００は、内部バス２０３と、ＣＰＵ２０４と、フラッシュＲＯＭ２０５と、ＳＤＲＡＭ２０６と、表示制御部２０７と、パネル駆動回路２０８と、表示パネル２０９と、リモコン受信部２１０と、リモコン送信機２１１と、電源部２１２を有している。ＣＰＵ２０４、フラッシュＲＯＭ２０５、ＳＤＲＡＭ２０６および表示制御部２０７は、内部バス２０３に接続されている。
　ＣＰＵ２０４は、オーディオアンプ２００の各部の動作を制御する。フラッシュＲＯＭ２０５は、制御ソフトウェアの格納およびデータの保管を行う。ＳＤＲＡＭ２０６は、ＣＰＵ２０４のワークエリアを構成する。ＣＰＵ２０４は、フラッシュＲＯＭ２０５から読み出したソフトウェアやデータをＳＤＲＡＭ２０６上に展開してソフトウェアを起動させ、オーディオアンプ２００の各部を制御する。
　リモコン受信部２１０は、リモコン送信機２１１から送信されたリモーコントロール信号（リモコンコード）を受信し、ＣＰＵ２０４に供給する。ＣＰＵ２０４は、このリモコンコードに基づいて、オーディオアンプ２００の各部を制御する。なお、この実施の形態では、ユーザ指示入力部としてリモートコントロール部を示しているが、ユーザ指示入力部は、その他の構成、例えば、スイッチ、ホイール、近接/タッチにより指示入力を行うタッチパネル部、マウス、キーボード、カメラで指示入力を検出するジェスチャ入力部、音声により指示入力を行う音声入力部などであってもよい。
　表示制御部２０７は、例えば、ユーザインタフェース表示あるいはオーディオアンプ２００のステータス表示等を行うために、パネル駆動回路２０８を制御し、表示パネル２０９における表示を制御する。表示パネル２０９は、例えば、ＬＣＤ(Liquid Crystal Display)、有機ＥＬパネル（Organic Electro-Luminescence Panel）等で構成されている。
　なお、この実施の形態では、ＣＰＵ２０４の他に表示制御部２０７を有する例を示しているが、表示パネル２０９における表示をＣＰＵ２０４が直接制御するようにしてもよい。また、ＣＰＵ２０４と表示制御部２０７は、１つのチップになっていても、複数コアであってもよい。電源部２１２は、オーディオアンプ２００の各部に電源を供給する。この電源部２１２は、ＡＣ電源であっても、電池（蓄電池、乾電池）であってもよい。
　ＨＤＭＩ受信部２０２ａは、ＨＤＭＩに準拠した通信により、ＨＤＭＩケーブルを介してＨＤＭＩ端子２０１ａに供給される非圧縮の画像データとオーディオストリームを受信する。このオーディオストリームは、優先度情報を持つ複数のオブジェクト音源の符号化データを含むオブジェクトベースオーディオの符号化オーディオストリーム、あるいは所定チャネル数の非圧縮の音声データを含む復号化済オーディオストリームである。このＨＤＭＩ受信部２０２ａの詳細は後述する。
　オーディオデコーダ２２１は、ＨＤＭＩ受信部２０２ａで受信されたオーディオストリームが符号化オーディオストリームであるとき、この符号化オーディオストリームに対して復号化処理を施し、所定チャネル数の非圧縮の音声データを得ると共に、この所定チャネル数の非圧縮の音声データを含む復号化済オーディオストリームを生成する。
　選択部２２２は、ＣＰＵ２０４の制御のもと、ＨＤＭＩ受信部２０２ａで受信されたオーディオストリームまたはオーディオデコーダ２２１で得られた復号化済オーディオストリームを取り出す。この場合、選択部２２２は、ＨＤＭＩ受信部２０２ａで受信されたオーディオストリームが符号化オーディオストリームであるときは、オーディオデコーダ２２１で得られた復号化済オーディオストリームを取り出す。また、選択部２２２は、ＨＤＭＩ受信部２０２ａで受信されたオーディオストリームが復号化済オーディオストリームであるときは、その復号化済オーディオストリームを取り出す。
　音声処理回路２２３は、選択部２２２で取り出された復号化済オーディオストリームから所定チャネル数の非圧縮の音声データを取り出し、Ｄ／Ａ変換等の必要な処理を施す。なお、音声処理回路２２３は、接続されるスピーカシステム４００の構成に応じて必要なアップ/ダウンミックス処理を行って、必要なチャネル数の音声信号を得る。音声増幅回路２２４は、音声処理回路２２３で得られた各チャネルのオーディオ信号を増幅して音声出力端子２２５に出力する。なお、音声出力端子２２５にはスピーカシステム４００が接続される。
　ＨＤＭＩ送信部２０２ｂは、ＨＤＭＩに準拠した通信により、ＨＤＭＩ受信部２０２ａで受信された非圧縮の画像データと、選択部２２２で取り出された復号化済オーディオストリームを、ＨＤＭＩ端子２０１ｂから送出する。ＨＤＭＩ送信部２０２ｂは、ＨＤＭＩのＴＭＤＳチャネルで送信するため、画像データおよびオーディオストリームをパッキングして、ＨＤＭＩ端子２０１ｂに出力する。このＨＤＭＩ送信部２０２ｂの詳細は後述する。
　図５に示すオーディオアンプ２００の動作を簡単に説明する。ＨＤＭＩ受信部２０２ａでは、ＨＤＭＩ端子２０１ａにＢＤプレーヤ１００からＨＤＭＩケーブルを介して送信されてくる、非圧縮の画像データとオーディオストリーム（符号化オーディオストリームまたは復号化済オーディオストリーム）が受信される。
　ＨＤＭＩ受信部２０２ａで受信されたオーディオストリームは、オーディオデコーダ２２１に供給される。オーディオデコーダ２２１では、ＨＤＭＩ受信部２０２ａで受信されたオーディオストリームが符号化オーディオストリームであるとき、この符号化オーディオストリームに対して復号化処理が施されて、所定チャネル数の非圧縮の音声データが得られると共に、この所定チャネル数の非圧縮の音声データを含む復号化済オーディオストリームが生成される。
　選択部２２２では、ＣＰＵ２０４の制御のもと、ＨＤＭＩ受信部２０２ａで受信されたオーディオストリームまたはオーディオデコーダ２２１で得られた復号化済オーディオストリームが取り出される。この場合、選択部２２２では、ＨＤＭＩ受信部２０２ａで受信されたオーディオストリームが符号化オーディオストリームであるときは、オーディオデコーダ２２１で得られた復号化済オーディオストリームが取り出される。一方、選択部２２２では、ＨＤＭＩ受信部２０２ａで受信されたオーディオストリームが復号化済オーディオストリームであるときは、その復号化済オーディオストリームが取り出される。
　これにより、選択部２２２からは、常に、復号化済オーディオストリームが取り出される。復号化済オーディオストリームは、自身の復号化能力が送信側の復号化能力以上であるときは、オーディオデコーダ２２１で生成されたものでる。また、この復号化済オーディオストリームは、自身の復号化能力が送信側の復号化能力以上でないときは、送信側のオーディオデコーダ（図２のオーディオデコーダ１２７参照）で生成されたものである。従って、この復号化済オーディオストリームは、符号化オーディオストリームに対して最適な復号化処理が適応されて得られたものとなる。
　選択部２２２で取り出された復号化済オーディオストリームは、音声処理回路２２３に供給される。音声処理回路２２３では、復号化済オーディオストリームから所定チャネル数の非圧縮の音声データが取り出され、さらにアップ/ダウンミックス、Ｄ／Ａ変換等の必要な処理が施され、必要なチャネル数の音声信号が得られる。そして、ミューティングがオフ状態にあるとき、音声処理回路２２３から出力される各チャネルの音声信号が音声増幅回路２２４で増幅されて音声出力端子２２５に出力される。そのため、音声出力端子２２５に接続されたスピーカシステム４００から所定チャネル数の音声出力が得られる。
　また、ＨＤＭＩ受信部２０２ａで受信された非圧縮の画像データと、選択部２２２で取り出された復号化済オーディオストリームは、ＨＤＭＩ送信部２０２ｂに供給される。なお、ＨＤＭＩ受信部２０２ａで受信された非圧縮の画像データそのものではなく、この画像データにグラフィックスデータの重畳等の処理が施された後の画像データがＨＤＭＩ送信部２０２ｂに供給されてもよい。ＨＤＭＩ送信部２０２ｂでは、これらの画像データおよびオーディオストリームがパッキングされ、ＨＤＭＩ端子２０１ｂに出力される。
　［テレビ受信機の構成例］
　図６は、テレビ受信機３００の構成例を示している。テレビ受信機３００は、ＨＤＭＩ端子３０１と、ＨＤＭＩ受信部３０２を有している。また、テレビ受信機３００は、内部バス３０３と、ＣＰＵ３０４と、フラッシュＲＯＭ３０５と、ＳＤＲＡＭ（Synchronous RAM）３０６と、表示制御部３０７と、リモコン受信部３０８と、リモコン送信機３０９と、電源部３１０と、イーサネットインタフェース（Ethernet I/F）３１１と、ネットワーク端子３１２を有している。
　また、テレビ受信機３００は、アンテナ端子３２１と、デジタルチューナ３２２と、デマルチプレクサ３２３と、ビデオデコーダ３２４と、映像処理回路３２５と、グラフィック生成回路３２６と、パネル駆動回路３２７と、表示パネル３２８を有している。また、テレビ受信機３００は、オーディオデコーダ３２９と、音声処理回路３３０と、音声増幅回路３３１と、スピーカ３３２を有している。ＣＰＵ３０４、フラッシュＲＯＭ３０５、ＳＤＲＡＭ３０６、表示制御部３０７、イーサネットインタフェース３１１およびデマルチプレクサ３２３は、内部バス３０３に接続されている。
　ＣＰＵ３０４は、テレビ受信機３００の各部の動作を制御する。フラッシュＲＯＭ３０５は、制御ソフトウェアの格納およびデータの保管を行う。ＳＤＲＡＭ３０６は、ＣＰＵ３０４のワークエリアを構成する。ＣＰＵ３０４は、フラッシュＲＯＭ３０５から読み出したソフトウェアやデータをＳＤＲＡＭ３０６上に展開してソフトウェアを起動させ、テレビ受信機３００の各部を制御する。
　リモコン受信部３０８は、リモコン送信機３０９から送信されたリモートコントロール信号（リモコンコード）を受信し、ＣＰＵ３０４に供給する。ＣＰＵ３０４は、このリモコンコードに基づいて、テレビ受信機３００の各部を制御する。なお、この実施の形態では、ユーザ指示入力部としてリモートコントロール部を示しているが、ユーザ指示入力部は、その他の構成、例えば、スイッチ、ホイール、近接/タッチにより指示入力を行うタッチパネル部、マウス、キーボード、カメラで指示入力を検出するジェスチャ入力部、音声により指示入力を行う音声入力部などであってもよい。
　電源部３１０は、テレビ受信機３００の各部に電源を供給する。なお、電源部３１０は、ＡＣ電源であっても、電池（蓄電池、乾電池）であってもよい。ネットワーク端子３１２は、ネットワークに接続する端子であり、イーサネットインタフェース３１１に接続される。イーサネットインタフェース３１１は、ネットワーク端子３１２を介して、ネットワーク接続をする。
　ＨＤＭＩ受信部３０２は、ＨＤＭＩに準拠した通信により、ＨＤＭＩケーブルを介してＨＤＭＩ端子３０１に供給される非圧縮の画像データと復号化済オーディオストリームを受信する。この復号化済オーディオストリームには、所定チャネル数の非圧縮の音声データが含まれている。このＨＤＭＩ受信部３０２の詳細は後述する。
　アンテナ端子３２１は、受信アンテナ（図示せず）で受信されたテレビ放送信号を入力する端子である。デジタルチューナ３２２は、アンテナ端子３２１に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応したコンテンツデータである多重化ストリームを得る。
　デマルチプレクサ３２３は、デジタルチューナ３２２で得られた多重化ストリームから符号化ビデオストリームおよび符号化オーディオストリームを抽出する。ビデオデコーダ３２４は、符号化ビデオストリームに対して復号化処理を行って、非圧縮の画像データを得る。映像処理回路３２５およびグラフィック生成回路３２６は、ビデオデコーダ３２４で得られた画像データ、あるいはＨＤＭＩ受信部３０２で受信された画像データに対して、必要に応じてスケーリング処理（解像度変換処理）、グラフィックスデータの重畳処理等を行う。
　パネル駆動回路３２７は、グラフィック生成回路３２６から出力される画像データに基づいて、表示パネル３２８を駆動する。表示制御部３０７は、グラフィクス生成回路３２６やパネル駆動回路３２７を制御して、表示パネル３２８における表示を制御する。表示パネル３２８は、例えば、ＬＣＤ(Liquid Crystal Display)、ＰＤＰ(Plasma Display Panel)、有機ＥＬパネル（Organic Electro-Luminescence Panel）等で構成されている。
　なお、この実施の形態では、ＣＰＵ３０４の他に表示制御部３０７を有する例を示しているが、表示パネル３２８における表示をＣＰＵ３０４が直接制御するようにしてもよい。また、ＣＰＵ３０４と表示制御部３０７は、１つのチップになっていても、複数コアであってもよい。
　オーディオデコーダ３２９は、デマルチプレクサ３２３で抽出された符号化オーディオストリームに対して復号化処理を施し、所定チャネル数の非圧縮の音声データを得る。
　音声処理回路３３０は、オーディオデコーダ３２９で得られた所定チャネル数の非圧縮の音声データに、スピーカ３３２の構成に応じたアップ/ダウンミックスやＤ／Ａ変換等の必要な処理を施し、必要なチャネル数の音声信号を得る。あるいは、音声処理回路３３０は、ＨＤＭＩ受信部３０２で受信された復号化済オーディオストリームから所定チャネル数の非圧縮の音声データを取り出し、スピーカ３３２の構成に応じたアップ/ダウンミックスやＤ／Ａ変換等の必要な処理を施し、必要なチャネル数の音声信号を得る。
　音声増幅回路３３１は、音声処理回路３３０で得られた各チャネルのオーディオ信号を増幅してスピーカ３３２に供給する。なお、スピーカ３３２は、モノラルでもステレオでもよい。また、スピーカ３３２は、イヤホン、ヘッドホンでもよい。また、スピーカ３３２は、２．１チャネルや、５．１チャネルなどのマルチチャネル対応であってもよい。また、スピーカ３３２は、テレビ受信機３００と無線で接続されてもよい。また、スピーカ３３２は、他機器であってもよい。
　図６に示すテレビ受信機３００の動作を簡単に説明する。ＨＤＭＩ受信部３０２では、ＨＤＭＩ端子３０１にオーディオアンプ２００からＨＤＭＩケーブルを介して送信されてくる、非圧縮の画像データと復号化済オーディオストリームが受信される。復号化済オーディオストリームには、所定チャネル数の非圧縮の音声データが含まれている。非圧縮の画像データは、映像処理回路３２５に供給され、復号化済オーディオストリームは音声処理回路３３０に供給される。
　また、アンテナ端子３２１に入力されたテレビ放送信号はデジタルチューナ３２２に供給される。このデジタルチューナ３２２では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応したコンテンツデータである多重化ストリームが得られる。この多重化ストリームは、デマルチプレクサ３２３に供給される。
　デマルチプレクサ３２３では、多重化ストリームから符号化ビデオストリームおよび符号化オーディオストリームが抽出される。符号化ビデオストリームはビデオデコーダ３２４に供給される。ビデオデコーダ３２４では、符号化ビデオストリームに対して復号化処理が施されて、非圧縮の画像データが得られる。この非圧縮の画像データは、映像処理回路３２５に供給される。
　映像処理回路３２５およびグラフィック生成回路３２６では、ビデオデコーダ３２４で得られた画像データ、あるいはＨＤＭＩ受信部３０２で受信された画像データに対して、必要に応じてスケーリング処理（解像度変換処理）、グラフィックスデータの重畳処理等が行われる。処理後の画像データは、パネル駆動回路３２７に供給され、表示パネル３２８には、その画像データに対応した画像が表示される。
　また、デマルチプレクサ３２３で抽出された符号化オーディオストリームは、オーディオデコーダ３２９に供給される。オーディオデコーダ３２９では、符号化オーディオストリームに対して復号化処理が施されて、所定チャネル数の非圧縮の音声データが得られる。この所定チャネル数の非圧縮の音声データは、音声処理回路３３０に供給される。
　音声処理回路３３０では、オーディオデコーダ３２９で得られた所定チャネル数の非圧縮の音声データに、スピーカ３３２の構成に応じたアップ/ダウンミックスやＤ／Ａ変換等の必要な処理が施されて、必要なチャネル数の音声信号が得られる。あるいは、この音声処理回路３３０では、ＨＤＭＩ受信部３０２で受信された復号化済オーディオストリームから所定チャネル数の非圧縮の音声データが取り出された後に、スピーカ３３２の構成に応じたアップ/ダウンミックスやＤ／Ａ変換等の必要な処理が施されて、必要なチャネル数の音声信号が得られる。
　音声処理回路３３０で得られた所定チャネル数の音声信号は、音声増幅回路３３１で増幅された後に、スピーカ３３２に供給される。そのため、スピーカ３３２から、表示パネル３２８の画像表示に対応した、モノラル、ステレオあるいはマルチチャネルの音声が出力される。
　「ＨＤＭＩ送信部/受信部の構成例」
　図７は、図１のＡＶシステム１０における、ＢＤプレーヤ１００のＨＤＭＩ送信部１０２とオーディオアンプ２００のＨＤＭＩ受信部２０２ａの構成例を示している。なお、オーディオアンプ２００のＨＤＭＩ送信部２０２ｂとテレビ受信機３００のＨＤＭＩ受信部３０２の構成例に関しては、同様の構成となるので、説明は省略する。
　ＨＤＭＩ送信部１０２は、一の垂直同期信号から次の垂直同期信号までの区間から、水平帰線区間２２および垂直帰線区間２３を除いた区間である有効画像区間２１（以下、適宜、「アクティブビデオ区間」ともいう）（図８参照）において、非圧縮の１画面分の画像の画素データに対応する差動信号を、複数のチャネルで、ＨＤＭＩ受信部２０２ａに一方向に送信する。また、ＨＤＭＩ送信部１０２は、水平帰線区間２２または垂直帰線区間２３において、少なくとも画像に付随する音声データや制御データ、その他の補助データ等に対応する差動信号を、複数のチャネルで、ＨＤＭＩ受信部２０２ａに一方向に送信する。
　すなわち、ＨＤＭＩ送信部１０２は、ＨＤＭＩトランスミッタ３１を有する。トランスミッタ３１は、例えば、非圧縮の画像の画素データを対応する差動信号に変換し、複数のチャネルである３つのＴＭＤＳ（Transition Minimized Differential Signaling）チャネル＃０，＃１，＃２で、ＨＤＭＩ受信部２０２ａに、一方向にシリアル伝送する。
　また、トランスミッタ３１は、非圧縮の画像に付随する音声データ、さらには、必要な制御データその他の補助データ等を、対応する差動信号に変換し、３つのＴＭＤＳチャネル＃０，＃１，＃２で、ＨＤＭＩ受信部２０２ａに一方向にシリアル伝送する。
　ＨＤＭＩ受信部２０２ａは、アクティブビデオ区間２１（図８参照）において、複数のチャネルで、ＨＤＭＩ送信部１０２から一方向に送信されてくる、画素データに対応する差動信号を受信する。また、ＨＤＭＩ受信部２０２ａは、水平帰線区間２２（図８参照）または垂直帰線区間２３（図８参照）において、複数のチャネルで、ＨＤＭＩ送信部１０２から一方向に送信されてくる、音声データや制御データに対応する差動信号を受信する。
　ＨＤＭＩ送信部１０２とＨＤＭＩ受信部２０２ａとからなるＨＤＭＩシステムの伝送チャネルには、画素データおよび音声データを伝送するための伝送チャネルとしての３つのＴＭＤＳチャネル＃０乃至＃２と、ピクセルクロックを伝送する伝送チャネルとしてのＴＭＤＳクロックチャネルの他に、ＤＤＣ（Display Data Channel）３３やＣＥＣ（Consumer Electronics Control）ライン３４と呼ばれる伝送チャネルがある。
　ＤＤＣ３３は、ＨＤＭＩケーブル５１０に含まれる２本の信号線からなり、ＨＤＭＩ送信部１０２が、ＨＤＭＩケーブル５１０を介して接続されたＨＤＭＩ受信部２０２ａから、ＥＤＩＤ（Extended Display Identification Data）を読み出すために使用される。すなわち、ＨＤＭＩ受信部２０２ａは、ＨＤＭＩレシーバ３２の他に、自身の性能（Configuration・Capability）に関する性能情報であるＥＤＩＤを記憶している、ＥＤＩＤ ＲＯＭ（Read Only Memory）を有している。オーディオアンプ２００においては、このＥＤＩＤの一つとして復号化能力情報（図３参照）が記録されている。ＨＤＭＩ送信部１０２がＥＤＩＤを読み出すことで、受信側の復号化能力情報が送信側に送られることになる。
　ＨＤＭＩ送信部１０２は、ＨＤＭＩケーブル５１０を介して接続されているＨＤＭＩ受信部２０２ａから、ＥＤＩＤを、ＤＤＣ３３を介して読み出す。そして、ＢＤプレーヤ１００のＣＰＵ１０４は、そのＥＤＩＤに基づき、ＨＤＭＩ受信部２０２ａを有するオーディオアンプ２００の性能を認識する。
　ＣＥＣライン３４は、ＨＤＭＩケーブル５１０に含まれる１本の信号線からなり、ＨＤＭＩ送信部１０２とＨＤＭＩ受信部２０２ａとの間で、制御用のデータの双方向通信を行うために用いられる。また、ＨＤＭＩケーブル５１０には、ＨＰＤ（Hot Plug Detect）と呼ばれるピンに接続されるＨＰＤライン３５が含まれている。
　ソース機器は、このＨＰＤライン３５を利用して、直流バイアス電位により、シンク機器の接続を検出することができる。この場合、ＨＰＤライン３５は、ソース機器側から見ると、直流バイアス電位によってシンク機器から接続状態の通知を受ける機能を有するものとなる。一方、このＨＰＤラインは、シンク機器側から見ると、直流バイアス電位によってソース機器に接続状態を通知する機能を有するものとなる。
　また、ＨＤＭＩケーブル５１０には、ソース機器からシンク機器に電源を供給するために用いられる電源ライン３６が含まれている。さらに、ＨＤＭＩケーブル５１０には、リザーブライン３７が含まれている。ＨＰＤライン３５とリザーブライン３７を用い て、一対の差動伝送路を構成し、双方向通信路として用いる場合もある。
　図８は、ＴＭＤＳチャネルにおいて、横×縦が１９２０ピクセル×１０８０ラインの画像データが伝送される場合の、各種の伝送データの区間を示している。ＨＤＭＩの３つのＴＭＤＳチャネルで伝送データが伝送されるビデオフィールド（Video Field）には、伝送データの種類に応じて、ビデオデータ区間２４（Video Data Period）、データアイランド区間２５（Data Island Period）、およびコントロール区間２６（Control Period）の３種類の区間が存在する。
　ここで、ビデオフィールド区間は、ある垂直同期信号の立ち上がりエッジ（Active Edge）から次の垂直同期信号の立ち上がりエッジまでの区間であり、水平帰線期間２２（Horizontal Blanking）、垂直帰線期間２３（Vertical Blanking）、並びに、ビデオフィールド区間から、水平帰線期間および垂直帰線期間を除いた区間である有効画素区間２１（Active Video）に分けられる。
　ビデオデータ区間２４は、有効画素区間２１に割り当てられる。このビデオデータ区間２４では、非圧縮の１画面分の画像データを構成する１９２０ピクセル（画素）×１０８０ライン分の有効画素（Active Pixel）のデータが伝送される。データアイランド区間２５およびコントロール区間２６は、水平帰線期間２２および垂直帰線期間２３に割り当てられる。このデータアイランド区間２５およびコントロール区間２６では、補助データ（Auxiliary Data）が伝送される。
　すなわち、データアイランド区間２５は、水平帰線期間２２と垂直帰線期間２３の一部分に割り当てられている。このデータアイランド区間２５では、補助データのうち、制御に関係しないデータである、例えば、音声データのパケット等が伝送される。コントロール区間２６は、水平帰線期間２２と垂直帰線期間２３の他の部分に割り当てられている。このコントロール区間２６では、補助データのうちの、制御に関係するデータである、例えば、垂直同期信号および水平同期信号、制御パケット等が伝送される。
　上述したように、図１に示すＡＶシステム１０において、ＢＤプレーヤ１００はオーディオアンプ２００に、ＨＤＭＩのデジタルインタフェースを介して、受信側の復号化能力が自身の復号化能力以上であるときは符号化ストリームを送信し、受信側の復号化能力が自身の復号化能力以上でないときは復号化済ストリームを送信するものである。そのため、符号化ストリームに対して最適な復号化処理の適用が可能となり、ユーザはオーディオアンプ２００に接続されているスピーカシステム４００から最適な状態の音声出力を得ることができる。
　また、図１に示すＡＶシステム１０において、ＢＤプレーヤ１００はオーディオアンプ２００から復号化能力情報を受信して、受信側の復号化能力が自身の復号化能力以上であるか否かを判断し、符号化ストリームを送信するか復号化済ストリームを送信するかを決定する。そのため、ユーザは、何等かの操作が課されることなく、オーディオアンプ２００に接続されているスピーカシステム４００から最適な状態の音声出力を得ることができる。
　＜２．変形例＞
　なお、上述実施の形態においては、優先度情報を持つ複数の符号化データを含む符号化ストリームがオブジェクトベースオーディオの符号化オーディオストリームである例を示した。本技術は、優先度情報を持つ複数の符号化ビデオデータを含む符号化ビデオストリームを取り扱う場合にも同様に適用できることは勿論である。この場合、符号化ビデオストリームに対する復号化処理は、送信側と受信側のうち復号化能力の高い方で行われる。
　また、上述実施の形態においては、ＨＤＭＩのデジタルインタフェースである例を示したが、デジタルインタフェースはＨＤＭＩに限定されない。
　また、技術は、以下のような構成もとることができる。
　（１）優先度情報を持つ複数の符号化データを含む符号化ストリームを取得するストリーム取得部と、
　上記ストリーム取得部で取得された符号化ストリームに復号化処理を施して復号化済データを含む復号化済ストリームを生成するデコード部と、
　何番目の優先度まで復号化可能かを示す受信側の復号化能力情報に基づいて上記受信側の復号化能力が自身の復号化能力以上か否かを判断する判断部と、
　上記受信側に、デジタルインタフェースを介して、上記判断部で上記受信側の復号化能力が自身の復号化能力以上であると判断されたときは上記ストリーム取得部で取得された符号化ストリームを送信し、上記判断部で上記受信側の復号化能力が自身の復号化能力以上でないと判断されたときは上記デコード部で生成された復号化済ストリームを送信する送信部を備える
　送信装置。
　（２）上記符号化ストリームは、優先度情報を持つ複数のオブジェクト音源の符号化データを含むオブジェクトベースオーディオの符号化オーディオストリームであり、
　上記デコード部は、上記ストリーム取得部で取得された上記符号化オーディオストリームに復号化処理を施して上記復号化済データとして所定チャネル数の音声データを含む復号化済オーディオストリームを生成する
　前記（１）に記載の送信装置。
　（３）上記受信側から、上記デジタルインタフェースを介して、上記受信側の復号化能力情報を受信する情報受信部をさらに備える
　前記（１）または（２）に記載の送信装置。
　（４）上記デジタルインタフェースはＨＤＭＩである
　前記（１）から（３）のいずれかに記載の送信装置。
　（５）優先度報を持つ複数の符号化データを含む符号化ストリームを取得するストリーム取得ステップと、
　何番目の優先度まで復号化可能かを示す受信側の復号化能力情報に基づいて上記受信側の復号化能力が自身の復号化能力以上か否かを判断する判断ステップと、
　送信部により、上記受信側に、デジタルインタフェースを介して、上記判断ステップで上記受信側の復号化能力が自身の復号化能力以上であると判断されたときは上記ストリーム取得ステップで取得された符号化ストリームを送信し、上記判断ステップで上記受信側の復号化能力が自身の復号化能力以上でないと判断されたときは上記ストリーム取得ステップで取得された符号化ストリームに復号化処理を施して生成された、復号化済データを持つ復号化済ストリームを送信する送信ステップを有する
　送信方法。
　（６）何番目の優先度まで復号化可能かを示す自身の復号化能力情報を、デジタルインタフェースを介して、送信側に送信する情報送信部と、
　上記送信側から、上記デジタルインタフェースを介して、優先度情報を持つ複数の符号化データを含む符号化ストリームまたは該符号化ストリームに復号化処理が施されて生成された復号化済データを持つ復号化済ストリームを受信する受信部と、
　上記受信部で上記符号化ストリームが受信されたとき、該符号化ストリームに復号化処理を施して復号化済データを含む復号化済ストリームを生成するデコード部を備える
　受信装置。
　（７）上記符号化ストリームは、優先度情報を持つ複数のオブジェクト音源の符号化データを含むオブジェクトベースオーディオの符号化オーディオストリームであり、
　上記復号化済ストリームは、上記符号化オーディオストリームに復号化処理が施されて生成された所定チャネル数の音声データを上記復号化済みデータとして含む
　前記（６）に記載の受信装置。
　（８）上記デジタルインタフェースはＨＤＭＩである
　前記（６）または（７）に記載の受信装置。
　（９）何番目の優先度まで復号化可能かを示す自身の復号化能力情報を、デジタルインタフェースを介して、送信側に送信する情報送信ステップと、
　受信部により、上記送信側から、上記デジタルインタフェースを介して、優先度情報を持つ複数の符号化データを含む符号化ストリームまたは該符号化ストリームに復号化処理が施されて生成された復号化済データを持つ復号化済ストリームを受信する受信ステップと、
　上記受信ステップで上記符号化ストリームが受信されたとき、該符号化ストリームに復号化処理を施して復号化済データを含む復号化済ストリームを生成するデコードステップを有する
　受信方法。
　１０・・・・ＡＶシステム
　１００・・・ＢＤプレーヤ
　１０１・・・ＨＤＭＩ端子
　１０２・・・ＨＤＭＩ送信部
　１０３・・・内部バス
　１０４・・・ＣＰＵ
　１０５・・・フラッシュＲＯＭ
　１０６・・・ＳＤＲＡＭ
　１０７・・・表示制御部
　１０８・・・リモコン受信部
　１０９・・・リモコン送信機
　１１１・・・記憶媒体制御インタフェース
　１１２・・・ＢＤドライブ
　１１３・・・ＨＤＤ
　１１４・・・ＳＳＤ
　１１５・・・イーサネットインタフェース
　１１６・・・ネットワーク端子
　１２１・・・デマルチプレクサ
　１２２・・・ビデオデコーダ
　１２３・・・グラフィック生成回路
　１２４・・・映像出力端子
　１２５・・・パネル駆動回路
　１２６・・・表示パネル
　１２７・・・オーディオデコーダ
　１２８・・・選択部
　１２９・・・音声出力端子
　１３１・・・電源部
　２００・・・オーディオアンプ
　２０１ａ，２０１ｂ・・・ＨＤＭＩ端子
　２０２ａ・・・ＨＤＭＩ受信部
　２０２ｂ・・・ＨＤＭＩ送信部
　２０３・・・内部バス
　２０４・・・ＣＰＵ
　２０５・・・フラッシュＲＯＭ
　２０６・・・ＳＤＲＡＭ
　２０７・・・表示制御部
　２０８・・・パネル駆動回路
　２０９・・・表示パネル
　２１０・・・リモコン受信部
　２１１・・・リモコン送信機
　２１２・・・電源部
　２２１・・・オーディオデコーダ
　２２２・・・選択部
　２２３・・・音声処理回路
　２２４・・・音声増幅回路
　２２５・・・音声出力端子
　３００・・・テレビ受信機
　３０１・・・ＨＤＭＩ端子
　３０２・・・ＨＤＭＩ受信部
　３０３・・・内部バス
　３０４・・・ＣＰＵ
　３０５・・・フラッシュＲＯＭ
　３０６・・・ＳＤＲＡＭ
　３０７・・・表示制御部
　３０８・・・リモコン受信部
　３０９・・・リモコン送信機
　３１０・・・電源部
　３１１・・・イーサネットインタフェース
　３１２・・・ネットワーク端子
　３２１・・・アンテナ端子
　３２２・・・デジタルチューナ
　３２３・・・デマルチプレクサ
　３２４・・・ビデオデコーダ
　３２５・・・映像処理回路
　３２６・・・グラフィック生成回路
　３２７・・・パネル駆動回路
　３２８・・・表示パネル
　３２９・・・オーディオデコーダ
　３３０・・・音声処理回路
　３３１・・・音声増幅回路
　３３２・・・スピーカ
　４００・・・スピーカシステム
　５１０，５２０・・・ＨＤＭＩケーブル

Claims (9)

  1. 　優先度情報を持つ複数の符号化データを含む符号化ストリームを取得するストリーム取得部と、
    　上記ストリーム取得部で取得された符号化ストリームに復号化処理を施して復号化済データを含む復号化済ストリームを生成するデコード部と、
    　何番目の優先度まで復号化可能かを示す受信側の復号化能力情報に基づいて上記受信側の復号化能力が自身の復号化能力以上か否かを判断する判断部と、
    　上記受信側に、デジタルインタフェースを介して、上記判断部で上記受信側の復号化能力が自身の復号化能力以上であると判断されたときは上記ストリーム取得部で取得された符号化ストリームを送信し、上記判断部で上記受信側の復号化能力が自身の復号化能力以上でないと判断されたときは上記デコード部で生成された復号化済ストリームを送信する送信部を備える
    　送信装置。
  2. 　上記符号化ストリームは、優先度情報を持つ複数のオブジェクト音源の符号化データを含むオブジェクトベースオーディオの符号化オーディオストリームであり、
    　上記デコード部は、上記ストリーム取得部で取得された上記符号化オーディオストリームに復号化処理を施して上記復号化済データとして所定チャネル数の音声データを含む復号化済オーディオストリームを生成する
    　請求項１に記載の送信装置。
  3. 　上記受信側から、上記デジタルインタフェースを介して、上記受信側の復号化能力情報を受信する情報受信部をさらに備える
    　請求項１に記載の送信装置。
  4. 　上記デジタルインタフェースはＨＤＭＩである
    　請求項１に記載の送信装置。
  5. 　優先度報を持つ複数の符号化データを含む符号化ストリームを取得するストリーム取得ステップと、
    　何番目の優先度まで復号化可能かを示す受信側の復号化能力情報に基づいて上記受信側の復号化能力が自身の復号化能力以上か否かを判断する判断ステップと、
    　送信部により、上記受信側に、デジタルインタフェースを介して、上記判断ステップで上記受信側の復号化能力が自身の復号化能力以上であると判断されたときは上記ストリーム取得ステップで取得された符号化ストリームを送信し、上記判断ステップで上記受信側の復号化能力が自身の復号化能力以上でないと判断されたときは上記ストリーム取得ステップで取得された符号化ストリームに復号化処理を施して生成された、復号化済データを持つ復号化済ストリームを送信する送信ステップを有する
    　送信方法。
  6. 　何番目の優先度まで復号化可能かを示す自身の復号化能力情報を、デジタルインタフェースを介して、送信側に送信する情報送信部と、
    　上記送信側から、上記デジタルインタフェースを介して、優先度情報を持つ複数の符号化データを含む符号化ストリームまたは該符号化ストリームに復号化処理が施されて生成された復号化済データを持つ復号化済ストリームを受信する受信部と、
    　上記受信部で上記符号化ストリームが受信されたとき、該符号化ストリームに復号化処理を施して復号化済データを含む復号化済ストリームを生成するデコード部を備える
    　受信装置。
  7. 　上記符号化ストリームは、優先度情報を持つ複数のオブジェクト音源の符号化データを含むオブジェクトベースオーディオの符号化オーディオストリームであり、
    　上記復号化済ストリームは、上記符号化オーディオストリームに復号化処理が施されて生成された所定チャネル数の音声データを上記復号化済みデータとして含む
    　請求項６に記載の受信装置。
  8. 　上記デジタルインタフェースはＨＤＭＩである
    　請求項６に記載の受信装置。
  9. 　何番目の優先度まで復号化可能かを示す自身の復号化能力情報を、デジタルインタフェースを介して、送信側に送信する情報送信ステップと、
    　受信部により、上記送信側から、上記デジタルインタフェースを介して、優先度情報を持つ複数の符号化データを含む符号化ストリームまたは該符号化ストリームに復号化処理が施されて生成された復号化済データを持つ復号化済ストリームを受信する受信ステップと、
    　上記受信ステップで上記符号化ストリームが受信されたとき、該符号化ストリームに復号化処理を施して復号化済データを含む復号化済ストリームを生成するデコードステップを有する
    　受信方法。
PCT/JP2016/060985 2015-04-08 2016-04-04 送信装置、送信方法、受信装置および受信方法 WO2016163327A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/563,341 US10477269B2 (en) 2015-04-08 2016-04-04 Transmission apparatus, transmission method, reception apparatus, and reception method
JP2017510973A JP6904250B2 (ja) 2015-04-08 2016-04-04 送信装置、送信方法、受信装置および受信方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-078962 2015-04-08
JP2015078962 2015-04-08

Publications (1)

Publication Number Publication Date
WO2016163327A1 true WO2016163327A1 (ja) 2016-10-13

Family

ID=57072520

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/060985 WO2016163327A1 (ja) 2015-04-08 2016-04-04 送信装置、送信方法、受信装置および受信方法

Country Status (3)

Country Link
US (1) US10477269B2 (ja)
JP (1) JP6904250B2 (ja)
WO (1) WO2016163327A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019010033A1 (en) * 2017-07-07 2019-01-10 Qualcomm Incorporated MULTI-FLOW AUDIO CODING

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013135454A (ja) * 2011-12-27 2013-07-08 Toshiba Corp 電子機器、及び電子機器相互の映像および音声の出力方法
WO2014088328A1 (ko) * 2012-12-04 2014-06-12 삼성전자 주식회사 오디오 제공 장치 및 오디오 제공 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006057324A1 (ja) * 2004-11-25 2006-06-01 Matsushita Electric Industrial Co., Ltd. リピータ装置およびその制御方法
CN102318373B (zh) * 2009-03-26 2014-09-10 松下电器产业株式会社 解码装置、编解码装置及解码方法
US9412330B2 (en) * 2011-03-15 2016-08-09 Lattice Semiconductor Corporation Conversion of multimedia data streams for use by connected devices
US9119011B2 (en) 2011-07-01 2015-08-25 Dolby Laboratories Licensing Corporation Upmixing object based audio
JP6439296B2 (ja) * 2014-03-24 2018-12-19 ソニー株式会社 復号装置および方法、並びにプログラム
US20160021402A1 (en) * 2014-07-16 2016-01-21 Crestron Electronics, Inc. Transmission of digital audio signals using an internet protocol

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013135454A (ja) * 2011-12-27 2013-07-08 Toshiba Corp 電子機器、及び電子機器相互の映像および音声の出力方法
WO2014088328A1 (ko) * 2012-12-04 2014-06-12 삼성전자 주식회사 오디오 제공 장치 및 오디오 제공 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019010033A1 (en) * 2017-07-07 2019-01-10 Qualcomm Incorporated MULTI-FLOW AUDIO CODING
US10885921B2 (en) 2017-07-07 2021-01-05 Qualcomm Incorporated Multi-stream audio coding

Also Published As

Publication number Publication date
US20180069911A1 (en) 2018-03-08
JPWO2016163327A1 (ja) 2018-02-01
US10477269B2 (en) 2019-11-12
JP6904250B2 (ja) 2021-07-14

Similar Documents

Publication Publication Date Title
JP6683276B2 (ja) インターフェース回路および情報処理システム
US8898347B2 (en) Repeater device and control method
JP6863282B2 (ja) 受信装置および受信方法
JP2010258604A (ja) オーディオ処理装置及びオーディオ処理方法
US9973787B2 (en) Communication device and communication method
JP6589875B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP6777071B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP6809470B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP6904250B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP6973403B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP6669071B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP6973402B2 (ja) 送信装置、送信方法、受信装置および受信方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16776493

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017510973

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15563341

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16776493

Country of ref document: EP

Kind code of ref document: A1