WO2021049181A1 - 送信装置、送信方法、受信装置および受信方法 - Google Patents

送信装置、送信方法、受信装置および受信方法 Download PDF

Info

Publication number
WO2021049181A1
WO2021049181A1 PCT/JP2020/028333 JP2020028333W WO2021049181A1 WO 2021049181 A1 WO2021049181 A1 WO 2021049181A1 JP 2020028333 W JP2020028333 W JP 2020028333W WO 2021049181 A1 WO2021049181 A1 WO 2021049181A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
midi
predetermined
data
bit
Prior art date
Application number
PCT/JP2020/028333
Other languages
English (en)
French (fr)
Inventor
市村 元
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP20862506.1A priority Critical patent/EP4030416A4/en
Priority to CN202080062365.0A priority patent/CN114341972A/zh
Priority to JP2021545151A priority patent/JPWO2021049181A1/ja
Priority to US17/632,633 priority patent/US20230186882A1/en
Priority to KR1020227005861A priority patent/KR20220059942A/ko
Publication of WO2021049181A1 publication Critical patent/WO2021049181A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/0033Recording/reproducing or transmission of music for electrophonic musical instruments
    • G10H1/0041Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
    • G10H1/0058Transmission between separate instruments or between individual components of a musical system
    • G10H1/0066Transmission between separate instruments or between individual components of a musical system using a MIDI interface
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/0033Recording/reproducing or transmission of music for electrophonic musical instruments
    • G10H1/0083Recording/reproducing or transmission of music for electrophonic musical instruments using wireless transmission, e.g. radio, light, infrared
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00Acoustics not otherwise provided for
    • G10K15/02Synthesis of acoustic waves
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43632Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wired protocol, e.g. IEEE 1394
    • H04N21/43635HDMI
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155User input interfaces for electrophonic musical instruments
    • G10H2220/405Beam sensing or control, i.e. input interfaces involving substantially immaterial beams, radiation, or fields of any nature, used, e.g. as a switch as in a light barrier, or as a control device, e.g. using the theremin electric field sensing principle
    • G10H2220/411Light beams
    • G10H2220/421Laser beams
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/011Files or data streams containing coded musical information, e.g. for transmission
    • G10H2240/031File merging MIDI, i.e. merging or mixing a MIDI-like file or stream with a non-MIDI file or stream, e.g. audio or video
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/171Transmission of musical instrument data, control or status information; Transmission, remote access or control of music data for electrophonic musical instruments
    • G10H2240/201Physical layer or hardware aspects of transmission to or from an electrophonic musical instrument, e.g. voltage levels, bit streams, code words or symbols over a physical link connecting network nodes or instruments
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/171Transmission of musical instrument data, control or status information; Transmission, remote access or control of music data for electrophonic musical instruments
    • G10H2240/201Physical layer or hardware aspects of transmission to or from an electrophonic musical instrument, e.g. voltage levels, bit streams, code words or symbols over a physical link connecting network nodes or instruments
    • G10H2240/255Optical fibre transmission for electrophonic musical instrument purposes, e.g. hum mitigation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/171Transmission of musical instrument data, control or status information; Transmission, remote access or control of music data for electrophonic musical instruments
    • G10H2240/201Physical layer or hardware aspects of transmission to or from an electrophonic musical instrument, e.g. voltage levels, bit streams, code words or symbols over a physical link connecting network nodes or instruments
    • G10H2240/265CATV transmission, i.e. electrophonic musical instruments connected to community antennas or cable television networks
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/171Transmission of musical instrument data, control or status information; Transmission, remote access or control of music data for electrophonic musical instruments
    • G10H2240/281Protocol or standard connector for transmission of analog or digital data to or from an electrophonic musical instrument
    • G10H2240/295Packet switched network, e.g. token ring
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/171Transmission of musical instrument data, control or status information; Transmission, remote access or control of music data for electrophonic musical instruments
    • G10H2240/281Protocol or standard connector for transmission of analog or digital data to or from an electrophonic musical instrument
    • G10H2240/311MIDI transmission
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/171Transmission of musical instrument data, control or status information; Transmission, remote access or control of music data for electrophonic musical instruments
    • G10H2240/281Protocol or standard connector for transmission of analog or digital data to or from an electrophonic musical instrument
    • G10H2240/315Firewire, i.e. transmission according to IEEE1394

Definitions

  • This technology relates to a transmitting device, a transmitting method, a receiving device, and a receiving method.
  • Patent Document 1 describes IEEE 1394 and MIDI signals.
  • HDMI High-Definition Multimedia Interface
  • USB Universal Serial Bus
  • IEC60958 transmission of a linear PCM signal by IEC60958 is widely used.
  • IEC 61937 which transmits a compressed audio signal on the protocol of IEC 60958, is also widespread and is used for transmission of various audio codecs.
  • the coaxial terminal called SPDIF (Sony Philips Digital InterFace) in the actual product, the optical out terminal, HDMI (High-Definition Multimedia Interface), which is a multimedia interface including video, and MHL (Mobile High-definition Link).
  • SPDIF Synchronization Philips Digital InterFace
  • HDMI High-Definition Multimedia Interface
  • MHL Mobile High-definition Link
  • the purpose of this technology is to provide a new interface that supports simultaneous transmission of audio and MIDI signals.
  • the concept of this technology is It is provided with a transmitter that transmits a continuous signal in a predetermined unit to the receiving side via a predetermined transmission line.
  • the continuous signal in the predetermined unit is in a transmission device including a first signal in the predetermined unit including an audio signal and a second signal in the predetermined unit including a MIDI signal.
  • a transmission unit transmits a continuous signal in a predetermined unit to a receiving side via a predetermined transmission line.
  • the predetermined unit may be a subframe unit.
  • the predetermined transmission line may be a coaxial cable, an optical cable, an Ethernet (IEC61883-6) cable, an HDMI cable, an MHL cable, or a display port cable.
  • the continuous signal in a predetermined unit includes a signal of the first predetermined unit including an audio signal and a signal of a second predetermined unit including a MIDI signal.
  • the audio signal may be a linear PCM signal that constitutes a stereo 2-channel audio signal. In this case, simultaneous transmission of the stereo 2-channel audio signal and the MIDI signal can be stably performed.
  • a MIDI signal is composed of packet data having a predetermined length, and the packet data having a predetermined length is divided into a plurality of pieces and included in a plurality of signals of a second predetermined unit for transmission.
  • the packet data having a predetermined length may be 32-bit, 64-bit, 96-bit, or 128-bit packet data, and may be divided into a plurality of 16-bit packets.
  • the MIDI signal is inserted into the lower bit side, and the MIDI signal inserted into the lower bit side on the upper bit side is at least the start divided data.
  • Identification information that identifies whether the data is present or continuous divided data may be inserted. By inserting the identification information in this way, the receiving side can identify whether the MIDI signal included in the signal of the second predetermined unit is the start division data or the continuation division data, and correctly inserts the packet. It can be reconstructed and received.
  • the identification information is set so that the volume is equal to or less than the predetermined volume even if the data having a predetermined number of bits consisting of the MIDI signal on the lower bit side and the identification information on the upper bit side is reproduced as audio data. , May be done. As a result, even if the audio data is erroneously reproduced, it is possible to avoid damage to the audio amplifier and the speaker.
  • the packet data constituting the MIDI signal is inserted from an arbitrary bit position in the data payload area of the signal of the second predetermined unit, and when all the packet data cannot be inserted in this data payload area, the next second The rest may be inserted and transmitted from the first bit position of the data payload area of a predetermined unit of signal. In this case, it is possible to insert the packet data into the data payload area of the signal of the second predetermined unit according to the generation timing of the MIDI signal.
  • the 1-byte packet data constituting the MIDI signal may be inserted into one byte area of the 2-byte data payload area in the signal of the second predetermined unit and transmitted.
  • the packet data constituting the MIDI signal is inserted along the byte alignment, it is possible to simplify the processing on the receiving side.
  • the 1-byte packet data constituting the MIDI signal is inserted into one byte area of the 2-byte data payload area of the signal of the second predetermined unit, and the other 1-byte area is the extended byte area. It may be made to be transmitted.
  • the extended byte area can be used for unique expansion, for example, increasing the velocity resolution and increasing the number of channels.
  • the signal of the second predetermined unit may be set to include MIDI signals of a plurality of channels.
  • MIDI signals of a plurality of systems can be virtually transmitted, and the number of channels can be increased.
  • the continuous signal in the predetermined unit to be transmitted includes the signal of the first predetermined unit including the audio signal and the signal of the second predetermined unit including the MIDI signal. Therefore, the simultaneous transmission of the audio signal and the MIDI signal can be stably performed.
  • identification information for identifying that a signal continuous in a predetermined unit includes a signal of the first predetermined unit including an audio signal and a signal of a second predetermined unit including a MIDI signal.
  • the information addition unit may be further provided.
  • the information addition unit may add identification information using a predetermined bit area of each block configured for each predetermined number of predetermined units.
  • a receiving unit that receives continuous signals in a predetermined unit from a transmitting side via a predetermined transmission line.
  • the signal continuous in the predetermined unit is in a receiving device including the first signal of the predetermined unit including the audio signal and the signal of the second predetermined unit including the MIDI signal.
  • the receiving unit receives continuous signals in predetermined units from the transmitting side via a predetermined transmission line.
  • the signal continuous in a predetermined unit includes a signal of a first predetermined unit including an audio signal and a signal of a second predetermined unit including a MIDI signal.
  • the audio signal may be a linear PCM signal that constitutes a stereo 2-channel audio signal. In this case, the stereo 2-channel audio signal and the MIDI signal can be stably received at the same time.
  • the received continuous signal in the predetermined unit includes the signal of the first predetermined unit including the audio signal and the signal of the second predetermined unit including the MIDI signal. Therefore, simultaneous reception of the audio signal and the MIDI signal can be stably performed.
  • a processing unit that performs processing using an audio signal and a MIDI signal may be further provided.
  • processing using the audio signal and the MIDI signal that are stably and simultaneously received can be performed.
  • the processing unit may synthesize the audio signal obtained from the MIDI signal using the MIDI sound source to obtain the output audio signal.
  • FIG. 1 shows a configuration example of the transmission / reception system 10 as the first embodiment.
  • the transmission / reception system 10 has a transmission device 101 and a reception device 102.
  • the transmitting device 101 and the receiving device 102 are connected via a transmission line 103 composed of a coaxial cable, an optical cable, or the like.
  • This transmission line 103 constitutes an IEC60958 transmission line.
  • the transmission device 101 has a SPDIF (Sony Philips Digital Interface) transmission circuit 110.
  • the SPDIF transmission circuit 110 is a circuit for transmitting a digital audio transmission signal of the IEC60958 standard (hereinafter, appropriately referred to as "SPDIF signal"), and is a transmission circuit conforming to the IEC60958 standard.
  • the SPDIF transmission circuit 110 generates an SPDIF signal including a linear PCM signal and a MIDI (Musical Instrument Digital Interface) signal at the same time, and transmits the SPDIF signal to the receiving device 102 through the transmission line 103.
  • a linear PCM signal an audio signal such as monaural, 2-channel, 5.1-channel, 7.1-channel, 10.2-channel, or 22.2-channel can be considered, but here, a stereo 2-channel audio signal is considered.
  • the MIDI signal consider the MIDI signal proposed as MIDI 2.0.
  • the receiving device 102 has an SPDIF receiving circuit 120.
  • the SPDIF receiving circuit 120 is a circuit for receiving an SPDIF signal (a digital audio transmission signal of the IEC60958 standard), and is a receiving circuit conforming to the IEC60958 standard.
  • the SPDIF receiving circuit 120 receives the SPDIF signal transmitted from the transmitting device 101 through the transmission line 103, and extracts and outputs the linear PCM signal and the MIDI signal included in the SPDIF signal.
  • MIDI 2.0 In MIDI 2.0, universal MIDI packets with a plurality of packet lengths are defined.
  • the packet length includes 32 bits, 64 bits, 96 bits, 128 bits and the like.
  • MIDI 1.0 Channel Voice Messages is a message that maps a maximum of 3 bytes of "Channel Voice Messages” in MIDI 1.0 to a 4-byte "Universal MIDI Packet” of MIDI 2.0.
  • the 4-bit field of "group” is newly created in MIDI 2.0 and indicates a group.
  • Each of the groups is independent and each group has 16 MIDI channels. Therefore, one MIDI signal can have up to 256 channels.
  • the 4-bit feel of "channel” indicates a MIDI channel. Physically, one MIDI signal line is divided into 16 logical channels according to the 4-bit channel number included in the MIDI channel message.
  • the 1-bit field of "r” is undisclosed.
  • the 7-bit field of "note number” indicates the number of the keyboard. This number takes a value from 0 to 127, and the central "do" number of the 88-key piano is 60.
  • the 8-bit field of "attribute type” is newly created in MIDI 2.0 and indicates an additional data type. Articulations and tuning details can be considered as this type.
  • the 16-bit field of "velocity” indicates the strength with which you hit the keyboard, and is used to make a difference in the strength of the sound.
  • the 16-bit field of "attribute” is newly created in MIDI 2.0 and indicates the value of additional data of the type defined in "attribute type".
  • SPDIF signal The SPDIF signal (IEC 60958 standard digital audio transmission signal) generated by the SPDIF transmission circuit 110 will be described.
  • FIG. 4 shows the frame configuration in the IEC60958 standard.
  • Each frame consists of two subframes.
  • the first subframe contains the left channel signal and the second subframe contains the right channel signal.
  • a preamble is provided at the beginning of the subframe, and "M” is given as a preamble to the left channel signal and “W” is given as a preamble to the right channel signal. However, every 192 frames, "B” indicating the start of the block is added to the first preamble. That is, one block is composed of 192 frames.
  • a block is a unit that constitutes a channel status described later.
  • FIG. 5 shows the subframe configuration in the IEC60958 standard.
  • the subframe is composed of a total of 32 time slots from the 0th to the 31st.
  • the 0th to 3rd time slots indicate a preamble (Sync preamble).
  • This preamble indicates either "M", "W” or "B” in order to distinguish the left and right channels and to indicate the start position of the block as described above.
  • the 4th to 27th time slots are the main data fields, and when the 24-bit code range is adopted, the whole represents audio data.
  • the 8th to 27th time slots represent audio data (Audio sample word).
  • the 4th to 7th time slots can be used as additional information (Auxiliary sample bits). The illustrated example shows the latter case.
  • the 28th time slot is a valid flag (Validity flag) of the main data field.
  • the 29th time slot represents one bit of user data (User data).
  • a series of user data can be constructed by accumulating the 29th time slot over each frame.
  • This user data message is configured in units of 8-bit information units (IU: Information Units), and one message includes 3 to 129 information units.
  • the head of the information unit is identified by the start bit "1".
  • the first seven information units in the message are reserved, and the user can set arbitrary information in the eighth and subsequent information units.
  • the messages are divided by "0" of 8 bits or more.
  • the 30th time slot represents one bit of channel status.
  • a series of channel statuses can be configured by accumulating the 30th time slot for each block across each frame.
  • the start position of the block is indicated by the preamble (0th to 3rd time slots) of "B" as described above.
  • the 31st time slot is a parity bit. This parity bit is assigned so that the number of "0" and "1" contained in the fourth to 31st time slots is an even number.
  • the SPDIF signal includes a stereo 2-channel audio signal and a MIDI signal as linear PCM signals at the same time.
  • FIG. 6 shows an example of the frame configuration of the SPDIF signal in that case.
  • This SPDIF signal is a continuous signal in units of subframes. One block is composed of 192 frames, and the blocks are continuous.
  • the even-numbered frame subframe is a subframe (first subframe) for inserting an audio signal.
  • the first subframe contains the left channel audio signal and the second subframe contains the right channel audio signal.
  • the odd-numbered frame subframe is used as a subframe (second subframe) for inserting a MIDI signal. That is, the SPDIF signal includes the signal of the first subframe including the audio signal and the signal of the second subframe including the MIDI signal.
  • FIG. 7 shows the configuration of the second subframe including the MIDI signal.
  • the main data field of the 4th to 27th time slots is divided into an upper 8-bit area and a lower 16-bit area.
  • a MIDI signal is inserted in the lower 16-bit area, and identification information is inserted in the upper 8 bits.
  • the packet length of a universal MIDI packet that inserts a MIDI 2.0 message is 32 bits, 64 bits, 96 bits, 128 bits, or the like. Therefore, the packet data is divided into a plurality of 16 bits each, and each divided data is a lower 16-bit area (4th to 19th bit areas) of the main data field in the plurality of second subframes. It is inserted by byte-aligning to.
  • the identification information inserted in the upper 8 bit area (20th to 27th bit area) of the main data field in the second subframe is such that the MIBI signal inserted in the lower 16 bit area starts at least. Indicates whether the data is divided data or continuous divided data. For example, 64-bit length packet data is divided into four 16-bit units, the first divided data is the start divided data, and the other three divided data are continuous divided data.
  • the receiving side checks the identification information of the upper 8 bit area to see if the MIDI signal inserted in the lower 16 bit area is the start divided data. It is possible to properly identify whether the data is continuous divided data, and to correctly reconstruct and receive the packet.
  • the 8-bit identification information has a volume (volume level) even if 24-bit data consisting of the 8-bit identification information on the upper bit side and the 16-bit MIBI signal on the lower bit side is reproduced as audio data. It is set to be less than or equal to the predetermined value. As a result, even if the audio data is erroneously reproduced on the receiving side, it is possible to avoid damage to the audio amplifier and the speaker.
  • the 8-bit identification information is 2 bits of the 20th bit and the 21st bit, and indicates the above-mentioned divided data information of start or continuation. That is, when the MIDI signal inserted in the lower 16-bit area is the start divided data, the identification information inserted in the upper 8 bit area is set to "10000000", and the MIDI signal is the start divided data. Is shown to be.
  • the identification information inserted in the upper 8 bit area is set to "01000000”, and the MIDI signal is continued divided data. Is shown to be. Further, when the MIDI signal is not inserted in the lower 16-bit area, the identification information inserted in the upper 8-bit area is set to "00000000000", and the idling state in which the MIDI signal does not exist may be obtained. Shown.
  • the combination of the values of the identification information inserted in the upper 8-bit area is not limited to the above example, and other combinations are also possible.
  • a combination of "10000001", “01000001", and “00000001” has the same function and effect.
  • "11000001” is newly introduced and the continuity can be shown by toggle. That is, the order of the identification signals such as "10000001”, “0100001”, “11000001”, “0100001”, and "11000001".
  • FIG. 8 shows an example in which one of the above-mentioned MIDI 2.0 note-on messages (see FIG. 3) is transmitted.
  • the packet length of the data packet (universal MIDI packet) of this note-on message is 64 bits, and this data packet is divided into 4 pieces of 16 bits each and inserted into 4 second subframes. To.
  • FIG. 8A shows a frame configuration.
  • One block is composed of 192 frames, and the blocks are continuous.
  • FIG. 8B shows that each frame consists of two subframes.
  • FIG. 8C shows a subframe configuration (see FIG. 7).
  • the first and second subframes of the frame 1 and the 1 of the frame 3 It is inserted in the first and second subframes.
  • FIG. 8D shows the state of the main data field of the 4th to 27th time slots in the first subframe of frame 1.
  • the data of each field of "mt", “group”, “1001", and "channel” constituting the start division data is from the MSB side. It is inserted in order.
  • the identification information “1000 0000” indicating that the MIDI signal inserted in the lower 16 bit area is the divided data of the start (start). "Is inserted.
  • FIG. 8E shows the state of the main data field of the 4th to 27th time slots in the second subframe of frame 1.
  • the data of each field of "r”, "note number”, and "attribute type" constituting the first continuous divided data is on the MSB side. It is inserted in order from.
  • the identification information “0100 0000” indicating that the MIDI signal inserted in the lower 16 bit area is continuous divided data. "Is inserted.
  • FIG. 8 (f) shows the state of the main data field of the 4th to 27th time slots in the first subframe of the frame 3.
  • the data in the "velocity" field constituting the second continuous divided data is inserted in order from the MSB side.
  • the identification information “0100 0000” indicating that the MIDI signal inserted in the lower 16 bit area is continuous divided data. "Is inserted.
  • FIG. 8 (g) shows the state of the main data field of the 4th to 27th time slots in the second subframe of the frame 3.
  • the data in the "attribute" field constituting the third continuous divided data is inserted in order from the MSB side.
  • the identification information “0100 0000” indicating that the MIDI signal inserted in the lower 16 bit area is continuous divided data. "Is inserted.
  • FIG. 8 (h) shows the state of the main data field of the 4th to 27th time slots in the first subframe of the frame 5.
  • the lower 16-bit region (4th to 19th bit regions) is not used for inserting MIDI signals.
  • the identification information "0000 0000" indicating that the MIDI signal does not exist in the lower 16-bit region in the upper 8-bit region (20th to 27th bit region) is in an idling state (idling). Is inserted.
  • MIDI 2.0 message packets (universal MIDI packets) are similarly divided into subframes (second subframes) into which MIDI signals should be inserted and inserted. Will be.
  • FIG. 9 schematically shows the format of the channel status when the linear PCM signal and the MIDI signal are simultaneously transmitted as described above.
  • the channel status is the cumulative 30th time slot in the subframe for each block.
  • the entire channel status consists of the 0th to 23rd bytes.
  • the 4 bits from the 49th bit to the 52nd bit are used as fields indicating "Multichannel Configuration Type". These 4 bits are set to, for example, "1110", and are used as identification information indicating that the MIDI signal of MIDI 2.0 and the linear PCM signal are simultaneously transmitted. Further, when the 4 bits are "1110", the following 8 bits of the 53rd to 60th bits are valid. These 8 bits are used as a field indicating "configuration value”. When these 8 bits are set to, for example, "10000000", it is shown that the stereo 2-channel audio signal and the MIDI signal of MIDI 2.0 are simultaneously transmitted.
  • FIG. 10A is a diagram for explaining the "bitstream method" as a method for inserting a MIDI signal of MIDI 1.0.
  • the main data fields of the 4th to 27th time slots of the subframe (second subframe) to which the MIDI signal should be transmitted are the upper 8 bits (1 byte) area and the lower 16 bits (2 bytes). It is divided into the areas of. Fixed data, for example, "00000000000" is inserted in the upper 8 bit area.
  • the MIDI signal of MIDI 1.0 is inserted in the lower 16-bit area "MIDI 1.0 data payload" in bit order.
  • the packet data constituting the MIDI signal is inserted from an arbitrary bit position in the lower 16-bit area of a certain subframe (second subframe), and if all cannot be inserted, the next subframe (second subframe) is inserted. The rest is inserted from the first bit position (fourth bit) of the lower 16-bit area of (2 subframes).
  • the bitstream is connected across subframes, and a MIDI signal of MIDI 1.0 is detected.
  • the MIDI signal of MIDI 1.0 is logically 8 bits, but it is transmitted with a total of 10 bits by adding 1 start bit (logic 0) and 1 stop bit (logic 1).
  • the data for 10 bits is inserted from an arbitrary bit position of the lower 16-bit area "MIDI 1.0 data payload" of the subframe (second subframe).
  • Data of logic 1 is inserted at each bit position in the region before the arbitrary bit position to indicate that the data is in an idling state in which no data exists.
  • packet data is sent to the lower 16-bit area "MIDI 1.0 data payload" of the subframe (second subframe) to which the MIDI signal should be transmitted according to the generation timing of the MIDI signal. It becomes possible to insert it.
  • the processing on the receiving side is bit-by-bit, which may complicate the processing.
  • FIG. 10B is a diagram for explaining a "byte alignment method" as a method for inserting a MIDI signal of MIDI 1.0.
  • the main data fields of the 4th to 27th time slots of the subframe (second subframe) to which the MIDI signal should be transmitted are the upper 8 bits (1 byte) area and the middle 8 bits (1). It is divided into an area of (bytes) and an area of lower 8 bits (1 byte). Fixed data, for example, "00000000000” is inserted into the upper 8-bit area and the lower 8-bit area.
  • the MIDI signal of MIDI 1.0 is fixedly inserted in the middle 8-bit region. In this case, 1 start bit (logic 0) and 1 stop bit (logic 1) are not added. It is also conceivable that the insertion of the MIDI signal of MIDI 1.0 is not in the middle 8-bit region but in the lower 8-bit region.
  • a MIDI signal of MIDI 1.0 valid data is processed byte by byte, so it is easier to simplify the processing on the receiving side if the byte position of the MIDI signal is fixed as described above.
  • the idling state in which the MIDI signal of MIDI 1.0 is not inserted can be indicated by the V (Validity flag) bit.
  • an EOX (End of Exclusive) message or a special message is newly inserted and inserted, so that the MIDI signal of MIDI 1.0 is not inserted and it is in an idling state. It is also possible to show that.
  • FIG. 11A is a diagram for explaining a “data expansion method” as a method for inserting a MIDI signal of MIDI 1.0.
  • the main data fields of the 4th to 27th time slots of the subframe (second subframe) to which the MIDI signal should be transmitted are the upper 8 bits (1 byte) area and the middle 8 bits (1). It is divided into an area of (bytes) and an area of lower 8 bits (1 byte). Fixed data, for example, "00000000" is inserted in the upper 8-bit area.
  • the MIDI signal of MIDI 1.0 is fixedly inserted in the middle 8-bit region.
  • the lower 8-bit area is used as an extended byte.
  • this expansion byte By using this expansion byte, it is possible to expand uniquely, for example, to increase the resolution of velocity and increase the number of channels. For example, with respect to an increase in the number of channels, subchannels can be indicated using this expansion byte. That is, in the case of MIDI 1.0, the number of channels that can be identified by the channels included in the MIDI signal is 16, but by using the expansion bytes to identify the subchannels of each channel, the number of channels can be finer. It can be specified. In this case, the channel is specified as "the mth subchannel of the nth channel".
  • the idling state is in the state where the MIDI signal of MIDI 1.0 is not inserted, in the same manner as the above-mentioned "byte alignment method". It is also conceivable to reverse the 8-bit region into which the MIDI signal of MIDI 1.0 is inserted and the 8-bit region of the expansion byte.
  • MIDI signal byte of MIDI 1.0 is actually 7 bits in resolution because the MSB is used to distinguish between the status byte (Status Byte) and the data byte (Data Byte). Therefore, in FIG. 11A, 7 bits of the MIDI signal and 8 bits of the extension are shown as a total data length of 15 bits.
  • the effective data length of the extension is also 7 bits.
  • the total data length is 14 bits with 7 bits of the MIDI signal and 7 bits of the extension.
  • 11 (b) and 11 (c) show this case.
  • FIG. 11B shows a case where the byte of the MIDI signal is a status byte
  • FIG. 11C shows a case where the byte of the MIDI signal is a data byte.
  • the upper 8 bits of the 24-bit area of the main data field are "00000000000". Therefore, even if the 24-bit data is erroneously reproduced as audio data, the volume is low and it is possible to avoid damage to the audio amplifier and the speaker.
  • Multi-channel MIDI signal The channel of the MIDI signal transmitted simultaneously with the linear PCM signal is not limited to one channel, and may be a plurality of channels. Having a plurality of MIDI signal channels in this way corresponds to having a plurality of virtual MIDI cables. For example, the number of channels in one channel of MIDI 1.0 is 16, but the number of channels can be increased by using a plurality of channels.
  • FIG. 12 shows an example of the frame configuration of the SPDIF signal in that case.
  • This example shows an example in which the channels of the MIDI signal transmitted simultaneously with the linear PCM signal are two channels A and B.
  • the first subframe in the even frame, contains the left channel audio signal, and the second subframe (first subframe) contains the right channel audio signal. .. Further, in the odd frame, the first subframe (second subframe) contains the MIDI signal of channel A, and the second subframe (second subframe) contains the MIDI signal of channel B. Is done.
  • MIDI signal channels Even when a plurality of MIDI signal channels are used, for example, they can be identified by the "configuration value" in the region of the 53rd to 60th bits of the channel status (see FIG. 9) described above.
  • a subframe including an audio signal is included in a continuous signal (SPDIF signal) in subframe units transmitted from the transmission device 101 to the reception device 102. It includes the signal of the (first subframe) and the signal of the subframe (second subframe) including the MIDI signal. Therefore, simultaneous transmission of an audio signal and a MIDI signal can be stably performed without delay.
  • jitter occurs when the MIDI signal is placed on the transmission line at the sample timing of the linear PCM signal. This jitter can be ignored if it is within the permissible range, but it is also conceivable to suppress it by, for example, a jitter suppression system using a time stamp.
  • the transmission speed of the original MIDI 1.0 is 31.25 kbit / sec and the sampling frequency of the linear PCM signal is 48 kHz
  • the MIDI signal accumulated in the buffer of the SPDIF transmission circuit 110 is transmitted at the timing of 31.25 kbps. It will be sent to the transmission line at the timing of 48 kHz, and jitter will occur. For example, when the MIDI signal is generated at 48 kHz, no jitter occurs.
  • the audio signal transmitted simultaneously with the MIDI signal is a linear PCM signal.
  • the audio signal simultaneously transmitted with the MIDI signal may be a compressed audio signal instead of a linear PCM signal.
  • the IEC61937-1 interface format that handles compressed audio signals is used instead of the IEC60958I interface format that handles linear PCM signals described above.
  • FIG. 13 shows the IEC61937-1 interface format.
  • FIG. 13A shows a frame configuration. One block is composed of 192 frames, and the blocks are continuous.
  • FIG. 13B shows that each frame consists of two subframes.
  • a preamble is provided at the beginning of the subframe, and "B” indicating the start of the block is given to the preamble of the subframe at the beginning of the block. Then, "W” and “M” are alternately assigned to the preamble at the beginning of each subsequent subframe.
  • FIG. 13C shows a subframe configuration.
  • the bit stream of the compressed audio signal is divided and sequentially inserted into the 12th to 27th time slots of each subframe. That is, of the 24-bit audio data area of the 4th to 27th time slots of each subframe, the upper 16 bits are used for transmitting the compressed audio signal.
  • the MIDI signal is inserted into the subframe into which the MIDI signal should be inserted and transmitted.
  • the configuration of the subframe in the case of transmitting the MIDI signal of MIDI 2.0 can be, for example, the configuration shown in FIG. 7 described above.
  • the MIDI signal is inserted by any one of the above-mentioned "bitstream method", "byte alignment method”, and "data extension method”. This can be done (see FIGS. 10 and 11).
  • the channel of the MIDI signal is not limited to one channel, and it is possible to use a plurality of channels.
  • FIG. 14 shows an example of the frame configuration of the SPDIF signal when only the MIDI signal is transmitted.
  • This example shows the case of transmitting one 64-bit MIDI 2.0 data packet, for example, one note-on message (see FIG. 3).
  • the packet data is divided into four 16-bit units, inserted into four consecutive subframes, and transmitted.
  • the divided data is inserted into the four subframes of the frames 1 and 2.
  • FIG. 15 schematically shows the format of the channel status when only the MIDI signal is transmitted as described above.
  • the channel status is the cumulative 30th time slot in the subframe for each block.
  • the entire channel status consists of the 0th to 23rd bytes.
  • the 4 bits from the 49th bit to the 52nd bit are used as fields indicating "Multichannel Configuration Type". These 4 bits are set to, for example, "1110”, and are used as identification information indicating that MIDI signals are being transmitted. Further, when the 4 bits are "1110", the following 8 bits of the 53rd to 60th bits are valid. These 8 bits are used as a field indicating "configuration value”.
  • "0000000000” indicates that it is a MIDI signal transmission of MIDI 2.0. Further, “01000000” indicates that the MIDI signal of MIDI 1.0 is transmitted by the "bitstream method” (see FIG. 10A). Further, “11000000” indicates that the MIDI signal of MIDI 1.0 is transmitted according to the "byte alignment method” (see FIG. 10B). Further, “00100000” indicates that the MIDI signal of MIDI 1.0 is transmitted by the “data expansion method” (see FIG. 11A). Further, "1010000” indicates that the transmission is a MIDI signal of two channels A and B.
  • MIDI-CI Capability Inquiry
  • MIDI-CI is to negotiate between devices in advance, change the transfer rate (Protocol) within the range that the devices can support, send and receive with a new message system (Profile), or exchange tone library information between connected devices. It is a two-way communication with a mechanism that allows (Property) etc.
  • MIDI-CI is possible by connecting SPDIF or a transmission line that maps its protocol in both directions.
  • the interface has bidirectional communication paths running in parallel, such as Ethernet and HDMI CEC, the functions of MIDI-CI can be realized by using them.
  • FIG. 16 shows a configuration example of the sound system 20 as the second embodiment.
  • the sound system 20 includes a MIDI keyboard 201 with a microphone input and a MIDI sound module 202.
  • the MIDI keyboard 201 with a microphone input and the MIDI sound module 202 are connected via a transmission line 203 composed of a coaxial cable, an optical cable, or the like.
  • This transmission line 203 constitutes an IEC60958 transmission line.
  • the MIDI keyboard 201 with microphone input has an A / D converter 210, a keyboard unit 211, and an SPDIF transmission circuit 212.
  • the A / D converter 210 converts the analog audio signal obtained by collecting the sound by the microphone 204 into a linear PCM signal and sends it to the SPDIF transmission circuit 212.
  • the keyboard unit 211 includes a MIDI detector (not shown), which generates a MIDI signal (MIDI 2.0 or MIDI 1.0 MIDI signal) and sends it to the SPDIF transmission circuit 212 along with the performance.
  • the SPDIF transmission circuit 212 is a circuit for transmitting an SPDIF signal (a digital audio transmission signal of the IEC 60958 standard), similarly to the SPDIF transmission circuit 110 of the transmission device 101 of the transmission / reception system 10 described above, and is based on the IEC 60958 standard. It is a compliant transmission circuit.
  • the SPDIF transmission circuit 212 Similar to the SPDIF transmission circuit 110, the SPDIF transmission circuit 212 generates an SPDIF signal including a linear PCM signal from the A / D converter 210 and a MIDI signal from the keyboard unit 211 at the same time, and transmits a MIDI sound source through the transmission path 203. Send to module 202.
  • the MIDI sound module 202 includes an SPDIF receiving circuit 220, a MIDI sound source unit 221, an audio mixer 222, and a display unit 223.
  • the SPDIF receiving circuit 220 is a circuit for receiving the SPDIF signal, similarly to the SPDIF receiving circuit 120 in the receiving device 102 of the transmission / reception system 10 described above, and is a receiving circuit conforming to the IEC60958 standard.
  • the SPDIF receiving circuit 220 receives the SPDIF signal sent from the MIDI keyboard 201 with a microphone input through the transmission line 203, and extracts and outputs the linear PCM signal and the MIDI signal included in the SPDIF signal. Further, the SPDIF receiving circuit 220 outputs state information indicating whether or not there is a MIDI signal. This state information is sent to the display unit 223, and the display unit 223 displays whether or not there is a MIDI signal.
  • the MIDI sound module unit 221 inputs a MIDI signal output from the SPDIF receiving circuit 220, converts the MIDI signal into music data by the MIDI sound module, and outputs a linear PCM signal corresponding to the music data.
  • the audio mixer 222 synthesizes the linear PCM signal output from the SPDIF receiving circuit 220 and the linear PCM signal output from the MIDI sound source unit 221 and outputs the combined linear PCM signal.
  • the linear PCM signal synthesized in this way is sent to the speaker system 206 through the amplifier 205.
  • the speaker system 206 can obtain an acoustic output based on the linear PCM signal.
  • the keyboard unit 211 is the keyboard unit of the piano and the microphone 204 collects the playing sound of the piano
  • the MIDI sound module 202 the strings accompanying the piano performance are transmitted from the MIDI sound module unit 221.
  • the linear PCM signal of the sound of is output, and the sound obtained by synthesizing the sound of strings and the sound of piano can be reproduced.
  • the MIDI sound module 202 can reproduce the sound obtained by synthesizing the accompaniment sound and the singing voice.
  • the SPDIF signal continuously signal in subframe units transmitted from the MIDI keyboard 201 with a microphone input to the MIDI sound module 202 includes a linear PCM signal and a MIDI signal. It is a matter of course. As a result, simultaneous transmission of the linear PCM signal (audio signal) and MIDI signal can be performed stably without delay, and synthetic sound can be generated and reproduced satisfactorily.
  • FIG. 17 shows a configuration example of the AV system 30 as the third embodiment.
  • the AV system 30 has a television receiver 301 and an audio amplifier 302.
  • the television receiver 301 is connected to a television broadcast receiving antenna 309, a MIDI file storage unit 307, an Internet 304, a MIDI keyboard 305, and a microphone 306.
  • a speaker system 308 is connected to the audio amplifier 302.
  • the TV receiver 301 and the audio amplifier 302 are connected via the HDMI cable 303.
  • HDMI is a registered trademark.
  • the television receiver 301 is provided with an HDMI terminal 311 to which an HDMI receiving unit (HDMI RX) 312 and a high-speed bus interface 313 constituting a communication unit are connected.
  • the audio amplifier 302 is provided with an HDMI terminal 351 to which an HDMI transmission unit (HDMI TX) 352 and a high-speed bus interface 353 constituting a communication unit are connected.
  • One end of the HDMI cable 303 is connected to the HDMI terminal 311 of the television receiver 301, and the other end is connected to the HDMI terminal 351 of the audio amplifier 302.
  • the television receiver 301 has an HDMI receiver 312, a high-speed bus interface 313, and an SPDIF transmission circuit 314. Further, the television receiver 301 includes a system controller 315, a user interface 316, a digital broadcast reception circuit 317, a content reproduction circuit 318, a speech synthesis circuit 319, an A / D converter 320, an Ethernet interface 321 and the like. It has a display 322. "Ethernet” and “Ethernet” are registered trademarks. Further, in the illustrated example, each part of the image system is appropriately omitted for simplification of explanation.
  • the system controller 315 controls the operation of each part of the television receiver 301.
  • the user interface 316 is connected to the system controller 315.
  • the user interface 316 constitutes an operation unit for the user to perform various operations, for example, a gesture input unit for detecting instruction input with a remote control, a touch panel, a mouse, a keyboard, and a camera, and a voice input for inputting instructions by voice. It consists of parts.
  • the digital broadcast receiving circuit 317 processes the television broadcast signal input from the receiving antenna 309 to obtain a video signal of the broadcast content, a linear PCM signal, and a MIDI file.
  • the Ethernet interface 321 communicates with an external server via the Internet 304.
  • the Ethernet interface 321 acquires the net content from an external server, and obtains a video signal and a linear PCM signal of the net content, as well as a MIDI file.
  • the MIDI file storage unit 307 is composed of a removable memory such as a USB memory, and stores the MIDI file.
  • the MIDI file storage unit 307 can also store, for example, a MIDI file obtained in advance by the Ethernet interface 321 or the digital broadcast receiving circuit 317.
  • the content reproduction circuit 318 outputs a MIDI signal based on the MIDI file obtained by the digital broadcast reception circuit 317 or the Ethernet interface 321 or the MIDI file read from the MIDI file storage unit 307. Further, the content reproduction circuit 318 extracts information on lyrics and musical scores from the MIDI file and sends it to the display 322. As a result, lyrics and musical scores are displayed on the display 322.
  • the A / D converter 320 converts the analog audio signal obtained by collecting the sound with the microphone 306 into a linear PCM signal.
  • the voice synthesis circuit 319 inputs the linear PCM signal obtained by the digital broadcast reception circuit 317, the linear PCM signal obtained by the Ethernet interface 321, and the linear PCM signal obtained by the A / D converter 320, and selectively selects them. And output.
  • the selective synthesis in the speech synthesis circuit 319 is controlled by the system controller 315 according to the operation of the user.
  • the HDMI receiving unit 312 receives image and audio data supplied to the HDMI terminal 311 through the HDMI cable 303 by HDMI-compliant communication.
  • the high-speed bus interface 313 is a bidirectional communication path interface configured by using a reserve line and an HPD (Hot Plug Detect) line constituting the HDMI cable 303. The details of the HDMI receiving unit 312 and the high-speed bus interface 313 will be described later.
  • the SPDIF transmission circuit 314 is a circuit for transmitting an SPDIF signal (a digital audio transmission signal of the IEC 60958 standard) in the same manner as the SPDIF transmission circuit 110 in the transmission device 101 of the transmission / reception system 10 described above, and is based on the IEC 60958 standard. It is a compliant transmission circuit.
  • the SPDIF transmission circuit 314 Similar to the SPDIF transmission circuit 110, the SPDIF transmission circuit 314 generates an SPDIF signal including a linear PCM signal and a MIDI signal at the same time, and transmits this SPDIF signal to the audio amplifier 302 through the high-speed bus interface 313.
  • the linear PCM signal included in the SPDIF signal is a linear PCM signal output from the speech synthesis circuit 319.
  • the MIDI signal included in the SPDIF signal is a MIDI signal obtained by synthesizing a MIDI signal output from the content reproduction circuit 318 and a MIDI signal output from the MIDI keyboard 305.
  • the audio amplifier 302 has an HDMI transmission unit 352, a high-speed bus interface 353, and an SPDIF receiving circuit 354. Further, the audio amplifier 302 has a system controller 355, a MIDI sound module unit 356, an audio mixer 357, an amplifier 358, a display unit 359, and an Ethernet interface 360.
  • the system controller 355 controls the operation of each part of the audio amplifier 302.
  • the HDMI transmission unit 352 transmits image and audio data from the HDMI terminal 351 to the HDMI cable 303 by HDMI-compliant communication.
  • the high-speed bus interface 353 is a bidirectional communication path interface configured by using a reserve line and an HPD (Hot Plug Detect) line constituting the HDMI cable 303.
  • the Ethernet interface 360 communicates with an external server via the Internet. The details of the HDMI transmission unit 352 and the high-speed bus interface 353 will be described later.
  • the SPDIF receiving circuit 354 is a circuit for receiving the SPDIF signal, similarly to the SPDIF receiving circuit 120 in the receiving device 102 of the transmission / reception system 10 described above, and is a receiving circuit conforming to the IEC60958 standard.
  • This SPDIF receiving circuit 354 receives the SPDIF signal from the television receiver 301 through the high-speed bus interface 353, and extracts and outputs the linear PCM signal and the MIDI signal contained therein. Further, the SPDIF receiving circuit 354 outputs state information indicating whether or not there is a MIDI signal. This status information is sent to the display unit 359, and the display unit 359 displays whether or not there is a MIDI signal.
  • the MIDI sound module unit 356 inputs the MIDI signal output from the SPDIF receiving circuit 354, converts the MIDI signal into music data by the MIDI sound module, and outputs a linear PCM signal corresponding to the music data.
  • the audio mixer 357 synthesizes the linear PCM signal output from the SPDIF receiving circuit 354 and the linear PCM signal output from the MIDI sound source unit 356, and outputs the combined linear PCM signal.
  • the amplifier 358 amplifies the linear audio PCM signal obtained by the audio mixer 357 and supplies it to the speaker system 308. As a result, the speaker system 308 can obtain an acoustic output based on the linear PCM signal.
  • FIG. 18 shows a configuration example of the HDMI receiving unit 312 of the television receiver 301 and the HDMI transmitting unit 352 of the audio amplifier 302 in the AV system 30 of FIG.
  • the HDMI transmission unit 352 is an effective image section which is a section from one vertical synchronization signal to the next vertical synchronization signal (hereinafter, appropriately referred to as “video field”) excluding the horizontal blanking period and the vertical blanking period.
  • video field a vertical synchronization signal
  • active video section the differential signal of the image data for one screen of the base band (uncompressed) is transmitted in one direction to the HDMI receiving unit 312 by a plurality of channels.
  • the HDMI transmission unit 352 transmits a plurality of differential signals corresponding to voice data and control packets (Control Packet) accompanying the image data, other auxiliary data, and the like during the horizontal blanking period and the vertical blanking period.
  • the channel transmits data to the HDMI receiver 312 in one direction.
  • the HDMI transmission unit 352 has a source signal processing unit 71 and an HDMI transmitter 72.
  • Baseband uncompressed image (Video) and audio (Audio) data are supplied to the source signal processing unit 71.
  • the source signal processing unit 71 performs necessary processing on the supplied image and audio data, and supplies the HDMI transmitter 72. Further, the source signal processing unit 71 exchanges control information, status information (Control / Status), and the like with the HDMI transmitter 72, if necessary.
  • the HDMI transmitter 72 converts the image data supplied from the source signal processing unit 71 into corresponding differential signals, and connects the HDMI cable 303 with three TMDS channels # 0, # 1, and # 2, which are a plurality of channels. It transmits in one direction to the HDMI receiving unit 312 connected via the device.
  • the transmitter 72 transmits the pixel clock synchronized with the image data transmitted through the three TMDS channels # 0, # 1 and # 2 to the HDMI receiving unit 312 connected via the HDMI cable 303 in the TMDS clock channel. Send.
  • the HDMI receiving unit 312 receives the differential signal corresponding to the image data transmitted in one direction from the HDMI transmitting unit 352 on a plurality of channels in the active video section, and also has a horizontal blanking period and a vertical blanking period. In the plurality of channels, the differential signals corresponding to the auxiliary data and the control data transmitted from the HDMI transmission unit 352 are received.
  • the HDMI receiving unit 312 includes an HDMI receiver 81 and a sink signal processing unit 82.
  • the HDMI receiver 81 is a differential signal corresponding to image data transmitted in one direction from the HDMI transmission unit 352 connected via the HDMI cable 303 on the TMDS channels # 0, # 1, and # 2.
  • the differential signal corresponding to the auxiliary data and the control data is received in synchronization with the pixel clock transmitted from the HDMI transmission unit 352 on the TMDS clock channel. Further, the HDMI receiver 81 converts the differential signal into corresponding image data, auxiliary data, and control data, and supplies the differential signal to the sync signal processing unit 82 as needed.
  • the sink signal processing unit 82 performs necessary processing on the data supplied from the HDMI receiver 81 and outputs the data. In addition, the sync signal processing unit 82 exchanges control information, status information (Control / Status), and the like with the HDMI receiver 81, if necessary.
  • the HDMI transmission channels include three TMDS channels for serially transmitting image data, auxiliary data, and control data from the HDMI transmission unit 352 to the HDMI reception unit 312 in one direction in synchronization with the pixel clock.
  • TMDS Serial Data Channel
  • a TMDS clock channel as a transmission channel for transmitting a pixel clock, there are a DDC (Display Data Channel) 83 and a transmission channel called a CEC line 84.
  • the DDC 83 is composed of two lines (signal lines) (not shown) included in the HDMI cable 303, and the source device performs E-EDID (Enhanced-Extended Display Identification) from the sink device connected via the HDMI cable 303. Used to read. That is, the sink device has an EDID ROM 85. The source device reads the E-EDID stored in the EDID ROM 85 from the sink device connected via the HDMI cable 303 via the DDC 83, and recognizes the setting and performance of the sink device based on the E-EDID. To do.
  • E-EDID Enhanced-Extended Display Identification
  • the CEC line 84 consists of one line (not shown) included in the HDMI cable 303, and is used for bidirectional communication of control data between the source device and the sink device.
  • the HDMI cable 303 includes a line 86 connected to a pin called HPD (Hot Plug Detect). The source device can detect the connection of the sink device by using the line 86.
  • the HDMI cable 303 also includes a line 87 used to supply power from the source device to the sink device. Further, the HDMI cable 303 includes a reserve line 88.
  • FIG. 19 shows a configuration example of the high-speed bus interface 313 of the television receiver 301 in the AV system 30 of FIG.
  • the Ethernet interface 321 performs LAN (Local Area Network) communication, that is, transmission / reception of Ethernet signals, using a transmission line composed of a pair of reserve lines and HPD lines among a plurality of lines constituting the HDMI cable 303. ..
  • the SPDIF transmission circuit 314 transmits an SPDIF signal using a transmission line composed of the pair of lines described above.
  • the TV receiver 301 has a LAN signal transmission circuit 441, a terminating resistor 442, an AC coupling capacitance 443, 444, a LAN signal reception circuit 445, a subtraction circuit 446, an addition circuit 449, 450, and an amplifier 451. These constitute the high-speed bus interface 313. Further, the television receiver 301 has a choke coil 461, a resistor 462, and a resistor 463 that form a plug connection transmission circuit 460.
  • a series circuit of AC coupling capacitance 443, terminating resistor 442 and AC coupling capacitance 444 is connected between the 14-pin terminal 521 and the 19-pin terminal 522 of the HDMI terminal 311. Further, a series circuit of the resistor 462 and the resistor 463 is connected between the power supply line (+ 5.0V) and the ground line. Then, the connection points of the resistors 462 and 463 are connected to the connection point Q4 between the 19-pin terminal 522 and the AC coupling capacitance 444 via the choke coil 461.
  • connection points P3 of the AC coupling capacitance 443 and the terminating resistor 442 are connected to the output side of the adder circuit 449 and to the positive input side of the LAN signal reception circuit 445. Further, the connection points P4 of the AC coupling capacitance 444 and the terminating resistor 442 are connected to the output side of the adder circuit 450 and to the negative input side of the LAN signal reception circuit 445.
  • One input side of the adder circuit 449 is connected to the positive output side of the LAN signal transmission circuit 441, and the SPDIF signal output from the SPDIF transmission circuit 314 is supplied to the other input side of the adder circuit 449 via the amplifier 451. Will be done. Further, one input side of the adder circuit 450 is connected to the negative output side of the LAN signal transmission circuit 441, and the SPDIF signal output from the SPDIF transmission circuit 314 is transmitted to the other input side of the adder circuit 450 via the amplifier 451. Is supplied.
  • the transmission signal (transmission data) SG417 is supplied from the Ethernet interface 321 to the input side of the LAN signal transmission circuit 441. Further, the output signal SG418 of the LAN signal receiving circuit 445 is supplied to the positive terminal of the subtraction circuit 446, and the transmission signal SG417 is supplied to the negative terminal of the subtraction circuit 446. In this subtraction circuit 446, the transmission signal SG417 is subtracted from the output signal SG418 of the LAN signal reception circuit 445, and the reception signal (reception data) SG419 is obtained. The received signal SG419 becomes the LAN signal when the LAN signal (Ethernet signal) is transmitted as a differential signal via the reserve line and the HPD line. The received signal SG419 is supplied to the Ethernet interface 321.
  • FIG. 20 shows a configuration example of the high-speed bus interface 353 of the audio amplifier 302 in the AV system 30 of FIG.
  • the Ethernet interface 360 performs LAN (Local Area Network) communication, that is, transmission / reception of Ethernet signals, using a transmission line composed of a pair of reserve lines and HPD lines among a plurality of lines constituting the HDMI cable 303. ..
  • the SPDIF receiving circuit 354 receives the SPDIF signal using the transmission line composed of the pair of lines described above.
  • the audio amplifier 302 has a LAN signal transmission circuit 411, a terminating resistor 412, an AC coupling capacitance 413, 414, a LAN signal reception circuit 415, a subtraction circuit 416, an adder circuit 419, and an amplifier 420. These constitute the high-speed bus interface 353. Further, the audio amplifier 302 has a pull-down resistor 431, a resistor 432, a capacitance 433, and a comparator 434 that constitute the plug connection detection circuit 430. Here, the resistor 432 and the capacitance 433 form a low-pass filter.
  • a series circuit of AC coupling capacitance 413, terminating resistor 412 and AC coupling capacitance 414 is connected between the 14-pin terminal 511 and the 19-pin terminal 512 of the HDMI terminal 351.
  • the connection points P1 of the AC coupling capacitance 413 and the terminating resistor 412 are connected to the positive output side of the LAN signal transmission circuit 411 and to the positive input side of the LAN signal reception circuit 415.
  • connection points P2 of the AC coupling capacitance 414 and the terminating resistor 412 are connected to the negative output side of the LAN signal transmission circuit 411 and to the negative input side of the LAN signal reception circuit 415.
  • a transmission signal (transmission data) SG411 is supplied from the Ethernet interface 360 to the input side of the LAN signal transmission circuit 411.
  • the output signal SG412 of the LAN signal receiving circuit 415 is supplied to the positive terminal of the subtraction circuit 416, and the transmission signal (transmission data) SG411 is supplied to the negative terminal of the subtraction circuit 416.
  • the transmission signal SG411 is subtracted from the output signal SG412 of the LAN signal reception circuit 415, and the reception signal SG413 is obtained.
  • the received signal SG413 becomes the LAN signal when the LAN signal (Ethernet signal) is transmitted as a differential signal via the reserve line and the HPD line.
  • the received signal SG413 is supplied to the Ethernet interface 360.
  • connection point Q2 between the AC coupling capacitance 414 and the 19-pin terminal 512 is connected to the ground wire via the pull-down resistor 431 and is connected to the ground wire via the series circuit of the resistor 432 and the capacitance 433. Then, the output signal of the low-pass filter obtained at the connection point between the resistor 432 and the capacitance 433 is supplied to one input terminal of the comparator 434. In this comparator 434, the output signal of the low-pass filter is compared with the reference voltage Vref2 (+ 1.4V) supplied to the other input terminal.
  • the output signal SG415 of the comparator 434 is supplied to a control unit (CPU) of the audio amplifier 302 (not shown).
  • connection point P1 of the AC coupling capacitance 413 and the terminating resistor 412 is connected to one input terminal of the adder circuit 419. Further, the connection points P2 of the AC coupling capacitance 414 and the terminating resistor 412 are connected to the other input terminal of the adder circuit 419.
  • the output signal of the adder circuit 419 is supplied to the SPDIF receiving circuit 354 via the amplifier 420.
  • the output signal of the addition circuit 419 becomes the SPDIF signal when the SPDIF signal is transmitted as an in-phase signal via the reserve line and the HPD line.
  • a MIDI signal corresponding to a back performance of karaoke is output from the content reproduction circuit 318 on the television receiver 301 side.
  • the lyrics and the score are displayed on the display 322 based on the information supplied from the content reproduction circuit 318.
  • the user sings to the microphone 306 and performs ad lib performance using the MIDI keyboard 305 in the interlude section.
  • the SPDIF signal including the linear PCM signal sung by the user and the MIDI signal (MIDI signal corresponding to the back performance and MIDI signal obtained by synthesizing the MIDI signal corresponding to the ad lib performance by the MIDI keyboard 305). Is generated, and this SPDIF signal is transmitted to the audio amplifier 302 through the high-speed bus interface 313.
  • the SPDIF receiving circuit 354 receives the SPDIF signal from the television receiver 301 through the high-speed bus interface 353, and the linear PCM signal and the MIDI signal included in the SPDIF signal are separately taken out. Then, the MIDI sound module unit 356 obtains a linear PCM signal corresponding to the performance sounds of the back performance and the ad lib performance based on the MIDI signal.
  • the audio mixer 357 synthesizes a linear PCM signal corresponding to the performance sound of the back performance and the ad lib performance and a linear PCM signal corresponding to the user's singing sound extracted by the SPDIF receiving circuit 354. Then, the synthesized linear PCM signal is amplified by the amplifier 358 and supplied to the speaker system 308. As a result, the speaker system 308 can obtain a reproduced sound in which the performance sound of the back performance and the ad lib performance and the user singing sound are combined.
  • a linear PCM signal (audio signal) and a MIMO signal are added to the SPDIF signal (continuous signal in subframe units) transmitted from the television receiver 301 to the audio amplifier 302. It includes.
  • the simultaneous transmission of these linear PCM signals and MIDI signals from the television receiver 301 to the audio amplifier 302 can be stably performed without delay, and the audio amplifier 302 can satisfactorily generate and reproduce the synthesized sound. It will be possible.
  • FIG. 21 shows a configuration example of the game system 60 as the fourth embodiment.
  • the game system 60 is a system that decodes the game content and advances the game while detecting the movement of the game user.
  • MIDI signals are applied not only to the control of musical instrument sound sources, but also to mixer control, lighting control, machine control, etc.
  • the fader value can be controlled remotely. That is, it is possible to transmit and receive a specific value at an arbitrary timing, and this can be used for transmitting the value of various sensors, setting the temperature of the heating / cooling sensation presenting device, and the like.
  • the vibrating actuator can also be synthesized as a low frequency sound.
  • the game system 60 has a head-mounted display 601 and a game console 602.
  • a microphone 604 is connected to the head-mounted display 601.
  • the Internet 605 is connected to the game console 602.
  • the head-mounted display 601 and the game console 602 are connected via the HDMI cable 603.
  • the head-mounted display 601 is provided with an HDMI terminal 611 to which an HDMI receiving unit (HDMI RX) 612 and a high-speed bus interface 613 constituting a communication unit are connected.
  • the game console 602 is provided with an HDMI terminal 651 to which an HDMI transmission unit (HDMI TX) 652 and a high-speed bus interface 653 constituting a communication unit are connected.
  • One end of the HDMI cable 603 is connected to the HDMI terminal 611 of the head-mounted display 601 and the other end is connected to the HDMI terminal 651 of the game console 602.
  • the head-mounted display 601 has an HDMI receiving unit 612, a high-speed bus interface 613, and an SPDIF transmission circuit 614.
  • the head-mounted display 601 includes a system controller 615, an A / D converter 616, a left-eye display 617, a right-eye display 618, and stereo headphones 619.
  • the head-mounted display 601 has a sensor unit 620 including a gyro sensor, an acceleration sensor, a heartbeat sensor, a body temperature sensor, a pressure sensor, etc. have.
  • the system controller 615 controls the operation of each part of the head-mounted display 601.
  • the high-speed bus interface 613 is bidirectional communication configured by using the reserve line and the HPD (Hot Plug Detect) line constituting the HDMI cable 603, similarly to the high-speed bus interface 313 in the television receiver 301 of the AV system 30 described above. It is a road interface.
  • the A / D converter 616 converts the analog audio signal related to the speech of the game user (the wearer of the head mount display 601) obtained by collecting the sound with the microphone 604 into a linear PCM signal, and converts it into the SPDIF transmission circuit 614. send.
  • the SPDIF transmission circuit 614 is a circuit for transmitting an SPDIF signal (a digital audio transmission signal of the IEC 60958 standard), similarly to the SPDIF transmission circuit 110 of the transmission device 101 of the transmission / reception system 10 described above, and is based on the IEC 60958 standard. It is a compliant transmission circuit.
  • the SPDIF transmission circuit 614 Similar to the SPDIF transmission circuit 110, the SPDIF transmission circuit 614 generates an SPDIF signal including a linear PCM signal and a MIDI signal at the same time, and transmits this SPDIF signal to the game console 602 through the high-speed bus interface 613.
  • the linear PCM signal included in the SPDIF signal is a linear PCM signal related to the utterance of the game user obtained by the A / D converter 616.
  • the MIDI signal included in the SPDIF signal is a MIDI signal having detection signals of various sensors obtained by the sensor unit 620.
  • the HDMI receiving unit 612 receives image and audio data supplied to the HDMI terminal 611 through the HDMI cable 603 by HDMI-compliant communication, similarly to the HDMI receiving unit 312 in the television receiver 301 of the AV system 30 described above. To do.
  • the HDMI receiving unit 612 receives the 3D audiovisual signal and the MIDI signal sent from the game console 602.
  • the stereo 2-channel audio signal (linear PCM signal as an acoustic signal) and the SPDIF signal including the MIDI signal (see FIG. 6) are mapped to the audio sample packet and sent.
  • the HDMI receiving unit 612 extracts a stereo 2-channel audio signal and a MIDI signal as control information from the SPDIF signal.
  • the left eye video signal obtained by the HDMI receiving unit 612 is sent to the left eye display 617, and the left eye image is displayed on the left eye display 617.
  • the right eye video signal obtained by the HDMI receiving unit 612 is sent to the right eye display 618, and the right eye image is displayed on the right eye display 618.
  • the user can perceive a stereoscopic image related to the game content by the left eye image and the right eye image.
  • the stereo 2-channel audio signal obtained by the HDMI receiving unit 612 is sent to the stereo headphones 619, and the stereo sound related to the game content is reproduced.
  • the MIDI signal as the control information obtained by the HDMI receiving unit 601 is sent to the controlled unit 621.
  • the controlled unit 621 controls the actuator and the device based on the MIDI signal.
  • the game user can be given vibration, a feeling of warmth and coldness, a feeling of power, and the like related to the game content.
  • Game console configuration The game console 602 has an HDMI transmission unit 652, a high-speed bus interface 653, and an SPDIF reception circuit 654. Further, the game console 602 has a game control processing unit 655 and an Ethernet interface unit 656.
  • the high-speed bus interface 653 is a bidirectional communication path configured by using the reserve line and the HPD (Hot Plug Detect) line constituting the HDMI cable 603, similarly to the high-speed bus interface 353 in the audio amplifier 302 of the AV system 30 described above. Interface.
  • the Ethernet interface 656 communicates with an external server (cloud server) via the Internet 605.
  • the SPDIF receiving circuit 654 is a circuit for receiving the SPDIF signal, similarly to the SPDIF receiving circuit 120 in the receiving device 102 of the transmission / reception system 10 described above, and is a receiving circuit conforming to the IEC60958 standard.
  • This SPDIF receiving circuit 654 receives the SPDIF signal from the television receiver 301 through the high-speed bus interface 653, and extracts and outputs the linear PCM signal and the MIDI signal contained therein.
  • the linear PCM signal is a linear PCM signal related to the utterance of the game user as described above.
  • the MIDI signal is a MIDI signal having detection signals of various sensors as described above.
  • the game control processing unit 655 is composed of a CPU, a DSP, a GPU, and the like.
  • the game control processing unit 655 decodes the game content and generates a 3D audiovisual signal and a MIDI signal with reference to the MIDI signal and the linear PCM signal obtained by the SPDIF receiving circuit 354.
  • the 3D audiovisual signal is composed of a left-eye video signal, a right-eye video signal, and a stereo 2-channel audio signal (linear PCM signal).
  • the MIDI signal is a MIDI signal having a control signal for giving the game user a vibration, a feeling of warmth and coldness, a feeling of force, etc. related to the game content.
  • the HDMI transmission unit 652 transmits image and audio data from the HDMI terminal 651 to the HDMI cable 603 by HDMI-compliant communication, similarly to the HDMI transmission unit 352 in the audio amplifier 302 of the AV system 30 described above.
  • the 3D audiovisual signal and the MIDI signal generated by the game control processing unit 655 are transmitted.
  • a stereo 2-channel audio signal linear PCM signal as an acoustic signal
  • an SPDIF signal see FIG. 6
  • this SPDIF signal is mapped to an audio sample packet and transmitted.
  • the SPDIF signal continuous signal in subframe units transmitted from the head mount display 601 to the game console 602 is combined with the linear PCM signal related to the speech of the game user. It includes MIDI signals having detection signals of various sensors.
  • simultaneous transmission of these linear PCM signals and MIBI signals from the head mount display 601 to the game console 602 can be stably performed without delay, and in the game console 602, the processing in the game control processing unit 655 can be performed satisfactorily. It can be carried out.
  • the stereo 2-channel audio generated by the game control processing unit 655 is added to the SPDIF signal (continuous signal in subframe units) transmitted from the game console 602 to the head mount display 601. It includes a signal (a linear PCM signal as an acoustic signal) and a MIDI signal having a control signal for giving a game user a feeling of vibration, warmth, coldness, force, etc. related to the game content.
  • a signal a linear PCM signal as an acoustic signal
  • a MIDI signal having a control signal for giving a game user a feeling of vibration, warmth, coldness, force, etc. related to the game content.
  • a coaxial cable or an optical cable, as well as an HDMI ARC or HDMI transmission line is used as the IEC 60958 transmission line, but other IEC 60958 transmission lines may be used.
  • the IEC 60958 transmission line an example of using an IEC 61883-6 transmission line, an MHL transmission line, a display port transmission line (DP transmission line), or the like can be considered.
  • the SPDIF signal IEC 60958 signal
  • the SPDIF signal is mapped to an audio sample packet and transmitted in the same forward direction as video transmission.
  • a transmission unit for transmitting continuous signals in a predetermined unit to a receiving side via a predetermined transmission line is provided.
  • the signal continuous in the predetermined unit is a transmission device including a first signal of the predetermined unit including an audio signal and a second signal of the predetermined unit including a MIDI signal.
  • the audio signal is a linear PCM signal constituting a stereo 2-channel audio signal.
  • the MIDI signal is composed of packet data having a predetermined length.
  • the transmission device according to any one of (1) to (3), wherein the packet data having a predetermined length is divided into a plurality of pieces and transmitted by being included in a plurality of signals of the second predetermined unit.
  • the transmission device according to (4) above, wherein the packet data having the predetermined length is 32-bit, 64-bit, 96-bit, or 128-bit packet data, and is divided into a plurality of 16-bit packets.
  • the MIDI signal is inserted into the lower bit side, and the MIDI signal inserted into the lower bit side on the upper bit side is at least the start division data.
  • the transmitting device according to (4) or (5) above, wherein identification information for identifying whether the data is divided data or continuous divided data is inserted. (7)
  • the identification information is set so that the volume is equal to or less than the predetermined volume even if the data having a predetermined number of bits consisting of the MIDI signal on the lower bit side and the identification information on the upper bit side is reproduced as audio data.
  • the transmitter according to (6) above.
  • the packet data constituting the MIDI signal is inserted from an arbitrary bit position in the data payload area of the signal of the second predetermined unit, and when all the packet data cannot be inserted into the data payload area, the following first item is described.
  • the 1-byte packet data constituting the MIDI signal is inserted into one byte area of the 2-byte data payload area of the signal of the second predetermined unit and transmitted from (1) to (3).
  • the transmitter according to any one of. (10) The 1-byte packet data constituting the MIDI signal is inserted into one byte area of the 2-byte data payload area of the signal of the second predetermined unit, and the other 1-byte area is the extended byte area.
  • the transmission device according to any one of (1) to (10) above, wherein the signal of the second predetermined unit includes the MIDI signals of a plurality of channels. (12) Identification information for identifying that the signal includes the first signal of the predetermined unit including the audio signal and the signal of the second predetermined unit including the MIDI signal is added to the continuous signal in the predetermined unit.
  • the transmission device according to any one of (1) to (11) above, further comprising an information addition unit.
  • the information addition unit adds the identification information using a predetermined bit area of each block configured for each predetermined number of predetermined units.
  • the transmission device according to any one of (1) to (13) above, wherein the predetermined transmission line is a coaxial cable, an optical cable, an Ethernet (IEC 61883-6) cable, an HDMI cable, an MHL cable, or a display port cable. .. (15) It has a procedure of transmitting a continuous signal in a predetermined unit to a receiving side via a predetermined transmission line.
  • the signal continuous in the predetermined unit is a transmission method including a first signal of the predetermined unit including an audio signal and a second signal of the predetermined unit including a MIDI signal.
  • a receiving unit for receiving continuous signals in a predetermined unit from a transmitting side via a predetermined transmission line is provided.
  • the signal continuous in the predetermined unit is a receiving device including a first signal of the predetermined unit including an audio signal and a second signal of the predetermined unit including a MIDI signal.
  • the audio signal is a linear PCM signal constituting a stereo 2-channel audio signal.
  • the processing unit synthesizes an audio signal obtained by using a MIDI sound module from the MIDI signal with the audio signal to obtain an output audio signal.
  • the signal continuous in the predetermined unit is a receiving method including a first signal of the predetermined unit including an audio signal and a second signal of the predetermined unit including a MIDI signal.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Communication Control (AREA)

Abstract

オーディオ信号とMIDI信号の同時伝送をサポートする新たなインタフェースを提供する。 所定単位で連続した信号を、所定伝送路を介して受信側に送信する。所定単位で連続した信号は、オーディオ信号を含む第1の所定単位の信号とMIDI信号を含む第2の所定単位の信号を含む。例えば、オーディオ信号は、ステレオ2チャネルオーディオ信号を構成するリニアPCM信号である。例えば、MIDI信号は、所定長のパケットデータからなり、この所定長のパケットデータは、複数個に分割され、複数個の第2の所定単位の信号に含めて送信される。

Description

送信装置、送信方法、受信装置および受信方法
 本技術は、送信装置、送信方法、受信装置および受信方法に関する。
 従来、IEEE1394のシリアルデジタルインタフェース規格では、オーディオ信号とMIDI(Musical Instrument Digital Interface)信号の安定した同時伝送が実現されている。例えば、特許文献1には、IEEE1394とMIDI信号についての記載がある。
 IEEE1394を使用した製品は、HDMI(High-Definition Multimedia Interface)の台頭により、その生産が中止され、オーディオ信号とMIDI信号の同時伝送には、コンピューターベースのUSB(Universal Serial Bus)が使用されるようになってきた。また、HDMIは、オーディオ信号とMIDI信号の同時伝送をサポートしていない。
 また、デジタルオーディオインタフェースとして、IEC 60958によるリニアPCM信号の伝送が広く使用されている。また、IEC 60958のプロトコルの上で圧縮オーディオ信号を伝送するIEC 61937も普及しており、各種オーディオコーデック伝送に使用されている。
 これらは、実際の商品ではSPDIF(Sony Philips Digital InterFace)と呼称される同軸端子、光アウト端子、またビデオも含むマルチメディアインタフェースであるHDMI(High-Definition Multimedia Interface)、MHL(Mobile High-definition Link)、ディスプレイポート(DisplayPort)のフォーマットにIEC 60958プロトコルがマップされて商用利用されている。
特開平9-116593号公報
 コンピュータを使用する場合、レイテンシ(Latency)や最大データ量は、使用するコンピュータの性能やデバイスドライバ、ソフトウェアに大きく依存する。そのため、コンピュータを使用する場合には、リアルタイム性が損なわれたり、データ欠損が生じたりするという問題がある。安定かつ安心して使用し得るリアルタイムインタフェースが要望されている。
 本技術の目的は、オーディオ信号とMIDI信号の同時伝送をサポートする新たなインタフェースを提供することにある。
 本技術の概念は、
 所定単位で連続した信号を、所定伝送路を介して受信側に送信する送信部を備え、
 上記所定単位で連続した信号は、オーディオ信号を含む第1の上記所定単位の信号とMIDI信号を含む第2の上記所定単位の信号を含む
 送信装置にある。
 本技術において、送信部により、所定単位で連続した信号が、所定伝送路を介して受信側に送信される。例えば、所定単位は、サブフレーム単位である、ようにされてもよい。また、例えば、所定伝送路は、同軸ケーブル、光ケーブル、イーサネット(IEC 61883-6)ケーブル、HDMIケーブル、MHLケーブルまたはディスプレイポートケーブルである、ようにされてもよい。
 所定単位で連続した信号には、オーディオ信号を含む第1の所定単位の信号とMIDI信号を含む第2の所定単位の信号が含まれる。例えば、オーディオ信号は、ステレオ2チャネルオーディオ信号を構成するリニアPCM信号である、ようにされてもよい。この場合、ステレオ2チャネルオーディオ信号とMIDI信号の同時伝送を安定して行うことができる。
 例えば、MIDI信号は、所定長のパケットデータからなり、この所定長のパケットデータは、複数個に分割され、複数個の第2の所定単位の信号に含めて送信される、ようにされてもよい。この場合、例えば、所定長のパケットデータは、32ビット、64ビット、96ビットまたは128ビットのパケットデータであり、16ビットずつの複数個に分割される、ようにされてもよい。このように分割して送信することで、MIDI信号を構成するパケットデータのデータ長が所定単位の信号におけるデータペイロード領域を超える場合であっても、伝送が可能となる。
 また、この場合、例えば、MIDI信号を含む第2の所定単位の信号において、下位ビット側にMIDI信号が挿入され、上位ビット側に下位ビット側に挿入されるMIDI信号が少なくともスタートの分割データであるか継続の分割データであるかを識別する識別情報が挿入される、ようにされてもよい。このように識別情報が挿入されることで、受信側において、第2の所定単位の信号に含まれるMIDI信号がスタートの分割データであるか継続の分割データであるかを識別でき、正しくパケットを再構成して受け取ることが可能となる。
 そして、この場合、例えば、下位ビット側のMIDI信号と上位ビット側の識別情報とからなる所定ビット数のデータをオーディオデータとして再生しても音量が所定以下となるように識別情報が設定される、ようにされてもよい。これにより、オーディオデータとして誤って再生されても、オーディオアンプやスピーカの破損を回避することが可能となる。
 また、例えば、MIDI信号を構成するパケットデータは、第2の所定単位の信号のデータペイロード領域の任意のビット位置から挿入され、このデータペイロード領域に全て挿入できない場合には、次の第2の所定単位の信号のデータペイロード領域の最初のビット位置から残りが挿入されて送信される、ようにされてもよい。この場合、MIDI信号の発生タイミングに合わせて第2の所定単位の信号のデータペイロード領域にそのパケットデータを挿入していくことが可能となる。
 また、例えば、MIDI信号を構成する1バイトのパケットデータは、第2の所定単位の信号における2バイトのデータペイロード領域の一方のバイト領域に挿入されて送信される、ようにされてもよい。この場合、MIDI信号を構成するパケットデータはバイトアライメントに沿って挿入されることから、受信側の処理を単純化することが可能となる。
 また、例えば、MIDI信号を構成する1バイトのパケットデータは、第2の所定単位の信号の2バイトのデータペイロード領域の一方のバイト領域に挿入され、他方の1バイトの領域が拡張バイト領域とされて送信される、ようにされてもよい。この場合、拡張バイト領域を利用して、独自の拡張、例えばベロシティの高解像度化、チャンネル数の増加等が可能となる。
 また、例えば、第2の所定単位の信号は、複数のチャネルのMIDI信号を含む、ようにされてもよい。これにより、仮想的に複数系統のMIDI信号を伝送することができ、チャネル数を増やすことが可能となる。
 このように本技術においては、送信される所定単位で連続した信号に、オーディオ信号を含む第1の所定単位の信号とMIDI信号を含む第2の所定単位の信号を含むものである。そのため、オーディオ信号とMIDI信号の同時送信を安定して行うことができる。
 なお、本技術において、例えば、所定単位で連続した信号に、この信号がオーディオ信号を含む第1の所定単位の信号とMIDI信号を含む第2の所定単位の信号を含むことを識別する識別情報を付加する情報付加部をさらに備える、ようにされてもよい。この場合、例えば、情報付加部は、所定数の所定単位毎に構成される各ブロックの所定ビット領域を用いて識別情報を付加する、ようにされてもよい。このように識別情報が付加されることで、受信側では、所定単位で連続した信号がオーディオ信号を含む第1の所定単位の信号とMIDI信号を含む第2の所定単位の信号を含むことを容易に認識することが可能となる。
 また、本技術の他の概念は、
 所定単位で連続した信号を、送信側から所定伝送路を介して受信する受信部を備え、
 上記所定単位で連続した信号は、オーディオ信号を含む第1の上記所定単位の信号とMIDI信号を含む第2の上記所定単位の信号を含む
 受信装置にある。
 本技術において、受信部により、所定単位で連続した信号が、送信側から所定伝送路を介して受信される。所定単位で連続した信号には、オーディオ信号を含む第1の所定単位の信号とMIDI信号を含む第2の所定単位の信号が含まれる。例えば、オーディオ信号は、ステレオ2チャネルオーディオ信号を構成するリニアPCM信号である、ようにされてもよい。この場合、ステレオ2チャネルオーディオ信号とMIDI信号を同時に安定して受信できる。
 このように本技術においては、受信される所定単位で連続した信号に、オーディオ信号を含む第1の所定単位の信号とMIDI信号を含む第2の所定単位の信号を含むものである。そのため、オーディオ信号とMIDI信号の同時受信を安定して行うことができる。
 なお、本技術において、例えば、オーディオ信号およびMIDI信号を用いた処理を行う処理部をさらに備える、ようにされてもよい。この場合、安定して同時受信されるオーディオ信号およびMIDI信号を用いた処理を行うことができる。この場合、例えば、処理部は、オーディオ信号にMIDI信号からMIDI音源を用いて得られたオーディオ信号を合成して出力オーディオ信号を得る、ようにされてもよい。
第1の実施の形態としての送受信システムの構成例を示すブロック図である。 MIDI 2.0においてユニバーサルMIDIパケットに入れ込むメッセージの一例を示す図である。 MIDI 2.0におけるノートオンメッセージの構成例を示す図である。 IEC 60958規格におけるフレーム構成を示す図である。 IEC 60958規格におけるサブフレーム構成を示す図である。 リニアPCM信号としてのステレオ2チャネルオーディオ信号とMIDI信号を同時に含む場合におけるSPDIF信号のフレーム構成の一例を示す図である。 MIDI信号を含むサブフレームの構成例を示す図である。 MIDI 2.0のノートオンメッセージを1つ送信する場合の例を示す図である。 リニアPCM信号とMIDI信号を同時伝送する場合におけるチャネルステータスのフォーマットを概略的に示す図である。 リニアPCM信号とMIDI 1.0のMIDI信号を同時に伝送する場合のサブフレームへの挿入方法の一例を示す図である。 リニアPCM信号とMIDI 1.0のMIDI信号を同時に伝送する場合のサブフレームへの挿入方法の一例を示す図である。 リニアPCM信号と同時伝送するMIDI信号が複数チャネルである場合を説明するための図である。 IEC 61937-1インタフェース・フォーマットを示す図である。 MIDI信号のみを伝送する場合におけるSPDIF信号のフレーム構成の一例を示す図である。 MIDI信号のみを伝送する場合におけるチャネルステータスのフォーマットを概略的に示す図である。 第2の実施の形態としての音響システムの構成例を示すブロック図である。 第3の実施の形態としてのAVシステムの構成例を示すブロック図である。 テレビ受信機のHDMI受信部とオーディオアンプのHDMI送信部の構成例を示すブロック図である。 テレビ受信機の高速バスインタフェースの構成例を示す図である。 オーディオアンプの高速バスインタフェースの構成例を示す図である。 第4の実施の形態としてのゲームシステムの構成例を示すブロック図である。
 以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明を以下の順序で行う。
 1.第1の実施の形態
 2.第2の実施の形態
 3.第3の実施の形態
 4.第4の実施の形態
 5.変形例
 <1.第1の実施の形態>
 [送受信システムの構成例]
 図1は、第1の実施の形態としての送受信システム10の構成例を示している。この送受信システム10は、送信装置101と受信装置102を有している。送信装置101と受信装置102は、同軸ケーブルや光ケーブル等で構成される伝送路103を介して接続されている。この伝送路103は、IEC60958伝送路を構成している。
 送信装置101は、SPDIF(Sony Philips Digital Interface)送信回路110を有している。このSPDIF送信回路110は、IEC 60958規格のデジタルオーディオ伝送信号(以下、適宜、「SPDIF信号」という)を送信するための回路であって、IEC 60958規格に準拠した送信回路である。
 SPDIF送信回路110は、リニアPCM信号とMIDI(Musical Instrument Digital Interface)信号を同時に含むSPDIF信号を生成し、伝送路103を通じて、受信装置102に送信する。リニアPCM信号としては、モノラル、2チャネル、5.1チャネル、7.1チャネル、10.2チャネル、22.2チャネル等のオーディオ信号が考えられるが、ここではステレオ2チャネルオーディオ信号を考える。また、MIDI信号としては、MIDI 2.0として提案されているMIDI信号を考える。
 受信装置102は、SPDIF受信回路120を有している。SPDIF受信回路120は、SPDIF信号(IEC 60958規格のデジタルオーディオ伝送信号)を受信するための回路であって、IEC 60958規格に準拠した受信回路である。SPDIF受信回路120は、送信装置101から伝送路103を通じて送られてくるSPDIF信号を受信し、それに含まれるリニアPCM信号およびMIDI信号を取り出して出力する。
 「MIDI 2.0におけるメッセージ」
 MIDI 2.0においては、複数のパケット長のユニバーサルMIDIパケットが定義されている。パケット長には、32ビット、64ビット、96ビット、128ビットなどがある。ユニバーサルMIDIパケットに入れ込むメッセージとしては、図2に示すように提案されている。
 「Utility Messages」は、定義未公開である。「System Real Time Messages」は、MIDI 1.0においては、システムに接続されたユニット全部に対して有効なメッセージであり、ステータスバイトのみでデータバイトを有さず、他のメッセージのバイト間でも送ることができる。「System Common Messages」は、MIDI 1.0においては、システムに接続されたユニット全部に対して有効なメッセージである。
 「System Exclusive Messages」は、MIDI 1.0においては、ステータスバイトに続き、何バイトのデータをも送ることができるメッセージである。「MIDI 1.0 Channel Voice Messages」は、MIDI 1.0における最大3バイトの「Channel Voice Messages」をMIDI 2.0の4バイトの「Universal MIDI Packet」にマップしたメッセージである。
 「Data Messages (including System Exclusive Message)」は、定義未公開である。「MIDI 2.0 Channel Voice Messages」は、MIDI 2.0で新たに設けられたメッセージであって、データ解像度が拡張されている。「Data Messages」は、定義未公開である。
 例えば、これらのメッセージのうち、ノートオンメッセージ(MIDI 2.0 Note On Message)に関しては、図3に示すような形式が提案されている。このノートオンメッセージのパケット長は、64ビット(8バイト)である。
 「mt」の4ビットフィールドは、MIDI 2.0で新設されたもので、メッセージタイプを示し、ここではmt=4である。「group」の4ビットフィールドは、MIDI 2.0で新設されたもので、グループを示す。グループのそれぞれは独立しており、それぞれのグループは16のMIDIチャネルを持つ。従って、1系統のMIDI信号は、最大256チャネルを持つことができる。
 「channel」の4ビットフィールは、MIDIチャネルを示す。物理的に1本のMIDI信号線は、MIDIチャンネルメッセージに含まれる4ビットのチャンネル番号によって、16の論理的なチャンネルに分割される。「r」の1ビットフィールドは、定義未公開である。「note number」の7ビットフィールドは、鍵盤の番号を示す。この番号は0から127の値をとり、88鍵ピアノの中央の「ド」の番号は60である。
 「attribute type」の8ビットフィールドは、MIDI 2.0で新設されたもので、付加的なデータのタイプを示す。このタイプとしては、アーティキュレーションやチューニング詳細などが考えられる。「velocity」の16ビットフィールドは、鍵盤を叩く強さを示し、音に強弱の差をつけるのに利用される。「attribute」の16ビットフィールドは、MIDI 2.0で新設されたもので、「attribute type」で定義されたタイプの付加的なデータの値を示す。
 「SPDIF信号」
 SPDIF送信回路110で生成されるSPDIF信号(IEC 60958規格のデジタルオーディオ伝送信号)について説明する。
 最初に、IEC 60958規格の概要について説明する。図4は、IEC 60958規格におけるフレーム構成を示している。各フレームは2つのサブフレームから構成される。ステレオ2チャネル音声の場合、1つ目のサブフレームに左チャネル信号が含まれ、2つ目のサブフレームに右チャネル信号が含まれる。
 サブフレームの先頭にはプリアンブルが設けられ、左チャネル信号にはプリアンブルとして「M」が、右チャネル信号にはプリアンブルとして「W」が付与される。ただし、192フレーム毎に先頭のプリアンブルにはブロックの開始を表す「B」が付与される。すなわち、1ブロックは192フレームにより構成される。ブロックは、後述するチャネルステータスを構成する単位である。
 図5は、IEC 60958規格におけるサブフレーム構成を示している。サブフレームは、第0乃至第31の計32のタイムスロットから構成される。第0乃至第3タイムスロットは、プリアンブル(Sync preamble)を示す。このプリアンブルは、上述のように左右チャネルの区別やブロックの開始位置を表すために、「M」、「W」または「B」の何れかを示す。
 第4乃至第27タイムスロットはメインデータフィールドであり、24ビットコードレンジが採用される場合には全体がオーディオデータを表す。また、20ビットコードレンジが採用される場合には第8乃至第27タイムスロットがオーディオデータ(Audio sample word)を表す。後者の場合、第4乃至第7タイムスロットは追加情報(Auxiliary sample bits)として利用することができる。図示の例は、後者の場合を示している。
 第28タイムスロットは、メインデータフィールドの有効フラグ(Validity flag)である。第29タイムスロットは、ユーザデータ(User data)の1ビット分を表す。各フレームにまたがってこの第29タイムスロットを累積することによって一連のユーザデータを構成することができる。このユーザデータのメッセージは8ビットの情報ユニット(IU:Information Unit)を単位として構成され、1つのメッセージには3乃至129個の情報ユニットが含まれる。
 情報ユニット間には0乃至8ビットの「0」が存在し得る。情報ユニットの先頭は開始ビット「1」により識別される。メッセージ内の最初の7個の情報ユニットは予約されており、8個目以降の情報ユニットにユーザは任意の情報を設定することができる。メッセージ間は8ビット以上の「0」により分割される。
 第30タイムスロットは、チャネルステータス(Channel status)の1ビット分を表す。各フレームにまたがってブロック毎に第30タイムスロットを累積することによって一連のチャネルステータスを構成することができる。なお、ブロックの先頭位置は、上述のように、「B」のプリアンブル(第0乃至第3タイムスロット)により示される。
 第31タイムスロットは、パリティビット(Parity bit)である。第4乃至第31タイムスロットに含まれる「0」および「1」の数が偶数になるように、このパリティビットが付与される。
 この実施の形態においては、上述したように、SPDIF信号は、リニアPCM信号としてのステレオ2チャネルオーディオ信号とMIDI信号を同時に含むものとされる。図6は、その場合におけるSPDIF信号のフレーム構成の一例を示している。このSPDIF信号は、サブフレーム単位で連続した信号である。192フレームにより1ブロックが構成され、そのブロックが連続した構成となっている。
 偶数フレームのサブフレームは、オーディオ信号を挿入するためのサブフレーム(第1のサブフレーム)とされる。1つ目のサブフレームに左チャネルオーディオ信号が含まれ、2つ目のサブフレームに右チャネルオーディオ信号が含まれる。また、奇数フレームのサブフレームは、MIDI信号を挿入するためのサブフレーム(第2のサブフレーム)として利用される。つまり、このSPDIF信号は、オーディオ信号を含む第1のサブフレームの信号とMIDI信号を含む第2のサブフレームの信号を含むものとなる。
 図7は、MIDI信号を含む第2のサブフレームの構成を示している。この場合、第4乃至第27タイムスロットのメインデータフィールドが、上位8ビットの領域と下位16ビットの領域に分けられる。下位16ビットの領域にはMIDI信号が挿入され、上位8ビットには識別情報が挿入される。
 上述したように、MIDI 2.0のメッセージを入れ込むユニバーサルMIDIパケットのパケット長は、32ビット、64ビット、96ビット、128ビットなどである。そのため、パケットデータは、16ビットずつの複数個に分割され、それぞれの分割データが、複数の第2のサブフレームにおけるメインデータフィールドの下位16ビットの領域(第4ビット乃至第19ビットの領域)にバイトアラインして挿入される。
 第2のサブフレームにおけるメインデータフィールドの上位8ビットの領域(第20ビット乃至第27ビットの領域)に挿入される識別情報は、下位16ビットの領域に挿入されるMIDI信号が、少なくともスタートの分割データであるか継続の分割データであるかを示す。例えば、64ビット長のパケットデータは16ビットずつの4個に分割されるが、先頭の分割データはスタートの分割データであり、その他の3個の分割データは継続の分割データとなる。
 このように識別情報が挿入されることで、受信側においては、上位8ビットの領域の識別情報をチェックすることで、下位16ビットの領域に挿入されるMIDI信号がスタートの分割データであるか継続の分割データであるかを適切に識別でき、正しくパケットを再構成して受け取ることが可能となる。
 ここで、8ビットの識別情報は、上位ビット側の当該8ビットの識別情報と下位ビット側の16ビットのMIDI信号からなる24ビットのデータをオーディオデータとして再生しても音量(音量レベル)が所定以下となるように設定される。これにより、受信側において、オーディオデータとして誤って再生されても、オーディオアンプやスピーカの破損を回避することが可能となる。
 例えば、この8ビットの識別情報は、第20ビットおよび第21ビットの2ビットで、上述のスタートか継続かの分割データ情報を示すものとされる。すなわち、下位16ビットの領域に挿入されるMIDI信号がスタートの分割データであるとき、上位8ビット領域に挿入される識別情報は「10000000」とされて、MIDI信号がスタート(start)の分割データであることが示される。
 また、下位16ビットの領域に挿入されるMIDI信号が継続の分割データであるとき、上位8ビット領域に挿入される識別情報は「01000000」とされて、MIDI信号が継続(continued)の分割データであることが示される。また、下位16ビットの領域にMIDI信号の挿入がないとき、上位8ビット領域に挿入される識別情報は「00000000」とされて、MIDI信号が存在していないアイドリング状態(idling)であることが示される。
 この場合、上位ビット側の8ビットの識別情報と下位ビット側の16ビットのMIDI信号からなる24ビットのデータをオーディオデータとした場合、符号ビットとなるMSBを除き、2SBから6SBまでの5ビットが“0”にあるので、これを誤って再生した場合であっても、-32dB以下の音量となり、オーディオアンプやスピーカが破損することはない。
 なお、上位8ビット領域に挿入される識別情報の値の組み合わせは上述の例に限定されるものではなく、その他の組み合わせも可能である。例えば、「10000001」、「01000001」、「00000001」の組み合わせでも同等の機能、効果を有する。さらに、パケット長が長く「01000001」が連続する際に、データ伝送自体の連続性を示すために、新たに「11000001」を導入し、トグルすることにより連続性を示すことができる。つまり、「10000001」、「01000001」、「11000001」、「01000001」、「11000001」といった識別信号の順番である。
 図8は、上述したMIDI 2.0のノートオンメッセージ(図3参照)を1つ送信する場合の例を示している。この場合、このノートオンメッセージのデータパケット(ユニバーサルMIDIパケット)のパケット長は64ビットであり、このデータパケットは、16ビットずつの4個に分割され、4個の第2のサブフレームに挿入される。
 図8(a)は、フレーム構成を示している。192フレームにより1ブロックが構成され、そのブロックが連続した構成となっている。図8(b)は、各フレームが2つのサブフレームからなっていることを示している。図8(c)は、サブフレーム構成(図7参照)を示している。
 ノートオンメッセージのデータパケットを分割して得られた4個の分割データは、例えば、フレーム1から挿入される場合、当該フレーム1の1つ目および2つ目のサブフレームと、フレーム3の1つ目および2つ目のサブフレームに挿入される。
 図8(d)は、フレーム1の1つ目のサブフレームにおける第4乃至第27タイムスロットのメインデータフィールドの状態を示している。下位16ビットの領域(第4ビット乃至第19ビットの領域)には、スタートの分割データを構成する「mt」、「group」、「1001」、「channel」の各フィールドのデータがMSB側から順に挿入されている。また、上位8ビットの領域(第20ビット乃至第27ビットの領域)には、下位16ビットの領域に挿入されるMIDI信号がスタート(start)の分割データであることを示す識別情報「1000 0000」が挿入されている。
 図8(e)は、フレーム1の2つ目のサブフレームにおける第4乃至第27タイムスロットのメインデータフィールドの状態を示している。下位16ビットの領域(第4ビット乃至第19ビットの領域)には、1番目の継続の分割データを構成する「r」、「note number」、「attribute type」の各フィールドのデータがMSB側から順に挿入されている。また、上位8ビットの領域(第20ビット乃至第27ビットの領域)には、下位16ビットの領域に挿入されるMIDI信号が継続(continued)の分割データであることを示す識別情報「0100 0000」が挿入されている。
 図8(f)は、フレーム3の1つ目のサブフレームにおける第4乃至第27タイムスロットのメインデータフィールドの状態を示している。下位16ビットの領域(第4ビット乃至第19ビットの領域)には、2番目の継続の分割データを構成する「velocity」のフィールドのデータがMSB側から順に挿入されている。また、上位8ビットの領域(第20ビット乃至第27ビットの領域)には、下位16ビットの領域に挿入されるMIDI信号が継続(continued)の分割データであることを示す識別情報「0100 0000」が挿入されている。
 図8(g)は、フレーム3の2つ目のサブフレームにおける第4乃至第27タイムスロットのメインデータフィールドの状態を示している。下位16ビットの領域(第4ビット乃至第19ビットの領域)には、3番目の継続の分割データを構成する「attribute」のフィールドのデータがMSB側から順に挿入されている。また、上位8ビットの領域(第20ビット乃至第27ビットの領域)には、下位16ビットの領域に挿入されるMIDI信号が継続(continued)の分割データであることを示す識別情報「0100 0000」が挿入されている。
 図8(h)は、フレーム5の1つ目のサブフレームにおける第4乃至第27タイムスロットのメインデータフィールドの状態を示している。下位16ビットの領域(第4ビット乃至第19ビットの領域)は、MIDI信号の挿入に使用されていない。また、上位8ビットの領域(第20ビット乃至第27ビットの領域)には、下位16ビットの領域にMIDI信号が存在していないアイドリング状態(idling)であることを示す識別情報「0000 0000」が挿入されている。
 なお、詳細説明は省略するが、その他のMIDI 2.0のメッセージのパケット(ユニバーサルMIDIパケット)も、同様に、MIDI信号を挿入すべきサブフレーム(第2のサブフレーム)に分割されて挿入されることになる。
 図9は、上述したようにリニアPCM信号とMIDI信号を同時伝送する場合におけるチャネルステータスのフォーマットを概略的に示している。チャネルステータスは、上述したように、サブフレームにおける第30タイムスロットをブロック毎に累積したものである。チャネルステータスの全体は第0乃至第23バイトからなる。
 第0ビットのa=“0”は、このチャネルステータスが民生用であることを示している。また、第1ビットのb=“0”は、リニアPCMの伝送における使用であることを示している。また、第3ビットから第5ビットの3ビットは、例えば“001”とされ、マルチチャネルリニアPCMの伝送における使用であることを示している。
 第49ビットから第52ビットの4ビットは、「Multichannel Configuration Type」を示すフィールドとされる。この4ビットは、例えば“1110”とされることで、MIDI 2.0のMIDI信号とリニアPCM信号の同時伝送であることを示す識別情報とされる。また、この4ビットが“1110”であるとき、続く第53ビットから第60ビットの8ビットが有効となる。この8ビットは、「configuration value」を示すフィールドとされる。この8ビットが、例えば“10000000”とされることで、ステレオ2チャネルオーディオ信号とMIDI 2.0のMIDI信号の同時伝送であることが示される。
 「MIDI 1.0のMIDI信号の伝送」
 上述では、リニアPCM信号とMIDI 2.0のMIDI信号を同時に伝送する例を説明した。同様に、リニアPCM信号とMIDI 1.0のMIDI信号を同時に伝送することも考えられる。
 図10(a)は、MIDI 1.0のMIDI信号の挿入方法としての「ビットストリーム法」を説明するための図である。この方法では、MIDI信号を送信すべきサブフレーム(第2のサブフレーム)の第4乃至第27タイムスロットのメインデータフィールドが、上位8ビット(1バイト)の領域と下位16ビット(2バイト)の領域に分けられる。上位8ビットの領域には固定データ、例えば“00000000”が挿入される。
 MIDI 1.0のMIDI信号は、下位16ビットの領域「MIDI 1.0 data payload」にビット順番に挿入されていく。この場合、MIDI信号を構成するパケットデータは、あるサブフレーム(第2のサブフレーム)の下位16ビットの領域の任意のビット位置から挿入され、全て挿入できない場合には、次のサブフレーム(第2のサブフレーム)の下位16ビットの領域の最初のビット位置(第4ビット)から残りが挿入される。受信側では、そのビットストリームが、サブフレームを越えてつなげられて、MIDI 1.0のMIDI信号が検出される。
 MIDI 1.0のMIDI信号は、論理的には8ビットであるが、1スタートビット(論理0)と1ストップビット(論理1)を付加して、合計10ビットで伝送されている。上述したようにサブフレーム(第2のサブフレーム)の下位16ビットの領域「MIDI 1.0 data payload」の任意のビット位置からこの10ビット分のデータが挿入されてゆく。この任意のビット位置より前の領域の各ビット位置には、データが存在しないアイドリング状態であることを示すために、論理1のデータが挿入される。
 この「ビットストリーム法」においては、MIDI信号の発生タイミングに合わせて、MIDI信号を送信すべきサブフレーム(第2のサブフレーム)の下位16ビットの領域「MIDI 1.0 data payload」に、パケットデータを挿入していくことが可能となる。ただし、この場合、受信側の処理はビット毎となり処理が煩雑となる可能性がある。
 図10(b)は、MIDI 1.0のMIDI信号の挿入方法としての「バイトアライメント法」を説明するための図である。この方法では、MIDI信号を送信すべきサブフレーム(第2のサブフレーム)の第4乃至第27タイムスロットのメインデータフィールドが、上位8ビット(1バイト)の領域と、中位8ビット(1バイト)の領域と、下位8ビット(1バイト)の領域に分けられる。上位8ビットの領域および下位8ビットの領域には、固定データ、例えば“00000000”が挿入される。
 MIDI 1.0のMIDI信号は、中位8ビットの領域に固定的に挿入される。この場合、1スタートビット(論理0)と1ストップビット(論理1)の付加はない。なお、MIDI 1.0のMIDI信号の挿入を、中位8ビットの領域ではなく、下位8ビットの領域とすることも考えられる。
 MIDI 1.0のMIDI信号の場合、有効なデータはバイトごとの処理であるので、上述したようにMIDI信号のバイト位置が固定されているほうが受信側の処理が単純化しやすくなる。この場合、MIDI 1.0のMIDI信号の挿入がないアイドリング状態をV(Validity flag)ビットで示すことができる。また、MIDI 1.0のMIDI信号を挿入する代わりに、EOX(エンドオブエクスクルーシブ)メッセージ、あるいは特別なメッセージを新設して挿入することで、MIDI 1.0のMIDI信号の挿入がないアイドリング状態であることを示すことも可能である。
 図11(a)は、MIDI 1.0のMIDI信号の挿入方法としての「データ拡張法」を説明するための図である。この方法では、MIDI信号を送信すべきサブフレーム(第2のサブフレーム)の第4乃至第27タイムスロットのメインデータフィールドが、上位8ビット(1バイト)の領域と、中位8ビット(1バイト)の領域と、下位8ビット(1バイト)の領域に分けられる。上位8ビットの領域には、固定データ、例えば“00000000”が挿入される。
 MIDI 1.0のMIDI信号は、中位8ビットの領域に固定的に挿入される。また、下位8ビットの領域は、拡張用バイト(Extended Byte)として使用される。この拡張用バイトを使用することで、独自の拡張、例えばベロシティの高解像度化、チャネル数の増加などが可能となる。例えば、チャネル数の増加に関しては、この拡張用バイトを用いてサブチャネルを示すことができる。つまり、MIDI 1.0の場合MIDI信号に含まれるチャネルで識別可能なチャネル数が16であるが、拡張用バイトを用いてそれぞれのチャネルのサブチャネルを識別させることで、より細かなチャネル数の指定が可能となる。この場合、「第nチャネルの第mサブチャネル」のようなチャネル指定となる。
 この「データ拡張法」の場合にあっても、上述した「バイトアライメント法」と同様にして、MIDI 1.0のMIDI信号の挿入がないアイドリング状態であることを示すことができる。なお、MIDI 1.0のMIDI信号を挿入する8ビット領域と、拡張用バイトの8ビット領域を逆とすることも考えられる。
 なお、MIDI 1.0のMIDI信号のバイトは、そのMSBがステータスバイト(Status Byte)とデータバイト(Data Byte)の識別に使用されており、実質7ビットの分解能である。そのため、図11(a)においては、MIDI信号の7ビットと拡張分の8ビットでトータル15ビットのデータ長として示している。
 しかし、MIDI 1.0との互換性を考慮して、拡張分の有効データ長も7ビットとすることも考えられる。この場合は、MIDI信号の7ビットと拡張分の7ビットでトータル14ビットのデータ長となる。図11(b)、(c)は、その場合を示している。図11(b)は、MIDI信号のバイトがステータスバイトである場合を示しており、図11(c)は、MIDI信号のバイトがデータバイトである場合を示している。このように拡張分の有効データ長も7ビットとすることで、例えば、ソフトウェアでの処理がしやすくなることが期待される。
 なお、MIDI 1.0のMIDI信号の挿入方法として上述した「ビットストリーム法」、「バイトアライメント法」、「データ拡張法」を複数運用する場合、例えば、上述したチャネルステータス(図9参照)の第53ビットから第60ビットの領域の「configuration value」で識別可能である。
 また、上述した各方法によってMIDI 1.0のMIDI信号をサブフレーム(第2のサブフレーム)に挿入する場合、メインデータフィールドの24ビット領域のうち上位8ビットが「00000000」である。そのため、この24ビットのデータをオーディオデータとして誤って再生されても、音量は低く、オーディオアンプやスピーカの破損を回避することが可能となる。
 「複数チャネルのMIDI信号」
 なお、リニアPCM信号と同時伝送するMIDI信号のチャネルは1チャネルに限定されるものではなく、複数チャネルとすることも可能である。このようにMIDI信号のチャネルを複数とすることは、仮想的なMIDIケーブルが複数本あることに相当する。例えば、MIDI 1.0の1チャネルにおけるチャネル数は16であるが、複数チャネルとすることでチャネル数を増やすことができる。
 図12は、その場合におけるSPDIF信号のフレーム構成の一例を示している。この例は、リニアPCM信号と同時伝送するMIDI信号のチャネルがA,Bの2チャネルである場合の例を示している。
 この場合、偶数フレームにおいて、1つ目のサブフレーム(第1のサブフレーム)に左チャネルオーディオ信号が含まれ、2つ目のサブフレーム(第1のサブフレーム)に右チャネルオーディオ信号が含まれる。また、奇数フレームにおいて、1つ目のサブフレーム(第2のサブフレーム)にチャネルAのMIDI信号が含まれ、2つ目のサブフレーム(第2のサブフレーム)にチャネルBのMIDI信号が含まれる。
 なお、MIDI信号のチャネルを複数とする場合も、例えば、上述したチャネルステータス(図9参照)の第53ビットから第60ビットの領域の「configuration value」で識別可能である。
 上述したように、図1に示す送受信システム10においては、送信装置101から受信装置102に送信されるサブフレーム単位で連続した信号(SPDIF信号)に、オーディオ信号(リニアPCM信号)を含むサブフレーム(第1のサブフレーム)の信号とMIDI信号を含むサブフレーム(第2のサブフレーム)の信号を含むものである。そのため、オーディオ信号とMIDI信号の同時伝送を遅延なく安定して行うことができる。
 なお、リニアPCM信号とMIDI信号は非同期であるため、MIDI信号をリニアPCM信号のサンプルタイミングで伝送路に載せていく際に、ジッターが生じる。このジッターは、許容範囲であれば無視することもできるが、例えばタイムスタンプを使用したジッター抑圧システムで抑圧することも考えられる。
 例えば、オリジナルのMIDI 1・0の伝送速度が31.25kビット/秒であり、リニアPCM信号のサンプリング周波数が48kHzの場合、31.25kbpsのタイミングでSPDIF送信回路110のバッファに溜まったMIDI信号を48kHzのタイミングで伝送路に送出することになり、ジッターが生じる。例えば、MIDI信号の生成を48kHzで行う場合は、ジッターは生じない。
 また、上述では、MIDI信号と同時伝送するオーディオ信号がリニアPCM信号である例を示した。MIDI信号と同時伝送するオーディオ信号としては、リニアPCM信号ではなく、圧縮オーディオ信号である場合も考えられる。その場合には、上述したリニアPCM信号を取り扱うIEC 60958Iのインタフェース・フォーマットではなく、圧縮オーディオ信号を取り扱うIEC 61937-1インタフェース・フォーマットが利用される。
 図13は、IEC 61937-1インタフェース・フォーマットを示している。図13(a)は、フレーム構成を示している。192フレームにより1ブロックが構成され、そのブロックが連続した構成となっている。図13(b)は、各フレームが2つのサブフレームからなっていることを示している。
 サブフレームの先頭にはプリアンブルが設けられ、ブロックの先頭のサブフレームのプリアンブルには、ブロックの開始を表す「B」が付与される。そして、それに続く各サブフレームの先頭のプリアンブルには、「W」と「M」が交互に付与される。
 図13(c)は、サブフレーム構成を示している。所定チャネル数の圧縮オーディオ信号を含むSPDIF信号の場合、各サブフレームの第12乃至第27タイムスロットに、圧縮オーディオ信号のビットストリームが分割されて順次挿入される。つまり、各サブフレームの第4乃至第27タイムスロットの24ビットのオーディオデータ領域のうち、上位の16ビットが圧縮オーディオ信号の伝送に使用されている。
 「MIDI信号のみの伝送」
 また、上述では、オーディオ信号とMIDI信号と同時伝送する例を示したが、MIDI信号のみを伝送することも考えられる。この場合、例えば、上述した圧縮オーディオ信号を取り扱うIEC 61937-1インタフェース・フォーマットを利用できる。
 この場合、MIDI信号を挿入すべきサブフレームに、MIDI信号が挿入されて伝送される。MIDI 2.0のMIDI信号を伝送する場合におけるサブフレームの構成は、例えば上述の図7に示すような構成をとることができる。また、MIDI 1.0のMIDI信号を伝送する場合には、例えば、上述した「ビットストリーム法」、「バイトアライメント法」、「データ拡張法」のうちのいずれかの方法でMIDI信号の挿入を行うことができる(図10、図11参照)。
 また、このようにMIDI信号のみを伝送する場合も、MIDI信号のチャネルは1チャネルに限定されるものではなく、複数チャネルとすることも可能である。
 図14は、MIDI信号のみを伝送する場合におけるSPDIF信号のフレーム構成の一例を示している。この例は、64ビットのMIDI 2.0のデータパケット、例えばノートオンメッセージ(図3参照)を1つ送信する場合を示している。この場合、パケットデータは、16ビットずつの4個に分割され、4個の連続したサブフレームに挿入されて伝送される。図示の例においては、フレーム1,2の4個のサブフレームにそれぞれの分割データが挿入されている。
 図15は、上述したようにMIDI信号のみを伝送する場合におけるチャネルステータスのフォーマットを概略的に示している。チャネルステータスは、上述したように、サブフレームにおける第30タイムスロットをブロック毎に累積したものである。チャネルステータスの全体は第0乃至第23バイトからなる。
 第0ビットのa=“0”は、このチャネルステータスが民生用であることを示している。また、第1ビットのb=“1”は、圧縮デジタルオーディオ信号の伝送における使用であることを示している。
 第49ビットから第52ビットの4ビットは、「Multichannel Configuration Type」を示すフィールドとされる。この4ビットは、例えば“1110”とされることで、MIDI信号の伝送であることを示す識別情報とされる。また、この4ビットが“1110”であるとき、続く第53ビットから第60ビットの8ビットが有効となる。この8ビットは、「configuration value」を示すフィールドとされる。
 ここで、“0000000”は、MIDI 2.0のMIDI信号の伝送であることを示す。また、“01000000”は、「ビットストリーム法」(図10(a)参照)よるMIDI 1.0のMIDI信号の伝送であることを示す。また、“11000000”は、「バイトアライメント法」に(図10(b)参照)よるMIDI 1.0のMIDI信号の伝送であることを示す。また、“00100000”は、「データ拡張法」(図11(a)参照)によるMIDI 1.0のMIDI信号の伝送であることを示す。また、“10100000”は、A,Bの2チャネルのMIDI信号の伝送であることを示す。
 なお、上述では、MIDI信号のみを伝送する場合に、圧縮オーディオ信号を取り扱うIEC 61937-1インタフェース・フォーマットを利用できることを述べた。詳細説明は省略するが、上述したリニアPCM信号を取り扱うIEC 60958Iのインタフェース・フォーマットを利用することも考えられる。
 「MIDI-CI(Capability Inquiry)について」
 MIDI-CIとは、機器同士で予めネゴシエーションを行い、機器同士が対応可能な範囲で転送レート変更(Protocol)や、新たなメッセージ体系での送受信(Profile)、あるいは接続機器同士の音色ライブラリ情報交換(Property)などができる仕組みの双方向通信である。
 SPDIF、あるいはそのプロトコルをマップした伝送路を双方向に接続することにより、MIDI-CIは可能となる。あるいは、本インタフェースに並走して双方向通信路、たとえばイーサネット、HDMI CEC等がある場合はそれらを使用しても、MIDI-CIの機能は実現可能である。
 MIDI 1.0とMIDI 2.0のプロトコルの切り替え、MIDI 1.0を使用した拡張プロトコルのサポート確認・切り替えも、MIDI-CIの仕様を拡張することにより可能となる。勿論、使用ユーザによるマニュアルセッティングも許される。
 <2.第2の実施の形態>
 [音響システムの構成例]
 図16は、第2の実施の形態としての音響システム20の構成例を示している。この音響システム20は、マイク入力付きMIDIキーボード201と、MIDI音源モジュール202を有している。マイク入力付きMIDIキーボード201とMIDI音源モジュール202は、同軸ケーブルや光ケーブル等で構成される伝送路203を介して接続されている。この伝送路203は、IEC60958伝送路を構成している。
 マイク入力付きMIDIキーボード201は、A/D変換器210と、鍵盤部211と、SPDIF送信回路212を有している。A/D変換器210は、マイクロホン204で集音されて得られたアナログオーディオ信号をリニアPCM信号に変換して、SPDIF送信回路212に送る。鍵盤部211は、図示しないMIDI検出器を備えており、演奏に伴ってMIDI信号(MIDI 2.0あるいはMIDI 1.0のMIDI信号)を発生してSPDIF送信回路212に送る。
 SPDIF送信回路212は、上述の送受信システム10の送信装置101におけるSPDIF送信回路110と同様に、SPDIF信号(IEC 60958規格のデジタルオーディオ伝送信号)を送信するための回路であって、IEC 60958規格に準拠した送信回路である。
 このSPDIF送信回路212は、SPDIF送信回路110と同様に、A/D変換器210からのリニアPCM信号と鍵盤部211からのMIDI信号を同時に含むSPDIF信号を生成し、伝送路203を通じて、MIDI音源モジュール202に送信する。
 MIDI音源モジュール202は、SPDIF受信回路220と、MIDI音源部221と、オーディオミキサ222と、表示部223を有している。SPDIF受信回路220は、上述の送受信システム10の受信装置102におけるSPDIF受信回路120と同様に、SPDIF信号を受信するための回路であって、IEC 60958規格に準拠した受信回路である。
 SPDIF受信回路220は、マイク入力付きMIDIキーボード201から伝送路203を通じて送られてくるSPDIF信号を受信し、それに含まれるリニアPCM信号およびMIDI信号を取り出して出力する。また、このSPDIF受信回路220は、MIDI信号があるか否かを示す状態情報を出力する。この状態情報は表示部223に送られ、この表示部223にMIDI信号があるか否かの表示が行われる。
 MIDI音源部221は、SPDIF受信回路220から出力されるMIDI信号を入力し、このMIDI信号をMIDI音源により音楽データに変換し、その音楽データに対応したリニアPCM信号を出力する。オーディオミキサ222は、SPDIF受信回路220から出力されるリニアPCM信号とMIDI音源部221から出力されるリニアPCM信号を合成し、合成されたリニアPCM信号を出力する。
 このように合成されたリニアPCM信号は、アンプ205を通じてスピーカシステム206に送られる。これにより、スピーカシステム206からは、当該リニアPCM信号に基づく音響出力が得られる。
 この音響システム20において、鍵盤部211がピアノの鍵盤部であって、マイクロホン204がピアノの演奏音を集音する場合には、MIDI音源モジュール202では、MIDI音源部221からピアノ演奏に伴ったストリングスの音のリニアPCM信号が出力され、ストリングスの音とピアノの音を合成した音を再生することができる。また、この音響システム20において、マイクロホン204が鍵盤部211による伴奏に同期した歌声を集音する場合には、MIDI音源モジュール202では、伴奏音と歌声を合成した音を再生することができる。
 上述したように、図16に示す音響システム20においては、マイク入力付きMIDIキーボード201からMIDI音源モジュール202に送信されるSPDIF信号(サブフレーム単位で連続した信号)にリニアPCM信号とMIDI信号を含むものである。これにより、リニアPCM信号(オーディオ信号)とMIDI信号の同時送信を遅延なく安定して行うことができ、合成音の生成および再生を良好に行うことが可能となる。
 <3.第3の実施の形態>
 [テレビシステムの構成例]
 図17は、第3の実施の形態としてのAVシステム30の構成例を示している。このAVシステム30は、テレビ受信機301とオーディオアンプ302を有している。
 テレビ受信機301には、テレビ放送の受信アンテナ309と、MIDIファイル記憶部307と、インターネット304と、MIDIキーボード305と、マイクロホン306が接続されている。また、オーディオアンプ302には、スピーカシステム308が接続されている。
 テレビ受信機301およびオーディオアンプ302はHDMIケーブル303を介して接続されている。なお、「HDMI」は登録商標である。テレビ受信機301には、HDMI受信部(HDMI RX)312と、通信部を構成する高速バスインタフェース313とが接続されたHDMI端子311が設けられている。オーディオアンプ302には、HDMI送信部(HDMI TX)352と、通信部を構成する高速バスインタフェース353とが接続されたHDMI端子351が設けられている。HDMIケーブル303の一端はテレビ受信機301のHDMI端子311に接続され、その他端はオーディオアンプ302のHDMI端子351に接続されている。
 「テレビ受信機の構成」
 テレビ受信機301は、HDMI受信部312と、高速バスインタフェース313と、SPDIF送信回路314を有している。また、テレビ受信機301は、システムコントローラ315と、ユーザインタフェース316と、デジタル放送受信回路317と、コンテンツ再生回路318と、音声合成回路319と、A/D変換器320と、イーサネットインタフェース321と、ディスプレイ322を有している。なお、「イーサネット」および「Ethernet」は登録商標である。また、図示の例では、説明の簡単化のために、画像系の各部については適宜省略されている。
 システムコントローラ315は、テレビ受信機301の各部の動作を制御する。ユーザインタフェース316は、システムコントローラ315に接続されている。このユーザインタフェース316は、ユーザが種々の操作を行うための操作部を構成し、例えば、リモコン、タッチパネル、マウス、キーボード、カメラで指示入力を検出するジェスチャ入力部、音声により指示入力を行う音声入力部などからなっている。
 デジタル放送受信回路317は、受信アンテナ309から入力されたテレビ放送信号を処理して、放送コンテンツのビデオ信号およびリニアPCM信号、さらにはMIDIファイルを得る。イーサネットインタフェース321は、インターネット304を介して外部サーバと通信をする。イーサネットインタフェース321は、外部サーバからネットコンテンツを取得し、このネットコンテンツのビデオ信号およびリニアPCM信号、さらにはMIDIファイルを得る。
 MIDIファイル記憶部307は、例えばUSBメモリ等のリムーバブルメモリで構成されており、MIDIファイルが記憶されている。このMIDIファイル記憶部307には、例えばイーサネットインタフェース321、あるいはデジタル放送受信回路317で予め得られたMIDIファイルを記憶しておくこともできる。
 コンテンツ再生回路318は、デジタル放送受信回路317やイーサネットインタフェース321で得られたMIDIファイル、あるいはMIDIファイル記憶部307から読み出されたMIDIファイルに基づいて、MIDI信号を出力する。また、コンテンツ再生回路318は、当該MIDIファイルから歌詞や楽譜の情報を取り出し、ディスプレイ322に送る。これにより、ディスプレイ322には、歌詞や楽譜の表示が行われる。
 A/D変換器320は、マイクロホン306で集音されて得られたアナログオーディオ信号をリニアPCM信号に変換する。音声合成回路319は、デジタル放送受信回路317で得られるリニアPCM信号、イーサネットインタフェース321で得られるリニアPCM信号、さらにはA/D変換器320で得られるリニアPCM信号を入力し、それらを選択的に合成して、出力する。この音声合成回路319における選択合成に関しては、ユーザの操作に応じてシステムコントローラ315によって制御される。
 HDMI受信部312は、HDMIに準拠した通信により、HDMIケーブル303を通じてHDMI端子311に供給される画像や音声のデータを受信する。高速バスインタフェース313は、HDMIケーブル303を構成するリザーブラインおよびHPD(Hot Plug Detect)ラインを用いて構成される双方向通信路のインタフェースである。なお、HDMI受信部312と高速バスインタフェース313の詳細は後述する。
 SPDIF送信回路314は、上述の送受信システム10の送信装置101におけるSPDIF送信回路110と同様に、SPDIF信号(IEC 60958規格のデジタルオーディオ伝送信号)を送信するための回路であって、IEC 60958規格に準拠した送信回路である。
 このSPDIF送信回路314は、SPDIF送信回路110と同様に、リニアPCM信号とMIDI信号を同時に含むSPDIF信号を生成し、このSPDIF信号を、高速バスインタフェース313を通じてオーディオアンプ302に送信する。ここで、このSPDIF信号に含まれるリニアPCM信号は、音声合成回路319から出力されるリニアPCM信号である。また、このSPDIF信号に含まれるMIDI信号は、コンテンツ再生回路318から出力されるMIDI信号とMIDIキーボード305から出力されるMIDI信号を合成して得られたMIDI信号である。
 「オーディオアンプの構成」
 オーディオアンプ302は、HDMI送信部352と、高速バスインタフェース353と、SPDIF受信回路354を有している。また、オーディオアンプ302は、システムコントローラ355と、MIDI音源部356と、オーディオミキサ357と、アンプ358と、表示部359と、イーサネットインタフェース360を有している。
 システムコントローラ355は、オーディオアンプ302の各部の動作を制御する。HDMI送信部352は、HDMIに準拠した通信により、画像や音声のデータをHDMI端子351からHDMIケーブル303に送出する。高速バスインタフェース353は、HDMIケーブル303を構成するリザーブラインおよびHPD(Hot Plug Detect)ラインを用いて構成される双方向通信路のインタフェースである。イーサネットインタフェース360は、インターネットを介して外部サーバと通信をする。なお、HDMI送信部352と高速バスインタフェース353の詳細は後述する。
 SPDIF受信回路354は、上述の送受信システム10の受信装置102におけるSPDIF受信回路120と同様に、SPDIF信号を受信するための回路であって、IEC 60958規格に準拠した受信回路である。
 このSPDIF受信回路354は、高速バスインタフェース353を通じてテレビ受信機301からSPDIF信号を受信し、それに含まれるリニアPCM信号およびMIDI信号を取り出して出力する。また、このSPDIF受信回路354は、MIDI信号があるか否かを示す状態情報を出力する。この状態情報は表示部359に送られ、この表示部359にMIDI信号があるか否かの表示が行われる。
 MIDI音源部356は、SPDIF受信回路354から出力されるMIDI信号を入力し、このMIDI信号をMIDI音源により音楽データに変換し、その音楽データに対応したリニアPCM信号を出力する。オーディオミキサ357は、SPDIF受信回路354から出力されるリニアPCM信号とMIDI音源部356から出力されるリニアPCM信号を合成し、合成されたリニアPCM信号を出力する。
 アンプ358は、オーディオミキサ357で得られたリニアアPCM信号を増幅して、スピーカシステム308に供給する。これにより、スピーカシステム308からは、当該リニアPCM信号に基づく音響出力が得られる。
 「HDMI送信部/受信部の構成例」
 図18は、図17のAVシステム30における、テレビ受信機301のHDMI受信部312とオーディオアンプ302のHDMI送信部352の構成例を示している。
 HDMI送信部352は、ある垂直同期信号から次の垂直同期信号までの区間(以下、適宜、「ビデオフィールド」という)から、水平ブランキング期間および垂直ブランキング期間を除いた区間である有効画像区間(以下、適宜、「アクティブビデオ区間」という)において、ベースバンド(非圧縮)の一画面分の画像データの差動信号を、複数のチャネルで、HDMI受信部312に一方向に送信する。また、HDMI送信部352は、水平ブランキング期間および垂直ブランキング期間において、画像データに付随する音声データおよび制御パケット(Control Packet)、さらにその他の補助データ等に対応する差動信号を、複数のチャネルで、HDMI受信部312に一方向に送信する。
 HDMI送信部352は、ソース信号処理部71およびHDMIトランスミッタ72を有する。ソース信号処理部71には、ベースバンドの非圧縮の画像(Video)および音声(Audio)のデータが供給される。ソース信号処理部71は、供給される画像および音声のデータに必要な処理を施し、HDMIトランスミッタ72に供給する。また、ソース信号処理部71は、HDMIトランスミッタ72との間で、必要に応じて、制御用の情報やステータスを知らせる情報(Control/Status)等をやりとりする。
 HDMIトランスミッタ72は、ソース信号処理部71から供給される画像データを、対応する差動信号に変換し、複数のチャネルである3つのTMDSチャネル#0,#1,#2で、HDMIケーブル303を介して接続されているHDMI受信部312に、一方向に送信する。
 さらに、トランスミッタ72、ソース信号処理部71から供給される、非圧縮の画像データに付随する音声データや制御パケットその他の補助データ(auxiliary data)と、垂直同期信号(VSYNC)、水平同期信号(HSYNC)等の制御データ(control data)とを、対応する差動信号に変換し、3つのTMDSチャネル#0,#1,#2で、HDMIケーブル303を介して接続されているHDMI受信部312に、一方向に送信する。
 また、トランスミッタ72は、3つのTMDSチャネル#0,#1,#2で送信する画像データに同期したピクセルクロックを、TMDSクロックチャネルで、HDMIケーブル303を介して接続されているHDMI受信部312に送信する。
 HDMI受信部312は、アクティブビデオ区間において、複数チャネルで、HDMI送信部352から一方向に送信されてくる、画像データに対応する差動信号を受信すると共に、水平ブランキング期間および垂直ブランキング期間において、複数のチャネルで、HDMI送信部352から送信されてくる、補助データや制御データに対応する差動信号を受信する。
 HDMI受信部312は、HDMIレシーバ81およびシンク信号処理部82を有する。HDMIレシーバ81は、TMDSチャネル#0,#1,#2で、HDMIケーブル303を介して接続されているHDMI送信部352から一方向に送信されてくる、画像データに対応する差動信号と、補助データや制御データに対応する差動信号を、同じくHDMI送信部352からTMDSクロックチャネルで送信されてくるピクセルクロックに同期して受信する。さらに、HDMIレシーバ81は、差動信号を、対応する画像データ、補助データ、制御データに変換し、必要に応じて、シンク信号処理部82に供給する。
 シンク信号処理部82は、HDMIレシーバ81から供給されるデータに必要な処理を施して出力する。その他、シンク信号処理部82は、HDMIレシーバ81との間で、必要に応じて、制御用の情報やステータスを知らせる情報(Control/Status)等をやりとりする。
 HDMIの伝送チャネルには、HDMI送信部352からHDMI受信部312に対して、画像データ、補助データ、および制御データを、ピクセルクロックに同期して、一方向にシリアル伝送するための3つのTMDSチャネル#0,#1,#2と、ピクセルクロックを伝送する伝送チャネルとしてのTMDSクロックチャネルとの他に、DDC(Display Data Channel)83、さらには、CECライン84と呼ばれる伝送チャネルがある。
 DDC83は、HDMIケーブル303に含まれる図示しない2本のライン(信号線)からなり、ソース機器が、HDMIケーブル303を介して接続されたシンク機器から、E-EDID(Enhanced-Extended Display Identification)を読み出すために使用される。すなわち、シンク機器は、EDIDROM85を有している。ソース機器は、HDMIケーブル303を介して接続されているシンク機器から、EDIDROM85が記憶しているE-EDIDを、DDC83を介して読み出し、当該E-EDIDに基づき、シンク機器の設定、性能を認識する。
 CECライン84は、HDMIケーブル303に含まれる図示しない1本のラインからなり、ソース機器とシンク機器との間で、制御用のデータの双方向通信を行うために用いられる。
 また、HDMIケーブル303には、HPD(Hot Plug Detect)と呼ばれるピンに接続されるライン86が含まれている。ソース機器は、当該ライン86を利用して、シンク機器の接続を検出することができる。また、HDMIケーブル303には、ソース機器からシンク機器に電源を供給するために用いられるライン87が含まれている。さらに、HDMIケーブル303には、リザーブライン88が含まれている。
 「高速バスインタフェースの構成例」
 図19は、図17のAVシステム30におけるテレビ受信機301の高速バスインタフェース313の構成例を示している。イーサネットインタフェース321は、HDMIケーブル303を構成する複数のラインのうち、リザーブラインおよびHPDラインの一対のラインにより構成された伝送路を用いてLAN(Local Area Network)通信、つまりイーサネット信号の送受信を行う。SPDIF送信回路314は、上述の一対のラインにより構成された伝送路を用いて、SPDIF信号を送信する。
 テレビ受信機301は、LAN信号送信回路441、終端抵抗442、AC結合容量443,444、LAN信号受信回路445、減算回路446、加算回路449,450および増幅器451を有している。これらは、高速バスインタフェース313を構成している。また、テレビ受信機301は、プラグ接続伝達回路460を構成する、チョークコイル461、抵抗462および抵抗463を有している。
 HDMI端子311の14ピン端子521と19ピン端子522との間には、AC結合容量443、終端抵抗442およびAC結合容量444の直列回路が接続される。また、電源線(+5.0V)と接地線との間には、抵抗462および抵抗463の直列回路が接続される。そして、この抵抗462と抵抗463の互いの接続点は、チョークコイル461を介して、19ピン端子522とAC結合容量444との接続点Q4に接続される。
 AC結合容量443と終端抵抗442の互いの接続点P3は、加算回路449の出力側に接続されると共に、LAN信号受信回路445の正入力側に接続される。また、AC結合容量444と終端抵抗442の互いの接続点P4は、加算回路450の出力側に接続されると共に、LAN信号受信回路445の負入力側に接続される。
 加算回路449の一方の入力側はLAN信号送信回路441の正出力側に接続され、この加算回路449の他方の入力側にはSPDIF送信回路314から出力されるSPDIF信号が増幅器451を介して供給される。また、加算回路450の一方の入力側はLAN信号送信回路441の負出力側に接続され、この加算回路450の他方の入力側にはSPDIF送信回路314から出力されるSPDIF信号が増幅器451を介して供給される。
 LAN信号送信回路441の入力側には、イーサネットインタフェース321から送信信号(送信データ)SG417が供給される。また、減算回路446の正側端子には、LAN信号受信回路445の出力信号SG418が供給され、この減算回路446の負側端子には、送信信号SG417が供給される。この減算回路446では、LAN信号受信回路445の出力信号SG418から送信信号SG417が減算され、受信信号(受信データ)SG419が得られる。この受信信号SG419は、リザーブラインおよびHPDラインを介してLAN信号(イーサネット信号)が差動信号として送信されてくる場合には、当該LAN信号となる。この受信信号SG419は、イーサネットインタフェース321に供給される。
 図20は、図17のAVシステム30におけるオーディオアンプ302の高速バスインタフェース353の構成例を示している。イーサネットインタフェース360は、HDMIケーブル303を構成する複数のラインのうち、リザーブラインおよびHPDラインの一対のラインにより構成された伝送路を用いてLAN(Local Area Network)通信、つまりイーサネット信号の送受信を行う。SPDIF受信回路354は、上述の一対のラインにより構成された伝送路を用いて、SPDIF信号を受信する。
 オーディオアンプ302は、LAN信号送信回路411、終端抵抗412、AC結合容量413,414、LAN信号受信回路415、減算回路416、加算回路419および増幅器420を有している。これらは、高速バスインタフェース353を構成している。また、オーディオアンプ302は、プラグ接続検出回路430を構成する、プルダウン抵抗431、抵抗432、容量433および比較器434を有している。ここで、抵抗432および容量433は、ローパスフィルタを構成している。
 HDMI端子351の14ピン端子511と19ピン端子512との間には、AC結合容量413、終端抵抗412およびAC結合容量414の直列回路が接続される。AC結合容量413と終端抵抗412の互いの接続点P1は、LAN信号送信回路411の正出力側に接続されると共に、LAN信号受信回路415の正入力側に接続される。
 AC結合容量414と終端抵抗412の互いの接続点P2は、LAN信号送信回路411の負出力側に接続されると共に、LAN信号受信回路415の負入力側に接続される。LAN信号送信回路411の入力側には、イーサネットインタフェース360から送信信号(送信データ)SG411が供給される。
 減算回路416の正側端子には、LAN信号受信回路415の出力信号SG412が供給され、この減算回路416の負側端子には、送信信号(送信データ)SG411が供給される。この減算回路416では、LAN信号受信回路415の出力信号SG412から送信信号SG411が減算され、受信信号SG413が得られる。この受信信号SG413は、リザーブラインおよびHPDラインを介して、LAN信号(イーサネット信号)が差動信号として送信されてくる場合には、当該LAN信号となる。この受信信号SG413は、イーサネットインタフェース360に供給される。
 AC結合容量414と19ピン端子512との接続点Q2は、プルダウン抵抗431を介して接地線に接続されると共に、抵抗432および容量433の直列回路を介して接地線に接続される。そして、抵抗432および容量433の互いの接続点に得られるローパスフィルタの出力信号は比較器434の一方の入力端子に供給される。この比較器434では、ローパスフィルタの出力信号が他方の入力端子に供給される基準電圧Vref2(+1.4V)と比較される。この比較器434の出力信号SG415は、オーディオアンプ302の図示しない制御部(CPU)に供給される。
 また、AC結合容量413と終端抵抗412の互いの接続点P1は、加算回路419の一方の入力端子に接続される。また、AC結合容量414と終端抵抗412の互いの接続点P2は、加算回路419の他方の入力端子に接続される。この加算回路419の出力信号は、増幅器420を介してSPDIF受信回路354に供給される。この加算回路419の出力信号は、リザーブラインおよびHPDラインを介して、SPDIF信号が同相信号として送信されてくる場合には、当該SPDIF信号となる。
 図17に示すAVシステム30において。例えば、テレビ受信機301側で、コンテンツ再生回路318からカラオケのバック演奏に対応したMIDI信号が出力される場合を考える。この場合、コンテンツ再生回路318から供給される情報に基づいてディスプレイ322に歌詞や楽譜が表示される。この状態で、ユーザは、マイクロホン306に向かって歌唱すると共に、間奏部ではMIDIキーボード305を用いてアドリブ演奏を行うものとする。
 この場合、SPDIF送信回路314では、ユーザの歌唱によるリニアPCM信号と、MIDI信号(バック演奏に対応したMIDI信号およびMIDIキーボード305によりアドリブ演奏に対応したMIDI信号を合成したMIDI信号)を含むSPDIF信号が生成され、このSPDIF信号は、高速バスインタフェース313を通じてオーディオアンプ302に送信される。
 この場合、オーディオアンプ302側で、SPDIF受信回路354では、高速バスインタフェース353を通じてテレビ受信機301からSPDIF信号が受信され、それに含まれるリニアPCM信号およびMIDI信号が分離して取り出される。そして、MIDI音源部356では、MIDI信号に基づいて、バック演奏とアドリブ演奏の演奏音に対応したリニアPCM信号が得られる。
 オーディオミキサ357では、このバック演奏とアドリブ演奏の演奏音に対応したリニアPCM信号と、SPDIF受信回路354で取り出されたユーザの歌唱音に対応したリニアPCM信号とが合成される。そして、その合成されたリニアPCM信号は、アンプ358で増幅されて、スピーカシステム308に供給される。これにより、スピーカシステム308からは、バック演奏とアドリブ演奏の演奏音とユーザ歌唱音が合成された再生音が得られる。
 上述したように、図17に示すAVシステム30においては、テレビ受信機301からオーディオアンプ302に送信されるSPDIF信号(サブフレーム単位で連続した信号)にリニアPCM信号(オーディオ信号)とMIDI信号を含むものである。これにより、テレビ受信機301からオーディオアンプ302へのこれらリニアPCM信号およびMIDI信号の同時伝送を遅延なく安定して行うことができ、オーディオアンプ302では合成音の生成および再生を良好に行うことが可能となる。
 <4.第4の実施の形態>
 [ゲームシステムの構成例]
 図21は、第4の実施の形態としてのゲームシステム60の構成例を示している。このゲームシステム60は、ゲームコンテンツをデコードすると共に、ゲームユーザの動きを感知しながらゲームを進行していくシステムである。
 MIDI信号は、楽器音源のコントロール以外に、ミキサーコントロール、照明コントロール、マシンコントロール等にも応用されている。例えば、フェーダーの値をリモートでコントロールできる。つまり、特定の値の送信、受信が任意のタイミングで可能ということであり、これを各種センサの値の送信、温冷感呈示デバイスの温度設定等に使用できる。また振動アクチュエータは周波数の低い音としてシンセサイズ可能である。
 ゲームシステム60は、ヘッドマウントディスプレイ601とゲームコンソール602を有している。ヘッドマウントディスプレイ601には、マイクロホン604が接続されている。また、ゲームコンソール602には、インターネット605が接続されている。
 ヘッドマウントディスプレイ601およびゲームコンソール602はHDMIケーブル603を介して接続されている。ヘッドマウントディスプレイ601には、HDMI受信部(HDMI RX)612と、通信部を構成する高速バスインタフェース613とが接続されたHDMI端子611が設けられている。ゲームコンソール602には、HDMI送信部(HDMI TX)652と、通信部を構成する高速バスインタフェース653とが接続されたHDMI端子651が設けられている。HDMIケーブル603の一端はヘッドマウントディスプレイ601のHDMI端子611に接続され、その他端はゲームコンソール602のHDMI端子651に接続されている。
 「ヘッドマウントディスプレイの構成」
 ヘッドマウントディスプレイ601は、HDMI受信部612と、高速バスインタフェース613と、SPDIF送信回路614を有している。また、ヘッドマウントディスプレイ601は、システムコントローラ615と、A/D変換器616と、左眼ディスプレイ617と、右眼ディスプレイ618と、ステレオヘッドホン619を有している。さらに、ヘッドマウントディスプレイ601は、ジャイロセンサ、加速度センサ、心拍センサ、体温センサ、圧力センサ等を含むセンサ部620と、振動アクチュエータ、温冷感提示デバイス、力感提示デバイス等を含む被制御部621を有している。
 システムコントローラ615は、ヘッドマウントディスプレイ601の各部の動作を制御する。高速バスインタフェース613は、上述のAVシステム30のテレビ受信機301における高速バスインタフェース313と同様に、HDMIケーブル603を構成するリザーブラインおよびHPD(Hot Plug Detect)ラインを用いて構成される双方向通信路のインタフェースである。
 A/D変換器616は、マイクロホン604で集音されて得られたゲームユーザ(ヘッドマウントディスプレイ601の装着者)の発話に係るアナログオーディオ信号をリニアPCM信号に変換して、SPDIF送信回路614に送る。
 SPDIF送信回路614は、上述の送受信システム10の送信装置101におけるSPDIF送信回路110と同様に、SPDIF信号(IEC 60958規格のデジタルオーディオ伝送信号)を送信するための回路であって、IEC 60958規格に準拠した送信回路である。
 このSPDIF送信回路614は、SPDIF送信回路110と同様に、リニアPCM信号とMIDI信号を同時に含むSPDIF信号を生成し、このSPDIF信号を、高速バスインタフェース613を通じてゲームコンソール602に送信する。ここで、このSPDIF信号に含まれるリニアPCM信号は、A/D変換器616で得られたゲームユーザの発話に係るリニアPCM信号である。また、このSPDIF信号に含まれるMIDI信号は、センサ部620で得られる各種センサの検出信号を持つMIDI信号である。
 HDMI受信部612は、上述のAVシステム30のテレビ受信機301におけるHDMI受信部312と同様に、HDMIに準拠した通信により、HDMIケーブル603を通じてHDMI端子611に供給される画像や音声のデータを受信する。ここでは、HDMI受信部612は、ゲームコンソール602から送られてくる3D映像音響信号とMIDI信号を受信する。
 この場合、ステレオ2チャネルオーディオ信号(音響信号としてのリニアPCM信号)とMIDI信号を含むSPDIF信号(図6参照)はオーディオサンプルパケットにマッピングされて送られてくる。HDMI受信部612では、このSPDIF信号から、ステレオ2チャネルオーディオ信号と、制御情報としてのMIDI信号が取り出される。
 HDMI受信部612で得られる左眼ビデオ信号は左眼ディスプレイ617に送られ、この左眼ディスプレイ617に左眼画像が表示される。また、HDMI受信部612で得られる右眼ビデオ信号は右眼ディスプレイ618に送られ、この右眼ディスプレイ618に右眼画像が表示される。ユーザは、これら左眼画像および右眼画像によりゲームコンテンツに係る立体画像を知覚できる。また、HDMI受信部612で得られるステレオ2チャネルオーディオ信号はステレオヘッドホン619に送られ、ゲームコンテンツに係るステレオ音が再生される。
 また、HDMI受信部601で得られる制御情報としてのMIDI信号は、被制御部621に送られる。被制御部621では、MIDI信号に基づいてアクチュエータやデバイスが制御される。これにより、ゲームユーザに対してゲームコンテンツに係る振動、温冷感、力感等を与えられる。
 「ゲームコンソールの構成」
 ゲームコンソール602は、HDMI送信部652と、高速バスインタフェース653と、SPDIF受信回路654を有している。また、ゲームコンソール602は、ゲーム制御処理部655と、イーサネットインタフェース部656を有している。
 高速バスインタフェース653は、上述のAVシステム30のオーディオアンプ302における高速バスインタフェース353と同様に、HDMIケーブル603を構成するリザーブラインおよびHPD(Hot Plug Detect)ラインを用いて構成される双方向通信路のインタフェースである。イーサネットインタフェース656は、インターネット605を介して外部サーバ(クラウドサーバ)と通信をする。イーサネットインタフェース656は、例えば、ゲームサービスを行うクラウドサーバからゲームコンテンツをストリーミングする。
 SPDIF受信回路654は、上述の送受信システム10の受信装置102におけるSPDIF受信回路120と同様に、SPDIF信号を受信するための回路であって、IEC 60958規格に準拠した受信回路である。
 このSPDIF受信回路654は、高速バスインタフェース653を通じてテレビ受信機301からSPDIF信号を受信し、それに含まれるリニアPCM信号およびMIDI信号を取り出して出力する。この実施の形態において、リニアPCM信号は、上述したようにゲームユーザの発話に係るリニアPCM信号である。また、MIDI信号は、上述したように各種センサの検出信号を持つMIDI信号である
 ゲーム制御処理部655は、CPU、DSP、GPU等から構成される。このゲーム制御処理部655は、ゲームコンテンツをデコードすると共に、SPDIF受信回路354で得られるMIDI信号およびリニアPCM信号を参照して、3D映像音響信号とMIDI信号を生成する。ここで、3D映像音響信号は、左眼ビデオ信号、右眼ビデオ信号およびステレオ2チャネルオーディオ信号(リニアPCM信号)からなっている。また、MIDI信号は、ゲームユーザに対してゲームコンテンツに係る振動、温冷感、力感等を与えられるための制御信号を持つMIDI信号である。
 HDMI送信部652は、上述のAVシステム30のオーディオアンプ302におけるHDMI送信部352と同様に、HDMIに準拠した通信により、画像や音声のデータをHDMI端子651からHDMIケーブル603に送出する。ここでは、上述したようにゲーム制御処理部655で生成される3D映像音響信号とMIDI信号を送信する。この場合、ステレオ2チャネルオーディオ信号(音響信号としてのリニアPCM信号)とMIDI信号を含むSPDIF信号(図6参照)が生成され、このSPDIF信号がオーディオサンプルパケットにマッピングされて送られる。
 上述したように、図21に示すゲームシステム60においては、ヘッドマウントディスプレイ601からゲームコンソール602に送信されるSPDIF信号(サブフレーム単位で連続した信号)に、ゲームユーザの発話に係るリニアPCM信号と各種センサの検出信号を持つMIDI信号を含むものである。これにより、ヘッドマウントディスプレイ601からゲームコンソール602へのこれらのリニアPCM信号およびMIDI信号の同時伝送を遅延なく安定して行うことができ、ゲームコンソール602では、ゲーム制御処理部655における処理を良好に行うことができる。
 また、図21に示すゲームシステム60においては、ゲームコンソール602からヘッドマウントディスプレイ601に送信されるSPDIF信号(サブフレーム単位で連続した信号)に、ゲーム制御処理部655で生成されたステレオ2チャネルオーディオ信号(音響信号としてのリニアPCM信号)とゲームユーザに対してゲームコンテンツに係る振動、温冷感、力感等を与えられるための制御信号を持つMIDI信号を含むものである。これにより、ゲームコンソール602からヘッドマウントディスプレイ601へのこれらのリニアPCM信号およびMIDI信号の同時伝送を遅延なく安定して行うことができ、ヘッドマウントディスプレイ601では、ゲームユーザに与える音響再生音と当該ゲームユーザに与える振動、温冷感、力感等を遅延なく同期した状態で良好に行うことができる。
 <5.変形例>
 なお、上述実施の形態においては、IEC 60958伝送路として同軸ケーブルや光ケーブル、さらにはHDMI ARCやHDMI伝送路を利用する例を示したが、その他のIEC 60958伝送路を利用する構成も考えられる。例えば、IEC 60958伝送路として、IEC 61883-6伝送路、MHL伝送路、ディスプレイポート伝送路(DP伝送路)などを利用する例も考えられる。これらの場合も、SPDIF信号(IEC 60958信号)はオーディオサンプルパケット(audio sample packet)にマッピングされ、ビデオ伝送と同じ順方向に伝送される。
 また、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
 また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
 また、技術は、以下のような構成もとることができる。
 (1)所定単位で連続した信号を、所定伝送路を介して受信側に送信する送信部を備え、
 上記所定単位で連続した信号は、オーディオ信号を含む第1の上記所定単位の信号とMIDI信号を含む第2の上記所定単位の信号を含む
 送信装置。
 (2)上記所定単位は、サブフレーム単位である
 前記(1)に記載の送信装置。
 (3)上記オーディオ信号は、ステレオ2チャネルオーディオ信号を構成するリニアPCM信号である
 前記(1)または(2)に記載の送信装置。
 (4)上記MIDI信号は、所定長のパケットデータからなり、
 上記所定長のパケットデータは、複数個に分割され、複数個の上記第2の所定単位の信号に含めて送信される
 前記(1)から(3)のいずれかに記載の送信装置。
 (5)上記所定長のパケットデータは、32ビット、64ビット、96ビットまたは128ビットのパケットデータであり、16ビットずつの複数個に分割される
 前記(4)に記載の送信装置。
 (6)上記MIDI信号を含む上記第2の所定単位の信号において、下位ビット側に上記MIDI信号が挿入され、上位ビット側に上記下位ビット側に挿入される上記MIDI信号が少なくともスタートの分割データであるか継続の分割データであるかを識別する識別情報が挿入される
 前記(4)または(5)に記載の送信装置。
 (7)上記下位ビット側の上記MIDI信号と上記上位ビット側の識別情報とからなる所定ビット数のデータをオーディオデータとして再生しても音量が所定以下となるように上記識別情報が設定される
 前記(6)に記載の送信装置。
 (8)上記MIDI信号を構成するパケットデータは、上記第2の所定単位の信号のデータペイロード領域の任意のビット位置から挿入され、該データペイロード領域に全て挿入できない場合には、次の上記第2の所定単位の信号のデータペイロード領域の最初のビット位置から残りが挿入されて送信される
 前記(1)から(3)のいずれかに記載の送信装置。
 (9)上記MIDI信号を構成する1バイトのパケットデータは、上記第2の所定単位の信号における2バイトのデータペイロード領域の一方のバイト領域に挿入されて送信される
 前記(1)から(3)のいずれかに記載の送信装置。
 (10)上記MIDI信号を構成する1バイトのパケットデータは、上記第2の所定単位の信号の2バイトのデータペイロード領域の一方のバイト領域に挿入され、他方の1バイトの領域が拡張バイト領域とされて送信される
 前記(1)から(3)のいずれかに記載の送信装置。
 (11)上記第2の所定単位の信号は、複数のチャネルの上記MIDI信号を含む
 前記(1)から(10)のいずれかに記載の送信装置。
 (12)上記所定単位で連続した信号に、該信号がオーディオ信号を含む第1の上記所定単位の信号とMIDI信号を含む第2の上記所定単位の信号を含むことを識別する識別情報を付加する情報付加部をさらに備える
 前記(1)から(11)のいずれかに記載の送信装置。
 (13)上記情報付加部は、所定数の上記所定単位毎に構成される各ブロックの所定ビット領域を用いて上記識別情報を付加する
 前記(12)に記載の送信装置。
 (14)上記所定伝送路は、同軸ケーブル、光ケーブル、イーサネット(IEC 61883-6)ケーブル、HDMIケーブル、MHLケーブルまたはディスプレイポートケーブルである
 前記(1)から(13)のいずれかに記載の送信装置。
 (15)所定単位で連続した信号を、所定伝送路を介して受信側に送信する手順を有し、
 上記所定単位で連続した信号は、オーディオ信号を含む第1の上記所定単位の信号とMIDI信号を含む第2の上記所定単位の信号を含む
 送信方法。
 (16)所定単位で連続した信号を、送信側から所定伝送路を介して受信する受信部を備え、
 上記所定単位で連続した信号は、オーディオ信号を含む第1の上記所定単位の信号とMIDI信号を含む第2の上記所定単位の信号を含む
 受信装置。
 (17)上記オーディオ信号は、ステレオ2チャネルオーディオ信号を構成するリニアPCM信号である
 前記(16)に記載の受信装置。
 (18)上記オーディオ信号および上記MIDI信号を用いた処理を行う処理部をさらに備える
 前記(16)または(17)に記載の受信装置。
 (19)上記処理部は、上記オーディオ信号に上記MIDI信号からMIDI音源を用いて得られたオーディオ信号を合成して出力オーディオ信号を得る
 前記(18)に記載の受信装置。
 (20)所定単位で連続した信号を、送信側から所定伝送路を介して受信する手順を有し、
 上記所定単位で連続した信号は、オーディオ信号を含む第1の上記所定単位の信号とMIDI信号を含む第2の上記所定単位の信号を含む
 受信方法。
 10・・・・送受信システム
 101・・・送信装置
 102・・・受信装置
 103・・・伝送路
 110・・・SPDIF送信回路
 120・・・SPDIF受信回路
 20・・・音響システム
 201・・・マイク入力付きMIDIキーボード
 202・・・MIDI音源モジュール
 203・・・伝送路
 204・・・マイクロホン
 205・・・アンプ
 206・・・スピーカシステム
 210・・・A/D変換器
 211・・・鍵盤部
 212・・・SPDIF送信回路
 220・・・SPDIF受信回路
 221・・・MIDI音源部
 222・・・オーディオミキサ
 223・・・表示部
 30・・・AVシステム
 301・・・テレビ受信機
 302・・・オーディオアンプ
 303・・・HDMIケーブル
 304・・・インターネット
 305・・・MIDIケーブル
 306・・・マイクロホン
 307・・・MIDIファイル記憶部
 308・・・スピーカシステム
 309・・・受信アンテナ
 311・・・HDMI端子
 312・・・HDMI受信部
 313・・・高速バスインタフェース
 314・・・SPDIF送信回路
 315・・・システムコントローラ
 316・・・ユーザインタフェース
 317・・・デジタル放送受信回路
 318・・・コンテンツ再生回路
 319・・・音声合成回路
 320・・・A/D変換器
 321・・・イーサネットインタフェース
 322・・・ディスプレイ
 351・・・HDMI端子
 352・・・HDMI送信部
 353・・・高速バスインタフェース
 354・・・SPDIF受信回路
 355・・・システムコントローラ
 356・・・MIDI音源部
 357・・・オーディオミキサ
 358・・・アンプ
 359・・・表示部
 360・・・イーサネットインタフェース
 60・・・ゲームシステム
 601・・・ヘッドマウントディスプレイ
 602・・・ゲームコンソール
 603・・・HDMIケーブル
 604・・・マイクロホン
 605・・・インターネット
 611・・・HDMI端子
 612・・・HDMI受信部
 613・・・高速バスインタフェース
 614・・・SPDIF送信回路
 615・・・システムコントローラ
 616・・・A/D変換器
 617・・・左眼ディスプレイ
 618・・・右眼ディスプレイ
 619・・・ステレオヘッドホン
 620・・・センサ部
 621・・・被制御部
 651・・・HDMI端子
 652・・・HDMI送信部
 653・・・高速バスインタフェース
 654・・・SPDIF受信回路
 655・・・ゲーム制御処理部
 656・・・イーサネットインタフェース

Claims (20)

  1.  所定単位で連続した信号を、所定伝送路を介して受信側に送信する送信部を備え、
     上記所定単位で連続した信号は、オーディオ信号を含む第1の上記所定単位の信号とMIDI信号を含む第2の上記所定単位の信号を含む
     送信装置。
  2.  上記所定単位は、サブフレーム単位である
     請求項1に記載の送信装置。
  3.  上記オーディオ信号は、ステレオ2チャネルオーディオ信号を構成するリニアPCM信号である
     請求項1に記載の送信装置。
  4.  上記MIDI信号は、所定長のパケットデータからなり、
     上記所定長のパケットデータは、複数個に分割され、複数個の上記第2の所定単位の信号に含めて送信される
     請求項1に記載の送信装置。
  5.  上記所定長のパケットデータは、32ビット、64ビット、96ビットまたは128ビットのパケットデータであり、16ビットずつの複数個に分割される
     請求項4に記載の送信装置。
  6.  上記MIDI信号を含む上記第2の所定単位の信号において、下位ビット側に上記MIDI信号が挿入され、上位ビット側に上記下位ビット側に挿入される上記MIDI信号が少なくともスタートの分割データであるか継続の分割データであるかを識別する識別情報が挿入される
     請求項4に記載の送信装置。
  7.  上記下位ビット側の上記MIDI信号と上記上位ビット側の識別情報とからなる所定ビット数のデータをオーディオデータとして再生しても音量が所定以下となるように上記識別情報が設定される
     請求項6に記載の送信装置。
  8.  上記MIDI信号を構成するパケットデータは、上記第2の所定単位の信号のデータペイロード領域の任意のビット位置から挿入され、該データペイロード領域に全て挿入できない場合には、次の上記第2の所定単位の信号のデータペイロード領域の最初のビット位置から残りが挿入されて送信される
     請求項1に記載の送信装置。
  9.  上記MIDI信号を構成する1バイトのパケットデータは、上記第2の所定単位の信号における2バイトのデータペイロード領域の一方のバイト領域に挿入されて送信される
     請求項1に記載の送信装置。
  10.  上記MIDI信号を構成する1バイトのパケットデータは、上記第2の所定単位の信号の2バイトのデータペイロード領域の一方のバイト領域に挿入され、他方の1バイトの領域が拡張バイト領域とされて送信される
     請求項1に記載の送信装置。
  11.  上記第2の所定単位の信号は、複数のチャネルの上記MIDI信号を含む
     請求項1に記載の送信装置。
  12.  上記所定単位で連続した信号に、該信号がオーディオ信号を含む第1の上記所定単位の信号とMIDI信号を含む第2の上記所定単位の信号を含むことを識別する識別情報を付加する情報付加部をさらに備える
     請求項1に記載の送信装置。
  13.  上記情報付加部は、所定数の上記所定単位毎に構成される各ブロックの所定ビット領域を用いて上記識別情報を付加する
     請求項12に記載の送信装置。
  14.  上記所定伝送路は、同軸ケーブル、光ケーブル、イーサネット(IEC 61883-6)ケーブル、HDMIケーブル、MHLケーブルまたはディスプレイポートケーブルである
     請求項1に記載の送信装置。
  15.  所定単位で連続した信号を、所定伝送路を介して受信側に送信する手順を有し、
     上記所定単位で連続した信号は、オーディオ信号を含む第1の上記所定単位の信号とMIDI信号を含む第2の上記所定単位の信号を含む
     送信方法。
  16.  所定単位で連続した信号を、送信側から所定伝送路を介して受信する受信部を備え、
     上記所定単位で連続した信号は、オーディオ信号を含む第1の上記所定単位の信号とMIDI信号を含む第2の上記所定単位の信号を含む
     受信装置。
  17.  上記オーディオ信号は、ステレオ2チャネルオーディオ信号を構成するリニアPCM信号である
     請求項16に記載の受信装置。
  18.  上記オーディオ信号および上記MIDI信号を用いた処理を行う処理部をさらに備える
     請求項16に記載の受信装置。
  19.  上記処理部は、上記オーディオ信号に上記MIDI信号からMIDI音源を用いて得られたオーディオ信号を合成して出力オーディオ信号を得る
     請求項18に記載の受信装置。
  20.  所定単位で連続した信号を、送信側から所定伝送路を介して受信する手順を有し、
     上記所定単位で連続した信号は、オーディオ信号を含む第1の上記所定単位の信号とMIDI信号を含む第2の上記所定単位の信号を含む
     受信方法。
PCT/JP2020/028333 2019-09-10 2020-07-21 送信装置、送信方法、受信装置および受信方法 WO2021049181A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP20862506.1A EP4030416A4 (en) 2019-09-10 2020-07-21 TRANSMISSION DEVICE, TRANSMISSION METHOD, RECEPTION DEVICE AND RECEPTION METHOD
CN202080062365.0A CN114341972A (zh) 2019-09-10 2020-07-21 发送装置、发送方法、接收装置和接收方法
JP2021545151A JPWO2021049181A1 (ja) 2019-09-10 2020-07-21
US17/632,633 US20230186882A1 (en) 2019-09-10 2020-07-21 Transmission device, transmission method, reception device and reception method
KR1020227005861A KR20220059942A (ko) 2019-09-10 2020-07-21 송신 장치, 송신 방법, 수신 장치 및 수신 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019164366 2019-09-10
JP2019-164366 2019-09-10

Publications (1)

Publication Number Publication Date
WO2021049181A1 true WO2021049181A1 (ja) 2021-03-18

Family

ID=74865651

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/028333 WO2021049181A1 (ja) 2019-09-10 2020-07-21 送信装置、送信方法、受信装置および受信方法

Country Status (6)

Country Link
US (1) US20230186882A1 (ja)
EP (1) EP4030416A4 (ja)
JP (1) JPWO2021049181A1 (ja)
KR (1) KR20220059942A (ja)
CN (1) CN114341972A (ja)
WO (1) WO2021049181A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115103286A (zh) * 2022-04-29 2022-09-23 北京瑞森新谱科技股份有限公司 一种asio低延时声学检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09116593A (ja) 1995-08-12 1997-05-02 Sony Corp データ通信方法
JP2000244424A (ja) * 1999-02-18 2000-09-08 Kenwood Corp ディジタル放送送受システム及びディジタル放送受信装置
JP2002232375A (ja) * 2001-01-30 2002-08-16 Sony Corp データ送信装置、データ受信装置、データ送信方法、データ受信方法、伝送システム
JP2003316356A (ja) * 2002-04-23 2003-11-07 Yamaha Corp デジタルオーディオデータに演奏データを重畳し、またはデジタルオーディオデータから演奏データを抽出する方法および装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5933430A (en) * 1995-08-12 1999-08-03 Sony Corporation Data communication method
JP3196715B2 (ja) * 1997-10-22 2001-08-06 ヤマハ株式会社 楽音情報の通信装置、通信方法、制御装置、制御方法及びプログラムを記録した媒体
JP4236024B2 (ja) * 1999-03-08 2009-03-11 株式会社フェイス データ再生装置および情報端末機
WO2000065571A1 (en) * 1999-04-26 2000-11-02 Gibson Guitar Corp. Universal audio communications and control system and method
US6686530B2 (en) * 1999-04-26 2004-02-03 Gibson Guitar Corp. Universal digital media communications and control system and method
EP1104966A4 (en) * 1999-05-25 2008-03-12 Sony Corp METHOD, DEVICE AND TRANSMISSION SYSTEM
EP1087557A3 (en) * 1999-09-22 2005-01-19 Matsushita Electric Industrial Co., Ltd. Apparatus for transmitting digital audio data and receiving apparatus for receiving the digital audio data
JP2003122358A (ja) * 2001-10-11 2003-04-25 Sega Corp 音響信号出力方法、音響信号生成装置及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09116593A (ja) 1995-08-12 1997-05-02 Sony Corp データ通信方法
JP2000244424A (ja) * 1999-02-18 2000-09-08 Kenwood Corp ディジタル放送送受システム及びディジタル放送受信装置
JP2002232375A (ja) * 2001-01-30 2002-08-16 Sony Corp データ送信装置、データ受信装置、データ送信方法、データ受信方法、伝送システム
JP2003316356A (ja) * 2002-04-23 2003-11-07 Yamaha Corp デジタルオーディオデータに演奏データを重畳し、またはデジタルオーディオデータから演奏データを抽出する方法および装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4030416A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115103286A (zh) * 2022-04-29 2022-09-23 北京瑞森新谱科技股份有限公司 一种asio低延时声学检测方法

Also Published As

Publication number Publication date
EP4030416A4 (en) 2022-11-02
CN114341972A (zh) 2022-04-12
EP4030416A1 (en) 2022-07-20
JPWO2021049181A1 (ja) 2021-03-18
KR20220059942A (ko) 2022-05-10
US20230186882A1 (en) 2023-06-15

Similar Documents

Publication Publication Date Title
WO2011118135A1 (ja) 送信装置、受信装置、送信方法および受信方法
JP4785989B2 (ja) 映像音声送信装置および映像音声受信装置
WO2021049181A1 (ja) 送信装置、送信方法、受信装置および受信方法
JP7439758B2 (ja) 送信装置、送信方法、受信装置および受信方法
EP3905705A1 (en) Transmission device, transmission method, reception device and reception method
JP7452526B2 (ja) 送信装置、送信方法、受信装置および受信方法
WO2021131767A1 (ja) 送信装置、送信方法、受信装置および受信方法
US11942103B2 (en) Transmission apparatus, transmission method, reception apparatus, and reception method for transmitting and receiving an audio signal including a mixed signal simultaneously transmitted by mixing a compressed audio signal and a linear pulse code modulation signal
WO2017148178A1 (zh) 一种音视频处理方法以及相关设备
WO2019225449A1 (ja) 送信装置、送信方法、受信装置および受信方法
KR101765566B1 (ko) 데이터 전송 장치, 데이터 수신 장치, 데이터 송수신 시스템, 데이터 전송 방법, 데이터 수신 방법
WO2021039189A1 (ja) 送信装置、送信方法、受信装置および受信方法
US12003886B2 (en) Transmission device, transmission method, reception device, and reception method
WO2023189162A1 (ja) 送信装置、受信装置および送受信システム
KR20020028825A (ko) 송수신 시스템, 송신 장치, 수신 장치 및 송수신 방법
KR100783971B1 (ko) 음성 데이터 수신모듈

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20862506

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021545151

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020862506

Country of ref document: EP

Effective date: 20220411