JP6642640B2 - 信号処理装置、信号処理方法、プログラム、及び、信号伝送システム - Google Patents

信号処理装置、信号処理方法、プログラム、及び、信号伝送システム Download PDF

Info

Publication number
JP6642640B2
JP6642640B2 JP2018128050A JP2018128050A JP6642640B2 JP 6642640 B2 JP6642640 B2 JP 6642640B2 JP 2018128050 A JP2018128050 A JP 2018128050A JP 2018128050 A JP2018128050 A JP 2018128050A JP 6642640 B2 JP6642640 B2 JP 6642640B2
Authority
JP
Japan
Prior art keywords
audio
horizontal line
data
horizontal
data area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2018128050A
Other languages
English (en)
Other versions
JP2018170789A (ja
Inventor
山下　重行
重行 山下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JP2018170789A publication Critical patent/JP2018170789A/ja
Application granted granted Critical
Publication of JP6642640B2 publication Critical patent/JP6642640B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3027—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23602—Multiplexing isochronously with the video sync, e.g. according to bit-parallel or bit-serial interface formats, as SDI
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4342—Demultiplexing isochronously with video sync, e.g. according to bit-parallel or bit-serial interface formats, as SDI
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43632—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wired protocol, e.g. IEEE 1394
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • H04N5/602—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals for digital sound signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H04N7/084—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the horizontal blanking interval only

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Mathematical Physics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Systems (AREA)
  • Studio Devices (AREA)

Description

本技術は、信号処理装置、信号処理方法、プログラム、及び、信号伝送システムに関し、例えば、フレームレートが96Hzから120Hzまでの範囲内の映像データを伝送するためのSDI（Serial Digital Interface）のフォーマットで規定されるデータストリームに音声ストリームを多重して伝送する場合に用いて好適な信号処理装置、信号処理方法、プログラム、及び、信号伝送システムに関する。
従来、3G-SDIフォーマットのレベルＡで規定されるデータストリームに多重する音声ストリームのチャネル数を増やす技術が提案されている（例えば、特許文献１参照）。
特許第４７０２４０２号公報
ところで、すでにITU（International Telecommunication Union）で規格化されている120Pの映像データに対して、まだ有効なSDIは規格化されていない。当然、特許文献１では、120Pの映像データに付随する音声ストリームの伝送方法について、具体的な提案がなされていない。
そこで、本技術は、例えばフレームレートが96Hzから120Hzまでの範囲内の映像データとともに効率的に音声ストリームを伝送可能なSDIを実現するためのものである。
本技術の第１の側面の信号処理装置は、SDI（Serial Digital Interface）のフォーマットで規定されるデータストリームに含まれ、複数の水平ラインを含み、フレームレートが96Hzから120Hzまでの範囲内の映像データの水平ライン毎に設けられている水平ブランキング領域内の所定のデータ領域であって、サンプリングレートが32kHzから96kHzまでの範囲内の音声サンプルが発生した第１の水平ラインの次の第２の水平ラインから連続する２行の水平ラインのデータ領域に前記音声サンプルを多重するとともに、スイッチングポイントを含む水平ラインの次の水平ラインの前記データ領域を飛ばして、前記音声サンプルを多重する音声多重部を備える。
前記音声多重部には、最大で４つの音声サンプルを含む音声データパケットを最大で８つまで１つの前記データ領域に多重させることができる。
前記音声多重部には、前記音声サンプルを多重した水平ラインが、前記スイッチングポイントの影響により後ろにずれているか否かを示すフラグを当該水平ラインの前記データ領域に設定させることができる。
前記映像データを多重した前記データストリームを生成する映像信号処理部をさらに設けることができる。
本技術の第１の側面の信号処理方法は、信号処理装置が、SDI（Serial Digital Interface）のフォーマットで規定されるデータストリームに含まれ、複数の水平ラインを含み、フレームレートが96Hzから120Hzまでの範囲内の映像データの水平ライン毎に設けられている水平ブランキング領域内の所定のデータ領域であって、サンプリングレートが32kHzから96kHzまでの範囲内の音声サンプルが発生した第１の水平ラインの次の第２の水平ラインから連続する２行の水平ラインのデータ領域に前記音声サンプルを多重するとともに、スイッチングポイントを含む水平ラインの次の水平ラインの前記データ領域を飛ばして、前記音声サンプルを多重する音声多重ステップを含む。
本技術の第１の側面のプログラムは、SDI（Serial Digital Interface）のフォーマットで規定されるデータストリームに含まれ、複数の水平ラインを含み、フレームレートが96Hzから120Hzまでの範囲内の映像データの水平ライン毎に設けられている水平ブランキング領域内の所定のデータ領域であって、サンプリングレートが32kHzから96kHzまでの範囲内の音声サンプルが発生した第１の水平ラインの次の第２の水平ラインから連続する２行の水平ラインのデータ領域に前記音声サンプルを多重するとともに、スイッチングポイントを含む水平ラインの次の水平ラインの前記データ領域を飛ばして、前記音声サンプルを多重する音声多重ステップを含む処理をコンピュータに実行させる。
本技術の第２の側面の信号処理装置は、SDI（Serial Digital Interface）のフォーマットで規定されるデータストリームに含まれ、複数の水平ラインを含み、フレームレートが96Hzから120Hzまでの範囲内の映像データの水平ライン毎に設けられている水平ブランキング領域内の所定のデータ領域であって、サンプリングレートが32kHzから96kHzまでの範囲内の音声サンプルが発生した第１の水平ラインの次の第２の水平ラインから連続する２行の水平ラインのデータ領域に前記音声サンプルが多重されるとともに、スイッチングポイントを含む水平ラインの次の水平ラインの前記データ領域を飛ばして、前記音声サンプルが多重された前記データストリームから前記音声サンプルを抽出し、前記音声サンプルを含む音声ストリームを復元する再生部を含む。
本技術の第２の側面の信号処理方法は、信号処理装置が、SDI（Serial Digital Interface）のフォーマットで規定されるデータストリームに含まれ、複数の水平ラインを含み、フレームレートが96Hzから120Hzまでの範囲内の映像データの水平ライン毎に設けられている水平ブランキング領域内の所定のデータ領域であって、サンプリングレートが32kHzから96kHzまでの範囲内の音声サンプルが発生した第１の水平ラインの次の第２の水平ラインから連続する２行の水平ラインのデータ領域に前記音声サンプルが多重されるとともに、スイッチングポイントを含む水平ラインの次の水平ラインの前記データ領域を飛ばして、前記音声サンプルが多重された前記データストリームから前記音声サンプルを抽出し、前記音声サンプルを含む音声ストリームを復元する再生ステップを含む。
本技術の第２の側面のプログラムは、SDI（Serial Digital Interface）のフォーマットで規定されるデータストリームに含まれ、複数の水平ラインを含み、フレームレートが96Hzから120Hzまでの範囲内の映像データの水平ライン毎に設けられている水平ブランキング領域内の所定のデータ領域であって、サンプリングレートが32kHzから96kHzまでの範囲内の音声サンプルが発生した第１の水平ラインの次の第２の水平ラインから連続する２行の水平ラインのデータ領域に前記音声サンプルが多重されるとともに、スイッチングポイントを含む水平ラインの次の水平ラインの前記データ領域を飛ばして、前記音声サンプルが多重された前記データストリームから前記音声サンプルを抽出し、前記音声サンプルを含む音声ストリームを復元する再生ステップを含む処理をコンピュータに実行させる。
本技術の第３の側面の信号伝送システムは、SDI（Serial Digital Interface）のフォーマットで規定されるデータストリームに含まれ、複数の水平ラインを含み、フレームレートが96Hzから120Hzまでの範囲内の映像データの水平ライン毎に設けられている水平ブランキング領域内の所定のデータ領域であって、サンプリングレートが32kHzから96kHzまでの範囲内の音声サンプルが発生した第１の水平ラインの次の第２の水平ラインから連続する２行の水平ラインのデータ領域に前記音声サンプルを多重するとともに、スイッチングポイントを含む水平ラインの次の水平ラインの前記データ領域を飛ばして、前記音声サンプルを多重する音声多重部と、前記音声サンプルが多重された前記データストリームの送信を制御する送信制御部とを備える信号送信装置と、前記データストリームの受信を制御する受信制御部と、前記データストリームから前記音声サンプルを抽出し、前記音声サンプルを含む音声ストリームを復元する再生部とを備える信号受信装置とを含む。
本技術の第１の側面においては、SDI（Serial Digital Interface）のフォーマットで規定されるデータストリームに含まれ、複数の水平ラインを含み、フレームレートが96Hzから120Hzまでの範囲内の映像データの水平ライン毎に設けられている水平ブランキング領域内の所定のデータ領域であって、サンプリングレートが32kHzから96kHzまでの範囲内の音声サンプルが発生した第１の水平ラインの次の第２の水平ラインから連続する２行の水平ラインのデータ領域に前記音声サンプルが多重されるとともに、スイッチングポイントを含む水平ラインの次の水平ラインの前記データ領域を飛ばして、前記音声サンプルを多重される。
本技術の第２の側面においては、SDI（Serial Digital Interface）のフォーマットで規定されるデータストリームに含まれ、複数の水平ラインを含み、フレームレートが96Hzから120Hzまでの範囲内の映像データの水平ライン毎に設けられている水平ブランキング領域内の所定のデータ領域であって、サンプリングレートが32kHzから96kHzまでの範囲内の音声サンプルが発生した第１の水平ラインの次の第２の水平ラインから連続する２行の水平ラインのデータ領域に前記音声サンプルが多重されるとともに、スイッチングポイントを含む水平ラインの次の水平ラインの前記データ領域を飛ばして、前記音声サンプルが多重された前記データストリームから前記音声サンプルが抽出され、前記音声サンプルを含む音声ストリームが復元される。
本技術の第３の側面においては、SDI（Serial Digital Interface）のフォーマットで規定されるデータストリームに含まれ、複数の水平ラインを含み、フレームレートが96Hzから120Hzまでの範囲内の映像データの水平ライン毎に設けられている水平ブランキング領域内の所定のデータ領域であって、サンプリングレートが32kHzから96kHzまでの範囲内の音声サンプルが発生した第１の水平ラインの次の第２の水平ラインから連続する２行の水平ラインのデータ領域に前記音声サンプルが多重されるとともに、スイッチングポイントを含む水平ラインの次の水平ラインの前記データ領域を飛ばして、前記音声サンプルが多重され、前記音声サンプルが多重された前記データストリームが送信され、前記データストリームが受信され、前記データストリームから前記音声サンプルが抽出され、前記音声サンプルを含む音声ストリームが復元される。
本技術の第１乃至第３の側面によれば、例えばフレームレートが96Hzから120Hzまでの範囲内の映像データとともに効率的に音声ストリームを伝送可能なSDIを実現することができる。
SMPTE 299-1に規定されている音声データパケットのデータ構造を示す図である。 SMPTE 299-1に規定されている音声データパケットの使用可能領域を示す図である。 本技術を適用した信号伝送システムの一実施の形態を示すブロック図である。 放送用カメラの本技術の実施の形態に関連する部分の構成例を示すブロック図である。 CCUの本技術の実施の形態に関連する部分の構成例を示すブロック図である。 信号送信処理を説明するためのフローチャートである。 音声データパケットの多重方法の例を示す図である。 音声データパケットの多重位置の例を示す図である。 音声データパケットの多重位置の他の例を示す図である。 信号受信処理を説明するためのフローチャートである。 コンピュータの構成例を示すブロック図である。
以下、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．現行のHD-SDI（High Definition-Serial Digital Interface）の音声ストリームの多重方式
２．本技術の実施の形態
３．変形例
＜１．現行のHD-SDIの音声ストリームの多重方式＞
現行の1.485GbpsのHD-SDIフォーマットで規定されたデータストリーム（以下、単にHD-SDIとも称する）への音声ストリームの多重方式は、SMPTE 299-1に規定されている。また、HD-SDIに多重される音声ストリームのフォーマットは、AES（Audio Engineering Society）3により規定される。
図１は、SMPTE 299-1に規定されている音声データパケットのデータ構造を示している。
１つの音声データパケットは、補助データフラグ（ADF）、データID（DID）、データブロックナンバー（DBN）、データカウント（DC）、オーディオクロック位相データ（CLK）、CH1乃至CH4の計４チャネルの音声データ、ECC0乃至ECC5からなる誤り訂正コード、及び、チェックサム（CS）を含む。そして、ADFからCH4までの範囲が、誤り訂正コードにより保護される。また、１つの音声データパケットの長さは、31バイトである。なお、ここでは、１バイトが10ビットであり、以下、１バイトのことを１ワードとも称する。
CH1乃至CH4には、それぞれ１つの音声データのサンプル（以下、音声サンプルと称する）が含まれる。そして、音声ストリームのサンプリングレートが32kHz、44.1kHz又は48kHzの場合、４チャネルの音声データを１つの音声データパケットに多重することができる。すなわち、連続するAESサブフレーム１及びAESサブフレーム２のそれぞれ２チャネル（チャネル１及び２）の音声サンプルを１つの音声データパケットに多重することができる。
一方、音声ストリームのサンプリングレートが96kHzの場合、２チャネルの音声データを１つの音声データパケットに多重することができる。すなわち、連続するAESサブフレーム１及びAESサブフレーム２のチャネル１の第１の音声サンプル及び第２の音声サンプルを１つの音声データパケットに多重することができる。
図２は、SMPTE 299-1に規定されている音声データパケットの使用可能領域を示している。なお、図２は、SMPTE 292-1で規定されている2200サンプル×1125ラインの60Iの映像データにおける音声データパケットの使用可能領域を示している。
音声データパケットは、Cb/Cr系列のデータストリーム（以下、Ｃ系列データストリームと称する）の水平ブランキング領域からSAV（Start of Active Video）、EAV（End of Active Video）、LN（Line Number）、CRCC（Cyclic Redundancy Check）の領域を除いた水平補助データ領域に多重することが可能である。ただし、音声データパケットは、スイッチングポイント含む水平ラインの次の水平ライン（以下、単にラインとも称する）の水平補助データ領域には多重することはできない。
ところで、音声ストリームのサンプリングレートが48kHzの場合、映像データの１ライン当たりの音声のサンプリング回数は、平均で約1.42（＝48kHz÷30Hz÷1125ライン）回となる。従って、１ライン当たりのサンプリング回数は、２ラインに１回弱の割合で２回となり、１ラインに最大２回音声データパケットを伝送する必要がある。一方、水平補助データ領域は268バイトなので、31バイトの音声データパケットを４つ含むパケット列を２つ１ラインに多重することができる。
従って、音声ストリームのサンプリングレートが48kHzの場合、１つの音声データパケットに４チャネルの音声データが含まれるため、最大１６チャネルの音声データを伝送することができる。また、音声ストリームのサンプリングレートが96kHzの場合、１つの音声データパケットに２チャネルの音声データが含まれるため、最大８チャネルの音声データを伝送することができる。
＜２．本技術の実施の形態＞
次に、図３乃至図９を参照して、本技術の実施の形態について説明する。
［信号伝送システム１の構成例］
図３は、本技術を適用した信号伝送システム１の一実施の形態を示すブロック図である。
信号伝送システム１は、ｎ台の放送用カメラ１１−１乃至１１−ｎ及びCCU（カメラコントロールユニット）１２を含むように構成される。放送用カメラ１１−１乃至１１−ｎは、それぞれ光ファイバケーブル１３−１乃至１３−ｎを介してCCU１２に接続されている。
なお、以下、放送用カメラ１１−１乃至１１−ｎを個々に区別する必要がない場合、単に、放送用カメラ１１と称する。また、以下、光ファイバケーブル１３−１乃至１３−ｎを個々に区別する必要がない場合、単に、光ファイバケーブル１３と称する。
放送用カメラ１１は、フレームレートが100Hz又は120Hzの映像データを伝送するためのSDI（以下、100Hz-SDI又は120Hz-SDIと称する）により信号（データストリーム）を送信する信号送信装置として用いられる。また、CCU１２は、100Hz-SDI又は120Hz-SDIにより信号（データストリーム）を受信する信号受信装置として用いられる。そして、放送用カメラ１１とCCU１２を組み合わせた信号伝送システム１は、100Hz-SDI又は120Hz-SDIにより信号（データストリーム）を伝送する信号伝送システムとして用いられる。
各放送用カメラ１１は、撮影の結果得られる2200サンプル×1125ライン或いは2640サンプル×1125ラインの映像データ（２Ｋ映像データ）を、光ファイバケーブル１３を介してCCU１２に送信する。なお、この映像データは、フレームレートが100Hz若しくは120Hzのプログレッシブ方式の映像データ（100P若しくは120Pの映像データ）、又は、フィールドレートが200Hz若しくは240Hzの映像データ（200I若しくは240Iの映像データ）とされる。
CCU１２は、各放送用カメラ１１を制御したり、各放送用カメラ１１から映像データを受信したり、各放送用カメラ１１のモニタに他の放送用カメラ１１で撮影中の映像を表示させるための映像データ（リターンビデオ）を送信したりする。
［放送用カメラ１１の回路構成例］
図４は、放送用カメラ１１の本技術の実施の形態に関連する部分の構成例を示すブロック図である。
放送用カメラ１１ａは、撮像素子１０１、音声入力部１０２、信号処理部１０３、及び、送信制御部１０４を含むように構成される。また、信号処理部１０３は、映像信号処理・付加部１１１、マッピング部１１２、音声多重部１１３、多重部１１４、スクランブラ１１５、及び、パラレル／シリアル（Ｐ／Ｓ）変換部１１６を含むように構成される。
撮像素子１０１は、例えば、CMOSイメージセンサ、CCDイメージセンサ等により構成される。撮像素子１０１は、撮影の結果得られる100P、120P、200I又は240Iの映像データを信号処理部１０３の映像信号処理・付加部１１１に供給する。
なお、撮像素子１０１により生成される映像データのフォーマットは、特に限定されるものではない。例えば、RGB空間やYCbCr空間等の多種の色空間のフォーマットを採用することが可能である。また、例えば、YCbCr空間の場合、4:4:4、4:2:2、4:1:1、4:2:0等のうちの任意のシステムを採用することが可能である。
なお、以下、映像データの色空間のフォーマットとして、YCbCrの4:2:2システムを採用した場合を例に挙げて説明する。
音声入力部１０２は、例えば、マイクロフォンや音声処理装置等により構成される。音声入力部１０２は、撮像素子１０１による撮影と並行して、複数チャネルの音声の収集を行う。また、音声入力部１０２は、収集した複数チャネルの音声を所定のサンプリングレートでサンプリングし、複数チャネルのデジタルの音声データを含む音声ストリームを生成し、信号処理部１０３のマッピング部１１２に供給する。サンプリングレートは、例えば、32KHzから96kHzの範囲内（例えば、32kHz、44.1kHz、48kHz、96kHz等）に設定される。
映像信号処理・付加部１１１は、映像データに対して傷補正、ガンマ補正、色空間の変換等の映像処理を行う。また、映像信号処理・付加部１１１は、映像データを多重したデータストリームを複数生成する。すなわち、映像信号処理・付加部１１１は、所定のフォーマットの複数のデータストリームに映像データを多重する。また、映像信号処理・付加部１１１は、複数のデータストリームに所定の情報を付加する。そして、映像信号処理・付加部１１１は、生成した複数のデータストリームを音声多重部１１３に供給する。
音声多重部１１３は、映像信号処理・付加部１１１から供給される複数のデータストリームのうちの少なくとも１つに音声ストリームを多重する。音声多重部１１３は、音声ストリームを多重したデータストリームを含む複数のデータストリームを多重部１１４に供給する。
多重部１１４は、所定の方法により、複数のデータストリームを多重化し、１つのデータストリームを生成する。多重部１１４は、生成したデータストリームをスクランブラ１１５に供給する。
スクランブラ１１５は、所定の方式のスクランブル処理をデータストリームに施し、スクランブル処理後のデータストリームをパラレル／シリアル変換部１１６に供給する。
パラレル／シリアル変換部１１６は、データストリームをパラレル／シリアル変換し、変換後のデータストリームを送信制御部１０４に供給する。
送信制御部１０４は、CCU１２へのデータストリームの送信を制御する。
［CCU１２の回路構成例］
図５は、CCU１２の本技術の実施の形態に関連する部分の構成例を示すブロック図である。
CCU１２は、受信制御部１５１、信号処理部１５２、映像処理部１５３及び音声処理部１５４を含むように構成される。また、信号処理部１５２は、シリアル／パラレル（Ｓ／Ｐ）変換部１６１、デスクランブラ１６２、分離部１６３、及び、再生部１６４を含むように構成される。
受信制御部１５１は、各放送用カメラ１１から供給されるデータストリームの受信を制御する。受信制御部１５１は、受信したデータストリームを信号処理部１５２のシリアル／パラレル変換部１６１に供給する。
シリアル／パラレル変換部１６１は、データストリームをシリアル／パラレル変換し、変換後のデータストリームをデスクランブラ１６２に供給する。
デスクランブラ１６２は、放送用カメラ１１のスクランブラ１１５とは逆のデスクランブル処理をデータストリームに施し、デスクランブル処理後のデータストリームを分離部１６３に供給する。
分離部１６３は、放送用カメラ１１の多重部１１４とは逆の処理により、データストリームを複数のデータストリームに分離し、再生部１６４に供給する。
再生部１６４は、複数のデータストリームに多重されている各画素のデータを抽出し、抽出した画素データを含む元の映像データを復元し、映像処理部１５３に供給する。また、再生部１６４は、複数のデータストリームに多重されている音声サンプルを抽出し、抽出した音声サンプルを含む元の音声ストリームを復元し、音声処理部１５４に供給する。
映像処理部１５３は、映像データに対する各種の処理を行う装置により構成され、再生部１６４から供給される映像データに対して所定の処理を行う。例えば、映像処理部１５３は、映像データに基づく映像を表示するディスプレイ、映像データを記憶する記憶装置等により構成される。
音声処理部１５４は、音声データに対する各種の処理を行う装置により構成され、再生部１６４から供給される音声データに対して所定の処理を行う。例えば、音声処理部１５４は、音声データに基づく音声を出力するスピーカ、音声データを記憶する記憶装置等により構成される。
なお、処理内容によっては、映像処理部１５３と音声処理部１５４を１つの装置により構成することも可能である。
［信号送信処理］
次に、図６のフローチャートを参照して、放送用カメラ１１により実行される信号送信処理について説明する。なお、この処理は１フレーム分の映像データを送信する場合の処理を示しており、複数フレームの映像データを送信する場合には、この処理が繰り返し実行される。
ステップＳ１において、映像信号処理・付加部１１１は、映像信号処理及びSAV等の付加を行う。具体的には、映像信号処理・付加部１１１は、撮像素子１０１から供給される映像データに対して、傷補正、ガンマ補正、色空間の変換等の映像処理を行う。また、映像信号処理・付加部１１１は、例えば、映像データのＹ系列のデータとＣ系列（CbCr）のデータとを、SMPTE 274に規定されているものと同様の構成の２つのデータストリームに分けて多重する。さらに、映像信号処理・付加部１１１は、SMPTE 274の規定に示されているものと同様のSAV、EAV、LN、CRCCを、生成した２つのデータストリームに付加する。映像信号処理・付加部１１１は、生成した２つのデータストリームを音声多重部１１３に供給する。
ステップＳ２において、マッピング部１１２は、音声ストリームのマッピングを行う。具体的には、マッピング部１１２は、音声入力部１０２から供給される音声ストリームを、AES3で規定されているフォーマットにマッピングする。マッピング部１１２は、マッピング後の音声ストリームを音声多重部１１３に供給する。
ステップＳ３において、音声多重部１１３は、音声ストリームをデータストリームに多重する。具体的には、音声多重部１１３は、２つのデータストリームのうち一方のデータストリーム（例えば、Ｃ系列のデータストリーム）に音声ストリームを多重する。
例えば、音声ストリームのサンプリングレートが48kHzで、映像データのフレームレートが120Hz（120P又は240I）の場合、映像データの１ライン当たりの音声のサンプリング回数は、平均で約0.36回（＝48kHz÷120Hz÷1125ライン）となる。また、音声ストリームのサンプリングレートが48kHzで、映像データのフレームレートが100Hz（100P又は200I）の場合、映像データの１ライン当たりの音声のサンプリング回数は、平均で約0.43回（＝48kHz÷100Hz÷1125ライン）となる。
従って、映像データのフレームレートが120Hz又は100Hzの場合、映像データの２ラインに１回以下の間隔で音声のサンプリングが行われる。より具体的には、最短で２ラインに１回、最長で３ラインに１回の間隔で、音声データのサンプリングが行われ、音声サンプルが発生することになる。また、音声データのサンプリングが行われ、音声サンプルが発生したライン（以下、サンプリングラインと称する）の次のラインでは、サンプリングが行われず、音声サンプルは発生しないことになる。
そこで、音声多重部１１３は、基本的にサンプリングラインの次のラインから連続する２行のラインの水平補助データ領域に、図７に示されるように、SMPTE 299-1の規定と同様の構成を有する音声パケットデータを最大４つ含むパケット列を最大で２つずつ多重する。１つの音声データパケットには４チャネル分の音声サンプルが含まれるため、１パケット列あたり１６チャネル分の音声サンプルが含まれる。また、音声データのサンプリングが１回行われる毎に、８個×２行の最大１６個の音声データパケットがデータストリームに多重されるため、最大で６４チャネルの音声データをデータストリームに多重することができる。
なお、音声データのサンプリングレートが96kHzの場合、最大で48KHzの場合の半分の３２チャネルの音声データをデータストリームに多重することができる。
なお、SMPTE 299-1の規定と同様に、スイッチングポイントの次のラインの水平補助データ領域への音声データパケットの多重は禁止される。そのため、図８及び図９に示されるように、スイッチングラインの影響により、音声データパケットの多重位置が後ろにずれる場合がある。
具体的には、図８は、音声データＡ乃至Ｃのサンプリングが行われ、かつ、音声データＢのサンプリングラインにスイッチングポイントが含まれる場合を示している。なお、図内の最下段に示されている多重位置フラグ（mpf）とは、音声データパケットの多重位置と、対応する音声データのサンプリングラインとの関係を示すフラグであり、音声データパケットのCLKの所定の位置に設定される。
音声データＡについては、サンプリングライン及び次のラインがスイッチングポイントを含んでいない。従って、音声データＡに対応するパケット列Ａ１乃至Ａ４は、スイッチングポイントの影響を受けずに、音声データＡのサンプリングラインの次のラインから連続する２行のラインの水平補助データ領域に多重される。また、パケット列Ａ１乃至Ａ４に含まれる音声データパケットの多重位置フラグの値は、当該音声データパケットが、スイッチングポイントの影響を受けずに通常の位置のラインに多重されたことを示す０に設定される。
音声データＣについても同様に、サンプリングライン及び次のラインがスイッチングポイントを含んでいない。従って、音声データＣに対応するパケット列Ｃ１乃至Ｃ４は、スイッチングポイントの影響を受けずに、音声データＣのサンプリングラインの次のラインから連続する２行のラインの水平補助データ領域に多重される。また、パケット列Ｃ１乃至Ｃ４に含まれる音声データパケットの多重位置フラグの値は０に設定される。
一方、音声データＢについては、サンプリングラインがスイッチングポイントを含んでおり、次のラインの水平補助データ領域に音声データパケットを多重することができない。従って、音声データＢに対応するパケット列Ｂ１乃至Ｂ４は、音声データＢのサンプリングラインの次のラインの水平補助データ領域を飛ばして、サンプリングラインから２行後のラインから連続する２行のラインの水平補助データ領域に多重される。また、パケット列Ｂ１乃至Ｂ４に含まれる音声データパケットの多重位置フラグの値は、当該音声データパケットがスイッチングポイントの影響により通常より後ろにずれたラインに多重されたことを示す１に設定される。
図９は、音声データＡ乃至Ｃのサンプリングが行われ、かつ、音声データＡのサンプリングラインの次のラインにスイッチングポイントが含まれる場合を示している。
音声データＡについては、サンプリングラインの次のラインがスイッチングポイントを含んでおり、サンプリングラインの２行後のラインの水平補助データ領域に音声データパケットを多重することができない。従って、音声データＡに対応するパケット列Ａ１及びＡ２は、音声データＡのサンプリングラインの次のラインの水平補助データ領域に多重されるが、パケット列Ａ３及びＡ４は、１行飛ばして、サンプリングラインから３行後のラインの水平補助データ領域に多重される。
また、パケット列Ａ１及びＡ２に含まれる音声データパケットの多重位置フラグの値は、０に設定される。一方、パケット列Ａ３及びＡ４に含まれる音声データパケットの多重位置フラグの値は、当該音声データパケットがスイッチングポイントの影響により通常より後ろにずれたラインに多重されたことを示す１に設定される。
さらに、音声データＢに対応するパケット列Ｂ１乃至Ｂ４は、パケット列Ａ３及びＡ４の多重位置が１ライン後ろにずれたことにより、通常より１ライン後ろにずれたラインの水平補助データ領域に多重される。従って、パケット列Ｂ１乃至Ｂ４に含まれる音声データパケットの多重位置フラグの値は、当該音声データパケットがスイッチングポイントの影響により通常より後ろにずれたラインに多重されたことを示す１に設定される。
なお、音声データＣに対応する音声データパケットの多重位置、及び、多重位置フラグの値は、図８の例と同様である。
また、音声多重部１１３は、音声ストリームを多重したデータストリームとは別のデータストリーム（例えば、Ｙ系列のデータストリーム）の水平補助データ領域に、SMPTE 299-1に規定されているものと同様の音声制御パケットを多重する。
なお、音声多重部１１３は、フォーマッタでEAVの最初のワードから音声サンプルの位置までを297MHzや297/1.110MHzなどのクロックで計測した値を、オーディオクロック位相として使用する。
そして、音声多重部１１３は、音声ストリーム及び音声制御パケットを多重したデータストリームを多重部１１４に供給する。
ステップＳ４において、多重部１１４は、データストリームを多重化する。すなわち、多重部１１４は、２つのデータストリームをワード単位で１つのデータストリームに多重する。多重部１１４は、多重したデータストリームをスクランブラ１１５に供給する。
ステップＳ５において、スクランブラ１１５は、例えば、SMPTE 292-1の規定と同様の方法により、データストリームのスクランブルを行い、パラレル／シリアル変換部１１６に供給する。
ステップＳ６において、パラレル／シリアル変換部１１６は、データストリームをパラレル／シリアル変換し、送信制御部１０４に供給する。
ステップＳ７において、送信制御部１０４は、データストリームをCCU１２に送信する。
その後、信号送信処理は終了する。
［信号受信処理］
次に、図１０のフローチャートを参照して、図６の放送用カメラ１１により実行される信号送信処理に対応して、CCU１２により実行される信号受信処理について説明する。なお、この処理は１フレーム分の映像データを受信する場合の処理を示しており、複数フレームの映像データを受信する場合には、この処理が繰り返し実行される。
ステップＳ５１において、受信制御部１５１は、放送用カメラ１１から送信されてきたデータストリームを受信する。受信制御部１５１は、受信したデータストリームをシリアル／パラレル変換部１６１に供給する。
ステップＳ５２において、シリアル／パラレル変換部１６１は、放送用カメラ１１のパラレル／シリアル変換部１１６と逆の処理により、データストリームをシリアル／パラレル変換する。シリアル／パラレル変換部１６１は、変換後のデータストリームをデスクランブラ１６２に供給する。
ステップＳ５３において、デスクランブラ１６２は、放送用カメラ１１のスクランブラ１１５と逆の処理により、データストリームのデスクランブルを行う。デスクランブラ１６２は、デスクランブル後のデータストリームを分離部１６３に供給する。
ステップＳ５４において、分離部１６３は、放送用カメラ１１の多重部１１４と逆の処理により、データストリームを分離する。分離部１６３は、分離後の２つのデータストリームを再生部１６４に供給する。
ステップＳ５５において、再生部１６４は、データストリームの再生を行う。すなわち、再生部１６４は、２つのデータストリームに多重されている各画素のデータを抽出し、抽出した画素データを含む元の映像データを復元する。また、再生部１６４は、２つのデータストリームに多重されている音声サンプルを抽出し、抽出した音声サンプルを含む元の音声ストリームを復元する。そして、再生部１６４は、復元した映像データを映像処理部１５３に供給し、復元した音声データを音声処理部１５４に供給する。
映像処理部１５３は、例えば、映像データに基づく映像の表示、映像データの記録等の所定の処理を映像データに対して施す。音声処理部１５４は、例えば、音声データに基づく音声の出力、音声データの記録等の所定の処理を音声データに対して施す。
その後、信号受信処理は終了する。
以上のようにして、フレームレートが100Hz又は120Hzの映像データとともに音声データを効率的に伝送可能なSDIを実現することができる。すなわち、現行のHD-SDIの音声信号多重方式であるSMPTE 299-1と整合性があり、かつ、最大でSMPTE 299-1の規定の４倍のチャネルの音声データを映像データとともに伝送することが可能なSDIを実現することができる。
＜３．変形例＞
以下、上述した本技術の実施の形態の変形例について説明する。
本技術の適用範囲は、上述した映像データのフレームレート及び音声のサンプリングレートの場合に限定されるものではなく、映像データのｎ１（ｎ１≧２）行のラインに１回以下の間隔で音声のサンプリングが行われる場合に適用することができる。この場合、音声サンプルが発生したサンプリングラインより後のｎ２（２≦ｎ２≦ｎ１）行のラインの水平補助データ領域に発生した音声サンプルを多重するようにすればよい。これにより、１ラインの水平補助データ領域に音声サンプルを多重する場合と比較して、より多くのチャネル数の音声データをデータストリームに多重して伝送することが可能になる。なお、具体的には、例えば、映像データのフレームレートを96Hzに設定することが想定される。
また、音声データパケットの多重位置も、必ずしも対応する音声サンプルのサンプリングラインの次のラインから始める必要はなく、例えば、２行以上後のラインから始めるようにしてもよい。また、１回のサンプリングで発生した音声サンプルを連続する複数のラインではなく、断続的に複数のラインに多重するようにしてもよい。
また、映像データのフォーマットは、特定のものに限定されるものではなく、SDIのデータストリームに多重できる形式であればよい。同様に、音声データのフォーマットも、SDIのデータストリームに多重できる形式であれば、AES3以外のフォーマットを採用することが可能である。
さらに、映像データのフレームサイズも上述した例に限定されるものではなく、他の値に設定することも可能である。
［コンピュータの構成例］
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図１１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータにおいて、CPU（Central Processing Unit）３０１，ROM（Read Only Memory）３０２，RAM（Random Access Memory）３０３は、バス３０４により相互に接続されている。
バス３０４には、さらに、入出力インタフェース３０５が接続されている。入出力インタフェース３０５には、入力部３０６、出力部３０７、記憶部３０８、通信部３０９、及びドライブ３１０が接続されている。
入力部３０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部３０７は、ディスプレイ、スピーカなどよりなる。記憶部３０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部３０９は、ネットワークインタフェースなどよりなる。ドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア３１１を駆動する。
以上のように構成されるコンピュータでは、CPU３０１が、例えば、記憶部３０８に記憶されているプログラムを、入出力インタフェース３０５及びバス３０４を介して、RAM３０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（CPU３０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア３１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブルメディア３１１をドライブ３１０に装着することにより、入出力インタフェース３０５を介して、記憶部３０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部３０９で受信し、記憶部３０８にインストールすることができる。その他、プログラムは、ROM３０２や記憶部３０８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
また、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、例えば、本技術は以下のような構成も取ることができる。
（１）
所定のフレームレートの映像データのｎ１（ｎ１≧２）行の水平ラインに１回以下の間隔で音声のサンプリングが行われる場合、前記映像データを伝送するためのSDI（Serial Digital Interface）のフォーマットで規定されるデータストリームにおいて前記映像データの水平ライン毎に設けられている水平ブランキング領域内の所定のデータ領域であって、音声サンプルが発生した第１の水平ラインより後のｎ２（２≦ｎ２≦ｎ１）行の水平ラインのデータ領域に前記音声サンプルを多重する音声多重部を
備える信号処理装置。
（２）
前記音声多重部は、前記第１の水平ラインの次の第２の水平ラインから連続するｎ２行の水平ラインの前記データ領域に前記音声サンプルを多重する
前記（１）に記載の信号処理装置。
（３）
前記映像データのフレームレートは、96Hzから120Hzまでの範囲内であり、
音声のサンプリングレートは、32kHzから96kHzまでの範囲内であり、
前記音声多重部は、前記第２の水平ラインから連続する２行の水平ラインの前記データ領域に前記音声サンプルを多重する
前記（２）に記載の信号処理装置。
（４）
前記音声多重部は、最大で４つの音声サンプルを含む音声データパケットを最大で８つまで１つの前記データ領域に多重する
前記（３）に記載の信号処理装置。
（５）
前記音声多重部は、スイッチングポイントを含む水平ラインの次の水平ラインの前記データ領域を飛ばして、前記音声サンプルを多重する
前記（２）乃至（４）のいずれかに記載の信号処理装置。
（６）
前記音声多重部は、前記音声サンプルを多重した水平ラインが、前記スイッチングポイントの影響により後ろにずれているか否かを示すフラグを当該水平ラインの前記データ領域に設定する
前記（５）に記載の信号処理装置。
（７）
前記映像データを多重した前記データストリームを生成する映像信号処理部を
さらに備える前記（１）乃至（６）のいずれかに記載の信号処理装置。
（８）
信号処理装置が、
所定のフレームレートの映像データのｎ１（ｎ１≧２）行の水平ラインに１回以下の間隔で音声のサンプリングが行われる場合、前記映像データを伝送するためのSDI（Serial Digital Interface）のフォーマットで規定されるデータストリームにおいて前記映像データの水平ライン毎に設けられている水平ブランキング領域内の所定のデータ領域であって、音声サンプルが発生した第１の水平ラインより後のｎ２（２≦ｎ２≦ｎ１）行の水平ラインのデータ領域に前記音声サンプルを多重する音声多重ステップを
含む信号処理方法。
（９）
所定のフレームレートの映像データのｎ１（ｎ１≧２）行の水平ラインに１回以下の間隔で音声のサンプリングが行われる場合、前記映像データを伝送するためのSDI（Serial Digital Interface）のフォーマットで規定されるデータストリームにおいて前記映像データの水平ライン毎に設けられている水平ブランキング領域内の所定のデータ領域であって、音声サンプルが発生した第１の水平ラインより後のｎ２（２≦ｎ２≦ｎ１）行の水平ラインのデータ領域に前記音声サンプルを多重する音声多重ステップを
含む処理をコンピュータに実行させるためのプログラム。
（１０）
所定のフレームレートの映像データのｎ１（ｎ１≧２）行の水平ラインに１回以下の間隔で音声のサンプリングが行われ、前記映像データを伝送するためのSDI（Serial Digital Interface）のフォーマットで規定されるデータストリームにおいて前記映像データの水平ライン毎に設けられている水平ブランキング領域内の所定のデータ領域であって、音声サンプルが発生した第１の水平ラインより後のｎ２（２≦ｎ２≦ｎ１）行の水平ラインのデータ領域に前記音声サンプルが多重された前記データストリームから前記音声サンプルを抽出し、前記音声サンプルを含む音声ストリームを復元する再生部を
含む信号処理装置。
（１１）
信号処理装置が、
所定のフレームレートの映像データのｎ１（ｎ１≧２）行の水平ラインに１回以下の間隔で音声のサンプリングが行われ、前記映像データを伝送するためのSDI（Serial Digital Interface）のフォーマットで規定されるデータストリームにおいて前記映像データの水平ライン毎に設けられている水平ブランキング領域内の所定のデータ領域であって、音声サンプルが発生した第１の水平ラインより後のｎ２（２≦ｎ２≦ｎ１）行の水平ラインのデータ領域に前記音声サンプルが多重された前記データストリームから前記音声サンプルを抽出し、前記音声サンプルを含む音声ストリームを復元する再生ステップを
含む信号処理方法。
（１２）
所定のフレームレートの映像データのｎ１（ｎ１≧２）行の水平ラインに１回以下の間隔で音声のサンプリングが行われ、前記映像データを伝送するためのSDI（Serial Digital Interface）のフォーマットで規定されるデータストリームにおいて前記映像データの水平ライン毎に設けられている水平ブランキング領域内の所定のデータ領域であって、音声サンプルが発生した第１の水平ラインより後のｎ２（２≦ｎ２≦ｎ１）行の水平ラインのデータ領域に前記音声サンプルが多重された前記データストリームから前記音声サンプルを抽出し、前記音声サンプルを含む音声ストリームを復元する再生ステップを
含む処理をコンピュータに実行させるためのプログラム。
（１３）
所定のフレームレートの映像データのｎ１（ｎ１≧２）行の水平ラインに１回以下の間隔で音声のサンプリングが行われる場合、前記映像データを伝送するためのSDI（Serial Digital Interface）のフォーマットで規定されるデータストリームにおいて前記映像データの水平ライン毎に設けられている水平ブランキング領域内の所定のデータ領域であって、音声サンプルが発生した第１の水平ラインより後のｎ２（２≦ｎ２≦ｎ１）行の水平ラインのデータ領域に前記音声サンプルを多重する音声多重部と、
前記音声サンプルが多重された前記データストリームの送信を制御する送信制御部と を備える信号送信装置と、
前記データストリームの受信を制御する受信制御部と、
前記データストリームから前記音声サンプルを抽出し、前記音声サンプルを含む音声ストリームを復元する再生部と
を備える信号受信装置と
を含む信号伝送システム。
１ 信号伝送システム, １１−１乃至１１−ｎ 放送用カメラ, １２ CCU, １０１ 撮像素子, １０２ 音声入力部, １０３ 信号処理部, １０４ 送信制御部, １１１ 映像信号処理・付加部, １１２ マッピング部， １１３ 音声多重部, １１４ 多重部, １１５ スクランブラ, １１６ パラレル／シリアル変換部, １５１ 受信制御部, １５２ 信号処理部, １６１ シリアル／パラレル変換部, １６２ デスクランブラ, １６３ 分離部, １６４ 再生部

Claims (10)

  1. SDI（Serial Digital Interface）のフォーマットで規定されるデータストリームに含まれ、複数の水平ラインを含み、フレームレートが96Hzから120Hzまでの範囲内の映像データの水平ライン毎に設けられている水平ブランキング領域内の所定のデータ領域であって、サンプリングレートが32kHzから96kHzまでの範囲内の音声サンプルが発生した第１の水平ラインの次の第２の水平ラインから連続する２行の水平ラインのデータ領域に前記音声サンプルを多重するとともに、スイッチングポイントを含む水平ラインの次の水平ラインの前記データ領域を飛ばして、前記音声サンプルを多重する音声多重部を
    備える信号処理装置。
  2. 前記音声多重部は、前記音声サンプルを多重した水平ラインが、前記スイッチングポイントの影響により後ろにずれているか否かを示すフラグを当該水平ラインの前記データ領域に設定する
    請求項１に記載の信号処理装置。
  3. 前記音声多重部は、最大で４つの音声サンプルを含む音声データパケットを最大で８つまで１つの前記データ領域に多重する
    請求項１に記載の信号処理装置。
  4. 前記映像データを多重した前記データストリームを生成する映像信号処理部を
    さらに備える請求項１に記載の信号処理装置。
  5. 信号処理装置が、
    SDI（Serial Digital Interface）のフォーマットで規定されるデータストリームに含まれ、複数の水平ラインを含み、フレームレートが96Hzから120Hzまでの範囲内の映像データの水平ライン毎に設けられている水平ブランキング領域内の所定のデータ領域であって、サンプリングレートが32kHzから96kHzまでの範囲内の音声サンプルが発生した第１の水平ラインの次の第２の水平ラインから連続する２行の水平ラインのデータ領域に前記音声サンプルを多重するとともに、スイッチングポイントを含む水平ラインの次の水平ラインの前記データ領域を飛ばして、前記音声サンプルを多重する音声多重ステップを
    含む信号処理方法。
  6. SDI（Serial Digital Interface）のフォーマットで規定されるデータストリームに含まれ、複数の水平ラインを含み、フレームレートが96Hzから120Hzまでの範囲内の映像データの水平ライン毎に設けられている水平ブランキング領域内の所定のデータ領域であって、サンプリングレートが32kHzから96kHzまでの範囲内の音声サンプルが発生した第１の水平ラインの次の第２の水平ラインから連続する２行の水平ラインのデータ領域に前記音声サンプルを多重するとともに、スイッチングポイントを含む水平ラインの次の水平ラインの前記データ領域を飛ばして、前記音声サンプルを多重する音声多重ステップを
    含む処理をコンピュータに実行させるためのプログラム。
  7. SDI（Serial Digital Interface）のフォーマットで規定されるデータストリームに含まれ、複数の水平ラインを含み、フレームレートが96Hzから120Hzまでの範囲内の映像データの水平ライン毎に設けられている水平ブランキング領域内の所定のデータ領域であって、サンプリングレートが32kHzから96kHzまでの範囲内の音声サンプルが発生した第１の水平ラインの次の第２の水平ラインから連続する２行の水平ラインのデータ領域に前記音声サンプルが多重されるとともに、スイッチングポイントを含む水平ラインの次の水平ラインの前記データ領域を飛ばして、前記音声サンプルが多重された前記データストリームから前記音声サンプルを抽出し、前記音声サンプルを含む音声ストリームを復元する再生部を
    含む信号処理装置。
  8. 信号処理装置が、
    SDI（Serial Digital Interface）のフォーマットで規定されるデータストリームに含まれ、複数の水平ラインを含み、フレームレートが96Hzから120Hzまでの範囲内の映像データの水平ライン毎に設けられている水平ブランキング領域内の所定のデータ領域であって、サンプリングレートが32kHzから96kHzまでの範囲内の音声サンプルが発生した第１の水平ラインの次の第２の水平ラインから連続する２行の水平ラインのデータ領域に前記音声サンプルが多重されるとともに、スイッチングポイントを含む水平ラインの次の水平ラインの前記データ領域を飛ばして、前記音声サンプルが多重された前記データストリームから前記音声サンプルを抽出し、前記音声サンプルを含む音声ストリームを復元する再生ステップを
    含む信号処理方法。
  9. SDI（Serial Digital Interface）のフォーマットで規定されるデータストリームに含まれ、複数の水平ラインを含み、フレームレートが96Hzから120Hzまでの範囲内の映像データの水平ライン毎に設けられている水平ブランキング領域内の所定のデータ領域であって、サンプリングレートが32kHzから96kHzまでの範囲内の音声サンプルが発生した第１の水平ラインの次の第２の水平ラインから連続する２行の水平ラインのデータ領域に前記音声サンプルが多重されるとともに、スイッチングポイントを含む水平ラインの次の水平ラインの前記データ領域を飛ばして、前記音声サンプルが多重された前記データストリームから前記音声サンプルを抽出し、前記音声サンプルを含む音声ストリームを復元する再生ステップを
    含む処理をコンピュータに実行させるためのプログラム。
  10. SDI（Serial Digital Interface）のフォーマットで規定されるデータストリームに含まれ、複数の水平ラインを含み、フレームレートが96Hzから120Hzまでの範囲内の映像データの水平ライン毎に設けられている水平ブランキング領域内の所定のデータ領域であって、サンプリングレートが32kHzから96kHzまでの範囲内の音声サンプルが発生した第１の水平ラインの次の第２の水平ラインから連続する２行の水平ラインのデータ領域に前記音声サンプルを多重するとともに、スイッチングポイントを含む水平ラインの次の水平ラインの前記データ領域を飛ばして、前記音声サンプルを多重する音声多重部と、
    前記音声サンプルが多重された前記データストリームの送信を制御する送信制御部と
    を備える信号送信装置と、
    前記データストリームの受信を制御する受信制御部と、
    前記データストリームから前記音声サンプルを抽出し、前記音声サンプルを含む音声ストリームを復元する再生部と
    を備える信号受信装置と
    を含む信号伝送システム。
JP2018128050A 2013-05-30 2018-07-05 信号処理装置、信号処理方法、プログラム、及び、信号伝送システム Expired - Fee Related JP6642640B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013114440 2013-05-30
JP2013114440 2013-05-30

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015519789A Division JP6365537B2 (ja) 2013-05-30 2014-05-19 信号処理装置、信号処理方法、プログラム、及び、信号伝送システム

Publications (2)

Publication Number Publication Date
JP2018170789A JP2018170789A (ja) 2018-11-01
JP6642640B2 true JP6642640B2 (ja) 2020-02-05

Family

ID=51988603

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2015519789A Expired - Fee Related JP6365537B2 (ja) 2013-05-30 2014-05-19 信号処理装置、信号処理方法、プログラム、及び、信号伝送システム
JP2018128050A Expired - Fee Related JP6642640B2 (ja) 2013-05-30 2018-07-05 信号処理装置、信号処理方法、プログラム、及び、信号伝送システム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2015519789A Expired - Fee Related JP6365537B2 (ja) 2013-05-30 2014-05-19 信号処理装置、信号処理方法、プログラム、及び、信号伝送システム

Country Status (5)

Country Link
US (2) US9872053B2 (ja)
JP (2) JP6365537B2 (ja)
CN (1) CN105230007B (ja)
BR (1) BR112015029329A8 (ja)
WO (1) WO2014192568A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101861941B1 (ko) * 2014-02-10 2018-07-02 돌비 인터네셔널 에이비 완벽 스플라이싱을 위한 인코딩된 오디오의 전송 스트림에의 삽입
TWI631835B (zh) * 2014-11-12 2018-08-01 弗勞恩霍夫爾協會 用以解碼媒體信號之解碼器、及用以編碼包含用於主要媒體資料之元資料或控制資料的次要媒體資料之編碼器
WO2016196138A1 (en) * 2015-05-29 2016-12-08 Lattice Semiconductor Corporation Communication of sideband data for videos
CN114040141A (zh) * 2017-10-20 2022-02-11 杭州海康威视数字技术股份有限公司 数据传输方法及摄像机、电子设备
CN111385601B (zh) * 2018-12-29 2021-09-14 华为技术有限公司 一种视频审核的方法、系统及设备
CN110475144A (zh) * 2019-08-16 2019-11-19 福州大学 一种基于fpga的 12g-sdi数据流中16声道音频的提取方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2390895A (en) * 1994-04-20 1995-11-16 Shoot The Moon Products, Inc. Method and apparatus for nesting secondary signals within a television signal
US6111610A (en) * 1997-12-11 2000-08-29 Faroudja Laboratories, Inc. Displaying film-originated video on high frame rate monitors without motions discontinuities
EP1505762A4 (en) * 2002-05-10 2012-11-07 Sony Corp ENCRYPTING DEVICE AND DECOMPOSITION DEVICE
JP4557016B2 (ja) * 2007-11-22 2010-10-06 ソニー株式会社 信号送信装置
JP4692576B2 (ja) * 2008-05-26 2011-06-01 ソニー株式会社 信号送信装置及び信号送信方法
JP4702402B2 (ja) * 2008-06-05 2011-06-15 ソニー株式会社 信号送信装置、信号送信方法、信号受信装置及び信号受信方法
JP5187134B2 (ja) * 2008-10-23 2013-04-24 ソニー株式会社 信号処理装置及び信号処理方法
CN102131119A (zh) * 2010-01-14 2011-07-20 索尼公司 信息处理设备、信息处理方法和程序
JP5400902B2 (ja) * 2010-01-22 2014-01-29 パナソニック株式会社 制御装置、表示装置、眼鏡装置及び映像システム
JPWO2011118135A1 (ja) * 2010-03-25 2013-07-04 パナソニック株式会社 送信装置、受信装置、送信方法および受信方法
US9055165B2 (en) * 2010-04-08 2015-06-09 Nec Corporation Communication system for establishing a telephone call or a data communication

Also Published As

Publication number Publication date
US9872053B2 (en) 2018-01-16
BR112015029329A2 (pt) 2017-07-25
CN105230007B (zh) 2019-04-23
BR112015029329A8 (pt) 2020-03-17
US20180139478A1 (en) 2018-05-17
JP2018170789A (ja) 2018-11-01
JPWO2014192568A1 (ja) 2017-02-23
CN105230007A (zh) 2016-01-06
US20160088320A1 (en) 2016-03-24
WO2014192568A1 (ja) 2014-12-04
JP6365537B2 (ja) 2018-08-01

Similar Documents

Publication Publication Date Title
JP6642640B2 (ja) 信号処理装置、信号処理方法、プログラム、及び、信号伝送システム
US8854540B2 (en) Signal transmission apparatus, signal transmission method, signal reception apparatus, signal reception method, and signal transmission system
US8289445B2 (en) Signal transmitting device and signal transmitting method
JP6221606B2 (ja) 信号処理装置、信号処理方法、プログラム、及び、信号伝送システム
JP4692576B2 (ja) 信号送信装置及び信号送信方法
US8982959B2 (en) Signal transmission apparatus, signal transmission method, signal reception apparatus, signal reception method, and signal transmission system
JP6620955B2 (ja) 信号処理装置、信号処理方法、プログラム、及び、信号伝送システム
US20130010187A1 (en) Signal transmitting device, signal transmitting method, signal receiving device, signal receiving method, and signal transmission system
US9071375B2 (en) Signal transmitting apparatus, signal transmitting method, signal receiving apparatus, signal receiving method, and signal transmission system
US11044439B2 (en) Signal processing apparatus, signal processing method, program, and signal transmission system
JP4483457B2 (ja) 伝送システム
JP5854208B2 (ja) 多段高速再生のための映像コンテンツ生成方法
WO2023171357A1 (ja) 信号伝送装置、信号伝送方法、信号受信装置、信号受信方法、及びプログラム
JP2003111060A (ja) 映像信号処理装置および方法、並びにプログラム
JP2006054550A (ja) 伝送システム
JP5187134B2 (ja) 信号処理装置及び信号処理方法
JP2009088820A (ja) 映像・音声信号伝送方法及びその伝送装置
JP2008028651A (ja) 信号処理装置及び信号処理方法
JP6468739B2 (ja) 映像音声信号送信装置及び方法
JP2001053702A (ja) データ伝送方法及びデータ伝送装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180720

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A132

Effective date: 20190418

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190530

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190903

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191216

R151 Written notification of patent or utility model registration

Ref document number: 6642640

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees