JP4702402B2 - 信号送信装置、信号送信方法、信号受信装置及び信号受信方法 - Google Patents

Description

本発明は、３Ｇ−ＳＤＩフォーマットで規定された映像信号と、その映像信号に同期した音声信号をシリアル伝送するための信号送信装置、信号送信方法、信号受信装置及び信号受信方法に関する。

現行の１フレームが１９２０サンプル×１０８０ラインの映像信号（画像信号）であるＨＤ（High Definition）信号を超える、超高精細映像信号の受像システムや撮像システムの開発が進んでいる。例えば、現行ＨＤの４倍、１６倍もの画素数を持つ次世代の放送方式であるＵＨＤＴＶ（Ultra High Definition Television）規格が、ＩＴＵ（International Telecommunication Union）やＳＭＰＴＥ（Society of Motion Picture and Television Engineers）に提案され、標準化が行われている。ＩＴＵやＳＭＰＴＥに提案されている映像規格は、１９２０サンプル×１０８０ラインの２倍、４倍のサンプル数、ライン数を持つ３８４０サンプル×２１６０ラインや７６８０サンプル×４３２０ラインの映像信号である。

近年は、第３世代のＳＤＩ（Serial Digital Interface）と呼ばれる３Ｇ−ＳＤＩを用いて、１９２０サンプル×１０８０ライン／３０Ｐ（６０Ｉ）の倍のフレームレートである、１９２０サンプル×１０８０ライン／６０Ｐ信号や、デジタルシネマ等の高解像度の映像を伝送する規格がＳＭＰＴＥ４２５Ｍに提案されている。３Ｇ−ＳＤＩ ＬｅｖｅｌＡは、ＨＤ−ＳＤＩで伝送される１０８０Ｉ／Ｐを規定する。また、３Ｇ−ＳＤＩ ＬｅｖｅｌＢは、２つのＨＤ−ＳＤＩを多重する方式として規定される。これは、３Ｇ−ＳＤＩにおける伝送レートがＨＤ−ＳＤＩの倍速であることが理由として挙げられる。そして、４８ｋＨｚでサンプリングされたオーディオデータ（以下、ｎｋＨｚでサンプリングされたオーディオデータを「ｎｋＨｚサンプリングオーディオ」と略称する。）の多重数はＨＤ−ＳＤＩ １ｃｈ当り最大１６ｃｈである。

特許文献１には、４ｋ×２ｋ信号（４ｋサンプル×２ｋラインの超高解像度信号）の一種である３８４０×２１６０／３０Ｐ，３０／１．００１Ｐ／４：４：４／１２ビット信号を、ビットレート１０Ｇｂｐｓ以上でシリアル伝送する技術について開示されている。なお、［３８４０×２１６０／３０Ｐ］と示した場合、［水平方向の画素数］×［垂直方向のライン数］／［１秒当りのフレーム数］を示している。本明細書において以下同じである。また、［４：４：４］は、原色信号伝送方式である場合、［赤信号Ｒ：緑信号Ｇ：青信号Ｂ］の比率を示し、色差信号伝送方式である場合、［輝度信号Ｙ：第１色差信号Ｃｂ：第２色差信号Ｃｒ］の比率を示す。
特開２００５−３２８４９４号公報

ところで、現行の３Ｇ−ＳＤＩ規格であるＳＭＰＴＥ４２５Ｍでは、３Ｇ−ＳＤＩＬｅｖｅｌＡのオーディオ多重はＳＭＰＴＥ２９９Ｍに準拠する旨が規定されている。このため、４８ｋＨｚサンプリングオーディオは最大１６ｃｈまでしか多重できない。同様に、９６ｋＨｚサンプリングオーディオは最大８ｃｈまでしか多重できない。このため、１６ｃｈを超えるような多ｃｈのオーディオを映像データに多重できない。

一方、デュアルリンク２９２規格や３Ｇ−ＳＤＩ ＬｅｖｅｌＢによれば、ＬｉｎｋＡ，Ｂそれぞれが４８ｋＨｚサンプリングオーディオの場合、最大１６ｃｈ多重できることが規定されている。また、９６ｋＨｚサンプリングオーディオの場合、最大８ｃｈ多重可能であるので、ＬｉｎｋＡ，Ｂを合計すると４８ｋＨｚサンプリングオーディオが最大３２ｃｈ多重できる。同様に、９６ｋＨｚサンプリングオーディオが最大１６ｃｈ多重できる。

従って、３Ｇ−ＳＤＩ ＬｅｖｅｌＡのオーディオの場合、ｎｋＨｚサンプリングオーディオを多重できる最大のｃｈ数（以下、単に「最大多重数」とも称する。）は、デュアルリンク２９２や３Ｇ−ＳＤＩ ＬｅｖｅｌＢの半分である。この結果、４８ｋＨｚサンプリングオーディオ１６ｃｈを超えるオーディオが３Ｇ−ＳＤＩ ＬｅｖｅｌＢに多重されると、３Ｇ−ＳＤＩ ＬｅｖｅｌＡと互換が取れない。

本発明はこのような状況に鑑みて成されたものであり、３Ｇ−ＳＤＩフォーマットのＬｅｖｅｌＡで規定される伝送ストリームに多重するオーディオデータの最大多重数を増やすことを目的とする。

本発明は、所定のフォーマットで規定され、所定ビットの量子化信号である映像データ及びオーディオデータが含まれるパラレルデータからパラレルデータの同期を制御するための同期データを検出し、オーディオデータをオーディオメモリに保存し、パラレルデータから基準クロックを抽出する。
そして、同期データ及び基準クロックに基づいて、映像データにオーディオデータを多重するタイミングを制御して、オーディオメモリから読み出したオーディオデータ及び同期データを、量子化信号が１０８０Ｐ信号である場合に、映像データの水平補助データスペースにおける、オーディオサンプルが発生した次の水平補助データスペース、あるいは、さらにもう一つ後の水平補助データスペースにオーディオデータを多重するか、または、ＳＡＶ／ＥＡＶ／ＬＮ／ＣＲＣＣを入れ替えて、ＣＲＣＣに続けて３Ｇ−ＳＤＩフォーマットのＬｅｖｅｌ Ａのデータストリーム２あるいはデュアルリンク２９２のリンクＡ，ＢのＣチャンネルに多重し、量子化信号が１０８０Ｉ／４：４：４信号である場合に、ＳＡＶ／ＥＡＶ／ＬＮ／ＣＲＣＣを入れ替えて、ＣＲＣＣに続けて３Ｇ−ＳＤＩフォーマットのＬｅｖｅｌ Ａのデータストリーム２あるいはデュアルリンク２９２のリンクＡ，ＢのＣチャンネルに多重する。
そして、オーディオデータが多重された映像データを３Ｇ−ＳＤＩフォーマットのＬｅｖｅｌＡで規定される伝送ストリームに変換する。

また、３Ｇ−ＳＤＩフォーマットのＬｅｖｅｌＡで規定され、ＳＭＰＴＥ ２９２及びＳＭＰＴＥ ３７２で規定される３Ｇ−ＳＤＩフォーマットのＬｅｖｅｌ Ｂ、又はデュアルリンクと互換の取れる、３２ｋＨｚ，４４．１ｋＨｚ，４８ｋＨｚのいずれかでサンプリングされた最大３２ｃｈ、若しくは９６ｋＨｚでサンプリングされた最大１６ｃｈのオーディオデータが多重された映像データ及び映像データの水平補助データスペースにオーディオデータが含まれる伝送ストリームをパラレルデータに変換する。
パラレルデータに含まれるパラレルデータの同期を制御するための同期データを検出し、所定のフォーマットで規定される映像データの量子化信号が１０８０Ｐ信号である場合に、映像データの水平補助データスペースにおける、オーディオサンプルが発生した次の水平補助データスペース、あるいは、さらにもう一つ後の水平補助データスペースに多重されるオーディオデータを抽出するか、または、ＳＡＶ／ＥＡＶ／ＬＮ／ＣＲＣＣを入れ替えて、ＣＲＣＣに続けて３Ｇ−ＳＤＩフォーマットのＬｅｖｅｌ Ａのデータストリーム２あるいはデュアルリンク２９２のリンクＡ，ＢのＣチャンネルに多重されるオーディオデータをパラレルデータから抽出し、量子化信号が１０８０Ｉ／４：４：４信号である場合に、ＳＡＶ／ＥＡＶ／ＬＮ／ＣＲＣＣを入れ替えて、ＣＲＣＣに続けて３Ｇ−ＳＤＩフォーマットのＬｅｖｅｌ Ａのデータストリーム２あるいはデュアルリンク２９２のリンクＡ，ＢのＣチャンネルに多重されるオーディオデータをパラレルデータから抽出してオーディオメモリに保存する。
そして、パラレルデータから基準クロックを抽出し、同期データ及び基準クロックに基づいて、映像データにオーディオデータを多重するタイミングを制御して、オーディオメモリから読み出したオーディオデータを映像データに多重する。

このようにしたことで、３Ｇ−ＳＤＩフォーマットのＬｅｖｅｌＡで規定される伝送ストリームに多重するオーディオデータの最大多重数を増やすことが可能となった。

本発明によれば、３Ｇ−ＳＤＩ ＬｅｖｅｌＡで規定される伝送ストリームに多重するオーディオデータの最大多重数を増やすことが可能となる。このため、多数ｃｈのオーディオデータを伝送ストリームに多重することができる。また、デュアルリンク２９２や３Ｇ−ＳＤＩ ＬｅｖｅｌＢとオーディオ多重の互換性を持たせることができるという効果がある。

以下、本発明の第１の実施の形態例について、図１〜図１６を参照して説明する。本実施の形態例では、映像データにオーディオデータが多重されたシリアルデジタルデータを３Ｇ−ＳＤＩで伝送可能な信号処理装置１０及びＣＣＵ２に適用した例について説明する。

図１は、本実施の形態を適用したテレビジョン放送局用のカメラ伝送システムの全体構成を示す図である。このカメラ伝送システムは、複数台の放送用カメラ１とＣＣＵ（カメラコントロールユニット）２とで構成されており、各放送用カメラ１が光ファイバーケーブル３でＣＣＵ２に接続されている。

放送用カメラ１は、同一構成のものであり、１０８０Ｐ信号あるいは１０８０Ｉ／４：４：４信号として、放送用のｍビット量子化信号（ｍは、１０又は１２）を生成する。そして、放送用カメラ１は、３Ｇ−ＳＤＩフォーマットのＬｅｖｅｌＡで信号を送信する信号送信装置１０を備える。放送用カメラ１が採用するｍビット量子化信号には、映像データが、４：４：４（Ｒ′Ｇ′Ｂ′）／（Ｙ′Ｃ′ｂＣ′ｒ）の１０ビット量子化信号、４：４：４：４（Ｒ′Ｇ′Ｂ′＋Ａ）／（Ｙ′Ｃ′ｂＣ′ｒ＋Ａ）の１０ビット量子化信号又は４：４：４（Ｒ′Ｇ′Ｂ′）／（Ｙ′Ｃ′ｂＣ′ｒ）／Ｘ′Ｙ′Ｚ′の１２ビット量子化信号のいずれかであり、フレームレートが２４Ｐ、２４／１．００１Ｐ（２４／１．００１Ｐは、以降２４Ｐに含まれるものとする。）、２５Ｐ、３０Ｐ、３０／１．００１Ｐ（３０／１．００１Ｐは、以降３０Ｐに含まれるものとする。）である場合、あるいは４：２：２／（Ｙ′Ｃ′ｂＣ′ｒ）の１２ビット量子化信号であり、フレームレートが２４Ｐ，２４／１．００１Ｐ，２５Ｐ，３０Ｐ，３０／１．００１Ｐである場合のいずれかの量子化信号における水平補助データスペースは、ＨＤ−ＳＤＩに含まれる水平補助データスペースに比べて少なくとも２倍の長さを有する。

そして、映像データが４：２：２／（Ｙ′Ｃ′ｂＣ′ｒ）の１０ビット量子化信号である場合又はフレームレートが５０Ｐ，６０Ｐ、６０／１．００１Ｐの１０ビット量子化信号である場合における単位時間当りのライン数は、ＨＤ−ＳＤＩの単位時間当りのライン数の少なくとも２倍である。そして、放送用カメラ１は、上述した映像データが含まれる１０８０／６０Ｐ／４：２：２／１０ビットあるいは１０８０／３０Ｐ／４：４：４／ビット信号を生成し、ＣＣＵ２に送信する。

ここでＡｃｈはαチャンネルとも呼ばれ、キー信号などを多重する際に使われる。またＸ′Ｙ′Ｚ′はデジタルシネマにおいて定義される、カラースペースＸＹＺで表現される映像信号を、ＳＭＰＴＥ ４２８−１の４．３章に定義されるデジタル変換式（次式（１）〜（３）におけるＣＩＥＸＹＺ表色系におけるＸＹＺの三刺激値と参照輝度Ｌ）を用いて変換したものである。

ＣＣＵ２は、各放送用カメラ１を制御したり、各放送用カメラ１から映像信号を受信したり、各放送用カメラ１のモニタに他の放送用カメラ１で撮影中の映像を表示させるための映像信号（リターンビデオ）を送信するユニットである。ＣＣＵ２は、各放送用カメラ１から映像信号を受信する信号受信装置として機能する。

図２は、放送用カメラ１の回路構成のうち、本実施の形態に関連する信号送信装置１０を示すブロック図である。放送用カメラ１内の撮像部及び映像信号処理部（図示略）によって生成された１０８０／６０Ｐ／４：２：２／１０ビットあるいは１０８０／３０Ｐ／４：４：４／ビットは、信号送信装置１０に送られる。

図２は、デュアルリンク（ＬｉｎｋＡ，Ｂ）または２ｃｈのＨＤ−ＳＤＩフォーマットのパラレル信号あるいはデュアルリンクまたはＨＤ−ＳＤＩフォーマットのパラレル信号が信号送信装置１０に入力する場合におけるブロックと処理の例を示す。デュアルリンク（ＬｉｎｋＡ，Ｂ）または２ｃｈのＨＤ−ＳＤＩフォーマットのパラレル信号が信号送信装置１０に入力される場合には、Ｓ／Ｐ変換部１１ａ，１１ｂに代えて、パラレルデータをパラレルクロックの立ち上がりエッジのタイミングで、フリップフロップでＨｉｇｈ，Ｌｏｗの論理判定をして取り込む回路が用いられる。

信号送信装置１０は、受信したシリアルデータをパラレルデータに変換するシリアル・パラレル（Ｓ／Ｐ：Serial Parallel）変換部１１ａ，１１ｂと、受信したデータに含まれるＴＲＳ（タイムリファレンス信号）を検出するＴＲＳ検出部１２ａ，１２ｂを備える。信号送信装置１０は、受信するシリアルデータには、所定のフォーマットで規定され、映像データ及びオーディオデータが含まれる。ＴＲＳは、パラレルデータの同期を制御するための同期データである。

また、信号送信装置１０は、パラレルデータに含まれるオーディオデータを抽出するオーディオ抽出部１３ａ，１３ｂと、複数ラインのパラレルデータを一時的に記憶するビデオメモリ１４ａ，１４ｂを備える。また、Ｓ／Ｐ変換部１１ａから所定の周波数の基準クロックを抽出するクロック抽出部１５と、ＴＲＳ検出部１２ａ，１２ｂで検出されたＴＲＳ及びクロック抽出部１５から供給された基準クロックに基づいて、オーディオデータと同期データを多重するタイミングを制御する制御部１６を備える。また、オーディオ抽出部１３ａ，１３ｂが抽出したオーディオデータをオーディオメモリ１７ａ，１７ｂに保存し、オーディオデータが抽出された映像データをビデオメモリ１４ａ，１４ｂに保存するメモリを備える。

また、信号送信装置１０は、ビデオメモリ１４ａ，１４ｂから読み出したパラレルデータに、オーディオメモリ１７ａ，１７ｂから読み出したオーディオデータを、制御部１６が制御するタイミングで多重する多重部１８を備える。多重部１８は、ビデオメモリ１４ａ，１４ｂから読み出した映像データの水平補助データスペースに、オーディオデータと同期データを多重する。また、多重部１８でオーディオデータが多重されたパラレルデータをシリアルデータに変換するパラレル・シリアル（Ｐ／Ｓ：Parallel Serial）変換部１９を備える。

信号送信装置１０は、ＬｉｎｋＡの第１ｃｈのＴＲＳ（タイミングリファレンス信号）を基準にして、メモリで各入力信号の位相をそろえた上で信号を読み出す。そして、ＬｉｎｋＡ，Ｂを多重して、ＴＲＳを付ける。そして、映像データにオーディオデータを多重してＰ／Ｓ変換部１９で３Ｇ−ＳＤＩフォーマットのＬｅｖｅｌＡで規定される２.９７Ｇｂｐｓのシリアルデータ（伝送ストリームとも称する。）に変換して、このシリアルデータをＣＣＵ２に送出する。

ここで、信号送信装置１０の動作例について説明する。
信号送信装置１０は、入力信号がデュアルリンクＨＤ−ＳＤＩあるいは２ｃｈのＨＤ−ＳＤＩの場合には、Ｓ／Ｐ変換部１１ａ，１１ｂがそれぞれのチャンネルをＳ／Ｐ変換する。そして、ＴＲＳ検出部１２ａ，１２ｂは、ＴＲＳ（ＳＡＶ／ＥＡＶ）を検出してワード同期を取る。ワード同期とは、ワードの区切りを調整する処理である。そして、オーディオ抽出部１３ａ，１３ｂは、オーディオデータを抜き出してオーディオメモリ１７ａ，１７ｂに送り、オーディオデータを抜き出した後の映像データはビデオメモリ１４ａ，１４ｂに入力する。

クロック抽出部１５は、入力チャンネルの内、第１ｃｈからクロックを再生する。制御部１６は、ワード同期信号ＴＲＳを用いて信号送信装置１０に必要な、基準信号、７４.２５ＭＨｚや１４５.５ＭＨｚのパラレルクロック、２.９７ＧＨｚのシリアルクロック等を作成し、各機能ブロックに分配する。

多重部１８は、ビデオメモリ１４ａ，１４ｂから、デュアルリンクＨＤ−ＳＤＩや２ｃｈのＨＤ−ＳＤＩの、第１ｃｈのＴＲＳなどのワード同期信号を基準にそれぞれのｃｈ位相をそろえて映像信号等を読み出す。そして、多重部１８は、ＳＭＰＴＥ４２４ＭのＦｉｇｕｒｅ３に示すように、ＬｉｎｋＡ，Ｂを多重し、ＴＲＳを付け、オーディオデータを後述の図１１〜図１４に従って多重する。そして、Ｐ／Ｓ変換部１９は、シリアル変換した信号を２.９７Ｇｂｐｓの伝送ストリームでＣＣＵ２に送る。

図３は、ＣＣＵ２の回路構成のうち、本実施の形態に関連する信号受信装置３０を示すブロック図である。放送用カメラ１から受信した３Ｇ−ＳＤＩＬｅｖｅｌＡ信号は、信号受信装置３０がデュアルリンク（ＬｉｎｋＡ，Ｂ）または２ｃｈのＨＤ−ＳＤＩで出力する。

信号受信装置３０は、受信した３Ｇ−ＳＤＩフォーマットのＬｅｖｅｌＡで規定されたシリアルデータ（伝送ストリーム）をパラレル変換するＳ／Ｐ変換部３１と、受信したパラレルデータから同期信号ＴＲＳを検出するＴＲＳ検出部３２を備える。また、パラレルデータからオーディオデータを抽出するオーディオ抽出部３３を備える。オーディオ抽出部３３は、抽出したオーディオデータをオーディオメモリ３９に一時保存し、オーディオデータが抽出された映像データをビデオメモリ３４に一時保存する。また、信号受信装置３０は、Ｓ／Ｐ変換部３１で変換したパラレルデータから基準クロック等を抽出するクロック抽出部３７と、各機能ブロックの処理を制御する制御部３８を備える。

また、信号受信装置３０は、ビデオメモリ３４から読み出した映像データにオーディオメモリ３９から読み出したオーディオデータを多重し、デュアルリンク（ＬｉｎｋＡ，Ｂ）または２ｃｈのＨＤ−ＳＤＩフォーマットのパラレル信号あるいはデュアルリンクまたはＨＤ−ＳＤＩフォーマットのパラレル信号に分離する多重分離部３５を備える。多重分離部３５は、制御部３８から基準クロックが供給され、オーディオデータを多重し、映像データを分離するタイミングが制御される。そして、多重分離部３５が多重したオーディオデータは、オーディオメモリ３９に送られ、映像データは、ビデオメモリ３４に送られる。

多重分離部３５で分離・多重されたパラレルデータは、Ｐ／Ｓ変換部３６ａによって、デュアルリンクＬｉｎｋＡまたはＨＤ−ＳＤＩのｃｈ１に変換される。同様に、多重分離部３５で分離・多重されたパラレルデータは、Ｐ／Ｓ変換部３６ｂによって、デュアルリンクＬｉｎｋＢまたはＨＤ−ＳＤＩのｃｈ２に変換される。

ここで、信号受信装置３０の動作例について説明する。
信号受信装置３０は、３Ｇ−ＳＤＩ ＬｅｖｅｌＡを受信すると、Ｓ／Ｐ変換部３１がＳ／Ｐ変換する。そして、ＴＲＳ検出部３２は、ＴＲＳ（ＳＡＶ／ＥＡＶ）にてワード同期を取り、オーディオ抽出３３は、オーディオデータを抜き出してオーディオメモリ３９に送る。さらに、オーディオ抽出部３３は、オーディオデータを抜き出した後の映像データをビデオメモリ３４に入力する。

信号受信装置３０からの出力信号がデュアルリンクＨＤ−ＳＤＩあるいは２ｃｈのＨＤ−ＳＤＩの場合、多重分離部３５は、ビデオメモリ３４からＬｉｎｋＡ，Ｂを分離する。そして、多重分離部３５は、ＬｉｎｋＡ，Ｂあるいは２ｃｈのＨＤ−ＳＤＩに分離し、ＴＲＳをＳＭＰＴＥ２９２に従って付け直し、オーディオデータをＳＭＰＴＥ２９９Ｍに従って多重し直す。そして、Ｐ／Ｓ変換部３６ａ，３６ｂは、各ｃｈをＰ／Ｓ変換して出力する。

クロック抽出部３７は、入力された３Ｇ−ＳＤＩ ＬｅｖｅｌＡからクロックを再生する。制御部３８は、クロック抽出部３７が抽出したクロックと、ＴＲＳ検出部３２が検出したワード同期信号ＴＲＳを用いて信号受信装置３０に必要となる、基準信号やパラレルクロック７４.２５ＭＨｚや１４５.５ＭＨｚ、シリアルクロック１.４８５ＧＨｚ、オーディオデータ用の４８ｋＨｚを作成し、各機能ブロックに分配する。

図４は、所定のサンプリング周波数でサンプリングしたオーディオデータをサブフレーム１，２で送る場合のオーディオデータパケットの構成例の一部を示す図である。オーディオデータパケットのデータ構造は、ＳＭＰＴＥ２９９Ｍによって定められる。

図４（ａ）は、４８ｋＨｚのサンプリング周波数でサンプリングした２ｃｈのオーディオ（以下、４８ｋＨｚオーディオという。）信号をサブフレーム１，２で送る場合のオーディオデータパケットの例である。このオーディオデータパケットは、２ワードのユーザデータワード（ＵＤＷ：User Data Word）を含むクロック領域と、４ワードのＵＤＷを含むＣＨ１〜４で構成される。

図４（ｂ）は、９６ｋＨｚのサンプリング周波数でサンプリングした１ｃｈのオーディオ（以下、９６ｋＨｚオーディオという。）信号の連続した２サンプルをサブフレーム１，２で送る場合のオーディオデータパケットの例である。このオーディオデータパケットは、２ワードのＵＤＷを含むクロック領域と、４ワードのＵＤＷを含むＣＨ１，１，２，２で構成される。

クロック領域には、次表１に示すように、オーディオクロック位相データが挿入される。オーディオクロック位相データは、オーディオが発生したタイミングを示す値である。また、所定のサンプリングクロックでサンプルされたオーディオサンプル位置は、各フレームの一水平期間（水平ブランキング期間、ＳＡＶ、映像データ領域及びＥＡＶ）中の７４．２５ＭＨｚでのサンプル位置で定義される。オーディオデータパケットは、不図示のフォーマッタによって、水平補助データスペースに多重される。

オーディオクロック位相データは、ｃｋ０〜ｃｋ１２の１３ビットで定められる。ｃｋ０〜ｃｋ１２までのビットは、フォーマッタへの音声入力のサンプルと同時に入力した映像サンプルと、映像ストリームのＥＡＶの最初のワードとの差の映像クロック数を表示する。そして、ｃｋ０〜ｃｋ１２は、ＳＭＰＴＥ２９２Ｍによる７４．２５ＭＨｚのサンプリングクロックを使用するシステムでは、所定のサンプリングクロックでサンプルされたオーディオサンプルが挿入された一水平期間におけるオーディオクロック位相を、８１９２クロックまで管理することができる。

デジタルオーディオのシリアルインタフェース規格であるＡＥＳ３―２００３のＦｉｇｕｒｅ２には、サブフレームフォーマットが定められている。また、フレームフォーマットとして、２チャンネルモードの場合、２チャンネルの４８ｋＨｚオーディオを、連続したサブフレーム１，２で送る旨が規定されている。また、ＳＭＰＴＥ２９９Ｍには、４８ｋＨｚオーディオをチャンネル１，２に入れることについて規定されている。

従来は、図４（ａ）に示すように、チャンネル１は、サブフレーム１で送られ、チャンネル２は、サブフレーム２で送られる。さらに、チャンネル３は、次のサブフレーム１で送られ、チャンネル４は、次のサブフレーム２で送られる。

本実施の形態では、信号送信装置１０と、受信側の機器との間で、信号伝送時の互換性を有するために、９６ｋＨｚオーディオのチャンネル１の連続したサンプルを、チャンネル１，２に入れる。さらに、９６ｋＨｚオーディオのチャンネル２の連続したサンプルを、チャンネル３，４に入れるよう規定する。つまり、図４（ｂ）に示すように、１チャンネルの９６ｋＨｚオーディオの連続したサンプルのうち、チャンネル１を、連続するサブフレーム１，２で送る。そして、チャンネル２を、連続するサブフレーム１，２で送る。

ここで、３Ｇ−ＳＤＩ ＬｅｖｅｌＡ，Ｂにおけるデータストリームの構成例について、図５〜図８を参照して説明する。
図５は、データストリーム１，２と３Ｇ−ＳＤＩ ＬｅｖｅｌＡのデータストリームの構成例である。
図５（ａ）は、データストリーム１の構成例である。
データストリーム１には、Ｙアクティブビデオ領域の映像データの輝度信号（Ｙ）が含まれる。
図５（ｂ）は、データストリーム２の構成例である。
データストリーム１には、Ｃアクティブビデオ領域の映像データの色差信号（Ｃｂ／Ｃｒ）が含まれる。
図５（ｃ）は、１０８０Ｐにおける３Ｇ−ＳＤＩ ＬｅｖｅｌＡデータストリームの構成例である。
３Ｇ−ＳＤＩ ＬｅｖｅｌＡデータストリームには、１０ビット単位でＣｂ，Ｙ，Ｃｒ，Ｙ，…と多重される。

図６は、データストリーム１，２へのＲ′，Ｇ′，Ｂ′，Ａデータの多重例を示す。
図６（ａ）は、データストリーム１への多重例である。
Ｒ′データストリームのＲ′０，Ｒ′１と、Ｇ′データストリームのＧ′０，Ｇ′１は、データストリーム２のＣ０，Ｃ１フィールドに、Ｇ′０，Ｒ′０，Ｇ′１，Ｒ′１の順に格納される。

図６（ｂ）は、データストリーム２への多重例である。
Ｂ′データストリームのＢ′０，Ｂ′１と、Ａ′データストリームのＡ′０，Ａ′１は、データストリーム１のＹ０，Ｙ１フィールドに、Ａ′０，Ｂ′０，Ａ′１，Ｂ′１の順に格納される。

図６（ｃ）は、Ｒ′Ｇ′Ｂ′Ａデータが多重された３Ｇ−ＳＤＩ ＬｅｖｅｌＡデータストリーム(１０８０Ｉ／４:４:４)の構成例である。
３Ｇ−ＳＤＩ ＬｅｖｅｌＡデータストリームには、１０ビット単位でＡ，Ｇ，Ｂ，Ｒ，…と多重される。

図７は、ＬｉｎｋＡ，Ｂと３Ｇ−ＳＤＩ ＬｅｖｅｌＢのデータストリームの構成例である。
図７（ａ）は、ＬｉｎｋＡの構成例である。
図７（ｂ）は、ＬｉｎｋＢの構成例である。
図７（ｃ）は、３Ｇ−ＳＤＩ ＬｅｖｅｌＢの構成例である。

図８は、ＬｉｎｋＡ，Ｂが多重された３Ｇ−ＳＤＩ ＬｅｖｅｌＢのデータストリームの構成例である。
オーディオクロック位相は、ＳＭＰＴＥ２９９Ｍに従って定められる。そして、オーディオクロック位相は、フォーマッタでのＥＡＶから１０８０Ｐ信号あるいは１０８０Ｉ／４：４：４信号の一水平期間上の位相情報に基づいて、１０８０Ｐ信号あるいは１０８０Ｉ／４：４：４信号のサンプリングクロック７４．２５ＭＨｚあるいは１４８．５ＭＨｚのクロック位相で定義される。

図９は、Ｎａ（Number of Audio samples；水平ライン当たりのオーディオサンプル数）の計算例である。
入力映像信号の水平ラインは、入力映像信号の有効ライン期間を示すタイミング基準信号と、水平ラインにおける水平補助データスペースを示す補助データスペースを含む。そして、色差信号（Ｃｒ／Ｃｂ）のデータストリームの水平補助データスペースのみがオーディオデータパケットの送出に使用される。ただし、スイッチングポイントの次のラインの水平補助データスペースには多重してはならない。

そして、１つの水平補助データスペースに割り当てられるオーディオデータパケットの多重数は、以下の条件式で算定されるＮａ／２以下に制限される。このとき、１つの水平補助データスペースに多重できるチャンネル当りのオーディオサンプル数Ｎｏは、以下の条件式に基づいて、Ｎａの値から導かれる。

多重位置は、オーディオサンプルが発生した次の水平補助データスペース、あるいは、さらにもう一つ後の水平補助データスペースである。２４Ｐ信号の４８ｋＨｚオーディオの場合、Ｎａ＝２（９６ｋＨｚオーディオでは４)である。このため、４８ｋＨｚオーディオの場合であって、最大１６チャンネル（９６ｋＨｚオーディオの場合には最大８チャンネル）を伝送する時には、１２４バイトのオーディオデータを２サンプル、すなわち２つで送ることができる。

図１０は、３Ｇ−ＳＤＩ ＬｅｖｅｌＡの１０８０Ｐと１０８０Ｉ／４:４:４のデータ構造の例を示す。
始めに、ＳＭＰＴＥ４２５ＭのＴａｂｌｅ１を次表２に示す。

表２（ＳＭＰＴＥ４２５ＭのＴａｂｌｅ１）に示すとおり、本例では、参照するＳＭＰＴＥ規格をＳＭＰＴＥ２７４Ｍとする。そして、マッピングストラクチャ１を１０８０Ｐについて説明し、マッピングストラクチャ２，３を１０８０Ｉについて説明するものとする。

ＳＭＰＴＥ４２５ＭのＦｉｇｕｒｅ１〜４には、３Ｇ−ＳＤＩ ＬｅｖｅｌＡの１０８０Ｐの１水平期間期間が６０Ｐの場合、２２００サンプルであることが示される。同様に、ＳＭＰＴＥ４２５ＭのＦｉｇｕｒｅ２，３，４より、１０８０Ｉ／４:４:４／１０ビット，１２ビット，１０８０Ｉ／４:２:２／１２ビットの１水平期間期間が６０Ｉまたは３０Ｐの場合、４４００サンプルであることが示される。

つまり、１０８０Ｐでは現行の１．５Ｇｂｐｓで伝送されるＨＤと同じ１水平期間のサンプル数を持ちつつ、単位時間当たりのライン数が倍となる。１０８０Ｉでは現行の１．５Ｇｂｐｓで伝送されるＨＤの倍のサンプル数を持ちつつ、単位時間当たりのライン数は同じである。従ってオーディオデータを多重するＨブランクに関しても、１０８０ＰではＨブランクのサンプル数は現行１．５ＧｂｐｓのＨＤと同じであるが、単位時間当たりのライン数が倍となる。一方、１０８０ＩではＨブランクのサンプル数は倍であるが単位時間当たりのライン数は同じである。

ところで、ＳＭＰＴＥ４２５Ｍに規定される３Ｇ−ＳＤＩ ＬｅｖｅｌＡのオーディオデータ多重方式はＳＭＰＴＥ２９９Ｍに準拠する旨が規定されている。しかし、ＳＭＰＴＥ２９９Ｍは、「ＡＥＳ３で定義される２４ビットのオーディオデータをＳＭＰＴＥ２９２Ｍ（ＨＤ−ＳＤＩ）に多重する規格」である。このため、ＳＭＰＴＥ２９２Ｍは、３Ｇ−ＳＤＩ用に対応しておらず、今後、多ｃｈのオーディオデータを多重するために用いる場合、現行のデュアルリンク規格ＳＭＰＴＥ３７２Ｍと多重ｃｈ数の整合が取れない。

そこで、本発明者は、３Ｇ−ＳＤＩ ＬｅｖｅｌＡに用いるために、現行のオーディオデータ多重規格ＳＭＰＴＥ２９９Ｍやデュアルリンク２９２規格ＳＭＰＴＥ３７２Ｍと整合が取れる、新しいオーディオデータ多重方式を提案した。以下、このオーディオ多重方式について説明する。

ここで、１０８０Ｐにおけるオーディオデータの２種類の多重方式について説明する。

［第１の多重方式（１０８０Ｐ）］
第１の多重方式を用いると、オーディオのサンプルがある各ラインの次のライン（スイッチングラインは除く）にオーディオデータパケットを多重する。そして、１０８０Ｐでの１ライン当たりのサンプル数は１より小さいので、１２４バイトのオーディオデータパケットで４８ｋＨｚオーディオ１６ｃｈ（９６ｋＨｚオーディオは８ｃｈ）まで多重できる。これを２つで、デュアルリンク２９２（ＳＭＰＴＥ３７２Ｍ）と同等の４８ｋＨｚオーディオ３２ｃｈ（９６ｋＨｚオーディオは１６ｃｈ）までのオーディオチャンネルを伝送できる。

図１１は、１０８０Ｐを用いてデータを伝送する場合におけるオーディオデータパケットの構成例である。
フレームレート５０Ｐ，５９.９４Ｐ，６０Ｐでは，１ライン当たりの４８ｋＨｚオーディオサンプル数がそれぞれ、０.８５３３…，０.７１０４…，０.７１１１…である。このため、データストリーム２の各ラインのＥＡＶ／ＬＮ／ＣＲＣに続く、１２４バイトのデータ長を有する第１のオーディオデータパケットで１６ｃｈ（９６ｋＨｚオーディオの場合、最大８ｃｈ）の４８ｋＨｚオーディオを伝送する。

そして、１２４バイトのデータ長を有する第２のオーディオデータパケットを用いて、１６ｃｈ（９６ｋＨｚオーディオの場合、最大８ｃｈ）の４８ｋＨｚオーディオを伝送する。オーディオクロック位相はビデオクロック（７４.２５ＭＨｚ（７４.２５／１.００１ＭＨｚ含む）ＭＨｚあるいは１４８.５ＭＨｚ（１４８.５／１.００１ＭＨｚ含む））で規定される。

［第２の多重方式（１０８０Ｐ）］
第２の多重方式を用いると、デュアルリンク２９２（ＳＭＰＴＥ３７２Ｍ）から３Ｇ−ＳＤＩ ＬｅｖｅｌＡへの載せ換え、３Ｇ−ＳＤＩ ＬｅｖｅｌＡからデュアルリンク２９２への載せ換えを、最小限の信号処理で行うことができる。すなわち、ＳＡＶ／ＥＡＶ／ＬＮ／ＣＲＣＣを入れ替えるのみで、オーディオデータはそのままＣＲＣＣに続けて３Ｇ−ＳＤＩ ＬｅｖｅｌＡのデータストリーム２あるいはデュアルリンク２９２のＬｉｎｋＡ，ＢのＣｃｈに多重するだけでよい。

図１２は、ＳＭＰＴＥ３７２Ｍ Ｆｉｇｕｒｅ２に示されるデジタルフィールドの割当て例である。
ここでは、元の映像のライン番号を、ＬｉｎｋＡ，Ｂ毎に示している。そして、２ｎ，２ｎ＋１（ｎは自然数）番目のライン番号毎に設定されるデジタルインタフェースのライン番号の対応関係を示している。

デジタルフィールドには、デジタルフィールドブランキングとデジタルアクティブフィールドが含まれる。ＬｉｎｋＡには、ライン番号２，４，…，１１２２，１１２４，１，３，…，１１２３，１１２５の順に元の映像のラインが多重される。ＬｉｎｋＢには、ライン番号３，５，…，１１２３，１１２５，２，４，…，１１２２，１１２４，１の順に元の映像のラインが多重される。
そして、デジタルインタフェースのライン番号は、１，２，…，１１２４，１１２５と付け直す。

ＳＭＰＴＥ３７２Ｍ（デュアルリンク２９２）規格との整合性を考慮すると、始めに、基準となる第１のフレームの先頭から２，４，６，…，１１２４ラインを伝送する。続いて、第１のフレームに続く第２のフレームの先頭から１，３，５，…，１１２５ラインのデータストリーム２（Ｃチャンネル相当）の、ＥＡＶ／ＬＮ／ＣＲＣに続く、１２４バイトのデータ長を持つ第１及び第２のオーディオデータパケットを用いて、現行１．５ＧｂｐｓのＨＤ−ＳＤＩと同じく最初の１６ｃｈ（９６ｋＨｚオーディオの場合、最大８ｃｈ）までの４８ｋＨｚオーディオを伝送する。

４８ｋＨｚオーディオが１６ｃｈ（９６ｋＨｚオーディオの場合８ｃｈ）以上ある場合、基準となる第１のフレームの先頭から３，５，７，…，１１２５ラインを伝送する。続いて、第１のフレームに続く第２のフレームの先頭から２，４，６，…，１１２４ラインのデータストリーム２（Ｃチャンネル相当）のＥＡＶ／ＬＮ／ＣＲＣに続く、１２４バイトのデータ長を持つ第１及び第２のオーディオデータパケットを用いて、現行１．５ＧｂｐｓのＨＤ−ＳＤＩと同じく４８ｋＨｚオーディオの場合、最大１６ｃｈ（９６ｋＨｚオーディオの場合、最大８ｃｈ）までを伝送する。

オーディオクロック位相は、ビデオクロック（７４.２５ＭＨｚ（７４.２５／１.００１ＭＨｚ含む）あるいは１４８.５ＭＨｚ（１４８.５／１.００１ＭＨｚ含む））で規定する。例えば、オーディオ第２０ｃｈのサンプルが第８ラインにあり、第９ラインにオーディオデータを多重する場合においても、オーディオクロック位相は１３ビットあり、８１９２クロックまでカバーできるので次のラインに多重しても問題ない。ただし、多重するオーディオデータは、サンプル番号が小さい順に多重する。

このデータ構造を採用すると、５０Ｐ，６０／１.００１Ｐ，６０Ｐ信号の２フレーム単位で信号処理を行うことになる。基準となるフレーム、次のフレームは、ＳＭＰＴＥ２７４Ｍで規定されるＸＹＺ信号の通常は第１のフィールド、第２のフィールドを識別するために用いられるＦビット、あるいはＸＹＺの下位２ビットの予約領域等を用いて識別できる（図５と図６参照）。

図１３は、１０８０Ｐを用いてデータを伝送する場合におけるオーディオデータパケットの構成例である。図１３に示すオーディオデータパケットの構成例は、上述した図１１に示すオーディオデータパケットの構成例と同様である。

図１３に示すオーディオデータパケットは、１２４バイトのオーディオデータパケットを２つつなげて２４８バイトの長さにしたものである。１２４バイトのオーディオデータパケットには、４８ｋＨｚオーディオが最大１６ｃｈ格納される。そして、９６ｋＨｚオーディオが最大８ｃｈ格納される。

図１３（ａ）は、第１のオーディオデータパケットの例である。
第１のオーディオデータパケットには、基準フレームの先頭から、２，４，６，…，１１２４ライン、続いて次のフレームの１，３，５，…，１１２５ラインで４８ｋＨｚオーディオが１６ｃｈまで格納される。

図１３（ｂ）は、第２のオーディオデータパケットの例である。
第２のオーディオデータパケットには、基準フレームの先頭から、３，５，７，…，１１２５ライン、続いて次のフレームの２，４，６，…，１１２４ライン、さらに次のフレームの１ラインで４８ｋＨｚオーディオ１６ｃｈまで格納される。

次に、１０８０Ｉ／４:４:４におけるオーディオデータの多重方式について説明する。
［第３の多重方式（１０８０Ｉ／４:４:４）］
第３の多重方式を用いると、デュアルリンク２９２（ＳＭＰＴＥ３７２Ｍ）から３Ｇ−ＳＤＩ ＬｅｖｅｌＡへの載せ換え、３Ｇ−ＳＤＩ ＬｅｖｅｌＡからデュアルリンク２９２への載せ換えを、最小限の信号処理で行うことができる。すなわち、ＳＡＶ／ＥＡＶ／ＬＮ／ＣＲＣＣを入れ替えるのみで、オーディオデータはそのままＣＲＣＣに続けて３Ｇ−ＳＤＩ ＬｅｖｅｌＡのデータストリーム２あるいはデュアルリンク２９２のＬｉｎｋＡ，ＢのＣｃｈに多重するだけでよい。

図１４は、第３のオーディオデータパケットの例である。
第３のオーディオデータパケットは、１２４バイトのオーディオデータパケットを４つつなげて４９６バイトの長さにしたものである。１２４バイトのオーディオデータパケットには、４８ｋＨｚオーディオが最大１６ｃｈ格納される。そして、９６ｋＨｚオーディオが最大８ｃｈ格納される。

フレームレート２３.９８Ｐ，２４Ｐ，２５Ｐ，２９.９７Ｐ，３０Ｐでは１ライン当たりの４８ｋＨｚオーディオサンプル数がそれぞれ、１.７７９…，１.７７７，１.７０６６…，１.４２３６，１.４２２２，…である。
このため、データストリーム２の各ラインのＥＡＶ／ＬＮ／ＣＲＣに続く第１及び第２のオーディオデータパケット １２４バイト ２つで現行１．５ＧｂｐｓのＨＤ−ＳＤＩと同じく４８ｋＨｚオーディオ １６ｃｈ（９６ｋＨｚオーディオの場合、最大８ｃｈ）を伝送する。

続く第３及び第４のオーディオデータパケット １２４バイト ２つでさらに４８ｋＨｚオーディオ １６ｃｈ（９６ｋＨｚオーディオの場合、最大８ｃｈ）を伝送する。オーディオクロック位相はビデオクロック（７４.２５ＭＨｚ（７４.２５／１.００１ＭＨｚ含む）ＭＨｚあるいは１４８.５ＭＨｚ（１４８.５／１.００１ＭＨｚ含む））で規定する。

図１５は、本実施の形態に係る４８ｋＨｚオーディオの多重位置フラグ（ｍｐｆ）の規定例を示す。

オーディオデータＡ，Ｂ，Ｃ，Ｅ，Ｇの場合、サンプルペアのうち、第２のオーディオサンプルの位置の次の水平ラインの水平補助データスペースにオーディオデータパケットが多重される。このとき、ｍｐｆ＝０である。

第１の水平ラインに連続する第２の水平ラインの補助データスペースに、オーディオサンプルを含むオーディオデータパケットが多重して挿入される。水平補助データスペースがスイッチングポイントに続く場合は、データの誤りを防ぐため、オーディオデータパケットは、次の１ライン分だけ遅延して多重される。

ところで、Ｎ／Ａ(Not Available)は、スイッチングポイントの次のラインの水平補助データスペースに、オーディオデータパケットが多重できないことを示す。例えば、オーディオデータＤのサンプリングポイントには、入力映像信号の中にスイッチングポイントがある。このため、オーディオデータパケットがオーディオサンプルの入力タイミングに対して、２番目のラインの水平補助データスペースに多重されているので、ｍｐｆ＝１にセットされる。これにより、図１５のオーディオデータＤに示すようなスイッチングポイントによるオーディオデータの１ラインずらし時にもオーディオデータを多重することができる。

図１６は、本実施の形態に係る９６ｋＨｚオーディオの多重位置フラグ（ｍｐｆ）の規定例を示す。オーディオデータＡ〜Ｈは、サンプルペアを含む。

オーディオデータＡ，Ｂ，Ｃ，Ｅ，Ｆ，Ｇの場合、サンプルペアのうち、第２のオーディオサンプルの位置の次の水平ラインの水平補助データスペースにオーディオデータパケットが多重される。このとき、ｍｐｆ＝０である。

第１の水平ラインに連続する第２の水平ラインの補助データスペースに、第１及び第２のオーディオサンプルを含むオーディオデータパケットが多重して挿入される。水平補助データスペースがスイッチングポイントに続く場合は、データの誤りを防ぐため、オーディオデータパケットは、次の１ライン分だけ遅延して多重される。第１及び第２のオーディオサンプルが含まれる第１のオーディオデータパケット及び第１のオーディデータパケットに連続する第２のオーディオデータパケットは、第２の水平ラインに連続する第３の水平ラインの補助データスペースに多重して挿入される。

図１５で説明したように、図１６においても、Ｎ／Ａ(Not Available)は、スイッチングポイントの次のラインの水平補助データスペースに、オーディオデータパケットが多重できないことを示す。そして、オーディオデータＤのサンプリングポイントである入力映像信号の中にスイッチングポイントがある。オーディオデータパケットは、オーディオサンプルの入力タイミングに対して２番目のラインの水平補助データスペースに多重されているので、出力映像信号に含まれるオーディオデータＤは、ｍｐｆ＝１がセットされる。

以上説明した第１の実施の形態に係る信号送信装置１０及び信号受信装置３０によれば、３Ｇ−ＳＤＩ ＬｅｖｅｌＡで、現在４８ｋＨｚオーディオの場合、最大１６ｃｈ（９６ｋＨｚオーディオの場合、最大８ｃｈ）の規定を、２倍の４８ｋＨｚオーディオの場合、最大３２ｃｈ（９６ｋＨｚオーディオの場合、最大１６ｃｈ）に拡大できる。そして、ＳＭＰＴＥ ４２８-２では、９６ｋＨｚオーディオの場合、最大１６ｃｈが必要と規定されている。このため、将来の多ｃｈのオーディオ需要に対応することができる。

また、デュアルリンク２９２や３Ｇ−ＳＤＩ ＬｅｖｅｌＢでは、４８ｋＨｚオーディオの場合、最大３２ｃｈ（９６ｋＨｚオーディオの場合、最大１６ｃｈ）多重可能である。このため、本発明に係る多重方式を用いることで３Ｇ−ＳＤＩ ＬｅｖｅｌＡとデュアルリンク２９２や３Ｇ−ＳＤＩ ＬｅｖｅｌＢとで、オーディオ多重ｃｈ数において相互互換を持つことが可能である。

現状のＳＭＰＴＥ４２５Ｍに規定される３Ｇ−ＳＤＩ ＬｅｖｅｌＡのオーディオ多重数は、４８ｋＨｚサンプリングオーディオで最大１６ｃｈ（９６ｋＨｚサンプリングオーディオでは最大８ｃｈ）であるが、これを２倍の４８ｋＨｚサンプリングオーディオでは最大３２ｃｈ、（９６ｋＨｚサンプリングオーディオでは最大１６ｃｈ）を可能にするオーディオデータ多重方式を発明し、将来の１６ｃｈを超える多ｃｈのオーディオ需要に対応することを可能にした。また、デュアルリンク２９２や３Ｇ−ＳＤＩ ＬｅｖｅｌＢと、オーディオ多重ｃｈ数において相互に互換性を持つ。

次に、本発明の第２の実施の形態例について、図１７と図１８を参照して説明する。ただし、図１７と図１８において、既に第１の実施の形態で説明した図２と図３に対応する部分には同一符号を付し、詳細な説明を省略する。

図１７は、本発明の第２の実施の形態例に係る信号送信装置２１の内部構成例を示す。
本例の信号送信装置２１は、オーディオデータが多重された差動伝送方式におけるＬＶＤＳ信号をＮチャンネル（ｃｈ１〜ｃｈＮ）入力としている。そして、信号送信装置２１は、チャンネル数に合わせて、ｎ個のＳ／Ｐ変換部１１ａ〜１１ｎ、パラレルデータからワード同期信号を検出するワード検出部２２ａ〜２２ｎ、オーディオ抽出部１３ａ〜１３ｎ、ビデオメモリ１４ａ〜１４ｎを備える。

次に、信号送信装置２１の動作例について説明する。
入力信号が多ｃｈのＬＶＤＳの場合には、Ｓ／Ｐ変換部１１ａ〜１１ｎは、各ｃｈをＳ／Ｐ変換する。そして、ワード検出部２２ａ〜２２ｎは、各チャンネルで予め決められた所定のワード同期信号を検出して、ワード同期を取る。そして、オーディオ抽出部１３ａ〜１３ｎは、所定の場所に多重されたオーディオデータを抜き出して各オーディオメモリ１７ａ〜１７ｎに送り、オーディオデータを抜き出した後の映像データはビデオメモリ１４ａ〜１４ｎに入力する。以降の動作は、上述した第１の実施の形態例における信号送信装置１０と同様である。

図１８は、本発明の第２の実施の形態例に係る信号受信装置４１の内部構成例を示す。
信号受信装置４１は、ビデオメモリ３４から読み出した映像データに、オーディオメモリ３９から読み出したオーディオデータを多重して、ｎチャンネルに分離する多重分離部４０を備える。多重分離部４０は、出力信号が多ｃｈのＬＶＤＳ信号である場合には、メモリからＣｈ１〜ｃｈＮを分離して取り出し、ＴＲＳを映像データに多重して、ｃｈ１〜ｃｈＮに分割する。このとき、多重分離部４０は、オーディオデータを映像データの所定の期間に多重する。そして、Ｐ／Ｓ変換部３６ａ〜３６ｎは、多重分離部４０から供給された基準クロックに基づいて、それぞれのＬｉｎｋに所定のワード同期信号を多重し、各チャンネルのパラレルデータをｃｈ１〜ｃｈＮのＬＶＤＳ等の差動伝送方式における複数ｃｈのシリアル信号に変換し、外部の装置に送出する。

以上説明した第２の実施の形態によれば、カメラが備える信号送信装置２１は、複数チャンネルのＬＶＤＳ信号から抽出したオーディオデータを、３Ｇ−ＳＤＩ ＬｅｖｅｌＡに変換した映像データに多重してＣＣＵ２に送出する。一方、ＣＣＵ２が備える信号受信装置４１は、受信した３Ｇ−ＳＤＩ ＬｅｖｅｌＡの映像データから抽出したオーディオデータを、ＬＶＤＳ等の差動伝送方式における複数ｃｈのシリアル信号の映像データに多重して外部の装置に送出する。このため、信号送信装置２１と信号受信装置４１を用いることで、オーディオデータが多重されたＬＶＤＳ信号を送受信するためのインタフェースを提供できるという効果がある。

図１９は、本発明の第３の実施の形態例に係る信号送信装置２２の内部構成例を示す。
本例の信号送信装置２２は、オーディオデータが多重された差動伝送方式におけるＬＶＤＳ等の差動伝送方式における複数ｃｈのシリアル信号をＮチャンネル（ｃｈ１〜ｃｈＮ）入力としている。そして、信号送信装置２２は、入力されたオーディオデータを抽出し、オーディオメモリ１７ｃに保存するオーディオ抽出部２３を備える。また、信号送信装置２２は、チャンネル数に合わせて、ｎ個のＳ／Ｐ変換部１１ａ〜１１ｎ、パラレルデータからワード同期信号を検出するワード検出部２２ａ〜２２ｎ、ビデオメモリ１４ａ〜１４ｎを備える。

次に、信号送信装置２２の動作例について説明する。
入力信号にオーディオデータが多重されておらず、外部からＡＥＳ３などのデータ形式で信号送信装置２２に入力される場合には、オーディオ抽出部２３は、ＡＥＳ３などのデータからオーディオデータを抽出してオーディオメモリ１７ａに入力する。入力信号が多ｃｈのＬＶＤＳ等の差動伝送方式における複数ｃｈのシリアル信号の場合には、Ｓ／Ｐ変換部１１ａ〜１１ｎは、各ｃｈをＳ／Ｐ変換する。そして、ワード検出部２２ａ〜２２ｎは、各チャンネルで予め決められた所定のワード同期信号を検出して、ワード同期を取る。ワード検出部２２ａ〜２２ｎは、映像データをビデオメモリ１４ａ〜１４ｎに入力する。以降の動作は、上述した第１の実施の形態例における信号送信装置１０と同様である。

図２０は、本発明の第３の実施の形態例に係る信号受信装置４２の内部構成例を示す。
信号受信装置４２は、オーディオメモリ３９からオーディオデータを読み出して、制御部３８の制御によりＡＥＳ方式のオーディオ信号を生成するオーディオ信号生成部４４を備える。また、出力信号が多ｃｈのＬＶＤＳの場合には、ビデオメモリ３４から読み出した映像データに、オーディオメモリ３９から読み出したオーディオデータを多重して、ｎチャンネルに分離する多重分離部４３を備える。多重分離部４３は、ビデオメモリ３４から読み出した映像データにＴＲＳを多重して、ｃｈ１〜ｃｈＮに分離する。このとき、多重分離部４３は、オーディオメモリ３９から読み出したオーディオデータをビデオメモリ３４から読み出した映像データの所定の期間に多重する。

そして、オーディオ信号生成部４４は、オーディオメモリ３９から読み出したオーディオデータをＥＳ３などのオーディオデータに変換して出力する。オーディオ信号生成部４４で用いられる信号処理用のクロックは制御部３８が供給する。そして、Ｐ／Ｓ変換部３６ａ〜３６ｎは、デュアルリンクＨＤ−ＳＤＩや２ｃｈのＨＤ−ＳＤＩ信号、多ｃｈのＬＶＤＳ信号等にオーディオデータを多重せず、ＡＥＳ３などのデータ形式で出力する場合には、多重分離部４３から供給された基準クロックに基づいて、それぞれのチャンネルに所定のワード同期信号を多重し、各チャンネルのパラレルデータをｃｈ１〜ｃｈＮのＬＶＤＳに変換し、外部の装置に送出する。

以上説明した第３の実施の形態によれば、カメラが備える信号送信装置２２は、ＬＶＤＳ等の差動伝送方式における複数ｃｈのシリアル信号から抽出したオーディオデータを、３Ｇ−ＳＤＩ ＬｅｖｅｌＡに変換した映像データに多重してＣＣＵ２に送出する。一方、ＣＣＵ２が備える信号受信装置４２は、受信した３Ｇ−ＳＤＩ ＬｅｖｅｌＡの映像データから抽出したオーディオデータを、複数チャンネルのＬＶＤＳの映像データに多重して外部の装置に送出する。このとき、信号送信装置２２に入力されるＬＶＤＳと、信号受信装置４２から出力されるＬＶＤＳ等の差動伝送方式における複数ｃｈのシリアル信号には、オーディオ信号が多重されない。この場合であっても、信号送信装置２２と信号受信装置４２を用いることで、ＬＶＤＳ等の差動伝送方式における複数ｃｈのシリアル信号とオーディオ信号を送受信するためのインタフェースを提供できるという効果がある。

本発明の第１の実施の形態例における伝送システムの例を示す構成図である。 本発明の第１の実施の形態例における信号送信装置の内部構成例を示すブロック図である。 本発明の第１の実施の形態例における信号受信装置の内部構成例を示すブロック図である。 本発明の第１の実施の形態例におけるオーディオデータパケットの例を示す説明図である。 本発明の第１の実施の形態例におけるデータストリーム１，２と３Ｇ−ＳＤＩ ＬｅｖｅｌＡのデータストリームの構成例を示す説明図である。 本発明の第１の実施の形態例におけるデータストリーム１，２へのＲ′，Ｇ′，Ｂ′，Ａデータの多重例を示す説明図である。 本発明の第１の実施の形態例におけるＬｉｎｋＡ，Ｂと３Ｇ−ＳＤＩ ＬｅｖｅｌＢのデータストリームの構成例を示す説明図である。 本発明の第１の実施の形態例における３Ｇ−ＳＤＩ ＬｅｖｅｌＢのデータストリームの構成例を示す説明図である。 本発明の第１の実施の形態例におけるＮａの計算例を示す説明図である。 本発明の第１の実施の形態例における３Ｇ−ＳＤＩ ＬｅｖｅｌＡ の１０８０Ｐと１０８０Ｉ／４:４:４のデータ構造の例を示す説明図である。 本発明の第１の実施の形態例におけるオーディオデータパケットの構成例を示す説明図である。 本発明の第１の実施の形態例におけるデュアルリンクインタフェースのライン番号とパッケージの例を示す説明図である。 本発明の第１の実施の形態例におけるオーディオデータパケットの構成例を示す説明図である。 本発明の第１の実施の形態例におけるオーディオデータパケットの構成例を示す説明図である。 本発明の第１の実施の形態例における多重位置フラグと４８ｋＨｚオーディオデータパケットの多重位置との関係例を示す図である。 本発明の第１の実施の形態例における多重位置フラグと９６ｋＨｚオーディオデータパケットの多重位置との関係例を示す図である。 本発明の第２の実施の形態例における信号送信装置の内部構成例を示すブロック図である。 本発明の第２の実施の形態例における信号受信装置の内部構成例を示すブロック図である 本発明の第３の実施の形態例における信号送信装置の内部構成例を示すブロック図である。 本発明の第３の実施の形態例における信号受信装置の内部構成例を示すブロック図である

符号の説明

１…伝送システム、１０…信号送信装置、１１ａ，１１ｂ…Ｓ／Ｐ変換部、１２ａ，１２ｂ…ＴＲＳ検出部、１３ａ，１３ｂ…オーディオ抽出部、１４ａ，１４ｂ…メモリ、１５…クロック抽出部、１６…制御部、１７ａ，１７ｂ…オーディオメモリ、１８…多重部、１９…Ｐ／Ｓ変換部、３０…信号受信装置、３１…Ｓ／Ｐ変換部、３２…ＴＲＳ検出部、３３…オーディオ抽出部、３４…メモリ、３５…多重分離部、３６ａ，３６ｂ…Ｐ／Ｓ変換部、３７…クロック抽出部、３８…制御部、３９…オーディオメモリ

Claims (12)

1. 所定のフォーマットで規定され、所定ビットの量子化信号である映像データ及びオーディオデータが含まれるパラレルデータから前記パラレルデータの同期を制御するための同期データを検出する同期データ検出部と、
   前記オーディオデータをオーディオメモリに保存するオーディオ抽出部と、
   前記パラレルデータから基準クロックを抽出するクロック抽出部と、
   前記オーディオメモリから読み出した前記オーディオデータ及び前記同期データを、前記量子化信号が１０８０Ｐ信号である場合に、前記映像データの水平補助データスペースにおける、オーディオサンプルが発生した次の水平補助データスペース、あるいは、さらにもう一つ後の水平補助データスペースに前記オーディオデータを多重するか、または、ＳＡＶ／ＥＡＶ／ＬＮ／ＣＲＣＣを入れ替えて、ＣＲＣＣに続けて３Ｇ−ＳＤＩフォーマットのＬｅｖｅｌ Ａのデータストリーム２あるいはデュアルリンク２９２のリンクＡ，ＢのＣチャンネルに多重し、前記量子化信号が１０８０Ｉ／４：４：４信号である場合に、ＳＡＶ／ＥＡＶ／ＬＮ／ＣＲＣＣを入れ替えて、ＣＲＣＣに続けて３Ｇ−ＳＤＩフォーマットのＬｅｖｅｌ Ａのデータストリーム２あるいはデュアルリンク２９２のリンクＡ，ＢのＣチャンネルに多重する多重部と、
   前記同期データ検出部が検出した前記同期データ及び前記クロック抽出部が抽出した前記基準クロックに基づいて、前記多重部が前記映像データに前記オーディオデータを多重するタイミングを制御する制御部と、
   前記多重部によって、ＳＭＰＴＥ ２９２及びＳＭＰＴＥ ３７２で規定される３Ｇ−ＳＤＩフォーマットのＬｅｖｅｌ Ｂ、又はデュアルリンクと互換の取れる、３２ｋＨｚ，４４．１ｋＨｚ，４８ｋＨｚのいずれかでサンプリングされた最大３２ｃｈ、若しくは９６ｋＨｚでサンプリングされた最大１６ｃｈの前記オーディオデータが多重された映像データを３Ｇ−ＳＤＩフォーマットのＬｅｖｅｌＡで規定される伝送ストリームに変換するパラレル・シリアル変換部と、を備える
   信号送信装置。
2. 請求項１記載の信号送信装置において、
   前記映像データが、４：４：４（Ｒ′Ｇ′Ｂ′）／（Ｙ′Ｃ′ｂＣ′ｒ）の１０ビット量子化信号、４：４：４：４（Ｒ′Ｇ′Ｂ′＋Ａ）／（Ｙ′Ｃ′ｂＣ′ｒ＋Ａ）の１０ビット量子化信号又は４：４：４（Ｒ′Ｇ′Ｂ′）／（Ｙ′Ｃ′ｂＣ′ｒ）／Ｘ′Ｙ′Ｚ′の１２ビット量子化信号のいずれかであり、フレームレートが２４Ｐ、２４／１．００１Ｐ、２５Ｐ、３０Ｐ、３０／１．００１Ｐである場合、あるいは４：２：２／（Ｙ′Ｃ′ｂＣ′ｒ）の１２ビット量子化信号であり、フレームレートが２４Ｐ，２４／１．００１Ｐ、２５Ｐ，３０Ｐ、３０／１．００１Ｐである場合のいずれかの量子化信号における前記水平補助データスペースは、ＨＤ−ＳＤＩに含まれる前記水平補助データスペースに比べて少なくとも２倍の長さを有し、
   前記映像データが４：２：２／（Ｙ′Ｃ′ｂＣ′ｒ）の１０ビット量子化信号である場合又はフレームレートが５０Ｐ，６０Ｐ、６０／１．００１Ｐの１０ビット量子化信号である場合における単位時間当りのライン数は、ＨＤ−ＳＤＩの単位時間当りのライン数の少なくとも２倍である
   信号送信装置。
3. 請求項２記載の信号送信装置において、
   入力される前記パラレルデータは、第１及び第２のリンクに割り当てられたデュアルリンクまたはＨＤ−ＳＤＩフォーマットのパラレル信号あるいはデュアルリンクまたはＨＤ−ＳＤＩフォーマットのパラレル信号である
   信号送信装置。
4. 請求項２記載の信号送信装置において、
   入力される前記パラレルデータは、オーディオデータが多重された差動伝送方式における複数ｃｈのシリアル信号である
   信号送信装置。
5. 請求項２記載の信号送信装置において、
   入力される前記パラレルデータは、オーディオデータが多重されていない差動伝送方式における複数ｃｈのシリアル信号であり、
   前記オーディオ抽出部は、入力された所定のフォーマットのオーディオ信号から前記オーディオデータを抽出する
   信号送信装置。
6. 所定のフォーマットで規定され、所定ビットの量子化信号である映像データ及びオーディオデータが含まれるパラレルデータから前記パラレルデータの同期を制御するための同期データを検出するステップと、
   前記オーディオデータをオーディオメモリに保存するステップと、
   前記パラレルデータから基準クロックを抽出するステップと、
   前記同期データ及び前記基準クロックに基づいて、前記映像データに前記オーディオデータを多重するタイミングを制御して、前記オーディオメモリから読み出した前記オーディオデータ及び前記同期データを、前記量子化信号が１０８０Ｐ信号である場合に、前記映像データの水平補助データスペースにおける、オーディオサンプルが発生した次の水平補助データスペース、あるいは、さらにもう一つ後の水平補助データスペースに前記オーディオデータを多重するか、または、ＳＡＶ／ＥＡＶ／ＬＮ／ＣＲＣＣを入れ替えて、ＣＲＣＣに続けて３Ｇ−ＳＤＩフォーマットのＬｅｖｅｌ Ａのデータストリーム２あるいはデュアルリンク２９２のリンクＡ，ＢのＣチャンネルに多重し、前記量子化信号が１０８０Ｉ／４：４：４信号である場合に、ＳＡＶ／ＥＡＶ／ＬＮ／ＣＲＣＣを入れ替えて、ＣＲＣＣに続けて３Ｇ−ＳＤＩフォーマットのＬｅｖｅｌ Ａのデータストリーム２あるいはデュアルリンク２９２のリンクＡ，ＢのＣチャンネルに多重するステップと、
   ＳＭＰＴＥ ２９２及びＳＭＰＴＥ ３７２で規定される３Ｇ−ＳＤＩフォーマットのＬｅｖｅｌ Ｂ、又はデュアルリンクと互換の取れる、３２ｋＨｚ，４４．１ｋＨｚ，４８ｋＨｚのいずれかでサンプリングされた最大３２ｃｈ、若しくは９６ｋＨｚでサンプリングされた最大１６ｃｈの前記オーディオデータが多重された前記映像データを３Ｇ−ＳＤＩフォーマットのＬｅｖｅｌＡで規定される伝送ストリームに変換するステップと、を含む
   信号送信方法。
7. ３Ｇ−ＳＤＩフォーマットのＬｅｖｅｌＡで規定され、ＳＭＰＴＥ ２９２及びＳＭＰＴＥ ３７２で規定される３Ｇ−ＳＤＩフォーマットのＬｅｖｅｌ Ｂ、又はデュアルリンクと互換の取れる、３２ｋＨｚ，４４．１ｋＨｚ，４８ｋＨｚのいずれかでサンプリングされた最大３２ｃｈ、若しくは９６ｋＨｚでサンプリングされた最大１６ｃｈの前記オーディオデータが多重された映像データ及び前記映像データの水平補助データスペースにオーディオデータが含まれる伝送ストリームをパラレルデータに変換するシリアル・パラレル変換部と、
   前記パラレルデータに含まれる前記パラレルデータの同期を制御するための同期データを検出する同期データ検出部と、
   所定のフォーマットで規定される前記映像データの量子化信号が１０８０Ｐ信号である場合に、前記映像データの水平補助データスペースにおける、オーディオサンプルが発生した次の水平補助データスペース、あるいは、さらにもう一つ後の水平補助データスペースに多重される前記オーディオデータを抽出するか、または、ＳＡＶ／ＥＡＶ／ＬＮ／ＣＲＣＣを入れ替えて、ＣＲＣＣに続けて３Ｇ−ＳＤＩフォーマットのＬｅｖｅｌ Ａのデータストリーム２あるいはデュアルリンク２９２のリンクＡ，ＢのＣチャンネルに多重される前記オーディオデータを前記パラレルデータから抽出し、前記量子化信号が１０８０Ｉ／４：４：４信号である場合に、ＳＡＶ／ＥＡＶ／ＬＮ／ＣＲＣＣを入れ替えて、ＣＲＣＣに続けて３Ｇ−ＳＤＩフォーマットのＬｅｖｅｌ Ａのデータストリーム２あるいはデュアルリンク２９２のリンクＡ，ＢのＣチャンネルに多重される前記オーディオデータを前記パラレルデータから抽出してオーディオメモリに保存するオーディオ抽出部と、
   前記シリアル・パラレル変換部で変換した前記パラレルデータから基準クロックを抽出するクロック抽出部と、
   前記オーディオメモリから読み出した前記オーディオデータを前記映像データに多重する多重部と、
   前記同期データ検出部が検出した前記同期データ及び前記クロック抽出部が抽出した前記基準クロックに基づいて、前記多重部が前記映像データに前記オーディオデータを多重するタイミングを制御する制御部と、を備える
   信号受信装置。
8. 請求項７記載の信号受信装置において、
   前記映像データが、４：４：４（Ｒ′Ｇ′Ｂ′）／（Ｙ′Ｃ′ｂＣ′ｒ）の１０ビット量子化信号、４：４：４：４（Ｒ′Ｇ′Ｂ′＋Ａ）／（Ｙ′Ｃ′ｂＣ′ｒ＋Ａ）の１０ビット量子化信号又は４：４：４（Ｒ′Ｇ′Ｂ′）／（Ｙ′Ｃ′ｂＣ′ｒ）／Ｘ′Ｙ′Ｚ′の１２ビット量子化信号のいずれかであり、フレームレートが２４Ｐ、２４／１．００１Ｐ、２５Ｐ、３０Ｐ、３０／１．００１Ｐである場合、あるいは４：２：２／（Ｙ′Ｃ′ｂＣ′ｒ）の１２ビット量子化信号であり、フレームレートが２４Ｐ，２４／１．００１Ｐ、２５Ｐ，３０Ｐ、３０／１．００１Ｐである場合のいずれかの量子化信号における前記水平補助データスペースは、ＨＤ−ＳＤＩに含まれる前記水平補助データスペースに比べて少なくとも２倍の長さを有し、
   前記映像データが４：２：２／（Ｙ′Ｃ′ｂＣ′ｒ）の１０ビット量子化信号である場合又はフレームレートが５０Ｐ，６０Ｐ、６０／１．００１Ｐの１０ビット量子化信号である場合における単位時間当りのライン数は、ＨＤ−ＳＤＩの単位時間当りのライン数の少なくとも２倍である
   信号受信装置。
9. 請求項８記載の信号受信装置において、
   前記多重部から出力されるデータは、第１及び第２のリンクに割り当てられたデュアルリンクまたはＨＤ−ＳＤＩフォーマットのパラレル信号あるいはデュアルリンクまたはＨＤ−ＳＤＩフォーマットのパラレル信号である
   信号受信装置。
10. 請求項８記載の信号受信装置において、
    前記多重部から出力されるデータは、オーディオデータが多重された差動伝送方式における複数ｃｈのシリアル信号である
    信号受信装置。
11. 請求項８記載の信号受信装置において、
    前記多重部から出力されるデータは、オーディオデータが多重されていない差動伝送方式における複数ｃｈのシリアル信号であり、
    前記オーディオメモリから読み出した前記オーディオデータから所定のフォーマットのオーディオ信号を生成するオーディオ信号生成部を備える
    信号受信装置。
12. ３Ｇ−ＳＤＩフォーマットのＬｅｖｅｌＡで規定され、ＳＭＰＴＥ ２９２及びＳＭＰＴＥ ３７２で規定される３Ｇ−ＳＤＩフォーマットのＬｅｖｅｌ Ｂ、又はデュアルリンクと互換の取れる、３２ｋＨｚ，４４．１ｋＨｚ，４８ｋＨｚのいずれかでサンプリングされた最大３２ｃｈ、若しくは９６ｋＨｚでサンプリングされた最大１６ｃｈの前記オーディオデータが多重された映像データ及び前記映像データの水平補助データスペースにオーディオデータが含まれる伝送ストリームをパラレルデータに変換するステップと、
    前記パラレルデータに含まれる前記パラレルデータの同期を制御するための同期データを検出するステップと、
    所定のフォーマットで規定される前記映像データの量子化信号が１０８０Ｐ信号である場合に、前記映像データの水平補助データスペースにおける、オーディオサンプルが発生した次の水平補助データスペース、あるいは、さらにもう一つ後の水平補助データスペースに多重される前記オーディオデータを抽出するか、または、ＳＡＶ／ＥＡＶ／ＬＮ／ＣＲＣＣを入れ替えて、ＣＲＣＣに続けて３Ｇ−ＳＤＩフォーマットのＬｅｖｅｌ Ａのデータストリーム２あるいはデュアルリンク２９２のリンクＡ，ＢのＣチャンネルに多重される前記オーディオデータを前記パラレルデータから抽出し、前記量子化信号が１０８０Ｉ／４：４：４信号である場合に、ＳＡＶ／ＥＡＶ／ＬＮ／ＣＲＣＣを入れ替えて、ＣＲＣＣに続けて３Ｇ−ＳＤＩフォーマットのＬｅｖｅｌ Ａのデータストリーム２あるいはデュアルリンク２９２のリンクＡ，ＢのＣチャンネルに多重される前記オーディオデータを前記パラレルデータから抽出してオーディオメモリに保存するステップと、
    前記パラレルデータから基準クロックを抽出するステップと、
    前記同期データ及び前記基準クロックに基づいて、前記映像データに前記オーディオデータを多重するタイミングを制御して、前記オーディオメモリから読み出した前記オーディオデータを前記映像データに多重するステップと、を含む
    信号受信方法。

Images