JP5212437B2

JP5212437B2 - 画像データ送信装置、画像データ受信装置、画像データ伝送システム、画像データ送信方法および画像データ受信方法

Info

Publication number: JP5212437B2
Application number: JP2010192767A
Authority: JP
Inventors: 昇勝俣
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2010-08-30
Filing date: 2010-08-30
Publication date: 2013-06-19
Anticipated expiration: 2030-08-30
Also published as: US8731049B2; JP2012050023A; US20120051419A1

Description

本発明は、画像データをデジタル音声信号の伝送方式で伝送するための画像データ送信装置、画像データ受信装置、画像データ伝送システム、画像データ送信方法および画像データ受信方法に関する。

近年、画像データを音声転送用ＬＳＩを使用して無線伝送する手法が提案されている（たとえば、特許文献１参照）。この手法は、低遅延でリアルタイムに画像データを転送することができ、送信側と受信側とでリップシンクがとりやすいというメリットがある。また、プロトコルを簡略化することができ、起動を早くすることができるというメリットもある。この伝送方式は車載カメラと車載モニタ間の映像伝送など、音声データの伝送は必要ないが、リアルタイム性が強く求められるアプリケーションに適している。

特開２００９−１４１５０２号公報

画像データの伝送では送信側と受信側とで同期をとるために、フレーム単位で同期マーカが挿入されることが一般的である。

ところで、音声転送用ＬＳＩにはミュート機能が搭載されているものが多い。ミュート機能は混信などが発生した場合に発動し、混信している信号が受信側に伝達されないように伝送中の信号を徐々に減衰させ、ゼロに収束させる機能である。たとえば、上述した車載カメラの例では、車両内で無線ＬＡＮやＢｌｕｅｔｏｏｔｈを使用している場合や、チャンネルが近い、同システムを採用している車両が偶然近づいた場合などに、混信が発生する可能性がある。

ミュート機能が発動された場合、伝送中の信号がゼロに収束していく途中で上記同期マーカと同じビット列が生成される可能性があり、その場合、受信側に誤った情報が伝達され、受信側で誤動作を誘発する可能性があるという難しい面がある。

本発明はこうした状況に鑑みなされたものであり、その目的は、音声転送用ＬＳＩを用いて画像データを伝送する際、音声転送用ＬＳＩのミュート機能が発動されても、受信側の誤動作を抑制する技術を提供することにある。

本発明のある態様の画像データ送信装置は、画像データを圧縮する画像圧縮部と、画像圧縮部で圧縮された画像データの一フレームごとに同期マーカを挿入するマーカ挿入部と、同期マーカが挿入された画像データをデジタル音声信号の伝送方式で送信する送信部と、を有する。同期マーカを構成するビット列は、送信部または当該送信部から送信されるデータを受信する受信部でミュート機能が発動されたときに送信部または受信部で生成されるゼロに収束していくビット列と異なる値となるように設定される。

本発明の別の態様は、画像データ受信装置である。この装置は、圧縮され同期マーカが挿入された画像データをデジタル音声信号の伝送方式で受信する受信部と、受信部で受信されたデータから同期マーカを抽出するマーカ抽出部と、マーカ抽出部で同期マーカが取り除かれた、圧縮された画像データを同期マーカに基づいて伸張する画像伸張部と、を有する。同期マーカを構成するビット列は、受信部または当該受信部にデータを送信した送信部でミュート機能が発動されたときに受信部または送信部で生成されるゼロに収束していくビット列と異なる値となるように設定される。

本発明のさらに別の態様は、画像データ伝送システムである。上述した画像データ送信装置と、当該画像データ送信装置から送信された画像データを受信する上述した画像データ受信装置とを備える。

なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラム等の間で変換したものもまた、本発明の態様として有効である。

音声転送用ＬＳＩを用いて画像データを伝送する際、音声転送用ＬＳＩのミュート機能が発動されても、受信側の誤動作を抑制することができる。

本発明の実施の形態に係る画像データ伝送システムの構成を示す図である。送信部から受信部に伝送される画像データストリームの構成例を示す図である。比較例に係る垂直同期マーカのビット構成例を示す図である。本発明の実施の形態に係る第１の垂直同期マーカのビット構成例を示す図である。本発明の実施の形態に係る第２の垂直同期マーカのビット構成例を示す図である。本発明の実施の形態に係る送信部または受信部に用いられる音声転送用ＬＳＩから出力される値の一例を示す図である。図７（ａ）、（ｂ）は、圧縮符号化された画像データと垂直同期マーカとを識別可能にするための処理を説明するための図である。変形例に係る画像データ伝送システムの全体構成を示す図である。

図１は、本発明の実施の形態に係る画像データ伝送システム５００の構成を示す図である。画像データ伝送システム５００は、カメラ１１０、画像データ送信装置１００、送信用アンテナ５５、受信用アンテナ６５、画像データ受信装置２００およびモニタ２１０を備える。以下、本実施の形態に係る画像データ伝送システム５００を、車両後方に取り付けられたカメラ１１０から取得される画像データを車内のモニタ２１０に伝送し、表示する車載カメラシステムを想定しながら説明する。

画像データ送信装置１００は、映像信号Ｉ／Ｆ１０、圧縮符号化部２０、送信用バッファ３０、送信用Ｉ／Ｆ４０および送信部５０を備える。圧縮符号化部２０は、圧縮部２１、符号化部２２およびマーカ挿入部２３を含む。

カメラ１１０は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやＣＣＤ（Charge Coupled Devices）イメージセンサなどの固体撮像素子を備え、撮像した映像データを映像信号Ｉ／Ｆ１０に出力する。たとえば、当該映像データはＩＴＵ−ＲＢＴ．６５６の規格にしたがいカメラ１１０から映像信号Ｉ／Ｆ１０に出力される。また、当該映像データから取り出された同期信号ＳＹＮＣが、マーカ挿入部２３に供給される。

圧縮符号化部２０は、映像信号Ｉ／Ｆ１０から入力される画像データを圧縮符号化する。さらに、圧縮符号化した画像データに垂直同期マーカを付加する。以下、より具体的に説明する。圧縮部２１は映像信号Ｉ／Ｆ１０から入力される画像データを圧縮する。たとえば、画像データを直交変換、量子化してデータ量を圧縮する。

符号化部２２は、圧縮部２１により圧縮された画像データを符号化する。たとえば、圧縮された画像データをエントロピー符号化する。本実施の形態では、リアルタイム性が要求されるため、ＪＰＥＧ系の圧縮符号化方式を採用することが好ましい。たとえば、モーションＪＰＥＧを用いて圧縮符号化する。

マーカ挿入部２３は、映像信号Ｉ／Ｆ１０から供給される同期信号ＳＹＮＣをもとに、圧縮符号化された画像データの一フレームごとに垂直同期マーカを挿入する。これにより、受信側へ同期信号を伝送することができる。垂直同期マーカの詳細は後述する。

また、マーカ挿入部２３は圧縮符号化された画像データをｎ（ｎは自然数）バイト単位で区分する。本実施の形態では３２ビット（４バイト）単位で区分する。３２ビット単位への区分の仕方は、ＭＳＢ（Most Significant Bit）側から時系列順にまとめる。垂直同期マーカが挿入された、３２ビット単位で圧縮符号化された画像データは、送信用バッファ３０に書き込まれ、一時保持される。送信用バッファ３０に保持された当該画像データは、所定の転送タイミングにしたがい送信用Ｉ／Ｆ４０に読み出さる。

送信部５０は、垂直同期マーカが挿入された画像データをデジタル音声信号の伝送方式で無線または有線で送信する。本実施の形態では２．４ＧＨｚ帯を使用した無線音声送信機を用いる。この無線音声送信機は音声転送用ＬＳＩを備え、この音声転送用ＬＳＩはデジタル音声信号を伝送するためのものである。なお、この音声転送用ＬＳＩはワイヤレススピーカなどのシステムにも低遅延で音声信号を伝送することができる。

画像データ受信装置２００は、受信部６０、受信用Ｉ／Ｆ７０、受信用バッファ８０、伸張復号部９０および映像信号Ｉ／Ｆ９５を備える。伸張復号部９０は、マーカ抽出部９１、復号部９２および伸張部９３を含む。

受信部６０は、垂直同期マーカが挿入された、圧縮符号化された画像データをデジタル音声信号の伝送方式で無線または有線で受信する。本実施の形態では、上記無線音声送信機と対をなす無線音声受信機を使用する。当該無線音声受信機は、上記無線音声送信機から転送された上記画像データを受信する。受信された画像データは、受信用Ｉ／Ｆ７０を通じて受信用バッファ８０に書き込まれ、一時保持される。受信用バッファ８０に保持された画像データは、伸張復号部９０に読み出される。

伸張復号部９０は、受信用バッファ８０から入力される画像データから垂直同期マーカを取り除き、垂直同期マーカが取り除かれた後の画像データを伸張復号する。以下、より具体的に説明する。マーカ抽出部９１は、受信用バッファ８０から読み出された画像データから垂直同期マーカを検出し、抽出する。マーカ抽出部９１は、抽出した垂直同期マーカをもとに同期信号ＳＹＮＣを生成し、映像信号Ｉ／Ｆ９５に供給する。このように、マーカ抽出部９１により検出された垂直同期マーカは、送信側のカメラ１１０と受信側のモニタ２１０の同期調整に使用される。

復号部９２には、マーカ抽出部９１により垂直同期マーカが分離された、圧縮符号化された画像データのビット列が、ＭＳＢ側から順次入力される。復号部９２はこのビット列を３２ビット単位で復号する。伸張部９３は、復号された画像データを伸張し、映像信号Ｉ／Ｆ９５に出力する。映像信号Ｉ／Ｆ９５は、伸張部９３から入力される映像信号を、マーカ抽出部９１から供給される同期信号ＳＹＮＣにしたがいモニタ２１０に出力する。モニタ２１０は、映像信号Ｉ／Ｆ９５から入力される映像信号を表示する。

図２は、送信部５０から受信部６０に伝送される画像データストリームの構成例を示す図である。画像データストリームの１フレーム３００は、垂直同期マーカ３０１と圧縮符号化された画像データ３０２で構成される。受信側はこの垂直同期マーカ３０１を検出することにより、１フレーム３００の先頭を識別することができる。以下、垂直同期マーカ３０１についてより詳細に説明する。

図３は、比較例に係る垂直同期マーカ３０１のビット構成例を示す図である。比較例に係る垂直同期マーカ３０１は３２ビットで構成され、固定値部３１０と補助情報部３２０から構成される。固定値部３１０には、画像データストリームにおいて垂直同期の位置を示す指標が挿入される。比較例では固定値部３１０は２４ビットで構成される。補助情報部３２０には、画像データの圧縮・伸張に関する情報および量子化テーブルのオフセット情報などの補助情報が挿入される。比較例では補助情報部３２０は８ビットで構成される。

比較例に係る垂直同期マーカ３０１には、（ＦＦＦＦＦＦＸＸ）_１６が用いられている。「ＸＸ」は補助情報部３２０の値を示す。上述したように、送信部５０および受信部６０に用いられる音声転送用ＬＳＩは、混信などにより転送が遮断されるとミュート機能が働き、出力値は緩やかにゼロに減衰する。比較例に係る垂直同期マーカ３０１に用いられる（ＦＦＦＦＦＦＸＸ）_１６は、音声データで考えるとゼロに近い値である。したがって、当該音声転送用ＬＳＩによるミュート機能の発動によって、出力値がゼロに減衰するとき、比較例に係る垂直同期マーカ３０１に用いられる（ＦＦＦＦＦＦＸＸ）_１６が発生する確率が高いことを意味する。

このミュート時に発生する垂直同期マーカ３０１と同じデータ（以下適宜、疑似垂直同期マーカと呼ぶ）は、画像データ受信装置２００で正当な垂直同期マーカと誤認識される可能性があり、システムの誤動作を誘発する。以下、疑似垂直同期マーカが発生しづらい垂直同期マーカについて考える。

すなわち、垂直同期マーカを構成するビット列を、送信部５０または受信部６０でミュート機能が発動されたときに送信部５０または受信部６０で生成されるゼロに収束していくビット列と異なる値となるように設定する。好ましくは、垂直同期マーカを構成するビット列を、ゼロから可及的に離れた値であって、送信部５０または受信部６０で生成されるデジタル音声信号の範囲の上限値または下限値に可及的に近い値に設定するとよい。上限値または下限値に近い値に設定するほど、ミュート機能が発動されデジタル音声信号の値がゼロに収束していく過程で、デジタル音声信号を構成するビット列と垂直同期マーカを構成するビット列とが交差する確率を小さくすることができる（後述する図６参照）。より好ましくは、垂直同期マーカを構成するビット列を、送信部５０または受信部６０で生成されるデジタル音声信号の範囲の上限値から下限値方向に予め定めた許容範囲内の値または下限値から上限値方向に予め定めた許容範囲内の値に設定するとよい。ここで、上限値から下限値方向に予め定めた許容範囲内の値には上限値も含まれる。なお、当該許容範囲は、設計者が実験やシミュレーションにより求めた統計的データに基づいて設定されることが可能である。下限値から上限値方向に予め定めた許容範囲内の値についても同様である。

図４は、本発明の実施の形態に係る第１の垂直同期マーカ４０１ａのビット構成例を示す図である。第１の垂直同期マーカ４０１ａは、デジタル音声信号の範囲の下限値近傍に設定される。第１の垂直同期マーカ４０１ａは３２ビットで構成され、固定値部４１０ａと補助情報部４２０ａから構成される。第１の垂直同期マーカ４０１ａでは、固定値部４１０ａが１９ビット、補助情報部４２０ａが１３ビットで構成される。固定値部４１０ａには、（１０００００００００００００００００１）_２が用いられる。補助情報部４２０ａは今後のシステム拡張を考慮し、比較例の８ビットから１３ビットに増加させている。

図５は、本発明の実施の形態に係る第２の垂直同期マーカ４０１ｂのビット構成例を示す図である。第２の垂直同期マーカ４０１ｂは、デジタル音声信号の範囲の上限値近傍に設定される。第２の垂直同期マーカ４０１ｂでは、固定値部４１０ｂには、（０１１１１１１１１１１１１１１１１１０）_２が用いられる。

図６は、本発明の実施の形態に係る送信部５０または受信部６０に用いられる音声転送用ＬＳＩから出力される値の一例を示す図である。音声転送用ＬＳＩから出力される音声出力値は、図６に示すように正負のアナログ音声信号を、２の補数表記を用いたデジタル信号で表現することができる。

図６では、音声転送用ＬＳＩから出力される音声出力値の範囲は、（７ＦＦＦＦＦＦＦ）_１６から（８０００００００）_１６で定義される。なお、０は（００００００００）_１６で、＋１は（０００００００１）_１６で、−１は（ＦＦＦＦＦＦＦＦ）_１６で表される。

比較例に係る垂直同期マーカ３０１は、音声出力値のゼロに近い（ＦＦＦＦＦＦＸＸ）_１６で定義している。したがって、ミュート機能の発動後、ゼロに収束していく過程で疑似垂直同期マーカが発生する可能性が高くなる。

これに対し、本実施の形態に係る第１の垂直同期マーカ４０１ａは、上記音声出力値の範囲の下限値近傍の（８０００ＸＸＸＸ）_１６に定義している。なお、不定なビットを含むビット列を「Ｘ」で表記している。また、第１の垂直同期マーカ４０１ａに代えて、第２の垂直同期マーカ４０１ｂを用いてもよい。第２の垂直同期マーカ４０１ｂは、上記音声出力値の範囲の上限値近傍の（７ＦＦＦＸＸＸＸ）_１６に定義している。

このように、垂直同期マーカを音声出力値のピーク値近傍に設定することにより、音声転送用ＬＳＩのミュート機能発動時に、疑似垂直同期マーカが発生する確率を低くすることができる。

つぎに、垂直同期マーカと圧縮符号化された画像データとの識別機能について説明する。本実施の形態では、圧縮符号化部２０により圧縮符号化された画像データを３２ビット単位で区分する際、画像データと垂直同期マーカとが同じビット列になった場合、それを識別する機能が追加されている。より具体的には、垂直同期マーカを構成するビット列に、当該ビット列が垂直同期マーカであるか、圧縮符号化された画像データであるかを識別するための識別ビット列が付加される。

図７（ａ）、（ｂ）は、圧縮符号化された画像データと垂直同期マーカとを識別可能にするための処理を説明するための図である。図７（ａ）は画像データ送信装置１００側のビット処理、図７（ｂ）は画像データ受信装置２００側のビット処理を示す。

画像データ送信装置１００側において、マーカ挿入部２３は、符号化部２２から入力される１６ビットの画像データと、１６ビットの垂直同期マーカ４１１ａ（第１の垂直同期マーカでは、（８０００）_１６）とが一致するか否か判定し、その結果を示すエスケープビット４１２ａを当該垂直同期マーカ４１１ａの下位ビット側に付加する。エスケープビット４１２ａは３ビットで構成され、（０００）_２がエスケープビット４１２ａに隣接する上位１６ビットが画像データであることを示し、（００１）_２が垂直同期マーカであることを示す。

画像データ受信装置２００側において、マーカ抽出部９１は、３２ビット単位のデータの受け取り、その上位１６ビットが垂直同期マーカ４１１ａと一致するとき、エスケープビット４１２ａの値を検出する。（００１）_２の場合、その上位１６ビットを垂直同期マーカ４１１ａと判定し、抽出する。（０００）_２の場合、その上位１６ビットを圧縮符号化された画像データと判定し、復号部９２に渡す。その後、マーカ抽出部９１はエスケープビット４１２ａを取り除き、当該３２ビット単位のデータの下位１３ビットを左詰めする。そして、この左詰めにより発生した空きスペースに、つぎの３２ビット単位のデータの上位３ビット４３０ａを挿入する。

以上説明したように本実施の形態によれば、音声転送用ＬＳＩを用いて画像データを伝送する際、音声転送用ＬＳＩのミュート機能が発動されても、疑似垂直同期マーカの発生を抑制することがき、受信側の誤動作を抑制することができる。たとえば、モニタ２１０に誤った映像や大きなノイズが重畳された映像が表示されることを抑制することができる。また、音声転送用ＬＳＩを用いて画像データを伝送することにより、低遅延でリアルタイムに画像データを伝送することができる。

以上、本発明をいくつかの実施の形態をもとに説明した。これらの実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

図８は、変形例に係る画像データ伝送システム５００の全体構成を示す図である。図８に示す画像データ伝送システム５００は、図１に示す画像データ伝送システム５００に、ビット反転部２４およびビット反転部９４が追加された構成である。すなわち、圧縮符号化部２０内の符号化部２２とマーカ挿入部２３との間に、ビット反転部２４が追加され、伸張復号部９０内のマーカ抽出部９１と復号部９２との間にビット反転部９４が追加された構成である。

送信部５０および受信部６０に音声転送用ＬＳＩを用いることにより、２の補数を用いてデジタル値が表現されるため、画像データをビット反転して伝送することも可能である。これにより、セキュリティを高める効果が期待できる。

５００画像データ伝送システム、１００画像データ送信装置、１１０カメラ、１０映像信号Ｉ／Ｆ、２０圧縮符号化部、２１圧縮部、２２符号化部、２３マーカ挿入部、２４ビット反転部、３０送信用バッファ、４０送信用Ｉ／Ｆ、５０送信部、５５送信用アンテナ、２００画像データ受信装置、６０受信部、６５受信用アンテナ、７０受信用Ｉ／Ｆ、８０受信用バッファ、９０伸張復号部、９１マーカ抽出部、９２復号部、９３伸張部、９４ビット反転部、９５映像信号Ｉ／Ｆ、２１０モニタ。

Claims

画像データを圧縮する画像圧縮部と、
前記画像圧縮部で圧縮された画像データの一フレームごとに同期マーカを挿入するマーカ挿入部と、
前記同期マーカが挿入された画像データをデジタル音声信号の伝送方式で送信する送信部と、を有し、
前記同期マーカを構成するビット列は、前記送信部または当該送信部から送信されるデータを受信する受信部でミュート機能が発動されたときに前記送信部または前記受信部で生成されるゼロに収束していくビット列と異なる値となるように設定される、
ことを特徴とする画像データ送信装置。
前記同期マーカを構成するビット列は、前記送信部で生成されるデジタル音声信号の範囲の上限値から下限値方向に予め定めた許容範囲内の値のビット列または下限値から上限値方向に予め定めた許容範囲内の値のビット列に設定される、
ことを特徴とする請求項１に記載の画像データ送信装置。
前記同期マーカを構成するビット列は、当該ビット列が前記同期マーカであるか、前記画像データであるかを識別するための識別ビットを含む、
ことを特徴とする請求項１または２に記載の画像データ送信装置。
圧縮され同期マーカが挿入された画像データをデジタル音声信号の伝送方式で受信する受信部と、
前記受信部で受信されたデータから前記同期マーカを抽出するマーカ抽出部と、
前記マーカ抽出部で同期マーカが取り除かれた、圧縮された画像データを前記同期マーカに基づいて伸張する画像伸張部と、を有し、
前記同期マーカを構成するビット列は、前記受信部または当該受信部にデータを送信した送信部でミュート機能が発動されたときに前記受信部または前記送信部で生成されるゼロに収束していくビット列と異なる値となるように設定される、
ことを特徴とする画像データ受信装置。
前記同期マーカを構成するビット列は、前記送信部で生成されるデジタル音声信号の範囲の上限値から下限値方向に予め定めた許容範囲内の値のビット列または下限値から上限値方向に予め定めた許容範囲内の値のビット列に設定される、
ことを特徴とする請求項４に記載の画像データ受信装置。
前記マーカ抽出部は、前記同期マーカに含まれる識別ビットを参照して、前記同期マーカを構成するビット列が前記同期マーカであるか、前記画像データであるかを判定する、
ことを特徴とする請求項４または５に記載の画像データ受信装置。
請求項１に記載の画像データ送信装置と、
前記画像データ送信装置から送信された画像データを受信する請求項４に記載の画像データ受信装置とを備える、
ことを特徴とする画像データ伝送システム。
画像データを圧縮する画像圧縮ステップと、
前記画像圧縮ステップで圧縮された画像データの一フレームごとに同期マーカを挿入するマーカ挿入ステップと、
前記同期マーカが挿入された画像データをデジタル音声信号の伝送方式で送信する送信ステップと、を有し、
前記同期マーカを構成するビット列は、送信部または当該送信部から送信されるデータを受信する受信部でミュート機能が発動されたときに前記送信部または前記受信部で生成されるゼロに収束していくビット列と異なる値となるように設定される、
ことを特徴とする画像データ送信方法。
圧縮され同期マーカが挿入された画像データをデジタル音声信号の伝送方式で受信する受信ステップと、
前記受信ステップで受信されたデータから前記同期マーカを抽出するマーカ抽出ステップと、
前記マーカ抽出ステップで同期マーカが取り除かれた、圧縮された画像データを前記同期マーカに基づいて伸張する画像伸張ステップと、を有し、
前記同期マーカを構成するビット列は、受信部または当該受信部にデータを送信した送信部でミュート機能が発動されたときに前記受信部または前記送信部で生成されるゼロに収束していくビット列と異なる値となるように設定される、
ことを特徴とする画像データ受信方法。