JP5240015B2 - 映像データ通信システム - Google Patents

Description

本発明は、映像データ通信システムに関する。

今日、安全制御の目的で、車両にカメラを設置し、カメラから送られてきた画像を運転席で見ることによって、車両の状況を把握することが行われている。このようなシステムにおいては、カメラ側で映像データを符号化し、符号化された映像データを受信装置に送ることが通常行われる。符号化に際しては、映像データをフレームデータとして符号化し、受信側に送信している。カメラ側には、映像データを符号化するためのCodecが設けられる。また、受信装置にも、符号かされた映像データを復号するためのCodecが設けられる。

従来においては、受信側でCodec映像圧縮データを復号する場合、映像符号化データのフレームの途中でデータにエラーがあると、それ以降の処理ができず、映像データ中のエラーが存在するラインの直前のラインと同じコードをエラーのあるラインのデータとして出力する。これによって、表示装置には縞状の映像が表示される。つまり、一旦エラーが発生し復号処理が中断すると、次のフレームが始まるまで受信側のCodecは復号処理しておらず、転送データは捨てられる。

今、1394バス（IEEE1394の規格に従ったバスシステム）を使った車載ネットワークにおいて、Codecの圧縮データを転送している時に、ノイズ等により1394パケット（1394バス上を転送されるパケット）が壊れた場合、復号側（受信装置側）のCodecはエラーを検知し処理を中断する。しかしながら、送信側装置（カメラ側）は、それに関係なく動作するため、送信側装置は使用されないデータを転送し続ける事になり、無駄な帯域とパワーを消費する。

さらに、このデータが車の安全制御用に使用する監視カメラの映像データであった場合、監視するためのデータが途切れることになり、安全制御の無反応時間を作ってしまう。エラーを修復するには、フレームの先頭まで戻ってパケットを再転送する必要があるので、既に受信済みの必要無いデータまで再転送する事になる。よって、再転送した場合でも情報は途切れ、安全制御に無反応時間を作ってしまう。

特許文献１には、復号化誤りが発生した場合、新たなフレームを生成することが記載されている。

特開平７−１９３８２１号公報

本発明の課題は、無駄なデータを送信せず、データの途切れることの無い映像データ通信システムを提供することである。

本発明の一側面における映像データ通信システムは、映像データを表示する映像データ通信システムにおいて、該映像データをフレーム単位で符号化して送信し、送信したフレームに対応するエラーが発生したことを示すエラー信号を受信した場合には、送信中のフレームの送信を中断し、新しいフレームの送信を開始する送信装置と、該送信装置から送られてきたフレームを復号して表示し、該送信装置から送られてきたフレームの復号処理においてエラーが発生した場合には、該送信装置に、該エラー信号を送信する受信装置と、を備える。

本発明によれば、無駄なデータを送信せず、データの途切れることの無い映像データ通信システムを提供することができる。

監視カメラと表示装置を1394バスに接続した場合の本発明の第１の実施形態を示す図である。 新フレーム開始信号生成部の構成例を示す図である。 本発明の第１の実施形態に従った、1394バス上のパケットの様子を説明する図である。 Isochronousパケットのフォーマットを示す図である。 監視カメラと表示装置を1394バスに接続した場合の本発明の第２の実施形態を示す図である。 第２の実施形態の場合の1394バスの様子を示す図である。 第２の実施形態のフレームメモリにおける読み出し動作の様子を示す図である。 転送レートを下げる場合の読出し動作の様子（データ転送量）を示す図である。 復号エラーが発生した場合を含めたフレームメモリの読出し動作フローを示す図である。 復号エラー通知用のAsynchronousパケットのフォーマット例を示す図である。

本発明の実施形態では、フレーム単位で圧縮・伸張するCodecで圧縮された車載監視カメラの映像データを1394バスに転送するシステムにおいて、受信側でエラーが発生した場合、この事を送信側に通知する。送信側は、この通知を受信すると、現フレームの処理を即座に中断し、次フレームの先頭からデータの送信を開始する。

これによって、
・使用されない無駄な情報を送ることがなくなる。
・常に最新で有効な監視カメラの情報が転送されるため、安全制御の無反応時間が無くなる。

受信側が送信側にエラーの発生を通知する方法として、例えば、以下のものがある。
通知方法：
１．Asyncの送信で通知する（1394バス上で転送される非同期パケットで通知する）。
２．受信側もResponse-Isoを送信し、通知する。

ネットワークエラーを検知した場合、現フレームを即座に中断し次フレームを送信するが、フレーム単位で圧縮・伸張するCodecを使用する。なぜなら、現フレーム単体で符号・復号が出来て、前後のフレームに影響を受けないからである。なお、フレーム単位で圧縮・伸張するCodecとしては、“SmartCodec”等がある。

図１に、監視カメラと表示装置を1394バスに接続した場合の本発明の第１の実施形態を示す。
図１において、Iso送信装置１１に繋がった監視カメラ１０からの映像データは、符号用Codec１５によって圧縮データとなり、映像データIsoパケット生成部１６によって処理されて、Isochronousパケット（同期パケット）として1394バス１３に転送される。

ここで、1394ブロック１７、１８は、1394バスを介してデータを送受信するためのインタフェースである。
このIsochronousパケットは、表示装置１４と繋がったIso受信装置１２で受信される。そして、映像データ抽出部１９で映像データが抽出された後、復号用Codec２０によって復号され、表示装置１４に表示される。さらに、Iso受信装置１２では、復号用Codec２０のステータスを監視しており、その内容を、Response Isoパケット生成部２１で処理して、Response用IsochronousパケットとしてIso送信装置１１に返信する。

今、ノイズ等が1394バス１３に印加され、Iso受信装置１２で映像データのIsochronousパケットを正常に受信出来なかったとする。すると、復号用Codec２０は、復号エラーを報告し、これをResponse用Isochronousパケットとして1394バスを介して、Iso送信装置１１に転送する。復号エラーのResponse用Isochronousパケットを受信したIso送信装置１１は、Response Isoパケット解析部２２でResponse用Isochronousパケットを解析し、復号エラーが発生したか否かを検出する。復号エラーを検出した場合には、新フレーム開始信号生成部２３にて新フレームの開始信号を生成し、監視カメラに通知する。なお、新フレームの開始信号は、単に、監視カメラをリセットする信号であっても良い。これによって、監視カメラは、ＣＭＯＳセンサー等のラインカウンタを初期化するなどし、即座に新しいフレームの映像データを出力する。なお、ビデオインタフェース３２、３３は、それぞれ、監視カメラ及び表示装置１４と符号用及び復号用Codec１５、２０とのインタフェースである。新フレーム開始信号は、ビデオインタフェース３２に入力されて、リセット信号などの信号として、監視カメラ１０に与えられる。

Iso受信装置１２では、即座に新フレームの映像データを受信するので、復号用Codec２０も即座に新フレームの復号を開始し、表示装置１４に映像を出力する。これによって、復号エラーとなった場合でも、ほとんど処理を中断する事無く復号用Codec２０は動作するので、監視カメラの情報が途切れることなく転送され、安全制御の無反応時間は、ほとんど無くなる。

図２は、新フレーム開始信号生成部の構成例を示す図である。
図２においては、新フレーム開始信号生成部は、ラッチ３０とアンド回路３１からなっている。最初、エラーがないときには、エラー信号は、ローであるので、ラッチ３０によってラッチされた信号は、ローであり、この論理反転を取った（２）の信号は、ハイになっている。今、エラーが発生したとすると、エラー信号がハイになるので、この瞬間に、アンド回路３１の端子の入力（（１）の信号）がハイになり、新フレーム開始信号がハイになる。次の瞬間に、ハイになったエラー信号がラッチ３０にラッチされるので、（２）の信号がローになり、新フレーム開始信号はローになる。このように、新フレーム開始信号生成部は、エラーが発生した瞬間だけ、パルス的な信号を生成する回路である。

図３は、本発明の第１の実施形態に従った、1394バス上のパケットの様子を説明する図である。
1394バス上を伝送される映像データは、CycleStartパケットと、映像Isoパケットと、Response Isoパケットの組からなる。Isoパケットは、CycleStartパケットで規定される周期的タイミングに従って、同期的に送信される同期パケットである。Response Isoパケットは、映像データの要求側からの映像転送要求に対する応答内容を送信するパケットである。映像フレームは、複数の映像Isoパケットに分割して送信される。今、ある映像Isoパケットにノイズが発生して、復号処理がエラーとなったとすると（図１の場合には、ｎ番目のパケットにエラーが発生している）、CycleStartパケットが規定する次の周期の開始に、新映像フレームの一連の映像Isoパケットのはじめのパケットから送信処理が行われる。

図４に、Isochronousパケットのフォーマットを示す。
図４（ａ）は、映像データIsoパケットのフォーマットであり、図４（ｂ）は、Response Isoパケットのフォーマットである。両図において、Data Lengthには、Isoパケットの総レングス数（バイト）が設定される。Tagには、Dataフォーマットが設定される。Channelには、Isoパケットのチャネルが設定される。Tcodeには、パケットの種類が設定される。図４（ａ）、（ｂ）のパケットは、Isoパケットなので、固定の”１０１０”が設定される。Syには、同期コードが設定される。Header CRCは、ヘッダー部のCRC情報である。Data CRCは、データ部のCRC情報である。映像データには、映像データの中身が格納される。Responseコードには、正常に処理が終了したか、あるいは、エラーが発生したかを示すコードが設定される。
なお、Response用Isochronosパケットは、常に送信する必要は無く、エラーが発生した時だけ送信しても良い。

図５に、監視カメラと表示装置を1394バスに接続した場合の本発明の第２の実施形態を示す。
図５においては、図１と同じ構成には、同じ参照符号を付し、詳しい説明を省略する。
第２の実施形態においては、復号用Codec２０の復号エラーをAsyncパケットで通知する。また、Iso送信装置１１において復号エラーの通知パケットを受信した時に、内蔵するフレームメモリ４０の読出しを次フレームに飛ばすことで、即座に新フレームの映像を送信する。

すなわち、Response Asyncパケット生成部４１は、復号用Codec２０において、復号エラーが検出された場合には、エラーが発生したことの情報を含む、1394バス上を転送される非同期パケットを生成する。Iso送信装置１１のResponse Asyncパケット解析部２２では、送られてきた非同期パケットを解析し、エラーが報告された場合には、新フレーム開始信号生成部２３に、次フレームジャンプ信号（新フレーム開始信号）を生成させる。図５の場合には、監視カメラ１０が撮影した映像データを格納するフレームメモリ４０が設けられている。映像データの各フレームの格納先アドレスは、読出し制御部において管理される。次フレームジャンプ信号（新フレーム開始信号）が読み出し制御部に入力されると、現在読み出しているフレームの読出しが中止される。そして、次のフレームの格納先アドレスが指定されて、フレームメモリ４０から、新しいフレームが読み出される。このようにすると、エラーが発生するたびに、監視カメラ１０にリセット等をかける必要が無くなる。

図６は、第２の実施形態の場合の1394バスの様子を示す図である。
第２の実施形態の場合には、Responseパケットは、エラーが起こった場合にのみ送信されるので、1394バス上を転送されるパケットは、通常は、CycleStartパケットと映像Isoパケットの組となる。図６では、ｎ番目の映像Isoパケットでノイズが発生し、エラーが発生している。このエラーに応答して、復号エラーAsyncパケットRnが送信される。Iso送信装置では、復号エラーAsyncパケットを受け取ると、即座に、現フレームの転送を中止し、新しいフレームの１番目のパケットから受信側に送信を始める。

第２の実施形態のIso送信装置のフレームメモリにおいては、通常は一定量以上のデータが格納されている場合に読出し動作を行う。これによって、フレームメモリには常に一定のデータ量が確保されるようになる。ここで、復号エラーのAsyncパケットを受信し、新フレームの開始信号が生成されると、現フレームの読み出しを中断し、即座に次フレームの先頭から読出しを行う。

図７に、第２の実施形態のフレームメモリにおける読み出し動作の様子を示す。
フレームメモリに、フレーム１とフレーム２が格納されている様子が示されている。フレーム２の最後のラインの格納アドレスの次のアドレスが書き込み開始アドレスである。今、フレーム１の読出しを途中までやっているところで、復号エラーが通知されたとすると、次フレームジャンプ信号（新フレーム開始信号）の入力により、読出しアドレスが、フレーム２の先頭のアドレスに書き換えられる。これにより、即座に、現フレームの転送を中止し、次フレームの転送が可能になる。
これによって、復号エラーが発生したときには、即座に新しいフレームの映像が1394バスに出力されるので、Iso受信装置の表示装置には新フレームの映像が出力される。

以上のように、Iso受信装置の復号用Codecは、エラーとなった場合でもほとんど処理を中断する事無く動作するので、監視カメラの情報が途切れず安全制御の無反応時間をほとんど０にする事が出来る。なお、この時、Iso送信装置におけるフレームメモリでは、格納量が一時的に少なくなるが、読出し動作は中断せず、転送レートを下げて動作し続ける。この動作は、次の復号エラーに対するマージンを確保するために行う。転送レートを下げる幅としては、例えば10％下げて（従来の90％の転送レート）読出し動作を行いう。

図８に、転送レートを下げる場合の読出し動作の様子（データ転送量）を示す。
図８では、１フレームを１０個のデータに分けて読み出している。通常動作では、クロックに合わせて、１個のデータを順に読み出している。新フレーム開始信号が発生した後は、フレームメモリの格納データ量が一定の量に戻るまで、何個かに一個の割合で、データの読出し動作を２クロックかけて行うようにする。図８の場合には、１０番目のデータD9の読出しに、２クロックかけている。これにより、１０クロックかかっていた１フレームの読出しが、１１クロックかかることになり、読出しレートが１０％下がることになる。

図９に、復号エラーが発生した場合を含めたフレームメモリの読出し動作フローを示す。
まず最初に、ステップＳ１０において、新フレーム開始信号（次フレームジャンプ信号）が入力されているか否かを判断する。ステップＳ１０の判断がＮｏの場合には、ステップＳ１１において、フレームメモリ内にフレームデータが一定量以上格納されているか否かを判断する。ステップＳ１１の判断がＮｏの場合には、読出しを行わないで、ステップＳ１０に戻る。ステップＳ１１の判断がＹｅｓの場合には、ステップＳ１２において、通常のレートで読み出し動作を行い、１フレーム分読み出したら、ステップＳ１０に戻る。ステップＳ１０の判断の結果、新フレーム開始信号（次フレームジャンプ信号）が入力されていると判断された場合には、ステップＳ１３において、次フレームの先頭に読み出し位置をジャンプする。そして、ステップＳ１４において、フレームメモリに一定量以上のフレームデータが格納されているかを判断する。ステップＳ１４の判断がＹｅｓの場合には、ステップＳ１０に戻る。ステップＳ１４の判断がＮｏの場合には、ステップＳ１５で通常の９０％のレートでデータの読出しを行い、ステップＳ１４の判断がＹｅｓになるまで繰り返す。

図１０に、復号エラー通知用のAsynchronousパケットのフォーマット例を示す。
図１０において、destination-IDには、Asyncパケットの送信相手のＩＤを設定する。tlには、転送ラベルを設定する。rtには、リライトコードを設定する。Tcodeには、パケットの種類を設定する。図１０のパケットは、Asynchronous write request for data quadletパケット呼ばれるパケットとなるので、固定で、”００００”となる。Priには、優先順位を設定する。source-IDには、図１０のパケットの送信元の装置のＩＤを設定する。destination-offsetには、送信相手先のアドレス下位４８ビットを設定する。Header CRCは、ヘッダー部のCRC情報である。Response領域は、復号用Codecにおいて、復号エラーが発生したことを示す情報を設定する。

上記実施形態のほかに、以下の付記を開示する。
（付記１）
映像データを表示する映像データ通信システムにおいて、
該映像データをフレーム単位で符号化して送信し、送信したフレームに対応するエラーが発生したことを示すエラー信号を受信した場合には、送信中のフレームの送信を中断し、新しいフレームの送信を開始する送信装置と、
該送信装置から送られてきたフレームを復号して表示し、該送信装置から送られてきたフレームの復号処理においてエラーが発生した場合には、該送信装置に、該エラー信号を送信する受信装置と、
を備えることを特徴とする映像データ通信システム。
（付記２）
前記エラー信号を受信した場合には、前記送信装置は、前記映像データを撮影するカメラにリセット信号を入力することを特徴とする付記１に記載の映像データ通信システム。
（付記３）
前記送信装置は、
前記映像データを撮影するカメラにより前記映像データをフレーム単位で格納するフレームバッファを更に有し、
前記エラー信号を受信した場合には、前記送信装置は、現在該フレームバッファから読み出しているフレームの読出しを中止し、次に格納されているフレームの先頭から読出しを行い、符号化して、送信することを特徴とする付記１に記載の映像データ通信システム。
（付記４）
前記エラー信号は、前記符号化されたフレームが送信される通信回線上を転送される同期信号に載せられることを特徴とする付記１に記載の映像データ通信システム。
（付記５）
前記エラー信号は、前記符号化されたフレームが送信される通信回線上を転送される非同期信号に載せられることを特徴とする付記１に記載の映像データ通信システム。

(付記６)
前記通信回線は、ＩＥＥＥ１３９４で規定されるバスシステムであることを特徴とする付記１に記載の映像データ通信システム。
(付記７)
映像データを表示する映像データ通信システムにおける送信装置において、
該映像データをフレーム単位で符号化して送信し、送信したフレームに対応するエラーが発生したことを示すエラー信号を受信した場合には、送信中のフレームの送信を中断し、新しいフレームの送信を開始することを特徴とする送信装置。

１０ 監視カメラ
１１ Iso送信装置
１２ Iso受信装置
１３ 1394バス
１４ 表示装置
１５ 符号用Codec
１６ 映像データIsoパケット生成部
１７、１８ 1394ブロック
１９ 映像データ抽出部
２０ 復号用Codec
２１ Response Isoパケット生成部
２２ Response Isoパケット解析部
２３ 新フレーム開始信号生成部
３０ ラッチ
３１ アンド回路
３２、３３ ビデオインタフェース
４０ フレームメモリ
４１ Response Asyncパケット生成部

Claims (3)

1. 映像データを表示する映像データ通信システムにおいて、
   前記映像データをフレーム単位で符号化して送信し、送信したフレームに対応するエラーが発生したことを示すエラー信号を受信した場合には、送信中のフレームの送信を中断し、新しいフレームの送信を開始するために、前記映像データを撮影するカメラにリセット信号を入力する送信装置と、
   前記送信装置から送られてきたフレームを復号して表示し、前記送信装置から送られてきたフレームの復号処理においてエラーが発生した場合には、前記送信装置に、前記エラー信号を送信する受信装置と、
   を備えることを特徴とする映像データ通信システム。
2. 前記エラー信号は、前記符号化されたフレームが送信される通信回線上を転送される同期信号に載せられることを特徴とする請求項１に記載の映像データ通信システム。
3. 前記エラー信号は、前記符号化されたフレームが送信される通信回線上を転送される非同期信号に載せられることを特徴とする請求項１に記載の映像データ通信システム。

Images