JP6465576B2 - ビデオ監視システムにおけるビデオカメラ及びビデオ受信器 - Google Patents

Description

本発明は、ビデオ監視システムにおけるビデオカメラ及びビデオ受信器に関し、特に、自動車のサラウンドビューシステムに採用可能なビデオ監視システムで使用されるビデオカメラのためのビデオ監視構想に関する。

ビデオ監視システムにおけるビデオカメラには、多くの用途がある。例えば、ビデオカメラは、空港警備や、交通モニタリングに使用される。また、ビデオカメラは、自動車の用途におけるラップアラウンドトップビューシステムにも使用できる。トラック等の車両に、車載カメラを搭載することにより、複数の角度からの画像を記録することができる。従来のトップビューシステムでは、複数のカメラの映像を合成することにより、運転者は、視界を向上することができる。ラップアラウンドビューシステムでは、ユーザは、自分の車両の俯瞰図を見ることができるとともに、車両の画像を複数の角度で表示するようにシステムを制御することができる。

図１は、本発明が解決しようとしている問題を示す図である。図１に示すように、従来の車両におけるトップビューシステムには、複数のカメラＣが設けられる。図１に示すように、これらのカメラは、車両の様々な位置に取り付けられる。図１の例では、車両には、４台のカメラが取り付けられており、カメラＣ_Ｆは、車両の前側に位置し、カメラＣ_Ｒは、後側に位置し、カメラＣ_ｌは、左側に位置し、カメラＣｒは、右側に位置している。これら４台のカメラにより、車両の運転者は、自分の車両の周囲を見ることができ、特に、信号ＴＬで待っているときに、自分の車両の右側にいる自転車の運転者ＢＤ等の接近物体を見ることができる。連続的なビデオデータストリームの表示により、車両の運転者は、自転車がまだ距離Ｄ１だけ車両の後尾から離れているため、車両が自転車の運転者ＢＤを危険にさらすことなく信号ＴＬで右折できる、と判断する可能性がある。しかしながら、ビデオカメラによる画像の生成と、車両の運転者がディスプレイに表示される画像を取得するタイミングとの間に時間の遅延がある場合、運転者に対して表示されるデジタル画像は、自転車の運転者ＢＤが既に図１に示す距離Ｄ２となるまでに車両の後尾に非常に近くに移動していたことを、反映しない。自転車の運転者ＢＤが既に移動していたために、運転者に与えられた遅延したサラウンドビュービデオ映像が、自転車がまだ遥か後方にいる、という誤った印象を運転者に与える一方、現実には、自転車の運転者ＢＤが、既に非常に近くにいるか、又は、図１に示すように、車両の脇にいる、ということが起こることもある。この場合、車両は、右折し、自転車は、車両に衝突し、自転車の運転者ＢＤは、激しく負傷する恐れがある。１台以上のカメラの制御不能の遅延は、各ビデオカメラ又はビデオ受信器の故障により生じる可能性がある。また、ビデオカメラとビデオ受信器との間の通信チャンネルが、遮断又は阻害されることにより生じる可能性がある。さらに、画像のフリーズ又は制御不能の遅延は、複雑なビデオ処理ソフトウェアの処理エラーにより生じる可能性がある。

米国特許公開第２０１３／０１９４４３６号明細書 特開平４−１９２８４５号公報 米国特許第６４２４２７２号明細書 米国特許第７２８９０１９号明細書

したがって、本発明は、ビデオ監視システムにおけるセキュリティを向上させる装置及び方法を提供することを目的とする。

この目的は、請求項１の特徴を有する少なくとも１台のビデオカメラと、請求項８の特徴を有するビデオ受信器とを備えるビデオ監視システムによって達成される。

本発明の第一の側面によると、ビデオ監視システムのビデオカメラが提供され、このビデオカメラは、一連のデジタル画像を監視するための監視情報データを有する一連のデジタル画像を提供する画像生成部と、監視情報データを符号化して情報ブロックを生成する情報データエンコーダと、画像生成部から受信したデジタル画像を圧縮して画像ブロックからなる圧縮されたデジタル画像を生成するビデオ圧縮部と、ビデオ圧縮部から受信した、生成された画像ブロックと、情報データエンコーダにより生成された情報ブロックとを伝送するデータ伝送部とを備える。

本発明の第一の側面に係るビデオカメラの一実施の形態において、ビデオカメラは、さらに、画像生成部から受信した一連のデジタル画像に組み込まれた監視情報データを分割し、分割された監視情報データを、情報データエンコーダに接続されたメモリに保存する分割部を備える。

本実施の形態では、監視情報データが、一連のデジタル画像に組み込まれる。監視情報データは、この組み込まれたデータを処理するために提供される追加的な回路が複雑になり過ぎないように、組み込まれる。また、組み込まれたデータを監視情報データとして使用することにより、ビデオ監視システムが、危険及び／又は不正からの回復力を持つようになる。

本発明の第一の側面に係るビデオカメラの他の一実施の形態において、ビデオカメラのデータ伝送部は、画像ブロックと情報ブロックとを、ペイロードデータとして、データ伝送部により、ビデオカメラのインタフェースを介して、ビデオ監視システムのビデオ受信器に伝送されるデータパケットに封入する封入手段を備える。

本実施の形態では、画像ブロックと、符号化された監視情報データを形成する情報ブロックとが、データパケットに封入されて伝送される際に、ビデオカメラは、パケット伝送の通信標準を使用することができる。情報ブロックをペイロードとしてデータパケットに封入して伝送することは、データ伝送が、データ通信チャンネルの通信障害からの回復力を持つようになるという点で、有利である。

本発明の第一の側面に係るビデオカメラの他の一実施の形態において、画像生成部は、それぞれがマトリクス状の画像画素からなる一連のデジタル画像を提供する。

本発明の第一の側面に係るビデオカメラのさらに他の一実施の形態において、画像生成部により生成された各デジタル画像は、画素行と画素列とからなり、画像生成部により生成されたデジタル画像の監視情報データは、デジタル画像の所定の画素行に組み込まれる。

本発明の第一の側面に係るビデオカメラの他の一実施の形態において、監視情報データは、デジタル画像の所定の行内の所定の画素の組に組み込まれ、各デジタル画像の生成の際に画像生成部により提供される画像カウンタ又はタイムスタンプデータを含むデジタル画像の画像パラメータからなる。

本発明の第一の側面に係るビデオカメラの他の一実施の形態において、ビデオ圧縮部は、ビデオ圧縮部により受信及び圧縮された各デジタル画像の末尾に割り込み信号を生成し、生成された割り込み信号は、情報データエンコーダに供給され、情報データエンコーダは、各デジタル画像の監視情報データを符号化して、ビデオ圧縮部により出力された画像ブロックに付加される情報ブロックを生成する。

本発明の第一の側面に係るビデオカメラの他の一実施の形態において、データ伝送部の封入手段は、情報データエンコーダにより生成されたデジタル画像の情報ブロックと、ビデオ圧縮部により出力された圧縮されたデジタル画像の画像ブロックとを、ペイロードデータとして、ビデオカメラのインタフェースを介してビデオ監視システムのビデオ受信器に伝送される少なくとも１個のイーサネットパッケージに封入する。

イーサネットパッケージ又はイーサネットフレームという標準は、広く使用されているため、追加的な回路を実装する必要がないので、イーサネットパッケージ又はイーサネットフレームを使用することは、有利である。

本発明の第二の側面は、請求項８の特徴を有するビデオ監視システムのビデオ受信器を提供する。

本発明の第二の側面によると、ビデオ監視システムのビデオ受信器が提供され、このビデオ受信器は、ビデオ監視システムの少なくとも１台のビデオカメラからのデジタル画像の画像ブロック及び情報ブロックを受信するデータ受信部と、デジタル画像の受信した画像ブロック及び受信した情報ブロックを復号化するビデオデコーダと、ビデオデコーダから受信した復号化された情報ブロックを復号化することにより、デジタル画像の監視情報データを提供する情報データデコーダと、デジタル画像の監視情報データを評価して、ビデオ監視システムの少なくとも１台のビデオカメラから受信した一連のデジタル画像を監視する評価部とを備える。

本発明の第二の側面に係るビデオ受信器の一実施の形態において、ビデオ受信器のデータ受信部は、ビデオ監視システムの少なくとも１台のビデオカメラから受信されたデータパケットの中にペイロードデータとして入っている画像ブロック及び情報ブロックを開封し、開封した画像ブロック及び情報ブロックをビデオ受信器のビデオデコーダに提供する開封手段を備える。

本発明の第二の側面に係るビデオ受信器の他の一実施の形態において、ビデオ受信器の評価部は、デジタル画像の監視情報データを評価することにより、画像カウンタ及び／又はタイムスタンプデータを含むデジタル画像の画像パラメータの不整合を検出する。

本発明の第二の側面に係るビデオ受信器の他の一実施の形態において、ビデオ受信器の評価部は、さらに、受信したデータパケットのヘッダデータ、受信したデータパケットのフレームレート、及び、ビデオカメラとビデオ受信器との間の通信チャンネルの平均処理能力を確認することで、通信チャンネルの通信障害を検出する。

本実施の形態は、障害に対するセキュリティがさらに向上する点で、有利である。

本発明の第二の側面に係るビデオ受信器の他の一実施の形態において、ビデオ受信器の評価部は、ビデオデコーダ及び／又は情報データデコーダのデコーダエラーメッセージを確認することにより、ビデオ監視システムのビデオカメラとビデオ受信器との間の通信チャンネルの通信障害を検出する。

本発明の第二の側面に係るビデオ受信器の他の一実施の形態において、デジタル画像の画像パラメータの不整合及び／又はビデオカメラとビデオ受信器との間の通信チャンネルの通信障害が評価部により検出された場合、ビデオ受信器の評価部は、受信された画像を表示するために提供される、ビデオ受信器に接続されたディスプレイの動作を停止する。

本発明の第三の側面は、請求項１４の特徴を有するビデオ監視システムを提供する。

本発明の第三の側面によると、ビデオ監視システムが提供され、このビデオ監視システムは、本発明の第一の側面に係る少なくとも１台のビデオカメラと本発明の第二の側面に係るビデオ受信器とを備える。

本発明の他の一側面は、ビデオ監視システムにおいてセキュリティを向上させる方法を提供し、この方法は、一連のデジタル画像を監視するための監視情報データを有する該一連のデジタル画像を提供するステップと、監視情報データを符号化して情報ブロックを生成するステップと、デジタル画像を圧縮して画像ブロックからなる圧縮されたデジタル画像を生成するステップと、生成された画像ブロックと情報ブロックとをビデオ受信器に伝送するステップとを有する。

本発明の他の一側面によると、伝送された画像ブロックと情報ブロックとは、受信され、デジタル画像の受信された画像ブロックと受信された情報ブロックとは、復号化され、復号化された情報ブロックは、さらに復号化されて、デジタル画像の監視情報データを提供し、デジタル画像の監視情報データは、評価されて、ビデオ監視システムのビデオ受信器により受信された一連のデジタル画像を監視する。

以下、本発明に係るビデオカメラとビデオ受信器とを備えるビデオ監視システムの実施の形態を、さらに詳細に説明する。

本発明が解決しようとしている問題を示す図 本発明の第一の側面に係るビデオカメラの一実施の形態のブロック図 本発明の一側面に係るビデオ監視システムの一実施の形態のブロック図 自動車の用途における本発明に係るビデオ監視システムの一実施の形態を示すブロック図 本発明の他の一側面に係るビデオ受信器の一実施の形態のブロック図 本発明に係るビデオ監視システムの一実施の形態で使用されるデータ画像のデータ構造を示す図 本発明に係るビデオカメラにより画像ブロック及び情報ブロックを生成する方法の一実施の形態のフローチャートであり、 本発明の他の一側面に係るビデオ受信器により画像ブロック及び情報ブロックを処理する方法の一実施の形態のフローチャート

図２及び図３に示すように、本発明の一側面に係るビデオ監視システム１は、該ビデオ監視システム１のビデオ受信器４にネットワーク３を介して接続された少なくとも１台のビデオカメラ２を備え、該システム１において、ビデオ受信器４にディスプレイ５が接続されてもよい。図３に示すディスプレイ５は、例えば、自動車、トラック、又は、列車等の車両内のディスプレイであってもよい。図３に示すネットワーク３は、車両におけるローカルネットワーク又はデータバスであってもよいし、他の実施の形態においては、ビデオカメラ２と遠隔のビデオ受信器４とを接続するインターネット等のデータネットワークであってもよい。図３に示すビデオ監視システム１のネットワーク３は、無線又は有線ネットワークであってもよい。

図２は、図３に示すビデオ監視システム１で使用されるビデオカメラ２の一例としての実施の形態を示すブロック図である。図２に示すビデオカメラ２は、画像生成部２Ａを備える。画像生成部２Ａは、一連のデジタル画像ＤＩを監視するための監視情報データＷＩＤを有する一連のデジタル画像ＤＩを提供する。ビデオカメラ２は、１８０度を超える範囲を包含する魚眼光学系等の光学系を備えていてもよい。画像生成部２Ａは、例えば、カラーのデジタル画像を提供してもよい。一実施の形態では、画像生成部２Ａは、それぞれがマトリクス状の画像画素からなる一連のデジタル画像ＤＩを生成する。該画像生成部２Ａにより生成された各デジタル画像ＤＩは、画素行と画素列とからなっていてもよい。一実施の形態では、画像生成部２Ａにより生成されたデジタル画像ＤＩの監視情報データＷＩＤは、図６に示すように、デジタル画像ＤＩの所定の画素行Ｒに組み込まれている。図示の例では、デジタル画像ＤＩは、行Ｒと列Ｌとからなる。例えば、デジタル画像ＤＩは、Ｌ＝１２８０画素及びＲ＝８００画素の大きさのデジタル画像であってもよい。一実施の形態では、各画素は１６ビットからなる。図６に示す一例としての実施の形態では、デジタル画像ＤＩにおいて、監視情報データＷＩＤは、画像画素マトリクスの第１行内のデータフィールドに組み込まれている。一実施の形態では、監視情報データＷＩＤは、デジタル画像ＤＩの所定の行Ｒ内の所定の画素の組に組み込まれている。監視情報データＷＩＤは、デジタル画像ＤＩ及び／又はデジタル画像ＤＩを生成するビデオカメラ２の画像パラメータからなっていてもよい。一実施の形態では、これらの画像パラメータは、デジタル画像ＤＩの生成の際に画像生成部２Ａにより提供される画像カウンタ値ＩＣＶを含む。一実施の形態では、画像生成部２Ａは、画像カウンタ値ＩＣＶを生成するカウンタを備えていてもよく、このカウンタは、画像生成部２Ａによりデジタル画像ＤＩが生成する毎にインクリメントされる。また、一実施の形態では、画像生成部２Ａは、各デジタル画像ＤＩが画像生成部２Ａにより生成された時間を示すタイムスタンプデータＴＳＤを生成してもよい。画像カウンタ値ＩＣＶ及び／又はタイムスタンプデータＴＳＤは、図６に示す画像画素マトリクスの第１行内の所定の位置に監視情報データＷＩＤとして組み込まれていてもよい。一実施の形態では、第１行Ｒ_０内の最初の２個の画素が、画像カウンタ値ＩＣＶを組み込むのに使用されてもよい。この実施の形態では、画像カウンタにより生成される画像カウンタ値ＩＣＶを組み込むのに、２×１６ビットが使用される。画像生成部２Ａにより提供される画像カウンタ値ＩＣＶ及び／又はタイムスタンプデータＴＳＤの他に、デジタル画像ＤＩの他の画像パラメータが、図６に示すデジタル画像ＤＩの第１行Ｒ_０に組み込まれていてもよい。他の画像パラメータとしては、例えば、各デジタル画像ＤＩの画像の解像度、画質レベル又は基準色、及び／又は、輝度等のビデオ設定が挙げられる。その他のビデオ設定の例としては、各デジタル画像ＤＩの逆光補正、画像の鮮明さ、及び／又は、照度が挙げられる。他の組み込まれる画像パラメータの例としては、デジタル画像ＤＩのレジスタ設定又はヒストグラフィックデータが挙げられる。さらに、監視情報データＷＩＤは、カメラの種類及び／又はカメラのＩＤ等のビデオカメラ２のパラメータであってもよい。

図２に示すように、画像生成部２Ａにより提供された一連のデジタル画像ＤＩは、分割部２Ｂに供給される。分割部２Ｂは、画像生成部２Ａから受信した一連のデジタル画像ＤＩに組み込まれた監視情報データＷＩＤを分割し、その分割された監視情報を、監視情報データ一時保存用のメモリ２Ｃに保存する。メモリ２Ｃは、データレジスタからなっていてもよい。メモリの入力部は、分割部２Ｂと接続されているのに対し、メモリ２Ｃの出力部は、図２に示すように、情報データエンコーダ２Ｄに接続されていてもよい。ビデオカメラ２は、さらに、分割部２Ｂに接続されたビデオ圧縮部２Ｅを備える。

情報データエンコーダ２Ｄは、メモリ２Ｃに保存された監視情報データＷＩＤを符号化して、情報ブロックを生成する。ビデオ圧縮部２Ｅは、画像生成部２Ａから受信したデジタル画像ＤＩを圧縮して、画像ブロックからなる圧縮されたデジタル画像を生成する。一実施の形態では、ビデオ圧縮部２Ｅは、ＭＰＥＧビデオ圧縮部であってもよい。他の一実施の形態では、ビデオ圧縮部２Ｅは、ＭＪＰＥＧ（モーションＪＰＥＧ）ビデオ圧縮部であってもよい。さらに他の一実施の形態では、ビデオ圧縮部２Ｅは、Ｈ．２６４ＭＰＥＧ−４ビデオ圧縮部であってもよい。Ｈ．２６４／ＭＰＥＧ−４ＡＶＣ（アドバンスドビデオコーディング）とは、ブロック単位の動き補償ベースのコーデック標準である。Ｈ．２６４／ＡＶＣは、地上波、有線、又は衛星でのＨＤＴＶ放送においてインターネットソースをストリーミングするのに使用できる。Ｈ．２６４／ＡＶＣは、構成を複雑化せずに他の標準よりも低いビットレートで高品質のビデオを提供する。ビデオ圧縮部２Ｅは、画像生成部２Ａから受信したデジタル画像ＤＩを圧縮することにより、必要となるデータ伝送容量を低減する。ビデオカメラ２は、また、データ伝送部２Ｆを備える。データ伝送部２Ｆは、ビデオ圧縮部２Ｅから受信した生成された画像ブロックと、情報データエンコーダ２Ｄにより生成された情報ブロックとを伝送する。

一実施の形態では、ビデオ圧縮部２Ｅは、該ビデオ圧縮部２Ｅにより受信及び圧縮された各デジタル画像ＤＩの末尾に割り込み信号ＩＮＴを生成する。生成された割り込み信号ＩＮＴは、情報データエンコーダ２Ｄに供給される。情報データエンコーダ２Ｄは、各デジタル画像ＤＩの監視情報データＷＩＤを符号化して情報ブロックを生成し、情報ブロックは、ビデオ圧縮部２Ｅにより出力された画像ブロックに付加される。一実施の形態では、あるソフトウェアのブロックが、最後に符号化された画像ブロックの中に画像の終わりを示すマーカを見つけることにより、ビデオパケットの送信を中止するようにしてもよい。一実施の形態では、ソフトウェアのブロックは、列の終わりを示すマーカの前に入力されるＤＣＴ又はＭＪＰＥＧブロック等のソフトウェア画像ブロックでもよく、組み合わされたデータとして送信されてもよい。一実施の形態では、色又は構造の情報のブロックからなる列を、伝送される画像の末尾に付加してもよい。これらの色情報ブロックを使用することにより、構造の情報データは、符号化され、これにより、構造の情報データが歪みを受ける恐れがなくなる。その符号化されたデータは、画像カウンタ値ＩＣＶ等の情報データを含んでいてもよい。画像生成部２Ａより提供されたその組み込まれた列行のデータは、この列で符号化されてもよい。

一実施の形態では、ビデオカメラ２のデータ伝送部２Ｆは、ビデオ圧縮部２Ｅから受信した画像ブロックと、情報データエンコーダ２Ｄから受信した情報ブロックとを、ペイロードデータとしてデータパケットに封入する封入手段を備えていてもよい。これらのデータパケットは、データ伝送部２Ｆにより、ビデオカメラ２のインタフェースを介して、ビデオ監視システム１のビデオ受信器４に伝送されてもよい。一実施の形態では、データ伝送部２Ｆの封入手段は、情報データエンコーダ２Ｄにより生成されたデジタル画像ＤＩの情報ブロックと、ビデオ圧縮部２Ｅにより出力された圧縮されたデジタル画像の画像ブロックとを、ペイロードデータとして少なくとも１個のイーサネットパッケージに封入し、そのイーサネットパッケージは、ビデオカメラ２のインタフェースを介して、ビデオ受信器４に伝送される。データパケットは、画像ブロックと情報ブロックとともに、パケットカウンタ等のさらなる情報を有するヘッダデータＨＤも含むペイロードデータからなる。

図３に示すように、画像ブロックと情報ブロックとを含むペイロードデータからなるデータパケットは、ネットワーク３を介して、ビデオ監視システム１のビデオ受信器４に送られてもよい。図３に示す一実施の形態では、１台のビデオカメラ２が、ネットワーク３を介してビデオ受信器４に接続されている。他の実施の形態では、複数のビデオカメラ２が、ネットワーク３を介してビデオ受信器４に接続される。一実施の形態では、トラック等の車両に、複数のビデオカメラ２が搭載され、そのビデオカメラ２が、データバス又はネットワーク３を介して、ビデオ監視システム１のビデオ受信器４に接続される。

図４は、複数の側面に配置された４台のビデオカメラ２−１、２−２、２−３、及び、２−４を備える自動車やトラック等の車両に実装されたビデオ監視システム１の一実施の形態を示す。この車両は、図４に示すように、複数のビデオカメラ２−ｉからのデータストリームを受信するように、１以上のインタフェースを備えるビデオ受信器４を有する電子制御部６を備えていてもよい。図示の実施の形態では、ディスプレイ５が、ビデオ受信器４に接続されており、ビデオ受信器４の画像処理部により生成された処理済みのデータ画像を表示することにより、車両の周囲の上面図すなわち俯瞰図を提供するか、又は、運転者が駐車場で自分の車両を駐車する際に運転者を支援する。

図５は、本発明に係るビデオ監視システム１で採用されるビデオ受信器４の一実施の形態を示すブロック図である。図５に示すように、図示の実施の形態では、ビデオ受信器４は、データ受信部４Ａを備え、データ受信部４Ａは、ビデオ監視システム１の少なくとも１台のビデオカメラ２−ｉからのデジタル画像の画像ブロック及び情報ブロックを受信する。一実施の形態では、データ受信部４Ａは、複数のビデオカメラ２−ｉからデータパケットを受信する。一実施の形態では、ビデオ受信器４のデータ受信部４Ａは、開封手段を備え、この開封手段は、車両のデータネットワーク３又はデータバスを介して少なくとも１台のビデオカメラ２−ｉからビデオ受信器４により受信されたデータパケットの中にペイロードデータとして入っている画像ブロック及び情報ブロックを開封する。開封手段は、開封した画像ブロック及び情報ブロックをビデオ受信器４のビデオデコーダ４Ｂに提供する。ビデオデコーダ４Ｂは、受信したデジタル画像の画像ブロック及び情報ブロックを復号化する。一実施の形態では、ビデオデコーダは、ＭＰＥＧデコーダ又はＭＪＰＥＧデコーダでもよい。ビデオデコーダ４Ｂの出力部は、ビデオ監視システム１の複数のビデオカメラ２−ｉから受信したデータ画像の画像処理をする画像処理部４Ｃと接続されていてもよい。一実施の形態では、複数のカメラから受信したデータ画像は、処理され、統合されて、単一のトップビュー画像となってもよい。処理されたデータは、分割部４Ｄに提供されて、画像ブロックから情報ブロックを分割する。ビデオ受信器４の情報データデコーダ４Ｅは、ビデオデコーダ４Ｂにより復号化され、画像処理部４Ｃにより処理された情報ブロックを受信して復号化することにより、ビデオ監視システム１内の複数のビデオカメラ２の画像生成部２Ａにより生成されたデジタル画像ＤＩの監視情報データＷＩＤを提供する。分割部４Ｄにより提供された画像ブロックは、車両の運転者に対してディスプレイ５上に表示されてもよい。ディスプレイ５は、無線リンクを介してビデオ受信器４に接続された携帯電話等のポータブルモバイルデバイスのディスプレイであってもよい。

ビデオ受信器４の評価部４Ｆは、情報データデコーダ４Ｅから受信したデジタル画像ＤＩの監視情報データＷＩＤを評価して、ビデオ監視システム１の少なくとも１台のビデオカメラ２−ｉから受信した一連のデジタル画像を監視する。一実施の形態では、評価部４Ｆは、デジタル画像ＤＩの監視情報データＷＩＤを評価することにより、例えば、画像カウンタ値ＩＣＶ及び／又はタイムスタンプデータＴＳＤを含むそのデジタル画像の画像パラメータの不整合を検出する。一実施の形態では、評価部４Ｆは、ビデオ監視システム１内の特定のビデオカメラ２−ｉから受信したデジタル画像ＤＩの画像カウンタ値を監視して、不整合があるかどうか、特に、画像カウンタ値ＩＣＶがインクリメントせず、次々と提供されるデジタル画像ＤＩに対する値が同じになってしまっているかどうか、検出する。画像カウンタ値ＩＣＶがインクリメントしない場合、このことは、各ビデオカメラ２−ｉによる一連のデジタル画像の提供が中断されていて、画面がフリーズしていることを示している可能性がある。さらに、タイムスタンプデータＴＳＤ及び／又は画像カウンタ値ＩＣＶが、時間の遅延を示していることもある。例えば、図４の実施の形態に示すように、ビデオ受信器４が、４台の異なるカメラ２−ｉから異なるデジタル画像を受信する際に、３台のカメラ２−１、２−２、及び、２−３から受信したデジタル画像ＤＩのタイムスタンプデータＴＳＤ_１、ＴＳＤ_２、及び、ＴＳＤ_３が、等しい時間を示しているのに対し、第４のビデオカメラ２−４のタイムスタンプデータＴＳＤ_４が、それのデジタル画像ＤＩがより早く生成されたことを示しているとする。この場合、このビデオカメラ２−４のタイムスタンプデータＴＳＤ_４は、残りのカメラ２−１、２−２、及び、２−３のタイムスタンプデータＴＳＤと不整合となっている可能性がある。ビデオ受信器４の評価部４Ｆにより検出されうる他の不整合は、一連のデジタル画像の画像カウンタ値ＩＣＶが、増加するのではなく、減少する場合である。これは、デジタル画像ＤＩが、デジタル画像ＤＩの処理中に入れ替わったかもしれないことを示している。ビデオ監視システム１毎のセキュリティレベルにより、画像カウンタ値ＩＣＶの変化は、ある程度許容される場合もある。例えば、デジタル画像の画像カウンタ値ＩＣＶが、最初のカウンタ値から次のカウンタ値に、所定の許容差を下回る差だけ変化した場合、これは、許容されるが、画像カウンタ値ＩＣＶが、所定の閾値差を上回る差だけ変化した場合、これは、画像パラメータ間の許容されない不整合と解釈されることがある。一連のデジタル画像の、伝送される画像パラメータも、評価部４Ｆにより評価されることにより、不整合が検出されることもある。例えば、評価部４Ｆが、一連のデジタル画像中に、急激な色の変化又は輝度の変化を検出した場合、不整合が検出されることもある。

本発明に係るビデオ受信器４の他の一実施の形態では、評価部４Ｆは、データ受信部４Ａと、ビデオデコーダ４Ｂと、画像処理部４Ｃとに接続されていてもよい。本実施の形態では、評価部４Ｆは、さらに、受信したデータパケットのヘッダデータ又は受信したデータパケットのフレームレートを確認し、ビデオカメラ２とビデオ受信器４との間の通信チャンネルの平均処理能力を監視することで、各通信チャンネルの通信障害を検出してもよい。評価部４Ｆは、さらに、イーサネットの平均受信フレームレートや、平均処理能力や、イーサネットのパケットカウンタ等のイーサネットのパケットヘッダにある情報を確認してもよい。受信したデータパケットのヘッダデータも監視することにより、ビデオ監視システム１のセキュリティがさらに向上する。一実施の形態では、評価部４Ｆは、ビデオデコーダ４Ｂ及び／又は情報データデコーダ４Ｅのデコーダエラーメッセージを確認することにより、ビデオ監視システム１のビデオカメラ２とビデオ受信器４との間の通信チャンネルの通信障害を検出してもよい。ビデオ受信器４によりディスプレイ５が直接動作されない場合、一実施の形態では、符号化された情報ブロックを、画像処理部４Ｃにより提供された、生成された出力画像の既知の位置にコピーしてもよい。

一実施の形態では、デジタル画像の画像パラメータの不整合及び／又は通信障害が評価部４Ｆにより検出された場合、評価部４Ｆは、警告を出力するようにしてもよい。また、一実施の形態では、デジタル画像の画像パラメータの不整合及び／又はビデオカメラ２とビデオ受信器４との間の通信チャンネルの通信障害が評価部４Ｆにより検出された場合、評価部４Ｆは、ビデオ受信器４に接続されたディスプレイ５の動作を停止するか、又は、ディスプレイ５へのデータリンクを遮断する。ディスプレイ５の動作停止により、車両の運転者は、即座に、ビデオ監視システム１が適切に動作していないと気付き、従来のミラー等の他の技術手段を用いて、車両の周囲を監視することができる。

図７は、本発明に係るビデオ監視システム１のビデオカメラ２内で行われる処理の一実施の形態を示すフローチャートである。一実施の形態では、ステップＳ１において、ビデオカメラ２の画像生成部２Ａは、それぞれが監視情報データＷＩＤを持つ一連のデジタル画像ＤＩを提供する。監視情報データＷＩＤは、一連のデジタル画像を監視する。一実施の形態では、監視情報データＷＩＤは、一連のデジタル画像ＤＩに組み込まれている。画像生成部２Ａから受信された一連のデジタル画像ＤＩに組み込まれた監視情報データＷＩＤは、分割され、ステップＳ２において、情報データエンコーダ２Ｄは、監視情報データＷＩＤを符号化して、情報ブロックを生成する。図７に示すように、ステップＳ３において、ビデオ圧縮部２Ｅは、画像生成部２Ａから受信したデジタル画像ＤＩを圧縮して、画像ブロックからなる圧縮されたデジタル画像を生成する。次に、ステップＳ４において、ビデオカメラ２のデータ伝送部２Ｆは、ビデオ圧縮部２Ｅから受信した、生成された画像ブロックと、情報データエンコーダ２Ｄにより生成された情報ブロックとを伝送する。一実施の形態では、画像ブロックと情報ブロックとは、ステップＳ４において、データパケットに封入され、そのデータパケットは、インタフェースを介して、ビデオカメラ２のデータ伝送部２Ｆにより、ビデオ監視システム１のビデオ受信器４に伝送される。

図８は、本発明に係るビデオ監視システム１のビデオ受信器４内で行われる処理の一実施の形態を示すフローチャートである。ステップＳ５において、ビデオ受信器４のデータ受信部４Ａは、ビデオ監視システム１の少なくとも１台のビデオカメラ２から、デジタル画像の画像ブロックと情報ブロックとを受信する。画像ブロックと情報ブロックとは、分割され、ステップＳ６において、ビデオデコーダ４Ｂは、デジタル画像の受信した画像ブロックと受信した情報ブロックとを復号化する。ステップＳ７において、ビデオ受信器４の情報データデコーダ４Ｅは、ビデオデコーダ４Ｂから受信した、復号化された情報ブロックを復号化して、デジタル画像の監視情報データＷＩＤを提供する。ステップＳ８において、ビデオ受信器４の評価部４Ｆは、デジタル画像の監視情報データＷＩＤを評価して、ビデオ監視システム１の少なくとも１台のビデオカメラ２から受信した一連のデジタル画像を監視する。図８に示すように、ステップＳ９において、分割されたデジタル画像は、ディスプレイ５上に表示される。

本発明に係るビデオ監視システム１は、複数のビデオカメラ２と１台のビデオ受信器４とを備え、このシステムは、様々な用途に用いることができる。一実施の形態では、ビデオ監視システム１は、空港又は輸送機関のセキュリティシステムで使用することができる。また、ビデオ監視システム１は、交通モニタリングに使用することができる。他の一実施の形態では、ビデオ監視システム１は、輸送システムにおける群衆整理に使用することができる。ビデオ監視システム１で使用されるビデオカメラの数は、変わってもよい。一実施の形態では、ビデオ監視システム１は、例えば、人が携行するための単一のカメラを備えていてもよい。他の一実施の形態では、ビデオ監視システム１は、ネットワーク３を介してビデオ受信器４に接続された複数のビデオカメラ２を備えていてもよい。図５に示す実施の形態では、評価部４Ｆが、ビデオ受信器４に組み入れられている。他の一実施の形態では、評価部４Ｆは、インタフェースを介してビデオ受信器４に接続される。ビデオカメラ２により提供されたビデオストリームは、複数のクライアントからなるマルチキャストグループに提供されてもよい。一実施の形態では、ビデオストリームは、ビデオカメラ２のＩＰアドレスを入力することで、インターネットブラウザによりアクセスされるようにしてもよい。表示されるページは、複数のユニキャストクライアント又はマルチキャストクライアントにより同時に見られる実況のＭＰＥＧビデオストリームとしてもよい。

本発明に係るビデオ監視システム１の一実施の形態では、評価部４Ｆは、ビデオ監視システム１のビデオカメラ２から受信した、監視された一連のデジタル画像ＤＩの中に不整合を検出した場合、制御データを生成してもよい。一実施の形態では、この制御データは、ある通信チャンネル内で、ビデオ受信器４から問題のビデオカメラ２に、例えば、問題のビデオカメラ２−ｉのリセットを行うために、伝送されてもよい。評価部４Ｆは、問題のビデオカメラ２−ｉを再起動した後、問題のビデオカメラ２−ｉから受信したデジタル画像の情報ブロックを再度監視して、ビデオカメラのリセットによって、整合性のある一連のデジタル画像を提供するようになったかどうか確認してもよい。評価部４Ｆが、もう不整合性がないと検出した場合、一実施の形態では、ビデオ監視システム１のディスプレイ５上にデジタル画像ＤＩの表示を再度行ってもよい。

更に他の一実施の形態では、評価部４Ｆは、問題のビデオカメラ２の通信チャンネルを無効にし、残りのまだ動作しているビデオカメラに基づいて画像処理を行うように、ビデオ受信器４の画像処理部４Ｃに指示してもよい。一実施の形態では、監視情報データＷＩＤを伝送する情報ブロックは、ビデオ圧縮部により提供される画像ブロックと同じサイズである。一実施の形態では、監視情報データＷＩＤは、色付きの情報ブロックに符号化され、その色付きの情報ブロックは、所定の個数の許容できる色値を含む。これらの色付きの情報ブロックを使用することにより、そこに含まれる監視情報データＷＩＤは、例えば、その通信チャンネルへの外部からの影響により生じる歪みを受ける恐れがなくなる。

一実施の形態では、情報は、ソフトウェアビデオエンコーディングにより生成できる色付きの構造を持った色領域又はブロックによって送られてもよい。これらは、ビデオチェーンにおける処理に対して強固である。それらは、各画像の所定の位置に設けてもよい。

１ ビデオ監視システム
２，２−１，２−２，２−４，２−４ ビデオカメラ
２Ａ 画像生成部
２Ｂ 分割部
２Ｃ メモリ
２Ｄ 情報データエンコーダ
２Ｅ ビデオ圧縮部
２Ｆ データ伝送部
３ ネットワーク
４ ビデオ受信器
４Ａ データ受信部
４Ｂ ビデオデコーダ
４Ｃ 画像処理部
４Ｄ 分割部
４Ｅ 情報データデコーダ
４Ｆ 評価部
５ ディスプレイ
６ 電子制御部
ＢＤ 自転車の運転者
Ｃ_Ｆ，Ｃ_Ｉ，Ｃ_ｒ，Ｃ_Ｒ カメラ
Ｄ１，Ｄ２ 距離
ＤＩ デジタル画像
ＥＣＵ 電子制御部
Ｌ デジタル画像ＤＩの列
ＮＷ ネットワーク
Ｒ デジタル画像ＤＩの行
Ｒ_０ デジタル画像ＤＩの第１行
Ｓ１〜Ｓ９ ステップ
ＴＬ 信号
ＷＩＤ 監視情報データ

Claims (15)

1. 一連のデジタル画像（ＤＩ）を監視するための監視情報データ（ＷＩＤ）を有する該一連のデジタル画像を提供する画像生成部（２Ａ）と、
   前記監視情報データ（ＷＩＤ）を符号化して情報ブロックを生成する情報データエンコーダ（２Ｄ）と、
   前記画像生成部（２Ａ）から受信した前記デジタル画像（ＤＩ）から前記監視情報データを除いた画像データを圧縮して画像ブロックからなる圧縮されたデジタル画像を生成するビデオ圧縮部（２Ｅ）と、
   前記ビデオ圧縮部（２Ｅ）から受信した、前記生成された画像ブロックと、
   前記情報データエンコーダ（２Ｄ）により生成された前記情報ブロックとをビデオ監視システム（１）のビデオ受信器（４）に伝送するデータ伝送部（２Ｆ）と、
   を備え、前記ビデオ受信器（４）は、前記監視情報データ（ＷＩＤ）を評価して、受信した一連の前記デジタル画像を監視するビデオ監視システム（１）のビデオカメラ（２）。
2. さらに、
   前記画像生成部（２Ａ）から受信した前記一連のデジタル画像（ＤＩ）に組み込まれた監視情報データ（ＷＩＤ）を分割し、該分割された監視情報データを、前記情報データエンコーダ（２Ｄ）に接続されたメモリ（２Ｃ）に保存する分割部（２Ｂ）を備える、請求項１に記載のビデオカメラ。
3. 前記ビデオカメラ（２）の前記データ伝送部（２Ｆ）は、前記画像ブロックと前記情報ブロックとを、ペイロードデータとして、前記データ伝送部（２Ｆ）により、前記ビデオカメラ（２）のインタフェースを介して、前記ビデオ監視システム（１）の前記ビデオ受信器（４）に伝送されるデータパケットに封入する封入手段を備えることを特徴とする請求項１又は２に記載のビデオカメラ。
4. 前記データ伝送部（２Ｆ）の前記封入手段は、前記情報データエンコーダ（２Ｄ）により生成されたデジタル画像の前記情報ブロックと、前記ビデオ圧縮部（２Ｅ）により出力された前記圧縮されたデジタル画像の前記画像ブロックとを、ペイロードデータとして、前記ビデオカメラ（２）の前記インタフェースを介して前記ビデオ監視システム（１）の前記ビデオ受信器（４）に伝送される少なくとも１個のイーサネットパッケージに封入することを特徴とする請求項３に記載のビデオカメラ。
5. 前記画像生成部（２Ａ）は、それぞれがマトリクス状の画像画素からなる一連のデジタル画像（ＤＩ）を提供し、
   前記画像生成部（２Ａ）により生成された各デジタル画像（ＤＩ）は、画素行と画素列とからなり、
   前記画像生成部（２Ａ）により生成された前記デジタル画像（ＤＩ）の前記監視情報データ（ＷＩＤ）は、前記デジタル画像（ＤＩ）の所定の画素行に組み込まれることを特徴とする先行請求項１乃至４のうち一項に記載のビデオカメラ。
6. 前記監視情報データは、前記デジタル画像（ＤＩ）の前記所定の行内の所定の画素の組に組み込まれ、前記各デジタル画像（ＤＩ）の生成の際に前記画像生成部（２Ａ）により提供される画像カウンタ値又はタイムスタンプデータを含む前記デジタル画像（ＤＩ）の画像パラメータからなることを特徴とする請求項５に記載のビデオカメラ。
7. 前記ビデオ圧縮部（２Ｅ）は、該ビデオ圧縮部（２Ｅ）により受信及び圧縮された各デジタル画像の末尾に割り込み信号を生成し、
   前記生成された割り込み信号は、前記情報データエンコーダ（２Ｄ）に供給され、前記情報データエンコーダ（２Ｄ）は、前記各デジタル画像ＤＩの前記監視情報データ（ＷＩＤ）を符号化して、前記ビデオ圧縮部（２Ｅ）により出力された前記画像ブロックに付加される情報ブロックを生成することを特徴とする先行請求項１乃至６のうち一項に記載のビデオカメラ。
8. ビデオ監視システム（１）の少なくとも１台のビデオカメラ（２）であって、一連のデジタル画像（ＤＩ）を監視するための監視情報データ（ＷＩＤ）を有する該一連のデジタル画像を提供する画像生成部（２Ａ）と、前記監視情報データ（ＷＩＤ）を符号化して情報ブロックを生成する情報データエンコーダ（２Ｄ）と、前記画像生成部（２Ａ）から受信した前記デジタル画像（ＤＩ）から前記監視情報データを除いた画像データを圧縮して画像ブロックからなる圧縮されたデジタル画像を生成するビデオ圧縮部（２Ｅ）とを備えたビデオカメラからのデジタル画像（ＤＩ）の画像ブロック及び情報ブロックを受信するデータ受信部（４Ａ）と、
   前記デジタル画像（ＤＩ）の前記受信した画像ブロック及び前記受信した情報ブロックが提供され、前記ビデオ圧縮部で圧縮された前記画像ブロックを復号化するビデオデコーダ（４Ｂ）と、
   前記ビデオデコーダ（４Ｂ）から受信し、前記情報データエンコーダで符号化された情報ブロックを復号化することにより、前記デジタル画像（ＤＩ）の監視情報データ（ＷＩＤ）を提供する情報データデコーダ（４Ｅ）と、
   前記デジタル画像（ＤＩ）の前記監視情報データ（ＷＩＤ）を評価して、前記ビデオ監視システム（１）の少なくとも１台のビデオカメラ（２）から受信した一連の前記デジタル画像を監視する評価部（４Ｆ）とを備える、前記ビデオ監視システム（１）のビデオ受信器（４）。
9. 前記ビデオ受信器（４）の前記データ受信部（４Ａ）は、前記ビデオ監視システム（１）の少なくとも１台のビデオカメラ（２）から受信されたデータパケットの中にペイロードデータとして入っている画像ブロック及び情報ブロックを開封し、前記開封した画像ブロック及び情報ブロックを前記ビデオ受信器（４）の前記ビデオデコーダ（４Ｂ）に提供する開封手段を備えることを特徴とする請求項８に記載のビデオ受信器。
10. 前記ビデオ受信器（４）の前記評価部（４Ｆ）は、前記デジタル画像ＤＩの前記監視情報データ（ＷＩＤ）を評価することにより、画像カウンタ値及び／又はタイムスタンプデータを含む前記デジタル画像（ＤＩ）の画像パラメータの不整合を検出することを特徴とする請求項８又は９に記載のビデオ受信器。
11. 前記ビデオ受信器（４）の前記評価部（４Ｆ）は、さらに、前記受信したデータパケットのヘッダデータ、前記受信したデータパケットのフレームレート、及び、前記ビデオカメラ（２）と前記ビデオ受信器（４）との間の通信チャンネルの平均処理能力を確認することで、前記通信チャンネルの通信障害を検出することを特徴とする先行請求項８乃至１０のうち一項に記載のビデオ受信器。
12. 前記ビデオ受信器（４）の前記評価部（４Ｆ）は、前記ビデオデコーダ（４Ｂ）及び／又は前記情報データデコーダ（４Ｅ）のデコーダエラーメッセージを確認することにより、前記ビデオ監視システム（１）のビデオカメラ（２）と前記ビデオ受信器（４）との間の通信チャンネルの通信障害を検出することを特徴とする先行請求項８乃至１１のうち一項に記載のビデオ受信器。
13. 前記デジタル画像（ＤＩ）の画像パラメータの不整合及び／又はビデオカメラ（２）と前記ビデオ受信器（４）との間の通信チャンネルの通信障害が前記評価部（４Ｆ）により検出された場合、前記ビデオ受信器（４）の前記評価部（４Ｆ）は、前記受信された画像を表示するために提供される、前記ビデオ受信器（４）に接続されたディスプレイ（５）の動作を停止することを特徴とする先行請求項８乃至１２のうち一項に記載のビデオ受信器。
14. 先行請求項１乃至７のうち一項に記載の少なくとも１台のビデオカメラ（２）と先行請求項９乃至１３のうち一項に記載のビデオ受信器（４）とを備えるビデオ監視システム（１）。
15. 一連のデジタル画像を監視するための監視情報データを有する該一連のデジタル画像を提供するステップと、
    前記監視情報データを符号化して情報ブロックを生成するステップと、
    前記デジタル画像から前記監視情報データを除いた画像データを圧縮して画像ブロックからなる圧縮されたデジタル画像を生成するステップと、
    前記生成された画像ブロックと前記情報ブロックとをビデオ受信器に伝送するステップと、
    前記ビデオ受信器（４）が、前記監視情報データ（ＷＩＤ）を評価して、受信した一連の前記デジタル画像を監視するステップとを有する、ビデオ監視システムにおいてセキュリティを向上させる方法。

Images