JP4740800B2

JP4740800B2 - 画像処理装置、画像処理方法、及びそれを用いた監視システム

Info

Publication number: JP4740800B2
Application number: JP2006159926A
Authority: JP
Inventors: 博幸野島
Original assignee: Ikegami Tsushinki Co Ltd
Current assignee: Ikegami Tsushinki Co Ltd
Priority date: 2006-06-08
Filing date: 2006-06-08
Publication date: 2011-08-03
Anticipated expiration: 2026-06-08
Also published as: JP2007329747A

Description

本発明は、ＪＰＥＧ２０００方式による圧縮画像をネットワークにスケーラブル配信するための画像処理装置、画像処理方法、及びそれを用いた監視カメラ装置に関する。

図１２は、従来の画像データをＪＰＥＧ２０００方式の画像圧縮技術によるデータ処理装置のブロック図であり、具体的には監視カメラシステムを示している。同図において、監視カメラシステム１は、カメラ２と、モニタ３と、サーバ４とで構成され、カメラ２が撮影し得られた画像信号がサーバ４に入力され、撮影した映像はモニタ３に表示する。サーバ４には、ＳＤＲＡＭ５、ＪＰＥＧ２０００コーデック６、ブロック並び替え回路７、ＣＰＵ８、フラッシュメモリ９等が設けられ、符号化したストリーム（符号化コードストリーム）、及びブロック並び替え処理した後のストリーム等が記憶される。これらの画像データをＳＤＲＡＭ５に記録するための制御は、ＣＰＵ８の指示を受けメモリ制御回路１０が実行して書き込まれるし、また読み出される。

ＪＰＥＧ２０００コーデック６は、画像信号をＪＰＥＧ２０００方式に従って符号化し、パケットによる情報を単位とする符号化コードストリームとしてＳＤＲＡＭ５に記憶される。ブロック並び替え回路７は、ＳＤＲＡＭ５に記憶されている符号化コードストリームをブロック単位でコピーして並べ替えを行うことによって、別の配列のストリームを生成してＳＤＲＡＭ５に記憶する。フラッシュメモリ９は、ＣＰＵ８の処理手順を記述したプログラム、画像用テーブル、再生用テーブルが格納される。画像用テーブルは、符号化する際に参照される解像度レベル数、レイヤ数、スケーラビリティを設定するためのパラメータが格納され、再生用テーブルは、実現したいスケーラビリティに関連する解像度、ＳＮＲの設定値が格納される。カメラで撮影された画像は、このような監視カメラシステムのサーバ４によって、画像記録、画像再生、及び画像配信が行われる。（特許文献１参照）

さらに、ＪＰＥＧ２０００方式について説明すると、ＪＰＥＧ２０００コーデック６は、図１３に示すように矢印Ｙ１に沿ってデジタル化された圧縮画像を作成し（ステップＳａ）、この圧縮画像の各パケットをデータ解析処理し（ステップＳｂ）、パケット化した画像データの並び替え処理し（ステップＳｃ）、コピー処理してブロック並び替えストリームを作成する（ステップＳｄ）。先ず、ステップＳａでは、デジタル化した画像信号をパケット解析して画像圧縮した符号化コードストリームに変換する。この符号化コードストリームは、ヘッダＨと画像信号のパケット化したデータ領域であるビットストリームＢＳとから構成され、ヘッダＨにはコードストリームの先頭マーカが含まれるメインヘッダＭＨとタイルパートヘッダＴＨとを含み、ビットストリームＢＳには原圧縮画像のパケット化された１〜６０のビットストリームが配列し、かつビットストリームの最後に最後尾マーカであるＥＯＣが設けられている。ステップＳｄに示す複数のブロック並び替えストリームは、レイヤ（画質）１〜５のそれぞれに解像度（１／１，１／４，１／１６）を組み合わせた各画像品質に対応し、共通のメインヘッダＭＨ、タイルパートヘッダＴＨが配列し、各画像品質毎にビットストリームＢＳが配列している。

特開２００５−１１７１５６号公報（明細書段落〔００３２〕〜〔００５０〕，図１〜図４参照）

従来の静止画系圧縮画像を生成するＪＰＥＧ方式や動画系圧縮画像を生成するＭＰＥＧ方式では、複数のクライアントに対して異なった解像度及び画質の圧縮画像をリアルタイムに送信するのは困難であったが、ＪＰＥＧ２０００方式ではそれを可能にしている。しかし、上記ＪＰＥＧ２０００方式によるデータ処理装置では、画像信号をＪＰＥＧ２０００方式により符号化した上、さらに、予め解像度とレイヤによる画像品質毎に配信画像を作成し、スケーラブル配信を行っている。種々の画像品質に対応する各画像データは、フラッシュメモリ又はＲＡＭ（Randam Access Memory）に記憶されており、画像作成時のコピー処理時間を費し、画像データをリアルタイムにスケーラブル配信することができず、画像データをリアルタイムにスケーラブル配信するには改良の余地があった。さらに、変換した画像データを記憶するためのＲＡＭを大量に使用するといった問題があって、監視カメラと画像処理装置とを組み合わせた監視カメラ装置では高価なものとなる欠点があり、改良の余地があった。

本発明は、上記課題に鑑みてなされたものであり、画像信号をＪＰＥＧ２０００方式で圧縮処理した符号化コードストリームをブロック並び替え処理やコピー処理することなく、処理時間を短縮し、しかもコピーに必要なＲＡＭを多量に使用することなく、リアルタイムにネットワークにスケーラブル配信することが可能な画像処理装置、画像配信方法、及び監視システムを提供することを目的とする。

本発明は、上記課題を達成したものであり、請求項１の発明は、カメラで撮影して得られた映像信号をインターネットに配信するための画像処理装置であって、
該映像信号をＪＰＥＧ２０００方式により符号化コードストリームによる圧縮画像とする符号化手段と、
該符号化手段による該圧縮画像を記憶する記憶部と、
該記憶部に格納した該圧縮画像をデータ解析するデータ解析部と、
該データ解析部による解析情報に基づいて、該圧縮画像を構成する各符号化コードストリームの各マーカ、ビットストリーム、及び最後部マーカ（ＥＯＣ）の位置情報及びサイズによるスケーラブル配信画像管理データを作成する管理データ作成部と、
前記記憶部に記憶された前記圧縮画像の符号化コードストリームから前記スケーラブル配信画像管理データに基づいて、受信側の複数の表示能力に対応可能な各画像品質の画像データを送出する送出手段とを備えたことを特徴とする画像処理装置である。

また、請求項２の発明は、カメラで撮影して得られる映像信号をインターネットに配信するための画像処理方法であって、
該カメラで撮影して得られる映像信号をＪＰＥＧ２０００方式による符号化手段により符号化コードストリームによる圧縮画像として記憶部に記憶し、
該圧縮画像をデータ解析部にてデータ解析処理し、
該データ解析部による解析情報を管理データ作成部にて、該圧縮画像を構成する各符号化コードストリームの各マーカ、ビットストリーム、及び最後部マーカ（ＥＯＣ）の位置情報及びサイズによるスケーラブル配信画像管理データを作成し、
前記記憶部に記憶された前記圧縮画像の符号化コードストリームから前記スケーラブル配信画像管理データに基づいて、受信側の複数の表示能力に対応可能な各画像品質の画像品質の画像データを送出することを特徴とする画像処理方法である。

また、請求項３の発明は、請求項１に記載の画像処理装置において、前記カメラが前記画像処理装置と一体に構成され、該カメラからに映像信号がデジタルインターフェイスを介して該画像処理装置に入力されてなる監視システムであり、該画像処理装置が該カメラからの画像信号をデジタル信号に変換してＪＰＥＧ２０００方式による圧縮画像である符号化コードストリームと該符号化コードストリームの前記スケーラブル配信画像管理データとに基づいて、受信側の複数の表示能力に対応可能な画像データをスケーラブル配信することを特徴とする監視システムである。

また、請求項４の発明は、請求項１に記載の画像処理装置において、前記カメラが前記画像処理装置と別体であって、該カメラからに映像信号がアナログインターフェイスを介して該画像処理装置に入力されてなる監視システムであり、該画像処理装置が該カメラからの画像信号をビデオデコーダでデジタル信号に変換してＪＰＥＧ２０００方式による圧縮画像である符号化コードストリームと該符号化コードストリームの前記スケーラブル配信画像管理データとに基づいて、受信側の複数の表示能力に対応可能な画像データをスケーラブル配信することを特徴とする監視システムである。

請求項１の発明では、カメラで撮影して得られた映像信号をインターネットに配信するための画像処理装置であって、
該映像信号をＪＰＥＧ２０００方式により符号化コードストリームによる圧縮画像とする符号化手段と、
該符号化手段による該圧縮画像を記憶する記憶部と、
該記憶部に格納した該圧縮画像をデータ解析するデータ解析部と、
該データ解析部による解析情報に基づいて、該圧縮画像を構成する各符号化コードストリームの各マーカ、ビットストリーム、及び最後部マーカ（ＥＯＣ）の位置情報及びサイズによるスケーラブル配信画像管理データを作成する管理データ作成部と、
前記記憶部に記憶された前記圧縮画像の符号化コードストリームから前記スケーラブル配信画像管理データに基づいて、受信側の複数の表示能力に対応可能な各画像品質の画像データを送出する送出手段とを備えたことを特徴とする画像処理装置であるので、画像信号とこの画像信号の符号化した圧縮画像とを記憶部に記憶し、符号化した圧縮画像の管理データのみを作成するのみで、この管理データに基づいて、記憶部に記憶された符号化された圧縮画像から必要な情報を取得して要求される画像品質の画像データをスケーラブル配信することができ、記憶部の膨大な記憶容量を用意する必要がないし、記憶部に符号化された圧縮画像のブロック並び替え画像を記憶する処理時間が省略することができ、画像データをリアルタイムに配信することができるし、端末の表示能力に応じた画像データをインターネットにスケーラブル配信することができる利点がある。

また、本発明では各マーカ、ビットストリーム、及び最後部マーカ（ＥＯＣ）の位置情報及びサイズによる管理データに基づいて、スケーラブル配信するための画像データを記憶部に記憶するための処理時間を省略することができ、画像データをリアルタイムにスケーラブル配信することができる利点がある。

また、本発明では要求された画像品質（解像度、レイヤ）に応じて管理データのアドレスとサイズとから対応するビットストリームを呼び出して配列した画像データを配信することができるし、また、解像度の異なる複数の画像データを送信することができので、処理時間が短くリアルタイムに画像データをスケーラブル配信することができる利点がある。

また、請求項２の発明では、カメラで撮影して得られる映像信号をインターネットに配信するための画像処理方法であって、
該カメラで撮影して得られる映像信号をＪＰＥＧ２０００方式による符号化手段により符号化コードストリームによる圧縮画像として記憶部に記憶し、
該圧縮画像をデータ解析部にてデータ解析処理し、
該データ解析部による解析情報を管理データ作成部にて、該圧縮画像を構成する各符号化コードストリームの各マーカ、ビットストリーム、及び最後部マーカ（ＥＯＣ）の位置情報及びサイズによるスケーラブル配信画像管理データを作成し、
前記記憶部に記憶された前記圧縮画像の符号化コードストリームから前記スケーラブル配信画像管理データに基づいて、受信側の複数の表示能力に対応可能な各画像品質の画像品質の画像データを送出することを特徴とする画像処理方法であるので、圧縮画像である符号化コードストリームを画像品質毎に変換して記憶部に記憶することなく、符号化コードストリームを構成するマーカ位置情報及びパケットサイズを管理データとして記憶することで、要求される画像品質（解像度、レイヤ）に応じ、必要なビットストリームを組み合わせて配列した画像データをスケーラブル配信することができる利点がある。

また、請求項３の発明では、請求項１に記載の画像処理装置において、前記カメラが前記画像処理装置と一体に構成され、該カメラからに映像信号がデジタルインターフェイスを介して該画像処理装置に入力されてなる監視システムであり、該画像処理装置が該カメラからの画像信号をデジタル信号に変換してＪＰＥＧ２０００方式による圧縮画像である符号化コードストリームと該符号化コードストリームの前記スケーラブル配信画像管理データとに基づいて、受信側の複数の表示能力に対応可能な画像データをスケーラブル配信することを特徴とする監視システムであるので、圧縮画像を端末側（クライアント）の表示能力に応じてスケーラブル配信することができる利点があり、画像をリアルタイムに送出することができる利点がある。

また、請求項４の発明では、請求項１に記載の画像処理装置において、前記カメラが前記画像処理装置と別体であって、該カメラからに映像信号がアナログインターフェイスを介して該画像処理装置に入力されてなる監視システムであり、該画像処理装置が該カメラからの画像信号をビデオデコーダでデジタル信号に変換してＪＰＥＧ２０００方式による圧縮画像である符号化コードストリームと該符号化コードストリームの前記スケーラブル配信画像管理データとに基づいて、受信側の複数の表示能力に対応可能な画像データをスケーラブル配信することを特徴とする監視システムであるので、圧縮画像を端圧側（クライアント）の表示能力に応じてスケーラブル配信することができる利点があり、画像を遠隔地へリアルタイムに送出することがである。また、監視区域にネットワーク用のカメラを複数設置し、各カメラからの画像を画像処理装置で処理し、画像圧縮して記録するとともに、各画像をスケーラブル配信することができる利点があり、また画像をリアルタイムに送出することができる。

以下、本発明に係る画像処理装置及び画像配信方法の実施形態について図面を参照して説明する。なお、図１は本発明に係る画像処理装置の一実施形態であるネットワークカメラ装置を示すブロック図である。図２は本発明に係る画像処理装置の他の実施形態であるネットワ−クエンコーダ装置の実施形態を示すブロック図である。図３は本発明の一実施形態を示す画像処理方法の概要を示す処理フローである。図４（ａ），（ｂ）は各処理フローを説明する処理フローである。図５は本発明のスケーラブル配信画像作成処理を示し、符号化コードストリームから管理データまでのパケット構成図を示している。図６はスケーラブル配信する際の画像データを説明するパケット構成図である。図７はスケーラブル配信する際の画像品質で示した画像データのパケット構成図である。図８は指定された画像品質のパケット構成図である。図９はスケーラブル配信画像管理データをアドレスで示すパケット構成図であり、管理データテーブルに対応する。

図１は、本発明の画像処理装置の一実施形態であるネットワークカメラ装置の例を示すブロック図である。同図に示すように、ネットワークカメラ装置１１は、撮像部と圧縮部とが一体となっており、カメラ１１は撮影した画像信号がデジタルＩ／Ｆ部１３を通してデジタル化された画像信号とし、この画像信号がＪＰＥＧ２０００コーデック（以下、符号化手段と称する）１４に入力される。符号化手段１４では、ＪＰＥＧ２０００方式に基づいて画像信号を圧縮する。符号化手段１４によって圧縮されたＪＰＥＧ２０００画像（以下、圧縮画像と称する）は、ＣＰＵ１５による制御によって、ＳＤＲＡＭ（Synchronous ＤＲＡＭ）等の記憶部１６に書き込まれる。記憶部１６に保存された圧縮画像は、スケーラブル配信をするために、データ解析処理部１７にてデータ解析が行われ、このデータ解析情報に基づいて、スケーラブル配信画像管理部１８にてスケーラブル画像配信管理データが作成される。フラッシュＲＯＭ１９はネットワークカメラ１１を動作させるための制御プログラムが格納されている。要求された品質画像の画像データは、既存のＡＰＩ（Application Program Interface）の送出手段を経てネットワークＩ／Ｆ２０を介し配信される。なお、スケーラブル配信とは、例えばＨＤＴＶ受信機、パーソナルコンピュータ、携帯電話等の受信端末（クライアント）が自分の表示能力に応じて圧縮された画像データを受信し、所望の画像品質の画像を復号し表示することができる画像データの配信を意味している。

図２は、本発明の画像処理装置の他の実施形態であるネットワークエンコーダ装置の例を示すブロック図である。図２に示すように、ネットワークエンコーダ装置１１′は、撮像部と圧縮部とが分離した構成であり、カメラ１２はネットワークエンコーダ装置１１′に接続されている。カメラ１２で撮影された映像信号は、アナログＩ／Ｆ部２１を介してビデオデコーダ２２に入力されてデジタル化された画像信号に変換され、この画像信号がＪＰＥＧ２０００コーデック（符号化手段）１４に入力される。ＪＰＥＧ２０００コーデックでは、先に説明したように、画像信号を圧縮し、ＪＰＥＧ２０００画像（以下、圧縮画像と称する）とし、ＣＰＵ１５による制御によって、ＳＤＲＡＭ（Synchronous ＤＲＡＭ）１６等の記憶部に書き込まれる。記憶部１６に保存された圧縮画像は、スケーラブル配信をするために、データ解析処理部１７にてデータ解析が行われ、このデータ解析情報に基づいて、スケーラブル配信画像管理部１８にてスケーラブル画像配信管理データを作成する。要求された品質画像の画像データが、先に説明したように、ＡＰＩ（Application Program Interface）の送出手段を経てネットワークＩ／Ｆ２０を介し配信される。なお、フラッシュＲＯＭ１９はネットワークエンコーダ装置１１′を動作させるための制御プログラムが格納されている。

続いて、ネットワークカメラ装置１１及びネットワークエンコーダ装置１１′における画像処理方法について、図３〜図９を参照して説明する。本発明の画像処理方法は、主に図１，図２に示した符号化手段１４、データ解析部１７、及びスケーラブル配信画像処理部１８による画像処理が行われる。先ず、符号化手段１４は、カメラ１２で撮影された原画像を変換して符号化コードストリームにする画像圧縮処理手段であり、この処理手段は図１３で説明したように、先頭マーカが含まれるメインヘッダＭＨとタイルパートヘッダＴＨからなるヘッダＨ、１〜６０のビットストリームが配列したビットストリームＢＳ、最後尾マーカであるＥＯＣからなる符号化コードストリームを作成する符号化手段である。

本実施形態の画像処理方法は、図３に示したように、ステップＳ１〜Ｓ４からなり、ステップＳ１ではデータ解析処理部１７が記憶部１６に書き込まれた符号化コードストリーム（ＪＰＥＧ２０００画像）を取得し、ステップＳ２にて、データ解析処理を実行し（図５のステップＳＢに対応）、続いて、ステップＳ３に進み、スケーラブル配信画像管理部１８にてスケーラブル配信画像管理データ作成処理を実行し、スケーラブル配信画像管理部１８内のバッファメモリにスケーラブル配信画像管理データを作成する（図５のステップＳＣに対応）。なお、ステップＳ４では、所望の画像品質の要求に対してスケーラブル配信画像管理データに基づいて、記憶部１６に記憶されている符号化コードストリームから所望の画像品質の画像データを組み合わせて配列した画像データを配信する。また、ステップＳ４のスケーラブル配信において、低品質画像から高品質画像までの画像データを配信して端末側（クライアント）にて端末側の表示能力に応じ画像データを選択して表示するようにしてもよい。

次に、データ解析部１７によるデータ解析処理について、図４（ａ）を参照して説明する。なお、圧縮画像の符号化コードストリームの概要は図５のステップＳＡに示した。符号化コードストリームは、例えば、プログレッション方式としてＬＲＣＰプログレッション（品質の段階的改善を目的）を採用し、解像度数が３、レイヤ数が５、圧縮方式がロッシー９×７（９×７変換のウェーブレット変換）とし、このＬＲＣＰプログレッションでは、レイヤ（Ｌ）、解像度レベル（Ｒ）、コンポーネット（Ｃ）、位置（Ｐ）の順序でパケット群が配列され、ＬＲＣＰ配列ストリームを形成している。他には、ＲＬＣＰプログレッション（解像度の階段的改善を目的）があり、ＲＬＣＰ配列ストリームを形成する。因みに、従来例では、ＬＲＣＰ配列ストリームからＲＬＣＰ配列ストリームにブロック並び替え変換処理を行っているために、並び替えのための処理時間を要していた。

先ず、ステップＳ５において、符号化コードストリームからマーカ位置の取得が行われる。符号化コードストリームでは、ヘッダＨを構成するメインヘッダＭＨとタイルパートヘッダＴＨ等との各ヘッダに先頭マーカが設けられ、ヘッダＨに続いて画像データである１〜６０個のパケットからなるビットストリームとコードストリームの最後尾マーカとで構成されており、最後尾マーカを除くマーカの位置情報（アドレス）及びパケットサイズが、データ解析部１７のデータ解析処理により取得される。取得したマーカ位置情報は、データ解析部１７に設けたバッファメモリに格納される。

続いて、ステップＳ６において、パケット解析処理が行われる。このパケット解析処理では、ヘッダＨに続いて画像データである１〜６０個のパケットからなるビットストリームの各パケットの位置情報（アドレス）と各パケットのサイズが、データ解析部１７のデータ解析処理により取得される。取得した位置情報は、データ解析部１７に設けたバッファメモリに格納される。

続いて、ステップＳ７に進み、符号化コードストリームの最後尾マーカ（ＥＯＣ）の位置情報（アドレス）を取得する。最後尾マーカ（ＥＯＣ）の位置は、圧縮画像のコードストリームを構成する最終パケットから２つ前のアドレスになる。取得したマーカ位置情報は、データ解析部１７に設けたバッファメモリに格納される。

次に、スケーラブル配信画像管理部１８によるスケーラブル画像管理データの作成について、図４（ｂ）の処理フローを参照して説明する。スケーラブル配信画像管理部１８では、解像度数にレイヤ数を乗じた数の管理データを作成し、端末側（クライアント）から指定された画像を管理データに基づいて、符号化コードストリームからパケット化された各画像データを取得して各画像品質の画像データが送出できるように、管理データが作成される。

先ず、ステップＳ８では、ＪＰＥＧ２０００圧縮画像の符号化コードストリームのヘッダと各マーカのサイズと各マーカの先頭アドレスが管理バッファメモリ１〜３にセットされる。この管理バッファメモリ１〜３には、符号化コードストリームを特定できるマーカのアドレスとサイズとが記録される。続いて、ステップＳ９では、管理バッファメモリ４〜８に、ビットストリーム１〜６０の各パケットデータのサイズと先頭アドレスが記録される。続いて、ステップＳ１０にて、符号化コードストリームの最後尾マーカ（ＥＯＣ）の位置情報（アドレス）とサイズを管理バッファメモリ９にセットし、ステップＳ１１に進み、ステップＳ８からＳ１０の管理データを指定された解像度、レイヤの圧縮画像サイズを、後述する図９の管理データにセットする。

以下、本発明におけるスケーラブル配信するための画像管理データの記録形式について、図６〜図９を参照し説明する。図６〜図９は、符号化コードストリームの画像データが配列するビットストリーム（パケット）１〜６０のパケット構成について、解像度とレイヤ（画質）との関係で示している。先ず、図６は、解像度（画像サイズ）が１／１６，１／４，１／１とレイヤ（画質）１〜５との関係に基づいて、パケット番号（１〜６０）で示しており、レイヤ数の数値が大きい程、画質が良好なものとなり、解像度は画像サイズを表し、レイヤが同じ数であれば同一画質であり、画像サイズ１／１は画像サイズ１／１６より大きく原サイズである。例えば、解像度１／１６でレイヤ１の画像は、パケット番号１〜６で構成されるビットストリームから構成され、解像度１／１でレイヤ１の画像は、パケット番号１〜１２で構成されるビットストリームから構成される。また、解像度１／１６でレイヤ２の画像は、パケット番号１〜６＋１３〜１８で構成されるビットストリームから構成され、解像度１／１でレイヤ２の画像は、パケット番号１〜２４で構成されるビットストリームから構成される。

因みに、ＪＰＥＧ２０００方式では、パケット化された画像信号にウェーブレット変換を実行し、画像信号は水平（Ｈ）及び垂直方向（Ｌ）に所定回数のサブバンド分解を実行する。サブバンド分解を行う回数が３の場合、原画像（０ＬＬ）が４つのサブバンド（１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨ）に分解され、次に１ＬＬサブバンドが４つのサブバンド（２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨ）に分解され、さらに２ＬＬサブバンドが４つのサブバンド（３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ）に分解される。

図６のレイヤ１，解像度１／１で画像信号（０ＬＬ）をウェーブレット変換した場合、３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ，１ＬＨ，１ＨＨの１０個のサブバンドに分解されることになる。パケット（ビットストリーム）１２が１ＨＨ、１１が１ＬＨ、１０が１ＨＬ、９が２ＨＨ、８がＬＨ、７が２ＨＬ、６が３ＨＨ、５が３ＬＨ、４が３ＨＬ、３〜１が３ＬＬである。同一レイヤにおいて、各解像度において共通パケット（ビットストリーム）（１ＬＬ）が存在する。図７の関係図は、解像度（１／１６，１／４，１／１）とレイヤ（画質）１〜５の関係をビットストリーム（パケット）番号で示している。図８はさらにビットストリーム（パケット）番号を集約して示したものであり、最終的に、図９の管理データが作成され、管理データテーブルが管理バッファメモリに記憶される。

図９のパケット（ビットストリーム）の管理データは、レイヤ毎に解像度の画像品質の画像データを読み出す際のビットストリームの先頭アドレスとそのパケットサイズが書き込まれている。レイヤ１で解像度１／１６の場合、管理バッファメモリ４にビットストリーム１の先頭アドレスとビットストリーム１〜６までの合計サイズが記録されている。レイヤ数が１〜５であり、各レイヤ毎に解像度が３種類であるので、１５種類の管理データが作成される。

本実施形態の画像処理装置では、図９の管理データがスケーラブル配信画像管理処理部１８の管理バッファメモリに記憶され、この管理データに基づいて、端末から要求される画像品質（レイヤ数及び解像度）の画像データを読み出すことができる。例えば、レイヤ数５で、解像度１／１であれば、管理バッファメモリ４からビットストリームリーム１のアドレスを読み取り、ビットストリーム１〜６０のサイズを読み取り、ＪＰＥＧ２０００方式で画像圧縮された符号化コードストリームから必要なビットストリームを読み出して所望の画像データのパケット配列からなる画像データを送出することができる。

このように、本実施形態では、従来のようにブロック並び替えしたビットストリームを記憶することなく、上記のような管理データを作成することによって、要求される解像度、レイヤ数の画像データを管理データに基づいて、符号化コードビットストリームから必要なパケットを読み出して配列したビットストリームからなる画像データを作成することができ、画像データを記憶処理するための処理時間を省略することが可能であり、画像をリアルタイムに配信することが可能である。また、種々の画像品質であり、所望のサイズの圧縮した画像データを作成してスケーラブル配信することができる。

次に、本実施形態のネットワークカメラ装置を利用したネットワークカメラシステムについて、図１０，図１１を参照し説明する。先ず、図１０のネットワークカメラシステムを説明する。このネットワークカメラシステムは最も単純な監視システムを示し、ネットワークカメラ装置１１とパソコン２１はルーター２２を介してＬＡＮ接続されている。ネットワークカメラ装置１１は監視区域を撮影し、ネットワークカメラ装置１１でＪＰＥＧ２００方式でデジタル化した原画像信号を画像圧縮し、符号化コードストリームとし、符号化コードストリームのデータ解析をして、マーカ位置情報とサイズの管理データを作成し、クライアントの要求に応じて、この管理データに基づく要求の解像度、レイヤ数のスケーラブル配信画像をインターネットに配信する。ネットワークカメラ装置１１とＬＡＮ接続されたパソコン２１は高画質Ａの画像を解像度１／１でモニタで確認することが可能であり、インターネット２３を介してパソコン２５のモニタでは、画像品質の低い画質Ｃであり、解像度１／４の画像を表示させることができ、このようにカメラ画像をスケーラブル配信することができる。無論、パソコン２５の表示能力が高能力であれば、高画質Ａでサイズ１／１で表示することも可能である。

また、図１１は、ルータ２２に多数のネットワークカメラ装置１１_１〜１１ｎがＬＡＮ接続され、さらに、ネットワークレコーダ２６及びパソコン２７がＬＡＮ接続されている。ネットワークカメラ装置１１_１〜１１ｎは、多数の管理区域が監視され、各監視区域の画像データが管理データとともにネットワークレコーダ２６に格納され、ネットワークカメラ装置１１_１〜１１ｎはスケーラブル配信することができる。パソコン２７のモニタは高画質Ａの画像を解像度１／１で確認することが可能であり、インターネット２３を介してパソコン２５のモニタは画像品質の低い画質Ｃ・解像度１／４の画像を表示させることができる。無論、パソコン２５の表示能力が高能力であれば、高画質Ａでサイズ１／１で表示することも可能である。

本発明の活用例としては、画像データをリアルタイムにスケーラブル配信することが可能であり、監視カメラシステム、遠隔診断システム等の画像を配信する全ての分野で利用することが可能である。また、インターネットを介することなく、ＬＡＮ接続したシステム、或いは携帯電話、ハイビジョンテレビ等に画像配信する全ての用途に利用することが可能であり、これらが混在するシステムにも利用することが可能である。

本発明に係る画像処理装置の一実施形態であるネットワークカメラ装置を示すブロック図である。本発明に係る画像処理装置の他の実施形態であるネットワ−クエンコーダ装置の実施形態を示すブロック図である。本発明の一実施形態を示す画像処理方法の概要を示す処理フローである。（ａ），（ｂ）は各処理フローを説明するための処理フローである。本発明のスケーラブル配信画像作成処理を示し、符号化化コードストリームから管理データまでを示すパケット構成図である。スケーラブル配信する際の画像データを説明するパケット構成図である。スケーラブル配信する際の画像品質を画像データで示したパケット構成図である。指定された画像品質を示すパケット構成図である。スケーラブル配信画像管理データをアドレスで示すパケット構成図である。本発明の実施形態の画像処理装置を利用した監視システムのブロック図である。本発明の実施形態の画像処理装置を利用した他の監視システムのブロック図である。従来の画像処理装置のブロック図である。ＪＰＥＧ２０００方式の符号化コードストリームの構成を示し、各画像品質におけるビットストリームの構成を示す説明図である。

符号の説明

１１，１１_１〜１１ｎネットワークカメラ装置
１２カメラ
１３デジタルＩ／Ｆ部
１４ＪＰＥＧ２０００コーダック（符号化手段）
１５ＣＰＵ
１６記憶部（ＳＤＲＡＭ）
１７データ解析処理部
１８スケーラブル配信画像管理処理部
１９フラッシュＲＯＭ
２０ネットワークＩ／Ｆ部
２１アナログＩ／Ｆ
２２ビデオデコーダ
２３インターネット

Claims

カメラで撮影して得られた映像信号をインターネットに配信するための画像処理装置であって、
該映像信号をＪＰＥＧ２０００方式により符号化コードストリームによる圧縮画像とする符号化手段と、
該符号化手段による該圧縮画像を記憶する記憶部と、
該記憶部に格納した該圧縮画像をデータ解析するデータ解析部と、
該データ解析部による解析情報に基づいて、該圧縮画像を構成する各符号化コードストリームの各マーカ、ビットストリーム、及び最後部マーカ（ＥＯＣ）の位置情報及びサイズによるスケーラブル配信画像管理データを作成する管理データ作成部と、
前記記憶部に記憶された前記圧縮画像の符号化コードストリームから前記スケーラブル配信画像管理データに基づいて、受信側の複数の表示能力に対応可能な各画像品質の画像データを送出する送出手段とを備えたことを特徴とする画像処理装置。
カメラで撮影して得られる映像信号をインターネットに配信するための画像処理方法であって、
該カメラで撮影して得られる映像信号をＪＰＥＧ２０００方式による符号化手段により符号化コードストリームによる圧縮画像として記憶部に記憶し、
該圧縮画像をデータ解析部にてデータ解析処理し、
該データ解析部による解析情報を管理データ作成部にて、該圧縮画像を構成する各符号化コードストリームの各マーカ、ビットストリーム、及び最後部マーカ（ＥＯＣ）の位置情報及びサイズによるスケーラブル配信画像管理データを作成し、
前記記憶部に記憶された前記圧縮画像の符号化コードストリームから前記スケーラブル配信画像管理データに基づいて、受信側の複数の表示能力に対応可能な各画像品質の画像品質の画像データを送出することを特徴とする画像処理方法。
請求項１に記載の画像処理装置において、前記カメラが前記画像処理装置と一体に構成され、該カメラからに映像信号がデジタルインターフェイスを介して該画像処理装置に入力されてなる監視システムであり、該画像処理装置が該カメラからの画像信号をデジタル信号に変換してＪＰＥＧ２０００方式による圧縮画像である符号化コードストリームと該符号化コードストリームの前記スケーラブル配信画像管理データとに基づいて、受信側の複数の表示能力に対応可能な画像データをスケーラブル配信することを特徴とする監視システム。
請求項１に記載の画像処理装置において、前記カメラが前記画像処理装置と別体であって、該カメラからに映像信号がアナログインターフェイスを介して該画像処理装置に入力されてなる監視システムであり、該画像処理装置が該カメラからの画像信号をビデオデコーダでデジタル信号に変換してＪＰＥＧ２０００方式による圧縮画像である符号化コードストリームと該符号化コードストリームの前記スケーラブル配信画像管理データとに基づいて、受信側の複数の表示能力に対応可能な画像データをスケーラブル配信することを特徴とする監視システム。