JP4740800B2 - 画像処理装置、画像処理方法、及びそれを用いた監視システム - Google Patents

画像処理装置、画像処理方法、及びそれを用いた監視システム Download PDF

Info

Publication number
JP4740800B2
JP4740800B2 JP2006159926A JP2006159926A JP4740800B2 JP 4740800 B2 JP4740800 B2 JP 4740800B2 JP 2006159926 A JP2006159926 A JP 2006159926A JP 2006159926 A JP2006159926 A JP 2006159926A JP 4740800 B2 JP4740800 B2 JP 4740800B2
Authority
JP
Japan
Prior art keywords
image
data
processing apparatus
image processing
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006159926A
Other languages
English (en)
Other versions
JP2007329747A (ja
Inventor
博幸 野島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ikegami Tsushinki Co Ltd
Original Assignee
Ikegami Tsushinki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ikegami Tsushinki Co Ltd filed Critical Ikegami Tsushinki Co Ltd
Priority to JP2006159926A priority Critical patent/JP4740800B2/ja
Publication of JP2007329747A publication Critical patent/JP2007329747A/ja
Application granted granted Critical
Publication of JP4740800B2 publication Critical patent/JP4740800B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、JPEG2000方式による圧縮画像をネットワークにスケーラブル配信するための画像処理装置、画像処理方法、及びそれを用いた監視カメラ装置に関する。
図12は、従来の画像データをJPEG2000方式の画像圧縮技術によるデータ処理装置のブロック図であり、具体的には監視カメラシステムを示している。同図において、監視カメラシステム1は、カメラ2と、モニタ3と、サーバ4とで構成され、カメラ2が撮影し得られた画像信号がサーバ4に入力され、撮影した映像はモニタ3に表示する。サーバ4には、SDRAM5、JPEG2000コーデック6、ブロック並び替え回路7、CPU8、フラッシュメモリ9等が設けられ、符号化したストリーム(符号化コードストリーム)、及びブロック並び替え処理した後のストリーム等が記憶される。これらの画像データをSDRAM5に記録するための制御は、CPU8の指示を受けメモリ制御回路10が実行して書き込まれるし、また読み出される。
JPEG2000コーデック6は、画像信号をJPEG2000方式に従って符号化し、パケットによる情報を単位とする符号化コードストリームとしてSDRAM5に記憶される。ブロック並び替え回路7は、SDRAM5に記憶されている符号化コードストリームをブロック単位でコピーして並べ替えを行うことによって、別の配列のストリームを生成してSDRAM5に記憶する。フラッシュメモリ9は、CPU8の処理手順を記述したプログラム、画像用テーブル、再生用テーブルが格納される。画像用テーブルは、符号化する際に参照される解像度レベル数、レイヤ数、スケーラビリティ設定するためのパラメータが格納され、再生用テーブルは、実現したいスケーラビティに関連する解像度、SNRの設定値が格納される。カメラで撮影された画像は、このような監視カメラシステムのサーバ4によって、画像記録、画像再生、及び画像配信が行われる。(特許文献1参照)
さらに、JPEG2000方式について説明すると、JPEG2000コーデック6は、図13に示すように矢印Y1に沿ってデジタル化された圧縮画像を作成し(ステップSa)、この圧縮画像の各パケットをデータ解析処理し(ステップSb)、パケット化した画像データの並び替え処理し(ステップSc)、コピー処理してブロック並び替えストリームを作成する(ステップSd)。先ず、ステップSaでは、デジタル化した画像信号をパケット解析して画像圧縮した符号化コードストリームに変換する。この符号化コードストリームは、ヘッダHと画像信号のパケット化したデータ領域であるビットストリームBSとから構成され、ヘッダHにはコードストリームの先頭マーカが含まれるメインヘッダMHとタイルパートヘッダTHとを含み、ビットストリームBSには原圧縮画像のパケット化された1〜60のビットストリームが配列し、かつビットストリームの最後に最後尾マーカであるEOCが設けられている。ステップSdに示す複数のブロック並び替えストリームは、レイヤ(画質)1〜5のそれぞれに解像度(1/1,1/4,1/16)を組み合わせた各画像品質に対応し、共通のメインヘッダMH、タイルパートヘッダTHが配列し、各画像品質毎にビットストリームBSが配列している。
特開2005−117156号公報(明細書段落〔0032〕〜〔0050〕,図1〜図4参照)
従来の静止画系圧縮画像を生成するJPEG方式や動画系圧縮画像を生成するMPEG方式では、複数のクライアントに対して異なった解像度及び画質の圧縮画像をリアルタイムに送信するのは困難であったが、JPEG2000方式ではそれを可能にしている。しかし、上記JPEG2000方式によるデータ処理装置では、画像信号をJPEG2000方式により符号化した上、さらに、予め解像度とレイヤによる画像品質毎に配信画像を作成し、スケーラブル配信を行っている。種々の画像品質に対応する各画像データは、フラッシュメモリ又はRAM(Randam Access Memory)に記憶されており、画像作成時のコピー処理時間を費し、画像データをリアルタイムにスケーラブル配信することができず、画像データをリアルタイムにスケーラブル配信するには改良の余地があった。さらに、変換した画像データを記憶するためのRAMを大量に使用するといった問題があって、監視カメラと画像処理装置とを組み合わせた監視カメラ装置では高価なものとなる欠点があり、改良の余地があった。
本発明は、上記課題に鑑みてなされたものであり、画像信号をJPEG2000方式で圧縮処理した符号化コードストリームをブロック並び替え処理やコピー処理することなく、処理時間を短縮し、しかもコピーに必要なRAMを多量に使用することなく、リアルタイムにネットワークにスケーラブル配信することが可能な画像処理装置、画像配信方法、及び監視システムを提供することを目的とする。
本発明は、上記課題を達成したものであり、請求項1の発明は、カメラで撮影して得られた映像信号をインターネットに配信するための画像処理装置であって、
該映像信号をJPEG2000方式により符号化コードストリームによる圧縮画像とする符号化手段と、
該符号化手段による該圧縮画像を記憶する記憶部と、
該記憶部に格納した該圧縮画像をデータ解析するデータ解析部と、
該データ解析部による解析情報に基づいて、該圧縮画像を構成する各符号化コードストリームの各マーカ、ビットストリーム、及び最後部マーカ(EOC)の位置情報及びサイズによるスケーラブル配信画像管理データを作成する管理データ作成部と
前記記憶部に記憶された前記圧縮画像の符号化コードストリームから前記スケーラブル配信画像管理データに基づいて、受信側の複数の表示能力に対応可能な各画像品質の画像データを送出する送出手段とを備えたことを特徴とする画像処理装置である。
また、請求項2の発明は、カメラで撮影して得られる映像信号をインターネットに配信するための画像処理方法であって、
該カメラで撮影して得られる映像信号をJPEG2000方式による符号化手段により符号化コードストリームによる圧縮画像として記憶部に記憶し
該圧縮画像をデータ解析部にてデータ解析処理し、
該データ解析部による解析情報を管理データ作成部にて、該圧縮画像を構成する各符号化コードストリームの各マーカ、ビットストリーム、及び最後部マーカ(EOC)の位置情報及びサイズによるスケーラブル配信画像管理データを作成し、
前記記憶部に記憶された前記圧縮画像の符号化コードストリームから前記スケーラブル配信画像管理データに基づいて、受信側の複数の表示能力に対応可能な各画像品質の画像品質の画像データを送出することを特徴とする画像処理方法である。
また、請求項3の発明は、請求項1に記載の画像処理装置において、前記カメラが前記画像処理装置と一体に構成され該カメラからに映像信号がデジタルインターフェイスを介して該画像処理装置に入力されてなる監視システムであり該画像処理装置が該カメラからの画像信号をデジタル信号に変換してJPEG2000方式による圧縮画像である符号化コードストリームと該符号化コードストリームの前記スケーラブル配信画像管理データとに基づいて、受信側の複数の表示能力に対応可能な画像データをスケーラブル配信することを特徴とする監視システムである。
また、請求項4の発明は、請求項に記載の画像処理装置において、前記カメラが前記画像処理装置と別体であって、該カメラからに映像信号がアナログインターフェイスを介して該画像処理装置に入力されてなる監視システムであり該画像処理装置が該カメラからの画像信号をビデオデコーダでデジタル信号に変換してJPEG2000方式による圧縮画像である符号化コードストリームと該符号化コードストリームの前記スケーラブル配信画像管理データとに基づいて、受信側の複数の表示能力に対応可能な画像データをスケーラブル配信することを特徴とする監視システムである。
請求項1の発明では、カメラで撮影して得られた映像信号をインターネットに配信するための画像処理装置であって、
該映像信号をJPEG2000方式により符号化コードストリームによる圧縮画像とする符号化手段と、
該符号化手段による該圧縮画像を記憶する記憶部と、
該記憶部に格納した該圧縮画像をデータ解析するデータ解析部と、
該データ解析部による解析情報に基づいて、該圧縮画像を構成する各符号化コードストリームの各マーカ、ビットストリーム、及び最後部マーカ(EOC)の位置情報及びサイズによるスケーラブル配信画像管理データを作成する管理データ作成部と
前記記憶部に記憶された前記圧縮画像の符号化コードストリームから前記スケーラブル配信画像管理データに基づいて、受信側の複数の表示能力に対応可能な各画像品質の画像データを送出する送出手段とを備えたことを特徴とする画像処理装置であるので、画像信号とこの画像信号の符号化した圧縮画像とを記憶部に記憶し、符号化した圧縮画像の管理データのみを作成するのみで、この管理データに基づいて、記憶部に記憶された符号化された圧縮画像から必要な情報を取得して要求される画像品質の画像データをスケーラブル配信することができ、記憶部の膨大な記憶容量を用意する必要がないし、記憶部に符号化された圧縮画像のブロック並び替え画像を記憶する処理時間が省略することができ、画像データをリアルタイムに配信することができるし、端末の表示能力に応じた画像データをインターネットにスケーラブル配信することができる利点がある。
また、本発明では各マーカ、ビットストリーム、及び最後部マーカ(EOC)の位置情報及びサイズによる管理データに基づいて、スケーラブル配信するための画像データを記憶部に記憶するための処理時間を省略することができ、画像データをリアルタイムにスケーラブル配信することができる利点がある。
また、本発明では要求された画像品質(解像度、レイヤ)に応じて管理データのアドレスとサイズとから対応するビットストリームを呼び出して配列した画像データを配信することができるし、また、解像度の異なる複数の画像データを送信することができので、処理時間が短くリアルタイムに画像データをスケーラブル配信することができる利点がある。
また、請求項の発明では、カメラで撮影して得られる映像信号をインターネットに配信するための画像処理方法であって、
該カメラで撮影して得られる映像信号をJPEG2000方式による符号化手段により符号化コードストリームによる圧縮画像として記憶部に記憶し、
該圧縮画像をデータ解析部にてデータ解析処理し、
該データ解析部による解析情報を管理データ作成部にて、該圧縮画像を構成する各符号化コードストリームの各マーカ、ビットストリーム、及び最後部マーカ(EOC)の位置情報及びサイズによるスケーラブル配信画像管理データを作成し、
前記記憶部に記憶された前記圧縮画像の符号化コードストリームから前記スケーラブル配信画像管理データに基づいて、受信側の複数の表示能力に対応可能な各画像品質の画像品質の画像データを送出することを特徴とする画像処理方法であるので、圧縮画像である符号化コードストリームを画像品質毎に変換して記憶部に記憶することなく、符号化コードストリームを構成するマーカ位置情報及びパケットサイズを管理データとして記憶することで、要求される画像品質(解像度、レイヤ)に応じ、必要なビットストリームを組み合わせて配列した画像データをスケーラブル配信することができる利点がある
また、請求項3の発明では、請求項1に記載の画像処理装置において、前記カメラが前記画像処理装置と一体に構成され該カメラからに映像信号がデジタルインターフェイスを介して該画像処理装置に入力されてなる監視システムであり該画像処理装置が該カメラからの画像信号をデジタル信号に変換してJPEG2000方式による圧縮画像である符号化コードストリームと該符号化コードストリームの前記スケーラブル配信画像管理データとに基づいて、受信側の複数の表示能力に対応可能な画像データをスケーラブル配信することを特徴とする監視システムであるので、圧縮画像を端末側(クライアント)の表示能力に応じてスケーラブル配信することができる利点があり、画像をリアルタイムに送出することができる利点がある。
また、請求項の発明では、請求項1に記載の画像処理装置において、前記カメラが前記画像処理装置と別体であって、該カメラからに映像信号がアナログインターフェイスを介して該画像処理装置に入力されてなる監視システムであり、該画像処理装置が該カメラからの画像信号をビデオデコーダでデジタル信号に変換してJPEG2000方式による圧縮画像である符号化コードストリームと該符号化コードストリームの前記スケーラブル配信画像管理データとに基づいて、受信側の複数の表示能力に対応可能な画像データをスケーラブル配信することを特徴とする監視システムであるので、圧縮画像を端圧側(クライアント)の表示能力に応じてスケーラブル配信することができる利点があり、画像を遠隔地へリアルタイムに送出することがである。また、監視区域にネットワーク用のカメラを複数設置し、各カメラからの画像を画像処理装置で処理し、画像圧縮して記録するとともに、各画像をスケーラブル配信することができる利点があり、また画像をリアルタイムに送出することができる
以下、本発明に係る画像処理装置及び画像配信方法の実施形態について図面を参照して説明する。なお、図1は本発明に係る画像処理装置の一実施形態であるネットワークカメラ装置を示すブロック図である。図2は本発明に係る画像処理装置の他の実施形態であるネットワ−クエンコーダ装置の実施形態を示すブロック図である。図3は本発明の一実施形態を示す画像処理方法の概要を示す処理フローである。図4(a),(b)は各処理フローを説明する処理フローである。図5は本発明のスケーラブル配信画像作成処理を示し、符号化コードストリームから管理データまでのパケット構成図を示している。図6はスケーラブル配信する際の画像データを説明するパケット構成図である。図7はスケーラブル配信する際の画像品質で示した画像データのパケット構成図である。図8は指定された画像品質のパケット構成図である。図9はスケーラブル配信画像管理データをアドレスで示すパケット構成図であり、管理データテーブルに対応する。
図1は、本発明の画像処理装置の一実施形態であるネットワークカメラ装置の例を示すブロック図である。同図に示すように、ネットワークカメラ装置11は、撮像部と圧縮部とが一体となっており、カメラ11は撮影した画像信号がデジタルI/F部13を通してデジタル化された画像信号とし、この画像信号がJPEG2000コーデック(以下、符号化手段と称する)14に入力される。符号化手段14では、JPEG2000方式に基づいて画像信号を圧縮する。符号化手段14によって圧縮されたJPEG2000画像(以下、圧縮画像と称する)は、CPU15による制御によって、SDRAM(Synchronous DRAM)等の記憶部16に書き込まれる。記憶部16に保存された圧縮画像は、スケーラブル配信をするために、データ解析処理部17にてデータ解析が行われ、このデータ解析情報に基づいて、スケーラブル配信画像管理部18にてスケーラブル画像配信管理データが作成される。フラッシュROM19はネットワークカメラ11を動作させるための制御プログラムが格納されている。要求された品質画像の画像データは、既存のAPI(Application Program Interface)の送出手段を経てネットワークI/F20を介し配信される。なお、スケーラブル配信とは、例えばHDTV受信機、パーソナルコンピュータ、携帯電話等の受信端末(クライアント)が自分の表示能力に応じて圧縮された画像データを受信し、所望の画像品質の画像を復号し表示することができる画像データの配信を意味している。
図2は、本発明の画像処理装置の他の実施形態であるネットワークエンコーダ装置の例を示すブロック図である。図2に示すように、ネットワークエンコーダ装置11′は、撮像部と圧縮部とが分離した構成であり、カメラ12はネットワークエンコーダ装置11′に接続されている。カメラ12で撮影された映像信号は、アナログI/F部21を介してビデオデコーダ22に入力されてデジタル化された画像信号に変換され、この画像信号がJPEG2000コーデック(符号化手段)14に入力される。JPEG2000コーデックでは、先に説明したように、画像信号を圧縮し、JPEG2000画像(以下、圧縮画像と称する)とし、CPU15による制御によって、SDRAM(Synchronous DRAM)16等の記憶部に書き込まれる。記憶部16に保存された圧縮画像は、スケーラブル配信をするために、データ解析処理部17にてデータ解析が行われ、このデータ解析情報に基づいて、スケーラブル配信画像管理部18にてスケーラブル画像配信管理データを作成する。要求された品質画像の画像データが、先に説明したように、API(Application Program Interface)の送出手段を経てネットワークI/F20を介し配信される。なお、フラッシュROM19はネットワークエンコーダ装置11′を動作させるための制御プログラムが格納されている。
続いて、ネットワークカメラ装置11及びネットワークエンコーダ装置11′における画像処理方法について、図3〜図9を参照して説明する。本発明の画像処理方法は、主に図1,図2に示した符号化手段14、データ解析部17、及びスケーラブル配信画像処理部18による画像処理が行われる。先ず、符号化手段14は、カメラ12で撮影された原画像を変換して符号化コードストリームにする画像圧縮処理手段であり、この処理手段は図13で説明したように、先頭マーカが含まれるメインヘッダMHとタイルパートヘッダTHからなるヘッダH、1〜60のビットストリームが配列したビットストリームBS、最後尾マーカであるEOCからなる符号化コードストリームを作成する符号化手段である。
本実施形態の画像処理方法は、図3に示したように、ステップS1〜S4からなり、ステップS1ではデータ解析処理部17が記憶部16に書き込まれた符号化コードストリーム(JPEG2000画像)を取得し、ステップS2にて、データ解析処理を実行し(図5のステップSBに対応)、続いて、ステップS3に進み、スケーラブル配信画像管理部18にてスケーラブル配信画像管理データ作成処理を実行し、スケーラブル配信画像管理部18内のバッファメモリにスケーラブル配信画像管理データを作成する(図5のステップSCに対応)。なお、ステップS4では、所望の画像品質の要求に対してスケーラブル配信画像管理データに基づいて、記憶部16に記憶されている符号化コードストリームから所望の画像品質の画像データを組み合わせて配列した画像データを配信する。また、ステップS4のスケーラブル配信において、低品質画像から高品質画像までの画像データを配信して端末側(クライアント)にて端末側の表示能力に応じ画像データを選択して表示するようにしてもよい。
次に、データ解析部17によるデータ解析処理について、図4(a)を参照して説明する。なお、圧縮画像の符号化コードストリームの概要は図5のステップSAに示した。符号化コードストリームは、例えば、プログレッション方式としてLRCPプログレッション(品質の段階的改善を目的)を採用し、解像度数が3、レイヤ数が5、圧縮方式がロッシー9×7(9×7変換のウェーブレット変換)とし、このLRCPプログレッションでは、レイヤ(L)、解像度レベル(R)、コンポーネット(C)、位置(P)の順序でパケット群が配列され、LRCP配列ストリームを形成している。他には、RLCPプログレッション(解像度の階段的改善を目的)があり、RLCP配列ストリームを形成する。因みに、従来例では、LRCP配列ストリームからRLCP配列ストリームにブロック並び替え変換処理を行っているために、並び替えのための処理時間を要していた。
先ず、ステップS5において、符号化コードストリームからマーカ位置の取得が行われる。符号化コードストリームでは、ヘッダHを構成するメインヘッダMHとタイルパートヘッダTH等との各ヘッダに先頭マーカが設けられ、ヘッダHに続いて画像データである1〜60個のパケットからなるビットストリームとコードストリームの最後尾マーカとで構成されており、最後尾マーカを除くマーカの位置情報(アドレス)及びパケットサイズが、データ解析部17のデータ解析処理により取得される。取得したマーカ位置情報は、データ解析部17に設けたバッファメモリに格納される。
続いて、ステップS6において、パケット解析処理が行われる。このパケット解析処理では、ヘッダHに続いて画像データである1〜60個のパケットからなるビットストリームの各パケットの位置情報(アドレス)と各パケットのサイズが、データ解析部17のデータ解析処理により取得される。取得した位置情報は、データ解析部17に設けたバッファメモリに格納される。
続いて、ステップS7に進み、符号化コードストリームの最後尾マーカ(EOC)の位置情報(アドレス)を取得する。最後尾マーカ(EOC)の位置は、圧縮画像のコードストリームを構成する最終パケットから2つ前のアドレスになる。取得したマーカ位置情報は、データ解析部17に設けたバッファメモリに格納される。
次に、スケーラブル配信画像管理部18によるスケーラブル画像管理データの作成について、図4(b)の処理フローを参照して説明する。スケーラブル配信画像管理部18では、解像度数にレイヤ数を乗じた数の管理データを作成し、端末側(クライアント)から指定された画像を管理データに基づいて、符号化コードストリームからパケット化された各画像データを取得して各画像品質の画像データが送出できるように、管理データが作成される。
先ず、ステップS8では、JPEG2000圧縮画像の符号化コードストリームのヘッダと各マーカのサイズと各マーカの先頭アドレスが管理バッファメモリ1〜3にセットされる。この管理バッファメモリ1〜3には、符号化コードストリームを特定できるマーカのアドレスとサイズとが記録される。続いて、ステップS9では、管理バッファメモリ4〜8に、ビットストリーム1〜60の各パケットデータのサイズと先頭アドレスが記録される。続いて、ステップS10にて、符号化コードストリームの最後尾マーカ(EOC)の位置情報(アドレス)とサイズを管理バッファメモリ9にセットし、ステップS11に進み、ステップS8からS10の管理データを指定された解像度、レイヤの圧縮画像サイズを、後述する図9の管理データにセットする。
以下、本発明におけるスケーラブル配信するための画像管理データの記録形式について、図6〜図9を参照し説明する。図6〜図9は、符号化コードストリームの画像データが配列するビットストリーム(パケット)1〜60のパケット構成について、解像度とレイヤ(画質)との関係で示している。先ず、図6は、解像度(画像サイズ)が1/16,1/4,1/1とレイヤ(画質)1〜5との関係に基づいて、パケット番号(1〜60)で示しており、レイヤ数の数値が大きい程、画質が良好なものとなり、解像度は画像サイズを表し、レイヤが同じ数であれば同一画質であり、画像サイズ1/1は画像サイズ1/16より大きく原サイズである。例えば、解像度1/16でレイヤ1の画像は、パケット番号1〜6で構成されるビットストリームから構成され、解像度1/1でレイヤ1の画像は、パケット番号1〜12で構成されるビットストリームから構成される。また、解像度1/16でレイヤ2の画像は、パケット番号1〜6+13〜18で構成されるビットストリームから構成され、解像度1/1でレイヤ2の画像は、パケット番号1〜24で構成されるビットストリームから構成される。
因みに、JPEG2000方式では、パケット化された画像信号にウェーブレット変換を実行し、画像信号は水平(H)及び垂直方向(L)に所定回数のサブバンド分解を実行する。サブバンド分解を行う回数が3の場合、原画像(0LL)が4つのサブバンド(1LL,1HL,1LH,1HH)に分解され、次に1LLサブバンドが4つのサブバンド(2LL,2HL,2LH,2HH)に分解され、さらに2LLサブバンドが4つのサブバンド(3LL,3HL,3LH,3HH)に分解される。
図6のレイヤ1,解像度1/1で画像信号(0LL)をウェーブレット変換した場合、3LL,3HL,3LH,3HH,2HL,2LH,2HH,1HL,1LH,1HHの10個のサブバンドに分解されることになる。パケット(ビットストリーム)12が1HH、11が1LH、10が1HL、9が2HH、8がLH、7が2HL、6が3HH、5が3LH、4が3HL、3〜1が3LLである。同一レイヤにおいて、各解像度において共通パケット(ビットストリーム)(1LL)が存在する。図7の関係図は、解像度(1/16,1/4,1/1)とレイヤ(画質)1〜5の関係をビットストリーム(パケット)番号で示している。図8はさらにビットストリーム(パケット)番号を集約して示したものであり、最終的に、図9の管理データが作成され、管理データテーブルが管理バッファメモリに記憶される。
図9のパケット(ビットストリーム)の管理データは、レイヤ毎に解像度の画像品質の画像データを読み出す際のビットストリームの先頭アドレスとそのパケットサイズが書き込まれている。レイヤ1で解像度1/16の場合、管理バッファメモリ4にビットストリーム1の先頭アドレスとビットストリーム1〜6までの合計サイズが記録されている。レイヤ数が1〜5であり、各レイヤ毎に解像度が3種類であるので、15種類の管理データが作成される。
本実施形態の画像処理装置では、図9の管理データがスケーラブル配信画像管理処理部18の管理バッファメモリに記憶され、この管理データに基づいて、端末から要求される画像品質(レイヤ数及び解像度)の画像データを読み出すことができる。例えば、レイヤ数5で、解像度1/1であれば、管理バッファメモリ4からビットストリームリーム1のアドレスを読み取り、ビットストリーム1〜60のサイズを読み取り、JPEG2000方式で画像圧縮された符号化コードストリームから必要なビットストリームを読み出して所望の画像データのパケット配列からなる画像データを送出することができる。
このように、本実施形態では、従来のようにブロック並び替えしたビットストリームを記憶することなく、上記のような管理データを作成することによって、要求される解像度、レイヤ数の画像データを管理データに基づいて、符号化コードビットストリームから必要なパケットを読み出して配列したビットストリームからなる画像データを作成することができ、画像データを記憶処理するための処理時間を省略することが可能であり、画像をリアルタイムに配信することが可能である。また、種々の画像品質であり、所望のサイズの圧縮した画像データを作成してスケーラブル配信することができる。
次に、本実施形態のネットワークカメラ装置を利用したネットワークカメラシステムについて、図10,図11を参照し説明する。先ず、図10のネットワークカメラシステムを説明する。このネットワークカメラシステムは最も単純な監視システムを示し、ネットワークカメラ装置11とパソコン21はルーター22を介してLAN接続されている。ネットワークカメラ装置11は監視区域を撮影し、ネットワークカメラ装置11でJPEG200方式でデジタル化した原画像信号を画像圧縮し、符号化コードストリームとし、符号化コードストリームのデータ解析をして、マーカ位置情報とサイズの管理データを作成し、クライアントの要求に応じて、この管理データに基づく要求の解像度、レイヤ数のスケーラブル配信画像をインターネットに配信する。ネットワークカメラ装置11とLAN接続されたパソコン21は高画質Aの画像を解像度1/1でモニタで確認することが可能であり、インターネット23を介してパソコン25のモニタでは、画像品質の低い画質Cであり、解像度1/4の画像を表示させることができ、このようにカメラ画像をスケーラブル配信することができる。無論、パソコン25の表示能力が高能力であれば、高画質Aでサイズ1/1で表示することも可能である。
また、図11は、ルータ22に多数のネットワークカメラ装置11〜11nがLAN接続され、さらに、ネットワークレコーダ26及びパソコン27がLAN接続されている。ネットワークカメラ装置11〜11nは、多数の管理区域が監視され、各監視区域の画像データが管理データとともにネットワークレコーダ26に格納され、ネットワークカメラ装置11〜11nはスケーラブル配信することができる。パソコン27のモニタは高画質Aの画像を解像度1/1で確認することが可能であり、インターネット23を介してパソコン25のモニタは画像品質の低い画質C・解像度1/4の画像を表示させることができる。無論、パソコン25の表示能力が高能力であれば、高画質Aでサイズ1/1で表示することも可能である。
本発明の活用例としては、画像データをリアルタイムにスケーラブル配信することが可能であり、監視カメラシステム、遠隔診断システム等の画像を配信する全ての分野で利用することが可能である。また、インターネットを介することなく、LAN接続したシステム、或いは携帯電話、ハイビジョンテレビ等に画像配信する全ての用途に利用することが可能であり、これらが混在するシステムにも利用することが可能である。
本発明に係る画像処理装置の一実施形態であるネットワークカメラ装置を示すブロック図である。 本発明に係る画像処理装置の他の実施形態であるネットワ−クエンコーダ装置の実施形態を示すブロック図である。 本発明の一実施形態を示す画像処理方法の概要を示す処理フローである。 (a),(b)は各処理フローを説明するための処理フローである。 本発明のスケーラブル配信画像作成処理を示し、符号化化コードストリームから管理データまでを示すパケット構成図である。 スケーラブル配信する際の画像データを説明するパケット構成図である。 スケーラブル配信する際の画像品質を画像データで示したパケット構成図である。 指定された画像品質を示すパケット構成図である。 スケーラブル配信画像管理データをアドレスで示すパケット構成図である。 本発明の実施形態の画像処理装置を利用した監視システムのブロック図である。 本発明の実施形態の画像処理装置を利用した他の監視システムのブロック図である。 従来の画像処理装置のブロック図である。 JPEG2000方式の符号化コードストリームの構成を示し、各画像品質におけるビットストリームの構成を示す説明図である。
符号の説明
11,11〜11n ネットワークカメラ装置
12 カメラ
13 デジタルI/F部
14 JPEG2000コーダック(符号化手段)
15 CPU
16 記憶部(SDRAM)
17 データ解析処理部
18 スケーラブル配信画像管理処理部
19 フラッシュROM
20 ネットワークI/F部
21 アナログI/F
22 ビデオデコーダ
23 インターネット

Claims (4)

  1. カメラで撮影して得られた映像信号をインターネットに配信するための画像処理装置であって、
    該映像信号をJPEG2000方式により符号化コードストリームによる圧縮画像とする符号化手段と、
    該符号化手段による該圧縮画像を記憶する記憶部と、
    該記憶部に格納した該圧縮画像をデータ解析するデータ解析部と、
    該データ解析部による解析情報に基づいて、該圧縮画像を構成する各符号化コードストリームの各マーカ、ビットストリーム、及び最後部マーカ(EOC)の位置情報及びサイズによるスケーラブル配信画像管理データを作成する管理データ作成部と
    前記記憶部に記憶された前記圧縮画像の符号化コードストリームから前記スケーラブル配信画像管理データに基づいて、受信側の複数の表示能力に対応可能な各画像品質の画像データを送出する送出手段とを備えたことを特徴とする画像処理装置。
  2. カメラで撮影して得られる映像信号をインターネットに配信するための画像処理方法であって、
    該カメラで撮影して得られる映像信号をJPEG2000方式による符号化手段により符号化コードストリームによる圧縮画像として記憶部に記憶し
    該圧縮画像をデータ解析部にてデータ解析処理し、
    該データ解析部による解析情報を管理データ作成部にて、該圧縮画像を構成する各符号化コードストリームの各マーカ、ビットストリーム、及び最後部マーカ(EOC)の位置情報及びサイズによるスケーラブル配信画像管理データを作成し、
    前記記憶部に記憶された前記圧縮画像の符号化コードストリームから前記スケーラブル配信画像管理データに基づいて、受信側の複数の表示能力に対応可能な各画像品質の画像品質の画像データを送出することを特徴とする画像処理方法。
  3. 請求項1に記載の画像処理装置において、前記カメラが前記画像処理装置と一体に構成され該カメラからに映像信号がデジタルインターフェイスを介して該画像処理装置に入力されてなる監視システムであり該画像処理装置が該カメラからの画像信号をデジタル信号に変換してJPEG2000方式による圧縮画像である符号化コードストリームと該符号化コードストリームの前記スケーラブル配信画像管理データとに基づいて、受信側の複数の表示能力に対応可能な画像データをスケーラブル配信することを特徴とする監視システム。
  4. 請求項に記載の画像処理装置において、前記カメラが前記画像処理装置と別体であって、該カメラからに映像信号がアナログインターフェイスを介して該画像処理装置に入力されてなる監視システムであり該画像処理装置が該カメラからの画像信号をビデオデコーダでデジタル信号に変換してJPEG2000方式による圧縮画像である符号化コードストリームと該符号化コードストリームの前記スケーラブル配信画像管理データとに基づいて、受信側の複数の表示能力に対応可能な画像データをスケーラブル配信することを特徴とする監視システム。
JP2006159926A 2006-06-08 2006-06-08 画像処理装置、画像処理方法、及びそれを用いた監視システム Expired - Fee Related JP4740800B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006159926A JP4740800B2 (ja) 2006-06-08 2006-06-08 画像処理装置、画像処理方法、及びそれを用いた監視システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006159926A JP4740800B2 (ja) 2006-06-08 2006-06-08 画像処理装置、画像処理方法、及びそれを用いた監視システム

Publications (2)

Publication Number Publication Date
JP2007329747A JP2007329747A (ja) 2007-12-20
JP4740800B2 true JP4740800B2 (ja) 2011-08-03

Family

ID=38929912

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006159926A Expired - Fee Related JP4740800B2 (ja) 2006-06-08 2006-06-08 画像処理装置、画像処理方法、及びそれを用いた監視システム

Country Status (1)

Country Link
JP (1) JP4740800B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101170438B1 (ko) 2010-09-08 2012-08-09 이경민 메모리 셔플링을 이용한 카메라 영상 전송용 통신 네트워크 어댑터
CN105141960B (zh) * 2015-06-17 2018-03-09 西安空间无线电技术研究所 一种基于jpeg2000压缩码流进行信息传输的方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004153621A (ja) * 2002-10-31 2004-05-27 Ricoh Co Ltd 符号列変換装置、カメラシステム、画像表示システム、画像編集システム、プログラム及び記憶媒体
JP2004192140A (ja) * 2002-12-09 2004-07-08 Sony Corp データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム
JP2004254133A (ja) * 2003-02-20 2004-09-09 Ricoh Co Ltd 動画再生システム、動画再生装置、動画送信装置、動画再生方法、プログラム、及び、記録媒体
JP2005012685A (ja) * 2003-06-20 2005-01-13 Canon Inc 画像処理方法、画像処理装置
JP2005110145A (ja) * 2003-10-02 2005-04-21 Ricoh Co Ltd 符号列変換装置、符号列変換方法、撮影システム、画像表示システム、監視システム、プログラム、及び、情報記録媒体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004153621A (ja) * 2002-10-31 2004-05-27 Ricoh Co Ltd 符号列変換装置、カメラシステム、画像表示システム、画像編集システム、プログラム及び記憶媒体
JP2004192140A (ja) * 2002-12-09 2004-07-08 Sony Corp データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム
JP2004254133A (ja) * 2003-02-20 2004-09-09 Ricoh Co Ltd 動画再生システム、動画再生装置、動画送信装置、動画再生方法、プログラム、及び、記録媒体
JP2005012685A (ja) * 2003-06-20 2005-01-13 Canon Inc 画像処理方法、画像処理装置
JP2005110145A (ja) * 2003-10-02 2005-04-21 Ricoh Co Ltd 符号列変換装置、符号列変換方法、撮影システム、画像表示システム、監視システム、プログラム、及び、情報記録媒体

Also Published As

Publication number Publication date
JP2007329747A (ja) 2007-12-20

Similar Documents

Publication Publication Date Title
JP6768907B2 (ja) メディアファイルの処理装置及び処理方法
JP5162939B2 (ja) 情報処理装置および方法、並びにプログラム
JP4488027B2 (ja) 情報処理装置および方法、並びに、情報処理システム
JP4129694B2 (ja) 情報処理装置および方法、プログラム、並びに記録媒体
JP5619908B2 (ja) 符号化ビデオ・データのストリーミング
US20100278508A1 (en) Method and system for scalable multi-user interactive visualization
JP5527588B2 (ja) 情報処理装置および方法
JP4182446B2 (ja) 情報処理装置および方法、プログラム、並びに記録媒体
JP4525795B2 (ja) 受信装置、受信方法、プログラム、及び通信システム
JP2004192140A (ja) データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム
WO2006009120A1 (ja) 遠隔編集システム、主編集装置、遠隔編集装置、編集方法、編集プログラム、及び記憶媒体
KR20060059143A (ko) 스케일러블 비트스트림의 효율적 전송 방법 및 장치
JPWO2008093698A1 (ja) 情報処理装置および方法
KR20090077869A (ko) 영상처리시스템, 영상처리방법 및 영상전달방법
US10313728B2 (en) Information processing apparatus and information processing method
JP5515758B2 (ja) 画像処理装置および方法
JP2009017527A (ja) サーバにより駆動されるプログレッシブ画像伝送方法およびシステム
JP5734699B2 (ja) 配信映像の超解像化装置
JP4740800B2 (ja) 画像処理装置、画像処理方法、及びそれを用いた監視システム
JP5610199B2 (ja) 受信装置、受信方法、及び通信システム
WO2013154024A1 (ja) 情報処理装置および方法、並びに、プログラム
KR101164365B1 (ko) 차량용 영상 모니터링 장치의 4채널 화면 분할 방법
JP5389528B2 (ja) ネットワークデコーダ装置
JP2011147050A (ja) 画像処理装置および方法
EP1521474A2 (en) Data processing apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080606

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110106

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110118

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110308

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110405

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110502

R150 Certificate of patent or registration of utility model

Ref document number: 4740800

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140513

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees