JP3772604B2 - 監視システム - Google Patents
監視システム Download PDFInfo
- Publication number
- JP3772604B2 JP3772604B2 JP28242599A JP28242599A JP3772604B2 JP 3772604 B2 JP3772604 B2 JP 3772604B2 JP 28242599 A JP28242599 A JP 28242599A JP 28242599 A JP28242599 A JP 28242599A JP 3772604 B2 JP3772604 B2 JP 3772604B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- jpeg
- data
- additional information
- bitmap
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19665—Details related to the storage of video surveillance data
- G08B13/19667—Details realated to data compression, encryption or encoding, e.g. resolution modes for reducing data volume to lower transmission bandwidth or memory requirements
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/1961—Movement detection not involving frame subtraction, e.g. motion detection on the basis of luminance changes in the image
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19665—Details related to the storage of video surveillance data
- G08B13/19671—Addition of non-video data, i.e. metadata, to video stream
- G08B13/19673—Addition of time stamp, i.e. time metadata, to video stream
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19678—User interface
- G08B13/19691—Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Library & Information Science (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Closed-Circuit Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Signal Processing For Recording (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は，監視カメラからの映像を記録する監視システムに関する。
【０００２】
【従来の技術】
従来，防犯などを目的とした監視システムには，タイムラプスＶＴＲと呼ばれる長時間記録用ＶＴＲが多く用いられている。このようなタイムラプスＶＴＲは，監視カメラなどからの映像を長時間にわたって，あるいは必要に応じＶＴＲにアナログ記録している。
【０００３】
一方，ハードディスクなどの磁気ディスクやＭＯ，ＤＶＤ−ＲＡＭなどの光磁気ディスクといった書き換え、追記録可能な蓄積メディアが大容量化し，しかも安価で広まりつつある。このような蓄積メディアは，アナログ記録ＶＴＲ用のビデオテープに比べ，保守が容易であり，また，即時再生（ランダム再生）が可能であるため，タイムラプスＶＴＲの記録媒体として用いられる傾向にある。
【０００４】
従来のタイムラプスＶＴＲでは，再生時の映像解析のため，
「ＣＣＴＶ監視システム基礎講座」，Ｐ８９，高橋正明著，産業開発機構株式会社発行に記載されているように記録(撮影)した時点の年，月，日，時，分，秒を画面に挿入して記録している。さらに，再生時に所望の映像の検索を容易にするため，特開平９―４６６３５号公報では，カメラからの映像と同時に付加情報を記録する方式を開示している。
【０００５】
また，ディジタル記録する場合には，カメラからの映像を画像圧縮して記録することが一般的であり，これにより，より多くの映像を記録することができる。特開平１１―１６０５９号公報では，カメラからの映像をＪＥＰＧに圧縮し，さらに，その記録時刻のデータをＪＰＥＧのヘッダ部に付加する方式が開示されている。
【０００６】
【発明が解決しようとする課題】
タイムラプスＶＴＲでは，記録した映像を検索，管理，再生したりするために，記録した日付や時間を映像と関連付けて記録することが必須となる。映像を記録(撮影)した時点の年，月，日，時，分，秒を映像の各フレーム(あるいはフィールド)画面に挿入(上書き)して記録する上述の従来例では，画面上に日付や時間を重ねて記録するため，日付や時間を重ねた部分の画像情報が失われ，防犯上の証拠能力が減少してしまう可能性がある。特に，日付や時間以外に，撮影した監視カメラを特定するための番号や，撮影場所などの様々な情報を重ねると，記録した画像の多くの部分が失われてしまう。
【０００７】
また，特開平９―４６６３５号公報では，付加情報を映像とは別のファイルとして記録することで映像情報が失われないようにしているが，記録すべき情報が増えるため記録時間に対する考慮がなされていない。
【０００８】
また，特開平１１―１６０５９号公報では，映像をＪＰＥＧに圧縮し，付加情報をそのＪＰＥＧのヘッダ部に付加することによって記録時間を増やしている。しかしながら，防犯目的の監視システムにおいては，記録した映像の証拠能力を高めるため，その映像が改ざんされていないことを証明する手段が必要であるが，上記従来技術では，記録された映像の証拠能力についての考慮がなされていない。
【０００９】
本発明の目的は，記録(撮影)した日付や時間，さらにはその他の付加情報を記録映像に合成（または，多重，付加）して記録することで検索，管理，再生を容易にし，さらに，必要に応じて，合成した付加情報を，元の映像の画質を劣化させることなく取り除いて記録映像(画像)の再生が可能な監視システムを提供することにある。
【００１０】
また，本発明のその他の目的は，記録(撮影)映像の各フレーム(あるいはフィールド)画面が改ざんされた場合に，改ざんされたことが検出可能な監視システムを提供することにある。
【００１１】
さらに，本発明のその他の目的は，合成する情報が多い場合にも，記録時間を減少させないことを可能とする監視システムを提供することにある。
【００１２】
【課題を解決するための手段】
上記課題を解決するために本発明では，まず、監視カメラで撮影した映像の各フレーム(あるいはフィールド)画像を，マクロブロック毎にＤＣＴ変換，量子化，ハフマン符号化を行なう圧縮方法を用いて圧縮する。さらに，該画像に合成すべき撮影した日付や時間，その他の付加情報を画面に挿入するイメージとしてビットマップに展開し，該ビットマップを同様に圧縮する。つぎに、上記画像の圧縮データと上記付加情報イメージの圧縮データとを合成して１つの圧縮データとして記録する構成とした。
【００１３】
なお，上記圧縮方法を行うものとしては，ＪＰＥＧや，ＭＰＥＧ，Ｈ．２６１，Ｈ．２６３のＩピクチャがある。以下の説明では，ＪＰＥＧを例にとって説明する。
【００１４】
その上で本発明は，付加情報を合成して記録された圧縮データを再生する場合，ユーザからの要求により，合成された付加情報を削除して該圧縮データを再生し，付加情報としてのビットマップイメージが取り除かれた元の画像を得るよう構成した。
【００１５】
また，本発明は，付加情報を合成して記録された圧縮データに何らかの改ざんが行われた場合に，上記の如く合成された付加情報を削除して該圧縮データを再生し，再生された画像から付加情報が取り除かれていない場合には改ざんが行われたと検出するよう構成した。
【００１６】
また，本発明の合成手段は，符号化する合成画像の特徴値を算出し，その結果を合成するＪＰＥＧデータのヘッダ部に格納し，改ざんを検出する手段は，復号化した画像の特徴値を求め，ヘッダ部に格納された特徴値を比較して，改ざんを検出するように構成した。
【００１７】
また，任意の時間間隔で監視カメラからの映像を付加情報を合成しながら記録する場合に，該映像における任意の時点のフレーム(あるいはフィールド)画像に合成する情報(記録した日付や時間，カメラ番号，撮影場所など)は，該フレーム画像の直前に記録されたフレーム画像に合成された情報の大部分と同じ情報であることから，該フレーム画像の直前に記録された情報との差分の情報を該フレーム画像に合成する構成とした。
【００１８】
具体的には，本発明は，監視カメラと，監視カメラで撮影した映像のフレーム画像をＪＰＥＧ符号化して記録する処理装置とからなる監視システムにおいて，処理装置は，画像に関連する付加情報を画像に挿入するイメージとしてビットマップに展開する手段と，ビットマップをＪＰＥＧ符号化する手段と，画像を符号化したＪＰＥＧデータにビットマップイメージを符号化したＪＰＥＧデータを合成して１つのＪＰＥＧデータとする合成手段とを備えるようにした。
【００１９】
また，上記合成手段は，画像を符号化したＪＰＥＧデータとビットマップイメージを符号化したＪＰＥＧデータとを，離散コサイン(ＤＣＴ)変換された後，ハフマン符号化される前のデータ形式で合成するようにした。
また，付加情報は，少なくとも画像が撮影された日時を含むようにした。
また，記録装置に記録されたＪＰＥＧデータのヘッダ部は，少なくともビットマップイメージを符号化したＪＰＥＧデータを含むようにした。
また，処理装置は，ビットマップイメージを符号化したＪＰＥＧデータを取り除いて復号化する復号化手段を備えるようにした。
また，処理装置は，画像を符号化したＪＰＥＧデータが改ざんされたかどうかを検出する手段を備えるようにした。
また，合成手段は，符号化する合成画像の特徴値を算出し，その結果を合成するＪＰＥＧデータのヘッダ部に格納する手段を備え，改ざんを検出する手段は，復号化した画像の特徴値を求める手段と，ヘッダ部に格納された特徴値を比較して，改ざんを検出するようにした。
また，処理装置は，所定の時間間隔で監視カメラで撮影した複数の映像のＪＰＥＧ符号化されたフレーム画像各々について，撮影時刻が古いフレーム画像に関連する付加情報のビットマップに対する，新しいフレーム画像に関連する付加情報のビットマップの差分情報を求める手段と，差分情報をＪＰＥＧ符号化する手段と，撮影時刻が新しいフレーム画像のＪＰＥＧデータのヘッダ部にＪＰＥＧ符号化された差分情報を記録する手段とを備えるようにした。
【００２０】
これらの構成により、記録(撮影)した日付や時間，撮影したカメラの番号及び撮影場所といった付加情報を映像に合成して記録することで，検索，管理，再生を視覚的にも容易にし，また，元の映像を，証拠能力を失うことなく再現できる監視システムを提供することができる。
【００２１】
また，該映像の各フレーム(あるいはフィールド)画面の内容が改ざんされた場合に，改ざんされたことが検出可能な，証拠能力の高い映像を記録する監視システムを提供することができる。
【００２２】
さらに，改ざんされたことを自動的に検出可能な監視システムを提供することができる。
【００２３】
また，記録(撮影)した日付や時間，撮影したカメラの番号及び撮影場所といった映像に合成に記録する付加情報が多い場合にも，記録されるデータ量を最小限にすることで，記録時間を減少させないことを可能とする監視システムを提供することができる。
【００２４】
【発明の実施の形態】
本発明の実施形態を図面を参照して説明する。
【００２５】
図１は実施形態のディジタル監視システムを適応しうるディジタル記録可能な監視装置のハードウェア構成図である。
【００２６】
図１に示すように，監視装置２０は，ＣＰＵ１と，主記憶２と，記録装置３と，入力装置４と，Ａ／Ｄ変換装置５と，フレームスイッチャ６と，少なくとも１台の監視カメラ７と，圧縮／伸張装置８と，Ｄ／Ａ変換装置９と，モニタ１０とを有して構成される。フレームスイッチャ６と監視カメラ７とモニタ１０以外の各構成要素は，バス１１によって接続され，各構成要素間で必要な情報が伝送可能なように構成されている。
【００２７】
また，少なくとも１台の監視カメラ７はフレームスイッチャ６に，フレームスイッチャ６はＡ／Ｄ変換装置５にそれぞれ接続され，必要な情報が伝送可能なように構成されている。また，モニタ１０はＤ／Ａ変換装置９に接続され，必要な情報が伝送可能なように構成されている。
【００２８】
ＣＰＵ１は，主記憶２や記録装置３に，あらかじめ格納されているプログラムによって所定の動作を行う。
【００２９】
主記憶２は，ワークエリアとして機能したり，必要なプログラムを格納するための手段であり，例えば，前者に対してはＲＡＭ，後者に対してはＲＯＭなどによって実現できる。
【００３０】
記録装置３は，監視装置２０の動作を制御するためのプログラムを保存したり，監視カメラで撮影される映像と該映像に付随する付加情報(撮影した日付や時間，カメラ番号，撮影場所など)を記録，保存したりするための手段であり，例えば，ハードディスク，ＭＯ，ＤＶＤ−ＲＡＭなどによって実現できる。
【００３１】
入力装置４は，必要な命令や情報を入力するための手段であり，例えば，キーボード，コントローラパッドや，マウスなどのポインティングデバイスなどによって実現できる。
【００３２】
Ａ／Ｄ変換装置５は，フレームスイッチャ６から入力されるアナログの映像データをディジタル化するための手段である。Ａ／Ｄ変換装置５は圧縮／伸張装置８に接続され，Ａ／Ｄ変換装置５でディジタル化された映像データを直接圧縮／伸張装置８に伝送することができる。また，Ａ／Ｄ変換装置５でディジタル化された映像データをバス１１を介して圧縮／伸張装置８に伝送可能なように構成してもよく，この場合には，Ａ／Ｄ変換装置５と圧縮／伸張装置８とを接続しなくてもよい。
【００３３】
Ａ／Ｄ変換装置５に入力されるアナログの映像データの垂直帰線期間には入力された映像データを撮影したカメラ番号が含まれており，Ａ／Ｄ変換装置５は該映像データをディジタル化した後，画像データ部分を圧縮／伸張装置８に転送し，垂直帰線期間中に含まれるカメラ番号を示すデータを主記憶２へ転送する。
【００３４】
フレームスイッチャ６は，フレームスイッチャ６に接続される少なくとも１台の監視カメラ７からの映像をフレーム(あるいはフィールド)ごとに切り替えてＡ／Ｄ変換装置５に出力するための手段であり，例えば，「ＣＣＴＶ監視システム基礎講座」，Ｐ９０〜Ｐ９１，高橋正明著，産業開発機構株式会社発行に記載されているようなフレームスイッチャが適用可能である。また，監視システムの用途や構成に応じて，１台の監視カメラ７をＡ／Ｄ変換装置５に直接接続するようにしてもよく，この場合には，フレームスイッチャ６は必要ない。
【００３５】
監視カメラ７は，アナログの映像を取り込む手段であり，例えば，ＣＣＤカメラなどで実現できる。また，他のカメラとの同期を取るための手段を有しており，少なくとも２台の監視カメラ７をフレームスイッチャ６に接続する場合に，フレームスイッチャ６が，各監視カメラからの映像をフレーム(あるいはフィールド)ごとに切り替えてＡ／Ｄ変換装置５に出力できるようになっている
圧縮／伸張装置８は，Ａ／Ｄ変換装置５にてディジタル化された映像データを圧縮(符号化)したり，さらに，圧縮された映像データを伸張(復号化)するための手段であり，圧縮・伸張方式はＪＰＥＧやＭＰＥＧなどが適用可能である。圧縮／伸張装置８にて圧縮された映像データはバス１１を介して主記憶２または記録装置３へ転送される。さらに，圧縮された映像データを再生しモニタ１０を用いて表示する場合には，主記憶２または記録装置３から圧縮された映像データがバス１１を介して圧縮／伸張装置８にて転送され，圧縮／伸張装置８にて伸張された映像データはＤ／Ａ変換装置９に転送される。
【００３６】
また，ＪＰＥＧやＭＰＥＧなどの圧縮・伸張処理をＣＰＵ１を用いてソフトウェア処理してもよく，この場合には，図１の構成から圧縮／伸張装置８を削除してもよい。ソフトウェアによる圧縮・伸張処理の場合には，Ａ／Ｄ変換装置５でディジタル化された映像データ(垂直帰線期間中に含まれるカメラ番号を示すデータも含む)はバス１１を介して主記憶２に転送され，ソフトウェアによって圧縮される。さらに，ソフトウェアによって伸張された映像データはバス１１を介してＤ／Ａ変換装置９に転送される。
【００３７】
Ｄ／Ａ変換装置９は，圧縮／伸張装置８で伸張されたディジタル映像データをアナログ化するための手段である。Ｄ／Ａ変換装置９は圧縮／伸張装置８に接続され，圧縮／伸張装置８で伸張された映像データを直接Ｄ／Ａ変換装置９に伝送することができる。また，圧縮／伸張装置８で伸張された映像データをバス１１を介してＤ／Ａ変換装置９に伝送可能なように構成してもよく，この場合には，Ｄ／Ａ変換装置９と圧縮／伸張装置８とを接続しなくてもよい。
【００３８】
モニタ１０は，Ｄ／Ａ変換装置９にてアナログ化された映像データを表示するための手段であり，ＴＶモニタ，ＮＴＳＣモニタなどによって実現できる。
【００３９】
監視装置２０を構成する各要素のうち，データやプログラムの入出力と直接関係がない装置がある場合には，その装置を図１の構成からはずすことができる。また，監視装置２０にて記録された映像データは監視装置２０とは異なる別の装置で再生することも可能である。監視装置２０にて記録された映像データを再生可能な監視映像再生装置３０は，図２に示すような装置例によって実現される。図２において，図１と同符号のものは前記した説明と同じである。
【００４０】
伸張装置１２は圧縮／伸張装置８の伸張部で構成される手段であるが，伸張装置１２に代わって圧縮／伸張装置８をそのまま適用しても構わない。さらに，伸張装置１２で伸張された映像データをバス１１を介してＤ／Ａ変換装置９に伝送可能なように構成してもよく，この場合には，Ｄ／Ａ変換装置９と伸張装置１２とを接続しなくてもよい。
【００４１】
また，ＪＰＥＧやＭＰＥＧなどの伸張処理をＣＰＵ１を用いてソフトウェア処理してもよく，この場合には，図２の構成から伸張装置１２を削除してもよい。ソフトウェアによる伸張処理の場合には，ソフトウェアによって伸張された映像データはバス１１を介してＤ／Ａ変換装置９に転送される。
【００４２】
図１における監視装置２０にて記録された映像データは記録装置３にて保存される。記録装置３がＭＯやＤＶＤ−ＲＡＭといったリムーバブルディスク装置で構成されるならば，図２の監視映像再生装置３０における記録装置３も同様にリムーバブルディスク装置で構成され，監視装置２０にて記録された映像データは，該リムーバブルディスクを介して監視映像再生装置３０における記録装置３に格納される。また，図１の記録装置がハードディスクなどの固定式ディスク装置で構成されるならば，監視装置２０及び監視映像再生装置３０は，それぞれバス１１に接続される通信制御装置を有し，監視装置２０の通信制御装置と監視映像再生装置３０の通信制御装置とは電話線やＬＡＮなどの通信網を介して接続されるように構成し，監視装置２０で圧縮された映像データは該通信網を介して監視映像再生装置３０に転送され，監視映像再生装置３０における記録装置３に格納される。
【００４３】
このように，１台あるいは複数台の監視装置２０と１台あるいは複数台の監視映像再生装置３０から監視システムを構成することが可能である。しかし，監視装置２０は，圧縮伸長が可能なように構成しているため，１台あるいは複数台の監視装置２０だけでもシステムを構築することも可能である。
【００４４】
次に，上記監視装置２０上で動作するプログラムで実現される映像データの記録再生方式について詳しく説明する。上記プログラムは，主記憶２や記録装置３に格納されており，何らかの事象，例えば，入力装置４を使用して入力されるユーザからの指示や電源投入時などを契機に，ＣＰＵ１が実行することによって実現される。
【００４５】
まず，少なくとも１台の監視カメラ７で撮影された映像データを記録装置３に保存する記録方式の第一の実施形態について説明する。本第一の実施形態の圧縮／伸張装置８における圧縮・伸張方式の例としてＪＰＥＧを用いて説明する
本第一の実施形態では，少なくとも１台の監視カメラ７からフレームスイッチャ６を通して映像データがＡ／Ｄ変換装置５に入力される。例えば，監視カメラ７から入力されるデータがＮＴＳＣ形式の映像データであれば，Ａ／Ｄ変換装置５はＮＴＳＣ形式の映像データをデコードしてディジタル化する。該ディジタル化された映像データは，圧縮／伸張装置８に転送されＪＰＥＧに符号化される。ここで，監視カメラ７から入力されるデータがＮＴＳＣ形式の映像データであれば，圧縮／伸張装置８には１秒間に約３０フレーム(６０フィールド)の映像データが入力されることになる。圧縮／伸張装置８はあらかじめ定められたフレームレートにしたがって映像データをＪＰＥＧに符号化する。例えば，１台の監視カメラ７がＡ／Ｄ変換装置５に直接接続されており，1秒間に１フレーム分の画像をＪＰＥＧ符号化するよう指定されているならば，1秒間に入力される３０フレームの映像データ(３０フレーム分のフレーム画像列)から１フレームを抽出し，ＪＰＥＧに符号化する。
【００４６】
また，例えば，図３(ａ)に示すように，４台の監視カメラ７a〜７ｄがフレームスイッチャ６に接続されているならば，フレームスイッチャ６から出力される映像データは図３(ｂ)に示す通りとなる(フレーム画像ａ１とａ３との時間差は８／３０秒)。したがって，圧縮／伸張装置８は，1秒間に１フレーム分の画像をＪＰＥＧ符号化するよう指定されているならば，1秒間に入力される３０フレームの映像データから，監視カメラ７a〜７ｄで撮影された画像をそれぞれ１フレーム分，例えば，フレーム画像ａ１,ｂ１,ｃ１,ｄ１の計４フレームを抽出してＪＰＥＧに符号化することになる。
【００４７】
さらに，圧縮／伸張装置８は，入力される約３０フレーム／秒の映像データをＪＰＥＧ符号化するのと同時に，ＪＰＥＧ符号化する前の入力されたままの映像データをＤ／Ａ変換装置９に転送するよう構成してもよく，これにより，監視カメラ7において撮影された映像データをモニタ１０に表示することができ，リアルタイムでの監視映像の閲覧が可能となる。
【００４８】
圧縮／伸張装置８において行われるＪＰＥＧ符号化の処理を図４のフローチャートを用いて説明する。
【００４９】
図４に示すように，まず，1秒間に入力される３０フレームの映像データ(３０フレーム分のフレーム画像列)から１フレームを抽出し(ステップ１０１)，該１フレーム分の画像データを８×８の画素ブロックに分割する(ステップ１０２)。例えば，該画像データのイメージサイズ(解像度)が６４０×４８０であるならば，該画像データは横８０ブロック，縦６０ブロックに分割される。
【００５０】
次に，分割した画素ブロック毎にＤＣＴ(Discrete Cosine Transform：離散的コサイン変換)を行う(ステップ１０３)。ＤＣＴとは直行変換の一種である。以下，そのＤＣＴを施したブロックをＤＣＴ係数ブロックと呼ぶこととする。ＤＣＴ係数ブロックは画素ブロックと同様に８×８で構成される。
【００５１】
次に，ＤＣＴ係数ブロック毎に量子化テーブルを用いて量子化を行う(ステップ１０４)。量子化テーブルには，任意の量子化値の８×８で構成されるブロックを用いる。量子化は，ＤＣＴ係数ブロックを構成するＤＣＴ係数を，量子化テーブルに対応する量子化値で除算することで実現される。以下，このＤＣＴ係数ブロックを量子化したブロックを量子化ＤＣＴ係数ブロックと呼ぶとする。
【００５２】
次に，量子化ＤＣＴ係数ブロックをエントロピー符号化の一種であるハフマン符号化を行う(ステップ１０５)。ハフマン符号化では８×８の２次元ブロックを１次元のデータとして扱い，０のランレングスと符号化する値の大きさを示すカテゴリの組み合わせにハフマン符号を割り当ててハフマン符号化する。このハフマン符号化後のデータがＪＰＥＧデータとなる。ＪＰＥＧデータは，このハフマン符号化したデータの他に，符号化した画像データの縦横の画素数(画像のイメージサイズ)などの画像データ情報や符号化したときに用いた量子化テーブルとハフマンテーブルが含まれる。
【００５３】
そして最後に，符号化されたＪＰＥＧデータを主記憶２へ転送し(ステップ１０６)，処理を終了する。
【００５４】
次に，圧縮／伸張装置８において符号化されたＪＰＥＧデータに付加情報を合成する方式について説明する。本実施形態では，付加情報として撮影日時，撮影したカメラ番号，撮影したカメラの設置場所(撮影場所)を取り上げるが，ＪＰＥＧデータに合成可能な付加情報はこの限りではない。
【００５５】
上述したように，撮影したカメラ番号を示すデータは，Ａ／Ｄ変換装置５から主記憶２へ転送される。また，カメラの設置場所はあらかじめ決められているため，撮影したカメラの設置場所を示すデータは主記憶２あるいは記録装置３に格納されている。さらに，上記監視装置にはクロックが内蔵されており，撮影日時を示すデータは該クロックから得ることができる。
【００５６】
圧縮／伸張装置８において符号化されたＪＰＥＧデータに付加情報を合成する処理を図５のフローチャートを用いて説明する。
【００５７】
図５に示すように，まず主記憶２に転送された垂直帰線期間中に含まれるカメラ番号を示すデータを抽出してデコードする(ステップ２０１)。さらに，ステップ２０１において得られたカメラ番号に対応するカメラの設置場所を示すデータを主記憶２あるいは記録装置３から取得し，上記クロックから現在の日時を取得する(ステップ２０２)。次に，圧縮／伸張装置８において図４の処理によりＪＰＥＧ符号化された画像データのイメージサイズと同等あるいはそれよりも小さいイメージサイズを持つビットマップを作成し，該ビットマップの任意の位置に上記撮影日時及び上記カメラ番号，上記撮影場所を示す文字列を描画する(ステップ２０３)。このときの上記ビットマップのイメージ例を図６に示す。
【００５８】
図６において，ビットマップ上には撮影日時を示す文字列(“９９／４／２ １：０２：３０”)及びカメラ番号を示す文字列(“カメラ番号：１”)，撮影場所を示す文字列(“場所：会議室”)がそれぞれ表示されている。
【００５９】
さて，図５に戻り，続いて圧縮／伸張装置８において図４の処理によりＪＰＥＧ符号化されたＪＰＥＧデータに上記ビットマップを合成する処理を行うが，これは特開平１０―１０８１８０号公報に開示されている方式を用いて行うことができる。
【００６０】
つまり，ステップ２０３で得られたビットマップを図４におけるステップ１０２〜１０４の処理を施して量子化ＤＣＴ係数ブロック群を作成する(ステップ２０４)。ステップ２０４の処理は圧縮／伸張装置８で行ってもＣＰＵ１を使用してソフトウェアで行ってもよい。次に，圧縮／伸張装置８において図４の処理によりＪＰＥＧ符号化されたＪＰＥＧデータをハフマン復号化することにより，量子化ＤＣＴ係数ブロック群を抽出する(ステップ２０５)。さらに，該量子化ＤＣＴ係数ブロック群とステップ２０４にて得られた付加情報の量子化ＤＣＴ係数ブロック群とを加算し(ステップ２０６)，加算後の量子化ＤＣＴ係数ブロック群をハフマン符号化する(ステップ２０７)。そして最後に，ステップ２０４で得られた量子化ＤＣＴ係数ブロック群をハフマン符号化し(ステップ２０８)，その結果(ＪＰＥＧデータ)をステップ２０７で得られたＪＰＥＧデータのヘッダ部に格納し(ステップ２０９)，処理を終了する。ここで，ステップ２０８において生成されたＪＰＥＧデータを付加情報用ＪＰＥＧデータ，ステップ２０９において生成されたＪＰＥＧデータを画像表示用ＪＰＥＧデータとそれぞれ呼ぶことする。そして，画像表示用ＪＰＥＧデータは監視装置２０の記録装置３に保存されることになる。
【００６１】
なお，圧縮／伸張装置８の処理をソフトウェアで行なう場合には，画像データの符号化と付加情報の符号化とを同時に行なってもよい。
【００６２】
次に，付加情報が合成されてＪＰＥＧ符号化され監視装置２０あるいは監視映像再生装置３０の記録装置３に保存されている画像表示用ＪＰＥＧデータの再生(復号化)方式について説明する。
【００６３】
まず，上記画像表示用ＪＰＥＧデータの復号化処理を図７のフローチャートを用いて説明する。
【００６４】
図７に示すように，まず再生したい画像表示用ＪＰＥＧデータを記録装置３から読み出し，該画像表示用ＪＰＥＧデータのヘッダ部に付加情報用ＪＰＥＧデータが存在するかどうかを検出し(ステップ３０１)，該画像表示用ＪＰＥＧデータに付加情報が合成されているならば，該画像表示用ＪＥＰＧデータをハフマン復号化して量子化ＤＣＴ係数ブロック群に復号する(ステップ３０２)。次に，付加情報を含めた画像表示モードかどうかを判定する(ステップ３０３)。上記表示モードは，あらかじめ入力装置４などかユーザにより指定されているものとする。ステップ３０３において，付加情報を含めた表示モードでない場合には，画像表示用ＪＰＥＧデータのヘッダ部から付加情報用ＪＰＥＧデータを抽出し，該付加情報用ＪＰＥＧデータをハフマン復号化して量子化ＤＣＴ係数ブロック群に復号する(ステップ３０４)。そして，上記画像表示用ＪＥＰＧデータから導き出した量子化ＤＣＴ係数ブロック群から，付加情報用ＪＰＥＧデータから導き出した量子化ＤＣＴ係数ブロック群同士を減算する(ステップ３０５)。
【００６５】
また，ステップ３０３において，付加情報を含めた表示モードである場合には，ステップ３０４及びステップ３０５の処理はスキップされる。
【００６６】
次に，ステップ３０２あるいはステップ３０５において導き出された量子化ＤＣＴ係数ブロック群を逆量子化してＤＣＴ係数ブロック群に復号し(ステップ３０６)，該ＤＣＴ係数ブロック群に対してＩＤＣＴ(Inverse DCT：逆ＤＣＴ)を行って８×８の画素ブロックに戻す(ステップ３０７)。そして，復号された８×８画素ブロックを再構成する（ステップ３０８）ことによって画像データを復号できる。
【００６７】
上述のステップ３０２及びステップ３０４及びステップ３０６〜ステップ３０８の処理は，監視装置２０における圧縮／伸張装置８あるいは監視映像再生装置３０における伸張装置１２で行ってもＣＰＵ１を使用してソフトウェアで行ってもよい。
【００６８】
図７のフローチャートで示した処理を行って再生(復号化)された画像表示用ＪＰＥＧデータは，Ｄ／Ａ変換装置９に転送されてアナログ化された後，モニタ１０にて表示される。次に，このときのモニタ１０に表示される画像表示例を示す。
【００６９】
図８は，図７におけるステップ３０３において，付加情報を含めた表示モードである場合の画像表示例を示す。図８では，監視カメラ７で撮影された画像に図６で示した付加情報が合成されて表示されている。このような画像は，撮影された画像とともに該画像に付随する撮影日時及びカメラ番号，撮影場所などの付加情報も同時に表示することができ，モニタ１０上で必要な画像を検索するのに非常に有効である。
【００７０】
図９は，図７におけるステップ３０３において，付加情報を含めた表示モードでない（すなわち，付加情報を表示しないモード）場合の画像表示例を示す。図９では，監視カメラ７で撮影された画像がモニタ１０上に表示されており，該画像に付随する撮影日時及びカメラ番号，撮影場所などの付加情報は表示されていない。このような画像は，画像の内容を解析するためなどに用いられる。つまり，画像に付随する撮影日時及びカメラ番号，撮影場所などの付加情報が同時に表示されていると，モニタ１０上では付加情報が画像に重なって表示されるためその部分の画像情報が失われてしまうからである。
【００７１】
第一の実施形態における付加情報を合成しての画像データの記録方式では，ＪＰＥＧデータに符号化する前の非圧縮の画像データに付加情報を合成するのではなく，ＪＰＥＧデータを符号化する過程に現れる量子化ＤＣＴ係数ブロックに対して付加情報の合成処理が行われるため，図９に示すような付加情報を表示しない画像表示においても，元の画像の画質を劣化させることなく表示することが可能となる。
【００７２】
さらに，本第一の実施形態では，付加情報として，撮影日時及びカメラ番号，撮影場所の３つの情報を取り上げたが，画像の検索を容易にするために，さらに多くの付加情報を合成することも考えられる。しかしながら，合成する情報が多くなればなるほど，画像に対して付加情報の占める割合が大きくなり，画像表示用ＪＰＥＧデータを付加情報を含めた表示モードで再生する場合には，再生された画像のほとんどが付加情報に隠されてしまう。本第一の実施形態のように，画質の劣化なく付加情報を取り除いての表示が可能であれば，画像の検索や解析に対して非常に有効な手段となる。
【００７３】
また，本第一の実施形態の方式で記録されるＪＰＥＧデータは，国際標準化されたアルゴリズムにしたがって符号化されたものである。つまり，一般的に市場に流通しているＪＰＥＧデコーダでも再生可能である(図７におけるステップ３０２及びステップ３０６〜ステップ３０８の処理が行われる)。しかしながら，このような一般的に市場に流通しているＪＰＥＧデコーダは，付加情報を取り除いて復号化する手段を持っていないので，該ＪＰＥＧデコーダで再生した画像は，必ず付加情報が合成されて表示されることになる。
【００７４】
上述した第一の実施形態では，任意の時点に撮影された１枚のフレーム画像を記録再生する方式を示した。しかしながら，通常，防犯目的の監視システムは，１日２４時間，監視カメラからの映像を記録し続けている。つまり，１台の監視カメラが接続された監視装置２０においては，1秒間に１フレーム分の画像をＪＰＥＧ符号化するよう指定されているならば，２４時間で８６４００フレーム分の画像をＪＰＥＧ符号化することになる。上述した第一の実施形態では，合成する付加情報をＪＰＥＧ符号化(ＪＰＥＧデータに)してＪＰＥＧ符号化された画像のＪＰＥＧデータのヘッダ部に格納するため，少なからずとも記録装置３の記録容量を圧迫することになる。
【００７５】
第二の実施形態では，記録装置３に記録されるデータ量を最小限にして記録する方式につて説明する。
【００７６】
1秒間に１フレーム分の画像をＪＰＥＧ符号化するよう指定されているならば，２４時間中に記録される８６４００フレーム分の画像に合成される付加情報は非常に強い相関を有している。例えば，ある任意の２秒間に記録される２フレーム分の画像は図１０に示すとおりとなる。最初の１秒間に記録される画像が(ａ)，次の１秒間に記録される画像が(ｂ)である。図９に示すとおり，(ａ)の画像が記録(撮影)される日時は９９年４月２日，１時２分３０秒であり，(ｂ)の画像が記録(撮影)される日時は９９年４月２日，１時２分３１秒である。また，(ａ)と(ｂ)の画像はともに同じ監視カメラからの画像であるため，カメラ番号と撮影場所を示す文字列は一致している。つまり，(ａ)の画像と(ｂ)の画像に合成される付加情報(を示す文字列)は，３０秒の“０”と３１秒の“１”の違いである。したがって，(ｂ)の画像をＪＰＥＧ符号化する際，(ｂ)の画像に合成する付加情報として，(ａ)の画像に合成する付加情報との差分を(ｂ)の画像から作成されるＪＰＥＧデータのヘッダ部に格納することによって，該ＪＰＥＧデータのデータ量を減らすことが可能となる。
【００７７】
次に，第二の実施形態における付加情報の合成処理を図１１のフローチャートを用いて説明する。
【００７８】
図１１に示すように，まず主記憶２に転送された垂直帰線期間中に含まれるカメラ番号を示すデータを抽出してデコードする(ステップ４０１)。さらに，ステップ４０１において得られたカメラ番号に対応するカメラの設置場所を示すデータを主記憶２あるいは記録装置３から取得し，上記クロックから現在の日時を取得する(ステップ４０２)。次に，圧縮／伸張装置８において図４の処理によりＪＰＥＧ符号化された画像データのイメージサイズと同等あるいはそれよりも小さいイメージサイズを持つビットマップを作成し，該ビットマップの任意の位置に上記撮影日時及び上記カメラ番号，上記撮影場所を示す文字列を描画する(ステップ４０３)。次に，該ビットマップと，直前に記録した画像の付加情報を示すビットマップとの差違を算出する(ステップ４０４)。このときの処理方法を図１２を用いて説明する。
【００７９】
図１２は，ステップ４０３において作成されたビットマップを示す(ただし，付加情報を示す文字列は省略してある)。該ビットマップのイメージサイズを，横３２画素，縦１６画素とすると，該ビットマップを８×８の画素ブロックに分割すると，ブロック番号が１〜８の８つのブロックに分割される。ステップ４０４０の処理は，このブロック単位で比較される。
【００８０】
さて，図１１に戻り，次に，ステップ２０３で得られたビットマップを図４におけるステップ１０２〜１０４の処理を施して量子化ＤＣＴ係数ブロック群を作成する(ステップ４０５)。ここで，ステップ４０５の処理は圧縮／伸張装置８で行ってもＣＰＵ１を使用してソフトウェアで行ってもよい。
【００８１】
次に，圧縮／伸張装置８において図４の処理によりＪＰＥＧ符号化されたＪＰＥＧデータをハフマン復号化することにより，量子化ＤＣＴ係数ブロック群を抽出する(ステップ４０６)。さらに，該量子化ＤＣＴ係数ブロック群とステップ４０５にて得られた付加情報の量子化ＤＣＴ係数ブロック群とを加算し(ステップ４０７)，加算後の量子化ＤＣＴ係数ブロック群をハフマン符号化する(ステップ４０８)。次に，ステップ４０４で算出された，直前に記録された画像の付加情報を示すビットマップとの差違があるブロックの量子化ＤＣＴ係数ブロック群をハフマン符号化する(ステップ４０９)。上記の例では，ブロック番号が８のブロックに対応する量子化ＤＣＴ係数ブロックがハフマン符号化されることになる。そして最後に，ステップ４０９において得られた付加情報用ＪＰＥＧデータを，ステップ４０８で得られた画像表示用ＪＰＥＧデータのヘッダ部に格納し(ステップ４１０)，処理を終了する。
【００８２】
以上のように，第二の実施形態では，例えば上述した例では，付加情報用ＪＰＥＧデータは１つの８×８の画素ブロックが符号化されて作られることになる。上記第一の実施形態では，８つすべての８×８の画素ブロックが符号化されて作られることになるため，画像表示用ＪＰＥＧデータのヘッダ部に格納されるデータ量は１／８となり，記録されるデータ量を最小限することが可能となる。
【００８３】
なお，複数のカメラ画像を記録しているときには，上記ステップ４０１で取得したカメラ番号を用いて，付加情報の差分をカメラ毎に管理すればよい。
【００８４】
また，上記第一の実施形態における記録方式によって付加情報が合成され記録されたＪＰＥＧデータは，該ＪＰＥＧデータで正常に再生可能である。したがって，第二の実施形態において，数〜数十フレーム毎に上記第一の実施形態における記録方式によって記録すれば，数〜数十フレーム毎にランダム検索ができるようになる。
【００８５】
上記第二の実施形態における記録方式で記録されたＪＰＥＧデータは，図７に示したフローチャートを用いて同様に復号化することができる。ただし，ステップ３０４とステップ３０５の処理の間に，以下に示す処理を挿入する必要がある。
【００８６】
まず，直前に記録されたＪＰＥＧデータの復号化に使われた付加情報用ＪＰＥＧデータの量子化ＤＣＴ係数ブロック群を取得し，ステップ３０４で得られた量子化ＤＣＴ係数ブロック群に置き換える。この置き換えられた量子化ＤＣＴ係数ブロック群を用いてステップ３０５の処理を行うことになる。
【００８７】
例えば，図１３は，時間的に連続する３つのフレーム画像に合成する付加情報を示すビットマップである(図１１におけるステップ４０３の処理において作成されたもので，付加情報を示す文字列は省略してある)。(ａ)(ｂ)(ｃ)の順で時間が経過しているものとする。また，(ａ)のビットマップと(ｂ)のビットマップとの差違は，４ａブロックと４ｂブロックであり，(ｂ)のビットマップと(ｃ)のビットマップとの差違は，８ｂブロックと８ｃブロックであるとする。さらに，(ａ)のビットマップが合成される画像は上記第一の実施形態における記録方式で記録され，(ｂ)のビットマップが合成される画像及び(ｃ)のビットマップが合成される画像は上記第二の実施形態における記録方式で記録されるものとする。
【００８８】
これらの画像の再生時には，(ａ)のビットマップが合成され記録されたＪＰＥＧデータは，１ａ〜８ａのブロックからなる付加情報用ＪＰＥＧデータを用いて復号化される。(ｂ)のビットマップが合成され記録されたＪＰＥＧデータは，１ａ，２ａ，３ａ，４ｂ，５ａ，６ａ，７ａ，８ａのブロックからなる付加情報用ＪＰＥＧデータを用いて復号化される。４ｂのブロックからなる付加情報用ＪＰＥＧデータは，(ｂ)のビットマップが合成される画像が符号化された画像表示用ＪＰＥＧデータのヘッダ部から取得される。また，(ｃ)のビットマップが合成され記録されたＪＰＥＧデータは，１ａ，２ａ，３ａ，４ｂ，５ａ，６ａ，７ａ，８ｃのブロックからなる付加情報用ＪＰＥＧデータを用いて復号化される。８ｃのブロックからなる付加情報用ＪＰＥＧデータは，(ｃ)のビットマップが合成される画像が符号化された画像表示用ＪＰＥＧデータのヘッダ部から取得される。
【００８９】
次に，上述した第一，第二の実施形態において，記録されたＪＰＥＧデータ(付加情報を含む)が改ざんされたかどうかを検出する方法について説明する。
【００９０】
上記実施形態によれば，ＪＰＥＧデータのヘッダ部には合成した付加情報に関する情報が格納されている。一般的に市場に流通しているＪＰＥＧエンコーダ及びデコーダ（各々ハードウェア処理，ソフトウェア処理を問わない））が改ざんに使われた場合について説明する。
【００９１】
本発明を用いて記録したＪＰＥＧデータから画像を復号化し，修正(改ざん)して再び符号化した場合は，記録したＪＰＥＧデータのヘッダ部には合成した付加情報に関する情報が格納されているが，上記付加情報を認識しないＪＰＥＧエンコーダ及びデコーダを用いて，画像を修正後再びＪＰＥＧ符号化を行うと，復号化前には存在した上記付加情報が消失してしまい，合成した付加情報を分離（あるいは抽出）することが不可能となる。したがって，図7のフローチャートにおける，付加情報を表示しないモードの場合にも付加情報が分離されず，図8に示すような画像が表示されることになる。
【００９２】
また，使用するＪＰＥＧエンコーダ及びデコーダが，復号化したときのＪＰＥＧヘッダ部に格納されている情報を保持して符号化する機能を備えていた場合，改ざんされた個所が付加情報を合成した部分であるならば，図7のフローチャートにおける，付加情報を表示しないモードの場合にもきれいに付加情報が分離されず，図１４に示すように，合成されていた付加情報の部分の表示がきれいに行われず，ゴミ（ノイズ）が残るようになる。したがって，ゴミ（ノイズ）の検出によって，記録されたＪＰＥＧデータが改ざんされたかどうかを判断することが可能となる。
【００９３】
上記の改ざん検出方法は，記録されたＪＰＥＧデータを復号化した後，目視判断をするものであった。また，付加情報が合成されていない部分が改ざんされている場合には改ざん検出ができない。
【００９４】
そこで，証拠能力の高い記録(監視)画像を保持するために，確実に改ざん検出を可能とする第三の実施形態について説明する。
【００９５】
図１に示す監視装置２０において，Ａ／Ｄ変換装置５が，映像データの垂直帰線期間中に含まれるカメラ番号を示すデータだけでなく，(非圧縮の)画像データ部分も主記憶２へ転送可能なように構成する。そして，該画像データに対して動体検出を行う手段を設ける。具体的には，ＣＰＵ１によって実行されるプログラムによって実現する。動体検出は，例えば，同一のカメラから異なる時刻に出力された２つの画像の各画素間の差分を算出することで行うことができる。該差分があらかじめ決められた値より大きい場合には，該差分を導き出した画素あるいは該画素を含む任意の大きさのブロックが動体部分であると判断する。そして，検出された動体部分に，第一の実施形態において説明した付加情報を合成する方法(図５のフローチャートにおけるステップ２０２〜ステップ２０９)と同様に任意の情報を合成する。本実施形態は改ざん防止が目的であるため，合成する情報はカメラ番号や日付けなどの意味のある情報でなくてもよく，例えば，ハーフトーンのビットマップを合成してもよい。もし，Ａ／Ｄ変換装置５から主記憶２に転送される画像データが図9に示す画像であって，さらに該画像の左側に見える人間が動体と検出されたならば，図１５に示すように復号化されるＪＰＥＧデータを生成する。通常，改ざんされる可能性があるのは動体部分である可能性が大きいため，動体部分に付加情報を合成する方法は非常に有効である。
【００９６】
次に，目視で改ざん検出するのではなく，自動的に検出する方式について説明する。
【００９７】
本方式では，記録する画像をＪＰＥＧに符号化する際，符号化する画像の特徴値を算出し，その結果をＪＰＥＧデータのヘッダ部に格納する。特徴値としては例えば，量子化ＤＣＴ係数ブロック群のチェックサムがある。また，ハッシュ関数など一方向性関数を用いて特徴値を算出しても良い。上記チェックサムを用いる例について以下説明する。
【００９８】
本方式の処理フローチャートを図１６に示す。ステップ５０１〜ステップ５０６の処理は，図５におけるフローチャートのステップ２０１〜ステップ２０６の処理とそれぞれ同様である。
【００９９】
ステップ５０１〜ステップ５０６の処理が順次実行された結果得られた１つ以上の量子化ＤＣＴ係数ブロックのチェックサムを算出する(ステップ５０７)。そして，ステップ５０６で得られた量子化ＤＣＴ係数ブロックをハフマン符号化し(ステップ５０８)，さらに，付加情報ビットマップの量子化ＤＣＴ係数ブロックをハフマン符号化する(ステップ５０９)。最後に，ステップ５０８で得られたＪＰＥＧデータのヘッダ部に，ステップ５０９で得られたＪＰＥＧデータ及びステップ５０７で得られたチェックサムを格納して(ステップ５１０)，処理を終了する。
【０１００】
改ざんを自動的に検出する処理フローチャートを図１７に示す。
まず，再生したい画像表示用ＪＰＥＧデータを記録装置３から読み出し(ステップ６０１)，該画像表示用ＪＰＥＧデータのヘッダ部にチェックサムを表わすデータが存在するかどうかを検出する(ステップ６０２)。チェックサムを表わすデータが存在するならば，該画像表示用ＪＰＥＧデータをハフマン符号化して量子化ＤＣＴ係数ブロック群に復号する(ステップ６０３)。次に，該量子化ＤＣＴ係数ブロック群のチェックサムを算出し(ステップ６０４)，上記ヘッダ部に格納されていたチェックサムを比較する(ステップ６０５)。チェックサムが一致するならば，ＪＰＥＧデータは改ざんされていないと判断する。
【０１０１】
ステップ６０２においてＪＰＥＧデータのヘッダ部にチェックサムを表わすデータが存在していなかった場合，あるいは，ステップ６０５においてチェックサムが一致しなかった場合には，ＪＰＥＧデータに改ざんが行われたと判断して，警告音をならす，あるいは，警告表示をモニタ１０に表示するなど，明示的に，改ざんが行われていたことをユーザに知らせて(ステップ６０６)，処理を終了する。
【０１０２】
以上のように，図１６に示す処理で得られたＪＰＥＧデータに対して，復号化して得られた画像を改ざんして再び符号化した場合，チェックサムが元の値から変化する確率は非常に高いので，チェックサムを調べることによって自動的に改ざんが行われたことを，ほぼ確実に検出できる。改ざんして再び符号化したとき，元のチェックサムと一致する確率は，たとえばチェックサムを４バイトのデータとして表わすと，１／４０兆(４０兆分の１)と非常に低い。
【０１０３】
また，ステップ６０２においてＪＰＥＧデータのヘッダ部に格納されているはずのチェックサムを表わすデータが消失しているならば，他のＪＰＥＧエンコーダで符号化されたことになるので，チェックサムを算出するまでもなく，自動的に改ざんされたかどうかの検出ができる。
【０１０４】
このように，第三の実施形態では，記録されたＪＰＥＧデータが改ざんされたかどうかを容易にかつ自動的に検出することが可能であり，証拠能力の高い記録(監視)画像を保持する監視システムを提供できる。
【０１０５】
【発明の効果】
以上説明してきたように，本発明によれば，記録映像の証拠能力を失うことなく，検索，管理，再生を容易にした監視システムを提供することができる。
【０１０６】
また，記録(撮影)映像が改ざんされたことを検出可能な監視システムを提供することができる。
【図面の簡単な説明】
【図１】本実施形態の監視装置のハードウェア構成図である。
【図２】本実施形態の監視映像再生装置のハードウェア構成図である。
【図３】第一の実施形態の映像データフォーマットの説明図である。
【図４】第一の実施形態のＪＰＥＧ符号化の処理フローチャートを示す図である。
【図５】第一の実施形態の画像記録方法の処理フローチャートを示す図である。
【図６】第一の実施形態の付加情報合成方法の説明図である。
【図７】第一の実施形態の記録画像再生方法の処理フローチャートを示す図である。
【図８】第一の実施形態の記録画像の再生表示例を示す図である。
【図９】第一の実施形態の記録画像の再生表示例を示す図である。
【図１０】第二の実施形態の画像記録方法の説明図である。
【図１１】第二の実施形態の画像記録方法の処理フローチャートを示す図である。
【図１２】第二の実施形態の画像記録方法の説明図である。
【図１３】第二の実施形態の記録画像再生方法の説明図である。
【図１４】第一の実施形態の記録画像の再生表示例を示す図である。
【図１５】第三の実施形態の記録画像の再生表示例を示す図である。
【図１６】第三の実施形態の画像記録方法の処理フローチャートを示す図である。
【図１７】第三の実施形態の記録画像再生方法の処理フローチャートを示す図である。
【符号の説明】
１…ＣＰＵ，２…主記憶，３…記録装置，４…入力装置，５…Ａ／Ｄ変換装置，６…フレームスイッチャ，７…監視カメラ，８…圧縮／伸張装置，９…Ｄ／Ａ変換装置，１０…モニタ，１１…バス，１２…伸張装置
【発明の属する技術分野】
本発明は，監視カメラからの映像を記録する監視システムに関する。
【０００２】
【従来の技術】
従来，防犯などを目的とした監視システムには，タイムラプスＶＴＲと呼ばれる長時間記録用ＶＴＲが多く用いられている。このようなタイムラプスＶＴＲは，監視カメラなどからの映像を長時間にわたって，あるいは必要に応じＶＴＲにアナログ記録している。
【０００３】
一方，ハードディスクなどの磁気ディスクやＭＯ，ＤＶＤ−ＲＡＭなどの光磁気ディスクといった書き換え、追記録可能な蓄積メディアが大容量化し，しかも安価で広まりつつある。このような蓄積メディアは，アナログ記録ＶＴＲ用のビデオテープに比べ，保守が容易であり，また，即時再生（ランダム再生）が可能であるため，タイムラプスＶＴＲの記録媒体として用いられる傾向にある。
【０００４】
従来のタイムラプスＶＴＲでは，再生時の映像解析のため，
「ＣＣＴＶ監視システム基礎講座」，Ｐ８９，高橋正明著，産業開発機構株式会社発行に記載されているように記録(撮影)した時点の年，月，日，時，分，秒を画面に挿入して記録している。さらに，再生時に所望の映像の検索を容易にするため，特開平９―４６６３５号公報では，カメラからの映像と同時に付加情報を記録する方式を開示している。
【０００５】
また，ディジタル記録する場合には，カメラからの映像を画像圧縮して記録することが一般的であり，これにより，より多くの映像を記録することができる。特開平１１―１６０５９号公報では，カメラからの映像をＪＥＰＧに圧縮し，さらに，その記録時刻のデータをＪＰＥＧのヘッダ部に付加する方式が開示されている。
【０００６】
【発明が解決しようとする課題】
タイムラプスＶＴＲでは，記録した映像を検索，管理，再生したりするために，記録した日付や時間を映像と関連付けて記録することが必須となる。映像を記録(撮影)した時点の年，月，日，時，分，秒を映像の各フレーム(あるいはフィールド)画面に挿入(上書き)して記録する上述の従来例では，画面上に日付や時間を重ねて記録するため，日付や時間を重ねた部分の画像情報が失われ，防犯上の証拠能力が減少してしまう可能性がある。特に，日付や時間以外に，撮影した監視カメラを特定するための番号や，撮影場所などの様々な情報を重ねると，記録した画像の多くの部分が失われてしまう。
【０００７】
また，特開平９―４６６３５号公報では，付加情報を映像とは別のファイルとして記録することで映像情報が失われないようにしているが，記録すべき情報が増えるため記録時間に対する考慮がなされていない。
【０００８】
また，特開平１１―１６０５９号公報では，映像をＪＰＥＧに圧縮し，付加情報をそのＪＰＥＧのヘッダ部に付加することによって記録時間を増やしている。しかしながら，防犯目的の監視システムにおいては，記録した映像の証拠能力を高めるため，その映像が改ざんされていないことを証明する手段が必要であるが，上記従来技術では，記録された映像の証拠能力についての考慮がなされていない。
【０００９】
本発明の目的は，記録(撮影)した日付や時間，さらにはその他の付加情報を記録映像に合成（または，多重，付加）して記録することで検索，管理，再生を容易にし，さらに，必要に応じて，合成した付加情報を，元の映像の画質を劣化させることなく取り除いて記録映像(画像)の再生が可能な監視システムを提供することにある。
【００１０】
また，本発明のその他の目的は，記録(撮影)映像の各フレーム(あるいはフィールド)画面が改ざんされた場合に，改ざんされたことが検出可能な監視システムを提供することにある。
【００１１】
さらに，本発明のその他の目的は，合成する情報が多い場合にも，記録時間を減少させないことを可能とする監視システムを提供することにある。
【００１２】
【課題を解決するための手段】
上記課題を解決するために本発明では，まず、監視カメラで撮影した映像の各フレーム(あるいはフィールド)画像を，マクロブロック毎にＤＣＴ変換，量子化，ハフマン符号化を行なう圧縮方法を用いて圧縮する。さらに，該画像に合成すべき撮影した日付や時間，その他の付加情報を画面に挿入するイメージとしてビットマップに展開し，該ビットマップを同様に圧縮する。つぎに、上記画像の圧縮データと上記付加情報イメージの圧縮データとを合成して１つの圧縮データとして記録する構成とした。
【００１３】
なお，上記圧縮方法を行うものとしては，ＪＰＥＧや，ＭＰＥＧ，Ｈ．２６１，Ｈ．２６３のＩピクチャがある。以下の説明では，ＪＰＥＧを例にとって説明する。
【００１４】
その上で本発明は，付加情報を合成して記録された圧縮データを再生する場合，ユーザからの要求により，合成された付加情報を削除して該圧縮データを再生し，付加情報としてのビットマップイメージが取り除かれた元の画像を得るよう構成した。
【００１５】
また，本発明は，付加情報を合成して記録された圧縮データに何らかの改ざんが行われた場合に，上記の如く合成された付加情報を削除して該圧縮データを再生し，再生された画像から付加情報が取り除かれていない場合には改ざんが行われたと検出するよう構成した。
【００１６】
また，本発明の合成手段は，符号化する合成画像の特徴値を算出し，その結果を合成するＪＰＥＧデータのヘッダ部に格納し，改ざんを検出する手段は，復号化した画像の特徴値を求め，ヘッダ部に格納された特徴値を比較して，改ざんを検出するように構成した。
【００１７】
また，任意の時間間隔で監視カメラからの映像を付加情報を合成しながら記録する場合に，該映像における任意の時点のフレーム(あるいはフィールド)画像に合成する情報(記録した日付や時間，カメラ番号，撮影場所など)は，該フレーム画像の直前に記録されたフレーム画像に合成された情報の大部分と同じ情報であることから，該フレーム画像の直前に記録された情報との差分の情報を該フレーム画像に合成する構成とした。
【００１８】
具体的には，本発明は，監視カメラと，監視カメラで撮影した映像のフレーム画像をＪＰＥＧ符号化して記録する処理装置とからなる監視システムにおいて，処理装置は，画像に関連する付加情報を画像に挿入するイメージとしてビットマップに展開する手段と，ビットマップをＪＰＥＧ符号化する手段と，画像を符号化したＪＰＥＧデータにビットマップイメージを符号化したＪＰＥＧデータを合成して１つのＪＰＥＧデータとする合成手段とを備えるようにした。
【００１９】
また，上記合成手段は，画像を符号化したＪＰＥＧデータとビットマップイメージを符号化したＪＰＥＧデータとを，離散コサイン(ＤＣＴ)変換された後，ハフマン符号化される前のデータ形式で合成するようにした。
また，付加情報は，少なくとも画像が撮影された日時を含むようにした。
また，記録装置に記録されたＪＰＥＧデータのヘッダ部は，少なくともビットマップイメージを符号化したＪＰＥＧデータを含むようにした。
また，処理装置は，ビットマップイメージを符号化したＪＰＥＧデータを取り除いて復号化する復号化手段を備えるようにした。
また，処理装置は，画像を符号化したＪＰＥＧデータが改ざんされたかどうかを検出する手段を備えるようにした。
また，合成手段は，符号化する合成画像の特徴値を算出し，その結果を合成するＪＰＥＧデータのヘッダ部に格納する手段を備え，改ざんを検出する手段は，復号化した画像の特徴値を求める手段と，ヘッダ部に格納された特徴値を比較して，改ざんを検出するようにした。
また，処理装置は，所定の時間間隔で監視カメラで撮影した複数の映像のＪＰＥＧ符号化されたフレーム画像各々について，撮影時刻が古いフレーム画像に関連する付加情報のビットマップに対する，新しいフレーム画像に関連する付加情報のビットマップの差分情報を求める手段と，差分情報をＪＰＥＧ符号化する手段と，撮影時刻が新しいフレーム画像のＪＰＥＧデータのヘッダ部にＪＰＥＧ符号化された差分情報を記録する手段とを備えるようにした。
【００２０】
これらの構成により、記録(撮影)した日付や時間，撮影したカメラの番号及び撮影場所といった付加情報を映像に合成して記録することで，検索，管理，再生を視覚的にも容易にし，また，元の映像を，証拠能力を失うことなく再現できる監視システムを提供することができる。
【００２１】
また，該映像の各フレーム(あるいはフィールド)画面の内容が改ざんされた場合に，改ざんされたことが検出可能な，証拠能力の高い映像を記録する監視システムを提供することができる。
【００２２】
さらに，改ざんされたことを自動的に検出可能な監視システムを提供することができる。
【００２３】
また，記録(撮影)した日付や時間，撮影したカメラの番号及び撮影場所といった映像に合成に記録する付加情報が多い場合にも，記録されるデータ量を最小限にすることで，記録時間を減少させないことを可能とする監視システムを提供することができる。
【００２４】
【発明の実施の形態】
本発明の実施形態を図面を参照して説明する。
【００２５】
図１は実施形態のディジタル監視システムを適応しうるディジタル記録可能な監視装置のハードウェア構成図である。
【００２６】
図１に示すように，監視装置２０は，ＣＰＵ１と，主記憶２と，記録装置３と，入力装置４と，Ａ／Ｄ変換装置５と，フレームスイッチャ６と，少なくとも１台の監視カメラ７と，圧縮／伸張装置８と，Ｄ／Ａ変換装置９と，モニタ１０とを有して構成される。フレームスイッチャ６と監視カメラ７とモニタ１０以外の各構成要素は，バス１１によって接続され，各構成要素間で必要な情報が伝送可能なように構成されている。
【００２７】
また，少なくとも１台の監視カメラ７はフレームスイッチャ６に，フレームスイッチャ６はＡ／Ｄ変換装置５にそれぞれ接続され，必要な情報が伝送可能なように構成されている。また，モニタ１０はＤ／Ａ変換装置９に接続され，必要な情報が伝送可能なように構成されている。
【００２８】
ＣＰＵ１は，主記憶２や記録装置３に，あらかじめ格納されているプログラムによって所定の動作を行う。
【００２９】
主記憶２は，ワークエリアとして機能したり，必要なプログラムを格納するための手段であり，例えば，前者に対してはＲＡＭ，後者に対してはＲＯＭなどによって実現できる。
【００３０】
記録装置３は，監視装置２０の動作を制御するためのプログラムを保存したり，監視カメラで撮影される映像と該映像に付随する付加情報(撮影した日付や時間，カメラ番号，撮影場所など)を記録，保存したりするための手段であり，例えば，ハードディスク，ＭＯ，ＤＶＤ−ＲＡＭなどによって実現できる。
【００３１】
入力装置４は，必要な命令や情報を入力するための手段であり，例えば，キーボード，コントローラパッドや，マウスなどのポインティングデバイスなどによって実現できる。
【００３２】
Ａ／Ｄ変換装置５は，フレームスイッチャ６から入力されるアナログの映像データをディジタル化するための手段である。Ａ／Ｄ変換装置５は圧縮／伸張装置８に接続され，Ａ／Ｄ変換装置５でディジタル化された映像データを直接圧縮／伸張装置８に伝送することができる。また，Ａ／Ｄ変換装置５でディジタル化された映像データをバス１１を介して圧縮／伸張装置８に伝送可能なように構成してもよく，この場合には，Ａ／Ｄ変換装置５と圧縮／伸張装置８とを接続しなくてもよい。
【００３３】
Ａ／Ｄ変換装置５に入力されるアナログの映像データの垂直帰線期間には入力された映像データを撮影したカメラ番号が含まれており，Ａ／Ｄ変換装置５は該映像データをディジタル化した後，画像データ部分を圧縮／伸張装置８に転送し，垂直帰線期間中に含まれるカメラ番号を示すデータを主記憶２へ転送する。
【００３４】
フレームスイッチャ６は，フレームスイッチャ６に接続される少なくとも１台の監視カメラ７からの映像をフレーム(あるいはフィールド)ごとに切り替えてＡ／Ｄ変換装置５に出力するための手段であり，例えば，「ＣＣＴＶ監視システム基礎講座」，Ｐ９０〜Ｐ９１，高橋正明著，産業開発機構株式会社発行に記載されているようなフレームスイッチャが適用可能である。また，監視システムの用途や構成に応じて，１台の監視カメラ７をＡ／Ｄ変換装置５に直接接続するようにしてもよく，この場合には，フレームスイッチャ６は必要ない。
【００３５】
監視カメラ７は，アナログの映像を取り込む手段であり，例えば，ＣＣＤカメラなどで実現できる。また，他のカメラとの同期を取るための手段を有しており，少なくとも２台の監視カメラ７をフレームスイッチャ６に接続する場合に，フレームスイッチャ６が，各監視カメラからの映像をフレーム(あるいはフィールド)ごとに切り替えてＡ／Ｄ変換装置５に出力できるようになっている
圧縮／伸張装置８は，Ａ／Ｄ変換装置５にてディジタル化された映像データを圧縮(符号化)したり，さらに，圧縮された映像データを伸張(復号化)するための手段であり，圧縮・伸張方式はＪＰＥＧやＭＰＥＧなどが適用可能である。圧縮／伸張装置８にて圧縮された映像データはバス１１を介して主記憶２または記録装置３へ転送される。さらに，圧縮された映像データを再生しモニタ１０を用いて表示する場合には，主記憶２または記録装置３から圧縮された映像データがバス１１を介して圧縮／伸張装置８にて転送され，圧縮／伸張装置８にて伸張された映像データはＤ／Ａ変換装置９に転送される。
【００３６】
また，ＪＰＥＧやＭＰＥＧなどの圧縮・伸張処理をＣＰＵ１を用いてソフトウェア処理してもよく，この場合には，図１の構成から圧縮／伸張装置８を削除してもよい。ソフトウェアによる圧縮・伸張処理の場合には，Ａ／Ｄ変換装置５でディジタル化された映像データ(垂直帰線期間中に含まれるカメラ番号を示すデータも含む)はバス１１を介して主記憶２に転送され，ソフトウェアによって圧縮される。さらに，ソフトウェアによって伸張された映像データはバス１１を介してＤ／Ａ変換装置９に転送される。
【００３７】
Ｄ／Ａ変換装置９は，圧縮／伸張装置８で伸張されたディジタル映像データをアナログ化するための手段である。Ｄ／Ａ変換装置９は圧縮／伸張装置８に接続され，圧縮／伸張装置８で伸張された映像データを直接Ｄ／Ａ変換装置９に伝送することができる。また，圧縮／伸張装置８で伸張された映像データをバス１１を介してＤ／Ａ変換装置９に伝送可能なように構成してもよく，この場合には，Ｄ／Ａ変換装置９と圧縮／伸張装置８とを接続しなくてもよい。
【００３８】
モニタ１０は，Ｄ／Ａ変換装置９にてアナログ化された映像データを表示するための手段であり，ＴＶモニタ，ＮＴＳＣモニタなどによって実現できる。
【００３９】
監視装置２０を構成する各要素のうち，データやプログラムの入出力と直接関係がない装置がある場合には，その装置を図１の構成からはずすことができる。また，監視装置２０にて記録された映像データは監視装置２０とは異なる別の装置で再生することも可能である。監視装置２０にて記録された映像データを再生可能な監視映像再生装置３０は，図２に示すような装置例によって実現される。図２において，図１と同符号のものは前記した説明と同じである。
【００４０】
伸張装置１２は圧縮／伸張装置８の伸張部で構成される手段であるが，伸張装置１２に代わって圧縮／伸張装置８をそのまま適用しても構わない。さらに，伸張装置１２で伸張された映像データをバス１１を介してＤ／Ａ変換装置９に伝送可能なように構成してもよく，この場合には，Ｄ／Ａ変換装置９と伸張装置１２とを接続しなくてもよい。
【００４１】
また，ＪＰＥＧやＭＰＥＧなどの伸張処理をＣＰＵ１を用いてソフトウェア処理してもよく，この場合には，図２の構成から伸張装置１２を削除してもよい。ソフトウェアによる伸張処理の場合には，ソフトウェアによって伸張された映像データはバス１１を介してＤ／Ａ変換装置９に転送される。
【００４２】
図１における監視装置２０にて記録された映像データは記録装置３にて保存される。記録装置３がＭＯやＤＶＤ−ＲＡＭといったリムーバブルディスク装置で構成されるならば，図２の監視映像再生装置３０における記録装置３も同様にリムーバブルディスク装置で構成され，監視装置２０にて記録された映像データは，該リムーバブルディスクを介して監視映像再生装置３０における記録装置３に格納される。また，図１の記録装置がハードディスクなどの固定式ディスク装置で構成されるならば，監視装置２０及び監視映像再生装置３０は，それぞれバス１１に接続される通信制御装置を有し，監視装置２０の通信制御装置と監視映像再生装置３０の通信制御装置とは電話線やＬＡＮなどの通信網を介して接続されるように構成し，監視装置２０で圧縮された映像データは該通信網を介して監視映像再生装置３０に転送され，監視映像再生装置３０における記録装置３に格納される。
【００４３】
このように，１台あるいは複数台の監視装置２０と１台あるいは複数台の監視映像再生装置３０から監視システムを構成することが可能である。しかし，監視装置２０は，圧縮伸長が可能なように構成しているため，１台あるいは複数台の監視装置２０だけでもシステムを構築することも可能である。
【００４４】
次に，上記監視装置２０上で動作するプログラムで実現される映像データの記録再生方式について詳しく説明する。上記プログラムは，主記憶２や記録装置３に格納されており，何らかの事象，例えば，入力装置４を使用して入力されるユーザからの指示や電源投入時などを契機に，ＣＰＵ１が実行することによって実現される。
【００４５】
まず，少なくとも１台の監視カメラ７で撮影された映像データを記録装置３に保存する記録方式の第一の実施形態について説明する。本第一の実施形態の圧縮／伸張装置８における圧縮・伸張方式の例としてＪＰＥＧを用いて説明する
本第一の実施形態では，少なくとも１台の監視カメラ７からフレームスイッチャ６を通して映像データがＡ／Ｄ変換装置５に入力される。例えば，監視カメラ７から入力されるデータがＮＴＳＣ形式の映像データであれば，Ａ／Ｄ変換装置５はＮＴＳＣ形式の映像データをデコードしてディジタル化する。該ディジタル化された映像データは，圧縮／伸張装置８に転送されＪＰＥＧに符号化される。ここで，監視カメラ７から入力されるデータがＮＴＳＣ形式の映像データであれば，圧縮／伸張装置８には１秒間に約３０フレーム(６０フィールド)の映像データが入力されることになる。圧縮／伸張装置８はあらかじめ定められたフレームレートにしたがって映像データをＪＰＥＧに符号化する。例えば，１台の監視カメラ７がＡ／Ｄ変換装置５に直接接続されており，1秒間に１フレーム分の画像をＪＰＥＧ符号化するよう指定されているならば，1秒間に入力される３０フレームの映像データ(３０フレーム分のフレーム画像列)から１フレームを抽出し，ＪＰＥＧに符号化する。
【００４６】
また，例えば，図３(ａ)に示すように，４台の監視カメラ７a〜７ｄがフレームスイッチャ６に接続されているならば，フレームスイッチャ６から出力される映像データは図３(ｂ)に示す通りとなる(フレーム画像ａ１とａ３との時間差は８／３０秒)。したがって，圧縮／伸張装置８は，1秒間に１フレーム分の画像をＪＰＥＧ符号化するよう指定されているならば，1秒間に入力される３０フレームの映像データから，監視カメラ７a〜７ｄで撮影された画像をそれぞれ１フレーム分，例えば，フレーム画像ａ１,ｂ１,ｃ１,ｄ１の計４フレームを抽出してＪＰＥＧに符号化することになる。
【００４７】
さらに，圧縮／伸張装置８は，入力される約３０フレーム／秒の映像データをＪＰＥＧ符号化するのと同時に，ＪＰＥＧ符号化する前の入力されたままの映像データをＤ／Ａ変換装置９に転送するよう構成してもよく，これにより，監視カメラ7において撮影された映像データをモニタ１０に表示することができ，リアルタイムでの監視映像の閲覧が可能となる。
【００４８】
圧縮／伸張装置８において行われるＪＰＥＧ符号化の処理を図４のフローチャートを用いて説明する。
【００４９】
図４に示すように，まず，1秒間に入力される３０フレームの映像データ(３０フレーム分のフレーム画像列)から１フレームを抽出し(ステップ１０１)，該１フレーム分の画像データを８×８の画素ブロックに分割する(ステップ１０２)。例えば，該画像データのイメージサイズ(解像度)が６４０×４８０であるならば，該画像データは横８０ブロック，縦６０ブロックに分割される。
【００５０】
次に，分割した画素ブロック毎にＤＣＴ(Discrete Cosine Transform：離散的コサイン変換)を行う(ステップ１０３)。ＤＣＴとは直行変換の一種である。以下，そのＤＣＴを施したブロックをＤＣＴ係数ブロックと呼ぶこととする。ＤＣＴ係数ブロックは画素ブロックと同様に８×８で構成される。
【００５１】
次に，ＤＣＴ係数ブロック毎に量子化テーブルを用いて量子化を行う(ステップ１０４)。量子化テーブルには，任意の量子化値の８×８で構成されるブロックを用いる。量子化は，ＤＣＴ係数ブロックを構成するＤＣＴ係数を，量子化テーブルに対応する量子化値で除算することで実現される。以下，このＤＣＴ係数ブロックを量子化したブロックを量子化ＤＣＴ係数ブロックと呼ぶとする。
【００５２】
次に，量子化ＤＣＴ係数ブロックをエントロピー符号化の一種であるハフマン符号化を行う(ステップ１０５)。ハフマン符号化では８×８の２次元ブロックを１次元のデータとして扱い，０のランレングスと符号化する値の大きさを示すカテゴリの組み合わせにハフマン符号を割り当ててハフマン符号化する。このハフマン符号化後のデータがＪＰＥＧデータとなる。ＪＰＥＧデータは，このハフマン符号化したデータの他に，符号化した画像データの縦横の画素数(画像のイメージサイズ)などの画像データ情報や符号化したときに用いた量子化テーブルとハフマンテーブルが含まれる。
【００５３】
そして最後に，符号化されたＪＰＥＧデータを主記憶２へ転送し(ステップ１０６)，処理を終了する。
【００５４】
次に，圧縮／伸張装置８において符号化されたＪＰＥＧデータに付加情報を合成する方式について説明する。本実施形態では，付加情報として撮影日時，撮影したカメラ番号，撮影したカメラの設置場所(撮影場所)を取り上げるが，ＪＰＥＧデータに合成可能な付加情報はこの限りではない。
【００５５】
上述したように，撮影したカメラ番号を示すデータは，Ａ／Ｄ変換装置５から主記憶２へ転送される。また，カメラの設置場所はあらかじめ決められているため，撮影したカメラの設置場所を示すデータは主記憶２あるいは記録装置３に格納されている。さらに，上記監視装置にはクロックが内蔵されており，撮影日時を示すデータは該クロックから得ることができる。
【００５６】
圧縮／伸張装置８において符号化されたＪＰＥＧデータに付加情報を合成する処理を図５のフローチャートを用いて説明する。
【００５７】
図５に示すように，まず主記憶２に転送された垂直帰線期間中に含まれるカメラ番号を示すデータを抽出してデコードする(ステップ２０１)。さらに，ステップ２０１において得られたカメラ番号に対応するカメラの設置場所を示すデータを主記憶２あるいは記録装置３から取得し，上記クロックから現在の日時を取得する(ステップ２０２)。次に，圧縮／伸張装置８において図４の処理によりＪＰＥＧ符号化された画像データのイメージサイズと同等あるいはそれよりも小さいイメージサイズを持つビットマップを作成し，該ビットマップの任意の位置に上記撮影日時及び上記カメラ番号，上記撮影場所を示す文字列を描画する(ステップ２０３)。このときの上記ビットマップのイメージ例を図６に示す。
【００５８】
図６において，ビットマップ上には撮影日時を示す文字列(“９９／４／２ １：０２：３０”)及びカメラ番号を示す文字列(“カメラ番号：１”)，撮影場所を示す文字列(“場所：会議室”)がそれぞれ表示されている。
【００５９】
さて，図５に戻り，続いて圧縮／伸張装置８において図４の処理によりＪＰＥＧ符号化されたＪＰＥＧデータに上記ビットマップを合成する処理を行うが，これは特開平１０―１０８１８０号公報に開示されている方式を用いて行うことができる。
【００６０】
つまり，ステップ２０３で得られたビットマップを図４におけるステップ１０２〜１０４の処理を施して量子化ＤＣＴ係数ブロック群を作成する(ステップ２０４)。ステップ２０４の処理は圧縮／伸張装置８で行ってもＣＰＵ１を使用してソフトウェアで行ってもよい。次に，圧縮／伸張装置８において図４の処理によりＪＰＥＧ符号化されたＪＰＥＧデータをハフマン復号化することにより，量子化ＤＣＴ係数ブロック群を抽出する(ステップ２０５)。さらに，該量子化ＤＣＴ係数ブロック群とステップ２０４にて得られた付加情報の量子化ＤＣＴ係数ブロック群とを加算し(ステップ２０６)，加算後の量子化ＤＣＴ係数ブロック群をハフマン符号化する(ステップ２０７)。そして最後に，ステップ２０４で得られた量子化ＤＣＴ係数ブロック群をハフマン符号化し(ステップ２０８)，その結果(ＪＰＥＧデータ)をステップ２０７で得られたＪＰＥＧデータのヘッダ部に格納し(ステップ２０９)，処理を終了する。ここで，ステップ２０８において生成されたＪＰＥＧデータを付加情報用ＪＰＥＧデータ，ステップ２０９において生成されたＪＰＥＧデータを画像表示用ＪＰＥＧデータとそれぞれ呼ぶことする。そして，画像表示用ＪＰＥＧデータは監視装置２０の記録装置３に保存されることになる。
【００６１】
なお，圧縮／伸張装置８の処理をソフトウェアで行なう場合には，画像データの符号化と付加情報の符号化とを同時に行なってもよい。
【００６２】
次に，付加情報が合成されてＪＰＥＧ符号化され監視装置２０あるいは監視映像再生装置３０の記録装置３に保存されている画像表示用ＪＰＥＧデータの再生(復号化)方式について説明する。
【００６３】
まず，上記画像表示用ＪＰＥＧデータの復号化処理を図７のフローチャートを用いて説明する。
【００６４】
図７に示すように，まず再生したい画像表示用ＪＰＥＧデータを記録装置３から読み出し，該画像表示用ＪＰＥＧデータのヘッダ部に付加情報用ＪＰＥＧデータが存在するかどうかを検出し(ステップ３０１)，該画像表示用ＪＰＥＧデータに付加情報が合成されているならば，該画像表示用ＪＥＰＧデータをハフマン復号化して量子化ＤＣＴ係数ブロック群に復号する(ステップ３０２)。次に，付加情報を含めた画像表示モードかどうかを判定する(ステップ３０３)。上記表示モードは，あらかじめ入力装置４などかユーザにより指定されているものとする。ステップ３０３において，付加情報を含めた表示モードでない場合には，画像表示用ＪＰＥＧデータのヘッダ部から付加情報用ＪＰＥＧデータを抽出し，該付加情報用ＪＰＥＧデータをハフマン復号化して量子化ＤＣＴ係数ブロック群に復号する(ステップ３０４)。そして，上記画像表示用ＪＥＰＧデータから導き出した量子化ＤＣＴ係数ブロック群から，付加情報用ＪＰＥＧデータから導き出した量子化ＤＣＴ係数ブロック群同士を減算する(ステップ３０５)。
【００６５】
また，ステップ３０３において，付加情報を含めた表示モードである場合には，ステップ３０４及びステップ３０５の処理はスキップされる。
【００６６】
次に，ステップ３０２あるいはステップ３０５において導き出された量子化ＤＣＴ係数ブロック群を逆量子化してＤＣＴ係数ブロック群に復号し(ステップ３０６)，該ＤＣＴ係数ブロック群に対してＩＤＣＴ(Inverse DCT：逆ＤＣＴ)を行って８×８の画素ブロックに戻す(ステップ３０７)。そして，復号された８×８画素ブロックを再構成する（ステップ３０８）ことによって画像データを復号できる。
【００６７】
上述のステップ３０２及びステップ３０４及びステップ３０６〜ステップ３０８の処理は，監視装置２０における圧縮／伸張装置８あるいは監視映像再生装置３０における伸張装置１２で行ってもＣＰＵ１を使用してソフトウェアで行ってもよい。
【００６８】
図７のフローチャートで示した処理を行って再生(復号化)された画像表示用ＪＰＥＧデータは，Ｄ／Ａ変換装置９に転送されてアナログ化された後，モニタ１０にて表示される。次に，このときのモニタ１０に表示される画像表示例を示す。
【００６９】
図８は，図７におけるステップ３０３において，付加情報を含めた表示モードである場合の画像表示例を示す。図８では，監視カメラ７で撮影された画像に図６で示した付加情報が合成されて表示されている。このような画像は，撮影された画像とともに該画像に付随する撮影日時及びカメラ番号，撮影場所などの付加情報も同時に表示することができ，モニタ１０上で必要な画像を検索するのに非常に有効である。
【００７０】
図９は，図７におけるステップ３０３において，付加情報を含めた表示モードでない（すなわち，付加情報を表示しないモード）場合の画像表示例を示す。図９では，監視カメラ７で撮影された画像がモニタ１０上に表示されており，該画像に付随する撮影日時及びカメラ番号，撮影場所などの付加情報は表示されていない。このような画像は，画像の内容を解析するためなどに用いられる。つまり，画像に付随する撮影日時及びカメラ番号，撮影場所などの付加情報が同時に表示されていると，モニタ１０上では付加情報が画像に重なって表示されるためその部分の画像情報が失われてしまうからである。
【００７１】
第一の実施形態における付加情報を合成しての画像データの記録方式では，ＪＰＥＧデータに符号化する前の非圧縮の画像データに付加情報を合成するのではなく，ＪＰＥＧデータを符号化する過程に現れる量子化ＤＣＴ係数ブロックに対して付加情報の合成処理が行われるため，図９に示すような付加情報を表示しない画像表示においても，元の画像の画質を劣化させることなく表示することが可能となる。
【００７２】
さらに，本第一の実施形態では，付加情報として，撮影日時及びカメラ番号，撮影場所の３つの情報を取り上げたが，画像の検索を容易にするために，さらに多くの付加情報を合成することも考えられる。しかしながら，合成する情報が多くなればなるほど，画像に対して付加情報の占める割合が大きくなり，画像表示用ＪＰＥＧデータを付加情報を含めた表示モードで再生する場合には，再生された画像のほとんどが付加情報に隠されてしまう。本第一の実施形態のように，画質の劣化なく付加情報を取り除いての表示が可能であれば，画像の検索や解析に対して非常に有効な手段となる。
【００７３】
また，本第一の実施形態の方式で記録されるＪＰＥＧデータは，国際標準化されたアルゴリズムにしたがって符号化されたものである。つまり，一般的に市場に流通しているＪＰＥＧデコーダでも再生可能である(図７におけるステップ３０２及びステップ３０６〜ステップ３０８の処理が行われる)。しかしながら，このような一般的に市場に流通しているＪＰＥＧデコーダは，付加情報を取り除いて復号化する手段を持っていないので，該ＪＰＥＧデコーダで再生した画像は，必ず付加情報が合成されて表示されることになる。
【００７４】
上述した第一の実施形態では，任意の時点に撮影された１枚のフレーム画像を記録再生する方式を示した。しかしながら，通常，防犯目的の監視システムは，１日２４時間，監視カメラからの映像を記録し続けている。つまり，１台の監視カメラが接続された監視装置２０においては，1秒間に１フレーム分の画像をＪＰＥＧ符号化するよう指定されているならば，２４時間で８６４００フレーム分の画像をＪＰＥＧ符号化することになる。上述した第一の実施形態では，合成する付加情報をＪＰＥＧ符号化(ＪＰＥＧデータに)してＪＰＥＧ符号化された画像のＪＰＥＧデータのヘッダ部に格納するため，少なからずとも記録装置３の記録容量を圧迫することになる。
【００７５】
第二の実施形態では，記録装置３に記録されるデータ量を最小限にして記録する方式につて説明する。
【００７６】
1秒間に１フレーム分の画像をＪＰＥＧ符号化するよう指定されているならば，２４時間中に記録される８６４００フレーム分の画像に合成される付加情報は非常に強い相関を有している。例えば，ある任意の２秒間に記録される２フレーム分の画像は図１０に示すとおりとなる。最初の１秒間に記録される画像が(ａ)，次の１秒間に記録される画像が(ｂ)である。図９に示すとおり，(ａ)の画像が記録(撮影)される日時は９９年４月２日，１時２分３０秒であり，(ｂ)の画像が記録(撮影)される日時は９９年４月２日，１時２分３１秒である。また，(ａ)と(ｂ)の画像はともに同じ監視カメラからの画像であるため，カメラ番号と撮影場所を示す文字列は一致している。つまり，(ａ)の画像と(ｂ)の画像に合成される付加情報(を示す文字列)は，３０秒の“０”と３１秒の“１”の違いである。したがって，(ｂ)の画像をＪＰＥＧ符号化する際，(ｂ)の画像に合成する付加情報として，(ａ)の画像に合成する付加情報との差分を(ｂ)の画像から作成されるＪＰＥＧデータのヘッダ部に格納することによって，該ＪＰＥＧデータのデータ量を減らすことが可能となる。
【００７７】
次に，第二の実施形態における付加情報の合成処理を図１１のフローチャートを用いて説明する。
【００７８】
図１１に示すように，まず主記憶２に転送された垂直帰線期間中に含まれるカメラ番号を示すデータを抽出してデコードする(ステップ４０１)。さらに，ステップ４０１において得られたカメラ番号に対応するカメラの設置場所を示すデータを主記憶２あるいは記録装置３から取得し，上記クロックから現在の日時を取得する(ステップ４０２)。次に，圧縮／伸張装置８において図４の処理によりＪＰＥＧ符号化された画像データのイメージサイズと同等あるいはそれよりも小さいイメージサイズを持つビットマップを作成し，該ビットマップの任意の位置に上記撮影日時及び上記カメラ番号，上記撮影場所を示す文字列を描画する(ステップ４０３)。次に，該ビットマップと，直前に記録した画像の付加情報を示すビットマップとの差違を算出する(ステップ４０４)。このときの処理方法を図１２を用いて説明する。
【００７９】
図１２は，ステップ４０３において作成されたビットマップを示す(ただし，付加情報を示す文字列は省略してある)。該ビットマップのイメージサイズを，横３２画素，縦１６画素とすると，該ビットマップを８×８の画素ブロックに分割すると，ブロック番号が１〜８の８つのブロックに分割される。ステップ４０４０の処理は，このブロック単位で比較される。
【００８０】
さて，図１１に戻り，次に，ステップ２０３で得られたビットマップを図４におけるステップ１０２〜１０４の処理を施して量子化ＤＣＴ係数ブロック群を作成する(ステップ４０５)。ここで，ステップ４０５の処理は圧縮／伸張装置８で行ってもＣＰＵ１を使用してソフトウェアで行ってもよい。
【００８１】
次に，圧縮／伸張装置８において図４の処理によりＪＰＥＧ符号化されたＪＰＥＧデータをハフマン復号化することにより，量子化ＤＣＴ係数ブロック群を抽出する(ステップ４０６)。さらに，該量子化ＤＣＴ係数ブロック群とステップ４０５にて得られた付加情報の量子化ＤＣＴ係数ブロック群とを加算し(ステップ４０７)，加算後の量子化ＤＣＴ係数ブロック群をハフマン符号化する(ステップ４０８)。次に，ステップ４０４で算出された，直前に記録された画像の付加情報を示すビットマップとの差違があるブロックの量子化ＤＣＴ係数ブロック群をハフマン符号化する(ステップ４０９)。上記の例では，ブロック番号が８のブロックに対応する量子化ＤＣＴ係数ブロックがハフマン符号化されることになる。そして最後に，ステップ４０９において得られた付加情報用ＪＰＥＧデータを，ステップ４０８で得られた画像表示用ＪＰＥＧデータのヘッダ部に格納し(ステップ４１０)，処理を終了する。
【００８２】
以上のように，第二の実施形態では，例えば上述した例では，付加情報用ＪＰＥＧデータは１つの８×８の画素ブロックが符号化されて作られることになる。上記第一の実施形態では，８つすべての８×８の画素ブロックが符号化されて作られることになるため，画像表示用ＪＰＥＧデータのヘッダ部に格納されるデータ量は１／８となり，記録されるデータ量を最小限することが可能となる。
【００８３】
なお，複数のカメラ画像を記録しているときには，上記ステップ４０１で取得したカメラ番号を用いて，付加情報の差分をカメラ毎に管理すればよい。
【００８４】
また，上記第一の実施形態における記録方式によって付加情報が合成され記録されたＪＰＥＧデータは，該ＪＰＥＧデータで正常に再生可能である。したがって，第二の実施形態において，数〜数十フレーム毎に上記第一の実施形態における記録方式によって記録すれば，数〜数十フレーム毎にランダム検索ができるようになる。
【００８５】
上記第二の実施形態における記録方式で記録されたＪＰＥＧデータは，図７に示したフローチャートを用いて同様に復号化することができる。ただし，ステップ３０４とステップ３０５の処理の間に，以下に示す処理を挿入する必要がある。
【００８６】
まず，直前に記録されたＪＰＥＧデータの復号化に使われた付加情報用ＪＰＥＧデータの量子化ＤＣＴ係数ブロック群を取得し，ステップ３０４で得られた量子化ＤＣＴ係数ブロック群に置き換える。この置き換えられた量子化ＤＣＴ係数ブロック群を用いてステップ３０５の処理を行うことになる。
【００８７】
例えば，図１３は，時間的に連続する３つのフレーム画像に合成する付加情報を示すビットマップである(図１１におけるステップ４０３の処理において作成されたもので，付加情報を示す文字列は省略してある)。(ａ)(ｂ)(ｃ)の順で時間が経過しているものとする。また，(ａ)のビットマップと(ｂ)のビットマップとの差違は，４ａブロックと４ｂブロックであり，(ｂ)のビットマップと(ｃ)のビットマップとの差違は，８ｂブロックと８ｃブロックであるとする。さらに，(ａ)のビットマップが合成される画像は上記第一の実施形態における記録方式で記録され，(ｂ)のビットマップが合成される画像及び(ｃ)のビットマップが合成される画像は上記第二の実施形態における記録方式で記録されるものとする。
【００８８】
これらの画像の再生時には，(ａ)のビットマップが合成され記録されたＪＰＥＧデータは，１ａ〜８ａのブロックからなる付加情報用ＪＰＥＧデータを用いて復号化される。(ｂ)のビットマップが合成され記録されたＪＰＥＧデータは，１ａ，２ａ，３ａ，４ｂ，５ａ，６ａ，７ａ，８ａのブロックからなる付加情報用ＪＰＥＧデータを用いて復号化される。４ｂのブロックからなる付加情報用ＪＰＥＧデータは，(ｂ)のビットマップが合成される画像が符号化された画像表示用ＪＰＥＧデータのヘッダ部から取得される。また，(ｃ)のビットマップが合成され記録されたＪＰＥＧデータは，１ａ，２ａ，３ａ，４ｂ，５ａ，６ａ，７ａ，８ｃのブロックからなる付加情報用ＪＰＥＧデータを用いて復号化される。８ｃのブロックからなる付加情報用ＪＰＥＧデータは，(ｃ)のビットマップが合成される画像が符号化された画像表示用ＪＰＥＧデータのヘッダ部から取得される。
【００８９】
次に，上述した第一，第二の実施形態において，記録されたＪＰＥＧデータ(付加情報を含む)が改ざんされたかどうかを検出する方法について説明する。
【００９０】
上記実施形態によれば，ＪＰＥＧデータのヘッダ部には合成した付加情報に関する情報が格納されている。一般的に市場に流通しているＪＰＥＧエンコーダ及びデコーダ（各々ハードウェア処理，ソフトウェア処理を問わない））が改ざんに使われた場合について説明する。
【００９１】
本発明を用いて記録したＪＰＥＧデータから画像を復号化し，修正(改ざん)して再び符号化した場合は，記録したＪＰＥＧデータのヘッダ部には合成した付加情報に関する情報が格納されているが，上記付加情報を認識しないＪＰＥＧエンコーダ及びデコーダを用いて，画像を修正後再びＪＰＥＧ符号化を行うと，復号化前には存在した上記付加情報が消失してしまい，合成した付加情報を分離（あるいは抽出）することが不可能となる。したがって，図7のフローチャートにおける，付加情報を表示しないモードの場合にも付加情報が分離されず，図8に示すような画像が表示されることになる。
【００９２】
また，使用するＪＰＥＧエンコーダ及びデコーダが，復号化したときのＪＰＥＧヘッダ部に格納されている情報を保持して符号化する機能を備えていた場合，改ざんされた個所が付加情報を合成した部分であるならば，図7のフローチャートにおける，付加情報を表示しないモードの場合にもきれいに付加情報が分離されず，図１４に示すように，合成されていた付加情報の部分の表示がきれいに行われず，ゴミ（ノイズ）が残るようになる。したがって，ゴミ（ノイズ）の検出によって，記録されたＪＰＥＧデータが改ざんされたかどうかを判断することが可能となる。
【００９３】
上記の改ざん検出方法は，記録されたＪＰＥＧデータを復号化した後，目視判断をするものであった。また，付加情報が合成されていない部分が改ざんされている場合には改ざん検出ができない。
【００９４】
そこで，証拠能力の高い記録(監視)画像を保持するために，確実に改ざん検出を可能とする第三の実施形態について説明する。
【００９５】
図１に示す監視装置２０において，Ａ／Ｄ変換装置５が，映像データの垂直帰線期間中に含まれるカメラ番号を示すデータだけでなく，(非圧縮の)画像データ部分も主記憶２へ転送可能なように構成する。そして，該画像データに対して動体検出を行う手段を設ける。具体的には，ＣＰＵ１によって実行されるプログラムによって実現する。動体検出は，例えば，同一のカメラから異なる時刻に出力された２つの画像の各画素間の差分を算出することで行うことができる。該差分があらかじめ決められた値より大きい場合には，該差分を導き出した画素あるいは該画素を含む任意の大きさのブロックが動体部分であると判断する。そして，検出された動体部分に，第一の実施形態において説明した付加情報を合成する方法(図５のフローチャートにおけるステップ２０２〜ステップ２０９)と同様に任意の情報を合成する。本実施形態は改ざん防止が目的であるため，合成する情報はカメラ番号や日付けなどの意味のある情報でなくてもよく，例えば，ハーフトーンのビットマップを合成してもよい。もし，Ａ／Ｄ変換装置５から主記憶２に転送される画像データが図9に示す画像であって，さらに該画像の左側に見える人間が動体と検出されたならば，図１５に示すように復号化されるＪＰＥＧデータを生成する。通常，改ざんされる可能性があるのは動体部分である可能性が大きいため，動体部分に付加情報を合成する方法は非常に有効である。
【００９６】
次に，目視で改ざん検出するのではなく，自動的に検出する方式について説明する。
【００９７】
本方式では，記録する画像をＪＰＥＧに符号化する際，符号化する画像の特徴値を算出し，その結果をＪＰＥＧデータのヘッダ部に格納する。特徴値としては例えば，量子化ＤＣＴ係数ブロック群のチェックサムがある。また，ハッシュ関数など一方向性関数を用いて特徴値を算出しても良い。上記チェックサムを用いる例について以下説明する。
【００９８】
本方式の処理フローチャートを図１６に示す。ステップ５０１〜ステップ５０６の処理は，図５におけるフローチャートのステップ２０１〜ステップ２０６の処理とそれぞれ同様である。
【００９９】
ステップ５０１〜ステップ５０６の処理が順次実行された結果得られた１つ以上の量子化ＤＣＴ係数ブロックのチェックサムを算出する(ステップ５０７)。そして，ステップ５０６で得られた量子化ＤＣＴ係数ブロックをハフマン符号化し(ステップ５０８)，さらに，付加情報ビットマップの量子化ＤＣＴ係数ブロックをハフマン符号化する(ステップ５０９)。最後に，ステップ５０８で得られたＪＰＥＧデータのヘッダ部に，ステップ５０９で得られたＪＰＥＧデータ及びステップ５０７で得られたチェックサムを格納して(ステップ５１０)，処理を終了する。
【０１００】
改ざんを自動的に検出する処理フローチャートを図１７に示す。
まず，再生したい画像表示用ＪＰＥＧデータを記録装置３から読み出し(ステップ６０１)，該画像表示用ＪＰＥＧデータのヘッダ部にチェックサムを表わすデータが存在するかどうかを検出する(ステップ６０２)。チェックサムを表わすデータが存在するならば，該画像表示用ＪＰＥＧデータをハフマン符号化して量子化ＤＣＴ係数ブロック群に復号する(ステップ６０３)。次に，該量子化ＤＣＴ係数ブロック群のチェックサムを算出し(ステップ６０４)，上記ヘッダ部に格納されていたチェックサムを比較する(ステップ６０５)。チェックサムが一致するならば，ＪＰＥＧデータは改ざんされていないと判断する。
【０１０１】
ステップ６０２においてＪＰＥＧデータのヘッダ部にチェックサムを表わすデータが存在していなかった場合，あるいは，ステップ６０５においてチェックサムが一致しなかった場合には，ＪＰＥＧデータに改ざんが行われたと判断して，警告音をならす，あるいは，警告表示をモニタ１０に表示するなど，明示的に，改ざんが行われていたことをユーザに知らせて(ステップ６０６)，処理を終了する。
【０１０２】
以上のように，図１６に示す処理で得られたＪＰＥＧデータに対して，復号化して得られた画像を改ざんして再び符号化した場合，チェックサムが元の値から変化する確率は非常に高いので，チェックサムを調べることによって自動的に改ざんが行われたことを，ほぼ確実に検出できる。改ざんして再び符号化したとき，元のチェックサムと一致する確率は，たとえばチェックサムを４バイトのデータとして表わすと，１／４０兆(４０兆分の１)と非常に低い。
【０１０３】
また，ステップ６０２においてＪＰＥＧデータのヘッダ部に格納されているはずのチェックサムを表わすデータが消失しているならば，他のＪＰＥＧエンコーダで符号化されたことになるので，チェックサムを算出するまでもなく，自動的に改ざんされたかどうかの検出ができる。
【０１０４】
このように，第三の実施形態では，記録されたＪＰＥＧデータが改ざんされたかどうかを容易にかつ自動的に検出することが可能であり，証拠能力の高い記録(監視)画像を保持する監視システムを提供できる。
【０１０５】
【発明の効果】
以上説明してきたように，本発明によれば，記録映像の証拠能力を失うことなく，検索，管理，再生を容易にした監視システムを提供することができる。
【０１０６】
また，記録(撮影)映像が改ざんされたことを検出可能な監視システムを提供することができる。
【図面の簡単な説明】
【図１】本実施形態の監視装置のハードウェア構成図である。
【図２】本実施形態の監視映像再生装置のハードウェア構成図である。
【図３】第一の実施形態の映像データフォーマットの説明図である。
【図４】第一の実施形態のＪＰＥＧ符号化の処理フローチャートを示す図である。
【図５】第一の実施形態の画像記録方法の処理フローチャートを示す図である。
【図６】第一の実施形態の付加情報合成方法の説明図である。
【図７】第一の実施形態の記録画像再生方法の処理フローチャートを示す図である。
【図８】第一の実施形態の記録画像の再生表示例を示す図である。
【図９】第一の実施形態の記録画像の再生表示例を示す図である。
【図１０】第二の実施形態の画像記録方法の説明図である。
【図１１】第二の実施形態の画像記録方法の処理フローチャートを示す図である。
【図１２】第二の実施形態の画像記録方法の説明図である。
【図１３】第二の実施形態の記録画像再生方法の説明図である。
【図１４】第一の実施形態の記録画像の再生表示例を示す図である。
【図１５】第三の実施形態の記録画像の再生表示例を示す図である。
【図１６】第三の実施形態の画像記録方法の処理フローチャートを示す図である。
【図１７】第三の実施形態の記録画像再生方法の処理フローチャートを示す図である。
【符号の説明】
１…ＣＰＵ，２…主記憶，３…記録装置，４…入力装置，５…Ａ／Ｄ変換装置，６…フレームスイッチャ，７…監視カメラ，８…圧縮／伸張装置，９…Ｄ／Ａ変換装置，１０…モニタ，１１…バス，１２…伸張装置
Claims (6)
- 監視カメラと、前記監視カメラで撮影した映像のフレーム画像をＪＰＥＧ符号化して記録する処理装置とからなる監視システムにおいて、
前記処理装置は、
前記画像に関連する付加情報を前記画像に挿入するイメージとしてビットマップに展開する手段と、
前記ビットマップをＪＰＥＧ符号化する手段と、
前記画像を符号化したＪＰＥＧデータに前記ビットマップイメージを符号化したＪＰＥＧデータを合成して１つのＪＰＥＧデータとする合成手段とを備え、
前記合成手段は、
前記画像を符号化したＪＰＥＧデータと前記ビットマップイメージを符号化したＪＰＥＧデータとを、離散コサイン(ＤＣＴ)変換された後、ハフマン符号化される前のデータ形式で合成し、
前記記録装置に記録されたＪＰＥＧデータのヘッダ部は、少なくとも前記ビットマップイメージを符号化したＪＰＥＧデータを含む、監視システム。 - 前記付加情報は、少なくとも前記画像が撮影された日時を含む、請求項１記載の監視システム。
- 前記処理装置は、前記ビットマップイメージを符号化したＪＰＥＧデータを取り除いて復号化する復号化手段を備える、請求項１又は２記載の監視システム。
- 前記処理装置は、前記画像を符号化したＪＰＥＧデータが改ざんされたかどうかを検出する手段を備える、請求項１乃至３記載の監視システム。
- 前記合成手段は、符号化する合成画像の特徴値を算出し、その結果を合成するＪＰＥＧデータのヘッダ部に格納する手段を備え、
前記改ざんを検出する手段は、復号化した画像の特徴値を求める手段と、前記ヘッダ部に格納された特徴値を比較して、改ざんを検出する、請求項４記載の監視システム。 - 前記処理装置は、
所定の時間間隔で、前記監視カメラで撮影した複数の映像のＪＰＥＧ符号化されたフレーム画像各々について、撮影時刻が古いフレーム画像に関連する付加情報のビットマップに対する、新しいフレーム画像に関連する付加情報のビットマップの差分情報を求める手段と、
前記差分情報をＪＰＥＧ符号化する手段と、
前記撮影時刻が新しいフレーム画像のＪＰＥＧデータのヘッダ部に前記ＪＰＥＧ符号化された前記差分情報を記録する手段とを備える、請求項１乃至５記載の監視システム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28242599A JP3772604B2 (ja) | 1999-10-04 | 1999-10-04 | 監視システム |
| US09/643,759 US6842540B1 (en) | 1999-10-04 | 2000-08-23 | Surveillance system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28242599A JP3772604B2 (ja) | 1999-10-04 | 1999-10-04 | 監視システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001111959A JP2001111959A (ja) | 2001-04-20 |
| JP3772604B2 true JP3772604B2 (ja) | 2006-05-10 |
Family
ID=17652251
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP28242599A Expired - Fee Related JP3772604B2 (ja) | 1999-10-04 | 1999-10-04 | 監視システム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6842540B1 (ja) |
| JP (1) | JP3772604B2 (ja) |
Families Citing this family (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7614086B2 (en) * | 2001-03-23 | 2009-11-03 | Nederlandse Organisatie Voor Toegepast-Natuurwetenschappelijk Onderzoek Tno | Monitoring apparatus, computer program and network for secure data storage |
| JP2003032524A (ja) * | 2001-07-16 | 2003-01-31 | Olympus Optical Co Ltd | 顕微鏡用デジタルカメラ |
| JP4191398B2 (ja) * | 2001-08-31 | 2008-12-03 | パナソニック株式会社 | 監視画像記録装置 |
| JP2003087772A (ja) * | 2001-09-10 | 2003-03-20 | Fujitsu Ltd | 画像制御装置 |
| JP3851149B2 (ja) * | 2001-11-22 | 2006-11-29 | 三洋電機株式会社 | 画像処理装置 |
| JP2003340124A (ja) * | 2002-05-30 | 2003-12-02 | Sankyo Kk | 遊技場における監視装置 |
| JP2004228711A (ja) * | 2003-01-20 | 2004-08-12 | Sony Corp | 監視装置及び方法、プログラム並びに監視システム |
| US20040186813A1 (en) * | 2003-02-26 | 2004-09-23 | Tedesco Daniel E. | Image analysis method and apparatus in a network that is structured with multiple layers and differentially weighted neurons |
| US7292723B2 (en) * | 2003-02-26 | 2007-11-06 | Walker Digital, Llc | System for image analysis in a network that is structured with multiple layers and differentially weighted neurons |
| JP4384891B2 (ja) * | 2003-10-20 | 2009-12-16 | オーチス エレベータ カンパニー | エレベータのカメラ映像配信装置 |
| US7663661B2 (en) * | 2004-03-16 | 2010-02-16 | 3Vr Security, Inc. | Feed-customized processing of multiple video streams in a pipeline architecture |
| US7672370B1 (en) | 2004-03-16 | 2010-03-02 | 3Vr Security, Inc. | Deep frame analysis of multiple video streams in a pipeline architecture |
| US7664183B2 (en) * | 2004-03-16 | 2010-02-16 | 3Vr Security, Inc. | Correlation processing among multiple analyzers of video streams at stages of a pipeline architecture |
| US7697026B2 (en) * | 2004-03-16 | 2010-04-13 | 3Vr Security, Inc. | Pipeline architecture for analyzing multiple video streams |
| JP2006174200A (ja) * | 2004-12-17 | 2006-06-29 | Dainippon Printing Co Ltd | 撮影情報管理システム及びその方法 |
| JP4847165B2 (ja) * | 2006-03-09 | 2011-12-28 | 株式会社日立製作所 | 映像記録再生方法及び映像記録再生装置 |
| US20070252895A1 (en) * | 2006-04-26 | 2007-11-01 | International Business Machines Corporation | Apparatus for monitor, storage and back editing, retrieving of digitally stored surveillance images |
| JP4993578B2 (ja) * | 2007-01-15 | 2012-08-08 | オリンパスイメージング株式会社 | 画像ファイル再生装置，画像ファイル加工編集装置 |
| CN102066225B (zh) * | 2008-08-27 | 2013-05-15 | 三菱电机株式会社 | 电梯监视装置 |
| US20100246669A1 (en) * | 2009-03-25 | 2010-09-30 | Syclipse Technologies, Inc. | System and method for bandwidth optimization in data transmission using a surveillance device |
| JP5428835B2 (ja) * | 2009-12-21 | 2014-02-26 | 富士通株式会社 | 署名装置、署名方法、および署名プログラム |
| US8488894B2 (en) * | 2010-11-12 | 2013-07-16 | Dynacomware Taiwan Inc. | Method and system for dot-matrix font data compression and decompression |
| US20130121422A1 (en) * | 2011-11-15 | 2013-05-16 | Alcatel-Lucent Usa Inc. | Method And Apparatus For Encoding/Decoding Data For Motion Detection In A Communication System |
| JP6428232B2 (ja) * | 2014-12-15 | 2018-11-28 | 株式会社リコー | 画像処理装置及び画像合成方法 |
| CN107995384A (zh) * | 2017-11-23 | 2018-05-04 | 晨星半导体股份有限公司 | 视频防篡改方法、视频拍摄设备及视频验证方法 |
| CN116233565B (zh) * | 2023-05-04 | 2023-07-21 | 深圳奥联信息安全技术有限公司 | 一种电子签名生成方法及系统 |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA1265250A (en) * | 1985-03-04 | 1990-01-30 | Alan Douglas Clark | Data transmission |
| US4851906A (en) * | 1986-11-04 | 1989-07-25 | Nec Corporation | Data compression using orthogonal transform and vector quantization |
| US5408330A (en) * | 1991-03-25 | 1995-04-18 | Crimtec Corporation | Video incident capture system |
| US5627586A (en) * | 1992-04-09 | 1997-05-06 | Olympus Optical Co., Ltd. | Moving body detection device of camera |
| JPH0774924A (ja) | 1993-08-31 | 1995-03-17 | Canon Inc | 画像処理装置 |
| US5768446A (en) * | 1994-09-29 | 1998-06-16 | Unisys Corp. | Document processing |
| US5530759A (en) * | 1995-02-01 | 1996-06-25 | International Business Machines Corporation | Color correct digital watermarking of images |
| JP3177412B2 (ja) | 1995-07-26 | 2001-06-18 | 三洋電機株式会社 | 監視用画像記録再生装置 |
| GB2305798B (en) * | 1995-09-28 | 1999-10-20 | Sony Uk Ltd | Spatial frequency-domain video signal processing |
| JP3478019B2 (ja) | 1996-09-30 | 2003-12-10 | 株式会社日立製作所 | 画像符号化データ作成方法及び画像符号化データ復号化方法 |
| JPH1116059A (ja) | 1997-06-20 | 1999-01-22 | Mitsubishi Electric Corp | 監視画像記録再生装置 |
| JP3794646B2 (ja) * | 1997-08-26 | 2006-07-05 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 内容情報とそれに関する補足情報とを転送するシステム |
| JP3484944B2 (ja) | 1997-09-16 | 2004-01-06 | 神鋼電機株式会社 | デジタル画像記録装置 |
| JP3825894B2 (ja) | 1997-09-26 | 2006-09-27 | 株式会社東芝 | 映像記録装置 |
| US6275831B1 (en) * | 1997-12-16 | 2001-08-14 | Starfish Software, Inc. | Data processing environment with methods providing contemporaneous synchronization of two or more clients |
| US6332030B1 (en) * | 1998-01-15 | 2001-12-18 | The Regents Of The University Of California | Method for embedding and extracting digital data in images and video |
| US6275599B1 (en) * | 1998-08-28 | 2001-08-14 | International Business Machines Corporation | Compressed image authentication and verification |
-
1999
- 1999-10-04 JP JP28242599A patent/JP3772604B2/ja not_active Expired - Fee Related
-
2000
- 2000-08-23 US US09/643,759 patent/US6842540B1/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001111959A (ja) | 2001-04-20 |
| US6842540B1 (en) | 2005-01-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3772604B2 (ja) | 監視システム | |
| US7707422B2 (en) | Method for embedding watermark into an image and digital video recorder using said method | |
| US6192138B1 (en) | Apparatus and method for embedding/unembedding supplemental information | |
| JP3380763B2 (ja) | 画像処理方法 | |
| US6175597B1 (en) | Methods and apparatus for error concealment | |
| JP2004032459A (ja) | 監視システム、およびこれに用いるコントローラと監視端末 | |
| JP2006253768A (ja) | デジタルカメラ | |
| JPH10164492A (ja) | 撮像装置 | |
| JP3325542B2 (ja) | ウォーターマーキングを用いたデジタル映像コーディング及びデコーディング装置並びにその方法 | |
| JP3046226B2 (ja) | ディジタルビデオテ−プレコ−ダのビットストリ−ム配置／復元方法およびそれに適合なデ−タ圧縮装置および伸長装置 | |
| JP3140487B2 (ja) | 画像記録再生装置 | |
| US7050700B2 (en) | Picture compression managing apparatus and picture compression managing method used therefor | |
| TW591952B (en) | Intelligent video stream processing method and system thereof | |
| JP3104805B2 (ja) | テレビ電話 | |
| JP3055421B2 (ja) | ビデオ記録装置 | |
| JP3196764B2 (ja) | 動画像記録再生方法 | |
| JP3952926B2 (ja) | 映像符号化装置及び映像符号化方法 | |
| KR100896278B1 (ko) | 가정용 방범 기능이 부가된 하드디스크를 이용한 티브이녹화장치 | |
| JPH10313455A (ja) | 監視画像記録装置およびその再生装置 | |
| JP3100793B2 (ja) | 動画像再生装置 | |
| JPH06350964A (ja) | 画像再生装置及び画像復号装置 | |
| JP2000261788A (ja) | 画像を用いた監視装置 | |
| JPH05167973A (ja) | 静止画ファイルシステム | |
| JPH09182017A (ja) | 動画編集装置 | |
| JPH0746408A (ja) | 医療画像記録装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051014 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051025 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051219 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060124 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060206 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090224 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100224 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100224 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110224 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120224 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120224 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130224 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130224 Year of fee payment: 7 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |