JP4451754B2 - 画像データの記憶方法 - Google Patents

Description

本発明は画像データの記憶方法に関し、特に監視システム等、比較的長時間継続して記憶する、画像データの記憶方法に関する。

近年、監視カメラを複数設置した監視装置を用いて、店舗あるいは住宅等で複数の場所を同時に監視して防犯等に役立てたり、工場等で複数の設備の運転状態を同時に監視して異常状態の発見等に役立てたりしている。監視者は、各監視カメラから送られてくる画像データを、モニタに分割出力等させることで、複数の場所を同時に監視できる。
しかし、監視者が２４時間ずっとモニタを見ながら監視することは現実的ではない。そこで、複数の監視カメラが撮影した画像データを記憶装置に記憶しておき、記憶されている画像データを再生してモニタに分割表示等させることで、監視者が不在時の監視結果等を確認している。
このような監視装置では、比較的長時間継続して監視カメラからの画像データを記憶する必要があるため、大容量の記憶装置が必要となる。なお、近年では、記憶装置の大容量化とともに、ＭＰＥＧ等の画像データの圧縮技術も進み、長時間の画像データを記憶できるようになってきている。

特許文献１に記載の従来技術では、撮像カメラとして同期可能なＭＰＥＧカメラを用い、Ｉフレーム（フレーム内圧縮した画像データ）の送出タイミングと送出サイクルを設定できるようにして、各撮像カメラから同期させて画像データを出力させ、複数の撮像カメラからの画像データをフレーム切り替えしながら効率良く記憶、再生できる画像信号切り替え方法が提案されている。
なお、カメラが出力する画像データの単位はフレーム単位であってもフィールド単位であってもよいが、以下では「フレーム」を画像データの単位（フレーム＝画像データ）として説明する。
特開２０００−３１６１１２号公報

特許文献１に記載した従来技術では、撮像装置は互いに同期させて画像データを出力させることができるとともに、撮像装置は得られた画像データをフレーム内圧縮して出力する。従って、特許文献１に使用する撮像装置は、同期出力手段（同期回路等）を備えていなければならない。また、特許文献１に使用する撮像装置は、画像データを圧縮して出力する圧縮手段（圧縮回路等）を備えていなければならない。

なお、同期出力手段や圧縮手段を備えていない一般的な撮像装置を複数用いて、画像データを圧縮させながら記憶する場合、最初は各撮像装置から同じタイミングで画像データが出力されていても、数時間あるいは数十時間と記憶を継続させていくと、撮像装置間の出力タイミングの「ずれ」が累積されていく。
一般的に動画の圧縮では、所定周期毎（所定数の画像データ毎）にフレーム内圧縮（対象の画像データ（フレーム）をそのまま圧縮）を行って記憶し、その他の画像データはフレーム間圧縮（対象の画像データ（フレーム）と、１つ前の画像データ（フレーム）との差分を求めて差分を圧縮）して記憶することで、記憶容量を大幅に小さくしている。
例えば撮像装置から１秒間に３０フレームの画像データ（フレーム）を出力させ、３０フレーム毎（１秒毎）にフレーム内圧縮して記憶し、その他の画像データをフレーム間圧縮して記憶している。

撮像装置を同期出力で使用すれば、複数の撮像装置から出力される複数の画像データを同一のタイミングでフレーム内圧縮またはフレーム間圧縮することが可能である。しかし、撮像装置を非同期出力で使用した場合では、出力タイミングの「ずれ」が累積し、あるタイミングでは一部の画像データはフレーム内圧縮する必要があり、他の画像データはフレーム間圧縮する必要がある、という場合が発生し、制御手段の負荷が増加する。
また、記憶された画像データを再生する際、「ずれ」が発生していた場合では、あるタイミングでは圧縮された画像データを再生する場合、一部の画像データはフレーム内圧縮に対応する解凍処理を行う必要があり、他の画像データはフレーム間圧縮に対応する解凍処理を行う必要がある、という場合が発生し、処理負荷が大きくなり、好ましくない。

本発明は、このような点に鑑みて創案されたものであり、複数の撮像装置を互いに非同期で用いて画像データをフレーム内圧縮またはフレーム間圧縮で圧縮して記憶する場合において、フレーム内圧縮する画像データを適切に選定することができる画像データの記憶方法を提供することを課題とする。

上記課題を解決するための手段として、本発明の第１発明は、請求項１に記載されたとおりの画像データの記憶方法である。
請求項１に記載の画像データの記憶方法は、各々のタイマを基準として所定時間間隔で画像データを互いに非同期で出力する複数の撮像装置を用い、各撮像装置から次々と出力される画像データのそれぞれを、互いに非同期で順次記憶するとともに、記憶の際には、画像データの全体を圧縮するフレーム内圧縮、または対応する撮像装置からの１つ前の画像データとの差分を求めて当該差分を圧縮するフレーム間圧縮、のいずれかに選択して圧縮した圧縮画像データを作成して記憶する、画像データの記憶方法である。
いずれか１つの撮像装置を基準に設定し、基準に設定した撮像装置からの画像データについては、所定数に達する毎に画像データをフレーム内圧縮して記憶するとともに他の画像データについてはフレーム間圧縮して記憶し、基準に設定していないそれぞれの撮像装置からのそれぞれの画像データについては、基準に設定した撮像装置の画像データをフレーム内圧縮した次のタイミングで出力されたそれぞれの撮像装置からのそれぞれの画像データを、それぞれフレーム内圧縮して記憶するとともに他の画像データについてはそれぞれフレーム間圧縮して記憶する、ことを特徴とする画像データの記憶方法である。

請求項１に記載の画像データの記憶方法を用いれば、複数の撮像装置を互いに非同期で使用した場合において、長時間の記憶の継続による累積された「出力タイミングのずれ（フレーム内圧縮する画像データの間の時間差）」を、ほぼ出力周期の１周期以内に収めることができる（図３及び図４参照）。
このように、複数の非同期の撮像装置から出力される各画像データに対して、フレーム内圧縮を行うタイミングをほぼ同じタイミング（出力周期の１周期以内）にすることで、処理負荷のばらつきを抑制することができる。

以下に本発明を実施するための最良の形態を図面を用いて説明する。図１は、本発明の画像データに記憶方法を適用した画像データ記憶装置１の構成及び動作を示している。
●［画像データ記憶装置の構成及び動作（図１）］
画像データ記憶装置１は、複数の撮像装置１０ａ及び１０ｂ（例えばＣＣＤカメラであり、以下カメラ１０ａ、カメラ１０ｂと記載する）と、撮像装置毎に設けられた圧縮手段２０ａ及び２０ｂ（例えば圧縮用のＩＣ）と、制御手段３０（以下、ＣＰＵ３０と記載する）と、記憶手段４０（例えばHard Disk Drive）とで構成されている。なお、図１に示す例は、２台の撮像装置で構成した例を示しているが、３台以上の撮像装置で構成してもよい。以下の説明では、２台の撮像装置（カメラ１０ａ、カメラ１０ｂ）を用いた例を説明する。

カメラ１０ａ及び２０ｂは、所定時間間隔（例えば１／３０秒）で、次々と画像データを出力する。なお、本実施の形態では、画像データの単位をフレーム（コマ）として説明する。
なお、本実施の形態では、カメラ１０ａとカメラ１０ｂは互いに非同期、すなわち各々が互いに非同期であり、カメラ１０ａはカメラ１０ａの内部タイマを基準にして所定時間間隔で画像データ（Ｄａ［ｉ］、Ｄａ［ｉ＋１］、Ｄａ［ｉ＋２］・・）を圧縮手段２０ａに出力し、カメラ１０ｂはカメラ１０ｂの内部タイマを基準にして所定時間間隔で画像データ（Ｄｂ［ｉ］、Ｄｂ［ｉ＋１］、Ｄｂ［ｉ＋２］・・）を圧縮手段２０ｂに出力する。
圧縮手段２０ａ（２０ｂ）には、ＣＰＵ３０から圧縮法切替信号２２ａ（２２ｂ）と圧縮画像データ出力信号２４ａ（２４ｂ）とが入力されている。ＣＰＵ３０は、圧縮法切替信号２２ａ（２２ｂ）にて圧縮手段２０ａ（２０ｂ）に入力された画像データを、フレーム内圧縮にて圧縮するか、フレーム間圧縮にて圧縮するかを選択することができる。

またＣＰＵ３０は、圧縮画像データ出力信号２４ａ（２４ｂ）にて、圧縮手段２０ａ（２０ｂ）にて作成された圧縮画像データの出力の許可または禁止を制御することができる。許可にした場合は圧縮画像データが圧縮手段２０ａ（２０ｂ）からＣＰＵ３０に入力され、禁止にした場合は圧縮画像データは圧縮手段２０ａ（２０ｂ）からＣＰＵ３０に入力されない。
ＣＰＵ３０は、圧縮手段２０ａ及び２０ｂに、圧縮法切替信号２２ａ及び２２ｂを適切に切り替えて出力するとともに、圧縮画像データ出力信号２４ａ及び２４ｂを許可状態で出力し、圧縮画像データ（Ｐａ［ｉ］、Ｐａ［ｉ＋１］、Ｐａ［ｉ＋２］・・、及びＰｂ［ｉ］、Ｐｂ［ｉ＋１］、Ｐｂ［ｉ＋２］・・）を取り込むとともに記憶手段４０に記憶する。

●［理想状態における画像データの記憶方法（図２）］
次に図２を用いて、理想状態における画像データの記憶方法について説明する。なお、「理想状態」とは、カメラ１０ａとカメラ１０ｂの内部タイマが完全に同じ間隔で時を刻んでいる場合（カメラ１０ａからの画像データの出力周期Ｔａ＝カメラ１０ｂからの画像データの出力周期Ｔｂ）を示しており、２台のカメラから出力される画像データの時間差（図２中のＤＬＹ）は、常時同一の時間差である場合をいう。また、以下では「画像データ」を「フレーム」という。

図２〜図４に示す例は、フレーム内圧縮を行う周期Ｔ［ｉ＋ｎ］が例えば１秒である。また図２では、カメラ１０ａとカメラ１０ｂが理想状態において１／３０秒毎にフレームを出力している状態を示している。また各フレームの上に記載した数字（１〜３０）は、周期Ｔ［ｉ＋ｎ］が始まってからｍ番目のフレームであることを示している。
この例では、周期Ｔ［ｉ＋ｎ］の先頭のフレーム（図２中のフレーム「１」）をフレーム内圧縮で圧縮し、他のフレーム（図２中のフレーム「２」〜「３０」）を、カメラ毎に直前のフレームとの差分を圧縮するフレーム間圧縮で圧縮し、記憶手段４０に記憶している。
また、カメラから出力されるフレームの周期をフレーム周期Ｔａ（フレーム周期Ｔｂ）と記載し、フレーム内圧縮する周期（フレームが３０個毎の周期）を圧縮周期Ｔ［ｉ＋ｎ］と記載する。

理想状態（フレーム周期Ｔａ＝フレーム周期Ｔｂ）においては、２台のカメラから出力されるフレームの相対的な時間差（図２中のＤＬＹ）は一定である。このため、データの記憶時、及び記憶されたデータの再生時において、記憶時ではほぼ同じタイミングでフレーム内圧縮された圧縮画像データを記憶するとともに、再生時ではほぼ同じタイミングでフレーム内圧縮された圧縮画像データを解凍することができる。同じタイミングで同一形式の圧縮画像データの処理を行うことで、同じタイミングで異なる形式の圧縮画像データの処理を行うよりも、処理負荷を低減することができる。
しかし、複数のカメラを非同期で使用して、フレーム周期を同一出力周期に設定しても、各々のカメラの内部タイマは実際には微妙に「ずれ」を有している場合が多い。数時間及び数十時間もの長時間、画像データの記憶を継続すると、その「ずれ」が累積される。そこで、以下に説明する方法にて、その累積された「ずれ」を補正する。

●［フレーム周期Ｔａ＜フレーム周期Ｔｂの場合（図３）］
次に図３を用いて、カメラ１０ａのフレーム周期Ｔａの方が、カメラ１０ｂのフレーム周期Ｔｂよりも短い場合について説明する。
例えば基準となるカメラをカメラ１０ａに設定する。この場合、フレーム周期Ｔａの方がフレーム周期Ｔｂよりも短いため、各々３０フレーム毎にフレーム内圧縮して記憶する処理（その他のフレームをフレーム間圧縮して記憶する処理）を長時間継続していると、図３中の「ずれ（実際）」に示すように、徐々に「ずれ（実際）」が大きくなる（カメラ１０ａからのフレーム出力タイミングに対して、カメラ１０ｂからのフレーム出力タイミングが徐々に遅れていく）。
そこで、基準に設定したカメラ（この場合、カメラ１０ａ）から出力されるフレームを３０個毎（３０フレーム毎）のタイミングでフレーム内圧縮して記憶するとともに、基準でないカメラ（この場合、カメラ１０ｂ）から出力されるフレームについては、当該タイミングの次に出力されたフレームをフレーム内圧縮して記憶するように補正する。

図３では、カメラ１０ａを基準に設定したので、カメラ１０ａのフレーム「１」〜フレーム「３０」が圧縮周期Ｔ［ｉ＋ｎ］となる。
例えば図３において、圧縮周期Ｔ［ｉ＋１］では、カメラ１０ａのフレーム「１」をフレーム内圧縮して記憶し、カメラ１０ｂのフレームについては、カメラ１０ａのフレーム「１」の開始のタイミングから最初に入力されたフレーム（この場合、補正前におけるカメラ１０ｂのフレーム「３０」）をフレーム「１」（補正後）としてフレーム内圧縮して記憶する。
従って、この場合、圧縮周期Ｔ［ｉ］では、カメラ１０ｂから出力されて記憶されたフレーム数は、３０個でなく２９個となるが、１秒間に３０フレームで再生している際、ある１秒期間では２９フレームになったとしても、ほとんど気付くことはない。従って、１秒間のフレーム数が時々２９個となっても特に実質的な問題はない。

●［フレーム周期Ｔａ＞フレーム周期Ｔｂの場合（図４）］
次に図４を用いて、カメラ１０ａのフレーム周期Ｔａの方が、カメラ１０ｂのフレーム周期Ｔｂよりも長い場合について説明する。
例えば基準となるカメラをカメラ１０ａに設定する。この場合、フレーム周期Ｔａの方がフレーム周期Ｔｂよりも長いため、各々３０フレーム毎にフレーム内圧縮して記憶する処理（その他のフレームをフレーム間圧縮して記憶する処理）を長時間継続していると、図４中の「ずれ（実際）」に示すように、徐々に「ずれ（実際）」が大きくなる（カメラ１０ａからのフレーム出力タイミングに対して、カメラ１０ｂからのフレーム出力タイミングが徐々に進んでいく）。
そこで、上記と同様に、基準に設定したカメラ（この場合、カメラ１０ａ）から出力されるフレームを３０個毎（３０フレーム毎）のタイミングでフレーム内圧縮して記憶するとともに、基準でないカメラ（この場合、カメラ１０ｂ）から出力されるフレームについては、当該タイミングの次に出力されたフレームをフレーム内圧縮して記憶するように補正する。

図４では、カメラ１０ａを基準に設定したので、カメラ１０ａのフレーム「１」〜フレーム「３０」が圧縮周期Ｔ［ｉ＋ｎ］となる。
例えば図４において、圧縮周期Ｔ［ｉ＋１］では、カメラ１０ａのフレーム「１」をフレーム内圧縮して記憶し、カメラ１０ｂのフレームについては、カメラ１０ａのフレーム「１」の開始のタイミングから最初に入力されたフレーム（この場合、補正前におけるカメラ１０ｂのフレーム「２」）をフレーム「１」（補正後）としてフレーム内圧縮して記憶する。なお、直前に位置するカメラ１０ｂのフレーム「１」（補正前）はフレーム「３１」（補正後）としてフレーム間圧縮する。
従って、この場合、圧縮周期Ｔ［ｉ］では、カメラ１０ｂから出力されて記憶されたフレーム数は、３０個でなく３１個となるが、１秒間に３０フレームで再生している際、ある１秒期間では３１フレームになったとしても、ほとんど気付くことはない。従って、１秒間のフレーム数が時々３１個となっても特に実質的な問題はない。

以上、本実施の形態にて説明した画像データの記憶方法を用いれば、フレーム周期Ｔａ＜フレーム周期Ｔｂの場合であっても、フレーム周期Ｔａ＞フレーム周期Ｔｂの場合であっても、いずれか１つのカメラからのフレームが所定数に達する毎に、各カメラからのフレームを、カメラ毎に１つフレーム内圧縮して記憶し、他のフレームについては、カメラ毎にフレーム内圧縮して記憶する。
また、互いに非同期である複数のカメラを用いても、各々のカメラによるフレームの出力タイミングにおける累積された「ずれ」を適切に補正することができる。これにより、各カメラに対するフレーム内圧縮するフレームの間の時間差を、ほぼフレーム出力周期の１周期以内に収めることができる（図３及び図４）。
これにより、画像データを記憶する場合、及び記憶された画像データを再生する場合において、制御手段の処理負荷のばらつきを抑制することができる。

本発明の画像データの記憶方法は、本実施の形態で説明した構成、処理方法等に限定されず、本発明の要旨を変更しない範囲で種々の変更、追加、削除が可能である。
本実施の形態では、２台のカメラ（互いに非同期のカメラ１０ａ及びカメラ１０ｂ）を用いた例にて説明したが、３台以上のカメラ（互いに非同期）を用いた場合にも適用することができる。
また、本実施の形態の説明に用いた数値等は一例であり、この数値等に限定されるものではない。

本発明の画像データの記録方法は、監視装置等、複数の撮像装置からの画像データを記憶する種々の記録装置に適用することができる。

本発明の画像データの記憶方法を適用した画像データ記憶装置１の一実施の形態の概略図である。 理想状態における画像データの記憶方法を説明する図である。 本実施の形態における、フレーム周期Ｔａ＜フレーム周期Ｔｂの場合の記憶方法を説明する図である。 本実施の形態における、フレーム周期Ｔａ＞フレーム周期Ｔｂの場合の記憶方法を説明する図である。

１ 画像データ記憶装置
１０ａ、１０ｂ カメラ（撮像装置）
２０ａ、２０ｂ 圧縮手段
３０ ＣＰＵ（制御手段）
４０ 記憶手段

Claims (1)

1. 各々のタイマを基準として所定時間間隔で画像データを互いに非同期で出力する複数の撮像装置を用い、各撮像装置から次々と出力される画像データのそれぞれを、互いに非同期で順次記憶するとともに、記憶の際には、画像データの全体を圧縮するフレーム内圧縮、または対応する撮像装置からの１つ前の画像データとの差分を求めて当該差分を圧縮するフレーム間圧縮、のいずれかに選択して圧縮した圧縮画像データを作成して記憶する、画像データの記憶方法であって、
   いずれか１つの撮像装置を基準に設定し、
   基準に設定した撮像装置からの画像データについては、所定数に達する毎に画像データをフレーム内圧縮して記憶するとともに他の画像データについてはフレーム間圧縮して記憶し、
   基準に設定していないそれぞれの撮像装置からのそれぞれの画像データについては、基準に設定した撮像装置の画像データをフレーム内圧縮した次のタイミングで出力されたそれぞれの撮像装置からのそれぞれの画像データを、それぞれフレーム内圧縮して記憶するとともに他の画像データについてはそれぞれフレーム間圧縮して記憶する、
   ことを特徴とする画像データの記憶方法。

Images