JP4847165B2 - 映像記録再生方法及び映像記録再生装置 - Google Patents

映像記録再生方法及び映像記録再生装置 Download PDF

Info

Publication number
JP4847165B2
JP4847165B2 JP2006064484A JP2006064484A JP4847165B2 JP 4847165 B2 JP4847165 B2 JP 4847165B2 JP 2006064484 A JP2006064484 A JP 2006064484A JP 2006064484 A JP2006064484 A JP 2006064484A JP 4847165 B2 JP4847165 B2 JP 4847165B2
Authority
JP
Japan
Prior art keywords
image data
frame rate
event
detected
video recording
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006064484A
Other languages
English (en)
Other versions
JP2007243699A (ja
Inventor
誠也 伊藤
宏昌 藤井
將裕 清原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2006064484A priority Critical patent/JP4847165B2/ja
Priority to US11/654,673 priority patent/US20070217765A1/en
Publication of JP2007243699A publication Critical patent/JP2007243699A/ja
Application granted granted Critical
Publication of JP4847165B2 publication Critical patent/JP4847165B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/7921Processing of colour television signals in connection with recording for more than one processing mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H04N9/8047Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal

Description

本発明は、映像監視システムなどで使用される映像記録再生システムに係り、特に、撮像した映像内での人の動きなどのイベントが検知できるようにした映像記録再生のための装置と方法に関する。
近年、金融機関や流通小売業などでは、犯罪の防止や犯罪の捜査などを目的として、例えば店頭などに、監視用の多数のカメラ(テレビジョンカメラ)を設置し、監視員のモニタ作業により、目視による監視が行われているが、このとき、必要に応じて後で画像を確認し、画像の内容が解析できるように、ビデオレコーダなどの映像記録再生装置を用い、複数台のカメラから入力される映像を保持するようにした監視システムが広く用いられている。
そして、このような監視システムの場合、複数台のカメラを所定のフレームレートで巡回させながら、順次、各カメラから映像を取得し、記録してゆくようになっており、このため、当該システムには、複数台のカメラによる画像の入力が可能で、且つ、膨大な映像データの記録が可能な映像記録再生装置が必要になるが、このとき処理リソースには限りがあり、記録媒体の記憶容量にも限度があるので、効率的な運用が欠かせない。
しかも、このような監視システムでは、その膨大な記録データから所望の映像を確認しなければならないから、このシステムに使用される画像記録再生装置には、映像内に発生するイベントを検索し、当該イベントが含まれている画像の選択的な再生を可能にすることも、重要な機能として要求される。
このとき、これらの要求に応えるための手段としては、例えば入力された映像データを圧縮する技法や、外部トリガによって記録を制御する技法、又は外部トリガを検索タグとして確認時に頭出しを行う技法などの適用が考えられ、このときの外部トリガを取得する方法としては赤外線センサなどの外部センサに加えて、映像内の人の動きなどのイベントを画像処理によって検知する方法があり、それらの外部トリガによって記録方法を変更する機能が従来から広く採用されている。
ここで、関連する従来技術としては、例えばイベントが検出されたとき記録を開始させるようにした方法があり(例えば特許文献1参照。)、更には記録のフレームレートや解像度を変更する手段を持つ映像監視システムも、従来から知られている(例えば特許文献2参照。)。
特開2002−118822号公報 特開2005−33303号公報
監視システムにおいては、通常、カメラから入力される映像から一定間隔で取得される画像を用いて動きを検知した場合、その動きを木目細かく捉え、イベントの解析精度を上げるためには、画像のフレームレートが変更できるようにしておき、必要に応じて画像フレームの取得頻度を上げ、精細度が高い画像が得られるようにするのが望ましい。
ここで、上記した記憶媒体の効率的な運用の見地からすれば、フレームレートは低い方がよいが、しかしフレームレートが低いと、移動の速い物体などは、フレーム間の移動距離が大きくなって粗い画像になってしまい、適切な追跡が得られなくなる上、画像内容の確認が困難になってしまう。また、このとき、背景画像を保持する画像処理が必要な場合があるが、ここのとき画像に急激な明度変化が発生したら、そこで直ちに背景画像を更新しなければ誤報が発生することも考えられ、従って、これらの場合にもフレームレートを上げて対応するのが望ましい。
更には、特定の人の顔をイベントに想定した場合、フレーム画像の中で顔の画像を含む領域を切り出す処理が必要になるので、この場合、顔の正面などが写っているベストショットによる画像が望ましいが、このときフレームレートが低いと、ベストショット画面が含まれているフレームに撮り落ちが生じ、欠落してしまうことになり、従って、この場合もフレームレートを上げて対応するのが望ましい。
しかしながら、上記従来技術は、複数台あるカメラのうち、ある入力映像において画像処理により検知したイベントが、監視システムで設定する重要な映像であると判断された場合、それだけで当該入力映像を記録するときのフレームレートを上げたり、高解像の映像として記録する点について開示しているだけなので、次の問題があった。
ここで、いうまでもなく、どのような画像システムでも、単位時間に処理可能な画像フレームは処理リソースの規模又は仕様により決まっており、しかも、前述の通り、監視システムの場合、映像記録再生装置の限られた処理リソースのもとで複数のカメラ入力を処理しなければならない。そこで、検知精度の向上を狙い、或るカメラのフレームレートを上げようとして、当該カメラ入力のフレーム間隔だけ単純に密にして処理しようとした場合、他のカメラ入力の処理に影響が現れてしまうのが避けられない。
このとき従来技術では、対象となる入力映像を単純に高いフレームレートで取得し処理しているので、他のカメラ入力では検知処理にコマ落ちが生じてしまうことになり、従って、的確なイベント検知に支障が生じたり、システム内の他の処理タスクに過負荷を与えてしまうなどの問題が生じてしまうのである。
本発明の目的は、限りある処理リソースと記憶容量のもとで精度良くイベントが検知できるようにした映像記録再生装置を提供することにある。
上記目的は、複数のカメラを所定の順序で切替え、各カメラから画像データを所定のフレームレートで取得する入力切替手段と、前記各カメラから取得された前記画像データの中から予め設定されたイベントを検知する画像処理手段と、前記画像データの中でイベントが検出された画像データのフレームレートを変更するフレームレート変更手段とを備え、前記複数のカメラから画像データを取得し記録媒体に保持する方式の映像記録再生装置において、前記イベントが検知されたとき、当該イベントが検知された画像データのフレームレートだけを変更する第1の手段と、前記イベントが検知されたとき、当該イベントが検知された画像データのフレームレートと他の画像データのフレームレートを共に変更する第2の手段と、前記イベントが検知されたとき、他の画像データの中でフレームレートを下げても支障が無い画像データのフレームレートを変更し、その分だけ前記イベントが検知された画像データのフレームレートを変更する第3の手段とを設け、前記イベントが検知された画像データ以外の画像データのフレームレートを変えなくても、前記イベントが検知された画像データフレームレートの変更が可能なとき、前記フレームレート変更手段は、前記第1の手段による処理を選択し、前記イベントが検知された画像データ以外の画像データの中でフレームレートを下げても支障が無い画像データが存在していたとき、前記フレームレート変更手段は、前記第2の手段による処理を選択し、前記イベントが検知された画像データ以外の画像データのフレームレートを変更しても対応が不可能なとき、前記フレームレート変更手段は、前記第3の手段による処理を選択するようにして達成される。
このとき、前記イベントが、少なくとも被写体の動き、人の顔、不審行動、車両、置去りの何れかであるようにしてもよい。
また、このとき、前記イベントについて、予め各イベント毎に重要度を設定する手段を備え、前記フレームレート変更手段は、前記イベントが複数の画像データに発生した際、各画像データのイベントの重要度に応じて優先的に前記画像データのフレームレートの変更を実行するようにしても、上記目的を達成することができる。
ここで、前記イベントの重要度がユーザーによって設定されるようにしてもよく、前記フレームレート変更手段は、前記画像データのフレームレートを変更する際、前記各カメラから前記画像データを取得するときの画像圧縮率も共に変更するようにしてもよい。
更に、このとき、画像データをネットワーク網に転送するネットワーク伝送制御手段を設け、前記フレームレート変更手段は、前記画像データのフレームレートを変更する際、前記ネットワーク伝送制御手段による伝送レートも共に変更するようにしてもよい。
本発明によれば、複数台のカメラ入力に対して、それらの映像から画像処理を用いてイベントを検出し、画像処理のフレームレートをそのイベントの重要度に応じて分配することができ、これにより、フレームレートをカメラ入力間で動的に変更することができ、限りある処理リソースのもとでも、複数台のカメラ入力に対して精度よく画像処理を行うことが可能になる。
以下、本発明による映像記録再生方法と装置について、図示の実施形態により詳細に説明する。ここで、まず、図1は、本発明を、複数台のカメラを備えた監視システムに適用した場合の一実施形態として、撮像部10と映像記録再生装置20を示したもので、このとき、撮像部10には、例えばCCD素子を用いたカメラが複数台、すなわちN台のカメラ1〜Nが監視用として備えられている。
そして、映像記録再生装置20は、撮像部10のN台のカメラから夫々映像信号を取得し、それぞれの映像情報を、その他の情報も含めて記録するようになっている。また、このとき、入力映像をライブ映像として確認する場合や、記録した映像データを再生し確認する場合のため、映像記録再生装置20には表示装置30が接続してあり、必要に応じて画像が確認できるようになっている。
ここで、この実施形態に係る映像記録再生装置20では、それよる処理が、画像処理系の処理と記録系の処理、それに制御系及び再生系の処理に大別することができる。そこで、以下、これらの処理について順次説明する。
始めに画像処理系の処理フローについて説明する。この場合、まず、撮像部10の各監視用カメラからの信号はそれぞれ入力切替部100に入力され、ここで所定の順序とフレームレートにより選択され映像が切替えられる。このときの入力切替部100における入力映像の切替は入力切替制御部101によって制御される。そして、この入力切替部100で選択された映像信号は、画像処理用画像圧縮部102に供給される。
この画像処理用画像圧縮部102では、以後の画像処理を容易にしたり、処理時間を低減したりするため、画像圧縮処理が施され、処理された画像信号は、画像処理部103に転送され、ここで、後述するイベント検知を実行し映像内の動きなどが検知され、その処理結果が記録制御部104に転送される。このときの画像処理部103の動作は制御部105により制御される。
次に、記録系の処理フローについて説明する。この場合、既に説明したように、入力切替部100で選択された映像信号は、画像処理用画像圧縮部102に供給されるが、このとき、更に記録用画像圧縮部106にも供給される。そして、この記録用画像圧縮部106では、例えばMPEGやJPEGなどの公知の圧縮符号化方法により映像データを圧縮し、それに加えて、日時やイベント、例えば動き、顔、不審行動、車両、置去りなどのイベントに関する情報も付加して記録媒体107に転送し、記録保存する。
このときの記録用画像圧縮部106の制御は、上記した画像処理部103と同様、制御部105により行なわれるが、この場合は記録制御部104を介して実行されるようになっており、詳細は後で説明するが、ここで、この記録制御部104では、記録用画像圧縮部106における記録フレームレートや画質などを、各カメラの入力に対して個別に制御するものであり、更に、先述の画像処理により動きなどのイベントが発生した場合、録画を開始し、画質を変更するなどの制御も行うようになっている。
次に、制御系及び再生系の処理フローについて説明すると、まず、この実施形態では、映像記録再生装置20に、GUI(グラフィカル ユーザー インターフェース)や装置付属の釦などを含む操作部108が設けてあり、これによりユーザーは、映像記録再生装置20に対して種々の設定を行うことができるようになっている。そして、この操作部108による設定データは制御部105に入力され、ここから入力切替制御部101、画像処理部103、記録制御部104、再生制御部109にそれぞれ転送される。
一方、これら入力切替制御部101、画像処理部103、記録制御部104、再生制御部109から発生され他の制御部に供給すべき情報は、これらの部分から反対に制御部105に供給され、ここを介して該当する宛先の所に転送される。そして、再生処理に際しては、制御部105による設定に基づいてライブ映像と記録データの再生を行い、表示装置30により表示される。
ここで、更に入力切替部100による処理について、その周辺にある部分も含め、画像処理系の場合を例にして、図2により説明する。このとき、入力切替制御部101には、図示のように、切替順列変更手段200が設けてあり、ここで制御部105により、画像処理のためのフレームレートが、例えば30fps(frame per second)に設定されているものとする。そして、切替順列変更手段200では、この設定されたフレームレートに基づいて、所定のフレーム内に収まるように、切替のための順列を生成し、入力切替部100に供給するようになっている。
ここで、いま、図1の撮像部10において、一例として、Nが5の場合、つまり5台のカメラが用いられている場合について説明すると、この場合、切替順列変更手段200により生成される順列は、1秒間で5入力を切替える順序になり、図2(a)に示すように、カメラ1からカメラ5までを等間隔で巡回し、この結果、各カメラは6fpsのフレームレートによる入力になることが判る。一方、図2(b)は、切替えに1フレームの間隔を開けた場合の例で、このときは、3fpsのフレームレートによる入力になってしまうことが判る。
そこで、入力切替部100に備えられている入力切替手段201では、この切替順列変更手段200により生成された順列に従って、カメラ入力の切替処理を実行し、これにより選択された入力映像が画像処理用画像圧縮部102に転送されるようにする。なお、この入力の切替えは、後で説明する記録系及び再生系の処理においても同様に行われる。
次に、画像処理部103による処理について、図3を用いて説明する。この場合、入力画像取得手段300は、画像処理用に圧縮された画像データを処理用画像圧縮部102から取得し、イベント検出手段302に転送する。このとき、画像処理のためのパラメータは、パラメータ設定手段301により、制御部105から転送された情報に基づいて設定される。
そして、イベント検出手段302により検出された結果は、フレームレート変更手段303と記録制御部104の双方に転送され、このとき、フレームレート変更手段303により変更された各入力のフレームレートは、制御部105を介して、入力切替制御部101に供給され、そこで切替順列の変更に利用される。
次に、この画像処理部103における各処理の詳細について説明すると、まず、この実施形態では、一例として、イベント検出手段302におけるイベント検出処理に背景差分法を適用した場合について説明する。この場合、映像内に部分的な動きが検知された場合、イベントが発生したものとすることになり、従って、このときの動き検知は、入力画像と比較するための背景画像を保持していることが前提となる。
ここで、背景画像とは、入力画像の中で移動物体を含まない領域の画像のことであり、背景差分法とは、入力画像と背景画像を比較することにより、背景画像に対して変化のある部分を検出し、それを映像の動きとし、人物などの移動物体とみなする方法のことである。そこで、これをイベント検出手段302に適用した場合について、図4により説明する。
図4において、まず、背景画像生成手段401は、入力画像取得手段300により取得した画像から、事前に背景画像を生成し、それを保持しておく。このときの背景画像としては、動きのない部分を単に背景画像として設定する方法や、入力画像の時系列から背景画像を生成する方法などが考えられるが、いずれの方法でもよい。そして、この背景画像と入力画像を変化算出手段400により比較し、比較結果を動き検知手段402に供給して、それがイベントに相当する動きであるか否かを判断し、結果を記録制御部104とフレームレート変更手段303に転送する。
このとき詳しくは後述するが、動き検知手段402には、制御部105からパラメータ設定手段301を介して様々なイベントとなる動きが設定できるようになっている。そして、このときのイベントとしては、例えば人の顔(特定の人の顔も含む)、車両、特定経路を移動する人物、所定の服や性別などの属性を持つ人物、犯罪行為や不審な行動をする人物、置き去りされた荷物など、画像処理で検出可能な動きであれば、どのような動きもイベントとして設定できるようになっている。
次に、フレームレート変更手段303による処理について、図5の基本的な処理のフローチャートにより説明する。このとき、まず、イベントが無いと判断された状態を通常状態とし、この通常状態に該当するカメラ入力を通常CH(チャンネル)とする。次に、イベントが発生した状態はイベント状態とし、これに該当するカメラ入力はイベントCHとする。ここで通常状態におけるフレームレートは予め設定した所定のレート、例えば上記した6fpsに従うものとする。
そして、この図5では、あるカメラ入力に、例えば人の動きによるイベントが検出されたとき、当該カメラ入力のフレームレートを上げるようにした場合の処理を例にして説明する。まず、ステップ500での判断結果がY(肯定)、すなわちイベントが発生したと判定されたら、次にステップ501で全ての入力の状態を確認し、単純に該当CHのフレームレートの変更が可能であるか否かを判断する。このときの判断は、例えば、このとき処理リソースに余裕があるか否かなどにより行えば良い。
そして、このとき、例えば処理リソースに余裕があるなどの理由で、他の通常CHのフレームレートを変えなくても、フレームレートの変更が可能であるとなっていた場合、つまりステップ501で結果がYのときはステップ502に進み、イベントCHのフレームレートを、通常状態におけるフレームレートから、このときの所定のイベントに対応したフレームレートに上げて処理を終了する。
従って、このときは、イベントCHのフレームレートが単純に上げられることになるが、しかし、通常CHに影響を与えることなく、イベントCHのイベント解析精度を上げることができる。
一方、ステップ501での結果がN(否定)、すなわち不可能と判断された場合はステップ503に進み、今度は通常CHのフレームレートを変更すればイベントCHのフレームレートの変更が可能か否かを判断する。ここでは、通常CHの中でフレームレートを下げても支障が無いCHがあり、このCHのフレームレートを下げてやれば、イベントCHのフレームレートが上げられるか否かを判断する。そして、これが可能であれば、つまり結果がYの場合はステップ504に進み、通常CHのフレームレートを下げ、イベントCHに対しては必要なだけフレームレートを上げて処理を終了する。
従って、このときもイベントCHのフレームレートが上げられることになるか、このとき通常CHの一部についてはフレームレートが下げられてしまう。しかし、それでも、この通常CHについては、もともとフレームレートの切下げによる影響がないものが選ばれているので、イベントCHのイベント解析精度の向上が他の通常CHの処理に影響する虞はない。
一方、ステップ503での結果がN、つまり通常CHのフレームレートの変更では対応が不可能である場合にはステップ505に進み、支障がなるべく少なくて済む範囲で通常CHのフレームレートを下げ、その分だけイベントCHのフレームレートを上げて処理を終了するのである。
従って、このときは、イベントCHのイベント解析精度を上げた結果、他の通常CHにはフレームレートの切下げが生じてしまうことになるが、しかし、この場合でも、フレームレートの切下げについては支障がなるべく少なくて済む範囲に抑えることができる。
以上のようにして、フレームレート変更手段303により算出したフレームレートは制御部105を介して入力切替制御部101に供給され、入力切替部100による切替順列の変更制御に適用される。そこで、このときのフレームレートの変更について、図6の模式図により説明する。
この図6は、撮像部10のカメラが3台で、カメラ入力が1CH、2CH、3CHの3チャンネルの場合において、図5のステップ504、又はステップ505の処理が実行されたときのフレームレートの切替動作を示したもので、このとき図6の(a)に示す通常状態では、各チャンネルとも1フレーム毎に順次入力が切替えられている。
ここで、いま、1CHにイベントが発生したとすると、この時点で同図(b)に示すイベント発生状態になり、2CHと3CHのフレームレートが下げられる。そして、このフレームレートの切下げによりフレームが間引かれるので、その時間位置に1CHのフレームが挿入され、これにより1CHのフレームレートが上げられることになっていることが判る。そして、この後は、イベント検知が終了した時点で、同図(a)の通常状態に復帰することになる。
ところで、イベントが発生したチャンネルが複数生じてしまったときには、フレームレートを上げる処理をそれらのチャンネルの全てに適用することができなくなってしまう場合が生じる。そこで、この実施形態では、この場合に何れのチャンネルにフレームレートの切替えを適用するかについて、所定の規則(ルール)が適用されるようになっている。
そして、このときの所定の規則とは、発生したイベントの重要度が高い方のチャンネルにフレームレートを上げるための優先権を与えることであり、このための処理もフレームレート変更手段303により与えられるようになっているが、更に、このとき、各チャンネルに対してフレームレートを変更するか固定したままにするかもユーザが設定できるようになっている。
そこで、以下、このようにした点について、図7により説明すると、この場合、まず、ユーザは、操作部108により、フレームレート設定とイベント重要度設定を行う。このため、操作部108には、図示のように、検知フレームレート設定画面700とイベント重要度設定画面701を備えている。
そして、検知フレームレート設定画面700では、各カメラ入力についてフレームレート設定を行い、チャンネル毎にフレームレートを固定値にするか可変値であるのかを設定する。ここで、固定値を選択すれば、設定した一定のフレームレートに固定され、可変値を選択すれば、前述のフレームレート変更処理が適用され、イベントの検知状態により動的にフレームレートが変更されるようになる。
図7に示した例では、1CHから3CHまでが2fpsで固定されており、4CHと5CHでは可変が選択されている。この場合、全体で処理可能なフレームレートである30fpsから、1CHから3CHまでのフレームレートの合計である6fpsを差し引き、残りの24fpsにおいて4CHと5CHのフレームレートが動的に変更されることになる。
また、図7のイベント重要度設定画面701では、映像内の動きの内容に関する重要度を、イベントの重要度として定義するもので、この図7の例では、イベントとして、被写体の動き、顔、不審行動、車両、置去りの5種が予め設定されており、各イベントの重要度については、ユーザが低、中、高の3段階に設定することができるようになっていて、ここでは、重要度が高いのは顔と不審行動で、動きと置去りは重要度が中にされ、車両については、低い重要度が設定されている。
そして、イベント検出手段302で複数のチャンネルにイベントの発生が検出された場合、フレームレート変更手段303では、このときにフレームレートを変更すべきチャンネルとして、イベント重要度設定画面701により入力され、設定されている重要度の値に基づいて決定する。
例えば、あるカメラ入力で不審行動が検知され、別のカメラ入力では車両が検知された場合、不審行動の方が高い重要度に設定されているので、これを検知したカメラ入力に対してフレームレート変更が優先的に施され、高いフレームレートで画像が記録されるようにする。
従って、この実施形態によれば、イベントの重要度に応じた画像処理が可能になり、この結果、限られた処理リソースのもとで高い精度のイベント解析を得ることができ、処理リソースと記録媒体の有効利用を充分に図りながら信頼性の高い監視結果を得ることができる。
ところで、以上に説明した実施形態では、フレームレートの変更が画像処理の中心になっているが、このとき、画像処理部103を図8に示すように構成し、フレームレート変更手段303によるフレームレートの変更結果が画像処理用画像圧縮部102にも転送され、これにより、フレームレートの変更に応じて画像の圧縮率が変更されるようにしてもよい。
この図8の実施形態の場合、イベントが検知されたら画像の圧縮率を下げるようにし、これにより画像データ圧縮により画像の解像度が低下してしまうのを抑えることができ、従って、この実施形態によれば、更に精度良くイベントが検出でき、更に精度の良い画像処理を得ることができる。
ここで、図9は、本発明の他の実施形態で、これは、フレームレートの変更情報をネットワーク伝送の制御に利用するようにした場合の一実施形態であって、この場合、図1の実施形態における再生制御部109に代えてネットワーク伝送制御部900を設け、これにフレームレート変更手段303で求めた結果を転送し、ネットワーク網901を介して映像を伝送する際、重要度の高い映像については高いフレームレートで転送し、通常の映像は低いフレームレートで転送することができるようにしたものである。
ネットワークによる伝送においても伝送帯域に限りがあるので、その効率的な利用が望まれるのは当然のことであり、従って、この実施形態により、重要と思われる映像に対しては高いフレームレートで転送し、通常の映像は低いフレームレートで転送するようにしてやれば、帯域の効率的な利用が図られ、この結果、侵入者を含む映像など、重要な映像については優先的にネットワーク網901に転送することができ、従って、この実施形態によれば、確認漏れの発生を抑制することができ、信頼性の更なる向上を図ることができる。
また、この図9の実施形態は、ネットワーク網901を介してネットワークカメラなどにより映像を取得し、画像処理する場合にも適用でき、このとき、この実施形態によるフレームレート変更手段を用いることにより、重要な映像と通常の映像を適切な割合で振り分けけることができ、ネットワーク網901の伝送帯域に限りがある場合であっても、確実に伝送することができる。
本発明によれば、複数台のカメラから取得される映像内で、それぞれのカメラ入力において検知されるイベントにより、画像処理のフレームレートをカメラ入力間で動的に変更することができ、限りある処理リソースやネットワーク帯域においても、重要と判断される映像に対して、精度よく画像処理を行うことが可能である。
本発明による画像記録再生装置の一実施形態を示すブロック図である。 本発明の一実施形態における入力切替手段の詳細ブロック図である。 本発明の一実施形態における画像処理部の詳細ブロック図である。 本発明の一実施形態におけるイベント検出手段の詳細ブロック図である。 本発明の一実施形態におけるフレームレート変更手段の動作を説明するためのフローチャートである。 本発明の一実施形態によるフレームレート変更処理の説明図である。 本発明の一実施形態におけるGUI画面表示の一例を示す説明図である。 本発明の一実施形態による画像処理部に画像圧縮変更を適用した場合のブロック図である。 本発明による画像記録再生装置にネットワーク転送を適用した場合の一実施形態を示すブロック図である。
符号の説明
10:監視カメラ
20:映像記録再生装置
30:表示装置
100:入力切替部
101:入力切替制御部
102:画像処理用画像圧縮部
103:画像処理部
104:記録制御部
105:制御部
106:記録用画像圧縮部
107:記録媒体
108:操作部
109:再生制御部
200:切替順列変更手段
201:入力切替手段
300:入力画像取得手段
301:パラメータ設定手段
302:イベント検出手段
303:フレームレート変更手段
400:変化算出手段
401:背景画像生成手段
402:動き検知手段
700:検知フレームレート設定画面
701:イベント重要度設定画面
900:ネットワーク伝送制御部
901:ネットワーク網

Claims (12)

  1. 複数のカメラを所定の順序で切替え、各カメラから画像データを所定のフレームレートで取得する入力切替手段と、前記各カメラから取得された前記画像データの中から予め設定されたイベントを検知する画像処理手段と、前記画像データの中でイベントが検出された画像データのフレームレートを変更するフレームレート変更手段とを備え、前記複数のカメラから画像データを取得し記録媒体に保持する方式の映像記録再生装置において、
    前記イベントが検知されたとき、当該イベントが検知された画像データのフレームレートだけを変更する第1の手段と、
    前記イベントが検知されたとき、当該イベントが検知された画像データのフレームレートと他の画像データのフレームレートを共に変更する第2の手段と、
    前記イベントが検知されたとき、他の画像データの中でフレームレートを下げても支障が無い画像データのフレームレートを変更し、その分だけ前記イベントが検知された画像データのフレームレートを変更する第3の手段とを設け、
    前記イベントが検知された画像データ以外の画像データのフレームレートを変えなくても、前記イベントが検知された画像データフレームレートの変更が可能なとき、前記フレームレート変更手段は、前記第1の手段による処理を選択し、
    前記イベントが検知された画像データ以外の画像データの中でフレームレートを下げても支障が無い画像データが存在していたとき、前記フレームレート変更手段は、前記第2の手段による処理を選択し、
    前記イベントが検知された画像データ以外の画像データのフレームレートを変更しても対応が不可能なとき、前記フレームレート変更手段は、前記第3の手段による処理を選択することを特徴とする映像記録再生装置。
  2. 請求項1に記載の映像記録監視装置において、
    前記イベントが、少なくとも被写体の動き、人の顔、不審行動、車両、置去りの何れかであることを特徴とする映像記録再生装置。
  3. 請求項1に記載の映像記録再生装置において、
    前記イベントについて、予め各イベント毎に重要度を設定する手段を備え、
    前記フレームレート変更手段は、前記イベントが複数の画像データに発生した際、各画像データのイベントの重要度に応じて優先的に前記画像データのフレームレートの変更を実行することを特徴とする映像記録再生装置。
  4. 請求項3に記載の映像記録監視装置において、
    前記イベントの重要度は、ユーザーによって設定されることを特徴とする映像記録再生装置。
  5. 請求項1に記載の映像監視装置において、
    前記フレームレート変更手段は、前記画像データのフレームレートを変更する際、前記各カメラから前記画像データを取得するときの画像圧縮率も共に変更することを特徴とする映像記録再生装置。
  6. 請求項1に記載の映像監視装置において、
    画像データをネットワーク網に転送するネットワーク伝送制御手段を設け、
    前記フレームレート変更手段は、前記画像データのフレームレートを変更する際、前記ネットワーク伝送制御手段による伝送レートも共に変更することを特徴とする映像記録再生装置。
  7. 複数のカメラを所定の順序で切替え、各カメラから画像データを所定のフレームレートで取得し、前記各カメラから取得された前記画像データの中から予め設定されたイベントが検出されたとき、当該イベントが検出された画像データのフレームレートを変更して記録媒体に保持するようにした映像記録再生方法において、
    前記イベントが検知されたとき、前記イベントが検知された画像データ以外の画像データのフレームレートを変えなくても、前記イベントが検知された画像データフレームレートの変更が可能なとき、当該イベントが検知された画像データのフレームレートだけを変更し、
    前記イベントが検知されたとき、前記イベントが検知された画像データ以外の画像データの中でフレームレートを下げても支障が無い画像データが存在していたとき、当該イベントが検知された画像データのフレームレートと他の画像データのフレームレートを共に変更し、
    前記イベントが検知されたとき、前記イベントが検知された画像データ以外の画像データのフレームレートを変更しても対応が不可能なとき、他の画像データの中でフレームレートを下げても支障が無い画像データのフレームレートを変更し、その分だけ前記イベントが検知された画像データのフレームレートを変更することを特徴とする映像記録再生方法
  8. 請求項7に記載の映像記録監視方法において、
    前記イベントが、少なくとも被写体の動き、人の顔、不審行動、車両、置去りの何れかであることを特徴とする映像記録再生方法
  9. 請求項7に記載の映像記録再生方法において、
    前記イベントについて、予め各イベント毎に重要度を設定し、前記イベントが複数の画像データに発生した際、各画像データのイベントの重要度に応じて優先的に前記画像データのフレームレートの変更を実行することを特徴とする映像記録再生方法
  10. 請求項9に記載の映像記録監視方法において、
    前記イベントの重要度は、ユーザーによって設定されることを特徴とする映像記録再生方法
  11. 請求項7に記載の映像監視方法において、
    前記画像データのフレームレートを変更する際、前記各カメラから前記画像データを取得するときの画像圧縮率も共に変更することを特徴とする映像記録再生方法
  12. 請求項7に記載の映像監視方法において、
    前記画像データのフレームレートを変更する際、画像データをネットワーク網に転送するための伝送レートも共に変更することを特徴とする映像記録再生方法
JP2006064484A 2006-03-09 2006-03-09 映像記録再生方法及び映像記録再生装置 Expired - Fee Related JP4847165B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006064484A JP4847165B2 (ja) 2006-03-09 2006-03-09 映像記録再生方法及び映像記録再生装置
US11/654,673 US20070217765A1 (en) 2006-03-09 2007-01-18 Method and its application for video recorder and player

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006064484A JP4847165B2 (ja) 2006-03-09 2006-03-09 映像記録再生方法及び映像記録再生装置

Publications (2)

Publication Number Publication Date
JP2007243699A JP2007243699A (ja) 2007-09-20
JP4847165B2 true JP4847165B2 (ja) 2011-12-28

Family

ID=38517938

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006064484A Expired - Fee Related JP4847165B2 (ja) 2006-03-09 2006-03-09 映像記録再生方法及び映像記録再生装置

Country Status (2)

Country Link
US (1) US20070217765A1 (ja)
JP (1) JP4847165B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10375291B2 (en) 2016-12-15 2019-08-06 Hanwha Techwin Co., Ltd. Camera registering apparatus and method
US10455186B2 (en) 2016-08-17 2019-10-22 Hanwha Techwin Co., Ltd. Method and apparatus for allocating resources

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4874167B2 (ja) * 2007-05-21 2012-02-15 三洋電機株式会社 画像処理装置およびそれを搭載した撮像装置
WO2008155861A1 (ja) * 2007-06-21 2008-12-24 Olympus Corporation 画像表示装置および画像表示プログラム
TW200910932A (en) * 2007-08-29 2009-03-01 Micro Star Int Co Ltd Image-detecting method
KR101086010B1 (ko) * 2007-09-21 2011-11-22 펠코, 인코포레이티드 복수의 출처로부터의 비디오 데이터의 저장소를 구성하기 위한 방법 및 장치
US8427552B2 (en) * 2008-03-03 2013-04-23 Videoiq, Inc. Extending the operational lifetime of a hard-disk drive used in video data storage applications
US9325951B2 (en) 2008-03-03 2016-04-26 Avigilon Patent Holding 2 Corporation Content-aware computer networking devices with video analytics for reducing video storage and video communication bandwidth requirements of a video surveillance network camera system
JP5088283B2 (ja) * 2008-09-26 2012-12-05 沖電気工業株式会社 画像撮影制御装置、プログラム及び方法、並びに監視システム
JP2010087778A (ja) * 2008-09-30 2010-04-15 Casio Computer Co Ltd 撮像装置、変速撮像方法、及びプログラム
JP5011256B2 (ja) * 2008-10-10 2012-08-29 株式会社日立製作所 ネットワーク監視カメラシステム
JP5489444B2 (ja) * 2008-10-17 2014-05-14 オリンパス株式会社 内視鏡装置の受像機と、その受像機の画像データ表示方法及び画像データ表示プログラム
JP5495625B2 (ja) 2009-06-01 2014-05-21 キヤノン株式会社 監視カメラシステム、監視カメラ及び監視カメラ制御装置
JP5390322B2 (ja) * 2009-09-28 2014-01-15 株式会社東芝 画像処理装置、及び画像処理方法
CA2716637A1 (en) 2009-10-07 2011-04-07 Telewatch Inc. Video analytics with pre-processing at the source end
US9420250B2 (en) 2009-10-07 2016-08-16 Robert Laganiere Video analytics method and system
US9143739B2 (en) 2010-05-07 2015-09-22 Iwatchlife, Inc. Video analytics with burst-like transmission of video data
CA2748065A1 (en) 2010-08-04 2012-02-04 Iwatchlife Inc. Method and system for locating an individual
CA2748060A1 (en) 2010-08-04 2012-02-04 Iwatchlife Inc. Method and system for making video calls
CA2748059A1 (en) 2010-08-04 2012-02-04 Iwatchlife Inc. Method and system for initiating communication via a communication network
JP5811641B2 (ja) * 2010-09-07 2015-11-11 株式会社リコー Tv会議システム、映像送信方法、及び映像送信装置
US9195615B2 (en) * 2011-08-11 2015-11-24 Jyoti Mody Hawkvue LLC Method and apparatus to record, archive, and playback computer monitor output
CN104509097B (zh) * 2012-05-30 2019-06-14 株式会社日立制作所 监视摄像机控制装置以及图像监视系统
CA2822217A1 (en) 2012-08-02 2014-02-02 Iwatchlife Inc. Method and system for anonymous video analytics processing
JP5936508B2 (ja) * 2012-09-28 2016-06-22 富士フイルム株式会社 立体内視鏡装置及びその画像取込方法
KR101416957B1 (ko) * 2012-10-09 2014-07-09 주식회사 아이티엑스시큐리티 영상 기록 장치 및 svc 비디오 스트림을 이용한 모션 분석 방법
US9633548B2 (en) 2013-04-23 2017-04-25 Canary Connect, Inc. Leveraging a user's geo-location to arm and disarm a network enabled device
CN104519357B (zh) 2013-09-26 2018-10-30 杭州海康威视数字技术股份有限公司 一种视频图像存储方法和装置
JP2015133561A (ja) * 2014-01-10 2015-07-23 株式会社日立製作所 計算機システム
JP6364838B2 (ja) * 2014-03-14 2018-08-01 日本電気株式会社 映像処理装置および映像処理方法
JP6301759B2 (ja) * 2014-07-07 2018-03-28 東芝テック株式会社 顔識別装置及びプログラム
JP6145780B2 (ja) * 2015-02-16 2017-06-14 パナソニックIpマネジメント株式会社 ウェアラブルカメラシステム及び映像データ転送方法
CN104935977B (zh) * 2015-06-03 2019-04-12 无锡天脉聚源传媒科技有限公司 一种视频的播放方法及装置
CN105681751A (zh) * 2016-01-15 2016-06-15 上海小蚁科技有限公司 用于呈现视频的预览的方法、装置和系统
JP6701018B2 (ja) * 2016-07-19 2020-05-27 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
GB201613138D0 (en) * 2016-07-29 2016-09-14 Unifai Holdings Ltd Computer vision systems
US11172166B2 (en) 2017-10-23 2021-11-09 Nec Corporation Video distribution system, video distribution method, and recording medium storing video distribution program
GB2569573A (en) * 2017-12-20 2019-06-26 Canon Kk Video surveillance method and system
JP6967779B2 (ja) * 2018-01-12 2021-11-17 ザインエレクトロニクス株式会社 映像信号受信モジュールおよび映像信号送受信システム
JP6800930B2 (ja) * 2018-09-28 2020-12-16 キヤノン株式会社 通信装置、その制御方法、およびそのプログラム
JP2020136900A (ja) * 2019-02-19 2020-08-31 ソニーセミコンダクタソリューションズ株式会社 撮像装置、画像記録装置、および撮像方法
JP7357328B2 (ja) * 2019-02-26 2023-10-06 株式会社ユピテル システムおよびプログラム等

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0662409A (ja) * 1992-08-06 1994-03-04 Matsushita Electric Ind Co Ltd 監視用映像信号記録装置
JPH08205133A (ja) * 1995-01-20 1996-08-09 Fujitsu General Ltd 監視カメラ制御装置
JPH11164289A (ja) * 1997-11-25 1999-06-18 Matsushita Electric Ind Co Ltd 映像多重装置と映像監視装置
JP2000069455A (ja) * 1998-08-18 2000-03-03 Toshiba Corp 遠隔監視装置
JP3772604B2 (ja) * 1999-10-04 2006-05-10 株式会社日立製作所 監視システム
JP2001211450A (ja) * 2000-01-27 2001-08-03 Mega Chips Corp 撮像システム
JP4474063B2 (ja) * 2001-02-28 2010-06-02 株式会社日立製作所 ディジタル監視カメラシステムおよび制御装置
JP2002351438A (ja) * 2001-05-25 2002-12-06 Mitsubishi Electric Corp 映像監視システム
US7456875B2 (en) * 2002-03-14 2008-11-25 Sony Corporation Image pickup apparatus and method, signal processing apparatus and method, and wearable signal processing apparatus
JP4265919B2 (ja) * 2003-02-28 2009-05-20 株式会社日立製作所 追尾型協調監視システムおよび撮像装置
US7158186B2 (en) * 2003-05-27 2007-01-02 Genesis Microchip Inc. Method and system for changing the frame rate to be optimal for the material being displayed while maintaining a stable image throughout
US7450638B2 (en) * 2003-07-21 2008-11-11 Sony Corporation Power-line communication based surveillance system
JP4380252B2 (ja) * 2003-07-22 2009-12-09 ソニー株式会社 撮像装置および撮像方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10455186B2 (en) 2016-08-17 2019-10-22 Hanwha Techwin Co., Ltd. Method and apparatus for allocating resources
US10375291B2 (en) 2016-12-15 2019-08-06 Hanwha Techwin Co., Ltd. Camera registering apparatus and method

Also Published As

Publication number Publication date
JP2007243699A (ja) 2007-09-20
US20070217765A1 (en) 2007-09-20

Similar Documents

Publication Publication Date Title
JP4847165B2 (ja) 映像記録再生方法及び映像記録再生装置
US10044923B2 (en) Apparatus and method for information processing and program
US9679202B2 (en) Information processing apparatus with display control unit configured to display on a display apparatus a frame image, and corresponding information processing method, and medium
JP2008035095A (ja) 監視装置、監視システム、監視方法及びプログラム
US8159538B2 (en) Monitoring apparatus, filter calibration method, and filter calibration program
KR100883632B1 (ko) 고해상도 카메라를 이용한 지능형 영상 감시 시스템 및 그 방법
US8780203B2 (en) Video recording apparatus, video recording system and video recording method executed by video recording apparatus
US20180061065A1 (en) Information processing apparatus, method thereof, and computer-readable storage medium
JP2008187328A (ja) ネットワーク機器、ネットワークシステムおよび監視カメラシステム
US20060119703A1 (en) Apparatus for processing images, apparatus for processing reproduced images, method of processing images, and method of processing reproduced images
KR20070060612A (ko) 디지털 비디오 레코더에서의 감시영상 출력방법
EP1035510A2 (en) Control method and apparatus of monitoring television camera according to photographing conditions of object, and image monitoring and recording apparatus
KR20110093040A (ko) 피사체 감시 장치 및 방법
JP2015154465A (ja) 表示制御装置、表示制御方法及びプログラム
JP6602067B2 (ja) 表示制御装置、表示制御方法、プログラム
KR20120113014A (ko) 영상인식장치 및 그 영상 감시방법
JP2002152721A (ja) 録画再生装置の映像表示方法および装置
JP4611042B2 (ja) 映像出力システムおよび映像を出力するための制御プログラム
JP2008035096A (ja) 監視装置、監視方法及びプログラム
CN101523913A (zh) 具有dvr系统的数字显示设备及其方法
KR20210108691A (ko) 영상 검색 장치 및 이를 포함하는 네트워크 감시 카메라 시스템
US20120134534A1 (en) Control computer and security monitoring method using the same
JP4205020B2 (ja) テレビカメラの制御方法及び画像記録装置の制御方法
US11172159B2 (en) Monitoring camera system and reproduction method
JP2022098663A (ja) 監視システム、監視システムの異常検知検出方法、及び監視システムの異常検知検出プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101008

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111004

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111013

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141021

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4847165

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees