JP4549144B2 - Video switching device, image processing device, video recording device, image processing system, and video recording system - Google Patents
Video switching device, image processing device, video recording device, image processing system, and video recording system Download PDFInfo
- Publication number
- JP4549144B2 JP4549144B2 JP2004276645A JP2004276645A JP4549144B2 JP 4549144 B2 JP4549144 B2 JP 4549144B2 JP 2004276645 A JP2004276645 A JP 2004276645A JP 2004276645 A JP2004276645 A JP 2004276645A JP 4549144 B2 JP4549144 B2 JP 4549144B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- image processing
- input
- video data
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Circuits (AREA)
- Television Signal Processing For Recording (AREA)
- Closed-Circuit Television Systems (AREA)
Description
本発明は、入力された複数の映像データを切り替えて外部に出力する映像切替装置、画像処理装置、映像記録装置、画像処理システムおよび映像記録システムに関する。 The present invention relates to a video switching device, an image processing device, a video recording device, an image processing system, and a video recording system that switch a plurality of input video data and output them to the outside.
従来、映像監視用の映像記録装置として、ビデオデッキやタイムラプスビデオデッキが使用されていた。映像監視の場合、多数のカメラ映像を記録する必要があるが、ビデオデッキは1本の映像入力端子しか持っていない。このため、フレームスイッチャと呼ばれる映像切替装置を使用し、複数のカメラからの映像信号を時間的に切り替え、1本の映像信号に変換してからビデオデッキに入力して保存していた。このフレームスイッチャを用いた記録方法により、1本のビデオテープに複数のカメラからの映像信号を次々に切り替えて記録することが可能であった。 Conventionally, a video deck or a time-lapse video deck has been used as a video recording device for video surveillance. In the case of video surveillance, it is necessary to record a large number of camera videos, but the VCR has only one video input terminal. For this reason, a video switching device called a frame switcher is used to switch video signals from a plurality of cameras in time and convert them into a single video signal before inputting it to a video deck and storing it. With this recording method using a frame switcher, it was possible to switch and record video signals from a plurality of cameras on one video tape one after another.
最近、映像機器のデジタル化により、映像監視の分野でもDVD映像記録装置やハードディスク映像記録装置等のデジタル映像記録装置が用いられている。デジタル映像記録装置は、単に1本の映像信号を録画するビデオデッキとは異なり、フレームスイッチャの機能を内蔵しているものが主流である。すなわち、デジタル映像記録装置は、複数のカメラと接続されるアナログ映像入力端子を備え、内部で映像信号のフレームスイッチングを行い、1本の映像信号に変換してデジタル圧縮後にハードディスク(HDD)などに記録する。 Recently, digital video recording devices such as DVD video recording devices and hard disk video recording devices have been used in the field of video surveillance due to the digitization of video equipment. Unlike video decks that record only one video signal, digital video recording devices are mainly equipped with a built-in frame switcher function. That is, the digital video recording apparatus has an analog video input terminal connected to a plurality of cameras, internally performs frame switching of the video signal, converts it into one video signal, and after digital compression, it is stored in a hard disk (HDD) or the like. Record.
さらに、監視用のデジタル映像記録装置に画像処理機能を付加する動きが広がっている。当初、容量の少ないDVDやハードディスクを補うべく、記録する映像を選別するために画像処理が行われていた。例えば、入力映像を画像処理して、動きがあるシーンと動きの無いシーンを識別し、動きがあるシーンのみを記録することで記録量を効果的に減らすことが可能となる(特許文献1、特許文献2参照)。
Furthermore, the movement to add an image processing function to a digital video recording apparatus for monitoring is spreading. Initially, image processing was performed to select a video to be recorded in order to make up for a small capacity DVD or hard disk. For example, it is possible to reduce the recording amount effectively by performing image processing on the input video, discriminating between a scene with motion and a scene without motion, and recording only the scene with motion (
しかし、最近では、ハードディスク等の記録媒体の容量が大きくなってきたので、記録量を減らすことよりも、大量の記録映像の中から目的の映像を探すために、画像処理が行われるようになってきている。例えば、入力画像から肌色領域を探し出し、それを人物とみなしてインデックスを作成し、後から記録画像中の人物を探す際の目印にすることなどが行われている(特許文献3参照)。 However, recently, since the capacity of recording media such as hard disks has increased, image processing has been performed in order to search for target videos from a large number of recorded videos rather than reducing the recording volume. It is coming. For example, a skin color area is searched from an input image, an index is created by regarding it as a person, and used as a mark when searching for a person in a recorded image later (see Patent Document 3).
このように、記録媒体の大容量化に伴い、記録映像はますます大量になっている。そして、大量の記録映像の中から効率良く目的の映像を探すために、画像処理も複雑なものになっている。前述した画像処理例において、肌色の領域を探すだけでなく、さらに目や鼻などのパターンを探索することで、それが人物である可能性が高くなり、後から人物を探し易くなる。したがって、今後もさらに複雑な画像処理が期待される。 As described above, as the capacity of the recording medium increases, the amount of recorded video is increasing. Image processing is also complicated in order to efficiently search for a target video from a large number of recorded videos. In the above-described image processing example, not only searching for the skin color area but also searching for patterns such as eyes and nose increases the possibility that it is a person, making it easier to search for a person later. Therefore, more complicated image processing is expected in the future.
図8は4入力タイプの映像記録装置の構成例を示す図である。この映像記録装置100では、各入力映像毎に画像処理部103a〜103dが設けられている。この映像記録装置では、画像処理部が入力数と同じ数だけ必要となり、回路規模が増大して複雑になってしまう。図9は4入力タイプの映像記録装置の他の構成例を示す図である。この映像記録装置200は、フレームスイッチャ201から出力される映像に対して画像処理を行うものであり、複数の入力映像は、フレームスイッチャ201により1本の映像に変換され、圧縮された後に記録される。画像処理部が1つで済むので、回路が簡単になる。しかし、この映像記録装置では、記録している映像しか画像処理を行えないという制限があった。図10は映像記録装置の他の構成例を示す図である。この映像記録装置では、画像圧縮部404に接続されるフレームスイッチャ401と画像処理部403に接続されるフレームスイッチャ402とが並列に設けられているので、記録映像しか画像処理を施せないという制限が解除される。なお、フレームスイッチャ201、401、402はフレームスイッチャ101と同一の回路構成を有する。
FIG. 8 is a diagram showing a configuration example of a 4-input type video recording apparatus. In this
図11はフレームスイッチャ101の構成例を示す図である。映像入力ポート621、622、623、624から入力された複数の映像は、それぞれ一時バッファ651、652、653、654に転送される。一時バッファ651〜654に格納されたデータは、バス制御部605によりフレームバッファ503に格納される。フレームバッファ503に格納された映像データは、制御部(図示せず)からの指示に従い、一時バッファ606に一旦蓄積された後、映像同期部608からの同期信号のタイミングに合わせて映像出力ポート607から出力される。
FIG. 11 is a diagram illustrating a configuration example of the
従来のフレームスイッチャは、複数の映像を1本の映像に変換するものであるので、その出力は映像1本分の情報しか有していない。例えば、15入力フレームスイッチャの場合、出力される映像のうち1/15ずつ各々の入力映像が占めることになる。具体的には、秒間約30フレームのNTSCの場合、各入力映像が秒間2フレームに間引きされた上で、それらを合計した秒間30フレームの映像が出力されることになる。 Since the conventional frame switcher converts a plurality of videos into one video, its output has only information for one video. For example, in the case of a 15-input frame switcher, each input video occupies 1/15 of the output video. Specifically, in the case of NTSC of about 30 frames per second, each input video is thinned out to 2 frames per second, and then a total of 30 frames of video is output.
図12は従来のフレームスイッチャにおける映像データの転送動作例を示す図である。図12には、フレームスイッチャ101のデジタル映像入力ポート621〜624に入力されたカメラA〜Dの映像中、映像フレーム501a〜501dを抜き出して、デジタル映像出力ポート607から出力する場合が示されている。出力する際、1本の映像に変換するために、フレームを並べ替える必要があり、映像フレームは出力されるまで待機することなる。この待機により、遅延が発生する。入力映像フレーム501aは遅延なく出力映像フレーム502aとして出力されるが、入力映像フレーム501bは遅延時間503bを持って出力映像フレーム502bとして出力される。同様に、入力映像フレーム501c、入力映像フレーム501dは、それぞれ遅延時間503c、503dを持って出力映像フレーム502c、502dとして出力される。
FIG. 12 is a diagram showing an example of video data transfer operation in a conventional frame switcher. FIG. 12 shows a case where
しかしながら、上記のような映像処理装置の構成では、以下に掲げる問題があった。すなわち、上記映像記録装置(図10参照)では、フレームスイッチャの増加分だけ回路構成が複雑になってしまう。また、後述するように、従来のフレームスイッチャを使用している限り、フレームスイッチャの出力帯域の制限による映像の見逃しが発生する。 However, the configuration of the video processing apparatus as described above has the following problems. That is, in the video recording apparatus (see FIG. 10), the circuit configuration becomes complicated by the increase of the frame switcher. Further, as will be described later, as long as a conventional frame switcher is used, an image may be overlooked due to the limitation of the output bandwidth of the frame switcher.
従来のフレームスイッチャは、記録する映像のみを画像圧縮部に向けて出力するので、例えば、3台のカメラ303a〜303cからの映像を記録し、カメラ303dを記録していない場合、フレームスイッチャの出力には、カメラ303dの映像は含まれず、画像処理を施すことができない。つまり、カメラ303dの映像上にどのような現象が発生しても、それらは全て見逃されることになる。
Since the conventional frame switcher outputs only the video to be recorded toward the image compression unit, for example, when the video from the three
また、フレームスイッチャにおいて、1つの入力に着目した場合、秒間2フレームという情報は、複雑な画像処理を行う場合、不充分な映像情報である。例えば、カメラ視界内を移動する人物の軌跡を追跡する場合、安定して追跡するためには、秒間10フレーム程度が必要であると言われており、秒間2フレームしか情報がない場合、人物を追いきれず、途中で見失う公算が大きい。 In addition, when focusing on one input in the frame switcher, information of 2 frames per second is insufficient video information when performing complex image processing. For example, when tracking the trajectory of a person moving in the camera field of view, it is said that about 10 frames per second is necessary for stable tracking. If there is only 2 frames per second, It is highly probable that they will not be able to catch up and will be lost on the way.
また、フレームスイッチャでは、遅延の間、映像フレームデータは、フレームバッファ503で待機することになる。したがって、遅延時間が長いほど、映像フレームデータを長い期間、フレームバッファ503に待機させておかなければならず、フレームバッファとして大きな容量のメモリが必要になる。このように、フレームスイッチャの出力帯域が制限されているので、従来のフレームスイッチャでは、画像処理部で人物等の注目対象の見逃しが発生する場合がある。
In the frame switcher, the video frame data waits in the
本発明は、上記事情に鑑みてなされたもので、複数の映像データを切り替えて外部に出力する構成において、入力映像に対する複雑な画像処理を行う場合などであっても、簡単な構成で、入力映像における人物等の注目対象の見逃しが無いようにすることが可能な映像切替装置、画像処理装置、映像記録装置、画像処理システムおよび映像記録システムを提供することを目的とする。 The present invention has been made in view of the above circumstances, and in a configuration in which a plurality of video data is switched and output to the outside, even when complex image processing is performed on an input video, the input can be performed with a simple configuration. It is an object of the present invention to provide a video switching device, an image processing device, a video recording device, an image processing system, and a video recording system that can prevent an object of interest such as a person in the video from being overlooked.
本発明の映像切替装置は、入力された複数の映像データを切り替えて外部に出力する映像切替装置であって、前記複数の映像データをそれぞれ入力する複数の映像入力手段と、前記複数の映像入力手段にそれぞれ設けられ、前記入力された映像データを一時記憶する複数の入力バッファと、前記複数の入力バッファから内部バスを介して転送される映像データを記憶するフレームメモリと、前記内部バスを制御するバス制御手段と、前記内部バスに接続され、前記バス制御手段から前記内部バスの制御権を獲得し、前記外部から前記フレームメモリへのアクセスを可能にする外部バス手段とを備えるものである。
これにより、複数の映像データを切り替えて外部に出力する構成において、入力映像に対する複雑な画像処理を行う場合などであっても、簡単な構成で、入力映像における人物等の注目対象の見逃しが無いようにすることが可能となる。
The video switching device of the present invention is a video switching device that switches a plurality of input video data and outputs the video data to the outside, and a plurality of video input means for inputting the plurality of video data respectively, and the plurality of video inputs And a plurality of input buffers for temporarily storing the input video data, a frame memory for storing video data transferred from the plurality of input buffers via an internal bus, and the internal bus. And a bus control unit that is connected to the internal bus, obtains a control right of the internal bus from the bus control unit, and enables access to the frame memory from the outside. .
As a result, even if complex image processing is performed on the input video in a configuration in which a plurality of video data is switched and output to the outside, the target object such as a person in the input video is not overlooked with a simple configuration. It becomes possible to do so.
また、本発明の一態様として、上記の映像切替装置であって、前記内部バスに接続され、前記フレームメモリから転送される映像データを一時記憶する出力バッファと、前記出力バッファに記憶された映像データを同期信号に従って出力する映像出力手段と、前記同期信号を生成する映像同期手段とを備えるものとする。
これにより、2種類の映像切替装置を1台で代用することができ、映像記録装置の構成を簡単化することができる。
According to another aspect of the present invention, there is provided the video switching device as described above, wherein the video buffer is connected to the internal bus and temporarily stores video data transferred from the frame memory, and the video stored in the output buffer. It is assumed that video output means for outputting data in accordance with a synchronization signal and video synchronization means for generating the synchronization signal are provided.
As a result, two types of video switching devices can be used instead, and the configuration of the video recording device can be simplified.
本発明の画像処理装置は、上記いずれか記載の映像切替装置と、複数のアナログ映像信号をそれぞれ入力する複数のアナログ映像信号入力手段と、前記入力された複数のアナログ映像信号をそれぞれ前記複数の映像データに変換する信号変換手段と、前記映像切替装置に前記外部バス手段を介して接続され、前記フレームメモリから読み出した映像データの画像処理を行う画像処理手段とを備えるものである。
これにより、映像データの画像処理を高速に行うことができ、入力映像に対する複雑な画像処理を行う場合などであっても、入力映像における人物等の注目対象の見逃しが無いようにすることが可能となる。
An image processing device according to the present invention includes any one of the video switching devices described above, a plurality of analog video signal input means for inputting a plurality of analog video signals, and the plurality of input analog video signals, respectively. Signal converting means for converting into video data, and image processing means connected to the video switching device via the external bus means for performing image processing of the video data read from the frame memory.
As a result, image processing of video data can be performed at high speed, and even if complex image processing is performed on the input video, it is possible to avoid missing an attention target such as a person in the input video. It becomes.
また、本発明の一態様として、上記の画像処理装置であって、前記フレームメモリは、前記画像処理手段が画像処理を行う際に用いるメインメモリとして共用されるものであるとする。これにより、メモリの増加を抑えることが可能となる。 As one aspect of the present invention, in the image processing apparatus described above, the frame memory is shared as a main memory used when the image processing means performs image processing. Thereby, an increase in memory can be suppressed.
また、本発明の一態様として、上記の画像処理装置であって、前記画像処理手段は、前記映像データに含まれる報知すべき状態の発生を示すアラーム条件を検出するものとする。これにより、画像処理の際に、映像データに含まれるアラーム条件を検出して出力可能である。 According to another aspect of the present invention, in the image processing apparatus, the image processing unit detects an alarm condition indicating occurrence of a state to be notified included in the video data. Thereby, it is possible to detect and output an alarm condition included in the video data during image processing.
また、本発明の一態様として、上記の画像処理装置であって、前記画像処理手段は、前記映像データに含まれる所定の特徴を示す特徴データを抽出するものとする。これにより、画像処理の際に、映像データに含まれる特徴データを抽出して出力可能である。 According to another aspect of the present invention, in the image processing apparatus described above, the image processing unit extracts feature data indicating a predetermined feature included in the video data. Thereby, the feature data included in the video data can be extracted and output during image processing.
また、本発明の一態様として、上記の画像処理装置であって、前記画像処理手段は、前記映像データの圧縮処理を行うものとする。 According to another aspect of the present invention, in the image processing apparatus, the image processing unit compresses the video data.
本発明の映像記録装置は、上記記載の映像切替装置と、複数のアナログ映像信号をそれぞれ入力する複数のアナログ映像信号入力手段と、前記入力された複数のアナログ映像信号をそれぞれ前記複数の映像データに変換する信号変換手段と、前記映像切替装置に前記映像出力手段を介して接続され、前記出力される映像データを蓄積する蓄積手段とを備えるものである。
これにより、映像記録装置の構成を簡単化することができ、映像記録装置において、入力映像に対する複雑な画像処理を行う場合などであっても、簡単な構成で、入力映像における人物等の注目対象の見逃しが無いようにすることが可能となる。
The video recording apparatus of the present invention includes the above-described video switching device, a plurality of analog video signal input means for inputting a plurality of analog video signals, and the plurality of input analog video signals to the plurality of video data, respectively. Signal converting means for converting the image data to the video switching device, and storage means for storing the output video data connected to the video switching device via the video output means.
As a result, the configuration of the video recording device can be simplified, and even if complex video processing is performed on the input video in the video recording device, the target of attention such as a person in the input video can be obtained with a simple configuration. It becomes possible not to miss.
本発明の画像処理システムは、上記記載の画像処理装置と、前記画像処理装置によって抽出された特徴データを蓄積するデータベース手段と、前記データベース手段に蓄積された特徴データを検索する検索手段とを備えるものである。
これにより、特徴データの蓄積および検索を行う画像処理システムにおいて、入力映像に対する複雑な画像処理を行う場合などであっても、簡単な構成で、入力映像における人物等の注目対象の見逃しが無いようにすることが可能となる。
An image processing system according to the present invention includes the above-described image processing apparatus, database means for storing feature data extracted by the image processing apparatus, and search means for searching for feature data stored in the database means. Is.
As a result, in an image processing system that stores and retrieves feature data, even if complex image processing is performed on an input video, it is possible to prevent a target of interest such as a person in the input video from being overlooked with a simple configuration. It becomes possible to.
また、本発明の一態様として、上記の画像処理システムであって、前記データベース手段は、前記画像処理装置の外部に設けられ、ネットワークを介して接続されるものとする。また、本発明の一態様として、上記の画像処理システムであって、前記データベース手段は、前記画像処理装置の内部に設けられるものとする。 According to another aspect of the present invention, in the image processing system described above, the database unit is provided outside the image processing apparatus and connected via a network. According to another aspect of the present invention, in the image processing system described above, the database unit is provided in the image processing apparatus.
本発明の映像記録システムは、上記記載の画像処理システムと、前記映像データを蓄積する蓄積手段と、前記検索手段で検索された特徴データを基に、前記蓄積された映像データを読み出す映像読出手段と、前記読み出された映像データを表示する表示手段とを備えるものである。
これにより、映像データを蓄積して表示する映像記録システムにおいて、入力映像に対する複雑な画像処理を行う場合などであっても、簡単な構成で、入力映像における人物等の注目対象の見逃しが無いようにすることが可能となる。
A video recording system according to the present invention includes the above-described image processing system, storage means for storing the video data, and video reading means for reading out the stored video data based on the feature data searched by the search means. And display means for displaying the read video data.
As a result, in a video recording system that accumulates and displays video data, even if complex image processing is performed on the input video, etc., it is possible to ensure that the target object such as a person in the input video is not overlooked with a simple configuration. It becomes possible to.
本発明によれば、複数の映像データを切り替えて外部に出力する構成において、入力映像に対する複雑な画像処理を行う場合などであっても、簡単な構成で、入力映像における人物等の注目対象の見逃しが無いようにすることが可能な映像切替装置、画像処理装置、映像記録装置、画像処理システムおよび映像記録システムを提供できる。 According to the present invention, in a configuration in which a plurality of video data is switched and output to the outside, even if complex image processing is performed on the input video, the target of interest such as a person in the input video can be simplified. It is possible to provide a video switching device, an image processing device, a video recording device, an image processing system, and a video recording system that can be prevented from being overlooked.
本実施形態では、映像監視システム等に用いられる映像記録装置、およびこの映像記録装置における映像切替装置、画像処理装置の構成例を示す。 In the present embodiment, a configuration example of a video recording device used in a video monitoring system and the like, and a video switching device and an image processing device in the video recording device are shown.
(第1の実施形態)
図1は本発明の第1の実施形態に係る映像記録装置の構成を示す図である。本実施形態の映像記録装置1は、映像切替装置の機能を有するフレームスイッチャ11、12、画像圧縮部14、蓄積手段の機能を有するストレージ15、画像処理手段の機能を有する画像処理部16、信号変換手段の機能を有するビデオ信号デコーダ17、および制御部19を有する。この映像記録装置1には、アナログ映像信号入力手段の機能を有する4本のアナログ映像入力端子18a〜18dが設けられており、4台のカメラ31〜34がそれぞれのアナログ映像入力端子18a〜18dに接続されている。
(First embodiment)
FIG. 1 is a diagram showing the configuration of a video recording apparatus according to the first embodiment of the present invention. The
各アナログ映像入力端子18a〜18dから入力された映像信号は、ビデオ信号デコーダ17によってデジタルデータ化された後、フレームスイッチャ11に入力される。フレームスイッチャ11は、図11に示したものと同様の構成を有するフレームスイッチであり、入力された4本の映像データを1本の映像データに変換して出力する。変換された映像データは、画像圧縮部14で圧縮され、ストレージ15に記録される。
Video signals input from the analog
また、ビデオ信号デコーダ17によってデジタルデータ化された映像データは、フレームスイッチャ11の前で分岐し、フレームスイッチャ12にも入力される。フレームスイッチャ12の構成については後述する。フレームスイッチャ12には、画像処理部16が接続されており、画像処理部16は、フレームスイッチャ12内のフレームメモリから必要な分だけの映像データを取得し、取得した映像データに対して画像処理を施す。
The video data converted into digital data by the
ここで、画像処理部16によって施される画像処理としては、アラーム検出処理、特徴検出処理および画像加工処理がある。アラーム検出処理は、入力映像から報知すべき状態の発生を示すアラーム条件を探索し、アラーム条件が満たされた場合、制御部19にアラームイベントを発行する処理である。特徴検出処理は、入力映像から所定の特徴を示す特徴条件を探索し、特徴条件が満たされた場合、該当する特徴データを抽出して制御部19に報告する。アラーム条件や特徴条件として、指定された領域上の映像の変化、人物の検出、自動車の検出、指定された領域への人物の侵入、立ち止まる、周囲を見回す、倒れる等の人物の動作、特定の特徴、例えば服装、持ち物、容貌等を持つ人物の発見、物の置き去り、持ち去りなどが挙げられる。また、画像加工処理は、圧縮、フォーマット変換、レート変換、複数の入力映像の合成、画像や文字の合成などを行う処理である。なお、画像加工処理として圧縮を扱う場合、図1の映像記録装置の構成のうち、記録のためのフレームスイッチャ11および画像圧縮部14を代用できるので、これらを省き、画像処理部16からストレージ15に記録することも可能である。
Here, the image processing performed by the
図2は第1の実施形態におけるフレームスイッチャ12の構成を示すブロック図である。フレームスイッチャ12は、フレームメモリの機能を有するメモリ23、バス制御手段の機能を有するバス制御部(バスアービタ)25、外部バス手段の機能を有する外部バスポート26、入力バッファの機能を有する一時バッファ41、42、43、44、DMA(Direct Memory Access)コントローラ47および割込制御部48が内部バス24を介して接続され、一時バッファ41〜44には、それぞれ映像入力手段の機能を有する映像入力ポート51〜54が接続された構成を有する。映像入力ポート51〜54は、入力されるデジタル映像データのフォーマットを解析し、全ての映像データまたは有効な映像データを一時バッファ41〜44に蓄積する。一時バッファ41〜44に映像データが蓄積されると、DMAコントローラ47が起動し、バス制御部25から内部バス24の制御権を獲得し、映像データをメモリ23に転送する。映像データの転送が完了すると、割込制御部48はフレームスイッチャ12の外部(画像処理部16)に割り込み信号を発生させるとともに、外部バスポート26のレジスタに転送完了フラグをセットする。
FIG. 2 is a block diagram showing the configuration of the
割り込み信号を受けた画像処理部16は、外部バスポート26にアクセスし、メモリ23へのアクセスを要求する。外部バスポート26がバス制御部25から内部バス24の制御権を獲得すると、画像処理部16は、メモリ23へのアクセスが可能となり、要求されるデータをメモリ23から直接読み込む。ここで、画像処理部16は、メモリ23をメインメモリとして共用してもよい。
Upon receiving the interrupt signal, the
なお、上記実施形態では、外部バスポート26がバス制御部25からバス制御権を獲得する構成であったが、外部バスポート26を省き、内部バスと外部バスを直結し、画像処理部がバス制御部から直接にバス制御権を獲得する構成であってもよい。また、映像入力ポート51〜54は、設定された条件に従って、一定サイクル毎に映像フレームを破棄してもよい。また、割り込みの発生条件は、映像データの転送以外に、事前に設定されてもよい。このとき設定される割り込みの発生条件とは、映像入力ポートから映像データが決められた量だけ転送された場合、指定された順番に映像入力ポートから入力された映像データが転送された場合、映像入力ポートからの映像データ入力速度が閾値を越えた場合、不正な映像データを検出した場合、映像データのブランク期間に有効なデータを発見した場合、外部の映像デコーダや映像解析部(図示せず)からイベント入力があった場合などが挙げられる。これらの設定は、外部バスポート26を通してなされてもよい。
In the above embodiment, the
ここで、本実施形態のフレームスイッチャ12のスループットについて考察する。フレームスイッチャ12では、内部バスまたは外部バスの速度のうちどちらか遅い方までスループットを上げることが可能である。例えば、32ビット40MHzバスの場合、スループットは1280Mbpsとなる。これは、約6本分の映像に相当する。一方、従来のフレームスイッチャでは、映像フォーマットをITU−R BT.656とすると、スループットは約216Mbpsとなる。このため、従来では、カメラ4台の合計で秒間120フレームのうち、画像処理部は30フレームしか受け取ることができなかったが、本実施形態では、全情報である秒間120フレームを受け取ることも可能である。これにより、見逃しの無い画像処理を行うことができる。また、スループットが上げられたことにより、メモリ23のサイズを小さくすることができる。
Here, the throughput of the
図3は本実施形態のフレームスイッチャ12における映像データの転送動作例を示す図である。図では、映像フレーム55a〜55dを抜き出して出力することが示されている。前述したように、本実施形態のフレームスイッチャ12は、従来に比べて大きなスループットを有するので、同時に4本の映像データを出力することが可能である。図3において入力された映像フレーム55a〜55dは、バス上の映像フレーム群56として待機することなく出力される。待機時間が無くなるので、前述したように、メモリ23を小さなもので済ますことができる。
FIG. 3 is a diagram showing an example of video data transfer operation in the
このように、第1の実施形態の映像記録装置によれば、従来の構成に比べ、出力用の一時バッファおよび映像同期回路を不要にすることができる。したがって、簡単な回路でフレームスイッチャを構成することができる。また、入力映像に対して複雑な画像処理を行う場合であっても、入力映像における人物等の注目する対象の見逃しが無い画像処理を行うことができる。 As described above, according to the video recording apparatus of the first embodiment, the temporary buffer for output and the video synchronization circuit can be eliminated as compared with the conventional configuration. Therefore, the frame switcher can be configured with a simple circuit. Further, even when complex image processing is performed on the input video, it is possible to perform image processing without missing an object of interest such as a person in the input video.
なお、上記実施形態では、入力される映像は、アナログ映像信号であったが、デジタル映像データであってもよい。デジタル映像データとしては、IEEE1394やEthernet(登録商標)などのネットワークを通してネットワークインタフェース(ネットワークIF)から入力される、JPEG、MPEG、ウェーブレット圧縮等のデジタル圧縮されたデータが挙げられる。デジタル圧縮データは、デジタル圧縮デコーダによりデコードされてフレームスイッチャに入力されるか、またはデジタル圧縮されたままフレーム境界情報だけがデコードされてフレームスイッチャに入力されてもよい。これにより、ネットワークから転送されるデジタル圧縮データを扱うことができる。 In the above embodiment, the input video is an analog video signal, but it may be digital video data. Examples of digital video data include digitally compressed data such as JPEG, MPEG, and wavelet compression that are input from a network interface (network IF) through a network such as IEEE 1394 or Ethernet (registered trademark). The digital compressed data may be decoded by a digital compression decoder and input to the frame switcher, or only the frame boundary information may be decoded and input to the frame switcher while being digitally compressed. This makes it possible to handle digitally compressed data transferred from the network.
(第2の実施形態)
図4は本発明の第2の実施形態に係る映像記録装置の構成を示す図である。前記第1の実施形態と同一の構成部分については同一の符号を用いることによりその説明を省略する。
(Second Embodiment)
FIG. 4 is a diagram showing a configuration of a video recording apparatus according to the second embodiment of the present invention. The same components as those in the first embodiment are denoted by the same reference numerals and the description thereof is omitted.
映像記録装置61は、ビデオ信号デコーダ17、フレームスイッチャ11、12、画像圧縮部14、ストレージ15および画像処理部16の他、データベース手段の機能を有するデータベース62、検索手段の機能を有する検索部63、映像読出手段および表示手段の機能を有する映像表示部64、およびユーザインタフェース(ユーザIF)65を備える。また、映像記録装置61には、4本のアナログ映像入力端子18a〜18dが設けられており、4台のカメラ31〜34はそれぞれのアナログ映像入力端子18a〜18dに接続されている。
The
データベース62には、画像処理部16で処理された特徴データが登録される。ユーザがユーザIF65を介して検索部63を起動すると、検索部63はデータベース62から特徴データを検索する。検索部63によって検索された特徴データを基に、映像表示部64は、特徴データに関連した、ストレージ5に格納されている映像データを読み出して表示する。
Feature data processed by the
ここで、データベース62に登録される特徴データには、カメラ番号、映像機器番号、時刻情報またはフレーム番号が含まれる。特徴データとして、指定されたエリアの映像の変化、指定したシーケンスにおける映像の変化、自動車の検出、自動車のサイズ、自動車のナンバープレート、自動車の色、自動車の車種、自動車の移動経路、自動車の駐停車、人物の検出、人物のサイズ、人物の顔、人物の服の色、人物の移動経路や立ち止まり、人物の目線移動経路、人物の持ち物、人物の持ち物の置き去りや持ち去りなどが挙げられる。
Here, the feature data registered in the
このように、第2の実施形態の映像記録装置によれば、映像データの画像処理によって得られた特徴データを用いて検索することにより、ストレージに蓄積された映像データの中から所望の映像データを簡単に表示させることができる。 As described above, according to the video recording apparatus of the second embodiment, desired video data is retrieved from video data stored in the storage by searching using feature data obtained by image processing of video data. Can be displayed easily.
(第3の実施形態)
図5は本発明の第3の実施形態に係る映像記録システムの構成を示す図である。前記第1、第2の実施形態と同一の構成部分については同一の符号を用いることによりその説明を省略する。
(Third embodiment)
FIG. 5 is a diagram showing a configuration of a video recording system according to the third embodiment of the present invention. The same components as those in the first and second embodiments are denoted by the same reference numerals, and the description thereof is omitted.
この映像記録システムは、映像記録装置71にデータベース手段の機能を有するデータベースサーバ75が接続された構成となっている。映像記録装置71は、ビデオ信号デコーダ17、フレームスイッチャ11、12、画像圧縮部14、ストレージ15、画像処理部16および映像表示部64の他、ネットワークインタフェース(ネットワークIF)72、および通信制御部73を備える。
This video recording system has a configuration in which a
映像記録装置71は、画像処理部16で処理された特徴データをネットワークIF72を介してデータベースサーバ75に登録する。ユーザは、図示しないユーザインタフェースを介して、あるいは直接にデータベースサーバ75を操作し、特徴データを検索する。映像記録装置71は、ネットワークに繋がるネットワークIF72を介して、データベースサーバ75、あるいはユーザ端末装置(図示せず)またはシステムコントローラ(図示せず)から制御される。通信制御部73は、ネットワークIF72を介したネットワークからの指示にしたがって、映像表示部64を制御する。映像表示部64は、検索された特徴データに関連した、ストレージ15に格納されている映像データを読み出して表示する。ここで、データベースサーバ75に登録されている特徴データは、第2の実施形態におけるデータベース62に登録された特徴データと同じである。
The
このように、第3の実施形態の映像記録システムによれば、映像データの画像処理によって得られた特徴データを用いて、外部から検索することにより、ストレージに蓄積された映像データの中から所望の映像データを簡単に表示させることができる。 As described above, according to the video recording system of the third embodiment, by using the feature data obtained by the image processing of the video data and searching from outside, desired video data stored in the storage can be obtained. Video data can be displayed easily.
(第4の実施形態)
図6は本発明の第4の実施形態に係る映像記録装置の構成を示す図である。前記第1、第2、第3の実施形態と同一の構成部分については同一の符号を用いることによりその説明を省略する。
(Fourth embodiment)
FIG. 6 is a diagram showing a configuration of a video recording apparatus according to the fourth embodiment of the present invention. The same components as those in the first, second, and third embodiments are denoted by the same reference numerals, and the description thereof is omitted.
映像記録装置81は、ビデオ信号デコーダ17、フレームスイッチャ83、画像圧縮部14、画像処理部16、およびストレージ15を備える。また、映像記録装置81には、4本のアナログ映像入力端子18a〜18dが設けられており、4台のカメラ31〜34は各アナログ映像入力端子18a〜18dに接続される。
The
各アナログ映像入力端子18a〜18dから入力された映像信号は、ビデオ信号デコーダ17によってデジタルデータ化された後、フレームスイッチャ83に入力される。フレームスイッチャ83は、入力された4本の映像データを1本の映像データに変換し、後述する映像出力ポート86から出力する。変換された映像データは、画像圧縮部14で圧縮され、ストレージ15に記録される。また、画像処理部16は、フレームスイッチャ83内のメモリ23から必要な分だけの映像データを、外部バスポート26を介して取得し、取得した映像データに対して画像処理を施す。
Video signals input from the analog
図7は第4の実施形態におけるフレームスイッチャ83の構成を示すブロック図である。前記第1の実施形態と同一の構成部分については同一の符号を用いることにする。フレームスイッチャ83は、メモリ23、バス制御部25、外部バスポート26、入力用の一時バッファ41、42、43、44、出力バッファの機能を有する出力用の一時バッファ85、DMAコントローラ47および割込制御部48が内部バス24を介して接続され、一時バッファ41〜44には、それぞれ映像入力ポート51〜54が接続され、一時バッファ85には、映像出力手段の機能を有する映像出力ポート86が接続された構成を有する。また、映像出力用の同期信号を生成して映像出力ポート86へ出力する映像同期手段の機能を有する映像同期部87を備える。
FIG. 7 is a block diagram showing the configuration of the
映像入力ポート51〜54は、入力されるデジタル映像データのフォーマットを解析し、全ての映像データまたは有効な映像データを一時バッファ41〜44に蓄積する。一時バッファ41〜44に映像データが蓄積されると、DMAコントローラ47が起動し、バス制御部25から内部バス24の制御権を獲得し、映像データをメモリ23に転送する。
The
一時バッファ41〜44からメモリ23への映像データの転送が完了すると、割込制御部48はフレームスイッチャ83の外部(画像処理部16)に割り込み信号を発生させるとともに、外部バスポート26のレジスタに転送完了フラグをセットする。割り込み信号を受けた画像処理部16は、外部バスポート26にアクセスし、メモリ23へのアクセスを要求する。外部バスポート26がバス制御部25から内部バス24の制御権を獲得すると、画像処理部16は、メモリ23へのアクセスが可能となり、要求されたデータをメモリ23から直接読み込む。
When the transfer of the video data from the
また、一時バッファ41〜44からメモリ23への映像データの転送が完了すると、映像同期部87で生成されるタイミングに合わせて、DMAコントローラ47が起動し、メモリ23上の映像データを一時バッファ85に転送する。一時バッファ85に格納された映像データは、映像同期部87からの同期信号に合わせて映像出力ポート86から出力される。なお、このメモリ23から一時バッファ85への映像データの転送は、例えば、外部バスポート26が内部バス24の制御権を開放した後に行われるようにしてもよい。
When the transfer of the video data from the
このように、第4の実施形態によれば、フレームスイッチャ83を用いることにより、2種類のフレームスイッチャ(図1の第1の実施形態で示したフレームスイッチャ11、12)を代用することができ、映像記録装置の構成をより簡単化することができる。
Thus, according to the fourth embodiment, by using the
本発明は、入力映像に対する複雑な画像処理を行う場合などであっても、簡単な構成で、入力映像における人物等の注目対象の見逃しが無いようにすることが可能となる効果を有し、入力された複数の映像データを切り替えて外部に出力する映像切替装置、画像処理装置、映像記録装置、画像処理システムおよび映像記録システム等に有用である。 The present invention has an effect that, even when performing complex image processing on an input video, etc., it is possible to prevent oversight of a target of interest such as a person in the input video with a simple configuration, The present invention is useful for a video switching device, an image processing device, a video recording device, an image processing system, a video recording system, and the like that switch a plurality of input video data and output them to the outside.
1、61、71、81 映像記録装置
11、12、83 フレームスイッチャ
14 画像圧縮部
15 ストレージ
16 画像処理部
17 ビデオ信号デコーダ
19 制御部
23 メモリ(フレームメモリ)
24 内部バス
25 バス制御部
26 外部バスポート
31〜34 カメラ
41〜44、85 一時バッファ
47 DMAコントローラ
48 割込制御部
51〜54 映像入力ポート
62 データベース
63 検索部
64 映像表示部
65 ユーザインタフェース(ユーザIF)
72 ネットワークインタフェース(ネットワークIF)
73 通信制御部
75 データベースサーバ
86 映像出力ポート
87 映像同期部
1, 61, 71, 81
24
72 Network interface (network IF)
73
Claims (12)
前記複数の映像データをそれぞれ入力する複数の映像入力手段と、
前記複数の映像入力手段にそれぞれ設けられ、前記入力された映像データを一時記憶する複数の入力バッファと、
前記複数の入力バッファから内部バスを介して転送される映像データを記憶するフレームメモリと、
前記内部バスを制御するバス制御手段と、
前記内部バスに接続され、前記バス制御手段から前記内部バスの制御権を獲得し、前記外部から前記フレームメモリへのアクセスを可能にする外部バス手段と
を備える映像切替装置。 A video switching device that switches a plurality of input video data and outputs the data to the outside.
A plurality of video input means for inputting the plurality of video data respectively;
A plurality of input buffers provided respectively in the plurality of video input means and temporarily storing the input video data;
A frame memory for storing video data transferred from the plurality of input buffers via an internal bus;
Bus control means for controlling the internal bus;
A video switching device comprising: external bus means connected to the internal bus, acquiring control authority for the internal bus from the bus control means, and enabling access to the frame memory from the outside.
前記内部バスに接続され、前記フレームメモリから転送される映像データを一時記憶する出力バッファと、
前記出力バッファに記憶された映像データを同期信号に従って出力する映像出力手段と、
前記同期信号を生成する映像同期手段とを備える映像切替装置。 The video switching device according to claim 1,
An output buffer connected to the internal bus and temporarily storing video data transferred from the frame memory;
Video output means for outputting video data stored in the output buffer according to a synchronization signal;
A video switching device comprising video synchronization means for generating the synchronization signal.
複数のアナログ映像信号をそれぞれ入力する複数のアナログ映像信号入力手段と、
前記入力された複数のアナログ映像信号をそれぞれ前記複数の映像データに変換する信号変換手段と、
前記映像切替装置に前記外部バス手段を介して接続され、前記フレームメモリから読み出した映像データの画像処理を行う画像処理手段と
を備える画像処理装置。 The video switching device according to claim 1 or 2,
A plurality of analog video signal input means for inputting a plurality of analog video signals respectively;
Signal converting means for converting the input plurality of analog video signals into the plurality of video data respectively;
An image processing apparatus comprising: an image processing unit connected to the video switching device via the external bus unit and performing image processing of video data read from the frame memory.
前記フレームメモリは、前記画像処理手段が画像処理を行う際に用いるメインメモリとして共用されるものである画像処理装置。 The image processing apparatus according to claim 3,
The frame memory is an image processing apparatus shared as a main memory used when the image processing means performs image processing.
前記画像処理手段は、前記映像データに含まれる報知すべき状態の発生を示すアラーム条件を検出する画像処理装置。 The image processing apparatus according to claim 3,
The image processing device detects an alarm condition indicating occurrence of a state to be notified included in the video data.
前記画像処理手段は、前記映像データに含まれる所定の特徴を示す特徴データを抽出する画像処理装置。 The image processing apparatus according to claim 3,
The image processing device is an image processing device for extracting feature data indicating a predetermined feature included in the video data.
前記画像処理手段は、前記映像データの圧縮処理を行う画像処理装置。 The image processing apparatus according to claim 3,
The image processing means is an image processing device that performs compression processing of the video data.
複数のアナログ映像信号をそれぞれ入力する複数のアナログ映像信号入力手段と、
前記入力された複数のアナログ映像信号をそれぞれ前記複数の映像データに変換する信号変換手段と、
前記映像切替装置に前記映像出力手段を介して接続され、前記出力される映像データを蓄積する蓄積手段と
を備える映像記録装置。 A video switching device according to claim 2,
A plurality of analog video signal input means for inputting a plurality of analog video signals respectively;
Signal converting means for converting the input plurality of analog video signals into the plurality of video data respectively;
A video recording device comprising: storage means connected to the video switching device via the video output means and for storing the output video data.
前記画像処理装置によって抽出された特徴データを蓄積するデータベース手段と、
前記データベース手段に蓄積された特徴データを検索する検索手段と
を備える画像処理システム。 An image processing apparatus according to claim 6;
Database means for storing feature data extracted by the image processing device;
An image processing system comprising: search means for searching for feature data stored in the database means.
前記データベース手段は、前記画像処理装置の外部に設けられ、ネットワークを介して接続される画像処理システム。 The image processing system according to claim 9,
The database means is an image processing system provided outside the image processing apparatus and connected via a network.
前記データベース手段は、前記画像処理装置の内部に設けられる画像処理システム。 The image processing system according to claim 9,
The database means is an image processing system provided in the image processing apparatus.
前記映像データを蓄積する蓄積手段と、
前記検索手段で検索された特徴データを基に、前記蓄積された映像データを読み出す映像読出手段と、
前記読み出された映像データを表示する表示手段と
を備える映像記録システム。 An image processing system according to claim 9;
Storage means for storing the video data;
Video reading means for reading out the stored video data based on the feature data searched by the search means;
A video recording system comprising: display means for displaying the read video data.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004276645A JP4549144B2 (en) | 2004-09-24 | 2004-09-24 | Video switching device, image processing device, video recording device, image processing system, and video recording system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004276645A JP4549144B2 (en) | 2004-09-24 | 2004-09-24 | Video switching device, image processing device, video recording device, image processing system, and video recording system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006094100A JP2006094100A (en) | 2006-04-06 |
JP4549144B2 true JP4549144B2 (en) | 2010-09-22 |
Family
ID=36234646
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004276645A Expired - Fee Related JP4549144B2 (en) | 2004-09-24 | 2004-09-24 | Video switching device, image processing device, video recording device, image processing system, and video recording system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4549144B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6664920B2 (en) * | 2015-09-30 | 2020-03-13 | グローリー株式会社 | Surveillance camera system and surveillance method |
US20240046508A1 (en) * | 2021-03-23 | 2024-02-08 | Nec Corporation | Determination apparatus, determination method, determination system, and non-transitory computer-readable medium storing program |
-
2004
- 2004-09-24 JP JP2004276645A patent/JP4549144B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2006094100A (en) | 2006-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11042770B2 (en) | Artificial intelligence based image data processing method and image sensor | |
US8780214B2 (en) | Imaging apparatus using shorter and larger capturing intervals during continuous shooting function | |
JP2017515368A (en) | Video camera with capture mode | |
US8780203B2 (en) | Video recording apparatus, video recording system and video recording method executed by video recording apparatus | |
JP2008228232A (en) | Image pickup device and method, program, and storage medium | |
JP2006238102A (en) | Imaging apparatus and method for distributing image | |
JP4794938B2 (en) | Monitoring system, monitoring device, monitoring method, and program | |
US20170208348A1 (en) | System and method for multiple video playback | |
US6683642B1 (en) | Digital camera using separate buses for transferring DMA processed data and CPU processed data | |
JPH11146326A (en) | Image retrieval method and image retrieval device | |
KR20100138168A (en) | Video surveillance system and video surveillance method thereof | |
JP4549144B2 (en) | Video switching device, image processing device, video recording device, image processing system, and video recording system | |
US11212484B2 (en) | Photographing device outputting tagged image frames | |
WO2001008416A1 (en) | Digital image recording system | |
EP1278378A1 (en) | Recording apparatus, special playback system, medium and information object | |
JP3632028B2 (en) | Multi-channel video compression method and apparatus | |
US20100053326A1 (en) | Image sensor, the operating method and usage thereof | |
US20100195989A1 (en) | Image reproducing apparatus and image reproducing method | |
JP2003046939A (en) | Electronic camera and control ic for electronic camera | |
US20200380267A1 (en) | Object trajectory augmentation on a newly displayed video stream | |
JP2007324663A (en) | Video camera | |
JPH11308560A (en) | Electronic camera | |
TWI815759B (en) | Electronic system and image aggregation method thereof | |
KR102437755B1 (en) | System for Managing Adaptive Frame for Real Time Object Detection and Method for Controlling Adaptive Frame Using the Same | |
US10412301B2 (en) | Image processing apparatus and image capturing apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070920 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20071113 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071120 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100527 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100608 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100706 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130716 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |