JP6266946B2 - Surveillance camera and image monitoring device - Google Patents
Surveillance camera and image monitoring device Download PDFInfo
- Publication number
- JP6266946B2 JP6266946B2 JP2013224137A JP2013224137A JP6266946B2 JP 6266946 B2 JP6266946 B2 JP 6266946B2 JP 2013224137 A JP2013224137 A JP 2013224137A JP 2013224137 A JP2013224137 A JP 2013224137A JP 6266946 B2 JP6266946 B2 JP 6266946B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- resolution
- recognition
- block
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012806 monitoring device Methods 0.000 title description 4
- 238000012544 monitoring process Methods 0.000 claims description 75
- 238000006243 chemical reaction Methods 0.000 claims description 40
- 230000008859 change Effects 0.000 claims description 30
- 238000004891 communication Methods 0.000 claims description 27
- 238000000605 extraction Methods 0.000 claims description 20
- 238000012545 processing Methods 0.000 description 26
- 238000000034 method Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 18
- 230000005856 abnormality Effects 0.000 description 11
- 238000003384 imaging method Methods 0.000 description 10
- 230000033001 locomotion Effects 0.000 description 9
- 239000000284 extract Substances 0.000 description 5
- 230000009467 reduction Effects 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Landscapes
- Burglar Alarm Systems (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Description
本発明は、監視領域を撮影する監視カメラ、及び、当該監視カメラが撮影した画像を用いて監視領域の状態を認識する画像監視装置に関する。 The present invention relates to a monitoring camera that captures a monitoring area, and an image monitoring apparatus that recognizes the state of the monitoring area using an image captured by the monitoring camera.
近年、防犯意識の高まりから監視カメラの設置数は増加しており、監視カメラにより撮影した画像から侵入者等の物体を画像認識する研究も盛んに行われている。 In recent years, the number of surveillance cameras installed has increased due to the increased awareness of crime prevention, and research on recognizing objects such as intruders from images taken by surveillance cameras has been actively conducted.
画像認識においては、画像上で、認識対象とする物体に当該物体と色の類似した領域が接しているときに認識精度が低下する問題がある。例えば、白いシャツを着用した人物が白い壁の前に立っている画像、白いシャツを着用した複数の人物が重なり合って写った画像に対して認識精度が低下する。この原因として物体の輪郭部におけるエッジ強度の低下が挙げられる。 In the image recognition, there is a problem that the recognition accuracy is lowered when a region similar in color to the object is in contact with the object to be recognized on the image. For example, the recognition accuracy decreases for an image in which a person wearing a white shirt stands in front of a white wall and an image in which a plurality of persons wearing white shirts are superimposed. The cause of this is a decrease in edge strength at the contour of the object.
一方で、監視カメラの高解像度化が進んでいる。解像度の高い監視画像を利用すれば、物体の輪郭におけるエッジ強度の低下が抑制されるため、色の類似した領域が接している物体に対して認識精度向上が期待できる。しかし、解像度の高い監視画像はデータ量が多いため、高解像度のままで利用すると処理量、通信量が増大して装置がコスト高となる。 On the other hand, the resolution of surveillance cameras is increasing. If a high-resolution monitoring image is used, a reduction in edge strength in the contour of the object is suppressed, so that an improvement in recognition accuracy can be expected for an object that is in contact with a region having a similar color. However, since a high-resolution monitoring image has a large amount of data, if it is used with a high resolution, the processing amount and communication amount increase, resulting in an increase in cost of the apparatus.
通信量、記憶容量を低減する観点から監視カメラ側でデータ量を削減する監視システムが提案されている。例えば、特許文献1に記載の監視システムは、監視領域を撮影した監視カメラの受光素子から間引いて読み出した低解像度画像から動き領域或いは人物領域を特徴領域として検出し、受光素子から読み出した特徴領域の高解像度画像を監視領域の低解像度画像とともに送信する。 A monitoring system that reduces the amount of data on the monitoring camera side has been proposed from the viewpoint of reducing communication volume and storage capacity. For example, the monitoring system described in Patent Document 1 detects a motion area or a person area as a feature area from a low-resolution image read out by thinning out a light-receiving element of a monitoring camera that has captured the monitoring area, and reads the feature area from the light-receiving element. Are transmitted together with the low-resolution image of the monitoring area.
しかしながら、従来技術では、監視カメラ側から動き領域或いは人物領域の全体を高解像度画像として送信するため、データ量削減が十分でなく、画像監視装置のコストを低減する余地があった。例えば、色の類似した領域同士が接している領域においては高精度な画像認識を行うために高解像度を要するが、そうでない領域においては低解像度であっても高精度な画像認識が可能であるため、その分だけデータ量削減の余地がある。 However, in the prior art, since the entire motion area or person area is transmitted as a high resolution image from the monitoring camera side, the amount of data is not sufficiently reduced, and there is room for reducing the cost of the image monitoring apparatus. For example, high-resolution image recognition is required for high-accuracy image recognition in areas where similar-colored areas are in contact with each other, but high-precision image recognition is possible even in low-resolution areas. Therefore, there is room for reducing the amount of data accordingly.
また、従来技術では、特徴領域について高解像度画像と低解像度画像の両方が送信されるため、データ量削減が十分でなく、画像監視装置のコストを低減する余地があった。 In the prior art, since both the high resolution image and the low resolution image are transmitted for the feature region, the amount of data is not sufficiently reduced, and there is room for reducing the cost of the image monitoring apparatus.
また、従来技術では、低解像度画像を解析して特徴領域を検出するため、背景と類似した色を有する物体の一部又は全部を検出し損ねる可能性が高まり、認識精度が低下するおそれがあった。 In addition, in the prior art, since a feature region is detected by analyzing a low-resolution image, there is a high possibility that a part or all of an object having a color similar to the background may be missed and recognition accuracy may be reduced. It was.
また、従来技術では、特徴領域が検出されると高解像度画像と低解像度画像の両方が送信され、特徴領域が検出されないと低解像度画像のみが送信される。このように特徴領域の有無によって送信フレーム数が変動すると、これらを受信して処理する画像認識装置側の設計が複雑化し、画像監視装置のコスト高の要因となる。 Further, in the prior art, when a feature region is detected, both a high resolution image and a low resolution image are transmitted, and when a feature region is not detected, only a low resolution image is transmitted. As described above, when the number of transmission frames varies depending on the presence / absence of a feature region, the design of the image recognition apparatus that receives and processes these frames becomes complicated, which causes a high cost of the image monitoring apparatus.
本発明は、上記問題を鑑みてなされたものであり、監視領域に存在する物体や背景の色によらず当該物体の認識処理に有用な解像度の画像を少ないデータ量で出力可能な監視カメラを提供すること、及び、該監視カメラを用いた画像監視装置を提供することを目的とする。 The present invention has been made in view of the above problems, and provides a monitoring camera that can output an image of a resolution useful for recognition processing of an object with a small amount of data regardless of the object existing in the monitoring area and the color of the background. It is an object of the present invention to provide an image monitoring apparatus using the monitoring camera.
係る課題を解決するために本発明は、監視領域を撮影して第一解像度の撮影画像を生成する撮影部と、撮影画像を複数のブロックに区分して各ブロックを構成する画素間の輝度変化量を算出し、輝度変化量を予め定めた1又は複数の閾値と比較して各ブロックに含まれるエッジの強度が強いほど高い段階となるように複数段階に分けるエッジレベル推定部と、撮影画像において少なくとも段階が最低段階であるブロックを第一解像度よりも低い第二解像度の画像に置換して認識用画像を生成する解像度変換部と、認識用画像を外部に出力する画像出力部と、を備えたことを特徴とする監視カメラを提供する。 In order to solve the problem, the present invention provides a photographing unit that photographs a monitoring region and generates a first-resolution photographed image, and changes in luminance between pixels constituting each block by dividing the photographed image into a plurality of blocks An edge level estimator that calculates the amount and compares the amount of change in brightness with one or more predetermined thresholds and divides the image into a plurality of stages so that the higher the strength of the edge included in each block, A resolution conversion unit that generates a recognition image by replacing at least a block having the lowest level with a second resolution image lower than the first resolution, and an image output unit that outputs the recognition image to the outside. Provided is a surveillance camera characterized by comprising the above.
また、本発明の好適な態様においては、エッジレベル推定部は、輝度変化量を互いに値が異なる2以上の閾値と比較して各ブロックに含まれるエッジの強度を3以上の段階に分け、解像度変換部は、さらに撮影画像において段階が最高段階であるブロックを第一解像度よりも低い第三解像度の画像に置換して認識用画像を生成する。
第三解像度は、第二解像度と同じ解像度、又は第二解像度よりも高い解像度とすることが好適である。
Also, in a preferred aspect of the present invention, the edge level estimation unit compares the luminance change amount with two or more threshold values having different values, and divides the intensity of the edge included in each block into three or more stages, The conversion unit further generates a recognition image by replacing the block having the highest level in the captured image with an image having a third resolution lower than the first resolution.
The third resolution is preferably the same resolution as the second resolution or higher than the second resolution.
また、本発明の好適な態様においては、エッジレベル推定部は、輝度変化量を互いに値が異なる3以上の閾値と比較して各ブロックに含まれるエッジの強度を4以上の段階に分け、解像度変換部は、さらに撮影画像において段階が最低段階と最高段階の中間段階であるブロックを当該段階が高いほど低く設定された第四解像度の画像に置換して認識用画像を生成する。 In a preferred aspect of the present invention, the edge level estimation unit compares the luminance change amount with three or more thresholds having different values, and divides the intensity of the edge included in each block into four or more stages, The conversion unit further generates a recognition image by replacing a block that is an intermediate stage between the lowest stage and the highest stage in the captured image with a fourth resolution image that is set lower as the stage is higher.
また、本発明は、前記監視カメラと、前記画像出力部に接続されて認識用画像を伝送する画像通信網と、画像認識装置と、を備えた画像監視装置であって、画像認識装置は、画像通信網に接続されて認識用画像を受信する通信部と、認識用画像からエッジ特徴量を抽出する特徴量抽出部と、特徴量抽出部により抽出されたエッジ特徴量を用いて監視領域の状態を認識する認識部と、を備えたことを特徴とする画像監視装置を提供する。 Further, the present invention is an image monitoring apparatus comprising the monitoring camera, an image communication network that is connected to the image output unit and transmits an image for recognition, and an image recognition apparatus. A communication unit connected to the image communication network for receiving a recognition image, a feature amount extraction unit for extracting an edge feature amount from the recognition image, and an edge feature amount extracted by the feature amount extraction unit An image monitoring apparatus comprising: a recognition unit for recognizing a state.
本発明の監視カメラ又は画像監視装置によれば、監視領域に存在する物体や背景の色によらず、当該物体の高精度な画像認識と装置コストの低減を両立することが可能となる。 According to the monitoring camera or the image monitoring apparatus of the present invention, it is possible to achieve both high-accuracy image recognition of an object and reduction in apparatus cost regardless of the object existing in the monitoring area and the color of the background.
<画像監視装置の構成>
図1を参照して本発明の好適な実施形態の一例である画像監視装置1の構成を説明する。
<Configuration of image monitoring device>
With reference to FIG. 1, the structure of the image monitoring apparatus 1 which is an example of suitable embodiment of this invention is demonstrated.
画像監視装置1は、複数の監視カメラ2−1,2−2,…,2−Nが画像通信網3を介して画像認識装置4に接続されてなる。 The image monitoring apparatus 1 includes a plurality of monitoring cameras 2-1, 2-2,..., 2 -N connected to an image recognition apparatus 4 via an image communication network 3.
各監視カメラ2−1,2−2,…,2−Nは、不審者の検知が要請された監視領域に設置され、予め設定された撮影周期で監視領域を撮影して監視領域の画像を画像通信網3に出力する。各監視カメラ2−1,2−2,…,2−Nが出力する画像は、後述する解像度変換処理によって不審者の画像認識を妨げない範囲で撮影画像の一部を低解像度化した画像であり、以下、当該画像を認識用画像と称する。 Each of the monitoring cameras 2-1, 2-2,..., 2-N is installed in a monitoring area where detection of a suspicious person is requested, and the monitoring area is imaged at a preset imaging cycle. Output to the image communication network 3. The images output by the surveillance cameras 2-1, 2-2,. The image is hereinafter referred to as a recognition image.
画像通信網3は、各監視カメラ2−1,2−2,…,2−Nから出力された認識用画像を画像認識装置4に伝送するネットワークである。画像通信網3は、例えば、各監視カメラ2−1,2−2,…,2−Nと画像認識装置4をイーサネットケーブル(イーサネットは登録商標)等にて接続したLAN(Local Area Network)とすることができる。或いは画像通信網3は、各監視カメラ2−1,2−2,…,2−Nと画像認識装置4を同軸ケーブルで接続したアナログ網とすることもできる。 The image communication network 3 is a network that transmits the recognition images output from the respective monitoring cameras 2-1, 2-2,..., 2 -N to the image recognition device 4. The image communication network 3 includes, for example, a LAN (Local Area Network) in which each of the monitoring cameras 2-1, 2-2,..., 2-N and the image recognition device 4 are connected by an Ethernet cable (Ethernet is a registered trademark). can do. Alternatively, the image communication network 3 may be an analog network in which each monitoring camera 2-1, 2-2,..., 2 -N and the image recognition device 4 are connected by a coaxial cable.
画像認識装置4は、各監視カメラ2−1,2−2,…,2−Nから認識用画像を受信すると当該画像を画像処理して監視領域に存在する人物を認識する。さらに、画像認識装置4は、当該人物が不審者であるか否かを判定し、不審者が存在すると判定した場合に監視センターへ所定の異常信号を出力する。 When the image recognition device 4 receives recognition images from the respective monitoring cameras 2-1, 2-2,..., 2-N, the image recognition apparatus 4 performs image processing on the images and recognizes persons existing in the monitoring area. Further, the image recognition device 4 determines whether or not the person is a suspicious person, and outputs a predetermined abnormality signal to the monitoring center when it is determined that there is a suspicious person.
〔監視カメラの構成〕
以下、監視カメラ2−1の構成について説明する。
[Configuration of surveillance camera]
Hereinafter, the configuration of the monitoring camera 2-1 will be described.
監視カメラ2−1は、高解像撮影部20、撮影画像記憶部21、エッジレベル推定部22、解像度変換部23、認識用画像記憶部24、画像出力部25を備える。 The surveillance camera 2-1 includes a high-resolution imaging unit 20, a captured image storage unit 21, an edge level estimation unit 22, a resolution conversion unit 23, a recognition image storage unit 24, and an image output unit 25.
高解像撮影部20は、予め設定された撮影周期で監視領域を撮影して第一解像度の撮影画像を生成する。そのために高解像撮影部20は、受光量に応じた電気信号を出力するCCDセンサ又はC−MOSなどの光電変換素子アレイと、光電変換素子アレイ上に監視領域の像を結像するための結像光学系と、光電変換素子アレイが出力したアナログの電気信号をデジタルの撮影画像に変換するA/D変換回路を有する。 The high-resolution image capturing unit 20 captures the monitoring area at a preset image capturing period, and generates a first resolution captured image. For this purpose, the high resolution photographing unit 20 forms an image of a monitoring area on the photoelectric conversion element array such as a CCD sensor or a C-MOS that outputs an electrical signal corresponding to the amount of received light. An imaging optical system and an A / D conversion circuit that converts an analog electric signal output from the photoelectric conversion element array into a digital photographed image are included.
高解像撮影部20が生成する撮影画像は、認識用画像よりも高解像度でデータ量が多い。第一解像度は例えば横8000×縦4500画素である。なお、本例において撮影画像は濃淡画像であるとする。 The captured image generated by the high-resolution imaging unit 20 has a higher resolution and a larger amount of data than the recognition image. The first resolution is, for example, horizontal 8000 × vertical 4500 pixels. In this example, it is assumed that the captured image is a grayscale image.
高解像撮影部20は、撮影画像記憶部21に接続され、生成した撮影画像を順次、撮影画像記憶部21に記憶させる。 The high-resolution image capturing unit 20 is connected to the captured image storage unit 21 and sequentially stores the generated captured images in the captured image storage unit 21.
撮影画像記憶部21は、撮影画像等を記憶するメモリ装置であり、RAM(Random Access Memory)等で構成される。撮影画像記憶部21は、高解像撮影部20及びエッジレベル推定部22に接続され、高解像撮影部20により書き込まれた撮影画像は、エッジレベル推定部22により順次読み出される。なお、撮影画像記憶部21は、現フレームの書き込みと前フレームの読み出しを同時に行えるよう、撮影画像2フレーム分の記憶容量を有する。 The captured image storage unit 21 is a memory device that stores captured images and the like, and includes a RAM (Random Access Memory) or the like. The captured image storage unit 21 is connected to the high-resolution imaging unit 20 and the edge level estimation unit 22, and the captured image written by the high-resolution imaging unit 20 is sequentially read out by the edge level estimation unit 22. The photographed image storage unit 21 has a storage capacity for two photographed images so that the current frame can be written and the previous frame can be read simultaneously.
エッジレベル推定部22は、撮影画像を複数のブロックに区分して各ブロックに含まれるエッジの強度を複数段階に分ける演算装置であり、DSP(Digital Signal Processor)又はMCU(Micro Control Unit)等で構成される。この段階(エッジレベル)は、例えば、2つの閾値を用いて、ブロック内に強いエッジが含まれる最高段階のレベル、ブロック内に弱いエッジが含まれる中間段階のレベル、ブロック内に強いエッジも弱いエッジも無い最低段階のレベルの3段階とすることができる。 The edge level estimator 22 is an arithmetic unit that divides a captured image into a plurality of blocks and divides the intensity of the edge included in each block into a plurality of stages, and is a DSP (Digital Signal Processor) or MCU (Micro Control Unit) or the like. Composed. This stage (edge level) uses, for example, two threshold values, the highest stage level in which a strong edge is included in the block, the intermediate stage level in which a weak edge is included in the block, and the strong edge in the block is also weak. It is possible to have three levels at the lowest level without edges.
エッジレベル推定部22は、撮影画像記憶部21及び解像度変換部23に接続され、撮影画像記憶部21から撮影画像を読み出してエッジレベルを推定し、読み出した撮影画像(各画素の輝度値)及び各ブロックのエッジレベルを解像度変換部23に出力する。 The edge level estimation unit 22 is connected to the captured image storage unit 21 and the resolution conversion unit 23, reads the captured image from the captured image storage unit 21, estimates the edge level, and reads the captured image (luminance value of each pixel) and The edge level of each block is output to the resolution converter 23.
各ブロックの大きさは例えば12×12画素とすることができ、撮影画像は横666×縦375個のブロックに区分される。 The size of each block can be, for example, 12 × 12 pixels, and the photographed image is divided into 666 horizontal blocks × 375 vertical blocks.
エッジレベル推定部22は、各ブロックを構成する画素間の輝度変化量を算出し、輝度変化量を予め定めた1又は複数の閾値と比較して各ブロックに含まれるエッジの強度を複数段階に分ける。具体的には、エッジレベル推定部22は、各ブロックにおける撮影画像のエッジ強度の平均値E1を当該ブロックの輝度変化量として算出し、E1が下限値T1L未満であれば当該ブロックは最低段階のエッジレベル、E1が下限値T1L以上且つ上限値T1H未満であれば当該ブロックは中間段階のエッジレベル、E1が上限値T1H以上であれば当該ブロックは最高段階のエッジレベルと判定する。 The edge level estimation unit 22 calculates a luminance change amount between pixels constituting each block, compares the luminance change amount with one or more predetermined threshold values, and sets the intensity of an edge included in each block in a plurality of stages. Divide. Specifically, the edge level estimation unit 22 calculates the average value E1 of the edge intensity of the captured image in each block as the luminance change amount of the block, and if E1 is less than the lower limit value T1L, the block is in the lowest stage. If the edge level E1 is equal to or higher than the lower limit value T1L and lower than the upper limit value T1H, the block is determined to be an intermediate edge level, and if E1 is equal to or higher than the upper limit value T1H, the block is determined to be the highest edge level.
上述したエッジレベルと輝度変化量の関係を図2に示す。また、図2を参照してエッジレベルとブロックの推定状態の関係を以下に説明する。 FIG. 2 shows the relationship between the edge level and the luminance change amount described above. The relationship between the edge level and the block estimation state will be described below with reference to FIG.
下限値T1Lはエッジの有無を判定する閾値として事前の実験結果等に基づき予め設定することができる。すなわち、エッジレベルが最低段階のブロックは弱エッジすら無い平坦な領域であると推定される。そのため、この領域を低解像度化しても画像認識の精度は低下しにくく、且つこの領域の低解像度化によって認識用画像のデータ量を減らすことができる。 The lower limit value T1L can be set in advance as a threshold value for determining the presence / absence of an edge based on a previous experimental result or the like. That is, it is estimated that the block with the lowest edge level is a flat region without even weak edges. Therefore, even if the resolution of this area is reduced, the accuracy of image recognition is not easily lowered, and the data amount of the recognition image can be reduced by reducing the resolution of this area.
また、上限値T1H(>T1L)は弱エッジと強エッジを弁別するしきい値として事前の実験結果等に基づき予め設定することができる。すなわち、エッジレベルが最高段階のブロックは強いエッジが存在する領域であると推定される。そのため、この領域を低解像度化しても認識対象物体のエッジが抽出できるため画像認識の精度は低下しにくく、且つこの領域の低解像度化によって認識用画像のデータ量を減らすことができる。 The upper limit value T1H (> T1L) can be set in advance as a threshold value for discriminating between weak edges and strong edges based on previous experimental results. That is, the block having the highest edge level is estimated to be a region where a strong edge exists. Therefore, since the edge of the recognition target object can be extracted even if the resolution of this area is reduced, the accuracy of image recognition is not easily lowered, and the data amount of the recognition image can be reduced by reducing the resolution of this area.
一方、エッジレベルが中間段階のブロックは弱いエッジが存在する領域であると推定され、この領域を低解像度化すると認識対象物体のエッジが抽出不能となって画像認識の精度が低下するおそれがある。そのため、この領域を高解像度とすることで画像認識の精度向上が期待できる。 On the other hand, a block with an intermediate edge level is estimated to be a region where weak edges exist, and if the resolution of this region is reduced, the edge of the recognition target object cannot be extracted and the accuracy of image recognition may be reduced. . Therefore, the accuracy of image recognition can be expected to be improved by setting this area to a high resolution.
解像度変換部23は、撮影画像の一部を低解像度の画像に置換して認識用画像を生成する演算装置であり、DSP又はMCU等で構成される。 The resolution conversion unit 23 is an arithmetic device that generates a recognition image by replacing a part of a captured image with a low-resolution image, and includes a DSP, an MCU, or the like.
解像度変換部23は、エッジレベル推定部22及び認識用画像記憶部24に接続され、エッジレベル推定部22から撮影画像及び弱エッジ領域が入力されると、認識用画像を生成し、当該認識用画像を認識用画像記憶部24に記憶させる。 The resolution conversion unit 23 is connected to the edge level estimation unit 22 and the recognition image storage unit 24. When a captured image and a weak edge region are input from the edge level estimation unit 22, the resolution conversion unit 23 generates a recognition image, and The image is stored in the recognition image storage unit 24.
再度、図2を参照して、認識用画像の生成処理例を説明する。 With reference to FIG. 2 again, an example of recognition image generation processing will be described.
解像度変換部23は、撮影画像において少なくともエッジレベルが最低段階のレベル1であるブロックを、撮影画像の解像度である第一解像度R1よりも低い第二解像度R2の画像に置換する。例えば、解像度変換部23は、レベル1のブロックを、その輝度値に当該ブロックの代表輝度値を設定した1画素に置換して認識用画像を生成する。代表輝度値は撮影画像における当該ブロック内の平均輝度値とすることができる。或いは、代表輝度値は撮影画像における当該ブロック内の最頻輝度値としてもよく、又は撮影画像における当該ブロック内のブロック内のいずれか1画素の輝度値としてもよい。 The resolution converter 23 replaces at least the block having the lowest level 1 in the captured image with an image having the second resolution R2 lower than the first resolution R1 that is the resolution of the captured image. For example, the resolution conversion unit 23 generates a recognition image by replacing the level 1 block with one pixel in which the luminance value is set to the representative luminance value of the block. The representative luminance value can be an average luminance value in the block in the captured image. Alternatively, the representative luminance value may be the most frequent luminance value in the block in the captured image, or may be the luminance value of any one pixel in the block in the block in the captured image.
また、解像度変換部23は、撮影画像において少なくともエッジレベルが最高段階のレベル3であるブロックを第一解像度R1よりも低い第三解像度R3の画像に置換する。例えば、解像度変換部23は、レベル3のブロックを、その輝度値に当該ブロックの代表輝度値を設定した1画素に置換して認識用画像を生成する。ブロック内の輝度変化はレベル3の方がレベル1よりも大きいため、画像認識精度向上の観点からR3≧R2とするのが好適である。本例においてはR2が認識対象物体の強エッジを分析するのに十分な解像度であるとしてR3=R2とする。 In addition, the resolution conversion unit 23 replaces at least the block having the highest level 3 in the captured image with the image of the third resolution R3 lower than the first resolution R1. For example, the resolution conversion unit 23 generates a recognition image by replacing the level 3 block with one pixel in which the luminance value is set to the representative luminance value of the block. Since the luminance change in the block is larger at level 3 than at level 1, it is preferable that R3 ≧ R2 from the viewpoint of improving image recognition accuracy. In this example, R3 = R2, assuming that R2 has sufficient resolution to analyze the strong edge of the recognition target object.
一方、エッジレベルが中間段階のレベル2であるブロックの解像度(第四解像度R4)は、第一解像度R1のままとし、解像度変換部23は、撮影画像における12×12画素の輝度値をそのまま認識用画像において対応する画素の輝度値に設定する。
なお、第四解像度R4は、第三解像度R3よりも高い範囲で第一解像度R1よりも低く設定してもよい。
On the other hand, the resolution (fourth resolution R4) of the block whose edge level is the intermediate level 2 remains the first resolution R1, and the resolution conversion unit 23 recognizes the luminance value of 12 × 12 pixels in the captured image as it is. The luminance value of the corresponding pixel in the image for use is set.
The fourth resolution R4 may be set lower than the first resolution R1 in a range higher than the third resolution R3.
以上に示した解像度の関係をまとめると、R1≧R4>R3≧R2となる。 To summarize the above-described resolution relationships, R1 ≧ R4> R3 ≧ R2.
認識用画像記憶部24は、認識用画像等を記憶するメモリ装置であり、RAM等で構成される。認識用画像記憶部24は、解像度変換部23及び画像出力部25と接続され、解像度変換部23により書き込まれた認識用画像は、画像出力部25により順次読み出される。なお、認識用画像記憶部24は、現フレームの書き込みと前フレームの読み出しを同時に行えるよう、認識用画像2フレーム分の記憶容量を有する。 The recognition image storage unit 24 is a memory device that stores a recognition image and the like, and includes a RAM or the like. The recognition image storage unit 24 is connected to the resolution conversion unit 23 and the image output unit 25, and the recognition image written by the resolution conversion unit 23 is sequentially read out by the image output unit 25. Note that the recognition image storage unit 24 has a storage capacity for two recognition images so that writing of the current frame and reading of the previous frame can be performed simultaneously.
画像出力部25は、認識用画像をカメラ装置2−1から外部に出力する通信インターフェース回路である。画像出力部25は、認識用画像記憶部24及び画像通信網3に接続され、認識用画像記憶部24から認識用画像を読み出し、読み出した認識用画像を画像通信網3の通信プロトコルに適合した画像認識装置宛ての信号に変換して画像通信網3に送出する。 The image output unit 25 is a communication interface circuit that outputs a recognition image from the camera device 2-1 to the outside. The image output unit 25 is connected to the recognition image storage unit 24 and the image communication network 3, reads the recognition image from the recognition image storage unit 24, and matches the read recognition image to the communication protocol of the image communication network 3. It is converted into a signal addressed to the image recognition apparatus and sent to the image communication network 3.
なお、エッジレベル推定部22と解像度変換部23はひとつの演算装置で実現してもよい。また、撮影画像記憶部21と認識用画像記憶部24をひとつのメモリ装置で実現することもできる。 Note that the edge level estimation unit 22 and the resolution conversion unit 23 may be realized by a single arithmetic device. Further, the captured image storage unit 21 and the recognition image storage unit 24 can be realized by a single memory device.
監視カメラ2−2,…,2−Nの構成は、監視カメラ2−1と同様であるため説明を省略する。 The configuration of the monitoring cameras 2-2,..., 2-N is the same as that of the monitoring camera 2-1, and thus the description thereof is omitted.
〔画像認識装置の構成〕
以下、画像認識装置4の構成について説明する。
[Configuration of image recognition device]
Hereinafter, the configuration of the image recognition device 4 will be described.
画像認識装置4は、画像入力部40、特徴抽出部41、不審者認識部(認識部)42及び異常出力部43を含んで構成される。 The image recognition device 4 includes an image input unit 40, a feature extraction unit 41, a suspicious person recognition unit (recognition unit) 42, and an abnormality output unit 43.
画像入力部40は、認識用画像を受信する通信回路である。画像入力部40は、画像通信網3及び特徴抽出部41に接続され、画像通信網3を介して監視カメラ2−1,2−2,…,2−Nからの認識用画像を受信すると、当該認識用画像を特徴抽出部41に出力する。認証用画像のデータ量は撮影画像よりも格段に小さく、画像入力部40の通信負荷は低減されている。 The image input unit 40 is a communication circuit that receives a recognition image. When the image input unit 40 is connected to the image communication network 3 and the feature extraction unit 41 and receives recognition images from the monitoring cameras 2-1, 2-2,. The recognition image is output to the feature extraction unit 41. The data amount of the authentication image is much smaller than the captured image, and the communication load of the image input unit 40 is reduced.
特徴抽出部41は、認識用画像から、不審者の画像認識に有用な所定特徴量を抽出する演算装置であり、CPU(Central Processing Unit)、DSP又はMCU等で構成される。特徴抽出部41は、画像入力部40及び不審者認識部42に接続され、画像入力部40から認識用画像が入力されると所定特徴量を抽出して不審者認識部42に出力する。 The feature extraction unit 41 is a calculation device that extracts a predetermined feature amount useful for image recognition of a suspicious person from an image for recognition, and includes a CPU (Central Processing Unit), a DSP, an MCU, or the like. The feature extraction unit 41 is connected to the image input unit 40 and the suspicious person recognition unit 42. When a recognition image is input from the image input unit 40, the feature extraction unit 41 extracts a predetermined feature amount and outputs it to the suspicious person recognition unit 42.
特徴抽出部41が抽出する特徴量は、エッジ強度、エッジ方向、HOG(Histograms of Oriented Gradients)特徴量、ハールライク特徴量等のエッジ特徴量、及び輝度ヒストグラム等である。 The feature quantity extracted by the feature extraction unit 41 is edge strength, edge direction, HOG (Histograms of Oriented Gradients) feature quantity, edge feature quantity such as Haar-like feature quantity, luminance histogram, and the like.
上述したように認識用画像には、高解像度領域と低解像度領域が含まれる。特徴抽出部41は、解像度ごとに認識用画像を分割し、分割画像のそれぞれに対して特徴量の抽出を行う。なお、図4を参照して説明したように、認識用画像は各ブロックの画素数を示すデータと当該画素数分の輝度値データがブロック順に並んだデータ構成となっており、特徴抽出部41は、この画素数から各ブロックの解像度を判別し、画素数が示す数の輝度値を各ブロックに応じた座標に並べて、解像度ごとの分割画像を生成することができる。 As described above, the recognition image includes a high resolution area and a low resolution area. The feature extraction unit 41 divides the recognition image for each resolution, and extracts feature amounts for each of the divided images. As described with reference to FIG. 4, the recognition image has a data configuration in which data indicating the number of pixels of each block and luminance value data corresponding to the number of pixels are arranged in the block order. Determines the resolution of each block from the number of pixels, and arranges the luminance values indicated by the number of pixels on the coordinates corresponding to each block to generate a divided image for each resolution.
このように特徴抽出部41は解像度ごとに監視領域に存在する認識対象物体の特徴量を抽出することで、強いエッジ特徴量のみならず、色の類似した領域同士が接して弱くなってしまったエッジ特徴量を含めて認識対象物体の特徴量を確実に抽出できる。また、処理負荷の大きな高解像度領域からの抽出処理は画像認識精度確保に必要な分だけとなるので、特徴抽出部41の処理負荷の増加は適正に抑制される。 In this way, the feature extraction unit 41 extracts the feature quantity of the recognition target object existing in the monitoring area for each resolution, so that not only the strong edge feature quantity but also the areas with similar colors are in contact with each other and become weak. The feature quantity of the recognition target object including the edge feature quantity can be reliably extracted. Further, since the extraction processing from the high-resolution area with a large processing load is only necessary for ensuring the image recognition accuracy, an increase in the processing load of the feature extraction unit 41 is appropriately suppressed.
不審者認識部42は、特徴抽出部41により抽出された特徴量を用いて不審者の存在を認識する演算装置であり、CPU、DSP又はMCU等で構成される。不審者認識部42は、特徴抽出部41及び異常出力部43に接続され、特徴抽出部41から特徴量が入力されると不審者が存在するか否かを判定し、不審者が存在すると判定した場合にその旨を表す所定信号を異常出力部43へ出力する。なお、特徴抽出部41と不審者認識部42はひとつの演算装置で実現してもよい。 The suspicious person recognizing unit 42 is an arithmetic device that recognizes the presence of a suspicious person using the feature amount extracted by the feature extracting unit 41, and includes a CPU, DSP, MCU, or the like. The suspicious person recognizing unit 42 is connected to the feature extracting unit 41 and the abnormality output unit 43. When a feature amount is input from the feature extracting unit 41, the suspicious person recognizing unit 42 determines whether there is a suspicious person and determines that there is a suspicious person. If this happens, a predetermined signal indicating that is output to the abnormality output unit 43. Note that the feature extraction unit 41 and the suspicious person recognition unit 42 may be realized by one arithmetic device.
不審者認識部42は、例えば、認識用画像から抽出されたエッジ強度及びエッジ方向を予め設定された人の形状パターンと比較するパターンマッチング処理により人を検出し、検出した人物の輝度ヒストグラムを前後するフレームにて比較する追跡処理により当該人物の動きを解析して、動きが異常な人物を不審者と判定することができる。或いは、不審者認識部42は、認識用画像から抽出されたHOG特徴量を予め人のHOG特徴量を学習した識別器に入力することで人を検出し、追跡処理により当該人物の動き解析を行って不審者の存在を判定することもできる。 The suspicious person recognizing unit 42 detects a person by, for example, pattern matching processing that compares the edge strength and edge direction extracted from the recognition image with a preset shape pattern of the person, and performs a front-rear luminance histogram of the detected person. It is possible to analyze the movement of the person by the tracking process that compares in the frames to be performed, and to determine the person whose movement is abnormal as a suspicious person. Alternatively, the suspicious person recognition unit 42 detects a person by inputting the HOG feature amount extracted from the recognition image to a classifier that has previously learned the person's HOG feature amount, and performs a motion analysis of the person by tracking processing. You can also go to determine the presence of a suspicious person.
このように不審者認識部(認識部)42は、解像度ごとに抽出された特徴量を用いて監視領域に存在する物体を認識することで、物体間及び物体と背景の間で色が類似することによるエッジ強度低下の影響を軽減して認識対象物体を高精度に認識できる。 In this manner, the suspicious person recognition unit (recognition unit) 42 recognizes an object existing in the monitoring region using the feature amount extracted for each resolution, and thus the colors are similar between the objects and between the object and the background. It is possible to recognize the object to be recognized with high accuracy by reducing the influence of the decrease in edge strength.
異常出力部43は、異常信号を外部に出力する通信回路等である。異常出力部43は、不審者認識部42及びセンター装置に接続され、不審者認識部42から不審者の存在を表す所定信号が入力されると、センター装置に所定の異常信号を送信する。 The abnormality output unit 43 is a communication circuit that outputs an abnormality signal to the outside. The abnormality output unit 43 is connected to the suspicious person recognizing unit 42 and the center apparatus. When a predetermined signal indicating the presence of the suspicious person is input from the suspicious person recognizing unit 42, the abnormal output unit 43 transmits a predetermined abnormal signal to the center apparatus.
<画像監視装置の動作>
以下、画像監視装置1の動作について説明する。
<Operation of image monitoring device>
Hereinafter, the operation of the image monitoring apparatus 1 will be described.
〔監視カメラの動作〕
まず、図3のフローチャート及び図4の模式図を参照して監視カメラ2−1の動作を説明する。
[Operation of surveillance camera]
First, the operation of the monitoring camera 2-1 will be described with reference to the flowchart of FIG. 3 and the schematic diagram of FIG.
監視カメラ2−1において、以下に説明する図3のステップS100〜S108の動作は高解像撮影部20の撮影周期にて繰り返し行われる。 In the monitoring camera 2-1, the operations in steps S <b> 100 to S <b> 108 described below in FIG. 3 are repeatedly performed in the imaging cycle of the high resolution imaging unit 20.
ステップS100にて、監視カメラ2−1の高解像撮影部20は監視領域を撮影し、第一解像度R1の撮影画像を監視カメラ2−1の撮影画像記憶部21に記憶させる。 In step S100, the high-resolution imaging unit 20 of the monitoring camera 2-1 images the monitoring area, and stores the captured image of the first resolution R1 in the captured image storage unit 21 of the monitoring camera 2-1.
新たな撮影画像が撮影されると、監視カメラ2−1のエッジレベル推定部22は、ステップS101にて、上述した666×375個のブロックのうち先頭ブロックを注目ブロックに設定し、ブロックについてのループ処理を開始する。以降、ステップS102〜S107のループ処理は予め定めた順序にて順次注目ブロックを変更して全ブロックに対し行われる。 When a new captured image is captured, the edge level estimation unit 22 of the monitoring camera 2-1 sets the first block among the above-mentioned 666 × 375 blocks as a target block in step S 101, and Start loop processing. Thereafter, the loop processing of steps S102 to S107 is performed on all blocks by sequentially changing the block of interest in a predetermined order.
ステップS102にて、エッジレベル推定部22は、注目ブロックにおける撮影画像のエッジ強度の平均値E1を算出する。 In step S102, the edge level estimation unit 22 calculates an average value E1 of the edge strength of the captured image in the block of interest.
そのためにエッジレベル推定部22は、撮影画像記憶部21に記憶されている撮影画像のうち注目ブロックと対応する12×12(=144)画素とその周囲画素を読み出し、注目ブロック内の各画素におけるエッジ強度を算出し、それらの平均値を求める。 For this purpose, the edge level estimation unit 22 reads out 12 × 12 (= 144) pixels corresponding to the block of interest and the surrounding pixels in the captured image stored in the captured image storage unit 21, and determines each pixel in the block of interest. The edge strength is calculated and the average value thereof is obtained.
エッジ強度は、ソーベルフィルタ、ラプラシアンフィルタ、キャニーフィルタなど、公知の各種フィルタを用いて算出することができる。また、エッジ強度を算出する際のフィルタサイズは、カメラ設置高や認識対象物体までの距離、撮影画像の解像度などの条件に合わせて適宜に設定することができる。 The edge strength can be calculated using various known filters such as a Sobel filter, a Laplacian filter, and a Canny filter. In addition, the filter size for calculating the edge strength can be appropriately set according to conditions such as the camera installation height, the distance to the recognition target object, and the resolution of the captured image.
ステップS103にて、エッジレベル推定部22は、算出したエッジ強度の平均値E1を予め定めた下限値T1L及び上限値T1Hと比較して、注目ブロックのエッジレベルを判定する。 In step S103, the edge level estimation unit 22 compares the calculated average value E1 of the edge strength with a predetermined lower limit value T1L and an upper limit value T1H to determine the edge level of the block of interest.
すなわち、エッジレベル推定部22は、注目ブロックのエッジ強度の平均値E1が下限値T1L以上且つ上限値T1H未満であれば当該ブロックが弱エッジを含んだレベル2であると判定し(S103にてYES)、そうでなければ当該ブロックがエッジの無いレベル1又は強エッジからなるレベル3であると判定する(S103にてNO)。 That is, the edge level estimation unit 22 determines that the block is at level 2 including a weak edge if the average value E1 of the edge strength of the block of interest is greater than or equal to the lower limit value T1L and less than the upper limit value T1H (in S103). YES), otherwise, it is determined that the block is level 1 having no edge or level 3 including a strong edge (NO in S103).
エッジレベル推定部22は、注目ブロックのエッジレベルとともに注目ブロックの座標及び注目ブロックを構成する撮影画像の各輝度値を監視カメラ2−1の解像度変換部23に出力する。 The edge level estimation unit 22 outputs the coordinates of the target block and the luminance values of the captured image constituting the target block together with the edge level of the target block to the resolution conversion unit 23 of the monitoring camera 2-1.
注目ブロックがレベル2と判定された場合、処理はステップS104へと進む。ステップS104にて、解像度変換部23は、認識用画像において注目ブロックと対応するブロック内に撮影画像の各輝度値を設定することで、認識用画像における当該ブロックの解像度R4を解像度R1のままとし、高解像度を維持する。例えば、図4において、撮影画像のブロック50のエッジレベルがレベル2と判定された場合、認識用画像の対応ブロック51は144画素のままとなる。解像度変換部23は、認識用画像記憶部24にブロック51の画素数に続いて左上画素から右下画素までの144個の輝度値を順番に並べた数値列52を記憶させる。 If the target block is determined to be level 2, the process proceeds to step S104. In step S104, the resolution conversion unit 23 sets each luminance value of the captured image in the block corresponding to the target block in the recognition image, thereby keeping the resolution R4 of the block in the recognition image as the resolution R1. Maintain high resolution. For example, in FIG. 4, when the edge level of the block 50 of the captured image is determined to be level 2, the corresponding block 51 of the recognition image remains 144 pixels. The resolution conversion unit 23 causes the recognition image storage unit 24 to store a numerical sequence 52 in which 144 luminance values from the upper left pixel to the lower right pixel are arranged in order following the number of pixels in the block 51.
他方、注目ブロックがレベル1又は3と判定された場合、処理はステップS105へと進む。ステップS105にて、解像度変換部23は、認識用画像において対応するブロックに撮影画像の代表輝度値を設定し、認識用画像における当該ブロックの解像度を解像度R2及びR3(R2=R3)に低解像化する。例えば、図4において、撮影画像のブロック53のエッジレベルがレベル1又は3と判定された場合、認識用画像の対応ブロック54は1画素となる。解像度変換部23は、認識用画像記憶部24にブロック54の画素数に続いてブロック53の代表輝度値を並べた数値列55を記憶させる。 On the other hand, if the target block is determined to be level 1 or 3, the process proceeds to step S105. In step S105, the resolution conversion unit 23 sets the representative luminance value of the captured image in the corresponding block in the recognition image, and reduces the resolution of the block in the recognition image to resolutions R2 and R3 (R2 = R3). Image. For example, in FIG. 4, when the edge level of the block 53 of the photographed image is determined to be level 1 or 3, the corresponding block 54 of the recognition image is one pixel. The resolution conversion unit 23 causes the recognition image storage unit 24 to store a numerical sequence 55 in which the representative luminance values of the block 53 are arranged following the number of pixels of the block 54.
注目ブロックの解像度変換が行われると、解像度変換部23は、S106にて全ブロックの処理が終了したか否かを確認する。全ブロックの処理が終了していなければ解像度変換部23はエッジレベル推定部22にその旨を通知し(S106にてNO)、これを受けたエッジレベル推定部22は、S107にて次ブロックを注目ブロックに設定し、処理をステップS102に戻して次ブロックに対する処理を行う。 When the resolution conversion of the block of interest is performed, the resolution conversion unit 23 confirms whether or not the processing of all the blocks has been completed in S106. If the processing of all the blocks has not been completed, the resolution conversion unit 23 notifies the edge level estimation unit 22 (NO in S106), and the edge level estimation unit 22 that has received this notifies the next block in S107. The target block is set, and the process returns to step S102 to perform the process for the next block.
他方、全ブロックの処理が終了すると解像度変換部23は画像出力部25にその旨を通知し(S106にてYES)、これを受けた画像出力部25は、ステップS108にて認識用画像記憶部24から認識用画像を読み出し、読み出した認識用画像を画像通信網3経由で画像認識装置4に出力する。 On the other hand, when the processing of all the blocks is completed, the resolution conversion unit 23 notifies the image output unit 25 (YES in S106), and the image output unit 25 that has received this notifies the image storage unit for recognition in step S108. The image for recognition is read from 24, and the read image for recognition is output to the image recognition device 4 via the image communication network 3.
認識用画像を出力した画像出力部25はエッジレベル推定部22にその旨を通知し、これを受けたエッジレベル推定部22は、処理をステップS100に戻して次フレームの撮影画像に対する処理を行う。なお、画像出力部25による認識用画像の出力処理はエッジレベル推定部22及び解像度変換部23の処理と並列して行ってもよく、この場合、画像出力部25が読み出しの開始時点でエッジレベル推定部22に出力の通知をすればよい。 The image output unit 25 that has output the recognition image notifies the edge level estimator 22 to that effect, and the edge level estimator 22 that has received the notification returns the process to step S100 and performs the process on the captured image of the next frame. . Note that the output processing of the image for recognition by the image output unit 25 may be performed in parallel with the processing of the edge level estimation unit 22 and the resolution conversion unit 23, and in this case, the edge level at the time when the image output unit 25 starts reading. What is necessary is just to notify the estimation part 22 of an output.
図5及び図6を参照して、撮影画像と認識用画像を例示する。 With reference to FIG.5 and FIG.6, a picked-up image and the image for recognition are illustrated.
図5の撮影画像60は白い壁61の前に白いシャツ62と黒いズボンを着用した人物が立っている監視領域を撮影したものである。 A photographed image 60 in FIG. 5 is a photograph of a monitoring area where a person wearing a white shirt 62 and black pants stands in front of a white wall 61.
図6は図5の撮影画像60に対して監視カメラ2−1から出力される認識用画像70の高解像度領域71,72,73及び低解像度領域74を表したものである。 FIG. 6 shows the high resolution areas 71, 72, 73 and the low resolution area 74 of the recognition image 70 output from the monitoring camera 2-1 for the captured image 60 of FIG.
認識用画像70において、壁61とシャツ62の境界付近、シャツ62内の構造線付近及びズボン内の構造線付近が中間段階のエッジレベル2と判定されて高解像度領域71,72,73となる。一方、壁61と窓の境界、壁61とズボンの境界、壁61と肌の境界など色が大きく異なり強いエッジが生じる領域は最高段階のエッジレベル3と判定され、エッジの無い領域は最低段階のエッジレベル1と判定され、これらの領域は低解像度領域74となる。 In the recognition image 70, the vicinity of the boundary between the wall 61 and the shirt 62, the vicinity of the structure line in the shirt 62, and the vicinity of the structure line in the trousers are determined as the intermediate level edge level 2 and become the high resolution regions 71, 72, 73. . On the other hand, an area where the color is greatly different and a strong edge is generated, such as the boundary between the wall 61 and the window, the boundary between the wall 61 and the pants, and the boundary between the wall 61 and the skin, is determined to be the highest edge level 3, and the area without the edge is the lowest. The edge level is determined as 1 and these areas become the low resolution area 74.
高解像度領域71,72,73では、物体の境界画素において混色が生じにくくなるため(例えば、壁61とシャツ62の境界画素が、壁61の白とシャツ62の白の中間色となりにくくなるため)、画像認識装置4において色の類似した領域が接している物体の輪郭であっても認識可能となり、誤認識を防止できる。 In the high resolution areas 71, 72, and 73, color mixing is unlikely to occur at the boundary pixels of the object (for example, the boundary pixels between the wall 61 and the shirt 62 are less likely to be an intermediate color between the white of the wall 61 and the white of the shirt 62). In the image recognition device 4, even an outline of an object that is in contact with a region similar in color can be recognized, and erroneous recognition can be prevented.
他方、低解像度領域74は、元々エッジが強い(太い)ため物体の境界画素において混色が生じても物体の輪郭が認識可能である、或いは元々エッジが無いため、低解像度化することで画像認識装置4における認識精度を低下させることなく、画像監視装置1における通信量及び画像認識装置4における処理量を減じることができる。 On the other hand, since the edge of the low resolution region 74 is originally strong (thick), the outline of the object can be recognized even if color mixing occurs in the boundary pixel of the object, or the image is recognized by reducing the resolution because there is no edge originally. The communication amount in the image monitoring device 1 and the processing amount in the image recognition device 4 can be reduced without reducing the recognition accuracy in the device 4.
監視カメラ2−2,…,2−Nの動作は、監視カメラ2−1と同様であるため説明を省略する。 Since the operations of the monitoring cameras 2-2,..., 2-N are the same as those of the monitoring camera 2-1, description thereof is omitted.
〔画像認識装置の動作〕
次に、図7のフローチャートを参照して画像認識装置4の動作を説明する。
[Operation of Image Recognition Device]
Next, the operation of the image recognition apparatus 4 will be described with reference to the flowchart of FIG.
画像認識装置4において、以下に説明する図7のステップS200〜S207の動作は認識用画像を受信するたびに実行される。 In the image recognition apparatus 4, the operations in steps S200 to S207 in FIG. 7 described below are executed every time a recognition image is received.
ステップS200にて、画像認識装置4の画像入力部40は、画像通信網3を介して認識用画像を受信する。監視カメラ2−1,2−2,…,2−Nのいずれかから認識用画像を受信すると、画像入力部40は当該画像を画像認識装置4の特徴抽出部41に出力し、処理はステップS201に進む。 In step S <b> 200, the image input unit 40 of the image recognition apparatus 4 receives the recognition image via the image communication network 3. When an image for recognition is received from any one of the monitoring cameras 2-1, 2-2,..., 2-N, the image input unit 40 outputs the image to the feature extraction unit 41 of the image recognition device 4, and the processing is step. The process proceeds to S201.
ステップS201にて、特徴抽出部41は、入力された認識用画像を解像度別に分割して分割画像を生成する。例えば、図6に示した認識用画像が入力された場合、高解像度領域71,72,73のみに有効な輝度値を有する解像度R4(=R1)の分割画像と、低解像度領域74のみに有効な輝度値を有する解像度R2(=R3)の分割画像が生成される。 In step S201, the feature extraction unit 41 divides the input recognition image by resolution to generate a divided image. For example, when the recognition image shown in FIG. 6 is input, it is effective only for the divided image having the resolution R4 (= R1) having the luminance value effective only in the high resolution areas 71, 72, and 73 and only in the low resolution area 74. A divided image having a resolution R2 (= R3) having a large luminance value is generated.
ステップS202にて、特徴抽出部41は、各分割画像からエッジ特徴量を抽出し、抽出したエッジ特徴量を画像認識装置4の不審者認識部42に出力する。 In step S <b> 202, the feature extraction unit 41 extracts an edge feature amount from each divided image, and outputs the extracted edge feature amount to the suspicious person recognition unit 42 of the image recognition device 4.
ステップS203にて、不審者認識部42は抽出したエッジ特徴量を用いて人検出処理を行う。すなわち、不審者認識部42は、まず互いに解像度が異なる分割画像から抽出されたエッジ特徴量をいずれかひとつの解像度に統一して合成エッジ画像を生成する。例えば、図6に示した認識用画像が処理対象であれば、低い方の解像度R2に統一することができる。この場合、不審者認識部42は、高解像度領域71,72,73においてブロックごとにエッジ特徴量の平均値を求め、当該平均値を解像度R2の分割画像において対応する画素の値とすることで合成エッジ画像を生成すればよい。次に、不審者認識部42は、合成エッジ画像のエッジ特徴量を人の形状パターンと比較し、或いは当該エッジ特徴量を人の特徴を学習させた識別器に入力して、人の特徴を表すエッジ特徴量が含まれているかを判定する。 In step S203, the suspicious person recognition unit 42 performs person detection processing using the extracted edge feature amount. That is, the suspicious person recognizing unit 42 first generates a composite edge image by unifying edge feature amounts extracted from divided images having different resolutions to any one resolution. For example, if the recognition image shown in FIG. 6 is a processing target, it can be unified to the lower resolution R2. In this case, the suspicious person recognizing unit 42 obtains an average value of the edge feature amount for each block in the high resolution regions 71, 72, and 73, and sets the average value as the value of the corresponding pixel in the divided image of the resolution R2. A synthesized edge image may be generated. Next, the suspicious person recognizing unit 42 compares the edge feature amount of the synthesized edge image with the human shape pattern, or inputs the edge feature amount into the discriminator that has learned the human feature, thereby obtaining the human feature. It is determined whether the edge feature value to be represented is included.
人のエッジ特徴量が検出されなかった場合(ステップS204にてNO)、不審者認識部42は処理をステップS200に戻し、画像認識装置4は新たに認識用画像が受信されるまで待機する。他方、人のエッジ特徴量が検出された場合(ステップS204にてYES)、処理はステップS205に進められる。 When the human edge feature amount is not detected (NO in step S204), the suspicious person recognition unit 42 returns the process to step S200, and the image recognition apparatus 4 waits until a new recognition image is received. On the other hand, if a human edge feature amount is detected (YES in step S204), the process proceeds to step S205.
ステップS205にて、不審者認識部42は検出された人物の動きを解析する。すなわち、不審者認識部42は、特徴抽出部41に人が検出された領域における輝度ヒストグラムを抽出させ、当該輝度ヒストグラムを、送信元が同一の認識用画像から前回検出した人物の輝度ヒストグラムと比較することにより、当該人物の位置を追跡する。また、追跡のために、不審者認識部42は検出された人物の輝度ヒストグラムを、送信元を表す情報、当該人物の位置履歴とともに記憶部(不図示)に記憶させる。 In step S205, the suspicious person recognizing unit 42 analyzes the detected movement of the person. That is, the suspicious person recognizing unit 42 causes the feature extracting unit 41 to extract a luminance histogram in a region where a person is detected, and compares the luminance histogram with a luminance histogram of a person previously detected from a recognition image having the same transmission source. To track the position of the person. Further, for tracking, the suspicious person recognition unit 42 stores the detected luminance histogram of the person in the storage unit (not shown) together with the information indicating the transmission source and the position history of the person.
ステップS206にて、不審者認識部42は、動きを解析により得た人物の位置履歴から不審者が存在するか否かを判定する。例えば、不審者認識部42は、人物の位置履歴のいずれかが長時間の滞在、高速移動などを表しているときに当該人物を不審者と判定する。不審者が存在しないと判定した場合(ステップS206にてNO)、不審者認識部42は処理をステップS200に戻し、画像認識装置4は新たに認識用画像が受信されるまで待機する。他方、不審者が存在すると判定した場合(ステップS206にてYES)、処理はステップS207に進められる。 In step S206, the suspicious person recognizing unit 42 determines whether or not there is a suspicious person from the position history of the person obtained by analyzing the movement. For example, the suspicious person recognizing unit 42 determines that the person is a suspicious person when any of the position histories of the person represents stay for a long time, high speed movement, or the like. When it is determined that there is no suspicious person (NO in step S206), the suspicious person recognizing unit 42 returns the process to step S200, and the image recognition apparatus 4 waits until a new recognition image is received. On the other hand, if it is determined that there is a suspicious person (YES in step S206), the process proceeds to step S207.
ステップS207にて、不審者認識部42が存在する旨を画像認識装置4の異常出力部43に出力し、これを受けた異常出力部43は異常信号を生成して当該異常信号をセンター装置に送信する。 In step S207, the fact that the suspicious person recognition unit 42 exists is output to the abnormality output unit 43 of the image recognition device 4, and the abnormality output unit 43 that has received this generates an abnormality signal and sends the abnormality signal to the center device. Send.
以上の処理を終えると、不審者認識部42は処理をステップS200に戻し、画像認識装置4は新たに認識用画像が受信されるまで待機する。 When the above process is completed, the suspicious person recognition unit 42 returns the process to step S200, and the image recognition apparatus 4 stands by until a new recognition image is received.
<輝度変化量の変形例>
上記実施形態において、エッジレベル推定部22は各ブロックのエッジ強度の平均値E1を輝度変化量として算出し、これらを下限値T1L及び上限値T1Hと比較してエッジレベルを推定した。別の実施例において、エッジレベル推定部22は輝度変化量として次に示す各指標を用いることもできる。
<Modification of luminance change amount>
In the above embodiment, the edge level estimation unit 22 calculates the average value E1 of the edge strength of each block as the luminance change amount, and compares these with the lower limit value T1L and the upper limit value T1H to estimate the edge level. In another embodiment, the edge level estimator 22 may use the following indicators as the luminance change amount.
(1)輝度分散値
エッジレベル推定部22は輝度変化量として各ブロックにおける撮影画像の輝度分散値E2を算出する。エッジレベル推定部22は、輝度分散値E2が下限値T2L未満のブロックを最低段階のレベル1、輝度分散値E2が下限値T2L以上且つ上限値T2H未満のブロックを中間段階のレベル2、輝度分散値E2が上限値T2H以上のブロックを最高段階のレベル3と判定する。
輝度分散値は、隣接画素の輝度値の差を累積することで算出が可能であるため、処理負荷が小さく、また逐次処理に適している。そのため輝度変化量を用いれば、エッジレベル推定部22の処理を逐次処理とし、撮影画像記憶部20のメモリ量を減じることができる。
(1) Luminance variance value The edge level estimation unit 22 calculates the luminance variance value E2 of the captured image in each block as the luminance change amount. The edge level estimator 22 sets the block having the luminance variance value E2 less than the lower limit value T2L to the lowest level 1, the block having the luminance variance value E2 greater than or equal to the lower limit value T2L and less than the upper limit value T2H to the intermediate level 2. A block whose value E2 is equal to or greater than the upper limit value T2H is determined to be the highest level 3.
Since the luminance dispersion value can be calculated by accumulating the difference between the luminance values of adjacent pixels, the processing load is small and suitable for sequential processing. Therefore, if the luminance change amount is used, the processing of the edge level estimation unit 22 can be sequentially performed, and the memory amount of the captured image storage unit 20 can be reduced.
(2)FFTによる高周波成分量
エッジレベル推定部22は各ブロックにおける撮影画像の輝度値をFFT(Fast Fourier Transform)分析することによりその高周波成分量を輝度変化量として算出する。なお、FFTを用いる場合、ブロックの画素数を2の累乗とすることが好適であり、例えば、ブロックサイズを16×16画素とすることができる。すなわち、エッジレベル推定部22は、各ブロックにおける撮影画像の256画素の輝度値を並べたデータをFFT分析して、高域の最大強度値E3(高周波成分量)を算出する。そしてエッジレベル推定部22は、高周波成分量E3が下限値T3L未満のブロックを最低段階のレベル1、高周波成分量E3が下限値T3L以上且つ上限値T3H未満のブロックを中間段階のレベル2、高周波成分量E3が上限値T2H以上のブロックを最高段階のレベル3と判定する。
(2) High-frequency component amount by FFT The edge level estimation unit 22 calculates the high-frequency component amount as a luminance change amount by performing FFT (Fast Fourier Transform) analysis on the luminance value of the captured image in each block. In addition, when using FFT, it is suitable to make the number of pixels of a block into the power of 2. For example, a block size can be made into 16x16 pixels. That is, the edge level estimation unit 22 performs FFT analysis on the data in which the luminance values of 256 pixels of the captured image in each block are arranged, and calculates the high-frequency maximum intensity value E3 (high frequency component amount). The edge level estimator 22 sets the block having the high frequency component amount E3 less than the lower limit value T3L to the lowest level 1, the block having the high frequency component amount E3 equal to or higher than the lower limit value T3L and less than the upper limit value T3H to the intermediate level 2. A block in which the component amount E3 is equal to or higher than the upper limit value T2H is determined as the highest level 3.
(3)ウェーブレット変換による高周波成分量
エッジレベル推定部22は各ブロックにおける撮影画像の輝度値をウェーブレット(Wavelet)変換することによりその高周波成分量を輝度変化量として算出する。エッジレベル推定部22は各ブロックの撮影画像に離散ウェーブレット変換を施して得られる高周波成分画像の平均値E4(高周波成分量)を算出する。そしてエッジレベル推定部22は、高周波成分量E4が下限値T4L未満のブロックを最低段階のレベル1、高周波成分量E4が下限値T4L以上且つ上限値T4H未満のブロックを中間段階のレベル2、高周波成分量E4が上限値T4H以上のブロックを最高段階のレベル3と判定する。
ウェーブレット変換はLSI化が進んでいるため、ウェーブレット変換を用いれば装置コストを低減できる。また、離散ウェーブレット変換の過程で高周波成分画像とともに得られる低周波成分画像は解像度変換部23における低解像度化処理にて利用できるため、エッジレベル推定部22と解像度変換部23の一部を共通化することで装置コストを低減できる。
(3) High-frequency component amount by wavelet transformation The edge level estimation unit 22 calculates the high-frequency component amount as a luminance change amount by wavelet transforming the luminance value of the captured image in each block. The edge level estimation unit 22 calculates an average value E4 (high frequency component amount) of a high frequency component image obtained by performing discrete wavelet transform on the captured image of each block. Then, the edge level estimation unit 22 sets the block having the high frequency component amount E4 less than the lower limit value T4L to the lowest level 1, the block having the high frequency component amount E4 equal to or higher than the lower limit value T4L and less than the upper limit value T4H to the intermediate level 2. A block in which the component amount E4 is equal to or greater than the upper limit value T4H is determined to be the highest level 3.
Since wavelet transform is becoming more and more LSI, using wavelet transform can reduce apparatus cost. Further, since the low frequency component image obtained together with the high frequency component image in the process of the discrete wavelet transform can be used in the resolution reduction processing in the resolution conversion unit 23, the edge level estimation unit 22 and the resolution conversion unit 23 are partially shared. By doing so, the apparatus cost can be reduced.
(4)低周波画像と撮影画像の差分値(高周波成分量)
エッジレベル推定部22は撮影画像から生成した低周波画像と撮影画像の差分値を輝度変化量として用いる。すなわち、エッジレベル推定部22は、撮影画像の各画素を中心とするフィルタサイズが3×3のメディアンフィルタを施して低周波画像を生成し、生成した低周波画像と撮影画像の対応する輝度値の差の絶対値を求めて、その平均値E5をブロックごとに算出する。そして、エッジレベル推定部22は、差分平均値E5が下限値T5L未満のブロックを最低段階のレベル1、差分平均値E5が下限値T5L以上且つ上限値T5H未満のブロックを中間段階のレベル2、差分平均値E5が上限値T5H以上のブロックを最高段階のレベル3と判定する。メディアンフィルタの代わりに平滑化フィルタを用いてもよい。
この処理の過程で得られる低周波画像は解像度変換部23における低解像度化処理にて利用できるため、エッジレベル推定部22と解像度変換部23の一部を共通化することで装置コストを低減できる。
(4) Difference value between low frequency image and captured image (high frequency component amount)
The edge level estimation unit 22 uses the difference value between the low-frequency image generated from the captured image and the captured image as the amount of change in luminance. That is, the edge level estimation unit 22 generates a low-frequency image by applying a median filter having a filter size of 3 × 3 centered on each pixel of the captured image, and the generated low-frequency image and the corresponding luminance value of the captured image. The absolute value of the difference is obtained, and the average value E5 is calculated for each block. Then, the edge level estimation unit 22 sets the block having the difference average value E5 less than the lower limit value T5L to the lowest level 1, the block having the difference average value E5 equal to or higher than the lower limit value T5L and less than the upper limit value T5H to the intermediate level 2. A block whose difference average value E5 is equal to or higher than the upper limit value T5H is determined to be the highest level 3. A smoothing filter may be used instead of the median filter.
Since the low-frequency image obtained in the course of this process can be used in the resolution reduction process in the resolution conversion unit 23, the device cost can be reduced by sharing a part of the edge level estimation unit 22 and the resolution conversion unit 23. .
また、以上例示した以外にも撮影画像の輝度分布又は撮影画像の高周波成分量を分析する各種手法を適用して輝度変化量を算出することが可能である。 In addition to the above examples, it is possible to calculate the luminance change amount by applying various methods for analyzing the luminance distribution of the captured image or the high-frequency component amount of the captured image.
<エッジレベルの変形例>
上記実施形態において、エッジレベル推定部22は上限値及び下限値を用いて輝度変化量を3段階に分けることにより、エッジレベルを推定した。別の実施形態において、エッジレベル推定部22は下限値のみを用いて輝度変化量を2段階に分けてエッジレベルを推定ことができる。図8に、この場合のエッジレベルと輝度変化量、解像度の関係例を示す。すなわち、エッジレベル推定部22は各ブロックのエッジ強度の平均値E1を下限値T1Lと比較して、E1≧T1Lであるブロックをレベル2(少なくとも弱エッジが含まれる領域)と判定し、E1<T1Lであるブロックをレベル1と判定する。これに応じて解像度変換部23は、撮影画像におけるレベル1のブロックの解像度を、少なくともレベル2のブロックの解像度R4よりも低い解像度R2の画像に置換して認識用画像を生成する。
<Modification of edge level>
In the embodiment described above, the edge level estimation unit 22 estimates the edge level by dividing the luminance change amount into three stages using the upper limit value and the lower limit value. In another embodiment, the edge level estimation unit 22 can estimate the edge level by dividing the luminance change amount into two stages using only the lower limit value. FIG. 8 shows an example of the relationship between the edge level, the luminance change amount, and the resolution in this case. That is, the edge level estimation unit 22 compares the average value E1 of the edge strength of each block with the lower limit value T1L, determines that a block where E1 ≧ T1L is level 2 (a region including at least a weak edge), and E1 < The block which is T1L is determined as level 1. In response to this, the resolution conversion unit 23 generates a recognition image by replacing the resolution of the level 1 block in the captured image with an image having a resolution R2 lower than the resolution R4 of the level 2 block.
同様に、エッジレベル推定部22は各ブロックの輝度分散値E2を下限値T2Lと比較して、E2≧T2Lであるブロックをレベル2、E2<T2Lであるブロックをレベル1と判定することもできる。或いは、エッジレベル推定部22は各ブロックをFFT分析して得た高周波成分量E3を下限値T3Lと比較して、E3≧T3Lであるブロックをレベル2、E3<T3Lであるブロックをレベル1と判定することもできる。さらには各ブロックをウェーブレット変換して得た高周波成分量E4、各ブロックにて低周波画像と撮影画像の差分値を平均して得た平均値E5、その他の輝度変化量を用いる場合も同様に、下限値のみを用いて輝度変化量を2段階に分けてエッジレベルを推定することが可能である。 Similarly, the edge level estimator 22 can compare the luminance variance value E2 of each block with the lower limit value T2L, and determine that a block where E2 ≧ T2L is level 2 and a block where E2 <T2L is level 1. . Alternatively, the edge level estimation unit 22 compares the high frequency component amount E3 obtained by performing FFT analysis of each block with the lower limit value T3L, and sets a block where E3 ≧ T3L is level 2 and a block where E3 <T3L is level 1. It can also be determined. Furthermore, the same applies to the case of using the high frequency component amount E4 obtained by wavelet transform of each block, the average value E5 obtained by averaging the difference values between the low frequency image and the captured image in each block, and other luminance change amounts. It is possible to estimate the edge level by dividing the luminance change amount into two stages using only the lower limit value.
このように輝度変化量を2段階に分ける場合、撮影画像においてエッジが存在する領域全てが高解像度領域となるが、背景が単純な監視領域では十分なデータ量削減効果を奏することができる。 In this way, when the amount of change in luminance is divided into two stages, all areas where edges exist in the captured image become high-resolution areas, but a sufficient data amount reduction effect can be achieved in a monitoring area with a simple background.
また、別の実施形態において、エッジレベル推定部22は輝度変化量を3つの閾値と比較して各ブロックのエッジレベルを4段階に分けることができる。図9に、この場合のエッジレベルと輝度変化量、解像度の関係例を示す。すなわち、エッジレベル推定部22は各ブロックのエッジ強度の平均値E1を下限値T1L、中間値T1M、上限値T1H(T1L<T1M<T1H)と比較して、E1<T1Lであるブロックをレベル1と判定し、T1L≦E1<T1Mであるブロックをレベル2.1と判定し、T1M≦E1<T1Hであるブロックをレベル2.2と判定し、E1≧T1Hであるブロックをレベル3と判定する。解像度変換部23はこれに対応し、撮影画像において、レベル1のブロックを解像度R2の画像に置換し、レベル2.1のブロックを解像度R4.1の画像に置換する又はその解像度R1を維持し、レベル2.2のブロックを解像度R4.1よりも低い中間解像度R4.2の画像に置換し、レベル3のブロックを解像度R3の画像に置換して認識用画像を生成する。すなわち、解像度変換部23は、中間段階であるレベル2のブロックを細分し、当該段階が高いほど低く設定された第四解像度R4.1,R4.2の画像に置換して認識用画像を生成する。なお、解像度変換部23は、12×12画素のブロックを6×6画素の4ブロックなどに再分割し、再分割したブロックごとに撮影画像の代表輝度値を設定した4画素などとすることで中間解像度R5.2に変換することができる。 In another embodiment, the edge level estimator 22 can compare the luminance change amount with three threshold values and divide the edge level of each block into four stages. FIG. 9 shows an example of the relationship between the edge level, the luminance change amount, and the resolution in this case. That is, the edge level estimation unit 22 compares the average value E1 of the edge strengths of each block with the lower limit value T1L, the intermediate value T1M, and the upper limit value T1H (T1L <T1M <T1H). The block satisfying T1L ≦ E1 <T1M is determined as level 2.1, the block satisfying T1M ≦ E1 <T1H is determined as level 2.2, and the block satisfying E1 ≧ T1H is determined as level 3. . In response to this, the resolution conversion unit 23 replaces the level 1 block with the resolution R2 image and replaces the level 2.1 block with the resolution R4.1 image or maintains the resolution R1 in the captured image. The level 2.2 block is replaced with an image having an intermediate resolution R4.2 lower than the resolution R4.1, and the level 3 block is replaced with an image having a resolution R3 to generate a recognition image. That is, the resolution conversion unit 23 subdivides the level 2 block, which is an intermediate stage, and generates a recognition image by substituting the lower level image with the fourth resolution R4.1, R4.2 as the stage is higher. To do. The resolution conversion unit 23 subdivides a 12 × 12 pixel block into 4 blocks of 6 × 6 pixels and the like, and sets the representative luminance value of the captured image to 4 pixels or the like for each subdivided block. It can be converted to an intermediate resolution R5.2.
同様に、エッジレベル推定部22は、各ブロックの輝度分散値E2を下限値T2L、中間値T2M、上限値T2H(T2L<T2M<T2H)と比較して、E2<T2Lであるブロックをレベル1、T2L≦E2<T2Mであるブロックをレベル2.1、T2M≦E2<T2Hであるブロックをレベル2.2、E2≧T2Hであるブロックをレベル3と判定することもできる。或いは、エッジレベル推定部22は各ブロックをFFT分析して得た高周波成分量E3を下限値T3L、中間値T3M、上限値T3H(T3L<T3M<T3H)と比較して、E3<T3Lであるブロックをレベル1、T3L≦E3<T3Mであるブロックをレベル2.1、T3M≦E3<T3Hであるブロックをレベル2.2、E3≧T3Hであるブロックをレベル3と判定することもできる。さらには各ブロックをウェーブレット変換して得た高周波成分量E4、各ブロックにて低周波画像と撮影画像の差分値を平均して得た平均値E5、その他の弱エッジ指標を用いる場合も、同様に中間値を設定してエッジレベルを4段階に分けることが可能である。 Similarly, the edge level estimation unit 22 compares the luminance variance value E2 of each block with the lower limit value T2L, the intermediate value T2M, and the upper limit value T2H (T2L <T2M <T2H), and sets the block where E2 <T2L to level 1 , T2L ≦ E2 <T2M can be determined as level 2.1, T2M ≦ E2 <T2H can be determined as level 2.2, and E2 ≧ T2H can be determined as level 3. Alternatively, the edge level estimation unit 22 compares the high-frequency component amount E3 obtained by FFT analysis of each block with the lower limit value T3L, the intermediate value T3M, and the upper limit value T3H (T3L <T3M <T3H), and E3 <T3L. It is also possible to determine that a block is level 1, a block where T3L ≦ E3 <T3M is level 2.1, a block where T3M ≦ E3 <T3H is level 2.2, and a block where E3 ≧ T3H is level 3. Furthermore, the same applies to the case of using a high-frequency component amount E4 obtained by wavelet transform of each block, an average value E5 obtained by averaging the difference value between the low-frequency image and the captured image in each block, and other weak edge indices. The edge level can be divided into four stages by setting an intermediate value.
輝度変化量に対して適用する中間値と中間解像度を実現するために再分割するブロックサイズの関係は事前の実験を通じて適宜に設定することができる。 The relationship between the intermediate value applied to the luminance change amount and the block size to be subdivided in order to realize the intermediate resolution can be appropriately set through a prior experiment.
また、さらにはブロックの再分割が可能な範囲内で4つ以上の閾値を用いて5段階以上にするなど、段階を増やすこともできる。このように中間解像度を設定すれば、データ量の削減効果をさらに高めることが可能となる。 Furthermore, the number of steps can be increased, for example, by using four or more threshold values within a range in which block re-division is possible, and increasing the number of steps to five or more. If the intermediate resolution is set in this way, the data amount reduction effect can be further enhanced.
<その他の変形例>
上記実施形態においては、撮影画像の解像度が横8000×縦4500画素である例を示したが、撮影画像の解像度はこれに限らず、例えば7680×4320画素(8K UHDTV)、3840×2160(4K UHDTV)、1920×1080画素(HD)など他の解像度であってもよい。
<Other variations>
In the above-described embodiment, an example in which the resolution of the captured image is 8000 × 4500 pixels in the horizontal direction is shown. However, the resolution of the captured image is not limited to this, for example, 7680 × 4320 pixels (8K UHDTV), 3840 × 2160 (4K). Other resolutions such as UHDTV) and 1920 × 1080 pixels (HD) may be used.
また上記実施形態においては、撮影画像が濃淡画像である例を示したが、撮影画像をカラー画像とすることもできる。この場合、エッジレベル推定部22はステップS102において注目ブロックのカラー画像をグレースケール変換してから輝度変化量を算出すればよい。 In the above-described embodiment, an example in which the captured image is a grayscale image has been described. However, the captured image may be a color image. In this case, the edge level estimation unit 22 may calculate the luminance change amount after performing gray scale conversion on the color image of the block of interest in step S102.
以上のようにして監視カメラが生成する認識用画像は色の類似した領域同士が接している領域において高解像度であるため、これを利用する画像認識装置における認識対象物体の特徴の抽出し損ねを低減でき、画像監視装置において高精度な画像認識が可能となる。また、エッジの弱い領域を解像度が高い撮影画像に基づいて判定し、認識用画像において当該領域を高解像度領域とするので、色の類似した領域が接してエッジが弱くなっている領域を認識用画像において確実に高解像度領域とすることができ、画像監視装置において高精度な画像認識が可能となる。 As described above, the recognition image generated by the surveillance camera has a high resolution in a region where colors similar to each other are in contact with each other. Therefore, it is difficult to extract the feature of the recognition target object in the image recognition apparatus using this. The image can be reduced, and high-accuracy image recognition can be performed in the image monitoring apparatus. Also, areas with weak edges are determined based on captured images with high resolution, and the areas in the recognition image are made high-resolution areas, so areas with similar colors touching and areas with weak edges are used for recognition. A high-resolution area can be reliably obtained in the image, and high-accuracy image recognition can be performed in the image monitoring apparatus.
その一方で、認識用画像において、高解像度でなくとも認識対象物体の特徴を十分に抽出可能な上記領域以外の領域は低解像度であるため、通信、画像認識の対象となるデータ量を低減でき、画像監視装置を低コストで提供できる。また認識用画像における高解像度領域は、認識対象物体全体でなく、その一部に限定されるためデータ量を大幅に低減でき、画像監視装置を低コストで提供できる。また、1フレームの撮影画像に対して1フレームの認識用画像が生成されるため、認識用画像を受信する画像認識装置において処理が複雑とならず画像監視装置を低コストで提供できる。 On the other hand, in the image for recognition, the area other than the above-mentioned area where the features of the recognition target object can be sufficiently extracted even if it is not high resolution has low resolution, so the amount of data that is the target of communication and image recognition can be reduced. An image monitoring apparatus can be provided at a low cost. Further, since the high resolution area in the recognition image is not limited to the entire recognition target object but limited to a part thereof, the data amount can be greatly reduced, and the image monitoring apparatus can be provided at low cost. Also, since one frame of recognition image is generated for one frame of captured image, the processing is not complicated in the image recognition apparatus that receives the recognition image, and the image monitoring apparatus can be provided at low cost.
なお、上記実施形態においては、画像監視装置が不審者を認識する例を示したが、本発明は人の認識に限らず車両、船舶、災害など各種物体、各種事象の認識に適用でき、エッジ特徴量を用いて監視領域の状態を画像認識する様々な用途に有用である。
In the above embodiment, an example in which the image monitoring apparatus recognizes a suspicious person has been shown. However, the present invention is not limited to human recognition, but can be applied to recognition of various objects such as vehicles, ships, disasters, and various events, and edges. This is useful for various applications for recognizing the state of the monitoring area using the feature amount.
1・・・画像監視装置
2−1,2−2,…,2−N・・・監視カメラ
20・・・高解像撮影部
21・・・撮影画像記憶部
22・・・エッジレベル推定部
23・・・解像度変換部
24・・・認識用画像記憶部
25・・・画像出力部
3・・・画像通信網
4・・・画像認識装置
40・・・画像入力部
41・・・特徴抽出部
42・・・不審者認識部
43・・・異常出力部
50,51,53,54・・・ブロック
52,55・・・ブロック・データ
60・・・撮影画像
61,62・・・類似色領域
70・・・認識用画像
71,72,73・・・高解像度領域
74・・・低解像度領域
DESCRIPTION OF SYMBOLS 1 ... Image monitoring apparatus 2-1, 2-2, ..., 2-N ... Surveillance camera 20 ... High-resolution imaging | photography part 21 ... Captured image memory | storage part 22 ... Edge level estimation part DESCRIPTION OF SYMBOLS 23 ... Resolution conversion part 24 ... Image storage part for recognition 25 ... Image output part 3 ... Image communication network 4 ... Image recognition apparatus 40 ... Image input part 41 ... Feature extraction Part 42 ... Suspicious person recognition part 43 ... Abnormal output part 50, 51, 53, 54 ... Block 52, 55 ... Block data 60 ... Photographed image 61, 62 ... Similar color Area 70 ... Recognition image 71, 72, 73 ... High resolution area 74 ... Low resolution area
Claims (3)
前記撮影画像を複数のブロックに区分して前記各ブロックを構成する画素間の輝度変化量を算出し、前記輝度変化量を予め定めた互いに値が異なる2以上の閾値と比較して前記各ブロックに含まれるエッジの強度を当該強度が強いほど高い段階となるように3以上の段階に分けるエッジレベル推定部と、
前記撮影画像において少なくとも前記段階が最低段階であるブロックを前記第一解像度よりも低い第二解像度の画像に置換し、さらに前記撮影画像において前記段階が最高段階であるブロックを前記第一解像度よりも低い第三解像度の画像に置換して認識用画像を生成する解像度変換部と、
前記認識用画像を外部に出力する画像出力部と、
を備えたことを特徴とする監視カメラ。 A photographing unit for photographing a monitoring area and generating a photographed image of the first resolution;
The captured image is divided into a plurality of blocks, a luminance change amount between pixels constituting each block is calculated, and the luminance change amount is compared with two or more predetermined thresholds having different values. An edge level estimator that divides the intensity of the edge included in 3 into three or more stages so that the higher the intensity is,
A block having at least the lowest stage in the captured image is replaced with an image having a second resolution lower than the first resolution , and a block having the highest stage in the captured image is replaced with the first resolution. A resolution conversion unit that generates a recognition image by replacing the image with a low third resolution ;
An image output unit for outputting the recognition image to the outside;
A surveillance camera characterized by comprising:
前記解像度変換部は、さらに前記撮影画像において前記段階が前記最低段階と前記最高段階の中間段階であるブロックを当該段階が高いほど低く設定された第四解像度の画像に置換して前記認識用画像を生成する請求項1に記載の監視カメラ。 The edge level estimation unit divides the intensity of the edge included in each block into four or more stages by comparing the luminance change amount with three or more thresholds having different values.
The resolution converting unit further replaces the block in which the stage is an intermediate stage between the lowest stage and the highest stage in the photographed image with an image of a fourth resolution that is set lower as the stage is higher. The surveillance camera according to claim 1 , which generates
前記画像認識装置は、
前記画像通信網に接続されて前記認識用画像を受信する通信部と、
前記認識用画像からエッジ特徴量を抽出する特徴量抽出部と、
前記特徴量抽出部により抽出された前記エッジ特徴量を用いて前記監視領域の状態を認識する認識部と、
を備えたことを特徴とする画像監視装置。 Monitoring camera according to claim 1 or 2, and video communication network for transmitting said recognition image being connected to the image output unit, an image monitoring apparatus comprising an image recognition apparatus, a
The image recognition device includes:
A communication unit connected to the image communication network and receiving the recognition image;
A feature quantity extraction unit for extracting edge feature quantities from the recognition image;
A recognition unit for recognizing the state of the monitoring region using the edge feature amount extracted by the feature amount extraction unit;
An image monitoring apparatus comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013224137A JP6266946B2 (en) | 2013-10-29 | 2013-10-29 | Surveillance camera and image monitoring device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013224137A JP6266946B2 (en) | 2013-10-29 | 2013-10-29 | Surveillance camera and image monitoring device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015088817A JP2015088817A (en) | 2015-05-07 |
JP6266946B2 true JP6266946B2 (en) | 2018-01-24 |
Family
ID=53051216
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013224137A Active JP6266946B2 (en) | 2013-10-29 | 2013-10-29 | Surveillance camera and image monitoring device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6266946B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11044424B2 (en) | 2019-09-17 | 2021-06-22 | Kabushiki Kaisha Toshiba | Image processing device |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110519503B (en) * | 2018-05-22 | 2021-06-22 | 维沃移动通信有限公司 | Method for acquiring scanned image and mobile terminal |
CN109915932B (en) * | 2018-07-26 | 2021-07-09 | 江苏克伦伯格热能技术有限公司 | Heating mode control system of heating radiator |
JP7368995B2 (en) * | 2019-09-30 | 2023-10-25 | セコム株式会社 | Image recognition system, imaging device, recognition device, and image recognition method |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0816958B2 (en) * | 1991-12-11 | 1996-02-21 | 茨城警備保障株式会社 | Security surveillance system |
JP3889178B2 (en) * | 1999-03-25 | 2007-03-07 | 富士通株式会社 | Resolution conversion image compression / decoding device |
JP2006013722A (en) * | 2004-06-23 | 2006-01-12 | Matsushita Electric Ind Co Ltd | Unit and method for processing image |
-
2013
- 2013-10-29 JP JP2013224137A patent/JP6266946B2/en active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11044424B2 (en) | 2019-09-17 | 2021-06-22 | Kabushiki Kaisha Toshiba | Image processing device |
Also Published As
Publication number | Publication date |
---|---|
JP2015088817A (en) | 2015-05-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10867166B2 (en) | Image processing apparatus, image processing system, and image processing method | |
CN109949347B (en) | Human body tracking method, device, system, electronic equipment and storage medium | |
KR101023207B1 (en) | Video object abstraction apparatus and its method | |
KR101758684B1 (en) | Apparatus and method for tracking object | |
JP2018116692A (en) | Human flow analysis apparatus and system | |
US11132538B2 (en) | Image processing apparatus, image processing system, and image processing method | |
JP4764487B2 (en) | Video surveillance system | |
JP6266946B2 (en) | Surveillance camera and image monitoring device | |
JP2011130203A (en) | Video information processing method and apparatus therefor | |
JP2014027442A (en) | Image processing device, image processing method, and program | |
Krishnan et al. | A survey on different edge detection techniques for image segmentation | |
KR20140095333A (en) | Method and apparratus of tracing object on image | |
KR20130134163A (en) | Apparatus and method for extracting target, and the recording media storing the program for performing the said method | |
JP2010003177A (en) | Image processor | |
KR20120035734A (en) | A method for detecting fire or smoke | |
CN113936252A (en) | Battery car intelligent management system and method based on video monitoring | |
JP4729188B2 (en) | Gaze detection device | |
CN110222647B (en) | Face in-vivo detection method based on convolutional neural network | |
CN110610119B (en) | Image analysis method, electronic system and non-transitory computer readable recording medium | |
JP6235302B2 (en) | Surveillance camera and image monitoring device | |
JP6811244B2 (en) | Image processing device, stereo camera device and image processing method | |
KR102150661B1 (en) | Method and Apparatus for Preprocessing Image for Detecting Objects | |
JP5777389B2 (en) | Image processing apparatus, image processing system, and image processing method | |
JP6124739B2 (en) | Image sensor | |
CN103337076B (en) | There is range determining method and device in video monitor object |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160630 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170515 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170530 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170725 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171212 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6266946 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |