WO2000054508A1 - Dispositif et procede de traitement de signaux camera - Google Patents

Dispositif et procede de traitement de signaux camera Download PDF

Info

Publication number
WO2000054508A1
WO2000054508A1 PCT/JP2000/001365 JP0001365W WO0054508A1 WO 2000054508 A1 WO2000054508 A1 WO 2000054508A1 JP 0001365 W JP0001365 W JP 0001365W WO 0054508 A1 WO0054508 A1 WO 0054508A1
Authority
WO
WIPO (PCT)
Prior art keywords
motion
image
motion detection
signal processing
center
Prior art date
Application number
PCT/JP2000/001365
Other languages
English (en)
French (fr)
Inventor
Yukio Mori
Seiji Okada
Shoichi Hasegawa
Original Assignee
Sanyo Electric Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co., Ltd. filed Critical Sanyo Electric Co., Ltd.
Priority to DE60043795T priority Critical patent/DE60043795D1/de
Priority to EP00906743A priority patent/EP1096799B1/en
Priority to US09/674,489 priority patent/US6937271B1/en
Priority to AU28309/00A priority patent/AU2830900A/en
Priority to KR1020007012459A priority patent/KR20010043423A/ko
Publication of WO2000054508A1 publication Critical patent/WO2000054508A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation

Definitions

  • the present invention relates to a camera signal processing device and a camera signal processing method for detecting a motion of a video and processing a camera signal according to the detected motion of the video.
  • Japanese Patent Laying-Open No. 8-125910 discloses a camera device for tracking a subject.
  • the color of the subject is registered in the camera device in advance, and when the registered color appears in the image captured by the camera, the initial position of the subject is detected from the color information. Then, the motion vector of the subject is detected, and the direction of the camera is controlled so as to track the subject according to the detected motion vector.
  • the color of the subject needs to be specified in advance. Therefore, in a system for photographing an unspecified subject, such as a surveillance system using a surveillance camera, it is difficult to detect the subject by a method similar to the above-described camera device.
  • a camera signal processing device divides an image captured by an imaging unit into a plurality of motion detection regions, and detects motion of the video for each motion detection region. Extracting means for extracting an area in which an abnormally moving object exists, based on the motion of the video in each motion detection area, and extracting means. It is specially equipped with image enlarging means for enlarging the image picked up by the image pickup means and displaying it on a display device, centering on the area where the abnormally moving object extracted by the above exists. .
  • the extraction means for example, of the motion detection areas, a motion detection area in which the motion of the video detected by the motion detection means matches a predetermined abnormal motion pattern is used. Those that are extracted as existing areas are used.
  • the image enlarging means for example, among the areas where the abnormally moving objects extracted by the extracting means exist, there are the abnormally moving objects such that the connected areas form a group.
  • Means for grouping regions to be grouped, a group having the largest area is extracted from the groups obtained by the group forming means, and a center of gravity detecting means for obtaining the position of the center of gravity of the extracted group;
  • the one provided with zoom means for enlarging an image picked up by the image pickup means with the center of gravity set as the center and displaying the image on a display device is used.
  • a video captured by a capturing unit is divided into a plurality of motion detection areas, and a motion of the video is detected for each motion detection area.
  • the second step of extracting an area where an abnormally moving object exists based on the motion of the video in each motion detection area, and the area where an abnormally moving object extracted by the second step exists.
  • a third step of enlarging an image captured by the photographing means and displaying the enlarged image on a display device.
  • a motion detection area in which the motion of the image detected in the first step matches a predetermined abnormal motion pattern is determined. What is extracted as the region where the moving object exists is used.
  • the third step is, for example, the abnormal behavior extracted in the second step.
  • the one provided with the sixth step of enlarging and displaying on a display device is used.
  • FIG. 1 is a block diagram showing the configuration of the monitoring system.
  • FIG. 2 is a flowchart showing the operation of the monitoring system.
  • FIG. 3 is a schematic diagram showing a motion detection area.
  • Figure 1 shows the configuration of the monitoring system.
  • the surveillance system consists of a video camera (surveillance camera) 1 that shoots the subject, a video signal (camera signal) output from the surveillance camera 1, a camera signal processing device 2 that processes X, and a video output from the camera signal processing device 2.
  • a display device 3 for displaying signals is provided.
  • the surveillance camera 1 includes a CCD 11, a correlated double sampling unit (CDS) 12, an automatic gain control unit (AGC) 13, and an analog-to-digital conversion unit (ADC) 14.
  • CDS correlated double sampling unit
  • ADC automatic gain control unit
  • ADC analog-to-digital conversion unit
  • the video signal obtained by the CCD 11 is output via a correlated double sampling unit (CDS) 12, an automatic gain control unit (AGC) 13, and an analog-digital conversion unit (ADC) 14.
  • the camera signal processing device 2 includes a memory 21, a motion detecting unit 22, an abnormality detecting unit 23, and an image enlarging unit 24.
  • the camera signal output from the monitoring camera 1 is sent to the memory 21 and also sent to the motion detecting means 22.
  • the memory 21 stores video signals for one field.
  • the motion detection means 22 divides the screen of one field into, for example, 36 equal parts as shown in FIG. 3, and compares each area (motion detection area) with the screen before an arbitrary field. The motion vector for each motion detection area is detected.
  • the abnormality detection means 23 detects a motion detection area in which an abnormally moving object exists, based on the motion vector for each motion detection area detected by the motion detection means 22.
  • the image enlarging means 24 enlarges the area in which it is detected by the abnormality detecting means 23 that an object that moves abnormally is present, and outputs it as an image signal Y.
  • the abnormality detection means 23 includes a setting unit 23a for setting an abnormal motion pattern in advance to detect a motion detection area in which an abnormally moving object is present, and a one-field screen.
  • An abnormality presence / absence determination section 23b for determining whether or not there is a motion detection area in which an abnormally moving object is present.
  • the setting section 23a sets an abnormal motion pattern, such as a horizontal motion component m and a vertical motion component n, with an X direction motion component and a Y direction motion component. I do. For example, if the horizontal motion component is set to 1 and the vertical motion component is set to 0, a motion vector with a horizontal component of 1 or more is detected regardless of whether the motion direction is horizontal or diagonal. At this time, it is determined that the motion detection area where the motion vector is detected is an area where an object that moves abnormally exists. When both the horizontal motion component and the vertical motion component are set to 0, when a motion vector having a size of 0 or more is detected, the motion vector in which the motion vector is detected is used. It is determined that the detection area is an area where an object that moves abnormally exists.
  • a normal movement pattern may be set in the setting unit 23a.
  • a motion detection area in which the detected motion vector does not correspond to a normal motion pattern may be detected as a motion detection area in which an abnormally moving object exists.
  • the image enlarging means 24 includes a group forming section 24a, a center of gravity detecting section 24b, a zooming section 24c, a center of gravity moving section 24d, a zoom canceling section 24e, and an output section 24f. .
  • the group forming section 24a is configured such that, among the motion detection areas in which the abnormally moving objects detected by the abnormality detection means 23 are present, one group is formed by the motion detection areas connected to each other. , Group the areas where abnormally moving objects are present.
  • the center-of-gravity detector 24b extracts the group having the largest area from the multiple groups grouped by the group forming unit 24a, and calculates the center-of-gravity position of the group.
  • the zoom unit 24c enlarges a part of the video for one frame obtained from the visual sight camera 1 centering on the position of the center of gravity obtained by the center of gravity detection unit 24b.
  • the center-of-gravity moving unit 24d follows the movement. To move the center of the enlarged image.
  • the zoom release unit 24 e is configured to enlarge the image by the zoom unit 24 c when the abnormality presence / absence determination unit 23 b of the abnormality detection unit 23 determines that there is no area where an object that moves abnormally exists. Cancel the processing.
  • the output unit 24 f outputs the video data for one field stored in the memory 21 or the enlarged video data enlarged by the zoom unit 24 c as a video signal Y.
  • FIG. 1 shows the operation of the monitoring system.
  • the surveillance camera 1 shoots one field (step 1).
  • the video for one field captured by the monitoring camera 1 is stored in the memory 21 of the camera signal processing device 2 and sent to the motion detection means 22.
  • the motion detection means 22 detects a motion vector for each motion detection area in FIG. 3 by comparing the transmitted image with the image before an arbitrary number of fields (Step 2).
  • the abnormality detection means 23 extracts a motion detection area in which an abnormally moving object exists, based on the motion vector for each motion detection area detected in step 2.
  • Step 3 In other words, among the motion vectors detected for each motion detection area, it is determined whether or not there is one that corresponds to the abnormal motion pattern set in the setting unit 23a. Then, the motion detection region is extracted as a region where an object that moves abnormally exists.
  • the motion detection region marked with a circle is extracted as a region where an object that moves abnormally exists.
  • step 4 it is determined whether or not the motion detection area in which the abnormally moving object exists in the above step 3 is extracted. That is, it is determined whether or not even one of the motion detection regions in FIG. 3 is extracted as a region where an object that moves abnormally exists.
  • the group forming unit 24a determines the motion detection area in which the abnormally moving object extracted in step 3 exists. Of these, regions where abnormally moving objects exist are grouped so that one group is composed of the regions connected to each other (Step 5).
  • the regions extracted as the regions in which the abnormally moving objects are present are grouped into three groups h, i, and j.
  • the center-of-gravity detecting unit 24b extracts the group having the largest area from the groups obtained by the grouping performed by the group forming unit 24a (step 6).
  • the group h is extracted as the group having the largest area.
  • the center-of-gravity detector 24b calculates the position of the center of gravity of the group having the largest region extracted in step 6 (step 7). In the example of FIG. 3, the position of the center of gravity of the group h is obtained.
  • the center of gravity (X g, yg) of each of the six regions belonging to the group h is calculated, and the average of the X-coordinate X g of the obtained center of gravity of each region * The average of the X-g and Y-coordinates yg * Find yg.
  • the coordinates (* xg, * yg) are It becomes the position of the center of gravity.
  • the image currently displayed on the display device 3 is an image that has been enlarged by the zoom unit 24c (whether it is in a zoomed state) or an image stored in the memory 21 (non-enlarged image). Is determined (step 8).
  • the zoom unit 24 c stores the image stored in the memory 21 around the center of gravity position obtained by the center of gravity detection unit 24 b. (Step 9).
  • the magnification at this time may be determined in advance, for example, twice, or the magnification may be changed according to the size of the group to be enlarged.
  • the video data enlarged by the zoom unit 24c is sent to the display device 3 via the output unit 24f. Then, returning to step 1, the next one field is photographed.
  • step 8 above if it is determined that the image currently displayed on the display device 3 is an image that has been enlarged by the zoom unit 24c, the center-of-gravity moving unit 24d is determined in step 7 above. It is determined whether the obtained center of gravity position has changed from the center of gravity position force obtained in the previous field, and if it has changed, the movement destination position is obtained according to a predetermined rule, and enlarged by the zoom unit 24c. The center position of the image is moved to the destination position (step 10). After that, the process returns to step 1 and the next one field is photographed.
  • the predetermined rule in step 10 is, for example, that the position of the center of gravity determined in the previous field is (X (n ⁇ 1), Y (n ⁇ 1)), and the position of the center of gravity determined in the current field is (X ( ⁇ ), ⁇ ( ⁇ ⁇ )) and the destination position (X ( ⁇ ), ⁇ ( ⁇ )), the following equation (1) holds.
  • k is a tracking coefficient. If the center of the enlarged image is suddenly moved from the position of the center of gravity calculated in the previous field to the position of the center of gravity calculated in the current field, the position of the center of gravity changes greatly, and the displayed image changes rapidly, It is difficult to see the video. Therefore, the tracking ability is intentionally delayed by using the above-mentioned rule.
  • step 4 If it is determined in step 4 that the region where the abnormally moving object exists is not extracted, the image currently displayed on the display device 3 is enlarged by the zoom unit 24 c. It is determined whether the image is an image (zoom state) or an image (non-magnified image) stored in the memory 21 (step 11).
  • the process returns to step 1 and the next field is photographed. If the image displayed on the display device 3 is an image stored in the memory 21, the process returns to step 1 and the next field is photographed. If the image displayed on the display device 3 is an image that has been enlarged by the zoom unit 24c, it is determined that there is no longer an object that moves abnormally, and there is also a reason for enlarging the image. Since it has disappeared, the enlargement processing is canceled by the zoom canceling unit 24e (step 12). Then, the video data stored in the memory 21 is sent to the display device 3 via the output unit 24f. Thereafter, the process returns to step 1 and the next field is photographed. By repeatedly performing the above processing, when there is an object (subject) that moves abnormally in the video, the video can be enlarged and displayed with the subject portion as the center.
  • the motion detection means 22 detects a motion vector for each motion detection area
  • the abnormality detection means 23 shows a motion vector for each motion detection area detected by the motion detection means 22. It is determined whether or not there is an area where an object that moves abnormally exists based on.
  • the present invention is not limited to this.
  • the motion detecting means 22 detects the difference in luminance between the arbitrary previous field and the current field for each motion detecting area, and the abnormality detecting means 23 is detected by the motion detecting means 22. Alternatively, it may be determined whether or not there is an area in which an object that moves abnormally exists based on the luminance difference for each motion detection area.
  • a motion detection area where the luminance difference is equal to or greater than a predetermined value may be determined to be an area where an abnormally moving object exists.
  • the present invention detects and tracks an abnormally moving subject, so it is particularly suitable for a surveillance camera system, but can also be used for home video cameras and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Description

明 細 書 力メラ信号処理装置及び力メラ信号処理方法 <技術分野 >
この発明は、 映像の動きを検出し、 検出した映像の動きに応じてカメラ信号を 処理するカメラ信号処理装置及びカメラ信号処理方法に関する。 ぐ背景技術 >
特開平 8— 1 2 5 9 1 0号公報には、 被写体を追尾するカメラ装置が開示され ている。 つまり、 カメラ装置に被写体の色をあらかじめ登録しておき、 登録して いた色がカメラによって撮影された映像中に現れたときに、 その色情報から被写 体の初期位置を検出する。 この後、 被写体の動きベクトルを検出して、 その検出 した動きべクトルに応じて、 被写体を追尾するようにカメラの向きを制御する。 上記カメラ装置では、 被写体を検出するためには、 被写体の色が予め特定され ていることが必要となる。 したがって、 監視カメラを用いた監視システムのよう に、 不特定な被写体を撮影するシステムにおいては、 上記カメラ装置と同様な方 法では、 被写体を検出することは困難である。
この発明は、 被写体の色が予め特定されていない場合でも被写体を検出して、 拡大表示させることができるカメラ信号処理装置および力メラ信号処理方法を提 供することを目的とする。
<発明の開示〉
この発明によるカメラ信号処理装置は、 撮影手段で撮影された映像を複数の動 き検出領域に分割し、 各動き検出領域毎に映像の動きを検出する動き検出手段、 動き検出手段によって検出された各動き検出領域毎の映像の動きに基づいて、 異 常な動きをする物体が存在する領域を抽出する抽出手段、 および抽出手段によつ て抽出された異常な動きをする物体が存在する領域を中心として、 撮影手段によ つて撮像された映像を拡大して表示装置に表示させる映像拡大手段を備えている ことを特 ί敷とする。
抽出手段としては、 たとえば、 各動き検出領域のうち、 動き検出手段によって 検出された映像の動きが、 予め設定された異常な動きパターンと一致する動き検 出領域を、 異常な動きをする物体が存在する領域として抽出するものが用いられ る。
映像拡大手段としては、 たとえば、 抽出手段によって抽出された異常な動きを する物体が存在する領域のうち、 互いに繋がっている領域によって 1グループが 構成されるように、 異常な動きをする物体が存在する領域をグループ化するグル ープ形成手段、 グループ形成手段によって得られたグループのうち、 領域が最も 大きいグループを抽出し、 抽出したグループの重心位置を求める重心検出手段、 および重心検出手段によって求められた重心位置を中心として撮影手段によって 撮像された映像を拡大して表示装置に表示させるズーム手段を備えているものが 用いられる。
この発明によるカメラ信号処理方法は、 撮影手段で撮影された映像を複数の動 き検出領域に分割し、 各動き検出領域毎に映像の動きを検出する第 1ステップ、 第 1ステップによって検出された各動き検出領域毎の映像の動きに基づいて、 異 常な動きをする物体が存在する領域を抽出する第 2ステップ、 および第 2ステツ プによって抽出された異常な動きをする物体が存在する領域を中心として、 撮影 手段によつて撮像された映像を拡大して表示装置に表示させる第 3ステツプを備 えていることを特徴とする。
第 2ステップとしては、 たとえば、 各動き検出領域のうち、 第 1ステップによ つて検出された映像の動きが、 予め設定された異常な動きパターンと一致する動 き検出領域を、 異常な動きをする物体が存在する領域として抽出するものが用い られる。
第 3ステップとしては、 たとえば、 第 2ステップによって抽出された異常な動 きをする物体が存在する領域のうち、 互いに繋がっている領域によって 1グルー プが構成されるように、 異常な動きをする物体が存在する領域をグループィヒする 第 4ステップ、 第 4ステップによって得られたグループのうち、 領域が最も大き いグループを抽出し、 抽出したグループの重心位置を求める第 5ステップ、 およ び第 5ステップによって求められた重心位置を中心として撮影手段によって撮像 された映像を拡大して表示装置に表示させる第 6ステップを備えているものが用 いられる。 く図面の簡単な説明 >
図 1は、 監視システムの構成を示すブロック図である。
図 2は、 監視システムの動作を示すフローチヤ一トである。
図 3は、 動き検出領域を示す模式図である。
<発明を実施するための最良の形態 >
以下、 図面を参照して、 この発明を監視システムに適用した場合の実施の形態 について説明する。
図 1は、 監視システムの構成を示している。
監視システムは、 被写体を撮影するビデオカメラ （監視カメラ） 1、 監視カメ ラ 1から出力される映像信号 （カメラ信号） Xを処理するカメラ信号処理装置 2 およびカメラ信号処理装置 2から出力される映像信号を表示する表示装置 3を備 えている。
監視カメラ 1は、 CCD 11、 相関二重サンプリング部 （CDS) 12、 自動 ゲイン制御部 （AG C) 13およびアナログ一ディジタル変換部 （ADC) 14 とを備えている。
CCD 1 1によって得られた映像信号は、 相関二重サンプリング部 （CDS) 12、 自動ゲイン制御部 （AGC) 13およびアナログ—ディジタル変換部 （A DC) 14を介して出力される。 カメラ信号処理装置 2は、 メモリ 2 1、 動き検出手段 2 2、 異常検出手段 2 3 および映像拡大手段 2 4を備えている。
監視カメラ 1から出力されたカメラ信号は、 メモリ 2 1に送られるとともに、 動き検出手段 2 2に送られる。 メモリ 2 1には、 1フィールド分の映像信号が蓄 積される。 動き検出手段 2 2は、 1フィールドの画面を図 3に示すように、 例え ば 3 6等分に領域分割し、 各領域 （動き検出領域） 毎に任意フィ一ルド前の画面 と比較して、 各動き検出領域毎の動きべクトルを検出する。
異常検出手段 2 3は、 動き検出手段 2 2によって検出された各動き検出領域毎 の動きべクトルに基づいて、 異常な動きをする物体が存在する動き検出領域を検 出する。 映像拡大手段 2 4は、 異常検出手段 2 3によって異常な動きをする物体 が存在すると検出された領域を拡大して、 映像信号 Yとして出力する。
異常検出手段 2 3は、 異常な動きをする物体が存在する動き検出領域を検出す るために、 あらかじめ異常な動きのパターンを設定する設定部 2 3 aと、 1フィ 一ルドの画面内に異常な動きをする物体が存在する動き検出領域があるかどうか を判定する異常有無判定部 2 3 bとを備えている。
具体的には、 設定部 2 3 aには、 水平方向の動き成分 mおよび垂直方向の動き 成分 nというように、 異常な動きのパターンを X方向の動き成分と Y方向の動き 成分とで設定する。 例えば水平方向の動き成分を 1、 垂直方向の動き成分を 0と 設定した場合には、 動きの方向が水平方向または斜め方向を問わず、 水平方向成 分が 1以上の動きべクトルを検出したときに、 その動きべクトルが検出された動 き検出領域を異常な動きをする物体が存在する領域であると判定する。 また、 水 平方向の動き成分および垂直方向の動き成分を共に 0に設定した場合には、 0以 上の大きさの動きべクトルを検出したときに、 その動きべクトルが検出された動 き検出領域を異常な動きをする物体が存在する領域であると判定する。
設定部 2 3 aに、 正常な動きのパターンを設定するようにしてもよい。 この場 合には、 検出された動きべクトルが正常な動きのパターンに該当しない動き検出 領域を、 異常な動きをする物体が存在する動き検出領域として検出すればよレ、。 映像拡大手段 2 4は、 グループ形成部 2 4 a、 重心検出部 2 4 b、 ズーム部 2 4 c、 重心移動部 2 4 d、 ズーム解除部 2 4 eおよび出力部 2 4 f を備えている。 グループ形成部 2 4 aは、 異常検出手段 2 3によって検出された異常な動きを する物体が存在する動き検出領域のうち、 互いに繋がっている動き検出領域によ つて 1グループが構成されるように、 異常な動きをする物体が存在する領域をグ ループ化する。
重心検出部 2 4 bは、 グループ形成部 2 4 aでグループィヒされたた複数のダル —プのうちもっとも領域の大きなグループを抽出し、 そのグループの重心位置を 演算して求める。
ズーム部 2 4 cは、 重心検出部 2 4 bによって求められた重心位置を中心に監 視力メラ 1から得られた 1フレーム分の映像の一部を拡大する。
重心移動部 2 4 dは、 ズーム部 2 4 cによって映像の一部が拡大されている状 態において、 重心検出部 2 4 bによって検出された重心位置が移動したときに、 その移動に追従して拡大した映像の中心を移動させる。
ズーム解除部 2 4 eは、 異常検出手段 2 3の異常有無判定部 2 3 bによって異 常な動きをする物体が存在する領域が無いと判断されたときに、 ズーム部 2 4 c による映像拡大処理を解除させる。
出力部 2 4 f は、 メモリ 2 1に記憶されている 1フィールド分の映像データま たはズーム部 2 4 cによって拡大された拡大映像データを、 映像信号 Yとして出 力する。
図 2は、 監視システムの動作を示している。
まず、 監視カメラ 1によって 1フィールド分の撮影が行なわれる （ステップ 1 ) 。 監視カメラ 1によって撮像された 1フィールド分の映像は、 カメラ信号処 理装置 2のメモリ 2 1に記憶されるとともに動き検出手段 2 2に送られる。
次に、 動き検出手段 2 2は、 送られてきた映像と任意フィールド数前の映像と を比較することにより、 図 3の各動き検出領域毎に動きベク トルを検出する （ス テツプ 2 ) 。 O
次に、 異常検出手段 2 3は、 ステップ 2で検出された各動き検出領域毎の動き べクトルに基づいて、 異常な動きをする物体が存在する動き検出領域を抽出する
(ステップ 3 ) 。 つまり、 各動き検出領域毎に検出された動きベク トルのうち、 設定部 2 3 aに設定された異常な動きのパターンに該当するものがあるか否かを 判別し、 該当するものがあれば、 その動き検出領域を異常な動きをする物体が存 在する領域として抽出する。
ここでは、 図 3の各領域のうち、 丸印を付した動き検出領域が、 異常な動きを する物体が存在する領域として抽出されたとする。
次に、 上記ステップ 3において異常な動きをする物体が存在する動き検出領域 が抽出されたか否かを判定する （ステップ 4 ) 。 つまり、 図 3の各動き検出領域 のうちの 1つでも異常な動きをする物体が存在する領域として抽出されたか否か が判定される。
異常な動きをする物体が存在する動き検出領域が抽出されたと判定された場合 には、 グループ形成部 2 4 aは、 ステップ 3で抽出された異常な動きをする物体 が存在する動き検出領域のうち、 互いに繋がっている領域によって 1グループが 構成されるように、 異常な動きをする物体が存在する領域をグループ化する （ス テツプ 5 ) 。
ここでは、 図 3に示すように、 異常な動きをする物体が存在する領域として抽 出された領域が、 3つのグループ h、 i、 jにグループ化されたとする。
次に、 重心検出部 2 4 bは、 グループ形成部 2 4 aによるクループ化によって 得られたグループのうち、 領域が最も大きいグループを抽出する （ステップ 6 ) 。 図 3の例では、 グループ hが、 最大の領域を有するグループとして抽出される。 そして、 重心検出部 2 4 bは、 ステップ 6で抽出した最大の領域を有するダル ープの重心位置を算出する （ステップ 7 ) 。 図 3の例では、 グループ hの重心位 置が求められる。 具体的には、 グループ hに属する 6つの領域それぞれの重心位 置 （X g， y g ) を求め、 求めた各領域の重心位置の X座標 X gの平均 * X gお よび Y座標 y gの平均 * y gを求める。 座標 （* x g， * y g ) がグループ の 重心位置となる。
次に、 現在、 表示装置 3に表示されている映像がズーム部 24 cによって拡大 処理された映像であるか （ズーム状態であるか） 、 メモリ 21に格納された映像 (非拡大映像） であるかを判定する （ステップ 8) 。
表示装置 3に表示されている映像がメモリ 21に格納された映像である場合に は、 ズーム部 24 cは重心検出部 24 bによって求められた重心位置を中心にメ モリ 21に格納された映像を拡大する （ステップ 9) 。 この時の拡大倍率は、 例 えば 2倍というようにあらかじめ決めておいても良いし、 拡大するグループの大 きさに応じて倍率を変えても良い。 ズーム部 24 cによって拡大処理された映像 データは出力部 24 f を介して表示装置 3に送られる。 この後、 ステップ 1に戻 り、 次の 1フィールドの撮影が行なわれる。
上記ステップ 8において、 現在、 表示装置 3に表示されている映像がズーム部 24 cによって拡大処理された映像であると判定された場合には、 重心移動部 2 4 dは、 上記ステップ 7で求められた重心位置が前フィールドで求めた重心位置 力、ら変化しているか否かを判定し、 変化していれば、 所定のルールに従って、 移 動先位置を求め、 ズーム部 24 cによって拡大する映像の中心位置を移動先位置 に移動させる （ステップ 10) 。 この後、 ステップ 1に戻り、 次の 1フィールド の撮影が行なわれる。
ステップ 10の所定のルールとは、 例えば前フィールドで求められた重心位置 を （X (n— l) ， Y (n— 1) ) 、 現フィールドで求められた重心位置を （X (ηθ) ， Υ (η θ) ) 、 移動先位置 （X (η) , Υ (η) ) とすると、 次式 (1) の関係が成立する。
X (η) =Χ (η— 1) + (X (η 0) -X (η— 1) ) k
Υ (η) =Υ (η— 1) + (Υ (η 0) 一 Υ (η— 1) ) k ··■ (1) 式 （1) における kは、 追従係数である。 前フィールドで算出された重心位置から、 現フィールドで算出された重心位置 に拡大映像の中心をいきなり移動させた場合には、 重心位置が大きく変化するた め、 表示映像の変化も急激になり、 見づらい映像となる。 そこで、 前述のルール を用いてわざと追従性を遅らせているのである。
上記ステップ 4で、 異常な動きをする物体が存在する領域が抽出されなかった と判定された場合には、 現在、 表示装置 3に表示されている映像がズーム部 2 4 cによって拡大処理された映像であるか （ズーム状態であるか） 、 メモリ 2 1に 格納された映像 （非拡大映像） であるかを判定する （ステップ 1 1 ) 。
表示装置 3に表示されている映像がメモリ 2 1に格納された映像である場合に は、 ステップ 1に戻り次のフィールドの撮影が行なわれる。 表示装置 3に表示さ れている映像がズーム部 2 4 cによって拡大処理された映像である場合には、 異 常な動きをする物体が存在しなくなつたと判断し、 映像を拡大する理由もなくな つたので、 ズーム解除部 2 4 eによって拡大処理を解除させる （ステップ 1 2 ) 。 そして、 メモリ 2 1に格納されている映像データが出力部 2 4 f を介して表示装 置 3に送られる。 この後、 ステップ 1に戻り次のフィールドの撮影が行なわれる。 以上の処理を繰り返して実行することにより、 映像内に異常な動きをする物体 (被写体） が存在する場合には、 その被写体部分を中心として映像を拡大して表 示させることができる。
上記実施の形態では、 動き検出手段 2 2は各動き検出領域毎に動きべクトルを 検出し、 異常検出手段 2 3は動き検出手段 2 2によって検出された各動き検出領 域毎の動きべクトルに基づいて異常な動きをする物体が存在する領域が有るか否 力、を判定している。 この発明はこれに限らず、 動き検出手段 2 2が各動き検出領 域毎に任意前フィールドと現フィールドとの輝度の差を検出し、 異常検出手段 2 3は動き検出手段 2 2によって検出された各動き検出領域毎の輝度差に基づいて 異常な動きをする物体が存在する領域が有るか否かを判定するようにしてもよい。 例えば、 輝度差が所定値以上である動き検出領域を、 異常な動きをする物体が存 在する領域であると判定してもよい。 この発明は、 異常な動きの被写体を検出して追尾するので、 特に監視カメラシ ステムに最適であるが、 家庭用ビデオカメラなどにも利用可能である。

Claims

請求の範囲
1 . 撮影手段で撮影された映像を複数の動き検出領域に分割し、 各動き検出領 域毎に映像の動きを検出する動き検出手段、
動き検出手段によって検出された各動き検出領域毎の映像の動きに基づいて、 異常な動きをする物体が存在する領域を抽出する抽出手段、 および
抽出手段によって抽出された異常な動きをする物体が存在する領域を中心とし て、 撮影手段によって撮像された映像を拡大して表示装置に表示させる映像拡大 手段、
を備えていることを特徴とするカメラ信号処理装置。
2 . 抽出手段は、 各動き検出領域のうち、 動き検出手段によって検出された映 像の動きが、 予め設定された異常な動きパターンと一致する動き検出領域を、 異 常な動きをする物体が存在する領域として抽出することを特徴とする請求項 1に 記載のカメラ信号処理装置。
3 . 映像拡大手段は、 抽出手段によって抽出された異常な動きをする物体が存 在する領域のうち、 互いに繋がっている領域によって 1グループが構成されるよ うに、 異常な動きをする物体が存在する領域をグループ化するグループ形成手段、 グループ形成手段によって得られたグループのうち、 領域が最も大きいグルー プを抽出し、 抽出したグループの重心位置を求める重心検出手段、 および
重心検出手段によって求められた重心位置を中心として撮影手段によって撮像 された映像を拡大して表示装置に表示させるズーム手段、
を備えていることを特徴とする請求項 1および請求項 2のいずれかに記載の力 メラ信号処理装置。
4 . 撮影手段で撮影された映像を複数の動き検出領域に分割し、 各動き検出領 域毎に映像の動きを検出する第 1ステップ、
第 1ステップによって検出された各動き検出領域毎の映像の動きに基づいて、 異常な動きをする物体が存在する領域を抽出する第 2ステップ、 および
第 2ステップによって抽出された異常な動きをする物体が存在する領域を中心 として、 撮影手段によって撮像された映像を拡大して表示装置に表示させる第 3 ステップ、
を備えていることを特徴とするカメラ信号処理方法。
5 . 第 2ステップは、 各動き検出領域のうち、 第 1ステップによって検出され た映像の動きが、 予め設定された異常な動きパターンと一致する動き検出領域を、 異常な動きをする物体が存在する領域として抽出することを特徴とする請求項 4 に記載のカメラ信号処理方法。
6 . 第 3ステップは、 第 2ステップによって抽出された異常な動きをする物体 が存在する領域のうち、 互いに繋がっている領域によって 1グループが構成され るように、 異常な動きをする物体が存在する領域をグループィヒする第 4ステップ、 第 4ステップによって得られたグループのうち、 領域が最も大きいグループを 抽出し、 抽出したグループの重心位置を求める第 5ステップ、 および
第 5ステップによって求められた重心位置を中心として撮影手段によって撮像 された映像を拡大して表示装置に表示させる第 6ステップ、
を備えていることを特徴とする請求項 4および請求項 5のいずれかに記載の力 メラ信号処理方法。
PCT/JP2000/001365 1999-03-09 2000-03-07 Dispositif et procede de traitement de signaux camera WO2000054508A1 (fr)

Priority Applications (5)

Application Number Priority Date Filing Date Title
DE60043795T DE60043795D1 (de) 1999-03-09 2000-03-07 Gerät und verfahren zur kamerasignalverarbeitung
EP00906743A EP1096799B1 (en) 1999-03-09 2000-03-07 Camera signal processing device and camera signal processing method
US09/674,489 US6937271B1 (en) 1999-03-09 2000-03-07 Camera signal processing device and camera signal processing method
AU28309/00A AU2830900A (en) 1999-03-09 2000-03-07 Camera signal processing device and camera signal processing method
KR1020007012459A KR20010043423A (ko) 1999-03-09 2000-03-07 카메라 신호 처리 장치 및 카메라 신호 처리 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP11/61424 1999-03-09
JP6142499 1999-03-09

Publications (1)

Publication Number Publication Date
WO2000054508A1 true WO2000054508A1 (fr) 2000-09-14

Family

ID=13170698

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2000/001365 WO2000054508A1 (fr) 1999-03-09 2000-03-07 Dispositif et procede de traitement de signaux camera

Country Status (7)

Country Link
US (1) US6937271B1 (ja)
EP (1) EP1096799B1 (ja)
KR (1) KR20010043423A (ja)
AU (1) AU2830900A (ja)
DE (1) DE60043795D1 (ja)
TW (1) TW472484B (ja)
WO (1) WO2000054508A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003250070A (ja) * 2002-02-21 2003-09-05 Sharp Corp カメラ装置及び監視システム
JP2004317670A (ja) * 2003-04-14 2004-11-11 Sony Corp 情報処理装置、情報処理方法及びプログラム格納媒体
JP2015100031A (ja) * 2013-11-19 2015-05-28 ルネサスエレクトロニクス株式会社 検知装置、検知システム及び検知方法
JPWO2018037890A1 (ja) * 2016-08-23 2019-06-20 日本電気株式会社 映像処理装置、映像処理方法及びプログラム

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4366023B2 (ja) * 2001-03-16 2009-11-18 インターナショナル・ビジネス・マシーンズ・コーポレーション ビデオ・イメージの部分イメージ領域抽出方法、部分イメージ領域抽出システム、部分イメージ領域抽出のためのプログラム、抽出されたビデオ・イメージの配信方法およびコンテンツ作成方法
GB0116877D0 (en) 2001-07-10 2001-09-05 Hewlett Packard Co Intelligent feature selection and pan zoom control
KR20030070516A (ko) * 2002-02-23 2003-08-30 양혜숙 피씨카메라를 이용한 경비시스템 및 그 경비방법
JP4083139B2 (ja) * 2003-05-07 2008-04-30 三洋電機株式会社 アナログ−デジタル変換回路
JP4485759B2 (ja) * 2003-06-27 2010-06-23 株式会社リコー 異常発生予測方法、状態判定装置及び画像形成装置
KR101102648B1 (ko) * 2004-01-17 2012-01-04 엘지전자 주식회사 Ｄｖｒ시스템 녹화 방법
GB2435141A (en) * 2006-02-13 2007-08-15 Snell & Wilcox Ltd Adaptive re-framing of images
EP1984893B8 (en) 2006-02-13 2018-05-16 Snell Advanced Media Limited Method and apparatus for modifying a moving image sequence
JP5087963B2 (ja) * 2007-03-20 2012-12-05 ソニー株式会社 画像処理装置と画像処理方法および画像処理プログラム、並びに再生情報生成装置と再生情報生成方法および再生情報生成プログラム
US8615112B2 (en) 2007-03-30 2013-12-24 Casio Computer Co., Ltd. Image pickup apparatus equipped with face-recognition function
JP4516144B2 (ja) * 2008-07-15 2010-08-04 株式会社東芝 映像処理装置
CN109165634A (zh) * 2018-09-21 2019-01-08 深圳市九洲电器有限公司 一种智能识别方法、装置及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0264898A (ja) * 1988-08-31 1990-03-05 Toshiba Corp 防犯監視装置
JPH08307757A (ja) * 1995-05-01 1996-11-22 Sankyo Seiki Mfg Co Ltd 炎探知装置
JPH09271018A (ja) * 1996-04-02 1997-10-14 Hitachi Ltd 監視装置
JPH10322684A (ja) * 1997-05-20 1998-12-04 Fujitsu General Ltd カメラ装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2677312B2 (ja) * 1991-03-11 1997-11-17 工業技術院長 カメラワーク検出方法
US5495352A (en) * 1992-07-30 1996-02-27 Canon Kabushiki Kaisha Liquid crystal display device with stripe-shaped unevennesses on the electrodes
JP3550692B2 (ja) 1993-06-03 2004-08-04 松下電器産業株式会社 追尾電子ズーム装置
EP0703710B1 (en) * 1994-09-21 2000-07-26 Kabushiki Kaisha Toshiba Image data processing apparatus having functions of dividing the image data, and method of processing image data
US6002428A (en) * 1994-10-21 1999-12-14 Sanyo Electric Co., Ltd. Motion vector detection circuit and object tracking camera device utilizing the same
JP3075934B2 (ja) 1994-10-21 2000-08-14 三洋電機株式会社 動きベクトル検出回路およびそれを用いた被写体追尾カメラ装置
JPH0944681A (ja) 1995-08-01 1997-02-14 Matsushita Electric Ind Co Ltd 移動物体領域検出装置
JP3689946B2 (ja) * 1995-10-05 2005-08-31 ソニー株式会社 データ処理装置及び方法
JPH09171220A (ja) * 1995-12-20 1997-06-30 Fuji Photo Film Co Ltd 露光量決定方法
JP3802653B2 (ja) * 1997-05-21 2006-07-26 オリンパス株式会社 立体画像表示装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0264898A (ja) * 1988-08-31 1990-03-05 Toshiba Corp 防犯監視装置
JPH08307757A (ja) * 1995-05-01 1996-11-22 Sankyo Seiki Mfg Co Ltd 炎探知装置
JPH09271018A (ja) * 1996-04-02 1997-10-14 Hitachi Ltd 監視装置
JPH10322684A (ja) * 1997-05-20 1998-12-04 Fujitsu General Ltd カメラ装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1096799A4 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003250070A (ja) * 2002-02-21 2003-09-05 Sharp Corp カメラ装置及び監視システム
JP2004317670A (ja) * 2003-04-14 2004-11-11 Sony Corp 情報処理装置、情報処理方法及びプログラム格納媒体
JP2015100031A (ja) * 2013-11-19 2015-05-28 ルネサスエレクトロニクス株式会社 検知装置、検知システム及び検知方法
JPWO2018037890A1 (ja) * 2016-08-23 2019-06-20 日本電気株式会社 映像処理装置、映像処理方法及びプログラム

Also Published As

Publication number Publication date
EP1096799A1 (en) 2001-05-02
KR20010043423A (ko) 2001-05-25
DE60043795D1 (de) 2010-03-25
EP1096799A4 (en) 2002-01-23
AU2830900A (en) 2000-09-28
US6937271B1 (en) 2005-08-30
TW472484B (en) 2002-01-11
EP1096799B1 (en) 2010-02-03

Similar Documents

Publication Publication Date Title
WO2000054508A1 (fr) Dispositif et procede de traitement de signaux camera
US8509481B2 (en) Image processing apparatus, image processing method, imaging apparatus
JP4140591B2 (ja) 撮像システム及び撮像方法
US8437504B2 (en) Imaging system and imaging method
JP2003219225A (ja) 動体画像監視装置
JP2008035095A (ja) 監視装置、監視システム、監視方法及びプログラム
KR101179131B1 (ko) 팬/틸트/줌 기능 일체형 동시감시카메라를 이용한 감시시스템
JP2011130271A (ja) 撮像装置および映像処理装置
JP2011130271A5 (ja)
JP5155110B2 (ja) 監視装置
JPH05334572A (ja) 室内監視装置
JP5074067B2 (ja) 不審物監視装置
EP1160730A1 (en) Method and apparatus for extracting feature of image, monitor and test system, exposure system, and interface system
JP5300413B2 (ja) 動きベクトル検出装置及び動きベクトル検出方法及び撮像装置及びプログラム
JP4855662B2 (ja) カメラシステム、カメラ制御方法、及びプログラム
JP5132705B2 (ja) 画像処理装置
JP2010021597A (ja) 撮像装置および撮像方法
JPH07107368A (ja) 画像処理装置
JP2009071517A (ja) カメラ装置及び記録システム
JP5029573B2 (ja) 撮像装置及び撮像方法
JP2944369B2 (ja) ビデオカメラの手振れ補正装置およびビデオカメラ
JPH07162730A (ja) 移動体撮像装置
JP2014131211A (ja) 撮像装置及び映像監視システム
JP2018097416A (ja) 撮像装置および着目行動検出方法
JP2000101902A (ja) 監視カメラ制御装置

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AL AM AT AU AZ BA BB BG BR BY CA CH CN CR CU CZ DE DK DM EE ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX NO NZ PL PT RO RU SD SE SG SI SK SL TJ TM TR TT TZ UA UG US UZ VN YU ZA ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GH GM KE LS MW SD SL SZ TZ UG ZW AM AZ BY KG KZ MD RU TJ TM AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE BF BJ CF CG CI CM GA GN GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 1020007012459

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 09674489

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2000906743

Country of ref document: EP

ENP Entry into the national phase

Ref country code: JP

Ref document number: 2000 604613

Kind code of ref document: A

Format of ref document f/p: F

WWP Wipo information: published in national office

Ref document number: 2000906743

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 1020007012459

Country of ref document: KR

REG Reference to national code

Ref country code: DE

Ref legal event code: 8642

WWR Wipo information: refused in national office

Ref document number: 1020007012459

Country of ref document: KR