JP4390684B2

JP4390684B2 - Target monitoring device

Info

Publication number: JP4390684B2
Application number: JP2004324164A
Authority: JP
Inventors: 康俊三樹
Original assignee: Seiko Precision Inc
Current assignee: Seiko Precision Inc
Priority date: 2004-11-08
Filing date: 2004-11-08
Publication date: 2009-12-24
Anticipated expiration: 2024-11-08
Also published as: JP2006135799A

Description

本発明は、ターゲット監視装置に関するものである。 The present invention relates to a target monitoring apparatus.

従来より、監視カメラを用いて、侵入者をターゲットとして監視し、侵入者の動きに追従して、監視カメラの撮影方向を制御するようにしたターゲット監視装置がある（例えば、特許文献１参照）。 2. Description of the Related Art Conventionally, there is a target monitoring apparatus that uses a monitoring camera to monitor an intruder as a target and controls the shooting direction of the monitoring camera by following the movement of the intruder (see, for example, Patent Document 1). .

また、跳躍競技において、ビデオカメラで踏切板をターゲットとして監視するようにしたターゲット監視装置もある（例えば、特許文献２参照）。このターゲット監視装置は、圧力センサを踏切板に組み込み、ビデオカメラと圧力センサとの信号をモニタして画像を監視し、踏み切り時のファールの有無を判定する。
特開平１０−１８８１４５号公報（第４頁、図１）特開平８−２２９１７８号公報（第３−４頁、図１） There is also a target monitoring device that monitors a railroad crossing board as a target in a jumping competition (see, for example, Patent Document 2). This target monitoring device incorporates a pressure sensor into a railroad crossing board, monitors signals from a video camera and a pressure sensor, monitors an image, and determines the presence or absence of a foul at the time of railroad crossing.
Japanese Patent Laid-Open No. 10-188145 (page 4, FIG. 1) JP-A-8-229178 (page 3-4, FIG. 1)

しかし、このようなターゲット監視装置が備える監視カメラには、ＣＣＤ（Charge Coupled Device;電荷結合素子）が用いられている。 However, a CCD (Charge Coupled Device) is used for a monitoring camera provided in such a target monitoring device.

近年、監視カメラに用いられる撮像素子の能力は向上し、ビデオカメラとして、２００万画素の撮像素子を備えたものもある。このように高解像度を有するビデオカメラになると、画像処理時間も増大する。 In recent years, the capabilities of image sensors used in surveillance cameras have improved, and some video cameras have an image sensor with 2 million pixels. In such a video camera having a high resolution, the image processing time also increases.

画像処理時間が増大すると、上記特許文献１のものでは、ターゲットの動きに追従できなくなり、ターゲットを見失う可能性も出てくる。また、特許文献２のものでも、画像処理時間が増大すると、踏み切り時のファールの有無判定を即座に行えなくなってしまう。 When the image processing time is increased, the above-mentioned Patent Document 1 cannot follow the movement of the target and may lose sight of the target. Further, even in the case of Patent Document 2, if the image processing time is increased, it becomes impossible to immediately determine whether or not there is a foul at the time of crossing.

本発明は、このような従来の問題点に鑑みてなされたもので、どのようなターゲットにも追従可能なターゲット監視装置を提供することを目的とする。 The present invention has been made in view of such a conventional problem, and an object thereof is to provide a target monitoring apparatus capable of following any target.

この目的を達成するため、本発明の第１の観点に係るターゲット監視装置は、
監視対象物としてのターゲットを撮影する撮影部と、
前記撮影部によって撮影された前記ターゲットの画像の重心位置を取得する重心取得部と、
前記重心取得部が取得した前記重心位置の変化を監視する重心位置変化監視部と、を備え、
前記重心取得部は、
受光した光の強度に対応する信号レベルの光検出信号に変換する複数の光電変換素子が行列配置されて、前記ターゲットからの光を、前記光電変換素子で受光して前記画像を生成するとともに、前記光電変換素子が出力した光検出信号を２値化して加算演算するセンサ部と、
前記センサ部の前記光電変換素子を選択し、選択した前記光電変換素子の光検出信号の２値化信号を前記センサ部が加算演算して前記画像の０次モーメント量と１次モーメント量とを示す信号を出力するように前記センサ部を制御して、前記センサ部の出力信号に基づいて前記ターゲット画像の重心位置を取得する演算処理部と、備えたものであり、
前記撮影部は、前記ターゲットとして、競技における競技線を撮影し、
前記重心取得部は、前記撮影部によって撮影された前記競技線の画像の重心位置を取得し、
前記重心位置変化監視部は、前記重心取得部が取得した前記競技線画像の重心位置が変化したと判定した場合に前記競技線への競技者による踏み込み有りと判定することを特徴とする。 In order to achieve this object, a target monitoring apparatus according to the first aspect of the present invention includes:
A photographing unit for photographing a target as a monitoring object;
A center-of-gravity acquisition unit that acquires the position of the center of gravity of the image of the target imaged by the imaging unit;
A centroid position change monitoring unit that monitors the change of the centroid position acquired by the centroid acquisition unit, and
The center of gravity acquisition unit
A plurality of photoelectric conversion elements that convert light detection signals of a signal level corresponding to the intensity of received light are arranged in a matrix, and light from the target is received by the photoelectric conversion elements to generate the image, A sensor unit for binarizing and adding the light detection signal output from the photoelectric conversion element;
The photoelectric conversion element of the sensor unit is selected, and the sensor unit adds and calculates the binarized signal of the photodetection signal of the selected photoelectric conversion element to obtain the zero-order moment amount and the primary moment amount of the image. and it controls the sensor unit to output a signal indicative of an arithmetic processing unit for acquiring the center-of-gravity position of the target image based on an output signal of the sensor unit state, and are not provided,
The photographing unit photographs a competition line in the competition as the target,
The center-of-gravity acquisition unit acquires the center-of-gravity position of the image of the competition line imaged by the imaging unit,
The center-of-gravity position change monitoring unit determines that the player has stepped on the competition line when it is determined that the center-of-gravity position of the competition line image acquired by the center-of-gravity acquisition unit has changed .

前記重心位置変化監視部は、前記競技者による前記競技線の踏み込み有りと判定した場合に、前記競技線の画像の重心位置の変化量に基づいて踏み込み位置を特定し、前記競技者による前記競技線の踏み込み位置を拡大撮影するように、前記撮影部を制御するようにしてもよい。 The center-of-gravity position change monitoring unit identifies a stepping position based on the amount of change in the center-of-gravity position of the image of the competition line when it is determined that the player has stepped on the competition line, and the competition by the athlete You may make it control the said imaging | photography part so that the stepping position of a line may be expanded and imaged .

本発明によれば、短時間で画像処理を行うことができ、どのようなターゲットにも追従できる。 According to the present invention, image processing can be performed in a short time, and any target can be followed.

以下、本発明の実施の形態に係る装置を図面を参照して説明する。
（実施形態１）
実施形態１に係るターゲット監視装置の構成を図１に示す。
実施形態１に係るターゲット監視装置は、ターゲットＡを追跡するものであり、ビジョンカメラ１０１と、ビデオカメラ１０２と、映像モニタ１０３と、旋回台１０４と、旋回台制御装置１０５と、追跡制御装置１０６と、を備える。 Hereinafter, an apparatus according to an embodiment of the present invention will be described with reference to the drawings.
(Embodiment 1)
FIG. 1 shows the configuration of the target monitoring apparatus according to the first embodiment.
The target monitoring apparatus according to the first embodiment tracks the target A, and includes a vision camera 101, a video camera 102, a video monitor 103, a swivel base 104, a swivel base control apparatus 105, and a tracking control apparatus 106. And comprising.

ビジョンカメラ１０１は、監視対象物としてのターゲットＡを一定の撮影間隔で撮影するものであり、図２に示すように、光学部１１１と、重心取得部１１２を備える。このビジョンカメラ１０１は、撮影部に対応するものである。光学部１１１は、ターゲットＡからの光を重心取得部１１２に導くためのものである。 The vision camera 101 shoots the target A as a monitoring object at a constant shooting interval, and includes an optical unit 111 and a center of gravity acquisition unit 112 as shown in FIG. The vision camera 101 corresponds to the photographing unit. The optical unit 111 is for guiding light from the target A to the gravity center acquiring unit 112.

重心取得部１１２は、ターゲットＡからの光を受光して、受光した光によるターゲット画像の重心位置を取得するものである。重心取得部１１２は、０次モーメント量と１次モーメント量とを取得し、取得した０次モーメント量と１次モーメント量とに基づいて、画像の重心位置を取得する。 The center-of-gravity acquisition unit 112 receives light from the target A and acquires the position of the center of gravity of the target image by the received light. The center-of-gravity acquisition unit 112 acquires the 0th-order moment amount and the first-order moment amount, and acquires the center-of-gravity position of the image based on the acquired 0th-order moment amount and first-order moment amount.

この原理について説明する。一般に、モーメント量ｍ_ijは、次の数１によって表される。

０次モーメント量ｍ₀₀は、次の数２によって表される。

０次モーメント量ｍ₀₀は、この数２に示すように、画像データＩ(x,y)の総和を示す。 This principle will be described. In general, the moment amount m _ij is expressed by the following _{equation (} 1).

The zero-order moment amount m ₀₀ is represented by the following equation 2.

The zero-order moment amount m ₀₀ indicates the total sum of the image data I (x, y) as shown in Equation 2.

また、１次モーメント量ｍ₁₀，ｍ₀₁は、次の数３によって表される。

Further, the first moments m ₁₀ and m ₀₁ are expressed by the following equation (3).

画像データＩ(x,y)の重心位置を（xg,yg）として、重心位置（xg,yg）は、０次モーメント量ｍ₀₀と１次モーメント量ｍ₁₀，ｍ₀₁とから、次の数４に従って求められる。

ここで、整数ｘを２進数で表すと、整数ｘは、次の数５によって表される。

１次モーメント量ｍ₁₀は、この数５を用いて、数６によって求められる。

The centroid position of the image data I (x, y) is (xg, yg), and the centroid position (xg, yg) is the following number from the zeroth moment amount m ₀₀ and the first moment amounts m ₁₀ and m ₀₁ 4 is obtained.

Here, when the integer x is represented by a binary number, the integer x is represented by the following number 5.

The primary moment amount m ₁₀ is obtained by Equation 6 using Equation 5.

重心取得部１１２は、この数４，数６に従って重心位置を取得するため、センサ部１１３と、演算処理部１１４と、を備える。センサ部１１３は、ターゲットＡからの光を受光し、受光した光の強度に対応する光検出信号を２値化し、２値化した２値画像の０次モーメント量と１次モーメント量とを示す信号を出力するものである。 The center-of-gravity acquisition unit 112 includes a sensor unit 113 and an arithmetic processing unit 114 in order to acquire the center-of-gravity position according to Equations 4 and 6. The sensor unit 113 receives light from the target A, binarizes a light detection signal corresponding to the intensity of the received light, and indicates a zero-order moment amount and a first-order moment amount of a binarized binary image. A signal is output.

センサ部１１３は、図３に示すように、画像処理部１と、列加算部２と、ロウデコーダ３と、カラムデコーダ４と、を備える。 As shown in FIG. 3, the sensor unit 113 includes an image processing unit 1, a column addition unit 2, a row decoder 3, and a column decoder 4.

画像処理部１は、Ｎ×Ｎ個の画像検出処理要素（以後、単に「処理要素」と記す。）1_xyからなる。本実施形態では、Ｎ＝８とする（ｘ＝１〜８，ｙ＝１〜８）。 The image processing unit 1 includes N × N image detection processing elements (hereinafter simply referred to as “processing elements”) 1_xy. In this embodiment, N = 8 (x = 1 to 8, y = 1 to 8).

ロウデコーダ３は、演算処理部１１４から信号ROW(y)が供給され、信号ROW(y)に従って処理要素1_xyのいずれかの列を選択するものである。ロウデコーダ３は、供給された信号ROW(y)を、処理要素1_xyの列を選択するため列選択信号ｙj（j＝１〜８）に変換して処理要素1_xyに出力し、処理要素1_xyのいずれかの列を選択する。 The row decoder 3 is supplied with the signal ROW (y) from the arithmetic processing unit 114, and selects any column of the processing elements 1_xy according to the signal ROW (y). The row decoder 3 converts the supplied signal ROW (y) into a column selection signal yj (j = 1 to 8) to select a column of the processing element 1_xy, and outputs it to the processing element 1_xy. Select one of the columns.

カラムデコーダ４は、演算処理部１１４から信号COL(x)が供給され、信号COL(x)に従って処理要素1_xyのいずれかの行を選択するものである。カラムデコーダ４は、供給された信号COL(x)を、処理要素1_xyの行を選択するための行選択信号ｘi（i＝１〜８）に変換して処理要素1_xyに出力し、処理要素1_xyのいずれかの行を選択する。 The column decoder 4 is supplied with the signal COL (x) from the arithmetic processing unit 114, and selects any row of the processing element 1_xy according to the signal COL (x). The column decoder 4 converts the supplied signal COL (x) into a row selection signal xi (i = 1 to 8) for selecting a row of the processing element 1_xy, and outputs it to the processing element 1_xy. Select one of the rows.

各処理要素1_xyは、取得した画像からの反射光を受光して光検出信号に変換し、変換した光検出信号に対して、それぞれ、画像処理を行うものである。各処理要素1_xyは、図４に示すように、光電変換器（図中、「ＰＤ」と記す。）１１と、トラッキング部１２と、マスク部１３と、行加算部１４と、を備える。 Each processing element 1_xy receives reflected light from the acquired image, converts it into a light detection signal, and performs image processing on the converted light detection signal. As shown in FIG. 4, each processing element 1_xy includes a photoelectric converter (denoted as “PD” in the drawing) 11, a tracking unit 12, a mask unit 13, and a row addition unit 14.

光電変換器１１は、受光した光を、その光強度に対応する信号レベルの光検出信号Ｓ１に変換するものである。 The photoelectric converter 11 converts the received light into a light detection signal S1 having a signal level corresponding to the light intensity.

トラッキング部１２は、演算処理部１１４から輝度閾値が供給されて光電変換器１１からの光検出信号Ｓ１を２値画像に変換し、セルフウィンドウ法に基づいてターゲットトラッキングを行うものである。セルフウィンドウ法は、隣接する処理要素と自らの処理要素において、ターゲットとした前フレームのトラッキング画像からウィンドウ画像を生成し、生成したウィンドウ画像の領域内の２値画像を新たなトラッキング画像として生成する方法である。 The tracking unit 12 is supplied with a luminance threshold from the arithmetic processing unit 114, converts the light detection signal S1 from the photoelectric converter 11 into a binary image, and performs target tracking based on the self-window method. In the self-window method, a window image is generated from a tracking image of a target previous frame in an adjacent processing element and its own processing element, and a binary image in the region of the generated window image is generated as a new tracking image. Is the method.

即ち、前回のトラッキング画像が図５（ａ）に示すような画像２１１である場合に、トラッキング部１２は、隣接する処理要素と自らの処理要素において生成したトラッキング画像から、図５（ｂ）に示すようなウィンドウ画像２１２を生成する。今回の２値画像が図５（ｃ）に示すような画像２１３であった場合、トラッキング部１２は、図５（ｂ）に示すウィンドウ画像２１２と図５（ｃ）に示す２値画像２１３との論理和を演算して、図５（ｄ）に示すような今回のトラッキング画像２１４を生成する。 In other words, when the previous tracking image is an image 211 as shown in FIG. 5A, the tracking unit 12 uses the tracking image generated in the adjacent processing element and its own processing element, as shown in FIG. A window image 212 as shown is generated. When the current binary image is an image 213 as shown in FIG. 5C, the tracking unit 12 has a window image 212 shown in FIG. 5B and a binary image 213 shown in FIG. Is calculated to generate the current tracking image 214 as shown in FIG.

言い換えれば、トラッキング部１２は、生成したウィンドウ画像の領域外の画像を除外してトラッキング画像を生成する。 In other words, the tracking unit 12 generates a tracking image by excluding images outside the region of the generated window image.

トラッキング部１２は、このようなターゲットトラッキングを行うため、光電変換器１１によって変換された光検出信号Ｓ１の信号レベルと輝度閾値とを比較することにより、２値信号に変換する。 In order to perform such target tracking, the tracking unit 12 compares the signal level of the light detection signal S1 converted by the photoelectric converter 11 with a luminance threshold value, and converts the signal into a binary signal.

トラッキング部１２は、隣接する処理要素1_(x-1)y,1_(x+1)y,1_x(y-1),1_x(y+1)のトラッキング部１２から、それぞれ、トラッキング信号Ｓ２が供給される。トラッキング部１２は、変換した２値信号と隣接する処理要素1_(x-1)y,1_(x+1)y,1_x(y-1),1_x(y+1)のトラッキング部１２から供給されたトラッキング信号Ｓ２との論理積を演算することにより、トラッキング画像信号Ｓ３を生成する。
新たにウィンドウ画像信号Ｓ２を生成する。 The tracking unit 12 receives tracking signals S2 from the tracking units 12 of the adjacent processing elements 1_ (x-1) y, 1_ (x + 1) y, 1_x (y-1), 1_x (y + 1), respectively. Supplied. The tracking unit 12 is supplied from the tracking unit 12 of the processing elements 1_ (x-1) y, 1_ (x + 1) y, 1_x (y-1), 1_x (y + 1) adjacent to the converted binary signal. The tracking image signal S3 is generated by calculating a logical product with the tracking signal S2 thus generated.
A window image signal S2 is newly generated.

トラッキング部１２は、生成したトラッキング画像信号Ｓ３をマスク部１３に出力する。尚、トラッキング部１２は、生成したトラッキング画像信号Ｓ３を新たなウィンドウ画像信号Ｓ２として、隣接する処理要素1_(x-1)y,1_(x+1)y,1_x(y-1),1_x(y+1)のトラッキング部１２に供給するとともに、自らのトラッキング部１２にも出力する。 The tracking unit 12 outputs the generated tracking image signal S3 to the mask unit 13. The tracking unit 12 uses the generated tracking image signal S3 as a new window image signal S2, and uses adjacent processing elements 1_ (x-1) y, 1_ (x + 1) y, 1_x (y-1), 1_x. While being supplied to the tracking unit 12 of (y + 1), it is also output to its own tracking unit 12.

マスク部１３は、トラッキング部１２と行加算部１４とを初期化するとともに、トラッキング画像信号Ｓ３をビットマスクするためのものである。マスク部１３は、カラムデコーダ４から行選択信号ｘi及びロウデコーダ３から列選択信号ｙjが供給された場合に、トラッキング画像信号Ｓ３をビットマスクする。 The mask unit 13 is for initializing the tracking unit 12 and the row addition unit 14 and bit-masking the tracking image signal S3. The mask unit 13 bit-masks the tracking image signal S3 when the row selection signal xi is supplied from the column decoder 4 and the column selection signal yj is supplied from the row decoder 3.

行加算部１４は、行方向のＳＵＭ信号を累積加算するためのものであり、トラッキング画像信号Ｓ３と、隣接する処理要素1_(x-1)yの行加算部から出力されたＳＵＭ信号と、を加算する。 The row addition unit 14 is for accumulating SUM signals in the row direction, and includes a tracking image signal S3, a SUM signal output from the row addition unit of the adjacent processing element 1_ (x−1) y, Is added.

列加算部２は、処理要素1_18〜1_88からそれぞれ出力されたＳＵＭ信号を、順次、列方向に加算するものであり、加算部2_1〜2_8からなる。 The column adder 2 sequentially adds the SUM signals output from the processing elements 1_18 to 1_88 in the column direction, and includes adders 2_1 to 2_8.

列加算部２は、加算部2_8が出力したＳＵＭ信号を、列加算部２の信号SOUTとして、図２の演算処理部１１４に出力する。演算処理部１１４が座標選択を行うことにより、この信号SOUTが０次モーメント量又は１次モーメント量を示す信号になる。 The column addition unit 2 outputs the SUM signal output from the addition unit 2_8 as the signal SOUT of the column addition unit 2 to the arithmetic processing unit 114 in FIG. When the arithmetic processing unit 114 performs coordinate selection, this signal SOUT becomes a signal indicating the zero-order moment amount or the first-order moment amount.

演算処理部１１４は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備え、前述のようにセンサ部１１３に、各種信号を出力してセンサ部１１３を制御する。 The arithmetic processing unit 114 includes a central processing unit (CPU), a read only memory (ROM), a random access memory (RAM), and the like, and controls the sensor unit 113 by outputting various signals to the sensor unit 113 as described above. To do.

演算処理部１１４は、まず、センサ部１１３に初期化のための信号を出力してセンサ部１１３を初期化する。 First, the arithmetic processing unit 114 initializes the sensor unit 113 by outputting a signal for initialization to the sensor unit 113.

初期化後、演算処理部１１４は、センサ部１１３に、処理要素1_xyを１行毎又は１列毎に選択するような信号ROW(y)，COL(x)を出力して、センサ部１１３から、取得した画像の０次モーメント量と１次モーメント量を示す信号SOUTを出力させる。 After initialization, the arithmetic processing unit 114 outputs signals ROW (y) and COL (x) that select the processing element 1_xy for each row or column for the sensor unit 113. Then, a signal SOUT indicating the zeroth moment amount and the first moment amount of the acquired image is output.

そして、演算処理部１１４は、信号SOUTに基づいて取得した０次モーメント量と１次モーメント量から数４に従い、取得した画像の重心位置（ｘg，ｙg）を行毎又は列毎に取得する。演算処理部１１４は、取得した重心位置（ｘg,ｙg）を追跡制御装置１０６に出力する。 Then, the arithmetic processing unit 114 acquires the center-of-gravity position (xg, yg) of the acquired image for each row or each column according to Equation 4 from the 0th-order moment amount and the first-order moment amount acquired based on the signal SOUT. The arithmetic processing unit 114 outputs the acquired barycentric position (xg, yg) to the tracking control device 106.

次に、従来のＣＣＤの処理時間とセンサ部１１３の処理時間とを比較する。従来のＣＣＤの処理時間は、通常、３０ｍｓ程度である。これに対して、センサ部１１３が重心位置を取得する場合、（４ｎ²＋２ｎ＋１）サイクルを要する。 Next, the processing time of the conventional CCD and the processing time of the sensor unit 113 are compared. The processing time of the conventional CCD is usually about 30 ms. On the other hand, when the sensor unit 113 acquires the position of the center of gravity, (4n ² + 2n + 1) cycles are required.

具体的に、Ｎ＝６４として０次モーメント量を取得する場合、センサ部１１３は、１３サイクル数を要し、信号CLOCK2のクロック周波数を約８ＭＨｚとして、処理時間は、１．６μｓ程度である。また、１次モーメント量を取得する場合、センサ部１１３は、７２サイクルを要し、処理時間は、９．２μｓ程度である。 Specifically, when acquiring the zero-order moment amount with N = 64, the sensor unit 113 requires 13 cycles, the clock frequency of the signal CLOCK2 is about 8 MHz, and the processing time is about 1.6 μs. When acquiring the first moment amount, the sensor unit 113 requires 72 cycles, and the processing time is about 9.2 μs.

そして、重心を取得する場合、センサ部１１３は、１５７サイクルを要し、処理時間は、２０μｓである。このようにＣＣＤと比較して、重心取得部１１２は、短時間でターゲット画像ａの重心位置を検出することができる。 And when acquiring a gravity center, the sensor part 113 requires 157 cycles, and processing time is 20 microseconds. As described above, the center-of-gravity acquisition unit 112 can detect the position of the center of gravity of the target image a in a short time as compared with the CCD.

図１に戻り、ビデオカメラ１０２は、ターゲットＡを撮影するものである。尚、ビジョンカメラ１０１とビデオカメラ１０２とは、図６に示すように、監視エリアArea2が同じになるように、旋回台１０４に載置される。 Returning to FIG. 1, the video camera 102 captures the target A. As shown in FIG. 6, the vision camera 101 and the video camera 102 are mounted on the turntable 104 so that the monitoring area Area2 is the same.

ビデオカメラ１０２は、追跡制御装置１０６から、ターゲット画像ａを囲む切り出しエリアArea1の情報が供給されて、切り出しエリアArea1の画像の取り込み処理を行う。映像モニタ１０３は、ビデオカメラ１０２の撮影によって得られた切り出しエリアArea1内の画像を表示するためのものである。映像モニタ１０３は、表示部に対応する。 The video camera 102 is supplied with information of the cutout area Area1 surrounding the target image a from the tracking control device 106, and performs an image capturing process of the cutout area Area1. The video monitor 103 is for displaying an image in the cut-out area Area1 obtained by photographing with the video camera 102. The video monitor 103 corresponds to a display unit.

旋回台１０４と旋回台制御装置１０５とは、供給された撮影方向制御情報に基づいてビジョンカメラ１０１の撮影方向を制御するものであり、撮影制御部に対応する。旋回台１０４は、ビデオカメラ１０２とビジョンカメラ１０１とを載置する。この旋回台１０４は、地面に対して垂直な線と水平な線とを軸として一定の旋回範囲内で回転可能なものである。 The swivel base 104 and the swivel base control device 105 control the photographing direction of the vision camera 101 based on the supplied photographing direction control information, and correspond to a photographing control unit. The swivel base 104 mounts the video camera 102 and the vision camera 101. The swivel base 104 is rotatable within a certain swivel range with a line perpendicular to the ground and a horizontal line as axes.

旋回台制御装置１０５は、追跡制御装置１０６からターゲットＡの予測位置が供給されて旋回台１０４を回転制御するものである。旋回台制御装置１０５は、図６に示す追跡可能旋回エリアArea3をカバーするように、旋回台１０４を回転制御する。 The swivel base control device 105 is supplied with the predicted position of the target A from the tracking control device 106 and controls the rotation of the swivel base 104. The swivel base control device 105 controls rotation of the swivel base 104 so as to cover the traceable turning area Area3 shown in FIG.

追跡制御装置１０６は、ビジョンカメラ１０１の重心取得部１１２が取得したターゲット画像ａの重心位置の変化を監視するものである。そして、追跡制御装置１０６は、ターゲット画像ａの重心位置が変化したと判定した場合に、重心取得部１１２が取得したターゲット画像ａの重心位置に基づいてターゲット画像ａを追跡する。この追跡制御装置１０６は、重心位置変化監視部に対応する。追跡制御装置１０６は、重心取得部１１２の演算処理部１１４と同様に、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備える。 The tracking control device 106 monitors a change in the centroid position of the target image a acquired by the centroid acquisition unit 112 of the vision camera 101. When the tracking control device 106 determines that the gravity center position of the target image a has changed, the tracking control device 106 tracks the target image a based on the gravity center position of the target image a acquired by the gravity center acquisition unit 112. The tracking control device 106 corresponds to a gravity center position change monitoring unit. The tracking control device 106 includes a CPU, a ROM, a RAM, and the like, similar to the arithmetic processing unit 114 of the centroid acquisition unit 112.

追跡制御装置１０６は、重心取得部１１２が取得したターゲット画像ａの重心位置に基づいてターゲット画像ａの切り出しエリアArea1を設定して、映像モニタ１０３に切り出しエリアArea1の画像を表示させる。 The tracking control device 106 sets the cutout area Area1 of the target image a based on the barycentric position of the target image a acquired by the barycentric acquisition unit 112, and causes the video monitor 103 to display the image of the cutout area Area1.

追跡制御装置１０６は、ターゲット画像ａの重心位置が切り出しエリアArea1の中心となるように切り出しエリアArea1を設定する。追跡制御装置１０６は、このように設定した切り出しエリアArea1の情報をビデオカメラ１０２に供給して、切り出しエリアArea1の画像取り込み処理を行わせる。 The tracking control device 106 sets the cutout area Area1 so that the center of gravity of the target image a is the center of the cutout area Area1. The tracking control device 106 supplies the video camera 102 with the information of the cutout area Area1 set in this way, and causes the video camera 102 to perform image capture processing of the cutout area Area1.

また、追跡制御装置１０６は、ビジョンカメラ１０１の重心取得部１１２から取得したターゲット画像ａの重心位置の情報に基づいて重心位置の変化を判定する。重心位置の変化を判定するため、追跡制御装置１０６は、ＲＡＭにビジョンカメラ１０１の重心取得部１１２から取得したターゲット画像ａの重心位置を記憶する。 Further, the tracking control device 106 determines a change in the centroid position based on the information on the centroid position of the target image a acquired from the centroid acquisition unit 112 of the vision camera 101. In order to determine the change in the centroid position, the tracking control device 106 stores the centroid position of the target image a acquired from the centroid acquisition unit 112 of the vision camera 101 in the RAM.

追跡制御装置１０６は、記憶した重心位置を前回値として、前回値と新たに取得した重心位置とを比較し、一致すれば、重心位置に変化はないと判定し、不一致であれば、重心位置は変化したと判定する。 The tracking control device 106 uses the stored barycentric position as the previous value, compares the previous value with the newly acquired barycentric position, and determines that there is no change in the barycentric position if they match. Is determined to have changed.

重心位置が変化したと判定した場合、ターゲット画像ａの重心位置が監視エリアArea2内であれば、追跡制御装置１０６は、切り出しエリアArea1だけを補正する。追跡制御装置１０６は、補正した切り出しエリアArea1の情報をビジョンカメラ１０１とビデオカメラ１０２とに供給する。 If it is determined that the position of the center of gravity has changed, if the position of the center of gravity of the target image a is within the monitoring area Area2, the tracking control device 106 corrects only the cutout area Area1. The tracking control device 106 supplies the corrected cutout area Area1 information to the vision camera 101 and the video camera 102.

追跡制御装置１０６は、ターゲット画像ａの監視エリアArea2を設定し、重心取得部１１２が取得したターゲット画像ａの重心位置が監視エリアArea2外になった場合、ターゲット画像ａの重心位置の変化方向に基づいてターゲット画像ａの重心位置を予測し、予測した位置の情報を撮影方向制御情報として旋回台制御装置１０５に供給する。 The tracking control device 106 sets the monitoring area Area2 of the target image a, and when the centroid position of the target image a acquired by the centroid acquisition unit 112 is outside the monitoring area Area2, the tracking control device 106 moves in the changing direction of the centroid position of the target image a. Based on this, the position of the center of gravity of the target image a is predicted, and information on the predicted position is supplied to the turntable control device 105 as shooting direction control information.

即ち、ターゲット画像ａの重心位置が監視エリアArea2外になった場合、追跡制御装置１０６は、追跡可能旋回エリアArea3内であれば、旋回台１０４を回転するように旋回台制御装置１０５を制御する。 That is, when the position of the center of gravity of the target image a is outside the monitoring area Area2, the tracking control device 106 controls the swivel base control device 105 so as to rotate the swivel base 104 within the traceable turning area Area3. .

この場合、ＲＡＭに記憶した前回値と新たな重心位置とから、次のターゲットＡの位置を予測する。追跡制御装置１０６は、このような旋回台１０４の予測制御を行って、ターゲットＡの予測位置の情報を旋回台制御装置１０５に供給する。 In this case, the position of the next target A is predicted from the previous value stored in the RAM and the new center of gravity position. The tracking control device 106 performs such predictive control of the swivel base 104, and supplies information on the predicted position of the target A to the swivel control device 105.

さらに、ターゲット画像ａの重心位置が追跡可能旋回エリアArea3外になった場合、追跡制御装置１０６は、ターゲット画像ａの重心位置が追跡可能旋回エリアArea3内になるまで待機する。そして、予め設定された時間が経過しても、ターゲット画像ａの重心位置が追跡可能旋回エリアArea3内にならなければ、追跡制御装置１０６は、画像追跡処理を終了させる。 Furthermore, when the gravity center position of the target image a is outside the traceable turning area Area3, the tracking control device 106 waits until the gravity center position of the target image a is within the traceable turning area Area3. If the position of the center of gravity of the target image a does not fall within the traceable turning area Area3 even after a preset time has elapsed, the tracking control device 106 ends the image tracking process.

予め設定された時間が経過したか否かを判定するため、追跡制御装置１０６は、タイマを備え、ＲＡＭにタイマのカウント値を記憶する。 In order to determine whether or not a preset time has elapsed, the tracking control device 106 includes a timer and stores the count value of the timer in the RAM.

次に実施形態１に係るターゲット監視装置の動作を説明する。
追跡制御装置１０６は、図７に示すフローチャートに従って、画像追跡処理を実行する。
追跡制御装置１０６は、重心取得部１１２から、ターゲット画像ａの重心位置を取得する（ステップＳ１１）。 Next, the operation of the target monitoring apparatus according to the first embodiment will be described.
The tracking control device 106 executes image tracking processing according to the flowchart shown in FIG.
The tracking control device 106 acquires the center of gravity position of the target image a from the center of gravity acquisition unit 112 (step S11).

追跡制御装置１０６は、取得した重心位置をＲＡＭに記憶する（ステップＳ１２）。 The tracking control device 106 stores the acquired barycentric position in the RAM (step S12).

追跡制御装置１０６は、新たに取得した重心位置とＲＡＭに既に記憶した前回値とを比較して、比較結果に基づいて、ターゲット画像ａの重心位置が変化したか否かを判定する（ステップＳ１３）。 The tracking control device 106 compares the newly acquired barycentric position with the previous value already stored in the RAM, and determines whether the barycentric position of the target image a has changed based on the comparison result (step S13). ).

ターゲット画像ａの重心位置が変化していないと判定した場合（ステップＳ１３においてＮｏ）、追跡制御装置１０６は、ビデオカメラ１０２に監視エリアArea2内の画像の取り込み処理を行わせる（ステップＳ１４）。 When it is determined that the position of the center of gravity of the target image a has not changed (No in step S13), the tracking control device 106 causes the video camera 102 to perform an image capturing process in the monitoring area Area2 (step S14).

一方、画像の重心位置が変化したと判定した場合（ステップＳ１３においてＹｅｓ）、追跡制御装置１０６は、画像の重心位置がビデオカメラ１０２の監視エリアArea2内か否かを判定する（ステップＳ１５）。 On the other hand, if it is determined that the center of gravity position of the image has changed (Yes in step S13), the tracking control device 106 determines whether the center of gravity position of the image is within the monitoring area Area2 of the video camera 102 (step S15).

ターゲット画像ａの重心位置がビデオカメラ１０２の監視エリアArea2内と判定した場合（ステップＳ１５においてＹｅｓ）、追跡制御装置１０６は、切り出しエリアArea1の補正を行う（ステップＳ１６）。そして、追跡制御装置１０６は、補正した切り出しエリアArea1の情報をビデオカメラ１０２に供給し、ビデオカメラ１０２に監視エリアArea2内の画像の取り込み処理を行わせる（ステップＳ１４）。 When the barycentric position of the target image a is determined to be within the monitoring area Area2 of the video camera 102 (Yes in step S15), the tracking control device 106 corrects the cutout area Area1 (step S16). Then, the tracking control device 106 supplies the corrected information on the cut-out area Area1 to the video camera 102, and causes the video camera 102 to perform an image capturing process in the monitoring area Area2 (step S14).

画像の重心位置がビデオカメラ１０２の監視エリアArea2外と判定した場合（ステップＳ１５においてＮｏ）、追跡制御装置１０６は、タイマを起動する（ステップＳ１７）。追跡制御装置１０６は、旋回台１０４の予測制御を行う（ステップＳ１８）。 When it is determined that the position of the center of gravity of the image is outside the monitoring area Area2 of the video camera 102 (No in step S15), the tracking control device 106 starts a timer (step S17). The tracking control device 106 performs predictive control of the turntable 104 (step S18).

追跡制御装置１０６は、重心取得部１１２が取得した重心位置に基づいて、ターゲット画像ａが監視エリアArea2内か否かを判定する（ステップＳ１９）。ターゲット画像ａが監視エリアArea2内と判定した場合（ステップＳ１９においてＹｅｓ）、追跡制御装置１０６は、ステップＳ１１〜Ｓ１６の処理を実行する。 The tracking control device 106 determines whether or not the target image a is within the monitoring area Area2 based on the barycentric position acquired by the barycentric acquiring unit 112 (step S19). When it is determined that the target image a is within the monitoring area Area2 (Yes in step S19), the tracking control device 106 executes the processes of steps S11 to S16.

ターゲット画像ａが監視エリアArea2外と判定した場合（ステップＳ１９においてＮｏ）、追跡制御装置１０６は、タイマをカウントアップ又はカウントダウンする（ステップＳ２０）。 When it is determined that the target image a is outside the monitoring area Area2 (No in step S19), the tracking control device 106 counts up or down the timer (step S20).

追跡制御装置１０６は、タイマがタイムアウトしたか否かを判定する（ステップＳ２１）。 The tracking control device 106 determines whether or not the timer has timed out (step S21).

タイムアウトしていないと判定した場合（ステップＳ２１においてＮｏ）、ステップＳ１８〜Ｓ２０の処理を実行する。 When it determines with not having timed out (in step S21 No), the process of step S18-S20 is performed.

タイムアウトしたと判定した場合（ステップＳ２１においてＹｅｓ）、追跡制御装置１０６は、この画像追跡処理を終了させる。 If it is determined that a timeout has occurred (Yes in step S21), the tracking control device 106 ends this image tracking process.

次に、ターゲット監視装置の具体的な動作について説明する。
図１に示すように、ターゲット監視装置のビジョンカメラ１０１とビデオカメラ１０２とは、監視エリアArea2内のターゲットＡを撮影する。 Next, a specific operation of the target monitoring apparatus will be described.
As shown in FIG. 1, the vision camera 101 and the video camera 102 of the target monitoring apparatus shoot the target A in the monitoring area Area2.

図８（ａ）に示すように、ターゲット画像ａが監視エリアArea2内に位置している場合、ビジョンカメラ１０１の重心取得部１１２は、ターゲット画像ａの重心位置を取得する。追跡制御装置１０６は、その重心位置を重心取得部１１２から取得する（ステップＳ１１の処理） As shown in FIG. 8A, when the target image a is located within the monitoring area Area2, the center-of-gravity acquisition unit 112 of the vision camera 101 acquires the position of the center of gravity of the target image a. The tracking control device 106 acquires the position of the center of gravity from the center of gravity acquisition unit 112 (processing in step S11).

ターゲット画像ａが移動しなければ、ＲＡＭに記憶した前回値と新たに取得した重心位置とは、一致する。このため、追跡制御装置１０６は、重心位置に変化はないと判定し、ビデオカメラ１０２に切り出しエリアArea1内のターゲット画像ａの取り込み処理を行わせる（ステップＳ１４の処理）。 If the target image a does not move, the previous value stored in the RAM coincides with the newly acquired barycentric position. For this reason, the tracking control device 106 determines that there is no change in the position of the center of gravity, and causes the video camera 102 to perform the capturing process of the target image a in the cutout area Area1 (processing in step S14).

図８（ｂ）に示すように、ターゲット画像ａが左上に移動した場合、その重心位置も変化する。ターゲット画像ａの重心位置が監視エリアArea2内であれば、追跡制御装置１０６は、ターゲット画像ａを囲むように切り出しエリアArea1を補正して、補正した切り出しエリアArea1の情報をビデオカメラ１０２に供給する。そして、追跡制御装置１０６は、ビデオカメラ１０２に切り出しエリアArea1の画像の取り込み処理を行わせる（ステップＳ１６の処理）。 As shown in FIG. 8B, when the target image a moves to the upper left, the position of the center of gravity also changes. If the position of the center of gravity of the target image a is within the monitoring area Area2, the tracking control device 106 corrects the cutout area Area1 so as to surround the target image a, and supplies the corrected information about the cutout area Area1 to the video camera 102. . Then, the tracking control device 106 causes the video camera 102 to perform an image capturing process for the cut-out area Area1 (processing in step S16).

同様に、ターゲット画像ａが、図８（ｃ）に示すように右下に移動した場合、ターゲット画像ａの重心位置が監視エリアArea2内であれば、追跡制御装置１０６は、ターゲット画像ａを囲むように切り出しエリアArea1を右下に補正して、補正した切り出しエリアArea1の情報をビデオカメラ１０２に供給する。 Similarly, when the target image a moves to the lower right as shown in FIG. 8C, if the center of gravity of the target image a is within the monitoring area Area2, the tracking control device 106 surrounds the target image a. As described above, the cutout area Area1 is corrected to the lower right, and the corrected cutout area Area1 information is supplied to the video camera 102.

ターゲット画像ａが図９（ａ）に示す位置から、図９（ｂ）に示す位置に移動して、ターゲット画像ａの重心位置が監視エリアArea2外に移動した場合、追跡制御装置１０６は、旋回台１０４の予測制御を行い、旋回台制御装置１０５に予測位置の情報を供給する（ステップＳ１８の処理）。 When the target image a moves from the position shown in FIG. 9A to the position shown in FIG. 9B and the center of gravity of the target image a moves outside the monitoring area Area2, the tracking control device 106 turns. Predictive control of the platform 104 is performed, and information on the predicted position is supplied to the swivel platform control device 105 (processing in step S18).

予測制御の結果、図９（ｃ）に示すように監視エリアArea2が変化した場合、追跡制御装置１０６は、再び、ターゲット画像ａの重心位置を取得する（ステップＳ１１の処理）。追跡制御装置１０６は、ターゲット画像ａを囲むように、監視エリアArea2内の切り出しエリアArea1を補正して、補正した切り出しエリアArea1の情報をビデオカメラ１０２に供給する。 As a result of the predictive control, when the monitoring area Area2 changes as shown in FIG. 9C, the tracking control device 106 acquires the position of the center of gravity of the target image a again (processing in step S11). The tracking control device 106 corrects the cutout area Area1 in the monitoring area Area2 so as to surround the target image a, and supplies the corrected information on the cutout area Area1 to the video camera 102.

ターゲット画像ａが図９（ｄ）に示す位置に移動した場合、追跡制御装置１０６は、ターゲット画像ａを囲むように、監視エリアArea2内の切り出しエリアArea1を補正して、補正した切り出しエリアArea1の情報をビデオカメラ１０２に供給する。 When the target image a moves to the position shown in FIG. 9 (d), the tracking control device 106 corrects the cutout area Area1 in the monitoring area Area2 so as to surround the target image a, and the corrected cutout area Area1. Information is supplied to the video camera 102.

次に、ターゲット画像ａが図９（ｅ）に示すように監視エリアArea2外に移動した場合、ターゲット画像ａの重心位置も監視エリアArea2外になる。この場合、追跡制御装置１０６は、旋回台１０４の予測制御を行い、旋回台制御装置１０５に予測位置の情報を供給する（ステップＳ１８の処理）。 Next, when the target image a moves out of the monitoring area Area2 as shown in FIG. 9 (e), the position of the center of gravity of the target image a is also out of the monitoring area Area2. In this case, the tracking control device 106 performs predictive control of the swivel base 104, and supplies predicted position information to the swivel base control device 105 (step S18).

監視エリアArea2が図９（ｆ）に示す位置に変化した場合、追跡制御装置１０６は、再び、ターゲット画像ａの重心位置を取得する（ステップＳ１１の処理）。追跡制御装置１０６は、ターゲット画像ａを囲むように、監視エリアArea2内の切り出しエリアArea1を補正して、補正した切り出しエリアArea1の情報をビデオカメラ１０２に供給する。 When the monitoring area Area2 changes to the position shown in FIG. 9F, the tracking control device 106 acquires the position of the center of gravity of the target image a again (processing in step S11). The tracking control device 106 corrects the cutout area Area1 in the monitoring area Area2 so as to surround the target image a, and supplies the corrected information on the cutout area Area1 to the video camera 102.

このように追跡制御装置１０６は、ターゲットＡを追跡し、切り出したターゲット画像ａを映像モニタ１０３に出力する。映像モニタ１０３は、ビデオカメラ１０２が撮影した監視エリアArea2の画像を表示する。映像モニタ１０３には、ターゲットＡが移動しても、ターゲット画像ａの重心がモニタ中心となるように切り出されたターゲット画像ａが表示される。 In this way, the tracking control device 106 tracks the target A and outputs the cut target image a to the video monitor 103. The video monitor 103 displays an image of the monitoring area Area2 captured by the video camera 102. On the video monitor 103, even if the target A moves, the target image a cut out so that the center of gravity of the target image a becomes the center of the monitor is displayed.

以上説明したように、本実施形態１によれば、ビジョンカメラ１０１の重心取得部１１２は、ターゲット画像ａの重心位置を取得し、追跡制御装置１０６が重心取得部１１２からターゲット画像ａの重心位置を取得して、この重心位置に基づいて、ターゲット画像ａを追跡するようにした。 As described above, according to the first embodiment, the centroid acquisition unit 112 of the vision camera 101 acquires the centroid position of the target image a, and the tracking control device 106 receives the centroid position of the target image a from the centroid acquisition unit 112. And the target image a is tracked based on the position of the center of gravity.

従って、重心取得部１１２がターゲット画像ａの重心位置を短時間で取得できるので、動きの早いターゲットＡを追跡することができ、高速でターゲット画像ａのみを取り出すことができる。 Therefore, since the center-of-gravity acquisition unit 112 can acquire the position of the center of gravity of the target image a in a short time, it is possible to track the target A that moves quickly, and to extract only the target image a at high speed.

（実施形態２）
実施形態２に係るターゲット監視装置は、陸上競技におけるスタートライン（競技線）をターゲットとして監視し、このスタートラインにおける踏み越し判定を行うようにしたものである。 (Embodiment 2)
The target monitoring apparatus according to the second embodiment monitors a start line (competition line) in an athletic competition as a target, and performs a stepping determination on the start line.

実施形態２に係るターゲット監視装置は、図１０に示すように、ビジョンカメラ１０１と、ハンドフリーマイク２０１と、スタートピストル２０２と、スタート信号発生装置２０３と、ヘッドセット２０４と、信号灯２０５と、画像判定装置２０６と、を備える。 As shown in FIG. 10, the target monitoring apparatus according to the second embodiment includes a vision camera 101, a hand-free microphone 201, a start pistol 202, a start signal generator 203, a headset 204, a signal lamp 205, and an image. And a determination device 206.

ビジョンカメラ１０１は、実施形態１と同様のものである。但し、実施形態２におけるビジョンカメラ１０１は、陸上競技におけるスタートラインＢをターゲットとして撮影する。 The vision camera 101 is the same as that in the first embodiment. However, the vision camera 101 according to the second embodiment shoots with the start line B in the track and field competition as a target.

例えば、スタンディングスタートによる１５００ｍ走、１００００ｍ走のように、オープンコースを走る陸上競技では、スタート地点のスタートラインＢが曲線になっている。 For example, in an athletics run on an open course, such as 1500m run and 10,000m run by standing start, the start line B of the start point is a curve.

陸上競技が、例えば、１５００ｍ競争の場合、スタートラインＢは、図１１に示すように１〜８レーンまでを横切るように、地面に描かれている。この場合、ビジョンカメラ１０１は、インからの４レーンと、アウトからの４レーンと、に分けて撮影を行い、重心取得部１１２は、それぞれのスタートライン画像ｂの重心位置を取得する。 When the track and field competition is a 1500m competition, for example, the start line B is drawn on the ground so as to cross 1 to 8 lanes as shown in FIG. In this case, the vision camera 101 performs shooting separately for 4 lanes from IN and 4 lanes from OUT, and the centroid acquisition unit 112 acquires the centroid position of each start line image b.

また、陸上競技が、１００００ｍ競争の場合、スタートラインＢは、図１２に示すように、インからの４レーンと、アウトからの４レーンと、に分かれている。この場合、ビジョンカメラ１０１は、インからの４レーンと、アウトからの４レーンと、に分けて撮影を行い、重心取得部１１２は、そのスタートライン画像ｂの重心位置を取得する。 Further, when the track and field competition is a 10000 m competition, the start line B is divided into 4 lanes from the in and 4 lanes from the out as shown in FIG. In this case, the vision camera 101 performs shooting separately for 4 lanes from the IN and 4 lanes from the OUT, and the centroid acquisition unit 112 acquires the centroid position of the start line image b.

ハンドフリーマイク２０１は、スタータ２１０の「位置について」といった音声を集音するものであり、スタータ２１０の口の近傍に配置されて音声を集音する。ハンドフリーマイク２０１は、スタータ２１０の音声を集音すると、集音した音声を音声信号に変換して画像判定装置２０６に供給する。 The hand-free microphone 201 collects sound such as “about the position” of the starter 210, and is arranged near the mouth of the starter 210 to collect sound. When collecting the sound of the starter 210, the hand-free microphone 201 converts the collected sound into a sound signal and supplies the sound signal to the image determination device 206.

スタートピストル２０２は、競技者に対して音等を発してスタートの合図を行うものであり、スタータ２１０によって操作される。スタートピストル２０２は、スタート信号発生装置２０３に接続され、スタートの合図を行ったときの発射信号をスタート信号発生装置２０３に出力する。 The start pistol 202 is used to signal the start by making a sound or the like to the competitor, and is operated by the starter 210. The start pistol 202 is connected to the start signal generator 203 and outputs a fire signal when a start signal is given to the start signal generator 203.

スタート信号発生装置２０３は、スタートピストル２０２から発射信号が供給されて、スタート信号を発生させるものであり、発生させたスタート信号を画像判定装置２０６に供給する。 The start signal generator 203 is supplied with a launch signal from the start pistol 202 to generate a start signal, and supplies the generated start signal to the image determination device 206.

ヘッドセット２０４は、スタータ２１０に音声で踏み越しがあった旨の通知を行うためのものであり、画像判定装置２０６に接続される。信号灯２０５は、踏み越しがあったときに点灯して踏み越しがあったことを知らせるためのものであり、画像判定装置２０６に接続される。 The headset 204 is used to notify the starter 210 that the starter 210 has been stepped over by voice, and is connected to the image determination device 206. The signal lamp 205 is turned on when there is a stepping over to notify that the stepping over has occurred, and is connected to the image determination device 206.

画像判定装置２０６は、重心取得部１１２が取得したスタートライン画像ｂの重心位置が変化したと判定した場合にスタートラインＢへの競技者による踏み込み有りと判定するものである。 The image determination device 206 determines that the player has stepped on the start line B when it is determined that the position of the center of gravity of the start line image b acquired by the center of gravity acquisition unit 112 has changed.

画像判定装置２０６は、ハンドフリーマイク２０１から、スタータ２１０の音声「位置について」を示す音声信号が供給される前に、後述する踏越判定処理を実行し、スタート信号発生装置２０３からスタート信号が供給されて踏越判定処理を終了させる。 The image determination device 206 executes a stepping determination process, which will be described later, before a sound signal indicating the sound “position” of the starter 210 is supplied from the hand-free microphone 201, and a start signal is received from the start signal generator 203. It is supplied, and the overtaking determination process is terminated.

画像判定装置２０６は、踏越判定処理において、ハンドフリーマイク２０１から、スタータ２１０の音声「位置について」を示す音声信号が供給されると、ビジョンカメラ１０１の重心取得部１１２からスタートライン画像ｂの重心位置の初期値を取得する。 When an audio signal indicating the audio “position” of the starter 210 is supplied from the hand-free microphone 201 in the step-over determination process, the image determination device 206 receives the start line image b from the gravity center acquisition unit 112 of the vision camera 101. Get the initial value of the center of gravity.

１５００ｍ走、１００００ｍ走のような陸上競技においては、少しでもスタートラインＢに競技者の靴がかかると、フライングとなる。位置につく前、競技者がスタートラインＢを踏むことはなく、ビジョンカメラ１０１で撮影したスタートライン画像ｂは、図１３（ａ）に示すような形状を有する。このときのスタートライン画像ｂの重心位置を初期値（ｘg0、ｙg0）とする。 In athletics such as 1500m run and 10,000m run, if a competitor's shoes hit the start line B, it will be flying. Before reaching the position, the competitor does not step on the start line B, and the start line image b photographed by the vision camera 101 has a shape as shown in FIG. The center of gravity position of the start line image b at this time is set as an initial value (xg0, yg0).

初期値を取得した後、競技者の靴がスタートラインＢを踏み越えた場合、スタートライン画像ｂは、図１３（ｂ）に示すように、競技者の踏み越えた靴跡ｆの分だけ変化し、重心位置も（ｘg0、ｙg0）から（ｘg1、ｙg1）に変化する。 After the initial value is acquired, when the competitor's shoes have stepped over the start line B, the start line image b changes as much as the shoe mark f that the competitor has stepped over, as shown in FIG. The position of the center of gravity also changes from (xg0, yg0) to (xg1, yg1).

画像判定装置２０６は、スタートライン画像ｂの重心位置がこのように変化すると、踏み越しありと判定し、ヘッドセット２０４に音声で踏み越しがあった旨の通知を行い、信号灯２０５を点灯する。 When the position of the center of gravity of the start line image b changes in this way, the image determination device 206 determines that there is a stepping over, notifies the headset 204 that there has been a stepping over by voice, and turns on the signal lamp 205.

次に実施形態２に係るターゲット監視装置の動作を説明する。
画像判定装置２０６は、図１４に示すフローチャートに従って、踏越判定処理を実行する。
画像判定装置２０６は、初期値を入力する（ステップＳ３１）。 Next, the operation of the target monitoring apparatus according to the second embodiment will be described.
The image determination device 206 executes a step-over determination process according to the flowchart shown in FIG.
The image determination device 206 inputs an initial value (step S31).

画像判定装置２０６は、スタート信号が供給されたか否かを判定する（ステップＳ３２）。スタート信号が供給されなかったと判定した場合（ステップＳ３２においてＮｏ）、画像判定装置２０６は、ビジョンカメラ１０１の重心取得部１１２から、スタートライン画像ｂの重心位置を取得する（ステップＳ３３）。 The image determination device 206 determines whether or not a start signal is supplied (step S32). If it is determined that the start signal has not been supplied (No in step S32), the image determination device 206 acquires the center of gravity position of the start line image b from the center of gravity acquisition unit 112 of the vision camera 101 (step S33).

画像判定装置２０６は、取得した重心位置とその初期値とを比較して、重心位置に変化があるか否かを判定する（ステップＳ３４）。 The image determination device 206 compares the acquired barycentric position with its initial value to determine whether or not the barycentric position has changed (step S34).

重心位置に変化がないと判定した場合（ステップＳ３４においてＮｏ）、画像判定装置２０６は、再度、スタート信号が供給されたか否かを判定する（ステップＳ３２）。 When it is determined that there is no change in the center of gravity position (No in step S34), the image determination device 206 determines again whether a start signal is supplied (step S32).

重心位置に変化があったと判定した場合（ステップＳ３４においてＹｅｓ）、画像判定装置２０６は、踏み越しがあった旨の通知を音声でヘッドセット２０４に行い、信号灯２０５を点灯する（ステップＳ３５）。 When it is determined that the position of the center of gravity has changed (Yes in step S34), the image determination device 206 notifies the headset 204 by voice that there has been a stepping over, and turns on the signal lamp 205 (step S35).

一方、スタート信号が供給されたと判定した場合（ステップＳ３２においてＹｅｓ）、画像判定装置２０６は、この踏越判定処理を終了させる。 On the other hand, when it is determined that the start signal has been supplied (Yes in step S32), the image determination device 206 ends this overtaking determination process.

次に、この踏越判定処理を具体的に説明する。
図１５（ａ）に示すように、時刻ｔ１０において、スタータ２１０の「位置について」の合図があると、画像判定装置２０６は、スタートライン画像ｂの初期値をビジョンカメラ１０１の重心取得部１１２から取得する（ステップＳ３１の処理）。 Next, this step determination process will be specifically described.
As illustrated in FIG. 15A, when there is a signal about “position” of the starter 210 at time t <b> 10, the image determination device 206 obtains the initial value of the start line image b from the gravity center acquisition unit 112 of the vision camera 101. Obtain (Step S31).

初期値を取得した後、競技者の靴がスタートラインＢを踏み越えずに、時刻ｔ１１になった場合、画像判定装置２０６は、この踏越判定処理を終了させる。 When the athlete's shoes do not step over the start line B and the time t11 comes after the initial value is acquired, the image determination device 206 ends this step determination process.

図１５（ｂ）に示すように、時刻ｔ１２において、競技者の靴がスタートラインＢを踏み越えた場合、画像判定装置２０６は、重心位置に変化があったと判定し、踏み越しがあった旨の通知を音声でヘッドセット２０４に行い、信号灯２０５を点灯する（ステップＳ３５の処理）。 As shown in FIG. 15 (b), when the athlete's shoes stepped over the start line B at time t12, the image determination device 206 determines that there has been a change in the center of gravity position, indicating that there was a stepping over. Notification is performed to the headset 204 by voice, and the signal lamp 205 is turned on (processing in step S35).

以上説明したように、本実施形態２によれば、ビジョンカメラ１０１は、スタートラインＢを撮影し、重心取得部１１２は、スタートライン画像ｂの重心位置を取得する。そして、画像判定装置２０６がスタートライン画像ｂの重心位置が変化したと判定した場合、踏み越しがあった旨の通知を行うようにした。 As described above, according to the second embodiment, the vision camera 101 captures the start line B, and the centroid acquisition unit 112 acquires the centroid position of the start line image b. When the image determination device 206 determines that the position of the center of gravity of the start line image b has changed, a notification that there has been a stepping over is made.

従って、高速で踏越判定を行うことができる。また、スタンディングスタートによる１５００ｍ走、１００００ｍ走のように、オープンコースを走る陸上競技のように、スタートラインＢが曲線になっている場合でも、正確に踏越判定を行うことができる。 Therefore, it is possible to make a stepping determination at high speed. In addition, even when the start line B is curved, such as athletics running on an open course, such as 1500m run and 10,000m run by standing start, it is possible to accurately perform the stepping determination.

（実施形態３）
実施形態３に係るターゲット監視装置は、跳躍競技における踏み切り板をターゲットとして監視し、この踏み切り板における踏み切り判定を行うようにしたものである。 (Embodiment 3)
The target monitoring apparatus according to the third embodiment monitors a crossing board in a jumping competition as a target, and performs a crossing determination on the crossing board.

実施形態３に係るターゲット監視装置の構成を図１６に示す。
実施形態３に係るターゲット監視装置はビジョンカメラ１０１と、ビデオカメラ１０２と、映像モニタ１０３と、ビデオレコーダ２０７と、を備える。 The configuration of the target monitoring apparatus according to the third embodiment is shown in FIG.
The target monitoring apparatus according to the third embodiment includes a vision camera 101, a video camera 102, a video monitor 103, and a video recorder 207.

ビジョンカメラ１０１とビデオカメラ１０２と映像モニタ１０３とは、実施形態１のものと同様のものである。但し、実施形態２におけるビジョンカメラ１０１とビデオカメラ１０２とは、跳躍競技における踏切板Ｃをターゲットとして撮影する。 The vision camera 101, the video camera 102, and the video monitor 103 are the same as those in the first embodiment. However, the vision camera 101 and the video camera 102 in the second embodiment shoot with the crossing board C in the jumping competition as a target.

ビデオレコーダ２０７は、ビデオカメラ１０２で撮影された画像を判定用として記録するためのものである。 The video recorder 207 is for recording an image photographed by the video camera 102 for determination.

実施形態３の画像判定装置２０６は、重心取得部１１２が取得した踏切板画像ｃの重心位置が変化したと判定した場合に踏切板Ｃへの競技者による踏み切り有りと判定する。 The image determination device 206 according to the third embodiment determines that there is a level crossing by the player on the level crossing board C when it is determined that the barycentric position of the level crossing board image c acquired by the barycentric acquisition unit 112 has changed.

画像判定装置２０６は、競技が始まる直前から、後述する踏み切り判定処理の実行を開始し、予め設定された時間が経過すると、この踏み切り判定処理を終了させる。画像判定装置２０６は、踏み切り判定処理において、競技者の跳躍前に、重心取得部１１２から、踏切板画像ｃの重心位置の初期値を取得する。 The image determination device 206 starts execution of a crossing determination process, which will be described later, immediately before the competition starts, and ends the crossing determination process when a preset time has elapsed. In the crossing determination process, the image determination device 206 acquires an initial value of the barycentric position of the crossing board image c from the barycentric acquisition unit 112 before the athlete jumps.

跳躍競技においては、実施形態２と同様、少しでも競技者の靴が踏切板Ｃをはみ出して踏み切ると、ファールとなる。競技者の跳躍前であれば、競技者の靴は、踏切板Ｃには入らず、踏切板画像ｃは、図１７（ａ）に示すような画像になる。このときの踏切板画像ｃの重心位置を（ｘg0，ｙg0）とする。 In the jumping competition, as in the second embodiment, when the athlete's shoes protrude from the railroad crossing plate C even a little, a foul is formed. If it is before the competitor's jump, the athlete's shoes do not enter the crossing board C, and the crossing board image c is an image as shown in FIG. The gravity center position of the crossing board image c at this time is defined as (xg0, yg0).

初期値を取得した後、競技者の靴が踏切板Ｃに足がかかった場合、スタートライン画像ｂは、図１７（ｂ）に示すように、競技者の踏み越えた靴跡ｆの分だけ変化し、重心位置も（ｘg0、ｙg0）から（ｘg0+Δｘ、ｙg1＋Δｙ）に変化する。 After the initial value is acquired, when the athlete's shoes hit the crossing board C, the start line image b changes by the amount of the shoe mark f that the athlete has stepped over, as shown in FIG. Then, the position of the center of gravity also changes from (xg0, yg0) to (xg0 + Δx, yg1 + Δy).

また、画像判定装置２０６は、競技者による踏切板Ｃの踏み込み有りと判定した場合に、踏切板画像ｃの重心位置の変化量に基づいて踏み込み位置を特定し、競技者による踏切板Ｃの踏み込み位置を拡大撮影するように、ビデオカメラ１０２を制御する。 Further, when the image determination device 206 determines that the level crossing board C has been stepped on by the competitor, the image determination device 206 specifies the stepping position based on the amount of change in the center of gravity position of the level crossing board image c, and the player steps on the level crossing board C. The video camera 102 is controlled so that the position is magnified.

即ち、画像判定装置２０６は、踏切板画像ｃの重心位置がこのように変化すると、踏み切りありと判定し、取得した重心位置に基づいて競技者の靴ｆが認識された位置を算出し、監視エリアを算出する。画像判定装置２０６は、ビデオカメラ１０２を制御して、図１８に示すように、踏切時に撮影された映像から踏切判定を行うために、算出した監視エリアを撮影させ、競技者の靴Ｆを拡大撮影させる。 That is, when the gravity center position of the crossing board image c changes in this way, the image determination device 206 determines that there is a crossing, calculates the position at which the athlete's shoe f is recognized based on the acquired gravity center position, and monitors it. Calculate the area. The image determination device 206 controls the video camera 102 to shoot the calculated monitoring area and enlarge the athlete's shoes F in order to determine the level crossing from the video taken at the level crossing as shown in FIG. Let them shoot.

次に実施形態３に係るターゲット監視装置の動作を説明する。
画像判定装置２０６は、図１９に示すフローチャートに従って踏切判定処理を実行する。 Next, the operation of the target monitoring apparatus according to the third embodiment will be described.
The image determination device 206 executes a crossing determination process according to the flowchart shown in FIG.

画像判定装置２０６は、競技者が跳躍する前の踏切板画像ｃの重心位置の初期値を重心取得部１１２から取得する（ステップＳ４１）。 The image determination device 206 acquires the initial value of the center of gravity position of the crossing board image c before the player jumps from the center of gravity acquisition unit 112 (step S41).

画像判定装置２０６は、予め設定された判定時間が経過したか否かを判定する（ステップＳ４２）。 The image determination device 206 determines whether or not a predetermined determination time has elapsed (step S42).

判定時間が経過していないと判定した場合（ステップＳ４２においてＮｏ）、画像判定装置２０６は、踏切板画像ｃの重心位置を重心取得部１１２から取得する（ステップＳ４３）。 If it is determined that the determination time has not elapsed (No in step S42), the image determination device 206 acquires the position of the center of gravity of the crossing board image c from the center of gravity acquisition unit 112 (step S43).

画像判定装置２０６は、取得した踏切板画像ｃの重心位置とその初期値とを比較して重心位置が変化したか否かを判定する（ステップＳ４４）。 The image determination device 206 determines whether or not the center of gravity position has changed by comparing the center of gravity position of the obtained level crossing board image c with its initial value (step S44).

重心位置が変化していないと判定した場合（ステップＳ４４においてＮｏ）、画像判定装置２０６は、再び、判定時間が経過したか否かを判定し、判定時間が経過していないと判定した場合、踏切板画像ｃの重心位置を取得する（ステップＳ４２〜Ｓ４３）。 If it is determined that the position of the center of gravity has not changed (No in step S44), the image determination device 206 determines again whether the determination time has elapsed, and if it has determined that the determination time has not elapsed, The barycentric position of the crossing board image c is acquired (steps S42 to S43).

重心位置が変化したと判定した場合（ステップＳ４４においてＹｅｓ）、画像判定装置２０６は、取得した重心位置に基づいて競技者の靴ｆが認識された位置を算出し、監視エリアを算出する。そして、画像判定装置２０６は、切り出し領域を設定する（ステップＳ４５）。 When it is determined that the position of the center of gravity has changed (Yes in step S44), the image determination device 206 calculates a position where the athlete's shoe f is recognized based on the acquired position of the center of gravity, and calculates a monitoring area. Then, the image determination device 206 sets a cutout area (step S45).

画像判定装置２０６は、設定した切り出し領域の撮影対象を拡大撮影するようにビデオカメラ１０２を制御して、映像モニタ１０３にその画像を表示させる（ステップＳ４６）。 The image determination device 206 controls the video camera 102 so as to magnify the subject to be captured in the set clipping region, and displays the image on the video monitor 103 (step S46).

そして、判定時間が経過したと判定した場合（ステップＳ４２においてＹｅｓ）、画像判定装置２０６は、この処理を終了させる。 If it is determined that the determination time has elapsed (Yes in step S42), the image determination device 206 ends this process.

画像判定装置２０６がこのような踏切判定処理を実行することにより、踏み切り板に競技者の靴がかかった場合、ビデオカメラ１０２は、図１８に示すように、競技者の靴Ｆを拡大撮影する。そして、映像モニタ１０３は、この競技者の靴の画像ｆを拡大表示し、踏切板Ｃに競技者の靴Ｆがかかったことが視認される。 When the image determination device 206 executes such a crossing determination process and the athlete's shoes are put on the crossing board, the video camera 102 shoots the athlete's shoes F as shown in FIG. . Then, the video monitor 103 enlarges and displays the image f of the athlete's shoes, and it is visually recognized that the athlete's shoes F are applied to the crossing board C.

以上説明したように、本実施形態３によれば、ビジョンカメラ１０１は、踏切板Ｃを撮影し、重心取得部１１２は、踏切板画像ｃの重心位置を取得する。そして、画像判定装置２０６が踏切板画像ｃの重心位置が変化したと判定した場合、競技者の靴の画像ｆを拡大撮影するように制御した。 As described above, according to the third embodiment, the vision camera 101 captures the railroad crossing board C, and the gravity center acquisition unit 112 acquires the gravity center position of the railroad crossing board image c. Then, when the image determination device 206 determines that the position of the center of gravity of the crossing board image c has changed, control is performed so that the image f of the athlete's shoe is magnified.

従って、高速で踏切判定を行うことができる。また、踏切板画像ｃの重心位置に基づいて監視エリアを算出し、その監視エリアを撮影するようにビデオカメラ１０２を制御することによって、この踏切の有無を分かり易く表示させることができる。 Therefore, it is possible to make a crossing determination at high speed. Further, by calculating the monitoring area based on the position of the center of gravity of the crossing board image c and controlling the video camera 102 so as to photograph the monitoring area, the presence or absence of the crossing can be displayed in an easily understandable manner.

尚、本発明を実施するにあたっては、種々の形態が考えられ、上記実施の形態に限られるものではない。
例えば、上記実施形態１，３では、ビジョンカメラ１０１とビデオカメラ１０２とを備えるようにした。しかし、カメラを１つにして、カメラ内で光軸を２つに分けて、一方の光を、センサ部１１３に導き、もう一方の光を映像モニタ１０３への表示用にしてもよい。 In carrying out the present invention, various forms are conceivable and the present invention is not limited to the above embodiment.
For example, in the first and third embodiments, the vision camera 101 and the video camera 102 are provided. However, the number of optical axes may be divided into two in the camera, one light may be guided to the sensor unit 113, and the other light may be used for display on the video monitor 103.

また、上記実施形態２においても、ビデオカメラ１０２を備えるようにしてもよい。 Also in the second embodiment, the video camera 102 may be provided.

上記実施形態２では、スタートラインＢが曲線になっている場合について説明した。しかし、これに限られるものではなく、スタートラインＢが直線の場合でも、実施形態２を適用できる。 In the second embodiment, the case where the start line B is a curve has been described. However, the present invention is not limited to this, and the second embodiment can be applied even when the start line B is a straight line.

本発明の実施形態１に係るターゲット監視装置の構成を示すブロック図である。It is a block diagram which shows the structure of the target monitoring apparatus which concerns on Embodiment 1 of this invention. 図１に示すビジョンカメラの構成を示す図である。It is a figure which shows the structure of the vision camera shown in FIG. 図２に示すセンサ部の構成を示す図である。It is a figure which shows the structure of the sensor part shown in FIG. 図３に示す処理要素の構成を示す図である。It is a figure which shows the structure of the processing element shown in FIG. 図４に示すトラッキング部の動作を示す図である。It is a figure which shows operation | movement of the tracking part shown in FIG. 切り出しエリアと監視エリアと追跡可能旋回エリアを示す図である。It is a figure which shows a cut-out area, a monitoring area, and a traceable turning area. 図１に示す追跡制御装置が実行する画像追跡処理を示すフローチャートである。It is a flowchart which shows the image tracking process which the tracking control apparatus shown in FIG. 1 performs. 実施形態１に係るターゲット監視装置の具体的な動作（１）を示す図である。It is a figure which shows the specific operation | movement (1) of the target monitoring apparatus which concerns on Embodiment 1. FIG. 実施形態１に係るターゲット監視装置の具体的な動作（２）を示す図である。It is a figure which shows the specific operation | movement (2) of the target monitoring apparatus which concerns on Embodiment 1. FIG. 本発明の実施形態２に係るターゲット監視装置の構成を示すブロック図である。It is a block diagram which shows the structure of the target monitoring apparatus which concerns on Embodiment 2 of this invention. 実施形態２に係るスタートラインの例として、１５００ｍ走のスタートラインを示す図である。It is a figure which shows the start line of 1500 m run as an example of the start line which concerns on Embodiment 2. FIG. 実施形態２に係るスタートラインの例として、１００００ｍ走のスタートラインを示す図である。It is a figure which shows the start line of 10,000 m run as an example of the start line which concerns on Embodiment 2. FIG. 図１０に示す画像判定装置の踏越判定の方法を示す図である。It is a figure which shows the method of the passing determination of the image determination apparatus shown in FIG. 図１０に示す画像判定装置が実行する踏越判定処理を示すフローチャートである。It is a flowchart which shows the passing determination process which the image determination apparatus shown in FIG. 10 performs. 図１０に示す画像判定装置が実行する踏越判定処理を示すタイミングチャートである。It is a timing chart which shows the passing determination process which the image determination apparatus shown in FIG. 10 performs. 本発明の実施形態３に係るターゲット監視装置の構成を示すブロック図である。It is a block diagram which shows the structure of the target monitoring apparatus which concerns on Embodiment 3 of this invention. 図１６に示す画像判定装置が実行する踏み切り判定の方法を示す図である。It is a figure which shows the method of the crossing determination which the image determination apparatus shown in FIG. 16 performs. 図１６に示す画像判定装置の踏み切り判定後のビデオカメラの撮影エリアを示す図である。It is a figure which shows the imaging | photography area of the video camera after the crossing determination of the image determination apparatus shown in FIG. 図１６に示す画像判定装置が実行する踏み切り判定処理を示すフローチャートである。It is a flowchart which shows the crossing determination process which the image determination apparatus shown in FIG. 16 performs.

Explanation of symbols

１０１ビジョンカメラ
１０２ビデオカメラ
１０３映像モニタ
１０４旋回台
１０５旋回台制御装置
１０６追跡制御装置
１１２重心取得部
１１３センサ部
１１４演算処理部
２０６画像判定装置 DESCRIPTION OF SYMBOLS 101 Vision camera 102 Video camera 103 Image | video monitor 104 Pivot stand 105 Pivot stand control apparatus 106 Tracking control apparatus 112 Center of gravity acquisition part 113 Sensor part 114 Operation processing part 206 Image determination apparatus

Claims

A photographing unit for photographing a target as a monitoring object;
A center-of-gravity acquisition unit that acquires a center-of-gravity position of the image of the target imaged by the imaging unit;
A centroid position change monitoring unit that monitors the change of the centroid position acquired by the centroid acquisition unit, and
The center of gravity acquisition unit
A plurality of photoelectric conversion elements that convert light detection signals of a signal level corresponding to the intensity of received light are arranged in a matrix, and light from the target is received by the photoelectric conversion elements to generate the image, A sensor unit for binarizing and adding the light detection signal output from the photoelectric conversion element;
The photoelectric conversion element of the sensor unit is selected, and the sensor unit adds and calculates the binarized signal of the photodetection signal of the selected photoelectric conversion element to obtain the zero-order moment amount and the primary moment amount of the image. An arithmetic processing unit that controls the sensor unit to output a signal indicating, and obtains the position of the center of gravity of the target image based on the output signal of the sensor unit,
The photographing unit photographs a competition line in the competition as the target,
The center-of-gravity acquisition unit acquires the center-of-gravity position of the image of the competition line imaged by the imaging unit,
The center-of-gravity position change monitoring unit determines that the player has stepped on the competition line when it is determined that the center-of-gravity position of the competition line image acquired by the center-of-gravity acquisition unit has changed.
A target monitoring device.

The center-of-gravity position change monitoring unit identifies a stepping position based on the amount of change in the center-of-gravity position of the image of the competition line when it is determined that the player has stepped on the competition line, and the competition by the athlete Controlling the photographing unit so as to magnify the stepping position of the line,
The target monitoring apparatus according to claim 1.