WO2004011314A1 - 駅ホームにおける安全監視装置 - Google Patents

駅ホームにおける安全監視装置 Download PDF

Info

Publication number
WO2004011314A1
WO2004011314A1 PCT/JP2003/009378 JP0309378W WO2004011314A1 WO 2004011314 A1 WO2004011314 A1 WO 2004011314A1 JP 0309378 W JP0309378 W JP 0309378W WO 2004011314 A1 WO2004011314 A1 WO 2004011314A1
Authority
WO
WIPO (PCT)
Prior art keywords
person
information
platform
distance information
image
Prior art date
Application number
PCT/JP2003/009378
Other languages
English (en)
French (fr)
Inventor
Ikushi Yoda
Katsuhiko Sakaue
Original Assignee
National Institute Of Advanced Industrial Science And Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Institute Of Advanced Industrial Science And Technology filed Critical National Institute Of Advanced Industrial Science And Technology
Priority to AU2003281690A priority Critical patent/AU2003281690A1/en
Priority to US10/522,164 priority patent/US7460686B2/en
Publication of WO2004011314A1 publication Critical patent/WO2004011314A1/ja

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
    • B61L23/04—Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
    • B61L23/041—Obstacle detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00—Control, warning or like safety means along the route or between vehicles or trains

Definitions

  • the present invention relates to a safety monitoring device at a station platform, and more particularly to a safety monitoring device at a track side station platform end based on distance information and images (te information).
  • a camera system for monitoring the platform end of a station as shown in FIG. 2 is known.
  • the camera is installed at an angle close to the horizontal so that a long distance such as 40 m can be seen in the horizontal direction with several cameras, and several camera images are displayed in one screen image so that people can see it It has such a system configuration.
  • the image area to be viewed is long (deep), and when many passengers enter and exit, the passengers are hidden behind the passengers and cannot see all the passengers.
  • the camera since the camera is installed at a nearly horizontal angle, it is susceptible to the effects of sunrise, sunset, and other light reflections.
  • a fall detection mat as shown in Fig. 3 detects a fall of a person by detecting the pressure when the person falls on the track.
  • a fall detection mat as shown in Fig. 3 detects a fall of a person by detecting the pressure when the person falls on the track.
  • This system calculates the difference between the image without obstacles and the current image, and detects the presence of an obstacle if the difference is output.
  • a configuration for detecting a motion vector of an object for the same purpose is disclosed in Japanese Patent Application Laid-Open No. Hei 10-31147.
  • the detection of these obstacles often involves malfunctions due to changes in light and shadow, making them inadequate as surveillance systems. Disclosure of the invention
  • An object of the present invention is to provide a safety monitoring device in a station platform that can reliably detect a person falling down on a track side at a track side platform end, and can identify a plurality of people and acquire all action logs thereof. .
  • the position on the home edge is specified by identifying the person at the home edge by distance information and texture information by photographing the home edge with a plurality of stereo cameras. At the same time, it reliably detects when a person falls on the track, automatically sends out a stop signal, etc., and simultaneously sends out the corresponding camera image. Also, record all actions of all persons acting on the edge of the home.
  • a means for registering in advance a situation calling for attention, an announcement thereof, and a situation for transferring video from a position, a movement, etc. of a person on the home edge is provided.
  • the announcement corresponding to the situation is transmitted to the passenger by the camera unit by the synthetic voice registered in advance.
  • the safety monitoring device in the station platform of the present invention captures an image of the platform end with a plurality of stereo cameras at the track side platform end of the station, and converts the captured image in the field of view and the coordinate system of the platform for each stereo camera.
  • the above configuration is characterized in that a means for acquiring and storing a log of a flow line in a space such as a human home is further provided.
  • a recognition target is extracted based on image information from each of the stereo cameras. Means for performing recognition using higher-order local autocorrelation features.
  • the means for recognizing the target from both the distance information and the image information discriminates a person from another from the center of gravity information on a plurality of masks having different heights.
  • the means for confirming safety acquires the distance information and the image information at the platform end, detects image information above the track range, and detects a fall of a person or a person based on the distance information of the image information. It is characterized by protruding outside the platform and issuing an alarm.
  • time-series distance information before and after the higher-order local autocorrelation feature exists at a predetermined location in a predetermined range is used to identify the same person.
  • the predetermined location is obtained by dividing a predetermined range into a plurality of blocks, and the search for the next distance information in the time series is performed by using the plurality of blocks as a unit. It is characterized in that it is performed by calculating an autocorrelation feature.
  • FIG. 1 is a conceptual diagram of the safety monitoring device of the present invention.
  • FIG. 2 is a diagram showing a conventional arrangement of surveillance cameras.
  • FIG. 3 is an explanatory view of a conventional fall detection mat.
  • FIG. 4 is an overall flowchart of the present invention.
  • FIG. 5 is an explanatory diagram of the person counting algorithm of the present invention.
  • FIG. 6 is a flowchart of the human-centered identification / counting process of the present invention.
  • FIG. 7 is a diagram showing an example of a binary image sliced from a distance image.
  • FIG. 8 is a diagram showing the labeling result of FIG.
  • FIG. 9 is an explanatory diagram of the center of gravity calculation.
  • FIG. 10 is a flowchart of the line tracking processing of the present invention.
  • FIG. 11 is an explanatory diagram of a high-order local autocorrelation feature that is invariant to translation.
  • FIG. 12 is a diagram showing an example of an approximated vector.
  • FIG. 13 is a diagram showing an example of the same face image whose cutout is shifted.
  • FIG. 14 is a diagram illustrating a high-order local autonomous translation-invariant and rotational translation-invariant autonomous system used in the present invention. It is explanatory drawing of an autocorrelation feature.
  • FIG. 15 is a flowchart of a search range dynamic determination process according to the present invention.
  • FIG. 16 is a diagram showing a congestion status map of the present invention.
  • FIG. 17 is a flowchart of a search process using texture according to the present invention.
  • FIG. 18 is an explanatory diagram of the dynamic search area determination algorithm of the present invention.
  • FIG. 19 is a diagram showing changes in the dynamic search area according to the degree of congestion according to the present invention.
  • FIG. 20 is an explanatory diagram of a high-speed search algorithm using higher-order local autocorrelation features used in the present invention.
  • FIG. 21 is a diagram showing an overall flow line management algorithm of the present invention.
  • FIG. 22 is a flowchart of the area monitoring / warning process of the present invention. BEST MODE FOR CARRYING OUT THE INVENTION
  • FIG. 1 is a diagram schematically illustrating the system configuration of an embodiment of the present invention
  • FIG. 4 is a diagram illustrating an overall flowchart of the information integrated recognition device described in FIG.
  • a plurality of stereo cameras 1 1 to 1 1 n are photographed so that there is no blind spot on the platform edge, and a passenger 2 moving on the platform edge is monitored.
  • the image pickup devices of two or more cameras are fixed in parallel, and the imaging outputs of the stereo cameras 11 to 1-n are given to the image processing devices in each camera.
  • the stereo camera itself is already known, and for example, a digital camera such as Digicrops @ Sarnoff Research Institute of Point Gray is used.
  • the present invention it is possible to reliably detect a person falling down on a track at a track side platform end, and to identify a plurality of persons and acquire all action logs thereof.
  • the activity log is acquired to manage the traffic flow and improve the premises and guide passengers more safely.
  • the position on the home edge is specified while the person at the home edge is identified by the distance information and the image (texture) information (hereinafter, simply referred to as texture).
  • texture the image (texture) information
  • it reliably detects when a person falls on the track, automatically sends out a stop signal, etc., and simultaneously sends out the corresponding camera image. Also record all actions of all persons acting on the edge of the home.
  • a human-centered identification 'counting process 21 The processing of counting the presence and the processing of connecting the points of presence of the above persons in a time series and generating a flow line are performed as the line tracking processing 22.
  • FIG. 5 shows a conceptual diagram of the human counting algorithm used in the present invention.
  • Fig. 6 shows the flow of the human counting algorithm.
  • the camera that shoots images is a stereo camera, which can also obtain distance information, so that a binary image can be created from the distance information. That is, assuming that the three masks are masks 5, 6, and 7 in order from the top in FIG. 5, the mask 5 has a height of, for example, 150 to 160 cm, the mask 6 has a height of 120 to 130 cm, and the mask 7 detects a height of 80 to 90 cm from the distance information and creates a binary image.
  • the black part (number 1) in the mask in Fig. 5 means that something exists in that part, and the white part (number 0) has nothing.
  • 1 ⁇ , 11, 12, or 13, 14, 12 in these masks indicate the presence of a person.
  • 10 corresponds to the head, and image data 11 and 12 exist on each mask on the same X-y coordinate.
  • 13 corresponds to the head, and image data 14 and 12 exist on each mask on the same X-y coordinates.
  • 15 is, for example, luggage and is not recognized as a person. Dogs and pigeons are eliminated because they do not have multiple images.
  • 17 and 16 are recognized as short children. Eventually, it is recognized that there are three people, including children, on the mask in Fig. 5, and the following processing is performed.
  • [2] Perform morphological processing on the mask according to the noise of each camera (32 in Fig. 6).
  • the morphological processing is a kind of image processing on a binary image based on mathematical morphology, but is well known and does not directly relate to the present invention, and therefore detailed description thereof is omitted.
  • [3] Label the topmost (topmost) mask 5 (33 in Fig. 6) and determine the center of gravity of each (5 in Fig. 6). Similarly, set the center of gravity up to the lowest mask 7. At this time, the region including the center of gravity determined in the higher stage than each stage does not perform the process of calculating the center of gravity as being already counted. In this example, two people at level n (mask 5), one at level 2 (mask 6), and zero at level 1 (mask 7), total
  • the labeling and the processing for calculating the center of gravity will be described as follows. As shown in Fig. 5, multiple slices are created in the height direction from the distance information, and these are converted into a binary image. The binary image is labeled (separated) and the center of gravity is calculated. Labeling is a common method of image processing that counts the number of clumps. Then, the center of gravity is calculated for each block. A specific method of the above-described process of deriving the center of gravity and labeling will be described with reference to FIGS. 7 to 9.
  • FIG. 7 and 8 are explanatory diagrams of the labeling process. As shown in Fig. 7, first, a binary image is created at each stage (level) sliced from an image at a predetermined distance, and the binary figure is labeled as one region with connected components.
  • the labeling method scans all pixels from the lower left to the upper right. If the scan encounters one pixel, as shown in Figure 8, attach the first label to that pixel. Continue scanning, and if the pixel at that time is connected to the first label, paste the first label on those pixels as well. Also, if the pixel is 1, but the area is different from the previous area, attach a new label. In Fig. 7, the binary image was divided into 1 and 0 areas, but after labeling, labeling was performed on the background 0 area and each block as shown in Fig. 8. It can be seen that there are individual clumps.
  • Fig. 9 is an explanatory diagram for calculating the center of gravity.
  • the center of gravity is calculated for each area (lump) obtained after labeling. As shown in Fig. 9, the calculation method is to add the X and y coordinates of the area, and divide by the number of pixels (area).
  • the average value (average coordinates) is the barycentric coordinates of the mass.
  • FIG. 10 shows the flow of the line tracking process.
  • a person is recognized from the center-of-gravity information (distance information).
  • distance information information
  • the center of gravity information alone connects the flow line, It is not possible to accurately determine whether the point and the next point are the same person. (However, comparing the previous frame and the next frame, if there is only one person in either movable search range, both points are Can be tied to the flow line.)
  • the identity of a person is determined using the higher-order local autocorrelation feature (texture information) described later.
  • [9] Determine the search area based on the “length of one side of the search range” and “traveling direction”. (If “number of frames since appearance” is 1, determine only the “length of one side of the search range”) Do).
  • the criteria for determining a person are: (A) The level difference from the “end height level” is within 1 or less.
  • the length is longer than a certain length and the end is not the edge of the screen, it is complemented with texture.
  • the search area is divided into small areas, and local feature vectors are derived from the texture of each area. Measure the distance between them and the "translation-invariant and rotation-invariant local feature vector derived from the texture around the end", and use the center of the area with the closest distance among those with distances below the criterion, 11]. If there is no area with a distance less than the standard, there is no connection.
  • the “radius length of the search range” is determined in principle from the number of people in the surrounding area on the congestion status map (92 to 94 in Fig. 16). In other words, the discriminability decreases when the traffic is congested, and the next search range is also reduced.
  • the congestion situation is basically
  • Higher-order local autocorrelation features have characteristics of translation invariance and additivity due to local features, as described later. In addition, it is used in such a way that it is invariable in rotational movement. In other words, even if the same person changes the walking direction (rotates when viewed from above), the above-mentioned higher-order local autocorrelation feature does not change and can be recognized as the same person.
  • the high-order local autocorrelation feature is calculated for each block in order to calculate at high speed by using the property of additivity, and is retained for each block.
  • target features are extracted from image (texture) information.
  • the higher-order local autocorrelation function used here is defined as follows. Assuming that the target image in the screen is f (r), the Nth-order autocorrelation function is given by the displacement direction (a l, a 2, a 3,-aN)
  • the order N of the higher-order autocorrelation coefficient is 2.
  • the displacement direction is limited to a local 3 ⁇ 3 pixel area around the reference point r. Excluding the equivalent features due to translation, the total number of features for the binary image is 25 (left side in Fig. 11). The calculation of each feature at this time is performed by adding the product of the values of the corresponding pixels of the local pattern to all the pixels to obtain a feature amount of one image.
  • This feature has the great advantage that it is invariant to the translation pattern.
  • the method of extracting only the target area using the distance information from the stereo camera used as preprocessing here can reliably extract the target, but has the disadvantage that the target area is unstable. Therefore, by using this feature of translation invariance for recognition, robustness to the change of clipping was secured. In other words, the advantage of the invariance of this feature with respect to translation is maximized for variations in the target position within a small area.
  • the center of the 3 ⁇ 3 mask indicates the reference point r. Pixels indicated by "1" are added, and pixels indicated by are not added.
  • the degree is 2
  • the 25 patterns shown on the left side of the figure are created, but the difference between the 0th-order and 1st-order product sum ranges is greatly different.
  • a pattern that sums and accumulates the same points only in the 0th and 1st order is added, and a total of 35 patterns are made.
  • it is invariant to translation but not to rotation. Therefore, as shown in Fig. 14, The patterns were assembled so that they became one element by adding the patterns that were equivalent by rotation. As a result, we used 11 elements in the vector. When four patterns were used as one element for value normalization, the value divided by 4 was used.
  • the 3 ⁇ 3 mask shifts the target image one pixel at a time and scans the entire image.
  • the 3 ⁇ 3 mask is moved over all pixels, and the value obtained by multiplying the values of 1 and the marked pixels at that time is added each time the 3 ⁇ 3 mask is moved in pixel units. That is, the product sum is obtained.
  • 2 means multiply the value of the pixel twice (square)
  • 3 means multiply the pixel three times (cubic).
  • the image having the information amount of (8bit) x (x pixels) X (y pixels) is converted into a one-dimensional vector.
  • these features are invariant to parallel and rotational movements because they are calculated in local regions. Therefore, the clipping from the stereo camera is unstable, but the features of each dimension are similar even if the clipping region for the target is shifted.
  • the images in FIG. 12 and the table in FIG. 13 are examples. In this case, the upper 2 digits of the vector element for the gray image are shown in 25 dimensions. Although the cut-out image of the face is shifted in each of the three figures, the upper two digits of each vector shown in the table are completely similar.
  • the displacement of the cutout based on the distance information has a decisive effect on the recognition rate.
  • this feature is robust to clipping inaccuracies. This is the greatest advantage of combining higher-order local autocorrelation features and clipping by a stereo camera.
  • the pixel values of the image are basically 8-bit gray images, but we use color images to individually characterize three-dimensional values such as RGB (or YIQ). In the case of one dimension, it is possible to further improve the accuracy by using a three-dimensional one-dimensional vector.
  • FIG. 15 FIG. 16, FIG. 18, FIG. This will be described with reference to FIG.
  • the area where the distance can be accurately displayed is divided into multiple areas (51 in Fig. 15 and 81 in Fig. 16).
  • the search range is divided into 24 blocks. Calculate and retain high-order local autocorrelation features for each block.
  • the area where the target person was in the previous frame is held in units of four blocks 73 in FIG.
  • the above four blocks as one unit, compare higher-order local autocorrelation features and search for the next destination.
  • the size of the four blocks is such that one person can enter. Therefore, it is unlikely that more than one person will fit in the four blocks. Even if you have information on the center of gravity of multiple people, From the similarity.
  • the 15 feature points [1] to [15] in FIG. 20 in the search range of the current frame are calculated, and the point having the closest feature point is newly added to the same person. It is determined that there is a certain area. As shown in 72 in Fig. 20, the feature was calculated in advance by dividing it into 24 blocks (a, ' ⁇ ⁇ , x). It is a device to keep the amount of calculation of the block.
  • the flow line is first obtained from the distance information, and the higher-order local autocorrelation feature is used when there is no person in the search range.
  • the higher-order local autocorrelation feature itself is divided into 24 blocks and stored within the search range by one operation.
  • the feature value at each location can be obtained at high speed by adding four.
  • the above-described liquid crystal distance will be described.
  • the local features obtained from the area where the person immediately before was located (hereafter, the “higher-order local autocorrelation features” are abbreviated as “local features”) and the candidates in the current frame that seem to have moved
  • local features The local features obtained from the area where the person immediately before was located
  • the candidates in the current frame that seem to have moved
  • the local features first connect them to the closer one based on the xy2D coordinates of the home where the person is obtained from the distance image. So far, it is the distance in general two-dimensional coordinates.
  • the candidates to be connected are at the same distance on the home or are unknown, the reliability will be improved by calculation using the vector of local features obtained from the texture. From this point, the local feature is used to determine whether the obtained regions are the same object (pattern) (the coordinates are completely different from the coordinates on the home).
  • A tal, a 2, a 3, ⁇ ⁇ ⁇ , an
  • the Euclidean distance takes the mean square ((a 1-b 1) square + (a 2 -b 2) square + (a 3 -b 3) square + + — Bn) squared. If the textures are exactly the same, the distance will be 0.
  • the basis of the calculation method is the same as that of the general straight-line distance calculation method up to three dimensions.
  • FIG. 21 shows a specific example of the whole flow line management algorithm.
  • ⁇ Specify the flow of a person for each camera.
  • Each camera is time-synchronized, and adjacent cameras are arranged so that continuous two-dimensional coordinates can be set with a common area (surcharge). Then, by integrating the flow line information of each camera, it is possible to create the flow line within the full-range camera field on the overall management map.
  • each camera alone identifies a person and connects its flow lines.
  • the sixth point of camera 1 and the first point of camera 2 coincide in time with the two-dimensional coordinates, so that they are managed as continuous flow lines in the overall flow line management map. In this way, it is possible to manage all flow lines in two-dimensional coordinates created by multiple cameras.
  • FIG. 22 shows an area monitoring and warning processing flow.
  • Fig. 22 The area monitoring and warning processing flow (algorithm for drop judgment, etc.) shown in Fig. 22 is as follows.
  • the system of the present invention provides a means for registering in advance the situation calling for attention, the announcement thereof, and the situation of transferring the video from the position, movement, etc. of the person on the home edge. Furthermore, by adding a voice synthesis function to the camera device, announcements according to the situation are transmitted to passengers in units of cameras using pre-registered synthesized voice.
  • Automatic drop detection Judges distance information by looking at still images and dynamic changes.
  • the information used here is only time-series distance information obtained from a gray image.
  • Textures are also tracked with higher-order local autocorrelation features that can respond to position and rotation, so that both distance and texture can be more accurate.
  • a plurality of stereo cameras capture images of the platform end at the track side platform end of the station, and identify the person at the platform end based on the distance information and the texture information.
  • reliable detection of a person falling down the track at the end of the trackside platform, and more reliable safety monitoring equipment at the station platform that identifies multiple people and obtains all their action logs Can be provided.
  • a means for acquiring and storing a log of a flow line in a space such as a human home is provided, and a means for extracting a recognition target based on image information from each of the stereo cameras is provided.
  • the means for recognizing the target from both the distance information and the image information includes distinguishing a person from another from the center of gravity information on a plurality of masks having different heights.
  • the distance information and the image information at the platform end are acquired, and from the detection of the image information above the track range and the distance information of the image information, the fall of a person or the protrusion of a person or the like to the outside of the platform is identified, and an alarm is issued.
  • An expensive and reliable safety monitoring device at station platforms can be provided.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Train Traffic Observation, Control, And Security (AREA)

Abstract

　本発明は、線路側ホーム端における人の線路転落の確実な検知、および複数の人の識別とその全行動ログの取得する駅ホームにおける、より確実な安全監視装置を提供する。本発明は、ホーム端にいる人を距離情報とテクスチャ情報によって識別しながらホーム端上の位置を特定する。同時に人が線路上に落下した場合を確実に検知し、自動的に停止信号などを送出すると同時に対応するカメラの映像を送出する。またホーム端上で行動する全ての人間の全行動を記録する。

Description

明細書 駅ホームにおける安全監視装置 技術分野
この発明は駅ホームにおける安全監視装置に関し、 特に、 距離情報と画像 （テ 情報に基づく、 線路側駅ホーム端における安全監視装置に関する。 背景技術
従来、 駅ホームの安全監視装置に関しては、 種々提案されている （特開平 1 0 - 3 0 4 3 4 6号公報、 特開 2 0 0 1— 3 4 1 6 4 2公報、 特開 2 0 0 1— 2 6 2 6 6公報、 特開 2 0 0 1— 3 9 3 0 3公報、 特開平 1 0— 3 4 1 7 2 7号公報 等参照。）。 ·
例えば、 特開平 1 0— 3 0 4 3 4 6号公報に記載されているように、 第 2図に 示されるような駅のホーム端を監視するカメラシステムは公知であるが、 それら は 1台のカメラで 4 0 mのような長い距離を横方向に捉えるように水平に近い角 度に設置されており、 数台のカメラ画像を 1つの画面の画像内に表示して、 人が 視認するようなシステム構成となっている。
それゆえ、視認する画像対象領域は長く （深く）、多くの乗降客が出入りする場 合は、 乗客の陰に乗客が隠れ、 全ての乗客を見渡すことができないといった問題 点がある。 かつ、 カメラの設置角度が水平に近いため、 朝日、 夕日、 さらにその 他光の反射の影響を受けやすく、 画像そのものが適切に撮れない場合も生じ易い 設置となっている。
また、 第 3図に示すような落下検知マットは、 線路に人が落下した場合、 その 圧力を検知することで人の落下を検知している。 しかし、 構造的に線路とホーム の内側の一部分にしか施設することができないので、 検知マツ 卜を飛び越えて人 が落下した場合は全く無力なものである。
これらを改善するものとして、 ホームの屋根の下に下向きにカメラを複数台設 置し、 障害物を監視するものが特開平 1 3— 3 4 1 6 4 2号公報に記載されてい る。
このシステムは、 障害物の無い状態の画像と現在画像の差分を取り、 差分の出 力があると障害物ありと検知するものである。 また、 同様の目的で物体の動きべ クトルを検出する構成が特開平 1 0— 3 1 1 4 2 7号公報に開示されている。 しかし、 これらの障害物検知には特に光や影の変化による誤動作が多く、 監視 システムとしては不十分なものである。 発明の開示
本発明は、 線路側ホーム端における人の線路転落の確実な検知、 および複数の 人の識別とその全行動ログを取得することのできる駅ホームにおける安全監視装 置を提供することを目的としている。
本発明においては、 複数のステレオカメラによりホーム端を撮影することで、 ホーム端にいる人を距離情報とテクスチャ情報によって識別しながらホーム端上 の位置を特定する。 同時に人が線路上に落下した場合を確実に検知し、 自動的に 停止信号などを送出すると同時に対応するカメラの映像を送出する。 また、 ホ一 ム端上で行動する全ての人間の全行動を記録する。
また、 本発明においては、 ホーム端上の人の位置、 動きなどから、 予め注意を 呼びかける状況、 そのアナウンス、 および映像を転送する状況を予め登録する手 段を与え、 さらに、 カメラ装置に音声合成機能を付加することで、 その状況に応 じたアナウンスを予め登録された合成音声によってカメラ単位で乗客に伝える。 すなわち、 本発明の駅ホームにおける安全監視装置は、 駅の線路側ホーム端に おいて複数のステレオカメラにより該ホーム端を撮像し、 各ステレオカメラ単位 で視野内の撮像画像とホームの座標系に基づいた距離画像を生成する画像処理手 段と、 前記各ステレオカメラからの距離情報と画像情報に基づき対象を認識する 手段と、 該抽出された認識対象の状態から安全を確認する手段とからなることを 特徴とする。
また、 上記構成において、 さらに人間のホームなどの空間における動線のログ を取得して保存する手段を備えることを特徴とする。
また、 さらに前記各ステレオカメラからの画像情報に基づき認識対象を抽出す る手段が、 高次局所自己相関特徴を用いた認識を行うことを特徴とする。
また、 上記構成において、 前記距離情報と画像情報両方から対象を認識する手 段が、 高さの異なる複数のマスク上の重心情報から人と他のものを識別すること を特徴とする。
また、 上記構成において安全を確認する手段が、 ホーム端の前記距離情報と画 像情報を取得し、 線路範囲上方における画像情報の検知および該画像情報の距離 情報から、 人の落下もしくは人等のホーム外への突出を識別し、 警報を出すこと を特徴とする。
また、 前記高次局所自己相関特徴が所定の範囲の所定の箇所に存在する前後の 時系列の距離情報を同一人と同定するために用いられることを特徴とする。
さらに、前記所定の箇所は所定の範囲内を複数のプロックに分けたものであり、 前記時系列の次の距離情報の探索が上記複数のプロックの内の複数個を単位とし て前記高次局所自己相関特徴を計算することにより行われることを特徴とする。 図面の簡単な説明
第 1図は、 本発明の安全監視装置の概念図である。
第 2図は、 従来の監視カメラの配置を示す図である。
第 3図は、 従来の転落検知マットの説明図である。
第 4図は、 本発明の全体のフロ一チヤ一トである。
第 5図は、 本発明の人カウントアルゴリズムの説明図である。
第 6図は、 本発明の人中心特定 ·カウント処理のフローチャートである。
第 7図は、 距離画像からスライスした 2値画像の例を示す図である。
第 8図は、 第 7図のラベリング結果を示す図である。
第 9図は、 重心計算の説明図である。
第 1 0図は、 本発明のライン ' トラヅキング処理のフローチャートである。 第 1 1図は、 平行移動不変の高次局所自己相関特徴の説明図である。
第 1 2図は、 近似するベクトル例を示す図である。
第 1 3図は、 切り出しがずれた同じ顔画像の例を示す図である。
第 1 4図図は、 本発明に用いる平行移動不変、 かつ回転移動不変の高次局所自 己相関特徴の説明図である。
第 1 5図は、 本発明の探索範囲動的決定処理のフローチャートである。
第 1 6図は、 本発明の混雑状況マップを示す図である。
第 1 7図は、 本発明のテクスチャ利用の探索処理のフローチャートである。 第 1 8図は、 本発明の動的探索領域決定アルゴリズムの説明図である。
第 1 9図は、 本発明の動的探索領域の混雑度合いによる変化を示す図である。 第 2 0図は、 本発明に用いる高次局所自己相関特徴による高速探索アルゴリズ ムの説明図である。
第 2 1図は、 本発明の全体動線管理アルゴリズムを示す図である。
第 2 2図は、 本発明の領域監視 ·警告処理のフローチャートである。 発明を実施するための最良の形態
第 1図はこの発明の一実施例のシステム構成の概略を説明する図であり、 第 4 図は第 1図で説明する情報統合認識装置の全体フローチャートを示す図である。 第 1図に示すように、 複数のステレオカメラ 1一 1から 1一 nによってホーム 端上に死角がないように撮影され、ホーム端上を移動する乗客 2を監視している。 各ステレオカメラ 1は 2台以上のカメラの撮像素子が平行に固定されていて、 ス テレオカメラ 1一 1から 1—nの撮像出力は各カメラ内の画像処理装置に与えら れる。 ステレオカメラ自体は既に公知のものであり、 たとえばポイントグレイ社 のデジクロップスゃサーノフ研究所のァケ一ディァのようなものが用いられる。 本発明においては、 線路側ホーム端における人の線路転落の確実な検知、 およ び複数の人の識別とその全行動ログを取得するものである。 行動ログは、 動線を 管理することで構内の改善やより安全な乗客の誘導を行うため、 取得される。 以上のように、 本発明においては、 ホーム端にいる人を距離情報と画像 （テク スチヤ）情報（以下、 単にテクスチャという。） によって識別しながらホーム端上 の位置を特定する。 同時に人が線路上に落下した場合を確実に検知し、 自動的に 停止信号などを送出すると同時に対応するカメラの映像を送出する。 また、 ホー ム端上で行動する全ての人間の全行動を記録する。 第 4図に示すように、 その全 体の処理では、 まず人中心特定 ' カウント処理 2 1として、 距離情報から人の存 在をカウントする処理と、 ライン · トラッキング処理 22として、 上記人の存在 点を時系列で結び、 動線を出す処理とを行う。
[人中心特定 ·カウント処理]
第 5図に、 上記本発明に用いる人カウント ·アルゴリズムの概念図を示す。 ま た、 第 6図に人カウント ·アルゴリズムのフローを示す。
人数カウント ·動線計測プログラムのアルゴリズムは、 以下のとおりである。
[ 1 ] z軸の距離を取得し、 それを使って、高さ別のマスク画像（第 5図の 5， 6 , 7) 等を作成する （第 6図の 3 l)o なお、 平面を X— y軸とし、 z軸を高さ 方向とする。 また、 第 5図では、 簡略化して 3段階のマスクしか図示されていな いが、 好適な実施例では 8段階である。
撮影するカメラは、 ステレオカメラであり、 距離情報も得られるので、 その距 離情報から 2値画像を作成することができる。 すなわち、 第 5図において 3つの マスクを上から順番にマスク 5， 6 , 7とすると、 マスク 5は例えば 1 50〜 1 60 cmの高さ、 マスク 6は 120~ 1 30 cmの高さ、 マスク 7は 80〜90 cmの高さを距離情報から検出して 2値画像が作成される。 第 5図のマスク内の 黒色部分 （数値は 1) は、 その部分に何かが存在し、 白色の部分 （数値は 0) は 何もないことを意味している。
カメラは上から見ているので、 これらマスクにおける 1◦， 1 1， 12、 ある いは 13 , 14, 1 2は人の存在を示している。 例えば、 10が頭に相当し、 同 じ X— y座標上の各マスク上に画像デ一夕 1 1 , 12が存在する。 同じく 13が 頭に相当し、同じ X— y座標上の各マスク上に画像デ一夕 14、 12が存在する。 1 5は、 例えば荷物であり、 人とは認識されない。 犬とか、 ハトは、 複数の画像 にデ一夕を持たないので排除される。 1 7 , 16は背の低い子供と認識される。 結局、 第 5図のマスク上には子供を含む 3人がいると認識され、 以下の処理が行 われる。
[2] カメラ毎のノイズに合わせて、 マスクにモルフォロジ一処理を行う （第 6図の 32)。なお、 モルフォロジ一処理とは、数理形態学に基づく 2値画像での 画像処理の 1種であるが、 公知であり、 本発明に直接関係しないので、 その詳細 な説明は省略する。 [ 3 ] 最上位 （最上段） のマスク 5をラベリング （第 6図の 3 3 ) し、 それそ れの重心を出す（第 6図の 3 5 )。 同様に、 最下位のマスク 7まで重心を出す。 こ のとき、 それそれの段階よりも上位の段階で決定した重心を含む領域は、 既に数 えられたものとして重心を出す処理は行わない。 この例では、 レベル n (マスク 5 ) で 2人、 レベル 2 (マスク 6 ) で 1人、 レベル 1 (マスク 7 ) で 0人、 合計
3人の人がいることを認識する。
ここでラベリング及び重心を出す処理を説明すると、 以下のようになる。 第 5図に示すように、 距離情報から高さ方向でスライスを複数作り、 それを 2 値画像にする。 この 2値画像をラベリング （分別） をして重心を計算する。 ラベ リングは、 画像処理の一般的な手法で、 塊がいくつあるかを数える。 そして、 そ の塊単位で重心を計算する。 上記重心を出す処理とラベリングの具体的方法を、 第 7図〜第 9図を用いて説明する。
第 7図， 第 8図は、 ラベリング処理の説明図である。 第 7図のように、 まず所 定距離の画像からスライスした各段階 （レベル） において 2値画像を作成し、 そ の 2値図形に対して、 連結成分を 1つの領域としてラベル付けをする。
ラベリングの方法は、 全画素を左下から右上に走査する。 第 8図に示されるよ うに、 その走査が 1の画素に出会ったならば、 その画素に 1番目のラベルを貼り 付ける。 引き続き走査を実行し、 その際の画素が 1番目のラベルに連結している ならば、 これらの画素にも 1番目のラベルを貼り付ける。 また、 1 の画素ではあ るが、 その領域が先の領域とは別の場合は、 新しいラベルを貼り付ける。 第 7図 では 2値画像で 1と 0の領域に分かれていたが、 ラベリング後は、 第 8図のよう に背景である 0の領域と各塊単位でラベリングが行われ、 同時にこの場合は 3個 の塊があることが分かる。
第 9図は、 重心を出すときの説明図であり、 ラベリング後に得られた、 各領域 (塊） 単位で重心の計算を行う。 計算方法は、 第 9図に表示されているように、 その領域の X座標， y座標をそれそれすベて足し合わせ、 その画素数 （面積） で 割る。 その平均値 （平均座標） がその塊の重心座標となる。
実験では、 混雑時にステレオカメラ 1台の視野の範囲で、 1 5人位が距離情報 だけで識別できた。 また、 階段のような密集状態でも距離情報だけで、 9割以上 が取得できる。 なお、 上記重心の高さが一定範囲にあることにより人間であると 認識すること自体は、 例えば特開 5— 3 2 8 3 5 5号公報に示されるように公知 である。
[ 4 ] 最終的に出そろった重心を人としてカウントし、 人数とする。
[ライントラッキング処理]
次に、 これら人の重心の移動を追尾し、 動線を作成する。 第 1 0図に、 このラ ィントラッキング処理のフロ一を示す。
上記のようにして、 人を重心情報 （距離情報） から認識するが、 特にホーム上 が混雑していたりして複数の重心情報が存在する場合、 重心情報だけでは動線を 結ぶ場合に前の点と次の点が同一人物かどうかの識別が正確にはできない （ただ し、 前フレームと次のフレームを比較して、 どちらの可動探索範囲にも 1人しか いないときは、 その両点を結んで動線とすることができる。）。
そこで、 後述する高次局所自己相関特徴 （テクスチャ情報） を用いて人の同一 性を判定する。
以降の処理を説明すると、
[ 5 ] 1つのカメラのカバ一範囲の画面上で、 z軸の値が正確に出る範囲を 3 X 5の領域に区切り (混雑状況マップ）、 それそれに存在する人数をカウン卜する (第 1 6図の 8 1 )。なお、上記一つのカメラのカバ一範囲を「フレーム」という。
[ 6 ] 次に、 前フレームまでのライン （軌跡） と、 これらの人とのつながりを 検査し、 以下の如く同じ人の中心をつなく、 （第 1 0図の 4 2 )。
[ 7 ]それそれのラインは、 出現してからのフレーム毎の「x座標」 '「y座標」 · 「z軸の値」の他に、 「出現してからのフレーム数」、 「終端の高さレベル（マスク 画像の 4段階）」、 「終端周辺のテクスチャから導いた平行移動不変かつ回転不変 の局所特徴べクトル」、 「進行方向 （上下左右）」、 「探索範囲の半径の長さ」、 の属 性データ (これについては後述する） を持つ。
[ 8 ]検査は生きているラインの内で、古いラインから行う（第 1 0図の 4 1 )。
[ 9 ] 「探索範囲の一辺の長さ」、 「進行方向」 から探索領域を決定する （「出現 してからのフレーム数」が 1の場合は「探索範囲の一辺の長さ」だけで決定する）。
[10] つなく、人を決定する基準は、 (ァ） 「終端の高さレベル」 とのレベル差が 1以内である。
(ィ） 「ある程度の移動量がありながら 9 0度以上の急激な夕一ンを行っている」 に当てはまらない。
(ゥ） 上 2つを満たす中で直線距離が最短のもの。
である。
[11] ラインにつなぐ相手が見つかった場合、 「出現してからのフレーム数」を インクリメントし、 新たな「x座標」 ·「y座標」 ·「z軸の値」 を追加し、 「終端の 高さレベル」 を変更する （第 1 0図の 4 6 )。次に、 ラインのある程度前の段階で の座標と、 新たな 「x座標」 '「y座標」 とを比べて、 新たな 「進行方向」 を決定 する （第 1 0図の 4 3 )。次に、 混雑状況マップに於いて、 自分を中心とする 9領 域の内、 「進行方向」から判断して背後の 3領域を省いた領域に存在する人数によ り、 「探索範囲の半径の長さ」を決定する。 そして、 新たな「終端周辺のテクスチ ャから導いた平行移動不変かつ回転不変の局所特徴べクトル」 を導く。
[12] 生きているラインすベてを検査した後、 つなぐ相手が見つからなかった ラインの内、 出現してからのフレーム数がある程度短いものはゴミとして削除す る （第 1 0図の 4 5 )。
[13] 一定以上の長さがあり、 かつ終端が画面端ではないものについては、 テ クスチヤで補完する。 探索領域を細かい領域に区切り、 それぞれの領域のテクス チヤから局所特徴ベクトルを導く。 それらと 「終端周辺のテクスチャから導いた 平行移動不変かつ回転不変の局所特徴ベクトル」 との距離を測り、 基準以下の距 離を持つものの中で、 最も近い距離を持つ領域の中心を使い、 [11]を行う。基準 以下の距離を持つ領域がない場合はつながない。
すなわち、 距離情報が何らかの理由で取れなかった場合、 例えば、 第 2 0図の 拡大図 （7 2 ) において、 現フレームの探索範囲の 1 5ケ所の特徴点を計算し、 その中から最も近い特徴をもつ点が新たな人のいる場所として特定する。
この場合、進行方向、速度、混雑状況で決定された探索領域内に何もなければ、 繋ぐ相手がいないものとして動線が途切れることになる。
[14] 一定の長さはあるが、 つなく、先が見つからないラインは死んだラインと する （第 1 0図の 4 4 )。 なお、 死んだラインは、 ログ （動線の全記録） として保
8 存する。
[15] すべてのラインの処理が終了した後に残った、 どのラインにもつながら なかった人は、新たなラインの始まりとする（第 1 0図の 4 7 )。属性のうち、 「探 索範囲の半径の長さ」 は、 原則として混雑状況マップに於ける自分の周辺領域の 人数から決定する （第 1 6図の 9 2〜9 4 )。すなわち、混雑していると識別性が 落ちるので、 次の探索範囲も細かくしていくことになる。 混雑状況は、 基本的に
(距離情報がとれない場合以外）距離情報から得られる人数で決定する。この時、 距離情報が団子状態になったとしても、 人は肩幅があるので人数をカウントでき る。
[高次局所自己相関特徴]
次に、本発明の特徴の一つでもある前記「高次局所自己相関特徴を用いた認識」 について、 説明する。 なお、 「高次局所自己相関特徴を用いた認識」の原理は、 詳 しくは「パターン認識 理論と応用」 （大津展之他著、朝倉書店 1 9 9 6年初版発 行。）に記載されている。この発明は、上記「高次局所自己相関を用いた認識手法」 を回転移動不変に拡張してからホーム上の監視システムに適用した点に特徴があ る。
高次局所自己相関特徴は、 後述するように局所特徴故の平行移動不変や加法性 の特性を有する。 さらにそれを回転移動不変になるようにして利用している。 す なわち、 同じ人が歩く方向を変え （上から見て回転） しても、 上記高次局所自己 相関特徴は変わらないので同一人物と認識できる。 なお、 高次局所自己相関特徴 は、 加法性の特性を利用して高速に計算するために各ブロック単位に計算し、 ブ ロック毎に保持する。
こうして、 あるブロックにいた人が、 他のプロヅクに移動した場合。 前記重心 情報が両ブロックに存在することになるが、 上記最初のブロックの高次局所自己 相関特徴が次のプロックの高次局所自己相関特徴と同じであるかどうかを認識す ることにより、 両ブロックに存在する前記重心情報 （人情報） が同一人物のもの かどうかが判定できるのである。 このようにして、 同一人物の前後の動線を結ぶ ことができる。 動線は重心点を結ぶことにより作成される。 このテクスチャ利用 の探索処理のフロ一を第 1 7図に示す。 以下、 高次局所自己相関特徴による認識について第 1 1図〜第 1 4図を用いて 説明する。
•高次局所自己相関特徴による認識
まず画像 （テクスチャ） 情報から対象の特徴を抽出する。
ここで用いる高次局所自己相関関数は、 以下のように定義する。 画面内の対象 画像を f ( r ) とすると、 N次自己相関関数は、 変位方向 （a l , a 2 , a 3 , - aN ) に対して
(数 1 ) xN ( al i -
Figure imgf000012_0001
で定義される。 ここでは、 高次自己相関係数の次数 Nを 2とする。 また、 変位方 向を参照点 rの周りの局所的な 3 X 3画素の領域に限定する。 平行移動による等 価な特徴を除くと、 2値画像に対して特徴の数は全部で 2 5個になる （第 1 1図 の左側）。このときの各特徴の計算は、局所パターンの対応する画素の値の積を全 画素に対して足し合わせ、 1枚の画像の特徴量とする。
この特徴は平行移動パターンに対して不変であるという大きな利点がある。 一 方、 ここで前処理として利用しているステレオカメラからの距離倩報を使った対 象領域のみを取り出す手法は、 対象を確実に切り出せるが、 切り出す領域が不安 定という欠点がある。 そこで、 認識のためにこの平行移動不変の特徴を用いるこ とで、 切り出しの変化に対するロバスト性を確保した。 すなわち、 小領域内の対 象位置の変動に対して、 この特徴の持つ平行移動に対する不変性の利点が最大限 に発揮される。
第 1 1図に 2 5個 + 1 0個 = 3 5個の高次局所自己相関特徴を示した。 サイズ
3 X 3のマスクの中心は参照点 rを示している。 " 1 "で示された画素は加算され、 で示された画素は加算されない。 次数を 2とした場合は図の左側に示した 2 5個のパターンが創出されるが、 0次と 1次の場合の積和の値域が大きく異な ることを補正する （正規化する） 意味で、 0次と 1次の場合のみ同じ点を積和す るパターンを付け加え全部で 3 5個のパターンする。 しかし、 このままでは平行 移動には不変であるが、回転には不変でない。そこで、第 1 4図に示したように、 回転して同等となるパターンを足し合わせて 1つの要素となるようにパターンを まとめた。 結果として、 ベクトルの要素は 1 1個となるものを利用した。 また値 の正規化のために 4つのパターンを 1つの要素とする場合には 4で割つた値を利 用した。
具体的には、 この 3 X 3のマスクが対象画像を 1画素づっシフ トして全体をス キャンする。 すなわち、 3 X 3マスクを全画素上で動かし、 そのときに 1とマ一 クのある画素の値同士を掛け合わせた値を 3 x 3のマスクを画素単位に動かすた びに足し合わせて行く。 つまり積和となる。 2とあるのはその画素の値を 2回掛 けること （2乗） を意味し、 3とあるのはその画素を 3回掛けること （3乗） を 意味する。
この操作が 3 5種の全てマスクについて実行された上で、 （ 8 b i t ) x ( x画 素数） X ( y画素数） の情報量を持つ画像が 1 1次元のベクトルに変換される。 そして、 最も特徴的な点として、 これらの特徴は局所領域で計算されるため平 行移動および回転移動に対して不変である。 よって、 ステレオカメラからの切り 出しは不安定であるが、 たとえ対象に対する切り出し領域はずれても、 各次元の 特徴量は近似する。 第 1 2図の画像と第 1 3図の表はその例である。 この場合は 2 5次元でグレー画像に対するべクトル要素の上位 2桁を示した例である。 顔の 切り出し画像が 3枚の各図でずれているが、 表で示した各べクトルの上位 2桁の 要素は完全に近似している。 もしテンプレートマッチングによる手法を単純に用 いた場合は、 距離情報による切り出しのずれが認識率に決定的な影響を及ぼす。 つまり、 この特徴は切り出しの不正確さに対してロバストである。 このことが高 次局所自 3相関特徴とステレオカメラによる切り出しを組合せた最大の利点であ る。
また、 ここでは画像の画素の値は基本を 8 bitのグレー画像を基本と考えるが、 カラー画像を使って、 R G B (または Y I Q ) などの 3次元の値に対して個々に 特徴を取り、 1 1次元の場合は 3 3次元の 1次元ベクトルとすることで、 より精 度を高めることも可能である。
[動的探索領域決定処理]
ここで、 前記探索範囲の動的制御について第 1 5図， 第 1 6図， 第 1 8図， 第 1 9図を用いて説明をする。
[ 1 ] まず、 一つの画面上で、 距離デ一夕が正確に出せる領域を、 複数に区切 る （第 1 5図の 5 1， 第 1 6図の 8 1 )。
[ 2 ] 人中心特定 'カウント処理によって人の中心 （と思われる） 点が得られ ているので、それぞれの区域に何人が存在するかカウン卜する（第 1 5図の 5 2， 第 1 6図の 8 1 )。
[ 3 ] 新たにラインの最後尾となった点に関して、 ラインログを用いて次のフ レームでの進行方向を特定する （第 1 5図の 5 3 , 第 1 8図の 6 1〜6 5 )。
[ 4 ] 第 1 8図に示すように、 点の存在する区域の周囲の内、 進行方向を優先 させ、 また第 1 6図に示すように、 選び出した区域の人数をカウントし、 その人 数にあらかじめ定めておいた定数を積算し、 探索範囲の領域を決定する （第 1 5 図の 5 4 )。具体的には、 第 1 9図に示したように、 停止状態から始まって、 混雑 度合いと速度に応じてその探索範囲を動的に多段階に変更して、 動線を繋ぎ合わ せたり探索したりする。 探索範囲において、 進行方向の正反対に関しては、 あら かじめ定めておいた適当に小さい値を探索範囲の半径とする。
[ 5 ]既出のラインに繋がらず、初めて現れたと思われる人物の点に関しては、 周囲の区域を等しく扱い、 人数をカウントし、 あらかじめ定めておいた定数を積 算し、 探索範囲の半径とする。
[テクスチャ一高速探索処理]
次に、 この発明におけるテクスチャ一探索処理を高速に行うための工夫を第 2 0図を用いて説明する。
第 1 9図の 1段階の探索範囲 （第 2 0図の 7 1 ) を例にとると、 例えば、 第 2 0図の 7 2に示すように、 上記探索範囲を 2 4のプロックに分けて計算し、 高次 局所自己相関特徴を各プロック毎に保持する。
そして、 まず前フレームにおける対象の人のいた領域を第 2 0図の 7 3の 4ブ ロック単位で保持する。 上記ブロックを 4つを 1単位として高次局所自己相関特 徴を比較し、 次の移動先を探索する。 なお、 該 4ブロックの大きさは、 人が一人 入る程度の大きさである。 したがって、 4ブロックに複数の人が入ることは殆ど ない。 仮に、 複数の人の重心情報があっても、 距離が近い方、 次い の類似度から識別される。
4ブロックを第 2 0図の下方に示した [ 1 ] 〜 [15] のように 1 5ケ所のみを 疎に探索することにより、計算量を大幅に削減できる。高次局所自己相関特徴は、 平行移動不変、 回転不変の特徴があるので、 正確に人が上記 4ブロックの範囲内 に入っていなくても、 7割程度の対象が上記 4ブロックの範囲内に入っていれば 近似したベクトルが得られるので、 疎な検索は十分可能である。 なお、 通常の画 像検索と異なり、上記高次局所自己相関特徴は加法性があるので、 [ 1 ]のべクト ルの計算は、 a + b + g + hとなり、 一次元ベクトルの加算でよい。 この加法性 を利用した上記疎検索により、 計算量が半分以下となる。 すなわち、 現フレーム の探索範囲内の上記第 2 0図の [ 1 ] 〜 [15] の 1 5ケ所の特徴点を計算し、 そ の中で最も近い特徴点を持つ点が新たに同じ人がある領域と判定する。 第 2 0図 の 7 2のように、 2 4ブロック （a , ' · · , x ) に分けて予め特徴を計算したの は、 1 5ケ所 X 4ブロック二 6 0ブロックの計算量を 2 4ブロックの計算量にと どめるための工夫である。
これらをまとめると、 以下のようになる。
-探索範囲における動線の決定方法
1 . 距離情報から得られた人の重心を探索範囲内でつなげる。
2 . 探索範囲内において距離情報から求められなかった場合、 テクスチャ情報 を使って回転フリーの情報 （高次局所自己相関特徴） で探索をする。
3 . 距離情報 +テクスチャ情報を使って動線の精度を高める。
すなわち、 基本は、 まず距離情報から動線を求め、 高次局所自己相関特徴は探 索範囲内に人がいない場合に使われるのである。
•テクスチャの高速探索方法
1 . 高次局所自己相関特徴自身は一回の操作で探索範囲内において 2 4ブロッ クに分けて保持する。
2 . 直前の操作で記憶した対象の特徴量を探索範囲内において、 ベクトルのュ ークリツド距離で比較する。
直前にプロック別に特徴を保持することで、 各場所における特徴量は 4つの足 し算で高速に求められる。 なお、 ここで上記ュ一クリッド距離について説明する。
直前の人がいたエリアから得られた局所特徴 （以下、 「高次局所自己相関特徴」 を簡略化して 「局所特徴」 という。） と、 現フレームのその人が移動したと思われ る候補のエリアの局所特徴とを比較し、 人の動線を出す場合、 まず距離画像から 得られた人のいるホームの xy2次元座標で考えて近い方に繋げる。ここまでは、 一般的な 2次元座標上での距離のことである。 しかし、 繋ごうとする候補がホー ム上の距離で同距離にあったり、 不明の場合、 テクスチャから得られた局所特徴 のべクトルで計算して信頼性を高めることになる。 ここからは得られた領域同士 が同じ対象（模様）であるかを判断するために前記局所特徴を使うことになる（ホ —ムの上の座標と全く別の座標である。）。
自分の直前位置のエリアの局所特徴 （テクスチャ） と距離から得られた候補点 のェリァの局所特徴- 2つのべクトル
A= ta l， a 2 , a 3 , · · · , an)
Β= (b 1 , b 2 , b 3 , · · · , b η)
があるこのときのユークリッド距離は 2乗平均をとり (( a 1— b 1) 2乗 + (a 2 -b 2) 2乗 + (a 3 -b 3) 2乗 + · · - + (an— bn) 2乗） となる。 もし全く同じテクスチャならば距離は 0になる。 計算方法の基本は一般の 3次元 までの直線距離算出手法と変わらない。
上記全体動線管理アルゴリズムの具体例を第 2 1図に示す。
·各カメラ単位で人の動線を特定する。
•各カメラは時間同期が取れており、 かつ隣り合うカメラ同士は共有領域 （の りしろ） をもって連続 2次元座標が設定できるように配置されている。 そして、 各カメラの動線情報を集積することで、 全体管理マップ上で全力メラ視野内の動 線を作成することができる。
·第 2 1図の場合、 各カメラ単独で人を特定し、 その動線を繋ぐ。 ここでカメ ラ 1の 6番目のポントとカメラ 2の 1番目のボイントは 2次元座標と時間が一致 するので、 連続した動線として全体動線管理マップでは管理される。 こうするこ とにより、 複数のカメラから作られる 2次元座標内の全動線を管理できる。
•動線を繋く、際には、 時間、 2次元座標だけでなく、 高さ （慎重）、 テクスチャ 情報 （頭や服の色） を使って信頼度を高くすることも可能である。
[領域監視 ·警告処理]
次に、 領域監視 '警告処理フローを第 2 2図に示す。
第 2 2図に示す領域監視 ·警告処理フロー （落下判定等のアルゴリズム） は、 以下の通りである。
[ 1 ] 線路上の領域に人がいるとき、 高さがホーム （例えば、 1 . 5 m ) より も高ければ （例えば、 手だけホーム外にある場合） 衝突注意処理を、 低ければ落 ちたと判断し、 落下警報処理を行う。
[ 2 ] ホーム上の危険領域に人がいるとき、 ライントラヅクを行っていない場 合、 即、 退避勧告処理を行う。 また、 ライントラックを行っている場合、 ログか ら判断して、 危険領域に留まり続けているならば、 退避勧告処理を行う。
このようにして、 この発明のシステムは、 ホーム端上の人の位置、 動きなどか ら、 予め注意を呼びかける状況、 そのアナウンス、 および映像を転送する状況を 予め登録する手段を与える。 さらに、 カメラ装置に音声合成機能を付加すること で、 その状況に応じたアナウンスを予め登録された合成音声によってカメラ単位 で乗客に伝える。
以上まとめると、 以下の如くなる。
1 . 落下の自動検知：距離情報を静止画と動的な変化を見て判断する。
距離情報を用いるので朝日や夕日が射し込んだり、 影が激しく変化したりする 状況でも確実に落下を検知できる。 また、 新聞、 ダンボール、 鳩 'カラス、 荷物 などを無視できる。
-判断結果は 3段階などで伝える。
a . 確実に落下 停止信号の送信、 警報の発生。
b . 何かあるかも その画像をスタッフルームに転送。
c . 確実に鳩ゃゴミなど 無視。
•線路に人がいる状況判断も以下の 2種類を判断できる。
a . ホームから落ちた。
b . 線路側から歩いてきた。
'危険地域 （ホーム端ギリギリ） にいるものに対して警告できる。 a . 人には音声で警告。 動かなかったら画像を転送。
b . 荷物の場合も画像を転送。
ここで使う情報はグレ一画像から得られる時系列距離情報のみ。
2 . 人の動きの追跡：距離情報を静止画で、 また同時にテクスチャ情報 （カラ —画像） を利用して追跡する。
-人が混雑している状況でも間違えないでリアルタイムで動線管理できる。 •テクスチャを位置、 回転に対して対応できる高次局所自己相関特徴でも追跡 するので、 距離とテクスチャ両方でより正確にできる。
•人を追いかける範囲を混雑状況に応じて動的に変化させるので、 ビデオレー トで実現できる。
•距離情報とテクスチャ情報を両方使うので、 人が交差したときに正確に人の 軌跡を判断する交差判定もより正確にできる。 産業上の利用可能性
以上述べたように、 本発明の装置によれば、 駅の線路側ホーム端において複数 のステレオカメラにより該ホーム端を撮像し、 ホーム端にいる人を距離情報とテ クスチヤ情報によって識別しながらホーム端上の位置を特定することにより、 線 路側ホーム端における人の線路転落の確実な検知、 およぴ複数の人の識別とその 全行動ログの取得する駅ホームにおける、より確実な安全監視装置を提供できる。 また、 上記構成において、 人間のホームなどの空間における動線のログを取得 して保存する手段を備えること、 またさらに、 前記各ステレオカメラからの画像 情報に基づき認識対象を抽出する手段が、 高次局所自己相闋を用いた高解像度画 像での認識を行うことを用いることにより、 上記識別を確実なものとすることが できる。
また、 上記構成において、 前記距離情報と画像情報両方から対象を認識する手 段が、高さの異なる複数のマスク上の重心情報から人と他のものを識別すること、 および、 上記構成において、 ホーム端の前記距離情報と画像情報を取得し、 線路 範囲上方における画像情報の検知および該画像情報の距離情報から、 人の落下も しくは人等のホーム外への突出を識別し、 警報を出すことにより、 より安全度の 高い、 確実な駅ホームにおける安全監視装置が提供できる。

Claims

請求の範囲
1 . 駅の線路側ホーム端において複数のステレオカメラにより該ホーム端を 撮像し、 各ステレオカメラ単位で視野内の撮像画像とホームの座標系に基づいた 距離情報に基づく画像情報を生成する画像処理手段と、 前記各ステレオカメラか らの距離情報と画像情報に基づき対象を認識する手段と、 認識された対象の状態 から安全を確認する手段とからなることを特徴とする駅ホームにおける安全監視
2 . さらに、 人間のホームなどの空間における動線のログを取得して保存す る手段を備えることを特徴とする請求の範囲第 1項記載の駅ホームにおける安全 監視装置。
3 . 前記各ステレオカメラからの距離情報と画像情報に基づき対象を認識す る手段が、 高次局所自己相関特徴を用いた認識を行うことを特徴とする請求の範 囲第 1項記載の駅ホームにおける安全監視装置。
4 . 前記距離情報と画像情報から対象を認識する手段が、 高さの異なる複数 のマスク上の重心情報から人と他のものを識別することを特徴とする請求の範囲 第 1項記載の駅ホームにおける安全監視装置。
5 . 安全を確認する手段がホーム端の前記距離情報と画像情報を取得し、 線 路範囲情報における画像情報の検知および該画像情報の距離情報から、 人の落下 もしくは人等のホーム外への突出を識別し、 警報を出すことを特徴とする請求の 範囲第 1項記載の駅ホームにおける安全監視装置。
6 . 前記高次局所自己相関特徴が所定の範囲の所定の箇所に存在する前後の 時系列の距離情報を同一人と同定するために用いられることを特徴とする請求の 範囲第 1項記載の駅ホームにおける安全監視装置。
7 . 前記所定の箇所は所定の範囲内を複数のプロックに分けたものであり、 前記時系列の次の距離情報の探索が上記複数のプロックの内の複数個を単位とし て前記高次局所自己相関特徴を計算することにより行われることを特徴とする請 求の範囲第 6項記載の駅ホームにおける安全監視装置。
PCT/JP2003/009378 2002-07-25 2003-07-24 駅ホームにおける安全監視装置 WO2004011314A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
AU2003281690A AU2003281690A1 (en) 2002-07-25 2003-07-24 Security monitor device at station platform
US10/522,164 US7460686B2 (en) 2002-07-25 2003-07-24 Security monitor device at station platform

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002217222A JP3785456B2 (ja) 2002-07-25 2002-07-25 駅ホームにおける安全監視装置
JP2002-217222 2002-07-25

Publications (1)

Publication Number Publication Date
WO2004011314A1 true WO2004011314A1 (ja) 2004-02-05

Family

ID=31184602

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2003/009378 WO2004011314A1 (ja) 2002-07-25 2003-07-24 駅ホームにおける安全監視装置

Country Status (4)

Country Link
US (1) US7460686B2 (ja)
JP (1) JP3785456B2 (ja)
AU (1) AU2003281690A1 (ja)
WO (1) WO2004011314A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8107679B2 (en) 2005-09-29 2012-01-31 Yamaguchi Cinema Co., Ltd. Horse position information analyzing and displaying method
CN107144887A (zh) * 2017-03-14 2017-09-08 浙江大学 一种基于机器视觉的轨道异物入侵监测方法

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3785456B2 (ja) * 2002-07-25 2006-06-14 独立行政法人産業技術総合研究所 駅ホームにおける安全監視装置
JP4574307B2 (ja) * 2004-09-27 2010-11-04 三菱電機株式会社 可動式ホーム柵システム
JP4606891B2 (ja) * 2005-01-31 2011-01-05 三菱電機株式会社 プラットホームドア状態監視システム
US7613324B2 (en) * 2005-06-24 2009-11-03 ObjectVideo, Inc Detection of change in posture in video
ITRM20050381A1 (it) * 2005-07-18 2007-01-19 Consiglio Nazionale Ricerche Metodo e sistema automatico di ispezione visuale di una infrastruttura.
JP4691708B2 (ja) * 2006-03-30 2011-06-01 独立行政法人産業技術総合研究所 ステレオカメラを用いた白杖使用者検出システム
JP4706535B2 (ja) * 2006-03-30 2011-06-22 株式会社日立製作所 複数カメラを用いた移動物体監視装置
US8189962B2 (en) * 2006-12-19 2012-05-29 Hitachi Kokusai Electric Inc. Image processing apparatus
US20080273754A1 (en) * 2007-05-04 2008-11-06 Leviton Manufacturing Co., Inc. Apparatus and method for defining an area of interest for image sensing
US7929804B2 (en) * 2007-10-03 2011-04-19 Mitsubishi Electric Research Laboratories, Inc. System and method for tracking objects with a synthetic aperture
JP2009211311A (ja) * 2008-03-03 2009-09-17 Canon Inc 画像処理装置及び方法
KR100998339B1 (ko) 2009-06-30 2010-12-03 (주)에이알텍 선로 감시 시스템
DE102009057583A1 (de) * 2009-09-04 2011-03-10 Siemens Aktiengesellschaft Vorrichtung und Verfahren zur Erzeugung einer zielgerichteten realitätsnahen Bewegung von Teilchen entlang kürzester Wege bezüglich beliebiger Abstandsgewichtungen für Personen- und Objektstromsimulationen
JP4975835B2 (ja) * 2010-02-17 2012-07-11 東芝テック株式会社 動線連結装置及び動線連結プログラム
JP2011170564A (ja) * 2010-02-17 2011-09-01 Toshiba Tec Corp 動線連結方法，装置及び動線連結プログラム
JP5037643B2 (ja) * 2010-03-23 2012-10-03 東芝テック株式会社 動線認識システム
JP5508963B2 (ja) * 2010-07-05 2014-06-04 サクサ株式会社 駅ホームの監視カメラシステム
JP5825641B2 (ja) 2010-07-23 2015-12-02 国立研究開発法人産業技術総合研究所 病理組織画像の特徴抽出システム及び病理組織画像の特徴抽出方法
JP5647458B2 (ja) * 2010-08-06 2014-12-24 日本信号株式会社 ホーム転落検知システム
JP5597057B2 (ja) * 2010-08-06 2014-10-01 日本信号株式会社 ホームでの旅客引きずり検知システム
JP5631120B2 (ja) * 2010-08-26 2014-11-26 東海旅客鉄道株式会社 物体検知システム及び方法
US9204823B2 (en) 2010-09-23 2015-12-08 Stryker Corporation Video monitoring system
EP2541506A1 (en) * 2011-06-27 2013-01-02 Siemens S.A.S. Method and system for managing a flow of passengers on a platform
US9600744B2 (en) * 2012-04-24 2017-03-21 Stmicroelectronics S.R.L. Adaptive interest rate control for visual search
CN103871042B (zh) * 2012-12-12 2016-12-07 株式会社理光 基于视差图的视差方向上连续型物体检测方法和装置
JP6476945B2 (ja) * 2015-02-09 2019-03-06 サクサ株式会社 画像処理装置
JP6471541B2 (ja) * 2015-03-05 2019-02-20 サクサ株式会社 画像処理装置
JP6598480B2 (ja) * 2015-03-24 2019-10-30 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP6624816B2 (ja) * 2015-06-08 2019-12-25 京王電鉄株式会社 ホーム安全柵組み込み式監視台装置
DE102016216320A1 (de) * 2016-08-30 2018-03-01 Siemens Aktiengesellschaft Überwachung von streckengebundenen Transportsystemen
EP3523176A1 (de) * 2016-12-07 2019-08-14 Siemens Mobility GmbH Verfahren, vorrichtung und bahnfahrzeug, insbesondere schienenfahrzeug, zur gefahrensituationserkennung im bahnverkehr, insbesondere im schienenverkehr
JP6829165B2 (ja) * 2017-08-24 2021-02-10 株式会社日立国際電気 監視システム及び監視方法
WO2019077750A1 (ja) * 2017-10-20 2019-04-25 三菱電機株式会社 データ処理装置、プログラマブル表示器およびデータ処理方法
JP2019217902A (ja) * 2018-06-20 2019-12-26 株式会社東芝 通知制御装置
TWI684960B (zh) * 2018-12-27 2020-02-11 高雄捷運股份有限公司 月台軌道區侵入警報系統
JP7368092B2 (ja) * 2019-03-19 2023-10-24 パナソニックホールディングス株式会社 事故検出装置、及び、事故検出方法
WO2021059385A1 (ja) * 2019-09-25 2021-04-01 株式会社日立国際電気 空間検知システム、および空間検知方法
DE102020201309A1 (de) * 2020-02-04 2021-08-05 Siemens Mobility GmbH Verfahren und System zur Überwachung eines Transportmittelumfelds
CN114842560B (zh) * 2022-07-04 2022-09-20 广东瑞恩科技有限公司 基于计算机视觉的建筑工地人员危险行为识别方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0773388A (ja) * 1993-05-03 1995-03-17 Philips Electron Nv 監視システム及び監視システム用回路装置
JPH0997337A (ja) * 1995-09-29 1997-04-08 Fuji Heavy Ind Ltd 侵入物監視装置
JPH10304346A (ja) * 1997-04-24 1998-11-13 East Japan Railway Co 安全確認用ｉｔｖシステム
JPH10341427A (ja) * 1997-06-05 1998-12-22 Sanyo Electric Co Ltd 自動警報システム
JP2001134761A (ja) * 1999-11-04 2001-05-18 Nippon Telegr & Teleph Corp <Ntt> 動画像内被写体の関連アクション提供方法および装置並びにこの方法のプログラムを記録した記録媒体
JP2001143184A (ja) * 1999-11-09 2001-05-25 Katsuyoshi Hirano 移動体の移動履歴を解析集計するシステム
JP2003246268A (ja) * 2002-02-22 2003-09-02 East Japan Railway Co ホーム転落者検知方法及び装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4695959A (en) * 1984-04-06 1987-09-22 Honeywell Inc. Passive range measurement apparatus and method
US4924506A (en) * 1986-07-22 1990-05-08 Schlumberger Systems & Services, Inc. Method for directly measuring area and volume using binocular stereo vision
US4893183A (en) * 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
US5176082A (en) * 1991-04-18 1993-01-05 Chun Joong H Subway passenger loading control system
EP0532052B1 (en) * 1991-09-12 2008-02-13 FUJIFILM Corporation Method for extracting object images and method for detecting movements thereof
US5592228A (en) * 1993-03-04 1997-01-07 Kabushiki Kaisha Toshiba Video encoder using global motion estimation and polygonal patch motion estimation
US6167143A (en) * 1993-05-03 2000-12-26 U.S. Philips Corporation Monitoring system
JPH07228250A (ja) * 1994-02-21 1995-08-29 Teito Kousokudo Kotsu Eidan 軌道内監視装置及びプラットホーム監視装置
JPH0993565A (ja) * 1995-09-20 1997-04-04 Fujitsu General Ltd 乗降客の安全監視装置
US5933082A (en) * 1995-09-26 1999-08-03 The Johns Hopkins University Passive alarm system for blind and visually impaired individuals
JPH09193803A (ja) * 1996-01-19 1997-07-29 Furukawa Electric Co Ltd:The プラットホーム付近の安全監視方法
US5838238A (en) * 1996-03-13 1998-11-17 The Johns Hopkins University Alarm system for blind and visually impaired individuals
US6064749A (en) * 1996-08-02 2000-05-16 Hirota; Gentaro Hybrid tracking for augmented reality using both camera motion detection and landmark tracking
US6188777B1 (en) * 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
JP3506934B2 (ja) * 1998-12-11 2004-03-15 株式会社メガチップス 監視装置及び監視システム
JP4861574B2 (ja) * 2001-03-28 2012-01-25 パナソニック株式会社 運転支援装置
JP3785456B2 (ja) * 2002-07-25 2006-06-14 独立行政法人産業技術総合研究所 駅ホームにおける安全監視装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0773388A (ja) * 1993-05-03 1995-03-17 Philips Electron Nv 監視システム及び監視システム用回路装置
JPH0997337A (ja) * 1995-09-29 1997-04-08 Fuji Heavy Ind Ltd 侵入物監視装置
JPH10304346A (ja) * 1997-04-24 1998-11-13 East Japan Railway Co 安全確認用ｉｔｖシステム
JPH10341427A (ja) * 1997-06-05 1998-12-22 Sanyo Electric Co Ltd 自動警報システム
JP2001134761A (ja) * 1999-11-04 2001-05-18 Nippon Telegr & Teleph Corp <Ntt> 動画像内被写体の関連アクション提供方法および装置並びにこの方法のプログラムを記録した記録媒体
JP2001143184A (ja) * 1999-11-09 2001-05-25 Katsuyoshi Hirano 移動体の移動履歴を解析集計するシステム
JP2003246268A (ja) * 2002-02-22 2003-09-02 East Japan Railway Co ホーム転落者検知方法及び装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8107679B2 (en) 2005-09-29 2012-01-31 Yamaguchi Cinema Co., Ltd. Horse position information analyzing and displaying method
CN107144887A (zh) * 2017-03-14 2017-09-08 浙江大学 一种基于机器视觉的轨道异物入侵监测方法
CN107144887B (zh) * 2017-03-14 2018-12-25 浙江大学 一种基于机器视觉的轨道异物入侵监测方法

Also Published As

Publication number Publication date
US20060056654A1 (en) 2006-03-16
JP2004058737A (ja) 2004-02-26
US7460686B2 (en) 2008-12-02
AU2003281690A1 (en) 2004-02-16
JP3785456B2 (ja) 2006-06-14

Similar Documents

Publication Publication Date Title
WO2004011314A1 (ja) 駅ホームにおける安全監視装置
JP4970195B2 (ja) 人物追跡システム、人物追跡装置および人物追跡プログラム
US8655078B2 (en) Situation determining apparatus, situation determining method, situation determining program, abnormality determining apparatus, abnormality determining method, abnormality determining program, and congestion estimating apparatus
Navarro-Serment et al. Pedestrian detection and tracking using three-dimensional ladar data
KR101839827B1 (ko) 원거리 동적 객체에 대한 얼굴 특징정보(연령, 성별, 착용된 도구, 얼굴안면식별)의 인식 기법이 적용된 지능형 감시시스템
US5757287A (en) Object recognition system and abnormality detection system using image processing
KR101788269B1 (ko) 이상 상황을 감지하는 장치 및 방법
JP2002024986A (ja) 歩行者検出装置
Volkhardt et al. Fallen person detection for mobile robots using 3D depth data
CN111814635A (zh) 基于深度学习的烟火识别模型建立方法和烟火识别方法
Snidaro et al. Automatic camera selection and fusion for outdoor surveillance under changing weather conditions
CN115346256A (zh) 机器人寻人方法及系统
Jalalat et al. Vehicle detection and speed estimation using cascade classifier and sub-pixel stereo matching
JP4056813B2 (ja) 障害物検知装置
JPH11257931A (ja) 物体認識装置
JPH10255057A (ja) 移動物体抽出装置
KR101560810B1 (ko) 템플릿 영상을 이용한 공간 관리 방법 및 장치
Lee et al. independent object detection based on two-dimensional contours and three-dimensional sizes
Ling et al. A multi-pedestrian detection and counting system using fusion of stereo camera and laser scanner
JP6851246B2 (ja) 物体検出装置
KR101355206B1 (ko) 영상분석을 이용한 출입 계수시스템 및 그 방법
JP2003162710A (ja) 移動物体の認識装置及び認識方法
CN103442218B (zh) 一种多模式行为识别与描述的视频信号预处理方法
KR102525153B1 (ko) Cctv 카메라 영상을 활용한 주차현황분석 시스템 및 그 방법
KR102161342B1 (ko) 스트림 리즈닝 그룹이탈 감시 시스템

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
122 Ep: pct application non-entry in european phase
ENP Entry into the national phase

Ref document number: 2006056654

Country of ref document: US

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 10522164

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 10522164

Country of ref document: US