JPH1163986A - System for tracking moving/stationary object, recording medium recording software realizing the same, and device for realizing this method - Google Patents
System for tracking moving/stationary object, recording medium recording software realizing the same, and device for realizing this methodInfo
- Publication number
- JPH1163986A JPH1163986A JP9220284A JP22028497A JPH1163986A JP H1163986 A JPH1163986 A JP H1163986A JP 9220284 A JP9220284 A JP 9220284A JP 22028497 A JP22028497 A JP 22028497A JP H1163986 A JPH1163986 A JP H1163986A
- Authority
- JP
- Japan
- Prior art keywords
- pattern
- realizing
- floor
- ground
- moving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
Description
【0001】[0001]
【発明の属する技術分野】本発明は、移動・静止物体追
跡方式に関する。詳しくは、道路や建物内の移動物体や
静止物体を非接触で追跡する画像処理技術の一つである
ステレオ計測とパタンマッチング技術を使用して、移動
物体や静止物体を追跡するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a moving / stationary object tracking system. More specifically, a moving object or a stationary object is tracked using stereo measurement and pattern matching technology, which are one of image processing techniques for tracking a moving object or a stationary object in a road or a building without contact.
【0002】[0002]
【従来の技術】移動物体や静止物体を非接触で追跡する
技術として、レーザ、赤外線センサ、紫外線センサ、画
像処理技術がある。レーザ、赤外線センサ、紫外線セン
サは、能動的に物体に照射し、その反射波で物体を検出
するセンサ技術であり、従来より単純な検出用途で利用
されている。2. Description of the Related Art There are laser, infrared sensor, ultraviolet sensor, and image processing technology as a technology for tracking a moving object or a stationary object in a non-contact manner. A laser, an infrared sensor, and an ultraviolet sensor are sensor technologies for actively irradiating an object and detecting the object with its reflected wave, and have been used for simpler detection applications than before.
【0003】画像処理技術は、CCDカメラなどで物体
の画像を単位時間おきにサンプリングし、その画像列か
ら物体の有無、位置、移動速度等を検出する技術であ
る。なかでもパタンマッチングやオプティカルフロー技
術や時空間画像処理技術などがある。The image processing technique is a technique in which an image of an object is sampled every unit time by a CCD camera or the like, and the presence / absence, position, moving speed, and the like of the object are detected from the image sequence. Among them, there are pattern matching, optical flow technology, spatiotemporal image processing technology, and the like.
【0004】[0004]
【発明が解決しようとする課題】レーザ、赤外線セン
サ、紫外線センサは、木の葉の揺れや雨などの影響を受
ける問題と、反射波が回折、乱反射する問題がある。ま
た、レーザは特に安全対策が必要である。更に、パタン
マッチング技術は物体を高速に追跡てきるが、外乱に弱
いこと、既知の物体しか追跡できない間題がある。The laser, the infrared sensor, and the ultraviolet sensor have a problem that they are affected by swaying of leaves and rain, and a problem that a reflected wave is diffracted and irregularly reflected. In addition, lasers require special safety measures. Furthermore, although the pattern matching technique tracks an object at high speed, it has a problem that it is vulnerable to disturbance and can only track a known object.
【0005】一方、オプティカルフロー技術は、パタン
マッチング技術や時空画像処理技術に比べると外乱に強
いが、基本的に移動物体しか追跡できない欠点がる。さ
らに木洩れ日の中を移動する物体のように、一瞬の間に
まだら模様が物体に現れたり消滅する状態での追跡と、
表面状態が変化する物体の追跡は困難である。On the other hand, the optical flow technique is more resistant to disturbance than the pattern matching technique and the spatio-temporal image processing technique, but has a drawback that basically only a moving object can be tracked. Furthermore, tracking in a state where mottled patterns appear or disappear on an object in an instant, such as an object moving in a tree leakage day,
Tracking an object whose surface condition changes is difficult.
【0006】[0006]
【課題を解決するための手段】上記課題を解決する請求
項1に係る発明は、先ず、物体のパタンを登録し、次
に、パタンマッチングで画像とパタンの相関値が高い位
置を求め、引き続き、相関値が高い近傍をステレオ計測
し床面や地面から高くなっていないかを計測し、相関値
が高く、かつ、床面や地面より高くなっていれば物体と
することを特徴とする移動・静止物体追跡方式及びこれ
を実現するソフトウェアを記録したフロッピーディス
ク、CD−ROM等の記録媒体並びにこの方法を実現す
る装置である。According to a first aspect of the present invention, a pattern of an object is first registered, and then a position having a high correlation value between the image and the pattern is obtained by pattern matching. Movement characterized by measuring stereoscopically in the vicinity of a high correlation value and measuring whether it is higher than the floor or the ground, and if the correlation value is higher and higher than the floor or the ground, the movement is characterized by A recording medium such as a floppy disk or a CD-ROM in which a stationary object tracking method and software for realizing the method are recorded, and an apparatus for realizing this method.
【0007】上記課題を解決する請求項2に係る発明
は、請求項1記載の物体のパタンを登録する方法とし
て、予め画像中に計測開始線を設定し、該計測開始線上
の濃淡値又は色情報の時間的な変化を計測し、その後、
計測開始線上をステレオ計測し、引き続き、計測開始線
上の濃淡値又は色情報の時間的な変化が大きく、かつ、
床面や地面より高くなっていればパタンに登録すること
を特徴とする移動・静止物体追跡方式及びこれを実現す
るソフトウェアを記録したフロッピーディスク、CD−
ROM等の記録媒体並びにこの方法を実現する装置であ
る。According to a second aspect of the present invention, there is provided a method for registering a pattern of an object according to the first aspect, wherein a measurement start line is set in an image in advance, and a gradation value or a color on the measurement start line is set. Measure the temporal change of information, and then
Stereo measurement is performed on the measurement start line, and then the temporal change of the gray value or color information on the measurement start line is large, and
A moving / stationary object tracking method characterized by registering a pattern if it is higher than the floor or the ground, and a floppy disk or CD-ROM on which software for realizing this is recorded.
It is a recording medium such as a ROM and an apparatus for implementing this method.
【0008】上記課題を解決する請求項3に係る発明
は、請求項1記載の物体のパタンを登録する方法とし
て、予め画像中に計測領域を設定し、該計測領域をステ
レオ計測し、床面や地面から高くなっていればパタンに
登録することを特徴とする移動・静止物体追跡方式及び
これを実現するソフトウェアを記録したフロッピーディ
スク、CD−ROM等の記録媒体並びにこの方法を実現
する装置である。According to a third aspect of the present invention, there is provided a method for registering an object pattern according to the first aspect, wherein a measurement area is set in an image in advance, the measurement area is stereo-measured, and a floor surface is measured. And a moving / stationary object tracking method characterized in that it is registered in a pattern if it is higher than the ground, a recording medium such as a floppy disk or a CD-ROM in which software for realizing this is recorded, and an apparatus for realizing this method. is there.
【0009】上記課題を解決する請求項4に係る発明
は、請求項1において、登録されるパタンの座標を、計
測された物体の座標位置と観察位置の相対的な関係に基
づいて校正することを特徴とする移動・静止物体追跡方
式及びこれを実現するソフトウェアを記録したフロッピ
ーディスク、CD−ROM等の記録媒体並びにこの方法
を実現する装置である。According to a fourth aspect of the present invention to solve the above-mentioned problem, in the first aspect, the coordinates of the registered pattern are calibrated based on a relative relationship between the measured coordinate position of the object and the observation position. And a recording medium such as a floppy disk or a CD-ROM in which software for realizing the moving / stationary object tracking method is recorded, and an apparatus for realizing this method.
【0010】[0010]
【発明の実施の形態】 (1)基本的な考え方 本発明は、パタンマッチングとステレオ計測を組み合わ
せて移動物体や静止物体を追跡するものである。DESCRIPTION OF THE PREFERRED EMBODIMENTS (1) Basic Concept The present invention tracks a moving object or a stationary object by combining pattern matching and stereo measurement.
【0011】即ち、本発明は、図1に示すフローチャー
トに従い、以下の手順により物体を追跡する。先ず、物
体のパタンを登録する(ステップS1)。次に、パタン
マッチングで画像とパタンの相関値が高い位置を求める
(ステップS2)。That is, according to the present invention, an object is tracked according to the following procedure in accordance with the flowchart shown in FIG. First, a pattern of an object is registered (step S1). Next, a position where the correlation value between the image and the pattern is high is determined by pattern matching (step S2).
【0012】引き続き、相関値が高い近傍をステレオ計
測し床面や地面から高くなっていないかを計測する(ス
テップS3)。その後、相関値が高く、かつ、床面や地
面より高くなっていれば物体とする(ステップS4)。
更に、物体の移動速度を求める(ステップS5)。この
ように本発明では、パタンマッチングとステレオ計測の
組合せによって、外乱に強くなる利点と未知の物体を高
速に追跡できる利点がある。Subsequently, the vicinity where the correlation value is high is measured in stereo to determine whether it is higher than the floor or the ground (step S3). Thereafter, if the correlation value is high and higher than the floor or the ground, the object is determined as an object (step S4).
Further, the moving speed of the object is obtained (step S5). As described above, according to the present invention, there is an advantage that the combination of the pattern matching and the stereo measurement is strong against disturbance and an unknown object can be tracked at high speed.
【0013】(2)パタンの登録方法(その1) 未知の物体追跡には物体のパタン登録が必要である。そ
こで、本発明では、図3に示すように、床面上を移動す
る物体1が計測線上2を横切ったときパタンを登録する
ものである。(2) Pattern Registration Method (Part 1) To register an unknown object, it is necessary to register the pattern of the object. Therefore, in the present invention, as shown in FIG. 3, a pattern is registered when an object 1 moving on the floor surface crosses a measurement line 2.
【0014】即ち、この方法は、図2に示すフローチャ
ートに従い、以下の手順によりパタンを登録する。尚、
図3に示すように、予めオペレータが画像中に計測開始
線2を設定しておく。That is, this method registers a pattern according to the following procedure in accordance with the flowchart shown in FIG. still,
As shown in FIG. 3, the operator sets measurement start line 2 in an image in advance.
【0015】先ず、計測開始線2上の濃淡値又は色情報
の時間的な変化を計測する(ステップT1)。次に、計
測開始線2上をステレオ計測し、床面や地面から高くな
っているかを計測する(ステップT2)。引き続き、計
測開始線上の濃淡値又は色情報の時間的な変化が大き
く、かつ、床面や地面より高くなっていれば、物体が計
測線2上を横切ったとしてパタンに登録する(ステップ
T3)。このように本発明では、床面上を移動する物体
1が計測線上2を横切ったときパタンを登録するので、
未知の物体の検出とパタン登録ができる利点がある。First, a time-dependent change in the gray value or color information on the measurement start line 2 is measured (step T1). Next, stereo measurement is performed on the measurement start line 2 to determine whether the height is higher than the floor or the ground (step T2). Subsequently, if the temporal change of the gray value or color information on the measurement start line is large and higher than the floor or the ground, the object is registered in the pattern as having crossed the measurement line 2 (step T3). . As described above, according to the present invention, the pattern is registered when the object 1 moving on the floor surface crosses the measurement line 2.
There is an advantage that an unknown object can be detected and a pattern can be registered.
【0016】(3)パタンの登録方法(その2) 未知の静止物体を追跡するには、物体のパタン登録が必
要である。そこで、本発明では、図4に示すように、予
めオペレータが設定した計測領域3において床面や地面
より高くなっている箇所を物体であるとしてパタンに登
録するものである。(3) Pattern Registration Method (Part 2) In order to track an unknown stationary object, it is necessary to register the pattern of the object. Therefore, in the present invention, as shown in FIG. 4, a portion that is higher than the floor or the ground in the measurement area 3 set in advance by the operator is registered in the pattern as an object.
【0017】即ち、この方法は、図4に示すフローチャ
ートに従い、以下の手順によりパタンを登録する。尚、
図5に示すように、予めオペレータが図像中に計測領域
3を設定しておく。先ず、計測領域をステレオ計測し
(ステップU1)、次に、床面や地面より高くなってい
る箇所を物体であるとしてパタンに登録する(ステップ
U2)。このように本発明では、予め設定した計測領域
3において床面や地面より高くなっている箇所をパタン
を登録するので、未知の静止物体の検出とパタン登録が
できる利点がある。That is, in this method, a pattern is registered according to the following procedure in accordance with the flowchart shown in FIG. still,
As shown in FIG. 5, the operator previously sets the measurement area 3 in the image. First, the measurement area is stereo-measured (step U1), and then a part that is higher than the floor or the ground is registered as a pattern in the pattern (step U2). As described above, according to the present invention, since the pattern is registered at a position higher than the floor or the ground in the measurement area 3 set in advance, there is an advantage that an unknown stationary object can be detected and the pattern can be registered.
【0018】(4)パタン校正方法 図3、図5に示すように、物体は手前にあると大きく見
え、奥にあると小さく見えるので、パタン座標の校正が
必要である。そこで、カメラ姿勢、焦点距離に基づい
て、以下の手順によりパタン座標を校正する。(4) Pattern Calibration Method As shown in FIGS. 3 and 5, an object looks large when it is in front and small when it is in the back. Therefore, it is necessary to calibrate the pattern coordinates. Therefore, the pattern coordinates are calibrated by the following procedure based on the camera posture and the focal length.
【0019】先ず、予め設定した6点から校正値を決定
する。6点は図6に示すようにパタン登録された座標
(x1,y1,z1),(x2,y 2,z2),(x3,y3,
z3)と、登録した位置より移動した任意の床面上の点
(x4,y4,z4)を設定し、下式からそれぞれの画像
上の座標(u1,v1),(u2,v2),(u3,v3),
(u4,v4),(u5,v5),(u6,v6)を求める。First, a calibration value is determined from six preset points.
I do. Six points are the coordinates registered in the pattern as shown in FIG.
(X1, Y1, Z1), (XTwo, Y Two, ZTwo), (XThree, YThree,
zThree) And any point on the floor that has moved from the registered position
(XFour, YFour, ZFour) And set each image from the following formula
The upper coordinate (u1, V1), (UTwo, VTwo), (UThree, VThree),
(UFour, VFour), (UFive, VFive), (U6, V6).
【0020】[0020]
【数1】 (Equation 1)
【0021】尚、数1においては、座標の添字1〜3は
省略した。次に、図7に示すブロック図から参照する画
像の座標(u,v)を(u′,v′)に校正する。In Equation 1, the subscripts 1 to 3 of the coordinates are omitted. Next, the coordinates (u, v) of the image referred to from the block diagram shown in FIG. 7 are calibrated to (u ′, v ′).
【0022】このように発明は、移動物体或いは静止物
体を追跡するものであり、しかも、受動的な追跡方式で
あるため物体に影響を及ぼさない。また、安全確保が不
要である。As described above, the present invention tracks a moving object or a stationary object, and does not affect the object because it is a passive tracking method. Also, it is not necessary to ensure safety.
【0023】更に、ステレオ計測を使用するため、一瞬
の間に表面状態が変化する物体も追跡できる。特に、単
一画像処理に比べて外乱に強いため、MPEGなどの簡
略化画像や劣化画像でも追跡できる。Further, since the stereo measurement is used, an object whose surface condition changes in an instant can be tracked. In particular, since it is more resistant to disturbance than single image processing, it is possible to track even a simplified image such as MPEG or a deteriorated image.
【0024】[0024]
【発明の効果】以上、具体的に説明したように、本発明
は移動/静止物体を追跡するものであり以下の効果を奏
する。 (1)受動的な追跡方式であるため物体に影響を及ぼさ
ない。また安全確保が不要である。 (2)ステレオ計測を使用するため、一瞬の間に表面状
態が変化する物体も追跡できる。 (3)単一画像処理に比べて外乱に強いため、MPEG
などの簡略化画像や劣化画像でも追跡できる。As described above, the present invention is for tracking a moving / stationary object, and has the following effects. (1) Since it is a passive tracking method, it does not affect the object. Also, it is not necessary to ensure safety. (2) Since the stereo measurement is used, an object whose surface state changes in an instant can be tracked. (3) Since it is more resistant to disturbance than single image processing, MPEG
It is possible to track even a simplified image or a deteriorated image.
【図1】本発明における移動・静止物体追跡方式を示す
フローチャートである。FIG. 1 is a flowchart showing a moving / stationary object tracking method according to the present invention.
【図2】本発明における移動・静止物体追跡方式におけ
るパタン登録(その1)を示すフローチャートである。FIG. 2 is a flowchart showing pattern registration (part 1) in the moving / still object tracking method according to the present invention.
【図3】本発明における移動・静止物体追跡方式におけ
るパタン登録(その1)を示す画像例である。FIG. 3 is an image example showing pattern registration (part 1) in the moving / still object tracking method according to the present invention.
【図4】本発明における移動・静止物体追跡方式におけ
るパタン登録(その2)を示すフローチャートである。FIG. 4 is a flowchart showing pattern registration (part 2) in the moving / still object tracking method according to the present invention.
【図5】本発明における移動・静止物体追跡方式におけ
るパタン登録(その2)を示す画像例である。FIG. 5 is an image example showing pattern registration (part 2) in the moving / still object tracking method according to the present invention.
【図6】観測される物体と観察位置の関係を示す説明図
である。FIG. 6 is an explanatory diagram showing a relationship between an observed object and an observation position.
【図7】パタン座標の校正を示すブロック図である。FIG. 7 is a block diagram showing calibration of pattern coordinates.
1 物体 2 計測開始線 3 計測領域 1 Object 2 Measurement start line 3 Measurement area
Claims (4)
タンマッチングで画像とパタンの相関値が高い位置を求
め、引き続き、相関値が高い近傍をステレオ計測し床面
や地面から高くなっていないかを計測し、相関値が高
く、かつ、床面や地面より高くなっていれば物体とする
ことを特徴とする移動・静止物体追跡方式及びこれを実
現するソフトウェアを記録した記録媒体並びにこの方法
を実現する装置。1. First, a pattern of an object is registered, a position where a correlation value between an image and a pattern is high is obtained by pattern matching, and the vicinity where the correlation value is high is stereo-measured to increase the height from the floor or the ground. A moving / stationary object tracking method characterized by being an object if the correlation value is high, and higher than the floor or the ground, and a recording medium on which software for realizing this is recorded, and An apparatus that implements this method.
方法として、予め画像中に計測開始線を設定し、該計測
開始線上の濃淡値又は色情報の時間的な変化を計測し、
その後、計測開始線上をステレオ計測し、引き続き、計
測開始線上の濃淡値又は色情報の時間的な変化が大き
く、かつ、床面や地面より高くなっていればパタンに登
録することを特徴とする移動・静止物体追跡方式及びこ
れを実現するソフトウェアを記録した記録媒体並びにこ
の方法を実現する装置。2. A method for registering a pattern of an object according to claim 1, wherein a measurement start line is set in an image in advance, and a temporal change of a gray level value or color information on the measurement start line is measured.
Thereafter, stereo measurement is performed on the measurement start line, and subsequently, if the temporal change of the grayscale value or the color information on the measurement start line is large and the height is higher than the floor or the ground, the pattern is registered in the pattern. A moving / stationary object tracking method, a recording medium on which software for realizing the method is recorded, and an apparatus for realizing the method.
方法として、予め画像中に計測領域を設定し、該計測領
域をステレオ計測し、床面や地面から高くなっていれば
パタンに登録することを特徴とする移動・静止物体追跡
方式及びこれを実現するソフトウェアを記録した記録媒
体並びにこの方法を実現する装置。3. A method for registering a pattern of an object according to claim 1, wherein a measurement area is set in an image in advance, the measurement area is stereo-measured, and if the measurement area is higher than the floor or the ground, the pattern is registered. A moving / stationary object tracking method, a recording medium on which software for realizing the method is recorded, and an apparatus for realizing the method.
座標を、計測された物体の座標位置と観察位置の相対的
な関係に基づいて校正することを特徴とする移動・静止
物体追跡方式及びこれを実現するソフトウェアを記録し
た記録媒体並びにこの方法を実現する装置。4. The moving / stationary object tracking method according to claim 1, wherein the coordinates of the registered pattern are calibrated based on a relative relationship between the measured coordinate position of the object and the observation position. A recording medium on which software for realizing this is recorded and an apparatus for realizing this method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP9220284A JPH1163986A (en) | 1997-08-15 | 1997-08-15 | System for tracking moving/stationary object, recording medium recording software realizing the same, and device for realizing this method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP9220284A JPH1163986A (en) | 1997-08-15 | 1997-08-15 | System for tracking moving/stationary object, recording medium recording software realizing the same, and device for realizing this method |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH1163986A true JPH1163986A (en) | 1999-03-05 |
Family
ID=16748769
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP9220284A Pending JPH1163986A (en) | 1997-08-15 | 1997-08-15 | System for tracking moving/stationary object, recording medium recording software realizing the same, and device for realizing this method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH1163986A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100735565B1 (en) | 2006-05-17 | 2007-07-04 | 삼성전자주식회사 | Method for detecting an object using structured light and robot using the same |
WO2020180107A1 (en) * | 2019-03-05 | 2020-09-10 | Lg Electronics Inc. | Moving robot and controlling method for the moving robot |
-
1997
- 1997-08-15 JP JP9220284A patent/JPH1163986A/en active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100735565B1 (en) | 2006-05-17 | 2007-07-04 | 삼성전자주식회사 | Method for detecting an object using structured light and robot using the same |
US7507948B2 (en) | 2006-05-17 | 2009-03-24 | Samsung Electronics Co., Ltd. | Method of detecting object using structured light and robot using the same |
WO2020180107A1 (en) * | 2019-03-05 | 2020-09-10 | Lg Electronics Inc. | Moving robot and controlling method for the moving robot |
AU2020231781B2 (en) * | 2019-03-05 | 2023-04-27 | Lg Electronics Inc. | Moving robot and controlling method for the moving robot |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11226413B2 (en) | Apparatus for acquiring 3-dimensional maps of a scene | |
US10234561B2 (en) | Specular reflection removal in time-of-flight camera apparatus | |
US7929017B2 (en) | Method and apparatus for stereo, multi-camera tracking and RF and video track fusion | |
Beder et al. | A comparison of PMD-cameras and stereo-vision for the task of surface reconstruction using patchlets | |
EP2321963B1 (en) | Scanned beam overlay projection | |
EP1643210B1 (en) | Method and apparatus for measuring shape of an object | |
JP2020531849A5 (en) | ||
JP4691701B2 (en) | Number detection device and method | |
Nair et al. | Moving obstacle detection from a navigating robot | |
Wang et al. | Detecting glass in simultaneous localisation and mapping | |
ATE514960T1 (en) | COLLISION DETECTION SYSTEM AND METHOD FOR ESTIMATING THE POSITION OF A TARGET | |
JP2009198445A (en) | Device and method for object detection | |
JP2002024986A (en) | Pedestrian detector | |
JP4069456B2 (en) | Number detection device and method | |
CN112836634A (en) | Multi-sensor information fusion gate trailing prevention method, device, equipment and medium | |
Hoegner et al. | Towards people detection from fused time-of-flight and thermal infrared images | |
Lee et al. | Nontarget-based displacement measurement using LiDAR and camera | |
JPH1144533A (en) | Preceding vehicle detector | |
JPH1163986A (en) | System for tracking moving/stationary object, recording medium recording software realizing the same, and device for realizing this method | |
Qu et al. | Vision-aided laser Doppler vibrometry for remote automatic voice detection | |
Jung et al. | Tracking multiple moving targets using a camera and laser rangefinder | |
KR101828710B1 (en) | Apparatus and method for object occlusion detection | |
JPH01315884A (en) | Pattern tracking method | |
Lueth et al. | Navigation and Routemark-Detection of the Bremen Autonomous Wheelchair | |
KR101890256B1 (en) | Space Coordinate Measurement System and Method of Space Coordinate Measurement Using the Same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050301 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050628 |