WO2007132902A1 - 物体検出装置 - Google Patents

物体検出装置 Download PDF

Info

Publication number
WO2007132902A1
WO2007132902A1 PCT/JP2007/060077 JP2007060077W WO2007132902A1 WO 2007132902 A1 WO2007132902 A1 WO 2007132902A1 JP 2007060077 W JP2007060077 W JP 2007060077W WO 2007132902 A1 WO2007132902 A1 WO 2007132902A1
Authority
WO
WIPO (PCT)
Prior art keywords
flow
optical flow
imaging means
object detection
vehicle
Prior art date
Application number
PCT/JP2007/060077
Other languages
English (en)
French (fr)
Inventor
Jun Ogata
Mutsumi Watanabe
Mamoru Sawada
Original Assignee
Kagoshima University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kagoshima University filed Critical Kagoshima University
Publication of WO2007132902A1 publication Critical patent/WO2007132902A1/ja

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Definitions

  • the present invention relates to an object detection device that detects an object based on an image captured by an imaging unit mounted on a moving body such as a vehicle, a mobile robot, or a person.
  • the situation of the movement reference plane is important as a situation to be recognized for ensuring safety of itself.
  • the situation of the movement reference plane includes the shape of the plane, the presence / absence of other moving objects, and the presence / absence of a stationary object.
  • road conditions are important for vehicles such as automobiles as a situation to be recognized for ensuring their own safety. Road conditions include the shape of roads such as curves, the presence or absence of moving objects such as other moving vehicles and pedestrians, and the presence or absence of stationary objects such as stopped vehicles.
  • Non-patent documents 4 and 5 below are known as conventional examples for obtaining an optical flow that is a movement vector on the screen.
  • Non-Patent Document 5 is called KLT (Kanade-Lucas-Tomasi) method!
  • Non-Patent Document 1 Isao Arata, Tokumi Sase, Kazunobu Umeda, "Proposal of Obstacle Avoidance Method for Moving Bot Using Small Range Image Sensor", The Japan Society of Mechanical Engineers Robotics 'Mechatronics Lecture' 0 1 1P1-N4, 2001.6.
  • Non-Patent Document 2 Kei Okada, Misaki Kaga, Masayuki Inaba, Hiroki Inoue, "3D Obstacle Avoidance for Legged Robots by Integration of Color Segmentation and Binocular Stereo” Proceedings of the 16th Robotics Conference PP 1505-1506, 1998.
  • Non-Special Reference 3 Mutsumi Watanabe, Nobuyuki Takeda, Kazunon Onoguchi, "Moving obstacle detection and recognition by optical flow patern analysis for mobilerobot, Advanced Robotics, Vol.12, No.7,8, pp.79 816, 1999.tcts
  • Non-Patent Document 4 Jianbo Shi, Carlo Tomasi: 'Good Features to Tack ", 1994 IEEE Conference on Computer Vision and Pattern Recognition (CVPR' 94), pp.593-600, 1994. ortelrt"
  • Non-Patent Document 5 Jean- Yves Bouguet: 'Pyramidal Impementation of the Lucas Kanade Feature Tacker Descripion of the algorithm, OpenCV Documentation, Microprocessor Research Labs, Intel Corporation, 1999.
  • the sensor force can also know the distance and position to the object, and the distance to the object can be obtained with high accuracy. Has been made. However, it is necessary to judge the risk level and avoidance behavior according to the object while driving, and it is desirable that the detected object can be recognized.
  • Video power A method of using stereo vision as a method for obtaining distance information is used for object recognition in a landscape.
  • this method can only process the overlapping part of two camera images arranged at a certain distance, and the field of view is narrowed. For this reason, a portion close to the camera cannot have a common field of view and therefore cannot be processed.
  • a single camera can process an approaching object that may collide. It is considered appropriate.
  • An object of the present invention is to provide an object detection device that can accurately detect a stationary object in light of the problems of the conventional example.
  • the present invention provides an object detection apparatus for detecting an object based on an image captured by an imaging means installed on a moving body.
  • the first optical flow of the screen assumed in a standard environment
  • Second optical flow generation means for generating a second optical flow based on an image captured by the imaging means
  • Object detection means for detecting an object based on the difference between the generated first and second optical flows
  • the object is detected based on the difference between the first optical flow of the virtual image that does not include the object and the second optical flow of the captured real image, so that the stationary object can be accurately detected.
  • the first optical flow generation means includes
  • the feature points are arranged on the reference plane in the virtual space,
  • the moving body is a vehicle
  • the first optical flow generation means includes:
  • the height of the imaging means from the road surface, the focal length of the imaging means, the inclination of the imaging means with respect to the horizontal plane, the distance between the front and rear wheels of the vehicle, and the distance between the right wheel and the left wheel of the vehicle By setting the five fixed parameters, feature points are placed on the road surface in the virtual space.
  • the moving speed of the vehicle and the inclination angle of the front wheel with respect to the longitudinal direction of the vehicle body are received as variable parameters at predetermined time intervals, the coordinates of the feature points are changed, and the previous feature point and the current feature point are respectively changed to the first feature point. It is generated as the start point and end point of the optical flow.
  • the object detection unit divides the screen imaged by the imaging unit for each region, sets a representative flow of the first optical flow for each region, and generates the generated second Of the optical flows, a flow larger than the representative flow is determined as an object.
  • the object detection means sets the divided region by using the screen imaged by the imaging means and information on the start point and end point of the optical flow obtained when the first optical flow is generated. It is characterized by.
  • the object detection means determines a block in which the number of flows determined to be the object exceeds a threshold value as an object block.
  • the object is detected based on the difference between the first optical flow of the virtual image that does not include the object and the second optical flow of the captured real image. It can be detected accurately.
  • FIG. 1 is a block diagram showing an embodiment of an object detection device according to the present invention.
  • FIG. 2 is a flowchart for explaining processing of the object detection device of FIG.
  • FIG. 3 is an explanatory diagram showing screen projection calculation at the time of generating a normative flow.
  • FIG. 4 is an explanatory diagram showing environment point setting when generating a normative flow.
  • FIG. 5 is an explanatory diagram showing the projection point arrangement when the camera is tilted when generating the normative flow.
  • FIG. 6 is an explanatory diagram showing a projected point arrangement at the time of curve when generating a normative flow.
  • FIG. 7 is an explanatory diagram showing calculation of a turning radius at the time of curve when generating a reference flow.
  • FIG. 8 is an explanatory diagram showing calculation of the central angle for moving the projection point at the time of curve when generating the normative flow.
  • FIG. 9 is an explanatory diagram showing an example of a normative flow.
  • FIG. 10 is an explanatory diagram showing an example of a flow generated from a real image cover.
  • FIG. 11 is an explanatory view showing a display example of an object detection image.
  • FIG. 12 is an explanatory diagram showing an example of equal area division.
  • FIG. 13 is an explanatory diagram showing an example of region division in which the start point and end point of the normative flow are diagonal positions of the block.
  • FIG. 14 is an explanatory diagram showing an example of area division in which the horizontal width is a fixed width (constant), and the center of gravity of the block overlaps the midpoint of the normative flow.
  • FIG. 1 is a block diagram showing an embodiment of an object detection apparatus according to the present invention
  • FIG. 2 is a flowchart for explaining processing of the object detection apparatus of FIG.
  • a concept of “normative flow” is proposed as an alternative method to the conventional method.
  • the optical flow at each location in the image which is predicted from the standard environment and the standard movement state, is obtained by calculation, and this is used as the reference flow (first optical flow).
  • an object is detected by detecting a difference from the optical flow (second optical flow, observation flow) of the actual image obtained by moving image processing.
  • FIG. 1 shows an object detection device mounted on a vehicle as an example of a moving body to be mounted.
  • a vehicle information acquisition unit 1 that is a movement information acquisition unit acquires travel information of a vehicle in which an image capturing unit 3 is installed, and a normative flow generation unit (first optical flow generation unit) 2 Is based on the installation state of the image pickup means 3 and the vehicle travel information from the vehicle information acquisition means 1, and the standard screen flow (first optical flow) assumed in a standard environment where no object exists.
  • the observation flow generation means (second optical flow generation means) 4 generates an observation flow (second optical flow) based on the image from the image pickup means 3, and compares and collates (object detection means).
  • the peripheral object information composing means 6 performs image processing that allows the user to recognize the display area detected as an object by the comparison / collation unit 5, and synthesizes it with the image from the image capturing unit 3 and outputs it to the display unit 7. The process will be described in detail with reference to FIG.
  • Step S1 First, information such as the speed of the vehicle and the turning angle of the handle is received as information such as the moving speed and rotational angular speed of the image pickup means 3, and the coordinates of the feature points arranged on the road surface in the virtual space are obtained.
  • a normative flow generation process is performed to generate an optical flow that is moved and projected on the screen. The optical flow generated by this normative flow generation process is defined as a normative flow.
  • Step S2 Next, the flow (observation flow) of the real image is extracted by the KLT method in Non-Patent Documents 4 and 5.
  • Step S3 Next, divide the screen into blocks, set the length and direction of the normative flow for each block, examine the length and direction of the flow of the actual image, and in the block that contains the flow, Check for differences.
  • Step S4 If there is a flow in the block that was determined to have a difference at the end, it is detected that an object exists in the block.
  • the normative flow generation process that is the basis of the present invention will be described.
  • the height of the road surface force of the camera of the image pickup means 3 the focal length of the camera, the tilt of the camera with respect to the horizontal, the distance between the front and rear wheels of the vehicle, the right side of the vehicle
  • the distance between the wheel and the left wheel, feature points are placed on the road surface in the virtual space.
  • variable parameters for generating the normative flow the current moving speed of the vehicle and the inclination angle of the front wheels with respect to the longitudinal direction of the vehicle body are received every predetermined time, and the coordinates of the feature points are changed according to the running state of the vehicle. To do.
  • the information power of the fixed parameter set at the beginning is also calculated for the position of the feature point, the force projected on the camera image is calculated, and the previous state and the current state are output as the start point and end point of the reference flow, respectively.
  • the moving base of the camera of the image pickup means 3 By setting three parameters: the height from the quasi-plane, the focal length of the camera, and the tilt of the camera relative to the horizontal, feature points are placed on the reference plane in the virtual space.
  • the current moving speed and rotational angular velocity of the imaging means are received every predetermined time as variable parameters for generating the reference flow, and the coordinates of the feature points are changed according to the moving state of the imaging means.
  • the information power of the fixed parameters set at the beginning is also calculated for the position of the feature point, the color projected on the camera image is calculated, and the previous state and the current state are output as the start point and end point of the reference flow, respectively.
  • the space on the normative flow generation process and the position on the screen obtained by the imaging device are approximated to a pinhole camera, with the viewpoint as the origin as shown in Fig. 3, the X axis as the imaging plane and screen width direction, and the y axis
  • the focal length of the camera is f
  • the distance from the imaging surface to the screen is
  • the range of the screen is the width of the imaging surface with the center of the imaging surface and the y axis.
  • the point projected on the screen is the intersection of this straight line and the straight line connecting the coordinates of the feature point and the origin.
  • the z coordinate of the projection point can be obtained.
  • the projected point can be represented on the z-x plane with the center of the screen as the origin.
  • the standard flow corresponding to the input image can be obtained by converting the size of the imaging surface into the size of the actual input image.
  • FIG. 5 A schematic diagram is shown in FIG.
  • the point written as the projected point in Fig. 5 is the feature point at this time.
  • the projection point will be described later.
  • tilting movement is expected to accumulate errors due to repeated state changes such as curves and camera tilt. Therefore, feature points placed in a standard environment where the camera tilt is 0 degrees and the vehicle is in a straight-ahead state that is less prone to error are called “environment points”.
  • the feature point whose coordinate position is converted by the curve or the tilt of the camera is called the “projection point”.
  • the environmental point can prevent accumulation of errors related to movement in the z-axis direction by tilting the camera with no change in the z-axis direction. In addition, since it depends only on movement in the y-axis direction, errors due to movement every time can be prevented.
  • the projection point is calculated from the position of the environment point, and the projection point is projected on the screen while maintaining the coordinates of the environment point.
  • the position of the environmental point is left as it is, and the position is inclined by the camera tilt.
  • the turning radius of the vehicle can be obtained by the following equation (3).
  • r is the radius of rotation
  • H is the tread (the distance between the left and right wheels)
  • W is the wheel base (the distance between the front and rear wheels)
  • ⁇ is the inclination angle of the front wheel relative to the longitudinal direction of the vehicle body.
  • r is the radius of rotation
  • V is the moving velocity
  • ⁇ is the rotating angular velocity
  • the center angle is calculated by making the distance in the y-axis direction to the camera force environment point correspond to the arc length.
  • the position of the camera is also the coordinate of the projection point corresponding to the environmental point when it is moved by the calculated central angle.
  • s is the distance to the camera force environment point
  • r is the radius of rotation
  • ⁇ is the central angle
  • p is the position of the environment point
  • p ' is the position of the projection point. From Fig. 8, the value of the central angle ⁇ can be calculated by the following formula.
  • FIG. 9 shows an example of the generated normative flow.
  • the normative flow OF1 when the vehicle is traveling straight is shown.
  • FOE in Fig. 9 shows FOE of normative flow OF1.
  • Optical flow detection is performed by finding corresponding points between two consecutive input images. First, feature point extraction is performed on the first image based on Non-Patent Document 4. Then, the optical flow is detected by finding the corresponding point with the second image. For example, Non-Patent Document 5 is used as a method for determining the corresponding point.
  • Figure 10 shows an example of a flow generated from a real image. In this example, a flow OF2 generated from an object is included in addition to the reference flow OF1.
  • the detected optical flow When comparing the normative flow generated by the normative flow generation process with the image force acquired by the actual imaging means, the detected optical flow must be corrected.
  • the correction of the deviation is based on the flow information in which the actual input image force is also detected.
  • the deviation can be corrected by calculating the FOE (see Figure 9) and aligning it with the FOE from the normative flow information.
  • the location and the norm flow are associated.
  • a flow comparison method the following describes how to divide the screen into blocks and set a representative normative flow for each block.
  • a stationary object that is usually higher than the movement reference plane such as the road surface is closer to the distance force from the camera installed on the vehicle or the like than the movement reference plane, so the flow in the screen is large.
  • the normative flow is obtained by calculating the flow that appears on the moving reference plane, the flow of the object should have a larger flow length than the normative flow. Therefore, the flow larger than the reference flow is considered as the flow of the object.
  • the normative flow having the largest vector is representative. If a small vector is selected, it means that a larger standard flow exists in the block, and even the flow of the moving reference plane without an object may exceed the representative vector.
  • the normative flow that appears on the movement reference plane is considered to be almost the same vector in the local region, and is considered to change smoothly in the neighboring region. Therefore, if the reference flow is not included in the block, the vector value is taken from the neighboring block.
  • All the optical flows in the image acquired by the imaging means are compared with the value of the representative standard flow of the block in which the flow exists.
  • the comparison may be, for example, detecting an object flow having the same vertical component and horizontal component and a long vector length as compared to the reference flow.
  • the noise will also be Since it may be determined that the flow is a body flow, the following processing is performed.
  • the feature points are extracted in a concentrated manner in the textured object area. In other words, it is considered that the flow of a large number of objects is included in the block including the objects.
  • noise it does not concentrate in a certain area, so it is thought that there are a small number of noises that are judged to be object flows in the block. For this reason, threshold processing is performed on the number of object flows included in the block, and it is determined that an object is included only when the number of object flows in the block exceeds the threshold value.
  • the block determined to contain the object may be displayed on the display unit 7 by changing the color, for example, as shown in FIG.
  • the normative flow when dividing the region, it is used that the normative flow is not generated above the FOE of the imaging system.
  • a block is arranged at a place where the normative flow is generated, and the comparison is performed.
  • Fig. 12 shows an example of equal area division
  • Fig. 13 shows that the start and end points of the normative flow are located at diagonal positions of the block.
  • the horizontal width may be a fixed width (constant), and the center of gravity of the block may overlap the midpoint of the normative flow.
  • the present invention has an effect of being able to accurately detect a stationary object, and can be used when mounted not only on a vehicle but also on various moving bodies such as a mobile robot and a person.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)

Abstract

　物体検出装置において、静止物体を正確に検出する技術が開示され、その技術によれば規範フロー生成手段２は車両に設置された画像撮像手段３の設置状態と車両の走行状態に基づいて、物体が存在しない標準的な環境で想定される画面の規範フローを生成し、観測フロー生成手段４は画像撮像手段により撮像された画像に基づいて観測フローを生成し、比較照合部５は規範フロー生成手段により生成された規範フローと観測フロー生成手段により生成された観測フローの差異に基づいて物体を検出する。

Description

明 細 書
物体検出装置
技術分野
[0001] 本発明は、車両、移動ロボット、人などの移動体に搭載された撮像手段により撮像 された画像に基づ ヽて物体を検出する物体検出装置に関する。
背景技術
[0002] 移動体では、それ自体の安全確保のために認識するべき状況として移動基準面の 状況が重要である。移動基準面の状況としては、面の形状、他の移動体の存在の有 無、静止物体などの存在の有無が挙げられる。また、自動車などの車両は、それ自 体の安全確保のために認識するべき状況として道路状況が重要である。道路状況と しては、カーブなどの道路形状、他の移動車両や歩行者などの移動物体の存在の 有無、停止車両などの静止物体などの存在の有無が挙げられる。
[0003] 物体検出の方法として、距離情報を用いるものと動き情報を用いるものが考えられ る。距離情報を用いるものには、距離センサを利用する方法 (下記の非特許文献 1) や、ステレオ視を利用する方法 (下記の非特許文献 2)がある。動き情報を用いるもの には、オプティカルフローと FOE (Focus of Expansion ;消失点）を利用する方法（下 記の非特許文献 3)が従来研究されている。また、画面上の移動ベクトルであるォプ ティカルフローを求める従来例としては、下記の非特許文献 4、 5が公知である。なお 、非特許文献 5は KLT (Kanade- Lucas- Tomasi)法と呼ばれて!/、る。
非特許文献 1 :荒蒔勲，佐生徳実，梅田和昇， "小型距離画像センサを用いた移動口 ボットの障害物回避手法の提案"， 日本機械学会ロボテイクス 'メカトロニクス講演会' 0 1講演論文集 , 1P1-N4, 2001.6.
非特許文献 2 :岡田慧，加賀美聡，稲葉雅幸，井上博允， "色領域分割と両眼ステレ ォの統合による脚型ロボットの三次元障害物回避"第 16回ロボット学会学術講演会 予稿集， PP 1505-1506, 1998.
非特干文献 3： Mutsumi Watanabe, Nobuyuki Takeda, Kazunon Onoguchi, "Moving obstacle detection and recognition by optical flow patern analysis for mobilerobot , Advanced Robotics, Vol.12, No.7,8, pp.79ト 816, 1999. tcts
非特許文献 4 : Jianbo Shi, Carlo Tomasi: 'Good Features to Tack", 1994 IEEE Conf erence on Computer Vision and Pattern Recognition(CVPR' 94), pp.593- 600, 1994. ortelrt"
非特許文献 5 : Jean- Yves Bouguet: 'Pyramidal Impementation of the Lucas Kanade F eature T acker Descripion of the algorithm, OpenCV Documentation, Microprocessor Research Labs, Intel Corporation, 1999.
[0004] 距離センサを用いる方法では、センサ力も物体までの距離や位置などを知ることが でき、対象物までの距離を高い精度で得ることができるため、衝突を警告するなどの 実用ィ匕もなされている。しかし、走行中は対象物によって危険度や回避行動を判断 する必要があり、検出した物体が何であるかまで認識できることが望ましい。
[0005] 映像力 距離情報を求める方法にステレオ視を利用する方法は、風景中の物体認 識などに用いられている。しかし、この方法はある程度の間隔で配置された 2つのカメ ラ画像の重複部分でしか処理が行えず、視野が狭くなる。そのためカメラに近い部分 は共通視野ができな 、ため処理ができず、例えば移動ロボットに搭載した場合には、 衝突する危険のある接近した物体に対して、 1台のカメラで処理ができる方法が適切 であると考えられる。
[0006] 映像としての情報力も動き情報を用いる方法に、オプティカルフローと FOEを利用 するものがある。この FOEの違 、を調べることによって背景と違う運動をする移動物 体の検出に使われている。しかし、静止物体は背景と同じ FOEを持っため、静止物 体を正確に検出できな 、と 、う問題点がある。
発明の開示
[0007] 本発明は上記従来例の問題点を踏まえ、静止物体を正確に検出することができる 物体検出装置を提供することを目的とする。
[0008] 本発明は上記目的を達成するために、移動体に設置された撮像手段により撮像さ れた画像に基づいて物体を検出する物体検出装置において、
前記移動体に設置された前記撮像手段の設置状態と前記移動体の移動状態に基 づ 、て、物体が存在しな!、標準的な環境で想定される画面の第 1のオプティカルフロ 一を生成する第 1のオプティカルフロー生成手段と、
前記撮像手段により撮像された画像に基づいて第 2のオプティカルフローを生成す る第 2のオプティカルフロー生成手段と、
前記生成された第 1及び第 2のオプティカルフローの差異に基づいて物体を検出 する物体検出手段とを、
備えたことを特徴とする。
この構成により、物体を含まない仮想画像の第 1のオプティカルフローと、撮像され た実画像の第 2のオプティカルフローの差異に基づいて物体を検出するので、静止 物体を正確に検出することができる。
また、前記第 1のオプティカルフロー生成手段は、
前記撮像手段の基準面からの高さと、前記撮像手段の焦点距離と、前記撮像手段 の水平面に対する傾きとをパラメータとして設定することにより、仮想空間上の基準面 に特徴点を配置し、
前記撮像手段の移動速度、回転角速度を所定間隔で取得して前記特徴点の座標 を変更し、前回の特徴点と今回の特徴点をそれぞれ前記第 1のオプティカルフロー の始点と終点として生成することを特徴とする。
また、前記移動体は車両であって、
前記第 1のオプティカルフロー生成手段は、
前記撮像手段の路面からの高さと、前記撮像手段の焦点距離と、前記撮像手段の 水平面に対する傾きと、前記車両の前輪と後輪の間隔と、前記車両の右の車輪と左 の車輪の間隔の 5つの固定パラメータを設定することにより仮想空間上の路面に特 徴点を配置し、
前記車両の移動速度及び前輪の車体の長手方向に対する傾斜角を所定時間ごと に変数パラメータとして受け取って前記特徴点の座標を変更し、前回の特徴点と今 回の特徴点をそれぞれ前記第 1のオプティカルフローの始点と終点として生成するこ とを特徴とする。
この構成により、物体を含まな 、仮想画像の第 1のオプティカルフローを正確に検 出することができる。 [0010] また、前記物体検出手段は、前記撮像手段により撮像された画面を領域ごとに分 割して各領域ごとに前記第 1のオプティカルフローの代表フローを設定し、前記生成 した第 2のオプティカルフローのうち、前記代表フローより大きいフローを物体と判定 することを特徴とする。
また、前記物体検出手段は、前記撮像手段により撮像された画面と、前記第 1のォ プティカルフローの生成時に得られるオプティカルフローの始点と終点の情報を利用 して前記分割領域を設定することを特徴とする。
この構成により、ノイズによる誤検出を防止することができる。
[0011] また、前記物体検出手段は、前記物体と判定したフローの数が閾値を超えるブロッ クを物体ブロックと判定することを特徴とする。
この構成により、ノイズによる誤検出を防止することができる。
[0012] 本発明によれば、物体を含まない仮想画像の第 1のオプティカルフローと、撮像さ れた実画像の第 2のオプティカルフローの差異に基づいて物体を検出するので、静 止物体を正確に検出することができる。
図面の簡単な説明
[0013] [図 1]本発明に係る物体検出装置の一実施形態を示すブロック図である。
[図 2]図 1の物体検出装置の処理を説明するためのフローチャートである。
[図 3]規範フロー生成時における画面投影計算を示す説明図である。
[図 4]規範フロー生成時における環境点設定を示す説明図である。
[図 5]規範フロー生成時にぉ 、てカメラが傾 、て 、る場合の投影点配置を示す説明 図である。
[図 6]規範フロー生成時においてカーブ時の投影点配置を示す説明図である。
[図 7]規範フロー生成時においてカーブ時の回転半径計算を示す説明図である。
[図 8]規範フロー生成時においてカーブ時の投影点移動のための中心角計算を示 す説明図である。
[図 9]規範フローの一例を示す説明図である。
[図 10]実画像カゝら生成されたフローの一例を示す説明図である。
[図 11]物体の検出画像の表示例を示す説明図である。 [図 12]均等な領域分割の例を示す説明図である。
[図 13]規範フローの始点と終点がブロックの対角の位置になる領域分割の例を示す 説明図である。
[図 14]水平方向の幅は固定幅（定数）とし、ブロックの重心が規範フローの中点と重 なる領域分割の例を示す説明図である。
発明を実施するための最良の形態
[0014] 以下、図面を参照して本発明の実施の形態について説明する。図 1は本発明に係 る物体検出装置の一実施形態を示すブロック図、図 2は図 1の物体検出装置の処理 を説明するためのフローチャートである。
[0015] 本発明では、移動状態で静止物体を検出するために、従来の方法に代わる方法と して「規範フロー」という概念を提案する。すなわち、標準的な環境、標準的な移動状 態から予測される、画像中の各場所におけるオプティカルフローを計算により求め、 これを規範フロー（第 1のオプティカルフロー）とする。そして、動画像処理により得ら れた実際の画像のオプティカルフロー（第 2のオプティカルフロー、観測フロー）との 差異を検出することにより、物体の検出を行う。
[0016] 図 1は、搭載する移動体の一例として車両に搭載する物体検出装置を示す。図 1に おいて、移動情報取得手段である車両情報取得手段 1は、画像撮像手段 3が設置さ れた車両の走行情報を取得し、規範フロー生成手段 (第 1のオプティカルフロー生成 手段) 2は、画像撮像手段 3の設置状態と車両情報取得手段 1からの車両の走行情 報に基づいて、物体が存在しない標準的な環境で想定される画面の規範フロー (第 1のオプティカルフロー）を生成する。観測フロー生成手段 (第 2のオプティカルフロ 一生成手段) 4は、画像撮像手段 3からの画像に基づ 、て観測フロー (第 2のォプテ ィカルフロー）を生成し、比較照合部 (物体検出手段） 5は規範フローと観測フローの 差異に基づいて物体を検出する。ここで、車両情報取得手段 1から比較照合部 5まで のブロックが本発明に係る物体検出装置の一実施形態を構成している。周辺物体情 報構成手段 6は比較照合部 5により物体として検出された表示領域をユーザが物体 と認識できる画像処理を施し、画像撮像手段 3からの画像と合成して表示部 7に出力 する。 [0017] 図 2を参照して処理を詳しく説明する。
ステップ S1 :まず、画像撮像手段 3の移動速度や回転角速度などの情報として、自 動車の速度やノヽンドルの切り角などの情報を受け取り、仮想空間上の路面に配置し た特徴点の座標を移動させて、その動きを画面に投影したオプティカルフローを生 成する、規範フロー生成処理を行う。この規範フロー生成処理により生成されるォプ ティカルフローを規範フローとする。
ステップ S2：次に非特許文献 4、 5などにおける KLT法により実画像のフロー (観測 フロー）を抽出する。
ステップ S3 :次に画面をブロックに分けて各ブロックに規範フローの長さや向きを設 定し、実画像のフローの長さと向きを調べて、そのフローの入っているブロックにおい て規範フローとの差異がな 、かを照合する。
ステップ S4：最後に差異があると判断したフローがブロックの中にあった場合、その ブロックに物体が存在するとして検出する。
以下各処理について、（1)規範フローの生成、（2)入力画像中の特徴点抽出とフロ 一検出、（3)規範フローと実フローの照合、（4)物体の検出、の順に具体的に説明す る。
[0018] (1)規範フローの生成
本発明の基本となる規範フロー生成処理について述べる。まず、規範フローを生成 するための固定パラメータとして、画像撮像手段 3のカメラの路面力もの高さ、カメラ の焦点距離、水平に対するカメラの傾き、車両の前輪と後輪の間隔、車両の右の車 輪と左の車輪の間隔の 5つのパラメータを設定することにより、仮想空間上の路面に 特徴点を配置する。
次に規範フローを生成するための変数パラメータとして、車両の現在の移動速度、 前輪の車体の長手方向に対する傾斜角を所定時間ごとに受け取り、車両の走行状 態に合わせて特徴点の座標を変更する。特徴点の位置を、初めに設定した固定パラ メータの情報力も計算し、カメラ画像のどこに投影される力を算出して、前状態と現状 態をそれぞれ規範フローの始点と終点として出力する。
なお、搭載する移動体が車両でない場合には、画像撮像手段 3のカメラの移動基 準面からの高さと、カメラの焦点距離と、水平に対するカメラの傾きの 3つのパラメータ を設定することにより、仮想空間上の基準面に特徴点を配置する。次に規範フローを 生成するための変数パラメータとして、撮像手段の現在の移動速度、回転角速度を 所定時間ごとに受け取り、撮像手段の移動状態に合わせて特徴点の座標を変更す る。特徴点の位置を、初めに設定した固定パラメータの情報力も計算し、カメラ画像 のどこに投影されるカゝを算出して、前状態と現状態をそれぞれ規範フローの始点と終 点として出力する。
[0019] <画面投影の計算について >
規範フロー生成処理の空間と画像撮像装置により得られた画面上の位置をピンホ 一ルカメラに近似させ、図 3に示すように視点を原点とし、 X軸を撮像面及び画面の 幅方向、 y軸を奥行きとした空間を x—y平面で考えたとき、カメラの焦点距離を fとす ると、撮像面から画面までの距離は
y=f …ひ）
となる直線である。また、画面の範囲は撮像面の中心^ y軸とする撮像面の幅になる 。画面に投影される点は、この直線と、特徴点の座標と原点を結ぶ直線の交点になる
[0020] また、図 3において、実際の点である特徴点の座標を (Ox, Oy)、投影点の座標を
(Dx, Dy)とすると、 Dy=fより、 Dxは次の式（2)で求めることができる。
Dx= (OxZOy) * f - -- (2)
また y—z平面で同じ計算をすることにより、投影点の z座標を求めることができる。こ の計算により画面の中心を原点とした z— x平面に投影点をあらわすことができる。そ の後、撮像面の大きさを、実際の入力画像の大きさに変換することにより入力画像に 応じた規範フローを求めることができる。
[0021] <カメラの傾きを考えな!/、特徴点の配置と移動 >
カメラの水平面に対する傾きが 0度の場合、初めに設定したカメラの高さを反映して 路面の高さに配置された y軸と平行な直線上に特徴点を配置し、その点は y軸と平行 に移動する。模式図を図 4に示す。図 4中の環境点と書かれた点がこのときの特徴点 である。環境点については後に述べる。 [0022] <カメラの傾きを考えた特徴点の配置 >
カメラの水平面に対する傾きが φの場合、 y軸に対し φだけ傾いた平面上に点を配 置し、その平面に沿って移動する。模式図を図 5に示す。図 5中の投影点と書かれた 点がこのときの特徴点である。投影点については後に述べる。しかし、傾けての移動 は、カーブやカメラの傾きなどの状態変化の繰り返しによる誤差の蓄積が想定される 。そこで、カメラの傾きが 0度で直進状態にある、誤差の生じにくい基準となる環境に 配置した特徴点を「環境点」と呼ぶことにする。また、そこ力もカーブやカメラの傾きに よって座標位置を変換した特徴点を「投影点」と呼ぶことにする。
[0023] 環境点は図 5に示すように、 z軸方向への変化が無ぐカメラを傾けることによる z軸 方向へ移動に関する誤差の蓄積を防ぐことができる。また、 y軸方向への移動だけに 依存するため、毎回の移動による誤差も防ぐことができる。投影点は環境点の位置か ら算出されて、環境点の座標は保持したまま投影点を画面上に投影する。カメラの傾 きが与えられると、図 5に示すように、環境点の位置はそのまま、カメラの傾きの分だ け斜めになった状態に配置される。
[0024] <旋回時の投影点 >
ハンドルを切ったときにカメラが回転するときも環境点はそのままの状態で動作する 。ハンドル操作により車体の長手方向に対して前輪の角度が変化するときのように、 カメラが回転すると、その角度に応じた回転半径、回転の中心位置が計算される。こ の値と環境点を基に、投影点はカーブの位置に配置される。投影点の配置の模式図 を図 6に示す。このときの点の配置の計算については後述する。
く回転半径の算出 >
車両の回転半径は以下の式（3)で求めることができる。
r=Hcos Θ +W/sin θ · '· (3)
なお、この式で rは回転半径、 Hはトレッド (左右の車輪の間隔)、 Wはホイールベース ( 前輪と後輪の間隔)、そして Θは前輪の車体の長手方向に対する傾斜角とする。この 式（3)を示したものが図 7である。
なお、搭載する移動体が車両でない場合には、カメラの回転半径は以下の式（3) ' で求めることができる。 r=v/ A Θ … ），
なお、この式で rは回転半径、 Vは移動速度、 Δ Θは回転角速度とする。
<カーブ時の投影点の配置 >
まずカメラ力 環境点までの y軸方向の距離を弧の長さに対応させて、中心角を計 算する。回転の中心力もカメラまでの距離を半径とする円において、カメラの位置力も 、計算で求めた中心角だけ移動した点が、環境点に対応する投影点の座標となる。 これを図 8に示す。図 8中の記号で、 sはカメラ力 環境点までの距離、 rは回転半径、 Θは中心角、 pは環境点の位置、 p'は投影点の位置を表す。図 8より中心角 Θの値 は次の式で求めることができる。
Θ = {s/2 r) ^ 2
[0026] <規範フローの生成 >
カメラ画像上の投影点の座標は前状態を保存してあり、前状態をフローの始点とし 、現在の座標位置をフローの終点として描画することでベクトルを生成する。図 9は生 成した規範フローの例を示し、この例では、車両が直進している場合の規範フロー O F1を示す。ここで、図 9における FOEは規範フロー OF1の FOEを示す。
[0027] (2)入力画像中の特徴点抽出とフロー検出
オプティカルフローの検出は、連続する 2枚の入力画像の対応点を見つけることに より行われる。まず、 1枚目の画像に対して非特許文献 4に基づき特徴点抽出を行う 。そして 2枚目の画像との対応点を見つけてオプティカルフローを検出する。この対 応点の決定方法は、例えば非特許文献 5を用いて検出を行う。図 10は実画像から生 成したフローの例を示し、この例では、規範フロー OF1のほかに、物体から生成した フロー OF2を含む。
[0028] (3)規範フローと実フローの照合
<規範フロー場の位置補正 >
規範フロー生成処理により生成された規範フローと実際の撮像手段により獲得され た画像力 検出されたオプティカルフローを照合する際に、その位置のズレを補正す る必要がある。ズレの補正は例えば、実際の入力画像力も検出したフローの情報から FOE (図 9参照）を算出し、規範フローの情報からの FOEとの位置を合わせることに よってズレを補正することが可能である。
<画面の分割と規範フローの設定 >
本提案では各場所における規範フローと、撮像手段により獲得された画像のォプ ティカルフローを比較して物体の検出を行うため、場所と規範フローの関連付けを行 う。フローの比較方法として、以下では画面をブロックに分割し、ブロックごとに代表と なる規範フローを設定する方法について説明する。
[0029] <代表となる規範フローの設定 >
直進状態において、通常、路面などの移動基準面よりも高さのある静止物体は、車 両などに設置されたカメラからの距離力 移動基準面に比べて近くなるため、画面内 におけるフローは大きくなる。規範フローは移動基準面上に出るフローを計算により 求めたものであるから、物体のフローは規範フローよりもフロー長が大きくなるはずで ある。よって規範フローよりも大きなフローを物体のフローであると考えることにする。 このとき、各ブロック内で複数の規範フローが含まれる場合、一番大きなベクトルを持 つ規範フローを代表とする。仮に小さいベクトルを選択した場合、それよりも大きな規 範フローがブロック内に存在するということになり、物体のない移動基準面のフローで も、代表のベクトルを超えてしまうことがある。移動基準面上に現れる規範フローは、 局所領域では、ほぼ同じベクトルになると考えられ、近隣領域では滑らかな変化をし ていると考えられる。このことから、ブロック内に規範フローが含まれない場合、近傍 のブロックからベクトルの値をとることにする。
[0030] (4)物体の検出
<物体フローの判断 >
撮像手段により獲得された画像中のオプティカルフロー全てについて、そのフロー の存在するブロックの代表規範フローの値と比較する。比較は、例えば、規範フロー と比べて、縦成分と横成分の向きが同じで、ベクトル長の長いものを物体のフローとし て検出するとしてもよい。
<物体領域の検出 >
ただし、このまま物体のフローを含むブロックを物体領域だと判断すると、ノイズも物 体のフローだと判断してしまう場合が考えられるため、以下のような処理を行う。特徴 点はテクスチャのある物体領域に集中して抽出される。すなわち物体を含むブロック 内に多数の物体のフローが含まれると考えられる。これに対してノイズの場合は、ある 領域に集中して出るわけではないため、ブロック内には物体のフローだと判断された ノイズが少数含まれると考えられる。このことからブロック内に含まれる物体のフローの 数に対して閾値処理を施し、ブロック内の物体フローの数が閾値を超えた場合のみ、 物体が含まれると判断する。物体が含まれると判断されたブロックは、図 11に示すよ うに例えば色を変えるなどして表示部 7に表示してもよい。
[0031] <別の画面分割方法 >
また、領域の分割にあたって、規範フローは撮像系の FOEより上部には生成されな いことを利用する。また規範フローと物体フローの比較を行うことから、例えば規範フ ローが生成される場所にブロックを配置して、比較を行う。規範フローの生成される部 分にブロックを配置するときに、規範フローを求める時に得られる始点 ·終点の位置 がブロックの上端、下端となるように配置する。図 12は均等な領域分割の例を示し、 これに対し、図 13では、規範フローの始点と終点がブロックの対角の位置になるよう に配置されている。ただし、撮像系が直進運動を行う場合には規範フローの水平方 向成分の値が小さくなりブロックが小さくなつてしまうことがある。これを防ぐために図 1 4に示すように、水平方向の幅は固定幅（定数）とし、ブロックの重心が規範フローの 中点と重なるように配置しても良い。
産業上の利用可能性
[0032] 本発明は、静止物体を正確に検出することができるという効果を有し、車両のみな らず、移動ロボット、人などの各種の移動体に搭載する場合に利用することができる。

Claims

請求の範囲
[1] 移動体に設置された撮像手段により撮像された画像に基づいて物体を検出する物 体検出装置において、
前記移動体に設置された前記撮像手段の設置状態と前記移動体の移動状態に基 づ 、て、物体が存在しな!、標準的な環境で想定される画面の第 1のオプティカルフロ 一を生成する第 1のオプティカルフロー生成手段と、
前記撮像手段により撮像された画像に基づいて第 2のオプティカルフローを生成す る第 2のオプティカルフロー生成手段と、
前記生成された第 1及び第 2のオプティカルフローの差異に基づいて物体を検出 する物体検出手段とを、
備えたことを特徴とする物体検出装置。
[2] 前記第 1のオプティカルフロー生成手段は、
前記撮像手段の基準面からの高さと、前記撮像手段の焦点距離と、前記撮像手段 の水平面に対する傾きとをパラメータとして設定することにより、仮想空間上の基準面 に特徴点を配置し、
前記撮像手段の移動速度、回転角速度を所定間隔で取得して前記特徴点の座標 を変更し、前回の特徴点と今回の特徴点をそれぞれ前記第 1のオプティカルフロー の始点と終点として生成することを特徴とする請求項 1に記載の物体検出装置。
[3] 前記移動体は車両であって、
前記第 1のオプティカルフロー生成手段は、
前記撮像手段の路面からの高さと、前記撮像手段の焦点距離と、前記撮像手段の 水平面に対する傾きと、前記車両の前輪と後輪の間隔と、前記車両の右の車輪と左 の車輪の間隔の 5つの固定パラメータを設定することにより仮想空間上の路面に特 徴点を配置し、
前記車両の移動速度及び前輪の車体の長手方向に対する傾斜角を所定時間ごと に変数パラメータとして受け取って前記特徴点の座標を変更し、前回の特徴点と今 回の特徴点をそれぞれ前記第 1のオプティカルフローの始点と終点として生成するこ とを特徴とする請求項 1に記載の物体検出装置。
[4] 前記物体検出手段は、前記撮像手段により撮像された画面を領域ごとに分割して 各領域ごとに前記第 1のオプティカルフローの代表フローを設定し、前記生成した第 2のオプティカルフローのうち、前記代表フローより大きいフローを物体と判定すること を特徴とする請求項 1又は 2に記載の物体検出装置。
[5] 前記物体検出手段は、前記撮像手段により撮像された画面と、前記第 1のォプティ カルフローの生成時に得られるオプティカルフローの始点と終点の情報を利用して 前記分割領域を設定することを特徴とする請求項 4に記載の物体検出装置。
[6] 前記物体検出手段は、前記物体と判定したフローの数が閾値を超えるブロックを物 体ブロックと判定することを特徴とする請求項 3から 5のいずれか 1つに記載の物体検 出装置。
PCT/JP2007/060077 2006-05-17 2007-05-16 物体検出装置 WO2007132902A1 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2006-137894 2006-05-17
JP2006137894 2006-05-17
JP2007-069488 2007-03-16
JP2007069488A JP4958279B2 (ja) 2006-05-17 2007-03-16 物体検出装置

Publications (1)

Publication Number Publication Date
WO2007132902A1 true WO2007132902A1 (ja) 2007-11-22

Family

ID=38693991

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/060077 WO2007132902A1 (ja) 2006-05-17 2007-05-16 物体検出装置

Country Status (2)

Country Link
JP (1) JP4958279B2 (ja)
WO (1) WO2007132902A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009199270A (ja) * 2008-02-20 2009-09-03 Konica Minolta Holdings Inc 解析装置
JP2009229226A (ja) * 2008-03-21 2009-10-08 Toshiba Corp 物体検出装置及び物体検出方法
CN108108670A (zh) * 2017-12-04 2018-06-01 交通运输部规划研究院 一种层次化筛选的遥感图像提取港口仓库的方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5363085B2 (ja) * 2008-12-03 2013-12-11 株式会社小糸製作所 前照灯制御装置
JP5368369B2 (ja) * 2010-04-28 2013-12-18 株式会社デンソー 車載用撮像装置及び車載用画像処理装置
DE102011109569A1 (de) * 2011-08-05 2013-02-07 Conti Temic Microelectronic Gmbh Verfahren zur Fahrspurerkennung mittels einer Kamera
JP5952611B2 (ja) * 2012-03-28 2016-07-13 国立研究開発法人農業・食品産業技術総合研究機構 走行制御装置
JP6174884B2 (ja) * 2013-03-28 2017-08-02 株式会社Ｓｕｂａｒｕ 車外環境認識装置および車外環境認識方法
JP6651702B2 (ja) 2015-03-23 2020-02-19 富士通株式会社 物体検出装置、物体検出方法および情報処理プログラム
WO2018051459A1 (ja) 2016-09-15 2018-03-22 三菱電機株式会社 物体検出装置および物体検出方法
KR102479492B1 (ko) * 2018-01-08 2022-12-20 삼성전자주식회사 차량 주변의 이미지를 제공하는 전자 장치 및 방법
JP7067370B2 (ja) * 2018-08-27 2022-05-16 株式会社デンソー 画像認識装置
KR20220126963A (ko) 2021-03-10 2022-09-19 현대자동차주식회사 차량의 이벤트 기반 센서를 이용한 주변 모니터링 시스템
KR20220131682A (ko) 2021-03-22 2022-09-29 현대자동차주식회사 차량의 이벤트 기반 센서를 이용한 지능형 프론트 라이팅 시스템
JP7391117B2 (ja) 2022-01-07 2023-12-04 三菱電機株式会社 車両用画像処理装置および車両用画像処理方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09161071A (ja) * 1995-12-12 1997-06-20 Sony Corp 領域対応付け装置および領域対応付け方法
JP2004056763A (ja) * 2002-05-09 2004-02-19 Matsushita Electric Ind Co Ltd 監視装置、監視方法および監視用プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09161071A (ja) * 1995-12-12 1997-06-20 Sony Corp 領域対応付け装置および領域対応付け方法
JP2004056763A (ja) * 2002-05-09 2004-02-19 Matsushita Electric Ind Co Ltd 監視装置、監視方法および監視用プログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009199270A (ja) * 2008-02-20 2009-09-03 Konica Minolta Holdings Inc 解析装置
JP2009229226A (ja) * 2008-03-21 2009-10-08 Toshiba Corp 物体検出装置及び物体検出方法
CN108108670A (zh) * 2017-12-04 2018-06-01 交通运输部规划研究院 一种层次化筛选的遥感图像提取港口仓库的方法
US10325152B1 (en) 2017-12-04 2019-06-18 Transport Planning and Research Institute Ministry of Transport Method of extracting warehouse in port from hierarchically screened remote sensing image

Also Published As

Publication number Publication date
JP4958279B2 (ja) 2012-06-20
JP2007334859A (ja) 2007-12-27

Similar Documents

Publication Publication Date Title
JP4958279B2 (ja) 物体検出装置
JP6896044B2 (ja) 道路の垂直輪郭検出
JP4052650B2 (ja) 障害物検出装置、方法及びプログラム
JP3719095B2 (ja) 挙動検出装置および勾配検出方法
US20110216194A1 (en) Camera calibration apparatus
JP2007300181A (ja) 周辺認識装置、周辺認識方法、プログラム
WO2014064990A1 (ja) 平面検出装置、平面検出装置を備えた自律移動装置、路面段差検出方法、路面段差検出装置、および路面段差検出装置を備えた車両
US11887336B2 (en) Method for estimating a relative position of an object in the surroundings of a vehicle and electronic control unit for a vehicle and vehicle
JP7199937B2 (ja) 駐車支援装置
JP6032034B2 (ja) 物体検知装置
JP6577661B2 (ja) 路面変位検出装置およびサスペンション制御方法
CN109074653B (zh) 用于检测机动车辆的道路旁边的物体的方法、计算设备、驾驶员辅助系统以及机动车辆
WO2019031137A1 (ja) 路側物検出装置、路側物検出方法及び路側物検出システム
JP4539388B2 (ja) 障害物検出装置
WO2017047282A1 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
JP2008309519A (ja) 画像処理を用いた物体検出装置
KR20190067578A (ko) 오버랩 촬영 영역을 가지는 이종 카메라를 이용한 충돌 경고 장치 및 방법
WO2017188158A1 (ja) 路面状態検出装置
JP2005170290A (ja) 障害物検出装置
WO2022153795A1 (ja) 信号処理装置、信号処理方法及び信号処理システム
JP2021033605A (ja) 画像処理装置、および、画像処理方法
JP6174884B2 (ja) 車外環境認識装置および車外環境認識方法
JP4106163B2 (ja) 障害物検出装置及びその方法
JP6072508B2 (ja) 路面段差検出方法、路面段差検出装置、路面段差検出装置を備えた車両
JP2015226240A (ja) 車両姿勢判定装置

Legal Events

Date Code Title Description
DPE2 Request for preliminary examination filed before expiration of 19th month from priority date (pct application filed from 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07743512

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 07743512

Country of ref document: EP

Kind code of ref document: A1

DPE2 Request for preliminary examination filed before expiration of 19th month from priority date (pct application filed from 20040101)