WO2020071133A1 - 標識認識装置 - Google Patents

標識認識装置

Info

Publication number
WO2020071133A1
WO2020071133A1 PCT/JP2019/036681 JP2019036681W WO2020071133A1 WO 2020071133 A1 WO2020071133 A1 WO 2020071133A1 JP 2019036681 W JP2019036681 W JP 2019036681W WO 2020071133 A1 WO2020071133 A1 WO 2020071133A1
Authority
WO
WIPO (PCT)
Prior art keywords
sign
unit
candidate
dimensional object
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/036681
Other languages
English (en)
French (fr)
Inventor
雄飛 椎名
永崎　健
啓佑 岩崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Astemo Ltd
Original Assignee
Hitachi Automotive Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Automotive Systems Ltd filed Critical Hitachi Automotive Systems Ltd
Priority to CN201980063009.8A priority Critical patent/CN112840349B/zh
Priority to JP2020550281A priority patent/JP7145227B2/ja
Publication of WO2020071133A1 publication Critical patent/WO2020071133A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions

Definitions

  • the present invention relates to a sign recognition device that recognizes a road sign.
  • the in-vehicle camera device measures various objects (people, cars, three-dimensional objects, white lines, road surfaces, signs, etc.) around the vehicle in detail to simultaneously measure visual information from images and distance information to the objects. It is a device that can be grasped and contribute to the improvement of safety during driving assistance.
  • a sign is one of the targets of object recognition in a vehicle-mounted camera device.
  • the sign recognition function is used for accelerating or decelerating a vehicle that performs automatic driving in cooperation with map information.
  • EuroNCAP (updated from 2016 to 2020), which is an evaluation index of an advanced driving assistance system, also includes an evaluation item relating to a speed assistance system (SAS), and its importance is increasing.
  • Patent Document 1 A device for recognizing a sign is described in Patent Document 1.
  • the problem of the road sign recognition function of the on-vehicle camera device is that it outputs the recognition result of the road sign for the target road sign under various driving conditions such as an urban area and an expressway,
  • An object of the present invention is to improve the accuracy of not outputting a recognition result of a road sign.
  • Patent Literature 1 is attached behind a signboard that resembles a road sign installed in an urban area or an expressway, or a large vehicle such as a truck, in order to identify the sign from the exterior by image processing.
  • An object that looks very similar to the target road sign, such as a speed compliance sticker, may be erroneously recognized as a road sign.
  • the present invention has been made in order to solve the above problems, and it is an object of the present invention to provide a sign recognition device that suppresses an object such as a speed compliance sticker very similar to a road sign from being erroneously recognized as a road sign. With the goal.
  • the present invention provides at least one image pickup unit, a sign estimating unit that estimates a sign candidate from an image obtained by the image pickup unit, and a predetermined three-dimensional object included in an image pickup range of the image pickup unit.
  • a three-dimensional object recognizing unit for recognizing the three-dimensional object, and determining whether or not the sign candidate is a road sign from information on the estimation of the sign candidate by the sign estimating unit and information on the recognition of the three-dimensional object by the three-dimensional object recognition unit And a sign determination unit.
  • the sign recognition device of the present invention it is possible to suppress output of an erroneous sign recognition result for an object that closely resembles a target sign that appears in various driving conditions such as an urban area and a highway.
  • FIG. 1 It is a block diagram showing a schematic structure of a sign recognition device concerning an embodiment of the invention. It is a processing flow figure by a camera device. It is a flowchart showing the processing content of the sign determination of FIG. It is a figure of an example of a road sign candidate provided behind a bus. Enlarged image of sign candidate Enlarged image of sign candidate It is a figure of the road sign candidate provided on the road. It is a figure of other examples of the road sign candidate provided behind the bus. It is a top view of the road sign candidate provided behind the bus.
  • FIG. 1 is a block diagram illustrating a schematic configuration of a sign recognition device according to an embodiment of the present invention.
  • a sign recognition device 1 according to the present embodiment is a device mounted on a vehicle and recognizing an environment outside the vehicle based on image processing of a shooting target area in front of the vehicle.
  • the sign recognition device 1 has a function of recognizing, for example, a white line on a road, a pedestrian, a vehicle, other three-dimensional objects, a traffic light, a road sign, a lighting lamp, and the like by image processing, and determining whether the road sign is true or false.
  • a function of adjusting the brake and steering of the vehicle equipped with the sign recognition device 1 can be provided, but this function can be omitted.
  • the sign recognition device 1 is a road sign recognition system mounted on a vehicle, and includes a camera device 100, a CAN (Controller Area Network) 110, an output device 114, and the like.
  • a camera device 100 includes a camera device 100, a CAN (Controller Area Network) 110, an output device 114, and the like.
  • CAN Controller Area Network
  • the camera device 100 includes a left camera 101, a right camera 102, an image input interface 103, an image processing unit 104, an arithmetic processing unit 105, a storage unit 106, a CAN interface 107, a control processing unit 108, and a bus 109.
  • the image input interface 103, the image processing unit 104, the arithmetic processing unit 105, the storage unit 106, the CAN interface 107, and the control processing unit 108 can be configured by a single or a plurality of computer units. This embodiment exemplifies a case where a single computer unit is used.
  • the image processing unit 104, the control processing unit 108, the storage unit 106, the arithmetic processing 105, the image input interface 103, and the CAN interface 107 They are interconnected via an internal bus 109 of the device 100.
  • the camera device 100 is connected to another computer unit and the output device 114 via the CAN 110 described above. Hereinafter, each part will be sequentially described.
  • the left camera 101 and the right camera 102 are arranged on the left and right to acquire image information.
  • the left camera 101 and the right camera 102 are mounted on the vehicle with a set interval left and right, so that predetermined areas are respectively included in the field of view.
  • the image input interface 103 controls the imaging of the left camera 101 and the right camera 102 and captures the captured images.
  • the image data captured through the image input interface 103 is sent to, for example, the image processing unit 104 and the arithmetic processing unit 105 via the bus 109.
  • the image processing unit 104 compares the first image obtained from the image sensor of the left camera 101 with the second image obtained from the image sensor of the right camera 102, and determines each image based on the image sensor. Of the device-specific deviation, and image correction such as noise interpolation, and the like are stored in the storage unit 106. Further, the first image and the second image calculate the mutually corresponding portions and calculate the disparity information (the difference in the direction seen when the same point is viewed from two different points, ie, between the two directions). Is calculated and stored in the storage unit 106.
  • the arithmetic processing unit 105 includes a sign estimation unit 111, a three-dimensional object recognition unit 112, and a sign determination unit 113.
  • the sign estimation unit 111 estimates a sign candidate from images captured by the left camera 101 and the right camera 102 and stored in the storage unit 106.
  • the image used as the basis for estimating a marker candidate may be either an image taken by the left camera 101 or an image taken by the right camera 102, or may be an image taken by both cameras.
  • the shape recognized by the image processing is compared with, for example, a database of road signs stored in the storage unit 106, and one having a certain degree of matching with any one of the road signs is determined as a candidate for a road sign. presume.
  • the three-dimensional object recognition unit 112 recognizes a three-dimensional object included in the imaging range of the left camera 101 and the right camera 102 from the parallax information calculated by the image processing unit 104. Specifically, a three-dimensional object is recognized from images obtained by the left camera 101 and the right camera 102 by stereo image processing. The three-dimensional object recognition unit 112 uses the image and the parallax information (distance information for each point on the image) stored in the storage unit 106 to recognize a predetermined three-dimensional object necessary for perceiving the environment around the vehicle. .
  • the three-dimensional object to be recognized is a person, a car, and other obstacles such as a traffic light, a road sign, a tail lamp of a car, and a headlight.
  • a database (for example, reference data for identification) of the target three-dimensional object is stored in, for example, the storage unit 106, and the three-dimensional object recognition unit 112 extracts a cut-out image of each subject from the input captured image and disparity information thereof. Recognizes three-dimensional objects based on the database.
  • the sign determination unit 113 determines whether or not the sign candidate estimated by the sign estimation unit 111 is a road sign based on the information on the estimation of the sign by the sign estimation unit 111 and the information on the recognition of the three-dimensional object by the three-dimensional object recognition unit 112. I do.
  • the recognition result of the road sign and the intermediate calculation result (for example, the calculation result of the sign estimation unit 111 and the three-dimensional object recognition unit 112) by the calculation processing unit 105 are stored in the storage unit 106 as appropriate. This determination algorithm will be described later.
  • the storage unit 106 is, for example, a memory, and stores information and the like obtained by the image processing unit 104 and the arithmetic processing unit 105.
  • the CAN interface 107 is an input / output unit for the CAN 110, and calculation information of the camera device 100 is output to the CAN 110 via the CAN interface 107, and is output to the control system of the own vehicle via the CAN 110. Specifically, the CAN interface 107 outputs a sign recognition result to the output device 114 via the CAN 110 when the sign judgment unit 113 judges that the sign candidate is a road sign.
  • the control processing unit 108 has a role of monitoring whether or not each processing unit has performed an abnormal operation or whether or not an error has occurred during data transfer with respect to the operation of the camera device 100 and preventing the abnormal operation. Fulfill.
  • the determination result of the road sign calculated by the camera device 100 as described above is transmitted to the output device 114 and other on-vehicle computer units (for example, a unit that executes vehicle control) via the CAN 110.
  • the output device 114 is a device mounted on the driver's cab, for example, a monitor, a lamp, a buzzer, a speaker, or the like, for outputting a display or sound, and visually or audibly outputs a road sign based on information input from the camera device 100. Inform the crew.
  • the method of notification can be such that only the presence or absence of a road sign can be notified, or the type of road sign can also be notified together.
  • FIG. 2 is a flowchart of processing by the camera device 100.
  • the in-vehicle camera device 200 shown in FIG. 2 schematically represents the camera device 100 of FIG.
  • an imaging 201 by the left camera 101 and an imaging 202 by the right camera 102 are performed.
  • image processing such as correction for absorbing a peculiar habit of the image sensor
  • image processing in front Stereo image processing 205 such as calculating a measurement distance (parallax information) is performed on the object.
  • This stereo image processing 205 is executed by the image processing unit 104.
  • a three-dimensional object detection 206 which is an image processing such as a predetermined cutout of a stereo image or a gradation image.
  • the result of the three-dimensional object detection 206 and the like are stored in the storage unit 106 in FIG.
  • processing of object recognition 208 as image processing is performed.
  • the processing of the three-dimensional object detection 206 and the object recognition 208 is performed by the three-dimensional object recognition unit 112 in FIG.
  • the three-dimensional objects recognized here are people, cars, and other obstacles, such as traffic lights, road signs, car tail lamps, and headlights.
  • the object recognition result 216 (including information on the recognized three-dimensional object and other parallax information not recognized as the three-dimensional object) obtained in the processing of the three-dimensional object detection 206 and the object recognition 208 is stored in the storage unit 106.
  • a storage process 215 is performed.
  • the object recognition result 216 of the three-dimensional object recognition unit 112 is stored in the storage unit 106 and output to another computer unit or the sign determination unit 113 via the CAN 110 at the same time.
  • the sign recognition processing 209 is performed using a monocular image as an input.
  • the sign recognition processing 209 includes a sign detection 210 for extracting a circular object from the input image, a sign identification 211 for specifying the type of the circular object, a sign tracking 212 for associating the images, and a comprehensive judgment in a plurality of frames. Is made up of four processes of the sign determination 213.
  • a circular shape is assumed as the outer shape of the road sign to be determined.
  • a shape whose matching degree with a perfect circle is estimated to be equal to or more than a certain value by image processing is a candidate for a sign.
  • the sign candidates detected in the processing of the sign detection 210 are compared with, for example, a sign database (recognition dictionary) stored in the storage unit 106, and the type of the sign candidate (the sign candidate Is a candidate).
  • a sign candidate that can be displaced along with the traveling of the vehicle or the like in the camera field of view is tracked by association between consecutive frames (camera images) by image processing.
  • Each process up to the sign detection 210, the sign identification 211, and the sign tracking 212 is executed by, for example, the sign estimation unit 111.
  • the sign determination 213 it is determined from a plurality of frames of images whether the sign candidate is a real road sign.
  • the feature of the marker determination 213 is that it is executed by the marker determination unit 113 and is executed based on the object recognition result 216 obtained by the object recognition 208 process by the three-dimensional object recognition unit 112.
  • it is determined whether or not the road sign is a true road sign based on the inclusion relationship and the positional relationship between the three-dimensional object and other parallax information recognized by the three-dimensional object recognition unit 112 and the sign candidates estimated by the sign estimation unit 111. .
  • the details of the sign determination process will be described later.
  • a save process 214 for saving the sign recognition result obtained in the above sign recognition process 209 in the storage unit 106 is performed.
  • the result of the sign recognition by the sign recognition processing 209 is stored in the storage unit 106 and is also output to another computer unit or the output device 114 via the CAN 110.
  • the sign recognition result is not output to the output device 114, and is assumed to be a true road sign.
  • the sign recognition result is output to the output device 114 only for the object, and is notified to the occupant.
  • FIG. 3 is a flowchart showing the processing contents of the sign determination in FIG.
  • the processing flow of the sign determination 213 of the present invention will be described with reference to FIG.
  • Step 501 By using the result of the sign tracking 212 in FIG. 2 as an input, the result of identifying the sign candidates in a plurality of images is obtained. Thereafter, the processing moves to the next step 502.
  • Step 502 The final determination result is output in consideration of the identification result of each acquired image.
  • a majority decision of the identification result of each image may be obtained, or the determination result may be obtained in consideration of the reliability obtained simultaneously with the identification result. It is to be noted that the lower the traveling speed of the host vehicle, the more image identification results can be obtained, and the less blur of the image, the more advantageous the situation. Thereafter, the processing moves to the next step 503.
  • Step 503 As a first check, the degree of overlap between the marker candidate and the three-dimensional object recognized by the three-dimensional object recognition unit 112 is checked. Check the inclusion relationship between the sign candidate and the three-dimensional object. If all the sign candidates are included in the three-dimensional object, judge that it is unlikely that the sign is a road sign installed on the road and do not output it as a sign result. And Thereafter, the process ends.
  • Step 504 This step is a process for detecting a part of a sign candidate that can be recognized as a road sign in step 503 but is not actually a road sign (that is, a determination omission in step 503). For example, it is determined whether the position is outside the left and right sides of the image.
  • the shielding object refers to disparity information that could not be compared with the database relating to the three-dimensional object by the three-dimensional object recognition unit 112 and was not recognized as a predetermined three-dimensional object.
  • One typical example of the parallax information treated as a shielding object is a predetermined three-dimensional object which is actually a predetermined three-dimensional object and which is not completely recognized in the captured image although the parallax information is input.
  • Step 505 The sign judgment 213 outputs a sign judgment result indicating that the sign candidate is a road sign. Thereafter, the process ends.
  • FIG. 4A is a diagram of an example of a road sign candidate provided behind a bus.
  • the bus 601 includes a marker candidate 603 and a marker candidate 604 on the rear surface.
  • the rear surface of the bus 601 is recognized as a three-dimensional object 602 by the camera device 100.
  • the sign recognition device 1 of the present invention is unlikely to be a road sign set on the road in step 503 of FIG. And suppresses output as a sign recognition result.
  • FIG. 4A it is identified that the sign candidate 603 and the sign candidate 604 are not road signs as described above, and a false report to the occupant is avoided.
  • FIG. 5 is a diagram of road sign candidates provided on a road.
  • the marker candidate 701 is not included in the three-dimensional object 702. Further, the marker candidate 701 is not included in the three-dimensional object 703.
  • the procedure shifts from step 503 to step 504 in FIG.
  • FIG. 6 is a diagram of another example of a road sign candidate provided behind a bus.
  • the speed compliance sticker attached to the rear surface 804 of the bus 801 is recognized as the sign candidate 803.
  • the sign candidate 803 is included in the rear surface 804 of the bus 801.
  • the sign candidate 803 which is a speed observing sticker is determined to be a road sticker in the determination of step 503 in FIG. It can be determined as a sign.
  • the entire side surface 802 of the bus 801 is shown, and is not recognized as a predetermined three-dimensional object, and is classified as a shield.
  • the determination in step 504 is satisfied in FIG. 3, and the marker candidate 803 is erroneously output to the output device 114 as a road sign. Can be avoided.
  • FIG. 7 is a top view (a model diagram showing the example of FIG. 6 from a bird's-eye view) of a road sign candidate provided behind the bus.
  • FIG. 7 looking at the positional relationship between the side 802 of the bus 801 and the sign candidate 803, if the sign candidate 803 is a road sign 805 installed on the road, this side 802 is The road sign 805 should not be reflected in the captured image because it is shielded by the bus 801 that the user owns.
  • the positional relationship between the marker candidate 803 and the side surface 802 it is possible to prevent an erroneous marker recognition result from being output as shown in step 504 of FIG.
  • the present invention is not limited to this, and one of the left camera 101 and the right camera 102 is omitted, and It is also possible to adopt a configuration in which object recognition is executed by monocular processing.
  • FIG. 3 the flow having the procedures of steps 503 and 504 has been described. However, for example, if sufficient accuracy is obtained for the authenticity determination of the road sign in the procedure of step 503, the procedure of step 504 is performed. May be omitted.
  • 1 sign recognition device 100 camera device, 101 left camera, 102 right camera, 103 image input interface, 104 image processing unit, 105 operation unit, 106 storage unit, 107 CAN interface, 108 control processing unit, 109 bus, 110 CAN , 111 sign estimation unit, 112 solid object recognition unit, 113 sign judgment unit, 114 output device, 200 camera device, 201 imaging, 202 imaging, 203 image data, 204 image data, 205 stereo image processing, 206 solid object detection, 207 Measured distance result, 208 object recognition, 209 sign recognition processing, 210 sign detection, 211 sign identification, 212 sign tracking, 213 sign judgment, 214 storage processing, 215 storage processing, 601 bus, 602 solid object, 603 Identify candidates 604 labeled candidate, 701 labeled candidate, 702 three-dimensional object, 703 three-dimensional object, 801 bus, 802 three-dimensional object, 803 labeled candidate, rear 804, 805 road signs

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

道路標識に酷似した速度遵守ステッカーなどの物体を道路標識として誤って標識認識をすることを抑制する標識認識装置を得ることを目的とする。少なくとも一つの撮像部１０１、１０２と、撮像部１０１、１０２で得た画像から標識候補６０３を推定する標識推定部１１１と、撮像部１０１、１０２の撮像範囲に含まれる立体物６０２を認識する立体物認識部１１２と、標識推定部１１１による標識候補６０３の推定に関する情報と立体物認識部１１２による立体物６０２の認識に関する情報から標識候補６０３が道路標識であるか否かを判定する標識判定部１１３と、を備えたことを特徴とする標識認識装置１。

Description

標識認識装置
　本発明は、道路標識を認識する標識認識装置に関する。
　安全運転や自動運転に向けた社会的認知度の向上により、車載カメラ装置における物体認識や距離測定への要求は高度化している。
　車載カメラ装置は、画像による視覚的な情報と、対象物への距離情報を同時に計測するため、自動車周辺の様々な対象物（人、車、立体物、白線、路面、標識など）を詳細に把握し、運転支援時の安全性の向上に寄与するデバイスである。
　車載カメラ装置における物体認識の対象の一つとして標識がある。一般に、標識認識機能は、地図情報と連携して自動運転を行う車の加速又は減速に使われる。また、先進運転支援システムの評価指標であるＥｕｒｏＮＣＡＰ（２０１６年～２０２０年アップデート）においても、速度支援システム（ＳＡＳ：Speed Assistance Systems）に関する評価項目が設けられており、その重要度は増している。
　そして、標識を認識する装置については、特許文献１に記載されている。
特開２０１７－２６４３０号公報
　車載カメラ装置の道路標識の認識機能の課題は、市街地や高速道路等の様々な走行条件下において、対象とする道路標識に対して道路標識の認識結果を出力し、道路標識ではない物体には道路標識の認識結果を出力しないという正確性を高めることにある。
　しかし、特許文献１に記載の装置は、画像処理により外観から標識を識別するため、市街地や高速道路に設置されている道路標識に酷似した看板、又は、トラック等の大型車両の背後に貼付されている速度遵守ステッカーなど、対象とする道路標識と見た目が酷似している物体についても道路標識であると誤認識してしまう可能性があった。
　本発明は、上記の問題点を解決するためになされたものであり、道路標識に酷似した速度遵守ステッカーなどの物体を道路標識として誤って標識認識をすることを抑制する標識認識装置を得ることを目的とする。
　上記目的を達成するために、本発明は、少なくとも一つの撮像部と、前記撮像部で得た画像から標識候補を推定する標識推定部と、前記撮像部の撮像範囲に含まれる所定の立体物を認識する立体物認識部と、前記標識推定部による前記標識候補の推定に関する情報と前記立体物認識部による前記立体物の認識に関する情報から前記標識候補が道路標識であるか否かを判定する標識判定部と、を備えた標識認識装置である。
　本発明に係る標識認識装置によれば、市街地や高速道路など様々な走行条件において出現する対象標識に酷似した物体に対して誤った標識認識結果を出力することを抑制することができる。
本発明の実施の形態に係る標識認識装置の概略構成を示すブロック図である。 カメラ装置による処理フロー図である。 図２の標識判定の処理内容を表すフローチャートである。 バスの背後に設けられた道路標識候補の一例の図である。 標識候補の拡大画像 標識候補の拡大画像 道路上に設けられた道路標識候補の図である。 バスの背後に設けられた道路標識候補の他の例の図である。 バスの背後に設けられた道路標識候補の上面図である。
　－システム構成－
　図１は、本発明の実施の形態に係る標識認識装置の概略構成を示すブロック図である。図１に示されるように、本実施の形態に係る標識認識装置１は、車両に搭載され車両前方の撮影対象領域の画像処理に基づいて車外環境を認識する装置である。標識認識装置１は、画像処理により例えば、道路の白線、歩行者、車両、その他の立体物、信号機、道路標識、点灯ランプなどの認識を行い、道路標識の真偽を判定する機能を持つ。その他、当該標識認識装置１を搭載した自己の車両のブレーキ及びステアリングなどの調整を行う機能も備え得るが、この機能に関しては省略可能である。
　標識認識装置１は車両に搭載された道路標識の認識システムであり、カメラ装置１００、ＣＡＮ（Controller Area Network）１１０、出力装置１１４等を備えている。
　カメラ装置１００は、左カメラ１０１、右カメラ１０２、画像入力インタフェース１０３、画像処理部１０４、演算処理部１０５、記憶部１０６、ＣＡＮインタフェース１０７、制御処理部１０８、及びバス１０９を備えている。
　画像入力インタフェース１０３、画像処理部１０４、演算処理部１０５、記憶部１０６、ＣＡＮインタフェース１０７、制御処理部１０８は、単一又は複数のコンピュータユニットにより構成することができる。本実施形態においては単一のコンピュータユニットで構成した場合を例示しており、画像処理部１０４、制御処理部１０８、記憶部１０６、演算処理１０５、画像入力インタフェース１０３、及びＣＡＮインタフェース１０７は、カメラ装置１００の内部バス１０９を介して相互に接続されている。
　また、カメラ装置１００は、前述したＣＡＮ１１０を介して他のコンピュータユニットや出力装置１１４に接続されている。以下、各部について順次説明していく。
　左カメラ１０１と右カメラ１０２は、画像情報を取得するために左右に配置されている。左カメラ１０１と右カメラ１０２は左右に設定間隔を空けて車載されており、所定領域がそれぞれ視野に納まるようにしてある。
　また、画像入力インタフェース１０３は、左カメラ１０１と右カメラ１０２の撮像を制御して、撮像した画像を取り込む。画像入力インタフェース１０３を通して取り込まれた画像データは、バス１０９を通して例えば画像処理部１０４及び演算処理部１０５に送られる。
　画像処理部１０４は、左カメラ１０１の撮像素子から得られる第一の画像と、右カメラ１０２の撮像素子から得られる第二の画像とを比較して、それぞれの画像に対して撮像素子に起因するデバイス固有の偏差の補正、及びノイズ補間などの画像補正を行い、これを記憶部１０６に記憶する。さらに、第一の画像及び第二の画像の間で、相互に対応する箇所を計算して、視差情報（同一点を異なった二点から眺めた時に見える方向の違い、すなわち二つの方向の間の角度の情報）を計算し、これを記憶部１０６に記憶する。
　演算処理部１０５は、標識推定部１１１と立体物認識部１１２と標識判定部１１３を有する。
　標識推定部１１１は、左カメラ１０１及び右カメラ１０２で撮像され記憶部１０６に蓄えられた画像から標識候補を推定する。ここで標識候補の推定の基礎とする画像は、左カメラ１０１で撮影された画像、右カメラ１０２で撮影された画像のいずれでも良く、また双方のカメラで撮影された画像を用いても良い。推定方法に関しては、例えば画像処理により認識された形状を例えば記憶部１０６に格納された道路標識のデータベースと照合し、いずれかの道路標識との合致度が一定以上のものを道路標識の候補と推定する。
　立体物認識部１１２は、画像処理部１０４で演算した視差情報から左カメラ１０１及び右カメラ１０２の撮像範囲に含まれる立体物を認識する。具体的には、左カメラ１０１及び右カメラ１０２で得た画像からステレオ画像処理によって立体物を認識する。立体物認識部１１２は、記憶部１０６に蓄えられた画像及び視差情報（画像上の各点に対する距離情報）を使い、車両周辺の環境を知覚するために必要な所定の立体物の認識を行う。認識対象の立体物は、人、車、その他の障害物、例えば信号機、道路標識、車のテールランプ及びヘッドライトなどである。これら対象となる立体物のデータベース（例えば識別するための基準データ）は例えば記憶部１０６に格納されており、立体物認識部１１２は入力された撮影画像について各被写体の切り出し画像とその視差情報等からデータベースを基に立体物を認識する。
　標識判定部１１３は、標識推定部１１１による標識の推定に関する情報と立体物認識部１１２による立体物の認識に関する情報から、標識推定部１１１で推定した標識候補が道路標識であるか否かを判定する。演算処理部１０５による道路標識の認識結果や中間的な計算結果（例えば標識推定部１１１や立体物認識部１１２の演算結果等）は適宜、記憶部１０６に記憶される。この判定アルゴリズムについては後述する。
　記憶部１０６は例えばメモリであり、画像処理部１０４や演算処理部１０５で得られた情報等を記憶する。
　ＣＡＮインタフェース１０７はＣＡＮ１１０に対する入出力部であり、カメラ装置１００の演算情報は、このＣＡＮインタフェース１０７を介してＣＡＮ１１０に出力され、ＣＡＮ１１０を介して自己の車両の制御システムに出力される。具体的には、ＣＡＮインタフェース１０７は、ＣＡＮ１１０を介して、標識判定部１１３が標識候補を道路標識であると判定した場合に出力装置１１４に標識認識結果を出力する。
　制御処理部１０８は、以上のカメラ装置１００の動作について、各処理部が異常動作を起こしていないか、又はデータ転送時にエラーが発生していないかどうかなどを監視して異常動作を防ぐ役割を果たす。
　以上のようにカメラ装置１００で演算された道路標識の判定結果等は、ＣＡＮ１１０を介して出力装置１１４や他の車載コンピュータユニット（例えば車両制御を実行するユニット）に送信される。出力装置１１４は運転室に搭載された例えばモニタやランプ、ブザー、スピーカ等の表示出力や音声出力をする装置であり、カメラ装置１００から入力された情報を基に道路標識を視覚的又は聴覚的に乗員に報知する。報知の方法は単に道路標識の有無のみを知らせるようにすることもできるし、道路標識の種類も併せて知らせるようにすることもできる。また、視覚的出力態様と聴覚的出力態様の少なくとも一方を選択できる構成とすることもできる。他のコンピュータユニットで車両のブレーキやステアリングの制御を実行する場合には、他のコンピュータユニットによる制御の基礎情報にカメラ装置１００で演算された道路標識の情報等が付加される。
　－処理フロー－
　次に図２を基にカメラ装置１００による処理フローを説明する。図２は、カメラ装置１００による処理フロー図である。図２に示した車載カメラ装置２００は、図１のカメラ装置１００を模式的に表したものである。まず左カメラ１０１による撮像２０１と右カメラ１０２による撮像２０２が行われる。そして、左カメラ１０１で撮像された画像データ２０３及び右カメラ１０２で撮像された画像データ２０４のそれぞれについて、撮像素子が持つ固有の癖を吸収するための補正などの画像処理や、前方の撮像した物体に対して測定距離（視差情報）を計算するなどのステレオ画像処理２０５を行う。このステレオ画像処理２０５については、画像処理部１０４により実行される。
　次に、ステレオ画像又は諧調画像の所定の切り出しなどの画像処理である立体物検知２０６を行う。立体物検知２０６の結果などは、図１の記憶部１０６に記憶される。その後、ステレオ画像処理２０５で得られた測定距離結果２０７と立体物検知２０６の処理結果とを基に、画像処理（物体認識のための計算処理）である物体認識２０８の処理が実施される。これら立体物検知２０６及び物体認識２０８の処理は、図１の立体物認識部１１２で行われる。前述した通り、ここで認識される立体物は、人、車、その他の障害物、例えば信号機、道路標識、車のテールランプ及びヘッドライトなどである。その後、立体物検知２０６及び物体認識２０８の処理で得られた物体認識結果２１６（認識された立体物の情報及び立体物とは認識されなかったその他の視差情報を含む）を記憶部１０６に保存する保存処理２１５が行われる。本実施の形態では、立体物認識部１１２の物体認識結果２１６は記憶部１０６に保存されると同時に、ＣＡＮ１１０を介して他のコンピュータユニットや標識判定部１１３に出力される。
　カメラ装置１００においては以上の物体認識の処理と並行して、単眼画像を入力として標識認識処理２０９が実施される。標識認識処理２０９は、入力画像から円形物体を抽出する標識検知２１０、円形物体の種別を特定する標識識別２１１、画像間での対応付けを行う標識追跡２１２、及び複数フレームでの総合的な判断を下す標識判定２１３の４つの処理で構成される。
　すなわち、本実施形態では判定対象とする道路標識の外形として円形を想定しており、標識検知２１０の処理では、例えば画像処理により真円との一致度が一定以上と推定される形状が標識候補として検出される。続く標識識別２１１の処理では、標識検知２１０の処理で検出した標識候補が例えば記憶部１０６に格納された標識のデータベース（認識辞書）と照合され、標識候補の種別（標識候補がどの道路標識の候補であるのか）が識別される。標識追跡２１２の処理では、カメラ視野の中で車両の走行等に伴って変位し得る標識候補が、連続するフレーム（カメラ画像）間における画像処理による対応付けにより追跡される。ここまでの標識検知２１０、標識識別２１１、標識追跡２１２までの各処理が例えば標識推定部１１１により実行される。
　標識判定２１３の処理では、例えば複数フレームの画像から標識候補が本物の道路標識であるかが判定される。この標識判定２１３の処理は標識判定部１１３により実行され、立体物認識部１１２による物体認識２０８の処理で得られた物体認識結果２１６に基づいて実行される点が特徴である。本実施形態では、立体物認識部１１２で認識された立体物その他の視差情報と標識推定部１１１で推定された標識候補との包含関係及び位置関係から真の道路標識か否かが判定される。この標識判定の処理の詳細については後述する。
　最後に、以上の標識認識処理２０９で得られた標識認識結果を記憶部１０６に保存する保存処理２１４が行われる。標識認識処理２０９による標識認識結果は記憶部１０６に保存されると同時に、ＣＡＮ１１０を介して他のコンピュータユニットや出力装置１１４に出力される。本実施形態では、対象標識と酷似した物体（つまり真の道路標識ではないと推定される物体）については、出力装置１１４に標識認識結果が出力されることはなく、真の道路標識と推定される物体についてのみ出力装置１１４に標識認識結果が出力されて乗員に報知される。
　図３は、図２の標識判定の処理内容を表すフローチャートである。以下、図３に基づいて本発明の標識判定２１３の処理フローについて説明する。
　（ステップ５０１）
　図２における標識追跡２１２の結果を入力として、複数の画像での標識候補の識別結果を得る。その後、処理は、次のステップ５０２へ移行する。
　（ステップ５０２）
　取得した各画像での識別結果を考慮し、最終的な判定結果を出力する。判定方法としては、各画像の識別結果の多数決を取得しても良いし、識別結果と同時に得られる信頼度まで考慮して判定結果を取得しても良い。なお、自車両の走行速度が遅いほど多くの画像の識別結果が取得可能であり、また、画像ボケも少ないために有利な状況となる。その後、処理は、次のステップ５０３へ移行する。
　（ステップ５０３）
　第一の確認として標識候補と、立体物認識部１１２で認識された立体物との重なり具合をチェックする。標識候補と立体物の包含関係を確認し、標識候補が立体物に全て包含されていた場合、道路上に設置された道路標識である可能性は低いと判断し、標識結果としては出力しないこととする。その後、処理は終了する。
　一方、標識候補が立体物に包含されていない場合は、道路上に設置されている道路標識であると判定し、処理は、ステップ５０４へ移行する。
　（ステップ５０４）
　本ステップはステップ５０３では道路標識と認識され得るが実際には道路標識ではない標識候補（つまりステップ５０３の判定漏れ）の一部を検出するための処理であり、標識候補が遮蔽物より外側（例えば画像内の左右の外側）にあるか判定する。遮蔽物とは、立体物認識部１１２で立体物に関するデータベースと照合できず所定の立体物とは認識されなかった視差情報のことをいう。遮蔽物と扱われる視差情報の１つの典型例は、現実には所定の立体物であって視差情報は入力されたものの撮影画像に全体が映っておらず所定の立体物と認識できない被写体の一部であって、撮影画像に全部が映っている部分（図６のバス８０１の側面８０２等）である。仮に遮蔽物が自車両（カメラ）と現実の道路標識の間にある場合、道路標識の全体は映らず標識候補は真の道路標識ではない可能性が高い。このような事象を識別するために、標識候補が遮蔽物よりも画像内において左右方向の外側に位置しているか（標識候補の左右方向の内側に存在する遮蔽物が存在しないか）を判定する。標識候補が遮蔽物よりも外側に位置している場合には、図６及び図７後述する例のように、その標識候補が道路上に設置された道路標識である可能性は低いと判断し、標識結果としては出力しないこととする。つまり、標識候補と自己の車両との間に遮蔽物が位置する場合には、標識候補は道路標識でないと判定される。その後、処理は終了する。
　一方、標識候補が遮蔽物より外側に位置していない場合（標識候補の左右方向の内側に遮蔽物が存在しない場合）は、道路上に設置されている道路標識であると判定し、処理は、ステップ５０５へ移行する。
　（ステップ５０５）
　標識判定２１３は、標識候補が道路標識である旨の標識判定結果を出力する。その後、処理は終了する。
　－実施例１－
　図４Ａは、バスの背後に設けられた道路標識候補の一例の図である。図４Ａに示されるように、バス６０１は、後面に標識候補６０３及び標識候補６０４を備えている。なお、バス６０１の後面は、カメラ装置１００によって立体物６０２として認識されている。
　欧州においてトラック及びバスなどの大型車両の後面には、この車両は一般道では標識候補６０３に示された８０ｋｐｈで走行し、高速道路では標識候補６０４に示された１００ｋｐｈで走行するということを示す、速度遵守ステッカーが貼りつけられている。
　図４Ｂ、及び図４Ｃの標識候補６０３及び標識候補６０４の拡大画像に示されるように、これらの物体は速度制限標識に酷似しているため従来のカメラ装置の処理では、標識認識結果として出力されてしまう。
　一方で、本発明の標識認識装置１は、標識候補６０３及び標識候補６０４が立体物６０２に包含されているので、図３のステップ５０３において道路上に設置された道路標識である可能性は低いと判断し、標識認識結果としては出力することを抑制する。図４Ａの例では、このように標識候補６０３及び標識候補６０４が道路標識ではないことが識別され、乗員への誤報が回避される。
　－実施例２－
　図５は、道路上に設けられた道路標識候補の図である。図５に示されるように、標識候補７０１は、立体物７０２に包含されていない。また、標識候補７０１は、立体物７０３にも包含されていない。この例の場合、標識候補７０１が立体物７０２にも立体物７０３にも包含されていないため、図３のステップ５０３からステップ５０４に手順が移行する。ステップ５０４においては標識候補７０１が遮蔽物より画面内で外側にあるかが判定されるが、遮蔽物が検出されていないため判定が満たされることなくステップ５０５に手順が移り、標識候補７０１が道路上に設置されている真の道路標識として出力装置１１４に出力される。
　－実施例３－
　図６は、バスの背後に設けられた道路標識候補の他の例の図である。図６の例では、バス８０１の後面８０４に貼り付けられた速度遵守ステッカーが標識候補８０３として認識されている。バス８０１のような大型車両が隣の車線を走行している場合、又は大型車両が路肩に停車している場合、バス８０１の後面８０４の位置がカメラ装置１００の撮像範囲を逸脱して、後面８０４の全部が映らずバス８０１がバスとして認識されない。図６の例ではバス８０１の後面８０４に標識候補８０３が包含されているが、後面８０４が所定の立体物として認識されないため図３のステップ５０３の判定では速度遵守ステッカーである標識候補８０３が道路標識と判定され得る。
　しかし、バス８０１の側面８０２については全体が映っており、所定の立体物とは認識されずに遮蔽物として分類される。図６の例では遮蔽物である側面８０２の外側に標識候補８０３が位置していることから、図３においてステップ５０４の判定が満たされ、標識候補８０３が誤って道路標識として出力装置１１４に出力されることが回避できる。
　図７は、バスの背後に設けられた道路標識候補の上面図（図６の例を俯瞰して表したモデル図）である。図７に示されるように、バス８０１の側面８０２と標識候補８０３の位置関係を見ると、仮に標識候補８０３が道路上に設置されている道路標識８０５であった場合には、この側面８０２を持つバス８０１に遮蔽されて道路標識８０５は撮影画像に映らないはずである。このように、標識候補８０３と側面８０２の位置関係を確認することで、図３のステップ５０４に示されるように、誤った標識認識結果を出力することを防ぐことができる。
　－変形例－
　なお、本実施の形態でカメラ装置１００が左カメラ１０１及び右カメラ１０２を備えた例を示したが、本発明はこれに限らず左カメラ１０１又は右カメラ１０２のいずれか一方を省略し、立体物認識を単眼処理で実行する構成とすることもできる。カメラをまた、図３の例ではステップ５０３，５０４の手順を持つフローを説明したが、例えばステップ５０３の手順で道路標識の真偽判定について十分な精度が得られる場合には、ステップ５０４の手順は省略しても良い。
　１　標識認識装置、１００　カメラ装置、１０１　左カメラ、１０２　右カメラ、１０３　画像入力インタフェース、１０４　画像処理部、１０５　演算処理部、１０６　記憶部、１０７　ＣＡＮインタフェース、１０８　制御処理部、１０９　バス、１１０　ＣＡＮ、１１１　標識推定部、１１２　立体物認識部、１１３　標識判定部、１１４　出力装置、２００　カメラ装置、２０１　撮像、２０２　撮像、２０３　画像データ、２０４　画像データ、２０５　ステレオ画像処理、２０６　立体物検知、２０７　測定距離結果、２０８　物体認識、２０９　標識認識処理、２１０　標識検知、２１１　標識識別、２１２　標識追跡、２１３　標識判定、２１４　保存処理、２１５　保存処理、６０１　バス、６０２　立体物、６０３　標識候補、６０４　標識候補、７０１　標識候補、７０２　立体物、７０３　立体物、８０１　バス、８０２　立体物、８０３　標識候補、８０４　後面、８０５　道路標識

Claims (7)

  1. 　少なくとも一つの撮像部と、
    　前記撮像部で得た画像から標識候補を推定する標識推定部と、
    　前記撮像部の撮像範囲に含まれる所定の立体物を認識する立体物認識部と、
    　前記標識推定部による前記標識候補の推定に関する情報と前記立体物認識部による前記立体物の認識に関する情報から前記標識候補が道路標識であるか否かを判定する標識判定部と、を備えたことを特徴とする標識認識装置。
  2. 　請求項１に記載の標識認識装置において、
    　前記標識推定部は、単一の前記撮像部で得られた画像から単眼画像処理によって前記標識候補の推定をする、ことを特徴とする標識認識装置。
  3. 　請求項１に記載の標識認識装置において、
    　前記立体物認識部は、複数の前記撮像部で得た画像からステレオ画像処理によって前記立体物を認識することを特徴とする標識認識装置。
  4. 　請求項３に記載の標識認識装置において、
    　前記標識判定部は、
    　前記立体物認識部で認識した前記立体物と、前記標識推定部で取得した前記標識候補の包含関係を判定し、前記標識候補が前記立体物に包含される場合には、前記標識候補は道路標識でないと判定することを特徴とする標識認識装置。
  5. 　請求項３に記載の標識認識装置において、
    　前記標識判定部は、
    　前記ステレオ画像処理で前記立体物と認識されなかった視差情報である遮蔽物と、前記標識推定部で取得した前記標識候補との位置関係を判定し、前記標識候補が前記遮蔽物の外側に位置する場合には、前記標識候補は道路標識でないと判定することを特徴とする標識認識装置。
  6. 　請求項１に記載の標識認識装置において、
    　前記標識判定部による標識認識結果を出力する出力装置をさらに備えた、ことを特徴とする標識認識装置。
  7. 　請求項６に記載の標識認識装置において、
    　前記出力装置は、モニタ又はブザーであることを特徴とする標識認識装置。
PCT/JP2019/036681 2018-10-04 2019-09-19 標識認識装置 Ceased WO2020071133A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201980063009.8A CN112840349B (zh) 2018-10-04 2019-09-19 标志识别装置
JP2020550281A JP7145227B2 (ja) 2018-10-04 2019-09-19 標識認識装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018189045 2018-10-04
JP2018-189045 2018-10-04

Publications (1)

Publication Number Publication Date
WO2020071133A1 true WO2020071133A1 (ja) 2020-04-09

Family

ID=70055884

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/036681 Ceased WO2020071133A1 (ja) 2018-10-04 2019-09-19 標識認識装置

Country Status (3)

Country Link
JP (1) JP7145227B2 (ja)
CN (1) CN112840349B (ja)
WO (1) WO2020071133A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017057043A1 (ja) * 2015-09-30 2017-04-06 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
JP2017091283A (ja) * 2015-11-12 2017-05-25 三菱電機株式会社 運転支援装置
JP2017091232A (ja) * 2015-11-11 2017-05-25 日立オートモティブシステムズ株式会社 物体検出装置
JP2017228131A (ja) * 2016-06-23 2017-12-28 日産自動車株式会社 反射物標検出方法及び反射物標検出装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10200784A1 (de) * 2002-01-11 2003-07-31 Audi Ag Kraftfahrzeug
JP2010086268A (ja) * 2008-09-30 2010-04-15 Mazda Motor Corp 車両用表示体認識装置
DE102010062633A1 (de) * 2010-12-08 2012-06-14 Robert Bosch Gmbh Verfahren und Vorrichtung zur Erkennung von Verkehrszeichen in der Umgebung eines Fahrzeuges und Abgleich mit Verkehrszeicheninformationen aus einer digitalen Karte
US20140025227A1 (en) * 2011-04-08 2014-01-23 Toyota Jidosha Kabushiki Kaisha Road shape estimating system
JP6251577B2 (ja) * 2014-01-17 2017-12-20 矢崎エナジーシステム株式会社 車載情報記録装置
US10402665B2 (en) * 2014-05-14 2019-09-03 Mobileye Vision Technologies, Ltd. Systems and methods for detecting traffic signs
CN105740877A (zh) * 2014-12-09 2016-07-06 比亚迪股份有限公司 交通标志的识别方法、装置和车辆
JP6062473B2 (ja) * 2015-03-17 2017-01-18 本田技研工業株式会社 道路標識判断装置及び道路標識判断方法
JP6381137B2 (ja) * 2015-07-21 2018-08-29 日本電信電話株式会社 標識検出装置、方法、及びプログラム
JP6319712B2 (ja) * 2015-09-15 2018-05-09 マツダ株式会社 標識認識表示装置
DE102016003424B4 (de) * 2016-03-21 2023-09-28 Elektrobit Automotive Gmbh Verfahren und Vorrichtung zum Erkennen von Verkehrszeichen
JP6414567B2 (ja) * 2016-06-02 2018-10-31 トヨタ自動車株式会社 車両用制限速度表示装置
US10545029B2 (en) * 2016-12-30 2020-01-28 DeepMap Inc. Lane network construction using high definition maps for autonomous vehicles

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017057043A1 (ja) * 2015-09-30 2017-04-06 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
JP2017091232A (ja) * 2015-11-11 2017-05-25 日立オートモティブシステムズ株式会社 物体検出装置
JP2017091283A (ja) * 2015-11-12 2017-05-25 三菱電機株式会社 運転支援装置
JP2017228131A (ja) * 2016-06-23 2017-12-28 日産自動車株式会社 反射物標検出方法及び反射物標検出装置

Also Published As

Publication number Publication date
CN112840349B (zh) 2024-08-06
CN112840349A (zh) 2021-05-25
JPWO2020071133A1 (ja) 2021-09-02
JP7145227B2 (ja) 2022-09-30

Similar Documents

Publication Publication Date Title
CN114375467B (zh) 用于检测紧急车辆的系统和方法
JP4420011B2 (ja) 物体検知装置
JP6944308B2 (ja) 制御装置、制御システム、および制御方法
US9180814B2 (en) Vehicle rear left and right side warning apparatus, vehicle rear left and right side warning method, and three-dimensional object detecting device
JP5345350B2 (ja) 車両の運転支援装置
KR101075615B1 (ko) 주행 차량의 운전자 보조 정보 생성 장치 및 방법
US10276040B2 (en) Method for tracking a target vehicle approaching a motor vehicle by means of a camera system of the motor vehicle, camera system and motor vehicle
CN108263279A (zh) 基于传感器整合的行人检测和行人碰撞避免装置及方法
CN202624201U (zh) 一种车用行人检测智能控制装置
CN202169907U (zh) 车外环境识别装置
CN102542843A (zh) 防止车辆碰撞的预警方法及装置
US20200410788A1 (en) Management apparatus, vehicle, inspection apparatus, and vehicle inspection system and inforamtion processing method therefor
US20170309181A1 (en) Apparatus for recognizing following vehicle and method thereof
CN102673560A (zh) 识别拐弯机动的方法和驾驶员辅助系统
JP2021513159A (ja) 車線を変更するときに、自動車両と、車両の隣の走行車線にある２次物体との間の衝突リスクを検知するためのシステムおよび方法
CN115877343A (zh) 基于雷达目标跟踪的人车匹配方法、装置和电子设备
CN110969843B (zh) 一种具抑制策略的交通标志识别报警方法
CN109733283A (zh) 基于ar的被遮挡障碍物识别预警系统及识别预警方法
US20210287024A1 (en) Systems and methods for traffic light identification
CN112149560B (zh) 一种车道偏离检测方法
CN109515316A (zh) 一种交叉路口智能驾驶辅助系统及方法
CN115527184A (zh) 基于摄像头的汽车盲区检测系统
CN115662112A (zh) 一种碰撞事件处理方法，处理系统，路侧单元和存储介质
KR20160131196A (ko) 장애물 감지 장치
CN109895694B (zh) 一种车道偏离预警方法、装置及车辆

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19869556

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020550281

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19869556

Country of ref document: EP

Kind code of ref document: A1