WO2023037458A1 - 点検システム、点検方法、及び飛行装置 - Google Patents

点検システム、点検方法、及び飛行装置 Download PDF

Info

Publication number
WO2023037458A1
WO2023037458A1 PCT/JP2021/033055 JP2021033055W WO2023037458A1 WO 2023037458 A1 WO2023037458 A1 WO 2023037458A1 JP 2021033055 W JP2021033055 W JP 2021033055W WO 2023037458 A1 WO2023037458 A1 WO 2023037458A1
Authority
WO
WIPO (PCT)
Prior art keywords
tunnel
flight device
flight
image
inspection
Prior art date
Application number
PCT/JP2021/033055
Other languages
English (en)
French (fr)
Inventor
洋介 櫻田
大輔 内堀
利基 中西
勇臣 濱野
一旭 渡邉
淳 荒武
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to JP2023546637A priority Critical patent/JPWO2023037458A1/ja
Priority to PCT/JP2021/033055 priority patent/WO2023037458A1/ja
Publication of WO2023037458A1 publication Critical patent/WO2023037458A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions

Definitions

  • the present disclosure relates to an inspection system, inspection method, and flight device for equipment in a tunnel using a flight device.
  • a communication tunnel (hereinafter referred to as “tunnel”) is a structure that houses communication equipment that is occupied underground.
  • Communication facilities in tunnels like other social infrastructure facilities, require appropriate maintenance and management. For this reason, it is necessary to grasp the state through periodic inspections and to take measures according to deterioration.
  • communication manholes (hereinafter referred to as "MH"), which are smaller in scale than tunnels, are automatically inspected by flying equipment such as UAVs (Unmanned Aerial Vehicles) including drones for the purpose of manpower saving. Flight technology is established.
  • UAVs Unmanned Aerial Vehicles
  • Flight technology is established.
  • Patent Literature 1 describes an unmanned aircraft control system that controls an unmanned aircraft equipped with a sensor for detecting a distance to an object, and a method of controlling the unmanned aircraft control system.
  • FIG. 17A is a schematic diagram explaining an image of automatically flying the flight device within the MH.
  • rs indicates the road surface above the MH
  • fp indicates the flight path of the UAV
  • sw indicates the standing water below the MH. Lighting is not installed on the ceiling of MH.
  • FIG. 17B is a schematic diagram showing an image of automatically flying the flying device into the tunnel. Lights la are arranged at regular intervals on the ceiling of the tunnel. fp indicates the flight path of the flight device.
  • FIG. 17C is a schematic diagram showing the interior of the MH
  • FIG. 17D is a cross-sectional view of the tunnel. In FIG. 17D, ufb is the upper floor surface of the tunnel, sfb is the side wall of the tunnel, ufb is the lower floor surface of the tunnel, and ft is the floor of the tunnel. Dust du is deposited on the tunnel floor ft.
  • the differences between the MH and the flight device when flying inside the tunnel are as follows: (i) The tunnel has a larger space than the MH, and when the flight device flies inside the MH, the space shown in Fig. 17C As shown in FIG. 17A, a distance of ⁇ several meters is sufficient, but in the tunnel, as shown in FIG. There is no lighting la in the tunnel, but as shown in FIG. 17B, the tunnel has lighting la, and (iii) the tunnel has a drainage function. and the presence of a large amount of dust du after drainage.
  • Establishing a method for automatically flying a flight device and inspecting communication equipment, etc. is an issue in a tunnel that is an underground structure in a non-GPS environment and has existing communication equipment such as cables.
  • it is required to establish technology such as flight speed and charging function of the flight device.
  • An object of the present invention which has been made in view of such circumstances, is to provide a system for automatically inspecting communication equipment and the like in a tunnel, which has a function of photographing images inside the tunnel and a function of controlling the automatic flight of a flight device using a sensor. It is to establish technology.
  • an automatic inspection system is an inspection system using a flight device, and includes a patterned sign installed in a tunnel and an automatic flight within the tunnel.
  • a flying device wherein the flying device performs image processing based on the image recognition result of the sensing unit for image recognition of the sign, and generates a control signal for controlling a flight position;
  • a control unit, a second control unit that converts the control signal into a drive signal that drives the flight device, and an inspection image capturing unit that captures an inspection image of communication equipment installed in the tunnel. inspection system.
  • a flying device includes a sensing unit that recognizes an image of a patterned sign installed in a tunnel, and image processing based on the image recognition result of the sensing unit. and generating a control signal for controlling the flight position; A second control unit that converts the control signal into a drive signal for driving the flight device, a drive unit that drives the flight device based on the drive signal, and an inspection image of communication equipment installed in the tunnel. and an inspection image capturing unit that captures the
  • an inspection method is an inspection method using a flying device, and includes a step of recognizing an image of a patterned sign installed in a tunnel using the flying device. performing image processing based on the image recognition result to generate a control signal for controlling the flight position; converting the control signal into a driving signal for driving the flight device; a step of driving a flying device; and a step of photographing an inspection image of communication equipment installed in the tunnel.
  • the flight device can fly automatically.
  • FIG. 1 is a block diagram showing a configuration example of an inspection system according to an embodiment of the present disclosure
  • FIG. 1 is a block diagram showing a configuration example of a flight device according to an embodiment of the present disclosure
  • FIG. 1 is a diagram showing an overview of an inspection system using an automatically flying flight device
  • FIG. 2 illustrates an image sensing environment within a tunnel
  • 4 is a table for explaining standards for average illuminance in a tunnel
  • FIG. 10 is a table for explaining standards for fluorescent lamp arrangement intervals in the general section
  • FIG. 4 is a table for explaining the standard of fluorescent lamp output for each tunnel
  • FIG. 4 is a diagram showing an image capturing environment using illumination in a tunnel
  • It is a figure which shows the installation position of a sign
  • FIG. 4 is a cross-sectional view of a configuration for condensing light using a reflective lens;
  • FIG. 4 is a diagram showing the structure of a label;
  • FIG. 4 is a diagram showing the structure of a label;
  • It is a figure which shows the installation position of a sign
  • FIG. 2 is a block diagram showing a configuration example of a flight device further provided with a charging function
  • 4 is a flow chart showing an example of an inspection method executed by an inspection system according to one embodiment
  • 4 is a block diagram showing a schematic configuration of a computer functioning as a first control section
  • FIG. FIG. 4 is a schematic diagram for explaining an image of automatically flying the flight device within the MH
  • FIG. 2 is a schematic diagram showing an image of automatically flying a flying device into a tunnel
  • FIG. 4 is a schematic diagram showing the inside of the MH; It is a cross-sectional view of a tunnel.
  • FIG. 1 is a block diagram showing a configuration example of an inspection system according to one embodiment of the present disclosure.
  • An inspection system 1 includes a marker 10 and a flight device 20, as shown in FIG.
  • the inspection system 1 uses the flight device 20 to inspect the intra-tunnel communication equipment.
  • the sign 10 is a patterned sign installed in the tunnel 40 .
  • an inverted triangle figure above the flying device 20 indicates that the flying device 20 recognizes the mark 10 as an image.
  • the flight device 20 controls the flight position based on image information obtained by image recognition of the marker 10 .
  • An upper light may be installed on the main body of the flying device 20 in order to facilitate image recognition of the sign 10 .
  • the sign 10 and 11 are diagrams showing the structure of the sign.
  • the sign 10 is a structure installed on the tunnel ceiling 41 .
  • the sign 10 may be a triangular prism structure.
  • the surface of the sign 10 may have a pattern that allows image processing based on luminance (for example, a checkered pattern as shown in FIG. 10), or a pattern that allows image recognition based on shape (edge). (For example, as shown in FIG. 11, an uneven structure) may be provided.
  • a material of the sign 10 a plastic or the like is used on which it is easy to form an uneven structure on the surface.
  • FIG. 2 is a block diagram showing a configuration example of a flight device according to an embodiment of the present disclosure.
  • the flight device 20 includes a sensing section 21 , a first control section 22 , a second control section 23 , an inspection image capturing section 24 and a driving section 25 .
  • the flight device 20 automatically flies in the tunnel.
  • the sensing unit 21 performs image recognition of the patterned signs 10 installed in the tunnel.
  • the sensing unit 21 transmits image information, which is the image recognition result, to the first control unit 22 .
  • the sensing unit 21 is a camera that recognizes the image of the sign 10 .
  • the camera may be a smart camera or an AI camera.
  • the first control unit 22 calculates the optical flow using the image recognition result by the sensing unit 21 and generates a control signal for controlling the flight position based on the optical flow.
  • the optical flow is a vector field representing the movement of an object in an image that is temporally differentiable.
  • optical flow is the motion of a part that is captured based on the parts that are commonly captured in the image using two or more images, or the overall motion that is estimated and vectorized. It is the one that was made.
  • the first control unit 22 transmits a control signal to the second control unit 23 and also transmits a command to photograph the communication equipment 30 in the tunnel 40 to the inspection image photographing unit 24 .
  • the second control section 23 converts the control signal generated by the first control section 22 into a drive signal for driving the flight device 20 .
  • the second control section 23 transmits a drive signal to the drive section 25 .
  • the inspection image capturing unit 24 captures an inspection image of the communication equipment 30 installed in the cable tunnel 40 .
  • the inspection image capturing unit 24 includes a camera (second camera) that captures an inspection image of the communication equipment, in addition to the camera (first camera) that recognizes the image of the sign 10 of the sensing unit 21 described above.
  • the inspection image capturing unit 24 may record the captured inspection image in a storage medium provided inside or outside the inspection image capturing unit 24 .
  • the drive unit 25 drives the flight device 20 based on the drive signal generated by the second control unit 23.
  • FIG. 3 is a diagram showing an overview of an inspection system using a flight device 20 that automatically flies.
  • the tunnel ceiling 41 is provided with a sign 10 and an illumination 44 inside the tunnel.
  • the flight position is controlled and automatic flight is performed, and the communication equipment installed in the tunnel 40 and the inner wall (ceiling, side wall, floor surface) of the tunnel 40 using the second camera Take an inspection image.
  • Arrows in the drawing indicate the flight path (direction) of the flight device 20 .
  • the tunnel bottom 42 is provided with a floor ft.
  • FIG. 4 is a diagram showing the image sensing environment within the cable tunnel 40.
  • FIG. 4 there are cables/hardware/wiring 43 on the side of the open-cut tunnel 40a.
  • the floor ft of the tunnel bottom 42 has a large amount of dust du, dirt, etc. after the drainage, which interferes with image capturing. Therefore, the optimal sensing location for the first camera in the tunnel is the tunnel ceiling 41 .
  • an inspection image of the cable/hardware/wiring 43 on the side of the cable tunnel 40a is captured by the second camera.
  • FIG. 5A is a table explaining the average illuminance standard in the tunnel.
  • the average illuminance inside the tunnel is 15 lux in the general part (the part where the tunnel is a general rectangular parallelepiped shape) and 30 lux in the special part (the structural part of the tunnel that allows entry and exit from the ground).
  • FIG. 5B is a table for explaining the standard of the fluorescent lamp arrangement interval in the general part.
  • FIG. 5B stipulates that fluorescent lamps for general illumination are installed at intervals of 10 m and emergency fluorescent lamps are installed at intervals of 50 m.
  • FIG. 5C is a table explaining the standard of the fluorescent lamp output for each tunnel. The output of fluorescent lamps by tunnel is specified as 20W or 40W.
  • “Kugata” refers to a tunnel that has a general rectangular parallelepiped shape. “Circular” means that the cross-section of the tunnel is circular. “No. 1" and “No. 2" refer to the size of the cross section.
  • the "parallel” installation direction means that the longitudinal direction of the fluorescent lamp is the same as the longitudinal direction of the tunnel. and the longitudinal direction of the tunnel are at right angles.
  • FIG. 6 is a diagram showing an image capturing environment using lighting inside the tunnel.
  • general illumination fluorescent lamps straight tube type fluorescent lamps 44a
  • the minimum illuminance of the space is about 15 lux (lx). Therefore, it satisfies the standards of FIGS. 5A to 5C.
  • the required illuminance of the camera used for image recognition is about 3 lux (the camera performance is at least 1 lux, and the illuminance of about 3 times the camera performance is required for image recognition), so this environment is an environment where image recognition is possible. be.
  • Robust image recognition becomes possible by installing an upper light on the main body of the flight device 20 as well.
  • FIG. 7A is a diagram showing the installation positions of signs.
  • FIG. 7B is a cross-sectional view of the installation position of the sign.
  • the sign 10 is illuminated by the fluorescent lamp 44b of the tunnel ceiling 41, and is positioned so as not to be backlit when the flight device 20 takes an image. Installed.
  • Fig. 8 is a diagram showing an example in which two signs are installed on the tunnel ceiling. As shown in FIG. 8, the signs 10 are installed at two locations on the tunnel ceiling portion 41 illuminated by illumination.
  • the flight device 20 controls the flight position by recognizing images of two signs installed at two locations. Specifically, the flying device 20 recognizes the two markers 10 on the image and controls the flight positions so that they are at the same distance.
  • FIG. 9A is a diagram illustrating a configuration for condensing illumination light using a reflective lens.
  • FIG. 9B is a cross-sectional view of a configuration for collecting light using a reflective lens.
  • the flight device 20 is provided with a function of condensing the illumination light in the cable tunnel 40 using a reflecting lens 45 or the like to illuminate the marker 10. Image recognition of the sign 10 is facilitated.
  • FIG. 12 is a diagram showing the installation positions of the signs.
  • the cable tunnel ceiling 41 can secure the installation position of the sign 10 .
  • a sign 10 is newly installed on the tunnel ceiling portion 41 .
  • the tunnel ceiling part 41 has existing facilities for tunnel management (lighting 44 in the tunnel, cables, hardware, wiring 43 for management system wiring, etc.), but as an installation space for the sign 10, the tunnel management A space with a width of several tens of centimeters can be secured from the equipment.
  • FIG. 13 is a diagram explaining the charging function of the flight device.
  • the inspection system 1a further includes charging points 47 installed in the cable tunnel 40 at regular intervals.
  • the charging point 47 desirably has a function of non-contact charging by electromagnetic coupling.
  • FIG. 14 is a block diagram showing a configuration example of a flight device further provided with a charging function.
  • the flight device 20a further includes a charging section 26 that receives power from a charging point 47 during flight, thereby enabling long-term automatic flight.
  • the installation intervals of the charging points 47 are determined from the flight speed of the flight device 20 and the battery capacity. For example, if the charging point installation interval is 50 m and the speed is 0.3 m/sec, a continuous flight of about 60 m is possible for an aircraft with a continuous flight time of 180 seconds.
  • FIG. 15 is a flowchart showing an example of an inspection method executed by an inspection system according to one embodiment.
  • the sensing unit 21 performs image recognition of the sign 10 installed inside the cable tunnel 40 .
  • the first control unit 22 performs image processing based on the image recognition result by the sensing unit 21, and generates a control signal for controlling the flight position.
  • the second control unit 23 converts the control signal generated by the first control unit 22 into a drive signal for driving the flight device 20 .
  • the drive unit 25 drives the flight device 20 based on the drive signal generated by the second control unit.
  • the inspection image capturing unit 24 captures an inspection image of the communication equipment installed in the cable tunnel 40 .
  • the flight device 20 can be automatically flown even in a tunnel in a non-GPS environment.
  • the first control unit 22 included in the flight device 20 may be configured by dedicated hardware such as ASIC (Application Specific Integrated Circuit) or FPGA (Field-Programmable Gate Array), or may be configured by a processor. It may be configured to include both.
  • ASIC Application Specific Integrated Circuit
  • FPGA Field-Programmable Gate Array
  • FIG. 16 is a block diagram showing a schematic configuration of a computer that functions as the first controller 22.
  • the computer functioning as the first control unit 22 may be a general-purpose computer, a dedicated computer, a workstation, a PC (Personal Computer), an electronic notepad, or the like.
  • Program instructions may be program code, code segments, etc. for performing the required tasks.
  • the computer 100 includes a processor 110, a ROM (Read Only Memory) 120, a RAM (Random Access Memory) 130, and a storage 140 as storage units, an input unit 150, an output unit 160, and communication and an interface (I/F) 170 .
  • a processor 110 a ROM (Read Only Memory) 120
  • a RAM Random Access Memory
  • storage 140 as storage units
  • an input unit 150 an output unit 160
  • communication and an interface (I/F) 170 Each component is communicatively connected to each other via a bus 180 .
  • the ROM 120 stores various programs and various data.
  • RAM 130 temporarily stores programs or data as a work area.
  • the storage 140 is configured by a HDD (Hard Disk Drive) or SSD (Solid State Drive) and stores various programs including an operating system and various data.
  • the ROM 120 or the storage 140 stores programs according to the present disclosure.
  • the processor 110 is specifically a CPU (Central Processing Unit), MPU (Micro Processing Unit), GPU (Graphics Processing Unit), DSP (Digital Signal Processor), SoC (System on a Chip), or the like. may be configured by a plurality of processors of The processor 110 reads a program from the ROM 120 or the storage 140 and executes the program using the RAM 130 as a work area, thereby performing control of each configuration and various arithmetic processing. Note that at least part of these processing contents may be realized by hardware.
  • CPU Central Processing Unit
  • MPU Micro Processing Unit
  • GPU Graphics Processing Unit
  • DSP Digital Signal Processor
  • SoC System on a Chip
  • the program may be recorded on a recording medium readable by the first control unit 22.
  • a recording medium readable by the first control unit 22.
  • the recording medium on which the program is recorded may be a non-transitory recording medium.
  • the non-transitory recording medium is not particularly limited, but may be, for example, a CD-ROM, a DVD-ROM, a USB (Universal Serial Bus) memory, or the like.
  • this program may be downloaded from an external device via a network.
  • an inspection system comprising: a control section for converting into a driving signal for driving the flying device; and a second camera for capturing an inspection image of communication equipment installed in the tunnel.
  • the sign is The inspection according to additional item 1, wherein the sign is a triangular prism structure, and the surface of the sign is provided with a pattern that allows image recognition by luminance or a pattern that allows image recognition by shape. system.
  • the sign is Installed at two locations on the ceiling of the tunnel, The flight device is 3.
  • the inspection system according to additional item 1 or 2 wherein the flight position is controlled by image recognition of the two signs installed at the two locations.
  • (Appendix 4) Further comprising charging points installed at regular intervals in the tunnel, 4.
  • (Appendix 5) a first camera for image recognition of patterned signs installed in the tunnel; Based on the image recognition result by the first camera, image processing is performed, a control signal for controlling a flight position is generated, the control signal is converted into a driving signal for driving the flight device, and the driving signal is used to generate the driving signal.
  • a control unit that drives the flight device; a second camera that captures an inspection image of communication equipment installed in the tunnel;
  • a flight device with (Appendix 6) The control unit 6. The flight device of clause 5, wherein optical flow is calculated to generate the control signal.

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本発明に係る点検システム（１）は、とう道（４０）内に設置された、パターンが施された標識（１０）と、とう道（４０）内を自動飛行する飛行装置（２０）と、を備え、飛行装置（２０）は、標識（１０）を画像認識するセンシング部（２１）と、センシング部（２１）による画像認識結果に基づいて、画像処理を行い、飛行位置を制御する制御信号を生成する第１制御部（２２）と、制御信号を、飛行装置（２０）を駆動する駆動信号に変換する第２制御部（２３）と、とう道（４０）内に設置された通信用設備（３０）の点検画像を撮影する点検画像撮影部（２４）と、を備える。

Description

点検システム、点検方法、及び飛行装置
　本開示は、飛行装置を用いたとう道内の設備等の点検システム、点検方法、及び飛行装置に関する。
　従来、通信用トンネル（以下、「とう道」という。）は、地下に占有する通信用設備を収容する構造物である。とう道内の通信用設備は、他の社会インフラ設備と同様に、適切な維持管理が求められる。このため、定期的な点検による状態把握と劣化に応じた対処が必要となる。現在、とう道より構造物規模が小さい通信用のマンホール（以下、「ＭＨ」という。）については、点検の省人化を目的としたドローンを含むＵＡＶ（Unmanned Aerial Vehicle）等の飛行装置による自動飛行技術が確立されている。たとえば、特許文献１には、物体との距離を検出するためのセンサを備える無人航空機を制御する無人航空機制御システム及び無人航空機制御システムを制御する方法が記載されている。
　図１７Ａは、ＭＨ内に飛行装置を自動飛行させるイメージを説明する概略図である。図１７Ａにおいて、ｒｓはＭＨ上部の道路の路面を、ｆｐはＵＡＶの飛行経路を、ｓｗはＭＨ下部の溜水を示す。ＭＨの天井部には照明が設置されていない。
特開２０１８－１６０１９６号公報
　上述のように、とう道内における飛行装置の自動飛行技術は確立されておらず、またＭＨと、とう道とでは地下構造物の特徴も異なる。図１７Ｂは、とう道内に飛行装置を自動飛行させるイメージを示す概略図である。とう道内の天井部には一定間隔で照明ｌａが配置されている。ｆｐは飛行装置の飛行経路を示す。図１７Ｃは、ＭＨの内部を示す概略図であり、図１７Ｄは、とう道の断面図である。図１７Ｄにおいて、ｕｆｂはとう道の上床面、ｓｆｂはとう道の側壁、ｕｆｂはとう道の下床面、ｆｔはとう道の歩床である。とう道の歩床ｆｔには粉塵ｄｕが堆積している。
　ＭＨと、とう道との内部に飛行装置を飛行させる際の相違点としては、（i）とう道はＭＨと比較すると空間が大きく、飛行装置がＭＨ内を飛行する場合は、図１７Ｃに示すように、～数ｍの距離で十分であるが、とう道内では、図１７Ｄに示すように、～数百ｍの距離を飛行する場合があること、（ii）図１７Ａに示すように、ＭＨには照明ｌａが無いが、図１７Ｂに示すように、とう道には照明ｌａがあること、（iii）とう道には排水機能があるため、図１７Ｄに示すように、歩床ｆｔには排水後の粉塵ｄｕが多く存在すること、等が挙げられる。
　非ＧＰＳ環境の地下構造物であり、ケーブルなど既設の通信用設備を有するとう道において、飛行装置を自動飛行させて、通信用設備等を点検する方法の確立が課題となっている。また、一定の照度がある環境下で、飛行装置の長距離飛行を可能とするためには、飛行速度、飛行装置の充電機能、等の技術の確立が求められる。
　かかる事情に鑑みてなされた本発明の目的は、とう道内の画像撮影機能と、センサを利用した飛行装置の自動飛行を制御する機能とを有する、とう道内の通信用設備等を自動点検するシステム技術を確立することにある。
　上記課題を解決するため、一実施形態に係る自動点検システムは、飛行装置を用いた点検システムであって、とう道内に設置された、パターンが施された標識と、前記とう道内を自動飛行する飛行装置と、を備え、前記飛行装置は、前記標識を画像認識するセンシング部と、前記センシング部による画像認識結果に基づいて、画像処理を行い、飛行位置を制御する制御信号を生成する第１制御部と、前記制御信号を、前記飛行装置を駆動する駆動信号に変換する第２制御部と、前記とう道内に設置された通信用設備の点検画像を撮影する点検画像撮影部と、を備える点検システム。
　上記課題を解決するため、一実施形態に係る飛行装置は、とう道内に設置された、パターンが施された標識を画像認識するセンシング部と、前記センシング部による画像認識結果に基づいて、画像処理を行い、飛行位置を制御する制御信号を生成する第１制御部と、
前記制御信号を、飛行装置を駆動する駆動信号に変換する第２制御部と、前記駆動信号に基づいて、飛行装置を駆動する駆動部 と、前記とう道内に設置された通信用設備の点検画像を撮影する点検画像撮影部と、を備える飛行装置。
　上記課題を解決するため、一実施形態に係る点検方法は、飛行装置を用いた点検方法であって、前記飛行装置により、とう道内に設置された、パターンが施された標識を画像認識するステップと、画像認識結果に基づいて、画像処理を行い、飛行位置を制御する制御信号を生成するステップと、前記制御信号を、飛行装置を駆動する駆動信号に変換するステップと、前記駆動信号に基づいて、飛行装置を駆動するステップと、前記とう道内に設置された通信用設備の点検画像を撮影するステップと、を含む。
　非ＧＰＳ環境のとう道内であっても、飛行装置を自動飛行させることができる。
本開示の一実施形態に係る点検システムの構成例を示すブロック図である。 本開示の一実施形態に係る飛行装置の構成例を示すブロック図である。 自動飛行する飛行装置を用いた点検システムの概要を示す図である。 とう道内の画像センシング環境を示す図である。 とう道内の平均照度の規格を説明する表である。 一般部の蛍光灯配置間隔の規格を説明する表である。 とう道別の蛍光灯出力の規格を説明する表である。 とう道内の照明を用いた画像撮影環境を示す図である。 標識の設置位置を示す図である。 標識の設置位置の断面図である。 標識をとう道天井部に２箇所設置した例を示す図である。 照明光を反射レンズを用いて集光する構成を説明する図である。 反射レンズを用いて集光する構成の断面図である。 標識の構造を示す図である。 標識の構造を示す図である。 標識の設置位置を示す図である。 飛行装置の充電機能を説明する図である。 充電機能を更に備える飛行装置の構成例を示すブロック図である。 一実施形態に係る点検システムが実行する点検方法の一例を示すフローチャートである。 第1制御部として機能するコンピュータの概略構成を示すブロック図である。 ＭＨ内に飛行装置を自動飛行させるイメージを説明する概略図である。 とう道内に飛行装置を自動飛行させるイメージを示す概略図である。 ＭＨの内部を示す概略図である。 とう道の断面図である。
　以下、本開示の実施形態について図面を参照して、詳細に説明する。本発明は、以下の実施形態に限定されるものではなく、その要旨の範囲内で種々変形して実施することができる。
　図１は、本開示の一実施形態に係る点検システムの構成例を示すブロック図である。
　一実施形態に係る点検システム１は、図１に示すように、標識１０と、飛行装置２０と、を備える。点検システム１は、飛行装置２０を用いて、とう道内通信用設備の点検を行う。
　標識１０は、とう道４０内に設置された、パターンが施された標識である。図１において、飛行装置２０の上方にある逆三角形の図形は、飛行装置２０が標識１０を画像認識することを示す。後述するように、飛行装置２０は、標識１０を画像認識した画像情報に基づいて、飛行位置を制御する。飛行装置２０本体には、標識１０の画像認識を容易にするため、上方ライトが設置されていてもよい。
　図１０及び図１１は、標識の構造を示す図である。標識１０は、とう道天井部４１に設置される構造体である。下方からの画像撮影を容易とするために、標識１０を三角柱の構造体としてもよい。標識１０の表面には、輝度による画像処理が可能なパターン（たとえば、図１０に示すように、チェッカー柄の模様）が施されていてもよいし、形状（エッジ）による画像認識が可能なパターン（たとえば、図１１に示すように、凹凸構造）が施されていてもよい。標識１０の素材には、表面に凹凸構造を形成するのが容易な、プラスティック等が用いられる。
　図２は、本開示の一実施形態に係る飛行装置の構成例を示すブロック図である。
　飛行装置２０は、センシング部２１と、第１制御部２２と、第２制御部２３と、点検画像撮影部２４と、駆動部２５と、を備える。飛行装置２０は、とう道内を自動飛行する。
　センシング部２１は、とう道内に設置された、パターンが施された標識１０を画像認識する。センシング部２１は、画像認識結果である画像情報を第１制御部２２へ送信する。センシング部２１は、標識１０を画像認識するカメラである。該カメラは、スマートカメラ又はＡＩカメラであってもよい。
　第１制御部２２は、センシング部２１による画像認識結果を用いてオプティカルフロ―を計算し、オプティカルフローに基づいて飛行位置を制御する制御信号を生成する。なお、オプティカルフローとは、画像認識で、時間的に微分可能な画像中の物体の動きをベクトル場で表したものである。別の言い方をすると、オプティカルフローとは、二枚以上の画像を用いてその画像内で共通して写っている部分等を基に写っている部分の動作、あるいは全体の動きを推定してベクトルにしたものである。第１制御部２２は、制御信号を第２制御部２３へ送信すると共に、とう道４０内の通信用設備３０を撮影する命令を点検画像撮影部２４へ送信する。
　第２制御部２３は、第１制御部２２により生成された制御信号を、飛行装置２０を駆動する駆動信号に変換する。第２制御部２３は、駆動信号を駆動部２５へ送信する。
　点検画像撮影部２４は、とう道４０内に設置された通信用設備３０の点検画像を撮影する。点検画像撮影部２４は、上述のセンシング部２１の標識１０を画像認識するカメラ（第１のカメラ）とは別に、通信用設備の点検画像を撮影するカメラ（第２のカメラ）を備える。点検画像撮影部２４は、撮影した点検画像を点検画像撮影部２４の内部又は外部に設けられた記憶媒体に記録してもよい。
　駆動部２５は、第２制御部２３により生成された駆動信号に基づいて、飛行装置２０を駆動する。
　図３は、自動飛行する飛行装置２０を用いた点検システムの概要を示す図である。図３に示すように、とう道天井部４１には標識１０及びとう道内照明４４が設置されており、上述の画像認識機能を有する飛行装置２０は、第１のカメラを用いて標識１０を画像認識することにより、飛行位置を制御して自動飛行を行うと共に、第２のカメラを用いてとう道４０内に設置された通信用設備及びとう道４０の内壁（天井・側壁・床面）の点検画像を撮影する。図中の矢印は飛行装置２０の飛行経路（方向）である。とう道底部４２には床部ｆｔが設けられている。
　図４は、とう道４０内の画像センシング環境を示す図である。図４に示すように、開削式とう道４０ａの側面にはケーブル・金物・配線４３がある。また、とう道底部４２の床部ｆｔは排水後の粉塵ｄｕ、汚れ等が多く存在し、画像撮影の支障となる。このため、とう道内における第１のカメラによる最適なセンシング場所はとう道天井部４１である。また、とう道４０ａの側面にあるケーブル・金物・配線４３は、第２のカメラにより点検画像が撮影される。
　図５Ａは、とう道内の平均照度の規格を説明する表である。とう道内の平均照度は、一般部（とう道が、一般的な直方体形状である部分）で１５ルクス、特殊部（とう道において、地上との入出孔が可能な構造体部分）で３０ルクスと規定されている。また、図５Ｂは、一般部の蛍光灯配置間隔の規格を説明する表である。図５Ｂには、一般照明用蛍光灯は１０ｍ間隔、非常用蛍光灯は５０ｍ間隔で取り付けられることが規定されている。さらに、図５Ｃは、とう道別の蛍光灯出力の規格を説明する表である。とう道別の蛍光灯の出力は、２０Ｗ又は４０Ｗと規定されている。「く形」とは、とう道が、一般的な直方体形状であるものをいう。「円形」とは、とう道の断面が、円形になっているものである。「１号」、「２号」は、断面の大きさをいう。取り付け方向が「平行」とは、蛍光灯の長手方向がとう道の長手方向と同じ方向であることを指し、取り付け方向が「直角」とは、図６に示すように、蛍光灯の長手方向と、とう道の長手方向とが直角であることを指す。
　図６は、とう道内の照明を用いた画像撮影環境を示す図である。図６に示す環境は、とう道４０の一般部に、出力２０Ｗの一般照明蛍光灯（直管型蛍光灯４４ａ）が１０ｍ間隔で設置されており、空間の最低照度は１５ルクス（ｌｘ）程度であるため、上述の図５Ａ～図５Ｃの規格を満たしている。画像認識に用いるカメラの必要照度は、３ルクス程度（カメラ性能は最低１ルクス、画像認識上カメラ性能の３倍程度の照度が必要）であるため、本環境は十分に画像認識可能な環境である。飛行装置２０本体にも上方ライトを設置することにより、ロバストに画像認識をすることが可能となる。
　図７Ａは、標識の設置位置を示す図である。図７Ｂは、標識の設置位置の断面図である。図７Ａ及び図７Ｂに示すように、飛行装置２０を自動飛行制御するため、標識１０は、とう道天井部４１の蛍光灯４４ｂに照らされ、飛行装置２０からの画像撮影で逆光とならない位置に設置される。
　図８は、標識をとう道天井部に２箇所設置した例を示す図である。図８に示すように、標識１０は、照明に照らされるとう道天井部４１の２箇所に設置される。飛行装置２０は、２箇所に設置されている、２つの標識を画像認識することにより、飛行位置を制御する。具体的には、飛行装置２０は、２つの標識１０を画像上で認識し、同じ距離になるように飛行位置を制御する。
　図９Ａは、照明光を反射レンズを用いて集光する構成を説明する図である。図９Ｂは、反射レンズを用いて集光する構成の断面図である。図９Ａ及び図９Ｂに示すように、とう道４０内の照明光を、反射レンズ４５等を用いて、標識１０に照射される光を集光する機能を付与することで、飛行装置２０は、標識１０を画像認識することが容易となる。
　図１２は、標識の設置位置を示す図である。図１２に示すように、とう道天井部４１は、標識１０の設置位置を確保することが可能である。とう道天井部４１には、標識１０が新設される。また、とう道天井部４１には、既設のとう道管理用設備（とう道内照明４４、管理システム用配線等のケーブル・金物・配線４３）があるが、標識１０の設置スペースとして、とう道管理用設備から数十ｃｍ幅程度のスペースは確保可能である。
　図１３は、飛行装置の充電機能を説明する図である。図１３に示すように、点検システム１ａは、とう道４０内に一定間隔で設置された充電ポイント４７を更に備える。充電ポイント４７は、電磁結合により非接触で充電を行う機能を有することが望ましい。図１４は、充電機能を更に備える飛行装置の構成例を示すブロック図である。飛行装置２０ａは、飛行中に充電ポイント４７から電力を受け取る充電部２６を更に備えることにより、長時間の自動飛行が可能となる。充電ポイント４７の設置間隔は、飛行装置２０の飛行速度とバッテリー容量から決定される。たとえば、充電ポイント設置間隔を５０ｍとし、速度を０．３ｍ／秒とすると、連続飛行時間１８０秒の機体では、約６０ｍの連続飛行が可能となる。
　図１５は、一実施形態に係る点検システムが実行する点検方法の一例を示すフローチャートである。
　Ｓ１０１では、センシング部２１が、とう道４０内に設置された標識１０を画像認識する。
　Ｓ１０２では、第１制御部２２が、センシング部２１による画像認識結果に基づいて、画像処理を行い、飛行位置を制御する制御信号を生成する。
　Ｓ１０３では、第２制御部２３が、第１制御部２２が生成した制御信号を、飛行装置２０を駆動する駆動信号に変換する。
　Ｓ１０４では、駆動部２５が、第２制御部が生成した駆動信号に基づいて、飛行装置２０を駆動する。
　Ｓ１０５では、点検画像撮影部２４が、とう道４０内に設置された通信用設備の点検画像を撮影する。
　このように、本開示に係る点検システム１によれば、非ＧＰＳ環境のとう道内であっても、飛行装置２０を自動飛行させることができる。
　上記の飛行装置２０が備える第１制御部２２は、ＡＳＩＣ(Application Specific Integrated Circuit)、ＦＰＧＡ(Field-Programmable Gate Array)等の専用のハードウェアによって構成されてもよいし、プロセッサによって構成されてもよいし、双方を含んで構成されてもよい。
　上記の第１制御部２２を機能させるために、プログラム命令を実行可能なコンピュータを用いることも可能である。図１６は、第１制御部２２として機能するコンピュータの概略構成を示すブロック図である。ここで、第１制御部２２として機能するコンピュータは、汎用コンピュータ、専用コンピュータ、ワークステーション、ＰＣ（Personal Computer）、電子ノートパッド等であってもよい。プログラム命令は、必要なタスクを実行するためのプログラムコード、コードセグメント等であってもよい。
　図１６に示すように、コンピュータ１００は、プロセッサ１１０と、記憶部としてＲＯＭ（Read Only Memory）１２０、ＲＡＭ（Random Access Memory）１３０、及びストレージ１４０と、入力部１５０と、出力部１６０と、通信インターフェース（Ｉ／Ｆ）１７０と、を備える。各構成は、バス１８０を介して相互に通信可能に接続されている。
　ＲＯＭ１２０は、各種プログラム及び各種データを保存する。ＲＡＭ１３０は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ１４０は、ＨＤＤ（Hard Disk Drive)又はＳＳＤ(Solid State Drive）により構成され、オペレーティングシステムを含む各種プログラム及び各種データを保存する。本開示では、ＲＯＭ１２０又はストレージ１４０に、本開示に係るプログラムが保存されている。
　プロセッサ１１０は、具体的にはＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＳｏＣ（System on a Chip）等であり、同種又は異種の複数のプロセッサにより構成されてもよい。プロセッサ１１０は、ＲＯＭ１２０又はストレージ１４０からプログラムを読み出し、ＲＡＭ１３０を作業領域としてプログラムを実行することで、上記各構成の制御及び各種の演算処理を行う。なお、これらの処理内容の少なくとも一部をハードウェアで実現することとしてもよい。
　プログラムは、第１制御部２２が読み取り可能な記録媒体に記録されていてもよい。このような記録媒体を用いれば、第１制御部２２にインストールすることが可能である。ここで、プログラムが記録された記録媒体は、非一過性（non-transitory）の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢ（Universal Serial Bus）メモリ等であってもよい。また、このプログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
　以上の実施形態に関し、更に以下の付記を開示する。
　（付記項１）
　飛行装置を用いた点検システムであって、
　とう道内に設置された、パターンが施された標識と、
　とう道内を自動飛行する飛行装置と、を備え、
　前記飛行装置は、前記標識を画像認識する第１のカメラと、前記第１のカメラによる画像認識結果に基づいて、画像処理を行い、飛行位置を制御する制御信号を生成し、前記制御信号を、前記飛行装置を駆動する駆動信号に変換する制御部と、とう道内に設置された通信用設備の点検画像を撮影する第２のカメラと、を備える点検システム。
　（付記項２）
　前記標識は、
　三角柱の構造体であって、前記標識の表面に、輝度による画像認識が可能なパターンが施されているか、又は形状による画像認識が可能なパターンが施されている、付記項1に記載の点検システム。
　（付記項３）
　前記標識は、
　前記とう道の天井部の２箇所に設置され、
　前記飛行装置は、
　前記２箇所に設置されている、２つの標識を画像認識することにより、飛行位置を制御する、付記項1又は２に記載の点検システム。
　（付記項４）
　前記とう道内に一定間隔で設置された充電ポイントを更に備え、
　前記飛行装置は、飛行中に前記充電ポイントから電力を受け取るバッテリーを更に備える、付記項１から３のいづれか一項に記載の点検システム。
　（付記項５）
　とう道内に設置された、パターンが施された標識を画像認識する第１のカメラと、
　前記第１のカメラによる画像認識結果に基づいて、画像処理を行い、飛行位置を制御する制御信号を生成し、前記制御信号を、飛行装置を駆動する駆動信号に変換し、前記駆動信号に基づいて、飛行装置を駆動する制御部と、
　前記とう道内に設置された通信用設備の点検画像を撮影する第２のカメラと、
を備える飛行装置。
　（付記項６）
　前記制御部は、
　オプティカルフローを計算し、前記制御信号を生成する、付記項５に記載の飛行装置。
　（付記項７）
　飛行装置を用いた点検方法であって、
　前記飛行装置により、
　とう道内に設置された、パターンが施された標識を画像認識するステップと、
　画像認識結果に基づいて、画像処理を行い、飛行位置を制御する制御信号を生成するステップと、
　前記制御信号を、飛行装置を駆動する駆動信号に変換するステップと、
　前記駆動信号に基づいて、飛行装置を駆動するステップと、
　前記とう道内に設置された通信用設備の点検画像を撮影するステップと、
を含む点検方法。
　上述の実施形態は代表的な例として説明したが、本開示の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形又は変更が可能である。たとえば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。
１, １ａ             点検システム
１０                 標識
２０, ２０ａ　       飛行装置
２１                 センシング部
２２                 第１制御部
２３                 第２制御部
２４　               点検画像撮影部
２５　               駆動部
２６                 充電部
３０                 通信用設備
４０                 とう道
４０ａ               開削式とう道（矩形）
４１                 とう道天井部
４２                 とう道底部
４３                 ケーブル・金物・配線
４４                 とう道内照明
４４ａ               ＬＥＤ直管型蛍光灯
４４ｂ               蛍光灯
４５                 反射レンズ
４６                 ハンチ部
４７                 充電ポイント

Claims (7)

  1. 　飛行装置を用いた点検システムであって、
    　とう道内に設置された、パターンが施された標識と、
    　前記とう道内を自動飛行する飛行装置と、を備え、
    　前記飛行装置は、
    　　前記標識を画像認識するセンシング部と、
    　　前記センシング部による画像認識結果に基づいて、画像処理を行い、飛行位置を制御する制御信号を生成する第１制御部と、
    　　前記制御信号を、前記飛行装置を駆動する駆動信号に変換する第２制御部と、
    　　前記とう道内に設置された通信用設備の点検画像を撮影する点検画像撮影部と、
    を備える点検システム。
  2. 　前記標識は、
    　三角柱の構造体であって、前記標識の表面に、
    　輝度による画像認識が可能なパターンが施されているか、又は形状による画像認識が可能なパターンが施されている、請求項1に記載の点検システム。
  3. 　前記標識は、
    　前記とう道の天井部の２箇所に設置され、
    　前記飛行装置は、
    　前記２箇所に設置されている、２つの標識を画像認識することにより、飛行位置を制御する、
    　請求項1又は２に記載の点検システム。
  4. 　前記とう道内に一定間隔で設置された充電ポイントを更に備え、
    　前記飛行装置は、飛行中に前記充電ポイントから電力を受け取る充電部を更に備える、請求項１から３のいづれか一項に記載の点検システム。
  5. 　とう道内に設置された、パターンが施された標識を画像認識するセンシング部と、
    　前記センシング部による画像認識結果に基づいて、画像処理を行い、飛行位置を制御する制御信号を生成する第１制御部と、
    　前記制御信号を、飛行装置を駆動する駆動信号に変換する第２制御部と、
    　前記駆動信号に基づいて、飛行装置を駆動する駆動部と、
    　前記とう道内に設置された通信用設備の点検画像を撮影する点検画像撮影部と、
    を備える飛行装置。
  6. 　前記第1制御部は、オプティカルフローを計算し、前記制御信号を生成する、
    請求項５に記載の飛行装置。
  7. 　飛行装置を用いた点検方法であって、
    　前記飛行装置により、
    　とう道内に設置された、パターンが施された標識を画像認識するステップと、
    　画像認識結果に基づいて、画像処理を行い、飛行位置を制御する制御信号を生成するステップと、
    　前記制御信号を、飛行装置を駆動する駆動信号に変換するステップと、
    　前記駆動信号に基づいて、飛行装置を駆動するステップと、
    　前記とう道内に設置された通信用設備の点検画像を撮影するステップと、
    を含む点検方法。
PCT/JP2021/033055 2021-09-08 2021-09-08 点検システム、点検方法、及び飛行装置 WO2023037458A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023546637A JPWO2023037458A1 (ja) 2021-09-08 2021-09-08
PCT/JP2021/033055 WO2023037458A1 (ja) 2021-09-08 2021-09-08 点検システム、点検方法、及び飛行装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/033055 WO2023037458A1 (ja) 2021-09-08 2021-09-08 点検システム、点検方法、及び飛行装置

Publications (1)

Publication Number Publication Date
WO2023037458A1 true WO2023037458A1 (ja) 2023-03-16

Family

ID=85506185

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/033055 WO2023037458A1 (ja) 2021-09-08 2021-09-08 点検システム、点検方法、及び飛行装置

Country Status (2)

Country Link
JP (1) JPWO2023037458A1 (ja)
WO (1) WO2023037458A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014068982A1 (ja) * 2012-10-31 2014-05-08 国立大学法人徳島大学 搬送装置および飛行体の制御方法
JP2019179422A (ja) * 2018-03-30 2019-10-17 日立造船株式会社 飛行体、情報記録方法、飛行体の制御方法、および制御プログラム
JP2020161143A (ja) * 2020-04-03 2020-10-01 株式会社センシンロボティクス 飛行体、点検方法及び点検システム
WO2021166845A1 (ja) * 2020-02-20 2021-08-26 本郷飛行機株式会社 情報処理装置、情報処理方法、及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014068982A1 (ja) * 2012-10-31 2014-05-08 国立大学法人徳島大学 搬送装置および飛行体の制御方法
JP2019179422A (ja) * 2018-03-30 2019-10-17 日立造船株式会社 飛行体、情報記録方法、飛行体の制御方法、および制御プログラム
WO2021166845A1 (ja) * 2020-02-20 2021-08-26 本郷飛行機株式会社 情報処理装置、情報処理方法、及びプログラム
JP2020161143A (ja) * 2020-04-03 2020-10-01 株式会社センシンロボティクス 飛行体、点検方法及び点検システム

Also Published As

Publication number Publication date
JPWO2023037458A1 (ja) 2023-03-16

Similar Documents

Publication Publication Date Title
CN110928284B (zh) 辅助控制车辆的自动驾驶的方法、设备、介质和系统
CN111246060B (zh) 飞行器设备的控制设备和控制方法
US11549815B2 (en) Map change detection
CN110928286B (zh) 用于控制车辆的自动驾驶的方法、设备、介质和系统
CN101075376A (zh) 基于多视点的智能视频交通监控系统及方法
JP2009068951A (ja) 空中架線の管理システム
US11093877B2 (en) Inspection plan drafting support system, method, and program
JP2016218813A (ja) 下水管路施設の点検システム
CN110443819B (zh) 一种单轨列车的轨道检测方法和装置
CN107069549A (zh) 旋翼无人机电力巡线系统
CN113972586B (zh) 一种高压输电线路无人机搭载激光异物清除系统及方法
CN107632615B (zh) 一种基于视觉巡视的自主飞行四旋翼穿行隧道方法
WO2023037458A1 (ja) 点検システム、点検方法、及び飛行装置
JP2023040007A (ja) 滑走路照明灯の検査装置及び滑走路照明灯の検査方法
Toriumi et al. UAV-based inspection of bridge and tunnel structures: an application review
CN212735989U (zh) 用于通航机场的多功能场务机器人系统
CN115190681A (zh) 智能助航控制系统
WO2021192357A1 (ja) 自動検査装置
Alidoost et al. Development of a Machine Vision System for Damage and Object Detection in Tunnels Using Convolutional Neural Networks
JP2020201850A (ja) 飛行体の制御方法
Kawamura et al. Development of a cable inspection robot for cable-stayed bridges
CN220419997U (zh) 一种地铁车库巡检系统
CN218995164U (zh) 一种检测桥梁外观缺陷的无人机测试装置
CN218974553U (zh) 一种航标灯器监控装置
US20230267591A1 (en) Aerial vehicle and method of forming the same, method of determining dimension of object

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21956755

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023546637

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE