WO2023286359A1 - 着桟支援装置、着桟支援方法、及びプログラム - Google Patents

着桟支援装置、着桟支援方法、及びプログラム Download PDF

Info

Publication number
WO2023286359A1
WO2023286359A1 PCT/JP2022/011825 JP2022011825W WO2023286359A1 WO 2023286359 A1 WO2023286359 A1 WO 2023286359A1 JP 2022011825 W JP2022011825 W JP 2022011825W WO 2023286359 A1 WO2023286359 A1 WO 2023286359A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
visible light
ship
infrared
camera
Prior art date
Application number
PCT/JP2022/011825
Other languages
English (en)
French (fr)
Inventor
一喜 辻本
博紀 村上
Original Assignee
古野電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 古野電気株式会社 filed Critical 古野電気株式会社
Priority to JP2023535119A priority Critical patent/JPWO2023286359A1/ja
Publication of WO2023286359A1 publication Critical patent/WO2023286359A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B49/00—Arrangements of nautical instruments or navigational aids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a berthing support device, a berthing support method, and a program.
  • the present invention has been made in view of the above problems, and aims to provide a berthing support device, a berthing support method, and a program capable of generating images of port facilities with high visibility.
  • a docking support device is installed on a ship and obtains a visible light image generated by a visible light camera that captures images of port facilities where the ship doesck.
  • 1 image acquisition unit a second image acquisition unit that acquires an infrared image generated by an infrared camera that is installed on the ship and captures the port facility, and stores the infrared image in an area for each object in the port facility.
  • an image generation unit that generates a display image in which a region object representing the divided region is superimposed on the corresponding position of the visible light image. According to this, it becomes possible to generate an image of harbor facilities with high visibility.
  • the area dividing unit may divide at least one area of a wharf, a crane, and a vessel in the port facility. According to this, it becomes possible to aim at the improvement of the visibility of a wharf, a crane, or a ship.
  • the area object may be a plane object corresponding to the divided area. According to this, it is possible to improve the visibility of the divided area itself.
  • the area object may be a line object corresponding to the outline of the divided area. According to this, it is possible to improve the visibility of the contours of the divided areas.
  • the visible light camera and the infrared camera may be installed at mutually different positions on the ship. Further, the image generator may adjust a position where the region object is superimposed based on parallax between the visible light camera and the infrared camera. According to this, it is possible to further improve the visibility.
  • an attitude acquisition unit that acquires attitude data representing the attitude of the ship is further provided, and the image generation unit obtains the You may adjust the position which superimposes an area
  • the first image acquisition unit determines whether or not the area object needs to be superimposed based on the visible light image, and the image generation unit detects the visible light image when it is determined that superimposition is necessary.
  • the area object may be superimposed on the image. According to this, it is possible to improve the visibility when the visibility is low, such as at night or in dense fog.
  • a berthing support method in which a visible light camera installed on a ship images a harbor facility where the ship berths to generate a visible light image, and a visible light image is generated.
  • An infrared camera captures the port facility to generate an infrared image, divides the infrared image into regions for each object in the port facility, and creates region objects representing the divided regions in the visible light image.
  • a display image superimposed on the corresponding position is generated. According to this, it becomes possible to generate an image of harbor facilities with high visibility.
  • a program acquires a visible light image generated by a visible light camera that is installed on a ship and captures images of port facilities where the ship berths; obtaining an infrared image generated by an infrared camera that captures a port facility; dividing the infrared image into regions for each object located in the port facility; generating an image for display superimposed on the corresponding position of the visible light image. According to this, it becomes possible to generate an image of harbor facilities with high visibility.
  • FIG. 4 is a diagram showing an example of a visible light image; It is a figure which shows the example of an infrared image.
  • FIG. 10 is a diagram showing an example of segmentation; FIG. 4 is a diagram showing an example of a display image; FIG. 4 is a diagram showing an example of a display image; FIG. 10 is a diagram showing an example of a docking support method; It is a figure explaining a modification.
  • FIG. 1 is a block diagram showing a configuration example of the docking support system 100.
  • the berthing support system 100 is a system that is mounted on a ship and supports the berthing of the ship. In the following description, the ship on which the docking support system 100 is installed is referred to as "own ship".
  • the docking support system 100 includes a docking support device 1, a display unit 2, a radar 3, an AIS 4, a visible light camera 51, an infrared camera 52, a GNSS receiver 6, a gyrocompass 7, an ECDIS 8, and a wireless communication unit 9. there is These devices are connected to a network N such as a LAN, and are capable of network communication with each other.
  • a network N such as a LAN
  • the docking support device 1 is a computer including a CPU, RAM, ROM, non-volatile memory, an input/output interface, and the like.
  • the CPU of the docking assistance device 1 executes information processing according to a program loaded from the ROM or nonvolatile memory to the RAM.
  • the program may be supplied via an information storage medium such as an optical disk or memory card, or via a communication network such as the Internet or LAN.
  • the display unit 2 displays the display image generated by the docking support device 1.
  • the display unit 2 also displays radar images, camera images, electronic charts, and the like.
  • the display unit 2 is, for example, a display device with a touch sensor, a so-called touch panel.
  • the touch sensor detects a position within the screen indicated by a user's finger or the like.
  • the designated position is not limited to this, and may be input by a trackball or the like.
  • the radar 3 emits radio waves around its own ship, receives the reflected waves, and generates echo data based on the received signals.
  • the radar 3 also identifies the target from the echo data and generates target tracking data (TT data) representing the position and speed of the target.
  • TT data target tracking data
  • the AIS (Automatic Identification System) 4 receives AIS data from other ships around the ship or from land control. Not limited to AIS, VDES (VHF Data Exchange System) may be used.
  • the AIS data includes identification codes of other ships, ship names, positions, courses, ship speeds, ship types, hull lengths, destinations, and the like.
  • the visible light camera 51 and the infrared camera 52 are digital cameras that capture images of the outside from the own ship and generate image data.
  • the visible light camera 51 and the infrared camera 52 are installed, for example, on the bridge of the own ship facing the heading.
  • the visible light camera 51 and the infrared camera 52 may be PTZ cameras with pan, tilt and zoom functions.
  • the visible light camera 51 and the infrared camera 52 sequentially generate a plurality of time-series images.
  • the plurality of time-series images may be, for example, a plurality of still images (frames) included in moving image data, or may be a plurality of still images captured at predetermined time intervals and individually generated. .
  • the visible light camera 51 is a camera that detects and images visible light.
  • the infrared camera 52 is a camera that detects and images far-infrared rays.
  • the infrared camera 52 is not limited to far-infrared rays, and may be a camera that detects and images near-infrared rays or mid-infrared rays.
  • the GNSS receiver 6 detects the position of the own ship based on radio waves received from the GNSS (Global Navigation Satellite System).
  • the gyrocompass 7 detects the heading of the own ship.
  • a GPS compass may be used instead of the gyro compass.
  • the ECDIS (Electronic Chart Display and Information System) 8 acquires the ship's position from the GNSS receiver 6 and displays the ship's position on the electronic chart.
  • the ECDIS 8 also displays the planned route of the own ship on the electronic chart.
  • a GNSS plotter may be used.
  • the radio communication unit 9 includes various radio equipment for realizing communication with other ships or land control, such as ultra-high frequency band, medium short wave band, and short wave band radio equipment.
  • the docking support device 1 and the display unit 2 are independent devices, but the docking support device 1 and the display unit 2 may be integrated.
  • the docking support device 1 is an independent device, but it is not limited to this, and may be integrated with other devices such as the ECDIS 8 . That is, the functional units of the docking support device 1 may be realized by another device.
  • the display unit 2 is also an independent device, but the display unit is not limited to this, and a display unit of another device such as the ECDIS 8 may be used as the display unit 2 for displaying the display image generated by the docking support device 1.
  • FIG. 2 is a block diagram showing a configuration example of the docking support device 1 that implements the docking support method.
  • the docking support device 1 includes a first image acquisition unit 11, a second image acquisition unit 12, a synchronization information input unit 13, a preprocessing unit 14, an area division unit 15, an image generation unit 16, and a parallax information storage unit 17. ing.
  • These functional units 11 to 16 are realized by the control unit 10 of the docking support device 1 executing information processing according to a program.
  • the parallax information holding unit 17 is provided within the memory of the docking support device 1 .
  • the first image acquisition unit 11 acquires the visible light image VLG generated by the visible light camera 51 that captures images of the harbor facilities where the own ship berths.
  • the first image acquisition unit 11 sequentially acquires a plurality of time-series visible light images VLG from the visible light camera 51 .
  • Port facilities include mooring facilities such as quay walls and floating piers. Port facilities also have cargo handling facilities such as cranes. Port facilities also include moored vessels (moored vessels).
  • FIG. 3 is a diagram showing an example of the visible light image VLG.
  • the visible light image VLG shown in the same figure shows an example when the visible light camera 51 provided on the own ship captures the port facility at night and in heavy fog.
  • the visible light image VLG is close to an image that is recognized by the human eye, so if there is a certain degree of illuminance, it will be an image that is easy for the operator to recognize and suitable for reference when maneuvering. Even at night, the port facility is equipped with lighting for berthing, so when the own ship approaches the port facility, it can be recognized by the visible light image VLG.
  • the visible light image VLG is easily affected by backlight, and as shown in FIG. 3, at night, the light from the lighting of the harbor facilities may cause backlighting, resulting in blown-out highlights in the image. In addition, during the daytime, sunlight may cause backlighting, resulting in overexposure in the image.
  • the second image acquisition unit 12 acquires an infrared image IRG generated by an infrared camera 52 that captures images of port facilities.
  • the second image acquisition unit 12 sequentially acquires a plurality of time-series infrared images IRG from the infrared camera 52 .
  • FIG. 4 is a diagram showing an example of an infrared image IRG.
  • An infrared image IRG shown in the figure shows an example when the same target is imaged in the same environment as the visible light image VLG by the infrared camera 52 provided on the own ship.
  • the infrared image IRG is effective in that port facilities can be visually recognized from a distance at night or in thick fog. As shown in FIG. 4, even in heavy fog and at night, the wharf and cranes of port facilities can be clearly seen.
  • the infrared image IRG does not show the lighting of the harbor facilities that was seen in the visible light image VLG of FIG.
  • parallax occurs between the visible light image VLG and the infrared image IRG due to the difference in the positions of the visible light camera 51 and the infrared camera 52 .
  • the view of the infrared image IRG is shifted to the right compared to the view of the visible light image VLG. This is because the infrared camera 52 is positioned to the left of the visible light camera 51 .
  • the synchronization information input unit 13 generates synchronization information between the visible light image VLG generated by the visible light camera 51 and the infrared image IRG generated by the infrared camera 52, and provides it to the area division unit 15 and the image generation unit 16. do.
  • the preprocessing unit 14 performs preprocessing on the infrared image IRG in order to improve the recognition accuracy of the region division unit 15 (region division model) in the latter stage.
  • Pre-processing includes, for example, dilation, erosion, averaging, median, edge extraction, or edge enhancement.
  • Preprocessing such as fog removal may be performed on the visible light image VLG as well.
  • the area dividing unit 15 divides the infrared image IRG into areas for each object such as a wharf, a crane, and a ship that exist in the port facility.
  • the area division unit 15 performs area division of the infrared image IRG using the area division model.
  • a segmentation model is a trained model that estimates which category each pixel in an image belongs to and divides it into objects for each category. Semantic segmentation, for example, is used for the segmentation model. Not limited to this, instance segmentation or the like may be used.
  • FIG. 5 is a diagram showing an example of the recognition image CG generated by the area dividing section 15.
  • the recognition image CG is an image that has the same size as the infrared image IRG and indicates which category each pixel belongs to.
  • the recognition image CG includes, for example, a wharf area C1, a crane area C2, and a moored ship area C3.
  • the area division unit 15 may further divide areas into other categories in addition to quays, cranes, and moored ships. For example, areas such as containers or warehouses in port facilities may be further divided, and areas such as own ship, water surface, or sky may be further divided.
  • the image generation unit 16 generates a display image DPG in which the region objects R1 to R3 representing the regions divided by the region division unit 15 are superimposed on the corresponding positions of the visible light image VLG, and provides the display unit 2 with the display image DPG.
  • FIG. 6 is a diagram showing an example of the display image DPG generated by the image generator 16.
  • the display image DPG is an AR (Augmented Reality) image in which the region objects R1 to R3 are superimposed on the visible light image VLG.
  • the display image DPG includes, for example, a wharf region object R1, a crane region object R2, and a moored ship region object R3. These correspond to the wharf area C1, the crane area C2, and the moored ship area C3 included in the recognition image CG.
  • the area objects R1 to R3 are planar objects having the same or similar shape as the areas C1 to C3. It is preferable that the region objects R1 to R3 have transparency so that the portions of the visible light image VLG where the region objects R1 to R3 are superimposed are visible.
  • the region objects R1 to R3 may be line objects having the same or similar shape as the contours of the regions C1 to C3. This makes it easier to visually recognize the portion of the visible light image VLG where the region objects R1 to R3 are superimposed.
  • the image generation section 16 Based on the synchronization information provided by the synchronization information input section 13, the image generation section 16 synthesizes the visible light image VLG and the region objects R1 to R3 generated from the infrared image IRG of the same period. It should be noted that the movement of the own ship is slow when docking, so synchronization does not have to be performed.
  • the image generation unit 16 adjusts the superimposed positions of the area objects R1 to R3 based on the parallax information held by the parallax information holding unit 17.
  • Parallax information mainly includes the positional difference between the visible light camera 51 and the infrared camera 52 .
  • the parallax information may further include viewing angles, resolutions, camera parameters, etc. of the visible light camera 51 and the infrared camera 52 .
  • the image generating unit 16 sets the position where the area objects R1 to R3 are superimposed on the visible light image VLG to be more than the position recognized by the infrared image IRG. shift to the left.
  • the image generator 16 may transform the shapes of the area objects R1 to R3 based on the parallax information. For example, when the resolution of the infrared camera 52 is lower than that of the visible light camera 51, the image generator 16 may enlarge the size of the region objects R1 to R3 from the size recognized by the infrared image IRG.
  • a conversion formula for adjusting the positions or shapes of the region objects R1 to R3, which is used by the image generation unit 16, is prepared in advance, for example, and held in the parallax information holding unit 17 as part of the parallax information.
  • FIG. 8 is a diagram showing a procedure example of a berthing support method according to an embodiment, which is implemented in the berthing support system 100.
  • the control unit 10 of the docking support device 1 executes the information processing shown in the figure according to a program.
  • control unit 10 acquires the visible light image VLG from the visible light camera 51 (S11: processing as the first image acquisition unit 11).
  • control unit 10 acquires an infrared image IRG from the infrared camera 52 (S12: processing as the second image acquisition unit 12).
  • control unit 10 performs preprocessing on the acquired infrared image IRG (S13: processing as the preprocessing unit 14).
  • control unit 10 performs area division on the preprocessed infrared image IRG (S14: processing by the area division unit 15).
  • control unit 10 generates region objects R1 to R3 for each of the regions C1 to C3 based on the result of region division (S15: processing by the image generation unit 16).
  • control unit 10 generates a display image DPG in which the area objects R1 to R3 are superimposed on the corresponding positions of the visible light image VLG (S16: processing by the image generation unit 16).
  • control unit 10 outputs the generated display image DPG to the display unit 2 (S17).
  • the region objects R1 to R3 may be superimposed as necessary. That is, the control unit 10 may analyze the visible light image VLG and superimpose the region objects R1 to R3 on the visible light image VLG only when superimposition is necessary. For example, when the brightness or definition of the visible light image VLG is low, it is determined that superimposition is necessary.
  • the positions of the area objects R1 to R3 are statically adjusted based on parallax information prepared in advance.
  • the positions of R1 to R3 and the like may be dynamically adjusted.
  • the docking assistance device 1 further includes an attitude acquisition unit 19 that acquires attitude data representing the attitude of the own ship from an attitude sensor (not shown). Based on the corresponding parallax of the visible light camera 51 and the infrared camera 52, the overlapping positions of the area objects R1 to R3 are dynamically adjusted.
  • the image generator 16 adjusts the positions of the objects R1 to R3 so as to compensate for the parallax according to the attitude of the own ship.
  • the infrared camera 52 when the infrared camera 52 is positioned higher than the visible light camera 51 due to shaking, the positions of the area objects R1 to R3 are shifted upward, and the infrared camera 52 is positioned lower than the visible light camera 51 due to shaking. If so, the positions of the region objects R1-R3 are shifted downward.
  • the target to be imaged is not limited to port facilities, and can be, for example, ships, buoys, or buoys on the sea. It may be a target. That is, an infrared image including a marine target may be divided into areas for each object, and the area objects may be superimposed on the visible light image.
  • 1 berthing support device 2 display unit, 3 radar, 4 AIS, 5 camera, 6 GNSS receiver, 7 gyrocompass, 8 ECDIS, 9 wireless communication unit, 11 first image acquisition unit, 12 second image acquisition unit, 13 Synchronization information input unit 14 Preprocessing unit 15 Area division unit 16 Image generation unit 17 Parallax information storage unit 100 Docking support system

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Ocean & Marine Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Chemical & Material Sciences (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

【課題】視認性が高い港湾施設の画像を生成することが可能な着桟支援装置を提供する。 【解決手段】着桟支援装置は、船舶に設置され、船舶が着桟する港湾施設を撮像する可視光カメラにより生成される可視光画像を取得する第１画像取得部と、船舶に設置され、港湾施設を撮像する赤外線カメラにより生成される赤外線画像を取得する第２画像取得部と、赤外線画像を港湾施設にある対象物ごとの領域に分割する領域分割部と、分割された領域を表す領域オブジェクトを可視光画像の対応する位置に重畳した表示用画像を生成する画像生成部と、を備える。

Description

着桟支援装置、着桟支援方法、及びプログラム
　本発明は、着桟支援装置、着桟支援方法、及びプログラムに関する。
　一般に、大型船舶の着桟時において、操船者は、カメラにより撮像された画像を見ながら操船を行う。
　可視光カメラを用いる場合、操船者にとって認識し易い画像を得られるが、夜間又は濃霧時に視認性が低下することがある。また、夜間においては、港湾施設の照明の光が逆光となって画像内に白飛びが生じることがある。また、日中においては、太陽の光が逆光となって画像内に白飛びが生じることがある。
　一方、赤外線カメラを用いる場合、夜間又は濃霧時に遠方から港湾施設を視認できる点においては有効であるものの、操船者にとって認識し難い画像であるため、それのみを頼って操船を行うことはできない。また、港湾施設の照明の光が画像内に現れないため、照明の存在を知ることができない。
　本発明は、上記課題に鑑みてなされたものであり、視認性が高い港湾施設の画像を生成することが可能な着桟支援装置、着桟支援方法、及びプログラムを提供することにある。
　上記課題を解決するため、本発明の一の態様の着桟支援装置は、船舶に設置され、前記船舶が着桟する港湾施設を撮像する可視光カメラにより生成される可視光画像を取得する第１画像取得部と、前記船舶に設置され、前記港湾施設を撮像する赤外線カメラにより生成される赤外線画像を取得する第２画像取得部と、前記赤外線画像を前記港湾施設にある対象物ごとの領域に分割する領域分割部と、前記分割された領域を表す領域オブジェクトを前記可視光画像の対応する位置に重畳した表示用画像を生成する画像生成部と、を備える。これによると、視認性が高い港湾施設の画像を生成することが可能となる。
　上記態様において、前記領域分割部は、前記港湾施設にある岸壁、クレーン、及び船舶の少なくとも１つの領域を分割してもよい。これによると、岸壁、クレーン、又は船舶の視認性の向上を図ることが可能となる。
　上記態様において、前記領域オブジェクトは、前記分割された領域に対応する平面オブジェクトであってもよい。これによると、分割された領域自体の視認性の向上を図ることが可能となる。
　上記態様において、前記領域オブジェクトは、前記分割された領域の輪郭に対応する線オブジェクトであってもよい。これによると、分割された領域の輪郭の視認性の向上を図ることが可能となる。
　上記態様において、前記可視光カメラと前記赤外線カメラは、前記船舶の互いに異なる位置に設置されてもよい。また、前記画像生成部は、前記可視光カメラと前記赤外線カメラの視差に基づいて、前記領域オブジェクトを重畳する位置を調整してもよい。これによると、さらなる視認性の向上を図ることが可能となる。
　上記態様において、前記船舶の姿勢を表す姿勢データを取得する姿勢取得部をさらに備え、前記画像生成部は、前記船舶の姿勢に応じた前記可視光カメラと前記赤外線カメラの視差に基づいて、前記領域オブジェクトを重畳する位置を調整してもよい。これによると、さらなる視認性の向上を図ることが可能となる。
　上記態様において、前記第１画像取得部は、前記可視光画像に基づいて前記領域オブジェクトの重畳の要否を判定し、前記画像生成部は、重畳が必要と判定された場合に、前記可視光画像に前記領域オブジェクトを重畳してもよい。これによると、例えば夜間又は濃霧時などの視認性が低い場合において、視認性の向上を図ることが可能となる。
　また、本発明の他の態様の着桟支援方法は、船舶に設置された可視光カメラにより、前記船舶が着桟する港湾施設を撮像して可視光画像を生成し、前記船舶に設置された赤外線カメラにより、前記港湾施設を撮像して赤外線画像を生成し、前記赤外線画像を前記港湾施設にある対象物ごとの領域に分割し、前記分割された領域を表す領域オブジェクトを前記可視光画像の対応する位置に重畳した表示用画像を生成する。これによると、視認性が高い港湾施設の画像を生成することが可能となる。
　また、本発明の他の態様のプログラムは、船舶に設置され、前記船舶が着桟する港湾施設を撮像する可視光カメラにより生成される可視光画像を取得すること、前記船舶に設置され、前記港湾施設を撮像する赤外線カメラにより生成される赤外線画像を取得すること、前記赤外線画像を前記港湾施設にある対象物ごとの領域に分割すること、及び、前記分割された領域を表す領域オブジェクトを前記可視光画像の対応する位置に重畳した表示用画像を生成すること、をコンピュータに実行させる。これによると、視認性が高い港湾施設の画像を生成することが可能となる。
着桟支援システムの例を示す図である。 着桟支援装置の例を示す図である。 可視光画像の例を示す図である。 赤外線画像の例を示す図である。 領域分割の例を示す図である。 表示用画像の例を示す図である。 表示用画像の例を示す図である。 着桟支援方法の例を示す図である。 変形例を説明する図である。
　以下、本発明の実施形態について、図面を参照しながら説明する。
　図１は、着桟支援システム１００の構成例を示すブロック図である。着桟支援システム１００は、船舶に搭載され、船舶の着桟を支援するシステムである。以下の説明では、着桟支援システム１００が搭載された船舶を「自船」という。
　着桟支援システム１００は、着桟支援装置１、表示部２、レーダー３、ＡＩＳ４、可視光カメラ５１、赤外線カメラ５２、ＧＮＳＳ受信機６、ジャイロコンパス７、ＥＣＤＩＳ８、及び無線通信部９を備えている。これらの機器は、例えばＬＡＮ等のネットワークＮに接続されており、相互にネットワーク通信が可能である。
　着桟支援装置１は、ＣＰＵ、ＲＡＭ、ＲＯＭ、不揮発性メモリ、及び入出力インターフェース等を含むコンピュータである。着桟支援装置１のＣＰＵは、ＲＯＭ又は不揮発性メモリからＲＡＭにロードされたプログラムに従って情報処理を実行する。
　プログラムは、光ディスク又はメモリカード等の情報記憶媒体を介して供給されてもよいし、インターネット又はＬＡＮ等の通信ネットワークを介して供給されてもよい。
　表示部２は、着桟支援装置１により生成された表示用画像を表示する。表示部２は、レーダー画像、カメラ画像、又は電子海図なども表示する。
　表示部２は、例えばタッチセンサ付き表示装置、いわゆるタッチパネルである。タッチセンサは、ユーザの指等による画面内の指示位置を検出する。これに限らず、トラックボール等により指示位置が入力されてもよい。
　レーダー３は、自船の周囲に電波を発するとともにその反射波を受信し、受信信号に基づいてエコーデータを生成する。また、レーダー３は、エコーデータから物標を識別し、物標の位置及び速度を表す物標追跡データ（ＴＴデータ）を生成する。
　ＡＩＳ（Automatic Identification System）４は、自船の周囲に存在する他船又は陸上の管制からＡＩＳデータを受信する。ＡＩＳに限らず、ＶＤＥＳ（VHF Data Exchange System）が用いられてもよい。ＡＩＳデータは、他船の識別符号、船名、位置、針路、船速、船種、船体長、及び行き先などを含んでいる。
　可視光カメラ５１及び赤外線カメラ５２は、自船から外部を撮像して画像データを生成するデジタルカメラである。可視光カメラ５１及び赤外線カメラ５２は、例えば自船のブリッジに船首方位を向いて設置される。可視光カメラ５１及び赤外線カメラ５２は、パン、チルト、ズーム機能を有するＰＴＺカメラであってもよい。
　可視光カメラ５１及び赤外線カメラ５２は、時系列の複数の画像を順次生成する。時系列の複数の画像は、例えば動画データに含まれる複数の静止画像（フレーム）であってもよいし、所定の時間間隔で撮像されて個別に生成された複数の静止画像であってもよい。
　可視光カメラ５１は、可視光線を検出して画像化するカメラである。赤外線カメラ５２は、遠赤外線を検出して画像化するカメラである。赤外線カメラ５２は、遠赤外線に限らず、近赤外線又は中赤外線を検出して画像化するカメラであってもよい。
　ＧＮＳＳ受信機６は、ＧＮＳＳ（Global Navigation Satellite System）から受信した電波に基づいて自船の位置を検出する。ジャイロコンパス７は、自船の船首方位を検出する。ジャイロコンパスに限らず、ＧＰＳコンパスが用いられてもよい。
　ＥＣＤＩＳ（Electronic Chart Display and Information System）８は、ＧＮＳＳ受信機６から自船の位置を取得し、電子海図上に自船の位置を表示する。また、ＥＣＤＩＳ８は、電子海図上に自船の計画航路も表示する。ＥＣＤＩＳに限らず、ＧＮＳＳプロッタが用いられてもよい。
　無線通信部９は、例えば超短波帯、中短波帯、短波帯の無線設備など、他船又は陸上の管制との通信を実現するための種々の無線設備を含んでいる。
　本実施形態では、着桟支援装置１と表示部２は互いに独立した装置であるが、これに限らず、着桟支援装置１と表示部２は一体の装置であってもよい。
　本実施形態において、着桟支援装置１は独立した装置であるが、これに限らず、ＥＣＤＩＳ８等の他の装置と一体であってもよい。すなわち、着桟支援装置１の機能部が他の装置で実現されてもよい。
　また、表示部２も独立した装置であるが、これに限らず、ＥＣＤＩＳ８等の他の装置の表示部が、着桟支援装置１により生成された表示用画像を表示する表示部２として用いられてもよい。
　図２は、着桟支援方法を実現する着桟支援装置１の構成例を示すブロック図である。着桟支援装置１は、第１画像取得部１１、第２画像取得部１２、同期情報入力部１３、前処理部１４、領域分割部１５、画像生成部１６、及び視差情報保持部１７を備えている。
　これらの機能部１１～１６は、着桟支援装置１の制御部１０がプログラムに従って情報処理を実行することによって実現される。視差情報保持部１７は、着桟支援装置１のメモリ内に設けられる。
　第１画像取得部１１は、自船が着桟する港湾施設を撮像する可視光カメラ５１により生成される可視光画像ＶＬＧを取得する。第１画像取得部１１は、可視光カメラ５１から時系列の複数の可視光画像ＶＬＧを順次取得する。
　港湾施設には、例えば岸壁及び浮桟橋等の係留施設が存在する。また、港湾施設には、例えばクレーン等の荷捌き施設も存在する。また、港湾施設には、係留された船舶（係留船）等も存在する。
　図３は、可視光画像ＶＬＧの例を示す図である。同図に示す可視光画像ＶＬＧは、自船に設けられた可視光カメラ５１で夜間且つ濃霧時に港湾施設を撮像したときの例を示している。
　可視光画像ＶＬＧは、人が目で見て認識する画像と近いため、ある程度の照度があれば、操船者にとって認識し易い、操船時の参照に適した画像となる。夜間であっても、港湾施設には着桟のための照明があるため、自船が港湾施設に近づけば、可視光画像ＶＬＧで認識が可能である。
　但し、可視光画像ＶＬＧは逆光の影響を受け易く、図３に示すように、夜間においては港湾施設の照明の光が逆光となって画像内に白飛びが生じることがある。また、日中においては太陽の光が逆光となって画像内に白飛びが生じることがある。
　また、可視光画像ＶＬＧは、濃霧時に視認性が著しく低下する。図３に示すように、濃霧時には港湾施設がはっきり見えなくなる。
　第２画像取得部１２は、港湾施設を撮像する赤外線カメラ５２により生成される赤外線画像ＩＲＧを取得する。第２画像取得部１２は、赤外線カメラ５２から時系列の複数の赤外線画像ＩＲＧを順次取得する。
　図４は、赤外線画像ＩＲＧの例を示す図である。同図に示す赤外線画像ＩＲＧは、自船に設けられた赤外線カメラ５２で上記可視光画像ＶＬＧと同じ環境で同じ対象を撮像したときの例を示している。
　赤外線画像ＩＲＧは、夜間又は濃霧時に遠方から港湾施設を視認できる点において有効である。図４に示すように、濃霧且つ夜間であっても、港湾施設の岸壁及びクレーン等がはっきり見える。
　但し、赤外線画像ＩＲＧでは、港湾施設の照明の光が画像内に現れず、照明の存在を知ることはできない。図４に示すように、赤外線画像ＩＲＧでは、上記図３の可視光画像ＶＬＧで見られた港湾施設の照明の光が見えていない。
　なお、可視光画像ＶＬＧと赤外線画像ＩＲＧには、可視光カメラ５１と赤外線カメラ５２の位置の違いによって視差が生じる。図３及び図４の例では、赤外線画像ＩＲＧの光景は可視光画像ＶＬＧの光景と比べて右方向にずれている。これは、赤外線カメラ５２が可視光カメラ５１よりも左方向に位置しているためである。
　図２の説明に戻る。同期情報入力部１３は、可視光カメラ５１により生成される可視光画像ＶＬＧと、赤外線カメラ５２により生成される赤外線画像ＩＲＧとの同期情報を生成し、領域分割部１５及び画像生成部１６に提供する。
　前処理部１４は、後段の領域分割部１５（領域分割モデル）の認識精度を向上させるために、赤外線画像ＩＲＧに対して前処理を行う。前処理には、例えば膨張、収縮、平均化、メディアン、エッジ抽出、又はエッジ強調などがある。なお、可視光画像ＶＬＧに対しても、霧除去などの前処理を行ってもよい。
　領域分割部１５は、赤外線画像ＩＲＧを港湾施設に存在する例えば岸壁、クレーン、及び船舶等の対象物ごとの領域に分割する。領域分割部１５は、領域分割モデルを用いて赤外線画像ＩＲＧの領域分割を行う。
　領域分割モデルは、画像内の各画素が何れのカテゴリーに属するか推定してカテゴリー毎のオブジェクトに分割する学習済みモデルである。領域分割モデルには、例えばセマンティックセグメンテーションが用いられる。これに限らず、インスタンスセグメンテーション等が用いられてもよい。
　図５は、領域分割部１５により生成される認識画像ＣＧの例を示す図である。認識画像ＣＧは、赤外線画像ＩＲＧと同じ大きさを有し、各画素が何れのカテゴリーに属するかを表す画像である。認識画像ＣＧは、例えば岸壁の領域Ｃ１、クレーンの領域Ｃ２、及び係留船の領域Ｃ３を含んでいる。
　領域分割部１５は、岸壁、クレーン、及び係留船だけでなく、その他のカテゴリーの領域をさらに分割してもよい。例えば、港湾施設にあるコンテナ又は倉庫等の領域をさらに分割してもよいし、自船、水面、又は空などの領域をさらに分割してもよい。
　画像生成部１６は、領域分割部１５により分割された領域を表す領域オブジェクトＲ１～Ｒ３を、可視光画像ＶＬＧの対応する位置に重畳した表示用画像ＤＰＧを生成し、表示部２に提供する。
　図６は、画像生成部１６により生成される表示用画像ＤＰＧの例を示す図である。表示用画像ＤＰＧは、可視光画像ＶＬＧに領域オブジェクトＲ１～Ｒ３を重畳したＡＲ（Augmented Reality）画像である。
　表示用画像ＤＰＧは、例えば岸壁の領域オブジェクトＲ１、クレーンの領域オブジェクトＲ２、及び係留船の領域オブジェクトＲ３を含んでいる。これらは、上記認識画像ＣＧに含まれる岸壁の領域Ｃ１、クレーンの領域Ｃ２、及び係留船の領域Ｃ３に対応する。
　領域オブジェクトＲ１～Ｒ３は、領域Ｃ１～Ｃ３と同一又は類似の形状の平面オブジェクトである。可視光画像ＶＬＧの領域オブジェクトＲ１～Ｒ３が重畳される部分が視認可能となるように、領域オブジェクトＲ１～Ｒ３は透過性を有することが好ましい。
　これに限らず、図７に示すように、領域オブジェクトＲ１～Ｒ３は、領域Ｃ１～Ｃ３の輪郭と同一又は類似の形状の線オブジェクトであってもよい。これによれば、可視光画像ＶＬＧの領域オブジェクトＲ１～Ｒ３が重畳される部分がより視認しやすくなる。
　画像生成部１６は、同期情報入力部１３により提供された同期情報に基づいて、可視光画像ＶＬＧと、これと同時期の赤外線画像ＩＲＧから生成された領域オブジェクトＲ１～Ｒ３とを合成する。なお、着桟時は自船の動きが遅いため、同期を行わなくてもよい。
　画像生成部１６は、視差情報保持部１７により保持された視差情報に基づいて、領域オブジェクトＲ１～Ｒ３を重畳する位置を調整する。視差情報は、可視光カメラ５１と赤外線カメラ５２の位置差を主に含んでいる。また、視差情報は、可視光カメラ５１及び赤外線カメラ５２の視野角、解像度、カメラパラメータ等をさらに含んでもよい。
　画像生成部１６は、例えば赤外線カメラ５２が可視光カメラ５１よりも左方向に位置する場合、可視光画像ＶＬＧに領域オブジェクトＲ１～Ｒ３を重畳する位置を、赤外線画像ＩＲＧで認識された位置よりも左方向にシフトさせる。
　また、画像生成部１６は、視差情報に基づいて、領域オブジェクトＲ１～Ｒ３の形状を変形させてもよい。画像生成部１６は、例えば赤外線カメラ５２の解像度が可視光カメラ５１よりも低い場合には、領域オブジェクトＲ１～Ｒ３の大きさを赤外線画像ＩＲＧで認識された大きさより拡大してもよい。
　画像生成部１６に利用される、領域オブジェクトＲ１～Ｒ３の位置又は形状を調整するための変換式は、例えば予め用意され、視差情報の一部として視差情報保持部１７に保持される。
　図８は、着桟支援システム１００において実現される、実施形態に係る着桟支援方法の手順例を示す図である。着桟支援装置１の制御部１０は、同図に示す情報処理をプログラムに従って実行する。
　まず、制御部１０は、可視光カメラ５１から可視光画像ＶＬＧを取得する（Ｓ１１：第１画像取得部１１としての処理）。
　次に、制御部１０は、赤外線カメラ５２から赤外線画像ＩＲＧを取得する（Ｓ１２：第２画像取得部１２としての処理）。
　次に、制御部１０は、取得された赤外線画像ＩＲＧに対して前処理を実行する（Ｓ１３：前処理部１４としての処理）。
　次に、制御部１０は、前処理が行われた赤外線画像ＩＲＧに対して領域分割を実行する（Ｓ１４：領域分割部１５としての処理）。
　次に、制御部１０は、領域分割の結果に基づいて、領域Ｃ１～Ｃ３ごとの領域オブジェクトＲ１～Ｒ３を生成する（Ｓ１５：画像生成部１６としての処理）。
　次に、制御部１０は、領域オブジェクトＲ１～Ｒ３を可視光画像ＶＬＧの対応する位置に重畳した表示用画像ＤＰＧを生成する（Ｓ１６：画像生成部１６としての処理）。
　最後に、制御部１０は、生成された表示用画像ＤＰＧを表示部２に出力する（Ｓ１７）。
　なお、領域オブジェクトＲ１～Ｒ３の重畳は、必要に応じて行われてもよい。すなわち、制御部１０は、可視光画像ＶＬＧを解析し、重畳が必要である場合にのみ、可視光画像ＶＬＧに領域オブジェクトＲ１～Ｒ３を重畳してもよい。例えば、可視光画像ＶＬＧの明るさ又は鮮明度等が低い場合に、重畳が必要と判定される。
　変形例について説明する。上記実施形態では、予め用意された視差情報に基づいて領域オブジェクトＲ１～Ｒ３の位置を静的に調整したが、これに限らず、以下に説明するように、自船の姿勢に応じて領域オブジェクトＲ１～Ｒ３の位置等を動的に調整してもよい。
　図９に示すように、着桟支援装置１は、不図示の姿勢センサから自船の姿勢を表す姿勢データを取得する姿勢取得部１９をさらに備え、画像生成部１６は、自船の姿勢に応じた可視光カメラ５１及び赤外線カメラ５２の視差に基づいて、領域オブジェクトＲ１～Ｒ３を重畳する位置を動的に調整する。
　例えば自船がロール方向に揺れた場合、左右方向に離れて設置された可視光カメラ５１と赤外線カメラ５２は、揺れによって上下方向にも位置差を生じることになる。そこで、画像生成部１６は、自船の姿勢に応じた視差も補償するように、オブジェクトＲ１～Ｒ３の位置を調整する。
　例えば、揺れによって赤外線カメラ５２が可視光カメラ５１よりも上方向に位置する場合、領域オブジェクトＲ１～Ｒ３の位置は上方向にシフトされ、揺れによって赤外線カメラ５２が可視光カメラ５１よりも下方向に位置する場合、領域オブジェクトＲ１～Ｒ３の位置は下方向にシフトされる。
　以上、本発明の実施形態について説明したが、本発明は以上に説明した実施形態に限定されるものではなく、種々の変更が当業者にとって可能であることはもちろんである。
　なお、上記実施形態では、港湾施設を撮像した赤外線画像を対象物ごとの領域に分割する例について説明したが、撮像の対象は、港湾施設に限らず、例えば船舶、ブイ、又は浮標などの海上物標であってもよい。すなわち、海上物標を含む赤外線画像を対象物ごとの領域に分割して、領域オブジェクトを可視光画像に重畳してもよい。
１　着桟支援装置、２　表示部、３　レーダー、４　ＡＩＳ、５　カメラ、６　ＧＮＳＳ受信機、７　ジャイロコンパス、８　ＥＣＤＩＳ、９　無線通信部、１１　第１画像取得部、１２　第２画像取得部、１３　同期情報入力部、１４　前処理部、１５　領域分割部、１６　画像生成部、１７　視差情報保持部、１００　着桟支援システム

Claims (10)

  1. 　船舶に設置され、前記船舶が着桟する港湾施設を撮像する可視光カメラにより生成される可視光画像を取得する第１画像取得部と、
    　前記船舶に設置され、前記港湾施設を撮像する赤外線カメラにより生成される赤外線画像を取得する第２画像取得部と、
    　前記赤外線画像を前記港湾施設にある対象物ごとの領域に分割する領域分割部と、
    　前記分割された領域を表す領域オブジェクトを前記可視光画像の対応する位置に重畳した表示用画像を生成する画像生成部と、
    　を備える、着桟支援装置。
  2. 　前記領域分割部は、前記港湾施設にある岸壁、クレーン、及び船舶の少なくとも１つの領域を分割する、
    　請求項１に記載の着桟支援装置。
  3. 　前記領域オブジェクトは、前記分割された領域に対応する平面オブジェクトである、
    　請求項１または２に記載の着桟支援装置。
  4. 　前記領域オブジェクトは、前記分割された領域の輪郭に対応する線オブジェクトである、
    　請求項１または２に記載の着桟支援装置。
  5. 　前記可視光カメラと前記赤外線カメラは、前記船舶の互いに異なる位置に設置される、
    　請求項１ないし４の何れかに記載の着桟支援装置。
  6. 　前記画像生成部は、前記可視光カメラと前記赤外線カメラの視差に基づいて、前記領域オブジェクトを重畳する位置を調整する、
    　請求項５に記載の着桟支援装置。
  7. 　前記船舶の姿勢を表す姿勢データを取得する姿勢取得部をさらに備え、
    　前記画像生成部は、前記船舶の姿勢に応じた前記可視光カメラと前記赤外線カメラの視差に基づいて、前記領域オブジェクトを重畳する位置を調整する、
    　請求項１ないし６の何れかに記載の着桟支援装置。
  8. 　前記第１画像取得部は、前記可視光画像に基づいて前記領域オブジェクトの重畳の要否を判定し、
    　前記画像生成部は、重畳が必要と判定された場合に、前記可視光画像に前記領域オブジェクトを重畳する、
    　請求項１ないし７の何れかに記載の着桟支援装置。
  9. 　船舶に設置された可視光カメラにより、前記船舶が着桟する港湾施設を撮像して可視光画像を生成し、
    　前記船舶に設置された赤外線カメラにより、前記港湾施設を撮像して赤外線画像を生成し、
    　前記赤外線画像を前記港湾施設にある対象物ごとの領域に分割し、
    　前記分割された領域を表す領域オブジェクトを前記可視光画像の対応する位置に重畳した表示用画像を生成する、
    　着桟支援方法。
  10. 　船舶に設置され、前記船舶が着桟する港湾施設を撮像する可視光カメラにより生成される可視光画像を取得すること、
    　前記船舶に設置され、前記港湾施設を撮像する赤外線カメラにより生成される赤外線画像を取得すること、
    　前記赤外線画像を前記港湾施設にある対象物ごとの領域に分割すること、及び、
    　前記分割された領域を表す領域オブジェクトを前記可視光画像の対応する位置に重畳した表示用画像を生成すること、
    　をコンピュータに実行させるためのプログラム。
PCT/JP2022/011825 2021-07-12 2022-03-16 着桟支援装置、着桟支援方法、及びプログラム WO2023286359A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023535119A JPWO2023286359A1 (ja) 2021-07-12 2022-03-16

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021115088 2021-07-12
JP2021-115088 2021-07-12

Publications (1)

Publication Number Publication Date
WO2023286359A1 true WO2023286359A1 (ja) 2023-01-19

Family

ID=84919943

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/011825 WO2023286359A1 (ja) 2021-07-12 2022-03-16 着桟支援装置、着桟支援方法、及びプログラム

Country Status (2)

Country Link
JP (1) JPWO2023286359A1 (ja)
WO (1) WO2023286359A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009241902A (ja) * 2008-03-31 2009-10-22 Mitsui Eng & Shipbuild Co Ltd 船舶の風圧抵抗低減方法及び船舶
JP2013247492A (ja) * 2012-05-25 2013-12-09 Konica Minolta Inc 物体検出装置
JP2015219014A (ja) * 2014-05-14 2015-12-07 コニカミノルタ株式会社 物体診断装置
JP2016076912A (ja) * 2014-10-09 2016-05-12 株式会社Ｊｖｃケンウッド 撮影画像表示装置、撮影画像表示方法および撮影画像表示プログラム
JP2018157496A (ja) * 2017-03-21 2018-10-04 クラリオン株式会社 キャリブレーション装置
JP2019118043A (ja) * 2017-12-27 2019-07-18 キヤノン株式会社 撮像装置、画像処理装置、制御方法およびプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009241902A (ja) * 2008-03-31 2009-10-22 Mitsui Eng & Shipbuild Co Ltd 船舶の風圧抵抗低減方法及び船舶
JP2013247492A (ja) * 2012-05-25 2013-12-09 Konica Minolta Inc 物体検出装置
JP2015219014A (ja) * 2014-05-14 2015-12-07 コニカミノルタ株式会社 物体診断装置
JP2016076912A (ja) * 2014-10-09 2016-05-12 株式会社Ｊｖｃケンウッド 撮影画像表示装置、撮影画像表示方法および撮影画像表示プログラム
JP2018157496A (ja) * 2017-03-21 2018-10-04 クラリオン株式会社 キャリブレーション装置
JP2019118043A (ja) * 2017-12-27 2019-07-18 キヤノン株式会社 撮像装置、画像処理装置、制御方法およびプログラム

Also Published As

Publication number Publication date
JPWO2023286359A1 (ja) 2023-01-19

Similar Documents

Publication Publication Date Title
US10908678B2 (en) Video and image chart fusion systems and methods
US10942028B2 (en) Video sensor fusion and model based virtual and augmented reality systems and methods
US11270512B2 (en) Image generating device for generating three-dimensional display data
US20210206459A1 (en) Video sensor fusion and model based virtual and augmented reality systems and methods
US20200089234A1 (en) Image generating device and image generating method
US20220172464A1 (en) Water non-water segmentation systems and methods
JP6877815B2 (ja) 画像生成装置
US20220392211A1 (en) Water non-water segmentation systems and methods
US11964737B2 (en) Ship information displaying system, ship information displaying method and image generating device
US20200089957A1 (en) Image generating device
WO2021178603A1 (en) Water non-water segmentation systems and methods
Robinette et al. Sensor evaluation for autonomous surface vehicles in inland waterways
WO2023286359A1 (ja) 着桟支援装置、着桟支援方法、及びプログラム
JP4445313B2 (ja) 船舶航行支援装置
JP4550568B2 (ja) 船舶の運航管理方法及び装置
WO2023162561A1 (ja) 物標監視装置、操船システム、物標監視方法、及びプログラム
WO2023112347A1 (ja) 物標監視装置、物標監視方法、及びプログラム
KR102249156B1 (ko) 증강현실 이미지를 이용한 항해 보조장치
US20240149992A1 (en) Navigational information displaying device, navigational information displaying method, and a non-transitory computer-readable medium
WO2023162562A1 (ja) 物標監視システム、物標監視方法、及びプログラム
WO2023286360A1 (ja) 学習用データ収集装置、学習用データ収集方法、及びプログラム
KR20110078340A (ko) 해상선박영상추적시스템
Wang et al. Fusion Detection Algorithm of Maritime Radar and Electro-Optical Pod for Complex Sea Conditions
ITGO20130005A1 (it) Apparato per il supporto, il miglioramento, la sicurezza e la semplificazione delle operazioni di manovra a bassa velocità di una imbarcazione
JPS6022750B2 (ja) 船舶航行監視装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22841709

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023535119

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE