WO2021141339A1 - 해수면을 고려한 항만 및 선박 모니터링 방법 및 장치 - Google Patents

해수면을 고려한 항만 및 선박 모니터링 방법 및 장치 Download PDF

Info

Publication number
WO2021141339A1
WO2021141339A1 PCT/KR2021/000038 KR2021000038W WO2021141339A1 WO 2021141339 A1 WO2021141339 A1 WO 2021141339A1 KR 2021000038 W KR2021000038 W KR 2021000038W WO 2021141339 A1 WO2021141339 A1 WO 2021141339A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
information
sea level
lidar
vessel
Prior art date
Application number
PCT/KR2021/000038
Other languages
English (en)
French (fr)
Inventor
김한근
김동훈
박별터
구정모
Original Assignee
씨드로닉스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020200003173A external-priority patent/KR102278674B1/ko
Priority claimed from KR1020200139726A external-priority patent/KR102530847B1/ko
Application filed by 씨드로닉스 주식회사 filed Critical 씨드로닉스 주식회사
Priority to EP21738118.5A priority Critical patent/EP4089660A4/en
Publication of WO2021141339A1 publication Critical patent/WO2021141339A1/ko
Priority to US17/860,692 priority patent/US20220351523A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G06T3/10—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G3/00—Traffic control systems for marine craft
    • G08G3/02—Anti-collision systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • the present application relates to a method and apparatus for monitoring a port and a vessel, and more particularly, to a method and an apparatus for monitoring a port and a vessel in consideration of sea level.
  • An object of the present specification is to provide a monitoring method and apparatus for monitoring a port and a vessel periphery.
  • An object of the present specification is to provide a monitoring device and method for guiding the berthing or berthing of the vessel and berthing or disembarking by understanding the surrounding and port conditions of the vessel.
  • An object of the present specification is to provide a method and apparatus for monitoring a port and a vessel for measuring the sea level by using lidar data related to a lidar beam reflected from the sea and a vessel.
  • An object of the present specification is to provide a method and apparatus for monitoring a port and a vessel for measuring the sea level by efficiently convergence data of a camera and a lidar.
  • a port monitoring method performed by a computing means, the method comprising: acquiring a port image including a vessel object corresponding to a vessel and a sea object corresponding to the sea with a first view attribute; Generating a segmented image corresponding to the harbor image and having the first view attribute by performing image segmentation using an artificial neural network trained to output information on the type of object included in the input image from the input image - the the segmentation image includes a first pixel labeled to correspond to the ship object and a second pixel labeled to correspond to the sea object; From the segmentation image having the first view property, based on first viewpoint transformation information used to convert the image having the first view property into an image having a second view property different from the first view property 2 generating a transformed segmentation image having a view attribute; and calculating berthing guide information of the vessel based on the transformed segmentation image.
  • the berthing guide information is at least one of information on a distance to the quay wall of the vessel and information on an approach speed of the vessel to the quay wall. including; including, but generating the transformed segmentation image includes: obtaining sea level height information reflecting the height of the sea level; updating the first viewpoint conversion information to reflect the sea level information; and generating a transformed segmentation image having the second view attribute from the segmentation image having the first view attribute based on the updated first view transformation information.
  • a sea image including an obstacle object corresponding to an obstacle around the vessel and a sea object corresponding to the sea with a first view property step;
  • Generating a segmented image corresponding to the sea image and having the first view attribute by performing image segmentation using an artificial neural network trained to output information on the type of object included in the input image from the input image - the the segmentation image includes a first pixel labeled to correspond to the obstacle object and a second pixel labeled to correspond to the sea object; From the segmentation image having the first view property, based on first viewpoint transformation information used to convert the image having the first view property into an image having a second view property different from the first view property 2 generating a transformed segmentation image having a view attribute; and calculating navigation guide information of the vessel based on the converted segmentation image.
  • the navigation guide information is at least one of information on a distance of the vessel to the obstacle and information on an approach speed of the vessel to the obstacle. including one; but, the generating of the transformed segmentation image includes: obtaining sea level height information reflecting the height of the sea level; updating the first viewpoint conversion information to reflect the sea level information; and generating a transformed segmentation image having the second view attribute from the segmentation image having the first view attribute on the basis of the updated first view transformation information; .
  • a port monitoring method performed by a computing means, the method comprising: acquiring a first image including a ship object corresponding to a ship and a sea object corresponding to the sea with a first view; projecting the first image onto a first plane parallel to the sea level to generate a second image having a different top view than the first view; calculating eyepiece guide information based on the second image, wherein the eyepiece guide information includes at least one of information on a distance to the quay wall of the vessel and information on an approach speed of the vessel to the quay wall - ; obtaining sea level information corresponding to a height of a second plane that is formed at a different height from the first plane and is parallel to the first plane; and correcting the calculated eyepiece guide information by reflecting the height difference between the first plane and the second plane; a harbor monitoring method comprising a can be provided.
  • a port monitoring method performed by a computing means, the method comprising: acquiring a first image including a ship object corresponding to a ship and a sea object corresponding to the sea with a first view; obtaining sea level height information reflecting the height of the sea level;
  • the view point conversion information for projecting the image on a second plane parallel to the sea level but formed at a different height from the sea level is the sea level height information updating based on converting the first image into a second image having a top view different from the first view by using the updated viewpoint transformation information; and calculating eyepiece guide information based on the second image.
  • the eyepiece guide information includes at least one of information on a distance to the quay wall of the vessel and information on an approach speed of the vessel to the quay wall.
  • a port monitoring method comprising: acquiring an image captured by a camera; a plurality of lidar points obtained by a lidar sensor having a viewing angle that at least partially overlaps with a viewing angle of the camera; Acquiring IDA data, detecting a first area corresponding to the sea in the image and a second area corresponding to a ship in the image, a pixel of a pixel included in the first area among the plurality of LiDAR points Selecting first LiDAR points related to a LiDAR beam reflected from the sea in consideration of a location, calculating a first estimated sea level using the first LiDAR points, and a pixel included in the second area selecting second lidar points related to the lidar beam reflected from the vessel from among the plurality of lidar points in consideration of pixel positions of the determining third lidar points associated with a lidar beam reflected from a lower region of the vessel facing the sea from the IDA points, calculating a second estimated sea level height using the third lidar points;
  • a harbor monitoring method comprising: acquiring an image captured by a camera; a plurality of lidar points obtained by a lidar sensor having a viewing angle that at least partially overlaps with a viewing angle of the camera Acquiring lidar data, detecting a first region corresponding to the sea in the image and a second region corresponding to a ship in the image, of pixels included in the first region among the plurality of lidar points selecting first lidar points associated with a lidar beam reflected from the sea in consideration of a pixel position, determining a first reliability of the first lidar points based on characteristics of the lidar points; selecting second LiDAR points related to the LiDAR beam reflected from the vessel from among the plurality of LiDAR points in consideration of pixel positions of pixels included in an area, based on the vessel information obtained from the image determining the second reliability of second lidar points, and calculating the sea level height by using at least one of the first lidar points and the second lidar points in consideration of the first reliability and
  • obtaining lidar data including a plurality of lidar points obtained by a lidar sensor, among the plurality of lidar points, related to a lidar beam reflected from the sea selecting first lidar points, selecting second lidar points associated with a lidar beam reflected from the vessel from among the plurality of lidar points, the first lidar points and the second lidar Determining the reliability of each of the first LiDAR points and the second LiDAR points for estimating the sea level height based on at least one of a number of points, a deviation of a height value, and a distance value;
  • a port monitoring method comprising the step of estimating sea level height using at least one of the first LiDAR points and the second LiDAR points in consideration of the reliability of the IDA points and the second LiDAR points may be provided.
  • a harbor monitoring method comprising: acquiring an image captured by a camera; a plurality of lidar points obtained by a lidar sensor having a viewing angle that at least partially overlaps with a viewing angle of the camera Acquiring lidar data, detecting a vessel region corresponding to the vessel in the image using an artificial neural network, wherein the artificial neural network includes a plurality of training images and object information labeled in pixels of the plurality of training images wherein at least some of the plurality of training images include a vessel and a sea, the object information reflects an object type, and the pixels of the vessel indicate a vessel of the object type.
  • first LiDAR points related to the LiDAR beam reflected from the vessel from among the plurality of LiDAR points in consideration of pixel positions of pixels labeled with object information and included in the vessel area, the first determining second lidar points related to a lidar beam reflected from a lower region of the vessel in contact with the sea from the first lidar points based on a height value of the lidar point, and the second lidar point
  • a port monitoring method including the step of estimating the sea level height using these may be provided.
  • a harbor monitoring method comprising: acquiring an image captured by a camera; a plurality of lidar points obtained by a lidar sensor having a viewing angle that at least partially overlaps with a viewing angle of the camera Acquiring lidar data, detecting a vessel region corresponding to a vessel in the image, and a lidar reflected from the vessel among the plurality of lidar points in consideration of pixel positions of pixels included in the vessel region Selecting first LiDAR points associated with a beam, obtaining vessel information related to the vessel from the image, the vessel information includes the detection of the vessel, the size of the vessel area, the distance to the vessel and the vessel
  • a port monitoring method comprising at least one of detection of occlusion related to and estimating sea level height using the first lidar point when a preset condition is satisfied by the ship information will be provided.
  • the monitoring apparatus and method it is possible to grasp the ship's surroundings and port conditions when berthing or berthing of a vessel and guide berthing or berthing.
  • the sea level can always be measured regardless of the circumstances by using lidar data related to the lidar beam reflected from the sea and ship.
  • 1 is a view of a port monitoring method in consideration of sea level according to an embodiment.
  • FIG. 2 is a diagram of a monitoring device according to an embodiment.
  • 3 and 4 are diagrams related to an embodiment of a monitoring device according to an embodiment.
  • FIG. 5 is a diagram illustrating a viewing angle and a depth of field according to an exemplary embodiment.
  • FIG. 6 and 7 are views of an installation position of a sensor module according to an embodiment.
  • FIGS. 8 and 9 are diagrams illustrating an example of object recognition according to an embodiment.
  • 10 is a table related to labeling in which information on the type and distance of an object is simultaneously reflected, according to an embodiment.
  • FIG. 11 is a diagram illustrating another example of object recognition according to an embodiment.
  • 12 and 13 are diagrams of a learning step and an inference step of an artificial neural network according to an embodiment.
  • FIGS. 14 and 15 are diagrams for explaining eyepiece guide information according to an embodiment.
  • 16 is a view for explaining information on the berthing guide between the ship and the quay wall according to an embodiment.
  • 17 is a view for explaining a method of obtaining eyepiece guide information according to an embodiment.
  • 18 and 19 are diagrams for view transformation according to an embodiment.
  • 20 to 29 are diagrams for explaining the acquisition of eyepiece guide information in consideration of sea level height information according to an embodiment.
  • 30 to 43 are diagrams illustrating examples of obtaining sea level information according to an embodiment.
  • 44 is a view related to fog removal according to an embodiment.
  • 45 is a view for explaining the step of outputting eyepiece guide information according to an embodiment.
  • 46 is a diagram of a step of outputting eyepiece guide information according to an embodiment.
  • 47 is a view for explaining navigation guide information according to an embodiment.
  • a port monitoring method performed by a computing means, the method comprising: acquiring a port image including a vessel object corresponding to a vessel and a sea object corresponding to the sea with a first view attribute; Generating a segmented image corresponding to the harbor image and having the first view attribute by performing image segmentation using an artificial neural network trained to output information on the type of object included in the input image from the input image - the the segmentation image includes a first pixel labeled to correspond to the ship object and a second pixel labeled to correspond to the sea object; From the segmentation image having the first view property, based on first viewpoint transformation information used to convert the image having the first view property into an image having a second view property different from the first view property 2 generating a transformed segmentation image having a view attribute; and calculating berthing guide information of the vessel based on the transformed segmentation image.
  • the berthing guide information is at least one of information on a distance to the quay wall of the vessel and information on an approach speed of the vessel to the quay wall. including; including, but generating the transformed segmentation image includes: obtaining sea level height information reflecting the height of the sea level; updating the first viewpoint conversion information to reflect the sea level information; and generating a transformed segmentation image having the second view attribute from the segmentation image having the first view attribute based on the updated first view transformation information.
  • the updating may include updating the first viewpoint conversion information generated based on a reference plane by reflecting the sea level height information.
  • the berthing guide information may be calculated based on a boundary area that is an area in contact with the sea level of the ship.
  • the information on the distance to the quay wall of the vessel may correspond to the distance from the quay wall of the boundary area, and the information on the approach speed to the quay wall may correspond to the approach speed of the boundary area to the quay wall. have.
  • the berthing guide information may be calculated based on a first point included in the boundary area and corresponding to the bow of the ship and a second point corresponding to the stern of the ship.
  • the information on the distance to the quay wall of the ship corresponds to the distance between the first and second points and the quay wall
  • the information on the approach speed to the quay wall includes the first point and the second point. It may correspond to the speed of approach of the point to the quay wall.
  • the harbor image may include a first harbor image and a second harbor image in which the first harbor image and a monitoring area at least partially overlap.
  • the step of obtaining the sea level height information may include calculating the sea level height information based on an overlap area that is an area where the monitoring area of the first port image and the monitoring area of the second port image overlap. have.
  • the obtaining of the sea level information may further include determining the overlap area based on feature points of the first port image and the second port image that match each other.
  • the harbor image further includes a quay wall object corresponding to the quay wall, and the step of obtaining the sea level height information is occluded by the quay wall and is in a shaded area corresponding to the sea that is not expressed in the harbor image.
  • Calculating the sea level height information based on may include.
  • the obtaining of the sea level height information may include calculating the sea level height information based on an area where the height measurement object included in the harbor image is exposed above sea level.
  • the obtaining of the sea level height information may include receiving the sea level height information from a sensor for measuring the sea level height information.
  • the obtaining of the sea level height information may include receiving the sea level height information from a vessel traffic service system (VTS system).
  • VTS system vessel traffic service system
  • the berthing guide information may further include at least one of information on a distance of the vessel to a neighboring vessel and information on an approach speed to the neighboring vessel.
  • the harbor monitoring method may include, based on second viewpoint transformation information used to convert the image having the first view attribute into an image having a third view attribute different from the first view attribute and the second view attribute, The method may further include; generating a display image having the third view property from the harbor image having the first view property.
  • the port monitoring method may further include; outputting the display image and the eyepiece guide information.
  • the outputting step may include transmitting the display image and the eyepiece guide information to the terminal in order to display the display image and the eyepiece guide information using a remotely located terminal; Or displaying the display image and the eyepiece guide information; may be.
  • the artificial neural network may be trained in consideration of a difference between an output image output by inputting a learning image to the artificial neural network and a labeling image in which information on the type of object included in the learning image is reflected.
  • the second view may be a view looking down at the sea level in a direction perpendicular to the sea level.
  • the step of acquiring a sea image including an obstacle object corresponding to an obstacle around the ship and a sea object corresponding to the sea with a first view property Generating a segmented image corresponding to the sea image and having the first view attribute by performing image segmentation using an artificial neural network trained to output information on the type of object included in the input image from the input image - the the segmentation image includes a first pixel labeled to correspond to the obstacle object and a second pixel labeled to correspond to the sea object; From the segmentation image having the first view property, based on first viewpoint transformation information used to convert the image having the first view property into an image having a second view property different from the first view property 2 generating a transformed segmentation image having a view attribute; and calculating navigation guide information of the vessel based on the converted segmentation image.
  • the navigation guide information is at least one of information on a distance of the vessel to the obstacle and information on an approach speed of the vessel to the obstacle. including one; but, the generating of the transformed segmentation image includes: obtaining sea level height information reflecting the height of the sea level; updating the first viewpoint conversion information to reflect the sea level information; and generating a transformed segmentation image having the second view attribute from the segmentation image having the first view attribute on the basis of the updated first view transformation information; .
  • the sea level height information may reflect the height from the sea level of the camera installed on the ship.
  • the obtaining of the sea level height information may include receiving the sea level height information from a sensor installed in the vessel to measure the sea level height information.
  • a port monitoring method performed by a computing means, the method comprising: acquiring a first image including a ship object corresponding to a ship and a sea object corresponding to the sea with a first view; projecting the first image onto a first plane parallel to the sea level to generate a second image having a different top view than the first view; calculating eyepiece guide information based on the second image, wherein the eyepiece guide information includes at least one of information on a distance to the quay wall of the vessel and information on an approach speed of the vessel to the quay wall - ; obtaining sea level information corresponding to a height of a second plane that is formed at a different height from the first plane and is parallel to the first plane; and correcting the calculated eyepiece guide information by reflecting the height difference between the first plane and the second plane; a harbor monitoring method comprising a can be provided.
  • the height of the second plane may be the height of the sea level.
  • a port monitoring method performed by a computing means, the method comprising: acquiring a first image including a ship object corresponding to a ship and a sea object corresponding to the sea with a first view; obtaining sea level height information reflecting the height of the sea level;
  • the view point conversion information for projecting the image on a second plane parallel to the sea level but formed at a different height from the sea level is the sea level height information updating based on converting the first image into a second image having a top view different from the first view by using the updated viewpoint transformation information; and calculating eyepiece guide information based on the second image.
  • the eyepiece guide information includes at least one of information on a distance to the quay wall of the vessel and information on an approach speed of the vessel to the quay wall.
  • a method of monitoring a port comprising: acquiring an image captured by a camera; a plurality of lidar points obtained by a lidar sensor having a viewing angle that at least partially overlaps with a viewing angle of the camera; acquiring data; detecting a first region corresponding to the sea in the image and a second region corresponding to a vessel in the image; pixel positions of pixels included in the first region among the plurality of lidar points selecting first lidar points related to the lidar beam reflected from the sea in consideration of selecting second lidar points related to the lidar beam reflected from the ship from among the plurality of lidar points in consideration of the pixel position, and based on the height value of the second lidar point, the second lidar determining from the points third lidar points associated with a lidar beam reflected from a lower region of the vessel adjoining the sea, using the third lidar points to calculate a second estimated sea level height;
  • a port monitoring method may be provided, including determining the sea level height in consideration of both the first estimated
  • the first estimated sea level height may be an average of height values of the first lidar points.
  • the determining of the third LiDAR points may include generating LiDAR lines including LiDAR points having substantially the same height value from the second LiDAR points and having a lowest height value among the LiDAR lines. It may include selecting a lidar line as the third lidar points.
  • the lidar line may have the number and/or length of lidar points in a preset range.
  • the sea level height may be a weighted sum of the first estimated sea level height and the second estimated sea level height.
  • a first weight assigned to the first estimated sea level height is determined based on distance values of the first LiDAR points, and a second weight assigned to the second estimated sea level height is a distance value of the second LiDAR points. can be determined based on
  • the port monitoring method further comprises calculating a first wave height from the first LiDAR points and calculating a second wave height from the second LiDAR points, wherein the first estimated sea level height is A first weight may be determined based on a change in the first wave height per unit time, and a second weight given to the second estimated sea level may be determined based on a change in the second wave height per unit time.
  • the first region and the second region are detected using an artificial neural network, wherein the artificial neural network is to be learned using a training set comprising a plurality of training images and object information labeled in pixels of the plurality of training images.
  • the first lidar points and/or the second lidar points are determined in consideration of characteristics of the lidar points, and the characteristics of the lidar points include at least the number of lidar points, a deviation in height, and a distance value. may contain one.
  • the second LiDAR points are determined based on vessel information obtained from the image, and the vessel information includes detection of the second region, a size of the second region, a distance to the vessel, and an occlusion associated with the vessel. at least one of the previous detections.
  • a harbor monitoring method comprising: acquiring an image captured by a camera; and a plurality of lidar points obtained by a lidar sensor having a viewing angle that at least partially overlaps with a viewing angle of the camera.
  • Acquiring IDA data detecting a first area corresponding to the sea in the image and a second area corresponding to a ship in the image, a pixel of a pixel included in the first area among the plurality of LiDAR points selecting first lidar points related to a lidar beam reflected from the sea in consideration of a location, determining a first reliability of the first lidar points based on characteristics of the lidar points, and the second area selecting second lidar points related to the lidar beam reflected from the vessel from among the plurality of lidar points in consideration of pixel positions of pixels included in the . determining a second reliability of two lidar points, and estimating the sea level height using at least one of the first lidar points and the second lidar points in consideration of the first reliability and the second reliability
  • a port monitoring method comprising the step of may be provided.
  • the characteristic of the lidar points may include at least one of the number of lidar points, a deviation of a height value, and a distance value.
  • the vessel information may include at least one of detection of the second region, a size of the second region, a distance to the vessel, and detection of occlusion related to the vessel.
  • obtaining lidar data including a plurality of lidar points obtained by a lidar sensor, a first related to a lidar beam reflected from the sea among the plurality of lidar points selecting one lidar point; selecting second lidar points associated with a lidar beam reflected from the vessel from among the plurality of lidar points; the first lidar points and the second lidar point; Determining the reliability of each of the first LiDAR points and the second LiDAR points for estimating the sea level height based on at least one of a number, a deviation of a height value, and a distance value, and the first LiDAR
  • a port monitoring method comprising the step of estimating the sea level height using at least one of the first LiDAR points and the second LiDAR points can be
  • a harbor monitoring method comprising: acquiring an image captured by a camera; and a plurality of lidar points obtained by a lidar sensor having a viewing angle that at least partially overlaps with a viewing angle of the camera.
  • the artificial neural network includes a plurality of training images and object information labeled in pixels of the plurality of training images wherein at least some of the plurality of training images include a ship and a sea, the object information reflects an object type, and pixels of the vessel indicate the object of the object type
  • a port monitoring method including the step of estimating the sea level using the method may be provided.
  • the port monitoring method may further include verifying the sea level height based on at least one of a number of the first LiDAR points, a deviation of a height value, and a distance value.
  • a harbor monitoring method comprising: acquiring an image captured by a camera; and a plurality of lidar points obtained by a lidar sensor having a viewing angle that at least partially overlaps with a viewing angle of the camera.
  • Acquiring IDA data detecting a ship area corresponding to a ship in the image, taking into account pixel positions of pixels included in the ship area, a LiDAR beam reflected from the ship among the plurality of LiDAR points selecting first LiDAR points related to, obtaining vessel information related to the vessel from the image, wherein the vessel information includes the detection of the vessel, the size of the vessel area, the distance to the vessel, and the vessel
  • a port monitoring method comprising at least one of detection of related occlusion and estimating sea level height using the first lidar point when a preset condition is satisfied by the ship information may be provided.
  • the method for monitoring the port includes detecting a sea area corresponding to the sea from the image, and taking into account pixel positions of pixels included in the sea area among the plurality of lidar points, a second related to the lidar beam reflected from the sea
  • the method may further include selecting lidar points, and when the preset condition is not satisfied by the ship information, estimating sea level height using the second lidar point.
  • a computer-readable recording medium in which a program for performing the above-described methods is recorded may be provided.
  • sea level height should be broadly interpreted to include not only the absolute sea level height, but also the relative sea level height, the relative sea level height compared with the average sea level height of a specific sea area, and the like.
  • sea level height is the distance between sea level and a quay wall, the distance between sea level and a monitoring device (e.g., an image generating unit), and the length of objects exposed above sea level.
  • monitoring refers to grasping or recognizing the surrounding situation, detecting a detection target such as a certain area or a specific object using various sensors and providing the detection result to the user, as well as through calculation based on the detection result. It should be construed broadly to include, for example, providing additional information.
  • image-based monitoring may mean identifying or recognizing a surrounding situation based on an image.
  • monitoring may mean acquiring information for calculating berthing guide information during berthing or berthing of a ship or recognizing other ships or obstacles therefrom by acquiring images around the ship when the ship is operating.
  • the berthing guide information may refer to information for assisting or guiding the berthing of a user, such as a pilot or a captain, that may be used in the berthing of a ship.
  • the berthing guide information may include recognition of vessels or obstacles, identification of port conditions, whether a berth is accessible, distance from quay wall, speed of approaching vessel wall, distance between vessel and other vessel, vessel and other vessel It may refer to information about the environment, such as relative speed between the two, and whether there is an obstacle on the flight path.
  • the present specification is not limited thereto and may also be applied to the case of driving of a vehicle, operation of an aircraft, and the like.
  • the port and vessel monitoring device is a device for performing port and vessel monitoring, and a detailed configuration thereof will be described later.
  • the harbor monitoring method may include a harbor image acquisition step ( S100 ), a segmentation image generation step ( S200 ), and an berthing guide information acquisition step ( S300 ).
  • the harbor image acquisition step S100 may refer to a step in which the monitoring device acquires the harbor image.
  • the segmentation image generation step ( S200 ) may refer to a step in which the monitoring device performs image segmentation to generate a segmented image from the harbor image. Details of the image segmentation will be described later.
  • the step of obtaining eyepiece guide information (S300) may mean a step of the monitoring device obtaining eyepiece guide information based on the segmentation image.
  • the monitoring device may acquire the berthing guide information in consideration of the sea level, such as sea level height. When the sea level is considered, the accuracy of the berthing guide information may be improved. Specific details on the step of acquiring the eyepiece guide information will be described later.
  • the monitoring device 10 may include a sensor module 100 , a control module 200 , and a communication module 300 .
  • the sensor module 100 may acquire or sense information about a ship or a ship's vicinity and a port.
  • the sensor module 100 may include an automatic identification system (AIS), an image generation unit, a LIDAR sensor, a position measurement unit, an attitude measurement unit, a casing/case, and the like.
  • AIS automatic identification system
  • image generation unit a LIDAR sensor
  • position measurement unit a position measurement unit
  • attitude measurement unit a casing/case, and the like.
  • the image generating unit may generate an image.
  • the image generating unit may include a camera, radar, ultrasonic detector, and the like. Examples of cameras include, but are not limited to, monocular cameras, binocular cameras, visible light cameras, IR cameras, and depth cameras.
  • the lidar sensor is a sensor for detecting a distance and a position of an object using a laser.
  • the distance between the lidar sensor and the object and the position of the object with respect to the lidar sensor may be represented by a three-dimensional coordinate system.
  • the distance between the lidar sensor and the object and the position of the object with respect to the lidar sensor may be expressed in a rectangular coordinate system, a spherical coordinate system, a cylindrical coordinate system, or the like.
  • the lidar sensor may have a plurality of channels in a vertical or horizontal direction, and may be, for example, a lidar sensor having 32 or 64 channels.
  • the lidar sensor may use a laser reflected from the object to determine the distance R from the object.
  • the lidar sensor may use a time of flight (TOF), which is a time difference between an emitted laser and a detected laser, to determine the distance to the object.
  • the lidar sensor may include a laser output unit for outputting a laser and a receiving unit for detecting the reflected laser.
  • the lidar sensor determines the time the laser is output from the laser output unit, checks the time the receiver detects the laser reflected from the object, and determines the distance to the object based on the difference between the emitted time and the sensed time can do.
  • the lidar sensor uses other methods such as triangulation based on the sensed position of the detected laser to determine the distance (R) from the object, such as using a phase shift of the detected laser, etc. R) may be determined.
  • the lidar sensor may determine the position of the object by using the angle of the irradiated laser. For example, when the irradiation angle of one laser irradiated from the lidar sensor toward the scan area of the lidar sensor is known, if the laser reflected from the object existing on the scan area is detected by the receiver, the lidar The sensor may determine the position of the object based on the irradiation angle of the irradiated laser.
  • the lidar sensor may have a scan area including the object in order to detect the position of an arbitrary object in the vicinity.
  • the scan area represents a detectable area as one screen, and may mean a set of points, lines, and planes that form one screen during one frame.
  • the scan area may mean the irradiation area of the laser irradiated from the lidar sensor, and the irradiation area may mean a set of points, lines, and surfaces where the laser irradiated during one frame meets a sphere at the same distance (R).
  • a field of view (FOV) means a detectable area, and may be defined as an angular range of a scan area when the lidar sensor is viewed as the origin.
  • the position measuring unit may measure the position of components included in the sensor module 100 , such as the sensor module 100 or the image generating unit.
  • the location measurement unit may be a Global Positioning System (GPS).
  • GPS Global Positioning System
  • RTK-GPS Real-Time Kinematic GPS
  • the position measuring unit may acquire position information at predetermined time intervals.
  • the time interval may vary depending on the installation location of the sensor module 100 .
  • the position measurement unit may acquire position information at short time intervals.
  • the position measurement unit may acquire position information at long time intervals. The time interval for obtaining the location information of the location measuring unit may be changed.
  • the posture measuring unit may measure the posture of components included in the sensor module 100 such as the sensor module 100 or the image generating unit.
  • the posture measurement unit may be an inertial measurement unit (IMU).
  • the posture measuring unit may acquire posture information at predetermined time intervals.
  • the time interval may vary depending on the installation location of the sensor module 100 .
  • the posture measuring unit may acquire posture information at short time intervals.
  • the posture measuring unit may acquire posture information at long time intervals. The time interval for acquiring the posture information of the posture measuring unit may be changed.
  • the casing may protect the sensor module 100 such as an image generating unit, a position measuring unit, and a posture measuring unit.
  • At least one of an image generating unit, a position measuring unit, and a posture measuring unit may be present inside the casing.
  • the casing may prevent equipment such as an image generating unit existing therein from being corroded by salt water. Alternatively, the casing may protect it by preventing or mitigating the impact applied to the equipment existing therein.
  • a cavity may be formed in the interior of the casing to contain an image generating unit or the like therein.
  • the casing may have a rectangular parallelepiped shape with an empty interior, but is not limited thereto and may be provided in various shapes in which an image generating unit or the like can be disposed.
  • an opening may be formed in one area of the casing or a transparent material such as glass may be formed in one area of the casing to secure a view of the image generating unit.
  • the image generating unit may image the periphery of the vessel and the harbor through the opening or the transparent area.
  • the casing may be provided with a strong material to protect the image generating unit and the like from external impact.
  • the casing may be provided with a material such as an alloy for seawater in order to prevent corrosion due to salt.
  • the casing may include equipment for removing foreign substances from the image generating unit.
  • foreign substances adhering to the surface of the image generating unit may be physically removed through a wiper included in the casing.
  • the wiper may be provided in a linear or plate shape having the same or similar curvature as the surface so as to be in close contact with the surface to remove the foreign material.
  • foreign substances may be removed by applying water or washer liquid through a liquid spray included in the casing, or the foreign substances may be physically removed using a wiper after application.
  • the debris removal equipment can be operated manually, but can also be operated automatically.
  • the foreign material removal equipment may operate at a predetermined time interval.
  • the foreign material removal device may be operated using a sensor that detects whether a foreign material has adhered to the image generating unit.
  • the foreign material removal equipment may be operated when it is determined that the foreign material is present.
  • whether a foreign material is captured in the image may be determined through an artificial neural network.
  • One sensor module 100 may include a plurality of identical equipment, such as including two or more identical cameras.
  • the control module 200 may perform image analysis.
  • the control module 200 may perform image segmentation or determine eyepiece guide information.
  • control module 200 examples include a central processing unit (CPU), a graphics processing unit (GPU), a digital signal processing unit (DSP), a state machine, and an on-demand system.
  • CPU central processing unit
  • GPU graphics processing unit
  • DSP digital signal processing unit
  • state machine a state machine
  • on-demand system There may be a semiconductor (Application Specific Integrated Circuit, ASIC), a Radio-Frequency Integrated Circuit (RFIC), and a combination thereof.
  • ASIC Application Specific Integrated Circuit
  • RFIC Radio-Frequency Integrated Circuit
  • the communication module 300 may transmit information from the device 10 to the outside or receive information from the outside.
  • the communication module 300 may perform wired or wireless communication.
  • the communication module 300 may perform bi-directional or unidirectional communication.
  • the device 10 may transmit information to an external output device through the communication module 300 to output a control result performed by the control module 200 through the external output device.
  • the communication module 300 may receive vessel-related VTS information or CITS (Costal Intelligent Transport System) information from a Vessel Traffic Service (VTS) that controls the vessel.
  • VTS Vessel Traffic Service
  • the sensor module 100 , the control module 200 , and the communication module 300 may include a control unit.
  • the control unit may process and operate various types of information within the module, and may control other components constituting the module.
  • the control unit may be provided in the form of an electronic circuit that physically processes an electrical signal.
  • a module may physically include only a single control unit, or alternatively may include a plurality of control units.
  • the control unit may be one or a plurality of processors mounted on one computing means.
  • the control unit may be mounted on a physically separated server and a terminal and provided as processors that cooperate through communication.
  • control unit examples include a central processing unit (CPU), a graphics processing unit (GPU), a digital signal processing unit (DSP), a state machine, and an application specific Integrated Circuit (ASIC), Radio-Frequency Integrated Circuit (RFIC), and combinations thereof.
  • CPU central processing unit
  • GPU graphics processing unit
  • DSP digital signal processing unit
  • ASIC application specific Integrated Circuit
  • RFIC Radio-Frequency Integrated Circuit
  • the sensor module 100 , the control module 200 , and the communication module 300 may include a communication unit.
  • the modules may transmit and receive information through a communication unit.
  • the sensor module 100 may transmit information obtained from the outside through the communication unit, and the control module 200 may receive information transmitted by the sensor module 100 through the communication unit.
  • the communication unit may perform wired or wireless communication.
  • the communication unit may perform bi-directional or unidirectional communication.
  • the sensor module 100 , the control module 200 , and the communication module 300 may include a memory.
  • the memory may store various processing programs, parameters for performing the processing of the programs, or processing result data, and the like.
  • the memory may store data required for learning and/or inference, an artificial neural network in progress or learned, and the like.
  • Memory includes non-volatile semiconductor memory, hard disk, flash memory, random access memory (RAM), read only memory (ROM), electrically erasable programmable read-only memory (EEPROM), or any other tangible non-volatile recording medium. etc. can be implemented.
  • the monitoring device 10 may include a plurality of identical modules, such as including two or more sensor modules 100 .
  • one device 10 may include two sensor modules 100 , and each sensor module 100 may include two cameras again.
  • 3 and 4 are diagrams related to an embodiment of a monitoring device according to an embodiment.
  • the monitoring device may include a sensor module 100 and a control module 200 .
  • the sensor module 100 may generate an image through the camera 130 and transmit the image to the control module 200 through the communication unit 110 .
  • the controller 120 of the sensor module 100 may convert the viewpoint of the image by performing viewpoint transformation, which will be described later.
  • the control module 200 receives the image from the sensor module 100 through the communication unit 210, and performs image analysis such as determining eyepiece guide information, which will be described later through the control unit 220, estimating location/movement information, and image matching. can
  • the control module 200 may transmit an analysis result such as eyepiece guide information, location/movement information, and a matched image to the cloud server through the communication unit 210 .
  • the cloud server may transmit the analysis result received from the control module 200 to a user terminal such as a smart phone, a tablet, a PC, or receive an instruction from the user terminal.
  • the monitoring device may include a sensor module 100 .
  • the sensor module 100 may generate an image through the camera 130 and transmit the image to the cloud server through the communication unit 110 .
  • the controller 120 of the sensor module 100 may convert the viewpoint of the image by performing viewpoint transformation, which will be described later.
  • the cloud server may receive an image from the sensor module 100 and perform image analysis such as determining eyepiece guide information to be described later, estimating location/movement information, and image matching.
  • the cloud server may transmit the image analysis result to a user terminal such as a smartphone, tablet, or PC or receive an instruction from the user terminal.
  • FIGS. 2 to 4 The apparatus shown in FIGS. 2 to 4 is merely an example, and the configuration of the apparatus is not limited thereto.
  • the device may include an output module.
  • the output module may output a result of an operation performed by the control module, and the like.
  • the output module may output an analysis result.
  • the output module may be, for example, a display, a speaker, a signal output circuit, and the like, but is not limited thereto.
  • the information may be transmitted to an external output device such as a user terminal to output the information through the output module in addition to outputting the information from the external output device.
  • the device may not include a sensor module.
  • the control module may receive information from an external sensor device and perform an image-based monitoring operation, such as performing image analysis.
  • the control module may perform image analysis by receiving information from an AIS, a camera, a lidar, a radar, etc. already installed in a ship or a port.
  • each of the components of FIGS. 2 to 4 are not necessarily performed by the corresponding components and may be performed by other components.
  • the control unit 120 of the sensor module 100 performs viewpoint transformation in FIG. 3 above
  • the control unit 220 of the control module 200 or the cloud server may perform viewpoint transformation. .
  • Image acquisition for image-based monitoring may be performed through the sensor module 100 .
  • an image may be acquired through an image generating unit included in the sensor module 100 .
  • an image may be acquired from an external sensor device.
  • Images for vessel and port monitoring will generally include sea, vessel, buoy, obstacle, terrain, port, sky, building, and the like.
  • the analysis and monitoring of an image acquired through a visible light camera will be mainly described, but the present invention is not limited thereto.
  • a field of view (FOV) and a depth of field (DOF) may vary according to an image generating unit.
  • 5 is a diagram illustrating a viewing angle and a depth of field according to an exemplary embodiment.
  • a viewing angle may mean to what extent an image is included in an image from left to right or up and down, and is generally expressed as an angle (degree, degree).
  • a larger viewing angle may mean generating an image including an area having a larger width left and right or generating an image including an area having a larger width up and down.
  • the depth of field may mean a distance range recognized as being in focus of the image, and a deep depth of field may mean that the distance range recognized as being in focus of the image is wide. Referring to FIG.
  • the image may include an area A1 recognized as being in focus and an area A2 other than that.
  • the area included in the image is referred to as the imaging area (A1 + A2)
  • the area recognized as being in focus is referred to as the effective area (A1)
  • monitoring such as image analysis and eyepiece guide information calculation will be performed based on the effective area.
  • an area used to perform image analysis and monitoring is referred to as a monitoring area.
  • An example of a camera with a large field of view and a shallow depth of field is a wide-angle camera.
  • Examples of cameras with a small field of view and a deep depth of field include high magnification cameras and zoom cameras.
  • the sensor module may be installed without limitation in its position or posture, such as lighting towers, cranes, ships, etc.
  • the installation location or number of sensor modules may vary according to characteristics such as the type and performance of the sensor module.
  • the sensor module when the sensor module is a camera, the sensor module may be installed at an altitude of 15 m or more from the water surface for efficient monitoring, or a plurality of sensor modules may be installed to have different imaging areas.
  • the position and posture of the sensor module may be manually or automatically adjusted during or after installation.
  • the viewing angle of the lidar may at least partially overlap with the viewing angle of the image generating unit (eg, a camera).
  • the field of view (FOV) of the lidar may be smaller than the field of view of the camera.
  • lidar data outside the viewing angle of lidar for which lidar data is not acquired may be estimated using an image acquired from a camera.
  • FIG. 6 and 7 are views of an installation position of a sensor module according to an embodiment.
  • the sensor module 100 may be installed at a fixed location, such as a port or on land, or installed on a moving object, such as a ship.
  • a vessel to be monitored hereinafter referred to as a “target vessel”
  • FIG. 7 a vessel to be monitored
  • FIG. 6 berthing or berthing of the target vessel as shown in FIG. 6 .
  • the sensor module may be installed on a drone or the like to monitor a target vessel.
  • Other components of the monitoring device may be installed together with the sensor module or in a separate location.
  • image analysis for image-based monitoring may include acquiring object characteristics.
  • the object may include a ship, port, buoy, sea, terrain, sky, building, person, animal, fire, smoke, and the like.
  • object characteristics may include a type of object, a location of an object, a distance to the object, absolute and relative speed and speed of the object, and the like.
  • Image analysis for image-based monitoring may include recognizing/judging a surrounding situation.
  • the image analysis may be to determine that a fire situation has occurred from an image of a fire in the port, or to determine that an intruder has entered the port from an image captured by a person who entered the port at an unscheduled time.
  • image analysis may include detecting a fire from an image in which smoke is present.
  • Image analysis for image-based monitoring may be performed through a control module or a control unit included in each module.
  • the monitoring method may include a harbor image acquisition step, and the harbor image acquisition step may mean a step in which the monitoring device acquires a harbor image.
  • the harbor image may be generated by an image generating unit included in the monitoring device.
  • the monitoring device may receive the harbor image from the outside.
  • the type of image may be various, such as an RGB image, an IR image, a depth image, a lidar image, and a radar image, and there is no limitation.
  • not only a two-dimensional image but also a three-dimensional image is possible.
  • the device may recognize an object.
  • the device may recognize an object included in an image.
  • the device may determine whether an object such as a ship, tugboat, sea, or harbor is included in the image.
  • the object recognition may be determining at which position in the image the object exists.
  • FIGS. 8 and 9 are diagrams illustrating an example of object recognition according to an embodiment.
  • FIG. 8 is an image captured by a camera, and an object may be recognized as shown in FIG. 9 through object recognition.
  • FIG. 9 is a segmentation image (or an image visualizing a segmentation image) generated based on image segmentation, and shows which object the corresponding pixel corresponds to for each pixel of the image.
  • the object recognition step may mean a segmentation step.
  • Segmentation may mean assigning/labelling/matching a characteristic or attribute corresponding to each pixel to each pixel of an image. For example, when segmentation is performed to generate a segmented image from an original image, each pixel of the segmented image may be considered to be assigned an identification value reflecting characteristics/attributes of a corresponding pixel on the original image. As a result, the segmented image may be viewed in the form of a matrix to which identification values are assigned. Examples of the characteristic/property include, but are not limited to, information on the type, position, coordinate, distance, direction, speed, etc. of an object corresponding to a corresponding pixel.
  • a segmentation image as shown in FIG. 9 may be obtained by performing segmentation based on an image captured by the camera of FIG. 8 .
  • a first pixel area P1 is an area on an image of a pixel corresponding to a ship
  • a second pixel area P2 is water (eg, sea, river, lake, etc.)
  • a third pixel area ( P3) is the quay wall of the harbor
  • the fourth pixel area P4 is a terrain (eg, a mountain, land, etc.)
  • the fifth pixel area P5 is an area on the image of a pixel corresponding to the sky.
  • Different pixel regions of the segmented image may be assigned different identification values. For example, an identification value corresponding to a vessel may be allocated to the first pixel area P1 and an identification value corresponding to water may be allocated to the second pixel area P2 , and other pixel areas may be the same.
  • FIG. 9 illustrates that information on the type of object corresponding to each pixel on the image is calculated by performing segmentation, but information obtainable through segmentation is not limited thereto.
  • characteristics such as position, coordinates, distance, and direction of an object may also be acquired through segmentation.
  • different characteristics/attributes may be independently expressed, such as being assigned as separate identification values, or may be reflected and expressed simultaneously, such as assigned as a single identification value.
  • a class may be set in consideration of information on the type and distance of an object, and an identification value may be assigned to each class.
  • the second identification value may be assigned in consideration of both topography, which is information about the type of object, and short distance, which is information about distance.
  • 10 is an example of a case in which information on a type and information on a distance are considered together.
  • other information such as direction information, an obstacle moving direction, a speed, and a route mark may also be considered.
  • not all identification values need to include a plurality of pieces of information, nor do they need to include the same type of information.
  • a specific identification value includes only information about the type (for example, identification value 1 does not include information about distance) and another identification value includes information about type and distance, etc. It can be expressed in various ways. For another example, other classes such as tugs, ropes, sides and decks of ships may be added or modified to other classes.
  • FIG. 11 is a diagram illustrating another example of object recognition according to an embodiment.
  • FIG. 11 shows where an object exists in an image with a bounding box, which is also referred to as detection.
  • the object recognition step may mean a detection step.
  • detection can be viewed as detecting the position of an object in the form of a box, rather than calculating a characteristic for each pixel of an image.
  • a detection image as shown in FIG. 11 may be obtained by performing detection based on an image captured by the camera of FIG. 8 . 11 , it can be seen that a vessel is detected on the image and the position of the vessel is expressed as a rectangular bounding box BB.
  • two or more objects may be detected from one image.
  • Segmentation and detection may be performed using an artificial neural network. Segmentation/detection may be performed through one artificial neural network, or each artificial neural network may perform segmentation/detection using a plurality of artificial neural networks, and the final result may be calculated by combining the results.
  • An artificial neural network is a kind of algorithm modeled after the structure of a human neural network, and may include one or more nodes or one or more layers including neurons, and each node may be connected through a synapse. Data input to the artificial neural network (input data) may be output (output data) through a node through a synapse, and information may be obtained through this.
  • Types of artificial neural networks include a convolutional neural network (CNN) that extracts features using a filter, and a recurrent neural network (RNN) that has a structure in which the output of a node is fed back as an input.
  • CNN convolutional neural network
  • RNN recurrent neural network
  • Various structures such as restricted Boltzmann machine (RBM), deep belief network (DBN), generative adversarial network (GAN), relational network (RN), etc. can be applied and have limitations. it is not
  • the step of learning the artificial neural network will be expressed as a learning step
  • the step of using the artificial neural network will be expressed as an inference step.
  • the artificial neural network may be learned through various methods such as supervised learning, unsupervised learning, reinforcement learning, and imitation learning.
  • 12 and 13 are diagrams of a learning step and an inference step of an artificial neural network according to an embodiment.
  • the 12 is an embodiment of the learning step of the artificial neural network, in which an untrained artificial neural network receives learning data or training data and outputs output data, and compares the output data with the labeling data.
  • the artificial neural network can be trained through the backpropagation of the error.
  • the training data, output data, and labeling data may be images.
  • the labeling data may include ground truth. Alternatively, the labeling data may be data generated by a user or a program.
  • a learned artificial neural network may receive input data and output output data. According to the information of the learning data in the learning stage, information that can be inferred in the inference stage may vary. Also, the accuracy of the output data may vary according to the learning degree of the artificial neural network.
  • the recognition of the object is not limited to the above description and may be implemented in other ways.
  • the identification value is used for object recognition for convenience of description, the identification value is only used as one type of index.
  • a vector type index may be used for object recognition, and the training data, output data, and labeling data of the artificial neural network may be vector type data.
  • the monitoring method may include obtaining eyepiece guide information.
  • the step of obtaining the eyepiece guide information may mean a step in which the monitoring device obtains the eyepiece guide information based on the segmentation/detection image, but the monitoring method does not necessarily include the segmentation/detection image generation step, and the eyepiece guide directly from the harbor image You may be able to obtain information.
  • the device may provide berthing guide information for the vessel.
  • the berthing guide information may be used in the berthing of a ship and may refer to information for assisting or guiding the berthing of a user such as a pilot or a captain.
  • the eyepiece guide information may include information about distance/velocity. Examples of distance/velocity information include, but are not limited to, an absolute position such as coordinates, a relative position from a specific reference, a distance from an arbitrary point, a distance range, a direction, an absolute velocity, a relative velocity, a velocity, and the like.
  • the distance/velocity information may be estimated based on a predetermined area or point.
  • the distance between the ship and the quay wall may be estimated by calculating the distance between one point of the ship and one point of the quay wall, or may be estimated by calculating the shortest distance between one point of the ship and the quay wall.
  • the distance between the vessels may be estimated by calculating a distance between a point of the first vessel and a point of the second vessel.
  • One point of the ship may correspond to a point of the ship in contact with the sea or may correspond to the bow or stern of the ship, but is not limited thereto.
  • the distance/speed information may be expressed as a predetermined distance value, a direction value, a speed value, and the like.
  • distance information may be expressed as 1 m, 2 m, etc.
  • direction information may be expressed as 10°, 20°, etc.
  • speed information may be expressed as 5 cm/s, 10 cm/s, or the like.
  • the distance/velocity information may be expressed as an index corresponding to a plurality of categories having a predetermined range. For example, distance information may be expressed in short-range, medium-distance, and long-distance, direction information may be expressed in a left direction, a front direction, and a right direction, and speed information may be expressed in low speed, medium speed, high speed, etc. have. It may be possible to combine these to express the left near field, the right far field, and the like.
  • the berthing guide information is berthing guide information (f1, f2) between the vessel (OBJ1) and the quay wall (OBJ2) and the berthing guide information between the vessel (OBJ1) and other vessels (OBJ3, OBJ4) (f3, f4) may be included.
  • the berthing guide information f1 and f2 between the vessel OBJ1 and the quay wall OBJ2 may include information about the distance/speed with the quay wall OBJ2 of the vessel OBJ1, and the vessel OBJ1
  • the berthing guide information (f3, f4) between the and other vessels (OBJ3, OBJ4) may include information about the distance/speed of the vessel (OBJ1) and the other vessels (OBJ3, OBJ4).
  • the berthing guide information f1 and f2 between the vessel OBJ1 and the quay wall OBJ2 is information between the boundary region and the quay wall OBJ2, which is a region corresponding to the region in contact with the sea level of the vessel OBJ1.
  • the boundary area may include not only a line or point where the ship and the sea level come into contact with each other, but also a predetermined area in the vicinity thereof.
  • the berthing guide information between the vessel (OBJ1) and the other vessels (OBJ3, OBJ4) may be information between a predetermined area corresponding to the bow/stern of the vessel (OBJ1, OBJ3, OBJ4), where the predetermined area may mean not only the bow/stern point of the ships OBJ1, OBJ3, OBJ4, but also a certain area in the vicinity thereof.
  • the eyepiece guide information f1 and f2 between the vessel OBJ1 and the quay wall OBJ2 may include two eyepiece guide information as shown in FIGS. 14 and 15, but is not limited thereto, but one eyepiece guide information Alternatively, it may include three or more eyepiece guide information.
  • the berthing guide information f3 and f4 between the vessel OBJ1 and the other vessels OBJ3 and OBJ4 may include one berthing guide information between the two vessels as shown in FIGS. 14 and 15, but this It is not limited and may include two or more berthing guide information between two ships.
  • the above-described information may be referred to as eye guide information when used in the eye of the vessel.
  • 16 is a view for explaining information on the berthing guide between the ship and the quay wall according to an embodiment.
  • the eyepiece guide information may be information on sea level/sea level.
  • the berthing guide information f5 may include information about the distance/speed between the vessel OBJ1 and the quay wall OBJ2 at sea level.
  • the eyepiece guide information may be information at the ground level (or the height of the quay wall).
  • the eyepiece guide information f6 may include information about the distance/speed between the vessel OBJ1 and the quay wall OBJ2 at the height of the quay wall OBJ2.
  • the eyepiece guide information may be information at a predetermined height.
  • the predetermined height may be between the height of the sea level and the height of the quay wall, as in the eyepiece guide information f7 shown in FIG. 16, but is not limited thereto.
  • the berthing guide information between the vessel and the quay wall may be information f8 between the fenders OBJ6 installed on the vessel OBJ1 and the quay wall OBJ2. Since the ship (OBJ1) collides with the insect repellent (OBJ6) when berthing or comes into contact with the insect repellent (OBJ6) when anchoring, it is important to obtain information (f8) on the distance/speed between the ship (OBJ1) and the insect repellent (OBJ6). can be advantageous In FIG. 16, the insect repellent (OBJ6) is shown as being installed at a position higher than sea level, but at least a portion of the insect repellent (OBJ6) may be installed to be submerged in the sea (OBJ5), in this case the berthing guide information is at sea level. It may include information about the distance/speed between the vessel and the insect repellent.
  • the berthing guide information between the vessel and the other vessel may include information on the distance/speed between the vessel and the other vessel at sea level.
  • the berthing guide information between the vessel and the other vessel may include information on the distance/speed between the vessel and the other vessel at a predetermined height.
  • the predetermined height may be determined in consideration of the shape of the hull.
  • the predetermined height may be the height of a region where the vessel protrudes in the direction of another vessel. In this case, it may be advantageous to the berthing guide by more accurately grasping the possibility of collision between ships.
  • the device may calculate the eyepiece guide information based on the lidar data. For example, the device may calculate the distance/velocity to the object by using the three-dimensional coordinates of the lidar points included in the obtained lidar data.
  • objects may include ships, sea and land, ports, quay walls, buoys, terrain, sky, buildings, people, animals, and the like.
  • the eyepiece guide information may be calculated based on the image.
  • the image may be an image generated by an image generating unit such as a camera or an image processed through image segmentation therefrom.
  • information on distance/velocity of a ship is calculated based on an image including a ship, sea, and land as objects, or information on distance/speed of a ship based on a segmentation image generated from the image through segmentation can be calculated.
  • the object may include a port, a wharf, a buoy, a terrain, a sky, a building, a person, an animal, etc. in addition to a ship, sea, and land.
  • a ship may be a target object.
  • a plurality of target objects For example, when estimating a distance or speed of each of a plurality of ships included in an image, the plurality of ships may be a target object.
  • the eyepiece guide information may be calculated based on image pixels. As described above, when the eyepiece guide information is calculated based on the point, the point on the image may correspond to a pixel. Accordingly, the eyepiece guide information may be calculated based on the spacing between image pixels.
  • Information on the distance between points may be calculated based on the distance between pixels. For example, a predetermined distance may be allocated to each pixel interval, and the distance between points may be calculated in proportion to the interval between pixels. As another example, the distance between pixels may be calculated based on the coordinate values of the pixels on the image, and the distance between points may be calculated based on this.
  • the information on the speed between points may be calculated based on a change in the information on the distance between the points.
  • movement information may be calculated based on a plurality of images or image frames.
  • information on the speed between points may be calculated based on the distance between points in the previous frame, the distance between points in the current frame, and the time interval between frames.
  • the step of obtaining the eyepiece guide information includes the steps of obtaining an image generated by an image generating unit such as a camera (1), performing image segmentation on the image to generate a segmentation image (or an image obtained by visualizing the segmentation image) ( 2), the step (3) of finding the points (PO1, PO2, PO3, PO4) for calculating the eyepiece guide information based on the segmentation image (3) and the eyepiece guide information (f1, f2, f3, f4) corresponding to the points It may include a step of calculating (4).
  • an image generating unit such as a camera (1)
  • performing image segmentation on the image to generate a segmentation image (or an image obtained by visualizing the segmentation image)
  • the step (3) of finding the points (PO1, PO2, PO3, PO4) for calculating the eyepiece guide information based on the segmentation image (3) and the eyepiece guide information (f1, f2, f3, f4) corresponding to the points It may include a step of calculating (4).
  • Acquiring the eyepiece guide information may include converting a viewpoint of the image.
  • the step of acquiring the eyepiece guide information may include, after the step of acquiring the image generated by the image generating unit, performing viewpoint transformation on the image, and performing segmentation on the viewpoint-converted image to obtain a segmented image.
  • the step of generating the segmented image by performing a viewpoint transformation on the segmented image, it is possible to calculate eyepiece guide information for the viewpoint-converted segmented image.
  • viewpoint transformation will be described.
  • an image generated by an image generating unit such as a camera may be displayed as a perspective view. Converting this to a top view (planar view), a side view, another perspective view, etc. may be referred to as view transformation.
  • a top view or a side view image may be converted into another view, and the image generating unit may generate a top view image or a side view image, etc. In this case, it may not be necessary to perform view point conversion.
  • FIG. 18 and 19 are diagrams for view transformation according to an embodiment.
  • another perspective view image may be acquired through viewpoint transformation of the perspective view image.
  • viewpoint conversion may be performed so that the quay wall OBJ2 is positioned along a horizontal direction (left and right direction on the image) on the image.
  • a top view image may be acquired through viewpoint transformation of the perspective viewpoint image.
  • the top view image may be a view looking down at the sea level in a direction perpendicular to the sea level.
  • viewpoint conversion may be performed so that the quay wall OBJ2 is positioned along the horizontal direction on the image.
  • a distance corresponding to an interval between pixels may be the same for the entire image or at least a portion of the image.
  • IPM inverse projection transformation
  • the matrix on the left side indicates two-dimensional image coordinates
  • the first matrix on the right side indicates an intrinsic parameter
  • the second matrix indicates an external parameter
  • the third matrix indicates three-dimensional coordinates.
  • fx and fy denote focal lengths
  • cx and cy denote principal points
  • r and t denote rotation and translation transformation parameters, respectively.
  • a perspective view image may be converted into a top view image through inverse projection transformation, or may be converted into another perspective view image.
  • the Zhang method is a type of polynomial model, and is a method of acquiring internal parameters by photographing a grid with a known size at various angles and distances.
  • Information on the position and/or posture of the image generating unit/sensor module capturing the image may be required for viewpoint conversion. Such information may be obtained from the position measuring unit and the posture measuring unit.
  • information on the position and/or posture may be acquired based on the position of the fixture included in the image.
  • the image generating unit may generate a first image including a target fixture that is disposed at a first position and/or a first posture and is a fixed object such as a terrain or a building.
  • the image generating unit may generate a second image including the target fixture. Comparing the position of the target fixture on the first image and the position of the target fixture on the second image to calculate a second position and/or a second posture that is the position and/or posture of the image generating unit at the second time point can do.
  • Acquisition of information on a position and/or posture for viewpoint transformation may be performed at predetermined time intervals.
  • the time interval may depend on the installation position of the image generating unit/sensor module.
  • the image generating unit/sensor module is installed in a moving object such as a ship, there may be a need to obtain information on the position and/or attitude at short time intervals.
  • information on the position and/or posture may be acquired at relatively long time intervals, or may be initially acquired only once.
  • moving and fixing are repeated like a crane, it may be implemented in a way of acquiring information about a position and/or posture only after moving.
  • the time interval for obtaining information on such a position and/or posture may be changed.
  • the device may view-transform the image based on the reference plane.
  • the device may view-convert an image from a plane in which a quay wall is located and parallel to the sea level to a reference plane.
  • the reference plane may depend on the calculated sea level height.
  • the device is not limited to the above description, and the view of the image may be converted to the reference plane using other planes such as sea level, a portion of the ship other than the plane in which the quay wall is located (for example, the reference plane of the deck height).
  • viewpoint transformation information includes viewpoint transformation information such as information on the matrix, parameters, coordinates, position and/or posture of Equation 1 above. contains the necessary information for
  • the berthing guide information may be calculated in consideration of sea level height information that reflects the height of the sea level.
  • the device can monitor a vessel or a port taking sea level height into account.
  • sea level information is information related to the height of the sea level, as well as the absolute sea level height, the distance between the sea level and the ground, the distance between the sea level and the quay wall, the sea level and the monitoring device (eg, between the image generating unit) It refers to various information that can be changed according to changes in the height of the sea level, such as the distance of
  • FIGS. 20 to 29 are views for explaining the acquisition of eyepiece guide information in consideration of sea level height information according to an embodiment, and FIGS. 20 and 21 are a case in which a viewpoint conversion step is not included, FIGS. 22 to 29 are viewpoint transformations It is a diagram for explaining a case including a step.
  • the step of obtaining eyepiece guide information includes correcting the segmentation image generated in the segmentation image generation step (S200) in consideration of sea level information (S331) and based on the corrected segmentation image. It may include calculating the eyepiece guide information (S332).
  • the step of obtaining eyepiece guide information according to an embodiment includes calculating eyepiece guide information based on the segmentation image (S341) and correcting the calculated eyepiece guide information in consideration of sea level information (S342) may include steps.
  • the step of obtaining eyepiece guide information includes the step of converting the segmentation image generated in the segmentation image generation step (S200) to a viewpoint in consideration of sea level information (S301) and the converted segmentation image. It may include the step of calculating the eyepiece guide information (S302).
  • the converted image may be changed according to the setting of the reference plane/reference height.
  • 23 to 25 are views of viewpoint transformation in different reference planes/reference heights, and even if the same image is the same, images converted according to the viewpoint transformation criterion may be different. For example, the images on the left side of FIGS.
  • the images converted according to the reference at the time of viewpoint conversion may appear to have different relative positions of the vessel with respect to the quay wall like the images on the right side of FIGS. 24 and 25 , respectively.
  • setting of the reference plane/reference height may be important in order to calculate accurate berthing guide information, and this reference plane/reference height may depend on the sea level. Therefore, when the viewpoint is converted in consideration of the sea level information, the accuracy of the berthing guide information may be increased.
  • the reference plane may be a plane parallel to the sea level, but is not limited thereto.
  • the viewpoint transformation information may be updated according to the sea level height information to perform viewpoint transformation.
  • the viewpoint conversion information may be updated by reflecting the sea level height information according to a predetermined time interval.
  • the step of obtaining the eyepiece guide information is based on the step of correcting the converted segmentation image generated in the viewpoint conversion step (S311) in consideration of sea level information (S312) and the corrected converted segmentation image and calculating the eyepiece guide information (S313).
  • 27 and 28 are views related to image correction for calculating the eyepiece guide information on the sea level/sea level according to an embodiment.
  • the segmentation image is converted into a viewpoint with respect to the reference plane/reference height, and the converted segmentation image is converted to the sea level. After correcting in consideration of the height information, the eyepiece guide information is calculated. The greater the difference between the sea level and the reference height, the greater the difference between the images before and after correction.
  • the step of obtaining eyepiece guide information includes converting a viewpoint of a segmentation image (S321), calculating eyepiece guide information based on the converted segmentation image (S322) and sea level height information It may include a step (S323) of correcting the calculated eyepiece guide information in consideration.
  • the consideration of the sea level height information of FIGS. 22, 26 and 29 may be performed by being merged with each other.
  • the sea level height information is only considered in the viewpoint conversion step (S301), the transformation segmentation image correction step (S312), and the eyepiece guide information correction step (S323), respectively, but the sea level height information is the viewpoint conversion It may be considered in at least one of the step, the transform segmentation image correction step, and the eyepiece guide information calibration step.
  • the above-mentioned sea level information consideration methods are variously combined, such as performing a viewpoint conversion step in consideration of sea level information, calculating berthing guide information from this, and then reconsidering sea level information to correct berthing guide information. will be available for use.
  • the acquisition of the eyepiece guide information is not limited thereto, and the eyepiece guide information may be obtained from the harbor image without generating a segmentation image.
  • the device may calculate sea level height for vessel and/or port monitoring.
  • the device may calculate the sea level height from the acquired sensor data, and use the calculated sea level height for monitoring of a ship or a port.
  • the device may use the sea level height as height information up to the projection plane during viewpoint transformation or reverse projection transformation of the camera image.
  • the device may use the sea level height as a variable when converting an image for matching a camera image.
  • the sea level height may be used as a data conversion variable.
  • FIGS. 30 to 43 are diagrams relating to examples of obtaining sea level information according to an embodiment.
  • various embodiments of obtaining sea level information will be described based on FIGS. 30 to 43, but sea level information
  • the acquisition method is not limited thereto.
  • the sea level height information may be obtained based on characteristics (eg, length, area, etc.) of an object exposed above the sea level.
  • the sea level height information may be calculated based on the exposure length h 1 of the quay wall OBJ2 exposed above the sea OBJ5 .
  • the exposure length (h 1 ) increases, the sea level height decreases, and when it decreases, the sea level height increases.
  • the degree of increase or decrease of the sea level height is also numerically will be able to calculate.
  • sea level height information may be calculated based on exposure lengths h 2 , h 3 of the object OBJ9 exposed above the sea OBJ5 .
  • the height measurement object OBJ9 which is an object OBJ9 necessary for calculating sea level information, is not limited to an object such as a pole installed for this purpose, as well as an object whose length exposed over the sea changes according to a change in sea level height.
  • the exposure length can be increased from 2 h to 3 h or h decreased from 3 to 2 h, and calculating the degree to which the sea level by measuring the increase or decrease in length.
  • Sea level height information based on the characteristics of the height measurement object may be obtained using an image.
  • characteristics such as a length of the height measurement object may be obtained by analyzing the image, and sea level height information may be calculated based on this.
  • sea level height information may be calculated according to the number of pixels corresponding to the height measurement object.
  • the number of pixels is increased, the length of the height measurement object exposed above the sea level is long, so it can be seen that the sea level height is lowered.
  • the pixel corresponding to the height measurement object may be determined through image segmentation, but is not limited thereto.
  • the sea level height information may be calculated based on a shaded area that is an area corresponding to the sea that is not seen by being occluded by the quay wall. For example, when the image generating unit is installed on a quay wall and disposed to face the sea, an area of the sea close to the quay wall may be obscured by the quay wall and cannot be monitored by the image generating unit. Sea level height information may be acquired based on characteristics (eg, length, area, etc.) of the shaded area.
  • FIG. 31 The upper part of FIG. 31 is a diagram of the shaded area SA1 when the sea level is relatively high, and the bottom is a diagram of the shaded area SA2 when the sea level is relatively low. As the height of the sea level decreases, the area of the shaded area increases, and by measuring this, sea level information may be calculated.
  • the sea level height information may be calculated based on a plurality of images generated by the same type of image generating unit.
  • the sea level height information may be calculated based on a plurality of images generated by a plurality of cameras or may be calculated based on a plurality of images generated by a single camera.
  • the sea level height information may be calculated based on an overlap area that is an overlapping monitoring area between a plurality of images. For example, when the monitoring device includes a plurality of sensor modules/image generating units, a plurality of images may be acquired, and sea level height information may be acquired based on characteristics such as an area of an overlap region between the plurality of images. can Alternatively, when one sensor module/image generating unit generates a plurality of images having different monitoring areas due to rotation, etc., sea level information may be obtained based on the characteristics of the overlapping area between the plurality of images. .
  • monitoring areas MA1 and MA2 corresponding to each of the two cameras OBJ7 and OBJ8 exist, and an overlap area OA may exist depending on the installation location or direction of the cameras OBJ7 and OBJ8. have.
  • the area of the overlap region may decrease, and as the sea level decreases, the area of the overlap region may increase. Accordingly, sea level information can be calculated by measuring the area of the overlap region.
  • the overlap area may be determined based on the feature point. For example, a feature point may be extracted from the first image and the second image, and an overlap region of the first image and the second image may be determined by matching the feature point.
  • the sea level height information may be calculated based on a plurality of images generated by different types of image generating units.
  • the sea level information may be calculated based on a camera image generated by a camera and a lidar image generated by the lidar or may be calculated based on a camera image and a radar image generated by the radar, but is not limited thereto.
  • images generated by different types of image generating units are referred to as a first type image and a second type image, respectively.
  • Sea level information may be calculated through matching between the first type image and the second type image.
  • the sea level information may be calculated by acquiring the position/distance/height of one or more points on the first type image based on the second type image.
  • each of the first type image and the second type image is a camera image and a lidar image
  • the position/distance/height of one or more points on the camera image is obtained based on the lidar image, and then the camera image
  • the sea level height information may be calculated in consideration of the number of pixels therebetween.
  • the pixel may be a pixel positioned higher than the sea level.
  • the camera image may be an image captured by the camera or an image processed through viewpoint conversion therefrom.
  • 33 is a flowchart of a method for calculating a sea level height according to an embodiment.
  • the method for calculating the sea level height may include obtaining sensor data ( S1000 ) and calculating the sea level height ( S2000 ).
  • the device may acquire sensor data (S1000).
  • the device may acquire an image from a camera.
  • the device may acquire images from a camera installed in a berth facing the sea.
  • the device may acquire an image of the sea, and if there is a ship, it may also acquire an image of the ship.
  • the device may obtain lidar data from a lidar sensor.
  • the device may acquire lidar data from a lidar sensor installed in a berth toward the sea.
  • the device may acquire lidar data for the sea, and when the vessel enters the berth, it may also acquire lidar data for the vessel.
  • the lidar sensor may acquire lidar data for an area corresponding to an area captured by a camera that acquires an image.
  • the lidar sensor may have a field of view that at least partially overlaps with a field of view of a camera acquiring the image.
  • the device may acquire sensor data for the same area from the lidar and the camera installed around the berth.
  • the lidar and the camera may be installed on the pier toward or looking at the berth to acquire data on an area where the berth is located.
  • the viewing angle of the lidar may at least partially overlap with the viewing angle of the camera.
  • the device may acquire an image of the sea, and if there is a ship, it may also acquire an image of the ship.
  • the device may acquire lidar data for the sea, and when the vessel enters the berth, it may also acquire lidar data for the vessel.
  • the lidar data may include a plurality of lidar points captured by lidar sensors.
  • the lidar data may include a plurality of lidar points for each vertical or horizontal channel.
  • the device may know the distance to the surface of the ship or the sea by using the lidar points corresponding to the vessel or the sea from the acquired lidar data, and may calculate the sea level height using this.
  • the device may calculate the sea level height (S2000).
  • the device may calculate the sea level height using the acquired sensor data. For example, the device may calculate the sea level using at least one of sensor data obtained from a camera and a lidar sensor installed on a berth toward the sea.
  • the device may obtain a distance to the sea surface by using the three-dimensional coordinates of the LiDAR points included in the obtained LiDAR data, and calculate the sea level height using this.
  • the device can calculate the height of the sea level by considering the distance from the sea surface, the installation position of the lidar sensor, and the installation angle.
  • the device may obtain a distance between the sea surface and an area of the ship in contact with the sea surface using the three-dimensional coordinates of the LiDAR points included in the obtained LiDAR data, and calculate the sea level height using this.
  • the device may calculate the height of the sea level by considering the distance between the sea surface and the area of the vessel in contact with the sea surface, the installation position of the lidar sensor, and the installation angle.
  • the device may match the acquired camera image and lidar data, and calculate the sea level height using this.
  • 35 is a flowchart of a method for calculating sea level height using a matched camera image and lidar data according to an embodiment.
  • the method for calculating sea level height using the matched camera image and lidar data according to an embodiment uses the matching camera image and lidar data (S2010) and the matched camera image and lidar data. and calculating the sea level height (S2020).
  • the device may match the camera image and lidar data (S2010).
  • the device may match the camera image and the lidar data using the information for matching.
  • the device may match the camera image and the lidar data by matching the coordinate system on the camera image with the coordinate system on the lidar data. That is, the coordinate system of the camera image and the lidar data may be converted to each other.
  • the device may match the camera image and the lidar data in consideration of the installation position of the camera, the installation angle of the camera, the installation position of the lidar sensor, the installation angle of the lidar sensor, and the like.
  • the device may realign the camera image and lidar data by reflecting the calculated sea level height.
  • the device may realign the camera image and the lidar data by using the calculated sea level height as a data conversion variable when the lidar data and the camera image are matched.
  • FIG. 36 is an example of registration of a camera image and lidar data according to an embodiment. Referring to the upper part of FIG. 36 , it can be seen that the lidar data acquired from the lidar sensor scanning the same area as the image acquired from the camera installed on the berth are matched.
  • the device may match the segmented image with the lidar data.
  • the device may generate a segmented image using an artificial neural network from an image obtained from a camera, and may match the generated segmented image with lidar data. Referring to the lower part of FIG. 36 , it can be seen that the lidar data acquired from the lidar sensor scanning the same area as the image acquired from the camera installed on the berth are matched.
  • the matching of the camera image and the lidar data is not limited to the above description, and may be implemented in other ways, such as matching the image detected using an artificial neural network with the lidar data.
  • the device may calculate the sea level height using the matched camera image and lidar data (S2020).
  • the device may calculate the sea level height using a selected lidar point using an image matched with lidar data among a plurality of lidar points of lidar data. For example, the device may calculate the sea level height using a lidar point matched to an area corresponding to the sea in the image. As another example, the device may calculate sea level height using lidar points that are matched to regions of the vessel in the image.
  • the device may calculate the sea level height using a lidar point associated with a lidar beam reflected from the sea.
  • the method for calculating the sea level height using the lidar point related to the lidar beam reflected from the sea includes the steps of selecting lidar points related to the lidar beam reflected from the sea (S2110) and the sea It may include calculating the sea level height from the lidar points related to the lidar beam reflected from (S2120).
  • the device may select lidar points related to the lidar beam reflected from the sea (S2110).
  • the device may use the image matched with the lidar data to select lidar points associated with the lidar beam reflected from the sea.
  • the device may detect a region corresponding to the sea in the image.
  • the device may detect a region corresponding to the sea in the image using an artificial neural network.
  • the device may generate a segmented image from the image using an artificial neural network, and detect an area in which a pixel labeled with object information representing the sea of an object type is located as an area corresponding to the sea.
  • the apparatus is not limited to the above description, and may sense an area corresponding to the sea in the image in another method, such as determining an area corresponding to the sea through image detection.
  • the device may use an area corresponding to the sea in the sensed image to select lidar points associated with the lidar beam reflected from the sea. For example, the device may select the lidar points associated with the lidar beam reflected from the sea in consideration of pixel positions of pixels included in the region corresponding to the sea in the image.
  • the device may select lidar points 401 related to a lidar beam reflected from the sea from among lidar points matched with the image. For example, the device selects, among the plurality of lidar points, lidar points matched to pixels included in the region corresponding to the sea in the image as lidar points 401 associated with the lidar beam reflected from the sea.
  • the lidar points 401 associated with the lidar beam reflected from the sea may be selected in another way where a segmented image or a detected image is used.
  • the device may use the lidar data to select lidar points associated with the lidar beam 401 reflected from the sea. For example, the device may select the lidar points 401 related to the lidar beam reflected from the sea in consideration of the distribution and number of lidar data.
  • the device may calculate the sea level height from the lidar points related to the lidar beam reflected from the sea (S2120).
  • the device may calculate the sea level height by using the three-dimensional coordinates of the lidar points related to the lidar beam reflected from the sea.
  • the device may calculate the sea level height using height values (eg, Z values among 3D coordinate values) of lidar points related to a lidar beam reflected from the sea.
  • the device may calculate an average value of height values of lidar points related to a lidar beam reflected from the sea, and calculate the average value of the calculated height values as sea level height.
  • the device may calculate the wave height of the sea level by using the three-dimensional coordinate values of the lidar points related to the lidar beam reflected from the sea.
  • the device may calculate the wave height using height values (eg, Z values among 3D coordinate values) of lidar points related to the lidar beam reflected from the sea.
  • the device may calculate a maximum value and a minimum value of the height values of the lidar points related to the lidar beam reflected from the sea, and calculate the difference between the maximum value and the minimum value as a wave height.
  • the apparatus is not limited to the above description, and the sea level height may be calculated in other ways, such as calculating the sea level height by reflecting the height values of lidar points related to the lidar beam reflected from the sea at a preset ratio.
  • the preset ratio may be determined in consideration of the position and number of each lidar point.
  • the method for calculating the sea level height using a lidar point related to a lidar beam reflected from a ship includes selecting lidar points related to a lidar beam reflected from a ship ( S2210 ), a ship Determining the lidar points related to the lidar beam reflected from the lower region of the vessel in contact with the sea among lidar points related to the reflected lidar beam from (S2220) and the lidar points reflected from the lower region of the vessel in contact with the sea (S2220) It may include calculating the sea level height from the LiDAR points related to the IDA beam ( S2230 ).
  • the device may select lidar points related to the lidar beam reflected from the vessel (S2210).
  • the device may use the image matched with the lidar data to select lidar points associated with the lidar beam reflected from the vessel.
  • the device may detect a region corresponding to the vessel in the image.
  • the device may detect a region corresponding to a vessel in an image using an artificial neural network.
  • the device may generate a segmented image from the image using an artificial neural network, and detect an area in which a pixel labeled with object information indicating a ship of an object type is located as an area corresponding to the ship.
  • the apparatus is not limited to the above description, and may sense an area corresponding to the ship in the image in another method, such as determining an area corresponding to the ship through image detection.
  • the device may use an area corresponding to the vessel in the sensed image to select lidar points associated with the lidar beam reflected from the vessel. For example, the device may select lidar points associated with a lidar beam reflected from the vessel taking into account pixel positions of pixels included in an area corresponding to the vessel in the image.
  • the device may select lidar points 411 related to the lidar beam reflected from the vessel from among lidar points matched with the image. For example, the device selects, among the plurality of lidar points, lidar points matched to pixels included in an area corresponding to the vessel in the image as lidar points 411 associated with the lidar beam reflected from the vessel.
  • the lidar points 411 associated with the lidar beam reflected from the vessel may be selected in another way where a segmented image or a detected image is used.
  • the device may use the lidar data to select lidar points 411 associated with the lidar beam reflected from the vessel. For example, the device may select the lidar points 411 related to the lidar beam reflected from the ship in consideration of the distribution and number of lidar data.
  • the device may determine lidar points related to the lidar beam reflected from the lower region of the vessel in contact with the sea among lidar points related to the lidar beam reflected from the vessel (S2220).
  • the apparatus uses the three-dimensional coordinate values of the lidar points 411 related to the lidar beam reflected from the vessel to the lidar point related to the lidar beam reflected from the lower region of the vessel in contact with the sea. 412 can be determined.
  • the apparatus is configured to move from a lower region of a ship in contact with the sea based on a height value (eg, a Z value among three-dimensional coordinate values) of lidar points 411 related to a lidar beam reflected from the vessel.
  • LiDAR points 412 associated with the reflected LiDAR beam may be determined.
  • the device generates lidar lines including lidar points having substantially the same height value, and connects the lidar line including lidar points of the lowest height value among the generated lidar lines to the sea. It can be determined by the lidar points related to the lidar beam reflected from the lower region of the vessel.
  • the lidar lines may have the number or length of lidar points within a preset range.
  • the device includes a lidar sensor having a plurality of channels having different vertical angles, and for each channel, the lower region of the vessel abutting the lidar points including the lidar point of the lowest height value. It can be determined by the lidar points 412 related to the reflected lidar beam from.
  • the determination of the lidar points 412 related to the lidar beam reflected from the lower region of the vessel facing the sea is not limited to the above description, and the height value of the preset range is not limited to the lidar point of the lowest height value. It may be implemented in other ways, such as determined by the LiDAR points having.
  • the device may calculate the sea level height from the lidar points related to the lidar beam reflected from the lower region of the vessel in contact with the sea (S2230).
  • the device may calculate the sea level height by using the three-dimensional coordinate values of the lidar points related to the lidar beam reflected from the lower region of the vessel in contact with the sea.
  • the device may calculate the sea level height using height values (eg, Z values among 3D coordinate values) of lidar points related to the lidar beam reflected from the lower region of the ship in contact with the sea.
  • the device may calculate the height value of the lidar points related to the lidar beam reflected from the lower region of the vessel in contact with the sea as the sea level height.
  • the device may calculate the wave height of the sea level by using the three-dimensional coordinate values of the lidar points related to the lidar beam reflected from the lower region of the vessel.
  • the device may calculate the wave height using height values (eg, Z values among 3D coordinate values) of lidar points related to the lidar beam reflected from the lower region of the vessel.
  • the apparatus may estimate LiDAR points related to the LIDAR beam reflected from the lower region of the vessel as a Gaussian distribution, and calculate a range of height values from the estimated distribution as a wave height.
  • the device may verify the calculated sea level height. For example, the device considers the characteristics of the lidar points related to the lidar beam reflected from the vessel (eg, number, deviation of height value, distance value, etc.) and the lidar point related to the lidar beam reflected from the vessel The validity of the calculated sea level height can be confirmed. For example, if the number of lidar points related to the lidar beam reflected from the vessel is too small, the deviation of the height value is too large, or the distance value is too close or far, the lidar beam reflected from the vessel and the It may be determined that the validity of the sea level height calculated from the related LiDAR points is low.
  • the characteristics of the lidar points related to the lidar beam reflected from the vessel eg, number, deviation of height value, distance value, etc.
  • the apparatus is not limited to the above description, and the height values of the lidar points related to the lidar beam reflected from the lower region of the vessel in contact with the sea are adjusted to a preset condition to calculate the sea level height using other methods such as calculating the sea level. It is free to calculate the height.
  • the accuracy of sea level height calculated from lidar points may vary depending on the situation.
  • the device is generally easy to acquire lidar data from rippling seas, but on days when the weather is very good and the sea is very calm, the lidar data obtained from the sea is very small and noisy. Data is likely to be obtained. That is, the accuracy of the sea level height calculated from the lidar points related to the lidar beam reflected from the sea may be lowered.
  • the device is generally easy to acquire lidar data from a vessel at a reasonable distance from the lidar sensor, but if the lidar sensor and the vessel are too close, the lower area of the vessel facing the sea is obscured by the berth. If the lidar sensor and the vessel are too far away, there is a possibility that lidar data with a large distance measurement error may be obtained. That is, the accuracy of the sea level height calculated from the lidar points related to the lidar beam reflected from the ship may be lowered.
  • the apparatus may perform a sea level calculation method for increasing the accuracy of the calculated sea level height in various situations.
  • the device may calculate the sea level height using the estimated sea level height.
  • the method of calculating the sea level using the estimated sea level includes calculating a first estimated sea level from LiDAR points related to a LiDAR beam reflected from the sea ( S2310 ), from a ship
  • Calculating a second estimated sea level height from the lidar points related to the reflected LiDAR beam (S2320) and calculating the sea level height using at least one of the first estimated sea level height and the second estimated sea level height (S2330) may include.
  • the device may calculate a first estimated sea level height from the lidar points related to the lidar beam reflected from the sea (S2310).
  • the device may calculate the sea level height calculated from the lidar points related to the lidar beam reflected from the sea as the first estimated sea level height. In this step, since the above-described content may be applied as it is, a more detailed description will be omitted.
  • the device may calculate a second estimated sea level height from the lidar points related to the lidar beam reflected from the vessel (S2320).
  • the device may calculate the sea level height calculated from the lidar points associated with the lidar beam reflected from the vessel as the second estimated sea level height.
  • the apparatus may calculate the sea level height by using at least one of the first estimated sea level height and the second estimated sea level height (S2330).
  • the device may calculate the sea level height based on a weighted sum of the first estimated sea level height and the second estimated sea level height. For example, the device may calculate the sea level height by a weighted sum of the first estimated sea level height to which the first weight is assigned and the second estimated sea level height to which the second weight is assigned.
  • the apparatus may determine a weight given to the estimated sea level height based on the distance from the berth.
  • the device in weighting the first estimated sea level height estimated from LiDAR points related to the LIDAR beam reflected from the sea, the device gives a higher weight as the distance between the LIDAR points and the berth is closer. can do. This is because the accuracy of the lidar point associated with the lidar beam reflected from the sea close to the berth is higher than the lidar point associated with the lidar beam reflected from the sea far from the berth.
  • the apparatus gives a higher weight as the distance from the berth of the LIDAR points increases. can do.
  • the apparatus may give a higher weight as the distance from the berth increases up to a specific distance, and may give a lower weight as the distance from the berth increases over a specific distance. If the lidar sensor and the vessel are too close, the lower area of the vessel in contact with the sea may be covered by the berth, so there may be noise. If the lidar sensor and the vessel are too far away, the distance measurement error is large. This is because there is a possibility that data may be obtained.
  • the apparatus is not limited to the above description, and may be weighted in other ways, such as by giving a high weight to the sea level height estimated from LiDAR points within a specific distance range.
  • the device may determine a weight given to the estimated sea level height based on the calculated wave height. For example, the device may determine a weight given to the estimated sea level height based on a change in wave height per unit time. This is because, in general, the change in wave height per unit time is small.
  • the apparatus weights the first estimated sea level height calculated from the lidar points associated with the lidar beam reflected from the sea.
  • the apparatus calculates from the lidar points associated with the lidar beam reflected from the vessel The smaller the value of the wave height changes over time, the higher the weight can be given.
  • weights may be assigned in other ways, such as weighting by combining the methods described above.
  • the device may calculate the sea level height using the reliability of the lidar point.
  • the method of calculating the sea level height using the reliability of the lidar point according to an embodiment includes calculating the first reliability of the lidar points related to the lidar beam reflected from the sea ( S2410 ), and the reflection from the ship It may include calculating the second reliability of the LiDAR points related to the obtained LiDAR beam ( S2420 ) and calculating the sea level height in consideration of at least one of the first reliability and the second reliability ( S2430 ).
  • Reliability may refer to accuracy of whether a lidar point related to a lidar beam reflected from a specific object is actually generated by being reflected from the specific object.
  • the device may calculate the first reliability of the lidar points related to the lidar beam reflected from the sea (S2410). For example, the device may use the lidar data to calculate a first confidence level of lidar points associated with a lidar beam reflected from the sea.
  • the device may calculate a first reliability of the lidar points associated with the lidar beam reflected from the sea based on the characteristics of the lidar points.
  • the characteristics of the lidar points may include, for example, the number of lidar points, a deviation of a height value, a distance value, coordinates, and the like.
  • the device may calculate the first confidence low if the number of lidar points associated with the lidar beam reflected from the sea is too small.
  • the device may calculate the first reliability to be small.
  • the apparatus may calculate the first reliability to be small if the deviation of distance values of lidar points related to the lidar beam reflected from the sea is too large.
  • the apparatus is not limited to the above description, and the first reliability may be calculated in another way, such as calculating the first reliability of the lidar points related to the lidar beam reflected from the sea using the camera image.
  • the device may calculate the second reliability of the lidar points related to the lidar beam reflected from the vessel (S2420). For example, the device may use the lidar data to calculate a second confidence level of lidar points associated with a lidar beam reflected from the vessel.
  • the apparatus may calculate a second reliability of lidar points associated with a lidar beam reflected from the vessel based on the characteristics of the lidar points.
  • the characteristics of the lidar points may include, for example, the number of lidar points, a deviation of a height value, a distance value, coordinates, and the like.
  • the device may calculate the second reliability to be small if the number of lidar points associated with the lidar beam reflected from the vessel is too small.
  • the device may calculate the second reliability to be small.
  • the apparatus may calculate the second reliability to be small if the deviation of the distance value of the lidar points related to the lidar beam reflected from the ship is too large.
  • the device may use the camera image to calculate a second confidence level of lidar points associated with the lidar beam reflected from the vessel.
  • the device may use the vessel information obtained from the camera image to calculate the second reliability of lidar points associated with the lidar beam reflected from the vessel.
  • Vessel information means information about a vessel, and for example, whether a vessel in the image is detected, information about an area corresponding to the vessel in the image (eg, size, shape, etc.), the distance to the vessel obtained from the image, It may include the speed of the vessel obtained from the image, occlusion related to the vessel, and the like.
  • the device may greatly calculate a second confidence level of lidar points associated with a lidar beam reflected from the vessel when the vessel is detected in the image.
  • the apparatus may greatly calculate the second reliability of the lidar points related to the lidar beam reflected from the vessel.
  • the apparatus may greatly calculate the second reliability of lidar points related to the lidar beam reflected from the vessel.
  • the apparatus may greatly calculate the second reliability of lidar points associated with the lidar beam reflected from the vessel.
  • the apparatus may greatly calculate the second reliability of the lidar points associated with the lidar beam reflected from the vessel.
  • the apparatus is not limited to the above description, and the second reliability may be calculated in another method, such as calculating the second reliability by combining the above-described methods.
  • the device may calculate the sea level height in consideration of at least one of the first reliability and the second reliability (S2430).
  • the device may calculate the sea level height by comparing the first reliability and the second reliability with each other. For example, the device may calculate the sea level height from lidar points associated with a lidar beam reflected from the vessel when the first confidence is less than the second confidence. For another example, if the first confidence level is greater than the second confidence level, the device may calculate the sea level height from lidar points associated with the lidar beam reflected from the sea.
  • the device may calculate the sea level height by comparing the threshold reliability with at least one of the first reliability and the second reliability. For example, if the first confidence level is greater than or equal to the threshold confidence level, the device may calculate the sea level height from lidar points associated with the lidar beam reflected from the sea. For another example, if the second reliability is greater than or equal to the threshold reliability, the apparatus may calculate the sea level height from the lidar points associated with the lidar beam reflected from the vessel.
  • the apparatus is not limited to the above-described description, and the sea level heights calculated from the lidar points related to the lidar beam reflected from the sea and the ship are reflected in the ratio of the first reliability and the second reliability to calculate the sea level height, etc. It is ok to calculate the sea level in this way.
  • the device may calculate the sea level height by using a result of analyzing the camera image. For example, the device may recognize a situation through a camera image, and calculate the sea level height using lidar data suitable for the recognized situation.
  • the method for calculating the sea level height using the result of analyzing the camera image includes the steps of analyzing the camera image ( S2510 ) and calculating the sea level height from the lidar data using the image analysis result ( S2510 ) (S2520) may be included.
  • the device may analyze the camera image (S2510).
  • the device may analyze the camera image and determine the presence of a vessel.
  • the device may obtain vessel information related to the vessel from the camera image.
  • Vessel information means information about a vessel, and for example, whether a vessel in the image is detected, information about an area corresponding to the vessel in the image (eg, size, shape, etc.), the distance to the vessel obtained from the image, It may include the speed of the vessel obtained from the image, occlusion related to the vessel, and the like.
  • the device may acquire vessel information in an image using an artificial neural network.
  • the device generates a segmented image from an image using an artificial neural network, detects an area in which a pixel labeled with object information indicating a ship of an object type is located as an area corresponding to the ship, and obtains ship information therefrom.
  • the vessel information includes whether a vessel is detected, information on an area corresponding to the vessel in the image (eg, size, shape, etc.), the distance to the vessel obtained from the image, the speed of the vessel obtained from the image, and the vessel-related It may include occlusion and the like. Since the above-described content may be applied to the acquisition of ship information as it is, more detailed content will be omitted.
  • the device is not limited to the above description, and the vessel information may be acquired from the image in another method, such as determining an area corresponding to the vessel through image detection.
  • the device may calculate the sea level height from the lidar data using the image analysis result (S2520). For example, the device may calculate sea level height from different lidar points depending on the presence or absence of a vessel. As an example, the device calculates the sea level height from the lidar point related to the lidar beam reflected from the vessel when there is a vessel according to the image analysis result, and when the vessel does not exist according to the image analysis result, the sea level reflected from the sea The sea level height can be calculated from the LiDAR points associated with the IDA beam.
  • the device may calculate the sea level height from the lidar data by using the ship information obtained from the camera image. For example, the device may calculate the sea level height from a specific lidar point based on vessel information obtained from a camera image.
  • the device may calculate the sea level height from the lidar data based on whether a preset condition is satisfied by the vessel information obtained from the camera image. For example, the device may calculate the sea level height from a specific lidar point according to whether a preset condition is satisfied.
  • the device may calculate the sea level height from the lidar point related to the lidar beam reflected from the vessel.
  • the preset conditions include a condition in which a vessel is detected, a condition in which the size of an area corresponding to the vessel belongs to a specific range, a condition in which the distance to the vessel belongs to a specific range, a condition in which occlusion related to the vessel is not detected, etc. can do. That is, the device can calculate the sea level height from the lidar point associated with the lidar beam reflected from the vessel when the vessel is detected from the camera image, or when the detected vessel meets certain conditions that guarantee a certain level of accuracy. .
  • the device may calculate the sea level height from a lidar point related to a lidar beam reflected from the sea.
  • the preset conditions include a condition in which a vessel is not detected, a condition in which the size of an area corresponding to the vessel does not belong to a specific range, a condition in which the distance to the vessel does not belong to a specific range, a condition in which occlusion related to a vessel is detected, etc. may include. That is, the device can calculate the sea level height from the lidar point associated with the lidar beam reflected from the sea if the vessel is not detected from the camera image, or if the detected vessel does not meet certain conditions that guarantee a certain level of accuracy. can
  • the device may calculate the sea level height from the lidar data in consideration of the vessel information obtained from the subsequent image. For example, the device calculates the sea level height from the lidar point related to the lidar beam reflected from the vessel when the preset condition is satisfied, and when the preset condition is not satisfied by the vessel information obtained from the subsequent image, the The calculated sea level height can be maintained as sea level height. For another example, the device calculates the sea level height from the lidar point related to the lidar beam reflected from the vessel when the preset condition is satisfied, and when the preset condition is also satisfied by the vessel information obtained from the subsequent image, the The calculated sea level height may be updated in consideration of the sea level height calculated from subsequent LiDAR data.
  • the subsequent image and the subsequent LiDAR data may correspond to each other, for example, acquired at the same time point.
  • the method of calculating the sea level height from the lidar data using the image analysis result is not limited to the above description, and may be implemented in other ways, such as adding the shape of a vessel detected to a preset condition.
  • sea level information may be calculated based on three or more types of images.
  • the monitoring device may receive sea level height information from the outside.
  • the monitoring device may receive sea level height information from an external device having sea level height information.
  • the external device having sea level information may be a sensor capable of measuring sea level height.
  • the monitoring device may receive sea level height information from a separate sensor capable of measuring sea level height. For example, by measuring the water depth at a predetermined location with a sensor capable of measuring the water depth, such as an ultrasonic detector, sea level information may be calculated. (For example, it can be seen that the sea level has increased as the water depth has increased.)
  • the external device having sea level information may be a vessel traffic service system (VTS system).
  • VTS system vessel traffic service system
  • the monitoring device may receive sea level height information from the maritime traffic control system.
  • sea level information in consideration of the tide.
  • the sea level height can change between high tide and ebb tide, and it can be predicted over time, so sea level information can also be calculated. For example, if at least one of a region and a time is input, a function for outputting sea level height information may be set.
  • the monitoring method may include steps other than the steps described above.
  • the monitoring method may include a pre-processing step.
  • Preprocessing refers to all kinds of processing performed on images, including image normalization, image equalization, histogram equalization, image resizing, and upscaling to change the resolution/size of the image. and downscaling, cropping, noise removal, and the like.
  • the noise may include fog, rain, water droplets, sea clutter, fine dust, direct sunlight, salt, and combinations thereof.
  • normalization may mean obtaining an average of RGB values of all pixels of an RGB image and subtracting it from the RGB image.
  • defogging may mean converting an image of a foggy area to look like an image of a clear area through preprocessing.
  • 44 is a view related to fog removal according to an embodiment. Referring to FIG. 44 , an image captured in the foggy area as shown above in FIG. 44 may be converted into an image in which the fog is removed as shown in FIG. 44 through fog removal.
  • water drop removal may mean converting water droplets on the front of the camera so that the water droplets appear to have been removed through pre-processing in the captured image.
  • the pre-processing step may be performed after the image acquisition step.
  • the monitoring method may include, but is not limited to, sequentially including an image acquisition step, a pre-processing step, and a segmented image generation step, or an image acquisition step, a pre-processing step, and a viewpoint conversion step sequentially.
  • image pre-processing it is possible to easily obtain the eyepiece guide information or to improve the accuracy of the eyepiece guide information.
  • the preprocessing step may be performed through an artificial neural network.
  • an artificial neural network For example, you can input an image of a foggy area into an artificial neural network to convert a clear area to look like a photographed image, etc. You can input an image containing noise into an artificial neural network to obtain an image with noise removed.
  • the artificial neural network include, but are not limited to, a GAN.
  • the pre-processing step may be performed using an image mask.
  • an image mask For example, by applying an image mask to an image of a foggy area, you can transform a clear area to look like a photographed image.
  • examples of the image mask include a deconvolution filter, a sharpen filter, and the like, and an image mask may be generated through an artificial neural network such as a GAN, but is not limited thereto.
  • the monitoring method may include outputting eyepiece guide information.
  • 45 is a view for explaining the step of outputting eyepiece guide information according to an embodiment. Referring to Figure 45, the monitoring method may include the step of outputting the eyepiece guide information calculated through the eyepiece guide information acquisition step (S300) (S400).
  • the eyepiece guide information may be output visually.
  • the eyepiece guide information may be output through an output module such as a display.
  • the step of outputting the eyepiece guide information may include displaying the image acquired in the image obtaining step by using the image generating unit.
  • the step of outputting the eyepiece guide information may include displaying various images related to monitoring, such as an image that has undergone a pre-processing step, an image after segmentation, and an image after viewpoint conversion.
  • FIG. 46 is a diagram of a step of outputting eyepiece guide information according to an embodiment.
  • an image and distance/speed information may be displayed together.
  • the displayed distance/speed information may include the distance and speed between the bow and stern of the target vessel and the quay wall, and the distance between the target vessel and another vessel.
  • the step of outputting the eyepiece guide information may include providing information to the user in other ways such as outputting sound or vibration in addition to a visual display. For example, if there is a risk that the target vessel collides with a quay wall, other vessel, obstacle, etc., or when the speed of approach to the quay wall is higher than the reference speed when berthing, a warning sound may be output when the vessel deviates from the route.
  • monitoring method based on a single image has been mainly described, but monitoring may be performed based on a plurality of images.
  • the total monitoring area of the monitoring device may increase or the accuracy of monitoring may be improved.
  • a monitoring method based on a plurality of images may include matching the plurality of images.
  • one registered image may be generated by registering the first image and the second image, and eyepiece guide information may be obtained based on the registered image.
  • the image registration step may be performed before or after the segmentation image generation step. For example, after generating a registered image by registering a plurality of harbor images, image segmentation may be performed, or after performing segmentation on each of the plurality of harbor images, the plurality of segmented images may be registered.
  • the image registration step may be performed before or after the viewpoint conversion step.
  • a viewpoint transformation may be performed after generating a registered image by registering a plurality of harbor images, or a viewpoint transformation may be performed on each of the plurality of harbor images and then the plurality of viewpoint transformation images may be registered.
  • the sea level information may be considered before or after registration of a plurality of images, or both before and after registration.
  • a plurality of images may be corrected in consideration of sea level information and then registered, or a registered image may be generated by matching a plurality of images, and then the registered image may be corrected in consideration of sea level information.
  • Image matching may be performed through feature point matching.
  • a registered image may be generated by extracting feature points of the first image and the second image and matching them.
  • the matching information may include key points and information necessary for key point matching.
  • a homography matrix may be required for image registration.
  • the matching information may include a homography matrix.
  • Homography is matching between arbitrary two images on the same plane, and the homography matrix can be expressed as Equation 2.
  • the 3x1 matrix of the left and right sides denotes image coordinates
  • the 3x3 matrix of the right side denotes a homography matrix.
  • image registration method is merely an example, and image registration may be performed by other methods.
  • the monitoring during berthing of a vessel has been mainly described, but this can also be applied to when a vessel is unloaded or when a vessel is operating.
  • tactics to assist or guide the safe operation of a vessel such as detecting other vessels or obstacles around the vessel, warning of a collision or recommending/creating a route using the distance to them, their moving speed, etc.
  • One method can be applied.
  • autonomous navigation may be performed based on this information.
  • guide information is obtained in consideration of the sea level, it is not limited to sea level and should be broadly understood as considering the water surface.
  • the above-described berthing guide information may be referred to as berthing guide information when the vessel is unloaded, and navigation guide information when the vessel is operating.
  • the berthing guide information acquisition step/operation guide information acquisition step may include the above-described berthing guide information acquisition step.
  • the operation guide information acquisition step includes calculating navigation guide information f 9 , f 10 with another vessel OBJ3 or an obstacle OBJ10 such as a buoy when the target vessel OBJ1 operates.
  • the installation height may change according to the operation of the ship. If the monitoring device is installed in a place whose height does not change, such as in a harbor, the height of the device will be constant unless it is intentionally changed, so if only the sea level is known, the distance from the sea level to the device can be predicted. However, if the monitoring device is installed in a place where the height changes, such as a ship, even if the sea level is known, the exact distance from the sea level to the device cannot be predicted unless the draft of the ship is known.
  • a monitoring device is installed in a port, it can be seen that the distance between the device and sea level decreases if the sea level increases, but when installed on a vessel, the draft of the vessel decreases even if the sea level increases, so that the distance between the device and sea level decreases. may increase. Therefore, in this case, it is necessary to obtain the relative distance between the device and the sea level rather than the height of the sea level, and to obtain guide information from the monitoring device installed on the vessel, the sea level information needs to be determined by reflecting the draft of the vessel. This point of view may also be applied to the case of acquiring the eyepiece guide information.
  • the method according to the embodiment may be implemented in the form of program instructions that can be executed through various computing means and recorded in a computer-readable medium.
  • the computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and available to those skilled in the art of computer software.
  • Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic such as floppy disks.
  • - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
  • Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.
  • the hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

Abstract

본 발명은 컴퓨팅 수단에 의해 수행되는 항만 모니터링 방법에 관한 것으로, 본 발명의 일 양상에 따른 항만 모니터링 방법은, 제1 뷰 속성을 가지는 항만 이미지를 획득하는 단계; 입력 이미지로부터 상기 입력 이미지에 포함된 오브젝트의 종류에 대한 정보를 출력하도록 학습된 인공 신경망을 이용한 이미지 세그멘테이션을 수행하여 상기 항만 이미지에 대응되고 상기 제1 뷰 속성을 가지는 세그멘테이션 이미지를 생성하는 단계; 상기 제1 뷰 속성을 가지는 이미지를 상기 제1 뷰 속성과 다른 제2 뷰 속성을 가지는 이미지로 변환하기 위해 이용되는 제1 시점 변환 정보에 기초하여 상기 제1 뷰 속성을 가지는 상기 세그멘테이션 이미지로부터 상기 제2 뷰 속성을 가지는 변환 세그멘테이션 이미지를 생성하는 단계; 및 상기 변환 세그멘테이션 이미지에 기초하여 상기 선박의 접안 가이드 정보를 산출하는 단계를 포함한다.

Description

해수면을 고려한 항만 및 선박 모니터링 방법 및 장치
본 출원은 항만 및 선박 모니터링 방법 및 장치에 관한 것으로, 구체적으로 해수면을 고려하여 항만 및 선박을 모니터링하는 방법 및 장치에 관한 것이다.
선박의 운항 및 항만 내에서의 접안, 이안에 있어 많은 사고가 발생하고 있으며, 그 사고의 주요 원인은 사람의 운항 부주의로 알려져 있다. 여기서, 운항 부주의는 주로 선박 주변이나 항만 내의 상황을 육안을 통해서 정확하게 모니터링하지 못한다는 점에 의해 발생한다. 현재 다양한 종류의 장애물 센서 등을 이용해 이를 보완하고 있으나 아직까지는 한계점이 존재하는 상황이다. 예를 들어, ECDIS의 경우 GPS의 부정확성, AIS의 업데이트 주기 및 AIS 미등록 이동체 등으로 인한 한계가 존재하고, radar의 경우 비탐색영역의 존재 및 노이즈로 인한 한계가 존재한다. 그 결과 장애물의 정확한 감지를 위하여는 여전히 육안으로 확인하는 과정이 필요하다.
또한, 최근에는 영상을 통해 선박 주변이나 항만 내의 상황을 모니터링하는 기술이 개발되고 있으나, 영상 처리 과정에서 왜곡이 발생한 영상 등의 부정확한 영상을 통한 모니터링은 마찬가지로 사고를 유발할 수 있다. 영상의 시점 변환, 정합 등과 같은 영상 처리 과정에서는 바다의 해수면 높이가 중요한 고려요소가 될 수 있으나, 아직 해수면 높이를 구하는 기술에 대해서는 개발이 미비하다는 문제점이 있다.
따라서, 정확한 모니터링을 위해 실질적으로 해수면 높이를 측정하고 이를 고려하는 기술에 대한 기술 개발이 필요한 실정이다.
본 명세서의 일 과제는 항만 및 선박 주변을 모니터링하기 위한 모니터링 방법 및 장치를 제공하는 것에 있다.
본 명세서의 일 과제는 선박의 접안 또는 이안 시 선박 주변 및 항만 상황을 파악하고 접안 또는 이안을 가이드하기 위한 모니터링 장치 및 방법을 제공하는 것에 있다.
본 명세서의 일 과제는 바다 및 선박으로부터 반사된 라이다 빔과 관련된 라이다 데이터를 이용하여 해수면 높이를 측정하는 항만 및 선박 모니터링 방법 및 장치를 제공하는 것에 있다.
본 명세서의 일 과제는 카메라 및 라이다의 데이터를 효율적으로 융합하여 해수면 높이를 측정하는 항만 및 선박 모니터링 방법 및 장치를 제공하는 것에 있다.
본 명세서에서 해결하고자 하는 과제가 상술한 과제로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 명세서의 실시예에 따르면 컴퓨팅 수단에 의해 수행되는 항만 모니터링 방법에 있어서, 제1 뷰 속성을 가지고 선박에 대응되는 선박 오브젝트 및 바다에 대응되는 바다 오브젝트를 포함하는 항만 이미지를 획득하는 단계; 입력 이미지로부터 상기 입력 이미지에 포함된 오브젝트의 종류에 대한 정보를 출력하도록 학습된 인공 신경망을 이용한 이미지 세그멘테이션을 수행하여 상기 항만 이미지에 대응되고 상기 제1 뷰 속성을 가지는 세그멘테이션 이미지를 생성하는 단계 - 상기 세그멘테이션 이미지는 상기 선박 오브젝트에 대응되도록 라벨링된 제1 픽셀 및 상기 바다 오브젝트에 대응되도록 라벨링된 제2 픽셀을 포함함 - ; 상기 제1 뷰 속성을 가지는 이미지를 상기 제1 뷰 속성과 다른 제2 뷰 속성을 가지는 이미지로 변환하기 위해 이용되는 제1 시점 변환 정보에 기초하여 상기 제1 뷰 속성을 가지는 상기 세그멘테이션 이미지로부터 상기 제2 뷰 속성을 가지는 변환 세그멘테이션 이미지를 생성하는 단계; 및 상기 변환 세그멘테이션 이미지에 기초하여 상기 선박의 접안 가이드 정보를 산출하는 단계 - 상기 접안 가이드 정보는 상기 선박의 안벽과의 거리에 대한 정보 및 상기 선박의 상기 안벽으로의 접근 속도에 대한 정보 중 적어도 하나를 포함함 - ;를 포함하되, 상기 변환 세그멘테이션 이미지를 생성하는 단계는, 해수면의 높이를 반영하는 해수면 높이 정보를 획득하는 단계; 상기 제1 시점 변환 정보를 상기 해수면 높이 정보를 반영하여 업데이트하는 단계; 및 상기 업데이트된 제1 시점 변환 정보에 기초하여 상기 제1 뷰 속성을 가지는 상기 세그멘테이션 이미지로부터 상기 제2 뷰 속성을 가지는 변환 세그멘테이션 이미지를 생성하는 단계;를 포함하는 항만 모니터링 방법이 제공될 수 있다.
본 명세서의 실시예에 따르면 컴퓨팅 수단에 의해 수행되는 선박 주변 모니터링 방법에 있어서, 제1 뷰 속성을 가지고 선박 주변의 장애물에 대응되는 장애물 오브젝트 및 바다에 대응되는 바다 오브젝트를 포함하는 해상 이미지를 획득하는 단계; 입력 이미지로부터 상기 입력 이미지에 포함된 오브젝트의 종류에 대한 정보를 출력하도록 학습된 인공 신경망을 이용한 이미지 세그멘테이션을 수행하여 상기 해상 이미지에 대응되고 상기 제1 뷰 속성을 가지는 세그멘테이션 이미지를 생성하는 단계 - 상기 세그멘테이션 이미지는 상기 장애물 오브젝트에 대응되도록 라벨링된 제1 픽셀 및 상기 바다 오브젝트에 대응되도록 라벨링된 제2 픽셀을 포함함 - ; 상기 제1 뷰 속성을 가지는 이미지를 상기 제1 뷰 속성과 다른 제2 뷰 속성을 가지는 이미지로 변환하기 위해 이용되는 제1 시점 변환 정보에 기초하여 상기 제1 뷰 속성을 가지는 상기 세그멘테이션 이미지로부터 상기 제2 뷰 속성을 가지는 변환 세그멘테이션 이미지를 생성하는 단계; 및 상기 변환 세그멘테이션 이미지에 기초하여 상기 선박의 운항 가이드 정보를 산출하는 단계 - 상기 운항 가이드 정보는 상기 선박의 상기 장애물과의 거리에 대한 정보 및 상기 선박의 상기 장애물로의 접근 속도에 대한 정보 중 적어도 하나를 포함함 - ;를 포함하되, 상기 변환 세그멘테이션 이미지를 생성하는 단계는, 해수면의 높이를 반영하는 해수면 높이 정보를 획득하는 단계; 상기 제1 시점 변환 정보를 상기 해수면 높이 정보를 반영하여 업데이트하는 단계; 및 상기 업데이트된 제1 시점 변환 정보에 기초하여 상기 제1 뷰 속성을 가지는 상기 세그멘테이션 이미지로부터 상기 제2 뷰 속성을 가지는 변환 세그멘테이션 이미지를 생성하는 단계;를 포함하는 선박 주변 모니터링 방법이 제공될 수 있다.
본 명세서의 실시예에 따르면 컴퓨팅 수단에 의해 수행되는 항만 모니터링 방법에 있어서, 제1 뷰를 가지고 선박에 대응되는 선박 오브젝트 및 바다에 대응되는 바다 오브젝트를 포함하는 제1 이미지를 획득하는 단계; 상기 제1 이미지를 해수면과 평행한 제1 평면에 투영하여 상기 제1 뷰와 상이한 탑 뷰를 가지는 제2 이미지를 생성하는 단계; 상기 제2 이미지에 기초하여 접안 가이드 정보를 산출하는 단계 - 상기 접안 가이드 정보는 상기 선박의 안벽과의 거리에 대한 정보 및 상기 선박의 상기 안벽으로의 접근 속도에 대한 정보 중 적어도 하나를 포함함 -; 상기 제1 평면과 상이한 높이에 형성되되 상기 제1 평면과 평행한 제2 평면의 높이에 대응되는 해수면 높이 정보를 획득하는 단계; 및 상기 산출된 접안 가이드 정보를 상기 제1 평면 및 상기 제2 평면 사이의 높이 차이를 반영하여 보정하는 단계;를 포함하는 항만 모니터링 방법이 제공될 수 있다.
본 명세서의 실시예에 따르면 컴퓨팅 수단에 의해 수행되는 항만 모니터링 방법에 있어서, 제1 뷰를 가지고 선박에 대응되는 선박 오브젝트 및 바다에 대응되는 바다 오브젝트를 포함하는 제1 이미지를 획득하는 단계; 해수면의 높이를 반영하는 해수면 높이 정보를 획득하는 단계; 상기 제1 이미지를 해수면 높이에 상기 해수면과 평행하게 형성된 제1 평면에 투영시키기 위하여, 상기 해수면과 평행하되 상기 해수면과 상이한 높이에 형성된 제2 평면에 이미지를 투영시키는 시점 변환 정보를 상기 해수면 높이 정보에 기초하여 업데이트하는 단계; 상기 업데이트된 시점 변환 정보를 이용하여 상기 제1 이미지를 상기 제1 뷰와 상이한 탑 뷰를 가지는 제2 이미지로 변환하는 단계; 및 상기 제2 이미지에 기초하여 접안 가이드 정보를 산출하는 단계 - 상기 접안 가이드 정보는 상기 선박의 안벽과의 거리에 대한 정보 및 상기 선박의 상기 안벽으로의 접근 속도에 대한 정보 중 적어도 하나를 포함함 -;를 포함하는 항만 모니터링 방법이 제공될 수 있다.
본 명세서의 실시예에 따르면 항만 모니터링 방법으로서 카메라에 의해 촬상된 이미지를 획득하는 단계, 상기 카메라의 시야각과 적어도 부분적으로 오버랩되는 시야각을 갖는 라이다 센서에 의해 얻어지는 복수의 라이다 포인트를 포함하는 라이다 데이터를 획득하는 단계, 상기 이미지에서 바다에 대응하는 제1 영역 및 상기 이미지에서 선박에 대응하는 제2 영역을 검출하는 단계, 상기 복수의 라이다 포인트 중에서 상기 제1 영역에 포함되는 픽셀의 픽셀 위치를 고려하여 바다로부터 반사되는 라이다 빔과 관련된 제1 라이다 포인트들을 선택하는 단계, 상기 제1 라이다 포인트들을 이용하여 제1 추정 해수면 높이를 계산하는 단계, 상기 제2 영역에 포함되는 픽셀들의 픽셀 위치를 고려하여 상기 복수의 라이다 포인트들 중에서 상기 선박으로부터 반사되는 라이다 빔과 관련된 제2 라이다 포인트들을 선택하는 단계, 상기 제2 라이다 포인트의 높이값에 기초하여 상기 제2 라이다 포인트들로부터 상기 바다와 접하는 상기 선박의 하부 영역으로부터 반사되는 라이다 빔과 관련된 제3 라이다 포인트들을 결정하는 단계, 상기 제3 라이다 포인트들을 이용하여 제2 추정 해수면 높이를 계산하는 단계 및 상기 제1 추정 해수면 높이 및 상기 제2 추정 해수면 높이를 모두 고려하여 해수면 높이를 결정하는 단계를 포함하는 항만 모니터링 방법이 제공될 수 있다.
본 명세서의 실시예에 따르면 항만 모니터링 방법으로서, 카메라에 의해 촬상된 이미지를 획득하는 단계, 상기 카메라의 시야각과 적어도 부분적으로 오버랩되는 시야각을 갖는 라이다 센서에 의해 얻어지는 복수의 라이다 포인트를 포함하는 라이다 데이터를 획득하는 단계, 상기 이미지에서 바다에 대응하는 제1 영역 및 상기 이미지에서 선박에 대응하는 제2 영역을 검출하는 단계, 상기 복수의 라이다 포인트 중에서 상기 제1 영역에 포함되는 픽셀의 픽셀 위치를 고려하여 바다로부터 반사되는 라이다 빔과 관련된 제1 라이다 포인트들을 선택하는 단계, 라이다 포인트들의 특성에 기초하여 상기 제1 라이다 포인트들의 제1 신뢰도를 결정하는 단계, 상기 제2 영역에 포함되는 픽셀들의 픽셀 위치를 고려하여 상기 복수의 라이다 포인트들 중에서 상기 선박으로부터 반사되는 라이다 빔과 관련된 제2 라이다 포인트들을 선택하는 단계, 상기 이미지로부터 획득되는 선박 정보에 기초하여 상기 제2 라이다 포인트들의 제2 신뢰도를 결정하는 단계 및 상기 제1 신뢰도 및 상기 제2 신뢰도를 고려하여 상기 제1 라이다 포인트들 및 상기 제2 라이다 포인트들 중 적어도 하나를 이용하여 해수면 높이를 추정하는 단계를 포함하는 항만 모니터링 방법이 제공될 수 있다.
본 명세서의 실시예에 따르면 항만 모니터링 방법으로서, 라이다 센서에 의해 얻어지는 복수의 라이다 포인트를 포함하는 라이다 데이터를 획득하는 단계, 상기 복수의 라이다 포인트 중에서 바다로부터 반사되는 라이다 빔과 관련된 제1 라이다 포인트들을 선택하는 단계, 상기 복수의 라이다 포인트들 중에서 상기 선박으로부터 반사되는 라이다 빔과 관련된 제2 라이다 포인트들을 선택하는 단계, 상기 제1 라이다 포인트들 및 제2 라이다 포인트들의 수, 높이값의 편차 및 거리값 중 적어도 하나에 기초하여 해수면 높이를 추정하기 위한 상기 제1 라이다 포인트들 및 상기 제2 라이다 포인트들 각각의 신뢰도를 결정하는 단계 및 상기 제1 라이다 포인트들 및 상기 제2 라이다 포인트들의 상기 신뢰성을 고려하여 상기 제1 라이다 포인트들 및 상기 제2 라이다 포인트들 중 적어도 하나를 이용하여 해수면 높이를 추정하는 단계를 포함하는 항만 모니터링 방법이 제공될 수 있다.
본 명세서의 실시예에 따르면 항만 모니터링 방법으로서, 카메라에 의해 촬상된 이미지를 획득하는 단계, 상기 카메라의 시야각과 적어도 부분적으로 오버랩되는 시야각을 갖는 라이다 센서에 의해 얻어지는 복수의 라이다 포인트를 포함하는 라이다 데이터를 획득하는 단계, 상기 이미지에서 선박에 대응하는 선박 영역을 인공 신경망을 이용하여 검출하는 단계, 상기 인공 신경망은 복수의 훈련 이미지 및 상기 복수의 훈련 이미지의 픽셀들에 라벨링되는 객체 정보를 포함하는 학습 세트를 이용하여 학습되고, 상기 복수의 훈련 이미지 중 적어도 일부는 선박 및 바다를 포함하고, 상기 객체 정보는 객체 종류를 반영하고, 상기 선박의 픽셀들은 선박을 지시하는 상기 객체 종류의 상기 객체 정보로 라벨링되고, 상기 선박 영역에 포함되는 픽셀들의 픽셀 위치를 고려하여 상기 복수의 라이다 포인트들 중에서 상기 선박으로부터 반사되는 라이다 빔과 관련된 제1 라이다 포인트들을 선택하는 단계, 상기 제1 라이다 포인트의 높이값에 기초하여 상기 제1 라이다 포인트들로부터 상기 바다와 접하는 상기 선박의 하부 영역으로부터 반사되는 라이다 빔과 관련된 제2 라이다 포인트들을 결정하는 단계 및 상기 제2 라이다 포인트들을 이용하여 해수면 높이를 추정하는 단계를 포함하는 항만 모니터링 방법이 제공될 수 있다.
본 명세서의 실시예에 따르면 항만 모니터링 방법으로서, 카메라에 의해 촬상된 이미지를 획득하는 단계, 상기 카메라의 시야각과 적어도 부분적으로 오버랩되는 시야각을 갖는 라이다 센서에 의해 얻어지는 복수의 라이다 포인트를 포함하는 라이다 데이터를 획득하는 단계, 상기 이미지에서 선박에 대응하는 선박 영역을 검출하는 단계, 상기 선박 영역에 포함되는 픽셀들의 픽셀 위치를 고려하여 상기 복수의 라이다 포인트들 중에서 상기 선박으로부터 반사되는 라이다 빔과 관련된 제1 라이다 포인트들을 선택하는 단계, 상기 이미지로부터 상기 선박에 관련된 선박 정보를 획득하는 단계, 상기 선박 정보는 상기 선박의 검출, 상기 선박 영역의 크기, 상기 선박까지의 거리 및 상기 선박과 관련된 오클루전의 검출 중 적어도 하나를 포함하고 및 상기 선박 정보에 의해 기설정된 조건이 충족되는 경우, 상기 제1 라이다 포인트를 이용하여 해수면 높이를 추정하는 단계를 포함하는 항만 모니터링 방법이 제공될 수 있다.
본 명세서의 과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 명세서에 의하면 모니터링 장치 및 방법을 이용하여 선박 주변 및 항만을 모니터링할 수 있다.
본 명세서에 의하면 모니터링 장치 및 방법을 이용하여 선박의 접안 또는 이안 시 선박 주변 및 항만 상황을 파악하고 접안 또는 이안을 가이드 할 수 있다.
본 명세서에 의하면 바다 및 선박으로부터 반사된 라이다 빔과 관련된 라이다 데이터를 이용하여 제반상황과 관계없이 해수면 높이를 항상 측정할 수 있다.
본 명세서에 의하면 카메라 및 라이다의 데이터를 효율적으로 융합하여 해수면 높이를 정확하게 측정할 수 있다.
본 명세서의 발명의 효과가 상술한 효과로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.
도 1은 일 실시예에 따른 해수면을 고려한 항만 모니터링 방법에 관한 도면이다.
도 2는 일 실시예에 따른 모니터링 장치에 관한 도면이다.
도 3 및 도 4는 일 실시예에 따른 모니터링 장치의 실시예에 관한 도면이다.
도 5는 일 실시예에 따른 시야각 및 피사계 심도에 관한 도면이다.
도 6 및 도 7은 일 실시예에 따른 센서 모듈의 설치 위치에 관한 도면이다.
도 8 및 도 9는 일 실시예에 따른 오브젝트 인식의 일 예에 관한 도면이다.
도 10은 일 실시예에 따른 오브젝트의 종류 및 거리에 대한 정보를 동시에 반영한 라벨링에 관한 표이다.
도 11은 일 실시예에 따른 오브젝트 인식의 다른 예에 관한 도면이다.
도 12 및 도 13은 일 실시예에 따른 인공 신경망의 학습 단계 및 추론 단계에 관한 도면이다.
도 14 및 도 15는 일 실시예에 따른 접안 가이드 정보를 설명하기 위한 도면이다.
도 16은 일 실시예에 따른 선박과 안벽 사이의 접안 가이드 정보를 설명하기 위한 도면이다.
도 17은 일 실시예에 따른 접안 가이드 정보를 획득하는 방법을 설명하기 위한 도면이다.
도 18 및 도 19는 일 실시예에 따른 시점 변환에 관한 도면이다.
도 20 내지 도 29는 일 실시예에 따른 해수면 높이 정보를 고려한 접안 가이드 정보 획득을 설명하기 위한 도면이다.
도 30 내지 도 43은 일 실시예에 따른 해수면 높이 정보 획득의 예시들에 관한 도면이다.
도 44는 일 실시예에 따른 안개 제거에 관한 도면이다.
도 45는 일 실시예에 따른 접안 가이드 정보 출력 단계를 설명하기 위한 도면이다.
도 46은 일 실시예에 따른 접안 가이드 정보 출력 단계에 관한 도면이다.
도 47은 일 실시예에 따른 운항 가이드 정보를 설명하기 위한 도면이다.
본 명세서에 기재된 실시예는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 사상을 명확히 설명하기 위한 것이므로, 본 발명이 본 명세서에 기재된 실시예에 의해 한정되는 것은 아니며, 본 발명의 범위는 본 발명의 사상을 벗어나지 아니하는 수정예 또는 변형예를 포함하는 것으로 해석되어야 한다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하여 가능한 현재 널리 사용되고 있는 일반적인 용어를 선택하였으나 이는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자의 의도, 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 다만, 이와 달리 특정한 용어를 임의의 의미로 정의하여 사용하는 경우에는 그 용어의 의미에 관하여 별도로 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가진 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 한다.
본 명세서에 첨부된 도면은 본 발명을 용이하게 설명하기 위한 것으로 도면에 도시된 형상은 본 발명의 이해를 돕기 위하여 필요에 따라 과장되어 표시된 것일 수 있으므로 본 발명이 도면에 의해 한정되는 것은 아니다.
본 명세서에서 본 발명에 관련된 공지의 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에 이에 관한 자세한 설명은 필요에 따라 생략하기로 한다.
본 명세서의 실시예 따르면 컴퓨팅 수단에 의해 수행되는 항만 모니터링 방법에 있어서, 제1 뷰 속성을 가지고 선박에 대응되는 선박 오브젝트 및 바다에 대응되는 바다 오브젝트를 포함하는 항만 이미지를 획득하는 단계; 입력 이미지로부터 상기 입력 이미지에 포함된 오브젝트의 종류에 대한 정보를 출력하도록 학습된 인공 신경망을 이용한 이미지 세그멘테이션을 수행하여 상기 항만 이미지에 대응되고 상기 제1 뷰 속성을 가지는 세그멘테이션 이미지를 생성하는 단계 - 상기 세그멘테이션 이미지는 상기 선박 오브젝트에 대응되도록 라벨링된 제1 픽셀 및 상기 바다 오브젝트에 대응되도록 라벨링된 제2 픽셀을 포함함 - ; 상기 제1 뷰 속성을 가지는 이미지를 상기 제1 뷰 속성과 다른 제2 뷰 속성을 가지는 이미지로 변환하기 위해 이용되는 제1 시점 변환 정보에 기초하여 상기 제1 뷰 속성을 가지는 상기 세그멘테이션 이미지로부터 상기 제2 뷰 속성을 가지는 변환 세그멘테이션 이미지를 생성하는 단계; 및 상기 변환 세그멘테이션 이미지에 기초하여 상기 선박의 접안 가이드 정보를 산출하는 단계 - 상기 접안 가이드 정보는 상기 선박의 안벽과의 거리에 대한 정보 및 상기 선박의 상기 안벽으로의 접근 속도에 대한 정보 중 적어도 하나를 포함함 - ;를 포함하되, 상기 변환 세그멘테이션 이미지를 생성하는 단계는, 해수면의 높이를 반영하는 해수면 높이 정보를 획득하는 단계; 상기 제1 시점 변환 정보를 상기 해수면 높이 정보를 반영하여 업데이트하는 단계; 및 상기 업데이트된 제1 시점 변환 정보에 기초하여 상기 제1 뷰 속성을 가지는 상기 세그멘테이션 이미지로부터 상기 제2 뷰 속성을 가지는 변환 세그멘테이션 이미지를 생성하는 단계;를 포함하는 항만 모니터링 방법이 제공될 수 있다.
상기 업데이트하는 단계는, 기준 평면에 기초하여 생성된 상기 제1 시점 변환 정보를 상기 해수면 높이 정보를 반영하여 업데이트할 수 있다.
상기 접안 가이드 정보는, 상기 선박의 상기 해수면과 접하는 영역인 경계 영역에 기초하여 산출될 수 있다.
상기 선박의 안벽과의 거리에 대한 정보는, 상기 경계 영역의 상기 안벽과의 거리에 대응되고, 상기 안벽으로의 접근 속도에 대한 정보는, 상기 경계 영역의 상기 안벽으로의 접근 속도에 대응될 수 있다.
상기 접안 가이드 정보는, 상기 경계 영역에 포함되고 상기 선박의 선수에 대응되는 제1 포인트 및 상기 선박의 선미에 대응되는 제2 포인트에 기초하여 산출될 수 있다.
상기 선박의 안벽과의 거리에 대한 정보는, 상기 제1 포인트 및 상기 제2 포인트의 상기 안벽과의 거리에 대응되고, 상기 안벽으로의 접근 속도에 대한 정보는, 상기 제1 포인트 및 상기 제2 포인트의 상기 안벽으로의 접근 속도에 대응될 수 있다.
상기 항만 이미지는, 제1 항만 이미지 및 상기 제1 항만 이미지와 모니터링 영역이 적어도 일부 중첩되는 제2 항만 이미지를 포함할 수 있다.
상기 해수면 높이 정보를 획득하는 단계는, 상기 제1 항만 이미지의 모니터링 영역과 상기 제2 항만 이미지의 모니터링 영역이 중첩되는 영역인 오버랩 영역에 기초하여 상기 해수면 높이 정보를 산출하는 단계;를 포함할 수 있다.
상기 해수면 높이 정보를 획득하는 단계는, 서로 매칭되는 상기 제1 항만 이미지 및 상기 제2 항만 이미지의 특징점에 기초하여 상기 오버랩 영역을 결정하는 단계;를 더 포함할 수 있다.
상기 항만 이미지는, 상기 안벽에 대응되는 안벽 오브젝트를 더 포함하고, 상기 해수면 높이 정보를 획득하는 단계는, 상기 안벽에 의해 폐색되어(occluded) 상기 항만 이미지에 표현되지 않은 바다에 대응되는 음영 영역에 기초하여 상기 해수면 높이 정보를 산출하는 단계;를 포함할 수 있다.
상기 해수면 높이 정보를 획득하는 단계는, 상기 항만 이미지에 포함된 높이 측정 오브젝트가 해수면 위로 노출된 영역에 기초하여 상기 해수면 높이 정보를 산출하는 단계;를 포함할 수 있다.
상기 해수면 높이 정보를 획득하는 단계는, 상기 해수면 높이 정보를 측정하기 위한 센서로부터 상기 해수면 높이 정보를 수신하는 단계;를 포함할 수 있다.
상기 해수면 높이 정보를 획득하는 단계는, 해상 교통 관제 시스템(vessel traffic service system, VTS system)으로부터 상기 해수면 높이 정보를 수신하는 단계;를 포함할 수 있다.
상기 접안 가이드 정보는, 상기 선박의 인접 선박과의 거리에 대한 정보 및 상기 인접 선박으로의 접근 속도에 대한 정보 중 적어도 하나를 더 포함할 수 있다.
상기 항만 모니터링 방법은, 상기 제1 뷰 속성을 가지는 이미지를 상기 제1 뷰 속성 및 상기 제2 뷰 속성과 다른 제3 뷰 속성을 가지는 이미지로 변환하기 위해 이용되는 제2 시점 변환 정보에 기초하여 상기 제1 뷰 속성을 가지는 상기 항만 이미지로부터 상기 제3 뷰 속성을 가지는 디스플레이 이미지를 생성하는 단계;를 더 포함할 수 있다.
상기 항만 모니터링 방법은, 상기 디스플레이 이미지 및 상기 접안 가이드 정보를 출력하는 단계;를 더 포함할 수 있다.
상기 출력하는 단계는, 원격 위치한 단말을 이용하여 상기 디스플레이 이미지 및 상기 접안 가이드 정보를 디스플레이하기 위하여 상기 디스플레이 이미지 및 상기 접안 가이드 정보를 상기 단말로 송신하는 단계; 또는 상기 디스플레이 이미지 및 상기 접안 가이드 정보를 디스플레이하는 단계;일 수 있다.
상기 인공 신경망은, 학습 이미지를 상기 인공 신경망에 입력하여 출력되는 출력 이미지 및 상기 학습 이미지에 포함된 오브젝트의 종류에 대한 정보가 반영된 라벨링 이미지 사이의 차이를 고려하여 학습될 수 있다.
상기 제2 뷰는, 해수면과 수직한 방향에서 해수면을 내려다 본 뷰인 것을 특징으로 할 수 있다.
본 명세서의 실시예 따르면 컴퓨팅 수단에 의해 수행되는 선박 주변 모니터링 방법에 있어서, 제1 뷰 속성을 가지고 선박 주변의 장애물에 대응되는 장애물 오브젝트 및 바다에 대응되는 바다 오브젝트를 포함하는 해상 이미지를 획득하는 단계; 입력 이미지로부터 상기 입력 이미지에 포함된 오브젝트의 종류에 대한 정보를 출력하도록 학습된 인공 신경망을 이용한 이미지 세그멘테이션을 수행하여 상기 해상 이미지에 대응되고 상기 제1 뷰 속성을 가지는 세그멘테이션 이미지를 생성하는 단계 - 상기 세그멘테이션 이미지는 상기 장애물 오브젝트에 대응되도록 라벨링된 제1 픽셀 및 상기 바다 오브젝트에 대응되도록 라벨링된 제2 픽셀을 포함함 - ; 상기 제1 뷰 속성을 가지는 이미지를 상기 제1 뷰 속성과 다른 제2 뷰 속성을 가지는 이미지로 변환하기 위해 이용되는 제1 시점 변환 정보에 기초하여 상기 제1 뷰 속성을 가지는 상기 세그멘테이션 이미지로부터 상기 제2 뷰 속성을 가지는 변환 세그멘테이션 이미지를 생성하는 단계; 및 상기 변환 세그멘테이션 이미지에 기초하여 상기 선박의 운항 가이드 정보를 산출하는 단계 - 상기 운항 가이드 정보는 상기 선박의 상기 장애물과의 거리에 대한 정보 및 상기 선박의 상기 장애물로의 접근 속도에 대한 정보 중 적어도 하나를 포함함 - ;를 포함하되, 상기 변환 세그멘테이션 이미지를 생성하는 단계는, 해수면의 높이를 반영하는 해수면 높이 정보를 획득하는 단계; 상기 제1 시점 변환 정보를 상기 해수면 높이 정보를 반영하여 업데이트하는 단계; 및 상기 업데이트된 제1 시점 변환 정보에 기초하여 상기 제1 뷰 속성을 가지는 상기 세그멘테이션 이미지로부터 상기 제2 뷰 속성을 가지는 변환 세그멘테이션 이미지를 생성하는 단계;를 포함하는 선박 주변 모니터링 방법이 제공될 수 있다.
상기 해수면 높이 정보는, 상기 선박에 설치된 카메라의 해수면으로부터의 높이를 반영할 수 있다.
상기 해수면 높이 정보를 획득하는 단계는, 상기 해수면 높이 정보를 측정하기 위해 상기 선박에 설치된 센서로부터 상기 해수면 높이 정보를 수신하는 단계;를 포함할 수 있다.
본 명세서의 실시예 따르면 컴퓨팅 수단에 의해 수행되는 항만 모니터링 방법에 있어서, 제1 뷰를 가지고 선박에 대응되는 선박 오브젝트 및 바다에 대응되는 바다 오브젝트를 포함하는 제1 이미지를 획득하는 단계; 상기 제1 이미지를 해수면과 평행한 제1 평면에 투영하여 상기 제1 뷰와 상이한 탑 뷰를 가지는 제2 이미지를 생성하는 단계; 상기 제2 이미지에 기초하여 접안 가이드 정보를 산출하는 단계 - 상기 접안 가이드 정보는 상기 선박의 안벽과의 거리에 대한 정보 및 상기 선박의 상기 안벽으로의 접근 속도에 대한 정보 중 적어도 하나를 포함함 -; 상기 제1 평면과 상이한 높이에 형성되되 상기 제1 평면과 평행한 제2 평면의 높이에 대응되는 해수면 높이 정보를 획득하는 단계; 및 상기 산출된 접안 가이드 정보를 상기 제1 평면 및 상기 제2 평면 사이의 높이 차이를 반영하여 보정하는 단계;를 포함하는 항만 모니터링 방법이 제공될 수 있다.
상기 제2 평면의 높이는 해수면 높이인 것을 특징으로 할 수 있다.
본 명세서의 실시예 따르면 컴퓨팅 수단에 의해 수행되는 항만 모니터링 방법에 있어서, 제1 뷰를 가지고 선박에 대응되는 선박 오브젝트 및 바다에 대응되는 바다 오브젝트를 포함하는 제1 이미지를 획득하는 단계; 해수면의 높이를 반영하는 해수면 높이 정보를 획득하는 단계; 상기 제1 이미지를 해수면 높이에 상기 해수면과 평행하게 형성된 제1 평면에 투영시키기 위하여, 상기 해수면과 평행하되 상기 해수면과 상이한 높이에 형성된 제2 평면에 이미지를 투영시키는 시점 변환 정보를 상기 해수면 높이 정보에 기초하여 업데이트하는 단계; 상기 업데이트된 시점 변환 정보를 이용하여 상기 제1 이미지를 상기 제1 뷰와 상이한 탑 뷰를 가지는 제2 이미지로 변환하는 단계; 및 상기 제2 이미지에 기초하여 접안 가이드 정보를 산출하는 단계 - 상기 접안 가이드 정보는 상기 선박의 안벽과의 거리에 대한 정보 및 상기 선박의 상기 안벽으로의 접근 속도에 대한 정보 중 적어도 하나를 포함함 -;를 포함하는 항만 모니터링 방법이 제공될 수 있다.
본 명세서의 실시예 따르면 항만 모니터링 방법으로서 카메라에 의해 촬상된 이미지를 획득하는 단계, 상기 카메라의 시야각과 적어도 부분적으로 오버랩되는 시야각을 갖는 라이다 센서에 의해 얻어지는 복수의 라이다 포인트를 포함하는 라이다 데이터를 획득하는 단계, 상기 이미지에서 바다에 대응하는 제1 영역 및 상기 이미지에서 선박에 대응하는 제2 영역을 검출하는 단계, 상기 복수의 라이다 포인트 중에서 상기 제1 영역에 포함되는 픽셀의 픽셀 위치를 고려하여 바다로부터 반사되는 라이다 빔과 관련된 제1 라이다 포인트들을 선택하는 단계, 상기 제1 라이다 포인트들을 이용하여 제1 추정 해수면 높이를 계산하는 단계, 상기 제2 영역에 포함되는 픽셀들의 픽셀 위치를 고려하여 상기 복수의 라이다 포인트들 중에서 상기 선박으로부터 반사되는 라이다 빔과 관련된 제2 라이다 포인트들을 선택하는 단계, 상기 제2 라이다 포인트의 높이값에 기초하여 상기 제2 라이다 포인트들로부터 상기 바다와 접하는 상기 선박의 하부 영역으로부터 반사되는 라이다 빔과 관련된 제3 라이다 포인트들을 결정하는 단계, 상기 제3 라이다 포인트들을 이용하여 제2 추정 해수면 높이를 계산하는 단계 및 상기 제1 추정 해수면 높이 및 상기 제2 추정 해수면 높이를 모두 고려하여 해수면 높이를 결정하는 단계를 포함하는 항만 모니터링 방법이 제공될 수 있다.
상기 제1 추정 해수면 높이는 상기 제1 라이다 포인트들의 높이값의 평균일 수 있다.
상기 제3 라이다 포인트들을 결정하는 단계는 상기 제2 라이다 포인트들로부터 실질적으로 동일한 높이값의 라이다 포인트들을 포함하는 라이다 라인들을 생성하는 단계 및 상기 라이다 라인들 중 가장 낮은 높이값의 라이다 라인을 상기 제3 라이다 포인트들로 선택하는 단계를 포함할 수 있다.
상기 라이다 라인은 기설정된 범위의 라이다 포인트 개수 및/또는 길이를 가질 수 있다.
상기 해수면 높이는 상기 제1 추정 해수면 높이 및 상기 제2 추정 해수면 높이의 가중합일 수 있다.
상기 제1 추정 해수면 높이에 부여되는 제1 가중치는 상기 제1 라이다 포인트들의 거리값에 기초하여 결정되고, 상기 제2 추정 해수면 높이에 부여되는 제2 가중치는 상기 제2 라이다 포인트들의 거리값에 기초하여 결정될 수 있다.
상기 항만 모니터링 방법은 상기 제1 라이다 포인트들로부터 제1 파고를 산출하는 단계 및 상기 제2 라이다 포인트들로부터 제2 파고를 산출하는 단계를 더 포함하고, 상기 제1 추정 해수면 높이에 부여되는 제1 가중치는 단위 시간 당 상기 제1 파고의 변화에 기초하여 결정되고, 상기 제2 추정 해수면 높이에 부여되는 제2 가중치는 단위 시간 당 상기 제2 파고의 변화에 기초하여 결정될 수 있다.
상기 제1 영역 및 상기 제2 영역은 인공 신경망을 이용하여 검출되고, 상기 인공 신경망은 복수의 훈련 이미지 및 상기 복수의 훈련 이미지의 픽셀들에 라벨링되는 객체 정보를 포함하는 학습 세트를 이용하여 학습될 수 있다.
상기 제1 라이다 포인트들 및/또는 상기 제2 라이다 포인트들은 라이다 포인트들의 특성을 고려하여 결정되고, 상기 라이다 포인트들의 특성은 라이다 포인트의 수, 높이값의 편차, 거리값 중 적어도 하나를 포함할 수 있다.
상기 제2 라이다 포인트들은 상기 이미지로부터 획득되는 선박 정보에 기초하여 결정되고, 상기 선박 정보는 상기 제2 영역의 검출, 상기 제2 영역의 크기, 상기 선박까지의 거리 및 상기 선박과 관련된 오클루전의 검출 중 적어도 하나를 포함할 수 있다.
본 명세서의 실시예 따르면 항만 모니터링 방법으로서, 카메라에 의해 촬상된 이미지를 획득하는 단계, 상기 카메라의 시야각과 적어도 부분적으로 오버랩되는 시야각을 갖는 라이다 센서에 의해 얻어지는 복수의 라이다 포인트를 포함하는 라이다 데이터를 획득하는 단계, 상기 이미지에서 바다에 대응하는 제1 영역 및 상기 이미지에서 선박에 대응하는 제2 영역을 검출하는 단계, 상기 복수의 라이다 포인트 중에서 상기 제1 영역에 포함되는 픽셀의 픽셀 위치를 고려하여 바다로부터 반사되는 라이다 빔과 관련된 제1 라이다 포인트들을 선택하는 단계, 라이다 포인트들의 특성에 기초하여 상기 제1 라이다 포인트들의 제1 신뢰도를 결정하는 단계, 상기 제2 영역에 포함되는 픽셀들의 픽셀 위치를 고려하여 상기 복수의 라이다 포인트들 중에서 상기 선박으로부터 반사되는 라이다 빔과 관련된 제2 라이다 포인트들을 선택하는 단계, 상기 이미지로부터 획득되는 선박 정보에 기초하여 상기 제2 라이다 포인트들의 제2 신뢰도를 결정하는 단계 및 상기 제1 신뢰도 및 상기 제2 신뢰도를 고려하여 상기 제1 라이다 포인트들 및 상기 제2 라이다 포인트들 중 적어도 하나를 이용하여 해수면 높이를 추정하는 단계를 포함하는 항만 모니터링 방법이 제공될 수 있다.
상기 라이다 포인트들의 특성은 라이다 포인트의 수, 높이값의 편차, 거리값 중 적어도 하나를 포함할 수 있다.
상기 선박 정보는 상기 제2 영역의 검출, 상기 제2 영역의 크기, 상기 선박까지의 거리 및 상기 선박과 관련된 오클루전의 검출 중 적어도 하나를 포함할 수 있다.
본 명세서의 실시예 따르면 항만 모니터링 방법으로서, 라이다 센서에 의해 얻어지는 복수의 라이다 포인트를 포함하는 라이다 데이터를 획득하는 단계, 상기 복수의 라이다 포인트 중에서 바다로부터 반사되는 라이다 빔과 관련된 제1 라이다 포인트들을 선택하는 단계, 상기 복수의 라이다 포인트들 중에서 상기 선박으로부터 반사되는 라이다 빔과 관련된 제2 라이다 포인트들을 선택하는 단계, 상기 제1 라이다 포인트들 및 제2 라이다 포인트들의 수, 높이값의 편차 및 거리값 중 적어도 하나에 기초하여 해수면 높이를 추정하기 위한 상기 제1 라이다 포인트들 및 상기 제2 라이다 포인트들 각각의 신뢰도를 결정하는 단계 및 상기 제1 라이다 포인트들 및 상기 제2 라이다 포인트들의 상기 신뢰성을 고려하여 상기 제1 라이다 포인트들 및 상기 제2 라이다 포인트들 중 적어도 하나를 이용하여 해수면 높이를 추정하는 단계를 포함하는 항만 모니터링 방법이 제공될 수 있다.
본 명세서의 실시예 따르면 항만 모니터링 방법으로서, 카메라에 의해 촬상된 이미지를 획득하는 단계, 상기 카메라의 시야각과 적어도 부분적으로 오버랩되는 시야각을 갖는 라이다 센서에 의해 얻어지는 복수의 라이다 포인트를 포함하는 라이다 데이터를 획득하는 단계, 상기 이미지에서 선박에 대응하는 선박 영역을 인공 신경망을 이용하여 검출하는 단계, 상기 인공 신경망은 복수의 훈련 이미지 및 상기 복수의 훈련 이미지의 픽셀들에 라벨링되는 객체 정보를 포함하는 학습 세트를 이용하여 학습되고, 상기 복수의 훈련 이미지 중 적어도 일부는 선박 및 바다를 포함하고, 상기 객체 정보는 객체 종류를 반영하고, 상기 선박의 픽셀들은 선박을 지시하는 상기 객체 종류의 상기 객체 정보로 라벨링되고, 상기 선박 영역에 포함되는 픽셀들의 픽셀 위치를 고려하여 상기 복수의 라이다 포인트들 중에서 상기 선박으로부터 반사되는 라이다 빔과 관련된 제1 라이다 포인트들을 선택하는 단계, 상기 제1 라이다 포인트의 높이값에 기초하여 상기 제1 라이다 포인트들로부터 상기 바다와 접하는 상기 선박의 하부 영역으로부터 반사되는 라이다 빔과 관련된 제2 라이다 포인트들을 결정하는 단계 및 상기 제2 라이다 포인트들을 이용하여 해수면 높이를 추정하는 단계를 포함하는 항만 모니터링 방법이 제공될 수 있다.
상기 항만 모니터링 방법은 상기 제1 라이다 포인트들의 수, 높이값의 편차 및 거리값 중 적어도 하나에 기초하여 상기 해수면 높이를 검증하는 단계를 더 포함할 수 있다.
본 명세서의 실시예 따르면 항만 모니터링 방법으로서, 카메라에 의해 촬상된 이미지를 획득하는 단계, 상기 카메라의 시야각과 적어도 부분적으로 오버랩되는 시야각을 갖는 라이다 센서에 의해 얻어지는 복수의 라이다 포인트를 포함하는 라이다 데이터를 획득하는 단계, 상기 이미지에서 선박에 대응하는 선박 영역을 검출하는 단계, 상기 선박 영역에 포함되는 픽셀들의 픽셀 위치를 고려하여 상기 복수의 라이다 포인트들 중에서 상기 선박으로부터 반사되는 라이다 빔과 관련된 제1 라이다 포인트들을 선택하는 단계, 상기 이미지로부터 상기 선박에 관련된 선박 정보를 획득하는 단계, 상기 선박 정보는 상기 선박의 검출, 상기 선박 영역의 크기, 상기 선박까지의 거리 및 상기 선박과 관련된 오클루전의 검출 중 적어도 하나를 포함하고 및 상기 선박 정보에 의해 기설정된 조건이 충족되는 경우, 상기 제1 라이다 포인트를 이용하여 해수면 높이를 추정하는 단계를 포함하는 항만 모니터링 방법이 제공될 수 있다.
상기 항만 모니터링 방법은 상기 이미지에서 바다에 대응하는 바다 영역을 검출하는 단계, 상기 복수의 라이다 포인트 중에서 상기 바다 영역에 포함되는 픽셀의 픽셀 위치를 고려하여 바다로부터 반사되는 라이다 빔과 관련된 제2 라이다 포인트들을 선택하는 단계, 및 상기 선박 정보에 의해 상기 기설정된 조건이 충족되지 않는 경우, 상기 제2 라이다 포인트를 이용하여 해수면 높이를 추정하는 단계를 더 포함할 수 있다.
본 명세서의 실시예 따르면 상술한 방법들을 수행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체가 제공될 수 있다.
이하에서는 해수면을 고려한 항만 및 선박 모니터링 방법 및 장치에 관해 설명한다.
본 명세서에서 해수면 높이란 절대적인 해수면의 높이뿐만 아니라, 상대적인 해수면의 높이, 특정 바다의 영역의 평균적인 해수면 높이와 비교된 상대적인 해수면 높이 등을 포함하도록 넓게 해석되어야 한다. 예를 들어, 해수면 높이는 해수면과 안벽 사이의 거리, 해수면과 모니터링 장치(예를 들어, 이미지 생성 유닛) 사이의 거리, 해수면 위로 노출된 오브젝트의 길이 등 해수면의 높이 변화에 따라 달라질 수 있는 다양한 정보를 포함할 수도 있다.
본 명세서에서 모니터링이란 주변 상황을 파악하거나 인식하는 것으로, 일정 영역이나 특정 오브젝트 등 감지 대상을 각종 센서를 이용하여 감지하고 그 감지 결과를 사용자에게 제공하는 것뿐만 아니라 감지 결과를 바탕으로 연산 등을 통해 추가적인 정보를 제공하는 것 등을 포함하도록 넓게 해석되어야 한다.
본 명세서에서 이미지 기반 모니터링이란 이미지에 기초하여 주변 상황을 파악하거나 인식하는 것을 의미할 수 있다. 예를 들어, 모니터링은 선박의 운항 시 선박 주변 이미지를 획득하여 이로부터 다른 선박이나 장애물 등을 인식하거나, 선박의 접안 또는 이안 시 접안 가이드 정보를 산출하기 위한 정보를 획득하는 것을 의미할 수 있다.
본 명세서에서 접안 가이드 정보는 선박의 접안에 이용될 수 있고 도선사나 선장 등 사용자의 접안을 보조하거나 가이드하기 위한 정보를 의미할 수 있다. 예를 들어, 접안 가이드 정보는 선박이나 장애물 등의 인식, 항만 상황 파악, 선석에 접근 가능한지 여부, 안벽과의 거리, 선박의 안벽으로의 접근 속도, 선박과 다른 선박 사이의 거리, 선박과 다른 선박 사이의 상대 속도, 운항 경로 상 장애물 존재 여부 파악 등 환경에 대한 정보를 의미할 수 있다. 본 명세서에서는 주로 선박 및 항만에서 접안이 수행되는 경우의 모니터링에 대해 설명하나, 이에 한정되는 것은 아니고 차량의 주행, 비행체의 운항 등의 경우에도 적용될 수 있을 것이다.
본 명세서에서 항만 및 선박 모니터링 장치는 항만 및 선박 모니터링을 수행하는 장치로써 구체적인 구성에 대해서는 후술하기로 한다.
도 1은 일 실시예에 따른 해수면을 고려한 항만 모니터링 방법에 관한 도면이다. 도 1을 참고하면, 항만 모니터링 방법은 항만 이미지 획득 단계(S100), 세그멘테이션(segmentation) 이미지 생성 단계(S200) 및 접안 가이드 정보 획득 단계(S300)를 포함할 수 있다.
항만 이미지 획득 단계(S100)는 모니터링 장치가 항만 이미지를 획득하는 단계를 의미할 수 있다. 세그멘테이션 이미지 생성 단계(S200)는 모니터링 장치가 이미지 세그멘테이션을 수행하여 항만 이미지로부터 세그멘테이션 이미지를 생성하는 단계를 의미할 수 있다. 이미지 세그멘테이션에 대한 구체적인 내용은 후술하기로 한다. 접안 가이드 정보 획득 단계(S300)는 모니터링 장치가 세그멘테이션 이미지에 기초하여 접안 가이드 정보를 획득하는 단계를 의미할 수 있다. 여기서, 모니터링 장치는 해수면 높이 등 해수면을 고려하여 접안 가이드 정보를 획득할 수 있다. 해수면을 고려하는 경우 접안 가이드 정보의 정확도가 향상될 수 있다. 접안 가이드 정보를 획득하는 단계에 대한 구체적인 내용은 후술하기로 한다.
도 2는 일 실시예에 따른 모니터링 장치에 관한 도면이다. 도 2를 참고하면, 모니터링 장치(10)는 센서 모듈(100), 제어 모듈(200) 및 통신 모듈(300)을 포함할 수 있다.
센서 모듈(100)은 선박이나 선박 주변 및 항만에 대한 정보를 획득하거나 센싱할 수 있다. 센서 모듈(100)은 선박자동식별장치(automatic identification system, AIS), 이미지 생성 유닛, 라이다(LIDAR) 센서, 위치 측정 유닛, 자세 측정 유닛, 케이싱/케이스 등을 포함할 수 있다.
이미지 생성 유닛은 이미지를 생성할 수 있다. 이미지 생성 유닛은 카메라, 레이더, 초음파 탐지기 등을 포함할 수 있다. 카메라의 예로는 단안 카메라, 쌍안 카메라, 가시광선 카메라, IR 카메라, depth 카메라가 있지만 이에 한정되는 것은 아니다.
라이다 센서는 레이저를 이용하여 대상체의 거리 및 위치를 탐지하기 위한 센서이다. 예를 들어, 라이다 센서와 대상체와의 거리 및 라이다 센서를 기준으로 한 대상체의 위치는 3차원 좌표계로 나타낼 수 있다. 예를 들어, 라이다 센서와 대상체와의 거리 및 라이다 센서를 기준으로 한 대상체의 위치는 직교좌표계, 구면좌표계, 원통좌표계 등으로 나타낼 수 있다. 라이다 센서는 수직 또는 수평 방향으로 복수의 채널을 가질 수 있고, 일 예로 32개 또는 64개의 채널을 갖는 라이다 센서일 수 있다.
라이다 센서는 대상체와의 거리(R)를 결정하기 위하여, 대상체로부터 반사된 레이저를 이용할 수 있다. 예를 들어, 라이다 센서는 대상체와의 거리를 결정하기 위해 출사된 레이저와 감지된 레이저의 시간차이인 비행시간(TOF: Time Of Flight)을 이용할 수 있다. 이를 위해, 라이다 센서는 레이저를 출력하는 레이저 출력부와 반사된 레이저를 감지하는 수신부를 포함할 수 있다. 라이다 센서는 레이저 출력부에서 레이저가 출력된 시간을 확인하고, 대상체로부터 반사된 레이저를 수신부에서 감지한 시간을 확인하여, 출사된 시간과 감지된 시간의 차이에 기초하여 대상체와의 거리를 판단할 수 있다. 물론, 라이다 센서는 대상체와의 거리(R)를 결정하기 위해 감지된 레이저의 감지 위치를 기초로 삼각측량법, 감지된 레이저의 위상변화(Phase shift)를 이용하는 등 다른 방식으로 대상체와의 거리(R)를 결정하여도 무방하다.
라이다 센서는 조사되는 레이저의 각도를 이용하여 대상체의 위치를 결정할 수 있다. 예를 들어, 라이다 센서에서 라이다 센서의 스캔영역을 향해 조사된 하나의 레이저의 조사 각도를 알 수 있는 경우, 상기 스캔영역상에 존재하는 대상체로부터 반사된 레이저가 수신부에서 감지된다면, 라이다 센서는 조사된 레이저의 조사 각도로 상기 대상체의 위치를 결정할 수 있다.
라이다 센서는 주변의 임의의 대상체의 위치를 탐지하기 위해 대상체를 포함하는 스캔영역을 가질 수 있다. 여기서 스캔영역은 탐지 가능한 영역을 한 화면으로 표현한 것으로 1프레임동안 한 화면을 형성하는 점, 선, 면의 집합을 의미할 수 있다. 또한 스캔영역은 라이다 센서에서 조사된 레이저의 조사영역을 의미할 수 있으며, 조사영역은 1프레임 동안 조사된 레이저가 같은 거리(R)에 있는 구면과 만나는 점, 선, 면의 집합을 의미할 수 있다. 또한 시야각(FOV, Field of view)은 탐지 가능한 영역을 의미하며, 라이다 센서를 원점으로 보았을 때 스캔영역이 가지는 각도 범위로 정의될 수 있다.
위치 측정 유닛은 센서 모듈(100)이나 이미지 생성 유닛 등 센서 모듈(100)에 포함된 구성의 위치를 측정할 수 있다. 일 예로, 위치 측정 유닛은 GPS(Global Positioning System)일 수 있다. 특히, 위치 측정의 정확도 향상을 위해 RTK-GPS(Real-Time Kinematic GPS)가 이용될 수도 있다.
위치 측정 유닛은 미리 정해진 시간 간격마다 위치 정보를 획득할 수 있다. 여기서, 상기 시간 간격은 센서 모듈(100)의 설치 위치에 따라 달라질 수 있다. 예를 들어, 센서 모듈(100)이 선박 등 이동체에 설치된 경우 위치 측정 유닛은 짧은 시간 간격마다 위치 정보를 획득할 수 있다. 반면, 센서 모듈(100)이 항만 등 고정체에 설치된 경우 위치 측정 유닛은 긴 시간 간격마다 위치 정보를 획득할 수 있다. 위치 측정 유닛의 위치 정보 획득을 위한 시간 간격은 변경될 수 있다.
자세 측정 유닛은 센서 모듈(100)이나 이미지 생성 유닛 등 센서 모듈(100)에 포함된 구성의 자세를 측정할 수 있다. 일 예로, 자세 측정 유닛은 관성측정장비(Inertial Measurement Unit, IMU)일 수 있다.
자세 측정 유닛은 미리 정해진 시간 간격마다 자세 정보를 획득할 수 있다. 여기서, 상기 시간 간격은 센서 모듈(100)의 설치 위치에 따라 달라질 수 있다. 예를 들어, 센서 모듈(100)이 선박 등 이동체에 설치된 경우 자세 측정 유닛은 짧은 시간 간격마다 자세 정보를 획득할 수 있다. 반면, 센서 모듈(100)이 항만 등 고정체에 설치된 경우 자세 측정 유닛은 긴 시간 간격마다 자세 정보를 획득할 수 있다. 자세 측정 유닛의 자세 정보 획득을 위한 시간 간격은 변경될 수 있다.
케이싱은 이미지 생성 유닛, 위치 측정 유닛, 자세 측정 유닛 등 센서 모듈(100)을 보호할 수 있다.
케이싱의 내부에는 이미지 생성 유닛, 위치 측정 유닛, 자세 측정 유닛 중 적어도 하나가 존재할 수 있다. 케이싱은 내부에 존재하는 이미지 생성 유닛 등의 장비가 염수에 의해 부식되는 것을 방지할 수 있다. 또는, 케이싱은 내부에 존재하는 장비에 가해지는 충격을 방지하거나 완화시켜 이를 보호할 수 있다.
내부에 이미지 생성 유닛 등을 포함하기 위하여 케이싱의 내부에 공동이 형성될 수 있다. 예를 들어, 케이싱은 내부가 비어있는 직육면체 형상일 수 있지만, 이에 한정되는 것은 아니고 내부에 이미지 생성 유닛 등이 배치될 수 있는 다양한 형상으로 제공될 수 있다.
케이싱의 내부에 이미지 생성 유닛이 배치되는 경우, 이미지 생성 유닛의 시야 확보를 위해 케이싱의 일 영역에 개폐구가 형성되거나 케이싱의 일 영역을 유리 등 투명한 물질로 형성할 수 있다. 이미지 생성 유닛은 상기 개폐구 또는 투명한 영역을 통해 선박 주변 및 항만을 촬상할 수 있다.
케이싱은 이미지 생성 유닛 등을 외부 충격으로부터 보호하기 위해 강인한 소재로 제공될 수 있다. 또는, 케이싱은 염분으로 인한 부식을 방지하기 위하여 해수용 합금 등의 소재로 제공될 수 있다.
케이싱은 이미지 생성 유닛의 이물질을 제거하기 위한 장비를 포함할 수 있다. 일 예로, 케이싱에 포함된 와이퍼를 통해 이미지 생성 유닛의 표면에 달라붙은 이물질을 물리적으로 제거할 수 있다. 여기서, 상기 와이퍼는 이물질을 제거하려는 표면에 밀착할 수 있도록 상기 표면과 동일하거나 유사한 곡률을 갖는 선형 또는 판형으로 제공될 수 있다. 다른 예로, 케이싱에 포함된 액체 스프레이를 통해 물이나 워셔액을 도포하여 이물질을 제거하거나 도포 후 와이퍼를 이용하여 이물질을 물리적으로 제거할 수 있다.
이물질 제거 장비는 수동으로 가동될 수 있지만, 자동으로도 가동될 수 있다. 예를 들어, 미리 정해진 시간 간격으로 이물질 제거 장비가 동작할 수 있다. 또는, 이미지 생성 유닛에 이물질이 달라붙었는지 여부를 감지하는 센서를 이용하여 이물질 제거 장비를 동작시킬 수 있다. 또는, 이미지 생성 유닛이 촬상한 이미지를 이용하여, 상기 이미지에 이물질이 촬상되었는지 여부를 판단한 후, 이물질이 존재한다고 판단되는 경우에 이물질 제거 장비를 동작시킬 수 있다. 여기서, 이미지에 이물질이 촬상되었는지 여부는 인공 신경망(artificial neural network)을 통하여 판단될 수도 있을 것이다.
하나의 센서 모듈(100)은 2개 이상의 동일한 카메라를 포함하는 등 복수의 동일한 장비를 포함할 수도 있다.
제어 모듈(200)은 이미지 분석을 수행할 수 있다. 제어 모듈(200)은 이미지 세그멘테이션을 수행하거나 접안 가이드 정보를 결정할 수 있다. 또한, 센서 모듈(100)을 통해 각종 데이터를 수신하는 동작, 출력 장치를 통해 각종 출력을 출력하는 동작, 메모리에 각종 데이터를 저장하거나 메모리로부터 각종 데이터를 획득하는 동작 등이 제어 모듈(200)의 제어에 의해 수행될 수 있다.
제어 모듈(200)의 예로는 중앙 처리 장치(Central Processing Unit, CPU), 그래픽 처리 장치(Graphics Processing Unit, GPU), 디지털 신호 처리 장치(Digital Signal Processor, DSP), 상태 기계(state machine), 주문형 반도체(Application Specific Integrated Circuit, ASIC), 무선 주파수 집적 회로(Radio-Frequency Integrated Circuit, RFIC) 및 이들의 조합 등이 있을 수 있다.
통신 모듈(300)은 장치(10)로부터 외부로 정보를 송신하거나 외부로부터 정보를 수신할 수 있다. 통신 모듈(300)은 유선 또는 무선 통신을 수행할 수 있다. 통신 모듈(300)은 양방향(bi-directional) 또는 단방향 통신을 수행할 수 있다. 예를 들어, 장치(10)는 통신 모듈(300)을 통해 외부 출력 장치로 정보를 전달하여 제어 모듈(200)이 수행한 제어 결과를 외부 출력 장치를 통해 출력할 수 있다. 또한, 통신 모듈(300)은 선박을 관제하는 해상교통관제시스템(VTS, Vessel Traffic Service)으로부터 선박과 관련된 VTS 정보 또는 CITS(Costal Intelligent Transport System) 정보를 수신할 수 있다.
센서 모듈(100), 제어 모듈(200) 및 통신 모듈(300)은 제어부를 포함할 수 있다. 제어부는 모듈 내에서 각종 정보의 처리와 연산을 수행하고, 모듈을 구성하는 다른 구성 요소를 제어할 수 있다. 제어부는 물리적으로는 전기 신호를 처리하는 전자 회로 형태로 제공될 수 있다. 모듈은 물리적으로 단일한 제어부만을 포함할 수도 있으나, 이와 달리 복수의 제어부를 포함할 수도 있다. 일 예로, 제어부는 하나의 컴퓨팅 수단에 탑재되는 하나 또는 복수의 프로세서(processor)일 수 있다. 다른 예로, 제어부는 물리적으로 이격된 서버(server)와 터미널(terminal)에 탑재되어 통신을 통해 협업하는 프로세서들로 제공될 수도 있다. 제어부의 예로는 중앙 처리 장치(Central Processing Unit, CPU), 그래픽 처리 장치(Graphics Processing Unit, GPU), 디지털 신호 처리 장치(Digital Signal Processor, DSP), 상태 기계(state machine), 주문형 반도체(Application Specific Integrated Circuit, ASIC), 무선 주파수 집적 회로(Radio-Frequency Integrated Circuit, RFIC) 및 이들의 조합 등이 있을 수 있다. 이하에서는 본 명세서의 실시예로 개시되는 각종 동작이나 단계들은 별도의 언급이 없는 이상 제어 모듈(200) 또는 제어부에 의해 수행되거나 제어 모듈(200) 또는 제어부의 제어에 의해 수행되는 것으로 해석될 수 있다.
센서 모듈(100), 제어 모듈(200) 및 통신 모듈(300)은 통신부를 포함할 수 있다. 상기 모듈들은 통신부를 통해 정보를 송수신할 수 있다. 예를 들어, 센서 모듈(100)은 외부로부터 획득한 정보를 그 통신부를 통해 송신하고, 제어 모듈(200)은 그 통신부를 통해 센서 모듈(100)이 송신한 정보를 수신할 수 있다. 통신부는 유선 또는 무선 통신을 수행할 수 있다. 통신부는 양방향(bi-directional) 또는 단방향 통신을 수행할 수 있다.
센서 모듈(100), 제어 모듈(200) 및 통신 모듈(300)은 메모리를 포함할 수 있다. 메모리는 각종 프로세싱 프로그램, 프로그램의 프로세싱을 수행하기 위한 파라미터 또는 이러한 프로세싱 결과 데이터 등을 저장할 수 있다. 예를 들어, 메모리는 학습 및/또는 추론에 필요한 데이터, 학습이 진행중이거나 학습된 인공 신경망 등을 저장할 수 있다. 메모리는 비휘발성 반도체 메모리, 하드 디스크, 플래시 메모리, RAM(Random Access Memory), ROM(Read Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory) 또는 그 외에 유형의(tangible) 비휘발성의 기록 매체 등으로 구현될 수 있다.
모니터링 장치(10)는 2개 이상의 센서 모듈(100)을 포함하는 등 복수의 동일한 모듈을 포함할 수도 있다. 예를 들어, 하나의 장치(10)가 2개의 센서 모듈(100)을 포함하고, 각 센서 모듈(100)이 다시 2개의 카메라를 포함할 수도 있다.
도 3 및 도 4는 일 실시예에 따른 모니터링 장치의 실시예에 관한 도면이다.
도 3을 참고하면, 모니터링 장치는 센서 모듈(100) 및 제어 모듈(200)을 포함할 수 있다. 센서 모듈(100)은 카메라(130)를 통해 이미지를 생성하고, 통신부(110)를 통해 이미지를 제어 모듈(200)로 송신할 수 있다. 또한, 센서 모듈(100)의 제어부(120)는 후술할 시점 변환을 수행하여 이미지의 시점을 변환시킬 수 있다. 제어 모듈(200)은 통신부(210)를 통해 센서 모듈(100)로부터 이미지를 수신하고, 제어부(220)를 통해 후술할 접안 가이드 정보 결정, 위치/이동 정보 추정 및 이미지 정합 등 이미지 분석을 수행할 수 있다. 또한, 제어 모듈(200)은 통신부(210)를 통해 클라우드 서버로 접안 가이드 정보, 위치/이동 정보 및 정합된 이미지 등 분석 결과를 송신할 수 있다. 클라우드 서버는 제어 모듈(200)로부터 수신한 분석 결과를 스마트폰, 태블릿, PC 등 사용자 단말로 전송하거나 사용자 단말로부터 인스트럭션을 수신할 수 있다.
도 4를 참고하면, 모니터링 장치는 센서 모듈(100)을 포함할 수 있다. 센서 모듈(100)은 카메라(130)를 통해 이미지를 생성하고, 통신부(110)를 통해 클라우드 서버로 이미지를 전송할 수 있다. 또한, 센서 모듈(100)의 제어부(120)는 후술할 시점 변환을 수행하여 이미지의 시점을 변환시킬 수 있다. 클라우드 서버는 센서 모듈(100)로부터 이미지를 수신하고, 후술할 접안 가이드 정보 결정, 위치/이동 정보 추정 및 이미지 정합 등 이미지 분석을 수행할 수 있다. 또한, 클라우드 서버는 이미지 분석의 결과를 스마트폰, 태블릿, PC 등 사용자 단말로 전송하거나 사용자 단말로부터 인스트럭션을 수신할 수 있다.
도 2 내지 도 4에서 도시하는 장치는 예시에 불과하며 장치의 구성이 이에 한정되지는 않는다.
일 예로, 장치는 출력 모듈을 포함할 수 있다. 출력 모듈은 제어 모듈에 의해 수행된 연산의 결과 등을 출력할 수 있다. 예를 들어, 출력 모듈은 분석 결과를 출력할 수 있다. 출력 모듈은 예시적으로 디스플레이, 스피커, 신호 출력 회로 등일 수 있으나 이에 한정되는 것은 아니다. 이 경우 정보를 사용자 단말 등 외부 출력 장치로 전달하여 외부 출력 장치가 정보를 출력하는 것 외에 출력 모듈을 통해 정보를 출력할 수도 있을 것이다.
다른 예로, 장치는 센서 모듈을 포함하지 않을 수도 있다. 이 경우 제어 모듈은 외부 센서 장치로부터 정보를 전달받아 이미지 분석을 수행하는 등 이미지 기반 모니터링 동작을 수행할 수 있을 것이다. 예를 들어, 제어 모듈은 선박이나 항만에 이미 설치된 AIS, 카메라, 라이다, 레이다 등으로부터 정보를 전달받아 이미지 분석을 수행할 수 있다.
또한, 도 2 내지 도 4의 각 구성이 수행하는 단계는 반드시 해당 구성이 수행해야 하는 것은 아니고 다른 구성에 의해 수행될 수 있다. 예를 들어, 위의 도 3에서는 센서 모듈(100)의 제어부(120)가 시점 변환을 수행하는 것으로 기재하였으나, 제어 모듈(200)의 제어부(220) 또는 클라우드 서버가 시점 변환을 수행할 수도 있다.
이미지 기반 모니터링을 위한 이미지 획득은 센서 모듈(100)을 통해 수행될 수 있다. 예를 들어, 센서 모듈(100)에 포함된 이미지 생성 유닛을 통해 이미지를 획득할 수 있다. 또는, 전술한 바와 같이 외부 센서 장치로부터 이미지를 획득할 수도 있다. 선박 및 항만 모니터링을 위한 이미지는 바다, 선박, 부표, 장애물, 지형, 항만, 하늘, 건물 등을 포함하는 것이 일반적일 것이다. 이하에서는 주로 가시광선 카메라를 통해 획득한 이미지를 분석하여 모니터링하는 것에 대해 설명하나 이에 한정되는 것은 아니다.
이미지 생성 유닛에 따라 시야각(FOV, Field of View) 및 피사계 심도(DOF: depth of field)가 달라질 수 있다. 도 5는 일 실시예에 따른 시야각 및 피사계 심도에 관한 도면이다. 도 5를 참고하면, 시야각은 좌우 또는 상하로 어느 정도의 범위까지 이미지에 포함되는지를 의미할 수 있고, 일반적으로는 각도(angle, degree)로 표현된다. 시야각이 더 크다는 의미는 좌우로 더 큰 폭의 영역을 포함하는 이미지를 생성하거나, 상하로 더 큰 폭의 영역을 포함하는 이미지를 생성하는 것을 의미할 수 있다. 피사계 심도는 이미지의 초점이 맞은 것으로 인식되는 거리 범위를 의미할 수 있고, 피사계 심도가 깊다는 의미는 이미지의 초점이 맞은 것으로 인식되는 거리 범위가 넓다는 것을 의미할 수 있다. 도 5를 참고하면, 피사계 심도(DOF)에 따라 이미지는 초점이 맞은 것으로 인식되는 영역(A1) 및 그 외의 영역(A2)을 포함할 수 있다. 이하에서는 이미지가 포함하고 있는 영역을 촬상 영역(A1 + A2), 초점이 맞은 것으로 인식되는 영역을 유효 영역(A1)이라 하고, 이미지 분석 및 접안 가이드 정보 산출 등 모니터링은 유효 영역에 기초하여 수행될 수 있지만 촬상 영역 전체에 기초하여 수행되거나 촬상 영역의 일부에 기초하여 수행될 수도 있으므로, 이미지 분석 및 모니터링을 수행하기 위해 이용되는 영역을 모니터링 영역이라고 한다.
시야각이 크고 피사계 심도가 얕은 카메라의 예로 광각 카메라가 있다. 시야각이 작고 피사계 심도가 깊은 카메라의 예로는 고배율 카메라, 줌 카메라가 있다.
센서 모듈은 항만 내의 조명탑, 크레인, 선박 등 그 위치나 자세에 제한이 없이 설치될 수 있고, 그 개수에도 제한이 없다. 다만, 센서 모듈의 종류 및 성능 등 특성에 따라 그 설치 위치나 개수가 달라질 수 있다. 예를 들어, 센서 모듈이 카메라인 경우, 센서 모듈은 효율적인 모니터링을 위해 수면에서 15m 이상의 고도에 설치되거나, 서로 다른 촬상 영역을 갖도록 복수가 설치될 수 있다. 또한, 센서 모듈의 위치 및 자세는 설치 시 또는 설치 후에 수동 또는 자동으로 조절될 수도 있다.
라이다의 시야각은 이미지 생성 유닛(일 예로, 카메라)의 시야각과 적어도 부분적으로 오버랩될 수 있다. 예를 들어, 라이다의 시야각(FOV)은 카메라의 시야각보다 작을 수 있다. 후술하겠지만, 이러한 경우 라이다 데이터가 획득되지 않은 라이다의 시야각 밖의 라이다 데이터는 카메라로부터 획득된 이미지를 이용하여 추정될 수 있다.
도 6 및 도 7은 일 실시예에 따른 센서 모듈의 설치 위치에 관한 도면이다. 도 6 및 도 7을 참고하면, 센서 모듈(100)은 항만 또는 육지와 같이 고정된 위치에 설치되거나, 선박 등과 같이 이동하는 물체에 설치될 수 있다. 여기서, 센서 모듈(100)이 선박에 설치되는 경우, 도 7과 같이 모니터링의 대상이 되는 선박(이하 "타겟 선박"이라 함)에 설치될 수 있고, 도 6과 같이 타겟 선박의 접안 또는 이안을 보조하는 예인선 등 모니터링의 대상이 아닌 제3의 선박에 설치될 수도 있다. 이 외에도, 센서 모듈은 드론 등에 설치되어 타겟 선박을 모니터링할 수 있다.
모니터링 장치의 다른 구성 요소는 센서 모듈과 함께 또는 이와 별도의 장소에 설치될 수 있다.
전술한 바와 같이 이미지 기반 모니터링을 위한 이미지 분석은 오브젝트 특성을 획득하는 것을 포함할 수 있다. 오브젝트의 예로는 선박, 항만, 부표, 바다, 지형, 하늘, 건물, 사람, 동물, 불, 연기 등이 있을 수 있다. 오브젝트 특성의 예로는 오브젝트의 종류, 오브젝트의 위치, 오브젝트까지의 거리, 오브젝트의 절대적 및 상대적인 속력 및 속도 등이 있을 수 있다.
이미지 기반 모니터링을 위한 이미지 분석은 주변 상황을 인식/판단하는 것을 포함할 수 있다. 예를 들어, 이미지 분석은 항만에 불이 난 이미지로부터 화재 상황이 발생한 것을 판단하거나, 예정되지 않은 시간에 항만에 들어온 사람이 촬상된 이미지로부터 침입자가 들어온 것을 판단하는 것일 수 있다. 다른 예를 들어, 이미지 분석은 연기가 존재하는 이미지로부터 화재를 감지하는 것을 포함할 수 있다.
이미지 기반 모니터링을 위한 이미지 분석은 제어 모듈이나 각 모듈에 포함된 제어부를 통해 수행될 수 있다.
이하에서는 항만 및 선박 모니터링의 각 단계 및 구성에 대해 보다 구체적으로 살펴본다.
전술한 바와 같이, 모니터링 방법은 항만 이미지 획득 단계를 포함할 수 있고, 항만 이미지 획득 단계는 모니터링 장치가 항만 이미지를 획득하는 단계를 의미할 수 있다. 항만 이미지는 모니터링 장치에 포함된 이미지 생성 유닛에 의해 생성될 수 있다. 또는, 모니터링 장치는 외부로부터 항만 이미지를 수신할 수 있다. 여기서, 이미지의 종류는 RGB 이미지, IR 이미지, depth 이미지, 라이다(lidar) 이미지, 레이더(radar) 이미지 등 다양할 수 있고 제한이 있는 것은 아니다. 또한, 2차원 이미지뿐만 아니라 3차원 이미지 등도 가능하다.
장치는 오브젝트를 인식할 수 있다. 예를 들어, 장치는 이미지에 포함된 오브젝트를 인식할 수 있다. 일 예로, 장치는 이미지에 선박, 예인선, 바다, 항만 등의 오브젝트가 포함되어 있는지 여부를 판단할 수 있다. 여기서, 오브젝트 인식은 이미지의 어떤 위치에 오브젝트가 존재하는지를 판단하는 것일 수 있다.
도 8 및 도 9는 일 실시예에 따른 오브젝트 인식의 일 예에 관한 도면이다.
도 8은 카메라가 촬상한 이미지이고, 오브젝트 인식을 통해 도 9와 같이 오브젝트를 인식할 수 있다.
구체적으로, 도 9는 이미지 세그멘테이션(segmentation)에 기초하여 생성된 세그멘테이션 이미지(또는 세그멘테이션 이미지를 시각화한 이미지)로, 이미지의 각 픽셀 별로 해당 픽셀이 어떠한 오브젝트에 대응되는지를 나타낸 것이다. 이 경우 오브젝트 인식 단계는 세그멘테이션 단계를 의미할 수 있을 것이다.
세그멘테이션이란 이미지의 픽셀 별로 각 픽셀에 대응되는 특성(characteristic)이나 속성(attribute)을 할당/라벨링(labelling)/매칭(matching)하는 것을 의미할 수 있다. 예를 들어, 세그멘테이션을 수행하여 원본 이미지로부터 세그멘테이션 이미지를 생성하는 경우, 세그멘테이션 이미지의 각 픽셀은 원본 이미지상의 대응되는 픽셀의 특성/속성이 반영된 식별값이 할당되어 있다고 볼 수 있다. 그 결과, 세그멘테이션 이미지는 식별값이 할당된 매트릭스의 형태로 볼 수도 있다. 특성/속성의 예로는 해당 픽셀에 대응되는 오브젝트의 종류, 위치, 좌표, 거리, 방향, 속도 등에 관한 정보가 있으나 이에 한정되는 것은 아니다.
도 8 및 도 9를 참고하면, 도 8의 카메라로 촬상된 이미지에 기초한 세그멘테이션을 수행하여 도 9와 같은 세그멘테이션 이미지를 획득할 수 있다. 도 9에서, 제1 픽셀 영역(P1)은 선박에 대응되는 픽셀의 이미지상의 영역이고, 제2 픽셀 영역(P2)은 물(예를 들어, 바다, 강, 호수 등), 제3 픽셀 영역(P3)은 항만의 안벽, 제4 픽셀 영역(P4)은 지형(예를 들어, 산, 육지 등), 제5 픽셀 영역(P5)은 하늘에 대응되는 픽셀의 이미지상의 영역이다. 세그멘테이션 이미지의 서로 다른 픽셀 영역은 서로 다른 식별값이 할당되어 있을 수 있다. 예를 들어, 제1 픽셀 영역(P1)에는 선박에 대응되는 식별값이 할당되고 제2 픽셀 영역(P2)에는 물에 대응되는 식별값이 할당될 수 있고, 다른 픽셀 영역 또한 마찬가지일 수 있다.
도 9에서는 세그멘테이션을 수행하여 이미지상의 각 픽셀에 대응되는 오브젝트의 종류에 대한 정보를 산출하는 것을 도시하였으나, 세그멘테이션을 통해 획득할 수 있는 정보가 이에 한정되는 것은 아니다. 예를 들어, 오브젝트의 위치, 좌표, 거리, 방향 등의 특성 또한 세그멘테이션을 통해 획득할 수 있을 것이다. 이 경우 서로 다른 특성/속성은 별도의 식별값으로 할당되는 등 독립적으로 표현될 수도 있고, 하나의 식별값으로 할당되는 등 동시에 반영되어 표현될 수도 있다.
도 10은 일 실시예에 따른 오브젝트의 종류 및 거리에 대한 정보를 동시에 반영한 라벨링에 관한 표이다. 도 10을 참고하면, 오브젝트의 종류 및 거리에 대한 정보를 함께 고려하여 클래스를 설정하고, 각 클래스 별로 식별값을 할당할 수 있다. 예를 들어, 오브젝트의 종류에 대한 정보인 지형과 거리에 대한 정보인 근거리를 함께 고려하여 2번 식별값을 할당할 수 있다. 도 10은 종류에 대한 정보와 거리에 대한 정보를 함께 고려한 경우의 일 예이고, 이 외에 방향 정보, 장애물 이동 방향, 속도, 항로 표지 등 다른 정보 또한 함께 고려될 수 있다. 또한, 모든 식별값이 복수의 정보를 포함해야 하는 것은 아니고, 같은 종류의 정보를 포함해야 하는 것도 아니다. 예를 들어, 특정 식별값은 종류에 대한 정보만 포함하고(예를 들어, 식별값 1은 거리에 대한 정보를 포함하지 않음) 다른 식별값은 종류 및 거리에 대한 정보를 포함하는 등 경우에 따라 다양한 방식으로 표현될 수 있다. 다른 예를 들어, 클래스는 예인선, 밧줄, 선박의 측면 및 갑판 등 다른 클래스가 추가되거나 다른 클래스로 수정되어도 무방하다.
도 11은 일 실시예에 따른 오브젝트 인식의 다른 예에 관한 도면이다.
구체적으로, 도 11은 이미지의 어떤 위치에 오브젝트가 존재하는지를 바운딩 박스(bounding box)로 표시한 것으로, 디텍션(detection)이라고도 한다. 이 경우 오브젝트 인식 단계는 디텍션 단계를 의미할 수 있을 것이다. 세그멘테이션과 비교하면, 디텍션은 이미지의 각 픽셀 별로 특성을 산출하는 것이 아닌 오브젝트가 어느 위치에 포함되어 있는지를 박스 형태로 검출하는 것으로 볼 수 있다. 도 8 및 도 11을 참고하면, 도 8의 카메라로 촬상된 이미지에 기초한 디텍션을 수행하여 도 11과 같은 디텍션 이미지를 획득할 수 있다. 도 11에서, 이미지상에서 선박을 검출하고 선박의 위치를 사각형의 바운딩 박스(BB)로 표현한 것을 볼 수 있다. 도 11에는 하나의 오브젝트만을 디텍션하는 것으로 도시하였으나, 하나의 이미지로부터 2 이상의 오브젝트를 디텍션할 수도 있다.
세그멘테이션 및 디텍션은 인공 신경망을 이용하여 수행될 수 있다. 하나의 인공 신경망을 통해 세그멘테이션/디텍션을 수행할 수도 있고, 복수의 인공 신경망을 이용하여 각각의 인공 신경망이 세그멘테이션/디텍션을 수행하고 이 결과를 조합하여 최종 결과를 산출할 수도 있다.
인공 신경망이란 인간의 신경망 구조를 본떠 만든 알고리즘의 일종으로, 하나 이상의 노드 또는 뉴런(neuron)을 포함하는 하나 이상의 레이어를 포함할 수 있고 각각의 노드는 시냅스(synapse)를 통해 연결될 수 있다. 인공 신경망에 입력된 데이터(입력 데이터)는 시냅스를 통해 노드를 거쳐 출력(출력 데이터)될 수 있고, 이를 통해 정보를 획득할 수 있다.
인공 신경망의 종류로는 필터를 이용해 특징을 추출하는 합성곱신경망(convolution neural network, CNN) 및 노드의 출력이 다시 입력으로 피드백 되는 구조를 갖는 순환인공신경망(recurrent neural network, RNN)이 있고, 제한된 볼츠만 머신(restricted Boltzmann machine, RBM), 심층신뢰신경망(deep belief network, DBN), 생성대립신경망(generative adversarial network, GAN), 관계형 네트워크(relation networks, RN) 등 다양한 구조가 적용될 수 있고 제한이 있는 것은 아니다.
인공 신경망을 이용하기 전에 학습시키는 단계가 필요하다. 또는, 인공 신경망을 이용하며 학습시킬 수 있다. 이하에서는 인공신경망을 학습시키는 단계를 학습 단계, 이용하는 단계를 추론 단계로 표현하기로 한다.
인공 신경망은 지도 학습(supervised learning), 비지도 학습(unsupervised learning), 강화 학습(reinforcement learning), 모방 학습(imitation learning) 등 다양한 방법을 통해 학습될 수 있다.
도 12 및 도 13은 일 실시예에 따른 인공 신경망의 학습 단계 및 추론 단계에 관한 도면이다.
도 12는 인공 신경망의 학습 단계의 일 실시예로, 학습되지 않은 인공 신경망이 학습 데이터 또는 훈련 데이터(training data)를 입력 받아 출력 데이터를 출력하고, 출력 데이터와 라벨링 데이터(labelling data)를 비교하여 그 오차의 역전파를 통해 인공 신경망을 학습시킬 수 있다. 학습 데이터, 출력 데이터, 라벨링 데이터는 이미지일 수 있다. 라벨링 데이터는 실측 자료(ground truth)를 포함할 수 있다. 또는, 라벨링 데이터는 사용자 또는 프로그램을 통하여 생성된 자료일 수 있다.
도 13은 인공 신경망의 추론 단계의 일 실시예로, 학습된 인공 신경망이 입력 데이터를 입력 받아 출력 데이터를 출력할 수 있다. 학습 단계에서의 학습 데이터의 정보에 따라 추론 단계에서 추론 가능한 정보가 달라질 수 있다. 또한, 인공 신경망의 학습 정도에 따라 출력 데이터의 정확성이 달라질 수 있다.
오브젝트의 인식은 상술한 기재에 한정되지 않고 다른 방식으로 구현되어도 무방하다. 예를 들어, 설명의 편의를 위해 오브젝트의 인식에 식별값이 사용되는 것으로 설명하였으나, 식별값은 인덱스의 하나의 종류로 사용되는 것에 불과하다. 일 예로, 오브젝트의 인식에는 값이 아닌 벡터 형태의 인덱스가 사용될 수 있고, 인공 신경망의 학습 데이터, 출력 데이터, 라벨링 데이터는 벡터 형태의 데이터일 수 있다.
전술한 바와 같이, 모니터링 방법은 접안 가이드 정보 획득 단계를 포함할 수 있다. 접안 가이드 정보 획득 단계는 모니터링 장치가 세그멘테이션/디텍션 이미지에 기초하여 접안 가이드 정보를 획득하는 단계를 의미할 수 있으나 모니터링 방법은 세그멘테이션/디텍션 이미지 생성 단계를 반드시 포함해야 하는 것은 아니며 항만 이미지로부터 바로 접안 가이드 정보를 획득할 수도 있을 것이다.
일 실시예에 따르면, 장치는 선박에 대한 접안 가이드 정보를 제공할 수 있다. 접안 가이드 정보는 선박의 접안에 이용될 수 있고 도선사나 선장 등 사용자의 접안을 보조하거나 가이드하기 위한 정보를 의미할 수 있다. 접안 가이드 정보는 거리/속도에 대한 정보를 포함할 수 있다. 거리/속도에 대한 정보의 예로는 좌표와 같은 절대적 위치, 특정 기준으로부터의 상대적 위치, 임의의 지점으로부터의 거리, 거리 범위, 방향, 절대적 속도, 상대적 속도, 속력 등이 있으나 이에 한정되는 것은 아니다.
거리/속도에 대한 정보는 소정의 영역이나 포인트를 기준으로 추정될 수 있다. 일 예로, 선박과 안벽 사이의 거리는 선박의 일 포인트와 안벽의 일 포인트 사이의 거리를 산출함으로써 추정되거나, 선박의 일 포인트와 안벽과의 최단 거리를 산출함으로써 추정될 수 있다. 다른 예로, 선박 사이의 간격은 제1 선박의 일 포인트와 제2 선박의 일 포인트 사이의 거리를 산출함으로써 추정될 수 있다. 선박의 일 포인트는 바다와 접하는 선박의 일 지점에 대응되거나 선박의 선수 또는 선미에 대응될 수 있지만, 이에 한정되는 것은 아니다.
거리/속도에 대한 정보는 소정의 거리값, 방향값 및 속도값 등으로 표현될 수 있다. 예를 들어, 거리 정보는 1m, 2m 등으로 표현될 수 있고, 방향 정보는 10°, 20° 등으로 표현될 수 있고, 속도 정보는 5cm/s, 10cm/s 등으로 표현될 수 있다.
거리/속도에 대한 정보는 일정 범위를 갖는 복수의 카테고리에 대응되는 인덱스(index)로 표현될 수 있다. 예를 들어, 거리 정보는 근거리, 중거리 및 원거리 등으로 표현될 수 있고, 방향 정보는 좌측 방향, 정면 방향 및 우측 방향 등으로 표현될 수 있고, 속도 정보는 저속, 중속, 고속 등으로 표현될 수 있다. 이를 조합하여 좌측 근거리, 우측 원거리 등으로 표현하는 것도 가능할 것이다.
도 14 및 도 15는 일 실시예에 따른 접안 가이드 정보를 설명하기 위한 도면이다. 도 14를 참고하면, 접안 가이드 정보는 선박(OBJ1)과 안벽(OBJ2) 사이의 접안 가이드 정보(f1, f2) 및 선박(OBJ1)과 다른 선박(OBJ3, OBJ4) 사이의 접안 가이드 정보(f3, f4)를 포함할 수 있다. 구체적으로, 선박(OBJ1)과 안벽(OBJ2) 사이의 접안 가이드 정보(f1, f2)는 선박(OBJ1)의 안벽(OBJ2)과의 거리/속도에 대한 정보를 포함할 수 있고, 선박(OBJ1)과 다른 선박(OBJ3, OBJ4) 사이의 접안 가이드 정보(f3, f4)는 선박(OBJ1)의 다른 선박(OBJ3, OBJ4)과의 거리/속도에 대한 정보를 포함할 수 있다. 도 15를 참고하면, 선박(OBJ1)과 안벽(OBJ2) 사이의 접안 가이드 정보(f1, f2)는 선박(OBJ1)의 해수면과 접하는 영역에 대응되는 영역인 경계 영역과 안벽(OBJ2) 사이의 정보일 수 있다. 경계 영역은 선박과 해수면이 접하는 라인 또는 포인트뿐만 아니라 그 근방의 일정 영역을 포함할 수 있다. 또한, 선박(OBJ1)과 다른 선박(OBJ3, OBJ4) 사이의 접안 가이드 정보는 선박(OBJ1, OBJ3, OBJ4)의 선수/선미에 대응되는 소정의 영역 사이의 정보일 수 있고, 여기서 상기 소정의 영역은 선박(OBJ1, OBJ3, OBJ4)의 선수/선미 포인트뿐만 아니라 그 근방의 일정 영역을 의미할 수도 있다.
선박(OBJ1)과 안벽(OBJ2) 사이의 접안 가이드 정보(f1, f2)는 도 14 및 도 15에 도시된 바와 같이 두 개의 접안 가이드 정보를 포함할 수 있지만 이에 한정되는 것은 아니고 하나의 접안 가이드 정보 또는 셋 이상의 접안 가이드 정보를 포함할 수 있다. 또한, 선박(OBJ1)과 다른 선박(OBJ3, OBJ4) 사이의 접안 가이드 정보(f3, f4)는 도 14 및 도 15에 도시된 바와 같이 두 선박 사이에 하나의 접안 가이드 정보를 포함할 수 있지만 이에 한정되는 것은 아니고 두 선박 사이에 둘 이상의 접안 가이드 정보를 포함할 수 있다. 전술한 정보는 선박의 이안에 이용되는 경우 이안 가이드 정보라 지칭될 수도 있을 것이다.
도 16은 일 실시예에 따른 선박과 안벽 사이의 접안 가이드 정보를 설명하기 위한 도면이다.
상기 접안 가이드 정보는 해수면 높이/해수면 상에서의 정보일 수 있다. 예를 들어, 접안 가이드 정보(f5)는 해수면 높이에서의 선박(OBJ1)과 안벽(OBJ2) 사이의 거리/속도에 대한 정보를 포함할 수 있다.
상기 접안 가이드 정보는 지면 높이(또는 안벽 높이)에서의 정보일 수 있다. 예를 들어, 접안 가이드 정보(f6)는 안벽(OBJ2) 높이에서의 선박(OBJ1)과 안벽(OBJ2) 사이의 거리/속도에 대한 정보를 포함할 수 있다.
상기 접안 가이드 정보는 소정의 높이에서의 정보일 수 있다. 여기서, 소정의 높이는 도 16에 도시된 접안 가이드 정보(f7)와 같이 해수면 높이와 안벽 높이 사이일 수 있으나 이에 한정되는 것은 아니다.
선박과 안벽 사이의 접안 가이드 정보는 선박(OBJ1)과 안벽(OBJ2)에 설치된 방충재(fender, OBJ6) 사이의 정보(f8)일 수 있다. 선박(OBJ1)은 접안 시 방충재(OBJ6)와 충돌하거나 정박 시 방충재(OBJ6)와 접하므로 선박(OBJ1)과 방충재(OBJ6) 사이의 거리/속도에 대한 정보(f8)를 획득하는 것이 유리할 수 있다. 도 16에서는 방충재(OBJ6)가 해수면보다 높은 위치에 설치된 것으로 도시되었으나, 방충재(OBJ6)의 적어도 일부가 바다(OBJ5)에 잠기도록 설치될 수 있고, 이 경우 접안 가이드 정보는 해수면 높이에서의 선박과 방충재 사이의 거리/속도에 대한 정보를 포함할 수 있을 것이다.
선박과 다른 선박 사이의 접안 가이드 정보는 해수면 높이에서의 선박과 다른 선박 사이의 거리/속도에 대한 정보를 포함할 수 있다. 선박과 다른 선박 사이의 접안 가이드 정보는 소정의 높이에서의 선박과 다른 선박 사이의 거리/속도에 대한 정보를 포함할 수 있다. 여기서, 소정의 높이는 선체의 형태를 고려하여 결정될 수 있다. 예를 들어, 소정의 높이는 선박이 다른 선박 방향으로 돌출된 영역의 높이일 수 있다. 이 경우 선박 사이의 충돌 가능성을 보다 정확히 파악하여 접안 가이드에 유리할 수 있다.
일 실시예에 따르면, 장치는 접안 가이드 정보를 라이다 데이터에 기초하여 산출할 수 있다. 예를 들어, 장치는 획득된 라이다 데이터에 포함된 라이다 포인트들의 3차원 좌표를 이용하여 오브젝트와의 거리/속도를 산출할 수 있다. 오브젝트의 예로는 선박, 바다 및 육지, 항만, 안벽, 부표, 지형, 하늘, 건물, 사람, 동물 등이 있을 수 있다.
일 실시예에 따르면, 접안 가이드 정보는 이미지에 기초하여 산출될 수 있다. 여기서, 이미지는 카메라와 같은 이미지 생성 유닛이 생성한 이미지이거나 이로부터 이미지 세그멘테이션 등을 통해 처리된 이미지일 수 있다. 예를 들어, 오브젝트로써 선박, 바다 및 육지를 포함하는 이미지에 기초하여 선박의 거리/속도에 대한 정보를 산출하거나 상기 이미지로부터 세그멘테이션을 통해 생성된 세그멘테이션 이미지에 기초하여 선박의 거리/속도에 대한 정보를 산출할 수 있다. 오브젝트의 예로는 선박, 바다 및 육지 외에 항만, 안벽, 부표, 지형, 하늘, 건물, 사람, 동물 등이 있을 수 있다.
이하에서는 접안 가이드 정보를 추정하는 오브젝트를 타겟 오브젝트라 한다. 예를 들어, 위의 예에서는 선박이 타겟 오브젝트일 수 있다. 또한, 타겟 오브젝트는 복수일 수 있다. 예를 들어, 이미지에 포함된 복수의 선박 각각에 대해 그 거리나 속도 등을 추정하는 경우 복수의 선박이 타겟 오브젝트일 수 있다.
일 실시예에 따르면, 접안 가이드 정보는 이미지 픽셀을 기반으로 산출될 수 있다. 전술한 바와 같이 포인트를 기준으로 접안 가이드 정보를 산출하는 경우, 이미지 상에서 포인트는 픽셀에 대응될 수 있다. 따라서, 접안 가이드 정보는 이미지 픽셀 사이의 간격에 기초하여 산출될 수 있다.
포인트 사이의 거리에 대한 정보는 픽셀 사이의 간격에 기초하여 산출될 수 있다. 일 예로, 하나의 픽셀 간격마다 일정 거리를 할당하고 픽셀 사이의 간격에 비례하여 포인트 사이의 거리를 산출할 수 있다. 다른 예로, 픽셀의 이미지상에서의 좌표값을 바탕으로 픽셀 사이의 거리를 산출하고 이에 기초하여 포인트 사이의 거리를 산출할 수 있다.
포인트 사이의 속도에 대한 정보는 포인트 사이의 거리에 대한 정보의 변화에 기초하여 산출될 수 있다. 이 경우 복수의 이미지 또는 영상 프레임에 기초하여 이동 정보를 산출할 수 있다. 예를 들어, 이전 프레임에서의 포인트 사이의 거리와 현재 프레임에서의 포인트 사이의 거리 및 프레임 사이의 시간 간격에 기초하여 포인트 사이의 속도에 대한 정보를 산출할 수 있다.
도 17은 일 실시예에 따른 접안 가이드 정보를 획득하는 방법을 설명하기 위한 도면이다. 접안 가이드 정보를 획득하는 단계는 카메라 등 이미지 생성 유닛이 생성한 이미지를 획득하는 단계(1), 상기 이미지에 대해 이미지 세그멘테이션을 수행하여 세그멘테이션 이미지(또는 세그멘테이션 이미지를 시각화한 이미지)를 생성하는 단계(2), 상기 세그멘테이션 이미지에 기초하여 접안 가이드 정보를 산출하는 포인트(PO1, PO2, PO3, PO4)를 찾는 단계(3) 및 상기 포인트에 대응되는 접안 가이드 정보(f1, f2, f3, f4)를 산출하는 단계(4)를 포함할 수 있다. 도 17에서는 세그멘테이션 이미지로부터 접안 가이드 정보를 산출하는 방법에 대해 기재하였으나 이는 실시예에 불과하고 세그멘테이션 이미지를 생성하는 단계 없이 이미지 생성 유닛이 생성한 이미지에 기초하여 포인트를 찾고 접안 가이드 정보를 산출할 수도 있을 것이다.
접안 가이드 정보를 획득하는 단계는 이미지의 시점을 변환하는 단계를 포함할 수 있다. 예를 들어, 접안 가이드 정보를 획득하는 단계는 이미지 생성 유닛이 생성한 이미지를 획득하는 단계 이후에 상기 이미지에 대해 시점 변환을 수행하는 단계를 거쳐 시점 변환된 이미지에 대해 세그멘테이션을 수행하여 세그멘테이션 이미지를 생성하거나, 세그멘테이션 이미지를 생성하는 단계 이후에 상기 세그멘테이션 이미지에 대해 시점 변환을 수행하는 단계를 거쳐 시점 변환된 세그멘테이션 이미지에 대해 접안 가이드 정보를 산출할 수 있다. 이하에서는 시점 변환에 대해 설명한다.
일반적으로 카메라 등 이미지 생성 유닛이 생성하는 이미지는 원근 시점(perspective view)로 나타날 수 있다. 이를 탑 뷰(top view, 평면 시점), 측면 시점(side view), 다른 원근 시점 등으로 변환하는 것을 시점 변환이라 할 수 있다. 물론, 탑 뷰나 측면 시점 이미지를 다른 시점으로 변환할 수도 있으며, 이미지 생성 유닛이 탑 뷰 이미지나 측면 시점 이미지 등을 생성할 수도 있고 이 경우 시점 변환이 수행될 필요가 없을 수도 있다.
도 18 및 도 19는 일 실시예에 따른 시점 변환에 관한 도면이다. 도 18을 참고하면, 원근 시점 이미지의 시점 변환을 통해 다른 원근 시점 이미지를 획득할 수 있다. 여기서, 안벽(OBJ2)이 이미지 상에서 수평 방향(이미지 상에서 좌우 방향)을 따라 위치하도록 시점 변환을 수행할 수 있다. 도 19를 참고하면, 원근 시점 이미지의 시점 변환을 통해 탑 뷰 이미지를 획득할 수 있다. 여기서, 탑 뷰 이미지는 해수면과 수직한 방향에서 해수면을 내려다 본 뷰일 수 있다. 또한, 도 18과 마찬가지로 안벽(OBJ2)이 이미지 상에서 수평 방향을 따라 위치하도록 시점 변환을 수행할 수 있다.
시점 변환을 통해 접안 가이드 정보 산출 시 용이성, 편의성 및 정확성 향상을 도모할 수 있다. 예를 들어, 픽셀 기반 거리 산출의 경우 탑 뷰 이미지를 이용하면 픽셀 사이의 간격에 대응되는 거리가 이미지 전체 또는 적어도 일부 영역에 대해 동일해질 수 있다.
시점 변환의 일 예로 역투영 변환(Inverse Projective Mapping, IPM)을 수행할 수 있다. 2차원 이미지는 3차원 공간 상의 피사체에서 반사된 빛이 카메라의 렌즈를 통해 이미지 센서에 입사되어 생성되고, 2차원과 3차원의 관계는 이미지 센서와 렌즈에 의존하며, 예를 들어 식 1과 같이 표현될 수 있다.
[식 1]
Figure PCTKR2021000038-appb-I000001
여기서, 좌변의 행렬은 2차원 이미지 좌표, 우변의 첫 번째 행렬은 내부 파라미터(intrinsic parameter), 두 번째 행렬은 외부 파라미터(extrinsic parameter), 세 번째 행렬은 3차원 좌표를 의미한다. 구체적으로, fx 및 fy는 초점 거리(focal length), cx 및 cy는 주점(principal point), r 및 t는 각각 회전 및 평행이동 변환 파라미터를 의미한다.
2차원 이미지를 역투영 변환을 통해 3차원 상의 임의의 평면에 투영시켜 그 시점을 변경시킬 수 있다. 예를 들어, 원근 시점 이미지를 역투영 변환을 통해 탑 뷰 이미지로 변환하거나, 다른 원근 시점 이미지로 변환할 수 있다.
시점 변환을 위해서 내부 파라미터가 필요할 수 있다. 내부 파라미터를 구하는 방법의 일 예로 Zhang 방법을 이용할 수 있다. Zhang 방법은 다항식 모델(polynomial model)의 일종으로 격자의 크기를 알고 있는 격자판을 다양한 각도와 거리에서 촬영하여 내부 파라미터를 획득하는 방법이다.
시점 변환을 위해서 이미지를 촬상한 이미지 생성 유닛/센서 모듈의 위치 및/또는 자세에 대한 정보가 필요할 수 있다. 이러한 정보는 위치 측정 유닛 및 자세 측정 유닛으로부터 획득될 수 있다.
또는, 이미지에 포함된 고정체의 위치에 기초하여 위치 및/또는 자세에 대한 정보를 획득할 수 있다. 예를 들어, 제1 시점에 이미지 생성 유닛은 제1 위치 및/또는 제1 자세로 배치되고, 지형이나 건물 등과 같이 고정된 객체인 타겟 고정체를 포함하는 제1 이미지를 생성할 수 있다. 이 후, 제2 시점에 이미지 생성 유닛은 상기 타겟 고정체를 포함하는 제2 이미지를 생성할 수 있다. 제1 이미지 상에서의 타겟 고정체의 위치 및 제2 이미지 상에서의 타겟 고정체의 위치를 비교하여 제2 시점에서의 이미지 생성 유닛의 위치 및/또는 자세인 제2 위치 및/또는 제2 자세를 산출할 수 있다.
시점 변환을 위한 위치 및/또는 자세에 대한 정보의 획득은 미리 정해진 시간 간격으로 수행될 수 있다. 여기서, 상기 시간 간격은 이미지 생성 유닛/센서 모듈의 설치 위치에 의존할 수 있다. 예를 들어, 이미지 생성 유닛/센서 모듈이 선박 등 이동체에 설치된 경우 짧은 시간 간격마다 위치 및/또는 자세에 대한 정보가 획득되어야 할 필요성이 존재할 수 있다. 반면, 이미지 생성 유닛/센서 모듈이 항만 등 고정체에 설치된 경우 상대적으로 긴 시간 간격으로 위치 및/또는 자세에 대한 정보를 획득하거나 초기에 한 번만 획득할 수도 있다. 크레인과 같이 이동과 고정이 반복되는 경우, 이동 후에만 위치 및/또는 자세에 대한 정보를 획득하는 방식으로 구현될 수도 있을 것이다. 또한, 이러한 위치 및/또는 자세에 대한 정보 획득을 위한 시간 간격은 변경될 수도 있다.
장치는 기준 평면에 기초하여 이미지를 시점 변환할 수 있다. 예를 들어, 장치는 안벽이 위치하고, 해수면과 평행인 평면을 기준 평면으로 이미지를 시점 변환할 수 있다. 여기서, 기준 평면은 산출되는 해수면 높이에 의존할 수 있다. 물론, 장치는 상술한 기재에 한정되지 않으며, 해수면, 안벽이 위치한 평면 외의 선박의 일부분(일예로 갑판 높이의 기준 평면) 등 다른 평면을 기준 평면으로 이미지를 시점 변환해도 무방하다.
또한, 전술한 시점 변환 방법은 예시에 불과하고 이와 다른 방법으로 시점 변환을 수행할 수도 있으며, 시점 변환 정보는 전술한 식 1의 행렬, 파라미터, 좌표, 위치 및/또는 자세에 대한 정보 등 시점 변환을 위해 필요한 정보를 포함한다.
접안 가이드 정보는 해수면의 높이를 반영하는 해수면 높이 정보를 고려하여 산출될 수 있다. 장치는 해수면 높이를 고려하여 선박 또는 항만을 모니터링할 수 있다.
본 명세서에서, 해수면 높이 정보는 해수면의 높이와 관련된 정보로, 절대적인 해수면의 높이뿐만 아니라 해수면과 지면 사이의 거리, 해수면과 안벽 사이의 거리, 해수면과 모니터링 장치(예를 들어, 이미지 생성 유닛) 사이의 거리, 해수면 위로 노출된 오브젝트의 길이 등 해수면의 높이 변화에 따라 달라질 수 있는 다양한 정보를 의미한다.
도 20 내지 도 29는 일 실시예에 따른 해수면 높이 정보를 고려한 접안 가이드 정보 획득을 설명하기 위한 도면으로, 도 20 및 도 21은 시점 변환 단계를 포함하지 않는 경우, 도 22 내지 도 29는 시점 변환 단계를 포함하는 경우를 설명하기 위한 도면이다.
도 20을 참고하면, 일 실시예에 따른 접안 가이드 정보 획득 단계는 세그멘테이션 이미지 생성 단계(S200)에서 생성된 세그멘테이션 이미지를 해수면 높이 정보를 고려하여 보정하는 단계(S331) 및 보정된 세그멘테이션 이미지에 기초하여 접안 가이드 정보를 산출하는 단계(S332)를 포함할 수 있다. 도 21을 참고하면, 일 실시예에 따른 접안 가이드 정보 획득 단계는 세그멘테이션 이미지에 기초하여 접안 가이드 정보를 산출(S341)하는 단계 및 산출된 접안 가이드 정보를 해수면 높이 정보를 고려하여 보정(S342)하는 단계를 포함할 수 있다.
도 22를 참고하면, 일 실시예에 따른 접안 가이드 정보 획득 단계는 세그멘테이션 이미지 생성 단계(S200)에서 생성된 세그멘테이션 이미지를 해수면 높이 정보를 고려하여 시점 변환하는 단계(S301) 및 변환된 세그멘테이션 이미지에 기초하여 접안 가이드 정보를 산출(S302)하는 단계를 포함할 수 있다. 시점 변환 단계에서는 기준 평면/기준 높이의 설정에 따라 변환된 이미지가 달라질 수 있다. 도 23 내지 도 25는 서로 다른 기준 평면/기준 높이에서의 시점 변환에 관한 도면으로, 동일한 이미지라 하더라도 시점 변환의 기준에 따라 변환된 이미지는 상이할 수 있다. 예를 들어, 도 24 및 도 25의 왼쪽 이미지는 동일하나 시점 변환 시의 기준에 따라 변환된 이미지는 각각 도 24 및 도 25의 오른쪽 이미지처럼 안벽에 대한 선박의 상대적인 위치가 다른 것으로 나타날 수 있다. 이 경우 타겟 선박의 접안 가이드 정보 또한 달라지므로 정확한 접안 가이드 정보를 산출하기 위해서는 기준 평면/기준 높이의 설정이 중요할 수 있고, 이러한 기준 평면/기준 높이는 해수면 높이에 의존할 수 있다. 따라서 해수면 높이 정보를 고려하여 시점 변환을 수행하는 경우 접안 가이드 정보의 정확도가 증가할 수 있을 것이다.
도 23 내지 도 25에 도시된 바와 같이 기준 평면은 해수면과 평행한 평면일 수 있으나 이에 한정되는 것은 아니다.
해수면 높이 정보를 고려하기 위해 접안 가이드 정보를 산출할 때마다 시점 변환 정보를 해수면 높이 정보에 따라 업데이트하여 시점 변환을 수행할 수 있다. 또는, 시점 변환 정보는 일정 시간 간격에 따라 해수면 높이 정보를 반영하여 업데이트될 수 있다. 여기서, 시점 변환 정보의 모든 파라미터에 대해 업데이트해야하는 것은 아니고 그 중 일부 파라미터에 대해서만 업데이트할 수도 있을 것이다.
도 26을 참고하면, 일 실시예에 따른 접안 가이드 정보 획득 단계는 시점 변환 단계(S311)에서 생성된 변환 세그멘테이션 이미지를 해수면 높이 정보를 고려하여 보정하는 단계(S312) 및 보정된 변환 세그멘테이션 이미지에 기초하여 접안 가이드 정보를 산출하는 단계(S313)를 포함할 수 있다. 도 27 및 도 28은 일 실시예에 따른 해수면 높이/해수평면 상에서의 접안 가이드 정보 산출을 위한 이미지 보정에 관한 도면으로, 세그멘테이션 이미지를 기준 평면/기준 높이에 대해 시점 변환하고 변환된 세그멘테이션 이미지를 해수면 높이 정보를 고려하여 보정한 후 접안 가이드 정보를 산출하는 것이다. 해수면 높이와 기준 높이의 차이가 클수록 보정 전후의 이미지의 차이가 클 수 있을 것이다.
도 29를 참고하면, 일 실시예에 따른 접안 가이드 정보 획득 단계는 세그멘테이션 이미지의 시점을 변환하는 단계(S321), 변환된 세그멘테이션 이미지에 기초하여 접안 가이드 정보를 산출하는 단계(S322) 및 해수면 높이 정보를 고려하여 산출된 접안 가이드 정보를 보정하는 단계(S323)를 포함할 수 있다.
도 22, 도 26 및 도 29의 해수면 높이 정보 고려는 서로 병합되어 수행될 수 있다. 도 22, 도 26 및 도 29에서는 해수면 높이 정보를 각각 시점 변환 단계(S301), 변환 세그멘테이션 이미지 보정 단계(S312) 및 접안 가이드 정보 보정 단계(S323)에서만 고려한 것으로 도시하였으나, 해수면 높이 정보는 시점 변환 단계, 변환 세그멘테이션 이미지 보정 단계 및 접안 가이드 정보 보정 단계 중 적어도 하나의 단계 이상에서 고려될 수 있다. 예를 들어, 해수면 높이 정보를 고려하여 시점 변환 단계를 수행하고 이로부터 접안 가이드 정보를 산출한 후 해수면 높이 정보를 다시 고려하여 접안 가이드 정보를 보정하는 등 전술한 해수면 높이 정보 고려 방법이 다양하게 결합되어 이용될 수 있을 것이다.
도 20 내지 도 29에서는 세그멘테이션 이미지에 기초하여 접안 가이드 정보를 획득하는 것으로 설명하였으나 접안 가이드 정보 획득이 이에 한정되는 것은 아니고 세그멘테이션 이미지를 생성하지 않고 항만 이미지로부터 접안 가이드 정보를 획득할 수도 있다.
해수면 높이 정보를 고려하여 접안 가이드 정보를 산출하기 위해서는 그 전에 해수면 높이 정보 획득이 필요할 수 있다.
장치는 선박 및/또는 항만 모니터링을 위해 해수면 높이를 산출할 수 있다. 예를 들어, 장치는 획득한 센서 데이터로부터 해수면 높이를 산출할 수 있고, 산출된 해수면 높이를 선박 또는 항만의 모니터링을 위해 이용할 수 있다. 예를 들어, 장치는 카메라 이미지의 시점 변환 또는 역투영 변환 시, 해수면 높이를 투영 평면까지의 높이 정보로 사용할 수 있다. 다른 예를 들어, 장치는 카메라 이미지의 정합용 영상 변환 시, 해수면 높이를 변수로 사용할 수 있다. 또 다른 예를 들어, 장치는 라이다 데이터와 카메라 이미지를 융합 시, 해수면 높이를 데이터 변환의 변수로 사용할 수 있다.
도 30 내지 도 43은 일 실시예에 따른 해수면 높이 정보 획득의 예시들에 관한 도면으로, 이하에서는 도 30 내지 도 43에 기초하여 해수면 높이 정보 획득에 관한 다양한 실시예에 대해 설명하나, 해수면 높이 정보 획득 방법이 이에 한정되는 것은 아니다.
해수면 높이 정보는 해수면 위로 노출된 오브젝트의 특성(예를 들어, 길이, 면적 등)에 기초하여 획득될 수 있다. 일 예로, 도 30의 위를 참고하면, 해수면 높이 정보는 바다(OBJ5) 위로 노출된 안벽(OBJ2)의 노출 길이(h1)에 기초하여 산출될 수 있다. 노출 길이(h1)가 증가하는 경우 해수면 높이가 낮아지는 것으로, 감소하는 경우 해수면 높이가 높아지는 것으로 볼 수 있고, 노출 길이(h1)값을 측정하는 경우 해수면 높이가 증감하는 정도 또한 수치적으로 산출할 수 있을 것다. 다른 예로, 도 30의 가운데 및 아래를 참고하면, 해수면 높이 정보는 바다(OBJ5) 위로 노출된 오브젝트(OBJ9)의 노출 길이(h2, h3)에 기초하여 산출될 수 있다. 여기서, 해수면 높이 정보 산출을 위해 필요한 오브젝트(OBJ9)인 높이 측정 오브젝트(OBJ9)는 이를 위해 설치된 폴대 등의 오브젝트뿐만 아니라 해수면 높이 변화에 따라 바다 위로 노출되는 길이가 변하는 오브젝트라면 그 제한이 없다. 해수면 높이가 변화함에 따라 노출 길이가 h2에서 h3로 증가하거나 h3에서 h2로 감소하고, 이 길이를 측정하여 해수면 높이가 증감하는 정도를 산출할 수 있다.
높이 측정 오브젝트의 특성에 기초한 해수면 높이 정보는 이미지를 이용하여 획득될 수 있다. 이미지가 높이 측정 오브젝트를 포함하는 경우, 이를 분석하여 높이 측정 오브젝트의 길이 등의 특성을 획득할 수 있고 이에 기초하여 해수면 높이 정보를 산출할 수 있다.
예를 들어, 높이 측정 오브젝트에 대응되는 픽셀의 개수에 따라 해수면 높이 정보를 산출할 수 있다. 상기 픽셀의 개수가 증가하면 높이 측정 오브젝트가 해수면 위로 노출된 길이가 긴 것이므로 해수면 높이가 낮아지는 것으로 볼 수 있을 것이다. 여기서, 높이 측정 오브젝트에 대응되는 픽셀은 이미지 세그멘테이션을 통해 결정할 수 있으나 이에 한정되는 것은 아니다.
해수면 높이 정보는 안벽에 의해 폐색되어(occluded) 보이지 않는 바다에 대응되는 영역인 음영 영역에 기초하여 산출될 수 있다. 예를 들어, 이미지 생성 유닛이 안벽에 설치되어 바다를 향하도록 배치된 경우 안벽에 근접한 바다 영역은 안벽에 의해 가려져 이미지 생성 유닛에 의해 모니터링 될 수 없을 것이다. 이러한 음영 영역의 특성(예를 들어, 길이, 면적 등)에 기초하여 해수면 높이 정보를 획득할 수 있다.
도 31의 위는 해수면 높이가 상대적으로 높은 경우의 음영 영역(SA1)에 관한 도면이고, 아래는 해수면 높이가 상대적으로 낮은 경우의 음영 영역(SA2)에 관한 도면이다. 해수면 높이가 낮아짐에 따라 음영 영역의 면적이 증가하게 되고, 이를 측정하여 해수면 높이 정보를 산출할 수 있을 것이다.
해수면 높이 정보는 동일한 종류의 이미지 생성 유닛이 생성한 복수의 이미지에 기초하여 산출될 수 있다. 예를 들어, 해수면 높이 정보는 복수의 카메라가 생성한 복수의 이미지에 기초하여 산출되거나, 하나의 카메라가 생성한 복수의 이미지에 기초하여 산출될 수 있다.
해수면 높이 정보는 복수의 이미지 사이의 중첩되는 모니터링 영역인 오버랩 영역에 기초하여 산출될 수 있다. 예를 들어, 모니터링 장치가 복수의 센서 모듈/이미지 생성 유닛을 포함하는 경우 복수의 이미지를 획득할 수 있고, 상기 복수의 이미지 사이의 오버랩 영역의 면적 등의 특성에 기초하여 해수면 높이 정보를 획득할 수 있다. 또는, 하나의 센서 모듈/이미지 생성 유닛이 회전하는 등으로 인해 서로 다른 모니터링 영역을 갖는 복수의 이미지를 생성하는 경우 상기 복수의 이미지 사이의 오버랩 영역의 특성에 기초하여 해수면 높이 정보를 획득할 수 있다.
도 32를 참고하면, 2개의 카메라(OBJ7, OBJ8) 각각에 대응되는 모니터링 영역(MA1, MA2)이 존재하고, 카메라(OBJ7, OBJ8)의 설치 위치나 방향 등에 따라 오버랩 영역(OA)이 존재할 수 있다. 해수면 높이가 높아짐에 따라 오버랩 영역의 면적은 감소하고, 낮아짐에 따라 오버랩 영역의 면적은 증가할 수 있다. 따라서, 오버랩 영역의 면적을 측정함에 따라 해수면 높이 정보를 산출할 수 있다.
오버랩 영역은 특징점에 기초하여 결정될 수 있다. 예를 들어, 제1 이미지 및 제2 이미지로부터 특징점을 추출하고, 상기 특징점의 매칭을 통해 제1 이미지 및 제2 이미지의 오버랩 영역을 결정할 수 있다.
해수면 높이 정보는 서로 다른 종류의 이미지 생성 유닛이 생성한 복수의 이미지에 기초하여 산출될 수 있다. 예를 들어, 해수면 높이 정보는 카메라가 생성한 카메라 이미지 및 라이다가 생성한 라이다 이미지에 기초하여 산출되거나 카메라 이미지 및 레이더가 생성한 레이더 이미지에 기초하여 산출될 수 있으나 이에 한정되는 것은 아니다. 이하에서는 설명의 편의를 위해 서로 다른 종류의 이미지 생성 유닛이 생성한 이미지 각각을 제1 타입 이미지 및 제2 타입 이미지라 한다.
제1 타입 이미지 및 제2 타입 이미지 사이의 매칭을 통해 해수면 높이 정보를 산출할 수 있다. 예를 들어, 제1 타입 이미지 상의 하나 이상의 포인트의 위치/거리/높이 등을 제2 타입 이미지에 기초하여 획득하여 해수면 높이 정보를 산출할 수 있다.
구체적인 예로 제1 타입 이미지 및 제2 타입 이미지 각각이 카메라 이미지 및 라이다 이미지인 경우에 대해 살펴보면, 카메라 이미지 상의 하나 이상의 포인트의 위치/거리/높이 등을 라이다 이미지에 기초하여 획득한 후 카메라 이미지 상의 픽셀 개수 등 픽셀 정보와 융합하여 해수면 높이 정보를 산출할 수 있다. 예컨대, 라이다 이미지의 포인트 클라우드(point cloud) 중 특정 포인트에 대응되는 카메라 이미지 상의 픽셀을 찾고 상기 픽셀의 위치/거리/높이 등을 라이다 이미지에 기초하여 산출한 뒤 카메라 이미지 상에서 상기 픽셀과 해수면 사이의 픽셀 개수를 고려하여 해수면 높이 정보를 산출할 수 있다. 이 경우 상기 픽셀은 해수면보다 높이 위치하는 픽셀일 수 있다. 또한, 상기 카메라 이미지는 카메라가 촬상한 이미지 또는 이로부터 시점 변환 등을 통해 처리된 이미지일 수 있다.
도 33은 일 실시예에 따른 해수면 높이 산출 방법의 순서도이다.
도 33을 참고하면 일 실시예에 따른 해수면 높이 산출 방법은 센서 데이터를 획득하는 단계(S1000) 및 해수면 높이를 계산하는 단계(S2000)를 포함할 수 있다.
장치는 센서 데이터를 획득할 수 있다(S1000).
일 실시예에 따르면, 장치는 카메라로부터 이미지를 획득할 수 있다. 예를 들어, 장치는 바다 쪽을 향해 선석에 설치된 카메라로부터 이미지를 획득할 수 있다. 일 예로, 장치는 바다에 대한 이미지를 획득할 수 있고, 선박이 있는 경우에는 선박에 대한 이미지도 함께 획득할 수 있다.
일 실시예에 따르면, 장치는 라이다 센서로부터 라이다 데이터를 획득할 수 있다. 예를 들어, 장치는 바다 쪽을 향해 선석에 설치된 라이다 센서로부터 라이다 데이터를 획득할 수 있다. 일 예로, 장치는 바다에 대한 라이다 데이터를 획득할 수 있고, 선박이 선석에 진입하는 경우에는 선박에 대한 라이다 데이터도 함께 획득할 수 있다.
일 실시예에 따르면 라이다 센서는 이미지를 획득하는 카메라가 촬상하는 영역과 대응되는 영역에 대하여 라이다 데이터를 획득할 수 있다. 예를 들어, 라이다 센서는 이미지를 획득하는 카메라의 시야각과 적어도 부분적으로 오버랩되는 시야각을 가질 수 있다.
도 34는 일 실시예에 따른 센서 데이터의 획득의 일 예시이다. 도 34를 참고하면, 일 실시예에 따른 장치는 선석 주변에 설치된 라이다 및 카메라로부터 동일한 영역에 대한 센서 데이터를 획득할 수 있다. 예를 들어, 라이다 및 카메라는 선석을 향해 또는 선석을 바라보며 부두에 설치되어 선석이 위치하는 영역에 대한 데이터를 획득할 수 있다. 여기서, 라이다의 시야각은 카메라의 시야각과 적어도 부분적으로 오버랩될 수 있다.
도 34의 위를 참고하면, 장치는 바다에 대한 이미지를 획득할 수 있고, 선박이 있는 경우에는 선박에 대한 이미지도 함께 획득할 수 있다.
도 34의 아래를 참고하면, 장치는 바다에 대한 라이다 데이터를 획득할 수 있고, 선박이 선석에 진입하는 경우에는 선박에 대한 라이다 데이터도 함께 획득할 수 있다. 라이다 데이터는 라이다 센서에 의해 캡쳐된 복수의 라이다 포인트를 포함할 수 있다. 예를 들어, 라이다 데이터는 수직 또는 수평 채널별 복수의 라이다 포인트들을 포함할 수 있다.
장치는 획득한 라이다 데이터에서 선박 또는 바다에 대응하는 라이다 포인트들을 이용하여 선박 또는 바다 표면과의 거리를 알 수 있고, 이를 이용하여 해수면 높이를 계산할 수 있다.
장치는 해수면 높이를 계산할 수 있다(S2000).
장치는 획득한 센서 데이터를 이용하여 해수면 높이를 계산할 수 있다. 예를 들어, 장치는 바다 쪽을 향해 선석에 설치된 카메라 및 라이다 센서로부터 얻은 센서 데이터 중 적어도 하나를 이용하여 해수면 높이를 계산할 수 있다.
일 예로, 장치는 획득된 라이다 데이터에 포함된 라이다 포인트들의 3차원 좌표를 이용하여 바다 표면과의 거리를 구하고 이를 이용하여 해수면 높이를 계산할 수 있다. 장치는 바다 표면과의 거리와 라이다 센서의 설치 위치, 설치 각도 등을 고려하여 해수면의 높이를 계산할 수 있다. 다른 일 예로, 장치는 획득된 라이다 데이터에 포함된 라이다 포인트들의 3차원 좌표를 이용하여 바다 표면과 접하는 선박의 영역과의 거리를 구하고 이를 이용하여 해수면 높이를 계산할 수 있다. 장치는 바다 표면과 접하는 선박의 영역과의 거리와 라이다 센서의 설치 위치, 설치 각도 등을 고려하여 해수면의 높이를 계산할 수 있다.
다만, 비용 문제로 저성능의 라이다 센서가 선석에 설치되는 경우가 많아, 해상도가 떨어지는 라이다 데이터의 라이다 포인트들 중 어느 라이다 포인트가 바다 영역 또는 선박 영역인지 구별하기 어렵다는 문제가 있다. 이를 해결하기 위해 일 실시예에 따르면, 장치는 획득한 카메라 이미지 및 라이다 데이터를 정합하고, 이를 이용하여 해수면 높이를 계산할 수 있다.
도 35는 일 실시예에 따른 정합된 카메라 이미지 및 라이다 데이터를 이용한 해수면 높이 산출 방법의 순서도이다. 도 35를 참고하면, 일 실시예에 따른 정합된 카메라 이미지 및 라이다 데이터를 이용한 해수면 높이 산출 방법은 카메라 이미지 및 라이다 데이터를 정합하는 단계(S2010) 및 정합된 카메라 이미지 및 라이다 데이터를 이용하여 해수면 높이를 계산하는 단계(S2020)를 포함할 수 있다.
장치는 카메라 이미지 및 라이다 데이터를 정합할 수 있다(S2010).
일 실시예에 따르면 장치는 정합을 위한 정보를 이용하여 카메라 이미지 및 라이다 데이터를 정합할 수 있다. 예를 들어, 장치는 카메라 이미지 상의 좌표계와 라이다 데이터 상의 좌표계를 일치시켜 카메라 이미지 및 라이다 데이터를 정합할 수 있다. 즉, 카메라 이미지와 라이다 데이터의 좌표계는 서로 변환이 가능할 수 있다.
장치는 카메라의 설치 위치, 카메라의 설치 각도, 라이다 센서의 설치 위치, 라이다 센서의 설치 각도 등을 고려하여 카메라 이미지 및 라이다 데이터를 정합할 수 있다. 여기서, 장치는 계산된 해수면 높이를 반영하여 카메라 이미지 및 라이다 데이터를 재정합할 수도 있다. 일 예로, 장치는 라이다 데이터와 카메라 이미지의 정합 시, 계산된 해수면 높이를 데이터 변환의 변수로 사용하여 카메라 이미지 및 라이다 데이터를 재정합할 수도 있다.
도 36은 일 실시예에 따른 카메라 이미지 및 라이다 데이터의 정합의 예시이다. 도 36의 위를 참고하면, 선석에 설치된 카메라로부터 획득한 이미지와 동일한 영역에 대해 스캔하는 라이다 센서로부터 획득한 라이다 데이터가 정합된 것을 볼 수 있다.
일 실시예에 다르면, 장치는 세그멘테이션 이미지를 라이다 데이터와 정합시킬 수 있다. 예를 들어, 장치는 카메라로부터 획득한 이미지로부터 인공신경망을 이용하여 세그멘테이션 이미지를 생성하고, 생성된 세그멘테이션 이미지를 라이다 데이터와 정합시킬 수 있다. 도 36의 아래를 참고하면, 선석에 설치된 카메라로부터 획득한 이미지와 동일한 영역에 대해 스캔하는 라이다 센서로부터 획득한 라이다 데이터가 정합된 것을 볼 수 있다.
카메라 이미지 및 라이다 데이터의 정합은 상술한 기재에 한정되지 않으며, 인공신경망을 이용하여 디텍션된 이미지와 라이다 데이터가 정합되는 등 다른 방식으로 구현되어도 무방하다.
다시 도 35로 돌아와서 설명하도록 한다.
장치는 정합된 카메라 이미지 및 라이다 데이터를 이용하여 해수면 높이를 계산할 수 있다(S2020).
일 실시예에 따르면, 장치는 라이다 데이터의 복수의 라이다 포인트 중 라이다 데이터와 정합된 이미지를 이용하여 선택된 라이다 포인트를 이용하여 해수면 높이를 계산할 수 있다. 예를 들어, 장치는 이미지 내의 바다와 대응하는 영역에 정합된 라이다 포인트를 이용하여 해수면 높이를 계산할 수 있다. 다른 예를 들어, 장치는 이미지 내의 선박의 영역에 정합된 라이다 포인트를 이용하여 해수면 높이를 계산할 수 있다.
일 실시예에 따르면, 장치는 바다로부터 반사된 라이다 빔과 관련된 라이다 포인트를 이용하여 해수면 높이를 산출할 수 있다.
도 37은 일 실시예에 따른 바다로부터 반사된 라이다 빔과 관련된 라이다 포인트를 이용한 해수면 높이 산출 방법의 순서도이다. 도 37을 참고하면 일 실시예에 따른 바다로부터 반사된 라이다 빔과 관련된 라이다 포인트를 이용한 해수면 높이 산출 방법은 바다로부터 반사된 라이다 빔과 관련된 라이다 포인트들을 선택하는 단계(S2110) 및 바다로부터 반사된 라이다 빔과 관련된 라이다 포인트들로부터 해수면 높이를 계산하는 단계(S2120)를 포함할 수 있다.
장치는 바다로부터 반사된 라이다 빔과 관련된 라이다 포인트들을 선택할 수 있다(S2110).
일 실시예에 따르면, 장치는 라이다 데이터와 정합된 이미지를 이용하여 바다로부터 반사된 라이다 빔과 관련된 라이다 포인트들을 선택할 수 있다.
이를 위해, 장치는 이미지 내의 바다에 대응하는 영역을 감지할 수 있다. 예를 들어, 장치는 인공신경망을 이용하여 이미지 내에서 바다에 대응하는 영역을 감지할 수 있다. 일 예로, 장치는 인공신경망을 이용하여 이미지로부터 세그멘테이션 이미지를 생성하고, 객체 유형이 바다를 나타내는 객체 정보로 라벨링된 픽셀이 위치한 영역을 바다에 대응하는 영역으로 감지할 수 있다. 장치는 상술한 기재에 한정되지 않으며, 이미지 디텍션을 통해 바다에 대응하는 영역을 결정하는 등 다른 방식으로 이미지 내의 바다에 대응하는 영역을 감지해도 무방하다.
장치는 감지된 이미지 내의 바다에 대응하는 영역을 이용하여 바다로부터 반사된 라이다 빔과 관련된 라이다 포인트들을 선택할 수 있다. 예를 들어, 장치는 이미지 내의 바다에 대응하는 영역에 포함된 픽셀들의 픽셀 위치를 고려하여 바다로부터 반사된 라이다 빔과 관련된 라이다 포인트들을 선택할 수 있다.
도 38은 일 실시예에 따른 바다로부터 반사된 라이다 빔과 관련된 라이다 포인트들의 일 예시이다. 도 38을 참고하면, 장치는 이미지와 정합된 라이다 포인트들 중 바다로부터 반사된 라이다 빔과 관련된 라이다 포인트들(401)을 선택할 수 있다. 예를 들어, 장치는 복수의 라이다 포인트들 중 이미지 내의 바다에 대응하는 영역에 포함된 픽셀들에 정합된 라이다 포인트들을 바다로부터 반사된 라이다 빔과 관련된 라이다 포인트들(401)로 선택할 수 있다. 도 38에 한정되지 않고, 세그멘테이션 이미지 또는 디텍션된 이미지가 사용되는 다른 방식으로 바다로부터 반사된 라이다 빔과 관련된 라이다 포인트들(401)이 선택되어도 무방하다.
바다로부터 반사된 라이다 빔과 관련된 라이다 포인트들(401)의 선택은 상술한 기재에 한정되지 않으며 다른 방식으로 구현되어도 무방하다. 일 실시예에 따르면, 장치는 라이다 데이터를 이용하여 바다로부터 반사된 라이다 빔(401)과 관련된 라이다 포인트들을 선택할 수 있다. 예를 들어, 장치는 라이다 데이터의 분포, 개수 등을 고려하여 바다로부터 반사된 라이다 빔과 관련된 라이다 포인트들(401)을 선택할 수 있다.
다시 도 37로 돌아와서 설명하도록 한다.
장치는 바다로부터 반사된 라이다 빔과 관련된 라이다 포인트들로부터 해수면 높이를 계산할 수 있다(S2120).
장치는 바다로부터 반사된 라이다 빔과 관련된 라이다 포인트들의 3차원 좌표값을 이용하여 해수면 높이를 계산할 수 있다. 일 실시예에 따르면, 장치는 바다로부터 반사된 라이다 빔과 관련된 라이다 포인트들의 높이값(일 예로, 3차원 좌표값 중 Z값)을 이용하여 해수면 높이를 계산할 수 있다. 예를 들어, 장치는 바다로부터 반사된 라이다 빔과 관련된 라이다 포인트들의 높이값의 평균값을 계산하고, 계산된 높이값의 평균값을 해수면 높이로 산출할 수 있다.
일 실시예에 따르면 장치는 바다로부터 반사된 라이다 빔과 관련된 라이다 포인트들의 3차원 좌표값을 이용하여 해수면의 파고를 계산할 수 있다.
예를 들어, 장치는 바다로부터 반사된 라이다 빔과 관련된 라이다 포인트들의 높이값(일 예로, 3차원 좌표값 중 Z값)을 이용하여 파고를 계산할 수 있다. 일 예로, 장치는 바다로부터 반사된 라이다 빔과 관련된 라이다 포인트들의 높이값의 최대값과 최소값을 계산하고, 상기 최대값과 최소값의 차이를 파고로 산출할 수 있다.
물론, 장치는 상술한 기재에 한정되지 않으며, 바다로부터 반사된 라이다 빔과 관련된 라이다 포인트들의 높이값을 기설정된 비율로 반영하여 해수면 높이로 산출하는 등 다른 방식으로 해수면 높이를 계산해도 무방하다. 여기서, 상기 기설정된 비율은 각 라이다 포인트들의 위치, 개수 등을 고려하여 결정될 수도 있다.
도 39는 일 실시예에 따른 선박으로부터 반사된 라이다 빔과 관련된 라이다 포인트를 이용한 해수면 높이 산출 방법의 순서도이다. 도 39를 참고하면 일 실시예에 따른 선박으로부터 반사된 라이다 빔과 관련된 라이다 포인트를 이용한 해수면 높이 산출 방법은 선박으로부터 반사된 라이다 빔과 관련된 라이다 포인트들을 선택하는 단계(S2210), 선박으로부터 반사된 라이다 빔과 관련된 라이다 포인트들 중 바다와 접하는 선박의 하부 영역으로부터 반사된 라이다 빔과 관련된 라이다 포인트들을 결정하는 단계(S2220) 및 바다와 접하는 선박의 하부 영역으로부터 반사된 라이다 빔과 관련된 라이다 포인트들로부터 해수면 높이를 계산하는 단계(S2230)를 포함할 수 있다.
장치는 선박으로부터 반사된 라이다 빔과 관련된 라이다 포인트들을 선택할 수 있다(S2210).
일 실시예에 따르면, 장치는 라이다 데이터와 정합된 이미지를 이용하여 선박으로부터 반사된 라이다 빔과 관련된 라이다 포인트들을 선택할 수 있다.
이를 위해, 장치는 이미지 내의 선박에 대응하는 영역을 감지할 수 있다. 예를 들어, 장치는 인공신경망을 이용하여 이미지 내에서 선박에 대응하는 영역을 감지할 수 있다. 일 예로, 장치는 인공신경망을 이용하여 이미지로부터 세그멘테이션 이미지를 생성하고, 객체 유형이 선박을 나타내는 객체 정보로 라벨링된 픽셀이 위치한 영역을 선박에 대응하는 영역으로 감지할 수 있다. 장치는 상술한 기재에 한정되지 않으며, 이미지 디텍션을 통해 선박에 대응하는 영역을 결정하는 등 다른 방식으로 이미지 내의 선박에 대응하는 영역을 감지해도 무방하다.
장치는 감지된 이미지 내의 선박에 대응하는 영역을 이용하여 선박으로부터 반사된 라이다 빔과 관련된 라이다 포인트들을 선택할 수 있다. 예를 들어, 장치는 이미지 내의 선박에 대응하는 영역에 포함된 픽셀들의 픽셀 위치를 고려하여 선박으로부터 반사된 라이다 빔과 관련된 라이다 포인트들을 선택할 수 있다.
도 40은 일 실시예에 따른 선박으로부터 반사된 라이다 빔과 관련된 라이다 포인트들의 일 예시이다. 도 40을 참고하면, 장치는 이미지와 정합된 라이다 포인트들 중 선박으로부터 반사된 라이다 빔과 관련된 라이다 포인트들(411)을 선택할 수 있다. 예를 들어, 장치는 복수의 라이다 포인트들 중 이미지 내의 선박에 대응하는 영역에 포함된 픽셀들에 정합된 라이다 포인트들을 선박으로부터 반사된 라이다 빔과 관련된 라이다 포인트들(411)로 선택할 수 있다. 도 40에 한정되지 않고, 세그멘테이션 이미지 또는 디텍션된 이미지가 사용되는 다른 방식으로 선박으로부터 반사된 라이다 빔과 관련된 라이다 포인트들(411)이 선택되어도 무방하다.
선박으로부터 반사된 라이다 빔과 관련된 라이다 포인트들(411)의 선택은 상술한 기재에 한정되지 않으며 다른 방식으로 구현되어도 무방하다. 일 실시예에 따르면, 장치는 라이다 데이터를 이용하여 선박으로부터 반사된 라이다 빔과 관련된 라이다 포인트들(411)을 선택할 수 있다. 예를 들어, 장치는 라이다 데이터의 분포, 개수 등을 고려하여 선박으로부터 반사된 라이다 빔과 관련된 라이다 포인트들(411)을 선택할 수 있다.
장치는 선박으로부터 반사된 라이다 빔과 관련된 라이다 포인트들 중 바다와 접하는 선박의 하부 영역으로부터 반사된 라이다 빔과 관련된 라이다 포인트들을 결정할 수 있다(S2220).
도 40을 참고하면, 장치는 선박으로부터 반사된 라이다 빔과 관련된 라이다 포인트들(411)의 3차원 좌표값을 이용하여 바다와 접하는 선박의 하부 영역으로부터 반사된 라이다 빔과 관련된 라이다 포인트들(412)을 결정할 수 있다. 일 실시예에 따르면, 장치는 선박으로부터 반사된 라이다 빔과 관련된 라이다 포인트들(411)의 높이값(일 예로, 3차원 좌표값 중 Z값)에 기초하여 바다와 접하는 선박의 하부 영역으로부터 반사된 라이다 빔과 관련된 라이다 포인트들(412)을 결정할 수 있다. 예를 들어, 장치는 실질적으로 동일한 높이값의 라이다 포인트들을 포함하는 라이다 라인들을 생성하고, 생성된 라이다 라인들 중 가장 낮은 높이 값의 라이다 포인트들을 포함하는 라이다 라인을 바다와 접하는 선박의 하부 영역으로부터 반사된 라이다 빔과 관련된 라이다 포인트들로 결정할 수 있다. 여기서, 상기 라이다 라인들은 기설정된 범위 내의 라이다 포인트의 개수 또는 길이를 가질 수 있다.
다른 예를 들어, 장치는 서로 다른 수직 각도를 갖는 복수의 채널을 갖는 라이더 센서를 포함하고, 각 채널에 대해 가장 낮은 높이 값의 라이다 포인트를 포함하는 라이다 포인트들을 바다와 접하는 선박의 하부 영역으로부터 반사된 라이다 빔과 관련된 라이다 포인트들(412)로 결정할 수 있다.
바다와 접하는 선박의 하부 영역으로부터 반사된 라이다 빔과 관련된 라이다 포인트들(412)의 결정은 상술한 기재에 한정되지 않으며, 가장 낮은 높이 값의 라이다 포인트가 아닌 기설정된 범위의 높이값을 갖는 라이다 포인트로 결정되는 등 다른 방식으로 구현되어도 무방하다.
다시 도 39로 돌아와 설명하도록 한다.
장치는 바다와 접하는 선박의 하부 영역으로부터 반사된 라이다 빔과 관련된 라이다 포인트들로부터 해수면 높이를 계산할 수 있다(S2230).
장치는 바다와 접하는 선박의 하부 영역으로부터 반사된 라이다 빔과 관련된 라이다 포인트들의 3차원 좌표값을 이용하여 해수면 높이를 계산할 수 있다. 일 실시예에 따르면, 장치는 바다와 접하는 선박의 하부 영역으로부터 반사된 라이다 빔과 관련된 라이다 포인트들의 높이값(일 예로, 3차원 좌표값 중 Z값)을 이용하여 해수면 높이를 계산할 수 있다. 예를 들어, 장치는 바다와 접하는 선박의 하부 영역으로부터 반사된 라이다 빔과 관련된 라이다 포인트들의 높이값을 해수면 높이로 산출할 수 있다.
일 실시예에 따르면 장치는 선박의 하부 영역으로부터 반사된 라이다 빔과 관련된 라이다 포인트들의 3차원 좌표값을 이용하여 해수면의 파고를 계산할 수 있다.
예를 들어, 장치는 선박의 하부 영역으로부터 반사된 라이다 빔과 관련된 라이다 포인트들의 높이값(일 예로, 3차원 좌표값 중 Z값)을 이용하여 파고를 계산할 수 있다. 일 예로, 장치는 선박의 하부 영역으로부터 반사된 라이다 빔과 관련된 라이다 포인트들을 가우시안 분포로 추정하고, 추정된 분포에서 높이값의 범위를 파고로 산출할 수 있다.
일 실시예에 따르면, 장치는 계산된 해수면 높이를 검증할 수 있다. 예를 들어, 장치는 선박으로부터 반사된 라이다 빔과 관련된 라이다 포인트들의 특성(일예로, 개수, 높이값의 편차, 거리값 등)을 고려하여 선박으로부터 반사된 라이다 빔과 관련된 라이다 포인트들로부터 계산된 해수면 높이의 유효성을 확인할 수 있다. 일예로, 장치는 선박으로부터 반사된 라이다 빔과 관련된 라이다 포인트들의 개수가 너무 적거나, 높이값의 편차가 너무 크거나, 거리값이 너무 가깝거나 먼 경우에 선박으로부터 반사된 라이다 빔과 관련된 라이다 포인트들로부터 계산된 해수면 높이의 유효성이 낮다고 판단할 수 있다.
물론, 장치는 상술한 기재에 한정되지 않으며, 바다와 접하는 선박의 하부 영역으로부터 반사된 라이다 빔과 관련된 라이다 포인트들의 높이값을 기설정된 조건으로 조정하여 해수면 높이로 산출하는 등 다른 방식으로 해수면 높이를 계산해도 무방하다.
라이다 포인트들로부터 계산되는 해수면 높이의 정확도는 상황에 따라 달라질 수 있다. 예를 들어, 장치는 일반적으로 물결이 치는 바다로부터 라이다 데이터를 획득하기가 용이한데 날씨가 매우 좋고, 바다가 매우 잔잔한 날의 경우 바다로부터 획득되는 라이다 데이터는 매우 적고 노이즈가 존재하는 라이다 데이터가 획득될 가능성이 있다. 즉, 바다로부터 반사된 라이다 빔과 관련된 라이다 포인트들로부터 계산된 해수면 높이의 정확도가 보다 떨어질 수 있다.
다른 예를 들어, 장치는 일반적으로 라이다 센서와 적당한 거리에 있는 선박으로부터 라이다 데이터를 획득하기가 용이한데 라이다 센서와 선박이 너무 가까운 경우에는 바다와 접하는 선박의 하부 영역이 선석에 의해 가려질 수 있고, 라이다 센서와 선박이 너무 먼 경우에는 거리 측정 오차가 큰 라이다 데이터가 획득될 가능성이 있다. 즉, 선박으로부터 반사된 라이다 빔과 관련된 라이다 포인트들로부터 계산된 해수면 높이의 정확도가 보다 떨어질 수 있다.
따라서, 장치는 다양한 상황에 있어서, 계산되는 해수면 높이의 정확도를 높이기 위한 해수면 높이 산출 방법을 수행할 수 있다.
일 실시예에 따르면, 장치는 추정 해수면 높이를 이용하여 해수면 높이를 산출할 수 있다.
도 41은 일 실시예에 따르는 추정 해수면 높이를 이용한 해수면 높이 산출 방법의 순서도이다. 도 41을 참고하면, 일 실시예에 따르는 추정 해수면 높이를 이용한 해수면 높이 산출 방법은 바다로부터 반사된 라이다 빔과 관련된 라이다 포인트들로부터 제1 추정 해수면 높이를 계산하는 단계(S2310), 선박으로부터 반사된 라이다 빔과 관련된 라이다 포인트들로부터 제2 추정 해수면 높이를 계산하는 단계(S2320) 및 제1 추정 해수면 높이 및 제2 추정 해수면 높이 중 적어도 하나를 이용한 해수면 높이를 산출하는 단계(S2330)를 포함할 수 있다.
장치는 바다로부터 반사된 라이다 빔과 관련된 라이다 포인트들로부터 제1 추정 해수면 높이를 계산할 수 있다(S2310). 장치는 바다로부터 반사된 라이다 빔과 관련된 라이다 포인트들로부터 계산된 해수면 높이를 제1 추정 해수면 높이로 산출할 수 있다. 이 단계에서는 앞서 설명된 내용이 그대로 적용될 수 있으므로, 보다 상세한 내용은 생략한다.
장치는 선박으로부터 반사된 라이다 빔과 관련된 라이다 포인트들로부터 제2 추정 해수면 높이를 계산할 수 있다(S2320). 장치는 선박으로부터 반사된 라이다 빔과 관련된 라이다 포인트들로부터 계산된 해수면 높이를 제2 추정 해수면 높이로 산출할 수 있다. 이 단계에서는 앞서 설명된 내용이 그대로 적용될 수 있으므로, 보다 상세한 내용은 생략한다.
장치는 제1 추정 해수면 높이 및 제2 추정 해수면 높이 중 적어도 하나를 이용하여 해수면 높이를 산출할 수 있다(S2330).
일 실시예에 따르면, 장치는 제1 추정 해수면 높이 및 제2 추정 해수면 높이의 가중합(weighted sum)에 기초하여 해수면 높이를 산출할 수 있다. 예를 들어, 장치는 제1 가중치가 부여된 제1 추정 해수면 높이와 제2 가중치가 부여된 제2 추정 해수면 높이의 가중합을 해수면 높이를 산출할 수 있다.
일 실시예에 따르면, 장치는 추정 해수면 높이에 부여되는 가중치를 선석으로부터의 거리에 기초하여 결정할 수 있다.
예를 들어, 장치는 바다로부터 반사된 라이다 빔과 관련된 라이다 포인트들로부터 추정된 제1 추정 해수면 높이에 가중치를 부여함에 있어서, 상기 라이다 포인트들의 선석과의 거리가 가까울수록 높은 가중치를 부여할 수 있다. 이는, 선석과 가까운 거리의 바다로부터 반사된 라이다 빔과 관련된 라이다 포인트의 정확도가 선석과 먼 거리의 바다로부터 반사된 라이다 빔과 관련된 라이다 포인트보다 높기 때문이다.
예를 들어, 장치는 선박으로부터 반사된 라이다 빔과 관련된 라이다 포인트들로부터 추정된 제2 추정 해수면 높이에 가중치를 부여함에 있어서, 상기 라이다 포인트들의 선석과의 거리가 멀수록 높은 가중치를 부여할 수 있다. 여기서, 장치는 특정 거리까지는 선석과의 거리가 멀수록 높은 가중치를 부여하다가, 특정 거리 이상에서는 선석과의 거리가 멀수록 낮은 가중치를 부여할 수 있다. 이는, 라이다 센서와 선박이 너무 가까운 경우에는 바다와 접하는 선박의 하부 영역이 선석에 의해 가려질 수 있어 노이즈가 있을 수 있고, 라이다 센서와 선박이 너무 먼 경우에는 거리 측정 오차가 큰 라이다 데이터가 획득될 가능성이 있기 때문이다.
물론, 장치는 상술한 기재에 한정되지 않고 특정 거리 범위내의 라이다 포인트들로부터 추정된 해수면 높이에 높은 가중치를 부여하는 등 다른 방식으로 가중치를 부여해도 무방하다.
일 실시예에 따르면, 장치는 추정 해수면 높이에 부여되는 가중치를 산출된 파고에 기초하여 결정할 수 있다. 예를 들어, 장치는 추정 해수면 높이에 부여되는 가중치를 단위 시간 당 파고의 변화에 기초하여 결정할 수 있다. 이는, 일반적으로 단위 시간 동안 파고의 변화가 적기 때문이다.
예를 들어, 장치는 바다로부터 반사된 라이다 빔과 관련된 라이다 포인트들로부터 추정된 제1 추정 해수면 높이에 가중치를 부여함에 있어서, 바다로부터 반사된 라이다 빔과 관련된 라이다 포인트들로부터 산출된 파고의 값이 시간이 지남에 따라 변화가 적을수록 높은 가중치를 부여할 수 있다.
다른 예를 들어, 장치는 선박으로부터 반사된 라이다 빔과 관련된 라이다 포인트들로부터 추정된 제2 추정 해수면 높이에 가중치를 부여함에 있어서, 선박으로부터 반사된 라이다 빔과 관련된 라이다 포인트들로부터 산출된 파고의 값이 시간이 지남에 따라 변화가 적을수록 높은 가중치를 부여할 수 있다.
물론, 장치는 상술한 기재에 한정되지 않고 상술한 방법을 조합하여 가중치를 부여하는 등 다른 방식으로 가중치를 부여해도 무방하다.
일 실시예에 따르면, 장치는 라이다 포인트의 신뢰도를 이용하여 해수면 높이를 산출할 수 있다.
도 42는 일 실시예에 따르는 라이다 포인트의 신뢰도를 이용한 해수면 높이 산출 방법의 순서도이다. 도 42를 참고하면, 일 실시예에 따르는 라이다 포인트의 신뢰도를 이용한 해수면 높이 산출 방법은 바다로부터 반사된 라이다 빔과 관련된 라이다 포인트들의 제1 신뢰도를 계산하는 단계(S2410), 선박으로부터 반사된 라이다 빔과 관련된 라이다 포인트들의 제2 신뢰도를 계산하는 단계(S2420) 및 제1 신뢰도 및 제2 신뢰도 중 적어도 하나를 고려한 해수면 높이를 산출하는 단계(S2430)를 포함할 수 있다. 신뢰도란 특정 객체로부터 반사된 라이다 빔과 관련된 라이다 포인트가 실제로 상기 특정 객체로부터 반사되어 생성된 것인지의 정확도를 의미할 수 있다.
장치는 바다로부터 반사된 라이다 빔과 관련된 라이다 포인트들의 제1 신뢰도를 계산할 수 있다(S2410). 예를 들어, 장치는 라이다 데이터를 이용하여 바다로부터 반사된 라이다 빔과 관련된 라이다 포인트들의 제1 신뢰도를 계산할 수 있다.
일 실시예에 따르면, 장치는 라이다 포인트들의 특성에 기초하여 바다로부터 반사된 라이다 빔과 관련된 라이다 포인트들의 제1 신뢰도를 계산할 수 있다. 라이다 포인트들의 특성은, 일예로 라이다 포인트들의 수, 높이값의 편차, 거리값, 좌표 등을 포함할 수 있다. 예를 들어, 장치는 바다로부터 반사된 라이다 빔과 관련된 라이다 포인트들의 수가 너무 적으면 제1 신뢰도를 작게 계산할 수 있다. 다른 예를 들어, 장치는 바다로부터 반사된 라이다 빔과 관련된 라이다 포인트들의 높이값의 편차가 너무 크면 제1 신뢰도를 작게 계산할 수 있다. 다른 예를 들어, 장치는 바다로부터 반사된 라이다 빔과 관련된 라이다 포인트들의 거리값의 편차가 너무 크면 제1 신뢰도를 작게 계산할 수 있다. 장치는 상술한 기재에 한정되지 않으며, 카메라 이미지를 이용하여 바다로부터 반사된 라이다 빔과 관련된 라이다 포인트들의 제1 신뢰도를 계산하는 등 다른 방식으로 제1 신뢰도를 계산해도 무방하다.
장치는 선박으로부터 반사된 라이다 빔과 관련된 라이다 포인트들의 제2 신뢰도를 계산할 수 있다(S2420). 예를 들어, 장치는 라이다 데이터를 이용하여 선박으로부터 반사된 라이다 빔과 관련된 라이다 포인트들의 제2 신뢰도를 계산할 수 있다.
일 실시예에 따르면, 장치는 라이다 포인트들의 특성에 기초하여 선박으로부터 반사된 라이다 빔과 관련된 라이다 포인트들의 제2 신뢰도를 계산할 수 있다. 라이다 포인트들의 특성은, 일예로 라이다 포인트들의 수, 높이값의 편차, 거리값, 좌표 등을 포함할 수 있다. 예를 들어, 장치는 선박으로부터 반사된 라이다 빔과 관련된 라이다 포인트들의 수가 너무 적으면 제2 신뢰도를 작게 계산할 수 있다. 다른 예를 들어, 장치는 선박으로부터 반사된 라이다 빔과 관련된 라이다 포인트들의 높이값의 편차가 너무 크면 제2 신뢰도를 작게 계산할 수 있다. 다른 예를 들어, 장치는 선박으로부터 반사된 라이다 빔과 관련된 라이다 포인트들의 거리값의 편차가 너무 크면 제2 신뢰도를 작게 계산할 수 있다.
일 실시예에 따르면, 장치는 카메라 이미지를 이용하여 선박으로부터 반사된 라이다 빔과 관련된 라이다 포인트들의 제2 신뢰도를 계산할 수 있다. 예를 들어, 장치는 카메라 이미지로부터 획득하는 선박 정보를 이용하여 선박으로부터 반사된 라이다 빔과 관련된 라이다 포인트들의 제2 신뢰도를 계산할 수 있다. 선박 정보는 선박에 관한 정보를 의미하며, 일예로, 이미지 내의 선박의 감지 여부, 이미지 내의 선박에 대응하는 영역에 관한 정보(일예로, 크기, 형태 등), 이미지로부터 획득된 선박까지의 거리, 이미지로부터 획득된 선박의 속도, 선박과 관련된 오클루전 등을 포함할 수 있다.
일예로, 장치는 이미지 내에서 선박이 감지되는 경우 선박으로부터 반사된 라이다 빔과 관련된 라이다 포인트들의 제2 신뢰도를 크게 계산할 수 있다. 다른 일예로, 장치는 이미지 내의 선박에 대응하는 영역의 크기가 특정 크기 범위에 속하는 경우 선박으로부터 반사된 라이다 빔과 관련된 라이다 포인트들의 제2 신뢰도를 크게 계산할 수 있다. 다른 일예로, 장치는 이미지로부터 획득된 선박까지의 거리가 특정 거리 범위에 속하는 경우 선박으로부터 반사된 라이다 빔과 관련된 라이다 포인트들의 제2 신뢰도를 크게 계산할 수 있다. 다른 일예로, 장치는 이미지로부터 획득된 선박과 관련된 오클루전이 없는 경우 선박으로부터 반사된 라이다 빔과 관련된 라이다 포인트들의 제2 신뢰도를 크게 계산할 수 있다.
장치는 상술한 기재에 한정되지 않으며, 상술한 방법을 조합하여 제2 신뢰도를 계산하는 등 다른 방식으로 제2 신뢰도를 계산해도 무방하다.
장치는 제1 신뢰도 및 제2 신뢰도 중 적어도 하나를 고려하여 해수면 높이를 산출할 수 있다(S2430).
일 실시예에 따르면, 장치는 제1 신뢰도 및 제2 신뢰도를 서로 비교하여 해수면 높이를 산출할 수 있다. 예를 들어, 장치는 제1 신뢰도가 제2 신뢰도보다 작은 경우, 선박으로부터 반사된 라이다 빔과 관련된 라이다 포인트들로부터 해수면 높이를 산출할 수 있다. 다른 예를 들어, 장치는 제1 신뢰도가 제2 신뢰도보다 큰 경우, 바다로부터 반사된 라이다 빔과 관련된 라이다 포인트들로부터 해수면 높이를 산출할 수 있다.
일 실시예에 따르면, 장치는 제1 신뢰도 및 제2 신뢰도 중 적어도 하나와 임계 신뢰도를 비교하여 해수면 높이를 산출할 수 있다. 예를 들어, 제1 신뢰도가 임계 신뢰도 이상인 경우, 장치는 바다로부터 반사된 라이다 빔과 관련된 라이다 포인트들로부터 해수면 높이를 산출할 수 있다. 다른 예를 들어, 제2 신뢰도가 임계 신뢰도 이상인 경우, 장치는 선박으로부터 반사된 라이다 빔과 관련된 라이다 포인트들로부터 해수면 높이를 산출할 수 있다.
장치는 상술한 기재에 한정되지 않으며, 바다 및 선박으로부터 반사된 라이다 빔과 관련된 라이다 포인트들로부터 계산된 해수면 높이들을 제1 신뢰도 및 제2 신뢰도의 비율로 반영하여 해수면 높이를 산출하는 등 다른 방식으로 해수면 높이를 산출해도 무방하다.
일 실시예에 따르면, 장치는 카메라 이미지를 분석한 결과를 이용하여 해수면 높이를 산출할 수 있다. 예를 들어, 장치는 카메라 이미지를 통해 상황을 인식하고, 인식된 상황에 적합한 라이다 데이터를 이용하여 해수면 높이를 산출할 수 있다.
도 43은 일 실시예에 따르는 카메라 이미지를 분석한 결과를 이용한 해수면 높이 산출 방법의 순서도이다. 도 43을 참고하면, 일 실시예에 따르는 카메라 이미지를 분석한 결과를 이용한 해수면 높이 산출 방법은 카메라 이미지를 분석하는 단계(S2510) 및 이미지 분석된 결과를 이용하여 라이다 데이터로부터 해수면 높이 산출하는 단계(S2520)를 포함할 수 있다.
장치는 카메라 이미지를 분석할 수 있다(S2510). 예를 들어, 장치는 카메라 이미지를 분석하고, 선박의 존부를 확인할 수 있다.
일 실시예에 따르면, 장치는 카메라 이미지로부터 선박과 관련된 선박 정보를 획득할 수 있다. 선박 정보는 선박에 관한 정보를 의미하며, 일예로, 이미지 내의 선박의 감지 여부, 이미지 내의 선박에 대응하는 영역에 관한 정보(일예로, 크기, 형태 등), 이미지로부터 획득된 선박까지의 거리, 이미지로부터 획득된 선박의 속도, 선박과 관련된 오클루전 등을 포함할 수 있다. 예를 들어, 장치는 인공신경망을 이용하여 이미지 내에서 선박 정보를 획득할 수 있다. 일 예로, 장치는 인공신경망을 이용하여 이미지로부터 세그멘테이션 이미지를 생성하고, 객체 유형이 선박을 나타내는 객체 정보로 라벨링된 픽셀이 위치한 영역을 선박에 대응하는 영역으로 감지하고, 이로부터 선박 정보를 획득할 수 있다. 여기서, 선박 정보는 선박의 감지 여부, 이미지 내의 선박에 대응하는 영역에 관한 정보(일예로, 크기, 형태 등), 이미지로부터 획득된 선박까지의 거리, 이미지로부터 획득된 선박의 속도, 선박과 관련된 오클루전 등을 포함할 수 있다. 선박 정보의 획득은 앞서 설명된 내용이 그대로 적용될 수 있으므로, 보다 상세한 내용은 생략한다.
장치는 상술한 기재에 한정되지 않으며, 이미지 디텍션을 통해 선박에 대응하는 영역을 결정하는 등 다른 방식으로 이미지로부터 선박 정보를 획득해도 무방하다.
장치는 이미지 분석된 결과를 이용하여 라이다 데이터로부터 해수면 높이를 산출할 수 있다(S2520). 예를 들어, 장치는 선박의 존부에 따라 상이한 라이다 포인트로부터 해수면 높이를 산출할 수 있다. 일예로, 장치는 이미지 분석 결과에 의해 선박이 존재하는 경우 선박으로부터 반사된 라이다 빔과 관련된 라이다 포인트로부터 해수면 높이를 산출하고, 이미지 분석결과에 의해 선박이 존재하지 않는 경우 바다로부터 반사된 라이다 빔과 관련된 라이다 포인트로부터 해수면 높이를 산출할 수 있다.
일 실시예에 따르면, 장치는 카메라 이미지로부터 획득한 선박 정보를 이용하여 라이다 데이터로부터 해수면 높이를 산출할 수 있다. 예를 들어, 장치는 카메라 이미지로부터 획득한 선박 정보에 기초하여 특정 라이다 포인트로부터 해수면 높이를 산출할 수 있다.
일 실시예에 따르면, 장치는 카메라 이미지로부터 획득한 선박 정보에 의해 기설정된 조건이 충족되는지 여부에 기초하여 라이다 데이터로부터 해수면 높이를 산출할 수 있다. 예를 들어, 장치는 기설정된 조건의 충족 여부에 따라 특정 라이다 포인트로부터 해수면 높이를 산출할 수 있다.
일예로, 장치는 선박 정보에 의해 기설정된 조건이 충족되는 경우, 선박으로부터 반사된 라이다 빔과 관련된 라이다 포인트로부터 해수면 높이를 산출할 수 있다. 여기서, 기설정된 조건은 선박이 감지되는 조건, 선박에 대응하는 영역의 크기가 특정 범위에 속하는 조건, 선박까지의 거리가 특정 범위에 속하는 조건, 선박과 관련된 오클루전이 감지되지 않는 조건 등을 포함할 수 있다. 즉, 장치는 카메라 이미지로부터 선박이 감지되거나, 감지된 선박이 일정 수준의 정확도를 보장하는 특정 조건을 충족하는 경우에 선박으로부터 반사된 라이다 빔과 관련된 라이다 포인트로부터 해수면 높이를 산출할 수 있다.
다른 일예로, 장치는 선박 정보에 의해 기설정된 조건이 충족되지 않는 경우, 바다로부터 반사된 라이다 빔과 관련된 라이다 포인트로부터 해수면 높이를 산출할 수 있다. 여기서, 기설정된 조건은 선박이 감지되지 않는 조건, 선박에 대응하는 영역의 크기가 특정 범위에 속하지 않는 조건, 선박까지의 거리가 특정 범위에 속하지 않는 조건, 선박과 관련된 오클루전이 감지되는 조건 등을 포함할 수 있다. 즉, 장치는 카메라 이미지로부터 선박이 감지되지 않거나, 감지된 선박이 일정 수준의 정확도를 보장하는 특정 조건을 충족하지 않는 경우에는 바다로부터 반사된 라이다 빔과 관련된 라이다 포인트로부터 해수면 높이를 산출할 수 있다.
또한, 장치는 후속 이미지로부터 획득된 선박 정보를 고려하여 라이다 데이터로부터 해수면 높이를 산출할 수 있다. 예를 들어, 장치는 기설정된 조건이 충족되어 선박으로부터 반사된 라이다 빔과 관련된 라이다 포인트로부터 해수면 높이를 산출하고, 후속 이미지로부터 획득된 선박 정보에 의해 기설정된 조건이 충족되지 않은 경우에는 상기 산출된 해수면 높이를 해수면 높이로 유지할 수 있다. 다른 예를 들어, 장치는 기설정된 조건이 충족되어 선박으로부터 반사된 라이다 빔과 관련된 라이다 포인트로부터 해수면 높이를 산출하고, 후속 이미지로부터 획득된 선박 정보에 의해서도 기설정된 조건이 충족된 경우에는 상기 산출된 해수면 높이를 후속 라이다 데이터로부터 산출되는 해수면 높이를 고려하여 업데이트할 수 있다. 여기서, 후속 이미지와 후속 라이다 데이터는 일 예로, 서로 같은 시점에 획득되는 등 서로 대응할 수 있다.
이미지 분석된 결과를 이용한 라이다 데이터로부터 해수면 높이 산출 방법은 상술한 기재에 한정되지 않고, 기설정된 조건에 감지된 선박의 형태가 추가되는 등 다른 방식으로 구현되어도 무방하다.
이상에서는 서로 다른 두 종류의 이미지에 기초하여 해수면 높이 정보를 산출하는 방법에 대해 설명하였으나 세 종류 이상의 이미지에 기초하여 해수면 높이 정보를 산출할 수도 있을 것이다.
모니터링 장치는 외부로부터 해수면 높이 정보를 수신할 수 있다. 모니터링 장치는 해수면 높이 정보를 가지고 있는 외부 장치로부터 해수면 높이 정보를 수신할 수 있다.
해수면 높이 정보를 가지고 있는 외부 장치는 해수면 높이를 측정할 수 있는 센서일 수 있다. 이 경우 모니터링 장치는 해수면 높이를 측정할 수 있는 별도의 센서로부터 해수면 높이 정보를 수신할 수 있다. 예컨대, 초음파 탐지기 등 수심을 측정할 수 있는 센서로 소정의 위치에서의 수심을 측정하여 해수면 높이 정보를 산출할 수 있다. (예를 들어, 수심이 깊어지면 해수면 높이가 증가했다고 볼 수 있을 것이다.)
해수면 높이 정보를 가지고 있는 외부 장치는 해상 교통 관제 시스템(VTS system: vessel traffic service system)일 수 있다. 이 경우 모니터링 장치는 해상 교통 관제 시스템으로부터 해수면 높이 정보를 수신할 수 있다.
조석(tide)을 고려하여 해수면 높이 정보를 산출할 수 있다. 특정 지역에 있어서 해수면 높이는 만조(high tide)와 간조(ebb tide) 사이에서 변할 수 있고 이는 시간에 따라 예측할 수 있으므로 해수면 높이 정보 또한 산출될 수 있을 것이다. 예를 들어, 지역 및 시간 중 적어도 하나를 입력하면 해수면 높이 정보를 출력하는 함수를 세팅할 수 있을 것이다.
모니터링 방법은 전술한 단계 외의 다른 단계를 포함할 수 있다.
모니터링 방법은 전처리(pre-processing) 단계를 포함할 수 있다. 전처리는 이미지에 행하여지는 모든 종류의 가공을 의미하고, 이미지 정규화(normalization), 이미지 밝기 평준화(image equalization, histogram equalization), 이미지 리사이즈(resize), 이미지의 해상도/크기를 변경하는 업스케일링(upscaling) 및 다운스케일링(downscaling), 잘라내기(crop), 노이즈 제거 등을 포함할 수 있다. 여기서, 노이즈는 안개, 비, 물방울, 해무(sea clutter), 미세먼지, 직사광선, 염분 및 이들의 조합 등을 포함할 수 있고, 노이즈를 제거한다는 것은 이미지에 포함된 노이즈 성분을 없애거나 감소시키는 것을 포함할 수 있다.
전처리의 일 예로 정규화에 대해 살펴보면, 정규화는 RGB 이미지의 전체 픽셀의 RGB 값의 평균을 구하고 이를 RGB 이미지로부터 차감하는 것을 의미할 수 있다.
전처리의 다른 예로 안개 제거(defogging)에 대해 살펴보면, 안개 제거는 안개 낀 지역을 촬영한 이미지를 전처리를 통해 맑은 지역을 촬영한 이미지처럼 보이도록 변환하는 것을 의미할 수 있다. 도 44는 일 실시예에 따른 안개 제거에 관한 도면이다. 도 44를 참고하면, 안개 제거를 통해 도 44의 위와 같이 안개 낀 지역을 촬영한 이미지를 도 44의 아래와 같은 안개가 제거된 이미지로 변환할 수 있다.
전처리의 또 다른 예로 물방울 제거에 대해 살펴보면, 물방울 제거는 카메라 전면에 맺힌 물방울이 촬영된 이미지에서 전처리를 통해 물방울이 제거된 것처럼 보이도록 변환하는 것을 의미할 수 있다.
전처리 단계는 이미지 획득 단계 이후에 수행될 수 있다. 예를 들어, 모니터링 방법은 이미지 획득 단계, 전처리 단계 및 세그멘테이션 이미지 생성 단계를 순차적으로 포함하거나, 이미지 획득 단계, 전처리 단계, 시점 변환 단계를 순차적으로 포함할 수 있지만 이에 한정되는 것은 아니다. 이미지 전처리를 통해 접안 가이드 정보 획득이 용이해지거나 접안 가이드 정보의 정확도가 향상될 수 있다.
전처리 단계는 인공 신경망을 통해 수행될 수 있다. 예를 들어, 안개 낀 지역을 촬영한 이미지를 인공 신경망에 입력하여 맑은 지역을 촬영한 이미지처럼 보이도록 변환할 수 있는 등 노이즈를 포함하는 이미지를 인공 신경망에 입력하여 노이즈가 제거된 이미지를 획득할 수 있다. 인공 신경망의 예로는 GAN 등이 있으나 이에 한정되는 것은 아니다.
또는, 전처리 단계는 이미지 마스크를 이용하여 수행될 수 있다. 예를 들어, 안개 낀 지역을 촬영한 이미지에 이미지 마스크를 적용하여 맑은 지역을 촬영한 이미지처럼 보이도록 변환할 수 있다. 여기서, 이미지 마스크의 예로는 역 컨볼루션(deconvolution) 필터, 샤픈(sharpen) 필터 등이 있고, GAN 등의 인공 신경망을 통해 이미지 마스크를 생성할 수도 있지만 이에 한정되는 것은 아니다.
모니터링 방법은 접안 가이드 정보를 출력하는 단계를 포함할 수 있다. 도 45는 일 실시예에 따른 접안 가이드 정보 출력 단계를 설명하기 위한 도면이다. 도 45를 참고하면, 모니터링 방법은 접안 가이드 정보 획득 단계(S300)를 통해 산출된 접안 가이드 정보를 출력하는 단계(S400)를 포함할 수 있다.
접안 가이드 정보는 시각적으로 출력될 수 있다. 예를 들어, 접안 가이드 정보는 디스플레이 등의 출력 모듈을 통해 출력될 수 있다.
접안 가이드 정보 출력 단계는 이미지 획득 단계에서 이미지 생성 유닛을 이용하여 획득한 이미지를 디스플레이하는 것을 포함할 수 있다. 이 외에도 접안 가이드 정보 출력 단계는 전처리 단계를 거친 이미지, 세그멘테이션 후의 이미지, 시점 변환 후의 이미지 등 모니터링에 관련된 다양한 이미지를 디스플레이하는 것을 포함할 수 있다.
도 46은 일 실시예에 따른 접안 가이드 정보 출력 단계에 관한 도면이다. 도 46을 참고하면, 이미지와 거리/속도 정보를 함께 디스플레이 할 수 있다. 도 46에 도시된 바와 같이, 디스플레이되는 거리/속도 정보는 타겟 선박의 선수 및 선미와 안벽 사이의 거리 및 속도, 타겟 선박과 다른 선박 사이의 간격을 포함할 수 있다.
접안 가이드 정보 출력 단계는 시각적인 디스플레이 외에 소리나 진동을 출력하는 등 다른 방식으로 사용자에게 정보를 제공하는 것을 포함할 수 있다. 예를 들어, 타겟 선박이 안벽이나 다른 선박, 장애물 등과 충돌할 위험이 있거나 접안 시 안벽으로의 접근 속도가 기준 속도 이상인 경우, 선박이 경로를 이탈하여 운항하는 경우 등에 경고음을 출력할 수 있을 것이다.
이상에서는 주로 단일 이미지에 기초한 모니터링 방법에 대해 살펴보았으나 복수의 이미지에 기초하여 모니터링을 수행할 수도 있다. 복수에 이미지에 기초하여 모니터링을 수행하는 경우 모니터링 장치의 총 모니터링 영역이 증가하거나 모니터링의 정확도가 향상될 수 있다.
복수의 이미지에 기초한 모니터링 방법은 상기 복수의 이미지를 정합하는 단계를 포함할 수 있다. 예를 들어, 제1 이미지 및 제2 이미지를 정합하여 하나의 정합 이미지를 생성하고 상기 정합 이미지에 기초하여 접안 가이드 정보를 획득할 수 있다.
이미지 정합 단계는 세그멘테이션 이미지 생성 단계 이전에 수행되거나 그 이후에 수행될 수 있다. 예를 들어, 복수의 항만 이미지를 정합하여 정합 이미지를 생성한 후 이미지 세그멘테이션을 수행하거나 복수의 항만 이미지 각각에 대해 세그멘테이션을 수행한 후 복수의 세그멘테이션 이미지를 정합할 수 있다.
이미지 정합 단계는 시점 변환 단계 이전에 수행되거나 그 이후에 수행될 수 있다. 예를 들어, 복수의 항만 이미지를 정합하여 정합 이미지를 생성한 후 시점 변환을 수행하거나 복수의 항만 이미지 각각에 대해 시점 변환을 수행한 후 복수의 시점 변환 이미지를 정합할 수 있다.
해수면 높이 정보는 복수의 이미지를 정합하기 전에 고려되거나 정합한 후에 고려되거나 정합 전후 모두에 고려될 수 있다. 예를 들어, 복수의 이미지를 해수면 높이 정보를 고려하여 보정한 후 정합하거나 복수의 이미지를 정합하여 정합 이미지를 생성한 후 해수면 높이 정보를 고려하여 상기 정합 이미지를 보정할 수 있다.
이미지 정합은 특징점 매칭을 통해 수행될 수 있다. 예를 들어, 제1 이미지와 제2 이미지의 특징점을 추출하고 이를 매칭하여 정합 이미지를 생성할 수 있다. 이 경우 정합 정보는 특징점 및 특징점 매칭을 위해 필요한 정보를 포함할 수 있다.
이미지 정합을 위해 호모그래피 행렬(homography matrix)이 필요할 수 있다. 이 경우 정합 정보는 호모그래피 행렬을 포함할 수 있다. 호모그래피는 동일한 평면 상에서의 임의의 두 이미지 사이의 매칭으로, 호모그래피 행렬은 식 2와 같이 표현될 수 있다.
[식 2]
Figure PCTKR2021000038-appb-I000002
여기서, 좌변 및 우변의 3x1 행렬은 이미지의 좌표를, 우변의 3x3 행렬은 호모그래피 행렬을 의미한다. 복수의 이미지 사이의 호모그래피 행렬을 계산한 후 이를 이용하여 이미지 정합을 수행해 정합 이미지를 생성할 수 있다.
전술한 이미지 정합 방법은 예시에 불과하고 이 외의 다른 방법으로 이미지 정합이 수행될 수도 있다.
이상에서는 주로 선박 접안 시의 모니터링에 대해 설명하였으나 이는 선박 이안 시나 선박 운항 시에도 적용될 수 있다. 예를 들어, 다른 선박이나 선박 주변의 장애물을 감지하거나, 이들까지의 거리, 이들의 이동 속도 등을 이용하여 충돌을 경고하거나 경로 추천/생성을 하는 등 선박의 안전한 운항을 보조하거나 가이드하기 위해 전술한 방법이 적용될 수 있다. 또는 이러한 정보를 바탕으로 자율 운항을 수행할 수도 있을 것이다. 또한, 해수면을 고려하여 가이드 정보를 획득하는 것으로 설명하였으나 해수면에 한정되는 것은 아니고 수면을 고려하는 것으로 넓게 이해되어야 한다. 전술한 접안 가이드 정보는 선박 이안 시에는 이안 가이드 정보, 선박 운항 시에는 운항 가이드 정보와 같이 지칭될 수 있을 것이다. 이안 가이드 정보 획득 단계/운항 가이드 정보 획득 단계는 전술한 접안 가이드 정보 획득 단계를 포함할 수 있다.
도 47은 일 실시예에 따른 운항 가이드 정보를 설명하기 위한 도면이다. 도 47을 참고하면, 운항 가이드 정보 획득 단계는 타겟 선박(OBJ1)의 운항 시 다른 선박(OBJ3)이나 부표 등 장애물(OBJ10)과의 운항 가이드 정보(f9, f10)를 산출하는 것을 포함할 수 있다.
모니터링 장치가 선박에 설치되는 경우에는 그 설치 높이가 선박의 운항에 따라 변화할 수 있다. 모니터링 장치가 항만 등 그 높이가 변하지 않는 장소에 설치되는 경우에는 의도적으로 변경하지 않는 한 장치의 높이가 일정할 것이므로 해수면 높이만 알 수 있다면 해수면으로부터 장치까지의 거리를 예측할 수 있을 것이다. 그러나 모니터링 장치가 선박과 같이 그 높이가 변하는 장소에 설치되는 경우 해수면 높이를 알더라도 선박의 흘수(draft)를 알 수 없다면 해수면으로부터 장치까지의 정확한 거리를 예측할 수 없을 것이다. 예를 들어, 모니터링 장치가 항만에 설치되면 해수면 높이가 증가하는 경우 장치와 해수면 사이의 거리가 감소한다고 볼 수 있지만 선박에 설치되면 해수면 높이는 증가하더라도 선박의 흘수가 감소하여 장치와 해수면 사이의 거리가 증가할 수도 있을 것이다. 따라서 이러한 경우에는 해수면의 높이보다는 장치와 해수면 사이의 상대적인 거리를 획득하여야 하고, 선박에 설치된 모니터링 장치로부터 가이드 정보를 획득하기 위해서는 해수면 높이 정보는 선박의 흘수를 반영하여 결정되어야 할 필요가 있다. 이러한 관점은 접안 가이드 정보를 획득하는 경우에도 적용될 수 있을 것이다.
실시예에 따른 방법은 다양한 컴퓨팅 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
상기에서는 실시예를 기준으로 본 발명의 구성과 특징을 설명하였으나 본 발명은 이에 한정되지 않으며, 본 발명의 사상과 범위 내에서 다양하게 변경 또는 변형할 수 있음은 본 발명이 속하는 기술 분야의 당업자에게 명백한 것이며, 따라서 이와 같은 변경 또는 변형은 첨부된 특허청구범위에 속함을 밝혀둔다.
전술한 바와 같이, 상기 발명의 실시를 위한 최선의 형태에서, 관련된 사항을 기술하였다.

Claims (20)

  1. 컴퓨팅 수단에 의해 수행되는 항만 모니터링 방법에 있어서,
    제1 뷰 속성을 가지는 항만 이미지(harbor image)를 획득하는 단계;
    입력 이미지로부터 상기 입력 이미지에 포함된 오브젝트의 종류에 대한 정보를 출력하도록 학습된 인공 신경망을 이용한 이미지 세그멘테이션을 수행하여 상기 항만 이미지에 대응되고 상기 제1 뷰 속성을 가지는 세그멘테이션 이미지(segmentation image)를 생성하는 단계 - 상기 세그멘테이션 이미지는 선박에 대응되도록 라벨링된 제1 픽셀 및 바다에 대응되도록 라벨링된 제2 픽셀을 포함함 - ;
    상기 제1 뷰 속성을 가지는 이미지를 상기 제1 뷰 속성과 다른 제2 뷰 속성을 가지는 이미지로 변환하기 위해 이용되는 제1 시점 변환 정보(first view transformation information)를 이용한 상기 세그멘테이션 이미지의 시점 변환을 통해 상기 제2 뷰 속성을 가지는 변환 세그멘테이션 이미지(transformed segmentation image)를 생성하는 단계; 및
    상기 변환 세그멘테이션 이미지에 기초하여 상기 선박의 접안 가이드 정보(berthing guide information)를 산출하는 단계 - 상기 접안 가이드 정보는 상기 선박의 안벽(wharf wall)과의 거리에 대한 정보 및 상기 선박의 상기 안벽으로의 접근 속도에 대한 정보 중 적어도 하나를 포함함 - 를 포함하되,
    상기 변환 세그멘테이션 이미지를 생성하는 단계는,
    해수면의 높이(sea level)를 반영하는 해수면 높이 정보(sea level information)를 획득하는 단계;
    상기 제1 시점 변환 정보를 상기 해수면 높이 정보를 반영하여 업데이트하는 단계; 및
    상기 업데이트된 제1 시점 변환 정보를 이용한 상기 세그멘테이션 이미지의 시점 변환을 통해 상기 제2 뷰 속성을 가지는 변환 세그멘테이션 이미지(transformed segmentation image)를 생성하는 단계를 포함하는
    항만 모니터링 방법.
  2. 제1 항에 있어서,
    상기 업데이트하는 단계는, 기준 평면(reference plane)에 기초하여 생성된 상기 제1 시점 변환 정보를 상기 해수면 높이 정보를 반영하여 업데이트하는 것인
    항만 모니터링 방법.
  3. 제1 항에 있어서,
    상기 접안 가이드 정보는, 상기 선박의 상기 해수면과 접하는 영역인 경계 영역(border area)에 기초하여 산출되는
    항만 모니터링 방법.
  4. 제3 항에 있어서,
    상기 선박의 안벽과의 거리에 대한 정보는, 상기 경계 영역의 상기 안벽과의 거리에 대응되고,
    상기 안벽으로의 접근 속도에 대한 정보는, 상기 경계 영역의 상기 안벽으로의 접근 속도에 대응되는
    항만 모니터링 방법.
  5. 제3 항에 있어서,
    상기 접안 가이드 정보는, 상기 선박의 선수에 대응되는 제1 포인트 및 상기 선박의 선미에 대응되는 제2 포인트 - 상기 제1 포인트 및 상기 제2 포인트는 상기 경계 영역에 포함됨 - 에 기초하여 산출되는
    항만 모니터링 방법.
  6. 제5 항에 있어서,
    상기 선박의 안벽과의 거리에 대한 정보는, 상기 제1 포인트 및 상기 제2 포인트의 상기 안벽과의 거리에 대응되고,
    상기 안벽으로의 접근 속도에 대한 정보는, 상기 제1 포인트 및 상기 제2 포인트의 상기 안벽으로의 접근 속도에 대응되는
    항만 모니터링 방법.
  7. 제1 항에 있어서,
    상기 항만 이미지는, 제1 항만 이미지 및 상기 제1 항만 이미지와 모니터링 영역이 적어도 일부 중첩되는 제2 항만 이미지를 포함하는
    항만 모니터링 방법.
  8. 제7 항에 있어서,
    상기 해수면 높이 정보를 획득하는 단계는, 상기 제1 항만 이미지의 모니터링 영역과 상기 제2 항만 이미지의 모니터링 영역이 중첩되는 영역인 오버랩 영역에 기초하여 상기 해수면 높이 정보를 산출하는 단계를 포함하는
    항만 모니터링 방법.
  9. 제8 항에 있어서,
    상기 해수면 높이 정보를 획득하는 단계는, 서로 매칭되는 상기 제1 항만 이미지 및 상기 제2 항만 이미지의 특징점에 기초하여 상기 오버랩 영역을 결정하는 단계를 더 포함하는
    항만 모니터링 방법.
  10. 제1 항에 있어서,
    상기 해수면 높이 정보를 획득하는 단계는, 상기 안벽에 의해 폐색되어(occluded) 상기 항만 이미지에 표현되지 않은 바다에 대응되는 음영 영역에 기초하여 상기 해수면 높이 정보를 산출하는 단계를 포함하는
    항만 모니터링 방법.
  11. 제1 항에 있어서,
    상기 해수면 높이 정보를 획득하는 단계는, 상기 항만 이미지에 포함된 높이 측정 오브젝트가 상기 해수면 위로 노출된 영역에 기초하여 상기 해수면 높이 정보를 산출하는 단계를 포함하는
    항만 모니터링 방법.
  12. 제1 항에 있어서,
    상기 해수면 높이 정보를 획득하는 단계는, 상기 해수면 높이 정보를 측정하기 위한 센서로부터 상기 해수면 높이 정보를 수신하는 단계를 포함하는
    항만 모니터링 방법.
  13. 제1 항에 있어서,
    상기 해수면 높이 정보를 획득하는 단계는, 해상 교통 관제 시스템(vessel traffic service system, VTS system)으로부터 상기 해수면 높이 정보를 수신하는 단계를 포함하는
    항만 모니터링 방법.
  14. 제1 항에 있어서,
    상기 접안 가이드 정보는, 상기 선박의 인접 선박과의 거리에 대한 정보 및 상기 인접 선박으로의 접근 속도에 대한 정보 중 적어도 하나를 더 포함하는
    항만 모니터링 방법.
  15. 제1 항에 있어서,
    상기 제1 뷰 속성을 가지는 이미지를 상기 제1 뷰 속성 및 상기 제2 뷰 속성과 다른 제3 뷰 속성을 가지는 이미지로 변환하기 위해 이용되는 제2 시점 변환 정보를 이용한 상기 항만 이미지의 시점 변환을 통해 상기 제3 뷰 속성을 가지는 디스플레이 이미지(display image)를 생성하는 단계를 더 포함하는
    항만 모니터링 방법.
  16. 제15 항에 있어서,
    상기 디스플레이 이미지 및 상기 접안 가이드 정보를 출력하는 단계를 더 포함하는
    항만 모니터링 방법.
  17. 제16 항에 있어서,
    상기 출력하는 단계는,
    원격 위치한 단말을 이용하여 상기 디스플레이 이미지 및 상기 접안 가이드 정보를 디스플레이하기 위하여 상기 디스플레이 이미지 및 상기 접안 가이드 정보를 상기 단말로 송신하는 단계; 및
    상기 디스플레이 이미지 및 상기 접안 가이드 정보를 디스플레이하는 단계 중 적어도 하나를 포함하는
    항만 모니터링 방법.
  18. 제1 항에 있어서,
    상기 제2 뷰는, 상기 해수면과 수직한 방향에서 상기 해수면을 내려다 본 뷰인 것을 특징으로 하는
    항만 모니터링 방법.
  19. 컴퓨팅 수단에 의해 수행되는 선박 주변 모니터링 방법에 있어서,
    제1 뷰 속성을 가지는 해상 이미지(marine image)를 획득하는 단계;
    입력 이미지로부터 상기 입력 이미지에 포함된 오브젝트의 종류에 대한 정보를 출력하도록 학습된 인공 신경망을 이용한 이미지 세그멘테이션을 수행하여 상기 해상 이미지에 대응되고 상기 제1 뷰 속성을 가지는 세그멘테이션 이미지(segmentation image)를 생성하는 단계 - 상기 세그멘테이션 이미지는 장애물에 대응되도록 라벨링된 제1 픽셀 및 바다에 대응되도록 라벨링된 제2 픽셀을 포함함 - ;
    상기 제1 뷰 속성을 가지는 이미지를 상기 제1 뷰 속성과 다른 제2 뷰 속성을 가지는 이미지로 변환하기 위해 이용되는 제1 시점 변환 정보(first view transformation information)를 이용한 상기 세그멘테이션 이미지의 시점 변환을 통해 상기 제2 뷰 속성을 가지는 변환 세그멘테이션 이미지(transformed segmentation image)를 생성하는 단계; 및
    상기 변환 세그멘테이션 이미지에 기초하여 상기 선박의 운항 가이드 정보(navigation guide information)를 산출하는 단계 - 상기 운항 가이드 정보는 상기 선박의 상기 장애물과의 거리에 대한 정보 및 상기 선박의 상기 장애물로의 접근 속도에 대한 정보 중 적어도 하나를 포함함 - 를 포함하되,
    상기 변환 세그멘테이션 이미지를 생성하는 단계는,
    해수면의 높이(sea level)를 반영하는 해수면 높이 정보(sea level information)를 획득하는 단계;
    상기 제1 시점 변환 정보를 상기 해수면 높이 정보를 반영하여 업데이트하는 단계; 및
    상기 업데이트된 제1 시점 변환 정보를 이용한 상기 세그멘테이션 이미지의 시점 변환을 통해 상기 제2 뷰 속성을 가지는 변환 세그멘테이션 이미지(transformed segmentation image)를 생성하는 단계를 포함하는
    선박 주변 모니터링 방법.
  20. 컴퓨터에 제1 항 내지 제19 항 중 어느 하나의 항에 따른 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
PCT/KR2021/000038 2020-01-09 2021-01-04 해수면을 고려한 항만 및 선박 모니터링 방법 및 장치 WO2021141339A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP21738118.5A EP4089660A4 (en) 2020-01-09 2021-01-04 METHOD AND DEVICE FOR MONITORING PORT AND SHIP, TAKES SEA LEVEL INTO CONSIDERATION
US17/860,692 US20220351523A1 (en) 2020-01-09 2022-07-08 Method and device for monitoring port and ship in consideration of sea level

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2020-0003173 2020-01-09
KR1020200003173A KR102278674B1 (ko) 2020-01-09 2020-01-09 해수면을 고려한 항만 및 선박 모니터링 방법 및 장치
KR1020200139726A KR102530847B1 (ko) 2020-10-26 2020-10-26 항만 및 선박 모니터링 방법 및 장치
KR10-2020-0139726 2020-10-26

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/860,692 Continuation US20220351523A1 (en) 2020-01-09 2022-07-08 Method and device for monitoring port and ship in consideration of sea level

Publications (1)

Publication Number Publication Date
WO2021141339A1 true WO2021141339A1 (ko) 2021-07-15

Family

ID=76788810

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/000038 WO2021141339A1 (ko) 2020-01-09 2021-01-04 해수면을 고려한 항만 및 선박 모니터링 방법 및 장치

Country Status (3)

Country Link
US (1) US20220351523A1 (ko)
EP (1) EP4089660A4 (ko)
WO (1) WO2021141339A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113743654A (zh) * 2021-08-11 2021-12-03 青岛港国际股份有限公司 自动化码头闸口车流量预警方法
CN116205369A (zh) * 2023-03-20 2023-06-02 中国人民解放军军事科学院战略评估咨询中心 海上伏击预测系统及方法
CN116385984A (zh) * 2023-06-05 2023-07-04 武汉理工大学 船舶吃水深度的自动检测方法和装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230046232A1 (en) * 2021-08-12 2023-02-16 GM Global Technology Operations LLC Automatic detection of lidar to vehicle alignment state using camera data
CN116343144B (zh) * 2023-05-24 2023-08-11 武汉纺织大学 一种融合视觉感知自适应去雾的实时目标检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090271054A1 (en) * 2006-09-13 2009-10-29 Marine & Remote Sensing Solutions (Marss) Manoeuvre and safety system for a vehicle or an installation
KR20140126998A (ko) * 2013-04-24 2014-11-03 주식회사 씨큐로 갑문 충돌방지 시스템
KR20160062286A (ko) * 2014-11-24 2016-06-02 (주)세이프텍리서치 무인항공기를 이용한 선박 접안 지원 시스템 및 그 방법
KR20170133010A (ko) * 2016-05-25 2017-12-05 (주)주인정보시스템 카메라 영상을 이용한 선박의 안전접안 시스템 및 그 방법
KR102005559B1 (ko) * 2018-09-04 2019-08-07 씨드로닉스(주) 이미지 세그멘테이션을 이용한 주변 환경 감지 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101059623B1 (ko) * 2008-12-22 2011-08-25 지에스칼텍스 주식회사 선박 유도 시스템
KR101607904B1 (ko) * 2014-06-27 2016-03-31 (주)안세기술 3차원 레이저 스캐너를 이용한 선박 접안 시스템
PE20200273A1 (es) * 2017-04-07 2020-02-04 Tech Resources Pty Ltd Inspeccion de calado automatizado
WO2020050498A1 (ko) * 2018-09-04 2020-03-12 씨드로닉스㈜ 이미지 세그멘테이션을 이용한 주변 환경 감지 방법 및 장치
KR102113955B1 (ko) * 2018-10-04 2020-05-22 씨드로닉스(주) 선박 및 항만 모니터링 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090271054A1 (en) * 2006-09-13 2009-10-29 Marine & Remote Sensing Solutions (Marss) Manoeuvre and safety system for a vehicle or an installation
KR20140126998A (ko) * 2013-04-24 2014-11-03 주식회사 씨큐로 갑문 충돌방지 시스템
KR20160062286A (ko) * 2014-11-24 2016-06-02 (주)세이프텍리서치 무인항공기를 이용한 선박 접안 지원 시스템 및 그 방법
KR20170133010A (ko) * 2016-05-25 2017-12-05 (주)주인정보시스템 카메라 영상을 이용한 선박의 안전접안 시스템 및 그 방법
KR102005559B1 (ko) * 2018-09-04 2019-08-07 씨드로닉스(주) 이미지 세그멘테이션을 이용한 주변 환경 감지 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4089660A4 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113743654A (zh) * 2021-08-11 2021-12-03 青岛港国际股份有限公司 自动化码头闸口车流量预警方法
CN116205369A (zh) * 2023-03-20 2023-06-02 中国人民解放军军事科学院战略评估咨询中心 海上伏击预测系统及方法
CN116205369B (zh) * 2023-03-20 2023-11-21 中国人民解放军军事科学院战略评估咨询中心 海上伏击预测系统及方法
CN116385984A (zh) * 2023-06-05 2023-07-04 武汉理工大学 船舶吃水深度的自动检测方法和装置
CN116385984B (zh) * 2023-06-05 2023-09-01 武汉理工大学 船舶吃水深度的自动检测方法和装置

Also Published As

Publication number Publication date
US20220351523A1 (en) 2022-11-03
EP4089660A4 (en) 2023-10-11
EP4089660A1 (en) 2022-11-16

Similar Documents

Publication Publication Date Title
WO2021141339A1 (ko) 해수면을 고려한 항만 및 선박 모니터링 방법 및 장치
WO2020050498A1 (ko) 이미지 세그멘테이션을 이용한 주변 환경 감지 방법 및 장치
WO2020071839A1 (ko) 선박 및 항만 모니터링 장치 및 방법
WO2021141338A1 (ko) 선박 및 항만 모니터링 장치 및 방법
WO2020050499A1 (ko) 객체 정보 획득 방법 및 이를 수행하는 장치
WO2022035008A1 (ko) 항만 컨테이너 터미널에서 차량 출입 관리와 객체를 인식하는 비전 카메라 시스템 및 방법
WO2015152692A1 (ko) 차량 주변 이미지 생성 장치 및 방법
WO2020197297A1 (en) Mobile robot and method of controlling the same
WO2017188706A1 (ko) 이동 로봇 및 이동 로봇의 제어방법
WO2020085540A1 (en) Augmented reality method and apparatus for driving assistance
WO2016182275A1 (en) Autonomous driving apparatus and vehicle including the same
WO2017219588A1 (zh) 基于无人机的环境探测方法和系统
WO2022050507A1 (ko) 태양광 발전 모듈 모니터링 방법 및 시스템
WO2018212608A1 (ko) 구동형 마킹 시스템, 구동형 마킹 장치의 제어방법 및 컴퓨터 판독 가능한 기록매체
WO2016122042A9 (ko) 인공위성 영상과 랜덤포레스트 분류기 결합을 이용한 자동 하천 검출 시스템 및 방법
WO2015088289A1 (ko) 스테레오 카메라, 이를 구비한 차량 운전 보조 장치, 및 차량
EP3993961A1 (en) Moving robot and control method thereof
AU2020244635B2 (en) Mobile robot control method
WO2017007166A1 (ko) 투영 이미지 생성 방법 및 그 장치, 이미지 픽셀과 깊이값간의 매핑 방법
EP3539113A1 (en) Electronic apparatus and method of operating the same
WO2019199112A1 (ko) 자율 작업 시스템, 방법 및 컴퓨터 판독 가능한 기록매체
WO2016088960A1 (ko) 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템
WO2015093823A1 (ko) 차량 운전 보조 장치 및 이를 구비한 차량
WO2016200013A1 (ko) 광학 장치 및 깊이 정보 생성 방법
WO2019231042A1 (ko) 생체 인증 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21738118

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021738118

Country of ref document: EP

Effective date: 20220809