WO2022060203A1 - 거리 측정 방법 및 이를 이용하는 거리 측정 장치 - Google Patents

거리 측정 방법 및 이를 이용하는 거리 측정 장치 Download PDF

Info

Publication number
WO2022060203A1
WO2022060203A1 PCT/KR2021/012971 KR2021012971W WO2022060203A1 WO 2022060203 A1 WO2022060203 A1 WO 2022060203A1 KR 2021012971 W KR2021012971 W KR 2021012971W WO 2022060203 A1 WO2022060203 A1 WO 2022060203A1
Authority
WO
WIPO (PCT)
Prior art keywords
distance
information
target image
moving object
proximity
Prior art date
Application number
PCT/KR2021/012971
Other languages
English (en)
French (fr)
Inventor
박별터
김한근
김동훈
Original Assignee
씨드로닉스주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020200128738A external-priority patent/KR102501450B1/ko
Application filed by 씨드로닉스주식회사 filed Critical 씨드로닉스주식회사
Publication of WO2022060203A1 publication Critical patent/WO2022060203A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B43/00—Improving safety of vessels, e.g. damage control, not otherwise provided for
    • B63B43/18—Improving safety of vessels, e.g. damage control, not otherwise provided for preventing collision or grounding; reducing collision damage
    • B63B43/20—Feelers
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • the present application relates to a distance measuring method and a distance measuring apparatus using the same, and more particularly, to a distance measuring method using an artificial neural network for performing image segmentation, and a distance measuring apparatus using the same.
  • An object to be solved in the present specification is to provide a method for detecting a surrounding environment for monitoring the vicinity of a ship and a port, and a device for detecting the surrounding environment using the same.
  • An object to be solved in the present specification is to provide a learning method of an artificial neural network used for sensing the surrounding environment.
  • the training set includes a plurality of images and object information labeled in pixels of the plurality of images and at least a portion of the plurality of images includes at least a portion of a reference object located thereunder, a moving object, and a navigable area
  • the object information reflects an object type and a relative proximity level from the reference object
  • the pixel corresponding to the moving object is object information indicating a section whose object type indicates the moving object and a section whose relative proximity level is a section corresponding to the section in which the moving object is located among a plurality of sections dividing the navigable area.
  • labeled and the plurality of sections are sequentially arranged from a boundary line between the navigable section and the reference object to an upper limit of the navigable area, and a pixel corresponding to the navigable area indicates that the object type is the navigable area.
  • labeled with object information indicating proximity and its relative proximity level is undefined; obtaining a target image; calculating object information related to the target image from the target image using the artificial neural network; detecting a moving object in the target image based on the calculated object information; and determining the proximity of the moving object in the target image based on the relative proximity level reflected in the calculated object information.
  • a memory for storing an artificial neural network learned by a training set wherein the training set includes a plurality of images and object information labeled in pixels of the plurality of images, At least a portion includes at least a portion of a reference object positioned thereunder, a moving object, and a navigable area, wherein the object information reflects an object type and a relative proximity level from the reference object, and a pixel corresponding to the moving object is labeled with object information indicating a section in which the object type indicates the moving object and a section corresponding to a section in which the moving object is located among a plurality of sections whose relative proximity level divides the navigable area, the plurality of sections is sequentially arranged from the boundary line between the navigable section and the reference object to the upper limit of the navigable area, and a pixel corresponding to the navigable area indicates that the object type indicates the navigable area and its relative proximity level is Labeled with object information indicating undefined proximity - ; and obtaining
  • FIG. 1 is a diagram of a system for performing an operation related to sensing a surrounding environment according to an embodiment of the present specification.
  • FIG. 2 is a view related to sensing the surrounding environment according to an embodiment of the present specification.
  • FIG. 3 is a diagram illustrating a learning step and an inference step of an artificial neural network according to an embodiment of the present specification.
  • FIG. 4 is a table related to a first embodiment of labeling in the surrounding environment sensing method according to an embodiment of the present specification.
  • 5 is a table related to a second embodiment of labeling in a method for detecting a surrounding environment according to an embodiment of the present specification.
  • FIG. 6 is a table related to a third embodiment of labeling in the ambient environment sensing method according to an embodiment of the present specification.
  • FIG. 7 is a diagram of an index representing an overlapping object according to an embodiment of the present specification.
  • FIG. 8 is a diagram of an index representing connectivity between objects according to an embodiment of the present specification.
  • 9 is a diagram illustrating classification of objects of the same type according to distance information according to an embodiment of the present specification.
  • 10 is a diagram of an index in which type information is set to depend on distance information according to an embodiment of the present specification.
  • 11 is a diagram of distance information according to a reference object according to an embodiment of the present specification.
  • FIG. 12 is a diagram for obtaining location information using an image pixel according to an embodiment of the present specification.
  • the method includes the steps of preparing an artificial neural network learned by a training set - the training set includes a plurality of ocean images, object type information, and distance information including marine information including, wherein the object type information includes a first type index for a ship, a second type index for water surface, and a third type index for the surface, and the distance information indicates an undefined distance and a first distance index indicating a first distance range, a second distance index indicating a first distance range, and a third distance index indicating a second distance range greater than the first distance range, wherein the A pixel labeled with the first kind index is labeled with the second distance index or the third distance index, and a pixel labeled with the first distance index among the pixels of the plurality of ocean images is the second kind index or the third Labeled with kind index - ; acquiring a target marine image generated from a camera, wherein the camera is installed in a port or vessel and monitors the surroundings
  • the object type information may further include a fourth type index for the upper surface of the vessel and a fifth type index for the side of the vessel, and a pixel labeled with the first type index among pixels of the plurality of marine images may be labeled with the third distance index, and a pixel labeled with the fourth type index or the fifth type index among pixels of the plurality of ocean images may be labeled with the second distance index.
  • the object type information may further include a fourth type index for the upper surface of the vessel and a fifth type index for the side surface of the vessel, wherein the first type index and the second type index among pixels of the plurality of marine images A pixel labeled with the distance index may be labeled with one of the fourth type index and the fifth type index.
  • the object type information may further include a fourth type index for a crane, and the pixel labeled with the fourth type index among the pixels of the plurality of marine images is the first type index or the third type index may be labeled as
  • the method for detecting the surrounding environment is output from the artificial neural network based on the target marine image and based on the target marine image according to the object type information of the marine information having the second type index, using the artificial neural network. detecting sleep; and determining the detected distance to the sleep as an undefined distance.
  • the determining may include ignoring distance information of ocean information output from the artificial neural network based on the target ocean image and having the second type index.
  • the ocean information may further include an object identifier, and pixels labeled with the first type index and the second distance index among the pixels of the plurality of ocean images may be labeled with the object identifier.
  • the pixel labeled with the first type index and the second distance index may include one or more first pixels and one or more second pixels, and the object identifier labeled with the first pixel is assigned to the second pixel. It may be different from the labeled object identifier.
  • the method for detecting the surrounding environment includes generating an obstacle map based on the measured distance of the vessel.
  • the output distance index corresponds to the second distance index
  • the target vessel is reflected on the obstacle map. may further include.
  • the determining may include obtaining distance information of the target vessel based on at least one of a position of the target vessel on the target marine image and posture information of the camera, The distance may be determined further based on the obtained distance information.
  • the obtained distance information may be expressed as a distance value
  • the determining may further include determining an error based on whether the obtained distance information is included in the output distance index, The distance of the target vessel may be determined further based on the error.
  • the distance of the vessel when the error occurs, the distance of the vessel may be determined as a distance range corresponding to the output distance index, and when the error does not occur, the distance of the vessel corresponds to the output distance index from the distance value It can be determined as a distance range that is up to the maximum value of the distance range.
  • the device for detecting a surrounding environment is a memory for storing an artificial neural network learned by a training set, wherein the training set includes a plurality of marine images, object type information, and distance information including marine information including, wherein the object type information includes a first type index for a ship, a second type index for water surface, and a third type index for the surface, and the distance information is an undefined distance.
  • a pixel labeled with the first type index is labeled with the second distance index or the third distance index
  • a pixel labeled with the first distance index among the pixels of the plurality of ocean images is the second type index or the second type index.
  • Labeled with a 3-kind index - and acquiring a target ocean image generated from a camera, wherein the camera is installed in a port or a ship and monitors the surroundings.
  • the method includes the steps of preparing an artificial neural network learned by a training set, wherein the training set includes a plurality of ocean images and object type information, distance information, and ocean information including surface type information, wherein the object type information includes a first type index for a vessel and a second type index for a water surface, and the distance information includes a first distance indicating an undefined distance an index, a second distance index indicating a first distance range, and a third distance index indicating a second distance range greater than the first distance range, wherein the surface type information is a first surface index for a side of the vessel and a second surface index for a top surface of the vessel, wherein the first surface index and the second surface index are only labeled with pixels labeled with the first type index and the second distance index; acquiring a target marine image generated from a camera, wherein the camera is installed in a port or vessel and monitors the surroundings; detecting a vessel in the vicinity based
  • the detected boundary of the vessel may correspond to a boundary between the detected side of the vessel and the detected upper surface of the vessel.
  • the distance measuring method comprises the steps of preparing an artificial neural network trained by a training set, wherein the training set labels a plurality of images and pixels of the plurality of images object information, wherein at least a portion of the plurality of images includes at least a portion of a reference object located thereunder, a moving object, and an navigable area, and the object information includes an object type and a relative proximity from the reference object.
  • the pixel corresponding to the moving object indicates a section corresponding to the section in which the moving object is located among a plurality of sections in which the object type indicates the moving object and the relative proximity level divides the navigable area Labeled with object information indicating, the plurality of sections are sequentially arranged from the boundary line between the navigable section and the reference object to the upper limit of the navigable area, and the pixel corresponding to the navigable area is the object type labeled with object information indicating the navigable area and indicating the relative proximity level of which is not defined; obtaining a target image; calculating object information related to the target image from the target image using the artificial neural network; detecting a moving object in the target image based on the calculated object information; and determining the proximity of the moving object in the target image based on the relative proximity level reflected in the calculated object information.
  • the distance measuring method may further include calculating distance information of a moving object in the target image based on a position on the target image of a pixel of the target image corresponding to the moving object in the target image.
  • the determining of the proximity may determine the proximity of the moving object further based on the calculated distance information.
  • the relative proximity level may be selected from among a plurality of categories having a distance range, and the distance information may be expressed as a distance value, and the determining of the proximity may include determining that the distance value of the distance information is a distance range of the relative proximity level.
  • the maximum value of the distance range of the relative proximity level may be determined as the proximity of the moving object from the distance value of the distance information.
  • the distance measuring method may include: detecting a navigable area in the target image based on the calculated object information; and determining the detected proximity to the navigable area as a proximity in which a relative proximity level is not defined.
  • the relative proximity level may include a first proximity level and a second proximity level indicating closer proximity than the first proximity level.
  • object information labeled in pixels corresponding to the moving objects located in the section corresponding to the second proximity level is selected from among the top and side surfaces of the moving object.
  • Information indicating at least one may be further reflected.
  • the object information labeled in the pixel corresponding to the moving object located in the section corresponding to the second proximity level among the moving objects included in at least some of the plurality of images of the training set is to distinguish the same type of object. It can further reflect the object identifier for
  • pixels corresponding to the moving objects located over the section corresponding to the first proximity level and the section corresponding to the second proximity level include the Object information indicating the second proximity level may be labeled.
  • the distance measuring method further includes: generating an obstacle map based on the proximity of the moving object, wherein the obstacle map includes a plurality of unit regions to which weights reflecting operational suitability are assigned; When the relative proximity level corresponding to the moving object is the first proximity level, the moving object may not be reflected on the obstacle map.
  • the distance measuring method may further include tracking the moving object when the relative proximity level corresponding to the moving object is the second proximity level.
  • the second proximity level may correspond to a section in contact with the reference object among the plurality of sections.
  • the target image may be captured by a camera installed in a port or a vessel
  • the reference object may be characterized in that it corresponds to one of the port and the vessel in which the camera is installed.
  • At least one boundary between two adjacent sections may be formed in consideration of at least one of a shape of the reference object and an upper limit of the navigable area.
  • a distance measuring device is a memory for storing an artificial neural network learned by a training set, wherein the training set includes a plurality of images and object information labeled in pixels of the plurality of images, At least a portion of the plurality of images includes at least a portion of a reference object positioned thereunder, a moving object, and a navigable area, wherein the object information reflects an object type and a relative proximity level from the reference object, and the moving object A pixel corresponding to is labeled with object information indicating a section in which the object type indicates the moving object and a section corresponding to the section in which the moving object is located among a plurality of sections whose relative proximity level divides the navigable area,
  • the plurality of sections are sequentially arranged from a boundary line between the navigable section and the reference object to an upper limit of the navigable area, and a pixel corresponding to the navigable area indicates that the object type indicates the navigable area, and Relative proximity level is labeled with object information
  • the distance measuring device may further include a camera installed in a port or a ship to generate the target image, and the reference object may be characterized in that it corresponds to the port or the ship in which the camera is installed.
  • the present specification mainly describes a method for detecting a surrounding environment in the sea, such as a ship or a port, and a device for detecting the surrounding environment using the same, it is not limited thereto, and it is to be noted in advance that it can be applied to various moving objects and environments such as vehicles and drones.
  • monitoring refers to not only monitoring, observing, and detecting a certain area or a specific object using various sensors, but also providing the result to the user or providing additional information through calculation based on the result, etc. should be construed broadly to include
  • the system 10 may perform learning and/or inference of an artificial neural network.
  • the system 10 may include a control module 11 , an input module 13 , and an output module 15 .
  • the control module 11 may perform learning of the artificial neural network, inference, image segmentation, and sensing of the surrounding environment. In addition, the operation of receiving various inputs through the input module 13, the operation of outputting various outputs through the output module 15, the operation of storing various data in the memory or acquiring various data from the memory are performed by the control module ( 11).
  • various operations or steps disclosed in the embodiments of the present specification may be interpreted as being performed by the control module 11 or being performed by the control of the control module 11 unless otherwise specified.
  • the input module 13 may receive information from outside the system 10 .
  • the input module 13 may include at least some of a monocular camera, a binocular camera, an infrared camera, an IR camera, a TOF camera, a radar, a lidar, and an ultrasonic detector.
  • the input module 13 may be installed at a fixed location such as a port or on land, or may be installed on a moving object such as a ship, vehicle, or drone.
  • the output module 15 may output a result of an operation performed by the control module 11 and the like.
  • the output module 15 may output an image such as a resolution image, an image segmentation result, and the like.
  • the output module 15 may be, for example, a display or a signal output circuit, but is not limited thereto.
  • the input module 13 and the output module 15 may be separate modules or may be implemented as one module.
  • the input module 13 and the output module 15 may be implemented as one integrated module, and the integrated module may receive information from the outside and output the result of an operation performed by the control module 11, etc. there is.
  • the control module 11 , the input module 13 , and the output module 15 may all be implemented as one module.
  • the control module 11 , the input module 13 , and the output module 15 may include a control unit.
  • the control unit may process and operate various types of information and control other components constituting the module.
  • the control unit may be provided in the form of an electronic circuit that physically processes an electrical signal.
  • a module may include only a single control unit physically, or may include a plurality of control units.
  • the control unit may be one or a plurality of processors mounted on one computing means.
  • the control unit may be mounted on a physically separated server and a terminal and provided to processors that cooperate through communication.
  • control unit examples include a central processing unit (CPU), a graphics processing unit (GPU), a digital signal processing unit (DSP), a state machine, and an application specific Integrated Circuit (ASIC), Radio-Frequency Integrated Circuit (RFIC), and combinations thereof.
  • CPU central processing unit
  • GPU graphics processing unit
  • DSP digital signal processing unit
  • ASIC application specific Integrated Circuit
  • RFIC Radio-Frequency Integrated Circuit
  • the control module 11 , the input module 13 , and the output module 15 may include a communication unit.
  • the modules may transmit/receive information through a communication unit.
  • the input module 13 may transmit information obtained from the outside through the communication unit, and the control module 11 may receive information transmitted by the input module 13 through the communication unit.
  • the control module 11 may transmit an operation result through the communication unit, and the output module 15 may receive information transmitted by the control module 11 through the communication unit.
  • the communication unit may perform wired or wireless communication.
  • the communication unit may perform bi-directional or unidirectional communication.
  • the control module 11 , the input module 13 , and the output module 15 may include a memory.
  • the memory may store various processing programs, parameters for performing processing of the programs, or data as a result of such processing.
  • the memory may store data required for learning and/or reasoning, an artificial neural network in progress or a learned artificial neural network, and the like.
  • Memory includes non-volatile semiconductor memory, hard disk, flash memory, random access memory (RAM), read only memory (ROM), electrically erasable programmable read-only memory (EEPROM), or other tangible, non-volatile recording media. etc. can be implemented.
  • the system 10 shown in FIG. 1 is merely an example, and the configuration of the system 10 is not limited thereto.
  • the object may include an obstacle such as a terrain, a building, a ship, a buoy, a person, etc., an area in which the ship can operate, such as the ocean, and an area that may not be related to the operation of the ship, such as the sky.
  • objects may include backlights, cranes, ropes, and sea clutter.
  • the backlight may refer to a phenomenon in which information about an original object disappears from an image generated by a device due to the sun or lighting, or a region on an image corresponding thereto.
  • the rope may include a mooring rope for mooring the vessel.
  • the object that is a vessel may include a large vessel, a small vessel, and a tugboat.
  • the object may include a top surface of the vessel and a side surface of the vessel. In this case, information on an area or a point where the top surface and the side surface of the ship meet may be acquired based on the top surface and the side surface of the ship.
  • the object may include an area where the upper surface and the side of the ship meet or a lateral line of the ship corresponding to the meeting point.
  • sensing the surrounding environment is a comprehensive meaning that includes not only detecting an object, but also acquiring information about a situation around a ship or a port.
  • Detecting the object may include acquiring information on the existence, type, location, distance, absolute and relative speed and speed of the object.
  • FIG. 2 is a view related to sensing the surrounding environment according to an embodiment of the present specification.
  • the upper part of FIG. 2 is an image captured by a camera, and using this, an object can be detected as shown in the middle or below of FIG. 2 to sense the surrounding environment. .
  • the middle of FIG. 2 shows which object the corresponding pixel corresponds to for each pixel of the image, which is also referred to as segmentation.
  • segmentation a characteristic corresponding to a pixel on the image may be assigned or calculated from the image. It could be said that a characteristic has been assigned or labeled to a pixel.
  • a segmentation image as shown in the middle of FIG. 2 may be obtained by performing segmentation based on the image captured by the camera as shown in the upper part of FIG. 2 .
  • the middle of FIG. 2 shows which object the corresponding pixel corresponds to for each pixel of the image, which is also referred to as segmentation.
  • a first pixel area P1 is an area on an image of a pixel corresponding to a ship
  • a second pixel area P2 is the sea
  • a third pixel area P3 is a quay wall
  • the area P4 is the terrain
  • the fifth pixel area P5 is the area on the image of the pixel corresponding to the sky.
  • information on the type of object corresponding to each pixel on the image is calculated by performing segmentation, but information obtainable through segmentation is not limited thereto.
  • characteristics such as location, coordinates, distance, and direction of an object may also be acquired through segmentation. In this case, different characteristics may be expressed independently or may be expressed by reflecting them at the same time.
  • the lower part of FIG. 2 indicates at which position in the image an object exists with a bounding box, which is also referred to as detection.
  • detection can be viewed as detecting the position of an object in the form of a box, rather than calculating a characteristic for each pixel of an image.
  • the detection image shown below in FIG. 2 may be obtained by performing detection based on the image captured by the camera above of FIG. 2 . 2, it can be seen that a vessel is detected on the image and the position of the vessel is expressed as a rectangular bounding box (BB).
  • BB rectangular bounding box
  • sensing of the surrounding environment may be performed using an artificial neural network.
  • segmentation/detection may be performed using an artificial neural network.
  • the surrounding environment may be detected through one artificial neural network, or each artificial neural network may perform the sensing of the surrounding environment using a plurality of artificial neural networks, and the final result may be calculated by combining the results.
  • An artificial neural network is a kind of algorithm modeled after the structure of a human neural network, and may include one or more nodes or one or more layers including neurons, and each node may be connected through a synapse. Data input to the artificial neural network (input data) may be output (output data) through a node through a synapse, and information may be obtained through this.
  • Types of artificial neural networks include a convolutional neural network (CNN) that extracts features using a filter and a recurrent neural network (RNN) that has a structure in which the output of a node is fed back as an input.
  • CNN convolutional neural network
  • RNN recurrent neural network
  • Various structures such as restricted Boltzmann machine (RBM), deep belief network (DBN), generative adversarial network (GAN), relational network (RN), etc. can be applied and have limitations. it is not
  • the step of learning the artificial neural network will be expressed as a learning step
  • the step of using the artificial neural network will be expressed as an inference step.
  • the artificial neural network may be learned through various methods such as supervised learning, unsupervised learning, reinforcement learning, and imitation learning.
  • FIG. 3 is a diagram illustrating a learning step and an inference step of an artificial neural network according to an embodiment of the present specification.
  • the training data and the labeling data may be referred to as a training set.
  • the training data, output data, and labeling data may be images.
  • the labeling data may include ground truth. Alternatively, the labeling data may be data generated by a user or a program.
  • the learned artificial neural network may receive input data and output output data.
  • the information of the learning data in the learning stage information that can be inferred in the inference stage may vary.
  • the accuracy of the output data may vary according to the learning degree of the artificial neural network.
  • labeling using information about the type of object hereinafter referred to as “type information” and information about a distance (hereinafter referred to as “distance information”) will be described, but the description is not limited thereto.
  • Labels may also be labeled using or including other information, such as information, direction of travel, speed, and route markers.
  • an artificial neural network may be trained using the labeled labeling data.
  • the distance information may be expressed as a proximity level in that it indicates the proximity of an object.
  • the distance information of the object may be a position of a camera or a relative position of the object with respect to an arbitrary reference, or may be an absolute position.
  • the reference may be a specific object included in the image, but is not limited thereto.
  • the distance information may be expressed in a plurality of categories having a certain distance range.
  • the distance information may be expressed as a short distance, a medium distance, and a long distance.
  • the category may be expressed using numbers. For example, among distance information, a short distance may be expressed as 1, a medium distance may be expressed as 2, and a long distance may be expressed as 3.
  • the distance information may be expressed as a distance value of 10 m, 15 m, or the like.
  • distance information may be expressed by converting a distance value into a value within a predetermined range.
  • Distance information may be uniformly normalized or non-uniformly normalized using a log function or an exponential function. For example, distance information may be expressed by normalizing it to a value between 0 and 1.
  • a class may be set in consideration of object type information and distance information together, and an index may be assigned to each class.
  • index 2 may be assigned in consideration of both topography, which is information on the type of object, and short distance, which is distance information.
  • not all indexes need to include a plurality of pieces of information, nor do they need to include the same type of information.
  • a specific index may include only type information (eg, index 1 does not include distance information) and another index may include type information and distance information, and may be expressed in various ways depending on the case.
  • a class corresponding to specific distance information and specific type information may be assigned an index including a distance index corresponding to the specific distance information and a type index corresponding to the specific type information.
  • each of the distance index and the type index may be expressed as a single value.
  • the index may be expressed in the form of (distance index, type index).
  • a region or pixel labeled with a specific index on the image may be regarded as labeled with a specific distance index and a specific type index.
  • the area or pixel labeled with the index (1, 3) can be viewed as the short distance and the vessel labeled.
  • the distance index is a first distance index (0) corresponding to an undefined distance, a second distance index (1) corresponding to a short distance, a third distance index (2) corresponding to an intermediate distance, and a distance index corresponding to a long distance.
  • a corresponding fourth distance index 3 may be included.
  • the type index is a first type index (0) corresponding to other, a second type index (1) corresponding to the ocean, a third type index (2) corresponding to the terrain, and a fourth type index corresponding to the ship ( 3) and may include a fifth type index (4) corresponding to the rope.
  • each index of FIG. 6 may include a distance index expressed as a single value and a type index expressed as a set of a plurality of single values.
  • each index may be expressed to include one distance index and a plurality of type indexes.
  • the index may be expressed in the form of (distance index
  • each of the plurality of type indexes may correspond to type information of a specific object.
  • the first type index corresponding to the first type information has a first value (eg, 1)
  • the remaining type indexes may have a second value (eg, 0).
  • the specific region or pixel may be regarded as labeled with the first type index.
  • the index may include a distance index expressed as a set of a plurality of single values and a type index expressed as a single value. .
  • the index may include a distance index expressed as a set of a plurality of single values and a type index expressed as a set of a plurality of single values.
  • the above-described method of expressing distance information and type information is merely an example, and a distance index, a type index, an index, a class, and the like may be defined in a different way.
  • an index may be set to represent overlapping objects.
  • 7 is a diagram of an index representing an overlapping object according to an embodiment of the present specification.
  • an image 1000 may include an area 1100 where a ship and a topography overlap and an area 1200 where a ship and the ocean overlap.
  • the identification value is a first identification value (eg, 11) corresponding to both the ship and the terrain, and a second identification value corresponding to both the ship and the ocean.
  • 2 identification values eg, 12
  • a first identification value corresponds to an area 1100 where a ship and a topography overlap among the areas corresponding to the ship in the image 1000, and the ship and the ocean overlap each other.
  • a second identification value (eg, 12) may correspond to the region 1200 .
  • the type index is a first type index (eg, 5) corresponding to both a ship and a terrain and a ship and A second type index (eg, 6) corresponding to both oceans may be included.
  • an index (eg, (1, 5)) including the first type index in the area 1100 where the ship and the terrain overlap among the areas corresponding to the ship in the image 1000 is
  • an index (eg, (1, 6)) including the second type index may correspond to the area 1200 where the ship and the ocean overlap.
  • a class corresponds to an index including a type index expressed as a set of a plurality of single values as shown in FIG. 6
  • a ship and a topography A first index (eg, (1
  • a second index eg, to the area 1200 where the ship and the ocean overlap
  • 0, 1, 0 ,1, 0, 0)) may correspond.
  • overlapping objects can be expressed without separately adding an identification value or a type index.
  • the overlapping area is not expressed by labeling so that only the first vessel corresponds to the first vessel and the second vessel. It can be expressed by labeling it to correspond to both ships.
  • the sea area in which the sea level clutter occurs is labeled to correspond to both the sea level spur wave and the ocean.
  • an index may be set to represent connectivity between objects.
  • the connectivity may mean whether or not there is a physical connection between objects.
  • connectivity may mean whether another object is installed in one object.
  • an image 2000 may include an area 2100 corresponding to a crane installed in a ship and an area 2200 corresponding to a crane installed in a port (or terrain, land).
  • the identification value is a third identification value (eg, 13) corresponding to a crane installed on a ship and a fourth identification corresponding to a crane installed in a port may contain a value (eg, 14).
  • the third identification value corresponds to the area 2100 corresponding to the crane installed in the ship in the image 2000
  • the area corresponding to the crane installed in the port ( 2200) may correspond to a fourth identification value (eg, 14).
  • the type index is a third type index (eg, 7) corresponding to a crane installed on a ship and installed in a port It may include a fourth type index (eg, 8) corresponding to the crane.
  • an index (eg, (1, 7)) including a third type index corresponds to an area 2100 corresponding to a crane installed on a ship in the image 2000
  • An index (eg, (1, 8)) including a fourth type index may correspond to the area 2200 corresponding to the crane installed in the .
  • a class corresponds to an index including a type index expressed as a set of a plurality of single values as shown in FIG. 6
  • a third index eg, (1
  • a fourth index eg, (1
  • the connectivity between objects can be expressed without separately adding an identification value or a type index.
  • the installation position of the crane has been described as an example of connectivity between objects, but the present invention is not limited thereto.
  • a rope connected to at least one of a ship and a port may be expressed similarly.
  • an index may be set to distinguish different objects of the same type.
  • the plurality of ships may be distinguished by assigning a separate identifier to each of the plurality of ships included in the image.
  • the identifier may be included in an index for expressing object information.
  • assigning an identifier to an object included in an image may mean labeling an identifier on a region or pixel of an image corresponding to the object.
  • whether to distinguish different objects of the same type may vary according to distance information of the object.
  • 9 is a diagram illustrating classification of objects of the same type according to distance information according to an embodiment of the present specification. Referring to FIG. 9 , ships 3100 and 3200 corresponding to a first distance range adjacent to a port (or terrain, land) are separated from each other, and ships 3300 corresponding to a second distance range farther than the first distance range. ) may not be distinguished. For example, when the vessel corresponds to the first distance range, an identifier may be assigned to the vessel, and when the vessel corresponds to the second distance range, the identifier may not be assigned.
  • a different identifier for each object may be assigned to a vessel corresponding to the first distance range, and the same identifier may be assigned to a vessel corresponding to the second distance range for each object.
  • the first distance range may be distance information closer than the second distance range.
  • the index may be set so that the type information labeled on the image depends on the distance information of the object.
  • the object when the object corresponds to the first distance information, the object may be labeled with the first type information, and when the object corresponds to the second distance information, the second type information may be labeled.
  • 10 is a diagram of an index set so that type information depends on distance information according to an embodiment of the present specification, and relates to setting the index so that whether the upper surface/side of the ship is distinguished according to the distance information of the ship is changed. Referring to the upper part of FIG. 10 , when the distance between the vessel and the port is greater than a certain distance (or corresponds to the first distance information), the area corresponding to the vessel 4100 in the image 4000 is a vessel without distinction of top/side can be labeled as On the other hand, referring to the bottom of FIG.
  • the image 5000 when the distance between the ship and the port is less than a certain distance (or corresponds to the second distance information indicating a closer distance than the first distance information), in the image 5000
  • the corresponding region may be labeled with the top surface 5100 or the side surface 5200 .
  • the upper surface 5100 and the side surface 5200 may be regions corresponding to the upper surface and the side surface of the ship, respectively.
  • the upper surface of the ship may include a deck and a structure (eg, bridge, chimney, crane) positioned on the deck.
  • the first type information when the object corresponds to the first distance information, the first type information may be labeled on the object, and when the object corresponds to the second distance information, the first type information and the second type information may be labeled together.
  • the area corresponding to the vessel 4100 in the image 4000 is a vessel without distinction of top/side can be labeled as On the other hand, referring to the bottom of FIG.
  • the image 5000 when the distance between the ship and the port is less than a certain distance (or corresponds to the second distance information indicating a closer distance than the first distance information), in the image 5000 In the corresponding area, at least one of the upper surface 5100 and the side surface 5200 may be labeled together with the vessel.
  • the type information that can be labeled in the image may be at least partially different from the type information that can be labeled in the image when the object corresponds to the second distance information. For example, only when the distance between the ship and the port is less than a certain distance (or only when it corresponds to the first distance information), a specific object (eg, a rope, a crane) may be separately labeled on the image.
  • a specific object eg, a rope, a crane
  • the index is set so that the top/side of the vessel is distinguished according to the distance information of the vessel.
  • the distance information may be labeled based on a region, a line, or a point on the image.
  • the distance information may be labeled based on a specific object on the image.
  • a specific object serving as a reference for distance information is referred to as a reference object.
  • the reference object may be a ship, a quay wall, a terrain, or the like.
  • the reference object may be an object in which a device (eg, a camera) generating an image on which labeling is performed is installed.
  • distance information includes a first distance range 6200 , a second distance range 6300 that is farther than the first distance range 6200 , and the second distance range with respect to a topography that is a reference object 6100 . and a third distance range 6400 greater than 6300 .
  • a distance index indicating the first distance range 6200 may be labeled in an image area or pixel corresponding to an object (eg, a ship, an obstacle) located in the first distance range 6200 . .
  • the second distance range 6300 and a distance index indicating the third distance range 6400 may be labeled.
  • labeling the distance information based on the reference object may mean labeling based on a part of the reference object. For example, referring to FIG. 11 , distance information may be labeled based on a boundary of a terrain that is a reference object. In addition to this, the distance information may be labeled based on one area or one point of the reference object.
  • the reference object may be located in a specific area on the image. As an example, the reference object may be located in a lower area on the image. As another example, the reference object may be located in at least one of an upper region, a lower region, a left region, and a right region on the image.
  • the distance information may include a plurality of distance ranges defined between a first criterion and a second criterion on the image.
  • at least one of the first criterion and the second criterion may be a reference object.
  • the first criterion may be a reference object and the second criterion may be a specific region, a specific line, or a specific point on the image.
  • distance information may be set for a drivable area (eg, ocean, road) on the image.
  • the drivable area may be divided into a plurality of areas, and different distance information (eg, short-distance, medium-distance, and long-distance) may be set for each of the plurality of areas.
  • different distance information eg, short-distance, medium-distance, and long-distance
  • an object located in one of the plurality of regions may be labeled with a distance index corresponding to distance information set in the one region.
  • a boundary between adjacent distance ranges among the plurality of distance ranges may be set in consideration of at least a reference object.
  • the boundary may be set in consideration of at least one of a shape and a boundary of a reference object.
  • a boundary between the first distance range 6200 and the second distance range 6300 may be set in consideration of the boundary of the terrain, which is a reference object.
  • the object when the object is located over a plurality of distance ranges, the object may be labeled with a distance index corresponding to one of the plurality of distance ranges. For example, when a part of the object is located in the first distance range and the rest is located in the second distance range, the entire object is labeled with a distance index corresponding to the closer of the first distance range and the second distance range.
  • the distance information may include two distance ranges or may include four or more distance ranges.
  • the setting of the distance range may be changed in consideration of a camera installation location, an installation direction, and a camera specification (eg, FOV).
  • FOV camera specification
  • the setting of the distance range of the first image may be different from the setting of the distance range of the second image.
  • location information and type information of an object may be acquired together with one model (eg, an artificial neural network).
  • an image may be input to the model to obtain output data including location information and type information corresponding to pixels of the image.
  • location information is information related to the location of an object, and may include, for example, at least one of distance information, direction information, and coordinates. Also, the location information may mean a relative location of an object or an absolute location.
  • type information of an object may be acquired with a first model and location information of an object may be acquired with a second model.
  • an image is input to the first model to obtain first output data including type information corresponding to pixels of the image, and at least one of the image and the first output data is applied to the second model
  • the second output data may be obtained.
  • at least one of the first model and the second model may be an artificial neural network.
  • At least some object information among a plurality of object information output by the model is changed or ignored based on the remaining object information, etc. Different from the output information output by the model can be treated. For example, when an image is input to a model to obtain location information and type information, location information may not be considered according to the type information.
  • the image corresponding to the ocean A distance index (eg, near, intermediate, and far) other than an undefined distance may be labeled in one region or one pixel of .
  • distance information of one region or one pixel of the image corresponding to the ocean may be regarded as an undefined distance regardless of which distance index is output through inference.
  • a model for outputting information about at least one of a bow and a stern of a ship may be provided.
  • the model may receive an image and output location information of at least one of a bow and a stern of a ship included in the image.
  • the model may output position information by displaying at least one of a bow and a stern on the image.
  • the model may output a coordinate value corresponding to at least one of a bow and a stern on the image.
  • a model for outputting information on at least one of the bow and stern of a ship is to be learned using training data including an input image and location information of at least one of the bow and stern of the ship included in the input image.
  • the model may be trained based on output data output by the model receiving the input image and the location information included in the training data.
  • a model that outputs information about the lateral line of the vessel may be provided.
  • the model may receive an image and output information on the lateral line of the ship included in the image.
  • the model may output information about the lateral line by displaying the lateral line on the image.
  • the model may output information on the lateral line by displaying one or more points corresponding to the lateral line on the image.
  • the model may output coordinate values corresponding to one or more points corresponding to lateral lines on the image.
  • the model for outputting information on the lateral line of the vessel may be trained using an input image and learning data including information on the lateral line included in the input image.
  • the model may be trained based on output data output by the model receiving the input image and information on the lateral line included in the training data.
  • a model that outputs angles between a plurality of objects may be provided.
  • the model may receive an image and output angles between a plurality of objects included in the image.
  • the angle between the plurality of objects may be an angle between a ship and a quay wall (or terrain, land).
  • the angle between the plurality of objects may be an angle between one vessel and another vessel.
  • a model for outputting angles between a plurality of objects may be trained using training data including an input image and angles between a plurality of objects included in the input image.
  • the model may be trained based on output data output by the model receiving the input image and the angle included in the training data.
  • a model may be provided that transforms an image into a bird's eye view.
  • the model may receive an image of a perspective view and output an image of a bird's eye view.
  • a model for converting an image into a bird's eye view may be trained using training data including a perspective input image and an image converted from the input image into a bird's eye view.
  • the model may be trained based on output data output by the model receiving the perspective view input image and an image obtained by converting the input image into a bird's eye view.
  • position information per pixel of the image may be obtained by using setting information including the type and position (height, angle, etc.) of the camera.
  • the acquired position information may be a position of the camera or a position relative to an arbitrary reference, or may be an absolute position.
  • FIG. 12 is a diagram for obtaining location information using an image pixel according to an embodiment of the present specification.
  • a left and right direction of an image may correspond to an angle of a pixel
  • a vertical direction may correspond to a distance to the pixel.
  • Pixel A can be seen to be about 30° to the left and about 15 m apart
  • Pixel B it can be seen to be about 10° to the right and about 20 m away.
  • An error in the above-described position information may occur depending on the posture of the camera. For example, an error may occur because the initial installation posture of the camera is changed later.
  • the position information may be corrected by reflecting the installation posture of the camera.
  • an error in location information may occur.
  • location information per pixel of an image may vary according to a roll, a pitch, etc. of the ship.
  • the attitude of an object on which a camera is installed such as the attitude of a ship, may be considered.
  • information about the ship's attitude such as the heading (heading or yaw), pitch, and roll of the ship is acquired from the inertial measurement unit (IMU) mounted on the ship, and the position per pixel of the image is reflected by this. information can be obtained.
  • IMU inertial measurement unit
  • the final location information of the object may be obtained based on the location information of the object obtained through a plurality of methods.
  • location information obtained through image segmentation hereinafter referred to as "first location information”
  • second location information location information obtained based on the position of a pixel on an image as shown in FIG. 12
  • Some output values may obtain final location information using the first location information and the second location information, and other output values may obtain final location information using only one of the first location information and the second location information. For example, it is possible to determine whether to converge location information according to the type of an object obtained through image segmentation. Location information may be fused with respect to an obstacle, and location information may not be fused with respect to a navigable area such as the sea.
  • the types of the first location information and the second location information may be different.
  • the first location information may include distance information
  • the second location information may include only direction information.
  • final location information including distance information and direction information may be obtained by adding the first location information and the second location information.
  • the first location information and the second location information may include the same type of information.
  • the first location information and the second location information may or may not match.
  • the matching of the location information may mean that the first location information and the second location information are the same or similar, or within an error range.
  • the final location information may be any one of the first location information and the second location information.
  • the final location information may be a value obtained by correcting the first location information with the second location information.
  • the final location information is a distance between the second location information (eg, 14m) expressed as a distance value and a maximum value of the first location information (eg, 10m to 20m) expressed as a distance range. range (eg, 14 m to 20 m).
  • both the first location information and the second location information may be expressed as distance values, and the first location information and the second location information may match.
  • the final location information may be any one of the first location information and the second location information.
  • the final location information may be an average of the first location information and the second location information.
  • various methods such as mixing the first location information and the second location information at a specific ratio may be used.
  • the first location information and the second location information may be different or out of an error range.
  • the final location information may be any one of the first location information and the second location information.
  • the final location information may be a smaller value among the first location information and the second location information.
  • the location information of the corresponding output value may be set as an unknown value.
  • the location information may be set to an unknown value for all output values of the corresponding output data.
  • location information may be fused for each object.
  • the first location information and the second location information may correspond to each of a plurality of pixels corresponding to a specific object on the image.
  • the final location information may be acquired for each object without obtaining the final location information for each pixel by fusing the first location information and the second location information for each pixel.
  • fusing the location information for each object calculates first object location information based on a plurality of pieces of first location information labeled on each of a plurality of pixels corresponding to the specific object, and includes a plurality of pieces corresponding to the specific object.
  • Calculates second object location information based on a plurality of second location information labeled on each pixel of , and fuses the first object location information and the second object location information to obtain final location information corresponding to the object may include doing
  • the object location information may be calculated through an average of the plurality of location information, a weighted average, and outlier processing.
  • the above-described fusion method when the location information matches and the fusion method when the location information does not match may be applied.
  • a result of the above-described surrounding environment detection may be variously used for autonomous navigation or port monitoring/monitoring.
  • the results of sensing the surrounding environment may be used for route planning of the vessel.
  • the path planning may include obstacle map generation and path generation.
  • an obstacle map may be generated using the result of sensing the surrounding environment, and a tracking path of the vessel may be calculated using the generated obstacle map.
  • the obstacle map may mean a means of expressing the result of sensing the surrounding environment, such as object information.
  • the obstacle map may be a grid map.
  • the grid map may divide a space into unit areas and display object information for each unit area.
  • the obstacle map may be a vector map.
  • the obstacle map is not limited to only two-dimensional, and a three-dimensional obstacle map is also possible.
  • the obstacle map may be a global map expressing all regions related to the operation of a ship from a departure point to an arrival point, or a local map expressing a certain area around the ship.
  • a weight may be assigned to each unit area of the obstacle map.
  • the weight may reflect flight suitability. For example, a high weight is assigned to a unit area corresponding to an area suitable for navigation such as the sea, and a low weight is assigned to a unit area corresponding to an area unsuitable for navigation due to the presence of obstacles such as ships. can be assigned. Conversely, a lower weight may be assigned as the flight suitability is higher.
  • the weight may reflect the existence of the object.
  • the object represented on the obstacle map may be an object corresponding to the obstacle.
  • the weight may be expressed as the existence probability of an object or may be expressed using a number within a certain range.
  • various information such as object type, location, distance, moving direction, speed, and route marker information may be expressed on the obstacle map in some cases.
  • whether the object is reflected on the obstacle map may vary according to distance information of the object. For example, only objects corresponding to a specific distance range may be reflected on the obstacle map.
  • the specific distance range may be a distance range indicating a relatively close distance among a plurality of distance ranges that may correspond to the object.
  • the object when the object is located in the first distance range, it may not be reflected on the obstacle map, and when the object is located in the second distance range, it may be reflected on the obstacle map.
  • the second distance range may be closer than the first distance range.
  • the first object positioned in the first distance range may not be reflected in the obstacle map, and the second object positioned in the second distance range may be reflected in the obstacle map.
  • the second distance range may be closer than the first distance range.
  • whether to track the object may vary according to distance information of the object.
  • tracking the object may mean storing and/or monitoring information about the object, such as the type, location, direction, speed, and speed of the object.
  • the object when the object is located in the first distance range, the object is not tracked, and when the object is located in the second distance range, the object is tracked.
  • the second distance range may be closer than the first distance range.
  • the first object located in the first distance range may not be tracked, and the second object located in the second distance range may be tracked.
  • the second distance range may be closer than the first distance range.
  • the method according to the embodiment may be implemented in the form of program instructions that can be executed through various computing means and recorded in a computer-readable medium.
  • the computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and available to those skilled in the art of computer software.
  • Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic such as floppy disks.
  • - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
  • Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.
  • the hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

Abstract

본 출원은 거리를 측정하는 방법에 관한 것으로, 본 명세서의 일 양상에 따른 거리 측정 방법은 학습 세트에 의해 학습된 인공신경망을 준비하는 단계 - 상기 학습 세트는 복수의 이미지 및 상기 복수의 이미지의 픽셀에 라벨링된 객체 정보를 포함하고, 상기 복수의 이미지의 적어도 일부는 그 하부에 위치하는 기준 객체의 적어도 일부분, 이동 객체 및 운항 가능 영역을 포함하고, 상기 객체 정보는 객체 종류 및 상기 기준 객체로부터의 상대적 근접 레벨을 반영하고, 상기 이동 객체에 대응되는 픽셀은 그 객체 종류가 상기 이동 객체를 지시하고 그 상대적 근접 레벨이 상기 운항 가능 영역을 나누는 복수의 구간 중 상기 이동 객체가 위치하는 구간에 대응되는 구간을 지시하는 객체 정보로 라벨링되고, 상기 복수의 구간은 상기 운항 가능 구간 및 상기 기준 객체 사이의 경계선으로부터 상기 운항 가능 영역의 상한선까지 순차적으로 배열되고, 상기 운항 가능 영역에 대응되는 픽셀은 그 객체 종류가 상기 운항 가능 영역을 지시하고 그 상대적 근접 레벨이 정의되지 않은 근접성을 지시하는 객체 정보로 라벨링됨 -; 타겟 이미지를 획득하는 단계; 상기 인공신경망을 이용하여 상기 타겟 이미지로부터 상기 타겟 이미지와 관련된 객체 정보를 산출하는 단계; 상기 산출된 객체 정보에 기초하여 상기 타겟 이미지 내의 이동 객체를 검출하는 단계; 및 상기 산출된 객체 정보에 반영된 상기 상대적 근접 레벨에 기초하여 상기 타겟 이미지 내의 상기 이동 객체의 근접성을 결정하는 단계를 포함한다.

Description

거리 측정 방법 및 이를 이용하는 거리 측정 장치
본 출원은 거리 측정 방법 및 이를 이용하는 거리 측정 장치에 관한 것으로, 보다 상세하게는 이미지 세그멘테이션을 수행하는 인공신경망을 이용한 거리 측정 방법 및 이를 이용하는 거리 측정 장치에 관한 것이다.
선박의 운항 및 항만 내에서의 접안, 이안에 있어 많은 사고가 발생하고 있으며, 그 사고의 주요 원인은 사람의 운항 부주의로 알려져 있다. 여기서, 운항 부주의는 주로 선박 주변이나 항만 내의 상황을 육안을 통해서 정확하게 모니터링하지 못한다는 점에 의해 발생한다. 현재 다양한 종류의 장애물 센서 등을 이용해 이를 보완하고 있으나 아직까지는 한계점이 존재하는 상황이다. 예를 들어, ECDIS의 경우 GPS의 부정확성, AIS의 업데이트 주기 및 AIS 미등록 이동체 등으로 인한 한계가 존재하고, radar의 경우 비탐색영역의 존재 및 노이즈로 인한 한계가 존재한다. 그 결과 장애물의 정확한 감지를 위하여는 여전히 육안으로 확인하는 과정이 필요하다.
본 명세서에서 해결하고자 하는 일 과제는 선박 주변 및 항만을 모니터링하기 위한 주변 환경 감지 방법 및 이를 이용하는 주변 환경 감지 장치를 제공하는 것에 있다.
본 명세서에서 해결하고자 하는 일 과제는 주변 환경 감지에 이용되는 인공신경망의 학습 방법을 제공하는 것에 있다.
본 명세서에서 해결하고자 하는 과제가 상술한 과제로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 명세서의 일 양상에 따르면, 거리를 측정하는 방법에 있어서, 학습 세트에 의해 학습된 인공신경망을 준비하는 단계 - 상기 학습 세트는 복수의 이미지 및 상기 복수의 이미지의 픽셀에 라벨링된 객체 정보를 포함하고, 상기 복수의 이미지의 적어도 일부는 그 하부에 위치하는 기준 객체의 적어도 일부분, 이동 객체 및 운항 가능 영역을 포함하고, 상기 객체 정보는 객체 종류 및 상기 기준 객체로부터의 상대적 근접 레벨을 반영하고, 상기 이동 객체에 대응되는 픽셀은 그 객체 종류가 상기 이동 객체를 지시하고 그 상대적 근접 레벨이 상기 운항 가능 영역을 나누는 복수의 구간 중 상기 이동 객체가 위치하는 구간에 대응되는 구간을 지시하는 객체 정보로 라벨링되고, 상기 복수의 구간은 상기 운항 가능 구간 및 상기 기준 객체 사이의 경계선으로부터 상기 운항 가능 영역의 상한선까지 순차적으로 배열되고, 상기 운항 가능 영역에 대응되는 픽셀은 그 객체 종류가 상기 운항 가능 영역을 지시하고 그 상대적 근접 레벨이 정의되지 않은 근접성을 지시하는 객체 정보로 라벨링됨 - ; 타겟 이미지를 획득하는 단계; 상기 인공신경망을 이용하여 상기 타겟 이미지로부터 상기 타겟 이미지와 관련된 객체 정보를 산출하는 단계; 상기 산출된 객체 정보에 기초하여 상기 타겟 이미지 내의 이동 객체를 검출하는 단계; 및 상기 산출된 객체 정보에 반영된 상기 상대적 근접 레벨에 기초하여 상기 타겟 이미지 내의 상기 이동 객체의 근접성을 결정하는 단계를 포함하는 거리 측정 방법이 제공될 수 있다.
본 명세서의 일 양상에 따르면, 학습 세트에 의해 학습된 인공신경망을 저장하기 위한 메모리 - 상기 학습 세트는 복수의 이미지 및 상기 복수의 이미지의 픽셀에 라벨링된 객체 정보를 포함하고, 상기 복수의 이미지의 적어도 일부는 그 하부에 위치하는 기준 객체의 적어도 일부분, 이동 객체 및 운항 가능 영역을 포함하고, 상기 객체 정보는 객체 종류 및 상기 기준 객체로부터의 상대적 근접 레벨을 반영하고, 상기 이동 객체에 대응되는 픽셀은 그 객체 종류가 상기 이동 객체를 지시하고 그 상대적 근접 레벨이 상기 운항 가능 영역을 나누는 복수의 구간 중 상기 이동 객체가 위치하는 구간에 대응되는 구간을 지시하는 객체 정보로 라벨링되고, 상기 복수의 구간은 상기 운항 가능 구간 및 상기 기준 객체 사이의 경계선으로부터 상기 운항 가능 영역의 상한선까지 순차적으로 배열되고, 상기 운항 가능 영역에 대응되는 픽셀은 그 객체 종류가 상기 운항 가능 영역을 지시하고 그 상대적 근접 레벨이 정의되지 않은 근접성을 지시하는 객체 정보로 라벨링됨 - ; 및 타겟 이미지를 획득하고, 상기 인공신경망을 이용하여 상기 타겟 이미지로부터 상기 타겟 이미지와 관련된 객체 정보를 산출하고, 상기 산출된 객체 정보에 기초하여 상기 타겟 이미지 내의 이동 객체를 검출하고, 상기 산출된 객체 정보에 반영된 상기 상대적 근접 레벨에 기초하여 상기 타겟 이미지 내의 상기 이동 객체의 근접성을 결정하는 컨트롤러를 포함하는 거리 측정 장치가 제공될 수 있다.
본 명세서의 과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 명세서의 실시예에 따르면, 인공신경망을 이용한 주변 환경 감지를 통해 선박 주변 및 항만을 모니터링할 수 있다.
본 명세서의 발명의 효과가 상술한 효과로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.
도 1은 본 명세서의 일 실시예에 따른 주변 환경 감지와 관련된 연산을 수행하는 시스템에 관한 도면이다.
도 2는 본 명세서의 일 실시예에 따른 주변 환경 감지에 관한 도면이다.
도 3은 본 명세서의 일 실시예에 따른 인공신경망의 학습 단계 및 추론 단계에 관한 도면이다.
도 4는 본 명세서의 일 실시예에 따른 주변 환경 감지 방법에서의 라벨링의 제1 실시예에 관한 표이다.
도 5는 본 명세서의 일 실시예에 따른 주변 환경 감지 방법에서의 라벨링의 제2 실시예에 관한 표이다.
도 6은 본 명세서의 일 실시예에 따른 주변 환경 감지 방법에서의 라벨링의 제3 실시예에 관한 표이다.
도 7은 본 명세서의 일 실시예에 따른 겹쳐진 객체를 표현하는 인덱스에 관한 도면이다.
도 8은 본 명세서의 일 실시예에 따른 객체 사이의 연결성을 표현하는 인덱스에 관한 도면이다.
도 9는 본 명세서의 일 실시예에 따른 거리 정보에 따른 동일한 종류의 객체 구분에 관한 도면이다.
도 10은 본 명세서의 일 실시예에 따른 종류 정보가 거리 정보에 의존하도록 설정된 인덱스에 관한 도면이다.
도 11은 본 명세서의 일 실시예에 따른 기준 객체에 따른 거리 정보에 관한 도면이다.
도 12는 본 명세서의 일 실시예에 따른 이미지 픽셀을 이용한 위치 정보 획득에 관한 도면이다.
본 명세서에 기재된 실시예는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 사상을 명확히 설명하기 위한 것이므로, 본 발명이 본 명세서에 기재된 실시예에 의해 한정되는 것은 아니며, 본 발명의 범위는 본 발명의 사상을 벗어나지 아니하는 수정예 또는 변형예를 포함하는 것으로 해석되어야 한다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하여 가능한 현재 널리 사용되고 있는 일반적인 용어를 선택하였으나 이는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자의 의도, 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 다만, 이와 달리 특정한 용어를 임의의 의미로 정의하여 사용하는 경우에는 그 용어의 의미에 관하여 별도로 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가진 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 한다.
본 명세서에 첨부된 도면은 본 발명을 용이하게 설명하기 위한 것으로 도면에 도시된 형상은 본 발명의 이해를 돕기 위하여 필요에 따라 과장되어 표시된 것일 수 있으므로 본 발명이 도면에 의해 한정되는 것은 아니다.
본 명세서에서 본 발명에 관련된 공지의 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에 이에 관한 자세한 설명은 필요에 따라 생략하기로 한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별 기호에 불과하다.
본 명세서의 일 양상에 따르면, 주변 환경 감지 방법에 있어서, 상기 주변 환경 감지 방법은 학습 세트에 의해 학습된 인공신경망을 준비하는 단계 - 상기 학습 세트는 복수의 해양 이미지 및 객체 종류 정보와 거리 정보를 포함하는 해양 정보를 포함하고, 상기 객체 종류 정보는 선박을 위한 제1 종류 인덱스, 수면을 위한 제2 종류 인덱스 및 지표면을 위한 제3 종류 인덱스를 포함하고, 상기 거리 정보는 정의되지 않은 거리를 지시하는 제1 거리 인덱스, 제1 거리 범위를 지시하는 제2 거리 인덱스 및 상기 제1 거리 범위보다 큰 제2 거리 범위를 지시하는 제3 거리 인덱스를 포함하고, 상기 복수의 해양 이미지의 픽셀 중 상기 제1 종류 인덱스로 라벨링된 픽셀은 상기 제2 거리 인덱스 또는 상기 제3 거리 인덱스로 라벨링되고, 상기 복수의 해양 이미지의 픽셀 중 상기 제1 거리 인덱스로 라벨링된 픽셀은 상기 제2 종류 인덱스 또는 상기 제3 종류 인덱스로 라벨링됨 - ; 카메라로부터 생성된 타겟 해양 이미지를 획득하는 단계 - 상기 카메라는 항만 또는 선박에 설치되고 주변을 모니터링함 - ; 및 상기 타겟 해양 이미지를 받는 상기 인공신경망으로부터 출력되고 상기 제1 종류 인덱스를 갖는 해양 정보의 거리 정보에 기초하여 상기 주변에 있는 타겟 선박의 거리를 결정하는 단계를 포함할 수 있다.
여기서, 상기 객체 종류 정보는 선박의 상면을 위한 제4 종류 인덱스 및 선박의 측면을 위한 제5 종류 인덱스를 더 포함할 수 있고, 상기 복수의 해양 이미지의 픽셀 중 상기 제1 종류 인덱스로 라벨링된 픽셀은 상기 제3 거리 인덱스로 라벨링될 수 있고, 상기 복수의 해양 이미지의 픽셀 중 상기 제4 종류 인덱스 또는 상기 제5 종류 인덱스로 라벨링된 픽셀은 상기 제2 거리 인덱스로 라벨링될 수 있다.
여기서, 상기 객체 종류 정보는 선박의 상면을 위한 제4 종류 인덱스 및 선박의 측면을 위한 제5 종류 인덱스를 더 포함할 수 있고, 상기 복수의 해양 이미지의 픽셀 중 상기 제1 종류 인덱스 및 상기 제2 거리 인덱스로 라벨링된 픽셀은 상기 제4 종류 인덱스 및 상기 제5 종류 인덱스 중 하나로 라벨링될 수 있다.
여기서, 상기 객체 종류 정보는 크레인을 위한 제4 종류 인덱스를 더 포함할 수 있고, 상기 복수의 해양 이미지의 픽셀 중 상기 제4 종류 인덱스로 라벨링된 픽셀은 상기 제1 종류 인덱스 또는 상기 제3 종류 인덱스로 라벨링될 수 있다.
여기서, 상기 주변 환경 감지 방법은 상기 타겟 해양 이미지에 기초하여 상기 인공신경망으로부터 출력되고 상기 제2 종류 인덱스를 갖는 해양 정보의 객체 종류 정보에 따라 상기 타겟 해양 이미지로부터 상기 인공신경망을 이용하여 상기 주변에 있는 수면을 감지하는 단계; 및 상기 감지된 수면까지의 거리를 정의되지 않은 거리로 결정하는 단계를 더 포함할 수 있다.
여기서, 상기 결정하는 단계는 상기 타겟 해양 이미지에 기초하여 상기 인공신경망으로부터 출력되고 상기 제2 종류 인덱스를 갖는 해양 정보의 거리 정보를 무시하는 단계를 포함할 수 있다.
여기서, 상기 해양 정보는 객체 식별자를 더 포함할 수 있고, 상기 복수의 해양 이미지의 픽셀 중 상기 제1 종류 인덱스 및 상기 제2 거리 인덱스로 라벨링된 픽셀은 상기 객체 식별자로 라벨링될 수 있다.
여기서, 상기 제1 종류 인덱스 및 상기 제2 거리 인덱스로 라벨링된 픽셀은 하나 이상의 제1 픽셀 및 하나 이상의 제2 픽셀을 포함할 수 있고, 상기 제1 픽셀에 라벨링된 객체 식별자는 상기 제2 픽셀에 라벨링된 객체 식별자와 상이할 수 있다.
여기서, 상기 주변 환경 감지 방법은 상기 선박의 상기 측정된 거리에 기초하여 장애물 지도를 생성하는 단계 - 상기 출력된 거리 인덱스가 상기 제2 거리 인덱스에 대응되는 경우 상기 타겟 선박이 상기 장애물 지도에 반영됨 - 를 더 포함할 수 있다.
여기서, 상기 결정하는 단계는 상기 타겟 선박의 상기 타겟 해양 이미지 상에서의 위치 및 상기 카메라의 자세 정보 중 적어도 하나에 기초하여 상기 타겟 선박의 거리 정보를 획득하는 단계를 포함할 수 있고, 상기 타겟 선박의 거리는 획득한 거리 정보에 더 기초하여 결정될 수 있다.
여기서, 상기 획득한 거리 정보는 거리값으로 표현될 수 있고, 상기 결정하는 단계는 상기 획득한 거리 정보가 상기 출력된 거리 인덱스에 포함되는지에 기초하여 에러를 결정하는 단계를 더 포함할 수 있고, 상기 타겟 선박의 거리는 상기 에러에 더 기초하여 결정될 수 있다.
여기서, 상기 에러가 발생한 경우, 상기 선박의 거리는 상기 출력된 거리 인덱스에 대응되는 거리 범위로 결정될 수 있고, 상기 에러가 발생하지 않은 경우, 상기 선박의 거리는 상기 거리값으로부터 상기 출력된 거리 인덱스에 대응되는 거리 범위의 최대값까지인 거리 범위로 결정될 수 있다.
본 명세서의 일 양상에 따르면, 주변 환경 감지 장치에 있어서, 상기 주변 환경 감지 장치는 학습 세트에 의해 학습된 인공신경망을 저장하기 위한 메모리 - 상기 학습 세트는 복수의 해양 이미지 및 객체 종류 정보와 거리 정보를 포함하는 해양 정보를 포함하고, 상기 객체 종류 정보는 선박을 위한 제1 종류 인덱스, 수면을 위한 제2 종류 인덱스 및 지표면을 위한 제3 종류 인덱스를 포함하고, 상기 거리 정보는 정의되지 않은 거리를 지시하는 제1 거리 인덱스, 제1 거리 범위를 지시하는 제2 거리 인덱스 및 상기 제1 거리 범위보다 큰 제2 거리 범위를 지시하는 제3 거리 인덱스를 포함하고, 상기 복수의 해양 이미지의 픽셀 중 상기 제1 종류 인덱스로 라벨링된 픽셀은 상기 제2 거리 인덱스 또는 상기 제3 거리 인덱스로 라벨링되고, 상기 복수의 해양 이미지의 픽셀 중 상기 제1 거리 인덱스로 라벨링된 픽셀은 상기 제2 종류 인덱스 또는 상기 제3 종류 인덱스로 라벨링됨 - ; 및 카메라로부터 생성된 타겟 해양 이미지를 획득하고 - 상기 카메라는 항만 또는 선박에 설치되고 주변을 모니터링함 - , 상기 타겟 해양 이미지를 받는 상기 인공신경망으로부터 출력되고 상기 제1 종류 인덱스를 갖는 해양 정보의 거리 정보에 기초하여 상기 주변에 있는 타겟 선박의 거리를 결정하는 컨트롤러를 포함할 수 있다.
본 명세서의 일 양상에 따르면, 주변 환경 감지 방법에 있어서, 상기 주변 환경 감지 방법은 학습 세트에 의해 학습된 인공신경망을 준비하는 단계 - 상기 학습 세트는 복수의 해양 이미지 및 객체 종류 정보, 거리 정보 및 표면 유형 정보를 포함하는 해양 정보를 포함하고, 상기 객체 종류 정보는 선박을 위한 제1 종류 인덱스 및 수면을 위한 제2 종류 인덱스를 포함하고, 상기 거리 정보는 정의되지 않은 거리를 지시하는 제1 거리 인덱스, 제1 거리 범위를 지시하는 제2 거리 인덱스 및 상기 제1 거리 범위보다 큰 제2 거리 범위를 지시하는 제3 거리 인덱스를 포함하고, 상기 표면 유형 정보는 선박의 측면을 위한 제1 표면 인덱스 및 선박의 상면을 위한 제2 표면 인덱스를 포함하고, 상기 제1 표면 인덱스 및 상기 제2 표면 인덱스는 상기 제1 종류 인덱스 및 상기 제2 거리 인덱스로 라벨링된 픽셀에만 라벨링됨 - ; 카메라로부터 생성된 타겟 해양 이미지를 획득하는 단계 - 상기 카메라는 항만 또는 선박에 설치되고 주변을 모니터링함 - ; 상기 타겟 해양 이미지를 받는 상기 인공신경망으로부터 출력되고 상기 제1 종류 인덱스를 갖는 해양 정보의 객체 종류 정보에 기초하여 상기 주변에 있는 선박을 검출하는 단계; 상기 타겟 해양 이미지를 받는 상기 인공신경망으로부터 출력되고 상기 제1 종류 인덱스를 갖는 해양 정보의 거리 정보에 기초하여 상기 검출된 선박까지의 거리를 결정하는 단계; 및 상기 타겟 해양 이미지를 받는 상기 인공신경망으로부터 출력되고 상기 제1 종류 인덱스 및 상기 제2 거리 인덱스를 갖는 해양 정보의 표면 유형 정보에 기초하여 상기 검출된 선박의 바운더리를 감지하는 단계를 포함할 수 있다.
여기서, 상기 검출된 선박의 바운더리는 상기 검출된 선박의 측면 및 상기 검출된 선박의 상면 사이의 바운더리에 대응될 수 있다.
본 명세서의 일 양상에 따르면, 거리를 측정하는 방법에 있어서, 상기 거리 측정 방법은 학습 세트에 의해 학습된 인공신경망을 준비하는 단계 - 상기 학습 세트는 복수의 이미지 및 상기 복수의 이미지의 픽셀에 라벨링된 객체 정보를 포함하고, 상기 복수의 이미지의 적어도 일부는 그 하부에 위치하는 기준 객체의 적어도 일부분, 이동 객체 및 운항 가능 영역을 포함하고, 상기 객체 정보는 객체 종류 및 상기 기준 객체로부터의 상대적 근접 레벨을 반영하고, 상기 이동 객체에 대응되는 픽셀은 그 객체 종류가 상기 이동 객체를 지시하고 그 상대적 근접 레벨이 상기 운항 가능 영역을 나누는 복수의 구간 중 상기 이동 객체가 위치하는 구간에 대응되는 구간을 지시하는 객체 정보로 라벨링되고, 상기 복수의 구간은 상기 운항 가능 구간 및 상기 기준 객체 사이의 경계선으로부터 상기 운항 가능 영역의 상한선까지 순차적으로 배열되고, 상기 운항 가능 영역에 대응되는 픽셀은 그 객체 종류가 상기 운항 가능 영역을 지시하고 그 상대적 근접 레벨이 정의되지 않은 근접성을 지시하는 객체 정보로 라벨링됨 - ; 타겟 이미지를 획득하는 단계; 상기 인공신경망을 이용하여 상기 타겟 이미지로부터 상기 타겟 이미지와 관련된 객체 정보를 산출하는 단계; 상기 산출된 객체 정보에 기초하여 상기 타겟 이미지 내의 이동 객체를 검출하는 단계; 및 상기 산출된 객체 정보에 반영된 상기 상대적 근접 레벨에 기초하여 상기 타겟 이미지 내의 상기 이동 객체의 근접성을 결정하는 단계를 포함할 수 있다.
여기서, 상기 거리 측정 방법은, 상기 타겟 이미지 내의 이동 객체에 대응되는 상기 타겟 이미지의 픽셀의 상기 타겟 이미지상에서의 위치에 기초하여 상기 타겟 이미지 내의 이동 객체의 거리 정보를 산출하는 단계를 더 포함할 수 있고, 상기 근접성을 결정하는 단계는 상기 산출된 거리 정보에 더 기초하여 상기 이동 객체의 근접성을 결정할 수 있다.
여기서, 상기 상대적 근접 레벨은 거리 범위를 갖는 복수의 카테고리 중에서 선택되고 상기 거리 정보는 거리값으로 표현될 수 있고, 상기 근접성을 결정하는 단계는 상기 거리 정보의 거리값이 상기 상대적 근접 레벨의 거리 범위에 포함되는 경우 상기 거리 정보의 거리값으로부터 상기 상대적 근접 레벨의 거리 범위의 최대값을 상기 이동 객체의 근접성으로 결정할 수 있다.
여기서, 상기 거리 측정 방법은 상기 산출된 객체 정보에 기초하여 상기 타겟 이미지 내의 운항 가능 영역을 검출하는 단계; 및 상기 검출된 운항 가능 영역까지의 근접성을 상대적 근접 레벨이 정의되지 않은 근접성으로 결정하는 단계를 더 포함할 수 있다.
여기서, 상기 상대적 근접 레벨은 제1 근접 레벨 및 상기 제1 근접 레벨보다 더 근접함을 나타내는 제2 근접 레벨을 포함할 수 있다.
여기서, 상기 학습 세트의 상기 복수의 이미지 중 적어도 일부에 포함된 이동 객체 중 상기 제2 근접 레벨에 대응되는 구간에 위치하는 이동 객체에 대응되는 픽셀에 라벨링되는 객체 정보는 이동 객체의 상면 및 측면 중 적어도 하나를 지시하는 정보를 더 반영할 수 있다.
여기서, 상기 학습 세트의 상기 복수의 이미지 중 적어도 일부에 포함된 이동 객체 중 상기 제2 근접 레벨에 대응되는 구간에 위치하는 이동 객체에 대응되는 픽셀에 라벨링되는 객체 정보는 동일한 종류의 객체를 구분하기 위한 객체 식별자를 더 반영할 수 있다.
여기서, 상기 학습 세트의 상기 복수의 이미지 중 적어도 일부에 포함된 이동 객체 중 상기 제1 근접 레벨에 대응되는 구간 및 상기 제2 근접 레벨에 대응되는 구간에 걸쳐 위치하는 이동 객체에 대응되는 픽셀에는 상기 제2 근접 레벨을 지시하는 객체 정보가 라벨링될 수 있다.
여기서, 상기 거리 측정 방법은 상기 이동 객체의 근접성에 기초하여 장애물 지도를 생성하는 단계 - 상기 장애물 지도는 운항 적합도를 반영하는 가중치가 할당된 복수의 단위 영역을 포함함 - ;를 더 포함하되, 상기 이동 객체에 대응되는 상대적 근접 레벨이 상기 제1 근접 레벨인 경우 상기 이동 객체를 상기 장애물 지도에 반영하지 않는 것을 특징으로 할 수 있다.
여기서, 상기 거리 측정 방법은 상기 이동 객체에 대응되는 상대적 근접 레벨이 상기 제2 근접 레벨인 경우 상기 이동 객체를 추적하는 단계를 더 포함할 수 있다.
여기서, 상기 제2 근접 레벨은 상기 복수의 구간 중 상기 기준 객체와 접하는 구간에 대응될 수 있다.
여기서, 상기 타겟 이미지는 항만 또는 선박에 설치된 카메라에 의해 촬상된 것일 수 있고, 상기 기준 객체는 상기 카메라가 설치된 상기 항만 및 상기 선박 중 하나에 대응되는 것을 특징으로 할 수 있다.
여기서, 인접한 두 구간 사이의 하나 이상의 바운더리는 상기 기준 객체의 형태 및 상기 운항 가능 영역의 상한선 중 적어도 하나를 고려하여 형성되는 것을 특징으로 할 수 있다.
본 명세서의 일 양상에 따르면, 거리 측정 장치는 학습 세트에 의해 학습된 인공신경망을 저장하기 위한 메모리 - 상기 학습 세트는 복수의 이미지 및 상기 복수의 이미지의 픽셀에 라벨링된 객체 정보를 포함하고, 상기 복수의 이미지의 적어도 일부는 그 하부에 위치하는 기준 객체의 적어도 일부분, 이동 객체 및 운항 가능 영역을 포함하고, 상기 객체 정보는 객체 종류 및 상기 기준 객체로부터의 상대적 근접 레벨을 반영하고, 상기 이동 객체에 대응되는 픽셀은 그 객체 종류가 상기 이동 객체를 지시하고 그 상대적 근접 레벨이 상기 운항 가능 영역을 나누는 복수의 구간 중 상기 이동 객체가 위치하는 구간에 대응되는 구간을 지시하는 객체 정보로 라벨링되고, 상기 복수의 구간은 상기 운항 가능 구간 및 상기 기준 객체 사이의 경계선으로부터 상기 운항 가능 영역의 상한선까지 순차적으로 배열되고, 상기 운항 가능 영역에 대응되는 픽셀은 그 객체 종류가 상기 운항 가능 영역을 지시하고 그 상대적 근접 레벨이 정의되지 않은 근접성을 지시하는 객체 정보로 라벨링됨 - ; 및 타겟 이미지를 획득하고, 상기 인공신경망을 이용하여 상기 타겟 이미지로부터 상기 타겟 이미지와 관련된 객체 정보를 산출하고, 상기 산출된 객체 정보에 기초하여 상기 타겟 이미지 내의 이동 객체를 검출하고, 상기 산출된 객체 정보에 반영된 상기 상대적 근접 레벨에 기초하여 상기 타겟 이미지 내의 상기 이동 객체의 근접성을 결정하는 컨트롤러를 포함할 수 있다.
여기서, 상기 거리 측정 장치는 항만 또는 선박에 설치되어 상기 타겟 이미지를 생성하는 카메라를 더 포함할 수 있고, 상기 기준 객체는 상기 카메라가 설치된 상기 항만 또는 상기 선박에 대응되는 것을 특징으로 할 수 있다.
본 명세서에서는 주로 선박이나 항만 등 해상에서의 주변 환경 감지 방법 및 이를 이용하는 주변 환경 감지 장치에 대하여 설명하지만, 이에 한정되는 것은 아니고 차량, 드론 등 다양한 이동체 및 환경에도 적용될 수 있음을 미리 밝혀 둔다.
본 명세서에서, 모니터링이란 일정 영역이나 특정 객체 등을 각종 센서를 이용하여 감시, 관찰, 감지하는 것뿐만 아니라 그 결과를 사용자에게 제공하거나 결과를 바탕으로 연산 등을 통해 추가적인 정보를 제공하는 것 등을 포함하도록 넓게 해석되어야 한다.
도 1은 본 명세서의 일 실시예에 따른 주변 환경 감지와 관련된 연산을 수행하는 시스템(10)에 관한 도면이다. 상기 시스템(10)은 인공신경망의 학습 및/또는 추론을 수행할 수 있다.
도 1을 참고하면, 시스템(10)는 제어 모듈(11), 입력 모듈(13) 및 출력 모듈(15)을 포함할 수 있다.
제어 모듈(11)은 인공신경망의 학습, 추론, 이미지 세그멘테이션 및 이를 통한 주변 환경 감지 등을 수행할 수 있다. 또한, 입력 모듈(13)을 통해 각종 입력을 수신하는 동작, 출력 모듈(15)을 통해 각종 출력을 출력하는 동작, 메모리에 각종 데이터를 저장하거나 메모리로부터 각종 데이터를 획득하는 동작 등이 제어 모듈(11)의 제어에 의해 수행될 수 있다. 이하에서는 본 명세서의 실시예로 개시되는 각종 동작이나 단계들은 별도의 언급이 없는 이상 제어 모듈(11)에 의해 수행되거나 제어 모듈(11)의 제어에 의해 수행되는 것으로 해석될 수 있다.
입력 모듈(13)은 시스템(10)의 외부로부터 정보를 받아들일 수 있다. 예를 들어, 입력 모듈(13)은 단안 카메라, 쌍안 카메라, 적외선 카메라, IR 카메라, TOF 카메라, 레이더(radar), 라이다(lidar), 초음파 탐지기 중 적어도 일부를 포함할 수 있다. 입력 모듈(13)은 항만 또는 육지와 같이 고정된 위치에 설치되거나, 선박이나 차량, 드론 등과 같이 이동하는 객체에 설치될 수 있다.
출력 모듈(15)은 제어 모듈(11)에 의해 수행된 연산의 결과 등을 출력할 수 있다. 예를 들어, 출력 모듈(15)은 해상 이미지 등과 같은 이미지, 이미지 세그멘테이션 결과 등을 출력할 수 있다. 출력 모듈(15)은 예시적으로 디스플레이, 신호 출력 회로 등일 수 있으나 이에 한정되는 것은 아니다.
입력 모듈(13)과 출력 모듈(15)은 별개의 모듈일 수도 있지만 하나의 모듈로 구현될 수도 있다. 예를 들어, 입력 모듈(13)과 출력 모듈(15)은 하나의 통합된 모듈로 구현되고 상기 통합 모듈은 외부로부터 정보를 받아들이고 제어 모듈(11)에 의해 수행된 연산의 결과 등을 출력할 수 있다. 물론, 제어 모듈(11), 입력 모듈(13) 및 출력 모듈(15)이 모두 하나의 모듈로 구현될 수도 있다.
제어 모듈(11), 입력 모듈(13) 및 출력 모듈(15)은 제어부를 포함할 수 있다. 제어부는 각종 정보의 처리와 연산을 수행하고, 모듈을 구성하는 다른 구성 요소를 제어할 수 있다. 제어부는 물리적으로는 전기 신호를 처리하는 전자 회로 형태로 제공될 수 있다. 모듈은 물리적으로 단일한 제어부만을 포함할 수도 있으나, 이와 달리 복수의 제어부를 포함할 수도 있다. 일 예로, 제어부는 하나의 컴퓨팅 수단에 탑재되는 하나 또는 복수의 프로세서(processor)일 수 있다. 다른 예로, 제어부는 물리적으로 이격된 서버(server)와 터미널(terminal)에 탑재되어 통신을 통해 협업하는 프로세서들로 제공될 수도 있다. 제어부의 예로는 중앙 처리 장치(Central Processing Unit, CPU), 그래픽 처리 장치(Graphics Processing Unit, GPU), 디지털 신호 처리 장치(Digital Signal Processor, DSP), 상태 기계(state machine), 주문형 반도체(Application Specific Integrated Circuit, ASIC), 무선 주파수 집적 회로(Radio-Frequency Integrated Circuit, RFIC) 및 이들의 조합 등이 있을 수 있다.
제어 모듈(11), 입력 모듈(13) 및 출력 모듈(15)은 통신부를 포함할 수 있다. 상기 모듈들은 통신부를 통해 정보를 송수신할 수 있다. 예를 들어, 입력 모듈(13)은 외부로부터 획득한 정보를 그 통신부를 통해 송신하고, 제어 모듈(11)은 그 통신부를 통해 입력 모듈(13)이 송신한 정보를 수신할 수 있다. 다른 예로, 제어 모듈(11)은 연산 결과를 그 통신부를 통해 송신하고, 출력 모듈(15)은 그 통신부를 통해 제어 모듈(11)이 송신한 정보를 수신할 수 있다. 통신부는 유선 또는 무선 통신을 수행할 수 있다. 통신부는 양방향(bi-directional) 또는 단방향 통신을 수행할 수 있다.
제어 모듈(11), 입력 모듈(13) 및 출력 모듈(15)은 메모리를 포함할 수 있다. 메모리는 각종 프로세싱 프로그램, 프로그램의 프로세싱을 수행하기 위한 파라미터 또는 이러한 프로세싱 결과 데이터 등을 저장할 수 있다. 예를 들어, 메모리는 학습 및/또는 추론에 필요한 데이터, 학습이 진행중이거나 학습된 인공신경망 등을 저장할 수 있다. 메모리는 비휘발성 반도체 메모리, 하드 디스크, 플래시 메모리, RAM(Random Access Memory), ROM(Read Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory) 또는 그 외에 유형의(tangible) 비휘발성의 기록 매체 등으로 구현될 수 있다.
도 1에서 도시하는 시스템(10)은 예시에 불과하며 시스템(10)의 구성이 이에 한정되지는 않는다.
선박의 운항이나 항만 모니터링 등을 위하여는 주변 환경의 감지를 통해 주변 객체를 파악하여야 한다. 여기서, 객체는 지형, 건물, 선박, 부표, 사람 등 장애물, 해양과 같은 선박이 운항할 수 있는 지역 및 하늘과 같이 선박의 운항과 관련이 없을 수 있는 지역을 포함할 수 있다. 이 외에도, 객체는 역광, 크레인, 로프, 해면 불요 반사파를 포함할 수 있다. 여기서, 역광은 태양이나 조명 등으로 인해 디바이스가 생성하는 이미지 등에서 원래 물체에 대한 정보가 사라지는 현상 또는 이에 대응되는 이미지 상에서의 영역을 의미할 수 있다. (예를 들어, 카메라 이미지 상에서 직사광선으로 인해 하얗게 나타나는 영역) 여기서, 로프는 선박을 계류하기 위한 계류삭(mooring rope)을 포함할 수 있다. 또한, 선박인 객체는 대형 선박, 소형 선박 및 예인선을 포함할 수 있다. 또한, 객체는 선박의 상면 및 선박의 측면을 포함할 수 있다. 이 경우, 선박의 상면 및 측면에 기초하여 선박의 상면과 측면이 만나는 영역 또는 만나는 지점에 대한 정보를 획득할 수 있다. 또한, 객체는 선박의 상면과 측면이 만나는 영역 또는 만나는 지점에 대응되는 선박의 측선을 포함할 수 있다. 또한, 주변 환경을 감지한다는 것은 객체를 감지하는 것뿐만 아니라, 그 외에도 선박이나 항만 주변의 상황에 대한 정보를 획득하는 것을 포함하는 포괄적인 의미이다. 객체를 감지한다는 것은 객체의 유무, 종류, 위치, 거리, 절대적 및 상대적인 속력 및 속도 등에 대한 정보를 획득하는 것을 포함할 수 있다.
도 2는 본 명세서의 일 실시예에 따른 주변 환경 감지에 관한 도면으로, 도 2의 위는 카메라가 촬상한 이미지이고 이를 이용해 도 2의 가운데 또는 아래와 같이 객체를 검출하여 주변 환경을 감지할 수 있다.
구체적으로, 도 2의 가운데는 이미지의 각 픽셀 별로 해당 픽셀이 어떠한 객체에 대응되는지를 나타낸 것으로, 세그멘테이션(segmentation)이라고도 한다. 세그멘테이션을 통해 이미지로부터 이미지상의 픽셀에 대응되는 특성을 할당하거나 산출할 수 있다. 이는 픽셀에 특성이 할당 또는 라벨링(labeling)되었다고 얘기할 수도 있을 것이다. 도 2의 위 및 가운데를 참고하면, 도 2의 위와 같이 카메라로 촬상된 이미지에 기초한 세그멘테이션을 수행하여 도 2의 가운데와 같은 세그멘테이션 이미지를 획득할 수 있다. 도 2의 가운데에서, 제1 픽셀 영역(P1)은 선박에 대응되는 픽셀의 이미지상의 영역이고, 제2 픽셀 영역(P2)은 바다, 제3 픽셀 영역(P3)은 항만의 안벽, 제4 픽셀 영역(P4)은 지형, 제5 픽셀 영역(P5)은 하늘에 대응되는 픽셀의 이미지상의 영역이다.
도 2의 가운데에서는 세그멘테이션을 수행하여 이미지상의 각 픽셀에 대응되는 객체의 종류에 대한 정보를 산출하는 것을 도시하였으나, 세그멘테이션을 통해 획득할 수 있는 정보가 이에 한정되는 것은 아니다. 예를 들어, 객체의 위치, 좌표, 거리, 방향 등의 특성 또한 세그멘테이션을 통해 획득할 수 있을 것이다. 이 경우 서로 다른 특성은 독립적으로 표현될 수도 있고, 동시에 반영하여 표현될 수도 있다.
도 2의 아래는 이미지의 어떤 위치에 오브젝트가 존재하는지를 바운딩 박스(bounding box)로 표시한 것으로, 디텍션(detection)이라고도 한다. 세그멘테이션과 비교하면, 디텍션은 이미지의 각 픽셀 별로 특성을 산출하는 것이 아닌 오브젝트가 어느 위치에 포함되어 있는지를 박스 형태로 검출하는 것으로 볼 수 있다. 도 2의 위 및 아래를 참고하면, 도 2의 위의 카메라로 촬상된 이미지에 기초한 디텍션을 수행하여 도 2의 아래와 같은 디텍션 이미지를 획득할 수 있다. 도 2의 아래에서, 이미지상에서 선박을 검출하고 선박의 위치를 사각형의 바운딩 박스(BB)로 표현한 것을 볼 수 있다. 도 2의 아래에는 하나의 오브젝트만을 디텍션하는 것으로 도시하였으나, 하나의 이미지로부터 2 이상의 오브젝트를 디텍션할 수도 있다.
일부 실시예에서, 주변 환경 감지는 인공신경망을 이용하여 수행될 수 있다. 예를 들어, 세그멘테이션/디텍션은 인공신경망을 이용하여 수행될 수 있다. 하나의 인공신경망을 통해 주변 환경 감지를 수행할 수도 있고, 복수의 인공신경망을 이용하여 각각의 인공신경망이 주변 환경 감지를 수행하고 이 결과를 조합하여 최종 결과를 산출할 수도 있다.
인공신경망이란 인간의 신경망 구조를 본떠 만든 알고리즘의 일종으로, 하나 이상의 노드 또는 뉴런(neuron)을 포함하는 하나 이상의 레이어를 포함할 수 있고 각각의 노드는 시냅스(synapse)를 통해 연결될 수 있다. 인공신경망에 입력된 데이터(입력 데이터)는 시냅스를 통해 노드를 거쳐 출력(출력 데이터)될 수 있고, 이를 통해 정보를 획득할 수 있다.
인공신경망의 종류로는 필터를 이용해 특징을 추출하는 합성곱신경망(convolution neural network, CNN) 및 노드의 출력이 다시 입력으로 피드백 되는 구조를 갖는 순환인공신경망(recurrent neural network, RNN)이 있고, 제한된 볼츠만 머신(restricted Boltzmann machine, RBM), 심층신뢰신경망(deep belief network, DBN), 생성대립신경망(generative adversarial network, GAN), 관계형 네트워크(relation networks, RN) 등 다양한 구조가 적용될 수 있고 제한이 있는 것은 아니다.
인공신경망을 이용하기 전에 학습시키는 단계가 필요하다. 또는, 인공신경망을 이용하며 학습시킬 수 있다. 이하에서는 인공신경망을 학습시키는 단계를 학습 단계, 이용하는 단계를 추론 단계로 표현하기로 한다.
인공신경망은 지도 학습(supervised learning), 비지도 학습(unsupervised learning), 강화 학습(reinforcement learning), 모방 학습(imitation learning) 등 다양한 방법을 통해 학습될 수 있다.
도 3은 본 명세서의 일 실시예에 따른 인공신경망의 학습 단계 및 추론 단계에 관한 도면이다.
도 3의 위는 인공신경망의 학습 단계의 일 실시예로, 학습되지 않은 인공신경망이 학습 데이터 또는 훈련 데이터(training data)를 입력받아 출력 데이터를 출력하고, 출력 데이터와 라벨링 데이터(labelling data)를 비교하여 그 오차의 역전파를 통해 인공 신경망을 학습시킬 수 있다. 본 명세서에서, 학습 데이터 및 라벨링 데이터는 학습 세트로 지칭될 수도 있다. 학습 데이터, 출력 데이터, 라벨링 데이터는 이미지일 수 있다. 라벨링 데이터는 실측 자료(ground truth)를 포함할 수 있다. 또는, 라벨링 데이터는 사용자 또는 프로그램을 통하여 생성된 자료일 수 있다.
도 3의 아래는 인공신경망의 추론 단계의 일 실시예로, 학습된 인공신경망이 입력 데이터를 입력받아 출력 데이터를 출력할 수 있다. 학습 단계에서의 학습 데이터의 정보에 따라 추론 단계에서 추론 가능한 정보가 달라질 수 있다. 또한, 인공신경망의 학습 정도에 따라 출력 데이터의 정확성이 달라질 수 있다.
이하에서는 본 명세서의 실시예에 따른 주변 환경 감지 방법에서의 라벨링에 관한 몇몇 실시예에 대해 살펴본다. 설명의 편의를 위해 객체의 종류에 대한 정보(이하 "종류 정보"라 함) 및 거리에 대한 정보(이하 "거리 정보"라 함)를 이용하는 라벨링에 대해 설명하나, 이에 한정되는 것은 아니고 이 외에도 방향 정보, 이동 방향, 속도, 항로 표지 등 다른 정보를 이용하거나 포함하여 라벨링될 수도 있다. 후술할 실시예와 같이 라벨링된 라벨링 데이터를 이용하여 인공신경망을 학습시킬 수 있을 것이다. 또한, 거리 정보는 객체의 근접성을 나타낸다는 점에서 근접 레벨이라 표현될 수도 있다.
일부 실시예에서, 객체의 거리 정보는 카메라의 위치 또는 임의의 기준에 대한 객체의 상대적인 위치일 수 있고, 절대적인 위치일 수도 있다. 여기서, 상기 기준은 이미지에 포함된 특정 객체일 수 있으나 이에 한정되는 것은 아니다.
일부 실시예에서, 거리 정보는 일정 거리 범위를 갖는 복수의 카테고리로 표현될 수 있다. 예를 들어, 거리 정보는 근거리, 중거리 및 원거리 등으로 표현될 수 있다. 상기 카테고리는 숫자를 이용하여 표현될 수 있다. 예를 들어, 거리 정보 중 근거리는 1로, 중거리는 2로, 원거리는 3으로 표현할 수 있다.
일부 실시예에서, 거리 정보는 10m, 15m 등의 거리값으로 표현될 수 있다. 또는, 거리값을 일정 범위의 값으로 변환하여 거리 정보를 표현할 수 있다. 거리 정보는 균일하게 정규화될 수도 있고, 로그 함수나 지수 함수 등을 이용하여 불균일하게 정규화될 수도 있다. 예를 들어, 거리 정보는 0~1 사이의 값으로 정규화하여 표현될 수 있다.
도 4는 본 명세서의 일 실시예에 따른 주변 환경 감지 방법에서의 라벨링의 제1 실시예에 관한 표이다. 도 4를 참고하면, 객체의 종류 정보 및 거리 정보를 함께 고려하여 클래스를 설정하고, 각 클래스 별로 인덱스를 할당할 수 있다. 예를 들어, 객체의 종류 정보인 지형과 거리 정보인 근거리를 함께 고려하여 인덱스 2를 할당할 수 있다. 또한, 모든 인덱스가 복수의 정보를 포함해야 하는 것은 아니고, 같은 종류의 정보를 포함해야 하는 것도 아니다. 예를 들어, 특정 인덱스는 종류 정보만 포함하고(예를 들어, 인덱스 1은 거리 정보를 포함하지 않음) 다른 인덱스는 종류 정보 및 거리 정보를 포함하는 등 경우에 따라 다양한 방식으로 표현될 수 있다.
도 5는 본 명세서의 일 실시예에 따른 주변 환경 감지 방법에서의 라벨링의 제2 실시예에 관한 표이다. 도 5를 참고하면, 특정 거리 정보 및 특정 종류 정보에 대응되는 클래스에는 상기 특정 거리 정보에 대응되는 거리 인덱스 및 상기 특정 종류 정보에 대응되는 종류 인덱스를 포함하는 인덱스가 할당될 수 있다. 여기서, 거리 인덱스 및 종류 인덱스 각각은 단일값으로 표현될 수 있다. 비한정적인 예로, 인덱스는 (거리 인덱스, 종류 인덱스)의 형태로 표현될 수 있다. 이 경우 이미지 상에서 특정 인덱스가 라벨링된 영역 또는 픽셀은 특정 거리 인덱스 및 특정 종류 인덱스가 라벨링된 것으로 볼 수 있다. 예를 들어, 도 5를 참고하면, (1, 3) 인덱스가 라벨링된 영역 또는 픽셀은 근거리 및 선박이 라벨링된 것으로 볼 수 있다.
도 5를 참고하면, 거리 인덱스는 정의되지 않은 거리에 대응되는 제1 거리 인덱스(0), 근거리에 대응되는 제2 거리 인덱스(1), 중거리에 대응되는 제3 거리 인덱스(2) 및 원거리에 대응되는 제4 거리 인덱스(3)를 포함할 수 있다. 또한, 종류 인덱스는 기타에 대응되는 제1 종류 인덱스(0), 해양에 대응되는 제2 종류 인덱스(1), 지형에 대응되는 제3 종류 인덱스(2), 선박에 대응되는 제4 종류 인덱스(3) 및 로프에 대응되는 제5 종류 인덱스(4)를 포함할 수 있다.
도 6은 본 명세서의 일 실시예에 따른 주변 환경 감지 방법에서의 라벨링의 제3 실시예에 관한 표이다. 도 5 및 도 6을 비교하면, 종류 인덱스의 표현 방법이 상이한 것을 확인할 수 있다. 구체적으로, 도 6의 각 인덱스는 단일값으로 표현되는 거리 인덱스 및 복수의 단일값의 집합으로 표현되는 종류 인덱스를 포함할 수 있다.
도 6을 참고하면, 각 인덱스는 하나의 거리 인덱스 및 복수의 종류 인덱스를 포함하도록 표현될 수 있다. 비한정적인 예로, 인덱스는 (거리 인덱스 | 제1 종류 인덱스, 제2 종류 인덱스, 쪋 , 제n 종류 인덱스)의 형태로 표현될 수 있다. 여기서, 복수의 종류 인덱스 각각은 특정 객체의 종류 정보에 대응될 수 있다. 예를 들어, 도 6을 참고하면, 이미지 상의 특정 영역 또는 픽셀이 제1 종류 정보에 대응되는 경우 상기 제1 종류 정보에 대응되는 제1 종류 인덱스는 제1 값(예를 들어, 1)을 갖고, 나머지 종류 인덱스는 제2 값(예를 들어, 0)을 가질 수 있다. 이 경우 상기 특정 영역 또는 픽셀은 상기 제1 종류 인덱스가 라벨링된 것으로 볼 수 있다.
도 6에서는 종류 인덱스가 복수의 단일값의 집합으로 표현되는 경우에 대해 살펴보았으나, 이와 반대로 인덱스는 복수의 단일값의 집합으로 표현되는 거리 인덱스 및 단일값으로 표현되는 종류 인덱스를 포함할 수 있다. 또는, 인덱스는 복수의 단일값의 집합으로 표현되는 거리 인덱스 및 복수의 단일값의 집합으로 표현되는 종류 인덱스를 포함할 수도 있을 것이다.
전술한 거리 정보 및 종류 정보의 표현 방법은 예시에 불과하고 이와 다른 방식으로 거리 인덱스, 종류 인덱스, 인덱스, 클래스 등이 정의될 수 있다.
이상에서는 주로 하나의 인덱스에 하나의 객체가 대응되거나 하나의 인덱스에 하나의 거리 정보가 대응되는 경우에 대해 살펴보았으나, 하나의 인덱스에 복수의 객체가 대응되거나 하나의 인덱스에 복수의 거리 정보가 대응될 수도 있다.
일부 실시예에서, 겹쳐진 객체에 대해 표현할 수 있도록 인덱스를 설정할 수 있다. 도 7은 본 명세서의 일 실시예에 따른 겹쳐진 객체를 표현하는 인덱스에 관한 도면이다. 도 7을 참고하면, 이미지(1000)는 선박과 지형이 겹쳐진 영역(1100) 및 선박과 해양이 겹쳐진 영역(1200)를 포함할 수 있다.
일 예로, 도 4와 같이 클래스에 단일한 식별값이 할당되는 경우, 식별값은 선박과 지형 둘 다에 대응되는 제1 식별값(예를 들어, 11) 및 선박과 해양 둘 다에 대응되는 제2 식별값(예를 들어, 12)을 포함할 수 있다. 이 경우, 도 7을 참고하면, 이미지(1000)에서 선박에 대응되는 영역 중 선박과 지형이 겹쳐진 영역(1100)에는 제1 식별값(예를 들어, 11)이 대응되고, 선박과 해양이 겹쳐진 영역(1200)에는 제2 식별값(예를 들어, 12)이 대응될 수 있다.
다른 예로, 도 5와 같이 클래스가 단일값으로 표현되는 종류 인덱스를 포함하는 인덱스에 대응되는 경우, 종류 인덱스는 선박과 지형 둘 다에 대응되는 제1 종류 인덱스(예를 들어, 5) 및 선박과 해양 둘 다에 대응되는 제2 종류 인덱스(예를 들어, 6)을 포함할 수 있다. 이 경우, 도 7을 참고하면, 이미지(1000)에서 선박에 대응되는 영역 중 선박과 지형이 겹쳐진 영역(1100)에는 제1 종류 인덱스를 포함하는 인덱스(예를 들어, (1, 5))가 대응되고, 선박과 해양이 겹쳐진 영역(1200)에는 제2 종류 인덱스를 포함하는 인덱스(예를 들어, (1, 6))가 대응될 수 있다.
또 다른 예로, 도 6과 같이 클래스가 복수의 단일값의 집합으로 표현되는 종류 인덱스를 포함하는 인덱스에 대응되는 경우, 도 7을 참고하면, 이미지(1000)에서 선박에 대응되는 영역 중 선박과 지형이 겹쳐진 영역(1100)에는 제1 인덱스(예를 들어, (1 | 0, 0, 1, 1, 0, 0))가 대응되고, 선박과 해양이 겹쳐진 영역(1200)에는 제2 인덱스(예를 들어, (1 | 0, 1, 0 ,1, 0, 0))가 대응될 수 있다. 이 경우 전술한 도 4 및 도 5에 관한 예시들과는 다르게 식별값이나 종류 인덱스를 별도로 추가하지 않고 겹쳐진 객체를 표현할 수 있다.
이상에서는 선박과 지형이 겹친 경우 및 선박과 해양이 겹친 경우에 대해서 살펴보았으나, 이 외에도 선박과 선박이 겹친 경우 등에도 이처럼 표현할 수 있다. 예를 들어, 제1 선박 및 제2 선박의 적어도 일부가 겹쳐 제1 선박의 뒤에 제2 선박이 적어도 일부 가려진 경우 겹친 영역을 제1 선박에만 대응되도록 라벨링하여 표현하는 것이 아닌 제1 선박 및 제2 선박 둘 다에 대응되도록 라벨링하여 표현할 수 있다.
또한, 물리적으로 객체가 겹친 경우가 아니더라도, 해면 불요 반사파가 발생한 해양 영역을 해면 불요 반사파 또는 해양 중 하나에만 대응되도록 라벨링하여 표현하는 대신 상기 해양 영역을 해면 불요 반사파 및 해양 둘 다에 대응되도록 라벨링하여 표현할 수도 있다. 이는 역광 및 선박 둘 다에 대응되도록 라벨링하는 등에도 적용될 수 있을 것이다.
일부 실시예에서, 객체 사이의 연결성(connectivity)을 표현할 수 있도록 인덱스를 설정할 수 있다. 여기서, 연결성은 객체 사이의 물리적 연결 여부를 의미할 수 있다. 또는, 연결성은 하나의 객체에 다른 객체가 설치되었는지 여부를 의미할 수 있다.
도 8은 본 명세서의 일 실시예에 따른 객체 사이의 연결성을 표현하는 인덱스에 관한 도면이다. 도 8을 참고하면, 이미지(2000)는 선박에 설치된 크레인에 대응되는 영역(2100) 및 항만(또는 지형, 육지)에 설치된 크레인에 대응되는 영역(2200)을 포함할 수 있다.
일 예로, 도 4와 같이 클래스에 단일한 식별값이 할당되는 경우, 식별값은 선박에 설치된 크레인에 대응되는 제3 식별값(예를 들어, 13) 및 항만에 설치된 크레인에 대응되는 제4 식별값(예를 들어, 14)을 포함할 수 있다. 이 경우, 도 8을 참고하면, 이미지(2000)에서 선박에 설치된 크레인에 대응되는 영역(2100)에는 제3 식별값(예를 들어, 13)이 대응되고, 항만에 설치된 크레인에 대응되는 영역(2200)에는 제4 식별값(예를 들어, 14)이 대응될 수 있다.
다른 예로, 도 5와 같이 클래스가 단일값으로 표현되는 종류 인덱스를 포함하는 인덱스에 대응되는 경우, 종류 인덱스는 선박에 설치된 크레인에 대응되는 제3 종류 인덱스(예를 들어, 7) 및 항만에 설치된 크레인에 대응되는 제4 종류 인덱스(예를 들어, 8)를 포함할 수 있다. 이 경우, 도 8을 참고하면, 이미지(2000)에서 선박에 설치된 크레인에 대응되는 영역(2100)에는 제3 종류 인덱스를 포함하는 인덱스(예를 들어, (1, 7))가 대응되고, 항만에 설치된 크레인에 대응되는 영역(2200)에는 제4 종류 인덱스를 포함하는 인덱스(예를 들어, (1, 8))가 대응될 수 있다.
또 다른 예로, 도 6과 같이 클래스가 복수의 단일값의 집합으로 표현되는 종류 인덱스를 포함하는 인덱스에 대응되는 경우, 도 8을 참고하면, 이미지(2000)에서 선박에 설치된 크레인에 대응되는 영역(2100)에는 제3 인덱스(예를 들어, (1 | 0, 0, 0, 1, 0, 1))가 대응되고, 항만에 설치된 크레인에 대응되는 영역(2200)에는 제4 인덱스(예를 들어, (1 | 0, 0, 1, 0, 0, 1))가 대응될 수 있다. 이 경우 전술한 도 4 및 도 5에 관한 예시들과는 다르게 식별값이나 종류 인덱스를 별도로 추가하지 않고 객체 사이의 연결성을 표현할 수 있다.
이상에서는 객체 사이의 연결성의 예시로 크레인의 설치 위치에 대해 살펴보았으나 이에 한정되는 것은 아니다. 예를 들어, 선박 및 항만(또는 지형, 육지) 중 적어도 하나와 연결된 로프 등도 이와 유사하게 표현할 수 있다.
일부 실시예에서, 동일한 종류의 서로 다른 객체를 구분할 수 있도록 인덱스를 설정할 수 있다. 예를 들어, 이미지에 포함된 복수의 선박에 각각 별도의 식별자를 부여하여 상기 복수의 선박을 구분할 수 있다. 여기서, 상기 식별자는 객체 정보를 표현하기 위한 인덱스에 포함될 수 있다. 또한, 이미지에 포함된 객체에 식별자를 부여한다는 것은 상기 객체에 대응되는 이미지의 영역 또는 픽셀에 식별자를 라벨링하는 것을 의미할 수 있다.
일부 실시예에서, 객체의 거리 정보에 따라 동일한 종류의 서로 다른 객체를 구분할지 여부가 달라질 수 있다. 도 9는 본 명세서의 일 실시예에 따른 거리 정보에 따른 동일한 종류의 객체 구분에 관한 도면이다. 도 9를 참고하면, 항만(또는 지형, 육지)과 인접한 제1 거리 범위에 대응되는 선박(3100, 3200)은 서로 구분하고, 상기 제1 거리 범위보다 먼 제2 거리 범위에 대응되는 선박(3300)은 구분하지 않을 수 있다. 일 예로, 선박이 제1 거리 범위에 대응되는 경우에는 상기 선박에 식별자를 부여하고, 제2 거리 범위에 대응되는 경우에는 식별자를 부여하지 않을 수 있다. 다른 예로, 상기 제1 거리 범위에 대응되는 선박에는 객체별로 상이한 식별자를 부여하고, 상기 제2 거리 범위에 대응되는 선박에는 객체별로 동일한 식별자를 부여할 수 있다. 여기서, 상기 제1 거리 범위는 상기 제2 거리 범위보다 가까운 거리 정보일 수 있다.
일부 실시예에서, 이미지에 라벨링되는 종류 정보가 객체의 거리 정보에 의존하도록 인덱스를 설정할 수 있다.
일 예로, 객체가 제1 거리 정보에 대응되는 경우 객체에는 제1 종류 정보가 라벨링되고, 제2 거리 정보에 대응되는 경우에는 제2 종류 정보가 라벨링될 수 있다. 도 10은 본 명세서의 일 실시예에 따른 종류 정보가 거리 정보에 의존하도록 설정된 인덱스에 관한 도면으로, 선박의 거리 정보에 따라 선박의 상면/측면 구분 여부가 달라지도록 인덱스를 설정하는 것에 관한 것이다. 도 10의 위를 참고하면, 선박과 항만 사이의 거리가 일정 거리 이상인 경우 (또는 제1 거리 정보에 대응되는 경우) 이미지(4000)에서 선박(4100)에 대응되는 영역은 상면/측면 구분 없이 선박으로 라벨링될 수 있다. 반면, 도 10의 아래를 참고하면, 선박과 항만 사이의 거리가 일정 거리 미만인 경우 (또는 상기 제1 거리 정보보다 가까운 거리를 지시하는 제2 거리 정보에 대응되는 경우) 이미지(5000)에서 선박에 대응되는 영역은 상면(5100) 또는 측면(5200)으로 라벨링될 수 있다. 여기서, 상기 상면(5100) 및 상기 측면(5200)은 각각 선박의 상면 및 측면에 대응되는 영역일 수 있다. 또한, 선박의 상면은 갑판 및 상기 갑판 상에 위치하는 구조물(예를 들어, 선교, 굴뚝, 크레인)을 포함할 수 있다.
다른 예로, 객체가 제1 거리 정보에 대응되는 경우에는 객체에 제1 종류 정보가 라벨링되고, 제2 거리 정보에 대응되는 경우에는 상기 제1 종류 정보 및 제2 종류 정보가 함께 라벨링될 수 있다. 도 10의 위를 참고하면, 선박과 항만 사이의 거리가 일정 거리 이상인 경우 (또는 제1 거리 정보에 대응되는 경우) 이미지(4000)에서 선박(4100)에 대응되는 영역은 상면/측면 구분 없이 선박으로 라벨링될 수 있다. 반면, 도 10의 아래를 참고하면, 선박과 항만 사이의 거리가 일정 거리 미만인 경우 (또는 상기 제1 거리 정보보다 가까운 거리를 지시하는 제2 거리 정보에 대응되는 경우) 이미지(5000)에서 선박에 대응되는 영역은 선박과 함께 상면(5100) 또는 측면(5200) 중 적어도 하나가 라벨링될 수 있다.
또 다른 예로, 객체가 제1 거리 정보에 대응되는 경우 이미지에 라벨링될 수 있는 종류 정보는 객체가 제2 거리 정보에 대응되는 경우 이미지에 라벨링될 수 있는 종류 정보와 적어도 일부 상이할 수 있다. 예를 들어, 선박과 항만 사이의 거리가 일정 거리 미만인 경우에만 (또는 제1 거리 정보에 대응되는 경우에만) 특정 객체(예를 들어, 로프, 크레인)를 별도로 이미지에 라벨링할 수 있다.
이상에서는 선박의 거리 정보에 따라 선박의 상면/측면 구분 여부가 달라지도록 인덱스를 설정하는 것에 대해 주로 설명하였으나, 이 외에도 다른 방식으로 이미지에 라벨링되는 종류 정보가 객체의 거리 정보에 의존하도록 인덱스를 설정할 수 있다.
이하에서는 이미지 상에서 거리 정보를 라벨링하는 방법의 몇몇 실시예에 대해 살펴본다.
일부 실시예에서, 거리 정보는 이미지 상의 일 영역, 일 라인 또는 일 지점을 기준으로 라벨링될 수 있다. 또는, 거리 정보는 이미지 상의 특정 객체를 기준으로 라벨링될 수 있다. 이하에서는 거리 정보의 기준이 되는 특정 객체를 기준 객체(reference object)라 한다. 비한정적인 예로, 기준 객체는 선박, 안벽, 지형 등일 수 있다. 또는, 기준 객체는 라벨링이 수행되는 이미지를 생성한 디바이스(예를 들어, 카메라)가 설치된 객체일 수 있다.
도 11은 본 명세서의 일 실시예에 따른 기준 객체에 따른 거리 정보에 관한 도면이다. 도 11을 참고하면, 거리 정보는 기준 객체(6100)인 지형을 기준으로 제1 거리 범위(6200), 상기 제1 거리 범위(6200)보다 먼 제2 거리 범위(6300) 및 상기 제2 거리 범위(6300)보다 먼 제3 거리 범위(6400)를 포함할 수 있다. 이 경우, 상기 제1 거리 범위(6200)에 위치한 객체(예를 들어, 선박, 장애물)에 대응되는 이미지의 영역 또는 픽셀에는 상기 제1 거리 범위(6200)를 지시하는 거리 인덱스가 라벨링될 수 있다. 또한, 상기 제2 거리 범위(6300)에 위치한 객체에 대응되는 이미지의 영역 또는 픽셀 및 상기 제3 거리 범위(6400)에 위치한 객체에 대응되는 이미지의 영역 또는 픽셀에도 각각 상기 제2 거리 범위(6300)를 지시하는 거리 인덱스 및 상기 제3 거리 범위(6400)를 지시하는 거리 인덱스가 라벨링될 수 있다.
일부 실시예에서, 거리 정보가 기준 객체를 기준으로 라벨링되는 것은 상기 기준 객체의 일부를 기준으로 라벨링되는 것을 의미할 수 있다. 예를 들어, 도 11을 참고하면, 거리 정보는 기준 객체인 지형의 바운더리를 기준으로 라벨링될 수 있다. 이 외에도 거리 정보는 기준 객체의 일 영역이나 일 지점을 기준으로 라벨링될 수도 있다.
일부 실시예에서, 기준 객체는 이미지 상의 특정 영역에 위치할 수 있다. 일 예로, 기준 객체는 이미지 상의 하부 영역에 위치할 수 있다. 다른 예로, 기준 객체는 이미지 상의 상부 영역, 하부 영역, 좌측 영역 및 우측 영역 중 적어도 한 영역에 위치할 수 있다.
일부 실시예에서, 거리 정보는 이미지 상의 제1 기준 및 제2 기준 사이에서 정의되는 복수의 거리 범위를 포함할 수 있다. 일 예로, 제1 기준 및 제2 기준 중 적어도 하나는 기준 객체일 수 있다. 다른 예로, 제1 기준은 기준 객체이고 제2 기준은 이미지 상의 특정 영역, 특정 라인 또는 특정 지점일 수 있다.
일부 실시예에서, 거리 정보는 이미지 상의 주행 가능 영역(예를 들어, 해양, 도로)에 대해 설정될 수 있다. 예를 들어, 주행 가능 영역을 복수의 영역으로 나누고, 상기 복수의 영역 각각에 대해 서로 다른 거리 정보(예를 들어, 근거리, 중거리, 원거리)가 설정될 수 있다. 이 경우 상기 복수의 영역 중 어느 한 영역에 위치하는 객체에는 상기 어느 한 영역에 설정된 거리 정보에 대응되는 거리 인덱스가 라벨링될 수 있다.
일부 실시예에서, 복수의 거리 범위 중 인접한 거리 범위 사이의 경계는 적어도 기준 객체를 고려하여 설정될 수 있다. 예를 들어, 상기 경계는 적어도 기준 객체의 형상 및 바운더리 중 적어도 하나를 고려하여 설정될 수 있다. 도 11을 참고하면, 제1 거리 범위(6200) 및 제2 거리 범위(6300) 사이의 경계는 기준 객체인 지형의 바운더리를 고려하여 설정될 수 있다.
일부 실시예에서, 복수의 거리 범위에 걸쳐 객체가 위치하는 경우 상기 객체에는 상기 복수의 거리 범위 중 어느 한 거리 범위에 대응되는 거리 인덱스가 라벨링될 수 있다. 예를 들어, 객체의 일부는 제1 거리 범위에 위치하고 나머지는 제2 거리 범위에 위치하는 경우 객체 전체는 상기 제1 거리 범위 및 상기 제2 거리 범위 중 더 가까운 거리 범위에 대응되는 거리 인덱스로 라벨링될 수 있다.
이상에서는 주로 거리 정보가 3개의 거리 범위를 포함하는 경우에 대해 설명하였으나 이에 한정되는 것은 아니고 거리 정보는 2개의 거리 범위를 포함하거나 4개 이상의 거리 범위를 포함할 수도 있다. 또한, 거리 범위의 설정은 카메라 설치 위치, 설치 방향, 카메라 사양(예를 들어, FOV) 등을 고려하여 달라질 수도 있다. 예를 들어, 제1 이미지의 거리 범위의 설정은 제2 이미지의 거리 범위의 설정과 상이할 수 있다.
일부 실시예에서, 하나의 모델(예를 들어, 인공신경망)로 객체의 위치 정보 및 종류 정보를 함께 획득할 수 있다. 예를 들어, 상기 모델에 이미지를 입력하여 상기 이미지의 픽셀에 대응되는 위치 정보 및 종류 정보를 포함하는 출력 데이터를 획득할 수 있다. 본 명세서에서, 위치 정보는 객체의 위치와 관련된 정보로, 예를 들어 거리 정보, 방향 정보 및 좌표 중 적어도 하나를 포함할 수 있다. 또한, 위치 정보는 물체의 상대적인 위치를 의미할 수 있고, 절대적인 위치를 의미할 수도 있다.
일부 실시예에서, 제1 모델로 객체의 종류 정보를 획득하고 제2 모델로 객체의 위치 정보를 획득할 수 있다. 예를 들어, 상기 제1 모델에 이미지를 입력하여 상기 이미지의 픽셀에 대응되는 종류 정보를 포함하는 제1 출력 데이터를 획득하고, 상기 제2 모델에 상기 이미지 및 상기 제1 출력 데이터 중 적어도 하나를 입력하여 상기 이미지의 픽셀에 대응되는 위치 정보를 포함하는 제2 출력 데이터를 획득할 수 있다. 비한정적인 예로, 상기 제1 모델 및 상기 제2 모델 중 적어도 하나는 인공신경망일 수 있다.
일부 실시예에서, 인공신경망과 같은 모델을 이용하는 추론 단계에서 상기 모델이 출력한 복수의 객체 정보 중 적어도 일부 객체 정보는 나머지 객체 정보에 기초하여 변경되거나 무시되는 등 상기 모델이 출력한 출력 정보와 다르게 취급될 수 있다. 예를 들어, 이미지를 모델에 입력하여 위치 정보 및 종류 정보를 획득하는 경우 상기 종류 정보에 따라 위치 정보를 고려하지 않을 수도 있다.
일부 실시예에서, 학습 데이터에서 해양에 대응되는 이미지의 영역 또는 픽셀에 정의되지 않은 거리에 대응되는 거리 인덱스가 라벨링되더라도(예를 들어, 도 5 또는 도 6), 추론 단계에서는 해양에 대응되는 이미지의 일 영역 또는 일 픽셀에 정의되지 않은 거리 외의 거리 인덱스(예를 들어, 근거리, 중거리, 원거리)가 라벨링될 수 있다. 이 경우 상기 해양에 대응되는 이미지의 일 영역 또는 일 픽셀의 거리 정보는 추론을 통해 어떤 거리 인덱스가 출력되었는지와 무관하게 정의되지 않은 거리로 간주할 수 있다.
일부 실시예에서, 선박의 선수 및 선미 중 적어도 하나에 대한 정보를 출력하는 모델(예를 들어, 인공신경망)이 제공될 수 있다. 예를 들어, 모델은 이미지를 입력 받아 이미지에 포함된 선박의 선수 및 선미 중 적어도 하나의 위치 정보를 출력할 수 있다. 여기서, 모델은 이미지 상에서 선수 및 선미 중 적어도 하나를 표시하여 그 위치 정보를 출력할 수 있다. 또는, 모델은 이미지 상에서 선수 및 선미 중 적어도 하나에 대응되는 좌표값을 출력할 수 있다.
일부 실시예에서, 선박의 선수 및 선미 중 적어도 하나에 대한 정보를 출력하는 모델은 입력 이미지 및 상기 입력 이미지에 포함된 선박의 선수 및 선미 중 적어도 하나의 위치 정보를 포함하는 학습 데이터를 이용해 학습될 수 있다. 예를 들어, 상기 입력 이미지를 입력 받은 상기 모델이 출력한 출력 데이터 및 상기 학습 데이터가 포함하는 상기 위치 정보에 기초하여 상기 모델이 학습될 수 있다.
일부 실시예에서, 선박의 측선에 대한 정보를 출력하는 모델이 제공될 수 있다. 예를 들어, 모델은 이미지를 입력 받아 이미지에 포함된 선박의 측선에 대한 정보를 출력할 수 있다. 여기서, 모델은 이미지 상에서 측선을 표시하여 측선에 대한 정보를 출력할 수 있다. 또는, 모델은 이미지 상에서 측선에 대응되는 하나 이상의 지점을 표시하여 측선에 대한 정보를 출력할 수 있다. 또는, 모델은 이미지 상에서 측선에 대응되는 하나 이상의 지점에 대응되는 좌표값을 출력할 수 있다.
일부 실시예에서, 선박의 측선에 대한 정보를 출력하는 모델은 입력 이미지 및 상기 입력 이미지에 포함된 측선에 대한 정보를 포함하는 학습 데이터를 이용해 학습될 수 있다. 예를 들어, 상기 입력 이미지를 입력 받은 상기 모델이 출력한 출력 데이터 및 상기 학습 데이터가 포함하는 상기 측선에 대한 정보에 기초하여 상기 모델이 학습될 수 있다.
일부 실시예에서, 복수의 객체 사이의 각도를 출력하는 모델이 제공될 수 있다. 예를 들어, 모델은 이미지를 입력 받아 이미지에 포함된 복수의 객체 사이의 각도를 출력할 수 있다. 일 예로, 상기 복수의 객체 사이의 각도는 선박과 안벽(또는 지형, 육지) 사이의 각도일 수 있다. 다른 예로, 상기 복수의 객체 사이의 각도는 일 선박과 타 선박 사이의 각도일 수 있다.
일부 실시예에서, 복수의 객체 사이의 각도를 출력하는 모델은 입력 이미지 및 상기 입력 이미지에 포함된 복수의 객체 사이의 각도를 포함하는 학습 데이터를 이용해 학습될 수 있다. 예를 들어, 상기 입력 이미지를 입력 받은 상기 모델이 출력한 출력 데이터 및 상기 학습 데이터가 포함하는 상기 각도에 기초하여 상기 모델이 학습될 수 있다.
일부 실시예에서, 이미지를 버드 아이 뷰로 변환하는 모델이 제공될 수 있다. 예를 들어, 모델은 원근 시점(perspective view)의 이미지를 입력 받아 버드 아이 뷰의 이미지를 출력할 수 있다.
일부 실시예에서, 이미지를 버드 아이 뷰로 변환하는 모델은 원근 시점 입력 이미지 및 상기 입력 이미지를 버드 아이 뷰로 변환한 이미지를 포함하는 학습 데이터를 이용해 학습될 수 있다. 예를 들어, 상기 원근 시점 입력 이미지를 입력 받은 상기 모델이 출력한 출력 데이터 및 상기 입력 이미지를 버드 아이 뷰로 변환한 이미지에 기초하여 상기 모델이 학습될 수 있다.
이하에서는 전술한 실시예 외의 다른 방법으로 객체의 위치 정보를 획득하는 실시예에 대해 살펴본다.
일부 실시예에서, 카메라로 촬상된 이미지의 경우, 카메라의 종류 및 위치(높이, 각도 등) 등을 포함하는 세팅 정보를 이용하여 이미지의 픽셀당 위치 정보를 획득할 수 있다. 획득한 위치 정보는 카메라의 위치 또는 임의의 기준에 대한 상대적인 위치일 수 있고, 절대적인 위치일 수도 있다.
도 12는 본 명세서의 일 실시예에 따른 이미지 픽셀을 이용한 위치 정보 획득에 관한 도면이다. 도 12를 참고하면, 이미지의 좌우 방향은 픽셀의 각도, 상하 방향은 픽셀까지의 거리에 대응될 수 있다. 픽셀 A의 경우 좌측으로 약 30°, 거리는 약 15m 떨어진 것으로 볼 수 있고, 픽셀 B의 경우 우측으로 약 10°, 거리는 약 20m 떨어진 것으로 볼 수 있다.
카메라의 자세에 따라 전술한 위치 정보의 오차가 발생할 수 있다. 예를 들어, 카메라의 초기 설치 자세가 차후에 변경되어 오차가 발생할 수 있다. 카메라의 설치 자세를 반영하여 상기 위치 정보를 보정할 수 있다.
카메라가 설치된 물체의 움직임(자세)에 따라 위치 정보의 오차가 발생할 수 있다. 예를 들어, 카메라가 선박에 설치된 경우 선박의 롤(roll), 피치(pitch) 등에 따라 이미지의 픽셀당 위치 정보가 달라질 수 있다. 정확한 위치 정보의 획득을 위해 선박의 자세와 같은 카메라가 설치된 물체의 자세를 고려할 수 있다. 예를 들어, 선박에 탑재된 관성 측정 장치(inertial measurement unit, IMU)로부터 선박의 선수 방향(heading 또는 yaw), 피치, 롤 등 선박의 자세에 관한 정보를 획득하고 이를 반영하여 이미지의 픽셀당 위치 정보를 획득할 수 있다.
일부 실시예에서, 복수의 방법을 통해 획득한 객체의 위치 정보에 기초하여 객체의 최종 위치 정보를 획득할 수 있다. 이하에서는 이미지 세그멘테이션을 통해 획득한 위치 정보(이하 "제1 위치 정보"라 함) 및 도 12와 같이 픽셀의 이미지 상에서의 위치에 기초하여 획득한 위치 정보(이하 "제2 위치 정보"라 함)에 기초하여 최종 위치 정보를 획득하는 것에 대해 설명하나 복수의 방법을 통해 획득한 객체의 위치 정보에 기초하여 객체의 최종 위치 정보를 획득하는 것이 이에 한정되는 것은 아니다.
이미지 세그멘테이션의 출력 데이터의 모든 출력값에 대하여 위치 정보를 융합해야 하는 것은 아니다. 일부 출력값은 제1 위치 정보와 제2 위치 정보를 이용하여 최종 위치 정보를 획득하고, 다른 출력값은 제1 위치 정보 및 제2 위치 정보 중 어느 하나만을 이용하여 최종 위치 정보를 획득할 수 있다. 예를 들어, 이미지 세그멘테이션을 통하여 얻은 물체의 종류에 따라 위치 정보 융합 여부를 결정할 수 있다. 장애물에 대하여는 위치 정보를 융합하고, 바다와 같은 운항 가능 영역에 대하여는 위치 정보를 융합하지 않을 수 있다.
제1 위치 정보 및 제2 위치 정보의 종류는 다를 수 있다. 예를 들어, 제1 위치 정보는 거리 정보, 제2 위치 정보는 방향 정보만 담고 있을 수 있다. 이 경우 제1 위치 정보 및 제2 위치 정보를 합하여 거리 정보 및 방향 정보를 포함하는 최종 위치 정보를 획득할 수 있다.
제1 위치 정보 및 제2 위치 정보가 동일한 종류의 정보를 포함하고 있을 수 있다. 이 경우 제1 위치 정보 및 제2 위치 정보가 정합할 수 있고, 정합하지 않을 수 있다. 여기서, 위치 정보가 정합한다는 것은 제1 위치 정보와 제2 위치 정보가 동일하거나 비슷한 경우, 또는 오차 범위 이내인 경우를 의미할 수 있다.
먼저, 위치 정보가 정합하는 경우에 대해 살펴본다.
일 예로, 제1 위치 정보가 거리 범위로 표현되고, 제2 위치 정보가 거리 범위 또는 거리값으로 표현되는 경우, 위치 정보가 정합한다는 것은 제2 위치 정보가 제1 위치 정보의 거리 범위 내에 포함되는 것을 의미할 수 있다. 이 경우 최종 위치 정보는 제1 위치 정보 및 제2 위치 정보 중 어느 하나일 수 있다. 또는, 최종 위치 정보는 제1 위치 정보를 제2 위치 정보로 보정한 값일 수 있다. 비한정적인 예로, 최종 위치 정보는 거리값으로 표현되는 제2 위치 정보(예를 들어, 14m)로부터 거리 범위로 표현되는 제1 위치 정보(예를 들어, 10m 내지 20m)의 최대값 사이의 거리 범위(예를 들어, 14m 내지 20m)로 결정될 수 있다.
다른 예로, 제1 위치 정보 및 제2 위치 정보 모두 거리값으로 표현되고 상기 제1 위치 정보 및 상기 제2 위치 정보가 정합하는 경우가 있을 수 있다. 이때 최종 위치 정보는 제1 위치 정보 및 제2 위치 정보 중 어느 하나일 수 있다. 또는, 최종 위치 정보는 제1 위치 정보 및 제2 위치 정보의 평균일 수 있다. 이 외에도 제1 위치 정보 및 제2 위치 정보를 특정 비율로 섞는 등 다양한 방법이 이용될 수 있다.
위치 정보가 정합하지 않는 경우는 제1 위치 정보와 제2 위치 정보가 다른 경우, 또는 오차 범위 밖인 경우일 수 있다. 이때 최종 위치 정보는 제1 위치 정보 및 제2 위치 정보 중 어느 하나일 수 있다. 예를 들어, 최종 위치 정보는 제1 위치 정보 및 제2 위치 정보 중 더 작은 값일 수 있다. 또는, 위치 정보가 부정합 하는 출력값에 대하여 해당 출력값의 위치 정보를 모르는 값(unknown value)으로 둘 수 있다. 또는, 위치 정보가 부정합 하는 출력값이 존재하는 경우 해당 출력 데이터의 모든 출력값에 대해 위치 정보를 모르는 값으로 둘 수 있다.
일부 실시예에서, 위치 정보는 객체별로 융합될 수 있다. 예를 들어, 이미지 상에서 특정 객체에 대응되는 복수의 픽셀 각각에는 제1 위치 정보 및 제2 위치 정보가 대응될 수 있다. 이 경우 픽셀별로 제1 위치 정보 및 제2 위치 정보를 융합하여 픽셀별로 최종 위치 정보를 획득하지 않고, 객체별로 최종 위치 정보를 획득할 수 있다.
일부 실시예에서, 객체별로 위치 정보를 융합하는 것은 특정 객체에 대응되는 복수의 픽셀 각각에 라벨링된 복수의 제1 위치 정보에 기초하여 제1 객체 위치 정보를 산출하고, 상기 특정 객체에 대응되는 복수의 픽셀 각각에 라벨링된 복수의 제2 위치 정보에 기초하여 제2 객체 위치 정보를 산출하고, 상기 제1 객체 위치 정보 및 상기 제2 객체 위치 정보를 융합하여 상기 객체에 대응되는 최종 위치 정보를 획득하는 것을 포함할 수 있다. 비한정적인 예로, 상기 객체 위치 정보는 상기 복수의 위치 정보의 평균, 가중치 평균, 이상치 처리 등을 통해 산출될 수 있다. 또한, 제1 객체 위치 정보 및 제2 객체 위치 정보의 구체적인 융합 방법은 전술한 위치 정보가 정합하는 경우의 융합 방법 및 위치 정보가 정합하지 않는 경우의 융합 방법에 대한 내용이 적용될 수 있다.
전술한 주변 환경 감지의 결과는 자율 운항이나 항만 감시/모니터링 등에 다양하게 이용될 수 있다.
일부 실시예에서, 주변 환경 감지의 결과는 선박의 경로 계획에 이용될 수 있다. 여기서, 경로 계획은 장애물 지도 생성 및 경로 생성을 포함할 수 있다. 이 경우, 주변 환경 감지의 결과를 이용하여 장애물 지도를 생성하고, 생성된 장애물 지도를 이용하여 선박의 추종 경로를 산출할 수 있다.
장애물 지도는 객체 정보와 같은 주변 환경 감지의 결과를 표현하는 수단을 의미할 수 있다. 일 예로, 장애물 지도는 격자 지도(grid map) 일 수 있다. 상기 격자 지도는 공간을 단위 영역으로 나누고 각 단위 영역별로 객체 정보를 표시할 수 있다. 다른 예로, 장애물 지도는 벡터 지도(vector map) 일 수 있다. 장애물 지도는 2차원에만 한정되는 것은 아니고 3차원 장애물 지도 등도 가능하다. 한편, 장애물 지도는 출발 지점부터 도착 지점까지 선박의 운항과 관련된 모든 지역을 표현하는 전역 지도(global map) 또는 선박 주변의 일정 지역을 표현하는 지역 지도(local map) 일 수 있다.
일부 실시예에서, 장애물 지도의 각 단위 영역에는 가중치가 할당될 수 있다.
일 예로, 상기 가중치는 운항 적합도를 반영할 수 있다. 예를 들어, 바다와 같이 운항하기에 적합한 지역에 대응되는 단위 영역의 경우 높은 값의 가중치가 할당되고, 선박 등과 같은 장애물이 존재하여 운항하기에 부적합한 지역에 대응되는 단위 영역의 경우 낮은 값의 가중치가 할당될 수 있다. 이와 반대로 운항 적합도가 높을수록 낮은 가중치를 할당할 수도 있다.
다른 예로, 상기 가중치는 객체의 존재 여부를 반영할 수 있다. 여기서, 장애물 지도에 표현되는 객체는 장애물에 대응되는 객체일 수 있다. 상기 가중치는 객체의 존재 확률로 표현되거나 또는 일정 범위의 숫자를 이용하여 표현될 수 있다.
이 외에도 장애물 지도에는 경우에 따라 객체의 종류, 위치, 거리, 이동 방향, 속도, 항로 표지 정보 등 다양한 정보가 표현될 수도 있다.
이하에서는 주변 환경 감지 결과의 일 예인 객체의 거리 정보를 이용하여 장애물 지도를 생성하는 몇몇 실시예에 대해 살펴본다.
일부 실시예에서, 객체의 거리 정보에 따라 상기 객체를 장애물 지도에 반영하는지 여부가 달라질 수 있다. 예를 들어, 특정 거리 범위에 대응되는 객체만 장애물 지도에 반영할 수 있다. 여기서, 상기 특정 거리 범위는 객체에 대응될 수 있는 복수의 거리 범위 중 상대적으로 가까운 거리를 지시하는 거리 범위일 수 있다.
일부 실시예에서, 객체가 제1 거리 범위에 위치하는 경우에는 장애물 지도에 반영하지 않고, 상기 객체가 제2 거리 범위에 위치하는 경우에는 장애물 지도에 반영할 수 있다. 여기서, 상기 제2 거리 범위는 상기 제1 거리 범위보다 가까울 수 있다.
일부 실시예에서, 제1 거리 범위에 위치하는 제1 객체는 장애물 지도에 반영하지 않고, 제2 거리 범위에 위치하는 제2 객체는 장애물 지도에 반영할 수 있다. 여기서, 상기 제2 거리 범위는 상기 제1 거리 범위보다 가까울 수 있다.
일부 실시예에서, 객체의 거리 정보에 따라 상기 객체를 추적(tracking)할지 여부가 달라질 수 있다. 여기서, 객체를 추적한다는 것은 객체의 종류, 위치, 방향, 속도, 속력 등 객체에 관한 정보를 저장 및/또는 모니터링한다는 것을 의미할 수 있다.
일부 실시예에서, 객체가 제1 거리 범위에 위치하는 경우에는 상기 객체를 추적하지 않고, 상기 객체가 제2 거리 범위에 위치하는 경우에는 상기 객체를 추적할 수 있다. 여기서, 상기 제2 거리 범위는 상기 제1 거리 범위보다 가까울 수 있다.
일부 실시예에서, 제1 거리 범위에 위치하는 제1 객체는 추적하지 않고, 제2 거리 범위에 위치하는 제2 객체는 추적할 수 있다. 여기서, 상기 제2 거리 범위는 상기 제1 거리 범위보다 가까울 수 있다.
실시예에 따른 방법은 다양한 컴퓨팅 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
상기에서는 실시예를 기준으로 본 발명의 구성과 특징을 설명하였으나 본 발명은 이에 한정되지 않으며, 본 발명의 사상과 범위 내에서 다양하게 변경 또는 변형할 수 있음은 본 발명이 속하는 기술 분야의 당업자에게 명백한 것이며, 따라서 이와 같은 변경 또는 변형은 첨부된 특허청구범위에 속함을 밝혀 둔다.
전술한 바와 같이, 상기 발명의 실시를 위한 최선의 형태에서, 관련된 사항을 기술하였다.

Claims (16)

  1. 거리를 측정하는 방법에 있어서,
    학습 세트에 의해 학습된 인공신경망을 준비하는 단계 - 상기 학습 세트는 복수의 이미지 및 상기 복수의 이미지의 픽셀에 라벨링된 객체 정보를 포함하고, 상기 복수의 이미지의 적어도 일부는 그 하부에 위치하는 기준 객체의 적어도 일부분, 이동 객체 및 운항 가능 영역을 포함하고, 상기 객체 정보는 객체 종류 및 상기 기준 객체로부터의 상대적 근접 레벨을 반영하고, 상기 이동 객체에 대응되는 픽셀은 그 객체 종류가 상기 이동 객체를 지시하고 그 상대적 근접 레벨이 상기 운항 가능 영역을 나누는 복수의 구간 중 상기 이동 객체가 위치하는 구간에 대응되는 구간을 지시하는 객체 정보로 라벨링되고, 상기 복수의 구간은 상기 운항 가능 구간 및 상기 기준 객체 사이의 경계선으로부터 상기 운항 가능 영역의 상한선까지 순차적으로 배열되고, 상기 운항 가능 영역에 대응되는 픽셀은 그 객체 종류가 상기 운항 가능 영역을 지시하고 그 상대적 근접 레벨이 정의되지 않은 근접성을 지시하는 객체 정보로 라벨링됨 - ;
    타겟 이미지를 획득하는 단계;
    상기 인공신경망을 이용하여 상기 타겟 이미지로부터 상기 타겟 이미지와 관련된 객체 정보를 산출하는 단계;
    상기 산출된 객체 정보에 기초하여 상기 타겟 이미지 내의 이동 객체를 검출하는 단계; 및
    상기 산출된 객체 정보에 반영된 상기 상대적 근접 레벨에 기초하여 상기 타겟 이미지 내의 상기 이동 객체의 근접성을 결정하는 단계를 포함하는
    거리 측정 방법.
  2. 제1 항에 있어서,
    상기 거리 측정 방법은,
    상기 타겟 이미지 내의 이동 객체에 대응되는 상기 타겟 이미지의 픽셀의 상기 타겟 이미지상에서의 위치에 기초하여 상기 타겟 이미지 내의 이동 객체의 거리 정보를 산출하는 단계를 더 포함하고,
    상기 근접성을 결정하는 단계는 상기 산출된 거리 정보에 더 기초하여 상기 이동 객체의 근접성을 결정하는
    거리 측정 방법.
  3. 제2 항에 있어서,
    상기 상대적 근접 레벨은 거리 범위를 갖는 복수의 카테고리 중에서 선택되고 상기 거리 정보는 거리값으로 표현되며,
    상기 근접성을 결정하는 단계는 상기 거리 정보의 거리값이 상기 상대적 근접 레벨의 거리 범위에 포함되는 경우 상기 거리 정보의 거리값으로부터 상기 상대적 근접 레벨의 거리 범위의 최대값을 상기 이동 객체의 근접성으로 결정하는
    거리 측정 방법.
  4. 제1 항에 있어서,
    상기 산출된 객체 정보에 기초하여 상기 타겟 이미지 내의 운항 가능 영역을 검출하는 단계; 및
    상기 검출된 운항 가능 영역까지의 근접성을 상대적 근접 레벨이 정의되지 않은 근접성으로 결정하는 단계를 더 포함하는
    거리 측정 방법.
  5. 제1 항에 있어서,
    상기 상대적 근접 레벨은 제1 근접 레벨 및 상기 제1 근접 레벨보다 더 근접함을 나타내는 제2 근접 레벨을 포함하는
    거리 측정 방법.
  6. 제5 항에 있어서,
    상기 학습 세트의 상기 복수의 이미지 중 적어도 일부에 포함된 이동 객체 중 상기 제2 근접 레벨에 대응되는 구간에 위치하는 이동 객체에 대응되는 픽셀에 라벨링되는 객체 정보는 이동 객체의 상면 및 측면 중 적어도 하나를 지시하는 정보를 더 반영하는
    거리 측정 방법.
  7. 제5 항에 있어서,
    상기 학습 세트의 상기 복수의 이미지 중 적어도 일부에 포함된 이동 객체 중 상기 제2 근접 레벨에 대응되는 구간에 위치하는 이동 객체에 대응되는 픽셀에 라벨링되는 객체 정보는 동일한 종류의 객체를 구분하기 위한 객체 식별자를 더 반영하는
    거리 측정 방법.
  8. 제5 항에 있어서,
    상기 학습 세트의 상기 복수의 이미지 중 적어도 일부에 포함된 이동 객체 중 상기 제1 근접 레벨에 대응되는 구간 및 상기 제2 근접 레벨에 대응되는 구간에 걸쳐 위치하는 이동 객체에 대응되는 픽셀에는 상기 제2 근접 레벨을 지시하는 객체 정보가 라벨링되는
    거리 측정 방법.
  9. 제5 항에 있어서,
    상기 이동 객체의 근접성에 기초하여 장애물 지도를 생성하는 단계 - 상기 장애물 지도는 운항 적합도를 반영하는 가중치가 할당된 복수의 단위 영역을 포함함 - ;를 더 포함하되,
    상기 이동 객체에 대응되는 상대적 근접 레벨이 상기 제1 근접 레벨인 경우 상기 이동 객체를 상기 장애물 지도에 반영하지 않는 것을 특징으로 하는
    거리 측정 방법.
  10. 제5 항에 있어서,
    상기 이동 객체에 대응되는 상대적 근접 레벨이 상기 제2 근접 레벨인 경우 상기 이동 객체를 추적하는 단계를 더 포함하는
    거리 측정 방법.
  11. 제5 항에 있어서,
    상기 제2 근접 레벨은 상기 복수의 구간 중 상기 기준 객체와 접하는 구간에 대응되는
    거리 측정 방법.
  12. 제1 항에 있어서,
    상기 타겟 이미지는 항만 또는 선박에 설치된 카메라에 의해 촬상된 것이고,
    상기 기준 객체는 상기 카메라가 설치된 상기 항만 및 상기 선박 중 하나에 대응되는 것을 특징으로 하는
    거리 측정 방법.
  13. 제1 항에 있어서,
    인접한 두 구간 사이의 하나 이상의 바운더리는 상기 기준 객체의 형태 및 상기 운항 가능 영역의 상한선 중 적어도 하나를 고려하여 형성되는 것을 특징으로 하는
    거리 측정 방법.
  14. 컴퓨터에 제1 항 내지 제13 항 중 어느 하나의 항에 따른 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  15. 학습 세트에 의해 학습된 인공신경망을 저장하기 위한 메모리 - 상기 학습 세트는 복수의 이미지 및 상기 복수의 이미지의 픽셀에 라벨링된 객체 정보를 포함하고, 상기 복수의 이미지의 적어도 일부는 그 하부에 위치하는 기준 객체의 적어도 일부분, 이동 객체 및 운항 가능 영역을 포함하고, 상기 객체 정보는 객체 종류 및 상기 기준 객체로부터의 상대적 근접 레벨을 반영하고, 상기 이동 객체에 대응되는 픽셀은 그 객체 종류가 상기 이동 객체를 지시하고 그 상대적 근접 레벨이 상기 운항 가능 영역을 나누는 복수의 구간 중 상기 이동 객체가 위치하는 구간에 대응되는 구간을 지시하는 객체 정보로 라벨링되고, 상기 복수의 구간은 상기 운항 가능 구간 및 상기 기준 객체 사이의 경계선으로부터 상기 운항 가능 영역의 상한선까지 순차적으로 배열되고, 상기 운항 가능 영역에 대응되는 픽셀은 그 객체 종류가 상기 운항 가능 영역을 지시하고 그 상대적 근접 레벨이 정의되지 않은 근접성을 지시하는 객체 정보로 라벨링됨 - ; 및
    타겟 이미지를 획득하고, 상기 인공신경망을 이용하여 상기 타겟 이미지로부터 상기 타겟 이미지와 관련된 객체 정보를 산출하고, 상기 산출된 객체 정보에 기초하여 상기 타겟 이미지 내의 이동 객체를 검출하고, 상기 산출된 객체 정보에 반영된 상기 상대적 근접 레벨에 기초하여 상기 타겟 이미지 내의 상기 이동 객체의 근접성을 결정하는 컨트롤러를 포함하는
    거리 측정 장치.
  16. 제15 항에 있어서,
    항만 또는 선박에 설치되어 상기 타겟 이미지를 생성하는 카메라를 더 포함하고,
    상기 기준 객체는 상기 카메라가 설치된 상기 항만 또는 상기 선박에 대응되는 것을 특징으로 하는
    거리 측정 장치.
PCT/KR2021/012971 2020-09-18 2021-09-23 거리 측정 방법 및 이를 이용하는 거리 측정 장치 WO2022060203A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20200120397 2020-09-18
KR10-2020-0120397 2020-09-18
KR1020200128738A KR102501450B1 (ko) 2020-09-18 2020-10-06 거리 측정 방법 및 이를 이용하는 거리 측정 장치
KR10-2020-0128738 2020-10-06

Publications (1)

Publication Number Publication Date
WO2022060203A1 true WO2022060203A1 (ko) 2022-03-24

Family

ID=80777211

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/012971 WO2022060203A1 (ko) 2020-09-18 2021-09-23 거리 측정 방법 및 이를 이용하는 거리 측정 장치

Country Status (2)

Country Link
KR (1) KR20230027130A (ko)
WO (1) WO2022060203A1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180065411A (ko) * 2016-12-07 2018-06-18 한국해양과학기술원 해상객체의 자동추적 시스템 및 방법
KR102005559B1 (ko) * 2018-09-04 2019-08-07 씨드로닉스(주) 이미지 세그멘테이션을 이용한 주변 환경 감지 방법
KR20200060868A (ko) * 2018-11-23 2020-06-02 주식회사 월드씨엔에스 객체 탐지 및 자동 추적이 가능한 다시점 영상 감시 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180065411A (ko) * 2016-12-07 2018-06-18 한국해양과학기술원 해상객체의 자동추적 시스템 및 방법
KR102005559B1 (ko) * 2018-09-04 2019-08-07 씨드로닉스(주) 이미지 세그멘테이션을 이용한 주변 환경 감지 방법
KR20200027870A (ko) * 2018-09-04 2020-03-13 씨드로닉스(주) 이미지 세그멘테이션을 이용한 자율 운항 방법
KR20200060868A (ko) * 2018-11-23 2020-06-02 주식회사 월드씨엔에스 객체 탐지 및 자동 추적이 가능한 다시점 영상 감시 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SUNG-JUN LEE, MYUNG-IL ROH, HYE-WON LEE3, JI-SANG HA3, IL-GUK WOO: "Image-based Ship Detection and Classification for Unmanned Surface Vehicle Using Real-Time Object Detection Neural Networks", PROCEEDINGS OF THE TWENTY-EIGHTH (2018) INTERNATIONAL OCEAN AND POLAR ENGINEERING CONFERENCE, 15 June 2018 (2018-06-15), Sapporo, Japan, pages 726 - 730, XP055912105, ISSN: 1098-6189, ISBN: 978-1-880653-87-6 *

Also Published As

Publication number Publication date
KR20230027130A (ko) 2023-02-27

Similar Documents

Publication Publication Date Title
KR102240839B1 (ko) 이미지 세그멘테이션을 이용한 자율 운항 방법
WO2020071839A1 (ko) 선박 및 항만 모니터링 장치 및 방법
KR102623124B1 (ko) 접안 모니터링 장치 및 방법
US11514668B2 (en) Method and device for situation awareness
US20220024549A1 (en) System and method for measuring the distance to an object in water
WO2020004817A1 (ko) 차선 정보 검출 장치, 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨 프로그램을 저장하는 컴퓨터 판독가능한 기록매체
KR102466804B1 (ko) 이미지 세그멘테이션을 이용한 자율 운항 방법
WO2020171561A1 (en) Electronic apparatus and controlling method thereof
WO2018117538A1 (ko) 차선 정보를 추정하는 방법 및 전자 장치
KR102530847B1 (ko) 항만 및 선박 모니터링 방법 및 장치
WO2022146000A1 (ko) 근미래 객체 위치 예측 시스템
WO2020138760A1 (ko) 전자 장치 및 그의 제어 방법
WO2018135745A1 (ko) 차량 주변의 객체를 나타내는 영상을 생성하는 방법 및 장치
WO2022060203A1 (ko) 거리 측정 방법 및 이를 이용하는 거리 측정 장치
KR20240036529A (ko) 선박 및 항만 모니터링 장치 및 방법
CN113933828A (zh) 一种无人艇环境自适应多尺度目标检测方法及系统
WO2022075530A1 (ko) 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템 및 그 제공 방법
KR102501450B1 (ko) 거리 측정 방법 및 이를 이용하는 거리 측정 장치
WO2021221333A1 (ko) 맵 정보과 영상 매칭을 통한 실시간 로봇 위치 예측 방법 및 로봇
CN111241948B (zh) 全天候识别船舶的方法和系统
WO2021261810A1 (ko) 증강현실 및 3d 이미지를 이용한 항해 보조장치
WO2023038445A1 (ko) 뉴럴 네트워크 모델을 이용하여 차선 폴리라인을 생성하는 장치 및 방법
KR102661363B1 (ko) 접안 모니터링 장치 및 방법
US11776250B2 (en) Method and device for situation awareness
KR102391811B1 (ko) 카메라 정보를 활용한 라이다 기반 연안해역 상황인식 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21869825

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21869825

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 21869825

Country of ref document: EP

Kind code of ref document: A1