WO2022158611A1 - 초음파 센서를 활용한 수중 환경 영상의 보정 방법 - Google Patents

초음파 센서를 활용한 수중 환경 영상의 보정 방법 Download PDF

Info

Publication number
WO2022158611A1
WO2022158611A1 PCT/KR2021/000729 KR2021000729W WO2022158611A1 WO 2022158611 A1 WO2022158611 A1 WO 2022158611A1 KR 2021000729 W KR2021000729 W KR 2021000729W WO 2022158611 A1 WO2022158611 A1 WO 2022158611A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
surrounding object
ultrasonic sensor
turbidity
underwater
Prior art date
Application number
PCT/KR2021/000729
Other languages
English (en)
French (fr)
Inventor
이승원
이정호
Original Assignee
주식회사 포에스텍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 포에스텍 filed Critical 주식회사 포에스텍
Publication of WO2022158611A1 publication Critical patent/WO2022158611A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06—Systems determining the position data of a target
    • G01S15/08—Systems for measuring distance only
    • G01S15/10—Systems for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06—Systems determining the position data of a target
    • G01S15/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging

Definitions

  • the present invention relates to an image correction technology, and more particularly, correcting an image captured by an underwater camera according to turbidity and then using an ultrasonic sensor to increase the accuracy of recognizing surrounding objects through the ultrasonic sensor. How to correct it.
  • a video recording device such as a camera is widely used as a means for sharing everything that a user sees, hears, and experiences with others through SNS, beyond a means for simply recording a person or the surrounding environment.
  • a so-called action cam attached to a user's body is in vogue in order to take a picture as if it is reflected in the user's field of view. have.
  • An embodiment of the present invention is to provide a method for correcting an underwater environment image using an ultrasonic sensor capable of correcting an image captured by an underwater camera according to turbidity and then increasing the accuracy of recognizing surrounding objects through the ultrasonic sensor.
  • a method of correcting an underwater environment image using an ultrasonic sensor may include: acquiring an image captured by an underwater camera; acquiring a relative direction and distance of a surrounding object through an ultrasonic sensor; obtaining turbidity sensing information at the point where the image was captured; when the turbidity exceeds a first threshold, changing minimum and maximum widths of saturation or brightness in the image to a first width; re-rendering the image according to the minimum and maximum widths of the chroma or brightness changed to the first width; recognizing the surrounding object based on the relative direction in the re-rendered image; and overlaying the distance of the surrounding object on the re-rendered image.
  • the method may further include applying a bandpass filter to the image when the turbidity exceeds a second threshold higher than the first threshold.
  • the method may further include setting the passband of the bandpass filter to be narrowly deformed in inverse proportion to the level of the turbidity.
  • the method may further include displaying the re-rendered image through a Near Eye Display (NED) or a mask-integrated display.
  • NED Near Eye Display
  • the acquiring of the relative direction and distance of the surrounding object may include emitting an ultrasonic signal while horizontally reciprocating the ultrasonic sensor within a photographing range of the camera.
  • Recognizing the surrounding object may include acquiring the size of the surrounding object through the ultrasonic sensor, and determining the surrounding object in the re-rendered image based on the relative direction and size of the surrounding object. .
  • the overlaying may include: setting an identification area including the surrounding object recognized in the re-rendered image; adjusting the size of the identification area according to the size of the surrounding object; and highlighting a boundary of the identification region and overlaying it on the re-rendered image.
  • the disclosed technology may have the following effects. However, this does not mean that a specific embodiment should include all of the following effects or only the following effects, so the scope of the disclosed technology should not be construed as being limited thereby.
  • the method for correcting an underwater environment image using an ultrasonic sensor may correct an image captured by an underwater camera according to turbidity, and then increase the accuracy of recognizing surrounding objects through the ultrasonic sensor.
  • the method of correcting an underwater environment image using an ultrasonic sensor supports communication of underwater activities and secures safety by effectively displaying information visualized on the image improved by reflecting the turbidity of the shooting point.
  • FIG. 1 is a view for explaining an image correction system according to the present invention.
  • FIG. 2 is a diagram for explaining a system configuration of the image correction apparatus of FIG. 1 .
  • FIG. 3 is a view for explaining a functional configuration of the image correction apparatus of FIG. 1 .
  • FIG. 4 is a flowchart illustrating a method for correcting an underwater environment image using an ultrasonic sensor according to the present invention.
  • FIG. 5 is a view for explaining a display screen of an underwater environment image according to the present invention.
  • first and second are for distinguishing one component from another, and the scope of rights should not be limited by these terms.
  • a first component may be termed a second component, and similarly, a second component may also be termed a first component.
  • Identifiers eg, a, b, c, etc.
  • the identification code does not describe the order of each step, and each step clearly indicates a specific order in context. Unless otherwise specified, it may occur in a different order from the specified order. That is, each step may occur in the same order as specified, may be performed substantially simultaneously, or may be performed in the reverse order.
  • the present invention can be embodied as computer-readable codes on a computer-readable recording medium, and the computer-readable recording medium includes all types of recording devices in which data readable by a computer system is stored.
  • Examples of the computer-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, and the like.
  • the computer-readable recording medium may be distributed in a network-connected computer system, and the computer-readable code may be stored and executed in a distributed manner.
  • FIG. 1 is a view for explaining an image correction system according to the present invention.
  • the image correction system 100 may include an underwater camera 110 , an image correction device 130 , and a database 150 .
  • the underwater camera 110 may correspond to a camera device capable of capturing an image underwater.
  • the underwater camera 110 may be implemented as an independent camera device, or may be implemented in the form of a wearable that operates by being attached to the body of an underwater marine leisure person.
  • the underwater camera 110 may be connected to the image compensating device 130 through a network, and the plurality of underwater cameras 110 may be simultaneously connected to the image compensating device 130 .
  • the underwater camera 110 may connect to the image correction system 100 and install and execute a dedicated program or application that can use related services.
  • the underwater camera 110 may be implemented by being included in the image correction device 130 as necessary.
  • the image compensating device 130 may correspond to a computing device capable of recognizing a surrounding object based on an underwater image captured by the underwater camera 110 and displaying it together on the image.
  • the image correction device 130 may be connected to the underwater camera 110 and a wired network or a wireless network such as Bluetooth or WiFi, and may transmit/receive data to and from the underwater camera 110 through the network.
  • the image correction apparatus 130 may be implemented to operate in conjunction with an external system (not shown in FIG. 1 ) to collect data or provide an additional function.
  • the external system may include an independent server for data collection and analysis.
  • the database 150 may correspond to a storage device for storing various types of information required in the operation process of the image correction apparatus 130 .
  • the database 150 may store the images captured by the underwater camera 110, and may store various algorithms for image analysis and correction, and is not necessarily limited thereto, and the image correction device 130 uses the ultrasonic sensor. In the process of performing the correction of the underwater environment image, information collected or processed in various forms may be stored.
  • FIG. 2 is a diagram for explaining a system configuration of the image correction apparatus of FIG. 1 .
  • the image correction apparatus 130 may be implemented including a processor 210 , a memory 230 , a user input/output unit 250 , and a network input/output unit 270 .
  • the processor 210 may execute a procedure for processing each step in the process of operating the image correction apparatus 130 , and manage the memory 230 that is read or written throughout the process, and the memory 230 . ) can schedule the synchronization time between volatile and non-volatile memory in The processor 210 may control the overall operation of the image correction device 130 , and may be electrically connected to the memory 230 , the user input/output unit 250 , and the network input/output unit 270 to control data flow between them. can The processor 210 may be implemented as a central processing unit (CPU) of the image correction apparatus 130 .
  • CPU central processing unit
  • the memory 230 is implemented as a non-volatile memory such as a solid state drive (SSD) or a hard disk drive (HDD) and may include an auxiliary storage device used to store overall data required for the image correction device 130, It may include a main memory implemented as a volatile memory such as random access memory (RAM).
  • SSD solid state drive
  • HDD hard disk drive
  • main memory implemented as a volatile memory such as random access memory (RAM).
  • the user input/output unit 250 may include an environment for receiving a user input and an environment for outputting specific information to the user.
  • the user input/output unit 250 may include an input device including an adapter such as a touch pad, a touch screen, an on-screen keyboard, or a pointing device, and an output device including an adapter such as a monitor or a touch screen.
  • the user input/output unit 250 may correspond to a computing device connected through a remote connection, and in this case, the image correction device 130 may be performed as an independent server.
  • the network input/output unit 270 includes an environment for connecting with an external device or system through a network, for example, a local area network (LAN), a metropolitan area network (MAN), a wide area network (WAN), and a VAN (Wide Area Network) (VAN). It may include an adapter for communication such as Value Added Network).
  • LAN local area network
  • MAN metropolitan area network
  • WAN wide area network
  • VAN Wide Area Network
  • FIG. 3 is a view for explaining a functional configuration of the image correction apparatus of FIG. 1 .
  • the image compensating apparatus 130 includes an image acquiring unit 310 , an ultrasound analyzing unit 320 , a turbidity measuring unit 330 , an image compensating unit 340 , a surrounding object recognition unit 350 , and surrounding objects. It may include an object display unit 360 and a control unit (not shown in FIG. 3 ).
  • the image acquisition unit 310 may acquire an image captured by the underwater camera 110 .
  • the image compensating device 130 may receive an image from the underwater camera 110 and store it in the database 150 , and the image acquisition unit 310 may access the database 150 to acquire the image.
  • the image acquisition unit 310 may be directly linked with the underwater camera 110 to receive an image according to the shooting directly from the underwater camera (110). That is, the underwater camera 110 may perform an operation of starting or ending image capturing according to a control command of the image obtaining unit 310 , and may perform an operation of delivering the captured image to the image obtaining unit 310 . have.
  • the underwater camera 110 may be implemented to include an internal memory, and accordingly, instead of directly transmitting the image taken for a predetermined time to the image acquisition unit 110, it may be primarily stored in the internal memory.
  • the image acquisition unit 110 monitors whether the internal memory capacity of the underwater camera 110 exceeds a preset threshold value, and when the internal memory capacity exceeds the threshold value, the image taken from the underwater camera 110 for a predetermined period of time may be received all at once and stored in the database 150 .
  • the ultrasound analyzer 320 may obtain the relative direction and distance of the surrounding object through the ultrasound sensor.
  • the ultrasound analyzer 320 may interwork with the ultrasound sensor to transmit and receive ultrasound, and based on this, may recognize a surrounding object based on an ultrasound signal transmitted or reflected from the surrounding object. That is, the ultrasound analyzer 320 may calculate position information regarding the relative direction and distance of the surrounding objects based on the current position through ultrasound communication.
  • the ultrasonic analysis unit 320 may directly communicate with the ultrasonic sensor of other marine leisure personnel to receive GPS sensing information on the position of the corresponding marine leisure person, and based on the current position and the GPS sensing information, the corresponding ocean It is possible to determine the relative position of the leisure personnel. That is, the ultrasound analyzer 320 may calculate the relative direction and distance of the corresponding marine leisure person based on the determined relative position.
  • the ultrasonic analysis unit 320 may directly communicate with the ultrasonic sensor of other marine leisure personnel to receive identification information and earth magnetic field sensing information of the corresponding marine leisure personnel, and based on the current location and the earth magnetic field sensing information, It is possible to determine the relative position of the corresponding marine leisure person, and calculate the relative direction and distance of the corresponding marine leisure person based on the relative position.
  • the ultrasound analyzer 320 may receive identification information and location information about the surrounding marine leisure personnel by directly communicating with a separate repeater.
  • the repeater may play a role of repeating the ultrasonic signal.
  • the repeater may be installed and operated on a ship or buoy on the water surface, and may correspond to an independent repeater module installed and operated in water.
  • the ultrasonic analysis unit 320 may acquire the relative position information of the nearby marine leisure personnel through ultrasonic communication with a repeater instead of direct ultrasonic communication between the marine leisure personnel.
  • the ultrasound analyzer 320 may directly transmit an ultrasound signal toward a specific direction through the ultrasound sensor, and may obtain the relative direction and distance of the surrounding object by analyzing the ultrasound signal reflected and received by the surrounding object. .
  • the ultrasound analyzer 320 may calculate the relative direction and distance of the surrounding object by selectively utilizing any one of the above methods or combining two or more methods.
  • the ultrasound analyzer 320 may emit an ultrasound signal while horizontally reciprocating the ultrasound sensor within a photographing range of the underwater camera 110 . That is, the ultrasound analyzer 320 may emit an ultrasound signal based on the photographing direction of the underwater camera 110 .
  • the ultrasonic analysis unit 320 may receive information about the photographing direction from the underwater camera 110, and calculate the photographing range of the underwater camera 110 based on this, and then horizontally reciprocate within the photographing range while using the ultrasonic sensor. through which an ultrasonic signal can be emitted. For example, the ultrasound analyzer 320 may determine the angle of view of the underwater camera 110 as the photographing range based on the photographing direction of the underwater camera 110 .
  • the ultrasound analyzer 320 may emit an ultrasound signal for each direction divided by a predetermined angle within the photographing range of the underwater camera 110 .
  • the ultrasound analyzer 320 may radiate an ultrasound signal in each of nine directions divided at intervals of 10 degrees within the corresponding photographing range.
  • the turbidity measuring unit 330 may acquire turbidity sensing information at the point where the image was captured.
  • the turbidity measurement unit 330 may sense the turbidity of the corresponding point through the turbidity sensor during the photographing operation of the underwater camera 110 in conjunction with the underwater camera 110 .
  • the turbidity measurement unit 330 may generate turbidity information synchronized with the image and store it in the database 150 .
  • the turbidity information generated by the turbidity measurement unit 330 may be expressed as a numerical value (NTU unit) having a predetermined range, and may be expressed as a preset turbidity level according to a specific numerical value.
  • turbidity indicates the degree of cloudiness of water and may correspond to an index used for the same purpose as a perspective view.
  • the word turbid means that it contains suspended substances that impede the passage of light or limit the visual depth.
  • the range ranges from colloidal dispersoids to coarse dispersoids and may vary depending on the degree of turbulence.
  • the image compensator 340 changes the minimum and maximum widths of the saturation or brightness in the image to the first width, and the minimum and maximum widths of the saturation or brightness changed to the first width. Accordingly, the image may be re-rendered. That is, the first width may correspond to a difference between a maximum value and a minimum value of saturation or a difference between a maximum value and a minimum value of brightness.
  • the image corrector 340 may re-render the image by applying saturation or brightness according to the first width to the original image.
  • the re-rendering operation may be implemented as an operation of generating a filter corresponding to the saturation or brightness of the first width and applying the filter to the original image.
  • the image corrector 340 may adjust the interval of the first width based on a difference from the first threshold value. For example, the greater the difference between the turbidity and the first threshold, the greater the interval of the first width may be adjusted. That is, the image corrector 340 may improve the sharpness of the image by dynamically adjusting the width of the saturation or the brightness according to the underwater turbidity of the photographed point.
  • the image corrector 340 may apply a band pass filter to the image.
  • the bandpass filter may correspond to a filter that passes only signals between specific frequencies. That is, the image corrector 340 may perform re-rendering by applying a bandpass filter to the original image to filter only the image signal of a specific frequency band. If the turbidity exceeds the second threshold, since the effect of image correction is greatly reduced, the image correction unit 340 may perform image correction collectively through the bandpass filter.
  • the second threshold value may be set to a value derived from experimental statistics, but may also be set to an arbitrary value through the image correction apparatus 130 .
  • the image compensator 340 may set the pass band of the band pass filter to be narrowly deformed in inverse proportion to the level of the turbidity. Since the underwater viewing range is narrowed as the level of turbidity increases, the image compensator 340 may change and apply a narrower passband range of the bandpass filter to further improve the image correction effect.
  • the surrounding object recognition unit 350 may recognize a surrounding object based on a relative direction in the re-rendered image.
  • the surrounding object recognition unit 350 may determine a surrounding area corresponding to the relative direction in the re-rendered image based on the relative direction of the surrounding object derived through the ultrasound signal, and may detect the surrounding object in the corresponding surrounding area. .
  • the relative direction of the surrounding object according to the ultrasound signal may also have a high correlation with the position of the surrounding object in the captured image.
  • the surrounding object recognizer 350 may more effectively recognize the surrounding object after applying the relative direction to the re-rendered image by reflecting the correlation with the ultrasound signal.
  • the surrounding object recognizer 350 may obtain the size of the surrounding object through the ultrasonic sensor, and determine the surrounding object from the re-rendered image based on the relative direction and size of the surrounding object. More specifically, when the relative direction and size of the surrounding object are determined as a result of analyzing the ultrasound signal, the surrounding object recognizer 350 may determine the surrounding area in the re-rendered image by using the corresponding information. That is, the surrounding object recognition unit 350 may determine the location of the surrounding area based on the relative direction of the surrounding object and determine the size of the surrounding area based on the size of the surrounding object.
  • the surrounding object recognizer 350 may finally determine the surrounding object through image analysis of the surrounding area in the re-rendered image.
  • Image analysis may be performed through various image analysis algorithms, and if necessary, the re-rendered image may be decomposed into frame-by-frame images, and surrounding objects may be determined through image analysis for each frame.
  • the surrounding object display unit 360 may display the distance of the surrounding object by overlaying the re-rendered image.
  • the surrounding object display unit 360 may display the re-rendered image by overlaying information on the surrounding object.
  • the surrounding object display unit 360 may display the re-rendered image by overlaying information on the distance to the surrounding object, and may visualize and display information about the location and size of the surrounding object.
  • the surrounding object display unit 360 may visualize and display information about the location and size of a surrounding object in the vicinity of a surrounding area determined in a process of recognizing a surrounding object in the re-rendered image.
  • the surrounding area may correspond to a virtual area including surrounding objects, and the surrounding object display unit 360 may determine a static location for displaying information about surrounding objects around the corresponding area. For example, when the surrounding area is determined to have a rectangular shape, the surrounding object display unit 360 may visualize and display information about the location and size of the surrounding object at the lower edge of the corresponding rectangular shape.
  • the surrounding object display unit 360 may visualize and display information about the location and size of the surrounding object in the re-rendered image as a graphic that dynamically moves along the boundary of the surrounding area. That is, the surrounding object display unit 360 may recognize a surrounding object based on the re-rendered image and display the location and distance of the corresponding object in the vicinity of the surrounding object, and the display position is dynamically displayed along the boundary of the virtual surrounding area. can be changed. If the position of the neighboring object is moved to the left in the re-rendered image and the neighboring object overlaps the boundary of the image, only the right part of the neighboring object may be displayed based on the boundary of the image. In this case, information about the location and distance of the surrounding object may be displayed at a position moved along the boundary of the virtual surrounding area from the right area of the surrounding object.
  • the controller (not shown in FIG. 3 ) controls the overall operation of the image compensating device 130 , and the image acquisition unit 310 , the ultrasound analyzer 320 , the turbidity measurement unit 330 , and the image correction unit 340 . , a control flow or data flow between the surrounding object recognition unit 350 and the surrounding object display unit 360 may be managed.
  • FIG. 4 is a flowchart illustrating a method for correcting an underwater environment image using an ultrasonic sensor according to the present invention.
  • the image compensating apparatus 130 may acquire an image captured by the underwater camera 110 through the image acquiring unit 310 (step S410 ).
  • the image calibrating apparatus 130 may acquire the relative direction and distance of the surrounding object through the ultrasonic sensor through the ultrasonic analyzer 320 (step S420).
  • the image compensating apparatus 130 may acquire turbidity sensing information at a point where the image is captured through the turbidity measuring unit 330 (step S430).
  • the image compensating device 130 changes the lowest and highest widths of saturation or brightness in the image to the first width through the image correction unit 340 and converts the first width to the first width.
  • the image may be re-rendered according to the minimum and maximum widths of the changed saturation or brightness (step S440).
  • the image correction apparatus 130 may apply a band-pass filter to the image.
  • a band pass filter is a band filter that can pass only signals between specific frequencies.
  • the image compensating device 130 may apply a bandpass filter to the image captured by the underwater camera 110 according to the turbidity to remove a signal between specific frequencies. That is, when the turbidity is high, the image compensating apparatus 130 may apply a bandpass filter to remove the noise on the underwater micromaterial that degrades the image quality.
  • the bandpass filter may be set to various frequency bands, and a passable frequency band may be determined according to the intensity of the turbidity.
  • the image compensating apparatus 130 may reproduce the re-rendered image through a near eye display (NED) or a mask-integrated display.
  • the image compensating device 130 may operate in conjunction with various display modules that reproduce underwater images.
  • the display module may include an NED, a mask-integrated display, and the like. That is, the image correction device 130 may provide useful visual information in an underwater environment by displaying the re-rendered image through various underwater displays.
  • the image compensating apparatus 130 may recognize the surrounding object based on the relative direction in the re-rendered image through the surrounding object recognizer 350 (step S450).
  • the image correction apparatus 130 may overlay and display the distance of the surrounding object on the re-rendered image through the surrounding object display unit 360 (step S460).
  • the image compensating apparatus 130 may overlay and display the re-rendered image with an identification area highlighting the surrounding object recognized in the re-rendered image through the surrounding object display unit 360 . More specifically, the surrounding object display unit 360 may set an identification area including the surrounding object recognized in the re-rendered image.
  • the identification area may be defined according to the location and size of the surrounding object identified based on the re-rendered image.
  • the identification area may be defined corresponding to the shape of the surrounding object identified according to image analysis.
  • the identification area may be defined as any one of preset basic shapes when the turbidity level of the image capturing point exceeds a preset third threshold, and image analysis is performed when the turbidity level is less than or equal to the third threshold. It may be defined based on the shape of the surrounding object identified through the For example, when the shape of the surrounding object is identified, the identification area may be defined in a form extending at a predetermined interval from the boundary of the corresponding shape.
  • the surrounding object display unit 360 may adjust the size of the set identification area according to the size of the surrounding object derived based on the ultrasound signal. That is, the final size of the highlighted identification region may be determined by applying the size derived from the ultrasound signal analysis to the size of the identification region determined through image analysis.
  • the peripheral object display unit 360 may highlight the boundary of the identification area and display it overlaid on the re-rendered image.
  • the peripheral object display unit 360 may adjust the highlighting color according to the turbidity level of the shooting point so that the identification area is displayed more clearly in the re-rendered image.
  • the surrounding object display unit 360 can more effectively display the surrounding objects identified in the re-rendered image to provide information that can be clearly recognized by the underwater marine leisure personnel.
  • FIG. 5 is a view for explaining a display screen of an underwater environment image according to the present invention.
  • the image compensating apparatus 130 may overlay and display the distance (3.4 m) of the surrounding object identified through the ultrasonic sensor in the vicinity of the surrounding object 530 identified in the re-rendering image 510. have.
  • the image correction apparatus 130 re-renders the image 510 in the identification area 550 highlighting the periphery of the surrounding object 530 recognized in the re-rendered image 510 through the surrounding object display unit 360 .
  • ) can be overlaid on the That is, when the turbidity level is high and the viewing distance is short, it may be difficult for marine leisure personnel to clearly identify the surrounding object 530 from the re-rendered image 510.
  • the identification area 550 highlighted based on the ultrasound signal is selected. Through this, the surrounding object 530 may be more easily recognized.
  • the image correction apparatus 130 may display useful information to the underwater marine leisure personnel through the information display areas 570a to 570d defined at a specific position of the re-rendered image 510 .
  • the image correction apparatus 130 may display the current time, the amount of residual oxygen, water depth, temperature, speed, current location, etc. through the information display areas 570a to 570d of the re-rendered image 510 .
  • processor 230 memory
  • surrounding object recognition unit 360 surrounding object display unit
  • identification area 570 information display area

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Studio Devices (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

본 발명은 초음파 센서를 활용한 수중 환경 영상의 보정 방법에 관한 것으로, 수중 카메라를 통해 촬영된 영상을 획득하는 단계; 초음파 센서를 통해 주변 객체의 상대적 방향 및 거리를 획득하는 단계; 상기 영상이 촬영된 지점에서의 탁도 센싱 정보를 획득하는 단계; 상기 탁도가 제1 임계값을 초과하는 경우, 상기 영상에서의 채도 또는 명도의 최저 및 최고폭을 제1 폭으로 변화시키는 단계; 상기 제1 폭으로 변화된 채도 또는 명도의 최저 및 최고폭에 따라, 상기 영상을 재렌더링하는 단계; 상기 재렌더링 영상에서 상기 상대적 방향을 기초로 상기 주변 객체를 인식하는 단계; 및 상기 재렌더링 영상에 상기 주변 객체의 거리를 오버레이하는 단계를 포함한다.

Description

초음파 센서를 활용한 수중 환경 영상의 보정 방법
본 발명은 영상 보정 기술에 관한 것으로, 보다 상세하게는 수중 카메라를 통해 촬영된 영상을 탁도에 따라 보정한 다음 초음파 센서를 통한 주변 객체 인식의 정확도를 높일 수 있는 초음파 센서를 활용한 수중 환경 영상의 보정 방법에 관한 것이다.
근래에, IT 기기, 특히, 카메라와 같은 영상 촬영 장치의 크기 대비 성능이 크게 향상되고 있으며, 이러한 영상 촬영 장치들이 사회 전반에 걸쳐 광범위하게 보급되고 있다. 카메라와 같은 영상 촬영 장치는 단순히 인물이나 주변 환경을 기록하기 위한 수단을 넘어서, 사용자가 보고 듣고 경험한 모든 것을 SNS를 통해 주변인들과 공유하기 위한 수단으로 널리 사용되고 있다.
예를 들어, 마치 사용자의 시야에 비치는 모습을 그대로 촬영하기 위하여 사용자의 몸에 부착되는 소위 액션캠이 유행하고 있으며, 나아가, 수중의 사물 및 수중 환경을 촬영하기 위한 수중 카메라에 대한 요구도 증가하고 있다.
[선행기술문헌]
[특허문헌]
한국등록특허 제10-0953522호 (2010.04.12)
본 발명의 일 실시예는 수중 카메라를 통해 촬영된 영상을 탁도에 따라 보정한 다음 초음파 센서를 통한 주변 객체 인식의 정확도를 높일 수 있는 초음파 센서를 활용한 수중 환경 영상의 보정 방법을 제공하고자 한다.
본 발명의 일 실시예는 촬영 지점의 탁도를 반영하여 개선한 영상에 시각화된 정보를 효과적으로 표시하여 수중 활동의 의사소통을 지원하고 안전성을 확보할 수 있는 초음파 센서를 활용한 수중 환경 영상의 보정 방법을 제공하고자 한다.
실시예들 중에서, 초음파 센서를 활용한 수중 환경 영상의 보정 방법은 수중 카메라를 통해 촬영된 영상을 획득하는 단계; 초음파 센서를 통해 주변 객체의 상대적 방향 및 거리를 획득하는 단계; 상기 영상이 촬영된 지점에서의 탁도 센싱 정보를 획득하는 단계; 상기 탁도가 제1 임계값을 초과하는 경우, 상기 영상에서의 채도 또는 명도의 최저 및 최고폭을 제1 폭으로 변화시키는 단계; 상기 제1 폭으로 변화된 채도 또는 명도의 최저 및 최고폭에 따라, 상기 영상을 재렌더링하는 단계; 상기 재렌더링 영상에서 상기 상대적 방향을 기초로 상기 주변 객체를 인식하는 단계; 및 상기 재렌더링 영상에 상기 주변 객체의 거리를 오버레이하는 단계를 포함한다.
상기 방법은 상기 탁도가 제1 임계값보다 높은 제2 임계값을 초과하는 경우, 상기 영상에 밴드패스 필터를 적용하는 단계를 더 포함할 수 있다.
상기 방법은 상기 탁도의 레벨에 반비례하여, 상기 밴드패스 필터의 패스밴드를 좁게 변형 설정하는 단계를 더 포함할 수 있다.
상기 방법은 상기 재렌더링된 영상을 NED(Near Eye Display) 또는 마스크 일체형 디스플레이를 통해 디스플레이하는 단계를 더 포함할 수 있다.
상기 주변 객체의 상대적 방향 및 거리를 획득하는 단계는 상기 초음파 센서를 상기 카메라의 촬영 범위 내에서 수평 왕복 이동하면서 초음파 신호를 발산하는 단계를 포함할 수 있다.
상기 주변 객체를 인식하는 단계는 상기 초음파 센서를 통해 상기 주변 객체의 크기를 획득하고, 상기 주변 객체의 상대적 방향과 크기를 기초로 상기 재렌더링 영상에서 상기 주변 객체를 결정하는 단계를 포함할 수 있다.
상기 오버레이하는 단계는 상기 재렌더링 영상에서 인식된 상기 주변 객체를 포함하는 식별 영역을 설정하는 단계; 상기 주변 객체의 크기에 따라 상기 식별 영역의 크기를 조정하는 단계; 및 상기 식별 영역의 경계를 하이라이팅(highlighting)하여 상기 재렌더링 영상에 오버레이하는 단계를 포함할 수 있다.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
본 발명의 일 실시예에 따른 초음파 센서를 활용한 수중 환경 영상의 보정 방법은 수중 카메라를 통해 촬영된 영상을 탁도에 따라 보정한 다음 초음파 센서를 통한 주변 객체 인식의 정확도를 높일 수 있다.
본 발명의 일 실시예에 따른 초음파 센서를 활용한 수중 환경 영상의 보정 방법은 촬영 지점의 탁도를 반영하여 개선한 영상에 시각화된 정보를 효과적으로 표시하여 수중 활동의 의사소통을 지원하고 안전성을 확보할 수 있다.
도 1은 본 발명에 따른 영상 보정 시스템을 설명하는 도면이다.
도 2는 도 1의 영상 보정 장치의 시스템 구성을 설명하는 도면이다.
도 3은 도 1의 영상 보정 장치의 기능적 구성을 설명하는 도면이다.
도 4는 본 발명에 따른 초음파 센서를 활용한 수중 환경 영상의 보정 방법을 설명하는 순서도이다.
도 5는 본 발명에 따른 수중 환경 영상의 디스플레이 화면을 설명하는 도면이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도 1은 본 발명에 따른 영상 보정 시스템을 설명하는 도면이다.
도 1을 참조하면, 영상 보정 시스템(100)은 수중 카메라(110), 영상 보정 장치(130) 및 데이터베이스(150)를 포함할 수 있다.
수중 카메라(110)는 수중에서 영상 촬영이 가능한 카메라 장치에 해당할 수 있다. 수중 카메라(110)는 독립된 카메라 장치로서 구현될 수 있고, 수중 해양레저인원의 신체에 부착되어 동작하는 웨어러블 형태로 구현될 수도 있다. 수중 카메라(110)는 영상 보정 장치(130)와 네트워크를 통해 연결될 수 있고, 복수의 수중 카메라(110)들은 영상 보정 장치(130)와 동시에 연결될 수 있다. 또한, 수중 카메라(110)는 영상 보정 시스템(100)에 접속하여 관련 서비스를 이용할 수 있는 전용 프로그램 또는 어플리케이션을 설치하여 실행할 수 있다. 한편, 수중 카메라(110)는 필요에 따라 영상 보정 장치(130)에 포함되어 구현될 수 있다.
영상 보정 장치(130)는 수중 카메라(110)를 통해 촬영한 수중 영상을 기초로 주변 객체를 인식하고 이를 영상에 함께 표시할 수 있는 컴퓨팅 장치에 해당할 수 있다. 영상 보정 장치(130)는 수중 카메라(110)와 유선 네트워크 또는 블루투스, WiFi 등과 같은 무선 네트워크로 연결될 수 있고, 네트워크를 통해 수중 카메라(110)와 데이터를 송·수신할 수 있다. 또한, 영상 보정 장치(130)는 데이터의 수집 또는 추가 기능의 제공을 위하여 외부 시스템(도 1에 미도시함)과 연동하여 동작하도록 구현될 수도 있다. 이때, 외부 시스템은 데이터 수집 및 분석을 위한 독립된 서버를 포함할 수 있다.
데이터베이스(150)는 영상 보정 장치(130)의 동작 과정에서 필요한 다양한 정보들을 저장하는 저장장치에 해당할 수 있다. 데이터베이스(150)는 수중 카메라(110)가 촬영한 영상을 저장할 수 있고, 영상 분석 및 보정을 위한 다양한 알고리즘을 저장할 수 있으며, 반드시 이에 한정되지 않고, 영상 보정 장치(130)가 초음파 센서를 활용한 수중 환경 영상의 보정을 수행하는 과정에서 다양한 형태로 수집 또는 가공된 정보들을 저장할 수 있다.
도 2는 도 1의 영상 보정 장치의 시스템 구성을 설명하는 도면이다.
도 2를 참조하면, 영상 보정 장치(130)는 프로세서(210), 메모리(230), 사용자 입출력부(250) 및 네트워크 입출력부(270)를 포함하여 구현될 수 있다.
프로세서(210)는 영상 보정 장치(130)가 동작하는 과정에서의 각 단계들을 처리하는 프로시저를 실행할 수 있고, 그 과정 전반에서 읽혀지거나 작성되는 메모리(230)를 관리할 수 있으며, 메모리(230)에 있는 휘발성 메모리와 비휘발성 메모리 간의 동기화 시간을 스케줄 할 수 있다. 프로세서(210)는 영상 보정 장치(130)의 동작 전반을 제어할 수 있고, 메모리(230), 사용자 입출력부(250) 및 네트워크 입출력부(270)와 전기적으로 연결되어 이들 간의 데이터 흐름을 제어할 수 있다. 프로세서(210)는 영상 보정 장치(130)의 CPU(Central Processing Unit)로 구현될 수 있다.
메모리(230)는 SSD(Solid State Drive) 또는 HDD(Hard Disk Drive)와 같은 비휘발성 메모리로 구현되어 영상 보정 장치(130)에 필요한 데이터 전반을 저장하는데 사용되는 보조기억장치를 포함할 수 있고, RAM(Random Access Memory)과 같은 휘발성 메모리로 구현된 주기억장치를 포함할 수 있다.
사용자 입출력부(250)는 사용자 입력을 수신하기 위한 환경 및 사용자에게 특정 정보를 출력하기 위한 환경을 포함할 수 있다. 예를 들어, 사용자 입출력부(250)는 터치 패드, 터치 스크린, 화상 키보드 또는 포인팅 장치와 같은 어댑터를 포함하는 입력장치 및 모니터 또는 터치스크린과 같은 어댑터를 포함하는 출력장치를 포함할 수 있다. 일 실시예에서, 사용자 입출력부(250)는 원격 접속을 통해 접속되는 컴퓨팅 장치에 해당할 수 있고, 그러한 경우, 영상 보정 장치(130)는 독립적인 서버로서 수행될 수 있다.
네트워크 입출력부(270)은 네트워크를 통해 외부 장치 또는 시스템과 연결하기 위한 환경을 포함하고, 예를 들어, LAN(Local Area Network), MAN(Metropolitan Area Network), WAN(Wide Area Network) 및 VAN(Value Added Network) 등의 통신을 위한 어댑터를 포함할 수 있다.
도 3은 도 1의 영상 보정 장치의 기능적 구성을 설명하는 도면이다.
도 3을 참조하면, 영상 보정 장치(130)는 영상 획득부(310), 초음파 분석부(320), 탁도 측정부(330), 영상 보정부(340), 주변 객체 인식부(350), 주변 객체 표시부(360) 및 제어부(도 3에 미도시함)를 포함할 수 있다.
영상 획득부(310)는 수중 카메라(110)를 통해 촬영된 영상을 획득할 수 있다. 영상 보정 장치(130)는 수중 카메라(110)로부터 영상을 수신하여 데이터베이스(150)에 저장할 수 있으며, 영상 획득부(310)는 데이터베이스(150)에 접근하여 해당 영상을 획득할 수 있다. 또한, 영상 획득부(310)는 수중 카메라(110)와 직접 연동되어 촬영에 따른 영상을 수중 카메라(110)로부터 직접 수신할 수도 있다. 즉, 수중 카메라(110)는 영상 획득부(310)의 제어 명령에 따라 영상 촬영의 개시 또는 종료 동작을 수행할 수 있으며, 촬영된 영상을 영상 획득부(310)에 전달하는 동작을 수행할 수 있다.
한편, 수중 카메라(110)는 내부 메모리를 포함하여 구현될 수 있으며, 이에 따라 소정의 시간 동안 촬영된 영상을 영상 획득부(110)에 곧바로 전송하는 대신 1차적으로 내부 메모리에 저장할 수도 있다. 영상 획득부(110)는 수중 카메라(110)의 내부 메모리 용량이 기 설정된 임계값을 초과하는지 모니터링하고, 내부 메모리 용량이 임계값을 초과하는 경우 수중 카메라(110)로부터 소정의 기간 동안 촬영된 영상을 한꺼번에 수신하여 데이터베이스(150)에 저장할 수 있다.
초음파 분석부(320)는 초음파 센서를 통해 주변 객체의 상대적 방향 및 거리를 획득할 수 있다. 초음파 분석부(320)는 초음파 센서와 연동하여 초음파의 송신과 수신 동작을 수행할 수 있으며, 이를 기초로 주변 객체에서 송신 또는 반사되는 초음파 신호를 기초로 주변 객체를 인식할 수 있다. 즉, 초음파 분석부(320)는 초음파 통신을 통해 현재 위치를 기준으로 주변 객체의 상대적 방향과 거리에 관한 위치 정보를 산출할 수 있다.
예를 들어, 초음파 분석부(320)는 다른 해양레저인원의 초음파 센서와 직접 통신하여 해당 해양레저인원의 위치에 관한 GPS 센싱 정보를 수신할 수 있고, 현재 위치와 GPS 센싱 정보에 기초하여 해당 해양레저인원의 상대 위치를 결정할 수 있다. 즉, 초음파 분석부(320)는 결정된 상대 위치를 기초로 해당 해양레저인원의 상대적 방향과 거리를 산출할 수 있다.
다른 예로서, 초음파 분석부(320)는 다른 해양레저인원의 초음파 센서와 직접 통신하여 해당 해양레저인원의 식별 정보와 지자계 센싱 정보를 수신할 수 있고, 현재 위치와 지자계 센싱 정보에 기초하여 해당 해양레저인원의 상대 위치를 결정할 수 있으며, 상대 위치를 기초로 해당 해양레저인원의 상대적 방향과 거리를 산출할 수 있다.
또 다른 예로서, 초음파 분석부(320)는 별도의 중계기와 직접 통신하여 주변 해양레저인원에 대한 식별 정보와 위치 정보를 수신할 수 있다. 여기에서, 중계기는 초음파 신호를 중계하는 역할을 담당할 수 있다. 예를 들어, 중계기는 수면 위의 선박이나 부표에 설치되어 동작할 수 있고, 수중에 설치되어 동작하는 독립적인 중계 모듈에 해당할 수 있다. 초음파 분석부(320)는 해양레저인원 간의 직접적인 초음파 통신 대신 중계기와의 초음파 통신을 통해 주변 해양레저인원의 상대적 위치 정보를 획득할 수 있다.
한편, 초음파 분석부(320)는 초음파 센서를 통해 특정 방향을 향해 직접 초음파 신호를 송출할 수 있고, 주변 객체에 반사되어 수신되는 초음파 신호를 분석하여 주변 객체의 상대적 방향 및 거리를 획득할 수도 있다. 초음파 분석부(320)는 상기의 방식들 중 어느 하나를 선택적으로 활용하거나 또는 두가지 이상의 방식을 결합하여 주변 객체의 상대적 방향 및 거리를 산출할 수 있다.
일 실시예에서, 초음파 분석부(320)는 초음파 센서를 수중 카메라(110)의 촬영 범위 내에서 수평 왕복 이동하면서 초음파 신호를 발산할 수 있다. 즉, 초음파 분석부(320)는 수중 카메라(110)의 촬영 방향에 기초하여 초음파 신호를 발산할 수 있다. 초음파 분석부(320)는 수중 카메라(110)로부터 촬영 방향에 관한 정보를 수신할 수 있으며, 이를 기초로 수중 카메라(110)의 촬영 범위를 산출한 후 해당 촬영 범위 내에서 수평 왕복하면서 초음파 센서를 통해 초음파 신호를 발산할 수 있다. 예를 들어, 초음파 분석부(320)는 수중 카메라(110)의 촬영 방향을 기준으로 수중 카메라(110)의 화각만큼을 촬영 범위로 결정할 수 있다.
일 실시예에서, 초음파 분석부(320)는 수중 카메라(110)의 촬영 범위 내에서 소정의 각도로 분할된 방향들마다 초음파 신호를 발산할 수도 있다. 예를 들어, 초음파 분석부(320)는 수중 카메라(110)의 촬영 범위가 90도로 결정된 경우 해당 촬영 범위 내에서 10도 간격으로 분할된 9개의 방향들을 향해 각각 초음파 신호를 발산할 수 있다.
탁도 측정부(330)는 영상이 촬영된 지점에서의 탁도 센싱 정보를 획득할 수 있다. 탁도 측정부(330)는 수중 카메라(110)와 연동하여 수중 카메라(110)의 촬영 동작 동안 탁도(turbidity) 센서를 통해 해당 지점의 탁도를 센싱할 수 있다. 탁도 측정부(330)는 영상에 동기화된 탁도 정보를 생성하여 데이터베이스(150)에 저장할 수 있다. 한편, 탁도 측정부(330)에 의해 생성된 탁도 정보는 소정의 범위를 갖는 수치값(NTU 단위)으로 표현될 수 있고, 구체적인 수치값에 따라 기 설정된 탁도 레벨(level)로 표현될 수 있다.
여기에서, 탁도(turbidity)는 물의 흐림 정도를 나타내는 것으로 투시도와 같은 목적으로 사용되는 지표에 해당할 수 있다. 탁(濁)하다는 말은 빛의 통과를 방해하거나 가시심도(visual depth)를 제한하는 부유 물질을 포함하고 있다는 뜻이며, 탁도는 물의 탁한 정도를 표시하는 것으로 여러 가지 부유 물질에 의하여 달라지고 그 크기범위는 콜로이도 분산질로부터 굵은 분산질에 이르며 난류도에 따라 달라질 수 있다.
영상 보정부(340)는 탁도가 제1 임계값을 초과하는 경우, 영상에서의 채도 또는 명도의 최저 및 최고폭을 제1 폭으로 변화시키고, 제1 폭으로 변화된 채도 또는 명도의 최저 및 최고폭에 따라, 영상을 재렌더링할 수 있다. 즉, 제1 폭은 채도의 최대값과 최소값 간의 차이 또는 명도의 최대값과 최소값 간의 차이에 해당할 수 있다. 영상 보정부(340)는 원본 영상에 대해 제1 폭에 따른 채도 또는 명도를 적용하여 영상을 재렌더링할 수 있다. 이때, 재렌더링 연산은 제1 폭에 관한 채도 또는 명도에 대응되는 필터를 생성하고 원본 영상에 필터를 적용하는 동작으로 구현될 수 있다.
또한, 영상 보정부(340)는 탁도가 제1 임계값을 초과하는 경우 제1 임계값과의 차이를 기초로 제1 폭의 간격을 조정할 수 있다. 예를 들어, 탁도와 제1 임계값과의 차이가 클수록 제1 폭의 간격은 더 크게 조정될 수 있다. 즉, 영상 보정부(340)는 촬영된 지점의 수중 탁도에 따라 채도 또는 명도의 폭을 동적으로 조정하여 영상의 선명도를 개선할 수 있다.
일 실시예에서, 영상 보정부(340)는 탁도가 제1 임계값보다 높은 제2 임계값을 초과하는 경우, 영상에 밴드패스(band pass) 필터를 적용할 수 있다. 여기에서, 밴드패스 필터는 특정 주파수 사이의 신호만을 통과시키는 필터에 해당할 수 있다. 즉, 영상 보정부(340)는 원본 영상에 밴드패스 필터를 적용하여 특정 주파수 대역의 영상 신호만을 필터링하여 재렌더링을 수행할 수 있다. 탁도가 제2 임계값을 초과하는 경우라면 영상 보정의 효과가 크게 감소하기 때문에, 영상 보정부(340)는 밴드패스 필터를 통해 일괄적인 영상 보정을 수행할 수 있다. 이때, 제2 임계값은 실험적인 통계로부터 도출된 값으로 설정될 수 있으나, 영상 보정 장치(130)를 통해 임의의 값으로 설정될 수도 있다.
일 실시예에서, 영상 보정부(340)는 탁도의 레벨에 반비례하여, 밴드패스(band pass) 필터의 패스밴드를 좁게 변형 설정할 수 있다. 탁도의 레벨이 높아질수록 수중 시야 범위가 좁아지기 때문에, 영상 보정부(340)는 영상 보정 효과를 보다 개선하기 위해 밴드패스 필터의 패스밴드 범위를 더 좁게 변경하여 적용할 수 있다.
주변 객체 인식부(350)는 재렌더링 영상에서 상대적 방향을 기초로 주변 객체를 인식할 수 있다. 주변 객체 인식부(350)는 초음파 신호를 통해 도출되는 주변 객체의 상대적 방향을 기초로 재렌더링 영상에서 해당 상대적 방향에 대응되는 주변 영역을 결정할 수 있고, 해당 주변 영역에서 주변 객체를 검출할 수 있다. 초음파 신호는 수중 카메라(110)의 촬영 범위 내에서 발산된 결과 초음파 신호에 따른 주변 객체의 상대적 방향도 촬영 영상 내의 주변 객체의 위치와 상관 관계가 높을 수 있다. 주변 객체 인식부(350)는 초음파 신호와의 상관 관계를 반영하여 재렌더링 영상에 상대적 방향을 적용한 후 주변 객체를 보다 효과적으로 인식할 수 있다.
일 실시예에서, 주변 객체 인식부(350)는 초음파 센서를 통해 주변 객체의 크기를 획득하고, 주변 객체의 상대적 방향과 크기를 기초로 재렌더링 영상에서 주변 객체를 결정할 수 있다. 보다 구체적으로, 주변 객체 인식부(350)는 초음파 신호 분석 결과로서 주변 객체의 상대적 방향과 크기가 결정되면, 해당 정보를 이용하여 재렌더링 영상에서 주변 영역을 결정할 수 있다. 즉, 주변 객체 인식부(350)는 주변 객체의 상대적 방향을 기초로 주변 영역의 위치를 결정하고 주변 객체의 크기를 기초로 주변 영역의 크기를 결정할 수 있다.
다음으로, 주변 객체 인식부(350)는 재렌더링 영상에서 주변 영역에 대한 영상 분석을 통해 주변 객체를 최종 결정할 수 있다. 영상 분석은 다양한 영상 분석 알고리즘을 통해 수행될 수 있으며, 필요에 따라 재렌더링 영상을 프레임별 이미지로 분해하고 각 프레임마다 이미지 분석을 통해 주변 객체를 결정할 수도 있다.
주변 객체 표시부(360)는 재렌더링 영상에 주변 객체의 거리를 오버레이(overlay)하여 표시할 수 있다. 주변 객체 표시부(360)는 재렌더링 영상에 주변 객체에 관한 정보를 오버레이 하여 표시할 수 있다. 예를 들어, 주변 객체 표시부(360)는 재렌더링 영상에 주변 객체와의 거리에 관한 정보를 오버레이 하여 표시할 수 있으며, 주변 객체의 위치와 크기에 관한 정보를 시각화하여 표시할 수도 있다.
일 실시예에서, 주변 객체 표시부(360)는 재렌더링 영상 내에서 주변 객체의 인식 과정에서 결정된 주변 영역의 인근에 주변 객체의 위치와 크기에 관한 정보를 시각화하여 표시할 수 있다. 주변 영역은 주변 객체를 포함하는 가상의 영역에 해당할 수 있고, 주변 객체 표시부(360)는 해당 영역을 중심으로 주변 객체에 관한 정보를 표시하기 위한 정적 위치를 결정할 수 있다. 예를 들어, 주변 영역이 사각형 형상으로 결정된 경우, 주변 객체 표시부(360)는 해당 사각형 형상의 하단 모서리 부분에 주변 객체의 위치와 크기에 관한 정보를 시각화하여 표시할 수 있다.
일 실시예에서, 주변 객체 표시부(360)는 재렌더링 영상에서 주변 객체의 위치와 크기에 관한 정보를 주변 영역의 경계를 따라 동적으로 움직이는 그래픽으로 시각화하여 표시할 수 있다. 즉, 주변 객체 표시부(360)는 재렌더링 영상을 기초로 주변 객체를 인식하고 해당 객체에 관한 위치와 거리를 주변 객체 인근에 표시할 수 있으며, 표시 위치는 가상의 주변 영역의 경계를 따라 동적으로 변경될 수 있다. 만약 재렌더링 영상에서 주변 객체의 위치가 왼쪽으로 움직인 결과 주변 객체가 영상의 경계에 중첩되는 경우 주변 객체는 영상의 경계를 기준으로 오른쪽 부분만 표시될 수 있다. 이때, 주변 객체의 위치와 거리에 관한 정보는 주변 객체의 오른쪽 영역에서 가상의 주변 영역의 경계를 따라 이동된 위치에 표시될 수 있다.
제어부(도 3에 미도시함)는 영상 보정 장치(130)의 전체적인 동작을 제어하고, 영상 획득부(310), 초음파 분석부(320), 탁도 측정부(330), 영상 보정부(340), 주변 객체 인식부(350) 및 주변 객체 표시부(360) 간의 제어 흐름 또는 데이터 흐름을 관리할 수 있다.
도 4는 본 발명에 따른 초음파 센서를 활용한 수중 환경 영상의 보정 방법을 설명하는 순서도이다.
도 4를 참조하면, 영상 보정 장치(130)는 영상 획득부(310)를 통해 수중 카메라(110)를 통해 촬영된 영상을 획득할 수 있다(단계 S410). 영상 보정 장치(130)는 초음파 분석부(320)를 통해 초음파 센서를 통해 주변 객체의 상대적 방향 및 거리를 획득할 수 있다(단계 S420). 영상 보정 장치(130)는 탁도 측정부(330)를 통해 영상이 촬영된 지점에서의 탁도 센싱 정보를 획득할 수 있다(단계 S430).
또한, 영상 보정 장치(130)는 영상 보정부(340)를 통해 탁도가 제1 임계값을 초과하는 경우 영상에서의 채도 또는 명도의 최저 및 최고폭을 제1 폭으로 변화시키고, 제1 폭으로 변화된 채도 또는 명도의 최저 및 최고폭에 따라 영상을 재렌더링할 수 있다(단계 S440).
일 실시예에서, 영상 보정 장치(130)는 탁도가 제1 임계값보다 높은 제2 임계값을 초과하는 경우, 영상에 밴드패스 필터(band-pass filter)를 적용할 수 있다. 밴드 패스 필터는 대역 필터로서 특정 주파수 사이의 신호만 통과시킬 수 있다. 영상 보정 장치(130)는 탁도에 따라 수중 카메라(110)에 의해 촬영된 영상에 밴드패스 필터를 적용하여 특정 주파수 사이의 신호를 제거할 수 있다. 즉, 영상 보정 장치(130)는 탁도가 높은 경우 영상의 화질을 저하시키는 수중 미세 물질에 대한 노이즈를 제거하기 위하여 밴드패스 필터를 적용할 수 있다. 이때, 밴드패스 필터는 다양한 주파수 대역으로 설정될 수 있으며, 탁도의 세기에 따라 통과 가능한 주파수 대역이 결정될 수 있다.
일 실시예에서, 영상 보정 장치(130)는 재렌더링된 영상을 NED(Near Eye Display) 또는 마스크 일체형 디스플레이를 통해 재생할 수 있다. 영상 보정 장치(130)는 수중 영상을 재생하는 다양한 디스플레이 모듈과 연동하여 동작할 수 있다. 예를 들어, 디스플레이 모듈은 NED, 마스크 일체형 디스플레이 등을 포함할 수 있다. 즉, 영상 보정 장치(130)는 재렌더링된 영상을 다양한 수중 디스플레이를 통해 표시하여 수중 환경에서 유용한 시각적 정보를 제공할 수 있다.
또한, 영상 보정 장치(130)는 주변 객체 인식부(350)를 통해 재렌더링 영상에서 상대적 방향을 기초로 주변 객체를 인식할 수 있다(단계 S450). 영상 보정 장치(130)는 주변 객체 표시부(360)를 통해 재렌더링 영상에 주변 객체의 거리를 오버레이(overlay)하여 표시할 수 있다(단계 S460).
일 실시예에서, 영상 보정 장치(130)는 주변 객체 표시부(360)를 통해 재렌더링 영상에서 인식된 주변 객체 주위를 하이라이팅 하는 식별 영역을 재렌더링 영상에 오버레이 하여 표시할 수 있다. 보다 구체적으로, 주변 객체 표시부(360)는 재렌더링 영상에서 인식된 상기 주변 객체를 포함하는 식별 영역을 설정할 수 있다.
여기에서, 식별 영역은 재렌더링 영상을 기초로 식별된 주변 객체의 위치와 크기에 따라 정의될 수 있다. 또한, 식별 영역은 영상 분석에 따라 식별된 주변 객체의 형상에 대응하여 정의될 수 있다. 또한, 식별 영역은 영상 촬영 지점의 탁도 레벨이 기 설정된 제3 임계값을 초과하는 경우에는 기 실정된 기본 형상들 중에서 어느 하나로 정의될 수 있고, 탁도 레벨이 제3 임계값 이하인 경우에는 영상 분석을 통해 식별되는 주변 객체의 형상을 기초로 정의될 수 있다. 예를 들어, 주변 객체의 형상이 식별되면 식별 영역은 해당 형상의 경계에서 소정의 간격으로 확장된 형태로 정의될 수 있다.
또한, 주변 객체 표시부(360)는 설정된 식별 영역의 크기를 초음파 신호를 기초로 도출된 주변 객체의 크기에 따라 조정할 수 있다. 즉, 영상 분석을 통해 결정된 식별 영역의 크기에 초음파 신호 분석으로 도출된 크기를 적용하여 하이라이팅 되는 식별 영역의 최종 크기를 결정할 수 있다.
또한, 주변 객체 표시부(360)는 식별 영역의 경계를 하이라이팅(highlighting)하여 재렌더링 영상에 오버레이하여 표시할 수 있다. 주변 객체 표시부(360)는 촬영 지점의 탁도 레벨에 따라 하이라이팅 하는 색상을 조정하여 식별 영역이 재렌더링 영상에서 보다 선명하게 표시되도록 할 수 있다.
결과적으로, 주변 객체 표시부(360)는 재렌더링 영상에서 식별된 주변 객체를 보다 효과적으로 표시하여 수중 해양레저인원이 명확히 인지 가능한 정보를 제공할 수 있다.
도 5는 본 발명에 따른 수중 환경 영상의 디스플레이 화면을 설명하는 도면이다.
도 5를 참조하면, 영상 보정 장치(130)는 재렌더링 영상(510)에서 식별된 주변 객체(530)의 인근에서 초음파 센서를 통해 식별된 주변 객체의 거리(3.4 m)를 오버레이하여 표시할 수 있다.
일 실시예에서, 영상 보정 장치(130)는 주변 객체 표시부(360)를 통해 재렌더링 영상(510)에서 인식된 주변 객체(530)의 주위를 하이라이팅 하는 식별 영역(550)을 재렌더링 영상(510)에 오버레이 하여 표시할 수 있다. 즉, 탁도 레벨이 높아 시야 거리가 짧은 경우 해양레저인원은 재렌더링 영상(510)으로부터 주변 객체(530)를 명확히 식별하기 어려울 수 있고, 이 경우 초음파 신호를 기초로 하이라이팅 되는 식별 영역(550)을 통해 주변 객체(530)를 보다 용이하게 인식할 수 있다.
한편, 영상 보정 장치(130)는 재렌더링 영상(510)의 특정 위치에 정의되는 정보 표시 영역들(570a ~ 570d)을 통해 수중 해양레저인원에게 유용한 정보들을 표시할 수 있다. 예를 들어, 영상 보정 장치(130)는 재렌더링 영상(510)의 정보 표시 영역들(570a ~ 570d)을 통해 현재시각, 잔존 산소량, 수심, 온도, 속도, 현재 위치 등을 표시할 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
이 발명을 지원한 국가연구개발사업
과제고유번호 : 1425140400
과제번호 : S2689419
부처명 : 중소벤처기업부
과제관리(전문)기관명 : 중소기업기술정보진흥원
연구사업명 : (2단계)중소기업네트워크형사업
연구과제명 : 해양레저활동 지원을 위한 수중 통신단말장치 및 증강현실 NED 기술개발
기여율 : 1/1
과제수행기관명 : (주)포에스텍
연구기간 : 2018.12.01 ~ 2020.11.30
[부호의 설명]
100: 영상 보정 시스템
110: 사용자 단말 130: 영상 보정 장치
150: 데이터베이스
210: 프로세서 230: 메모리
250: 사용자 입출력부 270: 네트워크 입출력부
310: 영상 획득부 320: 초음파 분석부
330: 탁도 측정부 340: 영상 보정부
350: 주변 객체 인식부 360: 주변 객체 표시부
510: 재렌더링 영상 530: 주변 객체
550: 식별 영역 570: 정보 표시 영역

Claims (7)

  1. 수중 카메라를 통해 촬영된 영상을 획득하는 단계;
    초음파 센서를 통해 주변 객체의 상대적 방향 및 거리를 획득하는 단계;
    상기 영상이 촬영된 지점에서의 탁도 센싱 정보를 획득하는 단계;
    상기 탁도가 제1 임계값을 초과하는 경우, 상기 영상에서의 채도 또는 명도의 최저 및 최고폭을 제1 폭으로 변화시키는 단계;
    상기 제1 폭으로 변화된 채도 또는 명도의 최저 및 최고폭에 따라, 상기 영상을 재렌더링하는 단계;
    상기 재렌더링 영상에서 상기 상대적 방향을 기초로 상기 주변 객체를 인식하는 단계; 및
    상기 재렌더링 영상에 상기 주변 객체의 거리를 오버레이하는 단계를 포함하는 초음파 센서를 활용한 수중 환경 영상의 보정 방법.
  2. 제1항에 있어서,
    상기 탁도가 제1 임계값보다 높은 제2 임계값을 초과하는 경우, 상기 영상에 밴드패스 필터를 적용하는 단계를 더 포함하는 것을 특징으로 하는 초음파 센서를 활용한 수중 환경 영상의 보정 방법.
  3. 제2항에 있어서,
    상기 탁도의 레벨에 반비례하여, 상기 밴드패스 필터의 패스밴드를 좁게 변형 설정하는 단계를 더 포함하는 것을 특징으로 하는 초음파 센서를 활용한 수중 환경 영상의 보정 방법.
  4. 제1항에 있어서,
    상기 재렌더링된 영상을 NED(Near Eye Display) 또는 마스크 일체형 디스플레이를 통해 디스플레이하는 단계를 더 포함하는 것을 특징으로 하는 초음파 센서를 활용한 수중 환경 영상의 보정 방법.
  5. 제1항에 있어서,
    상기 주변 객체의 상대적 방향 및 거리를 획득하는 단계는
    상기 초음파 센서를 상기 수중 카메라의 촬영 범위 내에서 수평 왕복 이동하면서 초음파 신호를 발산하는 단계를 포함하는 것을 특징으로 하는 초음파 센서를 활용한 수중 환경 영상의 보정 방법.
  6. 제1항에 있어서,
    상기 주변 객체를 인식하는 단계는
    상기 초음파 센서를 통해 상기 주변 객체의 크기를 획득하고, 상기 주변 객체의 상대적 방향과 크기를 기초로 상기 재렌더링 영상에서 상기 주변 객체를 결정하는 단계를 포함하는 것을 특징으로 하는 초음파 센서를 활용한 수중 환경 영상의 보정 방법.
  7. 제6항에 있어서,
    상기 오버레이하는 단계는
    상기 재렌더링 영상에서 인식된 상기 주변 객체를 포함하는 식별 영역을 설정하는 단계;
    상기 주변 객체의 크기에 따라 상기 식별 영역의 크기를 조정하는 단계; 및
    상기 식별 영역의 경계를 하이라이팅(highlighting)하여 상기 재렌더링 영상에 오버레이하는 단계를 포함하는 것을 특징으로 하는 초음파 센서를 활용한 수중 환경 영상의 보정 방법.
PCT/KR2021/000729 2021-01-19 2021-01-19 초음파 센서를 활용한 수중 환경 영상의 보정 방법 WO2022158611A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210007338A KR102388301B1 (ko) 2021-01-19 2021-01-19 초음파 센서를 활용한 수중 환경 영상의 보정 방법
KR10-2021-0007338 2021-01-19

Publications (1)

Publication Number Publication Date
WO2022158611A1 true WO2022158611A1 (ko) 2022-07-28

Family

ID=81399092

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/000729 WO2022158611A1 (ko) 2021-01-19 2021-01-19 초음파 센서를 활용한 수중 환경 영상의 보정 방법

Country Status (2)

Country Link
KR (1) KR102388301B1 (ko)
WO (1) WO2022158611A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100781332B1 (ko) * 2007-06-29 2007-11-30 한국해양연구원 수중 영상 촬상 장치 및 영상표시방법
KR20100021952A (ko) * 2008-08-18 2010-02-26 삼성테크윈 주식회사 안개 등의 대기 산란 입자로 인한 왜곡 보정용 영상 처리 방법 및 장치
KR101167567B1 (ko) * 2011-10-19 2012-07-27 (주)그린시스 어류 모니터링을 위한 영상감시장치 및 방법
KR20150102026A (ko) * 2012-12-27 2015-09-04 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 니어 아이 디스플레이를 위한 디스플레이 업데이트 시간 감소 기법
CN111586293A (zh) * 2020-04-24 2020-08-25 山东易华录信息技术有限公司 一种根据海水浊度影响进行水下成像方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100953522B1 (ko) 2008-10-06 2010-04-21 인하대학교 산학협력단 수중 카메라의 왜곡 보정 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100781332B1 (ko) * 2007-06-29 2007-11-30 한국해양연구원 수중 영상 촬상 장치 및 영상표시방법
KR20100021952A (ko) * 2008-08-18 2010-02-26 삼성테크윈 주식회사 안개 등의 대기 산란 입자로 인한 왜곡 보정용 영상 처리 방법 및 장치
KR101167567B1 (ko) * 2011-10-19 2012-07-27 (주)그린시스 어류 모니터링을 위한 영상감시장치 및 방법
KR20150102026A (ko) * 2012-12-27 2015-09-04 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 니어 아이 디스플레이를 위한 디스플레이 업데이트 시간 감소 기법
CN111586293A (zh) * 2020-04-24 2020-08-25 山东易华录信息技术有限公司 一种根据海水浊度影响进行水下成像方法及装置

Also Published As

Publication number Publication date
KR102388301B1 (ko) 2022-04-20

Similar Documents

Publication Publication Date Title
WO2017204596A1 (ko) 얼굴 윤곽 보정 방법 및 장치
WO2016171341A1 (ko) 클라우드 기반 병리 분석 시스템 및 방법
WO2015108232A1 (en) Portable device and method for controlling the same
WO2020027607A1 (ko) 객체 탐지 장치 및 제어 방법
WO2014157806A1 (en) Display device and control method thereof
WO2012091326A2 (ko) 고유식별 정보를 이용한 3차원 실시간 거리뷰시스템
CN102244715B (zh) 图像处理装置、用于图像处理装置的设置装置及其方法
WO2012005387A1 (ko) 다중 카메라와 물체 추적 알고리즘을 이용한 광범위한 지역에서의 물체 이동 감시 방법 및 그 시스템
WO2018066742A1 (ko) 영상 제공 장치 및 방법
WO2021167374A1 (ko) 영상 검색 장치 및 이를 포함하는 네트워크 감시 카메라 시스템
WO2015105234A1 (en) Head mounted display and method for controlling the same
WO2015030307A1 (en) Head mounted display device and method for controlling the same
WO2017090892A1 (ko) Osd 정보 생성 카메라, osd 정보 합성 단말기(20) 및 이들로 구성된 osd 정보 공유 시스템
WO2018084536A1 (ko) 타임 슬라이스 영상 제공 서버, 방법 및 사용자 단말
WO2017111332A1 (ko) 전자 장치 및 전자 장치의 제어 방법
WO2019156543A2 (ko) 동영상의 대표 이미지를 결정하는 방법 및 그 방법을 처리하는 전자 장치
WO2017213439A1 (ko) 멀티 스티커를 이용한 영상 생성 방법 및 장치
WO2015160052A1 (ko) 광각 렌즈 이미지 보정 방법 및 그 장치
WO2015088101A1 (en) Display device and method of controlling the same
JP2010193227A (ja) 映像処理システム
WO2018097384A1 (ko) 밀집도 알림 장치 및 방법
US20220277490A1 (en) Image processing method, image processing apparatus and program
WO2022158611A1 (ko) 초음파 센서를 활용한 수중 환경 영상의 보정 방법
WO2011043498A1 (ko) 지능형 영상 감시 장치
WO2022045516A1 (en) Audio and video synchronization method and device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21921383

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21921383

Country of ref document: EP

Kind code of ref document: A1