WO2021112376A1 - 디지털 트윈을 이용한 음성 명령 선박 조종 시스템 및 이를 이용한 선박 조종 방법 - Google Patents

디지털 트윈을 이용한 음성 명령 선박 조종 시스템 및 이를 이용한 선박 조종 방법 Download PDF

Info

Publication number
WO2021112376A1
WO2021112376A1 PCT/KR2020/011184 KR2020011184W WO2021112376A1 WO 2021112376 A1 WO2021112376 A1 WO 2021112376A1 KR 2020011184 W KR2020011184 W KR 2020011184W WO 2021112376 A1 WO2021112376 A1 WO 2021112376A1
Authority
WO
WIPO (PCT)
Prior art keywords
steering
ship
command
unit
text
Prior art date
Application number
PCT/KR2020/011184
Other languages
English (en)
French (fr)
Inventor
공인영
Original Assignee
(주)세이프텍리서치
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)세이프텍리서치 filed Critical (주)세이프텍리서치
Publication of WO2021112376A1 publication Critical patent/WO2021112376A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63H—MARINE PROPULSION OR STEERING
    • B63H25/00—Steering; Slowing-down otherwise than by use of propulsive elements; Dynamic anchoring, i.e. positioning vessels by means of main or auxiliary propulsive elements
    • B63H25/02—Initiating means for steering, for slowing down, otherwise than by use of propulsive elements, or for dynamic anchoring
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63H—MARINE PROPULSION OR STEERING
    • B63H25/00—Steering; Slowing-down otherwise than by use of propulsive elements; Dynamic anchoring, i.e. positioning vessels by means of main or auxiliary propulsive elements
    • B63H25/02—Initiating means for steering, for slowing down, otherwise than by use of propulsive elements, or for dynamic anchoring
    • B63H2025/028—Initiating means for steering, for slowing down, otherwise than by use of propulsive elements, or for dynamic anchoring using remote control means, e.g. wireless control; Equipment or accessories therefor

Definitions

  • An embodiment of the present invention relates to a voice command ship steering system using a digital twin and a ship steering method using the same.
  • ship navigation simulation is displayed as a three-dimensional image on a display device, and this image can be viewed through optical devices in the form of glasses and goggles.
  • the speed control of the ship is performed by a rod-shaped speed control device using a forward/backward motion
  • the direction control is performed by a circular-type direction control device using a left-right motion.
  • An image for providing a 3D simulation environment is acquired by installing imaging equipment on an unmanned vessel, and the acquired image is provided by performing 3D image processing.
  • the present invention was invented to solve the above problems, and the present invention is a state in which a virtual ship is formed to be the same as a real ship by a digital twin.
  • An object of the present invention is to provide a voice command ship steering system using a digital twin that can generate a steering command for a real ship and transmit it to the real ship so that the real ship can respond quickly in an emergency situation and a ship steering method using the same. .
  • a voice command ship steering system using a digital twin according to the present invention for achieving the above object is a real ship; a virtual ship that is formed identically to the real ship by a digital twin and receives operation information from the real ship; and a management terminal that receives the navigation information from the virtual ship, recognizes a voice command of a manager according to the navigation information, and generates a steering signal for the real ship, wherein the virtual ship is configured to receive the navigation information from the management terminal.
  • the actual vessel After receiving the steering signal and generating a steering command for the actual vessel, the actual vessel may be steered by transmitting the steering command to the actual vessel.
  • the real ship a first steering unit for controlling the navigation route of the real ship; a first control unit for controlling the first steering unit; and a first communication unit that transmits the navigation information to the virtual vessel and receives the steering command from the virtual vessel, wherein the first control unit includes: By controlling the steering unit, the actual sailing route of the ship may be changed.
  • the virtual vessel may include: a second steering unit for controlling a navigation path of the virtual vessel; a second control unit for controlling the second steering unit according to the actual operation information of the vessel; and a second communication unit for transmitting the navigation information to the management terminal and receiving the steering signal from the management terminal, wherein the second control unit includes a steering command matching the steering signal transmitted from the management terminal can be generated and transmitted to the actual ship.
  • the second control unit may include: a navigation path control module configured to control the second steering unit according to the navigation information of the real ship to change the navigation route of the virtual ship to match the navigation route of the real ship; a steering command generating module for generating a steering command matching the steering signal; and a steering command transmission module for transmitting the steering command to the actual ship through the second communication unit.
  • a navigation path control module configured to control the second steering unit according to the navigation information of the real ship to change the navigation route of the virtual ship to match the navigation route of the real ship
  • a steering command generating module for generating a steering command matching the steering signal
  • a steering command transmission module for transmitting the steering command to the actual ship through the second communication unit.
  • the navigation route control module controls the second steering unit according to the steering command to change the navigation route of the virtual vessel
  • the steering command generation module transmits the steering command to the National Marine Electronics Association (NMEA) standard.
  • NMEA National Marine Electronics Association
  • the steering command transmission module may transmit the steering command to the actual ship through satellite communication.
  • the management terminal the voice command recognition unit for recognizing the voice command of the manager according to the actual operation information of the ship; a steering signal generating unit for generating a steering signal for the actual ship that matches the manager's voice command; and a steering signal transmitter configured to transmit a steering signal for the real ship to the virtual ship.
  • the voice command recognition unit a voice command receiving module for receiving Standard Marine Communication Phrases (SMCP) as a voice command of the manager; a text command conversion module for converting the voice command into a text command; a text grammar storage module storing text grammar for the standard maritime communication English; a grammar matching determination module for determining whether the text command matches the text grammar stored in the text grammar storage module; and a signal generation performing module that activates the steering signal generator when the text command matches the text grammar.
  • SMCP Standard Marine Communication Phrases
  • the voice command recognition unit may further include a command error notification module for notifying the administrator of an error of the voice command when the text command does not match the text grammar.
  • the management terminal when the actual ship's navigation information includes the fact that the actual ship's navigation route is changed according to the steering command, converts the text notification about the navigation route change into a voice alert and provides it to the manager It may further include; a route change notification unit.
  • the method for steering a ship using a voice command ship steering system includes a first operation information transmission step of transmitting operation information about the real ship to a virtual ship formed by a digital twin; a second navigation information transmission step in which the virtual vessel transmits the operation information to a management terminal; A steering signal transmission step of recognizing, by the management terminal, a voice command of a manager according to the operation information, generating a steering signal for a real ship, and transmitting it to the virtual ship; a steering command transmission step of generating, by the virtual ship, a steering command for a real ship matching the steering signal, and transmitting the generated steering command to the real ship; a navigation route changing step in which the real ship changes the navigation route of the real ship according to the steering command; and a route change notification step in which the management terminal provides the operation route change fact to the manager when the fact that the actual ship's operation route is changed according to the steering command is included in the operation information on the actual ship. .
  • the first operation information transmission step may include: an actual route steering process in which the first controller controls the first steering part to control the actual navigation route of the ship; and a first navigation information transmission step in which a first communication unit transmits the operation information to the virtual vessel, wherein the second operation information transmission step includes a second control unit performing second steering according to the operation information of the real vessel. a virtual route steering process of controlling the unit to control the operation route of the virtual vessel to match the operation route of the real ship; and a second navigation information transmission step in which a second communication unit transmits the operation information to the management terminal.
  • the step of transmitting the steering signal may include: a voice command recognition process in which a voice command recognition unit recognizes the manager's voice command according to the actual operation information of the ship; a steering signal generating step in which a steering signal generating unit generates a steering signal for the actual ship that matches the manager's voice command; and a steering signal transmission process in which a steering signal transmission unit transmits a steering signal for the real ship to the virtual ship, wherein the voice command recognition process includes a voice command receiving module using a voice command of the manager Voice command receiving unit process for receiving (SMCP, Standard Marine Communication Phrases); a text command conversion unit process in which the text command conversion module converts the voice command into a text command; a grammar matching determination unit step in which the grammar matching determination module determines whether the text command matches the text grammar stored in the text grammar storage module; a signal generating performing unit step of activating the steering signal generating unit when the signal generating performing module matches the text command and the text grammar; and a command error notification unit step of notifying the administrator of
  • the steering command transmission step may include: a steering command generation process in which the second control unit generates a steering command matching the steering signal according to the National Marine Electronics Association (NMEA) standard; and a steering command transmission step in which the second control unit transmits the steering command to the actual ship through satellite communication, wherein the operation route changing step includes the first control unit transmitting the first steering command according to the steering command.
  • NMEA National Marine Electronics Association
  • the operation route changing step includes the first control unit transmitting the first steering command according to the steering command.
  • an actual route changing process of changing the actual navigation route of the ship by controlling the unit and a change information transmission process in which the first control unit includes the fact that the operation route of the actual ship according to the steering command is changed in the operation information and transmits the change information to the virtual ship.
  • the route change notification unit may convert a text notification on the fact of the flight route change into a voice notification and provide it to the manager.
  • a virtual ship is formed in the same way as a real ship by the digital twin, and the real ship is in a dangerous or malfunctioning situation.
  • the real ship can respond quickly in an emergency situation by generating a steering command for the real ship by the manager's voice command and transmitting it to the real ship.
  • FIG. 1 is a block diagram of a voice command ship steering system using a digital twin according to the present invention.
  • FIG. 2 is a view showing a bridge of an actual ship according to the present invention.
  • FIG 3 is a view showing a bridge of a virtual vessel according to the present invention.
  • FIG. 4 is a configuration diagram of a second control unit according to the present invention.
  • FIG. 5 is a block diagram of a voice command recognition unit according to the present invention.
  • FIG. 6 is a block diagram of a ship steering method using the voice command ship steering system according to the present invention.
  • FIG. 7 is a block diagram of a first operation information transmission step according to the present invention.
  • FIG. 8 is a block diagram of a second operation information transmission step according to the present invention.
  • FIG. 9 is a block diagram of a steering signal transmission step according to the present invention.
  • FIG. 10 is a block diagram of a voice command recognition process according to the present invention.
  • FIG. 11 is a block diagram of a steering command transmission step according to the present invention.
  • FIG. 12 is a block diagram of the operation route change step according to the present invention.
  • FIG. 1 is a block diagram of a voice command ship steering system using a digital twin according to the present invention.
  • the voice command ship steering system using a digital twin includes a real ship 100 , a virtual ship 200 , and a management terminal 300 .
  • the real ship 100 may be an autonomous ship or a smart ship, and the real ship 100 may include a first steering unit 110 , a first control unit 120 , and a first communication unit 130 . have.
  • the first steering unit 110 may control the actual sailing route of the ship.
  • the first steering unit 110 may actually steer the ship in a preset navigation path under the control of the first control unit 120 .
  • the first control unit 120 may control the first steering unit. As will be described later, the first control unit 120 performs the first operation according to the steering command for the real vessel transmitted from the virtual vessel. By controlling the steering part, the actual sailing route of the ship can be changed.
  • the first control unit 120 includes a text notification of the fact of the change of the operation route in the operation information of the actual ship when the actual ship's navigation route is changed according to the steering command, and through the first communication unit 130 .
  • the corresponding operation information may be transmitted to the virtual vessel.
  • the first communication unit 130 may transmit operation information on the real ship to the virtual ship, and may also receive a steering command for the real ship from the virtual ship.
  • the first communication unit 130 is the operation information as the actual ship position information, roll (Roll), pitch (Pitch), motion information such as yaw (Yaw), speed, heading, ROT, rudder angle, Various status information such as vessel information such as an engine and other vessel information such as position, speed, heading, and AIS may be transmitted to the virtual vessel using satellite communication.
  • FIG. 2 is a view showing a bridge of an actual ship according to the present invention.
  • the first steering unit 110 , the first control unit 120 , and the first communication unit 130 included in the actual ship 100 may be respectively provided on the bridge of the actual ship shown in FIG. 2 .
  • the virtual ship 200 is formed identically to the real ship by a digital twin, and as described above, operation information can be received from the real ship 100. This virtual ship 200 is managed, as will be described later. After receiving a steering signal for a real ship from the terminal, generating a steering command by itself, and then transmitting the corresponding steering command to the real ship, the real ship can be controlled.
  • the virtual vessel 200 may include a second steering unit 210 , a second control unit 220 , and a second communication unit 230 .
  • the second steering unit 210 may control a navigation route of the virtual vessel.
  • the second steering unit 210 may steer the virtual vessel on the same navigation path as the actual vessel under the control of the second control unit 220 .
  • the second control unit 220 may control the second steering unit, as described above, according to the operation information of the actual vessel, and also for the actual vessel matching the steering signal transmitted from the management terminal 300 .
  • the steering command can be directly generated and transmitted to the actual ship.
  • FIG. 4 is a configuration diagram of a second control unit according to the present invention.
  • the second control unit 220 may include a navigation path control module 221 , a steering command generation module 222 , and a steering command transmission module 223 .
  • the navigation route control module 221 may control the second steering unit according to the navigation information of the real ship to change the navigation route of the virtual ship to match the navigation route of the real ship.
  • the navigation route control module 221 changes the navigation route of the virtual vessel in advance by controlling the second steering unit according to the steering command generated by the steering command generation module 222, or as will be described later, such a steering
  • the navigation route of the virtual ship may be changed to match the navigation route of the real ship by controlling the second steering unit according to the navigation change route included in the navigation information of the real ship.
  • the steering command generating module 222 may generate a steering command for an actual ship matching the steering signal.
  • the steering command generating module 222 may generate the steering command according to the National Marine Electronics Association (NMEA), specifically, the NMEA 0183 standard, which is a data standard for transmitting information such as time, position, and direction.
  • NMEA National Marine Electronics Association
  • the NMEA 0183 standard is a data standard for transmitting information such as time, position, and direction.
  • the steering command transmission module 223 may transmit the steering command to the actual ship through the second communication unit 230 .
  • the steering command transmission module 223 may transmit the steering command to the actual ship through satellite communication.
  • the second communication unit 230 may receive the operation information from the actual terminal 100 and transmit the corresponding operation information to the management terminal 300, and may also receive a steering signal for the actual vessel from the management terminal, In addition, a steering command for the actual vessel may be transmitted to the management terminal.
  • FIG 3 is a view showing a bridge of a virtual vessel according to the present invention.
  • the second steering unit 210 , the second control unit 220 , and the second communication unit 230 included in the virtual vessel 200 may be respectively provided in the bridge of the virtual vessel illustrated in FIG. 3 .
  • the management terminal 300 may generate a steering signal for the real ship by recognizing the manager's voice command according to the corresponding navigation information after receiving the operation information for the real ship from the virtual ship 200 .
  • the management terminal 300 includes a voice command recognition unit 310 , a steering signal generation unit 320 , a steering signal transmission unit 330 , and a route change notification unit 340 .
  • a voice command recognition unit 310 may include a voice command recognition unit 310 , a steering signal generation unit 320 , a steering signal transmission unit 330 , and a route change notification unit 340 .
  • the voice command recognition unit 310 may recognize the manager's voice command according to the actual vessel operation information.
  • FIG. 5 is a block diagram of a voice command recognition unit according to the present invention.
  • the voice command recognition unit 310 includes a voice command receiving module 311 , a text command conversion module 312 , a text grammar storage module 313 , and a grammar matching determination module 314 . ), a signal generation performing module 315 and a command error notification module 316 may be included.
  • the voice command receiving module 311 may receive the manager's voice command according to the actual ship's operation information.
  • the voice command receiving module 311 is a manager made of Standard Marine Communication Phrases (SMCP). can receive voice commands from SMCP.
  • SMCP Standard Marine Communication Phrases
  • the text command conversion module 312 may convert a voice command into a text command.
  • the text command conversion module 312 is equipped with a speech to text conversion engine (Speech To Text) to convert the standard maritime communication English, which is the manager's voice command, into the standard maritime communication English, which is the text command.
  • a speech to text conversion engine Speech To Text
  • the text grammar storage module 313 may store text grammar for standard maritime communication English.
  • the grammar matching determination module 314 may determine whether the text command converted by the text command conversion module 312 matches the text grammar stored in the text grammar storage module.
  • the grammar matching determination module 314 may generate a grammar matching signal when the text command matches the text grammar, and generate a grammar mismatch signal when the text command does not match the text grammar.
  • the signal generating performing module 315 may activate the steering signal generating unit when the text command matches the text grammar.
  • the grammar matching determining module 314 may receive a grammar matching signal from the grammar matching determining module 314 when the text command matches the text grammar, and the signal generating performing module 315 is a corresponding grammar matching signal.
  • the steering signal generator 330 By activating the steering signal generator 330 by , it is possible to generate a steering signal for an actual ship.
  • the command error notification module 316 may notify the administrator of the error of the voice command.
  • the command error notification module 316 may receive a grammar mismatch signal from the grammar matching determination module 314 when the text command does not match the text grammar. By activating a speaker (not shown) by a mismatching signal, it is possible to notify the administrator of an error in the voice command.
  • the steering signal generating unit 320 may generate a steering signal for the actual vessel that matches the manager's voice command.
  • the steering signal generating unit 320 is a steering wheel, a thruster (Thruster), an engine telegraph (Engine Chat), azimuth (Azimuth), autopilot as a steering signal matching the voice command of the manager.
  • a signal for controlling each of the devices (automatic pilot) and the like may be generated.
  • the steering signal transmitter 330 may receive operation information for the real ship from the virtual terminal 200 and may also transmit a steering signal for the real ship to the virtual ship.
  • the route change notification unit 340 converts a text notification about the change of the route into a voice alert when the actual ship's navigation information includes a change in the actual ship's route according to the steering command, and provides it to the manager can do.
  • the route change notification unit 340 is equipped with a text-to-speech engine (Text To Speech), and when the actual ship's operation information includes a text notification about the change of the operation route by the steering command, the text notification is provided. It can be converted into a voice notification and provided to the administrator.
  • a text-to-speech engine Text To Speech
  • FIG. 6 is a block diagram of a ship steering method using the voice command ship steering system according to the present invention.
  • the method for steering a ship using the voice command ship steering system includes a first navigation information transmission step (S100), a second navigation information transmission step (S200), and a steering signal transmission step (S300). , including a steering command transmission step (S400), a flight route change step (S500), and a route change notification step (S600).
  • the first operation information transmission step ( S100 ) is a step in which the real ship 100 transmits the operation information on the real ship to the virtual ship 200 formed by the digital twin.
  • FIG. 7 is a block diagram of a first operation information transmission step according to the present invention.
  • the first navigation information transmission step S100 may include an actual route control process S110 and a first navigation information transmission process S120 as shown in FIG. 7 .
  • the actual route control process ( S110 ) is a process in which the first controller 120 controls the first steering part 110 to control the actual navigation route of the ship.
  • the first operation information transmission process ( S120 ) is a process in which the first communication unit 1300 transmits operation information about a real vessel to a virtual vessel.
  • the second operation information transmission step ( S200 ) is a step in which the virtual vessel 200 transmits operation information on the real vessel to the management terminal 300 .
  • FIG. 8 is a block diagram of a second operation information transmission step according to the present invention.
  • the second navigation information transmission step S200 may include a virtual route manipulation process S210 and a second navigation information transmission process S220 as shown in FIG. 8 .
  • the virtual route manipulation process (S210) is a process in which the second controller 220 controls the second steering unit 210 according to the real ship's navigation information to adjust the virtual ship's navigation route to match the real ship's navigational route. to be.
  • the second operation information transmission process (S220) is a process in which the second communication unit 230 transmits the actual vessel operation information to the management terminal 300 .
  • the management terminal 300 recognizes the manager's voice command according to the operation information of the real ship, generates a steering signal for the real ship, and then sends the corresponding steering signal to the virtual ship 200 . is the step of sending
  • FIG. 9 is a block diagram of a steering signal transmission step according to the present invention.
  • the steering signal transmitting step (S300) may include a voice command recognition process (S310), a steering signal generating process (S320) and a steering signal generating process (S330), as shown in FIG. 9 .
  • the voice command recognition process (S310) is a process in which the voice command recognition unit 310 recognizes the manager's voice command according to the actual vessel operation information.
  • FIG. 10 is a block diagram of a voice command recognition process according to the present invention.
  • the voice command recognition process (S310) is a voice command reception unit process (S311), a text command conversion unit process (S312), a grammar matching determination unit process (S313), and a signal generation is performed It may include a unit process (S314) and a command error notification unit process (S315).
  • the voice command receiving unit process (S311) is a unit process in which the voice command receiving module 311 receives Standard Marine Communication Phrases (SMCP) as a voice command of the manager.
  • SMCP Standard Marine Communication Phrases
  • the text command conversion unit process (S312) is a unit process in which the text command conversion module 312 converts the voice command into a text command.
  • the grammar matching determination unit step S313 is a unit step in which the grammar matching determination module 314 determines whether the text command matches the text grammar stored in the text grammar storage module 313 .
  • the signal generating performing unit step S314 is a unit step of activating the steering signal generating unit 320 when the signal generating performing module 315 matches the text command and the text grammar.
  • the command error notification unit step S315 is a unit step of notifying the administrator of an error of the voice command when the command error notification module does not match the text command and the text grammar.
  • the steering command transmission step S400 is a step in which the virtual ship 200 generates a steering command for a real ship matching the steering signal, and then transmits the steering command to the real ship 100 .
  • FIG. 11 is a block diagram of a steering command transmission step according to the present invention.
  • the steering command transmission step (S400) may include a steering command generation process (S410) and a steering command transmission process (S420), as shown in FIG. 11 .
  • the steering command generating process ( S410 ) is a process in which the second control unit 220 generates a steering command matching the steering signal according to the National Marine Electronics Association (NMEA) standard.
  • NMEA National Marine Electronics Association
  • the steering command transmission step ( S420 ) is a step in which the second control unit 220 transmits the steering command to the actual ship through satellite communication.
  • the operation route changing step ( S500 ) is a step in which the real ship 100 changes the navigation route of the real ship according to the steering command transmitted from the virtual ship 200 .
  • FIG. 12 is a block diagram of the operation route change step according to the present invention.
  • the operation route change step S500 may include an actual route change step S510 and a change information transmission step S520 as shown in FIG. 12 .
  • the actual route changing process S510 is a process in which the first controller 120 controls the first steering part 110 according to the steering command to change the actual navigation route of the ship.
  • the change information transmission process ( S520 ) is a process in which the first control unit 120 transmits the fact that the operation route of the actual vessel according to the steering command is changed in the operation information to the virtual vessel.
  • the route change notification step (S600) when the management terminal 300 includes the fact that the operation route change of the actual ship according to the steering command is included in the operation information about the actual ship, the step of providing the corresponding operation route change fact to the manager to be.
  • the route change notification unit 340 may convert a text notification regarding the fact of the flight route change into a voice notification and provide it to the manager.
  • a steering command for the real vessel is generated by the manager's voice command.
  • the real ship can respond quickly in an emergency situation.

Abstract

본 발명은 디지털 트윈을 이용한 음성 명령 선박 조종 시스템 및 이를 이용한 선박 조종 방법에 관한 것으로, 본 발명에 따른 디지털 트윈을 이용한 음성 명령 선박 조종 시스템은 실제 선박; 디지털 트윈에 의해 상기 실제 선박과 동일하게 형성되어 실제 선박으로부터 운항 정보를 전송받는 가상 선박; 및 상기 가상 선박으로부터 상기 운항 정보를 전송받고, 상기 운항 정보에 따른 관리자의 음성 명령을 인식하여 실제 선박에 대한 조타 신호를 생성하는 관리 단말;을 포함하고, 상기 가상 선박은, 상기 관리 단말로부터 상기 조타 신호를 전송받아 실제 선박에 대한 조타 명령을 생성한 후, 상기 조타 명령을 실제 선박에 전송함으로써 상기 실제 선박을 조종 가능한 것을 특징으로 한다.

Description

디지털 트윈을 이용한 음성 명령 선박 조종 시스템 및 이를 이용한 선박 조종 방법
본 발명의 실시예는 디지털 트윈을 이용한 음성 명령 선박 조종 시스템 및 이를 이용한 선박 조종 방법에 관한 것이다.
일반적으로 선박 조종 시뮬레이션은 디스플레이 장치에 3차원 영상으로 표출되고, 이러한 영상은 안경 및 고글 형태의 광학장치를 통해 볼 수 있다.
선박 조종 시뮬레이션에서 선박의 속도 제어는 전후 운동을 이용한 막대 형태의 속도 제어 장치에 의해 행해지고, 또한 방향 제어는 좌우 운동을 이용한 원형 형태의 방향 제어 장치에 의해 행해진다.
따라서, 선박 조종 시뮬레이션에서 선박의 속도나 방향 제어를 위해서는 제어 정보를 처리할 수 있는 기술을 필요로 한다.
3D 시뮬레이션 환경 제공을 위한 영상은 무인 선박에 영상 장비를 설치하여 획득하고, 획득된 영상은 3차원 영상처리를 수행하여 제공된다.
이러한 선박 조종 시뮬레이션을 이용하여 관리자가 실제 선박의 조타 장비를 조작하기 위해서는 그 과정이 복잡하고, 특히 관리자 단독으로 장비를 조작하는 과정이 어렵기 때문에 실제 선박이 위험이나 고장 등 긴급 상황에 있을 경우, 신속하게 대응하지 못하는 문제점이 있다.
본 발명은 상기한 문제점을 해결하기 위해 발명된 것으로, 본 발명은 디지털 트윈에 의해 가상 선박을 실제 선박과 동일하게 형성한 상태에서 실제 선박이 위험 상황이나 고장 상황에 있을 경우 관리자의 음성 명령에 의해 실제 선박에 대한 조타 명령을 생성하여 해당 실제 선박으로 전송함으로써 실제 선박이 긴급 상황에서 신속하게 대처하도록 할 수 있는 디지털 트윈을 이용한 음성 명령 선박 조종 시스템 및 이를 이용한 선박 조종 방법을 제공하는 것을 목적으로 한다.
상기한 바와 같은 목적을 달성하기 위한 본 발명에 따른 디지털 트윈을 이용한 음성 명령 선박 조종 시스템은 실제 선박; 디지털 트윈(Digital Twin)에 의해 상기 실제 선박과 동일하게 형성되어 실제 선박으로부터 운항 정보를 전송받는 가상 선박; 및 상기 가상 선박으로부터 상기 운항 정보를 전송받고, 상기 운항 정보에 따른 관리자의 음성 명령을 인식하여 실제 선박에 대한 조타 신호를 생성하는 관리 단말;을 포함하고, 상기 가상 선박은, 상기 관리 단말로부터 상기 조타 신호를 전송받아 실제 선박에 대한 조타 명령을 생성한 후, 상기 조타 명령을 실제 선박에 전송함으로써 상기 실제 선박을 조종 가능한 것을 특징으로 한다.
또한, 상기 실제 선박은, 상기 실제 선박의 운항 경로를 조종하는 제 1조타부; 상기 제 1조타부를 제어하는 제 1제어부; 및 상기 가상 선박에 상기 운항 정보를 전송하고, 상기 가상 선박으로부터 상기 조타 명령을 전송받는 제 1통신부;를 포함하고, 상기 제 1제어부는, 상기 가상 선박으로부터 전송된 상기 조타 명령에 따라 상기 제 1조타부를 제어하여 상기 실제 선박의 운항 경로를 변경할 수 있다.
또한, 상기 가상 선박은, 상기 가상 선박의 운항 경로를 조종하는 제 2조타부; 상기 실제 선박의 운항 정보에 따라 상기 제 2조타부를 제어하는 제 2제어부; 및 상기 관리 단말에 상기 운항 정보를 전송하고, 상기 관리 단말로부터 상기 조타 신호를 전송받는 제 2통신부;를 포함하고, 상기 제 2제어부는, 상기 관리 단말로부터 전송된 상기 조타 신호와 매칭하는 조타 명령을 생성하여 상기 실제 선박에 전송할 수 있다.
또한, 상기 제 2제어부는, 상기 실제 선박의 운항 정보에 따라 상기 제 2조타부를 제어하여 상기 가상 선박의 운항 경로를 상기 실제 선박의 운항 경로와 일치하도록 변경하는 운항 경로 제어모듈; 상기 조타 신호와 매칭하는 조타 명령을 생성하는 조타 명령 생성모듈; 및 상기 조타 명령을 상기 제 2통신부를 통해 상기 실제 선박에 전송하는 조타 명령 전송모듈;을 포함할 수 있다.
또한, 상기 운항 경로 제어모듈은, 상기 조타 명령에 따라 상기 제 2조타부를 제어하여 상기 가상 선박의 운항 경로를 변경하고, 상기 조타 명령 생성모듈은, 상기 조타 명령을 NMEA(National Marine Electronics Association) 규격으로 생성하며, 상기 조타 명령 전송모듈은, 상기 조타 명령을 위성 통신을 통해 상기 실제 선박에 전송할 수 있다.
또한, 상기 관리 단말은, 상기 실제 선박의 운항 정보에 따른 상기 관리자의 음성 명령을 인식하는 음성명령 인식부; 상기 관리자의 음성 명령과 매칭하는 상기 실제 선박에 대한 조타 신호를 생성하는 조타신호 생성부; 및 상기 실제 선박에 대한 조타 신호를 상기 가상 선박에 전송하는 조타신호 전송부;를 포함할 수 있다.
또한, 상기 음성명령 인식부는, 상기 관리자의 음성 명령으로 표준해사통신영어(SMCP,Standard Marine Communication Phrases)를 수신하는 음성명령 수신모듈; 상기 음성 명령을 문자 명령으로 변환하는 문자명령 변환모듈; 상기 표준해사통신영어에 대한 문자 문법이 저장된 문자문법 저장모듈; 상기 문자 명령이 상기 문자문법 저장모듈에 저장된 문자 문법과 매칭하는지 여부를 판단하는 문법매칭 판단모듈; 및 상기 문자 명령이 상기 문자 문법과 매칭하는 경우, 상기 조타신호 생성부를 활성화시키는 신호생성 수행모듈;을 포함할 수 있다.
또한, 상기 음성명령 인식부는, 상기 문자 명령이 상기 문자 문법과 매칭하지 않는 경우, 상기 관리자에게 음성 명령의 오류를 알리는 명령오류 알림모듈;을 더 포함할 수 있다.
또한, 상기 관리 단말은, 상기 실제 선박의 운항 정보에 상기 조타 명령에 따른 실제 선박의 운항 경로 변경 사실이 포함된 경우, 상기 운항 경로 변경 사실에 대한 문자 알림을 음성 알림으로 변환하여 관리자에게 제공하는 경로변경 알림부;를 더 포함할 수 있다.
또한, 본 발명에 따른 음성 명령 선박 조종 시스템을 이용한 선박 조종 방법은 실제 선박이 디지털 트윈(Digital Twin)에 의해 형성된 가상 선박으로 상기 실제 선박에 대한 운항 정보를 전송하는 제 1운항정보 전송단계; 상기 가상 선박이 관리 단말로 상기 운항 정보를 전송하는 제 2운항정보 전송단계; 상기 관리 단말이 상기 운항 정보에 따른 관리자의 음성 명령을 인식하여 실제 선박에 대한 조타 신호를 생성한 후 상기 가상 선박으로 전송하는 조타신호 전송단계; 상기 가상 선박이 상기 조타 신호와 매칭하는 실제 선박에 대한 조타 명령을 생성한 후 상기 실제 선박으로 전송하는 조타명령 전송단계; 상기 실제 선박이 상기 조타 명령에 따라 실제 선박의 운항 경로를 변경하는 운항경로 변경단계; 및 상기 관리 단말이 상기 실제 선박에 대한 운항 정보에 상기 조타 명령에 따른 실제 선박의 운항 경로 변경 사실이 포함된 경우, 상기 운항 경로 변경 사실을 관리자에게 제공하는 경로변경 알림단계;를 포함할 수 있다.
또한, 상기 제 1운항정보 전송단계는, 제 1제어부가 제 1조타부를 제어하여 실제 선박의 운항 경로를 조종하는 실제경로 조종공정; 및 제 1통신부가 상기 가상 선박으로 상기 운항 정보를 전송하는 제 1운항정보 전송공정;을 포함하고, 상기 제 2운항정보 전송단계는, 제 2제어부가 상기 실제 선박의 운항 정보에 따라 제 2조타부를 제어하여 가상 선박의 운항 경로를 실제 선박의 운항 경로와 일치하도록 조종하는 가상경로 조종공정; 및 제 2통신부가 상기 관리 단말로 상기 운항 정보를 전송하는 제 2운항정보 전송공정;을 포함할 수 있다.
또한, 상기 조타신호 전송단계는, 음성명령 인식부가 상기 실제 선박의 운항 정보에 따른 상기 관리자의 음성 명령을 인식하는 음성명령 인식공정; 조타신호 생성부가 상기 관리자의 음성 명령과 매칭하는 상기 실제 선박에 대한 조타 신호를 생성하는 조타신호 생성공정; 및 조타신호 전송부가 상기 실제 선박에 대한 조타 신호를 상기 가상 선박에 전송하는 조타신호 전송공정;을 포함하고, 상기 음성명령 인식공정은, 음성명령 수신모듈이 상기 관리자의 음성 명령으로 표준해사통신영어(SMCP,Standard Marine Communication Phrases)를 수신하는 음성명령 수신단위공정; 문자명령 변환모듈이 상기 음성 명령을 문자 명령으로 변환하는 문자명령 변환단위공정; 문법매칭 판단모듈이 상기 문자 명령과 문자문법 저장모듈에 저장된 문자 문법 간의 매칭 여부를 판단하는 문법매칭 판단단위공정; 신호생성 수행모듈이 상기 문자 명령과 상기 문자 문법이 서로 매칭하는 경우, 상기 조타신호 생성부를 활성화시키는 신호생성 수행단위공정; 및 명령오류 알림모듈이 상기 문자 명령과 상기 문자 문법이 서로 매칭하지 않는 경우, 상기 관리자에게 음성 명령의 오류를 알리는 명령오류 알림단위공정;을 포함할 수 있다.
또한, 상기 조타명령 전송단계는, 상기 제 2제어부가 상기 조타 신호와 매칭하는 조타 명령을 NMEA(National Marine Electronics Association) 규격으로 생성하는 조타 명령 생성공정; 및 상기 제 2제어부가 상기 조타 명령을 위성 통신을 통해 상기 실제 선박에 전송하는 조타 명령 전송공정;을 포함하고, 상기 운항경로 변경단계는, 상기 제 1제어부가 상기 조타 명령에 따라 상기 제 1조타부를 제어하여 상기 실제 선박의 운항 경로를 변경하는 실제경로 변경공정; 및 상기 제 1제어부가 상기 조타 명령에 따른 실제 선박의 운항 경로 변경 사실을 상기 운항 정보에 포함시켜 상기 가상 선박에 전송하는 변경정보 전송공정;을 포함할 수 있다.
아울러, 상기 경로변경 알림단계는, 경로변경 알림부가 상기 운항 경로 변경 사실에 대한 문자 알림을 음성 알림으로 변환하여 관리자에게 제공할 수 있다.
상기한 바와 같이 본 발명에 따른 디지털 트윈을 이용한 음성 명령 선박 조종 시스템 및 이를 이용한 선박 조종 방법에 의하면, 디지털 트윈에 의해 가상 선박을 실제 선박과 동일하게 형성한 상태에서 실제 선박이 위험 상황이나 고장 상황에 있을 경우 관리자의 음성 명령에 의해 실제 선박에 대한 조타 명령을 생성하여 해당 실제 선박으로 전송함으로써 실제 선박이 긴급 상황에서 신속하게 대처하도록 할 수 있는 효과가 있다.
도 1은 본 발명에 따른 디지털 트윈을 이용한 음성 명령 선박 조종 시스템의 구성도이다.
도 2는 본 발명에 따른 실제 선박의 브릿지를 보여주는 도이다.
도 3은 본 발명에 따른 가상 선박의 브릿지를 보여주는 도이다.
도 4는 본 발명에 따른 제 2제어부의 구성도이다.
도 5는 본 발명에 따른 음성명령 인식부의 구성도이다.
도 6은 본 발명에 따른 음성 명령 선박 조종 시스템을 이용한 선박 조종 방법의 블록도이다.
도 7은 본 발명에 따른 제 1운항정보 전송단계의 블록도이다.
도 8은 본 발명에 따른 제 2운항정보 전송단계의 블록도이다.
도 9는 본 발명에 따른 조타신호 전송단계의 블록도이다.
도 10은 본 발명에 따른 음성명령 인식공정의 블록도이다.
도 11은 본 발명에 따른 조타명령 전송단계의 블록도이다.
도 12는 본 발명에 따른 운항경로 변경단계의 블록도이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시 예를 상세히 설명한다. 우선, 도면들 중 동일한 구성요소 또는 부품들은 가능한 한 동일한 참조부호를 나타내고 있음에 유의해야 한다. 본 발명을 설명함에 있어서 관련된 공지기능 혹은 구성에 대한 구체적인 설명은 본 발명의 요지를 모호하게 하지 않기 위해 생략한다.
도 1은 본 발명에 따른 디지털 트윈(Digital Twin)을 이용한 음성 명령 선박 조종 시스템의 구성도이다.
본 발명에 따른 디지털 트윈을 이용한 음성 명령 선박 조종 시스템은 도 1에 도시된 바와 같이, 실제 선박(100), 가상 선박(200) 및 관리 단말(300)을 포함한다.
상기 실제 선박(100)은 자율운항 선박이나 스마트 쉽으로 이루어질 수 있는데, 이러한 실제 선박(100)은 제 1조타부(110), 제 1제어부(120) 및 제 1통신부(130)를 포함할 수 있다.
상기 제 1조타부(110)는 실제 선박의 운항 경로를 조종할 수 있다.
구체적으로, 제 1조타부(110)는 상기 제 1제어부(120)의 제어에 의해 기설정된 운항 경로로 실제 선박을 조종할 수 있다.
상기 제 1제어부(120)는 상기한 바와 같이, 제 1조타부를 제어할 수 있는데, 이러한 제 1제어부(120)는 후술하는 바와 같이, 가상 선박으로부터 전송된 실제 선박에 대한 조타 명령에 따라 제 1조타부를 제어하여 실제 선박의 운항 경로를 변경할 수 있다.
또한, 제 1제어부(120)는 상기 조타 명령에 따라 실제 선박의 운항 경로를 변경한 경우, 실제 선박의 운항 정보에 운항 경로 변경 사실에 대한 문자 알림을 포함시켜 상기 제 1통신부(130)를 통해 해당 운항 정보를 가상 선박으로 전송할 수 있다.
상기 제 1통신부(130)는 가상 선박에 실제 선박에 대한 운항 정보를 전송할 수 있고, 또한 가상 선박으로부터 실제 선박에 대한 조타 명령을 전송받을 수 있다.
구체적으로, 제 1통신부(130)는 상기 운항 정보로 실제 선박에 대한 위치 정보와, 롤(Roll), 피치(Pitch), 요(Yaw) 등의 운동 정보와, 속도, 헤딩, ROT, 타각, 엔진 등의 선박 정보, 및 위치, 속도, 헤딩, AIS 등의 타선 정보 등 다양한 상태 정보를 위성 통신을 이용하여 가상 선박에 전송할 수 있다.
도 2는 본 발명에 따른 실제 선박의 브릿지를 보여주는 도이다.
상기 실제 선박(100)에 포함된 제 1조타부(110), 제 1제어부(120) 및 제 1통신부(130)는 도 2에 도시된 실제 선박의 브릿지에 각각 구비될 수 있다.
상기 가상 선박(200)은 디지털 트윈에 의해 실제 선박과 동일하게 형성되어 상기한 바와 같이, 실제 선박(100)으로부터 운항 정보를 전송받을 수 있는데, 이러한 가상 선박(200)은 후술하는 바와 같이, 관리 단말로부터 실제 선박에 대한 조타 신호를 전송받아 조타 명령을 자체적으로 생성한 후 실제 선박에 해당 조타 명령을 전송함으로써 상기 실제 선박을 조종할 수 있다.
구체적으로, 상기 가상 선박(200)은 도 1에 도시된 바와 같이, 제 2조타부(210), 제 2제어부(220) 및 제 2통신부(230)를 포함할 수 있다.
상기 제 2조타부(210)는 가상 선박의 운항 경로를 조종할 수 있다.
구체적으로, 제 2조타부(210)는 상기 제 2제어부(220)의 제어에 의해 실제 선박과 동일한 운항 경로로 가상 선박을 조종할 수 있다.
상기 제 2제어부(220)는 실제 선박의 운항 정보에 따라 상기한 바와 같이, 상기 제 2조타부를 제어할 수 있고, 또한, 상기 관리 단말(300)로부터 전송된 조타 신호와 매칭하는 실제 선박에 대한 조타 명령을 직접 생성하여 실제 선박에 전송할 수 있다.
도 4는 본 발명에 따른 제 2제어부의 구성도이다.
구체적으로, 상기 제 2제어부(220)는 도 4에 도시된 바와 같이, 운항 경로 제어모듈(221), 조타 명령 생성모듈(222) 및 조타 명령 전송모듈(223)을 포함할 수 있다.
상기 운항 경로 제어모듈(221)은 실제 선박의 운항 정보에 따라 상기 제 2조타부를 제어하여 가상 선박의 운항 경로를 실제 선박의 운항 경로와 일치하도록 변경할 수 있다.
여기서, 운항 경로 제어모듈(221)은 상기 조타 명령 생성모듈(222)에서 생성된 조타 명령에 따라 상기 제 2조타부를 제어함으로써 가상 선박의 운항 경로를 미리 변경하거나, 또는 후술하는 바와 같이, 이러한 조타 명령에 의해 실제 선박의 운항 경로가 변경된 경우, 실제 선박의 운항 정보에 포함된 운항 변경 경로에 따라 제 2조타부를 제어함으로써 가상 선박의 운항 경로를 실제 선박의 운항 경로와 일치하도록 변경할 수 있다.
상기 조타 명령 생성모듈(222)은 조타 신호와 매칭하는 실제 선박에 대한 조타 명령을 생성할 수 있다.
여기서, 상기 조타 명령 생성모듈(222)은 상기 조타 명령을 시간, 위치, 방위 등의 정보를 전송하기 위한 데이터 규격인 NMEA(National Marine Electronics Association), 구체적으로는 NMEA 0183 규격으로 생성할 수 있다.
상기 조타 명령 전송모듈(223)은 상기 조타 명령을 상기 제 2통신부(230)를 통해 실제 선박에 전송할 수 있다.
여기서, 상기 조타 명령 전송모듈(223)은 상기 조타 명령을 위성 통신을 통해 실제 선박에 전송할 수 있다.
상기 제 2통신부(230)는 실제 단말(100)로부터 운항 정보를 전송받아 상기 관리 단말(300)에 해당 운항 정보를 전송할 수 있고, 또한 관리 단말로부터 실제 선박에 대한 조타 신호를 전송받을 수 있으며, 아울러 실제 선박에 대한 조타 명령을 상기 관리 단말에 전송할 수 있다.
도 3은 본 발명에 따른 가상 선박의 브릿지를 보여주는 도이다.
상기 가상 선박(200)에 포함된 제 2조타부(210), 제 2제어부(220) 및 제 2통신부(230)는 도 3에 도시된 가상 선박의 브릿지에 각각 구비될 수 있다.
상기 관리 단말(300)은 가상 선박(200)으로부터 실제 선박에 대한 운항 정보를 전송받은 후 해당 운항 정보에 따른 관리자의 음성 명령을 인식하여 실제 선박에 대한 조타 신호를 생성할 수 있다.
구체적으로, 상기 관리 단말(300)은 도 1에 도시된 바와 같이, 음성명령 인식부(310), 조타신호 생성부(320), 조타신호 전송부(330) 및 경로변경 알림부(340)를 포함할 수 있다.
상기 음성명령 인식부(310)는 실제 선박의 운항 정보에 따른 상기 관리자의 음성 명령을 인식할 수 있다.
도 5는 본 발명에 따른 음성명령 인식부의 구성도이다.
구체적으로, 상기 음성명령 인식부(310)는 도 5에 도시된 바와 같이, 음성명령 수신모듈(311), 문자명령 변환모듈(312), 문자문법 저장모듈(313), 문법매칭 판단모듈(314), 신호생성 수행모듈(315) 및 명령오류 알림모듈(316)을 포함할 수 있다.
상기 음성명령 수신모듈(311)은 실제 선박의 운항 정보에 따른 관리자의 음성 명령을 수신할 수 있는데, 이러한 음성명령 수신모듈(311)은 표준해사통신영어(SMCP,Standard Marine Communication Phrases)로 이루어진 관리자의 음성 명령을 수신할 수 있다.
상기 문자명령 변환모듈(312)은 음성 명령을 문자 명령으로 변환할 수 있다.
구체적으로, 문자명령 변환모듈(312)은 음성문자변환엔진(Speech To Text)이 구비되어 관리자의 음성 명령인 표준해사통신영어를 문자 명령인 표준해사통신영어로 변환할 수 있다.
상기 문자문법 저장모듈(313)은 표준해사통신영어에 대한 문자 문법이 저장될 수 있다.
상기 문법매칭 판단모듈(314)은 상기 문자명령 변환모듈(312)에서 변환된 상기 문자 명령이 상기 문자문법 저장모듈에 저장된 문자 문법과 매칭하는지 여부를 판단할 수 있다.
구체적으로, 문법매칭 판단모듈(314)은 문자 명령이 문자 문법과 매칭하는 경우 문법 매칭 신호를 생성할 수 있고, 해당 문자 명령이 문자 문법과 매칭하지 않는 경우 문법 비매칭 신호를 생성할 수 있다.
상기 신호생성 수행모듈(315)은 문자 명령이 상기 문자 문법과 매칭하는 경우, 상기 조타신호 생성부를 활성화시킬 수 있다.
구체적으로, 문법매칭 판단모듈(314)은 문자 명령이 문자 문법과 매칭하는 경우 문법매칭 판단모듈(314)로부터 문법 매칭 신호를 전달받을 수 있는데, 이러한 신호생성 수행모듈(315)은 해당 문법 매칭 신호에 의해 조타신호 생성부(330)를 활성화시킴으로써 실제 선박에 대한 조타 신호를 생성하도록 할 수 있다.
상기 명령오류 알림모듈(316)은 문자 명령이 상기 문자 문법과 매칭하지 않는 경우, 상기 관리자에게 음성 명령의 오류를 알릴 수 있다.
구체적으로, 명령오류 알림모듈(316)은 문자 명령이 문자 문법과 매칭하지 않는 경우 문법매칭 판단모듈(314)로부터 문법 비매칭 신호를 전달받을 수 있는데, 이러한 명령오류 알림모듈(316)은 해당 문법 비매칭 신호에 의해 스피커(미도시)를 활성화시킴으로써 관리자에게 음성 명령에 대한 오류를 알릴 수 있다.
상기 조타신호 생성부(320)는 관리자의 음성 명령과 매칭하는 실제 선박에 대한 조타 신호를 생성할 수 있다.
구체적으로, 조타신호 생성부(320)는 상기 관리자의 음성 명령과 매칭하는 조타 신호로 스티어링 휠(Steering Wheel), 스러스터(Thruster), 엔진 텔레그래프(Engine Telegraph), 아지무스(Azimuth), 자동 조종 장치(automatic pilot) 등을 각각 제어하는 신호를 생성할 수 있다.
상기 조타신호 전송부(330)는 가상 단말(200)로부터 실제 선박에 대한 운항 정보를 전송받을 수 있고, 또한 실제 선박에 대한 조타 신호를 가상 선박에 전송할 수 있다.
상기 경로변경 알림부(340)는 실제 선박의 운항 정보에 상기 조타 명령에 따른 실제 선박의 운항 경로 변경 사실이 포함된 경우, 해당 운항 경로 변경 사실에 대한 문자 알림을 음성 알림으로 변환하여 관리자에게 제공할 수 있다.
구체적으로, 경로변경 알림부(340)는 문자음성변환엔진(Text To Speech)이 구비되어 실제 선박의 운항 정보에 상기 조타 명령에 의한 운항 경로 변경에 대한 문자 알림이 포함된 경우, 해당 문자 알림을 음성 알림으로 변환하여 관리자에게 제공할 수 있다.
이하, 본 발명에 따른 음성 명령 선박 조종 시스템을 이용한 선박 조종 방법을 설명한다.
도 6은 본 발명에 따른 음성 명령 선박 조종 시스템을 이용한 선박 조종 방법의 블록도이다.
본 발명에 따른 음성 명령 선박 조종 시스템을 이용한 선박 조종 방법은 도 6에 도시된 바와 같이, 제 1운항정보 전송단계(S100), 제 2운항정보 전송단계(S200), 조타신호 전송단계(S300), 조타명령 전송단계(S400), 운항경로 변경단계(S500) 및 경로변경 알림단계(S600)를 포함한다.
상기 제 1운항정보 전송단계(S100)는 실제 선박(100)이 디지털 트윈에 의해 형성된 가상 선박(200)으로 상기 실제 선박에 대한 운항 정보를 전송하는 단계이다.
도 7은 본 발명에 따른 제 1운항정보 전송단계의 블록도이다.
구체적으로, 상기 제 1운항정보 전송단계(S100)는 도 7에 도시된 바와 같이, 실제경로 조종공정(S110) 및 제 1운항정보 전송공정(S120)을 포함할 수 있다.
상기 실제경로 조종공정(S110)은 제 1제어부(120)가 제 1조타부(110)를 제어하여 실제 선박의 운항 경로를 조종하는 공정이다.
상기 제 1운항정보 전송공정(S120)은 제 1통신부(1300가 가상 선박으로 실제 선박에 대한 운항 정보를 전송하는 공정이다.
상기 제 2운항정보 전송단계(S200)는 가상 선박(200)이 관리 단말(300)로 상기 실제 선박에 대한 운항 정보를 전송하는 단계이다.
도 8은 본 발명에 따른 제 2운항정보 전송단계의 블록도이다.
구체적으로, 상기 제 2운항정보 전송단계(S200)는 도 8에 도시된 바와 같이, 가상경로 조종공정(S210) 및 제 2운항정보 전송공정(S220)을 포함할 수 있다.
상기 가상경로 조종공정(S210)은 제 2제어부(220)가 실제 선박의 운항 정보에 따라 제 2조타부(210)를 제어하여 가상 선박의 운항 경로를 실제 선박의 운항 경로와 일치하도록 조정하는 공정이다.
상기 제 2운항정보 전송공정(S220)은 제 2통신부(230)가 관리 단말(300)로 실제 선박의 운항 정보를 전송하는 공정이다.
상기 조타신호 전송단계(S300)는 관리 단말(300)이 상기 실제 선박의 운항 정보에 따른 관리자의 음성 명령을 인식하여 실제 선박에 대한 조타 신호를 생성한 후 상기 가상 선박(200)으로 해당 조타 신호를 전송하는 단계이다.
도 9는 본 발명에 따른 조타신호 전송단계의 블록도이다.
구체적으로, 상기 조타신호 전송단계(S300)는 도 9에 도시된 바와 같이, 음성명령 인식공정(S310), 조타신호 생성공정(S320) 및 조타신호 생성공정(S330)을 포함할 수 있다.
상기 음성명령 인식공정(S310)은 음성명령 인식부(310)가 실제 선박의 운항 정보에 따른 상기 관리자의 음성 명령을 인식하는 공정이다.
도 10은 본 발명에 따른 음성명령 인식공정의 블록도이다.
구체적으로, 상기 음성명령 인식공정(S310)은 도 10에 도시된 바와 같이, 음성명령 수신단위공정(S311), 문자명령 변환단위공정(S312), 문법매칭 판단단위공정(S313), 신호생성 수행단위공정(S314) 및 명령오류 알림단위공정(S315)을 포함할 수 있다.
상기 음성명령 수신단위공정(S311)은 음성명령 수신모듈(311)이 상기 관리자의 음성 명령으로 표준해사통신영어(SMCP,Standard Marine Communication Phrases)를 수신하는 단위공정이다.
상기 문자명령 변환단위공정(S312)은 문자명령 변환모듈(312)이 상기 음성 명령을 문자 명령으로 변환하는 단위공정이다.
상기 문법매칭 판단단위공정(S313)은 문법매칭 판단모듈(314)이 상기 문자 명령과 문자문법 저장모듈(313)에 저장된 문자 문법 간의 매칭 여부를 판단하는 단위공정이다.
상기 신호생성 수행단위공정(S314)은 신호생성 수행모듈(315)이 상기 문자 명령과 상기 문자 문법이 서로 매칭하는 경우, 상기 조타신호 생성부(320)를 활성화시키는 단위공정이다.
상기 명령오류 알림단위공정(S315)은 명령오류 알림모듈이 상기 문자 명령과 상기 문자 문법이 서로 매칭하지 않는 경우, 상기 관리자에게 음성 명령의 오류를 알리는 단위공정이다.
상기 조타명령 전송단계(S400)는 가상 선박(200)이 상기 조타 신호와 매칭하는 실제 선박에 대한 조타 명령을 생성한 후 상기 실제 선박(100)으로 해당 조타 명령을 전송하는 단계이다.
도 11은 본 발명에 따른 조타명령 전송단계의 블록도이다.
구체적으로, 상기 조타명령 전송단계(S400)는 도 11에 도시된 바와 같이, 조타 명령 생성공정(S410) 및 조타 명령 전송공정(S420)을 포함할 수 있다.
상기 조타 명령 생성공정(S410)은 제 2제어부(220)가 상기 조타 신호와 매칭하는 조타 명령을 NMEA(National Marine Electronics Association) 규격으로 생성하는 공정이다.
상기 조타 명령 전송공정(S420)은 제 2제어부(220)가 상기 조타 명령을 위성 통신을 통해 상기 실제 선박에 전송하는 공정이다.
상기 운항경로 변경단계(S500)는 실제 선박(100)이 가상 선박(200)으로부터 전송된 조타 명령에 따라 실제 선박의 운항 경로를 변경하는 단계이다.
도 12는 본 발명에 따른 운항경로 변경단계의 블록도이다.
구체적으로, 상기 운항경로 변경단계(S500)는 도 12에 도시된 바와 같이, 실제경로 변경공정(S510) 및 변경정보 전송공정(S520)을 포함할 수 있다.
상기 실제경로 변경공정(S510)은 제 1제어부(120)가 상기 조타 명령에 따라 상기 제 1조타부(110)를 제어하여 상기 실제 선박의 운항 경로를 변경하는 공정이다.
상기 변경정보 전송공정(S520)은 제 1제어부(120)가 상기 조타 명령에 따른 실제 선박의 운항 경로 변경 사실을 상기 운항 정보에 포함시켜 상기 가상 선박에 전송하는 공정이다.
상기 경로변경 알림단계(S600)는 관리 단말(300)이 실제 선박에 대한 운항 정보에 상기 조타 명령에 따른 실제 선박의 운항 경로 변경 사실이 포함된 경우, 해당 운항 경로 변경 사실을 관리자에게 제공하는 단계이다.
구체적으로, 상기 경로변경 알림단계(S600)에서는 경로변경 알림부(340)가 상기 운항 경로 변경 사실에 대한 문자 알림을 음성 알림으로 변환하여 관리자에게 제공할 수 있다.
상기한 바와 같이 본 발명에 따르면 디지털 트윈에 의해 가상 선박을 실제 선박과 동일하게 형성한 상태에서 실제 선박이 위험 상황이나 고장 상황에 있을 경우 관리자의 음성 명령에 의해 실제 선박에 대한 조타 명령을 생성하여 해당 실제 선박으로 전송함으로써 실제 선박이 긴급 상황에서 신속하게 대처하도록 할 수 있다.
이상과 같이 본 발명에 따른 디지털 트윈을 이용한 음성 명령 선박 조종 시스템 및 이를 이용한 선박 조종 방법을 예시한 도면을 참조로 하여 설명하였으나, 본 명세서에 개시된 실시예와 도면에 의해 본 발명이 한정되는 것은 아니며, 본 발명의 기술사상 범위 내에서 당업자에 의해 다양한 변형이 이루어질 수 있음은 물론이다.

Claims (14)

  1. 실제 선박;
    디지털 트윈(Digital Twin)에 의해 상기 실제 선박과 동일하게 형성되어 실제 선박으로부터 운항 정보를 전송받는 가상 선박; 및
    상기 가상 선박으로부터 상기 운항 정보를 전송받고, 상기 운항 정보에 따른 관리자의 음성 명령을 인식하여 실제 선박에 대한 조타 신호를 생성하는 관리 단말;을 포함하고,
    상기 가상 선박은,
    상기 관리 단말로부터 상기 조타 신호를 전송받아 실제 선박에 대한 조타 명령을 생성한 후,
    상기 조타 명령을 실제 선박에 전송함으로써 상기 실제 선박을 조종 가능한 것을 특징으로 하는 디지털 트윈을 이용한 음성 명령 선박 조종 시스템.
  2. 제 1항에 있어서,
    상기 실제 선박은,
    상기 실제 선박의 운항 경로를 조종하는 제 1조타부;
    상기 제 1조타부를 제어하는 제 1제어부; 및
    상기 가상 선박에 상기 운항 정보를 전송하고, 상기 가상 선박으로부터 상기 조타 명령을 전송받는 제 1통신부;를 포함하고,
    상기 제 1제어부는,
    상기 가상 선박으로부터 전송된 상기 조타 명령에 따라 상기 제 1조타부를 제어하여 상기 실제 선박의 운항 경로를 변경하는 것을 특징으로 하는 디지털 트윈을 이용한 음성 명령 선박 조종 시스템.
  3. 제 2항에 있어서,
    상기 가상 선박은,
    상기 가상 선박의 운항 경로를 조종하는 제 2조타부;
    상기 실제 선박의 운항 정보에 따라 상기 제 2조타부를 제어하는 제 2제어부; 및
    상기 관리 단말에 상기 운항 정보를 전송하고, 상기 관리 단말로부터 상기 조타 신호를 전송받는 제 2통신부;를 포함하고,
    상기 제 2제어부는,
    상기 관리 단말로부터 전송된 상기 조타 신호와 매칭하는 조타 명령을 생성하여 상기 실제 선박에 전송하는 것을 특징으로 하는 디지털 트윈을 이용한 음성 명령 선박 조종 시스템.
  4. 제 3항에 있어서,
    상기 제 2제어부는,
    상기 실제 선박의 운항 정보에 따라 상기 제 2조타부를 제어하여 상기 가상 선박의 운항 경로를 상기 실제 선박의 운항 경로와 일치하도록 변경하는 운항 경로 제어모듈;
    상기 조타 신호와 매칭하는 조타 명령을 생성하는 조타 명령 생성모듈; 및
    상기 조타 명령을 상기 제 2통신부를 통해 상기 실제 선박에 전송하는 조타 명령 전송모듈;을 포함하는 것을 특징으로 하는 디지털 트윈을 이용한 음성 명령 선박 조종 시스템.
  5. 제 4항에 있어서,
    상기 운항 경로 제어모듈은,
    상기 조타 명령에 따라 상기 제 2조타부를 제어하여 상기 가상 선박의 운항 경로를 변경하고,
    상기 조타 명령 생성모듈은,
    상기 조타 명령을 NMEA(National Marine Electronics Association) 규격으로 생성하며,
    상기 조타 명령 전송모듈은,
    상기 조타 명령을 위성 통신을 통해 상기 실제 선박에 전송하는 것을 특징으로 하는 디지털 트윈을 이용한 음성 명령 선박 조종 시스템.
  6. 제 5항에 있어서,
    상기 관리 단말은,
    상기 실제 선박의 운항 정보에 따른 상기 관리자의 음성 명령을 인식하는 음성명령 인식부;
    상기 관리자의 음성 명령과 매칭하는 상기 실제 선박에 대한 조타 신호를 생성하는 조타신호 생성부; 및
    상기 실제 선박에 대한 조타 신호를 상기 가상 선박에 전송하는 조타신호 전송부;를 포함하는 것을 특징으로 하는 디지털 트윈을 이용한 음성 명령 선박 조종 시스템.
  7. 제 6항에 있어서,
    상기 음성명령 인식부는,
    상기 관리자의 음성 명령으로 표준해사통신영어(SMCP,Standard Marine Communication Phrases)를 수신하는 음성명령 수신모듈;
    상기 음성 명령을 문자 명령으로 변환하는 문자명령 변환모듈;
    상기 표준해사통신영어에 대한 문자 문법이 저장된 문자문법 저장모듈;
    상기 문자 명령이 상기 문자문법 저장모듈에 저장된 문자 문법과 매칭하는지 여부를 판단하는 문법매칭 판단모듈; 및
    상기 문자 명령이 상기 문자 문법과 매칭하는 경우, 상기 조타신호 생성부를 활성화시키는 신호생성 수행모듈;을 포함하는 것을 특징으로 하는 디지털 트윈을 이용한 음성 명령 선박 조종 시스템.
  8. 제 7항에 있어서,
    상기 음성명령 인식부는,
    상기 문자 명령이 상기 문자 문법과 매칭하지 않는 경우, 상기 관리자에게 음성 명령의 오류를 알리는 명령오류 알림모듈;을 더 포함하는 것을 특징으로 하는 디지털 트윈을 이용한 음성 명령 선박 조종 시스템.
  9. 제 8항에 있어서,
    상기 관리 단말은,
    상기 실제 선박의 운항 정보에 상기 조타 명령에 따른 실제 선박의 운항 경로 변경 사실이 포함된 경우, 상기 운항 경로 변경 사실에 대한 문자 알림을 음성 알림으로 변환하여 관리자에게 제공하는 경로변경 알림부;를 더 포함하는 것을 특징으로 하는 디지털 트윈을 이용한 음성 명령 선박 조종 시스템.
  10. 제 1항 내지 제 9항 중 어느 한 항에 따른 음성 명령 선박 조종 시스템을 이용한 선박 조종 방법에 있어서,
    실제 선박이 디지털 트윈(Digital Twin)에 의해 형성된 가상 선박으로 상기 실제 선박에 대한 운항 정보를 전송하는 제 1운항정보 전송단계;
    상기 가상 선박이 관리 단말로 상기 운항 정보를 전송하는 제 2운항정보 전송단계;
    상기 관리 단말이 상기 운항 정보에 따른 관리자의 음성 명령을 인식하여 실제 선박에 대한 조타 신호를 생성한 후 상기 가상 선박으로 전송하는 조타신호 전송단계;
    상기 가상 선박이 상기 조타 신호와 매칭하는 실제 선박에 대한 조타 명령을 생성한 후 상기 실제 선박으로 전송하는 조타명령 전송단계;
    상기 실제 선박이 상기 조타 명령에 따라 실제 선박의 운항 경로를 변경하는 운항경로 변경단계; 및
    상기 관리 단말이 상기 실제 선박에 대한 운항 정보에 상기 조타 명령에 따른 실제 선박의 운항 경로 변경 사실이 포함된 경우, 상기 운항 경로 변경 사실을 관리자에게 제공하는 경로변경 알림단계;를 포함하는 것을 특징으로 하는 음성 명령 선박 조종 시스템을 이용한 선박 조종 방법.
  11. 제 10항에 있어서,
    상기 제 1운항정보 전송단계는,
    제 1제어부가 제 1조타부를 제어하여 실제 선박의 운항 경로를 조종하는 실제경로 조종공정; 및
    제 1통신부가 상기 가상 선박으로 상기 운항 정보를 전송하는 제 1운항정보 전송공정;을 포함하고,
    상기 제 2운항정보 전송단계는,
    제 2제어부가 상기 실제 선박의 운항 정보에 따라 제 2조타부를 제어하여 가상 선박의 운항 경로를 실제 선박의 운항 경로와 일치하도록 조종하는 가상경로 조종공정; 및
    제 2통신부가 상기 관리 단말로 상기 운항 정보를 전송하는 제 2운항정보 전송공정;을 포함하는 것을 특징으로 하는 음성 명령 선박 조종 시스템을 이용한 선박 조종 방법.
  12. 제 11항에 있어서,
    상기 조타신호 전송단계는,
    음성명령 인식부가 상기 실제 선박의 운항 정보에 따른 상기 관리자의 음성 명령을 인식하는 음성명령 인식공정;
    조타신호 생성부가 상기 관리자의 음성 명령과 매칭하는 상기 실제 선박에 대한 조타 신호를 생성하는 조타신호 생성공정; 및
    조타신호 전송부가 상기 실제 선박에 대한 조타 신호를 상기 가상 선박에 전송하는 조타신호 전송공정;을 포함하고,
    상기 음성명령 인식공정은,
    음성명령 수신모듈이 상기 관리자의 음성 명령으로 표준해사통신영어(SMCP,Standard Marine Communication Phrases)를 수신하는 음성명령 수신단위공정;
    문자명령 변환모듈이 상기 음성 명령을 문자 명령으로 변환하는 문자명령 변환단위공정;
    문법매칭 판단모듈이 상기 문자 명령과 문자문법 저장모듈에 저장된 문자 문법 간의 매칭 여부를 판단하는 문법매칭 판단단위공정;
    신호생성 수행모듈이 상기 문자 명령과 상기 문자 문법이 서로 매칭하는 경우, 상기 조타신호 생성부를 활성화시키는 신호생성 수행단위공정; 및
    명령오류 알림모듈이 상기 문자 명령과 상기 문자 문법이 서로 매칭하지 않는 경우, 상기 관리자에게 음성 명령의 오류를 알리는 명령오류 알림단위공정;을 포함하는 것을 특징으로 하는 음성 명령 선박 조종 시스템을 이용한 선박 조종 방법.
  13. 제 12항에 있어서,
    상기 조타명령 전송단계는,
    상기 제 2제어부가 상기 조타 신호와 매칭하는 조타 명령을 NMEA(National Marine Electronics Association) 규격으로 생성하는 조타 명령 생성공정; 및
    상기 제 2제어부가 상기 조타 명령을 위성 통신을 통해 상기 실제 선박에 전송하는 조타 명령 전송공정;을 포함하고,
    상기 운항경로 변경단계는,
    상기 제 1제어부가 상기 조타 명령에 따라 상기 제 1조타부를 제어하여 상기 실제 선박의 운항 경로를 변경하는 실제경로 변경공정; 및
    상기 제 1제어부가 상기 조타 명령에 따른 실제 선박의 운항 경로 변경 사실을 상기 운항 정보에 포함시켜 상기 가상 선박에 전송하는 변경정보 전송공정;을 포함하는 것을 특징으로 하는 음성 명령 선박 조종 시스템을 이용한 선박 조종 방법.
  14. 제 13항에 있어서,
    상기 경로변경 알림단계는,
    경로변경 알림부가 상기 운항 경로 변경 사실에 대한 문자 알림을 음성 알림으로 변환하여 관리자에게 제공하는 것을 특징으로 하는 음성 명령 선박 조종 시스템을 이용한 선박 조종 방법.
PCT/KR2020/011184 2019-12-06 2020-08-21 디지털 트윈을 이용한 음성 명령 선박 조종 시스템 및 이를 이용한 선박 조종 방법 WO2021112376A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0161624 2019-12-06
KR1020190161624A KR102197485B1 (ko) 2019-12-06 2019-12-06 디지털 트윈을 이용한 음성 명령 선박 조종 시스템 및 이를 이용한 선박 조종 방법

Publications (1)

Publication Number Publication Date
WO2021112376A1 true WO2021112376A1 (ko) 2021-06-10

Family

ID=74087612

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/011184 WO2021112376A1 (ko) 2019-12-06 2020-08-21 디지털 트윈을 이용한 음성 명령 선박 조종 시스템 및 이를 이용한 선박 조종 방법

Country Status (2)

Country Link
KR (1) KR102197485B1 (ko)
WO (1) WO2021112376A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113487760A (zh) * 2021-07-28 2021-10-08 大连海事大学 一种智能船舶的轮机系统

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220105524A (ko) 2021-01-20 2022-07-27 대우조선해양 주식회사 선박 가스플랜트의 디지털트윈을 이용한 시운전 지원 시스템 및 이에 의한 시운전 지원 방법
KR102594331B1 (ko) * 2021-04-15 2023-10-26 한화오션 주식회사 음성 기반 선내 유지보수 지원 시스템
KR102589581B1 (ko) * 2021-07-30 2023-10-16 에이치디한국조선해양 주식회사 선박 알람 관리 시스템
CN113487913A (zh) * 2021-08-10 2021-10-08 上海奇梦网络科技有限公司 一种面向船舶管理的数字孪生远程运维系统
KR102390279B1 (ko) 2021-08-31 2022-04-22 한화시스템(주) 디지털 트윈 기술을 활용한 항공기 조종석 장비 최적 위치 제공 시스템 및 그 방법
CN116384901B (zh) * 2023-02-13 2024-01-05 广州港发石油化工码头有限公司 一种石油化工码头数字孪生管理方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050110780A (ko) * 2004-05-19 2005-11-24 (주)이마린로직스 음성인식 제어 선박 및 음성 인식 조타기 제어 시스템
JP2007516124A (ja) * 2003-05-19 2007-06-21 アエプコ・インコーポレーテッド 自律水泳式貨物コンテナ
KR20120113920A (ko) * 2011-04-06 2012-10-16 주식회사 마린디지텍 선박 추진제어 원격운용장치
KR101683458B1 (ko) * 2016-04-06 2016-12-07 주식회사 에그 필드데이터 기반의 선박 운항 시뮬레이션 시스템

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120047672A (ko) 2010-11-04 2012-05-14 목포대학교산학협력단 3ｄ 디스플레이 장치를 이용한 선박 조종 시뮬레이터 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007516124A (ja) * 2003-05-19 2007-06-21 アエプコ・インコーポレーテッド 自律水泳式貨物コンテナ
KR20050110780A (ko) * 2004-05-19 2005-11-24 (주)이마린로직스 음성인식 제어 선박 및 음성 인식 조타기 제어 시스템
KR20120113920A (ko) * 2011-04-06 2012-10-16 주식회사 마린디지텍 선박 추진제어 원격운용장치
KR101683458B1 (ko) * 2016-04-06 2016-12-07 주식회사 에그 필드데이터 기반의 선박 운항 시뮬레이션 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SON, MYEONG-JO ET AL.: "Shipbuilding and Management based on the Digital Twin", BULLETIN OF THE SOCIETY OF NAVAL ARCHITECTS OF KOREA, vol. 55, no. 3, 1 September 2018 (2018-09-01), KR, pages 21 - 25, XP009528402, ISSN: 1225-1178 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113487760A (zh) * 2021-07-28 2021-10-08 大连海事大学 一种智能船舶的轮机系统
CN113487760B (zh) * 2021-07-28 2023-07-21 大连海事大学 一种智能船舶的轮机系统

Also Published As

Publication number Publication date
KR102197485B1 (ko) 2020-12-31

Similar Documents

Publication Publication Date Title
WO2021112376A1 (ko) 디지털 트윈을 이용한 음성 명령 선박 조종 시스템 및 이를 이용한 선박 조종 방법
WO2020080846A1 (en) Electronic device, control method thereof, and sound output control system of the electronic device
WO2020256338A1 (ko) 조향 제어 장치 및 이를 포함하는 조향 보조 시스템
WO2018097439A1 (ko) 발화의 문맥을 공유하여 번역을 수행하는 전자 장치 및 그 동작 방법
WO2021002493A1 (ko) 지능형 게이트웨이 장치 및 그를 포함하는 제어 시스템
WO2021040105A1 (ko) 개체명 테이블을 생성하는 인공 지능 장치 및 그 방법
WO2018021681A1 (ko) 비행 가이드용 플레이트를 이용한 드론 스테이션
WO2020256169A1 (ko) 인공 지능을 이용하여, 안내 서비스를 제공하는 로봇 및 그의 동작 방법
WO2022181898A1 (ko) 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치
WO2020141621A1 (ko) 전자 제어 장치 및 그것의 차량 제어 방법
WO2021006363A1 (ko) 인공 지능을 이용하여, 안내 서비스를 제공하는 로봇 및 그의 동작 방법
WO2019240434A1 (en) Electronic device and method of controlling thereof
WO2022102945A1 (ko) 전자장치 및 그 제어방법
WO2021096281A1 (en) Voice input processing method and electronic device supporting same
WO2022014734A1 (ko) 무선 음향 기기를 제어하는 단말기 및 그 방법
WO2020017842A1 (en) Sound source assisted recognition device
WO2020256194A1 (ko) 환전 서비스 로봇 및 그를 이용한 환전 서비스 방법
WO2024096387A1 (ko) Gnss 오차 공유를 이용한 드론 협동 항법
WO2022039578A1 (ko) 화자들의 음성을 처리하기 위한 음성 처리 장치
WO2024049109A1 (ko) 접안 경로 생성 방법 및 그 장치
WO2024063380A1 (ko) 플렉서블 디스플레이에 표시되는 화면을 제어하기 위한 전자 장치 및 방법
WO2019199114A1 (ko) 자율 작업 시스템, 방법 및 컴퓨터 판독 가능한 기록매체
WO2023017975A1 (ko) 상태 변경에 따라 음성 명령 처리 결과를 출력하는 전자 장치 및 그의 동작 방법
WO2022039486A1 (ko) 음성 신호를 처리하기 위한 음성 처리 장치 및 이를 포함하는 음성 처리 시스템
WO2024085461A1 (ko) 번역 서비스를 제공하기 위한 전자 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20896190

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20896190

Country of ref document: EP

Kind code of ref document: A1