KR101475207B1 - Simulation device used for trainning of robot control - Google Patents

Simulation device used for trainning of robot control Download PDF

Info

Publication number
KR101475207B1
KR101475207B1 KR20130115015A KR20130115015A KR101475207B1 KR 101475207 B1 KR101475207 B1 KR 101475207B1 KR 20130115015 A KR20130115015 A KR 20130115015A KR 20130115015 A KR20130115015 A KR 20130115015A KR 101475207 B1 KR101475207 B1 KR 101475207B1
Authority
KR
South Korea
Prior art keywords
robot
steering
traveling
information
path
Prior art date
Application number
KR20130115015A
Other languages
Korean (ko)
Inventor
이동건
손형일
송영은
이민수
정회룡
Original Assignee
삼성중공업 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성중공업 주식회사 filed Critical 삼성중공업 주식회사
Priority to KR20130115015A priority Critical patent/KR101475207B1/en
Application granted granted Critical
Publication of KR101475207B1 publication Critical patent/KR101475207B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/16—Control of vehicles or other craft
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip

Abstract

Disclosed is a simulation device for training of robot control. The simulation device includes: a traveling information storage part for storing a preset traveling path and actual traveling information in which a robot actually travels along the traveling path on an outer wall of a hull; and a display part for displaying the traveling path with a graphic image on a screen, wherein a first manipulation path for representing a manipulation direction of a virtual robot presently manipulated on the traveling path by a manipulation handle on the basis of the traveling information and a second manipulation path representing a manipulation direction of an actual robot already manipulated at the present position of the virtual robot overlap each other with respect to the traveling path to generate the traveling path with the graphic image, thereby displaying the graphic image on the screen.

Description

로봇조종 훈련용 시뮬레이션장치{SIMULATION DEVICE USED FOR TRAINNING OF ROBOT CONTROL}TECHNICAL FIELD [0001] The present invention relates to a simulation apparatus for training a robot,

본 발명은 로봇조종 훈련용 시뮬레이션장치에 관한 것이다.The present invention relates to a simulation apparatus for robotic steering training.

수중의 선체 외벽에는 따개비, 물이끼 등 각종 이물질이 들러붙어 외관을 해치거나 선박의 효율적인 운항에 지장을 줄 수 있으므로 청소작업이 필요하다. 그러나, 작업자가 수중에서 수도구나 맨손을 이용하여 청소작업을 수행할 경우, 매우 비효율적일 뿐 아니라 청소작업의 신뢰도 및 작업자의 안전성 등을 보장하기 힘들다. 이에 최근에는 다양한 종류의 청소로봇이 사용되고 있다.The outer surface of the hull of the ship is clogged with various foreign substances such as barnacles, water moss, etc., which may hurt the appearance or obstruct the efficient operation of the ship. However, when a worker carries out a cleaning work using a water tap or a bare hand, it is very inefficient, and it is difficult to ensure the reliability of the cleaning work and the safety of the worker. Recently, various types of cleaning robots have been used.

청소로봇은 자성을 갖는 구동휠을 구비하여 선체 외벽에 부착된 상태에서 주행할 수 있다. 또 청소로봇에는 카메라가 구비되어 주행하면서 선저 상태 등을 촬영하여 원격지의 운용시스템으로 전송할 수 있다. 통상적으로 전문적인 조종훈련을 받은 전문가가 운용시스템에 연결된 모니터 화면을 통해 촬영된 영상을 확인하면서, 조종핸들을 이용하여 청소로봇의 주행방향을 조종하게 된다. The cleaning robot has a magnetic driving wheel and can travel while attached to the outer wall of the ship. In addition, the cleaning robot is equipped with a camera, and can photograph the bottom condition or the like while traveling, and transmit the captured image to a remote operation system. A specialist who has been trained by a professional maneuver typically manages the traveling direction of the cleaning robot by using the steering wheel while confirming the photographed image through the monitor screen connected to the operating system.

선체 외벽은 곡면을 갖도록 형성되어 있고 바람이나 파도 등의 외력이 청소로봇에 작용하기 때문에 비전문가가 화면을 보면서 청소로봇을 일정한 방향으로 이동시키는 것은 매우 어렵다. 따라서, 비전문가인 훈련자는 실제 청소로봇 조종에 앞서서 일정 기간 동안 충분한 로봇조종훈련을 받을 필요가 있다.Since the external wall of the hull is formed to have a curved surface and an external force such as wind or wave acts on the cleaning robot, it is very difficult for the non-specialist to move the cleaning robot in a certain direction while viewing the screen. Therefore, non-specialist trainees need to be trained in robotic maneuvers for a period of time prior to the actual cleaning robots.

그러나, 가상의 선체 외벽 위에 로봇을 주행시키면서 훈련자에게 로봇조종훈련을 수행시키는 로봇조종 훈련용 시뮬레이션장치에 대한 기술 개발이 매우 부족한 실정이다.However, it is very difficult to develop a robot simulation system for robot training that trains a robot to a trainee while traveling on a virtual hull outer wall.

한국공개특허 제2008-0093536호(2008.10.22 공개)Korean Patent Publication No. 2008-0093536 (published on October 22, 2008)

본 발명의 실시 예는 화면의 주행경로 상에서 현재 조종되고 있는 가상로봇의 제1조종경로와, 가상로봇의 현재 위치에서 이미 수행된 실제로봇의 제2조종경로를 주행경로를 기준으로 화면에 그래픽이미지로 표시함으로써, 훈련자가 자신의 조종경로와 전문가에 의해 이미 수행된 실제로봇의 조종경로를 함께 참조하면서 로봇조종훈련을 효과적으로 받을 수 있는 로봇조종 훈련용 시뮬레이션장치를 제공하고자 한다.The embodiment of the present invention is characterized in that the first steering path of the virtual robot currently controlled on the traveling route of the screen and the second steering path of the actual robot already performed at the current position of the virtual robot are displayed on the screen, , It is intended to provide a simulation apparatus for robotic manipulation training in which a trainee can effectively receive robot manipulation training while referring to his / her manipulation path and a manipulation path of an actual robot already performed by an expert.

본 발명의 일 측면에 따르면, 미리 설정된 주행경로와, 선체 외벽 상에서 상기 주행경로를 따라 주행한 실제로봇의 주행정보를 저장하는 주행정보저장부; 및 상기 주행경로를 화면에 그래픽이미지로 표시하되, 상기 주행정보를 기초로, 상기 주행경로 상에서 현재 조종핸들에 의해 조종되는 가상로봇의 조종방향을 나타내는 제1조종경로와, 상기 가상로봇의 현재 위치에서 이미 수행된 상기 실제로봇의 조종방향을 나타내는 제2조종경로를 상기 주행경로를 기준으로 오버랩시켜 그래픽이미지로 생성하여 상기 화면에 표시하는 표시부;를 포함하는 로봇조종 훈련용 시뮬레이션장치가 제공될 수 있다. According to an aspect of the present invention, there is provided a navigation system comprising: a traveling information storage unit for storing traveling information of a real robot traveling along a traveling path on a predetermined traveling path and an outer wall of a ship; A first steering path indicating a steering direction of a virtual robot controlled by a current steering wheel on the traveling route on the basis of the traveling information, and a second steering path indicating a steering direction of the virtual robot, And a display unit for generating a graphic image by superimposing a second control route indicating the control direction of the actual robot already performed on the basis of the travel route on the screen and displaying the generated graphic image on the screen. have.

상기 주행정보는 상기 미리 설정된 주행경로 상에서 수행된 상기 실제로봇의 조종방향, 핸들 각도, 조종속도, 촬영 영상, 상기 실제로봇의 위치, 자세, 및 상기 주행경로 상에서 상기 실제로봇에 작용한 외력의 크기 및 작용방향에 대한 정보 중 하나 이상을 포함할 수 있다.Wherein the travel information includes at least one of a steering direction of the actual robot, a steering angle, a steering speed, a photographing image, a position and an attitude of the actual robot, and a magnitude of an external force acting on the actual robot on the traveling route, And information on the direction of action.

상기 주행정보저장부는 상기 주행경로를 따라 가장 근접하게 주행한 상기 실제로봇의 주행정보를 우선으로 하여 선택적으로 저장할 수 있다.The travel information storage unit may selectively store the travel information of the actual robot that travels most along the travel route as a priority.

상기 주행정보저장부는 복수의 영역으로 구분된 상기 선체 외벽의 각 영역에 대응되게 상기 주행경로와 상기 주행경로에 매칭된 주행정보를 저장할 수 있다.The travel information storage unit may store travel information matched to the travel route and the travel route so as to correspond to each area of the outer wall of the hull, which is divided into a plurality of areas.

상기 영역 중 상기 조종핸들 또는 외부장치에 의해 선택된 영역에 대응되는 상기 주행경로와 상기 주행경로에 매칭된 주행정보를 주행정보저장부로부터 검색하는 검색부를 더 포함하고, 상기 표시부는 상기 검색된 정보 중 하나 이상을 그래픽이미지로 생성하여 상기 화면에 표시할 수 있다.Further comprising: a search section for searching, from the travel information storage section, travel information corresponding to the travel route and the travel route corresponding to the area selected by the steering wheel or the external device among the areas, Or more can be generated as a graphic image and displayed on the screen.

상기 표시부는 상기 촬영 영상을 기초로 상기 가상로봇의 위치에 따라 변화되는 상기 화면 상의 배경이미지를 생성하되, 상기 가상로봇의 제1조종경로와 상기 실제로봇의 제2조종경로를 상기 배경이미지에 오버랩시켜 그래픽이미지로 생성하는 이미지생성부를 포함할 수 있다.Wherein the display unit generates a background image on the screen that changes according to a position of the virtual robot based on the photographed image so as to overlap the first control path of the virtual robot and the second control path of the actual robot with the background image, And generating an image as a graphic image.

상기 이미지생성부는 상기 가상로봇과 상기 실제로봇의 조종핸들의 핸들 각도에 따라 상기 제1조종경로와 상기 제2조종경로를 상기 주행경로를 기준으로 기울어지게 그래픽이미지로 생성할 수 있다.The image generating unit may generate a graphic image such that the first steering path and the second steering path are inclined with respect to the traveling path according to the steering angle of the steering wheel of the virtual robot and the actual robot.

상기 주행경로를 기준으로 상기 제1조종경로와 상기 제2조종경로 간의 기울어진 차이, 상기 가상로봇과 상기 실제로봇의 조종속도 차이, 및 상기 실제로봇에 작용한 상기 외력의 크기와 작용방향 중 하나 이상을 이용하여 햅틱 피드백 정보를 생성하는 햅틱정보생성부를 더 포함할 수 있다.A difference between a tilted difference between the first steering path and the second steering path on the basis of the traveling path, a difference in steering speed between the virtual robot and the actual robot, and a magnitude and an operating direction of the external force acting on the actual robot The haptic information generating unit may further include a haptic information generating unit that generates haptic feedback information using the above.

상기 조종핸들로부터 상기 가상로봇 조종을 위한 조종정보를 입력받는 인터페이스부를 더 포함하고, 상기 조종정보는 상기 조종핸들의 조종방향, 핸들 각도 및 조종속도 중 하나 이상을 포함할 수 있다.And an interface unit for receiving manipulation information for manipulating the virtual robot from the manipulation handle. The manipulation information may include at least one of a manipulation direction, a steering angle, and a manipulation speed of the manipulation handle.

상기 인터페이스부는 상기 조종핸들 또는 외부장치로부터 입력된 설정값에 따라 상기 주행정보저장부에 저장된 주행정보를 갱신하는 업데이트부를 더 포함할 수 있다.The interface unit may further include an update unit that updates the travel information stored in the travel information storage unit according to the setting value input from the steering wheel or an external device.

본 발명의 실시 예에 따른 로봇조종 훈련용 시뮬레이션장치는 화면의 주행경로 상에서 현재 조종되고 있는 가상로봇의 제1조종경로와, 가상로봇의 현재 위치에서 이미 수행된 실제로봇의 제2조종경로를 주행경로를 기준으로 화면에 그래픽이미지로 표시함으로써, 훈련자가 자신의 조종경로와 전문가에 의해 이미 수행된 실제로봇의 조종경로를 함께 참조하면서 로봇조종훈련을 효과적으로 받을 수 있다.The simulation apparatus for robot manipulation training according to the embodiment of the present invention includes a first manipulation path of the virtual robot currently being manipulated on the traveling path of the screen and a second manipulation path of the actual robot that has already been performed at the current position of the virtual robot By displaying the graphical image on the screen based on the path, the trainer can effectively receive the robot manipulation training while referencing the manipulation path of the robot and the manipulation path of the actual robot already performed by the expert.

또, 간편하게 선체 외벽 영역 중 원하는 영역을 선택하여 해당 영역에 대응되는 주행경로 상에서 로봇조종훈련을 받을 수 있다.Also, it is possible to easily select a desired area from the outer wall area of the ship and receive the robot steering training on the traveling route corresponding to the area.

또, 실제로봇의 주행 시 촬영한 영상을 그래픽 처리된 배경이미지로 화면에 표시함으로써, 촬영 영상의 선명도에 상관없이 효율적인 로봇조종훈련이 수행될 수 있다.In addition, by displaying an image photographed at the time of running of the actual robot on the screen as a graphic processed background image, efficient robot manipulation training can be performed irrespective of the sharpness of the photographed image.

또, 화면 상의 주행경로를 기준으로 제1조종경로와 제2조종경로 간의 기울어진 차이, 가상로봇과 실제로봇의 조종속도 차이, 및 실제로봇에 작용한 외력의 크기와 작용방향 중 하나 이상을 이용하여 햅틱 피드백 정보를 생성하여 조종핸들로 전달함으로써, 조종경로 가이드 및 훈련자가 반력을 느낄 수 있도록 하여 실감있는 조종훈련이 수행되도록 할 수 있다.Also, it is possible to use at least one of the difference between the first steering path and the second steering path based on the traveling route on the screen, the difference in steering speed between the virtual robot and the actual robot, and the magnitude and direction of the external force acting on the actual robot The haptic feedback information is generated and transmitted to the steering wheel so that the steering path guide and the trainee can feel reaction force so that realistic steering training can be performed.

도 1은 본 발명의 실시 예에 따른 로봇조종 훈련용 시뮬레이션장치에 대한 블록도이다.
도 2는 도 1에 도시된 시뮬레이션장치에 의해 주행경로, 제1 및 제2조종경로 등이 그래픽이미지로 표시된 화면을 도시한다.
도 3은 도 1에 도시된 주행정보저장부에 저장된 미리 설정된 주행경로를 선체 외벽의 각 영역별로 표시한 것이다.1 is a block diagram of a simulation apparatus for robotic steering training according to an embodiment of the present invention.
FIG. 2 shows a graphical representation of the traveling path, the first and second steering paths, etc., by the simulation apparatus shown in FIG.
FIG. 3 is a view showing a predetermined traveling route stored in the travel information storage unit shown in FIG. 1 for each area of the hull outer wall.

이하에서는 본 발명의 실시 예들을 첨부 도면을 참조하여 상세히 설명한다. 이하에 소개되는 실시 예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 예로서 제공되는 것이다. 본 발명은 이하 설명되는 실시 예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 도면에서 생략하였으며 도면들에 있어서, 구성요소의 폭, 길이, 두께 등은 편의를 위하여 과장되어 표현될 수 있다. 명세서 전체에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. The embodiments described below are provided by way of example so that those skilled in the art will be able to fully understand the spirit of the present invention. The present invention is not limited to the embodiments described below, but may be embodied in other forms. In order to clearly explain the present invention, parts not related to the description are omitted from the drawings, and the width, length, thickness, etc. of the components may be exaggerated for convenience. Like reference numerals designate like elements throughout the specification.

도 1과 도 2를 참조하면, 본 발명의 실시 예에 따른 로봇조종 훈련용 시뮬레이션장치(100)(이하, “시뮬레이션장치”라고도 함)는 훈련자가 실제로봇(10) 조종에 앞서서 로봇조종훈련을 받도록 화면(3)에 시뮬레이션 환경을 제공한다. 시뮬레이션장치(100)는 전문가에 의해 미리 설정된 주행경로를 따라 주행한 실제로봇(10)의 주행정보를 저장하고, 해당 주행경로와 주행정보를 이용하여 훈련자가 로봇조종훈련을 받도록 한다. 이때, 시뮬레이션장치(100)는 조종훈련의 효과를 높이기 위해 미리 설정된 주행경로에 가장 근접하게 조종된 실제로봇(10)의 주행정보를 우선으로 하여 선택적으로 저장하고, 이를 로봇조종훈련에 사용할 수 있다.1 and 2, a simulation apparatus 100 (hereinafter also referred to as a " simulation apparatus ") for robot control training according to an embodiment of the present invention includes a robot controller 10 A simulation environment is provided on the screen 3 to receive the simulation environment. The simulation apparatus 100 stores driving information of the actual robot 10 traveling along a predetermined traveling route by an expert, and allows the trainee to receive the robot driving training using the traveling route and the traveling information. At this time, the simulation apparatus 100 may preferentially store driving information of the actual robot 10 controlled most closely to a preset driving route in order to enhance the effect of the steering training, and may use it for robot driving training .

시뮬레이션장치(100)는 실제로봇(10)의 주행 시 적용되었던 미리 설정된 주행경로(G3)와, 해당 주행경로(G3) 상에서 현재 조종되고 있는 가상로봇(4)의 조종방향을 나타내는 제1조종경로(G4)와, 가상로봇(4)의 현재 위치에서 이미 수행된 실제로봇(10)의 조종방향을 나타내는 제2조종경로(G5)를 그래픽이미지로 오버랩시켜 표시할 수 있다. The simulation apparatus 100 has a predetermined traveling path G3 applied during the traveling of the actual robot 10 and a first steering path G2 indicating the steering direction of the virtual robot 4 currently controlled on the traveling path G3. And the second steering path G5 indicating the steering direction of the actual robot 10 already performed at the current position of the virtual robot 4 may be overlapped and displayed by the graphic image.

이를 통해 훈련자는 자신의 제1조종경로(G4)와 전문가에 의해 수행된 실제로봇의 제2조종경로(G5)를 함께 참조하면서 로봇조종훈련을 받을 수 있다. 여기서, 가상로봇(4)의 제1조종경로(G4)는 시뮬레이션장치(100)에 연결된 훈련용 조종핸들(20)의 조종방향에 따라 결정된다. 실제로봇(10)은 선체 외벽 주행 시 실제 운용시스템에 연결된 조종핸들(미도시)에 의해 제어된다. 조종핸들은 조이스틱, 마우스, 키보드, 터치스크린 등 다양한 형태의 입력장치 및 제어장치를 포함할 수 있다.Through this, the trainer can receive the robot control training while referring to his / her first control path (G4) and the second control path (G5) of the actual robot performed by the expert. Here, the first steering path G4 of the virtual robot 4 is determined according to the steering direction of the training steering wheel 20 connected to the simulation apparatus 100. [ The actual robot 10 is controlled by a steering handle (not shown) connected to the actual operating system when traveling on the outer wall of the hull. The steering wheel may include various types of input devices and controls such as a joystick, a mouse, a keyboard, a touch screen, and the like.

실제로봇(10)은 선체 외벽 위에서 미리 설정된 주행경로를 따라 주행하면서 브러시를 이용하여 청소작업을 수행하는 청소로봇을 포함할 수 있다. 또, 실제로봇(10)은 선체 외벽을 주행하면서 도장, 용접, 수리 등의 작업을 수행하는 실제로봇을 포함할 수 있다. 이외에도 실제로봇(10)은 일정경로를 이동하면서 특정작업을 수행하는 다양한 형태의 실제로봇을 포함할 수 있다. 이하에서는 실제로봇(10)이 선체 외벽을 주행하면서 청소작업을 수행하는 청소로봇으로 가정하고 설명한다.The actual robot 10 may include a cleaning robot that travels along a predetermined traveling path on the outer wall of the hull and performs a cleaning operation using the brush. The actual robot 10 may include an actual robot that performs work such as painting, welding, and repair while traveling on the outer wall of the hull. In addition, the actual robot 10 may include various types of actual robots that perform specific tasks while moving along a predetermined path. Hereinafter, it is assumed that the actual robot 10 is a cleaning robot that performs a cleaning operation while traveling on the outer wall of the hull.

실제로봇(10)은 자성을 갖는 구동휠(11)을 구비하여 선체 외벽에 부착된 상태에서 주행할 수 있다. 또, 실제로봇(10)은 실시간 촬영 영상, 실제로봇(10)의 위치, 자세 및 실제로봇(10)에 작용하는 외력에 대한 정보 등을 획득하기 위한 복수의 센서를 포함하는 센서모듈(12)을 구비할 수 있다. 센서모듈(12)은 카메라(13), 위치/자세측정센서(15), 및 외력측정센서(17) 등을 포함할 수 있다. The actual robot 10 can be driven with the drive wheel 11 having magnetism attached to the outer wall of the ship. The actual robot 10 includes a sensor module 12 including a plurality of sensors for acquiring real-time photographed images, information on the position and orientation of the actual robot 10, and external force acting on the actual robot 10, . The sensor module 12 may include a camera 13, a position / orientation measurement sensor 15, an external force measurement sensor 17, and the like.

카메라(13)는 실제로봇(10)에 부착되어 주행경로 상의 주변 영상을 촬영한다. 예컨대 실제로봇(10)이 선미에서 선수 방향으로 주행할 경우, 카메라(13)는 실제로봇(10) 전방의 선체 외벽과, 이에 맞닿아 경계를 이루는 바다를 촬영할 수 있다. 이러한 카메라(13)는 레이저, 초음파 등을 이용하여 전방 물체의 형체 및 거리 등을 감지하는 장치들과 연동되어 동작할 수 있다.The camera 13 is attached to the actual robot 10 to photograph a surrounding image on the traveling path. For example, when the actual robot 10 travels in the fore-aft direction, the camera 13 can photograph the outer wall of the hull in front of the actual robot 10 and the sea bounded by the hull. The camera 13 can operate in conjunction with devices that detect the shape and distance of a forward object by using a laser, an ultrasonic wave, or the like.

위치/자세측정센서(15)는 실제로봇(10)의 위치 및 자세를 측정한다. 위치/자세측정센서(15)에 의해 측정된 실제로봇(10)의 위치 및 자세 정보를 통해 실제로봇(10)의 조종방향, 핸들 각도 등 다양한 정보가 함께 획득될 수 있다. 예컨대, 위치/자세측정센서(15)는 실제로봇(10)의 수심을 감지하는 압력센서, 실제로봇(10)의 방위각을 감지하는 관성센서를 포함할 수 있으며, 감지된 수심과 방위각을 이용하여 실제로봇(10)의 현재위치 및 자세를 측정할 수 있다. 관성센서는 실제로봇(10)의 가속도, 속도, 방향, 거리 등 다양한 항법 관련 정보를 제공할 수 있고, (광섬유) 자이로 센서, AHRS(Attitude and Heading Reference System) 등을 포함할 수 있다. 다른 예로서, 위치/자세측정센서(15)는 GPS, 전자 나침반(electric compass), 휠 센서 및 LBL(Long Base Line) 장치 등을 포함할 수 있다. 상술한 방법 외에도 위치/자세측정센서(15)는 공지된 다양한 수단을 통해 실제로봇(10)의 위치 및 자세를 측정할 수 있다.The position / posture measuring sensor 15 measures the position and posture of the actual robot 10. Various information such as the steering direction and the steering angle of the actual robot 10 can be obtained together with the position and attitude information of the actual robot 10 measured by the position / For example, the position / orientation measurement sensor 15 may include a pressure sensor for sensing the depth of the actual robot 10 and an inertial sensor for sensing the azimuth angle of the actual robot 10, The current position and posture of the actual robot 10 can be measured. The inertial sensor may provide various navigation related information such as the acceleration, speed, direction, and distance of the robot 10, and may include an (optical fiber) gyro sensor, an Attitude and Heading Reference System (AHRS), and the like. As another example, the position / orientation measurement sensor 15 may include a GPS, an electronic compass, a wheel sensor, and an LBL (Long Base Line) device. In addition to the above-described methods, the position / posture sensor 15 can measure the position and posture of the actual robot 10 through various known means.

외력측정센서(17)는 예컨대 파도, 바람 등에 의한 파 또는 풍압의 크기 및 작용방향을 측정한다. 또, 외력측정센서(17)는 선박을 세로방향으로 굽히려는 힘, 선박의 횡단면을 변형시키려는 힘, 선박을 비틀려고 하는 힘 등을 측정할 수 있다. 외력측정센서(17)는 실제로봇(10)에 작용하는 외력의 크기 및 방향을 합산한 결과값을 산출할 수 있다. The external force measuring sensor 17 measures, for example, the magnitude of the wave or wind pressure caused by waves, winds, and the direction of action. In addition, the external force measuring sensor 17 can measure the force to bend the ship in the longitudinal direction, the force to deform the transverse section of the ship, and the force to twist the ship. The external force measuring sensor 17 can calculate the sum of the magnitude and the direction of the external force acting on the actual robot 10. [

상술한 본 발명의 실시 예에 따른 로봇조종 훈련용 시뮬레이션장치(100)는 로봇정보수신부(110), 인터페이스부(120), 주행정보저장부(130), 검색부(140), 표시부(150), 햅틱정보생성부(160), 및 제어부(170)를 포함한다.The simulation apparatus 100 includes a robot information receiver 110, an interface unit 120, a travel information storage unit 130, a search unit 140, a display unit 150, A haptic information generating unit 160, and a control unit 170. [

로봇정보수신부(110)는 선체 외벽 상에서 미리 설정된 주행경로를 따라 주행한 실제로봇(10)으로부터 주행정보를 수신한다. 주행정보는 실제로봇(10)에 장착된 센서모듈(12)로부터 미리 설정된 주행경로 상에서 수행된 실제로봇(10)의 조종방향, 핸들 각도, 조종속도, 위치, 자세 및 주행경로 상에서 실제로봇(10)에 작용한 외력의 크기 및 작용방향에 대한 정보 중 하나 이상을 포함할 수 있다. 이 중, 실제로봇(10)의 조종방향은 실제로봇(10)을 조종한 조종핸들의 핸들 각도에 따라 변경될 수 있다. 핸들 각도는 조종방향에 따라 양(plus) 또는 음(minus)의 각도 값을 가질 수 있다. The robot information receiving unit 110 receives the traveling information from the actual robot 10 traveling along a predetermined traveling route on the outer wall of the ship. The travel information is transmitted from the sensor module 12 mounted on the actual robot 10 to the actual robot 10 on the steering direction, the steering angle, the steering speed, the position, the attitude and the traveling route of the actual robot 10, And the information on the magnitude and the direction of the external force acting on the external force. The manipulation direction of the actual robot 10 may be changed according to the handle angle of the manipulation handle that manipulated the actual robot 10. The handle angle may have an angle value of plus or minus depending on the steering direction.

인터페이스부(120)는 조종핸들(20)로부터 가상로봇(4) 조종을 위한 조종정보를 입력받는다. 조종정보는 조종핸들(20)의 조종방향, 핸들 각도, 조종속도 등에 대한 정보를 포함할 수 있다. 이때, 조종핸들(20)의 조종방향에 따라 화면(3)에 나타나는 가상로봇(4)의 주행경로(G5)가 변경될 수 있으며, 틀어지는 핸들 각도의 크기에 따라 변경되는 정도가 다를 수 있다.The interface unit 120 receives steering information for steering the virtual robot 4 from the steering wheel 20. The steering information may include information on the steering direction of the steering wheel 20, steering angle, steering speed, and the like. At this time, the traveling path G5 of the virtual robot 4 appearing on the screen 3 may be changed according to the steering direction of the steering wheel 20, and the degree of change depending on the magnitude of the steering wheel angle may vary.

또 인터페이스부(120)는 조종핸들(20) 및 외부장치로부터 설정값을 입력받을 수 있으며, 입력된 설정값에 따라 후술할 주행정보저장부(130)에 저장된 주행정보를 갱신하는 업데이트부(125)를 포함할 수 있다.The interface unit 120 may receive the set values from the steering wheel 20 and the external device and may include an update unit 125 for updating the travel information stored in the travel information storage unit 130, ).

업데이트부(125)는 예컨대 인터페이스부(120)를 통해 외력의 크기 및 방향에 대한 설정값이 입력된 경우, 해당 설정값을 기초로 주행정보저장부(130)에 저장된 외력의 크기 및 방향과, 외력과 관련된 실제로봇(10)의 조종방향, 핸들 각도 등에 대한 정보를 갱신할 수 있다. 이때, 표시부(150)는 주행정보저장부(130)에 저장된 갱신된 정보를 기초로 화면(3)에 실제로봇(10)의 조종방향을 나타내는 제2조종경로(G5)를 표시하게 된다. 이를 통해, 훈련자는 시뮬레이션되는 환경을 변경시키면서 로봇조종훈련을 받을 수 있다.The update unit 125 updates the magnitude and direction of the external force stored in the travel information storage unit 130 based on the set value when the set value of the magnitude and direction of the external force is input through the interface unit 120, The information about the steering direction, the steering angle, etc. of the actual robot 10 related to the external force can be updated. At this time, the display unit 150 displays the second steering path G5 indicating the steering direction of the actual robot 10 on the screen 3 based on the updated information stored in the traveling information storage unit 130. [ This allows the trainer to be trained in robot manipulation while changing the simulated environment.

주행정보저장부(130)는 미리 설정된 주행경로와, 선체 외벽 상에서 상기 주행경로를 따라 주행한 실제로봇(10)의 주행정보를 저장한다. 해당 주행정보는 로봇정보수신부(110)가 실제로봇(10)의 센서모듈(12)로부터 수신한 정보를 포함할 수 있다. 또, 주행정보저장부(130)는 선체 외벽과 관련된 설계 정보를 포함하는 캐드(CAD) 데이터를 기초로 복수의 영역으로 구분된 선체 외벽의 각 영역별 정보를 저장하되, 각각의 해당 영역에 대응되는 미리 설정된 주행경로와, 주행경로에 매칭되는 상술한 주행정보를 저장할 수 있다. 이때, 미리 설정된 주행경로는 실제로봇(10) 주행 시 적용되었던 것이며, 실제로봇(10) 주행 시의 주행정보와 함께 매칭되어 저장된다. 이에 대해서는 도 3에서 후술하기로 한다. The travel information storage unit 130 stores travel information of the actual robot 10 traveling along the travel route on the predetermined travel route and the outer wall of the ship. The running information may include information received from the sensor module 12 of the robot 10 by the robot information receiving unit 110. [ The travel information storage unit 130 stores information for each area of the hull outer wall divided into a plurality of areas based on CAD data including design information related to the hull outer wall, And the above-described travel information matching with the travel route can be stored. At this time, the preset travel route is applied when the actual robot 10 travels, and is matched with the travel information when the robot 10 is actually traveling. This will be described later with reference to FIG.

또, 주행정보저장부(130)는 실제로봇(10)이 미리 설정된 주행경로를 따라 가장 근접하게 주행한 주행정보를 우선으로 하여 선택적으로 저장할 수 있다. 즉, 주행정보저장부(130)는 전문가에 의해 여러 차례 주행된 실제로봇(10)의 주행정보에 대한 누적된 데이터 중 실제로봇(10)이 미리 설정된 주행경로를 따라 가장 근접하게 주행한 주행정보를 우선으로 하여 저장할 수 있다. 다른 예에서는 가장 최근에 실제 주행한 주행정보를 우선으로 하여 저장할 수도 있다.In addition, the travel information storage unit 130 may selectively store the travel information that the actual robot 10 travels most along the predetermined travel route as a priority. That is, the travel information storage unit 130 stores the travel information of the actual robot 10, which has been traveled most closely along the predetermined travel route, among accumulated data of the travel information of the actual robot 10 traveled by the expert several times, Can be stored as a priority. In another example, it is also possible to store the driving information that has been most recently actually traveled as a priority.

또 주행정보저장부(130)는 그래픽이미지 생성을 위한 알고리즘, 각종 설정값, 제어 및 각 장치간의 통신을 위한 알고리즘 등을 저장할 수 있다. 이러한 주행정보저장부(130)는 캐쉬, ROM(Read Only Memory), PROM(Programmable ROM), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 및 플래쉬 메모리(Flash memory)와 같은 비휘발성 메모리 소자 또는 RAM(Random Access Memory)과 같은 휘발성 메모리 소자 또는 하드디스크 드라이브(HDD, Hard Disk Drive), CD-ROM과 같은 저장 매체 중 적어도 하나로 구현될 수 있으나 이에 한정되지는 않는다.The driving information storage unit 130 may store an algorithm for generating a graphic image, various setting values, control, and algorithms for communication between the devices. The travel information storage unit 130 may store information such as a cache, a read only memory (ROM), a programmable ROM (EPROM), an electrically erasable programmable ROM (EPROM) Or a storage medium such as a hard disk drive (HDD), a CD-ROM, or the like, but is not limited thereto.

검색부(140)는 주행정보저장부(130)에 저장된 선체 외벽의 각 영역 중 조종핸들(20) 또는 외부장치에 의해 선택된 영역에 대응되는 주행경로를 검색한다. 이때, 해당 주행경로에 매칭된 상술한 주행정보가 함께 검색될 수 있다. 후술할 표시부(150)는 검색부(140)에 의해 검색된 정보 중 하나 이상을 그래픽이미지로 생성하여 화면(3)에 표시할 수 있다.The search unit 140 searches for a traveling route corresponding to the area selected by the steering wheel 20 or the external device among the respective areas of the outer wall of the ship stored in the traveling information storage unit 130. [ At this time, the traveling information matched to the traveling route may be searched together. The display unit 150 may display at least one of the information retrieved by the retrieval unit 140 as a graphic image on the screen 3.

도 3에 도시한 바와 같이, 선체 외벽(1)은 펼쳐졌을 때 기준선(X)을 중심으로 좌현과 우현의 좌우 측벽영역(S1~S4)과, 좌우 선저부영역(S5,S6)으로 구분될 수 있다. 이는 선체 외벽(1)과 관련된 캐드 데이터를 기초로 구분될 수 있다. 캐드 데이터는 선체 외벽(1)과 관련된 설계 정보를 포함하고 있다. 각 영역(S1~S6)은 실제로봇(10)이 주행 가능한 청소 영역으로 사각 형태로 구분될 수 있으며, 각 영역(S1~S6)별 정보는 각각 대응되는 주행경로(P1~P6) 정보와 함께 상술한 주행정보저장부(130)에 저장될 수 있다. 이때, 주행경로(P1~P6) 정보는 좌표값 형태로 상술한 주행정보저장부(130)에 저장될 수 있으며, 각각의 주행경로(P1~P6) 정보와 상술한 주행정보는 서로 매칭되어 저장될 수 있다. 즉, 각 주행경로(P1~P6) 상에서 수행된 실제로봇(10)의 조종방향, 핸들 각도, 조종속도, 촬영 영상, 위치, 자세 및 외력 등에 관한 정보가 각 주행경로(P1~P6)에 매칭되어 저장될 수 있다. 따라서, 상술한 검색부(140)는 선택된 주행경로(P1~P6) 중 어느 하나를 검색하되, 해당 주행경로에 매칭된 주행정보를 함께 검색할 수 있다.3, the hull outer wall 1 is divided into left and right sidewall areas S1 to S4 and right and left bottom areas S5 and S6 of the port and starboards around the baseline X when expanded . This can be distinguished based on the CAD data related to the outer shell 1 of the ship. The CAD data includes design information relating to the hull outer wall 1. [ Each of the areas S1 to S6 can be divided into a rectangular shape that can be traveled by the actual robot 10 and the information for each of the areas S1 to S6 is associated with the corresponding travel paths P1 to P6 May be stored in the travel information storage unit 130 described above. The traveling paths P1 to P6 may be stored in the traveling information storing unit 130 in the form of a coordinate value, and the traveling paths P1 to P6 may be stored in the storage unit 130, . That is, the information on the steering direction, the steering angle, the steering speed, the photographing image, the position, the posture, and the external force of the actual robot 10 performed on the respective traveling paths P1 to P6 are matched to the traveling paths P1 to P6 And stored. Accordingly, the search unit 140 searches for any one of the selected travel routes P1 to P6, and searches for the travel information matched to the corresponding travel route.

이러한 주행경로(P1~P6) 정보는 장애물(7a,7b)을 회피하는 방향으로 설정될 수 있다. 이를 위해 사전에 전문가가 실제로봇(10)을 주행시키면서 장애물(7a,7b) 등을 감지하고, 실제로봇(10) 주행에 따른 축척된 데이터를 기반으로 주행경로(P1~P6) 정보가 장애물(7a,7b)을 회피하는 방향으로 미리 설정되어 주행정보저장부(130)에 저장될 수 있다. The traveling paths P1 to P6 may be set to avoid the obstacles 7a and 7b. For this purpose, the specialist senses the obstacles 7a and 7b while traveling the actual robot 10, and the information on the travel paths P1 to P6 is displayed on the basis of the scaled data as the actual robot 10 travels, 7a, 7b) in the traveling information storage unit 130 in advance.

전문가는 실제로봇(10)을 조종할 때 모니터 화면에 나타나는 미리 설정된 주행경로를 확인하면서 조종할 수 있다. 이때, 주행경로는 실제로봇(10)의 현재 위치(좌표값)가 속한 상술한 영역(S1~S6) 중 어느 하나에 대응되는 주행경로이며, 실제 조종 화면에 실시간 촬영 영상에 정합된 그래픽이미지로 표시될 수 있다. 이때, 공지된 증강현실 기법이 이용될 수 있다.The expert can steer the robot 10 while confirming a predetermined traveling route appearing on the monitor screen when the robot 10 is operated. At this time, the travel route is a travel route corresponding to any one of the above-described areas S1 to S6 to which the current position (coordinate value) of the actual robot 10 belongs, and is a graphical image matched to the real- Can be displayed. At this time, a known augmented reality technique can be used.

상술한 각 영역(S1~S6)에 대응되는 주행경로(P1~P6)는 이해를 돕기 위해 도 3에 이미지 형태로 표시하였으나, 주행정보저장부(130)에는 각 주행경로(P1~P6)가 좌표값을 기초로 한 맵(map) 형태로 저장될 수 있다. The traveling paths P1 to P6 corresponding to the respective areas S1 to S6 are shown in the form of images in FIG. 3 for the sake of understanding. However, the traveling paths P1 to P6 are stored in the traveling information storage unit 130 Can be stored in the form of a map based on the coordinate values.

본 발명의 실시 예에서는 주행정보저장부(130)에 저장된 선체 외벽(1)의 각 영역(S1~S6) 중 어느 하나를 조종핸들(20) 또는 키보드, 마우스, 터치스크린 등과 같은 외부장치를 이용하여 선택하면, 선택된 영역에 대응되는 미리 설정된 주행경로가 화면(3)에 그래픽이미지로 표시된다. 따라서, 훈련자는 자신이 원하는 주행경로 상에서 조종훈련을 수행할 수 있게 된다. In the embodiment of the present invention, any one of the areas S1 to S6 of the hull outer wall 1 stored in the travel information storage unit 130 is connected to the steering wheel 20 or an external device such as a keyboard, a mouse, The predetermined traveling route corresponding to the selected area is displayed on the screen 3 as a graphic image. Therefore, the trainee can perform the steering training on the desired traveling route.

도 3에 도시된 형태는 훈련자가 조종훈련을 수행하기 전에, 화면(3)에 표시될 수 있으며, 훈련자는 원하는 영역을 선택하여 조종훈련을 수행할 수 있다. 또, 영역 선택 방법뿐 아니라, 구체적으로 주행경로(P1~P6) 중 어느 하나의 특정 위치를 선택하여, 해당 위치부터 조종훈련을 수행할 수도 있다. 예컨대 훈련자가 우측 측벽영역(S1)의 A지점을 선택한 경우, 해당 위치부터 조종훈련을 수행할 수도 있다. 3 can be displayed on the screen 3 before the trainee performs the steering training, and the trainee can perform the steering training by selecting the desired area. In addition to the area selection method, it is also possible to select a specific position of the traveling paths P1 to P6 specifically, and to perform the steering training from that position. For example, if the trainee selects point A in the right sidewall area S1, piloting training may be performed from that position.

도 1과 도 2를 참조하면, 표시부(150)는 미리 설정된 주행경로(G3)를 그래픽이미지로 표시하되, 주행경로(G3)에 매칭된 주행정보를 기초로, 배경이미지(G1,G2)와, 주행경로(G3) 상에서 현재 조종핸들(20)에 의해 조종되는 가상로봇(4)의 조종방향을 나타내는 제1조종경로(G4)와, 가상로봇(4)의 현재 위치에서 이미 수행된 실제로봇(10)의 조종방향을 나타내는 제2조종경로(G5)를 주행경로(G3)를 기준으로 그래픽이미지로 생성하여 화면(3)에 표시한다. 주행경로(G3), 제1 및 제2조종경로(G4,G5)는 구분을 위해 다른 색상으로 표시되거나, 실선, 점선, 쇄선 등의 다른 모양으로 표시될 수 있다. 또 배경이미지(G1,G2) 위에 주행경로(G3)를 기준으로 제1 및 제2조종경로(G4,G5)가 오버랩되도록 표시될 수 있다. 주행경로(G3), 제1 및 제2조종경로(G4,G5)는 원근감을 갖도록 표시될 수 있다.1 and 2, the display unit 150 displays a predetermined driving route G3 as a graphic image, and displays the background images G1 and G2 on the basis of the traveling information matched to the traveling route G3, A first steering path G4 indicating the steering direction of the virtual robot 4 controlled by the current steering wheel 20 on the traveling path G3 and a second steering path G4 indicating the steering direction of the virtual robot 4, A second steering path G5 indicating the steering direction of the vehicle 10 is generated as a graphic image on the basis of the traveling path G3 and displayed on the screen 3. [ The traveling path G3 and the first and second steering paths G4 and G5 may be displayed in different colors for differentiation or in different shapes such as solid lines, dotted lines, and dashed lines. Also, the first and second steering paths G4 and G5 may be displayed so as to overlap the background images G1 and G2 with respect to the traveling path G3. The traveling route G3 and the first and second steering paths G4 and G5 may be displayed to have a perspective.

또, 표시부(150)는 상술한 주행정보를 이용하여 화면(3) 상단에 외력의 크기, 작용방향, 가상로봇(4)의 현재위치, 속도, 기후 등을 표시할 수 있다. The display unit 150 can display the magnitude of the external force, the action direction, the current position of the virtual robot 4, the speed, the climate, and the like on the top of the screen 3 using the travel information described above.

또, 표시부(150)는 가상로봇(4)의 현재 위치에서 전문가에 의해 수행된 조종속도(V1)와 훈련자에 의해 수행된 조종속도(V2)를 손쉽게 확인할 수 있도록 그래픽이미지로 화면(3)에 표시할 수 있다. 또, 예컨대 외력 중 바람의 방향을 화살표로 표시하여 화면(3)에 표시할 수 있다.The display unit 150 displays a graphical image on the screen 3 so as to easily check the manipulation speed V1 performed by the expert and the manipulation speed V2 performed by the trainee at the current position of the virtual robot 4 Can be displayed. In addition, for example, the wind direction of the external force can be displayed on the screen 3 in the form of an arrow.

또, 표시부(150)는 주행경로(G3) 상의 미리 설정된 위치에 가상로봇(4)을 표시할 수 있다. 가상로봇(4)은 주행경로(G3) 상의 미리 설정된 위치에 고정된 정자세를 갖도록 그래픽이미지로 표시될 수 있다. 다른 예로서, 가상로봇(4)은 조종핸들(20)의 조종방향에 따라 고정된 위치에서 자세만 변경될 수 있다. 그러나, 이에 한정되지는 않으며, 주행경로(G3) 상에서 그 조종속도에 따라 일정 거리 앞으로 전진하거나 후진할 수도 있다.Also, the display unit 150 can display the virtual robot 4 at a predetermined position on the travel route G3. The virtual robot 4 can be displayed as a graphic image so as to have a fixed square fixed at a predetermined position on the travel route G3. As another example, the virtual robot 4 can only be changed in posture at a fixed position in accordance with the steering direction of the steering wheel 20. However, the present invention is not limited to this, and it may be moved forward or backward by a certain distance according to the steering speed on the traveling route G3.

이러한 표시부(150)는 상술한 그래픽이미지를 생성하는 이미지생성부(151)를 포함할 수 있다. 이미지생성부(151)는 공개된 다양한 방법으로 2차원, 3차원 형태의 그래픽이미지를 생성할 수 있다.The display unit 150 may include an image generation unit 151 for generating the graphic image described above. The image generating unit 151 can generate a two-dimensional and three-dimensional graphic image in various public methods.

이미지생성부(151)는 촬영 영상을 기초로 가상로봇(4)의 위치에 따라 변화되는 화면(3) 상의 배경이미지(G1,G2)를 생성하되, 가상로봇(4)의 제1조종경로(G4)와 실제로봇(10)의 제2조종경로(G5)를 배경이미지(G1,G2)에 오버랩시켜 그래픽이미지로 생성할 수 있다. 예컨대 이미지생성부(151)는 실제로봇(10)으로부터 수신한 영상의 에지(edge)를 추출하는 알고리즘을 이용하여 영상의 윤곽 정보를 획득하고, 이를 그래픽이미지로 생성할 수 있다. 이때, 이미지생성부(151)는 촬영 영상으로부터 그래픽 처리된 선체 외벽(G1)과, 이에 맞닿아 경계를 이루는 바다(G2)를 생성할 수 있다. The image generating unit 151 generates the background images G1 and G2 on the screen 3 that change according to the position of the virtual robot 4 based on the photographed image, G2 and G4 of the robot 10 and the second steering path G5 of the actual robot 10 to the background images G1 and G2. For example, the image generating unit 151 may obtain the outline information of the image using an algorithm for extracting the edge of the image received from the actual robot 10, and may generate it as a graphic image. At this time, the image generating unit 151 can generate a graphical outer wall G1 of the hull from the photographed image and a sea G2 bounded by the hull outer wall G1.

이미지생성부(151)는 가상로봇(4)의 현재 위치에 따라 주행경로(G3)를 갱신하여 그래픽이미지로 생성하며, 이는 화면(3)에 실시간으로 시뮬레이션된다. 이때, 가상로봇(4) 및 실제로봇(10)의 조종핸들의 핸들 각도에 비례하여 제1조종경로(G4)와 제2조종경로(G5)를 주행경로(G3)를 기준으로 기울어지게 그래픽이미지로 오버랩되어 화면(3)에 실시간으로 시뮬레이션된다.The image generation unit 151 updates the traveling route G3 according to the current position of the virtual robot 4 to generate a graphic image which is simulated in real time on the screen 3. [ At this time, the first steering path G4 and the second steering path G5 are tilted with respect to the traveling path G3 in proportion to the steering angle of the steering wheel of the virtual robot 4 and the actual robot 10, And is simulated on the screen 3 in real time.

도 1을 참조하면, 햅틱정보생성부(160)는 가상로봇(4)의 조종핸들(2)로 반력을 전달하기 위해, 가상로봇(4) 현재 위치에서 주행경로(G3)를 기준으로 제1조종경로(G4)와 제2조종경로(G5) 간의 기울어진 차이, 가상로봇(4)과 실제로봇(10)의 조종속도 차이, 및 실제로봇(10)에 작용한 외력의 크기와 작용방향 중 하나 이상을 이용하여 햅틱 피드백 정보를 생성한다. 햅틱 피드백 정보는 조종핸들(20)의 햅틱수단(미도시)으로 전달되고, 해당 햅틱수단은 햅틱 피드백 정보를 이용하여 반력을 생성하여 조종핸들(20)로 전달한다. 이때, 반력을 통해 조종경로가 가이드되어 훈련자가 전문가의 조종경로(G5)를 따라 조종경로를 조종하도록 유도할 수 있다. 또, 가상로봇(4) 현재 위치에 작용하는 외력의 크기 및 작용방향을 훈련자가 느끼면서 실감있는 조종훈련을 수행하도록 할 수 있다.1, the haptic information generating unit 160 generates a haptic information based on the traveling route G3 at the current position of the virtual robot 4, to transmit the reaction force to the steering wheel 2 of the virtual robot 4, A difference between the steering speed of the virtual robot 4 and the steering speed of the actual robot 10 and the magnitude and direction of the external force applied to the actual robot 10 And generates haptic feedback information using at least one of them. The haptic feedback information is transmitted to the haptic means (not shown) of the steering wheel 20, and the haptic means generates a reaction force using the haptic feedback information and transmits it to the steering wheel 20. At this time, the control path is guided through the reaction force so that the trainer can guide the control path along the expert control path G5. In addition, it is possible for the trainee to perceive the magnitude of the external force acting on the current position of the virtual robot 4 and the acting direction thereof, so that the real robot training can be performed.

제어부(170)는 상술한 각 구성요소(110~160) 간의 동작을 제어한다. 예컨대 제어부(170)는 주행정보저장부(130)에 저장된 알고리즘을 이용하여 촬영 영상을 기초로 배경이미지(G1,G2)가 생성되도록 하거나, 상술한 주행경로(G3), 제1 및 제2조종경로(G4,G5)를 그래픽이미지로 생성하도록 이미지생성부(151)의 동작을 제어할 수 있다. 또, 제어부(170)는 조종핸들(20)에 의해 입력된 조종정보를 인터페이스부(120)를 통해 이미지생성부(151)로 전달하여, 변경된 가상로봇(4)의 조종방향 및 핸들 각도에 따라 화면(3)에 표시되는 그래픽이미지가 갱신되도록 할 수 있다. 또, 제어부(170)는 검색부(140)를 통해 훈련자가 선택한 선체 외벽 영역에 대응되는 주행경로 및 이에 매칭된 주행정보를 검색하거나, 가상로봇(4)의 현재 위치에 따라 주행경로(G3) 및 배경이미지(G1,G2) 등이 시뮬레이션되도록 할 수 있다. The controller 170 controls the operation between the components 110 to 160 described above. For example, the control unit 170 may generate the background images G1 and G2 based on the photographed image using the algorithm stored in the driving information storage unit 130, or may generate the background images G1 and G2 based on the traveling path G3, It is possible to control the operation of the image generating unit 151 to generate the paths G4 and G5 as graphic images. The control unit 170 transmits the control information input by the control handle 20 to the image generation unit 151 through the interface unit 120 and controls the control unit 170 according to the steering direction and the steering angle of the changed virtual robot 4. [ So that the graphic image displayed on the screen 3 can be updated. The control unit 170 searches the traveling route corresponding to the outer wall area of the ship selected by the trainee and the traveling information matched to the traveling route selected by the trainer 140 or the travel route G3 according to the current position of the virtual robot 4, And the background images G1 and G2 can be simulated.

한편, 도 1에서 도시된 각각의 구성요소는 일종의 '모듈'로 구성될 수 있다. 상기 '모듈'은 소프트웨어 또는 FPGA(Field Programmable Gate Array) 또는 주문형 반도체(ASIC, Application Specific Integrated Circuit)와 같은 하드웨어 구성요소를 의미하며, 모듈은 어떤 역할들을 수행한다. 그렇지만 모듈은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. 모듈은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다. 구성요소들과 모듈들에서 제공되는 기능은 더 작은 수의 구성요소들 및 모듈들로 결합되거나 추가적인 구성요소들과 모듈들로 더 분리될 수 있다.Each component shown in FIG. 1 may be composed of a 'module'. The term 'module' refers to a hardware component such as software or an FPGA (Field Programmable Gate Array) or an application specific integrated circuit (ASIC), and the module performs certain roles. However, a module is not limited to software or hardware. A module may be configured to reside on an addressable storage medium and may be configured to execute one or more processors. The functionality provided by the components and modules may be combined into a smaller number of components and modules or further separated into additional components and modules.

이상에서는 특정의 실시 예에 대하여 도시하고 설명하였다. 그러나, 본 발명은 상기한 실시 예에만 한정되지 않으며, 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 이하의 청구범위에 기재된 발명의 기술적 사상의 요지를 벗어남이 없이 얼마든지 다양하게 변경 실시할 수 있을 것이다.The foregoing has shown and described specific embodiments. However, it is to be understood that the present invention is not limited to the above-described embodiment, and various changes and modifications may be made without departing from the scope of the technical idea of the present invention described in the following claims It will be possible.

10: 실제로봇 20: 조종핸들
100: 로봇조종 훈련용 시뮬레이션장치
110: 로봇정보수신부 120: 인터페이스부
125: 업데이트부 130: 저장부
140: 검색부 150: 표시부
151: 이미지생성부 160: 햅틱정보생성부
170: 제어부 G3: 주행경로
G4: 제1조종경로 G5: 제2조종경로10: Actual robot 20: Steering handle
100: Simulation device for robot control training
110: robot information receiving unit 120:
125: Updating unit 130:
140: Search unit 150: Display unit
151: Image generating unit 160: Haptic information generating unit
170: Control unit G3:
G4: First control path G5: Second control path

Claims (10)

미리 설정된 주행경로와, 선체 외벽 상에서 상기 주행경로를 따라 주행한 실제로봇의 주행정보를 저장하는 주행정보저장부; 및
상기 주행경로를 화면에 그래픽이미지로 표시하되, 상기 주행정보를 기초로, 상기 주행경로 상에서 현재 조종핸들에 의해 조종되는 가상로봇의 조종방향을 나타내는 제1조종경로와, 상기 가상로봇의 현재 위치에서 이미 수행된 상기 실제로봇의 조종방향을 나타내는 제2조종경로를 상기 주행경로를 기준으로 오버랩시켜 그래픽이미지로 생성하여 상기 화면에 표시하는 표시부;를 포함하는 로봇조종 훈련용 시뮬레이션장치.A traveling information storage unit for storing traveling information of a real robot traveling along the traveling route on a predetermined traveling route and an outer wall of a ship; And
A first steering path indicating a steering direction of a virtual robot controlled by a current steering wheel on the traveling path based on the traveling information, and a second steering path indicating a steering direction of the virtual robot on the basis of the traveling information, And a display unit for generating a graphical image by overlapping a second control route that indicates the steering direction of the actual robot that has already been performed on the basis of the traveling route and displaying the generated graphic image on the screen. 제1항에 있어서,
상기 주행정보는 상기 미리 설정된 주행경로 상에서 수행된 상기 실제로봇의 조종방향, 핸들 각도, 조종속도, 촬영 영상, 상기 실제로봇의 위치, 자세, 및 상기 주행경로 상에서 상기 실제로봇에 작용한 외력의 크기 및 작용방향에 대한 정보 중 하나 이상을 포함하는 로봇조종 훈련용 시뮬레이션장치.The method according to claim 1,
Wherein the travel information includes at least one of a steering direction of the actual robot, a steering angle, a steering speed, a photographing image, a position and an attitude of the actual robot, and a magnitude of an external force acting on the actual robot on the traveling route, And information about an action direction of the robot. 제2항에 있어서,
상기 주행정보저장부는 상기 주행경로를 따라 가장 근접하게 주행한 상기 실제로봇의 주행정보를 우선으로 하여 선택적으로 저장하는 로봇조종 훈련용 시뮬레이션장치.3. The method of claim 2,
Wherein the travel information storage unit stores the travel information of the actual robot that has traveled most closely along the travel route as a priority. 제2항에 있어서,
상기 주행정보저장부는 복수의 영역으로 구분된 상기 선체 외벽의 각 영역에 대응되게 상기 주행경로와 상기 주행경로에 매칭된 주행정보를 저장하는 로봇조종 훈련용 시뮬레이션장치.3. The method of claim 2,
Wherein the travel information storage unit stores travel information matched to the travel route and the travel route so as to correspond to each area of the outer wall of the hull divided into a plurality of areas. 제4항에 있어서,
상기 영역 중 상기 조종핸들 또는 외부장치에 의해 선택된 영역에 대응되는 상기 주행경로와 상기 주행경로에 매칭된 주행정보를 주행정보저장부로부터 검색하는 검색부를 더 포함하고,
상기 표시부는 상기 검색된 정보 중 하나 이상을 그래픽이미지로 생성하여 상기 화면에 표시하는 로봇조종 훈련용 시뮬레이션장치.5. The method of claim 4,
Further comprising a search unit for searching, from the travel information storage unit, travel information matching the travel route and the travel route corresponding to the area selected by the steering wheel or the external device among the areas,
Wherein the display unit generates at least one of the retrieved information as a graphic image and displays the graphical image on the screen. 제2항에 있어서,
상기 표시부는
상기 촬영 영상을 기초로 상기 가상로봇의 위치에 따라 변화되는 상기 화면 상의 배경이미지를 생성하되, 상기 가상로봇의 제1조종경로와 상기 실제로봇의 제2조종경로를 상기 배경이미지에 오버랩시켜 그래픽이미지로 생성하는 이미지생성부를 포함하는 로봇조종 훈련용 시뮬레이션장치.3. The method of claim 2,
The display unit
Generating a background image on the screen that changes in accordance with a position of the virtual robot based on the captured image, wherein a first control path of the virtual robot and a second control path of the actual robot are overlapped with the background image, And an image generating unit for generating an image of the robot using the robot. 제6항에 있어서,
상기 이미지생성부는 상기 가상로봇과 상기 실제로봇의 조종핸들의 핸들 각도에 따라 상기 제1조종경로와 상기 제2조종경로를 상기 주행경로를 기준으로 기울어지게 그래픽이미지로 생성하는 로봇조종 훈련용 시뮬레이션장치.The method according to claim 6,
Wherein the image generating unit generates a graphical image of the first steering path and the second steering path in a tilted manner with respect to the traveling path according to a handle angle of the steering wheel of the virtual robot and the actual robot, . 제7항에 있어서,
상기 주행경로를 기준으로 상기 제1조종경로와 상기 제2조종경로 간의 기울어진 차이, 상기 가상로봇과 상기 실제로봇의 조종속도 차이, 및 상기 실제로봇에 작용한 상기 외력의 크기와 작용방향 중 하나 이상을 이용하여 햅틱 피드백 정보를 생성하는 햅틱정보생성부를 더 포함하는 로봇조종 훈련용 시뮬레이션장치.8. The method of claim 7,
A difference between a tilted difference between the first steering path and the second steering path on the basis of the traveling path, a difference in steering speed between the virtual robot and the actual robot, and a magnitude and an operating direction of the external force acting on the actual robot And a haptic information generating unit for generating haptic feedback information using the above-mentioned haptic feedback information. 제1항에 있어서,
상기 조종핸들로부터 상기 가상로봇 조종을 위한 조종정보를 입력받는 인터페이스부를 더 포함하고,
상기 조종정보는 상기 조종핸들의 조종방향, 핸들 각도 및 조종속도 중 하나 이상을 포함하는 로봇조종 훈련용 시뮬레이션장치.The method according to claim 1,
Further comprising an interface unit for receiving control information for controlling the virtual robot from the control handle,
Wherein the steering information includes at least one of a steering direction, a steering angle, and a steering speed of the steering wheel. 제9항에 있어서,
상기 인터페이스부는 상기 조종핸들 또는 외부장치로부터 입력된 설정값에 따라 상기 주행정보저장부에 저장된 주행정보를 갱신하는 업데이트부를 더 포함하는 로봇조종 훈련용 시뮬레이션장치.10. The method of claim 9,
Wherein the interface unit further includes an update unit that updates the travel information stored in the travel information storage unit according to a set value input from the steering wheel or an external device.
KR20130115015A 2013-09-27 2013-09-27 Simulation device used for trainning of robot control KR101475207B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20130115015A KR101475207B1 (en) 2013-09-27 2013-09-27 Simulation device used for trainning of robot control

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130115015A KR101475207B1 (en) 2013-09-27 2013-09-27 Simulation device used for trainning of robot control

Publications (1)

Publication Number Publication Date
KR101475207B1 true KR101475207B1 (en) 2014-12-22

Family

ID=52679593

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130115015A KR101475207B1 (en) 2013-09-27 2013-09-27 Simulation device used for trainning of robot control

Country Status (1)

Country Link
KR (1) KR101475207B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200109595A (en) 2019-03-13 2020-09-23 한화디펜스 주식회사 Path providing apparatus and path providing method
KR20210062972A (en) * 2019-11-22 2021-06-01 한국로봇융합연구원 Apparatus and method for training

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100955086B1 (en) * 2008-11-03 2010-04-28 한국건설기술연구원 Eco driving simulators
JP2010117656A (en) * 2008-11-14 2010-05-27 Toshiba Corp Simulation device
KR20120052783A (en) * 2010-11-16 2012-05-24 한국전자통신연구원 Apparatus for managing a reconfigurable platform for virtual reality based training simulator
KR101279869B1 (en) * 2012-03-23 2013-06-28 국방과학연구소 Apparatus and method for displaying flight simulator image using head mounted display

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100955086B1 (en) * 2008-11-03 2010-04-28 한국건설기술연구원 Eco driving simulators
JP2010117656A (en) * 2008-11-14 2010-05-27 Toshiba Corp Simulation device
KR20120052783A (en) * 2010-11-16 2012-05-24 한국전자통신연구원 Apparatus for managing a reconfigurable platform for virtual reality based training simulator
KR101279869B1 (en) * 2012-03-23 2013-06-28 국방과학연구소 Apparatus and method for displaying flight simulator image using head mounted display

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200109595A (en) 2019-03-13 2020-09-23 한화디펜스 주식회사 Path providing apparatus and path providing method
US11429098B2 (en) 2019-03-13 2022-08-30 Hanwha Defense Co., Ltd. Path providing apparatus and path providing method
KR20210062972A (en) * 2019-11-22 2021-06-01 한국로봇융합연구원 Apparatus and method for training
KR102277393B1 (en) * 2019-11-22 2021-07-14 한국로봇융합연구원 Apparatus and method for training

Similar Documents

Publication Publication Date Title
US10491818B2 (en) Work vehicle with monitor to display overhead image of work vehicle, and image displaying method for displaying overhead image of work vehicle
KR102548491B1 (en) An automatic location placement system
JP6867120B2 (en) Cartography method and cartography device
US20100131133A1 (en) Unmanned boat automatic survey system and unmanned boat automatic survey method
JP5187758B2 (en) Unmanned mobile system
JP2018093799A (en) Travel route generating device
JP5382770B2 (en) Unmanned mobile system
JP2016090344A (en) Navigation device and navigation program
US20130222544A1 (en) Parallel Online-Offline Reconstruction for Three-Dimensional Space Measurement
JP2018206004A (en) Cruise control device of autonomous traveling carriage, and autonomous travelling carriage
JP6910023B2 (en) How to control unmanned moving objects
JP2014048859A (en) Remote control system
US10825250B2 (en) Method for displaying object on three-dimensional model
JP6025814B2 (en) Operating device and autonomous mobile system
KR101475207B1 (en) Simulation device used for trainning of robot control
JP7021259B2 (en) Video generator and video generation method
JP4871033B2 (en) Map display device
KR101475210B1 (en) Appraratus for simulation of vitural robot
JP5969903B2 (en) Control method of unmanned moving object
KR101487681B1 (en) Apparatus for guide moving path of robot
WO2023274270A1 (en) Robot preoperative navigation method and system, storage medium, and computer device
JP6996820B2 (en) Display device for remote control and display method for remote control
JP6801243B2 (en) Movement target determination device and movement target determination method
EP3218777B1 (en) A method of controlling a subsea platform, a system and a computer program product
JP4975693B2 (en) Mobile robot apparatus and mobile robot control method

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant