KR100479365B1 - method for making simulator program and simulator system using the method - Google Patents

method for making simulator program and simulator system using the method Download PDF

Info

Publication number
KR100479365B1
KR100479365B1 KR10-2001-0033164A KR20010033164A KR100479365B1 KR 100479365 B1 KR100479365 B1 KR 100479365B1 KR 20010033164 A KR20010033164 A KR 20010033164A KR 100479365 B1 KR100479365 B1 KR 100479365B1
Authority
KR
South Korea
Prior art keywords
motion
data
simulator
unit
information
Prior art date
Application number
KR10-2001-0033164A
Other languages
Korean (ko)
Other versions
KR20020050073A (en
Inventor
김병수
최인영
이영민
Original Assignee
에이알비전 (주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에이알비전 (주) filed Critical 에이알비전 (주)
Priority to PCT/KR2001/002209 priority Critical patent/WO2002050753A1/en
Priority to US10/451,058 priority patent/US20040054512A1/en
Priority to AU2002217582A priority patent/AU2002217582A1/en
Publication of KR20020050073A publication Critical patent/KR20020050073A/en
Application granted granted Critical
Publication of KR100479365B1 publication Critical patent/KR100479365B1/en

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 시뮬레이터 프로그램 제작 방법 및 이를 이용한 시뮬레이터 시스템에 관한 것이다. The present invention relates to a method for producing a simulator program and a simulator system using the same.

본 발명에서는 모의하고자 하는 탈 것에 장착되는 카메라로부터 영상과 음성 정보를 생성하고, 카메라의 자세 변화에 따른 모션 데이터를 측정한다. 다음에, 모션 데이터를 처리하여 x, y, z축에 대한 각각의 가속도와 각가속도 값을 포함하는 위치정보와 회전운동 정보로 구성되는 모션 이펙트 데이터를 생성하고, 모션 데이터로부터 모션 유닛을 분리하여 모션 유닛 데이터 스트림을 생성한 다음에 상기 모션 유닛 데이터와 영상/음성 데이터를 동기화시킨다. 그리고, 모션 유닛 데이터 스트림을 토대로 x, y, z 축에 대한 위치 정보와 회전 정보를 나타내는 모션 유닛을 인식 및 판별하고, 모션 유닛을 토대로 하여 고정된 자유도와 고정된 운동 공간을 갖는 시뮬레이터에 적합한 위치 정보와 회전 운동 정보를 나타내는 제어 유닛을 생성하고 제어 유닛간 변환함수를 생성하여 시뮬레이터를 제어하기 위한 합성 제어 데이터를 생성한다. 이후에 이러한 합성 제어 데이터를 토대로 시뮬레이터를 구동시킨다. In the present invention, video and audio information is generated from a camera mounted on a vehicle to be simulated, and motion data according to a posture change of the camera is measured. Next, the motion data is processed to generate motion effect data consisting of positional information and rotational motion information including respective acceleration and angular acceleration values for the x, y, and z axes, and the motion unit is separated from the motion data. After generating a unit data stream, the motion unit data and the video / audio data are synchronized. The controller recognizes and determines a motion unit representing position information and rotation information about the x, y, and z axes based on the motion unit data stream, and a position suitable for a simulator having a fixed degree of freedom and a fixed motion space based on the motion unit. A control unit representing the information and the rotational motion information is generated, and a conversion function between the control units is generated to generate composite control data for controlling the simulator. After that, the simulator is driven based on the composite control data.

이러한 본 발명에 따르면, 시뮬레이터 프로그램의 제작과 운용이 수집, 처리, 재생의 간단한 단계를 거쳐서 수행되므로 프로그램을 단기간에 저렴하게 제작할 수 있다. According to the present invention, since the production and operation of the simulator program is performed through simple steps of collection, processing, and reproduction, the program can be produced at low cost in a short time.

Description

시뮬레이터 프로그램 제작 방법 및 이를 이용한 시뮬레이터 시스템{method for making simulator program and simulator system using the method}Method for making simulator program and simulator system using the method}

본 발명은 시뮬레이터 프로그램 제작 방법 및 이를 이용한 시뮬레이터 시스템에 관한 것으로, 특히, 카메라로 촬영한 실사 영상을 바탕으로 증강현실 기술을 접목시킨 체험 시뮬레이터와, 이를 구동시키는 장치 및 방법에 관한 것이다. The present invention relates to a method for producing a simulator program and a simulator system using the same, and more particularly, to an experience simulator incorporating augmented reality technology based on a live image taken by a camera, and a device and a method for driving the same.

일반적인 시뮬레이터는 컴퓨터에 의해 생성되는 그래픽이나 카메라로 촬영한 실사 영상을 사용자 앞에 위치한 스크린에 제공하고 이에 따른 시뮬레이터의 움직임을 제어함으로서 사용자가 마치 현실처럼 느낄 수 있도록 하는 것으로 널리 보급되고 있다. 그러나 이용자에게 제공되는 프로그램은 몇 개로 고정되어 있어 하나의 시뮬레이터로 다양한 프로그램을 제공하지 못하고 있는 것이 현실인데 이는 시뮬레이터용 소프트웨어가 복잡하고 어려운 프로세스를 거쳐 제작되어야 하기 때문이다.In general, a simulator provides a graphic generated by a computer or a live image captured by a camera to a screen located in front of a user and controls the movement of the simulator so that the user can feel like a reality. However, the number of programs provided to the user is fixed so that a variety of programs cannot be provided with a single simulator because the simulator software must be produced through a complicated and difficult process.

종래의 시뮬레이터의 소프트웨어 제작은 우선 시나리오를 구성하고 이러한 시나리오에 따라 라이드 필름을 제작하는 것으로 시작된다. 시뮬레이터를 움직이는 모션 데이터는 이러한 시나리오를 분석하여 생성되는데 이 데이터는 내부적인 변환을 거쳐 시뮬레이터의 엑추에이터나 모션 구동기를 제어하기 위한 제어신호로 출력된다. 이 출력된 제어신호가 시뮬레이터의 엑추에이터를 움직여서 이용자는 영상과 동조된 모션을 느끼게 된다. 일반적으로 시뮬레이터 소프트웨어의 제작 과정은 컴퓨터에 의해 생성되는 그래픽을 라이드 필름으로 사용하느냐 혹은 카메라로 촬영한 실사 영상을 라이드 필름으로 사용하느냐에 따라 크게 달라진다.Software fabrication of a conventional simulator begins with constructing a scenario first and producing a ride film according to this scenario. Motion data moving the simulator is generated by analyzing these scenarios. The data is internally converted and output as control signals for controlling the actuator or the motion driver of the simulator. This output control signal moves the actuator of the simulator so that the user feels the motion synchronized with the image. In general, the production process of the simulator software varies greatly depending on whether a computer-generated graphic is used as a ride film or a live image taken with a camera as a ride film.

컴퓨터에 의해 생성되는 그래픽을 이용하는 시뮬레이터의 경우, 라이드 필름 제작 과정은 시나리오 작성, 모델링 등의 복잡한 과정을 거치기 때문에 보통 수개월이 넘는 긴 제작 기간을 필요로 하는 반면, 시뮬레이터의 엑추에이터 구동을 위한 모션 제어신호 생성은 모델링을 포함한 시나리오 작성 과정에서 컴퓨터에 의해 자동적으로 생성되기 때문에 상대적으로 적은 시간을 필요로 한다. 시나리오 작성이나 모델링과 같은 작업에 소요되는 시간을 줄이면서 보다 현실적인 영상을 사용자에게 제공하고자 개발된 방법이 카메라로 촬영한 실사영상을 이용하여 라이드 필름을 제작하는 것이다.In the case of a simulator using computer-generated graphics, the ride film making process usually requires a long production period of several months because of the complicated process of creating a scenario, modeling, etc., whereas the motion control signal for driving the actuator of the simulator is required. Generation takes relatively little time because it is automatically generated by the computer during scenario creation, including modeling. A method developed to provide users with more realistic images while reducing the time required for tasks such as scenario creation or modeling is to produce a ride film using real-life images taken with a camera.

카메라로 촬영한 실사 영상을 이용하는 시뮬레이터의 경우, 이는 현실 세계와 가장 근접한 시각적인 감각을 사용자에게 제공하게 된다. 이 경우 라이드 필름 제작 과정은 롤러코스터나 자동차, 비행기 등 대상물에 장착한 카메라를 통해 직접 촬영된 결과를 이용하면 되므로 적은 시간에 시각적으로 효과적인 라이드 필름을 제작할 수 있는 반면, 시뮬레이터의 모터 구동을 위한 3차원 모션 데이터 생성은 사람에 의해 수작업으로 수행하여야 한다는 단점이 있다. In the case of a simulator using live image taken with a camera, this provides the user with a visual sense that is closest to the real world. In this case, the ride film manufacturing process can be made by using a result directly taken by a camera mounted on an object such as a roller coaster or a car or an airplane, so that the ride film can be produced visually and effectively in a short time. The disadvantage is that dimensional motion data generation must be performed manually by a human.

이렇게 시뮬레이터의 모터 구동을 위한 데이터를 만드는 것을 모션 베이스 프로그래밍이라고 한다. 보통의 경우 촬영된 실사영상을 보면서 조이스틱을 사용하여 기본적인 움직임을 입력한 후에, 각 축에 대한 웨이브폼 편집기(waveform editor)를 이용하여 모션데이터를 수정하고 실제 모션 베이스에서 테스트한다. 이러한 과정을 여러번 반복하여 만족한 결과를 얻을 때까지 수행한다. 카메라로 촬영한 실사 영상을 라이드 필름으로 사용할 경우 이러한 모션 베이스 프로그래밍 과정에서 많은 시간과 비용이 소모된다.Creating data for driving the motor of the simulator is called motion base programming. Normally, after inputting the basic movement using the joystick while watching the captured live image, the motion data is modified using the waveform editor for each axis and tested on the actual motion base. Repeat this process several times until you get a satisfactory result. The use of live footage shot with a camera as a ride film is very time consuming and expensive during this motion-based programming process.

그러므로 본 발명이 이루고자 하는 기술적 과제는, 실사 영상을 이용하는 경우 모션 데이터 생성을 용이하게 하여 시뮬레이터를 보다 용이하게 구동시키고자 하는데 있다. Therefore, the technical problem to be achieved by the present invention is to facilitate the generation of motion data when using the live image to drive the simulator more easily.

구체적으로, 본 발명은 시뮬레이터를 구동시키기 위한 시나리오의 구성 및 설계 단계에서부터 시뮬레이터 구동 제어 프로그램 생성까지의 프로그램 제작 프로세스를 단순화하고 자동화하여, 다량의 소프트웨어를 단기간에 제작할 수 있도록 하는데 있다. Specifically, the present invention is to simplify and automate the program production process from the configuration and design stage of the scenario for driving the simulator to the generation of the simulator drive control program, so that a large amount of software can be produced in a short time.

이러한 기술적 과제를 달성하기 위한 본 발명의 특징에 따른 시뮬레이터 시스템은, 모의하고자 하는 탈 것에 장착되는 카메라에 설치되며, 촬영된 영상과 음성을 저장하는 비디오 녹화기; 카메라에 설치되어 카메라의 자세 변화에 따른 모션 데이터를 측정하는 항법 장치; 상기 항법 장치와 비디오 녹화기로부터 출력되는 모션 데이터와 영상/음성 데이터를 토대로 하여 시뮬레이터를 구동시키기 위한 제어 데이터를 생성하는 신호 처리 장치; 상기 신호 처리 장치에서 출력되는 제어 데이터를 토대로 하여 시뮬레이터를 구동시키기 위한 시뮬레이션 데이터를 생성하는 시뮬레이터 제어기; 및 상기 시뮬레이션 데이터를 토대로 하여 시뮬레이터를 구동시키는 모션 인터프리터를 포함한다. According to an aspect of the present invention, a simulator system includes: a video recorder installed in a camera mounted on a vehicle to be simulated, and storing captured video and audio; A navigation device installed in the camera and measuring motion data according to a change in posture of the camera; A signal processing device for generating control data for driving a simulator based on motion data and video / audio data output from the navigation device and a video recorder; A simulator controller for generating simulation data for driving the simulator based on the control data output from the signal processing apparatus; And a motion interpreter for driving the simulator based on the simulation data.

여기서, 신호 처리 장치는 상기 비디오 녹화기로부터 출력되는 영상/음성 신호를 디지털 영상/음성 데이터로 변환하는 디지털 변환기; 상기 항법 장치로부터 출력되는 모션 데이터를 처리하여 x, y, z축에 대한 각각의 가속도와 각가속도 값을 포함하는 위치정보와 회전운동 정보로 구성되는 모션 이펙트 데이터를 생성하는 자세 추출부; 상기 모션 데이터로부터 모션 유닛을 분리하여 모션 유닛 데이터 스트림를 생성하여 디지털 영상/음성 데이터와 함께 출력하는 모션 유닛 분리부; 상기 모션 유닛을 인식 및 판별하여 판별된 모션 유닛 데이터와 디지털 영상/음성 데이터를 출력하는 모션 유닛 판별부; 및 상기 모션 유닛을 토대로 하여 제어 유닛을 생성하고 제어 유닛간 변환함수를 생성하며 합성 제어 데이터를 생성하는 제어 데이터 생성부를 포함한다. Here, the signal processing apparatus includes a digital converter for converting the video / audio signal output from the video recorder into digital video / audio data; A posture extracting unit configured to process motion data output from the navigation apparatus and generate motion effect data including position information and rotational motion information including acceleration and angular acceleration values for x, y, and z axes; A motion unit separation unit for generating a motion unit data stream by separating the motion unit from the motion data, and outputting the motion unit data stream together with the digital video / audio data; A motion unit determination unit for recognizing and determining the motion unit and outputting the determined motion unit data and digital video / audio data; And a control data generation unit generating a control unit based on the motion unit, generating a conversion function between control units, and generating synthesis control data.

이외에도 신호 처리 장치는 상기 제어 데이터 생성부에서 출력되는 데이터가 저장되는 시뮬레이션 데이터베이스를 더 포함할 수 있다. In addition, the signal processing apparatus may further include a simulation database in which data output from the control data generator is stored.

한편, 모션 유닛은 항법장치에서 얻은 임의의 공간상에서의 운동 결과를 완전한 자유도를 가지는 시뮬레이터를 가정한 경우, 그 안에서 고정된 x, y, z 축에 대한 위치 정보와 회전 정보를 나타내며, 상기 제어 유닛은 고정된 자유도와 고정된 운동 공간을 갖는 상기 시뮬레이터에 따른 위치 정보와 회전 운동 정보를 나타낸다. On the other hand, the motion unit represents the position information and the rotation information for the x, y, z axis fixed therein, assuming a simulator having a full degree of freedom in the motion results in any space obtained from the navigation device, the control unit Represents positional information and rotational motion information according to the simulator having a fixed degree of freedom and a fixed motion space.

또한, 상기 항법 장치는, 각각 3조로 이루어진 가속도계와 자이로 센서로 이루어지며, 상기 가속도계 및 자이로 센서는 x, y, z 축에 대한 가속도 정보와 각속도 정보를 생성하는 센서부; 상기 센서부로부터 출력되는 각 축에 대한 가속도 정보와 각가속도 정보로 구성되는 모션 데이터를 생성하는 신호 처리부를 포함하는 항법 처리부를 포함한다. In addition, the navigation device is composed of three sets of accelerometers and gyro sensors, respectively, the accelerometer and gyro sensor, the sensor unit for generating acceleration information and angular velocity information for the x, y, z axis; It includes a navigation processor including a signal processor for generating motion data consisting of acceleration information and angular acceleration information for each axis output from the sensor unit.

이러한 특징을 가지는 시뮬레이터 시스템은, 사용자가 시뮬레이터를 구동시키는 코스 및 모션의 강도를 선택하도록 하는 인터페이스부를 더 포함할 수 있으며, 이 경우에 상기 시뮬레이터 제어기는 사용자에 의하여 선택된 코스와 모션의 강도에 따라 상기 제어 데이터를 토대로 하여 시뮬레이터 데이터를 생성한다. The simulator system having such a feature may further include an interface unit for allowing a user to select a course driving the simulator and an intensity of a motion, in which case the simulator controller may be configured according to the intensity of the course and motion selected by the user. Generate simulator data based on the control data.

또한, 본 발명의 다른 특징에 따른 시뮬레이터 프로그램 제작 방법은, 모의하고자 하는 탈 것에 장착되는 카메라로부터 영상과 음성 정보를 생성하는 단계; 카메라의 자세 변화에 따른 모션 데이터를 측정하는 단계; 상기 모션 데이터를 처리하여 x, y, z축에 대한 각각의 가속도와 각가속도 값을 포함하는 위치정보와 회전운동 정보로 구성되는 모션 이펙트 데이터를 생성하는 단계; 상기 모션 데이터로부터 모션 유닛을 분리하여 모션 유닛 데이터 스트림을 생성하고 상기 모션 유닛 데이터와 영상/음성 데이터를 동기화시키는 단계; 상기 모션 유닛 데이터 스트림을 토대로 x, y, z 축에 대한 위치 정보와 회전 정보를 나타내는 모션 유닛을 인식 및 판별하는 단계; 및 상기 모션 유닛을 토대로 하여 고정된 자유도와 고정된 운동 공간을 갖는 시뮬레이터에 적합한 위치 정보와 회전 운동 정보를 나타내는 제어 유닛을 생성하고 제어 유닛간 변환함수를 생성하여 시뮬레이터를 제어하기 위한 합성 제어 데이터를 생성하는 단계를 포함한다. In addition, the simulator program production method according to another aspect of the present invention, generating the video and audio information from the camera mounted on the vehicle to be simulated; Measuring motion data according to a change in posture of a camera; Processing the motion data to generate motion effect data including position information and rotational motion information including respective acceleration and angular acceleration values for x, y, and z axes; Separating the motion unit from the motion data to generate a motion unit data stream and synchronizing the motion unit data and video / audio data; Recognizing and determining a motion unit representing position information and rotation information on x, y, and z axes based on the motion unit data stream; And generating a control unit representing positional information and rotational motion information suitable for a simulator having a fixed degree of freedom and a fixed motion space based on the motion unit, and generating a conversion function between the control units to generate synthesized control data for controlling the simulator. Generating.

이외에도, 상기 합성 제어 데이터를 저장하는 단계; 상기 저장된 합성 제어 데이터를 해석하여 시뮬레이터를 구동시키기 위한 시뮬레이터 데이터를 생성하는 단계; 및 상기 시뮬레이터 데이터를 토대로 시뮬레이터를 구동시키는 단계를 더 포함한다. In addition, storing the synthesis control data; Interpreting the stored synthesis control data to generate simulator data for driving a simulator; And driving a simulator based on the simulator data.

한편, 모션 데이터 측정 단계에서는 모의하고자 하는 탈 것에 장착되는 카메라에 항법 장치를 설치하여, 상기 항법 장치로부터 카메라의 자세 변화에 따른 모션 데이터를 측정한다. On the other hand, in the motion data measurement step, a navigation apparatus is installed in a camera mounted on a vehicle to be simulated, and motion data according to a change in the attitude of the camera is measured from the navigation apparatus.

또한, 본 발명의 다른 특징에 다른 시뮬레이터는, 모의하고자 하는 탈 것에 장착되는 카메라에 설치되며, 촬영된 영상과 음성을 저장하는 비디오 녹화기; 카메라에 설치되어 카메라의 자세 변화에 따른 모션 데이터를 측정하는 항법 장치; 상기 항법 장치와 비디오 녹화기로부터 출력되는 모션 데이터와 영상/음성 데이터를 토대로 하여 시뮬레이터를 구동시키기 위한 제어 데이터를 생성하는 신호 처리 장치; 상기 신호 처리 장치에서 출력되는 제어 데이터를 토대로 하여 시뮬레이터를 구동시키기 위한 시뮬레이션 데이터를 생성하는 시뮬레이터 제어기; 및 상기 시뮬레이션 데이터를 토대로 하여 시뮬레이터를 구동시키는 모션 인터프리터를 포함하는 시뮬레이터 시스템의 제어에 따라 구동되는 시뮬레이터로서, In addition, another simulator according to another aspect of the present invention, the video recorder is installed in the camera mounted on the vehicle to be simulated, and stores the captured video and audio; A navigation device installed in the camera and measuring motion data according to a change in posture of the camera; A signal processing device for generating control data for driving a simulator based on motion data and video / audio data output from the navigation device and a video recorder; A simulator controller for generating simulation data for driving the simulator based on the control data output from the signal processing apparatus; And a simulator driven by a control of a simulator system including a motion interpreter for driving a simulator based on the simulation data.

사용자가 시뮬레이터를 구동시키는 코스 및 모션의 강도를 선택하도록 하는 인터페이스부; 상기 모션 인터프리터에서 출력되는 영상 데이터를 토대로 하여 해당 영상을 스크린에 영사하는 프로젝터; 상기 모션 인터프리터에서 출력되는 음성 데이터를 출력하는 스피커; 및 상기 모션 인터프리터에서 출력되는 시뮬레이션 데이터에 따라 사용자가 탑승하는 의자를 상하, 전후, 좌우의 3방향의 직선 운동과 x, y, z축의 회전 운동을 유기적으로 구동시키는 모션 구동기를 포함한다. An interface unit for allowing a user to select the course and motion intensity of driving the simulator; A projector for projecting the corresponding image on the screen based on the image data output from the motion interpreter; A speaker for outputting voice data output from the motion interpreter; And a motion driver for organically driving the chair on which the user boards, according to the simulation data output from the motion interpreter, in a linear motion in three directions of up, down, front, left, and right, and rotational motion of the x, y, and z axes.

이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 가장 바람직한 실시예를 첨부된 도면을 참조로 하여 상세히 설명한다.DETAILED DESCRIPTION Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명이 적용되는 전체 시뮬레이터 시스템의 블록도이다. 첨부한 도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 시뮬레이터 시스템은, 비디오 녹화기(10), 항법 장치(20), 신호 처리 장치(30), 시뮬레이터 제어기(40), 모션 인터프리터(50), 시뮬레이터(60)를 포함한다.1 is a block diagram of an entire simulator system to which the present invention is applied. As shown in FIG. 1, a simulator system according to an embodiment of the present invention includes a video recorder 10, a navigation device 20, a signal processing device 30, a simulator controller 40, and a motion interpreter 50. ), The simulator 60.

비디오 녹화기(10)와 항법 장치(20)는 카메라에 탑재되며, 카메라는 모의하고자 하는 탈 것에 장착된다. 구체적으로 비디오 녹화기(10)는 카메라에 의하여 촬영된 영상과 음성을 저장하는 기능을 수행하며, 항법 장치(20)는 카메라의 자세 변화와 관련된 모션 데이터를 측정한다.The video recorder 10 and the navigation apparatus 20 are mounted on a camera, and the camera is mounted on a vehicle to be simulated. In detail, the video recorder 10 stores a video and an audio photographed by the camera, and the navigation apparatus 20 measures motion data related to a change in posture of the camera.

도 2에 항법 장치의 구조가 보다 상세하게 도시되어 있다. The structure of the navigation apparatus is shown in more detail in FIG. 2.

항법 장치(20)는 각각 3조의 가속도계와 자이로 구성된 센서부(21), 센서부(21)로부터 출력되는 데이터를 토대로 모션 데이터를 생성하는 항법 처리부(22)로 이루어진다. 항법 처리부(22)는 하드웨어 처리부(2211)와 신호 처리부(2212)로 이루어지는 항법 정보 처리부(221)와, 저장부(222)를 포함한다.The navigation device 20 includes a sensor unit 21 composed of three sets of accelerometers and a gyro, and a navigation processor 22 that generates motion data based on data output from the sensor unit 21. The navigation processor 22 includes a navigation information processor 221 consisting of a hardware processor 2211 and a signal processor 2212, and a storage 222.

항법 정보 처리부(221)내의 하드웨어 처리부(2211)에서는 하드웨어 초기화 및 각 하드웨어의 입출력 처리와 자기 진단 등을 실시하여 센서부(21)로부터 안정적으로 정보를 받는 역할을 수행하며, 신호 처리부(2212)는 각 축에 대한 가속도 정보와 각가속도 정보로 구성되는 모션 데이터를 출력하고, 이 데이터는 저장부(222)에 저장된다.The hardware processing unit 2211 in the navigation information processing unit 221 performs hardware initialization, input / output processing and self-diagnosis of each hardware, and stably receives information from the sensor unit 21. The signal processing unit 2212 Motion data consisting of acceleration information and angular acceleration information for each axis is output, and the data is stored in the storage unit 222.

도 3에 이러한 구조로 이루어지는 항법장치(20)를 카메라(100)에 탑재한 경우의 구조가 블록으로 있으며, 도 4에 카메라가 탈 것에 부착된 사시도가 도시되어 있다. 3 is a block in which the navigation device 20 having such a structure is mounted on the camera 100, and a perspective view of the camera attached to the vehicle is shown in FIG.

도 3에서와 같이, 카메라 지지대인 트라이포드(110) 상단에는 카메라 헤드(120)가 위치하게 되며, 이 카메라 헤드(120) 위에 항법장치 장착용 치구(130)가 위치하게 된다. 이 장착용 치구(130) 위에 카메라(100)가 위치하게 되며 그 밑에는 항법 장치(20)가 장착된다.As shown in FIG. 3, the camera head 120 is positioned on the top of the tripod 110, which is a camera support, and the navigation device mounting jig 130 is positioned on the camera head 120. The camera 100 is positioned on the mounting jig 130, and the navigation apparatus 20 is mounted thereunder.

도 4에서와 같이 항법 장치(20)를 부착한 카메라(100)는 롤러코스터나 바이킹 등과 같이 모의하고자 하는 탈것(200)에 견고하게 장착된다. 이 때 장착 위치는 탑승자의 시각위치와 가장 근접한 좌표가 되며, 센서부(21)에 의해서 생성되는 가속도와 각속도 정보는 설정 좌표계를 기준으로 생성된다. As shown in FIG. 4, the camera 100 to which the navigation apparatus 20 is attached is firmly mounted to a vehicle 200 to be simulated, such as a roller coaster or a viking. At this time, the mounting position is the coordinate closest to the visual position of the occupant, and the acceleration and angular velocity information generated by the sensor unit 21 are generated based on the set coordinate system.

도 5에 본 발명의 실시예에 따른 설정 좌표계가 도시되어 있다. 도5에서와같이, 모의하고자 하는 탈 것(200)의 진행 방향이 Z축의 양의 방향이 되며, 왼쪽 측면을 X축, 위쪽을 Y축으로 정의된다. 5 shows a set coordinate system according to an embodiment of the present invention. As shown in FIG. 5, the traveling direction of the vehicle 200 to be simulated is the positive direction of the Z axis, and the left side is defined as the X axis and the upper part as the Y axis.

탈것이 움직이기 시작하면 이 움직임에 따라 영상/음성 신호는 비디오 녹화기(10)에 저장되고, 항법장치(20)에서 얻은 모션 데이터(도 5에서 정의한 축에 대한 가속도 및 각가속도)는 항법장치 내부의 메모리인 저장부(222)에 저장되며, 이 때, 영상의 타임 코드와 함께 저장된다. When the vehicle starts to move, the video / audio signal is stored in the video recorder 10 according to the movement, and the motion data (acceleration and angular acceleration with respect to the axis defined in FIG. 5) obtained from the navigation device 20 is stored inside the navigation device. It is stored in the storage unit 222, which is a memory, at this time, with the time code of the image.

도 6에 이러한 항법 장치(20)와 비디오 녹화기(10)에서 출력되는 데이터를 토대로 하여 시뮬레이터를 구동시키기 위한 제어 데이터를 생성하는 신호 처리 장치(30)의 구조가 도시되어 있다. 6 shows a structure of a signal processing device 30 for generating control data for driving a simulator based on the data output from the navigation device 20 and the video recorder 10.

신호 처리 장치(30)는 첨부한 도 6에서와 같이 디지털 변환기(31), 자세 추출부(32), 모션 유닛 분리부(33), 모션 유닛 판별부(34), 제어 데이터 생성부(35) 및 시뮬레이션 데이터베이스(36)를 포함한다.As shown in FIG. 6, the signal processing device 30 includes a digital converter 31, a posture extractor 32, a motion unit separator 33, a motion unit determiner 34, and a control data generator 35. And a simulation database 36.

디지털 변환기(31)는 비디오 녹화기(10)로부터 출력되는 영상/음성 신호를 디지털 신호로 변환하여 출력하며, 자세 추출부(32)는 항법 장치(20)로부터 출력되는 모션 데이터를 처리하여 각 축에 대한 가속도와 각가속도 값을 포함하는 위치정보와 회전운동 정보로 구성되는 모션 이펙트 데이터를 생성한다. The digital converter 31 converts the video / audio signal output from the video recorder 10 into a digital signal and outputs the digital signal. The posture extractor 32 processes the motion data output from the navigation device 20 to each axis. It generates motion effect data consisting of position information and rotational motion information including acceleration and angular acceleration values.

모션 유닛 분리부(33)는 모션 유닛을 분리하여 모션 유닛 데이터 스트림을 생성하여 디지털 영상/음성 데이터를 모션 유닛 판별부(34)로 출력하며, 모션 유닛 판별부(34)는 모션 유닛을 인식 및 판별하여 판별된 모션 유닛 데이터와 디지털 영상/음성 데이터를A/V를 제어 데이터 생성부(35)로 출력한다. The motion unit separator 33 separates the motion unit, generates a motion unit data stream, and outputs digital video / audio data to the motion unit discriminator 34, and the motion unit discriminator 34 recognizes and recognizes the motion unit. The A / V is output to the control data generator 35 by determining the determined motion unit data and the digital video / audio data.

여기서, 모션 유닛은 모든 축에 대해서 완전한 자유도를 갖는 시뮬레이터를 가정하여 산출한 자세정보이다. 즉, 항법 장치(20)의 센서부(21)에서 얻은 임의의 공간상에서의 운동 결과가 완전한 자유도를 갖는 시뮬레이터를 가정하고 그 안에서 고정된 세 축에 대한 위치정보와 회전정보를 산출한 것이 모션 유닛이다. Here, the motion unit is attitude information calculated on the assumption of a simulator having full degrees of freedom for all axes. That is, it is assumed that the result of the motion in any space obtained by the sensor unit 21 of the navigation device 20 has a simulator with perfect degrees of freedom, and the position information and the rotation information for the three axes fixed therein are calculated. to be.

제어 데이터 생성부(35)는 모션 유닛을 토대로 하여 제어 유닛을 생성하고 제어 유닛간 변환함수를 생성하며 합성 제어 데이터를 압축한다. 제어 유닛은 고정된 자유도와 고정된 운동 공간을 갖는 특화된 시뮬레이터에 최적화하여 위치정보와 회전운동정보를 산출한 것이다. 이렇게 생성된 데이터는 시뮬레이션 데이터베이스(36)에 저장된다. The control data generator 35 generates a control unit based on the motion unit, generates a conversion function between the control units, and compresses the composite control data. The control unit calculates the positional information and the rotational motion information by optimizing the specialized simulator having a fixed degree of freedom and a fixed motion space. The data thus generated is stored in the simulation database 36.

한편, 시뮬레이터 제어기(40)는 신호 처리 장치(30)의 시뮬레이션 데이터베이스(36)에 저장된 제어 데이터를 토대로 하여 시뮬레이터 데이터를 생성하며, 모션 인터프리터(50)는 시뮬레이션 데이터를 토대로 하여 시뮬레이터(60)를 구동시킨다. Meanwhile, the simulator controller 40 generates simulator data based on the control data stored in the simulation database 36 of the signal processing device 30, and the motion interpreter 50 drives the simulator 60 based on the simulation data. Let's do it.

도 7에 본 발명의 실시예에 따른 시뮬레이터(60)의 구조가 도시되어 있다. 7 shows the structure of a simulator 60 according to an embodiment of the invention.

본 발명의 실시예에서 사용될 수 있는 증강 현실 체험용 시뮬레이터(60)는 첨부한 도 8에서와 같이, 6 자유도 운동 즉, 상하, 전후, 좌우의 3방향의 직선운동과 3축의 회전운동을 유기적으로 모의하여 이용자가 동적 변화를 보다 실감 있게 느낄 수 있고 한 명 또는 두 명이 탑승하는 시뮬레이터로서, 오퍼레이터와의 인터페이스부(61), 비디오를 스크린(62)에 영사하기 위한 프로젝터(63), 음성의 출력을 위한 스피커(64), 비상 정지 기능을 제공하는 비상 버튼(65), 의자(66) 및 엑추에이터 또는 모터 등으로 이루어지는 모션 구동기(67)를 포함한다. The simulator 60 for augmented reality experience that can be used in the embodiment of the present invention, as shown in Figure 8 attached to the six degrees of freedom, that is, up, down, front, rear, three directions of linear movement and three-axis rotational movement organic The simulator simulates the user's dynamic change more realistically, and is equipped with one or two people. The interface unit 61 with the operator, the projector 63 for projecting the video to the screen 62, and the audio A speaker 64 for output, an emergency button 65 for providing an emergency stop function, a chair 66 and a motion driver 67 consisting of an actuator or a motor or the like.

다음에는 이러한 구조를 토대로 하여 본 발명의 실시예에 따른 시뮬레이터 프로그램 제작 방법 및 시뮬레이터 방법에 대하여 보다 구체적으로 설명한다. Next, a simulator program production method and a simulator method according to an embodiment of the present invention will be described in more detail based on such a structure.

도 8에 본 발명의 실시예에 따른 시뮬레이션 방법의 흐름도가 도시되어 있으며, 도 9에 각 단계의 구체적인 과정이 순차적으로 도시되어 있다. 8 is a flowchart illustrating a simulation method according to an embodiment of the present invention, and the specific process of each step is sequentially illustrated in FIG. 9.

본 발명의 실시예에서 시뮬레이션 방법은 크게, 신호 수집 단계(S100), 신호 처리 단계(S120), 신호 재생 단계(S130)를 포함한다. In the embodiment of the present invention, the simulation method largely includes a signal collecting step S100, a signal processing step S120, and a signal reproducing step S130.

신호 수집 단계(S120)에서는 모의하고자 하는 탈 것을 선정하고 비디오 녹화기(10)와 항법 장치(20)를 탑재한 카메라를 탈 것에 장착하고 시승하여 영상/음성 정보와 카메라의 자세 변화와 관련된 모션 데이터를 생성하여 저장부(222)에 저장한다. In the signal collection step (S120), the vehicle to be simulated is selected, the camera equipped with the video recorder 10 and the navigation device 20 is mounted on the vehicle, and tested, and the video / audio information and the motion data related to the change in the posture of the camera are acquired. It generates and stores in the storage unit 222.

신호 처리 단계(S120)에서는 신호 처리 장치(30)가 영상/음성 데이터와 모션 데이터를 동기화시키고 모션 유닛을 인식하고 판별하여 제어유닛 및 변환함수를 생성하여 압축 합성 제어 데이터를 시뮬레이션 데이터베이스(36)에 저장한다. In the signal processing step (S120), the signal processing device 30 synchronizes the video / audio data and the motion data, recognizes and determines the motion unit, generates a control unit and a conversion function, and transmits the compression synthesis control data to the simulation database 36. Save it.

신호 재생 단계(S130))에서는 시뮬레이션 데이터베이스(36)로부터 제어 데이터 및 디지털 영상/음성 데이터를 입력받아 시뮬레이터 제어기(40)에서 시뮬레이션 데이터를 해석하여 합성제어 데이터를 구성하고, 이를 모션 인터프리터(50)에서 파싱 및 해석을 수행한 후 제어 데이터를 출력하여 시뮬레이터(60)의 모션 구동기(67)를 구동시켜 다이나믹한 움직임을 제공한다.In the signal reproducing step (S130), the control data and the digital video / audio data are received from the simulation database 36, and the simulation data is interpreted by the simulator controller 40 to configure the synthesis control data, and the motion interpreter 50 After parsing and analysis, control data is output to drive the motion driver 67 of the simulator 60 to provide dynamic movement.

이러한 각 단계를 보다 구체적으로 설명한다. Each of these steps will be described in more detail.

먼저, 모의하고자 하는 탈 것을 선정하고 비디오 녹화기(10)와 항법 장치(20)를 탑재한 카메라를 탈 것에 장착하고 시승하여 영상/음성 정보와 카메라의 자세 변화와 관련된 모션 데이터를 생성한다. First, a vehicle to be simulated is selected and a camera equipped with a video recorder 10 and a navigation device 20 is mounted on a vehicle and tested to generate video / audio information and motion data related to a change in attitude of the camera.

비디오 녹화기(10)로부터 출력되는 영상/음성 신호는 신호 처리 장치(30)의 디지털 변환기(31)를 통하여 디지털 데이터로 변환되어 모션 유닛 분리부(33)로 입력되고, 항법 장치(20)로부터 출력되는 모션 데이터는 위치/속도계산 알고리즘, 자세계산 알고리즘을 수행하는 신호 처리 장치(30)의 자세 추출부(32)를 통하여 각 축에 대한 가속도와 각가속도 값을 포함하는 위치정보와 회전운동 정보로 구성되는 모션 이펙트 데이터로 변환된 다음, 디지털 영상/음성 데이터와 동기화되어 모션 유닛 분리부(33)로 입력된다. The video / audio signal output from the video recorder 10 is converted into digital data through the digital converter 31 of the signal processing device 30 and input to the motion unit separator 33, and output from the navigation device 20. The motion data is composed of position information and rotational motion information including acceleration and angular acceleration values for each axis through the position extractor 32 of the signal processing device 30 that performs the position / speed calculation algorithm and the self-world calculation algorithm. It is converted into the motion effect data, and then input to the motion unit separator 33 in synchronization with the digital video / audio data.

신호 처리 장치(30)의 모션 유닛 분리부(33)는 입력되는 모션 이펙트 데이터로부터 모션 유닛을 분리하여 모션 유닛 데이터 스트림과 디지털 영상/음성 데이터를 모션 유닛 판별부(34)로 출력하고, 모션 유닛 판별부(34)는 모션유닛을 인식 및 판별하여 모션 유닛 데이터와 디지털 영상/음성 데이터를 제어 데이터 생성부(35)로 출력한다. 본 실시예에 따른 모션 유닛을 생성하는 과정에서 washout 알고리즘이 사용된다. The motion unit separator 33 of the signal processing device 30 separates the motion unit from the input motion effect data, and outputs the motion unit data stream and the digital video / audio data to the motion unit discriminator 34, The determination unit 34 recognizes and determines the motion unit, and outputs the motion unit data and the digital image / audio data to the control data generation unit 35. The washout algorithm is used in the process of generating the motion unit according to the present embodiment.

제어 데이터 생성부(35)에서는 모션 유닛을 바탕으로 고정된 자유도와 고정된 운동 공간을 갖는 특화된 시뮬레이터에 최적화하여 위치정보와 회전 운동 정보를 가지는 제어 유닛을 생성하고, 제어 유닛간 변환 함수를 생성하며 합성 제어 데이터를 압축한다. 이렇게 생성된 데이터는 시뮬레이션 데이터베이스(36)에 저장된다.The control data generation unit 35 generates a control unit having position information and rotational motion information by optimizing a specialized simulator having a fixed degree of freedom and a fixed motion space based on the motion unit, and generates a conversion function between the control units. Compress the composite control data. The data thus generated is stored in the simulation database 36.

항법 장치(20)로부터 얻은 각속도와 각가속도 값을 그대로 사용하지 않고 위에 기술된 바와 같은 신호 처리 과정을 거치는 이유는, 실제 롤러코스터나 등의 모의하고자 하는 탈 것(30)은 3차원의 무한 운동을 하는데 반하여, 시뮬레이터(60)는 운동영역과 움직임에 한계가 있기 때문이다. 만약에 시뮬레이터(60)가 3차원 무한 운동이 가능하다면 신호 처리 장치(30)의 모션 유닛 분리부(33), 모션 유닛 판별부(34), 제어 데이터 생성부(35) 등은 모두 불필요한 것이 될 것이다. 이러한 이유로 사용하는 것이 washout 알고리즘이다.The reason why the signal processing process as described above is performed without using the angular velocity and the angular acceleration value obtained from the navigation apparatus 20 is that the vehicle 30 to simulate the actual roller coaster or the like has a three-dimensional infinite motion. On the other hand, the simulator 60 is because there is a limit to the motion range and movement. If the simulator 60 is capable of three-dimensional infinite motion, the motion unit separating unit 33, the motion unit discriminating unit 34, the control data generating unit 35, etc. of the signal processing device 30 all become unnecessary. will be. For this reason, the washout algorithm is used.

인간이 움직임을 감지하는 것은 기본적으로 시감각과 직선, 회전 등을 포함하는 평형 감각에 의해 이루어진다. 여기서 중요한 점은 지속적인 가속력 보다는 순간적인 가속력의 변화가 인간의 움직임 감지에 더 큰 영향을 미친다는 것이다. 이는 특히 시각적인 요소와 결부되었을 때 더 큰 효과를 얻게 된다. 이를 이용하여 어떤 운동의 변화가 발생했을 때 순간적인 가속력을 준 후 서서히 그 영향을 감소시키므로써 움직임 효과를 주는 것을 washout이라고 한다. 이러한 기법은 제한된 공간에서 제한적인 움직임만이 허용되는 시뮬레이터에서 움직임의 효과를 주어야 할 경우 효과적으로 적용된다. Human movement is basically detected by the sense of equilibrium, which includes the sense of sight, straight line, and rotation. The important point here is that the momentary change in acceleration has a greater impact on human motion detection than the constant acceleration. This is especially true when combined with visual elements. This is called washout, which gives a momentary acceleration when a change of motion occurs and then gradually reduces its effect. This technique is effectively applied when the effect of movement is required in a simulator where only limited movement is allowed in a limited space.

도 10a 내지 도 10c는 washout 알고리즘의 적용을 속도, 가속도, 시뮬레이터(60) 엑추에이터의 상관관계를 나타낸 것이다. 도 10a와 같이 속도가 변화할 경우 가속도는 도 10b와 같이 변화한다. 본 발명에서는 항법 장치(20)의 센서부(21)에서 도 10b의 결과까지는 자동으로 정확한 값을 얻을 수 있다. 만약 10b의 가속도를 그대로 시뮬레이터(60)에 적용할 경우 공간적 운동학적 제한 요건 때문에 원하는 효과를 얻지 못하게 된다. 따라서 원하는 운동 효과를 사용자에게 제공하기 위해서 washout 알고리즘을 적용하여 도 10c의 결과를 얻는다.10A-10C show the correlation of speed, acceleration, simulator 60 actuators to the application of the washout algorithm. When the speed changes as shown in FIG. 10A, the acceleration changes as shown in FIG. 10B. In the present invention, the sensor unit 21 of the navigation device 20 can automatically obtain accurate values until the result of FIG. 10B. If the acceleration of 10b is applied to the simulator 60 as it is, the desired effect is not obtained due to the spatial kinematic constraints. Therefore, the washout algorithm is applied to obtain the desired exercise effect to the user, and the result of FIG. 10C is obtained.

본 발명에서는 모션 데이터, 모션 유닛, 제어 유닛을 독립적으로 고려하여 처리함으로써 다양한 규격의 시뮬레이터를 제어할 수 있는 정보를 하나의 모션 데이터로부터 추출하는 것이 가능하다. 모션 데이터는 모의하고자 하는 탈 것(200)으로부터 얻은 가장 기본적인 정보로 3차원 무한공간을 대상으로 하는 것이다. 모션 유닛은 제한된 공간이기는 하지만 축에 대한 회전 운동에 제약이 없고, 직선운동만 제약이 있는 시뮬레이터를 가정하고 washout 알고리즘을 적용하여 얻은 결과이다. In the present invention, by independently considering and processing the motion data, the motion unit, and the control unit, it is possible to extract information capable of controlling a simulator of various standards from one motion data. Motion data is the most basic information obtained from the vehicle 200 to be simulated. The motion unit is a result obtained by applying the washout algorithm, assuming that the simulator has limited space but no rotational motion about the axis and only linear motion.

제어 데이터 생성부(35)는 이러한 모션 유닛과 시뮬레이터(60)에 대한 자유도 및 운동 공간 정보를 입력으로 받아서, 이를 토대로 하여 제어 유닛을 생성한다. 이는 washout 알고리즘을 적용하여 얻은 모션 유닛에 다시 한번 제약을 가하여, 실제적으로 사용하게 될 시뮬레이터(60)를 위한 결과를 얻는 과정이라고 할 수 있다.The control data generation unit 35 receives the degrees of freedom and motion space information of the motion unit and the simulator 60 as inputs, and generates a control unit based on this. This is a process of obtaining a result for the simulator 60 which will be used in practice by once again applying a constraint to the motion unit obtained by applying the washout algorithm.

위에 기술된 바와 같이, 항법 장치(20) 및 비디오 녹화기(10)에서 각각 생성된 모션 데이터와 영상/음성 데이터를 처리하여 합성 제어 데이터가 생성 및 저장된 다음에, 이러한 합성 제어 데이터를 통하여 시뮬레이터 구동이 이루어진다. As described above, the synthesis control data is generated and stored by processing the motion data and the video / audio data generated in the navigation apparatus 20 and the video recorder 10, respectively, and then driving the simulator through the synthesis control data. Is done.

먼저 시뮬레이터 제어기(40)는 인터페이스부(61)를 통하여 사용자가 코스 및 레벨을 선택할 수 있는 사용자 인터페이스를 제공한 다음에, 사용자가 선택한 사항에 따라 시뮬레이션 데이터베이스(36)로부터 제어 데이터, 제어 유닛 변환 함수 및 디지털 영상/음성 데이터를 읽는다. 이 정보는 해석되어 음성 데이터는 시뮬레이터(60)의 스피커(64)로 출력되고, 영상 데이터는 시뮬레이터의 프로젝터(63)로 출력되어 스크린(62)으로 영사되며, 제어 데이터와 제어 유닛 변환 함수를 해석하여 구동기 합성제어 데이터를 모션 인터프리터(50)로 출력한다. 여기서 제어 데이터는 시뮬레이터를 이용하는 사용자의 시뮬레이터 안에서의 위치정보가 된다. First, the simulator controller 40 provides a user interface through which the user can select a course and a level through the interface unit 61, and then the control data and control unit conversion function from the simulation database 36 according to the user's selection. And read the digital video / audio data. This information is interpreted so that the audio data is output to the speaker 64 of the simulator 60, the image data is output to the projector 63 of the simulator and projected onto the screen 62, and the control data and the control unit conversion function are interpreted. To output the driver synthesis control data to the motion interpreter 50. The control data is position information in the simulator of the user who uses the simulator.

그리고 시뮬레이터 제어기(40)는 시뮬레이터(60)의 엑추에이터나 모터로 이루어지는 모션 구동기(67)의 운동과 영상/음성 및 특수 효과들이 동기화되어 발생할 수 있도록 제어한다. The simulator controller 40 controls the motion of the motion driver 67 made of the actuator or the motor of the simulator 60 and the video / audio and special effects to be synchronized.

모션 인터프리터(50)는 제어 데이터 파싱과 시뮬레이터의 직선 운동(전, 후, 좌, 우, 상, 하) , 회전 운동(롤, 피치, 요), 합성 운동을 각각 수행하며, 입력된 합성 제어 데이터를 제어 데이터로 변환하여 시뮬레이터(60)의 모션 구동기(67)로 출력하여 시뮬레이터(60)가 다이나믹한 움직임을 하도록 한다. 즉, 사용자의 위치 정보를 시뮬레이터(60)를 구성하는 각각의 모션 구동기(67)에 대한 운동으로 변환하여 적용한다.The motion interpreter 50 performs control data parsing and linear motion (before, after, left, right, up and down), rotational motion (roll, pitch, yaw), and synthesis motion of the simulator, respectively, and inputs synthesized control data. Is converted into control data and output to the motion driver 67 of the simulator 60 so that the simulator 60 performs a dynamic movement. That is, the position information of the user is converted into motion for each motion driver 67 constituting the simulator 60 and applied.

따라서, 항법 장치(20)를 부착한 비디오 카메라(100)를 모의하고자 하는 탈것(200)에 장착하여 그 움직임과 영상을 기록하는 간단한 방식으로 프로그램이 제작되기 때문에 단 기간에 다수의 프로그램 제공이 가능하다.Therefore, since the program is produced by attaching the video camera 100 with the navigation apparatus 20 to the vehicle 200 to be simulated and recording the movement and the image, a plurality of programs can be provided in a short period of time. Do.

비록, 본 발명이 가장 실제적이며 바람직한 실시예를 참조하여 설명되었지만, 본 발명은 상기 개시된 실시예에 한정되지 않으며, 후술되는 특허청구범위 내에 속하는 다양한 변형 및 등가물들도 포함한다. Although the present invention has been described with reference to the most practical and preferred embodiments, the present invention is not limited to the above disclosed embodiments, but also includes various modifications and equivalents within the scope of the following claims.

이상에서 설명한 실시예에 따라, 시뮬레이터를 구동시키기 위한 시나리오의 구성 및 계 단계에서부터 모터 구동기 제어 프로그램 생성까지의 프로그램 제작 프로세스를 단순화하고 자동화하여, 시뮬레이터 구동 프로그램을 단기간에 다량으로 제작할 수 있다. According to the embodiment described above, the simulator driving program can be produced in a large amount in a short time by simplifying and automating the program production process from the configuration and the steps of the scenario for driving the simulator to the generation of the motor driver control program.

또한, 본 발명의 증강현실 체험 시뮬레이터의 구동에 따라 사용자에게 컴퓨터 그래픽으로 작성된 영상이 아니라 사용자가 실제 탈것을 탈 때 느낄 수 있는 현실감 있는 영상을 제공함으로써 보다 실감 있는 시뮬레이션 환경을 제공할 수 있다. In addition, according to the driving of the augmented reality experience simulator of the present invention, it is possible to provide a more realistic simulation environment by providing the user with a realistic image that can be felt when the user rides the vehicle rather than an image created by computer graphics.

또한 하나의 시뮬레이터에 다양한 프로그램을 용이하게 제공할 수 있는 수단을 제공함으로써 비교적 좁은 공간에서 롤러코스터와 같은 대형 놀이시설을 한 대의 시뮬레이터를 통해 사용자가 즐길 수 있도록 할 수 있다. In addition, by providing a means to easily provide a variety of programs in one simulator it is possible to allow a user to enjoy a large amusement facilities, such as roller coaster in a relatively small space through a single simulator.

도 1은 본 발명의 실시예에 따른 시뮬레이터 시스템의 전체 구조도이다. 1 is an overall structural diagram of a simulator system according to an embodiment of the present invention.

도 2는 도 1에 도시된 항법 장치의 구조도이다. FIG. 2 is a structural diagram of the navigation apparatus shown in FIG. 1.

도 3은 본 발명의 항법 장치가 탑재되는 카메라의 구조를 나타낸 블록도이다. 3 is a block diagram showing the structure of a camera on which the navigation apparatus of the present invention is mounted.

도 4는 도 3의 카메라가 탈 것에 부착된 사시도이다. 4 is a perspective view of the camera of FIG. 3 attached to the vehicle.

도 5는 본 발명의 실시예에 따른 시뮬레이터에서 사용하는 좌표계이다.5 is a coordinate system used in a simulator according to an embodiment of the present invention.

도 6은 도 1에 도시된 신호 처리 장치의 구조를 나타낸 도이다. FIG. 6 is a diagram illustrating a structure of the signal processing device shown in FIG. 1.

도 7은 본 발명의 실시예에 따른 시뮬레이터의 구조를 나타낸 도이다. 7 is a diagram showing the structure of a simulator according to an embodiment of the present invention.

도 8은 본 발명의 실시예에 따른 시뮬레이션 방법의 개략적인 전체 흐름도이다. 8 is a schematic overall flowchart of a simulation method according to an embodiment of the present invention.

도 9는 본 발명의 실시예에 따른 시뮬레이션 방법의 각 단계별 구체적인 흐름도이다. 9 is a detailed flowchart of each step of the simulation method according to an embodiment of the present invention.

도 10a 내지 도 10c는 본 발명의 실시예에 따른 시뮬레이터의 속도, 가속도, 시뮬레이터 엑츄에이터 사이의 상관관계의 예를 나타낸 도면이다.10A to 10C are diagrams showing examples of correlations between speeds, accelerations, and simulator actuators of a simulator according to an embodiment of the present invention.

Claims (10)

모의하고자 하는 탈 것에 장착되는 카메라에 설치되며, 촬영된 영상과 음성을 저장하는 비디오 녹화기;A video recorder installed in a camera mounted on a vehicle to be simulated and storing the captured video and audio; 카메라에 설치되어 카메라의 자세 변화에 따른 모션 데이터를 측정하는 항법 장치;A navigation device installed in the camera and measuring motion data according to a change in posture of the camera; 상기 항법 장치로부터 출력되는 모션 데이터로부터 모션 유닛을 생성하고, 상기 모션 유닛을 토대로 제어 유닛을 생성한 다음에, 상기 모션 유닛과 제어 유닛 그리고, 상기 비디오 녹화기로부터의 영상/음성 데이터를 토대로 하여 시뮬레이터를 구동시키기 위한 제어 데이터를 생성하는 신호 처리 장치;A motion unit is generated from the motion data output from the navigation apparatus, a control unit is generated based on the motion unit, and then a simulator is generated based on the motion unit, the control unit, and the video / audio data from the video recorder. A signal processing device for generating control data for driving; 상기 신호 처리 장치에서 출력되는 제어 데이터를 토대로 하여 시뮬레이터를 구동시키기 위한 시뮬레이션 데이터를 생성하는 시뮬레이터 제어기; 및A simulator controller for generating simulation data for driving the simulator based on the control data output from the signal processing apparatus; And 상기 시뮬레이션 데이터를 토대로 하여 시뮬레이터를 구동시키는 모션 인터프리터Motion interpreter for driving a simulator based on the simulation data 를 포함하고,Including, 상기 모션 유닛은 항법장치에서 얻은 임의의 공간상에서의 운동 결과가 완전한 자유도를 가지는 시뮬레이터를 가정한 경우, 그 안에서 고정된 x, y, z 축에 대한 위치 정보와 회전 정보를 나타내며, The motion unit represents position information and rotation information about the x, y, and z axes fixed therein when a simulator having a motion degree in any space obtained from the navigation apparatus has perfect degrees of freedom. 상기 제어 유닛은 고정된 자유도와 고정된 운동 공간을 갖는 상기 시뮬레이터에 따른 위치 정보와 회전 운동 정보를 나타내는 시뮬레이터 시스템.Said control unit being indicative of positional information and rotational motion information according to said simulator having a fixed degree of freedom and a fixed motion space. 제1항에 있어서, The method of claim 1, 상기 신호 처리 장치는, The signal processing device, 상기 비디오 녹화기로부터 출력되는 영상/음성 신호를 디지털 영상/음성 데이터로 변환하는 디지털 변환기;A digital converter for converting the video / audio signal output from the video recorder into digital video / audio data; 상기 항법 장치로부터 출력되는 모션 데이터를 처리하여 x, y, z축에 대한 각각의 가속도와 각가속도 값을 포함하는 위치정보와 회전운동 정보로 구성되는 모션 이펙트 데이터를 생성하는 자세 추출부; A posture extracting unit configured to process motion data output from the navigation apparatus and generate motion effect data including position information and rotational motion information including acceleration and angular acceleration values for x, y, and z axes; 상기 모션 이펙트 데이터로부터 모션 유닛을 분리하여 모션 유닛 데이터 스트림를 생성하여 디지털 영상/음성 데이터와 함께 출력하는 모션 유닛 분리부;A motion unit separation unit for generating a motion unit data stream by separating the motion unit from the motion effect data and outputting the same together with the digital video / audio data; 상기 모션 유닛을 인식 및 판별하여 판별된 모션 유닛 데이터와 디지털 영상/음성 데이터를 출력하는 모션 유닛 판별부; 및A motion unit determination unit for recognizing and determining the motion unit and outputting the determined motion unit data and digital video / audio data; And 상기 모션 유닛을 토대로 하여 제어 유닛을 생성하고 제어 유닛간 변환함수를 생성하며 합성 제어 데이터를 생성하는 제어 데이터 생성부A control data generation unit generating a control unit based on the motion unit, generating a conversion function between control units, and generating synthesis control data. 를 포함하는 시뮬레이터 시스템.Simulator system comprising a. 제2항에 있어서, The method of claim 2, 상기 신호 처리 장치는 상기 제어 데이터 생성부에서 출력되는 데이터가 저장되는 시뮬레이션 데이터베이스를 더 포함하는 시뮬레이터 시스템.The signal processing apparatus further includes a simulation database in which data output from the control data generator is stored. 삭제delete 제1항에 있어서, The method of claim 1, 상기 항법 장치는, The navigation device, 각각 3조로 이루어진 가속도계와 자이로 센서로 이루어지며, 상기 가속도계 및 자이로 센서는 x, y, z 축에 대한 가속도 정보와 각속도 정보를 생성하는 센서부;Each of the three sets of accelerometer and gyro sensor, the accelerometer and gyro sensor comprises a sensor for generating acceleration information and angular velocity information for the x, y, z axis; 상기 센서부로부터 출력되는 각 축에 대한 가속도 정보와 각가속도 정보로 구성되는 모션 데이터를 생성하는 신호 처리부를 포함하는 항법 처리부Navigation processor including a signal processor for generating motion data consisting of acceleration information and angular acceleration information for each axis output from the sensor unit 를 포함하는 시뮬레이터 시스템.Simulator system comprising a. 제1항에 있어서, The method of claim 1, 사용자가 시뮬레이터를 구동시키는 코스 및 모션의 강도를 선택하도록 하는 인터페이스부를 더 포함하고, An interface unit for allowing the user to select the course and the intensity of the motion to drive the simulator, 상기 시뮬레이터 제어기는 사용자에 의하여 선택된 코스와 모션의 강도에 따라 상기 제어 데이터를 토대로 하여 시뮬레이터 데이터를 생성하는 것을 특징으로 한 시뮬레이터 시스템.And the simulator controller generates simulator data based on the control data according to the course and the intensity of the motion selected by the user. 모의하고자 하는 탈 것에 장착되는 카메라로부터 영상과 음성 정보를 생성하는 단계;Generating video and audio information from a camera mounted on a vehicle to be simulated; 카메라의 자세 변화에 따른 모션 데이터를 측정하는 단계;Measuring motion data according to a change in posture of a camera; 상기 모션 데이터를 처리하여 x, y, z축에 대한 각각의 가속도와 각가속도 값을 포함하는 위치정보와 회전운동 정보로 구성되는 모션 이펙트 데이터를 생성하는 단계;Processing the motion data to generate motion effect data including position information and rotational motion information including respective acceleration and angular acceleration values for x, y, and z axes; 상기 모션 이펙트 데이터로부터 모션 유닛을 분리하여 모션 유닛 데이터 스트림을 생성하고 상기 모션 유닛 데이터와 영상/음성 데이터를 동기화시키는 단계;Separating the motion unit from the motion effect data to generate a motion unit data stream and synchronizing the motion unit data and video / audio data; 상기 모션 유닛 데이터 스트림을 토대로 x, y, z 축에 대한 위치 정보와 회전 정보를 나타내는 모션 유닛을 인식 및 판별하는 단계;Recognizing and determining a motion unit representing position information and rotation information on x, y, and z axes based on the motion unit data stream; 상기 모션 유닛을 토대로 하여 고정된 자유도와 고정된 운동 공간을 갖는 시뮬레이터에 적합한 위치 정보와 회전 운동 정보를 나타내는 제어 유닛을 생성하고 제어 유닛간 변환함수를 생성하여 시뮬레이터를 제어하기 위한 합성 제어 데이터를 생성하는 단계Based on the motion unit, a control unit representing position information and rotational motion information suitable for a simulator having a fixed degree of freedom and a fixed motion space is generated, and a conversion function between the control units is generated to generate composite control data for controlling the simulator. Steps to 를 포함하는 시뮬레이터 프로그램 제작 방법.Simulator program production method comprising a. 제7항에 있어서, The method of claim 7, wherein 상기 합성 제어 데이터를 저장하는 단계;Storing the synthesis control data; 상기 저장된 합성 제어 데이터를 해석하여 시뮬레이터를 구동시키기 위한 시뮬레이터 데이터를 생성하는 단계; 및Interpreting the stored synthesis control data to generate simulator data for driving a simulator; And 상기 시뮬레이터 데이터를 토대로 시뮬레이터를 구동시키는 단계Driving a simulator based on the simulator data; 를 더 포함하는 시뮬레이터 프로그램 제작 방법.How to create a simulator program including more. 제7항에 있어서, The method of claim 7, wherein 상기 모션 데이터 측정 단계는, 모의하고자 하는 탈 것에 장착되는 카메라에 항법 장치를 설치하여, 상기 항법 장치로부터 카메라의 자세 변화에 따른 모션 데이터를 측정하는 것을 특징으로 하는 시뮬레이션 프로그램 제작 방법.The motion data measuring step includes installing a navigation device on a camera mounted on a vehicle to be simulated, and measuring motion data according to a change in attitude of the camera from the navigation device. 모의하고자 하는 탈 것에 장착되는 카메라에 설치되며, 촬영된 영상과 음성을 저장하는 비디오 녹화기; 카메라에 설치되어 카메라의 자세 변화에 따른 모션 데이터를 측정하는 항법 장치; 상기 항법 장치로부터 출력되는 모션 데이터와 상기 비디오 녹화기로부터의 영상/음성 데이터를 토대로 하여 시뮬레이터를 구동시키기 위한 제어 데이터를 생성하는 신호 처리 장치; 상기 신호 처리 장치에서 출력되는 제어 데이터를 토대로 하여 시뮬레이터를 구동시키기 위한 시뮬레이션 데이터를 생성하는 시뮬레이터 제어기; 및 상기 시뮬레이션 데이터를 토대로 하여 시뮬레이터를 구동시키는 모션 인터프리터를 포함하는 시뮬레이터 시스템의 제어에 따라 구동되는 시뮬레이터에 있어서, A video recorder installed in a camera mounted on a vehicle to be simulated and storing the captured video and audio; A navigation device installed in the camera and measuring motion data according to a change in posture of the camera; A signal processing device for generating control data for driving the simulator based on the motion data output from the navigation device and the video / audio data from the video recorder; A simulator controller for generating simulation data for driving the simulator based on the control data output from the signal processing apparatus; And a motion interpreter for driving the simulator based on the simulation data. 사용자가 시뮬레이터를 구동시키는 코스 및 모션의 강도를 선택하도록 하는 인터페이스부;An interface unit for allowing a user to select the course and motion intensity of driving the simulator; 상기 모션 인터프리터에서 출력되는 영상 데이터를 토대로 하여 해당 영상을 스크린에 영사하는 프로젝터;A projector for projecting the corresponding image on the screen based on the image data output from the motion interpreter; 상기 모션 인터프리터에서 출력되는 음성 데이터를 출력하는 스피커; 및A speaker for outputting voice data output from the motion interpreter; And 상기 모션 인터프리터에서 출력되는 시뮬레이션 데이터에 따라 사용자가 탑승하는 의자를 상하, 전후, 좌우의 3방향의 직선 운동과 x, y, z축의 회전 운동을 유기적으로 구동시키는 모션 구동기Motion driver for organically driving the linear motion in three directions of up, down, front, left and right and rotational motion of x, y, and z axes according to the simulation data output from the motion interpreter 를 포함하며,Including; 상기 시뮬레이션 데이터는, 상기 모션 데이터로부터 생성되고 고정된 x, y, z 축에 대한 위치 정보와 회전 정보를 나타내는 모션 유닛과, 상기 모션 유닛을 토대로 생성되고 고정된 자유도와 고정된 운동 공간을 갖는 시뮬레이터에 따른 위치 정보와 회전 운동 정보를 나타내는 제어 유닛, 그리고, 상기 영상/음성 데이터를 토대로 하여 생성되는 것을 특징으로 하는 모션 시뮬레이터.The simulation data includes a motion unit generated from the motion data and representing position information and rotation information about fixed x, y, and z axes, and a simulator having a fixed degree of freedom and a fixed motion space generated based on the motion unit. And a control unit for indicating positional information and rotational motion information, and generated based on the video / audio data.
KR10-2001-0033164A 2000-12-20 2001-06-13 method for making simulator program and simulator system using the method KR100479365B1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/KR2001/002209 WO2002050753A1 (en) 2000-12-20 2001-12-19 Method for making simulator program and simulator system using the method
US10/451,058 US20040054512A1 (en) 2000-12-20 2001-12-19 Method for making simulator program and simulator system using the method
AU2002217582A AU2002217582A1 (en) 2000-12-20 2001-12-19 Method for making simulator program and simulator system using the method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20000079346 2000-12-20
KR1020000079346 2000-12-20

Publications (2)

Publication Number Publication Date
KR20020050073A KR20020050073A (en) 2002-06-26
KR100479365B1 true KR100479365B1 (en) 2005-03-28

Family

ID=27683958

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2001-0033164A KR100479365B1 (en) 2000-12-20 2001-06-13 method for making simulator program and simulator system using the method

Country Status (1)

Country Link
KR (1) KR100479365B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101572206B1 (en) 2014-09-02 2015-11-27 동서대학교산학협력단 Tool for editor tool of camera motion frame using multimedia contents developing program, editing method for CMF and MOT file based on the same
KR20180129605A (en) 2017-05-26 2018-12-05 주식회사 롤랩스 Method for providing content service and system thereof
KR20210001382A (en) 2019-06-27 2021-01-06 (주)유디웍스 Service method for providing virtual reality(vr) data to user and and system thereof
KR20210001381A (en) 2019-06-27 2021-01-06 (주)유디웍스 Method for providing simulation data for experience and computer program performing the method

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100924693B1 (en) * 2002-09-04 2009-11-03 삼성전자주식회사 Network Interface Card for reducing the number of interrupt and method thereof
KR100919616B1 (en) * 2008-09-03 2009-09-30 (주)상상돔 omnidirectional running system using image map and motion tracking.
KR101739485B1 (en) * 2015-12-04 2017-05-24 주식회사 이제갬 Virtual experience system
CN112987593B (en) * 2021-02-19 2022-10-28 中国第一汽车股份有限公司 Visual positioning hardware-in-the-loop simulation platform and simulation method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4512745A (en) * 1983-05-16 1985-04-23 The United States Of America As Represented By The Secretary Of The Navy Flight simulator with dual probe multi-sensor simulation
JPH0576658A (en) * 1991-09-24 1993-03-30 Mitsui Eng & Shipbuild Co Ltd Horse riding simulator
US5277584A (en) * 1991-09-06 1994-01-11 Occusym Limited Liability Company Vehicle vibration simulator and method for programming and using same
US5865624A (en) * 1995-11-09 1999-02-02 Hayashigawa; Larry Reactive ride simulator apparatus and method
KR20000023963A (en) * 1999-12-24 2000-05-06 정정모 An image treating method for simulator

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4512745A (en) * 1983-05-16 1985-04-23 The United States Of America As Represented By The Secretary Of The Navy Flight simulator with dual probe multi-sensor simulation
US5277584A (en) * 1991-09-06 1994-01-11 Occusym Limited Liability Company Vehicle vibration simulator and method for programming and using same
JPH0576658A (en) * 1991-09-24 1993-03-30 Mitsui Eng & Shipbuild Co Ltd Horse riding simulator
US5865624A (en) * 1995-11-09 1999-02-02 Hayashigawa; Larry Reactive ride simulator apparatus and method
KR20000023963A (en) * 1999-12-24 2000-05-06 정정모 An image treating method for simulator

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101572206B1 (en) 2014-09-02 2015-11-27 동서대학교산학협력단 Tool for editor tool of camera motion frame using multimedia contents developing program, editing method for CMF and MOT file based on the same
KR20180129605A (en) 2017-05-26 2018-12-05 주식회사 롤랩스 Method for providing content service and system thereof
KR20190080851A (en) 2017-05-26 2019-07-08 주식회사 롤랩스 Method for providing content service and system thereof
KR20210001382A (en) 2019-06-27 2021-01-06 (주)유디웍스 Service method for providing virtual reality(vr) data to user and and system thereof
KR20210001381A (en) 2019-06-27 2021-01-06 (주)유디웍스 Method for providing simulation data for experience and computer program performing the method

Also Published As

Publication number Publication date
KR20020050073A (en) 2002-06-26

Similar Documents

Publication Publication Date Title
US20040054512A1 (en) Method for making simulator program and simulator system using the method
JP3745802B2 (en) Image generation / display device
US8624924B2 (en) Portable immersive environment using motion capture and head mounted display
US8615383B2 (en) Immersive collaborative environment using motion capture, head mounted display, and cave
CA2662318C (en) Immersive collaborative environment using motion capture, head mounted display, and cave
JP4351808B2 (en) A system for dynamically registering, evaluating and correcting human functional behavior
CN102929386A (en) Method and system of reproducing virtual reality dynamically
CN112150885B (en) Cockpit system based on mixed reality and scene construction method
KR101608342B1 (en) Unmanned booth type sensible motion riding system and operating method thereof
JP2000163178A (en) Interaction device with virtual character and storage medium storing program generating video of virtual character
KR100479365B1 (en) method for making simulator program and simulator system using the method
KR100724299B1 (en) Information processor
Barbagli et al. Washout filter design for a motorcycle simulator
JP2003066825A (en) Virtual reality device
JPH11153949A (en) Body feeling motion device
WO2005066918A1 (en) Simulation device and data transmission/reception method for simulation device
JPH10320590A (en) Composite image production device and method therefor
KR20160099075A (en) Image Simulating System, Apparatus for Controlling Platform and Method for Controlling Platform
JPH0981769A (en) Animation generation system
KR102388715B1 (en) Apparatus for feeling to remodeling historic cites
Avizzano et al. Washout filter design for a motorcycle simulator
JP4217008B2 (en) Camera work simulator and simulation method
CN110728054A (en) Method for extracting position and orientation data of passengers in large amusement facility and application method
JP2000089894A (en) Data conversion device, data conversion, method and computer-readable information recording medium which has recorded program having data conversion function
CN117292094B (en) Digitalized application method and system for performance theatre in karst cave

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130212

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20140110

Year of fee payment: 10

LAPS Lapse due to unpaid annual fee