KR20120034307A - Education system for railway maintenance using augmented reality - Google Patents

Education system for railway maintenance using augmented reality Download PDF

Info

Publication number
KR20120034307A
KR20120034307A KR1020100095775A KR20100095775A KR20120034307A KR 20120034307 A KR20120034307 A KR 20120034307A KR 1020100095775 A KR1020100095775 A KR 1020100095775A KR 20100095775 A KR20100095775 A KR 20100095775A KR 20120034307 A KR20120034307 A KR 20120034307A
Authority
KR
South Korea
Prior art keywords
train
information
dimensional
augmented reality
training
Prior art date
Application number
KR1020100095775A
Other languages
Korean (ko)
Other versions
KR101187843B1 (en
Inventor
송용수
윤용기
신승권
오석문
Original Assignee
한국철도기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국철도기술연구원 filed Critical 한국철도기술연구원
Priority to KR1020100095775A priority Critical patent/KR101187843B1/en
Publication of KR20120034307A publication Critical patent/KR20120034307A/en
Application granted granted Critical
Publication of KR101187843B1 publication Critical patent/KR101187843B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S5/00—Servicing, maintaining, repairing, or refitting of vehicles
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B25/00—Models for purposes not provided for in G09B23/00, e.g. full-sized devices for demonstration purposes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Processing Or Creating Images (AREA)

Abstract

PURPOSE: An education system for train maintenance and repair using augmented reality is provided to improve concentration degree by providing educational information for train maintenance and repair. CONSTITUTION: A camera(140) photographs realistic image of a train. A display unit(130) is installed within the educational room and displays the 3D realistic image of the train. A human body movement sensing unit(110) extracts 3D coordinate information according to the movement of a trainee. A data storing unit(120) stores the dimension virtual image consisting of characters and computer graphics. A calculation control unit(150) controls the 3D virtual image to be overlapped with the realistic image of the train using the 3D coordinate information from the human body movement sensing unit.

Description

증강현실을 이용한 열차유지보수 교육시스템 { Education System for railway maintenance using Augmented Reality }Education system for railway maintenance using Augmented Reality {Education System for railway maintenance using Augmented Reality}

본 발명은 증강현실을 이용한 열차유지보수 교육시스템에 관한 것으로서, 좀더 상세하게는 열차의 실사 영상을 3차원 공간이 확보되는 교육실 내에 디스플레이하고 교육생의 움직임에 따른 정보를 추출하여 열차의 가상 영상을 실사 영상에 중첩되게 디스플레이하여 교육생이 열차의 유지보수에 필요한 교육에 몰입할 수 있도록 유도할 수 있는 증강현실을 이용한 열차유지보수 교육시스템에 관한 것이다.
The present invention relates to a train maintenance training system using augmented reality, and more particularly, to display a live image of a train in a training room having a three-dimensional space, and extract information according to a trainee's movement to obtain a virtual image of a train. The present invention relates to a train maintenance education system using augmented reality that can be superimposed on a live-action image to induce a student to be immersed in the training required for the maintenance of the train.

일반적으로 열차는 지하철이나 전철 등과 같이 선로(線路) 위를 주행하는 대중교통수단으로서, 대단위의 수송에 유리하며 정시성을 갖는 장점이 있다.In general, a train is a public transportation that runs on a track such as a subway or a train, and has advantages in transporting large units and having timelyness.

이와 같은 열차는 전문성을 갖춘 유지보수 작업자에 의한 지속적인 유지 보수가 필요하다.Such trains require constant maintenance by professional maintenance workers.

한편, 기존에는 이와 같은 열차의 유지보수를 위한 작업자의 양성을 위해 실제의 대차 및 차량을 가지고 교육생을 교육하고 있는 실정이다.On the other hand, the current situation is to train the trainees with the actual bogies and vehicles to cultivate workers for the maintenance of such a train.

그런데, 실제 열차를 이용하면 교육생이 안전 수칙 등을 잘 숙지하더라도 부품이나 부속을 잘못 다뤄 다칠 우려가 있을 뿐만 아니라 복잡한 열차의 구조를 효율적으로 교육하는데 어려움이 있다.However, using a real train, even if the trainee is familiar with safety rules and the like, there is a risk of injuring parts or parts by mistake, and it is difficult to efficiently train a complicated train structure.

아울러, 열차의 좁은 공간 내에 설치되는 구조물의 경우에는 그 교육이 쉽지 않아 교육 몰입도 역시 떨어지는 문제도 있다.
In addition, in the case of the structure installed in the narrow space of the train, the education is not easy, there is also a problem that education immersion also falls.

따라서, 이러한 문제점들을 해결하기 위한 것으로서, 본 발명의 목적은 현실 환경과 가상환경을 접목한 증강현실을 이용하여 현실감 있는 열차의 유지보수에 필요한 정보를 제공하여 교육의 몰입도를 높일 수 있는 증강현실을 이용한 열차유지보수 교육시스템을 제공함에 있다.Therefore, to solve these problems, an object of the present invention by using augmented reality that combines the real environment and virtual environment to provide information necessary for the maintenance of realistic trains augmented reality that can increase the immersion of education It is to provide a train maintenance training system.

또한, 본 발명은 열차 유지보수를 위한 교육을 교육실 안에서 안전하면서도 현장감 있게 실시할 수 있는 증강현실을 이용한 열차유지보수 교육시스템을 제공함에도 그 목적이 있다.
In addition, an object of the present invention is to provide a train maintenance training system using augmented reality that can be carried out safely and realistically in the training room for train maintenance.

이와 같은 기술적 과제를 해결하기 위해 본 발명은; The present invention to solve this technical problem;

열차의 실사 영상을 촬영하는 카메라와, 교육실에 설치되어 열차의 실사 영상을 3차원으로 디스플레이하는 표시수단과, 상기 교육실의 교육생 움직임에 따른 3차원 좌표 정보를 추출하는 인체운동감지수단과, 열차 교육을 위한 3차원 좌표에 따른 문자 또는 컴퓨터 그래픽으로 이루어지는 3차원 가상 영상을 저장하는 데이터저장수단과, 상기 인체운동감지수단의 3차원 좌표 정보를 이용해 상기 데이터저장수단의 열차 교육용 3차원 가상 영상을 상기 표시수단을 통해 열차의 실사 영상에 중첩하여 디스플레이하도록 제어하는 연산제어수단으로 구성되는 것을 특징으로 하는 증강현실을 이용한 열차유지보수 교육시스템을 제공한다.A camera for photographing a live-action image of a train, display means installed in a training room for displaying a live-action image of a train in three dimensions, a human body motion sensing means for extracting three-dimensional coordinate information according to a trainee's movement in the training room; Data storage means for storing a three-dimensional virtual image consisting of letters or computer graphics according to three-dimensional coordinates for train training, and three-dimensional virtual image for train training of the data storage means by using the three-dimensional coordinate information of the human body motion detection means Provides a train maintenance education system using augmented reality, characterized in that it is configured by the operation control means for controlling to display the superimposed image of the train through the display means.

이때, 상기 카메라는 3차원 영상을 획득하기 위한 스테레오카메라인 것을 특징으로 한다.In this case, the camera is a stereo camera for acquiring a 3D image.

그리고, 상기 인체운동감지수단은 교육실의 교육생 위치 및 신체 부위와의 상관관계를 파악하기 위해 3차원 좌표 정보를 획득하는 비전 센서로 구성되는 것을 특징으로 한다.In addition, the human body motion detection means is characterized in that consisting of a vision sensor for obtaining three-dimensional coordinate information in order to determine the correlation between the student's position and body parts in the training room.

이때, 상기 인체운동감지수단은 교육생이 착용하며 교육생의 힘의 회전과 힘의 강약 등과 같은 힘 관련 정보를 추출하기 위해 교육생의 3차원 각도정보를 획득하는 바디 센서가 더 포함되는 것을 특징으로 한다.In this case, the human body motion detection means is characterized by further comprising a body sensor for acquiring the three-dimensional angle information of the trainees to extract the force-related information, such as the rotation of the trainees force and strength and strength of the trainees.

또한, 상기 인체운동감지수단은 교육실에 설치되며 교육생의 힘의 회전과 힘의 강약 등과 같은 힘 관련 정보를 추출하기 위해 교육생의 3차원 각도정보를 획득하는 적외선 센서가 더 포함되는 것을 특징으로 한다.In addition, the human body motion detection means is installed in the training room, characterized in that it further comprises an infrared sensor for obtaining the three-dimensional angle information of the trainees in order to extract the force-related information, such as the rotation of the trainees and the strength and strength of the trainees. .

그리고, 상기 인체운동감지수단으로부터 3차원 각도정보와 3차원 좌표 정보를 획득하며, 상기 연산제어수단은 상기 3차원 각도정보와 3차원 좌표 정보로부터 교육생의 동작패턴 정보를 추출하고, 상기 추출된 동작패턴 정보에 따른 데이터저장수단의 3차원 가상 영상을 표시수단으로 실사 영상에 중첩하여 교육실 내에 표시하는 것을 특징으로 한다.And obtaining 3D angle information and 3D coordinate information from the human body motion detecting means, wherein the arithmetic and control means extracts a trainee's motion pattern information from the 3D angle information and 3D coordinate information, and extracts the extracted motion. The three-dimensional virtual image of the data storage means according to the pattern information is superimposed on the live image with the display means, characterized in that for displaying in the training room.

이때, 상기 데이터저장수단은 열차 교육을 위한 3차원 좌표에 따른 문자 또는 컴퓨터 그래픽으로 이루어지는 3차원 가상 영상 정보와, 교육생의 3차원 각도정보 및 3차원 좌표 정보를 융합하여 추출한 교육생의 동작패턴 정보를 저장관리하는 것을 특징으로 한다.In this case, the data storage means is a three-dimensional virtual image information consisting of a letter or computer graphics according to the three-dimensional coordinates for train training, the student's motion pattern information extracted by fusing the three-dimensional angle information and three-dimensional coordinate information of the trainees It characterized in that the storage management.

그리고, 상기 데이터저장수단은 카메라를 통해 촬영되는 열차의 실사 영상 정보를 더 저장하는 하는 것을 특징으로 한다.The data storage means may further store live image information of a train photographed through a camera.

또한, 상기 연산제어수단은 퍼스널 컴퓨터, 노트북 컴퓨터, 산업용 컴퓨터 중에 어느 하나인 것을 특징으로 한다.
In addition, the operation control means is characterized in that any one of a personal computer, a notebook computer, an industrial computer.

본 발명에 따르면, 일정한 3차원 공간이 확보되는 교육샐 내에서 실사 영상에 교육용 가상 영상을 중첩하여 표시하는 증강현실을 이용하여 현실감 있는 열차의 유지보수에 필요한 정보를 제공하고 특히 교육생의 움직임에 따른 3차원 좌표 등에 따른 좀 더 상세한 열차 유지보수를 위한 교육 정보를 제공하여 교육에 대한 몰입도를 높여주어 교육 효과를 극대화하는 효과가 있다.According to the present invention, by using augmented reality that superimposes the virtual image for education on the live-action image within a training cell in which a certain three-dimensional space is secured, it provides information necessary for the maintenance of a realistic train and in particular according to the movement of the trainee. By providing training information for more detailed train maintenance according to 3D coordinates, etc., it is effective to maximize the educational effect by increasing the degree of immersion in training.

또한, 본 발명은 교육실 안에서 별도의 열차가 없이도 현장감 있게 교육을 진행할 수 있을 뿐만 아니라 안전하게 열차의 유지보수 교육을 할 수 있는 장점이 있다.
In addition, the present invention has the advantage that can be carried out without a separate train in the training room with a realistic sense of education as well as the maintenance training of the train safely.

도 1은 본 발명에 따른 증강현실을 이용한 열차유지보수 교육시스템의 개념도이다.
도 2는 본 발명에 따른 증강현실을 이용한 열차유지보수 교육시스템의 제어 구성도이다.
도 3은 본 발명에 따른 증강현실을 이용한 열차유지보수 교육 시스템의 설치 구성도이다.1 is a conceptual diagram of a train maintenance training system using augmented reality according to the present invention.
2 is a control block diagram of a train maintenance training system using augmented reality according to the present invention.
3 is an installation configuration of the train maintenance training system using augmented reality according to the present invention.

본 발명에 따른 증강현실을 이용한 열차유지보수 교육시스템을 첨부한 도면을 참고로 하여 이하 상세히 기술되는 실시 예에 의하여 그 특징들을 이해할 수 있을 것이다.
With reference to the accompanying drawings, a train maintenance training system using augmented reality according to the present invention will be understood by the embodiments described in detail below.

도 1 내지 도 3에 의하면, 본 발명에 따른 증강현실을 이용한 열차유지보수 교육시스템은 증강현실 기술을 이용한다.1 to 3, the train maintenance training system using augmented reality according to the present invention uses augmented reality technology.

이때, 증강현실이란 사용자가 눈으로 보는 현실세계에 가상 물체를 겹쳐 보여주는 기술이다. 현실세계에 실시간으로 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여주므로 혼합현실(Mixed Reality, MR)이라고도 한다. In this case, augmented reality is a technology of overlapping a virtual object in the real world seen by the user. It is also called Mixed Reality (MR) because it combines the virtual world with additional information in real time into one image.

이와 같은 증강현실은 현실 환경과 가상환경을 융합하는 복합형 가상현실 시스템(hybrid VR system)으로 1990년대 후반부터 미국?일본을 중심으로 연구?개발이 진행되고 있다.Such augmented reality is a hybrid VR system that converges the real environment and the virtual environment. Since the late 1990s, research and development have been carried out mainly in the US and Japan.

이때, 현실세계를 가상세계로 보완해주는 개념인 증강현실은 컴퓨터 그래픽으로 만들어진 가상환경을 사용하지만 주역은 현실 환경이다. 이때, 컴퓨터 그래픽은 현실 환경에 필요한 정보를 추가 제공하는 역할을 하는 것으로, 사용자가 보고 있는 실사 영상에 3차원 가상영상을 겹침(overlap)으로써 현실 환경과 가상화면과의 구분이 모호해지도록 한다. 한편, 가상현실기술은 가상환경에 사용자를 몰입하게 하여 실제 환경을 볼 수 없지만 실제 환경과 가상의 객체가 혼합된 증강현실 기술은 사용자가 실제 환경을 볼 수 있게 하여 보다 나은 현실감과 부가 정보를 제공할 수 있다.In this case, augmented reality, a concept that complements the real world with a virtual world, uses a virtual environment made of computer graphics, but the main role is a real environment. In this case, the computer graphic serves to provide additional information necessary for the real environment, and the distinction between the real environment and the virtual screen is blurred by overlapping the 3D virtual image on the live image that the user views. On the other hand, the virtual reality technology immerses the user in the virtual environment and cannot see the real environment, but the augmented reality technology, in which the real environment and the virtual object are mixed, provides the user with a better reality and additional information. can do.

이에 본 발명에서는 열차 유지보수 교육을 위해 증강현실 기술을 적용한 것으로, 비전 기술과 센서기술을 융합한 하이브리드 동작인식 기술로서 3차원 공간을 가지는 교육실(1)안에서 교육생(100)의 위치 및 신체 부위와의 상관관계를 파악하는데 유용한 비전 센서(112)를 활용하여 교육생들의 3차원 좌표 정보를 취득하고, 교육생(100)의 동작에 나타나는 힘의 회전과 힘의 강약 등과 같은 힘 관련 정보의 추출을 위해 사용자가 착용하는 바디 센서(114) 또는 교육실(1)에 설치되어 있는 적외선 센서(116)로부터 교육생의 3차원 각도정보를 추출한다. Accordingly, in the present invention, augmented reality technology is applied to train maintenance education, and the position and body part of the trainee 100 in the training room 1 having a three-dimensional space as a hybrid motion recognition technology incorporating vision technology and sensor technology. Acquisition of 3D coordinate information of trainees using vision sensor 112, which is useful for grasping the relationship between the trainees, and extraction of force-related information such as force rotation and force intensity of the trainee 100. The 3D angle information of the trainee is extracted from the body sensor 114 worn by the user or the infrared sensor 116 installed in the training room 1.

이와 같은 비전 센서(112)와 바디 센서(114) 또는 적외선 센서(116)의 인체 추출정보를 통해 교육생의 사이즈, 동작의 크기와 교육생의 위치와 방향에 제한적이지 않는 동작 특성정보를 추출한다. 이와 같은 동작 특성정보는 어플리케이션의 요구에 가장 이상적인 정보를 추출하여 복잡한 사용자 행동패턴에 대한 정합성을 높이고 시스템 연산 속도를 최적화하게 된다.Through the extraction information of the human body of the vision sensor 112, the body sensor 114 or the infrared sensor 116, the operation characteristic information that is not limited to the size of the trainee, the size of the action and the position and direction of the trainee is extracted. Such motion characteristic information extracts the most ideal information for the needs of the application to improve the consistency of complex user behavior patterns and optimize the system computation speed.

한편, 비전 센서(112)와 바디 센서(114) 또는 적외선 센서(116)의 추출정보를 융합하여 동작유형 정의 알고리즘을 구동하여 추출데이터를 검증하여 동작패턴 정보를 데이터베이스화하여 동작패턴DB(122)에 저장하고, 증강현실 구현을 위한 교육용 3차원 가상 영상 정보와 열차의 실사 영상 정보는 열차정보DB(124)에 저장 관리한다.On the other hand, the extraction information of the vision sensor 112 and the body sensor 114 or the infrared sensor 116 is fused to drive the operation type definition algorithm to verify the extracted data to database the operation pattern information to the operation pattern DB 122 And the three-dimensional virtual image information for education and real-world image information of the train for implementing augmented reality is stored and managed in the train information DB (124).

이 경우 상기 3차원 가상 영상은 문자나 컴퓨터 그래픽으로 이루어지는 가상의 영상으로 실사 영상에 중첩(overlap)하여 현실 환경과 가상 화면과의 구분이 모호해지도록 한다.In this case, the 3D virtual image is a virtual image composed of text or computer graphics, and overlaps the real image so that the distinction between the real environment and the virtual screen is blurred.

그리고, 상기 3차원 가상 영상을 열차의 실사 영상에 중첩하여 교육실(1)에 설치된 표시수단(130)을 통해 출력한다.
The 3D virtual image is superimposed on a live image of the train and output through the display means 130 installed in the training room 1.

이와 같은 본 발명은 열차(10)의 실사 영상을 촬영하는 카메라(140)와, 교육실(1)내에 설치되어 열차(10)의 실사 영상을 3차원으로 디스플레이하는 표시수단(130)과, 상기 교육실(1) 내 교육생의 움직임에 따른 3차원 좌표 정보를 추출하는 인체운동감지수단(110)과, 열차 교육을 위한 3차원 좌표에 따른 문자 또는 컴퓨터 그래픽으로 이루어지는 3차원 가상 영상을 저장하는 데이터저장수단(120)과, 상기 인체운동감지수단(110)의 3차원 좌표 정보를 이용해 상기 데이터저장수단(120)의 열차 교육용 3차원 가상 영상을 상기 표시수단(130)을 통해 열차의 실사 영상에 중첩하여 디스플레이하도록 제어하는 연산제어수단(150)으로 구성된다.
The present invention as described above is a camera 140 for photographing the live image of the train 10, the display means 130 is installed in the training room 1 to display the live image of the train 10 in three dimensions, and Human body motion detection means (110) for extracting three-dimensional coordinate information according to the movement of the trainee in the training room (1), and data storing a three-dimensional virtual image consisting of letters or computer graphics according to the three-dimensional coordinates for train training By using the storage means 120 and the three-dimensional coordinate information of the human body motion detection means 110, the train training three-dimensional virtual image of the data storage means 120 to the live image of the train through the display means 130 It is composed of arithmetic control means 150 for superimposing and displaying.

이하, 본 발명의 구성을 좀 더 구체적으로 설명한다.Hereinafter, the configuration of the present invention in more detail.

먼저, 열차(10)의 실사 영상을 촬영하는 카메라(140)는 3차원 영상을 획득하기 위한 스테레오카메라를 이용하며, 4곳에서 열차의 외부 및 내부를 촬영한다.First, the camera 140 for photographing the live image of the train 10 uses a stereo camera to acquire a 3D image, and photographs the outside and the inside of the train at four locations.

한편, 상기 표시수단(130)은 영사기로 구성함이 바람직하며, 상기 교육실(1)의 적어도 4곳에 설치되어 열차의 실사 영상을 3차원으로 디스플레이한다.On the other hand, the display means 130 is preferably composed of a projector, it is installed in at least four places of the education room (1) to display a live image of the train in three dimensions.

그리고, 상기 인체운동감지수단(110)은 교육실(1) 내의 교육생(100) 움직임에 따른 3차원 좌표 및 각도 정보를 추출하기 위한 것으로, 교육생(100)의 위치 및 신체 부위와의 상관관계를 파악하기 위해 3차원 좌표 정보를 획득하는 비전 센서(112)을 이용한다. In addition, the human body motion detection means 110 is to extract the three-dimensional coordinates and angle information according to the movement of the trainee 100 in the training room 1, the correlation between the position and body parts of the trainee 100 In order to grasp, the vision sensor 112 which acquires three-dimensional coordinate information is used.

이때, 상기 인체운동감지수단(110)은 교육생의 힘의 회전과 힘의 강약 등과 같은 힘 관련 정보를 추출하기 위해 교육생이 착용하는 바디 센서(114) 또는 교육실(1)에 설치되어 있는 적외선 센서(116)로부터 교육생의 3차원 각도정보를 획득한다. In this case, the human body motion detection means 110 is an infrared sensor installed in the body sensor 114 or the training room 1 worn by the trainees to extract the force-related information such as the rotation of the trainees and the strength and weakness of the trainees. Obtain three-dimensional angular information of the trainee from (116).

이와 같은 바디 센서(114) 또는 적외선 센서(116)로부터 획득되는 3차원 각도정보는 3차원 좌표 정보를 융합하여 교육생의 동작패턴 정보를 추출하고 상기 추출된 동작패턴 정보에 따른 적합한 열차 교육을 위한 3차원 좌표에 따른 문자 또는 컴퓨터 그래픽으로 이루어지는 3차원 가상 영상을 표시수단(130)인 영사기를 통해 실사 영상에 중첩하여 교육실(1) 내에 표시해주게 된다.The three-dimensional angle information obtained from the body sensor 114 or the infrared sensor 116 is to fuse the three-dimensional coordinate information to extract the trainee's motion pattern information, and 3 for appropriate train training according to the extracted motion pattern information The three-dimensional virtual image made of characters or computer graphics according to the dimensional coordinates is displayed in the education room 1 by superimposing the real image on the projector through the projector.

이때, 상기 바디 센서(114)는 압력센서나 자이로센서 등의 다양한 센서를 선택적으로 사용할 수 있음은 당연하다. 특히 상기 바디 센서(114)는 추출된 3차원 각도정보를 연산제어수단(150)에 유선으로 전송하거나 무선으로 전송할 수 있으며, 이 경우 인터페이스가 구비되어야 하며, 인터페이스는 공지의 기술로서 블루투스 모듈을 이용한 통신 등이 있다.At this time, it is obvious that the body sensor 114 may selectively use various sensors such as a pressure sensor or a gyro sensor. In particular, the body sensor 114 may transmit the extracted three-dimensional angle information to the operation control means 150 by wire or wirelessly, in which case an interface should be provided, the interface using a Bluetooth module as a known technique. Communication.

한편, 상기 데이터저장수단(120)은 열차 교육을 위한 3차원 좌표에 따른 문자 또는 컴퓨터 그래픽으로 이루어지는 3차원 가상 영상 정보를 열차정보DB(124)와, 교육생의 3차원 각도정보 및 3차원 좌표 정보를 융합하여 추출한 교육생의 동작패턴 정보를 동작패턴DB(122)를 저장관리한다.On the other hand, the data storage means 120 is a train information DB 124 and three-dimensional virtual image information consisting of letters or computer graphics according to the three-dimensional coordinates for train training, and three-dimensional angle information and three-dimensional coordinate information of the trainee The operation pattern DB 122 stores and manages the operation pattern information of the trainee extracted by fusion.

물론, 상기 데이터저장수단(120)은 카메라(140)를 통해 촬영되는 열차의 실사 영상 정보를 열차정보DB(124)에 저장 관리함도 바람직하다.Of course, the data storage means 120 may also store and manage live-action image information of the train photographed through the camera 140 in the train information DB 124.

한편, 상기 데이터저장수단(120)의 열차 교육용 3차원 가상 영상은 상기 표시수단(130)이 아닌 교육생(100)이 착용하는 공지(公知)의 HUD장치(미도시됨)로 디스플레이해주어 교육에 활용함도 가능하다.On the other hand, the three-dimensional virtual image of the train training of the data storage means 120 is displayed by a public HUD device (not shown) worn by the student 100, not the display means 130 is utilized for education It is also possible.

그리고, 상기 연산제어수단(150)은 퍼스널 컴퓨터, 노트북 컴퓨터, 산업용 컴퓨터 등의 다양한 종류의 컴퓨터를 사용할 수 있다. 그리고, 상기 교육실(1)의 내부에는 교육용 음성멘트를 출력하기 위한 스피커(160)를 더 구비하고, 상기 데이터저장수단(120)에는 음성정보를 더 저장하여 필요에 따라 열차의 각부 또는 조작 예 등을 음성 안내해 주도록 함이 바람직하다.
The operation control means 150 may use various kinds of computers such as a personal computer, a notebook computer, an industrial computer, and the like. In addition, the inside of the training room (1) is further provided with a speaker 160 for outputting the educational voicement, the data storage means 120 further stores the voice information, if necessary, the parts of the train or operation example It is preferable to provide a voice guidance.

이하, 본 발명에 따른 증강현실을 이용한 열차유지보수 교육 과정을 설명한다.Hereinafter, a train maintenance training course using augmented reality according to the present invention will be described.

교육생(100)이 교육실(1)에 진입하는 경우 상기 교육실(1)에서의 교육생(100) 움직임은 인체운동감지수단(110)인 비전 센서(112)를 통해 교육생의 3차원 좌표 정보를 획득하고, 교육생이 착용한 상태의 바디 센서(114) 또는 교육실(1)에 설치되어 있는 적외선 센서(116)를 통해 교육생(100)의 3차원 각도정보를 획득한다. When the trainee 100 enters the training room 1, the trainee 100 moves in the training room 1 to obtain 3D coordinate information of the trainee through the vision sensor 112, which is the human body motion sensing means 110. It acquires, and obtains the three-dimensional angle information of the trainee 100 through the body sensor 114 in the state worn by the trainee or the infrared sensor 116 installed in the training room (1).

상기 3차원 좌표 정보와 3차원 각도정보는 연산제어수단(150)의 연산에 의해 교육생(100)의 동작패턴 정보를 추출하게 된다. 즉 교육생(100)의 동작패턴 정보를 추출하여 좀 더 정확한 교육용 3차원 가상 영상을 실사 영상에 중첩하여 제공할 수 있게 된다.The three-dimensional coordinate information and the three-dimensional angle information is to extract the operation pattern information of the trainee 100 by the calculation of the operation control means 150. That is, by extracting the operation pattern information of the trainee 100, it is possible to provide a more accurate training 3D virtual image superimposed on the live image.

이와 같이 동작패턴 정보가 추출되면 데이터저장수단(120)에 저장됨은 물론, 동작패턴 정보에 해당하는 상기 데이터저장수단(120)에 저장된 교육용 3차원 가상 영상을 표시수단(130)을 통해 열차의 실사 영상에 중첩하여 디스플레이한다.When the operation pattern information is extracted as described above, the train is stored in the data storage means 120 as well as the live-action of the train through the display means 130 displaying the educational 3D virtual image stored in the data storage means 120 corresponding to the operation pattern information. The image is superimposed and displayed.

이와 같은 3차원 입체 교육을 통해 교육생의 열차 유지보수에 대한 교육 몰입도를 증가시킴은 물론, 안전 교육을 할 수 있는 장점이 있다.
Such three-dimensional three-dimensional education increases the trainees' commitment to train maintenance of trainees, as well as has the advantage of safety training.

이상에서는 본 발명의 바람직한 실시 예를 설명하였으나, 본 발명의 권리범위는 이에 한정되지 않으며, 본 발명의 실시 예와 실질적으로 균등한 범위에 있는 것까지 본 발명의 권리범위가 미치는 것으로 본 발명의 정신을 벗어나지 않는 범위 내에서 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것이다.
Although the preferred embodiment of the present invention has been described above, the scope of the present invention is not limited thereto, and the scope of the present invention extends to the scope of the present invention to be substantially equivalent to the embodiment of the present invention. Various modifications can be made by those skilled in the art without departing from the scope of the present invention.

1: 교육실 100: 교육생
110: 인체운동감지수단 112: 비전 센서
114: 바디 센서 116: 적외선 센서
120: 데이터저장수단 130: 표시수단
140: 카메라 150: 연산제어수단
160: 스피커1: training room 100: trainee
110: motion detection means 112: vision sensor
114: body sensor 116: infrared sensor
120: data storage means 130: display means
140: camera 150: operation control means
160: speaker

Claims (9)

열차의 실사 영상을 촬영하는 카메라와, 교육실에 설치되어 열차의 실사 영상을 3차원으로 디스플레이하는 표시수단과, 상기 교육실의 교육생 움직임에 따른 3차원 좌표 정보를 추출하는 인체운동감지수단과, 열차 교육을 위한 3차원 좌표에 따른 문자 또는 컴퓨터 그래픽으로 이루어지는 3차원 가상 영상을 저장하는 데이터저장수단과, 상기 인체운동감지수단의 3차원 좌표 정보를 이용해 상기 데이터저장수단의 열차 교육용 3차원 가상 영상을 상기 표시수단을 통해 열차의 실사 영상에 중첩하여 디스플레이하도록 제어하는 연산제어수단으로 구성되는 것을 특징으로 하는 증강현실을 이용한 열차유지보수 교육시스템.
A camera for photographing a live-action image of a train, display means installed in a training room for displaying a live-action image of a train in three dimensions, a human body motion sensing means for extracting three-dimensional coordinate information according to a trainee's movement in the training room; Data storage means for storing a three-dimensional virtual image consisting of letters or computer graphics according to three-dimensional coordinates for train training, and three-dimensional virtual image for train training of the data storage means by using the three-dimensional coordinate information of the human body motion detection means Train maintenance education system using augmented reality, characterized in that it is configured by the operation control means for controlling to display the superimposed image of the train through the display means.
제 1항에 있어서,
상기 카메라는 3차원 영상을 획득하기 위한 스테레오카메라인 것을 특징으로 하는 증강현실을 이용한 열차유지보수 교육시스템.
The method of claim 1,
The camera is a train maintenance education system using augmented reality, characterized in that the stereo camera to obtain a three-dimensional image.
제 1항에 있어서,
상기 인체운동감지수단은 교육실의 교육생 위치 및 신체 부위와의 상관관계를 파악하기 위해 3차원 좌표 정보를 획득하는 비전 센서로 구성되는 것을 특징으로 하는 증강현실을 이용한 열차유지보수 교육시스템.
The method of claim 1,
The human body motion detection means train maintenance system using augmented reality, characterized in that consisting of a vision sensor for obtaining three-dimensional coordinate information to determine the correlation between the student's position and body parts in the training room.
제 3항에 있어서,
상기 인체운동감지수단은 교육생이 착용하며 교육생의 힘의 회전과 힘의 강약 등과 같은 힘 관련 정보를 추출하기 위해 교육생의 3차원 각도정보를 획득하는 바디 센서가 더 포함되는 것을 특징으로 하는 증강현실을 이용한 열차유지보수 교육시스템.
The method of claim 3,
The human body motion detection means is augmented reality characterized in that the wearer trained by the trainee body to obtain the three-dimensional angle information of the trainee to extract the force-related information, such as the rotation of the force and strength of the trainee Train maintenance education system using.
제 3항에 있어서,
상기 인체운동감지수단은 교육실에 설치되며 교육생의 힘의 회전과 힘의 강약 등과 같은 힘 관련 정보를 추출하기 위해 교육생의 3차원 각도정보를 획득하는 적외선 센서가 더 포함되는 것을 특징으로 하는 증강현실을 이용한 열차유지보수 교육시스템.
The method of claim 3,
The human body motion detection means is installed in the training room and augmented reality, characterized in that it further comprises an infrared sensor for obtaining the three-dimensional angle information of the trainees to extract the force-related information, such as the rotation of the trainees and the strength and strength of the trainees Train maintenance education system using
제 1항에 있어서,
상기 인체운동감지수단으로부터 3차원 각도정보와 3차원 좌표 정보를 획득하며, 상기 연산제어수단은 상기 3차원 각도정보와 3차원 좌표 정보로부터 교육생의 동작패턴 정보를 추출하고, 상기 추출된 동작패턴 정보에 따른 데이터저장수단의 3차원 가상 영상을 표시수단으로 실사 영상에 중첩하여 교육실 내에 표시하는 것을 특징으로 하는 증강현실을 이용한 열차유지보수 교육시스템.
The method of claim 1,
Acquiring three-dimensional angle information and three-dimensional coordinate information from the human body motion detection means, the operation control means extracts the trainee's motion pattern information from the three-dimensional angle information and three-dimensional coordinate information, the extracted motion pattern information Train maintenance training system using augmented reality, characterized in that to display the three-dimensional virtual image of the data storage means according to the superimposed image in the training room.
제 5항에 있어서,
상기 데이터저장수단은 열차 교육을 위한 3차원 좌표에 따른 문자 또는 컴퓨터 그래픽으로 이루어지는 3차원 가상 영상 정보와, 교육생의 3차원 각도정보 및 3차원 좌표 정보를 융합하여 추출한 교육생의 동작패턴 정보를 저장관리하는 것을 특징으로 하는 증강현실을 이용한 열차유지보수 교육시스템.
6. The method of claim 5,
The data storage means stores and manages three-dimensional virtual image information consisting of letters or computer graphics according to three-dimensional coordinates for train training, and trainee's motion pattern information extracted by fusing the three-dimensional angle information and three-dimensional coordinate information of the student. Train maintenance training system using augmented reality, characterized in that.
제 1항에 있어서,
상기 데이터저장수단은 카메라를 통해 촬영되는 열차의 실사 영상 정보를 더 저장하는 하는 것을 특징으로 하는 증강현실을 이용한 열차유지보수 교육시스템.
The method of claim 1,
The data storage means is train maintenance using the augmented reality, characterized in that for storing the actual image information of the train taken by the camera further.
제 1항에 있어서,
상기 연산제어수단은 퍼스널 컴퓨터, 노트북 컴퓨터, 산업용 컴퓨터 중에 어느 하나인 것을 특징으로 하는 증강현실을 이용한 열차유지보수 교육시스템.The method of claim 1,
The operation control means is a train maintenance education system using augmented reality, characterized in that any one of a personal computer, a notebook computer, an industrial computer.
KR1020100095775A 2010-10-01 2010-10-01 Education System for railway maintenance using Augmented Reality KR101187843B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100095775A KR101187843B1 (en) 2010-10-01 2010-10-01 Education System for railway maintenance using Augmented Reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100095775A KR101187843B1 (en) 2010-10-01 2010-10-01 Education System for railway maintenance using Augmented Reality

Publications (2)

Publication Number Publication Date
KR20120034307A true KR20120034307A (en) 2012-04-12
KR101187843B1 KR101187843B1 (en) 2012-10-05

Family

ID=46136708

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100095775A KR101187843B1 (en) 2010-10-01 2010-10-01 Education System for railway maintenance using Augmented Reality

Country Status (1)

Country Link
KR (1) KR101187843B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200011644A (en) * 2018-07-25 2020-02-04 주식회사 앤씽크 Maintenance training drill for elevators using maintenance training simulator of virtual reality base elevator

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102312015B1 (en) 2020-03-03 2021-10-14 주식회사 코아소프트 Remote assistance apparatus using augmented reality

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004287902A (en) 2003-03-24 2004-10-14 Olympus Corp Composite reality image presentation device
JP4137078B2 (en) 2005-04-01 2008-08-20 キヤノン株式会社 Mixed reality information generating apparatus and method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200011644A (en) * 2018-07-25 2020-02-04 주식회사 앤씽크 Maintenance training drill for elevators using maintenance training simulator of virtual reality base elevator

Also Published As

Publication number Publication date
KR101187843B1 (en) 2012-10-05

Similar Documents

Publication Publication Date Title
Turkan et al. Mobile augmented reality for teaching structural analysis
Mekni et al. Augmented reality: Applications, challenges and future trends
Romli et al. Mobile augmented reality (AR) marker-based for indoor library navigation
Carbonell-Carrera et al. Virtual learning environments to enhance spatial orientation
CN103809744A (en) Image display device, image display method, and computer program
US20180349702A1 (en) Systems, devices, articles, and methods for creating and using trained robots with augmented reality
CN103080983A (en) Vehicle system
JP2015114757A (en) Information processing apparatus, information processing method, and program
JP2018205828A (en) Ar video generation device
KR20140080720A (en) Augmented Reality imaging based sightseeing guide apparatus
KR20120038322A (en) Augmented reality apparatus and method to amalgamate marker or makerless
CN112861725A (en) Navigation prompting method and device, electronic equipment and storage medium
CN109990797A (en) A kind of control method of the augmented reality navigation display for HUD
JP6345381B2 (en) Augmented reality system
JP2021002290A (en) Image processing apparatus and method for controlling the same
Sánchez-Acevedo et al. Mobile Augmented Reality
Martínez-Gutiérrez et al. Convergence of virtual reality and digital twin technologies to enhance digital operators’ training in industry 4.0
KR101187843B1 (en) Education System for railway maintenance using Augmented Reality
US20170206798A1 (en) Virtual Reality Training Method and System
Masal et al. Development of a visual to audio and tactile substitution system for mobility and orientation of visually impaired people: a review
KR20100086128A (en) A situational training system based on the mixed reality
Sánchez-Acevedo et al. Mobile augmented reality: evolving human-computer interaction
Sarkar et al. Exploration and Aspects on Augmented Reality
Skulimowski et al. Interactive travel aid for the visually impaired: from depth maps to sonic patterns and verbal messages
WO2024095356A1 (en) Graphics generation device, graphics generation method, and program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170905

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee