KR100593399B1 - Parts maintenance system and method using augmented reality - Google Patents

Parts maintenance system and method using augmented reality Download PDF

Info

Publication number
KR100593399B1
KR100593399B1 KR1020030088729A KR20030088729A KR100593399B1 KR 100593399 B1 KR100593399 B1 KR 100593399B1 KR 1020030088729 A KR1020030088729 A KR 1020030088729A KR 20030088729 A KR20030088729 A KR 20030088729A KR 100593399 B1 KR100593399 B1 KR 100593399B1
Authority
KR
South Korea
Prior art keywords
parts
maintenance
image
hmd
component
Prior art date
Application number
KR1020030088729A
Other languages
Korean (ko)
Other versions
KR20050055507A (en
Inventor
이기석
김상원
김용완
최진성
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020030088729A priority Critical patent/KR100593399B1/en
Publication of KR20050055507A publication Critical patent/KR20050055507A/en
Application granted granted Critical
Publication of KR100593399B1 publication Critical patent/KR100593399B1/en

Links

Images

Abstract

본 발명은 증강현실을 이용한 부품 정비시스템 및 방법에 관한 것으로, 카메라가 구비된 시스루(See-through)형태의 HMD(Head Mounted Display)와 무선통신장치가 내장되어 있는 휴대단말기를 이용하여 복잡한 형태의 정밀기계나 항공기와 같이 다수의 부품들로 구성된 기계의 정비시 부품 정비서버를 통해 상기 부품의 종류를 쉽게 확인함으로써 부품의 관리가 편리하고, 동시에 부품 정비관련 정보를 얻을 수 있어 정비에 정확성을 증대시킬 수 있다.The present invention relates to a component maintenance system and method using augmented reality, and has a complex form using a see-through type head mounted display (HMD) equipped with a camera and a portable terminal having a wireless communication device. When maintenance of a machine composed of a large number of parts such as precision machine or aircraft, it is easy to check the type of the parts through the parts maintenance server, so it is convenient to manage the parts and at the same time, it is possible to obtain information on parts maintenance and increase the accuracy in maintenance. You can.

본 발명은 다수의 부품들로 구성된 기계의 정비시, 상기 부품들의 구성에 따른 영상정보를 획득하는 카메라가 구비된 시스루(See-through)형태의 HMD와, 상기 HMD에서 획득한 영상정보를 압축하고 랜더링 하는 휴대단말기와, 상기 휴대단말기로부터 전송된 영상정보를 부품의 기하학적 특징이 분석되어 저장된 3차원 기하학적 데이터베이스를 이용하여 비교하고, 상기 비교결과에 따라 확인된 부품의 종류에 의해 기 저장된 부품의 정비관련 데이터베이스로부터 관련 정비문서를 추출하여 상기 휴대단말기로 전송하는 부품 정비서버로 구성된다.The present invention compresses the HMD of a see-through type equipped with a camera for acquiring the image information according to the configuration of the components, and the image information obtained from the HMD, when the machine is composed of a plurality of components. Comparing image data transmitted from the mobile terminal with the rendering using a three-dimensional geometric database stored by analyzing the geometric characteristics of the component, and maintenance of the previously stored components by the type of the component identified according to the comparison result And a parts maintenance server which extracts a related maintenance document from a related database and transmits it to the portable terminal.

휴대단말기, HMD, 부품 정비서버, 카메라Mobile terminal, HMD, parts maintenance server, camera

Description

증강현실을 이용한 부품 정비시스템 및 방법{Parts Maintenance System and Method Using Augmented Reality} Parts Maintenance System and Method Using Augmented Reality             

도 1은 본 발명에 따른 증강현실을 이용한 부품 정비시스템의 구성도,1 is a block diagram of a parts maintenance system using augmented reality according to the present invention,

도 2는 본 발명에 따른 증강현실을 이용한 부품 정비시스템의 상세 블록도,2 is a detailed block diagram of a parts maintenance system using augmented reality according to the present invention;

도 3은 본 발명에 따른 증강현실을 이용한 부품 정비방법의 흐름도이다. Figure 3 is a flow chart of the parts maintenance method using augmented reality according to the present invention.

<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for the main parts of the drawings>

10 : HMD(Head Mounted Display) 20 : 휴대단말기10: HMD (Head Mounted Display) 20: Mobile Terminal

21 : 영상압축 모듈 22 : 랜더링 모듈21: video compression module 22: rendering module

23 : 통신 모듈 30 : 부품 정비서버23: communication module 30: parts maintenance server

31 : 통신관리 모듈 32 : 영상복원/생성 모듈31: communication management module 32: image restoration / generation module

33 : 영상분석 모듈 34 : 부품확인 모듈33: Image Analysis Module 34: Component Identification Module

40 : 3차원 기하학적 데이터베이스 50 : 정비관련 데이터베이스40: 3D geometric database 50: Maintenance related database

본 발명은 증강현실을 이용한 부품 정비시스템 및 방법에 관한 것으로, 더욱 상세하게는 카메라가 구비된 시스루(See-through)형태의 HMD(Head Mounted Display)와 무선통신장치가 내장되어 있는 휴대단말기를 이용하여 복잡한 형태의 정밀기계나 항공기와 같이 다수의 부품들로 구성된 기계의 정비시 부품 정비서버를 통해 부품정비의 편의성과 정확성을 증대시킬 수 있도록 한다.The present invention relates to a component maintenance system and method using augmented reality, and more particularly, using a see-through type HMD (Head Mounted Display) equipped with a camera and a portable terminal in which a wireless communication device is embedded. Therefore, it is possible to increase the convenience and accuracy of parts maintenance through the parts maintenance server for the maintenance of a machine composed of a large number of parts such as a precision machine of a complicated type or an aircraft.

일반적으로 항공기 등과 같이 복잡한 형태의 기계 구조물은 수십만 가지 이상의 부품이 조합되어 있으며 정밀도를 매우 까다롭게 요구하기 때문에 정비에 있어서 백과사전 정도 크기의 정비교범에서 항목을 찾아 정비를 수행해야 한다.In general, complex mechanical structures, such as aircraft, are composed of hundreds of thousands of parts and require very high precision, and therefore, maintenance must be performed by finding items in a maintenance manual about the size of an encyclopedia.

특히, 상기 항공기와 같이 안전을 중요시하는 기계의 경우에는 정비할 때 다양한 형태의 주의사항이 많이 존재하고 부품을 조립하는 과정이 복잡하여 작업능률이 떨어지는 문제점이 있다.In particular, in the case of a safety-critical machine such as the aircraft, there are a lot of cautions in various forms when maintenance, and the process of assembling parts is complicated and the work efficiency is low.

또한, 상기 부품의 보관시 기존에는 선반에 라벨을 붙여서 부품을 보관하고 찾는 방법을 이용하였으나, 그 종류가 다양하고 크기 차이도 많이 나기 때문에 해당 부품을 찾기까지 많은 시간이 소비되는 문제점 있다.In addition, in the storage of the parts, conventionally, a method of storing and finding parts by attaching a label to a shelf was used, but there are problems in that a lot of time is spent to find a corresponding part because the types thereof are varied and the size is also different.

따라서, 본 발명은 상술한 종래의 문제점을 해결하기 위한 것으로, 본 발명의 목적은 카메라가 구비된 HMD를 이용하여 복잡하게 설치되어 있는 부품의 영상을 촬영하고, 촬영된 영상을 휴대단말기를 통해 부품 정비서버로 전송하면, 상기 부품 정비서버는 상기 정비사의 휴대단말기로 촬영된 부품이 저장된 곳과 정비과정에 대한 정보를 3차원으로 제공함으로써 부품정비에 따른 시간을 줄이고 정확한 정비를 하도록 하는 증강현실을 이용한 부품 정비시스템 및 방법을 제공함에 있다.
Accordingly, the present invention is to solve the above-mentioned conventional problems, an object of the present invention is to take an image of a component is installed in a complex using a HMD equipped with a camera, the image is taken through a mobile terminal component When sent to the maintenance server, the parts maintenance server provides a three-dimensional information on the location and the maintenance process of the parts stored in the mobile terminal of the mechanic by providing augmented reality to reduce the time due to parts maintenance and accurate maintenance It is to provide a parts maintenance system and method used.

상기와 같은 본 발명의 목적을 달성하기 위한 증강현실을 이용한 부품 정비시스템은, 다수의 부품들로 구성된 기계의 정비시, 상기 부품들의 구성에 따른 영상정보를 획득하는 카메라가 구비된 시스루(See-through)형태의 HMD와, 상기 HMD에서 획득한 영상정보를 압축하고 랜더링 하는 휴대단말기와, 상기 휴대단말기로부터 전송된 영상정보를 부품의 기하학적 특징이 분석되어 저장된 3차원 기하학적 데이터베이스를 이용하여 비교하고, 상기 비교결과에 따라 확인된 부품의 종류에 의해 기 저장된 부품의 정비관련 데이터베이스로부터 관련 정비문서를 추출하여 상기 휴대단말기로 전송하는 부품 정비서버로 구성된다.
Parts maintenance system using augmented reality to achieve the object of the present invention as described above, when the maintenance of a machine composed of a plurality of parts, see-through provided with a camera for obtaining image information according to the configuration of the parts compare the HMD of the through) with a portable terminal for compressing and rendering the image information obtained from the HMD, and the image information transmitted from the portable terminal using a three-dimensional geometric database in which the geometric characteristics of the component are analyzed and stored. The parts maintenance server extracts the related maintenance document from the maintenance related database of the pre-stored parts according to the types of the parts identified according to the comparison result and transmits the maintenance document to the portable terminal.

상기와 같은 본 발명의 목적을 달성하기 위한 증강현실을 이용한 부품 정비방법은, HMD에 구비된 카메라로부터 다수의 부품들로 구성된 기계 부품의 영상을 획득하는 단계와, 상기 획득된 영상을 휴대단말기에 의해 압축하여 부품 정비서버로 전송하는 단계와, 상기 부품 정비서버로 전송된 부품의 영상을 이용하여 상기 부품의 특징을 분석하고, 분석된 결과에 의해 3차원 기하학적 데이터베이스로부터 부품의 종류를 확인하는 단계와, 상기 확인된 부품에 해당하는 정비관련 정보를 데이터베이스로부터 추출하여 상기 휴대단말기로 전송하는 단계 및 상기 휴대단말기 로 전송된 정보를 랜더링하여 HMD로 출력하는 단계로 이루어진다.
Component maintenance method using augmented reality to achieve the object of the present invention as described above, the step of acquiring the image of the mechanical component consisting of a plurality of parts from the camera provided in the HMD, and the obtained image to the portable terminal Compressing and transmitting the parts to the parts maintenance server, and analyzing the characteristics of the parts using the images of the parts transmitted to the parts maintenance server, and confirming the types of parts from the 3D geometric database based on the analyzed results. And extracting, from the database, maintenance related information corresponding to the identified parts to the portable terminal and rendering the information transmitted to the portable terminal and outputting the information to the HMD.

이하, 본 발명에 따른 실시예를 첨부한 도면을 참조하여 상세히 설명하기로 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명에 따른 증강현실을 이용한 부품 정비시스템의 구성도이다.1 is a block diagram of a component maintenance system using augmented reality according to the present invention.

도 1에 도시된 바와 같이, 상기 부품 정비시스템의 구성은 다수의 부품들로 구성된 기계의 정비시, 상기 부품들의 구성에 따른 영상정보를 획득하기 위한 카메라가 구비된 시스루(See-through)형태의 HMD(10)와, 상기 HMD(10)에서 획득한 영상정보를 압축하고 전송된 영상, 텍스트 기반의 정보를 랜더링 하는 휴대단말기(20)와, 상기 휴대단말기(20)로부터 전송된 영상정보를 부품의 기하학적 특징이 분석되어 저장된 3차원 기하학적 데이터베이스(40)를 조회하여 가장 비슷한 부품의 정보를 가져와 각각 부품의 길이, 모양, 색상 등을 비교하고, 상기 비교결과에 따라 확인된 부품의 종류에 의해 기 저장된 부품의 정비관련 데이터베이스로(50)부터 관련 정비문서 또는 정비부품의 위치를 추출하여 상기 휴대단말기(20)로 전송하는 부품 정비서버(30)로 구성된다.As shown in FIG. 1, the component maintenance system has a see-through type in which a camera for acquiring image information according to the configuration of the components is provided during maintenance of a machine composed of a plurality of components. The mobile terminal 20 compresses the image information acquired by the HMD 10, the image information acquired by the HMD 10, and renders the transmitted image and text-based information, and the image information transmitted from the mobile terminal 20. Look up the stored 3D geometrical database 40 and retrieve the most similar parts information and compare the length, shape, color, etc. of each part, It is composed of a parts maintenance server 30 for extracting the location of the associated maintenance document or maintenance parts from the maintenance-related database of the stored parts (50) and transmits it to the portable terminal (20).

도 2는 본 발명에 따른 증강현실을 이용한 부품 정비시스템의 상세 블록도이다.2 is a detailed block diagram of a parts maintenance system using augmented reality according to the present invention.

도 2에 도시된 바와 같이, 상기 부품 정비시스템의 상세 구성에 있어서, 상 기 HMD(10)에 구비된 카메라를 통해 획득한 영상을 상기 부품 정비서버(30)에 전송하고, 상기 부품 정비서버(30)로부터 상기 전송된 영상에 해당하는 부품 관련정보를 전송하면, 이를 상기 HMD(10)로 출력하는 휴대단말기(20)는 As shown in FIG. 2, in the detailed configuration of the parts maintenance system, the image acquired through the camera provided in the HMD 10 is transmitted to the parts maintenance server 30, and the parts maintenance server ( When transmitting the parts related information corresponding to the transmitted image from the 30, the mobile terminal 20 for outputting the information related to the HMD (10)

상기 HMD(10)로부터 전달된 부품의 영상정보를 압축하는 영상압축 모듈(21)과, 상기 영상압축 모듈(21)에 의해 압축된 영상을 상기 부품 정비서버(30)로 전송하는 통신 모듈(23)과, 상기 통신 모듈(23)을 통해 전송된 영상에 해당하는 부품 관련정보를 상기 부품 정비서버로(30)부터 받아 전송된 부품 정비관련 영상이나 텍스트 부품 확인 조회정보를 상기 HMD(10)로 출력하기 위해 랜더링 하는 랜더링 모듈(22)로 이루어진다.Image compression module 21 for compressing the image information of the parts transmitted from the HMD (10), and communication module 23 for transmitting the image compressed by the image compression module 21 to the parts maintenance server (30) ) And the parts maintenance related image or text parts confirmation inquiry information transmitted from the parts maintenance server 30 to the HMD 10 by receiving the parts related information corresponding to the image transmitted through the communication module 23 from the parts maintenance server 30. Rendering module 22 for rendering to output.

또한, 상기 휴대단말기(20)로부터 전송된 부품 영상정보에 해당하는 부품 정비관련 정보 및 부품의 저장위치 정보 제공하는 상기 부품 정비서버(30)는In addition, the parts maintenance server 30 for providing the parts maintenance-related information and the storage location information of the parts corresponding to the parts image information transmitted from the portable terminal 20 is

통신관리 모듈(31)을 통해 상기 휴대단말기(20)로부터 전송된 영상의 압축을 해제하는 영상복원/생성 모듈(32)과, 상기 영상복원/생성 모듈(32)에 의해 해제된 영상에 존재하는 부품의 특징을 분석하는 영상분석 모듈(33)과, 상기 영상분석 모듈(33)에 의해 분석된 부품의 특징을 상기 부품의 3차원 기하학적 데이터베이스(40)에 저장된 데이터와 비교하여 상기 부품의 종류를 확인하고, 상기 부품의 종류가 확인되면 상기 부품의 정비관련 데이터베이스(50)에서 상기 부품과 관련된 정비문서를 추출하는 부품확인 모듈(34)로 구성된다.The image restoration / generation module 32 which decompresses the image transmitted from the mobile terminal 20 through the communication management module 31 and the image that is present in the image released by the image restoration / generation module 32. The image analysis module 33 analyzes the feature of the component, and compares the feature of the component analyzed by the image analysis module 33 with data stored in the 3D geometric database 40 of the component to determine the type of the component. When the type of the component is confirmed, the component confirmation module 34 extracts the maintenance document related to the component from the maintenance-related database 50 of the component.

여기서, 상기 부품의 3차원 기하학적 데이터베이스(40)는 사전에 3차원 스캐너 등을 사용하여 부품의 3차원 기하학적 구조정보 및 부품의 길이, 모양, 색상 등을 입력 저장해 놓은 것으로, 상기 휴대단말기(20)로부터 전송된 부품의 영상에서 부품의 종류를 파악하여 부품의 저장위치 탐색이 용이하도록 한다.Here, the three-dimensional geometrical database 40 of the component is a pre-stored three-dimensional geometrical structure information of the component and the length, shape, color, etc. of the component using a three-dimensional scanner or the like, the mobile terminal 20 It is easy to search the storage location of the part by grasping the type of the part from the image of the part transmitted from.

또한, 상기 부품의 정비관련 데이터베이스(50)는 사전에 각 부품들의 영상, 바코드, 정비관련 문서 등을 입력 저장해 놓은 것으로, 상기 부품의 3차원 기하학적 데이터베이스(40)에 의해 상기 휴대단말기(20)로 전송된 부품의 종류가 확인되면, 상기 확인된 부품에 해당하는 부품의 정비방법 및 조립순서를 제공하여 상기 정비사의 신속한 정비가 이루어질 수 있도록 한다.In addition, the maintenance-related database 50 of the parts is stored in advance to store the image, bar code, maintenance-related documents, etc. of each part, to the portable terminal 20 by the three-dimensional geometric database 40 of the parts. When the type of the transmitted parts is confirmed, a maintenance method and an assembly order of the parts corresponding to the identified parts may be provided to enable rapid maintenance of the mechanic.

도 3은 본 발명에 따른 증강현실을 이용한 부품 정비방법의 흐름도이다. Figure 3 is a flow chart of the parts maintenance method using augmented reality according to the present invention.

도 3을 이용하여 본 발명에 따른 부품 정비방법을 보다 상세하게 설명하면 다음과 같다.Referring to the parts maintenance method according to the present invention in more detail with reference to Figure 3 as follows.

먼저, 항공기와 같은 복잡한 기계를 정비하는 정비사들이 카메라가 구비된 HMD(10)를 착용하고, 무선통신이 가능한 휴대단말기(20)를 휴대하여 상기 부품 정비서버(30)와의 통신이 가능한 상태인가를 체크한다.First, a mechanic who maintains a complex machine such as an aircraft wears an HMD 10 equipped with a camera, and carries a mobile terminal 20 capable of wireless communication to check whether communication with the component maintenance server 30 is possible. Check it.

상기 부품 정비서버(30)와의 통신 가능한 상태가 되면, 상기 정비사는 정비를 하고자 하는 기계에 관련된 부품이 상기 카메라에 촬영되도록 위치하고, 상기 휴대단말기(20)를 이용하여 버튼을 눌러 정지영상의 부품정보를 획득한다(S100).When the communication with the parts maintenance server 30 is possible, the mechanic is positioned so that the parts related to the machine to be maintained are photographed in the camera, and the parts information of the still image by pressing a button using the mobile terminal 20. Obtain (S100).

상기 획득된 부품정보 영상은 휴대단말기(20)에 의해 압축되어 무선 통신망 을 통해 상기 부품 정비서버(30)로 전송된다(S110).The obtained part information image is compressed by the mobile terminal 20 and transmitted to the parts maintenance server 30 through a wireless communication network (S110).

상기 부품 정비서버(30)로 전송된 부품의 영상은 영상복원/생성 모듈(32)에 의해 압축이 해제되고, 상기 압축 해제된 영상정보는 영상분석 모듈(33)에 의해 영상에 존재하는 부품들의 특징(칼라, 크기, 형태)이 분석된다.The image of the parts transmitted to the parts maintenance server 30 is decompressed by the image restoration / generation module 32, and the decompressed image information is decompressed by the image analysis module 33. Features (color, size, shape) are analyzed.

계속해서, 상기 부품확인 모듈(34)은 상기 영상분석 모듈(33)에 의해 분석된 부품정보에서 부품들의 경계면을 찾아내고, 각각의 길이나 모양, 색상 등을 이용하여 기 저장되어 있는 3차원 기하학적 데이터베이스(40)로부터 전송된 영상에 해당하는 부품의 종류를 확인한다(S120).Subsequently, the component identification module 34 finds a boundary surface of the components from the component information analyzed by the image analysis module 33, and stores three-dimensional geometric elements using respective lengths, shapes, and colors. The type of the part corresponding to the image transmitted from the database 40 is checked (S120).

그런 다음, 상기 확인된 부품에 해당하는 이미지, 바코드, 정비문서 등의 부품정보를 부품의 정비관련 데이터베이스(50)로부터 추출하여(S130), 상기 휴대단말기(20)로 전송하면(S140), 상기 휴대단말기(20)는 전송된 영상 또는 텍스트 기반의 정보를 랜더링하여 HMD(10)로 출력한다(S150).Then, the parts information such as the image, barcode, maintenance document, etc. corresponding to the identified parts are extracted from the maintenance-related database 50 of the parts (S130), and transmitted to the portable terminal 20 (S140), the The mobile terminal 20 renders the transmitted image or text based information and outputs the information to the HMD 10 (S150).

이와 같은 과정을 통해 상기 정비사는 정비를 요하는 기계에 관련된 교범을 소지할 필요 없이 신체에 착용된 HMD(10)를 통해 편리하게 상기 기계에 사용된 부품 관련정보를 열람하면서 정비를 수행할 수 있다.Through such a process, the mechanic can conveniently perform maintenance while viewing the parts related information used in the machine through the HMD 10 worn on the body without having to carry a manual related to the machine requiring maintenance. .

또한, 상기 각 부품들의 3차원 기하학적 데이터베이스(40)를 이용하여 3차원 랜더링을 수행함으로써 각 부품들이 어떠한 순서로 조립되는가를 실시간으로 상기 HMD(10)에 출력하여 상기 정비사의 정확한 부품정비가 이루어지도록 한다.In addition, by performing a three-dimensional rendering using the three-dimensional geometric database 40 of each of the parts to output in real time to the HMD (10) in what order each component is assembled so that the correct maintenance of the mechanic do.

이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 또한 설명하였으 나, 본 발명은 상기한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것을 물론이고, 그와 같은 변경은 기재된 청구범위 내에 있게 된다.Although the above has been shown and described with respect to the preferred embodiments of the present invention, the present invention is not limited to the above-described embodiment, it is usually in the field of the present invention without departing from the gist of the invention claimed in the claims. Anyone of ordinary skill in the art would appreciate that various modifications may be made, and such changes will fall within the scope of the appended claims.

이상에 설명한 바와 같이 본 발명에 의하면, 복잡한 기계의 부품 정비시 정비사가 무거운 정비교범을 들고 다니며 해당 부품을 찾아야 하는 수고를 덜어 정비시간을 줄일 수 있고, 다양한 종류의 부품에 대한 관리를 보다 정확하게 할 수 있어 품질확보와 인건비 절감의 효과가 있다. As described above, according to the present invention, a mechanic can carry a heavy maintenance manual when carrying out maintenance of a complicated machine, thereby reducing maintenance time, and more precisely managing various kinds of components. As a result, quality and labor cost can be reduced.

Claims (4)

다수의 부품들로 구성된 기계의 정비시, 상기 부품들의 구성에 따른 영상정보를 획득하는 카메라가 구비된 시스루(See-through)형태의 HMD;In the maintenance of a machine composed of a plurality of parts, HMD of the see-through (See-through) type having a camera for acquiring image information according to the configuration of the parts; 상기 HMD에서 획득한 영상정보를 압축하고 랜더링 하는 휴대단말기;A mobile terminal for compressing and rendering the image information obtained from the HMD; 통신관리 모듈을 통해 상기 휴대단말기로부터 전송된 영상의 압축을 해제하는 영상 복원/생성 모듈, 상기 영상 복원/생성 모듈에 의해 해제된 영상에 존재하는 부품의 기하학적 특징을 분석하는 영상분석 모듈; 및 상기 영상분석 모듈에 의해 분석된 부품의 기하학적 특징을 상기 부품의 3차원 기하학적 데이터베이스에 저장된 데이터와 비교하여 상기 부품의 종류를 확인하고, 상기 부품의 종류가 확인되면 상기 부품의 정비관련 데이터베이스에서 상기 부품의 종류와 관련된 정비문서를 추출하는 부품확인 모듈로 구성되고, 상기 휴대단말기로부터 전송된 영상정보를 분석하여 확인된 부품의 종류와 관련된 정비문서를 추출하여 상기 휴대단말기로 전송하는 부품 정비서버로 구성되는 것을 특징으로 하는 증강현실을 이용한 부품 정비시스템.An image restoration / generation module for decompressing an image transmitted from the mobile terminal through a communication management module, and an image analysis module for analyzing geometric features of components existing in the image released by the image restoration / generation module; And confirming the type of the part by comparing the geometrical features of the part analyzed by the image analysis module with data stored in the 3D geometric database of the part. It is composed of a component check module for extracting the maintenance document related to the type of the component, and analyzes the image information transmitted from the portable terminal to the component maintenance server for extracting the maintenance document related to the identified type of component and transmits it to the portable terminal Parts maintenance system using augmented reality, characterized in that the configuration. 제 1항에 있어서, 상기 휴대단말기는The mobile terminal of claim 1, wherein the mobile terminal 상기 HMD에 구비된 카메라를 통해 획득한 영상을 압축하는 영상압축 모듈;An image compression module for compressing an image acquired through a camera provided in the HMD; 상기 부품 정비서버로부터 전송된 부품 정비관련 영상이나 텍스트 부품 확인 조회정보를 상기 HMD로 출력하기 위해 랜더링 하는 랜더링 모듈; 및A rendering module that renders the parts maintenance related image or text parts identification inquiry information transmitted from the parts maintenance server to the HMD; And 상기 부품 정비서버와의 통신을 위한 통신 모듈로 구성되는 것을 특징으로 하는 증강현실을 이용한 부품 정비시스템.Component maintenance system using augmented reality, characterized in that consisting of a communication module for communication with the component maintenance server. 삭제delete HMD에 구비된 카메라로부터 다수의 부품들로 구성된 기계 부품의 영상을 획득하는 단계;Obtaining an image of a mechanical component composed of a plurality of components from a camera provided in the HMD; 상기 획득된 영상을 휴대단말기에 의해 압축하여 부품 정비서버로 전송하는 단계;Compressing the obtained image by a portable terminal and transmitting the compressed image to a parts maintenance server; 상기 부품 정비서버로 전송된 부품의 영상을 이용하여 상기 부품의 기하학적 특징을 분석하고, 분석된 결과에 의해 3차원 기하학적 데이터베이스로부터 부품의 종류를 확인하는 단계; Analyzing the geometrical features of the parts using the images of the parts transmitted to the parts maintenance server, and confirming the types of parts from the 3D geometric database based on the analyzed results; 상기 확인된 부품에 해당하는 정비관련 정보를 데이터베이스로부터 추출하여 상기 휴대단말기로 전송하는 단계; 및Extracting maintenance related information corresponding to the identified parts from a database and transmitting the maintenance related information to the mobile terminal; And 상기 휴대단말기로 전송된 정보를 랜더링하여 HMD로 출력하는 단계로 이루어지는 것을 특징으로 하는 증강현실을 이용한 부품 정비방법. Component maintenance method using augmented reality characterized in that it comprises the step of rendering the information transmitted to the portable terminal to output to the HMD.
KR1020030088729A 2003-12-08 2003-12-08 Parts maintenance system and method using augmented reality KR100593399B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020030088729A KR100593399B1 (en) 2003-12-08 2003-12-08 Parts maintenance system and method using augmented reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020030088729A KR100593399B1 (en) 2003-12-08 2003-12-08 Parts maintenance system and method using augmented reality

Publications (2)

Publication Number Publication Date
KR20050055507A KR20050055507A (en) 2005-06-13
KR100593399B1 true KR100593399B1 (en) 2006-06-28

Family

ID=37250475

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020030088729A KR100593399B1 (en) 2003-12-08 2003-12-08 Parts maintenance system and method using augmented reality

Country Status (1)

Country Link
KR (1) KR100593399B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101167432B1 (en) * 2008-03-14 2012-07-19 또딸 이메르지옹 Method for implementing rich video on mobile terminals

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100777215B1 (en) * 2006-05-30 2007-11-19 한국과학기술연구원 Augmented reality imaging system using a hand-held mobile device
KR100914848B1 (en) * 2007-12-15 2009-09-02 한국전자통신연구원 Method and architecture of mixed reality system
FR2951293A1 (en) * 2009-10-13 2011-04-15 Peugeot Citroen Automobiles Sa Mobile device e.g. mobile telephone, for assisting e.g. intervention on motor vehicle, has digital processing unit recognizing element of apparatus and displaying information by visually relating information to element
KR101180278B1 (en) * 2010-02-25 2012-09-07 연세대학교 산학협력단 User manual providing terminal, server and method using augmented reality
KR101435087B1 (en) * 2010-06-28 2014-08-27 엘지전자 주식회사 Method and apparatus for providing the operation state of an external device
KR101232639B1 (en) * 2011-06-02 2013-02-13 유비벨록스(주) System, mobile terminal and method for displaying visually 3d modeling of self-diagnosis status of vehicle
KR101399996B1 (en) * 2012-02-28 2014-05-28 삼성중공업 주식회사 Production management system and production management method
KR101411485B1 (en) * 2012-04-27 2014-06-24 삼성중공업 주식회사 Production management apparatus of ship or sea plant and production management method of the same
US20130288210A1 (en) * 2012-04-30 2013-10-31 Andrew James Stewart Integrated maintenance management system
US10534787B2 (en) * 2014-02-25 2020-01-14 The Boeing Company Remote data delivery system
KR20210062156A (en) 2019-11-21 2021-05-31 한국클라우드컴퓨팅연구조합 System for maintenance of facilities on site
KR102261828B1 (en) 2020-04-10 2021-06-08 주식회사 리드워크 Service system for product manual using augmented reality
KR102419018B1 (en) * 2021-08-05 2022-07-08 한화시스템 주식회사 Aircraft information management system and aircraft maintenance method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101167432B1 (en) * 2008-03-14 2012-07-19 또딸 이메르지옹 Method for implementing rich video on mobile terminals

Also Published As

Publication number Publication date
KR20050055507A (en) 2005-06-13

Similar Documents

Publication Publication Date Title
KR100593399B1 (en) Parts maintenance system and method using augmented reality
US10509821B2 (en) Data capture and identification system and process
US10410043B2 (en) System and method for part identification using 3D imaging
KR102419018B1 (en) Aircraft information management system and aircraft maintenance method
CN101489073B (en) Information processing device, information processing method
JP4670464B2 (en) Information reading apparatus, information processing apparatus, information communication system, information reading method, and program
CA2293943C (en) Picture feature extraction device, picture retrieving device, and methods thereof for picture feature extraction and retrieving picture
US20140185949A1 (en) Efficient compact descriptors in visual search systems
US20020090132A1 (en) Image capture and identification system and process
KR20110096500A (en) Location-based communication method and system
US20140363078A1 (en) Method and system for image analysis
KR20120001847A (en) System and method for searching image
CN110972519B (en) Information providing system and information providing method
EP0866606B1 (en) Method for temporally and spatially integrating and managing a plurality of videos, device used for the same, and recording medium storing program of the method
CN111338693B (en) Model construction-based target file generation method, server and storage medium
US20190355039A1 (en) Methods of managing and querying product inventory data and inventory management server
KR101320247B1 (en) Apparatus and method for image matching in augmented reality service system
CN111667347B (en) Big data type search system based on 5G communication technology and search method thereof
EP3739542A1 (en) Visual purchasing system and implementation method thereof
WO2022114180A1 (en) Method and system for generating dynamic two-dimensional code group
CN111582799B (en) Method and device for constructing object portrait
KR102565547B1 (en) Digital CMF database construction system
CN114503148B (en) Computer system, advertisement media management method, and recording medium
RU2565007C1 (en) Recognition of bank card identification data and device to this end
CN105788053A (en) System and method for acquiring queuing and number calling data and data capture client

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130527

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20130730

Year of fee payment: 18