KR20050055507A - 증강현실을 이용한 부품 정비시스템 및 방법 - Google Patents

Abstract

본 발명은 증강현실을 이용한 부품 정비시스템 및 방법에 관한 것으로, 카메라가 구비된 시스루(See-through)형태의 HMD(Head Mounted Display)와 무선통신장치가 내장되어 있는 휴대단말기를 이용하여 복잡한 형태의 정밀기계나 항공기와 같이 다수의 부품들로 구성된 기계의 정비시 부품 정비서버를 통해 상기 부품의 종류를 쉽게 확인함으로써 부품의 관리가 편리하고, 동시에 부품 정비관련 정보를 얻을 수 있어 정비에 정확성을 증대시킬 수 있다.

본 발명은 다수의 부품들로 구성된 기계의 정비시, 상기 부품들의 구성에 따른 영상정보를 획득하는 카메라가 구비된 시스루(See-through)형태의 HMD와, 상기 HMD에서 획득한 영상정보를 압축하고 랜더링 하는 휴대단말기와, 상기 휴대단말기로부터 전송된 영상정보를 부품의 기하학적 특징이 분석되어 저장된 3차원 기하학적 데이터베이스를 이용하여 비교하고, 상기 비교결과에 따라 확인된 부품의 종류에 의해 기 저장된 부품의 정비관련 데이터베이스로부터 관련 정비문서를 추출하여 상기 휴대단말기로 전송하는 부품 정비서버로 구성된다.

Description

증강현실을 이용한 부품 정비시스템 및 방법{Parts Maintenance System and Method Using Augmented Reality}

본 발명은 증강현실을 이용한 부품 정비시스템 및 방법에 관한 것으로, 더욱 상세하게는 카메라가 구비된 시스루(See-through)형태의 HMD(Head Mounted Display)와 무선통신장치가 내장되어 있는 휴대단말기를 이용하여 복잡한 형태의 정밀기계나 항공기와 같이 다수의 부품들로 구성된 기계의 정비시 부품 정비서버를 통해 부품정비의 편의성과 정확성을 증대시킬 수 있도록 한다.

일반적으로 항공기 등과 같이 복잡한 형태의 기계 구조물은 수십만 가지 이상의 부품이 조합되어 있으며 정밀도를 매우 까다롭게 요구하기 때문에 정비에 있어서 백과사전 정도 크기의 정비교범에서 항목을 찾아 정비를 수행해야 한다.

특히, 상기 항공기와 같이 안전을 중요시하는 기계의 경우에는 정비할 때 다양한 형태의 주의사항이 많이 존재하고 부품을 조립하는 과정이 복잡하여 작업능률이 떨어지는 문제점이 있다.

또한, 상기 부품의 보관시 기존에는 선반에 라벨을 붙여서 부품을 보관하고 찾는 방법을 이용하였으나, 그 종류가 다양하고 크기 차이도 많이 나기 때문에 해당 부품을 찾기까지 많은 시간이 소비되는 문제점 있다.

따라서, 본 발명은 상술한 종래의 문제점을 해결하기 위한 것으로, 본 발명의 목적은 카메라가 구비된 HMD를 이용하여 복잡하게 설치되어 있는 부품의 영상을 촬영하고, 촬영된 영상을 휴대단말기를 통해 부품 정비서버로 전송하면, 상기 부품 정비서버는 상기 정비사의 휴대단말기로 촬영된 부품이 저장된 곳과 정비과정에 대한 정보를 3차원으로 제공함으로써 부품정비에 따른 시간을 줄이고 정확한 정비를 하도록 하는 증강현실을 이용한 부품 정비시스템 및 방법을 제공함에 있다.

상기와 같은 본 발명의 목적을 달성하기 위한 증강현실을 이용한 부품 정비시스템은, 다수의 부품들로 구성된 기계의 정비시, 상기 부품들의 구성에 따른 영상정보를 획득하는 카메라가 구비된 시스루(See-through)형태의 HMD와, 상기 HMD에서 획득한 영상정보를 압축하고 랜더링 하는 휴대단말기와, 상기 휴대단말기로부터 전송된 영상정보를 부품의 기하학적 특징이 분석되어 저장된 3차원 기하학적 데이터베이스를 이용하여 비교하고, 상기 비교결과에 따라 확인된 부품의 종류에 의해 기 저장된 부품의 정비관련 데이터베이스로부터 관련 정비문서를 추출하여 상기 휴대단말기로 전송하는 부품 정비서버로 구성된다.

상기와 같은 본 발명의 목적을 달성하기 위한 증강현실을 이용한 부품 정비방법은, HMD에 구비된 카메라로부터 다수의 부품들로 구성된 기계 부품의 영상을 획득하는 단계와, 상기 획득된 영상을 휴대단말기에 의해 압축하여 부품 정비서버로 전송하는 단계와, 상기 부품 정비서버로 전송된 부품의 영상을 이용하여 상기 부품의 특징을 분석하고, 분석된 결과에 의해 3차원 기하학적 데이터베이스로부터 부품의 종류를 확인하는 단계와, 상기 확인된 부품에 해당하는 정비관련 정보를 데이터베이스로부터 추출하여 상기 휴대단말기로 전송하는 단계 및 상기 휴대단말기로 전송된 정보를 랜더링하여 HMD로 출력하는 단계로 이루어진다.

이하, 본 발명에 따른 실시예를 첨부한 도면을 참조하여 상세히 설명하기로 한다.

도 1은 본 발명에 따른 증강현실을 이용한 부품 정비시스템의 구성도이다.

도 1에 도시된 바와 같이, 상기 부품 정비시스템의 구성은 다수의 부품들로 구성된 기계의 정비시, 상기 부품들의 구성에 따른 영상정보를 획득하기 위한 카메라가 구비된 시스루(See-through)형태의 HMD(10)와, 상기 HMD(10)에서 획득한 영상정보를 압축하고 전송된 영상, 텍스트 기반의 정보를 랜더링 하는 휴대단말기(20)와, 상기 휴대단말기(20)로부터 전송된 영상정보를 부품의 기하학적 특징이 분석되어 저장된 3차원 기하학적 데이터베이스(40)를 조회하여 가장 비슷한 부품의 정보를 가져와 각각 부품의 길이, 모양, 색상 등을 비교하고, 상기 비교결과에 따라 확인된 부품의 종류에 의해 기 저장된 부품의 정비관련 데이터베이스로(50)부터 관련 정비문서 또는 정비부품의 위치를 추출하여 상기 휴대단말기(20)로 전송하는 부품 정비서버(30)로 구성된다.

도 2는 본 발명에 따른 증강현실을 이용한 부품 정비시스템의 상세 블록도이다.

도 2에 도시된 바와 같이, 상기 부품 정비시스템의 상세 구성에 있어서, 상기 HMD(10)에 구비된 카메라를 통해 획득한 영상을 상기 부품 정비서버(30)에 전송하고, 상기 부품 정비서버(30)로부터 상기 전송된 영상에 해당하는 부품 관련정보를 전송하면, 이를 상기 HMD(10)로 출력하는 휴대단말기(20)는

상기 HMD(10)로부터 전달된 부품의 영상정보를 압축하는 영상압축 모듈(21)과, 상기 영상압축 모듈(21)에 의해 압축된 영상을 상기 부품 정비서버(30)로 전송하는 통신 모듈(23)과, 상기 통신 모듈(23)을 통해 전송된 영상에 해당하는 부품 관련정보를 상기 부품 정비서버로(30)부터 받아 전송된 부품 정비관련 영상이나 텍스트 부품 확인 조회정보를 상기 HMD(10)로 출력하기 위해 랜더링 하는 랜더링 모듈(22)로 이루어진다.

또한, 상기 휴대단말기(20)로부터 전송된 부품 영상정보에 해당하는 부품 정비관련 정보 및 부품의 저장위치 정보 제공하는 상기 부품 정비서버(30)는

통신관리 모듈(31)을 통해 상기 휴대단말기(20)로부터 전송된 영상의 압축을 해제하는 영상복원/생성 모듈(32)과, 상기 영상복원/생성 모듈(32)에 의해 해제된 영상에 존재하는 부품의 특징을 분석하는 영상분석 모듈(33)과, 상기 영상분석 모듈(33)에 의해 분석된 부품의 특징을 상기 부품의 3차원 기하학적 데이터베이스(40)에 저장된 데이터와 비교하여 상기 부품의 종류를 확인하고, 상기 부품의 종류가 확인되면 상기 부품의 정비관련 데이터베이스(50)에서 상기 부품과 관련된 정비문서를 추출하는 부품확인 모듈(34)로 구성된다.

여기서, 상기 부품의 3차원 기하학적 데이터베이스(40)는 사전에 3차원 스캐너 등을 사용하여 부품의 3차원 기하학적 구조정보 및 부품의 길이, 모양, 색상 등을 입력 저장해 놓은 것으로, 상기 휴대단말기(20)로부터 전송된 부품의 영상에서 부품의 종류를 파악하여 부품의 저장위치 탐색이 용이하도록 한다.

또한, 상기 부품의 정비관련 데이터베이스(50)는 사전에 각 부품들의 영상, 바코드, 정비관련 문서 등을 입력 저장해 놓은 것으로, 상기 부품의 3차원 기하학적 데이터베이스(40)에 의해 상기 휴대단말기(20)로 전송된 부품의 종류가 확인되면, 상기 확인된 부품에 해당하는 부품의 정비방법 및 조립순서를 제공하여 상기 정비사의 신속한 정비가 이루어질 수 있도록 한다.

도 3은 본 발명에 따른 증강현실을 이용한 부품 정비방법의 흐름도이다.

도 3을 이용하여 본 발명에 따른 부품 정비방법을 보다 상세하게 설명하면 다음과 같다.

먼저, 항공기와 같은 복잡한 기계를 정비하는 정비사들이 카메라가 구비된 HMD(10)를 착용하고, 무선통신이 가능한 휴대단말기(20)를 휴대하여 상기 부품 정비서버(30)와의 통신이 가능한 상태인가를 체크한다.

상기 부품 정비서버(30)와의 통신 가능한 상태가 되면, 상기 정비사는 정비를 하고자 하는 기계에 관련된 부품이 상기 카메라에 촬영되도록 위치하고, 상기 휴대단말기(20)를 이용하여 버튼을 눌러 정지영상의 부품정보를 획득한다(S100).

상기 획득된 부품정보 영상은 휴대단말기(20)에 의해 압축되어 무선 통신망을 통해 상기 부품 정비서버(30)로 전송된다(S110).

상기 부품 정비서버(30)로 전송된 부품의 영상은 영상복원/생성 모듈(32)에 의해 압축이 해제되고, 상기 압축 해제된 영상정보는 영상분석 모듈(33)에 의해 영상에 존재하는 부품들의 특징(칼라, 크기, 형태)이 분석된다.

계속해서, 상기 부품확인 모듈(34)은 상기 영상분석 모듈(33)에 의해 분석된 부품정보에서 부품들의 경계면을 찾아내고, 각각의 길이나 모양, 색상 등을 이용하여 기 저장되어 있는 3차원 기하학적 데이터베이스(40)로부터 전송된 영상에 해당하는 부품의 종류를 확인한다(S120).

그런 다음, 상기 확인된 부품에 해당하는 이미지, 바코드, 정비문서 등의 부품정보를 부품의 정비관련 데이터베이스(50)로부터 추출하여(S130), 상기 휴대단말기(20)로 전송하면(S140), 상기 휴대단말기(20)는 전송된 영상 또는 텍스트 기반의 정보를 랜더링하여 HMD(10)로 출력한다(S150).

이와 같은 과정을 통해 상기 정비사는 정비를 요하는 기계에 관련된 교범을 소지할 필요 없이 신체에 착용된 HMD(10)를 통해 편리하게 상기 기계에 사용된 부품 관련정보를 열람하면서 정비를 수행할 수 있다.

또한, 상기 각 부품들의 3차원 기하학적 데이터베이스(40)를 이용하여 3차원 랜더링을 수행함으로써 각 부품들이 어떠한 순서로 조립되는가를 실시간으로 상기 HMD(10)에 출력하여 상기 정비사의 정확한 부품정비가 이루어지도록 한다.

이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 또한 설명하였으나, 본 발명은 상기한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것을 물론이고, 그와 같은 변경은 기재된 청구범위 내에 있게 된다.

이상에 설명한 바와 같이 본 발명에 의하면, 복잡한 기계의 부품 정비시 정비사가 무거운 정비교범을 들고 다니며 해당 부품을 찾아야 하는 수고를 덜어 정비시간을 줄일 수 있고, 다양한 종류의 부품에 대한 관리를 보다 정확하게 할 수 있어 품질확보와 인건비 절감의 효과가 있다.

도 1은 본 발명에 따른 증강현실을 이용한 부품 정비시스템의 구성도,

도 2는 본 발명에 따른 증강현실을 이용한 부품 정비시스템의 상세 블록도,

도 3은 본 발명에 따른 증강현실을 이용한 부품 정비방법의 흐름도이다.

<도면의 주요 부분에 대한 부호의 설명>

10 : HMD(Head Mounted Display) 20 : 휴대단말기

21 : 영상압축 모듈 22 : 랜더링 모듈

23 : 통신 모듈 30 : 부품 정비서버

31 : 통신관리 모듈 32 : 영상복원/생성 모듈

33 : 영상분석 모듈 34 : 부품확인 모듈

40 : 3차원 기하학적 데이터베이스 50 : 정비관련 데이터베이스

Claims (4)

1. 다수의 부품들로 구성된 기계의 정비시, 상기 부품들의 구성에 따른 영상정보를 획득하는 카메라가 구비된 시스루(See-through)형태의 HMD;

   상기 HMD에서 획득한 영상정보를 압축하고 랜더링 하는 휴대단말기;

   상기 휴대단말기로부터 전송된 영상정보를 부품의 기하학적 특징이 분석되어 저장된 3차원 기하학적 데이터베이스를 이용하여 비교하고, 상기 비교결과에 따라 확인된 부품의 종류에 의해 기 저장된 부품의 정비관련 데이터베이스로부터 관련 정비문서를 추출하여 상기 휴대단말기로 전송하는 부품 정비서버로 구성되는 것을 특징으로 하는 증강현실을 이용한 부품 정비시스템.
2. 제 1항에 있어서, 상기 휴대단말기는

   상기 HMD에 구비된 카메라를 통해 획득한 영상을 압축하는 영상압축 모듈;

   상기 부품 정비서버로부터 전송된 부품 정비관련 영상이나 텍스트 부품 확인 조회정보를 상기 HMD로 출력하기 위해 랜더링 하는 랜더링 모듈; 및

   상기 부품 정비서버와의 통신을 위한 통신 모듈로 구성되는 것을 특징으로 하는 증강현실을 이용한 부품 정비시스템.
3. 제 1항에 있어서, 상기 부품 정비서버는

   통신관리 모듈을 통해 상기 휴대단말기로부터 전송된 영상의 압축을 해제하는 영상 복원/생성 모듈;

   상기 영상 복원/생성 모듈에 의해 해제된 영상에 존재하는 부품의 특징을 분석하는 영상분석 모듈; 및

   상기 영상분석 모듈에 의해 분석된 부품의 특징을 상기 부품의 3차원 기하학적 데이터베이스에 저장된 데이터와 비교하여 상기 부품의 종류를 확인하고, 상기 부품의 종류가 확인되면 상기 부품의 정비관련 데이터베이스에서 상기 부품과 관련된 정비문서를 추출하는 부품확인 모듈로 구성되는 것을 특징으로 하는 증강현실을 이용한 부품 정비시스템.
4. HMD에 구비된 카메라로부터 다수의 부품들로 구성된 기계 부품의 영상을 획득하는 단계;

   상기 획득된 영상을 휴대단말기에 의해 압축하여 부품 정비서버로 전송하는 단계;

   상기 부품 정비서버로 전송된 부품의 영상을 이용하여 상기 부품의 특징을 분석하고, 분석된 결과에 의해 3차원 기하학적 데이터베이스로부터 부품의 종류를 확인하는 단계;

   상기 확인된 부품에 해당하는 정비관련 정보를 데이터베이스로부터 추출하여 상기 휴대단말기로 전송하는 단계; 및

   상기 휴대단말기로 전송된 정보를 랜더링하여 HMD로 출력하는 단계로 이루어지는 것을 특징으로 하는 증강현실을 이용한 부품 정비방법.