KR20090064244A - 혼합현실 시스템 및 그 구현 방법 - Google Patents

Abstract

본 발명은 혼합현실 시스템 및 그 구현 방법에 관한 것으로, 혼합현실 기술을 사용하여 공장의 제조 공정 검증시에 발생되는 현장 설치된 설비들과 신규 설치될 설비간의 가상 설치된 모습을 미리 살펴볼 수 있는 혼합현실 서비스에 관한 것이다. 신규 설치될 설비의 CAD(Computer Aided Design) 데이터와 설비의 작동 및 공정 시뮬레이션 정보는 미리 계산되어지고, 실제 크기와 동일하게 저장하여 파일형태로 갖추어져 있으며, 고해상도 카메라와 자이로센서 및 지자기 센서를 통해서 공정을 관찰하고 있는 카메라의 절대적 위치와 자세정보를 실시간으로 수집하며, 20∼40인치 급의 모니터를 통해 신규 설치될 설비의 3차원 그래픽 도형과 실제 촬영한 공정 설비를 혼합현실 기법을 통해 정확히 매칭시켜 가상적으로 설치된 모습을 볼 수 있게 한다. 본 발명에 의하면, 작업 현장에 신규 공정 프로세스를 도입할 때 기존 상용 툴의 전체적인 시뮬레이션 공정 없이 현장 데이터와 설비/부품의 고유 제공 데이터만으로도 공정의 효율성을 검증할 수 있는 장점을 지닌다.

혼합현실(Augmented Reality, Mixed Reality), 가상공학, e-Manufacturing, 디지털 가상 생산, Scheduling of Production Process

Description

혼합현실 시스템 및 그 구현 방법{METHOD AND ARCHITECTURE OF MIXED REALITY SYSTEM}

본 발명은 작업 현장에서의 혼합현실(Augmented Reality) 구현 기술에 관한 것으로, 특히 공정 프로세스 계획 및 검증을 위한 혼합현실 시스템 및 그 구현 방법에 관한 것이다.

본 발명은 정보통신부 및 정보통신연구진흥원의 IT전략기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2005-S-604-02, 과제명: 실감형 Virtual Engineering 기술개발].

제조 현장의 신규 작업 프로세스를 검증하기 위해서는, 관련 데이터의 전산화를 통해 작업 프로세스를 시뮬레이션하고, 검증 알고리즘으로 검증 데이터를 생산하는 일련의 과정이 필요하다.

이를 위해, 실제 제조현장에서 제조현장 데이터를 수집 및 분석하여 CAD 형태의 데이터를 변환 및 가공하며, 로봇 시뮬레이션이 가능하도록 가상 생산 관련 소프트웨어를 적용할 수 있다. 이때 생산 데이터는, 그 특성상 각 생산자의 회사 기밀에 해당되는 경우가 대부분이기 때문에, 생산 데이터를 전문 업체에게 맡기기 보다는 소프트웨어를 기업에서 직접 구입하고 전문가 육성 또는 연구 용역을 통해 운영하는 방식을 선호하고 있다.

그런데 규모가 작은 기업의 경우, 전산화 작업이 되어있지 않은 경우가 많으며, 전산화 작업을 진행하더라도 그 초기비용 부담이 막대하기 때문에, 새로운 공정 프로세스를 직접 현장에 투입하는 시행착오를 거칠 수밖에 없다.

기존의 혼합현실 시스템으로는, "Hand held computer with see-through display(US 6597346)"라는 명칭의 선행특허1과 "Video-supported planning of equipment installation and/or room design(US 7139685)"라는 명칭의 선행특허2가 있다.

먼저, 선행특허1은 시쓰루(see-through) 방식의 "Head Mounted Display"를 사용하여 혼합현실을 지원하였다. 상기 선행특허1은, 손에 들고 다닐 수 있는 컴퓨터의 디스플레이로 시쓰루 방식의 디스플레이를 제안한 것으로, 안경처럼 얼굴에 쓰고 다니면서 기본적으로 바깥의 환경을 보면서 컴퓨터 정보를 도시해주는 시스템이다.

선행특허2는 비디오를 활용하여 건물 내부 설계시에 실제 환경에 대한 가상의 가구를 배치하는 기술을 다루고 있다. 상기 선행특허2는, 가상 물체의 라이브러리화와 실제 환경과의 동시 영상 지원을 통해 사용자가 실제 방에서 가상의 가구를 선택하고 이들을 실제 방 공간 어디에 둘 것인지를 결정할 수 있다.

그런데 상기 선행특허1의 경우, 사람의 머리는 자주 흔들리기 때문에 트래킹 센서의 민감도 및 응답속도가 매우 높아야 하는 단점을 지닌다.

또한, 선행특허2의 경우, 가상 공학에서 공정 프로세스의 검증을 단순한 3차원 오브젝트(object)의 배치 이동이나 다른 오브젝트로의 변경만을 다루고 있다.

이에 본 발명은, 각 오브젝트들의 유기적인 움직임 및 시뮬레이션 정보를 제공하여 궁극적으로 신규 프로세스의 작업 능률에 대한 평가를 용이하게 실시할 수 있는 혼합현실 시스템 및 그 구현 방법을 제공하고자 한다.

또한 본 발명은, 가상 공학에서 작업 공정 프로세스 검증에 필요한 혼합현실 기술 개발과 이동식 데스크톱 또는 화이트보드 형태의 환경을 부여하여 다수 사용자의 참여가 가능한 혼합현실 시스템 및 그 구현방법을 제공하고자 한다.

본 발명의 과제를 해결하기 위한 일 관점에 따르면, 임의 작업 환경 내에서 촬영정보를 제공하는 카메라와, 상기 카메라의 동작에 따른 센싱정보를 제공하는 센싱부와, 공정정보 DB내의 임의 작업 환경의 부품/설비/공정 데이터의 시뮬레이션을 담당하는 공정 시뮬레이션부와, 상기 데이터 간의 배치 현황과 시뮬레이션 정보를 다루는 공정 배치부와, 상기 촬영정보 및 센싱정보를 입력받아 상기 공정 배치부의 위치를 결정하며 상기 촬영정보 및 센싱정보와 상기 시뮬레이션 정보를 합성 하여 출력하는 혼합현실 가시화부와, 상기 혼합현실 가시화부의 혼합현실 출력정보를 외부로 디스플레이함과 동시에, 사용자의 요청 정보를 입력할 수 있는 디스플레이 기반 입/출력부를 포함하는 혼합현실 시스템을 제공한다.

본 발명의 과제를 해결하기 위한 다른 관점에 따르면, a) 임의 작업 환경내 설비/부품의 배치, 선택 및 시간적인 움직임을 묘사한 시뮬레이션 정보가 포함된 작업 공정 프로세스를 수집하는 단계와, b) 상기 작업 환경 내에 존재하는 카메라를 이용하여 상기 작업 환경을 촬영하는 단계와, c) 상기 작업 공정 프로세스와 상기 촬영된 작업 환경을 합성하여 비디오 영상으로 출력하는 단계를 포함하는 혼합현실 시스템 구현 방법을 제공한다.

본 발명에 의하면, 작업 현장에 신규 공정 프로세스를 도입할 때 기존 상용 툴의 전체적인 시뮬레이션 공정 없이 현장 데이터와 설비/부품의 고유 제공 데이터만으로도 공정의 효율성을 검증할 수 있는 장점을 지닌다.

본 발명에 따른 작업 공정 프로세스는 설비 및 제품의 CAD 데이터와 설비의 작동 시뮬레이션, 제품의 조립과정 시뮬레이션을 포함하여야 한다. 특히 현장에 이미 적용된 상용 툴(tool)의 활용도 가능하도록 상용 툴의 데이터 처리도 또한 가능해야 한다.

작업 현장의 설비 데이터에 대한 정보를 획득하기 위해서 컴퓨터 비전(vision) 기반의 반자동식 현장 'registration' 작업을 병행한다. 이 작업은 작업 설비가 설치될 곳의 이웃한 설비 데이터의 3차원 기하정보 획득을 위하여 비전 기법 및 사용자 선택에 의한 정확한 묘사를 다룬다.

작업장을 촬영하는 카메라의 위치와 자세를 추적하기 위하여 자이로 센서(gyro sensor) 및 지자기 센서(geomagnetism sensor)가 도입된다. 절대적인 위치보다는 설치되어야 할 곳의 여타 설비와, 설치될 설비간, 그리고 카메라 위치 간의 상대적인 관계가 중요하다. 센서의 입/출력을 노이즈가 적은 신호로 변경해야 되는 신호처리기술이 필요하다.

이동식 데스크톱 환경 또는 화이트보드 형태의 시스템은 다자 참여가 가능하며 동시에 같은 작업을 여러 명이 평가할 수 있으므로, 신뢰도 높은 결론을 도출해 낼 수 있다. 해상도가 높은 카메라와 해상력이 높은 모니터를 사용하여 시스템을 구성하며, 카메라의 위치 및 자세 정보와 3차원 설비 데이터 간의 화면상의 정합을 위해서 혼합현실 기법을 활용한다.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대해 설명하고자 한다.

도 1은 본 발명의 바람직한 실시예의 일 관점인 혼합현실 시스템에 대한 구성 블록도로서, 트래킹 센서(10), 카메라(12), 디스플레이 기반 입/출력부(14), 공 정 시뮬레이션부(100), 공정 배치부(200), 혼합현실 가시화부(300), 공정정보 DB(400)를 포함한다.

도 1에 도시한 바와 같이, 트래킹 센서(10)와 카메라(12)는 입력 전용 장치로서, 카메라(12)를 통해 촬영된 영상 정보와 트래킹 센서(10)의 센싱 정보를 혼합현실 가시화부(300)로 제공한다. 이때, 상기 센싱 정보는, 예컨대 카메라(12)의 위치 정보 및 자세 정보를 말한다. 즉, 작업장을 촬영하기 위해 카메라(12)가 좌/우 또는 상/하로 동작되는 경우에, 이러한 동작에 대응하는 위치 정보 및 자세 정보를 트래킹 센서(10)를 통해 획득하는 것이다.

상기 트래킹 센서(10)는 카메라(12) 내의 일정 위치에 장착되며, 작업장을 촬영하는 카메라(12)의 위치와 자세를 추적하기 위하여 자이로 센서(gyro sensor) 및 지자기 센서(geomagnetism sensor)(도시 생략됨)를 포함한다. 절대적인 위치보다는 설치되어야 할 곳의 여타 설비와, 설치될 설비간, 그리고 카메라 위치 간의 상대적인 관계가 중요하며, 상기 센서들의 입/출력 신호에 대한 노이즈를 줄이기 위해 일련의 신호처리기술이 요구된다.

디스플레이 기반 입/출력부(14)는, 예를 들면 20∼40인치 급의 터치스크린 기반의 모니터로서, 본 실시예에 따른 혼합현실 영상 정보를 외부로 디스플레이함과 동시에, 사용자의 요청 정보를 입력할 수 있는 기능을 제공한다. 이러한 디스플레이 기반 입/출력부(14)는 상기 카메라(12)와 함께 좌/우 또는 상/하 동작될 수 있도록 구현되며, 이러한 사항은 도 2의 사시도에 예시한 바와 같다.

도 2에 도시한 바와 같이, 카메라(12)와 디스플레이 기반 입/출력부(14)는 서로 일체형으로 구성될 수 있으며, 카메라(12)와 디스플레이 기반 입/출력부(14)가 서로 동시에 좌/우 또는 상/하로 동작될 수 있다. 즉, 사용자가 디스플레이 기반 입/출력부(14)를 확인하면서 카메라(12)의 촬영 위치를 용이하게 변경할 수 있도록 서로 함께 움직이는 구조로 구성된다. 이때, 상기 카메라(12) 및 디스플레이 기반 입/출력부(14)는 일정 크기의 이동체(20) 상부에서 동작되도록 설치되며, 상기 이동체(20)는 작업장 이동이 용이하도록 하단에 휠(22)이 장착된다.

다시 도 1을 참조하면, 공정 시뮬레이션부(100)는 부품/설비/공정 데이터의 시뮬레이션을 담당하며, 공정 배치부(200)는 데이터간의 배치 현황과 시뮬레이션 정보를 다루는 역할을 한다. 그리고 혼합현실 가시화부(300)는 카메라(12)와 트래킹 센서(10)의 입력을 받아서 공정 배치부(200)의 위치를 결정하는 역할을 한다.

이들 공정 시뮬레이션부(100), 공정 배치부(200), 혼합현실 가시화부(300)의 구성에 대해 도면을 참조하여 보다 상세히 기술하기로 한다.

도 1에 도시한 바와 같이, 공정 시뮬레이션부(100)는 생산정보 기반 애니메이션 생성부(102)와 충돌 검사부(104)를 포함하며, 생산정보 기반 애니메이션 생성부(102)는 후술하는 공정정보 DB(400)에서 입수한 설비/부품의 3차원 기하정보와 공정 데이터에 따른 시간적인 애니메이션 정보를 생산한다. 특히, 생산용 로봇 같은 경우에는 그 자체 포맷의 공정 데이터를 갖는데, 생산정보 기반 애니메이션 생성부(102)는 상기 포맷을 로드(load)하고 처리하여 로봇의 시간적인 기하정보의 변화를 만들어 낸다. 공정 시뮬레이션부(100) 내의 충돌 검사부(104)는 공정 배치부(200)의 각 설비/부품간의 시간적인 배치에 따른 충돌여부를 검사하는 역할을 하 며, 충돌 검사부(104)에서 수행된 충돌 검사 정보는 공정 배치부(200)로 다시 제공된다.

공정 배치부(200)는 가상공간 정보 관리부(202)와 상호작용 처리부(204)를 포함하는데, 상기 가상공간 정보 관리부(202)는 각 설비/부품의 시간적인 기하정보 변화를 수집하여 일정 가상공간을 형성하여 시간별 설비/부품 형상을 만들어 낸다. 즉, 가상공간 정보 관리부(202)는 각 설비/부품(예를 들어, 로봇)이 작업 현장의 어느 장소(위치)에 있는지를 파악하고, 이에 대한 가상공간 정보를 공정 시뮬레이션부(100)와 혼합현실 가시화부(300)로 제공한다. 공정 배치부(200) 내의 상호작용 처리부(204)는 디스플레이 기반 입/출력부(14)의 입력을 받아 가상공간의 위치와 자세를 변경 가능하게 하는 역할을 한다.

혼합현실 가시화부(300)는 센서 및 비전 정보 처리부(302), 공간 정합부(304), 영상 합성부(306)를 포함하며, 센서 및 비전 정보 처리부(302)는 카메라(12)로부터의 영상 정보, 트래킹 센서(10)로부터의 센싱 정보를 입력받아 현재 카메라의 위치 정보와 자세 정보를 수집 및 처리하는 역할을 한다. 공간 정합부(304)는 센서 및 비전 정보 처리부(302)에서 수집된 정보를 가상공간 정보와 합성하여 작업 현장의 지면 및 대응점에 따라 가상공간 정보를 배치한다. 영상 합성부(306)는 상기 공간 정합부(304)를 통해 배치된 가상공간 정보와 기본적인 카메라 왜곡을 제거한 영상 정보를 실시간 합성하여 디스플레이 기반 입/출력부(14)로 제공한다.

공정정보 DB(400)는 부품정보, 설비정보 등의 각종 공정정보가 데이터베이스 화되어 있으며, 이들 정보들은 공정 시뮬레이션부(100) 및 공정 배치부(200)로 제공된다.

이하, 상술한 구성과 함께, 본 발명의 다른 관점에 따른 혼합현실 시스템 구현 과정을 첨부한 도 3의 흐름도를 참조하여 상세히 설명하기로 한다.

도 3에 도시한 바와 같이, 단계(S300) 및 단계(S302)에서 공정 시뮬레이션부(100)는, 설비/부품의 3차원 기하정보 및 공정 데이터를 공정정보 DB(400)로부터 수집하고, 애니메이션 정보를 생성하여 혼합현실 가시화부(300)로 제공한다.

또한, 단계(S304) 및 단계(S306)에서 공정 배치부(200)는 설비/부품의 시간적인 기하정보 변화 데이터를 수집하고, 가상공간을 형성한 후 시간별 설비/부품 형상을 생성한다.

이때, 공정 배치부(200)는 단계(S308)에서와 같이, 디스플레이 기반 입/출력부(14)에 의해 정보 변경이 요청되는지를 판단하고, 정보 변경이 요청되면 단계(S310)로 진행한다.

단계(S310)에서 공정 배치부(200)는 가상공간의 위치 및 자세를 변경하도록 상호작용 처리부(204)를 제어한다.

또한, 공정 배치부(200)는 단계(S312)에서와 같이, 최종 가상공간 정보를 혼합현실 가시화부(300)로 제공한다.

한편, 혼합현실 가시화부(300)는 단계(S314)에서와 같이, 상기 카메라(12) 및 트래킹 센서(10)로부터 카메라 영상정보 및 센싱정보가 입력되는지를 판단하고, 카메라 영상정보 및 센싱정보가 입력되면 혼합현실 가시화부(300)는 단계(S316)로 진행하여 상기 영상정보 및 센싱정보에 대한 위치 및 자세정보를 수집한다.

이후 혼합현실 가시화부(300)는 단계(S318)에서와 같이, 수집되는 위치정보 및 자세정보와 가상공간 정보를 합성한 정보를 디스플레이 기반 입/출력부(14)로 제공한다. 따라서 디스플레이 기반 입/출력부(14)에서는 상기 위치정보 및 자세정보가 합성된 가상공간 정보, 즉 혼합현실 정보를 외부로 출력할 수 있게 된다.

도 4a는 카메라(12)를 통해 현장 설비를 촬영한 실제 영상을 나타낸 화면 예시도이고, 도 4b는 본 실시예에 따라, 설치하려는 설비의 영상을 합성한 가상공간 정보, 즉 혼합현실 정보를 나타낸 화면 예시도이다.

이상, 본 발명의 실시예에 대해 상세히 기술하였으나 본 발명은 이러한 실시예에 국한되는 것은 아니며, 후술하는 청구범위에 기재된 본 발명의 기술적 사상과 범주 내에서 당업자로부터 여러 가지 변형이 가능함은 물론이다.

본 발명으로 인해, 신규 프로세스 도입 비용을 획기적으로 줄임으로써 기업의 경쟁력 강화를 재고할 수 있을 것으로 기대된다.

도 1은 본 발명의 일 관점에 따른 혼합현실 시스템의 구성 블록도,

도 2는 도 1의 카메라 및 디스플레이기반 입출력부가 장착된 이동체의 사시도,

도 3은 본 발명의 다른 관점에 따른 혼합현실 구현 방법을 나타낸 흐름도,

도 4a는 본 발명에 따라 현장 설비를 촬영한 실제 영상을 나타낸 화면 예시도,

도 4b는 설치하려는 설비의 영상을 혼합현실화 한 화면 예시도.

<도면의 주요 부분에 대한 부호의 설명>

100 : 공정 시뮬레이션부 200 : 공정 배치부

300 : 혼합현실 가시화부 400 : 공정정보 DB

Claims (11)

1. a) 임의 작업 환경내 설비/부품의 배치, 선택 및 시간적인 움직임을 묘사한 시뮬레이션 정보가 포함된 작업 공정 프로세스를 수집하는 단계와,

   b) 상기 작업 환경 내에 존재하는 카메라를 이용하여 상기 작업 환경을 촬영하는 단계와,

   c) 상기 작업 공정 프로세스와 상기 촬영된 작업 환경을 합성하여 비디오 영상으로 출력하는 단계

   를 포함하는 혼합현실 시스템 구현 방법.
2. 제 1 항에 있어서,

   상기 단계 a)는,

   상기 설비/부품의 3차원 기하정보 및 공정 데이터를 수집한 후 애니메이션 정보를 생성하는 단계와,

   상기 설비/부품의 시간적인 기하정보 변화 데이터를 수집하고 가상공간을 형성한 후 시간별 설비/부품 형상을 생성하는 단계와,

   디스플레이 기반 입/출력부에 의해 정보 변경이 요청되면 상기 가상공간의 위치 및 자세를 변경하는 단계

   를 포함하는 혼합현실 시스템 구현 방법.
3. 제 1 항에 있어서,

   상기 단계 b)는,

   상기 카메라의 동작에 따른 센싱정보를 수집하는 단계와,

   상기 카메라로부터 취득되는 영상정보 및 상기 센싱정보에 대한 위치정보 및 자세정보를 수집하는 단계

   를 포함하는 혼합현실 시스템 구현 방법.
4. 제 3 항에 있어서,

   상기 단계 c)는,

   상기 수집되는 위치정보 및 자세정보와 가상공간 정보를 합성한 정보를 디스플레이 기반 입/출력부를 통해 외부로 디스플레이 하는 것을 특징으로 하는 혼합현실 시스템 구현 방법.
5. 임의 작업 환경 내에서 촬영정보를 제공하는 카메라와,

   상기 카메라의 동작에 따른 센싱정보를 제공하는 센싱부와,

   공정정보 DB내의 임의 작업 환경의 부품/설비/공정 데이터의 시뮬레이션을 담당하는 공정 시뮬레이션부와,

   상기 데이터 간의 배치 현황과 시뮬레이션 정보를 다루는 공정 배치부와,

   상기 촬영정보 및 센싱정보를 입력받아 상기 공정 배치부의 위치를 결정하며 상기 촬영정보 및 센싱정보와 상기 시뮬레이션 정보를 합성하여 출력하는 혼합현실 가시화부와,

   상기 혼합현실 가시화부의 혼합현실 출력정보를 외부로 디스플레이함과 동시에, 사용자의 요청 정보를 입력할 수 있는 디스플레이 기반 입/출력부

   를 포함하는 혼합현실 시스템.
6. 제 5 항에 있어서,

   상기 공정 시뮬레이션부는,

   상기 공정정보 DB에서 입수한 설비/부품의 3차원 기하정보와 공정 데이터에 따른 시간적인 애니메이션 정보를 생산하는 생산정보 기반 애니메이션 생성부와,

   상기 공정 배치부의 각 설비/부품간의 시간적인 배치에 따른 충돌여부를 검사하여 상기 공정 배치부로 제공하는 충돌 검사부

   를 포함하는 혼합현실 시스템.
7. 제 5 항에 있어서,

   상기 공정 배치부는,

   각 설비/부품의 시간적인 기하정보 변화를 수집하여 일정 가상공간을 형성하여 시간별 설비/부품 형상을 만들어 내는 가상공간 정보 관리부와,

   상기 디스플레이 기반 입/출력부의 입력을 받아 가상공간의 위치와 자세를 변경 가능하게 하는 상호작용 처리부

   를 포함하는 혼합현실 시스템.
8. 제 5 항에 있어서,

   상기 혼합현실 가시화부는,

   상기 카메라로부터의 영상 정보, 상기 센싱부로부터의 센싱 정보를 입력받아 현재 카메라의 위치 정보와 자세 정보를 수집 및 처리하는 센서 및 비전 정보 처리부와,

   상기 센서 및 비전 정보 처리부에서 수집된 정보를 가상공간 정보와 합성하여 작업 현장의 지면 및 대응점에 따라 가상공간 정보를 배치하는 공간 정합부와,

   상기 공간 정합부를 통해 배치된 가상공간 정보와 기본적인 카메라 왜곡을 제거한 영상 정보를 실시간 합성하여 상기 디스플레이 기반 입/출력부로 제공하는 영상 합성부

   를 포함하는 혼합현실 시스템.
9. 제 5 항에 있어서,

   상기 센싱정보는, 상기 카메라 좌/우 또는 상/하 동작에 대응하는 위치정보 및 자세정보인 것을 특징으로 하는 혼합현실 시스템.
10. 제 5 항에 있어서,

    상기 센싱부는, 상기 카메라의 위치와 자세를 추적하기 위한 자이로 센서 및 지자기 센서를 포함하는 것을 특징으로 하는 혼합현실 시스템.
11. 제 5 항 또는 제 10 항에 있어서,

    상기 센싱부는, 상기 카메라 내의 일정 위치에 장착되는 트래킹 센서인 것을 특징으로 하는 혼합현실 시스템.

Images