KR20200025959A - 가상현실 기반의 산업현장 시뮬레이션 시스템 - Google Patents

Abstract

가상현실 기반의 산업현장 시뮬레이션 시스템은 산업현장의 각각의 장비를 모니터링하여 제어하며 각 장비의 동작상태를 화면에 표시하는 시뮬레이터와, 상기 시뮬레이터의 화면에서 선택된 장비에 각각 할당된 3차원 가상/실사영상을 가상현실 디스플레이에 제공하는 서버와, 상기 시뮬레이터에서 선택된 장비의 동작상태 및 선택된 장비의 3차원 가상/실사영상을 상기 서버로부터 제공받아 표시하는 상기 가상현실 디스플레이를 포함하는 것을 특징으로 한다.

Description

가상현실 기반의 산업현장 시뮬레이션 시스템{Virtual reality based industrial field simulation system}

본 발명은 시뮬레이션 시스템에 관한 것으로서, 더 상세하게는 가상현실 기반의 산업현장 시뮬레이션 시스템에 관한 것이다.

최근 카메라 모듈을 이용한 촬영 시 현실의 공간에 다양한 정보를 덧씌워 보여 주는 증강 현실(augmented reality) 기법 및 가상현실(Virtual Reality, VR)을 이용한 컨텐츠 제공이 활발히 연구되고 있다.

이동 단말기는 최근 휴대폰, PDA(personal digital assistants), UMPC(ultra mobile personalcomputer) 등 모바일 기기의 컴퓨팅 능력 향상 및 무선 네트워크 장치의 발달로 핸드헬드(handheld) 가상현실시스템이 가능해졌다.

이러한 시스템이 가능해지면서 모바일 기기를 사용한 가상현실 어플리케이션이 다수 개발되었다. 그리고 모바일 기기의 보급이 매우 빠르게 보편화되어 가상현실 어플리케이션을 접할 수 있는 환경이 조성되고 있는 상황이다.

더불어, 단말기의 증강현실을 이용한 다양한 부가서비스에 대한 사용자 요구가 증대하고 있으며, 이를 이용하여 단말기 사용자에게 다양한 가상현실 컨텐츠를 적용하려는 시도가 증가하고 있다.

한국특허 공개번호 제10-2016-0092292호는 "광고물에 대한 증강현실 서비스 제공 시스템 및 방법"에 관한 것으로서, 광고물에 가상/증강현실을 적용하여 광고 대상에 관련된 정보들을 피광고자가 손쉽게 취득할 수 있고 흥미롭게 몰입하여 습득할 수 있도록 하는 등 효과적으로 전달할 수 있는 시스템을 제안하고 있다.

한편, 고가의 중요 설비인 변전소, 발전소, 공작기계, 항공, 철도, 반도체 설비를 운영하는 기업을 대상으로 효과적으로 원격에서 업무를 지원할 수 있는 시스템이 제안되고 있다.

일반적으로, 산업현장의 다양한 장비들은 각 장비의 동작상태를 화면에 표시하는 시뮬레이터를 통해 제어되고 모니터링 되고 있는데, 화면에 표시되는 각 장비의 동작상태를 모두 습득하기까지 많은 시간이 소요되므로 교육시키는데 많은 비용이 발생한다.

KR 10-2005-0100778 A

본 발명은 상기와 같은 기술적 과제를 해결하기 위해 제안된 것으로, 산업현장의 각각의 장비를 모니터링하여 제어하며 각 장비의 동작상태를 화면에 표시하는 시뮬레이터에 가상현실을 도입하여 관리자 및 교육생들이 장비의 동작상태를 보다 현실감 있게 빠르게 파악할 수 있는 산업현장 시뮬레이션 시스템을 제공한다.

상기 문제점을 해결하기 위한 본 발명의 일 실시예에 따르면, 산업현장의 각각의 장비를 모니터링하여 제어하며 각 장비의 동작상태를 화면에 표시하는 시뮬레이터와, 상기 시뮬레이터의 화면에서 선택된 장비에 각각 할당된 3차원 가상/실사영상을 가상현실 디스플레이에 제공하는 서버와, 상기 시뮬레이터에서 선택된 장비의 동작상태 및 선택된 장비의 3차원 가상/실사영상을 상기 서버로부터 제공받아 표시하는 상기 가상현실 디스플레이를 포함하는 산업현장 시뮬레이션 시스템이 제공된다.

또한, 본 발명에 포함되는 상기 가상현실 디스플레이에서 상기 3차원 가상/실사영상이 조작될 경우, 상기 시뮬레이터는 상기 3차원 가상/실사영상의 조작상태에 따라 상기 3차원 가상/실사영상에 대응되는 해당 장비의 동작을 제어하는 것을 특징으로 한다.

또한, 본 발명에 포함되는 상기 서버는, 상기 시뮬레이터의 화면에 표시되는 실제객체의 픽셀 변화량을 토대로 선택여부를 식별하고 식별된 실제객체에 각각 할당된 상기 3차원 가상/실사영상을 상기 가상현실 디스플레이에 제공하는 것을 특징으로 한다.

또한, 본 발명에 포함되는 상기 서버는, 상기 시뮬레이터의 화면에 표시되는 실제객체의 선택을 식별하고 식별된 실제객체에 각각 할당된 상기 3차원 가상/실사영상을 상기 가상현실 디스플레이에 제공함에 있어서, 상기 시뮬레이터의 화면에 표시되는 복수의 실제객체 중에서 소정의 영상 유사도 값 이상을 갖는 실제객체들은 각각의 영상정보를 차분하여 추가인식영역을 선정하고, 추가인식영역의 영상 차이점을 토대로 고유 식별자를 실제객체에 각각 부여하는 것을 특징으로 한다.

또한, 본 발명에 포함되는 상기 서버는, 추가인식영역의 영상 차이점을 토대로 각각의 실제객체에 부여된 고유 식별자와, 각 실제객체의 화면상의 위치정보를 모두 고려하여 각각의 실제객체를 식별하는 것을 특징으로 한다.

또한, 본 발명에 포함되는 상기 서버는, 추가인식영역의 영상 차이점을 토대로 각각의 실제객체에 부여된 고유 식별자와, 각 실제객체에 부여된 문자와, 각 실제객체의 화면상의 위치정보를 모두 고려하여 각각의 실제객체를 식별하는 것을 특징으로 한다.

본 발명에 포함되는 산업현장 시뮬레이션 시스템은, 산업현장의 각각의 장비를 모니터링하여 제어하며 각 장비의 동작상태를 화면에 표시하는 시뮬레이터에 가상현실을 도입하여 관리자 및 교육생들이 장비의 동작상태를 보다 현실감 있게 빠르게 파악할 수 있다.

도 1은 본 발명의 실시예에 따른 산업현장 시뮬레이션 시스템(1)의 구성도
도 2는 산업현장 시뮬레이션 시스템(1)의 시뮬레이터의 화면 예시도
도 3은 시뮬레이터의 화면에서 실제객체를 식별하는 예시도
도 4는 시뮬레이터의 화면에서 객체를 식별하는 방식을 나타낸 순서도
도 5는 시뮬레이터의 화면에서 객체를 식별하는 다른 방식을 나타낸 순서도
도 6은 산업현장 시뮬레이션 시스템(1)에서 유사객체를 식별하기 위한 학습과정을 나타낸 순서도
도 6a는 산업현장 시뮬레이션 시스템(1)에서 유사객체를 식별하기 위한 추가인식영역을 선정하는 과정을 도시한 구성도
도 7은 산업현장 시뮬레이션 시스템(1)에서 유사객체를 식별하는 과정을 나타낸 순서도
도 8은 산업현장 시뮬레이션 시스템(1)에서 유사객체를 식별하는 상태를 나타낸 제1 예시도
도 9는 산업현장 시뮬레이션 시스템(1)에서 유사객체를 식별하는 상태를 나타낸 제2 예시도
도 10은 산업현장 시뮬레이션 시스템(1)의 다른 동작원리를 나타낸 도면
도 11은 산업현장 시뮬레이션 시스템(1)의 헤드 마운티드 디스플레이(100)의 구성도
도 11a는 헤드 마운티드 디스플레이(100)의 예시도
도 12는 산업현장 시뮬레이션 시스템(1)의 안전모드가 동작하는 상태도
도 13은 산업현장 시뮬레이션 시스템(1)의 오버헤드 뷰 모드(Overhead View Mode)가 동작하는 상태도

이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 실시예를 첨부한 도면을 참조하여 설명하기로 한다.

도 1은 본 발명의 실시예에 따른 산업현장 시뮬레이션 시스템(1)의 구성도이고, 도 2는 산업현장 시뮬레이션 시스템(1)의 시뮬레이터의 화면 예시도이다.

본 실시예에 따른 산업현장 시뮬레이션 시스템(1)은 제안하고자 하는 기술적인 사상을 명확하게 설명하기 위한 간략한 구성만을 포함하고 있다.

도 1 및 도 2를 참조하면, 산업현장 시뮬레이션 시스템(1)은 가상현실 디스플레이(100)와, 서버(200)와, 시뮬레이터(300)를 포함하여 구성된다.

상기와 같이 구성되는 산업현장 시뮬레이션 시스템(1)의 세부구성과 주요동작을 살펴보면 다음과 같다.

시뮬레이터(300)는 산업현장의 각각의 장비를 모니터링하여 제어하며 각 장비의 동작상태를 화면에 표시한다. 본 실시예에서는 발전소의 장비를 모니터링하는 시뮬레이터를 하나의 예시로 설명한다. 시뮬레이터는 교육용으로 사용되는 교육용 시뮬레이터를 포함한다.

서버(200)는 시뮬레이터(300)의 화면에서 선택된 장비에 각각 할당된 3차원 가상/실사영상을 가상현실 디스플레이(100)에 제공한다.

가상현실 디스플레이(100)는 시뮬레이터(300)에서 선택된 장비의 동작상태 및 선택된 장비의 3차원 실사영상을 서버(200)로부터 제공받아 표시한다. 따라서 가상현실 디스플레이(100)를 이용하는 사용자는 선택된 장비의 동작상태 뿐만 아니라 3차원 실사영상을 확인하여 장비의 동작상태를 보다 현실감 있게 빠르게 파악할 수 있다. 여기서 장비의 동작상태는 동작 또는 정지 상태 그리고 주변의 온도, 압력, 유량, 수위 등의 정보(3차원 가상영상)를 포함한다. 즉, 동작상태 등의 수치정보는 3차원 가상영상으로 정의되고, 선택된 장비의 3차원 실제영상은 3차원 실사영상으로 정의된다.

이때, 서버(200)는 현장에 배치되어 있는 3차원 카메라로부터 장비의 현재영상을 실시간으로 전송받아 3차원 실사영상으로 제공할 수 있고, 미리 촬영된 장비의 3차원 실사영상을 제공할 수 있다. 이때, 서버(200)에서는 장비의 3차원 실사영상을 렌더링하여 생성한 가상영상을 입체적으로 제공할 수도 있다.

참고적으로, 가상현실 디스플레이(100)는 가상현실을 표시하기 위한 모니터, 개인용 컴퓨터, 스마트 패드, 헤드 마운티드 디스플레이 등과 같이 디스플레이가 장착된 기기로 정의된다. 본 실시예에서는 터치 스크린 형태의 모니터 및 헤드 마운티드 디스플레이가 단독 또는 복합적으로 가상현실 디스플레이(100)로서 이용되는 예시를 설명한다.

이때, 사용자가 가상현실 디스플레이(100)를 이용하여 터치 등의 행위로 3차원 가상/실사영상을 조작할 경우, 시뮬레이터(300)는 3차원 가상/실사영상의 조작상태에 따라 3차원 가상/실사영상에 대응되는 해당 장비의 동작을 제어한다. 따라서 가상현실 디스플레이(100)를 이용하는 사용자는 선택된 장비의 동작상태를 확인하면서 동시에 장비를 가상 또는 실제로 조작할 수 있어, 장비의 동작상태를 보다 현실감 있게 파악할 수 있다.

산업현장 시뮬레이션 시스템(1)은 시뮬레이터(300)에서의 교육 훈련 효과를 향상시키기 위하여 제안된 것으로, 운전원(사용자)들이 시뮬레이터(300)에서 운전 조작 장비들의 현장설치위치, 형상 및 제원 등을 쉽게 이해할 수 있도록 발전소 현장을 가상현실 콘텐츠로 모델링하여 시뮬레이터(300) 상에서의 운전정보를 실시간으로 가상현실 콘텐츠로 나타낼 수 있도록 구성된다.

또한 현장의 현장제어판넬 및 주요 현장 조작 기기들을 가상현실 콘텐츠(3차원 가상/실사영상)상에서 조작하게 되면 시뮬레이터(300)에서 반응하여 시뮬레이터 상태가 현장 조작 상황에 따라 변경될 수 있도록 구성된다. 그리고 일부 주요 장비에 대해서는 가상의 내부 가상현실 콘텐츠(3차원 가상/실사영상)를 설정하여 시뮬레이터(300)에서의 기동 또는 정지 상태에 따른 내부의 상황을 가상현실 콘텐츠(3차원 가상/실사영상) 상에 나타낼 수 있도록 구성된다.

즉, 시뮬레이터(300)의 화면상에서 운전원이 마우스를 이용하여 3차원 가상/실사영상으로써 보여지기 원하는 밸브나 펌프 팬 등을 선택하거나 마우스의 커서를 해당 장비(실제객체)위에서 1초 이상 유지하면, 선택된 장비가 3차원 가상/실사영상으로써 표시된다. 이때, 기본적으로 3차원 가상/실사영상은 가상현실 디스플레이(100)에 표시되나, 시뮬레이터의 화면상에 동시에 표시되도록 구성될 수도 있다.

또한, 선택된 장비에 인접한 장비에 대한 링크 포인트(Link Point)가 표시될 수 있는데 링크 포인트(Link Point)가 선택되면, 링크 포인트(Link Point)에 해당하는 장비의 3차원 실사영상이 3차원 가상/실사영상으로써 표시된다.

참고적으로, 3차원 가상/실사영상은 가상현실 디스플레이, 헤드 마운티드 디스플레이 뿐만 아니라 시뮬레이터(300)에 포함된 대형화면에도 동시에 표시될 수도 있을 것이다.

도 3은 시뮬레이터의 화면에서 각 실제객체(장비)를 식별하는 예시도이다.

도 3은 시뮬레이터(300)의 화면, 즉 HMI(Human Machine Interface)의 화면을 도시하고 있다. 즉, 시뮬레이터(300)의 화면에는 밸브, 팬, 펌프 등의 동작상태가 개략적인 시스템의 구조와 함께 표시된다.

기본적으로 시뮬레이터(300)의 화면에 표시되는 실제객체(장비)를 마우스의 커서를 이동하여 선택할 때, 실제객체의 픽셀이 변화하게 되므로, 실제객체의 픽셀 변화량을 토대로 선택여부를 식별할 수 있다.

이때, 서버(200)에서 실제객체(장비)의 선택여부를 검출할 수도 있고, 시뮬레이터(300)에 별도의 식별 프로그램이 설치되어 실제객체(장비)의 선택여부를 검출하도록 구성될 수도 있을 것이다.

즉, 서버(200)는 시뮬레이터(300)의 화면에 표시되는 실제객체(장비)의 픽셀 변화량을 토대로 선택여부를 식별하고 식별된 실제객체(장비)에 각각 할당된 3차원 가상/실사영상을 가상현실 디스플레이(100)에 제공한다. 하나의 예시로써 화면을 구성하는 샘플링 픽셀이 4% ~ 15% 이상 변화할 경우에 해당 실제객체(장비)가 마우스 등으로 선택되었다고 검출할 수 있다.

시뮬레이터(300)의 화면상에서 운전원이 마우스를 이용하여 3차원 가상/실사영상으로써 보여지기 원하는 장비(밸브나, 펌프, 팬 등등)를 선택하거나 마우스의 커서를 장비 위에서 1초 이상 유지하면, 선택된 장비의 동작상태 및 선택된 장비의 3차원 가상/실사영상이 가상현실 디스플레이(100)에 표시된다. 이때, 3차원 가상/실사영상은 사용자의 조작 - 마우스 또는 화면 터치 등 - 에 따라 360 방향으로 회전되면서 사용자가 확인할 수 있도록 표시된다.

한편, 화면에 표시되는 실제객체(장비)를 마우스로 선택할 때, 검출성능을 향상시키기 위해 사전에 각각의 시뮬레이터(300)의 화면에 대해서 HMI ID, 장비 ROI(Region of Interest), 장비 ID의 정보를 수집할 수 있다.

ROI(Region of Interest)는 사각형 형태이며 Top Left 및 Bottom Right 의 2차원 좌표로 구성된다. HMI ID는 화면의 상단에 문자로 표시되는 제어 카테고리로 정의되는데, 예를 들어 air/fuel system , second air system 등과 같은 제어 카테고리가 변할 때마다 화면에 표시되는 장비의 배치도가 달라진다.

즉, 서버(200)가 화면에서 HMI ID를 검출하여 제어 카테고리를 미리 확인한 후, 확인된 제어 카테고리의 ROI(Region of Interest)를 이용하여 마우스 커서가 어떤 장비 영역 안에 포함되어 있는지 확인하여 장비 ID를 획득할 수 있다.

도 4는 시뮬레이터의 화면에서 객체를 식별하는 방식을 나타낸 순서도이다.

도 4를 참조하면, 시뮬레이터(300)의 화면에서 인식할 문자들을 사전에 이미지화하여 문자 클래스 별로 학습을 시키고 인식 단계에서 입력된 영상으로 기존에 학습한 클래스들과 비교(평균 및 표준편차)하여 최근접 클래스를 검색할 수 있다.

공통적으로 학습/인식 전에 영상에서 문자를 분리하고 중앙으로 맞추고 공백을 없애는 사전 과정을 수행한다. 즉, 학습영상을 생성하고, 글자영역을 분리하고, 글자객체를 검출하고, 글자객체를 영역중앙에 정렬하고, 크기를 정규화하는 과정을 사전에 수행할 수 있다.

도 5는 시뮬레이터의 화면에서 객체를 식별하는 다른 방식을 나타낸 순서도이다.

도 5를 참조하면, 시뮬레이터(300)의 화면을 스크린 캡처 한 후, 글자영역을 검출하고 글자를 문자단위로 분리한다. 글자는 사전에 학습한 분류기를 통해서 어떤 문자인지 인식할 수 있다. 그 다음 마우스 입력장치의 정보(마우스 커서의 영상상의 위치)를 실시간으로 획득(검출)하여, 마우스 커서가 사전에 설정하였던 장비의 관심영역(RoI) 내에 포함될 경우 장비의 ID를 획득할 수 있도록 동작할 수 있다. 이때, 파악된 장비의 ID 및 관련 장비 정보는 네트워크 통신을 통해 서버(200)로 전송될 수 있다.

한편, 본 발명의 실시예에 따른 산업현장 시뮬레이션 시스템(1)은 추가인식영역을 선정하고, 추가인식영역의 영상 차이점을 토대로 고유 식별자를 실제객체에 각각 부여하여 유사객체를 식별할 수 있다.

즉, 시뮬레이터(300)의 화면상에 표시되는 실제객체(장비)의 모양은 매우 비슷하므로 유사객체로 정의될 수 있어 이를 보다 정확하게 식별하기 위한 방식이 적용될 수 있다.

산업현장 시뮬레이션 시스템(1)은 추가인식영역의 영상 차이점을 토대로 각각의 실제객체에 부여된 고유 식별자와, 각 실제객체의 화면상의 위치정보를 모두 고려하여 각각의 실제객체를 식별할 수 있다.

따라서 유사성이 높은 실제객체가 배열되더라도 이를 식별하여 각각의 실제객체에 할당된 가상객체를 표시하여 사용자에게 혼동 없는 정보를 전달할 수 있다.

객체의 시각인지기술은 네 가지 단계로 구분할 수 있다. - DCRI (Detection, Classification, Recognition, and Identification) -

우선, 발견(Detection)은 객체가 있는지 없는지만 알 수 있는 단계이다.

다음으로, 분류(Classification)는 객체가 어떤 분류인지 알 수 있는 단계이다. - 예를 들면 사람인지 동물인지 분류할 수 있음 -

다음으로, 인식(Recognition)은 객체의 개략적인 특성을 알 수 있는 단계이다. - 예를 들면 사람이 입고 있는 옷의 간략한 정보를 알 수 있음 -

마지막으로, 식별(Identification)은 객체의 세밀한 특성을 알 수 있는 단계이다. - 예를 들면 어떤 사람의 얼굴을 구분할 수 있고, 자동차 번호판의 숫자를 알 수 있음 -

본원발명의 산업현장 시뮬레이션 시스템(1)은 식별(Identification)단계가 구현되어 유사한 실제객체의 세부 특성을 구분할 수 있도록 동작한다.

예를 들면 산업현장 시뮬레이션 시스템(1)은 유사한 모양을 갖는 설비(실제객체)에 부착된 문자를 인식하고 고유식별번호를 부여하거나, 차이가 있는 부분을 식별한 후 그 부분을 추가인식영역을 선정하고, 추가인식영역의 2D/3D 특징정보 차이와, 화면상의 위치정보를 모두 이용하여 유사도 값이 높은 실제객체를 각각 구분할 수 있도록 구성된다.

도 6은 산업현장 시뮬레이션 시스템(1)에서 유사객체를 식별하기 위한 학습과정을 나타낸 순서도이고, 도 6a는 산업현장 시뮬레이션 시스템(1)에서 유사객체를 식별하기 위한 추가인식영역을 선정하는 과정을 도시한 구성도이다.

도 6 및 도 6a를 참조하면, 서버(200)는 실제영상정보의 실제객체를 식별하고 식별된 실제객체에 각각 할당된 3차원 가상영상의 가상객체를 가상현실 디스플레이(100)에 제공하도록 동작한다.

즉, 서버(200)는 실제영상정보에 존재하는 복수의 실제객체 중에서 소정의 영상 유사도 값(d) 이상을 갖는 실제객체들은 각각의 실제영상정보를 차분하여 추가인식영역을 선정하고, 추가인식영역의 영상 차이점을 토대로 고유 식별자를 실제객체에 각각 부여한다.

예를 들면 추가인식영역이 서로 다른 문자나, 숫자가 표시되어 있을 경우 서버(200)는 추가인식영역의 차이점을 토대로 각각의 실제객체에 고유 식별자를 부여한 후 이를 데이터베이스화하여 저장하고, 고유 식별자에 할당된 가상객체를 추가 가상현실 디스플레이(100)로 전송할 수 있다.

즉, 복수의 실제객체가 소정의 영상 유사도 값(d) 이상을 가질 경우, 영상을 추상화하고 영상을 차분화하여 추가인식영역(추가 학습영역)을 설정한 후, 추가인식영역의 차이점을 식별하여 각각의 고유 식별자를 부여하는 것이다.

도 7은 산업현장 시뮬레이션 시스템(1)에서 유사객체를 식별하는 과정을 나타낸 순서도이고, 도 8은 산업현장 시뮬레이션 시스템(1)에서 유사객체를 식별하는 상태를 나타낸 제1 예시도이다.

도 7 및 도 8을 참조하면, 서버(200)는 실제영상정보의 실제객체를 구분한 후, 유사 이미지가 존재하지 않을 경우(유사한 모양의 실제객체가 존재하지 않을 경우)에는 식별된 이미지에 해당하는 가상객체를 각각 할당한다.

이때, 서버(200)는 유사 이미지가 존재할 경우(유사한 모양의 실제객체가 존재할 경우) 추가인식영역의 정보를 비교하여 고유 식별자를 식별한 후, 고유 식별자에 해당하는 가상객체를 할당한다.

즉, 도 8에 도시된 바와 같이, 유사한 모양의 설비(실제객체)가 이웃한 위치에 배치될 경우, 서버(200)는 실제영상정보에서 복수의 실제객체를 인식한 후, 각 실제객체의 추가인식영역의 정보를 비교하여 고유 식별자를 식별하고 고유 식별자에 해당하는 가상객체를 할당한다.

한편, 각 설비의 추가인식영역에 서로 다른 식별마커가 표시되어 있을 경우, 그 식별마커의 형태는 다음과 같이 구성될 수 있다.

식별마커는 제1 식별마커 영역과, 제2 식별마커 영역과, 제3 식별마커 영역과, 제4 식별마커 영역을 포함하여 구성될 수 있다. 즉, 식별마커는 제1 식별마커 영역, 제2 식별마커 영역, 제3 식별마커 영역 및 제4 식별마커 영역을 하나의 식별자로써 인식한다.

제1 식별마커 영역, 제2 식별마커 영역, 제3 식별마커 영역 및 제4 식별마커 영역의 상대적인 인쇄위치(좌우상하)도 하나의 구분자로써 이용될 수 있다. 식별마커 영역에는 숫자, 기호, 부호 등과 같이 다양한 문자들이 인쇄될 수도 있다. 또한, 식별마커는 QR 코드, 바코드 형태로 인쇄될 수도 있을 것이다.

도 9는 산업현장 시뮬레이션 시스템(1)에서 유사객체를 식별하는 상태를 나타낸 제2 예시도이다.

도 9를 참조하면, 서버(200)는 추가인식영역의 영상 차이점을 토대로 각각의 실제객체에 부여된 고유 식별자와, 각 실제객체의 화면상의 위치정보를 모두 고려하여 각각의 실제객체를 식별할 수 있다.

예를 들면 복수의 실제객체가 화면상에서 소정의 이격거리를 유지할 경우, 유사도 값이 높은 실제객체라 할지라도 화면상의 위치정보를 이용하여 이를 식별할 수 있다. 이때, 서버(200)는 위치정보로도 식별되지 않는 실제객체들을 추가적으로 식별하기 위해 추가인식영역을 선정하고 이 영역을 인식하여 실제객체들의 차이를 식별할 수도 있을 것이다. 참고적으로 화면상의 위치정보는 마우스 커서의 위치로써 지정될 수 있다.

한편, 실제영상정보의 실제객체에 각각 할당되어 표시되는 3차원 가상영상의 가상객체의 위치는, 각각 소정의 이격거리를 유지하도록 자동 조절되어 가상현실 디스플레이(100)에 표시된다.

따라서 가상객체간의 상호 위치관계를 고려하여 객체들이 서로 중첩되지 않도록 위치가 자동 조절되므로 사용자가 편리하게 원하는 가상객체의 정보를 확인할 수 있다. 즉, 가상객체를 집중력 있게 인지하는 시간이 길어지게 된다.

도 10은 산업현장 시뮬레이션 시스템(1)의 다른 동작원리를 나타낸 도면이다.

도 10을 참조하여 산업현장 시뮬레이션 시스템(1)의 동작원리를 좀 더 상세히 설명하면 다음과 같다.

여기에서 실제객체는 시뮬레이터(300)의 화면상에 표시되는 장비, 즉 화면상에서 표시되는 장비의 형태이고, 가상객체는 해당 장비를 선택했을 때 표시되는 3차원 가상/실사영상이라고 가정한다.

제1 가상객체(Virtual Object 1)와 실제객체(Physical Object) 사이의 이격거리(D2)는,

제1 가상객체(Virtual Object 1)의 중심점과 제1 가상객체(Virtual Object 1)의 최외곽영역 사이의 거리(R1)와, 실제객체(Physical Object)의 중심점과 실제객체(Physical Object)의 최외곽영역 사이의 거리(R3)의 합보다 더 긴 거리를 갖도록 자동 설정된다.

또한, 제2 가상객체(Virtual Object 2)와 실제객체(Physical Object) 사이의 이격거리(D1)는, 제2 가상객체(Virtual Object 2)의 중심점과 제2 가상객체(Virtual Object 2)의 최외곽영역 사이의 거리(R2)와, 실제객체(Physical Object)의 중심점과 실제객체(Physical Object)의 최외곽영역 사이의 거리(R3)의 합보다 더 긴 거리를 갖도록 자동 설정된다.

또한, 제1 가상객체(Virtual Object 1)와 제2 가상객체(Virtual Object 2) 사이의 이격거리(D1)는, 제1 가상객체(Virtual Object 1)의 중심점과 제1 가상객체(Virtual Object 1)의 최외곽영역 사이의 거리(R1)와, 제2 가상객체(Virtual Object 2)의 중심점과 제2 가상객체(Virtual Object 2)의 최외곽영역 사이의 거리(R2)의 합보다 더 긴 거리를 갖도록 자동 설정된다.

제1 가상객체(Virtual Object 1) 및 제2 가상객체(Virtual Object 2)는 수평방향 및 수직방향으로 이동하며, 다른 객체와 중복되어 사용자의 시야에서 벗어나지 않도록 3차원 공간상에서 위치가 자동 조절 - x , y , z 축을 기준으로 위치가 조절됨 - 된다.

한편, 실제객체(Physical Object) 및 제1 가상객체(Virtual Object 1) 사이와, 실제객체(Physical Object) 및 제2 가상객체(Virtual Object 2) 사이에는 각각의 가상선(L1, L2)이 동적으로 생성되어 표시된다.

가상선(L1, L2)은 많은 수의 가상객체가 화면상에 존재할 때, 실제객체(Physical Object)와의 연관성을 지시하기 위해 표시되며 가상선(L1, L2)의 굵기, 투명도, 색상은 사용자의 시선에 따라 자동으로 변경될 수 있다.

예를 들면 사용자가 제1 가상객체(Virtual Object 1)를 소정의 시간 이상 응시할 경우 헤드 마운티드 디스플레이(100)가 제1 가상객체(Virtual Object 1)의 응시여부를 감지한 후, 실제객체(Physical Object)와 제1 가상객체(Virtual Object 1) 사이의 가상선(L1)의 굵기를 다른 가상선(L2)보다 더 굵게 변경하고, 투명도도 더 낮게 변경하고, 색상도 붉은색 등과 같이 강조될 수 있는 색상으로 자동 변경하도록 동작할 수도 있다.

이때, 실제객체(Physical Object)에 제1 가상객체(Virtual Object 1) 및 제2 가상객체(Virtual Object 2)가 모두 할당된다고 가정하면, 실제객체(Physical Object)에 할당된 복수의 가상객체의 거리는 상술한 바와 같이 소정의 이격거리(D2, D3)를 각각 유지하되, 더 세부적인 정보를 갖는 가상객체가 실제객체(Physical Object)에 상대적으로 더 가까이에 배치된다.

예를 들어 제1 가상객체(Virtual Object 1)의 정보가 더 세부적인 정보이고, 제2 가상객체(Virtual Object 2)의 정보는 상대적으로 개념적인 정보라고 가정하면,

제1 가상객체(Virtual Object 1)와 실제객체(Physical Object) 사이의 이격거리(D2)보다 제2 가상객체(Virtual Object 2)와 실제객체(Physical Object) 사이의 이격거리(D3)가 더 길게 자동 설정되어, 사용자가 세부적인 정보를 빠르게 인지할 수 있다.

또한, 실제객체(Physical Object)에 복수의 가상객체가 할당되어 있을 경우, 연관성이 높을수록 가상객체 사이의 거리가 더 가까이 배치되고, 연관성이 낮을수록 가상객체 사이의 거리가 더 멀리 자동 배치될 수 있다.

도 11은 산업현장 시뮬레이션 시스템(1)의 헤드 마운티드 디스플레이(100)의 구성도이고, 도 11a는 헤드 마운티드 디스플레이(100)의 예시도이다.

도 11및 도 11a를 참조하면, 헤드 마운티드 디스플레이(100)는 투명 디스플레이(110)와, 좌측 전방 카메라(121)와, 우측 전방 카메라(122)와, 좌측 3D센서(131)와, 우측 3D센서(132)와, 위성모듈(141)과, 통신모듈(142)과, 9축 센서(143)와, 배터리(144)와, 인식 카메라(145)와, 제어부(150)를 포함하여 구성된다.

투명 디스플레이(110)는 투명한 재질의 디스플레이로써 헤드 마운티드 디스플레이(100)의 렌즈를 구성한다. 따라서 사용자가 전방을 주시한 상태에서 가상객체를 동시에 확인할 수 있다. 이때 투명 디스플레이(110)는 렌즈 전체 또는 렌즈 일부에 탑재될 수 있다.

좌측 전방 카메라(121)는 안경의 좌측에 탑재되어 전방의 실제영상정보를 획득한다. 또한, 우측 전방 카메라(122)는 안경의 우측에 탑재되어 전방의 실제영상정보를 획득한다.

좌측 3D센서(131) 및 우측 3D센서(132)는 좌측 전방 카메라(121) 및 우측 전방 카메라(122)와 연동되어 전방의 3D영상을 촬영할 수 있도록 동작한다. 즉 촬영된 3D 영상은 내장된 메모리에 저장되거나 서버(200)로 전송될 수 있다. 참고적으로 실시예에 따라 전방 카메라 및 3D센서가 하나씩 배치되어 실제영상정보를 획득하도록 구성될 수도 있을 것이다. 전방 카메라는 적외선 영역 및 가시광선 영역을 모두 촬영할 수 있도록 구성되는 것이 바람직하다.

위성모듈(141)은 위성위치정보를 획득하기 위해 구비되고, 통신모듈(142)은 와이파이(Wi-Fi) 통신모듈, 블루투스 통신모듈, 광대역(3G, 4G, LTE) 통신모듈이 탑재될 수 있다.

9축 센서(143)는 가속도 3축, 관성 3축, 지자기 3축으로 총 9축의 값이 측정되기 때문에 9축 센서라고 지칭되며, 온도값에 대한 보정을 위해 온도센서가 추가로 구비될 수 있다. 9축 센서(143)는 헤드 마운티드 디스플레이(100)의 3차원적인 움직임을 감지하여 사용자의 응시방향, 이동방향, 기울기 등을 감지할 수 있다.

배터리(144)는 헤드 마운티드 디스플레이(100)에 구동전원을 공급할 수 있도록 구성되며 충전 가능한 리튬이온 배터리나, 의사 캐패시터로 구성될 수 있다.

참고적으로, 배터리(144)는 복수의 의사 캐패시터(Pseudo Capacitor)로 구성될 수 있는데, 의사 캐패시터(Pseudo Capacitor)는 전극에서의 이차원적인 산화-환원 반응을 이용하므로 일반적인 캐패시터보다 우수한 축전용량을 가지며 수명이 상대적으로 긴 장점이 있다.

인식 카메라(145)는 사용자의 눈동자의 움직임과, 눈동자의 응시방향, 눈의 크기변화를 감지한다. 인식 카메라(145)는 좌측 및 우측에 각각 배치되는 것이 가장 바람직하며 어느 한 방향에만 배치될 수도 있다.

기본적으로 인식 카메라(145)는 사용자의 눈이 위치한 방향으로 촬영되고 있으나, 투명 디스플레이(110)에서 반사되는 눈의 영상을 촬영하여 눈동자의 움직임, 응시방향, 크기변화 등을 감지하도록 구성될 수도 있을 것이다.

제어부(150)는 투명 디스플레이(110), 좌측 전방 카메라(121), 우측 전방 카메라(122), 좌측 3D센서(131), 우측 3D센서(132), 위성모듈(141), 통신모듈(142), 9축 센서(143), 배터리(144), 인식 카메라(145)의 동작을 제어한다.

한편, 제어부(150)는 충전전력의 크기에 따라 복수의 의사 캐패시터 중 적어도 어느 하나를 선택적으로 충전하도록 구성될 수 있다. 그 충전방식에 대해서 상세히 설명하면 다음과 같다.

복수의 의사 캐패시터가 3개 배치될 경우, 즉 제1 의사 캐패시터, 제2 의사 캐패시터 및 제3 의사 캐패시터가 배치된다고 가정한다. 이때 제1 의사 캐패시터의 충전용량이 가장 크고, 제2 의사 캐패시터의 충전용량은 제1 의사 캐패시터보다 작고, 제3 의사 캐패시터의 충전용량은 제2 의사 캐패시터보다 더 작다고 가정한다.

제어부(150)는 제1 의사 캐패시터, 제2 의사 캐패시터 및 제3 의사 캐패시터의 충전량을 감지한 후, 충전량이 가장 높은 순서대로 구동전력을 공급한다.

예를 들면, 제1 의사 캐패시터의 충전량이 60%이고, 제2 의사 캐패시터의 충전량이 70%이고, 제3 의사 캐패시터의 충전량이 80%일 경우,

제3 의사 캐패시터의 전력을 우선으로 공급하다가, 충전량이 40%에 도달하면 제3 의사 캐패시터의 전력공급을 차단하고 제2 의사 캐패시터의 전력을 공급한다. 또한, 제2 의사 캐패시터의 충전량이 40%에 도달하면 제2 의사 캐패시터의 전력공급을 차단하고 제1 의사 캐패시터의 전력을 공급한다.

또한, 제1 내지 제3 의사 캐패시터의 충전량이 모두 40% 이하 일 경우, 제어부(150)는 제1 내지 제3 의사 캐패시터를 병렬로 연결하여 구동전력을 공급한다.

도 12는 산업현장 시뮬레이션 시스템(1)의 안전모드가 동작하는 상태도이다.

산업현장 시뮬레이션 시스템(1)은 사용자의 안전을 위해 안전모드가 설정될 수 있다.

안전모드가 설정될 경우, 헤드 마운티드 디스플레이(100)는 전방 카메라(121, 123)를 통해 사용자에게 접근하는 실제객체를 감지한다. 즉, 자동차, 자전거 등과 같이 사용자에게 위험이 될 수 있는 실제객체가 사용자 방향으로 빠르게 접근하는 것을 감지하여 위험상황을 투명 디스플레이(110)에 표시할 수 있다.

도 12를 참조하면, 사용자가 전방을 주시하고 있는 상태의 화면이 도시되어 있는데, 중앙에 점선으로 표시된 사각영역은 시선집중구역으로 정의되며 점선의 테두리로 그 영역이 정의되어 있다. 이때, 전방 카메라(121, 122)에서 자동차, 자전거 등과 같이 사용자에게 위험이 될 수 있는 실제객체가 사용자 방향으로 빠르게(소정의 속도 이상) 접근하는 것을 감지할 경우,

시선집중구역의 크기가 자동으로 확장되고, 화면에 표시되고 있는 가상객체는 시선집중구역의 외곽방향으로 자동이동하거나, 그 투명도가 더욱 강화되어 사용자가 접근하는 실제객체를 용이하게 인지할 수 있도록 동작한다.

사용자에게 접근하는 실제객체의 속도에 비례(정비례 또는 제곱에 비례)하여 시선집중구역의 크기, 가상객체의 투명도, 외곽방향으로 이동하는 가상객체의 이동속도가 자동 결정될 수 있다.

또한, 인식 카메라(145)가 사용자의 눈동자의 방향을 감지할 경우, 시선집중구역은 눈동자의 방향에 따라 자동 이동하도록 동작한다. 즉, 사용자의 눈이 오른쪽을 응시하고 있을 경우 시선집중구역은 오른쪽 방향으로 이동한 상태이다. 이때, 전방 카메라(121, 123)에서 자동차, 자전거 등과 같이 사용자에게 위험이 될 수 있는 실제객체가 사용자 방향으로 접근 - 정면에서 접근 - 하는 것을 감지할 경우, 시선집중구역은 상술한 바와 같은 안전동작을 진행하되, 사용자의 정면방향으로 시선집중구역이 자동이동한다.

즉, 시선집중구역은 사용자에게 빠르게 접근하는 실제객체의 방향으로 자동이동하도록 설정될 수도 있을 것이다.

또한, 사용자에게 위험이 될 수 있는 실제객체에 새로운 가상객체가 할당되어 표시되고 실제객체(Physical Object)와의 연관성을 지시하기 위한 가상선이 표시될 수 있다. 이때 새로운 가상객체는 위험을 지시하는 아이콘, 문자 등으로 표시될 수 있으며 접근속도가 가상객체로써 추가 표시될 수도 있을 것이다.

참고적으로 인식 카메라(145)는 사용자의 눈동자의 움직임과, 눈동자의 응시방향, 눈의 크기변화를 감지할 수 있으므로, 이러한 눈동자의 크기변화를 토대로 동작명령을 지시할 수 있다.

예를 들면 사용자가 눈을 소정의 시간동안 크게 뜰 때마다 점차적으로 하위 정보에 해당하는 가상정보를 표시하고, 눈을 소정의 시간동안 작게 뜰 때마다 점차적으로 상위 정보에 해당하는 가상정보를 표시하도록 지시될 수 있다. 또한, 인식 카메라(145)의 명령 인식률을 향상시키기 위해 사용자의 눈썹에 지시용 눈썹을 부착할 수도 있다. 지시용 눈썹은 소정의 적외선 파장을 반사하는 반사도료가 코팅되어 있으며, 인식 카메라(145)는 그 적외선 파장을 인식할 수 있도록 구성되어 명령 인식율을 향상시킬 수도 있을 것이다.

도 13은 산업현장 시뮬레이션 시스템(1)의 오버헤드 뷰 모드(Overhead View Mode)가 동작하는 상태도이다.

도 13을 참조하면, 산업현장 시뮬레이션 시스템(1)은 오버헤드 뷰 모드(Overhead View Mode)가 설정될 수 있다.

오버헤드 뷰 모드(Overhead View Mode)는 사용자의 머리 위에서 촬영되어 합성된 영상이 투명 디스플레이(110)에 표시되는 모드를 의미한다.

즉, 도면에 미도시되었으나 헤드 마운티드 디스플레이(100)에는 적외선 영역 및 가시광선 영역을 촬영할 수 있는 복수의 뷰 카메라가 안경 프레임을 따라 추가적으로 배열될 수 있다. 따라서 복수의 뷰 카메라에서 촬영된 영상을 합성하여 사용자의 시야에 제공할 수 있는데, 주간 뿐만 아니라 특히 야간에는 사용자가 안전하게 이동할 수 있는 발바닥 궤적을 표시할 수 있다. 이때, 발바닥 궤적은 소정의 이전 위치를 기준으로한 지면의 높이가 표시되어 사용자가 보다 안전하게 이동하는데 도움을 줄 수 있다.

본 발명의 실시예에 따른 산업현장 시뮬레이션 시스템(1)은 추가인식영역을 선정하고, 추가인식영역의 영상 차이점을 토대로 고유 식별자를 실제객체에 각각 부여하여 유사객체를 식별할 수 있다.

또한, 산업현장 시뮬레이션 시스템(1)은 추가인식영역의 영상 차이점을 토대로 각각의 실제객체에 부여된 고유 식별자와, 각 실제객체의 현재위치정보를 모두 고려하여 각각의 실제객체를 식별할 수 있다. 따라서 유사성이 높은 실제객체가 배열되더라도 이를 식별하여 각각의 실제객체에 할당된 가상객체를 표시하여 사용자에게 혼동 없는 정보를 전달할 수 있다.

또한, 본 발명의 실시예에 따른 산업현장 시뮬레이션 시스템(1)은 산업현장의 각각의 장비를 모니터링하여 제어하며 각 장비의 동작상태를 화면에 표시하는 시뮬레이터에 가상현실을 도입하여 관리자 및 교육생들이 장비의 동작상태를 보다 현실감 있게 빠르게 파악할 수 있다.

이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100 : 가상현실 디스플레이, 헤드 마운티드 디스플레이
200 : 서버
300 : 시뮬레이터
110 : 투명 디스플레이
121 : 좌측 전방 카메라
122 : 우측 전방 카메라
131 : 좌측 3D센서
132 : 우측 3D센서
141 : 위성모듈
142 : 통신모듈
143 : 9축 센서
144 : 배터리
145 : 인식 카메라
150 : 제어부

Claims (6)

1. 산업현장의 각각의 장비를 모니터링하여 제어하며 각 장비의 동작상태를 화면에 표시하는 시뮬레이터;
   상기 시뮬레이터의 화면에서 선택된 장비에 각각 할당된 3차원 가상/실사영상을 가상현실 디스플레이에 제공하는 서버; 및
   상기 시뮬레이터에서 선택된 장비의 동작상태 및 선택된 장비의 3차원 가상/실사영상을 상기 서버로부터 제공받아 표시하는 상기 가상현실 디스플레이;
   를 포함하는 산업현장 시뮬레이션 시스템.
   
2. 제1항에 있어서,
   상기 가상현실 디스플레이에서 상기 3차원 가상/실사영상이 조작될 경우, 상기 시뮬레이터는 상기 3차원 가상/실사영상의 조작상태에 따라 상기 3차원 가상/실사영상에 대응되는 해당 장비의 동작을 제어하는 것을 특징으로 하는 산업현장 시뮬레이션 시스템.
   
3. 제1항에 있어서,
   상기 서버는,
   상기 시뮬레이터의 화면에 표시되는 실제객체의 픽셀 변화량을 토대로 선택여부를 식별하고 식별된 실제객체에 각각 할당된 상기 3차원 가상/실사영상을 상기 가상현실 디스플레이에 제공하는 것을 특징으로 하는 산업현장 시뮬레이션 시스템.
   
4. 제1항에 있어서,
   상기 서버는,
   상기 시뮬레이터의 화면에 표시되는 실제객체의 선택을 식별하고 식별된 실제객체에 각각 할당된 상기 3차원 가상/실사영상을 상기 가상현실 디스플레이에 제공함에 있어서,
   상기 시뮬레이터의 화면에 표시되는 복수의 실제객체 중에서 소정의 영상 유사도 값 이상을 갖는 실제객체들은 각각의 영상정보를 차분하여 추가인식영역을 선정하고, 추가인식영역의 영상 차이점을 토대로 고유 식별자를 실제객체에 각각 부여하는 것을 특징으로 하는 산업현장 시뮬레이션 시스템.
   
5. 제4항에 있어서,
   상기 서버는,
   추가인식영역의 영상 차이점을 토대로 각각의 실제객체에 부여된 고유 식별자와, 각 실제객체의 화면상의 위치정보를 모두 고려하여 각각의 실제객체를 식별하는 것을 특징으로 하는 산업현장 시뮬레이션 시스템.
   
6. 제4항에 있어서,
   상기 서버는,
   추가인식영역의 영상 차이점을 토대로 각각의 실제객체에 부여된 고유 식별자와, 각 실제객체에 부여된 문자와, 각 실제객체의 화면상의 위치정보를 모두 고려하여 각각의 실제객체를 식별하는 것을 특징으로 하는 산업현장 시뮬레이션 시스템.

Images