KR20180074182A

KR20180074182A - 증강현실 시스템 구현 방법

Info

Publication number: KR20180074182A
Application number: KR1020160178019A
Authority: KR
Inventors: 김완수; 김보묵
Original assignee: 주식회사 이제갬
Priority date: 2016-12-23
Filing date: 2016-12-23
Publication date: 2018-07-03
Also published as: KR101879102B1

Abstract

본 발명은 증강현실 시스템 구현 방법에 관한 것으로 손잡이형 마커 투사 단말부에서 마커가 투사되어 스크린이나 실제 제품상에 마커가 표시되면 증강현실 체험부에서 마커를 인식하여 이벤트를 발생시킴으로써 투사되는 마커의 종류에 따라 다양한 CG기반의 컨텐츠를 변경할 수 있을 뿐만 아니라, 작동 시뮬레이션까지 구현함으로써 주제에 맞는 폭넓은 체험이 가능하도록 하는 증강현실 시스템 구현 방법에 관한 것이다.

Description

증강현실 시스템 구현 방법{Method for implementing augmented reality system}

본 발명은 증강현실 시스템 구현 방법에 관한 것으로서, 손잡이형 마커 투사 단말부에서 마커가 투사되어 스크린이나 실제 제품상에 마커가 표시되면 증강현실 체험부에서 마커를 인식하여 이벤트를 발생시킴으로써 투사되는 마커의 종류에 따라 다양한 CG기반의 콘텐츠를 변경할 수 있을 뿐만 아니라, 작동 시뮬레이션까지 구현함으로써 주제에 맞는 폭넓은 체험이 가능하도록 하는 증강현실 시스템 구현 방법에 관한 것이다.

일반적으로, 증강현실(AR; Augmented Reality)은 가상현실(VR; Virtual Reality)의 변화된 형태로서, 사용자가 보고 있는 실사의 영상에 컴퓨터에서 생성한 가상의 영상을 정합시키는 사용자 인터페이스 기술을 말한다.

이러한 증강현실을 구현하는 방법은 크게 마커를 기반으로 하는 구현방법과 실제로 존재하는 물체로부터 수집된 특징점들을 이용하여 구현하는 마커리스 방법으로 구분되며, 영상의 인식을 용이하게 하기 위하여 마커를 기반으로 증강현실을 구현하는 방법이 많이 이용된다.

이러한 증강현실은 정보 제공자가 사전에 입력한 데이터를 특정 신호(예컨대, GPS, 이미지 마커 등임)에 따라 노출하는 형태를 취하고 있어서, 사용자는 정보 제공자가 제공하는 정보를 일방적으로 받는 형태여서, 사용자는 자신의 의도에 맞는 증강 정보를 받을 수 없다는 단점이 있으며, 사용자의 의도에 맞는 증강 정보를 받기 위해서는 체험상황에 따라 센서나 모션 캡쳐 장치가 내장된 장치들을 바꾸어야 하기 때문에 번거로움 및 비용이 많이 소요된다는 단점이 있다.

이를 개선하기 위하여 대한민국 등록특허 제10-1582225호의 인터랙티브 증강현실 서비스 시스템 및 방법은 도 1에 도시한 바와 같이 영상 획득부(10), 마커 인식부(20), 3D모델 결정부(30), 머트리얼(material) 결정부(40), 렌더링부(50), 표시부(60), 저장부(70)로 구성되어 마커에 기반한 증강정보 서비스를 제공받는 사용자가 마커를 변형할 수 있고, 이를 통해 사용자는 자신의 의도에 맞는 증강정보를 제공받을 수 있을 뿐만 아니라, 사용자가 마커를 변형한 경우, 마커의 변형에 따라 3D모델을 변형하거나, 3D모델의 각 부분의 스케일을 조정할 수 있도록 하고 있다.

그러나, 이러한 종래의 기술은 마커의 변형을 통하여 사용자는 자신의 의도에 맞는 증강정보를 제공받을 수 있는 장점은 있으나, 여전히 특정 체험환경에 대해서 마커를 변형함으로써 사용자의 의도에 부합하도록 하고 있어서 다양한 체험 환경에 부합하는 증강정보를 제공받기에는 한계가 있다는 문제점을 내포하고 있다.

상기와 같은 종래 기술의 문제점을 해결하기 위하여 안출된 본 발명은 마커 인식 기반의 증강현실 기술을 이용하여 손잡이형 마커 투사 단말부에서 화재, 지진 등과 같은 미리 설정되는 체험 환경의 상황에 부합하는 다양한 마커를 투사하도록 하여 투사되는 마커의 종류에 따라 다양한 CG 기반의 컨텐츠를 변경하도록 하기 위한 목적이 있다.

또한, 본 발명은 가상현실 체험 상황을 표현하는 마커와 이에 대응되는 마커를 추가적으로 투사하고 이들 마커들의 상대적인 관계에 의한 정합도에 따라 체험시스템의 작동 시뮬레이션까지 가상현실로 구현함으로써 주제에 맞는 폭 넓은 체험이 가능하도록 하기 위한 다른 목적이 있다.

또한, 본 발명은 손잡이형 마커 투사부에서 마커가 투사되어 스크린이나 실제품 위에 마커가 표시되면 그 마커를 인식하여 가상현실 이벤트를 발생시킬 수 있어 보다 사실적인 체험이 가능하도록 하기 위한 또 다른 목적이 있다.

본 발명의 상기 목적은 증강현실 체험부 및 마커 투사 단말부로 구성된 증강현실 체험 시스템 구현 방법에 있어서, 상기 증강현실 체험부가 구비한 영상취득모듈에 의하여 가상현실 상황을 표현하는 제1 마커를 인식하는 제1 단계; 상기 제1 단계에서 인식된 제1 마커의 정보에 대응되는 제2 마커를 상기 마커 투사 단말부의 마커 표시모듈에 표시하는 제2 단계; 상기 마커 표시모듈에 표시된 상기 제2 마커의 선택입력을 사용자로부터 선택받는 제3 단계; 상기 제3 단계에서 선택된 상기 제2 마커의 동작과 관련된 제3 마커를 상기 마커 투사 단말부의 마커 투사 모듈에 의하여 상기 제1 마커가 표시된 평면상에 투사하는 제4 단계; 상기 마커 투사 모듈에서 투사된 상기 제3 마커를 상기 영상취득모듈에서 인식하여 상기 제3 마커의 정보에 대응되는 객체를 상기 증강현실 체험부가 구비한 증강현실 표시부에 표시하는 제5 단계; 및 상기 제1 마커 및 상기 제3 마커의 정합도에 따라 생성되는 제4 마커를 상기 영상취득모듈에서 인식하여 상기 제4 마커에 따른 객체를 상기 증강현실 표시부에 표시하는 제6 단계로 구성되는 것을 특징으로 하는 증강현실 체험 시스템 구현 방법에 의해 달성된다.

따라서, 본 발명의 증강현실 체험 시스템 구형방법은 마커 인식 기반의 증강현실 기술을 이용하여 손잡이형 마커 투사 단말부에서 체험환경에 따라 다양한 마커를 투사하도록 하여 마커의 종류에 따라 다양한 CG 기반의 컨텐츠를 변경할 수 있도록 하는 효과가 있다.

또한, 본 발명은 가상현실 체험 상황을 표현하는 마커와 이에 대응되는 마커를 추가적으로 투사하고 이들 마커들의 상대적인 관계에 의한 정합도에 따라 체험시스템의 작동 시뮬레이션까지 가상현실로 구현함으로써 주제에 맞는 폭 넓은 체험이 가능하도록 하는 효과가 있다.

또한, 본 발명은 손잡이형 마커 투사부에서 마커가 투사되어 스크린이나 실제품 위에 마커가 표시되면 그 마커를 인식하여 가상현실 이벤트를 발생시킬 수 있어 보다 사실적인 체험이 가능하도록 하는 효과가 있다.

도 1은 종래의 기술에 따른 증강현실 처리 장치의 구성도,
도 2는 본 발명에 따른 증강현실 체험 시스템의 구성도,
도 3은 본 발명에 따른 증강현실 체험 시스템 구현 방법의 순서도,
도 4는 본 발명에 따른 증강현실 체험 시스템의 구현 예시도이다.

본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.

따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.

도 2는 본 발명에 따른 증강현실 체험 시스템의 구성도이다.

도 2에 도시된 바와 같이, 본 발명은 마커 표시 평면(100), 증강현실 체험부(200), 마커 투사 단말부(300) 및 마커정보 데이터베이스(400)으로 구성된다.

이중 증강현실 체험부(200)은 마커를 인식하기 위한 영상취득모듈(210) 및 증강현실 표시부(220) 등으로 구성되며, 영상취득모듈(210)은 일반적으로 영상을 취득할 수 있는 카메라이며, 증강현실 표시부는 영상처리부(미도시)에 의해 처리된 영상을 표시할 있으며, 휴대전화, PDA(Personal Digital Assistants) 등과 같은 모바일 디바이스의 경우에는 액정표시장치로 구현되는 것이 바람직하며, HMD(Head Mount Display), 크리스탈 아이즈(Crystal Eyes) 등의 입체안경, 안경형 HMD(Optical See-Through HMD) 등으로 구현되는 것도 가능하다.

마커 투사 단말부(300)는 가상현실 상황을 표현하는 제1 마커에 대응되는 제2 마커를 표시하는 마커 표시모듈(310), 제2 마커를 투사하는 마커 투사 모듈(320), 제2 마커를 체험환경에 적합한 객체로 선택하기 위한 제1 버턴(330) 및 선택된 객체의 동작과 관련된 마커를 투사하기 위한 제2 버턴(340)으로 구성된다.

또한, 마커정보 데이터베이스(400)은 가상 현실을 표현하는 CG 콘텐츠의 용량에 따라 외부에 별도의 콘텐츠 서버에 구현될 수 있으나, 증강현실 체험부(200) 또는 마커 투사 단말부(300)에 구비되는 것이 보다 바람직하다.

도 3은 본 발명에 따른 증강현실 체험 시스템 구현 방법의 순서도이다.

도3에 도시한 바와 같이 본 발명은 증강현실 체험부(200) 및 마커 투사 단말부(300)로 구성되며, 증강현실 체험부(200)가 구비한 영상취득모듈(210)인 카메라에 의하여 가상현실 상황을 표현하는 제1 마커를 인식한다(S1).

여기서, 제1 마커는 마커 표시평면(100)에 부착된 인쇄된 마커, 마커 표시평면(100)에 구비된 디스플레이 모듈에 표시된 마커 또는 별도로 구비된 빔 투영장치에 의하여 마커 표시평면(100)에 투영되어 표시되는 마커 중 어느 하나로서 체험의 환경과 관련된 객체 정보를 포함하고 있다.

이후 가상현실 상황을 표현하는 제1 마커를 인식하여 인식된 제1 마커의 정보에 대응되는 제2 마커를 마커 투사 단말부(300)의 마커 표시모듈(310)에 표시한다(S2).

제1 마커의 인식과정을 예시하면 마커가 사각형으로 형성되어 그 사각형 내부에 제1 마커의 특징인 텍스트, 숫자, 기호 등과 같은 ID를 갖고 있는 경우 마커정보 검출부(미도시)는 취득된 영상의 각 프레임내에서 사각형 후보군을 찾아 마커 후보군으로 인지하고, 마커 후보군 내부의 ID를 기저장된 ID와 비교하여, 비교결과에 따라 증강현실 시스템에서 사용하는 마커가 맞는지 판별한다.

제1 마커가 증강현실 체험 시스템에 사용되는 마커가 맞는 경우 증강현실 체험부(200) 또는 마커 투사 단말부(300)에 구비되는 마커정보 데이터베이스(400)에 저장된 제1 마커의 체험환경에 대응되는 제2 마커를 추출하며, 이를 마커 투사 단말부(300)에 표시하며, 이러한 마커는 증강현실 체험부(200)에서는 영상취득모듈(210)에 의하여 마커를 인식하고 이에 대응되는 3차원 CG 객체로서 증강현실 표시부(220)에 표시한다.

이후 마커 투사 단말부(300)의 마커 표시모듈(310)에 표시되는 제1 마커의 체험환경에 대응되는 객체를 표현하는 복수개의 마커중 제2 마커를 선택(S3)하며, 이러한 선택은 복수개의 객체에 해당되는 제2 마커를 마커 표시 모듈에 표시하고 사용자에 의하여 체험환경의 대응에 가장 적절하다고 판단하는 객체에 해당되는 마커가 마커 투사 단말부(300)에 구비된 제1 버턴(330)의 조작에 의하여 선택된다.

이후, 마커 투사 단말부(300)의 제1 버턴(330)의 조작에 의하여 선택된 제2 마커의 동작과 관련된 제3 마커를 제2 버턴(340) 조작에 의하여 투사 단말부(300)의 마커 투사 모듈(320)이 제1 마커가 표시된 평면상에 투사한다(S4).

마커 투사 모듈(320)에서 투사된 제3 마커를 증강현실 체험부(200)에 구비된 영상취득모듈(210)에서 인식하여 제3 마커의 정보에 대응되는 객체를 증강현실 체험부(200)가 구비한 증강현실 표시부(220)에 표시한다(S5).

이후, 체험 상황을 표현하는 제1 마커와 사용자가 선택한 체험 상황에 적합한 제2 마커의 동작과 관련된 제3 마커의 정합도에 따라 생성되는 제4 마커를 영상취득모듈(210)에서 인식하여 제4 마커에 따른 객체를 증강현실 표시부(220)에 표시한다(S6).

이러한 제4 마커는 체험 상황을 표현하는 제1 마커와 사용자가 선택한 체험 상황에 적합한 제2 마커의 동작과 관련된 제3 마커와의 중첩 정도 또는 중첩 시간중 어느 하나 이상에 따라 상이한 객체 정보를 갖도록 하여 다양한 시뮬레이션이 가능하도록 한다.

여기서, 제1 마커와 사용자의 조작에 의하여 마커 투사 단말부(300)에서 투사되는 제3 마커가 정확하게 일치되도록 조작함으로써 제1 마커의 체험환경에 부합하는 상황을 신속하게 종료하는 작동 시뮬레이션을 제시하는 것이 바람직하지만 정확하게 일치되지 않는 경우에도 완전하지 않은 체험환경 대응과 관련된 작동 시뮬레이션을 구현함으로써 제1 마커와 제3 마커를 사용자가 일치시키기 위한 게임적인 요소의 도입도 가능하다.

상기에서 기재한 제1 내지 제4 마커에 대응되는 객체는 3차원 고정점 기법을 이용하여 사용자의 전후, 좌우 이동이 있는 경우에도 객체의 형상이 동일하게 유지하여 사용자의 혼동을 방지하면서 증강현실 표시부(220)에 표시하는 것이 보다 바람직하다.

도 4는 본 발명에 따른 증강현실 체험 시스템의 구현 예시도이다.

도 4(a)에 마커 표시평면(100)에 부착된 인쇄된 제1 마커와 손잡이형 마커 투사 단말부(300)에 표시되는 제2 마커 및 마커 투사 단말부(300)의 마커 투사모듈(320)에 의하여 투사되는 제3 마커를 표시하였다.

도 4(b)의 예시를 통하여 도 4(a)의 마커가 증강현실 체험부(200)에 표시되는 것을 설명하면, 증강현실 체험부(200)의 영상취득모듈(210)은 마커 표시 평면(100)상의 제1 마커를 증강현실 체험부(200)의 영상취득모듈(210)에 의하여 인식하여 체험환경이 화재상황인 것으로 판단하면, 화재 상황에 대응이 가능한 복수개의 객체(소화기, 소방호스 등)와 관련된 제2 마커를 마커정보 데이터베이스(400) 추출하며, 추출된 복수개의 객체를 마커 투사 단말부(300)의 마커표시모듈(310)에 표시한 후 제1 버턴(330)에 의하여 추출된 복수개의 객체 중 사용자가 소화기를 선택하면 소화기와 관련된 제2 마커가 마커 표시모듈(310)에 표시되고 이를 증강현실 체험부(200)의 영상취득모듈(210)에서 제2 마커를 인식하여 소화기의 3차원 CG 객체를 증강현실 표시부(220)에 표시한다. 이후 마커 투사 단말부(300)의 제2 버턴(340)을 조작하면 마커 투사모듈(320)은 제1 마커의 객체인 소화기의 동작에 의하여 발생되는 소화액 분사와 관련된 제3 마커를 마커표시 평면(100)에 투사하고, 이를 증강현실 체험부(200)에 구비된 영상취득모듈(210)에서 인식하여 소화액 분사와 관련된 3차원 객체를 증강현실 표시부(220)에 표시한다.

이후 도 4(c)에 도시한 바와 같이 마커 투사 단말부(300)의 제2 버턴(340)을 계속 동작시킨 상태에서 마커 표시 평면(100)에 투사된 소화액 분사와 관련된 제3 마커의 위치를 제1 마커의 위치로 이동시켜 화재 상황을 표시하는 제1 마커와 소화액 분사와 관련된 제3 마커가 중첩되면 화염에 소화액이 분사되는 상태를 표현하는 제4 마커가 생성되어 화재 상황이 진압되는 것을 표현하는 제4 마커에 해당되는 객체를 증강현실 표시부(220)에 표시한다.

도 4(b) 및 도 4(c)에서 화재 상황을 표현하는 제1 마커와 소화액 분사를 표현하는 제3 마커는 소화액 분사가 정확하게 이루어지지 못하는 제1 마커에 제3 마커가 중첩되지 못한 경우에는 제4 마커가 생성되지 않아 화재 상황을 진압하지 못하는 것으로 표시되며, 제1 마커에 제3 마커가 중첩되는 경우에는 화염에 소화액이 분사되는 경우이므로 화재 상황이 진압되는 제4 마커가 생성되어 이에 따른 객체를 표시하도록 한다.

제1 마커에 제3 마커가 중첩되는 경우에도 소화액을 얼마나 정확하게 화염에 분사하고 있는지를 표현하는 마커의 중첩되는 정도 또는 마커가 중첩된 후 소화액의 분사시간을 표현하는 중첩 시간중 어느 하나 이상에 따라 화재 상황이 진압되는 속도를 달리 두는 것으로 제4 마커의 객체 표현 작동 시뮬레이션을 제시하는 것도 가능하다.

본 발명은 이상에서 살펴본 바와 같이 바람직한 실시예를 들어 도시하고 설명하였으나, 상기한 실시예에 한정되지 아니하며 본 발명의 정신을 벗어나지 않는 범위 내에서 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변경과 수정이 가능할 것이다.

100 : 마커 표시 평면 200 : 증강현실 체험부
300 : 마커 투사 단말부 400 : 마커정보 데이터베이스

Claims

증강현실 체험부 및 마커 투사 단말부로 구성된 증강현실 체험 시스템 구현 방법에 있어서,
상기 증강현실 체험부가 구비한 영상취득모듈에 의하여 가상현실 상황을 표현하는 제1 마커를 인식하는 제1 단계;
상기 제1 단계에서 인식된 제1 마커의 정보에 대응되는 제2 마커를 상기 마커 투사 단말부의 마커 표시모듈에 표시하는 제2 단계;
상기 마커 표시모듈에 표시된 상기 제2 마커의 선택입력을 사용자로부터 선택받는 제3 단계;
상기 제3 단계에서 선택된 상기 제2 마커의 동작과 관련된 제3 마커를 상기 마커 투사 단말부의 마커 투사 모듈에 의하여 상기 제1 마커가 표시된 평면상에 투사하는 제4 단계;
상기 마커 투사 모듈에서 투사된 상기 제3 마커를 상기 영상취득모듈에서 인식하여 상기 제3 마커의 정보에 대응되는 객체를 상기 증강현실 체험부가 구비한 증강현실 표시부에 표시하는 제5 단계; 및
상기 제1 마커 및 상기 제3 마커의 정합도에 따라 생성되는 제4 마커를 상기 영상취득모듈에서 인식하여 상기 제4 마커에 따른 객체를 상기 증강현실 표시부에 표시하는 제6 단계로 구성되는 것을 특징으로 하는 증강현실 체험 시스템 구현 방법.
제1항에 있어서,
상기 제1 마커는 인쇄된 마커, 디스플레이 모듈에 표시된 마커 또는 빔 투영에 의하여 표시되는 마커 중 어느 하나인 것을 특징으로 하는 증강현실 체험 시스템 구현 방법.
제1항에 있어서,
상기 제2 마커는 상기 제1 마커의 특징 추출에 따라 생성되며, 상기 증강현실 체험부 또는 상기 마커 투사 단말부에 구비되는 마커정보 데이터베이스에 저장된 것을 특징으로 하는 증강현실 체험 시스템 구현 방법.
제3항에 있어서,
상기 제2 마커는 상기 제1 마커에 대응되는 객체를 표현하는 복수개의 마커로 생성되는 것을 특징으로 하는 증강현실 체험 시스템 구현 방법.
제4항에 있어서,
상기 제3 단계의 선택은 복수개의 객체에 해당되는 제2 마커를 상기 마커 표시 모듈에 표시하고 사용자에 의하여 상기 마커 투사 단말부에 구비된 제1 버턴의 조작에 의하여 선택되는 것을 특징으로 하는 증강현실 체험 시스템 구현 방법.
제5항에 있어서,
상기 제4 단계에서 상기 제3 마커는 상기 마커 투사 단말부의 상기 제1 버턴의 조작에 의하여 선택된 객체의 동작과 관련된 마커를 제2 버턴 조작에 의하여 상기 제1 마커가 표시된 동일 평면상에 투사되는 것을 특징으로 하는 증강현실 체험 시스템 구현 방법.
제1항에 있어서,
상기 제4 마커는 상기 제6 단계의 정합도인 상기 제1 마커 및 상기 제3 마커와 중첩 정도 또는 중첩 시간중 어느 하나 이상에 따라 상이한 객체 정보를 갖는 것을 특징으로 하는 증강현실 체험 시스템 구현 방법.
제1항에 있어서,
상기 제1 내지 제4 마커에 대응되는 객체는 3차원 고정점 기법을 이용하여 사용자의 전후, 좌우 이동이 있는 경우에도 객체의 형상이 동일하게 유지되도록 증강현실 표시부에 표시하는 것을 특징으로 하는 증강현실 체험 시스템 구현 방법.