KR20180000009A

KR20180000009A - 증강현실 생성 펜 및 이를 이용한 증강현실 제공 시스템

Info

Publication number: KR20180000009A
Application number: KR1020160077087A
Authority: KR
Inventors: 송지성; 박수조; 곽준호; 서장연; 송해원; 오세민
Original assignee: 한양대학교 에리카산학협력단; 송지성; 오세민; 서장연; 송해원; 박수조; 곽준호
Priority date: 2016-06-21
Filing date: 2016-06-21
Publication date: 2018-01-02

Abstract

본 발명은 실시간으로 증강현실 이미지를 생성할 수 있는 증강현실 생성 펜, 이를 이용한 증강현실 제공 시스템을 제공한다.
본 발명의 일 측면에 따른 증강현실 생성 펜은, 공간 상으로 증강현실 객체를 생성하는 증강현실 생성 펜에 있어서, 상기 증강현실 생성 펜의 이동 좌표를 연산하여 상기 증강현실 생성 펜의 위치를 추적하는 좌표 연산부, 좌표 연산부에서 전달된 정보를 바탕으로 선, 면, 입체 중 어느 하나를 생성하는 객체 생성부, 상기 증강현실 생성 펜의 이동으로 생성된 객체들의 연결 여부를 판단하고 인접하다고 판단된 객체들을 연결시키는 통합부를 포함한다.

Description

증강현실 생성 펜 및 이를 이용한 증강현실 제공 시스템{AUGMENTED REALITY CREAING PEN AND AUGMENTED REALITY PROVIDING SYSTEM USING THEREOF}

본 발명은 증강현실 생성 펜 및 이를 이용한 증강현실 제공 시스템에 관한 것이다.

사용자가 눈으로 보는 현실세계에 가상의 객체를 겹쳐 보여주는 기술을 '증강현실(Augmented Reality)'이라고 한다. 현실세계에 실시간으로 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여주므로 혼합현실(Mixed Reality, MR)이라고도 한다.

현실세계를 가상세계로 보완해주는 개념인 증강현실은 컴퓨터 그래픽으로 만들어진 가상환경을 사용하지만 주역은 현실환경이다. 컴퓨터 그래픽은 현실환경에 필요한 정보를 추가 제공하는 역할을 한다.

이러한 증강현실기술은 가상환경만으로 구성된 가상현실기술과 달리, 실제 환경과 가상의 객체가 혼합된 영상을 제공하므로, 사용자가 실제 환경을 볼 수 있게 하여 보다 나은 현실감과 부가 정보를 제공한다.

증강현실기술은 원격의료진단·방송·건축설계·제조공정관리 등에 활용된다. 특히, 최근 스마트폰이 널리 보급 되면서 본격적인 상업화 단계에 들어섰으며, 게임 및 모바일 솔루션 업계·교육 분야 등에서도 다양한 제품을 개발하고 있다.

한편, 최근에는 별도의 배경이 없는 스튜디오에서 진행자의 동작을 추출한 후, 가상현실과 진행자의 동작을 결합시키는 형태의 가상현실을 이용한 다양한 서비스들이 제공되고 있다.

예를 들어, 투표현황을 발표하는 가상현실의 경우, 진행자는 배경으로 쓰이는 블루 스크린 및 카메라가 놓여져 있는 스튜디오에서, 별도의 모니터를 통해 출력되는 자신의 모습 및 영상들을 모니터링하면서, 영상 내의 각종 버튼 등을 선택하는 동작들을 통해 다양한 정보들을 제공하고 있다.

또 다른 예로서, 외국어 학습용으로 제작되는 동영상의 경우, 다양한 장소가 가상현실로 출력되는 상태에서, 진행자가 가상현실에 나오는 다양한 상황 등을 외국어로 전달해 줌으로써, 학습자들이 보다 현실감을 느끼면서 외국어를 학습할 수 있도록 하는 교육 환경을 제공하고 있다.

그러나, 상기한 바와 같은 가상현실 속에서, 진행자는 단순히 음성으로 자신의 의사를 표현하거나 또는 동영상에 출력되는 버튼 등의 이미지들을 선택 또는 드래그하는 방법에 의해 다양한 정보들을 사용자들에게 제공할 수 있을 뿐, 진행자 자신이 직접 자신이 원하는 문자와 같은 이미지를 생성하여 사용자들에게 정보를 제공하지는 못하고 있다.

한편, 상기와 같은 문제점을 극복하기 위해, 최근에는 가상 스튜디오에서 동작하는 진행자의 손가락 움직임을 추출하여, 손가락이 형상화하는 정보를 출력하는 기술이 개발되고 있으나, 이러한 손가락 움직인 인식 방법은 그 인식률이 떨어지기 때문에 널리 이용되기 어렵다는 문제점이 있다.

본 발명은 실시간으로 증강현실 이미지를 생성할 수 있는 증강현실 생성 펜 및 이를 이용한 증강현실 제공 시스템을 제공한다.

본 발명의 일 측면에 따른 증강현실 생성 펜은, 공간 상으로 증강현실 객체를 생성하는 증강현실 생성 펜에 있어서, 상기 증강현실 생성 펜의 이동 좌표를 연산하여 상기 증강현실 생성 펜의 위치를 추적하는 좌표 연산부, 좌표 연산부에서 전달된 정보를 바탕으로 선, 면, 입체 중 어느 하나를 생성하는 객체 생성부, 상기 증강현실 생성 펜의 이동으로 생성된 객체들의 연결 여부를 판단하고 인접하다고 판단된 객체들을 연결시키는 통합부를 포함한다.

여기서 상기 증강현실 생성 펜은 상기 증강현실 생성 펜의 외측으로 돌출되며 증강현실의 생성 및 중지를 조절하는 제어 버튼을 더 포함할 수 있다.

또한, 상기 좌표 연산부는 증강현실 객체들 생성 시에 기준이 되는 메인 기준 좌표를 생성하는 메인좌표 생성 모듈을 포함할 수 있다.

또한, 상기 좌표 연산부는 서로 다른 객체의 기준이 되는 서브 기준 좌표를 생성하되, 서브 기준 좌표를 상기 메인 기준 좌표에 대한 상대적인 좌표로 설정하는 서브좌표 생성 모듈을 포함할 수 있다.

또한, 상기 좌표 연산부는 증강현실 생성 펜의 이동으로 생성되는 좌표를 상기 메인 기준좌표에 대하여 연산하여 객체 좌표로 저장하는 객체좌표 연산 모듈을 더 포함할 수 있다.

또한, 상기 좌표 연산부는 두께를 갖는 가상의 기준평판을 생성하는 기준평판 생성 모듈을 더 포함할 수 있다.

또한, 상기 좌표 연산부는 상기 객체 좌표가 상기 기준평판 내에 위치할 때에만 동일한 객체의 선으로 인식하는 객체 판단 모듈을 더 포함할 수 있다.

또한, 상기 객체 생성부는 연속적으로 이어진 객체 좌표들을 하나의 선으로 인식하고 가상의 선을 생성하는 선 생성 모듈을 포함할 수 있다.

또한, 상기 객체 생성부는 가상의 단일 폐곡선 또는 연결된 복수의 가상의 선들이 면을 형성하는지 여부를 판단하여 복수의 가상의 선을 하나의 가상의 면으로 변환하는 면 생성 모듈을 포함할 수 있다.

또한, 상기 객체 생성부는 복수의 가상의 면들이 연결되었는지 여부를 판단하여 복수의 가상의 면을 하나의 입체로 변환하는 입체 생성 모듈을 포함할 수 있다.

또한, 상기 통합부는 객체들의 좌표를 이용하여 사이의 거리를 판단하는 간격 판단 모듈과, 기 설정된 간격 내에 있는 객체들이 서로 연결된 것으로 판단하는 통합 판단 모듈을 포함할 수 있다.

또한, 상기 증강현실 생성 펜은 주변 공간을 촬영하는 카메라를 더 포함하고, 상기 통합부는 상기 카메라에 의하여 촬영된 영상 또는 이미지에 상기 증강현실 생성 펜에 의하여 생성된 객체들을 결합하여 저장하는 연결 모듈을 더 포함할 수 있다.

또한, 상기 증강현실 생성 펜은 주변의 스마트 기기로 객체를 전송하는 전송부를 더 포함할 수 있다.

본 발명의 다른 측면에 따른, 증강 현실을 제공 시스템은 증강현실 화면을 제공하는 헤드 마운트 디스플레이, 상기 헤드 마운트 디스플레이와 무선 통신으로 연결되며, 공간 상에서 이동으로 증강현실 이미지를 생성하는 증강현실 생성 펜을 포함하고, 상기 증강현실 생성 펜은, 이동 좌표를 연산하여 상기 증강현실 생성 펜의 위치를 추적하는 좌표 연산부, 좌표 연산부에서 전달된 정보를 바탕으로 선, 면, 입체 중 어느 하나를 생성하는 객체 생성부, 상기 증강현실 생성 펜의 이동으로 생성된 객체들의 연결 여부를 판단하고 인접하다고 판단된 객체들을 연결시키는 통합부를 포함한다.

또한, 상기 헤드 마운트 디스플레이는 상기 증강현실 생성 펜으로부터 데이터를 전달 받아 상기 증강현실 화면 상에 상기 증강현실 생성 펜을 결합하여 표시하는 결합 표시부를 더 포함할 수 있다.

또한, 상기 헤드 마운트 디스플레이는 증강현실 생성 펜에 의하여 생성된 객체를 상기 증강현실 화면에 결합하는 데이터 결합부를 포함할 수 있다.

또한, 상기 증강현실 생성 펜은 외측으로 돌출되며 증강현실의 생성 및 중지를 조절하는 제어 버튼을 더 포함할 수 있다.

또한, 상기 좌표 연산부는 증강현실의 생성이 시작되는 메인 기준 좌표를 생성하는 기준 좌표 생성 모듈을 포함할 수 있다.

또한, 상기 기준 좌표 생성 모듈은 서로 다른 객체의 기준이 되는 서브 기준 좌표를 생성하되, 서브 기준 좌표를 상기 메인 기준 좌표에 대한 상대 좌표로 설정할 수 있다.

또한, 상기 좌표 연산부는 증강현실 생성 펜의 이동으로 생성되는 좌표를 상기 메인 기준 좌표에 대하여 연산하여 객체 좌표로 저장하는 객체 좌표 연산 모듈을 더 포함할 수 있다.

상기와 같이 본 발명에 따르면 증강현실 생성 펜을 이용하여 즉석에서 직접 증강현실 이미지 또는 문자를 생성하고 증강현실 화면에 표시할 수 있다.

종래의 스타일러스 펜은 스마트 기기와 접촉해야 하며 2차원적인 이미지만을 생성하는 단점이 있었으나, 본 실시예에 따르면 허공에서 3차원 객체를 직접 생성하고 표시할 수 있다.

도 1는 본 발명의 제1 실시예에 따른 증강현실 생성 펜과 스마트 기기를 도시한 사시도이다.
도 2는 본 발명의 제1 실시예에 따른 증강현실 생성 펜을 도시한 구성도이다.
도 3은 본 발명의 제1 실시예에 따른 증강현실 제공 방법을 도시한 순서도이다.
도 4는 본 발명의 제1 실시예에 따른 증강현실 생성 펜을 이용하여 증강현실 문자를 생성한 것을 나타낸 도면이다.
도 5는 본 발명의 제2 실시예에 따른 증강현실 제공 시스템을 이용하여 이미지를 생성하는 상태를 도시한 도면이다.
도 6은 본 발명의 제2 실시예에 따른 증강현실 제공 시스템을 도시한 구성도이다.
도 7은 본 발명의 제2 실시예에 따른 증강현실 제공 방법을 도시한 순서도이다.
도 8은 본 발명의 제2 실시예에 따른 증강현실 제공 시스템을 이용하여 약도를 생성한 것을 도시한 도면이다.

이하, 첨부한 도면을 참조하여 본 발명의 실시예에 대하여 당업자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하여 상세하게 설명한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하에서는 도 1 및 도 2를 참조하여 본 발명의 제1 실시예에 따른 증강현실 생성 펜에 대해서 설명한다.

도 1는 본 발명의 제1 실시예에 따른 증강현실 생성 펜과 스마트 기기를 도시한 사시도이고, 도 2는 본 발명의 제1 실시예에 따른 증강현실 생성 펜을 도시한 구성도이다.

도 1 및 도 2를 참조하여 설명하면, 본 제1 실시예에 따른 증강현실 생성 펜(10)은 좌표 연산부(12), 객체 생성부(13), 통합부(14), 전송부(15), 카메라(16)를 포함한다.

증강현실 생성 펜(10)은 공간 상의 이동으로 증강현실 객체인 이미지 또는 문자를 생성한다. 증강현실 생성 펜(10)은 막대 형상으로 이루어지며 증강현실 생성 펜(10)의 외측으로 돌출된 제어 버튼(17)을 포함한다. 제어 버튼(17)은 증강현실의 생성 및 중지를 조절한다.

증강현실 생성 펜(10)은 제어 버튼(17)이 눌러진 상태에서 이동할 때에만 객체를 생성하도록 신호를 발신한다. 또한 증강현실 생성 펜(10)은 상단에 위치하며 모드 전환을 위한 스위치 버튼(18)을 더 포함한다. 스위치 버튼(18)은 쓰기, 지우기, 선의 굵기 변화 등을 제어할 수 있다. 예를 들어 스위치 버튼(18)을 한번 누르면 문자 생성 모드로 전환되고, 스위치 버튼을 두번 누르면 이미지 생성 모드로 전환될 수 있다.

좌표 연산부(12)는 증강현실 생성 펜의 이동 좌표를 연산하여 증강현실 생성 펜(10)의 위치를 추적한다. 여기서 증강현실 생성 펜(10)의 이동 좌표라 함은 증강현실 생성 펜(10)의 하단의 위치를 의미한다.

좌표 연산부(12)는 메인좌표 생성 모듈(121), 서브좌표 생성 모듈(122), 객체좌표 연산 모듈(123), 기준평판 생성 모듈(124), 객체 판단 모듈(125)을 포함한다.

메인좌표 생성 모듈(121)은 증강현실 객체들 생성 시에 기준이 되는 메인 기준 좌표를 생성한다. 메인 기준 좌표는 증강현실 객체를 생성함에 있어 모든 객체들의 기준이 되는 좌표이다. 메인 기준 좌표는 제어 버튼(17)이 최초로 눌러진 위치로 설정될 수 있다.

서브좌표 생성 모듈(122)은 서로 다른 객체의 기준이 되는 서브 기준 좌표를 생성한다. 서브좌표 생성 모듈(122)은 서브 기준 좌표를 상기 메인 기준 좌표에 대한 상대적인 좌표로 설정한다. 서브 기준 좌표는 각각의 객체의 기준이 되는 좌표이다. 예를 들어 5개의 면이 생성되면, 하나의 메인 기준 좌표와 5개의 서브 기준 좌표가 생성될 수 있다.

객체좌표 연산 모듈(123)은 증강현실 생성 펜(10)의 이동으로 생성되는 좌표를 메인 기준좌표에 대하여 연산하여 객체 좌표로 저장한다. 증강현실 생성 펜(10)이 이동하면 각 점들의 연결에 의하여 선이 생성되는 바, 객체좌표 연산 모듈(123)은 이러한 점들의 좌표를 메인 기준좌표에 대하여 연산한다.

기준평판 생성 모듈(124)은 두께를 갖는 가상의 기준평판(71)을 생성한다. 증강현실 생성 펜(10)으로 평면 상에 위치하는 문자 또는 이미지를 생성하는 경우, 보다 용이하게 문자 또는 이미지를 생성할 할 수 있도록 가상의 기준평판(71)을 생성한다.

객체 판단 모듈(125)은 객체 좌표가 기준평판(71) 내에 위치할 때에만 동일한 객체의 선으로 인식한다. 객체 판단 모듈(125)은 공간 상에서 이동하는 증강현실 생성 펜(10)으로 표시되는 부분과 표시되지 않고 이동되는 부분을 식별한다.

객체 생성부(13)는 좌표 연산부(12)에서 전달된 정보를 바탕으로 선, 면, 입체 중 어느 하나를 생성한다. 객체 생성부(13)는 선 생성 모듈(131), 면 생성 모듈(132), 입체 생성 모듈(133), 수정 모듈(134)을 포함한다.

선 생성 모듈(131)은 연속적으로 이어진 객체 좌표들을 하나의 선으로 인식하고 가상의 선을 생성한다. 선은 직선, 곡선으로 이루어질 수 있으며 선들이 문자를 표시할 수도 있다.

면 생성 모듈(132)은 가상의 단일 폐곡선 또는 연결된 복수의 가상의 선들이 면을 형성하는지 여부를 판단하여 복수의 가상의 선을 하나의 가상의 면으로 변환한다. 면 생성 모듈(132)은 선들이 공간을 둘러싸 면을 이루는지 여부를 판단하며 면을 이루는 것으로 판단되면 색상을 변경하여 면이 형성되었음을 표시한다.

입체 생성 모듈(133)은 복수의 가상의 면들이 연결되었는지 여부를 판단하여 복수의 가상의 면을 하나의 입체로 변환한다. 수정 모듈(134)은 선, 면, 또는 입체의 일부를 선택하여 이동시키거나 형태를 변경시킨다.

통합부(14)는 증강현실 생성 펜(10)의 이동으로 생성된 객체들의 연결 여부를 판단하고 인접하다고 판단된 객체들을 연결시킨다. 선 또는 면을 생성할 때, 완벽하게 맞닿도록 생성하는 것이 어려운 바, 통합부(14)는 연결 또는 분리 여부를 판단하여 연결된 것으로 판단되면 객체를 이동시켜서 연결시킨다.

통합부(14)는 간격 판단 모듈(141), 통합 판단 모듈(142), 및 연결 모듈(143)을 포함한다. 간격 판단 모듈(141)은 객체들의 좌표를 이용하여 객체 사이의 거리를 판단한다.

통합 판단 모듈(142)은 객체들이 기 설정된 간격 내에 위치하는 경우, 서로 연결된 것으로 판단하며, 객체들이 기 설정된 간격 밖에 위치하는 경우 서로 분리된 것으로 판단한다. 연결 모듈(143)은 객체들이 연결된 것으로 판단된 경우, 객체를 이동시켜서 서로 연결한다. 또한 연결 모듈(143)은 카메라(16)에 의하여 촬영된 영상 또는 이미지에 상기 증강현실 생성 펜(10)에 의하여 생성된 객체들을 결합하여 저장할 수 있다.

카메라(16)는 증강현실 생성 펜(10)의 하부에서 아래를 향하도록 설치되어 증강현실 생성 펜(10)의 주변 공간을 촬영한다. 전송부(15)는 스마트 기기 또는 VR 디스플레이로 증강현실 생성 펜(10)의 의하여 생성된 객체를 전송한다.

도 4에 나타난 바와 같이 증강현실 생성 펜을 이용하여 허공 또는 손바닥에 글자를 쓰면 실제로는 아무것도 남지 않지만 디지털 이미지 또는 텍스트가 생성될 수 있다.

이와 같이 본 실시예에 따르면 증강현실 생성 펜(10)을 이용하여 즉석에서 직접 증강현실 이미지 또는 문자를 생성하고 증강현실 화면에 표시할 수 있다. 종래의 스타일러스 펜은 스마트 기기와 접촉해야 하며 2차원적인 이미지만을 생성하는 단점이 있었으나, 본 실시예에 따르면 허공에서 3차원 객체를 직접 생성하고 표시할 수 있다.

이하에서는 도 1 내지 도 3을 참조하여 본 발명의 제1 실시예에 따른 증강현실 제공 방법에 대해서 설명한다.

도 3은 본 발명의 제1 실시예에 따른 증강현실 제공 방법을 도시한 순서도이다.

도 1 내지 도 3을 참조하여 설명하면, 본 제1 실시예에 따른 증강현실 생성 펜을 이용한 증강현실 제공 방법은 좌표 연산 단계(S101), 객체 생성 단계(S102), 통합 단계(S103)를 포함한다.

좌표 연산 단계(S101)는 증강현실 생성 펜(10)의 이동 좌표를 연산하여 증강현실 생성 펜(10)의 위치를 추적한다. 여기서 증강현실 생성 펜(10)의 이동 좌표라 함은 증강현실 생성 펜(10)의 하단의 위치를 의미한다.

좌표 연산 단계(S101)는 메인좌표 생성 단계, 서브좌표 생성 단계, 객체좌표 연산 단계, 기준평판 생성 단계, 객체 판단 단계를 포함한다.

메인좌표 생성 단계는 증강현실 객체들 생성 시에 기준이 되는 메인 기준 좌표를 생성한다. 메인 기준 좌표는 증강현실 객체를 생성함에 있어 모든 객체들의 기준이 되는 좌표이다. 메인 기준 좌표는 제어 버튼(17)이 최초로 눌러진 위치로 설정될 수 있다.

서브좌표 생성 단계는 서로 다른 객체의 기준이 되는 서브 기준 좌표를 생성한다. 서브좌표 생성 단계는 서브 기준 좌표를 상기 메인 기준 좌표에 대한 상대적인 좌표로 설정한다. 서브 기준 좌표는 각각의 객체의 기준이 되는 좌표이다. 예를 들어 5개의 면이 생성되면, 하나의 메인 기준 좌표와 5개의 서브 기준 좌표가 생성될 수 있다.

객체좌표 연산 단계는 증강현실 생성 펜(10)의 이동으로 생성되는 좌표를 메인 기준좌표에 대하여 연산하여 객체 좌표로 저장한다. 증강현실 생성 펜(10)이 이동하면 각 점들의 연결에 의하여 선이 생성되는 바, 객체좌표 연산 단계는 이러한 점들의 좌표를 메인 기준좌표에 대하여 연산한다.

기준평판 생성 단계는 두께를 갖는 가상의 기준평판(71)을 생성한다. 증강현실 생성 펜(10)으로 평면 상에 위치하는 문자 또는 이미지를 생성하는 경우, 보다 용이하게 문자 또는 이미지를 생성할 할 수 있도록 가상의 기준평판(71)을 생성한다.

객체 판단 단계는 객체 좌표가 기준평판(71) 내에 위치하는지 여부를 판단하며, 객체 좌표가 기준평판(71) 내에 위치할 때에만 동일한 객체의 선으로 인식한다. 객체 판단 단계(125)은 공간 상에서 이동하는 증강현실 생성 펜(10)으로 표시되는 부분과 표시되지 않고 이동되는 부분을 식별한다.

객체 생성 단계(S102)는 증강현실 생성 펜(10)의 이동에 따라 선, 면, 입체 중 어느 하나를 생성한다. 객체 생성 단계(S102)는 선 생성 단계, 면 생성 단계, 입체 생성 단계, 수정 단계 포함한다.

선 생성 단계는 연속적으로 이어진 객체 좌표들을 하나의 선으로 인식하고 가상의 선을 생성한다. 선은 직선, 곡선으로 이루어질 수 있으며 선들이 문자를 표시할 수도 있다.

면 생성 단계는 가상의 단일 폐곡선 또는 연결된 복수의 가상의 선들이 면을 형성하는지 여부를 판단하여 복수의 가상의 선을 하나의 가상의 면으로 변환한다. 면 생성 단계는 선들이 공간을 둘러싸 면을 이루는지 여부를 판단하며 면을 이루는 것으로 판단되면 색상을 변경하여 면이 형성되었음을 표시한다.

입체 생성 단계는 복수의 가상의 면들이 연결되었는지 여부를 판단하여 복수의 가상의 면을 하나의 입체로 변환한다. 수정 단계는 선, 면, 또는 입체의 일부를 선택하여 이동시키거나 형태를 변경시킨다

통합 단계(S103)는 증강현실 생성 펜의 이동으로 생성된 객체들의 연결 여부를 판단하고 인접하다고 판단된 객체들을 연결시킨다. 선 또는 면을 생성할 때, 완벽하게 맞닿도록 생성하는 것이 어려운 바, 통합 단계(S103)는 연결 또는 분리 여부를 판단하여 연결된 것으로 판단되면 객체를 이동시켜서 연결시킨다.

통합 단계(S103)는 간격 판단 단계, 통합 판단 단계, 및 연결 단계를 포함한다. 간격 판단 단계는 객체들의 좌표를 이용하여 객체 사이의 거리를 판단한다.

통합 판단 단계는 객체들이 기 설정된 간격 내에 위치하는 경우, 서로 연결된 것으로 판단하며, 객체들이 기 설정된 간격 밖에 위치하는 경우 서로 분리된 것으로 판단한다. 연결 단계는 객체들이 연결된 것으로 판단된 경우, 객체를 이동시켜서 서로 연결한다. 또한 연결 단계는 카메라(16)에 의하여 촬영된 영상 또는 이미지에 상기 증강현실 생성 펜(10)에 의하여 생성된 객체들을 결합하여 저장할 수 있다.

이하에서는 도 5 및 도 6을 참조하여 본 발명의 제2 실시예에 따른 증강현실 제공 시스템에 대해서 설명한다.

도 5는 본 발명의 제2 실시예에 따른 증강현실 제공 시스템을 이용하여 이미지를 생성하는 상태를 도시한 도면이고, 도 6은 본 발명의 제2 실시예에 따른 증강현실 제공 시스템을 도시한 구성도이다.

도 5 및 도 6을 참조하여 설명하면, 본 제2 실시예에 따른 증강현실 제공 시스템(101)은 증강현실 생성 펜(10)과 헤드 마운트 디스플레이(20)를 포함한다.

증강현실 생성 펜(10)은 좌표 연산부(12), 객체 생성부(13), 통합부(14), 전송부(15), 카메라(16)를 포함한다.

증강현실 생성 펜(10)은 헤드 마운트 디스플레이(20)와 무선 통신으로 연결되며 공간 상의 이동으로 증강현실 객체인 이미지 또는 문자를 생성한다. 증강현실 생성 펜(10)은 막대 형상으로 이루어지며 증강현실 생성 펜(10)의 외측으로 돌출된 제어 버튼(17)을 포함한다. 제어 버튼(17)은 증강현실의 생성 및 중지를 조절한다.

증강현실 생성 펜(10)은 제어 버튼(17)이 눌러진 상태에서 이동할 때에만 객체(72)를 생성하도록 신호를 발신한다. 또한 증강현실 생성 펜(10)은 상단에 위치하며 모드 전환을 위한 스위치 버튼(18)을 더 포함한다. 스위치 버튼(18)은 쓰기, 지우기, 선의 굵기 변화 등을 제어할 수 있다. 예를 들어 스위치 버튼(18)을 한번 누르면 문자 생성 모드로 전환되고, 스위치 버튼을 두번 누르면 이미지 생성 모드로 전환될 수 있다.

헤드 마운트 디스플레이(20)는 증강현실 생성 펜(10)과 무선 통신으로 연결되며 사용자의 머리에 장착되어 증강현실 화면을 제공한다. 또는 헤드 마운트 디스플레이(20)는 스마트 글래스로 이루어질 수도 있다.

헤드 마운트 디스플레이(20)는 촬영부(21), 결합 표시부(22), 데이터 결합부(23)를 포함한다. 촬영부(21)는 헤드 마운트 디스플레이(20)의 전방에 설치된 카메라를 포함하여 사용자가 바라보는 시선 방향으로 동영상을 촬영한다.

결합 표시부(22)는 증강현실 생성 펜(10)으로부터 데이터를 전달 받아 증강현실 화면 상에 증강현실 생성 펜(10)을 표시한다. 이에 따라 사용자는 헤드 마운트 디스플레이(20)를 장착한 상태에서도 증강현실 생성 펜(10)을 보면서 증강현실 이미지 등을 생성할 수 있다.

결합 표시부(22)는 증강현실 펜을 온(ON) 시키면 헤드 마운트 디스플레이로 증강현실 생성 펜(10)의 이미지를 수신하며, 결합 표시부(22)는 증강현실 생성 펜(10)을 최초 화면의 정중앙에 위치시키며, 실제로 사용자가 증강현실 생성 펜(10)을 움직이면 증강현실 화면에서도 동일한 방향으로 이동시킨다.

데이터 결합부(23)는 증강현실 생성 펜에 의하여 생성된 객체를 증강현실 화면에 결합한다. 데이터 결합부(23)는 증강현실 생성 펜(10)의 이동에 의하여 생성된 문자, 그림 등을 증강현실 화면에 표시한다.

도 8에 도시한 바와 같이 헤드 마운트 디스플레이(20)를 착용한 사람이 증강현실 생성 펜(10)을 이용하여 약도를 표시하면, 동일한 화면이 헤드 마운트 디스플레이(20)를 착용한 다른 사람에게 동일한 화면이 공유될 수 있다.

도 5 내지 도 7을 참조하여 본 발명의 제2 실시예에 따른 증강현실 제공 방법에 대해서 설명한다.

도 7은 본 발명의 제2 실시예에 따른 증강현실 제공 방법을 도시한 순서도이다.

도 5 내지 도 7을 참조하여 설명하면, 본 제2 실시예에 따른 증강현실 생성 펜을 이용한 증강현실 제공 방법은 화면 제공 단계(S201), 결합 표시 단계(S202), 좌표 연산 단계(S203), 객체 생성 단계(S205), 통합 단계(S206), 데이터 결합 단계(S207)를 포함한다.

화면 제공 단계(S201)는 디스플레이를 이용하여 증강현실 화면을 제공하는데, 화면 제공 단계(S201)는 헤드 마운트 디스플레이(20)를 이용하여 증강현실 화면을 제공할 수 있으며, 하나의 증강현실 화면을 다수가 공유할 수도 있다.

결합 표시 단계(S202)는 증강현실 생성 펜(10)으로부터 데이터를 전달 받아 증강현실 화면 상에 증강현실 생성 펜(10)을 표시한다. 이에 따라 사용자는 헤드 마운트 디스플레이(20)를 장착한 상태에서도 증강현실 생성 펜(10)을 보면서 증강현실 이미지 등을 생성할 수 있다.

결합 표시 단계(S202)는 증강현실 펜을 온(ON) 시키면 헤드 마운트 디스플레이로 증강현실 생성 펜(10)의 이미지를 수신한다. 결합 표시 단계(S202)는 증강현실 생성 펜(10)을 최초 화면의 정중앙에 위치시키며, 실제로 사용자가 증강현실 생성 펜(10)을 움직이면 증강현실 화면에서도 동일한 방향으로 이동시킨다.

좌표 연산 단계(S203)는 증강현실 생성 펜(10)의 이동 좌표를 연산하여 증강현실 생성 펜(10)의 위치를 추적한다. 여기서 증강현실 생성 펜(10)의 이동 좌표라 함은 증강현실 생성 펜(10)의 하단의 위치를 의미한다.

좌표 연산 단계(S203)는 메인좌표 생성 단계, 서브좌표 생성 단계, 객체좌표 연산 단계, 기준평판 생성 단계, 객체 판단 단계를 포함한다.

객체 생성 단계(S204)는 증강현실 생성 펜(10)의 이동에 따라 선, 면, 입체 중 어느 하나를 생성한다. 객체 생성 단계(S204)는 선 생성 단계, 면 생성 단계, 입체 생성 단계, 수정 단계를 포함한다.

통합 단계(S205)는 증강현실 생성 펜의 이동으로 생성된 객체들의 연결 여부를 판단하고 인접하다고 판단된 객체들을 연결시킨다. 선 또는 면을 생성할 때, 완벽하게 맞닿도록 생성하는 것이 어려운 바, 통합 단계(S205)는 연결 또는 분리 여부를 판단하여 연결된 것으로 판단되면 객체를 이동시켜서 연결시킨다.

통합 단계(S205)는 간격 판단 단계, 통합 판단 단계, 및 연결 단계를 포함한다. 간격 판단 단계는 객체들의 좌표를 이용하여 객체 사이의 거리를 판단한다.

데이터 결합 단계(S206)는 증강현실 생성 펜에 의하여 생성된 객체를 전송 받아서 증강현실 화면에 결합한다. 데이터 결합 단계(S206)는 증강현실 생성 펜(10)의 이동에 의하여 생성된 문자, 그림 등을 증강현실 화면에 표시한다.

이상과 같이, 본 명세서와 도면에는 본 발명의 바람직한 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

101: 증강현실 제공 시스템
10: 증강현실 생성 펜
12: 좌표 연산부
121: 메인좌표 생성 모듈
122: 서브좌표 생성 모듈
123: 객체좌표 연산 모듈
124: 기준평판 생성 모듈
125: 객체 판단 모듈
13: 객체 생성부
131: 선 생성 모듈
132: 면 생성 모듈
133: 입체 생성 모듈
134: 수정 모듈
14: 통합부
141: 간격 판단 모듈
142: 통합 판단 모듈
143: 연결 모듈
15: 전송부
16: 카메라
20: 헤드 마운트 디스플레이
21: 촬영부
22: 결합 표시부
23: 데이터 결합부

Claims

공간 상으로 증강현실 객체를 생성하는 증강현실 생성 펜에 있어서,
상기 증강현실 생성 펜의 이동 좌표를 연산하여 상기 증강현실 생성 펜의 위치를 추적하는 좌표 연산부;
좌표 연산부에서 전달된 정보를 바탕으로 선, 면, 입체 중 어느 하나를 생성하는 객체 생성부;
상기 증강현실 생성 펜의 이동으로 생성된 객체들의 연결 여부를 판단하고 인접하다고 판단된 객체들을 연결시키는 통합부;
를 포함하는 것을 특징으로 하는 증강현실 생성 펜.
제1 항에 있어서,
상기 증강현실 생성 펜의 외측으로 돌출되며 증강현실의 생성 및 중지를 조절하는 제어 버튼을 더 포함하는 것을 특징으로 하는 증강현실 생성 펜.
제1 항에 있어서,
상기 좌표 연산부는 증강현실 객체들 생성 시에 기준이 되는 메인 기준 좌표를 생성하는 메인좌표 생성 모듈을 포함하는 것을 특징으로 하는 증강현실 생성 펜.
제3 항에 있어서,
상기 좌표 연산부는 서로 다른 객체의 기준이 되는 서브 기준 좌표를 생성하되, 서브 기준 좌표를 상기 메인 기준 좌표에 대한 상대적인 좌표로 설정하는 서브좌표 생성 모듈을 포함하는 것을 특징으로 하는 증강현실 생성 펜.
제4 항에 있어서,
상기 좌표 연산부는 증강현실 생성 펜의 이동으로 생성되는 좌표를 상기 메인 기준좌표에 대하여 연산하여 객체 좌표로 저장하는 객체좌표 연산 모듈을 더 포함하는 것을 특징으로 하는 증강현실 생성 펜.
제4 항에 있어서,
상기 좌표 연산부는 두께를 갖는 가상의 기준평판을 생성하는 기준평판 생성 모듈을 더 포함하는 것을 특징으로 하는 증강현실 생성 펜.
제6 항에 있어서,
상기 좌표 연산부는 상기 객체 좌표가 상기 기준평판 내에 위치할 때에만 동일한 객체의 선으로 인식하는 객체 판단 모듈을 더 포함하는 것을 특징으로 하는 증강현실 생성 펜.
제7 항에 있어서,
상기 객체 생성부는 연속적으로 이어진 객체 좌표들을 하나의 선으로 인식하고 가상의 선을 생성하는 선 생성 모듈을 포함하는 것을 특징으로 하는 증강현실 생성 펜.
제8 항에 있어서,
상기 객체 생성부는 가상의 단일 폐곡선 또는 연결된 복수의 가상의 선들이 면을 형성하는지 여부를 판단하여 복수의 가상의 선을 하나의 가상의 면으로 변환하는 면 생성 모듈을 포함하는 것을 특징으로 하는 증강현실 생성 펜.
제9 항에 있어서,
상기 객체 생성부는 복수의 가상의 면들이 연결되었는지 여부를 판단하여 복수의 가상의 면을 하나의 입체로 변환하는 입체 생성 모듈을 포함하는 것을 특징으로 하는 증강현실 생성 펜.
제10 항에 있어서,
상기 통합부는 객체들의 좌표를 이용하여 사이의 거리를 판단하는 간격 판단 모듈과, 기 설정된 간격 내에 있는 객체들이 서로 연결된 것으로 판단하는 통합 판단 모듈을 포함하는 것을 특징으로 하는 증강현실 생성 펜.
제10 항에 있어서,
상기 증강현실 생성 펜은 주변 공간을 촬영하는 카메라를 더 포함하고, 상기 통합부는 상기 카메라에 의하여 촬영된 영상 또는 이미지에 상기 증강현실 생성 펜에 의하여 생성된 객체들을 결합하여 저장하는 연결 모듈을 더 포함하는 것을 특징으로 하는 증강현실 생성 펜.
제10 항에 있어서,
상기 증강현실 생성 펜은 주변의 스마트 기기로 객체를 전송하는 전송부를 더 포함하는 것을 특징으로 하는 증강현실 생성 펜.
증강 현실을 제공 시스템에 있어서,
증강현실 화면을 제공하는 헤드 마운트 디스플레이;
상기 헤드 마운트 디스플레이와 무선 통신으로 연결되며, 공간 상에서 이동으로 증강현실 이미지를 생성하는 증강현실 생성 펜;
을 포함하고,
상기 증강현실 생성 펜은, 이동 좌표를 연산하여 상기 증강현실 생성 펜의 위치를 추적하는 좌표 연산부, 좌표 연산부에서 전달된 정보를 바탕으로 선, 면, 입체 중 어느 하나를 생성하는 객체 생성부, 상기 증강현실 생성 펜의 이동으로 생성된 객체들의 연결 여부를 판단하고 인접하다고 판단된 객체들을 연결시키는 통합부를 포함하는 것을 특징으로 하는 증강 현실 제공 시스템.
제14 항에 있어서,
상기 헤드 마운트 디스플레이는 상기 증강현실 생성 펜으로부터 데이터를 전달 받아 상기 증강현실 화면 상에 상기 증강현실 생성 펜을 결합하여 표시하는 결합 표시부를 더 포함하는 것을 특징으로 하는 증강 현실 제공 시스템.
제15 항에 있어서,
상기 헤드 마운트 디스플레이는 증강현실 생성 펜에 의하여 생성된 객체를 상기 증강현실 화면에 결합하는 데이터 결합부를 포함하는 것을 특징으로 하는 증강 현실 제공 시스템.
제14 항에 있어서,
상기 증강현실 생성 펜은 외측으로 돌출되며 증강현실의 생성 및 중지를 조절하는 제어 버튼을 더 포함하는 것을 특징으로 하는 증강 현실 제공 시스템.
제15 항에 있어서,
상기 좌표 연산부는 증강현실의 생성이 시작되는 메인 기준 좌표를 생성하는 기준 좌표 생성 모듈을 포함하는 것을 특징으로 하는 증강 현실 제공 시스템.
제18 항에 있어서,
상기 기준 좌표 생성 모듈은 서로 다른 객체의 기준이 되는 서브 기준 좌표를 생성하되, 서브 기준 좌표를 상기 메인 기준 좌표에 대한 상대 좌표로 설정하는 것을 특징으로 하는 증강 현실 제공 시스템.
제19 항에 있어서,
상기 좌표 연산부는 증강현실 생성 펜의 이동으로 생성되는 좌표를 상기 메인 기준 좌표에 대하여 연산하여 객체 좌표로 저장하는 객체 좌표 연산 모듈을 더 포함하는 것을 특징으로 하는 증강 현실 제공 시스템.
제20 항에 있어서,
상기 좌표 연산부는 두께를 갖는 가상의 기준평판을 생성하는 기준평판 생성 모듈을 더 포함하는 것을 특징으로 하는 증강 현실 제공 시스템.
제21 항에 있어서,
상기 좌표 연산부는 상기 객체 좌표가 상기 기준평판 내에 위치할 때에만 동일한 객체의 선으로 인식하는 객체 판단 모듈을 더 포함하는 것을 특징으로 하는 증강 현실 제공 시스템.
제22 항에 있어서,
상기 객체 생성부는 연속적으로 이어진 객체 좌표들을 하나의 선으로 인식하고 가상의 선을 생성하는 선 생성 모듈을 포함하는 것을 특징으로 하는 증강 현실 제공 시스템.
제23 항에 있어서,
상기 객체 생성부는 가상의 단일 폐곡선 또는 연결된 복수의 가상의 선들이 면을 형성하는지 여부를 판단하여 복수의 가상의 선을 하나의 가상의 면으로 변환하는 면 생성 모듈을 포함하는 것을 특징으로 하는 증강 현실 제공 시스템.
제24 항에 있어서,
상기 객체 생성부는 복수의 가상의 면들이 연결되었는지 여부를 판단하여 복수의 가상의 면을 하나의 입체로 변환하는 입체 생성 모듈을 포함하는 것을 특징으로 하는 증강 현실 제공 시스템.
제25 항에 있어서,
상기 통합부는 객체들의 좌표를 이용하여 사이의 거리를 판단하는 간격 판단 모듈과, 기 설정된 간격 내에 있는 객체들이 서로 연결된 것으로 판단하는 통합 판단 모듈을 포함하는 것을 특징으로 하는 증강 현실 제공 시스템.