KR101483054B1 - 상호작용을 지원하는 모바일 기반 증강현실 제작 시스템 및 방법 - Google Patents

Abstract

상호작용을 지원하는 모바일 기반 증강현실 제작 시스템을 공개한다. 본 발명은 적어도 하나의 마커를 포함하는 영상을 획득하는 카메라부; 상기 영상을 통해 제1 마커를 인식하고, 상기 제1 마커에 기저장된 가상객체를 매칭시키고 상기 가상객체에 미리 정의된 동작을 나타내는 마커기반 상호작용과 터치기반 상호작용 중 적어도 하나를 적용하여 상기 제1 마커 및 상기 가상객체로 이루어지는 증강현실 콘텐츠를 저작하는 콘텐츠 저작부; 및 상기 증강현실 콘텐츠 저작에 관련된 정보를 표시하는 표시부를 포함한다.

Description

상호작용을 지원하는 모바일 기반 증강현실 제작 시스템 및 방법{Mobile -based augmented reality authoring system and method for interaction}

본 발명은 증강현실 제작 시스템 및 방법에 관한 것으로, 특히 모바일 기반 증강현실 제작 시스템 및 방법에 관한 것이다.

가상현실(Virtual Reality:VR)은 컴퓨터 시스템에서 생성한 3D 가상 공간과 상호 작용이 주가 되는 분야로서, 가상 공간은 현실 세계를 바탕으로 구성된다. 사용자는 이러한 가상 공간을 인체의 오감(시각, 청각, 후각, 미각, 촉각)을 통해 느낌으로써 몰입감을 갖게 된다.

증강현실(Augmented Reality)은 가상현실과 달리 현실세계에 가상의 객체를 이음새 없이 실시간으로 정합하여 보여줌으로써 사용자가 현실세계에서 가상의 객체를 통하여 여러 가지 부가적인 정보를 얻을 수 있는 기술이다. 즉, 증강현실은 실제 환경에 가상 사물을 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법이다. 대표적인 증강현실 제작 툴은 ARToolKit이 널리 사용되고 있다.

이러한 증강현실은 사용자와 어떻게 상호작용을 해야 하는지 그리고 다양한 증강현실 환경에 어떻게 효과적으로 정보를 제공해야 하는지에 대한 많은 연구가 진행되고 있다. 이에 많은 연구들에서 쉽게 증강현실 콘텐츠를 제작할 수 있는 환경이 제공되고 있다. 하지만, 대부분 증강현실 콘텐츠의 제작은 데스크탑 PC환경에서만 가능하고 모바일 기기에서는 증강현실 콘텐츠를 재생하거나 다양한 센서를 통한 상호작용만이 가능하다.

종래의 국내 등록특허 제 10-1089679호는 증강현실 콘텐츠 저작 시스템과 그 방법에 관한 것으로서, 전자책 특히 디지로그 북에서 증강현실 콘텐츠를 제작한다. 이러한 종래 기술은 목적과 상황에 따라 다양한 이야기 전개가 가능하며 콘텐츠 저작에 사용자의 자유 의사를 반영시킬 수 있어 전자책을 학습하는 학습자의 몰입감을 상승시킬 수 있다. 그러나, 모바일 기반으로 증강현실 콘텐츠를 제작하는 본 발명과는 그 목적과 구성이 상이하다 할 수 있다.

본 발명의 목적은 프로그래밍 능력이 없는 사용자가 손쉽게 증강현실 콘텐츠에 상호작용 기능들을 적용할 수 있는 모바일 기반 증강현실 제작 시스템 및 방법을 제공하는데 있다.

상기 목적을 달성하기 위한 본 발명의 일 예에 따른 상호작용을 지원하는 모바일 기반 증강현실 제작 시스템은 적어도 하나의 마커를 포함하는 영상을 획득하는 카메라부; 상기 영상을 통해 제1 마커를 인식하고, 상기 제1 마커에 기저장된 가상객체를 매칭시키고 상기 가상객체에 미리 정의된 동작을 나타내는 마커기반 상호작용과 터치기반 상호작용 중 적어도 하나를 적용하여 상기 제1 마커 및 상기 가상객체로 이루어지는 증강현실 콘텐츠를 저작하는 콘텐츠 저작부; 및 상기 증강현실 콘텐츠 저작에 관련된 정보를 표시하는 표시부를 포함한다.

상기 증강현실 콘텐츠 저작에 관련된 정보를 사용자에게 제공하여 상기 제1 마커에 상기 가상객체를 매칭시키거나 상기 마커기반 상호작용과 상기 터치기반 상호작용 중 적어도 하나를 선택하여 상기 가상객체에 적용시키는 상기 사용자의 입력을 받는 인터페이스부를 포함하는 것을 특징으로 한다.

상기 콘텐츠 저작부가 상기 영상을 통해 인식하기 위해 일정한 패턴의 셀로 표현되는 상기 마커를 생성하는 마커 생성부를 더 포함하는 것을 특징으로 한다.

상기 마커는 상기 콘텐츠 저작부가 상기 영상을 통해 인식하기 위해 일정 크기의 복수개의 셀로 이루어지고, 좌측 상단, 우측 상단 및 좌측 하단에 위치하는 적어도 세 개의 셀을 통해 인식되는 것을 한다.

상기 콘텐츠 저작부는 상기 영상을 통해 상기 제1 마커를 인식하는 마커부; 상기 제1 마커에 기저장된 가상객체를 매칭하는 매칭부; 상기 제1 마커에 매칭된 가상객체에 상기 마커기반 상호작용과 상기 터치기반 상호작용 중 하나를 적용하여 증강현실 콘텐츠를 생성하는 콘텐츠 생성부; 및 상기 증강현실 콘텐츠가 저장되는 저장부를 포함하는 것을 특징으로 한다.

상기 콘텐츠 생성부는 상기 상호작용 방법이 복수개의 마커를 사용하는 머지상호작용인 경우 상기 마커부를 통해 상기 영상의 제2 마커를 인식하여 상기 매칭부를 통해 상기 제2 마커에 기저장된 가상객체를 매칭시키고 상기 제1 마커 및 상기 제2 마커 간의 상호작용을 통해 생성되기 위한 새로운 가상객체를 설정하여 증강현실 콘텐츠를 생성하는 것을 특징으로 한다.

상기 증강현실 콘텐츠는 복수개의 마커를 사용하는 머지상호작용이 적용된 경우 상기 제1 마커와 상기 제2 마커의 대각선을 합한 길이가 상기 제1 마커의 중심점과 상기 제2 마커의 중심점 사이의 길이 보다 큰 경우 새로운 가상객체가 상기 제1 마커와 상기 제2 마커 중 적어도 하나에 나타나는 것을 특징으로 한다.

상기 마커부는 상기 영상에 포함된 마커의 좌측 상단, 우측 상단 및 좌측 하단에 위치하는 셀을 확인하여 마커 인지 여부를 인식하는 마커 인식부; 및 상기 인식된 마커가 상기 저장부에 저장되지 않은 새로운 마커인 경우, 상기 마커에 ID(Identification)를 부여하는 마커 분류부를 포함하는 것을 특징으로 한다.

상기 매칭부는 상기 제1 마커에 사용자의 입력에 의해 기저장된 가상객체를 매칭시키되, 렌더링 기법을 이용하는 것을 특징으로 한다.

상기 마커기반 상호작용은 제1 마커를 제2 마커에 기설정된 임계 거리 이내에 위치시킴으로써 새로운 가상객체가 나타나는 머지 상호작용 및 제1 마커의 적어도 일부를 가림으로써 제1 마커에 매칭된 가상객체가 나타나는 클릭 상호작용을 포함하는 것을 특징으로 한다.

상기 터치기반 상호작용은 인터페이스부를 통해 사용자의 터치에 대응되는 적어도 두 점의 입력을 받아 제1 마커에 생성된 가상객체의 크기를 변화시키는 크기 변경 상호작용, 인터페이스부를 통해 사용자의 터치에 대응되는 적어도 두 점의 입력을 받아 하나의 점이 이동하여 제1 마커에 생성된 가상객체를 회전시키는 회전 상호작용 및 인터페이스부를 통해 사용자의 터치에 해당하는 적어도 한 점의 입력을 받아 제1 마커에 생성된 가상객체를 이동시키는 이동 상호작용을 포함하는 것을 특징으로 한다.

상기 카메라부 및 상기 표시부가 일체로 이루어진 모바일 장치를 통해 상기 증강현실 콘텐츠를 제작하는 것을 특징으로 한다.

상기 목적을 달성하기 위한 본 발명의 일 예에 따른 상호작용을 지원하는 모바일 기반 증강현실 제작 방법은 적어도 하나의 마커를 포함하는 영상을 획득하는 단계; 상기 영상을 통해 제1 마커를 인식하고, 상기 제1 마커에 기저장된 가상객체를 매칭시키고 상기 가상객체에 미리 정의된 동작을 나타내는 마커기반 상호작용과 터치기반 상호작용 중 적어도 하나를 적용하여 상기 제1 마커 및 상기 가상객체로 이루어지는 증강현실 콘텐츠를 저작하는 단계; 및 상기 증강현실 콘텐츠를 저장하는 단계를 포함한다.

상기 증강현실 콘텐츠 저작에 관련된 정보를 사용자에게 제공하여 상기 제1 마커에 상기 가상객체를 매칭시키거나 상기 마커기반 상호작용과 상기 터치기반 상호작용 중 적어도 하나를 선택하여 상기 가상객체에 적용시키기 위한 상기 사용자의 입력을 받는 단계를 포함하는 것을 특징으로 한다.

일정한 패턴의 셀단위로 이루어지는 상기 마커를 생성하는 단계를 더 포함하는 것을 특징으로 한다.

상기 증강현실 콘텐츠를 생성하는 단계는 상기 영상을 통해 제1 마커를 인식하는 단계; 상기 제1 마커에 기저장된 가상객체를 매칭하는 단계; 상기 제1 마커에 매칭된 가상객체에 상기 마커기반 상호작용과 상기 터치기반 상호작용 중 하나를 적용하여 증강현실 콘텐츠를 생성하는 단계; 및 상기 증강현실 콘텐츠를 저장하는 단계를 포함하는 것을 특징으로 한다.

상기 생성하는 단계는 상기 상호작용 방법이 복수개의 마커를 사용하는 머지 상호작용인 경우 상기 영상의 제2 마커를 인식하고 상기 제2 마커에 기저장된 가상객체를 매칭시키고 상기 제1 마커 및 상기 제2 마커의 상호작용을 통해 생성되기 위한 새로운 가상객체를 설정하여 증강현실 콘텐츠를 생성하는 것을 특징으로 한다.

상기 인식하는 단계는 상기 영상에 포함된 마커의 좌측 상단, 우측 상단 및 좌측 하단에 위치하는 셀을 확인하여 마커 인지 여부를 인식하는 단계; 및 상기 인식된 마커가 기 저장되지 않은 새로운 마커인 경우, 상기 마커에 ID를 부여하는 단계를 포함하는 것을 특징으로 한다.

따라서, 본 발명은 모바일에 장착된 카메라를 통해 마커를 인식하게 되면 인터페이스부를 통해 서버에 저장되어 있는 가상 객체를 불러와 마커에 연결하여 증강현실 콘텐츠를 제작할 수 있고, 가상객체와 상호작용할 수 있는 기능들을 설정할 수 있다.

도1 은 본 발명의 일실시예에 따른 모바일 기반 증강현실 콘텐츠 제작 시스템을 간략히 나타내는 블록도이다.
도2 는 본 발명의 일실시예에 따른 콘텐츠 저작부를 간략히 나타내는 블록도이다.
도3 은 본 발명의 일실시예에 따른 사용자 인터페이스를 통한 증강현실 제작 과정을 보여주는 도면이다.
도4 는 본 발명의 일실시예에 따른 마커를 나타내는 도면이다.
도5 내지 9는 본 발명의 일실시예에 따른 모바일 장치에서 상호작용하는 동작을 나타내는 도면이다.
도10 은 본 발명의 일실시예에 따른 모바일 기반 증강현실 콘텐츠 제작 방법을 나타내는 흐름도이다.
도11 은 본 발명의 일실시예에 따른 모바일 기반 증강현실 콘텐츠 실행 방법을 나타내는 흐름도이다.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로서, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 “...부”, “...기”, “모듈”, “셀” 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

본 발명을 설명하기에 앞서 본 발명에 사용되는 모바일 기반 증강현실 콘텐츠 제작 시스템은 openCV 및 openGL ES를 통해 사용자 인터페이스를 제공할 수 있다. OpenCV(Open Source Computer Vision)는 본 발명의 모바일 장치에서 증강현실을 구현할 수 있도록 영상처리, 기계학습 및 컴퓨터 비전 기능을 갖는 소스를 제공하는 라이브러리라 할 수 있다. OpenGL ES는 모바일 장치에서 사용되고, 데이터베이스 관리 시스템 등의 다른 프로그램의 기능을 이용할 수 있도록 하는 인터페이스이다. 여기서, 데이터베이스 관리 시스템이란 데이터베이스를 생성, 유지, 사용하는 과정을 제어해 주는 응용 소프트웨어를 말한다. 본 발명에 따른 데이터 베이스는 마커 ID, 가상객체, 미리 정의된 동작을 하는 상호작용이 있을 수 있다. 본 발명에 따른 콘텐츠 저작부는 ARToolKit을 통해 구현될 수 있다. ARToolKit은 증강현실 애플리케이션의 구현을 도와주는 C/C++ 용의 프로그래밍 라이브러리다.

도1 은 본 발명의 일실시예에 따른 모바일 증강현실 콘텐츠 제작 시스템을 간략히 나타내는 블록도이다.

도1 을 참조하면, 본 발명의 일실시예에 따른 모바일 증강현실 콘텐츠 제작 시스템은 적어도 하나의 마커를 포함하는 현실 환경을 영상으로 획득하는 카메라부(100), 카메라부(100)를 통해 획득한 영상으로부터 마커를 인식하여 마커에 대응되는 가상객체에 상호작용을 적용하여 증강현실 콘텐츠를 저작하는 콘텐츠 저작부(200), 증강현실 콘텐츠 저작에 관련된 정보를 입력 받는 인터페이스부(300) 및 증강현실 콘텐츠 저작에 관련된 정보를 표시하는 표시부(400)를 포함한다.

카메라부(100)는 마커를 포함하는 현실 환경을 촬영하여 이로부터 현실 환경에 대한 영상을 획득할 수 있다. 카메라부(100)는 획득한 영상을 콘텐츠 저작부(200)로 전달할 수 있다. 이러한 카메라부(100)는 개인휴대 단말기인 모바일 장치에 내장된 카메라일 수 있다. 여기서, 마커는 현실 환경에 위치하는 것으로서, 가상객체가 증강될 장소라 할 수 있다. 이러한 마커는 복수개가 영상으로부터 인식될 수 있으므로, 가장 먼저 인식된 마커는 제1 마커로 정의될 수 있다. 따라서, 나중에 인식되는 마커는 제2 마커, 제3 마커로 정의 될 수 있다.

콘텐츠 저작부(200)는 영상을 통해 인식된 제1 마커에 가상객체를 증강시킴으로써, 증강현실 콘텐츠를 생성하는 장치라 할 수 있다. 콘텐츠 저작부(200)는 먼저 영상을 통해 제1 마커를 인식하고 제1 마커의 종류를 분류할 수 있다. 제1 마커를 분류하는 것은 제1 마커에 특정한 ID(Identification)를 부여하는 것이라 할 수 있다. 여기서, 부여된 마커의 ID는 마커간의 상호작용이나 증강될 가상객체에 연결될 때 사용된다. 또한, 마커의 ID는 숫자일 수 있고, 기호나 알파벳으로 표현될 수도 있다.

콘텐츠 저작부(200)는 ID가 부여된 제1 마커에 증강시킬 가상객체를 불러 올 수 있다. 콘텐츠 저작부(200)는 제1 마커에 가상객체를 매칭시킴으로써 증강현실 콘텐츠를 생성할 수 있다. 여기서, 제1 마커에 가상객체를 매칭시키는 것은 렌더링 기법을 이용하는 것이라 할 수 있다. 렌더링 기법은 평면인 마커에 형태, 위치, 조명 등 외부의 정보에 따라 다르게 나타나는 그림자, 색상, 농도 등을 고려하면서 실감나는 3차원 화상을 만들어내는 과정 또는 그러한 기법을 일컫는다. 본 발명에 따른 렌더링은 미리 마련된 3차원 가상객체를 마커 상에 증강 시키는 것이라 할 수 있다.

이러한 콘텐츠 저작부(200)는 상호작용 방법을 증강현실 콘텐츠에 적용할 수 있다. 콘텐츠 저작부(200)는 증강현실 콘텐츠에 적용시킬 상호작용 방법이 머지상호작용인 경우 영상으로부터 제2 마커를 인식하게 된다. 여기서, 상호작용 방법은 마커기반 상호작용 및 터치기반 상호작용으로 나눌 수 있다. 또한, 마커기반 상호작용은 머지상호작용 및 클릭상호작용으로 나눌 수 있다. 이러한 상호작용은 추후 도 5 내지 도9 를 통해 설명할 수 있다.

콘텐츠 저작부(200)는 앞서 설명한 바와 같이 제2 마커에 ID를 부여하고 가상객체를 불러와 제2 마커에 매칭시킬 수 있다. 콘텐츠 저작부(200)는 이러한 제1 마커와 제2 마커를 서로 연관된 마커로 설정할 수 있다. 콘텐츠 저작부(200)는 제1 마커와 제2 마커가 기설정된 임계 거리 내에 위치하게 되면 새롭게 생성될 가상객체를 지정할 수 있다. 이렇게 지정된 가상객체는 제1 마커와 제2 마커가 서로 기설정된 임계 거리 이내의 거리에 위치하는 경우 제1 마커 또는 제2 마커에 생성될 수 있다.

콘텐츠 저작부(200)는 마커에 매칭되고 상호작용이 적용된 가상객체를 통해 생성된 증강현실 콘텐츠를 저장할 수 있다. 증강현실 콘텐츠가 저장되는 장소는 모바일 장치 내이거나 인터넷으로 연결된 외부 서버일 수 있다.

인터페이스부(300)는 사용자에게 명령어들을 선택하고, 프로그램들을 시작하여 파일 리스트나 또 다른 옵션들을 볼 수 있게 하는 키를 치거나 또는 아이콘과 메뉴를 이용하는 사용자 인터페이스를 말한다. 본 발명에 따른 인터페이스부(300)는 화면을 통해 사용자의 터치 입력을 받는 장치라 할 수 있다.

인터페이스부(300)는 사용자의 터치 입력을 통해 증강현실 콘텐츠를 생성하기 위해 가상객체와 마커를 매칭시킬 수 있다. 만약 가상객체가 마커에 매칭되면 인터페이스부(300)는 사용자의 터치 입력을 통해 가상객체에 적용할 상호작용 기능을 결정할 수 있다. 만약 사용자가 인터페이스부(300)를 통해 증강현실 콘텐츠를 실행하면 서버에 저장된 증강현실 콘텐츠가 모바일 장치에 전달되고 사용자는 증강현실 콘텐츠와 상호작용할 수 있다.

표시부(400)는 증강현실 콘텐츠 제작을 위한 사용자에게 인터페이스 화면을 출력하는 장치라 할 수 있다. 이러한 표시부(400)는 터치 스크린이 적용되어 사용자의 입력을 받아 증강현실 콘텐츠 저작에 이용될 수 있다. 또한, 표시부(400)는 저작된 증강현실 콘텐츠를 출력하는 장치라 할 수 있다.

도2 는 본 발명의 일실시예에 따른 콘텐츠 저작부를 간략히 나타내는 블록도이다.

도2 를 참조하면, 콘텐츠 저작부(200)는 마커부(210), 매칭부(220), 콘텐츠 생성부(230), 저장부(240) 및 마커 생성부(250)를 포함한다.

마커부(210)는 마커 인식부(211) 및 마커 분류부(212)를 포함한다.

마커 인식부(211)는 카메라부(100)를 통해 획득한 영상에 마커가 있는지 확인할 수 있다. 마커 인식부(211)는 마커에 생성된 특정한 기호를 기반으로 영상 내에서 마커를 인식할 수 있다. 마커 인식부(211)는 마커의 적어도 세개의 꼭지점에 생성된 셀을 통해 획득한 영상에 위치하는 마커가 마커인지 여부를 인식할 수 있다.

마커 분류부(212)는 마커 인식부(211)를 통해 인식된 마커를 분류하기 위해 ID를 부여할 수 있다. 이러한 마커 분류부(212)는 저장부(240)에 기저장된 마커인지 판단하여 새로운 마커일 경우 ID를 부여할 수 있다. 또한 마커 분류부(212)는 ID가 부여된 마커를 저장부(240)에 저장할 수 있다.

매칭부(220)는 ID가 부여된 마커에 기저장된 가상객체를 매칭할 수 있다. 매칭부(220)는 증강현실 콘텐츠를 생성하는 사용자에 의해 선택된 가상객체를 마커에 매칭시킬 수 있다. 매칭부(220)는 앞서 설명한 바와 같이 가상객체를 렌더링하여 마커에 매칭시킬 수 있다. 매칭부(220)는 저장부(240)에 저장되어 있는 가상객체가 이미 마커와 매칭된 경우에는 필요에 따라 사용자에 의해 가상객체가 매칭된 마커를 재설정할 수 있다.

콘텐츠 생성부(230)는 제1 마커에 매칭된 가상객체에 상호작용 방법을 적용하여 증강현실 콘텐츠를 생성할 수 있다. 콘텐츠 생성부(230)는 상호작용이 적용된 증강현실 콘텐츠를 저장부(240)에 저장할 수 있다.

여기서, 콘텐츠 생성부(230)는 가상객체에 적용할 상호작용 방식이 머지상호작용 방식일 경우 새로운 마커를 인식하기 위한 단계를 더욱 수행할 수 있다. 먼저, 콘텐츠 생성부(230)는 마커부(210)를 통해 영상에서 새로운 제2 마커를 인식하고, 제2 마커에 ID를 부여할 수 있다. 그리고 콘텐츠 생성부(230)는 매칭부(220)를 통해 제2 마커에 가상객체를 매칭시킬 수 있다.

콘텐츠 생성부(230)는 제2 마커를 제1 마커와 연관된 것으로 설정할 수 있다. 여기서, 제2 마커를 제1 마커와 연관된 것으로 설정하는 것은 제2 마커와 제1 마커가 임계 거리 이내에 위치할 경우 새로운 가상객체가 생성되게 설정하는 것이라 할 수 있다. 콘텐츠 생성부(230)는 제1 마커와 제2 마커에 연결되어 머지 상호작용을 통해 나타나는 새로운 가상객체를 사용자의 선택에 의해 설정할 수 있다.

저장부(240)는 콘텐츠 생성부(230)를 통해 생성된 증강현실 콘텐츠가 저장된 메모리 장치라 할 수 있다. 저장부(240)는 모바일 장치에 위치할 수 있다.

이러한 저장부(240)는 인식하고자 하는 복수의 마커에 대한 정보를 저장한 마커DB(Database)와 마커DB에 저장된 마커와 매칭되는 가상객체에 관한 정보를 저장한 가상 객체 DB 및 복수의 마커의 상태에 따라 정의된 가상 객체의 상호작용 동작 정보를 저장한 상호작용 DB를 포함할 수 있다. 여기서, 마커DB는 각 마커에 부여된 ID 정보를 저장할 수 있다.

또한, 저장부(240)는 인터넷으로 연결된 외부 서버로 대체될 수도 있다. 따라서, 생성된 증강현실 콘텐츠는 모바일 장치 내부 저장부(240)에 저장되거나, 인터넷으로 연결된 외부 서버에 저장될 수 있다. 사용자는 저장부(240)를 통해 자신이 만든 증강현실 콘텐츠를 이용하거나 외부 서버를 통해 다른 사람이 만든 증강현실 콘텐츠를 이용할 수도 있다.

마커생성부(250)는 현실 환경에 위치하는 마커를 생성하기 위한 장치이다. 마커는 외부 장치, 즉 컴퓨터를 통해 생성될 수 도 있으나, 사용자가 손쉽게 제작하기 위해 모바일 장치는 마커 생성부(250)를 구비할 수 있다. 마커 생성부(250)는 흑백으로 나타나는 픽셀을 이용한 이미지를 생성하는 그래픽 툴이라 할 수 이 있다. 마커 생성부(250)를 통해 생성된 이미지는 외부 프린트 장치를 통해 실제 현실에서 이용되는 마커가 될 수 있다. 콘텐츠 저작부(200)는 이러한 마커를 이용하여 증강현실 콘텐츠를 저작할 수 있다.

이러한 모바일 기반 증강현실 제작 시스템(10)은 사용자에게 인터페이스를 제공할 수 있다. 사용자는 제공되는 인터페이스를 활용하여 터치 입력 방식으로 손쉽게 증강현실 콘텐츠를 제작할 수 있다.

만약 사용자가 생성된 증강현실 콘텐츠를 실행하는 경우, 저장부(240)나 외부 서버에 저장된 증강현실 콘텐츠는 모바일 장치에 전달되고, 사용자는 가상객체를 활용한 상호작용을 실행할 수 있다.

도3 은 본 발명의 일실시예에 따른 표시부에 표시되는 인터페이스를 통해 증강현실 콘텐츠를 제작하는 과정을 보여주는 도면이다.

도3을 참조하면, 증강현실 제작 시스템(10)은 표시부(400)를 통해 사용자에게 인터페이스를 제공할 수 있다. 도3의 (a)는 세 가지 메인 버튼이 생성된 초기화면을 보여준다. 사용자는 표시부(400)에 나타나는 메뉴를 터치입력을 통해 선택할 수 있다. 메뉴로는 제작(Create), 실행(Play) 및 마커생성기(Marker Generator)가 있을 수 있다. 제작 버튼은 증강현실 콘텐츠를 제작할 때 이용되고, 실행 버튼은 제작된 증강현실 콘텐츠를 실행할 때 이용되고, 마커 생성기 버튼은 새로운 마커를 생성할 때 이용된다. 사용자는 제작 버튼을 터치 입력을 통해 선택하면 본 발명의 일실시예에 따른 증강현실 콘텐츠를 제작할 수 있다. 또한, 사용자는 실행 버튼을 선택하면 이미 제작된 증강현실 콘텐츠를 표시부(400)를 통해 출력할 수 있다. 사용자는 증강현실 콘텐츠의 제작 전 기마련된 마커가 없을 경우 마커생성기 버튼을 눌러 마커를 생성할 수 있다.

도3의 (b)는 앞서 설명한 사용자의 제작 버튼 입력에 의해 생성된 다음 인터페이스를 보여준다. 여기서, 카메라부(100)는 동작하게 되고, 사용자에 의해 미리 마련된 현실 환경의 마커(410)를 촬영하여 획득한 영상을 통해 마커(420)를 인식할 수 있다.

도3의 (c)와 (d)는 이렇게 획득한 마커(420)을 통해 증강현실 콘텐츠를 제작하기 위한 인터페이스를 보여준다. 여기서, 인터페이스는 기 촬영된 영상 위에 중첩되게 나타날 수 있다. 사용자는 인터페이스를 통해 인식된 마커의 ID 및 가상객체 리스트(None, Earth, Satellite)를 확인할 수 있다. 마커 ID는 마커 분류부(212)를 통해 부여된 것이고, 가상객체 리스트는 저장부(240) 또는 외부 서버에 위치하는 가상객체들을 보여준다. 매칭부(220)는 사용자가 가상객체 리스트에서 가상객체를 선택하면 선택된 가상객체를 마커에 매칭시킬 수 있다. 이후 사용자는 인터페이스에 나타나는 마커기반 상호작용(Marker Interaction) 및 터치 기반 상호작용(Touch Interaction) 중 어느 하나를 선택함으로써 증강현실 콘텐츠를 생성할 수 있다.

만약 사용자가 마커기반 상호작용 중 머지(Merge) 상호작용을 선택하게 되면 기 분류된 마커 이외의 새로운 마커를 필요하게 된다. 따라서, 인터페이스 화면은 도3의 (b)와 같이 새로운 마커를 인식하는 화면으로 돌아가게 된다. 여기서, 사용자는 카메라부(100)를 통해 제2 마커를 인식하고 가상객체 리스트 중 선택을 통해 가상객체를 제2 마커에 매칭시킬 수 있다. 또한, 사용자는 이렇게 생성된 제1 마커와 제2 마커 간의 머지상호작용을 통해 생성될 가상객체를 가상객체 리스트를 통해 선택하여 설정할 수 있다. 이렇게 설정된 증강현실 콘텐츠는 저장부(240) 또는 외부 서버에 저장될 수 있다.

도4 는 본 발명의 일실시예에 따른 마커를 나타내는 도면이다.

도4 의 (a)는 마커를 생성하는 마커 생성부(250)의 인터페이스 화면이다. 마커는 흰색과 검정색으로 이루어지는 셀로 구성된 사각형태의 이미지라 할 수 있다. 사용자는 마커 생성부(250)의 인터페이스 화면을 통해 흰색과 검정색으로 이루어진 셀을 이용하여 새로운 마커를 제작할 수 있다.

생성된 마커에 해당하는 이미지는 저장부(240)에 저장되거나 프린터를 통해 출력될 수 있다. 이렇게 프린터를 통해 출력된 마커는 현실세계에서 카메라부를 통해 획득되는 영상에 포함되어 증강현실 콘텐츠를 생성하는데 이용된다.

도4 의 (b)를 참조하면, 마커 생성부(250)를 통해 생성되는 마커(420)의 패턴을 확인할 수 있다. 이러한 마커(420)는 기본적으로 흰색과 검정색으로 이루어진 셀이 4x4 사이즈로 이루어지는 것이라 할 수 있다. 마커(420)는 필요에 따라 5x5 사이즈 또는 그 이상의 사이즈로 생성될 수도 있다. 셀단위로 이루어진 마커(420)는 셀위치를 통해 카메라부에 의해 마커로 인식될 수 있다. 여기서 마커(420)는 좌측 상단(421), 우측 상단(422) 및 좌측 하단(423)에 위치하는 셀을 통해 카메라부에 의해 인식될 수 있다. 이러한 마커(420)는 4x4 사이즈인 경우 총 16개의 셀 중 12개의 셀(410a,410b)을 통해 고유의 마커(420)로 인식될 수 있다. 고유의 마커(420)로 인식되는 것은 셀구조에 의해 패턴으로 이루어진 마커(420)가 이진수로 이루어지는 데이터 비트에 대응되는 것이라 할 수 있다.

도5 내지 도9 는 본 발명의 일실시예에 따른 상호작용의 동작을 나타내는 도면이다.

도5 를 참조하면, 도5는 사용자에게 제공되는 마커기반 상호작용의 두 가지 형태를 보여준다. 도5의 (a)는 제1 마커(510)와 제2 마커(520)가 떨어져 있는 경우 각각의 가상객체가 증강되어 나타나는 것을 보여준다. 여기서, 화면상의 제1 마커(530)의 가상객체는 나무상자(610), 제2 마커(540)의 가상객체는 열쇠(620)라고 할 수 있다.

도5의 (b)는 제1 마커(510)와 제2 마커(520)가 임계 거리 이내에 위치하여 새로운 가상객체(630)가 생성되는 것을 보여준다. 일시시예로, 임계 거리는 제1 마커(510)와 제2 마커(520)의 대각선을 합한 길이로 설정할 수 있다. 제1 마커(510)와 제2 마커(520)가 임계 거리 이내에 위치하는 경우는 제1 마커(510)의 중심점과 제2 마커(520)의 중심점의 길이가 임계 거리 보다 짧은 경우라 할 수 있다. 이는 하나의 실시예로, 임계 거리를 설정하는 것은 다양한 방식으로 설정할 수 있다. 여기서 새롭게 나타나는 것은 사용자에 의해 선택된 것으로서, 기존의 가상객체인 나무상자(610)와 열쇠(620)에 연관된 가상객체인 것이 바람직하다. 또한, 여기서 수행되는 상호작용은 마커기반 상호작용 중 머지상호작용이라 정의할 수 있다.

도6 을 참조하면, 도6 은 현실 환경에 위치하는 마커의 일부분이 가려질 때 마커와 매칭된 가상객체가 나타나는 클릭상호작용을 보여준다. 도6의 (a)는 마커(710)의 일부분이 가려지지 않아 화면상의 마커(720)와 매칭된 가상객체가 나타나지 않는 것을 보여준다.

도6의 (b)는 사용자의 손(730)의 일부가 마커(710)의 일부를 가림으로써 화면상의 마커(720)와 매칭된 가상객체인 지구본(740)이 나타나는 것을 보여준다. 여기서, 마커(710)의 일부는 마커(710)를 구성하는 하나의 셀일 수 있으나, 이에 한정되는 것은 아니다.

기존의 마커기반 증강현실에서 상호작용 중에 발생할 수 있는 문제점은 마커가 가려짐으로써 증강되던 가상 객체가 사라지는 것이다. 이러한 문제점을 해결하고, 가려짐 현상을 상호작용 방법으로 사용하기 위해 특징점 추적 방식을 적용하여, 증강되던 마커가 가림 현상에 의하여 인식 실패하는 경우에도 마커를 추적할 수 있는 기술이 적용될 수 있다. 이를 위하여 2단계의 인식 단계를 두고 일반적으로 마커가 인식이 성공되는 경우에는 일반적인 증강현실 시스템의 프로세스를 따르지만, 인식이 실패하는 경우에는 특징점 추적부(미도시)를 이용하여 기존 인식된 마커의 특징점을 추적하여 증강을 이어가도록 설계될 수 있다.

도5와 도6에서 보여주는 마커기반 상호작용은 현실 환경에 위치하는 마커(810)를 조작하는 사용자의 행위에 의에 동작하는 상호작용 유형이라 할 수 있다.

도7 내지 도9 를 참조하면, 마커기반 상호작용 외의 모바일 장치의 인터페이스부를 통한 터치기반 상호작용을 보여준다. 이러한 터치기반 상호작용은 사용자의 터치 입력을 통해 가상객체를 동작시키는 것이라 할 수 있다. 또한, 터치기반 상호작용은 마커기반 상호작용과는 달리 가상객체를 조작하여 지속적인 상호작용을 제공할 수 있다.

도7은 터치 스크린 상에 두 손가락(840,830)에 대응되는 두 점을 입력하면 자동차(820)에 해당하는 가상객체가 나타나서 회전이 가능한 것을 보여준다. 여기서, 회전은 두 점 중 하나의 점은 그대로 두고 나머지 다른 점이 시계 또는 반시계 방향으로 이동됨으로써 가능하다. 이러한 상호작용은 회전상호작용이라 할 수 있다.

도 8은 손가락(940)에 대응되는 한 점을 드래그하여 기존 마커(920)에 위치하던 가상객체인 자동차(930)를 다른 위치로 이동시키는 것을 보여준다. 여기서 이용되는 상호작용은 이동 상호작용이라 할 수 있다.

도9 의 (a)와 (b)는 두 손가락(1030,1040)에 대응되는 두 점을 드래그하여 가상객체인 지구본(1020)의 크기를 늘였다 줄이는 것을 보여준다. 여기서 이용되는 상호작용은 크기 변경 상호작용이라 할 수 있다.

도10 은 본 발명의 일실시예에 따른 모바일 기반 증강현실 콘텐츠 제작 방법을 나타내는 흐름도이다.

도10 을 참조하면, 본 발명의 일실시예에 따른 모바일 기반 증강현실 콘텐츠 제작방법은 먼저, 현실세계에 위치하는 적어도 하나의 마커를 포함하는 영상을 모바일 장치에 장착된 카메라부를 통해 입력 받는다(S1001). 그리고 입력된 영상을 통해 제1 마커를 인식하여 제1 마커에 ID를 부여하여 분류한다(S1003), ID가 부여된 제1 마커에 기저장된 가상객체를 사용자의 터치 입력에 의한 선택을 통해 매칭시킨다.(S1005). 그후, 제1 마커에 매칭된 가상객체에 적용할 상호작용을 지정하여 증강현실 콘텐츠를 생성하되, 적용되는 상호작용이 머지상호작용인지 여부를 확인한다.(S1007)

머지상호작용을 생성된 증강현실 콘텐츠에 적용할 경우 앞서 S1001 단계와 같이 카메라부를 통해 제2 마커를 입력받아 제2 마커를 인식하고, 제2 마커에 ID를 부여한다.(S1009) S1005 단계와 같이 제2 마커에 기저장된 가상객체를 매칭시킨다.(S1011) 제1 마커와 제2 마커에 연관되는 가상객체를 선택하여 설정하여 머지상호작용이 적용된 증강현실 콘텐츠를 생성한다.(S1013) 앞서 S1007 단계에서 생성된 증강현실 콘텐츠 또는 S1013 단계에서 생성된 증강현실 콘텐츠를 최종 저장한다.(S1015)

저장된 콘텐츠는 사용자에 의해 불러와서 표시부를 통해 실행될 수 있다. 상호작용을 지원하는 모바일 증강현실 제작 시스템은 제작된 증강현실 콘텐츠를 도5 내지 도9 와 같이 실행시킬 수 있다.

도11 은 본 발명의 일실시예에 따른 모바일 기반 증강현실 콘텐츠 실행 방법을 나타내는 흐름도이다.

도11 를 참조하면, 모바일 기반 증강현실 콘텐츠 실행 방법은 표시부를 통해 세가지 메인 메뉴를 포함하는 초기 화면을 출력하는 단계(S1101) 출력된 초기 화면을 통해 메인 메뉴 중 실행 모드의 선택을 입력받는 단계(S1103), 저장부 또는 인터넷으로 연결된 서버로부터 기생성된 증강현실 콘텐츠를 탐색하여 선택하는 단계(S1105) 선택된 증강현실 콘텐츠를 모바일 장치로 불러오는 단계(S1107) 모바일 장치에 장착된 카메라부가 동작하여 마커를 포함하는 영상을 촬영하는 단계(S1109) 카메라부를 통해 촬영된 영상에서 마커를 인식하는 단계(S1111) 인식된 마커에 해당하는 증강현실 콘텐츠가 실행되는 단계(S1113)를 포함한다.

이러한 모바일 기반 증강현실 콘텐츠 실행 방법은 사용자가 개인뿐만 아니라 타 사용자가 제작한 증강현실 콘텐츠를 저장부 또는 서버에 업로드 할 수 있고, 다른 여러 사용자들이 직접 제작하지 않더라도 증강현실 콘텐츠를 서버로부터 검색하여 원하는 콘텐츠를 다운받을 수 있게한다.

도12 는 본 발명의 일실시예에 따른 손동작 기반 상호작용을 설명하는 흐름도이다.

본 발명은 마커기반 상호작용 및 터치기반 상호작용 외에도 손동작 기반 상호작용을 더욱 적용할 수 있다. 도 12는 손동작 기반 상호작용을 적용하기 위한 증강현실 콘텐츠 제작 방법을 나타내는 흐름도이다. 손동작 기반 상호작용을 적용한 증강현실 콘텐츠 제작 방법은 사용자의 손영역을 포함하는 영상을 획득하는 단계(S1201), 사용자의 손영역에 대응되는 색상을 검출하는 단계(S1203), 영상에서 검출된 색상을 통해 손영역을 제외한 나머지 부분을 제거하는 단계(S1205), 검출된 손영역에서 손가락 끝에 대응되는 영역을 탐색하는 단계(S1207), 손가락 끝에 대응되는 영역을 통해 사용자의 손 동작을 정의하는 단계(S1209), 손가락 끝 영역에 증강될 가상객체를 설정하는 단계(S1211) 및 손동작 기반 상호작용이 적용된 증강현실 콘텐츠를 저장하는 단계(1213)를 포함한다.

도13 은 본 발명의 일실시예에 따른 영상에서 손영역 분리 과정을 설명하기 위한 도면이다.

도13 은 사용자의 손 영역만을 판별하기 위해 손 분리 단계를 거치는 과정을 보여준다. 도13의 (a)와 같은 입력 영상에서 손 영역을 찾기 위해서 도13 의(b)에서 어댑티브 스킨 칼라(Adaptive Skin-Color) 알고리즘을 적용하였다. 이러한 알고리즘은 어댑티브 스킨 칼라변화에서도 강인하게 손을 찾기 위해 적용되었다. 사용자의 손을 인식하여 상호작용을 하는 경우에 피부 색상 영역을 찾는 것은 매우 중요한 역할을 한다. 이러한 피부 색상은 배경이나 조명 환경에 민감하기 때문에 스태틱 스킨칼라 세그먼테이션(Static Skin-Color segmentation)을 이용하는 경우에 환경에 따라 손 영역을 판별하는데 어려움이 있다. 이러한 환경을 극복하기 위하여 본 발명에 따른 시스템에서는 어댑티브 스킨칼라 세그멘테이션(Adaptive Skin-Color Segmentation)을 사용하였다. 어댑티브 스킨 칼라 알고리즘은 입력 영상에서 이전 프레임과 현재 프레임의 모션과 피부 색상영역이라고 판단되는 부분에 대하여 AND 연산을 수행을 한 후에 적응적으로 다시 피부 색상 영역 공간을 설정 하는 방식이라 할 수 있다. 컬러 공간은 YCbCr과 HSV를 통하여 피부 색상을 검출한다. 도13의 (c)는 어댑티브 스킨칼라 알고리즘을 통해 사용자의 손이라고 판별된 영역과 깊이 인식 카메라가 적용된 카메라부로부터 입력 받은 영상의 깊이에 따라 라벨링된 영역과 AND 연산을 통해 최종적으로 손영역을 판별한 결과를 보여주고 있다.

손 영역 분리 단계를 통해 찾아진 손영역의 색상내 사용자의 동작이 무엇인지를 판단하기 위해서 손 인식(Hand Recognition)과정을 거치게 된다. 사용자의 동작을 인식하기 위해서, 본 발명에 따른 시스템에서는 K-Curvature 알고리즘을 사용하여 사용자의 동작을 판단할 수 있다. K-Curvature 알고리즘은 찾아진 손영역의 색상에서 외곽(Contour) 점들에 대하여 Curve점들을 찾는 방식으로 진행이 된다.

수학식 1에서, Ci는 외곽점, k는 임의의 상수, K(Ci)는 찾아진 Curve 점들의 집합 및 D(Ci)는 K(Ci) 중에서 피크(Peak) 점들을 나타낸다.

수학식 2에서, D(Ci)는 K(Ci) 중에서 피크 점들을 나타낸다.

분리된 손의 관심 영역에서 찾아진 외곽점들에 대하여 범위만큼의 점들의 코사인(cosine) 각도는 수식식1을 통해 구할 수 있다. 시스템에서 정한 일정한 각도 이하이면 커베이쳐(Curvature)라고 인식을 한다. 이는 통해 45도 이하인 곡선(Curve)들을 손 끝점으로 인식을 하도록 할 수 있다. 이렇게 찾아진 Curve에 대하여 수식식2를 통해 2차원 좌표를 3차원 좌표로 변형을 시키고 값을 0으로 설정을 하여 벡터의 외적 계산을 수행할 수 있다. 값이 양수(Positive)이면 Peak로 음수(Negative)이면 밸리(Valley)로 판단하여 Peak로 판별된 좌표를 통해 손의 끝점으로 찾을 수 있다. 이렇게 찾아진 손의 끝점을 통해 사용자가 몇 개의 손가락을 폈는지 인식하게 되고 이를 통해 사용자의 동작을 인식하게 된다.

도14 는 본 발명의 일실시에에 따른 손영역이 분리된 것을 나타내는 도면이다.

도14 는 손 분리 단계를 거친 손영역(1410)에서 커베이쳐를 찾은 것을 볼 수 있다. 빨간 점(1430)은 색상에서 찾아진 Curvature 점들이며, 노란 점(1420)은 찾아진 다수의 커베이쳐들 중에서 손끝을 찾은 것이다.

사용자의 손 동작은 찾아진 손 끝점의 개수를 파악하여 판단할 수 있다. 만약 찾아진 손 끝점의 개수가 0개라면, 사용자는 주먹을 쥐고 있는 것으로 인식을 하고, 손 끝점의 개수가 5개라면 사용자는 손을 펴고 있는 것으로 인식을 한다. 사용자는 이렇게 각각의 손 끝점을 인식하여 동작을 판단하며, 한 손 혹은 두 손으로 상호작용 수행을 할 수 있다

본 발명은 가상의 객체와 상호작용을 하기 위하여 4가지 손동작을 정의 할 수 있다. 손동작은 증강현실 콘텐츠의 가상객체와 상호작용할 수 있다. 본 발명에 따른 모바일 기반 증강현실 제작 시스템은 기본적으로 마커기반 상호작용 및 터치기반 상호작용을 사용하여 가상객체와 상호작용을 하지만, 추가적으로 손동작 상호작용 방법을 통해서도 증강현실 콘텐츠와 상호작용할 수 있게 할 수 있다.

도15 는 본 발명의 일실시예에 따른 가상객체가 이동하는 손동작 기반 상호작용을 나타내는 도면이다.

첫 번째, 손동작 기반 상호작용 방법으로 도15 는 손바닥 위에 가상의 객체를 두고 이동시키는 상호작용을 보여주고 있다. 이를 위해서 사용자가 손가락(1521, 1522, 1523, 1524, 1525)을 모두 편 상태일 경우 가상객체는 사용자의 손바닥(1510)을 중심점으로 하여 사용자의 손 움직임에 따라 함께 움직이는 방식이라 할 수 있다. 본 발명에 따른 카메라부는 깊이 인식 카메라를 이용하기 때문에 별도의 계산 과정 없이도 깊이 정보를 이용하여 가상객체인 지구본(1530)을 3차원 공간 안에서 움직일 수 있게 할 수 있다.

도16 은 본 발명의 일실시에에 따른 가상객체가 회전하는 손동작 기반 상호작용을 나타내는 도면이다.

두 번째 제스처 상호작용 방법은 도 16과 같이 한 개의 손가락이 인식이 된 경우에 가상객체인 지구본(1620)를 회전시킬 수 있다. 가상객체가 증강된 좌표를 기준으로 사용자의 손 끝점(1612)의 좌표가 가상객체의 왼쪽에 위치하면 시계 방향으로 반대인 경우 반시계 방향으로 가상객체가 회전한다. 본 발명에 따른 증강현실 콘텐츠에서는 사용되는 마커를 직접 회전시키거나 기타 도구를 사용하지 않아도 이러한 손동작 기반 상호작용을 통해서 다양한 관점에서 가상객체를 확인할 수 있다.

도17 은 본 발명의 일실시에에 따른 가상객체가 확대 또는 축소되는 손동작 기반 상호작용을 나타내는 도면이다.

가상객체들은 대부분의 터치 인터페이스 환경에서 두 손가락을 이용하여 늘이거나 줄였을 때 확대 혹은 축소가 된다. 이를 이용하여 증강현실 콘텐츠에 대해서도 이와 같은 상호작용 방법을 적용시켰다. 본 발명에 따른 시스템에서는 도17 은 사용자가 두 손의 각 한 개의 손가락(1712,1722)을 이용하여 증강된 가상객체를 확대 또는 축소를 시키는 것을 보여준다. 이러한 확대 또는 축소는 두 개의 손가락 좌표간의 유클리드 거리(Euclideandistance)를 구하여 손동작 시작 시 거리를 기준으로 사용자가 두 손 끝을 늘리고 줄이는 동작 후의 거리와 비교하여 가상객체인 지구본(1721)의 크기를 변환할 수 있다.

마지막으로 가상의 객체와의 상호작용 과정을 멈추기 위해서 하나의 제스처를 추가 하였다.

일반적인 증강현실 콘텐츠에서는 마커가 사라졌을 경우 증강되는 가상객체가 사라지거나 프로세스 과정이 끝이 나지만, 본 발명에 따른 시스템에서는 사용자가 손동작를 통해 가상의 객체를 마커 위에서 다른 좌표로 이동시킬 수도 있고, 마커의 가려지는 부분을 이용한 상호작용도 제공되기 때문에 초기화를 하기 위한 부가적인 제스처를 추가할 수 있다. 사용자가 아무 손가락도 펴지않아 커베이쳐를 통한 손 끝점이 나타나지 않을 경우 즉, 주먹을 쥔 상태일 때 처음과정으로 돌아가 입력 영상에서 마커를 다시 찾아 새롭게 가상의 객체를 증강시키는 과정을 수행하게 된다.

본 발명에 따른 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.

따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

100: 카메라부
200: 콘텐츠 저작부
210: 마커부
211: 마커 인식부
212: 마커 분류부
220: 매칭부
230: 콘텐츠 생성부
240: 저장부
250: 마커 생성부
300: 인터페이스부
400: 표시부

Claims (19)

1. 적어도 하나의 마커를 포함하는 영상을 획득하는 카메라부;
   상기 영상을 통해 제1 마커를 인식하고, 상기 제1 마커에 기저장된 가상객체를 매칭시키고, 상기 가상객체에 미리 정의된 동작을 나타내는 마커기반 상호작용과 터치기반 상호작용 및 손동작 기반 상호작용 중 적어도 하나를 적용하여 상기 제1 마커 및 상기 가상객체로 이루어지는 증강현실 콘텐츠를 저작하는 콘텐츠 저작부; 및
   상기 증강현실 콘텐츠 저작에 관련된 정보를 표시하는 표시부를 포함하고,
   상기 마커기반 상호작용은
   상기 제1 마커의 적어도 일부를 가림으로써 상기 제1 마커에 매칭된 상기 가상객체가 나타나도록 하고, 상기 제1 마커가 가려져 상기 제1 마커의 인식이 실패할 경우 특징점 추적 방식을 적용하여 상기 제1 마커를 추적하여 상기 제1 마커에 매칭된 상기 가상객체를 지속적으로 증강하는 클릭 상호작용 및
   상기 제1마커 이외에 새로운 제2마커를 인식하고 상기 제2마커를 상기 제1마커와 연관된 것으로 설정하여, 상기 제1 마커와 상기 제2 마커가 미리 설정된 임계 거리 이내에 위치하는 경우 새로운 가상객체가 생성되도록 하는 머지 상호작용을 포함하는 것을 특징으로 하는 상호작용을 지원하는 모바일 기반 증강현실 제작 시스템.
2. 제1 항에 있어서,
   상기 증강현실 콘텐츠 저작에 관련된 정보를 사용자에게 제공하여 상기 제1 마커에 상기 가상객체를 매칭시키거나 상기 마커기반 상호작용과 상기 터치기반 상호작용 중 적어도 하나를 선택하여 상기 가상객체에 적용시키는 상기 사용자의 입력을 받는 인터페이스부
   를 포함하는 것을 특징으로 하는 상호작용을 지원하는 모바일 기반 증강현실 제작 시스템.
3. 제1 항에 있어서,
   상기 콘텐츠 저작부가 상기 영상을 통해 인식하기 위해 일정한 패턴의 셀로 표현되는 상기 마커를 생성하는 마커 생성부
   를 더 포함하는 것을 특징으로 하는 상호작용을 지원하는 모바일 기반 증강현실 제작 시스템.
4. 제3 항에 있어서, 상기 마커는
   상기 콘텐츠 저작부가 상기 영상을 통해 인식하기 위해 일정 크기의 복수개의 셀로 이루어지고, 좌측 상단, 우측 상단 및 좌측 하단에 위치하는 적어도 세 개의 셀을 통해 인식되는 것
   을 특징으로 하는 상호작용을 지원하는 모바일 기반 증강현실 제작 시스템.
5. 제1 항에 있어서, 상기 콘텐츠 저작부는
   상기 영상을 통해 상기 제1 마커를 인식하는 마커부;
   상기 제1 마커에 기저장된 가상객체를 매칭하는 매칭부;
   상기 제1 마커에 매칭된 가상객체에 상기 마커기반 상호작용과 상기 터치기반 상호작용 중 하나를 적용하여 증강현실 콘텐츠를 생성하는 콘텐츠 생성부; 및
   상기 증강현실 콘텐츠가 저장되는 저장부
   를 포함하는 것을 특징으로 하는 상호작용을 지원하는 모바일 기반 증강현실 제작 시스템.
6. 제5 항에 있어서, 상기 콘텐츠 생성부는
   상기 상호작용 방법이 복수개의 마커를 사용하는 머지상호작용인 경우 상기 마커부를 통해 상기 영상의 상기 제2 마커를 인식하여 상기 매칭부를 통해 상기 제2 마커에 기저장된 가상객체를 매칭시키고 상기 제1 마커 및 상기 제2 마커 간의 상호작용을 통해 생성되기 위한 새로운 가상객체를 설정하여 증강현실 콘텐츠를 생성하는 것을 특징으로 하는 상호작용을 지원하는 모바일 기반 증강현실 제작 시스템.
7. 제6 항에 있어서, 상기 증강현실 콘텐츠는
   복수개의 마커를 사용하는 머지상호작용이 적용된 경우 상기 제1 마커와 상기 제2 마커의 대각선을 합한 길이가 상기 제1 마커의 중심점과 상기 제2 마커의 중심점 사이의 길이 보다 큰 경우 새로운 가상객체가 상기 제1 마커와 상기 제2 마커 중 적어도 하나에 나타나는 것
   을 특징으로 하는 상호작용을 지원하는 모바일 기반 증강현실 제작 시스템.
8. 제5 항에 있어서, 상기 마커부는
   상기 영상에 포함된 마커의 좌측 상단, 우측 상단 및 좌측 하단에 위치하는 셀을 확인하여 마커 인지 여부를 인식하는 마커 인식부; 및
   상기 인식된 마커가 상기 저장부에 저장되지 않은 새로운 마커인 경우, 상기 마커에 ID(Identification)를 부여하는 마커 분류부
   를 포함하는 것을 특징으로 하는 상호작용을 지원하는 모바일 기반 증강현실 제작 시스템.
9. 제5 항에 있어서, 상기 매칭부는
   상기 제1 마커에 사용자의 입력에 의해 기저장된 가상객체를 매칭시키되, 렌더링 기법을 이용하는 것을 특징으로 하는 상호작용을 지원하는 모바일 기반 증강현실 제작 시스템.
10. 제1항에 있어서, 상기 손동작 기반 상호작용은,
    사용자의 손영역을 포함하는 영상을 획득하는 수단,
    어댑티브 스킨 칼라(Adaptive Skin-Color) 알고리즘을 이용하여 상기 손영역에 대응되는 색상을 검출하고, 상기 검출된 색상을 통해 상기 손영역을 제외한 나머지 부분을 제거하여 손영역을 검출하는 수단,
    상기 검출된 손영역에서 K-Curvature 알고리즘을 이용하여 외곽(Contour) 점들에 대하여 커브(Curve)점들을 찾아 상기 손영역의 손가락 끝에 대응되는 영역을 탐색하는 수단, 및
    상기 손가락 끝에 대응되는 영역을 통해 사용자의 손 동작을 정의하는 수단을 포함하고,
    상기 정의된 손 동작을 이용하여 상기 가상객체와 상호작용하는 것을 특징으로 하는 것을 특징으로 하는 상호작용을 지원하는 모바일 기반 증강현실 제작 시스템.
11. 제1 항에 있어서, 상기 터치기반 상호작용은
    인터페이스부를 통해 사용자의 터치에 대응되는 적어도 두 점의 입력을 받아 제1 마커에 생성된 가상객체의 크기를 변화시키는 크기 변경 상호작용,
    인터페이스부를 통해 사용자의 터치에 대응되는 적어도 두 점의 입력을 받아 하나의 점이 이동하여 제1 마커에 생성된 가상객체를 회전시키는 회전 상호작용 및
    인터페이스부를 통해 사용자의 터치에 해당하는 적어도 한 점의 입력을 받아 제1 마커에 생성된 가상객체를 이동시키는 이동 상호작용
    을 포함하는 것을 특징으로 하는 상호작용을 지원하는 모바일 기반 증강현실 제작 시스템.
12. 제1 항에 있어서,
    상기 카메라부 및 상기 표시부가 일체로 이루어진 모바일 장치를 통해 상기 증강현실 콘텐츠를 제작하는 것을 특징으로 하는 상호작용을 지원하는 모바일 기반 증강현실 제작 시스템.
13. 적어도 하나의 마커를 포함하는 영상을 획득하는 단계;
    상기 영상을 통해 제1 마커를 인식하고, 상기 제1 마커에 기저장된 가상객체를 매칭시키고, 상기 가상객체에 미리 정의된 동작을 나타내는 마커기반 상호작용과 터치기반 상호작용 및 손동작 기반 상호작용 중 적어도 하나를 적용하여 상기 제1 마커 및 상기 가상객체로 이루어지는 증강현실 콘텐츠를 저작하는 단계; 및
    상기 증강현실 콘텐츠를 저장하는 단계를 포함하고,
    상기 마커기반 상호작용은
    상기 제1 마커의 적어도 일부를 가림으로써 상기 제1 마커에 매칭된 가상객체가 나타나도록 하고, 상기 제1 마커가 가려져 상기 제1 마커의 인식이 실패할 경우 특징점 추적 방식을 적용하여 상기 제1 마커를 추적하여 상기 제1 마커에 매칭된 상기 가상객체를 지속적으로 증강하는 클릭 상호작용 및
    상기 제1마커 이외에 새로운 제2마커를 인식하고 상기 제2마커를 상기 제1마커와 연관된 것으로 설정하여, 상기 제1 마커와 상기 제2 마커가 미리 설정된 임계 거리 이내에 위치하는 경우 새로운 가상객체가 생성되도록 하는 머지 상호작용을 포함하는 것을 특징으로 하는 상호작용을 지원하는 모바일 기반 증강현실 제작 방법.
14. 제13 항에 있어서,
    상기 증강현실 콘텐츠 저작에 관련된 정보를 사용자에게 제공하여 상기 제1 마커에 상기 가상객체를 매칭시키거나 상기 마커기반 상호작용과 상기 터치기반 상호작용 중 적어도 하나를 선택하여 상기 가상객체에 적용시키기 위한 상기 사용자의 입력을 받는 단계
    를 포함하는 것을 특징으로 하는 상호작용을 지원하는 모바일 기반 증강현실 제작 방법.
15. 제13 항에 있어서,
    일정한 패턴의 셀단위로 이루어지는 상기 마커를 생성하는 단계를 더 포함하는 것을 특징으로 하는 상호작용을 지원하는 모바일 기반 증강현실 제작 방법.
16. 제13 항에 있어서, 상기 증강현실 콘텐츠를 생성하는 단계는
    상기 영상을 통해 상기 제1 마커를 인식하는 단계;
    상기 제1 마커에 기저장된 가상객체를 매칭하는 단계;
    상기 제1 마커에 매칭된 가상객체에 상기 마커기반 상호작용과 상기 터치기반 상호작용 중 하나를 적용하여 증강현실 콘텐츠를 생성하는 단계; 및 상기 증강현실 콘텐츠를 저장하는 단계
    를 포함하는 것을 특징으로 하는 상호작용을 지원하는 모바일 기반 증강현실 제작 방법.
17. 제16 항에 있어서, 상기 생성하는 단계는
    상기 상호작용 방법이 복수개의 마커를 사용하는 머지 상호작용인 경우 상기 영상의 상기 제2 마커를 인식하고, 상기 제2 마커에 기저장된 가상객체를 매칭시키고 상기 제1 마커 및 상기 제2 마커의 상호작용을 통해 생성되기 위한 새로운 가상객체를 설정하여 증강현실 콘텐츠를 생성하는 것
    을 특징으로 하는 상호작용을 지원하는 모바일 기반 증강현실 제작 방법.
18. 제16 항에 있어서, 상기 인식하는 단계는
    상기 영상에 포함된 마커의 좌측 상단, 우측 상단 및 좌측 하단에 위치하는 셀을 확인하여 마커 인지 여부를 인식하는 단계; 및
    상기 인식된 마커가 기 저장되지 않은 새로운 마커인 경우, 상기 마커에 ID를 부여하는 단계
    를 포함하는 것을 특징으로 하는 상호작용을 지원하는 모바일 기반 증강현실 제작 방법.
    
    
19. 제13항에 있어서, 상기 손동작 기반 상호작용은,
    사용자의 손영역을 포함하는 영상을 획득하는 수단,
    어댑티브 스킨 칼라(Adaptive Skin-Color) 알고리즘을 이용하여 상기 손영역에 대응되는 색상을 검출하고, 상기 검출된 색상을 통해 상기 손영역을 제외한 나머지 부분을 제거하여 손영역을 검출하는 수단,
    상기 검출된 손영역에서 케이-커버쳐(K-Curvature) 알고리즘을 이용하여 외곽(Contour) 점들에 대하여 커브(Curve)점들을 찾아 상기 손영역의 손가락 끝에 대응되는 영역을 탐색하는 수단, 및
    상기 손가락 끝에 대응되는 영역을 통해 사용자의 손 동작을 정의하는 수단을 포함하고,
    상기 정의된 손 동작을 이용하여 상기 가상객체와 상호작용하는 것을 특징으로 하는 것을 특징으로 하는 상호작용을 지원하는 모바일 기반 증강현실 제작 방법.
    
    
    

Images