KR100701784B1 - 마커간 융합을 이용하여 증강현실을 구현하는 방법 및 그장치 - Google Patents

Abstract

본 발명은 마커간 융합을 이용하여 마커 위에 융합된 3차원 영상을 출력하는 AR 구현 장치 및 방법에 관한 것으로서, 마커 등록 모듈, 3차원 영상 등록 모듈, 융합 판단 모듈 및 출력 모듈을 포함하고, 융합되는 마커들과 융합되지 않는 마커들에 대응되는 3차원 영상들을 동시에 하나 화면에서 출력하는 것을 특징으로 한다. 본 발명에 따른 AR을 구현하는 장치 및 방법은 복수개의 마커들 중에서 서로 융합되어야 하는 마커들에 대한 정보와 일치하는 마커들이 존재하는지의 여부를 판단하는 것을 특징으로 한다. 본 발명은 마커간의 융합을 이용함으로써 효율적이고 다양한 3차원 가상 영상을 적절한 위치에 용이하고 직관적이며 신속하게 출력하는 효과가 있다

Augmented Reality, 융합, 마커.

Description

마커간 융합을 이용하여 증강현실을 구현하는 방법 및 그 장치{Method and Apparatus of Implementing an Augmented Reality by Merging Markers}

제1도는 마커를 이용하여 AR을 구현하는 종래의 기술을 나타내는 개략도이다.

제2도는 본 발명에 따른 AR을 구현하는 장치를 나타내는 구성도이다.

제3도는 본 발명에 따른 마커간 융합과 그에 따른 3차원 가상 영상을 나타내는 하나의 실시예이다.

제4도는 본 발명에 따른 다양한 마커를 나타내는 하나의 실시예이다.

제5도는 본 발명에 따른 마커와 카메라의 움직임을 나타내는 하나의 실시예이다.

발명의 분야

본 발명은 AR(Augmented Reality)을 구현하는 방법 및 그 장치에 관한 것이 다. 보다 구체적으로, 본 발명은 효율적이고 다양한 3차원 가상 영상을 적절한 위치에 용이하고 직관적이며 신속하게 출력하는 AR을 구현하는 방법 및 그 장치에 관한 것이다.

발명의 배경

AR(Augmented Reality, 증강현실, 增强現實)은 사용자가 눈으로 보는 현실세계와 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여주는 가상현실의 하나이다. 현실세계를 가상세계로 보완해주는 개념인 AR은 컴퓨터 그래픽으로 만들어진 가상환경을 사용하지만 주역은 현실환경이다. 컴퓨터 그래픽은 현실환경에 필요한 정보를 추가 제공하는 역할을 한다. 사용자가 보고 있는 실사 영상에 3차원 가상영상을 겹침(overlap)으로써 현실환경과 가상화면과의 구분이 모호해지도록 한다는 뜻이다. 가상현실기술은 가상환경에 사용자를 몰입하게 하여 실제환경을 볼 수 없다. 하지만 실제환경과 가상의 객체가 혼합된 AR은 사용자가 실제환경을 볼 수 있게 하여 보다 나은 현실감을 제공한다. 증강현실을 실외에서 실현하는 것이 착용식 컴퓨터(wearable computer)이다. 특히 머리에 쓰는 형태의 컴퓨터 화면장치는 사용자가 보는 실제환경에 컴퓨터 그래픽레? 등을 겹쳐 실시간으로 보여줌으로써 증강현실을 가능하게 한다.

이러한 AR을 구현하는 방법에는 특정한 마커(marker)를 컴퓨터가 인식하여, 그 마커에 연결된 3차원 그래픽 모델을 모니터에 그려주는 방법이 있다. 여기서의 마커란 실제로 2차원 평면위에 존재하면서, 그 하나만으로 모니터를 비롯한 출력장 치 내에 자신과 연결된 3차원 그래픽모델이 그려질 크기, 방향 및 위치 정보를 제공하는 것을 말한다. 이 마커와 3차원 그래픽 모델은 사용자의 선택에 따라 다양한 모습으로 나타난다. 예를 들어, 고양이를 뜻하는 마커를 사용자가 임의로 만들고, 실제 고양이의 모습을 3차원 그래픽 이미지로 형상화한 3차원 영상을 고양이 마커와 연결을 시킨다. 이 마커를 컴퓨터에 연결된 카메라 등의 영상 인식 수단으로 인식하면, 컴퓨터 모니터에 고양이의 3차원 영상이 나타나는 것이다. 또는, 제1도의 개략도처럼, 착용식 컴퓨터의 화면 장치를 통해서 마커를 보면, 그 마커 위에 사람 모양의 3차원 영상이 나타나게 하는 방법도 있다.

상술한 것처럼, 종래에는 1개의 마커에 대응되는 3차원 가상영상이 1개씩 존재하기 때문에, 표현하려고 하는 마커간에 의미상 관련사항이 있더라도, 전혀 영향을 줄 수 없었다. 즉, 마커간의 상호작용이 전혀 없는 상태였다.

따라서, 마커간에 상호작용할 필요가 있는 경우의 조합에는 그 상황을 판단하여 새로운 3차원 가상영상을 용이하고 직관적이며 신속하게 출력하는 AR을 구현하는 장치나 방법이 필요한 것이다.

본 발명의 목적은 마커간의 융합을 이용함으로써 효율적이고 다양한 3차원 가상 영상을 출력하는 AR을 구현하는 장치를 제공하기 위한 것이다.

본 발명의 다른 목적은 마커간의 융합을 이용함으로써, 3차원 가상 영상을 적절한 위치에 용이하고 직관적이며 신속하게 출력하는 AR을 구현하는 장치에 관한 것이다.

본 발명의 또 다른 목적은 마커간의 융합을 이용함으로써 효율적이고 다양한 3차원 가상 영상을 적절한 위치에 용이하고 직관적이며 신속하게 출력하는 AR을 구현하는 방법을 제공하기 위한 것이다.

본 발명의 상기 및 기타의 목적들은 상세히 설명되는 본 발명에 의하여 모두 달성될 수 있다

발명의 요약

본 발명은 복수개의 모듈이 저장되는 메모리 및 상기 메모리에 연결되고 상기 복수개의 모듈에 반응하는 프로세서를 포함하는 AR을 구현하는 장치에 있어서, 상기 복수개의 모듈은 (1) 문자, 숫자, 기호, 그림 또는 이들의 조합을 표시하는 복수개의 마커를 저장 수단의 할당된 공간에 이미지 파일 형식으로 등록하는 마커 등록 모듈, (2) 컴퓨터 그래픽으로 표현되는 복수개의 3차원 영상을 각각 상기 복수개의 마커에 대응이 되도록, 저장 수단의 할당된 공간에 이미지 파일 형식으로 등록하는 3차원 영상 등록 모듈, (3) 저장 수단의 할당된 공간에 융합되어야 하는 마커들에 대한 정보가 미리 저장되고, 영상 인식 수단에 의하여 인식된 복수개의 마커들 중에서 상기 정보와 일치하는 마커들이 존재하는지의 여부를 컴퓨터 프로세서의 연산 및 처리에 의하여 판단하는 융합 판단 모듈, 및 (4) 상기 융합 판단 모듈에 의하여 융합되는 마커들이 있을 때 융합되는 마커들에 대응되는 3차원 영상을 영상 출력 수단의 적절한 위치에 출력하는 출력 모듈을 포함하는 것을 특징으로 하는 AR을 구현하는 장치이다.

이하 첨부된 도면을 참고로 본 발명의 내용을 하기에 상세히 설명한다.

발명의 구체예에 대한 상세한 설명

본 발명에 따른 마커간 융합을 이용하여 AR을 구현하는 장치의 구체예로는 컴퓨터 시스템이 될 수 있다. 일반적으로 컴퓨터는 프로그래밍이 가능한 전기적 장치로서 입력 자료를 받아들여서 처리하여, 그 처리된 정보를 저장하고 검색하여 결과를 출력하는 일을 하는 기계를 말한다. 제2도에 도시되는 프로세서, 메모리, 영상 인식 수단 및 출력 수단은 컴퓨터가 작동하기 위한 기본적인 장치들이다. 이 장치들 간의 상호 작동은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의하여 용이하게 실시될 수 있다.

본 발명의 영상 인식 수단은 카메라, 캠(Cam), 스캐너 등 영상을 인식하여 컴퓨터로 전송할 수 있는 모든 형태의 장치를 포함하고, 본 발명의 출력 수단은 컴퓨터 모니터, 착용식 컴퓨터의 화면 장치 등 컴퓨터로부터 전송받은 이미지를 표시하는 모든 형태의 장치를 포함한다.

본 발명에 따른 복수개의 모듈은 마커 등록 모듈, 3차원 영상 등록 모듈, 융합 판단 모듈 및 출력 모듈을 포함한다. 본 발명의 모듈(module)은 컴퓨터의 메모리에 저장되고, 컴퓨터의 프로세서에 의하여 연산, 처리 등이 되는 것으로, 컴퓨터에서 특정한 기능을 수행하는 프로그램의 논리적인 일부분을 뜻한다.

제3도는 본 발명의 장치에 의하여 융합된 마커를 구현한 AR을 나타내는 하나의 실시예이다. 제3도에 나타난 마커는 『낙엽, 태양, 새』의 3가지이다. 총 3 가지의 디자인된 마커는 컴퓨터의 저장 수단의 특정한 공간에 이미지 파일 형식으로 저장된다.

제3도에 도시된 3 가지의 마커는 서로 융합될 수가 있는데, 2 가지 마커가 한 화면에 동시에 보일 때에는 2개가, 3 가지 마커가 한 화면에 동시에 보일 때에는 3개가 서로 융합된다. 따라서, 낙엽과 태양이 융합되어 구름 낀 하늘이라는 3차원 영상이 컴퓨터의 출력수단에 출력되고, 낙엽, 태양 및 새가 융합되어 새가 날아다니는 구름 낀 하늘이라는 3차원 영상이 3가지 마커의 중간 지점에 출력될 수 있다. 이렇듯, 본 발명에 따른 AR 융합 장치는 여러 개의 마커를 다양하게 조합하여 의미상 관련성이 있도록 융합하는 것이다. 이때 새로운 3차원 영상의 출력 지점은 적절히 변화시킬 수 있다. 또한 융합되어야 하는 마커들이 인식된 후 융합된 3차원 영상이 출력될 때까지의 걸리는 시간은 0.1초 미만으로 매우 짧기 때문에 3차원 영상의 출력을 신속하게 하는 효과가 있다.

제3도에 도시된 것처럼, 마커에 대응되는 3차원 영상은 컴퓨터 그래픽으로 표현될 수 있고, 컴퓨터의 저장 수단의 특정한 공간에 해당 마커와 연결이 된 상태로 저장된다. 3차원 영상의 표현은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의하여 용이하게 실시될 수 있다.

제3도의 3가지 마커는 몇가지로 융합이 일어 날 수 있고, 각각의 융합 결과에 해당하는 3차원 영상이 저장수단에 미리 저장된다. 종래 기술에서는 1개의 마커 에 1개의 3차원 영상만이 일대일로 대응되었기 때문에, 마커간의 특징이 반영될 수 없었다. 예를 들어, 비의 마커와 구름의 마커가 동시에 보일경우, 종래 기술에서는 비가 내리는 영상과 구름의 영상이 각각의 해당 마커 위에 따로 존재하도록 보이지만, 본 발명에 따른 AR 구현 장치에서는 마커 각각의 상황을 인식하여 『비가 내리는 구름이라는 하나의 상황』으로 보이게 하는 것이다. 이러한 하나의 상황으로 보이게 하는 융합이 마커가 2 개인 경우 뿐만 아니라 3 개, 4 개 등 어떠한 복수개의 마커에서도 가능하게 함으로써, 본 발명에 따른 AR을 구현하는 장치는 마커를 보다 쉽고 직관적으로 조합하여 3차원 영상을 적절한 위치에 출력하는 것이다.

본 발명에 따른 영상 인식 수단에 의하여 마커가 인식이 될 때, 여러 개의 마커가 동시에 인식이 될 수 있다. 이러한 인식된 마커들 중에는 같이 융합되는 마커들도 있고, 같이 융합되지 않는 마커들도 있기 때문에, 같이 융합된 마커들은 적절한 위치에 새롭게 융합된 3차원 영상을 출력하고, 같은 식별자에 의해 구분되지 않아 함께 융합되지 않은 마커들은 각각의 마커에 대응되는 3차원 영상을 출력한다. 그리고, 이들 3차원 영상은 마커가 위치하는 곳에서 하나의 화면에 동시에 여러 개가 출력될 수 있다. 예를 들어, 새가 날아다니는 구름낀 하늘(융합됨), 비가 내리는 구름(융합됨) 및 나비(융합되지 않음)가 하나의 화면에 동시에 출력될 수 있다.

본 발명에 따른 융합 판단 모듈은 융합되어야 하는 마커들에 대한 정보를 이용하여 마커간 융합 여부를 판단한다. 융합되어야 하는 마커들에 대한 정보는 컴퓨터의 저장 수단의 특정한 공간에 미리 저장되고, 이 정보를 융합 판단 모듈이 이용 한다. 융합 마커들에 대한 정보의 예로는 마커들의 일련 번호가 있는데, 특별히 이에 한정되지 않는다. 예를 들어 융합되는 마커가 1번 마커와 2번 마커라면, 『인식되는 마커중에 1번과 2번이 존재하면 융합한다』는 명령문이 융합 판단 모듈에 의하여 연산 및 처리된다. 이때, 실제로 1번 마커와 2번 마커가 영상 인식 수단에 의하여 인식되면, 융합 판단 모듈은 상기 명령문에 의하여 2 개의 마커를 융합하라고 판단한다.

제4도에 따르면, 낙엽, 태양, 새, 비, 구름 및 나비의 마커가 있는데, 융합되어야 하는 마커들은 2 가지의 그룹이고, 낙엽, 태양 및 새의 마커가 융합되는 그룹과 비와 구름이 융합되는 그룹이 있다고 가정한다. 만약 낙엽과 비의 마커만 영상 인식 수단에 의하여 인식된다면, 이 두 개의 마커는 융합되는 그룹에 속하지 않기 때문에, 융합 판단 모듈은 두 개의 마커를 융합하지 않는다고 판단한다. 낙엽, 비, 구름 및 나비의 마커가 영상 인식 수단에 의하여 인식이 된다면, 인식된 마커들 중에 융합되어야 하는 마커들은 비와 구름의 마커뿐이기 때문에, 융합 판단 모듈은 비와 구름의 마커를 융합한다고 판단하고, 나머지 낙엽과 나비의 마커는 융합하지 않는다고 판단한다. 따라서, 융합되는 비와 구름 마커에 대응되는 3차원 영상인 『비가 내리는 구름』이 비와 구름 마커의 중간 위치에 1 개의 상황으로 출력되고, 낙엽 마커 위에는 융합되지 않은 낙엽 영상이 출력되고, 나비 마커 위에는 융합되지 않은 나비 영상이 출력된다.

그리고 본 발명에 따른 출력 모듈은 융합되는 마커들에 대응되는 3차원 영상을 저장 수단에서 불러와서 모니터 등의 영상출력 수단에 출력한다. 융합된 3차원 영상이 출력되는 위치는 컴퓨터가 연산을 하여 마커들의 중간 지점이 될 수도 있으며, 특별히 중간 지점에 한정되지 않고, 1:2로 내분하는 지점 등 다양한 지점이 될 수 있다.

본 발명의 마커는 문자, 숫자, 기호, 그림 또는 이들의 조합으로 표시될 수 있고, 2차원 상에 표현할 수 있는 한 특별히 그 모양이 한정되지 않는다. 제4도는 본 발명에 따른 AR을 구현하는 장치에 사용될 수 있는 마커의 실시예를 나타내는 것이다. 날씨와 분위기를 표현하기 위한 마커들의 예를 든다면, 낙엽, 태양, 비, 구름, 새, 나비 등이 될 수 있다.

본 발명에 따른 AR을 구현하는 장치에 의하여 3차원 영상이 출력된 후, 해당 마커나 영상 인식 수단을 이동하게 되면, 3차원 영상이 해당 움직임에 따라 이동되거나 모양이 변한다. 제5도에 도시된 것처럼, 마커들을 x축, y축 및 z축 방향으로 이동하거나, 마커들을 회전시킬 수 있으며, 마커들의 움직임에 따라 출력된 3차원 영상도 움직인다. 또한, 이미 3차원 영상이 출력된 상황에서 영상 인식 수단의 위치를 변경하면, 3차원 영상이 다른 각도에서 출력된다. 영상 인식 수단을 마커 가까이로 가져가면 확대된 3차원 영상이 출력되고, 멀리 가져가면 축소된 3차원 영상이 출력될 수도 있다.

본 발명에 따른 AR을 구현하는 방법은 문자, 숫자, 기호, 그림 또는 이들의 조합을 표시하는 복수개의 마커를 저장 수단의 할당된 공간에 이미지 파일 형식으로 등록하고, 컴퓨터 그래픽으로 표현되는 복수개의 3차원 영상을 각각 상기 복수개의 마커에 대응이 되도록, 저장 수단의 할당된 공간에 이미지 파일 형식으로 등 록하고, 저장 수단의 할당된 공간에 융합되어야 하는 마커들에 대한 정보가 미리 저장되고, 영상 인식 수단에 의하여 인식된 복수개의 마커들 중에서 상기 정보와 일치하는 마커들이 존재하는지의 여부를 컴퓨터 프로세서의 연산 및 처리에 의하여 판단하고, 그리고 상기 융합 판단 모듈에 의하여 융합되는 마커들이 있을 때 융합되는 마커들에 대응되는 3차원 영상을 영상 출력 수단에 출력하는 단계를 포함하는 것을 특징으로 한다. 상기 단계는 상술한 AR을 구현하는 장치에 대한 설명에 의하여 용이하게 이해 될 수 있다.

본 발명에 따른 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 상기 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 기록 장치이다. 예를 들어, ROM, RAM, Cache, 하드 디스크, 광디스크, 플로피 디스크, 자기 테이프 등이 있다. 또한, 캐리어 웨이브의 형태로 구현되는 것도 포함하며, 예를 들어 인터넷을 통한 전송 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로서 저장되고 실행될 수 있다.

본 발명은 마커간의 융합을 이용함으로써 효율적이고 다양한 3차원 가상 영상을 적절한 위치에 용이하고 직관적으로 이며 신속하게 출력하는 AR을 구현하는 장치 및 방법을 제공하는 효과가 있다.

본 발명의 단순한 변형 내지 변경은 이 분야의 통상의 지식을 가진 자에 의하여 용이하게 실시될 수 있으며, 이러한 변형이나 변경은 모두 본 발명의 영역에 포함되는 것으로 볼 수 있다.

Claims (5)

1. 복수개의 모듈이 저장되는 메모리 및 상기 메모리에 연결되고 상기 복수개의 모듈에 반응하는 프로세서를 포함하는 AR(Augmented Reality)를 구현하는 장치에 있어서,

   상기 복수개의 모듈은,

   문자, 숫자, 기호, 그림 또는 이들의 조합을 표시하는 복수개의 마커(marker)를 저장 수단의 할당된 공간에 이미지 파일 형식으로 등록하는 마커 등록 모듈;

   컴퓨터 그래픽으로 표현되는 복수개의 3차원 영상을 각각 상기 복수개의 마커에 대응이 되도록, 저장 수단의 할당된 공간에 이미지 파일 형식으로 등록하는 3차원 영상 등록 모듈;

   저장 수단의 할당된 공간에 융합되어야 하는 마커들에 대한 정보가 미리 저장되고, 영상 인식 수단에 의하여 인식된 복수개의 마커들 중에서 상기 정보와 일치하는 마커들이 존재하는지의 여부를 컴퓨터 프로세서의 연산 및 처리에 의하여 판단하는 융합 판단 모듈; 및

   상기 융합 판단 모듈에 의하여 융합되는 마커들이 있을 때 융합되는 마커들에 대응되는 3차원 영상을 영상 출력 수단에 출력하는 출력 모듈;

   을 포함하는 것을 특징으로 하는 AR을 구현하는 장치.
2. 제1항에 있어서, 상기 출력 모듈은 3차원 현실 공간에서 마커의 위치가 변경되면, 마커에 대응되는 3차원 영상을 변경된 위치에 출력하는 것을 특징으로 하는 AR을 구현하는 장치
3. 제1항에 있어서, 상기 출력 모듈은 3차원 현실 공간에서 영상 인식 수단이 이동을 하면, 인식되는 마커에 대응되는 3차원 영상을 확대, 축소, 또는 회전하여 출력하는 것을 특징으로 하는 AR을 구현하는 장치
4. 복수개의 모듈이 저장되는 메모리 및 상기 메모리에 연결되고 상기 복수개의 모듈에 반응하는 프로세서를 포함하는 컴퓨터 시스템의 저장 수단의 할당된 공간에 마커 등록 모듈이 문자, 숫자, 기호, 그림 또는 이들의 조합을 표시하는 복수개의 마커(marker)를 컴퓨터 이미지 파일 형식으로 등록하고;

   3차원 영상 등록 모듈이 컴퓨터 그래픽으로 표현되는 복수개의 3차원 영상을 각각 상기 복수개의 마커에 대응이 되도록, 컴퓨터 시스템의 저장 수단의 할당된 공간에 컴퓨터 이미지 파일 형식으로 등록하고;

   융합 판단 모듈이 컴퓨터 시스템의 저장 수단의 할당된 공간에 융합되어야 하는 마커들에 대한 정보가 미리 저장되고, 컴퓨터 시스템의 영상 인식 수단에 의하여 인식된 복수개의 마커들 중에서 상기 융합되어야 하는 마커들에 대한 정보와 일치하는 마커들이 존재하는지의 여부를 컴퓨터 프로세서의 연산 및 처리에 의하여 판단하고; 그리고

   출력 모듈이 상기 융합 판단 모듈에 의하여 융합되는 마커들이 있을 때 융합되는 마커들에 대응되는 3차원 영상을 컴퓨터 시스템의 영상 출력 수단에 출력하는;

   단계를 포함하는 것을 특징으로 하는 AR(Augmented Reality)을 구현하는 방법.
5. 삭제

Images