KR101227255B1

KR101227255B1 - 마커 크기 기반 인터렉션 방법 및 이를 구현하기 위한 증강 현실 시스템

Info

Publication number: KR101227255B1
Application number: KR1020100023718A
Authority: KR
Inventors: 소경숙; 정진
Original assignee: 에스케이플래닛 주식회사
Priority date: 2010-03-17
Filing date: 2010-03-17
Publication date: 2013-01-28
Also published as: KR20110104686A

Abstract

본 발명은 마커 기반 증강 현실에서 카메라의 움직임에 따라 마커의 크기가 다르게 인식되는 경우 해당 마커 또는 마커를 포함한 실제 객체의 특징점을 추출하여 마커의 크기 변화를 트래킹함한 다음, 마커의 크기 변화 비율에 따라 해당 마커와 매칭되는 가상 객체의 크기를 변경함은 물론, 가상 객체에 적응적으로 마커의 크기 비율에 따라 정의된 인터렉션을 수행하도록 적용함으로써 사용자에게 보다 실감있고 현실적인 서비스를 제공한다.

Description

마커 크기 기반 인터렉션 방법 및 이를 구현하기 위한 증강 현실 시스템{MARKER SIZE BASED INTERACTION METHOD AND AUGMENTED REALITY SYSTEM FOR REALIZING THE SAME}

본 발명은 증강 현실(Augmented Reality: AR) 기술에 관한 것으로서, 더욱 상세하게는 마커 기반 증강 현실에서 카메라의 움직임에 따라 마커의 크기가 다르게 인식되는 경우 해당 마커에 매핑되는 가상 객체에 마커의 크기에 따라 적응적으로 인터렉션을 수행함으로써 사용자에게 보다 현실감있는 서비스를 제공하는 마커 크기 기반 인터렉션 방법 및 이를 구현하기 위한 증강 현실 시스템에 관한 것이다.

가상 현실(Virtual Reality: VR)은 컴퓨터 시스템에서 생성한 3D 가상 공간과 주로 상호 작용이 주가되는 분야로서, 가상 공간은 현실 세계를 바탕으로 구성된다. 사용자는 이러한 가상 공간을 인체의 오감(시각, 청각, 후각, 미각, 촉각)을 통해 느낌으로써 몰입감(沒入感)을 갖게 된다.

증강 현실(Augmented Reality: AR)은 가상 현실(VR)의 하나의 분야에서 파생된 기술로서, 현실 세계와 가상의 체험을 결합한 것을 의미한다. 즉, 실제 환경에 가상 사물을 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법이다.

가상 현실은 모든 환경을 컴퓨터를 통해 가상환경으로 제작하여 사용자와 상호 작용하지만, 증강 현실은 현실 세계를 바탕으로 사용자가 가상의 물체와 상호 작용함으로써 향상된 현실감을 줄 수 있다는 특징을 가진다. 따라서, 증강 현실에서는 사용자가 자신이 위치해 있는 실제 환경을 인식함과 동시에, 실제 영상 위에 표현된 가상의 정보도 인식하게 된다.

이와 같이, 증강 현실은 현실 영상과 가상의 그래픽을 접목하여 보여주기 때문에 보다 실감있고 정확한 영상을 얻기 위해서는 가상 객체들을 화면에서 원하는 자리에 정확히 위치시켜야 한다. 이를 구현하기 위해서는 가상 객체에 대한 3차원 좌표가 필요하며, 이 좌표는 카메라를 기준으로 하는 좌표값이 되어야 한다.

그런데, 문제는 카메라의 영상에서 현실 세계의 어떤 지점이나 물체에 대한 카메라의 3차원 좌표를 확보해야 하는데, 이를 위해서는 2대 이상의 카메라가 필요하므로 3차원 위치를 파악하기가 쉽지 않다.

따라서, 이에 대한 대책으로 증강 현실에서는 가상 객체를 위치시킬 마커(marker)를 현실 세계의 공간에 배치하고 상기 마커를 기준으로 상대적 좌표를 추출하여 가상 객체를 위치시킬 위치 및 자세를 추정하는 마커 기반 기술을 이용하고 있다.

예를 들어, 고양이를 뜻하는 마커를 사용자가 임의로 만들고, 실제 고양이의 모습을 3차원 그래픽 이미지로 형상화한 3차원 가상 영상을 고양이 마커와 매핑한다. 그리고, 이 마커를 컴퓨터에 연결된 카메라 등의 영상 인식 수단으로 인식하면, 컴퓨터 모니터에 마커와 매핑된 고양이의 3차원 가상 영상을 표시하는 것이다.

그런데, 종래 마커 기반 증강 현실에서는, 카메라의 움직임에 따라 마커의 크기가 다르게 인식되면 인식된 마커의 크기에 따라 가상 객체의 원근을 조정하였으나, 마커의 크기가 가상 객체에 직접 인터렉션(interaction)을 수행하기 위한 입력으로는 작용하지 않는다.

상기의 고양이를 예로 들면, 실제 영상에 가상 객체인 고양이가 증강된 현실에서, 마커의 크기가 점점 커지면 가상 객체인 고양이의 크기가 커질 뿐, 마커의 크기에 따라 고양이의 얼굴 또는 음영이 자세히 표현되도록 이미지가 변경되지 않는다. 여기서, 고양이의 얼굴 또는 음영을 가상 객체의 인터렉션으로 본다.

따라서, 종래 마커 기반 증강 현실 기술에서는, 상기와 같이 마커의 크기가 커짐에 따라 가상 객체가 확대된 이미지에서는 오히려 현실감이 떨어지고, 마커의 크기가 작아짐에 따라 가상 객체가 축소된 이미지에는 구체적인 표현이나 액션을 수행한다 하더라도 눈에 띄지 않아 불필요하다는 단점이 있다.

따라서, 본 발명은 해당 마커와 매칭되는 가상 객체에 마커의 크기에 따라 적응적으로 인터렉션을 지정하여 사용자에게 현실감있는 서비스를 제공하고, 시스템 측면에서는 마커 크기에 따라 데이터 처리를 적응적으로 수행할 수 있도록 한 마커의 크기 기반 인터렉션 방법 및 이를 구현하기 위한 증강 현실 장치를 제공함에 그 목적이 있다.

이를 위하여, 본 발명의 제1 측면에 따르면, 증강 현실 시스템은, 마커 또는 실제 객체가 포함된 현실 환경을 촬영하는 영상인식수단과, 상기 영상인식수단을 통해 촬영된 실제 영상에서 마커 또는 실제 객체를 검출하고 검출된 마커 또는 실제 객체의 크기 변화를 산출하여 상기 산출된 마커 또는 실제 객체의 크기 변화에 대응하는 인터렉션 정보를 검출하고 인터렉션 정보에 근거하여 가상 객체를 렌더링하는 증강현실 처리부와, 상기 실제 영상에 상기 렌더링된 가상 객체가 합성된 합성 영상을 디스플레이하는 표시부를 포함하는 것을 특징으로 한다.

본 발명의 제2 측면에 따르면, 증강 현실 처리 장치는, 실제 객체를 포함한 현실 환경을 기반으로 증강 현실을 구현하는 장치에 있어서, 영상인식수단을 통해 상기 현실 환경을 촬영하여 인식한 실제 영상으로부터 상기 실제 객체의 특징점 또는 마커의 특징점을 인식하는 특징점 인식부; 상기 실제 객체의 특징점 또는 마커의 특징점에 대한 크기가 변하면 변화된 크기 변화 비율을 산출하는 크기 비율 산출부; 상기 마커의 특징점 또는 실제 객체의 특징점과 매핑되는 가상 객체에 대하여 마커 또는 실제 객체의 크기 변화에 따라 적용할 인터렉션이 정의되어 있는지를 확인하여, 상기 크기 비율 산출부를 통해 산출된 크기 변화 비율에 따라 해당 인터렉션 정보를 검출하고 지령하는 인터렉션부; 및 상기 가상 객체에 대하여 상기 크기 비율 산출부를 통해 산출된 크기 비율에 따라 그 크기를 렌더링하는 동시에, 상기 인터렉션부에서 지령한 인터렉션 정보에 기초하여 상기 가상 객체를 렌더링하는 렌더링부를 포함하는 것을 특징으로 한다.

본 발명의 제3 측면에 따르면, 마커 크기 기반 인터렉션 방법은, 실제 객체를 포함한 현실 환경을 기반으로 증강 현실을 구현하는 방법에 있어서, 상기 현실 환경을 촬영한 실제 영상으로부터 상기 실제 객체의 특징점 또는 마커의 특징점을 추출하여 인식하는 단계; 상기 인식하는 단계에서, 상기 실제 객체의 특징점 또는 마커의 특징점에 대한 크기가 변하면 변한 크기 변화 비율을 산출하는 단계; 상기 크기 변화 비율이 산출되면 상기 마커 또는 실제 객체와 매핑되는 가상 객체를 저장부로부터 검출하여 상기 가상 객체의 크기를 산출된 크기 변화 비율에 따라 변경하는 단계; 상기 변경하는 단계와 동시에, 상기 가상 객체에 대하여 마커 또는 실제 객체의 크기 변화 비율에 따라 적용할 인터렉션이 정의되어 있는지를 확인하여, 상기 인터렉션이 정의되어 있으면 상기 산출된 크기 변화 비율에 따라 해당 인터렉션 정보를 검출하여 지령하는 단계; 및 상기 산출된 크기 변화 비율에 따라 크기가 변경된 가상 객체와, 상기 가상 객체에 지령한 인터렉션 정보를 함께 매핑하여 실제 영상과 합성한 후 하나의 영상으로 표시하는 단계를 포함하는 것을 특징으로 한다.

본 발명의 제4 측면에 따르면, 기록 매체는, 상기 마커 크기 기반 인터렉션 방법에 의해 실행되는 프로그램을 기록하는 컴퓨터로 읽을 수 있는 기록매체인 것을 특징으로 한다.

본 발명에 따르면, 마커의 크기에 따라 가상 객체의 크기 및 인터렉션을 적응적으로 구현함으로써 사용자에게 보다 실감있는 이미지를 제공하고, 시스템 측면에서는 마커 크기에 따라 데이터 처리를 적응적으로 수행할 수 있는 효과가 있다.

도 1은 본 발명의 실시 예에 따른 마커 크기 기반 인터렉션을 구현하기 위한 증강 현실 장치의 구성도.
도 2a 및 도 2b는 가상 객체가 계산기일 경우 마커의 크기에 따라 계산기의 구성을 구체화 또는 간소화시킨 예.
도 3a 및 도 3b는 가상 객체가 사과일 경우 마커의 크기에 따라 사과의 정밀도를 변경한 예.
도 4는 본 발명의 실시 예에서 마커의 크기에 따라 가상 객체에 인터렉션을 적용하는 다양한 실시 예를 설명하기 위한 도면.
도 5는 본 발명의 실시 예에 따른 증강 현실 장치를 이용하여 마커 크기를 기반으로 하여 인터렉션하는 방법을 설명하기 위한 흐름도.

이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세하게 설명한다. 본 발명의 구성 및 그에 따른 작용 효과는 이하의 상세한 설명을 통해 명확하게 이해될 것이다. 본 발명의 상세한 설명에 앞서, 동일한 구성요소에 대해서는 다른 도면 상에 표시되더라도 가능한 동일한 부호로 표시하며, 공지된 구성에 대해서는 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 구체적인 설명은 생략하기로 함에 유의한다.

본 발명에 대한 구체적인 설명을 하기에 앞서, 증강 현실을 구현하기 위한 기본적인 기술에 대하여 설명한다.

증강 현실은 카메라를 통해 촬영된 실제 피사체나 특정 부위에 대하여 미리 정해 놓은 정보 또는 가상 객체를 화면 상에 합성하여, 부가적인 정보를 제공하거나 또는 실제 동작하는 것처럼 화면 상에 표시하여 현실을 보다 풍부하게 묘화하는 비전(vision) 기술이다.

증강 현실을 구현하기 위한 기본적인 기술은, 대상 위치 인식(Recognition) 기술, 인식된 지점의 트래킹(tracking) 기술, 합성 기술을 포함한다. 따라서, 인식 기술과 트랙킹 기술로 파악된 위치에 미리 정해둔 가상 객체를 합성하는 방식으로 구현될 수 있다.

이중, 합성 기술은 실제 환경에 대한 영상에서 대상 위치의 인식 및 트래킹에 의해 합성 위치를 선정하고, 해당 위치에서의 기울기, 방향 등을 추정한 다음, 가상 객체를 기울기, 방향 등에 따라 렌더링하여 정확한 위치에 위치시키는 과정으로 이루어질 수 있다.

본 발명은 이러한 합성 기술 분야에 해당하는 기술로, 현실 환경의 실제 객체 또는 실제 객체에 포함된 마커의 특징점을 인식하고 트래킹하여, 마커의 크기에 따라 해당 마커에 매핑되는 가상 객체에 미리 정의된 인터렉션을 적용하여 합성하는 기술로 볼 수 있다.

도 1은 본 발명의 실시 예에 따른 마커 크기 기반 인터렉션을 구현하기 위한 증강 현실 시스템의 구성도이다.

본 발명의 실시 예에 따른 증강 현실 시스템(100)은 영상 인식 수단(110), 특징점 인식부(도시하지 않음), 크기 비율 산출부(140), 가상 객체 검출부(150), 렌더링부(160), 인터렉션부(170), 표시부(180), 저장부(190)를 포함하여 구현될 수 있다. 여기서, 특징점 인식부(도시하지 않음), 크기 비율 산출부(140), 가상 객체 검출부(150), 렌더링부(160), 인터렉션부(170), 저장부(190)는 증강 현실 처리 장치를 구성한다.

영상 인식 수단(110)은 실제 객체(10) 또는 마커(20)를 포함하는 현실 환경을 촬영하여 이로부터 현실 환경에 대한 영상(이하, 실제 영상)을 획득한다. 그리고, 이를 특징점 추출부(120)로 전달한다. 이 영상 인식 수단(110)은 컴퓨터 등의 외부 콘트롤 장치와 연결되는 카메라 또는 웹캠(webcam)이거나, 개인휴대단말기에 내장된 카메라일 수 있다.

본 실시 예에서, 실제 객체(10)는 인식하고자 하는 마커(20)를 포함할 수 있다.

특징점 인식부(도시하지 않음)는 실제 영상으로부터 보여지는 마커 또는 실제 객체의 특징점을 인식한다. 이러한 특징점 인식부는 카메라와 같은 영상 인식 수단(110)을 이용하여 인식하는 방법을 기반으로 할 때, 도시한 바와 같이 특징점 추출부(120)와 특징점 트래킹부(130)로 세분화될 수 있다. 그러나, 특징점 인식시 카메라를 이용한 방식 외 여타의 인식 방법에 의해 특징점을 인식할 수 있으므로 특징점 인식부는 도시된 구성에 한정하지 않는다.

특징점 추출부(120)는 영상 인식 수단(110)을 통해 획득한 실제 영상으로부터 실제 객체(10) 또는 마커(20)를 구분하여 이의 특징점을 추출한다. 특징점은 실제 객체(10) 또는 마커(20)의 색상 정보나, 선분 정보, 에지(edge) 정보 등을 이용하여 추출할 수 있다.

이때, 하기의 특징점 트래킹부(130)에서 마커(20)의 특징점을 기준으로 트래킹을 수행하면 특징점 추출부(120)에서는 실제 객체(10)의 특징점까지 추출할 필요성은 없다.

그러나, 실제 객체(10)에 마커(20)가 포함되어 있지 않은 경우 특징점 추출부(120)는 실제 객체(10)의 특징점을 추출하여, 특징점을 트래킹하는 데 실제 객체(10)의 특징점을 이용할 수 있다.

특징점 트래킹부(130)는 특징점 추출부(120)에서 추출된 실제 객체(10)의 특징점 또는 마커(20)의 특징점에 대하여 크기 및 위치를 트래킹(tracking)한다.

여기서, 특징점 추출부

크기 비율 산출부(140)는 특징점 트래킹부(130)에서 트래킹한 실제 객체(10)의 특징점 또는 마커(20)의 특징점에 대하여 크기가 변동되면 변동된 크기 변화 비율을 산출한다.

이의 구체적인 산출 방법은 두 가지 방법이 있다.

첫째, 영상 인식 수단(110)의 초점거리에 따른 실제 객체(10)와의 거리를 인식하여 이들간 거리 변화에 따라 실제 객체 또는 마커의 크기 변화 비율을 산출할 수 있다.

둘째, 영상 인식 수단(110)과 실제 객체(10)와의 거리 변화에 따라 인식된 실제 객체(10)의 특징점 또는 마커(20)의 특징점과 사전에 저장부(190)에 저장해 놓은 원 실제 객체의 특징점 또는 원 마커의 특징점을 비교하여 그 비교 결과를 기반으로 실제 객체 또는 마커의 크기 변화 비율을 산출할 수 있다.

인터렉션부(170)는 해당 마커의 특징점과 매핑되는 가상 객체에 대하여 마커의 크기에 따라 적용할 인터렉션이 정의되어 있는지를 확인하여, 크기 비율 산출부(140)를 통해 산출된 크기 비율에 따라 미리 정의된 인터렉션 정보를 저장부(190)로부터 검출하여 해당 가상 객체에 적용하도록 지령한다. 특히, 본 실시예에 따른 인터렉션부(170)는 크기 비율 산출부(140)를 통해 산출된 크기 비율이 일정값을 기준으로 이상 또는 미만일 경우에 따라 구분하여 해당 인터렉션 정보를 검출한다.

가상 객체 검출부(150)는 특징점 추출부(120)를 통해 추출된 마커(20)의 특징점과 매핑되는 가상 객체를 저장부(190)로부터 검출한다.

렌더링부(160)는 가상 객체 검출부(150)를 통해 검출된 가상 객체를 실제 객체 또는 마커의 크기 변화 비율에 따라 그 크기를 렌더링(rendering)하고, 인터렉션부(170)로부터 지령한 인터렉션 정보에 기초하여 가상 객체를 렌더링한다. 이후 렌더링한 가상 객체를 실제 영상에 합성시키도록 표시부(180)로 출력한다.

표시부(180)는 렌더링부(160)에서 렌더링된 2차원 또는 3차원 이미지, 동영상과 같은 시각적 가상 객체를 영상 인식 수단(110)을 통해 획득한 실제 영상에 합성하여 하나의 영상으로 표시한다.

저장부(190)는 인식하고자 하는 하나 이상의 실제 객체(10)에 대한 특징점 정보를 저장한 실제 객체 정보DB(192)와, 인식하고자 하는 하나 이상의 마커(20)에 대한 특징점 정보를 저장한 마커 정보DB(194), 마커 정보DB(194)에 저장된 마커(20)와 매핑되는 가상 객체에 관한 정보를 저장한 가상객체 정보DB(196), 및 가상 객체의 인터렉션에 관한 정보를 저장한 인터렉션 정보DB(198)를 포함할 수 있다.

인터렉션 정보DB(198)는 각 인터렉션 종류별로 마커의 크기 변화 비율에 따라 구분될 수 있다. 예를 들어, 인터렉션 종류가 가상 객체의 정밀도인 경우, 마커의 크기 변화 비율이 일정값 이상이 되면 가상 객체의 질감, 음영, 색상 등을 정밀화하기 위한 정보와, 일정값 미만이 되면 가상 객체의 외형 위주로 간소화하기 위한 인터렉션 정보로 구분될 수 있다.

도 2에는 상기와 같이 마커의 크기 변화 비율에 따라 가상 객체에 인터렉션을 달리 적용하도록 저장된 인터렉션 정보DB(198)의 예가 도시되어 있다.

(1) 인터렉션의 종류가 가상 객체를 제어하기 위한 제어패널인 경우: 마커의 크기 변화 비율이 α이상이면 제어패널의 키버튼을 구체화하기 위한 인터렉션 정보, 마커의 크기 변화 비율이 α미만이면 제어패널의 키버튼을 간소화하기 위한 인터렉션 정보로 구분 저장됨.

(2) 가상 객체의 정밀도인 경우: 마커의 크기 변화 비율이 α이상이면 가상 객체의 질감, 음영, 색상 등을 이용하여 정밀하게 표시하기 위한 인터렉션 정보, 마커의 크기 변화 비율이 α미만이면 가상 객체의 외형 위주로 간소화하기 위한 인터렉션 정보로 구분 저장됨.

(3) 주변 환경의 경우: 마커의 크기 변화 비율이 α이상이면 가상 객체의 주변 환경을 구체적으로 추가하여 현실감을 부여하기 위한 인터렉션 정보, 마커의 크기 변화 비율이 α미만이면 주변 환경을 삭제하기 위한 인터렉션 정보로 구분 저장됨.

(4) 가상 객체의 동작 또는 제스쳐의 수행 여부인 경우: 마커의 크기 변화 비율이 α이상이면 미리 정의해 둔 가상 객체의 동작 또는 제스쳐(이하, 상호작용)을 수행하도록 지령하는 인터렉션 정보, 마커의 크기 변화 비율이 α미만이면 해당 상호작용을 수행하지 않도록 지령하는 인터렉션 정보로 구분 저장됨.

따라서, 상기와 같이 구성되는 본 발명의 증강 현실 장치(100)는 영상 인식 수단(110)에서 획득한 실제 영상으로부터 현실 환경에 존재하는 실제 객체 또는 실제 객체에 포함된 마커의 특징점을 추출하고 트래킹하여, 마커의 크기가 변하면 크기 비율 산출부(140)에서 산출된 크기 변화 비율에 따라 해당 마커와 매핑되는 가상 객체의 크기를 변경하는 동시에, 인터렉션 정보DB(198)로부터 가상 객체에 미리 정의된 인터렉션을 크기 변화 비율에 따라 검출하여 적용함으로써 표시부(180)를 통해 실감있는 증강 현실 이미지를 제공한다.

도 3a 및 도 3b에 도시한 일 예를 들면, 도 3a 및 도 3b에서는 가상 객체가 계산기일 경우 마커의 크기에 따라 계산기의 구성을 구체화 또는 간소화시킨 예를 도시하였다.

손바닥이 보이는 손(10)은 실제 객체이고, 실제 객체 위에 마커(20)가 위치되어 있다.

도 3a에 도시된 것처럼, 먼저 카메라와 마커간의 거리가 점점 가까워져 마커의 크기가 커지게 되면, 표시부를 통해 보여지는 영상에는 손(10) 위에 계산기(30)가 크게 합성되어 표시되며, 이 계산기(30)가 공학용으로 키 버튼이 구체화되어 표시된다. 이와 반대로, 도 3b에 도시된 것처럼 카메라와 마커간의 거리가 점점 멀어져 마커의 크기가 작아지게 되면, 표시부를 통해 보여지는 영상에는 손(10)의 크기뿐만 아니라 손 위의 계산기(40) 크기가 작아지고, 키 버튼이 일반용으로 간소화하여 표시된다.

도 4a 및 도 4b는 가상 객체가 사과일 경우 마커의 크기에 따라 사과의 정밀도를 변경한 예가 도시되어 있다.

도 4a에 도시된 바와 같이 카메라와 마커간의 거리가 점점 가까워져 마커(20)의 크기가 커진 경우, 표시부를 통해 보여지는 영상에는 손(10) 위에 사과(50)의 크기가 크게 합성되어 표시되며, 사과(50)에 음영(52)이 추가되고 사과(50)의 질감이나 색상이 보다 실감있게 구체화되어 표시될 수 있다. 이와 반대로, 도 4b에 도시한 바와 같이 카메라와 마커간의 거리가 점점 멀어져 손(10)과 마커(20)의 크기가 작아진 경우에는, 손(10) 위에 놓여진 사과(60)의 크기가 작아지고, 사과(60)의 외형 및 색상이 간소화되어 표시된다. 즉, 사과(60)의 정밀도를 고려하지 않고 표시된다.

통상, 마커의 크기가 변하면 크기에 따라 가상 객체를 실시간으로 렌더링하여 바로 합성 및 표시해야 하는데, 가상 객체에 기본적으로 음영, 질감, 색상 등의 정밀도 항목이 구체화되어 표현된 경우라면 그 크기가 작아질 때 해당 가상 객체의 정밀도 항목들을 한꺼번에 크기 변화 비율에 맞게 렌더링하여 표시해야 하므로 시스템적으로 부하가 걸릴 수 있다. 따라서, 표시부에 지연되어 표시되거나 표시되기 전에 깜박거리거는 현상 등이 발생할 수 있는데, 본 발명의 실시 예들에 따르면 이러한 현상을 방지할 수 있다.

이상, 상기 실시 예들을 통해 가상 객체의 정밀도에 대해서만 설명하였지만, 이 외 마커의 크기에 따라 가상 객체에 인터렉션을 적용하는 사례는 도 2에 나타난 인터렉션 종류에 따라 다양하게 제공할 수 있을 것이다.

(1) 가상 객체를 제어하기 위한 제어패널인 경우: 마커의 크기 변화 비율이 α이상이면 제어패널의 키버튼을 구체화하고, 마커의 크기 변화 비율이 α미만이면 제어패널의 키버튼을 간소화하여 표시.

(2) 가상 객체의 정밀도인 경우: 마커의 크기 변화 비율이 α이상이면 가상 객체의 질감, 음영, 색상 등을 이용하여 정밀화하고, 마커의 크기 변화 비율이 α미만이면 가상 객체의 외형 위주로 간소화하여 표시.

(3) 주변 환경의 경우: 마커의 크기 변화 비율이 α이상이면 주변 환경을 구체적으로 추가하여 현실감을 부여하고, α미만이면 주변 환경을 삭제하여 표시.

(4) 가상 객체의 동작 또는 제스쳐 관련인 경우: 마커의 크기 변화 비율이 α이상이면 미리 정의해 둔 상호작용을 수행하도록 지령하고, α미만이면 해당 상호작용이 없음.

그럼, 이상의 증강 현실 장치에 기반하여 마커 크기에 따라 인터렉션하는 과정에 대하여 도 5를 참조하여 설명한다.

우선 마커를 인식하기 전에, 인식하고자 하는 하나 이상의 마커에 대하여 특징점을 정의하고 정의된 특징점 정보(이하, 원 마커의 특징점 정보라 칭함)를 마커별로 저장부에 미리 저장해 둔다. 그리고, 실제 객체에 대해서도 특징점을 정의하고 정의된 특징점 정보(이하, 원 실제 객체의 특징점 정보라 칭함)를 저장부에 미리 저장해 둔다. 또한, 인식하고자 하는 하나 이상의 마커 또는 실제 객체와 매칭되는 가상 객체를 저장부에 미리 저장해 둔다.

이후, 현실 환경에 존재하는 실제 객체를 영상 인식 수단을 통해 촬영하여 현실 환경에 대한 실제 영상을 인식한다(S100).

이후, 영상 인식 수단을 통해 인식한 실제 영상으로부터 마커 또는 실제 객체의 특징점을 추출한다(S110).

특징점 추출은 마커 또는 실제 객체의 색상 정보, 에지 정보 등을 이용할 수 있다.

이후, 추출한 마커의 특징점 또는 실제 객체의 특징점에 대한 크기 및 위치를 트래킹하여 마커의 크기 변화가 있는지를 판단한다(S120, S130).

상기 트래킹 단계에서, 마커의 특징점을 기준으로 트래킹을 수행하면 이전 특징점 추출 단계에서 실제 객체의 특징점까지 추출할 필요성은 없다.

상기 트래킹 단계에서, 마커의 크기 변화가 있으면 크기 비율 산출부를 통해 마커의 크기 변화 비율을 산출하고(S140), 마커의 크기 변화가 없으면 바로 마커와 매칭되는 가상 객체를 검출하여 매핑한다(S152).

이때, 마커의 크기 변화 비율을 산출하는 방법으로는 두 가지 방식이 있다. 그 중 하나로, 영상 인식 수단의 초점거리에 따른 실제 객체와의 거리를 인식하여 이들간 거리 변화에 따라 크기 변화 비율을 산출하는 방식이 있다. 다른 하나로, 영상 인식 수단과 실제 객체와의 거리 변화에 따라 인식된 실제 객체의 특징점 또는 마커의 특징점과 사전에 저장부에 저장해 놓은 원 실제 객체의 특징점 또는 원 마커의 특징점을 기반으로 크기 변화 비율을 산출하는 방식이 있다.

따라서, 상기의 크기 변환 비율을 산출하는 단계에서는 상기의 두 방식 중 어느 하나를 선택적으로 이용하여 산출한다.

이후, 마커의 크기 변화 비율이 산출되면, 마커(마커의 특징점)와 매핑되는 가상 객체를 저장부로부터 검출하여 해당 가상 객체의 크기를 산출된 크기 변화 비율에 따라 변경한 후, 가상 객체를 매핑한다(S150, S152).

이와 동시에, 해당 가상 객체에 대하여 마커의 크기에 따라 적용할 인터렉션이 정의되어 있는지를 확인한다(S160).

인터렉션이 정의되어 있으면 저장부로부터 해당 인터렉션 정보를 검출하여 가상 객체에 마커 크기에 따라 매핑하고(S164), 인터렉션이 정의되어 있지 않으면 해당 상호작용이 없음을 확인하고 인터렉션 동작을 수행하지 않는다(S162).

이후, 산출된 크기 변화 비율에 따라 크기가 변경된 가상 객체와, 가상 객체에 정의된 인터렉션 정보를 함께 매핑하여 실제 영상과 합성한다(S170).

그리고, 합성된 영상을 표시부를 통해 하나의 영상으로 제공한다.

본 발명의 실시예에서는 마커 또는 실제 객체의 크기 변화 비율에 따라 해당 인터렉션 정보를 검출하여 검출된 인터렉션 정보에 기초하여 가상 객체를 렌더링하는 것에 대하여 설명하였으나, 이에 한정되는 것은 아니다.

즉, 본 발명의 실시예에서는 마커 또는 실제 객체의 크기 변화를 판단함에 있어서 크기 변화 비율 즉 상대적 크기 변화를 고려하였으나, 다른 실시예로서 마커 또는 실제 객체의 절대적 크기 변화에 따라 가상 객체를 렌더링할 수도 있다. 예를 들어, 마커 또는 실제 객체의 어느 부분을 기준으로 하여 실제 크기가 5-10 사이에 있으면 기준 가상 객체를 표시하고, 실제 크기가 5 미만이면 가상 객체의 외형을 간소화여 표시하고, 10 이상이면 가상 객체의 외형을 정밀화하여 표시할 수 있다.

한편, 본 발명은 상기한 마커 크기 기반 인터렉션 방법을 소프트웨어적인 프로그램으로 구현하여 컴퓨터로 읽을 수 있는 소정 기록매체에 기록해 둠으로써 다양한 재생장치에 적용할 수 있다.

다양한 재생장치는 PC, 노트북, 휴대용 단말 등일 수 있다.

기록매체는 각 재생장치의 내장형 하드디스크이거나, 외장형으로 CD-R, CD-RW와 같은 광디스크, 콤팩트 플래시 카드, 스마트 미디어, 메모리 스틱, 멀티미디어 카드일 수 있다.

이상의 설명은 본 발명을 예시적으로 설명한 것에 불과하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술적 사상에서 벗어나지 않는 범위에서 다양한 변형이 가능할 것이다. 따라서 본 발명의 명세서에 개시된 실시 예들은 본 발명을 한정하는 것이 아니다. 본 발명의 범위는 아래의 특허청구범위에 의해 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술도 본 발명의 범위에 포함되는 것으로 해석해야 할 것이다.

종래 마커 기반 증강 현실(AR)에서는 마커의 크기가 변함에 따라 해당 마커와 매핑되는 가상 객체의 크기만 변동되고 마커의 크기가 가상 객체의 또 다른 인터렉션을 수행하기 위한 입력으로는 작용하지 않았으나, 본 발명은 해당 마커 또는 마커를 포함한 실제 객체의 특징점을 추출하고 트래킹하여 마커의 크기 변화 비율을 산출한 다음, 산출된 마커의 크기 비율에 따라 해당 마커와 매핑되는 가상 객체에 미리 정의된 인터렉션을 적용하여 합성함으로써 사용자에게 보다 실감있는 이미지를 제공하고, 시스템 측면에서는 마커 크기에 따라 데이터 처리를 적응적으로 수행할 수 있다.

100: 증강 현실 장치 110: 영상 인식 수단
120: 특징점 추출부 130: 특징점 트래킹부
140: 크기 비율 산출부 150: 가상 객체 검출부
160: 렌더링부 170: 인터렉션부
180: 표시부 190: 저장부
192: 실제 객체 정보DB 194: 마커 정보DB
196: 가상 객체 정보DB 198: 인터렉션 정보DB
10: 실제 객체 20: 마커
30, 40: 계산기 50, 60: 사과

Claims

마커 또는 실제 객체가 포함된 현실 환경을 촬영하는 영상인식수단과,
상기 영상인식수단을 통해 촬영된 실제 영상에서 마커 또는 실제 객체를 검출하고 검출된 마커 또는 실제 객체의 크기 변화를 산출하여 상기 산출된 마커 또는 실제 객체의 크기 변화에 대응하는 인터렉션 정보를 검출하고 인터렉션 정보에 근거하여 가상 객체를 렌더링하는 증강현실 처리부와,
상기 실제 영상에 상기 렌더링된 가상 객체가 합성된 합성 영상을 디스플레이하는 표시부를 포함하는 것을 특징으로 하는 마커 크기 기반 증강현실 시스템.
제1항에 있어서,
상기 증강현실 처리부는 상기 검출된 마커에 대한 특징점을 추출하고 상기 추출된 특징점을 기반으로 마커 또는 실제 객체의 크기 변화 비율 또는 마커의 절대적 크기 변화를 산출하는 것을 특징으로 하는 마커 크기 기반 증강현실 시스템.
제1항에 있어서,
상기 증강현실 처리부는 상기 영상인식수단의 초점거리에 따라 상기 영상인식수단과 실제 객체 간의 거리를 인식하고 인식된 거리를 기반으로 마커 또는 실제 객체의 크기 변화 비율 또는 마커의 절대적 크기 변화를 산출하는 것을 특징으로 하는 마커 크기 기반 증강현실 시스템.
제1항에 있어서,
상기 인터렉션 정보는,
상기 가상 객체 또는 인터렉션을 실행할 대상의 구성 요소를 구체화/간소화하기 위한 정보, 상기 가상 객체의 질감이나 음영, 색상을 이용하여 정밀하게 표시하거나 또는 상기 가상 객체의 외형 위주로 간단하게 표시하기 위한 정보, 상기 가상 객체의 주변 환경을 추가/삭제하는 정보, 상기 가상 객체의 동작 또는 제스쳐를 수행하기 위한 여부를 제어하는 정보 중 어느 하나 또는 하나 이상을 포함하는 것을 특징으로 하는 마커 크기 기반 증강현실 시스템.
제1항 또는 제4항에 있어서,
상기 증강현실 처리부는,
상기 크기 또는 실제 객체의 크기 변화가 일정값 이상 또는 미만일 경우에 따라 구분하여 상기 인터렉션 정보를 선택적으로 검출하는 것을 특징으로 하는 마커 크기 기반 증강현실 시스템.
실제 객체를 포함한 현실 환경을 기반으로 증강 현실을 구현하는 장치에 있어서,
영상인식수단을 통해 상기 현실 환경을 촬영하여 인식한 실제 영상으로부터 상기 실제 객체의 특징점 또는 마커의 특징점을 인식하는 특징점 인식부;
상기 실제 객체의 특징점 또는 마커의 특징점에 대한 크기가 변하면 변화된 크기 변화 비율을 산출하는 크기 비율 산출부;
상기 마커의 특징점 또는 실제 객체의 특징점과 매핑되는 가상 객체에 대하여 마커 또는 실제 객체의 크기 변화에 따라 적용할 인터렉션이 정의되어 있는지를 확인하여, 상기 크기 비율 산출부를 통해 산출된 크기 변화 비율에 따라 해당 인터렉션 정보를 검출하고 지령하는 인터렉션부; 및
상기 가상 객체에 대하여 상기 크기 비율 산출부를 통해 산출된 크기 비율에 따라 그 크기를 렌더링하는 동시에, 상기 인터렉션부에서 지령한 인터렉션 정보에 기초하여 상기 가상 객체를 렌더링하는 렌더링부
를 포함하는 것을 특징으로 하는 증강 현실 처리 장치.
제6항에 있어서,
상기 크기 비율 산출부는,
상기 현실 환경을 촬영하는 영상 인식 수단의 초점 거리에 따라 상기 영상 인식 수단과 실제 객체와의 거리를 인식하여 상기 거리 변화에 따라 크기 변화 비율을 산출하는 것을 특징으로 하는 증강 현실 처리 장치.
제6항에 있어서,
상기 크기 비율 산출부는,
상기 특징점 인식부를 통해 인식한 실제 객체의 특징점 또는 마커의 특징점과 사전에 저장해 놓은 원 실제 객체의 특징점 정보 또는 원 마커의 특징점 정보를 기반으로 크기 변화 비율을 산출하는 것을 특징으로 하는 증강 현실 처리 장치.
제6항에 있어서,
상기 인터렉션 정보는,
상기 가상 객체 또는 인터렉션을 실행할 대상의 구성 요소를 구체화/간소화하기 위한 정보, 상기 가상 객체의 질감이나 음영, 색상을 이용하여 정밀하게 표시하거나 또는 상기 가상 객체의 외형 위주로 간단하게 표시하기 위한 정보, 상기 가상 객체의 주변 환경을 추가/삭제하는 정보, 상기 가상 객체의 동작 또는 제스쳐를 수행하기 위한 여부를 제어하는 정보 중 어느 하나 또는 하나 이상을 포함하는 것을 특징으로 하는 증강 현실 처리 장치.
제6항 또는 제9항에 있어서,
상기 인터렉션부는,
상기 크기 비율 산출부를 통해 산출된 크기 비율이 일정값을 기준으로 이상 또는 미만일 경우에 따라 구분하여 인터렉션 정보를 검출하는 것을 특징으로 하는 증강 현실 처리 장치.
제9항에 있어서,
상기 인터렉션부는,
상기 크기 비율 산출부를 통해 산출된 크기 비율이 일정값 이상이면 상기 가상 객체 또는 인터렉션을 실행할 대상의 구성 요소를 구체화하기 위한 정보를 검출하고, 상기 크기 비율 산출부를 통해 산출된 크기 비율이 일정값 미만이면 상기 가상 객체 또는 인터렉션을 실행할 대상의 구성 요소를 간소화하기 위한 정보를 검출하는 것을 특징으로 하는 증강 현실 처리 장치.
제9항에 있어서,
상기 인터렉션부는,
상기 크기 비율 산출부를 통해 산출된 크기 비율이 일정값 이상이면 상기 가상 객체의 주변 환경을 추가하는 정보를 검출하고, 상기 크기 비율 산출부를 통해 산출된 크기 비율이 일정값 미만이면 상기 가상 객체의 주변 환경을 삭제하는 정보를 검출하는 것을 특징으로 하는 증강 현실 처리 장치.
제9항에 있어서,
상기 인터렉션부는,
상기 크기 비율 산출부를 통해 산출된 크기 비율이 일정값 이상이면 상기 가상 객체 또는 인터렉션을 실행할 대상의 구성 요소를 구체화하기 위한 정보를 검출하고, 상기 크기 비율 산출부를 통해 산출된 크기 비율이 일정값 미만이면 상기 가상 객체 또는 인터렉션을 실행할 대상의 구성 요소를 간소화하기 위한 정보를 검출하는 것을 특징으로 하는 증강 현실 처리 장치.
제9항에 있어서,
상기 크기 비율 산출부를 통해 산출된 크기 비율이 일정값 이상이면 상기 가상 객체의 동작 또는 제스쳐를 수행하기 위한 정보를 검출하고, 상기 크기 비율 산출부를 통해 산출된 크기 비율이 일정값 미만이면 상기 가상 객체의 동작 또는 제스쳐를 수행하지 않도록 제어하는 정보를 검출하는 것을 특징으로 하는 증강 현실 처리 장치.
제6항에 있어서,
상기 실제 객체의 특징점 정보와, 상기 실제 객체에 포함된 마커의 특징점 정보, 상기 마커 또는 실제 객체와 매핑되는 가상 객체에 관한 정보, 및 상기 가상 객체에 대하여 마커 또는 실제 객체의 크기 변화 비율에 따라 적용할 인터렉션에 관한 정보가 저장된 저장부
를 더 포함하는 것을 특징으로 하는 증강 현실 장치.
실제 객체를 포함한 현실 환경을 기반으로 증강 현실을 구현하는 방법에 있어서,
상기 현실 환경을 촬영한 실제 영상으로부터 상기 실제 객체의 특징점 또는 마커의 특징점을 추출하여 인식하는 단계;
상기 인식하는 단계에서, 상기 실제 객체의 특징점 또는 마커의 특징점에 대한 크기가 변하면 변한 크기 변화 비율을 산출하는 단계;
상기 크기 변화 비율이 산출되면 상기 마커 또는 실제 객체와 매핑되는 가상 객체를 저장부로부터 검출하여 상기 가상 객체의 크기를 산출된 크기 변화 비율에 따라 변경하는 단계;
상기 변경하는 단계와 동시에, 상기 가상 객체에 대하여 마커 또는 실제 객체의 크기 변화 비율에 따라 적용할 인터렉션이 정의되어 있는지를 확인하여, 상기 인터렉션이 정의되어 있으면 상기 산출된 크기 변화 비율에 따라 해당 인터렉션 정보를 검출하여 지령하는 단계; 및
상기 산출된 크기 변화 비율에 따라 크기가 변경된 가상 객체와, 상기 가상 객체에 지령한 인터렉션 정보를 함께 매핑하여 실제 영상과 합성한 후 하나의 영상으로 표시하는 단계
를 포함하는 것을 특징으로 하는 마커 크기 기반 인터렉션 방법.
제16항에 있어서,
상기 크기 변화 비율을 산출하는 단계는,
상기 현실 환경을 촬영하는 영상 인식 수단의 초점 거리에 따라 상기 영상 인식 수단과 실제 객체와의 거리를 인식하여 상기 거리 변화에 따라 크기 변환 비율을 산출하는 방식을 이용한 것을 특징으로 하는 마커 크기 기반 인터렉션 방법.
제16항에 있어서,
상기 크기 변화 비율을 산출하는 단계는,
상기 추출된 특징점과 사전에 저장해 놓은 원 실제 객체의 특징점 정보 또는 원 마커의 특징점 정보를 기반으로 크기 변화 비율을 산출하는 방식을 이용한 것을 특징으로 하는 마커 크기 기반 인터렉션 방법.
제16항에 있어서,
상기 인터렉션 정보는,
상기 가상 객체 또는 인터렉션을 실행할 대상의 구성 요소를 구체화/간소화하기 위한 정보, 상기 가상 객체의 질감이나 음영, 색상을 이용하여 정밀하게 표시하거나 또는 상기 가상 객체의 외형 위주로 간단하게 표시하기 위한 정보, 상기 가상 객체의 주변 환경을 추가/삭제하는 정보, 상기 가상 객체의 동작 또는 제스쳐를 수행하기 위한 여부를 제어하는 정보 중 어느 하나 또는 하나 이상을 포함하는 것을 특징으로 하는 마커 크기 기반 인터렉션 방법.
제19항에 있어서,
상기 산출된 크기 변화 비율에 따라 해당 인터렉션 정보를 검출하여 지령하는 단계에서는,
상기 인터렉션 정보를 상기 산출된 크기 비율이 일정값을 기준으로 이상 또는 미만일 경우에 따라 구분하여 검출하는 것을 특징으로 하는 마커 크기 기반 인터렉션 방법.
제16항 내지 제20항 중 어느 한 항의 방법에 의해 실행되는 프로그램을 기록하는 컴퓨터로 읽을 수 있는 기록매체.