KR101227237B1 - 복수의 마커를 이용하여 가상 객체간 인터렉션을 구현하는 증강현실 시스템 및 방법 - Google Patents

복수의 마커를 이용하여 가상 객체간 인터렉션을 구현하는 증강현실 시스템 및 방법 Download PDF

Info

Publication number
KR101227237B1
KR101227237B1 KR1020100023703A KR20100023703A KR101227237B1 KR 101227237 B1 KR101227237 B1 KR 101227237B1 KR 1020100023703 A KR1020100023703 A KR 1020100023703A KR 20100023703 A KR20100023703 A KR 20100023703A KR 101227237 B1 KR101227237 B1 KR 101227237B1
Authority
KR
South Korea
Prior art keywords
markers
marker
augmented reality
virtual object
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020100023703A
Other languages
English (en)
Other versions
KR20110104676A (ko
Inventor
정진
소경숙
Original Assignee
에스케이플래닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이플래닛 주식회사 filed Critical 에스케이플래닛 주식회사
Priority to KR1020100023703A priority Critical patent/KR101227237B1/ko
Publication of KR20110104676A publication Critical patent/KR20110104676A/ko
Application granted granted Critical
Publication of KR101227237B1 publication Critical patent/KR101227237B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 카메라를 통해 보여지는 실제 영상으로부터 복수의 마커에 대한 기울기, 방향, 거리 상태를 추적하여, 복수의 마커간 상태에 따라 미리 정의된 인터렉션 동작을 해당 가상 객체에 표현함으로써 가상 객체가 자신과 매핑되는 마커 외 다른 마커에 의해 새로운 동작을 수행하여 다중 마커를 이용한 인터렉션이 가능하고, 이로써 증강현실을 보다 풍부하게 제공할 수 있다.

Description

복수의 마커를 이용하여 가상 객체간 인터렉션을 구현하는 증강현실 시스템 및 방법{AUGMENTED REALITY SYSTEM AND METHOD FOR REALIZING INTERACTION BETWEEN VIRTUAL OBJECT USING THE PLURAL MARKER}
본 발명은 증강 현실에서 마커의 위치 인식 및 트래킹 기술에 관한 것으로서, 더욱 상세하게는 복수의 마커간 기울기, 방향, 거리, 종류(ID)에 따라 가상 객체들의 상호 동작을 미리 정의하고, 인식된 마커로부터 기울기, 방향, 거리가 변경되면 마커의 종류(ID)에 따라 미리 정의된 가상 객체의 동작을 표현하는 증강현실 시스템 및 방법에 관한 것이다.
가상 현실(Virtual Reality: VR)은 컴퓨터 시스템에서 생성한 3D 가상 공간과 주로 상호 작용이 주가되는 분야로서, 가상 공간은 현실 세계를 바탕으로 구성된다. 사용자는 이러한 가상 공간을 인체의 오감(시각, 청각, 후각, 미각, 촉각)을 통해 느낌으로써 몰입감(沒入感)을 갖게 된다.
증강 현실(Augmented Reality: AR)은 가상 현실(VR)의 하나의 분야에서 파생된 기술로서, 현실 세계와 가상의 체험을 결합한 것을 의미한다. 즉, 실제 환경에 가상 사물을 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법이다.
가상 현실은 모든 환경을 컴퓨터를 통해 가상환경으로 제작하여 사용자와 상호 작용하지만, 증강 현실은 현실 세계를 바탕으로 사용자가 가상의 물체와 상호 작용함으로써 향상된 현실감을 줄 수 있다는 특징을 가진다. 따라서, 증강 현실에서는 사용자가 자신이 위치해 있는 실제 환경을 인식함과 동시에, 실제 영상 위에 표현된 가상의 정보도 인식하게 된다.
이와 같이, 증강 현실은 현실 영상과 가상의 그래픽을 접목하여 보여주기 때문에 보다 실감있고 정확한 영상을 얻기 위해서는 가상 객체들을 화면에서 원하는 자리에 정확히 위치시켜야 한다. 이를 구현하기 위해서는 가상 객체에 대한 3차원 좌표가 필요하며, 이 좌표는 카메라를 기준으로 하는 좌표값이 되어야 한다.
그런데, 문제는 카메라의 영상에서 현실 세계의 어떤 지점이나 물체에 대한 카메라의 3차원 좌표를 확보해야 하는데, 이를 위해서는 2대 이상의 카메라가 필요하므로 3차원 위치를 파악하기가 쉽지 않다.
따라서, 이에 대한 대책으로 증강 현실에서는 가상 객체를 위치시킬 마커(marker)를 현실 세계의 공간에 배치하고 상기 마커를 기준으로 상대적 좌표를 추출하여 가상 객체를 위치시킬 위치 및 자세를 추정하는 마커 기반 인식 기술을 이용하고 있다.
예를 들어, 고양이를 뜻하는 마커를 사용자가 임의로 만들고, 실제 고양이의 모습을 3차원 그래픽 이미지로 형상화한 3차원 가상 영상을 고양이 마커와 매칭시킨다. 이 마커를 컴퓨터에 연결된 카메라 등의 영상 인식 수단으로 인식하면, 컴퓨터 모니터에 고양이의 3차원 가상 영상이 나타나는 것이다.
그런데, 종래 증강현실에서는 주로 복수의 마커를 인식하더라도 마커 각각을 인식하고 인식된 마커에 해당하는 가상 객체를 각 마커의 위치에 독립적으로 합성하여 표현하는 기술이 대부분이다.
추가로, 복수의 마커를 인식하여 가상 객체간 인터렉션을 수행하는 기술이 있으나, 가상 객체의 동작을 제어하기 위한 수단으로 사용되는 일은 단순히 마커를 옆에 가져가면 마커를 인식하여 반응하는 정도의 수준이었다.
예를 들어, 카메라를 통해 인식된 제1 마커 외에 제2 마커를 인식하게 되면 기존에는 단순히 마커간 종류(서로간의 인터렉션이 정의되어 있는지 확인)와 거리 인식을 통해 일정 거리 이하로 가까워지면 각 마커 위에 합성된 가상 객체가 서로 포옹하는 등의 액션을 취했었다.
이처럼, 종래 증강현실에서는 복수의 마커에 대한 인식이 가능했으나 단순히 여러 개의 마커를 독립적으로 인식하는 것에 불과하고, 복수의 마커가 가상 객체의 동작을 제어하는 상호 작용 수단으로는 사용되지 않기 때문에 가상 객체를 보다 풍부하게 표현하는 데 한계가 있다.
본 발명은 상기의 문제점을 해결하기 위해 창안된 것으로서, 본 발명에서는 복수의 마커 상호간의 상태를 인식하여 해당 마커와 대응되는 가상 객체의 움직임을 제어하거나, 가상 객체 자체가 다른 가상 객체의 움직임을 제어하는 수단으로 활용함으로써 보다 증강 현실을 풍부하게 표현할 수 있는 증강현실 시스템 및 방법을 제공한다.
이를 위하여, 본 발명의 제1 측면에 따르면, 복수의 마커를 포함한 현실 세계에 기반하여 증강현실을 구현하는 시스템에 있어서, 상기 현실 세계를 촬영하여 실제 영상을 인식하는 영상 인식 장치; 상기 영상 인식 장치로부터 인식한 실제 영상에서 복수의 마커를 검출하고 검출된 복수의 마커 상호간의 상태를 인식한 다음, 상기 복수의 마커 상호간의 상태에 따라 미리 정의된 가상 객체의 동작 정보를 각 마커와 대응되는 가상 객체에 반영하여 상기 실제 영상에 합성하는 증강현실 처리 장치; 및 상기 증강현실 처리 장치에서 합성된 증강현실 영상을 표시하는 표시 장치를 포함하는 것을 특징으로 한다.
본 발명의 제2 측면에 따르면 복수의 마커를 포함한 현실 세계에 기반하여 증강현실을 구현하는 장치에 있어서, 상기 복수의 마커 상호간의 상태에 따라 정의된 가상 객체의 동작 정보를 저장한 저장부; 상기 현실 세계를 촬영하여 인식한 실제 영상으로부터 상기 복수의 마커를 검출하고 검출된 복수의 마커 상호간의 상태를 트래킹하는 트랙킹부; 상기 트랙킹부를 통해 인식된 복수의 마커 상호간의 상태에 따라 미리 정의된 가상 객체의 동작을 상기 저장부로부터 검출하여 적용하도록 제어하는 제어부; 및 상기 제어부에서 검출한 가상 객체의 동작 정보를 기반으로 각 마커와 대응되는 가상 객체를 렌더링하고 렌더링된 가상 객체를 상기 실제 영상에 합성시키는 렌더링부를 포함하는 것을 특징으로 한다.
본 발명의 제3 측면에 따르면, 복수의 마커를 포함한 현실 세계에 기반하여 증강현실을 구현하는 방법에 있어서, 상기 복수의 마커 상호간의 상태에 따라 정의된 가상 객체의 동작 정보를 저장부에 미리 저장하는 단계; 상기 현실 세계를 촬영하여 인식한 실제 영상으로부터 상기 복수의 마커를 검출하고 검출된 복수의 마커 상호간의 상태를 트래킹하는 단계; 상기 복수의 마커 상호간의 상태에 따라 미리 정의된 가상 객체의 동작 정보를 상기 저장부로부터 검출하고, 검출된 가상 객체의 동작 정보를 기반으로 각 마커에 대응되는 가상 객체를 렌더링하여 상기 실제 영상에 합성하는 단계; 및 합성된 증강현실 영상을 표시부를 통해 표시하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 제4 측면에 따르면, 복수의 마커를 포함한 현실 세계에 기반하여 증강현실을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체에 있어서, 상기 복수의 마커 상호간의 상태에 따라 정의된 가상 객체의 동작 정보를 미리 저장하는 과정; 상기 현실 세계를 촬영하여 인식한 실제 영상으로부터 상기 복수의 마커를 검출하고 검출된 복수의 마커 상호간의 상태를 트래킹하는 과정; 상기 복수의 마커 상호간의 상태에 따라 미리 저장된 가상 객체의 동작 정보를 검출하고, 검출된 가상 객체의 동작 정보를 기반으로 각 마커에 대응되는 가상 객체를 렌더링하여 상기 실제 영상에 합성하는 과정; 및 합성된 증강현실 영상을 표시부를 통해 표시하는 과정을 실행시킬 수 있는 것을 특징으로 한다.
본 발명에 따르면, 복수의 마커 상호간의 거리, 방향, 기울기에 따른 상태를 인식하여 가상 객체의 동작을 해당 마커간 종류에 따라 다르게 제어할 수 있다.
즉, 마커가 다른 마커에 매핑되는 가상 객체의 동작을 제어할 인터렉션 수단으로 사용되어, 가상 객체가 이와 매핑되는 마커 외 다른 마커에 의해 새로운 동작을 수행하게 됨으로써 증강현실을 보다 풍부하게 제공할 수 있는 효과가 있다.
도 1은 본 발명의 실시 예에 따른 복수의 마커를 이용하여 가상 객체간 인터렉션을 구현하는 증강현실 시스템의 구성도이다.
도 2는 본 발명의 실시 예에서 마커의 종류와 각 마커와 대응되는 가상 객체 정보를 매핑시킨 도면이다.
도 3은 본 발명의 실시 예에서 복수의 마커 상태에 따라 정의된 가상 객체의 동작 정보를 설명하기 위한 도면이다.
도 4a는 본 발명의 실시 예에서 복수의 마커간 기울기에 따라 가상 객체의 인터렉션을 구현하는 예를 보인 도면이다.
도 4b는 본 발명의 실시 예에서 복수의 마커간 거리에 따라 가상 객체의 인터렉션을 구현하는 예를 보인 도면이다.
도 4c는 본 발명의 실시 예에서 복수의 마커간 방향에 따라 가상 객체의 인터렉션을 구현하는 예를 보인 도면이다.
도 4d는 본 발명의 실시 예에서 복수의 마커의 종류에 따라 가상 객체의 인터렉션을 구현하는 예를 보인 도면이다.
도 5는 본 발명의 실시 예에 따른 복수의 마커를 이용하여 가상 객체간 인터렉션을 구현하는 증강현실 방법을 설명하기 위한 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세하게 설명한다. 본 발명의 구성 및 그에 따른 작용 효과는 이하의 상세한 설명을 통해 명확하게 이해될 것이다. 본 발명의 상세한 설명에 앞서, 동일한 구성요소에 대해서는 다른 도면 상에 표시되더라도 가능한 동일한 부호로 표시하며, 공지된 구성에 대해서는 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 구체적인 설명은 생략하기로 함에 유의한다.
본 발명에 대한 구체적인 설명을 하기에 앞서, 증강 현실을 구현하기 위한 기본적인 기술에 대하여 설명한다.
증강 현실은 카메라를 통해 촬영된 실제 피사체나 특정 부위에 대하여 미리 정해 놓은 정보 또는 가상 객체를 화면 상에 합성하여, 부가적인 정보를 제공하거나 또는 실제 동작하는 것처럼 화면 상에 표시하여 현실을 보다 풍부하게 묘화하는 비전(vision) 기술이다.
증강 현실을 구현하기 위한 기본적인 기술은, 대상 위치 인식(Recognition) 기술, 인식된 지점의 트래킹(tracking) 기술, 합성 기술을 포함한다. 먼저, 실제 환경에 대한 영상에서 대상 위치의 인식 및 트래킹에 의해 합성할 위치를 선정하고, 해당 위치에서의 기울기, 방향 등을 추정하며, 추정된 기울기, 방향 등에 따라 가상 객체를 렌더링하여 정확한 위치에 합성시킴으로써 구현될 수 있다.
본 발명은 위의 세 가지 기술 중 인식 및 트래킹 기술 범주에 적용될 기술로, 카메라를 통해 보이는 현실 환경에서 복수의 실제 객체 또는 실제 객체에 포함된 복수의 마커를 인식하고 트래킹하여, 마커의 상태에 따라 미리 정의된 인터렉션 동작을 해당 마커와 대응되는 가상 객체에 적용하여 표현하는 기술로 볼 수 있다.
이를 구현하기 위한 구체적인 구성을 설명한다.
도 1은 본 발명의 실시 예에 따른 복수의 마커를 이용하여 가상 객체간 인터렉션을 구현하는 증강현실 시스템의 구성도이다.
본 발명의 실시 예에 따른 증강현실 시스템은, 현실 환경을 영상으로 인식하기 위한 영상 인식 장치(100), 영상 인식 장치(100)를 통해 인식한 영상으로부터 마커를 인식 및 트래킹하여 마커의 상태에 따라 미리 정의된 인터렉션 동작을 해당 마커와 대응되는 가상 객체에 적용하여 증강현실 영상을 생성하는 증강현실 처리 장치(200), 증강현실 처리 장치(200)에서 생성된 증강현실 영상을 표시하는 표시 장치(300)를 포함하여 구현될 수 있다.
본 실시예에서, 마커는 기하학 문양이나 일정한 패턴으로 정의되어 특정 가상 객체를 식별할 수 있는 고유 식별 마커를 포함함은 물론, 실제 객체의 특징점을 이용한 자연 특징점(Nature Feature Point)까지 포함한다.
영상 인식 장치(100)는 실제 객체 또는 마커를 포함하는 현실 환경을 촬영하여 이로부터 현실 환경에 대한 영상(이하, 실제 영상)을 인식한다. 그리고, 인식한 실제 영상을 증강현실 처리 장치(200)로 전달한다. 이 영상 인식 장치(100)는 컴퓨터 등의 외부 콘트롤 장치와 연결되는 카메라 또는 웹캠(webcam)이거나, 개인휴대단말기에 내장된 카메라일 수 있다.
증강현실 처리 장치(200)는 세부적으로 마커 검출부(210), 마커 종류 인식부(220), 트래킹부(230), 제어부(240), 렌더링부(250), 저장부(260)를 포함한다.
마커 검출부(210)는 영상 인식 장치(100)를 통해 인식한 실제 영상으로부터 복수의 마커를 추출하여 저장부(260)에 저장된 특징점 정보와 일치하는지의 여부에 따라 마커를 검출한다. 마커가 자연 특징점의 경우, 마커 검출부(210)는 실제 객체의 색상 정보, 선분 정보, 에지(edge) 정보 등을 이용하여 검출할 수 있다.
마커 종류 인식부(220)는 마커 검출부(210)를 통해 검출된 마커 정보로부터 저장부(260)에 저장된 마커 정보와 매칭되는 마커의 종류(ID)를 추출하여 인식한다.
트래킹부(230)는 마커 검출부(210)를 통해 검출된 각 마커의 기울기, 방향, 거리, 및 마커 상호간의 기울기, 방향, 거리를 추적한다.
이때, 트래킹부(230)는 마커의 모양에 따라 기울기 정도를 인식할 수 있는데, 각 마커의 모양은 사전에 여러 기울기에 따라 미리 정의하여 저장부(260)에 저장해 둔다.
제어부(240)는 마커 종류 인식부(220)와 트래킹부(230)를 통해 인식된 각 마커의 종류(ID), 기울기, 방향, 거리 정보를 이용하여 복수의 마커 상호간의 상태를 확인하고, 확인된 마커간 상태에 따라 미리 정의된 가상 객체의 인터렉션 동작을 저장부(260)를 통해 검출한다.
복수의 마커 상호간의 상태란 둘 이상의 마커를 트래킹하여 마커와 마커간 거리 상태, 기울기 상태, 방향 상태 중 어느 하나 또는 하나 이상을 포함한 상태를 의미한다. 예를 들어, 증강현실에 복수의 마커가 존재할 때 둘 이상의 마커간 기울기 정도나 방향 또는 거리가 모두 다르며, 이때 각 마커의 기울기나 방향, 거리에 따라 다른 마커간 기울기나 방향, 거리가 상대적으로 변경될 수 있다. 이와 같이 마커간 위치 관계를 의미한다.
본 실시예에서, 복수의 마커 상호간의 상태는 마커의 종류에 따라 구별된다. 즉, 마커와 마커간 거리 상태, 기울기 상태, 방향 상태가 동일하더라고 마커의 종류에 따라 다르게 정의된다.
렌더링부(250)는 제어부(240)에서 가상 객체의 인터렉션 동작에 관한 정보가 검출되면 검출된 정보를 기반으로 각 마커와 대응되는 가상 객체를 렌더링하고, 렌더링된 가상 객체를 영상 인식 장치(100)를 통해 인식한 실제 영상과 합성하여 증강현실 영상을 생성한 다음 이를 표시 장치(300)로 출력한다.
저장부(260)는 인식하고자 하는 복수의 마커에 대한 정보를 저장한 마커 DB(262)와, 마커 DB(262)에 저장된 마커와 매핑되는 가상 객체에 관한 정보를 저장한 가상 객체 DB(264), 및 복수의 마커간 상태에 따라 정의된 가상 객체의 인터렉션 동작 정보를 저장한 인터렉션 DB(266)를 포함할 수 있다.
마커 DB(262)는 인식하고자 하는 복수의 마커에 대한 특징점 정보와, 각 마커에 부여된 종류(ID) 정보를 저장한다.
특징점 정보는 마커가 고유 식별 마커인 경우 해당 마커에 정의된 기하학 문양이나 일정한 패턴에 대한 모양 정보이며, 자연 특징점인 경우는 실제 객체의 색상 정보, 선분 정보(윤곽선 포함), 에지(edge) 정보 등을 이용하여 추출 가능한 특징점에 대한 정보일 수 있다.
이러한 마커 DB(262)에는 특징점 정보가 마커 또는 실제 객체가 기울어진 정도에 따라 구별되어 있다. 즉, 각 기울기에서의 특징점 모양을 미리 저장함으로써, 트래킹부(230)를 통해 마커 또는 실제 객체의 특징점을 인식할 때, 영상 인식 장치(100) 상에 보이는 마커나 실제 객체가 기울어져 있어도 인식이 가능하도록 하고 이를 통해 기울기에 대한 정보도 얻을 수 있다.
가상 객체 DB(264)는 마커 DB(262)에 저장된 마커와 대응되는 가상 객체 정보를 마커의 종류에 따라 매핑하여 관리한다.
예를 들면, 도 2에 도시한 것처럼, 복수의 마커에 대하여 종류(ID) 정보를 마커 1, 마커 2, 마커 3, 마커 4, 마커 5로 정의하고, 해당 종류(ID) 정보에 가상 객체로서 컵, 주전자, 토끼, 당근, 호랑이를 매핑하여 관리할 수 있다. 따라서, 마커 종류 인식부(도 1의 220)를 통해 인식한 마커의 종류(ID) 정보가 마커 1이면 해당 마커에 대응하는 컵을 가상 객체로 검출하여 합성하는 데 신속한 처리가 가능하다.
인터렉션 DB(266)는 마커 DB(262)에 저장된 복수의 마커에 대하여 복수의 마커 상호간 상태 및 종류에 따라 가상 객체의 인터렉션 동작 정보가 정의되어 있다.
도 3을 참조하면, 일 예로, 도 2에서 정의된 마커 1 및 마커 2를 트래킹하여 마커 1과 마커 2 간에 기울기 A만큼 기울어진 상태이면, 이때 마커 2의 종류가 주전자이고 마커 1의 종류는 컵일 때, 마커 2의 주전자에서 마커 1의 컵으로 물을 따르는 액션을 수행하는 인터렉션 동작 정보가 정의될 수 있다.
다른 예로, 마커 1과 마커 1를 거리 B만큼 가까이한 상태이면, 마커 1에 대응되는 컵끼리 부딪히면서 건배 구호가 나오는 인터렉션 동작이 정의될 수 있다.
또 다른 예로, 마커 3과 마커 4를 거리 B만큼 가까이한 상태이면, 이때 마커 3의 종류가 토끼이고 마커 4의 종류가 당근일 때, 두 마커가 가까워지면 토끼가 당근을 먹으려는 인터렉션 동작이 정의될 수 있다.
또 다른 예로, 마커 3과 마커 5를 거리 B만큼 가까이한 상태이면, 마커 3에 대응되는 토끼가 마커 5에 대응되는 호랑이로부터 도망치는 액션을 수행하도록 인터렉션 DB(266)에 해당 인터렉션 동작이 정의되어 있다.
따라서, 본 발명의 실시 예에 따른 증강 현실 시스템은, 증강현실 처리 장치(200)의 마커 종류 인식부(220) 및 트래킹부(230)에서 영상 인식 장치(100)를 통해 보여지는 영상으로부터 복수의 마커에 대한 기울기, 방향, 거리 상태 및 종류를 추적하고, 추적한 복수의 마커 상호간의 상태 및 종류에 따라 미리 정의된 인터렉션 동작을 저장부(260)로부터 검출하여 해당 가상 객체에 표현함으로써, 마커간 상태에 따라 가상 객체의 동작을 제어한다.
이처럼, 본 발명의 실시예에 따른 증강 현실 시스템은 소정 마커가 다른 마커에 대응되는 가상 객체의 동작을 제어하기 위한 인터렉션 수단으로 사용되어, 가상 객체가 자신과 매핑되는 마커 외 다른 마커에 의해서도 새로운 동작을 수행하게 됨으로써 증강현실을 보다 풍부하게 제공한다.
도 4a 내지 도 4d에는 다양한 실시예로, 마커간 상태에 따라 가상 객체의 인터렉션을 다양하게 구현한 예를 보여주고 있다.
본 발명의 실시 예에서는 각 마커나 실제 객체가 소정 각도 이상으로 기울어진 상태에서도 해당 마커나 실제 객체임을 인식할 수 있도록 각 기울기에서의 모양을 미리 인식하여 저장부(260)에 저장한다.
따라서, 마커나 실제 객체를 인식할 때, 영상 인식 장치(100)를 통해 보이는 마커나 실제 객체가 뒤틀려 있어도 인식이 가능하고, 이를 통해 기울기에 대한 정보도 얻을 수 있다.
이러한 기울기 정보를 이용하여 마커간 기울기나, 각각의 기울기에 따라 가상 객체의 움직임을 다르게 정의할 수 있다.
예를 들어, 도 4a에 도시한 바와 같이 마커 1의 가상 객체는 컵, 마커 2의 가상 객체는 주전자라고 하면, 마커 1를 놓아두고 마커 2를 추가로 인식시켜 마커 1과 근접된 위치에서 위에서 어느 정도 기울어주면 마커 2의 가상 객체인 주전자에서 컵으로 물을 따르는 인터렉션이 수행된다.
증강 현실에서는 마커나 실제 객체를 인식할 때, 마커나 실제 객체의 방향을 인지할 수 있으며, 이러한 방향 정보를 이용하여 둘 이상의 마커간 방향이나 각각의 방향에 따라 가상 객체의 움직임이나 종류를 다르게 할 수 있다.
도 4b를 예로 들면, 마치 퍼즐처럼 복수의 마커(마커 6, 7, 8)나 실제 객체가 서로간의 방향이나 위치가 맞지 않으면 가상 객체가 서로 붙지 않거나 표시되지 않고, 서로 맞으면 축하 메시지와 같은 새로운 가상 객체가 표시되거나 껴 앉는 등의 새로운 움직임이 수행된다.
증강 현실에서는 마커나 실제 객체를 인식할 때 각 마커의 위치를 트래킹하여 인지할 수 있다. 이를 이용하여 둘 이상의 마커 간 상대 거리를 측정하여 미리 정의해 둔 거리 이상이거나 이하, 또는 특정 거리가 되면 각 마커에서 생성된 가상 객체가 특정한 동작이 가능하도록 인터렉션 동작을 정의할 수 있다.
도 4c를 예로 들면, 마커 1의 가상 객체가 토끼와 같은 동물이고 마커 2의 가상 객체가 당근과 같은 먹이라고 했을 때, 마커 1과 마커 2의 두 마커를 일정 거리만큼 가까이하면 동물이 먹이를 먹는 동작을 취하고, 일정 거리 이상 떨어뜨려놓으면 동물이 먹이를 찾는 동작을 취하는 등의 인터렉션을 수행한다.
또 다른 예로, 마커 1의 가상객체가 컵이라 할 때 두 개의 마커 1을 일정 거리만큼 가까이하면 두 개의 컵끼리 부딪치는 소리가 들리면서 건배 구호가 나오는 액션을 수행하도록 인터렉션 동작을 정의할 수 있다.
본 발명의 실시 예에서는 인식하고자 하는 복수의 마커나 실제 객체에 대하여 각 종류(ID) 정보가 부여된다. 따라서, 복수의 마커나 실제 객체를 인식할 때 각 마커나 실제 객체의 종류(ID)를 인식하여 마커에 대응되는 가상 객체를 합성한다. 이를 이용하여, 복수의 마커 상호간의 기울기, 방향, 거리 상태가 동일하더라도 각 마커의 종류에 따라 해당 인터렉션 동작을 다르게 정의할 수 있다.
도 4d를 참조하면, 마커 3, 4, 5는 각 마커에 대한 종류(ID) 정보로서, 마커 3의 가상 객체는 토끼, 마커 4의 가상 객체는 당근, 마커 5의 가상 객체가 호랑이라 할 때, 마커 3과 마커 5를 일정 거리만큼 가까이하면 토끼가 호랑이로부터 도망치는 인터렉션 동작을 수행하고, 마커 3과 마커 4를 일정 거리만큼 가까이하면 토끼가 당근을 먹으려는 인터렉션 동작을 수행한다. 이처럼, 마커의 종류에 따라 다른 인터렉션을 정의할 수 있다.
그럼, 이하에서는 앞서 설명한 바와 같이 다중 마커를 이용하여 인터렉션을 구현하는 증강현실 방법에 대하여 도 5를 참조하여 설명한다.
우선 마커를 인식하기 전에, 인식하고자 하는 복수의 마커(실제 객체 포함)에 대하여 특징점을 정의하고 정의된 특징점 정보에 마커의 종류(ID)를 부여하여 해당 마커별로 저장부에 미리 저장해 둔다. 그리고, 복수의 마커에 대응되는 가상 객체를 매핑시키고, 복수의 마커간 상태에 따라 가상 객체에 지정할 인터렉션 동작을 정의한다.
이후, 영상 인식 장치를 통해 현실 환경을 촬영하여 현실 환경에 대한 실제 영상을 인식한다(S100).
인식 후, 영상 인식 장치를 통해 인식한 실제 영상으로부터 인식하고자 하는 복수의 마커의 특징점을 추출하여, 저장부에 저장된 특징점 정보와 일치하는지의 여부에 따라 마커를 검출하고, 검출된 해당 마커에 부여된 종류(ID) 정보를 인식한다(S110).
이후, 검출된 복수의 마커를 트래킹하여, 각각의 마커에 대한 기울기, 방향, 거리뿐만 아니라 둘 이상의 마커간 기울기, 방향, 거리 상태를 인식한다(S120).
이후, 인식한 마커의 상태 및 종류, 마커간 상태에 따라 미리 정의된 인터렉션 동작을 저장부로부터 검출한다(S130).
앞서 설명한 바와 같이, 본 발명의 실시 예에 따른 증강 현실에서는 복수의 마커간 기울기, 방향, 거리 상태 및 종류에 따라 인터렉션 동작이 다르게 정의되어 있으며, 마커간 상태가 동일하더라도 해당 마커의 종류에 따라 인터렉션 동작이 다르게 정의되어 있다. 따라서, 인터렉션 동작을 검출할 때에는 마커의 기울기, 방향, 거리, 종류 등의 여러 요소를 고려하여 검출한다.
이후, 검출된 인터렉션 동작 정보를 가상 객체에 반영하도록 가상 객체를 렌더링하고, 렌더링한 가상 객체를 영상 인식 장치를 통해 인식한 실제 영상에 합성하여 표시 장치를 통해 표시한다(S140). 이로써, 사용자에게 보다 현실감이 증대된 증강현실 영상을 제공한다.
한편, 본 발명은 상기한 증강현실 방법을 소프트웨어적인 프로그램으로 구현하여 컴퓨터로 읽을 수 있는 소정 기록매체에 기록해 둠으로써 다양한 재생장치에 적용할 수 있다.
다양한 재생장치는 PC, 노트북, 휴대용 단말 등일 수 있다.
기록매체는 각 재생장치의 내장형 하드디스크이거나, 외장형으로 CD-R, CD-RW와 같은 광디스크, 콤팩트 플래시 카드, 스마트 미디어, 메모리 스틱, 멀티미디어 카드일 수 있다.
이 경우, 컴퓨터로 읽을 수 있는 기록매체에 기록한 프로그램은, 앞서 설명한 바와 같이, 복수의 마커 상호간의 상태에 따라 정의된 가상 객체의 동작 정보를 미리 저장하는 과정과, 현실 세계를 촬영하여 인식한 실제 영상으로부터 복수의 마커를 검출하고 검출된 복수의 마커 상호간의 상태를 트래킹하는 과정과, 트래킹한 복수의 마커 상호간의 상태와 마커의 종류에 따라 미리 저장된 가상 객체의 동작 정보를 검출하는 과정, 검출된 가상 객체의 동작 정보를 기반으로 각 마커에 대응되는 가상 객체를 렌더링하여 실제 영상에 합성하는 과정, 합성된 증강현실 영상을 표시부를 통해 표시하는 과정들을 포함하여 실행될 수 있다.
여기서, 각 과정에서의 구체적인 기술은 상기의 증강현실 장치 및 방법의 구성과 동일하므로 중복되는 기술 설명은 생략한다.
이상의 설명은 본 발명을 예시적으로 설명한 것에 불과하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술적 사상에서 벗어나지 않는 범위에서 다양한 변형이 가능할 것이다. 따라서 본 발명의 명세서에 개시된 실시 예들은 본 발명을 한정하는 것이 아니다. 본 발명의 범위는 아래의 특허청구범위에 의해 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술도 본 발명의 범위에 포함되는 것으로 해석해야 할 것이다.
종래 증강현실에서는 복수의 마커에 대한 인식이 가능했으나 단순히 여러 개의 마커를 독립적으로 인식하는 것에 불과하고, 복수의 마커가 가상 객체의 동작을 제어하는 수단으로는 사용되지 않기 때문에 가상 객체를 보다 풍부하게 표현하는 데 한계가 있었으나, 본 발명은 카메라를 통해 보여지는 실제 영상으로부터 복수의 마커간 기울기, 방향, 거리, 종류 등의 상태를 추적하고, 추적된 복수의 마커간 상태에 따라 미리 정의된 인터렉션 동작을 해당 가상 객체에 표현함으로써 보다 풍부한 증강 현실을 제공할 수 있다.
100: 영상 인식 장치 200: 증강현실 처리 장치
210: 마커 검출부 220: 마커 종류 인식부
230: 트래킹부 240: 제어부
250: 렌더링부 260: 저장부
262: 마커 DB 264: 가상객체 DB
266: 인터렉션 DB 300: 표시 장치

Claims (15)

  1. 복수의 마커를 포함한 현실 세계에 기반하여 증강현실을 구현하는 시스템에 있어서,
    상기 현실 세계를 촬영하여 실제 영상을 인식하는 영상 인식 장치;
    상기 영상 인식 장치로부터 인식한 실제 영상에서 복수의 마커를 검출하고 검출된 복수의 마커 상호간의 상태를 인식한 다음, 상기 복수의 마커 상호간의 상태에 따라 미리 정의된 가상 객체의 동작 정보를 각 마커와 대응되는 가상 객체에 반영하여 상기 실제 영상에 합성하는 증강현실 처리 장치; 및
    상기 증강현실 처리 장치에서 합성된 증강현실 영상을 표시하는 표시 장치
    를 포함하는 것을 특징으로 하는 증강현실 시스템.
  2. 제1항에 있어서,
    상기 증강현실 처리 장치는,
    상기 복수의 마커간 기울기를 인식할 수 있도록 여러 기울기에서의 마커 모양을 미리 저장하고, 마커 인식시 상기 저장된 마커 모양에 따라 기울기 정도를 인식하는 것을 특징으로 하는 증강현실 시스템.
  3. 복수의 마커를 포함한 현실 세계에 기반하여 증강현실을 구현하는 장치에 있어서,
    상기 복수의 마커 상호간의 상태에 따라 정의된 가상 객체의 동작 정보를 저장한 저장부;
    상기 현실 세계를 촬영하여 인식한 실제 영상으로부터 상기 복수의 마커를 검출하고 검출된 복수의 마커 상호간의 상태를 트래킹하는 트랙킹부;
    상기 트랙킹부를 통해 인식된 복수의 마커 상호간의 상태에 따라 미리 정의된 가상 객체의 동작을 상기 저장부로부터 검출하여 적용하도록 제어하는 제어부; 및
    상기 제어부에서 검출한 가상 객체의 동작 정보를 기반으로 각 마커와 대응되는 가상 객체를 렌더링하고 렌더링된 가상 객체를 상기 실제 영상에 합성시키는 렌더링부
    를 포함하는 것을 특징으로 하는 복수의 마커를 이용한 증강현실 처리 장치.
  4. 제3항에 있어서,
    상기 복수의 마커 상호간의 상태는,
    둘 이상의 마커간 거리, 기울기, 방향, 각각의 마커의 기울기, 방향 상태 중 어느 하나 또는 하나 이상을 포함하는 것을 특징으로 하는 복수의 마커를 이용한 증강현실 처리 장치.
  5. 제3항 또는 제4항에 있어서,
    상기 복수의 마커 상호간의 상태는,
    상기 복수 마커의 종류에 따라 구별되는 것을 특징으로 하는 복수의 마커를 이용한 증강현실 처리 장치.
  6. 제3항에 있어서,
    상기 복수의 마커는,
    미리 정의되어 해당 가상 객체를 식별할 수 있는 고유 식별 마커이거나, 실제 객체의 특징점을 이용한 자연 특징점(Nature Feature Point)인 것을 특징으로 하는 복수의 마커를 이용한 증강현실 처리 장치.
  7. 제3항 또는 제4항에 있어서,
    상기 트랙킹부는,
    상기 복수의 마커간 기울기를 트래킹할 수 있도록 여러 기울기에서의 마커 모양을 미리 저장해 두어, 마커 트래킹시 상기 저장된 마커 모양에 따라 기울기 정도를 인식하는 것을 특징으로 하는 복수의 마커를 이용한 증강현실 처리 장치.
  8. 제5항에 있어서,
    상기 저장부는,
    상기 복수의 마커에 대한 종류(ID), 상기 복수의 마커간 거리, 기울기, 방향에 따라 정의된 가상 객체의 동작 정보가 미리 저장되어 있고,
    상기 가상 객체의 동작 정보는 상기 복수의 마커간 거리, 기울기, 방향 정보가 동일해도 상기 복수의 마커간 종류에 따라 다르게 정의되는 것을 특징으로 하는 복수의 마커를 이용한 증강현실 처리 장치.
  9. 복수의 마커를 포함한 현실 세계에 기반하여 증강현실을 구현하는 방법에 있어서,
    상기 복수의 마커 상호간의 상태에 따라 정의된 가상 객체의 동작 정보를 저장부에 미리 저장하는 단계;
    상기 현실 세계를 촬영하여 인식한 실제 영상으로부터 상기 복수의 마커를 검출하고 검출된 복수의 마커 상호간의 상태를 트래킹하는 단계;
    상기 복수의 마커 상호간의 상태에 따라 미리 정의된 가상 객체의 동작 정보를 상기 저장부로부터 검출하고, 검출된 가상 객체의 동작 정보를 기반으로 각 마커에 대응되는 가상 객체를 렌더링하여 상기 실제 영상에 합성하는 단계; 및
    합성된 증강현실 영상을 표시부를 통해 표시하는 단계
    를 포함하는 것을 특징으로 하는 증강현실 방법.
  10. 제9항에 있어서,
    상기 복수의 마커 상호간의 상태는,
    둘 이상의 마커간 거리, 기울기, 방향, 각각의 마커의 기울기, 방향 상태 중 어느 하나 또는 하나 이상을 포함한 것을 특징으로 하는 증강현실 방법.
  11. 제9항에 있어서,
    상기 복수의 마커 상호간의 상태는,
    상기 복수 마커의 종류에 따라 구별되는 것을 특징으로 하는 증강현실 방법.
  12. 제10항에 있어서,
    상기 복수의 마커는,
    미리 정의되어 해당 가상 객체를 식별할 수 있는 고유 식별 마커이거나, 실제 객체의 특징점을 이용한 자연 특징점(Nature Feature Point)인 것을 특징으로 하는 증강현실 방법.
  13. 제10항에 있어서,
    상기 저장 단계에서는 각 마커의 기울기를 트래킹할 수 있도록 각 기울기에서의 마커 모양을 미리 저장하고,
    상기 트래킹하는 단계에서는 복수의 마커를 트래킹할 때 상기 저장된 마커 모양에 따라 기울기 정도를 인식하는 것을 특징으로 하는 증강현실 방법.
  14. 제11항에 있어서,
    상기 저장 단계에서는,
    상기 복수의 마커에 대한 종류(ID), 상기 복수의 마커간 거리, 기울기, 방향에 따라 정의된 가상 객체의 동작 정보를 미리 저장하고,
    상기 가상 객체의 동작 정보는 상기 복수의 마커간 거리, 기울기, 방향 정보가 동일해도 상기 복수의 마커간 종류에 따라 다르게 정의하는 것을 특징으로 하는 증강현실 방법.
  15. 제9항 내지 제14항 중 어느 한 항에 의한 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
KR1020100023703A 2010-03-17 2010-03-17 복수의 마커를 이용하여 가상 객체간 인터렉션을 구현하는 증강현실 시스템 및 방법 Active KR101227237B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100023703A KR101227237B1 (ko) 2010-03-17 2010-03-17 복수의 마커를 이용하여 가상 객체간 인터렉션을 구현하는 증강현실 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100023703A KR101227237B1 (ko) 2010-03-17 2010-03-17 복수의 마커를 이용하여 가상 객체간 인터렉션을 구현하는 증강현실 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20110104676A KR20110104676A (ko) 2011-09-23
KR101227237B1 true KR101227237B1 (ko) 2013-01-28

Family

ID=44955319

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100023703A Active KR101227237B1 (ko) 2010-03-17 2010-03-17 복수의 마커를 이용하여 가상 객체간 인터렉션을 구현하는 증강현실 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101227237B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101697041B1 (ko) 2016-01-12 2017-01-16 오철환 가상 객체의 충돌 체크에 의한 반응형 증강현실 카드 게임의 데이터 처리 방법 및 반응형 증강현실 카드 게임 플레이 장치
TWI815782B (zh) * 2022-11-27 2023-09-11 互動細胞股份有限公司 擴增實境影像識別的組合方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9648301B2 (en) 2011-09-30 2017-05-09 Moon Key Lee Image processing system based on stereo image
KR101314756B1 (ko) * 2012-02-23 2013-10-08 단국대학교 산학협력단 컨트롤 마커를 이용한 증강 현실 제공 장치 및 방법
WO2014145193A1 (en) * 2013-03-15 2014-09-18 Nexref Technologies, Llc Marker-based augmented reality (ar) display with inventory management
US10810797B2 (en) * 2015-05-22 2020-10-20 Otoy, Inc Augmenting AR/VR displays with image projections
KR101870276B1 (ko) * 2016-12-30 2018-06-22 주식회사 픽스게임즈 마커를 이용한 증강현실 콘텐츠 제공 시스템 및 방법
WO2018174499A2 (ko) * 2017-03-20 2018-09-27 주식회사 라이커스게임 가상 마커 및 벡터를 이용한 증강 현실 영상 구현 방법
CN113112614B (zh) * 2018-08-27 2024-03-19 创新先进技术有限公司 基于增强现实的互动方法及装置
KR102105155B1 (ko) * 2018-08-31 2020-04-27 김규형 캐릭터 스템프를 이용한 증강현실 시스템
KR102159721B1 (ko) * 2019-12-05 2020-09-24 에스피테크놀러지 주식회사 Amr 공간 위치 정보를 활용하여 ar 서비스를 제공하는 통신 단말기 및 그 제어방법
KR102621814B1 (ko) * 2023-10-16 2024-01-09 주식회사 에이펀인터렉티브 영상 생성 장치 및 그 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100701784B1 (ko) * 2005-12-08 2007-04-02 신믿음 마커간 융합을 이용하여 증강현실을 구현하는 방법 및 그장치
KR20090001667A (ko) * 2007-05-09 2009-01-09 삼성전자주식회사 증강 현실 기술을 이용하여 컨텐츠를 구현하기 위한 장치및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100701784B1 (ko) * 2005-12-08 2007-04-02 신믿음 마커간 융합을 이용하여 증강현실을 구현하는 방법 및 그장치
KR20090001667A (ko) * 2007-05-09 2009-01-09 삼성전자주식회사 증강 현실 기술을 이용하여 컨텐츠를 구현하기 위한 장치및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101697041B1 (ko) 2016-01-12 2017-01-16 오철환 가상 객체의 충돌 체크에 의한 반응형 증강현실 카드 게임의 데이터 처리 방법 및 반응형 증강현실 카드 게임 플레이 장치
TWI815782B (zh) * 2022-11-27 2023-09-11 互動細胞股份有限公司 擴增實境影像識別的組合方法
US12131535B2 (en) 2022-11-27 2024-10-29 Visual Fun Co., Ltd. Method for recognizing object assemblies in augmented reality images

Also Published As

Publication number Publication date
KR20110104676A (ko) 2011-09-23

Similar Documents

Publication Publication Date Title
KR101227237B1 (ko) 복수의 마커를 이용하여 가상 객체간 인터렉션을 구현하는 증강현실 시스템 및 방법
AU2021203688B2 (en) Volumetric depth video recording and playback
KR101227255B1 (ko) 마커 크기 기반 인터렉션 방법 및 이를 구현하기 위한 증강 현실 시스템
KR101250619B1 (ko) 가상 사용자 인터페이스를 이용한 증강현실 시스템 및 그 방법
US11100719B2 (en) Method and apparatus for overlaying a reproduction of a real scene with virtual image and audio data, and a mobile device
JP5888372B2 (ja) 情報処理システムとその処理方法及びプログラム
JP6932206B2 (ja) 空間オーディオの提示のための装置および関連する方法
EP3693925B1 (en) Information processing device, information processing method, and recording medium
KR20140090159A (ko) 정보 처리 장치, 정보 처리 방법, 및 프로그램
JP2017129904A (ja) 情報処理装置、情報処理方法、及び記録媒体
US10853966B2 (en) Virtual space moving apparatus and method
JP2020520576A5 (ko)
JP2013050883A (ja) 情報処理プログラム、情報処理システム、情報処理装置および情報処理方法
CN113228117B (zh) 创作装置、创作方法和记录有创作程序的记录介质
US20250118033A1 (en) Method for providing virtual image corresponding to digital item, and augmented reality device
KR20110136017A (ko) 홀로그램 객체를 표시하는 증강현실 장치
US10692286B2 (en) Device and method of creating an augmented interactive virtual reality system
TW202311815A (zh) 在實體表面上顯示數位媒體內容
US10482641B2 (en) Virtual reality display
KR102739285B1 (ko) 증강현실 기반의 공연 콘텐츠 재생 제어장치 및 방법
US12008771B2 (en) Device and method of creating an augmented interactive virtual reality system
CN117940963A (zh) 显示装置、显示装置的控制方法以及程序
JP2005234757A (ja) 拡張現実感システムおよび画像合成表示方法とプログラム
EP3847621A1 (en) Object tracking

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20100317

A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20110422

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20100317

Comment text: Patent Application

PG1501 Laying open of application
N231 Notification of change of applicant
PN2301 Change of applicant

Patent event date: 20111019

Comment text: Notification of Change of Applicant

Patent event code: PN23011R01D

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20120629

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20130109

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20130122

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20130122

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20151223

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20151223

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20161229

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20161229

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20180123

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20180123

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20190103

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20190103

Start annual number: 7

End annual number: 7

FPAY Annual fee payment

Payment date: 20191230

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20191230

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20201222

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20211227

Start annual number: 10

End annual number: 10

PR1001 Payment of annual fee

Payment date: 20231211

Start annual number: 12

End annual number: 12

PR1001 Payment of annual fee

Payment date: 20241127

Start annual number: 13

End annual number: 13