KR20110107542A - 가상 사용자 인터페이스를 이용한 증강현실 시스템 및 그 방법 - Google Patents

가상 사용자 인터페이스를 이용한 증강현실 시스템 및 그 방법 Download PDF

Info

Publication number
KR20110107542A
KR20110107542A KR1020100026714A KR20100026714A KR20110107542A KR 20110107542 A KR20110107542 A KR 20110107542A KR 1020100026714 A KR1020100026714 A KR 1020100026714A KR 20100026714 A KR20100026714 A KR 20100026714A KR 20110107542 A KR20110107542 A KR 20110107542A
Authority
KR
South Korea
Prior art keywords
marker
virtual
augmented reality
user interface
mapped
Prior art date
Application number
KR1020100026714A
Other languages
English (en)
Other versions
KR101250619B1 (ko
Inventor
소경숙
정진
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020100026714A priority Critical patent/KR101250619B1/ko
Publication of KR20110107542A publication Critical patent/KR20110107542A/ko
Application granted granted Critical
Publication of KR101250619B1 publication Critical patent/KR101250619B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 카메라 촬영을 통하여 마커 또는 실제 객체를 인식한 후 인식된 마커 또는 실제 객체에 매핑된 가상 사용자 인터페이스(예컨대, 가상 버튼, 가상 제어 패널 등)를 디스플레이 화면에 보여주고, 사용자로부터 터치/클릭/별도의 입력도구 등을 통해 사용자 명령이 입력되면 다양한 증강현실 영상(예컨대, 다양한 가상 객체, 영상, 사운드 등)을 제공함으로써, 가상 사용자 인터페이스를 통해 멀티 시나리오 기반의 증강현실 서비스를 제공할 수 있다.

Description

가상 사용자 인터페이스를 이용한 증강현실 시스템 및 그 방법{AUGMENTED REALITY SYSTEM AND METHOD USING VIRTUAL USER INTERFACE}
본 발명은 가상 사용자 인터페이스를 이용한 증강현실 시스템 및 그 방법에 관한 것으로서, 상세하게는 카메라 촬영을 통하여 마커 또는 실제 객체를 인식한 후 인식된 마커 또는 실제 객체에 매핑된 하나 이상의 가상 사용자 인터페이스(예컨대, 가상 버튼, 가상 제어 패널 등)를 디스플레이 화면에 보여주고, 사용자로부터 터치/클릭/별도의 입력도구 등을 통해 사용자 명령이 입력되면 다양한 증강현실 영상(예컨대, 다양한 가상 객체, 영상, 사운드 등)을 제공함으로써, 가상 사용자 인터페이스를 통해 멀티 시나리오 기반의 증강현실 서비스를 제공할 수 있는 가상 사용자 인터페이스를 이용한 증강현실 시스템 및 그 방법에 관한 것이다.
가상 현실(Virtual Reality: VR)은 컴퓨터 시스템에서 생성한 3차원 가상 공간과 주로 상호 작용이 주가되는 분야로서, 가상 공간은 현실 세계를 바탕으로 구성된다. 사용자는 이러한 가상 공간을 인체의 오감(시각, 청각, 후각, 미각, 촉각)을 통해 느낌으로써 몰입감(沒入感)을 갖게 된다.
증강현실(Augmented Reality: AR)은 가상 현실(VR)의 하나의 분야에서 파생된 기술로서, 현실 세계와 가상의 체험을 결합한 것을 의미한다. 즉, 실제 환경에 가상 사물을 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법이다.
가상 현실은 모든 환경을 컴퓨터를 통해 가상환경으로 제작하여 사용자와 상호 작용하지만, 증강현실은 현실 세계를 바탕으로 사용자가 가상의 물체와 상호 작용함으로써 향상된 현실감을 줄 수 있다는 특징을 가진다. 따라서, 증강현실에서는 사용자가 자신이 위치해 있는 실제 환경을 인식함과 동시에, 실제 영상 위에 표현된 가상의 정보도 인식하게 된다.
종래의 증강현실 서비스 제공 방식에서는 카메라 촬영을 통하여 실제 객체(Real Object)에 포함된 마커(Marker)를 인식한다. 이후, 종래의 증강현실 서비스 제공 방식에서는 그 인식된 마커에 매핑된 하나의 가상 이미지 또는 가상 객체를 실제 영상과 합성하여 사용자에게 제공한다.
그러나, 종래의 증강현실 서비스 제공 방식은 하나의 마커를 기반으로 멀티 가상 이미지 또는 멀티 가상 객체를 사용자에게 보여주거나, 멀티 시나리오 기반으로 증강현실 서비스를 제공하지 못한다는 문제점이 있다.
본 발명은 상기의 문제점을 해결하기 위해 창안된 것으로서, 카메라 촬영을 통하여 마커 또는 실제 객체를 인식한 후 인식된 마커 또는 실제 객체에 매핑된 하나 이상의 가상 사용자 인터페이스(예컨대, 가상 버튼, 가상 제어 패널 등)를 디스플레이 화면에 보여주고, 사용자로부터 터치/클릭/별도의 입력도구 등을 통해 사용자 명령이 입력되면 다양한 증강현실 영상(예컨대, 다양한 가상 객체, 영상, 사운드 등)을 제공함으로써, 가상 사용자 인터페이스를 통해 멀티 시나리오 기반의 증강현실 서비스를 제공할 수 있는 가상 사용자 인터페이스를 이용한 증강현실 시스템 및 그 방법을 제공하는 것을 목적으로 한다.
이를 위하여, 본 발명의 제1 측면에 따른 가상 사용자 인터페이스를 이용한 증강 현실 시스템은, 현실 세계를 촬영하여 실제 영상을 획득하기 위한 영상 촬영 장치; 상기 영상 인식 장치로부터 인식한 실제 영상으로부터 마커를 인식하고 상기 인식된 마커가 가상 사용자 인터페이스 또는 가상 객체와 매핑되는지를 확인하여 상기 실제 영상에 가상 사용자 인터페이스를 표시하고 상기 가상 사용자 인터페이스를 통해 사용자 명령을 입력받는 증강현실 처리 장치; 및 상기 증강 현실 장치에서 합성된 증강현실 영상을 표시하는 표시 장치를 포함하는 것을 특징으로 한다.
본 발명의 제2 측면에 따르면, 가상 사용자 인터페이스를 이용한 증강 현실 장치는, 영상 촬영 장치를 통해 획득한 실제 영상으로부터 실제 객체 또는 마커를 가상 사용자 인터페이스와 매핑된 액션 마커 또는 가상 객체와 매핑된 일반 마커로 인식하기 위한 마커 인식부; 상기 인식된 액션 마커와 매핑되는 가상 사용자 인터페이스를 렌더링하거나, 상기 인식된 일반 마커와 매핑되는 가상 객체를 렌더링하여 상기 획득된 실제 영상에 합성시키기 위한 렌더링부; 및 상기 렌더링된 가상 사용자 인터페이스를 통해 사용자 명령이 입력되면, 상기 입력된 사용자 명령과 매핑된 인터렉션 정보에 따라 가상 객체의 렌더링을 조정하기 위한 인터렉션부를 포함하는 것을 특징을 한다.
본 발명의 제3 측면에 따르면, 가상 사용자 인터페이스를 이용한 증강 현실 방법은, 영상 촬영 장치를 통해 획득한 실제 영상으로부터 실제 객체 또는 마커를 가상 사용자 인터페이스와 매핑된 액션 마커 또는 가상 객체와 매핑된 일반 마커로 인식하는 마커 인식 단계; 상기 인식된 액션 마커와 매핑되는 가상 사용자 인터페이스를 렌더링하는 인터페이스 렌더링 단계; 상기 렌더링된 가상 사용자 인터페이스를 통해 사용자 명령이 입력되면, 상기 입력된 사용자 명령과 매핑된 인터렉션 정보에 따라 가상 객체의 렌더링을 조정하는 인터렉션 단계; 및 상기 가상 객체의 렌더링 조정에 따라 가상 객체를 렌더링하여 상기 획득된 실제 영상에 합성시키는 영상 합성 단계를 포함하는 것을 특징으로 한다.
본 발명은, 카메라 촬영을 통하여 마커 또는 실제 객체를 인식한 후 인식된 마커 또는 실제 객체에 매핑된 하나 이상의 가상 사용자 인터페이스(예컨대, 가상 버튼, 가상 제어 패널 등)를 디스플레이 화면에 보여주고, 사용자로부터 터치/클릭/별도의 입력도구 등을 통해 사용자 명령이 입력되면 다양한 증강현실 영상(예컨대, 다양한 가상 객체, 영상, 사운드 등)을 제공함으로써, 가상 사용자 인터페이스를 통해 멀티 시나리오 기반의 증강현실 서비스를 제공할 수 있는 효과가 있다.
도 1 은 본 발명에 따른 가상 사용자 인터페이스를 이용한 증강현실 시스템의 일실시예 구성도,
도 2 는 본 발명에 따른 도 1에 적용되는 가상 사용자 인터페이스를 이용한 사용자 인터렉션에 대한 일실시예 설명도,
도 3 은 본 발명에 따른 가상 사용자 인터페이스를 이용한 증강현실 방법에 대한 일실시예 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세하게 설명한다. 본 발명의 구성 및 그에 따른 작용 효과는 이하의 상세한 설명을 통해 명확하게 이해될 것이다. 본 발명의 상세한 설명에 앞서, 동일한 구성요소에 대해서는 다른 도면 상에 표시되더라도 가능한 동일한 부호로 표시하며, 공지된 구성에 대해서는 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 구체적인 설명은 생략하기로 함에 유의한다.
본 발명에 대한 구체적인 설명을 하기에 앞서, 증강현실을 구현하기 위한 기본적인 기술에 대하여 설명한다.
증강현실은 카메라를 통해 촬영된 실제 피사체나 특정 부위에 대하여 미리 정해 놓은 정보 또는 가상 객체를 화면 상에 합성하여, 부가적인 정보를 제공하거나 또는 실제 동작하는 것처럼 화면 상에 표시하여 현실을 보다 풍부하게 묘화하는 비전(vision) 기술이다.
증강현실을 구현하기 위한 기본적인 기술은, 대상 위치 인식(Recognition) 기술, 인식된 지점의 트래킹(tracking) 기술, 합성 기술을 포함한다. 따라서, 인식 기술과 트랙킹 기술로 파악된 위치에 미리 정해둔 가상 객체를 합성하는 방식으로 구현될 수 있다.
이중, 합성 기술은 실제 환경에 대한 영상에서 대상 위치의 인식 및 트래킹에 의해 합성 위치를 선정하고, 해당 위치에서의 기울기, 방향 등을 추정한 다음, 가상 객체를 기울기, 방향 등에 따라 렌더링하여 정확한 위치에 위치시키는 과정으로 이루어질 수 있다.
본 발명은 현실 환경의 실제 객체에 포함된 마커의 특징점 또는 실제 객체 자체의 특징점을 추출하고 트래킹하여, 마커 또는 실제 객체에 매핑된 사용자 명령이 입력 가능한 가상 사용자 인터페이스를 합성하는 기술로 볼 수 있다.
본 발명에서 가상 사용자 인터페이스는 실제 영상에 합성되는 가상 객체 또는 가상 이미지에 포함될 수 있으나, 사용자 입력이 가능한 가상 객체 또는 가상 이미지를 의미하는 것으로, 이하 가상 사용자 인터페이스와 가상 객체(가상 이미지)는 구분하여 표현한다.
도 1 은 본 발명에 따른 가상 사용자 인터페이스를 이용한 증강현실 시스템의 일실시예 구성도이다.
본 발명의 실시 예에 따른 증강현실 시스템(10)은 영상 촬영 장치(11), 증강현실 처리 장치(100), 표시 장치(12)를 포함한다. 여기서, 증강현실 처리 장치(100)는 특징점 추출부(110), 마커 인식부(120), 렌더링부(130), 인터렉션부(140) 및 저장부(150)를 포함한다.
영상 촬영 장치(11)는 적어도 하나의 실제 객체 또는 마커가 배치된 실제 객체를 포함하는 현실 환경을 촬영하여 이로부터 현실 환경에 대한 영상(이하, 실제 영상)을 획득한다. 그리고, 이를 증강현실 장치(100)의 특징점 추출부(110)로 전달한다. 이 영상 촬영 장치(11)는 컴퓨터 등의 외부 콘트롤 장치와 연결되는 카메라 또는 웹캠(webcam)이거나, 개인휴대단말기에 내장된 카메라일 수 있다.
특징점 추출부(110)는 영상 촬영 장치(11)를 통해 획득한 실제 영상으로부터 실제 객체 또는 마커를 구분하여 이의 특징점을 추출한다. 특징점은 실제 객체 또는 마커의 색상 정보나, 선분 정보, 에지(edge) 정보 등을 이용하여 추출할 수 있다.
마커 인식부(120)는 특징점 추출부(110)에서 추출된 마커의 특징점 또는 실제 객체의 특징점을 이용하여 하나 이상의 마커를 인식하거나 실제 객체를 직접 인식한다. 이어서, 마커 인식부(120)는 인식된 마커가 사용자 명령을 입력할 수 있는 기능을 제공하는 가상 사용자 인터페이스와 매핑되는 액션(action) 마커인지, 일반적으로 하나의 마커에 하나의 가상 객체와 매핑되는 일반 마커인지를 구분한다. 여기서, 마커 인식부(120)는 특징점 추출부(110)에서 추출된 마커의 특징점 또는 실제 객체의 특징점을 이용하지 않고 다양한 방식(예컨대, 다양한 센서, 위치 기반 등)으로 마커 또는 실제 객체를 인식할 수 있다.
본 명세서에서는 마커의 특징점을 이용하거나 실제 객체의 특징점을 이용하여 마커 또는 실제 객체를 인식하는 것을 모두 편의상 “마커를 인식한다”라고 표현할 수 있다. 다시 말해서, 좁은 의미의 마커 인식은 실제 마커를 인식하는 것이고, 넓은 의미의 마커 인식은 실제 마커뿐만 아니라 실제 객체를 인식하는 것을 포함한다.
렌더링부(130)는 마커 인식부(120)에서 인식된 마커가 일반 마커인 경우에 일반 마커에 매핑되는 하나의 가상 객체를 저장부(150)로부터 가져와서 실제 영상에 합성하여 렌더링한다. 또한, 렌더링부(130)는 마커 인식부(120)에서 인식된 마커가 액션 마커일 경우에 액션 마커에 매핑되는 다양한 가상 사용자 인터페이스를 저장부(150)로부터 가져와서 렌더링한다. 여기서, 가상 사용자 인터페이스는 사용자 명령을 입력할 수 있는 도형, 로고, 텍스트, 버튼 등이 포함될 수 있다.
표시 장치(12)는 렌더링부(130)에서 렌더링된 영상을 디스플레이 화면에 표시한다.
한편, 액션 마커에 매핑되는 다양한 가상 사용자 인터페이스가 디스플레이 화면에 표시된 경우, 인터렉션부(140)는 디스플레이 화면의 가상 객체에 대해서 사용자 명령이 가상 사용자 인터페이스를 통해 입력되는지 여부를 확인한다. 여기서, 사용자 명령은 화면 상에서 사용자가 가상 사용자 인터페스를 조작하여 입력될 수 있다. 즉, 사용자 명령은 가상 사용자 인터페이스를 통해 화면 터치, 화면 클릭 등을 이용하여 수행될 수 있다. 또한, 촬영된 액션 마커 또는 사용자의 손가락 등의 위치가 화면의 사용자 인터페이스 영역과 일치할 때, 사용자 명령이 입력될 수 있다. 즉, 사용자가 디스플레이 화면이 아니라 실제 환경에서 손가락 또는 액션 마커의 이동을 통해 가상 사용자 인터페이스를 조작할 수 있다.
사용자 명령이 입력되면, 인터렉션부(140)는 사용자에 의해 선택된 가상 사용자 인터페이스별로 다양한 인터렉션 정보를 저장부(150)로부터 가져와서 렌더링부(130)로 전달한다. 즉, 인터렉션부(140)는 가상 객체에 대하여 사용자 명령 입력에 따라 적용할 인터렉션이 정의되어 있는지를 저장부(150)에서 확인하여, 미리 정의된 인터렉션 정보를 저장부(150)로부터 가져와서 해당 가상 객체에 적용하도록 지령한다. 여기서, 인터렉션 정보는 가상 객체, 영상 및 사운드 등을 포함한다. 특히, 본 실시예에 따른 인터렉션부(140)는 적어도 하나의 사용자 명령 입력이 조합되거나 순차적인 사용자 명령인지 여부를 구분하여 해당 인터렉션 정보를 저장부(150)로부터 검색하여 가져온다.
렌더링부(130)는 마커 인식 후에 검색된 가상 객체를 실제 객체 또는 마커의 위치에 따라 렌더링한 후, 인터렉션부(140)로부터 전달된 인터렉션 정보에 기초하여 가상 객체를 변경하거나 렌더링한다. 이후, 렌더링부(130)는 렌더링한 가상 객체를 실제 영상에 합성시키도록 표시 장치(12)로 출력한다.
표시 장치(12)는 실시간으로 렌더링부(130)에서 렌더링된 2차원 또는 3차원 이미지, 동영상 및 사운드와 같은 시각적 및 청각적 가상 객체를 영상 촬영 장치(11)를 통해 획득한 실제 영상에 합성하여 하나의 영상으로 표시한다.
저장부(150)는 인식하고자 하는 하나 이상의 실제 객체에 대한 특징점 정보를 저장한 실제 객체 정보DB(151)와, 인식하고자 하는 하나 이상의 마커에 대한 특징점 정보를 저장한 마커 정보DB(152), 마커 정보DB(152)에 저장된 마커와 매핑되는 가상 객체에 관한 정보를 저장한 가상객체 정보DB(153), 가상 객체의 인터렉션에 관한 정보를 저장한 인터렉션 정보DB(154) 등을 포함할 수 있다.
인터렉션 정보DB(154)는 사용자 명령 입력의 조합에 따라 구분되는 다양한 인터렉션 정보를 저장할 수 있다. 예를 들어, 가상 사용자 인터페이스가 다수의 버튼으로 구성된 경우 사용자가 가상 사용자 인터페이스의 버튼을 누를 때, 인터렉션부(140)는 순차적으로 버튼을 입력하는 동작이나 동시에 버튼을 입력하는 동작을 구분할 수 있다. 인터렉션부(140)는 가상 사용자 인터페이스에서의 입력 동작을 구분하여 대응하는 인터렉션 정보를 저장부(150)로부터 가져와서 렌더링부(130)로 전달한다.
도 2 는 본 발명에 따른 가상 사용자 인터페이스를 이용한 사용자 인터렉션에 대한 일실시예를 나타낸 것이다.
도 2에서, 영상 촬영 장치(11)가 실제 객체(20)에 포함된 마커(201)를 촬영한 경우, 마커 인식부(120)는 인식된 마커가 사용자 명령을 입력할 수 있는 기능을 제공하는 가상 사용자 인터페이스와 매핑된 액션 마커(201)인지를 확인한다.
그리고 렌더링부(130)는 마커 인식부(120)에서 인식된 마커가 액션 마커(201)일 경우에 액션 마커(201)에 매핑되는 다양한 가상 사용자 인터페이스(211 내지 213)를 저장부(150)로부터 가져와서 렌더링한다. 여기서, 가상 사용자 인터페이스(211 내지 213)는 사용자 명령을 입력할 수 있는 정팔각형 버튼(211), 삼각형 버튼(212) 및 원형 버튼(213)이 될 수 있다. 표시 장치(12)는 렌더링부(130)에서 렌더링된 가상 사용자 인터페이스(211 내지 213)를 디스플레이 화면(21)에 표시한다.
이후, 액션 마커에 매핑되는 다양한 가상 사용자 인터페이스(211 내지 213)가 디스플레이 화면(21)에 표시된 경우, 인터렉션부(140)는 디스플레이 화면(21)의 정팔각형 버튼(211), 삼각형 버튼(212) 및 원형 버튼(213)을 통해 사용자 명령이 입력되는지 여부를 확인한다. 여기서, 가상 사용자 인터페이스(211 내지 213)는 화면 터치, 화면 클릭 및 별도의 입력 도구 등을 이용하여 수행될 수 있다.
사용자 명령이 입력되면, 인터렉션부(140)는 사용자에 의해 선택된 가상 사용자 인터페이스별로 다양한 인터렉션 정보를 저장부(150)로부터 가져와서 렌더링부(130)로 전달한다. 예를 들면, 렌더링부(130)는 사용자가 정팔각형 버튼(211)을 클릭한 경우에 인터렉션부(140)로부터 서적 정보(221)를 전달받아 디스플레이 화면(21)에 서적 정보(221)를 렌더링시킨다. 이와 유사하게, 렌더링부(130)는 사용자가 삼각형 버튼(212) 또는 원형 버튼(213)을 클릭한 경우에 인터렉션부(140)로부터 해당 가이드(안내) 정보(222) 또는 저자 정보(223)를 전달받아 디스플레이 화면(21)에 서적 정보(221)를 렌더링시킨다.
또한, 가상 사용자 인터페이스인 정팔각형 버튼(211), 삼각형 버튼(212) 및 원형 버튼(213)이 각각 세 가지 시나리오에 대한 증강현실 영상과 매핑되는 경우를 살펴보면, 정팔각형 버튼(211)은 왕자와 공주의 해피 엔딩 시나리오와 매핑되어 있고, 삼각형 버튼(212)은 왕자와 공주의 이별 시나리오와 매핑되어 있고, 원형 버튼(213)은 왕자가 개구리로 변하는 시나리오와 매핑되어 있다.
이러한 세 가지 시나리오에 대해서, 사용자 명령이 정팔각형 버튼(211)에 입력되면, 인터렉션부(140)는 사용자에 의해 선택된 해피 엔딩 시나리오에 대한 인터렉션 정보를 저장부(150)로부터 가져와서 렌더링부(130)로 전달한다. 그러면, 렌더링부(130)는 인터렉션부(140)로부터 해피 엔딩 시나리오에 대한 인터렉션 정보를 전달받아 디스플레이 화면(21)에 렌더링시킨다. 이와 유사하게, 렌더링부(130)는 사용자가 삼각형 버튼(212) 또는 원형 버튼(213)에 각각 매핑된 왕자와 공주의 이별 시나리오 또는 왕자가 개구리로 변하는 시나리오에 대한 인터렉션 정보를 렌더링시킨다.
따라서, 상기와 같이 구성되는 본 발명의 증강현실 장치(100)는 영상 촬영 장치(11)에서 획득한 실제 영상으로부터 현실 환경에 존재하는 실제 객체 또는 실제 객체에 포함된 마커의 특징점을 추출하고 액션 마커를 인식하여, 액션 마커에 매칭되는 가상 사용자 인터페이스를 표시하고 가상 사용자 인터페이스에서 사용자 명령 입력에 따라 대응하는 가상 정보를 합성하여 멀티 시나리오 기반의 증강현실 영상을 제공할 수 있다.
도 3 은 본 발명에 따른 가상 사용자 인터페이스를 이용한 증강현실 방법에 대한 일실시예 흐름도이다.
우선, 마커 또는 실제 객체를 인식하기 전에, 인식하고자 하는 하나 이상의 마커 또는 실제 객체에 대하여 특징점을 정의하고 정의된 특징점 정보는 마커별 또는 실제 객체별로 저장부(150)에 미리 저장된다. 그리고 마커를 포함하는 실제 객체에 대해서도 특징점을 정의하고 정의된 특징점 정보는 저장부(150)에 미리 저장된다. 또한, 인식하고자 하는 하나 이상의 마커 또는 실제 객체와 매핑되는 가상 객체는 저장부(150)에 미리 저장된다. 또한, 인터렉션부(150)를 통해 인식하고자 하는 하나 이상의 사용자 명령 입력에 매핑되는 인터렉션 정보는 저장부(150)에 미리 저장된다.
이후, 영상 촬영 장치(11)는 현실 환경에 존재하는 마커 또는 실제 객체가 촬영된 현실 환경에 대한 실제 영상을 촬영한다(S302).
그리고 증강현실 장치(100)의 특징점 추출부(110)는 영상 촬영 장치(11)를 통해 촬영된 실제 영상으로부터 마커 또는 실제 객체의 특징점을 추출한다(S304). 여기서, 특징점 추출은 마커 또는 실제 객체의 색상 정보, 에지 정보 등을 이용할 수 있다.
이어서, 마커 인식부(120)는 특징점 추출부(110)에서 추출된 특징점을 이용하여 실제 객체를 직접 인식하거나 실제 객체에 포함된 하나 이상의 마커를 인식한다(S306).
이후, 마커 인식부(120)는 인식된 마커 또는 실제 객체가 사용자 명령을 입력할 수 있는 기능을 제공하는 가상 사용자 인터페이스를 보여주는 액션(action) 마커인지 일반적으로 하나의 마커에 하나의 가상 객체 또는 가상 영상을 보여주는 일반 마커인지를 확인한다(S308).
상기 확인 결과(308), 인식된 마커 또는 실제 객체가 일반 마커에 대응하는 경우, 렌더링부(130)는 인식된 일반 마커에 매핑되는 가상 객체를 렌더링한다(S310).
그리고 렌더링부(130)는 렌더링된 가상 객체를 실제 영상과 합성한다(S312).
이어서, 영상 표시 장치(11)는 실제 영상과 합성된 합성 영상을 디스플레이 화면에 표시한다(S314).
한편, 상기 확인 결과(308), 인식된 마커 또는 실제 객체가 일반 마커에 대응하는 경우, 렌더링부(130)는 액션 마커에 매핑되는 가상 사용자 인터페이스를 렌더링한다(S316). 이후, 렌더링부(130)는 렌더링된 가상 사용자 인터페이스를 실제 영상과 합성하는 "S312" 과정을 수행한다. 이어서, 영상 표시 장치(11)는 디스플레이 화면에 합성 영상을 표시하는 "S314" 과정을 수행한다.
이후, 인터렉션부(140)는 디스플레이 화면에 표시된 가상 사용자 인터페이스에 사용자 명령이 입력되는지 여부를 확인한다(S318).
상기 확인 결과(S318), 가상 사용자 인터페이스에 사용자 명령이 입력되면, 인터렉션부(140)는 입력된 사용자 명령에 대응하는 인터렉션 정보를 검색하고, 렌더링부(130)는 검색된 인터렉션 정보에 따라 가상 객체를 변경하여 렌더링한다(S320). 여기서, 렌더링부(130)는 "S310"에 렌더링된 가상 객체를 변경하거나, 새로운 가상 객체를 렌더링할 수 있다. 이후, 렌더링부(130)는 사용자 명령에 대응하는 가상 객체를 실제 영상과 합성하는 "S312" 과정을 수행한다. 이어서, 영상 표시 장치(11)는 디스플레이 화면에 합성 영상을 표시하는 "S314" 과정을 수행한다.
한편, 본 발명은 상기한 증강현실 방법을 소프트웨어적인 프로그램으로 구현하여 컴퓨터로 읽을 수 있는 소정 기록매체에 기록해 둠으로써 다양한 재생장치에 적용할 수 있다.
다양한 재생장치는 PC, 노트북, 휴대용 단말 등일 수 있다.
예컨대, 기록매체는 각 재생장치의 내장형으로 하드디스크, 플래시 메모리, RAM, ROM 등이거나, 외장형으로 CD-R, CD-RW와 같은 광디스크, 콤팩트 플래시 카드, 스마트 미디어, 메모리 스틱, 멀티미디어 카드일 수 있다.
이 경우, 컴퓨터로 읽을 수 있는 기록매체에 기록한 프로그램은, 앞서 설명한 바와 같이, 영상 촬영 장치를 통해 획득한 실제 영상으로부터 실제 객체 또는 마커의 특징점을 추출하는 특징점 추출 과정과, 상기 추출된 실제 객체 또는 마커의 특징점을 이용하여 상기 실제 객체 또는 마커를 가상 사용자 인터페이스와 매핑된 액션 마커 또는 가상 객체와 매핑된 일반 마커로 인식하는 마커 인식 과정과, 상기 인식된 액션 마커와 매핑되는 가상 사용자 인터페이스를 렌더링하는 인터페이스 렌더링 과정과, 상기 렌더링된 가상 사용자 인터페이스를 통해 사용자 명령이 입력되면, 상기 입력된 사용자 명령과 매핑된 인터렉션 정보에 따라 가상 객체의 렌더링을 조정하는 인터렉션 과정과, 가상 객체의 렌더링 조정에 따라 가상 객체를 렌더링하여 상기 획득된 실제 영상에 합성시키는 영상 합성 과정들을 포함하여 실행될 수 있다.
여기서, 각 과정에서의 구체적인 기술은 상기의 증강현실 장치 및 방법의 구성과 동일하므로 중복되는 기술 설명은 생략한다.
이상의 설명은 본 발명을 예시적으로 설명한 것에 불과하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술적 사상에서 벗어나지 않는 범위에서 다양한 변형이 가능할 것이다. 따라서 본 발명의 명세서에 개시된 실시 예들은 본 발명을 한정하는 것이 아니다. 본 발명의 범위는 아래의 특허청구범위에 의해 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술도 본 발명의 범위에 포함되는 것으로 해석해야 할 것이다.
본 발명은, 마커별로 매핑되는 하나 이상의 가상 사용자 인터페이스(예컨대, 가상 버튼, 가상 제어 패널 등)를 디스플레이 화면에 보여주고, 사용자로부터 터치/클릭/별도의 입력도구 등을 통해 사용자 명령이 입력되면 다양한 증강현실 영상(예컨대, 다양한 가상 객체, 영상, 사운드 등)을 제공함으로써, 멀티 시나리오 기반의 증강현실 서비스를 제공할 수 있다.
11: 영상 촬영 장치 12: 표시 장치
100: 증강 현실 장치 110: 특징점 추출부
120: 마커 인식부 130: 렌더링부
140: 인터렉션부 150: 저장부
151: 실제 객체 정보DB 152: 마커 정보DB
153: 가상 객체 정보DB 154: 인터렉션 정보DB

Claims (12)

  1. 가상 사용자 인터페이스를 이용한 증강 현실 시스템에 있어서,
    현실 세계를 촬영하여 실제 영상을 획득하기 위한 영상 촬영 장치;
    상기 영상 인식 장치로부터 인식한 실제 영상으로부터 마커를 인식하고 상기 인식된 마커가 가상 사용자 인터페이스 또는 가상 객체와 매핑되는지를 확인하여 상기 실제 영상에 가상 사용자 인터페이스를 표시하고 상기 가상 사용자 인터페이스를 통해 사용자 명령을 입력받는 증강현실 처리 장치; 및
    상기 증강 현실 장치에서 합성된 증강현실 영상을 표시하는 표시 장치
    를 포함하는 것을 특징으로 하는 증강현실 시스템.
  2. 제 1 항에 있어서,
    상기 증강현실 처리 장치는,
    상기 인식된 마커의 종류를 사용자 명령이 입력되는 가상 사용자 인터페이스와 매핑되는 액션 마커 또는 상기 가상 객체와 매핑되는 일반 마커로 구분하는 증강 현실 시스템.
  3. 제 1 항에 있어서,
    상기 증강현실 처리 장치는,
    상기 입력된 사용자 명령과 매핑된 인터렉션 정보에 따라 가상 객체를 렌더링하여 상기 실제 영상에 합성하는 증강 현실 시스템.
  4. 가상 사용자 인터페이스를 이용한 증강 현실 장치에 있어서,
    영상 촬영 장치를 통해 획득한 실제 영상으로부터 실제 객체 또는 마커를 가상 사용자 인터페이스와 매핑된 액션 마커 또는 가상 객체와 매핑된 일반 마커로 인식하기 위한 마커 인식부;
    상기 인식된 액션 마커와 매핑되는 가상 사용자 인터페이스를 렌더링하거나, 상기 인식된 일반 마커와 매핑되는 가상 객체를 렌더링하여 상기 획득된 실제 영상에 합성시키기 위한 렌더링부; 및
    상기 렌더링된 가상 사용자 인터페이스를 통해 사용자 명령이 입력되면, 상기 입력된 사용자 명령과 매핑된 인터렉션 정보에 따라 가상 객체의 렌더링을 조정하기 위한 인터렉션부
    를 포함하는 증강 현실 장치.
  5. 제 4 항에 있어서,
    상기 획득한 실제 영상으로부터 상기 실제 객체 또는 상기 마커의 특징점을 추출하기 위한 특징점 추출부를 더 포함하고,
    상기 마커 인식부는, 상기 추출된 실제 객체 또는 마커의 특징점을 이용하여 상기 실제 객체 또는 마커를 인식하는 증강 현실 장치.
  6. 제 4 항에 있어서,
    상기 인터렉션부는,
    상기 렌더링된 가상 사용자 인터페이스에 대해서 상기 획득한 실제 영상 내의 상기 사용자의 조작, 또는 화면의 사용자 조작중 적어도 어느 하나를 통해 사용자 명령을 입력받는 증강 현실 장치.
  7. 제 4 항에 있어서,
    상기 가상 사용자 인터페이스는,
    상기 사용자 명령이 입력되는 도형, 로고, 텍스트 또는 버튼 중 적어도 어느 하나인 것을 특징으로 하는 증강 현실 장치.
  8. 가상 사용자 인터페이스를 이용한 증강 현실 방법에 있어서,
    영상 촬영 장치를 통해 획득한 실제 영상으로부터 실제 객체 또는 마커를 가상 사용자 인터페이스와 매핑된 액션 마커 또는 가상 객체와 매핑된 일반 마커로 인식하는 마커 인식 단계;
    상기 인식된 액션 마커와 매핑되는 가상 사용자 인터페이스를 렌더링하는 인터페이스 렌더링 단계;
    상기 렌더링된 가상 사용자 인터페이스를 통해 사용자 명령이 입력되면, 상기 입력된 사용자 명령과 매핑된 인터렉션 정보에 따라 가상 객체의 렌더링을 조정하는 인터렉션 단계; 및
    상기 가상 객체의 렌더링 조정에 따라 가상 객체를 렌더링하여 상기 획득된 실제 영상에 합성시키는 영상 합성 단계
    를 포함하는 증강 현실 방법.
  9. 제 8 항에 있어서,
    상기 획득한 실제 영상으로부터 상기 실제 객체 또는 상기 마커의 특징점을 추출하는 특징점 추출 단계를 더 포함하고,
    상기 마커 인식 단계는, 상기 추출된 실제 객체 또는 마커의 특징점을 이용하여 상기 실제 객체 또는 마커를 인식하는 증강 현실 방법.
  10. 제 8 항에 있어서,
    상기 인터렉션 단계는,
    상기 렌더링된 가상 사용자 인터페이스에 대해서 상기 획득한 실제 영상 내의 상기 사용자의 조작, 또는 화면의 사용자 조작 중 적어도 어느 하나를 통해 사용자 명령을 입력받는 증강 현실 방법.
  11. 제 8 항에 있어서,
    상기 가상 사용자 인터페이스는,
    상기 사용자 명령이 입력되는 도형, 로고, 텍스트 또는 버튼 중 적어도 어느 하나인 것을 특징으로 하는 증강 현실 방법.
  12. 제8항 내지 제11항 중 어느 한 항에 의한 과정을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
KR1020100026714A 2010-03-25 2010-03-25 가상 사용자 인터페이스를 이용한 증강현실 시스템 및 그 방법 KR101250619B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100026714A KR101250619B1 (ko) 2010-03-25 2010-03-25 가상 사용자 인터페이스를 이용한 증강현실 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100026714A KR101250619B1 (ko) 2010-03-25 2010-03-25 가상 사용자 인터페이스를 이용한 증강현실 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20110107542A true KR20110107542A (ko) 2011-10-04
KR101250619B1 KR101250619B1 (ko) 2013-04-09

Family

ID=45025668

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100026714A KR101250619B1 (ko) 2010-03-25 2010-03-25 가상 사용자 인터페이스를 이용한 증강현실 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR101250619B1 (ko)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013028908A1 (en) * 2011-08-24 2013-02-28 Microsoft Corporation Touch and social cues as inputs into a computer
KR101308000B1 (ko) * 2012-06-11 2013-09-12 김성진 가상 체험 영상 교육 장치 및 그 제어 방법
KR101347148B1 (ko) * 2012-06-11 2014-01-03 (주)스토디 입력 제어 방법 및 시스템
KR20140108128A (ko) * 2013-02-28 2014-09-05 삼성전자주식회사 증강 현실 제공 장치 및 방법
KR101518696B1 (ko) * 2014-07-09 2015-05-08 정지연 증강현실 컨텐츠의 생성 및 재생 시스템과, 이를 이용한 방법
US9038127B2 (en) 2011-08-09 2015-05-19 Microsoft Technology Licensing, Llc Physical interaction with virtual objects for DRM
US9153195B2 (en) 2011-08-17 2015-10-06 Microsoft Technology Licensing, Llc Providing contextual personal information by a mixed reality device
WO2016006946A1 (ko) * 2014-07-09 2016-01-14 정지연 증강현실 컨텐츠의 생성 및 재생 시스템과 이를 이용한 방법
WO2016093565A1 (ko) * 2014-12-10 2016-06-16 한상선 증강현실을 접목한 제품과 다양한 추가기능이 탑재된 통합 애플리케이션시스템
US9448620B2 (en) 2012-08-21 2016-09-20 Samsung Electronics Co., Ltd. Input method and apparatus of portable device for mapping segments of a hand to a plurality of keys
KR101714983B1 (ko) * 2016-08-25 2017-03-22 한상선 제품을 활용한 증강 현실을 구현하기 위한 서버 및 사용자 장치 및 제품
US10019962B2 (en) 2011-08-17 2018-07-10 Microsoft Technology Licensing, Llc Context adaptive user interface for augmented reality display
WO2018128526A1 (en) * 2017-01-09 2018-07-12 Samsung Electronics Co., Ltd. System and method for augmented reality control
WO2019124818A1 (ko) * 2017-12-19 2019-06-27 주식회사 동우 이앤씨 혼합 현실 서비스 제공 방법 및 시스템
KR20190074936A (ko) * 2018-08-17 2019-06-28 주식회사 동우 이앤씨 혼합 현실 서비스 제공 방법 및 시스템
KR20190075596A (ko) * 2017-12-21 2019-07-01 김일식 증강 현실 컨텐츠를 제작하는 방법, 이를 이용하는 방법 및 이를 이용한 장치
KR20200032596A (ko) * 2018-09-18 2020-03-26 전남대학교산학협력단 증강현실과 가상현실이 통합된 듀얼 리얼리티 환경에서 제조 서비스 정보 제공 방법 및 단말
KR20200108518A (ko) * 2019-03-04 2020-09-21 인하대학교 산학협력단 증강현실 기반 3d 프린터 유지보수 방법 및 시스템

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9761059B2 (en) * 2014-01-03 2017-09-12 Intel Corporation Dynamic augmentation of a physical scene
US10270985B2 (en) 2014-09-03 2019-04-23 Intel Corporation Augmentation of textual content with a digital scene
KR101807513B1 (ko) 2015-05-13 2017-12-12 한국전자통신연구원 3차원 공간에서 영상정보를 이용한 사용자 의도 분석장치 및 분석방법
KR102625729B1 (ko) 2021-10-05 2024-01-16 가온그룹 주식회사 클론객체를 이용하는 ar 콘텐츠 렌더링 처리 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101146091B1 (ko) * 2007-11-30 2012-05-16 광주과학기술원 증강 현실을 위한 입력 인터페이스 장치 및 이를 구비한 증강 현실 시스템

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9038127B2 (en) 2011-08-09 2015-05-19 Microsoft Technology Licensing, Llc Physical interaction with virtual objects for DRM
US9767524B2 (en) 2011-08-09 2017-09-19 Microsoft Technology Licensing, Llc Interaction with virtual objects causing change of legal status
US9153195B2 (en) 2011-08-17 2015-10-06 Microsoft Technology Licensing, Llc Providing contextual personal information by a mixed reality device
US10223832B2 (en) 2011-08-17 2019-03-05 Microsoft Technology Licensing, Llc Providing location occupancy analysis via a mixed reality device
US10019962B2 (en) 2011-08-17 2018-07-10 Microsoft Technology Licensing, Llc Context adaptive user interface for augmented reality display
WO2013028908A1 (en) * 2011-08-24 2013-02-28 Microsoft Corporation Touch and social cues as inputs into a computer
US11127210B2 (en) 2011-08-24 2021-09-21 Microsoft Technology Licensing, Llc Touch and social cues as inputs into a computer
KR101308000B1 (ko) * 2012-06-11 2013-09-12 김성진 가상 체험 영상 교육 장치 및 그 제어 방법
KR101347148B1 (ko) * 2012-06-11 2014-01-03 (주)스토디 입력 제어 방법 및 시스템
US9448620B2 (en) 2012-08-21 2016-09-20 Samsung Electronics Co., Ltd. Input method and apparatus of portable device for mapping segments of a hand to a plurality of keys
KR20140108128A (ko) * 2013-02-28 2014-09-05 삼성전자주식회사 증강 현실 제공 장치 및 방법
WO2016006946A1 (ko) * 2014-07-09 2016-01-14 정지연 증강현실 컨텐츠의 생성 및 재생 시스템과 이를 이용한 방법
US9959681B2 (en) 2014-07-09 2018-05-01 Ji-yeon Jeong Augmented reality contents generation and play system and method using the same
KR101518696B1 (ko) * 2014-07-09 2015-05-08 정지연 증강현실 컨텐츠의 생성 및 재생 시스템과, 이를 이용한 방법
CN106664465A (zh) * 2014-07-09 2017-05-10 郑芝娟 用于创建和再现增强现实内容的系统以及使用其的方法
CN106664465B (zh) * 2014-07-09 2020-02-21 郑芝娟 用于创建和再现增强现实内容的系统以及使用其的方法
WO2016093565A1 (ko) * 2014-12-10 2016-06-16 한상선 증강현실을 접목한 제품과 다양한 추가기능이 탑재된 통합 애플리케이션시스템
KR101714983B1 (ko) * 2016-08-25 2017-03-22 한상선 제품을 활용한 증강 현실을 구현하기 위한 서버 및 사용자 장치 및 제품
US10410422B2 (en) 2017-01-09 2019-09-10 Samsung Electronics Co., Ltd. System and method for augmented reality control
WO2018128526A1 (en) * 2017-01-09 2018-07-12 Samsung Electronics Co., Ltd. System and method for augmented reality control
CN111492396A (zh) * 2017-12-19 2020-08-04 (株)同友E&C 混合现实服务提供方法及系统
US11030359B2 (en) 2017-12-19 2021-06-08 Dongwoo E&C Method and system for providing mixed reality service
WO2019124818A1 (ko) * 2017-12-19 2019-06-27 주식회사 동우 이앤씨 혼합 현실 서비스 제공 방법 및 시스템
KR20190075596A (ko) * 2017-12-21 2019-07-01 김일식 증강 현실 컨텐츠를 제작하는 방법, 이를 이용하는 방법 및 이를 이용한 장치
KR20190074936A (ko) * 2018-08-17 2019-06-28 주식회사 동우 이앤씨 혼합 현실 서비스 제공 방법 및 시스템
KR20200032596A (ko) * 2018-09-18 2020-03-26 전남대학교산학협력단 증강현실과 가상현실이 통합된 듀얼 리얼리티 환경에서 제조 서비스 정보 제공 방법 및 단말
KR20200108518A (ko) * 2019-03-04 2020-09-21 인하대학교 산학협력단 증강현실 기반 3d 프린터 유지보수 방법 및 시스템

Also Published As

Publication number Publication date
KR101250619B1 (ko) 2013-04-09

Similar Documents

Publication Publication Date Title
KR101250619B1 (ko) 가상 사용자 인터페이스를 이용한 증강현실 시스템 및 그 방법
US10599921B2 (en) Visual language interpretation system and user interface
KR101227255B1 (ko) 마커 크기 기반 인터렉션 방법 및 이를 구현하기 위한 증강 현실 시스템
US9911231B2 (en) Method and computing device for providing augmented reality
US9959681B2 (en) Augmented reality contents generation and play system and method using the same
US11323756B2 (en) Annotating extended reality presentations
EP2912659B1 (en) Augmenting speech recognition with depth imaging
US10401948B2 (en) Information processing apparatus, and information processing method to operate on virtual object using real object
US8913057B2 (en) Information processing device, information processing method, and program
US9691179B2 (en) Computer-readable medium, information processing apparatus, information processing system and information processing method
US20120319949A1 (en) Pointing device of augmented reality
CN109997098B (zh) 装置、相关联的方法和相关联的计算机可读介质
CN110546601B (zh) 信息处理装置、信息处理方法和程序
US10372229B2 (en) Information processing system, information processing apparatus, control method, and program
JP2012243007A (ja) 映像表示装置及びそれを用いた映像領域選択方法
EP3236336B1 (en) Virtual reality causal summary content
EP3343348A1 (en) An apparatus and associated methods
JP2020520576A5 (ko)
CN111045511A (zh) 基于手势的操控方法及终端设备
US11520409B2 (en) Head mounted display device and operating method thereof
EP3742185B1 (en) An apparatus and associated methods for capture of spatial audio
TWI633500B (zh) 擴增實境應用產生系統及方法
US20210099748A1 (en) Communication exchange system for remotely communicating instructions
WO2015072091A1 (ja) 画像処理装置、画像処理方法及びプログラム記憶媒体
JP2021166091A (ja) 画像処理装置、画像処理方法、コンピュータプログラム

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180305

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190226

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20200225

Year of fee payment: 8