KR20110088778A - 증강 현실 제공 단말기 및 방법 - Google Patents

증강 현실 제공 단말기 및 방법 Download PDF

Info

Publication number
KR20110088778A
KR20110088778A KR1020100008444A KR20100008444A KR20110088778A KR 20110088778 A KR20110088778 A KR 20110088778A KR 1020100008444 A KR1020100008444 A KR 1020100008444A KR 20100008444 A KR20100008444 A KR 20100008444A KR 20110088778 A KR20110088778 A KR 20110088778A
Authority
KR
South Korea
Prior art keywords
digital marker
terminal
digital
unit
augmented reality
Prior art date
Application number
KR1020100008444A
Other languages
English (en)
Other versions
KR101082285B1 (ko
Inventor
황주희
박선형
김대용
유용길
강문기
홍재만
이용연
공경진
장성환
Original Assignee
주식회사 팬택
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 팬택 filed Critical 주식회사 팬택
Priority to KR1020100008444A priority Critical patent/KR101082285B1/ko
Priority to US12/856,963 priority patent/US20110187743A1/en
Priority to CN2010102613191A priority patent/CN102142151A/zh
Priority to JP2010191137A priority patent/JP5416057B2/ja
Priority to TW099129761A priority patent/TW201136300A/zh
Priority to EP10177252.3A priority patent/EP2355009A3/en
Publication of KR20110088778A publication Critical patent/KR20110088778A/ko
Application granted granted Critical
Publication of KR101082285B1 publication Critical patent/KR101082285B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/432—Query formulation
    • G06F16/434—Query formulation using image data, e.g. images, photos, pictures taken by a user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes

Abstract

본 발명은 디지털 마커를 이용하여 증강 현실을 제공할 수 있도록 하는 증강 현실 제공 단말기 및 방법에 관한 것이다.
이를 위해, 본 발명은 제1증강 현실 제공 단말기가 디지털 마커 편집 모드에서 편집한 디지털 마커와 그에 대응하는 객체를 근거리 무선 통신 기술 등을 이용하여 제2증강 현실 제공 단말기와 공유한 후, 제1증강 현실 제공 단말기의 화면 표시부에 디지털 마커를 디스플레이하면, 제2증강 현실 제공 단말기가 카메라를 이용하여 디지털 마커를 촬영한 후, 촬영된 디지털 마커에 대응하는 객체를 카메라를 통해 획득한 실시간 영상 화면과 합성하여 화면 표시부에 디스플레이하되, 단말기 사용자로부터 디지털 마커를 변경하기 위한 입력 정보를 입력받아 이를 근거리 무선 통신 기술을 이용하여 제1증강 현실 제공 단말기로 전송하고, 제1증강 현실 제공 단말기는 제2증강 현실 제공 단말기로부터 수신한 입력 정보에 의거하여 디지털 마커를 변경하고, 제2증강 현실 제공 단말기는 변경된 디지털 마커를 촬영하여, 촬영된 디지털 마커에 대응하는 객체를 디스플레이하도록 구성되는 것이 바람직하다.
이에 따라, 본 발명은 디지털 마커를 이용하여 증강 현실을 제공함으로써, 디지털 마커의 편집을 통해 객체의 종류 및 동작 등을 변경하여 사용자와 인터렉티브한 동작을 수행할 수 있게 된다.

Description

증강 현실 제공 단말기 및 방법{TERMINAL AND METHOD FOR PROVIDING AUGMENTED REALITY}
본 발명은 증강 현실 제공 단말기 및 방법에 관한 것으로서, 특히 디지털 마커를 이용하여 증강 현실을 제공할 수 있도록 하는 증강 현실 제공 단말기 및 방법에 관한 것이다.
일반적으로 증강 현실(Augmented Reality)이라 함은 사용자 눈으로 보는 현실세계와 부가 정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여주는 기술로, 증강 현실 기술을 이용하여 현실세계를 배경으로 가상세계를 합성하기 위해서는 미리 설정된 패턴을 갖는 마커 또는 현실세계에 존재하는 건물이나 조형물 등을 인식하는 과정이 필요하다.
마커를 인식하는 경우, 종래에는 단말기에 구비되어 있는 카메라를 이용하여 흑색의 바탕에 흰색의 패턴으로 이루어진 마커를 포함하는 현실세계를 촬영하고, 촬영된 마커의 흰색 패턴을 인식한 후, 인식된 패턴에 대응하는 객체를 마커의 위치에 표시되도록 현실세계와 합성한 후 화면에 디스플레이한다.
종래의 증강 현실에서 사용되는 마커는 종이와 같은 매체에 그리거나 출력된 아날로그적인 마커이다. 이에 따라, 종래 아날로그 마커로는 사용자 조작으로 객체의 위치만 변경시킬 수 있고, 다른 종류의 객체로 바꾸거나 객체의 움직임을 제어하기 위해서는 다른 종이에 그려진 아날로그 마커를 사용해야 하는 불편함이 있다.
본 발명은 전술한 문제점을 해결하기 위해 안출된 것으로서, 마커를 디지털 마커로 구현하여 사용자가 원하는 시점에 디지털 마커를 편집하여 객체의 종류 및 동작 등을 변경할 수 있도록 하는 증강 현실 제공 단말기 및 방법을 제공함에 그 목적이 있다.
전술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 증강 현실 제공 단말기는, 단말기 사용자의 입력에 따라 디지털 마커를 편집하고, 그에 대응하는 객체를 정의하는 디지털 마커 편집부와; 상기 디지털 마커 편집부에서 편집된 디지털 마커와 그에 대응하는 객체를 저장하는 메모리부와; 상기 디지털 마커 편집부를 통해 편집되는 디지털 마커를 디스플레이하고, 상기 메모리부에 저장되어 있는 디지털 마커 중에서 단말기 사용자에 의해 선택된 디지털 마커를 디스플레이하는 화면 표시부를 포함하여 이루어지는 것이 바람직하다.
한편, 본 발명의 다른 실시예에 따른 증강 현실 제공 단말기는, 각각의 디지털 마커와 그에 대응하는 객체를 저장하고 있는 메모리부와; 타 기기의 화면 표시부에 디스플레이된 디지털 마커를 촬영하는 카메라부와; 상기 카메라부에서 촬영된 디지털 마커를 인식하여 상기 디지털 마커에 대응하는 객체를 상기 메모리부에서 읽어오는 제어부와; 상기 제어부에서 전달받은 객체를 상기 카메라부를 통해 획득한 실시간 영상 화면과 합성하여 화면 표시부에 디스플레이하는 영상 처리부를 포함하여 이루어지는 것이 바람직하다.
한편, 본 발명의 또 다른 실시예에 따른 증강 현실 제공 단말기는, 단말기 사용자의 입력에 따라 디지털 마커를 편집하고, 그에 대응하는 객체를 정의하는 디지털 마커 편집부와; 상기 디지털 마커 편집부에서 편집된 디지털 마커와 그에 대응하는 객체를 저장하는 메모리부와; 상기 디지털 마커 편집부를 통해 편집되는 디지털 마커를 디스플레이하고, 상기 메모리부에 저장되어 있는 디지털 마커 중에서 단말기 사용자에 의해 선택된 디지털 마커를 디스플레이하는 화면 표시부와; 타 단말기의 화면 표시부에 디스플레이된 디지털 마커를 촬영하는 카메라부와; 상기 카메라부에서 촬영된 디지털 마커를 인식하여 상기 디지털 마커에 대응하는 객체를 상기 메모리부에서 읽어오는 제어부와; 상기 제어부에서 전달받은 객체를 상기 카메라부를 통해 획득한 실시간 영상 화면과 합성하여 상기 화면 표시부에 디스플레이하는 영상 처리부를 포함하여 이루어지는 것이 바람직하다.
한편, 본 발명의 일 실시예에 따른 증강 현실 제공 방법은, 디지털 마커 편집 모드에서 단말기 사용자의 입력에 따라 디지털 마커를 편집하고, 그에 대응하는 객체를 정의하는 과정과; 상기 편집된 디지털 마커와 그에 대응하는 객체를 메모리부에 저장하는 과정과; 상기 메모리부에 저장된 디지털 마커 중에서 단말기 사용자에 의해 선택된 디지털 마커를 화면 표시부에 디스플레이하는 과정을 포함하여 이루어지는 것이 바람직하다.
한편, 본 발명의 다른 실시예에 따른 증강 현실 제공 방법은, 카메라를 이용하여 타 기기의 화면 표시부에 디스플레이된 디지털 마커를 촬영하는 과정과; 상기 촬영된 디지털 마커를 인식하여 상기 디지털 마커에 대응하는 객체를 메모리부에서 읽어오는 과정과; 상기 객체를 상기 카메라를 통해 획득한 실시간 영상 화면과 합성하여 화면 표시부에 디스플레이하는 과정을 포함하여 이루어지는 것이 바람직하다.
본 발명의 증강 현실 제공 단말기 및 방법에 따르면, 디지털 마커를 이용하여 증강 현실을 제공함으로써, 디지털 마커의 편집을 통해 객체의 종류 및 동작 등을 변경하여 사용자와 인터렉티브한 동작을 수행할 수 있게 된다.
도 1은 본 발명에 적용되는 디지털 마커를 예시적으로 보인 도면.
도 2는 본 발명의 일 실시예에 따른 증강 현실 제공 단말기의 구성을 개략적으로 보인 도면.
도 3은 본 발명의 다른 실시예에 따른 증강 현실 제공 단말기의 구성을 개략적으로 보인 도면.
도 4는 본 발명의 또 다른 실시예에 따른 증강 현실 제공 단말기의 구성을 개략적으로 보인 도면.
도 5는 본 발명의 일 실시예에 따른 증강 현실 제공 방법을 설명하기 위한 처리도.
도 6은 본 발명에 따라 편집되는 디지털 마커를 예시적으로 보인 도면.
도 7은 본 발명의 다른 실시예에 따른 증강 현실 제공 방법을 설명하기 위한 처리도.
이하에서는 첨부한 도면을 참조하여 본 발명의 바람직한 실시예에 따른 증강 현실 제공 단말기 및 방법에 대해서 상세하게 설명한다.
도 1은 본 발명에 적용되는 디지털 마커를 예시적으로 보인 도로, 본 발명에 디지털 마커는 단말기 사용자의 입력에 따라 모양, 크기, 위치, 색깔 등이 편집되어 객체의 종류(예를 들어, 자동차, 로봇, 공룡, 인형, 기차, 비행기, 동물, 한글, 숫자 등)를 정의하고 변경하는 객체 선택 영역(a)과, 단말기 사용자의 입력에 따라 모양, 크기, 위치, 색깔 등이 편집되어 객체의 동작(예를 들어, 객체가 공룡인 경우 왼손 펀치, 오른손 펀치, 왼발 킥, 오른발 킥 등)을 정의하고 변경하는 객체 동작 선택 영역(b)과, 단말기 사용자의 입력에 따라 모양, 크기, 위치, 색깔 등이 편집되어 객체가 디스플레이되는 화면의 배경색을 정의하고 변경하는 배경색 선택 영역(c)을 포함하여 이루어진다.
이에 따라, 단말기 사용자는 디지털 마커의 각 영역을 편집하여 객체의 종류, 동작, 배경색 등을 정의 및 변경할 수 있다.
도 2는 본 발명의 일 실시예에 따른 증강 현실 제공 단말기의 구성을 개략적으로 보인 도이다.
도 2에서, 디지털 마커 편집부(11)는 디지털 마커 편집 모드에서 단말기 사용자의 입력에 따라 디지털 마커를 편집하고, 그에 대응하는 객체를 정의한다. 여기서, 단말기 사용자의 입력은 키 입력 또는 터치 입력 등으로 구현될 수 있다.
전술한, 디지털 마커 편집부(11)는 현재 화면 표시부(15)에 디스플레이되어 있는 디지털 마커를 변경하기 위해 단말기 사용자로부터 입력받은 입력 정보에 의거하여, 현재 화면 표시부(15)에 디스플레이되어 있는 디지털 마커를 변경한다.
또한, 디지털 마커 편집부(11)는 근거리 무선 통신부(17)를 통해 타 단말기(100)로부터 전송받은 입력 정보(디지털 마커를 편집하기 위한 입력 정보)에 의거하여, 현재 화면 표시부(15)에 디스플레이되어 있는 디지털 마커를 변경한다.
또한, 디지털 마커 편집부(11)는 유/무선 통신부(19)를 통해 접속된 증강 현실 제공 서버(200)로부터 전송받은 입력 정보(디지털 마커를 편집하기 위한 입력 정보)에 의거하여, 현재 화면 표시부(15)에 디스플레이되어 있는 디지털 마커를 변경한다.
한편, 메모리부(13)는 디지털 마커 편집부(11)에서 편집된 디지털 마커와 그에 대응하는 객체를 저장한다.
전술한, 메모리부(13)는 디지털 마커 편집부(11)를 통해 편집된 디지털 마커를 순차적으로 저장하여 객체의 동작을 연속적으로 보여지도록 할 수 있다.
화면 표시부(15)는 디지털 마커 편집부(11)를 통해 편집되는 디지털 마커를 디스플레이하고, 메모리부(13)에 저장되어 있는 디지털 마커 중에서 단말기 사용자에 의해 선택된 디지털 마커를 디스플레이한다.
근거리 무선 통신부(17)는 디지털 마커 편집부(11)를 통해 편집되어 메모리부(13)에 저장되어 있는 디지털 마커 중에서 단말기 사용자에 의해 선택된 디지털 마커와 그에 대응하는 객체를 근거리 무선 통신 기술을 이용하여 타 단말기(100)로 전송한다.
전술한 바와 같이, 근거리 무선 통신 기술을 이용하여 타 단말기(100)로 자신이 편집한 디지털 객체와 그에 대응하는 객체를 전송함으로써, 타 단말기(100)와 디지털 객체와 그에 대응하는 객체를 공유할 수 있게 된다.
또한, 근거리 무선 통신부(17)는 타 단말기(100)로부터 디지털 마커를 변경하기 위한 입력 정보를 수신하여 이를 디지털 마커 편집부(11)로 전달한다.
유/무선 통신부(19)는 디지털 마커 편집부(11)를 통해 편집되어 메모리부(13)에 저장되어 있는 디지털 마커 중에서 단말기 사용자에 의해 선택된 디지털 마커와 그에 대응하는 객체를 유/무선 통신망을 통해 접속된 증강 현실 제공 서버(200)로 전송하여 등록한다.
전술한 바와 같이, 증강 현실 제공 서버(200)로 자신이 편집한 디지털 객체와 그에 대응하는 객체를 전송하여 등록함으로써, 증강 현실 제공 서버(200)를 통해 타 단말기(100)와 디지털 객체와 그에 대응하는 객체를 공유할 수 있게 된다.
또한, 유/무선 통신부(19)는 증강 현실 제공 서버(200)를 통해 타 단말기(100)로부터 디지털 마커를 변경하기 위한 입력 정보를 수신하여 이를 디지털 마커 편집부(11)로 전달한다.
도 3은 본 발명의 다른 실시예에 따른 증강 현실 제공 단말기의 구성을 개략적으로 보인 도이다.
도 3에서, 메모리부(21)는 각각의 디지털 마커와 그에 대응하는 객체 즉, 근거리 무선 통신부(25)를 통해 타 단말기(100)로부터 전송받은 디지털 마커와 그에 대응하는 객체, 유/무선 통신부(26)를 통해 증강 현실 제공 서버(200)로부터 다운로드받은 디지털 마커와 그에 대응하는 객체를 저장한다.
카메라부(22)는 타 단말기(100)의 화면 표시부에 디스플레이된 디지털 마커를 촬영한다.
제어부(23)는 카메라부(22)에서 촬영된 디지털 마커를 인식한 후, 인식된 디지털 마커에 대응하는 객체를 메모리부(21)에서 읽어와 이를 영상 처리부(24)로 전달한다.
영상 처리부(24)는 제어부(23)에서 전달받은 객체를 카메라부(22)를 통해 획득한 실시간 영상 화면과 합성하여 화면 표시부(25)에 오버랩하여 디스플레이한다.
근거리 무선 통신부(26)는 근거리 무선 통신 기술을 이용하여 타 단말기(100)로부터 디지털 마커와 그에 대응하는 객체를 전송받아 메모리부(21)에 저장하고, 타 단말기(100)의 화면 표시부에 디스플레이된 디지털 마커를 변경하기 위해 단말기 사용자로부터 입력받은 입력 정보를 근거리 무선 통신 기술을 이용하여 타 단말기(100)로 전송한다.
유/무선 통신부(27)는 유/무선 통신망을 통해 접속된 증강 현실 제공 서버(200)로부터 타 단말기(100)가 등록한 디지털 마커와 그에 대응하는 객체를 다운로드하여 메모리부(21)에 저장하고, 타 단말기(100)의 화면 표시부에 디스플레이된 디지털 마커를 변경하기 위해 단말기 사용자로부터 입력받은 입력 정보를 접속된 증강 현실 제공 서버(200)를 통해 타 단말기(100)로 전송한다.
도 4는 본 발명의 또 다른 실시예에 따른 증강 현실 제공 단말기의 구성을 개략적으로 보인 도이다.
도 4에서, 디지털 마커 편집부(31)는 디지털 마커 편집 모드에서 단말기 사용자의 입력에 따라 디지털 마커를 편집하고, 그에 대응하는 객체를 정의한다.
전술한, 디지털 마커 편집부(31)는 현재 화면 표시부(36)에 디스플레이되어 있는 디지털 마커를 변경하기 위해 단말기 사용자로부터 입력받은 입력 정보에 의거하여, 현재 화면 표시부(36)에 디스플레이되어 있는 디지털 마커를 편집하고, 근거리 무선 통신부(37)를 통해 타 단말기(100)로부터 전송받은 디지털 마커를 변경하기 위한 입력 정보에 의거하여, 현재 화면 표시부(37)에 디스플레이되어 있는 디지털 마커를 변경하고, 유/무선 통신부(38)를 통해 접속된 증강 현실 제공 서버(200)로부터 전송받은 디지털 마커를 변경하기 위한 입력 정보에 의거하여, 현재 화면 표시부(36)에 디스플레이되어 있는 디지털 마커를 변경한다.
메모리부(32)는 디지털 마커 편집부(31)에서 편집된 디지털 마커와 그에 대응하는 객체, 근거리 무선 통신부(37)를 통해 타 단말기(100)로부터 전송받은 디지털 마커와 그에 대응하는 객체, 유/무선 통신부(38)를 통해 증강 현실 제공 서버(200)로부터 다운로드받은 디지털 마커와 그에 대응하는 객체를 저장한다.
화면 표시부(36)는 디지털 마커 편집부(31)를 통해 편집되는 디지털 마커를 디스플레이하고, 메모리부(32)에 저장되어 있는 디지털 마커 중에서 단말기 사용자에 의해 선택된 디지털 마커를 디스플레이한다.
카메라부(33)는 타 단말기(100)의 화면 표시부에 디스플레이된 디지털 마커를 촬영한다.
제어부(34)는 카메라부(33)에서 촬영된 디지털 마커를 인식한 후, 인식된 디지털 마커에 대응하는 객체를 메모리부(32)에서 읽어와 이를 영상 처리부(35)로 전달한다.
영상 처리부(35)는 제어부(34)로부터 전달받은 객체를 카메라부(33)를 통해 획득한 실시간 영상 화면과 합성하여 화면 표시부(35)에 디스플레이한다.
근거리 무선 통신부(37)는 디지털 마커 편집부(31)를 통해 편집되어 메모리부(32)에 저장되어 있는 디지털 마커 중에서 단말기 사용자에 의해 선택된 디지털 마커와 그에 대응하는 객체를 근거리 무선 통신 기술을 이용하여 타 단말기(100)로 전송하는 한편, 타 단말기(100)로부터 디지털 마커와 그에 대응하는 객체를 근거리 무선 통신 기술을 이용하여 전송받아 메모리부(32)에 저장하고, 타 단말기(100)로부터 현재 화면 표시부(36)에 디스플레이되어 있는 디지털 마커를 변경하기 위한 입력 정보를 수신하여 이를 디지털 마커 편집부(31)로 전달하는 한편, 타 단말기(100)의 화면 표시부에 디스플레이된 디지털 마커를 변경하기 위해 단말기 사용자로부터 입력받은 입력 정보를 근거리 무선 통신 기술을 이용하여 타 단말기(100)로 전송한다.
유/무선 통신부(38)는 디지털 마커 편집부(31)를 통해 편집되어 메모리부(32)에 저장되어 있는 디지털 마커 중에서 단말기 사용자에 의해 선택된 디지털 마커와 그에 대응하는 객체를 유/무선 통신망을 통해 접속된 증강 현실 제공 서버(200)로 전송하는 한편, 증강 현실 제공 서버(200)로부터 타 단말기(100)가 등록한 디지털 마커와 그에 대응하는 객체를 다운로드하여 메모리부(32)에 저장하고, 증강 현실 제공 서버(200)를 통해 타 단말기(100)로부터 현재 화면 표시부(36)에 디스플레이되어 있는 디지털 마커를 변경하기 위한 입력 정보를 수신하여 이를 디지털 마커 편집부(31)로 전달하는 한편, 타 단말기(100)의 화면 표시부에 디스플레이된 디지털 마커를 변경하기 위해 단말기 사용자로부터 입력받은 입력 정보를 접속된 증강 현실 제공 서버(200)를 통해 타 단말기(100)로 전송한다.
도 5는 본 발명의 일 실시예에 따른 증강 현실 제공 방법을 설명하기 위한 처리도로, 도 2를 참조하여 설명을 진행한다.
우선, 증강 현실 제공 단말기(10)는 디지털 마커 편집 모드에서 단말기 사용자의 입력에 따라 디지털 마커를 편집하고, 그에 대응하는 객체를 정의한다(S10).
상기한 과정 S10에서 단말기 사용자는 도 6에 도시하는 바와 같이, 디지털 마커의 객체 선택 영역(a)을 편집한 후, 그에 대응하는 객체의 종류를 정의하고, 객체 동작 선택 영역(b)을 편집한 후, 해당 객체의 동작을 정의하고, 배경색 선택 영역(c)을 편집한 후, 해당 객체가 디스플레이되는 화면의 배경색을 정의한다.
이후에는, 상기한 과정 S10을 통해 편집된 디지털 마커와 그에 대응하는 객체를 메모리부(13)에 저장한다(S12).
이후, 단말기 사용자로부터 메모리부(13)에 저장되어 있는 디지털 마커 중에서 어느 하나가 선택되면(S14), 증강 현실 제공 단말기(10)는 선택된 디지털 마커를 화면 표시부(15)에 디스플레이하고(S16), 화면 표시부(15)에 디지털 마커가 디스플레이되어 있는 상태에서 단말기 사용자로부터 디지털 마커를 변경하기 위한 입력 정보를 입력받으면(S18), 증강 현실 제공 단말기(10)는 단말기 사용자로부터 입력받은 입력 정보에 의거하여, 현재 화면 표시부(15)에 디스플레이되어 있는 디지털 마커를 변경한다(S20).
한편, 화면 표시부(15)에 디지털 마커가 디스플레이되어 있는 상태에서 근거리 무선 통신부(17)를 통해 타 단말기(100)로부터 화면 표시부(15)에 디스플레이된 디지털 마커를 변경하기 위한 입력 정보가 수신되면(S22), 증강 현실 제공 단말기(10)는 근거리 무선 통신부(17)를 통해 타 단말기(100)로부터 수신한 입력 정보에 의거하여, 현재 화면 표시부(15)에 디스플레이되어 있는 디지털 마커를 변경한다(S24).
한편, 화면 표시부(15)에 디지털 마커가 디스플레이되어 있는 상태에서 유/무선 통신부(19)를 통해 증강 현실 제공 서버(200)로부터 화면 표시부(15)에 디스플레이된 디지털 마커를 변경하기 위한 입력 정보가 수신되면(S26), 증강 현실 제공 단말기(10)는 유/무선 통신부(19)를 통해 증강 현실 제공 서버(200)로부터 수신한 입력 정보에 의거하여, 현재 화면 표시부(15)에 디스플레이되어 있는 디지털 마커를 변경한다(S28).
한편, 단말기 사용자로부터 근거리 무선 통신을 이용한 디지털 마커 전송을 요구받으면(S30), 증강 현실 제공 단말기(10)는 메모리부(13)에 저장되어 있는 디지털 마커 중에서 근거리 무선 통신 기술을 이용하여 전송하고자 하는 디지털 마커를 선택받고(S32), 선택된 디지털 마커와 그에 대응하는 객체를 근거리 무선 통신부(17)를 통해 타 단말기(100)로 전송한다(S34).
상기한 과정 S34를 통해 근거리 무선 통신 기술을 이용하여 증강 현실 제공 단말기(10)로부터 디지털 마커와 그에 대응하는 객체를 전송받은 타 단말기(100)는, 증강 현실 제공 단말기(10)로부터 수신한 디지털 마커와 그에 대응하는 객체를 메모리부에 저장한다.
한편, 단말기 사용자로부터 증강 현실 제공 서버(200)로의 디지털 마커 등록을 요구받으면(S36), 증강 현실 제공 단말기(10)는 메모리부(13)에 저장되어 있는 디지털 마커 중에서 증강 현실 제공 서버(200)로 등록할 디지털 마커를 선택받고(S38), 선택된 디지털 마커와 그에 대응하는 객체를 유/무선 통신부(19)를 증강 현실 제공 서버(200)로 전송하여 등록한다(S40).
상기한 과정 S40을 통해 증강 현실 제공 단말기(10)가 유/무선 통신망을 통해 접속된 증강 현실 제공 서버(200)에 자신이 편집한 디지털 마커와 그에 대응하는 객체를 전송하여 등록하게 되면, 유/무선 통신망을 통해 증강 현실 제공 서버(200)에 접속한 타 단말기(100)가 증강 현실 제공 단말기(10)가 증강 현실 제공 서버(200)에 등록해 놓은 디지털 마커와 그에 대응하는 객체를 다운로드하여, 다운로드한 디지털 마커와 그에 대응하는 객체를 메모리부에 저장할 수 있다.
도 7은 본 발명의 다른 실시예에 따른 증강 현실 제공 방법을 설명하기 위한 처리도로, 도 3을 참조하여 설명을 진행한다.
우선, 타 단말기(100)의 화면 표시부에 디스플레이된 디지털 마커를 증강 현실 제공 단말기(20)에 구비되어 있는 카메라를 이용하여 촬영하면(S50), 촬영된 디지털 마커를 제어부(23)에서 인식하여, 인식된 디지털 마커에 대응하는 객체를 메모리부(21)에서 읽어온다(S52).
이후에는, 상기한 과정 S52에서 읽어온 객체를 카메라를 통해 획득한 실시간 영상 화면과 합성하여 화면 표시부(25)에 디스플레이한다(S54).
이후, 단말기 사용자로부터 타 단말기(100)의 화면 표시부에 디스플레이되어 있는 디지털 마커를 변경하기 위한 입력 정보를 입력받으면(S56), 단말기 사용자로부터 입력받은 입력 정보를 근거리 무선 통신부(26)를 통해 타 단말기(100)로 전송한다(S58).
상기한 과정 S58을 통해 근거리 무선 통신 기술을 이용하여 증강 실현 제공 단말기(20)로부터 화면 표시부에 디스플레이되어 있는 디지털 마커를 변경하기 위한 입력 정보를 전송받은 타 단말기(100)는 입력 정보에 의거하여 화면 표시부에 디스플레이되어 있는 디지털 마커를 변경한다.
한편, 증강 현실 제공 단말기(20)는 타 단말기(100)의 화면 표시부 상에서 변경된 디지털 마커를 촬영하고(S60), 촬영된 디지털 마커를 새로 인식하여, 새로 인식된 디지털 마커에 대응하는 객체를 메모리부(21)에서 읽어온다(S62).
이후에는, 상기한 과정 S62를 통해 메모리부(21)에서 읽어온 객체를 카메라를 통해 획득한 실시간 영상 화면과 합성하여 화면 표시부(25)에 디스플레이한다(S64).
예를 들어, 근거리 무선 통신 기술을 이용하여 증강 현실 제공 단말기(20)가 타 단말기(100)로 전송한 입력 정보에 의거하여 타 단말기(100)의 화면 표시부에 디스플레이되는 디지털 마커의 객체 선택 영역(a)이 변경된 경우에는 객체가 예를 들어, 공룡에서 자동차로 변경되어 디스플레이되고, 디지털 마커의 객체 동작 선택 영역(b)이 변경된 경우에는 디스플레이 중인 공룡의 왼쪽 펀치가 동작하고, 디지털 마커의 배경색 선택 영역(c)이 변경된 경우에는 객체가 디스플레이되는 배경의 색이 예를 들어, 파랑에서 흰색으로 변경된다.
이상에서 살펴본 바와 같은 본 발명의 증강 현실 제공 단말기 및 방법은 다양한 서비스에 적용될 수 있는 데, 그 일 예로, 모바일 폰, PC, PMP, MID(Moblie Internet Device) 등과 같이 화면 표시부를 구비하는 제1단말기가 디지털 마커 편집 시에 편집된 디지털 마커에 대응하는 객체를 자동차, 로봇, 공룡, 인형, 기차, 비행기, 동물, 한글, 영어, 숫자 등으로 정의하고, 편집된 디지털 마커와 그에 대응하는 객체를 카메라가 구비된 제2단말기와 공유한 후, 제1단말기가 화면 표시부에 디지털 마커를 디스플레이하면, 제2단말기가 카메라로 디지털 마커를 촬영하고, 촬영된 디지털 마커를 인식하여 인식된 디지털 마커에 대응하는 객체(자동차, 로봇, 공룡, 인형, 기차, 비행기, 동물, 한글, 영어, 숫자 등)를 카메라를 통해 획득한 실시간 영상 화면과 합성하여 화면 표시부에 디스플레이하고, 키(또는 터치 화면) 조작(근거리 무선 통신을 이용한 원격 조작 포함) 등을 통해 디지털 마커를 변경함으로써, 객체의 동작을 변경시켜 아이들이 장난감 대용으로 사용케 하거나, 객체가 한글, 영어, 숫자 등인 경우에는 글자를 변경시켜 아이들이 재미있게 한글, 영어, 숫자 등을 배울 수 있도록 할 수 있다.
또한, 다른 예로, 제1단말기에서 디지털 마커 편집 시에 편집된 디지털 마커에 대응하는 객체를 옷, 액세서리 등으로 정의하고, 편집된 디지털 마커와 그에 대응하는 객체를 카메라가 구비된 제2단말기와 공유한 후, 제1단말기의 화면 표시부를 사용자 몸 적소에 댄 상태에서 디지털 마커를 디스플레이하면, 제2단말기가 카메라로 디지털 마커를 촬영하고, 촬영된 디지털 마커를 인식하여 인식된 디지털 마커에 대응하는 객체(옷, 액세서리 등)를 카메라를 통해 획득한 실시간 영상 화면과 합성하여 화면 표시부에 디스플레이함으로써, 사용자가 가상으로 옷, 액세서리 등을 착용해 볼 수 있도록 하고, 또한, 키(또는 터치 화면) 조작(근거리 무선 통신을 이용한 원격 조작 포함) 등을 통해 디지털 마커를 변경함으로써, 가상으로 착용하는 옷, 액세서리 등을 변경할 수도 있다.
또한, 다른 예로, 제1단말기에서 디지털 마커 편집 시에 편집된 디지털 마커에 대응하는 객체를 '휴가중', '식사중', '회의중' 등과 같은 메시지로 정의하고, 편집된 디지털 마커와 그에 대응하는 객체를 카메라가 구비된 제2단말기와 공유한 후, 제1단말기 사용자가 제1단말기의 화면 표시부에 디지털 마커를 띄워 놓고 자리를 비우면, 제2단말기가 카메라로 디지털 마커를 촬영하고, 촬영된 디지털 마커를 인식하여 인식된 디지털 마커에 대응하는 메시지('휴가중', '식사중', '회의중' 등)를 확인할 수 있게 된다. 이때, 제1단말기 사용자는 제3단말기로 유/무선 통신망을 통해 증강 현실 제공 서버(200)에 접속한 후, 접속된 증강 현실 제공 서버(200)를 통해 제1단말기의 화면 표시부에 디스플레이되어 있는 디지털 마커를 변경할 수도 있다.
또한, 다른 예로, 제1단말기에서 디지털 마커 편집 시에 편집된 디지털 마커에 대응하는 객체를 수학, 영어, 국어, 사회, 과학 등의 문제로 정의하고, 편집된 디지털 마커와 그에 대응하는 객체를 카메라가 구비된 제2단말기와 공유한 후, 제1단말기의 화면 표시부에 디지털 마커를 디스플레이하면, 제2단말기가 카메라로 촬영된 디지털 마커를 인식하여 인식된 디지털 마커에 대응하는 문제를 화면 표시부에 디스플레이하고, 키(또는 터치 화면) 조작(근거리 무선 통신을 이용한 원격 조작 포함) 등을 통해 디지털 마커를 변경하여 문제에 대한 답을 입력하면, 제2단말기가 입력한 답에 따라 제1단말기가 피드백을 줄 수 있도록 한다.
또한, 다른 예로, 제1단말기에서 디지털 마커 편집 시에 편집된 디지털 마커에 대응하는 객체를 가격으로 정의하고, 편집된 디지털 마커와 그에 대응하는 객체를 카메라가 구비된 제2단말기와 공유한 후, 경매입찰자가 자신이 원하는 가격에 대응하는 디지털 마커를 제1단말기의 화면 표시부에 디스플레이하면, 경매사는 제2단말기의 카메라로 촬영된 디지털 마커에 대응하는 가격을 보고 최저가(또는 최고가)를 적어낸 경매입찰자에게 낙찰시킨다.
또한, 다른 예로, 은행에서 대기표 대신 디지털 마커를 고객의 모바일 폰에 전송하고, 은행 직원이 증강 현실로 다음 순서의 고객을 확인할 수 있도록 할 수 있으며, 고객마다 유니크한 디지털 마커를 발행하여 증강 현실로 간단하게 고객에 대한 정보(대출, 예금, 카드 발행 등)를 확인할 수 있다.
또한, 다른 예로, 제1단말기에서 디지털 마커 편집 시에 편집된 디지털 마커에 대응하는 객체를 프로포즈에 사용할 텍스트나 이모티콘 등으로 정의하고, 편집된 디지털 마커와 그에 대응하는 객체를 카메라가 구비된 제2단말기와 공유한 후, 제1단말기의 화면 표시부에 디지털 마커를 디스플레이하면, 제2단말기가 카메라로 촬영된 디지털 마커에 대응하는 텍스트나 이모티콘 등을 카메라를 통해 획득한 실시간 영상 화면과 합성하여 화면 표시부에 디스플레이하고, 키(또는 터치 화면) 조작(근거리 무선 통신을 이용한 원격 조작 포함) 등을 통해 디지털 마커를 변경하여 그에 대응하는 텍스트나 이모티콘 등을 디스플레이함으로써, 연인에게 프로포즈를 할 수 있도록 한다.
또한, 다른 예로, 제1단말기에서 디지털 마커 편집 시에 편집된 디지털 마커에 대응하는 객체를 명함으로 정의하고, 편집된 디지털 마커와 그에 대응하는 객체를 카메라가 구비된 제2단말기와 공유한 후, 제1단말기의 화면 표시부에 디지털 마커를 디스플레이하면, 제2단말기가 카메라로 촬영된 디지털 마커에 대응하는 명함을 화면 표시부에 디스플레이함으로써, 상대방에게 자신의 정보를 비쥬얼하게 보여줄 수 있게 한다.
또한, 다른 예로, 집안의 주요 진입로 양쪽에 두 대의 모바일 폰이 마주보도록 설치한 후, 제1단말기는 화면 표시부에 디지털 마커를 디스플레이하도록 하고, 제2단말기는 카메라로 디지털 마커를 지속적으로 촬영하여, 촬영된 디지털 마커에 대응하는 가상의 선을 카메라를 통해 획득한 실시간 영상 화면과 합성하여 화면 표시부에 디스플레이하되, 사람의 출입으로 가상의 선이 끊어지게 되면, 경보음이 울리도록 한다.
또한, 다른 예로, 제1단말기에서 디지털 마커 편집 시에 편집된 디지털 마커에 대응하는 객체를 골프, 태권도, 테니스, 격투기, 볼링 등의 스포츠 동작으로 정의하고, 편집된 디지털 마커와 그에 대응하는 객체를 카메라가 구비된 제2단말기와 공유한 후, 제1단말기가 화면 표시부에 디지털 마커를 디스플레이하면, 제2단말기가 카메라로 촬영된 디지털 마커에 대응하는 스포츠 동작을 카메라를 통해 획득한 실시간 영상 화면과 합성하여 화면 표시부에 디스플레이하고, 키(또는 터치 화면) 조작(근거리 무선 통신을 이용한 원격 조작 포함) 등을 통해 디지털 마커를 변경함으로써, 스포츠 동작을 기 정의된 순서대로 변경해 가면서 볼 수 있도록 한다.
또한, 다른 예로, 제1단말기에서 디지털 마커 편집 시에 편집된 디지털 마커에 대응하는 객체를 교육에 필요한 사물 객체(예를 들어, 첨성대, 다보탑, 석가탑, 에펠탑, 스핑크스, 피라미드 등)로 정의하고, 편집된 디지털 마커와 그에 대응하는 객체를 카메라가 구비된 제2단말기와 공유한 후, 제1단말기가 화면 표시부에 디지털 마커를 디스플레이하면, 제2단말기가 카메라로 촬영된 디지털 마커에 대응하는 사물 객체를 화면 표시부에 디스플레이함으로써, 교육시 특정한 사물 객체에 대한 설명을 할 때, 키(또는 터치 화면) 조작(근거리 무선 통신을 이용한 원격 조작 포함) 등을 통해 설명할 사물 객체를 변경함으로써, 학생들에게 설명하는 사물 객체를 시각적으로 보여주면서 수업을 진행할 수 있도록 한다.
이상에서 살펴본 바와 같이, 제공하고자 하는 서비스에 따라 편집된 디지털 마커와 그에 대응하는 객체는 온라인 상의 증강 현실 제공 서버를 통해 상거래되어 유통될 수도 있다.
본 발명의 증강 현실 제공 단말기 및 방법은 전술한 실시예에 국한되지 않고 본 발명의 기술 사상이 허용하는 범위 내에서 다양하게 변형하여 실시할 수 있다.
10, 20, 30. 증강 현실 제공 단말기, 11, 31. 디지털 마커 편집부,
13, 21, 32. 메모리부, 15, 25, 36. 화면 표시부,
17, 26, 37. 근거리 무선 통신부, 19, 27, 38. 유/무선 통신부,
22, 33. 카메라부, 23, 34. 제어부,
24, 35. 영상 처리부, 100. 타 단말기,
200. 증강 현실 제공 서버

Claims (23)

  1. 단말기 사용자의 입력에 따라 디지털 마커를 편집하고, 그에 대응하는 객체를 정의하는 디지털 마커 편집부와;
    상기 디지털 마커 편집부에서 편집된 디지털 마커와 그에 대응하는 객체를 저장하는 메모리부와;
    상기 디지털 마커 편집부를 통해 편집되는 디지털 마커를 디스플레이하고, 상기 메모리부에 저장되어 있는 디지털 마커 중에서 단말기 사용자에 의해 선택된 디지털 마커를 디스플레이하는 화면 표시부를 포함하여 이루어지는 증강 현실 제공 단말기.
  2. 제 1항에 있어서, 상기 디지털 마커는,
    단말기 사용자의 입력에 따라 편집되어 객체의 종류를 정의하는 객체 선택 영역과;
    단말기 사용자의 입력에 따라 편집되어 객체의 동작을 정의하는 객체 동작 선택 영역을 포함하여 이루어지는 것을 특징으로 하는 증강 현실 제공 단말기.
  3. 제 2항에 있어서, 상기 디지털 마커는,
    단말기 사용자의 입력에 따라 편집되어 객체가 디스플레이되는 화면의 배경색을 정의하는 배경색 선택 영역을 더 포함하여 이루어지는 것을 특징으로 하는 증강 현실 제공 단말기.
  4. 제 1항에 있어서, 상기 메모리부에 저장되어 있는 디지털 마커 중에서 단말기 사용자에 의해 선택된 디지털 마커와 그에 대응하는 객체를 근거리 무선 통신 기술을 이용하여 타 단말기로 전송하고,
    근거리 무선 통신 기술을 이용하여 타 단말기로부터 상기 화면 표시부에 디스플레이되어 있는 디지털 마커를 변경하기 위한 입력 정보를 수신하여 이를 상기 디지털 마커 편집부로 전달하는 근거리 무선 통신부를 더 포함하여 이루어지는 것을 특징으로 하는 증강 현실 제공 단말기.
  5. 제 4항에 있어서, 상기 디지털 마커 편집부는,
    상기 타 단말기로부터 전송받은 입력 정보에 의거하여 현재 화면 표시부에 디스플레이되어 있는 디지털 마커를 변경하는 것을 특징으로 하는 증강 현실 제공 단말기.
  6. 제 1항 또는 제 2항 중 어느 한 항에 있어서, 상기 메모리부에 저장되어 있는 디지털 마커 중에서 단말기 사용자에 의해 선택된 디지털 마커와 그에 대응하는 객체를 유/무선 통신망을 통해 접속된 증강 현실 제공 서버로 전송하고, 상기 증강 현실 제공 서버로부터 상기 화면 표시부에 디스플레이되어 있는 디지털 마커를 변경하기 위한 입력 정보를 수신하여 이를 상기 디지털 마커 편집부로 전달하는 유/무선 통신부를 더 포함하여 이루어지는 것을 특징으로 하는 증강 현실 제공 단말기.
  7. 각각의 디지털 마커와 그에 대응하는 객체를 저장하고 있는 메모리부와;
    타 기기의 화면 표시부에 디스플레이된 디지털 마커를 촬영하는 카메라부와;
    상기 카메라부에서 촬영된 디지털 마커를 인식하여 상기 디지털 마커에 대응하는 객체를 상기 메모리부에서 읽어오는 제어부와;
    상기 제어부에서 전달받은 객체를 상기 카메라부를 통해 획득한 실시간 영상 화면과 합성하여 화면 표시부에 디스플레이하는 영상 처리부를 포함하여 이루어지는 증강 현실 제공 단말기.
  8. 제 7항에 있어서, 근거리 무선 통신 기술을 이용하여 타 기기로부터 디지털 마커와 그에 대응하는 객체를 전송받아 상기 메모리부에 저장하고, 상기 타 기기의 화면 표시부에 디스플레이된 디지털 마커를 변경하기 위해 단말기 사용자로부터 입력받은 입력 정보를 상기 타 기기로 전송하는 근거리 무선 통신부를 더 포함하여 이루어지는 것을 특징으로 하는 증강 현실 제공 단말기.
  9. 제 7항 또는 제 8항에 있어서, 유/무선 통신망을 통해 접속된 증강 현실 제공 서버로부터 타 기기가 등록한 디지털 마커와 그에 대응하는 객체를 다운로드하고, 상기 타 기기의 화면 표시부에 디스플레이된 디지털 마커를 변경하기 위해 단말기 사용자로부터 입력받은 입력 정보를 상기 증강 현실 제공 서버를 통해 상기 타 기기로 전송하는 유/무선 통신부를 더 포함하여 이루어지는 것을 특징으로 하는 증강 현실 제공 단말기.
  10. 단말기 사용자의 입력에 따라 디지털 마커를 편집하고, 그에 대응하는 객체를 정의하는 디지털 마커 편집부와;
    상기 디지털 마커 편집부에서 편집된 디지털 마커와 그에 대응하는 객체를 저장하는 메모리부와;
    상기 디지털 마커 편집부를 통해 편집되는 디지털 마커를 디스플레이하고, 상기 메모리부에 저장되어 있는 디지털 마커 중에서 단말기 사용자에 의해 선택된 디지털 마커를 디스플레이하는 화면 표시부와;
    타 단말기의 화면 표시부에 디스플레이된 디지털 마커를 촬영하는 카메라부와;
    상기 카메라부에서 촬영된 디지털 마커를 인식하여 상기 디지털 마커에 대응하는 객체를 상기 메모리부에서 읽어오는 제어부와;
    상기 제어부에서 전달받은 객체를 상기 카메라부를 통해 획득한 실시간 영상 화면과 합성하여 상기 화면 표시부에 디스플레이하는 영상 처리부를 포함하여 이루어지는 증강 현실 제공 단말기.
  11. 제 10항에 있어서, 상기 메모리부에 저장되어 있는 디지털 마커 중에서 단말기 사용자에 의해 선택된 디지털 마커와 그에 대응하는 객체를 근거리 무선 통신 기술을 이용하여 타 단말기로 전송하고, 타 단말기로부터 디지털 마커와 그에 대응하는 객체를 전송받아 상기 메모리부에 저장하고, 타 단말기로부터 디지털 마커를 변경하기 위한 입력 정보를 수신하여 상기 디지털 마커 편집부로 전달하며, 상기 타 단말기의 화면 표시부에 디스플레이되는 디지털 마커를 변경하기 위해 단말기 사용자로부터 입력받은 입력 정보를 상기 타 단말기로 전송하는 근거리 무선 통신부를 더 포함하여 이루어지는 것을 특징으로 하는 증강 현실 제공 단말기.
  12. 제 10항 또는 제 11항에 있어서, 상기 메모리부에 저장되어 있는 디지털 마커 중에서 단말기 사용자에 의해 선택된 디지털 마커와 그에 대응하는 객체를 유/무선 통신망을 통해 접속된 증강 현실 제공 서버로 전송하고, 상기 증강 현실 제공 서버로부터 타 단말기가 등록한 디지털 마커와 그에 대응하는 객체를 다운로드하여 상기 메모리부에 저장하고, 상기 증강 현실 제공 서버를 통해 타 단말기로부터 디지털 마커를 변경하기 위한 입력 정보를 수신하여 상기 디지털 마커 편집부로 전달하며, 타 단말기의 화면 표시부에 디스플레이된 디지털 마커를 변경하기 위해 단말기 사용자로부터 입력받은 입력 정보를 상기 증강 현실 제공 서버를 통해 상기 타 단말기로 전송하는 유/무선 통신부를 더 포함하여 이루어지는 것을 특징으로 하는 증강 현실 제공 단말기.
  13. 제 10항에 있어서, 상기 단말기 사용자의 입력은,
    키 입력과 터치 입력 중에 어느 하나로 이루어지는 것을 특징으로 하는 증강 현실 제공 단말기.
  14. 디지털 마커 편집 모드에서 단말기 사용자의 입력에 따라 디지털 마커를 편집하고, 그에 대응하는 객체를 정의하는 과정과;
    상기 편집된 디지털 마커와 그에 대응하는 객체를 메모리부에 저장하는 과정과;
    상기 메모리부에 저장된 디지털 마커 중에서 단말기 사용자에 의해 선택된 디지털 마커를 화면 표시부에 디스플레이하는 과정을 포함하여 이루어지는 증강 현실 제공 방법.
  15. 제14항에 있어서, 단말기 사용자로부터 상기 화면 표시부에 디스플레이된 디지털 마커를 변경하기 위한 입력 정보를 입력받는 과정과;
    상기 입력받은 입력 정보에 의거하여 상기 디지털 마커를 변경하는 과정을 더 포함하여 이루어지는 것을 특징으로 하는 증강 현실 제공 방법.
  16. 제 14항에 있어서, 근거리 무선 통신 기술을 이용하여 타 단말기로부터 상기 화면 표시부에 디스플레이된 디지털 마커를 변경하기 위한 입력 정보를 수신하는 과정과;
    상기 수신된 입력 정보에 의거하여 상기 디지털 마커를 변경하는 과정을 더 포함하여 이루어지는 것을 특징으로 하는 증강 현실 제공 방법.
  17. 제 14항에 있어서, 유/무선 통신망을 통해 접속된 증강 실현 제공 서버로부터 상기 화면 표시부에 디스플레이된 디지털 마커를 변경하기 위한 입력 정보를 수신하는 과정과;
    상기 수신된 입력 정보에 의거하여 상기 디지털 마커를 변경하는 과정을 더 포함하여 이루어지는 것을 특징으로 하는 증강 현실 제공 방법.
  18. 제 14항에 있어서, 상기 메모리부에 저장되어 있는 디지털 마커 중에서 단말기 사용자에 의해 선택된 디지털 마커와 그에 대응하는 객체를 근거리 무선 통신 기술을 이용하여 타 단말기로 전송하는 과정을 더 포함하여 이루어지는 것을 특징으로 하는 증강 현실 제공 방법.
  19. 제 18항에 있어서, 근거리 무선 통신 기술을 이용하여 상기 디지털 마커와 그에 대응하는 객체를 전송받은 상기 타 단말기에서 상기 디지털 마커와 그에 대응하는 객체를 메모리부에 저장하는 과정을 더 포함하여 이루어지는 것을 특징으로 하는 증강 현실 제공 방법.
  20. 제 14항 또는 제18항 중 어느 한 항에 있어서, 상기 메모리부에 저장되어 있는 디지털 마커 중에서 단말기 사용자에 의해 선택된 디지털 마커와 그에 대응하는 객체를 유/무선 통신망을 통해 접속된 증강 현실 제공 서버로 전송하여 등록하는 과정을 더 포함하여 이루어지는 것을 특징으로 하는 증강 현실 제공 방법.
  21. 제 20항에 있어서, 유/무선 통신망을 통해 상기 증강 현실 제공 서버에 접속한 타 단말기가 상기 증강 현실 제공 서버에 등록되어 있는 상기 디지털 마커와 그에 대응하는 객체를 다운로드하는 과정과;
    상기 다운로드한 디지털 마커와 그에 대응하는 객체를 메모리부에 저장하는 과정을 더 포함하여 이루어지는 것을 특징으로 하는 증강 현실 제공 방법.
  22. 카메라를 이용하여 타 기기의 화면 표시부에 디스플레이된 디지털 마커를 촬영하는 과정과;
    상기 촬영된 디지털 마커를 인식하여 상기 디지털 마커에 대응하는 객체를 메모리부에서 읽어오는 과정과;
    상기 객체를 상기 카메라를 통해 획득한 실시간 영상 화면과 합성하여 화면 표시부에 디스플레이하는 과정을 포함하여 이루어지는 증강 현실 제공 방법.
  23. 제 22항에 있어서, 상기 타 기기의 화면 표시부에 디스플레이되는 디지털 마커를 변경하기 위해 단말기 사용자로부터 입력받은 입력 정보를 근거리 무선 통신 기술을 이용하여 상기 타 기기로 전송하는 과정과;
    상기 입력 정보에 의거하여 상기 타 기기의 화면 표시부 상에서 변경된 디지털 마커를 촬영하는 과정과;
    상기 촬영된 디지털 마커를 새로 인식하여 상기 디지털 마커에 대응하는 객체를 메모리부에서 읽어오는 과정과;
    상기 객체를 상기 카메라를 통해 획득한 실시간 영상 화면과 합성하여 화면 표시부에 디스플레이하는 과정을 더 포함하여 이루어지는 것을 특징으로 하는 증강 현실 제공 방법.
KR1020100008444A 2010-01-29 2010-01-29 증강 현실 제공 단말기 및 방법 KR101082285B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020100008444A KR101082285B1 (ko) 2010-01-29 2010-01-29 증강 현실 제공 단말기 및 방법
US12/856,963 US20110187743A1 (en) 2010-01-29 2010-08-16 Terminal and method for providing augmented reality
CN2010102613191A CN102142151A (zh) 2010-01-29 2010-08-23 用于提供增强现实的终端和方法
JP2010191137A JP5416057B2 (ja) 2010-01-29 2010-08-27 拡張現実提供端末機及び方法
TW099129761A TW201136300A (en) 2010-01-29 2010-09-02 Terminal and method for providing augmented reality
EP10177252.3A EP2355009A3 (en) 2010-01-29 2010-09-17 Terminal and method for providing augmented reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100008444A KR101082285B1 (ko) 2010-01-29 2010-01-29 증강 현실 제공 단말기 및 방법

Publications (2)

Publication Number Publication Date
KR20110088778A true KR20110088778A (ko) 2011-08-04
KR101082285B1 KR101082285B1 (ko) 2011-11-09

Family

ID=43971555

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100008444A KR101082285B1 (ko) 2010-01-29 2010-01-29 증강 현실 제공 단말기 및 방법

Country Status (6)

Country Link
US (1) US20110187743A1 (ko)
EP (1) EP2355009A3 (ko)
JP (1) JP5416057B2 (ko)
KR (1) KR101082285B1 (ko)
CN (1) CN102142151A (ko)
TW (1) TW201136300A (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013036233A1 (en) * 2011-09-08 2013-03-14 Intel Corporation Augmented reality based on imaged object characteristics
WO2013077643A1 (en) * 2011-11-22 2013-05-30 Samsung Electronics Co., Ltd. Apparatus and method for providing augmented reality service for mobile terminal
KR101291924B1 (ko) * 2011-09-29 2013-07-31 구대근 증강 현실 기반의 휴대용 측량 단말기를 이용한 측량 장치, 시스템 및 방법
KR20150125326A (ko) * 2014-04-30 2015-11-09 (주)제이앤씨마케팅커뮤니케이션 인터랙티브 증강현실 서비스 시스템 및 방법
KR20160118568A (ko) * 2015-04-02 2016-10-12 한국과학기술원 Ｈｍｄ가 구비된 단말의 정보 제공 서비스 방법 및 장치
CN112330707A (zh) * 2020-11-17 2021-02-05 武汉联影医疗科技有限公司 图像处理方法、装置、计算机设备和存储介质

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8275590B2 (en) * 2009-08-12 2012-09-25 Zugara, Inc. Providing a simulation of wearing items such as garments and/or accessories
US8718322B2 (en) * 2010-09-28 2014-05-06 Qualcomm Innovation Center, Inc. Image recognition based upon a broadcast signature
KR101444407B1 (ko) * 2010-11-02 2014-09-29 한국전자통신연구원 근거리 무선 통신을 이용한 증강현실 기반의 기기 제어 장치 및 그 방법
KR101269773B1 (ko) * 2010-12-13 2013-05-30 주식회사 팬택 증강 현실 제공 단말기 및 방법
KR20120086810A (ko) * 2011-01-27 2012-08-06 삼성전자주식회사 단말기 및 그 단말기에서 이미지 처리 방법
JP5927822B2 (ja) * 2011-09-21 2016-06-01 カシオ計算機株式会社 画像通信システム
JP5847610B2 (ja) * 2012-02-22 2016-01-27 株式会社マイクロネット Ａｒ技術を用いたコンピュータ・グラフィックス画像処理システム及び方法
US9595137B2 (en) * 2012-04-26 2017-03-14 Intel Corporation Augmented reality computing device, apparatus and system
US9652654B2 (en) 2012-06-04 2017-05-16 Ebay Inc. System and method for providing an interactive shopping experience via webcam
WO2013191494A1 (ko) * 2012-06-20 2013-12-27 (주)휴즈플로우 정보 처리 방법 및 장치, 그리고 데이터 처리 방법 및 이를 이용하는 장치
CN102739872A (zh) * 2012-07-13 2012-10-17 苏州梦想人软件科技有限公司 移动终端及应用于移动终端的增强现实方法
US20140043359A1 (en) * 2012-08-08 2014-02-13 Qualcomm Incorporated Method, apparatus, and system for improving augmented reality (ar) image targets
CN104704535A (zh) 2012-10-02 2015-06-10 索尼公司 增强现实系统
CN104021702B (zh) * 2013-03-01 2016-09-28 联想(北京)有限公司 一种显示方法及装置
US20140282220A1 (en) * 2013-03-14 2014-09-18 Tim Wantland Presenting object models in augmented reality images
US9892447B2 (en) 2013-05-08 2018-02-13 Ebay Inc. Performing image searches in a network-based publication system
JP2015001875A (ja) * 2013-06-17 2015-01-05 ソニー株式会社 画像処理装置、画像処理方法、プログラム、印刷媒体及び印刷媒体のセット
TWI526878B (zh) * 2013-10-04 2016-03-21 大同股份有限公司 控制電子裝置的方法、手持電子裝置與監控系統
WO2015072968A1 (en) * 2013-11-12 2015-05-21 Intel Corporation Adapting content to augmented reality virtual objects
JP6305757B2 (ja) * 2013-12-25 2018-04-04 株式会社デジタル・スタンダード プログラム
US9613448B1 (en) * 2014-03-14 2017-04-04 Google Inc. Augmented display of information in a device view of a display screen
DE102014206625A1 (de) * 2014-04-07 2015-10-08 Bayerische Motoren Werke Aktiengesellschaft Positionierung eines HMD im Fahrzeug
JP5904379B2 (ja) * 2014-04-24 2016-04-13 良明 風間 拡張現実システム、拡張現実処理方法、プログラムおよび記録媒体
US9547370B2 (en) * 2014-05-27 2017-01-17 Fuji Xerox Co., Ltd. Systems and methods for enabling fine-grained user interactions for projector-camera or display-camera systems
CN106155267B (zh) * 2014-08-14 2019-06-04 蔡曜隆 扩增实境平台系统
US9767585B1 (en) 2014-09-23 2017-09-19 Wells Fargo Bank, N.A. Augmented reality confidential view
US10528838B1 (en) 2014-09-23 2020-01-07 Wells Fargo Bank, N.A. Augmented reality confidential view
US9804813B2 (en) 2014-11-26 2017-10-31 The United States Of America As Represented By Secretary Of The Navy Augmented reality cross-domain solution for physically disconnected security domains
US10181219B1 (en) * 2015-01-21 2019-01-15 Google Llc Phone control and presence in virtual reality
US20170069138A1 (en) * 2015-09-09 2017-03-09 Canon Kabushiki Kaisha Information processing apparatus, method for controlling information processing apparatus, and storage medium
US10503977B2 (en) 2015-09-18 2019-12-10 Hewlett-Packard Development Company, L.P. Displaying augmented images via paired devices
RU2606874C1 (ru) * 2015-12-02 2017-01-10 Виталий Витальевич Аверьянов Способ управления устройством формирования среды дополненной реальности
CN106101575B (zh) * 2016-06-28 2019-06-21 Oppo广东移动通信有限公司 一种增强现实照片的生成方法、装置及移动终端
JP2018005091A (ja) * 2016-07-06 2018-01-11 富士通株式会社 表示制御プログラム、表示制御方法および表示制御装置
EP3306894A1 (en) * 2016-10-05 2018-04-11 Kone Corporation Generation of augmented reality
KR20180042589A (ko) * 2016-10-18 2018-04-26 디에스글로벌 (주) 사용자 편집 이미지를 이용한 증강현실 콘텐츠 제공 방법 및 시스템
DE112017006836T5 (de) * 2017-01-16 2019-09-26 Sony Corporation Informationsverarbeitungsgerät, informationsverarbeitungsverfahren und programm
US11638472B2 (en) * 2017-11-06 2023-05-02 Ds Global Sticker with user-edited image printed thereon and method for manufacturing same
US11010742B2 (en) * 2018-01-23 2021-05-18 Visa International Service Association System, method, and computer program product for augmented reality point-of-sale
US10679393B2 (en) 2018-07-24 2020-06-09 Snap Inc. Conditional modification of augmented reality object
WO2020030156A1 (zh) * 2018-08-10 2020-02-13 广东虚拟现实科技有限公司 图像处理方法、终端设备及计算机可读介质
JP7056500B2 (ja) * 2018-10-04 2022-04-19 トヨタ自動車株式会社 画像生成装置、画像生成方法、およびプログラム
KR102192540B1 (ko) * 2019-08-02 2020-12-17 주식회사 토포로그 인터랙티브 콘텐츠 제공 시스템
US11402964B1 (en) * 2021-02-08 2022-08-02 Facebook Technologies, Llc Integrating artificial reality and other computing devices
WO2023181151A1 (ja) * 2022-03-23 2023-09-28 株式会社ソニー・インタラクティブエンタテインメント マーカー装置、コンピュータシステム、方法およびプログラム

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5815411A (en) * 1993-09-10 1998-09-29 Criticom Corporation Electro-optic vision system which exploits position and attitude
DE59403321D1 (de) * 1993-08-09 1997-08-14 Siemens Ag Verfahren zur erkennung der räumlichen lage und drehlage von in geeigneter weise markierten objekten in digitalen bildfolgen
AU7975094A (en) * 1993-10-12 1995-05-04 Orad, Inc. Sports event video
JPH1196374A (ja) * 1997-07-23 1999-04-09 Sanyo Electric Co Ltd ３次元モデリング装置、３次元モデリング方法および３次元モデリングプログラムを記録した媒体
US6304680B1 (en) * 1997-10-27 2001-10-16 Assembly Guidance Systems, Inc. High resolution, high accuracy process monitoring system
JP4794708B2 (ja) * 1999-02-04 2011-10-19 オリンパス株式会社 ３次元位置姿勢センシング装置
US6408257B1 (en) * 1999-08-31 2002-06-18 Xerox Corporation Augmented-reality display method and system
SE0000949L (sv) * 2000-03-21 2001-09-22 Anoto Ab Positionsinformation
US8234218B2 (en) * 2000-10-10 2012-07-31 AddnClick, Inc Method of inserting/overlaying markers, data packets and objects relative to viewable content and enabling live social networking, N-dimensional virtual environments and/or other value derivable from the content
US6765569B2 (en) * 2001-03-07 2004-07-20 University Of Southern California Augmented-reality tool employing scene-feature autocalibration during camera motion
US7215322B2 (en) * 2001-05-31 2007-05-08 Siemens Corporate Research, Inc. Input devices for augmented reality applications
US20030014212A1 (en) * 2001-07-12 2003-01-16 Ralston Stuart E. Augmented vision system using wireless communications
US7574070B2 (en) * 2003-09-30 2009-08-11 Canon Kabushiki Kaisha Correction of subject area detection information, and image combining apparatus and method using the correction
JP4401728B2 (ja) * 2003-09-30 2010-01-20 キヤノン株式会社 複合現実空間画像生成方法及び複合現実感システム
US7796155B1 (en) * 2003-12-19 2010-09-14 Hrl Laboratories, Llc Method and apparatus for real-time group interactive augmented-reality area monitoring, suitable for enhancing the enjoyment of entertainment events
JP2005250950A (ja) * 2004-03-05 2005-09-15 Nippon Telegr & Teleph Corp <Ntt> マーカ提示用携帯端末および拡張現実感システムならびにその動作方法
JP4522140B2 (ja) * 2004-05-14 2010-08-11 キヤノン株式会社 指標配置情報推定方法および情報処理装置
KR100542370B1 (ko) * 2004-07-30 2006-01-11 한양대학교 산학협력단 보이지 않는 마커를 이용하는 비전기반 증강현실 시스템
JP2008516352A (ja) * 2004-10-13 2008-05-15 シーメンス アクチエンゲゼルシヤフト 強化現実システムにおける照明シミュレーションおよび影シミュレーションのための装置および方法
DE602005013752D1 (de) * 2005-05-03 2009-05-20 Seac02 S R L Augmented-Reality-System mit Identifizierung der realen Markierung des Objekts
KR100677502B1 (ko) * 2006-01-13 2007-02-02 엘지전자 주식회사 이동통신 단말기에서의 증강현실기반의 메시지 작성 방법및 그 이동통신 단말기
JP4847192B2 (ja) * 2006-04-14 2011-12-28 キヤノン株式会社 画像処理システム、画像処理装置、撮像装置、及びそれらの制御方法
US20080071559A1 (en) * 2006-09-19 2008-03-20 Juha Arrasvuori Augmented reality assisted shopping
KR101397214B1 (ko) * 2007-06-05 2014-05-20 삼성전자주식회사 증강 현실 기술을 이용하여 가상 객체를 생성하기 위한시스템 및 방법
US8264505B2 (en) * 2007-12-28 2012-09-11 Microsoft Corporation Augmented reality and filtering
EP2157545A1 (en) * 2008-08-19 2010-02-24 Sony Computer Entertainment Europe Limited Entertainment device, system and method
US20100048290A1 (en) * 2008-08-19 2010-02-25 Sony Computer Entertainment Europe Ltd. Image combining method, system and apparatus
US8427508B2 (en) * 2009-06-25 2013-04-23 Nokia Corporation Method and apparatus for an augmented reality user interface
JP5259519B2 (ja) * 2009-07-31 2013-08-07 日本放送協会 デジタル放送受信機、送信機及び端末装置
US8405658B2 (en) * 2009-09-14 2013-03-26 Autodesk, Inc. Estimation of light color and direction for augmented reality applications
US8451266B2 (en) * 2009-12-07 2013-05-28 International Business Machines Corporation Interactive three-dimensional augmented realities from item markers for on-demand item visualization

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013036233A1 (en) * 2011-09-08 2013-03-14 Intel Corporation Augmented reality based on imaged object characteristics
KR101291924B1 (ko) * 2011-09-29 2013-07-31 구대근 증강 현실 기반의 휴대용 측량 단말기를 이용한 측량 장치, 시스템 및 방법
WO2013077643A1 (en) * 2011-11-22 2013-05-30 Samsung Electronics Co., Ltd. Apparatus and method for providing augmented reality service for mobile terminal
KR20150125326A (ko) * 2014-04-30 2015-11-09 (주)제이앤씨마케팅커뮤니케이션 인터랙티브 증강현실 서비스 시스템 및 방법
KR20160118568A (ko) * 2015-04-02 2016-10-12 한국과학기술원 Ｈｍｄ가 구비된 단말의 정보 제공 서비스 방법 및 장치
CN112330707A (zh) * 2020-11-17 2021-02-05 武汉联影医疗科技有限公司 图像处理方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
JP2011159274A (ja) 2011-08-18
EP2355009A3 (en) 2014-08-06
CN102142151A (zh) 2011-08-03
EP2355009A2 (en) 2011-08-10
KR101082285B1 (ko) 2011-11-09
US20110187743A1 (en) 2011-08-04
TW201136300A (en) 2011-10-16
JP5416057B2 (ja) 2014-02-12

Similar Documents

Publication Publication Date Title
KR101082285B1 (ko) 증강 현실 제공 단말기 및 방법
CN109661686B (zh) 对象显示系统、用户终端装置、对象显示方法及程序
US9623332B2 (en) Method and device for augmented reality message hiding and revealing
US20070273644A1 (en) Personal device with image-acquisition functions for the application of augmented reality resources and method
KR960018998A (ko) 대화식 컴퓨터 게임기
JP3918632B2 (ja) 画像配信サーバ、画像配信プログラム、及び画像配信方法
CN101946500A (zh) 实时视频包含系统
JP2016086970A (ja) ゲームプログラム、コンピュータの制御方法、情報処理装置、画像出力装置、画像出力方法および画像出力プログラム
CN109923851A (zh) 打印系统、服务器、打印方法及程序
CN109908589A (zh) 基于ar技术的游戏实现方法、游戏系统、及存储介质
KR20050082559A (ko) 댄스 학습 시스템, 이를 이용한 인터넷 커뮤니티 서비스시스템과 인터넷 커뮤니티 서비스 방법, 댄스 학습 방법및 상기 방법들을 실행하는 프로그램을 기록한 컴퓨터로읽을 수 있는 기록매체
KR101356637B1 (ko) 골프 게임, 골프 교육 및 멀티미디어 데이터 제공 서비스 시스템
CN107122040A (zh) 一种人工智能机器人与智能显示终端间的交互系统
US20190104249A1 (en) Server apparatus, distribution system, distribution method, and program
JP2013255714A (ja) ジグソーパズル画像の処理方法、及び処理装置
JP7469977B2 (ja) コンピュータプログラム、情報処理方法及び情報処理装置
KR100873646B1 (ko) 3차원 아바타를 이용하는 엔터테인먼트 장치 및 그 사용방법
JP2023075441A (ja) 情報処理システム、情報処理方法、情報処理プログラム
KR101601921B1 (ko) 제품증강현실 시스템
CN105959603A (zh) 智能互动系统
KR20070121916A (ko) 댄스교실 운용 방법과 이를 위한 프로그램 기록매체
US11928777B1 (en) Using optical labels in a virtual environment
KR102560162B1 (ko) 증강현실을 이용한 온라인 보드 게임 제공 시스템
WO2022239403A1 (ja) プログラム、情報処理方法、情報処理装置、及びシステム
JP7162387B1 (ja) 興行映像表示プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20141103

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20151102

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170502

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190430

Year of fee payment: 8