KR20120038322A - 마커 또는 마커리스를 융합하는 증강현실 장치 및 방법 - Google Patents

마커 또는 마커리스를 융합하는 증강현실 장치 및 방법 Download PDF

Info

Publication number
KR20120038322A
KR20120038322A KR1020100100022A KR20100100022A KR20120038322A KR 20120038322 A KR20120038322 A KR 20120038322A KR 1020100100022 A KR1020100100022 A KR 1020100100022A KR 20100100022 A KR20100100022 A KR 20100100022A KR 20120038322 A KR20120038322 A KR 20120038322A
Authority
KR
South Korea
Prior art keywords
augmented reality
fusion
marker
markers
fused
Prior art date
Application number
KR1020100100022A
Other languages
English (en)
Other versions
KR101317532B1 (ko
Inventor
오익성
Original Assignee
주식회사 팬택
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=45933774&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR20120038322(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 주식회사 팬택 filed Critical 주식회사 팬택
Priority to KR1020100100022A priority Critical patent/KR101317532B1/ko
Priority to US13/196,771 priority patent/US20120092370A1/en
Publication of KR20120038322A publication Critical patent/KR20120038322A/ko
Application granted granted Critical
Publication of KR101317532B1 publication Critical patent/KR101317532B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0207—Discounts or incentives, e.g. coupons or rebates

Landscapes

  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Engineering & Computer Science (AREA)
  • Development Economics (AREA)
  • Theoretical Computer Science (AREA)
  • Finance (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Game Theory and Decision Science (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 마커 또는 마커리스를 융합하는 증강현실 장치 및 방법에 관한 것으로, 본 발명의 실시예에 따른 증강현실 장치에서 마커 또는 마커리스를 융합하는 방법은 현실정보에서 마커를 인식하고, 두개 이상의 마커들이 검색되면 융합여부를 판단하고, 판단결과 융합으로 판단되면, 두개 이상의 마커들의 객체를 융합해서 융합된 객체를 생성하고 융합된 객체의 동작을 결정하고, 융합된 객체를 현실정보에 매핑하고, 매핑된 융합된 객체를 디스플레이한다.

Description

마커 또는 마커리스를 융합하는 증강현실 장치 및 방법{Augmented reality apparatus and method to amalgamate marker or makerless}
본 발명은 증강현실 장치 및 방법에 관한 것이다. 특히, 마커와 마커, 마커와 마커리스 또는 마커리스와 마커리스를 융합해서 증강현실로 디스플레이하는 증강현실 장치 및 방법에 관한 것이다.
증강현실(AR; Augmented Reality)은 사용자가 눈으로 보는 현실세계와 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여주는 가상현실의 하나이다. 현실세계를 가상세계로 보완해주는 개념인 AR은 컴퓨터 그래픽으로 만들어진 가상환경을 사용하지만 주역은 현실환경이다. 컴퓨터 그래픽은 현실환경에 필요한 정보를 추가 제공하는 역할을 한다. 사용자가 보고 있는 실사 영상에 3차원 가상영상을 겹침(overlap)으로써 현실환경과 가상화면과의 구분이 모호해지도록 한다는 뜻이다. 가상현실기술은 가상환경에 사용자를 몰입하게 하여 실제환경을 볼 수 없다. 이러한 AR을 구현하는 방법에는 특정한 마커(marker)를 컴퓨터가 인식하여, 그 마커에 연결된 3차원 그래픽 모델을 모니터에 그려주는 방법이 있다. 여기서의 마커란 실제로 2차원 평면위에 존재하면서, 그 하나만으로 모니터를 비롯한 출력장치 내에 자신과 연결된 3차원 그래픽모델이 그려질 크기, 방향 및 위치 정보를 제공하는 것을 말한다. 이 마커와 3차원 그래픽 모델은 사용자의 선택에 따라 다양한 모습으로 나타난다.
상술한 것처럼, 종래에는 1개의 마커에 대응되는 3차원 가상영상이 1개씩 존재하기 때문에, 표현하려고 하는 마커간에 의미상 관련사항이 있더라도, 전혀 영향을 줄 수 없었다. 즉, 마커간의 상호작용이 없는 상태였다.
본 발명의 실시예는 마커(또는 마커리스)를 융합하는 증강현실 장치 및 방법을 제공한다.
본 발명의 실시예는 마커와 마커, 마커와 마커리스 또는 마커리스와 마커리스를 융합해서 증강현실로 디스플레이하는 증강현실 장치 및 방법을 제공한다.
본 발명의 실시예에 따른 증강현실 장치는, 현실정보에서 마커를 인식하는 마커 인식부와, 두개 이상의 상기 마커들이 검색되면 상기 마커들의 융합여부를 판단하는 융합 판단부와, 상기 융합 판단부에서 융합으로 판단하면, 상기 마커들의 융합형태와 상기 마커들의 객체정보에 따라 상기 마커들에 대응하는 객체들 각각의 속성을 결정하고, 결정된 속성을 고려해서 융합된 객체를 생성하는 융합 처리부 및 상기 융합된 객체를 현실정보에 매핑하고, 매핑된 상기 융합된 객체를 디스플레이하는 객체 처리부를 포함한다.
본 발명의 실시예에 따른 증강현실 장치에서 마커 또는 마커리스를 융합하는 방법은, 현실정보에서 마커를 인식하는 단계와, 두개 이상의 상기 마커들이 검색되면 상기 마커들의 융합여부를 판단하는 단계와, 판단결과 상기 융합으로 판단되면, 상기 마커들의 융합형태와 상기 마커들의 객체정보에 따라 상기 마커들에 대응하는 객체들 각각의 속성을 결정하고, 결정된 속성을 고려해서 융합된 객체를 생성하는 단계 및 상기 융합된 객체를 현실정보에 매핑하고, 매핑된 상기 융합된 객체를 디스플레이하는 단계를 포함한다.
본 발명은 마커(또는 마커리스)를 융합해서 증강현실로 디스플레이하는 증강현실 장치 및 방법에 관한 것으로, 마커(또는 마커리스) 간의 융합시 마커들은 각각의 속성과 객체정보가 서로 상호작용을 하므로, 마커간 융합패턴에 대한 DB를 생성하지 않아도 된다. 또한, 새로운 마커가 생성되었을 때, 새로운 마커와 기존 마커간의 융합 패턴에 대한 출력패턴을 추가하지 않아도, 마커가 갖고 있는 속성과 객체정보를 이용해서 융합이 가능하다. 따라서, DB를 최소화 하고, 객체들의 동작을 제한하지 않는 효과를 가진다.
도 1은 본 발명의 실시예에 따른 마커(또는 마커리스)를 융합하는 증강현실 장치의 구성을 도시한 도면,
도 2는 본 발명의 실시예에 따른 증강현실 장치에서 마커(또는 마커리스)를 융합해서 증강현실로 출력하는 방법을 도시한 흐름도,
도 3은 본 발명의 실시예에 따른 증강현실 장치에서 마커(또는 마커리스)를 융합하는 형태를 도시한 도면,
도 4는 본 발명의 실시예에 따른 증강현실 장치에서 메뉴를 나타내는 마커와 색변화를 융합한 예를 도시한 도면,
도 5는 본 발명의 실시예에 따른 증강현실 장치에서 쿠폰을 나타내는 마커와 건물을 나타내는 마커리스를 융합한 예를 도시한 도면,
도 6은 본 발명의 실시예에 따른 증강현실 장치에서 마커의 배치에 따라 마커를 융합한 예를 도시한 도면,
도 7은 본 발명의 실시예에 따른 증강현실 장치에서 마커를 융합할 때 참조하는 각 마커의 속성정보 및 동작정보의 예를 도시한 도면,
도 8은 본 발명의 실시예에 따른 증강현실 장치에서 마커의 이동에 따라 마커를 융합한 예를 도시한 도면,
도 9는 본 발명의 실시예에 따른 증강현실 장치에서 크기에 따른 마커의 우선순위에 따라 마커를 융합한 예를 도시한 도면,
도 10은 본 발명의 실시예에 따른 증강현실 장치에서 인식 순서에 따른 마커의 우선순위에 따라 마커를 융합한 예를 도시한 도면,
도 11은 본 발명의 실시예에 따른 증강현실 장치에서 마커의 배열에 따라 마커를 융합한 일 예를 도시한 도면 및,
도 12는 본 발명의 실시예에 따른 증강현실 장치에서 마커의 배열에 따라 마커를 융합한 다른 예를 도시한 도면이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
본 발명의 실시예는 마커와 마커, 마커와 마커리스 또는 마커리스와 마커리스를 융합해서 증강현실로 디스플레이하는 증강현실 장치 및 방법에 관한 것이다. 본 발명의 상세한 설명에 앞서 마커리스(Markerless)란 가상의 물리적인 마커 대신에 마커처럼 인식될 수 있도록 미리 등록된 실세계의 물체를 나타낸다.
도 1은 본 발명의 실시예에 따른 마커(또는 마커리스)를 융합하는 증강현실 장치의 구성을 도시한 도면이다.
도 1을 참조하면, 본 발명의 증강현실 장치(100)는 제어부(110), 마커 인식부(112), 융합 판단부(114), 융합 처리부(116), 객체 처리부(118), 카메라부(120), 디스플레이부(130), 센서부(140), 입력부(150), 저장부(160) 및 통신부(170)를 포함할 수 있다.
카메라부(120)는 영상을 촬영하는 장치로 촬영된 영상 또는 프리뷰 영상을 마커 인식부(112)와 디스플레이부(130)로 제공한다. 이때, 촬영된 영상은 마커 인식부(112)와 디스플레이부(130)로 제공되기에 앞서 이미지 보정을 통해 보정될 수 있다. 그리고, 프리뷰 영상은 마커 인식부(112)와 디스플레이부(130)로 제공되기에 앞서 카메라 보정을 통해 보정될 수 있다.
디스플레이부(130)는 증강현실 장치(100)의 동작 중에 발생되는 상태 정보(또는 인디케이터), 제한된 숫자와 문자들, 동화상(moving picture) 및 정화상(still picture) 등을 디스플레이한다. 또한, 본 발명에 따라 카메라부(120)를 통해 수신되는 영상(마커)을 디스플레이하고, 증강현실로서 어플리케이션 정보를 디스플레이 할 수 있다.
센서부(140)는 증강현실에 필요한 정보 또는 증강현실에 추가로 적용되는 맥락정보를 감지하는 장치로서 온도 센서, 습도 센서, 위치감지 센서, 동작감지 센서 등이 가능하다. 위치감지 센서에는 GPS신호를 감지하는 GPS 센서가 가능하고, 동작감지 센서로는 자이로스코프 센서 또는 가속도 센서가 가능하다.
입력부(150)는 증강현실 장치(100)의 사용자의 입력을 수신해서 제어부(110)로 제공한다. 입력부(150)는 0~9의 숫자키들과, 메뉴키(menu), 취소키(지움), 확인키, 통화키(TALK), 종료키(END), 인터넷 접속키, 네비게이션 키들 등 다수의 기능키들을 구비하며, 사용자가 누르는 키에 대응하는 키입력 데이터를 제어부(110)로 제공하는 키패드(key pad)로 구성될 수 있다.
저장부(160)는 증강현실 장치(100)의 전반적인 동작을 제어하기 위한 운영체제, 응용 프로그램 및 저장용 데이터(전화번호, SMS 메시지, 압축된 이미지 파일, 동영상 등)를 저장한다. 또한, 저장부(160)는 본 발명에 따라 마커(또는 마커리스)와 대응하는 증강현실 객체, 증강현실 객체의 속성 정보를 저장한 증강현실 데이터베이스를 저장한다.
통신부(170)는 유선 또는 무선으로 데이터를 송수신한다. 통신부(170)는 증강현실 데이터베이스를 저장하고 관리하는 증강현실 서버와 통신할 수 있다. 이때, 증강현실 데이터베이스는 마커(또는 마커리스)와 대응하는 증강현실 객체, 증강현실 객체의 속성 정보를 저장한 데이터베이스이다.
마커 인식부(112)는 카메라부(120)를 통해 촬영된 영상 또는 프리뷰 영상에서 마커를 인식한다. 마커 인식부(112)는 저장부(160)에 저장된 증강현실 데이터베이스 또는 통신부(170)를 통해 확인할 수 있는 증강현실 서버의 증강현실 데이터베이스를 검색해서 촬영된 영상 또는 프리뷰 영상에서 마커를 인식한다. 마커 인식부(112)는 촬영된 영상 또는 프리뷰 영상에서 사용자가 지정한 영역의 마커를 인식하도록 할 수 있다. 마커 인식부(112)에서 사용자가 지정한 영역에서만 마커를 인식하는 경우 증강현실 장치(100)의 부하를 줄일 수 있다.
융합 판단부(114)는 마커 인식부(112)를 통해 두개 이상의 마커(또는 마커리스)가 인식되면, 인식된 마커(또는 마커리스)의 배치와 마커(또는 마커리스)의 객체정보를 이용해서 융합여부를 판단한다. 융합 판단부(114)에서 융합을 판단하는 마커(또는 마커리스)의 배치 형태는 아래 도 3과 같다.
도 3은 본 발명의 실시예에 따른 증강현실 장치에서 마커(또는 마커리스)를 융합하는 형태를 도시한 도면이다.
도 3을 참조하면 마커(또는 마커리스)의 융합은 부분융합(310), 접점융합(320), 교차융합(330), 복수융합(340) 및 예측융합(350)을 포함한다. 부분융합(310), 접점융합(320) 및 교차융합(330)은 모두 마커(또는 마커리스)들 간의 근접 또는 병합 여부를 통해 융합 여부가 판단된다. 교차융합(330)는 마커(또는 마커리스)들의 배치형태를 통해 융합 여부가 판단된다. 예측융합(350)는 마커(또는 마커리스)들의 움직임의 방향과 속도를 통해 융합 여부가 판단된다.
그리고, 마커(또는 마커리스)의 융합추가로 촬영한 영상의 순서에 의해 발생한 마커(또는 마커리스)의 인식 순서에 의한 시차융합(미도시)를 더 포함할 수 있다.
융합 처리부(116)는 융합 판단부(114)에 의해 융합으로 판단되면 인식한 두개 이상의 마커(또는 마커리스)의 융합형태와 마커(또는 마커리스)의 객체정보에 따라 융합된 객체를 생성하고, 융합된 객체의 동작을 결정한다.
융합 처리부(116)는 융합된 객체를 생성하고, 융합된 객체의 동작을 결정할 때 입력부(150)를 통해 사용자 입력을 수신하거나 센서부(140)를 통해 맥락정보를 수신하면, 사용자의 입력 또는 맥락정보를 고려해서 융합된 객체를 생성하고, 융합된 객체의 동작을 결정한다.
융합 처리부(116)는 융합된 객체를 생성할 때, 마커(또는 마커리스)의 융합형태와 마커(또는 마커리스)의 객체정보에 따라 객체들 각각의 속성을 결정하고, 결정된 속성에 따라 융합된 객체의 동작을 결정한다. 이때, 객체의 속성에는 우선순위를 나타내는 속성, 객체의 특징을 나타내는 속성, 다른 객체와의 상관관계를 나타내는 속성 등이 있다.
그리고, 융합 처리부(116)는 객체들의 융합 정보를 저장부(160)의 증강현실 데이터베이스 또는 통신부(170)를 통해 통신할 수 있는 증강현실 서버의 증강현실 데이터베이스에 저장할 수 있다. 이때, 객체들의 융합 정보는 융합형태의 정보, 객체의 속성 정보, 융합된 객체의 정보, 융합된 객체의 동작 정보 등을 포함한다.
객체 처리부(118)는 융합된 객체를 현실정보에 매핑하고, 매핑된 융합된 객체를 디스플레이 한다.
제어부(110)는 마커(또는 마커리스)를 융합하는 증강현실 장치(100)의 전반적인 동작을 제어할 수 있다. 그리고, 제어부(110)는 마커 인식부(112), 융합 판단부(114), 융합 처리부(116) 및 객체 처리부(118)의 기능을 수행할 수 있다. 제어부(110), 마커 인식부(112), 융합 판단부(114), 융합 처리부(116) 및 객체 처리부(118)를 구분하여 도시한 것은 각 기능들을 구별하여 설명하기 위함이다. 따라서 실제로 제품을 구현하는 경우에 제어부(110)는 마커 인식부(112), 융합 판단부(114), 융합 처리부(116) 및 객체 처리부(118) 각각의 기능을 수행하도록 구현될 수도 있다. 또한, 마커 인식부(112), 융합 판단부(114), 융합 처리부(116) 및 객체 처리부(118) 각각의 기능 중 일부를 수행하도록 구현될 수도 있다.
이하, 상기와 같이 구성된 본 발명에 따른 마커(또는 마커리스)를 융합하는 증강현실 방법을 아래에서 도면을 참조하여 설명한다.
도 2는 본 발명의 실시예에 따른 증강현실 장치에서 마커(또는 마커리스)를 융합해서 증강현실로 출력하는 방법을 도시한 흐름도이다.
도 2를 참조하면 본 발명의 증강현실 장치(100)는 210단계에서 카메라부(120)를 통해 현실정보인 촬영한 영상 또는 프리뷰 영상을 수신한다.
그리고, 증강현실 장치(100)는 212단계에서 현실정보에 포함된 마커(또는 마커리스)들을 인식한다.
그리고, 증강현실 장치(100)는 214단계에서 두개 이상의 마커(또는 마커리스)가 인식되면 인식된 마커(또는 마커리스)의 배치와 마커(또는 마커리스)의 객체정보를 이용해서 융합여부를 판단해서 융합 부분이 존재하는지 확인한다.
214단계의 확인결과 융합부분이 존재하지 않으면, 증강현실 장치(100)는 218단계에서 마커(또는 마커리스)에 대응하는 객체를 디스플레이 한다.
214단계의 확인결과 융합부분이 존재하면, 증강현실 장치(100)는 216단계에서 마커(또는 마커리스)의 융합형태와 마커(또는 마커리스)의 객체정보에 따라 융합된 객체를 생성하고, 융합된 객체의 동작을 확인한다.
그리고, 증강현실 장치(100)는 220단계에서 사용자 선택사항 또는 맥락정보가 존재하는지 확인한다.
222단계의 확인결과 선택사항 또는 맥락정보가 존재하지 않으면, 증강현실 장치(100)는 224단계로 진행한다.
222단계의 확인결과 사용자의 선택사항 또는 맥락정보가 존재하면, 증강현실 장치(100)는 222단계에서 사용자의 선택사항 또는 맥락정보를 융합된 객체에 적용한다.
그리고, 증강현실 장치(100)는 224단계에서 융합된 객체를 현실정보에 매핑한다.
그리고, 증강현실 장치(100)는 226단계에서 융합된 객체를 디스플레이한다.
그리고, 증강현실 장치(100)는 228단계에서 융합 정보를 등록할지 여부를 확인한다. 이때, 융합 정보 등록 여부는 기설정되거나 사용자의 입력에 의해 결정될 수 있다.
228단계의 확인결과 융합 정보를 등록하는 경우, 증강현실 장치(100)는 230단계에서 는 객체들의 융합 정보를 저장부(160)의 증강현실 데이터베이스 또는 통신부(170)를 통해 통신할 수 있는 증강현실 서버의 증강현실 데이터베이스에 저장한다. 이때, 객체들의 융합 정보는 융합형태의 정보, 객체의 속성 정보, 융합된 객체의 정보, 융합된 객체의 동작 정보 등을 포함한다.
도 4는 본 발명의 실시예에 따른 증강현실 장치에서 메뉴를 나타내는 마커와 색변화를 융합한 예를 도시한 도면이다.
도 4를 참조하면, 증강현실 장치(100)는 제1융합예(410) 및 제2융합예(420) 와 같이 메뉴를 나타내는 마커와 주변 색변화에 따라 융합된 객체의 동작이 다르게 구현됨 확인할 수 있다.
제1융합예(410)는 메뉴를 나타내는 마커와 색변화가 낮 시간대로 판단되는 경우로, 증강현실 장치(100)는 점심메뉴(412)를 융합된 객체로서 증강현실로 출력한다.
제2융합예(420)는 메뉴를 나타내는 마커와 색변화가 밤 시간대로 판단되는 경우로, 증강현실 장치(100)는 저녁메뉴(422)를 융합된 객체로서 증강현실로 출력한다.
도 5는 본 발명의 실시예에 따른 증강현실 장치에서 쿠폰을 나타내는 마커와 건물을 나타내는 마커리스를 융합한 예를 도시한 도면이다.
도 5를 참조하면, 증강현실 장치(100)는 마커리스인 스터벅스 마포점(510)과 마커인 스타벅스 쿠폰(520)을 인식하면, 스터벅스 마포점(510)과 스타벅스 쿠폰(520)를 융합해서 스터벅스 마포점에서 적용되는 스터벅스 쿠폰의 내용을 나타내는 융합된 객체(530)를 증강현실로 출력한다.
도 6은 본 발명의 실시예에 따른 증강현실 장치에서 마커의 배치에 따라 마커를 융합한 예를 도시한 도면이다.
도 6을 참조하면, 증강현실 장치(100)는 제1융합예(610), 제2융합예(620) 및 제3융합예(630)와 같이 사람을 나타내는 사람 마커(602)와 공을 나타내는 공 마커(604)가 배치된 위치에 따라 융합된 객체의 동작이 다르게 구현됨 확인할 수 있다.
제1융합예(610)는 사람 마커(602)의 손 위치에서 공 마커(604)가 위치하는 경우로, 증강현실 장치(100)는 손으로 공을 던지는 동작을 하는 사람을 융합된 객체로 생성한다.
제2융합예(620)는 사람 마커(602)의 발 위치에서 공 마커(604)가 위치하는 경우로, 증강현실 장치(100)는 발로 공을 차는 동작을 하는 사람을 융합된 객체로 생성한다.
제3융합예(630)는 사람 마커(602)의 머리 위치에서 공 마커(604)가 위치하는 경우로, 증강현실 장치(100)는 머리으로 공을 헤딩하는 동작을 하는 사람을 융합된 객체로 생성한다.
도 7은 본 발명의 실시예에 따른 증강현실 장치에서 마커를 융합할 때 참조하는 각 마커의 속성정보 및 동작정보의 예를 도시한 도면이다.
증강현실 장치(100)는 융합된 객체를 생성할 때 마커(또는 마커리스)의 융합형태와 마커(또는 마커리스)의 객체정보에 따라 객체들 각각의 속성을 결정하고, 결정된 속성에 따라 융합된 객체의 동작을 결정한다.
도 7을 참조하면, 증강현실 장치(100)에서 융합된 객체를 생성할 때 비행기 객체(710), 자동차 객체(720) 및 사람 객체(730)들 간의 상관관계에 따라 결정되는 속성과 그에 따른 동작이 결정되는 예를 확인할 수 있다.
도 8은 본 발명의 실시예에 따른 증강현실 장치에서 마커의 이동에 따라 마커를 융합한 예를 도시한 도면이다.
도 8을 참조하면, 증강현실 장치(100)는 제1융합예(810) 및 제2융합예(820)와 같이 사람을 나타내는 사람 마커(802)와 자동차를 나타내는 자동차 마커(804)가 움직이는 방향과 움직이는 속도에 따라 융합된 객체의 동작이 다르게 구현됨 확인할 수 있다.
제1융합예(810)는 자동차 마커(804)가 사람 마커(802)를 향해 빠르게 이동하는 경우로, 증강현실 장치(100)는 자동차와 사람이 출동하는 동작을 융합된 객체로 생성한다.
제2융합예(820)는 자동차 마커(804)가 사람 마커(802)를 향해 느리게 이동하는 경우로, 증강현실 장치(100)는 자동차에 사람이 탑승하는 동작을 융합된 객체로 생성한다.
도 9는 본 발명의 실시예에 따른 증강현실 장치에서 크기에 따른 마커의 우선순위에 따라 마커를 융합한 예를 도시한 도면이다.
도 9를 참조하면, 증강현실 장치(100)는 제1융합예(910) 및 제2융합예(920)와 같이 마커의 크기에 따라 융합된 객체가 다르게 구현됨 확인할 수 있다.
제1융합예(910)는 커다란 자동차 마커(912)와 상대적으로 작은 사람 마커(914)가 융합되는 경우로, 증강현실 장치(100)는 자동차에 사람이 탑승된 형태의 융합된 객체를 생성한다.
제2융합예(920)는 작은 자동차 마커(922)가 상대적으로 큰 사람 마커(924)가 융합된 경우로, 증강현실 장치(100)는 사람이 장난감 자동차를 들고 있는 형태의 융합된 객체를 생성한다.
도 10은 본 발명의 실시예에 따른 증강현실 장치에서 인식 순서에 따른 마커의 우선순위에 따라 마커를 융합한 예를 도시한 도면이다.
도 10을 참조하면, 증강현실 장치(100)는 제1융합예(1010) 및 제2융합예(1020)와 같이 버스를 나타내는 버스 마커(1012)와 1을 나타내는 숫자 마커(1014)를 인식하는 순서에 따라 다른 융합된 객체가 구현됨 확인할 수 있다.
제1융합예(1010)는 버스 마커(1012)를 인식한 후에 숫자 마커(1014)를 인식한 경우로, 증강현실 장치(100)는 버스 마커(1012)와 숫자 마커(1014)를 융합해서 1번 버스 노선을 나타내는 융합된 객체(1016)를 생성한다.
제2융합예(1020)는 숫자 마커(1014)를 인식한 후에 버스 마커(1012) 를 인식한 경우로, 증강현실 장치(100)는 숫자 마커(1014)와 버스 마커(1012)를 융합해서 노선별 1번 정류장의 도착시간을 나타내는 융합된 객체(1026)를 생성한다.
도 11은 본 발명의 실시예에 따른 증강현실 장치에서 마커의 배열에 따라 마커를 융합한 일 예를 도시한 도면이다.
도 11를 참조하면, 증강현실 장치(100)는 다수의 숫자 마커들을 촬영된 영상(1110)에서 다수의 숫자 마커들의 배열을 확인해서 대응하는 달력 형태의 융합된 객체를 증강현실(1120)로 출력한다.
도 12는 본 발명의 실시예에 따른 증강현실 장치에서 마커의 배열에 따라 마커를 융합한 다른 예를 도시한 도면이다.
도 12를 참조하면, 증강현실 장치(100)는 동그랗게 배열된 다수의 숫자 마커들을 촬영된 영상(1210)에서 다수의 숫자 마커들의 배열을 확인해서 대응하는 시계 형태의 융합된 객체를 증강현실(1220)로 출력한다.
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100; 증강현실 장치
110; 제어부
112; 마커 인식부
114; 융합 판단부
116; 융합 처리부
118; 객체 처리부
120; 카메라부
130; 디스플레이부
140; 센서부
150; 입력부
160; 저장부
170; 통신부

Claims (16)

  1. 현실정보에서 마커를 인식하는 마커 인식부;
    두개 이상의 상기 마커들이 검색되면 상기 마커들의 융합여부를 판단하는 융합 판단부;
    상기 융합 판단부에서 융합으로 판단하면, 상기 마커들의 융합형태와 상기 마커들의 객체정보에 따라 상기 마커들에 대응하는 객체들 각각의 속성을 결정하고, 결정된 속성을 고려해서 융합된 객체를 생성하는 융합 처리부; 및
    상기 융합된 객체를 현실정보에 매핑하고, 매핑된 상기 융합된 객체를 디스플레이하는 객체 처리부를 포함하는
    증강현실 장치.
  2. 제1항에 있어서,
    상기 마커는,
    마커리스를 포함함을 특징으로 하는
    증강현실 장치.
  3. 제1항에 있어서,
    상기 융합형태는,
    부분융합, 접점융합, 교차융합, 복수융합, 예측융합 및 시차융합 중 적어도 하나를 포함함을 특징으로 하는
    증강현실 장치.
  4. 제1항에 있어서,
    상기 객체의 속성은,
    우선순위를 나타내는 속성, 객체의 특징을 나타내는 속성 및 다른 객체와의 상관관계를 나타내는 속성 중에서 적어도 하나를 포함함을 특징으로 하는
    증강현실 장치.
  5. 제1항에 있어서,
    상기 융합 판단부는,
    마커와 마커 간의 융합, 마커와 마커리스 간의 융합 또는 마커리스와 마커리스 간의 융합을 판단함을 특징으로 하는
    증강현실 장치.
  6. 제1항에 있어서,
    상기 융합 판단부는,
    상기 마커의 배치 또는 상기 마커의 객체정보 중 적어도 하나를 이용해서 융합여부를 판단함을 특징으로 하는
    증강현실 장치.
  7. 제1항에 있어서,
    상기 융합된 객체의 생성에 관한 사용자의 입력을 수신하는 입력부를 더 포함하고,
    상기 융합 처리부는,
    상기 입력부를 통해 상기 사용자의 입력을 수신하면 상기 사용자의 입력을 고려해서 상기 융합된 객체를 생성함을 특징으로 하는
    증강현실 장치.
  8. 제1항에 있어서,
    증강현실에 필요한 정보 또는 상기 증강현실에 추가로 적용되는 맥락정보를 수집하는 센서부를 더 포함하고,
    상기 융합 처리부는,
    상기 센서부를 통해 상기 맥락정보를 수신하면 상기 맥락정보를 고려해서 상기 융합된 객체를 생성함을 특징으로 하는
    증강현실 장치.
  9. 제8항에 있어서,
    상기 센서부는,
    온도 센서, 습도 센서, 위치감지 센서 및 동작감지 센서 중에서 적어도 하나를 포함함을 특징으로 하는
    증강현실 장치.
  10. 제1항에 있어서,
    상기 융합 처리부는,
    상기 결정된 속성을 고려해서 상기 융합된 객체의 동작을 결정하고,
    상기 객체 처리부는,
    상기 융합된 객체의 동작을 디스플레이함을 특징으로 하는
    증강현실 장치.
  11. 제1항에 있어서,
    상기 융합 처리부는,
    상기 융합형태, 상기 객체들의 속성, 상기 융합된 객체 및 상기 융합된 객체의 동작을 적어도 하나 포함하는 융합 정보를 데이터베이스에 저장함을 특징으로 하는
    증강현실 장치.
  12. 현실정보에서 마커를 인식하는 단계;
    두개 이상의 상기 마커들이 검색되면 상기 마커들의 융합여부를 판단하는 단계;
    판단결과 상기 융합으로 판단되면, 상기 마커들의 융합형태와 상기 마커들의 객체정보에 따라 상기 마커들에 대응하는 객체들 각각의 속성을 결정하고, 결정된 속성을 고려해서 융합된 객체를 생성하는 단계; 및
    상기 융합된 객체를 현실정보에 매핑하고, 매핑된 상기 융합된 객체를 디스플레이하는 단계를 포함하는
    증강현실 장치에서 마커 또는 마커리스를 융합하는 방법.
  13. 제12항에 있어서,
    상기 마커는,
    마커리스를 포함함을 특징으로 하는
    증강현실 장치에서 마커 또는 마커리스를 융합하는 방법.
  14. 제12항에 있어서,
    상기 융합된 객체의 생성에 관한 사용자의 입력을 수신하는 단계를 더 포함하고,
    상기 융합된 객체를 생성하는 단계는,
    상기 입력부를 통해 상기 사용자의 입력을 수신하면 상기 사용자의 입력을 고려해서 상기 융합된 객체를 생성함을 특징으로 하는
    증강현실 장치에서 마커 또는 마커리스를 융합하는 방법.
  15. 제12항에 있어서,
    센서를 통해서 증강현실에 필요한 정보 또는 상기 증강현실에 추가로 적용되는 맥락정보를 수집하는 단계를 더 포함하고,
    상기 융합된 객체를 생성하는 단계는,
    상기 센서부를 통해 상기 맥락정보를 수신하면 상기 맥락정보를 고려해서 상기 융합된 객체를 생성함을 특징으로 하는
    증강현실 장치에서 마커 또는 마커리스를 융합하는 방법.
  16. 제12항에 있어서,
    상기 결정된 속성을 고려해서 상기 융합된 객체의 동작을 결정하는 단계를 더 포함하고,
    상기 디스플레이 단계는,
    상기 융합된 객체의 동작을 디스플레이함을 특징으로 하는
    증강현실 장치에서 마커 또는 마커리스를 융합하는 방법.
KR1020100100022A 2010-10-13 2010-10-13 마커 또는 마커리스를 융합하는 증강현실 장치 및 방법 KR101317532B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100100022A KR101317532B1 (ko) 2010-10-13 2010-10-13 마커 또는 마커리스를 융합하는 증강현실 장치 및 방법
US13/196,771 US20120092370A1 (en) 2010-10-13 2011-08-02 Apparatus and method for amalgamating markers and markerless objects

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100100022A KR101317532B1 (ko) 2010-10-13 2010-10-13 마커 또는 마커리스를 융합하는 증강현실 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20120038322A true KR20120038322A (ko) 2012-04-23
KR101317532B1 KR101317532B1 (ko) 2013-10-15

Family

ID=45933774

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100100022A KR101317532B1 (ko) 2010-10-13 2010-10-13 마커 또는 마커리스를 융합하는 증강현실 장치 및 방법

Country Status (2)

Country Link
US (1) US20120092370A1 (ko)
KR (1) KR101317532B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190034051A (ko) * 2017-09-22 2019-04-01 삼성전자주식회사 Ar 서비스를 제공하는 방법 및 디바이스

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103535025B (zh) * 2012-03-15 2018-03-06 松下电器（美国）知识产权公司 内容数据处理装置、内容数据处理方法以及程序
US9547917B2 (en) * 2013-03-14 2017-01-17 Paypay, Inc. Using augmented reality to determine information
US9846965B2 (en) 2013-03-15 2017-12-19 Disney Enterprises, Inc. Augmented reality device with predefined object data
JP2015090593A (ja) * 2013-11-06 2015-05-11 ソニー株式会社 情報処理装置、情報処理方法および情報処理システム
US10192359B2 (en) 2014-01-31 2019-01-29 Empire Technology Development, Llc Subject selected augmented reality skin
WO2015116186A1 (en) * 2014-01-31 2015-08-06 Empire Technology Development, Llc Evaluation of augmented reality skins
WO2015116179A1 (en) 2014-01-31 2015-08-06 Empire Technology Development, Llc Augmented reality skin manager
WO2015116182A1 (en) 2014-01-31 2015-08-06 Empire Technology Development, Llc Augmented reality skin evaluation
KR20180041890A (ko) * 2016-10-17 2018-04-25 삼성전자주식회사 가상 객체를 표시하는 방법 및 장치
KR20190118373A (ko) 2018-04-10 2019-10-18 주식회사 엠에스게임 가상현실 체험 시스템 및 방법

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09326917A (ja) * 1996-06-06 1997-12-16 Fuji Photo Film Co Ltd 画像合成装置および方法
US6492993B1 (en) * 1998-05-14 2002-12-10 Autodesk, Inc. Method and system for generating railing objects
JP2001101415A (ja) * 1999-09-29 2001-04-13 Fujitsu Ten Ltd 画像認識装置および画像処理装置
US7113637B2 (en) * 2001-08-24 2006-09-26 Industrial Technology Research Institute Apparatus and methods for pattern recognition based on transform aggregation
JP4192819B2 (ja) * 2004-03-19 2008-12-10 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム
US20050289590A1 (en) * 2004-05-28 2005-12-29 Cheok Adrian D Marketing platform
US7720436B2 (en) * 2006-01-09 2010-05-18 Nokia Corporation Displaying network objects in mobile devices based on geolocation
JP4321549B2 (ja) * 2005-09-28 2009-08-26 セイコーエプソン株式会社 文書作成システム、文書作成方法、プログラムおよび記憶媒体
KR101309176B1 (ko) * 2006-01-18 2013-09-23 삼성전자주식회사 증강 현실 장치 및 방법
US7755635B2 (en) * 2006-02-27 2010-07-13 Benman William J System and method for combining satellite imagery with virtual imagery
US20080052623A1 (en) * 2006-08-22 2008-02-28 Michael Gutfleisch Accessing data objects based on attribute data
KR100860940B1 (ko) 2007-01-22 2008-09-29 광주과학기술원 컬러 마커를 이용한 컨텐츠 제공 방법 및 이를 수행하기 위한 시스템
KR100912264B1 (ko) * 2008-02-12 2009-08-17 광주과학기술원 사용자 반응형 증강 영상 생성 방법 및 시스템
US8758102B2 (en) * 2008-03-25 2014-06-24 Wms Gaming, Inc. Generating casino floor maps
US20090322671A1 (en) * 2008-06-04 2009-12-31 Cybernet Systems Corporation Touch screen augmented reality system and method
US20100208033A1 (en) * 2009-02-13 2010-08-19 Microsoft Corporation Personal Media Landscapes in Mixed Reality
US8629784B2 (en) * 2009-04-02 2014-01-14 GM Global Technology Operations LLC Peripheral salient feature enhancement on full-windshield head-up display
US8564502B2 (en) * 2009-04-02 2013-10-22 GM Global Technology Operations LLC Distortion and perspective correction of vector projection display
US8331611B2 (en) * 2009-07-13 2012-12-11 Raytheon Company Overlay information over video
KR101229078B1 (ko) * 2009-12-21 2013-02-04 한국전자통신연구원 실내외 상황인식 기반의 모바일 혼합현실 콘텐츠 운용 장치 및 방법
US20110246276A1 (en) * 2010-04-02 2011-10-06 Richard Ross Peters Augmented- reality marketing with virtual coupon
KR101018781B1 (ko) 2010-06-08 2011-03-03 주식회사 온미디어 증강 현실을 이용하여 부가 컨텐츠를 제공하는 방법 및 그 시스템
US8683360B2 (en) * 2010-07-12 2014-03-25 Panasonic Corporation Support device, computer-readable recording medium, design support method and integrated circuit
KR101260576B1 (ko) * 2010-10-13 2013-05-06 주식회사 팬택 Ａｒ 서비스를 제공하기 위한 사용자 단말기 및 그 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190034051A (ko) * 2017-09-22 2019-04-01 삼성전자주식회사 Ar 서비스를 제공하는 방법 및 디바이스
CN111133479A (zh) * 2017-09-22 2020-05-08 三星电子株式会社 提供增强现实服务的方法和设备
CN111133479B (zh) * 2017-09-22 2024-01-26 三星电子株式会社 提供增强现实服务的方法和设备

Also Published As

Publication number Publication date
KR101317532B1 (ko) 2013-10-15
US20120092370A1 (en) 2012-04-19

Similar Documents

Publication Publication Date Title
KR101317532B1 (ko) 마커 또는 마커리스를 융합하는 증강현실 장치 및 방법
WO2021073268A1 (zh) 一种增强现实数据呈现方法、装置、电子设备及存储介质
JP7079231B2 (ja) 情報処理装置及び情報処理システム及び制御方法、プログラム
US10217288B2 (en) Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor
CN106415671B (zh) 用于呈现与真实对象相关的数字信息的方法和系统
US9946963B2 (en) Barcode visualization in augmented reality
US20160004320A1 (en) Tracking display system, tracking display program, tracking display method, wearable device using these, tracking display program for wearable device, and manipulation method for wearable device
US10768711B2 (en) Mediated reality
JP2016505961A (ja) 実環境に仮想情報を表現する方法
JP2017146651A (ja) 画像処理方法及び画像処理プログラム
JP5565331B2 (ja) 表示システム、表示処理装置、表示方法、および表示プログラム
KR20210148074A (ko) Ar 시나리오 콘텐츠의 생성 방법, 전시 방법, 장치 및 저장 매체
JP2018530043A (ja) イメージコンテンツ検索
JP6345381B2 (ja) 拡張現実システム
KR101879102B1 (ko) 증강현실 시스템 구현 방법
JP5829154B2 (ja) 拡張現実システム
KR101914660B1 (ko) 자이로 센서를 기반으로 증강현실 컨텐츠의 표시를 제어하는 방법 및 그 장치
JP7096295B2 (ja) 表示制御システム、プログラム、及び表示制御方法
KR101925181B1 (ko) 증강/가상 현실 기반 동적 정보 처리 방법 및 시스템
KR101559586B1 (ko) 증강 현실을 이용한 정보 안내 장치 및 그 방법
KR20140061009A (ko) 음성인식을 이용한 하이브리드 증강현실 시스템 및 그 방법
CN115861509A (zh) 虚拟车展实现方法、计算机装置及存储介质
CN116643651A (zh) 基于ar的叠加模式导航方法、装置、设备和ar眼镜
CN117940963A (zh) 显示装置、显示装置的控制方法以及程序
JP2022040118A (ja) 表示制御装置、プログラム、及びシステム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161004

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180329

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190327

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20191002

Year of fee payment: 7

J204 Request for invalidation trial [patent]
J301 Trial decision

Free format text: TRIAL NUMBER: 2022100000904; TRIAL DECISION FOR INVALIDATION REQUESTED 20220331

Effective date: 20230620

J302 Written judgement (patent court)

Free format text: TRIAL NUMBER: 2023200013018; JUDGMENT (PATENT COURT) FOR INVALIDATION REQUESTED 20230818

Effective date: 20240425

J301 Trial decision

Free format text: TRIAL NUMBER: 2024130000029; TRIAL DECISION FOR INVALIDATION REQUESTED 20240524

Effective date: 20240621