KR101335617B1 - 모바일 환경에서의 증강 현실 구현 방법 및 이를 위한 장치 - Google Patents

모바일 환경에서의 증강 현실 구현 방법 및 이를 위한 장치 Download PDF

Info

Publication number
KR101335617B1
KR101335617B1 KR1020100016116A KR20100016116A KR101335617B1 KR 101335617 B1 KR101335617 B1 KR 101335617B1 KR 1020100016116 A KR1020100016116 A KR 1020100016116A KR 20100016116 A KR20100016116 A KR 20100016116A KR 101335617 B1 KR101335617 B1 KR 101335617B1
Authority
KR
South Korea
Prior art keywords
image
information
image information
feature points
user terminal
Prior art date
Application number
KR1020100016116A
Other languages
English (en)
Other versions
KR20100114819A (ko
Inventor
윤창락
김경옥
김희관
박도현
Original Assignee
주식회사 제니텀
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 제니텀, 한국전자통신연구원 filed Critical 주식회사 제니텀
Publication of KR20100114819A publication Critical patent/KR20100114819A/ko
Application granted granted Critical
Publication of KR101335617B1 publication Critical patent/KR101335617B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/18—Service support devices; Network management devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Marketing (AREA)
  • Data Mining & Analysis (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

위치 및 영상 인식을 기반으로 하여 증강 현실을 구현할 수 있는 증강 현실 구현 방법이 제공된다. 증강 현실 구현 방법은, 사용자 단말로부터 전송된 촬영 영상과 기저장된 다수의 영상 정보를 비교하는 단계, 비교 결과에 따라 다수의 영상 정보 중에서 촬영 영상과 일치하는 영상 정보를 추출하는 단계 및 영상 정보에 포함된 부가 정보를 추출하고, 추출된 부가 정보를 사용자 단말로 전송하여 증강 현실을 구현하는 단계를 포함한다.

Description

모바일 환경에서의 증강 현실 구현 방법 및 이를 위한 장치{Method and device for implementing augmented reality in mobile environment}
본 발명은 증강 현실 기법에 관한 것으로서, 보다 상세하게는 모바일 환경에서 위치 및 영상 인식을 기반으로 하여 증강 현실을 구현할 수 있는 증강 현실 구현 방법 및 이를 위한 장치에 관한 것이다.
디지털 기기의 발달에 힘입어 모든 일반 사용자들이 모바일 환경에서 카메라를 이용하여 용이하게 영상을 획득할 수 있게 되었고, GPS 모듈 또한 장착되어 사용자들에게 편리하게 위치를 찾을 수 있도록 도움을 주고 있다.
또한, 증강 현실 분야에선 카메라로부터 입력되는 영상에 가상의 그래픽 영상 등의 새로운 부가 정보를 표시해 주는 방법을 통해 사용자에게 부가적인 정보를 제공해 줄 수 있도록 연구를 활발히 진행 중에 있다.
종래의 증강 현실 시스템에서는 디지털 기기의 카메라를 통하여 동일한 형태와 크기의 물리적인 마커를 실사영상으로부터 입력받아 해당 마커를 인지하고, 그에 따른 마커의 위치, 방향 등을 영상입력장치로부터의 상대적인 데이터로 계산하여 가상의 개체가 보여질 포즈 및 위치를 예측하여 가상 개체를 실사영상에 투영하는 방식을 사용하였다.
그러나, 종래의 증강 현실 시스템에서는 디지털 기기에 가상 개체를 투영하기 위해서 반드시 그에 부합되는 물리적인 마커가 하나 이상 필요하고 유동적으로 마커 정보를 변경할 수 없다는 단점이 있었다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 제안된 것으로써, 모바일 환경에서 별도의 마커 없이 영상 인식을 기반으로 하여 증강 현실을 구현할 수 있는 증강 현실 구현 방법 및 이를 위한 장치를 제공하고자 하는데 있다.
상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 증강 현실 구현 방법은, 사용자 단말로부터 전송된 촬영 영상과 기저장된 다수의 영상 정보를 비교하는 단계, 비교 결과에 따라 다수의 영상 정보 중에서 촬영 영상과 일치하는 영상 정보를 추출하는 단계 및 영상 정보에 포함된 부가 정보를 추출하고, 추출된 부가 정보를 사용자 단말로 전송하여 증강 현실을 구현하는 단계를 포함한다.
상기 다른 과제를 해결하기 위한 본 발명의 일 실시예에 따른 증강 현실 구현 장치는, 다수의 영상 정보가 저장된 영상 정보 저장부 및 사용자 단말로부터 전송된 촬영 영상과 다수의 영상 정보 각각을 비교하고, 비교 결과에 따라 다수의 영상 정보 중에서 촬영 영상과 일치하는 영상 정보를 선택하며, 선택된 영상 정보에 포함된 부가 정보를 추출하여 출력하는 비교부를 포함한다.
본 발명의 증강 현실 구현 방법 및 이를 위한 장치에 따르면, 마커가 없이도 카메라가 내장되어 있는 모바일 기기를 활용하여, 실시간으로 주변 환경 혹은 사물에 대한 정보를 증강 현실로 제공받을 수 있다.
또한, 증강 현실을 구현하는데 있어 사용자가 촬영한 대상물의 영상을 기반으로 하기 때문에 사용자는 해당 대상물에 대해서 정확한 명칭을 몰라도 될 뿐 만 아니라 직접 검색어를 입력하지 않아도 되는 장점을 지닌다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 일 실시예에 따른 증강 현실 구현 장치의 개략적인 구성도이다.
도 2는 도 1에 도시된 증강 현실 구현 장치의 서버 동작의 흐름도이다.
도 3 및 도 4는 도 1에 도시된 증강 현실 구현 장치의 사용자 단말의 동작 흐름도들이다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시 예에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 실시 예를 예시하는 첨부도면 및 첨부도면에 기재된 내용을 참조하여야만 한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일 실시예에 따른 증강 현실 구현 장치의 개략적인 구성도이다.
도 1을 참조하면, 증강 현실 구현 장치(100)는 사용자 단말(110)과 서버(120)를 포함할 수 있다.
사용자 단말(110)은 사용자가 휴대할 수 있는 모바일 기기, 예컨대 휴대폰, PDA, PMP, 스마트폰 등과 같은 모바일 기기일 수 있다.
사용자 단말(110)은 사용자 입력부(111), 촬영부(113), 영상 처리부(115) 및 표시부(117)를 포함할 수 있다.
사용자 입력부(111)는 사용자로부터 명령 또는 정보를 입력받아 사용자 입력(UI)으로써 영상 처리부(115)로 전송할 수 있다.
사용자 입력부(111)는 사용자 단말(110)의 키패드 또는 터치 패드 등으로 구현될 수 있으며, 사용자는 이러한 키패드 또는 터치 패드를 조작하는 동작을 통하여 사용자 입력(UI)을 수행할 수 있다.
여기서, 사용자가 입력하는 명령은 후술될 서버(120)에 정보를 요청하거나 또는 정보를 전송하기 위한 명령일 수 있고, 사용자가 입력하는 정보는 후술될 촬영부(113)에 의해 촬영된 촬영 영상(SI)에 대한 부가 정보일 수 있다.
촬영부(113)는 사용자의 조작에 따라 사용자 주위의 대상물을 촬영하여 촬영 영상(SI), 즉 실사 영상을 출력할 수 있다.
촬영부(113)에 의해 촬영된 촬영 영상(SI)은 후술될 영상 처리부(115)로 전송될 수 있다.
촬영부(113)는 사용자 단말(110)에 부착된 카메라로 구현될 수 있으며, 이러한 카메라는 씨씨디(CCD) 또는 씨모스(CMOS) 등과 같은 촬상 소자로 구현될 수 있다.
영상 처리부(115)는 촬영부(113)로부터 전송된 촬영 영상(SI)을 처리하거나 또는 서버(120)로부터 통신망(130)을 통해 전송된 영상 정보(IM) 또는 이에 포함된 부가 정보(OI)를 처리할 수 있다.
예컨대, 영상 처리부(115)는 촬영부(113)로부터 촬영 영상(SI)을 전송받고, 사용자 입력부(111)로부터 전송된 사용자 입력(UI)을 촬영 영상(SI)에 합성시키는 영상 처리 동작을 수행할 수 있다.
이때, 영상 처리부(115)는 촬영 영상(SI)의 위치 정보, 즉 촬영부(113)에 의해 촬영된 대상물의 GPS(global positioning system; GPS) 정보를 촬영 영상(SI) 및 사용자 입력(UI)과 함께 합성시킬 수도 있다.
영상 처리부(115)에 의해 사용자 입력(UI) 및 위치 정보가 합성된 촬영 영상(SI)은 서버(120)로 전송될 수 있다.
또한, 영상 처리부(115)는 서버(120)로부터 부가 정보(OI)(또는, 영상 정보(IM))를 전송받고, 이를 촬영 영상(SI)에 합성시키는 영상 처리 동작을 수행할 수 있다.
이때, 영상 처리부(115)는 서버(120)로부터 전송된 부가 정보(OI)를 촬영 영상(SI)에 3차원(또는, 2차원) 가상 객체로써 합성시킬 수 있다.
영상 처리부(115)는 사용자 입력(UI)이 합성된 촬영 영상(SI)을 표시부(117)로 출력하거나 또는 부가 정보(OI)가 합성된 촬영 영상(SI)을 표시부(117)로 출력할 수 있다.
표시부(117)는 영상 처리부(115)로부터 출력된 합성 영상(CI), 즉 사용자 입력(UI) 또는 부가 정보(OI)가 합성된 촬영 영상을 사용자에게 디스플레이 할 수 있다.
상술한 사용자 단말(110)은 통신망(130)을 통해 서버(120)에 접속될 수 있다. 통신망(130)은 유선/무선 통신망일 수 있으며, 본 실시예에서는 사용자 단말(110)이 모바일 기기인 예를 들어 설명하므로 무선 통신망(130)인 예를 들어 설명한다.
서버(120)는 하나 이상의 사용자 단말(110)과 통신하면서 사용자 단말(110)로부터 사용자 입력(UI)이 합성된 촬영 영상(SI)을 전송받거나 또는 사용자 단말(110)로 부가 정보(OI)를 전송할 수 있다.
서버(120)는 영상 정보 저장부(121), 특징점 추출부(123) 및 비교부(125)를 포함할 수 있다.
영상 정보 저장부(121)는 서버(120)에 접속된 다수의 사용자들 각각으로부터 전송된 합성 영상(CI), 예컨대 다수의 사용자들 각각의 촬영 영상(SI)과 이에 포함된 부가 정보(OI)를 영상 정보(IM)로써 저장할 수 있다.
예컨대, 다수의 사용자들 각각은 보유하고 있는 사용자 단말을 이용하여 다양한 공간에서 촬영된 촬영 영상(SI)과 이에 대한 부가 정보를 합성하여 합성 영상(CI)으로써 서버(120)로 전송할 수 있다.
여기서, 다수의 사용자들 각각이 전송하는 합성 영상(CI)은 촬영 영상(SI), 그에 대한 부가 정보 및 위치 정보를 포함할 수 있다.
서버(120)는 다수의 사용자들 각각으로부터 전송된 합성 영상(CI)을 영상 정보 저장부(121)에 영상 정보(IM)로써 저장하되, 합성 영상(CI)에 포함된 위치 정보에 따라 하나 이상의 리스트로 분류하여 저장할 수 있다.
또한, 영상 정보 저장부(121)는 분류된 합성 영상(CI) 각각으로부터 하나 이상의 특징점을 추출하여 저장할 수 있으며, 합성된 부가 정보로부터 가상의 객체를 생성하여 그 합성 영상(CI)의 부가 정보(OI)로써 저장할 수 있다.
즉, 영상 정보 저장부(121)는 다수의 사용자들 각각으로부터 전송된 다수의 합성 영상(CI) 각각을 위치 정보에 따라 분류하고, 각각의 합성 영상(CI)으로부터 하나 이상의 특징점을 추출하며, 특징점 및 부가 정보(OI)가 포함된 하나의 합성 영상(CI)을 하나의 영상 정보(IM)로써 저장할 수 있다.
한편, 사용자가 사용자 단말(110)을 통하여 영상 정보 저장부(121)에 정보를 요청하는 경우에, 사용자 단말(110)로부터 전송된 합성 영상(CI)에 따라 저장된 다수의 영상 정보(IM) 중에서 해당하는 영상 정보를 추출하여 출력할 수 있다.
특징점 추출부(123)는 사용자 단말(110)로부터 전송된 합성 영상(CI)으로부터 하나 이상의 특징점(VD)을 추출하여 출력할 수 있다.
특징점 추출부(123)는 영상의 크기, 회전, 어파인 변형(affine transformation) 등에도 강건한 성능을 보이는 SIFT(scale invariant feature transform; SFIT) 알고리즘을 이용하여 합성 영상(CI)으로부터 하나 이상의 특징점(VD)을 추출할 수 있으나, 이에 제한되지는 않는다.
비교부(125)는 특징점 추출부(123)로부터 출력된 합성 영상(CI)의 하나 이상의 특징점(VD)과 영상 정보 저장부(121)로부터 출력된 영상 정보(IM)의 특징점을 비교하고, 비교 결과에 따라 영상 정보(IM)에 포함된 부가 정보(OI)를 출력할 수 있다.
예컨대, 비교부(125)는 합성 영상(CI)으로부터 추출된 특징점(VD)과 영상 정보(IM)의 특징점의 일치 여부를 비교하고, 비교 결과에 따라 합성 영상(CI)과 영상 정보(IM)의 일치 여부를 판단할 수 있다.
비교 결과에 따라 합성 영상(CI)과 영상 정보(IM)가 일치한다고 판단되면, 비교부(125)는 영상 정보(IM)의 부가 정보(OI)를 추출하여 출력할 수 있다. 부가 정보(OI)는 통신망(130)을 통해 사용자 단말(110)로 전송될 수 있다.
한편, 비교부(125)는 소정의 기준값을 설정하고, 합성 영상(CI)과 영상 정보(IM)의 서로 일치되는 특징점 개수가 기준값 이상인 경우에 두 영상이 서로 일치한다고 판단할 수도 있다.
예컨대, 기준값이 70으로 설정된 경우에, 비교부(125)는 합성 영상(CI)에서 추출한 특징점(VD)과 영상 정보(IM)의 특징점의 일치 개수가 전체 특징점에서 70%이상인 경우에 두 영상이 서로 일치한다고 판단할 수 있다.
한편, 비교부(125)로부터 출력된 부가 정보(OI)는 사용자 단말(110)로 전송되고, 사용자 단말(110)은 부가 정보(OI)를 촬영 영상(SI)에 합성시켜 사용자에게 표시할 수 있다.
도 2는 도 1에 도시된 증강 현실 구현 장치의 서버 동작의 흐름도이고, 도 3 및 도 4는 도 1에 도시된 증강 현실 구현 장치의 사용자 단말의 동작 흐름도들이다.
이하에서는, 도 1 및 도 2를 참조하여 증강 현실 구현 장치(100)의 서버(120)에서 수행되는 증강 현실 구현 방법에 대하여 먼저 설명하기로 한다.
도 1 및 도 2를 참조하면, 서버(120)는 다수의 사용자 단말들과 통신망(130)을 통하여 통신을 수행하면서, 그 중에서 하나의 사용자 단말(110)로부터 사용자 입력(UI)이 합성된 합성 영상(CI)을 수신할 수 있다(S10).
여기서, 합성 영상(CI)에 포함된 사용자 입력(UI)은 사용자가 서버(120)에 정보를 요청하는 요청 명령일 수 있다. 또한, 합성 영상(CI)에는 그 영상의 위치 정보가 포함될 수 있다.
서버(120)의 특징점 추출부(123)는 사용자 단말(110)로부터 전송된 합성 영상(CI)으로부터 하나 이상의 특징점(VD)을 추출하여 출력할 수 있다(S20).
또한, 서버(120)의 영상 정보 저장부(121)는 저장된 다수의 영상 정보(IM) 중에서 사용자 단말(110)로부터 전송된 합성 영상(CI)의 위치 정보와 동일한 위치 정보를 가지는 하나 이상의 영상 정보(IM)를 추출하여 출력할 수 있다(S30).
여기서, 영상 정보 저장부(121)로부터 출력되는 하나 이상의 영상 정보(IM) 각각은 특징점 및 부가 정보(OI)를 포함할 수 있다.
비교부(125)는 특징점 추출부(123)로부터 출력된 합성 영상(CI)의 하나 이상의 특징점(VD)과 영상 정보 저장부(121)로부터 출력된 하나 이상의 영상 정보(IM)의 특징점을 비교하여 일치 여부를 판단할 수 있다(S40).
예컨대, 비교부(125)는 하나 이상의 영상 정보(IM)와 합성 영상(CI)을 비교하는 동작을 수행하면서, 합성 영상(CI)의 특징점(VD)과 일치하는 특징점을 가진 영상 정보(IM)를 추출하여 출력할 수 있다.
이때, 비교부(125)는 추출된 영상 정보(IM)에 포함된 부가 정보(OI)를 추출하여 출력할 수 있다(S50).
한편, 비교부(125)는 기설정된 비교 기준값에 따라 합성 영상(CI)과 영상 정보(IM)의 일치 여부를 판단할 수도 있다.
예컨대, 비교부(125)의 기준값이 70으로 설정되고 합성 영상(CI)과 영상 정보(IM) 각각의 특징점이 10개인 경우에, 비교부(125)의 비교 결과 일치하는 특징점이 7개 이상이면 합성 영상(CI)과 영상 정보(IM)가 서로 일치하는 영상인 것으로 판단할 수 있다.
한편, 비교부(125)로부터 출력된 영상 정보(IM)에 포함된 부가 정보(OI)는 통신망(130)을 통해 사용자 단말(110)로 출력되며, 사용자 단말(110)은 부가 정보(OI)를 이용하여 증강 현실을 구현할 수 있다.
이하에서는, 도 1 및 도 3을 참조하여, 사용자 단말(110)에서 수행되는 증강 현실 구현 방법에 대하여 설명한다.
도 1 및 도 3을 참조하면, 사용자는 사용자 단말(110)을 이용하여 서버(120)에 정보 요청을 할 수 있고, 서버(120)는 앞서 도 2를 참조하여 설명한 바와 같이 부가 정보(OI)를 출력할 수 있다.
서버(120)로부터 출력된 부가 정보(OI)는 통신망(130)을 통해 사용자 단말(110)의 영상 처리부(115)로 전송될 수 있다(S110).
영상 처리부(115)는 촬영부(113)로부터 촬영 영상(SI)을 수신하고(S120), 수신된 촬영 영상(SI)에 서버(120)로부터 전송된 부가 정보(OI)를 합성시켜 부가 정보(OI)가 합성 영상(CI)을 생성할 수 있다(S130).
여기서, 서버(120)로부터 전송된 부가 정보(OI)는 가상의 객체 정보일 수 있으며, 영상 처리부(115)는 실사 영상인 촬영 영상(SI)에 가상 객체 정보인 부가 정보(OI)를 합성시켜 합성 영상(CI)을 생성할 수 있다.
생성된 합성 영상(CI)은 표시부(117)로 출력되어 사용자에게 디스플레이될 수 있다(S140).
한편, 사용자는 사용자 단말(110)을 통하여 합성 영상(CI)을 생성하고, 이를 서버(120)로 전송하여 영상 정보(IM)로써 저장할 수 있다.
이하에서는, 도 1 및 도 4를 참조하여 사용자 단말(110)에서 수행되는 합성 영상(CI)의 생성 방법에 대하여 설명한다.
도 1 및 도 4를 참조하면, 사용자는 사용자 단말(110)의 촬영부(113)를 조작하여 사용자 주위의 대상물을 촬영하고, 촬영부(113)는 촬영된 영상(SI)을 영상 처리부(115)로 전송할 수 있다(S210).
또한, 사용자는 사용자 단말(110)의 사용자 입력부(111)를 조작하여 앞서 촬영부(113)를 통해 촬영한 영상(SI)에 대한 부가 정보를 사용자 입력(UI)으로써 입력할 수 있다(S220).
사용자 입력부(111)는 사용자 입력(UI)을 영상 처리부(115)로 전송할 수 있다.
영상 처리부(115)는 촬영부(113)로부터 전송된 촬영 영상(SI)에 사용자 입력(UI)을 합성시켜 합성 영상(CI)을 생성할 수 있다(S230).
여기서, 사용자는 텍스트 기반의 부가 정보를 사용자 입력(UI)으로 입력할 수 있고, 영상 처리부(115)는 촬영 영상(SI)에 텍스트 기반의 부가 정보를 합성시키는 동작을 수행할 수 있다.
또한, 영상 처리부(115)는 촬영 영상(SI)의 위치 정보를 촬영 영상(SI) 및 사용자 입력(UI)과 함께 합성시켜 합성 영상(CI)을 생성할 수 있다.
영상 처리부(115)는 생성된 합성 영상(CI)을 통신망(130)을 통해 서버(120)로 전송할 수 있다(S240).
이때, 사용자는 사용자 입력부(111)를 통하여 합성 영상(CI)의 전송 명령을 사용자 입력(UI)으로 입력할 수 있고, 영상 처리부(115)는 이러한 전송 명령에 따라 합성 영상(CI)을 서버(120)로 전송할 수 있다.
한편, 서버(120)의 영상 정보 저장부(121)는 사용자 단말(110)로부터 전송된 합성 영상(CI)을 저장할 수 있다.
이때, 영상 정보 저장부(121)는 전송된 합성 영상(CI)을 위치 정보에 따라 분류하고, 분류된 합성 영상(CI)에서 하나 이상의 특징점을 추출하며, 분류된 합성 영상(CI)에 포함된 부가 정보, 즉 사용자가 입력한 부가 정보를 가상 객체 정보로 생성하여 하나의 영상 정보(IM)로 저장할 수 있다.
본 발명의 내용은 도면에 도시된 일 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
100: 증강 현실 처리 장치 110: 사용자 단말
111: 사용자 입력부 113: 촬영부
115: 영상 처리부 117: 표시부
120: 서버 121: 영상 정보 저장부
123: 특징점 추출부 125: 비교부
130: 통신망

Claims (13)

  1. 사용자 단말로부터 전송된 촬영 영상과 기저장된 다수의 영상 정보를 비교하는 단계;
    비교 결과에 따라 상기 다수의 영상 정보 중에서 상기 촬영 영상과 일치하는 영상 정보를 추출하는 단계; 및
    상기 영상 정보에 포함된 부가 정보를 추출하고, 추출된 상기 부가 정보를 상기 사용자 단말로 전송하고, 상기 사용자 단말이 상기 촬영 영상에 가상의 객체 정보에 해당하는 상기 부가 정보를 합성하도록 하여 증강 현실을 구현하는 단계를 포함하는 증강 현실 구현 방법.
  2. 청구항1에 있어서, 상기 다수의 영상 정보 각각은 특징점을 포함하고,
    상기 비교하는 단계는,
    전송된 상기 촬영 영상으로부터 하나 이상의 특징점을 추출하는 단계;
    추출된 촬영 영상의 특징점과 상기 다수의 영상 정보 각각의 특징점의 일치 여부를 비교하는 단계를 포함하는 증강 현실 구현 방법.
  3. 청구항2에 있어서,
    상기 영상 정보를 추출하는 단계는, 상기 다수의 영상 정보 중에서 상기 촬영 영상의 특징점과 일치하는 특징점을 최대 개수로 가지는 상기 영상 정보를 추출하는 단계인 증강 현실 구현 방법.
  4. 청구항3에 있어서,
    상기 영상 정보를 추출하는 단계는, 상기 다수의 영상 정보 중에서 상기 촬영 영상의 특징점과 일치하는 특징점을 설정된 비교 기준값 이상으로 가지는 상기 영상 정보를 추출하는 단계인 증강 현실 구현 방법.
  5. 청구항1에 있어서, 상기 촬영 영상과 상기 다수의 영상 정보 각각은 위치 정보를 포함하고,
    상기 영상 정보를 추출하는 단계는, 상기 다수의 영상 정보 중에서 상기 촬영 영상의 위치 정보와 동일한 위치 정보를 가지는 상기 영상 정보를 추출하는 단계인 증강 현실 구현 방법.
  6. 청구항1에 있어서,
    상기 증강 현실을 구현하는 단계는,
    상기 사용자 단말이 상기 촬영 영상에 상기 부가 정보를 합성한 결과를 사용자에게 디스플레이 하는 단계인 증강 현실 구현 방법.
  7. 청구항1에 있어서,
    사용자가 상기 사용자 단말을 이용하여 저장하고자 하는 대상물의 영상을 촬영한 후, 촬영된 영상에 대한 정보를 입력하여 합성시키는 단계; 및
    상기 사용자 단말로부터 상기 정보가 합성된 영상을 전송받아 저장하는 단계를 더 포함하는 증강 현실 구현 방법.
  8. 청구항7에 있어서, 상기 저장하는 단계는,
    전송된 상기 영상을 위치 정보에 따라 분류하는 단계;
    분류된 영상으로부터 하나 이상의 특징점을 추출하는 단계; 및
    상기 하나 이상의 특징점 및 상기 정보를 포함하는 상기 영상을 영상 정보로써 저장하는 단계를 포함하는 증강 현실 구현 방법.
  9. 다수의 영상 정보가 저장된 영상 정보 저장부; 및
    사용자 단말로부터 전송된 촬영 영상과 상기 다수의 영상 정보 각각을 비교하고, 비교 결과에 따라 상기 다수의 영상 정보 중에서 상기 촬영 영상과 일치하는 영상 정보를 선택하며, 선택된 영상 정보에 포함된 부가 정보를 추출하여 출력하는 비교부를 포함하는 증강 현실 구현 장치.
  10. 청구항9에 있어서,
    전송된 상기 촬영 영상으로부터 하나 이상의 특징점을 추출하는 특징점 추출부를 더 포함하는 증강 현실 구현 장치.
  11. 청구항10에 있어서, 상기 다수의 영상 정보 각각은 특징점을 포함하고,
    상기 비교부는 추출된 상기 촬영 영상의 특징점과 상기 다수의 영상 정보 각각의 특징점의 일치 여부를 비교하여 상기 영상 정보를 선택하되,
    상기 다수의 영상 정보 중에서 상기 촬영 영상의 특징점과 일치하는 특징점을 최대 개수로 가지는 상기 영상 정보를 선택하는 증강 현실 구현 장치.
  12. 청구항9에 있어서, 상기 촬영 영상과 상기 다수의 영상 정보 각각은 위치 정보를 포함하고,
    상기 비교부는 상기 촬영 영상과 상기 다수의 영상 정보 각각을 비교하여 상기 영상 정보를 선택하되,
    상기 다수의 영상 정보 중에서 상기 촬영 영상의 위치 정보와 동일한 위치 정보를 가지는 상기 영상 정보를 선택하는 증강 현실 구현 장치.
  13. 청구항9에 있어서, 상기 사용자 단말은,
    상기 비교부로부터 출력된 상기 부가 정보를 상기 촬영 영상에 합성시키는 영상 처리부; 및
    상기 영상 처리부로부터 상기 부가 정보가 합성된 상기 촬영 영상을 전송받아 사용자에게 디스플레이하는 표시부를 포함하는 증강 현실 구현 장치.


KR1020100016116A 2009-04-16 2010-02-23 모바일 환경에서의 증강 현실 구현 방법 및 이를 위한 장치 KR101335617B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020090033066 2009-04-16
KR20090033066 2009-04-16

Publications (2)

Publication Number Publication Date
KR20100114819A KR20100114819A (ko) 2010-10-26
KR101335617B1 true KR101335617B1 (ko) 2013-12-02

Family

ID=43133911

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100016116A KR101335617B1 (ko) 2009-04-16 2010-02-23 모바일 환경에서의 증강 현실 구현 방법 및 이를 위한 장치

Country Status (1)

Country Link
KR (1) KR101335617B1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101236919B1 (ko) * 2010-10-29 2013-02-28 에스케이플래닛 주식회사 위치 기반 사진 합성 시스템, 장치와 단말기 및 방법
KR101726227B1 (ko) * 2010-11-08 2017-04-13 엘지전자 주식회사 증강현실을 이용한 위치 기반 서비스 제공 방법 및 그 단말기
KR101238810B1 (ko) * 2011-05-17 2013-03-04 경희대학교 산학협력단 시민운동 공유-참여-개방을 위한 소셜 네트워크 시스템
US9208392B2 (en) 2011-09-20 2015-12-08 Qualcomm Incorporated Methods and apparatus for progressive pattern matching in a mobile environment
KR101329111B1 (ko) 2012-05-02 2013-11-14 한국과학기술연구원 실내 네비게이션 시스템 및 방법
KR101288851B1 (ko) * 2013-03-18 2013-07-23 (주)올포랜드 수치지도를 이용한 스마트폰 사용자 맞춤형 증강현실 서비스 시스템의 운용방법
KR102337209B1 (ko) 2015-02-06 2021-12-09 삼성전자주식회사 주변 상황 정보를 통지하기 위한 방법, 전자 장치 및 저장 매체
KR101692267B1 (ko) * 2016-08-25 2017-01-04 지스마트 주식회사 Hmd 유저와 복수의 일반인들 간에 상호작용이 가능한 가상현실 컨텐츠 시스템 및 그 제어방법
WO2020085595A1 (ko) * 2018-10-26 2020-04-30 주식회사 로보프린트 증강현실제공 서버가 이동 단말기에 증강현실정보를 제공하는 방법 및 증강현실제공 서버
KR101993326B1 (ko) * 2018-10-26 2019-06-26 주식회사 로보프린트 증강현실제공 서버가 이동 단말기에 증강현실정보를 제공하는 방법 및 증강현실제공 서버
KR102020376B1 (ko) * 2018-10-26 2019-09-11 주식회사 로보프린트 증강현실제공 서버가 이동 단말기에 증강현실정보를 제공하는 방법 및 증강현실제공 서버
KR102364468B1 (ko) 2019-11-15 2022-02-18 주식회사테스앤테스 공간인식기술을 활용한 소방시설 배치 검사 및 소방시설 도면 생성이 가능한 증강현실기반 소방시설 이력관리 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100327120B1 (ko) 1999-12-13 2002-03-13 오길록 증강현실 기반의 3차원 트래커와 컴퓨터 비젼을 이용한영상 정합 방법
KR20050078136A (ko) * 2004-01-30 2005-08-04 삼성전자주식회사 증강현실을 이용한 지역 정보 제공 방법 및 이를 위한지역 정보 서비스 시스템
KR100789100B1 (ko) 2006-09-19 2007-12-26 에스케이 텔레콤주식회사 모바일 증강 현실 서비스 시스템 및 방법
KR100868732B1 (ko) 2007-11-05 2008-11-13 광주과학기술원 증강현실을 이용한 멀티미디어 명함정보 제공 시스템 및 그제공방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100327120B1 (ko) 1999-12-13 2002-03-13 오길록 증강현실 기반의 3차원 트래커와 컴퓨터 비젼을 이용한영상 정합 방법
KR20050078136A (ko) * 2004-01-30 2005-08-04 삼성전자주식회사 증강현실을 이용한 지역 정보 제공 방법 및 이를 위한지역 정보 서비스 시스템
KR100789100B1 (ko) 2006-09-19 2007-12-26 에스케이 텔레콤주식회사 모바일 증강 현실 서비스 시스템 및 방법
KR100868732B1 (ko) 2007-11-05 2008-11-13 광주과학기술원 증강현실을 이용한 멀티미디어 명함정보 제공 시스템 및 그제공방법

Also Published As

Publication number Publication date
KR20100114819A (ko) 2010-10-26

Similar Documents

Publication Publication Date Title
KR101335617B1 (ko) 모바일 환경에서의 증강 현실 구현 방법 및 이를 위한 장치
KR101677561B1 (ko) 영상 정합 장치 및 그것의 영상 정합 방법
US9159169B2 (en) Image display apparatus, imaging apparatus, image display method, control method for imaging apparatus, and program
JP4770960B2 (ja) 画像検索システム及び画像検索方法
EP3125135A1 (en) Picture processing method and device
CN110059652B (zh) 人脸图像处理方法、装置及存储介质
KR100737974B1 (ko) 이미지 분리 합성 장치 및 방법, 그리고 그것을 이용한이미지 검색방법
EP2420955A2 (en) Terminal device and method for augmented reality
CN104463817A (zh) 一种图像处理方法及装置
JP5512378B2 (ja) オブジェクト表示装置、オブジェクト表示システム及びオブジェクト表示方法
US20180114291A1 (en) Image processing method and device as well as non-transitory computer-readable medium
KR101176743B1 (ko) 객체 인식 장치 및 방법과 이를 이용한 정보 컨텐츠 제공 장치 및 정보 컨텐츠 관리 서버
KR101982436B1 (ko) 결합 정보를 포함하는 영상 데이터에 대한 디코딩 방법 및 결합 정보를 포함하는 영상 데이터를 인코딩 하는 방법
CN114998935A (zh) 图像处理方法、装置、计算机设备及存储介质
CN110800314B (zh) 计算机系统、远程操作通知方法以及记录介质
JP6388532B2 (ja) 画像提供システムおよび画像提供方法
KR101586071B1 (ko) 마커리스 증강현실 서비스 제공 장치 및 이를 위한 촬영 위치 추정 방법
CN113284077B (zh) 图像处理方法、装置、通信设备及可读存储介质
JP2010092092A (ja) 画像処理装置及び画像処理方法
KR101320247B1 (ko) 증강현실 서비스를 지원하는 시스템에서 영상 정합을 위한 장치 및 방법
CN115016688A (zh) 虚拟信息显示方法、装置和电子设备
CN115393214A (zh) 图像增强模型的训练方法、图像增强方法、装置和设备
KR101737619B1 (ko) 얼굴 인식 장치 및 방법
JP7251247B2 (ja) 通信システム、及び通信方法
JP2013214158A (ja) 表示画像検索装置、表示制御システム、表示制御方法、およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee