KR20170014693A - 영상의 배경을 이용한 증강현실 이미징 포토 시스템 - Google Patents

영상의 배경을 이용한 증강현실 이미징 포토 시스템 Download PDF

Info

Publication number
KR20170014693A
KR20170014693A KR1020150108464A KR20150108464A KR20170014693A KR 20170014693 A KR20170014693 A KR 20170014693A KR 1020150108464 A KR1020150108464 A KR 1020150108464A KR 20150108464 A KR20150108464 A KR 20150108464A KR 20170014693 A KR20170014693 A KR 20170014693A
Authority
KR
South Korea
Prior art keywords
virtual object
information
image
service
portable terminal
Prior art date
Application number
KR1020150108464A
Other languages
English (en)
Inventor
고경환
양동호
Original Assignee
고경환
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고경환 filed Critical 고경환
Priority to KR1020150108464A priority Critical patent/KR20170014693A/ko
Publication of KR20170014693A publication Critical patent/KR20170014693A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/14—Travel agencies

Landscapes

  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명인 증강현실을 이용한 여행 컨텐츠 이미징 포토 시스템에 관한 것으로, 휴대용 단말기를 이용하여, 무선망 및 포토 서비스 서버로 구성된 것이어서 가상의 객체를 전송 할 수 있는 포토 서비스 서버를 이용하며 촬영된 영상에 가상 객체를 삽입 후 저장하는 단계를 포함하고 있다.
또한, 여행컨텐츠의 한 부분으로서 관광지에 배경을 인식하여 특색에 맞는 케릭터 등을 증강현실을 이용하여 이미징 합성이 가능한 포토 시스템이다.

Description

영상의 배경을 이용한 증강현실 이미징 포토 시스템{Augmented reality imaging photo system using the background of the image}
본 발명은 관광지에 배경을 인식하여 특색에 맞는 캐릭터 등을 증강현실을 이용하여 이미징 합성이 가능한 포토 시스템이다.
증강현실(Augmented Reality : AR)이란 가상현실의 한 분야로 현실세계에 실시간으로 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여 주어 현실 환경에 존재하는 것처럼 보이도록 하는 영상 기술로써 위치 및 방향 정보를 이용하여 대략적인 위치를 파악하고 주변의 건물 정보와 같은 시설물 정보와 카메라의 움직임에 따라 입력되는 실시간 영상 정보 간의 비교를 통해 사용자가 원하는 서비스를 파악하여 관련 정보를 제공하는 기술을 말한다.
이러한 증강현실 기술은 마커기반의 AR기술과 센서 기반의 AR기술이 휴대용 단말기 등에 주로 이용되고 있다. 마커기반의 AR 기술은 마커인식/분석기술 사용, 나침반이나 GPS 센서없이 카메라 영상만으로 서비스가 가능하지만 대상물 부착 마커는 조명 변화에 민감하고 눈에 거슬리는 단점이 있다. 센서 기반의 AR 기술은 센서를 활용하여 증강하는 유사 증강현실으로서 GPS, 디지털 나침반을 사용, 구현이 용이 한 장점이 있지만 위치 기반의 정확한 정보 증강이 불가하다.
그러나 마커 기반의 AR 기술과 센서 기반의 AR 기술은 모두 단말기에 구비된 GPS 전자 나침반 등을 이용하여 현재 위치와 단말기가 바라보고 있는 방향을 유추할 뿐이며 단말기를 통해 입력된 영상을 정확하게 인식하는 단계에는 이르지 못하고 있다.
또한, Full HD 영상 정보를 증강현실에 구현시키려면 증강현실 제공 서버와 단말기 간에 처리되는 정보량이 너무 커서 기존에는 USB Cam의 영상을 사용하여 증강 현실 시스템을 구축하였는데 이 경우, 영상의 퀄리티가 떨어지는 단점이 있다.
본 발명의 문제를 해결하고자 하는 과제는 증강현실 기술과 입체영상 기술을 활용하여 관광지 특색에 맞는 사진 영상 서비스 시스템 및 방법을 제공하는 것이다. 또한, 해당 관광지를 위한 다양한 사진 영상을 휴대용 단말기를 이용하여 선택함으로써 사용자의 편리성과 여행 컨텐츠를 제공하기 위함이다.
본 발명인 영상의 배경을 이용한 증강현실 이미징 포토 시스템은 휴대용 단말기 및 포토 서비스 서버로 구성된 시스템을 이용하는 방법에 있어서, 포토 서비스 서버를 통해 수신 받은 서비스 정보를 통해 상기 클라이언트가 서비스 위치에 포토 서비스를 선택하는 단계와 포토 서비스에 해당하는 가상객체가 존재하는 경우, 관광지 위치 영상에 가상객체를 적재하는 단계를 거친다. 관광지에 해당하는 가상객체를 관광지 배경 사이에 삽입하는 단계, 사용자의 컨텍스트 정보에 기반하여 영상을 정합하고, 정합된 영상을 이용하여 촬영을 한다. 그 후, 포토서비스를 이용하여 촬영된 영상을 저장하는 단계를 포함하는 것이다.
여기서, 포토서비스를 선택하는 단계에서는 휴대용 단말기가 포토 서비스 서버로 위치정보를 전송하는 단계로 포토서비스 서버가 관광지 위치정보에 등록된 서비스 정보를 휴대용 단말기에 전송하는 단계에 해당한다. 휴대용 단말기에 표시된 서비스 정보를 통해 포토 서비스를 선택하는 단계를 포함하는 것이다.
또한,관광지 위치정보가 전송하지 않는 경우, 휴대용 단말기의 카메라 영상에서 특징점을 탐색하는 단계가 진행되며, 특징점이 탐색되는 경우, 포토 서비스를 선택하는 단계에 포함되는 것 이다, 가상객체를 적재하는 단계에서 가상객체가 존재하지 않는 경우, 포토 서비스 서버로 가상객체의 전송을 요청하는 단계가 진행되며, 포토 서비스 서버가 데이터 베이스를 검색하는 단계이다. 서비스 서버가 검색된 가상객체를 휴대용 단말기로 전송하는 단계를 포함되는 것 이다.
상기 삽입하는 단계에서, 상기 컨텍스트 정보를 서비스 서버로 전송하는 단계로 포토 서비스 서버에서 관광지 위치 정보와 가상객체가 삽입된 결과영상을 정합하는 단계를 포함하는 것이며, 결과영상은, 현재 위치정보, 시간정보,영상정보 및 센서정보 중 적어도 어느 하나를 포함하는 것이다.
그리고, 본 발명의 방법에 사용되는 3D 증강현실 포토 서비스 시스템이고, 여기서, 포토 서비스 시스템은, 서비스 정보와 가상객체 그리고 영상 처리와 영상 저장 기능을 제공하는 서비스 서버; 및 서비스 서버와 무선통신하는 통신부와, 현실의 입체영상 정보를 취득하는 입체영상 취득 장치와, 취득한 영상 정보로부터 특징점을 추출하고, 삽입된 가상 객체를 위치, 크기, 방향 중 적어도 어느 하나를 보정하고, 사용자가 선택한 위치 정보를 이용하여 가상객체에 부가적인 효과를 적용하여 영상을 정합하는 영상 후 처리부로 구성된 휴대용 단말기를 포함하는 것이 바람직하다.
본 발명인 영상의 배경을 이용한 증강현실 이미징 포토 시스템은 기존 관광지의 배경과 더블어 해당 관광지를 대표하는 케릭터 및 조형물 등을 휴대용 단말기를 통해 3D 증강현실 시스템을 이용한 사진 영상과 합성하는 것으로 사용자로 하여금 현실감있는 조형물과 같이 있다는 느낌을 제공할 수 있다.
뿐만 아니라, 휴대용 단말기를 이용하여 이미징 포토를 하는 것이므로 사용자에게 편리함을 줄 수 있으며, 3D 케릭터 및 조형물 등을 이용하여 해당 관광지에 관심을 유도 하는 장점이 있다.
도 1은 본 발명의 영상 배경에 증강현실 제공 시스템의 구성도 및
도 2는 본 발명의 영상 배경에 증강현실을 이용한 이미징 포토시스템을 간략하게 나타낸 모식도이다.
이하, 첨부된 도면을 참조하여 본 발명인 영상의 배경을 이용한 증강현실 이미징 포토 시스템에 대해 설명하도록 한다.
도1은 본 발명에 따른 실시 예로서, 증강현실을 이용한 이미징 포토시스템의 흐름도를 나타낸 도면이다. 도 1에 나타낸 바와 같이, 본 발명에 따른 서비스 방법은 휴대용 단말기(10), 무선망 및 포토 서비스 서버(20)로 구성된 시스템을 이용하는 방법에 있어서, (1) 포토 서비스 서버(20)를 통해 수신받은 서비스 정보를 통해 휴대용 단말기(10)가 서비스 위치에 포토 서비스(20)를 선택하는 단계(100); (2) 포토 서비스에 해당하는 가상객체가 존재하는 경우, 관광지 위치 영상에 가상객체를 적재하는 단계;(200) (3) 관광지에 해당하는 가상객체를 관광지 배경 사이에 삽입하는 단계;(300) (4) 사용자의 컨텍스트 정보에 기반하여 영상을 정합하고, 정합된 영상을 이용하여 촬영하는 단계; (5) 포토서비스를 이용하여 촬영된 영상을 저장하는 단계(500)를 포함하는 것을 특징으로 한다.
여기서, 휴대용 단말기(10)는 포토 서비스를 구현하고 실행하는 카메라가 내장된 단말기 또는 시스템으로서, 가상개체 그리고 영상 처리와 영상 저장 기능을 제공하는 서버부; 현실의 입체 영상정보를 취득하기 위한 입체 영상 취득 장치; 취득한 영상 정보로 부터 특징점을 추출하고 사진 영상과 가상 객체를 삽입하는 영상 전처리부; 삽입된 가상객체를 위치, 크기, 방향을 보정하고, 현재 환경에 관련한 정보를 이용하여 가상객체에 부가적인 효과를 적용하고, 영상을 정합하는 영상 후 처리부를 포함하여 구성한다.
이하에서, 무선망(인터넷망, Wi-Fi 등) 및 서비스 서버(20)를 이용하여 이하에 설명하는 본 발명의 증강현실 이미징 포토서비스 방법에 대하여 구체적으로 설명하기로 한다.
먼저, 영상 서비스 휴대용 단말기(10)는 현재 위치 정보에 등록된 서비스를 영상 서비스를 검색하기 위해서는, 서비스 서버(20)로 무선망을 이용하여 현재 위치 정보를 전송한다. 서비스 서버(20)는 위치정보에 등록된 서비스가 있다면 휴대용단말기(10)에 서비스정보를 전송한다. 휴대용 단말기(10)는 전송받은 서비스 정보를 표시하고 사용자의 선택을 대기하고, 사용자는 휴대용 단말기(10)를 통해 서비스를 선택할 수 있다.
그리고, 위치 정보를 이용한 서비스 검색을 사용하지 않고, 현 위치에 QR코드 또는 특정 마커를 이용한다면 카메라의 프리뷰 영상에서 특징점을 탐색하여 서비스를 선택하는 것으로 한다. 이는 무선망을 통하여 위치를 인식하고, 증강현실 포토 서비스를 구현하는 것도 가능하지만, 마커나 QR 코드가 서비스 위치에 존재하는 경우, 휴대용 단말기(10)에서 이를 인식하여 서비스에 적용할 수 있게 된다.
이처럼, 휴대용 단말기(10)의 서비스 정보 표시 화면에서 사용자가 서비스를 선택하거나, 영상에서 특징점을 발견하면, 가상객체가 서버에 존재하는지를 검사한다. 여기서, 가상객체는 증강현실을 구현하는 3D 입체영상 객체로서, 카메라에서 촬영되는 실사화면에 가상객체 즉, 관광지에 맞는 케릭터 및 조형물 등를 추가하여 증강현실 포토 서비스를 구현하게 된다.
휴대용 단말기(10)가 자체적으로 가상객체가 존재하면 적재를 하고, 존재하지 않는다면 영상 서비스 서버(20)에 가상객체 전송을 요청한다. 영상서비스 서버(20)는 가상객체 전송 요청을 받으면 가상객체 데이터베이스에서 해당 가상객체를 추출하여 휴대용 단말기(10)로 전송한다.
휴대용 단말기(10)는 영상에 가상객체 영상을 삽입하고, 미세 조정이 필요하면 가상객체를 사용자가 수동으로 위치, 방향 그리고 크기에 관한 미세조정을 수행할 수 있다. 이는 사용자의 기호 또는 선택에 따라 가상객체를 크기, 위치, 방향 등을 선택할 수 있게 함으로써, 맞춤형 서비스를 구현할 수 있도록 하기 위함이다.
또한, 가상객체가 삽입된 결과물 영상의 정합은 사용자의 선택에 따라 휴대용 단말기(10)에서 수행하거나 포토 서비스 서버(20)에서 수행하는 것이 가능한데, 휴대용 단말기(10)에서 결과물을 정합시에는 현재 위치정보, 시간정보, 영상정보, 센서 정보와 같은 자동으로 획득한 정보와 사용자로부터 제공받은 컨텍스트 정보를 이용하여 현재 상황에 맞게 상기 가상객체에 효과를 적용한 후 분리된 영상을 정합하게 되며, 휴대용 단말기(10)에서 서비스 서버(20)에 작업을 요청하면서 사용자의 컨텍스트 정보를 전송하고, 서비스 서버(20)는 전송받은 컨텍스트 정보를 이용해 가상객체에 효과를 적용한 후 분리된 영상을 정합하고 결과 영상을 휴대용 단말기(10)로 전송한다. 휴대용 단말기(10)는 촬영을 하여 결과 영상을 저장한다. 여기서 컨텍스트 정보는 휴대용 단말기(10)에서 구현할 수 있는 카메라 영상의 각종 효과를 말하는 것으로, 사용자가 직접 선택하는 것이 가능하다. 컨텍스트 정보는 가상객체에 더하여지는 것으로, 다양한 효과(눈, 비, 낙엽, 계절효과 영상 등)를 추가하여 구성할 수 있기 때문에, 사용자는 포토에 대한 재미와 더블어 관광지에 대한 관심을 높아지는 효과를 얻을 수 있게 된다.
10 : 휴대용 단말기
20 : 포토 서비스 서버
100 : 포토 서비스 서버를 통해 수신받은 서비스 정보를 통해 휴대용 단말기 가 서비스 위치에 포토 서비스를 선택하는 단계
200 : 포토 서비스에 해당하는 가상객체가 존재하는 경우, 관광지 위치 영상 에 가상객체를 적재하는 단계
300 : 관광지에 해당하는 가상객체를 관광지 배경 사이에 삽입하는 단계
400 : 사용자의 컨텍스트 정보에 기반하여 영상을 정합하고, 정합된 영상을 이용하여 촬영하는 단계
500 : 포토서비스를 이용하여 촬영된 영상을 저장하는 단계

Claims (2)

  1. 휴대용 단말기, 무선망 및 포토 서비스 서버로 구성된 시스템을 이용하는 방법에 있어서,
    (1) 휴대용 단말기가 포토 서비스 서버로 위치 정보를 전송하고, 포토 서비스 서버가 위치 정보에 등록된 서비스 정보를 휴대용 단말기에 전송하여, 서비스 정보를 통해 포토 서비스를 선택하는 단계;
    (1-1) 위치 정보를 전송하지 않은 경우, 휴대용 단말기의 카메라 영상에서 마커(marker) 기능을 수행하는 특징점을 탐색하고, 특징점을 탐색되는 경우 포토 서비스를 선택하는 단계;
    (2) 위치 정보 또는 특징점에 대응되는 가상객체가 존재하는 경우, 카메라 영상에 가상객체를 적재하는 단계;
    (3) 가상객체를 관광지 배경 영상 사이에 삽입하는 단계;
    (4) 사용자의 컨텍스트 정보에 기반하여 영상을 정합하고, 정합된 영상을 이용하여 촬영하는 단계;
    (5) 촬영된 영상을 저장하는 단계를 포함하는 것을 특징으로 하는 증강현실 이미징 포토 시스템;
  2. 제 1항에 있어서.
    (2) 단계는,
    가상객체가 존재하지 않는 경우,
    서비스 서버로 가상객체의 전송을 요청하여 데이터베이스를 검색하는 단계;
    서비스 서버가 가상객체를 휴대용 단말기로 전송하는 단계를 포함하는 것을 특징으로 하는 증강현실 이미징 포토 시스템.
KR1020150108464A 2015-07-31 2015-07-31 영상의 배경을 이용한 증강현실 이미징 포토 시스템 KR20170014693A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150108464A KR20170014693A (ko) 2015-07-31 2015-07-31 영상의 배경을 이용한 증강현실 이미징 포토 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150108464A KR20170014693A (ko) 2015-07-31 2015-07-31 영상의 배경을 이용한 증강현실 이미징 포토 시스템

Publications (1)

Publication Number Publication Date
KR20170014693A true KR20170014693A (ko) 2017-02-08

Family

ID=58155418

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150108464A KR20170014693A (ko) 2015-07-31 2015-07-31 영상의 배경을 이용한 증강현실 이미징 포토 시스템

Country Status (1)

Country Link
KR (1) KR20170014693A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108334198A (zh) * 2018-02-09 2018-07-27 华南理工大学 基于增强现实的虚拟雕塑方法
KR20200033064A (ko) * 2018-09-19 2020-03-27 이의선 Mr 그래픽지원 컨텐츠 제공용 플랫폼 서비스 시스템 및 그 구동방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108334198A (zh) * 2018-02-09 2018-07-27 华南理工大学 基于增强现实的虚拟雕塑方法
KR20200033064A (ko) * 2018-09-19 2020-03-27 이의선 Mr 그래픽지원 컨텐츠 제공용 플랫폼 서비스 시스템 및 그 구동방법

Similar Documents

Publication Publication Date Title
US8582918B2 (en) Imaging device, image composition and display device, and image composition method
EP2625847B1 (en) Network-based real time registered augmented reality for mobile devices
TWI483215B (zh) 根據相關３ｄ點雲端資料強化影像資料
JP5389111B2 (ja) 拡張現実情報提供装置及び方法
CN107197153B (zh) 一种照片的拍摄方法及拍摄装置
US20120223969A1 (en) Device for capturing and displaying images of objects, in particular digital binoculars, digital camera or digital video camera
CN106200914B (zh) 增强现实的触发方法、装置及拍照设备
US9392248B2 (en) Dynamic POV composite 3D video system
TW201823983A (zh) 移動物件的虛擬訊息建立方法、搜尋方法與應用系統
KR101335617B1 (ko) 모바일 환경에서의 증강 현실 구현 방법 및 이를 위한 장치
CN112702521B (zh) 图像拍摄方法及装置、电子设备、计算机可读存储介质
WO2019000325A1 (zh) 用于无人机航拍的增强现实方法、处理器及无人机
KR20090087670A (ko) 촬영 정보 자동 추출 시스템 및 방법
KR101923177B1 (ko) 사용자 기반의 증강 현실 정보를 제공하기 위한 장치 및 방법
KR101413011B1 (ko) 위치 정보 기반 증강현실 시스템 및 제공 방법
KR20180100074A (ko) 공간객체 검색결과 정렬 방법, 시스템 및 컴퓨터 독취가능 저장장치
JP2012038153A (ja) 周囲情報検索装置及び周囲情報検索方法
KR101352385B1 (ko) ３ｄ 증강현실 포토 서비스 시스템 및 이를 이용한 서비스 방법.
WO2015159775A1 (ja) 画像処理装置、通信システム及び通信方法並びに撮像装置
WO2011096343A1 (ja) 撮影位置提案システム、撮影位置提案装置、撮影位置提案方法、及び撮影位置提案用プログラム
KR101764424B1 (ko) 영상 데이터 검색 방법 및 장치
KR101176743B1 (ko) 객체 인식 장치 및 방법과 이를 이용한 정보 컨텐츠 제공 장치 및 정보 컨텐츠 관리 서버
CN112230765A (zh) Ar显示方法、ar显示设备和计算机可读存储介质
TW201823929A (zh) 移動物件的虛擬訊息遠距管理方法與應用系統
KR20170014693A (ko) 영상의 배경을 이용한 증강현실 이미징 포토 시스템