KR20110048150A - 해상도 차이를 이용한 증강현실 정합 시스템 및 방법 - Google Patents

해상도 차이를 이용한 증강현실 정합 시스템 및 방법 Download PDF

Info

Publication number
KR20110048150A
KR20110048150A KR1020090104836A KR20090104836A KR20110048150A KR 20110048150 A KR20110048150 A KR 20110048150A KR 1020090104836 A KR1020090104836 A KR 1020090104836A KR 20090104836 A KR20090104836 A KR 20090104836A KR 20110048150 A KR20110048150 A KR 20110048150A
Authority
KR
South Korea
Prior art keywords
marker
image data
resolution image
matching
low resolution
Prior art date
Application number
KR1020090104836A
Other languages
English (en)
Other versions
KR101047615B1 (ko
Inventor
김한철
정용욱
이정선
김무항
김승경
김동환
Original Assignee
삼성에스디에스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성에스디에스 주식회사 filed Critical 삼성에스디에스 주식회사
Priority to KR1020090104836A priority Critical patent/KR101047615B1/ko
Publication of KR20110048150A publication Critical patent/KR20110048150A/ko
Application granted granted Critical
Publication of KR101047615B1 publication Critical patent/KR101047615B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 해상도 차이를 이용한 증강현실 정합 방법 및 시스템에 관한 것으로서, 본 발명의 증강현실 정합 시스템은 카메라를 통해 입력된 영상을 저해상도 이미지 데이터로 변환하기 위한 트래킹 영상 입력부, 상기 트래킹 영상 입력부에서 생성된 상기 저해상도 이미지 데이터에서 마커를 인식하기 위한 트래킹(tracking)을 수행하는 마커 인식부, 카메라를 통해 입력된 영상을 고해상도 이미지 데이터로 변환하기 위한 정합 영상 입력부, 상기 마커 인식부에서 인식한 마커 정보를 기반으로 상기 고해상도 이미지 데이터 상에 컨텐츠를 정합하는 영상 정합부 및 상기 영상 정합부에서 정합된 영상 데이터를 디스플레이하기 위한 정합 영상 디스플레이부를 포함한다. 본 발명에 의하면 트래킹에 걸리는 시간을 단축시키고, 화면 깜박임 현상이나 영상이 느려지는 문제를 개선할 수 있는 효과가 있다.
증강현실, 트래킹, 마커, 고해상도, 저해상도, 컨텐츠, 디스플레이.

Description

해상도 차이를 이용한 증강현실 정합 시스템 및 방법 {System and method for matching augmented reality using difference of image resolution}
본 발명은 증강현실 정합 방법 및 시스템에 관한 것으로서, 더욱 상세하게는 고해상도로 증강현실 서비스를 제공하는 증강현실 정합 방법 및 시스템에 관한 것이다.
증강현실(augmented reality)이라 함은 사용자가 눈으로 보는 현실세계와 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여주는 가상현실의 하나이다. 현실환경과 가상환경을 융합하는 복합형 가상현실 시스템(hybrid VR system)으로 1990년대 후반부터 미국·일본을 중심으로 연구·개발이 진행되고 있다.
현실세계를 가상세계로 보완해주는 개념인 증강현실은 컴퓨터 그래픽으로 만들어진 가상환경을 사용하지만 주역은 현실환경이다. 컴퓨터 그래픽은 현실환경에 필요한 정보를 추가 제공하는 역할을 한다. 사용자가 보고 있는 실사 영상에 3차원 가상영상을 겹침(overlap)으로써 현실환경과 가상화면과의 구분이 모호해지도록 한다는 뜻이다.
가상현실기술은 가상환경에 사용자를 몰입하게 하여 실제환경을 볼 수 없다. 하지만 실제환경과 가상의 객체가 혼합된 증강현실기술은 사용자가 실제환경을 볼 수 있게 하여 보다 나은 현실감을 제공한다. 원격의료진단·방송·건축설계·제조공정관리 등에 활용된다.
증강현실을 실외에서 실현하는 것이 착용식 컴퓨터(wearable computer)이다. 특히 머리에 쓰는 형태의 컴퓨터 화면장치는 사용자가 보는 실제환경에 컴퓨터 그래픽·문자 등을 겹쳐 실시간으로 보여줌으로써 증강현실을 가능하게 한다. 따라서 증강현실에 대한 연구는 착용컴퓨터 개발이 주를 이룬다. 개발된 증강현실시스템으로 비디오방식과 광학방식 등의 HMD(head mounted display)가 있다.
최근 휴대폰, PDA(Personal Digital Assistants), UMPC(Ultra Mobile Personal Computer) 등 모바일기기의 컴퓨팅 능력 향상 및 무선 네트워크 장치의 발달로 핸드헬드 증강현실 시스템이 가능해졌다. 이러한 시스템이 가능해지면서 모바일기기를 사용한 증강 현실 게임이 다수 개발되었다. 그리고 모바일기기의 보급이 매우 빠르게 보편화 되어 증강현실 게임을 접할 수 있는 환경이 조성되고 있는 상황이다.
최근 증강현실 기술이 다양한 분야에서 이용되고 있다. 예를 들어, 백화점의 경우 고객이 화장품, 귀걸이 등의 제품을 증강현실 기술이 적용된 스마트 디스플레이 앞의 카메라에 가져가면, 해당 제품의 사용법, 가격, 상세한 스펙 등의 부가 정보가 화면상에 디스플레이 된다. 즉, 고객의 모습이 하면에 등장하면서 제품의 상세정보가 같이 디스플레이 되기 때문에, 고객에게 본인이 화면의 주인공이 된 듯한 느낌을 제공할 수 있다. 또한, 고객이 원하는 화면상의 위치에 정보를 제공하여 일일이 제품목록을 검색하지 않고도 고객이 원하는 정보를 제공할 수 있게 된다.
다른 예로서, 아동 매장의 증강현실 기술을 사용하여 경우 과자/장난감 케이스 및 도서에 표시되어 있는 텍스트 정보 외에 동영상, 3차원 컨텐츠 등의 동적인 부가정보를 제공하여 어린이들의 구매 욕구와, 흥미를 촉진하고 교육효과를 높일 수 있다.
종래 증강현실 시스템에서는 동일한 형태와 크기의 물리적인 마커를 실사영상으로부터 입력받아 해당 마커를 인지하고, 그에 따른 마커의 위치, 방향 등을 상대적인 데이터로 계산하여 가상의 개체가 보여질 포즈 및 위치를 예측하여 가상 개체를 실사영상에 정합하는 방식을 사용했다.
종래 증강현실 시스템에서 고해상도 영상을 입력받아 증강현실 영상을 제공함에 있어서, 고해상도 크기의 프레임 이미지 내에서 마커 인식을 위한 트래킹 과정을 수행하였다. 도 1은 종래 증강현실 정합에 있어서 마커 인식을 위한 트래킹 과정을 보여주는 도면이다.
도 1을 참조하면, 고 해상도 프레임 크기인 640*480의 트래킹 영상(10) 내에서 마커(M) 인식을 위하여 화살표 방향으로 트래킹이 수행된다. 트래킹 동작을 완료하고 마커(M) 위치를 인식하면, 카메라를 통해 입력되는 고해상도 영상에 마커(M) 위치에 컨텐츠를 정합하여 증강현실 화면을 제공하게 된다.
그러나, 종래에는 고해상도 프레임 크기의 트래킹 영상(10) 내에서 트래킹이 수행되기 때문에 트래킹에 걸리는 시간이 오래 걸리고, 이에 따라 화면 깜박임 현 상이나 영상이 느리게 디스플레이되는 문제점이 발생한다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 증강현실 정합 기술을 구현함에 있어서 마커 인식을 위한 트래킹 작업에 걸리는 시간을 단축시킴으로써 고화질의 해상도를 지원하는 증강현실 서비스를 보다 원활하게 제공할 수 있도록 하는 증강현실 정합 시스템 및 방법을 제공하는데 그 목적이 있다.
이와 같은 목적을 달성하기 위한 본 발명의 일 실시예에 따른 증강현실 정합 시스템은 카메라를 통해 입력된 영상을 저해상도 이미지 데이터로 변환하기 위한 트래킹 영상 입력부, 상기 트래킹 영상 입력부에서 생성된 상기 저해상도 이미지 데이터에서 마커를 인식하기 위한 트래킹(tracking)을 수행하는 마커 인식부, 카메라를 통해 입력된 영상을 고해상도 이미지 데이터로 변환하기 위한 정합 영상 입력부, 상기 마커 인식부에서 인식한 마커 정보를 기반으로 상기 고해상도 이미지 데이터 상에 컨텐츠를 정합하는 영상 정합부 및 상기 영상 정합부에서 정합된 영상 데이터를 디스플레이하기 위한 정합 영상 디스플레이부를 포함한다.
상기 영상 정합부는 상기 저해상도 이미지 데이터에서 인식된 마커 위치 및 마커 크기를 상기 고해상도 이미지 데이터에 맞는 마커 위치 및 마커 크기로 변환하고, 상기 고해상도 이미지 데이터 상에서 변환된 마커 위치 및 마커 크기에 해당하는 영역에 미리 준비된 컨텐츠를 정합할 수 있다.
상기 영상 정합부는 상기 저해상도 이미지 데이터에서 인식된 마커 위치를 상대 좌표에 의해 상기 고해상도 이미지 데이터의 영상 크기에 맞는 마커 위치로 변환할 수 있다.
본 발명의 다른 실시예에 따른 증강현실 제공 시스템은 외부의 영상신호를 입력받아 저해상도 영상신호를 생성하기 위한 제1카메라, 외부의 영상신호를 입력받아 고해상도 영상신호를 생성하기 위한 제2카메라, 상기 제1카메라를 통해 입력된 저해상도 영상신호를 저해상도 이미지 데이터로 변환하기 위한 트래킹 영상 입력부, 트래킹 영상 입력부에서 생성된 상기 저해상도 이미지 데이터에서 마커를 인식하기 위한 트래킹(tracking)을 수행하는 마커 인식부, 상기 제2카메라를 통해 입력된 고해상도 영상신호를 고해상도 이미지 데이터로 변환하기 위한 정합 영상 입력부, 상기 마커 인식부에서 인식한 마커 정보를 기반으로 상기 고해상도 이미지 데이터 상에 컨텐츠를 정합하는 영상 정합부 및 상기 영상 정합부에서 정합된 영상 데이터를 디스플레이하기 위한 정합 영상 디스플레이부를 포함할 수 있다.
상기 영상 정합부는 상기 저해상도 이미지 데이터에서 인식된 마커 위치 및 마커 크기를 상기 고해상도 이미지 데이터에 맞는 마커 위치 및 마커 크기로 변환하고, 상기 고해상도 이미지 데이터 상에서 변환된 마커 위치 및 마커 크기에 해당하는 영역에 미리 준비된 컨텐츠를 정합할 수 있다.
상기 영상 정합부는 상기 저해상도 이미지 데이터에서 인식된 마커 위치를 상대 좌표에 의해 상기 고해상도 이미지 데이터의 영상 크기에 맞는 마커 위치로 변환할 수 있다.
본 발명의 일 실시예에 따른 영상 정합 방법은 카메라를 통해 영상을 입력받는 단계, 상기 입력된 영상을 고해상도 이미지 데이터 및 저해상도 이미지 데이터로 각각 변환하여 저장하는 단계, 상기 저해상도 이미지 데이터를 이용하여 마커를 인식하는 단계, 상기 저해상도 이미지 데이터 상에서 마커의 위치를 계산하는 단계, 상기 마커 위치를 기반으로 상기 고해상도 이미지 데이터에 맞게 마커 위치를 변경하는 단계, 상기 고해상도 이미지 데이터 상에서 상기 변경된 마커 위치에 대응하는 영역에 컨텐츠를 정합하는 단계 및 상기 정합된 영상 데이터를 디스플레이하는 단계를 포함한다.
상기 저해상도 이미지 데이터를 이용하여 마커를 인식하는 단계는, 상기 저해상도 이미지 데이터 상에서 마커가 존재하는지 여부를 확인하여 마커가 존재하면 다음 단계로 진행하고, 마커가 존재하지 않으면 상기 카메라를 통해 영상을 입력받는 단계로 회귀할 수 있다.
상기 저해상도 이미지 데이터를 이용하여 마커를 인식하는 단계 후에, 상기 마커의 크기를 계산하는 단계 및 상기 마커 크기를 기반으로 상기 고해상도 이미지 데이터에 맞게 마커 크기를 변경하는 단계를 더 포함할 수 있다.
상기 마커 크기를 변경하는 단계 후에, 상기 고해상도 이미지 데이터 상에서 상기 변경된 마커 위치 및 상기 변경된 마커 크기에 대응하는 영역에 컨텐츠를 정합하는 단계를 더 포함할 수 있다.
본 발명의 다른 실시예에 따른 증강현실 정합 방법은 입력되는 영상을 저해상도 영상신호로 변환하는 저해상도 카메라를 통해 저해상도 영상을 입력받는 단 계, 입력되는 영상을 고해상도 영상신호로 변환하는 고해상도 카메라를 통해 고해상도 영상을 입력받는 단계, 상기 저해상도 영상을 저해상도 이미지 데이터로 변환하여 저장하는 단계, 상기 고해상도 영상을 고해상도 이미지 데이터로 변환하여 저장하는 단계, 상기 저해상도 이미지 데이터를 이용하여 마커를 인식하는 단계, 상기 저해상도 이미지 데이터 상에서 마커의 위치를 계산하는 단계, 상기 마커 위치를 기반으로 상기 고해상도 이미지 데이터에 맞게 마커 위치를 변경하는 단계. 상기 고해상도 이미지 데이터 상에서 상기 변경된 마커 위치에 대응하는 영역에 컨텐츠를 정합하는 단계 및 상기 정합된 영상 데이터를 디스플레이하는 단계를 포함할 수 있다.
상기 저해상도 이미지 데이터를 이용하여 마커를 인식하는 단계는, 상기 저해상도 이미지 데이터 상에서 마커가 존재하는지 여부를 확인하여 마커가 존재하면 다음 단계로 진행하고, 마커가 존재하지 않으면 상기 저해상도 카메라를 통해 저해상도 영상을 입력받는 단계로 회귀할 수 있다.
상기 저해상도 이미지 데이터를 이용하여 마커를 인식하는 단계 후에, 상기 마커의 크기를 계산하는 단계 및 상기 마커 크기를 기반으로 상기 고해상도 이미지 데이터에 맞게 마커 크기를 변경하는 단계를 더 포함할 수 있다.
상기 마커 크기를 변경하는 단계 후에, 상기 고해상도 이미지 데이터 상에서 상기 변경된 마커 위치 및 상기 변경된 마커 크기에 대응하는 영역에 컨텐츠를 정합하는 단계를 더 포함할 수 있다.
본 발명에 의하면 본 발명에서는 증강현실 정합을 수행함에 있어서 저해상도 영상으로 트래킹을 실시하고, 이후 영상을 정합하는데 있어서는 고해상도 영상으로 처리함으로써 트래킹에 걸리는 시간을 단축시키고, 화면 깜박임 현상이나 영상이 느려지는 문제를 개선할 수 있는 효과가 있다. 즉, 본 발명에 의하면 사용자에게 보다 빠르게 고해상도의 증강현실 서비스를 제공할 수 있는 장점이 있다.
이하, 첨부된 도면을 참조해서 본 발명의 실시예를 상세히 설명하면 다음과 같다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 2는 본 발명의 일 실시예에 따른 증강현실 정합 시스템을 보여주는 블록도이다.
도 2를 참조하면, 증강현실 정합 시스템은 카메라(200), 트래킹 영상 입력부(110), 마커 인식부(120), 정합 영상 입력부(130), 영상 정합부(140), 정합 영상 디스플레이부(150)를 포함한다.
카메라(200)는 이미지 센서를 통해 외부의 영상신호를 입력받는다.
트래킹 영상 입력부(110)는 카메라(200)를 통해 입력된 영상을 저해상도 이미지 데이터로 변환하는 역할을 한다. 예를 들어, 트래킹 영상 입력부(110)는 입력된 영상이 640*480 크기의 영상이라면 이보다 낮은 320*240 크기의 저해상도 이미지 데이터로 변환한다.
마커 인식부(120)는 트래킹 영상 입력부(110)에서 생성된 저해상도 이미지 데이터에서 마커를 인식하기 위한 트래킹(tracking)을 수행한다.
정합 영상 입력부(130)는 카메라(200)를 통해 입력된 영상을 고해상도 이미지 데이터로 변환하는 역할을 한다.
영상 정합부(140)는 마커 인식부(120)에서 인식한 마커 정보를 기반으로 고해상도 이미지 데이터 상에 컨텐츠를 정합하는 역할을 한다. 보다 상세히 설명하면 본 발명에서 영상 정합부(140)는 저해상도 이미지 데이터에서 인식된 마커 위치 및 마커 크기를 고해상도 이미지 데이터에 맞는 마커 위치 및 마커 크기로 변환하고, 고해상도 이미지 데이터 상에서 변환된 마커 위치 및 마커 크기에 해당하는 영역에 미리 준비된 컨텐츠를 정합한다.
본 발명의 일 실시예에서 영상 정합부(140)는 저해상도 이미지 데이터에서 인식된 마커 위치를 상대 좌표에 의해 고해상도 이미지 데이터의 영상 크기에 맞는 마커 위치로 변환할 수 있다.
정합 영상 디스플레이부(150)는 영상 정합부(140)에서 정합된 영상 데이터를 디스플레이하는 역할을 한다.
도 3은 본 발명의 다른 실시예에 따른 증강현실 정합 시스템을 보여주는 블록도이다.
도 3을 참조하면, 증강현실 정합 시스템은 제1카메라(210), 제2카메라(220), 트래킹 영상 입력부(110), 마커 인식부(120), 정합 영상 입력부(130), 영상 정합부(140), 정합 영상 디스플레이부(150)를 포함한다.
제1카메라(210)는 외부의 영상신호를 입력받아 저해상도 영상신호를 생성하는 역할을 한다.
제2카메라(220)는 외부의 영상신호를 입력받아 고해상도 영상신호를 생성하는 역할을 한다.
트래킹 영상 입력부(110)는 제1카메라(210)를 통해 입력된 저해상도 영상신호를 저해상도 이미지 데이터로 변환하는 역할을 한다.
마커 인식부(120)는 트래킹 영상 입력부(110)에서 생성된 저해상도 이미지 데이터에서 마커를 인식하기 위한 트래킹(tracking)을 수행한다.
정합 영상 입력부(130)는 제2카메라(220)를 통해 입력된 고해상도 영상신호를 고해상도 이미지 데이터로 변환하는 역할을 한다.
영상 정합부(140)는 마커 인식부(120)에서 인식한 마커 정보를 기반으로 고해상도 이미지 데이터 상에 컨텐츠를 정합하는 역할을 한다. 더욱 상세히 설명하면, 본 발명에서 영상 정합부(140)는 저해상도 이미지 데이터에서 인식된 마커 위치 및 마커 크기를 고해상도 이미지 데이터에 맞는 마커 위치 및 마커 크기로 변환하고, 고해상도 이미지 데이터 상에서 변환된 마커 위치 및 마커 크기에 해당하는 영역에 미리 준비된 컨텐츠를 정합한다.
본 발명의 일 실시예에서 영상 정합부(140)는 저해상도 이미지 데이터에서 인식된 마커 위치를 상대 좌표에 의해 고해상도 이미지 데이터의 영상 크기에 맞는 마커 위치로 변환할 수 있다.
정합 영상 디스플레이부(150)는 영상 정합부(140)에서 정합된 영상 데이터를 디스플레이하는 역할을 한다.
도 4는 본 발명의 일 실시예에 따른 증강현실 정합 방법을 보여주는 흐름도이다. 도 4의 실시예는 도 2의 증강현실 정합 시스템에서의 증강현실 정합 방법을 나타내는 실시예이다.
카메라(200)를 통해 영상을 입력받는다(S401).
입력된 영상을 고해상도 이미지 데이터 및 저해상도 이미지 데이터로 각각 변환하여 저장한다(S403).
저해상도 이미지 데이터를 이용하여 마커를 인식한다(S405).
저해상도 이미지 데이터 상에서 마커가 존재하는지 여부를 확인하여 마커가 존재하면 다음 단계로 진행하고, 마커가 존재하지 않으면 S401 단계로 회귀한다(S407).
저해상도 이미지 데이터 상에서 마커의 위치를 계산한다(S409).
마커 위치를 기반으로 고해상도 이미지 데이터에 맞게 마커 크기 및 마커 위치를 변경한다(S411).
고해상도 이미지 데이터 상에서 변경된 마커 크기 및 마커 위치에 대응하는 영역에 컨텐츠를 정합한다(S413).
정합된 영상 데이터를 디스플레이한다(S415).
도 5는 본 발명의 다른 실시예에 따른 증강현실 정합 방법을 보여주는 흐름도이다. 도 5의 실시예는 도 3의 증강현실 정합 시스템에서의 증강현실 정합 방법을 나타내는 실시예이다.
저해상도 카메라인 제1카메라(210)를 통해 저해상도 영상을 입력받고(S501), 고해상도 카메라인 제2카메라(220)를 통해 고해상도 영상을 입력받는다(S503).
제1카메라(210)를 통해 입력된 저해상도 영상을 저해상도 이미지 데이터로 변환하여 저장한다(S505). 그리고, 제2카메라(220)를 통해 입력된 고해상도 영상을 고해상도 이미지 데이터로 변환하여 저장한다(S507).
저해상도 이미지 데이터를 이용하여 마커를 인식한다(S509).
저해상도 이미지 데이터 상에서 마커가 존재하는지 여부를 확인하여 마커가 존재하면 다음 단계로 진행하고, 마커가 존재하지 않으면 S501 단계로 회귀한다(S511).
저해상도 이미지 데이터 상에서 마커의 위치를 계산한다(S513).
마커 위치를 기반으로 고해상도 이미지 데이터에 맞게 마커 크기 및 마커 위치를 변경한다(S515).
고해상도 이미지 데이터 상에서 변경된 마커 크기 및 마커 위치에 대응하는 영역에 컨텐츠를 정합한다(S517).
정합된 영상 데이터를 디스플레이한다(S519).
도 6은 본 발명의 일 실시예에 따른 증강현실 정합 방식과 종래 증강현실 정합 방식의 작업수행 시간을 비교한 도면이다. 도 6에서 (a)는 종래 증강현실 정합 방식의 작업수행 시간을 나타내고, (b)는 본 발명에 따른 증강현실 정합 방식의 작업수행 시간을 나타내는 도면이다.
도 6을 참조하면, 종래에는 마커(M)를 인식하기 위해 고해상도 크기의 프레임인 640*480 크기의 고해상도 트래킹 프레임 영상(10)에서 트래킹을 실시한다. 그리고, 고해상도인 640*480 크기의 영상 프레임(20)에서 마커를 정합하고 디스플레이하는 방식으로 증강현실 정합이 진행된다.
반면, 본 발명에서는 고해상도 영상 프레임(20)에 비해 저해상도의 프레임 크기인 320*240 크기의 저해상도 트래킹 프레임 영상(30)에서 트래킹을 실시한다. 그리고, 고해상도인 640*480 크기의 영상 프레임(20)에서 마커를 정합하고 디스플레이하는 방식으로 증강현실 정합이 진행된다.
따라서, 도 6에서 보는 바와 같이, 종래 증강현실 정합 방식에서는 트래킹 작업을 수행하는데 4 단위시간이 소요되는 반면, 본 발명의 증강현실 정합 방식에서는 1 단위시간이 소요되는 것을 확인할 수 있다. 즉, 본 발명의 증강현실 정합 방식으로 트래킹을 하면 트래킹에 소요되는 시간이 종래 트래킹에 소요되는 시간에 비해 약 1/4로 감소하게 된다.
이처럼 본 발명에서는 증강현실 정합을 수행함에 있어서 저해상도 영상으로 트래킹을 실시하고, 이후 영상을 정합하는데 있어서는 고해상도 영상으로 처리함으로써 트래킹에 걸리는 시간을 단축시키고, 화면 깜박임 현상이나 영상이 느려지는 문제를 개선할 수 있다.
이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.
도 1은 종래 증강현실 정합에 있어서 마커 인식을 위한 트래킹 과정을 보여주는 도면이다.
도 2는 본 발명의 일 실시예에 따른 증강현실 정합 시스템을 보여주는 블록도이다.
도 3은 본 발명의 다른 실시예에 따른 증강현실 정합 시스템을 보여주는 블록도이다.
도 4는 본 발명의 일 실시예에 따른 증강현실 정합 방법을 보여주는 흐름도이다.
도 5는 본 발명의 다른 실시예에 따른 증강현실 정합 방법을 보여주는 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 증강현실 정합 방식과 종래 증강현실 정합 방식의 작업수행 시간을 비교한 도면이다.
*도면의 주요 부분에 대한 부호의 설명*
110 트래킹 영상 입력부 120 마커 인식부
130 정합 영상 입력부 140 영상 정합부
150 정합 영상 디스플레이부 200 카메라
210 제1카메라 220 제2카메라

Claims (17)

  1. 카메라를 통해 입력된 영상을 저해상도 이미지 데이터로 변환하기 위한 트래킹 영상 입력부;
    상기 트래킹 영상 입력부에서 생성된 상기 저해상도 이미지 데이터에서 마커를 인식하기 위한 트래킹(tracking)을 수행하는 마커 인식부;
    카메라를 통해 입력된 영상을 고해상도 이미지 데이터로 변환하기 위한 정합 영상 입력부;
    상기 마커 인식부에서 인식한 마커 정보를 기반으로 상기 고해상도 이미지 데이터 상에 컨텐츠를 정합하는 영상 정합부; 및
    상기 영상 정합부에서 정합된 영상 데이터를 디스플레이하기 위한 정합 영상 디스플레이부를 포함하는 증강현실 정합 시스템.
  2. 제1항에 있어서,
    상기 영상 정합부는 상기 저해상도 이미지 데이터에서 인식된 마커 위치 및 마커 크기를 상기 고해상도 이미지 데이터에 맞는 마커 위치 및 마커 크기로 변환하고, 상기 고해상도 이미지 데이터 상에서 변환된 마커 위치 및 마커 크기에 해당하는 영역에 미리 준비된 컨텐츠를 정합하는 것을 특징으로 하는 증강현실 정합 시스템.
  3. 제2항에 있어서,
    상기 영상 정합부는 상기 저해상도 이미지 데이터에서 인식된 마커 위치를 상대 좌표에 의해 상기 고해상도 이미지 데이터의 영상 크기에 맞는 마커 위치로 변환하는 것을 특징으로 하는 증강현실 정합 시스템.
  4. 외부의 영상신호를 입력받기 위한 카메라;
    상기 카메라를 통해 입력된 영상을 저해상도 이미지 데이터로 변환하기 위한 트래킹 영상 입력부;
    상기 트래킹 영상 입력부에서 생성된 상기 저해상도 이미지 데이터에서 마커를 인식하기 위한 트래킹(tracking)을 수행하는 마커 인식부;
    상기 카메라를 통해 입력된 영상을 고해상도 이미지 데이터로 변환하기 위한 정합 영상 입력부;
    상기 마커 인식부에서 인식한 마커 정보를 기반으로 상기 고해상도 이미지 데이터 상에 컨텐츠를 정합하는 영상 정합부; 및
    상기 영상 정합부에서 정합된 영상 데이터를 디스플레이하기 위한 정합 영상 디스플레이부를 포함하는 증강현실 정합 시스템.
  5. 제4항에 있어서,
    상기 영상 정합부는 상기 저해상도 이미지 데이터에서 인식된 마커 위치 및 마커 크기를 상기 고해상도 이미지 데이터에 맞는 마커 위치 및 마커 크기로 변환하고, 상기 고해상도 이미지 데이터 상에서 변환된 마커 위치 및 마커 크기에 해당하는 영역에 미리 준비된 컨텐츠를 정합하는 것을 특징으로 하는 증강현실 정합 시스템.
  6. 제5항에 있어서,
    상기 영상 정합부는 상기 저해상도 이미지 데이터에서 인식된 마커 위치를 상대 좌표에 의해 상기 고해상도 이미지 데이터의 영상 크기에 맞는 마커 위치로 변환하는 것을 특징으로 하는 증강현실 정합 시스템.
  7. 외부의 영상신호를 입력받아 저해상도 영상신호를 생성하기 위한 제1카메라;
    외부의 영상신호를 입력받아 고해상도 영상신호를 생성하기 위한 제2카메라;
    상기 제1카메라를 통해 입력된 저해상도 영상신호를 저해상도 이미지 데이터로 변환하기 위한 트래킹 영상 입력부;
    상기 트래킹 영상 입력부에서 생성된 상기 저해상도 이미지 데이터에서 마커 를 인식하기 위한 트래킹(tracking)을 수행하는 마커 인식부;
    상기 제2카메라를 통해 입력된 고해상도 영상신호를 고해상도 이미지 데이터로 변환하기 위한 정합 영상 입력부;
    상기 마커 인식부에서 인식한 마커 정보를 기반으로 상기 고해상도 이미지 데이터 상에 컨텐츠를 정합하는 영상 정합부; 및
    상기 영상 정합부에서 정합된 영상 데이터를 디스플레이하기 위한 정합 영상 디스플레이부를 포함하는 증강현실 정합 시스템.
  8. 제7항에 있어서,
    상기 영상 정합부는 상기 저해상도 이미지 데이터에서 인식된 마커 위치 및 마커 크기를 상기 고해상도 이미지 데이터에 맞는 마커 위치 및 마커 크기로 변환하고, 상기 고해상도 이미지 데이터 상에서 변환된 마커 위치 및 마커 크기에 해당하는 영역에 미리 준비된 컨텐츠를 정합하는 것을 특징으로 하는 증강현실 정합 시스템.
  9. 제8항에 있어서,
    상기 영상 정합부는 상기 저해상도 이미지 데이터에서 인식된 마커 위치를 상대 좌표에 의해 상기 고해상도 이미지 데이터의 영상 크기에 맞는 마커 위치로 변환하는 것을 특징으로 하는 증강현실 정합 시스템.
  10. 카메라를 통해 영상을 입력받는 단계;
    상기 입력된 영상을 고해상도 이미지 데이터 및 저해상도 이미지 데이터로 각각 변환하여 저장하는 단계;
    상기 저해상도 이미지 데이터를 이용하여 마커를 인식하는 단계;
    상기 저해상도 이미지 데이터 상에서 마커의 위치를 계산하는 단계;
    상기 마커 위치를 기반으로 상기 고해상도 이미지 데이터에 맞게 마커 위치를 변경하는 단계;
    상기 고해상도 이미지 데이터 상에서 상기 변경된 마커 위치에 대응하는 영역에 컨텐츠를 정합하는 단계; 및
    상기 정합된 영상 데이터를 디스플레이하는 단계를 포함하는 증강현실 정합 방법.
  11. 제10항에 있어서,
    상기 저해상도 이미지 데이터를 이용하여 마커를 인식하는 단계는,
    상기 저해상도 이미지 데이터 상에서 마커가 존재하는지 여부를 확인하여 마커가 존재하면 다음 단계로 진행하고, 마커가 존재하지 않으면 상기 카메라를 통해 영상을 입력받는 단계로 회귀하는 것을 특징으로 하는 증강현실 정합 방법.
  12. 제10항에 있어서,
    상기 저해상도 이미지 데이터를 이용하여 마커를 인식하는 단계 후에,
    상기 마커의 크기를 계산하는 단계; 및
    상기 마커 크기를 기반으로 상기 고해상도 이미지 데이터에 맞게 마커 크기를 변경하는 단계를 더 포함하는 것을 특징으로 하는 증강현실 정합 방법.
  13. 제12항에 있어서,
    상기 마커 크기를 변경하는 단계 후에,
    상기 고해상도 이미지 데이터 상에서 상기 변경된 마커 위치 및 상기 변경된 마커 크기에 대응하는 영역에 컨텐츠를 정합하는 단계를 더 포함하는 것을 특징으로 하는 증강현실 정합 방법.
  14. 입력되는 영상을 저해상도 영상신호로 변환하는 저해상도 카메라를 통해 저해상도 영상을 입력받는 단계;
    입력되는 영상을 고해상도 영상신호로 변환하는 고해상도 카메라를 통해 고 해상도 영상을 입력받는 단계;
    상기 저해상도 영상을 저해상도 이미지 데이터로 변환하여 저장하는 단계;
    상기 고해상도 영상을 고해상도 이미지 데이터로 변환하여 저장하는 단계;
    상기 저해상도 이미지 데이터를 이용하여 마커를 인식하는 단계;
    상기 저해상도 이미지 데이터 상에서 마커의 위치를 계산하는 단계;
    상기 마커 위치를 기반으로 상기 고해상도 이미지 데이터에 맞게 마커 위치를 변경하는 단계;
    상기 고해상도 이미지 데이터 상에서 상기 변경된 마커 위치에 대응하는 영역에 컨텐츠를 정합하는 단계; 및
    상기 정합된 영상 데이터를 디스플레이하는 단계를 포함하는 증강현실 정합 방법.
  15. 제14항에 있어서,
    상기 저해상도 이미지 데이터를 이용하여 마커를 인식하는 단계는,
    상기 저해상도 이미지 데이터 상에서 마커가 존재하는지 여부를 확인하여 마커가 존재하면 다음 단계로 진행하고, 마커가 존재하지 않으면 상기 저해상도 카메라를 통해 저해상도 영상을 입력받는 단계로 회귀하는 것을 특징으로 하는 증강현실 정합 방법.
  16. 제14항에 있어서,
    상기 저해상도 이미지 데이터를 이용하여 마커를 인식하는 단계 후에,
    상기 마커의 크기를 계산하는 단계; 및
    상기 마커 크기를 기반으로 상기 고해상도 이미지 데이터에 맞게 마커 크기를 변경하는 단계를 더 포함하는 것을 특징으로 하는 증강현실 정합 방법.
  17. 제16항에 있어서,
    상기 마커 크기를 변경하는 단계 후에,
    상기 고해상도 이미지 데이터 상에서 상기 변경된 마커 위치 및 상기 변경된 마커 크기에 대응하는 영역에 컨텐츠를 정합하는 단계를 더 포함하는 것을 특징으로 하는 증강현실 정합 방법.
KR1020090104836A 2009-11-02 2009-11-02 해상도 차이를 이용한 증강현실 정합 시스템 및 방법 KR101047615B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090104836A KR101047615B1 (ko) 2009-11-02 2009-11-02 해상도 차이를 이용한 증강현실 정합 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090104836A KR101047615B1 (ko) 2009-11-02 2009-11-02 해상도 차이를 이용한 증강현실 정합 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20110048150A true KR20110048150A (ko) 2011-05-11
KR101047615B1 KR101047615B1 (ko) 2011-07-07

Family

ID=44239352

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090104836A KR101047615B1 (ko) 2009-11-02 2009-11-02 해상도 차이를 이용한 증강현실 정합 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101047615B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101360061B1 (ko) * 2012-12-05 2014-02-12 현대자동차 주식회사 증강 현실 제공 방법 및 그 장치
CN106372471A (zh) * 2016-08-31 2017-02-01 宇龙计算机通信科技(深圳)有限公司 一种ar注册方法及系统
KR20220071861A (ko) * 2020-11-24 2022-05-31 (주)엔진비주얼웨이브 조립식 트래킹 패드를 이용한 버추얼 스튜디오 시스템

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102070427B1 (ko) 2012-08-08 2020-01-28 삼성전자주식회사 종양의 위치를 추적하는 방법 및 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101086068B1 (ko) * 2004-12-10 2011-11-22 한국문화콘텐츠진흥원 3차원 마커 인지 방법 및 이를 이용한 증강현실 및복합현실 제공 방법 및 장치
KR100777215B1 (ko) 2006-05-30 2007-11-19 한국과학기술연구원 휴대용 기기를 이용한 증강현실 영상 시스템

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101360061B1 (ko) * 2012-12-05 2014-02-12 현대자동차 주식회사 증강 현실 제공 방법 및 그 장치
CN106372471A (zh) * 2016-08-31 2017-02-01 宇龙计算机通信科技(深圳)有限公司 一种ar注册方法及系统
CN106372471B (zh) * 2016-08-31 2019-05-14 宇龙计算机通信科技(深圳)有限公司 一种ar注册方法及系统
KR20220071861A (ko) * 2020-11-24 2022-05-31 (주)엔진비주얼웨이브 조립식 트래킹 패드를 이용한 버추얼 스튜디오 시스템

Also Published As

Publication number Publication date
KR101047615B1 (ko) 2011-07-07

Similar Documents

Publication Publication Date Title
US20220319139A1 (en) Multi-endpoint mixed-reality meetings
US9836263B2 (en) Display control device, display control method, and program
US10186084B2 (en) Image processing to enhance variety of displayable augmented reality objects
US10295826B2 (en) Shape recognition device, shape recognition program, and shape recognition method
KR102474088B1 (ko) 이미지를 합성하기 위한 방법 및 디바이스
US20170153712A1 (en) Input system and input method
US20160012612A1 (en) Display control method and system
CN111640197A (zh) 一种增强现实ar特效控制方法、装置及设备
CN111881861A (zh) 一种展示方法、装置、设备及存储介质
CN108133454B (zh) 空间几何模型图像切换方法、装置、系统及交互设备
KR101047615B1 (ko) 해상도 차이를 이용한 증강현실 정합 시스템 및 방법
CN112905014A (zh) Ar场景下的交互方法、装置、电子设备及存储介质
CN107870703A (zh) 图片全屏展示的方法、系统及终端设备
CN114445525A (zh) 虚拟对象的显示方法、装置及电子设备
CN110832525A (zh) 在对象上的增强现实广告
CN111918114A (zh) 图像显示方法、装置、显示设备及计算机可读存储介质
CN108629824B (zh) 图像生成方法、装置、电子设备及计算机可读介质
CN109461203B (zh) 手势三维图像生成方法、装置、计算机设备及存储介质
US9905030B2 (en) Image processing device, image processing method, information storage medium, and program
KR20170006219A (ko) 3차원 모델링 서비스 제공 방법 및 이를 위한 장치
KR101582225B1 (ko) 인터랙티브 증강현실 서비스 시스템 및 방법
CN111913560A (zh) 虚拟内容的显示方法、装置、系统、终端设备及存储介质
CN102663665A (zh) 具有自适应深度的立体图像图文标签的显示和编辑方法
CN113301243B (zh) 图像处理方法、交互方法、系统、装置、设备和存储介质
JP6699406B2 (ja) 情報処理装置、プログラム、位置情報作成方法、情報処理システム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140603

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150629

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160701

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170629

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180625

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20190701

Year of fee payment: 9