KR101455237B1 - 자동추적 증강현실 제공 장치 및 그 방법 - Google Patents

자동추적 증강현실 제공 장치 및 그 방법 Download PDF

Info

Publication number
KR101455237B1
KR101455237B1 KR1020130047343A KR20130047343A KR101455237B1 KR 101455237 B1 KR101455237 B1 KR 101455237B1 KR 1020130047343 A KR1020130047343 A KR 1020130047343A KR 20130047343 A KR20130047343 A KR 20130047343A KR 101455237 B1 KR101455237 B1 KR 101455237B1
Authority
KR
South Korea
Prior art keywords
marker
image
user
camera unit
viewing angle
Prior art date
Application number
KR1020130047343A
Other languages
English (en)
Other versions
KR20140128659A (ko
Inventor
이봉규
Original Assignee
주식회사 제이엠랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 제이엠랩 filed Critical 주식회사 제이엠랩
Priority to KR1020130047343A priority Critical patent/KR101455237B1/ko
Publication of KR20140128659A publication Critical patent/KR20140128659A/ko
Application granted granted Critical
Publication of KR101455237B1 publication Critical patent/KR101455237B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

자동추적 증강현실 제공 장치는 영상을 촬영하는 카메라부, 상기 영상에 포함된 객체의 특징점을 추출하고, 상기 객체의 특징점을 기반으로 사용자를 추출하는 사용자 추출부, 상기 영상에 포함된 마커를 추출하는 마커 추출부, 상기 사용자 및 상기 마커의 이동 방향을 추적하는 이동 추적부, 및 상기 사용자 및 상기 마커가 상기 카메라부에 의해 촬영되는 영상 내에 위치하도록 상기 사용자 및 상기 마커 중 적어도 어느 하나의 이동 방향 쪽으로 상기 카메라부의 시야각을 조절하는 제어부를 포함한다. 자동추적 증강현실 제공 장치는 사용자와 마커의 움직임에 따라 카메라의 시야각 및 촬영 방향을 제어함으로써 사용자에게 지속적으로 증강현실을 제공할 수 있다.

Description

자동추적 증강현실 제공 장치 및 그 방법{APPARATUS FOR PROVIDING AUGMENTED REALITY COMPRISING AUTO TRACKING ABILITY AND METHOD THEREOF}
본 발명은 자동추적 증강현실 제공 장치 및 그 방법에 관한 것으로, 보다 상세하게는 사용자 및 마커 중 적어도 어느 하나의 이동을 자동으로 추적할 수 있는 자동추적 기능을 포함하는 증강현실 제공 장치 및 그 방법에 관한 것이다.
증강현실(Augmented Reality)이란 위치 및 방향 정보를 이용하여 대략적인 위치를 파악하고 주변의 건물 정보와 같은 시설물 정보와 카메라의 움직임에 따라 입력되는 실사 영상 정보 간의 비교를 통해 사용자가 원하는 서비스를 파악하여 관련 정보를 제공하는 기술을 말한다.
이러한 증강현실 기술에는 마커 기반의 증강현실 기술과 센서 기반의 증강현실 기술이 있다. 마커 기반의 증강현실 기술은 특정 건물에 대응되는 마커를 건물과 함께 촬영한 후 마커를 인식하여 해당 건물을 인식하는 기술이다. 센서 기반의 증강현실 기술은 단말기에 탑재된 GPS, 전자 나침반(Digital Compass) 등을 이용하여 단말기의 현재 위치 및 주시 방향을 유추하여 유추된 방향으로 영상에 해당하는 POI(Point of Interests) 정보를 오버레이(Overlay) 시켜주는 기술이다.
사용자에게 증강현실을 제공하기 위해서는 사용자와 마커가 카메라의 시야각(Field of View) 안에 포함되어야 한다. 사용자나 마커가 움직여서 카메라의 시야각에서 벗어나게 되면 증강현실을 제공할 수 없는 문제점이 있다.
본 발명이 해결하고자 하는 기술적 과제는 사용자나 마커의 움직임을 추적하여 지속적인 증강현실을 제공할 수 있는 자동추적 기능을 포함하는 증강현실 제공 장치 및 그 방법을 제공함에 있다.
본 발명의 일 실시예에 따른 자동추적 증강현실 제공 장치는 영상을 촬영하는 카메라부, 상기 영상에 포함된 객체의 특징점을 추출하고, 상기 객체의 특징점을 기반으로 사용자를 추출하는 사용자 추출부, 상기 영상에 포함된 마커를 추출하는 마커 추출부, 상기 사용자 및 상기 마커의 이동 방향을 추적하는 이동 추적부, 및 상기 사용자 및 상기 마커가 상기 카메라부에 의해 촬영되는 영상 내에 위치하도록 상기 사용자 및 상기 마커 중 적어도 어느 하나의 이동 방향 쪽으로 상기 카메라부의 시야각을 조절하는 제어부를 포함한다.
상기 마커의 식별정보를 데이터베이스에 저장되어 있는 마커의 특징 정보와 비교하여 상기 마커에 대응하는 컨텐츠 정보를 호출하고, 상기 영상에 상기 컨텐츠 정보를 합성하여 합성 영상을 생성하는 합성부를 더 포함할 수 있다.
상기 합성 영상을 디스플레이하는 디스플레이부를 더 포함할 수 있다.
상기 객체의 특징점 중에서 사용자를 지시하는 객체의 특징점을 이용하여 상기 사용자의 2차원 크기를 추출하는 비율 추적부를 더 포함할 수 있다.
상기 제어부는 상기 카메라부의 시야각을 조절하면서 동시에 상기 카메라부의 촬영 방향을 조절할 수 있다.
상기 제어부는 상기 시야각이 조절된 거리의 1/2 만큼 촬영 방향을 이동시킬 수 있다.
상기 제어부는 상기 사용자 및 상기 마커가 상기 영상 내에 위치하도록 상기 카메라부의 시야각 및 촬영 방향 중 적어도 어느 하나를 조절할 수 있다.
본 발명의 다른 실시예에 따른 자동추적 증강현실 제공 장치를 이용하여 증강현실을 제공하는 방법은 카메라부를 이용하여 제1 영상을 촬영하는 단계, 상기 제1 영상에 포함된 객체의 특징점을 추출하고, 상기 객체의 특징점을 기반으로 사용자를 추출하는 단계, 상기 제1 영상에 포함된 마커를 추출하는 단계, 상기 사용자 및 상기 마커의 이동 방향을 추적하는 단계, 및 상기 사용자 및 상기 마커가 상기 카메라부에 의해 촬영되는 영상 내에 위치하도록 상기 사용자 및 상기 마커 중 적어도 어느 하나의 이동 방향 쪽으로 상기 카메라부의 시야각을 조절하는 단계를 포함한다.
상기 카메라부의 시야각이 조절된 후, 상기 카메라부를 이용하여 제2 영상을 촬영하는 단계, 상기 제2 영상에 상기 마커에 대응하는 컨텐츠 정보가 합성된 합성 영상을 생성하는 단계, 및 상기 합성 영상을 디스플레이하는 단계를 더 포함할 수 있다.
상기 합성 영상을 생성하는 단계는, 상기 마커의 식별정보를 데이터베이스에 저장되어 있는 마커의 특징 정보와 비교하여 상기 컨텐츠 정보를 호출하는 단계를 포함할 수 있다.
상기 카메라부의 시야각을 조절하는 단계는, 상기 카메라부의 시야각을 조절하면서 동시에 상기 카메라부의 촬영 방향을 조절하는 단계를 포함할 수 있다.
상기 카메라부의 시야각을 조절하면서 동시에 상기 카메라부의 촬영 방향을 조절하는 단계는, 상기 시야각이 조절된 거리의 1/2 만큼 촬영 방향을 이동시키는 단계를 포함할 수 있다.
상기 카메라부를 이용하여 제1 영상을 촬영하는 단계는, 상기 사용자 및 상기 마커가 상기 제1 영상 내에 위치하도록 상기 카메라부의 시야각 및 촬영 방향 중 적어도 어느 하나를 조절하는 단계를 포함할 수 있다.
자동추적 증강현실 제공 장치는 사용자와 마커의 움직임에 따라 카메라의 시야각 및 촬영 방향을 제어함으로써 사용자에게 지속적으로 증강현실을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 자동추적 기능을 포함하는 증강현실 제공 장치를 나타내는 블록도이다.
도 2는 사용자 및 마커의 이동에 따라 시야각 및 촬영 방향을 조절하는 일 예를 나타내는 예시도이다.
도 3은 본 발명의 일 실시예에 따른 증강현실 제공 방법을 나타내는 흐름도이다.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예들에 한정되지 않는다.
또한, 여러 실시예들에 있어서, 동일한 구성을 가지는 구성요소에 대해서는 동일한 부호를 사용하여 대표적으로 제1 실시예에서 설명하고, 그 외의 실시예에서는 제1 실시예와 다른 구성에 대해서만 설명하기로 한다.
본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다.
도 1은 본 발명의 일 실시예에 따른 자동추적 기능을 포함하는 증강현실 제공 장치를 나타내는 블록도이다.
도 1을 참조하면, 증강현실 제공 장치(100)는 카메라부(110), 사용자 추출부(120), 마커 추출부(130), 합성부(140), 디스플레이부(150), 이동 추적부(160), 비율 추적부(170) 및 제어부(180)를 포함한다.
카메라부(110)는 객체를 포함하는 영상을 촬영하고, 정지영상 또는 동영상의 형태의 영상을 사용자 추출부(120), 마커 추출부(130) 및 합성부(140)에 전달한다. 카메라부(110)는 Full HD 카메라 모듈로 마련될 수 있다. 카메라부(110)는 촬영 방향이 조절될 수 있도록 2축 회전이 가능한 구조로 마련될 수 있다. 카메라부(110)는 시야각(Field of View)이 조절될 수 있는 구조로 마련될 수 있다. 시야각이 넓어지면 영상에 포함된 객체가 멀리 보이게 되고, 시야각이 좁아지면 영상에 포함된 객체가 가까이 보이게 된다.
사용자 추출부(120)는 카메라부(110)로부터 전달받은 정지영상 또는 동영상에 포함된 객체에 대한 패턴, 로고, 색상, 코너점, 외곽선, 텍스처, 텍스트, 각도에 따른 외곽형태 등의 정보 중에서 적어도 어느 하나 이상의 정보에 근거하여 객체의 특징점을 추출한다. 객체의 특징점은 객체의 전체적인 특징들뿐만 아니라 객체의 부분적인 특징들이 될 수 있다. 예를 들어, 객체의 코너점은 객체 모양에 대한 정보를 가장 많이 가지고 있으므로 객체의 표현, 해석, 인식에 가장 중요한 특징점으로 사용될 수 있다. 사용자 추출부(120)는 객체의 특징점을 기반으로 사용자를 추출한다. 즉, 사용자 추출부(120)는 영상에 포함된 다수의 객체 중에서 사용자를 지시하는 객체의 특징점, 즉 사용자 특징점을 검출하여 사용자를 추출할 수 있다.
마커 추출부(130)는 카메라부(110)에서 촬영된 영상에 포함된 마커를 추출한다. 마커 추출부(130)는 특정 임계값(threshold)을 기준으로 영상을 0 또는 1의 값으로 변형시키는 이진화 작업을 수행할 수 있다. 마커 추출부(130)는 이진화 작업이 완료된 영상에서 마커의 특징에 따라 선택적으로 마커의 경계 영역을 검출할 수 있다. 마커 추출부(130)는 마커의 경계 영역 내에서 영상을 추출한다. 마커의 경계 영역 내에서 영상이 추출됨으로써 차후의 연산량이 줄어들게 된다. 마커 추출부(130)는 템플릿 매칭(template matching), 주성분 분석(Principal Component Analysis, PCA) 등을 이용하여 추출된 영상이 특정 마커에 해당하는지 인식할 수 있다. 마커 추출부(130)는 인식된 마커의 식별정보를 추출할 수 있다.
합성부(140)는 마커의 식별정보를 데이터베이스에 저장되어 있는 마커의 특징정보와 비교하여 마커에 대응하는 컨텐츠 정보를 호출한다. 그리고 합성부(140)는 카메라부(110)로부터 전달받은 정지영상 또는 동영상에 컨텐츠 정보를 합성하여 합성 영상을 생성한다.
디스플레이부(150)는 정지영상 또는 동영상에 컨텐츠 정보가 합성된 합성 영상을 디스플레이한다.
이동 추적부(160)는 사용자 추출부(120)에서 추출된 사용자 및 마커 추출부(130)에서 추출된 마커의 이동 방향을 추적한다. 이동 추적부(160)는 촬영된 영상 또는 합성 영상 내에 소정의 범위를 갖는 임계치의 테두리를 설정하고, 사용자 및 마커 중 어느 하나가 임계치의 테두리를 벗어나는지 여부를 확인하여 그 이동 방향을 추적할 수 있다. 또는 이동 추적부(160)는 POSIT(Pose Object System for Iteration) 알고리즘을 이용하여 사용자 및 마커의 이동을 추적할 수 있다. 또는 이동 추적부(160)는 촬영된 영상 또는 합성 영상 내에서 사용자 및 마커의 2차원 좌표를 설정하고, 사용자 및 마커의 2차원 좌표의 변화를 추적하여 그 이동 방향을 추적할 수 있다.
비율 추적부(170)는 사용자 추출부(120)에서 추출된 사용자 특징점을 이용하여 사용자의 2차원 크기를 추출할 수 있다. 또한 비율 추적부(170)는 사용자 특징점을 이용하여 사용자가 성인인지 아동인지 여부를 검출할 수 있다. 또한 비율 추적부(170)는 촬영된 영상 또는 합성 영상 내에서 사용자가 차지하는 비율을 추적하여 사용자가 카메라부(110) 측으로의 접근 또는 멀어짐을 검출할 수 있다.
제어부(180)는 증강현실 제공 장치(100)의 전반적인 동작을 제어한다. 특히, 제어부(180)는 사용자 및 마커가 촬영된 영상 또는 합성 영상 내에 위치하도록 카메라부(110)의 시야각 및 촬영 방향 중 적어도 어느 하나를 조절한다. 이동 추적부(160)에 의해 사용자 및 마커 중 어느 하나의 이동 방향이 추적되면, 제어부(180)는 추적된 이동 방향 쪽으로 카메라부(110)의 시야각을 넓히거나 줄일 수 있다.
도 2는 사용자 및 마커의 이동에 따라 시야각 및 촬영 방향을 조절하는 일 예를 나타내는 예시도이다.
도 2를 참조하면, 사용자(TA) 및 마커(TB)가 임계치의 테두리(B) 내에 위치하는 상황에서 마커가 x축 방향으로 이동하여 임계치의 테두리(B)의 우측을 벗어나는 것으로 가정하자. 임계치의 테두리(B)는 촬영된 영상 또는 합성 영상의 영역(A)과 동일한 영역으로 설정되거나 소정 범위만큼 작은 영역으로 설정될 수 있다.
마커가 임계치의 테두리(B)의 우측을 벗어나게 되면, 이동 추적부(160)는 마커의 x축 방향으로의 이동을 검출하고, 마커(TB)의 이동 정보를 제어부(180)에 전달한다. 제어부(180)는 마커(TB)의 이동 정보에 따라 시야각이 넓어지도록 카메라부(110)를 제어한다.
이때, 제어부(180)는 사용자 및 마커가 임계치의 테두리(B) 내에서 최적의 비율로 위치하도록 카메라부(110)의 시야각을 조절하면서 동시에 촬영 방향을 제어할 수 있다.
예를 들어, 사용자(TA)의 위치가 고정되고 마커(TB)가 d 만큼 x축 방향으로 이동되어 TB'에 위치하는 경우, 제어부(180)는 시야각이 d 만큼 넓어지도록 조절하면서 카메라부(110)의 촬영 방향을 x축 방향으로 1/2d 만큼 이동시킬 수 있다. 이에 따라, 촬영된 영상 또는 합성 영상의 영역은 이동된 마커(TB')를 포함하는 영역 A'으로 넓어지게 되고, A 영역에서 A' 영역으로 넓어진 정도는 마커(TB)의 이동 거리 d에 대응하게 된다.
한편, 제어부(180)는 사용자 및 마커가 임계치의 테두리를 벗어나는지 않는 범위 내에서 일정한 주기로 카메라부(110)의 시야각을 줄일 수 있다. 이때, 제어부(180)는 촬영된 영상 또는 합성 영상 내에서 사용자 및/또는 마커가 차지하는 비율이 정해진 임계치를 초과하지 않는 범위 내에서 시야각을 줄일 수 있다. 이러한 경우에도 제어부(180)는 사용자 및 마커가 임계치의 테두리 내에서 최적의 비율로 위치하도록 카메라부(110)의 시야각을 조절하면서 동시에 촬영 방향을 제어할 수 있다.
이에 따라, 사용자 및 마커는 항상 촬영된 영상 또는 합성 영상 내에 위치하게 되고, 증강현실 제공 장치(100)는 사용자에게 지속적으로 증강현실을 제공할 수 있다.
이제, 자동추적 기능을 포함하는 증강현실 제공 장치(100)를 이용하여 증강현실을 제공하는 방법에 대하여 설명한다.
도 3은 본 발명의 일 실시예에 따른 증강현실 제공 방법을 나타내는 흐름도이다.
도 3을 참조하면, 카메라부(110)를 통해 정지영상 또는 동영상의 형태로 영상이 촬영된다(S110). 이때, 사용자 및 마커가 영상 내에 위치하도록 카메라부(110)의 시야각 및 촬영 방향 중 적어도 어느 하나가 조절될 수 있다.
영상에 포함된 객체에 대한 패턴, 로고, 색상, 코너점, 외곽선, 텍스처, 텍스트, 각도에 따른 외곽형태 등의 정보 중에서 적어도 어느 하나 이상의 정보에 근거하여 객체의 특징점을 추출되고, 객체의 특징점을 기반으로 사용자가 추출된다(S120). 즉, 영상에 포함된 다수의 객체 중에서 사용자를 지시하는 객체의 특징점, 즉 사용자 특징점을 검출함으로써 사용자가 추출될 수 있다. 이때, 사용자 특징점을 이용하여 사용자의 2차원 크기가 추출될 수도 있고, 사용자가 성인인지 아동인지 여부가 검출될 수도 있다.
영상에 포함된 마커가 추출된다(S130). 특정 임계값(threshold)을 기준으로 영상을 0 또는 1의 값으로 변형시키는 이진화 작업이 수행되고, 이진화 작업이 완료된 영상에서 마커의 특징에 따라 선택적으로 마커의 경계 영역이 검출될 수 있다. 마커의 경계 영역 내에서 영상이 추출되고, 이에 따라 차후의 연산량이 줄어들게 된다. 추출된 영상은 템플릿 매칭(template matching), 주성분 분석(Principal Component Analysis, PCA) 등을 이용하여 특정 마커에 해당하는지 인식될 수 있으며, 인식된 마커의 식별정보가 추출될 수 있다.
영상에서 추출된 사용자 및 마커의 이동 방향이 추적된다(S140). 영상 내에 소정의 범위를 갖는 임계치의 테두리가 설정되고, 사용자 및 마커 중 어느 하나가 임계치의 테두리를 벗어나는지 여부를 확인하여 그 이동 방향이 추적될 수 있다. 또는 POSIT 알고리즘을 이용하여 사용자 및 마커의 이동 방향이 추적될 수 있다. 또는 영상 내에 사용자 및 마커의 2차원 좌표를 설정하고, 사용자 및 마커의 2차원 좌표의 변화를 추적하여 그 이동 방향이 추적될 수 있다.
사용자 및 마커 중 어느 하나의 이동 방향이 추적되면, 그 이동 방향 쪽으로 카메라부(110)의 시야각 및 촬영 방향이 조절된다(S150). 사용자 및 마커가 임계치의 테두리 내에 위치하는 상황에서 사용자 및 마커 중 어느 하나가 임계치의 테두리를 벗어나게 되면, 임계치의 테두리를 벗어나는 방향 쪽으로 카메라부(110)의 시야각이 넓어지도록 조절될 수 있다. 이때, 시야각이 넓어진 영상에서 사용자 및 마커가 임계치의 테두리 내에서 최적의 비율로 위치하도록 카메라부(110)의 촬영 방향도 함께 조절될 수 있다. 또한, 사용자 및 마커의 이동에 따라 카메라부(110)의 시야각을 줄이는 경우에도 사용자 및 마커가 영상의 임계치의 테두리 내에서 최적의 비율로 위치하도록 카메라부(110)의 촬영 방향도 함께 조절될 수 있다.
사용자 및 마커의 이동 방향에 따라 카메라부(110)의 시야각 및 촬영 방향이 조절된 상태에서 사용자 및 마커가 정지영상 또는 동영상으로 촬영되고, 촬영된 정지영상 또는 동영상에 마커에 대응하는 컨텐츠 정보가 합성되어 합성 영상이 생성된다(S160).
정지영상 또는 동영상에 컨텐츠 정보가 합성된 합성 영상이 디스플레이부(150)를 통해 디스플레이된다(S170).
이와 같이, 증강현실 제공 장치(100)는 사용자 및 마커의 이동 방향을 추적하고, 사용자 및 마커가 항상 촬영된 영상 또는 합성 영상 내에 위치하도록 카메라부(110)의 시야각 및 촬영 방향을 조절할 수 있다. 이에 따라, 증강현실 제공 장치(100)는 사용자에게 지속적으로 증강현실을 제공할 수 있다.
지금까지 참조한 도면과 기재된 발명의 상세한 설명은 단지 본 발명의 예시적인 것으로서, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
100 : 증강현실 제공 장치
110 : 카메라부
120 : 사용자 추출부
130 : 마커 추출부
140 : 합성부
150 : 디스플레이부
160 : 이동 추적부
170 : 비율 추적부
180 : 제어부

Claims (13)

  1. 영상을 촬영하는 카메라부;
    상기 영상에 포함된 객체의 특징점을 추출하고, 상기 객체의 특징점을 기반으로 사용자를 추출하는 사용자 추출부;
    상기 영상에 포함된 마커를 추출하는 마커 추출부;
    상기 사용자 및 상기 마커의 이동 방향을 추적하는 이동 추적부; 및
    상기 사용자 및 상기 마커가 상기 카메라부에 의해 촬영되는 영상 내에 위치하도록 상기 사용자 및 상기 마커 중 적어도 어느 하나의 이동 방향 쪽으로 상기 카메라부의 시야각을 조절하는 제어부를 포함하며,
    상기 제어부는 상기 카메라부의 시야각을 조절하면서 동시에 상기 카메라부의 촬영 방향을 조절하고 상기 시야각이 조절된 거리의 1/2 만큼 촬영 방향을 이동시키는 자동추적 증강현실 제공 장치.
  2. 제1 항에 있어서,
    상기 마커의 식별정보를 데이터베이스에 저장되어 있는 마커의 특징 정보와 비교하여 상기 마커에 대응하는 컨텐츠 정보를 호출하고, 상기 영상에 상기 컨텐츠 정보를 합성하여 합성 영상을 생성하는 합성부를 더 포함하는 자동추적 증강현실 제공 장치.
  3. 제2 항에 있어서,
    상기 합성 영상을 디스플레이하는 디스플레이부를 더 포함하는 자동추적 증강현실 제공 장치.
  4. 제1 항에 있어서,
    상기 객체의 특징점 중에서 사용자를 지시하는 객체의 특징점을 이용하여 상기 사용자의 2차원 크기를 추출하는 비율 추적부를 더 포함하는 자동추적 증강현실 제공 장치.
  5. 삭제
  6. 삭제
  7. 제1 항에 있어서,
    상기 제어부는 상기 사용자 및 상기 마커가 상기 영상 내에 위치하도록 상기 카메라부의 시야각 및 촬영 방향 중 적어도 어느 하나를 조절하는 자동추적 증강현실 제공 장치.
  8. 자동추적 증강현실 제공 장치를 이용하여 증강현실을 제공하는 방법에 있어서,
    카메라부를 이용하여 제1 영상을 촬영하는 단계;
    상기 제1 영상에 포함된 객체의 특징점을 추출하고, 상기 객체의 특징점을 기반으로 사용자를 추출하는 단계;
    상기 제1 영상에 포함된 마커를 추출하는 단계;
    상기 사용자 및 상기 마커의 이동 방향을 추적하는 단계; 및
    상기 사용자 및 상기 마커가 상기 카메라부에 의해 촬영되는 영상 내에 위치하도록 상기 사용자 및 상기 마커 중 적어도 어느 하나의 이동 방향 쪽으로 상기 카메라부의 시야각을 조절하는 단계를 포함하며,
    상기 카메라부의 시야각을 조절하는 단계는, 상기 카메라부의 시야각을 조절하면서 동시에 상기 카메라부의 촬영 방향을 조절하는 단계를 포함하고,
    상기 카메라부의 시야각을 조절하면서 동시에 상기 카메라부의 촬영 방향을 조절하는 단계는, 상기 시야각이 조절된 거리의 1/2 만큼 촬영 방향을 이동시키는 단계를 포함하는 증강현실 제공 방법.
  9. 제8 항에 있어서,
    상기 카메라부의 시야각이 조절된 후, 상기 카메라부를 이용하여 제2 영상을 촬영하는 단계;
    상기 제2 영상에 상기 마커에 대응하는 컨텐츠 정보가 합성된 합성 영상을 생성하는 단계; 및
    상기 합성 영상을 디스플레이하는 단계를 더 포함하는 증강현실 제공 방법.
  10. 제9 항에 있어서,
    상기 합성 영상을 생성하는 단계는,
    상기 마커의 식별정보를 데이터베이스에 저장되어 있는 마커의 특징 정보와 비교하여 상기 컨텐츠 정보를 호출하는 단계를 포함하는 증강현실 제공 방법.
  11. 삭제
  12. 삭제
  13. 제8 항에 있어서,
    상기 카메라부를 이용하여 제1 영상을 촬영하는 단계는,
    상기 사용자 및 상기 마커가 상기 제1 영상 내에 위치하도록 상기 카메라부의 시야각 및 촬영 방향 중 적어도 어느 하나를 조절하는 단계를 포함하는 증강현실 제공 방법.
KR1020130047343A 2013-04-29 2013-04-29 자동추적 증강현실 제공 장치 및 그 방법 KR101455237B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130047343A KR101455237B1 (ko) 2013-04-29 2013-04-29 자동추적 증강현실 제공 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130047343A KR101455237B1 (ko) 2013-04-29 2013-04-29 자동추적 증강현실 제공 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20140128659A KR20140128659A (ko) 2014-11-06
KR101455237B1 true KR101455237B1 (ko) 2014-11-07

Family

ID=52287026

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130047343A KR101455237B1 (ko) 2013-04-29 2013-04-29 자동추적 증강현실 제공 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101455237B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101980444B1 (ko) * 2017-08-30 2019-08-28 연세대학교 산학협력단 증강현실 서버와 시스템 및 그 방법과 이에 관한 기록 매체

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110023472A (ko) * 2009-08-31 2011-03-08 주식회사 이미지넥스트 좌표맵을 이용한 팬틸트줌 카메라 기반의 객체 추적 장치 및 방법
KR20110084748A (ko) * 2010-01-18 2011-07-26 (주)엔시드코프 인터렉티브 모드를 지원하는 증강현실 구현 장치 및 방법
KR20110104686A (ko) * 2010-03-17 2011-09-23 에스케이텔레콤 주식회사 마커 크기 기반 인터렉션 방법 및 이를 구현하기 위한 증강 현실 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110023472A (ko) * 2009-08-31 2011-03-08 주식회사 이미지넥스트 좌표맵을 이용한 팬틸트줌 카메라 기반의 객체 추적 장치 및 방법
KR20110084748A (ko) * 2010-01-18 2011-07-26 (주)엔시드코프 인터렉티브 모드를 지원하는 증강현실 구현 장치 및 방법
KR20110104686A (ko) * 2010-03-17 2011-09-23 에스케이텔레콤 주식회사 마커 크기 기반 인터렉션 방법 및 이를 구현하기 위한 증강 현실 시스템

Also Published As

Publication number Publication date
KR20140128659A (ko) 2014-11-06

Similar Documents

Publication Publication Date Title
US10074179B2 (en) Image measurement device
US9786064B2 (en) Multi-camera control apparatus and method to maintain location and size of object in continuous viewpoint switching service
US9959681B2 (en) Augmented reality contents generation and play system and method using the same
US9484005B2 (en) Trimming content for projection onto a target
US10445887B2 (en) Tracking processing device and tracking processing system provided with same, and tracking processing method
KR101506610B1 (ko) 증강현실 제공 장치 및 그 방법
JP2012118698A (ja) 画像処理装置
JP5484184B2 (ja) 画像処理装置、画像処理方法及びプログラム
KR20150055543A (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
EP2381415A1 (en) Person-judging device, method, and program
KR101923177B1 (ko) 사용자 기반의 증강 현실 정보를 제공하기 위한 장치 및 방법
TWI489326B (zh) 操作區的決定方法與系統
US10346709B2 (en) Object detecting method and object detecting apparatus
KR101703013B1 (ko) 3차원 스캐너 및 스캐닝 방법
JP6065629B2 (ja) 物体検知装置
US20150078617A1 (en) Mobile terminal and method for generating control command using marker attached to finger
JP2012252501A (ja) 走行路認識装置及び走行路認識用プログラム
KR101509105B1 (ko) 증강현실 제공 장치 및 그 방법
KR101455237B1 (ko) 자동추적 증강현실 제공 장치 및 그 방법
CN112561915A (zh) 图像处理方法、装置、图像采集装置及存储介质
CN107538485B (zh) 一种机器人导引方法及系统
JP5651659B2 (ja) 物体検出システムおよびプログラム
JP2006146551A (ja) ロボット
US8743192B2 (en) Electronic device and image capture control method using the same
JP2005115618A (ja) 物体検出装置及び物体検出方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
N231 Notification of change of applicant
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171023

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20191015

Year of fee payment: 6