KR101056418B1 - 모바일 센서를 이용한 증강 현실 콘텐츠 추적 장치 및 방법 - Google Patents

모바일 센서를 이용한 증강 현실 콘텐츠 추적 장치 및 방법 Download PDF

Info

Publication number
KR101056418B1
KR101056418B1 KR1020110029561A KR20110029561A KR101056418B1 KR 101056418 B1 KR101056418 B1 KR 101056418B1 KR 1020110029561 A KR1020110029561 A KR 1020110029561A KR 20110029561 A KR20110029561 A KR 20110029561A KR 101056418 B1 KR101056418 B1 KR 101056418B1
Authority
KR
South Korea
Prior art keywords
augmented reality
reality content
marker
posture
axis sensor
Prior art date
Application number
KR1020110029561A
Other languages
English (en)
Inventor
박재완
김승균
권기석
Original Assignee
주식회사 맥스트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 맥스트 filed Critical 주식회사 맥스트
Priority to KR1020110029561A priority Critical patent/KR101056418B1/ko
Application granted granted Critical
Publication of KR101056418B1 publication Critical patent/KR101056418B1/ko
Priority to US13/396,862 priority patent/US8648879B2/en
Priority to PCT/KR2012/001654 priority patent/WO2012134069A2/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

모바일 센서를 이용한 증강 현실 콘텐츠 추적 장치 및 방법이 개시된다. 본 발명의 일 실시예에 따른 증강 현실 콘텐츠 추적 방법은, 입력된 영상으로부터 증강 현실 마커를 인식하고, 인식된 상기 증강 현실 마커의 위치 및 자세를 계산하는 단계; 계산된 상기 증강 현실 마커의 위치 및 자세 정보를 이용하여 상기 증강 현실 마커와 대응되는 증강 현실 콘텐츠의 위치 및 자세를 계산하는 단계; 계산된 상기 증강 현실 콘텐츠의 위치 및 자세 정보를 이용하여 상기 증강 현실 콘텐츠를 상기 입력된 영상과 합성하여 출력하는 단계; 입력된 영상에서 상기 증강 현실 마커가 인식되지 않는 경우, 상기 증강 현실 콘텐츠 추적 장치에 포함된 6축 센서를 이용하여 상기 증강 현실 콘텐츠의 위치 및 자세를 업데이트하는 단계; 및 업데이트된 상기 증강 현실 콘텐츠의 위치 및 자세 정보를 이용하여 상기 증강 현실 콘텐츠를 상기 입력된 영상과 합성하여 출력하는 단계를 포함한다.

Description

모바일 센서를 이용한 증강 현실 콘텐츠 추적 장치 및 방법{Apparatus and method for tracking augmented reality contents using mobile sensors}
본 발명은 모바일 디바이스를 이용한 증강 현실 서비스 구현 기술과 관련된다.
최근 들어, 스마트폰 등의 대중화와 더불어 증강 현실(Augmented Reality) 기술이 다양한 분야에서 활용되고 있다. 이러한 증강 현실의 일례로는 카메라로부터 촬영되는 영상으로부터 증강 현실 마커를 감지하고 감지된 마커에 따른 3차원 가상 물체를 상기 영상에 합성하여 출력하는 기술을 들 수 있다. 이와 같은 기술을 사용함으로써 현실에는 존재하지 않는 가상 캐릭터 등이 화면상으로는 실제로 존재하는 것처럼 할 수 있다.
일반적으로, 상기와 같은 가상 물체를 화면상에 나타내기 위해서는 입력되는 각 영상의 각 프레임 별로 마커를 인지하고 마커의 종류 및 위치 등에 대응되도록 가상 물체의 크기, 위치, 형태 등을 계산하여 계산된 위치에 상기 가상 물체를 영상과 합성하여야 한다. 그런데, 만약 카메라가 이동하거나 또는 주변의 물체에 의하여 마커의 일부가 가려지는 등으로 인하여 화면 상에서 마커가 인식되지 않을 경우 마커에 대응되는 가상 물체, 즉 증강 현실 콘텐츠 또한 갑자기 사라지게 되는 문제가 있었다.
본 발명은 증강 현실 마커를 이용한 증강 현실 콘텐츠의 출력 시 마커가 일시적으로 화면상에서 사라지더라도 계속해서 증강 현실 콘텐츠의 출력 위치 및 자세를 추적함으로써 화면상에서 증강 현실 콘텐츠가 연속적으로 출력될 수 있도록 하는 데 그 목적이 있다.
1. 증강 현실 콘텐츠 추적 장치에서, 입력된 영상으로부터 증강 현실 마커를 인식하고, 인식된 상기 증강 현실 마커의 위치 및 자세를 계산하는 단계; 상기 증강 현실 콘텐츠 추적 장치에서, 계산된 상기 증강 현실 마커의 위치 및 자세 정보를 이용하여 상기 증강 현실 마커와 대응되는 증강 현실 콘텐츠의 위치 및 자세를 계산하는 단계; 상기 증강 현실 콘텐츠 추적 장치에서, 계산된 상기 증강 현실 콘텐츠의 위치 및 자세 정보를 이용하여 상기 증강 현실 콘텐츠를 상기 입력된 영상과 합성하여 출력하는 단계; 상기 증강 현실 콘텐츠 추적 장치에서, 입력된 영상에서 상기 증강 현실 마커가 인식되지 않는 경우, 상기 증강 현실 콘텐츠 추적 장치에 포함된 6축 센서를 이용하여 상기 증강 현실 콘텐츠의 위치 및 자세를 업데이트하는 단계; 및 상기 증강 현실 콘텐츠 추적 장치에서, 업데이트된 상기 증강 현실 콘텐츠의 위치 및 자세 정보를 이용하여 상기 증강 현실 콘텐츠를 상기 입력된 영상과 합성하여 출력하는 단계를 포함하는 증강 현실 콘텐츠 추적 방법.
2. 위 1에 있어서, 상기 증강 현실 콘텐츠의 위치 및 자세를 업데이트하는 단계는, 상기 입력된 영상에서 상기 증강 현실 마커가 마지막으로 인식된 시점에서의 상기 증강 현실 콘텐츠의 위치 및 자세 정보를 최초값으로 저장하는 단계; 상기 입력된 영상에서 상기 증강 현실 마커가 마지막으로 인식된 시점에서부터의 상기 6축 센서의 위치 및 자세 변화량을 계산하는 단계; 및 계산된 상기 6축 센서의 위치 및 자세 변화량 및 상기 최초값을 이용하여 상기 증강 현실 콘텐츠의 위치 및 자세를 업데이트하는 단계를 더 포함하는 증강 현실 콘텐츠 추적 방법.
3. 위 2에 있어서, 상기 6축 센서의 위치 및 자세 변화량은 상기 6축 센서에서 측정된 3차원 이동량 및 3차원 회전량을 포함하는, 증강 현실 콘텐츠 추적 방법.
4. 증강 현실 콘텐츠 추적 장치로서, 입력된 영상으로부터 증강 현실 마커를 인식하는 마커 인식부; 인식된 상기 증강 현실 마커의 위치 및 자세 정보를 이용하여 상기 증강 현실 마커와 대응되는 증강 현실 콘텐츠의 위치 및 자세를 계산하는 계산부; 계산된 상기 증강 현실 콘텐츠의 위치 및 자세 정보를 이용하여 상기 증강 현실 콘텐츠를 상기 입력된 영상과 합성하여 출력하는 영상 출력부; 및 상기 증강 현실 콘텐츠 추적 장치의 위치 및 자세 변화를 측정하는 6축 센서부;를 포함하며, 상기 계산부는, 입력된 영상에서 상기 증강 현실 마커가 인식되지 않는 경우, 상기 6축 센서부를 이용하여 상기 증강 현실 콘텐츠의 위치 및 자세를 업데이트하고, 상기 영상 출력부는 업데이트된 상기 증강 현실 콘텐츠의 위치 및 자세 정보를 이용하여 상기 증강 현실 콘텐츠를 상기 입력된 영상과 합성하여 출력하는, 증강 현실 콘텐츠 추적 장치.
5. 위 4에 있어서, 상기 계산부는, 상기 입력된 영상에서 상기 증강 현실 마커가 마지막으로 인식된 시점에서의 상기 증강 현실 콘텐츠의 위치 및 자세 정보를 최초값으로 저장하고, 상기 입력된 영상에서 상기 증강 현실 마커가 마지막으로 인식된 시점에서부터의 상기 6축 센서부의 위치 및 자세 변화량을 계산하며, 계산된 상기 6축 센서의 위치 및 자세 변화량 및 상기 최초값을 이용하여 상기 증강 현실 콘텐츠의 위치 및 자세를 업데이트하는, 증강 현실 콘텐츠 추적 장치.
6. 위 5에 있어서, 상기 6축 센서의 위치 및 자세 변화량은 상기 6축 센서에서 측정된 3차원 이동량 및 3차원 회전량을 포함하는, 증강 현실 콘텐츠 추적 장치.
본 발명의 실시예들에 따를 경우, 증강 현실 마커를 이용한 증강 현실 콘텐츠의 출력 시 마커가 일시적으로 화면상에서 사라지더라도 계속해서 증강 현실 콘텐츠의 출력 위치 및 자세를 추적함으로써 화면상에서 증강 현실 콘텐츠가 사라지지 않고 연속적으로 출력될 수 있도록 제어할 수 있다.
또한 본 발명의 실시예들에 따를 경우, 화면상에서 증강 현실 마커가 보이지 않는 구간에서만 6축 센서의 센싱 결과를 활용하며, 나머지 구간에서는 마커를 이용하여 위치를 추적하게 되므로 6축 센서의 오차에 의한 콘텐츠 위치 계산시의 오차를 최소화할 수 있다.
도 1은 본 발명의 일 실시예에 따른 증강 현실 콘텐츠 추적 장치의 구성을 나타낸 블록도이다.
도 2는 본 발명의 일 실시예에 따른 증강 현실 콘텐츠 추적 장치에서의 증강 현실 콘텐츠 추적 방법을 나타낸 순서도이다.
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 발명의 기술적 사상은 청구범위에 의해 결정되며, 이하의 실시예는 본 발명의 기술적 사상을 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 효율적으로 설명하기 위한 일 수단일 뿐이다.
도 1은 본 발명의 일 실시예에 따른 증강 현실 콘텐츠 추적 장치(100)의 구성을 나타낸 블록도이다.
도시된 바와 같이, 본 발명의 일 실시예에 따른 증강 현실 콘텐츠 추적 장치(100)는 영상 입력부(102), 마커 인식부(104), 계산부(106), 영상 출력부(108) 및 6축 센서부(110)를 포함한다. 이와 같은 증강 현실 콘텐츠 추적 장치(100)는 카메라 모듈 및 디스플레이를 갖춘 디지털 카메라 또는 스마트폰 등 이용자가 필요에 따라 이동하면서 촬영할 수 있는 모바일 장치로 구현될 수 있다.
영상 입력부(102)는 카메라 모듈 등으로부터 촬영된 영상(동영상)을 입력받는다.
마커 인식부(104)는 영상 입력부(102)에서 입력된 영상에서 증강 현실 마커를 인식하고, 인식된 상기 증강 현실 마커에 대응되는 증강 현실 콘텐츠를 추출한다. 상기 증강 현실 마커는 일반적으로 영상에 합성되어 출력될 증강 현실 콘텐츠의 종류 및 출력 위치를 계산하기 위한 것으로서, 기 설정된 형태 또는 무늬 등을 가지도록 구성된다. 본 발명의 실시예에서, 마커란 일반적인 마커 기반 증강 현실 시스템에서 사용되는 마커 뿐만 아니라, 마커리스(markerless) 증강 현실 시스템에서 오브젝트를 불러오기 위하여 사용되는 사용자 정의 이미지 또는 패턴 등의 타겟(target)을 모두 포함하는 의미임을 유의한다. 또한, 증강 현실 콘텐츠는 영상에 합성되어 출력되기 위한 오브젝트(object)로서, 예를 들어 3차원 가상 오브젝트 등이 될 수 있다. 상기 증강 현실 콘텐츠는 상기 영상 내에서의 증강 현실 마커의 위치 및 자세에 따라 출력되는 위치 및 자세가 달라지게 되는 바, 상기 증강 현실 마커를 기준으로 할 때의 상대적 출력 위치 및 자세 정보를 더 포함한다. 이와 같은 상기 증강 현실 콘텐츠 및 이의 상대적 위치 및 자세 정보는 증강 현실 콘텐츠 추적 장치(100)의 내부의 데이터베이스 등에 저장되어 있다가 마커 인식부(104)에 의하여 추출될 수도 있고, 또는 외부의 서버 등에 저장되어 있다가 유/무선 네트워크에 의하여 전송될 수도 있다.
이와 같은 증강 현실 마커, 증강 현실 콘텐츠 및 영상 내에서의 마커 인식 등과 관련된 사항은 본 기술분야에서는 다양한 방법들이 알려져 있는 바, 여기서는 그 상세한 설명을 생략하기로 한다. 또한 본 발명은 특정한 형태의 마커, 콘텐츠 또는 특정 마커 인식 방법에 한정되는 것이 아니며, 화면상에서 유효한 식별자로 인식될 수 있는 어떠한 형태의 마커도 사용이 가능함을 유의한다.
계산부(106)는 인식된 상기 증강 현실 마커의 위치 및 자세 정보를 계산하고, 이를 이용하여 상기 증강 현실 마커와 대응되는 증강 현실 콘텐츠의 위치 및 자세를 계산한다.
구체적으로, 계산부(106)는 상기 증강 현실 마커의 상기 영상 내에서의 형태 (예를 들어, 정사각형 형태의 증강 현실 마커가 카메라로부터 비스듬히 놓여 있을 경우에는 정사각형이 아닌 사다리꼴 등의 형태를 띄게 된다) 및 크기 정보 등을 이용하여 상기 증강 현실 마커의 3차원 공간 내에서의 위치 및 자세를 계산하고, 계산된 위치 및 자세와 기 저장된 상기 증강 현실 콘텐츠의 상대적 위치 및 자세를 이용하여 증강 현실 콘텐츠의 3차원 공간 내에서의 위치 및 자세를 계산한다. 본 발명의 실시예에서, 특별한 설명이 없는 한 마커 또는 콘텐츠의 3차원 공간 내에서의 위치 및 자세는 증강 현실 콘텐츠 추적 장치(100)를 기준으로 한 상대적 위치 및 자세를 의미한다.
이와 같이 증강 현실 콘텐츠의 3차원 공간 내에서의 위치 및 자세가 계산되면, 계산부(106)는 이로부터 상기 증강 현실 콘텐츠의 상기 영상 내에서의 출력 위치 및 출력 형태를 계산한다. 즉, 동일한 3차원 콘텐츠라도 증강 현실 콘텐츠 추적 장치(100)의 위치에 따라 보이는 형태가 다르게 되므로, 계산부(106)는 계산된 3차원 위치에 존재하는 상기 증강 현실 콘텐츠가 2차원 화면상에서 실제 어떤 형태로 보일지를 계산하게 된다.
영상 출력부(108)는 계산부(106)에서 계산된 출력 위치 및 출력 형태에 따라 상기 증강 현실 콘텐츠를 입력된 영상과 합성하여 출력한다.
상기와 같은 마커 인식부(104), 계산부(106) 및 영상 출력부(108)를 이용한 증강 현실 마커의 인식, 증강 현실 콘텐츠의 위치 계산 및 영상 합성은 영상 입력부(102)에서 입력되는 영상의 각 프레임마다 실시간으로 수행되며, 따라서 영상 출력부(108)에서 출력되는 영상을 본 사용자는 상기 영상에 상기 증강 현실 콘텐츠가 실제로 존재하는 듯한 느낌을 받게 된다.
다음으로, 6축 센서부(110)는 증강 현실 콘텐츠 추적 장치(100)의 위치 및 자세 변화를 측정한다. 이와 같은 6축 센서부(110)는, 예를 들어 모바일 단말기에 포함되는 가속도 센서 또는 자이로스코프 등의 센서를 포함하며, 증강 현실 콘텐츠 추적 장치(100)의 3차원 위치 이동 및 3차원 회전을 감지하도록 구성된다. 즉, 증강 현실 콘텐츠 추적 장치(100)가 3차원 공간 내에서 위치를 이동하거나 또는 자세를 변경할 경우 이와 같은 이동 또는 자세 변경은 6축 센서부(110)에 의하여 감지되게 된다.
전술한 바와 같은 과정에 의하여 화면 상에 존재하는 증강 현실 마커를 인식하고 그에 대응되는 증강 현실 콘텐츠를 화면 상에 합성하여 디스플레이하는 경우, 경우에 따라 화면 상에서 증강 현실 마커가 인식되지 않는 경우에도 증강 현실 콘텐츠를 계속해서 출력하여야 하는 경우가 발생할 수 있다. 예를 들어, 증강 현실 마커가 바닥에 붙어 있고 그에 대응되는 증강 현실 콘텐츠가 사람의 키보다 큰 공룡 등의 동물일 경우를 가정하자. 먼저 사용자가 증강 현실 콘텐츠 추적 장치(100)의 카메라를 아래로 하여 바닥에 놓인 증강 현실 마커를 촬영하게 되면, 증강 현실 콘텐츠 추적 장치(100)는 이를 인식하고 상기 마커에 대응되는 콘텐츠(공룡)을 화면 상에 출력하게 되며, 이 경우 상기 마커와 증강 현실 콘텐츠 추적 장치(100)의 거리가 가까울 경우 상기 콘텐츠의 크기에 비해 촬영되는 영역이 좁으므로 상기 공룡의 아랫부분만이 화면 상에 출력된다.
이와 같은 상태에서 상기 사용자가 증강 현실 콘텐츠 추적 장치(100)의 카메라를 점차 위쪽으로 이동하게 되면, 상기 카메라의 이동에 따라 점차 상기 공룡의 몸통 부분이 화면 상에 출력되어야 하나, 이 경우 상기 카메라에 이동에 따라 입력되는 영상이 상기 증강 현실 마커가 위치하는 영역을 벗어나게 되면 마커 인식부(104)는 더 이상 증강 현실 마커를 인식하지 못하게 되므로 상기 증강 현실 콘텐츠(공룡) 또한 화면에서 갑자기 사라지게 된다.
이와 같은 문제점을 해결하기 위하여, 본 발명에서는 입력된 영상에서 상기 증강 현실 마커가 인식되지 않는 경우, 6축 센서부(110)를 이용하여 상기 증강 현실 콘텐츠의 위치 및 자세를 업데이트하고, 영상 출력부(108)에서 업데이트된 상기 증강 현실 콘텐츠의 위치 및 자세 정보를 이용하여 상기 증강 현실 콘텐츠를 입력된 영상과 합성하여 출력하도록 구성된다.
구체적으로 증강 현실 콘텐츠 추적 장치(100)의 이동 (또는 다른 물체 등에 의한 마커의 가려짐) 등으로 인하여 증강 현실 마커가 입력 영상에서 사라진 경우의 증강 현실 콘텐츠의 출력 방법을 설명하면 다음과 같다.
먼저, 영상 입력부(102)에서 입력되는 영상에서 증강 현실 마커가 더 이상 인식되지 않는 경우, 계산부(106)는 상기 영상에서 증강 현실 마커가 사라진 시점, 즉 상기 입력된 영상에서 상기 증강 현실 마커가 마지막으로 인식된 시점에서 계산된 상기 증강 현실 콘텐츠의 위치 및 자세 정보를 최초값으로 저장한다.
또한, 계산부(106)는 상기 영상에서 증강 현실 마커가 사라진 시점에서의 6축 센서부(110)의 위치 및 자세 정보를 기준값으로 저장한다.
이후, 증강 현실 콘텐츠 추적 장치(100)가 3차원 공간 내에서 이동함에 따라 6축 센서부(110)에서 측정되는 위치 및 자세 정보를 상기 기준값과 비교하여 증강 현실 콘텐츠 추적 장치(100)의 3차원 공간 내에서의 위치 및 자세 변화량을 계산하고, 계산된 상기 변화량을 상기 최초값에 반영함으로써 상기 증강 현실 콘텐츠의 위치 및 자세를 업데이트한다. 이때 6축 센서부(110)의 위치 및 자세 변화량은 6축 센서부(110)에서 측정된 3차원 이동량 및 3차원 회전량을 의미한다.
이와 같이 증강 현실 콘텐츠의 업데이트된 위치 및 자세 정보가 계산되면, 영상 출력부(108)는 이를 이용하여 상기 증강 현실 콘텐츠를 입력된 영상과 합성하여 출력하게 된다.
한편, 화면 내에서 증강 현실 마커가 재차 인식되는 경우, 증강 현실 콘텐츠 추적 장치(100)는 앞서 설명한 바와 같이 인식된 상기 증강 현실 마커로부터 증강 현실 콘텐츠의 위치 및 자세를 추정하고 이를 디스플레이하게 된다.
이와 같이 6축 센서를 이용하여 증강 현실 콘텐츠의 위치를 업데이트할 경우 화면 상에서 증강 현실 마커가 보이지 않게 되는 경우에도 증강 현실 콘텐츠가 사라지지 않고 연속적으로 표현되므로, 증강 현실 마커 및 콘텐츠의 활용도를 한층 높일 수 있게 된다. 즉, 전술한 바와 같이 화면 상에 한번에 표현되기 어려운 거대한 크기의 콘텐츠 또한 표현이 가능하게 된다.
또한, 본 발명에서는 증강 현실 마커가 화면 상에 존재하는 경우에는 이를 이용하여 실시간으로 위치 및 자세를 계산하고, 화면 상에서 마커가 사라지는 구간에서만 6축 센서 정보를 사용하므로 증강 현실 콘텐츠의 출력 오차를 최소화할 수 있다. 즉, 6축 센서로부터 계산되는 위치 및 자세의 경우 시간이 지남에 따라 오차가 누적되게 되나, 본 발명에서는 화면 상에서 마커가 사라지는 구간에서만 6축 센서 정보를 사용하도록 하여 6축 센서의 사용을 최소화함으로써 이와 같이 오차의 누적을 최소화할 수 있다.
도 2는 본 발명의 일 실시예에 따른 증강 현실 콘텐츠 추적 장치에서의 증강 현실 콘텐츠 추적 방법을 나타낸 순서도(200)이다.
먼저, 영상 입력부(102)로부터 영상이 입력되면(202), 마커 인식부(104)는 입력된 영상으로부터 증강 현실 마커를 인식하고(204), 인식된 상기 증강 현실 마커의 위치 및 자세를 계산하며, 계산된 상기 증강 현실 마커의 위치 및 자세 정보를 이용하여 상기 증강 현실 마커와 대응되는 증강 현실 콘텐츠의 위치 및 자세를 계산한다(206).
다음으로, 계산된 상기 증강 현실 콘텐츠의 위치 및 자세 정보를 이용하여 상기 증강 현실 콘텐츠를 상기 입력된 영상과 합성하여 출력한다(208).
이후, 증강 현실 콘텐츠 추적 장치(100)에 새로운 영상이 입력되면(210), 마커 인식부(104)는 입력된 영상에 증강 현실 마커가 존재하는지를 판단하고(212), 존재하는 경우 상기 204 내지 208 단계를 반복 수행한다.
그러나 이와 달리 입력된 영상에 증강 현실 마커가 존재하지 않는 경우, 계산부(106)는 6축 센서부(110)에서 측정된 6축 센서의 위치, 자세 이동량을 이용하여 상기 증강 현실 콘텐츠의 위치 및 자세를 업데이트하고(214, 216), 업데이트된 상기 증강 현실 콘텐츠의 위치 및 자세 정보를 이용하여 상기 증강 현실 콘텐츠를 상기 입력된 영상과 합성하여 출력한다(208). 구체적인 6축 센서부(110)를 이용한 증강 현실 콘텐츠의 위치 및 자세 업데이트 방법에 대해서는 도 1에서 설명한 바와 동일하다.
이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다.
그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
102 : 영상 입력부 104 : 마커 인식부
106 : 계산부 108 : 영상 출력부
110 : 6축 센서부

Claims (6)

  1. 증강 현실 콘텐츠 추적 장치에서, 입력된 영상으로부터 증강 현실 마커를 인식하고, 인식된 상기 증강 현실 마커의 위치 및 자세를 계산하는 단계;
    상기 증강 현실 콘텐츠 추적 장치에서, 계산된 상기 증강 현실 마커의 위치 및 자세 정보를 이용하여 상기 증강 현실 마커와 대응되는 증강 현실 콘텐츠의 위치 및 자세를 계산하는 단계;
    상기 증강 현실 콘텐츠 추적 장치에서, 계산된 상기 증강 현실 콘텐츠의 위치 및 자세 정보를 이용하여 상기 증강 현실 콘텐츠를 상기 입력된 영상과 합성하여 출력하는 단계;
    상기 증강 현실 콘텐츠 추적 장치에서, 상기 입력된 영상에서 상기 증강 현실 마커가 인식되지 않는 경우, 상기 증강 현실 콘텐츠 추적 장치에 포함된 6축 센서를 이용하여 상기 증강 현실 콘텐츠의 위치 및 자세를 업데이트하는 단계; 및
    상기 증강 현실 콘텐츠 추적 장치에서, 업데이트된 상기 증강 현실 콘텐츠의 위치 및 자세 정보를 이용하여 상기 증강 현실 콘텐츠를 상기 입력된 영상과 합성하여 출력하는 단계;
    를 포함하는 증강 현실 콘텐츠 추적 방법.
  2. 청구항 1에 있어서,
    상기 증강 현실 콘텐츠의 위치 및 자세를 업데이트하는 단계는,
    상기 입력된 영상에서 상기 증강 현실 마커가 마지막으로 인식된 시점에서의 상기 증강 현실 콘텐츠의 위치 및 자세 정보를 최초값으로 저장하는 단계;
    상기 입력된 영상에서 상기 증강 현실 마커가 마지막으로 인식된 시점에서부터의 상기 6축 센서의 위치 및 자세 변화량을 계산하는 단계; 및
    계산된 상기 6축 센서의 위치 및 자세 변화량 및 상기 최초값을 이용하여 상기 증강 현실 콘텐츠의 위치 및 자세를 업데이트하는 단계;
    를 더 포함하는 증강 현실 콘텐츠 추적 방법.
  3. 청구항 2에 있어서,
    상기 6축 센서의 위치 및 자세 변화량은 상기 6축 센서에서 측정된 3차원 이동량 및 3차원 회전량을 포함하는, 증강 현실 콘텐츠 추적 방법.
  4. 증강 현실 콘텐츠 추적 장치로서,
    입력된 영상으로부터 증강 현실 마커를 인식하는 마커 인식부;
    인식된 상기 증강 현실 마커의 위치 및 자세 정보를 이용하여 상기 증강 현실 마커와 대응되는 증강 현실 콘텐츠의 위치 및 자세를 계산하는 계산부;
    계산된 상기 증강 현실 콘텐츠의 위치 및 자세 정보를 이용하여 상기 증강 현실 콘텐츠를 상기 입력된 영상과 합성하여 출력하는 영상 출력부; 및
    상기 증강 현실 콘텐츠 추적 장치의 위치 및 자세 변화를 측정하는 6축 센서부;를 포함하며,
    상기 계산부는, 상기 입력된 영상에서 상기 증강 현실 마커가 인식되지 않는 경우, 상기 6축 센서부를 이용하여 상기 증강 현실 콘텐츠의 위치 및 자세를 업데이트하고, 상기 영상 출력부는 업데이트된 상기 증강 현실 콘텐츠의 위치 및 자세 정보를 이용하여 상기 증강 현실 콘텐츠를 상기 입력된 영상과 합성하여 출력하는, 증강 현실 콘텐츠 추적 장치.
  5. 청구항 4에 있어서,
    상기 계산부는,
    상기 입력된 영상에서 상기 증강 현실 마커가 마지막으로 인식된 시점에서의 상기 증강 현실 콘텐츠의 위치 및 자세 정보를 최초값으로 저장하고, 상기 입력된 영상에서 상기 증강 현실 마커가 마지막으로 인식된 시점에서부터의 상기 6축 센서부의 위치 및 자세 변화량을 계산하며, 계산된 상기 6축 센서의 위치 및 자세 변화량 및 상기 최초값을 이용하여 상기 증강 현실 콘텐츠의 위치 및 자세를 업데이트하는, 증강 현실 콘텐츠 추적 장치.
  6. 청구항 5에 있어서,
    상기 6축 센서의 위치 및 자세 변화량은 상기 6축 센서에서 측정된 3차원 이동량 및 3차원 회전량을 포함하는, 증강 현실 콘텐츠 추적 장치.
KR1020110029561A 2011-03-31 2011-03-31 모바일 센서를 이용한 증강 현실 콘텐츠 추적 장치 및 방법 KR101056418B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020110029561A KR101056418B1 (ko) 2011-03-31 2011-03-31 모바일 센서를 이용한 증강 현실 콘텐츠 추적 장치 및 방법
US13/396,862 US8648879B2 (en) 2011-03-31 2012-02-15 Apparatus and method for tracking augmented reality content
PCT/KR2012/001654 WO2012134069A2 (ko) 2011-03-31 2012-03-07 모바일 센서를 이용한 증강 현실 콘텐츠 추적 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110029561A KR101056418B1 (ko) 2011-03-31 2011-03-31 모바일 센서를 이용한 증강 현실 콘텐츠 추적 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101056418B1 true KR101056418B1 (ko) 2011-08-11

Family

ID=44933217

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110029561A KR101056418B1 (ko) 2011-03-31 2011-03-31 모바일 센서를 이용한 증강 현실 콘텐츠 추적 장치 및 방법

Country Status (3)

Country Link
US (1) US8648879B2 (ko)
KR (1) KR101056418B1 (ko)
WO (1) WO2012134069A2 (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101281314B1 (ko) * 2013-02-18 2013-07-03 구덕회 증강현실시스템 및 증강현실구현방법
WO2013141562A1 (en) * 2012-03-23 2013-09-26 Samsung Electronics Co., Ltd. Method and apparatus for processing media file for augmented reality service
GB2502946A (en) * 2012-04-13 2013-12-18 Blippar Com Ltd Maintaining augmented reality image when marker leaves field of view
CN104160426A (zh) * 2012-02-22 2014-11-19 株式会社微网 图像处理装置和图像处理方法
KR20140133640A (ko) * 2013-05-09 2014-11-20 삼성전자주식회사 증강 현실 정보를 포함하는 콘텐츠 제공 방법 및 장치
KR20150058617A (ko) * 2013-11-18 2015-05-29 순천대학교 산학협력단 모바일 증강현실 기반의 설계도면 3차원 모델 시각화 시스템 및 그 방법
KR101908991B1 (ko) * 2017-05-22 2018-12-19 주식회사 엠코코아 증강현실 구현 장치
WO2019190027A1 (ko) * 2018-03-28 2019-10-03 강원철 헤드 마운트 디스플레이를 활용한 가상현실 기반의 유영 시스템
KR20210090438A (ko) 2020-01-10 2021-07-20 (주)얼라이브엔터테인먼트 코드 추출을 통한 영상 콘텐츠 오버래핑 시스템

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9514570B2 (en) 2012-07-26 2016-12-06 Qualcomm Incorporated Augmentation of tangible objects as user interface controller
US9589000B2 (en) 2012-08-30 2017-03-07 Atheer, Inc. Method and apparatus for content association and history tracking in virtual and augmented reality
US20140270477A1 (en) * 2013-03-14 2014-09-18 Jonathan Coon Systems and methods for displaying a three-dimensional model from a photogrammetric scan
KR20150025114A (ko) * 2013-08-28 2015-03-10 엘지전자 주식회사 증강현실 이미지를 디스플레이하는 포터블 디바이스 및 그 제어 방법
KR102165444B1 (ko) * 2013-08-28 2020-10-14 엘지전자 주식회사 증강현실 이미지를 디스플레이하는 포터블 디바이스 및 그 제어 방법
US9536352B2 (en) * 2014-03-27 2017-01-03 Intel Corporation Imitating physical subjects in photos and videos with augmented reality virtual objects
JP6467039B2 (ja) * 2015-05-21 2019-02-06 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
KR102254709B1 (ko) * 2017-01-09 2021-05-24 스냅 인코포레이티드 증강 현실 객체 조작
KR20180101746A (ko) * 2017-03-06 2018-09-14 삼성전자주식회사 증강 현실 컨텐츠를 제공하기 위한 방법, 전자 기기 및 시스템
CN109410299B (zh) * 2017-08-15 2022-03-11 腾讯科技（深圳）有限公司 一种信息处理方法、装置和计算机存储介质
CN109658514B (zh) * 2017-10-11 2022-03-11 腾讯科技（深圳）有限公司 一种数据处理方法、装置和计算机存储介质
US10692289B2 (en) 2017-11-22 2020-06-23 Google Llc Positional recognition for augmented reality environment
JP6950669B2 (ja) * 2018-12-06 2021-10-13 セイコーエプソン株式会社 表示装置の制御方法、表示装置、及び、表示システム
US11151792B2 (en) 2019-04-26 2021-10-19 Google Llc System and method for creating persistent mappings in augmented reality
US11163997B2 (en) 2019-05-05 2021-11-02 Google Llc Methods and apparatus for venue based augmented reality

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006313549A (ja) 2005-05-03 2006-11-16 Seac02 Srl 実マーカオブジェクトを識別する拡張現実システム
KR20090087807A (ko) * 2008-02-13 2009-08-18 세종대학교산학협력단 증강 현실을 구현하는 방법 및 이를 이용하는 장치
KR101010904B1 (ko) 2009-02-26 2011-01-25 인천대학교 산학협력단 마커를 사용하지 않는 증강공간 제공 장치

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2911707B1 (fr) * 2007-01-22 2009-07-10 Total Immersion Sa Procede et dispositifs de realite augmentee utilisant un suivi automatique, en temps reel, d'objets geometriques planaires textures, sans marqueur, dans un flux video.
KR100957189B1 (ko) * 2008-02-13 2010-05-11 광주과학기술원 심플 프레임 마커를 이용하는 증강현실 시스템 및 그 방법,상기 방법을 구현하는 프로그램이 기록된 기록매체
KR101522842B1 (ko) * 2008-07-10 2015-06-25 인텔렉추얼디스커버리 주식회사 이미지 및 문자를 인식하는 심플 프레임 마커를 구비하는 증강현실 시스템과 그 장치, 및 상기 시스템 또는 상기 장치를 이용한 증강현실 구현방법
KR100971667B1 (ko) * 2008-12-11 2010-07-22 인천대학교 산학협력단 증강 책을 통한 실감 콘텐츠를 제공하는 방법 및 장치
US8854356B2 (en) * 2010-09-28 2014-10-07 Nintendo Co., Ltd. Storage medium having stored therein image processing program, image processing apparatus, image processing system, and image processing method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006313549A (ja) 2005-05-03 2006-11-16 Seac02 Srl 実マーカオブジェクトを識別する拡張現実システム
KR20090087807A (ko) * 2008-02-13 2009-08-18 세종대학교산학협력단 증강 현실을 구현하는 방법 및 이를 이용하는 장치
KR101010904B1 (ko) 2009-02-26 2011-01-25 인천대학교 산학협력단 마커를 사용하지 않는 증강공간 제공 장치

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104160426A (zh) * 2012-02-22 2014-11-19 株式会社微网 图像处理装置和图像处理方法
CN104160426B (zh) * 2012-02-22 2017-03-15 株式会社微网 图像处理装置和图像处理方法
US9501872B2 (en) 2012-02-22 2016-11-22 Micronet Co., Ltd. AR image processing apparatus and method technical field
US9224246B2 (en) 2012-03-23 2015-12-29 Samsung Electronics Co., Ltd. Method and apparatus for processing media file for augmented reality service
WO2013141562A1 (en) * 2012-03-23 2013-09-26 Samsung Electronics Co., Ltd. Method and apparatus for processing media file for augmented reality service
KR101887548B1 (ko) * 2012-03-23 2018-08-10 삼성전자주식회사 증강현실 서비스를 위한 미디어 파일의 처리 방법 및 장치
KR20130107917A (ko) * 2012-03-23 2013-10-02 삼성전자주식회사 증강현실 서비스를 위한 미디어 파일의 처리 방법 및 장치
EP2829055A4 (en) * 2012-03-23 2015-10-28 Samsung Electronics Co Ltd METHOD AND DEVICE FOR PROCESSING MEDIA FILES FOR AN EXTENDED REALITY SERVICE
GB2502946A (en) * 2012-04-13 2013-12-18 Blippar Com Ltd Maintaining augmented reality image when marker leaves field of view
KR101281314B1 (ko) * 2013-02-18 2013-07-03 구덕회 증강현실시스템 및 증강현실구현방법
KR20140133640A (ko) * 2013-05-09 2014-11-20 삼성전자주식회사 증강 현실 정보를 포함하는 콘텐츠 제공 방법 및 장치
KR102077305B1 (ko) 2013-05-09 2020-02-14 삼성전자 주식회사 증강 현실 정보를 포함하는 콘텐츠 제공 방법 및 장치
KR20150058617A (ko) * 2013-11-18 2015-05-29 순천대학교 산학협력단 모바일 증강현실 기반의 설계도면 3차원 모델 시각화 시스템 및 그 방법
KR102178975B1 (ko) 2013-11-18 2020-11-13 순천대학교 산학협력단 모바일 증강현실 기반의 설계도면 3차원 모델 시각화 시스템 및 그 방법
KR101908991B1 (ko) * 2017-05-22 2018-12-19 주식회사 엠코코아 증강현실 구현 장치
WO2019190027A1 (ko) * 2018-03-28 2019-10-03 강원철 헤드 마운트 디스플레이를 활용한 가상현실 기반의 유영 시스템
KR20210090438A (ko) 2020-01-10 2021-07-20 (주)얼라이브엔터테인먼트 코드 추출을 통한 영상 콘텐츠 오버래핑 시스템

Also Published As

Publication number Publication date
US20120249528A1 (en) 2012-10-04
US8648879B2 (en) 2014-02-11
WO2012134069A3 (ko) 2012-11-29
WO2012134069A2 (ko) 2012-10-04

Similar Documents

Publication Publication Date Title
KR101056418B1 (ko) 모바일 센서를 이용한 증강 현실 콘텐츠 추적 장치 및 방법
US10499002B2 (en) Information processing apparatus and information processing method
TWI574223B (zh) 運用擴增實境技術之導航系統
US10217288B2 (en) Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor
US11481982B2 (en) In situ creation of planar natural feature targets
US10942024B2 (en) Information processing apparatus, information processing method, and recording medium
EP2915140B1 (en) Fast initialization for monocular visual slam
KR101334049B1 (ko) 증강 현실 기반 사용자 인터페이스 제공 장치 및 방법
US9497389B2 (en) Information processing device, information processing method, and program for reduction of noise effects on a reference point
WO2013035758A1 (ja) 情報表示システム、情報表示方法、及び記憶媒体
US20150205484A1 (en) Three-dimensional user interface apparatus and three-dimensional operation method
JP2015532077A (ja) 少なくとも１つの画像を撮影する撮影装置に関連する装置の位置及び方向の決定方法
EP2396767A2 (en) Methods and systems for determining the pose of a camera with respect to at least one object of a real environment
EP3014581A2 (en) Space carving based on human physical data
CN104160426A (zh) 图像处理装置和图像处理方法
US11127156B2 (en) Method of device tracking, terminal device, and storage medium
CN110895676B (zh) 动态对象跟踪
WO2023071381A1 (zh) 虚实融合方法、装置、设备、存储介质及程序产品
US20230316677A1 (en) Methods, devices, apparatuses, and storage media for virtualization of input devices
TWM560099U (zh) 運用擴增實境技術之室內精確導航系統
TWI793390B (zh) 資訊顯示方法及其處理裝置與顯示系統
KR101253644B1 (ko) 위치 정보를 이용한 증강 현실 콘텐츠 출력 장치 및 방법
JP2009258884A (ja) ユーザインタフェイス
CN113610702A (zh) 一种建图方法、装置、电子设备及存储介质
KR20140125596A (ko) 이동형 증강현실 제공 장치 및 그 방법

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140730

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150710

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160616

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170724

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190528

Year of fee payment: 9