KR101914660B1 - 자이로 센서를 기반으로 증강현실 컨텐츠의 표시를 제어하는 방법 및 그 장치 - Google Patents

자이로 센서를 기반으로 증강현실 컨텐츠의 표시를 제어하는 방법 및 그 장치 Download PDF

Info

Publication number
KR101914660B1
KR101914660B1 KR1020160162191A KR20160162191A KR101914660B1 KR 101914660 B1 KR101914660 B1 KR 101914660B1 KR 1020160162191 A KR1020160162191 A KR 1020160162191A KR 20160162191 A KR20160162191 A KR 20160162191A KR 101914660 B1 KR101914660 B1 KR 101914660B1
Authority
KR
South Korea
Prior art keywords
augmented reality
image
reality contents
marker
contents
Prior art date
Application number
KR1020160162191A
Other languages
English (en)
Other versions
KR20180062187A (ko
Inventor
한준환
Original Assignee
스마트한 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 스마트한 주식회사 filed Critical 스마트한 주식회사
Priority to KR1020160162191A priority Critical patent/KR101914660B1/ko
Publication of KR20180062187A publication Critical patent/KR20180062187A/ko
Application granted granted Critical
Publication of KR101914660B1 publication Critical patent/KR101914660B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/44—Browsing; Visualisation therefor
    • G06F16/444—Spatial browsing, e.g. 2D maps, 3D or virtual spaces
    • G06F17/30061—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 자이로 센서를 기반으로 증강현실 컨텐츠의 표시를 제어하는 방법 및 그 장치에 관한 것이다.
보다 구체적으로 본 발명의 일실시예에 따르면, 실제 공간에 대한 영상을 카메라를 통해 입력받는 단계, 상기 실제 공간에 대한 영상에 포함된 마커를 추출하여 인식하는 단계, 상기 인식된 마커 정보에 대응되는 증강현실 컨텐츠를 미리 저장된 데이터베이스를 탐색하여 결정하는 단계, 상기 마커를 인식한 시점에 상기 자이로 센서에 의해 식별된 상기 증강현실 장치의 3차원 좌표를 중심으로 상기 증강현실 장치의 정면 방향 및 상기 정면 방향에 대한 수직 각도를 확인하는 단계, 상기 결정된 증강현실 컨텐츠가 상기 실제 공간에 대한 영상 내에서 상기 증강현실 장치의 정면 방향 및 상기 정면 방향에 대한 수직 각도로 표시되도록 상기 결정된 증강현실 컨텐츠를 변환하는 단계 및 상기 변환된 증강현실 컨텐츠를 상기 실제 공간에 대한 영상에 합성하여 디스플레이하는 단계를 포함하여 이루어하여 이루어질 수 있다.

Description

자이로 센서를 기반으로 증강현실 컨텐츠의 표시를 제어하는 방법 및 그 장치{METHOD AND APPARATUS FOR CONTROLLING DISPLAYING OF AUGMENTED REALITY CONTENTS BASED ON GYRO SENSOR}
본 발명은 자이로 센서를 기반으로 증강현실 컨텐츠의 표시를 제어하는 방법 및 그 장치에 관한 것으로서, 보다 구체적으로는 자이로 센서를 통해 증강현실 장치의 수직 또는 수평 정보를 포함하는 3차원 좌표 정보를 인식하되, 상기 인식된 좌표 정보를 이용하여 증강현실 컨텐츠를 상기 증강현실 장치의 정면 시점으로 표시되도록 제어하는 방법 및 그 장치에 관한 것이다.
최근 들어, 영상 분야의 비약적인 발전으로 인해 다양한 영상 기술이 개발 및 응용되고 있으며, 특히, 컴퓨터 또는 사용자 단말을 통해 가상 현실 또는 증강 현실 영상을 재생하고 관람하는 기술이 등장하고 있다.
여기에서, 가상 현실(Virtual Reality: VR)이라 함은 실제 현실은 아니지만 사용자가 현실과 같은 환경을 3차원적인 시각(Sight)을 통해 경험할 수 있는 시뮬레이션 기술을 의미하며, 증강 현실(Augmented Reality: AR)이라 함은 사용자가 눈으로 보는 현실세계에 증강현실 컨텐츠(또는 가상의 오브젝트(Object))를 겹쳐 보여주는 시뮬레이션 기술을 의미한다. 증강 현실은, 현실세계에 실시간으로 부가정보를 갖는 증강현실 컨텐츠를 합쳐 하나의 영상으로 보여주는 특징으로 인해 흔히 혼합 현실(Mixed Reality: MR)이라고도 불리운다.
앞서 설명한 가상 현실과 증강 현실은 서로 비슷한 듯 하지만 그 주체가 허상이냐 실상이냐에 따라 명확히 구분될 수 있다.
컴퓨터 격투 게임을 예로 들어 양자를 비교 설명하면, 가상 현실 게임은 나를 대신하는 캐릭터가 가상의 공간에서 가상의 적과 대결하지만, 증강 현실 게임은 현실의 내가 현실의 공간에서 가상의 적과 대결을 벌이는 형태가 된다. 그에 따라, 증강 현실 기술을 이용할 경우 현실에 실제로 존재하지 않는 가상 캐릭터 등이 화면상으로는 실제로 존재하는 것처럼 보여질 수 있다.
따라서, 이러한 증강 현실 기술은 가상의 환경만으로 구성된 가상 현실 기술과는 달리, 실제 환경과 증강현실 컨텐츠가 혼합된 영상이 사용자에게 제공되는 것이므로, 사용자로서는 증강현실 컨텐츠를 실제 환경과 함께 볼 수 있어 가상의 환경만으로 구성된 가상 현실과 비교할 때 보다 나은 현실감과 부가 정보가 제공된다는 장점이 존재하고 있다.
과거 또는 현재의 증강 현실은, 카메라로부터 촬영되는 영상으로부터 실제 영상과 함께 증강 현실 마커를 감지하되, 상기 감지된 마커에 대응되는 증강현실 컨텐츠를 상기 실제 영상에 합성하여 출력하는 방법으로 실현되고 있다.
즉, 과거 또는 현재의 증강 현실 기술은, 증강현실 컨텐츠를 화면상에 나타내기 위해, 카메라로부터 입력되는 영상 내 마커를 인지하고, 마커의 종류 및 위치 등에 대응되도록 증강현실 컨텐츠의 크기, 위치, 형태 등을 계산하여 계산된 위치에 상기 증강현실 컨텐츠를 상기 영상과 합성하고 있다.
그런데, 이와 같은 과거 또는 현재의 마커 방식 증강 현실 기술의 경우, 마커가 수평 면에 놓여 있건 수직 벽면에 붙어있건 간에 마커의 존재만을 인식할 뿐 그것의 위치감을 포함하는 지형정보는 3차원적으로 인식하지 못한다는 문제점이 존재하고 있다.
이에 따라 과거 또는 현재의 증강 현실 기술은, 증강현실 장치를 통해 수직 벽면에 붙어있는 마커를 인식시키더라도, 상기 증강현실 컨텐츠가 상기 증강현실 장치를 기준으로 할 때 정면 방향으로 표시되는 것이 아니라 미리 설정된 방향을 갖도록 상기 증강현실 컨텐츠가 표시된다는 문제점이 존재한다.
이와 같이, 상기 증강현실 컨텐츠가 상기 증강현실 장치를 기준으로 할 때 정면 객체로서 표현되지 않는 경우, 카메라 영상 내 실제 사물과 증강현실 컨텐츠 간에 정확한 공간적 매칭이 이루어지지 않아 사실감 저하 및 그에 따른 사용자의 흥미 저하 유발이 추가적인 문제점으로 대두되고 있다.
따라서, 위와 같은 문제점을 해결하기 위한 방법이 요구되고 있는 실정이다.
한국공개특허공보 10-2011-0136041 (공개일: 2011년 12월 21일)
본 발명의 목적은, 상기 문제점을 해결할 수 있도록 자이로 센서를 기반으로 증강현실 컨텐츠의 표시를 제어하는 방법을 제공하는데 있다.
본 발명의 다른 목적은, 자이로 센서를 통해 증강현실 장치의 수직 정보 또는 수평 정보를 포함하는 3차원 좌표 정보를 인식하되, 상기 인식된 3차원 좌표 정보를 이용하여 증강현실 컨텐츠를 상기 증강현실 장치의 정면 시점으로 표시되도록 제어하는 방법을 제공하는데 있다.
본 발명의 또 다른 목적은, 위와 같은 방법을 실현시키기 위한 장치를 제공하는데 있다.
본 발명에서 이루고자 하는 기술적 과제들은 상기 기술적 과제로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상술한 문제점을 해결하기 위한 본 발명의 일실시예에 따른 증강현실 장치가 자이로 센서를 기반으로 증강현실 컨텐츠의 표시를 제어하는 방법은, 실제 공간에 대한 영상을 카메라를 통해 입력받는 단계, 상기 실제 공간에 대한 영상에 포함된 마커를 추출하여 인식하는 단계, 상기 인식된 마커 정보에 대응되는 증강현실 컨텐츠를 미리 저장된 데이터베이스를 탐색하여 결정하는 단계, 상기 마커를 인식한 시점에 상기 자이로 센서에 의해 식별된 상기 증강현실 장치의 3차원 좌표를 중심으로 상기 증강현실 장치의 정면 방향 및 상기 정면 방향에 대한 수직 각도를 확인하는 단계, 상기 결정된 증강현실 컨텐츠가 상기 실제 공간에 대한 영상 내에서 상기 증강현실 장치의 정면 방향 및 상기 정면 방향에 대한 수직 각도로 표시되도록 상기 결정된 증강현실 컨텐츠를 변환하는 단계 및 상기 변환된 증강현실 컨텐츠를 상기 실제 공간에 대한 영상에 합성하여 디스플레이하는 단계를 포함하여 이루어질 수 있다.
본 발명의 일실시예에 따른 증강현실 장치가 자이로 센서를 기반으로 증강현실 컨텐츠의 표시를 제어하는 방법에 있어서, 상기 변환된 증강현실 컨텐츠를 디스플레이 하는 중, 상기 증강현실 장치의 움직임으로 인해 상기 증강현실 장치의 정면 방향 및 상기 정면 방향에 대한 수직 각도가 미리 정해진 범위 이상 변경된 경우, 상기 변경된 정면 방향 및 수직 각도를 확인하되, 이를 기반으로 상기 증강현실 컨텐츠를 변환하여 표시할 수 있다.
본 발명의 일실시예에 따른 증강현실 장치가 자이로 센서를 기반으로 증강현실 컨텐츠의 표시를 제어하는 방법에 있어서, 상기 실제 공간에 대한 영상에 포함된 마커를 추출하여 인식하는 단계는, 상기 마커를 이루고 있는 범위에 대한 RGB 정보 및 픽셀 정보를 인식하는 단계를 더 포함하되, 상기 결정된 증강현실 컨텐츠를 변환하는 단계는, 상기 증강현실 컨텐츠가 상기 마커를 이루고 있는 범위 내의 컬러 정보를 반영하여 표시되도록 상기 인식된 RGB 정보 및 픽셀 정보를 기반으로 상기 증강현실 컨텐츠를 변환할 수 있다.
본 발명의 일실시예에 따른 증강현실 장치가 자이로 센서를 기반으로 증강현실 컨텐츠의 표시를 제어하는 방법에 있어서, 상기 실제 공간에 대한 영상에 포함된 마커를 추출하여 인식하는 단계는, 상기 마커 이외의 식별 코드를 인삭하는 단계를 더 포함하되, 상기 인식된 식별 코드가 미리 정해진 식별 코드인 경우에 한해 상기 증강현실 컨텐츠를 상기 실제 공간에 대한 영상에 합성하여 디스플레이할 수 있다.
본 발명의 일실시예에 따른 증강현실 장치가 자이로 센서를 기반으로 증강현실 컨텐츠의 표시를 제어하는 방법에 있어서, 상기 자이로 센서에 의해 식별된 상기 증강현실 장치의 3차원 좌표는, 롤(roll), 피치(pitch) 또는 요우(yaw) 중 적어도 하나 이상을 포함하여 이루어질 수 있다.
상기와 같은 본 발명에 따르면 아래에 기재된 효과를 얻을 수 있다. 다만, 본 발명을 통해 얻을 수 있는 효과는 이에 제한되지 않는다.
첫째, 본 발명에 따르면 자이로 센서를 기반으로 증강현실 컨텐츠의 표시를 제어하는 방법이 제공될 수 있는 효과가 있다.
둘째, 본 발명에 따르면 자이로 센서를 통해 증강현실 장치의 수직 정보 EH는 수평 정보를 포함하는 3차원 좌표 정보를 인식하되, 상기 인식된 3차원 좌표 정보를 이용하여 증강현실 컨텐츠를 상기 증강현실 장치의 정면 시점으로 표시되도록 제어하는 방법이 제공될 수 있는 효과가 있다.
셋째, 본 발명에 따르면 위와 같은 방법을 실현시키기 위한 장치가 제공될 수 있는 효과가 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명이 적용될 수 있는 증강현실 장치의 구성을 예시하는 도면이다.
도 2는 본 발명의 일실시예에 따라 자이로 센서를 기반으로 증강현실 컨텐츠의 표시를 제어하는 과정을 설명하기 위한 도면이다.
도 3은 증강현실 컨텐츠가 증강현실 장치의 정면 방향 및 상기 정면 방향에 대한 수직 각도로 표시되지 않는 모습을 설명하기 위한 도면이다.
도 4는 본 발명의 일실시예에 따라 증강현실 컨텐츠가 증강현실 장치의 정면 방향 및 상기 정면 방향에 대한 수직 각도로 표시된 일례를 나타내기 위한 도면이다.
이하, 본 발명에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다.
단지 본 실시예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전히 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
몇몇의 경우, 본 발명의 개념이 모호해지는 것을 피하기 위하여 공지의 구조 및 장치는 생략되거나, 각 구조 및 장치의 핵심기능을 중심으로 한 블록도 형식으로 도시될 수 있다. 또한, 본 명세서 전체에서 동일한 구성요소에 대해서는 동일한 도면 부호를 사용하여 설명한다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함(comprising 또는 including)"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
또한, 명세서에 기재된 "…부" 의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 나아가, "일(a 또는 an)", "하나(one)", 및 유사 관련어는 본 발명을 기술하는 문맥에 있어서 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.
아울러, 본 발명의 실시예들에서 사용되는 특정(特定) 용어들은 본 발명의 이해를 돕기 위해서 제공된 것이며, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 이러한 특정 용어의 사용은 본 발명의 기술적 사상을 벗어나지 않는 범위에서 다른 형태로 변경될 수 있다.
이하, 본 발명에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다.
도 1은 본 발명이 적용될 수 있는 증강현실 장치의 구성을 예시하는 도면이다.
도 1을 참고하면, 본 발명이 적용될 수 있는 증강현실 장치는, 카메라부(100), 제어부(200), 마커인식부(300), 이미지 처리부(400) 및 디스플레이부(500)를 포함하여 이루어질 수 있다.
다만, 이하에서 언급되는 증강현실 장치는 도 1에 도시된 구성요소들 중 적어도 하나를 포함하나, 반드시 이에 한정되는 것은 아니다.
상기 증강현실 장치(1000)는 예를들어, '증강현실 어플리케이션(Application)' 또는 ‘증강현실 프로그램’이 실행되는 모바일 클라이언트가 될 수 있으며, 예를 들어, WCDMA, LTE와 같은 이동 통신망을 이용하는 통상의 스마트폰, 스마트패드, VR(Virtual Reality), AR(Augmented Reality) 장치, PC(Personal Computer), 노트북 컴퓨터, 태블릿 PC(Tablet Personal Computer), 단말 장치, 휴대폰, 이동 단말, 모바일 단말, 터미널(Terminal), MS(Mobile Station), MSS(Mobile Subscriber Station), SS(Subscriber Station), AMS(Advanced Mobile Station), WT(Wireless terminal), MTC(Machine-Type Communication) 장치, M2M(Machine-to-Machine) 장치, D2D 장치(Device-to-Device) 장치를 포함하는 개념으로 해석될 수 있다.
이 때, 상기 증강현실 어플리케이션 또는 증강현실 프로그램은, 증강현실 서비스의 운영자가 다양한 증강현실 서비스의 제공을 목적으로 하여 배포하는 것으로서, 예를 들어, 통상의 앱 스토어 서버(도면 미도시)를 통해 배포할 수 있다. 어플리케이션 또는 프로그램은 모바일 OS제조사에서 제공하는 개발언어를 이용하여 해당 모바일 기기에서만 동작되는 응용 프로그램을 말한다. 상기 어플리케이션 또는 프로그램의 경우, 장치가 제공하는 하드웨어적 기능을 지원 받아 다양한 기능의 구현이 가능하다.
다만, 상기 증강현실 장치는 반드시 모바일 클라이언트로 구성될 필요는 없으며, 카메라 및 디스플레이를 구비한 일반적인 PC(Personal Computer) 또는 이와 동등한 컴퓨팅 수단이면 어느 것이나 이용될 수 있다.
상기 카메라부(100)는 실제 공간에 대한 영상을 입력받을 수 있으며, 모노 카메라를 포함하는 통상적인 카메라일 수 있으며, 증강현실 컨텐츠(또는 증강현실 컨텐츠)를 구현하기 위한 실제 공간을 촬영하기 위해 현재까지 개발되었거나 앞으로 개발될 다양한 영상 촬영 기능을 갖는 장치를 포함하는 개념으로 해석될 수 있다.
본 발명의 증강현실 장치는 마커 인식부(300) 및 이미지 처리부(400)를 포함하여 이루어질 수 있으며, 상기 마커 인식부(300)는 상기 카메라부(100)를 통해 입력된 영상으로부터 마커를 인식하는 기능을 수행할 수 있으며, 보다 구체적으로 상기 카메라부(100)에 의해 입력된 영상 내 픽셀 데이터 정보를 기반으로 마커 정보를 인식하되, 상기 인식된 마커 정보에 대응되는 증강현실 컨텐츠를 미리 저장된 데이터베이스를 탐색하여 결정할 수 있다.
이 때, 상기 데이터베이스는 증강현실을 위한 각 마커의 고유 인식 정보 및/또는 이에 대응하는 증강현실 컨텐츠에 대한 정보를 미리 저장하고 있을 수 있다.
또한, 상기 이미지 처리부(400)는 상기 카메라부(100)에 의해 입력된 영상에, 상기 마커인식부(300)를 통해 결정된 증강현실 컨텐츠를 포함하는 변환을 수행할 수 있다.
본 발명의 증강현실 장치는 증강현실 인터페이스 및 그와 관련된 정보(예를 들어, 실제 공간에 대한 영상 및/또는 증강현실 컨텐츠 등)를 표시하거나, UI(User Interface) 또는 GUI(Graphic User Interface) 등을 디스플레이(또는 표시)하는 디스플레이부(500)를 상기 장치의 내부 또는 외부에 포함할 수 있다.
상기 디스플레이부(500)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중 적어도 어느 하나로 구현될 수도 있으며, 구현 형태에 따라 디스플레이부가 2개 이상 존재할 수도 있다. 예를 들어, 단말(200)에는 외부 디스플레이부와 내부 디스플레이부가 동시에 구비될 수도 있다.
또한, 증강현실 장치는 제어부(200)를 더 포함할 수 있으며, 제어부는 각종 데이터 또는 신호에 대한 처리를 수행하거나 혹은 상기 데이터 또는 신호를 기반으로 증강현실 인터페이스 및/또는 컨텐츠에 대한 제어를 수행할 수 있다.
본 발명에서 상기 제어부(200)는. 상기 카메라부(100)를 통해 입력된 실제 공간에 대한 영상의 픽셀 데이터 정보를 추출할 수 있으며, 앞서 언급한 상기 카메라부(100), 상기 마커 인식부(300), 이미지 처리부(400) 및 디스플레이부(500) 각각이 올바르게 동작을 수행할 수 있도록 이들 각각에 대한 제어를 수행할 수 있다.
상기 제어부는 프로세서(Processor), 컨트롤러(controller), 마이크로 컨트롤러(microcontroller), 마이크로 프로세서(microprocessor), 마이크로 컴퓨터(microcomputer) 등으로도 호칭될 수 있으며, 상기 제어부는 하드웨어(hardware) 또는 펌웨어(firmware), 소프트웨어 또는 이들의 결합에 의해 구현될 수 있다.
필요한 경우 상기 증강현실 장치는 메모리부를 더 포함할 수 있으며, 상기 제어부(200)는 데이터 또는 신호를 상기 메모리부에 저장할 수도 있으며, 상기 메모리부는 상기 제어부(200)에 연결되어 오퍼레이팅 시스템(operating system), 어플리케이션, 및 일반 파일(general files)들 또한 저장할 수 있다.
한편, 본 발명의 일실시예에 따라 상기 디스플레이부(500)를 비롯한 다양한 장치를 포함하는 상기 증강현실 장치는, 사용자에게 다양한 시청각 자극을 제공하기 위한 다양한 입출력부를 추가적으로 더 포함할 수도 있다.
보다 구체적으로, 상기 증강현실 장치는 사용자 입력부(예를 들어, 카메라, 키보드, 마우스, 조이스틱, 터치 센서 등)와 같은 일반적/표준적인 영상, 신호 입력 장치를 내부 또는 외부에 포함할 수 있으며, 그 외에도 입력 장치인, 자이로 변화, 가속도 변화 등을 이용하여 사용자가 모션으로서 소정의 신호를 물리적으로 입력할 수 있는 물리기반센서 등을 포함하거나 혹은 유/무선 기술을 통해 연결 또는 결합될 수 있다.
아울러, 상기 디스플레이부(500)의 경우, 다양한 증강현실 컨텐츠의 시각화를 사용자에게 제공할 수 있으며, 그 뿐만 아니라 사용자에게 입체감 있는 증강현실 컨텐츠를 제공하되 현실감 있는 시청각 자극을 제공할 수 있도록, 현재 개발되었거나 향후 개발될 다양한 출력장치(예를 들어, 디스플레이 장치, 음향 장치 등)를 더 포함하고 있을 수 있다.
본 발명의 증강현실 장치는, 도 1에 도시되어 있지는 않으나 물리기반센서를 더 포함할 수 있으며, 상기 물리기반센서는 가속도 센서, 자이로 센서, 중력 센서, 자기 센서 또는 온도 센서 중 적어도 하나 이상을 포함하여 이루어질 수 있다.
이 때, 상기 가속도 센서는 지면을 중심으로 상기 증강현실 장치가 얼마만큼 기울어져 있는지를 측정할 수 있다. 상기 가속도 센서는 어느 한 방향의 가속도 변화에 대해서 이를 전기 신호로 바꾸어 주는 소자로서, MEMS(micro-electromechanical systems) 기술의 발달과 더불어 널리 사용되고 있으며, 상기 가속도 센서는 중력가속도의 변화를 인식하는 중력 센서를 포함할 수 있다.
한편, 상기 가속도 센서는 액티브센싱(Active Sensing)이 가능한 블루투스 4.2와 같이 블루투스 4.0 이후의 비콘(BLE)을 함께 사용할 경우, 임의의 객체의 특정한 움직임이 있을 경우, 해당 객체가 얼마의 속도로 특정한 움직임을 수행하고 있는 지를 알 수 있게 되어, 이동과 관련하여 정확한 시간 측정 또한 가능할 수 있다.
한편, 상기 자이로 센서는 각속도 또는 회전력을 측정하는 것이 가능한 센서로서, 자이로스코프의 원리를 이용한다. 이 때, 상기 자이로스코프는 중앙의 회전체가 외부의 회전력이 주어졌을 때 자동으로 회전 중심을 세우는 원리를 보여주는 장치로서, 회전체의 복원력은 외부에서 준 회전력과 일치하므로 각속도를 감지할 수 있다. 본 발명에서는 상기 자이로 센서를 이용하여 상기 증강현실 장치의 각속도 또는 회전력을 측정할 수 있으며, 이를 통해 상기 증강현실 장치가 수평 상태 또는 수직 상태인지 등 어느 정도 기울임을 가지고 있는 상태인지를 측정하는 것이 가능하다.
상기 증강현실 장치는 증강현실 어플리케이션 또는 증강현실 프로그램의 구동에 의해 적어도 하나 이상의 외부 장치와의 연동 없이 증강현실 기능을 실행할 수 있으며, 도 1에 도시되어 있지는 않으나, 통상의 유무선 네트워크를 통해 증강현실 서버 등과 연동하여 일부 기능을 상기 서버와의 연동을 통해 제공하는 것도 가능하다. 예를 들어, 증강현실에 사용되는 다양한 증강현실 컨텐츠는 종류 및 내용에 따라 큰 데이터량을 가지거나 실시간으로 변경될 수 있는데, 이러한 경우에는 증강현실 컨텐츠에 관한 정보를 네트워크를 통해 증강현실 서버로부터 제공받도록 할 수도 있다.
도 2는 본 발명의 일실시예에 따라 자이로 센서를 기반으로 증강현실 컨텐츠의 표시를 제어하는 과정을 설명하기 위한 도면이다.
먼저, 본 발명의 증강현실 장치는 카메라부를 이용하여 실제 공간에 대한 영상을 카메라를 통해 입력받을 수 있으며, 상기 실제 공간에 대한 영상에 포함된 마커를 추출하여 인식할 수 있다. (S201)
이 때, 상기 증강현실 장치는 상기 카메라를 통해 입력된 실제 공간에 대한 영상의 픽셀 데이터 정보를 추출할 수 있으며, 보다 구체적으로 상기 실제 공간에 대한 영상 내 마커를 이루고 있는 범위에 대한 픽셀 데이터 정보를 추출할 수 있으며, 이 때, 상기 픽셀 데이터 정보는 상기 실제 공간에 대한 영상 및/또는 상기 마커를 이루고 있는 범위에 대한 RGB 데이터 정보를 포함하여 이루어질 수 있다.
한편, 상기 실제 공간에 대한 영상의 픽셀 데이터 정보를 추출하면, 상기 증강현실 장치(또는 마커 인식부)는 상기 추출된 픽셀 데이터 정보를 기반으로 마커 정보를 인식하되, 상기 인식된 마커 정보에 대응되는 증강현실 컨텐츠를 미리 저장된 데이터베이스를 탐색하여 결정할 수 있다. (S202)
상기 결정은 상기 인식된 마커 정보의 특징점을 탐색한 후, 이를 기반으로 상기 미리 저장된 데이터베이스 검색하여 상기 인식된 마커 정보와 대응되는 증강현실 컨텐츠를 탐색함에 따라 이루어질 수 있다.
본 발명의 일실시예에 따르면, 상기 실제 공간에 대한 영상에 포함된 마커를 추출하여 인식하는 경우, 상기 증강현실 장치는 상기 마커 이외의 식별 코드를 인식하도록 미리 설정될 수 있다.
즉, 미리 정해진 식별 코드가 인식되는 경우에 한해 상기 증강현실 컨텐츠를 상기 실제 공간에 대한 영상에 합성하여 디스플레이하는 과정을 수행하도록 설정될 수 있으며, 만약 미리 정해진 식별 코드가 인식되지 않는 경우 상기 증강현실 장치가 더 이상 동작하지 않도록 하거나 혹은 상기 증강현실 장치는 오로지 실제 공간에 대한 영상만을 표시할 뿐 상기 증강현실 컨텐츠를 상기 실제 공간에 대한 영상에 합성하여 디스플레이하는 과정을 수행하지 않도록 설정될 수 있다. 또한, 상기 식별 코드를 사용자 별로 부과하여 사용자에 특화된 증강현실 컨텐츠가 표시되도록 설정할 수도 있다.
한편, 위와 같은 탐색에 따라, 상기 인식된 마커 정보와 대응되는 증강현실 컨텐츠를 결정하면, 상기 증강현실 장치는 상기 마커를 인식한 시점에 상기 자이로 센서에 의해 식별된 상기 증강현실 장치의 3차원 좌표를 확인할 수 있으며, 상기 확인된 3차원 좌표를 중심으로 상기 증강현실 장치의 정면 방향 및 상기 정면 방향에 대한 수직 각도를 확인할 수 있다. (S203)
이 때, 상기 자이로 센서에 의해 식별된 상기 증강현실 장치의 3차원 좌표는, 롤(roll), 피치(pitch) 또는 요우(yaw) 중 적어도 하나 이상을 포함하여 이루어질 수 있으며, 이를 측정하기 위해 상기 자이로 센서를 포함하는 물리기반센서는 관성 측정 유닛(Inertial measurement unit: IMU)을 더 포함하여 이루어질 수 있다.
상기 관성 측정 유닛(IMU)는 일반적으로 항공기, 우주선, 선박, 잠수함, 차량, 유도미사일 등 움직이는 객체의 속도, 방향, 중력을 측정하는데 이용되는 장치로서, X축, Y축, Z축(오일러(Euler)에서의 Right, Up, Forward)을 포함하여 이루어지는 3차원인 공간에서 상기 움직이는 객체의 동작의 정도인 롤(roll), 피치(pitch) 또는 요우(yaw) 등을 측정하는데 이용되고 있다.
즉, 본 발명에서 상기 자이로 센서를 포함하는 물리기반센서는 관성 측정 유닛(Inertial measurement unit: IMU)을 포함하여 이루어질 수 있으므로, X축, Y축, Z축을 포함하여 이루어지는 3차원인 공간에서 상기 증강현실 장치에 대한 위치 및 그 동작의 정도인 롤(roll), 피치(pitch) 또는 요우(yaw) 중 적어도 하나 이상을 측정할 수 있으며, 상기 3차원적으로 수행되는 동작은, 상기 증강현실 장치가 수평 또는 수직 방향으로 회전 또는 이동하는 것을 포함하여 이루어질 수 있다.
한편, 본 발명에서는 과거의 증강현실 시스템이 가지고 있는 문제점들 즉, 마커가 수평 면에 놓여 있건 수직 벽면에 붙어있건 간에 마커의 존재만을 인식할 뿐 그것의 위치정보를 포함하는 지형정보는 3차원적으로 인식하지 못한다는 문제점 및 도 3(a)에 도시된 바와 같이 증강현실 장치를 통해 수직 벽면에 붙어있는 마커를 인식시키더라도, 상기 증강현실 컨텐츠가 상기 증강현실 장치를 기준으로 할 때 정면 방향으로 표시되는 것이 아니라 도 3(b)에 표시된 것처럼 미리 설정된 방향을 갖도록 상기 증강현실 컨텐츠가 표시(301)된다는 문제점을 해결하기 위해, 상기 결정된 증강현실 컨텐츠가 상기 실제 공간에 대한 영상 내에서 상기 증강현실 장치의 정면 방향 및 상기 정면 방향에 대한 수직 각도로 표시되도록 상기 결정된 증강현실 컨텐츠를 변환할 수 있다. (S204)
그 후, 상기 증강현실 장치는 상기 변환된 증강현실 컨텐츠를 상기 실제 공간에 대한 영상에 합성하여 디스플레이할 수 있으며, 그에 따라, 도 4에 도시된 바와 같이 증강현실 컨텐츠가 상기 실제 공간에 대한 영상 내에서 상기 증강현실 장치의 정면 방향 및 상기 정면 방향에 대한 수직 각도로 표시(401)되도록 할 수 있다. (S205)
즉, 증강현실 장치의 정면 방향 및 이에 대한 수직 각도는 상기 증강현실 장치를 사용하는 사용자가 상기 증강현실 장치를 바라보는 시점의 방향 및 각도와 일치한다고 볼 수 있으므로, 본 발명에 의하면 마커가 수직 또는 수평면 중 어느 곳에 위치하는지와 관계없이 증강현실 장치를 이용하는 사용자가 자신의 시점에 맞게 변환되어 표시된 증강현실 컨텐츠를 관람하는 것이 가능하며, 그에 따라 앞서 언급한 문제점의 해결이 가능할 수 있다.
또한, 위와 같이 본 발명의 일실시예에 따라 자이로 센서를 기반으로 증강현실 장치의 3차원 좌표를 식별한 후, 이를 통해 확인된 증강현실 장치의 정면 방향 및 그에 대한 수직 각도를 통해 증강현실 컨텐츠를 변환하여 표시할 경우, 보다 현실감있는 증강현실 컨텐츠의 표현이 가능하다.
한편, 상술한 방법은, 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터 판독 가능 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터 판독 가능 매체에 여러 수단을 통하여 기록될 수 있다. 본 발명의 다양한 방법들을 수행하기 위한 실행 가능한 컴퓨터 코드를 저장하는 컴퓨터 판독 가능 매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, DVD 등)와 같은 저장 매체를 포함한다.
본 발명의 실시예들과 관련된 기술 분야에서 통상의 지식을 가진 자는 상기 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로, 개시된 방법들은 한정적인 관점이 아닌 설명적 관점에서 고려되어야 한다. 본 발명의 범위는 발명의 상세한 설명이 아닌 청구 범위에 나타나며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
본 발명인 자이로 센서를 기반으로 증강현실 컨텐츠의 표시를 제어하는 방법 및 그 장치는 증강현실 컨텐츠의 표시를 제어하기 위한 다양한 방법에 적용하는 것이 가능하다.
100: 카메라부
200: 제어부
300: 마커인식부
400: 이미지 처리부
500: 디스플레이부

Claims (5)

  1. 증강현실 장치가 자이로 센서를 기반으로 증강현실 컨텐츠의 표시를 제어하는 방법에 있어서,
    실제 공간에 대한 영상을 카메라를 통해 입력받는 단계;
    상기 실제 공간에 대한 영상에 포함된 마커를 추출하여 인식하는 단계;
    상기 인식된 마커 정보에 대응되는 증강현실 컨텐츠를 미리 저장된 데이터베이스를 탐색하여 결정하는 단계;
    상기 마커를 인식한 시점에 상기 자이로 센서에 의해 식별된 상기 증강현실 장치의 3차원 좌표를 중심으로 상기 증강현실 장치의 정면 방향 및 상기 정면 방향에 대한 수직 각도를 확인하는 단계;
    상기 결정된 증강현실 컨텐츠가 상기 실제 공간에 대한 영상 내에서 상기 증강현실 장치의 정면 방향 및 상기 정면 방향에 대한 수직 각도로 표시되도록 상기 결정된 증강현실 컨텐츠를 변환하는 단계; 및
    상기 변환된 증강현실 컨텐츠를 상기 실제 공간에 대한 영상에 합성하여 디스플레이하는 단계;를 포함하고
    상기 실제 공간에 대한 영상에 포함된 마커를 추출하여 인식하는 단계는,
    상기 마커 이외의 식별 코드를 인식하는 단계를 더 포함하되,
    상기 인식된 식별 코드가 미리 정해진 식별 코드인 경우에 한하여, 증강 현실의 사용자를 구분하여 상기 증강 현실의 사용자와 상기 식별 코드가 대응하면 상기 증강현실 컨텐츠를 상기 실제 공간에 대한 영상에 합성하여 디스플레이하는 것을 특징으로 하는, 증강현실 컨텐츠 표시 제어 방법.
  2. 제 1 항에 있어서,
    상기 변환된 증강현실 컨텐츠를 디스플레이 하는 중, 상기 증강현실 장치의 움직임으로 인해 상기 증강현실 장치의 정면 방향 및 상기 정면 방향에 대한 수직 각도가 미리 정해진 범위 이상 변경된 경우, 상기 변경된 정면 방향 및 수직 각도를 확인하되, 이를 기반으로 상기 증강현실 컨텐츠를 변환하여 표시하는 것을 특징으로 하는, 증강현실 컨텐츠 표시 제어 방법.
  3. 제 1 항에 있어서,
    상기 실제 공간에 대한 영상에 포함된 마커를 추출하여 인식하는 단계는,
    상기 마커를 이루고 있는 범위에 대한 RGB 정보 및 픽셀 정보를 인식하는 단계를 더 포함하되,
    상기 결정된 증강현실 컨텐츠를 변환하는 단계는, 상기 증강현실 컨텐츠가 상기 마커를 이루고 있는 범위 내의 컬러 정보를 반영하여 표시되도록 상기 인식된 RGB 정보 및 픽셀 정보를 기반으로 상기 증강현실 컨텐츠를 변환하는 것을 특징으로 하는, 증강현실 컨텐츠 표시 제어 방법.
  4. 삭제
  5. 제 1 항에 있어서,
    상기 자이로 센서에 의해 식별된 상기 증강현실 장치의 3차원 좌표는, 롤(roll), 피치(pitch) 또는 요우(yaw) 중 적어도 하나 이상을 포함하여 이루어지는 것을 특징으로 하는, 증강현실 컨텐츠 표시 제어 방법.
KR1020160162191A 2016-11-30 2016-11-30 자이로 센서를 기반으로 증강현실 컨텐츠의 표시를 제어하는 방법 및 그 장치 KR101914660B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160162191A KR101914660B1 (ko) 2016-11-30 2016-11-30 자이로 센서를 기반으로 증강현실 컨텐츠의 표시를 제어하는 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160162191A KR101914660B1 (ko) 2016-11-30 2016-11-30 자이로 센서를 기반으로 증강현실 컨텐츠의 표시를 제어하는 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20180062187A KR20180062187A (ko) 2018-06-08
KR101914660B1 true KR101914660B1 (ko) 2018-11-06

Family

ID=62600164

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160162191A KR101914660B1 (ko) 2016-11-30 2016-11-30 자이로 센서를 기반으로 증강현실 컨텐츠의 표시를 제어하는 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR101914660B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101997770B1 (ko) * 2017-12-06 2019-07-08 한국광기술원 증강현실 이미지 생성장치 및 방법
KR102285876B1 (ko) * 2020-02-18 2021-08-04 조치윤 파노라마 사진 기능을 이용한 이사 견적 서비스 제공 시스템 및 그 구동방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013186691A (ja) * 2012-03-08 2013-09-19 Casio Comput Co Ltd 画像処理装置及び画像処理方法並びにプログラム
JP2014071850A (ja) * 2012-10-02 2014-04-21 Osaka Prefecture Univ 画像処理装置、端末装置、画像処理方法、およびプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110136041A (ko) 2010-06-14 2011-12-21 주식회사 비즈모델라인 배터리 잔여량 기반 이미지 품질 운영방법 및 이를 위한 휴대용 단말과 프로그램 기록매체

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013186691A (ja) * 2012-03-08 2013-09-19 Casio Comput Co Ltd 画像処理装置及び画像処理方法並びにプログラム
JP2014071850A (ja) * 2012-10-02 2014-04-21 Osaka Prefecture Univ 画像処理装置、端末装置、画像処理方法、およびプログラム

Also Published As

Publication number Publication date
KR20180062187A (ko) 2018-06-08

Similar Documents

Publication Publication Date Title
KR102414587B1 (ko) 증강 현실 데이터 제시 방법, 장치, 기기 및 저장 매체
US11163997B2 (en) Methods and apparatus for venue based augmented reality
WO2021031755A1 (zh) 基于增强现实设备的交互方法及系统、电子设备、计算机可读介质
US10043314B2 (en) Display control method and information processing apparatus
KR102021050B1 (ko) 내비게이션 정보를 제공하는 방법, 기계로 읽을 수 있는 저장 매체, 이동 단말 및 서버
US9355451B2 (en) Information processing device, information processing method, and program for recognizing attitude of a plane
US9268410B2 (en) Image processing device, image processing method, and program
CN112729327B (zh) 一种导航方法、装置、计算机设备及存储介质
US10748000B2 (en) Method, electronic device, and recording medium for notifying of surrounding situation information
KR20120017783A (ko) 증강 현실에서 위치 정보를 표시하는 방법 및 장치
US20160284130A1 (en) Display control method and information processing apparatus
JP2016122392A (ja) 情報処理装置、情報処理システム、その制御方法及びプログラム
KR101914660B1 (ko) 자이로 센서를 기반으로 증강현실 컨텐츠의 표시를 제어하는 방법 및 그 장치
CN112788443B (zh) 基于光通信装置的交互方法和系统
KR101939530B1 (ko) 지형정보 인식을 기반으로 증강현실 오브젝트를 표시하는 방법 및 그 장치
Abbas et al. Augmented reality-based real-time accurate artifact management system for museums
US20220377306A1 (en) Misaligned vantage point mitigation for computer stereo vision
KR20190006584A (ko) 지형정보 인식을 기반으로 증강현실 오브젝트를 표시하는 방법 및 그 장치
KR102575503B1 (ko) 가상 실내공간 컨텐츠 생성을 위한 모바일 단말 및 그 모바일 단말의 제어 방법
KR101153127B1 (ko) 스마트 폰의 지리정보 표시장치
KR102079278B1 (ko) 혼합 현실을 위한 객체를 표시하기 위한 전자 장치, 방법, 및 컴퓨터 판독가능 매체
CN116009689A (zh) 基于移动终端的操控数据获取方法、装置、介质和设备
Lo et al. A directive location-based landscape tour service using augmented reality glass
CN118295613A (en) Information display method, processing device and information display system
JP2024018888A (ja) 分離型仮想システムの空間位置特定方法、仮想システム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant