KR20150094338A - System and method for providing augmented reality service using of terminal location and pose - Google Patents

System and method for providing augmented reality service using of terminal location and pose Download PDF

Info

Publication number
KR20150094338A
KR20150094338A KR1020140015509A KR20140015509A KR20150094338A KR 20150094338 A KR20150094338 A KR 20150094338A KR 1020140015509 A KR1020140015509 A KR 1020140015509A KR 20140015509 A KR20140015509 A KR 20140015509A KR 20150094338 A KR20150094338 A KR 20150094338A
Authority
KR
South Korea
Prior art keywords
image
virtual content
marker
information
posture
Prior art date
Application number
KR1020140015509A
Other languages
Korean (ko)
Inventor
전봉주
Original Assignee
(주)제이앤씨마케팅커뮤니케이션
전봉주
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)제이앤씨마케팅커뮤니케이션, 전봉주 filed Critical (주)제이앤씨마케팅커뮤니케이션
Priority to KR1020140015509A priority Critical patent/KR20150094338A/en
Publication of KR20150094338A publication Critical patent/KR20150094338A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Abstract

The present invention relates to a system and a method for providing an augmented reality service using location and posture information of a terminal, wherein the system comprises: a position measurement unit measuring a current position; a posture information measurement unit measuring posture information of the terminal; an image acquiring unit acquiring an image; and a virtual content processing unit determining virtual content and an augmented position and posture of the virtual content, generating an image marker based on a characteristic point in the acquired image, matching the image marker at the augmented position and displaying the virtual content at the augmented position to provide augmented reality in a case that the measured position and posture information satisfy a preset stabilizing condition, and compensating the position and the size of the virtual content and displaying the virtual content based on the position and the size of the image marker in a case that the image marker moves.

Description

단말장치의 위치 및 자세정보를 이용한 증강현실 서비스 시스템 및 방법{SYSTEM AND METHOD FOR PROVIDING AUGMENTED REALITY SERVICE USING OF TERMINAL LOCATION AND POSE}BACKGROUND OF THE INVENTION Field of the Invention The present invention relates to a system and method for augmented reality service using position and attitude information of a terminal device,

본 발명은 단말장치의 위치 및 자세정보를 이용한 증강현실 서비스 시스템 및 방법에 관한 것으로, 보다 상세하게는 단말장치의 위치 및 자세 정보가 기 설정된 안정화 조건을 만족하는 경우, 가상 컨텐츠, 가상 컨텐츠의 증강 위치 및 자세를 결정하고, 획득된 영상에서 영상 마커를 생성하여 증강 위치에 매칭함은 물론 가상 컨텐츠를 표시하여 증강현실을 제공하고, 영상 마커가 이동하는 경우, 영상 마커의 위치와 크기를 근거로 가상 컨텐츠의 위치 및 크기를 보정하여 표시하는 단말장치의 위치 및 자세정보를 이용한 증강현실 서비스 시스템 및 방법에 관한 것이다.
BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a system and method for augmented reality service using position and attitude information of a terminal device, and more particularly, A position and an attitude of the image marker are generated, an image marker is generated from the acquired image to match the augmentation position, and also, the augmented reality is displayed by displaying the virtual contents. When the image marker moves, And more particularly, to a system and method for augmented reality service using position and attitude information of a terminal device that corrects the position and size of a virtual content and displays it.

AR(Augmented Reality, 증강현실)은 사용자가 눈으로 보는 현실세계와 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여주는 가상현실의 하나이다. 현실세계를 가상세계로 보완해주는 개념인 AR은 컴퓨터 그래픽으로 만들어진 가상환경을 사용하지만 주역은 현실환경이다. 컴퓨터 그래픽은 현실환경에 필요한 정보를 추가 제공하는 역할을 한다. 사용자가 보고 있는 실사 영상에 3차원 가상영상을 겹침(overlap)으로써 현실환경과 가상화면과의 구분이 모호해지도록 한다는 뜻이다.AR (Augmented Reality) is one of the virtual reality in which the user views the real world viewed by the user and the virtual world having the additional information as one image. AR, a concept that complements the real world with a virtual world, uses a virtual environment created by computer graphics, but the protagonist is a real environment. Computer graphics serve to provide additional information needed for the real world. By overlapping the three-dimensional virtual image on the real image that the user is viewing, it means that the distinction between the real environment and the virtual screen becomes blurred.

이러한 증강현실을 구현하는 방법에 의한 증강현실 서비스는, 인쇄서적의 페이지를 펼쳐 이를 카메라를 통해 촬영하고 촬영된 실시간 영상을 단말장치가 화면에 디스플레이함에 있어서, 페이지 내에 특정 마커(marker)가 기록되어 있음에 따라 촬영된 영상 내에서 특정 마커가 인지되면 해당 마커에 연결된 3차원 그래픽 모델을 실제 영상 즉 페이지를 촬영한 영상 위에 그려주는 방법이 있다. 여기서의 마커란 실제로 2차원 평면 위에 존재하면서, 자신과 연결된 3차원 그래픽모델이 그려질 크기, 방향 및 위치 정보를 제공하는 것을 말한다.In the augmented reality service by the method for realizing the augmented reality, when a page of a printed book is unfolded and is photographed through a camera, and a terminal device displays a photographed real time image, a specific marker is recorded in the page Accordingly, when a specific marker is recognized in the photographed image, there is a method of drawing a three-dimensional graphic model connected to the marker on an actual image, that is, a photographed image. The marker here refers to providing size, direction, and position information to be drawn on a three-dimensional graphic model that is actually present on a two-dimensional plane and connected to itself.

이러한 증강현실 서비스는 단말장치의 GPS, 지자기, 가속도계 같은 센서들을 가지고 실시간으로 사용자의 움직임을 센싱하여 가상 컨텐츠를 특정 위치에 특정 방향으로 나타내고 있다.The augmented reality service senses the movement of the user in real time with sensors such as GPS, geomagnetism, or accelerometer of the terminal device, and displays the virtual contents in a specific direction in a specific position.

그러나, 종래에는 단말장치의 GPS, 지자기, 가속도계 같은 센서 값들의 정확도나 연속성에서 Jittering(값의 튐현상)이 발생하므로, 이를 기준으로 계산된 증강된 컨텐츠도 화면에서 계속 튀어버리는 현상이 발생한다. 즉, 단말장치의 위치정보는 여러가지 정보(예컨대, 네트워크, 통신사 기지국 연결상황, GPS센서)를 이용하여 값을 추출하나 각 센서 및 정보의 부정확함으로 센서의 위치정보만으로 가상공간을 표시할 시 중간중간 튀는 현상이 발생한다. 또한, 단말장치의 지자계 정보는 방위 정보를 제공하기는 하나 지자기를 이용하므로 센싱값에 지터링이 가장 많이 발생하며 값을 취할시 이전값과 이후값을 적절히 참조해야 하나 단말장치가 회전중에는 참조하기 힘든 단점이 있다. 또한, 단말장치의 가속도계는 아래, 위 및 기울기를 제공하나 이 역시 지터링이 많이 발생하고, 이로 인해 가속 혹은 감속시 참조하기 힘들다는 단점이 있다.
However, conventionally, jittering occurs in the accuracy or continuity of sensor values such as GPS, geomagnetism, or accelerometer of a terminal device, so that the augmented content calculated based on the jittering phenomenon occurs continuously on the screen. That is, when the location information of the terminal device is extracted using various information (e.g., network, communication company base station connection status, GPS sensor), but the virtual space is displayed only by the location information of the sensor due to inaccuracy of each sensor and information, Splashing occurs. In addition, since the geographical information of the terminal device provides the azimuth information but uses the geomagnetism, jittering occurs most frequently in the sensing value. When taking the value, the former value and the subsequent value should be referred to properly, There is a drawback that it is hard to do. In addition, although the accelerometer of the terminal device provides the downward, upward, and inclined directions, it also has a disadvantage that it is difficult to refer to acceleration or deceleration due to a lot of jittering.

한국등록특허 제10-1281314호, 발명의 명칭 '증강현실시스템 및 증강현실구현방법'Korean Patent No. 10-1281314, entitled " Augmented Reality System and Method for Implementing Augmented Reality "

본 발명의 목적은 단말장치의 위치 정보와 자세정보가 기 설정된 안정화 조건을 만족하는 경우에 가상 컨텐츠를 보정하여 증강현실을 구현하는 단말장치의 위치 및 자세정보를 이용한 증강현실 서비스 시스템 및 방법을 제공하는데 있다. An object of the present invention is to provide a system and method for augmented reality service using position and attitude information of a terminal device that implements an augmented reality by correcting virtual contents when the position information and attitude information of the terminal device satisfy preset stabilization conditions .

본 발명의 다른 목적은 단말장치의 영상 획득부를 통해 획득된 영상을 가지고 실시간 영상 마커를 생성하고, 그 영상 마커를 잃어버리기 전까지는 실시간 영상 마커를 기준으로 가상 컨텐츠의 위치 및 크기를 결정하며, 그 결정된 위치 및 크기로 가상 컨텐츠를 보정하여 증강현실을 구현하는 단말장치의 위치 및 자세정보를 이용한 증강현실 서비스 시스템 및 방법을 제공하는데 있다. Another object of the present invention is to create a real-time image marker with an image obtained through an image acquisition unit of a terminal device, determine the position and size of the virtual content based on the real-time image marker until the image marker is lost, And to provide augmented reality service system and method using position and attitude information of a terminal device that implements an augmented reality by correcting virtual contents with a determined position and size.

본 발명의 또 다른 목적은 단말장치의 회전이나 많은 이동으로 실시간 영상 마커가 화면에서 사라질 경우, 다시 처음으로 돌아가 단말장치의 위치정보와 자세정보가 기 설정된 안정화 조건을 만족할 때까지 기다려 새로운 영상 마커를 생성하고, 그 영상 마커를 기준으로 가상 컨텐츠를 보정하여 증강현실을 구현하는 단말장치의 위치 및 자세정보를 이용한 증강현실 서비스 시스템 및 방법을 제공하는데 있다. It is still another object of the present invention to provide a new image marker that waits until the real-time image marker disappears from the screen due to rotation or a lot of movement of the terminal apparatus until the position information and attitude information of the terminal apparatus satisfy the predetermined stabilization condition And to provide augmented reality service system and method using position and attitude information of a terminal device that implements an augmented reality by correcting virtual contents based on the image marker.

본 발명의 또 다른 목적은 실시간 영상 마커를 잃어 버리게 되는 것을 방지하기 위해 일정 주기 또는 현재 사용되는 실시간 영상 마커가 한쪽으로 어느 정도 치우쳤을 때 현재 영상으로 실시간 영상 마커를 갱신하는 단말장치의 위치 및 자세정보를 이용한 증강현실 서비스 시스템 및 방법을 제공하는데 있다.
It is still another object of the present invention to provide a position and orientation of a terminal device that updates a real-time image marker with a current image when a predetermined period or a currently used real-time image marker is biased to a certain extent to prevent the real- And to provide augmented reality service system and method using information.

상기 목적들을 달성하기 위하여 본 발명의 일 측면에 따르면, 현재 위치를 측정하는 위치 측정부, 단말장치의 자세정보를 측정하는 자세정보 측정부, 영상을 획득하는 영상 획득부, 상기 측정된 위치 및 자세 정보가 기 설정된 안정화 조건을 만족하는 경우, 가상 컨텐츠, 상기 가상 컨텐츠의 증강 위치 및 자세를 결정하고, 상기 획득된 영상에서 특징점에 기반하여 영상 마커를 생성하며, 상기 증강 위치에 상기 영상 마커를 매칭하고, 상기 증강위치에 상기 가상 컨텐츠를 표시하여 증강현실을 제공하며, 상기 영상 마커가 이동하는 경우, 상기 영상 마커의 위치와 크기를 근거로 상기 가상 컨텐츠의 위치 및 크기를 보정하여 표시하는 가상 컨텐츠 처리부를 포함하는 단말장치가 제공된다. According to an aspect of the present invention, there is provided an image processing apparatus including a position measuring unit for measuring a current position, an attitude information measuring unit for measuring attitude information of the terminal, an image acquiring unit for acquiring an image, The virtual content, the enhancement position and attitude of the virtual content, and generates an image marker based on the feature point in the obtained image if the information satisfies the preset stabilization condition, and matches the image marker to the enhancement position And displaying the virtual content in the augmented position to provide an augmented reality, and when the image marker moves, correcting the position and size of the virtual content based on the position and size of the image marker, A terminal apparatus including a processing unit is provided.

상기 가상 컨텐츠 처리부는 기 설정된 갱신 조건이 되면, 상기 영상 획득부를 통해 획득된 영상에서 가상 컨텐츠, 상기 가상 컨텐츠의 증강 위치 및 자세를 결정하고, 상기 획득된 영상에서 특징점에 기반하여 영상 마커를 생성하며, 상기 증강 위치에 상기 영상 마커를 매칭하고, 상기 증강위치에 상기 가상 컨텐츠를 표시하여 증강현실을 제공할 수 있다. The virtual content processing unit determines a virtual content, an augmentation position and a posture of the virtual content in the image acquired through the image acquisition unit, and generates an image marker based on the feature point in the acquired image, , The augmented reality may be provided by matching the image marker to the augmented position and displaying the virtual content at the augmented position.

상기 자세정보 측정부는 상기 단말장치가 상기 영상을 향한 방향, 가속도, 회전 정보 중 적어도 하나를 포함하는 자세 정보를 측정할 수 있다.The attitude information measuring unit may measure attitude information including at least one of direction, acceleration, and rotation information of the terminal device toward the image.

상기 가상 컨텐츠 처리부는, 상기 자세정보 측정부에서 측정된 위치 및 자세 정보가 기 설정된 안정화 조건을 만족하는지의 여부를 판단하는 안정화 판단모듈, 상기 안정화 조건을 만족하는 경우, 상기 영상 획득부에서 획득된 영상으로부터 패턴을 추출하고, 상기 추출된 패턴에 관련된 가상 컨텐츠를 결정하거나, 상기 측정된 위치 정보에 관련된 가상 컨텐츠를 결정하는 가상 컨텐츠 결정모듈, 상기 획득된 영상의 컬러 정보를 이용하여 특징점을 추출하거나, 균등한 공간상에서 관측 확률에 근거하여 특징점을 추출하고, 상기 추출된 특징점에 기반하여 상기 가상 컨텐츠의 증강 위치를 결정하며, 상기 자세정보 측정부에서 측정된 자세 정보를 근거로 상기 가상 컨텐츠의 자세를 결정하는 위치 및 자세 결정모듈, 상기 획득된 영상에서 특징점에 기반하여 영상 마커를 생성하고, 상기 위치 및 자세 결정모듈에서 결정된 증강 위치에 상기 영상 마커를 매칭하는 영상 마커 생성 모듈, 상기 증강위치에 상기 가상 컨텐츠를 표시하여 증강현실을 제공하고, 상기 영상 마커가 이동하는 경우, 상기 영상 마커의 위치와 크기를 근거로 상기 가상 컨텐츠의 위치 및 크기를 보정하여 표시하는 가상 컨텐츠 처리모듈을 포함할 수 있다. Wherein the virtual content processing unit includes a stabilization determining module that determines whether the position and attitude information measured by the attitude information measuring unit satisfies a predetermined stabilization condition, A virtual content determination module for extracting a pattern from an image, determining virtual content related to the extracted pattern, or determining virtual content related to the measured position information, extracting feature points using color information of the obtained image, , Extracting feature points based on observation probabilities in an even space, determining an augmentation position of the virtual content based on the extracted feature points, and determining a posture of the virtual content based on the posture information measured by the posture information measurement unit A position and orientation determination module for determining a position and orientation of the image, An image marker generation module for generating an image marker and matching the image marker to an augmentation position determined by the position and orientation determination module, and displaying the virtual content at the augmentation position to provide an augmented reality, A virtual content processing module that corrects the position and size of the virtual content based on the position and size of the image marker, and displays the corrected virtual content.

본 발명의 다른 측면에 따르면, 단말장치가 위치 및 자세정보를 이용하여 증강 현실 서비스를 제공하는 방법에 있어서, (a) 영상을 획득하는 단계, (b) 단말장치의 위치 및 자세 정보를 측정하고, 상기 측정된 위치 및 자세 정보가 기 설정된 안정화 조건을 만족하는지의 여부를 판단하는 단계, (c) 상기 안정화 조건을 만족하는 경우, 가상 컨텐츠, 상기 가상 컨텐츠의 증강 위치 및 자세를 결정하고, 상기 획득된 영상에서 특징점에 기반하여 영상 마커를 생성하는 단계, (d) 상기 증강 위치에 상기 영상 마커를 매칭하고, 상기 증강위치에 상기 가상 컨텐츠를 표시하여 증강현실을 제공하는 단계, (e) 상기 영상 마커가 이동하는 경우, 상기 영상 마커의 위치와 크기를 근거로 상기 가상 컨텐츠의 위치 및 크기를 보정하여 표시하고, 기 설정된 갱신 조건이 되는지의 여부를 판단하는 단계, (f) 상기 갱신 조건이 되면, 현재 영상을 획득하고 (b) 단계부터 다시 수행하는 단계를 포함하는 단말장치의 위치 및 자세정보를 이용한 증강현실 서비스 방법이 제공된다. According to another aspect of the present invention, there is provided a method of providing augmented reality service using position and attitude information, the method comprising the steps of: (a) acquiring an image; (b) Determining whether the measured position and attitude information satisfies a preset stabilization condition, (c) if the stabilization condition is satisfied, determining a virtual content, an augmentation position and an attitude of the virtual content, (A) generating an image marker based on feature points in the acquired image, (d) providing the augmented reality by matching the image marker to the augmentation position, and displaying the virtual content at the augmentation position, When the image marker moves, the position and size of the virtual content are corrected and displayed based on the position and size of the image marker, If whether or not the judgment step, (f) the updating condition that, there is provided an augmented reality service method using the position and posture information of the terminal device comprises the step of acquiring the current image and the process from step (b) again.

상기 (c)단계는 상기 안정화 조건을 만족하는 경우, 상기 획득된 영상으로부터 패턴을 추출하고, 상기 추출된 패턴에 관련된 가상 컨텐츠를 결정하거나, 상기 단말장치의 위치 정보에 관련된 가상 컨텐츠를 결정하는 단계, 상기 획득된 영상의 컬러 정보를 이용하여 특징점을 추출하거나, 균등한 공간 상에서 관측 확률에 근거하여 특징점을 추출하고, 상기 추출된 특징점에 기반하여 상기 가상 컨텐츠의 증강 위치를 결정하고, 상기 단말장치의 자세 정보를 근거로 상기 가상 컨텐츠의 자세를 결정하는 단계, 상기 획득된 영상에서 특징점에 기반하여 영상 마커를 생성하는 단계를 포함할 수 있다. The step (c) includes the steps of: extracting a pattern from the obtained image, determining virtual contents related to the extracted pattern, or determining virtual contents related to the location information of the terminal apparatus when the stabilization condition is satisfied; Extracting feature points using the color information of the obtained image, extracting feature points based on observation probabilities in an even space, determining enhancement positions of the virtual contents based on the extracted feature points, Determining a posture of the virtual content based on attitude information of the virtual image, and generating an image marker based on the feature point in the obtained image.

상기 (e)단계는 상기 영상 마커가 이동하는 경우, 상기 영상 마커의 크기에 비례하도록 상기 가상 컨텐츠의 크기를 결정하고, 상기 영상 마커의 자세 정보를 근거로 상기 가상 컨텐츠의 자세를 결정하는 단계, 상기 결정된 크기와 자세에 따라 상기 가상 컨텐츠의 크기와 자세를 보정하는 단계, 상기 보정된 가상 컨텐츠를 상기 영상 마커의 위치에 매칭하여 표시하고, 기 설정된 갱신 조건이 되는지의 여부를 판단하는 단계를 포함할 수 있다.
Determining a size of the virtual content in proportion to a size of the image marker when the image marker moves and determining a posture of the virtual content based on the posture information of the image marker; A step of correcting the size and posture of the virtual content according to the determined size and posture, displaying the corrected virtual content by matching with the position of the image marker, and determining whether or not the virtual content is a predetermined update condition can do.

본 발명에 따르면, 단말장치의 위치 정보와 자세정보가 기 설정된 안정화 조건을 만족하는 경우에 가상 컨텐츠를 보정하여 증강현실을 구현함으로써, 가상 컨텐츠가 화면에서 튀는 현상을 방지할 수 있다. According to the present invention, when the position information and the attitude information of the terminal satisfy the preset stabilization condition, the virtual contents are corrected to realize the augmented reality, thereby preventing the virtual contents from splashing on the screen.

또한, 단말장치의 영상 획득부를 통해 획득된 영상을 가지고 실시간 영상 마커를 생성하고, 그 영상 마커를 잃어버리기 전까지는 실시간 영상 마커를 기준으로 가상 컨텐츠의 위치 및 크기를 결정하며, 그 결정된 위치 및 크기로 가상 컨텐츠를 보정하여 증강현실을 구현함으로써, 가상 컨텐츠의 고정된 사이즈로 인한 지루함을 해소할 수 있을 뿐만 아니라, 가상 컨텐츠를 현실세계와 함께 자연스러운 표현할 수 있다. Also, a real-time image marker is generated with the image obtained through the image acquisition unit of the terminal device, and the position and size of the virtual content are determined based on the real-time image marker until the image marker is lost, By implementing the augmented reality by correcting the virtual contents with the virtual contents, the boredom due to the fixed size of the virtual contents can be solved, and the virtual contents can be expressed naturally together with the real world.

또한, 단말장치의 회전이나 많은 이동으로 실시간 영상 마커가 화면에서 사라질 경우, 다시 처음으로 돌아가 단말장치의 위치정보와 자세정보가 기 설정된 안정화 조건을 만족할 때까지 기다려 새로운 영상 마커를 생성하고, 그 영상 마커를 기준으로 가상 컨텐츠를 보정하여 증강현실을 구현할 수 있다. If the real-time image marker disappears from the screen due to rotation or a lot of movement of the terminal apparatus, a new image marker is generated by waiting until the position information and attitude information of the terminal apparatus satisfy the predetermined stabilization condition, The augmented reality can be realized by correcting the virtual contents based on the marker.

본 발명의 또 다른 목적은 실시간 영상 마커를 잃어 버리게 되는 것을 방지하기 위해 일정 주기 또는 현재 사용되는 실시간 영상 마커가 한쪽으로 어느 정도 치우쳤을 때 현재 영상으로 실시간 영상 마커를 갱신할 수 있다.
It is another object of the present invention to update a real-time image marker to a current image when a certain period of time or a currently used real-time image marker is biased to some extent in order to prevent a real-time image marker from being lost.

도 1은 본 발명의 실시예에 따른 단말장치의 위치 및 자세정보를 이용한 증강현실 서비스 시스템을 나타낸 도면.
도 2는 본 발명의 실시예에 따른 단말장치의 구성을 개략적으로 나타낸 블럭도.
도 3은 도 2에 도시된 자세정보 측정부의 구성을 구체적으로 나타낸 도면.
도 4는 도 2에 도시된 가상 컨텐츠 처리부의 구성을 구체적으로 나타낸 도면.
도 5는 본 발명의 실시예에 따른 단말장치의 위치 및 자세정보를 이용한 증강현실 서비스 방법을 나타낸 도면. 1 is a view illustrating an augmented reality service system using position and attitude information of a terminal device according to an embodiment of the present invention.
2 is a block diagram schematically showing a configuration of a terminal device according to an embodiment of the present invention.
3 is a diagram specifically showing a configuration of the attitude information measuring unit shown in Fig.
4 is a diagram specifically showing a configuration of the virtual content processing unit shown in Fig.
5 is a diagram illustrating an augmented reality service method using position and attitude information of a terminal according to an embodiment of the present invention.

본 발명의 전술한 목적과 기술적 구성 및 그에 따른 작용 효과에 관한 자세한 사항은 본 발명의 명세서에 첨부된 도면에 의거한 이하 상세한 설명에 의해 보다 명확하게 이해될 것이다.The foregoing and other objects, features, and advantages of the present invention will become more apparent from the following detailed description taken in conjunction with the accompanying drawings, in which: FIG.

본 명세서에서 표현되는 각 기능부는 본 발명 구현에 대한 예일 뿐이다. 따라서, 본 발명의 다른 구현에서는 본 발명의 사상 및 범위를 벗어나지 않는 범위에서 다른 기능부가 사용될 수 있다. 또한, 각 기능부는 순전히 하드웨어 또는 소프트웨어의 구성으로만 구현될 수도 있지만, 동일 기능을 실행하는 다양한 하드웨어 및 소프트웨어 구성들의 조합으로 구현될 수도 있다.
Each functional unit represented in the present specification is only an example of implementation of the present invention. Therefore, other functional units may be used in other embodiments of the present invention without departing from the spirit and scope of the present invention. In addition, each functional unit may be implemented solely in hardware or software configuration, but may be implemented in combination of various hardware and software configurations that perform the same function.

도 1은 본 발명의 실시예에 따른 단말장치의 위치 및 자세정보를 이용한 증강현실 서비스 시스템을 나타낸 도면이다. 1 is a diagram illustrating an augmented reality service system using position and attitude information of a terminal according to an embodiment of the present invention.

도 1을 참조하면, 단말장치의 위치 및 자세정보를 이용한 증강현실 서비스 시스템은 단말장치(100), 서비스 제공 서버(200)를 포함한다. Referring to FIG. 1, an augmented reality service system using position and attitude information of a terminal device includes a terminal device 100 and a service providing server 200.

서비스 제공 서버(200)는 증강현실 서비스 애플리케이션을 단말장치(100)로 제공한다.The service providing server 200 provides the augmented reality service application to the terminal device 100. [

단말장치(100)는 서비스 제공 서버(200)로부터 증강현실 서비스 애플리케이션을 다운로드받아 설치한다. The terminal device 100 downloads and installs the augmented reality service application from the service providing server 200. [

단말장치(100)는 증강현실 서비스 애플리케이션이 구동된 경우 구비된 영상 획득부를 구동시켜 영상을 획득하고, 단말장치(100)의 위치 및 자세 정보가 기 설정된 안정화 조건을 만족하는 경우, 가상 컨텐츠, 가상 컨텐츠의 증강 위치 및 자세를 결정하고, 획득된 영상에서 특징점에 기반하여 영상 마커를 생성하며, 증강 위치에 영상 마커를 매칭하고, 증강위치에 가상 컨텐츠를 표시하여 증강현실을 제공한다. When the augmented reality service application is driven, the terminal device 100 drives an image acquisition unit to acquire an image. When the position and attitude information of the terminal device 100 satisfies predetermined stabilization conditions, An augmented reality is provided by determining the augmentation position and attitude of the content, generating an image marker based on the feature points in the acquired image, matching the image marker to the augmentation position, and displaying the virtual content at the augmentation position.

단말장치(100)는 영상 마커가 이동하는 경우, 영상 마커의 위치와 크기를 근거로 가상 컨텐츠의 위치 및 크기를 보정하여 표시한다. 이때, 단말장치(100)의 회전이나 많은 이동으로 실시간 영상 마커가 화면에서 사라질 경우, 단말장치(100)는 다시 처음으로 돌아가 단말장치(100)의 위치정보와 자세정보가 기 설정된 안정화 조건을 만족할 때까지 기다려 새로운 영상 마커를 생성하고, 그 영상 마커를 기준으로 가상 컨텐츠를 보정하여 증강현실을 구현할 수 있다.When the image marker moves, the terminal device 100 corrects the position and size of the virtual content based on the position and size of the image marker and displays the corrected image. At this time, when the real-time image marker disappears from the screen due to rotation or a lot of movement of the terminal device 100, the terminal device 100 returns to the beginning and the position information and attitude information of the terminal device 100 satisfy predetermined stabilization conditions A new image marker is generated and the augmented reality can be implemented by correcting the virtual contents based on the image marker.

단말장치(100)는 일정 주기 또는 현재 사용되는 실시간 영상 마커가 한쪽으로 어느 정도 치우치는 등의 기 설정된 갱신 조건이 되면, 영상 획득부를 통해 획득된 영상에서 가상 컨텐츠, 가상 컨텐츠의 증강 위치 및 자세를 결정하고, 획득된 영상에서 특징점에 기반하여 영상 마커를 다시 생성하며, 증강 위치에 영상 마커를 매칭하고, 상기 증강위치에 가상 컨텐츠를 표시하여 증강현실을 제공한다. 이처럼 단말장치(100)는 영상 마커를 잃어 버리게 되는 것을 방지하기 위해 일정 주기 또는 현재 사용되는 실시간 영상 마커가 한쪽으로 어느 정도 치우쳤을 때 현재 영상으로 실시간 영상 마커를 갱신할 수 있다.The terminal device 100 determines a virtual content, an augmentation position and a posture of the virtual content in the video acquired through the video acquisition unit, when the predetermined period or the current real-time image marker is biased to some extent Generates an image marker based on the feature points in the acquired image, matches the image marker to the augmented position, and displays the augmented reality by displaying the virtual content at the augmented position. In order to prevent the terminal device 100 from losing the image marker, the terminal device 100 can update the real-time image marker to the current image when the predetermined period or the currently used real-time image marker is shifted to one side to some extent.

이러한 단말장치(100)는 영상 획득부가 구비된 장치로, 예를 들면, 네비게이션 장치, 노트북, 이동통신 단말, 스마트폰(Smart phone), PMP(Portable Media Player), PDA(Personal Digital Assistant), 타블렛 PC(Tablet PC), 셋탑박스(Set-top box), 스마트 TV 등 다양한 장치가 될 수 있다.Such a terminal device 100 is an apparatus equipped with an image acquisition unit and may include a navigation device, a notebook computer, a mobile communication terminal, a smart phone, a portable media player (PMP), a personal digital assistant (PDA) A PC (Tablet PC), a set-top box, a smart TV, and the like.

단말장치(100)에 대한 상세한 설명은 도 2를 참조하기로 한다.
The terminal device 100 will be described in detail with reference to FIG.

도 2는 본 발명의 실시예에 따른 단말장치의 구성을 개략적으로 나타낸 블럭도, 도 3은 도 2에 도시된 자세정보 측정부의 구성을 구체적으로 나타낸 도면, 도 4는 도 2에 도시된 가상 컨텐츠 처리부의 구성을 구체적으로 나타낸 도면이다. FIG. 2 is a block diagram schematically showing a configuration of a terminal device according to an embodiment of the present invention. FIG. 3 is a diagram specifically showing the configuration of the attitude information measuring unit shown in FIG. 2. FIG. And specifically shows the structure of the processing section.

도 2를 참조하면, 단말장치(100)는 통신부(110), 입력부(120), 출력부(130), 저장부(140), 영상 획득부(150), 위치 측정부(160), 자세정보 측정부(170), 가상 컨텐츠 처리부(180), 제어부(190)를 포함한다. 2, the terminal device 100 includes a communication unit 110, an input unit 120, an output unit 130, a storage unit 140, an image acquisition unit 150, a position measurement unit 160, A measurement unit 170, a virtual content processing unit 180, and a control unit 190.

통신부(110)는 단말장치(100)와 서비스 제공 서버를 통신망을 통해 상호 연결시키는 통신 수단으로서, 예를 들어 이동통신, 위성통신 등의 무선 통신모듈, 인터넷 등의 유선 통신모듈, 와이파이 등의 근거리 무선 통신모듈 등을 포함할 수 있다.The communication unit 110 is a communication unit that interconnects the terminal device 100 and the service providing server through a communication network. For example, the communication unit 110 includes a wireless communication module such as mobile communication and satellite communication, a wired communication module such as the Internet, A wireless communication module, and the like.

입력부(120)는 단말장치(100)의 동작 제어를 위한 사용자 요청을 입력받기 위한 수단으로서, 사용자의 조작에 따라서 사용자의 요청을 전기 신호로 변환한다. 입력부(120)는 사용자로부터 문자, 숫자, 텍스트, 음성, 움직임, 촉각, 시각 등을 입력받는 입력 수단으로 예컨대, 입력 수단은 키보드, 키패드, 터치 스크린, 시각 감지 수단, 촉각 감지 수단, 움직임 감지 수단, 음성 입력 수단 등 다양한 형태로 구현될 수 있다. The input unit 120 is a means for receiving a user request for controlling the operation of the terminal device 100, and converts the request of the user into an electric signal according to a user's operation. The input unit 120 may be a keyboard, a keypad, a touch screen, a visual sensing unit, a tactile sensing unit, a motion sensing unit, , Voice input means, and the like.

출력부(130)는 애플리케이션 구동에 따른 화면 정보를 디스플레이하는 디스플레이 수단, 예를 들어 LCD(Liquid Crystal Display) 또는 OLED(Organic Light Emitting Diodes) 등 소형 평판 디스플레이장치로 구현되는 것이 바람직할 수 있다.The output unit 130 may be implemented as a display device for displaying screen information according to application driving, for example, a small flat display device such as an LCD (Liquid Crystal Display) or OLED (Organic Light Emitting Diodes).

저장부(140)는 단말장치(100)의 동작 제어 시 필요한 프로그램과, 그 프로그램 수행 중에 발생되는 데이터를 저장한다. 저장부(140)에는 증강현실 서비스 애플리케이션이 저장되어 있다. The storage unit 140 stores a program necessary for controlling the operation of the terminal device 100 and data generated during the execution of the program. The storage unit 140 stores an augmented reality service application.

영상 획득부(150)는 사용자 조작에 따라 영상을 촬영하는 구성으로, 예컨대 카메라 등을 포함할 수 있다. The image acquisition unit 150 is configured to capture an image according to a user operation, and may include, for example, a camera.

위치 측정부(160)는 단말장치(100)의 위치를 측정하는 구성으로, 예컨대, GPS, WIPI 측위 등의 위치 측정 장치일 수 있다. 즉, 위치 측정부(160)는 GPS위성으로부터 신호를 받아 현재 위치를 검출하는 GPS센서나, GPS위성신호의 수신이 불가능하거나 수신감도가 낮은 지역에서의 현재 위치 검출을 위하여 무선랜(WiFi) 기지국(Access Point)의 전파를 수신하여 대략적인 현재 위치를 검출하는 무선랜 장치를 포함할 수 있으며, 두 종류의 센서를 혼용하여 위치검출의 정확도를 보다 향상시킬 수도 있다.The position measuring unit 160 may measure the position of the terminal device 100 and may be a position measuring device such as GPS, WIPI positioning, or the like. That is, the position measuring unit 160 may be a GPS (Global Positioning System) sensor that receives a signal from a GPS satellite and detects a current position, a wireless LAN (WiFi) base station for detecting a current position in an area where reception of GPS satellite signals is impossible, And a wireless LAN device that receives a radio wave of an access point and detects an approximate current position. The two types of sensors may be used in combination to improve the accuracy of position detection.

자세정보 측정부(170)는 단말장치가 영상을 향한 방향, 가속도, 회전 정보 등을 포함하는 자세 정보를 측정한다. 이러한 자세정보 측정부(170)에 대해 도 3을 참조하면, 자세정보 측정부(170)는 방위각 센서(172), 가속도 센서(174), 회전각 센서(176)를 포함한다. The attitude information measuring unit 170 measures attitude information including direction, acceleration, and rotation information of the terminal device toward the image. Referring to FIG. 3, the attitude information measuring unit 170 includes an azimuth sensor 172, an acceleration sensor 174, and a rotation angle sensor 176.

방위각 센서(172)는 단말장치(100)의 위치에서 영상 획득부(150)가 영상을 향하고 있는 방향을 측정하는 것으로서, 지자기 센서 등을 포함할 수 있다. The azimuth sensor 172 measures the direction in which the image acquisition unit 150 is heading at the position of the terminal device 100 and may include a geomagnetic sensor or the like.

가속도 센서(174)는 단말장치(100)가 흔들리거나 급하게 이동될 때, 흔들림 또는 이동 가속도를 측정한다. The acceleration sensor 174 measures the shake or the movement acceleration when the terminal device 100 is shaken or moved rapidly.

회전각 센서(176)는 출력부(130)가 회전할 때 회전방향 및 회전각을 측정한다. 회전각 센서(176)는 2차원적인 회전만을 감지하도록 구성할 수도 있으나, 3차원적인 회전까지 감지할 수 있도록 구성할 수도 있다. 회전각 센서(176)는 회전각을 측정할 수 있는 센서로서, 가속도 센서, 각속도 센서, 지자기 센서, 기울기 센서 등을 포함할 수 있으며, 이들 센서를 둘 이상 조합하여 사용할 수도 있다. The rotation angle sensor 176 measures the rotation direction and the rotation angle when the output unit 130 rotates. The rotation angle sensor 176 may be configured to detect only two-dimensional rotation, but it may be configured to detect rotation three-dimensionally. The rotation angle sensor 176 may be an acceleration sensor, an angular velocity sensor, a geomagnetic sensor, a tilt sensor, or the like, and these sensors may be used in combination of two or more.

가상 컨텐츠 처리부(180)는 위치 측정부(160)에서 측정된 위치 및 자세정보 측정부(170)에 측정된 자세 정보가 기 설정된 안정화 조건을 만족하는 경우, 가상 컨텐츠, 가상 컨텐츠의 증강 위치 및 자세를 결정하고, 영상 획득부(150)에서 획득된 영상에서 특징점에 기반하여 영상 마커를 생성하며, 증강 위치에 영상 마커를 매칭하고, 증강위치에 가상 컨텐츠를 표시하여 증강현실을 제공한다. The virtual content processing unit 180 may be configured to determine whether the measured attitude information satisfies predetermined stabilization conditions in the position and attitude information measuring unit 170 measured by the position measuring unit 160, Generates an image marker based on the feature points in the image acquired by the image acquisition unit 150, matches the image marker to the augmentation position, and displays the augmented reality by displaying the virtual content at the augmentation position.

가상 컨텐츠 처리부(180)는 영상 마커가 이동하는 경우, 영상 마커의 위치와 크기를 근거로 가상 컨텐츠의 위치 및 크기를 보정하여 표시한다. When the image marker moves, the virtual content processing unit 180 corrects the position and size of the virtual content based on the position and the size of the image marker.

가상 컨텐츠 처리부(180)는 기 설정된 갱신 조건이 되면, 영상 획득부(150)를 통해 획득된 영상에서 가상 컨텐츠, 가상 컨텐츠의 증강 위치 및 자세를 결정하고, 획득된 영상에서 특징점에 기반하여 영상 마커를 다시 생성하며, 증강 위치에 영상 마커를 매칭하고, 증강위치에 가상 컨텐츠를 표시하여 증강현실을 제공한다. The virtual content processing unit 180 determines the enhancement position and posture of the virtual content and the virtual content in the image acquired through the image acquisition unit 150, The image marker is matched to the augmented position, and the augmented reality is provided by displaying the virtual content at the augmented position.

이러한 가상 컨텐츠 처리부(180)에 대해 도 4를 참조하면, 가상 컨텐츠 처리부(180)는 안정화 판단모듈(181), 가상 컨텐츠 결정모듈(182), 위치 및 자세 결정모듈(183), 영상 마커 생성모듈(184), 가상 컨텐츠 처리모듈(188)을 포함한다. 4, the virtual content processing unit 180 includes a stabilization determination module 181, a virtual content determination module 182, a position and orientation determination module 183, a video marker generation module 183, (184), and a virtual content processing module (188).

안정화 판단모듈(181)은 위치 측정부(160)에서 측정된 위치 및 자세정보 측정부(170)에 측정된 자세 정보가 기 설정된 안정화 조건을 만족하는지의 여부를 판단한다. 여기서, 안정화 조건은 현재 위치의 정확도, 자세정보의 값(방위각, 각도변화)이 각각 기 설정된 일정값 이하인 경우를 포함한다. 예컨대, 안정화 조건은 GPS의 정확도가 2m 이내의 값, 1초 이전의 방위각 센서의 값이 방위각 특정 값(2도) 이내, 1초 이전의 회전각 센서의 각도 변화가 특정 값(X도) 이내 등일 수 있다. The stabilization determination module 181 determines whether the measured posture information measured by the position measurement unit 160 meets a predetermined stabilization condition. Here, the stabilization condition includes the case where the accuracy of the current position and the value of the attitude information (azimuth angle, angle change) are each less than or equal to a predetermined constant value. For example, the stabilization condition is that the accuracy of the GPS is less than 2 m, the azimuth sensor before 1 second is within azimuth specific value (2 degrees), the angle change of the rotation angle sensor is less than 1 second before the specific value (X degree) And so on.

가상 컨텐츠 결정모듈(182)은 안정화 판단모듈(181)의 판단결과 안정화 조건을 만족하는 경우, 영상 획득부(150)에서 획득된 영상으로부터 패턴을 추출하고, 추출된 패턴에 관련된 가상 컨텐츠를 결정하거나, 상기 측정된 위치 정보에 관련된 가상 컨텐츠를 결정한다. 즉, 가상 컨텐츠 결정모듈(182)은 안정화 조건을 만족하는 경우, 위치 및 자세 정보가 정확한 값이라고 판단하여, 가상 컨텐츠를 결정하게 된다. If the stabilization condition is satisfied as a result of the determination by the stabilization determination module 181, the virtual content determination module 182 extracts a pattern from the image acquired by the image acquisition unit 150, determines virtual content related to the extracted pattern , And determines the virtual content related to the measured position information. That is, when the stabilization condition is satisfied, the virtual content determination module 182 determines that the location and attitude information is correct and determines the virtual content.

위치 및 자세 결정모듈(183)은 영상 획득부(150)에서 획득된 영상의 컬러 정보를 이용하여 특징점을 추출하거나, 균등한 공간상에서 관측 확률에 근거하여 특징점을 추출하고, 추출된 특징점에 기반하여 가상 컨텐츠의 증강 위치를 결정하며, 자세정보 측정부(170)에서 측정된 자세 정보를 근거로 가상 컨텐츠의 자세를 결정한다. 이때, 위치 및 자세 결정모듈(183)은 SIFT(Scale Invariant Feature Transform) 알고리즘에 기반하여 특징점을 추출할 수 있다. 3차원 공간에서 특징점을 인식 및 추적을 하기 위해서는 장면의 3차원 좌표 정보와 그에 상응하는 특징 정보가 요구된다. 이를 위해, 3차원 공간을 오프라인 상에서 복원하고, 복원된 공간에서 중요한 SIFT 특징점을 균등한 공간 상에서 관측 확률에 근거해 선별한다. 실제 카메라 추적 시에는 선별된 특징점을 이용해 매칭을 수행하고, 매칭은 카메라 공간 상의 위치 정보를 이용해 추정된 카메라 FOV(Field of View) 영역 안에서 진행한다. 그러므로, 오프라인에서 넓은 영역을 복원해 특징 데이터가 증가함에 따라 카메라 추적 속도에 큰 영향을 미치지 않는다.The position and orientation determination module 183 extracts feature points using the color information of the image acquired by the image acquisition unit 150, extracts feature points based on observation probabilities in an even space, Determines the augmentation position of the virtual content, and determines the posture of the virtual content based on the posture information measured by the posture information measurement unit 170. At this time, the position and orientation determination module 183 can extract feature points based on a Scale Invariant Feature Transform (SIFT) algorithm. In order to recognize and track the feature points in the 3D space, the 3D coordinate information of the scene and corresponding feature information are required. To do this, the 3D space is restored offline, and important SIFT feature points in the reconstructed space are selected based on observation probabilities in an even space. In actual camera tracking, matching is performed using the selected feature points, and matching is performed in the field of view (FOV) field of the camera estimated using the position information on the camera space. Therefore, as the feature data is restored by restoring a large area in the off-line, the camera tracking speed is not greatly affected.

영상 마커 생성모듈(184)은 영상 획득부(150)에서 획득된 영상에서 특징점에 기반하여 영상 마커를 생성하고, 위치 및 자세 결정모듈(183)에서 결정된 증강 위치에 영상 마커를 매칭한다. The image marker generation module 184 generates image markers based on the feature points in the image obtained by the image acquisition unit 150 and matches the image markers to the enhancement positions determined by the position and orientation determination module 183.

가상 컨텐츠 처리모듈(185)은 위치 및 자세 결정모듈(183)에서 결정된 증강위치에 가상 컨텐츠를 표시하여 증강현실을 제공하고, 영상 마커가 이동하는 경우, 영상 마커의 위치와 크기를 근거로 가상 컨텐츠의 위치 및 크기를 보정하여 표시한다. 즉, 가상 컨텐츠 처리모듈(185)은 영상 마커를 잃어버리기 전까지는 실시간 영상 마커를 기준으로 결정된 가상 컨텐츠의 위치 및 크기로 가상 컨텐츠를 보정하여 증강현실을 구현한다. 가상 컨텐츠 처리모듈(185)은 가상 컨텐츠를 표시할 때에 획득된 영상의 깊이 정보 또는 획득된 영상의 맥락정보를 이용한다. 또한, 가상 컨텐츠 처리모듈(185)은 증강된 가상 컨텐츠의 가림현상, 그림자 렌더링, 실제-가상 컨텐츠간 충돌 해결을 위해서는 실제 객체와 같은 크기나 모양을 갖는 가상 모델이 필요하다. 증강현실에서 실제와 같은 가상 모델은 크기와 자세가 정확하게 얼라인되어야 향상된 몰입감을 제공할 수 있다. 이를 통해 현실세계와 유사한 환경으로 가상 컨텐츠를 표시할 수 있다. The virtual content processing module 185 provides the augmented reality by displaying the virtual content at the augmentation position determined by the position and orientation determination module 183, and when the image marker moves, And corrects the position and size. That is, the virtual content processing module 185 implements the augmented reality by correcting the virtual content to the position and size of the virtual content determined based on the real-time image marker until the virtual image content is lost. The virtual content processing module 185 uses the depth information of the acquired image or the context information of the acquired image when displaying the virtual content. In addition, the virtual content processing module 185 needs a virtual model having the same size or shape as an actual object in order to perform blurring of enhanced virtual contents, shadow rendering, and conflict resolution between real and virtual contents. In augmented reality, a realistic virtual model can provide improved immersion when the size and posture are correctly aligned. This enables virtual content to be displayed in an environment similar to the real world.

가상 컨텐츠 처리모듈(185)은 기 설정된 갱신 조건이 되면, 영상 획득부(150)를 통해 획득된 영상에서 가상 컨텐츠, 상기 가상 컨텐츠의 증강 위치 및 자세를 결정하고, 획득된 영상에서 특징점에 기반하여 영상 마커를 다시 생성하며, 증강 위치에 영상 마커를 매칭하고, 상기 증강위치에 가상 컨텐츠를 표시하여 증강현실을 제공한다. 여기서, 갱신 조건은 단말장치의 회전이나 많은 이동으로 실시간 영상 마커가 화면에서 사라질 경우, 일정 주기, 현재 사용되는 실시간 영상 마커가 한쪽으로 어느 정도 치우치는 경우 등을 포함할 수 있다. 이처럼 가상 컨텐츠 처리모듈(185)은 영상 마커를 잃어 버리게 되는 것을 방지하기 위해 일정 주기 또는 현재 사용되는 실시간 영상 마커가 한쪽으로 어느 정도 치우쳤을 때 현재 영상으로 실시간 영상 마커를 갱신할 수 있다. 또한, 가상 컨텐츠 처리모듈(185)은 단말장치의 회전이나 많은 이동으로 실시간 영상 마커가 화면에서 사라질 경우, 다시 처음으로 돌아가 단말장치의 위치정보와 자세정보가 기 설정된 안정화 조건을 만족할 때까지 기다려 새로운 영상 마커를 생성하고, 그 영상 마커를 기준으로 가상 컨텐츠를 보정하여 증강현실을 구현할 수 있다. The virtual content processing module 185 determines a virtual content, an augmentation position and an attitude of the virtual content in the image acquired through the image acquisition unit 150, and acquires, based on the feature point, The image marker is generated again, the image marker is matched to the augmented position, and the augmented reality is provided by displaying the virtual content at the augmented position. Here, the update condition may include a case where the real-time image marker disappears from the screen due to rotation or a lot of movement of the terminal device, a certain period, a case where the currently used real-time image marker is biased to some extent, and the like. As described above, the virtual content processing module 185 can update the real-time image marker to a current image when a certain period or a currently used real-time image marker is shifted to some extent to prevent the image marker from being lost. In addition, when the real-time image marker disappears from the screen due to rotation or movement of the terminal device, the virtual content processing module 185 waits until the position information and the attitude information of the terminal device satisfy the predetermined stabilization condition, An augmented reality can be implemented by generating a video marker and correcting the virtual content based on the video marker.

제어부(190)는 통신부(110), 입력부(120), 출력부(130), 저장부(140), 영상 획득부(150), 위치 측정부(160), 자세정보 측정부(170), 가상 컨텐츠 처리부(180) 등을 포함하는 단말장치(100) 각 부의 동작을 제어한다.
The control unit 190 includes a communication unit 110, an input unit 120, an output unit 130, a storage unit 140, an image acquisition unit 150, a position measurement unit 160, an attitude information measurement unit 170, And controls the operation of each unit of the terminal device 100 including the content processing unit 180 and the like.

도 5는 본 발명의 실시예에 따른 단말장치의 위치 및 자세정보를 이용한 증강현실 서비스 방법을 나타낸 도면이다. 5 is a diagram illustrating a method of augmented reality service using position and attitude information of a terminal according to an embodiment of the present invention.

도 5를 참조하면, 단말장치는 증강현실 서비스 애플리케이션 실행으로 영상획득부를 통해 영상이 획득되면(S502), 단말장치의 위치 및 자세 정보를 측정한다(S504).Referring to FIG. 5, when the terminal acquires an image through the image acquisition unit by executing the augmented reality service application (S502), it measures the position and attitude information of the terminal (S504).

그런 후, 단말장치는 측정된 위치 및 자세 정보가 기 설정된 안정화 조건을 만족하는지의 여부를 판단한다(S506).Then, the terminal determines whether the measured position and attitude information satisfies predetermined stabilization conditions (S506).

S506의 판단결과, 안정화 조건을 만족하면, 단말장치는 가상 컨텐츠, 상기 가상 컨텐츠의 증강 위치 및 자세를 결정한다(S508). 즉, 안정화 조건을 만족하는 경우, 단말장치는 획득된 영상으로부터 패턴을 추출하고, 추출된 패턴에 관련된 가상 컨텐츠를 결정하거나, 단말장치의 위치 정보에 관련된 가상 컨텐츠를 결정한다. 그런 후, 단말장치는 획득된 영상의 컬러 정보를 이용하여 특징점을 추출하거나, 균등한 공간 상에서 관측 확률에 근거하여 특징점을 추출하고, 상기 추출된 특징점에 기반하여 가상 컨텐츠의 증강 위치를 결정하고, 단말장치의 자세 정보를 근거로 가상 컨텐츠의 자세를 결정한다. As a result of the determination in S506, if the stabilization condition is satisfied, the terminal device determines the virtual content, the augmentation position and attitude of the virtual content (S508). That is, when the stabilization condition is satisfied, the terminal device extracts the pattern from the acquired image, determines the virtual content related to the extracted pattern, or determines the virtual content related to the location information of the terminal device. Then, the terminal extracts the feature points using the color information of the obtained image, extracts the feature points based on the observation probabilities in the uniform space, determines the enhancement positions of the virtual contents based on the extracted feature points, The posture of the virtual content is determined based on the posture information of the terminal device.

S508이 수행되면, 단말장치는 획득된 영상에서 특징점에 기반하여 영상 마커를 생성하고(S510), 증강 위치에 영상 마커를 매칭하며, 증강위치에 가상 컨텐츠를 표시하여 증강현실을 제공한다(S512).When the step S508 is performed, the terminal generates an image marker based on the feature point in the acquired image (S510), matches the image marker to the augmentation position, displays the virtual content at the augmentation position, and provides the augmented reality (S512) .

증강현실을 제공하는 중에 영상 마커가 이동하면(S514), 단말장치는 영상 마커의 위치와 크기를 근거로 가상 컨텐츠의 위치 및 크기를 보정하여 표시하고(S516), 기 설정된 갱신 조건이 되는지의 여부를 판단한다(S518).If the image marker moves during provision of the augmented reality (S514), the terminal device displays the corrected position and size of the virtual content based on the position and size of the image marker (S516) (S518).

S518의 판단결과, 기 설정된 갱신조건이 되면, 단말장치는 현재 영상을 획득하고 S504부터 다시 수행한다.
As a result of the determination in step S518, if the predetermined update condition is satisfied, the terminal device acquires the current image and performs the processing again from step S504.

한편, 단말장치의 위치 및 자세정보를 이용한 증강현실 서비스 방법은 프로그램으로 작성 가능하며, 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 프로그래머에 의하여 용이하게 추론될 수 있다. Meanwhile, the augmented reality service method using the position and attitude information of the terminal device can be created by a program, and the codes and code segments constituting the program can be easily deduced by a programmer in the field.

이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
Thus, those skilled in the art will appreciate that the present invention may be embodied in other specific forms without departing from the spirit or essential characteristics thereof. It is therefore to be understood that the embodiments described above are to be considered in all respects only as illustrative and not restrictive. The scope of the present invention is defined by the appended claims rather than the detailed description and all changes or modifications derived from the meaning and scope of the claims and their equivalents are to be construed as being included within the scope of the present invention do.

100 : 단말장치 110 : 통신부
120 : 입력부 130 : 출력부
140 : 저장부 150 : 영상 획득부
160 : 위치 측정부 170 : 자세정보 측정부
180 : 가상 컨텐츠 처리부 190 : 제어부100: terminal device 110:
120: input unit 130: output unit
140: storage unit 150: image acquisition unit
160: position measuring unit 170: attitude information measuring unit
180: Virtual content processing unit 190:

Claims (7)

현재 위치를 측정하는 위치 측정부;
단말장치의 자세정보를 측정하는 자세정보 측정부;
영상을 획득하는 영상 획득부;
상기 측정된 위치 및 자세 정보가 기 설정된 안정화 조건을 만족하는 경우, 가상 컨텐츠, 상기 가상 컨텐츠의 증강 위치 및 자세를 결정하고, 상기 획득된 영상에서 특징점에 기반하여 영상 마커를 생성하며, 상기 증강 위치에 상기 영상 마커를 매칭하고, 상기 증강위치에 상기 가상 컨텐츠를 표시하여 증강현실을 제공하며, 상기 영상 마커가 이동하는 경우, 상기 영상 마커의 위치와 크기를 근거로 상기 가상 컨텐츠의 위치 및 크기를 보정하여 표시하는 가상 컨텐츠 처리부;
를 포함하는 단말장치.
A position measuring unit for measuring a current position;
An attitude information measuring unit for measuring attitude information of the terminal device;
An image acquiring unit acquiring an image;
Determining an enhancement position and an attitude of the virtual content and the virtual content when the measured position and attitude information satisfies a preset stabilization condition, generating an image marker based on the feature point in the obtained image, The position and size of the virtual content are determined based on the position and the size of the image marker when the image marker is moved, A virtual content processing unit for correcting and displaying the virtual content;
.
제1항에 있어서,
상기 가상 컨텐츠 처리부는 기 설정된 갱신 조건이 되면, 상기 영상 획득부를 통해 획득된 영상에서 가상 컨텐츠, 상기 가상 컨텐츠의 증강 위치 및 자세를 결정하고, 상기 획득된 영상에서 특징점에 기반하여 영상 마커를 생성하며, 상기 증강 위치에 상기 영상 마커를 매칭하고, 상기 증강위치에 상기 가상 컨텐츠를 표시하여 증강현실을 제공하는 것을 특징으로 하는 단말장치.
The method according to claim 1,
The virtual content processing unit determines a virtual content, an augmentation position and a posture of the virtual content in the image acquired through the image acquisition unit, and generates an image marker based on the feature point in the acquired image, , The image marker is matched with the augmented position, and the virtual content is displayed at the augmented position to provide an augmented reality.
제1항에 있어서,
상기 자세정보 측정부는 상기 단말장치가 상기 영상을 향한 방향, 가속도, 회전 정보 중 적어도 하나를 포함하는 자세 정보를 측정하는 것을 특징으로 하는 단말장치.
The method according to claim 1,
Wherein the attitude information measuring unit measures attitude information including at least one of direction, acceleration, and rotation information of the terminal device toward the image.
제1항에 있어서,
상기 가상 컨텐츠 처리부는,
상기 자세정보 측정부에서 측정된 위치 및 자세 정보가 기 설정된 안정화 조건을 만족하는지의 여부를 판단하는 안정화 판단모듈;
상기 안정화 조건을 만족하는 경우, 상기 영상 획득부에서 획득된 영상으로부터 패턴을 추출하고, 상기 추출된 패턴에 관련된 가상 컨텐츠를 결정하거나, 상기 측정된 위치 정보에 관련된 가상 컨텐츠를 결정하는 가상 컨텐츠 결정모듈;
상기 획득된 영상의 컬러 정보를 이용하여 특징점을 추출하거나, 균등한 공간상에서 관측 확률에 근거하여 특징점을 추출하고, 상기 추출된 특징점에 기반하여 상기 가상 컨텐츠의 증강 위치를 결정하며, 상기 자세정보 측정부에서 측정된 자세 정보를 근거로 상기 가상 컨텐츠의 자세를 결정하는 위치 및 자세 결정모듈;
상기 획득된 영상에서 특징점에 기반하여 영상 마커를 생성하고, 상기 위치 및 자세 결정모듈에서 결정된 증강 위치에 상기 영상 마커를 매칭하는 영상 마커 생성 모듈;
상기 증강위치에 상기 가상 컨텐츠를 표시하여 증강현실을 제공하고, 상기 영상 마커가 이동하는 경우, 상기 영상 마커의 위치와 크기를 근거로 상기 가상 컨텐츠의 위치 및 크기를 보정하여 표시하는 가상 컨텐츠 처리모듈을 포함하는 것을 특징으로 하는 단말장치.
The method according to claim 1,
The virtual content processing unit,
A stabilization determining module that determines whether the position and attitude information measured by the attitude information measuring unit satisfies a predetermined stabilization condition;
A virtual content determination module that extracts a pattern from the image acquired by the image acquisition unit, determines virtual content related to the extracted pattern, and determines virtual content related to the measured position information when the stabilization condition is satisfied, ;
Extracting feature points using the color information of the obtained image, extracting feature points based on observation probabilities in an even space, determining an enhancement position of the virtual content based on the extracted feature points, A position and posture determining module for determining a posture of the virtual content based on the posture information measured by the posture determining module;
An image marker generation module for generating an image marker based on the feature points in the acquired image and matching the image marker to the enhancement position determined by the position and orientation determination module;
A virtual content processing module that displays the virtual content at the augmented position to provide an augmented reality and corrects the position and size of the virtual content based on the position and size of the video marker when the video marker moves, And a terminal device.
단말장치가 위치 및 자세정보를 이용하여 증강 현실 서비스를 제공하는 방법에 있어서,
(a) 영상을 획득하는 단계
(b) 단말장치의 위치 및 자세 정보를 측정하고, 상기 측정된 위치 및 자세 정보가 기 설정된 안정화 조건을 만족하는지의 여부를 판단하는 단계;
(c) 상기 안정화 조건을 만족하는 경우, 가상 컨텐츠, 상기 가상 컨텐츠의 증강 위치 및 자세를 결정하고, 상기 획득된 영상에서 특징점에 기반하여 영상 마커를 생성하는 단계;
(d) 상기 증강 위치에 상기 영상 마커를 매칭하고, 상기 증강위치에 상기 가상 컨텐츠를 표시하여 증강현실을 제공하는 단계;
(e) 상기 영상 마커가 이동하는 경우, 상기 영상 마커의 위치와 크기를 근거로 상기 가상 컨텐츠의 위치 및 크기를 보정하여 표시하고, 기 설정된 갱신 조건이 되는지의 여부를 판단하는 단계; 및
(f) 상기 갱신 조건이 되면, 현재 영상을 획득하고 (b) 단계부터 다시 수행하는 단계;
를 포함하는 단말장치의 위치 및 자세정보를 이용한 증강현실 서비스 방법.
A method for providing augmented reality service using a position and attitude information of a terminal device,
(a) acquiring an image
(b) measuring position and attitude information of the terminal device, and determining whether the measured position and attitude information satisfies predetermined stabilization conditions;
(c) if the stabilization condition is satisfied, determining virtual content, augmentation position and posture of the virtual content, and generating an image marker based on the feature point in the obtained image;
(d) providing the augmented reality by matching the image marker to the augmentation position and displaying the virtual content at the augmentation position;
(e) when the image marker moves, correcting the position and size of the virtual content based on the position and size of the image marker, and determining whether the virtual marker is in a preset update condition; And
(f) acquiring a current image if the update condition is satisfied;
The method comprising the steps of: (a) receiving a position information of a terminal device and a position information of the terminal device;
제5항에 있어서,
상기 (c)단계는,
상기 안정화 조건을 만족하는 경우, 상기 획득된 영상으로부터 패턴을 추출하고, 상기 추출된 패턴에 관련된 가상 컨텐츠를 결정하거나, 상기 단말장치의 위치 정보에 관련된 가상 컨텐츠를 결정하는 단계;
상기 획득된 영상의 컬러 정보를 이용하여 특징점을 추출하거나, 균등한 공간 상에서 관측 확률에 근거하여 특징점을 추출하고, 상기 추출된 특징점에 기반하여 상기 가상 컨텐츠의 증강 위치를 결정하고, 상기 단말장치의 자세 정보를 근거로 상기 가상 컨텐츠의 자세를 결정하는 단계; 및
상기 획득된 영상에서 특징점에 기반하여 영상 마커를 생성하는 단계를 포함하는 것을 특징으로 하는 단말장치의 위치 및 자세정보를 이용한 증강현실 서비스 방법.
6. The method of claim 5,
The step (c)
Extracting a pattern from the obtained image, determining virtual contents related to the extracted pattern or determining virtual contents related to the location information of the terminal apparatus when the stabilization condition is satisfied;
Extracting feature points using the color information of the obtained image, extracting feature points based on observation probabilities in an even space, determining enhancement positions of the virtual contents based on the extracted feature points, Determining a posture of the virtual content based on posture information; And
And generating an image marker based on the feature point in the acquired image.
제5항에 있어서,
상기 (e)단계는,
상기 영상 마커가 이동하는 경우, 상기 영상 마커의 크기에 비례하도록 상기 가상 컨텐츠의 크기를 결정하고, 상기 영상 마커의 자세 정보를 근거로 상기 가상 컨텐츠의 자세를 결정하는 단계;
상기 결정된 크기와 자세에 따라 상기 가상 컨텐츠의 크기와 자세를 보정하는 단계; 및
상기 보정된 가상 컨텐츠를 상기 영상 마커의 위치에 매칭하여 표시하고, 기 설정된 갱신 조건이 되는지의 여부를 판단하는 단계를 포함하는 것을 특징으로 하는 단말장치의 위치 및 자세정보를 이용한 증강현실 서비스 방법.
6. The method of claim 5,
The step (e)
Determining a size of the virtual content in proportion to the size of the image marker when the image marker moves and determining a posture of the virtual content based on the posture information of the image marker;
Correcting the size and posture of the virtual content according to the determined size and posture; And
And displaying the corrected virtual content by matching the position of the image marker with the position of the image marker, and determining whether the virtual content is a preset update condition.
KR1020140015509A 2014-02-11 2014-02-11 System and method for providing augmented reality service using of terminal location and pose KR20150094338A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140015509A KR20150094338A (en) 2014-02-11 2014-02-11 System and method for providing augmented reality service using of terminal location and pose

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140015509A KR20150094338A (en) 2014-02-11 2014-02-11 System and method for providing augmented reality service using of terminal location and pose

Publications (1)

Publication Number Publication Date
KR20150094338A true KR20150094338A (en) 2015-08-19

Family

ID=54057847

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140015509A KR20150094338A (en) 2014-02-11 2014-02-11 System and method for providing augmented reality service using of terminal location and pose

Country Status (1)

Country Link
KR (1) KR20150094338A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180026291A (en) * 2016-09-02 2018-03-12 변규민 music content service system and providing method using augmented reality
KR101983496B1 (en) * 2018-03-12 2019-05-28 순천향대학교 산학협력단 Augmented reality dialogue system reflecting character location and location of objects, and method thereof
WO2022102803A1 (en) * 2020-11-11 2022-05-19 엔티콘 주식회사 Augmented-reality-based content providing method and providing device

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180026291A (en) * 2016-09-02 2018-03-12 변규민 music content service system and providing method using augmented reality
KR101983496B1 (en) * 2018-03-12 2019-05-28 순천향대학교 산학협력단 Augmented reality dialogue system reflecting character location and location of objects, and method thereof
WO2022102803A1 (en) * 2020-11-11 2022-05-19 엔티콘 주식회사 Augmented-reality-based content providing method and providing device

Similar Documents

Publication Publication Date Title
US11195307B2 (en) Image processing apparatus, image processing method, and program
US11163997B2 (en) Methods and apparatus for venue based augmented reality
WO2019205842A1 (en) Method and device for repositioning in camera orientation tracking process, and storage medium
US10225506B2 (en) Information processing apparatus and information processing method
US9497389B2 (en) Information processing device, information processing method, and program for reduction of noise effects on a reference point
JP6421670B2 (en) Display control method, display control program, and information processing apparatus
KR20150082358A (en) Reference coordinate system determination
EP3688724A1 (en) Display of a live scene and auxiliary object
JP2017146749A (en) Control program, control method, and computer
US10140002B2 (en) Information processing apparatus, information processing method, and program
Marto et al. DinofelisAR demo augmented reality based on natural features
US11609345B2 (en) System and method to determine positioning in a virtual coordinate system
US9459115B1 (en) Unobstructed map navigation using animation
US20140152562A1 (en) Display controller, display system, storage medium and method
EP2741205A2 (en) Display system, display controller, program and method
CN112729327A (en) Navigation method, navigation device, computer equipment and storage medium
US20220026981A1 (en) Information processing apparatus, method for processing information, and program
KR20150094338A (en) System and method for providing augmented reality service using of terminal location and pose
KR20130002663A (en) System and method for providing augmented reality
WO2014009602A1 (en) Methods, apparatuses and computer program products for smooth rendering of augmented reality using rotational kinematics modeling
US9286939B2 (en) Information-processing system, information-processing device, storage medium, and method
JP5527005B2 (en) POSITION ESTIMATION DEVICE, POSITION ESTIMATION METHOD, AND POSITION ESTIMATION PROGRAM
KR20180062187A (en) Method and apparatus for controlling displaying of augmented reality contents based on gyro sensor
KR20150094121A (en) System and method for providing augmented reality service using of imaginary space
US20210295557A1 (en) Device and method for position determination in a 3d model of an environment

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application