KR20140125596A - Mobile apparatus for providing augmented reality and method thereof - Google Patents

Mobile apparatus for providing augmented reality and method thereof Download PDF

Info

Publication number
KR20140125596A
KR20140125596A KR1020130043584A KR20130043584A KR20140125596A KR 20140125596 A KR20140125596 A KR 20140125596A KR 1020130043584 A KR1020130043584 A KR 1020130043584A KR 20130043584 A KR20130043584 A KR 20130043584A KR 20140125596 A KR20140125596 A KR 20140125596A
Authority
KR
South Korea
Prior art keywords
augmented reality
image
obstacle
user
unit
Prior art date
Application number
KR1020130043584A
Other languages
Korean (ko)
Other versions
KR101455236B1 (en
Inventor
이봉규
김동욱
Original Assignee
주식회사 제이엠랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 제이엠랩 filed Critical 주식회사 제이엠랩
Priority to KR1020130043584A priority Critical patent/KR101455236B1/en
Publication of KR20140125596A publication Critical patent/KR20140125596A/en
Application granted granted Critical
Publication of KR101455236B1 publication Critical patent/KR101455236B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

A mobile device for providing augmented reality includes: a camera unit which takes an image; a feature extraction unit which detects feature points of an object included in the image and a user; a control unit which determines the shape data of the user and sets a target point to provide augmented reality based on the shape data of the user and the feature points of the object; a path setting unit which calculates a target angle between the target point and the moving angle and calculates a steering angle for movement according to the target angle and the arrangement format of obstacles; and a driving unit which moves the mobile device for providing augmented reality according to the steering angle. As the mobile device for providing augmented reality autonomously moves according to surrounding environments and moves towards the target point appropriate for implementing augmented reality, it is possible to provide augmented reality in the optimum space.

Description

이동형 증강현실 제공 장치 및 그 방법{MOBILE APPARATUS FOR PROVIDING AUGMENTED REALITY AND METHOD THEREOF}TECHNICAL FIELD [0001] The present invention relates to a mobile augmented reality providing apparatus,

본 발명은 이동형 증강현실 제공 장치 및 그 방법에 관한 것으로, 보다 상세하게는 자율주행이 가능한 이동형 증강현실 제공 장치 및 그 방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a mobile augmented reality providing apparatus and a method thereof, and more particularly, to a mobile augmented reality providing apparatus and a method thereof capable of autonomous travel.

증강현실(Augmented Reality)이란 위치 및 방향 정보를 이용하여 대략적인 위치를 파악하고 주변의 건물 정보와 같은 시설물 정보와 카메라의 움직임에 따라 입력되는 실사 영상 정보 간의 비교를 통해 사용자가 원하는 서비스를 파악하여 관련 정보를 제공하는 기술을 말한다.The Augmented Reality is a method to grasp the approximate position using the location and direction information and to grasp the desired service through comparison between the facility information such as the building information in the vicinity and the real image information inputted according to the movement of the camera And to provide relevant information.

이러한 증강현실 기술에는 마커 기반의 증강현실 기술과 센서 기반의 증강현실 기술이 있다. 마커 기반의 증강현실 기술은 특정 건물에 대응되는 마커를 건물과 함께 촬영한 후 마커를 인식하여 해당 건물을 인식하는 기술이다. 센서 기반의 증강현실 기술은 단말기에 탑재된 GPS, 전자 나침반(Digital Compass) 등을 이용하여 단말기의 현재 위치 및 주시 방향을 유추하여 유추된 방향으로 영상에 해당하는 POI(Point of Interests) 정보를 오버레이(Overlay) 시켜주는 기술이다.These augmented reality technologies include marker-based augmented reality technologies and sensor-based augmented reality technologies. The marker-based augmented reality technology is a technology for recognizing a marker by recognizing a marker corresponding to a particular building after taking it with the building. The sensor-based augmented reality technology uses the GPS and the electronic compass mounted on the terminal to infer the current position and the direction of the terminal and overlay the point of interest (POI) information corresponding to the image in the derived direction. (Overlay) technology.

종래에는 객체 인식을 위한 마커, 위치 제공을 위한 센서, 증강현실을 표현하는 디스플레이 등이 고정된 상태에서 증강현실이 구현되었다. 이와 같이, 마커, 센서, 디스플레이 등이 고정된 환경 하에서는 복잡한 실생활에 대한 증강현실을 구현하는데 어려움이 있다.Conventionally, an augmented reality is realized in a state where a marker for object recognition, a sensor for providing a position, and a display representing an augmented reality are fixed. As described above, it is difficult to realize an augmented reality for complex real life under an environment where markers, sensors, displays, and the like are fixed.

한국공개특허 제10-2012-0046613호Korean Patent Publication No. 10-2012-0046613

본 발명이 해결하고자 하는 기술적 과제는 사용자의 위치, 자세, 시선 방향 등에 따라 적응적으로 증강현실을 구현할 수 있는 이동형 증강현실 제공 장치 및 그 방법을 제공함에 있다. An object of the present invention is to provide a mobile augmented reality providing apparatus and method capable of adaptively implementing an augmented reality according to a user's position, posture, gaze direction, and the like.

본 발명의 일 실시예에 따른 이동형 증강현실 제공 장치는 영상을 촬영하는 카메라부, 상기 영상에 포함된 객체의 특징점 및 사용자를 검출하는 특징 추출부, 상기 사용자의 형태 정보를 결정하고, 상기 사용자의 형태 정보 및 상기 객체의 특징점을 기반으로 증강현실 제공을 위한 목표점을 설정하는 제어부, 상기 목표점과 이동 방향 간의 타겟각을 산출하고, 상기 타겟각 및 장애물의 배치유형에 따라 이동을 위한 조향각을 산출하는 경로 설정부, 및 상기 조향각에 따라 상기 이동형 증강현실 제공 장치를 이동시키는 구동부를 포함한다.A mobile augmented reality providing apparatus according to an embodiment of the present invention includes a camera unit for capturing an image, a feature extraction unit for detecting a feature point and a user of an object included in the image, a shape determination unit for determining shape information of the user, A control unit configured to set a target point for providing an augmented reality based on shape information and feature points of the object, a target angle between the target point and the movement direction, and a steering angle for movement according to the target angle and the placement type of the obstacle And a driving unit for moving the mobile augmented reality providing apparatus according to the steering angle.

상기 객체의 특징점을 데이터베이스에 저장되어 있는 객체의 특징 정보와 비교하여 상기 객체에 대응하는 컨텐츠 정보를 호출하고, 상기 영상에 상기 컨텐츠 정보를 합성하여 합성 영상을 생성하는 합성부를 더 포함할 수 있다.And a synthesis unit for generating a synthesized image by synthesizing the content information with the image by comparing the minutiae point of the object with the feature information of the object stored in the database and calling the content information corresponding to the object.

상기 합성 영상을 디스플레이하는 디스플레이부를 더 포함할 수 있다.And a display unit for displaying the composite image.

상기 장애물과의 거리를 센싱하는 센싱부를 더 포함할 수 있다.And a sensing unit for sensing a distance to the obstacle.

상기 경로 설정부는 좌측 전방의 장애물, 중간 전방의 장애물 및 우측 전방의 장애물과의 거리를 소정의 기준치와 비교하여 상기 장애물의 배치유형을 결정할 수 있다.The path setting unit may determine a placement type of the obstacle by comparing a distance between an obstacle on the left front side, an obstacle on the middle front side, and an obstacle on the right front side with a predetermined reference value.

상기 카메라부는 촬영 방향 조절을 위한 2축 회전이 가능하도록 마련되고, 상기 제어부는 상기 사용자를 검출하기 위해 상기 카메라부의 촬영 방향을 제어할 수 있다.The camera unit is capable of two-axis rotation for adjusting a photographing direction, and the control unit can control the photographing direction of the camera unit to detect the user.

본 발명의 다른 실시예에 따른 이동형 증강현실 제공 장치를 이용하여 증강현실을 제공하는 방법은 제1 영상을 촬영하는 단계, 상기 제1 영상에 포함된 사용자를 검출하는 단계, 상기 제1 영상에 포함된 객체의 특징점을 추출하는 단계, 상기 사용자의 형태 정보를 결정하고, 상기 사용자의 형태 정보 및 상기 객체의 특징점을 기반으로 증강현실 제공을 위한 목표점을 설정하는 단계, 상기 목표점과 이동 방향 간의 타겟각을 산출하고, 상기 타겟각 및 장애물의 배치유형에 따라 이동을 위한 조향각을 산출하는 단계, 및 상기 조향각에 따라 상기 이동형 증강현실 제공 장치가 상기 목표점으로 이동하는 단계를 포함한다.According to another aspect of the present invention, there is provided a method of providing augmented reality using a mobile augmented reality providing apparatus, comprising: capturing a first image; detecting a user included in the first image; Extracting characteristic points of the object, determining shape information of the user, setting a target point for providing an augmented reality based on the shape information of the user and the feature point of the object, Calculating a steering angle for movement according to the target angle and the arrangement type of the obstacle, and moving the mobile augmented reality providing apparatus to the target point according to the steering angle.

상기 목표점에서 제2 영상을 촬영하는 단계, 상기 제2 영상에 컨텐츠 정보가 합성된 합성 영상을 생성하는 단계, 및 상기 합성 영상을 디스플레이하는 단계를 더 포함할 수 있다.The method may further include capturing a second image at the target point, generating a composite image in which content information is synthesized in the second image, and displaying the composite image.

상기 합성 영상을 생성하는 단계는, 상기 제2 영상에 포함된 객체의 특징점을 데이터베이스에 저장되어 있는 객체의 특징 정보와 비교하여 상기 컨텐츠 정보를 호출하는 단계를 포함할 수 있다.The generating the composite image may include a step of comparing the minutiae point of the object included in the second image with the feature information of the object stored in the database and calling the content information.

상기 조향각을 산출하는 단계는, 상기 장애물과의 거리를 센싱하는 단계, 및 좌측 전방의 장애물, 중간 전방의 장애물 및 우측 전방의 장애물과의 거리를 소정의 기준치와 비교하여 상기 장애물의 배치유형을 결정하는 단계를 포함할 수 있다.The step of calculating the steering angle includes the steps of sensing a distance to the obstacle and comparing the distance between the obstacle on the left front side, the obstacle on the middle front side and the obstacle on the right side with a predetermined reference value to determine the placement type of the obstacle .

상기 제1 영상을 촬영하는 단계는, 상기 사용자를 검출하기 위해 2축 회전이 가능한 카메라부의 촬영 방향을 제어하는 단계를 포함할 수 있다.The step of photographing the first image may include the step of controlling the photographing direction of the camera unit capable of two-axis rotation to detect the user.

이동형 증강현실 제공 장치가 주변 환경에 맞게 자율 주행하여 증강현실을 구현하기 위한 적절한 목표점으로 이동함으로써, 최적의 공간에서 증강현실이 구현될 수 있다.The augmented reality can be realized in an optimal space by moving the mobile augmented reality providing apparatus autonomously according to the surrounding environment and moving to an appropriate target point for realizing the augmented reality.

또한, 사용자의 위치, 자세, 시선 방향 등에 따라 사용자에 적합한 증강현실의 구현이 가능해진다.Further, it is possible to implement an augmented reality suitable for the user according to the position, posture, gaze direction, etc. of the user.

도 1은 본 발명의 일 실시예에 따른 이동형 증강현실 제공 장치를 나타내는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 증강현실 제공 방법을 나타내는 흐름도이다. 1 is a block diagram illustrating a mobile augmented reality providing apparatus according to an embodiment of the present invention.
2 is a flowchart illustrating a method of providing an augmented reality according to an embodiment of the present invention.

이하, 첨부한 도면을 참고로 하여 본 발명의 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예들에 한정되지 않는다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings, which will be readily apparent to those skilled in the art to which the present invention pertains. The present invention may be embodied in many different forms and is not limited to the embodiments described herein.

또한, 여러 실시예들에 있어서, 동일한 구성을 가지는 구성요소에 대해서는 동일한 부호를 사용하여 대표적으로 제1 실시예에서 설명하고, 그 외의 실시예에서는 제1 실시예와 다른 구성에 대해서만 설명하기로 한다.In addition, in the various embodiments, components having the same configuration are represented by the same reference symbols in the first embodiment. In the other embodiments, only components different from those in the first embodiment will be described .

본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다.In order to clearly illustrate the present invention, parts not related to the description are omitted, and the same or similar components are denoted by the same reference numerals throughout the specification.

도 1은 본 발명의 일 실시예에 따른 이동형 증강현실 제공 장치를 나타내는 블록도이다.1 is a block diagram illustrating a mobile augmented reality providing apparatus according to an embodiment of the present invention.

도 1을 참조하면, 이동형 증강현실 제공 장치(100)는 센싱부(110), 경로 설정부(120), 구동부(130), 카메라부(140), 특징 추출부(150), 합성부(160), 디스플레이부(170) 및 제어부(180)를 포함한다. 1, a mobile augmented reality providing apparatus 100 includes a sensing unit 110, a path setting unit 120, a driving unit 130, a camera unit 140, a feature extraction unit 150, a combining unit 160 A display unit 170, and a control unit 180.

센싱부(110)는 장애물과의 거리를 센싱한다. 센싱부(110)는 장애물과의 거리를 센싱하기 위한 복수의 센싱장치를 포함할 수 있다. 장애물과의 거리를 센싱할 수 있는 센싱장치로는 적외선 센서, 레이저 센서, 초음파 센서 등이 이용될 수 있다. 센싱부(110)는 복수의 센싱장치를 이용하여 좌측 전방, 정면 전방 및 우측 전방의 장애물과의 거리를 측정할 수 있다. 센싱부(110)는 복수의 센싱장치에서 측정된 장애물과의 거리 정보를 경로 설정부(120)에 전달한다. The sensing unit 110 senses the distance to the obstacle. The sensing unit 110 may include a plurality of sensing devices for sensing the distance to the obstacle. An infrared sensor, a laser sensor, an ultrasonic sensor, or the like can be used as a sensing device capable of sensing the distance to an obstacle. The sensing unit 110 may measure distances to left, front, and right front obstacles using a plurality of sensing devices. The sensing unit 110 transmits distance information to the obstacle measured by the plurality of sensing devices to the path setting unit 120. [

경로 설정부(120)는 이동형 증강현실 제공 장치(100)의 이동량 및 회전량을 기반으로 이동형 증강현실 제공 장치(100)의 자세를 추정하고, 추정된 자세로부터 목표점 간의 타겟각을 산출한다. 목표점은 센싱부(110)를 이용하여 경로 설정부(120)가 장애물을 회피하여 최종적으로 도달하는 지점으로써, 이동형 증강현실 제공 장치(100)가 증강현실을 제공하는 목표 위치를 의미한다. 타겟각은 이동형 증강현실 제공 장치(100)의 이동 방향과 목표점 방향 간의 각도를 의미한다.The path setting unit 120 estimates the attitude of the mobile augmented reality providing apparatus 100 based on the movement amount and the rotation amount of the mobile augmented reality providing apparatus 100 and calculates the target angle between the target points from the estimated attitude. The target point means a target position at which the mobile augmented reality providing apparatus 100 provides the augmented reality, as a point at which the path setting unit 120 avoids an obstacle and finally arrives by using the sensing unit 110. [ The target angle means the angle between the moving direction and the target point direction of the mobile augmented reality providing apparatus 100.

경로 설정부(120)는 인코더, 가속도 센서 및 자이로 센서 중 적어도 어느 하나를 포함할 수 있다. 인코더는 이동형 증강현실 제공 장치(100)의 이동 거리 및 방향을 적분하여 2차원 좌표계 상의 위치 및 방향각을 추정한다. 가속도 센서는 이동형 증강현실 제공 장치(100)의 속도의 증감을 측정하여 이동 거리를 산출할 수 있다. 자이로 센서는 이동형 증강현실 제공 장치(100)의 각속도를 측정하여 방향각을 산출할 수 있다.The path setting unit 120 may include at least one of an encoder, an acceleration sensor, and a gyro sensor. The encoder estimates the position and orientation angle on the two-dimensional coordinate system by integrating the moving distance and direction of the mobile augmented reality providing apparatus 100. The acceleration sensor can measure the speed of the mobile augmented reality providing apparatus 100 to calculate the moving distance. The gyro sensor can calculate the direction angle by measuring the angular velocity of the mobile augmented reality providing apparatus 100. [

경로 설정부(120)는 장애물과의 거리 및 타겟각을 기반으로 이동형 증강현실 제공 장치(100)의 이동을 위한 조향각을 산출한다. 경로 설정부(120)는 장애물의 배치유형 및 타겟각에 따른 퍼지추론 방식으로 조향각을 산출할 수 있다. 장애물의 배치유형은 센싱부(110)에서 측정된 좌측 전방의 장애물, 중간 전방의 장애물 및 우측 전방의 장애물과의 거리를 소정의 기준치와 비교하여, 멀고 가까움에 따라 구분될 수 있다. 장애물과의 거리의 원근을 구분하는 기준치는 이동형 증강현실 제공 장치(100)의 주행 속도, 회전 속도 등을 고려하여 정해질 수 있다. The path setting unit 120 calculates a steering angle for moving the mobile augmented reality providing apparatus 100 based on the distance from the obstacle and the target angle. The path setting unit 120 may calculate the steering angle in accordance with the arrangement type of the obstacle and the fuzzy inference method according to the target angle. The arrangement type of the obstacle can be classified according to distance and distance by comparing the distances between the left front obstacle, the middle front obstacle and the right front obstacle measured by the sensing unit 110 with predetermined reference values. The reference value for distinguishing the perspective of the distance from the obstacle can be determined in consideration of the traveling speed, rotation speed, and the like of the mobile augmented reality providing apparatus 100.

경로 설정부(120)는 타겟각을 줄이거나 장애물이 멀리 위치하는 방향으로 조향각을 결정할 수 있다. 경로 설정부(120)는 산출된 조향각을 구동부(130)에 전달한다. The path setting unit 120 can reduce the target angle or determine the steering angle in a direction in which the obstacle is far away. The path setting unit 120 transmits the calculated steering angle to the driving unit 130.

구동부(130)는 경로 설정부(120)에서 전달받은 조향각에 따라 이동형 증강현실 제공 장치(100)를 이동시킨다.The driving unit 130 moves the mobile augmented reality providing apparatus 100 according to the steering angle received from the path setting unit 120.

카메라부(140)는 객체가 포함된 실사 영상을 촬영하고, 정지영상 또는 동영상의 형태의 실사 영상을 특징 추출부(150) 및 합성부(160)에 전달한다. 카메라부(140)는 Full HD 카메라 모듈로 마련될 수 있다. 카메라부(140)는 촬영 방향이 조절될 수 있도록 2축 회전이 가능한 구조로 마련될 수 있다.The camera unit 140 captures the real image including the object and delivers the real image in the form of a still image or a moving image to the feature extraction unit 150 and the composition unit 160. The camera unit 140 may be a full HD camera module. The camera unit 140 may be configured to rotate in two directions so that the photographing direction can be adjusted.

특징 추출부(150)는 카메라부(140)로부터 전달받은 정지영상 또는 동영상에 포함된 객체에 대한 마커, 패턴, 로고, 색상, 코너점, 외곽선, 텍스처, 텍스트, 각도에 따른 외곽형태 등의 정보 중에서 적어도 어느 하나 이상의 정보에 근거하여 객체의 특징점을 추출한다. 객체의 특징점은 객체의 전체적인 특징들뿐만 아니라 객체의 부분적인 특징들이 될 수 있다. 예를 들어, 객체의 코너점은 객체 모양에 대한 정보를 가장 많이 가지고 있으므로 객체의 표현, 해석, 인식에 가장 중요한 특징점으로 사용될 수 있다. The feature extraction unit 150 extracts feature information such as a marker, a pattern, a logo, a color, a corner point, an outline, a texture, a text, and an outline form according to an angle of an object included in a still image or a moving image received from the camera unit 140 The feature point of the object is extracted based on at least one or more pieces of information. The feature points of an object can be partial features of the object as well as the overall features of the object. For example, the corner point of an object has the most information about the shape of an object, and thus can be used as a most important feature point for object representation, analysis, and recognition.

그리고 특징 추출부(150)는 객체의 특징점을 기반으로 사용자를 검출한다. 특징 추출부(150)는 영상에 포함된 다수의 객체 중에서 사용자를 지시하는 객체의 특징점을 검출하여 사용자를 검출할 수 있다. Then, the feature extraction unit 150 detects the user based on the minutiae of the object. The feature extraction unit 150 may detect a user by detecting feature points of an object indicating a user among a plurality of objects included in the image.

합성부(160)는 객체의 특징점을 데이터베이스에 저장되어 있는 객체의 특징정보와 비교하여 객체에 대응하는 컨텐츠 정보를 호출한다. 그리고 합성부(160)는 카메라부(140)로부터 전달받은 정지영상 또는 동영상에 컨텐츠 정보를 합성하여 합성 영상을 생성한다.The composing unit 160 compares the minutiae point of the object with the feature information of the object stored in the database and calls the content information corresponding to the object. The combining unit 160 combines the still image or moving image received from the camera unit 140 with content information to generate a combined image.

디스플레이부(170)는 정지영상 또는 동영상에 컨텐츠 정보가 합성된 합성 영상을 디스플레이한다.The display unit 170 displays a composite image in which content information is synthesized with a still image or a moving image.

제어부(180)는 이동형 증강현실 제공 장치(100)의 전반적인 동작을 제어한다. 특히, 제어부(180)는 사용자를 검출하기 위하여 2축 회전이 가능한 카메라부(140)의 촬영 방향을 제어할 수 있다. 카메라부(140)에서 영상이 촬영될 때, 제어부(180)는 특징 추출부(150)를 통해 검출된 사용자의 위치, 자세, 시선 방향 등의 사용자의 형태 정보를 결정한다. 그리고 제어부(180)는 사용자의 형태 정보 및 객체의 특징점을 기반으로 사용자에 적합한 증강현실을 구현할 수 있는 목표점을 설정하여 경로 설정부(120)에 전달할 수 있다. The controller 180 controls the overall operation of the mobile augmented reality providing apparatus 100. In particular, the control unit 180 may control the photographing direction of the camera unit 140 capable of two-axis rotation in order to detect a user. When the image is photographed by the camera unit 140, the controller 180 determines the shape information of the user such as the position, the posture, and the gaze direction of the user detected through the feature extraction unit 150. The control unit 180 may set a target point for implementing an augmented reality suitable for the user based on the type information of the user and the minutiae points of the object, and may transmit the target point to the path setting unit 120.

예를 들어, 사용자에 적합한 증강현실을 구현할 수 있는 목표점은 디스플레이부(170)가 사용자의 시선 방향에 위치되는 지점, 사용자 주변의 인접 객체들이 최대한 촬영될 수 있는 지점, 미리 정해진 주요 객체와 사용자가 촬영될 수 있는 지점 등으로 설정될 수 있다.For example, a target point at which the augmented reality suitable for a user can be implemented is a point at which the display unit 170 is located in the direction of the user's gaze, a point at which neighboring objects around the user can be captured as much as possible, A point that can be photographed, or the like.

이에 따라, 경로 설정부(120)는 사용자에 적합한 증강현실을 구현할 수 있는 목표점으로 이동형 증강현실 제공 장치(100)가 이동될 수 있도록 조향각을 설정하고, 구동부(130)가 조향각에 따라 이동형 증강현실 제공 장치(100)를 이동시키게 된다.Accordingly, the route setting unit 120 sets the steering angle so that the mobile augmented reality providing apparatus 100 can be moved to a target point at which the augmented reality suitable for the user can be implemented, and when the driving unit 130 receives the augmented reality Thereby moving the providing apparatus 100.

이제, 이동형 증강현실 제공 장치(100)를 이용하여 사용자에게 증강현실을 제공하는 방법에 대하여 설명한다.Now, a method of providing augmented reality to a user using the mobile augmented reality providing apparatus 100 will be described.

도 2는 본 발명의 일 실시예에 따른 증강현실 제공 방법을 나타내는 흐름도이다. 2 is a flowchart illustrating a method of providing an augmented reality according to an embodiment of the present invention.

도 2를 참조하면, 사용자를 검출하기 위하여 카메라부(140)의 촬영 방향이 제어되고, 카메라부(140)를 통해 정지영상 또는 동영상의 형태로 영상이 촬영된다(S110). Referring to FIG. 2, the photographing direction of the camera unit 140 is controlled to detect the user, and the image is captured in the form of a still image or a moving image through the camera unit 140 (S110).

영상에 포함된 객체에 대한 마커, 패턴, 로고, 색상, 코너점, 외곽선, 텍스처, 텍스트, 각도에 따른 외곽형태 등의 정보 중에서 적어도 어느 하나 이상의 정보에 근거하여 영상에 포함된 객체의 특징점이 추출되고, 객체의 특징점을 기반으로 사용자가 검출된다(S120). 즉, 영상에 포함된 다수의 객체 중에서 사용자를 지시하는 객체의 특징점을 검출함으로써 사용자가 검출된다. 이때, 사용자를 지시하는 객체의 특징점을 이용하여 사용자의 위치, 자세, 시선 방향 등의 사용자 형태 정보가 결정될 수 있다. The feature points of the objects included in the image are extracted based on at least one of information such as a marker, a pattern, a logo, a color, a corner point, an outline, a texture, a text, And the user is detected based on the minutiae of the object (S120). That is, a user is detected by detecting a feature point of an object indicating a user among a plurality of objects included in the image. At this time, the user type information such as the position, the posture, and the gaze direction of the user can be determined using the feature point of the object indicating the user.

사용자가 검출되면, 사용자 주변에 위치하는 인접 객체의 특징점이 추출된다(S130). When the user is detected, feature points of neighboring objects located near the user are extracted (S130).

사용자의 형태 정보 및 인접 객체의 특징점을 기반으로 사용자에게 적합한 증강현실을 구현할 수 있는 목표점이 설정된다(S140). 설정된 목표점은 이동형 증강현실 제공 장치(100)의 이동을 제어하는 경로 설정부(120)에 전달된다.A goal point for realizing an augmented reality suitable for a user is set based on the shape information of the user and the minutiae of the neighboring object (S140). The set target point is transmitted to the path setting unit 120 that controls the movement of the mobile augmented reality providing apparatus 100.

경로 설정부(120)에서 이동형 증강현실 제공 장치(100)의 자세가 추정되고, 추정된 자세로부터 목표점 간의 타겟각이 산출되고, 장애물과의 거리 정보 및 타겟각 정보를 기반으로 이동형 증강현실 제공 장치(100)의 조향각이 산출된다. 산출된 조향각에 따라 이동형 증강현실 제공 장치(100)가 이동하고, 최종적으로 이동형 증강현실 제공 장치(100)가 목표점으로 이동하게 된다(S150). The attitude of the mobile augmented reality providing apparatus 100 is estimated by the path setting unit 120, the target angle between the target points is calculated from the estimated attitude, and based on the distance information with the obstacle and the target angle information, The steering angle of the vehicle 100 is calculated. The mobile augmented reality providing apparatus 100 moves according to the calculated steering angle, and finally the mobile augmented reality providing apparatus 100 moves to a target point (S150).

이동형 증강현실 제공 장치(100)가 목표점에 도달하면, 목표점에서 정지영상 또는 동영상이 촬영되고, 촬영된 정지영상 또는 동영상에 컨텐츠 정보가 합성된 합성 영상이 생성된다(S160). 즉, 촬영된 영상에 포함된 객체의 특징점이 추출되고, 객체의 특징점을 데이터베이스에 저장되어 있는 객체의 특징과 비교하여 객체에 대응하는 컨텐츠 정보가 호출되고, 촬영된 영상에 컨텐츠 정보가 합성된다. When the mobile augmented reality providing apparatus 100 reaches a target point, a still image or a moving image is shot at a target point, and a composite image in which content information is combined with the captured still image or moving image is generated (S160). That is, the minutiae point of the object included in the photographed image is extracted, the minutiae point of the object is compared with the characteristic of the object stored in the database, the content information corresponding to the object is called, and the content information is synthesized on the photographed image.

정지영상 또는 동영상에 컨텐츠 정보가 합성된 합성 영상이 디스플레이부(170)를 통해 디스플레이된다(S170).The composite image obtained by combining the still image or the moving image with the content information is displayed on the display unit 170 (S170).

이와 같이, 이동형 증강현실 제공 장치(100)는 사용자의 위치, 자세, 시선 방향을 검출하여 사용자에게 적합한 증강현실을 구현할 수 있는 목표점으로 이동하여 사용자에게 증강현실을 제공함으로써 복잡한 실생활의 환경에서 사용자에게 최적의 증강현실을 제공할 수 있다.As described above, the mobile augmented reality providing apparatus 100 detects a user's position, posture, and gaze direction and moves to a target point that can implement an augmented reality suitable for the user, thereby providing an augmented reality to the user, It is possible to provide an optimal augmented reality.

지금까지 참조한 도면과 기재된 발명의 상세한 설명은 단지 본 발명의 예시적인 것으로서, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다. It is to be understood that both the foregoing general description and the following detailed description of the present invention are illustrative and explanatory only and are intended to be illustrative of the invention and are not to be construed as limiting the scope of the invention as defined by the appended claims. It is not. Therefore, those skilled in the art will appreciate that various modifications and equivalent embodiments are possible without departing from the scope of the present invention. Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims.

100 : 이동형 증강현실 제공 장치
110 : 센싱부
120 : 경로 설정부
130 : 구동부
140 : 카메라부
150 : 특징 추출부
160 : 합성부
170 : 디스플레이부
180 : 제어부100: movable augmented reality providing device
110: sensing unit
120: Path setting unit
130:
140:
150: Feature extraction unit
160:
170:
180:

Claims (11)

이동형 증강현실 제공 장치에 있어서,
영상을 촬영하는 카메라부;
상기 영상에 포함된 객체의 특징점 및 사용자를 검출하는 특징 추출부;
상기 사용자의 형태 정보를 결정하고, 상기 사용자의 형태 정보 및 상기 객체의 특징점을 기반으로 증강현실 제공을 위한 목표점을 설정하는 제어부;
상기 목표점과 이동 방향 간의 타겟각을 산출하고, 상기 타겟각 및 장애물의 배치유형에 따라 이동을 위한 조향각을 산출하는 경로 설정부; 및
상기 조향각에 따라 상기 이동형 증강현실 제공 장치를 이동시키는 구동부를 포함하는 이동형 증강현실 제공 장치.In a mobile augmented reality providing apparatus,
A camera unit for capturing an image;
A feature extraction unit for detecting feature points and users of objects included in the image;
A controller for determining the morphological information of the user and setting a target point for providing an augmented reality based on morphological information of the user and minutiae points of the object;
A route setting unit for calculating a target angle between the target point and the movement direction and calculating a steering angle for movement according to the target angle and the arrangement type of the obstacle; And
And a driving unit for moving the mobile augmented reality providing apparatus according to the steering angle. 제1 항에 있어서,
상기 객체의 특징점을 데이터베이스에 저장되어 있는 객체의 특징 정보와 비교하여 상기 객체에 대응하는 컨텐츠 정보를 호출하고, 상기 영상에 상기 컨텐츠 정보를 합성하여 합성 영상을 생성하는 합성부를 더 포함하는 이동형 증강현실 제공 장치.The method according to claim 1,
And a synthesizer for generating a synthesized image by synthesizing the content information with the image by comparing the minutiae point of the object with the feature information of the object stored in the database and calling the content information corresponding to the object, . 제2 항에 있어서,
상기 합성 영상을 디스플레이하는 디스플레이부를 더 포함하는 이동형 증강현실 제공 장치.3. The method of claim 2,
And a display unit for displaying the synthesized image. 제1 항에 있어서,
상기 장애물과의 거리를 센싱하는 센싱부를 더 포함하는 이동형 증강현실 제공 장치.The method according to claim 1,
And a sensing unit for sensing a distance from the obstacle to the obstacle. 제4 항에 있어서,
상기 경로 설정부는 좌측 전방의 장애물, 중간 전방의 장애물 및 우측 전방의 장애물과의 거리를 소정의 기준치와 비교하여 상기 장애물의 배치유형을 결정하는 이동형 증강현실 제공 장치.5. The method of claim 4,
Wherein the route setting unit determines a placement type of the obstacle by comparing a distance between an obstacle on the left front side, an obstacle on the middle front side, and an obstacle on the right side front side to a predetermined reference value. 제1 항에 있어서,
상기 카메라부는 촬영 방향 조절을 위한 2축 회전이 가능하도록 마련되고, 상기 제어부는 상기 사용자를 검출하기 위해 상기 카메라부의 촬영 방향을 제어하는 이동형 증강현실 제공 장치.The method according to claim 1,
Wherein the camera unit is capable of two-axis rotation for adjusting a photographing direction, and the control unit controls the photographing direction of the camera unit to detect the user. 이동형 증강현실 제공 장치를 이용하여 증강현실을 제공하는 방법에 있어서,
제1 영상을 촬영하는 단계;
상기 제1 영상에 포함된 사용자를 검출하는 단계;
상기 제1 영상에 포함된 객체의 특징점을 추출하는 단계;
상기 사용자의 형태 정보를 결정하고, 상기 사용자의 형태 정보 및 상기 객체의 특징점을 기반으로 증강현실 제공을 위한 목표점을 설정하는 단계;
상기 목표점과 이동 방향 간의 타겟각을 산출하고, 상기 타겟각 및 장애물의 배치유형에 따라 이동을 위한 조향각을 산출하는 단계; 및
상기 조향각에 따라 상기 이동형 증강현실 제공 장치가 상기 목표점으로 이동하는 단계를 포함하는 증강현실 제공 방법. A method for providing an augmented reality using a mobile augmented reality providing apparatus,
Capturing a first image;
Detecting a user included in the first image;
Extracting feature points of the object included in the first image;
Determining shape information of the user, setting a target point for providing an augmented reality based on the shape information of the user and the minutiae of the object;
Calculating a target angle between the target point and the movement direction, and calculating a steering angle for movement according to the target angle and the arrangement type of the obstacle; And
And moving the mobile augmented reality providing apparatus to the target point according to the steering angle. 제7 항에 있어서,
상기 목표점에서 제2 영상을 촬영하는 단계;
상기 제2 영상에 컨텐츠 정보가 합성된 합성 영상을 생성하는 단계; 및
상기 합성 영상을 디스플레이하는 단계를 더 포함하는 증강현실 제공 방법.8. The method of claim 7,
Capturing a second image at the target point;
Generating a composite image in which content information is synthesized in the second image; And
And displaying the synthesized image. 제8 항에 있어서,
상기 합성 영상을 생성하는 단계는,
상기 제2 영상에 포함된 객체의 특징점을 데이터베이스에 저장되어 있는 객체의 특징 정보와 비교하여 상기 컨텐츠 정보를 호출하는 단계를 포함하는 증강현실 제공 방법.9. The method of claim 8,
Wherein the step of generating the composite image comprises:
And comparing the feature point of the object included in the second image with the feature information of the object stored in the database to call the content information. 제7 항에 있어서,
상기 조향각을 산출하는 단계는,
상기 장애물과의 거리를 센싱하는 단계; 및
좌측 전방의 장애물, 중간 전방의 장애물 및 우측 전방의 장애물과의 거리를 소정의 기준치와 비교하여 상기 장애물의 배치유형을 결정하는 단계를 포함하는 증강현실 제공 방법.8. The method of claim 7,
The step of calculating the steering angle includes:
Sensing a distance to the obstacle; And
Determining an arrangement type of the obstacle by comparing a distance between an obstacle on the left front side, an obstacle on the middle front side, and an obstacle on the right side front side to a predetermined reference value. 제7 항에 있어서,
상기 제1 영상을 촬영하는 단계는,
상기 사용자를 검출하기 위해 2축 회전이 가능한 카메라부의 촬영 방향을 제어하는 단계를 포함하는 증강현실 제공 방법.8. The method of claim 7,
Wherein the step of photographing the first image comprises:
And controlling the photographing direction of the camera unit capable of two-axis rotation to detect the user.
KR1020130043584A 2013-04-19 2013-04-19 Mobile apparatus for providing augmented reality and method thereof KR101455236B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130043584A KR101455236B1 (en) 2013-04-19 2013-04-19 Mobile apparatus for providing augmented reality and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130043584A KR101455236B1 (en) 2013-04-19 2013-04-19 Mobile apparatus for providing augmented reality and method thereof

Publications (2)

Publication Number Publication Date
KR20140125596A true KR20140125596A (en) 2014-10-29
KR101455236B1 KR101455236B1 (en) 2014-11-07

Family

ID=51995313

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130043584A KR101455236B1 (en) 2013-04-19 2013-04-19 Mobile apparatus for providing augmented reality and method thereof

Country Status (1)

Country Link
KR (1) KR101455236B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015082215A1 (en) * 2013-12-05 2015-06-11 Robert Bosch Gmbh Arrangement for creating an image of a scene
CN110119141A (en) * 2018-02-05 2019-08-13 本田技研工业株式会社 Moving body control system, moving body and movable body control method
CN110378177A (en) * 2018-09-30 2019-10-25 长城汽车股份有限公司 Method and device for extraction environment clarification of objective point
KR20200111587A (en) * 2019-03-19 2020-09-29 한국전자통신연구원 Method for managing a feature map and apparatus for the same

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102560689B1 (en) 2017-09-26 2023-07-28 삼성전자주식회사 Method and apparatus for displaying an ar object

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101813922B1 (en) * 2010-07-12 2018-01-02 엘지전자 주식회사 Robot cleaner and controlling method of the same
KR20130002663A (en) * 2011-06-29 2013-01-08 제주대학교 산학협력단 System and method for providing augmented reality
KR101319525B1 (en) * 2013-03-26 2013-10-21 고려대학교 산학협력단 System for providing location information of target using mobile robot

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015082215A1 (en) * 2013-12-05 2015-06-11 Robert Bosch Gmbh Arrangement for creating an image of a scene
US10460186B2 (en) 2013-12-05 2019-10-29 Robert Bosch Gmbh Arrangement for creating an image of a scene
CN110119141A (en) * 2018-02-05 2019-08-13 本田技研工业株式会社 Moving body control system, moving body and movable body control method
CN110378177A (en) * 2018-09-30 2019-10-25 长城汽车股份有限公司 Method and device for extraction environment clarification of objective point
CN110378177B (en) * 2018-09-30 2022-01-28 毫末智行科技有限公司 Method and device for extracting feature points of environmental target
US11928870B2 (en) 2018-09-30 2024-03-12 Great Wall Motor Company Limited Method and apparatus used for extracting feature point of environmental target
KR20200111587A (en) * 2019-03-19 2020-09-29 한국전자통신연구원 Method for managing a feature map and apparatus for the same
US11288836B2 (en) 2019-03-19 2022-03-29 Electronics And Telecommunications Research Institute Apparatus and method for managing feature point map

Also Published As

Publication number Publication date
KR101455236B1 (en) 2014-11-07

Similar Documents

Publication Publication Date Title
JP5443134B2 (en) Method and apparatus for marking the position of a real-world object on a see-through display
CN112567201B (en) Distance measuring method and device
US10029700B2 (en) Infotainment system with head-up display for symbol projection
KR101056418B1 (en) Apparatus and method for tracking augmented reality contents using mobile sensors
JP5323910B2 (en) Collision prevention apparatus and method for remote control of mobile robot
KR101455236B1 (en) Mobile apparatus for providing augmented reality and method thereof
US20140172296A1 (en) Systems and methods for navigation
CN106575437B (en) Information processing apparatus, information processing method, and program
KR101506610B1 (en) Apparatus for providing augmented reality and method thereof
CN109829933B (en) Image target tracking method and device
KR20110035609A (en) Apparatus and method for sensing motion
CN102448681A (en) Operating space presentation device, operating space presentation method, and program
US20120219177A1 (en) Computer-readable storage medium, image processing apparatus, image processing system, and image processing method
KR101880437B1 (en) Unmanned surface vehicle control system for providing wide viewing angle using real camera image and virtual camera image
KR20130067851A (en) Apparatus and method for recognizing position of vehicle
JPWO2015145543A1 (en) Object detection apparatus, object detection method, and mobile robot
JP2020534198A (en) Control methods, equipment and systems for mobile objects
CN104204848A (en) Surveying apparatus having a range camera
WO2015167411A1 (en) Smart navigation system for brainwave controlled wheelchairs
US7599546B2 (en) Image information processing system, image information processing method, image information processing program, and automobile
CN113474819A (en) Information processing apparatus, information processing method, and program
JP5086824B2 (en) TRACKING DEVICE AND TRACKING METHOD
CN105867371B (en) Control the mobile method and device of balance car
JP2019053603A (en) Display control program, apparatus and method
WO2019087658A1 (en) Information processing device, information processing method, and program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
N231 Notification of change of applicant
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20171023

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee