KR102082131B1 - Inserting Method of Augment Reality Information in Drone Moving Picture - Google Patents

Inserting Method of Augment Reality Information in Drone Moving Picture Download PDF

Info

Publication number
KR102082131B1
KR102082131B1 KR1020180049780A KR20180049780A KR102082131B1 KR 102082131 B1 KR102082131 B1 KR 102082131B1 KR 1020180049780 A KR1020180049780 A KR 1020180049780A KR 20180049780 A KR20180049780 A KR 20180049780A KR 102082131 B1 KR102082131 B1 KR 102082131B1
Authority
KR
South Korea
Prior art keywords
augmented reality
reality information
video
drone
information
Prior art date
Application number
KR1020180049780A
Other languages
Korean (ko)
Other versions
KR20190125680A (en
Inventor
오광만
Original Assignee
(주)테슬라시스템
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)테슬라시스템 filed Critical (주)테슬라시스템
Priority to KR1020180049780A priority Critical patent/KR102082131B1/en
Publication of KR20190125680A publication Critical patent/KR20190125680A/en
Application granted granted Critical
Publication of KR102082131B1 publication Critical patent/KR102082131B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/006—Apparatus mounted on flying objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K7/00—Constructional details common to different types of electric apparatus
    • H05K7/20—Modifications to facilitate cooling, ventilating, or heating
    • H05K7/20009—Modifications to facilitate cooling, ventilating, or heating using a gaseous coolant in electronic enclosures
    • H05K7/20136—Forced ventilation, e.g. by fans
    • H05K7/20154—Heat dissipaters coupled to components
    • H05K7/20163—Heat dissipaters coupled to components the components being isolated from air flow, e.g. hollow heat sinks, wind tunnels or funnels

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Architecture (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Thermal Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 드론 영상에 증강 현실 정보를 삽입하는 방법에 관한 것이다.
본 발명은, 드론 동영상에 증강현실 정보를 삽입하는 방법에 있어서,
카메라가 장착된 드론으로 촬영된 원시 동영상을 통해 상기 카메라의 내부 파라메타와 외부 파라메타를 추출하는 단계;
상기 카메라의 내부 및 외부 파라메타를 이용하여 카메라의 3차원 기준 좌표계를 설정하고 촬영된 영상내의 지형의 평면들에 대한 정보를 획득하는 단계;
지형에 대한 평면들에 대한 정보를 통해 증간현실 정보를 삽입하고자 하는 평면을 선택하여 선택된 각 평면에 대한 3차원 좌표계를 설정하는 단계;
선택된 각 평면에 대한 3차원 좌표계를 기반으로 증강현실 정보를 삽입하는 단계;
증간 현실 정보와 원시 동영상을 합성하기 위하여 통합 랜더링하는 단계;
랜더링된 영상을 시간대별로 저장하여 증강현실 정보가 삽입된 동영상을 형성하는 단계를 포함하는 것을 특징으로 한다.
이상과 같은 본 발명을 이용하면, 드론 동영상에 증강현실 정보를 삽입하는 방법을 제공하게 된다.The present invention relates to a method of inserting augmented reality information in a drone image.
The present invention, in the method of inserting augmented reality information in the drone video,
Extracting internal and external parameters of the camera through a raw video captured by a drone equipped with a camera;
Setting a three-dimensional reference coordinate system of the camera using internal and external parameters of the camera and acquiring information on the planes of the terrain in the captured image;
Setting a three-dimensional coordinate system for each selected plane by selecting a plane to which the additional reality information is to be inserted through the information on the planes of the terrain;
Inserting augmented reality information based on a three-dimensional coordinate system for each selected plane;
Integrated rendering to synthesize the real information and the raw video;
And storing the rendered image for each time zone to form a video in which augmented reality information is inserted.
Using the present invention as described above, it provides a method for inserting augmented reality information in the drone video.

Description

드론 동영상에 증강현실 정보를 삽입하는 방법{Inserting Method of Augment Reality Information in Drone Moving Picture}Inserting Method of Augment Reality Information in Drone Moving Picture}

본 발명은 드론 영상에 증강 현실 정보를 삽입하는 방법에 관한 것이다.The present invention relates to a method of inserting augmented reality information in a drone image.

드론은 도1과 같이 소형 비행장치의 일종으로 주로 카메라를 탑재하여 방송용 또는 감시용 또는 측량용으로 사용되어 도2와 같은 항공 영상을 촬영하는데에 많이 활용되어 왔다.The drone is a kind of small flying device as shown in FIG. 1 and is mainly used for broadcasting, surveillance, or surveying by mounting a camera, and has been widely used for capturing aerial images as shown in FIG.

또한, 최근에는 드론의 가격이 저렴해지고 소형화됨에 따라 개인들이 드론을 구매하여 드론을 이용하여 각종 동영상을 촬영하여 유튜브나 페이스북 등에 올려서 친구들과 동영상을 공유하는 사례들이 많이 늘어나고 있다.In addition, recently, as the price of drones has become cheaper and smaller, there are a growing number of cases in which individuals purchase drones, shoot various videos using drones, and share videos with friends on YouTube or Facebook.

그래서, 도3의 좌측 상부 및 하부 도면과 같이 드론 동영상에서 지형면에 존재하는 특정인에게 적색의 박스나 타원을 추가하여 동영상에서 이 특정인을 계속 추종하게 하거나, 도3의 우측 도면과 같이 골프장의 동영상에서 홀컵까지의 거리가 계속 표시되거나 특정 위치에 서클(골퍼의 타입(남자, 여자, 노약자 등)에 따라 출발 지점을 나타내는 흰색 서클, 적색 서클, 녹색 서클)이 계속 표시되게 하는 것과 같이, 촬영자의 의도를 표현하거나 타인에게 정보를 설명하기 위해 드론으로 촬영된 동영상에 다양한 증강현실 정보(예: 텍스트, 도형, 이미지 등)를 삽입해야 하는 필요성이 대두되고 있다.Thus, a red box or an ellipse is added to a specific person present in the topographical surface in the drone video as shown in the upper left and lower views of FIG. 3 to continue following the specific person in the video, or as shown in the right drawing of FIG. The distance from the to the hole cup, or the circle (white circle, red circle, green circle representing the starting point, depending on the golfer's type (male, female, senior, etc.)) will be displayed in a specific location. In order to express intentions or explain information to others, there is a need for inserting various augmented reality information (eg, texts, figures, images, etc.) into a video taken by a drone.

그런데, 드론 동영상에 증강현실 정보를 삽입하는 것은 화면에서 연속적으로 위치가 변경되는 특정 타겟(예: 도3의 특정인, 도4의 특정 장소)을 추종하면서 이 타켓에 증강현실 정보를 추가하는 것이기에, 영화와 같은 동영상에서 자막을 추가하는 것처럼 화면의 고정된 특정 위치에 증강현실 정보를 표시하는 방법을 적용할 수가 없다.However, since the augmented reality information is inserted into the drone video, the augmented reality information is added to this target while following a specific target (for example, a specific place of FIG. 4, which is changed in position on the screen). It is not possible to apply a method of displaying augmented reality information at a specific fixed position on the screen, such as adding a subtitle in a movie such as a movie.

이상과 같은 종래기술의 문제점을 감안하여 본 발명은 드론 동영상에 증강현실 정보를 삽입하는 방법을 제공한다.In view of the problems of the prior art as described above, the present invention provides a method for inserting augmented reality information into a drone video.

이러한 과제를 해결하기 위한 본 발명은, 드론 동영상에 증강현실 정보를 삽입하는 방법에 있어서,The present invention for solving this problem, in the method of inserting augmented reality information in the drone video,

카메라가 장착된 드론으로 촬영된 원시 동영상을 통해 상기 카메라의 내부 파라메타와 외부 파라메타를 추출하는 단계;Extracting internal and external parameters of the camera through a raw video captured by a drone equipped with a camera;

상기 카메라의 내부 및 외부 파라메타를 이용하여 카메라의 3차원 기준 좌표계를 설정하고 촬영된 영상내의 지형의 평면들에 대한 정보를 획득하는 단계;Setting a three-dimensional reference coordinate system of the camera using internal and external parameters of the camera and acquiring information on the planes of the terrain in the captured image;

지형에 대한 평면들에 대한 정보를 통해 증간현실 정보를 삽입하고자 하는 평면을 선택하여 선택된 각 평면에 대한 3차원 좌표계를 설정하는 단계;Setting a three-dimensional coordinate system for each selected plane by selecting a plane to which the additional reality information is to be inserted through the information on the planes of the terrain;

선택된 각 평면에 대한 3차원 좌표계를 기반으로 증강현실 정보를 삽입하는 단계;Inserting augmented reality information based on a three-dimensional coordinate system for each selected plane;

증간 현실 정보와 원시 동영상을 합성하기 위하여 통합 랜더링하는 단계;Integrated rendering to synthesize the real information and the raw video;

랜더링된 영상을 시간대별로 저장하여 증강현실 정보가 삽입된 동영상을 형성하는 단계를 포함하는 것을 특징으로 한다.And storing the rendered image for each time zone to form a video in which augmented reality information is inserted.

이상과 같은 본 발명을 이용하면, 드론 동영상에 증강현실 정보를 삽입하는 방법을 제공하게 된다.Using the present invention as described above, it provides a method for inserting augmented reality information in the drone video.

도1은 일반적인 드론의 형상을 도시함.
도2는 드론에서 촬영한 영상을 도시함.
도3은 본 발명에서 부가 정보가 추가된 드론 영상을 나타냄.
도4는 본 발명에서 드론 촬영된 원시 영상과 편집 영상의 비교를 나타냄.
도5는 본 발명에서 드론 동영상에 증강현실 정보를 삽입시의 동영상을 재생하는 것을 나타냄.
도6은 본 발명에서 드론 영상에 증강현실 정보를 삽입하는 과정을 설명하는 순서도.
도7은 본 발명에서 선택된 지형들에 대한 평면들의 좌표계들을 나타냄.Figure 1 shows the shape of a typical drone.
Figure 2 shows an image taken from the drone.
Figure 3 shows a drone image with additional information added in the present invention.
Figure 4 shows a comparison between the drone photographed raw image and the edited image in the present invention.
Figure 5 shows the playback of the video when the augmented reality information is inserted into the drone video in the present invention.
Figure 6 is a flow chart illustrating a process of inserting augmented reality information in the drone image in the present invention.
Figure 7 shows the coordinate systems of the planes for the terrains selected in the present invention.

이제 도면들을 참고로 하여 본 발명을 자세히 설명하기로 한다.The present invention will now be described in detail with reference to the drawings.

드론에서 촬영된 동영상의 경우, 지형 위에 존재하는 건물, 나무, 강, 각종 시설물 등을 촬영하는 경우가 대부분이기 때문에, 촬영된 영상 내에 정보를 표시할 때에 도3과 같이 지형면을 고려하여 다양한 정보를 삽입하는 것이 자연스럽다.In the case of a video shot from a drone, most of the buildings, trees, rivers, and various facilities existing on the terrain are photographed. Therefore, when displaying information in the photographed image, various information is taken into consideration as shown in FIG. It is natural to insert it.

예를 들어, 도4의 좌측과 같은 골프장의 드론 촬영 원시영상에 증강현실 정보(홀컵까지의 거리, 골퍼의 타입(남자, 여자, 노약자 등) 따라 출발지점을 나타내는 흰색 서클(white tee, 일반 남자용)/적색 서클(red tee, 일반 여자용)/녹색 서클(green tee, 노약자용))를 삽입하면 도4의 우측과 같은 드론 촬영 편집 영상이 되고, 이러한 증강현실 삽입 방법을 드론 동영상 전체에 적용하면 도5와 같이 드론이 이동하면서 촬영한 동영상에 증강현실 정보들이 삽입되어 삽입된 동영상을 재생하면 동영상에서 화면이 연속적으로 진행하더라도 화면 상에는 특정 위치(예: 적색 서클 위치)에 지정된 시작 시간부터 종료 시간 동안 적색 서클이 나타나게 된다.For example, in a drone photographed raw image of a golf course as shown in FIG. 4, a white circle indicating a starting point according to augmented reality information (distance to a hole cup, a golfer's type (man, woman, elderly), etc.) ) / Red circle (red tee, general female) / green circle (green tee, elderly)) inserted into the drone shooting edited video as shown in the right side of Figure 4, this augmented reality insertion method is applied to the entire drone video 5, when the drone moves, the augmented reality information is inserted into the recorded video, and when the inserted video is played back, even if the screen proceeds continuously, the video ends from the start time specified at a specific position (for example, the red circle position). A red circle will appear for the time.

그래서, 예를 들어 기존의 골프장 안내 드론 촬영 동영상에서는 골프장에 대한 드론 동영상만이 나타나서 동영상에서 골퍼의 타입별 출발 지점이 어디인지 또는 그 지점에서 홀컵까지의 거리가 얼마나 되는지 등에 대한 정보를 알 수 없지만, 본 발명을 적용하면 골퍼의 타입에 따른 출발 위치 및 홀컵까지의 거리 등의 증강현실 정보가 삽입된 동영상이 재생되어 각 특정 위치에 특정 시간 동안 해당 증강현실 정보가 나타나게 되어, 골프장의 드론 동영상을 통해 전체적인 골프장의 전경을 파악하면서 증강현실 정보를 통해 다양한 정보(예: 골퍼의 타입별 출발 위치가 어디인지나 홀컵까지의 거리가 얼마인지에 대한 정보)를 용이하게 파악할 수 있게 된다.So, for example, in the existing golf guide drone shooting video, only the drone video for the golf course appears, so it is not possible to know the starting point of each golfer's type or the distance from the point to the hole cup in the video. When the present invention is applied, a video including augmented reality information such as a starting position and a distance to a hole cup according to a golfer's type is played, so that the augmented reality information appears for a specific time at each specific position, and a drone video of a golf course is displayed. Through the view of the overall golf course through the augmented reality information it is easy to grasp a variety of information (for example, where the golfer's starting position for each type or the distance to the hole cup).

다음으로 본 발명에서 드론 영상에 부가 정보를 삽입하는 방법에 대해 도6을 참고로 하여 자세히 설명하기로 한다.Next, a method of inserting additional information into a drone image according to the present invention will be described in detail with reference to FIG. 6.

먼저, 드론에 장착된 카메라를 이용하여 동영상을 촬영한다(S1).First, a video is photographed using a camera mounted on a drone (S1).

다음으로, 이 드론 동영상을 통해 드론에 장착된 카메라의 내부 파라메타(초점 거리, 화각, 렌즈 곡률 등)와 외부 파라메타(카메라와 물체와의 거리, 카메라와 물체와의 촬영 각도 등)를 추출한다(S2).Next, the drone video extracts the internal parameters (focal length, angle of view, lens curvature, etc.) and external parameters (distance between the camera and the object, shooting angle between the camera and the object) of the camera mounted on the drone ( S2).

이러한 내외부 파라메타 추출은 모든 촬영된 영상에는 촬영에 사용한 카메라 정보가 삽입되어 있고, 동일한 물체를 촬영한 다수의 영상을 조합하면 촬영에 사용된 카메라들의 내외부 파라메타와, 촬영대상인 물체의 3차원 정보를 복원할 수 있다는 기존의 연구를 기반으로 한다. 이러한 연구에서는 특징점(feature point)을 사용하게 되고, 각각의 카메라에 특정한 개수의 특징점을 설정하고, 대응되는 특징점들을 pairing하고 트레킹하는 과정을 포함한다. 또한 상기의 카메라의 내외부 파라메타에는 카메라를 중심으로 설정된 3차원 좌표계를 포함하고 있고, 촬영 대상의 표면의 특징점들은 카메라 좌표계를 원점으로 하여 측정된 거리정보를 나타내게 된다. The internal and external parameter extraction includes the camera information used for shooting in all the captured images, and combining multiple images of the same object restores the internal and external parameters of the cameras used in the shooting and the three-dimensional information of the object to be photographed. It is based on existing research that it can. In this study, feature points are used, and a specific number of feature points are set for each camera, pairing and tracking corresponding feature points. In addition, the internal and external parameters of the camera include a three-dimensional coordinate system set around the camera, and feature points on the surface of the photographing object represent distance information measured using the camera coordinate system as the origin.

그리고 나서, 상기의 카메라와 물체를 모두 포함하는 새로운 월드 좌표계를 설정하고, 각 카메라 좌표계의 특징점들을 전부 월드 좌표계로 변환하여 통합하여 표시하면 촬영한 객체의 3차원 형태를 표현하는 포인트 클라우드(point cloud)가 생성된다. 이 포인트 클라우드를 다각형화(polygonization)과정을 거치면 표면의 점들과 삼각형 면들로 물체를 표현할 수 있다. 이러한 표현된 표면 중에서 Z-축(수직축) 에 근사하게 수직인 면을 지형면으로 가정하여 지형에 해당하는 평면을 추출한다(S3).Then, by setting a new world coordinate system including both the camera and the object, and converts and displays all the feature points of each camera coordinate system into a world coordinate system, a point cloud representing a three-dimensional form of the photographed object ) Is generated. Polygonization of this point cloud allows objects to be represented by points and triangular planes on the surface. The plane corresponding to the terrain is extracted by assuming that the surface roughly perpendicular to the Z-axis (vertical axis) is the topographical surface among the expressed surfaces (S3).

이제, 추출된 평면 중에서 증강현실 정보를 삽입하고자 하는 지형에 대한 평면들을 선택하고 이 선택된 평면들을 기반으로 도7과 같이 각 평면에 대한 3차원 좌표계를 설정한다(S4). 이때 각 평면은 각 평면의 Z-축(수직축)에 수직으로 설정된다.Now, planes of the terrain to which the augmented reality information is to be inserted are selected from the extracted planes, and a 3D coordinate system for each plane is set as shown in FIG. 7 based on the selected planes (S4). At this time, each plane is set perpendicular to the Z-axis (vertical axis) of each plane.

그리고 나서, 각 선택된 평면에 대한 3차원 좌표계를 기반으로 도형 정보, 텍스트 정보, 이미지 정보 등의 증강현실적인 부가 정보를 삽입한다(S5). 이때, 시간적인 면을 고려하여 출현 시작과 종료 시간을 지정하여 동영상 플레이시에 이러한 증강현실 정보가 나타났다가 사라지게 한다.Then, augmented reality additional information such as figure information, text information, and image information is inserted based on the three-dimensional coordinate system for each selected plane (S5). In this case, the augmented reality information appears and disappears during video play by specifying an appearance start time and an end time in consideration of time.

다음으로, 이러한 증강현실적인 부가정보와 원래의 동영상을 합성시키기 위해서 통합 랜더링한다(S6).Next, integrated rendering is performed to synthesize the augmented reality additional information and the original video (S6).

마지막으로 통합 랜더링된 영상을 다시 시간대별로 저장하여 부가 정보가 삽입된 동영상을 재구성하게 된다(S7).Finally, the integrated rendered image is again stored for each time zone to reconstruct the inserted video information (S7).

여기서 상기의 단계(S2) 내지 단계(S7)는 당업자에게 주지된 기술, 예를 들면 Adobe After Effect툴을 이용하면 되는데, 이 툴의 동작을 간단히 설명하기로 한다. 이 툴에 대한 자세한 동작은 https://www.youtube.com/watch?v=i7ierVkXYa8 에 있는 동영상을 참고하면 된다.Here, the steps S2 to S7 may be performed using techniques known to those skilled in the art, for example, the Adobe After Effect tool, and the operation of the tool will be briefly described. For more information on this tool, see the video at https://www.youtube.com/watch?v=i7ierVkXYa8 .

이 툴에서는 1초당 30장의 드론 동영상을 입력받아 30개의 상이한 위치의 카메라가 촬영한 것으로 간주하여 각 영상에서 특징점을 자동적으로 추출되고 각 영상에서의 동일 특징점들을 비교하여 각 카메라의 촬영 위치를 파악하여 카메라의 내부 및 외부 파라메타를 도출하며(단계S2), 이에 따라 각 카메라의 중심 좌표계가 만들어져서 이 특징점들을 다시 월드 좌표계로 변환하여 전체를 모으면 카메라와 물체 사이의 각 지점간의 거리를 나타내는 포인트 클라우드가 만들어지며, 이 포인트 클라우드를 통해 평면들에 대한 정보가 추출된다(단계S3). In this tool, 30 drone videos are input per second and 30 different locations of cameras are taken and the feature points are automatically extracted from each image, and the same feature points in each image are compared to determine the shooting position of each camera. The internal and external parameters of the camera are derived (step S2), and accordingly, the center coordinate system of each camera is created, and these feature points are converted back to the world coordinate system, where the point cloud representing the distance between each point between the camera and the object is collected. The information about the planes is extracted through the point cloud (step S3).

이제, 사용자는 이 툴에서 이 평면들에 대한 정보를 통해 증강현실 정보를 삽입하고자 하는 평면들을 선택하여 이 선택된 평면들에 대한 기준 좌표계들을 설정하고(단계 S4), 증강현실적인 부가 정보를 삽입하고 출현 시작과 종료 시간을 지정하면(단계 S5) 동영상 재생시에 이러한 정보가 출현 시작 시간에 나타났다가 종료 시간에 사라지게 한다.Now, in this tool, the user selects the planes to which the augmented reality information is to be inserted through the information on these planes, sets reference coordinate systems for these selected planes (step S4), inserts and augments the augmented reality side information. If the start and end times are specified (step S5), this information appears at the appearance start time and disappears at the end time during video playback.

그리고, 이 툴을 통해 증강현실 정보와 원래 동영상들을 합성시키기 위해서 통합 랜더링하고(단계 S6), 이 렌더링된 영상을 다시 시간대별로 저장하면 증강 현실 정보가 포함된 동영상이 된다(단계 S7). Then, through this tool, integrated rendering is performed to synthesize the augmented reality information and the original video (step S6), and when the rendered image is stored for each time zone, the video includes the augmented reality information (step S7).

결국, Adobe After Effect툴을 이용하여 이상과 같은 단계를 수행하여 얻은 증강현실 정보 포함 동영상을 동영상 재생 소프트웨어(예: 네이버 동영상 재생 플레이어, 곰 풀레이어)에서 재생을 하게 되면, 사용자는 이 증강 현실 포함 동영상을 보면서 전경의 흐름을 확인하면서 특정 위치를 추종해 가면서 일정시간 나타나는 증강 현실 정보를 통해 특정 장소에 대한 정보를 용이하게 파악할 수 있게 된다. Eventually, when the video containing the augmented reality information obtained by performing the above steps using the Adobe After Effect tool is played in the video playing software (eg, Naver video player, bear full layer), the user includes the augmented reality. You can easily grasp information about a specific place through augmented reality information that appears for a certain time while following a specific location while checking the flow of the foreground while watching a video.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명은 이러한 실시예에 한정되는 것이 아니라 본 발명의 정신을 벗어나지 않는 범위 내에서 다양한 변형이나 변경이 가능하다는 점에 유의해야 한다.Although the embodiments of the present invention have been described in detail above, it should be noted that the present invention is not limited to these embodiments, but various modifications and changes can be made without departing from the spirit of the present invention.

예를 들면, 이상에서는 증강현실 정보의 예로서 거리 등의 숫자 정보, 텍스트 정보, 서클 등의 2차원 도형 정보를 설명하였으나, 3차원 도형 정보도 가능하고 그 위치 관련 이미지(예 : 홀컵 위치의 깃발 이미지나 우체국 위치에 우체국 이미지) 등의 다양한 증강 현실 정보가 가능하다. For example, in the above description, as an example of augmented reality information, numeric information such as distance, text information, and two-dimensional figure information such as circles have been described, but three-dimensional figure information is also possible, and a position-related image (for example, a flag of a hole cup position). Various augmented reality information such as images or post office images at the post office location is possible.

Claims (8)

드론 동영상에 증강현실 정보를 삽입하는 방법에 있어서,
카메라가 장착된 드론으로 촬영된 원시 동영상에서, 상이한 위치에서 촬영된 각각의 영상의 특징점을 추출하여 상기 각각의 영상에서의 동일 특징점들을 비교하여 상기 각각의 영상에서의 각 카메라의 촬영 위치를 파악하여 카메라의 내부 파라메타와 외부 파라메타를 추출하는 단계;
상기 카메라의 내부 및 외부 파라메타를 이용하여 카메라의 3차원 기준 좌표계를 설정하고 촬영된 동영상 내의 지형의 평면들에 대한 정보를 획득하는 단계;
지형에 대한 평면들을 추출하여 추출된 평면 중에서 증간현실 정보를 삽입하고자 하는 평면들을 선택하고 선택된 각 평면에 대한 3차원 좌표계를 설정하는 단계;
선택된 각 평면에 대한 3차원 좌표계를 기반으로 증강현실 정보를 삽입하는 단계;
증강 현실 정보와 원시 동영상을 합성하기 위하여 통합 랜더링하는 단계;
랜더링된 영상을 시간대별로 저장하여 증강현실 정보가 삽입된 동영상을 형성하는 단계를 포함하는 것을 특징으로 하는 드론 동영상에 증강현실 정보를 삽입하는 방법.In the method of inserting augmented reality information in the drone video,
In the raw video photographed by the drone equipped with the camera, feature points of each image photographed at different positions are extracted, and the same feature points in the respective images are compared to determine the photographing position of each camera in each image. Extracting internal and external parameters of the camera;
Setting a three-dimensional reference coordinate system of the camera using internal and external parameters of the camera and acquiring information on the planes of the terrain in the captured video;
Extracting planes of the terrain, selecting planes to which the additional reality information is to be inserted from the extracted planes, and setting a 3D coordinate system for each plane selected;
Inserting augmented reality information based on a three-dimensional coordinate system for each selected plane;
Integrated rendering to synthesize augmented reality information and a raw video;
And storing the rendered image for each time zone to form a video having augmented reality information inserted therein. 제1항에 있어서,
상기 증강현실 정보를 삽입하는 단계시에 증강현실 정보가 나타나기 시작하는 시간과 사라지는 시간에 대한 정보를 지정하는 것을 특징으로 하는 드론 동영상에 증강현실 정보를 삽입하는 방법.The method of claim 1,
And a method for inserting augmented reality information into a drone video, wherein the augmented reality information is assigned at a time when the augmented reality information begins to appear and disappears. 제1항에 있어서,
상기 내부 파라메타는 초점거리, 화각, 렌즈의 곡률을 포함하는 것을 특징으로 하는 드론 동영상에 증강현실 정보를 삽입하는 방법.The method of claim 1,
The internal parameter includes augmented reality information in the drone video, characterized in that the focal length, angle of view, the curvature of the lens. 제1항에 있어서,
상기 외부 파라메타는 카메라와 물체의 거리, 카메라와 물체의 촬영 각도를 포함하는 것을 특징으로 하는 드론 동영상에 증강현실 정보를 삽입하는 방법.The method of claim 1,
The external parameter is a method for inserting augmented reality information in the drone video, characterized in that it comprises a distance between the camera and the object, the camera and the object shooting angle. 제1항에 있어서,
상기 증강현실 정보는 이미지인 것을 특징으로 하는 드론 동영상에 증강현실 정보를 삽입하는 방법.The method of claim 1,
The augmented reality information is a method of inserting augmented reality information in the drone video, characterized in that the image. 제1항에 있어서,
상기 증강현실 정보는 텍스트인 것을 특징으로 하는 드론 동영상에 증강현실 정보를 삽입하는 방법.The method of claim 1,
The augmented reality information is a method of inserting augmented reality information in the drone video, characterized in that the text. 제1항에 있어서,
상기 증강현실 정보는 숫자인 것을 특징으로 하는 드론 동영상에 증강현실 정보를 삽입하는 방법.The method of claim 1,
The augmented reality information is a method of inserting augmented reality information in the drone video, characterized in that the number. 제1항에 있어서,
상기 증강현실 정보는 도형인 것을 특징으로 하는 드론 동영상에 증강현실 정보를 삽입하는 방법.The method of claim 1,
The augmented reality information is a method of inserting augmented reality information in the drone video, characterized in that the figure.
KR1020180049780A 2018-04-30 2018-04-30 Inserting Method of Augment Reality Information in Drone Moving Picture KR102082131B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180049780A KR102082131B1 (en) 2018-04-30 2018-04-30 Inserting Method of Augment Reality Information in Drone Moving Picture

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180049780A KR102082131B1 (en) 2018-04-30 2018-04-30 Inserting Method of Augment Reality Information in Drone Moving Picture

Publications (2)

Publication Number Publication Date
KR20190125680A KR20190125680A (en) 2019-11-07
KR102082131B1 true KR102082131B1 (en) 2020-02-27

Family

ID=68578933

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180049780A KR102082131B1 (en) 2018-04-30 2018-04-30 Inserting Method of Augment Reality Information in Drone Moving Picture

Country Status (1)

Country Link
KR (1) KR102082131B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102259401B1 (en) * 2019-11-28 2021-06-01 (주)테슬라시스템 Composing Method of Augment Reality Additional Information in Drone Moving Picture

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101955368B1 (en) * 2016-06-08 2019-03-08 (주)코아텍 System for providing virtual drone stadium using augmented reality and method thereof
KR102479360B1 (en) * 2016-06-15 2022-12-20 삼성전자 주식회사 Method and apparatus for providing augmented reality service
KR20180029315A (en) * 2016-09-12 2018-03-21 삼성전자주식회사 Image processing method and apparatus for projecting an image of virtual reality content

Also Published As

Publication number Publication date
KR20190125680A (en) 2019-11-07

Similar Documents

Publication Publication Date Title
US11798224B2 (en) Generation apparatus, system and method for generating virtual viewpoint image
US10685496B2 (en) Saving augmented realities
US20120013711A1 (en) Method and system for creating three-dimensional viewable video from a single video stream
US20180227482A1 (en) Scene-aware selection of filters and effects for visual digital media content
CN105939481A (en) Interactive three-dimensional virtual reality video program recorded broadcast and live broadcast method
Matsuyama et al. 3D video and its applications
US8922718B2 (en) Key generation through spatial detection of dynamic objects
CN106683195B (en) AR scene rendering method based on indoor positioning
EP2643972A1 (en) Improved method and system for creating three-dimensional viewable video from a single video stream
CN102918858A (en) 3-D panoramic image creating apparatus, 3-D panoramic image creating method, 3-D panoramic image creating program, 3-D panoramic image replay apparatus, 3-D panoramic image replay method, 3-D panoramic image replay program, and recording medium
JP2020086983A (en) Image processing device, image processing method, and program
CN108600729B (en) Dynamic 3D model generation device and image generation method
WO2022047701A1 (en) Image processing method and apparatus
KR20150105069A (en) Cube effect method of 2d image for mixed reality type virtual performance system
Mase et al. Socially assisted multi-view video viewer
KR101198557B1 (en) 3D stereoscopic image and video that is responsive to viewing angle and position
JP4881178B2 (en) Odometer image generation device and odometer image generation program
CN108769755A (en) High-resolution full view frequency live streaming camera system and method
KR20140023136A (en) Putting information display system and method for golf on the air
CN108564654B (en) Picture entering mode of three-dimensional large scene
KR102082131B1 (en) Inserting Method of Augment Reality Information in Drone Moving Picture
CN106713890A (en) Image processing method and device
KR102130973B1 (en) Meta File Structure used when Inserting Augment Reality Information into Drone Moving Picture
CN105204284A (en) Three-dimensional stereo playback system based on panoramic circular shooting technology
KR102259401B1 (en) Composing Method of Augment Reality Additional Information in Drone Moving Picture

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)