KR20180092496A - System and the method thereof for Providing Multi-view Image using Multi-Dynamic unmanned Aerial Vehicle - Google Patents

System and the method thereof for Providing Multi-view Image using Multi-Dynamic unmanned Aerial Vehicle Download PDF

Info

Publication number
KR20180092496A
KR20180092496A KR1020170018232A KR20170018232A KR20180092496A KR 20180092496 A KR20180092496 A KR 20180092496A KR 1020170018232 A KR1020170018232 A KR 1020170018232A KR 20170018232 A KR20170018232 A KR 20170018232A KR 20180092496 A KR20180092496 A KR 20180092496A
Authority
KR
South Korea
Prior art keywords
autonomous mobile
interest
image
camera
model
Prior art date
Application number
KR1020170018232A
Other languages
Korean (ko)
Inventor
엄기문
조기성
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020170018232A priority Critical patent/KR20180092496A/en
Publication of KR20180092496A publication Critical patent/KR20180092496A/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • B64C2201/127—
    • B64C2201/141—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Databases & Information Systems (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)

Abstract

The present invention provides a system and a method for providing a multi-view image stable for a dynamic object or a scene by allowing multiple autonomous mobile vehicles to move while maintaining a distance when a specific interest object moves or camera position movement is required. According to an embodiment of the present invention, the device for providing a multi-view image including a plurality of autonomous mobile vehicles comprises: an autonomous mobile vehicle controller transmitting an interest object tracking command and position information of the interest object to the autonomous mobile vehicle, and controlling the plurality of autonomous mobile vehicles; the autonomous mobile vehicle receiving an initial position of the interest object from the autonomous mobile vehicle controller, tracking the position of the interest object to capture an image of the interest object, and transmitting the captured image to an object 3D model generator; the object 3D model generator generating a 3D model of the interest object by using the image capturing the interest object received from the plurality of autonomous mobile vehicles; and a virtual view image generator generating an image at a specific point from the 3D model of the interest object.

Description

다수의 동적 자율 이동 비행체 기반 다중 시점 영상 제공 시스템 및 방법{System and the method thereof for Providing Multi-view Image using Multi-Dynamic unmanned Aerial Vehicle}BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a dynamic multi-view image providing system and method,

본 발명은 다수의 동적 자율이동 비행체 기반 다중 시점 영상 제공 시스템 및 방법에 관한 것으로 구체적으로 특정 관심 객체나 장면을 여러 각도에서 동시에 촬영하여 동일 시간대의 다중 시점 영상을 제공하는 시스템 및 방법에 관한 것이다. The present invention relates to a system and a method for providing a multi-viewpoint image based on a plurality of dynamic autonomous mobile objects. More particularly, the present invention relates to a system and method for simultaneously capturing a multi-viewpoint image of a specific object or scene at various angles.

종래 기술은 미리 정하여진 고정된 위치에 다수의 카메라를 설치하고, 동시간대에 관심 객체나 장명의 다중 시점 영상을 획득하고, 이로부터 관심 객체나 장면의 3D 모델을 생성하고, 3D 모델이나 3차원 정보를 기반으로 가상 시점 영상을 생성한다. 종래 기술은 관심 객체가 움직이는 경우, 카메라의 위치를 변경해야 하는 번거로운 문제가 있고, 카메라 위치 이동이 필요할 때 이동 범위의 제약이 있어, 촬영이 가능한 범위가 제한되는 문제가 있다. In the conventional technique, a plurality of cameras are installed at predetermined fixed positions, a multi-view image of an object of interest or a long name is acquired at the same time, a 3D model of an object or a scene of interest is generated therefrom, The virtual viewpoint image is generated based on the information. In the related art, there is a troublesome problem of changing the position of the camera when the object of interest moves, and there is a limitation in the movement range when the camera position is required to move, which limits the range in which shooting can be performed.

본 발명은 전술한 문제를 해결하기 위하여, 다수의 동적 자율이동 비행체 기반 다중 시점 영상 제공 시스템 및 방법을 제공하는 것을 그 목적으로 한다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a system and a method for providing a plurality of dynamic autonomous mobile vehicle based multi viewpoint images in order to solve the above problems.

특정 관심 객체가 움직이거나 카메라 위치 이동이 필요한 경우, 다수의 자율이동 비행체가 거리를 유지하면서 이동할 수 있도록 하여 동적인 객체 또는 장면에 대하여 안정적인 다중 시점 영상을 제공하는 시스템 및 방법을 제공한다.The present invention provides a system and method for providing a stable multi-view image for a dynamic object or scene by allowing a plurality of autonomous mobile objects to move while maintaining a distance when a specific object of interest moves or a camera position movement is required.

구체적으로 본 발명은 특정 관심 객체가 움직이거나 카메라 위치 이동이 필요할 때, 여러 시점에서 동시에 특정 관심 객체나 장면에 대한 영상을 얻기 위하여 다수의 자율 이동 비행체에 탑재된 카메라를 이용하여 특정 관심 객체나 장면의 여러 각도에서의 영상을 획득하고, 획득한 영상으로부터 3D 모델을 생성하여, 가상 시점의 영상을 생성하는 시스템 및 방법을 제공하는 것을 목적으로 한다. More particularly, the present invention relates to a method and apparatus for capturing a specific object of interest or a scene using a camera mounted on a plurality of autonomous mobile objects in order to acquire an image of a specific object or scene at the same time, And generating a 3D model from the acquired image to generate an image at a virtual viewpoint.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned can be clearly understood by those skilled in the art from the following description.

전술한 목적을 달성하기 위한 본 발명의 일면에 따른 복수의 자율 이동 비행체를 포함하는 다중 시점 영상 제공 장치는, 상기 자율 이동 비행체에 관심 객체 추적 명령과, 관심 객체의 위치 정보를 전송하여 복수의 자율 이동 비행체를 제어하는 자율 이동 비행체 제어기; 상기 자율 이동 비행체 제어기로부터 관심 객체의 초기 위치를 수신하고, 관심 객체의 위치를 추적하여 관심 객체의 영상을 촬영하고, 촬영한 영상을 객체 3D 모델 생성기에 전송하는 자율 이동 비행체; 복수의 자율 이동 비행체로부터 수신한 관심 객체를 촬영한 영상을 이용하여, 관심 객체의 3D 모델을 생성하는 객체 3D 모델 생성기; 및 상기 관심 객체의 3D 모델로부터 특정 시점에서의 영상을 생성하는 가상 시점 영상 생성기;를 포함한다.According to an aspect of the present invention, there is provided an apparatus for providing a multi-view image including a plurality of autonomous mobile objects, the apparatus comprising: An autonomous mobile object controller for controlling mobile objects; An autonomous mobile body for receiving an initial position of an object of interest from the autonomous mobile body controller, capturing an image of the object of interest by tracking the position of the object of interest, and transmitting the captured image to the object 3D model generator; An object 3D model generator for generating a 3D model of an object of interest using an image of an object of interest received from a plurality of autonomous mobile objects; And a virtual viewpoint image generator for generating an image at a specific time point from the 3D model of the object of interest.

본 발명의 다른 일면에 따른 다중 시점 영상 제공 방법은, 자율 이동 비행체 제어부가, (1) 관심 객체 및 촬영할 자율 이동 비행체를 지정하는 단계; (2) 상기 관심 객체의 초기 위치를 계산하는 단계; (3) 상기 관심 객체의 초기 위치를 기준으로 상기 자율 이동 비행체의 촬영 위치를 설정하는 단계; (4) 상기 자율 이동 비행체의 이동을 제어하는 단계; 자율 이동 비행체가, (5) 탑재된 카메라를 이용하여 상기 관심 객체를 촬영하고, 촬영된 영상을 객체 3D 모델 생성기에 전송하는 단계; (6) 상기 관심 객체를 추적하여 자율 이동 비행체의 위치를 제어하는 단계; 객체 3D 모델 생성기가, (7) 복수의 촬영된 카메라 영상을 수신하는 단계; (8) 상기 수신된 복수의 카메라 영상을 토대로 프레임별 관심 객체의 3D 모델을 생성하는 단계; 및 가상 시점 영상 생성기가, (9) 상기 생성된 3D 모델을 이용하여 관심 객체의 가상 시점의 영상을 생성하는 단계;를 포함한다.According to another aspect of the present invention, there is provided a multi-viewpoint image providing method including: (1) designating an object of interest and an autonomous mobile object to be photographed; (2) calculating an initial position of the object of interest; (3) setting a photographing position of the autonomous mobile object based on an initial position of the object of interest; (4) controlling movement of the autonomous mobile body; (5) photographing the object of interest using a camera mounted on the autonomous mobile body, and transmitting the photographed image to the object 3D model generator; (6) controlling the position of the autonomous mobile object by tracking the object of interest; Object 3D model generator, (7) receiving a plurality of photographed camera images; (8) generating a 3D model of the object of interest per frame based on the received plurality of camera images; And a virtual viewpoint image generator, and (9) generating an image of a virtual viewpoint of the object of interest using the generated 3D model.

본 발명에 따르면, 복수의 자율 이동 비행체에 탑재된 2차원 카메라를 이용하여 특정 시점에서의 가상 시점 영상을 생성하여 시청자에게 역동적인 영상을 제공하는 효과가 있다.According to the present invention, a virtual viewpoint image at a specific time point is generated using a two-dimensional camera mounted on a plurality of autonomous mobile objects, thereby providing a dynamic image to a viewer.

도 1은 본 발명에 따른 다중 시점 영상 제공 방법이 구현되는 컴퓨터 시스템의 구성을 설명하기 위한 예시도.
도 2는 본 발명에 따른 다중 시점 영상 제공 시스템 및 방법을 설명하기 위한 예시도.
도 3은 본 발명에 따른 다중 시점 영상 제공 시스템의 구성도.
도 4는 본 발명에 따른 다중 시점 영상 제공 방법의 절차 흐름도.BRIEF DESCRIPTION OF DRAWINGS FIG. 1 is an exemplary diagram illustrating a configuration of a computer system in which a multi-view image providing method according to the present invention is implemented. FIG.
BACKGROUND OF THE INVENTION 1. Field of the Invention [0002] The present invention relates to a multi-view image providing system and method.
3 is a configuration diagram of a multi-view image providing system according to the present invention;
4 is a flowchart illustrating a method of providing a multi-view image according to the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention, and the manner of achieving them, will be apparent from and elucidated with reference to the embodiments described hereinafter in conjunction with the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as being limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. Is provided to fully convey the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims. It is to be understood that the terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. In the present specification, the singular form includes plural forms unless otherwise specified in the specification. As used herein, the terms " comprises, " and / or "comprising" refer to the presence or absence of one or more other components, steps, operations, and / Or additions.

이하, 본 발명의 바람직한 실시예에 대하여 첨부한 도면을 참조하여 상세히 설명하기로 한다. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명에 따른 다중 시점 영상 제공 방법이 구현되는 컴퓨터 시스템의 구성을 설명하기 위한 예시도이다.FIG. 1 is an exemplary diagram illustrating a configuration of a computer system in which a multi-view image providing method according to the present invention is implemented.

한편, 본 발명의 실시예에 따른 다중 시점 영상 제공 방법은 컴퓨터 시스템에서 구현되거나, 또는 기록매체에 기록될 수 있다. 도 1에 도시된 바와 같이, 컴퓨터 시스템은 적어도 하나 이상의 프로세서(110)와, 메모리(120)와, 사용자 입력 장치(150)와, 데이터 통신 버스(130)와, 사용자 출력 장치(160)와, 저장소(140)를 포함할 수 있다. 전술한 각각의 구성 요소는 데이터 통신 버스(130)를 통해 데이터 통신을 한다.Meanwhile, the multi-view image providing method according to the embodiment of the present invention can be implemented in a computer system or recorded on a recording medium. 1, a computer system includes at least one processor 110, a memory 120, a user input device 150, a data communication bus 130, a user output device 160, And may include a storage 140. Each of the above-described components performs data communication via the data communication bus 130. [

컴퓨터 시스템은 네트워크(180)에 연결된 네트워크 인터페이스(170)를 더 포함할 수 있다. 상기 프로세서(110)는 중앙처리 장치(central processing unit (CPU))이거나, 혹은 메모리(120) 및/또는 저장소(140)에 저장된 명령어를 처리하는 반도체 장치일 수 있다. The computer system may further include a network interface 170 coupled to the network 180. The processor 110 may be a central processing unit (CPU) or a semiconductor device that processes instructions stored in the memory 120 and / or the storage 140.

상기 메모리(120) 및 상기 저장소(140)는 다양한 형태의 휘발성 혹은 비휘발성 저장매체를 포함할 수 있다. 예컨대, 상기 메모리(120)는 ROM(123) 및 RAM(126)을 포함할 수 있다.The memory 120 and the storage 140 may include various forms of volatile or non-volatile storage media. For example, the memory 120 may include a ROM 123 and a RAM 126.

따라서, 본 발명의 실시예에 따른 다중 시점 영상 제공 방법은 컴퓨터에서 실행 가능한 방법으로 구현될 수 있다. 본 발명의 실시예에 따른 다중 시점 영상 제공 방법이 컴퓨터 장치에서 수행될 때, 컴퓨터로 판독 가능한 명령어들이 본 발명에 따른 운영 방법을 수행할 수 있다.Therefore, the multi-view image providing method according to the embodiment of the present invention can be implemented in a computer-executable method. When a multi-view image providing method according to an embodiment of the present invention is performed in a computer device, computer-readable instructions can perform an operating method according to the present invention.

한편, 상술한 본 발명에 따른 다중 시점 영상 제공 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.Meanwhile, the multi-view image providing method according to the present invention can be implemented as a computer-readable code on a computer-readable recording medium. The computer-readable recording medium includes all kinds of recording media storing data that can be decoded by a computer system. For example, there may be a ROM (Read Only Memory), a RAM (Random Access Memory), a magnetic tape, a magnetic disk, a flash memory, an optical data storage device and the like. The computer-readable recording medium may also be distributed and executed in a computer system connected to a computer network and stored and executed as a code that can be read in a distributed manner.

도 2는 본 발명에 따른 다중 시점 영상 제공 시스템 및 방법을 설명하기 위한 예시도를 나타낸다.FIG. 2 illustrates an exemplary view for explaining a multi-view image providing system and method according to the present invention.

도 2에 나타난 것과 같이 축구 경기에 있어서, 축구공을 잡고 있는 사람 또는 축구공이 관심 객체가 되고, 관심 객체의 근방에 5대의 자율 이동 비행체(320)가 있는 경우를 가정한 예시도이다.As shown in FIG. 2, in the case of a soccer game, it is assumed that a person holding a soccer ball or a soccer ball is an object of interest, and five autonomous mobile bodies 320 are located in the vicinity of the object of interest.

자율 이동 비행체는 관심 객체는 촬영하게 되는데, 자율 이동 비행체의 위치에 따라 촬영되는 모습은 상이하게 된다. 도 2와 같은 상황에서 같은 시점에 촬영된 자율 이동 비행체의 카메라 영상을 이용하면, 관심 객체의 3차원 모델(객체 3D 모델)을 생성할 수 있다. 하나의 프레임에 대하여, 3차원 모델을 생성하고, 프레임별 3차원 모델을 시간 순서대로 연결하면, 시간에 따른 관심 객체의 3차원 정보를 생성할 수 있다. 생성된 3차원 정보를 이용하여 특정 시점에서의 2차원 동영상으로 변환할 수 있으므로, 카메라가 설치될 수 없는 시점에서의 동영상을 획득할 수 있게 된다.An autonomous mobile object is photographed by an object of interest, but the object is photographed according to the position of the autonomous mobile object. Using the camera image of the autonomous mobile object photographed at the same time in the situation shown in FIG. 2, a three-dimensional model (object 3D model) of the object of interest can be generated. Three-dimensional models of the frame can be created and three-dimensional models of the frame can be linked in time order to generate three-dimensional information of the object of interest over time. Dimensional information at a specific time using the generated three-dimensional information, it is possible to acquire a moving image at a time when the camera can not be installed.

또한, 가상 시점은 고정된 것이 아니라, 관심 객체로부터의 거리 및 관심 객체에 대한 방향이 변화하는 시점에서의 동영상을 생성하는 것도 가능하다. 본 발명에 따르면, 자율 이동 비행체도 관심 객체의 움직임에 따라 이동하면서 촬영하기 때문에, 촬영된 관심 객체의 영상 내에서의 사이즈가 프레임별로 차이가 존재하므로, 복수의 카메라 영상을 합성함에 있어서, 영상의 크기 차이에 따라 생성되는 3D 모델의 품질에 차이가 있을 수 있다. 만약 변화하는 가상 시점에 대하여 가상 시점 영상을 생성할 경우, 보다 좋은 품질의 동영상을 획득할 수 있고, 시청자에게 더 생동감 있는 동영상을 제공할 수 있다.It is also possible to generate a moving picture at a time when the distance from the object of interest and the direction of the object of interest change as opposed to a fixed virtual viewpoint. According to the present invention, since the autonomous mobile object also moves while moving according to the movement of the object of interest, the size of the object of interest in the image varies in each frame. Therefore, in synthesizing a plurality of camera images, There may be a difference in the quality of the 3D model generated according to the size difference. If a virtual viewpoint image is generated with respect to a changing virtual viewpoint, it is possible to acquire a better quality moving image and provide a moving image to the viewer more vividly.

도 3은 본 발명에 따른 다중 시점 영상 제공 시스템의 구성도이다.3 is a configuration diagram of a multi-view image providing system according to the present invention.

본 발명에 따른 다수의 동적 자율 이동 비행체 기반 다중 시점 영상 제공 시스템은 자율 이동 비행체 제어기(310); 자율 이동 비행체(320); 객체 3D 모델 생성기(330); 및 가상 시점 영상 생성기(340);를 포함한다.A plurality of dynamic autonomous mobile object based multi-view image providing systems according to the present invention includes an autonomous mobile object controller 310; An autonomous mobile body 320; Object 3D model generator 330; And a virtual viewpoint image generator 340.

자율 이동 비행체 제어기(310)는 관심 객체 및 영상 촬영에 이용할 카메라가 탑재된 자율 이동 비행체(320)를 지정하는 명령을 생성하고, 생성된 명령을 자율 이동 비행체에 전송하여 자율 이동 비행체를 제어한다. The autonomous mobile object controller 310 generates an instruction to designate an autonomous mobile object 320 equipped with a camera to be used for shooting an object of interest and images, and transmits the generated command to the autonomous mobile object to control the autonomous mobile object.

자율 이동 비행체(320)는 카메라 영상을 획득하는 카메라(324); 상기 카메라 영상을 분석하여 객체를 추적하는 객체 추적기(322); 및 자율 이동 비행체 제어기(310)로부터 제어 명령을 수신하고, 추적된 객체 정보를 자율 이동 비행체 제어기에 전송하고, 상기 카메라 영상을 객체 3D 모델 생성기(330)에 전송하는 통신부(326)를 포함한다.The autonomous mobile body 320 includes a camera 324 for acquiring a camera image; An object tracker (322) for analyzing the camera image and tracking the object; And a communication unit 326 for receiving the control command from the autonomous mobile object controller 310, transmitting the tracked object information to the autonomous mobile object controller, and transmitting the camera image to the object 3D model generator 330.

객체 추적기(322)는 프로세서와 메모리를 포함하고, 컴퓨터상에서 실행될 수 있는 프로그램 코드에 의하여 객체를 추적할 수 있다.The object tracker 322 includes a processor and memory, and can track objects by program code that can be executed on a computer.

객체 3D 모델 생성기(330)는 하나 이상의 자율 이동 비행체로부터 획득된 카메라 영상을 이용하여 3D 모델을 생성한다. 구체적으로 복수의 2차원의 카메라 영상, 객체의 위치 정보, 카메라의 위치 정보를 토대로 객체의 3차원 영상을 생성할 수 있다. The object 3D model generator 330 generates a 3D model using camera images obtained from at least one autonomous mobile object. Specifically, a three-dimensional image of an object can be generated based on a plurality of two-dimensional camera images, object position information, and camera position information.

가상 시점 영상 생성기(340)는 상기 생성된 객체의 3D 모델을 이용하여, 특정 시점(視點)에서의 2차원 영상을 생성한다. The virtual viewpoint image generator 340 generates a two-dimensional image at a specific point of view using the 3D model of the generated object.

도 4는 본 발명에 따른 다중 시점 영상 제공 방법의 절차 흐름도.4 is a flowchart illustrating a method of providing a multi-view image according to the present invention.

본 발명에 따른 다중 시점 영상 제공 방법은 관심 객체 및 촬영할 자율 이동 비행체를 지정하는 단계; 관심 객체의 초기 위치를 계산하는 단계; 관심 객체의 초기 위치를 토대로 자율 이동 비행체의 초기 위치를 설정하는 단계; 상기 설정된 초기 위치에 따라 자율 이동 비행체의 이동을 제어하는 단계; 자율 이동 비행체에 탑재된 카메라가 관심 객체를 촬영하는 단계; 자율 이동 비행체가 관심 객체를 추적하는 단계; 상기 추적에 따라 자율 이동 비행체의 위치를 제어하는 단계; 복수의 촬영된 카메라 영상을 수신하는 단계; 상기 수신된 복수의 카메라 영상을 토대로 프레임별 관심 객체의 3D 모델을 생성하는 단계; 및 상기 생성된 3D 모델을 이용하여 관심 객체의 가상 시점의 영상을 생성하는 단계;를 포함한다.A method of providing a multi-viewpoint image according to the present invention includes: designating an object of interest and an autonomous mobile object to be photographed; Calculating an initial position of the object of interest; Setting an initial position of an autonomous mobile object based on an initial position of the object of interest; Controlling the movement of the autonomous mobile body according to the set initial position; A step of photographing an object of interest by a camera mounted on an autonomous mobile body; Tracking an object of interest by an autonomous mobile object; Controlling the position of the autonomous mobile body according to the tracking; Receiving a plurality of photographed camera images; Generating a 3D model of an object of interest per frame based on the received plurality of camera images; And generating an image of a virtual viewpoint of the object of interest using the generated 3D model.

자율 이동 비행체(320)는 GPS가 내장되어 있어, 자율 이동 비행체(320)의 위치를 알 수 있다. 복수의 자율 이동 비행체(320)의 위치 및 자율 이동 비행체(320)에 탑재된 카메라(324)가 촬영한 관심 객체의 영상을 이용하여 삼각 측량의 방법으로 관심 객체의 초기 위치를 설정할 수 있다. 또한, 관심 객체에 위치 추적이 가능한 센서를 부착하거나, GPS 센서를 부착하여 관심 객체의 위치 추적이 가능하다.The autonomous mobile body 320 has a built-in GPS, so that the position of the autonomous mobile body 320 can be known. The initial position of the object of interest can be set by the method of triangulation using the position of the plurality of autonomous mobile bodies 320 and the image of the object of interest photographed by the camera 324 mounted on the autonomous mobile body 320. In addition, it is possible to attach a sensor capable of tracking the position of interest to the object of interest or to attach a GPS sensor to track the position of the object of interest.

자율 이동 비행체 제어기(310)는 관심 객체의 초기 위치를 설정할 자율 이동 비행체(320)를 선택하고, 상술한 방법을 이용하여 관심 객체의 초기 위치를 설정할 수 있다.The autonomous mobile object controller 310 may select the autonomous mobile object 320 to set the initial position of the object of interest and set the initial position of the object of interest using the method described above.

관심 객체의 초기 위치 및 그 후에 이동하여 추적할 위치를 보다 빠르게 획득하기 위하여, 필드에 기준점이 되는 표시를 할 수 있다. 예컨대, 축구장의 경우 중앙선, 터치라인, 골라인, 골 에어리어, 페널티 에어리어, 패널티 아크, 센터 서클 등이 기준점 역할을 할 수 있다. In order to obtain the initial position of the object of interest and then the position to be moved and traced more quickly, the field can be marked as a reference point. For example, in the case of a soccer field, a center line, a touch line, a goal line, a goal area, a penalty area, a penalty arc, and a center circle can serve as reference points.

또한, 축구장 내부에 메시(Mesh) 형태로 일정 간격별로 센서를 설치하거나, 육안으로 분간이 잘 되지 아니하는 표시를 할 수 있다. 예컨대, 태양광을 흡수하여 주변보다 높은 온도를 유지하는 필름을 설치하고, 이를 적외선 카메라를 이용하여 인식할 수 있다. 이때, 자율 이동 비행체는 적외선 카메라를 더 탑재할 수 있다. In addition, it is possible to install a sensor in the shape of a mesh in a soccer field at regular intervals, or to display a mark that is not well visible by the naked eye. For example, a film that absorbs sunlight and maintains a higher temperature than its surroundings is installed, and can be recognized by using an infrared camera. At this time, the autonomous mobile vehicle can further mount an infrared camera.

축구장의 규격에 관한 정보는 자율 이동 비행체 제어기(310) 및 자율 이동 비행체(320)에 업로드할 수 있고, 터치라인과 골라인을 기준으로 촬영 영역이 설정된다. 위치를 파악하는데 사용되는 기준점을 메시 형태로 배치할 경우, 관심 객체의 위치를 연산하는데 소요되는 시간을 절약할 수 있는 장점이 있다. 영상 왜곡에 대한 처리 없이 단순한 보간법을 이용하더라도 비교적 정확한 위치를 연산할 수 있다. 메시 형태의 배치 방법은 기준점의 배치 방법을 제한하고자 하는 것은 아니다. 기준점을 메시 형태가 아닌 무작위적으로 배치하여도 관심 객체의 위치를 연산할 수 있다. 상술한 바와 같이, 기준점이 존재하지 않는 경우에도 카메라 영상과 자율 이동 비행체(320)의 위치 정보를 이용하여 관심 객체의 위치를 획득할 수 있고, 촬영할 관심 객체의 초기 위치가 파악되면, 관심 객체를 촬영하기 위한 최적의 위치로 자율 이동 비행체(320)가 이동하므로, 보다 정확한 위치를 획득할 수 있게 된다. Information on the specification of the soccer field can be uploaded to the autonomous mobile body controller 310 and the autonomous mobile body 320, and the shooting region is set based on the touch line and the goal line. When the reference points used to determine the position are arranged in a mesh form, there is an advantage that the time required to calculate the position of the object of interest can be saved. A relatively accurate position can be calculated even if a simple interpolation method is used without processing for image distortion. The mesh-type arrangement method is not intended to limit the method of arranging the reference points. The position of the object of interest can be calculated by randomly arranging the reference points instead of the mesh shape. As described above, even if the reference point does not exist, the position of the object of interest can be acquired using the position information of the camera image and the autonomous mobile object 320. If the initial position of the object of interest is captured, The autonomous mobile body 320 moves to an optimal position for photographing, so that a more accurate position can be obtained.

자율 이동 비행체 제어기(310)는 관심 객체의 3D 모델을 생성하기 위한 최적의 위치를 각각의 자율 이동 비행체(320)에 주기적으로 전송한다. 다만, 자율 이동 비행체(320)는 관심 객체의 이동에 따라, 자신의 위치를 적절하게 변경한다. 다른 자율 이동 비행체(320)의 위치 및 이동 경로를 추측할 수 있지만, 자율 이동 비행체(320)에 탑재되는 프로세서 및 메모리의 용량을 고려하면, 자신의 위치 및 이동 경로만 연산하는 것이 바람직하다. 각각의 자율 이동 비행체(320)는 개별적으로 자신의 위치를 결정하고, 관심 객체의 이동에 따라 이동 경로를 결정하는 것이므로, 일정 시간이 경과하면 복수의 자율 이동 비행체(320)의 위치가 관심 객체의 3D 모델을 생성하기 적절하지 않을 수 있으므로, 자율 이동 비행체 제어기(310)가 주기적으로 각각의 자율 이동 비행체에게 이동할 위치 정보를 전송한다. The autonomous mobile object controller 310 periodically transmits the optimal position for generating the 3D model of the object of interest to each autonomous mobile object 320. [ However, the autonomous mobile body 320 appropriately changes its position according to the movement of the object of interest. It is preferable to calculate only the position and the movement route of the autonomous mobile body 320 considering the position of the processor and the memory mounted on the autonomous mobile body 320. [ Since each autonomous mobile object 320 determines its own position and determines the movement route according to the movement of the object of interest, when a predetermined time elapses, the position of the plurality of autonomous mobile objects 320 becomes It may not be appropriate to generate the 3D model, so that the autonomous mobile body controller 310 periodically transmits position information to be moved to each autonomous mobile body.

자율 이동 비행체의 수는 관심 객체를 전 방향에서 촬영하여 3D 모델을 생성하기 위하여 최소한 3대가 필요하다. 다만, 관심 객체의 특정 방향을 중심으로 촬영한다면, 2대의 카메라를 이용하여 촬영하는 것으로 특정 방향에 대하여는 3D 모델을 생성할 수 있다. 다수의 카메라 영상을 합성하면, 보다 정확한 3D 모델을 생성할 수 있는 것이나, 영상을 합성할 때, 필요로 하는 연산 시간이 오래 걸리는 단점이 있다.The number of autonomous mobile objects requires at least three cameras in order to capture 3D objects from all directions. However, if the object is photographed in a specific direction, it is possible to create a 3D model for a specific direction by photographing using two cameras. When a plurality of camera images are synthesized, it is possible to generate a more accurate 3D model. However, there is a disadvantage in that a long calculation time is required for synthesizing images.

자율 이동 비행체(320)에 탑재되는 카메라는 깊이 카메라일 수 있다. 깊이 카메라는 통상 2개의 카메라를 설치하고, 카메라의 위치에 따른 시차를 이용하여 3D 영상을 생성할 수 있는 장점이 있다. 깊이 카메라를 이용할 경우, 자율 이동 비행체(320)의 수를 줄일 수 있는 장점이 있다. The camera mounted on the autonomous mobile body 320 may be a depth camera. The depth camera typically has two cameras and is capable of generating a 3D image using the time difference according to the position of the camera. When the depth camera is used, there is an advantage that the number of the autonomous mobile bodies 320 can be reduced.

관심 객체의 초기 위치를 설정하면, 자율 이동 비행체 제어기(310)는 각각의 자율 이동 비행체(320)의 위치를 설정하여 자율 이동 비행체(320)에 전송한다. 자율 이동 비행체(320)는 수신한 위치와 관심 객체의 이동에 따라 자신의 위치를 변경하면서 관심 객체를 추적하며, 관심 객체를 촬영한다. 촬영된 영상은 실시간으로 객체 3D 모델 생성기(330)에 전송한다. When the initial position of the object of interest is set, the autonomous mobile body controller 310 sets the position of each autonomous mobile body 320 and transmits it to the autonomous mobile body 320. The autonomous mobile body 320 tracks the object of interest while changing its position according to the received position and the movement of the object of interest, and photographs the object of interest. The photographed image is transmitted to the object 3D model generator 330 in real time.

자율 이동 비행체(320)에 탑재된 객체 추적기(322)는 관심 객체의 이동에 따라 관심 객체의 위치를 추적하여, 자율 이동 비행체(320)의 위치와 방향 및 카메라의 촬영 방향을 변경하여 관심 객체를 계속하여 촬영한다. 즉, 각각의 자율 이동 비행체(320)는 관심 객체의 이동에 따라 추적하여 관심 객체를 촬영하게 된다. 촬영된 영상의 품질을 유지하기 위하여 자율 이동 비행체(320)는 관심 객체로부터의 거리를 일정하게 유지하도록 이동할 수 있다. 다중 시점 영상을 이용하여 3D 모델을 생성하거나, 가상 시점 영상을 생성할 때, 시간축 상의 영상이 흔들리거나 잦은 크기 변화로 인하여, 3D 모델을 생성하는데 필요로 하는 연산 시간이 오래 걸리는 문제를 줄이기 위함이다. 본 발명을 실시하는데, 연산 시간문제로 인하여 품질이 낮은 3D 모델이 생성되는 문제가 있고, 3D 모델의 3차원 정보의 정확도가 떨어지는 문제가 발생한다. The object tracker 322 mounted on the autonomous mobile object 320 tracks the position of the object of interest according to the movement of the object of interest and changes the position and direction of the autonomous mobile object 320 and the shooting direction of the camera, Continue to shoot. That is, each of the autonomous mobile objects 320 tracks the object of interest according to the movement of the object of interest and photographs the object of interest. In order to maintain the quality of the photographed image, the autonomous mobile body 320 may move to maintain a constant distance from the object of interest. To reduce the problem of long computation time required to generate a 3D model due to shaking or frequent size change of the image on the time axis when generating a 3D model using a multi view image or generating a virtual view image . In implementing the present invention, there is a problem that a 3D model having a low quality is generated due to a computation time problem, and the accuracy of 3D information of the 3D model is low.

자율 이동 비행체(320)에 탑재된 카메라(324)에 의해 촬영된 영상은 통신부(326)를 통하여, 객체 3D 모델 생성기(330)에 전달되고, 객체 3D 모델 생성기(330)는 복수의 카메라 영상, 영상을 촬영한 카메라의 위치 정보 및 관심 객체의 위치 정보를 토대로 관심 객체의 3D 모델을 생성한다. 상기 3D 모델은 관심 객체의 3차원 형상 정보, 모양 정보 및 색상 정보를 포함한다. The image photographed by the camera 324 mounted on the autonomous mobile body 320 is transmitted to the object 3D model generator 330 via the communication unit 326. The object 3D model generator 330 generates a plurality of camera images, A 3D model of the object of interest is generated based on the position information of the camera and the position information of the object of interest. The 3D model includes three-dimensional shape information, shape information, and color information of an object of interest.

통신부(326)는 무선 통신이 가능한 것으로, WIBRO, 무선 WIFI, 블루투스(BlueTooth), 직비(ZigBee), 와이어리스하트(WirlessHART), 마이와이(MiWi), 이동통신 등의 무선 기술을 이용할 수 있다. 다만, 전송 속도와 통달 거리 등을 고려하여 적절하게 선택할 수 있고, 필요에 따라 별도의 중계기를 설치하여 통달 거리를 연장할 수 있다. 통신부(326)는 자율 이동 비행체 제어기(310) 및 객체 3D 모델 생성기와 통신하여 데이터를 송수신할 수 있다.The communication unit 326 is capable of wireless communication and can use wireless technologies such as WIBRO, wireless WIFI, BlueTooth, ZigBee, WirlessHART, MiWi, and mobile communication. However, it can be selected appropriately in consideration of the transmission speed and the communication distance, and the relay distance can be extended by providing a separate repeater if necessary. The communication unit 326 can communicate with the autonomous mobile object controller 310 and the object 3D model generator to transmit and receive data.

자율 이동 비행체(320)는 추적 종료 명령을 수신할 때까지 관심 객체를 추적한다. The autonomous mobile body 320 tracks the object of interest until it receives a tracking end command.

관심 객체를 추적하여 자율 이동 비행체(320)에 탑재된 카메라(324)가 촬영된 영상들을 토대로 관심 객체 및 관심 객체가 포함된 장면을 3D 모델을 생성하고, 3차원 정보를 산출한다. The camera 324 mounted on the autonomous mobile object 320 tracks the object of interest and generates a 3D model of the scene including the object of interest and the object of interest based on the photographed images, and calculates the 3D information.

상기 생성된 3D 모델 및 산출된 3차원 정보는 프레임 별로 생성되므로, 상기 3D 모델 및 3차원 정보를 토대로 특정 방향에서의 가상 영상을 생성할 수 있다. 이를 가상 시점 영상이라 한다. 각 프레임별 가상 시점 영상을 생성하고, 각 프레임의 사이즈를 조정하여 연속된 프레임의 동영상을 생성할 수 있다. 생성된 가상 시점 영상을 이용하여 생성한 동영상은 실제로 해당 위치에 카메라가 설치할 수 없는 위치에 카메라를 설치하고 얻은 영상과 유사한 영상이 될 것이고, 시청자에게 더 생생한 동영상을 제공할 수 있는 효과가 있다. Since the generated 3D model and the calculated 3D information are generated for each frame, it is possible to generate a virtual image in a specific direction based on the 3D model and the 3D information. This is called a virtual viewpoint image. It is possible to generate a virtual view image for each frame and to adjust the size of each frame to generate a moving image of a continuous frame. The video generated using the generated virtual viewpoint image is a video similar to the video obtained by installing the camera at a position where the camera can not actually be installed at the corresponding position and provides a more vivid video to the viewer.

이상, 본 발명의 구성에 대하여 첨부 도면을 참조하여 상세히 설명하였으나, 이는 예시에 불과한 것으로서, 본 발명이 속하는 기술 분야에 통상의 지식을 가진 자라면 본 발명의 기술적 사상의 범위 내에서 다양한 변형과 변경이 가능함은 물론이다. 따라서 본 발명의 보호 범위는 전술한 실시예에 국한되어서는 아니 되며 이하의 특허청구범위의 기재에 의하여 정해져야 할 것이다.While the present invention has been described in detail with reference to the accompanying drawings, it is to be understood that the invention is not limited to the above-described embodiments. Those skilled in the art will appreciate that various modifications, Of course, this is possible. Accordingly, the scope of protection of the present invention should not be limited to the above-described embodiments, but should be determined by the description of the following claims.

100: 컴퓨터 시스템
110: 프로세서
120: 메모리
123: ROM
126: RAM
130: 데이터 통신 버스
140: 저장소
150: 사용자 입력 장치
160: 사용자 출력 장치
170: 네트워크 인터페이스
180: 네트워크
310: 자율 이동 비행체 제어기
320: 자율 이동 비행체
322: 객체 추적기
324: 카메라
326: 통신부
330: 객체 3D 모델 생성기
340: 가상 시점 영상 생성기100: Computer system
110: Processor
120: Memory
123: ROM
126: RAM
130: Data communication bus
140: Store
150: User input device
160: User output device
170: Network interface
180: Network
310: autonomous mobile object controller
320: autonomous mobile vehicle
322: Object Tracker
324: Camera
326:
330: Object 3D Model Generator
340: virtual viewpoint image generator

Claims (20)

복수의 자율 이동 비행체를 포함하는 다중 시점 영상 제공 장치에 있어서,
상기 자율 이동 비행체에 관심 객체 추적 명령과, 관심 객체의 위치 정보를 전송하여 복수의 자율 이동 비행체를 제어하는 자율 이동 비행체 제어기;
상기 자율 이동 비행체 제어기로부터 관심 객체의 초기 위치를 수신하고, 관심 객체의 위치를 추적하여 관심 객체의 영상을 촬영하고, 촬영한 영상을 객체 3D 모델 생성기에 전송하는 자율 이동 비행체;
복수의 자율 이동 비행체로부터 수신한 관심 객체를 촬영한 영상을 이용하여, 관심 객체의 3D 모델을 생성하는 객체 3D 모델 생성기; 및
상기 관심 객체의 3D 모델로부터 특정 시점에서의 영상을 생성하는 가상 시점 영상 생성기;
를 포함하는 다중 시점 영상 제공 장치.
A multi-view image providing apparatus including a plurality of autonomous mobile objects,
An autonomous mobile object controller for controlling a plurality of autonomous mobile objects by transmitting an object tracking command of interest and position information of an object of interest to the autonomous mobile object;
An autonomous mobile body for receiving an initial position of an object of interest from the autonomous mobile body controller, capturing an image of the object of interest by tracking the position of the object of interest, and transmitting the captured image to the object 3D model generator;
An object 3D model generator for generating a 3D model of an object of interest using an image of an object of interest received from a plurality of autonomous mobile objects; And
A virtual viewpoint image generator for generating an image at a specific time point from the 3D model of the object of interest;
And a multi-view image providing apparatus.
제1항에 있어서,
상기 자율 이동 비행체는,
상기 관심 객체의 초기 위치를 수신하여, 관심 객체의 이동에 따라 자율 이동 비행체의 위치 및 카메라의 방향을 조정하여 관심 객체를 추적하는 객체 추적기;
상기 관심 객체를 촬영하는 카메라; 및
상기 자율 이동 비행체 제어부로부터 제어 명령을 수신하고, 상기 객체 3D 모델 생성기에 상기 카메라가 촬영한 영상을 전송하는 통신부;
를 포함하는 것
인 다중 시점 영상 제공 장치.
The method according to claim 1,
Wherein the autonomous mobile body comprises:
An object tracker for receiving the initial position of the object of interest and adjusting the position of the autonomous mobile object and the direction of the camera according to the movement of the object of interest to track the object of interest;
A camera for photographing the object of interest; And
A communication unit for receiving a control command from the autonomous mobile body control unit and transmitting the image photographed by the camera to the object 3D model generator;
Including
In viewpoint image.
제2항에 있어서,
상기 객체 추적기는,
통신부를 통하여 객체 추적 정보를 자율 이동 비행체 제어기에 전송하는 것이고,
상기 객체 추적 정보는 자율 이동 비행체의 위치 및 자율 이동 비행체에서 보는 관심 객체의 방향을 포함하고,
상기 자율 이동 비행체 제어기는,
복수의 자율 이동 비행체로부터 상기 객체 추적 정보를 수신하여, 관심 객체의 위치를 설정하는 것
인 다중 시점 영상 제공 장치.
3. The method of claim 2,
The object tracker comprising:
The object tracking information is transmitted to the autonomous mobile object controller through the communication unit,
Wherein the object tracking information includes a position of an autonomous mobile object and a direction of an object of interest viewed from an autonomous mobile object,
Wherein the autonomous mobile object controller comprises:
Receiving the object tracking information from a plurality of autonomous mobile objects and setting the position of the object of interest
In viewpoint image.
제1항에 있어서,
상기 자율 이동 비행체 제어기는,
고품질의 관심 객체의 3D 모델을 생성하도록, 복수의 자율 이동 비행체의 3차원 상의 위치를 연산하고, 연산된 자율 이동 비행체의 위치를 자율 이동 비행체에 전송하여, 자율 이동 비행체의 위치 및 이동을 제어하는 것
인 다중 시점 영상 제공 장치.
The method according to claim 1,
Wherein the autonomous mobile object controller comprises:
A position of the autonomous mobile object is calculated to calculate the position of the object in three dimensions of the plurality of autonomous mobile objects so as to generate a 3D model of the object of high quality and the position and movement of the autonomous mobile object are controlled by transmitting the calculated position of the autonomous mobile object to the autonomous mobile object that
In viewpoint image.
제1항에 있어서,
상기 자율 이동 비행체가 식별할 수 있는 복수의 위치 확인용 표지를 더 포함하고,
상기 자율 이동 비행체는 상기 복수의 위치 확인용 표지로부터 관심 객체까지의 상대적 거리를 이용하여 관심 객체의 위치를 자율 이동 비행체 제어기에 전송하고,
상기 자율 이동 비행체 제어기는 복수의 자율 이동 비행체로부터 수신한 관심 객체의 위치를 가중 평균하여 관심 객체의 위치를 연산하는 것
인 다중 시점 영상 제공 장치.
The method according to claim 1,
Further comprising a plurality of positioning marks that the autonomous mobile object can identify,
The autonomous mobile body transmits the position of the object of interest to the autonomous mobile object controller using the relative distances from the plurality of positioning markers to the object of interest,
The autonomous mobile object controller calculates the position of the object of interest by weighted averaging the positions of the objects of interest received from the plurality of autonomous mobile objects
In viewpoint image.
제5항에 있어서,
상기 위치 확인용 표지는,
태양광을 흡수하여 주변보다 온도가 더 높은 것인 태양광 필름이고,
상기 자율 이동 비행체는,
적외선 카메라를 더 포함하고,
상기 적외선 카메라는 상기 위치 확인용 표지를 감지하는 것
인 다중 시점 영상 제공 장치.
6. The method of claim 5,
The positioning mark includes:
Which is a solar photovoltaic film that absorbs sunlight and has a higher temperature than its surroundings,
Wherein the autonomous mobile body comprises:
Further comprising an infrared camera,
Wherein the infrared camera detects the position identification mark
In viewpoint image.
제2항에 있어서,
상기 카메라는 2개의 렌즈를 이용하여 2개의 이미지를 생성하는 깊이 카메라인 것
인 다중 시점 영상 제공 장치.
3. The method of claim 2,
The camera is a depth camera that generates two images using two lenses
In viewpoint image.
제2항에 있어서,
상기 자율 이동 비행체는,
상기 관심 객체로부터 일정한 거리를 유지하면서, 상기 관심 객체를 촬영하는 것
인 다중 시점 영상 제공 장치.
3. The method of claim 2,
Wherein the autonomous mobile body comprises:
Photographing the object of interest while maintaining a constant distance from the object of interest
In viewpoint image.
제1항에 있어서,
상기 가상 시점 영상 생성기는,
프레임 별로 생성된 3D 모델로부터 해당 프레임의 특정 시점에서의 가상 시점 영상을 생성하고, 연속적인 프레임에 대한 가상 시점 영상을 연결하여 가상 시점 동영상을 생성하는 것
인 다중 시점 영상 제공 장치.
The method according to claim 1,
Wherein the virtual viewpoint image generator comprises:
Generating a virtual viewpoint image at a specific time point of the corresponding frame from the 3D model generated for each frame and connecting the virtual viewpoint images for the consecutive frames to generate a virtual viewpoint video
In viewpoint image.
제9항에 있어서,
상기 가상 시점 영상 생성기는,
각 프레임 별로 가상 시점 영상을 촬영하는 지점에 해당하는 특정 시점을 결정하고, 각 프레임 별로 결정된 가상 시점에서의 가상 시점 영상을 생성하고, 연속적인 프레임에 대한 가상 시점 영상을 연결하여 가상 시점 동영상을 생성하는 것
인 다중 시점 영상 제공 장치.

10. The method of claim 9,
Wherein the virtual viewpoint image generator comprises:
A virtual point-in-time image is generated at a virtual point determined for each frame, and a virtual point-in-time video is generated by connecting a virtual point-in-time image for a continuous frame To do
In viewpoint image.

자율 이동 비행체 제어부가,
(1) 관심 객체 및 촬영할 자율 이동 비행체를 지정하는 단계;
(2) 상기 관심 객체의 초기 위치를 계산하는 단계;
(3) 상기 관심 객체의 초기 위치를 기준으로 상기 자율 이동 비행체의 촬영 위치를 설정하는 단계;
(4) 상기 자율 이동 비행체의 이동을 제어하는 단계;
자율 이동 비행체가,
(5) 탑재된 카메라를 이용하여 상기 관심 객체를 촬영하고, 촬영된 영상을 객체 3D 모델 생성기에 전송하는 단계;
(6) 상기 관심 객체를 추적하여 자율 이동 비행체의 위치를 제어하는 단계;
객체 3D 모델 생성기가,
(7) 복수의 촬영된 카메라 영상을 수신하는 단계;
(8) 상기 수신된 복수의 카메라 영상을 토대로 프레임별 관심 객체의 3D 모델을 생성하는 단계; 및
가상 시점 영상 생성기가,
(9) 상기 생성된 3D 모델을 이용하여 관심 객체의 가상 시점의 영상을 생성하는 단계;
를 포함하는 다중 시점 영상 제공 방법.
An autonomous mobile object control unit
(1) specifying an object of interest and an autonomous mobile object to be photographed;
(2) calculating an initial position of the object of interest;
(3) setting a photographing position of the autonomous mobile object based on an initial position of the object of interest;
(4) controlling movement of the autonomous mobile body;
Autonomous mobile vehicles,
(5) photographing the object of interest using a camera mounted thereon, and transmitting the photographed image to an object 3D model generator;
(6) controlling the position of the autonomous mobile object by tracking the object of interest;
Object 3D model generator,
(7) receiving a plurality of photographed camera images;
(8) generating a 3D model of the object of interest per frame based on the received plurality of camera images; And
A virtual viewpoint image generator,
(9) generating an image of a virtual viewpoint of the object of interest using the 3D model;
And generating a multi-view image.
제11항에 있어서,
상기 (1) 단계는,
복수의 자율 이동 비행체로부터 수신한 카메라 영상으로부터 관심 객체를 결정하고, 관심 객체를 촬영하고 있는 자율 이동 비행체를 지정하는 것을 특징으로 하는
다중 시점 영상 제공 방법.
12. The method of claim 11,
The step (1)
Characterized by determining an object of interest from a camera image received from a plurality of autonomous mobile objects and designating an autonomous mobile object that is photographing the object of interest
A method for providing multiple viewpoint images.
제11항에 있어서,
상기 (2) 단계는,
복수의 자율 이동 비행체로부터 수신한 객체 추적 정보를 이용하여 관심 객체의 위치를 계산하는 것이고,
상기 객체 추적 정보는 자율 이동 비행체의 위치 및 자율 이동 비행체에서 보는 관심 객체의 방향을 포함하는 것
인 다중 시점 영상 제공 방법.
12. The method of claim 11,
The step (2)
The position of the object of interest is calculated by using the object tracking information received from a plurality of autonomous mobile objects,
The object tracking information includes the position of the autonomous mobile object and the direction of the object of interest viewed from the autonomous mobile object
In viewpoint image.
제11항에 있어서,
상기 (3) 단계는,
각 자율 이동 비행체가 관심 객체를 촬영하기 좋은 위치를 해당 자율 이동 비행체의 촬영 위치로 설정하는 것을 특징으로 하고,
상기 (6) 단계는,
상기 설정된 자율 이동 비행체의 촬영 위치에 따라 해당 자율 이동 비행체의 위치를 촬영 위치 근방으로 이동하는 것을 특징으로 하는
다중 시점 영상 제공 방법.
12. The method of claim 11,
The step (3)
Characterized in that each autonomous mobile object sets a good position for photographing an object of interest to a photographing position of the autonomous mobile object,
The step (6)
And moves the position of the autonomous mobile body in the vicinity of the photographing position according to the photographing position of the set autonomous mobile body
A method for providing multiple viewpoint images.
제11항에 있어서,
상기 자율 이동 비행체가 식별할 수 있는 복수의 위치 확인용 표지를 배치하는 단계를 더 포함하고,
상기 (2) 단계는,
상기 복수의 위치 확인용 표지로부터 관심 객체까지의 상대적 거리를 이용하여 관심 객체의 위치를 계산하고, 복수의 계산된 관심 객체의 위치를 가중 평균하여 관심 객체의 위치를 계산하는 것을 특징으로 하는
다중 시점 영상 제공 방법.
12. The method of claim 11,
Further comprising the step of arranging a plurality of positioning marks that can be identified by the autonomous mobile object,
The step (2)
Calculating a position of the object of interest using the relative distance from the plurality of positioning marks to the object of interest and calculating a position of the object of interest by weighted averaging of the positions of the plurality of calculated objects of interest
A method for providing multiple viewpoint images.
제15항에 있어서,
상기 위치 확인용 표지는,
태양광을 흡수하여 주변보다 온도가 더 높은 것인 태양광 필름이고,
상기 자율 이동 비행체는,
적외선 카메라를 더 포함하고,
상기 적외선 카메라는 상기 위치 확인용 표지를 감지하는 것
인 다중 시점 영상 제공 방법.
16. The method of claim 15,
The positioning mark includes:
Which is a solar photovoltaic film that absorbs sunlight and has a higher temperature than its surroundings,
Wherein the autonomous mobile body comprises:
Further comprising an infrared camera,
Wherein the infrared camera detects the position identification mark
In viewpoint image.
제12항에 있어서,
상기 (5) 단계는,
2개의 렌즈를 포함하는 깊이 카메라를 이용하여 관심 객체를 촬영하는 것을 특징으로 하는
다중 시점 영상 제공 방법.
13. The method of claim 12,
The step (5)
Characterized in that an object of interest is photographed using a depth camera including two lenses
A method for providing multiple viewpoint images.
제12항에 있어서,
상기 (4) 단계는,
상기 자율 이동 비행체가 상기 관심 객체로부터 일정한 거리를 유지하도록 자율 이동 비행체의 이동을 제어하는 것을 특징으로 하는
다중 시점 영상 제공 방법.
13. The method of claim 12,
The step (4)
And controls the movement of the autonomous mobile body so that the autonomous mobile body maintains a constant distance from the object of interest.
A method for providing multiple viewpoint images.
제11항에 있어서,
상기 (9) 단계는,
프레임 별로 생성된 3D 모델로부터 해당 프레임의 특정 시점에서의 가상 시점 영상을 생성하고, 연속적인 프레임에 대한 가상 시점 영상을 연결하여 가상 시점 동영상을 생성하는 것을 특징으로 하는
다중 시점 영상 제공 방법.
12. The method of claim 11,
The step (9)
Generating a virtual viewpoint image at a specific time point of the corresponding frame from the 3D model generated for each frame and connecting the virtual viewpoint images for the consecutive frames to generate a virtual viewpoint moving image;
A method for providing multiple viewpoint images.
제19항에 있어서,
상기 (9) 단계는,
각 프레임 별로 가상 시점 영상을 촬영하는 지점에 해당하는 특정 시점을 결정하고, 각 프레임 별로 결정된 가상 시점에서의 가상 시점 영상을 생성하고, 연속적인 프레임에 대한 가상 시점 영상을 연결하여 가상 시점 동영상을 생성하는 것을 특징으로 하는
다중 시점 영상 제공 방법.
20. The method of claim 19,
The step (9)
A virtual point-in-time image is generated at a virtual point determined for each frame, and a virtual point-in-time video is generated by connecting a virtual point-in-time image for a continuous frame Characterized in that
A method for providing multiple viewpoint images.
KR1020170018232A 2017-02-09 2017-02-09 System and the method thereof for Providing Multi-view Image using Multi-Dynamic unmanned Aerial Vehicle KR20180092496A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170018232A KR20180092496A (en) 2017-02-09 2017-02-09 System and the method thereof for Providing Multi-view Image using Multi-Dynamic unmanned Aerial Vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170018232A KR20180092496A (en) 2017-02-09 2017-02-09 System and the method thereof for Providing Multi-view Image using Multi-Dynamic unmanned Aerial Vehicle

Publications (1)

Publication Number Publication Date
KR20180092496A true KR20180092496A (en) 2018-08-20

Family

ID=63443279

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170018232A KR20180092496A (en) 2017-02-09 2017-02-09 System and the method thereof for Providing Multi-view Image using Multi-Dynamic unmanned Aerial Vehicle

Country Status (1)

Country Link
KR (1) KR20180092496A (en)

Similar Documents

Publication Publication Date Title
KR102448284B1 (en) head mounted display tracking system
CN106780601B (en) Spatial position tracking method and device and intelligent equipment
EP2812756B1 (en) Method and system for automatic 3-d image creation
US9479703B2 (en) Automatic object viewing methods and apparatus
US11906983B2 (en) System and method for tracking targets
EP2879371A1 (en) System for following an object marked by a tag device with a camera
JP6943988B2 (en) Control methods, equipment and systems for movable objects
US10924691B2 (en) Control device of movable type imaging device and control method of movable type imaging device
KR20150050172A (en) Apparatus and Method for Selecting Multi-Camera Dynamically to Track Interested Object
KR102219843B1 (en) Estimating location method and apparatus for autonomous driving
KR101600862B1 (en) stereo vision system using a plurality of uav
CN110139038B (en) Autonomous surrounding shooting method and device and unmanned aerial vehicle
JP2017072986A (en) Autonomous flying device, control method and program of autonomous flying device
US20190253635A1 (en) Three-dimensional shape estimation method, three-dimensional shape estimation system, flying object, program and recording medium
KR20210015624A (en) System and method for managing and controlling disaster situation using drone
CN110036411A (en) The device and method for generating electronics three-dimensional range environment
KR20180092496A (en) System and the method thereof for Providing Multi-view Image using Multi-Dynamic unmanned Aerial Vehicle
CN112291701B (en) Positioning verification method, positioning verification device, robot, external equipment and storage medium
WO2022000211A1 (en) Photography system control method, device, movable platform, and storage medium
JP2015126402A (en) Robot camera control device, program for the same, and multi-viewpoint robot camera system
KR102298047B1 (en) Method of recording digital contents and generating 3D images and apparatus using the same
CN111684784B (en) Image processing method and device
KR20080006925A (en) The method and system to get the frame data of moving shot with camera on a vehicle and the location data from location base service or gps and the direction data of the vehicle to send to server through wireless internet by real time and to be used that by another vehicle
CN114556257A (en) Method for controlling cameras of multiple unmanned aerial vehicles
KR101850535B1 (en) System and method for picture taking based on UWB wireless communication