KR102491637B1 - Apparatus for Providing Image and Method Thereof - Google Patents

Apparatus for Providing Image and Method Thereof Download PDF

Info

Publication number
KR102491637B1
KR102491637B1 KR1020150176058A KR20150176058A KR102491637B1 KR 102491637 B1 KR102491637 B1 KR 102491637B1 KR 1020150176058 A KR1020150176058 A KR 1020150176058A KR 20150176058 A KR20150176058 A KR 20150176058A KR 102491637 B1 KR102491637 B1 KR 102491637B1
Authority
KR
South Korea
Prior art keywords
image
images
fisheye
partial
moving object
Prior art date
Application number
KR1020150176058A
Other languages
Korean (ko)
Other versions
KR20170068956A (en
Inventor
백영민
이종서
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Priority to KR1020150176058A priority Critical patent/KR102491637B1/en
Publication of KR20170068956A publication Critical patent/KR20170068956A/en
Application granted granted Critical
Publication of KR102491637B1 publication Critical patent/KR102491637B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/04—Reversed telephoto objectives
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0038—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls

Abstract

본 발명의 실시예는 영상 제공 방법 및 장치를 개시한다.
본 발명의 일 실시예에 따른 영상 제공 방법은, 하나 이상의 어안 카메라(Fisheye Camera)를 구비하는 이동체로부터 상이한 방향에서 획득한 하나 이상의 어안 이미지(Fisheye image)을 수신하는 단계; 상기 하나 이상의 어안 이미지를 하나 이상의 평면 이미지로 디워핑(dewarping)하고, 상기 하나 이상의 평면 이미지로부터 상기 이동체의 적어도 하나의 시야 방향에 대응하는 적어도 하나의 부분 이미지를 생성하는 단계; 및 상기 하나 이상의 부분 이미지를 기 설정된 화면의 레이아웃(Layout)에 따라 배치하여 디스플레이 하는 단계;를 포함할 수 있다. An embodiment of the present invention discloses an image providing method and apparatus.
An image providing method according to an embodiment of the present invention includes receiving one or more fisheye images acquired in different directions from a moving object having one or more fisheye cameras; dewarping the one or more fisheye images into one or more planar images, and generating at least one partial image corresponding to at least one viewing direction of the moving object from the one or more planar images; and arranging and displaying the one or more partial images according to a preset screen layout.

Description

영상 제공 장치 및 방법 {Apparatus for Providing Image and Method Thereof}Apparatus for Providing Image and Method Thereof

본 발명의 실시예들은 하나 이상의 어안 카메라를 구비하는 이동체로부터 수신된 이미지를 제공하는 방법 및 장치에 관한 것이다.Embodiments of the present invention relate to a method and apparatus for presenting an image received from a mobile body having one or more fisheye cameras.

과거에는 무인비행체(UAV : Unmanned Aerial Vehicle)가 감시, 정찰 등의 제한된 분야를 중심으로 활용되었다. 그러나 오늘날 무인비행체는 감시, 정찰 분야를 넘어 물류배송, 스포츠 및 영상촬영 등의 다양한 분야에 활용되고 있다.In the past, unmanned aerial vehicles (UAVs) were used mainly in limited fields such as surveillance and reconnaissance. However, today, unmanned aerial vehicles are being used in various fields such as logistics delivery, sports, and filming beyond surveillance and reconnaissance.

무인비행체의 조작을 위해서는 사용자가 육안으로 관찰하며 조작을 하거나 또는 무인비행체에 탑재된 영상센서가 전송한 이미지를 보며 조작을 하는 것이 일반적이다. 그러나 육안으로 관찰하며 조작 하는 경우, 사용자와 무인비행체의 거리가 멀어지면 육안으로 비행체의 확인이 어려운 문제점이 있었고, 영상센서가 전송한 이미지를 보며 조작하는 경우 영상센서의 제한된 화각으로 인하여 볼 수 없는 사각지대가 발생하는 문제점이 있었다.In order to operate the unmanned aerial vehicle, it is common for a user to operate while observing with the naked eye or to operate while viewing an image transmitted by an image sensor mounted on the unmanned aerial vehicle. However, in the case of observing and operating with the naked eye, when the distance between the user and the UAV is far, there is a problem in that it is difficult to check the vehicle with the naked eye, and when operating while viewing the image transmitted by the image sensor, There was a problem with blind spots.

한국공개특허 제 2013-0112688호Korean Patent Publication No. 2013-0112688

본 발명은 상술한 문제점을 해결하기 위해 창출된 것으로써 무인비행체에 하나 이상의 어안 카메라를 구비하여 이미지를 획득함으로써 사각을 최소화 하고, 획득된 복수의 이미지를 기초로 무인비행체의 시야 방향에 대응하는 부분 이미지를 생성하고 이를 시야 방향에 대응하도록 배치함으로써 사각이 없는 직관적인 무인비행체의 조작 인터페이스를 제공하고자 한다. The present invention was created to solve the above-described problems, and minimized blind spots by acquiring images by equipping an unmanned aerial vehicle with one or more fisheye cameras, and based on a plurality of acquired images, a part corresponding to the viewing direction of the unmanned aerial vehicle. By creating an image and arranging it to correspond to the viewing direction, we intend to provide an intuitive UAV operation interface without blind spots.

나아가 본 발명은 유/무인 비행체, 유/무인 자동차, 유/무인 선박 등의 이동하는 모든 수단에 활용되어 보다 직관적인 조작 인터페이스를 제공하고자 한다.Furthermore, the present invention is utilized in all moving means such as manned/unmanned air vehicles, manned/unmanned vehicles, manned/unmanned ships, etc. to provide a more intuitive operation interface.

본 발명의 일 실시예에 따른 영상 제공 방법은, 하나 이상의 어안 카메라(Fisheye Camera)를 구비하는 이동체로부터 상이한 방향에서 획득한 하나 이상의 어안 이미지(Fisheye image)을 수신하는 단계; 상기 하나 이상의 어안 이미지를 하나 이상의 평면 이미지로 디워핑(dewarping)하고, 상기 하나 이상의 평면 이미지로부터 상기 이동체의 적어도 하나의 시야 방향에 대응하는 적어도 하나의 부분 이미지를 생성하는 단계; 및 상기 하나 이상의 부분 이미지를 기 설정된 화면의 레이아웃(Layout)에 따라 배치하여 디스플레이 하는 단계;를 포함할 수 있다. An image providing method according to an embodiment of the present invention includes receiving one or more fisheye images acquired in different directions from a moving object having one or more fisheye cameras; dewarping the one or more fisheye images into one or more planar images, and generating at least one partial image corresponding to at least one viewing direction of the moving object from the one or more planar images; and arranging and displaying the one or more partial images according to a preset screen layout.

본 발명의 일 실시예에 따른 영상 제공 방법은, 상기 이동체에 구비된 하나 이상의 감지수단으로부터 감지 데이터를 수신하는 단계를 더 포함할 수 있다. 이 때 상기 디스플레이 하는 단계는 상기 감지 데이터를 상기 하나 이상의 부분 이미지와 중첩하지 않는 영역에 배치하여 디스플레이 할 수 있다.The image providing method according to an embodiment of the present invention may further include receiving sensing data from one or more sensing means provided in the moving body. In this case, the displaying may include displaying the sensed data by arranging it in an area that does not overlap with the one or more partial images.

상기 화면의 레이아웃은 상기 화면을 분할한 복수의 영역들에서 상기 부분 이미지가 배치된 영역이 상기 부분 이미지가 나타내는 상기 이동체의 시야 방향을 나타내도록 상기 적어도 하나의 부분 이미지를 상기 복수의 영역들에 할당하고, 상기 이동체의 이동 방향, 상기 이동체의 자세 및 상기 감지 데이터를 상기 복수의 영역들 중 상기 적어도 하나의 부분 이미지가 배치되지 않는 영역에 할당할 수 있다.The layout of the screen allocates the at least one partial image to the plurality of regions so that the region in which the partial image is disposed represents the viewing direction of the moving object indicated by the partial image among the plurality of regions in which the screen is divided. and allocating the moving direction of the moving object, the attitude of the moving object, and the sensing data to an area where the at least one partial image is not disposed among the plurality of areas.

본 발명의 일 실시예에 따른 영상 제공 장치는, 하나 이상의 어안 카메라(Fisheye Camera)를 구비하는 이동체로부터 상이한 방향에서 획득한 하나 이상의 어안 이미지(Fisheye image)을 수신하는 영상 획득부; 상기 하나 이상의 어안 이미지를 하나 이상의 평면 이미지로 디워핑(dewarping)하고, 상기 하나 이상의 평면 이미지로부터 상기 이동체의 적어도 하나의 시야 방향에 대응하는 하나 이상의 부분 이미지를 생성하고, 상기 하나 이상의 부분 이미지를 기 설정된 화면의 레이아웃(Layout)에 따라 디스플레이 화면에 제공하는 제어부;를 포함할 수 있다.An image providing apparatus according to an embodiment of the present invention includes an image acquisition unit receiving one or more fisheye images obtained from a moving object having one or more fisheye cameras in different directions; Dewarping the one or more fisheye images into one or more plane images, generating one or more partial images corresponding to at least one viewing direction of the moving object from the one or more plane images, and generating the one or more partial images based on the one or more plane images. It may include; a controller provided on the display screen according to the layout of the set screen.

상기 제어부는, 상기 이동체에 구비된 하나 이상의 감지수단으로부터 감지 데이터를 수신하고, 상기 감지 데이터를 상기 디스플레이 화면의 상기 하나 이상의 부분 이미지와 중첩하지 않는 영역에 제공할 수 있다.The controller may receive sensing data from one or more sensing means provided in the moving body, and provide the sensing data to an area of the display screen that does not overlap with the one or more partial images.

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.Other aspects, features and advantages other than those described above will become apparent from the following drawings, claims and detailed description of the invention.

본 발명의 실시예들에 따르면 무인비행체에 하나 이상의 어안 카메라를 구비하여 이미지를 획득함으로써 사각을 최소화 하고, 획득된 복수의 이미지를 기초로 무인비행체의 시야 방향에 대응하는 부분 이미지를 생성하고 이를 시야 방향에 대응하도록 배치함으로써 사각이 없는 직관적인 무인비행체의 조작 인터페이스를 제공하는 영상 제공 장치를 구현할 수 있다. According to embodiments of the present invention, a blind spot is minimized by providing an unmanned aerial vehicle with one or more fisheye cameras to acquire images, and based on the obtained plurality of images, a partial image corresponding to the viewing direction of the unmanned aerial vehicle is generated, and this is By arranging them to correspond to the direction, it is possible to implement an image providing device that provides an intuitive UAV operation interface without blind spots.

나아가 본 발명의 실시예들에 따르면 유/무인 비행체, 유/무인 자동차, 유/무인 선박 등의 이동하는 모든 수단에 활용되어 보다 직관적인 조작 인터페이스를 제공하는 영상 제공 장치를 구현할 수 있다.Furthermore, according to the embodiments of the present invention, it is possible to implement an image providing device that provides a more intuitive manipulation interface by being utilized in all moving means such as manned/unmanned aerial vehicles, manned/unmanned vehicles, and manned/unmanned ships.

도 1은 본 발명의 일 실시예에 따른 영상 제공 시스템을 개략적으로 도시한다.
도 2 내지 도 3은 본 발명의 일 실시예에 따른 제어부의 동작을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 영상 제공 방법을 개략적으로 도시하는 흐름도이다.
도 5는 본 발명의 다른 실시예에 따른 영상 제공 방법을 개략적으로 도시하는 흐름도이다. 1 schematically illustrates an image providing system according to an embodiment of the present invention.
2 and 3 are views for explaining the operation of a control unit according to an embodiment of the present invention.
4 is a flowchart schematically illustrating an image providing method according to an embodiment of the present invention.
5 is a flowchart schematically illustrating an image providing method according to another embodiment of the present invention.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. Since the present invention can apply various transformations and have various embodiments, specific embodiments will be illustrated in the drawings and described in detail in the detailed description. However, it should be understood that this is not intended to limit the present invention to specific embodiments, and includes all transformations, equivalents, and substitutes included in the spirit and scope of the present invention. In describing the present invention, if it is determined that a detailed description of related known technologies may obscure the gist of the present invention, the detailed description will be omitted.

이하의 실시예에서, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. In the following embodiments, terms such as first and second may be used to describe various components, but the components should not be limited by the terms. Terms are only used to distinguish one component from another.

이하의 실시예에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 이하의 실시예에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Terms used in the following examples are only used to describe specific examples, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly dictates otherwise. In the following embodiments, the terms "include" or "have" are intended to indicate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, but one or more It should be understood that the presence or addition of other features, numbers, steps, operations, components, parts, or combinations thereof is not precluded.

본 발명의 실시예들은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 본 발명의 실시예의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 잇는 것과 유사하게, 본 발명의 실시예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명의 실시예들은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. 매커니즘, 요소, 수단, 구성과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
Embodiments of the invention may be presented as functional block structures and various processing steps. These functional blocks may be implemented with any number of hardware or/and software components that perform specific functions. For example, embodiments of the present invention may be directly related to memory, processing, logic, look-up tables, etc., which may perform various functions by means of the control of one or more microprocessors or other control devices. Circuit configurations may be employed. Similar to components of an embodiment of the invention that may be implemented as software programming or software elements, an embodiment of the invention may include various algorithms implemented as data structures, processes, routines, or combinations of other programming constructs. , C, C++, Java (Java), can be implemented in a programming or scripting language such as assembler (assembler). Functional aspects may be implemented in an algorithm running on one or more processors. In addition, embodiments of the present invention may employ conventional techniques for electronic environment setting, signal processing, and/or data processing. Terms such as mechanism, element, means, and configuration may be used broadly and are not limited to mechanical and physical configurations. The term may include a meaning of a series of software routines in connection with a processor or the like.

도 1은 본 발명의 일 실시예에 따른 영상 제공 시스템을 개략적으로 도시한다.1 schematically illustrates an image providing system according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 영상 제공 시스템은 영상 제공 장치(10)와 이동체(20)를 포함할 수 있다.Referring to FIG. 1 , an image providing system according to an embodiment of the present invention may include an image providing device 10 and a mobile body 20 .

본 발명의 일 실시예에 따른 이동체(20)는 날개 또는 로터를 구비한 비행수단일 수 있다. 예를 들어 이동체(20)는 통상의 비행체와 같은 고정익 형태의 비행체일 수 있으며, 헬리콥터와 같은 회전익 형태의 비행체일 수도 있다. The moving body 20 according to an embodiment of the present invention may be a flight means having wings or a rotor. For example, the movable body 20 may be a fixed-wing aircraft such as a conventional aircraft, or may be a rotary wing aircraft such as a helicopter.

또한 본 발명의 일 실시예에 따른 이동체(20)는 바퀴 등의 구동수단을 구비한 주행수단일 수도 있다. 예를 들어 이동체(20)는 자동차, 무한궤도를 구비한 장갑차, 오토바이 등의 다양한 형태의 구동부를 갖는 주행수단일 수 있다.In addition, the moving body 20 according to an embodiment of the present invention may be a driving means having a driving means such as a wheel. For example, the mobile body 20 may be a driving means having various types of driving units, such as a car, an armored vehicle equipped with a caterpillar, and a motorcycle.

이동체(20)는 영상 획득을 위한 하나 이상의 영상센서(21a 내지 21d)를 구비할 수 있다. 이 때 하나 이상의 영상센서(21a 내지 21d)는 촬영 대상 공간에 대한 어안 이미지(Fisheye image)를 제공하는 어안 카메라(Fisheye Camera) 일 수 있다. The moving body 20 may include one or more image sensors 21a to 21d for image acquisition. At this time, the one or more image sensors 21a to 21d may be fisheye cameras that provide a fisheye image of the space to be photographed.

어안 카메라(Fisheye Camera)는 어안렌즈 및 이미지 센서를 포함하는 카메라 일 수 있다. 어안 렌즈는 화각(畵角)이 180°에 근접하는 초광각 렌즈일 수 있다. 또한 어안 렌즈는 1매 이상의 렌즈로 구성되는 렌즈군일 수 있다. 이미지 센서는 어안 렌즈에 의하여 입력된 영상을 전기적 신호로 변환할 수 있다. 예컨대 이미지 센서는 CCD(Charge-Coupled Device) 또는 CMOS (Complementary Metal Oxide Semiconductor)와 같이 광학 신호를 전기적 신호(이하 이미지로 설명함)로 변환할 수 있는 반도체 소자일 수 있다. A fisheye camera may be a camera including a fisheye lens and an image sensor. The fisheye lens may be an ultra-wide-angle lens having an angle of view close to 180°. Also, the fisheye lens may be a lens group composed of one or more lenses. The image sensor may convert an image input by the fisheye lens into an electrical signal. For example, the image sensor may be a semiconductor device capable of converting an optical signal into an electrical signal (hereinafter described as an image) such as a charge-coupled device (CCD) or a complementary metal oxide semiconductor (CMOS).

하나 이상의 영상센서(21a 내지 21d)는 촬영 대상 공간에 대한 어안 이미지 외에 통상의 RGB로 구성된 이미지, 적외선 이미지 또는 거리 정보를 포함하는 거리 이미지 등을 제공하는 카메라 일 수도 있다.The one or more image sensors 21a to 21d may be cameras that provide a normal RGB image, an infrared image, or a distance image including distance information in addition to a fisheye image of a space to be photographed.

이동체(20)에 포함되는 영상센서의 수는 영상센서 각각의 화각 및 촬영하고자 하는 전체 화각의 크기에 따라 달라질 수 있다.The number of image sensors included in the moving object 20 may vary depending on the angle of view of each image sensor and the size of the entire angle of view to be photographed.

이하 이동체(20)가 네 개의 영상센서(21a 내지 21d)로 어안 카메라를 포함하는 실시예를 기준으로 설명하지만, 본 발명이 이에 한정되는 것이 아니다.
Hereinafter, an embodiment in which the moving body 20 includes a fisheye camera as four image sensors 21a to 21d will be described, but the present invention is not limited thereto.

본 발명의 일 실시예에 따른 영상 제공 장치(10)는 영상 획득부(100) 및 제어부(200)를 포함할 수 있다. 영상 획득부(100)는 이동체(20)로부터 상이한 방향에서 획득한 하나 이상의 어안 이미지를 수신할 수 있다. 제어부(200)는 수신 받은 하나 이상의 이미지를 레이아웃에 맞게 평면이미지로 디워핑 하고, 평면 이미지를 부분 이미지로 변환 및/또는 변형한 뒤, 부분 이미지를 레이아웃에 따라 배치하여 디스플레이 할 수 있다. An image providing device 10 according to an embodiment of the present invention may include an image acquisition unit 100 and a control unit 200. The image acquisition unit 100 may receive one or more fisheye images acquired in different directions from the moving object 20 . The controller 200 may dewarp one or more received images into flat images according to the layout, convert and/or transform the flat images into partial images, and arrange and display the partial images according to the layout.

다만 영상 획득부(100)와 제어부(200)와 같은 분류는 편의상/기능상의 분류일 뿐, 각각의 구성이 물리적으로 명확히 나뉘어진 것은 아니며, 각각의 구성들에서 수행되는 기능들이 상호 중복되어 수행될 수도 있고, 일부 구성이 생략되어 다른 구성에 포함될 수도 있다. 예컨대, 영상 획득부(100)와 제어부(200)가 하나의 프로세서로 통합되어 구성될 수도 있다.
However, classification such as the image acquisition unit 100 and the control unit 200 is only a classification for convenience/function, and each component is not physically clearly divided, and functions performed in each component may overlap each other. Alternatively, some components may be omitted and included in other configurations. For example, the image acquisition unit 100 and the control unit 200 may be integrated into one processor.

본 발명의 일 실시예에 따른 영상 획득부(100)는 하나 이상의 어안 카메라를 구비하는 이동체(20)로부터 상이한 방향에서 획득한 하나 이상의 어안 이미지를 수신할 수 있다. The image acquisition unit 100 according to an embodiment of the present invention may receive one or more fisheye images acquired in different directions from the moving object 20 having one or more fisheye cameras.

상세히, 이동체(20)는 어안 이미지를 획득하고, 이를 네트워크를 통하여 영상 획득부(100)로 전송할 수 있다. 본 발명에서 설명되는 네트워크는 예를 들어, 무선 네트워크, 유선 네트워크, 인터넷과 같은 공용 네트워크, 사설 네트워크, 모바일 통신 네트워크용 광역 시스템(global system for mobile communication network; GSM) 네트워크, 범용 패킷 무선 네트워크(general packet radio network; GPRS), 근거리 네트워크(local area network; LAN), 광역 네트워크(wide area network; WAN), 거대도시 네트워크(metropolitan area network; MAN), 셀룰러 네트워크, 공중 전화 교환 네트워크(public switched telephone network; PSTN), 개인 네트워크(personal area network), 블루투스, Wi-Fi 다이렉트(Wi-Fi Direct), 근거리장 통신(Near Field communication), 초 광 대역(Ultra Wide band), 이들의 조합, 또는 임의의 다른 네트워크일 수 있지만 이들로 한정되는 것은 아니다.
In detail, the moving object 20 may acquire a fisheye image and transmit it to the image acquisition unit 100 through a network. The network described herein includes, for example, a wireless network, a wired network, a public network such as the Internet, a private network, a global system for mobile communication network (GSM) network, and a general packet wireless network. packet radio network (GPRS), local area network (LAN), wide area network (WAN), metropolitan area network (MAN), cellular network, public switched telephone network PSTN), personal area network, Bluetooth, Wi-Fi Direct, Near Field communication, Ultra Wide band, a combination thereof, or any It may be other networks, but is not limited thereto.

본 발명의 일 실시예에 따른 제어부(200)는 영상 획득부(100)가 이동체(20)로부터 획득한 하나 이상의 어안 이미지를 하나 이상의 평면 이미지로 디워핑(dewarping)할 수 있다. 본 발명에서 설명되는 디워핑(dewaring)은 왜곡된 어안 이미지를 평면 이미지로 보정하는 작업을 의미할 수 있다. The controller 200 according to an embodiment of the present invention may dewarp one or more fisheye images acquired by the image acquisition unit 100 from the moving object 20 into one or more flat images. Dewarping described in the present invention may mean an operation of correcting a distorted fisheye image into a flat image.

이 때 제어부(200)는 다양한 방식에 의하여 디워핑 작업을 수행할 수 있다. 예컨대, 제어부(200)는 디워핑 파라미터(dewarping parameter)를 사용하여 평면 이미지를 생성할 수 있다. 이 때 평면 이미지는 이중 파노라마 뷰(Double panorama view), 단일 파노라마 뷰(Single panorama view), 또는 쿼드 뷰(Quad view)와 같은 뷰(view)들을 갖도록 생성될 수 있으나 본 발명이 이에 한정되는 것은 아니다.
At this time, the controller 200 may perform the dewarping operation in various ways. For example, the controller 200 may generate a flat image using a dewarping parameter. In this case, the flat image may be generated to have views such as a double panorama view, a single panorama view, or a quad view, but the present invention is not limited thereto. .

본 발명의 일 실시예에 따른 제어부(200)는 생성된 하나 이상의 평면 이미지로부터 이동체(20)의 적어도 하나의 시야 방향에 대응하는 하나 이상의 부분 이미지를 생성할 수 있다.The controller 200 according to an embodiment of the present invention may generate one or more partial images corresponding to at least one viewing direction of the moving object 20 from one or more generated plane images.

본 발명에서 이동체(20)의 시야 방향에 대응하는 부분 이미지는 이동체(20)의 진행 방향 또는 이동체(20)의 기 설정된 방향(이하 기준방향)을 기준으로, 기준 방향, 기준 방향의 좌측, 기준 방향의 우측, 기준 방향의 상측 또는 기준 방향의 하측의 시야를 포함하는 이미지일 수 있다.
In the present invention, the partial image corresponding to the viewing direction of the movable object 20 is the reference direction, the left side of the reference direction, and the reference direction based on the traveling direction of the movable object 20 or a predetermined direction (hereinafter referred to as reference direction) of the movable object 20. It may be an image including a field of view to the right of the direction, above the reference direction, or below the reference direction.

도 2 내지 도 3은 본 발명의 일 실시예에 따른 제어부(200)의 동작을 설명하기 위한 도면이다.2 and 3 are diagrams for explaining the operation of the control unit 200 according to an embodiment of the present invention.

도 2에서, 이동체(20)가 네 개의 벽면(채색된 부분)으로 둘러싸인 상황을 가정한다. 즉 1-L면 및 1-R면으로 구성되는 제1 벽면, 2-L면 및 2-R면으로 구성되는 제2 벽면, 3-L면 및 3-R면으로 구성되는 제3 벽면 및 4-L면 및 4-R면으로 구성되는 제4 벽면에 이동체(20)가 둘러싸여 있다고 가정한다. 제1 내지 제4 벽면이 형성하는 공간의 바닥면은 5-0면 내지 5-8면으로 구성되어 있고, 제1 내지 제4 벽면이 형성하는 공간의 가상의 천장면은 6-0면 내지 6-8면으로 구성되어 있다고 가정한다. 또한 이동체(20)의 이동 방향은 내부 공간의 중심에서 제1 벽면을 향하는 방향이라고 가정하고(즉 기준방향이 내부 공간의 중심에서 제1 벽면을 향하는 방향), 영상센서(21a 내지 21d)는 도시된 바와 같이 이동체(20)의 형상이 형성하는 사각형의 각 꼭지점에 위치한다고 가정한다.In FIG. 2, it is assumed that the moving body 20 is surrounded by four wall surfaces (colored parts). That is, a first wall surface composed of the 1-L surface and the 1-R surface, a second wall surface composed of the 2-L surface and the 2-R surface, a third wall surface composed of the 3-L surface and the 3-R surface, and 4 Assume that the movable body 20 is surrounded by the fourth wall surface composed of the -L surface and the 4-R surface. The bottom surface of the space formed by the first to fourth wall surfaces is composed of 5-0 to 5-8 surfaces, and the virtual ceiling surface of the space formed by the first to fourth wall surfaces is composed of 6-0 to 6 surfaces. - Assume that it consists of 8 faces. In addition, it is assumed that the moving direction of the movable body 20 is the direction from the center of the inner space to the first wall surface (ie, the reference direction is the direction from the center of the inner space to the first wall surface), and the image sensors 21a to 21d are shown. As described above, it is assumed that the shape of the movable body 20 is located at each vertex of a rectangle formed.

전술한 가정 하에, 이동체(20)의 영상센서(21a 내지 21d)는 이동체(20)를 둘러싸고 있는 모든 면에 대한 이미지를 획득할 수 있다. Under the above assumption, the image sensors 21a to 21d of the mobile body 20 can acquire images of all surfaces surrounding the mobile body 20 .

예컨대, 영상센서(21a)는 제1 벽면의 1-L면, 제2 벽면의 2-R면, 바닥면의 5-1면, 바닥면의 5-8면, 천장면의 6-1면 및 천장면의 6-8면에 대한 이미지를 획득할 수 있다. For example, the image sensor 21a may be applied to the 1-L surface of the first wall surface, the 2-R surface of the second wall surface, the 5-1 surface of the floor surface, the 5-8 surface of the floor surface, the 6-1 surface of the ceiling surface, and the Images of 6-8 planes of the ceiling surface can be obtained.

영상센서(21b)는 제1 벽면의 1-R면, 제3 벽면의 3-L면, 바닥면의 5-2면, 바닥면의 5-3면, 천장면의 6-2면 및 천장면의 6-3면에 대한 이미지를 획득할 수 있다. The image sensor 21b is a 1-R surface of the first wall surface, a 3-L surface of the third wall surface, a 5-2 surface of the floor surface, a 5-3 surface of the floor surface, a 6-2 surface of the ceiling surface, and a ceiling surface. Images of pages 6-3 of can be obtained.

영상센서(21c)는 제3 벽면의 3-R면, 제4 벽면의 4-L면, 바닥면의 5-4면, 바닥면의 5-5면, 천장면의 6-4면 및 천장면의 6-5면에 대한 이미지를 획득할 수 있다. The image sensor 21c is the 3-R surface of the third wall, the 4-L surface of the fourth wall, the 5-4 surface of the floor surface, the 5-5 surface of the floor surface, the 6-4 surface of the ceiling surface, and the ceiling surface. Images of pages 6-5 of can be obtained.

영상센서(21d)는 제4 벽면의 4-R면, 제2 벽면의 2-L면, 바닥면의 5-6면, 바닥면의 5-7면, 천장면의 6-6면 및 천장면의 6-7면에 대한 이미지를 획득할 수 있다. The image sensor 21d is formed on the 4-R surface of the fourth wall surface, the 2-L surface of the second wall surface, the 5-6 surface of the floor surface, the 5-7 surface of the floor surface, the 6-6 surface of the ceiling surface, and the ceiling surface. Images of pages 6-7 of can be obtained.

이 때 영상센서(21a 내지 21d)의 화각에 따라 이미지를 획득할 수 없는 면(5-0면 및 가상의 6-0면(미도시))이 존재할 수도 있다. At this time, depending on the angles of view of the image sensors 21a to 21d, there may be surfaces (a 5-0 surface and a virtual 6-0 surface (not shown)) on which an image cannot be acquired.

또한 영상센서(21a 내지 21d)의 화각에 따라 중복되는 이미지를 획득할 수 도 있다. 예컨대, 영상센서(21a)가 제1 벽면의 1-L면 전체 및 1-R면의 일부에 대한 이미지를 획득하고, 영상센서(21b)는 제1 벽면의 1-L면 일부 및 1-R면의 전체에 대한 이미지를 획득할 수 있다. 이러한 경우 제어부(200)는 후술하는 부분 이미지 생성 과정에서 중복 부분을 판단하고, 이러한 부분을 고려하여 부분 이미지를 생성할 수 있다.
In addition, overlapping images may be acquired according to the angles of view of the image sensors 21a to 21d. For example, the image sensor 21a acquires an image of the entire surface 1-L and part of the surface 1-R of the first wall surface, and the image sensor 21b acquires an image of a part of surface 1-L and a part of surface 1-R of the first wall surface. An image of the entire surface can be acquired. In this case, the controller 200 may determine an overlapping portion in a partial image generation process to be described later, and generate a partial image in consideration of such a portion.

도 3은 제어부(200)가 평면 이미지로부터 이동체(20)의 적어도 하나의 시야 방향에 대응하는 하나 이상의 부분 이미지를 생성하고, 배치한 예시를 개략적으로 도시한다.FIG. 3 schematically illustrates an example in which the controller 200 generates and arranges one or more partial images corresponding to at least one viewing direction of the moving object 20 from a plane image.

도 3을 참조하면, 제어부(200)는 영역 305에 표시되는 이미지와 같이 이동체(20)의 정면 시야에 해당하는 부분 이미지를 두 개의 영상센서(21a, 21b)가 획득한 이미지로부터 생성할 수 있다. 즉 두 개의 영상센서(21a, 21b)가 획득한 영상에는 기준방향에 위치하는 벽면인 제1 벽면(1-L, 1-R)의 좌측과 우측에 관한 영상이 각각 포함되어 있으므로, 제어부(200)는 이를 이용하여 이동체(20)의 정면 시야에 해당하는 부분 이미지를 생성할 수 있다. 이 때 제어부(200)는 두 개의 영상센서(21a, 21b)가 획득한 영상의 인접 면에서 영상이 중복되는 부분이 존재하는 경우, 영상의 유사성을 판단하여 이를 제외하고 정면 시야에 해당하는 부분 이미지를 생성할 수 있다.Referring to FIG. 3 , the controller 200 may generate a partial image corresponding to the front view of the moving object 20 from the images acquired by the two image sensors 21a and 21b, such as the image displayed in area 305. . That is, since the images obtained by the two image sensors 21a and 21b include images of the left and right sides of the first wall surfaces 1-L and 1-R, which are walls located in the reference direction, respectively, the control unit 200 ) may generate a partial image corresponding to the front view of the moving object 20 using this. At this time, the control unit 200 determines the similarity of the images when there is an overlapping portion of the images on the adjacent surfaces of the images acquired by the two image sensors 21a and 21b, and removes the similarity of the images, and displays a partial image corresponding to the front view. can create

이와 마찬가지 방법으로 제어부(200)는 네 개의 영상센서(21a 내지 21d)가 획득한 이미지로부터 영역 304에 표시된 좌측면 시야에 해당하는 부분 이미지, 영역 306에 표시된 우측면 시야에 해당하는 부분 이미지, 영역 302에 표시된 천장 시야에 해당하는 부분 이미지, 영역 308에 표시된 바닥시야에 해당하는 부분 이미지 및 영역 303에 표시된 후면시야에 해당하는 부분 이미지를 생성할 수 있다.In the same way, the controller 200 displays a partial image corresponding to the left field of view displayed in area 304, a partial image corresponding to the right field of view displayed in area 306, and area 302 from the images acquired by the four image sensors 21a to 21d. A partial image corresponding to a ceiling field of view indicated in , a partial image corresponding to a floor field of view indicated in area 308 , and a partial image corresponding to a rear field of view indicated in area 303 may be generated.

한편, 하나의 시야에 대한 부분 이미지의 생성에 있어서 필요한 평면 이미지의 수는 영상센서(21a 내지 21d)의 배치에 따라 달라질 수 있다. 예컨대, 본 예시와 달리, 영상센서가 이동체(20)의 형상이 형성하는 사각형의 각 꼭지점이 아니라 각 변의 중심에 위치하는 경우, 정면 시야에 해당하는 부분 이미지는 한 개의 영상센서가 획득한 이미지로부터 생성될 수 있다.
On the other hand, the number of flat images required to generate a partial image for one field of view may vary depending on the arrangement of the image sensors 21a to 21d. For example, unlike this example, when the image sensor is located at the center of each side rather than at each vertex of the rectangle formed by the shape of the moving object 20, a partial image corresponding to the front view is obtained from an image acquired by one image sensor. can be created

본 발명의 일 실시예에 따른 제어부(200)는 이동체(20)에 구비된 하나 이상의 감지수단으로부터 감지 데이터를 수신할 수 있다.The controller 200 according to an embodiment of the present invention may receive sensing data from one or more sensing means provided in the moving object 20 .

감지수단은 예컨대 이동체(20)의 이동에 관한 정보를 감지하기 위한 GPS 센서, 기울기 센서, 자이로 센서 및 가속도 센서 중 어느 하나이거나 어느 하나 이상의 조합일 수 있다. 감지수단은 이동체(20)가 위치하는 장소의 물리량을 측정하기 위한 온도센서, 습도센서, 풍향센서 또는 기압센서 중 어느 하나이거나 어느 하나 이상의 조합일 수 있다. 또한 감지수단은 이동체(20)의 상태에 관한 정보를 측정하기 위한 전압센서 등 일 수 있다.
The sensing means may be, for example, any one or a combination of any one or more of a GPS sensor, a tilt sensor, a gyro sensor, and an acceleration sensor for detecting information about movement of the moving object 20 . The sensing unit may be any one or a combination of any one or more of a temperature sensor, a humidity sensor, a wind direction sensor, or an air pressure sensor for measuring a physical quantity of a place where the moving object 20 is located. In addition, the sensing means may be a voltage sensor or the like for measuring information on the state of the moving object 20 .

본 발명의 일 실시예에 따른 제어부(200)는 하나 이상의 부분 이미지를 기 설정된 화면의 레이아웃(Layout)에 따라 배치하여 디스플레이 할 수 있다. 또한 제어부(200)는 감시수단으로부터 수신된 감지 데이터를 하나 이상의 부분 이미지와 중첩하지 않는 영역에 배치하여 디스플레이 할 수도 있다.The controller 200 according to an embodiment of the present invention may arrange and display one or more partial images according to a preset screen layout. In addition, the controller 200 may dispose and display the sensing data received from the monitoring unit in an area that does not overlap with one or more partial images.

예컨대, 제어부(200)는 도 3과 같이 화면을 분할한 복수의 영역들(301 내지 309)에서 부분 이미지가 배치된 영역이 부분 이미지가 나타내는 이동체(20)의 시야 방향을 나타내도록 적어도 하나의 부분 이미지를 복수의 영역들(302, 303, 304, 305, 306 및 308)에 할당할 수 있다. 즉 이동체(20)의 정면 시야에 해당하는 부분 이미지를 레이아웃의 중앙 영역(305)에, 이동체(20)의 좌측면 시야에 해당하는 부분 이미지를 레이아웃의 좌측 영역(304)에, 이동체(20)의 우측면 시야에 해당하는 부분 이미지를 레이아웃의 우측 영역(306)에, 이동체(20)의 바닥면 시야에 해당하는 부분 이미지를 레이아웃의 하단 영역(308)에, 이동체(20)의 천장면 시야에 해당하는 부분 이미지를 레이아웃의 상단 영역(302)에 배치할 수 있다. 다만 레이아웃 상에서 이동체(20)의 후면에 방향을 나타낼 수 있는 영역은 없으므로, 이동체(20)의 후면 시야에 해당하는 부분 이미지를 레이아웃의 우측 상단 영역(303)에 임의로 배치할 수 있다. For example, as shown in FIG. 3 , the controller 200 selects at least one part of the plurality of areas 301 to 309 in which the screen is divided so that the area where the partial image is disposed represents the viewing direction of the moving object 20 indicated by the partial image. An image may be assigned to a plurality of areas 302 , 303 , 304 , 305 , 306 and 308 . That is, the partial image corresponding to the front field of view of the moving object 20 is placed in the center area 305 of the layout, the partial image corresponding to the left side field of view of the moving object 20 is placed in the left area 304 of the layout, and the moving object 20 The partial image corresponding to the right side field of view of the layout is placed in the right area 306 of the layout, the partial image corresponding to the bottom side field of view of the moving body 20 is placed in the bottom area 308 of the layout, and the top side field of view of the moving body 20 A corresponding partial image may be disposed in the upper region 302 of the layout. However, since there is no area on the rear side of the mobile body 20 that can indicate the direction on the layout, a partial image corresponding to the rear view of the mobile body 20 can be arbitrarily disposed in the upper right area 303 of the layout.

제어부(200)는 이동체(20)의 이동 방향, 이동체(20)의 자세 및 감지 데이터를 복수의 영역들 중 부분 이미지가 배치되지 않는 영역(301, 307 및 309)에 배치되도록 할당할 수 있다. 이 때 제어부(200)는 감지수단으로부터 수신된 데이터 그 자체를 텍스트 형태로 디스플레이 하거나, 사용자가 보다 직관적으로 알아볼 수 있도록 GUI(Graphic User Interface)를 이용하여 이미지 형태로 표시할 수 있다.
The controller 200 may allocate the moving direction of the moving object 20, the attitude of the moving object 20, and the sensed data to be disposed in regions 301, 307, and 309 where partial images are not disposed among a plurality of regions. At this time, the control unit 200 may display the data itself received from the sensing means in the form of text or in the form of an image using a GUI (Graphic User Interface) so that the user can recognize it more intuitively.

도 4 내지 도 5는 도 1의 영상 제공 장치(10)에 의해 수행되는 영상 제공 방법을 설명하기 위한 흐름도이다. 이하에서는 도 1 내지 도 3에서 설명한 내용과 중복하는 내용의 상세한 설명은 생략한다.4 to 5 are flowcharts for explaining an image providing method performed by the image providing apparatus 10 of FIG. 1 . Hereinafter, detailed descriptions of contents overlapping those described in FIGS. 1 to 3 will be omitted.

도 4는 본 발명의 일 실시예에 따른 영상 제공 방법을 개략적으로 도시하는 흐름도이다.4 is a flowchart schematically illustrating an image providing method according to an embodiment of the present invention.

도 4를 참조하면, 본 발명의 일 실시예에 따른 영상 획득부(100)는 하나 이상의 어안 카메라를 구비하는 이동체(20)로부터 상이한 방향에서 획득한 하나 이상의 어안 이미지를 수신할 수 있다.(S11) Referring to FIG. 4 , the image acquisition unit 100 according to an embodiment of the present invention may receive one or more fisheye images acquired in different directions from the moving object 20 having one or more fisheye cameras. (S11 )

이 때 이동체(20)는 날개 또는 로터를 구비한 비행수단일 수 있다. 또한 이동체(20)는 바퀴 등의 구동수단을 구비한 주행수단일 수도 있다. 어안 카메라(Fisheye Camera)는 어안렌즈 및 이미지 센서를 포함하는 카메라 일 수 있다. At this time, the mobile body 20 may be a flight means having wings or a rotor. In addition, the movable body 20 may be a traveling means having a driving means such as a wheel. A fisheye camera may be a camera including a fisheye lens and an image sensor.

이동체(20)는 어안 이미지를 획득하고, 이를 네트워크를 통하여 영상 획득부(100)로 전송할 수 있다.The moving object 20 may acquire a fisheye image and transmit it to the image acquisition unit 100 through a network.

영상 획득부(100)는 이동체(20)로부터 수신한 어안 이미지를 제어부(200)에 제공할 수 있다.The image acquisition unit 100 may provide the fisheye image received from the moving object 20 to the control unit 200 .

본 발명의 일 실시예에 따른 제어부(200)는 영상 획득부(100)가 이동체(20)로부터 획득한 하나 이상의 어안 이미지를 하나 이상의 평면 이미지로 디워핑(dewarping)하고, 생성된 하나 이상의 평면 이미지로부터 이동체(20)의 적어도 하나의 시야 방향에 대응하는 하나 이상의 부분 이미지를 생성할 수 있다.(S12)The control unit 200 according to an embodiment of the present invention dewarps one or more fisheye images acquired by the image acquisition unit 100 from the moving object 20 into one or more flat images, and the generated one or more flat images. One or more partial images corresponding to at least one viewing direction of the movable body 20 may be generated from (S12).

본 발명에서 설명되는 디워핑(dewaring)은 왜곡된 어안 이미지를 평면 이미지로 보정하는 작업을 의미할 수 있다. Dewarping described in the present invention may mean an operation of correcting a distorted fisheye image into a flat image.

본 발명에서 이동체(20)의 시야 방향에 대응하는 부분 이미지는 기준방향을 기준으로, 기준 방향, 기준 방향의 좌측, 기준 방향의 우측, 기준 방향의 상측 또는 기준 방향의 하측의 시야를 포함하는 이미지일 수 있다.In the present invention, the partial image corresponding to the viewing direction of the moving object 20 is an image including a field of view in the reference direction, to the left of the reference direction, to the right of the reference direction, to the top of the reference direction, or to the bottom of the reference direction, based on the reference direction. can be

본 발명의 일 실시예에 따른 제어부(200)는 하나 이상의 부분 이미지를 기 설정된 화면의 레이아웃(Layout)에 따라 배치하여 디스플레이 할 수 있다.(S13)The controller 200 according to an embodiment of the present invention may arrange and display one or more partial images according to a preset screen layout (S13).

예컨대, 제어부(200)는 도 3과 같이 화면을 분할한 복수의 영역들(301 내지 309)에서 부분 이미지가 배치된 영역이 부분 이미지가 나타내는 이동체(20)의 시야 방향을 나타내도록 적어도 하나의 부분 이미지를 복수의 영역들(302, 303, 304, 305, 306 및 308)에 할당할 수 있다.
For example, as shown in FIG. 3 , the controller 200 selects at least one part of the plurality of areas 301 to 309 in which the screen is divided so that the area where the partial image is disposed represents the viewing direction of the moving object 20 indicated by the partial image. An image may be assigned to a plurality of areas 302 , 303 , 304 , 305 , 306 and 308 .

도 5는 본 발명의 다른 실시예에 따른 영상 제공 방법을 개략적으로 도시하는 흐름도이다. 5 is a flowchart schematically illustrating an image providing method according to another embodiment of the present invention.

도 5를 참조하면, 본 발명의 일 실시예에 따른 영상 획득부(100)는 하나 이상의 어안 카메라를 구비하는 이동체(20)로부터 상이한 방향에서 획득한 하나 이상의 어안 이미지를 수신할 수 있다.(S21) Referring to FIG. 5 , the image acquisition unit 100 according to an embodiment of the present invention may receive one or more fisheye images acquired in different directions from the moving object 20 having one or more fisheye cameras. (S21 )

이 때 이동체(20)는 날개 또는 로터를 구비한 비행수단일 수 있다. 또한 이동체(20)는 바퀴 등의 구동수단을 구비한 주행수단일 수도 있다. 어안 카메라(Fisheye Camera)는 어안렌즈 및 이미지 센서를 포함하는 카메라 일 수 있다. At this time, the mobile body 20 may be a flight means having wings or a rotor. In addition, the movable body 20 may be a traveling means having a driving means such as a wheel. A fisheye camera may be a camera including a fisheye lens and an image sensor.

이동체(20)는 어안 이미지를 획득하고, 이를 네트워크를 통하여 영상 획득부(100)로 전송할 수 있다.The moving object 20 may obtain a fisheye image and transmit it to the image acquisition unit 100 through a network.

영상 획득부(100)는 이동체(20)로부터 수신한 어안 이미지를 제어부(200)에 제공 할 수 있다.The image acquisition unit 100 may provide the control unit 200 with the fisheye image received from the moving object 20 .

본 발명의 일 실시예에 따른 제어부(200)는 이동체(20)에 구비된 하나 이상의 감지수단으로부터 감지 데이터를 수신할 수 있다.(S22) 감지수단은 예컨대 이동체(20)의 이동에 관한 정보를 감지하기 위한 수단이거나, 이동체(20)가 위치하는 장소의 물리량을 측정하기 위한 측정수단이거나 또는 이동체(20)의 상태에 관한 정보를 측정하기 위한 수단일 수 있다.The control unit 200 according to an embodiment of the present invention may receive sensing data from one or more sensing means provided in the moving object 20 (S22). It may be a means for sensing, a measuring means for measuring a physical quantity of a place where the moving object 20 is located, or a means for measuring information about the state of the moving object 20 .

본 발명의 일 실시예에 따른 제어부(200)는 영상 획득부(100)가 이동체(20)로부터 획득한 하나 이상의 어안 이미지를 하나 이상의 평면 이미지로 디워핑(dewarping)하고, 생성된 하나 이상의 평면 이미지로부터 이동체(20)의 적어도 하나의 시야 방향에 대응하는 하나 이상의 부분 이미지를 생성할 수 있다.(S23)The control unit 200 according to an embodiment of the present invention dewarps one or more fisheye images acquired by the image acquisition unit 100 from the moving object 20 into one or more flat images, and the generated one or more flat images. One or more partial images corresponding to at least one viewing direction of the movable body 20 may be generated from (S23).

본 발명에서 설명되는 디워핑(dewaring)은 왜곡된 어안 이미지를 평면 이미지로 보정하는 작업을 의미할 수 있다. Dewarping described in the present invention may mean an operation of correcting a distorted fisheye image into a flat image.

본 발명에서 이동체(20)의 시야 방향에 대응하는 부분 이미지는 기준방향을 기준으로, 기준 방향, 기준 방향의 좌측, 기준 방향의 우측, 기준 방향의 상측 또는 기준 방향의 하측의 시야를 포함하는 이미지일 수 있다.In the present invention, the partial image corresponding to the viewing direction of the moving object 20 is an image including a field of view in the reference direction, to the left of the reference direction, to the right of the reference direction, to the top of the reference direction, or to the bottom of the reference direction, based on the reference direction. can be

본 발명의 일 실시예에 따른 제어부(200)는 하나 이상의 부분 이미지 및 감지 데이터를 기 설정된 화면의 레이아웃(Layout)에 따라 배치하여 디스플레이 할 수 있다.(S24)The controller 200 according to an embodiment of the present invention may arrange and display one or more partial images and sensed data according to a preset screen layout (S24).

예컨대, 제어부(200)는 도 3과 같이 화면을 분할한 복수의 영역들(301 내지 309)에서 부분 이미지가 배치된 영역이 부분 이미지가 나타내는 이동체(20)의 시야 방향을 나타내도록 적어도 하나의 부분 이미지를 복수의 영역들(302, 303, 304, 305, 306 및 308)에 할당할 수 있다. 또한 제어부(200)는 이동체(20)의 이동 방향, 이동체(20)의 자세 및 감지 데이터를 복수의 영역들 중 상기 적어도 하나의 부분 이미지가 배치되지 않는 영역(도 3의 301, 307 및 309)에 배치되도록 할당할 수 있다. 이 때 제어부(200)는 감지수단으로부터 수신된 데이터 그 자체를 텍스트 형태로 디스플레이 하거나, 사용자가 보다 직관적으로 알아볼 수 있도록 GUI(Graphic User Interface)를 이용하여 이미지 형태로 표시할 수 있다.For example, as shown in FIG. 3 , the controller 200 selects at least one part of the plurality of areas 301 to 309 in which the screen is divided so that the area where the partial image is disposed represents the viewing direction of the moving object 20 indicated by the partial image. An image may be assigned to a plurality of areas 302 , 303 , 304 , 305 , 306 and 308 . In addition, the control unit 200 transmits the moving direction of the movable body 20, the posture of the movable body 20, and sensed data to areas where the at least one partial image is not disposed (301, 307, and 309 in FIG. 3) among a plurality of areas. can be assigned to be placed in . At this time, the control unit 200 may display the data itself received from the sensing means in the form of text or in the form of an image using a GUI (Graphic User Interface) so that the user can recognize it more intuitively.

본 발명의 실시예에 따른 영상 제공 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.The image providing method according to an embodiment of the present invention can be implemented as computer readable code on a computer readable recording medium. A computer-readable recording medium includes all types of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, and optical data storage devices. In addition, the computer-readable recording medium is distributed in computer systems connected through a network, so that computer-readable codes can be stored and executed in a distributed manner. In addition, functional programs, codes, and code segments for implementing the present invention can be easily inferred by programmers in the technical field to which the present invention belongs.

본 발명은 첨부된 도면에 도시된 일 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 수 있을 것이다.The present invention has been described with reference to an embodiment shown in the accompanying drawings, but this is only exemplary, and those skilled in the art can make various modifications and equivalent other embodiments therefrom. You will understand.

10: 영상 제공 장치
100: 영상 획득부
200: 제어부
20: 이동체
21a 내지 21d: 어안 카메라10: video providing device
100: image acquisition unit
200: control unit
20: mobile body
21a to 21d: fisheye camera

Claims (5)

영상 제공 장치에 의해 수행되는 영상 제공 방법에 있어서,
서로 상이한 촬영 방향으로 배치되는 복수의 어안 카메라(Fisheye Camera)를 구비하는 이동체가 획득한 복수의 어안 이미지(Fisheye image)을 수신하는 단계;
상기 복수의 어안 이미지 각각을 하나 이상의 평면 이미지로 디워핑(dewarping)하고, 상기 복수의 어안 이미지 각각으로부터 생성된 상기 하나 이상의 평면 이미지로부터 상기 이동체의 적어도 하나의 시야 방향 각각에 대응하는 적어도 하나의 부분 이미지를 생성하는 단계로써, 상기 적어도 하나의 시야 방향은 상기 이동체의 정면 방향, 상기 이동체의 상측 방향 및 상기 이동체의 하측 방향을 포함하고; 및
상기 하나 이상의 부분 이미지를 기 설정된 화면의 레이아웃(Layout)에 따라 배치하여 디스플레이 하는 단계로써, 제1 시야 방향에 배치되는 부분 이미지는 제1 어안 카메라가 획득한 어안 이미지로부터 생성된 부분 이미지 및 제2 어안 카메라가 획득한 어안 이미지로부터 생성된 부분 이미지를 포함하는;를 포함하는 영상 제공 방법.In the image providing method performed by the image providing device,
Receiving a plurality of fisheye images obtained by a moving object having a plurality of fisheye cameras disposed in different photographing directions;
Dewarping each of the plurality of fisheye images into one or more flat images, and at least one portion corresponding to each of the at least one viewing direction of the movable body from the one or more flat images generated from each of the plurality of fisheye images. generating an image, wherein the at least one viewing direction includes a front direction of the movable body, an upper direction of the movable body, and a lower direction of the movable body; and
Arranging and displaying the one or more partial images according to a preset screen layout, wherein the partial images disposed in a first viewing direction are partial images generated from fisheye images acquired by a first fisheye camera and second partial images disposed in a first viewing direction. An image providing method comprising: including a partial image generated from a fisheye image obtained by a fisheye camera. 제1 항에 있어서,
상기 이동체에 구비된 하나 이상의 감지수단으로부터 감지 데이터를 수신하는 단계를 더 포함하고,
상기 디스플레이 하는 단계는 상기 감지 데이터를 상기 하나 이상의 부분 이미지와 중첩하지 않는 영역에 배치하여 디스플레이 하는, 영상 제공 방법.According to claim 1,
Further comprising the step of receiving sensing data from one or more sensing means provided in the moving body,
In the displaying, the sensing data is disposed in an area that does not overlap with the one or more partial images and displayed. 제2 항에 있어서
상기 화면의 레이아웃은
상기 화면을 분할한 복수의 영역들에서 상기 부분 이미지가 배치된 영역이 상기 부분 이미지가 나타내는 상기 이동체의 시야 방향을 나타내도록 상기 적어도 하나의 부분 이미지를 상기 복수의 영역들에 할당하고,
상기 이동체의 이동 방향, 상기 이동체의 자세 및 상기 감지 데이터를 상기 복수의 영역들 중 상기 적어도 하나의 부분 이미지가 배치되지 않는 영역에 할당하는, 영상 제공 방법.According to claim 2
The screen layout is
allocating the at least one partial image to the plurality of areas in which the screen is divided so that the area where the partial image is disposed represents a viewing direction of the moving object indicated by the partial image;
and allocating a moving direction of the moving object, a posture of the moving object, and the sensing data to an area in which the at least one partial image is not disposed among the plurality of areas. 서로 상이한 촬영 방향으로 배치되는 복수의 어안 카메라(Fisheye Camera)를 구비하는 이동체가 획득한 복수의 어안 이미지(Fisheye image)을 수신하는 영상 획득부;
상기 복수의 어안 이미지 각각을 하나 이상의 평면 이미지로 디워핑(dewarping)하고, 상기 복수의 어안 이미지 각각으로부터 생성된 상기 하나 이상의 평면 이미지로부터 상기 이동체의 적어도 하나의 시야 방향 각각에 대응하는 하나 이상의 부분 이미지를 생성하고, 상기 적어도 하나의 시야 방향은 상기 이동체의 정면 방향, 상기 이동체의 상측 방향 및 상기 이동체의 하측 방향을 포함하고, 상기 하나 이상의 부분 이미지를 기 설정된 화면의 레이아웃(Layout)에 따라 디스플레이 화면에 제공하는 제어부;를 포함하고,
제1 시야 방향에 배치되는 부분 이미지는 제1 어안 카메라가 획득한 어안 이미지로부터 생성된 부분 이미지 및 제2 어안 카메라가 획득한 어안 이미지로부터 생성된 부분 이미지를 포함하는, 영상 제공 장치.An image acquisition unit for receiving a plurality of fisheye images acquired by a moving object having a plurality of fisheye cameras disposed in different photographing directions;
Each of the plurality of fisheye images is dewarped into at least one flat image, and at least one partial image corresponding to each of at least one viewing direction of the moving object is obtained from the at least one flat image generated from each of the plurality of fisheye images. The at least one viewing direction includes a front direction of the moving body, an upward direction of the moving body, and a downward direction of the moving body, and the one or more partial images are displayed on a display screen according to a preset layout of the screen. Including; a control unit provided to;
The partial image disposed in the first viewing direction includes a partial image generated from a fisheye image obtained by a first fisheye camera and a partial image generated from a fisheye image obtained by a second fisheye camera. 제4 항에 있어서, 상기 제어부는,
상기 이동체에 구비된 하나 이상의 감지수단으로부터 감지 데이터를 수신하고,
상기 감지 데이터를 상기 디스플레이 화면의 상기 하나 이상의 부분 이미지와 중첩하지 않는 영역에 제공하는, 영상 제공 장치.The method of claim 4, wherein the control unit,
Receiving sensing data from one or more sensing means provided in the moving body;
An image providing device that provides the sensing data to an area that does not overlap with the one or more partial images of the display screen.
KR1020150176058A 2015-12-10 2015-12-10 Apparatus for Providing Image and Method Thereof KR102491637B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150176058A KR102491637B1 (en) 2015-12-10 2015-12-10 Apparatus for Providing Image and Method Thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150176058A KR102491637B1 (en) 2015-12-10 2015-12-10 Apparatus for Providing Image and Method Thereof

Publications (2)

Publication Number Publication Date
KR20170068956A KR20170068956A (en) 2017-06-20
KR102491637B1 true KR102491637B1 (en) 2023-01-26

Family

ID=59281340

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150176058A KR102491637B1 (en) 2015-12-10 2015-12-10 Apparatus for Providing Image and Method Thereof

Country Status (1)

Country Link
KR (1) KR102491637B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108958283A (en) * 2018-06-28 2018-12-07 芜湖新尚捷智能信息科技有限公司 A kind of unmanned plane low latitude automatic obstacle avoiding system
CN112150554B (en) * 2019-06-28 2023-08-04 杭州海康威视数字技术股份有限公司 Picture display method, device, terminal and storage medium

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002366937A (en) * 2001-06-08 2002-12-20 Fuji Heavy Ind Ltd Monitor outside vehicle
JP2005056295A (en) 2003-08-07 2005-03-03 Iwane Kenkyusho:Kk 360-degree image conversion processing apparatus
US20140184646A1 (en) * 2013-01-02 2014-07-03 Vivotek Inc. Image processor and fisheye image display method thereof
JP2015142294A (en) 2014-01-29 2015-08-03 京セラ株式会社 Imaging system and control method therefor
US20150298822A1 (en) * 2014-04-16 2015-10-22 Parrot Rotary-wing drone provided with a video camera delivering stabilized sequences of images

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101393918B1 (en) * 2008-07-08 2014-05-13 현대자동차주식회사 A vehicle around view monitorring system
KR100972360B1 (en) * 2008-08-08 2010-07-26 뷰-하이텍주식회사 Omnidirectional monitoring camera system
SG184978A1 (en) 2010-04-22 2012-11-29 Aerovironment Inc Unmanned aerial vehicle and method of operation
KR101478980B1 (en) * 2013-05-22 2015-01-05 아이오솔루션(주) System for multi channel display to use a fish-eye lens

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002366937A (en) * 2001-06-08 2002-12-20 Fuji Heavy Ind Ltd Monitor outside vehicle
JP2005056295A (en) 2003-08-07 2005-03-03 Iwane Kenkyusho:Kk 360-degree image conversion processing apparatus
US20140184646A1 (en) * 2013-01-02 2014-07-03 Vivotek Inc. Image processor and fisheye image display method thereof
JP2015142294A (en) 2014-01-29 2015-08-03 京セラ株式会社 Imaging system and control method therefor
US20150298822A1 (en) * 2014-04-16 2015-10-22 Parrot Rotary-wing drone provided with a video camera delivering stabilized sequences of images

Also Published As

Publication number Publication date
KR20170068956A (en) 2017-06-20

Similar Documents

Publication Publication Date Title
US10447912B2 (en) Systems, methods, and devices for setting camera parameters
CN108139799B (en) System and method for processing image data based on a region of interest (ROI) of a user
CN109952755B (en) Flight path generation method, flight path generation system, flight object, and recording medium
US9630569B2 (en) Field of vision display device for a sun visor of a vehicle
KR101600862B1 (en) stereo vision system using a plurality of uav
JP2016180866A (en) Aerial shoot device
KR20160147559A (en) Driver assistance apparatus for vehicle and Vehicle
US11228737B2 (en) Output control apparatus, display terminal, remote control system, control method, and non-transitory computer-readable medium
CN109076206B (en) Three-dimensional imaging method and device based on unmanned aerial vehicle
CN111886854B (en) Exposure control device, exposure control method, program, imaging device, and moving object
KR102491637B1 (en) Apparatus for Providing Image and Method Thereof
KR20200062437A (en) Extensible vehicle for providing realistic education service based on movable three-dimensional multi-display
KR101796478B1 (en) Unmanned air vehicle capable of 360 degree picture shooting
JP2006197068A (en) Image display and display method
US20190124274A1 (en) Image processing apparatus, imaging system, communication system, image processing method, and recording medium
JP6966810B2 (en) Management server and management system, display information generation method, program
US10638098B2 (en) Surveillance method
KR20190123095A (en) Drone-based omni-directional thermal image processing method and thermal image processing system therefor
CN107636592B (en) Channel planning method, control end, aircraft and channel planning system
KR20170086992A (en) The System for obtaining three-dimensional spatial image using unmanned aerial vehicle
KR101807771B1 (en) Apparatus for acquiring image using formation flying unmanned aerial vehicle
WO2019111305A1 (en) Display control device and display control method
EP3919374B1 (en) Image capturing method
KR20190093068A (en) Drone system to guide traffic situation
JP6644256B2 (en) Overhead video generation device, overhead video generation system, overhead video generation method and program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant