KR20170068956A - 영상 제공 장치 및 방법 - Google Patents

영상 제공 장치 및 방법 Download PDF

Info

Publication number
KR20170068956A
KR20170068956A KR1020150176058A KR20150176058A KR20170068956A KR 20170068956 A KR20170068956 A KR 20170068956A KR 1020150176058 A KR1020150176058 A KR 1020150176058A KR 20150176058 A KR20150176058 A KR 20150176058A KR 20170068956 A KR20170068956 A KR 20170068956A
Authority
KR
South Korea
Prior art keywords
image
images
moving object
fisheye
partial
Prior art date
Application number
KR1020150176058A
Other languages
English (en)
Other versions
KR102491637B1 (ko
Inventor
백영민
이종서
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Priority to KR1020150176058A priority Critical patent/KR102491637B1/ko
Publication of KR20170068956A publication Critical patent/KR20170068956A/ko
Application granted granted Critical
Publication of KR102491637B1 publication Critical patent/KR102491637B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/04—Reversed telephoto objectives
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • B64C2201/127—
    • B64C2201/146—

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Automation & Control Theory (AREA)
  • Studio Devices (AREA)

Abstract

본 발명의 실시예는 영상 제공 방법 및 장치를 개시한다.
본 발명의 일 실시예에 따른 영상 제공 방법은, 하나 이상의 어안 카메라(Fisheye Camera)를 구비하는 이동체로부터 상이한 방향에서 획득한 하나 이상의 어안 이미지(Fisheye image)을 수신하는 단계; 상기 하나 이상의 어안 이미지를 하나 이상의 평면 이미지로 디워핑(dewarping)하고, 상기 하나 이상의 평면 이미지로부터 상기 이동체의 적어도 하나의 시야 방향에 대응하는 적어도 하나의 부분 이미지를 생성하는 단계; 및 상기 하나 이상의 부분 이미지를 기 설정된 화면의 레이아웃(Layout)에 따라 배치하여 디스플레이 하는 단계;를 포함할 수 있다.

Description

영상 제공 장치 및 방법 {Apparatus for Providing Image and Method Thereof}
본 발명의 실시예들은 하나 이상의 어안 카메라를 구비하는 이동체로부터 수신된 이미지를 제공하는 방법 및 장치에 관한 것이다.
과거에는 무인비행체(UAV : Unmanned Aerial Vehicle)가 감시, 정찰 등의 제한된 분야를 중심으로 활용되었다. 그러나 오늘날 무인비행체는 감시, 정찰 분야를 넘어 물류배송, 스포츠 및 영상촬영 등의 다양한 분야에 활용되고 있다.
무인비행체의 조작을 위해서는 사용자가 육안으로 관찰하며 조작을 하거나 또는 무인비행체에 탑재된 영상센서가 전송한 이미지를 보며 조작을 하는 것이 일반적이다. 그러나 육안으로 관찰하며 조작 하는 경우, 사용자와 무인비행체의 거리가 멀어지면 육안으로 비행체의 확인이 어려운 문제점이 있었고, 영상센서가 전송한 이미지를 보며 조작하는 경우 영상센서의 제한된 화각으로 인하여 볼 수 없는 사각지대가 발생하는 문제점이 있었다.
한국공개특허 제 2013-0112688호
본 발명은 상술한 문제점을 해결하기 위해 창출된 것으로써 무인비행체에 하나 이상의 어안 카메라를 구비하여 이미지를 획득함으로써 사각을 최소화 하고, 획득된 복수의 이미지를 기초로 무인비행체의 시야 방향에 대응하는 부분 이미지를 생성하고 이를 시야 방향에 대응하도록 배치함으로써 사각이 없는 직관적인 무인비행체의 조작 인터페이스를 제공하고자 한다.
나아가 본 발명은 유/무인 비행체, 유/무인 자동차, 유/무인 선박 등의 이동하는 모든 수단에 활용되어 보다 직관적인 조작 인터페이스를 제공하고자 한다.
본 발명의 일 실시예에 따른 영상 제공 방법은, 하나 이상의 어안 카메라(Fisheye Camera)를 구비하는 이동체로부터 상이한 방향에서 획득한 하나 이상의 어안 이미지(Fisheye image)을 수신하는 단계; 상기 하나 이상의 어안 이미지를 하나 이상의 평면 이미지로 디워핑(dewarping)하고, 상기 하나 이상의 평면 이미지로부터 상기 이동체의 적어도 하나의 시야 방향에 대응하는 적어도 하나의 부분 이미지를 생성하는 단계; 및 상기 하나 이상의 부분 이미지를 기 설정된 화면의 레이아웃(Layout)에 따라 배치하여 디스플레이 하는 단계;를 포함할 수 있다.
본 발명의 일 실시예에 따른 영상 제공 방법은, 상기 이동체에 구비된 하나 이상의 감지수단으로부터 감지 데이터를 수신하는 단계를 더 포함할 수 있다. 이 때 상기 디스플레이 하는 단계는 상기 감지 데이터를 상기 하나 이상의 부분 이미지와 중첩하지 않는 영역에 배치하여 디스플레이 할 수 있다.
상기 화면의 레이아웃은 상기 화면을 분할한 복수의 영역들에서 상기 부분 이미지가 배치된 영역이 상기 부분 이미지가 나타내는 상기 이동체의 시야 방향을 나타내도록 상기 적어도 하나의 부분 이미지를 상기 복수의 영역들에 할당하고, 상기 이동체의 이동 방향, 상기 이동체의 자세 및 상기 감지 데이터를 상기 복수의 영역들 중 상기 적어도 하나의 부분 이미지가 배치되지 않는 영역에 할당할 수 있다.
본 발명의 일 실시예에 따른 영상 제공 장치는, 하나 이상의 어안 카메라(Fisheye Camera)를 구비하는 이동체로부터 상이한 방향에서 획득한 하나 이상의 어안 이미지(Fisheye image)을 수신하는 영상 획득부; 상기 하나 이상의 어안 이미지를 하나 이상의 평면 이미지로 디워핑(dewarping)하고, 상기 하나 이상의 평면 이미지로부터 상기 이동체의 적어도 하나의 시야 방향에 대응하는 하나 이상의 부분 이미지를 생성하고, 상기 하나 이상의 부분 이미지를 기 설정된 화면의 레이아웃(Layout)에 따라 디스플레이 화면에 제공하는 제어부;를 포함할 수 있다.
상기 제어부는, 상기 이동체에 구비된 하나 이상의 감지수단으로부터 감지 데이터를 수신하고, 상기 감지 데이터를 상기 디스플레이 화면의 상기 하나 이상의 부분 이미지와 중첩하지 않는 영역에 제공할 수 있다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
본 발명의 실시예들에 따르면 무인비행체에 하나 이상의 어안 카메라를 구비하여 이미지를 획득함으로써 사각을 최소화 하고, 획득된 복수의 이미지를 기초로 무인비행체의 시야 방향에 대응하는 부분 이미지를 생성하고 이를 시야 방향에 대응하도록 배치함으로써 사각이 없는 직관적인 무인비행체의 조작 인터페이스를 제공하는 영상 제공 장치를 구현할 수 있다.
나아가 본 발명의 실시예들에 따르면 유/무인 비행체, 유/무인 자동차, 유/무인 선박 등의 이동하는 모든 수단에 활용되어 보다 직관적인 조작 인터페이스를 제공하는 영상 제공 장치를 구현할 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 제공 시스템을 개략적으로 도시한다.
도 2 내지 도 3은 본 발명의 일 실시예에 따른 제어부의 동작을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 영상 제공 방법을 개략적으로 도시하는 흐름도이다.
도 5는 본 발명의 다른 실시예에 따른 영상 제공 방법을 개략적으로 도시하는 흐름도이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
이하의 실시예에서, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
이하의 실시예에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 이하의 실시예에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명의 실시예들은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 본 발명의 실시예의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 잇는 것과 유사하게, 본 발명의 실시예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명의 실시예들은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. 매커니즘, 요소, 수단, 구성과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 제공 시스템을 개략적으로 도시한다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 영상 제공 시스템은 영상 제공 장치(10)와 이동체(20)를 포함할 수 있다.
본 발명의 일 실시예에 따른 이동체(20)는 날개 또는 로터를 구비한 비행수단일 수 있다. 예를 들어 이동체(20)는 통상의 비행체와 같은 고정익 형태의 비행체일 수 있으며, 헬리콥터와 같은 회전익 형태의 비행체일 수도 있다.
또한 본 발명의 일 실시예에 따른 이동체(20)는 바퀴 등의 구동수단을 구비한 주행수단일 수도 있다. 예를 들어 이동체(20)는 자동차, 무한궤도를 구비한 장갑차, 오토바이 등의 다양한 형태의 구동부를 갖는 주행수단일 수 있다.
이동체(20)는 영상 획득을 위한 하나 이상의 영상센서(21a 내지 21d)를 구비할 수 있다. 이 때 하나 이상의 영상센서(21a 내지 21d)는 촬영 대상 공간에 대한 어안 이미지(Fisheye image)를 제공하는 어안 카메라(Fisheye Camera) 일 수 있다.
어안 카메라(Fisheye Camera)는 어안렌즈 및 이미지 센서를 포함하는 카메라 일 수 있다. 어안 렌즈는 화각(畵角)이 180°에 근접하는 초광각 렌즈일 수 있다. 또한 어안 렌즈는 1매 이상의 렌즈로 구성되는 렌즈군일 수 있다. 이미지 센서는 어안 렌즈에 의하여 입력된 영상을 전기적 신호로 변환할 수 있다. 예컨대 이미지 센서는 CCD(Charge-Coupled Device) 또는 CMOS (Complementary Metal Oxide Semiconductor)와 같이 광학 신호를 전기적 신호(이하 이미지로 설명함)로 변환할 수 있는 반도체 소자일 수 있다.
하나 이상의 영상센서(21a 내지 21d)는 촬영 대상 공간에 대한 어안 이미지 외에 통상의 RGB로 구성된 이미지, 적외선 이미지 또는 거리 정보를 포함하는 거리 이미지 등을 제공하는 카메라 일 수도 있다.
이동체(20)에 포함되는 영상센서의 수는 영상센서 각각의 화각 및 촬영하고자 하는 전체 화각의 크기에 따라 달라질 수 있다.
이하 이동체(20)가 네 개의 영상센서(21a 내지 21d)로 어안 카메라를 포함하는 실시예를 기준으로 설명하지만, 본 발명이 이에 한정되는 것이 아니다.
본 발명의 일 실시예에 따른 영상 제공 장치(10)는 영상 획득부(100) 및 제어부(200)를 포함할 수 있다. 영상 획득부(100)는 이동체(20)로부터 상이한 방향에서 획득한 하나 이상의 어안 이미지를 수신할 수 있다. 제어부(200)는 수신 받은 하나 이상의 이미지를 레이아웃에 맞게 평면이미지로 디워핑 하고, 평면 이미지를 부분 이미지로 변환 및/또는 변형한 뒤, 부분 이미지를 레이아웃에 따라 배치하여 디스플레이 할 수 있다.
다만 영상 획득부(100)와 제어부(200)와 같은 분류는 편의상/기능상의 분류일 뿐, 각각의 구성이 물리적으로 명확히 나뉘어진 것은 아니며, 각각의 구성들에서 수행되는 기능들이 상호 중복되어 수행될 수도 있고, 일부 구성이 생략되어 다른 구성에 포함될 수도 있다. 예컨대, 영상 획득부(100)와 제어부(200)가 하나의 프로세서로 통합되어 구성될 수도 있다.
본 발명의 일 실시예에 따른 영상 획득부(100)는 하나 이상의 어안 카메라를 구비하는 이동체(20)로부터 상이한 방향에서 획득한 하나 이상의 어안 이미지를 수신할 수 있다.
상세히, 이동체(20)는 어안 이미지를 획득하고, 이를 네트워크를 통하여 영상 획득부(100)로 전송할 수 있다. 본 발명에서 설명되는 네트워크는 예를 들어, 무선 네트워크, 유선 네트워크, 인터넷과 같은 공용 네트워크, 사설 네트워크, 모바일 통신 네트워크용 광역 시스템(global system for mobile communication network; GSM) 네트워크, 범용 패킷 무선 네트워크(general packet radio network; GPRS), 근거리 네트워크(local area network; LAN), 광역 네트워크(wide area network; WAN), 거대도시 네트워크(metropolitan area network; MAN), 셀룰러 네트워크, 공중 전화 교환 네트워크(public switched telephone network; PSTN), 개인 네트워크(personal area network), 블루투스, Wi-Fi 다이렉트(Wi-Fi Direct), 근거리장 통신(Near Field communication), 초 광 대역(Ultra Wide band), 이들의 조합, 또는 임의의 다른 네트워크일 수 있지만 이들로 한정되는 것은 아니다.
본 발명의 일 실시예에 따른 제어부(200)는 영상 획득부(100)가 이동체(20)로부터 획득한 하나 이상의 어안 이미지를 하나 이상의 평면 이미지로 디워핑(dewarping)할 수 있다. 본 발명에서 설명되는 디워핑(dewaring)은 왜곡된 어안 이미지를 평면 이미지로 보정하는 작업을 의미할 수 있다.
이 때 제어부(200)는 다양한 방식에 의하여 디워핑 작업을 수행할 수 있다. 예컨대, 제어부(200)는 디워핑 파라미터(dewarping parameter)를 사용하여 평면 이미지를 생성할 수 있다. 이 때 평면 이미지는 이중 파노라마 뷰(Double panorama view), 단일 파노라마 뷰(Single panorama view), 또는 쿼드 뷰(Quad view)와 같은 뷰(view)들을 갖도록 생성될 수 있으나 본 발명이 이에 한정되는 것은 아니다.
본 발명의 일 실시예에 따른 제어부(200)는 생성된 하나 이상의 평면 이미지로부터 이동체(20)의 적어도 하나의 시야 방향에 대응하는 하나 이상의 부분 이미지를 생성할 수 있다.
본 발명에서 이동체(20)의 시야 방향에 대응하는 부분 이미지는 이동체(20)의 진행 방향 또는 이동체(20)의 기 설정된 방향(이하 기준방향)을 기준으로, 기준 방향, 기준 방향의 좌측, 기준 방향의 우측, 기준 방향의 상측 또는 기준 방향의 하측의 시야를 포함하는 이미지일 수 있다.
도 2 내지 도 3은 본 발명의 일 실시예에 따른 제어부(200)의 동작을 설명하기 위한 도면이다.
도 2에서, 이동체(20)가 네 개의 벽면(채색된 부분)으로 둘러싸인 상황을 가정한다. 즉 1-L면 및 1-R면으로 구성되는 제1 벽면, 2-L면 및 2-R면으로 구성되는 제2 벽면, 3-L면 및 3-R면으로 구성되는 제3 벽면 및 4-L면 및 4-R면으로 구성되는 제4 벽면에 이동체(20)가 둘러싸여 있다고 가정한다. 제1 내지 제4 벽면이 형성하는 공간의 바닥면은 5-0면 내지 5-8면으로 구성되어 있고, 제1 내지 제4 벽면이 형성하는 공간의 가상의 천장면은 6-0면 내지 6-8면으로 구성되어 있다고 가정한다. 또한 이동체(20)의 이동 방향은 내부 공간의 중심에서 제1 벽면을 향하는 방향이라고 가정하고(즉 기준방향이 내부 공간의 중심에서 제1 벽면을 향하는 방향), 영상센서(21a 내지 21d)는 도시된 바와 같이 이동체(20)의 형상이 형성하는 사각형의 각 꼭지점에 위치한다고 가정한다.
전술한 가정 하에, 이동체(20)의 영상센서(21a 내지 21d)는 이동체(20)를 둘러싸고 있는 모든 면에 대한 이미지를 획득할 수 있다.
예컨대, 영상센서(21a)는 제1 벽면의 1-L면, 제2 벽면의 2-R면, 바닥면의 5-1면, 바닥면의 5-8면, 천장면의 6-1면 및 천장면의 6-8면에 대한 이미지를 획득할 수 있다.
영상센서(21b)는 제1 벽면의 1-R면, 제3 벽면의 3-L면, 바닥면의 5-2면, 바닥면의 5-3면, 천장면의 6-2면 및 천장면의 6-3면에 대한 이미지를 획득할 수 있다.
영상센서(21c)는 제3 벽면의 3-R면, 제4 벽면의 4-L면, 바닥면의 5-4면, 바닥면의 5-5면, 천장면의 6-4면 및 천장면의 6-5면에 대한 이미지를 획득할 수 있다.
영상센서(21d)는 제4 벽면의 4-R면, 제2 벽면의 2-L면, 바닥면의 5-6면, 바닥면의 5-7면, 천장면의 6-6면 및 천장면의 6-7면에 대한 이미지를 획득할 수 있다.
이 때 영상센서(21a 내지 21d)의 화각에 따라 이미지를 획득할 수 없는 면(5-0면 및 가상의 6-0면(미도시))이 존재할 수도 있다.
또한 영상센서(21a 내지 21d)의 화각에 따라 중복되는 이미지를 획득할 수 도 있다. 예컨대, 영상센서(21a)가 제1 벽면의 1-L면 전체 및 1-R면의 일부에 대한 이미지를 획득하고, 영상센서(21b)는 제1 벽면의 1-L면 일부 및 1-R면의 전체에 대한 이미지를 획득할 수 있다. 이러한 경우 제어부(200)는 후술하는 부분 이미지 생성 과정에서 중복 부분을 판단하고, 이러한 부분을 고려하여 부분 이미지를 생성할 수 있다.
도 3은 제어부(200)가 평면 이미지로부터 이동체(20)의 적어도 하나의 시야 방향에 대응하는 하나 이상의 부분 이미지를 생성하고, 배치한 예시를 개략적으로 도시한다.
도 3을 참조하면, 제어부(200)는 영역 305에 표시되는 이미지와 같이 이동체(20)의 정면 시야에 해당하는 부분 이미지를 두 개의 영상센서(21a, 21b)가 획득한 이미지로부터 생성할 수 있다. 즉 두 개의 영상센서(21a, 21b)가 획득한 영상에는 기준방향에 위치하는 벽면인 제1 벽면(1-L, 1-R)의 좌측과 우측에 관한 영상이 각각 포함되어 있으므로, 제어부(200)는 이를 이용하여 이동체(20)의 정면 시야에 해당하는 부분 이미지를 생성할 수 있다. 이 때 제어부(200)는 두 개의 영상센서(21a, 21b)가 획득한 영상의 인접 면에서 영상이 중복되는 부분이 존재하는 경우, 영상의 유사성을 판단하여 이를 제외하고 정면 시야에 해당하는 부분 이미지를 생성할 수 있다.
이와 마찬가지 방법으로 제어부(200)는 네 개의 영상센서(21a 내지 21d)가 획득한 이미지로부터 영역 304에 표시된 좌측면 시야에 해당하는 부분 이미지, 영역 306에 표시된 우측면 시야에 해당하는 부분 이미지, 영역 302에 표시된 천장 시야에 해당하는 부분 이미지, 영역 308에 표시된 바닥시야에 해당하는 부분 이미지 및 영역 303에 표시된 후면시야에 해당하는 부분 이미지를 생성할 수 있다.
한편, 하나의 시야에 대한 부분 이미지의 생성에 있어서 필요한 평면 이미지의 수는 영상센서(21a 내지 21d)의 배치에 따라 달라질 수 있다. 예컨대, 본 예시와 달리, 영상센서가 이동체(20)의 형상이 형성하는 사각형의 각 꼭지점이 아니라 각 변의 중심에 위치하는 경우, 정면 시야에 해당하는 부분 이미지는 한 개의 영상센서가 획득한 이미지로부터 생성될 수 있다.
본 발명의 일 실시예에 따른 제어부(200)는 이동체(20)에 구비된 하나 이상의 감지수단으로부터 감지 데이터를 수신할 수 있다.
감지수단은 예컨대 이동체(20)의 이동에 관한 정보를 감지하기 위한 GPS 센서, 기울기 센서, 자이로 센서 및 가속도 센서 중 어느 하나이거나 어느 하나 이상의 조합일 수 있다. 감지수단은 이동체(20)가 위치하는 장소의 물리량을 측정하기 위한 온도센서, 습도센서, 풍향센서 또는 기압센서 중 어느 하나이거나 어느 하나 이상의 조합일 수 있다. 또한 감지수단은 이동체(20)의 상태에 관한 정보를 측정하기 위한 전압센서 등 일 수 있다.
본 발명의 일 실시예에 따른 제어부(200)는 하나 이상의 부분 이미지를 기 설정된 화면의 레이아웃(Layout)에 따라 배치하여 디스플레이 할 수 있다. 또한 제어부(200)는 감시수단으로부터 수신된 감지 데이터를 하나 이상의 부분 이미지와 중첩하지 않는 영역에 배치하여 디스플레이 할 수도 있다.
예컨대, 제어부(200)는 도 3과 같이 화면을 분할한 복수의 영역들(301 내지 309)에서 부분 이미지가 배치된 영역이 부분 이미지가 나타내는 이동체(20)의 시야 방향을 나타내도록 적어도 하나의 부분 이미지를 복수의 영역들(302, 303, 304, 305, 306 및 308)에 할당할 수 있다. 즉 이동체(20)의 정면 시야에 해당하는 부분 이미지를 레이아웃의 중앙 영역(305)에, 이동체(20)의 좌측면 시야에 해당하는 부분 이미지를 레이아웃의 좌측 영역(304)에, 이동체(20)의 우측면 시야에 해당하는 부분 이미지를 레이아웃의 우측 영역(306)에, 이동체(20)의 바닥면 시야에 해당하는 부분 이미지를 레이아웃의 하단 영역(308)에, 이동체(20)의 천장면 시야에 해당하는 부분 이미지를 레이아웃의 상단 영역(302)에 배치할 수 있다. 다만 레이아웃 상에서 이동체(20)의 후면에 방향을 나타낼 수 있는 영역은 없으므로, 이동체(20)의 후면 시야에 해당하는 부분 이미지를 레이아웃의 우측 상단 영역(303)에 임의로 배치할 수 있다.
제어부(200)는 이동체(20)의 이동 방향, 이동체(20)의 자세 및 감지 데이터를 복수의 영역들 중 부분 이미지가 배치되지 않는 영역(301, 307 및 309)에 배치되도록 할당할 수 있다. 이 때 제어부(200)는 감지수단으로부터 수신된 데이터 그 자체를 텍스트 형태로 디스플레이 하거나, 사용자가 보다 직관적으로 알아볼 수 있도록 GUI(Graphic User Interface)를 이용하여 이미지 형태로 표시할 수 있다.
도 4 내지 도 5는 도 1의 영상 제공 장치(10)에 의해 수행되는 영상 제공 방법을 설명하기 위한 흐름도이다. 이하에서는 도 1 내지 도 3에서 설명한 내용과 중복하는 내용의 상세한 설명은 생략한다.
도 4는 본 발명의 일 실시예에 따른 영상 제공 방법을 개략적으로 도시하는 흐름도이다.
도 4를 참조하면, 본 발명의 일 실시예에 따른 영상 획득부(100)는 하나 이상의 어안 카메라를 구비하는 이동체(20)로부터 상이한 방향에서 획득한 하나 이상의 어안 이미지를 수신할 수 있다.(S11)
이 때 이동체(20)는 날개 또는 로터를 구비한 비행수단일 수 있다. 또한 이동체(20)는 바퀴 등의 구동수단을 구비한 주행수단일 수도 있다. 어안 카메라(Fisheye Camera)는 어안렌즈 및 이미지 센서를 포함하는 카메라 일 수 있다.
이동체(20)는 어안 이미지를 획득하고, 이를 네트워크를 통하여 영상 획득부(100)로 전송할 수 있다.
영상 획득부(100)는 이동체(20)로부터 수신한 어안 이미지를 제어부(200)에 제공할 수 있다.
본 발명의 일 실시예에 따른 제어부(200)는 영상 획득부(100)가 이동체(20)로부터 획득한 하나 이상의 어안 이미지를 하나 이상의 평면 이미지로 디워핑(dewarping)하고, 생성된 하나 이상의 평면 이미지로부터 이동체(20)의 적어도 하나의 시야 방향에 대응하는 하나 이상의 부분 이미지를 생성할 수 있다.(S12)
본 발명에서 설명되는 디워핑(dewaring)은 왜곡된 어안 이미지를 평면 이미지로 보정하는 작업을 의미할 수 있다.
본 발명에서 이동체(20)의 시야 방향에 대응하는 부분 이미지는 기준방향을 기준으로, 기준 방향, 기준 방향의 좌측, 기준 방향의 우측, 기준 방향의 상측 또는 기준 방향의 하측의 시야를 포함하는 이미지일 수 있다.
본 발명의 일 실시예에 따른 제어부(200)는 하나 이상의 부분 이미지를 기 설정된 화면의 레이아웃(Layout)에 따라 배치하여 디스플레이 할 수 있다.(S13)
예컨대, 제어부(200)는 도 3과 같이 화면을 분할한 복수의 영역들(301 내지 309)에서 부분 이미지가 배치된 영역이 부분 이미지가 나타내는 이동체(20)의 시야 방향을 나타내도록 적어도 하나의 부분 이미지를 복수의 영역들(302, 303, 304, 305, 306 및 308)에 할당할 수 있다.
도 5는 본 발명의 다른 실시예에 따른 영상 제공 방법을 개략적으로 도시하는 흐름도이다.
도 5를 참조하면, 본 발명의 일 실시예에 따른 영상 획득부(100)는 하나 이상의 어안 카메라를 구비하는 이동체(20)로부터 상이한 방향에서 획득한 하나 이상의 어안 이미지를 수신할 수 있다.(S21)
이 때 이동체(20)는 날개 또는 로터를 구비한 비행수단일 수 있다. 또한 이동체(20)는 바퀴 등의 구동수단을 구비한 주행수단일 수도 있다. 어안 카메라(Fisheye Camera)는 어안렌즈 및 이미지 센서를 포함하는 카메라 일 수 있다.
이동체(20)는 어안 이미지를 획득하고, 이를 네트워크를 통하여 영상 획득부(100)로 전송할 수 있다.
영상 획득부(100)는 이동체(20)로부터 수신한 어안 이미지를 제어부(200)에 제공 할 수 있다.
본 발명의 일 실시예에 따른 제어부(200)는 이동체(20)에 구비된 하나 이상의 감지수단으로부터 감지 데이터를 수신할 수 있다.(S22) 감지수단은 예컨대 이동체(20)의 이동에 관한 정보를 감지하기 위한 수단이거나, 이동체(20)가 위치하는 장소의 물리량을 측정하기 위한 측정수단이거나 또는 이동체(20)의 상태에 관한 정보를 측정하기 위한 수단일 수 있다.
본 발명의 일 실시예에 따른 제어부(200)는 영상 획득부(100)가 이동체(20)로부터 획득한 하나 이상의 어안 이미지를 하나 이상의 평면 이미지로 디워핑(dewarping)하고, 생성된 하나 이상의 평면 이미지로부터 이동체(20)의 적어도 하나의 시야 방향에 대응하는 하나 이상의 부분 이미지를 생성할 수 있다.(S23)
본 발명에서 설명되는 디워핑(dewaring)은 왜곡된 어안 이미지를 평면 이미지로 보정하는 작업을 의미할 수 있다.
본 발명에서 이동체(20)의 시야 방향에 대응하는 부분 이미지는 기준방향을 기준으로, 기준 방향, 기준 방향의 좌측, 기준 방향의 우측, 기준 방향의 상측 또는 기준 방향의 하측의 시야를 포함하는 이미지일 수 있다.
본 발명의 일 실시예에 따른 제어부(200)는 하나 이상의 부분 이미지 및 감지 데이터를 기 설정된 화면의 레이아웃(Layout)에 따라 배치하여 디스플레이 할 수 있다.(S24)
예컨대, 제어부(200)는 도 3과 같이 화면을 분할한 복수의 영역들(301 내지 309)에서 부분 이미지가 배치된 영역이 부분 이미지가 나타내는 이동체(20)의 시야 방향을 나타내도록 적어도 하나의 부분 이미지를 복수의 영역들(302, 303, 304, 305, 306 및 308)에 할당할 수 있다. 또한 제어부(200)는 이동체(20)의 이동 방향, 이동체(20)의 자세 및 감지 데이터를 복수의 영역들 중 상기 적어도 하나의 부분 이미지가 배치되지 않는 영역(도 3의 301, 307 및 309)에 배치되도록 할당할 수 있다. 이 때 제어부(200)는 감지수단으로부터 수신된 데이터 그 자체를 텍스트 형태로 디스플레이 하거나, 사용자가 보다 직관적으로 알아볼 수 있도록 GUI(Graphic User Interface)를 이용하여 이미지 형태로 표시할 수 있다.
본 발명의 실시예에 따른 영상 제공 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
본 발명은 첨부된 도면에 도시된 일 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 수 있을 것이다.
10: 영상 제공 장치
100: 영상 획득부
200: 제어부
20: 이동체
21a 내지 21d: 어안 카메라

Claims (5)

  1. 하나 이상의 어안 카메라(Fisheye Camera)를 구비하는 이동체로부터 상이한 방향에서 획득한 하나 이상의 어안 이미지(Fisheye image)을 수신하는 단계;
    상기 하나 이상의 어안 이미지를 하나 이상의 평면 이미지로 디워핑(dewarping)하고, 상기 하나 이상의 평면 이미지로부터 상기 이동체의 적어도 하나의 시야 방향에 대응하는 적어도 하나의 부분 이미지를 생성하는 단계; 및
    상기 하나 이상의 부분 이미지를 기 설정된 화면의 레이아웃(Layout)에 따라 배치하여 디스플레이 하는 단계;를 포함하는 영상 제공 방법.
  2. 제1 항에 있어서,
    상기 이동체에 구비된 하나 이상의 감지수단으로부터 감지 데이터를 수신하는 단계를 더 포함하고,
    상기 디스플레이 하는 단계는 상기 감지 데이터를 상기 하나 이상의 부분 이미지와 중첩하지 않는 영역에 배치하여 디스플레이 하는, 영상 제공 방법.
  3. 제2 항에 있어서
    상기 화면의 레이아웃은
    상기 화면을 분할한 복수의 영역들에서 상기 부분 이미지가 배치된 영역이 상기 부분 이미지가 나타내는 상기 이동체의 시야 방향을 나타내도록 상기 적어도 하나의 부분 이미지를 상기 복수의 영역들에 할당하고,
    상기 이동체의 이동 방향, 상기 이동체의 자세 및 상기 감지 데이터를 상기 복수의 영역들 중 상기 적어도 하나의 부분 이미지가 배치되지 않는 영역에 할당하는, 영상 제공 방법.
  4. 하나 이상의 어안 카메라(Fisheye Camera)를 구비하는 이동체로부터 상이한 방향에서 획득한 하나 이상의 어안 이미지(Fisheye image)을 수신하는 영상 획득부;,
    상기 하나 이상의 어안 이미지를 하나 이상의 평면 이미지로 디워핑(dewarping)하고, 상기 하나 이상의 평면 이미지로부터 상기 이동체의 적어도 하나의 시야 방향에 대응하는 하나 이상의 부분 이미지를 생성하고, 상기 하나 이상의 부분 이미지를 기 설정된 화면의 레이아웃(Layout)에 따라 디스플레이 화면에 제공하는 제어부;를 포함하는, 영상 제공 장치.
  5. 제4 항에 있어서, 상기 제어부는,
    상기 이동체에 구비된 하나 이상의 감지수단으로부터 감지 데이터를 수신하고,
    상기 감지 데이터를 상기 디스플레이 화면의 상기 하나 이상의 부분 이미지와 중첩하지 않는 영역에 제공하는, 영상 제공 장치.
KR1020150176058A 2015-12-10 2015-12-10 영상 제공 장치 및 방법 KR102491637B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150176058A KR102491637B1 (ko) 2015-12-10 2015-12-10 영상 제공 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150176058A KR102491637B1 (ko) 2015-12-10 2015-12-10 영상 제공 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20170068956A true KR20170068956A (ko) 2017-06-20
KR102491637B1 KR102491637B1 (ko) 2023-01-26

Family

ID=59281340

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150176058A KR102491637B1 (ko) 2015-12-10 2015-12-10 영상 제공 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102491637B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108958283A (zh) * 2018-06-28 2018-12-07 芜湖新尚捷智能信息科技有限公司 一种无人机低空自主避障系统
CN112150554A (zh) * 2019-06-28 2020-12-29 杭州海康威视数字技术股份有限公司 画面显示方法、装置、终端和存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002366937A (ja) * 2001-06-08 2002-12-20 Fuji Heavy Ind Ltd 車外監視装置
JP2005056295A (ja) * 2003-08-07 2005-03-03 Iwane Kenkyusho:Kk ３６０度画像変換処理装置
KR20100005971A (ko) * 2008-07-08 2010-01-18 현대자동차주식회사 차량 전방위 감시 시스템
KR20100018998A (ko) * 2008-08-08 2010-02-18 펜타원 주식회사 전방위 감시 카메라 시스템 및 그를 이용한 영상처리방법
KR20130112688A (ko) 2010-04-22 2013-10-14 에어로바이론먼트, 인크. 무인 항공기 및 작동 방법
US20140184646A1 (en) * 2013-01-02 2014-07-03 Vivotek Inc. Image processor and fisheye image display method thereof
KR20140137485A (ko) * 2013-05-22 2014-12-03 아이오솔루션(주) 어안 렌즈를 이용한 다중 채널 디스플레이 시스템
JP2015142294A (ja) * 2014-01-29 2015-08-03 京セラ株式会社 撮像システム、および撮像システムの制御方法
US20150298822A1 (en) * 2014-04-16 2015-10-22 Parrot Rotary-wing drone provided with a video camera delivering stabilized sequences of images

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002366937A (ja) * 2001-06-08 2002-12-20 Fuji Heavy Ind Ltd 車外監視装置
JP2005056295A (ja) * 2003-08-07 2005-03-03 Iwane Kenkyusho:Kk ３６０度画像変換処理装置
KR20100005971A (ko) * 2008-07-08 2010-01-18 현대자동차주식회사 차량 전방위 감시 시스템
KR20100018998A (ko) * 2008-08-08 2010-02-18 펜타원 주식회사 전방위 감시 카메라 시스템 및 그를 이용한 영상처리방법
KR20130112688A (ko) 2010-04-22 2013-10-14 에어로바이론먼트, 인크. 무인 항공기 및 작동 방법
US20140184646A1 (en) * 2013-01-02 2014-07-03 Vivotek Inc. Image processor and fisheye image display method thereof
KR20140137485A (ko) * 2013-05-22 2014-12-03 아이오솔루션(주) 어안 렌즈를 이용한 다중 채널 디스플레이 시스템
JP2015142294A (ja) * 2014-01-29 2015-08-03 京セラ株式会社 撮像システム、および撮像システムの制御方法
US20150298822A1 (en) * 2014-04-16 2015-10-22 Parrot Rotary-wing drone provided with a video camera delivering stabilized sequences of images

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108958283A (zh) * 2018-06-28 2018-12-07 芜湖新尚捷智能信息科技有限公司 一种无人机低空自主避障系统
CN112150554A (zh) * 2019-06-28 2020-12-29 杭州海康威视数字技术股份有限公司 画面显示方法、装置、终端和存储介质
CN112150554B (zh) * 2019-06-28 2023-08-04 杭州海康威视数字技术股份有限公司 画面显示方法、装置、终端和存储介质

Also Published As

Publication number Publication date
KR102491637B1 (ko) 2023-01-26

Similar Documents

Publication Publication Date Title
US8744647B2 (en) Method and device for controlling and monitoring the surrounding areas of an unmanned aerial vehicle (UAV)
US20170094227A1 (en) Three-dimensional spatial-awareness vision system
JP6398472B2 (ja) 画像表示システム、画像表示装置、画像表示方法、およびプログラム
US20180262789A1 (en) System for georeferenced, geo-oriented realtime video streams
US20200106818A1 (en) Drone real-time interactive communications system
US20190126826A1 (en) Optronic viewing device for a land vehicle
JP6280011B2 (ja) 領域リクエストに基づいたデータ低減処理を行う画像送受信システム及び方法
JP2016180866A (ja) 空撮装置
US20160381257A1 (en) Sphere panorama image capturing device
WO2020129029A2 (en) A system for generating an extended reality environment
KR20170068956A (ko) 영상 제공 장치 및 방법
US20030193562A1 (en) Natural vision-based video surveillance system
JP2006197068A (ja) 画像表示装置および画像表示方法
US20190124274A1 (en) Image processing apparatus, imaging system, communication system, image processing method, and recording medium
KR20190123095A (ko) 드론 기반의 전방위 열화상 이미지 처리 방법 및 이를 위한 열화상 이미지 처리 시스템
KR20170006210A (ko) 감시 방법
US10979675B2 (en) Video monitoring apparatus for displaying event information
US11212485B2 (en) Transparency system for commonplace camera
US20240290087A1 (en) Video display method and display system based on unmanned aerial vehicle viewing angle
JP6852878B2 (ja) 画像処理装置、画像処理プログラムおよび画像処理方法
JP6610741B2 (ja) 画像表示システム、画像表示装置、画像表示方法、およびプログラム
JP6645701B2 (ja) 被災場所特定システム
JP2020202503A (ja) 撮像装置、コンピュータプログラムおよび記憶媒体
JP2017011598A (ja) 監視システム
CN106296584B (zh) 一种全景拼接图与局部视频或图像融合显示的方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant