KR20190030589A - 오프로딩 시스템을 통해 무인 비행체의 영상을 분석하기 위한 방법 및 장치 - Google Patents

오프로딩 시스템을 통해 무인 비행체의 영상을 분석하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR20190030589A
KR20190030589A KR1020180094348A KR20180094348A KR20190030589A KR 20190030589 A KR20190030589 A KR 20190030589A KR 1020180094348 A KR1020180094348 A KR 1020180094348A KR 20180094348 A KR20180094348 A KR 20180094348A KR 20190030589 A KR20190030589 A KR 20190030589A
Authority
KR
South Korea
Prior art keywords
network
information
image
drone
computing device
Prior art date
Application number
KR1020180094348A
Other languages
English (en)
Inventor
고영배
정우성
Original Assignee
아주대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아주대학교산학협력단 filed Critical 아주대학교산학협력단
Publication of KR20190030589A publication Critical patent/KR20190030589A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0022—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the communication link
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/0202—Control of position or course in two dimensions specially adapted to aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 연산 장치를 통해서 드론의 영상을 처리하기 위한 방법 및 장치에 관한 것이다. 보다 구체적으로, 본 발명의 영상처리 방법은 상기 연산 장치의 영상처리 능력을 나타내는 연산 능력 정보 및 상기 드론과 상기 연산 장치간의 네트워크 상태를 나타내는 네트워크 정보를 획득하고, 상기 연산 능력 정보 및 상기 네트워크 정보를 기초로, 상기 드론의 영상 처리 시간인 제 1 지연 시간 및 상기 연산 장치를 통한 영상 처리 시간인 제 2 지연 시간을 추정하고, 상기 추정된 제 1 지연 시간과 상기 제 2 지연 시간을 기초로, 상기 드론에 의해 촬영된 영상을 처리하기 위한 오프로딩(offloading) 수행 여부를 판단한다.

Description

오프로딩 시스템을 통해 무인 비행체의 영상을 분석하기 위한 방법 및 장치{METHOD AND APPARATUS FOR ANALYZING IMAGE OF UNMANNED AERIAL VEHICLE THROUGH OFFLOADING SYSTEM}
본 명세서는 무인 비행체에서 영상 분석에 관한 방법에 관한 것이다. 보다 구체적으로 무인 비행체에서 촬영한 영상을 다중 인터페이스를 활용한 연산 오프로딩(Computation offloading) 시스템을 통해 분석하기 위한 방법 및 장치에 관한 발명이다.
단일 단말에 요구되는 컴퓨팅을 고성능 서버 또는 주변 단말들의 컴퓨팅 능력을 활용하여 처리하는 오프로딩 기술은 단일 단말의 제한된 연산 능력을 극복하고 응답 시간 단축을 위한 기술로 활용되고 있다.
특히, 영상 처리와 같은 연산의 양이 많은 응용일수록 오프로딩을 통해서 얻을 수 있는 이득이 커지게 된다. 이러한 오프로딩 기술을 통해서 단말의 반응 속도를 향상시키거나, 에너지 소비 감소 등의 이익을 얻기 위한 기술들이 제안되어 왔다.
하지만 이를 위해서는 안정적인 네트워크가 제공되어야 하며, 네트워크 환경이 동적으로 변화하는 경우 오프로딩으로 얻을 수 있는 이득이 급격히 떨어지게 된다. 특히 단일 인터페이스를 이용하는 무인 비행체의 경우 네트워크 구성이 하나의 기지국을 중심으로 구축되어 하나의 게이트웨이에 오프로딩을 위한 트래픽이 몰리면서 발생하는 병목 현상 및 무인 비행체의 높은 이동성에 따른 네트워크 재연결을 위한 지연이 빈번히 발생된다.
따라서 무인비행체의 연산 오프로딩을 위해서는 안정적인 통신망 제공을 예측할 수 있는 기술과 다중 인터페이스를 활용하여 안정적이고 지연이 적은 네트워크를 구축하는 기술이 반드시 필요하다.
본 발명은 이동성이 높은 무인 비행체에서 네트워크를 통해 얻을 수 있는 연산 오프로딩의 이득을 예측하는 방법을 제공한다. 또한 오프로딩 시 안정적인 네트워크 운용을 위한 다중 인터페이스를 이용한 데이터 전송 방법을 제공한다.
또한, 본 발명은 이동성이 높은 무인 비행체가 오프로딩 방법을 통해서 영상을 분석하는 경우 예상되는 지연 시간 정보에 기초하여 오프로딩 여부를 결정하는 방법을 제공한다.
또한, 본 발명은 오프로딩 시 다중 인터페이스의 연결성 및 처리 지연 시간을 고려하여 동적으로 변화하는 네트워크 환경에 맞추어 안정적인 통신 네트워크 운용 방법을 제공한다.
본 발명의 일 실시예에 따른, 연산 장치를 통한 드론의 영상처리 방법은 상기 연산 장치의 영상처리 능력을 나타내는 연산 능력 정보 및 상기 드론과 상기 연산 장치간의 네트워크 상태를 나타내는 네트워크 정보를 획득하는 단계; 상기 연산 능력 정보 및 상기 네트워크 정보를 기초로, 상기 드론의 영상 처리 시간인 제 1 지연 시간 및 상기 연산 장치를 통한 영상 처리 시간인 제 2 지연 시간을 추정하는 단계; 및 상기 추정된 제 1 지연 시간과 상기 제 2 지연 시간을 기초로, 상기 드론에 의해서 촬영된 영상을 처리하기 위한 오프로딩(offloading) 수행 여부를 판단하는 단계를 포함할 수 있다.
또한, 본 발명은, 판단 결과, 상기 연산 장치에서 상기 오프로딩 수행하는 경우, 상기 연산 장치로 촬영된 제 1 영상 정보를 전송하는 단계; 및 상기 연산 장치로부터, 상기 전송된 제 1 영상 정보를 처리한 제 2 영상 정보를 수신하는 단계를 더 포함할 수 있다.
또한, 본 발명에서, 상기 제 1 영상 정보는 TCP 송신을 통해서 연산 장치로 송신될 수 있다.
또한, 본 발명은, 상기 제 1 영상 정보를 상기 연산 장치로 전송하기 위한 하나 이상의 인터페이스를 할당하는 단계를 더 포함할 수 있다.
또한, 본 발명은, 상기 드론과 상기 연산 장치간의 상기 네트워크를 모니터링하는 단계를 더 포함하고, 상기 네트워크 정보를 획득하는 단계는 상기 모니터링을 통해, 상기 드론과 상기 연산 장치간의 상기 네트워크 정보를 획득하는 단계를 포함할 수 있다.
또한, 본 발명에서, 상기 네트워크 정보는 상기 네트워크의 안전성 정보, 상기 네트워크를 통해서 데이터를 전송하는 경우 발생하는 지연을 나타내는 지연 정보, 상기 네트워크의 자원 정보 또는 상기 네트워크의 데이터 레이트 정보 중 적어도 하나를 포함할 수 있다.
또한, 본 발명에서, 상기 연산 능력 정보는 상기 연산 장치가 현재 처리하고 있는 데이터의 양 및 상기 연산 장치의 성능을 나타내는 성능 정보를 포함할 수 있다.
본 발명의 다른 실시예에 따른, 드론은, 영상을 촬영하기 위한 카메라; 상기 연산 장치와 통신하고, 상기 연산 장치로부터 상기 연산 장치의 영상처리 능력을 나타내는 연산 능력 정보 및 상기 드론과 상기 연산 장치간의 네트워크 상태를 나타내는 네트워크 정보를 획득하는 네트워크 통신 모듈; 및 상기 연산 능력 정보 및 상기 네트워크 상태 정보를 기초로, 상기 드론의 영상 처리 시간인 제 1 지연 시간 및 상기 연산 장치를 통한 영상 처리 시간인 제 2 지연 시간을 추정하고, 상기 추정된 제 1 지연 시간 및 제 2 지연 시간을 기초로, 상기 드론에 의해서 촬영된 상기 영상을 처리하기 위한 오프로딩(offloading) 수행 여부를 판단하는 지연 시간 예측 모듈을 포함할 수 있다.
또한, 본 발명에서, 판단 결과, 상기 연산 장치에서 상기 오프로딩 수행하는 경우, 상기 네트워크 통신 모듈을 통해, 상기 연산장치로 상기 카메라를 통해 촬영된 제 1 영상 정보를 전송하고, 상기 연산 장치로부터, 상기 전송된 제 1 영상 정보를 처리한 제 2 영상 정보를 수신하는 오프로딩 모듈을 더 포함할 수 있다.
또한, 본 발명에서, 상기 네트워크 통신 모듈은 상기 제 1 영상 정보를 TCP 송신을 통해 상기 연산 장치에 전송할 수 있다.
또한, 본 발명에서, 상기 오프로딩 모듈은 상기 제 1 영상 정보를 상기 연산 장치로 전송하기 위한 하나 이상의 인터페이스를 할당하는 네트워크 서비스 모듈을 포함할 수 있다.
또한, 본 발명에서, 상기 지연 시간 예측 모듈은 상기 드론과 상기 연산 장치간의 상기 네트워크를 모니터링하는 네트워크 모니터링 서비스 모듈을 포함할 수 있다.
또한, 본 발명에서, 상기 네트워크 정보는 상기 네트워크의 안전성 정보, 상기 네트워크를 통해서 데이터를 전송하는 경우 발생하는 지연을 나타내는 지연 정보, 상기 네트워크의 자원 정보 또는 상기 네트워크의 데이터 레이트 정보 중 적어도 하나를 포함할 수 있다.
또한, 본 발명에서, 상기 연산 능력 정보는 상기 연산 장치가 처리하고 있는 데이터의 양 및 상기 연산 장치의 성능을 나타내는 성능 정보를 포함할 수 있다.
본 발명의 실시 예에 따르면 무인 비행체에서 촬영된 영상 분석을 위해서는 많은 컴퓨팅 자원을 요구하기 때문에 무인 비행체와 같이 제한된 자원을 운용하는 단말에서는 원격 서버의 컴퓨팅 자원을 활용하여 분석 시간을 단축시킬 수 있다.
이를 위하여, 이동성이 높은 무인 비행체는 영상 전송 지연 시간 및 분석 시간의 예측을 통하여 전체 시스템에 유리한 선택을 할 수 있다. 본 발명은 무인 비행체에서 다중 인터페이스를 활용하는 영상 분석을 위한 오프로딩 결정을 진행한다.
이를 통하여 무인 비행체에서 영상 획득 후 분석을 완료할 때까지 소요되는 시간을 단축시킴으로써, 결과적으로 무인 비행체의 운용비용 감소와 빠른 영상 분석 결과를 얻을 수 있다.
본 명세서에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부 도면은 본 발명에 대한 실시 예를 제공하고, 상세한 설명과 함께 본 발명의 기술적 특징을 설명한다.
도 1은 본 명세서에서 제안하는 오프로딩을 통해 무인 비행체에서 촬영한 영상을 분석하기 위한 시스템의 일 예를 나타내는 도면이다.
도 2 및 도 3은 본 명세서에서 제안하는 무인 비행체에서 촬영한 영상을 분석하기 위한 모듈 및 회귀분석 기법의 일 예를 나타내는 도면이다.
도 4는 본 명세서에서 제안하는 무인 비행체가 오프로딩 여부를 결정하는 방법의 일 예를 나타내는 순서도이다.
도 5는 본 명세서에서 제안하는 무인 비행체가 오프로딩 시스템을 통해 영상 정보를 처리하는 방법의 일 예를 나타내는 순서도이다.
도 6은 본 명세서에서 제안하는 외부 연산 장치가 무인 비행체에서 촬영된 영상을 처리하는 방법의 일 예를 나타내는 순서도이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 본 명세서에서 무인 비행체의 일 예로 드론을 예로 들어 설명하도록 한다. 본 발명의 다양한 실시예에 따른 무인 비행체는 드론 이외에도 다양한 비행체가 포함될 수 있다.
또한, 본 명세서에서 드론이 촬영한 영상을 분석하기 위한 외부의 연산 장치는 서버, 제어 장치, 단말기, 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device) 등 다양한 장치일 수 있다.
그리고 연산 장치는 복수의 장치로 구성될 수도 있다. 예를 들면, 연산 장치는 복수의 서버, 컴퓨터 등으로 구성될 수도 있다.
연산 장치는 지상 제어 시스템(Ground Control System)이라고 칭할 수도 있다.
도 1은 본 명세서에서 제안하는 오프로딩을 통해 무인 비행체에서 촬영한 영상을 분석하기 위한 시스템의 일 예를 나타내는 도면이다.
도 1을 참조하면 드론(100)은 촬영한 영상을 외부의 연산 장치(200)로 전송하여 분석할 수 있다.
구체적으로, 드론(100)은 이동성이 높아 다양한 영상을 촬영하기 위해서 사용된다.
하지만, 드론(100)이 카메라를 통해서 촬영한 영상을 분석하기 위해서는 많은 컴퓨팅 자원을 요구하기 때문에 제한된 자원만을 사용할 수 있는 드론(100)은 촬영한 영상을 분석하기 위해서 많은 시간이 소요되거나 촬영한 영상을 제대로 분석할 수 없다.
따라서, 드론(100)은 촬영한 영상을 외부의 연산 장치(200)의 컴퓨팅 자원을 활용하여 분석함으로써, 분석 시간을 단축시킬 수 있다. 여기서 외부의 연산 장치(200)는 드론(100)이 아닌 다른 장치를 의미할 수 있고, 드론(100)과는 별개의 장치를 의미할 수 있다.
구체적으로, 드론(100)은 영상을 촬영한 뒤 촬영된 영상을 외부의 연산 장치(200)를 통한 오프로딩 방법을 통해 처리할지 여부를 결정한다.
만약, 연산 장치(200)를 통한 오프로딩 시스템을 통해 촬영된 영상을 처리하지 않는 경우, 드론(100)은 촬영한 영상을 직접 분석하고 처리할 수 있다.
하지만, 드론(100)이 연산 장치(200)를 통한 오프로딩 시스템을 통해 촬영된 영상을 처리하는 경우, 드론(100)은 촬영된 영상 정보를 연산 장치(200)로 전송하고, 연산 장치(200)로부터 분석이 완료된(또는, 처리된) 영상 정보를 수신할 수 있다.
이때, 드론(100)은 자신이 영상 정보를 처리하는데 소요되는 시간과(제 1 지연 시간)과 연산 장치(200)로 전송하여 처리하는데 소요되는 시간(제 2 지연 시간)을 비교하여 오프로딩 방법을 통해 영상 정보를 처리할지 여부를 결정할 수 있다.
이와 같은 방법을 통해서 드론(100)은 촬영한 영상을 외부의 연산 장치(200)로 전송하여 처리함으로써 영상 정보의 처리 시간을 단축 시킬 수 있다.
도 2 및 도 3은 본 명세서에서 제안하는 무인 비행체에서 촬영한 영상을 분석하기 위한 모듈 및 회귀분석 기법의 일 예를 나타내는 도면이다.
도 2 및 도 3을 참조하면, 드론(100)은 외부의 연산 장치(200)로 촬영된 영상 정보를 전송하여 분석하기 위해 오프로딩에 따른 지연 시간 예측 모듈(Response Time Prediction Module, 110), 오프로딩을 통한 영상 정보 분석시 연산 및 네트워크 서비스를 담당하는 오프로딩 모듈(Offloading Module, 120) 및 연산 장치(200)와 영상 정보 등과 같은 데이터를 송수신하기 위한 네트워크 통신 모듈(Network Communication Module, 130)로 구성될 수 있다.
지연 시간 예측 모듈(110)은 다중 네트워크 인터페이스를 통해서 드론으로부터 오프로딩을 수행하는 외부의 연산 장치(200)까지 제공받을 수 있는 네트워크의 지연시간 예측을 위한 기능 및 연산 장치(200)의 컴퓨팅 자원을 수집하는 기능을 수행할 수 있다.
예를 들면, 지연 시간 예측 모듈(110)은 드론(100)이 카메라 감시 응용 프로그램을 통해 드론의 카메라로 영상을 촬영하면 촬영된 영상의 영상 정보를 로컬 컴퓨팅(150)에서 처리할 때 소요되는 시간(제 1 지연 시간)을 추정할 수 있다.
또한, 지연 시간 예측 모듈(110)은 컴퓨팅 자원 모니터링 서비스 모듈(Computing Resource Monitoring Service Module, 114)을 포함할 수 있다.
컴퓨팅 자원 모니터링 서비스 모듈(114)은 연산 장치(200)가 영상 정보를 처리하기 위한 컴퓨팅 자원을 수집할 수 있다.
또한, 지연 시간 예측 모듈(110)은 드론(100)이 촬영된 영상의 영상 정보를 처리하는데 소요되는 시간(제 2 지연 시간)을 예측할 수 있으며, 영상 정보를 처리하는데 소요되는 시간을 예측하기 위해서 드론(100)의 영상 처리 성능을 예측하거나 확인하는 기능을 수행할 수 있다. 여기서 제 2 지연 시간은 연산 장치(200)에 의한 지연 시간뿐만 아니라, 드론(100)과 연산 장치(200) 간의 통신에 따른 네트워크 송수신에 의한 지연 시간을 포함할 수 있다. 따라서, 제 2 지연 시간은 네트워크 송수신에 의한 지연 시간 및 연산 장치(200)에 의한 지연 시간을 모두 반영한 시간일 수 있다.
드론(100)의 영상 처리 성능을 통한 영상 정보의 처리 시간 추정은 드론(100)이 현재 수행중인 태스크(task) 및 드론(100)의 연산 코어의 성능에 따라 다르게 추정될 수 있으며, 드론(100)이 운영되는 환경에 따라 처리 시간을 추정할 수 있다.
촬영된 영상의 영상 정보를 연산 장치(200)로 전송하여 처리할 때 소요되는 시간은 연산 장치(200)가 현재 수행하고 있는 태스크 및 연산 코어의 성능에 따라 추정될 수 있다.
오프로딩을 통해 영상 정보를 처리하는 경우 추가적으로 드론(100)이 영상 정보를 연산 장치(200)로 전송하기 때문에 네트워크에 따른 통신 지연 시간이 발생할 수 있다.
오프로딩 방법을 통해 영상 정보를 분석하는 경우, 발생할 수 있는 지연 시간은 컴퓨팅 실행 지연, I/O 액세스 지연, 및 네트워크로부터 발생하는 통신 지연이 존재할 수 있다.
이때, 오프로딩 방법을 통해 영상 정보를 처리하는데 소요되는 시간 E[T]는 아래의 수학식 1을 통해 계산될 수 있다.
[수학식 1]
Figure pat00001
수학식 1에서
Figure pat00002
는 컴퓨팅 실행 지연을 의미하고,
Figure pat00003
는 I/O 액세스 지연,
Figure pat00004
는 네트워크로부터 발생하는 통신 지연을 의미한다.
컴퓨팅 실행 지연인
Figure pat00005
은 아래의 수학식 2를 통해 계산될 수 있다.
[수학식 2]
Figure pat00006
컴퓨팅 실행 지연은 작업량과 컴퓨팅 성능의 총량에 따라 달라질 수 있다.
수학식 2에서
Figure pat00007
는 카메라 감시 응용 프로그램에 의해 요구되는 이미지의 크기를 나타내고, N은 영상 정보의 분석을 위한 총 작업의 수를 나타낸다.
이때,
Figure pat00008
는 이미지 해상도 및 압축률에 따라 다양한 값을 가질 수 있다.
Figure pat00009
은 단일 CPU 리소스를 완전히 활용할 수 있는 경우, 1 바이트를 계산하는 시간을 나타낸다.
현재 이용 가능한 컴퓨팅 성능을 나타내는
Figure pat00010
은 드론(100)에서 실행되는 비행 관리 소프트웨어를 제외한 유휴 컴퓨팅 성능을 나타낸다.
드론(100)이 순차적인 작업을 요청할 때 단일 코어만이 이미지 분석에 사용될 수 있기 때문에 드론이 CPU에 대해 다중 코어를 가지고 있음에도 불구하고
Figure pat00011
의 최대는 100%이다.
하지만, 무인 항공기가 동시에 여러 작업을 요청하는 경우, 수학식 2에서와 같이
Figure pat00012
의 값은 각 CPU 코어의 유휴 값의 합일 수 있다.
I/O 액세스 지연인
Figure pat00013
는 아래 수학식 3을 통해서 계산될 수 있다.
[수학식 3]
Figure pat00014
수학식 3에서
Figure pat00015
은 영상 정보(또는 이미지)의 1 바이트를 액세스 할 때 소요되는 시간을 나타낸다.
네트워크로부터 발생하는 통신 지연
Figure pat00016
은 아래의 수학식 4를 통해 계산될 수 있다.
[수학식 4]
Figure pat00017
수학식 4에서 BW는 드론(100)과 연산 장치(200)간의 통신 대역폭을 나타내고, η는 이미지 처리의 압축 비율을 의미한다.
따라서, 수학식 4에서 (1 + η)은 드론(100)에서 연산 장치(200)로의 원시 데이터와 연산 장치(200)에서 무인 항공기로 압축 된 결과의 합계를 나타낸다. 이때, η은 0부터 1까지의 값을 가질 수 있다.
수학식 1 내지 수학식 4를 통해서 드론(100)과 연산 장치(200)가 영상 정보를 처리하여 응답하는데 까지 소요되는 시간은 아래의 수학식 5 및 6과 같이 다시 쓰여질 수 있다.
[수학식 5]
Figure pat00018
[수학식 6]
Figure pat00019
도 3은 바이트 당 영상 정보를 처리하기 위한 작업 응답 시간의 일 예를 나타낸다. 도 3에서 X 축은 반복되는 샘플 작업 수 (
Figure pat00020
)를 나타낸다. 도 3의 선형 회귀 직선은 아래 수학식 7과 같다.
[수학식 7]
Figure pat00021
수학식 7의 선형 회귀 직선의 기울기는
Figure pat00022
이고 Y 절편은
Figure pat00023
이다.
지연 시간 예측 모듈(110)의 의사 결정 엔진(112)은 수학식 5 및 6에 의해 계산된 값에 따라 오프로딩 시스템을 통해 분석할지 여부를 결정할 수 있다.
네트워크 모니터링 서비스 모듈(Network Monitoring Service Module, 116)은 다중 인터페이스를 통해서 제공되는 네트워크의 연결 안정성, 지연 시간, 네트워크의 데이터 처리량 및 사용 가능한 네트워크 자원의 정보와 같은 네트워크 정보를 지속적으로 모니터링 할 수 있으며, 네트워크 정보를 통해서 네트워크에 따른 통신 지연 시간을 추정할 수 있다.
지연 시간 예측 모듈(110)은 의사 결정 엔진(Decision Engine, 112)을 통해서 제 1 지연 시간 및 제 2 지연 시간을 비교하여 촬영된 영상 정보를 연산 장치(200)로 전송하여 오프로딩 시스템을 통해 분석할지 여부를 결정할 수 있다.
지연 시간 예측 모듈(110)은 제 1 지연 시간이 제 2 지연 시간보다 짧은 경우, 영상 정보를 직접 분석하여 처리하도록 할 수 있다. 예를 들면, 드론(100)의 로컬 컴퓨팅(150)에서 영상 정보를 처리할 수 있다. 여기서 로컬 컴퓨팅(150)은 드론(100)의 일 구성일 수 있고, 드론(100)에 포함된 복수의 구성 또는 자원을 의미할 수도 있다.
지연 시간 예측 모듈(110)은 제 1 지연 시간이 제 2 지연 시간보다 긴 경우, 영상 정보를 연산 장치(200)로 전송하여 분석할 수 있다.
이를 위해 지연 시간 예측 모듈(110)은 오프로딩을 위한 연산 능력 정보를 수집하고, 연산 장치(200)의 영상 정보 처리 능력을 나타내는 연산 능력 정보를 획득할 수 있으며, 드론(100)과 연산 장치(200)간의 네트워크 상태를 나타내는 네트워크 정보를 획득할 수 있다.
또한, 지연 시간 예측 모듈(110)은 획득된 정보들에 기초하여 영상 정보를 연산 장치(200)로 전송하여 처리할 지 여부를 결정할 수 있다.
이후, 연산 장치(200)로 영상 정보를 전송하여 오프로딩 방법을 통해서 분석하는 경우, 오프로딩 모듈(120)은 연산 장치(200)의 태스크를 관리하는 관리 서비스(Management Service) 기능 및 네트워크 서비스(Network Service) 기능을 수행할 수 있다. 예를 들면, 오프로딩 모듈(120)은 관리 서비스 모듈(122) 및 네트워크 서비스 모듈(124)를 포함할 수 있다.
관리 서비스 모듈(122)은 연산 장치(200)를 통한 연산이 필요한 태스크 및 연산이 종료된 태스크를 관리하며, 드론(100) 및 연산 장치(200)간의 태스크 이동을 관리할 수 있다.
즉, 관리 서비스 모듈(122)은 연산 장치(200)를 통해 분석 또는 처리될 영상 정보(또는 데이터)들 및 연산 장치(200)에 의해서 분석 또는 처리가 완료된 영상 정보(또는 데이터)들 및 이러한 정보들의 이동을 관리할 수 있다.
관리 서비스 모듈(122)에 의해서 관리되는 태스크들은 다중 경로 기반의 TCP 송신을 통해서 전송될 수 있다.
또한, 관리 서비스 모듈(122)은 복수의 연산 장치(200)와의 연결 관리를 지원할 수 있으며 연산을 관리할 수 있다.
즉, 관리 서비스 모듈(122)은 컴퓨팅 대상 태스크를 관리하고, 컴퓨팅이 필요한 태스크를 송신하며, 컴퓨팅이 종료된 태스크를 수신할 수 있다.
네트워크 서비스 모듈(124)은 다중 경로 기반의 TCP를 활용하여 네트워크 안정성 및 지연 시간을 제공할 수 있다.
각 인터페이스에서 제공되는 안정성은 해당 무선 인터페이스의 신호 세기 및 드론(100)의 이동 방향성에 기초하여 오프로딩을 통해 영상 정보를 분석하는 경우, 드론(100)과 연산 장치(200)간의 네트워크 단절 가능성을 예측하여 안정적인 네트워크 제공가능 여부를 판단할 수 있다.
또한, 각 인터페이스 별로 제공 되는 처리량을 활용하여 최소 지연 시간을 제공할 수 있도록 LowRTT(Lowest Round Trip Time) 및 LIA(Linked Increase Algorithm) 기반의 적응적 다중 인터페이스 전송을 위한 데이터 트래픽을 할당할 수 있다.
이때, 각 인터페이스별로 재 접속을 위한 오버헤드는 달라질 수 있으며, 이동 통신망(Cellular Network) 및 무선 랜(WLAN) 등의 이 기종 기술이 복합적으로 사용될 수 있다.
즉, 네트워크 서비스 모듈(124)은 네트워크 환경을 모니터링 하고, 트래픽 전송 지연시간을 최소화하기 위한 하나 이상의 인터페이스를 할당할 수 있다.
연산 장치(200)는 원격 작업 실행 모듈(Remote Task Execution Module, 210) 및 드론(100)과 영상 정보 등과 같은 데이터를 송수신하기 위한 네트워크 통신 모듈(230)로 구성될 수 있다.
연산 장치(200)는 드론(100)에게 오프로딩 방법을 통한 영상 처리 여부의 결정을 위한 컴퓨팅 자원 정보(예를 들면, 현재 수행중인 태스크 정보 및 연산 코어의 성능을 나타내는 성능 정보) 등을 컴퓨팅 자원 모니터링 서비스 모듈 (Computing Resource Monitoring Service Module, 212)을 통해 주기적으로 전송할 수 있다.
컴퓨팅 자원 정보는 다중 경로 기반의 TCP 세션 관리 메시지와 통합하여 전달될 수 있으며, TCP 세션 관리 메시지와 통합되어 전송되기 때문에 추가적인 패킷 오버헤드가 감소될 수 있다.
즉, 컴퓨팅 자원 모니터링 서비스는 연산 능력 정보를 수집하고, 수집한 정보를 드론(100)에게 전송할 수 있다.
컴퓨팅 서비스(Computing Service) 모듈(214)은 실질적으로 컴퓨팅을 수행하며, 요구되는 우선순위에 따라 영상 정보의 분석(또는 연산)의 우선순위를 조정할 수 있다.
또한, 컴퓨팅 서비스 모듈(214)은 드론(100)의 관리 서비스 모듈(122)과 연동하여 동작할 수 있다.
즉 컴퓨팅 서비스 모듈(214)은 컴퓨팅 대상 태스크인 영상 정보를 드론(100)으로부터 수신하고, 우선 순위에 따라 영상 정보의 분석을 위한 컴퓨팅 스케줄을 조정하며, 컴퓨팅이 종료된 영상정보를 드론(100)에게 전송할 수 있다.
네트워크 서비스 모듈(216)은 다중 경로 기반의 TCP를 활용하여 네트워크 서비스를 제공할 수 있다.
즉, 네트워크 서비스 모듈(216)은 드론(100)의 네트워크 서비스 모듈(124)과 마찬가지로 네트워크 환경을 모니터링하고, 트래픽 전송 지연시간을 최소화하기 위한 하나 이상의 인터페이스를 할당할 수 있다.
본 발명의 또 다른 실시 예로 드론(100)은 자신의 영상 정보 처리 시간보다 짧은 처리 시간을 갖는 연산 장치가 복수 개 존재하는 경우, 복수 개의 연산 장치들 중에 하나를 선택하여 선택된 연산 장치를 통해서 영상 정보를 분석할 수 있다.
예를 들면, 드론(100)은 복수 개의 연산 장치들 중에서 영상 정보의 분석이 가장 빠른 연산 장치를 선택하여 영상 정보를 오프로딩 방식을 통해서 처리하거나, 영상 정보를 처리하는 능력이 가장 좋은 연산 장치를 선택하여 영상 정보를 오프로딩 방식을 통해서 처리할 수 있다.
또는, 드론(100)은 복수의 연산 장치들 중에서 현재 처리하는 태스크가 가장 없는 연산 장치 또는 네트워크 상태가 가장 좋은 연산 장치를 선택하여 영상 정보를 오프로딩 방법을 통해서 분석할 수 있다.
이와 같은 방법을 통해서 드론(100)은 자신의 컴퓨팅 자원이 제한되더라도 외부의 연산 장치를 통해서 영상 정보를 분석함으로써 영상 정보의 분석 시간을 단축시킬 수 있다.
도 4는 본 명세서에서 제안하는 무인 비행체가 오프로딩 여부를 결정하는 방법의 일 예를 나타내는 순서도이다.
도 4를 참조하면, 드론은 연산 장치의 영상 정보 처리 시간과 자신의 영상 정보 처리 시간을 비교하여 오프로딩 방식을 통해 영상 정보를 분석할지 여부를 결정할 수 있다.
구체적으로, 드론은 연산 장치로부터 연산 장치의 연산 능력 정보 및 네트워크 상태를 나타내는 네트워크 정보를 획득한다(S410). 이때, 연산 능력 정보 및 네트워크 상태 정보는 도 2 및 도 3에서 설명한 정보와 동일한 정보를 포함할 수 있다.
이후, 드론은 드론이 영상 정보를 처리하는데 소요되는 시간(제 1 지연 시간)을 계산하여 추정하고, 연산 장치로부터 수신한 연산 능력 정보 및 네트워크에 기초하여 연산 장치가 영상 정보를 처리하는데 소요되는 시간(제 2 지연 시간)을 계산하여 추정할 수 있다(S420).
이때, 제 1 지연 시간은 수학식 5를 통해 계산되어 추정될 수 있으며, 제 2 지연 시간은 수학식 6을 통해 계산되어 추정될 수 있다.
이후, 드론은 계산된 제 1 지연 시간과 제 2 지연 시간을 비교하여 영상 정보를 연산 장치로 전송하여 오프로딩 방법을 통해 분석할지 여부를 결정할 수 있다(S430).
즉, 드론은 제 1 지연 시간이 제 2 지연 시간보다 긴 경우, 영상 정보를 연산 장치로 전송하여 오프로딩 방법을 통해 분석할 수 있다.
이 경우, 제 2 지연 시간이 제 1 지연 시간보다 짧은 연산 장치가 복수 개 존재하면 드론은 도 2 및 도 3에서 설명한 방식을 통해 연산 장치를 선택하여 오프로딩 방법을 통해 영상 정보를 분석할 수 있다.
하지만, 드론은 제 1 지연 시간이 제 2 지연 시간보다 짧은 경우, 직접 영상 정보를 처리하거나, 제 1 지연 시간보다 짧은 영상 정보 처리 시간을 갖는 연산 장치를 탐색하여 오프로딩 방법을 통해 영상 정보를 분석할 수 있다.
도 5는 본 명세서에서 제안하는 무인 비행체가 오프로딩 시스템을 통해 영상 정보를 처리하는 방법의 일 예를 나타내는 순서도이다.
도 5를 참조하면, 드론은 도 4를 통해 연산 장치로 영상 정보를 전송하여 오프로딩 방법을 통해 영상 정보를 분석하는 경우, 영상 정보를 연산 장치로 전송하여 처리할 수 있다.
구체적으로, 도 4에서 설명한 방법을 통해서 오프로드 방법을 통해 영상 정보를 분석하기로 결정한 드론은 도 2 및 3에서 설명한 바와 같이 컴퓨팅 대상 태스크들을 관리할 수 있다(S510).
즉, 연산 장치를 통해 분석 또는 처리될 영상 정보(또는 데이터)들 및 연산 장치(200)에 의해서 분석 또는 처리가 완료된 영상 정보(또는 데이터)들 및 이러한 정보들의 이동을 관리한다.
이후, 드론은 연산 장치를 통해 처리될 영상 정보의 전송을 위해 인터페이스를 할당한다(S520).
이때, 할당되는 인터페이스는 다중 경로 기반의 TCP 송신을 위한 인터페이스일 수 있다.
이후, 드론은 연산 장치와 오프로딩을 수행하여 영상 정보를 처리할 수 있다(S530).
즉, 드론은 분석이 필요한 영상 정보를 할당된 인터페이스를 통해 연산 장치로 전송하고, 연산 장치를 통해서 분석이 완료된 영상 정보를 연산 장치로부터 수신할 수 있다.
도 6은 본 명세서에서 제안하는 외부 연산 장치가 무인 비행체에서 촬영된 영상을 처리하는 방법의 일 예를 나타내는 순서도이다.
도 6을 참조하면, 연산 장치는 드론으로부터 촬영된 영상을 수신하고, 수신된 영상 정보를 분석하여 처리한 뒤, 처리된 영상 정보를 드론에게 전송할 수 있다.
구체적으로, 연산 장치는 도 2 및 3에서 설명한 바와 같이 드론이 오프로딩 방법을 통해 영상 정보의 처리 여부를 결정하기 위한 연산 장치의 영상 처리 능력을 나타내는 연산 능력 정보를 수집하고, 수집된 연산 능력 정보를 드론에게 전송한다(S610).
이후, 오프로딩 방법을 통한 영상 정보의 처리가 결정되면 연산 장치는 드론으로부터 분석이 필요한 영상 정보를 할당된 인터페이스를 통해 수신한다(S620).
연산 장치는 수신된 영상 정보의 우선 순위에 따라 영상 정보의 컴퓨팅 스케줄을 조정할 수 있다(S630).
이때, 영상 정보의 우선 순위는 드론 또는 연산 장치에 의해서 결정될 수 있으며, 영상 정보의 크기, 영상 정보를 통해서 제공되는 서비스의 종류, 영상 정보의 타입, 해상도 또는 처리 소요 시간 중 적어도 하나에 의해서 결정될 수 있다.
이후, 연산 장치는 조정된 스케줄에 따라 영상 정보를 분석하여 처리하고, 처리된 영상 정보를 드론에게 전송할 수 있다(S640).
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
나아가, 설명의 편의를 위하여 각 도면을 나누어 설명하였으나, 각 도면에 서술되어 있는 실시 예들을 병합하여 새로운 실시 예를 구현하도록 설계하는 것도 가능하다.
또한, 전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등을 포함한다. 또한, 상기 컴퓨터는 장치의 적어도 하나의 구성을 포함할 수도 있고, 장치의 적어도 하나의 구성에 포함될 수도 있다. 예를 들면, 상기 컴퓨터는 드론(100)에 포함된 지연 시간 예측 모듈(110), 오프로딩 모듈(120), 네트워크 통신 모듈(130) 및 로컬 컴퓨팅(150) 중 적어도 하나를 포함할 수 있고, 상기 컴퓨터가 드론(100)에 포함된 지연 시간 예측 모듈(110), 오프로딩 모듈(120), 네트워크 통신 모듈(130) 및 로컬 컴퓨팅(150) 중 적어도 하나에 포함될 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
100: 드론 200: 연산 장치
110: 지연 시간 예측 모듈 210: 원격 작업 실행 모듈
120: 오프로딩 모듈 220: 네트워크 통신 모듈
130: 네트워크 통신 모듈

Claims (14)

  1. 연산 장치를 통한 드론의 영상처리 방법에 있어서,
    상기 연산 장치의 영상처리 능력을 나타내는 연산 능력 정보 및 상기 드론과 상기 연산 장치간의 네트워크 상태를 나타내는 네트워크 정보를 획득하는 단계;
    상기 연산 능력 정보 및 상기 네트워크 정보를 기초로, 상기 드론의 영상 처리 시간인 제 1 지연 시간 및 상기 연산 장치를 통한 영상 처리 시간인 제 2 지연 시간을 추정하는 단계; 및
    상기 추정된 제 1 지연 시간과 상기 제 2 지연 시간을 기초로, 상기 드론에 의해서 촬영된 영상을 처리하기 위한 오프로딩(offloading) 수행 여부를 판단하는 단계를 포함하는
    드론의 영상처리 방법.
  2. 제 1 항에 있어서,
    판단 결과, 상기 연산 장치에서 상기 오프로딩 수행하는 경우, 상기 연산 장치로 촬영된 제 1 영상 정보를 전송하는 단계; 및
    상기 연산 장치로부터, 상기 전송된 제 1 영상 정보를 처리한 제 2 영상 정보를 수신하는 단계를 더 포함하는
    드론의 영상처리 방법.
  3. 제 2 항에 있어서,
    상기 제 1 영상 정보는 TCP 송신을 통해서 상기 연산 장치로 송신되는
    드론의 영상처리 방법.
  4. 제 2 항에 있어서,
    상기 제 1 영상 정보를 상기 연산 장치로 전송하기 위한 하나 이상의 인터페이스를 할당하는 단계를 더 포함하는
    드론의 영상처리 방법.
  5. 제 1 항에 있어서,
    상기 드론과 상기 연산 장치간의 상기 네트워크를 모니터링하는 단계를 더 포함하고,
    상기 네트워크 정보를 획득하는 단계는
    상기 모니터링을 통해, 상기 드론과 상기 연산 장치간의 상기 네트워크 정보를 획득하는 단계를 포함하는
    드론의 영상처리 방법.
  6. 제 1 항에 있어서,
    상기 네트워크 정보는
    상기 네트워크의 안전성 정보, 상기 네트워크를 통해서 데이터를 전송하는 경우 발생하는 지연을 나타내는 지연 정보, 상기 네트워크의 자원 정보 또는 상기 네트워크의 데이터 레이트 정보 중 적어도 하나를 포함하는
    드론의 영상처리 방법.
  7. 제 1 항에 있어서,
    상기 연산 능력 정보는
    상기 연산 장치가 처리하고 있는 데이터의 양 및 상기 연산 장치의 성능을 나타내는 성능 정보를 포함하는
    드론의 영상처리 방법.
  8. 연산 장치를 통해 영상을 처리하도록 오프로딩을 수행하는 드론에 있어서,
    영상을 촬영하기 위한 카메라;
    상기 연산 장치와 통신하고, 상기 연산 장치로부터 상기 연산 장치의 영상처리 능력을 나타내는 연산 능력 정보 및 상기 드론과 상기 연산 장치간의 네트워크 상태를 나타내는 네트워크 정보를 획득하는 네트워크 통신 모듈; 및
    상기 연산 능력 정보 및 상기 네트워크 상태 정보를 기초로, 상기 드론의 영상 처리 시간인 제 1 지연 시간 및 상기 연산 장치를 통한 영상 처리 시간인 제 2 지연 시간을 추정하고, 상기 추정된 제 1 지연 시간 및 제 2 지연 시간을 기초로, 상기 드론에 의해서 촬영된 상기 영상을 처리하기 위한 오프로딩(offloading) 수행 여부를 판단하는 지연 시간 예측 모듈을 포함하는
    드론.
  9. 제 8 항에 있어서,
    판단 결과, 상기 연산 장치에서 상기 오프로딩 수행하는 경우, 상기 네트워크 통신 모듈을 통해, 상기 연산장치로 상기 카메라를 통해 촬영된 제 1 영상 정보를 전송하고, 상기 연산 장치로부터, 상기 전송된 제 1 영상 정보를 처리한 제 2 영상 정보를 수신하는 오프로딩 모듈을 더 포함하는
    드론.
  10. 제 9 항에 있어서,
    상기 네트워크 통신 모듈은
    상기 제 1 영상 정보를 TCP 송신을 통해 상기 연산 장치에 전송하는
    드론.
  11. 제 9 항에 있어서,
    상기 오프로딩 모듈은
    상기 제 1 영상 정보를 상기 연산 장치로 전송하기 위한 하나 이상의 인터페이스를 할당하는 네트워크 서비스 모듈을 포함하는
    드론.
  12. 제 8 항에 있어서,
    상기 지연 시간 예측 모듈은
    상기 드론과 상기 연산 장치간의 상기 네트워크를 모니터링하는 네트워크 모니터링 서비스 모듈을 포함하는
    드론.
  13. 제 8 항에 있어서,
    상기 네트워크 정보는
    상기 네트워크의 안전성 정보, 상기 네트워크를 통해서 데이터를 전송하는 경우 발생하는 지연을 나타내는 지연 정보, 상기 네트워크의 자원 정보 또는 상기 네트워크의 데이터 레이트 정보 중 적어도 하나를 포함하는
    드론.
  14. 제 8 항에 있어서,
    상기 연산 능력 정보는
    상기 연산 장치가 처리하고 있는 데이터의 양 및 상기 연산 장치의 성능을 나타내는 성능 정보를 포함하는
    드론.
KR1020180094348A 2017-09-14 2018-08-13 오프로딩 시스템을 통해 무인 비행체의 영상을 분석하기 위한 방법 및 장치 KR20190030589A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20170118012 2017-09-14
KR1020170118012 2017-09-14

Publications (1)

Publication Number Publication Date
KR20190030589A true KR20190030589A (ko) 2019-03-22

Family

ID=65949371

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180094348A KR20190030589A (ko) 2017-09-14 2018-08-13 오프로딩 시스템을 통해 무인 비행체의 영상을 분석하기 위한 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20190030589A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110429973A (zh) * 2019-08-05 2019-11-08 西北工业大学 一种无人机与地面基站协同计算卸载及优化方法
CN110650497A (zh) * 2019-09-29 2020-01-03 北京邮电大学 任务卸载、状态更新方法、装置、系统及相关设备
JP2021072091A (ja) * 2019-10-30 2021-05-06 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 計算負荷分散方法、計算負荷分散装置、可動物体、データ処理方法、データ処理装置、およびプログラム
WO2022164001A1 (ko) * 2021-02-01 2022-08-04 고려대학교 산학협력단 딥러닝 기반의 초해상화 이미지 처리 시스템과 방법 및 이를 위한 컴퓨터 프로그램

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110429973A (zh) * 2019-08-05 2019-11-08 西北工业大学 一种无人机与地面基站协同计算卸载及优化方法
CN110429973B (zh) * 2019-08-05 2022-02-08 西北工业大学 一种无人机与地面基站协同计算卸载及优化方法
CN110650497A (zh) * 2019-09-29 2020-01-03 北京邮电大学 任务卸载、状态更新方法、装置、系统及相关设备
CN110650497B (zh) * 2019-09-29 2020-12-18 北京邮电大学 任务卸载、状态更新方法、装置、系统及相关设备
JP2021072091A (ja) * 2019-10-30 2021-05-06 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 計算負荷分散方法、計算負荷分散装置、可動物体、データ処理方法、データ処理装置、およびプログラム
WO2022164001A1 (ko) * 2021-02-01 2022-08-04 고려대학교 산학협력단 딥러닝 기반의 초해상화 이미지 처리 시스템과 방법 및 이를 위한 컴퓨터 프로그램

Similar Documents

Publication Publication Date Title
KR20190030589A (ko) 오프로딩 시스템을 통해 무인 비행체의 영상을 분석하기 위한 방법 및 장치
US10298969B2 (en) Architecture and method for high performance on demand video transcoding
EP3552351B1 (en) Method and migration managing module for managing a migration of a service
US11108993B2 (en) Predictive network management for real-time video with varying video and network conditions
JP2021518602A (ja) 優先順位付けされた変換に基づいて動的点群を最適化するためのシステムおよび方法
WO2019245327A1 (en) Machine learning based packet service classification methods for experience-centric cellular scheduling
EP3586496B1 (en) System and method for load balancing video capturing tasks
US9197566B2 (en) Information processing method, recording medium, and information processing apparatus
WO2021023042A1 (zh) 边缘计算服务器的寻找方法及相关设备
KR102304477B1 (ko) 지능형 영상 보안을 위한 적응적 컨텍스트 공유 및 엣지 서버간 자율협업 시스템
US9942553B2 (en) Communication system, method and program
CN110391989B (zh) 一种进行数据传输的方法和装置
KR20170071381A (ko) 멀티-에이전트 기반 코드 오프로딩을 수행하는 모바일 포그 컴퓨팅 시스템 및 그 방법
WO2017054883A1 (en) Analytics driven wireless device session context handover in operator cloud
CN110611831B (zh) 一种视频传输方法及装置
Kacianka et al. Adaptive video streaming for UAV networks
US11678290B2 (en) Wireless connection monitoring, classification, and priority
KR102350195B1 (ko) 모바일 엣지 컴퓨팅을 활용하는 모바일 증강현실 서비스의 모바일 단말 에너지 최적화 방법 및 시스템
US10861306B2 (en) Method and apparatus for video surveillance
US10681398B1 (en) Video encoding based on viewer feedback
WO2015044104A1 (en) Video traffic management
US8629907B2 (en) Data acquisition system and transmission control device
Cao et al. Video processing on the edge for multimedia IoT systems
CN113271228B (zh) 带宽资源调度方法、装置、设备及计算机可读存储介质
CN113783963A (zh) 数据传输方法、服务器节点、网关设备、网络系统

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X601 Decision of rejection after re-examination