KR20220111111A - 딥러닝 기반의 초해상화 이미지 처리 시스템과 방법 및 이를 위한 컴퓨터 프로그램 - Google Patents

Abstract

딥러닝(deep learning) 기반의 초해상화(super-resolution) 이미지 처리 시스템은, 무인 비행체에 의해 촬영된 이미지를 입력받고, 이미지 데이터를 송신 큐(queue)에 할당하여 송신하도록 구성된 무인 비행체 시스템; 및 각각 수신 큐를 갖는 하나 이상의 송수신기를 포함하며, 상기 하나 이상의 송수신기를 통하여 상기 무인 비행체 시스템으로부터 상기 이미지 데이터를 수신하고, 초해상화 모델에 기초한 딥러닝 연산을 통하여 상기 이미지 데이터에 상응하는 초해상화 이미지를 생성하도록 구성된 모바일 엣지 컴퓨팅(Mobile Edge Computing; MEC) 센터를 포함할 수 있다. 상기 무인 비행체 시스템은 상기 송신 큐와 상기 수신 큐의 데이터량 차이에 기초하여 상기 이미지 데이터를 전송할 상기 송수신기를 결정할 수 있다. 또한, 상기 MEC 센터는, 상기 이미지 데이터에 초해상화 모델을 적용하였을 때의 품질 평가값 및 상기 수신 큐의 큐 안정성값을 이용하여 리아푸노프 최적화(Lyapunov optimization)에 의해 정의되는 시간 평균 초해상화 성능이 최대화되도록 상기 이미지 데이터에 적용할 초해상화 모델을 결정할 수 있다.

Description

딥러닝 기반의 초해상화 이미지 처리 시스템과 방법 및 이를 위한 컴퓨터 프로그램{SYSTEM AND METHOD FOR PROCESSING SUPER-RESOLUTION IMAGES BASED ON DEEP LEARNING AND COMPUTER PROGRAM FOR THE SAME}

실시예들은 딥러닝(deep learning) 기반의 초해상화(super-resolution) 이미지 처리 시스템과 방법 및 이를 위한 컴퓨터 프로그램에 대한 것이다. 보다 자세하게는, 실시예들은 스마트 항구 환경 등에서 드론의 영상 데이터에 초해상화 기술을 적용하여 감시, 검출 등을 수행함에 있어서, 다수의 드론과 모바일 엣지 컴퓨팅(Multi-Access Edge Computing; MEC) 센터의 할당 방법 및 MEC 센터의 큐(queue) 안정성과 처리 성능을 최적화하는 딥러닝 모델을 선택함으로써 적응형이고 안정화된 이미지 복원을 구현하는 기술에 대한 것이다.

대규모 스마트 물류 시스템을 운영하고 유지하기 위해서는 많은 폐쇄회로TV(Closed-circuit Television; CCTV) 카메라를 배치해야 하고 CCTV 카메라를 통해 수집된 데이터를 중앙 집중식 모니터링 센터로 전달해야 하므로 모니터링 및 감시에 상당한 비용이 소요된다. 따라서, CCTV 시스템의 구축에 있어서는 데이터의 흐름을 최적화하는 것이 매우 중요한 문제로 여겨진다.

CCTV 카메라의 배치 문제를 효율적으로 처리하기 위한 방법에는, 간단하게는 무인 비행체, 즉, 드론을 이용하는 방법이 있다. 비행 드론에 감시 목적으로 CCTV 카메라를 장착할 경우, 비행체의 특성상 유연하고 쉽게 위치를 결정할 수 있어 대규모 스마트 물류 시스템에서 획기적인 방식의 모니터링이 가능하다.

드론 기반의 감시 체계를 실현하려면 모든 드론과 관련 구성 요소가 항상 연결되어 있어야 하므로 사물 인터넷(Internet of Things; IoT) 기술이 필수적이다. 또한, 드론에 탑재된 CCTV 카메라는 주변 환경을 기록하고 이를 이미지 또는 비디오 스트림을 통해 5G 밀리미터파(mmWave) 채널 또는 LTE와 같은 무선 액세스 매체를 통해 지상에 있는 스테이션인 모바일 엣지 컴퓨팅(Multi-Access Edge Computing; MEC) 센터로 전송한다.

그러나, 드론은 높은 이동성으로 인해 위치가 동적으로 업데이트되기 때문에, 공중에 있는 드론과 지면에 있는 MEC 센터간의 무선 연결은 항상 비디오 신호를 전달하기에는 전송 품질이 충분히 안정적이지 않다. 따라서 전송 품질 측면에서 무선 전송을 더 빠르고 안전하게 할 수 있도록 드론이 이미지와 비디오 스트림을 먼저 압축한 다음 무선 채널을 통해 전송하고, 압축을 통해 일정량의 이미지 및 비디오의 품질이 손실되지만 MEC 센터에서 초해상화(super-resolution) 알고리즘을 사용하여 이미지 및 비디오 품질을 복원하는 방법이 사용된다.

그러나, 위와 같은 종래의 방법은 한 번 정해진 초해상도 모델을 시스템 운영 내내 사용하는 정적인 방식의 단일 초해상화 프레임워크 방식를 이용하는 것이므로, 드론으로부터 전달받는 실시간으로 변화하는 이미지 및 비디오 스트림의 도착을 제어할 수 없는 문제가 있다.

공개특허공보 제10-2019-0105539호

본 발명의 일 측면에 따르면, 스마트 항구 환경 등에서 드론의 영상 데이터에 초해상화(super-resolution) 기술을 적용하여 감시, 검출 등을 수행함에 있어서, 시간적 지연에 따라 여러 초해상화(super-resolution) 모델 중에서 적절한 모델을 선택하여 초해상화 딥러닝(deep learning) 프레임워크를 완전히 활용할 수 있는, 딥러닝 기반의 초해상화 이미지 처리 시스템과 방법 및 이를 위한 컴퓨터 프로그램을 제공할 수 있다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

본 발명의 일 측면에 따른 딥러닝(deep learning) 기반의 초해상화(super-resolution) 이미지 처리 시스템은, 무인 비행체에 의해 촬영된 이미지를 입력받고, 이미지 데이터를 송신 큐(queue)에 할당하여 송신하도록 구성된 무인 비행체 시스템; 및 각각 수신 큐를 갖는 하나 이상의 송수신기를 포함하며, 상기 하나 이상의 송수신기를 통하여 상기 무인 비행체 시스템으로부터 상기 이미지 데이터를 수신하고, 초해상화 모델에 기초한 딥러닝 연산을 통하여 상기 이미지 데이터에 상응하는 초해상화 이미지를 생성하도록 구성된 모바일 엣지 컴퓨팅(Mobile Edge Computing; MEC) 센터를 포함한다. 상기 무인 비행체 시스템은 상기 송신 큐와 상기 수신 큐의 데이터량 차이에 기초하여 상기 이미지 데이터를 전송할 상기 송수신기를 결정하도록 더 구성된다.

일 실시예에서, 상기 무인 비행체 시스템은, 촬영 수단으로부터 상기 이미지를 입력받도록 구성된 입력부; 및 상기 송신 큐를 포함하며, 상기 송신 큐의 대기열에 있는 데이터량과 상기 수신 큐의 대기열에 있는 데이터량의 차이를 가중치로 이용한 스케줄링(scheduling)에 의해 상기 이미지 데이터를 전송할 상기 송수신기를 결정하도록 구성된 송신부를 포함한다.

일 실시예에서, 상기 무인 비행체 시스템은, 상기 입력부에 입력된 상기 이미지에 대한 계층화를 통하여 상기 송신 큐에 할당되기 위한 상기 이미지 데이터를 생성하도록 구성된 계층화부를 더 포함한다.

일 실시예에서, 상기 모바일 엣지 컴퓨팅 센터는, 상기 수신 큐의 여유 공간에 기초하여 상기 수신 큐를 통해 수신된 상기 이미지 데이터에 적용할 초해상화 모델을 결정하고, 결정된 초해상화 모델을 이용하여 상기 초해상화 이미지를 생성하도록 구성된 초해상화 모듈을 포함한다.

일 실시예에서, 상기 초해상화 모듈은, 처리 속도 및 처리 품질 중 하나 이상이 상이한 복수 개의 초해상화 모델을 저장하도록 구성된 저장부; 및 싱기 이미지 데이터에 대한 시간 평균 초해상화 성능을 최대화하도록 상기 복수 개의 초해상화 모델 중 상기 이미지 데이터에 적용할 초해상화 모델을 결정하도록 구성된 제어부를 포함한다.

일 실시예에서, 상기 제어부는, 상기 이미지 데이터에 초해상화 모델을 적용하였을 때의 품질 평가값 및 상기 수신 큐의 큐 안정성값을 이용하여 리아푸노프 최적화(Lyapunov optimization)에 의해 정의되는 시간 평균 초해상화 성능이 최대화되도록 상기 이미지 데이터에 적용할 초해상화 모델을 결정하도록 더 구성된다.

본 발명의 일 측면에 따른 따른 딥러닝 기반의 초해상화 이미지 처리 방법은, 무인 비행체 시스템이 촬영 이미지를 입력받는 단계; 상기 무인 비행체 시스템이 상기 촬영 이미지에 상응하는 이미지 데이터를 송신 큐에 할당하는 단계; 상기 무인 비행체 시스템이, 초해상화 모델에 기초한 딥러닝 연산을 통하여 상기 이미지 데이터에 상응하는 초해상화 이미지를 생성하기 위한 모바일 엣지 컴퓨팅 센터에 포함된 하나 이상의 송수신기의 수신 큐의 상태 정보를 수신하는 단계; 상기 무인 비행체 시스템이 상기 송신 큐와 상기 수신 큐의 데이터량 차이에 기초하여 상기 이미지 데이터를 전송할 상기 송수신기를 결정하는 단계; 및 상기 무인 비행체 시스템이 결정된 상기 송수신기에 상기 이미지 데이터를 전송하는 단계를 포함한다.

일 실시예에서, 상기 이미지 데이터를 전송할 상기 송수신기를 결정하는 단계는, 상기 무인 비행체 시스템이, 상기 송신 큐의 대기열에 있는 데이터량과 상기 수신 큐의 대기열에 있는 데이터량의 차이를 가중치로 이용한 스케줄링에 의해 상기 이미지 데이터를 전송할 상기 송수신기를 결정하는 단계를 포함한다.

일 실시예에 따른 딥러닝 기반의 초해상화 이미지 처리 방법은, 상기 이미지 데이터를 송신 큐에 할당하는 단계 전에, 상기 무인 비행체 시스템이, 상기 촬영 이미지에 대한 계층화를 통하여 상기 송신 큐에 할당되기 위한 상기 이미지 데이터를 생성하는 단계를 더 포함한다.

본 발명의 또 다른 측면에 따른 딥러닝 기반의 초해상화 이미지 처리 방법은, 각각 수신 큐를 갖는 하나 이상의 송수신기를 포함하는 모바일 엣지 컴퓨팅 센터가, 상기 하나 이상의 송수신기를 통하여 무인 비행체 시스템으로부터 이미지 데이터를 수신하는 단계; 상기 모바일 엣지 컴퓨팅 센터가, 상기 하나 이상의 수신 큐 각각의 여유 공간에 기초하여 상기 수신 큐를 통해 수신된 상기 이미지 데이터에 적용할 초해상화 모델을 결정하는 단계; 및 상기 모바일 엣지 컴퓨팅 센터가, 결정된 상기 초해상화 모델에 기초한 딥러닝 연산을 통하여 상기 이미지 데이터에 상응하는 초해상화 이미지를 생성하는 단계를 포함한다.

일 실시예에 따른 딥러닝 기반의 초해상화 이미지 처리 방법은, 처리 속도 및 처리 품질 중 하나 이상이 상이한 복수 개의 초해상화 모델을 상기 모바일 엣지 컴퓨팅 센터에 저장하는 단계를 더 포함한다. 이때, 상기 이미지 데이터에 적용할 초해상화 모델을 결정하는 단계는, 상기 모바일 엣지 컴퓨팅 센터가, 상기 이미지 데이터에 대한 시간 평균 초해상화 성능을 최대화하도록 상기 복수 개의 초해상화 모델 중 상기 이미지 데이터에 적용할 초해상화 모델을 결정하는 단계를 포함한다.

또한 일 실시예에서, 상기 복수 개의 초해상화 모델 중 상기 이미지 데이터에 적용할 초해상화 모델을 결정하는 단계는, 상기 모바일 엣지 컴퓨팅 센터가, 상기 이미지 데이터에 초해상화 모델을 적용하였을 때의 품질 평가값 및 상기 수신 큐의 큐 안정성값을 이용하여 리아푸노프 최적화에 의해 정의되는 시간 평균 초해상화 성능이 최대화되는 초해상화 모델을 결정하는 단계를 포함한다.

본 발명의 일 측면에 따른 컴퓨터 프로그램은 하드웨어와 결합되어 전술한 실시예들에 따른 딥러닝 기반의 초해상화 이미지 처리 방법을 실행하기 위한 것으로서 컴퓨터로 판독 가능한 기록매체에 저장된 것일 수 있다.

실시예들에 따른 딥러닝(deep learning) 기반의 초해상화(super-resolution) 이미지 처리 시스템과 방법에 의하면, 스마트 항구 환경 등에서 드론의 영상 데이터에 초해상화 기술을 적용한 감시, 검출 등을 수행함에 있어서, 실시간으로 변화하는 상황에 따라 여러 초해상화 모델 중 적절한 모델을 동적으로 선택함으로써 시스템의 안정성을 유지하면서 시간 평균 성능을 최대화할 수 있는 이점이 있다.

일 실시예에 따른 딥러닝 기반의 초해상화 이미지 처리 시스템과 방법에 의하면, 최대 가중치 스케줄링(max-weight scheduling)을 통하여 본 발명의 주요 목표 중 하나인 큐 안정성 측면에서 유리한 큐 대기열(queue-backlog) 차이를 고려할 수 있다. 또한, 하드웨어 자체가 모바일 장치와 같이 성능이나 리소스(resource) 측면에서 제한된 경우 처리 속도가 제한적이지만, 일 실시예에 따른 딥러닝 기반의 초해상화 이미지 처리 시스템과 방법에 의하면 초해상화 프레임워크에 대한 자가적응형(self-adaptive) 제어를 통하여 안정성에 따른 시간 평균 초해상화 성능을 최대화할 수 있다.

오버플로우(overflow)로 인해 정보 손실이 발생하게 된다면 감시 및 보안 측면에서 큰 피해를 입을 수 있기 때문에 안정화된 제어는 본질적으로 중요한데, 일 실시예에 따른 딥러닝 기반의 초해상화 이미지 처리 시스템과 방법에서는 초해상화 모델의 수가 N일 경우 O(N)의 계산 복잡도를 갖는 알고리즘 연산만이 필요하므로 복잡성이 낮고, 주어진 하드웨어 또는 시스템에 따라 모델을 자동으로 조정하므로 시스템 엔지니어의 시행 착오 조정이 필요하지 않아, 자체 적응의 안정성을 유지하면서 효용성을 극대화할 수 있는 이점이 있다.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 일 실시예에 따른 딥러닝(deep learning) 기반의 초해상화(super-resolution) 이미지 처리 시스템이 적용되는 예시적인 환경의 개념도이다.
도 2는 일 실시예에 따른 딥러닝 기반의 초해상화 이미지 처리 시스템의 무인 비행체 시스템의 개략적인 블록도이다.
도 3은 일 실시예에 따른 딥러닝 기반의 초해상화 이미지 처리 시스템의 모바일 엣지 컴퓨팅(Multi-Access Edge Computing; MEC) 센터의 개략적인 블록도이다.
도 4a는 일 실시예에 따른 딥러닝 기반의 초해상화 이미지 처리 방법에서 무인 비행체 시스템이 MEC 센터에 이미지 데이터를 전송하는 과정의 각 단계를 나타내는 순서도이다.
도 4b는 일 실시예에 따른 딥러닝 기반의 초해상화 이미지 처리 방법에서 MEC 센터가 이미지 데이터에 초해상화 모델을 적용하는 과정의 각 단계를 나타내는 순서도이다.
도 5는 일 실시예에 따른 딥러닝 기반의 초해상화 이미지 처리 방법의 초해상화 모델 선택에 따른 MEC 센터의 큐(queue) 대기열 상태를 나타내는 그래프이다.
도 6 내지 도 9는 실시예들에 따른 딥러닝 기반의 초해상화 이미지 처리 방법의 성능을 나타내는 이미지이다.

이하에서, 도면을 참조하여 본 발명의 실시예들에 대하여 상세히 살펴본다.

도 1은 일 실시예에 따른 딥러닝(deep learning) 기반의 초해상화(super-resolution) 이미지 처리 시스템이 적용되는 예시적인 환경의 개념도로서, 스마트 항만 물류 시스템을 나타낸다. 그러나, 실시예들이 적용될 수 있는 환경은 항만 물류 시스템으로 한정되는 것은 아니다.

도 1에서 도시된 바와 같이, 스마트 항만 물류 시스템은 항만 관리센터(101), 스마트 컨테이너(102), 스마트 등대(103), 자율 주행 선박(104), 스마트 크레인(105), 통합 제어 센터(106), 스마트 컨테이너 크레인(107), 스마트 이동수단(108) 등과 같은 여러 주요 구성 요소로 구성될 수 있다. 또한, 스마트 항만 물류 시스템은 하나 이상의 모바일 엣지 컴퓨팅(Multi-Access Edge Computing; MEC) 센터(300)를 포함할 수 있다. 스마트 항만 물류 시스템에 포함된 개별 구성 요소는 사물인터넷(Internet of Things; IoT)기반 무선 또는 유선 통신 링크를 통해 연결될 수 있다. 항문 관리센터(101)는 이러한 실시간 정보 공유를 기반으로 전체 스마트 항만 물류 시스템을 제어할 수 있다.

이러한 항만 물류 시스템을 관찰하고 모니터링하기 위하여, 하나 이상의 무인 비행체, 예컨대, 드론(200)이 사용될 수 있다. 드론(200)은 무인 비행이 가능하여 감시 위치를 유연하게 업데이트할 수 있으므로, 폐쇄회로TV(Closed-circuit Television; CCTV)와 같은 정적인 감시 수단에 비해 비용 면에서 효율적이다. 이러한 환경에서, 드론(200)에서 기록된 감시 정보를 수신하기 위하여 MEC 센터(300)가 사용된다. 각 MEC 센터(300)는 드론(200)으로부터 이미지 데이터 형태를 수신하고, 초해상도 딥러닝 프레임워크를 사용하여 이미지 데이터의 품질을 향상시킬 수 있다. 또한, MEC 센터(300)는 품질을 향상시킨 이미지 데이터를 항만 관리센터(101)나 통합 제어 센터(106)와 같은 감시 센터로 전달할 수 있다.

본 명세서에서 이미지란, 사진과 같은 정지 화상을 의미할 수도 있으나, 동영상과 같이 시계열적으로 연속적인 일련의 이미지들을 의미하는 것일 수도 있다. 본 발명의 실시예들이 적용되는 환경은 효율적이고 유연한 감시 및 감시 정보의 품질 개선을 위하여 드론(200)과 같은 무인 비행체와 MEC 센터(300) 사이의 통신을 수반하며, 이때 실시예들에 따른 딥러닝 기반의 초해상화 이미지 처리 시스템은 드론(200)에 적용되는 무인 비행체 시스템 및/또는 MEC 센터(300)를 통해 구현된다.

도 2는 일 실시예에 따른 딥러닝 기반의 초해상화 이미지 처리 시스템의 무인 비행체 시스템의 개략적인 블록도이다.

도 2를 참조하면, 본 실시예의 무인 비행체 시스템(20)은 드론(200)에서 획득한 이미지 데이터를 송신하기 위한 것으로서, 드론(200)의 내부 시스템으로 구현되거나 또는 근거리 통신 방식으로 드론(200)과 통신 가능한 시스템으로 구현될 수 있다. 일 실시예에서, 무인 비행체 시스템(20)은 입력부(21) 및 송신부(24)를 포함할 수 있다. 또한 일 실시예에서, 무인 비행체 시스템(20)은 인코더(encoder)(22)를 더 포함할 수 있다. 나아가 일 실시예에서, 무인 비행체 시스템(20)은 계층화부(23)를 더 포함할 수 있다.

본 명세서에 기재된 시스템, 장치 및 서버는 전적으로 하드웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 예컨대, 본 명세서의 시스템, 장치 및 서버와, 이들에 포함된 각 부(unit)는 특정 형식 및 내용의 데이터를 처리하거나 또는/또한 전자통신 방식으로 주고받기 위한 하드웨어 및 이에 관련된 소프트웨어를 통칭할 수 있다. 본 명세서에서 "부", "모듈", "장치", "단말기", "서버" 또는 "시스템" 등의 용어는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭하는 것으로 의도된다. 예를 들어, 하드웨어는 CPU 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 하드웨어에 의해 구동되는 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.

또한, 본 실시예에 따른 무인 비행체 시스템(21-26)을 구성하는 각각의 요소는 반드시 서로 물리적으로 구분되는 별개의 장치를 지칭하는 것으로 의도되지 않는다. 즉, 도 1의 입력부(21), 인코더(22), 계층화부(23), 송신부(24) 등은 무인 비행체 시스템(20)을 구성하는 하드웨어를 해당 하드웨어에 의해 수행되는 동작에 따라 기능적으로 구분한 것일 뿐, 반드시 각각의 부가 서로 독립적으로 구비되어야 하는 것이 아니다. 물론, 실시예에 따라서는 무인 비행체 시스템(20)의 각 부 중 하나 이상이 서로 물리적으로 구분되는 별개의 장치로 구현되는 것도 가능하다.

이상과 같이 구성된 무인 비행체 시스템(20)은, 감시 정보에 해당하는 이미지를 MEC 센터에 전송하는 역할을 한다. 감시를 위해 기록된 정보들은 무인 비행체 시스템(20)에 의하여 이미지 데이터로 인코딩되며, 그 결과는 확장 가능한 부호화를 위하여 계층화될 수 있다. 그 후 계층화된 이미지 데이터가 무선 채널을 통하여 전송될 수 있다. 이때 제한된 무선 채널 대역폭으로 인해 계층들이 선택적으로 전송될 수 있으며, 각 레이어의 이미지 데이터는 송신 큐의 대기열에 추가될 수 있다. 또한, 이미지 데이터를 전송하기 위하여 아래에서 설명하는 것과 같이 무인 비행체 시스템(20)이 MEC 센터와 스케줄링(scheduling) 및 매칭(matching)될 수 있다.

한편, 무인 비행체 시스템(20)은 경로 제어부(25), 에너지 관리부(26) 등과 같이 드론(200)의 무인 비행을 위한 제어 모듈들을 더 포함할 수 있다. 경로 제어부(25)는 본 실시예예 따른 무인 비행체 시스템(20)이 적용된 환경, 예컨대, 스마트 항만 물류 시스템에 관련된 감시 영역 내를 드론(200)이 감시하도록 드론(200)의 비행 경로를 설정 및 조정하는 기능을 할 수 있다. 또한, 에너지 관리부(26)는 드론(200)이 감시 영역 내를 비행하면서 이미지 촬상을 수행하기에 충분하도록 드론(200)에 구비된 배터리(미도시)의 에너지 잔량을 모니터링하며, 에너지 잔량이 부족할 경우 드론(200)이 충전 위치로 이동하도록 경로 제어부(25)를 설정하는 등의 기능을 할 수 있다.

도 4a는 일 실시예에 따른 딥러닝 기반의 초해상화 이미지 처리 방법에서 무인 비행체 시스템이 MEC 센터에 이미지 데이터를 전송하는 과정의 각 단계를 나타내는 순서도이다.

도 2 및 도 4a를 참조하면, 입력부(21)는 드론(200)에 구비된 카메라와 같은 촬영 수단(210)으로부터 촬상 이미지를 입력받을 수 있다(S11). 일 실시예에서, 인코더(22)는 입력부(21)에 수신된 촬상 이미지를 이미지 데이터로 인코딩할 수 있다(S12). 이때 인코딩은 공지된 또는 향후 개발될 임의의 데이터 형식을 이용할 수 있으며, 특정 형태로 한정되지 않는다. 또한 일 실시예에서, 계층화부(23)는 확장 가능한 부호화를 위하여 이미지 데이터를 비트-스트림 레이어들(Bit-Stream layers)로 구분하여 계층화할 수 있다(S13).

이후, 이미지 데이터를 송신부(24)의 송신 큐(240)에 할당함으로써 이미지 데이터를 큐(240)의 대기열에 적재할 수 있다(S14). 일 실시예에서, 송신부(24)의 추출부(241)는 제한된 무선 채널 대역폭을 이용하여 이미지 데이터를 전송하기 위하여 계층화부(23)에 의해 생성된 계층들을 선택적으로 추출할 수 있다. 또한, 송신부(24)의 스케줄러(242)는 송신 큐(24)의 대기열에 있는 데이터를 MEC 센터의 송수신기에 전송하되, 송신 큐(24)의 대기열에 있는 데이터량과 이를 수신할 송수신기의 수신 큐의 대기열에 있는 데이터량의 차이를 가중치로 이용한 스케줄링(scheduling) 및 매칭(matching)을 통해 이미지 데이터를 전송할 MEC 센터의 송수신기를 결정할 수 있다(S15, S16).

구체적으로, 일 실시예에서 스케줄러(242)는 송신 큐(240)의 대기열, 이미지 데이터를 수신할 MEC 센터의 송수신기의 큐 대기열, 및 채널 상태 정보를 이용하여 하기 수학식 1에 기초한 스케줄링 및 매칭을 수행할 수 있다. 또한, 이상의 동작을 위하여, 무인 비행체 시스템(20)은 실시간 및/또는 주기적으로 MEC 센터의 각 송수신기의 큐 상태 정보를 수신할 수도 있다.

[수학식 1]

수학식 1에서 여기서 U, M, Kj는 각각 무인 비행체 시스템, MEC 센터, 및 j 번째 MEC 센터(또는, MEC-j로도 표기함)의 송수신기를 의미한다. 예를 들어, MEC 센터의 송수신기는 RF 송수신기일 수 있다. 또한, 수학식 1에서

는 송신 큐(240)의 대기열 크기, 즉, 드론이 촬영 수단(210)을 사용하여 얻는 이미지 데이터의 양을 나타낸다. 또한, 수학식 1에서

는 MEC-j의 k번째 송수신기의 큐 대기열 크기를 나타낸다.

한편, 수학식 1에서

는 i번째 드론(200)의 무인 비행체 시스템(20) (또는, 단순화를 위하여 드론 i로도 지칭함)와 MEC-j의 k번째 송수신기 사이의 채널 이득(channel gain)이며 0과 1 사이의 값을 가진다. 또한, 수학식 1의

는 MEC-j의 송수신기의 개수를 나타낸다. 또한, 수학식 1의

는 드론 i와 MEC-j의 k번째 송수신기 사이의 스케줄링 인덱스이다. 드론 i가 자체 대기열의 데이터를 MEC-j의 k번째 송수신기로 전송할 예정인 경우

는 1의 값을 가지게 되고, 그렇지 않은 경우에

는 0이다.

본 실시예에서 스케줄러(242)는, 송신 큐(240)의 대기열의 데이터량과 이미지 데이터를 수신할 MEC 센터의 송수신기의 큐 대기열의 데이터량의 차이, 즉, 상기 수학식 1의

를 가중치로 사용한 스케줄링 및 매칭을 수행한다. 즉, 송신 큐(240)의 대기열에 있는 데이터의 양이 MEC-j의 k번째 송수신기 대기열에 있는 데이터의 양보다 많을 경우 MEC-j의 k번째 송수신기와 드론 i간의 스케줄링을 위한 가중치가 증가한다.

예를 들어, 드론 i의 송신 큐(240)

의 대기열이 오버플로우(overflow) 상태일 경우, 이미지 데이터의 손실을 방지하기 위해 MEC 센터 중 하나에 전달해야 한다. 반면 송신 큐(240)의 대기열 크기가 0에 가까운 드론은 시스템 안정이 시급하지 않다. 또는, MEC-j의 k번째 송수신기의 수신 큐

의 대기열이 오버플로우 상태에 가까울 경우 해당 송수신기에 추가적인 데이터가 도착하면 오버플로우가 발생하므로 해당 송수신기는 무인 비행체 시스템과의 연결을 피하는 것이 바람직하다. 반면 MEC 센터의 송수신기의 큐 대기열 크기가 0에 가까우면 무인 비행체 시스템(20)으로부터 데이터를 수신할 수 있는 대기공간이 충분하기 때문에 스케줄링이 용이하다.

따라서, 본 실시예에서는 무인 비행체 시스템(20)의 송신부(24)와 MEC 센터의 송수신기의 큐 대기열 차이인

를 합리적인 가중치로 이용하여 다중 드론과 다중 MEC 센터 간의 이미지 데이터 전송을 위한 스케줄링 및 매칭을 수행할 수 있다.

이상에서 설명한 본 실시예에 따른 스케줄링은, 채널 상태와 MEC 센터의 송수신기의 대기열 상태를 고려하여 드론으로부터 MEC 센터들에 전송되는 데이터의 합계를 극대화하기 위한 것이다. 본 실시예에서는, 무인 비행체 시스템(20)은 안테나(220) 등 하드웨어 제한으로 인하여 복수의 MEC 센터로의 데이터 동시 전송은 불가능하고, 또한 각 MEC 센터는 해당 MEC 센터에 구비된 송수신기의 개수

만큼의 무인 비행체 시스템(20)과 통신 연결이 가능한 것을 전제로 하였다.

이상과 같이 이미지 데이터를 전송할 MEC 센터 및 송수신기가 결정되면, 송신부(24)는 송신 큐(240)에 할당되어 있는 이미지 데이터를 해당 MEC 센터에 전송할 수 있다(S17).

도 3은 일 실시예에 따른 딥러닝 기반의 초해상화 이미지 처리 시스템의 MEC 센터의 개략적인 블록도이다.

도 3을 참조하면, MEC 센터(300)는 수신부(31) 및 초해상화 모듈(33)을 포함한다. 수신부(31)는 각각 수신 큐(321-32k)를 갖는 하나 이상의 송수신기(311-31k)를 포함하여 무인 비행체 시스템으로부터 이미지 데이터를 수신한다. 각각의 송수신기(311-31k)는 안테나(301-30k)를 이용하여 무선 채널을 통해 데이터를 수신할 수도 있다.

초해상화 모듈(33)은 수신부(31)에 수신된 이미지 데이터를 대상으로 초해상화 심층 신경 네트워크 연산(즉, 딥러닝 연산)을 통하여 초해상화 이미지를 생성할 수 있다. 일 실시예에서, 초해상화 모듈(33)은 복수 개의 초해상화 모델이 저장된 저장부(332) 및 저장부(332)에 저장된 초해상화 모델 중 적용할 모델을 선택하도록 구성된 제어부(331)를 포함할 수 있다.

일 실시예에서, MEC 센터(300)는 초해상화 모듈(33)에 의하여 생성된 초해상화 이미지를 포함하는 감시 정보가 저장되도록 구성된 감시 데이터베이스(database; DB)(34)를 더 포함한다. 감시 DB(34)는 항만 관리센터(101)와 같이 본 실시예에 따른 초해상화 이미지 처리 시스템이 적용되는 환경 내의 다른 장치와 연동되거나 이들 장치에 감시 정보를 제공하도록 구성되어, 항만 관리센터(101) 등이 초해상화 이미지를 토대로 한 대상 영역의 관찰 및 모니터링을 수행하도록 할 수 있다.

도 4b는 일 실시예에 따른 딥러닝 기반의 초해상화 이미지 처리 방법에서 MEC 센터가 이미지 데이터에 초해상화 모델을 적용하는 과정의 각 단계를 나타내는 순서도이다.

도 3 및 도 4b를 참조하면, 먼저 정확도 및/또는 속도가 상이한 복수 개의 초해상화 모델을 MEC 센터(300)의 저장부(332)에 저장할 수 있다(S21). 예컨대, 저장부(332)에 저장되는 복수의 초해상화 모델은 각각 심층 신경 네트워크 연산(즉, 딥러닝 연산)을 통하여 이미지 데이터에 대한 초해상화를 수행하기 위한 것이지만 히든 레이어(hidden layer)의 수가 상이한 것일 수 있다. 히든 레이어의 수가 적은 초해상화 모델일수록 상대적으로 얕은 수준의 심층 신경 네트워크 연산을 처리하며, 그 결과 처리 속도는 빨라지지만 초해상화의 품질은 감소한다. 반대로, 히든 레이어의 수가 많은 초해상화 모델일수록 초해상화 품질이 개선되나, 처리 속도가 느려 긴 처리 시간이 요구된다.

한편, MEC 센터(300)의 수신부(31)는 무인 비행체 시스템(또는, 단순화를 위해 드론으로도 지칭함)으로부터 감시 정보인 이미지 데이터를 수신할 수 있다(S22). 예컨대, 수신부(31)는 하나 이상의 안테나(301-30k)를 각각 이용하여 동작하는 하나 이상의 송수신기(311-31k)를 포함하며, 송수신기(311-31k)를 통해 수신된 이미지 데이터가 각 송수신기(311-31k)의 수신 큐(321-32k)의 대기열에 할당되어 초해상화 모듈(33)에 의한 이미지 처리를 대기하도록 구성될 수 있다. 이때 MEC 센터(300)는 안테나(301-30k) 및 송수신기(311-31k)의 개수에 상응하여 복수 개의 무인 비행체 시스템과 통신 가능하게 연결될 수 있다.

초해상화 모듈(33)은, 저장부(332)에 저장된 복수의 초해상화 모델에 기초하여 각 송수신기(311-31k)의 수신 큐(321-32k)의 대기열에 적재된 이미지 데이터에 대한 초해상화 심층 신경 네트워크 연산을 수행한다. 심층 신경 네트워크 연산은 높은 연산 능력을 필요로 하므로 초해상화 모듈(33)의 처리 속도는 수시로 변할 수 있으며, 이 때문에 본 발명의 일 실시예에서는 저장부(332)에 저장된 복수의 초해상화 모델 중 수신 큐(321-32k)의 여유 공간에 기초한 적응적인 방식으로 초해상화 모델을 선택하여(S23-S25), 각 수신 큐(321-32k)의 대기열에 적재된 이미지 데이터에 대해, 선택된 초해상화 모델을 이용한 심층 신경 네트워크 연산을 수행할 수 있다(S26).

구체적으로, 본 발명의 일 실시예에서는 리아푸노프 최적화(Lyapunov optimization)를 통해 초해상화 모델을 선택하도록 구성된다. 리아푸노프 최적화란 최소화하고 싶은 목적 함수가 있을 때 큐의 안정성을 보정하는 한도 내에서 해당 식의 시간 평균의 최적값을 구하는 방식이다. 본 발명의 실시예에서는 이를 초해상화 모델의 선택에 적용하여, 수신 큐(321-32k)의 오버플로우를 방지하면서도 초해상화 이미지 처리 시스템의 자원을 최대한 사용하도록 구성된다.

제어부(331)는 각 단위 시간에 저장부(332)에 저장된 초해상화 모델 중 하나의 초해상화 모델을 선택하는 결정을 내린다. 이때, 수신 큐(321-32k)의 대기열이 오버플로우에 가까울수록 해당 큐(321-32k) 내의 이미지 데이터에 대한 처리가 긴급한 것이므로, 제어부(331)는 일정량의 정확도만 확보한 후 처리를 가속화하기 위하여 상대적으로 얕은(즉, 히든 레이어의 수가 적은) 초해상화 모델을 선택할 수 있다. 즉, 단순하여 처리 속도가 빠르지만 초해상화의 정확도가 낮은 초해상화 모델이 선택될 수 있다. 한편, 수신 큐(321-32k)의 대기열이 0에 가까울 경우, 이 단위 시간에는 안정성을 심각하게 고려할 필요가 없으므로 효용을 높이기 위하여 상대적으로 깊은(즉, 히든 레이어의 수가 많은) 초해상화 모델을 선택함으로써 정확도는 높지만 느린 정교한 모델을 이용할 수 있다.

이상과 같이 초해상화 성능을 극대화하면서 분산, 자가 제어 및 안정화 제어를 위한 초해상화 모델을 선택하기 위하여, 일 실시예에서 제어부(331)는 큐(321-32k)를 이용하여 정의되는 방정식인 리아푸노프 드리프트의 값을 최대화하여 다음 시간 단위에서 사용할 초해상화 모델을 결정하도록 구성된다. 우선, 리아푸노프 최적화를 적용할 MEC-j의 k번째 송수신기의 큐 상태는 수학식 2와 같이 정의할 수 있다.

[수학식 2]

수학식 2에서

는 MEC-j의 k번째 송수신기(31k)의 큐(32k) 대기열의 크기를 나타낸다. 또한,

는 MEC-j의 k번째 송수신기(31k)를 통해 수신된 데이터에 대해 초해상화 모델

를 통해

에서 처리된 이미지의 수를 나타낸다. 또한,

는 무선 채널을 통해 무인 비행체 시스템으로부터 무작위로 MEC-j의 k번째 송수신기(31k) 큐(32k)에 도착하는 이미지 데이터의 수를 의미한다.

수학식 2에 나타난 바와 같이, 초해상화 모델

는 MEC-j의 k번째 송수신기(31k)의 큐(32k) 대기열

에 대한 제어 작용을 하며, 단위 시간 t에서 초해상화 모델

를 선택함으로써

의 데이터 처리 프로세스도 제어 할 수 있다. 본 발명의 일 실시예에서는 안정성의 영향을 받는 시간 평균 초해상화 성능 최대화를 위해

에 따라

를 제어한다.

이를 위해, 먼저 시간 평균 초해상화 성능을 최대화하기 위한 수식을 하기 수학식 3과 같이 정리할 수 있다.

[수학식 3]

상기 수학식 3에서

는 이미지 데이터에 초해상화 모델을 적용하였을 때의 품질 평가값을 나타내는 것이다. 일 실시예에서,

는 잘 알려져 있는 이미지 품질 평가 지표 중 하나인 PSNR(peak-signal-to-noise-ratio) 값으로 산출될 수 있으나, 이에 한정되는 것은 아니다.

한편, MEC-j의 k번째 송수신기(31k)에서 현재 선택된 초해상화 모델이

일 때 큐 안정성은 하기 수학식 4와 같이 정의될 수 있다(S23).

[수학식 4]

이때, 일 실시예에서 리아푸노프 최적화에 따라 큐 안정성의 영향을 받는 시간 평균 초해상화 성능 극대화를 위해 수학식 3과 수학식 4를 하기 수학식 5와 같이 재구성할 수 있다(S24).

[수학식 5]

수학식 5에서 A는 저장부(332)에 저장된 모든 초해상화 모델의 집합을 의미한다. 또한, V는 초해상화 성능과 큐 안정성 사이의 트레이드 오프(trade-off)를 나타내는 상수로서 본 발명의 구현예에 따라 적절히 설정될 수 있다. 상기 수학식 5에 의해 정의되는 리아푸노프 드리프트가 최대로 되는 초해상화 모델

를 결정함으로써, 각 단위 시간에서 시간 평균 성능을 극대화하도록 초해상화 모델을 선택할 수 있다(S25).

예를 들어, 수학식 5의

,

,

,

,

를 각각 간단하게

,

,

,

,

로 표현하도록 하고, 수신 큐(321-32k)가 유휴 상태일 경우를 상정한다. 이 경우 큐(321-32k)의 사용량이 0에 가깝기 때문에

는 0으로 계산할 수 있으며, 따라서 수학식 5는 하기 수학식 6과 같이 표현될 수 있다.

[수학식 6]

수학식 6은

가 0에 가까운 상태에서 초해상화 품질

를 최대화 할 수 있는

가 선택된다는 것을 의미하는 것으로,

는 시간 t에서 선택한 초해상화 모델

를 통해 생성된 품질 향상된 이미지의 수를 나타낸다. 더 깊은 초해상화 모델이 해상도를 극대화 한다는 것은 분명하므로, 대기열이 유휴 상태일 경우 본 실시예에 따른 초해상화 모델의 선택을 적용함으로써 가장 깊은 심층 신경망 모델이 초해상화에 사용되어 성능이 극대화된다는 것을 알 수 있다.

또 다른 예로, 큐(321-32k) 사용량이 많을 경우, 예컨대 큐(321-32k)가 오버플로우 직전의 상황일 경우

로 계산할 수 있다. 이때 수학식 5는 하기 수학식 7과 같이 표현될 수 있다.

[수학식 7]

상기 수학식 7은, 큐(321-32k)가 오버플로우 직전의 상태가 되면 오버플로우를 방지하기 위해 처리 시간 측면에서 가장 빠른 모델을 선택하는 것이 유리하므로, 저장부(332)에 저장된 초해상화 모델들에서

가 최대가 되도록 초해상화 모델이 선택된다는 것을 의미한다. 이 경우 일반적으로 가장 간단한 모델, 즉, 얕은(히든 레이어 수가 적은) 모델이 적용되어 초해상화 성능은 좋지 않지만 처리 속도의 측면에 있어서 최상으 선택이 이루어짐을 알 수 있다.

따라서, 전술한 수학식 5에 기초하여 MEC-j의 k번째 송수신기(31k)의 큐(32k) 대기열

를 관찰하면서 매 단위 시간 t마다 시간 안정성에 따라 시간 평균 초해상화 성능을 극대화하도록 초해상화 모델을 선택할 수 있다(S25).

이상과 같이 초해상화 모듈(33)은 시간 평균 초해상화 성능을 극대화하는 방식으로 초해상화 모델을 선택하여, 선택된 초해상화 모델에 의한 심층 신경 네트워크 연산을 통하여 초해상화 이미지를 생성할 수 있다(S26).

일 실시예에서, 초해상화 모듈(33)은 생성된 초해상화 이미지를 감시 DB(34)에 저장할 수도 있다(S27). 감시 DB(34)에 저장된 초해상화 이미지는 스마트 물류 시스템의 항만 관리센터와 같이 본 실시예에 따른 초해상화 이미지 처리 시스템이 적용되는 환경 내의 다른 장치 또는 서버에 제공되어, 이를 기반으로 MEC 센터(300)와 통신하는 무인 비행체의 감시 영역에 대한 관찰 및 모니터링이 가능하도록 할 수 있다.

표 1은 본 발명의 일 실시예에 따른 큐 안정성 성능을 실험결과로 나타낸 것으로서, 드론과 MEC 센터 간의 데이터 전송 상황을 시나리오로 설정하고, 100,000 단위시간 동안 이루어지는 작업 중 드론 및 MEC 센터 모두의 대기열에서 발생하는 오버플로우 수를 관찰하여 평가한 것이다.

스케줄링	빈도(%)	비교
무작위 스케줄링(random)	27.89	8.63
탐욕 스케줄링(drone-queue-greedy)	10.54	3.26
본 발명의 최대 가중치 스케줄링(max-weight scheduling)	3.32	-

표 1을 참조하면, 최대 가중치 스케줄링(max-weight scheduling)을 적용한 본 발명의 실시예에 의한 결과를 무작위 스케줄링 및 드론 대기열의 탐욕 스케줄링(drone-queue-greedy scheduling)과 비교하여 평가할 경우, 표 1에 도시되는 것과 같이, 본 발명의 실시예에 비하여 무작위 스케줄링과 탐욕 스케줄링에서 오버플로우 상황이 발생할 확률이 각각 8.63배, 3.26배 높다. 따라서 본 발명의 일 실시예에 따라 MEC 센터의 큐 대기열을 고려한 전송 알고리즘이 종래 기술에 비해 안정성 측면에서 우월함을 확인할 수 있다.

도 5는 일 실시예에 따른 딥러닝 기반의 초해상화 이미지 처리 방법의 초해상화 모델 선택에 따른 MEC 센터의 큐 대기열 상태를 나타내는 그래프이다.

도 5의 그래프에서 가로축은 단위시간을 나타내며, 세로축은 큐 상태를 나타내는 것으로서 값이 1에 가까울수록 대기열이 가득 차 있는 상태를 의미한다. 또한, 도 5의 그래프에서 1점 쇄선(503)은 얕은(즉, 히든 레이어의 수가 상대적으로 적은) 초해상화 모델만을 적용한 경우를 나타내고, 실선(501)은 깊은(즉, 히든 레이어의 수가 상대적으로 많은) 초해상화 모델만을 적용한 경우를 나타내며, 점선(502)은 본 발명의 일 실시예에 따라 리아푸노프 최적화를 사용한 자가 제어 및 안정화 제어 모델을 사용한 경우를 나타낸다. 도5b에서 도시된 바와 같이, 깊은 초해상화 모델만을 적용한 경우 오버플로우 상황을 처리할 수 없어 대기열이 가득 차는 문제가 있고, 반면 얕은 초해상화 모델만을 사용할 경우 처리 속도가 빨라 대기열은 항상 비어 있으나 초해상화 성능 측면에서 좋지 않다.

본 발명의 일 실시예에서는, 초해상화 품질을 향상시키기 위해 일정량의 지연을 허용함으로써, 초기 단계에서는 대기열이 유휴 상태이기 때문에 깊은 모델을 따르지만, 대기열이 임계값에 해당하는 특정 데이터량에 도달하면 자체 정응형 제어가 시작되어 지연을 처리할 수 있는 초해상화 모델을 선택하기 시작한다. 따라서, 본 발명의 일 실시예에 따른 초해상화 모델의 선택 방식 큐 상태의 관리 및 이미지 품질의 측면에서 종래의 두 가지 정적인 제어 방식에 비해 우수하다는 것을 알 수 있다.

도 6 내지 도 9는 본 발명의 일 실시예에 따른 초해상화 딥러닝 모델의 성능을 실험 결과로 설명하기 위한 도면으로서, 실제 항만 이미지를 이용한 초해상화 계산 결과를 나타낸다.

도6a, 도7a, 도8a, 및 도9a의 이미지는 초해상화 처리 전의 상대적으로 낮은 해상도의 이미지를 나타내며, 이들 이미지들은 쌍삼차(bicubic) 보간법에 의하여 얻어졌다. 한편, 도6b, 도7b, 도8b 및 도9b의 이미지는 각각 도6a, 도7a, 도8a, 및 도9a의 이미지에 초해상화 모델을 적용하여 얻어진 초해상화 이미지를 나타낸다. 도시되는 바와 같이, 본 발명의 실시예들에 따른 딥러닝 기반의 초해상화 이미지 처리 방법에 의해 이미지의 품질 개선이 이루어진 것을 확인할 수 있으며, 히든 레이어의 수가 많을수록 더 나은 성능을 보였다.

이상에서 설명한 실시예들에 따른 딥러닝 기반의 초해상화 이미지 처리 방법에 의한 동작은 적어도 부분적으로 컴퓨터 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 실시예들에 따른 딥러닝 기반의 초해상화 이미지 처리 방법에 의한 동작을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.

이상에서 살펴본 본 발명은 도면에 도시된 실시예들을 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 발명의 기술적 보호범위 내에 있다고 보아야 한다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 청구범위의 기술적 사상에 의해서 정해져야 할 것이다.

Claims (13)

1. 무인 비행체에 의해 촬영된 이미지를 입력받고, 이미지 데이터를 송신 큐에 할당하여 송신하도록 구성된 무인 비행체 시스템; 및
   각각 수신 큐를 갖는 하나 이상의 송수신기를 포함하며, 상기 하나 이상의 송수신기를 통하여 상기 무인 비행체 시스템으로부터 상기 이미지 데이터를 수신하고, 초해상화 모델에 기초한 딥러닝 연산을 통하여 상기 이미지 데이터에 상응하는 초해상화 이미지를 생성하도록 구성된 모바일 엣지 컴퓨팅 센터를 포함하되,
   상기 무인 비행체 시스템은 상기 송신 큐와 상기 수신 큐의 데이터량 차이에 기초하여 상기 이미지 데이터를 전송할 상기 송수신기를 결정하도록 더 구성된 딥러닝 기반의 초해상화 이미지 처리 시스템.
   
2. 제1항에 있어서,
   상기 무인 비행체 시스템은,
   촬영 수단으로부터 상기 이미지를 입력받도록 구성된 입력부; 및
   상기 송신 큐를 포함하며, 상기 송신 큐의 대기열에 있는 데이터량과 상기 수신 큐의 대기열에 있는 데이터량의 차이를 가중치로 이용한 스케줄링에 의해 상기 이미지 데이터를 전송할 상기 송수신기를 결정하도록 구성된 송신부를 포함하는 딥러닝 기반의 초해상화 이미지 처리 시스템.
   
3. 제2항에 있어서,
   상기 무인 비행체 시스템은, 상기 입력부에 입력된 상기 이미지에 대한 계층화를 통하여 상기 송신 큐에 할당되기 위한 상기 이미지 데이터를 생성하도록 구성된 계층화부를 더 포함하는 딥러닝 기반의 초해상화 이미지 처리 시스템.
   
4. 제1항에 있어서,
   상기 모바일 엣지 컴퓨팅 센터는, 상기 수신 큐의 여유 공간에 기초하여 상기 수신 큐를 통해 수신된 상기 이미지 데이터에 적용할 초해상화 모델을 결정하고, 결정된 초해상화 모델을 이용하여 상기 초해상화 이미지를 생성하도록 구성된 초해상화 모듈을 포함하는 딥러닝 기반의 초해상화 이미지 처리 시스템.
   
5. 제4항에 있어서,
   상기 초해상화 모듈은,
   처리 속도 및 처리 품질 중 하나 이상이 상이한 복수 개의 초해상화 모델을 저장하도록 구성된 저장부; 및
   싱기 이미지 데이터에 대한 시간 평균 초해상화 성능을 최대화하도록 상기 복수 개의 초해상화 모델 중 상기 이미지 데이터에 적용할 초해상화 모델을 결정하도록 구성된 제어부를 포함하는 딥러닝 기반의 초해상화 이미지 처리 시스템.
   
6. 제5항에 있어서,
   상기 제어부는, 상기 이미지 데이터에 초해상화 모델을 적용하였을 때의 품질 평가값 및 상기 수신 큐의 큐 안정성값을 이용하여 리아푸노프 최적화에 의해 정의되는 시간 평균 초해상화 성능이 최대화되도록 상기 이미지 데이터에 적용할 초해상화 모델을 결정하도록 더 구성된 딥러닝 기반의 초해상화 이미지 처리 시스템.
   
7. 무인 비행체 시스템이 촬영 이미지를 입력받는 단계;
   상기 무인 비행체 시스템이 상기 촬영 이미지에 상응하는 이미지 데이터를 송신 큐에 할당하는 단계;
   상기 무인 비행체 시스템이, 초해상화 모델에 기초한 딥러닝 연산을 통하여 상기 이미지 데이터에 상응하는 초해상화 이미지를 생성하기 위한 모바일 엣지 컴퓨팅 센터에 포함된 하나 이상의 송수신기의 수신 큐의 상태 정보를 수신하는 단계;
   상기 무인 비행체 시스템이 상기 송신 큐와 상기 수신 큐의 데이터량 차이에 기초하여 상기 이미지 데이터를 전송할 상기 송수신기를 결정하는 단계; 및
   상기 무인 비행체 시스템이 결정된 상기 송수신기에 상기 이미지 데이터를 전송하는 단계를 포함하는 딥러닝 기반의 초해상화 이미지 처리 방법.
   
8. 제7항에 있어서,
   상기 이미지 데이터를 전송할 상기 송수신기를 결정하는 단계는, 상기 무인 비행체 시스템이, 상기 송신 큐의 대기열에 있는 데이터량과 상기 수신 큐의 대기열에 있는 데이터량의 차이를 가중치로 이용한 스케줄링에 의해 상기 이미지 데이터를 전송할 상기 송수신기를 결정하는 단계를 포함하는 딥러닝 기반의 초해상화 이미지 처리 방법.
   
9. 제7항에 있어서,
   상기 이미지 데이터를 송신 큐에 할당하는 단계 전에, 상기 무인 비행체 시스템이, 상기 촬영 이미지에 대한 계층화를 통하여 상기 송신 큐에 할당되기 위한 상기 이미지 데이터를 생성하는 단계를 더 포함하는 딥러닝 기반의 초해상화 이미지 처리 방법.
   
10. 각각 수신 큐를 갖는 하나 이상의 송수신기를 포함하는 모바일 엣지 컴퓨팅 센터가, 상기 하나 이상의 송수신기를 통하여 무인 비행체 시스템으로부터 이미지 데이터를 수신하는 단계;
    상기 모바일 엣지 컴퓨팅 센터가, 상기 하나 이상의 수신 큐 각각의 여유 공간에 기초하여 상기 수신 큐를 통해 수신된 상기 이미지 데이터에 적용할 초해상화 모델을 결정하는 단계; 및
    상기 모바일 엣지 컴퓨팅 센터가, 결정된 상기 초해상화 모델에 기초한 딥러닝 연산을 통하여 상기 이미지 데이터에 상응하는 초해상화 이미지를 생성하는 단계를 포함하는 딥러닝 기반의 초해상화 이미지 처리 시스템.
    
11. 제10항에 있어서,
    처리 속도 및 처리 품질 중 하나 이상이 상이한 복수 개의 초해상화 모델을 상기 모바일 엣지 컴퓨팅 센터에 저장하는 단계를 더 포함하되,
    상기 이미지 데이터에 적용할 초해상화 모델을 결정하는 단계는, 상기 모바일 엣지 컴퓨팅 센터가, 상기 이미지 데이터에 대한 시간 평균 초해상화 성능을 최대화하도록 상기 복수 개의 초해상화 모델 중 상기 이미지 데이터에 적용할 초해상화 모델을 결정하는 단계를 포함하는 딥러닝 기반의 초해상화 이미지 처리 시스템.
    
12. 제11항에 있어서,
    상기 복수 개의 초해상화 모델 중 상기 이미지 데이터에 적용할 초해상화 모델을 결정하는 단계는, 상기 모바일 엣지 컴퓨팅 센터가, 상기 이미지 데이터에 초해상화 모델을 적용하였을 때의 품질 평가값 및 상기 수신 큐의 큐 안정성값을 이용하여 리아푸노프 최적화에 의해 정의되는 시간 평균 초해상화 성능이 최대화되는 초해상화 모델을 결정하는 단계를 포함하는 딥러닝 기반의 초해상화 이미지 처리 방법.
    
13. 하드웨어와 결합되어 제7항 내지 제12항 중 어느 한 항에 따른 딥러닝 기반의 초해상화 이미지 처리 방법을 실행하도록 컴퓨터로 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.

Images