KR102380133B1 - Method and apparatus for providing internet of vehicle application service in multi access edge computing - Google Patents

Method and apparatus for providing internet of vehicle application service in multi access edge computing Download PDF

Info

Publication number
KR102380133B1
KR102380133B1 KR1020200169300A KR20200169300A KR102380133B1 KR 102380133 B1 KR102380133 B1 KR 102380133B1 KR 1020200169300 A KR1020200169300 A KR 1020200169300A KR 20200169300 A KR20200169300 A KR 20200169300A KR 102380133 B1 KR102380133 B1 KR 102380133B1
Authority
KR
South Korea
Prior art keywords
image
mec
images
vehicle communication
communication nodes
Prior art date
Application number
KR1020200169300A
Other languages
Korean (ko)
Inventor
허의남
다오 탄 트리 응우옌
이승진
김명섭
Original Assignee
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단 filed Critical 경희대학교 산학협력단
Priority to KR1020200169300A priority Critical patent/KR102380133B1/en
Application granted granted Critical
Publication of KR102380133B1 publication Critical patent/KR102380133B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network-specific arrangements or communication protocols supporting networked applications
    • H04L67/28Network-specific arrangements or communication protocols supporting networked applications for the provision of proxy services, e.g. intermediate processing or storage in the network
    • H04L67/2823Network-specific arrangements or communication protocols supporting networked applications for the provision of proxy services, e.g. intermediate processing or storage in the network for conversion or adaptation of application content or format
    • H04L67/2828Network-specific arrangements or communication protocols supporting networked applications for the provision of proxy services, e.g. intermediate processing or storage in the network for conversion or adaptation of application content or format for reducing the amount or size of exchanged application data
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/16File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/162Delete operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • G06F16/2308Concurrency control
    • G06F16/2315Optimistic concurrency control
    • G06F16/2322Optimistic concurrency control using timestamps
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network-specific arrangements or communication protocols supporting networked applications
    • H04L67/12Network-specific arrangements or communication protocols supporting networked applications adapted for proprietary or special purpose networking environments, e.g. medical networks, sensor networks, networks in a car or remote metering networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network-specific arrangements or communication protocols supporting networked applications
    • H04L67/28Network-specific arrangements or communication protocols supporting networked applications for the provision of proxy services, e.g. intermediate processing or storage in the network
    • H04L67/2866Architectural aspects
    • H04L67/288Distributed intermediate devices, i.e. intermediate device interaction with other intermediate devices on the same level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network-specific arrangements or communication protocols supporting networked applications
    • H04L67/28Network-specific arrangements or communication protocols supporting networked applications for the provision of proxy services, e.g. intermediate processing or storage in the network
    • H04L67/2866Architectural aspects
    • H04L67/289Architectural aspects where the intermediate processing is functionally located closer to the data consumer application, e.g. in same machine, in same home or in same subnetwork

Abstract

본 발명은 IoV(internet of vehicle) 어플리케이션 서비스를 제공하는 제1 MEC 디바이스의 동작 방법은, 차량 통신 노드들로부터 상기 차량 통신 노드들 각각에 의해 촬영된 이미지의 메타 데이터들을 수신하는 단계; 수신한 상기 이미지의 메타 데이터들을 기초로 상기 차량 통신 노드들 중에서 적어도 일부의 차량 통신 노드들에 요청하고자 하는 이미지 데이터를 결정하는 단계; 상기 적어도 일부의 차량 통신 노드들에게 상기 요청하고자 하는 이미지들에 관한 정보를 전송하는 단계; 상기 적어도 일부의 차량 통신 노드들로부터 요청한 상기 이미지들을 수신하는 단계; 및 상기 적어도 일부의 차량 통신 노드들로부터 수신한 상기 이미지들을 데이터베이스에 저장하는 단계를 포함할 수 있다. The present invention provides an operating method of a first MEC device that provides an Internet of vehicle (IoV) application service, the method comprising: receiving metadata of an image photographed by each of the vehicle communication nodes from vehicle communication nodes; determining image data to be requested from at least some of the vehicle communication nodes among the vehicle communication nodes based on the received metadata of the image; transmitting information about the requested images to the at least some of the vehicle communication nodes; receiving the requested images from the at least some vehicle communication nodes; and storing the images received from the at least some vehicle communication nodes in a database.

Description

다중 액세스 엣지 컴퓨팅 환경에서의 차량 인터넷 어플리케이션 서비스 제공 방법 및 장치{METHOD AND APPARATUS FOR PROVIDING INTERNET OF VEHICLE APPLICATION SERVICE IN MULTI ACCESS EDGE COMPUTING}METHOD AND APPARATUS FOR PROVIDING INTERNET OF VEHICLE APPLICATION SERVICE IN MULTI ACCESS EDGE COMPUTING

이하의 설명은 차량 인터넷(internet of vehicle, IoV) 어플리케이션 서비스 제공 방법 및 장치에 관한 것으로, 다중 액세스 엣지 컴퓨팅(multi-access edge computing, MEC) 환경에서 차량 인터넷 어플리케이션 서비스를 제공하는 방법 및 장치에 관한 것이다. The following description relates to a method and apparatus for providing an Internet of vehicle (IoV) application service, and relates to a method and apparatus for providing an Internet of vehicle application service in a multi-access edge computing (MEC) environment will be.

최근 시간 및 데이터 중심의 컴퓨팅 연산(예, 이미지/영상 기반의 on-road 물체 인식, 환경(scene) 인식)을 통해 HD map 생성, 도로 공사 탐지, 3D 현장 재구성(3D scene reconstruction)과 같은 IoV(internet of vehicle) 어플리케이션들이 최근 생겨나고 있다. IoV 어플리케이션들은 운전자 및 승객들에게 더 나은 사용자 경험 및 안전을 제공하기 위해 차량에 설치되어 있는 여러 센서(i.e. 카메라, 라이다, 레이더, 등)가 제공하는 실시간 교통 탐지 데이터의 수집 및 분석이 필요하다. Recently, through time- and data-driven computing operations (eg, image/video-based on-road object recognition, scene recognition), IoV (such as HD map generation, road construction detection, and 3D scene reconstruction) Internet of vehicle) applications are emerging recently. IoV applications require the collection and analysis of real-time traffic detection data provided by multiple sensors (ie cameras, lidar, radar, etc.) installed in the vehicle to provide a better user experience and safety for drivers and passengers. .

따라서 짧은 응답시간에 대량의 데이터를 처리하기 위해서 고성능의 컴퓨팅 자원이 필요하다. 대부분의 차량들은 이러한 컴퓨팅 작업들을 차량 내의 한정적인 자원으로 처리할 수 없을 것이다. 이러한 기술적 문제를 해결하기 위해, 새로운 패러다임으로 불리는 다중 액세스 엣지 컴퓨팅(multi-access edge computing, MEC)는 무선 접속망(radio access network)에 근접한 모바일 사용자들에게 클라우드(포그 클라우드)처럼 컴퓨팅 자원을 제공하기 위해 제안되었다. 또한 5G 통신 기지국과 같은 엣지 네트워크에서 클라이언트 차량에서 생성된 컴퓨팅 태스크를 MEC 디바이스로 오프로딩하기 위해서 제안되었다.Therefore, high-performance computing resources are required to process large amounts of data in a short response time. Most vehicles will not be able to handle these computing tasks with limited resources within the vehicle. To solve this technical problem, multi-access edge computing (MEC), called a new paradigm, provides computing resources like a cloud (fog cloud) to mobile users in close proximity to a radio access network. was proposed for It has also been proposed to offload computing tasks generated in client vehicles to MEC devices in edge networks such as 5G communication base stations.

다중 액세스 엣지 컴퓨팅을 사용하는 경우, 자율 주행 차량은 계산 오프 로딩을 통해 새로운 IoV (internet-of-vehicles) 어플리케이션을 위한 시간 민감성 연산 작업 및 데이터 집약적인 연산 작업을 처리할 수 있다. 그러나 같은 위치에 배치된 자율 주행 차량에서 생성되는 대량의 데이터들은 일반적으로 중복되므로, 제한된 네트워크 대역폭으로 인해 심각한 문제가 발생할 수 있다. With multi-access edge computing, autonomous vehicles can handle time-sensitive computational tasks and data-intensive computational tasks for new Internet-of-vehicles (IoV) applications with computational offloading. However, since large amounts of data generated by autonomous vehicles located at the same location are usually duplicated, a serious problem may arise due to limited network bandwidth.

또한 엣지 서버 측에서 이러한 계산 집약적인 연산 작업은, 리소스가 제한되는 MEC 디바이스에 심각한 부하를 가할 수 있어, 어플리케이션의 성능 효율성을 저하시킬 수 있다. In addition, such a computationally intensive operation on the edge server side may place a serious load on the resource-limited MEC device, thereby reducing the performance efficiency of the application.

본 개시는 차량 인터넷 어플리케이션 서비스를 제공하기 위해 차량으로부터 수신한 데이터들 중에서, 중복되는 데이터들의 처리를 방지함으로써, 연산량을 감소시키는 차량 인터넷 어플리케이션 서비스를 제공하기 위한 방법 및 장치를 제공함에 있다. An object of the present disclosure is to provide a method and apparatus for providing a vehicle Internet application service that reduces the amount of computation by preventing processing of duplicate data among data received from a vehicle to provide the vehicle Internet application service.

본 개시에서 이루고자 하는 기술적 목적들은 이상에서 언급한 사항들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 이하 설명할 본 개시의 실시 예들로부터 본 개시의 기술 구성이 적용되는 기술분야에서 통상의 지식을 가진 자에 의해 고려될 수 있다. The technical objects to be achieved in the present disclosure are not limited to the above, and other technical problems not mentioned are common knowledge in the technical field to which the technical configuration of the present disclosure is applied from the embodiments of the present disclosure to be described below. can be considered by those with

본 발명은 차량으로부터 수신한 데이터들 중에서, 중복되는 데이터들의 처리를 방지하고, 데이터 처리를 엣지 컴퓨팅 노드들에 분산함으로써, 차량 인터넷 어플리케이션 서비스를 제공하기 위한 연산량을 낮추는 것을 특징으로 한다. The present invention is characterized in that, among data received from a vehicle, the amount of calculation for providing a vehicle Internet application service is lowered by preventing overlapping data processing and distributing the data processing to edge computing nodes.

본 개시의 일 예로서, IoV(internet of vehicle) 어플리케이션 서비스를 제공하는 제1 MEC 디바이스의 동작 방법은, 차량 통신 노드들로부터 상기 차량 통신 노드들 각각에 의해 촬영된 이미지의 메타 데이터들을 수신하는 단계; 수신한 상기 이미지의 메타 데이터들을 기초로 상기 차량 통신 노드들 중에서 적어도 일부의 차량 통신 노드들에 요청하고자 하는 이미지 데이터를 결정하는 단계; 상기 적어도 일부의 차량 통신 노드들에게 상기 요청하고자 하는 이미지들에 관한 정보를 전송하는 단계; 상기 적어도 일부의 차량 통신 노드들로부터 요청한 상기 이미지들을 수신하는 단계; 및 상기 적어도 일부의 차량 통신 노드들로부터 수신한 상기 이미지들을 데이터베이스에 저장하는 단계를 포함할 수 있다. As an example of the present disclosure, a method of operating a first MEC device that provides an Internet of vehicle (IoV) application service includes: receiving metadata of an image captured by each of the vehicle communication nodes from vehicle communication nodes; ; determining image data to be requested from at least some of the vehicle communication nodes among the vehicle communication nodes based on the received metadata of the image; transmitting information about the requested images to the at least some of the vehicle communication nodes; receiving the requested images from the at least some vehicle communication nodes; and storing the images received from the at least some vehicle communication nodes in a database.

여기서, 상기 이미지의 메타 데이터는, 상기 이미지의 촬영된 장소의 위치 정보, 촬영된 시간 정보 및 심도(depth of field, DOF)에 관한 정보를 포함할 수 있다. Here, the meta data of the image may include location information of a location where the image was captured, information about the time of capturing the image, and information about a depth of field (DOF).

여기서, 상기 적어도 일부의 차량 통신 노드들에 요청하고자 하는 이미지 데이터를 결정하는 단계는, 상기 데이터베이스에 미리 저장된 이미지들의 영역과 수신한 상기 이미지의 메타 데이터에 의해 지시되는 영역을 비교하는 단계; 상기 비교 결과를 기초로 수신한 상기 이미지의 메타 데이터에 의해 지시되는 영역 중에서, 상기 미리 저장된 이미지들의 영역과 중첩되는 중첩 영역을 결정하는 단계; 및 상기 수신한 이미지의 메타 데이터에 의해 지시되는 영역 중에서, 상기 중첩 영역을 제외하는 단계를 포함하고, 상기 요청하고자 하는 이미지 데이터들은, 상기 이미지 중에서, 상기 중첩 영역이 제외된 이미지일 수 있다. Here, the determining of the image data to be requested from the at least some of the vehicle communication nodes may include: comparing an area of images previously stored in the database with an area indicated by the received metadata of the image; determining an overlapping area overlapping the pre-stored image area from among areas indicated by the metadata of the received image based on the comparison result; and excluding the overlapping area from the area indicated by the metadata of the received image, wherein the requested image data may be an image from which the overlapping area is excluded from the image.

여기서, 동작 방법은, 상기 메타 데이터들 각각의 영역과 상기 미리 저장된 이미지들과의 중첩 영역의 비율인 중첩도를 산출하는 단계; 및 상기 메타 데이터들 중에서 가장 높은 중첩도를 갖는 메타 데이터를 결정하는 단계를 포함하고, 상기 요청하고자 하는 이미지 데이터들은, 상기 결정된 가장 높은 중첩도를 갖는 메타 데이터에 대응되는 이미지 중에서, 상기 중첩 영역이 제외된 이미지일 수 있다. Here, the method includes: calculating an overlap, which is a ratio of an overlapping area between each area of the meta data and the pre-stored images; and determining meta data having the highest degree of overlap among the meta data, wherein the requested image data includes, among images corresponding to the determined meta data having the highest degree of overlap, the overlapping area It may be an excluded image.

여기서, 동작 방법은 상기 데이터베이스에 저장된 이미지들 각각의 타임스탬프 정보를 기초로 상기 데이터베이스에 저장된 이미지들 각각의 유효성 파라미터를 산출하는 단계; 상기 유효성 파라미터를 기초로 상기 데이터베이스에 저장된 이미지들 각각의 유효성을 확인하는 단계; 및 상기 데이터베이스에 저장된 이미지들 중에서, 유효성이 확인되지 않은 적어도 일부의 이미지들을 삭제하는 단계를 포함할 수 있다. Here, the operating method includes calculating a validity parameter of each of the images stored in the database based on timestamp information of each of the images stored in the database; checking the validity of each of the images stored in the database based on the validity parameter; and deleting at least some images whose validity has not been confirmed from among the images stored in the database.

여기서, 동작 방법은 상기 제1 MEC 디바이스 이외의 복수의 MEC 디바이스들로부터 태스크를 분할하여 할당하기 위한 파라미터들을 수신하는 단계; 상기 파라미터들을 기초로 상기 태스크의 일부인 서브태스크 할당에 따른 비용을 산출하는 단계; 상기 복수의 MEC 디바이스들에게 서브태스크를 할당하는 단계; 상기 복수의 MEC 디바이스들 각각으로부터 상기 서브태스크 수행 결과 데이터들을 수신하는 단계; 및 상기 서브태스크 수행 결과 데이터들을 기초로 상기 태스크를 수행하는 단계를 포함할 수 있다. Here, the operating method includes: receiving parameters for dividing and allocating a task from a plurality of MEC devices other than the first MEC device; calculating a cost according to assignment of a subtask that is a part of the task based on the parameters; allocating subtasks to the plurality of MEC devices; receiving the subtask performance result data from each of the plurality of MEC devices; and performing the task based on data as a result of performing the subtask.

여기서. 상기 태스크는, 상기 데이터베이스에 저장된 이미지들을 스티칭하는 작업이고, 상기 서브태스크는, 상기 데이터베이스에 저장된 이미지들 중에서, 일부의 이미지들을 스티칭하는 작업일 수 있다.here. The task may be a task of stitching images stored in the database, and the subtask may be a task of stitching some images among images stored in the database.

여기서, 상기 파라미터들은, 서브태스크를 할당하기 위한 데이터의 전송으로 인해 소모되는 자원의 단위 비용, 서브태스크의 수행으로 인해 소모되는 단위 컴퓨팅 자원 당 가격, 및 서브태스크 수행 결과 데이터의 전송으로 인해 소모되는 자원의 단위 비용에 관한 정보를 포함할 수 있다. 는, 동작 방법. Here, the parameters are a unit cost of a resource consumed due to transmission of data for allocating a subtask, a price per unit computing resource consumed due to the execution of the subtask, and data consumed due to transmission of data as a result of performing the subtask. It may include information about the unit cost of the resource. , how it works.

본 개시의 일 예로서, IoV(internet of vehicle) 어플리케이션 서비스를 제공하는 제1 MEC는, 송수신기; 및 상기 송수신기에 결합된 프로세서를 포함하고, 상기 프로세서는, 차량 통신 노드들로부터 상기 차량 통신 노드들 각각에 의해 촬영된 이미지의 메타 데이터들을 수신하고; 수신한 상기 이미지의 메타 데이터들을 기초로 상기 차량 통신 노드들 중에서 적어도 일부의 차량 통신 노드들에 요청하고자 하는 이미지 데이터를 결정하고; 상기 적어도 일부의 차량 통신 노드들에게 상기 요청하고자 하는 이미지들에 관한 정보를 전송하고; 상기 적어도 일부의 차량 통신 노드들로부터 요청한 상기 이미지들을 수신하고; 그리고 상기 적어도 일부의 차량 통신 노드들로부터 수신한 상기 이미지들을 데이터베이스에 저장할 수 있다. As an example of the present disclosure, a first MEC providing an Internet of vehicle (IoV) application service includes a transceiver; and a processor coupled to the transceiver, the processor configured to: receive meta data from vehicle communication nodes of an image captured by each of the vehicle communication nodes; determining image data to be requested from at least some of the vehicle communication nodes among the vehicle communication nodes based on the received metadata of the image; transmitting information about the images to be requested to the at least some of the vehicle communication nodes; receive the requested images from the at least some vehicular communication nodes; In addition, the images received from the at least some of the vehicle communication nodes may be stored in a database.

여기서, 상기 이미지의 메타 데이터는, 상기 이미지의 촬영된 장소의 위치 정보, 촬영된 시간 정보 및 심도(depth of field, DOF)에 관한 정보를 포함할 수 있다. Here, the meta data of the image may include location information of a location where the image was captured, information about the time of capturing the image, and information about a depth of field (DOF).

여기서, 상기 프로세서는, 상기 적어도 일부의 차량 통신 노드들에 요청하고자 하는 이미지 데이터를 결정함에 있어, 상기 데이터베이스에 미리 저장된 이미지들의 영역과 수신한 상기 이미지의 메타 데이터에 의해 지시되는 영역을 비교하고; 상기 비교 결과를 기초로 수신한 상기 이미지의 메타 데이터에 의해 지시되는 영역 중에서, 상기 미리 저장된 이미지들의 영역과 중첩되는 중첩 영역을 결정하고; 그리고 상기 수신한 이미지의 메타 데이터에 의해 지시되는 영역 중에서, 상기 중첩 영역을 제외하고, 상기 요청하고자 하는 이미지 데이터들은, 상기 이미지 중에서, 상기 중첩 영역이 제외된 이미지일 수 있다. Here, in determining the image data to be requested from the at least some vehicle communication nodes, the processor compares a region of images previously stored in the database with a region indicated by the received metadata of the image; determining an overlapping area overlapping the pre-stored areas of the images from among areas indicated by the metadata of the received images based on the comparison result; In addition, from the area indicated by the metadata of the received image, except for the overlapping area, the image data to be requested may be an image in which the overlapping area is excluded from the image.

여기서, 상기 프로세서는, 상기 메타 데이터들 각각의 영역과 상기 미리 저장된 이미지들과의 중첩 영역의 비율인 중첩도를 산출하고; 그리고 상기 메타 데이터들 중에서 가장 높은 중첩도를 갖는 메타 데이터를 결정하는 단계를 포함하고, 상기 요청하고자 하는 이미지 데이터들은, 상기 결정된 가장 높은 중첩도를 갖는 메타 데이터에 대응되는 이미지 중에서, 상기 중첩 영역이 제외된 이미지일 수 있다. Here, the processor calculates an overlapping degree, which is a ratio of an overlapping area between each area of the metadata and the pre-stored images; and determining metadata having the highest degree of overlap among the metadata, wherein the requested image data includes, among images corresponding to the determined metadata having the highest degree of overlap, the overlapping area It may be an excluded image.

여기서, 상기 프로세서는, 상기 데이터베이스에 저장된 이미지들 각각의 타임스탬프 정보를 기초로 상기 데이터베이스에 저장된 이미지들 각각의 유효성 파라미터를 산출하고; 상기 유효성 파라미터를 기초로 상기 데이터베이스에 저장된 이미지들 각각의 유효성을 확인하고; 그리고 상기 데이터베이스에 저장된 이미지들 중에서, 유효성이 확인되지 않은 적어도 일부의 이미지들을 삭제할 수 있다. Here, the processor calculates a validity parameter of each of the images stored in the database based on timestamp information of each of the images stored in the database; check the validity of each of the images stored in the database based on the validity parameter; In addition, from among the images stored in the database, at least some images whose validity has not been confirmed may be deleted.

여기서, 상기 프로세서는, 상기 제1 MEC 디바이스 이외의 복수의 MEC 디바이스들로부터 태스크를 분할하여 할당하기 위한 파라미터들을 수신하고; 상기 파라미터들을 기초로 상기 태스크의 일부인 서브태스크 할당에 따른 비용을 산출하고; 상기 복수의 MEC 디바이스들에게 서브태스크를 할당하고; 상기 복수의 MEC 디바이스들 각각으로부터 상기 서브태스크 수행 결과 데이터들을 수신하고; 그리고 상기 서브태스크 수행 결과 데이터들을 기초로 상기 태스크를 수행할 수 있다. Here, the processor receives parameters for dividing and allocating a task from a plurality of MEC devices other than the first MEC device; calculating a cost for allocating a subtask that is part of the task based on the parameters; allocating a subtask to the plurality of MEC devices; receive the subtask performance result data from each of the plurality of MEC devices; In addition, the task may be performed based on data as a result of performing the subtask.

여기서, 상기 태스크는, 상기 데이터베이스에 저장된 이미지들을 스티칭하는 작업이고, 상기 서브태스크는, 상기 데이터베이스에 저장된 이미지들 중에서, 일부의 이미지들을 스티칭하는 작업일 수 있다. Here, the task may be a task of stitching images stored in the database, and the subtask may be a task of stitching some images among images stored in the database.

여기서, 상기 파라미터들은, 서브태스크를 할당하기 위한 데이터의 전송으로 인해 소모되는 자원의 단위 비용, 서브태스크의 수행으로 인해 소모되는 단위 컴퓨팅 자원 당 가격, 및 서브태스크 수행 결과 데이터의 전송으로 인해 소모되는 자원의 단위 비용에 관한 정보를 포함할 수 있다. Here, the parameters are a unit cost of a resource consumed due to transmission of data for allocating a subtask, a price per unit computing resource consumed due to the execution of the subtask, and data consumed due to transmission of data as a result of performing the subtask. It may include information about the unit cost of the resource.

본 개시에 기초한 실시 예들에 의해 하기와 같은 효과가 있을 수 있다.The following effects may be obtained by the embodiments based on the present disclosure.

본 개시에 따르면, MEC 디바이스는 차량 통신 노드들로부터 이미지의 메타 데이터를 우선적으로 수신하고, 수신한 메타 데이터를 기초로 추가로 요청하고자 하는 이미지 데이터를 결정함으로써, 차량 통신 노드들로부터 수신한 이미지들을 스티칭할 수 있다. 따라서, 본 개시는 적은 연산량을 소모하는 차량 인터넷 어플리케이션 서비스 방법을 제공할 수 있다. According to the present disclosure, the MEC device preferentially receives metadata of images from vehicle communication nodes and determines image data to be additionally requested based on the received metadata, thereby can be stitched Accordingly, the present disclosure may provide a vehicle Internet application service method that consumes a small amount of computation.

본 개시의 실시 예들에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 이하의 본 개시의 실시 예들에 대한 기재로부터 본 개시의 기술 구성이 적용되는 기술분야에서 통상의 지식을 가진 자에게 명확하게 도출되고 이해될 수 있다. 즉, 본 개시에서 서술하는 구성을 실시함에 따른 의도하지 않은 효과들 역시 본 개시의 실시 예들로부터 당해 기술분야의 통상의 지식을 가진 자에 의해 도출될 수 있다. Effects that can be obtained in the embodiments of the present disclosure are not limited to the above-mentioned effects, and other effects not mentioned are the technical fields to which the technical configuration of the present disclosure is applied from the description of the embodiments of the present disclosure below. It can be clearly derived and understood by those of ordinary skill in the art. That is, unintended effects of implementing the configuration described in the present disclosure may also be derived by those of ordinary skill in the art from the embodiments of the present disclosure.

이하에 첨부되는 도면들은 본 개시에 관한 이해를 돕기 위한 것으로, 상세한 설명과 함께 본 개시에 대한 실시 예들을 제공할 수 있다. 다만, 본 개시의 기술적 특징이 특정 도면에 한정되는 것은 아니며, 각 도면에서 개시하는 특징들은 서로 조합되어 새로운 실시 예로 구성될 수 있다. 각 도면에서의 참조 번호(reference numerals)들은 구조적 구성요소(structural elements)를 의미할 수 있다.
도 1은 본 개시에서 적용되는 통신 네트워크의 구조를 도시한 도면이다.
도 2는 본 개시에서 적용되는 이미지의 메타 데이터들을 기초로 이미지를 스티칭하는 방법을 도시한 도면이다.
도 3은 본 개시에서 적용되는 통신 네트워크를 그리드 형태로 도시한 도면이다.
도 4는 본 개시에서 적용되는 시공간 영역에서 분포되는 이미지들의 분포를 도시한 도면이다.
도 5는 본 개시에서 적용 가능한 이미지에서 중첩 영역 및 추가 영역을 분류한 결과를 도시한 도면이다.
도 6은 본 개시에서 적용되는 컴퓨팅 작업을 분산하는 MEC 디바이스를 포함하는 통신 네트워크의 구조를 도시한 도면이다.
도 7은 본 개시에서 적용되는 컴퓨팅 작업을 분산하는 MEC 디바이스의 동작을 도시한 도면이다.
The accompanying drawings below are provided to help understanding of the present disclosure, and together with the detailed description, may provide embodiments of the present disclosure. However, the technical features of the present disclosure are not limited to specific drawings, and features disclosed in each drawing may be combined with each other to constitute a new embodiment. Reference numerals in each drawing may refer to structural elements.
1 is a diagram illustrating a structure of a communication network applied in the present disclosure.
2 is a diagram illustrating a method of stitching an image based on metadata of an image applied in the present disclosure.
3 is a diagram illustrating a communication network applied in the present disclosure in a grid form.
4 is a diagram illustrating a distribution of images distributed in a space-time domain applied in the present disclosure.
5 is a diagram illustrating a result of classifying an overlapping region and an additional region in an image applicable to the present disclosure.
6 is a diagram illustrating a structure of a communication network including an MEC device for distributing computing tasks applied in the present disclosure.
7 is a diagram illustrating an operation of an MEC device for distributing computing tasks applied in the present disclosure.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.Since the present invention can have various changes and can have various embodiments, specific embodiments are illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the present invention to specific embodiments, and it should be understood to include all modifications, equivalents and substitutes included in the spirit and scope of the present invention. In describing each figure, like reference numerals have been used for like elements.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.Terms such as first, second, etc. may be used to describe various elements, but the elements should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, a first component may be referred to as a second component, and similarly, a second component may also be referred to as a first component. and/or includes a combination of a plurality of related listed items or any of a plurality of related listed items.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.When an element is referred to as being “connected” or “connected” to another element, it is understood that it may be directly connected or connected to the other element, but other elements may exist in between. it should be On the other hand, when it is said that a certain element is "directly connected" or "directly connected" to another element, it should be understood that the other element does not exist in the middle.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the present application are only used to describe specific embodiments, and are not intended to limit the present invention. The singular expression includes the plural expression unless the context clearly dictates otherwise. In the present application, terms such as “comprise” or “have” are intended to designate that a feature, number, step, operation, component, part, or combination thereof described in the specification exists, but one or more other features It should be understood that this does not preclude the existence or addition of numbers, steps, operations, components, parts, or combinations thereof.

이하, 첨부한 도면들을 참조하여, 본 발명의 실시예들을 상세하게 설명한다. 이하, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. Hereinafter, the same reference numerals are used for the same components in the drawings, and repeated descriptions of the same components are omitted.

최근, 시간 및 데이터 중심의 컴퓨팅 연산을 통해 차량 사용자에게 편의성을 제공하는 IoV(internet of vehicle) 어플리케이션들이 개발되고 있다. IoV 어플리케이션들을 제공하기 위해, IoV 어플리케이션 서비스 제공자는 차량에 설치되어 있는 다양한 센서들(예를 들어, 카메라, 라이다, 레이더, 등)로부터 획득한 실시간 교통 데이터들을 수집하고 분석해야 한다. Recently, Internet of vehicle (IoV) applications that provide convenience to vehicle users through time- and data-oriented computing operations have been developed. In order to provide IoV applications, an IoV application service provider needs to collect and analyze real-time traffic data obtained from various sensors (eg, camera, lidar, radar, etc.) installed in a vehicle.

짧은 응답 시간 이내에 대량의 데이터를 처리하기 위해서, 고성능의 컴퓨팅 자원이 필요하다. 따라서, 무선 접속망(Radio Access Network)에 근접한 모바일 사용자들에게 클라우드(포그 클라우드)처럼 컴퓨팅 자원을 제공할 수 있는 다중 액세스 엣지 클라우딩(multi access edge clouding, MEC) 기술이 제안되었다. 또한 MEC 기술은 5G 통신 기지국과 같은 엣지 네트워크로 하여금, 클라이언트 차량에 의해 생성된 컴퓨팅 태스크를 하위 서버들에게 오프로딩하는 방안을 제공하기 위해서 제안되었다. In order to process a large amount of data within a short response time, high-performance computing resources are required. Accordingly, a multi-access edge clouding (MEC) technology capable of providing computing resources like a cloud (fog cloud) to mobile users close to a radio access network has been proposed. In addition, the MEC technology has been proposed to provide a method for an edge network such as a 5G communication base station to offload a computing task generated by a client vehicle to lower-level servers.

대부분의 MEC 기술 분야의 연구들은 서비스 지연 시간 감소 또는 에너지 효율 개선을 위한 사용자의 태스크 오프로딩에 대한 최적화 방법과 컴퓨팅/통신 자원 할당 방법을 개선하기 위해 진행되었다. 하지만, MEC 환경에서 차량 통신 노드들로부터 획득한 대량의 교통 데이터들은 종종 누락되거나 처리되지 않을 수 있다. Most studies in the field of MEC technology have been conducted to improve an optimization method for user task offloading and a method for allocating computing/communication resources to reduce service delay time or improve energy efficiency. However, a large amount of traffic data obtained from vehicle communication nodes in an MEC environment may often be missing or not processed.

예를 들어, 이동 중인 차량 통신 노드의 주변에서 동일하거나 유사한 다량의 영상 데이터 및/또는 분석 결과가 중복적으로 발생할 수 있다. 동일한 장소의 차량 통신 노드들로부터 획득한 중복되는 영상들은 이미지 스티칭 및/또는 이미지 병합을 통해 하나의 이미지로 병합될 수 있다. 병합된 이미지는 보다 정확하고 세밀한 주변 환경 정보를 제공할 수 있다. For example, the same or similar large amount of image data and/or analysis results may be duplicated in the vicinity of a moving vehicle communication node. The overlapping images obtained from vehicle communication nodes in the same place may be merged into one image through image stitching and/or image merging. The merged image can provide more accurate and detailed surrounding environment information.

하지만, 만약 차량 통신 노드들 각각이 캡처한 모든 이미지 및/또는 영상들을 컴퓨팅 연산을 위해 MEC 디바이스에게 전송하는 경우, MEC 디바이스는 중복되는 이미지들로 인해 저지연 서비스를 보장하기 어렵다. 따라서 MEC 환경의 통신 노드들은 중복 데이터를 삭제함으로써, 통신 자원 및 연산 자원의 낭비를 최소화하여야 한다. However, if each of the vehicle communication nodes transmits all images and/or images captured by the MEC device to the MEC device for computational operation, it is difficult for the MEC device to guarantee a low-latency service due to overlapping images. Therefore, communication nodes in the MEC environment should minimize waste of communication resources and computational resources by deleting redundant data.

MEC 디바이스들은 차량 외부의 주변 환경을 보다 상세하게 제공하기 위해 차량 통신 노드로부터 수신한 이미지와 영상들을 병합 또는 스티칭한다. MEC 디바이스는 이미지 스티칭과 같이 고성능 연산 자원을 요구하는 작업을 실행함으로써, 매우 큰 컴퓨팅 비용을 소모할 수 있다. 또한, MEC 디바이스의 컴퓨팅 비용이 높게 발생되는 경우, 컴퓨팅 연산의 과도한 소모로 인한 지연과 낮은 품질 서비스를 제공할 우려가 있다. MEC devices merge or stitch images and images received from a vehicle communication node to provide a more detailed environment around the vehicle exterior. MEC devices may consume very large computing costs by executing tasks that require high-performance computational resources, such as image stitching. In addition, when the computing cost of the MEC device is high, there is a risk of providing a delay and low quality service due to excessive consumption of computing operations.

상기 문제점들을 해결하기 위해, IoV 어플리케이션 서비스 제공자는 일정 범위의 장소에 위치한 MEC 디바이스들을 병합하고 컴퓨팅 자원을 가상화 풀로 구성할 수 있다. 그리고 MEC 디바이스들은 컴퓨팅 워크 로드를 공유할 수 있다. 하지만, 인접한 범위에 위치하는 MEC 디바이스들을 병합하는 경우, 컴퓨팅 연산 자원과 통신 자원, 양쪽에서 비용이 발생한다. 여기서, MEC 디바이스들은 다른 모바일 운영자(다른 서비스 제공자)에 의해 운영되고 유지된다. 따라서, 경제적인 이유로 MEC 디바이스 운영자들은 일정 보수 없이 병합 그룹에 참여하는 것을 거부할 수 있다. To solve the above problems, the IoV application service provider may merge MEC devices located in a certain range of places and configure computing resources into a virtualization pool. And MEC devices can share the computing workload. However, when MEC devices located in adjacent ranges are merged, costs are incurred in both computing computational resources and communication resources. Here, the MEC devices are operated and maintained by different mobile operators (other service providers). Therefore, for economic reasons, MEC device operators may refuse to participate in the merge group without a certain remuneration.

따라서 상기의 문제점들을 해결하기 위해, 일차적으로 차량 통신 노드들로부터의 중복 데이터를 제거하고, MEC 운영 비용(i.e. 통신 및 컴퓨팅 비용)을 최적화함으로써, 병합된 MEC 디바이스들 간의 협업을 위한 컴퓨팅 자원을 할당하는 메커니즘을 개발하였다. Therefore, in order to solve the above problems, by first removing redundant data from vehicle communication nodes and optimizing MEC operation costs (ie communication and computing costs), computing resources for collaboration between merged MEC devices are allocated. a mechanism was developed.

차량 통신 노드들로부터 수집되는 이미지 셋의 데이터 중복 완화와 협업 기반의 이미지 스티칭 처리를 수행하는 어플리케이션 제공자는 네트워크의 통신 노드들과 효율적으로 통신하고, 컴퓨팅 자원을 효율적으로 관리하여야 한다. 따라서, 본 개시에서 제안하는 메커니즘의 프레임워크는 크게 2단계로 구성된다. An application provider that performs image stitching processing based on data duplication mitigation and collaboration of an image set collected from vehicle communication nodes must communicate effectively with communication nodes of a network and efficiently manage computing resources. Therefore, the framework of the mechanism proposed in the present disclosure is largely composed of two steps.

첫 번째는, 로드 재구성 서비스를 제공하기 위해 차량 통신 노드는 촬영한 이미지의 시간, 공간적인 정보를 담고 있는 메타 데이터(예를 들어, 위치 정보, 시간, 심도 정보 등)을 근거리 전용 고속 패킷 무선 통신 프로토콜인 LTE/DSRC(dedicated short range communication)를 통해 MEC 디바이스에게 전송한다. 그리고 MEC 디바이스는 수집한 이미지의 메타 데이터를 기초로, 전체 이미지 중에서 최적의 이미지 셋을 결정한다. 즉, 차량 통신 노드는 모든 이미지를 전송하지 않고 이미지의 메타 데이터만을 우선적으로 전송함으로써, 네트워크 대역폭의 사용량을 절감할 수 있다. First, in order to provide a load reconfiguration service, the vehicle communication node transmits metadata (eg, location information, time, depth information, etc.) It is transmitted to the MEC device through the LTE/DSRC (dedicated short range communication) protocol. And the MEC device determines the optimal set of images from among all the images based on the metadata of the collected images. That is, the vehicle communication node does not transmit all images but preferentially transmits only image metadata, thereby reducing network bandwidth usage.

두 번째로, 단일 MEC 디바이스는 컴퓨팅 자원의 제한으로 인해, IoV 어플리케이션 서비스를 제공하기 위해 요구되는 지연 시간 조건을 충족할 수 있는 고성능 연산을 수행하지 못할 수 있다. 따라서, 본 개시는 고성능 연산 작업을 분산함으로써, 효율적인 MEC 협업을 기반으로 저비용, 고성능 컴퓨팅 서비스를 제공하기 위해 설계되었다. 하나의 MEC 디바이스는 근접한 MEC 디바이스들의 유휴 컴퓨팅 자원, 작업 크기, 전송 비용을 고려하여 자원 사용(임대) 비용을 책정할 수 있다. MEC 디바이스는 책정된 컴퓨팅 자원 사용 비용을 기반으로, 작업을 할당할 인접 영역의 엣지 서버를 선택하고, 최적의 서비스 비용으로 태스크의 일부인 서브태스크를 할당하거나 수행할 수 있다. Second, a single MEC device may not be able to perform a high-performance operation capable of satisfying a latency condition required to provide an IoV application service due to a limitation of computing resources. Accordingly, the present disclosure is designed to provide a low-cost, high-performance computing service based on efficient MEC collaboration by distributing high-performance computational tasks. One MEC device may set a resource use (lease) cost in consideration of idle computing resources, work sizes, and transmission costs of adjacent MEC devices. The MEC device may select an edge server in an adjacent area to allocate a task based on the determined cost of using computing resources, and allocate or perform subtasks that are part of the task at an optimal service cost.

도 1은 본 개시에서 적용되는 통신 네트워크의 구조를 도시한 도면이다. 1 is a diagram illustrating a structure of a communication network applied in the present disclosure.

도 1을 참조하면, 통신 네트워크는 차량 통신 노드들(102-1 내지 102-9), MEC 디바이스(104-1 내지 104-3) 및 중앙 컨트롤러를 포함할 수 있다. Referring to FIG. 1 , a communication network may include vehicle communication nodes 102-1 to 102-9, MEC devices 104-1 to 104-3, and a central controller.

차량 통신 노드(102-1 내지 102-9)는 차량에 부착되어 통신 기능을 수행하는 노드이다. 차량 통신 노드(102-1 내지 102-9)는 이미지 센서를 포함하고, 이미지 센서를 이용하여, 주기적으로 차량 통신 노드 주변의 이미지를 촬영할 수 있다. 즉, 차량 통신 노드(102-1 내지 102-9)는 촬영된 이미지 셋(set of captured images)을 획득할 수 있다. 여기서, 이미지 센서는 카메라, 레이더, 라이다 등과 같은 이미지 센서일 수 있다. The vehicle communication nodes 102-1 to 102-9 are nodes that are attached to a vehicle and perform a communication function. The vehicle communication nodes 102-1 to 102-9 may include an image sensor, and may periodically photograph an image around the vehicle communication node by using the image sensor. That is, the vehicle communication nodes 102-1 to 102-9 may acquire a set of captured images. Here, the image sensor may be an image sensor such as a camera, radar, or lidar.

차량 통신 노드(102-1 내지 102-9)는 이미지를 촬영할 때마다 이미지의 메타 데이터들을 자동적으로 생성하고, 생성한 이미지의 메타 데이터들을 저장한다. 이미지의 메타 데이터들은 이미지의 촬영 장소, 촬영 방법, 촬영 시간 등의 정보를 지시할 수 있다. 예를 들어, 서로 다른 차량 통신 노드들(102-1 내지 102-9) 각각이 동일한 시간에 동일한 장소에서 사진을 촬영한 경우, 서로 다른 차량 통신 노드들(102-1 내지 102-9)이 촬영한 이미지들은 동일한 이미지로 인식될 수 있다. 즉, 차량 통신 노드(102-1 내지 102-9)들 각각이 획득한 이미지는 중복된 이미지들(duplicated images)을 포함할 수 있다. The vehicle communication nodes 102-1 to 102-9 automatically generate meta data of an image whenever an image is captured, and store meta data of the generated image. Metadata of the image may indicate information such as a photographing location, photographing method, and photographing time of the image. For example, when the different vehicle communication nodes 102-1 to 102-9 each take a picture at the same time and at the same place, the different vehicle communication nodes 102-1 to 102-9 are photographed One image may be recognized as the same image. That is, the image acquired by each of the vehicle communication nodes 102-1 to 102-9 may include duplicated images.

MEC 디바이스(104-1 내지 104-3)는 차량 통신 노드(102-1 내지 102-9)에 의해 촬영된 이미지들을 수집하고, 수집한 이미지들을 스티칭하여 도로 재구성 서비스를 제공할 수 있다. MEC 디바이스(104-1 내지 104-3)는 도로의 일부분의 이미지(partial view of road)를 확보할 수 있다. MEC 디바이스(104-1 내지 104-3)는 기지국과 연결될 수 있으며, 연결된 기지국을 통해 차량 통신 노드들로부터 이미지를 수신할 수 있다. MEC 디바이스(104-1 내지 104-3)는 이미지 스티칭 기술을 활용하여 차량의 주위를 볼 수 있는 어라운드 뷰를 구성하기 위한 도로 재구성 서비스를 제공할 수 있다. MEC 디바이스(104-1 내지 104-3)는 차량 통신 노드(102-1 내지 102-9)로부터 제공받은 이미지들을 스티칭하고, 도로 이미지를 재구성할 수 있다. The MEC devices 104-1 to 104-3 may collect images captured by the vehicle communication nodes 102-1 to 102-9, and may provide a road reconstruction service by stitching the collected images. The MEC devices 104 - 1 to 104 - 3 may obtain a partial view of road. The MEC devices 104 - 1 to 104 - 3 may be connected to a base station, and may receive images from vehicle communication nodes through the connected base station. The MEC devices 104 - 1 to 104 - 3 may provide a road reconstruction service for constructing an around view of the vehicle by utilizing image stitching technology. The MEC devices 104-1 to 104-3 may stitch images provided from the vehicle communication nodes 102-1 to 102-9 and reconstruct the road image.

MEC 디바이스들(104-1 내지 104-3)은 중앙 컨트롤러(central controller)와 연결될 수 있다. 중앙 컨트롤러는 MEC 디바이스들(104-1 내지 104-3)과 연결되어, MEC 디바이스들(104-1 내지 104-3)의 동작을 제어할 수 있다. 중앙 컨트롤러는 MEC 디바이스들로부터 도로 재구성 서비스를 위한 이미지 데이터들을 수신하고, 수신한 이미지 데이터들을 취합할 수 있다. 중앙 컨트롤러는 전역의 이미지(global view)를 확보할 수 있다. The MEC devices 104 - 1 to 104 - 3 may be connected to a central controller. The central controller may be connected to the MEC devices 104-1 to 104-3 to control operations of the MEC devices 104-1 to 104-3. The central controller may receive image data for a road reconstruction service from the MEC devices, and collect the received image data. The central controller can secure a global view.

복수의 차량 통신 노드들(102-1 내지 102-9) 각각은 UE(user equipment), TE(terminal equipment), AMS(advanced mobile station), HR-MS(high reliability-mobile station), 터미널(terminal), 액세스 터미널(access terminal), 모바일 터미널(mobile terminal), 스테이션(station), 가입자 스테이션(subscriber station), 모바일 스테이션(mobile station), 휴대 가입자 스테이션(portable subscriber station), 노드(node), 디바이스(device), OBU(on board unit) 등으로 지칭될 수 있다. Each of the plurality of vehicle communication nodes 102-1 to 102-9 is a user equipment (UE), a terminal equipment (TE), an advanced mobile station (AMS), a high reliability-mobile station (HR-MS), a terminal (terminal) ), access terminal, mobile terminal, station, subscriber station, mobile station, portable subscriber station, node, device (device), may be referred to as an on board unit (OBU), and the like.

MEC 디바이스들(104-1 내지 104-3)에 연결되는 복수의 기지국들 각각은 NB(NodeB), eNB(evolved NodeB), gNB, ABS(advanced base station), HR-BS(high reliability-base station), BTS(base transceiver station), 무선 기지국(radio base station), 무선 트랜시버(radio transceiver), 액세스 포인트(access point), 액세스 노드(node), RAS(radio access station), MMR-BS(mobile multihop relay-base station), RS(relay station), ARS(advanced relay station), HR-RS(high reliability-relay station), HNB(home NodeB), HeNB(home eNodeB), RSU(road side unit), RRH(radio remote head), TP(transmission point), TRP(transmission and reception point) 등으로 지칭될 수 있다. Each of the plurality of base stations connected to the MEC devices 104-1 to 104-3 is a NodeB (NB), an evolved NodeB (eNB), a gNB, an advanced base station (ABS), a high reliability-base station (HR-BS) ), BTS (base transceiver station), wireless base station (radio base station), wireless transceiver (radio transceiver), access point (access point), access node (node), RAS (radio access station), MMR-BS (mobile multihop) relay-base station), RS (relay station), ARS (advanced relay station), HR-RS (high reliability-relay station), HNB (home NodeB), HeNB (home eNodeB), RSU (road side unit), RRH (radio remote head), TP (transmission point), may be referred to as a transmission and reception point (TRP).

MEC 디바이스들(104-1 내지 104-3)에 연결되는 복수의 기지국들 각각은 MIMO 전송, CoMP(coordinated multipoint) 전송, 캐리어 집성(carrier aggregation, CA) 전송, 비면허 대역(unlicensed band)에서 전송, 단말 간 직접 통신(device to device communication, D2D)(또는, ProSe(proximity services)), 차량 간 통신(vehicle to everything, V2X), IoT(Internet of Things) 통신, 이중 연결성(dual connectivity, DC) 등을 지원할 수 있다.Each of the plurality of base stations connected to the MEC devices 104-1 to 104-3 is MIMO transmission, coordinated multipoint (CoMP) transmission, carrier aggregation (CA) transmission, transmission in an unlicensed band, Device to device communication (D2D) (or Proximity services), vehicle to everything (V2X), Internet of Things (IoT) communication, dual connectivity (DC), etc. can support

차량 통신 노드(102-1 내지 102-9)는 MEC 디바이스(104-1 내지 104-3)에 연결된 기지국과 V2I(vehicle to infrastructure) 링크를 통해 연결될 수 있다. MEC 디바이스(104-1 내지 104-3)에 연결된 기지국은 다른 MEC 디바이스(104-1 내지 104-3)에 연결된 기지국과 X2 링크를 통해 연결될 수 있다. 그리고 MEC 디바이스(104-1 내지 104-3)에 연결된 기지국들은 중앙 컨트롤러와 파이버 링크(fiber link)를 통해 연결될 수 있다. The vehicle communication nodes 102-1 to 102-9 may be connected to a base station connected to the MEC devices 104-1 to 104-3 through a vehicle to infrastructure (V2I) link. A base station connected to the MEC devices 104-1 to 104-3 may be connected to a base station connected to other MEC devices 104-1 to 104-3 through an X2 link. In addition, base stations connected to the MEC devices 104-1 to 104-3 may be connected to the central controller through a fiber link.

차량 통신 노드들(102-1 내지 102-9) 각각은 주행 성능을 향상시키기 위해 주변 환경에 대한 이미지를 넓게 확보하는 것이 바람직하다. 그러므로 차량 통신 노드들(102-1 내지 102-9)은 이미지 센서를 통해 도로 상태를 촬영하고 촬영한 이미지를 MEC 디바이스(104-1 내지 104-3)에게 전송한다. 하지만 전송되는 이미지 데이터의 용량이 크기 때문에, 차량 통신 노드들(102-1 내지 102-9)의 이미지 전송으로 인해 네트워크에 부하가 발생할 수 있다. 특히 동일한 장소에 위치하는 차량 통신 노드들(102-1 내지 102-9)은 동일한 이미지를 캡처하기 때문에, 동일한 장소에 위치하는 차량 통신 노드들(102-1 내지 102-9)이 이미지를 전송하는 경우, 네트워크에 불필요한 부하가 발생할 수 있다. Each of the vehicle communication nodes 102-1 to 102-9 preferably secures a wide image of the surrounding environment in order to improve driving performance. Therefore, the vehicle communication nodes 102-1 to 102-9 photograph the road condition through the image sensor and transmit the photographed image to the MEC devices 104-1 to 104-3. However, since the capacity of the transmitted image data is large, a load may occur in the network due to the image transmission of the vehicle communication nodes 102-1 to 102-9. In particular, since the vehicle communication nodes 102-1 to 102-9 located in the same place capture the same image, the vehicle communication nodes 102-1 to 102-9 located in the same place transmit the image. In this case, unnecessary load may occur on the network.

또한, 네트워크 및 컴퓨팅 자원에는 한계가 있으므로, MEC 디바이스(104-1 내지 104-3)는 차량 통신 노드(102-1 내지 102-9)에 의해 전송되는 모든 이미지들을 수신하지 않을 수 있으며, 또는 모든 이미지들을 분석하지 않을 수 있다. 따라서, MEC 디바이스(104-1 내지 104-3)는 가장 유용한 이미지를 찾거나 수집하기 위해 컴퓨팅 자원을 효율적으로 사용하여야 한다. In addition, since network and computing resources are limited, the MEC devices 104-1 to 104-3 may not receive all images transmitted by the vehicle communication nodes 102-1 to 102-9, or all Images may not be analyzed. Accordingly, the MEC devices 104-1 to 104-3 must efficiently use computing resources to find or collect the most useful images.

도로 재구성 서비스와 같은 IoV 어플리케이션 서비스를 제공하기 위해, MEC 디바이스(104-1 내지 104-3)는 대량의 컴퓨팅 자원을 소모하고, 작업을 수행할 수 있다. 여기서, MEC 디바이스(104-1 내지 104-3)는 제한된 컴퓨팅 자원으로 인해, IoV 어플리케이션에서 요구하는 응답 시간과 성능을 지원하지 못할 수 있다. In order to provide an IoV application service such as a road reconfiguration service, the MEC devices 104 - 1 to 104 - 3 may consume a large amount of computing resources and perform tasks. Here, the MEC devices 104-1 to 104-3 may not support the response time and performance required by the IoV application due to limited computing resources.

본 발명의 일 실시예에 따르면, 차량 통신 노드와 MEC 디바이스는 이미지의 메타 데이터를 먼저 교환함으로써, 컴퓨팅 자원을 효율적으로 사용할 수 있다. 구체적으로, 차량 통신 노드들 각각은 MEC 디바이스로 하여금 중복된 이미지를 식별하도록 하기 위해 필요한 정보인 이미지의 메타 데이터를 MEC 디바이스에 연결된 기지국에게 전송할 수 있다. MEC 디바이스는 차량들에 의해 촬영된 이미지들 각각의 메타 데이터들을 수집한다. According to an embodiment of the present invention, the vehicle communication node and the MEC device can efficiently use computing resources by first exchanging metadata of an image. Specifically, each of the vehicle communication nodes may transmit metadata of the image, which is information necessary for the MEC device to identify the duplicated image, to a base station connected to the MEC device. The MEC device collects metadata of each image captured by vehicles.

MEC 디바이스는 수집한 이미지의 메타 데이터들을 기초로 중복 데이터를 식별하여 분석하고 처리할 수 있다. MEC 디바이스는 연결된 전체 도로 구조에 대한 이미지를 미리 확보할 수 있기 때문에 도로 상황에 대한 정보를 미리 확보한 상태일 수 있다. 따라서 MEC 디바이스는 새로운 이미지의 필요 여부를 신속하고 효율적으로 결정할 수 있으므로, 네트워크의 부하를 줄일 수 있다. The MEC device may identify, analyze, and process duplicate data based on the metadata of the collected image. Since the MEC device can obtain an image of the entire connected road structure in advance, information on the road condition may be obtained in advance. Accordingly, the MEC device can quickly and efficiently determine whether a new image is needed, thereby reducing the load on the network.

MEC 디바이스는 중복되는 데이터들을 제외한 데이터를 차량 통신 노드에 요청할 수 있다. 차량 통신 노드는 MEC 디바이스로부터 요청 받은 이미지 데이터를 MEC 디바이스에 전송할 수 있다. MEC 디바이스는 차량 통신 노드로부터 수신한 이미지 데이터를 기존에 확보한 이미지들에 스티칭할 수 있다. The MEC device may request data excluding overlapping data from the vehicle communication node. The vehicle communication node may transmit image data requested from the MEC device to the MEC device. The MEC device may stitch image data received from the vehicle communication node to previously secured images.

그리고, 서비스의 컴퓨팅 연산으로 인한 지연 시간을 줄이기 위해, MEC 디바이스는 초과되는 컴퓨팅 작업을 인근 지역에 위치하는 MEC 디바이스들에게 전달함으로써, 협력적으로 컴퓨팅 서비스를 제어할 수 있다. 따라서, MEC서버들은 서로의 중복 작업을 공유하여 협력적으로 작업을 수행할 수 있다. 따라서, 모든 작업의 처리 효율은 향상될 수 있다. In addition, in order to reduce the delay time due to the computing operation of the service, the MEC device may cooperatively control the computing service by transferring the excessive computing task to the MEC devices located in the neighboring area. Therefore, the MEC servers can cooperatively perform tasks by sharing each other's redundant tasks. Accordingly, the processing efficiency of all operations can be improved.

특히, 이미지 스티칭 작업을 수행하는 MEC 디바이스는 이미지를 복수의 더 작은 서브셋(subset) 단위로 분할한다. 그리고 MEC 디바이스는 현재 네트워크 상태 정보를 기초로, 이미지 스티칭 작업을 인근 지역에 위치한 MEC 디바이스들에게 분산하여 할당할 수 있다. 여기서, 네트워크 상태 정보는, 인근 지역에 위치하고, 연결 가능한 MEC 디바이스들의 개수 및/또는 연결 가능한 MEC 디바이스들 각각의 유휴 자원 정보 등을 포함할 수 있다. 협력적인 컴퓨팅 구조로 인근 지역에 위치한 MEC 디바이스들의 참여를 유도하기 위해, MEC서버는 컴퓨팅 자원에 대한 사용 비용을 지불해야 한다. In particular, the MEC device performing the image stitching operation divides the image into a plurality of smaller subset units. In addition, the MEC device may distribute and allocate the image stitching task to MEC devices located in a neighboring area based on the current network state information. Here, the network state information may include information about the number of connectable MEC devices and/or idle resource information of each connectable MEC device located in a nearby area. In order to induce participation of MEC devices located in nearby areas in a cooperative computing structure, the MEC server must pay for the use of computing resources.

외부의 MEC 디바이스들과 협력을 통한 이미지 스티칭 작업 결과, MEC 디바이스는 차량에서 캡쳐된 이미지들을 재구성하여 차량 주위 환경의 이미지를 구성한다. 주위 환경의 이미지를 구성하는데 성공한 MEC 디바이스는 차량의 주행 성능을 향상시키기 위해 주위 환경의 이미지를 차량 통신 노드에게 전송할 수 있다. 그리고 MEC 디바이스는 주위 환경 이미지에 대한 업데이트를 지속적으로 수행할 수 있다. As a result of image stitching through cooperation with external MEC devices, the MEC device reconstructs images captured in the vehicle to compose an image of the environment around the vehicle. The MEC device, which has succeeded in constructing an image of the surrounding environment, may transmit the image of the surrounding environment to the vehicle communication node to improve the driving performance of the vehicle. In addition, the MEC device may continuously update the surrounding environment image.

도 1의 통신 네트워크에 포함된 차량 통신 노드 및 MEC 디바이스 각각의 IoV 어플리케이션 서비스를 제공하기 위한 동작 방법은 아래에 설명하는 바와 같을 수 있다. An operation method for providing an IoV application service of each of the vehicle communication node and the MEC device included in the communication network of FIG. 1 may be as described below.

도 2는 본 개시에서 적용되는 이미지의 메타 데이터들을 기초로 이미지를 스티칭하는 방법을 도시한 도면이다. 2 is a diagram illustrating a method of stitching an image based on metadata of an image applied in the present disclosure.

도 2를 참조하면, 통신 시스템을 구성하는 통신 노드들은 이미지의 메타 데이터 및 이미지 데이터를 교환할 수 있으며, 교환 결과 획득한 이미지 데이터들을 기초로 IoV 어플리케이션을 제공하기 위한 동작을 수행할 수 있다. 여기서, 통신 시스템의 디바이스들은 D2D 통신과 같은 단말 간 통신 및/또는 V2X와 같은 차량 간 통신을 지원할 수 있다. Referring to FIG. 2 , communication nodes constituting a communication system may exchange image metadata and image data, and may perform an operation for providing an IoV application based on image data obtained as a result of the exchange. Here, the devices of the communication system may support inter-terminal communication such as D2D communication and/or vehicle-to-vehicle communication such as V2X.

S201 단계에서, 차량 통신 노드는 구비된 이미지 센서를 통해 차량 통신 노드 주변 지역의 이미지를 촬영할 수 있다. 차량 통신 노드는 이미지 센서를 통해 촬영한 이미지의 메타 데이터를 생성할 수 있으며, 생성한 이미지의 메타 데이터를 저장할 수 있다. 여기서, 이미지의 메타 데이터는 이미지를 촬영한 장소의 위치 정보, 촬영 시각, 심도 등에 관한 정보를 포함할 수 있다. In step S201, the vehicle communication node may take an image of the area around the vehicle communication node through the provided image sensor. The vehicle communication node may generate metadata of an image captured through the image sensor, and may store metadata of the generated image. Here, the meta data of the image may include information about location information of a place where the image was photographed, photographing time, depth, and the like.

S203 단계에서, 차량 통신 노드는 촬영한 이미지의 메타 데이터를 MEC 디바이스에게 전송할 수 있다. 차량 통신 노드는 이미지를 촬영한 장소의 위치 정보, 촬영 시각, 이미지의 심도에 관한 정보를 포함하는 메타 데이터를 MEC 디바이스에게 전송할 수 있으며, 메타 데이터를 전송하는 차량 통신 노드의 식별자에 대한 정보를 함께 전송할 수 있다. In step S203, the vehicle communication node may transmit metadata of the captured image to the MEC device. The vehicle communication node may transmit metadata including information about the location information of the location where the image was taken, the photographing time, and information about the depth of the image to the MEC device, and information on the identifier of the vehicle communication node that transmits the metadata together can be transmitted

S205 단계에서, MEC 디바이스는 차량 통신 노드로부터 획득한 이미지의 메타 데이터를 기초로 재구성한 영역과 기존에 확보한 이미지 간의 중첩되는 부분을 검출할 수 있다. MEC 디바이스가 획득한 이미지의 메타 데이터에 관한 정보 및 메타 데이터를 기초로 중첩되는 부분을 검출하는 구체적인 예시는 아래에 설명하는 바와 같을 수 있다. In step S205 , the MEC device may detect an overlapping portion between the reconstructed region and the previously secured image based on the metadata of the image acquired from the vehicle communication node. A specific example of detecting an overlapping portion based on metadata and information on metadata of an image acquired by the MEC device may be described below.

도 3은 본 개시에서 적용되는 통신 네트워크를 그리드 형태로 도시한 도면이다. 3 is a diagram illustrating a communication network applied in the present disclosure in a grid form.

도 3을 참조하면, 통신 네트워크는 2차원 평면 상의 그리드 형태로 표현될 수 있다. 통신 네트워크의 그리드는 도로들에 의해 구분될 수 있으며, 각각의 도로들은 더 작은 로드 세그먼트 단위(sj 내지 sj+3)로 구분될 수 있다. 차량 통신 노드들(vehicle)은 2차원 평면의 도로 상에서 이동하는 것으로 표현될 수 있다. 그리고 기지국(base station)은 2차원 평면의 그리드 상에 위치할 수 있다. Referring to FIG. 3 , the communication network may be represented in a grid form on a two-dimensional plane. A grid of a communication network may be divided by roads, and each road may be divided into smaller load segment units (s j to s j+3 ). Vehicle communication nodes (vehicles) can be represented as moving on a road in a two-dimensional plane. In addition, the base station may be located on a grid of a two-dimensional plane.

차량 통신 노드는 이미지 센서의 커버리지 내의 이미지를 촬영할 수 있다. 예를 들어, 이미지 센서의 커버리지가 d1 -세로 방향 길이 및 ds 가로 방향 길이의 영역인 경우, 차량 통신 노드는 d1 -세로 방향 길이 및 ds 가로 방향 길이의 영역에 포함된 그리드 및 로드 세그먼트의 이미지를 촬영할 수 있다. 그리고 차량 통신 노드는 이미지를 촬영한 장소의 위치 정보, 촬영 시각, 심도 등에 관한 정보를 포함하는 이미지의 메타 데이터를 생성할 수 있다. The vehicle communication node may take an image within the coverage of the image sensor. For example, if the coverage of the image sensor is an area of d 1 - longitudinal length and d s transverse length, then the vehicle communication node has a grid and a load contained in the area of d 1 - longitudinal length and d s transverse length. You can take an image of a segment. In addition, the vehicle communication node may generate metadata of the image including information about location information of a place where the image was captured, a shooting time, depth, and the like.

통신 네트워크의 그리드 상에서 차량 통신 노드들에 의해 촬영되는 이미지들의 분포와 분포된 이미지들의 표현 방식은 아래에 설명한 바와 같을 수 있다. A distribution of images captured by vehicle communication nodes on a grid of a communication network and a representation method of the distributed images may be as described below.

도 4는 본 개시에서 적용되는 시공간 영역에서 분포되는 이미지들의 분포를 도시한 도면이다. 4 is a diagram illustrating a distribution of images distributed in a space-time domain applied in the present disclosure.

도 4를 참조하면, 통신 네트워크의 차량 통신 노드들 각각은 통신 네트워크의 그리드의 이미지를 촬영할 수 있다. 여기서, 도 4의 가로 축은 도로의 로드 세그먼트(Ω={sj, sj+1, sj+2, sj+3, ...})를 지시하고, 세로 축은 시간을 지시한다. Referring to FIG. 4 , each of the vehicle communication nodes of the communication network may capture an image of the grid of the communication network. Here, the horizontal axis of FIG. 4 indicates the road segment (Ω={s j, s j+1 , s j+2 , s j+3, ... }) of the road, and the vertical axis indicates time.

구체적으로, 차량 통신 노드들 각각은 도로의 이미지를 주기적으로 촬영할 수 있다. 차량 통신 노드가 t 시점에서 도로 ek를 주행하는 경우, 촬영된 이미지는 도로의 로드 세그먼트들을 포함하는 l(ek,t)={l(sj,t)|Ω∋sj }로 표현될 수 있다. 차량 통신 노드는 일정 시구간 동안 연속된 로드 세그먼트들을 촬영할 수 있으며, 차량 통신 노드에 의해 연속적으로 촬영된 이미지는 l(ek,ta, tb)로 표현될 수 있다. 여기서, ta는 차량 통신 노드의 연속된 세그먼트들을 촬영하는 시구간의 시점을 지시할 수 있으며, tb는 시구간의 종점을 지시할 수 있다. 이미지 l(ek,t)의 심도(depth of image, DOF)는 d(sj,t)로 표현될 수 있다. Specifically, each of the vehicle communication nodes may periodically take an image of the road. When the vehicle communication node drives the road e k at time t, the captured image is expressed as l(e k ,t)={l(s j ,t)|Ω∋s j } including the road segments can be The vehicle communication node may photograph continuous road segments for a predetermined time period, and images continuously photographed by the vehicle communication node may be expressed as l(e k , t a , t b ). Here, t a may indicate a starting point of a time interval for photographing consecutive segments of a vehicle communication node, and t b may indicate an end point of the time interval. The depth of image (DOF) of the image l(e k ,t) may be expressed as d(s j ,t).

차량 통신 노드는 이미지를 촬영한 장소의 위치 정보, 촬영 시각, 심도 등에 관한 정보를 포함하는 이미지의 메타 데이터를 생성할 수 있다. 즉, 이미지의 메타 데이터는 L(ek,ta, tb)의 각각의 파라미터들과 d(sj,t)의 각각의 파라미터들을 포함할 수 있다. The vehicle communication node may generate metadata of the image including information on location information, photographing time, depth, etc. of a place where the image is photographed. That is, the metadata of the image may include respective parameters of L(e k ,t a , t b ) and respective parameters of d(s j ,t).

차량 통신 노드에 의해 촬영된 이미지는 로드 세그먼트들의 세트의 이미지를 포함할 수 있다. 차량 통신 노드에 의해 촬영된 이미지들 각각의 타임 스탬프를 기초로 유효성(validity) 파라미터 θ가 결정될 수 있다. 유효성 파라미터는 이미지의 신규성(freshness)을 정의할 수 있다. 또한 유효성 파라미터는 서로 다른 이미지들의 동일성 여부를 판단하기 위해 사용될 수 있다. The image taken by the vehicle communication node may include an image of the set of road segments. A validity parameter θ may be determined based on a time stamp of each of the images captured by the vehicle communication node. The validity parameter may define the freshness of the image. Also, the validity parameter may be used to determine whether different images are identical.

동일한 지역을 촬영한 서로 다른 이미지들의 타임스탬프(time stamp)의 차이가 θ보다 작은 경우, 두 이미지는 동일한 이미지로 간주된다. 따라서, 촬영된 이미지들(l(sj,t), l(sj+1,t), l(sj+2,t))은 심도가 d(sj, t)+d(sj+1,t)+d(sj+2, t)이고, 타임 스탬프가 θ인 직사각형 형태의 하나의 이미지(l(ek,t))로 표현될 수 있다. If the difference in time stamps of different images taken in the same area is less than θ, the two images are regarded as the same image. Accordingly, the photographed images l(s j ,t), l(s j+1 ,t), l(s j+2 ,t)) have a depth of d(s j , t)+d(s j +1 ,t)+d(s j+2 , t) and may be expressed as one image l(e k ,t)) in the form of a rectangle having a time stamp of θ.

MEC 디바이스는 이미지의 메타 데이터를 기초로 차량 통신 노드에 의해 촬영된 이미지 중에서 중첩 영역과 추가 영역을 구분할 수 있다. 차량 통신 노드에 의해 촬영된 이미지 중에서 중첩 영역과 추가 영역을 구분하는 구체적인 방법은 아래에 설명한 바와 같을 수 있다. The MEC device may distinguish an overlapping area and an additional area from among the images captured by the vehicle communication node based on the metadata of the image. A specific method of distinguishing the overlapping area and the additional area among the images captured by the vehicle communication node may be as described below.

도 5는 본 개시에서 적용 가능한 이미지에서 중첩 영역 및 추가 영역을 분류한 결과를 도시한 도면이다. 5 is a diagram illustrating a result of classifying an overlapping region and an additional region in an image applicable to the present disclosure.

도 5를 참조하면, MEC 디바이스는 차량 통신 노드들로부터 이미지 데이터들을 데이터베이스에 미리 저장할 수 있다. Referring to FIG. 5 , the MEC device may store image data from vehicle communication nodes in advance in a database.

MEC 디바이스는 차량 통신 노드로부터 이미지 S의 메타 데이터를 수신할 수 있으며, 이미지 S의 메타 데이터를 기초로, 이미지 S의 영역을 구성할 수 있다. MEC 디바이스는 이미지 S의 기존 이미지 데이터들(예를 들어, X 또는 Y)과의 중첩 영역(redundancy area)과 기존 이미지 데이터들과 중첩되지 않는 추가 영역(additional area)를 구분할 수 있다. 예를 들어, MEC 디바이스에 의해 미리 확보된 기존 이미지 데이터들이 X인 경우, 이미지 S는 추가 영역만을 포함한다. 반면, MEC 디바이스에 의해 미리 확보된 기존 이미지 데이터들이 Y인 경우, 이미지 S는 추가 영역과 중첩 영역을 포함한다.The MEC device may receive the metadata of the image S from the vehicle communication node, and may configure an area of the image S based on the metadata of the image S. The MEC device may distinguish a redundancy area of the image S with existing image data (eg, X or Y) and an additional area that does not overlap with the existing image data. For example, when the existing image data previously secured by the MEC device is X, the image S includes only the additional area. On the other hand, when the existing image data previously secured by the MEC device is Y, the image S includes an additional area and an overlapping area.

MEC 디바이스는 차량 통신 노드들로부터 수신한 이미지(S)의 메타 데이터들 각각을 기초로, 차량 통신 노드들에 의해 촬영된 이미지들 각각의 중첩도를 산출할 수 있다. 즉, MEC 디바이스는 차량 통신 노드에 의해 촬영된 이미지(S)와 기존의 이미지 데이터들(예를 들어, X 또는 Y)을 포함하는 전체 영역(F(X∪S) 또는 F(Y∪S))와 차량 통신 노드에 의해 촬영된 이미지(S)의 차이 값(F(X∪S)-F(X) 또는 F(Y∪S)-F(Y))을 기초로 차량 통신 노드에 의해 촬영된 이미지(S)의 중첩도를 산출할 수 있다. 그리고 MEC 디바이스는 중첩된 산출도를 기초로 차령 통신 노드에 의해 촬영된 이미지(S)의 추가 영역의 비율을 산출할 수 있다. 도 5의 예시에 따르면, X에 대한 S의 추가 영역의 비율이 Y에 대한 S의 추가 영역의 비율보다 크다. The MEC device may calculate the degree of overlap of the images captured by the vehicle communication nodes based on each of the metadata of the image S received from the vehicle communication nodes. That is, the MEC device includes the entire area (F(X∪S) or F(Y∪S) including the image S captured by the vehicle communication node and the existing image data (eg, X or Y). ) and the difference value (F(X∪S)-F(X) or F(Y∪S)-F(Y)) of the image (S) taken by the vehicle communication node. It is possible to calculate the degree of overlap of the image (S). In addition, the MEC device may calculate the ratio of the additional area of the image S captured by the vehicle age communication node based on the overlapping calculation diagram. According to the example of FIG. 5 , the ratio of the additional area of S to X is greater than the ratio of the additional area of S to Y.

다시 도 2를 참조하면, S207 단계에서, MEC 디바이스는 차량 통신 노드에게 추가 이미지를 요청할 수 있다. 즉, MEC 디바이스는 차량 통신 노드들로부터 수신한 이미지의 메타 데이터를 기초로 결정된 추가 영역의 이미지를 차량 통신 노드에게 요청할 수 있다. MEC 디바이스는 이미지의 추가 영역에 대한 메타 데이터를 포함하는 추가 이미지 요청 메시지를 차량 통신 노드에게 전송할 수 있다. Referring back to FIG. 2 , in step S207, the MEC device may request an additional image from the vehicle communication node. That is, the MEC device may request the vehicle communication node for an image of the additional area determined based on metadata of the image received from the vehicle communication nodes. The MEC device may transmit an additional image request message including metadata for the additional region of the image to the vehicle communication node.

MEC 디바이스는 차량 통신 노드들에 의해 촬영된 이미지들 중에서, 가장 낮은 중첩도를 가지는 이미지를 우선적으로 차량 통신 노드에게 요청할 수 있다. 그리고 MEC 디바이스는 차량 통신 노드들에 의해 촬영된 이미지들 중에서 낮은 중첩도를 갖는 이미지들을 순차적으로 차량 통신 노드에게 요청할 수 있다. The MEC device may preferentially request an image having the lowest degree of overlap from among the images captured by the vehicle communication nodes from the vehicle communication node. In addition, the MEC device may sequentially request images having a low degree of overlap among the images captured by the vehicle communication nodes from the vehicle communication node.

S209 단계에서, 차량 통신 노드는 MEC 디바이스에게 추가 이미지를 전송할 수 있다. 예를 들어, 차량 통신 노드는 MEC 디바이스로부터 수신한 추가 이미지 요청 메시지에 포함된 메타 데이터를 기초로 촬영한 이미지의 일부를 편집할 수 있다. 그리고 차량 통신 노드는 이미지의 편집 결과 획득한 추가 이미지를 MEC 디바이스에게 전송할 수 있다. In step S209 , the vehicle communication node may transmit an additional image to the MEC device. For example, the vehicle communication node may edit a part of the captured image based on metadata included in the additional image request message received from the MEC device. In addition, the vehicle communication node may transmit an additional image obtained as a result of editing the image to the MEC device.

S211 단계에서, MEC 디바이스는 기존에 확보한 이미지와 획득한 이미지를 스티칭할 수 있다. 즉, MEC 디바이스는 기존에 확보한 이미지에 차량 통신 노드로부터 획득한 요청 이미지를 스티칭함으로써, 그리드에 포함된 도로의 이미지를 재구성할 수 있다. In step S211, the MEC device may stitch the previously acquired image and the acquired image. That is, the MEC device may reconstruct the image of the road included in the grid by stitching the requested image obtained from the vehicle communication node to the previously secured image.

MEC 디바이스는 매 타임 슬롯마다 이미지들의 유효성 파라미터를 기초로 도로의 이미지들을 재구성할 수 있다. 예를 들어, 특정 이미지를 획득한지 일정 시간이 경과한 경우, MEC 디바이스는 특정 이미지를 삭제할 수 있다. 그리고 MEC 디바이스는 주기적으로 삭제된 부분에 해당하는 이미지를 업데이트할 수 있다. 즉, MEC 디바이스는 S203 단계 내지 S211 단계의 동작을 수행함으로써, 주기적으로 IoV 어플리케이션 서비스를 제공하기 위한 도로 이미지를 업데이트할 수 있다.The MEC device may reconstruct the images of the road based on the validity parameter of the images every time slot. For example, when a predetermined time has elapsed since the specific image was acquired, the MEC device may delete the specific image. In addition, the MEC device may periodically update the image corresponding to the deleted part. That is, the MEC device may periodically update the road image for providing the IoV application service by performing the operations of steps S203 to S211.

도 6은 본 개시에서 적용되는 컴퓨팅 작업을 분산하는 MEC 디바이스를 포함하는 통신 네트워크의 구조를 도시한 도면이다. 6 is a diagram illustrating a structure of a communication network including an MEC device for distributing computing tasks applied in the present disclosure.

도 6을 참조하면, 통신 네트워크는 MEC 디바이스들(604-1, 606-1, 606-2) 각각에 연결된 기지국들을 포함할 수 있다. 즉, 통신 네트워크는 복수의 MEC 디바이스들(604-1, 606-1, 606-2)을 포함할 수 있다. 복수의 MEC 디바이스들(604-1, 606-1, 606-2) 중 적어도 하나의 MEC 디바이스(604-1)는 차량 통신 노드들(602-1, 602-2)로부터 촬영된 이미지들(img1 내지 img5)을 수신할 수 있다. MEC 디바이스(604-1)는 수신한 이미지들을 스티칭함으로써, 도로 재구성 맵을 생성하고, 차량 통신 노드들(602-1, 602-2)에 도로 재구성 서비스를 제공할 수 있다. Referring to FIG. 6 , a communication network may include base stations connected to each of MEC devices 604 - 1 , 606 - 1 , and 606 - 2 . That is, the communication network may include a plurality of MEC devices (604-1, 606-1, 606-2). At least one MEC device 604-1 of the plurality of MEC devices 604-1, 606-1, and 606-2 includes images (img) taken from the vehicle communication nodes 602-1 and 602-2. 1 to img 5 ) may be received. The MEC device 604-1 may generate a road reconstruction map by stitching the received images, and may provide a road reconstruction service to the vehicle communication nodes 602-1 and 602-2.

복수의 MEC 디바이스들 중에서, 차량 통신 노드들(602-1, 602-2)로부터 이미지들을 수신한 MEC 디바이스(604-1)는 작업의 요구 컴퓨팅 자원량과 작업의 제한된 지연시간을 충족하기 위해 주변의 MEC 디바이스들(606-1, 606-2)에게 작업 요청을 전송(브로드캐스트)한다. 마지막으로 MEC 디바이스는 책정된 비용에 따라 최소의 비용으로 주변의 MEC 디바이스들(606-1, 606-2)에게 컴퓨팅 작업을 할당(task allocation)할 수 있다. 예를 들어, MEC 디바이스는 MEC 디바이스(606-1)에게 img1 내지 img3의 스티칭 작업을 할당하고, MEC 디바이스(606-2)에게 img4 내지 img5의 스티칭 작업을 할당할 수 있다. Among the plurality of MEC devices, the MEC device 604-1, which has received images from the vehicle communication nodes 602-1 and 602-2, is located around the It transmits (broadcasts) a work request to the MEC devices (606-1, 606-2). Finally, the MEC device may allocate a computing task to the surrounding MEC devices 606 - 1 and 606 - 2 at a minimum cost according to the determined cost. For example, the MEC device may allocate stitching operations of img 1 to img 3 to the MEC device 606 - 1 and may allocate stitching operations of img 4 to img 5 to the MEC device 606 - 2 .

주변의 MEC 디바이스들(606-1, 606-2)은 사용가능한 자원을 보유하고 있다. 요청 MEC 디바이스(604-1)로부터 전송된 메시지를 수신한 주변의 MEC 디바이스들(606-1, 606-2)은 유휴 컴퓨팅 자원을 소모하여 컴퓨팅 서비스를 제공하고, 아웃소싱에 대해 정해진 비용에 따라서, 컴퓨팅 서비스의 비용을 산출한다. 만약 요청 MEC 디바이스(604-1)가 근접한 MEC서버를 선택했다면, 선택된 MEC 디바이스(606-1, 606-2)는 이미지 스티칭 작업을 수행하며 요청한 MEC서버(604-1)에게 보상금(이용 금액)과 함께 결과물을 전달할 것이다. The surrounding MEC devices 606 - 1 and 606 - 2 have available resources. Upon receiving the message transmitted from the requesting MEC device 604-1, the surrounding MEC devices 606-1 and 606-2 consume idle computing resources to provide a computing service, and according to the cost determined for outsourcing, Calculate the cost of computing services. If the requesting MEC device 604-1 selects a nearby MEC server, the selected MEC devices 606-1 and 606-2 perform image stitching and compensate the requested MEC server 604-1 (amount used) will deliver the results together.

이미지 스티칭과 같은 컴퓨팅 작업을 분산하는 MEC 디바이스들의 동작은 아래에 설명하는 바와 같을 수 있다. The operation of MEC devices that distribute computing tasks such as image stitching may be as described below.

도 7은 본 개시에서 적용되는 컴퓨팅 작업을 분산하는 MEC 디바이스의 동작을 도시한 도면이다. 7 is a diagram illustrating an operation of an MEC device for distributing computing tasks applied in the present disclosure.

도 7을 참조하면, 도 6의 통신 네트워크에 포함된 복수의 MEC 디바이스들 각각에 의해 실행되는 동작일 수 있다. 제1 MEC 디바이스는 IoV 어플리케이션 서비스를 제공하기 위해 수행되는 태스크를 서브태스크(subtask) 단위로 분할할 수 있다. 그리고 제1 MEC 디바이스는 분할된 서브태스크들을 복수의 MEC 디바이스들에게 분할하여 할당할 수 있다. 여기서, 태스크는 차량 통신 노드들로부터 획득한 이미지들을 병합하는 이미지 스티칭 태스크일 수 있고, 서브태스크는, 차량 통신 노드들로부터 획득한 이미지들 중에서, 일부의 이미지들을 스티칭하는 작업일 수 있다. Referring to FIG. 7 , the operation may be performed by each of a plurality of MEC devices included in the communication network of FIG. 6 . The first MEC device may divide the task performed to provide the IoV application service into subtask units. In addition, the first MEC device may divide and allocate the divided subtasks to a plurality of MEC devices. Here, the task may be an image stitching task for merging images obtained from vehicle communication nodes, and the subtask may be a task of stitching some images among images obtained from vehicle communication nodes.

S701 단계에서, 제1 MEC 디바이스는 제2 MEC 디바이스 및 제3 MEC 디바이스와 서브태스크 할당으로 인한 비용을 산출하기 위한 파라미터들을 교환할 수 있다. 예를 들어, 제2 MEC 디바이스 및 제3 MEC 디바이스는 비용 산출을 위한 파라미터를 제1 MEC 디바이스로 전송할 수 있다. 제1 MEC 디바이스가 제2 MEC 디바이스 및 제3 MEC 디바이스의 비용 산출을 위한 파라미터를 미리 확보한 경우, S701 단계는 생략될 수 있다. 여기서, 비용 산출을 위한 파라미터는, MEC 디바이스들 각각의 컴퓨팅 성능, 유효 컴퓨팅 자원, 유효 컴퓨팅 자원의 비용 등에 관한 정보를 포함할 수 있다. In step S701 , the first MEC device may exchange parameters for calculating a cost due to subtask allocation with the second MEC device and the third MEC device. For example, the second MEC device and the third MEC device may transmit a parameter for calculating the cost to the first MEC device. When the first MEC device secures parameters for calculating the cost of the second MEC device and the third MEC device in advance, step S701 may be omitted. Here, the parameter for calculating the cost may include information about the computing performance of each of the MEC devices, the effective computing resource, the cost of the effective computing resource, and the like.

S703 단계에서, 제1 MEC 디바이스는 서브태스크를 분산함으로 인해 발생하는 비용을 산출할 수 있다. 제1 MEC 디바이스는 할당된 서브태스크에 수와 얼마나 많은 유휴 자원을 제공할 수 있는가에 따라서, 근접한 MEC들로의 서브태스크의 아웃소싱에 대한 비용을 산출할 수 있다. 제1 MEC 디바이스는 수학식 1에 기초하여, 비용을 산출할 수 있다.In step S703 , the first MEC device may calculate a cost incurred by distributing subtasks. The first MEC device may calculate a cost for outsourcing the subtask to adjacent MECs according to the number and how many idle resources it can provide to the assigned subtask. The first MEC device may calculate the cost based on Equation (1).

Figure 112020132073226-pat00001
Figure 112020132073226-pat00001

수학식 1 에서, pm,b,T는 X2 링크를 통해 서브태스크를 위한 데이터를 전달하기 위해 소모되는 자원의 단위 비용을 지시한다. pm,b,C는 서브태스크 단위로 소모되는 컴퓨팅 자원의 가격을 지시한다. 그리고, pm,b,R은 서브태스크 수행 결과 수신하는 데이터 크기 당 가격을 나타낸다. tsm은 작업 데이터 크기, DRm은 요구되는 컴퓨팅 자원, θm은 규모(스케일) 계수이다. In Equation 1, p m,b,T indicates a unit cost of resources consumed to transmit data for a subtask through the X2 link. p m,b,C indicates the price of computing resources consumed in units of subtasks. And, p m, b, R represents a price per data size received as a result of performing the subtask. ts m is the working data size, DR m is the required computing resource, and θ m is the scale factor.

여기서, X2 링크를 통해 전송되는 테스크에 대한 가격 단위는 상수로 표시한다. MEC 디바이스들은 컴퓨팅 연산 서비스에 소모되는 컴퓨팅 자원들 당 서로 다른 가격들을 책정할 수 있다. 예를 들어, 더 많은 유휴 컴퓨팅 자원을 보유하는 MEC 디바이스는 더 높은 연산율(연산 처리량)을 제공할 수 있기 때문에 더 높은 가격을 책정할 수 있다. Here, the price unit for the task transmitted through the X2 link is expressed as a constant. MEC devices may set different prices per computing resources consumed for computing computing services. For example, an MEC device with more idle computing resources may offer a higher computational rate (computational throughput) and thus may be priced higher.

따라서, pm,b,C는 수학식 2와 같이 표현될 수 있다. Therefore, p m,b,C can be expressed as in Equation (2).

Figure 112020132073226-pat00002
Figure 112020132073226-pat00002

수학식 2에서, Kb는 근접한 MEC 디바이스 b의 연산율(또는 연산 처리량)을 지시할 수 있다. 그리고 ηb는 조정 계수를 지시한다. 수학식 2에 따라서, 수학식 1은 수학식 3과 같이 수정된다. In Equation 2, K b may indicate the operation rate (or operation throughput) of the adjacent MEC device b. and η b indicates the adjustment coefficient. According to Equation 2, Equation 1 is modified to Equation 3.

Figure 112020132073226-pat00003
Figure 112020132073226-pat00003

그리고, 서브태스크의 아웃소싱 결과, 소모 시간은 수학식 4와 같이 표현될 수 있다. And, as a result of the outsourcing of the subtask, the consumption time may be expressed as Equation (4).

Figure 112020132073226-pat00004
Figure 112020132073226-pat00004

수학식 4에서, tm,b,T는 요청한 MEC 디바이스에서 근접한 MEC b로 서브태스크들을 실행하기 위한 데이터를 보내는 전송 시간을 지시하고, tm,b,C는 근접 MEC b에서의 서브태스크의 연산 시간을 지시하고, tm,b,R은 서브태스크들의 실행 결과 데이터를 수신하는 시간을 지시할 수 있다. 그리고, r은 같은 협력 공간에서 MEC서버간의 X2 링크의 전송율을 지시한다. 주어진 B는 협력 그룹에 근접한 MEC 디바이스의 수를 의미하며, 요청한 MEC 디바이스 비용은 수학식 5에 따라 산출된 비용에 따라 아웃소싱 컴퓨팅 작업에 대한 지불을 수행해야 한다. In Equation 4, t m,b,T indicates a transmission time for sending data for executing subtasks from the requested MEC device to the adjacent MEC b, and t m,b,C is the It indicates an operation time, and t m, b, R may indicate a time for receiving execution result data of subtasks. And, r indicates the transmission rate of the X2 link between the MEC servers in the same cooperative space. Given B means the number of MEC devices close to the cooperating group, the requested MEC device cost should be paid for outsourced computing work according to the cost calculated according to Equation 5.

Figure 112020132073226-pat00005
Figure 112020132073226-pat00005

수학식 5에서, yb는 근접한 MEC b에 분배한 서브태스크의 수를 지시하고, pm,b는 수학식 3에 의해 산출된 값을 지시한다 In Equation 5, yb indicates the number of subtasks distributed to the adjacent MEC b, and p m,b indicates a value calculated by Equation 3

S705 단계에서, 제1 MEC 디바이스는 서브태스크들을 복수의 MEC 디바이스들에 할당할 수 있다. 제1 MEC 디바이스는 차량 통신 노드들로부터 획득한 이미지들을 제2 MEC 디바이스 및 제3 MEC 디바이스로 전송하고, 서브태스크의 수행을 요청함으로써, 이미지들의 스티칭 연산을 제2 MEC 디바이스 및 제3 MEC 디바이스에 분산할 수 있다. In step S705 , the first MEC device may allocate subtasks to a plurality of MEC devices. The first MEC device transmits images acquired from the vehicle communication nodes to the second MEC device and the third MEC device, and requests to perform a subtask, thereby performing a stitching operation of the images to the second MEC device and the third MEC device. can be dispersed.

S707-1 단계에서, 제2 MEC 디바이스는 제1 MEC 디바이스로부터 할당받은 서브태스크를 수행할 수 있으며, S707-2 단계에서 제3 MEC 디바이스는 제1 MEC 디바이스로부터 할당 받은 서브태스크를 수행할 수 있다. 예를 들어, S707-1 단계에서, 제2 MEC 디바이스는 제1 서버로부터 수신한 이미지들을 스티칭할 수 있으며, S707-2 단계에서, 제3 MEC 디바이스는 제1 MEC 디바이스로부터 수신한 이미지들을 스티칭할 수 있다. In step S707-1, the second MEC device may perform the subtask allocated from the first MEC device, and in operation S707-2, the third MEC device may perform the subtask allocated from the first MEC device . For example, in step S707-1, the second MEC device may stitch images received from the first server, and in step S707-2, the third MEC device may stitch images received from the first MEC device. can

한편, MEC 디바이스들에 의해 수행되는 이미지 스티칭 동작의 실행 시간들의 총합은 이미지 스티칭 작업 m에 요구되는 지연 시간 Tm을 만족하는 아웃소싱 테스크들 각각의 소요 시간들의 합이다. 이미지 스티칭 할당 요청을 승낙하였으나, 요구되는 지연 시간을 충족하지 못하는 MEC는 할당된 서브태크스의 처리 작업을 취소할 수 있으며 SLA(service level agreement) 위반에 대한 패널티 비용을 지불할 수 있다. Meanwhile, the total of execution times of the image stitching operation performed by the MEC devices is the sum of the required times of each of the outsourcing tasks satisfying the delay time T m required for the image stitching operation m. An MEC that accepts the image stitching assignment request but does not meet the required latency may cancel the processing of the assigned subtask and pay a penalty fee for violating the service level agreement (SLA).

S709 단계에서, 제1 MEC 디바이스는 제2 MEC 디바이스에 의한 서브태스크의 수행 결과 데이터와 제3 MEC 디바이스에 의한 서브태스크의 수행 결과 데이터를 수신할 수 있다. 예를 들어, 제1 MEC 디바이스는 제2 MEC 디바이스 및 제3 MEC 디바이스 각각에 의해 스티칭된 이미지를 수신할 수 있다. In step S709 , the first MEC device may receive data as a result of performing a subtask by the second MEC device and data as a result of performing a subtask by the third MEC device. For example, the first MEC device may receive the image stitched by each of the second MEC device and the third MEC device.

S711 단계에서, 제1 MEC 디바이스는 복수의 MEC 디바이스들로부터 수신한 데이터를 기초로 태스크를 수행할 수 있다. 예를 들어, 제1 MEC 디바이스는 제2 MEC 디바이스에 의해 스티칭된 이미지와 제3 MEC 디바이스에 의해 스티칭된 이미지를 스티칭함으로써, 도로 재구성 맵을 생성할 수 있다. In step S711 , the first MEC device may perform a task based on data received from a plurality of MEC devices. For example, the first MEC device may generate the road reconstruction map by stitching the image stitched by the second MEC device and the image stitched by the third MEC device.

본 개시의 발명은 MEC 환경 및 멀티 클라우드, 엣지 클라우드 등의 분산 클라우드 환경에서 적용될 수 있으며, 서비스 지연 시간에 민감하고 고성능의 컴퓨팅 자원이 요구되는 자율주행 및 인공지능 분야에서의 서비스를 제공하기 위해 요구되는 지연 시간 조건을 충족할 수 있으므로, 다양하게 활용될 수 있을 것이다. The invention of the present disclosure can be applied in a distributed cloud environment such as an MEC environment, multi-cloud, and edge cloud, and is sensitive to service delay time and required to provide services in autonomous driving and artificial intelligence fields that require high-performance computing resources It can be used in various ways because it can satisfy the delay time condition.

본 개시에 따르면, MEC 네트워크의 자원 사용 효율을 개선할 수 있으며, QoS(quality of service)를 향상시킴으로써, 모바일 네트워크 사업자 및 MEC 서비스 제공자들의 수익이 증가할 수 있다. According to the present disclosure, it is possible to improve resource use efficiency of the MEC network, and by improving quality of service (QoS), revenues of mobile network operators and MEC service providers can be increased.

본 개시의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 본 개시에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.Example methods of the present disclosure are expressed as a series of operations for clarity of description, but this is not intended to limit the order in which the steps are performed, and if necessary, each step may be performed simultaneously or in a different order. In order to implement the method according to the present disclosure, other steps may be included in addition to the illustrated steps, other steps may be excluded from some steps, or additional other steps may be included except some steps.

본 개시의 다양한 실시 예는 모든 가능한 조합을 나열한 것이 아니고 본 개시의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시 예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.Various embodiments of the present disclosure do not list all possible combinations, but are intended to describe representative aspects of the present disclosure, and matters described in various embodiments may be applied independently or in combination of two or more.

또한, 본 개시의 다양한 실시 예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다. In addition, various embodiments of the present disclosure may be implemented by hardware, firmware, software, or a combination thereof. For implementation by hardware, one or more Application Specific Integrated Circuits (ASICs), Digital Signal Processors (DSPs), Digital Signal Processing Devices (DSPDs), Programmable Logic Devices (PLDs), Field Programmable Gate Arrays (FPGAs), general purpose It may be implemented by a processor (general processor), a controller, a microcontroller, a microprocessor, and the like.

본 개시의 범위는 다양한 실시 예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다. The scope of the present disclosure includes software or machine-executable instructions (eg, operating system, application, firmware, program, etc.) that cause an operation according to the method of various embodiments to be executed on a device or computer, and such software or and non-transitory computer-readable media in which instructions and the like are stored and executable on a device or computer.

Claims (16)

IoV(internet of vehicle) 어플리케이션 서비스를 제공하는 제1 MEC 디바이스의 동작 방법으로서,
차량 통신 노드들로부터 상기 차량 통신 노드들 각각에 의해 촬영된 이미지의 메타 데이터들을 수신하는 단계;
수신한 상기 이미지의 메타 데이터들을 기초로 상기 차량 통신 노드들 중에서 적어도 일부의 차량 통신 노드들에 요청하고자 하는 이미지 데이터를 결정하는 단계;
상기 적어도 일부의 차량 통신 노드들에게 상기 요청하고자 하는 이미지들에 관한 정보를 전송하는 단계;
상기 적어도 일부의 차량 통신 노드들로부터 요청한 상기 이미지들을 수신하는 단계; 및
상기 적어도 일부의 차량 통신 노드들로부터 수신한 상기 이미지들을 데이터베이스에 저장하는 단계를 포함하고,
상기 적어도 일부의 차량 통신 노드들에 요청하고자 하는 이미지 데이터를 결정하는 단계는,
상기 데이터베이스에 미리 저장된 이미지들의 영역과 수신한 상기 이미지의 메타 데이터에 의해 지시되는 영역을 비교하는 단계;
상기 비교 결과를 기초로 수신한 상기 이미지의 메타 데이터에 의해 지시되는 영역 중에서, 상기 미리 저장된 이미지들의 영역과 중첩되는 중첩 영역을 결정하는 단계; 및
상기 수신한 이미지의 메타 데이터에 의해 지시되는 영역 중에서, 상기 중첩 영역을 제외하는 단계를 포함하는, 동작 방법.
A method of operating a first MEC device that provides an Internet of vehicle (IoV) application service, comprising:
receiving meta data of an image captured by each of the vehicle communication nodes from vehicle communication nodes;
determining image data to be requested from at least some of the vehicle communication nodes among the vehicle communication nodes based on the received metadata of the image;
transmitting information about the requested images to the at least some of the vehicle communication nodes;
receiving the requested images from the at least some vehicle communication nodes; and
storing the images received from the at least some vehicle communication nodes in a database,
The step of determining the image data to be requested from the at least some of the vehicle communication nodes,
comparing an area of images previously stored in the database with an area indicated by the received metadata of the image;
determining an overlapping area overlapping the pre-stored image area from among areas indicated by the metadata of the received image based on the comparison result; and
and excluding the overlapping area from among the areas indicated by the metadata of the received image.
청구항 1에 있어서,
상기 이미지의 메타 데이터는,
상기 이미지의 촬영된 장소의 위치 정보, 촬영된 시간 정보 및 심도(depth of field, DOF)에 관한 정보를 포함하는, 동작 방법.
The method according to claim 1,
The metadata of the image is
Including location information of a location in which the image was captured, information about a time taken for the image, and information about a depth of field (DOF), the operating method.
청구항 1에 있어서,
상기 요청하고자 하는 이미지 데이터들은,
상기 이미지 중에서, 상기 중첩 영역이 제외된 이미지인, 동작 방법.
The method according to claim 1,
The image data to be requested is,
The method of any one of the preceding claims, wherein the overlapping area is excluded from the image.
청구항 3에 있어서,
상기 메타 데이터들 각각의 영역과 상기 미리 저장된 이미지들과의 중첩 영역의 비율인 중첩도를 산출하는 단계; 및
상기 메타 데이터들 중에서 가장 높은 중첩도를 갖는 메타 데이터를 결정하는 단계를 포함하고,
상기 요청하고자 하는 이미지 데이터들은,
상기 결정된 가장 높은 중첩도를 갖는 메타 데이터에 대응되는 이미지 중에서, 상기 중첩 영역이 제외된 이미지인, 동작 방법.
4. The method according to claim 3,
calculating an overlap, which is a ratio of an overlapping area between each area of the meta data and the pre-stored images; and
determining meta data having the highest degree of overlap among the meta data;
The image data to be requested is,
and an image from which the overlapping region is excluded from among the images corresponding to the determined metadata having the highest degree of overlap.
청구항 1에 있어서,
상기 데이터베이스에 저장된 이미지들 각각의 타임스탬프 정보를 기초로 상기 데이터베이스에 저장된 이미지들 각각의 유효성 파라미터를 산출하는 단계;
상기 유효성 파라미터를 기초로 상기 데이터베이스에 저장된 이미지들 각각의 유효성을 확인하는 단계; 및
상기 데이터베이스에 저장된 이미지들 중에서, 유효성이 확인되지 않은 적어도 일부의 이미지들을 삭제하는 단계를 포함하는, 동작 방법.
The method according to claim 1,
calculating a validity parameter of each of the images stored in the database based on timestamp information of each of the images stored in the database;
checking the validity of each of the images stored in the database based on the validity parameter; and
and deleting at least some images whose validity has not been confirmed from among the images stored in the database.
청구항 1에 있어서,
상기 제1 MEC 디바이스 이외의 복수의 MEC 디바이스들로부터 태스크를 분할하여 할당하기 위한 파라미터들을 수신하는 단계;
상기 파라미터들을 기초로 상기 태스크의 일부인 서브태스크 할당에 따른 비용을 산출하는 단계;
상기 복수의 MEC 디바이스들에게 서브태스크를 할당하는 단계;
상기 복수의 MEC 디바이스들 각각으로부터 상기 서브태스크 수행 결과 데이터들을 수신하는 단계; 및
상기 서브태스크 수행 결과 데이터들을 기초로 상기 태스크를 수행하는 단계를 포함하는, 동작 방법.
The method according to claim 1,
receiving parameters for dividing and allocating a task from a plurality of MEC devices other than the first MEC device;
calculating a cost according to assignment of a subtask that is a part of the task based on the parameters;
allocating subtasks to the plurality of MEC devices;
receiving the subtask performance result data from each of the plurality of MEC devices; and
and performing the task based on data as a result of performing the subtask.
청구항 6에 있어서,
상기 태스크는,
상기 데이터베이스에 저장된 이미지들을 스티칭하는 작업이고,
상기 서브태스크는,
상기 데이터베이스에 저장된 이미지들 중에서, 일부의 이미지들을 스티칭하는 작업인, 동작 방법.
7. The method of claim 6,
The task is
It is an operation of stitching images stored in the database,
The subtask is
An operation of stitching some images from among the images stored in the database.
청구항 6에 있어서,
상기 파라미터들은,
서브태스크를 할당하기 위한 데이터의 전송으로 인해 소모되는 자원의 단위 비용, 서브태스크의 수행으로 인해 소모되는 단위 컴퓨팅 자원 당 가격, 및 서브태스크 수행 결과 데이터의 전송으로 인해 소모되는 자원의 단위 비용에 관한 정보를 포함하는, 동작 방법.
7. The method of claim 6,
The parameters are
Regarding the unit cost of resources consumed due to data transmission for allocating the subtask, the price per unit computing resource consumed due to the execution of the subtask, and the unit cost of resources consumed due to the transmission of data as a result of performing the subtask A method comprising information.
IoV(internet of vehicle) 어플리케이션 서비스를 제공하는 제1 MEC에 있어서,
송수신기; 및
상기 송수신기에 결합된 프로세서를 포함하고, 상기 프로세서는,
차량 통신 노드들로부터 상기 차량 통신 노드들 각각에 의해 촬영된 이미지의 메타 데이터들을 수신하고;
수신한 상기 이미지의 메타 데이터들을 기초로 상기 차량 통신 노드들 중에서 적어도 일부의 차량 통신 노드들에 요청하고자 하는 이미지 데이터를 결정하고;
상기 적어도 일부의 차량 통신 노드들에게 상기 요청하고자 하는 이미지들에 관한 정보를 전송하고;
상기 적어도 일부의 차량 통신 노드들로부터 요청한 상기 이미지들을 수신하고; 그리고
상기 적어도 일부의 차량 통신 노드들로부터 수신한 상기 이미지들을 데이터베이스에 저장하고,
상기 프로세서는
상기 적어도 일부의 차량 통신 노드들에 요청하고자 하는 이미지 데이터를 결정함에 있어,
상기 데이터베이스에 미리 저장된 이미지들의 영역과 수신한 상기 이미지의 메타 데이터에 의해 지시되는 영역을 비교하고;
상기 비교 결과를 기초로 수신한 상기 이미지의 메타 데이터에 의해 지시되는 영역 중에서, 상기 미리 저장된 이미지들의 영역과 중첩되는 중첩 영역을 결정하고; 그리고
상기 수신한 이미지의 메타 데이터에 의해 지시되는 영역 중에서, 상기 중첩 영역을 제외하는, 제1 MEC 디바이스.
In the first MEC providing an Internet of vehicle (IoV) application service,
transceiver; and
a processor coupled to the transceiver, the processor comprising:
receive meta data of an image captured by each of the vehicle communication nodes from vehicle communication nodes;
determining image data to be requested from at least some of the vehicle communication nodes among the vehicle communication nodes based on the received metadata of the image;
transmitting information about the images to be requested to the at least some of the vehicle communication nodes;
receive the requested images from the at least some vehicular communication nodes; And
storing the images received from the at least some vehicle communication nodes in a database,
the processor is
In determining the image data to be requested from the at least some of the vehicle communication nodes,
comparing an area of images previously stored in the database with an area indicated by the received metadata of the image;
determining an overlapping area overlapping the pre-stored areas of the images from among areas indicated by the metadata of the received images based on the comparison result; And
The first MEC device, wherein the overlapping area is excluded from the area indicated by the metadata of the received image.
청구항 9에 있어서,
상기 이미지의 메타 데이터는,
상기 이미지의 촬영된 장소의 위치 정보, 촬영된 시간 정보 및 심도(depth of field, DOF)에 관한 정보를 포함하는, 제1 MEC 디바이스.
10. The method of claim 9,
The metadata of the image is
The first MEC device, including information about the location information of the photographed place of the image, photographed time information, and depth of field (DOF).
청구항 9에 있어서,
상기 요청하고자 하는 이미지 데이터들은,
상기 이미지 중에서, 상기 중첩 영역이 제외된 이미지인, 제1 MEC 디바이스.
10. The method of claim 9,
The image data to be requested is,
The first MEC device, which is an image in which the overlapping region is excluded from among the images.
청구항 11에 있어서,
상기 프로세서는,
상기 메타 데이터들 각각의 영역과 상기 미리 저장된 이미지들과의 중첩 영역의 비율인 중첩도를 산출하고; 그리고
상기 메타 데이터들 중에서 가장 높은 중첩도를 갖는 메타 데이터를 결정하는 단계를 포함하고,
상기 요청하고자 하는 이미지 데이터들은,
상기 결정된 가장 높은 중첩도를 갖는 메타 데이터에 대응되는 이미지 중에서, 상기 중첩 영역이 제외된 이미지인, 제1 MEC 디바이스.
12. The method of claim 11,
The processor is
calculating an overlapping degree, which is a ratio of an overlapping area between each area of the meta data and the pre-stored images; And
determining meta data having the highest degree of overlap among the meta data;
The image data to be requested is,
The first MEC device, wherein the overlapping region is excluded from the image corresponding to the determined metadata having the highest degree of overlap.
청구항 9에 있어서,
상기 프로세서는,
상기 데이터베이스에 저장된 이미지들 각각의 타임스탬프 정보를 기초로 상기 데이터베이스에 저장된 이미지들 각각의 유효성 파라미터를 산출하고;
상기 유효성 파라미터를 기초로 상기 데이터베이스에 저장된 이미지들 각각의 유효성을 확인하고; 그리고
상기 데이터베이스에 저장된 이미지들 중에서, 유효성이 확인되지 않은 적어도 일부의 이미지들을 삭제하는, 제1 MEC 디바이스.
10. The method of claim 9,
The processor is
calculating a validity parameter of each of the images stored in the database based on timestamp information of each of the images stored in the database;
check the validity of each of the images stored in the database based on the validity parameter; And
Among the images stored in the database, the first MEC device for deleting at least some images that are not validated.
청구항 9에 있어서,
상기 프로세서는,
상기 제1 MEC 디바이스 이외의 복수의 MEC 디바이스들로부터 태스크를 분할하여 할당하기 위한 파라미터들을 수신하고;
상기 파라미터들을 기초로 상기 태스크의 일부인 서브태스크 할당에 따른 비용을 산출하고;
상기 복수의 MEC 디바이스들에게 서브태스크를 할당하고;
상기 복수의 MEC 디바이스들 각각으로부터 상기 서브태스크 수행 결과 데이터들을 수신하고; 그리고
상기 서브태스크 수행 결과 데이터들을 기초로 상기 태스크를 수행하는, 제1 MEC 디바이스.
10. The method of claim 9,
The processor is
receive parameters for dividing and allocating a task from a plurality of MEC devices other than the first MEC device;
calculating a cost for allocating a subtask that is part of the task based on the parameters;
allocating a subtask to the plurality of MEC devices;
receive the subtask performance result data from each of the plurality of MEC devices; And
A first MEC device for performing the task based on the subtask performance result data.
청구항 14에 있어서,
상기 태스크는,
상기 데이터베이스에 저장된 이미지들을 스티칭하는 작업이고,
상기 서브태스크는,
상기 데이터베이스에 저장된 이미지들 중에서, 일부의 이미지들을 스티칭하는 작업인, 제1 MEC 디바이스.
15. The method of claim 14,
The task is
It is an operation of stitching images stored in the database,
The subtask is
The first MEC device, which is a task of stitching some images among the images stored in the database.
청구항 14에 있어서,
상기 파라미터들은,
서브태스크를 할당하기 위한 데이터의 전송으로 인해 소모되는 자원의 단위 비용, 서브태스크의 수행으로 인해 소모되는 단위 컴퓨팅 자원 당 가격, 및 서브태스크 수행 결과 데이터의 전송으로 인해 소모되는 자원의 단위 비용에 관한 정보를 포함하는, 제1 MEC 디바이스.
15. The method of claim 14,
The parameters are
Regarding the unit cost of resources consumed due to data transmission for allocating the subtask, the price per unit computing resource consumed due to the execution of the subtask, and the unit cost of resources consumed due to the transmission of data as a result of performing the subtask A first MEC device comprising information.
KR1020200169300A 2020-12-07 2020-12-07 Method and apparatus for providing internet of vehicle application service in multi access edge computing KR102380133B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200169300A KR102380133B1 (en) 2020-12-07 2020-12-07 Method and apparatus for providing internet of vehicle application service in multi access edge computing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200169300A KR102380133B1 (en) 2020-12-07 2020-12-07 Method and apparatus for providing internet of vehicle application service in multi access edge computing

Publications (1)

Publication Number Publication Date
KR102380133B1 true KR102380133B1 (en) 2022-03-28

Family

ID=80997010

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200169300A KR102380133B1 (en) 2020-12-07 2020-12-07 Method and apparatus for providing internet of vehicle application service in multi access edge computing

Country Status (1)

Country Link
KR (1) KR102380133B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140110568A (en) * 2013-03-08 2014-09-17 주식회사 케이티 Method for transmitting video and method for gathering video and apparatus therefor
US20200137535A1 (en) * 2018-10-30 2020-04-30 Verizon Patent And Licensing Inc. Method and system for event detection based on vehicular mobile sensors and mec system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140110568A (en) * 2013-03-08 2014-09-17 주식회사 케이티 Method for transmitting video and method for gathering video and apparatus therefor
US20200137535A1 (en) * 2018-10-30 2020-04-30 Verizon Patent And Licensing Inc. Method and system for event detection based on vehicular mobile sensors and mec system

Similar Documents

Publication Publication Date Title
Yi et al. Lavea: Latency-aware video analytics on edge computing platform
Tran et al. Joint task offloading and resource allocation for multi-server mobile-edge computing networks
Yousefpour et al. All one needs to know about fog computing and related edge computing paradigms: A complete survey
Al-Khafajiy et al. Improving fog computing performance via fog-2-fog collaboration
US10129816B2 (en) Methods and systems for captive portal operation in a network of moving things
Zhu et al. Vehicular fog computing for video crowdsourcing: Applications, feasibility, and challenges
CN101755432A (en) Method for coordinating a plurality of sensors
US20180316764A1 (en) Captive portal-related control and management in a network of moving things
Wang et al. A fog-based architecture and programming model for iot applications in the smart grid
Waqas et al. Mobility-aware fog computing in dynamic environments: Understandings and implementation
Ding et al. Beef up the edge: Spectrum-aware placement of edge computing services for the Internet of Things
Huang et al. Result return aware offloading scheme in vehicular edge networks for IoT
CN111083634B (en) CDN and MEC-based vehicle networking mobility management method
Alioua et al. UAVs for traffic monitoring: A sequential game-based computation offloading/sharing approach
KR20180098798A (en) Method for allocating resources to a mobile terminal in an edge cloud and apparatus thereof
JP2014102691A (en) Information processing device, camera with communication function, and information processing method
US10796411B2 (en) Super-resolution imaging for a multi-sensor internet of things environment
Xiao et al. Vehicle selection and resource optimization for federated learning in vehicular edge computing
KR102380133B1 (en) Method and apparatus for providing internet of vehicle application service in multi access edge computing
Cha et al. Virtual edge: Exploring computation offloading in collaborative vehicular edge computing
Nunes et al. Attraction-area based geo-clustering for LTE vehicular crowdsensing data offloading
Bolettieri et al. Application-aware resource allocation and data management for MEC-assisted IoT service providers
Cao et al. Video processing on the edge for multimedia IoT systems
WO2022124490A1 (en) Method and apparatus for providing vehicle internet application service in multi-access edge computing environment
Li et al. Federated orchestration for network slicing of bandwidth and computational resource

Legal Events

Date Code Title Description
GRNT Written decision to grant