WO2019209007A1 - Ai 기반의 영상 압축 및 복원 시스템 - Google Patents

Ai 기반의 영상 압축 및 복원 시스템 Download PDF

Info

Publication number
WO2019209007A1
WO2019209007A1 PCT/KR2019/004894 KR2019004894W WO2019209007A1 WO 2019209007 A1 WO2019209007 A1 WO 2019209007A1 KR 2019004894 W KR2019004894 W KR 2019004894W WO 2019209007 A1 WO2019209007 A1 WO 2019209007A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
data
resolution
image data
file
Prior art date
Application number
PCT/KR2019/004894
Other languages
English (en)
French (fr)
Inventor
장경익
Original Assignee
주식회사 지디에프랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020190046955A external-priority patent/KR102190483B1/ko
Application filed by 주식회사 지디에프랩 filed Critical 주식회사 지디에프랩
Publication of WO2019209007A1 publication Critical patent/WO2019209007A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/222—Secondary servers, e.g. proxy server, cable television Head-end
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content

Definitions

  • the present invention relates to an AI-based image compression and decompression system.
  • content is produced in only one resolution.
  • the video content may be serviced at a lower resolution.
  • the network environment may be unstable, and thus the resolution of the serviced video content may be lowered even if there is a risk of interruption of data transmission and reception.
  • the bilinear interpolation method and the bicubic interpolation method are mainly used.
  • the conventional image interpolation method adds arbitrary pixels according to the pattern of the surrounding pixels, not just the existing pixels. Since the image is crushed, the upscaling technique is not suitable.
  • the present invention is designed to solve such a problem, and based on the data of the artificial neural network learning based on the original video data, an object of the present invention is to effectively restore a low quality compressed file of the video.
  • the image compression and decompression system compresses and stores the acquired image data through artificial neural network-based image learning, decompresses the compressed image at the user's request, and restores the resolution to the user device.
  • a user device that controls to transmit the image data to the image processing server and the image processing server, and receives a result of image learning and restoration performed by the image processing server.
  • the embodiment of the present invention performs a compression operation to lower the resolution and capacity of the video data, and can easily restore the resolution of the compressed file to the original level resolution through an artificial neural network-based operation to use the storage space more efficiently. Can be.
  • the present invention can effectively extract information about an image object requested by a user based on the reconstructed video data and provide the same to the user.
  • the present invention can store and store a large amount of data for later retrieval of information, even for a large amount of video data having a long playback time and high quality.
  • FIG. 1 is a diagram illustrating a configuration of an AI-based image compression and decompression system according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a configuration of an image processing server according to an exemplary embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a configuration of a data determination unit according to an exemplary embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a configuration of an AI image reconstruction unit according to an embodiment of the present invention.
  • FIG. 5 is a flowchart illustrating a sequence of image restoration and data operation according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating an autoscaling operation according to an exemplary embodiment of the present invention.
  • the image compression and decompression system compresses and stores the acquired image data through artificial neural network-based image learning, decompresses the compressed image at the user's request, and restores the resolution to the user device.
  • a user device that controls to transmit the image data to the image processing server and the image processing server, and receives a result of image learning and restoration performed by the image processing server.
  • FIG. 1 is a diagram illustrating a configuration of an AI-based image compression and decompression system according to an embodiment of the present invention.
  • An image compression and decompression system includes an image processing server 100 that performs an image compression and decompression function, an image capturing apparatus 200 that provides a captured image to the image processing server 100, and an image processing server 100. It may include a user device 300 and a companion server 400 that receive the performed image processing result.
  • the image capturing apparatus 200 may include a drone 201, a CCTV 202, and the like.
  • the image capturing apparatus 200 and the companion server 400 may be, for example, an institution or a group server that requires an image processing result performed by the image processing server 100.
  • the image processing server 100 may obtain moving image data from the image capturing apparatus 200, and may perform a function of compressing and restoring the obtained moving image data.
  • the image processing server 100 may provide a cloud service to a user side of the user device 300 or an institution or a group of the companion server 400.
  • the image processing server 100 may not only provide a general cloud service provided by an existing cloud server, but also automatically downscale and store and manage the resolution of image data. Through this downscaling, the image processing server 100 may reduce the capacity of the acquired video, thereby more effectively utilizing the storage space of the cloud server.
  • the image processing server 100 restores a compressed file when a user downloads or streams a downscaling file that has been compressed and stored later. In this case, unlike the general decompression method, an upscaling process using an artificial neural network is performed. Will be restored.
  • the image capturing apparatus 200 may include a user device such as a camera, a smartphone, or the like, which captures image data at the request of an individual user, an institution, or a group using the image processing server 100. Automatically send to the image processing server 100.
  • the user device 300 or the companion server 400 may control the image capturing apparatus 200 to transmit image data to the image processing apparatus 100.
  • the image processing and cloud services provided by the image processing server 100 may be utilized not only by the individual user (the user device 300 side) but also by organizations and organizations (for example, the interlocking server 400). For convenience, hereinafter, all objects that use the service of the image processing server 100 will be referred to as 'users'.
  • FIG. 2 is a diagram illustrating a configuration of an image processing server according to an exemplary embodiment of the present invention.
  • the image processing server 100 may include a communication unit 110, a storage unit 120, and a controller 130.
  • the communication unit 110 may use a network for data transmission and reception between a user device and a server, and the type of the network is not particularly limited.
  • the network may be, for example, an IP (Internet Protocol) network providing a transmission / reception service of a large amount of data through an Internet protocol (IP), or an All IP network integrating different IP networks.
  • IP Internet Protocol
  • the network may include a wired network, a wireless broadband network, a mobile communication network including WCDMA, a high speed downlink packet access (HSDPA) network, and a long term evolution (LTE) network, LTE advanced (LTE-A). ), Or one of a mobile communication network including 5G (Five Generation), a satellite communication network, and a Wi-Fi network, or a combination of at least one of them.
  • 5G Wireless Generation
  • satellite communication network and a Wi-Fi network
  • the communication unit 110 may perform a data communication function with the image capturing apparatus 200, the user device 300, and the companion server 400.
  • the communication unit 300 may receive image data (original image data) received from the image capturing apparatus 200 or the user device 300 and the companion server 400.
  • the communication unit 110 may receive a request signal for an AI learning operation or an AI image reconstruction operation for an image of the image processing server 100 from the user device 300 or the companion server 400.
  • the communication unit 110 may receive a request signal for information on a specific image object from an image existing in the image processing server 100 from the user device 300 or the companion server 400.
  • the communication unit 110 may perform data communication for providing image data after the image restoration operation to the user device 300 or the companion server 400.
  • the communication unit 110 provides a data communication operation for providing a signal for requesting an object extraction and data conversion operation based on the restored image data, a response signal, and a result data (object extraction result data) to the user device 300 or the companion server 400. Can be done.
  • the storage unit 120 may include, for example, an internal memory or an external memory.
  • the internal memory may be, for example, volatile memory (for example, dynamic RAM (DRAM), static RAM (SRAM), or synchronous dynamic RAM (SDRAM), etc.), non-volatile memory (for example, OTPROM (one). time programmable ROM (PROM), programmable ROM (PROM), erasable and programmable ROM (EPROM), electrically erasable and programmable ROM (EEPROM), mask ROM, flash ROM, flash memory (such as NAND flash or NOR flash), hard drives, Or it may include at least one of a solid state drive (SSD).
  • volatile memory for example, dynamic RAM (DRAM), static RAM (SRAM), or synchronous dynamic RAM (SDRAM), etc.
  • non-volatile memory for example, OTPROM (one).
  • the external memory may be a flash drive such as compact flash (CF), secure digital (SD), micro secure digital (Micro-SD), mini secure digital (mini-SD), extreme digital (XD), It may further include a multi-media card (MMC) or a memory stick.
  • the external memory may be functionally and / or physically connected to the electronic device through various interfaces.
  • the storage unit 120 may include a raw image DB 121 and a training image DB 122.
  • the raw image DB 121 may temporarily store raw image data obtained from the image capturing apparatus 200 or the user device 300 (or the companion server 400) before performing image learning.
  • raw image data that consumes a relatively large amount of capacity in order to efficiently use a storage function may be checked after a preset time or by generating a downscaling file and a neural network file that are a result of a predetermined learning (eg, a result of image learning). If is satisfied), it can be deleted automatically.
  • a predetermined learning eg, a result of image learning
  • the training image DB 122 may store a downscaling file and a neural network file generated as a result of image learning.
  • the training image DB 122 may store and set the same names of the downscaling file and the neural network file in order to be able to restore the resolution immediately when the user later selects and plays a specific video. have.
  • the training image DB 122 may store not only a neural network file corresponding to each video file, but also a general purpose neural network file that is a result of learning based on an arbitrary video data set.
  • the controller 130 may also be referred to as a processor, a controller, a microcontroller, a microprocessor, a microcomputer, or the like.
  • the control unit may be implemented by hardware (hardware) or firmware (firmware), software, or a combination thereof.
  • an embodiment of the present invention may be implemented in the form of a module, procedure, function, etc. that performs the functions or operations described above.
  • the software code may be stored in a memory and driven by the controller.
  • the memory may be located inside or outside the user terminal and the server, and may exchange data with the controller by various known means.
  • the controller 130 may include a data determination unit 131, an AI learning support unit 132, an AI image restoration unit 133, and an object data conversion unit 134.
  • the data determination unit 131 may determine information on the raw image received from the outside.
  • the data determination unit 131 may include meta information (eg, resolution) of an image file received from an external image capturing apparatus 200 (images may be received from a user device 300 or a companion server 400 according to various embodiments). , Capacity, name, key, etc.) and files corresponding to the same classification item can be classified.
  • the data determination unit 131 may manage data related to a member registered in the image processing server 100.
  • the data determination unit 131 may determine management information related to an image data provider, an image photographing device identification value, member registration information, a usage history, and the like.
  • the data determiner 131 may identify and classify the image data based on the side providing the image data and the meta information of the image data.
  • the data determination unit 131 may include at least one of a predetermined criterion (eg, an image data providing device property, an attribute of a member (eg, an individual or an institution), a service use level, and a use purpose). Based on the video obtained based on the image processing (eg, image compression through image learning, image restoration, etc.) can be classified before.
  • the data determination unit 131 classifies video data uploaded by the member to the image processing server 100 based on two types of resolutions (for example, 540p or more), and class A in the case of a B-class member. Members can control to classify based on four types of resolutions (eg 270p, 540p, 720p, 1080p). Such a classification operation for each resolution of a video may be required for preprocessing for image learning.
  • the data determination unit 131 may mainly perform resolution-based classification or image type-based classification through the resolution determination unit 131a and the image type determination unit 131b.
  • the AI learning support unit 132 of the configuration of the controller 130 may support a compression function through AI-based image learning for the obtained video data.
  • the AI learning support unit 132 may generate a downscaling file from the obtained video file and a neural network file that is a file required to restore the quality of the downscaling file to an original level later.
  • the downscaling file refers to a compressed file
  • the AI learning support unit 132 may perform video file compression by performing such image learning.
  • the video file downscaled and compressed by such AI image learning may be reconstructed (decompressed) by a reconstruction operation performed based on a neural network file in the AI image reconstruction unit 133.
  • the image learning performed by the AI learning support unit 132 may be performed using a multilayer perceptron implemented to include at least one hidden layer, according to an exemplary embodiment.
  • the perceptron can input a plurality of signals and output one signal.
  • the weight and bias required in the calculation process using the artificial neural network model can be calculated as appropriate values through the backpropagation method.
  • appropriate weight and bias data are extracted through this backpropagation technique.
  • a neural network file calculated through an artificial neural network for resolution improvement and restoration of a compressed file may include information about such weight data and bias data.
  • the image learning process according to an embodiment of the present invention may be performed after generating a basic neural network file through a basic data set (which may be composed of any of various image or video data according to an embodiment).
  • the AI learning support unit 132 inputs the low quality version (downscaling) data of the image to be newly trained as an input value to the artificial neural network algorithm, and the result value when performing the artificial neural network calculation process using the basic neural network file. This input value confirms that the matching ratio of the original image and the reference target value is achieved.
  • the AI learning support unit 132 performs the backpropagation technique for calculating the parameters of the artificial neural network for achieving the match rate higher than the reference value. Etc.) can be obtained.
  • the file storing the values of the appropriate parameters obtained through this process becomes a neural network file, and the input data restored to the original data when the artificial neural network operation is performed through the neural network file becomes a downscaling file. That is, the AI image learning support unit 132 performs image learning on arbitrary video data (original), and as a result, a 'downscaling file' having a lower resolution and capacity than the original data, and the downscaling file as an original image. You will be able to create a neural network file, the file required to restore it.
  • the AI image restoration unit 133 may restore (decompress) the downscaling file generated as a result of image learning by upscaling the neural network file.
  • the AI image restoration unit 133 may provide the user device 300 with data whose upscaling is completed and the image quality is restored according to a user request.
  • the AI image restoration unit 133 may use a cloud service provided by the image processing server 100, and may request a request for downloading or playing (streaming) a video file previously stored in the cloud.
  • the AI image restoration unit 133 may restore (decompress) the quality of the pre-stored downscaling file through the neural network file.
  • the object dataizer 134 may extract target object data based on the image data reconstructed by the AI image reconstructor 133 or image data of each frame constituting the corresponding image.
  • the object data may refer to a specific object that is requested to be detected by a user such as a person, a car, a number, and the like.
  • the object dataizer 134 may automatically extract an object such as a car, a person, or a license plate from the restored image, and record and store the extracted information as data.
  • the object data extracted and stored as described above may be delivered to the user at regular or user request later.
  • the object dataizer 134 detects an object by dividing it into a case in which a specific identification of an individual object is not required, such as the number and number of objects, and a case in which a specific identification is required, such as a face or a car number of a specific suspect.
  • the process can be performed.
  • the object data unit 134 may determine the number of objects recognized as a person or the object of a car recognized from a reconstructed image data. Only numbers can be checked and dataized.
  • the object data unit 134 extracts data recognized as the number of vehicles from the image data whose image quality is restored. , You can list it. Accordingly, the user can immediately know whether there is a vehicle having a number to be searched among the plurality of vehicles existing in the image.
  • FIG. 3 is a diagram illustrating a configuration of a data determination unit according to an exemplary embodiment of the present invention.
  • the data determination unit 131 may include a resolution determination unit 131a and an image type determination unit 131b.
  • the data determiner 131 may determine and classify types of images for preprocessing of image learning through AI calculation. In addition, the data determination unit 131 may perform classification of the type of image data to effectively check the data and select an appropriate reconstruction mode or a reconstruction option when reconstructing the resolution of the image through an AI operation. In addition, after the resolution reconstruction operation is performed, the data determination unit 131 may perform a classification operation of the image data in order to effectively recognize the object from the reconstructed image data and perform a data operation on the recognized object item.
  • the resolution determining unit 131a may classify the obtained data based on the resolution. First, the resolution determining unit 131a may classify the acquired image data according to the resolution in order to determine whether image learning is possible. For example, when the resolution of the determination target image data is set to be learnable only when the resolution is greater than or equal to the reference value (eg, 720p), the resolution determination unit 131a may check whether the resolution of the acquired image data is greater than or equal to the reference value 720p. .
  • the reference value eg, 720p
  • the resolution of the input data during image learning may be standardized to have a specific value collectively.
  • the resolution determining unit 131a checks whether the resolution of the acquired image data is a preset reference value (for example, 720p), and determines that the data less than the reference value is a data group that does not perform image learning separately, and the resolution corresponds to the reference value.
  • the corresponding data may be determined as a group performing image learning without a separate preprocessing process.
  • the resolution determination unit 131a may classify the image into a group for performing image learning after performing a preprocessing operation of converting the data into a reference value.
  • the data determination unit 131 may acquire not only the obtained data but also a downscaling file that is pre-compressed in a format according to an embodiment of the present invention. Accordingly, the resolution determiner 131a may classify the acquired image data according to the resolution in order to extract an appropriate neural network file required for upscaling and decompressing the obtained downscaling file.
  • the image type determiner 131b may determine the type of the acquired image data and classify and cluster the obtained image data based on the type.
  • the image type determination unit 131b may classify the type of image data according to a criterion such as a photographing device, a photographing purpose, a viewing purpose, or the like.
  • the type of the image data may be confirmed from meta information of a file (for example, a photographing device identification value, etc.), or an arbitrary thumbnail image based on a key frame (a key frame may be extracted by a basic function of a codec). It may be confirmed based on.
  • the image type determiner 131b may determine and classify whether the acquired image data is an animation based on a thumbnail image of a keyframe.
  • the image type determiner 131b may determine whether the photographing device is an attached device such as a CCTV or a black box, or a mobile device such as a drone or a smartphone, based on a change rate of the background image identified through a keyframe. Accordingly, the image type determiner 131b may classify the image based on the type of the photographing apparatus (attached or mobile). The image type determiner 131b may more easily perform image data classification for each photographing device through photographing device information included in metadata of the received image data.
  • the image type determiner 131b may classify and classify the image data based on a use preset by the user. As such, the image data classified into types based on a predetermined criterion may also be performed for each data group.
  • the image type determiner 131b may perform data classification for preprocessing and object data before the image learning step when the resolution of the acquired data is at a level that can be learned.
  • the image type determination unit 131b performs an image reconstruction by the AI image reconstruction unit 133 and then performs a classification operation for performing object data reconstruction by the AI data reconstruction unit 133 when the resolution of the acquired data is not attainable. can do.
  • the image type determination unit 131b may provide an environment in which the object dataizer 134 may perform an operation (data extraction operation corresponding to a user's request) through the classification operation for each type of image data.
  • the image type determination unit 131b may include image data received by a corresponding user (eg, a black box, a CCTV photographed on a road, or a personal broadcasting person when the image processing purpose of the user is a vehicle license plate search). Only black box and CCTV video can be extracted and classified. Accordingly, the object dataizer 134 may automatically select a black box and a group of data grouped by CCTV image data in advance to search for a license plate, and perform object extraction and data operation. Accordingly, the object dataizer 134 may quickly execute a user request.
  • FIG. 4 is a diagram illustrating a configuration of an AI image reconstruction unit according to an embodiment of the present invention.
  • the AI image reconstruction unit 133 may include an image type-based application unit 133a and a resolution-based application unit 133b.
  • the AI image restoration unit 133 restores the downscaling file (compression file) to its original state through AI calculation using a neural network file (meta file for decompression) generated as a result of image learning in the AI learning support unit 132.
  • the AI image reconstruction unit 133 may perform resolution reconstruction of the image data by applying parameter data stored in a neural network file corresponding to the image data to be reconstructed to drive an artificial neural network algorithm.
  • the type of artificial neural network may correspond to, for example, SRCNN.
  • the image type-based application unit 133a determines a set value (eg, active function type and neural network file of the artificial neural network, the final resolution of the restoration result, etc.) of the AI image reconstruction operation according to the image type information, and corresponds to the image.
  • the restoration operation may be performed.
  • the image type-based application unit 133a may perform an operation of selecting a neural network file item required for reconstructing the resolution of the compressed image and selecting a setting value according to the image type related to the resolution reconstruction.
  • the image type-based application unit 133a may be divided into materials for which the type of image has no viewing purpose such as CCTV, and materials for viewing purpose such as movie or animation. Alternatively, the image type-based application unit 133a may distinguish between data for data extraction purpose and data not.
  • the image type-based application unit 133a may determine the resolution reconstruction level of the image data based on the classification information of the image data. For example, the image type-based application unit 133a may perform image restoration by applying a general-purpose neural network file, not a neural network file that has been specifically learned to the corresponding image data, for a material for which there is no purpose of viewing. On the other hand, the image type-based application unit 133a may perform image reconstruction by searching for and extracting a neural network file learned for the image data. This may be an operation reflecting the fact that the matching ratio with the original data may be regarded as important for image data such as a movie or a drama that is intended for viewing. However, this is only one embodiment, it is possible to apply a different way of differentially enough. As described above, the image type-based application unit 133a may apply different setting data to be selected in the image restoration process based on the image type, thereby providing efficiency of the restoration operation.
  • the resolution-based application unit 133b may differentially set a setting value (eg, an active function type of an artificial neural network and a neural network file, a final resolution of a restoration result, etc.) based on the resolution of the image data to be restored. For example, the resolution-based application unit 133b sets a target resolution differently according to a fee paid by the user or a type of service selected by the user according to a service policy (for example, in the case of A service, 270p is restored to 4K resolution, and B service is performed. In this case, 270p may be set to restore the resolution up to FHD).
  • a setting value eg, an active function type of an artificial neural network and a neural network file, a final resolution of a restoration result, etc.
  • the resolution-based application unit 133b may designate a target resolution corresponding to the type of resolution before performing the restoration, and search and apply an appropriate neural network file to perform the restoration operation to the target resolution. For example, the resolution-based application unit 133b automatically performs upscaling on the obtained reconstruction image data (eg, downscaling file), but 270p is FHD (1080p), 540p is 4K (2060p), and 720p. Is 5K (2880p), and 1080p may perform upscaling (or decompression) to 4320p.
  • FIG. 6 A schematic of such an automatic upscaling operation is shown through FIG. 6.
  • FIG. 6 is a diagram illustrating an autoscaling operation according to an exemplary embodiment of the present invention.
  • the resolution-based application unit 133b may perform an automatic upscaling operation according to the resolution of the obtained image data.
  • the classification operation according to the resolution may be performed by the resolution determination unit 131a of the data determination unit 131.
  • the operation of upscaling the classified image data to each target resolution may be performed by the resolution-based application unit 133b of the AI image restoration unit 133. It can be done through.
  • FIG. 5 is a flowchart illustrating a sequence of image restoration and data operation according to an embodiment of the present invention.
  • the controller 130 of the image processing server 100 may first perform operation 505 of receiving image data from an external image capturing apparatus 200.
  • the controller 130 checks the received image data, and performs operation 510 of restoring the resolution by upscaling the corresponding image data.
  • resolution upscaling or upscaling and object recognition
  • separate image learning downscaling file and neural network
  • the file generation operation may be omitted, and the upscaling operation may be immediately performed.
  • the controller 130 performs object recognition from the reconstructed image data or frame images of the image data and classifies the recognized object. Can be.
  • the controller 130 may search for an object using a specific technique (for example, YOLO; You Only Look Once, deep learning based real-time object search technique, etc.) from the reconstructed image.
  • a specific technique for example, YOLO; You Only Look Once, deep learning based real-time object search technique, etc.
  • the controller 130 may not only extract the image object, but also classify the extracted image object by items.
  • the controller 130 may classify an object extracted from the restored image data into a person, a car, and the like according to a predetermined criterion.
  • the controller 130 may classify the extracted human object into items such as a man, a woman, an adult, and a child according to a more detailed classification criterion.
  • the controller 130 may perform operation 520 of data (for example, listing) the recognized object information and outputting the same. Since it is difficult for a user to catch an object image detected and identified in real time without directly missing it, the controller 130 may list the recognized object information and provide it to the user. Such an operation may allow a user to search through the documented data instead of directly checking the image data in order to confirm the presence or absence of a specific object (eg, a car) in the image data. Accordingly, the user can perform an object search operation from the image data in a more effective manner.
  • data for example, listing
  • the controller 130 may list the recognized object information and provide it to the user.
  • Such an operation may allow a user to search through the documented data instead of directly checking the image data in order to confirm the presence or absence of a specific object (eg, a car) in the image data. Accordingly, the user can perform an object search operation from the image data in a more effective manner.
  • the controller 130 of the image processing server 100 may provide an effective data storage and management function to the user in more various ways.
  • the controller 130 may include a remaining capacity controller (not shown).
  • the controller 130 automatically checks the remaining capacity (eg, cloud capacity) allocated to each user (account), and newly uploads the The image data may be compressed and stored, and a compression ratio (degree of reduction in capacity compared to the original of the downscaling file) of the image data may be automatically set according to the confirmed remaining capacity. If it is determined that there is little remaining capacity for a particular user, it may be controlled to improve the downscaling level of the image data received by the image processing server 100.
  • the image processing server 100 may check the remaining capacity level of the storage in real time and change a setting value such as a downscaling target value to automatically set the image processing level in response to the storage situation according to various embodiments.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 실시 예에 따른 영상 압축 및 복원 시스템은 획득된 영상 데이터를 인공신경망 기반의 영상 학습을 통해 압축하여 저장하고, 사용자 요청에 따라 압축된 영상의 압축을 해제하여 해상도를 복원하여 사용자 기기에 제공하는 영상 처리 서버 및 상기 영상 처리 서버로 영상 데이터를 전송하도록 제어하고, 상기 영상 처리 서버에서 수행된 영상 학습 및 복원이 수행된 결과물을 수신하는 사용자 기기를 포함하여 구성될 수 있다.

Description

AI 기반의 영상 압축 및 복원 시스템
본 발명은 AI 기반의 영상 압축 및 복원 시스템에 관한 것이다.
동영상 비디오 서비스 실시를 목적으로 콘텐츠를 제작할 시점에는 한 가지 해상도로만 콘텐츠를 제작하게 된다. 그러나 동영상 서비스를 이용하는 단말기의 종류와, 그 단말기에서 사용하는 디스플레이 장치의 지원 해상도에 따라 동영상 콘텐츠는 해상도를 낮추어 서비스되기도 한다. 또한 동영상 콘텐츠를 스트리밍할 시 네트워크 환경이 불안정하여 데이터 송수신의 끊김이 발생될 우려가 있는 경우에도 서비스되는 동영상 콘텐츠의 해상도가 낮춰질 수 있다.
이처럼, 일상 생활에 있어서, 실제 제작되었을 당시의 동영상의 해상도와 용량은 다양한 상황과 환경적 요구에 의해 낮춰지고 압축될 수 있다. 그러나 이러한 데이터 용량 감소를 위해 해상도를 저하시켜서 전달된 동영상 데이터는 추후 다시 원래의 해상도로 복원하기가 어렵다는 문제가 있었다.
해상도를 개선하는 업스케일링 기법으로는 종래에 양선형 보간법과 바이큐빅 보간법 등이 주로 사용되고 있긴 하나, 이와 같은 종래의 영상 보간 기법은 기존의 화소만이 아닌 주변 화소의 패턴에 따라 임의의 화소를 추가하는 방식으로 구현되므로, 이미지의 뭉개짐 현상이 발생될 가능성이 높아 업스케일링 기법으로 적절하지 못하다.
본 발명은 이러한 문제를 해결하기 위해 고안된 것으로, 원본 동영상 데이터를 기반으로 인공 신경망 학습을 수행한 데이터를 기반으로 하여, 해당 동영상의 저화질 압축파일을 효과적으로 복원하기 위한 목적이 있다.
본 발명의 실시 예에 따른 영상 압축 및 복원 시스템은 획득된 영상 데이터를 인공신경망 기반의 영상 학습을 통해 압축하여 저장하고, 사용자 요청에 따라 압축된 영상의 압축을 해제하여 해상도를 복원하여 사용자 기기에 제공하는 영상 처리 서버 및 상기 영상 처리 서버로 영상 데이터를 전송하도록 제어하고, 상기 영상 처리 서버에서 수행된 영상 학습 및 복원이 수행된 결과물을 수신하는 사용자 기기를 포함하여 구성될 수 있다.
본 발명의 실시 예는 동영상 데이터의 해상도 및 용량을 낮추는 압축 동작을 수행하고, 압축된 파일의 해상도를 인공신경망 기반의 연산을 통해 간편하게 원본 수준의 해상도로 복원할 수 있어 저장공간을 보다 효율적으로 이용할 수 있다.
본 발명은 해상도가 복원된 동영상 데이터를 기반으로 사용자가 요청한 이미지 객체에 대한 정보를 효과적으로 추출하고, 사용자에게 제공할 수 있다.
본 발명은 재생시간이 길고, 고화질인 대용량의 동영상 데이터라 하더라도 추후 정보 검색을 위해 많은 양의 데이터를 저장 및 보관할 수 있게 된다.
도 1은 본 발명의 실시 예에 따른 AI 기반 영상 압축 및 복원 시스템의 구성을 도시한 도면이다.
도 2는 본 발명의 실시 예에 따른 영상 처리 서버의 구성을 도시한 도면이다.
도 3은 본 발명의 실시 예에 따른 데이터 판단부의 구성을 도시한 도면이다.
도 4는 본 발명의 실시 예에 따른 AI 영상 복원부의 구성에 대하여 도시한 도면이다.
도 5는 본 발명의 실시 예에 따른 영상 복원 및 데이터화 동작의 순서를 도시한 순서도이다.
도 6은 본 발명의 실시 예에 따른 오토스케일링 동작을 도시한 도면이다.
본 발명의 실시 예에 따른 영상 압축 및 복원 시스템은 획득된 영상 데이터를 인공신경망 기반의 영상 학습을 통해 압축하여 저장하고, 사용자 요청에 따라 압축된 영상의 압축을 해제하여 해상도를 복원하여 사용자 기기에 제공하는 영상 처리 서버 및 상기 영상 처리 서버로 영상 데이터를 전송하도록 제어하고, 상기 영상 처리 서버에서 수행된 영상 학습 및 복원이 수행된 결과물을 수신하는 사용자 기기를 포함하여 구성될 수 있다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나 '접속되어'있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 '직접 연결되어'있다거나 '직접 접속되어'있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, '포함하다' 또는 '가지다' 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
도 1은 본 발명의 실시 예에 따른 AI 기반 영상 압축 및 복원 시스템의 구성을 도시한 도면이다.
발명의 실시 예에 따른 영상 압축 및 복원 시스템의 구성은 영상 압축 및 복원 기능을 수행하는 영상 처리 서버 100, 상기 영상 처리 서버 100에 촬영한 영상을 제공하는 영상 촬영 장치 200, 상기 영상 처리 서버 100에서 수행된 영상 처리 결과물을 제공받는 사용자 기기 300 및 연동 서버 400를 포함할 수 있다. 상기 영상 촬영 장치 200는 드론 201, CCTV 202와 등을 포함할 수 있다.
일 실시 예에 따라 상기 영상 촬영 장치 200 그리고 상기 연동 서버 400는 예컨대, 상기 영상 처리 서버 100에서 수행되는 영상 처리 결과물을 필요로 하는 기관 또는 단체 측 서버일 수 있다.
상기 영상 처리 서버 100는 영상 촬영 장치 200로부터 동영상 데이터를 획득할 수 있으며, 획득된 동영상 데이터의 압축 및 복원 기능을 수행할 수 있다. 또한 상기 영상 처리 서버 100는 사용자 기기 300의 사용자측 또는 연동 서버 400의 기관 또는 단체 측에 클라우드 서비스를 제공할 수 있다.
상기 영상 처리 서버 100는 기존의 클라우드 서버에서 제공하는 일반적인 클라우드 서비스를 제공할 수 있을 뿐 아니라, 영상 데이터의 해상도를 자동으로 다운스케일링하여 저장 및 관리하는 동작을 개시한다. 이러한 다운스케일링을 통해 상기 영상 처리 서버 100는 획득된 동영상의 용량을 줄일 수 있게 되므로 클라우드 서버의 저장공간을 보다 효과적으로 활용할 수 있게 된다. 또한 상기 영상 처리 서버 100는 용량이 압축되어 저장된 다운스케일링 파일을 추후 사용자 측에서 다운로드 내지는 스트리밍 요청할 경우 압축된 파일을 복원하게 되는데, 이 때 일반적인 압축 해제 방식과 달리 인공신경망을 활용한 업스케일링 과정을 통해 복원하게 된다.
도면에는 도시되지 않았지만, 상기 영상 촬영장치 200에는 카메라, 스마트 폰 등의 사용자 기기 등이 포함될 수 있으며, 이는 상기 영상 처리 서버 100를 이용하는 개인 사용자 또는 기관, 단체의 요구에 따라 영상 데이터를 촬영하고 이를 영상 처리 서버 100로 자동 전송할 수 있다. 또한 상기 사용자 기기 300 또는 연동 서버 400는 영상 데이터를 영상 처리 장치 100로 전송하도록 영상 촬영 장치 200를 제어할 수도 있다.
본 발명의 실시 예에 따른 영상 처리 서버 100에서 제공하는 영상 처리 및 클라우드 서비스는 개인 사용자(사용자 기기 300 측) 뿐 아니라, 기관 및 단체(예, 연동 서버 400)에 의해서도 활용될 수 있으나, 설명의 편의를 위해 이하에서는 영상처리 서버 100의 서비스를 이용하는 대상을 모두 '사용자'로 지칭하기로 한다.
이하에서는 본 발명의 실시 예에 따른 영상 처리 서버의 구조와 상기 영상 처리 서버에서 구현하는 기술 동작에 대하여 보다 자세히 살펴보기로 한다.
도 2는 본 발명의 실시 예에 따른 영상 처리 서버의 구성을 도시한 도면이다.
상기 영상 처리 서버 100는 통신부 110, 저장부 120 및 제어부 130를 포함하여 구성될 수 있다.
상기 통신부 110는 사용자 디바이스와 서버 간의 데이터 송수신을 위해 네트워크를 이용할 수 있으며 상기 네트워크의 종류는 특별히 제한되지 않는다. 상기 네트워크는 예를 들어, 인터넷 프로토콜(IP)을 통하여 대용량 데이터의 송수신 서비스를 제공하는 아이피(IP: Internet Protocol)망 또는 서로 다른 IP 망을 통합한 올 아이피(All IP) 망일 수 있다. 또한, 상기 네트워크는 유선망, Wibro(Wireless Broadband)망, WCDMA를 포함하는 이동통신망, HSDPA(High Speed Downlink Packet Access)망 및 LTE(Long Term Evolution) 망을 포함하는 이동통신망, LTE advanced(LTE-A), 5G(Five Generation)를 포함하는 이동통신망, 위성 통신망 및 와이파이(Wi-Fi)망 중 하나 이거나 또는 이들 중 적어도 하나 이상을 결합하여 이루어질 수 있다.
본 발명의 실시 예에 따른 상기 통신부 110는 영상 촬영 장치 200, 사용자 기기 300, 연동 서버 400 와의 데이터 통신 기능을 수행할 수 있다. 구체적으로 상기 통신부 300는 영상 촬영장치 200, 내지는 사용자 기기 300와 연동 서버 400로부터 수신되는 영상 데이터(원본 영상 데이터)를 수신할 수 있다. 그리고 상기 통신부 110는 상기 사용자 기기 300 또는 연동 서버 400로부터 영상 처리 서버 100의 영상에 대한 AI 학습 동작 또는 AI 영상 복원 동작에 대한 요청 신호를 수신할 수 있다. 그리고 상기 통신부 110는 영상 처리 서버 100내에 존재하는 영상으로부터 특정 이미지 객체에 대한 정보의 요청 신호를 사용자 기기 300 또는 연동 서버 400측으로부터 수신할 수 있다. 그리고, 상기 통신부 110는 영상 복원 동작 이후의 영상 데이터를 사용자 기기 300 또는 연동 서버 400측으로 제공하기 위한 데이터 통신을 수행할 수 있다. 그리고 상기 통신부 110는 복원된 영상 데이터에 기반한 객체 추출 및 데이터화 동작을 요청하는 신호, 그에 대한 응답 신호 그리고 결과 데이터(객체 추출 결과 데이터)를 사용자 기기 300 또는 연동 서버 400측으로 제공하기 위한 데이터 통신 동작을 수행할 수 있다.
상기 저장부 120는 예를 들면, 내장 메모리 또는 외장 메모리를 포함할 수 있다. 내장메모리는, 예를 들면, 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나를 포함할 수 있다.
외장 메모리는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), XD(extreme digital), MMC(multi-media card) 또는 메모리 스틱(memory stick) 등을 더 포함할 수 있다. 외장 메모리는 다양한 인터페이스를 통하여 전자 장치와 기능적으로 및/또는 물리적으로 연결될 수 있다.
본 발명의 실시 예에 따른 상기 저장부 120는 raw 영상 DB 121과 학습 영상 DB 122를 포함하여 구성될 수 있다. 먼저 상기 raw 영상 DB 121는 영상 학습을 수행하기 전 영상 촬영 장치 200 또는 사용자 기기 300(또는 연동 서버 400)로부터 획득된 raw 영상 데이터를 일시 저장할 수 있다. 다양한 실시 예에 따라 저장소의 기능을 효율적으로 사용하기 위해 상대적으로 용량을 많이 차지하는 raw 영상 데이터는 기 설정된 시간 이후 또는 기 설정된 조건(예, 영상 학습의 결과물인 다운스케일링 파일과 신경망 파일의 생성이 확인되는 경우)이 만족되면, 자동으로 삭제될 수 있다.
상기 학습 영상 DB 122는 영상 학습의 결과물로 생성되는 다운스케일링 파일과 신경망 파일을 저장할 수 있다. 이 때 상기 학습 영상 DB 122는 추후 사용자가 특정 동영상을 선택하여 재생하고자 할 시, 즉시 해상도를 복원하는 동작을 수행할 수 있도록 하기 위해, 다운스케일링 파일과 신경망 파일의 이름을 동일하게 설정하여 저장할 수 있다.
이 밖에도 상기 학습 영상 DB 122는 각 동영상 파일에 대응하는 신경망 파일 뿐 아니라, 임의의 동영상 데이터 셋을 기반으로 학습된 결과물인 범용 신경망 파일을 저장할 수 있다.
상기 제어부 130는 프로세서(Processor), 컨트롤러(controller), 마이크로 컨트롤러(microcontroller), 마이크로 프로세서(microprocessor), 마이크로 컴퓨터(microcomputer) 등으로도 호칭될 수 있다. 한편, 제어부는 하드웨어(hardware) 또는 펌웨어(firmware), 소프트웨어, 또는 이들의 결합에 의해 구현될 수 있다.
펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 일 실시예는 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차, 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리에 저장되어 제어부에 의해 구동될 수 있다. 메모리는 상기 사용자 단말 및 서버 내부 또는 외부에 위치할 수 있으며, 이미 공지된 다양한 수단에 의해 상기 제어부와 데이터를 주고 받을 수 있다.
본 발명의 실시 예에 따른 상기 제어부 130는 데이터 판단부 131, AI 학습 지원부 132, AI 영상 복원부 133, 객체 데이터화부 134를 포함하여 구성될 수 있다.
상기 데이터 판단부 131는 외부로부터 수신되는 Raw 영상에 대한 정보를 판단할 수 있다. 구체적으로, 상기 데이터 판단부 131는 외부의 영상 촬영 장치 200로부터 수신되는(다양한 실시 예에 따라, 사용자 기기 300 또는 연동 서버 400로부터 영상이 수신될 수도 있음) 영상 파일에 대한 메타 정보(예, 해상도, 용량, 이름, 키 등)를 추출하고 동일한 분류 항목에 대응하는 파일들끼리 분류할 수 있다.
이밖에도 상기 데이터 판단부 131는 영상 처리 서버 100에 등록된 회원과 관련된 데이터를 관리할 수 있다. 상기 데이터 판단부 131는 영상 데이터 제공자, 영상 촬영 장치 식별값, 회원 등록 정보, 사용 이력 등과 관련된 관리 정보를 판단할 수 있다.
상기 데이터 판단부 131는 영상 데이터를 제공하는 측과 영상 데이터의 메타 정보에 기반하여 영상 데이터를 식별하고 분류할 수 있다. 일 실시 예에 따라 상기 데이터 판단부 131는 기 설정된 기준(예, 영상 데이터 제공 장치 속성, 회원의 속성(예, 개인 또는 기관 여부), 서비스 이용 등급, 이용 목적 중 적어도 하나를 포함할 수 있음)에 기반하여 획득된 동영상을 영상 처리(예, 영상 학습을 통한 영상 압축, 영상 복원 등)이전에 분류할 수 있다. 구체적으로 예를 들면, 상기 데이터 판단부 131는 B 등급 회원의 경우 해당 회원이 영상 처리 서버 100에 업로드한 동영상 데이터를 2종류의 해상도(예, 540p 이상 또는 이하)를 기준으로 분류하고, A 등급 회원은 4종류의 해상도(예, 270p, 540p, 720p, 1080p)를 기준으로 분류하도록 제어할 수 있다. 이와 같은 동영상의 해상도별 분류동작은 영상 학습에 대한 전처리를 위해 요구될 수 있다.
상기 데이터 판단부 131는 해상도 판단부 131a와 영상 종류 판단부 131b를 통해 주로 해상도 기반의 분류 또는 영상 종류 기반의 분류 동작을 수행할 수 있다.
본 발명의 실시 예에 따른 상기 제어부 130의 구성 중 AI 학습 지원부 132는 획득된 동영상 데이터를 대상으로 AI 기반의 영상 학습을 통한 압축 기능을 지원할 수 있다. 구체적으로, 상기 AI 학습 지원부 132는 획득된 동영상 파일로부터 다운스케일링 파일과, 다운스케일링 파일을 추후 원본 수준으로 화질을 복원하기 위해 요구되는 파일인 신경망 파일을 생성할 수 있다. 이 때 상기 다운스케일링 파일은 곧 압축 파일을 의미하며, 본 발명의 실시 예에 따라 상기 AI 학습 지원부 132는 이러한 영상 학습을 수행하는 방식으로 동영상 파일 압축을 수행할 수 있다. 이러한 AI 영상 학습에 의해 다운스케일되어 압축된 동영상 파일은 추후 AI 영상 복원부 133에서 신경망 파일에 기반하여 수행되는 복원 작업에 의해 해상도가 복원(압축 해제)이 이루어질 수 있다.
상기 AI 학습 지원부 132에서 실시하는 영상학습은 일 실시 예에 따라 적어도 하나의 히든 레이어를 포함하도록 구현된 멀티레이어 퍼셉트론을 이용하여 수행될 수 있다. 기본적으로, 퍼셉트론은 다수의 신호를 입력(input)받아서 하나의 신호를 출력(output)할 수 있다.
인공신경망 모델을 이용한 연산 과정에서 요구되는 weight와 bias는 역전파 기법을 통해 적정 값으로 산출될 수 있다. 본 발명의 실시 예에 따른 AI 기반의 영상 학습 과정은 이러한 역전파 기법을 통해 적정 weight와 bias 데이터를 추출하게 된다. 본원 발명에서 해상도 개선 및 압축된 파일의 복원을 위해 인공신경망을 통해 산출하는 신경망 파일은 이러한 weight데이터와 bias 데이터에 관한 정보 등을 포함할 수 있다.
본 발명의 실시 예에 따른 영상 학습 과정은 기본 데이터 셋(일 실시 예에 따라 임의의 다양한 이미지 또는 동영상 데이터들로 구성될 수 있음)을 통해 기본 신경망 파일을 생성한 후 수행될 수 있다. 간단하게 설명하면, 상기 AI 학습 지원부 132는 새롭게 학습시킬 영상의 저화질 버전(다운스케일링) 데이터를 인공신경망 알고리즘에 인풋 값으로 투입하고, 상기 기본 신경망 파일을 이용한 인공 신경망 연산 과정을 수행하였을 때 결과값이 인풋 값으로 투입된 영상의 원본 영상과 기준 목표치 이상의 일치율을 달성하는지 확인한다. 이 때 기준 목표치 이상의 일치율이 달성되지 않으면, 상기 AI 학습 지원부 132는 기준치 이상의 일치율을 달성하도록 하는 인공 신경망의 파라미터들을 산출하기 위한 역전파 기법을 수행하는 과정을 다수 회 거쳐 적정 파라미터들(Weight, Bias 등)을 획득할 수 있다.
이러한 과정을 거쳐 획득된 적정 파라미터들의 값을 저장한 파일은 신경망 파일이 되고, 이러한 신경망 파일을 통한 인공신경망 연산을 수행했을 때 원본 데이터로 복원되는 인풋 데이터는 다운스케일링 파일이 된다. 즉, 상기 AI 영상 학습 지원부 132는 임의의 동영상 데이터(원본)를 대상으로 영상 학습을 수행한 결과, 원본 데이터에 비해 해상도 및 용량이 낮은 '다운스케일링 파일'과, 상기 다운스케일링 파일을 원본 영상으로 복원하는데 요구되는 파일인 '신경망 파일'을 생성할 수 있게 된다.
상기 AI 영상 복원부 133는 영상 학습 결과로 생성된 다운스케일링 파일을 신경망 파일에 기반하여 업스케일링하여 복원(압축 해제)할 수 있다. 상기 AI 영상 복원부 133는 업스케일링이 완료되어 화질이 복원된 데이터를 사용자 요청에 따라 사용자 기기 300측에 제공할 수 있다. 예를 들어 상기 AI 영상 복원부 133는 사용자가 영상 처리 서버 100가 제공하는 클라우드 서비스를 이용할 수 있으며, 클라우드에 기 저장되어 있는 동영상 파일을 다운로드하거나 재생(스트리밍)하기 위한 요청을 상기 영상 처리 서버 100측에 요청하면, 이에 대응하여 상기 AI 영상 복원부 133는 기 저장된 다운스케일링 파일을 신경망 파일을 통해 화질 복원(압축 해제)할 수 있다.
상기 객체 데이터화부 134는 상기 AI 영상 복원부 133에 의해 복원된 영상 데이터 또는 해당 영상을 구성하는 각 프레임의 이미지 데이터를 기반으로 목표한 객체 데이터를 추출할 수 있다. 이 때 상기 객체 데이터란 사람, 자동차, 숫자, 등과 같이 사용자에 의해 검출을 요청받은 특정 객체를 의미할 수 있다.
즉, 상기 객체 데이터화부 134는 복원된 영상으로부터 자동차, 사람, 자동차 번호판 등의 객체를 자동으로 추출하고, 추출된 정보를 데이터화하여 기록 및 저장할 수 있다. 이와 같이 추출되어 저장된 객체 데이터는 추후 정기적 또는 사용자 요청시 사용자 측에 전달될 수 있다.
일 실시 예에 따라 상기 객체 데이터화부 134는 객체의 개수, 횟수 등과 같이 개별 객체에 대한 구체적 식별이 요구되지 않는 경우와, 특정 용의자의 안면, 자동차 번호 등과 같이 구체적 식별이 요구되는 경우로 나누어 객체 검출 과정을 수행할 수 있다. 예컨대, 사용자가 특정 거리의 인파 또는 교통량을 파악하기 위한 목적으로 객체 데이터를 얻기 원함에 따라, 상기 객체 데이터화부 134는 화질 복원된 영상 데이터로부터 사람으로 인식되는 객체의 수 또는 자동차로 인식되는 객체의 수만을 체크하고 데이터화할 수 있다. 반면, 사용자가 범죄 차량의 번호를 CCTV 영상으로부터 확인하고자 하는 경우와 같이 객체의 구체 정보가 요구되는 경우, 상기 객체 데이터화부 134는 화질이 복원된 영상 데이터로부터 차량들의 번호로 인식되는 데이터들을 추출하고, 이를 리스트화할 수 있다. 이에 따라 사용자는 영상에 존재하는 다수의 차량들 중 자신이 탐색하고자 하는 번호를 갖는 차량이 존재하는지 여부를 즉각적으로 알 수 있게 된다.
이하에서는 상기 제어부 130의 구성 요소들 중 데이터 판단부 131의 세부 구성에 대하여 설명하기로 한다.
도 3은 본 발명의 실시 예에 따른 데이터 판단부의 구성을 도시한 도면이다.
도 3에서 도시되는 바와 같이, 본 발명의 실시 예에 다른 상기 데이터 판단부 131는 해상도 판단부 131a와 영상 종류 판단부 131b를 포함하여 구성될 수 있다.
상기 데이터 판단부 131는 AI 연산을 통해 영상 학습의 전처리를 위해 영상의 종류를 판단하고 구분할 수 있다. 그리고 상기 데이터 판단부 131는 AI 연산을 통해 영상의 해상도 복원 시, 효과적인 데이터 확인 및 적정 복원 모드 내지는 복원 옵션을 선택하기 위해 영상 데이터의 종류 구분을 수행할 수 있다. 또한 상기 데이터 판단부 131는 해상도 복원 동작이 수행된 이후, 복원된 영상 데이터로부터 객체 인식 및 인식된 객체 항목에 대한 데이터화 동작의 효과적인 수행을 위해 영상 데이터의 종류 구분 동작을 수행할 수 있다.
상기 해상도 판단부 131a는 획득된 데이터를 해상도에 기반하여 분류하는 동작을 수행할 수 있다. 먼저, 상기 해상도 판단부 131a는 영상학습의 가능 여부를 판단하기 위해 획득된 영상 데이터를 해상도에 따라 분류할 수 있다. 예를 들면, 판단 대상 영상 데이터의 해상도가 기준값(예,720p)이상인 경우에 한하여 학습 가능한 것으로 설정된 경우, 상기 해상도 판단부 131a는 획득 영상 데이터의 해상도가 기준값(720p) 이상인지 여부를 확인할 수 있다.
또는 본 발명의 다양한 실시 예에 따라 영상 학습 시 인풋 데이터의 해상도가 일괄적으로 특정 값을 갖도록 규격화될 수 있다. 이 경우 상기 해상도 판단부 131a는 획득된 영상 데이터의 해상도가 기 설정된 기준값(예, 720p)인지 여부를 확인하고, 기준값 미만인 데이터는 별도 영상 학습을 수행하지 않는 데이터 그룹으로 판단하고, 해상도가 기준값에 해당하는 데이터는 별도의 전처리 과정없이 영상 학습을 수행하는 그룹으로 판단할 수 있다. 기준값보다 더 높은 해상도 값을 갖는 데이터의 경우 상기 해상도 판단부 131a는 해상도를 기준값으로 데이터 변환하는 전처리 동작을 수행한 이후 영상 학습을 수행하는 그룹으로 분류할 수 있다.
다양한 실시 예에 따라 상기 데이터 판단부 131는 획득된 데이터 뿐 아니라, 본 발명의 실시 예에 따른 형식으로 기 압축된 다운스케일링 파일을 획득할 수도 있다. 이에 따라, 상기 해상도 판단부 131a는 획득된 다운스케일링 파일을 업스케일링 및 압축 해제하기 위하여 요구되는 적정 신경망 파일을 추출하기 위해 상기 획득된 영상 데이터를 해상도에 따라 분류할 수 있다.
상기 영상 종류 판단부 131b는 획득된 영상 데이터의 종류를 판단하고 이를 기반으로 획득된 영상 데이터를 분류 및 군집화할 수 있다. 상기 영상 종류 판단부 131b는 예컨대, 촬영 장치, 촬영 용도, 관람 목적의 유무 등의 기준에 따라 영상 데이터의 종류를 구분할 수 있다. 그리고 상기 영상 데이터의 종류는 파일의 메타 정보(예, 촬영 기기 식별값 등)로부터 확인될 수도 있고, 키프레임 기반의 임의의 썸네일 이미지(코덱의 기본적 기능에 의해 키프레임이 추출될 수 있음) 등에 기반하여 확인될 수도 있다. 예를 들면, 상기 영상 종류 판단부 131b는 획득된 영상 데이터가 애니메이션인지 여부를 키프레임의 썸네일 이미지에 기반하여 판단 및 구분할 수 있다.
상기 영상 종류 판단부 131b는 키프레임을 통해 확인되는 배경 이미지의 변화율에 기반하여 촬영 장치가 CCTV, 블랙박스와 같이 부착형 장치인지 드론, 스마트폰 등과 같은 이동형 장치인지 여부를 판단할 수 있다. 이에 따라 상기 영상 종류 판단부 131b는 촬영 장치의 종류(부착형 또는 이동형)에 기반하여 분류할 수 있다. 상기 영상 종류 판단부 131b는 수신되는 영상 데이터의 메타 데이터에 포함된 촬영 기기 정보를 통해 보다 쉽게 촬영 장치별 영상 데이터 구분 동작을 수행할 수도 있다.
상기 영상 종류 판단부 131b는 사용자가 기 설정한 용도에 기반하여 영상 데이터를 구분 및 분류할 수 있다. 이와 같이 소정의 기준에 기반하여 종류가 구분된 영상 데이터는 데이터화 작업 또한 구분된 그룹별로 수행할 수 있다.
일 실시 예에 따라 상기 영상 종류 판단부 131b는 획득된 데이터의 해상도가 학습 가능한 수준인 경우에 영상 학습 전 단계의 전처리 동작 및 객체 데이터화 동작을 위한 데이터 분류를 수행할 수 있다. 그리고 상기 영상 종류 판단부 131b는 획득된 데이터의 해상도가 학습 불가능한 수준인 경우, 먼저 AI 영상 복원부 133에 의해 영상 복원을 수행한 후 객체 데이터화부 134의 객체 데이터화 동작을 수행하기 위한 분류 동작을 수행할 수 있다.
상기 영상 종류 판단부 131b는 이러한 영상 데이터의 종류별 구분 동작을 통해 객체 데이터화부 134에서 수행할 동작(사용자의 요청에 대응하는 데이터 추출 동작)을 효과적으로 수행할 수 있는 환경을 마련할 수 있다. 구체적으로 예를 들면, 상기 영상 종류 판단부 131b는 사용자의 영상 처리 목적이 차량 번호판 탐색인 경우, 해당 사용자에 의해 수신된 영상 데이터들(예, 블랙박스, CCTV의 도로 촬영 영상, 개인 방송용 인물 촬영 영상 등이 있다고 가정) 중에서 블랙박스, CCTV 영상만을 추출하여 구분할 수 있다. 이에 따라 상기 객체 데이터화부 134는 차량 번호판 탐색을 위해 자동으로 미리 구분된 블랙박스, CCTV영상 데이터로 군집화된 데이터 그룹을 선택하고, 이를 대상으로 객체 추출 및 데이터화 동작을 수행할 수 있다. 이에 따라 상기 객체 데이터화부 134는 사용자 요청을 신속하게 이행할 수 있게 된다.
도 4는 본 발명의 실시 예에 따른 AI 영상 복원부의 구성에 대하여 도시한 도면이다.
도 4에서 도시되는 바와 같이, 본 발명의 실시 예에 따른 AI 영상 복원부 133는 영상 종류 기반 적용부 133a와 해상도 기반 적용부 133b를 포함하여 구성될 수 있다.
기본적으로 상기 AI 영상 복원부 133는 AI 학습 지원부 132에서 영상 학습의 결과물로 생성된 신경망 파일(압축 해제를 위한 메타 파일)을 이용하여 AI 연산을 통해 다운스케일링 파일(압축파일)을 원래 상태로 복원하는 동작을 수행할 수 있다. 그리고 이 때 상기 AI 영상 복원부 133는 해상도를 복원하고자 하는 영상 데이터에 대응하는 신경망 파일에 저장된 파라미터 데이터를 적용하여 인공신경망 알고리즘을 구동하는 방식으로 영상 데이터의 해상도 복원 동작을 수행할 수 있다. 이 때 인공 신경망의 종류는 예컨대 SRCNN 등이 해당될 수 있다.
상기 영상 종류 기반 적용부 133a는 영상의 종류 정보에 따라 AI 영상 복원 동작에 관한 설정값(예, 인공 신경망의 활성 함수 종류 및 신경망 파일, 복원 결과물의 최종 해상도 등)을 결정하고, 그에 대응한 영상 복원 동작을 수행할 수 있다. 상기 영상 종류 기반 적용부 133a는 예컨대, 압축 영상의 해상도 복원에 요구되는 신경망 파일 항목을 선택하는 동작, 해상도 복원과 관련된 영상 종류에 따른 설정값 선택 등의 동작을 수행할 수 있다.
구체적으로 상기 영상 종류 기반 적용부 133a는 영상의 종류가 CCTV 등의 관람 목적이 없는 자료와, 영화, 애니메이션 등의 관람 목적이 있는 자료로 구분될 수 있다. 또는 상기 영상 종류 기반 적용부 133a는 데이터 추출 목적이 있는 자료와 그렇지 않은 자료를 구분할 수도 있다.
그리고 상기 영상 종류 기반 적용부 133a는 이러한 영상 데이터의 구분 정보에 기반하여, 영상 데이터의 해상도 복원 수준을 결정할 수 있다. 예를 들어, 상기 영상 종류 기반 적용부 133a는 관람 목적이 없는 자료의 경우 해당 영상 데이터에 특정하여 학습된 신경망 파일이 아닌, 범용 신경망 파일을 적용하여 영상 복원을 수행할 수 있다. 반면, 상기 영상 종류 기반 적용부 133a는 관람 목적이 있는 자료의 경우, 해당 영상 데이터를 대상으로 학습된 신경망 파일을 검색 및 추출하여 영상 복원을 수행할 수 있다. 이는 관람 목적이 있는 영화 또는 드라마 등의 영상 데이터에 대하여는 상대적으로 원본 데이터와의 일치율이 중요하게 여겨질 수 있다는 점을 반영한 동작일 수 있다. 그러나 이는 일 실시 예일 뿐이며, 다른 방식의 차등 적용이 충분히 가능하다. 이처럼 상기 영상 종류 기반 적용부 133a는 영상 종류에 기반하여 영상 복원 과정에서 선택해야하는 설정 데이터를 다르게 적용할 수 있으며, 이에 따라 복원 동작의 효율성을 부여할 수 있다.
상기 해상도 기반 적용부 133b는 복원 대상인 영상 데이터의 해상도에 기반하여 복원 동작에 관한 설정값(예, 인공 신경망의 활성 함수 종류 및 신경망 파일, 복원 결과물의 최종 해상도 등)를 차등 설정할 수 있다. 예컨대, 상기 해상도 기반 적용부 133b는 서비스 정책에 따라 이용자들이 지불한 요금 또는 이용자들이 선택한 서비스의 종류에 따라 목표 해상도를 다르게 설정(예, A 서비스의 경우, 270p를 4K까지 해상도 복원하고, B서비스의 경우, 270p를 FHD까지 해상도 복원하도록 설정)할 수 있다.
이 밖에도 상기 해상도 기반 적용부 133b는 복원 수행 전 해상도의 종류에 대응하는 목표 해상도를 지정하고, 목표 해상도로의 복원 동작을 수행하기 위해 적절한 신경망 파일을 탐색하고 적용할 수 있다. 예컨대, 상기 해상도 기반 적용부 133b는 획득된 복원용 영상 데이터(예, 다운스케일링 파일)을 대상으로 자동으로 업스케일링을 수행하되, 270p는 FHD(1080p)로, 540p는 4K(2060p)로, 720p는 5K(2880p)로, 1080p는 4320p로 업스케일링(또는 압축 해제)를 수행할 수 있다.
이와 같은 자동 업스케일링 동작에 대한 도식은 도 6을 통해 도시되고 있다.
도 6은 본 발명의 실시 예에 따른 오토스케일링 동작을 도시한 도면이다.
도 6에서 도시되는 바와 같이, 본 발명의 실시 예에 따른 해상도 기반 적용부 133b는 획득되는 영상 데이터의 해상도에 따른 자동 업스케일링 동작을 수행할 수 있다. 이 때 해상도에 따른 분류 동작은 데이터 판단부 131의 해상도 판단부 131a에 의해 이루어질 수 있고, 분류된 영상 데이터를 각각의 목표 해상도로 업스케일링하는 동작은 AI 영상 복원부 133의 해상도 기반 적용부 133b를 통해 수행될 수 있다.
이하에서는 도 5를 참조하여, 본 발명의 실시 예에 따른 영상 복원 동작 및 데이터화 동작에 대하여 설명하기로 한다.
도 5는 본 발명의 실시 예에 따른 영상 복원 및 데이터화 동작의 순서를 도시한 순서도이다.
본 발명의 실시 예에 따른 영상 처리 서버 100의 제어부 130는 먼저 외부의 영상 촬영 장치 200로부터 영상 데이터를 수신하는 505동작을 수행할 수 있다.
이에 따라 상기 제어부 130는 수신된 영상 데이터를 확인하고, 해당 영상 데이터를 업스케일링하여 해상도를 복원하는 510동작을 수행할 수 있다. 본 발명의 다양한 실시 예에 따라, 해상도 업스케일링(또는 업스케일링 및 객체 인식)이 주요 목적인 경우, 또는 획득된 영상 데이터 원본의 해상도가 기 설정값 이하인 경우, 별도의 영상학습(다운스케일링 파일 및 신경망 파일 생성 동작)은 생략되고, 바로 업스케일링 동작을 진행할 수 있다.
이러한 영상 데이터의 해상도 복원이 수행된 이후, 상기 제어부 130(객체 데이터화부 134)는 복원된 영상 데이터 내지는 해당 영상 데이터의 각 프레임 이미지들로부터 객체 인식 수행 및 인식된 객체를 분류하는 515동작을 수행할 수 있다. 구체적으로, 상기 제어부 130는 복원된 이미지로부터 특정 기법(예, YOLO; You Only Look Once, 딥러닝 기반 실시간 객체 탐색 기법 등)을 이용한 객체 탐색을 수행할 수 있다. 이 결과로 상기 제어부 130는 이미지 객체를 추출할 뿐 아니라, 추출된 이미지 객체를 항목별로 구분할 수 있다. 예컨대, 상기 제어부 130는 복원된 영상 데이터로부터 추출되는 객체를 소정의 기준에 따라 사람, 자동차 등으로 구분할 수 있다. 또는 상기 제어부 130는 보다 상세한 분류 기준에 따라 남자, 여자, 어른, 어린이 등의 항목으로 추출된 사람 객체를 구분할 수 있다.
이후 상기 제어부 130는 인식된 객체 정보를 데이터화(예, 리스트화)하고 출력하는 520동작을 수행할 수 있다. 실시간으로 검출되고 식별되는 객체 이미지를 사용자가 직접 놓치지 않고 캐치하기 어려우므로, 상기 제어부 130는 인식된 객체 정보를 리스트화하여 사용자에게 제공할 수 있다. 이러한 동작은 추후 사용자가 영상 데이터에서 특정 객체(예, 자동차)의 유무를 확인하기 위해 영상 데이터를 직접 확인하는 대신, 데이터화된 자료들을 통해 검색하도록 할 수 있다. 이에 따라 사용자는 보다 효과적인 방법으로 영상 데이터로부터의 객체 검색 작업을 수행할 수 있는 효과가 있다.
또한, 도면에는 도시되지 않았지만, 본 발명의 실시 예에 따른 영상 처리 서버 100의 제어부 130는 보다 다양한 방식으로 사용자에게 효과적인 데이터 저장 및 관리기능을 제공할 수 있다. 일 실시 예에 따라, 상기 제어부 130는 잔여용량 제어부(미도시)를 포함할 수 있으며, 이를 통해 자동으로 각 사용자(계정)에게 할당된 잔여 용량(예, 클라우드 용량)을 확인하고, 신규 업로드된 영상 데이터를 압축하여 저장하되, 확인된 잔여 용량에 대응하여 상기 영상 데이터의 압축률(다운스케일링 파일의 원본 대비 용량 감소 정도)을 자동 설정할 수 있다. 만약, 특정 사용자에게 잔여 용량이 얼마 남지 않은 것으로 판단되는 경우, 상기 영상 처리 서버 100로 수신된 영상 데이터의 다운스케일링 수준을 향상 시키도록 제어할 수도 있다. 이와 같이 상기 영상 처리 서버 100는 다양한 실시 예에 따라 저장소의 잔여 용량 수준을 실시간으로 확인하고, 저장소 상황에 대응하여 자동으로 영상 처리 수준을 설정하기 위해 다운스케일링 목표치 등의 설정값을 변경할 수 있다.
상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 당업자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다. 요컨대 본 발명이 의도하는 효과를 달성하기 위해 도면에 도시된 모든 기능 블록을 별도로 포함하거나 도면에 도시된 모든 순서를 도시된 순서 그대로 따라야만 하는 것은 아니며, 그렇지 않더라도 얼마든지 청구항에 기재된 본 발명의 기술적 범위에 속할 수 있음에 주의한다.

Claims (9)

  1. 획득된 영상 데이터를 인공신경망 기반의 영상 학습을 통해 압축하여 저장하고, 사용자 요청에 따라 압축된 영상의 압축을 해제하여 해상도를 복원하고 사용자 기기에 제공하는 영상 처리 서버; 및
    상기 영상 처리 서버로 영상 데이터를 전송하도록 제어하고, 상기 영상 처리 서버에서 수행된 영상 학습 및 복원이 수행된 결과물을 수신하는 사용자 기기;를 포함하는 것을 특징으로 하는 영상 압축 및 복원 시스템.
  2. 제 1항에 있어서,
    상기 영상 처리 서버는
    영상 데이터를 외부로부터 수신하는 데이터 통신부;
    상기 영상 데이터를 기반으로 영상 학습을 수행하여, 상기 영상 데이터의 해상도와 용량을 저감한 압축파일인 다운스케일링 파일과, 상기 다운스케일링 파일을 인공 신경망 연산을 통해 복원하는 데 요구되는 파일인 신경망 파일을 생성하는 제어부; 및
    영상 학습의 결과로 생성된 상기 다운스케일링 파일과 상기 신경망 파일을 저장하는 저장부;를 포함하는 것을 특징으로 하는 영상 압축 및 복원 시스템.
  3. 제 2항에 있어서,
    상기 제어부는
    영상 데이터를 기 설정된 기준에 기반하여 분류하는 데이터 판단부;를 포함하고,
    상기 기 설정된 기준은 영상 데이터 제공 장치의 속성, 회원의 속성, 서비스 이용 등급, 이용 목적 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 압축 및 복원 시스템.
  4. 제 3항에 있어서,
    상기 데이터 판단부는
    영상 학습의 가능 여부를 판단하기 위해 해상도가 기준값 이상인지 여부를 판단하며, 기준값 미만인 영상 데이터에 대하여는 영상 학습을 수행하지 않는 그룹으로 분류하고, 기준값 이상인 데이터는 영상 학습을 수행하는 그룹으로 분류하되, 기준값보다 높은 해상도를 갖는 데이터는 해상도를 기준값으로 변환하는 전처리를 수행하는 해상도 판단부;
    영상 데이터의 메타 데이터에 포함된 촬영 장치 정보를 기반으로 촬영 장치별 분류를 수행하는 영상 종류 판단부;를 포함하는 것을 특징으로 하는 영상 압축 및 복원 시스템.
  5. 제 2항에 있어서,
    상기 제어부는
    원본 영상 데이터를 기 설정된 해상도로 낮춘 다운스케일링 파일과, 다운스케일링 파일을 복원하는 데 요구되는 파일인 신경망 파일을 생성하는 AI 학습 지원부;를 포함하되,
    상기 신경망 파일은
    상기 다운스케일링 파일을 대상으로 인공신경망 연산을 수행하였을 때 원본 영상 데이터와의 일치율이 기준치 이상이 되도록 하는 인공신경망 파라미터로 구성되는 것을 특징으로 하는 영상 압축 및 복원 시스템.
  6. 제 2항에 있어서,
    상기 제어부는
    영상 학습 결과로 생성된 다운스케일링 파일의 해상도를 인공신경망 연산을 통해 복원하는 AI 영상 복원부;를 포함하되,
    영상 데이터의 종류에 따라 AI 영상 복원 동작에 관한 설정값을 결정하고, 결정된 설정값을 적용하여 영상 복원 동작을 수행하는 영상 종류 기반 적용부;
    영상 데이터의 해상도에 대응하여 복원 동작에 관한 설정값을 결정하고, 결정된 설정값을 적용하여 영상 복원 동작을 수행하는 해상도 기반 적용부;를 포함하는 것을 특징으로 하는 영상 압축 및 복원 시스템.
  7. 제 2항에 있어서,
    상기 제어부는
    영상 데이터의 해상도 복원이 수행된 이후, 복원된 영상 데이터의 각 프레임 이미지들로부터 특정 이미지 객체를 추출하고, 추출된 이미지 객체의 항목을 리스트화하는 객체 데이터화부;를 포함하는 것을 특징으로 하는 영상 압축 및 복원 시스템.
  8. 제 2항에 있어서,
    상기 제어부는
    각 사용자에게 할당된 잔여 용량을 확인하고, 신규 업로드된 영상 데이터를 압축하여 저장하되, 확인된 잔여 용량에 대응하여 상기 영상 데이터의 압축률을 자동 설정하는 잔여 용량 제어부;를 포함하는 것을 특징으로 하는 영상 압축 및 복원 시스템.
  9. 제 1항에 있어서,
    상기 영상 처리 서버는
    영상 데이터를 수신하여 저장하는 클라우드 서비스를 제공하는 것을 특징으로 하는 영상 압축 및 복원 시스템.
PCT/KR2019/004894 2018-04-24 2019-04-23 Ai 기반의 영상 압축 및 복원 시스템 WO2019209007A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20180047305 2018-04-24
KR10-2018-0047305 2018-04-24
KR10-2019-0046955 2019-04-22
KR1020190046955A KR102190483B1 (ko) 2018-04-24 2019-04-22 Ai 기반의 영상 압축 및 복원 시스템

Publications (1)

Publication Number Publication Date
WO2019209007A1 true WO2019209007A1 (ko) 2019-10-31

Family

ID=68294157

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/004894 WO2019209007A1 (ko) 2018-04-24 2019-04-23 Ai 기반의 영상 압축 및 복원 시스템

Country Status (1)

Country Link
WO (1) WO2019209007A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220215198A1 (en) * 2020-12-26 2022-07-07 International Business Machines Corporation Dynamic multi-resolution processing for video classification

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040045030A1 (en) * 2001-09-26 2004-03-04 Reynolds Jodie Lynn System and method for communicating media signals
US20130034313A1 (en) * 2011-08-05 2013-02-07 Zhe Lin Regression-Based Learning Model for Image Upscaling
US20160180502A1 (en) * 2014-12-22 2016-06-23 Thomson Licensing Method for upscaling an image and apparatus for upscaling an image
KR20170019159A (ko) * 2015-08-11 2017-02-21 삼성전자주식회사 전자 장치 및 이미지 처리 방법
US20170347061A1 (en) * 2015-02-19 2017-11-30 Magic Pony Technology Limited Machine Learning for Visual Processing

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040045030A1 (en) * 2001-09-26 2004-03-04 Reynolds Jodie Lynn System and method for communicating media signals
US20130034313A1 (en) * 2011-08-05 2013-02-07 Zhe Lin Regression-Based Learning Model for Image Upscaling
US20160180502A1 (en) * 2014-12-22 2016-06-23 Thomson Licensing Method for upscaling an image and apparatus for upscaling an image
US20170347061A1 (en) * 2015-02-19 2017-11-30 Magic Pony Technology Limited Machine Learning for Visual Processing
KR20170019159A (ko) * 2015-08-11 2017-02-21 삼성전자주식회사 전자 장치 및 이미지 처리 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220215198A1 (en) * 2020-12-26 2022-07-07 International Business Machines Corporation Dynamic multi-resolution processing for video classification
US11954910B2 (en) * 2020-12-26 2024-04-09 International Business Machines Corporation Dynamic multi-resolution processing for video classification

Similar Documents

Publication Publication Date Title
KR102190483B1 (ko) Ai 기반의 영상 압축 및 복원 시스템
CN110633669B (zh) 家居环境中基于深度学习的移动端人脸属性识别方法
WO2018150083A1 (en) A method and technical equipment for video processing
WO2021164216A1 (zh) 一种视频编码方法、装置、设备及介质
Yu et al. Pinto: enabling video privacy for commodity iot cameras
EP3405889A1 (en) Cloud platform with multi camera synchronization
CN114679607A (zh) 一种视频帧率控制方法、装置、电子设备及存储介质
US20240007720A1 (en) Peer-to-Peer Data Transfer for Video on Demand from an Edge Data Storage Device to a Browser
US11095901B2 (en) Object manipulation video conference compression
WO2019209007A1 (ko) Ai 기반의 영상 압축 및 복원 시스템
US20220006960A1 (en) Camera analyzing images on basis of artificial intelligence, and operating method therefor
US20190370553A1 (en) Filtering of false positives using an object size model
KR20220070866A (ko) 딥러닝 기술이 적용된 영상 개선 방법, 장치 및 프로그램
KR102130076B1 (ko) 특징 영역의 학습 중요도를 바탕으로 스트리밍 파일의 해상도를 개선하는 방법
CN110765869A (zh) 分渠道采集数据的唇语活体检测方法、系统和计算机设备
CN107979568A (zh) 一种视频监控应用系统
WO2019135270A1 (ja) 動画像解析装置、動画像解析システム、動画像解析方法、及びプログラム
WO2019209008A1 (ko) 변화 매크로블록 추출 기법을 이용한 동영상 화질 개선 시스템
WO2019209005A1 (ko) 인공지능 기반 해상도 개선 시스템
KR102130077B1 (ko) 격자 생성 패턴 정보를 바탕으로 해상도를 개선하는 시스템
CN114513681A (zh) 一种视频处理系统、方法、装置、电子设备和存储介质
CN113792021A (zh) 一种降低图片存储空间的方法
WO2019209006A1 (ko) 스트리밍 파일의 해상도 개선 방법
KR20220021494A (ko) Ai 기반 해상도 개선 시스템
US9451275B2 (en) System and method for storing and moving graphical image data sets with reduced data size requirements

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19794057

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19794057

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 20.04.2021)

122 Ep: pct application non-entry in european phase

Ref document number: 19794057

Country of ref document: EP

Kind code of ref document: A1