KR20180067781A - High resolution upscaling method of high quality image using parallel processing of divisional images - Google Patents
High resolution upscaling method of high quality image using parallel processing of divisional images Download PDFInfo
- Publication number
- KR20180067781A KR20180067781A KR1020160168936A KR20160168936A KR20180067781A KR 20180067781 A KR20180067781 A KR 20180067781A KR 1020160168936 A KR1020160168936 A KR 1020160168936A KR 20160168936 A KR20160168936 A KR 20160168936A KR 20180067781 A KR20180067781 A KR 20180067781A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- upscaling
- processing
- resolution
- data
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
- G06T3/4076—Super resolution, i.e. output image resolution higher than sensor resolution by iteratively correcting the provisional high resolution image using the original low-resolution image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
Description
본 발명은 분할영상의 병렬 처리를 이용한 고화질 영상의 초고해상도 업스케일링 방법에 관한 것으로서, 보다 상세하게는 영상분할모듈, 그래픽처리모듈 및 업스케일링모듈로 이루어진 업스케일링 시스템 상에서 구동되어지며, 비전 영역 분할단계, 동시병렬 그래픽처리단계, 업스케일링 데이터 병합처리단계 및 초고해상도 업스케일링 영상 비전단계로 이루어지는 것을 특징으로 한 분할영상의 병렬 처리를 이용한 고화질 영상의 초고해상도 업스케일링 방법에 관한 것이다.
The present invention relates to a high-resolution up-scaling method for a high-quality image using parallel processing of divided images, and more particularly, to an up-scaling method using an image segmentation module, a graphic processing module, and an up- The method comprising the steps of: (a) performing parallel processing of the parallel image, (b) up-scaling data merging processing, and (c) super-resolution up-scaling image vision.
최근 HD(High Definition)급 해상도를 지원하는 방송 시스템이 국내뿐만 아니라 세계적으로 확대되고 있고, 이에 따라 많은 사용자가 고해상도 및 고화질의 영상에 익숙해지고 있다.
Recently, a broadcasting system supporting HD (High Definition) resolution is spreading not only in Korea but also in the world, and thus many users are getting used to high resolution and high quality video.
이러한 추세에 맞춰, 다수의 업체 및 기관들이 차세대 영상기기의 개발에 박차를 가하고 있고, 또한 HDTV와 더불어 HDTV의 4배 이상의 해상도를 지원하는 UHD(초고화질, Ultra High Definition)에 대한 관심이 증대되면서 더욱 높은 해상도 및 고화질의 영상에 대한 압축 기술이 요구되고 있다.
In response to this trend, many companies and organizations are spurring the development of next-generation video equipment. In addition, with the growing interest in UHD (ultra high definition), which supports more than four times the resolution of HDTV, A compression technique for higher resolution and higher image quality is required.
한편, 고화질 영상, 예를 들어 UHD 영상은 높은 해상도와 색 보정 등의 후반 작업이 필요하여 기존의 제작 환경에서는 제작되기 어렵고 단기간에 다양한 콘텐츠를 확보하기 어렵다.
On the other hand, a high-definition image, for example, a UHD image requires a post-operation such as high resolution and color correction, so that it can not be produced in an existing production environment and it is difficult to secure various contents in a short period of time.
현재 전세계적으로 경쟁하고 있는 UHD 장비의 테스트나 관련 장비의 구현을 위해서는 다양한 UHD 콘텐츠가 필요하기 때문에 콘텐츠 확보에 많은 비용과 노력이 필요하다.
Currently, UHD equipment competing in the world requires a lot of cost and efforts to acquire contents because various UHD contents are needed to test and implement related equipment.
또한 저해상도 영상을 고해상도 영상으로 변환하는 데 고해상도 영상의 해상도가 높으면 높을 수록 이에 따른 메모리의 용량이 더욱 요구될 뿐만 아니라 엄청난 데이터량에 따라 영상 시스템에 많은 부담을 가져오는 문제점이 있다.
In addition, in order to convert a low-resolution image into a high-resolution image, the higher the resolution of the high-resolution image, the more the memory capacity is required, and the image system is burdened with a huge amount of data.
이러한 문제점을 해결하기 위하여, 대한민국 등록특허 10-1616892 에서는 저해상도 영상을 고해상도 영상으로 변환하고, 저해상도 영상을 고해상도 영상으로 변환하는 데 사용되는 메모리의 용량을 최소화하는 영상 해상도 변환장치 및 그 방법을 제공하며, 구체적으로 입력된 제1영상을 상기 제1영상보다 해상도가 높은 제2영상으로 업스케일링하고 업스케일링된 제2영상을 출력하는 영상처리부; 상기 영상처리부에서 상기 제1영상을 상기 제2영상으로 업스케링하는데 사용되며, 둘 이상의 출력 버퍼를 포함하는 메모리; 및 상기 제1영상을 상기 제2영상으로 업스케일링하고 업스케일링된 상기 제2영상을 출력하는 동작을 제어하도록 구현된 제어부를 포함하는 영상 해상도 변환장치를 개시하고 있다.
In order to solve such a problem, Korean Patent Registration No. 10-1616892 provides a video resolution conversion apparatus and method for converting a low resolution image into a high resolution image and minimizing a capacity of a memory used for converting a low resolution image into a high resolution image An image processor for upscaling a first input image to a second image having a higher resolution than the first image and outputting an upscaled second image; A memory for use in upscaling the first image to the second image in the image processing unit, the memory including two or more output buffers; And a control unit configured to control an operation of upscaling the first image to the second image and outputting the upscaled second image.
또한, 다른 종래기술인 대한민국 등록특허 10-0971148 에서는 밝기 조절을 통한 영상 정합을 위한 병렬 구조의 영상 처리 장치 및 방법을 제공하고 있으며, 구체적으로 하나 이상의 영상을 입력받아 영상 데이터를 획득하는 영상 획득부와 상기 획득한 영상 데이터를 임시 저장하는 영상 버퍼를 포함하는 영상 획득 블록; 상기 영상 버퍼로부터 입력받은 획득-버퍼링된 영상 데이터를 정규화하는 정규화 처리부, 상기 정규화된 영상데이터를 시스템에서 사용하는 윈도우의 크기에 맞게 분할하는 분할 처리부 및 상기 정규화-분할된 영상 데이터가 임시 저장되는 윈도우 버퍼를 포함하는 전처리 블록; 및 데이터 코스트 계산부와 계층적 반복 연산부와 상태 추정부를 포함하는 영상 정합블록;을 포함하는 병렬 구조의 영상 처리 장치를 개시하고 있다.
In addition, another prior art Korean Patent Registration No. 10-0971148 provides a parallel-structured image processing apparatus and method for image matching through brightness control, and more particularly, to an image processing apparatus and method for acquiring image data by receiving one or more images, An image acquisition block including an image buffer for temporarily storing the acquired image data; A normalization processing unit for normalizing the acquired-buffered image data received from the image buffer, a division processing unit for dividing the normalized image data according to the size of a window used in the system, and a window for temporarily storing the normalized- A preprocessing block including a buffer; And a video matching block including a data cost calculator, a hierarchical iterative calculator, and a state estimator.
한편, 또 다른 종래기술인 대한민국 등록특허 10-1347956 에서는 H.264 CODEC(Encoder & Decoder) 기술을 이용하여 4k 이상의 고화질 영상에 대한 고화질 압축스트림으로의 변환 및 복원이 가능한 초고화질 영상의 병렬처리에 의한 스트림 변환 및 복원 시스템 그리고 이를 이용한 초고화질 영상의 스트림 변환 및 복원 방법을 개시하고 있다.
On the other hand, Korean Patent Registration No. 10-1347956, which is another prior art, discloses a method of converting a high-quality compressed image into a high-quality compressed image using a H.264 CODEC (Encoder & Decoder) Stream conversion and restoration system, and a stream conversion and restoration method of an ultra-high quality image using the system.
그러나 상기 종래기술에서는 고화질의 영상을 업스케일링 하는데 따른 시스템의 부담을 저하시키는 성능이 여전히 낮으며, 뿐만 아니라 빠른 시간 내에 업스케일링 결과를 확인할 수 없어 실용성이 떨어지는 문제점이 남아 있다.
However, in the above-described conventional techniques, the performance of lowering the burden on the system due to the upscaling of the high-quality image is still low, and the upscaling result can not be confirmed in a short time, which leads to a problem in practicality.
또한 고화질 영상을 초고해상도로 업스케일링 한다 할지라도 해상도 증가에 다른 그래픽 또는 품질의 열화가 발생하는 문제점이 남아 있어, 신속하게 고품질 초고해상도로 영상을 업스케일링 할 수 있도록 한 새로운 방식의 업스케일링 방법 및 시스템에 대한 필요성이 점점 증대되고 있다.
Also, there is a problem that another graphic or quality deteriorates due to an increase in resolution even if upscaling a high-quality image to an ultra-high resolution, so that a new upscaling method and a new upscaling method for upscaling an image with high quality, The need for a system is increasing.
본 발명은 상기의 종래기술의 문제점을 해결하기 위해 창한된 것으로서, 보다 상세하게는 영상분할모듈, 그래픽처리모듈 및 업스케일링모듈로 이루어진 업스케일링 시스템 상에서 구동되어지며, 비전 영역 분할단계, 동시병렬 그래픽처리단계, 업스케일링 데이터 병합처리단계 및 초고해상도 업스케일링 영상 비전단계로 이루어지는 것을 특징으로 한 분할영상의 병렬 처리를 이용한 고화질 영상의 초고해상도 업스케일링 방법을 제공하는 것을 목적으로 한다.
The present invention has been made to solve the above-mentioned problems of the conventional art, and more particularly, it is an object of the present invention to provide an image processing apparatus and method, which are operated on an upscaling system including an image segmentation module, a graphic processing module, and an upscaling module, Resolution image up-scaling method using a parallel processing of divided images, which is characterized by comprising a processing step, an up-scaling data merging processing step, and an ultra-high-resolution up-scaling image vision step.
본 발명의 바람직한 일실시예에 따르면, 하나 이상의 고화질 멀티미디어 데이터를 입력받아 비전(Vision) 영역을 복수개로 분할처리 하고, 각각의 분할된 비전 영역에 대응하는 분할영상 데이터를 저장하기 위한 복수개의 메모리를 구비한 영상분할모듈(100), 분할된 복수개의 멀티미디어 데이터에서 비전 영역이 확장된 초고해상도의 멀티미디어 영상으로의 업스케일링(Up-Scaling)을 동시병렬처리하기 위한 복수개의 그래픽처리모듈(200), 상기 복수개의 그래픽처리모듈에 의해 고속으로 동시병렬처리 되어진 복수개의 분할 멀티미디어 영상을 다시 하나의 초고해상도 업스케일링 멀티미디어 데이터로 병합(Sum) 처리하는 업스케일링모듈(300)로 이루어진 업스케일링 시스템 상에서 실행되어지는 것을 특징으로 한다.
According to a preferred embodiment of the present invention, there is provided a method of controlling an image processing apparatus including a plurality of memories for receiving one or more high-quality multimedia data and dividing a vision region into a plurality of regions and storing divided image data corresponding to each divided region, A plurality of graphic processing modules 200 for simultaneously performing up-scaling of an upper-scaled up-scaled multimedia image from a plurality of divided multimedia data to an extended vision region, And an upscaling module 300 for merging a plurality of segmented multimedia images that have been simultaneously and parallel-processed at a high speed by the plurality of graphic processing modules into one ultra high resolution upscaling multimedia data .
본 발명의 다른 일실시예에 따르면, 상기 고화질 영상의 초고해상도 업스케일링 방법은, 사용자로부터 입력받은 하나 이상의 고화질 멀티미디어 데이터에 대해서 사용자에 의해 기 설정되어지는 영상위치정보 및 비전분할개수정보에 기초하여 상기 영상분할모듈(100) 상에 구동되어지는 영역분할 알고리즘에 의해 상기 고화질 멀티미디어 데이터에 대한 복수개의 영역으로의 분할이 이루어지는 비전 영역 분할단계(S1), 상기 S1 단계에서 분할되어진 각각의 비전 영역에 대응하는 복수개의 분할영상 데이터가 복수개의 그래픽처리장치(GPU, Graphic Processing Unit)에 대해 1대1 매칭으로 할당되어지고, 각 그래픽처리장치 상에서 동시병렬(parallel) 적으로 그래픽처리모듈(200)에 의해 업스케일링이 실행되어지는 동시병렬 그래픽처리단계(S2), 상기 S2 단계에서 기 입력되어진 해상도보다 높은 해상도로 업스케일링 처리가 완료되어진 분할영상 데이터가 출력장치의 윈도우 사이즈에 맞게 확장되어지고, 상기 확장되어진 각각의 분할영상 데이터에 대응하는 업스케일링 된 비전 영역을 하나의 멀티미디어 데이터로 병합하는 업스케일링 데이터 병합처리단계(S3), 상기 S3 단계에서 병합처리가 완료된 초고해상도 멀티미디어 데이터를 영상출력 디스플레이 장치에 송출하여 업스케일링 전 최초 입력된 멀티미디어 영상과 기 설정된 영역 단위로 비교함으로써 업스케일링 품질을 피드백하는 초고해상도 업스케일링 영상 비전단계(S4)로 이루어지는 것을 특징으로 한다.
According to another embodiment of the present invention, there is provided a method for upscaling a high-definition image, comprising: a step of generating, based on image position information and vision division number information previously set by a user for one or more high- A vision region dividing step (S1) of dividing the high-definition multimedia data into a plurality of regions by an area segmentation algorithm driven on the image segmentation module (100) A plurality of corresponding divided image data are allocated to a plurality of graphics processing units (GPUs) in a one-to-one correspondence manner, and parallel processing is performed on each of the graphics processing units in parallel to the graphics processing module 200 A simultaneous parallel graphic processing step (S2) in which up-scaling is executed, The divided image data in which the upscaling process is completed at a higher resolution than the resolution in which the resolution is made is expanded in accordance with the window size of the output device and the upscaled vision region corresponding to each of the expanded divided image data is converted into one multimedia data In step S3, the super-high-resolution multimedia data, which has been merged in step S3, is sent to the video output display device, and the up-scaled data is compared with the multimedia data firstly inputted before up- And an ultra-high resolution upscaling image vision step (S4) for feedback of the quality.
본 발명의 또 다른 일실시예에 따르면, 상기 비전 영역 분할단계(S1)는 사용자 관점의 시각적인 비전 영역에서 경계선에 해당하는 멀티미디어 데이터의 업스케일링 시 발생하는 데이터 로스(Loss) 또는 디스토션(Distortion) 구간을 복구하기 위하여, 상기 영역분할 알고리즘은 각각의 분할된 비전 영역에 대응하는 분할영상 데이터를 메모리에 저장할 때 상기 경계선에 해당하는 데이터를 포함하여 바로 인접한 데이터까지 저장하는 것을 특징으로 한다.
According to another embodiment of the present invention, the vision region dividing step S1 may include a step of dividing the vision region into a data loss or a distortion caused in the upscaling of the multimedia data corresponding to the border in the visual vision region, In order to restore the segment, the region segmentation algorithm stores the segmented image data corresponding to each segmented vision region, including the data corresponding to the segment, immediately adjacent to the segmented image data.
본 발명의 또 다른 일실시예에 따르면, 상기 동시병렬 그래픽처리단계(S2)는 상기 그래픽처리모듈(200)이 두 개 이상으로 이루어진 경우 우선적으로 업스케일링 영상 처리가 완료된 그래픽처리장치에 의해 메모리에 처리대기 중인 분할영상 데이터의 넘버링(numbering) 순서로 업스케일링 영상 처리가 실시되어지며, 상기 그래픽처리모듈(200)이 단일 장치(Device)로 이루어진 경우 복수개의 분할영상 데이터가 순차적으로 업스케일링 영상 처리되어지는 것을 특징으로 한다.
According to another embodiment of the present invention, the simultaneous parallel graphic processing step S2 may include a step of, when the graphics processing module 200 is composed of two or more graphics processing units, The upscaling image processing is performed in the numbering sequence of the divided image data in the waiting state for processing. When the graphic processing module 200 is composed of a single device, a plurality of divided image data are sequentially subjected to the upscaling image processing .
본 발명의 또 다른 일실시예에 따르면, 상기 업스케일링 데이터 병합처리단계(S3)는 상기 업스케일 비전 영역의 병합 후 사용자 관점에서 각 분할영상의 경계선이 자연스럽게 이어지도록 그래픽 보정이 추가적으로 실시되어지는 것을 특징으로 한다.
According to another embodiment of the present invention, the upscaling data merging process step S3 may further include a step of performing graphical correction so that the boundaries of the divided images are seamlessly connected from the user's point of view after merging the upscale vision regions .
본 발명의 또 다른 일실시예에 따르면, 상기 초고해상도 업스케일링 영상 비전단계(S4)는 상기 기 설정된 영영에서의 최초 입력된 멀티미디어 데이터 및 초고해상도 업스케일링 멀티미디어 데이터 간 오차율이 0.5% 미만이 되도록 회귀적으로(recursively) 피드백 및 보정 알고리즘이 실행되어지는 것을 특징으로 한다.
According to another embodiment of the present invention, the super-high resolution up-scaling video vision step (S4) may include a step of performing a step (S4) so that the error rate between the initially inputted multimedia data and the ultra high- The feedback and correction algorithms are executed recursively.
한편 본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있으며, 특정 실시예들은 상세한 설명에서 구체적으로 설명한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해서 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.
또한 본 발명에서 사용하는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, “포함하다”또는 “가지다” 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
It is also to be understood that the terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In the present application, the term " comprises " or " having ", etc. is intended to specify the presence of stated features, integers, steps, operations, elements, parts, or combinations thereof, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.
본 발명에 따르면, 복수개의 그래픽처리장치(GPU)를 이용하여 멀티미디어 영상의 화질 또는 품질의 열화가 발생하지 않으면서도 각각의 분할영상에 대한 그래픽 처리를 고속으로 동시병렬처리 함으로써, 초고해상도로 업스케일 된 비전을 빠른 시간 내에 제공할 수 있다는 장점이 있다.
According to the present invention, graphics processing for each divided image can be simultaneously and parallelly processed at a high speed, without deterioration of image quality or quality of a multimedia image using a plurality of graphics processing units (GPU) And the ability to provide the vision quickly.
도 1은 본 발명에 따른 분할영상의 병렬 처리를 이용한 고화질 영상의 초고해상도 업스케일링 방법을 설명하기 위한 순서도,
도 2는 본 발명에 따른 분할영상의 병렬 처리를 이용한 고화질 영상의 초고해상도 업스케일링 방법을 설명하기 위한 개념도이다.FIG. 1 is a flowchart for explaining an ultra-high resolution up-scaling method of a high-quality image using parallel processing of divided images according to the present invention.
FIG. 2 is a conceptual diagram for explaining an ultra-high resolution up-scaling method of a high-quality image using parallel processing of divided images according to the present invention.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
한편, 본 발명에 따른 분할영상의 병렬 처리를 이용한 고화질 영상의 초고해상도 업스케일링 방법을 설명하기에 앞서, 상기 초고해상도 업스케일링 방법이 실행되어지기 위한 업스케일링 시스템에 대해서 먼저 설명하기로 한다.
[0030] The up-scaling system for performing the ultra high-resolution up-scaling method will be described before explaining a high-resolution up-scaling method for a high-resolution image using parallel processing of divided images according to the present invention.
상기 초고해상도 업스케일링 방법이 실행되어지기 위한 업스케일링 시스템은 먼저 영상분할모듈(100)과 그래픽처리모듈(200) 그리고 업스케일링모듈(300)로 이루어진다.
The upscaling system for performing the ultra high resolution upscaling method comprises an image segmentation module 100, a graphics processing module 200, and an upscaling module 300.
이때, 상기 영상분할모듈(100)은 하나 이상의 고화질 멀티미디어 데이터를 입력받아 비전(Vision) 영역을 복수개로 분할처리 하는 장치로서, 각각의 분할된 비전 영역에 대응하는 분할영상 데이터를 저장하기 위한 복수개의 메모리를 구비한다.
In this case, the image segmentation module 100 receives one or more high-quality multimedia data and divides a vision region into a plurality of segments. The segmentation module 100 includes a plurality of segmented image segments corresponding to each segmented segment, Memory.
그리고, 상기 그래픽처리모듈(200)은 분할된 복수개의 멀티미디어 데이터에서 비전 영역이 확장된 초고해상도의 멀티미디어 영상으로의 업스케일링(Up-Scaling)을 동시병렬처리하기 위한 장치로서, 시스템 및 처리할 영상의 해상도에 따라 복수개 구비되어질 수 있다.
The graphics processing module 200 is an apparatus for simultaneously processing up-scaling of a plurality of divided multimedia data into an ultra-high resolution multimedia image with an extended vision region, May be provided in plural.
단, 본 발명에서는 복수개의 그래픽처리모듈(200)을 사용하는 사례를 들어 분할영상의 병렬 처리를 이용한 고화질 영상의 초고해상도 업스케일링 방법을 설명하였으나, 상기 그래픽처리모듈(200)이 단일로 이루어진 시스템에서도 본 발명은 적용이 가능하다.
However, in the present invention, the graphics processing module 200 is a single system, and the graphics processing module 200 is a single- The present invention is also applicable.
마지막으로, 상기 업스케일링모듈(300)은 상기 복수개의 그래픽처리모듈에 의해 고속으로 동시병렬처리 되어진 복수개의 분할 멀티미디어 영상을 다시 하나의 초고해상도 업스케일링 멀티미디어 데이터로 병합(Sum) 처리하는 장치이다.
Lastly, the upscaling module 300 is a device for summing a plurality of divided multimedia images, which have been simultaneously and parallel-processed at high speed by the plurality of graphic processing modules, into one ultra-high resolution up-scaling multimedia data.
다음으로, 도 1은 본 발명에 따른 분할영상의 병렬 처리를 이용한 고화질 영상의 초고해상도 업스케일링 방법을 설명하기 위한 순서도이다.
Next, FIG. 1 is a flowchart for explaining an ultra-high resolution up-scaling method of a high-quality image using parallel processing of divided images according to the present invention.
상기 도 1에 도시된 바와 같이, 본 발명에 따른 상기 고화질 영상의 초고해상도 업스케일링 방법은, 비전 영역 분할단계(S1)와 동시병렬 그래픽처리단계(S2)와 업스케일링 데이터 병합처리단계(S3) 및 초고해상도 업스케일링 영상 비전단계(S4)로 이루어진다.
1, the method for super-high resolution up-scaling of a high-definition image according to the present invention includes steps of dividing a vision region S1, a parallel graphic processing S2, and an up- And an ultra high resolution upscaling image vision step S4.
이를 좀 더 상세히 설명하면, 먼저 상기 비전 영역 분할단계(S1)에서는 사용자로부터 입력받은 하나 이상의 고화질 멀티미디어 데이터에 대해서 사용자에 의해 기 설정되어지는 영상위치정보 및 비전분할개수정보에 기초하여 상기 영상분할모듈(100) 상에 구동되어지는 영역분할 알고리즘에 의해 상기 고화질 멀티미디어 데이터에 대한 복수개의 영역으로의 분할이 이루어진다.
More specifically, in the vision region segmentation step S1, the image segmentation step S1 is performed based on the image position information and the vision division number information previously set by the user for one or more high-definition multimedia data received from the user, Division of the high-definition multimedia data into a plurality of regions is performed by an area segmentation algorithm that is driven on the display unit 100. [
이때, 사용자 관점의 시각적인 비전 영역에서 경계선에 해당하는 멀티미디어 데이터의 업스케일링 시 발생하는 데이터 로스(Loss) 또는 디스토션(Distortion) 구간을 복구하기 위하여, 상기 영역분할 알고리즘은 각각의 분할된 비전 영역에 대응하는 분할영상 데이터를 메모리에 저장할 때 상기 경계선에 해당하는 데이터를 포함하여 바로 인접한 데이터까지 저장하게 된다.
In order to recover a data loss or a distortion caused by up-scaling of multimedia data corresponding to a border in the visual vision region of the user's viewpoint, When the corresponding divided image data is stored in the memory, data corresponding to the boundary line and immediately adjacent data are also stored.
다음으로, 동시병렬 그래픽처리단계(S2)에서는 상기 S1 단계에서 분할되어진 각각의 비전 영역에 대응하는 복수개의 분할영상 데이터가 복수개의 그래픽처리장치(GPU, Graphic Processing Unit)에 대해 1대1 매칭으로 할당되어지고, 각 그래픽처리장치 상에서 동시병렬(parallel) 적으로 그래픽처리모듈(200)에 의해 업스케일링이 실행된다.
Next, in the simultaneous parallel graphic processing step S2, a plurality of divided image data corresponding to the respective vision regions divided in the step S1 are subjected to a one-to-one matching with respect to a plurality of graphic processing units (GPUs) And upscaling is performed by the graphics processing module 200 in parallel in parallel on each graphics processing unit.
좀 더 상세하게는, 상기 그래픽처리모듈(200)이 두 개 이상으로 이루어진 경우 우선적으로 업스케일링 영상 처리가 완료된 그래픽처리장치에 의해 메모리에 처리대기 중인 분할영상 데이터의 넘버링(numbering) 순서로 업스케일링 영상 처리가 실시되어진다.
More specifically, when the graphics processing module 200 is composed of two or more graphics processing modules, the graphics processing device that has completed the upscaling video processing first performs the upsampling in the numbering sequence of the divided video data, Image processing is performed.
만약 상기 그래픽처리모듈(200)이 단일 장치(Device)로 이루어진 경우 복수개의 분할영상 데이터가 순차적으로 업스케일링 영상 처리되어질 수도 있다.
If the graphic processing module 200 is a single device, a plurality of divided image data may be processed up-scaling image sequentially.
다음으로, 업스케일링 데이터 병합처리단계(S3)에서는 상기 S2 단계에서 기 입력되어진 해상도보다 높은 해상도로 업스케일링 처리가 완료되어진 분할영상 데이터가 출력장치의 윈도우 사이즈에 맞게 확장되어진다.
Next, in the upscaling data merging processing step S3, the divided image data whose upscaling processing is completed at a resolution higher than the resolution previously input in the step S2 is expanded to fit the window size of the output apparatus.
그리고, 상기 확장되어진 각각의 분할영상 데이터에 대응하는 업스케일링 된 비전 영역을 하나의 멀티미디어 데이터로 병합하게 된다.
Then, the upscaled vision region corresponding to each of the expanded divided image data is merged into one multimedia data.
이때, 상기 업스케일 비전 영역의 병합 후 사용자 관점에서 각 분할영상의 경계선이 자연스럽게 이어지도록 그래픽 보정이 추가적으로 실시되어진다.
At this time, after the merging of the upscale vision regions, graphic correction is additionally performed so that the boundaries of the divided images are seamlessly connected from the user's point of view.
다음으로, 상기 초고해상도 업스케일링 영상 비전단계(S4)에서는 상기 S3 단계에서 병합처리가 완료된 초고해상도 멀티미디어 데이터를 영상출력 디스플레이 장치에 송출하여 업스케일링 전 최초 입력된 멀티미디어 영상과 기 설정된 영역 단위로 비교함으로써 업스케일링 품질을 피드백하게 된다.
Next, in the super-high resolution upscaling image vision step S4, super-high resolution multimedia data that has been merged in step S3 is transmitted to a video output display device, and compared with a multimedia image first input before upscaling So that the upscaling quality is fed back.
이때, 상기 기 설정된 영영에서의 최초 입력된 멀티미디어 데이터 및 초고해상도 업스케일링 멀티미디어 데이터 간 오차율이 0.5% 미만이 되도록 회귀적으로(recursively) 피드백 및 보정 알고리즘이 실행되어지게 된다.
At this time, a feedback and correction algorithm is recursively executed so that the error rate between the initially input multimedia data and the super high resolution up-scaling multimedia data is less than 0.5%.
도 2는 본 발명에 따른 분할영상의 병렬 처리를 이용한 고화질 영상의 초고해상도 업스케일링 방법을 설명하기 위한 개념도이다.
FIG. 2 is a conceptual diagram for explaining an ultra-high resolution up-scaling method of a high-quality image using parallel processing of divided images according to the present invention.
상기 도 2에 도시된 바와 같이, 본 발명에 따른 분할영상의 병렬 처리를 이용한 고화질 영상의 초고해상도 업스케일링 방법은 일반적인 경우, 기존 입력된 영상 자체를 고해상도를 유지한 채 확대시키는 업스케일링을 수행하는 것이 아니라, 여러 개의 분할된 영역에 대해서 초고해상도 업스케일링을 병렬 처리를 이용하여 수행함으로써 빠르게 처리 결과를 확인할 수 있으며, 또한 최초 고화질 영상을 기존 해상도 이상의 초고해상도로 업스케일함으로써 확장된 비전 또는 디스플레이에서도 어떠한 화질 또는 품질의 저하 없이 멀티미디어 영상을 사용자에게 시각적으로 제공할 수 있다는 장점이 있다.
As shown in FIG. 2, the high-resolution up-scaling method of a high-quality image using the parallel processing of divided images according to the present invention performs up-scaling in which the existing input image itself is enlarged while maintaining a high resolution In addition, it is possible to confirm the processing result quickly by performing the parallel processing at the ultra-high resolution up-scaling for several divided areas, and upscale the original high resolution image to the ultra high resolution beyond the existing resolution, There is an advantage that a multimedia image can be visually provided to a user without any deterioration of image quality or quality.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
While the present invention has been described with reference to exemplary embodiments, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, is intended to cover various modifications and equivalent arrangements included within the spirit and scope of the appended claims. Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims.
100 : 영상분할모듈
200 : 그래픽처리모듈
300 : 업스케일링모듈100: image division module
200: Graphics processing module
300: Upscaling module
Claims (6)
분할된 복수개의 멀티미디어 데이터에서 비전 영역이 확장된 초고해상도의 멀티미디어 영상으로의 업스케일링(Up-Scaling)을 동시병렬처리하기 위한 복수개의 그래픽처리모듈(200);
상기 복수개의 그래픽처리모듈에 의해 고속으로 동시병렬처리 되어진 복수개의 분할 멀티미디어 영상을 다시 하나의 초고해상도 업스케일링 멀티미디어 데이터로 병합(Sum) 처리하는 업스케일링모듈(300);
로 이루어진 업스케일링 시스템 상에서 실행되어지는 것을 특징으로 하는 분할영상의 병렬 처리를 이용한 고화질 영상의 초고해상도 업스케일링 방법.
An image segmentation module (100) having a plurality of memories for receiving one or more high-definition multimedia data, dividing a vision region into a plurality of segments, and storing segmented image data corresponding to each segmented vision region;
A plurality of graphics processing modules (200) for simultaneously processing up-scaling of a plurality of divided multimedia data into an ultra-high resolution multimedia image with an extended vision region;
An upscaling module (300) for merging a plurality of divided multimedia images that have been simultaneously and parallelly processed at high speed by the plurality of graphic processing modules into one super high resolution upscaling multimedia data;
Wherein the step of performing the upscaling operation comprises the steps of:
상기 고화질 영상의 초고해상도 업스케일링 방법은,
사용자로부터 입력받은 하나 이상의 고화질 멀티미디어 데이터에 대해서 사용자에 의해 기 설정되어지는 영상위치정보 및 비전분할개수정보에 기초하여 상기 영상분할모듈(100) 상에 구동되어지는 영역분할 알고리즘에 의해 상기 고화질 멀티미디어 데이터에 대한 복수개의 영역으로의 분할이 이루어지는 비전 영역 분할단계(S1);
상기 S1 단계에서 분할되어진 각각의 비전 영역에 대응하는 복수개의 분할영상 데이터가 복수개의 그래픽처리장치(GPU, Graphic Processing Unit)에 대해 1대1 매칭으로 할당되어지고, 각 그래픽처리장치 상에서 동시병렬(parallel) 적으로 그래픽처리모듈(200)에 의해 업스케일링이 실행되어지는 동시병렬 그래픽처리단계(S2);
상기 S2 단계에서 기 입력되어진 해상도보다 높은 해상도로 업스케일링 처리가 완료되어진 분할영상 데이터가 출력장치의 윈도우 사이즈에 맞게 확장되어지고, 상기 확장되어진 각각의 분할영상 데이터에 대응하는 업스케일링 된 비전 영역을 하나의 멀티미디어 데이터로 병합하는 업스케일링 데이터 병합처리단계(S3);
상기 S3 단계에서 병합처리가 완료된 초고해상도 멀티미디어 데이터를 영상출력 디스플레이 장치에 송출하여 업스케일링 전 최초 입력된 멀티미디어 영상과 기 설정된 영역 단위로 비교함으로써 업스케일링 품질을 피드백하는 초고해상도 업스케일링 영상 비전단계(S4);로 이루어지는 것을 특징으로 하는 분할영상의 병렬 처리를 이용한 고화질 영상의 초고해상도 업스케일링 방법.
The method according to claim 1,
A method of super-high resolution up-scaling of a high-
By the region segmentation algorithm that is driven on the image segmentation module 100 based on the image position information and the vision segmentation number information previously set by the user for one or more high-quality multimedia data received from the user, A division step (S1) of dividing into a plurality of regions for the plurality of regions;
A plurality of divided image data corresponding to the respective vision regions divided in the step S1 are allocated to a plurality of graphics processing units (GPUs) in a one-to-one matching manner, a parallel graphic processing step S2 in which upscaling is executed by the graphic processing module 200 in parallel;
The divided image data for which the upscaling process is completed at a resolution higher than the resolution inputted in the step S2 is expanded to fit the window size of the output device and the upscaled vision region corresponding to the expanded divided image data is An upscaling data merging processing step (S3) of merging into one multimedia data;
In step S3, super-high-resolution multimedia data is transmitted to the video output display device, and the up-scaling quality is feedbacked by comparing the multi-media image input before the up-scaling in units of predetermined areas. (S4). The high-resolution up-scaling method of the high-resolution image using the parallel processing of the divided images.
상기 비전 영역 분할단계(S1)는,
사용자 관점의 시각적인 비전 영역에서 경계선에 해당하는 멀티미디어 데이터의 업스케일링 시 발생하는 데이터 로스(Loss) 또는 디스토션(Distortion) 구간을 복구하기 위하여, 상기 영역분할 알고리즘은 각각의 분할된 비전 영역에 대응하는 분할영상 데이터를 메모리에 저장할 때 상기 경계선에 해당하는 데이터를 포함하여 바로 인접한 데이터까지 저장하는 것을 특징으로 하는 분할영상의 병렬 처리를 이용한 고화질 영상의 초고해상도 업스케일링 방법.
3. The method of claim 2,
The vision region dividing step (S1)
In order to recover the data loss or distortion caused by the up-scaling of the multimedia data corresponding to the border in the visual vision region of the user's viewpoint, And storing the data corresponding to the boundary line when the divided image data is stored in the memory, the immediately adjacent data including the data corresponding to the boundary line is stored.
상기 동시병렬 그래픽처리단계(S2)는,
상기 그래픽처리모듈(200)이 두 개 이상으로 이루어진 경우 우선적으로 업스케일링 영상 처리가 완료된 그래픽처리장치에 의해 메모리에 처리대기 중인 분할영상 데이터의 넘버링(numbering) 순서로 업스케일링 영상 처리가 실시되어지며,
상기 그래픽처리모듈(200)이 단일 장치(Device)로 이루어진 경우 복수개의 분할영상 데이터가 순차적으로 업스케일링 영상 처리되어지는 것을 특징으로 하는 분할영상의 병렬 처리를 이용한 고화질 영상의 초고해상도 업스케일링 방법.
3. The method of claim 2,
The simultaneous parallel graphic processing step (S2)
When the number of the graphics processing modules 200 is two or more, the upscaling image processing is performed in the order of numbering of the divided image data waiting for processing in the memory by the graphics processing device having completed the upscaling image processing first ,
Wherein the graphic processing module (200) comprises a single device, wherein a plurality of divided image data are sequentially up-scaled image processed.
상기 업스케일링 데이터 병합처리단계(S3)는,
상기 업스케일 비전 영역의 병합 후 사용자 관점에서 각 분할영상의 경계선이 자연스럽게 이어지도록 그래픽 보정이 추가적으로 실시되어지는 것을 특징으로 하는 분할영상의 병렬 처리를 이용한 고화질 영상의 초고해상도 업스케일링 방법.
3. The method of claim 2,
The upscaling data merging processing step (S3)
And a graphic correction is additionally performed so that a boundary line of each divided image is smoothly connected from a user's point of view after merging the upscale vision region.
상기 초고해상도 업스케일링 영상 비전단계(S4)는,
상기 기 설정된 영영에서의 최초 입력된 멀티미디어 데이터 및 초고해상도 업스케일링 멀티미디어 데이터 간 오차율이 0.5% 미만이 되도록 회귀적으로(recursively) 피드백 및 보정 알고리즘이 실행되어지는 것을 특징으로 하는 분할영상의 병렬 처리를 이용한 고화질 영상의 초고해상도 업스케일링 방법.3. The method of claim 2,
The ultra-high resolution upscaling image vision step (S4)
Wherein feedback and correction algorithms are recursively performed so that an error rate between the initially inputted multimedia data and the super high resolution upscaling multimedia data is less than 0.5% High resolution upscaling method of high quality image using.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160168936A KR20180067781A (en) | 2016-12-12 | 2016-12-12 | High resolution upscaling method of high quality image using parallel processing of divisional images |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160168936A KR20180067781A (en) | 2016-12-12 | 2016-12-12 | High resolution upscaling method of high quality image using parallel processing of divisional images |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20180067781A true KR20180067781A (en) | 2018-06-21 |
Family
ID=62806818
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160168936A KR20180067781A (en) | 2016-12-12 | 2016-12-12 | High resolution upscaling method of high quality image using parallel processing of divisional images |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20180067781A (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110555802A (en) * | 2019-08-02 | 2019-12-10 | 华中科技大学 | multi-pixel stitching method and system for providing data for image parallel operation circuit |
| WO2020159149A1 (en) * | 2019-01-31 | 2020-08-06 | Samsung Electronics Co., Ltd. | Electronic device and method for processing image |
| WO2020209437A1 (en) * | 2019-04-09 | 2020-10-15 | 전자부품연구원 | Apparatus and method for transcoding segmented images in real time |
| KR102274086B1 (en) * | 2020-12-28 | 2021-07-07 | 포스텍네트웍스(주) | Led display board and controller supporting for 10k super resolution and uhd output |
| WO2024085418A1 (en) * | 2022-10-20 | 2024-04-25 | 삼성전자 주식회사 | Display device and operation method thereof |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100971148B1 (en) | 2008-05-16 | 2010-07-20 | 포항공과대학교 산학협력단 | Parallel structure image processing apparatus and method for image matching with adjusting intensities |
| KR101347956B1 (en) | 2013-07-29 | 2014-01-10 | 주식회사 리버스톤미디어 | System for stream transformation and restoration of ultra high-definition image and method for stream transformation and restoration of ultra high-definition image therefor |
| KR101616892B1 (en) | 2014-06-30 | 2016-05-02 | (주)시스포유아이앤씨 | Apparatus and method for changing video resolution |
-
2016
- 2016-12-12 KR KR1020160168936A patent/KR20180067781A/en unknown
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100971148B1 (en) | 2008-05-16 | 2010-07-20 | 포항공과대학교 산학협력단 | Parallel structure image processing apparatus and method for image matching with adjusting intensities |
| KR101347956B1 (en) | 2013-07-29 | 2014-01-10 | 주식회사 리버스톤미디어 | System for stream transformation and restoration of ultra high-definition image and method for stream transformation and restoration of ultra high-definition image therefor |
| KR101616892B1 (en) | 2014-06-30 | 2016-05-02 | (주)시스포유아이앤씨 | Apparatus and method for changing video resolution |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020159149A1 (en) * | 2019-01-31 | 2020-08-06 | Samsung Electronics Co., Ltd. | Electronic device and method for processing image |
| CN113366527A (en) * | 2019-01-31 | 2021-09-07 | 三星电子株式会社 | Electronic device and method for processing image |
| US11488284B2 (en) | 2019-01-31 | 2022-11-01 | Samsung Electronics Co., Ltd. | Electronic device and method for processing image |
| WO2020209437A1 (en) * | 2019-04-09 | 2020-10-15 | 전자부품연구원 | Apparatus and method for transcoding segmented images in real time |
| CN110555802A (en) * | 2019-08-02 | 2019-12-10 | 华中科技大学 | multi-pixel stitching method and system for providing data for image parallel operation circuit |
| CN110555802B (en) * | 2019-08-02 | 2021-04-20 | 华中科技大学 | Multi-pixel stitching method and system for providing data for image parallel operation circuit |
| KR102274086B1 (en) * | 2020-12-28 | 2021-07-07 | 포스텍네트웍스(주) | Led display board and controller supporting for 10k super resolution and uhd output |
| WO2024085418A1 (en) * | 2022-10-20 | 2024-04-25 | 삼성전자 주식회사 | Display device and operation method thereof |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20180067781A (en) | High resolution upscaling method of high quality image using parallel processing of divisional images | |
| CN110136066B (en) | Video-oriented super-resolution method, device, equipment and storage medium | |
| US20190206026A1 (en) | Frame-Recurrent Video Super-Resolution | |
| US10515435B2 (en) | Apparatus for upscaling an image, method for training the same, and method for upscaling an image | |
| JP6978542B2 (en) | Electronic device and its control method | |
| Kim et al. | 2X super-resolution hardware using edge-orientation-based linear mapping for real-time 4K UHD 60 fps video applications | |
| WO2019167597A1 (en) | Super-resolution processing device and method, and program | |
| US11055820B2 (en) | Methods, apparatus and processor for producing a higher resolution frame | |
| CN104813362B (en) | Image processing equipment and image processing method | |
| US20110084982A1 (en) | Apparatus and Method for Displaying Image Data With Memory Reduction | |
| US8339512B2 (en) | Method and apparatus for enhancement of high-definition video content | |
| JP6783362B2 (en) | Video processing equipment and its video processing method | |
| WO2018126486A1 (en) | Parallel video image contrast enhancing method and apparatus | |
| KR102401783B1 (en) | Image displaying apparatus and method of controlling the same | |
| JP2012164147A (en) | Image reduction device, image enlargement device and programs for these | |
| CN115375539A (en) | Image resolution enhancement, multi-frame image super-resolution system and method | |
| US11436442B2 (en) | Electronic apparatus and control method thereof | |
| US20140022452A1 (en) | System and method for artifact removal | |
| CN113556496B (en) | Video resolution improving method and device, storage medium and electronic equipment | |
| US11240465B2 (en) | System and method to use decoder information in video super resolution | |
| CN113689333A (en) | Image enhancement method and device | |
| JP2009294273A (en) | Super resolution display device | |
| JP5463250B2 (en) | Image reconstruction device, encoding device, decoding device, and program | |
| US20240112294A1 (en) | Multi-pass writeback with single-pass display consumption | |
| JP2010134582A (en) | Apparatus and method for processing image |