KR20180108316A - Parallel encoding method and apparatus - Google Patents

Parallel encoding method and apparatus Download PDF

Info

Publication number
KR20180108316A
KR20180108316A KR1020170037896A KR20170037896A KR20180108316A KR 20180108316 A KR20180108316 A KR 20180108316A KR 1020170037896 A KR1020170037896 A KR 1020170037896A KR 20170037896 A KR20170037896 A KR 20170037896A KR 20180108316 A KR20180108316 A KR 20180108316A
Authority
KR
South Korea
Prior art keywords
picture
image
divided
unit
boundary
Prior art date
Application number
KR1020170037896A
Other languages
Korean (ko)
Inventor
기명석
김휘용
이주영
정세윤
정순흥
최진수
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020170037896A priority Critical patent/KR20180108316A/en
Publication of KR20180108316A publication Critical patent/KR20180108316A/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]

Abstract

Disclosed are an image parallel encoding method and an apparatus thereof capable of overcoming deterioration of image quality. According to one embodiment of the present disclosure, the image encoding method may comprise the processes of: detecting characteristics of at least one picture previously inputted and storing characteristics of the picture in advance in a database; dividing the inputted picture to construct a plurality of divided pictures; detecting characteristics of each of the divided pictures; detecting the previously stored picture corresponding to the detected characteristics of the divided pictures from the database; constructing a boundary predictive picture in which a pixel value of the detected and pre-stored picture is reflected in a boundary area of the divided pictures; and processing parallel prediction for the divided pictures using the boundary prediction picture as a reference picture.

Description

영상의 병렬 부호화 방법 및 장치{PARALLEL ENCODING METHOD AND APPARATUS}[0001] PARALLEL ENCODING METHOD AND APPARATUS [0002]

본 개시는 영상 부호화 기술에 관한 것이며, 보다 구체적으로는 영상의 병렬 부호화 처리 방법 및 장치에 대한 것이다.This disclosure relates to image encoding techniques, and more particularly, to a method and apparatus for parallel processing of images.

최근 HD(High Definition) 영상 및 UHD(Ultra High Definition) 영상과 같은 고해상도, 고품질의 영상에 대한 수요가 다양한 응용 분야에서 증가하고 있다. 영상 데이터가 고해상도, 고품질이 될수록 기존의 영상 데이터에 비해 상대적으로 데이터량이 증가하기 때문에 기존의 유무선 광대역 회선과 같은 매체를 이용하여 영상 데이터를 전송하거나 기존의 저장 매체를 이용해 저장하는 경우, 전송 비용과 저장 비용이 증가하게 된다. 영상 데이터가 고해상도, 고 품질화 됨에 따라 발생하는 이러한 문제들을 해결하기 위해서는 고효율의 영상 압축 기술들이 활용될 수 있다.Recently, the demand for high resolution and high quality images such as high definition (HD) image and ultra high definition (UHD) image is increasing in various applications. As the image data has high resolution and high quality, the amount of data increases relative to the existing image data. Therefore, when the image data is transmitted using a medium such as a wired / wireless broadband line or stored using an existing storage medium, The storage cost is increased. High-efficiency image compression techniques can be used to solve these problems caused by high-resolution and high-quality image data.

영상 압축 기술로 현재 픽쳐의 이전 또는 이후 픽쳐로부터 현재 픽쳐에 포함된 픽셀값을 예측하는 화면 간 예측 기술, 현재 픽쳐 내의 픽셀 정보를 이용하여 현재 픽쳐에 포함된 픽셀값을 예측하는 화면 내 예측 기술, 출현 빈도가 높은 값에 짧은 부호를 할당하고 출현 빈도가 낮은 값에 긴 부호를 할당하는 엔트로피 부호화 기술 등 다양한 기술이 존재하고 이러한 영상 압축 기술을 이용해 영상 데이터를 효과적으로 압축하여 전송 또는 저장할 수 있다.An inter picture prediction technique for predicting a pixel value included in a current picture from a previous or a subsequent picture of a current picture using an image compression technique, an intra picture prediction technique for predicting a pixel value included in a current picture using pixel information in the current picture, There are various techniques such as an entropy encoding technique in which a short code is assigned to a value having a high appearance frequency and a long code is assigned to a value having a low appearance frequency. Image data can be effectively compressed and transmitted or stored using such an image compression technique.

한편, 고해상도 영상에 대한 수요가 증가함과 함께, 새로운 영상 서비스로서 입체 영상 콘텐츠에 대한 수요도 함께 증가하고 있다. 고해상도 및 초고해상도의 입체 영상 콘텐츠를 효과적으로 제공하기 위한 비디오 압축 기술에 대하여 논의가 진행되고 있다.On the other hand, demand for high resolution images is increasing, and demand for stereoscopic image contents as a new image service is also increasing. Video compression techniques are being discussed to effectively provide high resolution and ultra-high resolution stereoscopic content.

고해상도 및 초고해상도의 입체 영상 콘텐츠를 방송 서비스나 VOD(Video on Demand) 서비스에 활용하기 위해서는 고속 부호화 처리가 요구된다. 이러한 고속 부호화 처리를 위해서는 영상 데이터의 병렬 부호화 기술이 사용될 수 있다. In order to utilize the high-resolution and super-high-resolution stereoscopic image contents for broadcasting service or VOD (Video on Demand) service, fast coding process is required. For this fast encoding process, a parallel encoding technique of image data can be used.

그러나, 이와 같이 영상을 소정의 단위로 분할하고, 분할된 영역에 대해서 병렬 부호화를 처리할 경우, 분할된 영역의 경계 부분 또는 가장자리 부분을 부호화 과정에서 참조하는 픽셀의 정보가 존재하지 않으므로, 분할된 영역의 경계 부분 또는 가장자리 부분에 대한 화질 열화가 발생된다.However, in the case where the image is divided into predetermined units and the parallel encoding is performed on the divided areas, there is no information of the pixels that refer to the boundary or the edge of the divided area in the encoding process, The deterioration of the image quality occurs at the boundary portion or the edge portion of the region.

본 개시의 기술적 과제는 분할된 영역 단위로 병렬 부호화를 처리하더라도, 화질의 열화를 극복할 수 있는 방법 및 장치를 제공하는 것이다. A technical object of the present invention is to provide a method and apparatus capable of overcoming image quality deterioration even when parallel encoding is performed on a divided area unit basis.

본 개시에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The technical objects to be achieved by the present disclosure are not limited to the above-mentioned technical subjects, and other technical subjects which are not mentioned are to be clearly understood from the following description to those skilled in the art It will be possible.

본 개시의 일 양상에 따르면 영상의 병렬 부호화 방법이 제공될 수 있다. 상기 방법은 미리 입력된 적어도 하나의 픽쳐의 특성을 검출하고, 상기 적어도 하나의 픽쳐에 대한 특성을 데이터베이스에 미리 저장하는 과정과, 입력 픽쳐를 분할하여 복수의 분할 픽쳐를 구성하는 과정과, 상기 복수의 분할 픽쳐 각각에 대한 특성을 검출하는 과정과, 상기 데이터베이스로부터, 검출된 상기 복수의 분할 픽쳐의 특성에 대응되는 상기 미리 저장된 픽쳐를 검출하는 과정과, 상기 복수의 분할 픽쳐의 경계 영역에, 상기 검출된 미리 저장된 픽쳐의 픽셀값을 반영한 경계 예측 픽쳐를 구성하는 과정과, 상기 경계 예측 픽쳐를 참조 픽쳐로 사용하여, 상기 복수의 분할 픽쳐에 대한 병렬 부호화를 처리하는 과정을 포함할 수 있다. According to one aspect of the present disclosure, a parallel encoding method of an image can be provided. The method includes the steps of detecting characteristics of at least one picture input in advance and storing characteristics of the at least one picture in advance in a database; constructing a plurality of divided pictures by dividing an input picture; Detecting a characteristic of each of the divided pictures of the plurality of divided pictures; detecting, from the database, the previously stored picture corresponding to the detected characteristics of the plurality of divided pictures; A step of constructing a boundary prediction picture reflecting the pixel values of the detected pre-stored picture, and a process of performing parallel coding on the plurality of divided pictures using the boundary prediction picture as a reference picture.

본 개시에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 개시의 상세한 설명의 예시적인 양상일 뿐이며, 본 개시의 범위를 제한하는 것은 아니다.The features briefly summarized above for this disclosure are only exemplary aspects of the detailed description of the disclosure which follow, and are not intended to limit the scope of the disclosure.

본 개시에 따르면, 영상을 분할하여 병렬 부호화를 처리하더라도 화질의 열화를 극복할 수 있는 영상 부호화 방법 및 장치가 제공될 수 있다.According to the present disclosure, it is possible to provide an image encoding method and apparatus capable of overcoming image deterioration even when parallel encoding is performed by dividing an image.

또한, 본 개시에 따르면, 화질의 손실을 최소화하여 고해상도 및 초고해상도의 고속 부호화 처리를 실현할 수 있는 방법 및 장치가 제공될 수 있다.Furthermore, according to the present disclosure, a method and an apparatus capable of realizing high-speed and high-resolution high-speed encoding processing with minimum image quality loss can be provided.

본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The effects obtainable from the present disclosure are not limited to the effects mentioned above, and other effects not mentioned can be clearly understood by those skilled in the art from the description below will be.

도 1은 본 개시의 일 실시예에 따른 영상 부호화 장치의 구성을 도시하는 블록도이다.
도 2a 내지 도 2c는 본 개시의 일 실시예에 따른 영상 부호화 장치에서 처리되는 픽쳐를 예시하는 도면이다.
도 3은 본 개시의 일 실시예에 따른 영상 부호화 방법의 순서를 도시하는 흐름도이다.
도 4는 본 개시의 일 실시예에 따른 영상 부호화 장치 및 방법이 적용되는 컴퓨팅 환경을 예시하는 도면이다.
1 is a block diagram showing a configuration of an image encoding apparatus according to an embodiment of the present disclosure.
2A to 2C are diagrams illustrating pictures processed in the image encoding apparatus according to an embodiment of the present disclosure.
3 is a flowchart illustrating a procedure of an image encoding method according to an embodiment of the present disclosure.
FIG. 4 is a diagram illustrating a computing environment to which an image encoding apparatus and method according to an embodiment of the present disclosure is applied.

이하에서는 첨부한 도면을 참고로 하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. Hereinafter, embodiments of the present disclosure will be described in detail with reference to the accompanying drawings, which will be easily understood by those skilled in the art. However, the present disclosure may be embodied in many different forms and is not limited to the embodiments described herein.

본 개시의 실시 예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 개시에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.In the following description of the embodiments of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present disclosure rather unclear. Parts not related to the description of the present disclosure in the drawings are omitted, and like parts are denoted by similar reference numerals.

본 개시에 있어서, 어떤 구성요소가 다른 구성요소와 "연결", "결합" 또는 "접속"되어 있다고 할 때, 이는 직접적인 연결관계뿐만 아니라, 그 중간에 또 다른 구성요소가 존재하는 간접적인 연결관계도 포함할 수 있다. 또한 어떤 구성요소가 다른 구성요소를 "포함한다" 또는 "가진다"고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 배제하는 것이 아니라 또 다른 구성요소를 더 포함할 수 있는 것을 의미한다.In the present disclosure, when an element is referred to as being "connected", "coupled", or "connected" to another element, it is understood that not only a direct connection relationship but also an indirect connection relationship May also be included. Also, when an element is referred to as " comprising "or" having "another element, it is meant to include not only excluding another element but also another element .

본 개시에 있어서, 제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 특별히 언급되지 않는 한 구성요소들간의 순서 또는 중요도 등을 한정하지 않는다. 따라서, 본 개시의 범위 내에서 일 실시 예에서의 제1 구성요소는 다른 실시 예에서 제2 구성요소라고 칭할 수도 있고, 마찬가지로 일 실시 예에서의 제2 구성요소를 다른 실시 예에서 제1 구성요소라고 칭할 수도 있다. In the present disclosure, the terms first, second, etc. are used only for the purpose of distinguishing one element from another, and do not limit the order or importance of elements, etc. unless specifically stated otherwise. Thus, within the scope of this disclosure, a first component in one embodiment may be referred to as a second component in another embodiment, and similarly a second component in one embodiment may be referred to as a first component .

본 개시에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시 예도 본 개시의 범위에 포함된다. In the present disclosure, the components that are distinguished from each other are intended to clearly illustrate each feature and do not necessarily mean that components are separate. That is, a plurality of components may be integrated into one hardware or software unit, or a single component may be distributed into a plurality of hardware or software units. Thus, unless otherwise noted, such integrated or distributed embodiments are also included within the scope of this disclosure.

본 개시에 있어서, 다양한 실시 예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들은 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시 예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시 예도 본 개시의 범위에 포함된다. 또한, 다양한 실시 예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시 예도 본 개시의 범위에 포함된다. In the present disclosure, the components described in the various embodiments are not necessarily essential components, and some may be optional components. Thus, embodiments consisting of a subset of the components described in one embodiment are also included within the scope of the present disclosure. Also, embodiments that include other elements in addition to the elements described in the various embodiments are also included in the scope of the present disclosure.

본 개시에서 사용되는 용어는 다음과 같이 정의할 수 있다.The terms used in this disclosure can be defined as follows.

입력 픽쳐는 부호화를 위해 입력되는 영상 데이터일 수 있다. The input picture may be image data input for encoding.

분할 픽쳐는 상기 입력 픽쳐를 복수의 영역으로 분할하여 구성되는 픽쳐일 수 있다.The divided picture may be a picture formed by dividing the input picture into a plurality of areas.

분할 픽쳐의 경계 영역은 상기 분할 픽쳐의 가장 외곽 픽셀(또는 화소)을 기준으로 미리 정해진 개수 만큼의 픽셀(또는 화소)까지의 영역일 수 있다. The boundary area of the divided picture may be an area up to a predetermined number of pixels (or pixels) based on the outermost pixel (or pixel) of the divided picture.

경계 예측 픽쳐는 상기 분할 픽쳐 및 상기 분할 픽쳐의 경계 영역을 포함하는 픽쳐 일 수 있다.The boundary prediction picture may be a picture including a border area between the divided picture and the divided picture.

이하, 첨부한 도면을 참조하여 본 개시의 실시 예들에 대해서 설명한다.Hereinafter, embodiments of the present disclosure will be described with reference to the accompanying drawings.

도 1은 본 개시의 일 실시예에 따른 영상 부호화 장치의 구성을 도시하는 블록도이다. 도 1을 참조하면, 본 개시의 일 실시예에 따른 영상 부호화 장치(10)는 픽쳐 분할부(11), 영상 분석부(13), 경계영역 예측부(15), 및 부호화부(17)를 포함할 수 있다.1 is a block diagram showing a configuration of an image encoding apparatus according to an embodiment of the present disclosure. 1, an image encoding apparatus 10 according to an embodiment of the present invention includes a picture division unit 11, an image analysis unit 13, a boundary region prediction unit 15, and a coding unit 17 .

부호화부(17)는 병렬 부호화를 처리할 수 있으며, 픽쳐 분할부(11)는 부호화부(17)에서 병렬 부호화를 처리하는 처리 단위로, 입력 픽쳐를 분할할 수 있다. 구체적으로, 픽쳐 분할부(11)는 입력 픽쳐를 적어도 하나의 처리 단위로 분할할 수 있다. 이때, 처리 단위는 예측 단위(Prediction Unit: PU)일 수도 있고, 변환 단위(Transform Unit: TU)일 수도 있으며, 부호화 단위(Coding Unit: CU)일 수도 있다. 픽쳐 분할부(11)에서는 하나의 픽쳐에 대해 복수의 부호화 단위, 예측 단위 및 변환 단위의 조합으로 분할하고 소정의 기준(예를 들어, 비용 함수)으로 하나의 부호화 단위, 예측 단위 및 변환 단위 조합을 선택하여 픽쳐를 부호화 할 수 있다.The coding unit 17 can process parallel coding and the picture dividing unit 11 can divide the input picture into units of processing for performing parallel coding in the coding unit 17. [ More specifically, the picture dividing unit 11 can divide the input picture into at least one processing unit. At this time, the processing unit may be a prediction unit (PU), a transform unit (TU), or a coding unit (CU). The picture division unit 11 divides a picture into a plurality of coding units, a prediction unit, and a combination of conversion units, and generates a coding unit, a prediction unit, and a conversion unit combination So that the picture can be encoded.

예를 들어, 하나의 픽쳐는 복수개의 부호화 단위로 분할될 수 있다. 픽쳐에서 부호화 단위를 분할하기 위해서는 쿼드 트리 구조(Quad Tree Structure)와 같은 재귀적인 트리 구조를 사용할 수 있는데 하나의 영상 또는 최대 크기 부호화 단위(largest coding unit)를 루트로 하여 다른 부호화 단위로 분할되는 부호화 유닛은 분할된 부호화 단위의 개수만큼의 자식 노드를 가지고 분할될 수 있다. 일정한 제한에 따라 더 이상 분할되지 않는 부호화 단위는 리프 노드가 된다. 즉, 하나의 코딩 유닛에 대하여 정방형 분할만이 가능하다고 가정하는 경우, 하나의 부호화 단위는 최대 4개의 다른 부호화 단위로 분할될 수 있다.For example, one picture may be divided into a plurality of coding units. In order to divide a coding unit in a picture, a recursive tree structure such as a quad tree structure can be used. In a coding or decoding scheme in which one picture or a largest coding unit is used as a root and divided into other coding units A unit can be divided with as many child nodes as the number of divided coding units. Under certain constraints, an encoding unit that is no longer segmented becomes a leaf node. That is, when it is assumed that only one square division is possible for one coding unit, one coding unit can be divided into a maximum of four different coding units.

이하, 본 발명의 실시예에서는 부호화 단위는 부호화를 수행하는 단위의 의미로 사용할 수도 있고, 복호화를 수행하는 단위의 의미로 사용할 수도 있다.Hereinafter, in the embodiment of the present invention, a coding unit may be used as a unit for performing coding, or may be used as a unit for performing decoding.

예측 단위는 하나의 부호화 단위 내에서 동일한 크기의 적어도 하나의 정사각형 또는 직사각형 등의 형태를 가지고 분할된 것일 수도 있고, 하나의 부호화 단위 내에서 분할된 예측 단위 중 어느 하나의 예측 단위가 다른 하나의 예측 단위와 상이한 형태 및/또는 크기를 가지도록 분할된 것일 수도 있다.The prediction unit may be one divided into at least one square or rectangular shape having the same size in one coding unit, and one of the prediction units in one coding unit may be divided into another prediction Or may have a shape and / or size different from the unit.

부호화 단위를 기초로 인트라 예측을 수행하는 예측 단위를 생성시 최소 부호화 단위가 아닌 경우, 복수의 예측 단위 NxN 으로 분할하지 않고 인트라 예측을 수행할 수 있다.If a prediction unit performing intra prediction on the basis of an encoding unit is not the minimum encoding unit at the time of generation, intraprediction can be performed without dividing the prediction unit into a plurality of prediction units NxN.

영상 분석부(13)는 입력받은 영상으로부터, 영상에 포함된 장면 또는 객체의 특성을 검출하고, 영상에 포함된 장면 또는 객체의 특성을 저장 및 관리할 수 있다. 영상 분석부(13)는 다양한 영상을 대상을 반복적인 학습을 통해 장면 또는 객체의 특성을 검출할 수 있으므로, 영상에 포함되는 장면 또는 객체에 대한 특성을 일반화 시킬 수 있다. 예를 들어, 영상 분석부(13)는 영상에 포함된 장면 또는 객체에 대한 주파수 정보, 파형(wave form), 피치(pitch), 피쳐 벡터(feature vector), 아이겐 페이스(eigen face), 스킨 패턴, 페이셜 지오메트리(facial geometry), 열영상(thermogram), 경계 정보(edge information), 라인 정보 중 적어도 하나를 추출할 수 있다. The image analyzing unit 13 can detect characteristics of a scene or an object included in the image and store and manage characteristics of the scene or object included in the image from the input image. Since the image analyzing unit 13 can detect characteristics of scenes or objects through repeated learning of various images, characteristics of scenes or objects included in the images can be generalized. For example, the image analyzing unit 13 analyzes frequency information, a wave form, a pitch, a feature vector, a eigenface, a skin pattern, , Facial geometry, thermogram, edge information, and line information, for example.

또한, 영상 분석부(13)는 영상에 포함되는 장면 또는 객체의 일부 영역에 대한 특성을 검출하고, 영상에 포함되는 장면 또는 객체의 전체에 대한 특성과의 차이를 반복적으로 학습할 수 있다. 따라서, 영상에 포함된 장면 또는 객체의 일부 영역에 대한 특성 파라미터만을 검출하더라도, 이에 대응되는 장면 또는 객체 전체에 대한 특성을 확인할 수 있다. 예를 들어, 영상 분석부(13)는 신경 네트워크(neural networks), 히든 마르코프 모델(hidden markov model), 딥 러닝(deep learning), 또는 최대 가능도 추정(maximum likelihood) 등의 다양한 특성 매칭 방식을 처리할 수 있으며, 입력 영상에 포함된 장면 또는 객체에 대응되는 영상을 데이터베이스로부터 검출할 수 있다.In addition, the image analyzer 13 can detect characteristics of a scene or a part of an object included in the image, and can repeatedly learn a difference between the characteristic of the scene or the entire object included in the image. Accordingly, even if only characteristic parameters of a scene or a part of an object included in the image are detected, characteristics corresponding to the scene or the entire object corresponding thereto can be confirmed. For example, the image analysis unit 13 may perform various feature matching methods such as neural networks, a hidden markov model, deep learning, or maximum likelihood And the image corresponding to the scene or the object included in the input image can be detected from the database.

이와 같은 점을 고려하여, 영상 분석부(13)는 픽쳐 분할부(11)에서 미리 정해진 크기로 분할된 픽쳐(이하, '분할 픽쳐'라 함)를 입력받고, 입력받은 분할 픽쳐의 특성을 검출한 후, 분할 픽쳐의 특성에 대응되는 장면 또는 객체를 검출할 수 있다. 영상 분석부(13)는 검출된 장면 또는 객체를 포함하는 영상을 경계영역 예측부(15)에 제공할 수 있다. In consideration of this point, the image analyzing unit 13 receives a picture (hereinafter, referred to as a "divided picture") divided into a predetermined size by the picture dividing unit 11 and detects the characteristics of the input divided picture The scene or object corresponding to the characteristic of the divided picture can be detected. The image analysis unit 13 may provide the boundary region prediction unit 15 with an image including the detected scene or object.

경계영역 예측부(15)는 영상 분석부(13)는 검출된 장면 또는 객체를 포함하는 영상을 상기 분할 픽쳐를 부호화하는데 참조 픽쳐로서 사용할 수 있도록, 분할 픽쳐의 경계 영역을 반영한 경계 예측 픽쳐를 생성하고, 생성된 경계 예측 픽쳐를 부호화부(17)에 제공할 수 있다. 특히, 경계영역 예측부(15)는 부호화를 진행하는 분할 픽쳐와 이웃되는 영역에 대한 정보(예, 픽셀의 색차정보)를 확인할 수 있으며, 이때, 검출된 장면 또는 객체를 포함하는 영상의 정보(예, 픽셀의 색차정보)를 사용하여 분할 픽쳐의 경계 영역을 예측할 수 있다. The boundary area prediction unit 15 generates a boundary prediction picture reflecting the boundary area of the divided picture so that the image including the detected scene or object can be used as a reference picture for coding the divided picture , And provide the generated boundary predictive picture to the coding unit 17. [ In particular, the boundary area predicting unit 15 can check information (e.g., color difference information of pixels) of a neighboring area and a divided picture to be coded. At this time, information of the image including the detected scene or object (E.g., chrominance information of pixels) can be used to predict the boundary area of the divided picture.

부호화부(17)는 픽쳐 분할부(11)에서 제공하는 분할 픽쳐 단위에 대해, 인터 예측, 인트라 예측, 원본 블록과 잔차 블록의 변환 처리(DCT(Discrete Cosine Transform), DST(Discrete Sine Transform), KLT(Karhunen-Loeve Transform) 등), 양자화 처리 등의 동작을 수행할 수 있다. The encoding unit 17 performs inter-prediction, intra-prediction, transform processing of a source block and a residual block (DCT (Discrete Cosine Transform), DST (Discrete Sine Transform) KLT (Karhunen-Loeve Transform, etc.)), quantization processing, and the like.

특히, 부호화부(17)는 분할 픽쳐 단위로 병렬 부호화를 처리할 수 있으며, 데이터 레벨 병렬 부호화 방식에 의한 병렬 부호화를 처리할 수 있다. 부호화부(17)는 인터 예측, 인트라 예측 등의 예측 부호화 처리를 수행할 수 있는데, 분할 픽쳐 단위의 예측 부호화 처리를 수행하는 과정에서 경계영역 예측부(15)에서 제공하는 경계 예측 픽쳐를 사용하여 예측 부호화 처리를 수행할 수 있다. In particular, the coding unit 17 can process parallel coding in units of divided pictures and can process parallel coding in a data-level parallel coding method. The encoding unit 17 can perform predictive encoding such as inter prediction and intra prediction. In the process of performing the predictive encoding process for each divided picture, the boundary predictor 15 provides the boundary predictive picture Predictive encoding processing can be performed.

데이터 레벨 병렬화 방식에 기초하여 영상의 부호화 처리할 데이터(이하, '입력 영상'이라 함)를 여러 단위로 분할한 후 각각 분할된 데이터, 분할 픽쳐를 서로 다른 병렬 처리부(예, 코어, 쓰레드)에 할당하여 분할 영상을 병렬적으로 부호화 처리할 수 있다. 이와 같이, 데이터 레벨 병렬화 방식에 기초하여 영상의 부호화를 처리할 경우, 분할 픽쳐의 경계면이나 경계면 근처에 위치한 픽셀 영역에 대한 부호화 처리시, 참조할 수 있는 픽셀이 존재하지 않으므로, 가상의 참조 샘플을 생성하고, 이를 부호화 처리에 사용한다. 이와 같이 가상의 참조 샘플을 이용할 경우, 가상의 참조 샘플의 정보(예, 픽셀의 색차정보)가 실제 영상에 포함되는 정보와 동일하지 않으므로 화질 열화가 발생한다.(Hereinafter, referred to as an " input image ") on the basis of the data-level parallelization method and divides the divided data and the divided picture into different parallel processors (e.g., core and thread) So that the divided images can be encoded in parallel. In this manner, when encoding the image based on the data-level parallelization method, there is no reference pixel in the encoding process for the pixel area located near the boundary surface or the boundary surface of the divided picture, And uses it for encoding processing. When the virtual reference sample is used as described above, the information of the virtual reference sample (e.g., the color difference information of the pixel) is not the same as the information included in the actual image, and image deterioration occurs.

그러나, 본 개시의 일 실시예에 따라, 경계영역 예측부(15)가 제공하는 경계 예측 픽쳐는 다양한 영상에 포함되는 장면 또는 객체의 특성을 기반으로 검출되는 것이므로, 분할 픽쳐의 경계면이나 경계면 근처에 위치한 영역의 실제 정보(예, 픽셀의 색차정보)와 유사성이 높게 나타날 수 있다. 따라서, 본 개시의 일 실시예에 따른 영상 부호화 장치는 부호화 과정에서 발생되는 화질 열화의 문제를 해결할 수 있다. However, according to the embodiment of the present disclosure, since the boundary predictive picture provided by the boundary area prediction unit 15 is detected based on the characteristics of a scene or an object included in various images, Similarity with the actual information (e.g., the chrominance information of the pixel) of the region where the pixel is located may be high. Therefore, the image encoding apparatus according to an embodiment of the present disclosure can solve the problem of image quality deterioration that occurs in the encoding process.

비록, 본 개시의 일 실시예에서 영상 부호화 장치는 동영상 데이터를 부호화하는 것을 고려하여, 부호화부(17)가 인터 예측, 인트라 예측, 원본 블록과 잔차 블록의 변환 처리(DCT(Discrete Cosine Transform), DST(Discrete Sine Transform), KLT(Karhunen-Loeve Transform) 등), 양자화 처리 등의 동작을 수행하는 것을 예시하였으나, 본 개시가 이를 한정하는 것은 아니다. 본 개시의 일 실시예에 따른 영상 부호화 장치는 동영상 데이터뿐 아니라 정지 영상 데이터를 병렬 부호화하는데 적용될 수도 있으며, 이 경우 부호화부(17)는 정지 영상 데이터를 병렬 부호화하는 동작을 처리할 수 있다.In the embodiment of the present disclosure, in consideration of encoding the moving picture data, the image coding apparatus may be configured such that the coding unit 17 performs inter prediction, intra prediction, conversion processing of the original block and the residual block (DCT (Discrete Cosine Transform) DST (Discrete Sine Transform), KLT (Karhunen-Loeve Transform, etc.)), quantization processing, and the like. However, the present disclosure is not limited thereto. The image encoding apparatus according to an embodiment of the present disclosure may be applied to parallel encoding of still image data as well as moving image data. In this case, the encoding unit 17 may process an operation of parallelly encoding still image data.

이하, 전술한 본 개시의 일 실시예에 따른 영상 부호화 장치의 동작을 도 2a 내지 도 2c를 사용하여 설명한다.Hereinafter, the operation of the image encoding apparatus according to one embodiment of the present disclosure described above will be described with reference to FIGS. 2A to 2C.

도 2a 내지 도 2c는 본 개시의 일 실시예에 따른 영상 부호화 장치에서 처리되는 픽쳐를 예시하는 도면으로서, 도 2a는 입력 픽쳐(210)를 예시하고, 도 2b는 분할 픽쳐를 예시하고, 도 2c는 경계영역이 예측된 경계 예측 픽쳐를 예시한다.2A to 2C are diagrams illustrating pictures processed in an image encoding apparatus according to an embodiment of the present disclosure. FIG. 2A illustrates an input picture 210, FIG. 2B illustrates a divided picture, Illustrates a boundary predictive picture in which a boundary region is predicted.

우선, 입력 픽쳐(210)가 영상 부호화 장치에 입력되면, 픽쳐 분할부(11)는 병렬 부호화를 처리하는 처리 단위를 고려하여 입력 픽쳐(210)를 소정의 크기로 분할하여 분할 픽쳐를 구성할 수 있다. First, when the input picture 210 is inputted to the picture coding apparatus, the picture dividing unit 11 divides the input picture 210 into a predetermined size in consideration of a processing unit for performing parallel coding, have.

일 예로서, 부호화부(17)는 4개의 처리 단위로 데이터 레벨 병렬 부호화를 진행할 수 있으며, 이에 따라, 픽쳐 분할부(11)는 입력 픽쳐(210)를 4개의 분할 픽쳐(221, 222, 223, 224)로 분할하는 것을 예시한다.The picture dividing unit 11 divides the input picture 210 into four divided pictures 221, 222, and 223 (for example, , 224).

이와 같이 픽쳐 분할부(11)에 의해 구성된 분할 픽쳐(221, 222, 223, 224)는 영상 분석부(13)와, 부호화부(17)에 제공된다.The split pictures 221, 222, 223 and 224 constituted by the picture dividing section 11 are provided to the image analyzing section 13 and the encoding section 17 as described above.

이에 대응하여, 영상 분석부(13)는 각각의 분할 픽쳐, 즉, 제1 내지 제4분할 픽쳐(221, 222, 223, 224)에 대해, 영상 분석을 처리하여, 대응되는 장면 또는 객체를 포함하는 영상을 검출할 수 있다. 예컨대, 제1분할 픽쳐(221)(또는 제1분할 픽쳐(221)에 포함된 장면 또는 객체)에 대한 주파수 정보, 파형(wave form), 피치(pitch), 피쳐 벡터(feature vector), 아이겐 페이스(eigen face), 스킨 패턴, 페이셜 지오메트리(facial geometry), 열 영상(thermogram), 경계 정보(edge information), 라인 정보 등의 특성을 추출할 수 있다. 그리고, 영상 분석부(13)는 데이터베이스로부터, 추출된 제1분할 픽쳐(221)(또는 제1분할 픽쳐(221)에 포함된 장면 또는 객체)의 특성에 대응되는 특성을 구비하는 영상을 검출할 수 있다. 그리고, 영상 분석부(13)는 제1분할 픽쳐(221)(또는 제1분할 픽쳐(221)에 포함된 장면 또는 객체)에 대응되는 영상을 경계영역 예측부(15)에 제공할 수 있다. In response to this, the image analyzing unit 13 performs image analysis on each of the divided pictures, that is, the first through fourth divided pictures 221, 222, 223, and 224, Can be detected. For example, the frequency information, the wave form, the pitch, the feature vector, and the eigenface of the first divided picture 221 (or the scene or object included in the first divided picture 221) facial geometry, thermogram, edge information, line information, and the like can be extracted from the image data. Then, the image analysis unit 13 detects an image having characteristics corresponding to the characteristics of the extracted first divided picture 221 (or the scene or object included in the first divided picture 221) from the database . The image analysis unit 13 may provide the boundary region prediction unit 15 with an image corresponding to the first divided picture 221 (or the scene or object included in the first divided picture 221).

경계영역 예측부(15)는 제1분할 픽쳐(221)에 포함된 장면 또는 객체)에 대응되는 영상으로부터, 제1분할 픽쳐(221)의 부호화 처리시 사용(참조)되는 경계 영역에 해당되는 픽셀의 색차정보를 검출하고, 이를 제1분할 픽쳐(221)에 반영한 제1경계 예측 픽쳐(231)를 구성할 수 있다. 이와 같이 구성된 제1경계 예측 픽쳐(231)는 부호화부(17)에 제공될 수 있으며, 부호화부(17)는 제1분할 픽쳐(221)를 부호화 처리하면서 참조 픽쳐로서 제1경계 예측 픽쳐(231)를 사용할 수 있다.The boundary area predicting section 15 predicts from the picture corresponding to the scene or object included in the first divided picture 221 the pixel corresponding to the boundary area used (referred to) in the coding process of the first divided picture 221 It is possible to construct the first boundary predictive picture 231 in which the color difference information of the first boundary picture 221 is detected and reflected in the first divided picture 221. [ The first boundary predictive picture 231 constructed as described above can be provided to the encoding unit 17. The encoding unit 17 encodes the first divided picture 221 and outputs the first boundary predictive picture 231 ) Can be used.

이와 같은 방식으로, 영상 분석부(13)는 제2 내지 제4분할 픽쳐(222, 223, 224)에 각각 대응되는 제2 내지 제4경계 예측 픽쳐(232, 233, 234)를 구성할 수 있으며, 제2 내지 제4경계 예측 픽쳐(232, 233, 234)는 부호화부(17)의 부호화 처리시 참조 픽쳐로서 사용될 수 있다.In this way, the image analyzing unit 13 can form the second to fourth boundary prediction pictures 232, 233, and 234 corresponding to the second to fourth divided pictures 222, 223, and 224, respectively , And the second to fourth boundary prediction pictures 232, 233, and 234 can be used as reference pictures in the encoding process of the encoding unit 17.

이하, 본 개시의 일 실시예에 따른 영상 부호화 방법에 대해 설명한다. Hereinafter, a video encoding method according to an embodiment of the present disclosure will be described.

본 개시의 일 실시예에 따른 영상 부호화 방법은 전술한 영상 부호화 장치에 의해 수행될 수 있다. The image encoding method according to an embodiment of the present disclosure can be performed by the above-described image encoding apparatus.

도 3은 본 개시의 일 실시예에 따른 영상 부호화 방법의 순서를 도시하는 흐름도이다. 3 is a flowchart illustrating a procedure of an image encoding method according to an embodiment of the present disclosure.

도 3을 참조하면, S301 단계에서, 영상 부호화 장치는 부호화를 처리할 영상 또는 픽쳐를 입력받을 수 있다. Referring to FIG. 3, in step S301, the image encoding apparatus may receive an image or a picture to be encoded.

S302 단계에서, 영상 부호화 장치는 병렬 부호화를 처리하는 처리 단위를 고려하여 입력 픽쳐(210)를 소정의 크기로 분할하여 분할 픽쳐(221, 222, 223, 224)를 구성할 수 있다. In step S302, the image encoding apparatus can form the divided pictures 221, 222, 223, and 224 by dividing the input picture 210 into a predetermined size in consideration of a processing unit for performing parallel encoding.

이때, 처리 단위는 예측 단위(Prediction Unit: PU)일 수도 있고, 변환 단위(Transform Unit: TU)일 수도 있으며, 부호화 단위(Coding Unit: CU)일 수도 있다. 픽쳐 분할부(11)에서는 하나의 픽쳐에 대해 복수의 부호화 단위, 예측 단위 및 변환 단위의 조합으로 분할하고 소정의 기준(예를 들어, 비용 함수)으로 하나의 부호화 단위, 예측 단위 및 변환 단위 조합을 선택하여 픽쳐를 부호화 할 수 있다.At this time, the processing unit may be a prediction unit (PU), a transform unit (TU), or a coding unit (CU). The picture division unit 11 divides a picture into a plurality of coding units, a prediction unit, and a combination of conversion units, and generates a coding unit, a prediction unit, and a conversion unit combination So that the picture can be encoded.

예를 들어, 하나의 픽쳐는 복수개의 부호화 단위로 분할될 수 있다. 픽쳐에서 부호화 단위를 분할하기 위해서는 쿼드 트리 구조(Quad Tree Structure)와 같은 재귀적인 트리 구조를 사용할 수 있는데 하나의 영상 또는 최대 크기 부호화 단위(largest coding unit)를 루트로 하여 다른 부호화 단위로 분할되는 부호화 유닛은 분할된 부호화 단위의 개수만큼의 자식 노드를 가지고 분할될 수 있다. 일정한 제한에 따라 더 이상 분할되지 않는 부호화 단위는 리프 노드가 된다. 즉, 하나의 코딩 유닛에 대하여 정방형 분할만이 가능하다고 가정하는 경우, 하나의 부호화 단위는 최대 4개의 다른 부호화 단위로 분할될 수 있다.For example, one picture may be divided into a plurality of coding units. In order to divide a coding unit in a picture, a recursive tree structure such as a quad tree structure can be used. In a coding or decoding scheme in which one picture or a largest coding unit is used as a root and divided into other coding units A unit can be divided with as many child nodes as the number of divided coding units. Under certain constraints, an encoding unit that is no longer segmented becomes a leaf node. That is, when it is assumed that only one square division is possible for one coding unit, one coding unit can be divided into a maximum of four different coding units.

이하, 본 발명의 실시예에서는 부호화 단위는 부호화를 수행하는 단위의 의미로 사용할 수도 있고, 복호화를 수행하는 단위의 의미로 사용할 수도 있다.Hereinafter, in the embodiment of the present invention, a coding unit may be used as a unit for performing coding, or may be used as a unit for performing decoding.

예측 단위는 하나의 부호화 단위 내에서 동일한 크기의 적어도 하나의 정사각형 또는 직사각형 등의 형태를 가지고 분할된 것일 수도 있고, 하나의 부호화 단위 내에서 분할된 예측 단위 중 어느 하나의 예측 단위가 다른 하나의 예측 단위와 상이한 형태 및/또는 크기를 가지도록 분할된 것일 수도 있다.The prediction unit may be one divided into at least one square or rectangular shape having the same size in one coding unit, and one of the prediction units in one coding unit may be divided into another prediction Or may have a shape and / or size different from the unit.

S303 단계에서, 영상 부호화 장치는 분할 픽쳐(221, 222, 223, 224) 각각에 대해, 영상 분석을 처리하여, 분할 픽쳐(221, 222, 223, 224) 각각에 대한 특성을 추출할 수 있다. 예를 들어, 영상 부호화 장치는 분할 픽쳐(221, 222, 223, 224)(또는 분할 픽쳐에 포함된 장면 또는 객체) 각각에 대한 주파수 정보, 파형(wave form), 피치(pitch), 피쳐 벡터(feature vector), 아이겐 페이스(eigen face), 스킨 패턴, 페이셜 지오메트리(facial geometry), 열 영상(thermogram), 경계 정보(edge information), 라인 정보 등의 특성을 추출할 수 있다. In step S303, the image encoding apparatus can perform the image analysis on each of the divided pictures 221, 222, 223, and 224 to extract characteristics for the divided pictures 221, 222, 223, and 224, respectively. For example, the image encoding apparatus may generate frequency information, a wave form, a pitch, and a feature vector (for example, a pitch, a pitch, and a pitch) for each of the divided pictures 221, 222, 223, and 224 feature vector, eigenface, skin pattern, facial geometry, thermogram, edge information, and line information can be extracted.

S304 단계에서, 영상 부호화 장치는 데이터베이스로부터 참조하여, S303 단계에서 추출된 분할 픽쳐(221, 222, 223, 224)(또는 분할 픽쳐에 포함된 장면 또는 객체)의 특성에 대응되는 특성을 구비하는 영상(또는 픽쳐)을 검출할 수 있다. In step S304, the image encoding apparatus refers to the database to generate a video having characteristics corresponding to the characteristics of the divided pictures 221, 222, 223, and 224 (or scenes or objects included in the divided picture) extracted in step S303 (Or picture) can be detected.

다음으로, S305 단계에서, 영상 부호화 장치는 분할 픽쳐(221, 222, 223, 224)(또는 분할 픽쳐에 포함된 장면 또는 객체)의 특성에 대응되는 특성을 구비하는 영상(또는 픽쳐)에 대응되는 영상으로부터, 분할 픽쳐(221, 222, 223, 224)의 부호화 처리시 사용(참조)되는 경계 영역에 해당되는 픽셀의 색차정보를 검출하고, 이를 분할 픽쳐(221, 222, 223, 224)에 반영한 경계 예측 픽쳐(230)를 구성할 수 있다. Next, in step S305, the image encoding apparatus generates an image (or a picture) corresponding to an image (or picture) having characteristics corresponding to the characteristics of the divided pictures 221, 222, 223, and 224 The chrominance information of the pixel corresponding to the boundary area used (referred to) in the coding process of the divided pictures 221, 222, 223 and 224 is detected from the image and is reflected on the divided pictures 221, 222, 223 and 224 The boundary prediction picture 230 can be constructed.

다음으로, S306 단계에서, 영상 부호화 장치는 분할 픽쳐(221, 222, 223, 224)에 대해, 인터 예측, 인트라 예측, 원본 블록과 잔차 블록의 변환 처리(DCT(Discrete Cosine Transform), DST(Discrete Sine Transform), KLT(Karhunen-Loeve Transform) 등), 양자화 처리 등의 부호화 동작을 수행할 수 있다. Next, in step S306, the image encoding apparatus performs inter-prediction, intra-prediction, transform processing (DCT (Discrete Cosine Transform), and DST (Discrete Cosine Transform) on the divided blocks 221, 222, 223, Sine Transform), KLT (Karhunen-Loeve Transform, etc.), quantization processing, and the like.

나아가, 영상 부호화 장치는 분할 픽쳐(221, 222, 223, 224)에 대해, 데이터 레벨 병렬 부호화 방식에 의한 병렬 부호화를 처리할 수 있다. 특히, 영상 부호화 장치는 인터 예측, 인트라 예측 등의 예측 부호화 처리를 수행할 수 있는데, 분할 픽쳐 단위의 예측 부호화 처리를 수행하는 과정에서 경계 예측 픽쳐(230)를 사용하여 예측 부호화 처리를 수행할 수 있다. Furthermore, the image encoding apparatus can process parallel pictures by the data-level parallel encoding method on the divided pictures 221, 222, 223, and 224. Particularly, the image encoding apparatus can perform predictive encoding processing such as inter prediction and intra prediction. In the process of performing the predictive encoding processing of the divided pictures, the predictive encoding processing can be performed using the boundary predictive picture 230 have.

데이터 레벨 병렬화 방식에 기초하여 입력 픽쳐를 여러 단위로 분할한 후 각각 분할된 데이터, 즉, 분할 픽쳐를 서로 다른 병렬 처리부(예, 코어, 쓰레드)에 할당하여 분할 영상을 병렬적으로 부호화 처리할 수 있다. 이와 같이, 데이터 레벨 병렬화 방식에 기초하여 영상의 부호화를 처리할 경우, 분할 픽쳐의 경계면이나 경계면 근처에 위치한 픽셀 영역에 대한 부호화 처리시, 참조할 수 있는 픽셀이 존재하지 않으므로, 가상의 참조 샘플을 생성하고, 이를 부호화 처리에 사용한다. 이와 같이 가상의 참조 샘플을 이용할 경우, 가상의 참조 샘플의 정보(예, 픽셀의 색차정보)가 실제 영상에 포함되는 정보와 동일하지 않으므로 화질 열화가 발생한다.It is possible to parallelly encode the divided pictures by dividing the input picture into a plurality of units based on the data level parallelization method and then allocating the divided data, that is, the divided pictures to different parallel processors (e.g., core and thread) have. In this manner, when encoding the image based on the data-level parallelization method, there is no reference pixel in the encoding process for the pixel area located near the boundary surface or the boundary surface of the divided picture, And uses it for encoding processing. When the virtual reference sample is used as described above, the information of the virtual reference sample (e.g., the color difference information of the pixel) is not the same as the information included in the actual image, and image deterioration occurs.

그러나, 본 개시의 일 실시예에 따라, 영상 부호화 장치에 의해 구성된 경계 예측 픽쳐(230)는 다양한 영상에 포함되는 장면 또는 객체의 특성을 기반으로 검출되는 것이므로, 분할 픽쳐(221, 222, 223, 224)의 경계면이나 경계면 근처에 위치한 영역의 실제 정보(예, 픽셀의 색차정보)와 유사성이 높게 나타날 수 있다. 따라서, 본 개시의 일 실시예에 따른 영상 부호화 방법에 따라, 입력 픽쳐의 병렬 부호화를 수행할 경우, 입력 픽쳐의 부호화 과정에서 발생되는 화질 열화를 방지할 수 있다. However, according to an embodiment of the present disclosure, since the boundary predictive picture 230 constituted by the image encoding apparatus is detected based on characteristics of a scene or an object included in various images, the divided pictures 221, 222, 223, 224) or the actual information (for example, the chrominance information of the pixel) of the region located near the interface. Therefore, according to the image encoding method according to an embodiment of the present disclosure, image quality deterioration occurring in the encoding process of the input picture can be prevented when the input picture is parallel-encoded.

도 4는 본 개시의 일 실시예에 따른 영상 부호화 장치 및 방법이 적용되는 컴퓨팅 환경을 예시하는 도면이다. FIG. 4 is a diagram illustrating a computing environment to which an image encoding apparatus and method according to an embodiment of the present disclosure is applied.

도 4에 예시되는 컴퓨팅 환경은 영상 부호화 장치 및 방법이 실행될 수 있는 동작 환경의 예시하는 것이며, 본 개시의 용도나 기능의 범위를 한정하는 것은 아니다. The computing environment illustrated in FIG. 4 is an example of an operating environment in which an image encoding apparatus and method may be implemented and does not limit the scope of use or functionality of the present disclosure.

본 개시의 일 실시예에 따른 영상 부호화 장치 및 방법에 적합하게 이용될 수 있는 컴퓨팅 시스템, 환경 및/또는 구성의 예로는 퍼스널 컴퓨터, 서버 컴퓨터, 핸드-헬드 또는 랩톱 장치, 멀티프로세서 시스템, 마이크로프로세서 기반 시스템, 프로그램가능한 가전제품, 네트워크 퍼스널 컴퓨터, 미니 컴퓨터, 메인프레임 컴퓨터, 상기 시스템들이나 장치들 중 임의의 것을 포함하는 분산 컴퓨팅 환경 등을 포함할 수 있다. Examples of computing systems, environments, and / or configurations that may be suitably employed in an image encoding apparatus and method in accordance with an embodiment of the present disclosure include, but are not limited to, a personal computer, a server computer, a handheld or laptop device, Based systems, programmable consumer electronics, network personal computers, minicomputers, mainframe computers, distributed computing environments that include any of the above systems or devices, and the like.

본 개시의 일 실시예에 따른 영상 부호화 장치 및 방법은 일반적으로 하나 또는 그 이상의 컴퓨터나 기타 장치에 의해 실행되는 프로그램 모듈과 같은 컴퓨터 실행가능 명령어와 관련하여 기술될 것이다. 일반적으로, 프로그램 모듈은 특정 태스크를 수행하거나 특정 추상 데이터 유형을 구현하는 루틴, 프로그램, 객체, 컴포넌트, 데이터 구조 등을 포함할 수 있다. 통상적으로 프로그램 모듈의 기능은 여러 가지 환경에 따라 조합되거나 분산될 수 있다.An apparatus and method for encoding an image, according to one embodiment of the present disclosure, will be described generally in connection with computer-executable instructions, such as program modules, being executed by one or more computers or other devices. Generally, program modules may include routines, programs, objects, components, data structures, etc. that perform particular tasks or implement particular abstract data types. Typically, the functions of the program modules may be combined or distributed according to various circumstances.

도 4를 참조하면, 컴퓨팅 장치(400)는 통상적으로 적어도 하나의 처리 유닛(402)과 메모리(404)를 포함한다. Referring to FIG. 4, computing device 400 typically includes at least one processing unit 402 and memory 404.

컴퓨팅 장치의 구성과 유형에 따라서 메모리는 RAM과 같은 휘발성 메모리, ROM, 플래시 메모리 등과 같은 불휘발성 메모리나, 이들을 조합한 메모리일 수 있다. 또한, 컴퓨팅 장치(400)는 자기 또는 광학 디스크나 테이프와 같은 추가적인 (예컨대, 착탈식 및/또는 고정식) 저장 장치를 포함할 수 있다. 추가적인 저장 장치는 착탈식 저장 장치(408)와 고정식 저장 장치(410)를 포함할 수 있다. Depending on the configuration and type of the computing device, the memory may be a volatile memory such as a RAM, a nonvolatile memory such as a ROM, a flash memory, or the like, or a combination thereof. In addition, the computing device 400 may include additional (e.g., removable and / or stationary) storage devices such as magnetic or optical disks or tapes. The additional storage device may include a removable storage device 408 and a stationary storage device 410.

메모리(904), 착탈식 저장 장치(408), 및 고정식 저장 장치(410)는 모두 컴퓨터 저장 매체로서 구비될 수 있으며, RAM, ROM, EEPROM, 플래시 메모리 또는 기타 메모리 기술, CD-ROM, DVD(digital versatile disk) 또는 기타 광 디스크 저장 장치, 자기 카세트, 자기 테이프, 자기 디스크 저장 장치 또는 기타 자기 저장 장치, 또는 장치(400)에 의해 액세스되고 원하는 정보를 저장할 수 있는 임의의 기타 매체를 포함할 수 있다. The memory 904, the removable storage device 408 and the fixed storage device 410 may all be provided as computer storage media and may be embodied in a variety of forms, including RAM, ROM, EEPROM, flash memory or other memory technology, CD- versatile disk, or other optical disk storage, magnetic cassette, magnetic tape, magnetic disk storage or other magnetic storage device, or any other medium that can be accessed by device 400 and store the desired information .

컴퓨팅 장치(400)는 유무선 네트워크를 통해 다른 컴퓨팅 장치와 같은 다른 장치와 통신할 수 있도록 하는 통신부(412)를 포함할 수 있다. 통신부(412)는 통상적으로 반송파(carrier wave) 또는 기타 전송 메커니즘(transport mechanism)과 같은 피변조 데이터 신호(modulated data signal)에 컴퓨터 판독 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터 등을 구현하고 임의의 정보 전달 매체를 포함한다. "피변조 데이터 신호"라는 용어는, 신호 내에 정보를 인코딩하도록 그 신호의 특성들 중 하나 이상을 설정 또는 변경시킨 신호를 의미한다. 예로서, 통신부(412)는 유선 네트워크 또는 직접 배선 접속(direct-wired connection)과 같은 유선 매체, 그리고 음향, 무선 주파수, 적외선, 기타 무선 매체와 같은 무선 매체를 포함한할 수 있다. The computing device 400 may include a communication unit 412 that enables communication with other devices, such as other computing devices, via a wired or wireless network. The communication unit 412 typically implements computer readable instructions, data structures, program modules or other data in a modulated data signal such as a carrier wave or other transport mechanism, Information transmission medium. The term "modulated data signal" means a signal that has one or more of its characteristics set or changed to encode information in the signal. By way of example, the communication unit 412 may include wired media such as a wired network or direct-wired connection, and wireless media such as acoustic, radio frequency, infrared, or other wireless media.

컴퓨팅 장치(400)는 키보드, 마우스, 펜, 음성 입력 장치, 터치 입력 장치, 레이저 거리 측정기, 적외선 카메라, 비디오 입력 장치와 같은 입력 장치(114)를 포함할 수 있다. 또한, 컴퓨팅 장치(400)는 디스플레이, 스피커, 프린터와 같은 출력 장치(416)를 포함할 수 있다.The computing device 400 may include an input device 114 such as a keyboard, a mouse, a pen, a voice input device, a touch input device, a laser range finder, an infrared camera, In addition, the computing device 400 may include an output device 416 such as a display, a speaker, or a printer.

컴퓨팅 장치(400)에 구비된 적어도 하나의 처리 유닛(402)은 본 개시의 일 실시예에 따른 영상 부호화 장치 및 방법에 대응되는 동작을 처리할 수 있다. 특히, 본 개시의 일 실시예에 따른 컴퓨팅 장치(400)의 처리 유닛(402)은 미리 입력된 적어도 하나의 픽쳐의 특성을 검출하고, 상기 적어도 하나의 픽쳐에 대한 특성을 데이터베이스에 미리 저장하는 동작과, 입력 픽쳐를 분할하여 복수의 분할 픽쳐를 구성하는 동작과, 상기 복수의 분할 픽쳐 각각에 대한 특성을 검출하는 동작과, 상기 데이터베이스로부터, 검출된 상기 복수의 분할 픽쳐의 특성에 대응되는 상기 미리 저장된 픽쳐를 검출하는 동작과, 상기 복수의 분할 픽쳐의 경계 영역에, 상기 검출된 미리 저장된 픽쳐의 픽셀값을 반영한 경계 예측 픽쳐를 구성하는 동작과, 상기 경계 예측 픽쳐를 참조 픽쳐로 사용하여, 상기 복수의 분할 픽쳐에 대한 병렬 부호화를 처리하는 동작을 처리할 수 있다. At least one processing unit 402 included in the computing device 400 may process operations corresponding to the image encoding apparatus and method according to one embodiment of the present disclosure. In particular, the processing unit 402 of the computing device 400 according to one embodiment of the present disclosure detects the characteristics of at least one picture previously entered and pre-stores the characteristics for the at least one picture in the database An operation of dividing an input picture to form a plurality of divided pictures, an operation of detecting a characteristic of each of the plurality of divided pictures, and an operation of extracting, from the database, An operation of detecting a stored picture and an operation of constructing a boundary predictive picture reflecting a pixel value of the detected pre-stored picture in a boundary area of the plurality of divided pictures; and using the boundary predictive picture as a reference picture, It is possible to process an operation of processing parallel coding for a plurality of divided pictures.

본 개시의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 본 개시에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.Although the exemplary methods of this disclosure are represented by a series of acts for clarity of explanation, they are not intended to limit the order in which the steps are performed, and if necessary, each step may be performed simultaneously or in a different order. In order to implement the method according to the present disclosure, the illustrative steps may additionally include other steps, include the remaining steps except for some steps, or may include additional steps other than some steps.

본 개시의 다양한 실시 예는 모든 가능한 조합을 나열한 것이 아니고 본 개시의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시 예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.The various embodiments of the disclosure are not intended to be all-inclusive and are intended to illustrate representative aspects of the disclosure, and the features described in the various embodiments may be applied independently or in a combination of two or more.

또한, 본 개시의 다양한 실시 예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다. In addition, various embodiments of the present disclosure may be implemented by hardware, firmware, software, or a combination thereof. In the case of hardware implementation, one or more application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays A general processor, a controller, a microcontroller, a microprocessor, and the like.

본 개시의 범위는 다양한 실시 예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다. The scope of the present disclosure is to be accorded the broadest interpretation as understanding of the principles of the invention, as well as software or machine-executable instructions (e.g., operating system, applications, firmware, Instructions, and the like are stored and are non-transitory computer-readable medium executable on the device or computer.

Claims (1)

영상을 부호화하는 방법에 있어서,
미리 입력된 적어도 하나의 픽쳐의 특성을 검출하고, 상기 적어도 하나의 픽쳐에 대한 특성을 데이터베이스에 미리 저장하는 과정과,
입력 픽쳐를 분할하여 복수의 분할 픽쳐를 구성하는 과정과,
상기 복수의 분할 픽쳐 각각에 대한 특성을 검출하는 과정과,
상기 데이터베이스로부터, 검출된 상기 복수의 분할 픽쳐의 특성에 대응되는 상기 미리 저장된 픽쳐를 검출하는 과정과,
상기 복수의 분할 픽쳐의 경계 영역에, 상기 검출된 미리 저장된 픽쳐의 픽셀값을 반영한 경계 예측 픽쳐를 구성하는 과정과,
상기 경계 예측 픽쳐를 참조 픽쳐로 사용하여, 상기 복수의 분할 픽쳐에 대한 병렬 부호화를 처리하는 과정을 포함하는 영상 부호화 방법.
A method of encoding an image,
Detecting characteristics of at least one picture input in advance and storing characteristics of the at least one picture in a database in advance;
Dividing an input picture into a plurality of divided pictures;
Detecting characteristics of each of the plurality of divided pictures;
Detecting, from the database, the previously stored picture corresponding to the detected characteristics of the plurality of divided pictures;
Constructing a boundary predictive picture in which a pixel value of the detected pre-stored picture is reflected in a boundary area of the plurality of divided pictures;
And processing the parallel coding for the plurality of divided pictures using the boundary predictive picture as a reference picture.
KR1020170037896A 2017-03-24 2017-03-24 Parallel encoding method and apparatus KR20180108316A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170037896A KR20180108316A (en) 2017-03-24 2017-03-24 Parallel encoding method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170037896A KR20180108316A (en) 2017-03-24 2017-03-24 Parallel encoding method and apparatus

Publications (1)

Publication Number Publication Date
KR20180108316A true KR20180108316A (en) 2018-10-04

Family

ID=63862991

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170037896A KR20180108316A (en) 2017-03-24 2017-03-24 Parallel encoding method and apparatus

Country Status (1)

Country Link
KR (1) KR20180108316A (en)

Similar Documents

Publication Publication Date Title
TWI666926B (en) Block partitioning using tree structures
EP3389276B1 (en) Hash-based encoder decisions for video coding
EP3560198B1 (en) Low-complexity sign prediction for video coding
AU2016390979B2 (en) Image encoding method and apparatus, and image decoding method and apparatus
CN106797464B (en) Method and apparatus for vector coding in video encoding and decoding
CN103503461A (en) Residual quadtree structure for transform units in non-square prediction units
US10602186B2 (en) Systems and methods for mask based processing of a block of a digital image
KR102138650B1 (en) Systems and methods for processing a block of a digital image
US20150350674A1 (en) Method and apparatus for block encoding in video coding and decoding
US8582876B2 (en) Hybrid codec for compound image compression
US10200699B2 (en) Apparatus and method for encoding moving picture by transforming prediction error signal in selected color space, and non-transitory computer-readable storage medium storing program that when executed performs method
Lucas et al. Image coding using generalized predictors based on sparsity and geometric transformations
Dey et al. Enhanced macroblock features for dynamic background modeling in H. 264/AVC video encoded at low bitrate
KR20180108316A (en) Parallel encoding method and apparatus
KR20180099369A (en) Method for video rate control, and video coding method and apparatus the same
Uruma et al. Fast colorization based image coding algorithm using multiple resolution images
Kim et al. Hash rearrangement scheme for HEVC screen content coding
JP2015165644A (en) Image encoder and image encoding method
JP2015211269A (en) Moving image encoding device, moving image encoding method and computer program for moving image encoding
KR102261669B1 (en) Artificial Neural Network Based Object Region Detection Method, Device and Computer Program Thereof
US10397566B2 (en) Image coding apparatus, image coding method, and program
EP3860128A1 (en) Image block division method and device
JP2016021710A (en) Image encoding method and image encoding device
Wang et al. Optimal stopping theory based algorithm for coding unit size decision in HEVC
Lee et al. Complexity reduction method for High Efficiency Video Coding encoding based on scene-change detection and image texture information