KR102193333B1 - Apparatus and method for upscaling resolution - Google Patents

Apparatus and method for upscaling resolution Download PDF

Info

Publication number
KR102193333B1
KR102193333B1 KR1020180162122A KR20180162122A KR102193333B1 KR 102193333 B1 KR102193333 B1 KR 102193333B1 KR 1020180162122 A KR1020180162122 A KR 1020180162122A KR 20180162122 A KR20180162122 A KR 20180162122A KR 102193333 B1 KR102193333 B1 KR 102193333B1
Authority
KR
South Korea
Prior art keywords
subpixel
pixels
real
value
actual
Prior art date
Application number
KR1020180162122A
Other languages
Korean (ko)
Other versions
KR20200073680A (en
Inventor
한기훈
Original Assignee
주식회사 에스원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에스원 filed Critical 주식회사 에스원
Priority to KR1020180162122A priority Critical patent/KR102193333B1/en
Publication of KR20200073680A publication Critical patent/KR20200073680A/en
Application granted granted Critical
Publication of KR102193333B1 publication Critical patent/KR102193333B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)

Abstract

해상도 업스케일 장치 및 방법이 개시된다. 해상도 업스케일링 장치는 생성될 부화소와 인접한 복수의 실제 화소를 설정할 수 있으며 상기 복수의 실제 화소 간에 방향 별로 차분값들을 계산할 수 있다. 그리고 해상도 업스케일링 장치는 계산한 차분값들을 이용하여 공간적 상관관계 방향성을 계산할 수 있으며 계산한 공간적 상관관계 방향성을 이용하여 부화소를 생성할 수 있다. A resolution upscale apparatus and method are disclosed. The resolution upscaling apparatus may set a plurality of real pixels adjacent to the subpixel to be generated, and calculate difference values for each direction between the plurality of real pixels. In addition, the resolution upscaling apparatus may calculate a spatial correlation direction using the calculated difference values, and may generate a subpixel using the calculated spatial correlation direction.

Description

해상도 업스케일 장치 및 방법{APPARATUS AND METHOD FOR UPSCALING RESOLUTION}Resolution upscale device and method {APPARATUS AND METHOD FOR UPSCALING RESOLUTION}

본 발명은 해상도 업스케일 장치 및 방법에 관한 것이다. The present invention relates to a resolution upscale apparatus and method.

영상 감시 시스템의 규모가 커지면서 녹화영상 보관을 위한 저장공간이 부족한 문제가 발생하고 있다. 보안 카메라로부터 전송되는 영상 데이터의 양은 매우 방대하며 중요시설 보안을 위한 대규모 영상 감시 시스템의 경우 보안 카메라의 대수가 많을 뿐만 아니라 24시간 운영된다. 이에 따라 영상 보관을 위한 매우 방대한 양의 저장공간이 필요하다. As the size of the video surveillance system increases, there is a problem of insufficient storage space for storing recorded images. The amount of video data transmitted from security cameras is vast, and in the case of large-scale video surveillance systems for the security of important facilities, not only the number of security cameras is large, but they are operated 24 hours a day. Accordingly, a very large amount of storage space is required for image storage.

방대한 양의 녹화영상은 저장공간뿐만 아니라 네트워크 트래픽을 대폭 증가시킨다. 최근 모바일 단말기와 통신망의 발달로 인해, 사용자는 언제 어디서나 원하는 녹화영상을 모바일 단말기를 통해 확인할 수 있게 되었다. 그러나 사용자가 원하는 녹화영상을 단말기로 전송하기 위해서는 매우 많은 양의 트래픽이 유발되므로, 이는 시스템의 네트워크 부하를 시키고 사용자의 데이터 요금 부담을 가중시킨다. The vast amount of recorded video significantly increases network traffic as well as storage space. Recently, due to the development of mobile terminals and communication networks, users can check the desired recorded video anytime, anywhere through the mobile terminal. However, since a very large amount of traffic is induced in order to transmit the recorded video desired by the user to the terminal, this puts a network load on the system and increases the data charge burden on the user.

녹화영상 데이터 양을 줄이기 위해, 저해상도 영상으로부터 고해상도 영상을 생성하는 업스케일링 방법이 기존에 제안되었다. 이는 데이터량이 적은 저해상도 녹화영상을 보관하고, 업스케일링 기술을 적용하여 저해상도 영상으로부터 고해상도 영상을 생성하여 사용자에게 보여주는 방식이다. 예를 들면, 960*540 해상도 영상으로부터 1920*1080 해상도의 영상으로 업스케일 할 수 있다. 기존의 업스케일링 방법은 부화소(가상 화소)를 생성하기 위해 인접한 실제 화소의 값의 가중평균(weighted average)을 참조한다. 그러나 인접 화소를 참조하는 방법은 단순히 공간적으로 인접한 화소를 참조하여 부화소(가상 화소) 값을 계산하므로, 업스케일된 영상에 계단현상(aliasing)이 발생되어 화질이 저하될 수 있다. To reduce the amount of recorded image data, an upscaling method for generating a high-resolution image from a low-resolution image has been previously proposed. This is a method of storing a low-resolution recorded image with a small amount of data, and generating a high-resolution image from a low-resolution image by applying an up-scaling technology and displaying it to the user. For example, it is possible to upscale from a 960*540 resolution video to a 1920*1080 resolution video. The conventional upscaling method refers to a weighted average of values of adjacent real pixels to generate subpixels (virtual pixels). However, since a method of referencing adjacent pixels simply calculates a subpixel (virtual pixel) value by referring to a spatially adjacent pixel, aliasing may occur in the upscaled image, resulting in deterioration of image quality.

본 발명이 해결하고자 하는 과제는 계단 현상을 줄이고 더욱 선명한 업스케일 영상을 생성하는 방법 및 장치를 제공하는 것이다. The problem to be solved by the present invention is to provide a method and apparatus for reducing the step phenomenon and generating a clearer upscale image.

본 발명의 실시예에 따르면, 저해상도 영상을 고해상도 영상으로 업스케일링하는 장치의 업스케일링 방법이 제공된다. 상기 업스케일링 방법은, 생성될 부화소와 인접한 복수의 실제 화소를 설정하는 단계, 상기 복수의 실제 화소 간에 방향 별로 차분값들을 계산하는 단계, 상기 차분값들을 이용하여, 공간적 상관관계 방향성을 계산하는 단계, 그리고 상기 공간적 상관관계 방향성을 이용하여 상기 부화소를 생성하는 단계를 포함할 수 있다. According to an embodiment of the present invention, a method for upscaling an apparatus for upscaling a low-resolution image to a high-resolution image is provided. The upscaling method includes setting a plurality of real pixels adjacent to a subpixel to be generated, calculating difference values for each direction between the plurality of real pixels, and calculating a spatial correlation direction using the difference values. And generating the subpixel by using the spatial correlation direction.

상기 공간적 상관관계 방향성을 계산하는 단계는, 상기 차분값들 중 가장 작은 차분값에 대응하는 실제 화소인 제1 실제 화소를 상기 공간적 상관관계 방향성에 대한 정보로 설정하는 단계를 포함할 수 있다. The calculating of the spatial correlation directionality may include setting a first real pixel, which is an actual pixel corresponding to a smallest difference value among the difference values, as information on the spatial correlation directionality.

상기 제1 실제 화소는 복수의 실제 화소를 포함할 수 있으며, 상기 부화소를 생성하는 단계는 상기 복수의 제1 실제 화소 간의 차이값에 대한 절반에 해당하는 값을 상기 부화소의 값으로 생성하는 단계를 포함할 수 있다. The first real pixel may include a plurality of real pixels, and in the generating of the subpixel, a value corresponding to half of the difference value between the plurality of first real pixels is generated as the value of the subpixel. It may include steps.

상기 업스케일링 방법은 상기 복수의 실제 화소에 대한 움직임 벡터를 이용하여, 시간적 상관관계 방향성을 계산하는 단계를 더 포함할 수 있으며, 상기 생성하는 단계는 상기 공간적 상관관계 및 상기 시간적 상관관계 방향성 중 적어도 하나를 이용하여 상기 부화소를 생성하는 단계를 포함할 수 있다. The upscaling method may further include calculating a temporal correlation direction using motion vectors for the plurality of actual pixels, and the generating step includes at least one of the spatial correlation and the temporal correlation direction. It may include generating the subpixel by using one.

상기 업스케일링 방법은 상기 복수의 실제 화소에 대한 움직임 벡터를 이용하여, 시간적 상관관계 방향성을 계산하는 단계, 그리고 상기 공간적 상관관계 방향성이 존재하는지를 판단하는 단계를 더 포함할 수 있으며, 상기 생성하는 단계는 상기 공간적 상관관계 방향성이 존재하지 않는 경우, 상기 시간적 상관관계 방향성을 이용하여 상기 부화소를 생성하는 단계를 포함할 수 있다. The upscaling method may further include calculating a temporal correlation direction using motion vectors for the plurality of actual pixels, and determining whether the spatial correlation direction exists, and the generating step May include generating the subpixel by using the temporal correlation directionality when the spatial correlation directionality does not exist.

상기 시간적 상관관계 방향성을 계산하는 단계는, 상기 움직임 벡터를 이용하여 상기 시간적 상관관계 방향성의 값을 계산하는 단계, 그리고 상기 복수의 실제 화소들 간에 연결되는 직선들 중, 상기 시간적 상관관계 방향성의 값과 가장 가까운 직선을 결정하는 단계, 그리고 상기 가장 가까운 직선에 대응하는 실제 화소인 제1 실제 화소를 상기 시간적 상관관계 방향성에 대한 정보로 설정하는 단계를 포함할 수 있다. The step of calculating the temporal correlation directionality may include calculating a value of the temporal correlation directionality using the motion vector, and a value of the temporal correlation directionality among straight lines connected between the plurality of actual pixels And determining a straight line closest to and setting a first real pixel, which is an actual pixel corresponding to the closest straight line, as information on the temporal correlation direction.

상기 제1 실제 화소는 복수의 실제 화소를 포함할 수 있으며, 상기 부화소를 생성하는 단계는 상기 복수의 제1 실제 화소 간의 차이값에 대한 절반에 해당하는 값을 상기 부화소의 값으로 생성하는 단계를 포함할 수 있다. The first real pixel may include a plurality of real pixels, and in the generating of the subpixel, a value corresponding to half of the difference value between the plurality of first real pixels is generated as the value of the subpixel. It may include steps.

상기 복수의 실제 화소는 업스케일링되기 전의 상기 저해상도 영상에 대한 화소일 수 있으며, 상기 부화소는 업스케일링된 후의 상기 고해상 영상에 대한 화소일 수 있다. The plurality of actual pixels may be pixels for the low resolution image before being upscaled, and the subpixels may be pixels for the high resolution image after being upscaled.

상기 복수의 실제 화소는 상기 생성될 부화소의 수직 방향으로 인접한 복수의 실제 화소일 수 있다. The plurality of real pixels may be a plurality of real pixels adjacent to the subpixel to be generated in a vertical direction.

상기 복수의 실제 화소는 상기 생성될 부화소의 수평 방향으로 인접한 복수의 실제 화소일 수 있다. The plurality of actual pixels may be a plurality of actual pixels adjacent to the subpixel to be generated in a horizontal direction.

상기 복수의 실제 화소는 상기 생성될 부화소의 대각 방향으로 인접한 복수의 실제 화소일 수 있다. The plurality of actual pixels may be a plurality of actual pixels adjacent in a diagonal direction of the subpixel to be generated.

본 발명의 다른 실시예에 따르면 해상도 업스케일링 장치가 제공된다. 상기 해상도 업스케일링 장치는, 생성될 부화소와 인접한 복수의 실제 화소를 설정하고, 상기 복수의 실제 화소 간에 방향 별로 차분값을 계산하며, 상기 차분값을 이용하여 공간적 상관관계 방향성을 확인하는 공간 상관관계 확인부, 상기 복수의 실제 화소에 대한 움직임 벡터를 이용하여 시간적 상관관계 방향성을 확인하는 시간 상관관계 확인부, 그리고 상기 공간적 상관관계 방향성과 상기 시간적 상관관계 방향성 중 적어도 하나를 이용하여 부화소를 생성하는 부화소 생성부를 포함할 수 있다. According to another embodiment of the present invention, a resolution upscaling device is provided. The resolution upscaling apparatus sets a plurality of real pixels adjacent to the subpixels to be generated, calculates a difference value for each direction between the plurality of real pixels, and uses the difference value to check spatial correlation direction. A relationship check unit, a temporal correlation check unit that checks a temporal correlation directionality using motion vectors for the plurality of actual pixels, and a subpixel using at least one of the spatial correlation directionality and the temporal correlation directionality. It may include a subpixel generator to generate.

상기 부화소 생성부는 상기 공간적 상관관계 방향성이 존재하지 않은 경우, 상기 시간적 상관관계 방향성을 이용하여 상기 부화소를 생성할 수 있다. When the spatial correlation direction does not exist, the subpixel generator may generate the subpixel by using the temporal correlation direction.

상기 공간 상관관계 확인부는, 상기 차분값들 중 가장 작은 차분값에 대응하는 실제 화소인 제1 실제 화소를 상기 공간적 상관관계 방향성에 대한 정보로 설정할 수 있다. The spatial correlation checking unit may set a first real pixel, which is an actual pixel corresponding to the smallest difference value among the difference values, as information on the spatial correlation direction.

상기 제1 실제 화소는 복수의 실제 화소를 포함할 수 있으며, 상기 부화소 생성부는 상기 복수의 제1 실제 화소 간의 차이값에 대한 절반에 해당하는 값을 상기 부화소의 값으로 생성할 수 있다. The first real pixel may include a plurality of real pixels, and the subpixel generator may generate a value corresponding to half of a difference value between the plurality of first real pixels as a value of the subpixel.

상기 시간 상관관계 확인부는, 상기 움직임 벡터를 이용하여 상기 시간적 상관관계 방향성의 값을 계산하고, 상기 복수의 실제 화소들 간에 연결되는 직선들 중 상기 시간적 상관관계 방향성의 값과 가장 가까운 직선을 결정하며, 상기 가장 가까운 직선에 대응하는 실제 화소인 제1 실제 화소를 상기 시간적 상관관계 방향성에 대한 정보로 설정할 수 있다. The temporal correlation checking unit calculates a value of the temporal correlation directionality using the motion vector, and determines a straight line closest to the temporal correlation directional value among straight lines connected between the plurality of actual pixels, and , A first real pixel, which is an actual pixel corresponding to the nearest straight line, may be set as information on the temporal correlation direction.

상기 제1 실제 화소는 복수의 실제 화소를 포함할 수 있으며, 상기 부화소 생성부는 상기 복수의 제1 실제 화소 간의 차이값에 대한 절반에 해당하는 값을 상기 부화소의 값으로 생성할 수 있다. The first real pixel may include a plurality of real pixels, and the subpixel generator may generate a value corresponding to half of a difference value between the plurality of first real pixels as a value of the subpixel.

상기 복수의 실제 화소는 업스케일링되기 전의 상기 저해상도 영상에 대한 화소일 수 있으며, 상기 부화소는 업스케일링된 후의 상기 고해상 영상에 대한 화소일 수 있다. The plurality of actual pixels may be pixels for the low resolution image before being upscaled, and the subpixels may be pixels for the high resolution image after being upscaled.

본 발명의 실시예에 따르면, 공간적 상관관계 방향성 또는 시간적 상관관계 방향성을 고려하여 부화소를 생성함으로써, 계단 현상을 줄어든 더욱 선명한 업스케일 영상을 획득할 수 있다. According to an embodiment of the present invention, by generating subpixels in consideration of a spatial correlation direction or a temporal correlation direction, a sharper upscale image with reduced step effects may be obtained.

도 1은 본 발명의 실시예에 따른 해상도 업스케일링 장치를 나타내는 블록도이다.
도 2는 본 발명의 실시예에 따른 해상도 업스케일링 장치가 부화소 생성시 참조하는 주변 화소(실제 화소)를 나타내는 도면이다.
도 3은 본 발명의 실시예에 따른 해상도 업스케일링 장치의 해상도 업스케일 방법을 나타내는 플로우차트이다.
도 4는 본 발명의 실시예에 따른 컴퓨터 시스템을 나타내는 도면이다. 1 is a block diagram illustrating a resolution upscaling apparatus according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating neighboring pixels (real pixels) referred to when a resolution upscaling apparatus according to an embodiment of the present invention generates a subpixel.
3 is a flowchart illustrating a resolution upscaling method of a resolution upscaling apparatus according to an embodiment of the present invention.
4 is a diagram showing a computer system according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art can easily implement the embodiments of the present invention. However, the present invention may be implemented in various different forms and is not limited to the embodiments described herein. In the drawings, parts irrelevant to the description are omitted in order to clearly describe the present invention, and similar reference numerals are assigned to similar parts throughout the specification.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. Throughout the specification, when a part is said to be "connected" to another part, this includes not only "directly connected" but also "electrically connected" with another element interposed therebetween. . In addition, when a part "includes" a certain component, it means that other components may be further included rather than excluding other components unless specifically stated to the contrary.

본 발명의 실시예에 따른 해상도 업스케일링 장치 및 방법은 영상 내에서 각 화소의 시간적 상관관계 및 공간적 상관관계를 참조하여 부화소를 생성한다. 이러한 본 발명의 실시예에 따른 해상도 업스케일링 장치 및 방법에 대해서 이하에서 상세히 설명한다. 이하의 설명에서, '부화소'라는 용어는 해상도 업스케일링된 화소(새롭게 생성될 화소)를 의미하여 '가상 화소'라는 용어와 혼용될 수 있다. 그리고 '실제 화소'라는 용어는 해상도 업스케일링되기 전의 즉, 업스케일링될 화소를 의미한다. The resolution upscaling apparatus and method according to an exemplary embodiment of the present invention generate subpixels by referring to a temporal correlation and a spatial correlation of each pixel in an image. The resolution upscaling apparatus and method according to an embodiment of the present invention will be described in detail below. In the following description, the term'subpixel' refers to a pixel (pixel to be newly generated) whose resolution has been upscaled and may be used interchangeably with the term'virtual pixel'. In addition, the term'real pixel' refers to a pixel before resolution is upscaled, that is, to be upscaled.

도 1은 본 발명의 실시예에 따른 해상도 업스케일링 장치(1000)를 나타내는 블록도이다. 1 is a block diagram illustrating a resolution upscaling apparatus 1000 according to an embodiment of the present invention.

도 1에 나타낸 바와 같이, 본 발명의 실시예에 따른 해상도 업스케일링 장치(100)는 공간 상관관계 확인부(110), 시간 상관관계 확인부(120), 그리고 부화소 생성부(130)를 포함한다. As shown in FIG. 1, the resolution upscaling apparatus 100 according to an embodiment of the present invention includes a spatial correlation checker 110, a temporal correlation checker 120, and a subpixel generator 130. do.

공간 상관관계 확인부(110)는 실제 화소를 입력 받으며, 생성할 부화소 주변의 실제 화소들을 참조하여 공간적 상관관계 방향성을 확인(계산)하며, 확인한 공간적 상관 관계 방향성을 부화소 생성부(130)로 전송한다. The spatial correlation checking unit 110 receives an actual pixel, checks (calculates) the spatial correlation direction by referring to the actual pixels around the subpixel to be generated, and determines the spatial correlation direction as the subpixel generator 130 Transfer to.

도 2는 본 발명의 실시예에 따른 해상도 업스케일링 장치(100)가 부화소 생성시 참조하는 주변 화소(실제 화소)를 나타내는 도면이다. FIG. 2 is a diagram illustrating neighboring pixels (real pixels) that the resolution upscaling apparatus 100 according to an embodiment of the present invention refers to when generating subpixels.

도 2에서, △는 생성하려는 부화소를 의미하고, ⓐ, ⓑ, ⓒ, ⓓ, ⓔ 그리고 ⓕ는 각각 생성하려는 부화소(△) 주변의 실제 화소를 의미한다. 도 2에서, 210은 수직 방향에 위치한 2개의 실제 화소(ⓐⓑ, ⓒⓓ, ⓔⓕ)와 인접하는 수직위치 부화소를 나타내며, 220은 수평 방향에 위치한 2개의 실제 화소(ⓐⓑ, ⓒⓓ, ⓔⓕ)와 인접하는 수평위치 부화소를 나타내며, 230은 대각 방향에 위치한 4개의 실제 화소(ⓐ ⓑⓒⓓ)와 인접한 대각위치 부화소를 나타낸다. 즉, 210은 부화소(△)의 수직 방향(상하 방향)으로 인접한 6개의 실제 화소를 나타내며, 220은 부화소(△)의 수평 방향(좌우 방향)으로 인접한 6개의 실제 화소를 나타내며, 230은 부화소(△)의 대각 방향으로 인접한 4개의 실제 화소를 나타낸다. In FIG. 2, △ denotes a subpixel to be created, and ⓐ, ⓑ, ⓒ, ⓓ, ⓔ and ⓕ denote an actual pixel around the subpixel to be generated (△). In Fig. 2, 210 denotes two actual pixels (ⓐⓑ, ⓒⓓ, ⓔⓕ) and adjacent vertical subpixels, and 220 denotes two actual pixels (ⓐⓑ, ⓒⓓ) located in the horizontal direction. , Ⓔⓕ) and adjacent horizontal position subpixels, and 230 represents the diagonal position adjacent to four actual pixels (ⓐ ⓑⓒⓓ) located diagonally. That is, 210 denotes 6 actual pixels adjacent in the vertical direction (up-down direction) of the sub-pixel (△), 220 denotes six actual pixels adjacent in the horizontal direction (left-right direction) of the sub-pixel (△), and 230 denotes It represents four actual pixels that are adjacent to each other in the diagonal direction of the subpixel (Δ).

본 발명의 실시예에 따른 공간 상관관계 확인부(110)는 해당 부화소(생성될 부화소)가 속한 공간에 대한 공간적 상관관계 방향성을 확인하여 부화소 생성부(130)로 전송하며, 부화소 생성부(130)는 공간적 상관관계 방향성에 위치하는 실제 화소를 이용하여 부화소를 생성한다. The spatial correlation checker 110 according to an embodiment of the present invention checks the spatial correlation direction of the space to which the corresponding subpixel (subpixel to be generated) belongs and transmits it to the subpixel generator 130, and The generation unit 130 generates subpixels using actual pixels located in the spatial correlation direction.

도 2의 210과 같은 화소 배치에서의 수직 위치 부화소 생성을 위해, 공간 상관관계 확인부(110)는 해당 부화소(△) 주변에 위치하는 실제 화소(ⓐ, ⓑ, ⓒ, ⓓ, ⓔ, ⓕ)를 이용하여, 아래의 수학식 1을 이용하여 공간적 상관관계를 계산한다. In order to generate vertical subpixels in the pixel arrangement as shown in FIG. 2, the spatial correlation checking unit 110 includes actual pixels (ⓐ, ⓑ, ⓒ, ⓓ, ⓔ, etc.) located around the corresponding subpixel (△). Ⓕ), the spatial correlation is calculated using Equation 1 below.

Figure 112018125938652-pat00001
Figure 112018125938652-pat00001

공간 상관관계 확인부(110)는 상기 수학식 1과 같이 해당 부화소(△) 주변에 위치한 실제 화소(ⓐ, ⓑ, ⓒ, ⓓ, ⓔ, ⓕ)간의 방향별 차분값을 계산하고, 차분값이 가장 작은 방향으로 공간적 상관관계가 가장 높은 것으로 판단한다. 상기 수학식 1의 계산 결과 LeftUp-RightDown Difference가 가장 작은 경우, 부화소(△)의 값은 실제 화소(ⓐ, ⓕ) 차분값의 절반(즉, (ⓐ - ⓕ) / 2)으로 계산된다. 즉, 공간 상관관계 확인부(110)가 공간적 상관관계 방향성에 대한 정보(즉, ⓐ, ⓕ)을 부화소 생성부(130)로 전송하면, 부화소 생성부(130)는 부화소의 값을 (ⓐ - ⓕ) / 2 로 계산한다. 한편, 도 2의 220과 같은 수형 위치 부화소 생성은 도 2의 210과 같은 방법과 동일한 방법을 통해 부화소의 값이 생성될 수 있다. The spatial correlation checking unit 110 calculates a difference value for each direction between actual pixels (ⓐ, ⓑ, ⓒ, ⓓ, ⓔ, ⓕ) located around the corresponding sub-pixel (△) as shown in Equation 1 above, and the difference value It is judged that the spatial correlation is the highest in this smallest direction. When the LeftUp-RightDown Difference is the smallest as a result of the calculation of Equation 1, the value of the subpixel (△) is calculated as half of the difference value of the actual pixels (ⓐ, ⓕ) (that is, (ⓐ-ⓕ) / 2). That is, when the spatial correlation checking unit 110 transmits information on the spatial correlation direction (ie, ⓐ, ⓕ) to the subpixel generating unit 130, the subpixel generating unit 130 calculates the value of the subpixel. Calculate as (ⓐ-ⓕ) / 2. Meanwhile, in the generation of the vertical position subpixel 220 of FIG. 2, the value of the subpixel may be generated through the same method as the method 210 of FIG. 2.

도 2의 230과 같은 화소 배치에서의 대각 위치 부화소 생성을 위해, 공간 상관관계 확인부(110)는 해당 부화소(△) 주변에 위치하는 실제 화소(ⓐ, ⓑ, ⓒ, ⓓ)를 이용하여, 아래의 수학식 2와 같이 공간적 상관관계를 계산한다. In order to generate a diagonal subpixel in the pixel arrangement as shown in FIG. 2, the spatial correlation checking unit 110 uses the actual pixels (ⓐ, ⓑ, ⓒ, ⓓ) located around the corresponding subpixel (△). Thus, the spatial correlation is calculated as shown in Equation 2 below.

Figure 112018125938652-pat00002
Figure 112018125938652-pat00002

공간 상관관계 확인부(110)는 상기 수학식 2의 계산 결과 차분값이 가장 작은 방향으로 공간적 상관관계가 가장 높은 것을 판단한다. 공간 상관관계 확인부(110)는 공간적 상관관계가 가장 높은 방향에 대한 정보(즉, 공간적 상관관계 방향성에 대한 정보)를 부화소 생성부(130)로 전송하며, 부화소 생성부(130)는 수신한 공간적 상관관계 방향성에 대한 정보를 이용하여 부화소 값을 생성한다. The spatial correlation checking unit 110 determines that the spatial correlation is highest in the direction in which the difference value is the smallest as a result of the calculation of Equation 2 above. The spatial correlation checking unit 110 transmits information on the direction having the highest spatial correlation (that is, information on the spatial correlation direction) to the subpixel generation unit 130, and the subpixel generation unit 130 A subpixel value is generated using the received information on the spatial correlation direction.

다음으로, 시간 상관관계 확인부(120)가 시간적 상관관계 방향성을 확인하는 방법에 대서 설명한다. 상기에서 공간적 상관관계에 의한 부화소 생성방법을 설명하였는데, 공간적 상관관계가 높은 방향에 대한 판단이 어려운 경우가 종종 발생할 수 있다. 예를 들어, 상기 수학식 1에서 계산한 Top-Bottom Difference, LeftUp-RightDown Difference, 그리고 RightUp-LeftDown Difference가 서로 동일한 값인 경우 또는 계산한 차이 값들 간의 차이가 아주 작은 값을 가지는 경우(즉, 소정의 기준치보다 작은 경우)가 발생할 수 있다. 이러한 부분을 감안하여, 시간 상관관계 확인부(120)는 시간적 상관관계 방향성을 계산한다. 시간 상관관계 확인부(120)는 부화소 주변의 실제 화소(ⓐ, ⓑ, ⓒ, ⓓ, ⓔ, ⓕ)의 움직임 방향을 통해 시간적 상관관계 방향성을 계산한다. Next, a method for the time correlation checking unit 120 to check the temporal correlation direction will be described. Although the method for generating subpixels based on spatial correlation has been described above, it may be difficult to determine the direction in which the spatial correlation is high. For example, when the Top-Bottom Difference, LeftUp-RightDown Difference, and RightUp-LeftDown Difference calculated in Equation 1 are equal to each other, or when the difference between the calculated difference values has a very small value (i.e., a predetermined If it is smaller than the reference value) may occur. In consideration of this part, the temporal correlation checking unit 120 calculates a temporal correlation direction. The temporal correlation checking unit 120 calculates the temporal correlation direction through the movement directions of the actual pixels (ⓐ, ⓑ, ⓒ, ⓓ, ⓔ, ⓕ) around the sub-pixels.

시간 상관관계 확인부(120)는 움직임 방향을 결정하기 위해, 각 실제 화소의 움직임 벡터(Motion Vector, MV)를 이용한다. 각 실제 화소의 움직임 벡터는 수평움직임 x와 수직 움직임 y를 가지는 MV(x, y)로 표현될 수 있다. 실제 화소는 화소 그룹별(블록별)로 움직임 벡터를 가지고 있는데, 이는 본 발명이 속하는 기술분야에 통상의 지식을 가진 자라면 알 수 있는 바 구체적인 설명은 생략한다. The time correlation checking unit 120 uses a motion vector (MV) of each actual pixel to determine a motion direction. The motion vector of each actual pixel may be expressed as MV(x, y) having a horizontal motion x and a vertical motion y. An actual pixel has a motion vector for each pixel group (by block), which can be understood by those of ordinary skill in the art, and a detailed description thereof will be omitted.

도 2의 210에서와 같은 부화소가 속한 공간에서, 시간적 상관관계 방향성은 아래의 수학식 3과 같이 계산될 수 있다. 즉, 시간 상관관계 확인부(120)는 도 2의 210과 같은 배열에서의 시간적 상관관계 방향성(Temporal Correlation Direction, TCD)을 아래의 수학식 3과 같이 계산할 수 있다. In the space to which the subpixels belong to 210 of FIG. 2, the temporal correlation direction may be calculated as in Equation 3 below. That is, the temporal correlation checker 120 may calculate a temporal correlation direction (TCD) in the arrangement shown in FIG. 2 210 as shown in Equation 3 below.

Figure 112018125938652-pat00003
Figure 112018125938652-pat00003

상기 수학식 3에서, α와 β는 실제 화소(ⓒ, ⓓ)와 실제 화소(ⓐ, ⓑ, ⓔ, ⓕ)간의 공간적인 거리에 따른 가중치를 주는 조정인자이다. 상기 수학식 3에서, MVc(x,y)는 실제 화소(ⓒ)의 움직임 벡터를 나타낸다. α와 β는 피타고라스의 정리를 참조하여 계산될 수 있으며, 하나의 예로 α는 1.18, β는 0.5의 값일 수 있다. 수학식 3에서 시간적 상관관계 방향성(TCD)의 x 값은 실제 화소들의 수평움직임 x값을 참조하여 계산되고, 시간적 상관관계 방향성(TCD)의 y 값은 실제 화소들의 수직움직임 y값을 참조하여 계산된다. In Equation 3, α and β are adjustment factors giving weights according to the spatial distance between the actual pixels (ⓒ, ⓓ) and the actual pixels (ⓐ, ⓑ, ⓔ, ⓕ). In Equation 3, MVc(x,y) represents a motion vector of an actual pixel (ⓒ). α and β can be calculated by referring to the Pythagorean theorem, and as an example, α may be 1.18 and β may be 0.5. In Equation 3, the x value of the temporal correlation directionality (TCD) is calculated with reference to the horizontal motion x value of the actual pixels, and the y value of the temporal correlation directionality (TCD) is calculated with reference to the vertical motion y value of the actual pixels. do.

시간 상관관계 확인부(120)는 상기 수학식 3을 이용하여 계산한 시간적 상관관계 방향성(TCD)의 값이 실제 화소(ⓒ, ⓓ)를 연결하는 직선과 가까운지, 실제 화소(ⓐ, ⓕ)를 연결하는 직선과 가까운지, 또는 실제 화소(ⓑ, ⓔ)를 연결하는 직선과 가까운지에 대해서 결정한 후, 최종적인 시간적 상관관계 방향성에 대한 정보를 부화소 생성부(130)로 전송한다. 부화소 생성부(130)는 수신한 시간적 상관관계 방향성에 대한 정보를 이용하여 부화소(△)의 값을 계산하는데 참조할 실제 화소를 결정한다. 예를 들면, 시간적 상관관계 방향성(TCD)의 값이 실제 화소(ⓐ, ⓕ)를 연결하는 직선과 가장 가까운 경우, 부화소 생성부(130)는 부화소의 값을 (ⓐ - ⓕ) / 2 로 계산한다. The temporal correlation checking unit 120 determines whether the value of the temporal correlation directionality (TCD) calculated using Equation 3 is close to the straight line connecting the actual pixels (ⓒ, ⓓ), or the actual pixels (ⓐ, ⓕ). After determining whether it is close to a straight line connecting the pixels ⓑ or ⓔ or close to a straight line connecting the actual pixels ⓑ and ⓔ, information on the final temporal correlation direction is transmitted to the subpixel generator 130. The subpixel generator 130 determines an actual pixel to be referred to in calculating the value of the subpixel Δ using the received temporal correlation direction information. For example, when the value of the temporal correlation direction (TCD) is closest to a straight line connecting the actual pixels (ⓐ, ⓕ), the subpixel generator 130 sets the value of the subpixel (ⓐ-ⓕ) / 2 Calculate as.

공간 상관관계 확인부(110)는 상기 수학식 1 또는 2를 이용하여 부화소가 속한 공간에 대한 공간적 상관관계 방향성을 확인하고 확인한 공간적 상관관계 방향성에 대한 정보를 부화소 생성부(130)로 전달한다. 그리고 시간 상관관계 확인부(120)는 상기 수학식 3을 이용하여 부화소가 속한 공간에 대한 시간적 상관관계 방향성을 확인하고 확인한 시간적 상관관계 방향성에 대한 정보를 부화소 생성부(130)로 전달한다. 부화소 생성부(130)는 공간 상관관계 확인부(110)로부터 전달 받은 정보(공간적 상관관계 방향성에 대한 정보)와 시간 상관관계 확인부(120)로부터 전달 받은 정보(시간적 상관관계 방향성에 대한 정보)를 이용하여, 부화소 값을 계산하고 생성한다. The spatial correlation checking unit 110 confirms the spatial correlation direction of the space to which the subpixel belongs using Equation 1 or 2 and transmits the information on the confirmed spatial correlation direction to the subpixel generator 130 do. In addition, the temporal correlation checking unit 120 checks the temporal correlation direction for the space to which the subpixel belongs using Equation 3 and transmits the information on the checked temporal correlation direction to the subpixel generator 130. . The subpixel generating unit 130 includes information received from the spatial correlation checking unit 110 (information on the spatial correlation direction) and information transmitted from the temporal correlation checking unit 120 (information on the temporal correlation direction). ) To calculate and generate subpixel values.

도 3은 본 발명의 실시예에 따른 해상도 업스케일링 장치(100)의 해상도 업스케일 방법을 나타내는 플로우차트이다. 3 is a flowchart illustrating a resolution upscaling method of the resolution upscaling apparatus 100 according to an embodiment of the present invention.

먼저, 공간 상관관계 확인부(110)는 공간적 상관관계 방향성을 확인한다(S310). 즉, 공간 상관관계 확인부(110)는 상기 수학식 1 또는 2를 이용하여 부화소가 속한 공간에 대한 공간적 상관관계 방향성을 확인(계산)하고, 확인(계산)한 공간적 상관관계 방향성에 대한 정보를 부화소 생성부(130)로 전달한다. First, the spatial correlation checking unit 110 checks the spatial correlation direction (S310). That is, the spatial correlation checking unit 110 confirms (calculates) the spatial correlation direction for the space to which the subpixel belongs, using Equation 1 or 2, and the information on the spatial correlation direction confirmed (calculated) Is transferred to the subpixel generator 130.

부화소 생성부(130)는 S310 단계에서 전달 받은 공간적 상관관계 방향성에 대한 정보를 이용하여, 공간적 상관관계 방향성이 존재하는지를 체크한다(S320). 상기에서 설명한 바와 같이, 상기 수학식 1에서 계산한 차이 값들이 서로 동일하거나 계산한 차이 값들 간의 차이가 아주 작은 값인 경우(즉, 소정의 기준치보다 작은 경우), 부화소 생성부(130)는 공간적 상관관계 방향성이 존재하지 않는다고 판단한다. 한편, 상기 S320 단계는 부화소 생성부(130)에서 수행될 수도 있지만 공간 상관관계 확인부(110)에서도 수행될 수 있다. The subpixel generator 130 checks whether there is a spatial correlation direction using the information on the spatial correlation direction received in step S310 (S320). As described above, when the difference values calculated in Equation 1 are the same or the difference between the calculated difference values is a very small value (that is, when it is smaller than a predetermined reference value), the subpixel generator 130 It is judged that there is no correlation direction. Meanwhile, the step S320 may be performed by the subpixel generator 130, but may also be performed by the spatial correlation checker 110.

부화소 생성부(130)는 공간적 상관관계 방향성이 존재하는 것으로 판단한 경우, 전달받은 공간적 상관관계 방향성에 대한 정보를 참조하여 부화소를 생성한다(S320, S340). When it is determined that the spatial correlation direction exists, the subpixel generator 130 generates a subpixel by referring to information about the received spatial correlation direction (S320 and S340).

S320 단계에서 공간적 상관관계 방향성이 존재하지 않는 경우, 시간 상관관계 확인부(120)는 시간적 상관관계 방향성을 확인한다(S330). 한편, 도 3에서는 공간적 상관관계 방향성이 존재하지 않은 경우 시간적 상관관계 방향성을 확인하는 것으로 나타내었지만, 시간 상관관계 확인부(120)는 공간적 상관관계 방향성과 관계없이 독립적으로 시간적 상관관계 방향성을 확인할 수 있다. 시간 상관관계 확인부(120)는 상기 수학식 3을 이용하여 부화소가 속한 공간에 대한 시간적 상관관계 방향성을 확인(계산)하고, 확인(계산)한 시간적 상관관계 방향성에 대한 정보를 부화소 생성부(130)로 전달한다. If the spatial correlation direction does not exist in step S320, the temporal correlation checker 120 checks the temporal correlation direction (S330). On the other hand, in FIG. 3, when there is no spatial correlation direction, it is shown to check the temporal correlation direction, but the temporal correlation checker 120 can independently check the temporal correlation direction regardless of the spatial correlation direction. have. The temporal correlation checking unit 120 checks (calculates) the temporal correlation direction for the space to which the subpixel belongs using Equation 3, and generates subpixels information on the temporal correlation direction that has been checked (calculated). Pass it to the unit 130.

부화소 생성부(130)는 공간적 상관관계 방향성이 존재하지 않은 경우, 전달받은 시간적 상관관계 방향성에 대한 정보를 참조하여 부화소를 생성한다(S320, S330, S340). When the spatial correlation direction does not exist, the subpixel generator 130 generates a subpixel by referring to information about the received temporal correlation direction (S320, S330, and S340).

상기에서 설명한 본 발명의 실시예에 따른 해상도 업스케일링 장치 및 방법은 공간적 상관관계 방향성 및 시간적 상관관계 방향성을 고려하여 부화소를 생성함으로써, 영상 업스케일 시 발생되는 화질 저하에 의한 계단현상을 줄일 수 있다. 즉, 본 발명의 실시예에 따르면, 계단현상을 유발하지 않으면서도 저해상도 영상으로부터 고해상도 영상을 생성할 수 있다. The resolution upscaling apparatus and method according to the embodiment of the present invention described above can reduce a step phenomenon caused by deterioration of image quality that occurs when an image is upscaled by generating subpixels in consideration of the spatial correlation direction and the temporal correlation direction. have. That is, according to an embodiment of the present invention, it is possible to generate a high-resolution image from a low-resolution image without causing a staircase phenomenon.

도 4는 본 발명의 실시예에 따른 컴퓨터 시스템(400)을 나타내는 도면이다. 4 is a diagram illustrating a computer system 400 according to an embodiment of the present invention.

본 발명의 실시예에 따른 해상도 업스케일링 장치(100)는 도 4와 같은 컴퓨터 시스템(400)으로 구현될 수 있다. 그리고 해상도 업스케일링 장치(100)의 각 구성 요소 즉, 공간 상관관계 확인부(110), 시간 상관관계 확인부(120), 그리고 부화소 생성부(130)도 도 5와 같은 컴퓨터 시스템(500)으로 구현될 수 있다. The resolution upscaling apparatus 100 according to an embodiment of the present invention may be implemented as a computer system 400 as shown in FIG. 4. In addition, each component of the resolution upscaling apparatus 100, that is, a spatial correlation check unit 110, a temporal correlation check unit 120, and a subpixel generator 130 are also provided in a computer system 500 as shown in FIG. It can be implemented as

컴퓨터 시스템(400)은 버스(420)를 통해 통신하는 프로세서(410), 메모리(430), 사용자 인터페이스 입력 장치(440), 사용자 인터페이스 출력 장치(450), 그리고 저장 장치(460) 중 적어도 하나를 포함할 수 있다. The computer system 400 includes at least one of a processor 410, a memory 430, a user interface input device 440, a user interface output device 450, and a storage device 460 communicating through the bus 420. Can include.

프로세서(410)는 중앙 처리 장치(central processing unit, CPU)이거나, 또는 메모리(430) 또는 저장 장치(460)에 저장된 명령을 실행하는 반도체 장치일 수 있다. 프로세서(410)는 상기 도 1 내지 도 3에서 설명한 기능들 및 방법을 구현하도록 구성될 수 있다. The processor 410 may be a central processing unit (CPU) or a semiconductor device that executes instructions stored in the memory 430 or the storage device 460. The processor 410 may be configured to implement the functions and methods described in FIGS. 1 to 3.

메모리(430) 및 저장 장치(460)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(430)는 ROM(read only memory)(431) 및 RAM(random access memory)(432)를 포함할 수 있다. 본 발명의 실시예에서 메모리(430)는 프로세서(510)의 내부 또는 외부에 위치할 수 있고, 메모리(430)는 이미 알려진 다양한 수단을 통해 프로세서(410)와 연결될 수 있다.The memory 430 and the storage device 460 may include various types of volatile or nonvolatile storage media. For example, the memory 430 may include a read only memory (ROM) 431 and a random access memory (RAM) 432. In an embodiment of the present invention, the memory 430 may be located inside or outside the processor 510, and the memory 430 may be connected to the processor 410 through various known means.

따라서, 본 발명의 실시예는 컴퓨터에 구현된 방법으로서 구현되거나, 컴퓨터 실행 가능 명령이 저장된 비일시적 컴퓨터 판독 가능 매체로서 구현될 수 있다. 본 발명의 실시예에서, 프로세서에 의해 실행될 때, 컴퓨터 판독 가능 명령은 본 기재의 적어도 하나의 양상에 따른 방법을 수행할 수 있다.Accordingly, the embodiments of the present invention may be implemented as a method implemented in a computer, or as a non-transitory computer-readable medium storing computer executable instructions. In an embodiment of the present invention, when executed by a processor, computer-readable instructions may perform a method according to at least one aspect of the present disclosure.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.Although the embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements by those skilled in the art using the basic concept of the present invention defined in the following claims are also provided. It belongs to the scope of rights.

Claims (18)

저해상도 영상을 고해상도 영상으로 업스케일링하는 장치의 업스케일링 방법으로서,
생성될 부화소와 인접한 복수의 실제 화소를 설정하는 단계,
상기 복수의 실제 화소 간에 방향 별로 차분값들을 계산하는 단계,
상기 차분값들을 이용하여, 공간적 상관관계 방향성을 계산하는 단계,
상기 복수의 실제 화소에 대한 움직임 벡터를 이용하여, 시간적 상관관계 방향성을 계산하는 단계,
상기 공간적 상관관계 방향성이 존재하는지를 판단하는 단계, 그리고
상기 공간적 상관관계 방향성이 존재하는 경우 상기 공간적 상관관계 방향성을 이용하여 상기 부화소를 생성하며 상기 공간적 상관관계 방향성이 존재하지 않는 경우 상기 시간적 상관관계 방향성을 이용하여 상기 부화소를 생성하는 단계를 포함하는 업스케일링 방법. As an upscaling method of a device for upscaling a low-resolution image to a high-resolution image,
Setting a plurality of actual pixels adjacent to the subpixel to be generated,
Calculating difference values for each direction between the plurality of actual pixels,
Calculating a spatial correlation direction using the difference values,
Calculating a temporal correlation direction using motion vectors for the plurality of actual pixels,
Determining whether the spatial correlation direction exists, and
Generating the subpixel using the spatial correlation direction when the spatial correlation direction exists, and generating the subpixel using the temporal correlation direction when the spatial correlation direction does not exist Upscaling method. 제1항에 있어서,
상기 공간적 상관관계 방향성을 계산하는 단계는, 상기 차분값들 중 가장 작은 차분값에 대응하는 실제 화소인 제1 실제 화소를 상기 공간적 상관관계 방향성에 대한 정보로 설정하는 단계를 포함하는 업스케일링 방법. The method of claim 1,
The calculating of the spatial correlation directionality comprises setting a first real pixel, which is an actual pixel corresponding to a smallest difference value among the difference values, as information on the spatial correlation directionality. 제2항에 있어서,
상기 제1 실제 화소는 복수의 실제 화소를 포함하며,
상기 부화소를 생성하는 단계는 상기 복수의 제1 실제 화소 간의 차이값에 대한 절반에 해당하는 값을 상기 부화소의 값으로 생성하는 단계를 포함하는 업스케일링 방법. The method of claim 2,
The first real pixel includes a plurality of real pixels,
The generating of the subpixel comprises generating a value corresponding to half of the difference value between the plurality of first actual pixels as the value of the subpixel. 제1항에 있어서,
상기 복수의 실제 화소에 대한 움직임 벡터를 이용하여, 시간적 상관관계 방향성을 계산하는 단계를 더 포함하며,
상기 생성하는 단계는 상기 공간적 상관관계 및 상기 시간적 상관관계 방향성 중 적어도 하나를 이용하여 상기 부화소를 생성하는 단계를 포함하는 업스케일링 방법. The method of claim 1,
Further comprising the step of calculating a temporal correlation direction using motion vectors for the plurality of actual pixels,
The generating step includes generating the subpixel by using at least one of the spatial correlation and the temporal correlation direction. 삭제delete 제4항에 있어서,
상기 시간적 상관관계 방향성을 계산하는 단계는,
상기 움직임 벡터를 이용하여 상기 시간적 상관관계 방향성의 값을 계산하는 단계, 그리고
상기 복수의 실제 화소들 간에 연결되는 직선들 중, 상기 시간적 상관관계 방향성의 값과 가장 가까운 직선을 결정하는 단계, 그리고
상기 가장 가까운 직선에 대응하는 실제 화소인 제1 실제 화소를 상기 시간적 상관관계 방향성에 대한 정보로 설정하는 단계를 포함하는 업스케일링 방법. The method of claim 4,
The step of calculating the temporal correlation direction,
Calculating a value of the temporal correlation direction using the motion vector, and
Determining a straight line closest to the value of the temporal correlation direction among straight lines connected between the plurality of actual pixels, and
And setting a first actual pixel, which is an actual pixel corresponding to the nearest straight line, as information on the temporal correlation direction. 제6항에 있어서,
상기 제1 실제 화소는 복수의 실제 화소를 포함하며,
상기 부화소를 생성하는 단계는 상기 복수의 제1 실제 화소 간의 차이값에 대한 절반에 해당하는 값을 상기 부화소의 값으로 생성하는 단계를 포함하는 업스케일링 방법. The method of claim 6,
The first real pixel includes a plurality of real pixels,
The generating of the subpixel comprises generating a value corresponding to half of the difference value between the plurality of first actual pixels as the value of the subpixel. 제1항에 있어서,
상기 복수의 실제 화소는 업스케일링되기 전의 상기 저해상도 영상에 대한 화소이며,
상기 부화소는 업스케일링된 후의 상기 고해상 영상에 대한 화소인 업스케일링 방법. The method of claim 1,
The plurality of actual pixels are pixels for the low-resolution image before being upscaled,
The subpixel is a pixel for the high-resolution image after being upscaled. 제1항에 있어서,
상기 복수의 실제 화소는 상기 생성될 부화소의 수직 방향으로 인접한 복수의 실제 화소인 업스케일링 방법. The method of claim 1,
The plurality of real pixels are a plurality of real pixels adjacent to the subpixel to be generated in a vertical direction. 제1항에 있어서,
상기 복수의 실제 화소는 상기 생성될 부화소의 수평 방향으로 인접한 복수의 실제 화소인 업스케일링 방법.The method of claim 1,
The upscaling method wherein the plurality of real pixels are a plurality of real pixels adjacent to the subpixel to be generated in a horizontal direction. 제1항에 있어서,
상기 복수의 실제 화소는 상기 생성될 부화소의 대각 방향으로 인접한 복수의 실제 화소인 업스케일링 방법.The method of claim 1,
The upscaling method wherein the plurality of real pixels are a plurality of real pixels adjacent in a diagonal direction of the subpixel to be generated. 생성될 부화소와 인접한 복수의 실제 화소를 설정하고, 상기 복수의 실제 화소 간에 방향 별로 차분값을 계산하며, 상기 차분값을 이용하여 공간적 상관관계 방향성을 확인하는 공간 상관관계 확인부,
상기 복수의 실제 화소에 대한 움직임 벡터를 이용하여 시간적 상관관계 방향성을 확인하는 시간 상관관계 확인부, 그리고
상기 공간적 상관관계 방향성과 상기 시간적 상관관계 방향성 중 적어도 하나를 이용하여 부화소를 생성하는 부화소 생성부를 포함하며,
상기 부화소 생성부는 상기 공간적 상관관계 방향성이 존재하지 않은 경우, 상기 시간적 상관관계 방향성을 이용하여 상기 부화소를 생성하는 해상도 업스케일링 장치. A spatial correlation checker configured to set a plurality of real pixels adjacent to the subpixel to be generated, calculate a difference value for each direction between the plurality of real pixels, and check the spatial correlation direction using the difference value,
A temporal correlation checking unit for checking temporal correlation directionality using motion vectors for the plurality of actual pixels, and
A subpixel generator for generating a subpixel using at least one of the spatial correlation direction and the temporal correlation direction,
When the spatial correlation direction does not exist, the subpixel generator generates the subpixel by using the temporal correlation direction. 삭제delete 제12항에 있어서,
상기 공간 상관관계 확인부는, 상기 차분값들 중 가장 작은 차분값에 대응하는 실제 화소인 제1 실제 화소를 상기 공간적 상관관계 방향성에 대한 정보로 설정하는 해상도 업스케일링 장치. The method of claim 12,
The spatial correlation checking unit is a resolution upscaling apparatus configured to set a first real pixel, which is an actual pixel corresponding to a smallest difference value among the difference values, as information on the spatial correlation direction. 제14항에 있어서,
상기 제1 실제 화소는 복수의 실제 화소를 포함하며,
상기 부화소 생성부는, 상기 복수의 제1 실제 화소 간의 차이값에 대한 절반에 해당하는 값을 상기 부화소의 값으로 생성하는 해상도 업스케일링 장치. The method of claim 14,
The first real pixel includes a plurality of real pixels,
The subpixel generator generates a value corresponding to half of a difference value between the plurality of first actual pixels as a value of the subpixel. 제12항에 있어서,
상기 시간 상관관계 확인부는, 상기 움직임 벡터를 이용하여 상기 시간적 상관관계 방향성의 값을 계산하고, 상기 복수의 실제 화소들 간에 연결되는 직선들 중 상기 시간적 상관관계 방향성의 값과 가장 가까운 직선을 결정하며, 상기 가장 가까운 직선에 대응하는 실제 화소인 제1 실제 화소를 상기 시간적 상관관계 방향성에 대한 정보로 설정하는 해상도 업스케일링 장치. The method of claim 12,
The temporal correlation checking unit calculates a value of the temporal correlation directionality using the motion vector, and determines a straight line closest to the temporal correlation directional value among straight lines connected between the plurality of actual pixels, and And a resolution upscaling apparatus for setting a first real pixel, which is an actual pixel corresponding to the nearest straight line, as information on the temporal correlation direction. 제16항에 있어서,
상기 제1 실제 화소는 복수의 실제 화소를 포함하며,
상기 부화소 생성부는, 상기 복수의 제1 실제 화소 간의 차이값에 대한 절반에 해당하는 값을 상기 부화소의 값으로 생성하는 해상도 업스케일링 장치. The method of claim 16,
The first real pixel includes a plurality of real pixels,
The subpixel generator generates a value corresponding to half of a difference value between the plurality of first actual pixels as a value of the subpixel. 제12항에 있어서,
상기 복수의 실제 화소는 업스케일링되기 전의 저해상도 영상에 대한 화소이며,
상기 부화소는 업스케일링된 후의 고해상도 영상에 대한 화소인 해상도 업스케일링 장치. The method of claim 12,
The plurality of actual pixels are pixels for a low-resolution image before being upscaled,
The sub-pixel is a pixel for a high-resolution image after being upscaled.
KR1020180162122A 2018-12-14 2018-12-14 Apparatus and method for upscaling resolution KR102193333B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180162122A KR102193333B1 (en) 2018-12-14 2018-12-14 Apparatus and method for upscaling resolution

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180162122A KR102193333B1 (en) 2018-12-14 2018-12-14 Apparatus and method for upscaling resolution

Publications (2)

Publication Number Publication Date
KR20200073680A KR20200073680A (en) 2020-06-24
KR102193333B1 true KR102193333B1 (en) 2020-12-21

Family

ID=71407723

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180162122A KR102193333B1 (en) 2018-12-14 2018-12-14 Apparatus and method for upscaling resolution

Country Status (1)

Country Link
KR (1) KR102193333B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006203717A (en) 2005-01-24 2006-08-03 Seiko Epson Corp Formation of high resolution image using a plurality of low resolution images

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4375080B2 (en) * 2004-03-29 2009-12-02 ソニー株式会社 Image processing apparatus and method, recording medium, and program
CN111741312B (en) * 2014-10-31 2024-03-19 三星电子株式会社 Method and apparatus for encoding/decoding motion vector

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006203717A (en) 2005-01-24 2006-08-03 Seiko Epson Corp Formation of high resolution image using a plurality of low resolution images

Also Published As

Publication number Publication date
KR20200073680A (en) 2020-06-24

Similar Documents

Publication Publication Date Title
JP6563609B2 (en) Efficient canvas view generation from intermediate views
US9600859B2 (en) Image processing device, image processing method, and information processing device
EP3660781B1 (en) Image stitching method and device, and storage medium
US7742657B2 (en) Method for synthesizing intermediate image using mesh based on multi-view square camera structure and device using the same and computer-readable medium having thereon program performing function embodying the same
JP2019510311A (en) Method and computer program product for calibrating a stereo imaging system using a planar mirror
TW200922323A (en) Image processing device and method performing motion compensation using motion estimation
US8717353B2 (en) Image processing apparatus and method
JP4928476B2 (en) Stereoscopic image generating apparatus, method thereof and program thereof
CN101491108A (en) Apparatus, method and computer program product for three-dimensional image processing
US9158994B2 (en) Apparatus and method for real-time capable disparity estimation for virtual view rendering suitable for multi-threaded execution
JP2023512272A (en) Image processing method and apparatus
TW201401220A (en) Image processing apparatus, information processing apparatus, and image processing method
TWI764506B (en) Parallax correction method and device, computer-readable storage medium
CN111402404B (en) Panorama complementing method and device, computer readable storage medium and electronic equipment
JP6581359B2 (en) Information processing apparatus, control method thereof, program, storage medium, and video camera
EP4050553A1 (en) Method and device for restoring image obtained from array camera
US9563937B2 (en) High-resolution image generation apparatus, high-resolution image generation method, and high-resolution image generation program
KR102193333B1 (en) Apparatus and method for upscaling resolution
WO2020092051A1 (en) Rolling shutter rectification in images/videos using convolutional neural networks with applications to sfm/slam with rolling shutter images/videos
US20190208109A1 (en) Image processing apparatus, image processing method, and program
US20160253780A1 (en) Image processing apparatus, image processing method, and storage medium
JP2023157856A (en) Method and system for generating depth map
JP5310890B2 (en) Image generating apparatus, image generating method, and program
US20220028039A1 (en) Image restoration method and device
KR102485449B1 (en) Method and apparatus for upscaling point cloud image

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant