KR101568073B1 - 비집약성 초고해상도에 따른 재구성 방법 및 장치 - Google Patents

비집약성 초고해상도에 따른 재구성 방법 및 장치 Download PDF

Info

Publication number
KR101568073B1
KR101568073B1 KR1020137034526A KR20137034526A KR101568073B1 KR 101568073 B1 KR101568073 B1 KR 101568073B1 KR 1020137034526 A KR1020137034526 A KR 1020137034526A KR 20137034526 A KR20137034526 A KR 20137034526A KR 101568073 B1 KR101568073 B1 KR 101568073B1
Authority
KR
South Korea
Prior art keywords
macroblock
frame image
pixel block
current
image
Prior art date
Application number
KR1020137034526A
Other languages
English (en)
Other versions
KR20140030272A (ko
Inventor
지아잉 리우
유에 주오
지에 렌
종밍 구오
Original Assignee
페킹 유니버시티
피킹 유니버시티 파운더 그룹 컴퍼니, 리미티드
베이징 파운더 일렉트로닉스 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 페킹 유니버시티, 피킹 유니버시티 파운더 그룹 컴퍼니, 리미티드, 베이징 파운더 일렉트로닉스 컴퍼니 리미티드 filed Critical 페킹 유니버시티
Publication of KR20140030272A publication Critical patent/KR20140030272A/ko
Application granted granted Critical
Publication of KR101568073B1 publication Critical patent/KR101568073B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 디지털 이미지 향상 기술분야에 관한 것으로, 상세하게는 비집약성 초고해상도에 따른 재구성 방법 및 장치에 관한 것으로, 기존의 기술에 의한 비집약성 초고해상도에 따른 재구성이 진행된 이미지의 선명도가 상대적으로 낮은 문제를 해결하고자 한다. 본 발명의 실시예에 따른 방법은, 기타 각 프레임 이미지에서의 현재 매크로 블록의 검색창 위치를 확정하는 단계; 각 프레임 이미지에서 현재 픽셀 블록에 대응되는 픽셀 포인트가 위치한 매크로 블록의 검색창 위치에 의하여, 각 프레임 이미지에서의 현재 픽셀 블록의 검색창을 확정하며 검색창에 위치한 각 픽셀 블록과 현재 픽셀 블록의 유사도 값을 각각 확정하는 단계; 및 각 픽셀 블록의 유사도 값에 의하여, 최적화 된 각 픽셀 블록의 중심 픽셀값을 각각 확정하는 단계를 포함한다. 본 발명의 실시예에 의하면, 비집약성 초고해상도에 따른 재구성이 진행된 후의 이미지의 선명도를 향상시킬 수 있다.

Description

비집약성 초고해상도에 따른 재구성 방법 및 장치{NONLOCALITY-BASED SUPER-RESOLUTION RECONSTRUCTION METHOD AND DEVICE}
본 발명은 디지털 이미지 개선기술에 관한 것으로, 상세하게는 비집약성 초고해상도에 따른 재구성 방법 및 장치에 관한 것이다.
다중 프레임중의 초고해상도에 따른 재구성은 일련의 저해상도 이미지를 하나의 고해상도 이미지로 융합하는 것을 목적으로 하고 있다. 서브 픽셀의 오프셋이 존재함으로 인하여 저해상도 이미지간에 일부의 보완정보가 포함되어 있다. 서브 픽셀들 사이의 오프셋을 알고 있을 경우, 이러한 저해상도 이미지를 융합하고 앨리어싱을 제거하여 보다 높은 해상도의 이미지를 형성할 수 있다.
기존의 다중 프레임 융합 알고리즘에 있어서, 각 저해상도 이미지간의 오프셋을 알아야 할 필요가 있다. 따라서, 기존의 다중 프레임 융합에 있어서, 움직임에 대한 정확한 추정은 결정적인 역할을 하고 있으며, 움직임에 대한 추정에 오차가 있을 경우 심각한 일그러짐이 나타나게 된다. 이러한 움직임에 대한 추정을 피면하기 위하여, 움직임에 대한 추정이 불필요한 초고해상도 방법이 나타나게 되었다. 이러한 알고리즘은 블록들 사이의 유사성을 측정하고 가중치를 가하여 센터 픽셀의 값을 산출한다. 이러한 알고리즘은 등속운동만 고려하였다. 그러나 자연적인 영상에는 복잡한 움직임들이 포함되어 있고, 일 프레임내에서 일부 무늬는 심지어 회전마저 진행한다. 따라서, 비집약성 알고리즘이 찾아 낼수 있는 유사한 블록의 양이 저하되었다. 비집약성 초고해상도 재구성 또는 비집약성 잡음 제거를 기반으로, 자아적응 변수의 선택 및 변하지 않는 유사성 계수에 따른 두가지 유형의 개선방법이 제기되었다.
자아적응 변수의 선택은 블록의 크기 및 검색창의 크기와 비집약성 방법의 성능간의 관계에 대해 논의를 진행하여 자아적응의 방식으로 이러한 변수들을 선택하였다. 그러나 이러한 알고리즘의 창이동의 방침은 픽셀을 기반으로 진행되고 쉽게 국부 최적해(locally optimal solution)의 영향을 받게 되므로 재구성된 이미지의 선명도를 저하 시킨다.
상기한 바와 같이, 현재 비집약성 초고해상도에 따른 재구성이 진행된 이미지의 선명도는 상대적으로 낮다.
본 발명의 실시예에 있어서, 기존의 기술에 의한 비집약성 초고해상도에 따른 재구성이 진행된 이미지의 선명도가 상대적으로 낮은 문제를 해결할 수 있도록 비집약성 초고해상도에 따른 재구성 방법 및 장치를 제공하고자 한다.
본 발명의 실시예에 따른 비집약성 초고해상도에 따른 재구성 방법은재 구성을 진행하여야 할 각 프레임 이미지에 대하여 보간 처리를 진행하고 각 프레임 이미지를 크기가 같은 다수의 매크로 블록으로 분할하는 단계; 각 프레임 이미지에 위치한 각 매크로 블록에 대하여, 기타 각 프레임 이미지에서의 현재 매크로 블록의 검색창 위치를 확정하는 절차를 진행하는 단계; 각 프레임 이미지에 위치한 각 픽셀 포인트를 원심으로, 설정된 거리를 반경으로 하여 각 픽셀 포인트에 대응되는 픽셀 블록을 확정하는 단계; 각 프레임 이미지에 위치한 각 매크로 블록에 대하여, 각 프레임 이미지에서 현재 픽셀 블록에 대응되는 픽셀 포인트가 위치한 매크로 블록의 검색창 위치에 의하여 각 프레임 이미지에서의 현재 픽셀 블록의 검색창을 확정하며, 검색창에 위치한 각 픽셀 블록과 현재 픽셀 블록의 유사도 값을 각각 확정하는 절차를 진행하는 단계; 및 각 픽셀 블록의 유사도 값에 의하여, 최적화 된 각 픽셀 블록의 중심 픽셀값을 각각 확정하는 단계를 포함한다.
기타 각 프레임 이미지에서의 현재 매크로 블록의 검색창 위치를 확정하는 단계는, 현재 매크로 블록으로부터 기타 각 프레임 이미지까지의 운동벡터를 각각 확정하는 단계; 일 프레임 이미지에 대하여, 확정된 현재 매크로 블록으로부터 해당 프레임 이미지까지의 운동벡터를 해당 프레임 이미지에서의 현재 매크로 블록의 검색창의 운동벡터로 확정하고, 검색창 위치를 재지정하는 단계를 포함하는 것이 바람직하다.
검색창에 위치한 각 픽셀 블록과 현재 픽셀 블록의 유사도 값을 확정하는 단계는, 검색창에 위치한 각 픽셀 블록과 현재 픽셀 블록의 국부적인 구조 설명인자 및 국부적인 밝기 설명인자를 각각 확정하는 단계; 확정된 국부적인 구조 설명인자 및 국부적인 밝기 설명인자에 의하여 정규화한 유사도의 총값을 확정하는 단계; 확정된 국부적인 구조 설명인자, 국부적인 밝기 설명인자 및 정규화한 유사도의 총값에 의하여 검색창에 위치한 각 픽셀 블록과 현재 픽셀 블록의 유사도 값을 각각 확정하는 단계를 포함하는 것이 바람직하다.
최적화 된 현재 픽셀 블록의 중심 픽셀값을 확정하는 단계는, 하나의 픽셀 블록에 대하여, 각 픽셀 블록과 현재 픽셀 블록의 유사도 값을 각각 가중치로 하고, 최적화 전의 각 픽셀 블록의 중심 픽셀값에 가중한 후 평균을 취하여 최적화 된 현재 픽셀 블록의 중심 픽셀값을 획득하는 단계를 포함하는 것이 바람직하다.
본 발명의 실시예에 따른 비집약성 초고해상도에 따른 재구성 장치는 재구성을 진행하여야 할 각 프레임 이미지에 대하여 보간 처리를 진행하고 각 프레임 이미지를 크기가 같은 다수의 매크로 블록으로 분할하는 제1 처리 모듈; 각 프레임 이미지에 위치한 각 매크로 블록에 대하여, 기타 각 프레임 이미지에서의 현재 매크로 블록의 검색창 위치를 확정하는 위치 확정 모듈; 각 프레임 이미지에 위치한 각 픽셀 포인트를 원심으로, 설정된 거리를 반경으로 하여 각 픽셀 포인트에 대응되는 픽셀 블록을 확정하는 제2 처리 모듈; 각 프레임 이미지에 위치한 각 매크로 블록에 대하여, 각 프레임 이미지에서 현재 픽셀 블록에 대응되는 픽셀 포인트가 위치한 매크로 블록의 검색창 위치에 의하여 각 프레임 이미지에서의 현재 픽셀 블록의 검색창을 확정하며, 검색창에 위치한 각 픽셀 블록과 현재 픽셀 블록의 유사도 값을 각각 확정하는 유사도 확정 모듈; 각 픽셀 블록의 유사도 값에 의하여, 최적화 된 각 픽셀 블록의 중심 픽셀값을 각각 확정하는 픽셀값 확정 모듈을 포함한다.
상기 위치 확정 모듈은 현재 매크로 블록으로부터 기타 각 프레임 이미지까지의 운동벡터를 확정하고, 일 프레임 이미지에 대하여, 확정된 현재 매크로 블록으로부터 해당 프레임 이미지까지의 운동벡터를 해당 프레임 이미지에서의 현재 매크로 블록의 검색창의 운동벡터로 확정하고, 검색창 위치를 재지정하는것 이 바람직하다.
상기 유사도 확정 모듈은 검색창에 위치한 각 픽셀 블록과 현재 픽셀 블록의 국부적인 구조 설명인자 및 국부적인 밝기 설명인자를 각각 확정하고, 확정된 국부적인 구조 설명인자 및 국부적인 밝기 설명인자에 의하여 정규화한 유사도의 총값을 확정하고, 확정된 국부적인 구조 설명인자, 국부적인 밝기 설명인자 및 정규화한 유사도의 총값에 의하여 검색창에 위치한 각 픽셀 블록과 현재 픽셀 블록의 유사도 값을 각각 확정하는 것이 바람직하다.
상기 픽셀값 확정 모듈은 하나의 픽셀 블록에 대하여, 각 픽셀 블록과 현재 픽셀 블록의 유사도 값을 각각 가중치로 하고, 최적화 전의 각 픽셀 블록의 중심 픽셀값에 가중한 후 평균을 취하여 최적화 된 현재 픽셀 블록의 중심 픽셀값을 획득하는 것이 바람직하다.
각 프레임 이미지에서 현재 픽셀 블록에 대응되는 픽셀 포인트가 위치한 매크로 블록의 검색창 위치에 의하여, 각 프레임 이미지에서의 현재 픽셀 블록의 검색창을 확정하고 검색창에 위치한 각 픽셀 블록과 현재 픽셀 블록의 유사도값을 각각 확정하고, 각 픽셀 블록의 유사도 값에 의하여, 최적화 된 각 픽셀 블록의 중심 픽셀값을 각각 확정함으로써 비집약성 초고해상도에 따른 재구성이 진행된 이미지의 선명도를 향상 시켰고, 비집약성초고해상도 알고리즘의 블록 효응을 진일보로 제거하였다.
도1은 본 발명의 실시예의 비집약성 초고해상도에 따른 재구성 방법을 나타내는 흐름도이다.
도2는 본 발명의 실시예의 비집약성 초고해상도에 따른 재구성 장치를 나타내는 구성도이다.
본 발명의 실시예에 있어서, 기타 각 프레임 이미지에서의 현재 매크로 블록의 검색창 위치를 확정하고; 각 프레임 이미지에 위치한 각 픽셀 포인트를 원심으로， 설정된 거리를 반경으로 하여 각 픽셀 포인트에 대응되는 픽셀 블록을 확정하고; 각 프레임 이미지에서 현재 픽셀 블록에 대응되는 픽셀 포인트가 위치한 매크로 블록의 검색창 위치에 의하여, 각 프레임 이미지에서의 현재 픽셀 블록의 검색창을 확정하며 검색창에 위치한 각 픽셀 블록과 현재 픽셀 블록의 유사도 값을 각각 확정하고; 각 픽셀 블록의 유사도 값에 의하여, 최적화 된 각 픽셀 블록의 중심 픽셀값을 각각 확정한다. 각 프레임 이미지에서 현재 픽셀 블록에 대응되는 픽셀 포인트가 위치한 매크로 블록의 검색창 위치에 의하여, 각 프레임 이미지에서의 현재 픽셀 블록의 검색창을 확정하며 검색창에 위치한 각 픽셀 블록과 현재 픽셀 블록의 유사도 값을 각각 확정하고, 각 픽셀 블록의 유사도 값에 의하여, 최적화 된 각 픽셀 블록의 중심 픽셀값을 각각 확정함으로써 비집약성 초고해상도에 따른 재구성이 진행된 이미지의 선명도를 향상 시켰다.
아래에, 첨부한 도면을 결합하여 본 발명의 실시예에 대하여 더 구체적인 설명을 진행하기로 한다.
도1에 도시된 바와 같이, 본 발명의 실시예의 비집약성 초고해상도에 따른 재구성 방법에 있어서,
초고해상도에 따른 재구성 방법은 재구성을 진행하여야 할 각 프레임 이미지에 대하여 보간 처리를 진행하고 각 프레임 이미지를 크기가 같은 다수의 매크로 블록으로 분할하는 단계 101;
각 프레임 이미지에 위치한 각 매크로 블록에 대하여, 기타 각 프레임 이미지에서 현재 매크로 블록의 검색창 위치를 확정하는 절차를 진행하는 단계 102;
각 프레임 이미지에 위치한 각 픽셀 포인트를 원심으로, 설정된 거리를 반경으로 하여 각 픽셀 포인트에 대응되는 픽셀 블록을 확정하는 단계 103;
각 프레임 이미지에 위치한 각 매크로 블록에 대하여, 각 프레임 이미지에서 현재 픽셀 블록에 대응되는 픽셀 포인트가 위치한 매크로 블록의 검색창 위치에 의하여 각 프레임 이미지에서의 현재 픽셀 블록의 검색창을 확정하며 검색창에 위치한 각 픽셀 블록과 현재 픽셀 블록의 유사도 값을 각각 확정하는 절차를 진행하는 단계 104;
각 픽셀 블록의 유사도 값에 의하여, 최적화 된 각 픽셀 블록의 중심 픽셀값을 각각 확정하는 단계 105를 포함한다.
단계 101에 있어서, 먼저 공간 보간법을 이용하여 재구성을 진행하여야 할 각 프레임 저해상도 이미지를 모두 필요한 고해상도로 보간하는 것이 바람직하다. 예를 들면, 재구성을 진행하여야 할 저해상도 이미지가 640×320이고 필요한 고해상도가 800×600일 경우 640×320의 이미지를 800×600로 보간한다.
각 프레임 이미지를 크기가 같은 다수의 매크로 블록, 예를 들면 16×16개의 매크로 블록으로 분할한다. 수요 또는 경험에 따라 구체적으로 몇개의 블록으로 분할 할 것인지를 설정할 수 있다.
다음, 기타 각 프레임 이미지에서의 각 매크로 블록의 검색창 위치를 확정하여야 한다.
본 발명의 실예에 있어서, 각 매크로 블록의 처리방식은 모두 동일하다. 아래에, 일 매크로 블록에 대하여 예시적으로 설명하되, 기타 매크로 블록과 구분되도록 처리중인 매크로 블록을 현재 매크로 블록이라 지칭한다.
단계 102에 있어서, 매크로 블록을 기반으로 진행되는 검색을 이용하여 기타 이미지에서의 현재 매크로 블록의 검색창 위치를 재지정하는 것이 바람직하다.
구체적으로, 현재 매크로 블록으로부터 기타 각 프레임 이미지까지의 운동벡터를 각각 확정하고;
일 프레임 이미지에 대하여, 확정된 현재 매크로 블록으로부터 해당 프레임 이미지까지의 운동벡터를 해당 프레임 이미지에서의 현재 매크로 블록의 검색창 위치로 확정하고, 검색창 위치를 재지정한다.
본 발명의 실예에 있어서, 공식 1 또는 공식 2에 의하여 현재 매크로 블록으로부터 기타 각 프레임 이미지까지의 운동벡터를 확정할 수 있다.
Figure 112013118976077-pct00001
여기서, 현재 매크로 블록은 제m 프레임 이미지에 위치하고, A1은 현재 매크로 블록으로부터 제n 프레임 이미지까지의 운동벡터이고, Ai는 제i-1 프레임 이미지에서 현재 매크로 블록에 대응되는 매크로 블록으로부터 제i 프레임 이미지까지의 운동벡터이고, A2는 현재 매크로 블록으로부터 제x 프레임 이미지까지의 운동벡터이며, Aj는 제j+1 프레임 이미지에서 현재 매크로 블록에 대응되는 매크로 블록으로부터 제j 프레임 이미지까지의 운동벡터이다.
공식 1은 현재 매크로 블록으로부터 해당 프레임 이미지후의 각 프레임 이미지까지의 운동벡터를 확정하고, 공식 2는 현재 매크로 블록으로부터 해당 프레임 이미지전의 각 프레임 이미지까지의 운동벡터를 확정한다.
단계 102에 있어서, 아래의 단계에 의하여 Ai를 확정하는 것이 바람직하다.
제i-1 프레임 이미지에서 현재 매크로 블록에 대응되는 매크로 블록의 초기 예측 벡터를 확정하고, 확정된 초기 예측 벡터에 따라 자아적응 크로스 모드로 검색을 진행하여 Ai를 획득한다.
단계 102에 있어서, 제i-1 프레임 이미지가 현재 매크로 블록이 위치한 이미지이고 또한 현재 매크로 블록이 이미지의 맨 왼쪽에 위치할 경우, 상응한 매크로 블록의 초기 예측 벡터는 0벡터이고,
제i-1 프레임 이미지가 현재 매크로 블록이 위치한 이미지이고 또한 현재 매크로 블록이 이미지의 맨 왼쪽에 위치하지 않을 경우, 왼쪽에 인접한 매크로 블록의 운동벡터를 상응한 매크로 블록의 초기 예측 벡터로 하고,
제i-1 프레임 이미지가 현재 매크로 블록이 위치한 이미지가 아닐 경우, 이전 프레임 이미지에 위치한 매크로 블록의 운동벡터를 상응한 매크로 블록의 초기 예측 벡터로 하는 것이 바람직하다.
단계 102에 있어서, 아래의 단계에 의하여 Aj를 확정하는 것이 바람직하다.
제j+1 프레임 이미지에서 현재 매크로 블록에 대응되는 매크로 블록의 초기 예측 벡터를 확정하고, 확정된 초기 예측 벡터에 따라 자아적응 크로스 모드로 검색을 진행하여 Aj를 획득한다.
단계 102에 있어서, 제j+1 프레임 이미지가 현재 매크로 블록이 위치한 이미지이고 또한 현재 매크로 블록이 이미지의 맨 왼쪽에 위치할 경우, 상응한 매크로 블록의 초기 예측 벡터는 0벡터이고,
제j+1 프레임 이미지가 현재 매크로 블록이 위치한 이미지이고 또한 현재 매크로 블록이 이미지의 맨 왼쪽에 위치하지 않을 경우, 왼쪽에 인접한 매크로 블록의 운동벡터를 상응한 매크로 블록의 초기 예측 벡터로 하고,
제j+1 프레임 이미지가 현재 매크로 블록이 위치한 이미지가 아닐 경우, 다음 프레임 이미지에 위치한 매크로 블록의 운동벡터를 상응한 매크로 블록의 초기 예측 벡터로 하는 것이 바람직하다.
아래, t0 프레임의 현재 매크로 블록(x, y)으로부터 제t 프레임(t가 t0보다 크다고 가정할 경우)의 운동벡터의 산출을 예로 들어 본 발명의 운동벡터의 산출 방법에 대하여 설명을 진행한다.
(dx, dy)를 초기 예측 벡터라 가정할 때, 현재 매크로 블록(x, y)이 맨 왼쪽 일렬의 매크로 블록일 경우 (dx, dy)의 초기값은 0벡터이고; 현재 매크로 블록(x, y)이 맨 왼쪽 일렬의 매크로 블록이 아닐 경우 현재 매크로 블록(x, y)의 왼쪽에 인접한 인접한 매크로 블록(현재 매크로 블록과 동일한 행에 위치)의 운동벡터를 (dx, dy)의 초기값으로 한다.
(dx, dy)를 초기 예측 벡터으로 하고, 제t0 프레임의 현재 매크로 블록(x, y)에 대하여 자아적응 크로스 모드로 검색을 진행하여 현재 매크로 블록(x, y)으로부터 제 t0+1 프레임까지의 운동벡터를 획득하고; 다음 제t0+1 프레임에서 현재 매크로 블록(x, y)에 대응되는 매크로 블록A(즉, 제t0+1 프레임 이미지에 위치하고 또한 현재 매크로 블록의 위치에 현재 매크로 블록으로부터 제t0+1 프레임 이미지까지의 운동벡터를 가한 후의 위치에 위치한 매크로 블록)을 검색하고, 현재 매크로 블록의 운동벡터를 (dx, dy)에 부여하여 매크로 블록A의 초기 예측 벡터로 하고, 계속하여 자아적응 크로스 모드로 검색을 진행하여 매크로 블록A로부터 제t0+2 프레임까지의 운동벡터를 획득하고; 다음 제t0+1 프레임에서 매크로 블록A에 대응되는 매크로 블록B(즉, 제t0+2 프레임 이미지에 위치하고 또한 매크로 블록A의 위치에 매크로 블록A로부터 제t0+2 프레임 이미지까지의 운동벡터를 가한 후의 위치에 위치한 매크로 블록)을 검색하고, 매크로 블록A의 운동벡터를 (dx, dy)에 부여하여 매크로 블록B의 초기 예측 벡터로 하고, 계속하여 자아적응 크로스 모드로 검색을 진행하여 매크로 블록B로부터 제0+3 프레임까지의 운동벡터를 획득하며; 이와같은 방식으로 제t-1 프레임에서 현재 매크로 블록(x, y)에 대응되는 매크로 블록으로부터 제t 프레임의 운동벡터를 산출할 때까지 진행하고; 마지막으로 모든 운동벡터를 서로 가하여 제t 0프레임의 현재 매크로 블록(x, y)으로부터 제t 프레임까지의 운동벡터를 획득하게 된다. 상기와 같은 내용은 공식 1에 대한 설명이다.
본 발명의 실시예에 있어서, t가 t0보다 작은 방식은 t가 t0보다 큰 방식과 유사하므로 반복된 서술은 생략하기로 한다.
단계 103에 있어서, 재구성을 진행할 프레임의 각 픽셀에 대하여, 픽셀을 중심으로 설정된 거리를 반경으로 하여 다수의 픽셀 블록을 형성하되, 각 픽셀 블록은 오직 하나의 픽셀 포인트에 대응되고 각 픽셀 블록의 원심은 바로 해당 픽셀 블록에 대응되는 픽셀 포인트인 것이 바람직하다.
각 픽셀 포인트에 대응되는 픽셀 블록을 확정한 후, 각 프레임 이미지에 위치한 매크로 블록에 대하여 모두 회전 불변성 도량을 이용하여 각 이미지 검색창에 위치한 각 픽셀 블록과 기타 각 픽셀 블록의 유사도를 확정할 수 있다.
수요 또는 경험에 따라 검색창의 크기 및 반경을 설정할 수 있다. 예를 들면, 반경은 6픽셀일 수 있고 검색창은 (27×27)픽셀일 수 있다.
본 발명의 실시예에 있어서, 각 픽셀 블록에 대하여 국부적인 구조와 국부적인 밝기를 이용하여 설명하고 각 픽셀 블록과 기타 각 픽셀 블록의 유사도는 국부적인 구조와 국부적인 밝기를 이용하여 표시하는 것이 바람직하다.
본 발명의 실예에 있어서, 각 픽셀 블록의 처리 방식은 모두 동일하다. 아래에, 일 매크로 블록에 대하여 예시적으로 설명하되, 기타 매크로 블록과 구분되도록 처리중인 매크로 블록을 현재 매크로 블록이라 지칭한다.
구체적으로, 단계 104에 있어서, 현재 픽셀 블록과 검색창에 위치한 각 픽셀 블록의 국부적인 구조 설명인자 및 국부적인 밝기 설명인자를 각각 확정하고,
확정된 국부적인 구조 설명인자 및 국부적인 밝기 설명인자에 의하여 정규화한 유사도의 총값을 확정하고,
확정된 국부적인 구조 설명인자, 국부적인 밝기 설명인자 및 정규화한 유사도의 총값에 의하여 검색창에 위치한 각 픽셀 블록과 현재 픽셀 블록의 유사도 값을 각각 확정한다.
여기서, 픽셀 블록이 위치한 매크로 블록으로부터 각 프레임까지의 운동벡터를 검색창의 운동벡터로 하여 검색창 위치를 재지정할 경우, 검색창에 위치한 각 픽셀 블록을 확정할 수 있다.
본 발명의 실시예에 있어서, 국부적인 구조는 SIFT(Scale-invariant feature transform) 연산자를 이용하여 설명할 수 있고,
국부적인 밝기는 아래와 같은 공식 3을 이용하여 확정할 수 있다.
Figure 112013118976077-pct00002
여기서, Y(i, j)는 (i, j)위치의 픽셀값이고; It(k, l, r)는 제t +1 개의 분량을 표시하는 국부적인 밝기 값이되, 여기서, 해당 분량은 중심 픽셀(k, l)과의 맨해턴 거리가 t인 모든 픽셀 밝기의 평균값을 표시하고; mean는 평균값을 취하고; s.t.는 "충족"을 의미하며; i, j, k, l은 상기한 공식에서와 동일한 의미를 취한다.
단계 104에 있어서, 현재 픽셀 블록과 검색창에 위치한 각 픽셀 블록의 유사도 값은 구조 거리와 밝기 거리를 변수로 하는 가우스 함수로 표시할 수 있다.
따라서, 단계 104에 있어서, 아래와 같은 공식 4에 의하여 정규화한 유사도의 총값을 확정한다.
Figure 112013118976077-pct00003
따라서, 단계 104에 있어서, 아래와 같은 공식 5에 의하여 유사도 값을 확정한다.
Figure 112013118976077-pct00004
여기서, C(k, l)은 정규화한 유사도의 총값이고, W(k, l, i, j)는 (k, l)픽셀 포인트에 대응되는 픽셀 블록과 (i, j)픽셀 포인트에 대응되는 픽셀 블록의 유사도 값이고, k는 현재 픽셀 블록에 대응되는 픽셀 포인트의 횡좌표이고, l는 현재 픽셀 블록에 대응되는 픽셀 포인트의 종좌표이고, i는 하나의 기타 픽셀 블록에 대응되는 픽셀 포인트의 횡좌표이고, j는 하나의 기타 픽셀 블록에 대응되는 픽셀 포인트의 종좌표이고, r는 반경이며, P(i, j, r)는 기타 픽셀 블록의 국부적인 구조 설명인자이고, P(k, l, r)는 현재 픽셀 블록의 국부적인 구조 설명인자이고, I(i, j, r)는 기타 픽셀 블록의 국부적인 밝기 설명인자이며, I(k, l, r)는 현재 픽셀 블록의 국부적인 밝기 설명인자이며, σ1은 국부적인 구조 설명인자에 대응되는 가중치이고, σ2는 국부적인 밝기 설명인자에 대응되는 가중치이며, N(k, l)는 (k, l)의 인접한 도메인이되, 여기서 해당 인접한 도메인은 바로 각 프레임에서의 (k, l)의 검색창의 총칭이다.
유사도의 계산에서 자아적응의 방식으로 국부적인 구조와 밝기의 가중을 균형하기 위하여, 바람직한 처리방식으로는 σ2를 고정하고, 현재 픽셀 블록과 검색창에 위치한 각 픽셀 블록의 가장 가까운 거리에 따라 σ1를 변화하는 것이다.
구체적으로, 국부적인 구조 설명인자에 대응하는 가중치는 아래와 같은 공식 6에 의하여 확정한다.
Figure 112013118976077-pct00005
여기서 σ0은 초기값이며 경험에 따라 설정할 수 있고, L는 구간적 함수의 길이이다.
단계 105에 있어서, 하나의 픽셀 블록에 대하여, 각 픽셀 블록과 현재 픽셀 블록의 유사도 값을 각각 가중치로 하고, 최적화 전의 각 픽셀 블록의 중심 픽셀값에 가중한후 평균하여 최적화 된 현재 픽셀 블록의 중심 픽셀값을 획득하는 것이 바람직하다.
최적화 된 각 픽셀 블록의 중심 픽셀값을 확정함으로써 비집약성 초고해상도에 따른 재구성 방안이 구현되었다.
본 발명의 실시예에 있어서, 검색창 위치를 재지정할 경우, 시간과 공간에서 운동의 연속성을 교려함으로써 매크로 블록을 기반으로 진행되는 검색이 국부 최적에 빠지게 되는 리스크를 효과적으로 감소하였다. 블록의 유사도를 도량하는 경우 SIFT 연산자를 이용하여 국부적인 구조를 설명하고, 자아적응의 변수 선택을 이용하여 유사도 계산에서의 국부적인 구조와 밝기의 가중을 균형함으로써 유사도 계산의 정확성을 진일보 향상시켰다.
실험 비교에 의하면, 본 발명의 실시예는 바이큐빅 보간(Bicubic interpolation) 및 비집약성초고해상도 알고리즘과 비교시, 더 많은 세부 정보를 복구하였고 비집약성초고해상도 알고리즘의 블록 효응을 제거하였음을 알수 있다. 동일한 이미지가 동일한 해상도로 확장된 후의 PSNR대조에 있어서, 본 발명의 실시예는28.61dB이고, 바이큐빅 값은 28.45dB이며, 비집약성초고해상도 알고리즘은 27.81dB이다. 상기의 결과가 보여주다 싶이, 발명의 실시예에 따른 재구성 결과가 원 이미지에 더욱 접근한다.
동일한 발명 구상을 기반으로, 본 발명의 실시예는 비집약성 초고해상도에 따른 재구성 장치를 제공하고자 한다. 해당 장치가 문제를 해결하는 원리가 본 발명의 실시예의 비집약성 초고해상도에 따른 재구성 방법과 유사하므로 해당 장치의 실시 방식은 방법의 실시 방식을 참조할 수 있고 반복된 서술은 생략하기로 한다.
도2에 도시된 바와 같이, 본 발명의 실시예에 있어서, 비집약성 초고해상도에 따른 재구성 장치는 제1 처리 모듈(20), 위치 확정 모듈(21), 제2 처리 모듈(22), 유사도 확정 모듈(23) 및 픽셀값 확정 모듈(24)을 포함한다.
제1 처리 모듈(20)은 재구성을 진행하여야 할 각 프레임 이미지에 대하여 보간 처리를 진행하고 각 프레임 이미지를 크기가 같은 다수의 매크로 블록으로 분할한다.
위치 확정 모듈(21)은 각 프레임 이미지에 위치한 각 매크로 블록에 대하여, 기타 각 프레임 이미지에서의 현재 매크로 블록의 검색창 위치를 확정하는 절차를 진행한다.
제2 처리 모듈(22)은 각 프레임 이미지에 위치한 각 픽셀 포인트를 원심으로, 설정된 거리를 반경으로 하여 각 픽셀 포인트에 대응되는 픽셀 블록을 확정한다.
유사도 확정 모듈(23)은 각 프레임 이미지에 위치한 각 매크로 블록에 대하여, 각 프레임 이미지에서 현재 픽셀 블록에 대응되는 픽셀 포인트가 위치한 매크로 블록의 검색창 위치에 의하여 각 프레임 이미지에서의 현재 픽셀 블록의 검색창을 확정하며 검색창에 위치한 각 픽셀 블록과 현재 픽셀 블록의 유사도 값을 각각 확정하는 절차를 진행한다.
픽셀값 확정 모듈(24)은 각 픽셀 블록의 유사도 값에 의하여, 최적화 된 각 픽셀 블록의 중심 픽셀값을 각각 확정한다.
위치 확정 모듈(21)는 현재 매크로 블록으로부터 기타 각 프레임 이미지까지의 운동벡터를 각각 확정하고, 일 프레임 이미지에 대하여, 확정된 현재 매크로 블록으로부터 해당 프레임 이미지까지의 운동벡터를 해당 프레임 이미지에서의 현재 매크로 블록의 검색창 위치로 확정하고, 검색창 위치를 재지정하는 것이 바람직하다.
위치 확정 모듈(21)은 공식 1 또는 공식 2에 의하여 현재 매크로 블록으로부터 기타 각 프레임 이미지까지의 운동벡터를 확정하는 것이 바람직하다.
위치 확정 모듈(21)은 제i-1 프레임 이미지에서 현재 매크로 블록에 대응되는 매크로 블록의 초기 예측 벡터를 확정하고, 확정된 초기 예측 벡터에 따라 자아적응 크로스 모드로 검색을 진행하여 Ai를 획득하고; 제j+1 프레임 이미지에서 현재 매크로 블록에 대응되는 매크로 블록의 초기 예측 벡터를 확정하고, 확정된 초기 예측 벡터에 따라 자아적응 크로스 모드로 검색을 진행하여 Aj를 획득하는 것이 바람직하다.
제i-1 프레임 이미지는 현재 매크로 블록이 위치한 이미지이고 또한 현재 매크로 블록이 이미지의 맨 왼쪽에 위치할 경우, 위치 확정 모듈(21)은 매크로 블록의 초기 예측 벡터를 0벡터로 확정하고,
제i-1 프레임 이미지가 현재 매크로 블록이 위치한 이미지이고 또한 현재 매크로 블록이 이미지의 맨 왼쪽에 위치하지 않을 경우, 위치 확정 모듈(21)은 왼쪽에 인접한 매크로 블록의 운동벡터를 매크로 블록의 초기 예측 벡터로 확정하고,
제i-1 프레임 이미지가 현재 매크로 블록이 위치한 이미지가 아닐 경우, 위치 확정 모듈(21)은 이전 프레임 이미지에 위치한 매크로 블록의 운동벡터를 매크로 블록의 초기 예측 벡터로 확정하고,
제j+1 프레임 이미지가 현재 매크로 블록이 위치한 이미지이고 또한 현재 매크로 블록이 이미지의 맨 왼쪽에 위치할 경우, 위치 확정 모듈(21)은 매크로 블록의 초기 예측 벡터를 0벡터로 확정하고,
제j+1 프레임 이미지가 현재 매크로 블록이 위치한 이미지이고 또한 현재 매크로 블록이 이미지의 맨 왼쪽에 위치하지 않을 경우, 위치 확정 모듈(21)은 왼쪽에 인접한 매크로 블록의 운동벡터를 매크로 블록의 초기 예측 벡터로 확정하고,
제j+1 프레임 이미지가 현재 매크로 블록이 위치한 이미지가 아닐 경우, 위치 확정 모듈(21)은 다음 프레임 이미지에 위치한 매크로 블록의 운동벡터를 상응한 매크로 블록의 초기 예측 벡터로 하는 것이 바람직하다.
유사도 확정 모듈(23)은 검색창에 위치한 각 픽셀 블록과 현재 픽셀 블록의 국부적인 구조 설명인자 및 국부적인 밝기 설명인자를 각각 확정하고, 확정된 국부적인 구조 설명인자 및 국부적인 밝기 설명인자에 의하여 정규화한 유사도의 총값을 확정하고, 확정된 국부적인 구조 설명인자, 국부적인 밝기 설명인자 및 정규화한 유사도의 총값에 의하여 검색창에 위치한 각 픽셀 블록과 현재 픽셀 블록의 유사도 값을 각각 확정하는 것이 바람직하다.
유사도 확정 모듈(23)은 공식 4에 의하여 정규화한 유사도의 총값을 확정하는 것이 바람직하다.
유사도 확정 모듈(23)은 공식 5에 의하여 유사도를 확정하는 것이 바람직하다.
유사도 확정 모듈(23)은 공식 6에 의하여 국부적인 구조 설명인자에 대응되는 가중치를 확정하는 것이 바람직하다.
픽셀값 확정 모듈(24)은 하나의 픽셀 블록에 대하여, 각 픽셀 블록과 현재 픽셀 블록의 유사도 값을 가중치로 하고, 최적화 전의 각 픽셀 블록의 중심 픽셀값에 가중한후 평균하여 최적화 된 현재 픽셀 블록의 중심 픽셀값을 획득하는 것이 바람직하다.
본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명이 방법, 시스템 또는 컴퓨터 프로그램 제품으로 제공될 수 있음을 명백할 것이다. 따라서, 본 발명은 전부 하드웨어인 실시예, 전부 소프트웨어인 실시예 또는 하드웨어와 소프트웨어를 결합한 실시예의 형식으로 이용할 수 있다. 뿐만 아니라, 본 발명은 컴퓨터에 사용 가능한 프로그램 코드를 함포한 하나 또는 다수의 저장매체(디스크 스토리지, CD-ROM, 광학 메모리등을 포함하되 이에 한정되지 않음)에 의하여 구현된 컴퓨터 프로그램 제품의 형식으로 이용할 수 있다.
본 발명의 실시예에 따른 방법, 장치(시스템) 및 컴퓨터 프로그램 제품의 흐름도 및/또는 블록도를 참조하여 본 발명에 대한 설명이 전개되었다. 흐름도의 매개 흐름 및/또는 블록도의 매개 블록과 이들의 조합은 컴퓨터 프로그램 명령어에 의하여 실시될 수 있음은 자명할 것이다. 범용 컴퓨터, 특수 컴퓨터, 내장된 프로세서 또는 기타 프로그래밍이 가능한 장치에 상기한 컴퓨터 프로그램 명령어를 제공하여 장치를 구축하고, 따라서 컴퓨터 또는 기타 프로그래밍이 가능한 장치의 프로세서에서 집행되는 명령어를 거쳐 상기한 장치를 구축하고, 또한 흐름도에서 하나 또는 복수의 흐름의 특수 기능 및/또는 블록도에서 하나 또는 복수의 블록의 특수 기능을 실시하도록 상기한 장치를 배치한다.
컴퓨터 또는 기타 프로그래밍이 가능한 장치가 특정된 방식으로 작동되도록 관리할 수 있는 상기한 컴퓨터 프로그램 명령어를 컴퓨터 판독 가능한 메모리에 저장하여, 컴퓨터 판독 가능한 메모리에 저장된 명령어는 흐름도에서 하나 또는 복수의 흐름의 특수 기능 및/또는 블록도에서 하나 또는 복수의 블록의 특수 기능을 실시하도록 배치된 커맨드 장치를 포함하는 제품을 구축한다.
상기한 컴퓨터 프로그램 명령어는 컴퓨터 또는 기타 프로그래밍이 가능한 장치에 로드될 수 있고, 따라서 흐름도에서 하나 또는 다수의 흐름의 특수 기능 및/또는 블록도에서 하나 또는 다수의 블록의 특수 기능을 실시할 수 있는 절차를 제공하기 위하여 컴퓨터 또는 기타 프로그래밍이 가능한 장치에서 일련의 작동 단계를 집행하여 컴퓨터 실시 프로세싱을 구축한다.
개시된 기타 실시예 및 해당 명세서에서 설명된 기능적 작동은 디지털 회로 또는 해당 명세서에서 개시된 구조 및 그 구조의 등가물의 컴퓨터 소프트웨어, 펌웨어 또는 하드웨어로 구현되거나 이들의 하나 또는 다수의 조합으로 구현될 수 있다. 개시된 실시예와 기타 실시예는 하나 또는 다수의 컴퓨터 프로그램 제품으로 구현될 수 있다. 즉, 컴퓨터의 판독 가능한 매체에서 프로그래밍한 컴퓨터 프로그램 명령어의 하나 또는 다수의 모듈로 구현되어 데이터 프로세서로 이의 조작을 실행하거나 제어할 수 있다. 상기 컴퓨터 판독 가능한 매체는 기계 판독 가능한 메모리 장치, 기계 판독 가능한 메모리 기판, 메모리 장치, 기계 판독에 영향을 미치는 전파 신호의 합성 물질 또는 이들의 하나 또는 다수의 조합일 수 있다. 용어 "데이터 프로세서"는 데이터 처리에 사용되는 모든 기기, 장치 및 기계를 포함한다. 예를 들면, 프로그래머블 프로세서, 컴퓨터, 다수의 프로세서 또는 컴퓨터를 포함할 수 있다. 하드웨어를 제외하고, 상기 장치는 상기한바 와 같은 컴퓨터 프로그램을 작성하기 위한 실행 환경의 코드, 예를 들면 프로세서 펌웨어, 프로토콜 스틱, 데이터베이스 관리 시스템 및 운영 시스템을 구성하는 코드 또는 이들의 하나 또는 다수의 조합을 구성하는 코드를 포함한다. 전파신호는 인공 생성신호로서, 예를 들면 생성된 전기, 빛 또는 전자기 신호일 수 있고, 적절한 수신장치에 전송될 수 있도록 신호에 대하여 코딩을 진행한다.
컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 응용 프로그램, 스크립트 또는 코드라고도 함)은 컴파일 또는 인터프리터 언어를 포함하는 임의의 유형의 언어로 프로그래밍할 수 있고, 또한 별도의 프로그램 또는 모듈, 구성요소, 서브 프로그램 또는 컴퓨터 환경에 사용할 수 있는 기타 유닛을 포함하는 임의의 형식으로 배치될 수 있다. 컴퓨터 프로그램은 파일 시스템중의 파일에 대응될 필요가 없다. 프로그램은 기타 프로그램 또는 데이터(예를 들면, 라벨 언어 파일에 저장된 하나 또는 다수의 스크립트) 파일의 일부분에 저장되거나 또는 상기한 바와 같은 프로그램의 전용의 단일 파일에 저장되거나 또는 다수의 협동 파일(예를 들면, 하나 또는 다수의 모듈, 하위 프로그램 또는 코드 부분을 저장하는 파일)에 저장될 수 있다. 컴퓨터 프로그램은 하나의 컴퓨터에 배치되거나 또는 하나의 지점에 배치되거나 또는 다수의 지점에 배치될 수 있으며 통신망을 통하여 상호 연결된 다수의 컴퓨터에서 실행될 수 있다.
해당 명세서에 설명된 처리와 논리 흐름은 하나 또는 다수의 컴퓨터 프로그램을 통하여 실행되어 입력된 데이터에 대하여 조작하고 출력을 생성하여 기능을 실행하는 하나 또는 다수의 프로그램 가능한 프로세서로 실행된다. 상기 처리와 논리의 흐름은 FPGA(필드 프로그램 가능 게이트 어레이) 및 ASIC(주문형 집적회로)와 같은 특수 기능을 구비한 로직 회로를 통하여 실행될 수도 있을 뿐만 아니라 장치도 상기 특수 기능을 구비한 로직 회로로 구현 될 수 있다.
예를 들면, 컴퓨터 프로그램의 실행에 적절한 프로세서는 범용 및 특수 용도의 마이크로 프로세서, 및 임의의 유형의 디지털 컴퓨터의 임의의 하나 또는 다수의 프로세서를 포함한다. 일반적으로, 읽기 전용 메모리 및/또는 랜덤 액세스 메모리로부터 명령어 및 데이터를 수신한다. 컴퓨터의 기본 구성요소는 명령어를 실행하기 위한 프로세서 및 명령어와 데이터를 저장하기 위한 하나 또는 다수의 메모리 장치이다. 일반적으로, 컴퓨터는 자기 디스크, 자기-광 디스크 또는 광 디스크와 같은 데이터를 저장하기 위한 하나 또는 다수의 대용량 메모리 장치를 포함하거나 또는 상기 하나 또는 다수의 대용량 메모리 장치에 연결되어 상기 메모리 장치와 데이터 발신 및/또는 수신을 진행할 수 있다. 그러나, 컴퓨터는 이러한 장치를 구비할 필요가 없다. 컴퓨터 프로그램 명령어와 데이터 저장에 적절한 컴퓨터 판독 가능한 매질은 비 휘발성 메모리, 매질 메모리 장치를 포함할 수 있다. 예를 들면 EPROM, EEPROM 및 플래시 메모리 장치(자기 디스크, 예를 들면 내부 하드 디스크 또는 휴대용 자기, 광 디스크)와 같은 반도체 메모리 장치, 및 CD-ROM과 DVD-ROM 디스크를 포함할 수 있다. 상기 프로세서와 메모리는 특수 용도를 구비한 로직 회로로 보완하거나 로직회로에 결합할 수 있다.
사용자와의 상호 작용을 제공하기 위하여, 개시된 실시예는 컴퓨터에 구현될 수 있고, 상기 컴퓨터는 CRT(음극선 관) 또는 LCD(액정 디스플레이) 모니터와 같은 사용자에게 정보를 표시하는 표시장치 및 컴퓨터 입력에 사용할 수 있는 키보드, 마우스 또는 트랙볼과 같은 지시장치를 구비한다. 기타 유형의 장치를 이용하여 사용자와의 상호 작용을 제공할 수도 있다. 예를 들면, 사용자에게 제공되는 피드백은 시각적 피드백, 청각적 피드백 또는 촉각적 피드백과 같은 임의 유형의 감응 피드백일 수 있고, 사용자로 부터의 입력은 소리, 음성 또는 터치 입력과 같은 임의의 형식으로 접수될 수 있다.
개시된 실시예는 예를 들면 데이터 서버로 이용되는 백엔드 구성요소를 포함하거나, 또는 예를 들면 응용 서버와 같은 중간 구성요소를 포함하거나, 또는 예를 들면 클라이언트 컴퓨터과 같은 프런트 엔드 구성요소를 포함하거나, 또는 하나 또는 다수의 이러한 백엔드, 중간 또는 프런트 엔드 구성요소들의 임의의 집합을 포함하는 컴퓨터 시스템에서 구현될 수 있고, 상기 클라이언트 컴퓨터는 그래픽 사용자 인터페이스 또는 웹 브라우저를 구비함으로써 사용자로 하여금 여기에 개시된 구현방식과 상호 작용할 수 있게 된다. 상기 시스템의 구성요소는 임의의 형식 또는 예를 들면 통신망의 디지털 데이터 통신 매체를 통하여 상호 연결될 수 있다. 통신망의 예로 구내 통신망(LAN)과 광역 통신망(WAN)이 포함되고, 예를 들면 인터넷이다.
개시된 실시예를 구현하기 위한 시스템은 클라이언트 컴퓨터(클라이언트)와 서버 컴퓨터(서버)를 포함할 수 있다. 통상 클라이언트와 서버는 멀리 떨어져 있고 일반적으로 통신망을 통하여 상호 작용한다. 클라이언트와 서버의 관계는 상응한 컴퓨터에서 실행되며 각각 클라이언트, 서버 관계를 구비한 컴퓨터 프로그램을 통하여 발생한다.
비록, 본 명세서에 많은 특정 내용이 함포되어 있지만, 이는 임의의 발명 또는 청구범위를 제한하기 위한 것이 아니라 특정 실시예의 특정한 특징을 설명하고자 제공된 것이다. 본 명세서에 있어서, 별도의 실시예의 환경하에 설명된 일부 특징은 조합의 방식으로 단일 실시예에 구현될 수 있다. 반대로, 단일 실시예의 환경하에 설명된 각 특징도 분산된 방식 또는 임의의 적절한 서브조합의 방식으로 다수의 실시예에 구현될 수 있다. 또한, 상기의 특징을 일정한 조합의 방식으로 작용하도록 설명할 수 있고, 더우기는 처음엔 이렇게 설명되었으나 일부 경우에 상기 조합중에서 청구한 조합에서 유래된 하나 또는 다수의 특징을 제거할 수 있고 청구한 조합 또한 하위 조합 또는 하위 조합의 변형형태로 지칭될 수 있다.
유사하게, 비록 조작은 특정한 순서로 첨부한 도면에 설명되었지만 이는 도시한 특정 순서 또는 연속된 순서로 이러한 조작들을 실행하거나 또는 도시된 모든 조작을 실행하여야 요구하는 결과를 구현할 수 있음을 의미하는 것이 아니다. 일부 경우에 다수의 조작이 동시에 진행되는 것이 유리하다. 또한, 상기한 실시예의 각종 시스템 구성요소의 분리는 모든 실시예에서 이러한 분리를 진행하여야 함을 의미하는 것이 아니라, 설명한 프로그램 구성요소와 시스템은 통상 단일 소프트웨어 제품에 통합되거나 다수의 소프트웨어 제품에 패키지될 수 있다.
이로써 특정 실시예에 대한 설명을 진행하였다. 기타 실시예도 특허청구범위에 기재된 범위내에 포함된다.
비록 본 발명의 바람직한 실시예에 대하여 설명하였지만, 본 발명의 요지를 이해한 해당 기술 분야의 당업자라면 실시예를 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의하여서만 정의될 것이다.
해당 기술 분야의 숙련된 당업자 또는 해당 기술 분야에 통상의 지식을 가진 자라면, 후술될 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 본 발명의 기술적 범위는 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명에 대하여 다양하게 진행한 수정 및 변경을 포함한다.

Claims (16)

  1. 비집약성 초고해상도에 따른 재구성 방법에 있어서,
    재구성을 진행하여야 할 각 프레임 이미지에 대하여 보간 처리를 진행하고, 각 프레임 이미지를 크기가 같은 다수의 매크로 블록으로 분할하는 단계;
    각 프레임 이미지에 위치한 각 매크로 블록에 대하여, 기타 각 프레임 이미지에서의 현재 매크로 블록의 검색창 위치를 확정하는 절차를 진행하는 단계;
    각 프레임 이미지에 위치한 각 픽셀 포인트를 원심으로, 설정된 거리를 반경으로 하여 각 픽셀 포인트에 대응되는 픽셀 블록을 확정하는 단계;
    각 프레임 이미지에 위치한 각 매크로 블록에 대하여, 각 프레임 이미지에서 현재 픽셀 블록에 대응되는 픽셀 포인트가 위치한 매크로 블록의 검색창 위치에 의하여 각 프레임 이미지에서의 현재 픽셀 블록의 검색창을 확정하며, 검색창에 위치한 각 픽셀 블록과 현재 픽셀 블록의 유사도 값을 각각 확정하는 절차를 진행하는 단계; 및
    각 픽셀 블록의 유사도 값에 의하여, 최적화 된 각 픽셀 블록의 중심 픽셀값을 각각 확정하는 단계를 포함하는 것을 특징으로 하는
    비집약성 초고해상도에 따른 재구성 방법.
  2. 제1항에 있어서,
    기타 각 프레임 이미지에서의 현재 매크로 블록의 검색창 위치를 확정하는 단계는,
    현재 매크로 블록으로부터 기타 각 프레임 이미지까지의 운동벡터를 각각 확정하는 단계;
    일 프레임 이미지에 대하여, 확정된 현재 매크로 블록으로부터 해당 프레임 이미지까지의 운동벡터를 해당 프레임 이미지에서의 현재 매크로 블록의 검색창의 운동벡터로 확정하고, 검색창 위치를 재지정하는 단계를 포함하는 것을 특징으로 하는
    비집약성 초고해상도에 따른 재구성 방법.
  3. 제2항에 있어서,
    아래와 같은 공식:
    Figure 112013118976077-pct00006

    을 이용하여 현재 매크로 블록으로부터 기타 각 프레임 이미지까지의 운동벡터를 확정하되,
    여기서, 현재 매크로 블록은 제m 프레임 이미지에 위치하고, A1은현재 매크로 블록으로부터 제n 프레임 이미지까지의 운동벡터이고, Ai는 제i-1 프레임 이미지에서 현재 매크로 블록에 대응되는 매크로 블록으로부터 제i 프레임 이미지까지의 운동벡터이고, A2는 현재 매크로 블록으로부터 제x 프레임 이미지까지의 운동벡터이고, Aj는 제j+1 프레임 이미지에서 현재 매크로 블록에 대응되는 매크로 블록으로부터 제j 프레임 이미지까지의 운동벡터인 것을 특징으로 하는
    비집약성 초고해상도에 따른 재구성 방법.
  4. 제3항에 있어서,
    제i-1 프레임 이미지에서 현재 매크로 블록에 대응되는 매크로 블록의 초기 예측 벡터를 확정하고, 확정된 초기 예측 벡터에 의하여 자아적응 크로스 모드로 검색을 진행하여 Ai를 획득하는 단계를 통하여 Ai를 확정하고,
    제j+1 프레임 이미지에서 현재 매크로 블록에 대응되는 매크로 블록의 초기 예측 벡터를 확정하고, 확정된 초기 예측 벡터에 의하여 자아적응 크로스 모드로 검색을 진행하여 Aj를 획득하는 단계를 통하여 Aj를 확정하는 것을 특징으로 하는
    비집약성 초고해상도에 따른 재구성 방법.

  5. 제4항에 있어서,
    제i-1 프레임 이미지에서 현재 매크로 블록에 대응되는 매크로 블록의 초기 예측 벡터를 확정하는 단계는,
    제i-1 프레임 이미지가 현재 매크로 블록이 위치한 이미지이고 또한 현재 매크로 블록이 이미지의 맨 왼쪽에 위치할 경우, 0벡터를 매크로 블록의 초기 예측 벡터로 하는 단계;
    제i-1 프레임 이미지가 현재 매크로 블록이 위치한 이미지이고 또한 현재 매크로 블록이 이미지의 맨 왼쪽에 위치하지 않을 경우, 왼쪽에 인접한 매크로 블록의 운동벡터를 매크로 블록의 초기 예측 벡터로 하는 단계;
    제i-1 프레임 이미지가 현재 매크로 블록이 위치한 이미지가 아닐 경우, 이전 프레임 이미지에 위치한 매크로 블록의 운동벡터를 매크로 블록의 초기 예측 벡터로 하는 단계를 포함하고,
    제j+1 프레임 이미지에서 현재 매크로 블록에 대응되는 매크로 블록의 초기 예측 벡터를 확정하는 단계는,
    제j+1 프레임 이미지가 현재 매크로 블록이 위치한 이미지이고 또한 현재 매크로 블록이 이미지의 맨 왼쪽에 위치할 경우, 0벡터를 매크로 블록의 초기 예측 벡터로 하는 단계;
    제j+1 프레임 이미지가 현재 매크로 블록이 위치한 이미지이고 또한 현재 매크로 블록이 이미지의 맨 왼쪽에 위치하지 않을 경우, 왼쪽에 인접한 매크로 블록의 운동벡터를 매크로 블록의 초기 예측 벡터로 하는 단계;
    제j+1 프레임 이미지가 현재 매크로 블록이 위치한 이미지가 아닐 경우, 다음 프레임 이미지의 운동벡터를 매크로 블록의 초기 예측 벡터로 하는 단계를 포함하는 것을 특징으로 하는
    비집약성 초고해상도에 따른 재구성 방법.
  6. 제1항에 있어서,
    검색창에 위치한 각 픽셀 블록과 현재 픽셀 블록의 유사도 값을 확정하는 단계는,
    검색창에 위치한 각 픽셀 블록과 현재 픽셀 블록의 국부적인 구조 설명인자 및 국부적인 밝기 설명인자를 각각 확정하는 단계;
    확정된 국부적인 구조 설명인자 및 국부적인 밝기 설명인자에 의하여 정규화한 유사도의 총값을 확정하는 단계;
    확정된 국부적인 구조 설명인자, 국부적인 밝기 설명인자 및 정규화한 유사도의 총값에 의하여 검색창에 위치한 각 픽셀 블록과 현재 픽셀 블록의 유사도 값을 각각 확정하는 단계를 포함하는 것을 특징으로 하는
    비집약성 초고해상도에 따른 재구성 방법.

  7. 제6항에 있어서,
    아래와 같은 공식:
    Figure 112013118976077-pct00007

    을 이용하여 정규화한 유사도의 총값을 확정하고,
    아래와 같은 공식:
    Figure 112013118976077-pct00008

    을 이용하여 유사도 값을 확정하되,
    여기서, C(k, l)은 정규화한 유사도의 총값이고, W(k, l, i, j)는 (k, l)픽셀 포인트에 대응되는 픽셀 블록과 (i, j)픽셀 포인트에 대응되는 픽셀 블록의 유사도 값이고, k는 현재 픽셀 블록에 대응되는 픽셀 포인트의 횡좌표이고, l는 현재 픽셀 블록에 대응되는 픽셀 포인트의 종좌표이고, i는 하나의 기타 픽셀 블록에 대응되는 픽셀 포인트의 횡좌표이고, j는 하나의 기타 픽셀 블록에 대응되는 픽셀 포인트의 종좌표이고, r는 반경이며, P(i, j, r)는 기타 픽셀 블록의 국부적인 구조 설명인자이고, P(k, l, r)는 현재 픽셀 블록의 국부적인 구조 설명인자이고, I(i, j, r)는 기타 픽셀 블록의 국부적인 밝기 설명인자이며, I(k, l, r)는 현재 픽셀 블록의 국부적인 밝기 설명인자이며, σ1은 국부적인 구조 설명인자에 대응되는 가중치이고, σ2는 국부적인 밝기 설명인자에 대응되는 가중치이며, N(k, l)는 (k, l)의 인접한 도메인인 것을 특징으로 하는
    비집약성 초고해상도에 따른 재구성 방법.
  8. 제7항에 있어서,
    아래와 같은 공식:
    Figure 112013118976077-pct00009

    을 이용하여 상기 국부적인 구조 설명인자에 대응되는 가중치를 확정하되,
    여기서, σ0은 초기값이고, L는 구간적 함수의 길이인 것을 특징으로 하는
    비집약성 초고해상도에 따른 재구성 방법.
  9. 제1내지 제8항중 임의의 항에 있어서,
    최적화 된 현재 픽셀 블록의 중심 픽셀값을 확정하는 단계는,
    하나의 픽셀 블록에 대하여, 각 픽셀 블록과 현재 픽셀 블록의 유사도 값을 각각 가중치로 하고, 최적화 전의 각 픽셀 블록의 중심 픽셀값에 가중한 후 평균을 취하여 최적화 된 현재 픽셀 블록의 중심 픽셀값을 획득하는 단계를 포함하는 것을 특징으로 하는
    비집약성 초고해상도에 따른 재구성 방법.
  10. 비집약성 초고해상도에 따른 재구성 장치에 있어서,
    재구성을 진행하여야 할 각 프레임 이미지에 대하여 보간 처리를 진행하고, 각 프레임 이미지를 크기가 같은 다수의 매크로 블록으로 분할하는 제1 처리 모듈;
    각 프레임 이미지에 위치한 각 매크로 블록에 대하여, 기타 각 프레임 이미지에서의 현재 매크로 블록의 검색창 위치를 확정하는 위치 확정 모듈;
    각 프레임 이미지에 위치한 각 픽셀 포인트를 원심으로, 설정된 거리를 반경으로 하여 각 픽셀 포인트에 대응되는 픽셀 블록을 확정하는 제2 처리 모듈;
    각 프레임 이미지에 위치한 각 매크로 블록에 대하여, 각 프레임 이미지에서 현재 픽셀 블록에 대응되는 픽셀 포인트가 위치한 매크로 블록의 검색창 위치에 의하여 각 프레임 이미지에서의 현재 픽셀 블록의 검색창을 확정하며, 검색창에 위치한 각 픽셀 블록과 현재 픽셀 블록의 유사도 값을 각각 확정하는 유사도 확정 모듈;
    각 픽셀 블록의 유사도 값에 의하여, 최적화 된 각 픽셀 블록의 중심 픽셀값을 각각 확정하는 픽셀값 확정 모듈을 포함하는 것을 특징으로 하는
    비집약성 초고해상도에 따른 재구성 장치.
  11. 제10항에 있어서,
    상기 위치 확정 모듈은 구체적으로,
    현재 매크로 블록으로부터 기타 각 프레임 이미지까지의 운동벡터를 확정하고,
    일 프레임 이미지에 대하여, 확정된 현재 매크로 블록으로부터 해당 프레임 이미지까지의 운동벡터를 해당 프레임 이미지에서의 현재 매크로 블록의 검색창의 운동벡터로 확정하고, 검색창 위치를 재지정하는데 이용되는 것을 특징으로 하는
    비집약성 초고해상도에 따른 재구성 장치.
  12. 제11항에 있어서,
    상기 위치 확정 모듈은 아래와 같은 공식:
    Figure 112013118976077-pct00010

    을 이용하여 현재 매크로 블록으로부터 기타 각 프레임 이미지까지의 운동벡터를 확정하되,
    여기서, 현재 매크로 블록은 제m 프레임 이미지에 위치하고, A1은현재 매크로 블록으로부터 제n 프레임 이미지까지의 운동벡터이고, Ai는 제i-1 프레임 이미지에서 현재 매크로 블록에 대응되는 매크로 블록으로부터 제i 프레임 이미지까지의 운동벡터이고, A2는 현재 매크로 블록으로부터 제x 프레임 이미지까지의 운동벡터이고, Aj는 제j+1 프레임 이미지에서 현재 매크로 블록에 대응되는 매크로 블록으로부터 제j 프레임 이미지까지의 운동벡터인 것을 특징으로 하는
    비집약성 초고해상도에 따른 재구성 장치.
  13. 제12항에 있어서,
    상기 위치 확정 모듈은 구체적으로,
    제i-1 프레임 이미지에서 현재 매크로 블록에 대응되는 매크로 블록의 초기 예측 벡터를 확정하고, 확정된 초기 예측 벡터에 의하여 자아적응 크로스 모드로 검색을 진행하여 Ai를 획득하고,
    제j+1 프레임 이미지에서 현재 매크로 블록에 대응되는 매크로 블록의 초기 예측 벡터를 확정하고, 확정된 초기 예측 벡터에 의하여 자아적응 크로스 모드로 검색을 진행하여 Aj를 획득하는데 이용되는 것을 특징으로 하는
    비집약성 초고해상도에 따른 재구성 장치.
  14. 제13항에 있어서,
    상기 위치 확정 모듈은 구체적으로,
    제i-1 프레임 이미지가 현재 매크로 블록이 위치한 이미지이고 또한 현재 매크로 블록이 이미지의 맨 왼쪽에 위치할 경우, 0벡터를 매크로 블록의 초기 예측 벡터로 하고;
    제i-1 프레임 이미지가 현재 매크로 블록이 위치한 이미지이고 또한 현재 매크로 블록이 이미지의 맨 왼쪽에 위치하지 않을 경우, 왼쪽에 인접한 매크로 블록의 운동벡터를 매크로 블록의 초기 예측 벡터로 하고;
    제i-1 프레임 이미지가 현재 매크로 블록이 위치한 이미지가 아닐 경우, 이전 프레임 이미지에 위치한 매크로 블록의 운동벡터를 매크로 블록의 초기 예측 벡터로 하고,
    제j+1 프레임 이미지가 현재 매크로 블록이 위치한 이미지이고 또한 현재 매크로 블록이 이미지의 맨 왼쪽에 위치할 경우, 0벡터를 매크로 블록의 초기 예측 벡터로 하고;
    제j+1 프레임 이미지가 현재 매크로 블록이 위치한 이미지이고 또한 현재 매크로 블록이 이미지의 맨 왼쪽에 위치하지 않을 경우, 왼쪽에 인접한 매크로 블록의 운동벡터를 매크로 블록의 초기 예측 벡터로 하고;
    제j+1 프레임 이미지가 현재 매크로 블록이 위치한 이미지가 아닐 경우, 다음 프레임 이미지의 운동벡터를 매크로 블록의 초기 예측 벡터로 하는데 이용되는 것을 특징으로 하는
    비집약성 초고해상도에 따른 재구성 장치.
  15. 제10항에 있어서,
    상기 유사도 확정 모듈은 구체적으로,
    검색창에 위치한 각 픽셀 블록과 현재 픽셀 블록의 국부적인 구조 설명인자 및 국부적인 밝기 설명인자를 각각 확정하고, 확정된 국부적인 구조 설명인자 및 국부적인 밝기 설명인자에 의하여 정규화한 유사도의 총값을 확정하고, 확정된 국부적인 구조 설명인자, 국부적인 밝기 설명인자 및 정규화한 유사도의 총값에 의하여 검색창에 위치한 각 픽셀 블록과 현재 픽셀 블록의 유사도 값을 각각 확정하는데 이용되는 것을 특징으로 하는
    비집약성 초고해상도에 따른 재구성 장치.
  16. 제10내지 제15항중 임의의 항에 있어서,
    상기 픽셀값 확정 모듈은 구체적으로,
    하나의 픽셀 블록에 대하여, 각 픽셀 블록과 현재 픽셀 블록의 유사도 값을 각각 가중치로 하고, 최적화 전의 각 픽셀 블록의 중심 픽셀값에 가중한 후 평균을 취하여 최적화 된 현재 픽셀 블록의 중심 픽셀값을 획득하는데 이용되는 것을 특징으로 하는
    비집약성 초고해상도에 따른 재구성 장치.
KR1020137034526A 2011-12-14 2012-12-13 비집약성 초고해상도에 따른 재구성 방법 및 장치 KR101568073B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201110418317.3 2011-12-14
CN201110418317.3A CN103167218B (zh) 2011-12-14 2011-12-14 一种基于非局部性的超分辨率重建方法和设备
PCT/CN2012/086570 WO2013087003A1 (zh) 2011-12-14 2012-12-13 一种基于非局部性的超分辨率重建方法和设备

Publications (2)

Publication Number Publication Date
KR20140030272A KR20140030272A (ko) 2014-03-11
KR101568073B1 true KR101568073B1 (ko) 2015-11-10

Family

ID=48589937

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137034526A KR101568073B1 (ko) 2011-12-14 2012-12-13 비집약성 초고해상도에 따른 재구성 방법 및 장치

Country Status (5)

Country Link
US (1) US9111367B2 (ko)
JP (1) JP6126121B2 (ko)
KR (1) KR101568073B1 (ko)
CN (1) CN103167218B (ko)
WO (1) WO2013087003A1 (ko)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104376544B (zh) * 2013-08-15 2017-04-19 北京大学 一种基于多区域尺度放缩补偿的非局部超分辨率重建方法
CN103700062B (zh) 2013-12-18 2017-06-06 华为技术有限公司 图像处理方法和装置
US9922620B2 (en) * 2014-03-18 2018-03-20 Mediatek Inc. Data processing apparatus for performing display data compression/decompression with color format conversion and related data processing method
CN104010114B (zh) * 2014-05-29 2017-08-29 广东威创视讯科技股份有限公司 视频去噪方法和装置
CN104809705B (zh) * 2015-04-29 2018-01-12 厦门美图之家科技有限公司 一种基于阈值块匹配的图像去噪的方法和系统
CN105069825B (zh) * 2015-08-14 2018-06-12 厦门大学 基于深度置信网络的图像超分辨率重建方法
CN106558024B (zh) * 2015-09-28 2019-02-01 北京大学 进行自适应窗口拓展的自回归插值方法及装置
US10366480B2 (en) 2016-07-01 2019-07-30 Analytical Mechanics Associates, Inc. Super-resolution systems and methods
KR102553598B1 (ko) 2016-11-18 2023-07-10 삼성전자주식회사 영상 처리 장치 및 그 제어 방법
CN107169928A (zh) * 2017-05-12 2017-09-15 武汉华大联创智能科技有限公司 一种基于深层线性映射学习的人脸超分辨率重建算法
CN110148091A (zh) * 2019-04-10 2019-08-20 深圳市未来媒体技术研究院 基于非局部注意力机制的神经网络模型及图像超分辨方法
CN112991188B (zh) * 2019-12-02 2023-06-27 RealMe重庆移动通信有限公司 图像处理方法及装置、存储介质、电子设备
CN111598965B (zh) * 2020-05-18 2023-07-14 南京超维景生物科技有限公司 超声造影图像的超分辨重建预处理方法和超分辨重建方法
CN111833251B (zh) * 2020-07-13 2024-06-04 北京安德医智科技有限公司 一种三维医学图像超分辨率重建方法及装置
CN114331849B (zh) * 2022-03-15 2022-06-10 之江实验室 一种跨模态核磁共振超分网络及图像超分辨率方法
TWI788251B (zh) * 2022-04-01 2022-12-21 偉詮電子股份有限公司 超解析度影像的重建方法以及超解析度影像的重建系統
CN115829842B (zh) * 2023-01-05 2023-04-25 武汉图科智能科技有限公司 一种基于fpga实现图片超分辨率重建的装置
CN116071220B (zh) * 2023-03-06 2023-06-20 浙江华感科技有限公司 一种图像窗口数据处理方法、装置、设备及介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011223086A (ja) 2010-04-05 2011-11-04 Mitsubishi Electric Corp 解像度変換装置及び方法、走査線補間装置及び方法、並びに映像表示装置及び方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60227643D1 (de) * 2002-04-23 2008-08-28 St Microelectronics Srl Vwefahren zur Erfassung eines digitalen Bildsatzes mit hoher Auflösung
US7940844B2 (en) * 2002-06-18 2011-05-10 Qualcomm Incorporated Video encoding and decoding techniques
US7831088B2 (en) * 2003-06-13 2010-11-09 Georgia Tech Research Corporation Data reconstruction using directional interpolation techniques
US20070171987A1 (en) * 2006-01-20 2007-07-26 Nokia Corporation Method for optical flow field estimation using adaptive Filting
US7957610B2 (en) * 2006-04-11 2011-06-07 Panasonic Corporation Image processing method and image processing device for enhancing the resolution of a picture by using multiple input low-resolution pictures
WO2009087641A2 (en) * 2008-01-10 2009-07-16 Ramot At Tel-Aviv University Ltd. System and method for real-time super-resolution
JP5166156B2 (ja) * 2008-07-25 2013-03-21 株式会社東芝 解像度変換装置、方法およびプログラム
CN101739670B (zh) * 2009-11-27 2011-12-07 西安电子科技大学 非局部均值空域时变图像滤波方法
CN101917624B (zh) * 2010-07-26 2013-04-03 清华大学 一种高分辨率视频图像重建方法
CN102142137B (zh) 2011-03-10 2012-10-24 西安电子科技大学 基于高分辨率字典的稀疏表征图像超分辨重建方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011223086A (ja) 2010-04-05 2011-11-04 Mitsubishi Electric Corp 解像度変換装置及び方法、走査線補間装置及び方法、並びに映像表示装置及び方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Yue Zhuo et al., "Nonlocal Based Super Resolution with Rotation Invariance and Search Window Relocation", 2011-11-15, http://www.icst.pku.edu.cn/course/icb/ari_swr.html*

Also Published As

Publication number Publication date
CN103167218A (zh) 2013-06-19
CN103167218B (zh) 2016-04-06
US20140133780A1 (en) 2014-05-15
US9111367B2 (en) 2015-08-18
WO2013087003A1 (zh) 2013-06-20
JP6126121B2 (ja) 2017-05-10
JP2015502120A (ja) 2015-01-19
KR20140030272A (ko) 2014-03-11

Similar Documents

Publication Publication Date Title
KR101568073B1 (ko) 비집약성 초고해상도에 따른 재구성 방법 및 장치
Chen et al. Optimizing video object detection via a scale-time lattice
CN110378348B (zh) 视频实例分割方法、设备及计算机可读存储介质
TW201146011A (en) Bi-directional, local and global motion estimation based frame rate conversion
JP5166156B2 (ja) 解像度変換装置、方法およびプログラム
WO2020181456A1 (en) Inter coding for adaptive resolution video coding
WO2018230294A1 (ja) 動画像処理装置、表示装置、動画像処理方法、および制御プログラム
CN115002379B (zh) 视频插帧方法、训练方法、装置、电子设备和存储介质
CN109448752A (zh) 音频数据的处理方法、装置、设备及存储介质
JP2005506626A (ja) 動き推定ユニット及び方法並びにかような動き推定ユニットを備えた画像処理装置
CN114781499A (zh) 一种构建基于ViT模型的密集预测任务适配器的方法
US20090051679A1 (en) Local motion estimation using four-corner transforms
Huang et al. Scale-adaptive feature aggregation for efficient space-time video super-resolution
US20220058452A1 (en) Spatiotemporal recycling network
Yang et al. Depth-reliability-based stereo-matching algorithm and its VLSI architecture design
Kovačević et al. Block-matching correlation motion estimation for frame-rate up-conversion
Garnica-Carrillo et al. Multi-focus image fusion by local optimization over sliding windows
CN117296078A (zh) 用于准确识别和跟踪移动对象的光流技术和系统
Sun et al. Deeper spatial pyramid network with refined up-sampling for optical flow estimation
Balamurugan et al. An efficient field-programmable gate array-based hardware oriented block motion estimation algorithm based on diamond adaptive rood pattern search algorithm for multi-standard video codec
Zhang et al. Survey on block-based motion estimation for frame rate conversion
Nemcev et al. Modified EM-algorithm for motion field refinement in motion compensated frame interpoliation
US11861815B2 (en) Composite image creating method, composite image creating apparatus, and computer program stored in recording medium to execute the method
JP4394399B2 (ja) 画像解析装置、画像解析プログラム、記憶媒体および画像解析方法
KR101620928B1 (ko) 우선순위 주소 배분과 이동창 기법을 이용한 얼굴검출 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee