KR101664743B1 - 고해상도 영상 생성 장치 및 그 방법 - Google Patents

고해상도 영상 생성 장치 및 그 방법 Download PDF

Info

Publication number
KR101664743B1
KR101664743B1 KR1020150134002A KR20150134002A KR101664743B1 KR 101664743 B1 KR101664743 B1 KR 101664743B1 KR 1020150134002 A KR1020150134002 A KR 1020150134002A KR 20150134002 A KR20150134002 A KR 20150134002A KR 101664743 B1 KR101664743 B1 KR 101664743B1
Authority
KR
South Korea
Prior art keywords
image
encoding
code
unit
generating
Prior art date
Application number
KR1020150134002A
Other languages
English (en)
Inventor
최진욱
장유진
송병철
서승지
최동윤
Original Assignee
현대자동차주식회사
기아자동차주식회사
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아자동차주식회사, 인하대학교 산학협력단 filed Critical 현대자동차주식회사
Priority to KR1020150134002A priority Critical patent/KR101664743B1/ko
Application granted granted Critical
Publication of KR101664743B1 publication Critical patent/KR101664743B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/015—High-definition television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/015—High-definition television systems
    • H04N7/0152—High-definition television systems using spatial or temporal subsampling
    • H04N7/0155—High-definition television systems using spatial or temporal subsampling using pixel blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

본 발명은 고해상도 영상 생성 장치 및 그 방법에 관한 것으로, LR 영상 내 블록별 패턴의 부호를 인덱싱 주소로 갖는 필터가 저장된 학습 데이터베이스를 기반으로 HR 영상을 생성함으로써, 필터 검색시간을 현격히 감소시켜 실시간으로 HR 영상을 생성할 수 있는 고해상도 영상 생성 장치 및 그 방법을 제공하고자 한다.
이를 위하여, 본 발명은 고해상도 영상 생성 장치에 있어서, LR 영상 내 블록별 패턴의 부호에 상응하는 필터와, 1차 부호화 결과에 상응하는 2차 부호화 방식에 대한 정보를 저장하는 학습 데이터베이스; LR 영상을 블록으로 구분한 후 각 블록 내 픽셀값의 표준편차를 기반으로 평탄 블록과 비평탄 블록으로 분류하는 분류부; 평탄 블록으로부터 HR 영상을 생성하는 제1 영상 생성부; 비평탄 블록에서 특정 패턴에 해당하는 픽셀값을 기반으로 1차 부호화하는 제1 부호화부; 상기 1차 부호화 결과에 따라 2차 부호화를 수행하고, 1차 부호화 결과에 2차 부호화 결과를 결합하여 최종 부호를 생성하는 제2 부호화부; 상기 최종 부호의 십진수 값을 인덱싱 주소로 갖는 필터를 이용하여 HR 영상을 생성하는 제2 영상 생성부; 및 상기 제1 영상 생성부에 의해 생성된 HR 영상과 상기 제2 영상 생성부에 의해 생성된 HR 영상을 병합하여 최종 HR 영상을 생성하는 영상 병합부를 포함한다.

Description

고해상도 영상 생성 장치 및 그 방법{APPARATUS FOR GENERATING HIGH RESOLUTION IMAGE AND METHOD THEREOF}
본 발명은 고해상도 영상 생성 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 학습 데이터베이스를 기반으로 LR(Low Resolution) 영상을 이용하여 HR(High Resolution) 영상을 생성하는 기술에 관한 것이다.
최근 통신 및 디스플레이 등의 기술 발달로 많은 응용분야에서 고해상도의 영상을 필요로 하고 있다. 고해상도란 영상 내의 화소 밀도가 높은 것을 의미한다. 이는 더 세부적이고 정교한 처리를 가능하게 한다. 예를 들어 CCTV 촬영 영상, 인공위성 관찰 영상, 의료영상 등 정교한 분석을 요하는 영상처리 분야에서 그 필요성이 강조되고 있다. 하지만, 고해상도의 영상을 획득하기 위해서는 높은 비용과 정밀 광학기술이 요구되어, 이 한계를 극복하기 위한 기술의 필요성이 대두 되고 있다.
초해상도(Super Resolution 이하 SR) 기법은 저해상도(Low Resolution 이하 LR)의 영상으로부터 고해상도(High Resolution 이하 HR)의 영상을 생성해 내는 기술로서, 일반적으로 여러 개의 영상 프레임을 이용하는 방식과 학습 기반의 단일 프레임을 이용하는 방식이 있다.
종래의 학습 기반의 SR(Super Resolution) 기법은 크게 학습과정과 HR 영상 생성과정으로 구성된다.
먼저, 학습과정은 LR 영상으로부터 HR 영상을 생성해 내기 위해 필요한 필터를 학습하는 과정으로서, HR 영상과 LR 영상의 쌍으로 이루어진 복수의 영상을 일일이 분석하여, LR 영상의 각 블록(일례로, 5×5 크기)의 패턴(픽셀)별로 해당 필터를 매칭시킨 학습 데이터베이스를 생성하는 과정을 의미한다. 이때, 필터는 HR 영상의 특정 블록과 그에 상응하는 LR 영상의 블록과의 관계를 이용하여 산출된다.
다음으로, HR 영상 생성과정은 LR 영상이 입력되면 LR 영상 내 각 블록의 패턴에 상응하는 블록을 학습 데이터베이스에서 검색한 후 상기 검색된 블록에 매칭되어 있는 필터를 이용하여 HR 영상을 생성해 내는 과정이다.
이러한 종래의 학습 기반의 SR 기법은 학습 데이터베이스에서 LR 영상 내 각 블록의 패턴에 상응하는 블록을 검색하기 위해 복잡한 연산을 수행해야 하기 때문에 HR 영상을 실시간으로 생성할 수 없는 문제점이 있다.
또한, 학습과정에서 모든 블록의 패턴정보와 그에 상응하는 필터를 저장하기 때문에 방대한 메모리 용량이 요구되는 문제점이 있다.
상기와 같은 종래 기술의 문제점을 해결하기 위하여, 본 발명은 LR 영상 내 블록별 패턴의 부호를 인덱싱 주소로 갖는 필터가 저장된 학습 데이터베이스를 기반으로 HR 영상을 생성함으로써, 필터 검색시간을 현격히 감소시켜 실시간으로 HR 영상을 생성할 수 있는 고해상도 영상 생성 장치 및 그 방법을 제공하는데 그 목적이 있다.
또한, 본 발명은 학습 데이터베이스 생성시, 제2 패턴의 부호가 제1 패턴의 부호를 소정 비트 시프트한(소정 각도 회전한) 결과와 동일하면 제2 패턴의 부호를 저장하지 않음으로써, 학습 데이터베이스의 메모리 용량을 감소시킬 수 있는 고해상도 영상 생성 장치 및 그 방법을 제공하는데 다른 목적이 있다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명의 장치는, 고해상도 영상 생성 장치에 있어서, LR 영상 내 블록별 패턴의 부호에 상응하는 필터와, 1차 부호화 결과에 상응하는 2차 부호화 방식에 대한 정보를 저장하는 학습 데이터베이스; LR 영상을 블록으로 구분한 후 각 블록 내 픽셀값의 표준편차를 기반으로 평탄 블록과 비평탄 블록으로 분류하는 분류부; 평탄 블록으로부터 HR 영상을 생성하는 제1 영상 생성부; 비평탄 블록에서 특정 패턴에 해당하는 픽셀값을 기반으로 1차 부호화하는 제1 부호화부; 상기 1차 부호화 결과에 따라 2차 부호화를 수행하고, 1차 부호화 결과에 2차 부호화 결과를 결합하여 최종 부호를 생성하는 제2 부호화부; 상기 최종 부호의 십진수 값을 인덱싱 주소로 갖는 필터를 이용하여 HR 영상을 생성하는 제2 영상 생성부; 및 상기 제1 영상 생성부에 의해 생성된 HR 영상과 상기 제2 영상 생성부에 의해 생성된 HR 영상을 병합하여 최종 HR 영상을 생성하는 영상 병합부를 포함한다.
상기 목적을 달성하기 위한 본 발명의 방법은, 고해상도 영상 생성 방법에 있어서, 분류부가 LR 영상을 블록으로 구분한 후 각 블록 내 픽셀값의 표준편차를 기반으로 평탄 블록과 비평탄 블록으로 분류하는 단계; 제1 영상 생성부가 평탄 블록으로부터 제1 HR 영상을 생성하는 단계; 제1 부호화부가 비평탄 블록에서 특정 패턴에 해당하는 픽셀값을 기반으로 1차 부호화하는 단계; 제2 부호화부가 상기 1차 부호화 결과에 따라 2차 부호화를 수행하고, 1차 부호화 결과에 2차 부호화 결과를 결합하여 최종 부호를 생성하는 단계; 제2 영상 생성부가 상기 최종 부호의 십진수 값을 인덱싱 주소로 갖는 필터를 학습 데이터베이스에서 검색하여 제2 HR 영상을 생성하는 단계; 및 영상 병합부가 상기 제1 HR 영상과 상기 제2 HR 영상을 병합하여 최종 HR 영상을 생성하는 단계를 포함한다.
상기와 같은 본 발명은, LR 영상 내 블록별 패턴의 부호를 인덱싱 주소로 갖는 필터가 저장된 학습 데이터베이스를 기반으로 HR 영상을 생성함으로써, 필터 검색시간을 현격히 감소시켜 실시간으로 HR 영상을 생성할 수 있는 효과가 있다.
또한, 본 발명은 학습 데이터베이스 생성시, 제2 패턴의 부호가 제1 패턴의 부호를 소정 비트 시프트한(소정 각도 회전한) 결과와 동일하면 제2 패턴의 부호를 저장하지 않음으로써, 학습 데이터베이스의 메모리 용량을 감소시킬 수 있는 효과가 있다.
도 1 은 본 발명에 따른 고해상도 영상 생성 장치에 대한 일실시예 구성도,
도 2 는 본 발명에 이용되는 LR 영상의 블록에 대한 일예시도,
도 3 은 본 발명에 따른 고해상도 영상 생성 과정에 대한 일실시예 설명도,
도 4 및 도 5 는 본 발명에 따른 고해상도 영상 생성 장치에 의해 생성된 고해상도 영상에 대한 일예시도,
도 6 은 본 발명에 따른 고해상도 영상 생성 방법에 대한 일실시예 흐름도이다.
상술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되어 있는 상세한 설명을 통하여 보다 명확해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다.
도 1 은 본 발명에 따른 고해상도 영상 생성 장치에 대한 일실시예 구성도이다.
도 1에 도시된 바와 같이, 본 발명에 따른 고해상도 영상 생성 장치는, 학습 데이터베이스(10), 분류부(20), 제1 영상 생성부(30), 제1 부호화부(40), 제2 부호화부(50), 제2 영상 생성부(60), 및 영상 병합부(70)를 포함한다.
상기 각 구성요소들에 대해 살펴보면, 먼저 학습 데이터베이스(10)는 LR 영상 내 블록별 패턴의 부호(십진수 값)를 인덱싱 주소로 갖는 필터와, 제1 부호화부(40)에 의해 1차 부호화된 결과(부호)에 상응하는 2차 부호화 방식에 대한 정보를 저장한다. 여기서, 필터는 5×5의 정방행렬의 필터를 의미한다.
다음으로, 분류부(20)는 LR 영상을 도 2에 도시된 바와 같이, 일례로 5×5 크기의 블록으로 구분한 후 각 블록 내 픽셀값의 표준편차를 계산하여 임계치를 초과하면 평탄하지 않은 블록으로 판단하여 제1 부호화부(40)로 전달하고, 임계치를 초과하지 않으면 평탄한 블록으로 판단하여 제1 영상 생성부(30)로 전달한다.
다음으로, 제1 영상 생성부(30)는 단일의 선형(Linear) 필터를 기반으로 분류부(20)로부터 전달받은 블록으로부터 HR 영상 내 해당 블록을 생성한다. 제1 영상 생성부(30)는 주지 관용의 기술로 본 발명의 요지를 흐릴 수 있어 그 상세 설명은 생략한다.
다음으로, 제1 부호화부(40)는 분류부(20)로부터 전달받은 블록에서 특정 패턴에 해당하는 픽셀값을 추출한다.
이하, 도 2를 참조하여 블록의 패턴에 대해 상세히 설명하기로 한다.
도 2 는 본 발명에 이용되는 LR 영상의 블록에 대한 일예시도이다.
도 2에서, 블록의 패턴은 중심값(sc)과 인접해 있는 픽셀값(s1,0, s1,1, s1,2, s1,3, s1,4, s1,5, s1,6, s1, 7)을 1그룹으로 하고, 중심값(sc)과 대각선 방향에 위치한 픽셀값으로서 1그룹에 포함되지 않은 픽셀값(s2,0, s2,1, s2,2, s2,3, s2,4, s2,5, s2,6, s2,7)을 2그룹으로 하는 패턴을 의미한다. 이때, sr,n에서 r은 그룹을 나타내고, n은 샘플링 번호로서 부호화 시 비트의 자릿수를 나타낸다.
또한, 제1 부호화부(40)는 하기의 [수학식 1] 내지 [수학식 3]에 기초하여 분류부(20)로부터 전달받은 블록의 패턴을 해당 픽셀값을 기반으로 부호화한다. 즉, [수학식 1]을 이용하여 1그룹의 픽셀값을 부호화하고, [수학식 2]를 이용하여 2그룹의 픽셀값을 부호화한다.
[수학식 1]
Figure 112015092394243-pat00001
여기서, e1은 1그룹 픽셀값들의 평균을 의미하고, NI-LBP1 ,8은 1그룹 픽셀값에 대한 부호화 결과의 십진수 값으로서, 제1 부호화부(40)는 이를 2진수로 변환하여 8비트의 부호를 얻을 수 있다. 이때, 십진수를 이진수로 변환하는 과정은 주지 관용의 기술로서 그 상세 과정은 생략한다.
[수학식 2]
Figure 112015092394243-pat00002
여기서, NI-LBP2 ,8은 2그룹 픽셀값에 대한 부호화 결과의 십진수 값으로서, 제1 부호화부(40)는 이를 2진수로 변환하여 8비트의 부호를 얻을 수 있다. 이때, e2는 2그룹 픽셀값들의 평균을 의미한다.
상기 [수학식 1] 및 [수학식 2]에서 T 연산은 하기의 [수학식 3]과 같다. 즉, a와 b를 비교해서 a가 크면 1이고, a가 크지 않으면 0이 된다.
[수학식 3]
Figure 112015092394243-pat00003
결국, 제1 부호화부(40)는 [수학식 1]을 이용하여 부호화한 결과인 8비트와 [수학식 2]를 이용하여 부호화한 결과인 8비트를 순차적으로 나열하여 16비트의 부호를 생성한다.
다음으로, 제2 부호화부(50)는 학습 데이터베이스(10)에 저장되어 있는 제1 부호화부(40)에 의해 1차 부호화된 결과(8비트의 부호)에 상응하는 2차 부호화 방식(CS-LBP1,8 또는 CM-LBP1 , 8)에 대한 정보를 기반으로 2차 부호화를 수행한다.
즉, 제2 부호화부(50)는 하기의 [수학식 4] 또는 [수학식 5]를 기반으로 부호화한 8비트의 부호를 상기 제1 부호화부(40)에 의해 생성된 16비트의 부호 뒤에 붙여 최종 24비트의 부호를 생성한다.
[수학식 4]
Figure 112015092394243-pat00004
여기서, sc는 중심 픽셀값을 의미하고, CS-LBP1 ,8은 2차 부호화 방식의 하나로서 그 결과는 십진수 값이며, 제2 부호화부(50)는 이를 2진수로 변환하여 8비트의 부호로 얻을 수 있다.
[수학식 5]
Figure 112015092394243-pat00005
여기서, sc는 중심 픽셀값을 의미하고, M1은 중심 픽셀값과 1그룹 픽셀값의 차의 절대값의 평균을 의미하며, CM-LBP1 ,8은 2차 부호화 방식의 하나로서 그 결과는 십진수 값이며 제2 부호화부(50)는 이를 2진수로 변환하여 8비트의 부호를 얻을 수 있다.
다음으로, 제2 영상 생성부(60)는 학습 데이터베이스(10)를 기반으로, 제2 부호화부(50)로부터의 24비트 부호에 대한 십진수 값에 상응하는 필터를 이용하여 HR 영상 내 해당 블록을 생성한다.
즉, 제2 영상 생성부(60)는 하기의 [수학식 6]을 이용하여 HR 영상을 생성한다.
[수학식 6]
Figure 112015092394243-pat00006
여기서, HR(i,j)는 (i,j)번째 HR 영상을 나타내고,
Figure 112015092394243-pat00007
는 제2 부호화부(50)에 의해 최종 생성된 24비트 부호(LBP)에 상응하는 필터를 의미하며, LR(k,l)은 (k,l)번째 LR 영상을 의미한다.
한편, 본 발명은 학습 데이터베이스 생성시, 제2 패턴의 부호가 제1 패턴의 부호를 소정 비트 시프트한(소정 각도 회전한) 결과와 동일하면 제2 패턴의 부호를 저장하지 않음으로써, 학습 데이터베이스의 메모리 용량을 감소시킨다.
따라서, 제2 부호화부(50)에 의해 최종 생성된 24비트 부호가 학습 데이터베이스(10)에 기록되어 있지 않을 수도 있다.
이 경우, 제2 영상 생성부(60)는 제2 부호화부(50)에 의해 최종 생성된 24비트 부호를 90도, 180도, 270도 회전시킨 후, 그 결과의 십진수 값에 상응하는 필터를 학습 데이터베이스(10)에서 검색하여 HR 영상을 생성한다. 이때, 상기 [수학식 6]의 필터는 하기의 [수학식 7]과 같이 변형된다.
[수학식 7]
Figure 112015092394243-pat00008
이하, 도 3을 참조하여 HR 영상을 생성하는 과정에 대해 예를 들어 설명하기로 한다.
도 3에서, e1은 106.25이고, e2는 98.75이며, m1은 15이다.
제1 부호화부(40)는 1그룹 픽셀값에 대해 부호화를 수행하여 '11100011'을 생성하고, 2그룹 픽셀값에 대해 부호화를 수행하여 '11000001'을 생성한다.
따라서, 제1 부호화부(40)에 의해 부호화된 최종 결과는 16비트의 '11100011 11000001'이 된다. 이때, 16비트의 부호를 간격 없이 붙여 표기하는 것이 일반적이지만, 보기 쉽게 하기 위해 8비트씩 나누어 표기한다.
이후, '11100011 11000001'에 상응하는 2차 부호화 방식이 [수학식 4]라 가정하면, 제2 부호화부(50)는 2차 부호화 결과로서 '10000000'을 생성한다.
따라서, 최종 부호화 결과는 24비트의 '11100011 11000001 10000000' 가 된다.
이를 십진수로 변환하면 14926208이 되는데, 이는 학습 데이터베이스(10)에 기록되어 있지 않다. 그 이유는 학습 데이터베이스 생성시 24비트를 0도, 90도, 180도, 270도 회전시킨 결과의 십진수 값이 최소값을 대표값으로 하여 그에 상응하는 필터와 회전각 정보를 기록하기 때문입니다. 여기서, 90도 회전이란 8비트를 대상으로 최하위 2비트가 최상위 2비트로 이동하는 것을 의미한다.
'11100011 11000001 10000000'를 기준으로 90도 회전시키면,
'11111000 01110000 00100000'이 되고, 이를 90도 더 회전시키면(총 180도),
'00111110 00011100 00001000'이 되고, 이를 90도 더 회전시키면(총 180도),
'10001111 00000111 00000010'이 된다.
이를 십진수로 변환하면 다음과 같다.
'11100011 11000001 10000000' = 14926208
'11111000 01110000 00100000' = 16281632 (90도 회전)
'00111110 00011100 00001000' = 4070408 (180도 회전)
'10001111 00000111 00000010' = 9373442 (270도 회전)
여기서, 최소값이 180도 회전했을 때이므로, 학습 데이터베이스(10)에는 4070408을 인덱스로 해당 필터와 회전각(180도)가 저장된다.
결국, 제2 부호화부(50)에 의해 최종 부호화된 결과가 '11100011 11000001 10000000'인 경우, 제2 영상 생성부(60)는 학습 데이터베이스(10)에서 '4070408'에 상응하는 필터를 검색하고, 아울러 [수학식 6]을 적용할 때 [수학식 7]의 180도 회전 시의 필터를 적용하여 HR 영상을 생성한다.
만일, 제2 부호화부(50)에 의해 최종 부호화된 결과가 '00111110 00011100 00001000'라면 '4070408'에 상응하는 필터를 이용하되, 회전각은 적용하지 않는다.
다음으로, 영상 병합부(70)는 제1 영상 생성부(30)에 의해 생성된 HR 영상의 블록과 제2 영상 생성부(30)에 의해 생성된 HR 영상의 블록을 병합하여 최종 HR 영상을 생성한다.
이렇게 생성된 최종 HR 영상(도 4의 (b), 도 5의 (b))은, 종래의 쌍선형보간법(도 4의 (a), 도 5의 (a))에 비해 선명도가 높음을 알 수 있다.
한편, 블록별 보간을 통해 얻어진 출력 블록은 서로 인접한 출력블록의 보간 방법 및 선명도의 차이에 의해 블록화 현상이 발생할 수 있다. 따라서 본 발명에서 영상 병합부(70)는 블록화 현상 및 인접한 블록의 선명도 차이를 극복하기 위해서 보간 수행 시 블록간 일부 중복이 발생하도록 한다. 최종 정합 시 같은 위치에서 발생하는 중복 픽셀은 평균값을 구하여 최종적인 HR 픽셀을 결정한다. 또한, 5×5블록 전체정보를 업데이트 하는 것보다 학습 시 상관(correlation)이 가장 높은 중심 3×3블록만을 사용하는 것이 더 신뢰성이 있다. 또한, 중심 3×3 위치의 필터만을 가지고 있음으로써 학습 데이터베이스(dictionary)의 메모리를 절약할 수 있다.
도 6 은 본 발명에 따른 고해상도 영상 생성 방법에 대한 일실시예 흐름도이다.
먼저, 분류부(20)가 LR 영상을 블록으로 구분한 후 각 블록 내 픽셀값의 표준편차를 기반으로 평탄 블록과 비평탄 블록으로 분류한다(601).
이후, 제1 영상 생성부(30)가 평탄 블록으로부터 제1 HR 영상을 생성한다(602).
이후, 제1 부호화부(40)가 비평탄 블록에서 특정 패턴에 해당하는 픽셀값을 기반으로 1차 부호화한다(603).
이후, 제2 부호화부(50)가 상기 1차 부호화 결과에 따라 2차 부호화를 수행하고, 1차 부호화 결과에 2차 부호화 결과를 결합하여 최종 부호를 생성한다(604).
이후, 제2 영상 생성부(60)가 상기 최종 부호의 십진수 값을 인덱싱 주소로 갖는 필터를 학습 데이터베이스에서 검색하여 제2 HR 영상을 생성한다(605).
이후, 영상 병합부(70)가 제1 영상 생성부(30)에 의해 생성된 제1 HR 영상과 제2 영상 생성부(60)에 의해 생성된 제2 HR 영상을 병합하여 최종 HR 영상을 생성한다(606).
한편, 전술한 바와 같은 본 발명의 방법은 컴퓨터 프로그램으로 작성이 가능하다. 그리고 상기 프로그램을 구성하는 코드 및 코드 세그먼트는 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다.　또한, 상기 작성된 프로그램은 컴퓨터가 읽을 수 있는 기록매체(정보저장매체)에 저장되고, 컴퓨터에 의하여 판독되고 실행됨으로써 본 발명의 방법을 구현한다. 그리고 상기 기록매체는 컴퓨터가 판독할 수 있는 모든 형태의 기록매체를 포함한다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
10 : 학습 데이터베이스
20 : 분류부
30 : 제1 영상 생성부
40 : 제1 부호화부
50 : 제2 부호화부
60 : 제2 영상 생성부
70 : 영상 병합부

Claims (12)

  1. LR 영상 내 블록별 패턴의 부호를 인덱싱 주소로 갖는 필터와, 1차 부호화 결과에 상응하는 2차 부호화 방식에 대한 정보를 저장하는 학습 데이터베이스;
    LR 영상을 블록으로 구분한 후 각 블록 내 픽셀값의 표준편차를 기반으로 평탄 블록과 비평탄 블록으로 분류하는 분류부;
    평탄 블록으로부터 HR 영상을 생성하는 제1 영상 생성부;
    비평탄 블록에서 특정 패턴에 해당하는 픽셀값을 기반으로 1차 부호화하는 제1 부호화부;
    상기 1차 부호화 결과에 따라 2차 부호화를 수행하고, 1차 부호화 결과에 2차 부호화 결과를 결합하여 최종 부호를 생성하는 제2 부호화부;
    상기 최종 부호의 십진수 값을 인덱싱 주소로 갖는 필터를 이용하여 HR 영상을 생성하는 제2 영상 생성부; 및
    상기 제1 영상 생성부에 의해 생성된 HR 영상과 상기 제2 영상 생성부에 의해 생성된 HR 영상을 병합하여 최종 HR 영상을 생성하는 영상 병합부를 포함하며,
    상기 특정 패턴은,
    비평탄 블록에서 중심값과 인접해 있는 픽셀값을 1그룹으로 하고, 중심값과 대각선 방향에 위치한 픽셀값으로서 1그룹에 포함되지 않은 픽셀값을 2그룹으로 하는 패턴을 의미하는 것을 특징으로 하는 고해상도 영상 생성 장치.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 제1 부호화부는,
    1그룹의 픽셀값을 부호화하여 8비트의 제1 부호를 생성하고, 2그룹의 픽셀값을 부호화하여 8비트의 제2 부호를 생성하며, 제1 부호와 제2 부호를 순차적으로 나열하여 16비트의 부호를 생성하는 것을 특징으로 하는 고해상도 영상 생성 장치.
  4. 제 3 항에 있어서,
    상기 제2 부호화부는,
    2차 부호화한 8비트의 부호를 상기 제1 부호화부에 의해 생성된 16비트의 부호 뒤에 붙여 최종 24비트의 부호를 생성하는 것을 특징으로 하는 고해상도 영상 생성 장치.
  5. 제 4 항에 있어서,
    상기 제2 영상 생성부는,
    상기 24비트 부호의 십진수 값을 인덱싱 주소로 갖는 필터가 학습 데이터베이스에 저장되어 있지 않은 경우, 상기 24비트를 시프트 시킨 후 그 결과의 십진수 값에 상응하는 필터를 검색하는 것을 특징으로 하는 고해상도 영상 생성 장치.
  6. 제 1 항에 있어서,
    상기 영상 병합부는,
    상기 제1 영상 생성부에 의해 생성된 HR 영상과 상기 제2 영상 생성부에 의해 생성된 HR 영상을 병합시, 일부 중복(overlapping)이 발생하도록 하되 중복 픽셀의 픽셀값은 각 픽셀값의 평균값으로 결정하는 것을 특징으로 하는 고해상도 영상 생성 장치.
  7. 분류부가 LR 영상을 블록으로 구분한 후 각 블록 내 픽셀값의 표준편차를 기반으로 평탄 블록과 비평탄 블록으로 분류하는 단계;
    제1 영상 생성부가 평탄 블록으로부터 제1 HR 영상을 생성하는 단계;
    제1 부호화부가 비평탄 블록에서 특정 패턴에 해당하는 픽셀값을 기반으로 1차 부호화하는 단계;
    제2 부호화부가 상기 1차 부호화 결과에 따라 2차 부호화를 수행하고, 1차 부호화 결과에 2차 부호화 결과를 결합하여 최종 부호를 생성하는 단계;
    제2 영상 생성부가 상기 최종 부호의 십진수 값을 인덱싱 주소로 갖는 필터를 학습 데이터베이스에서 검색하여 제2 HR 영상을 생성하는 단계; 및
    영상 병합부가 상기 제1 HR 영상과 상기 제2 HR 영상을 병합하여 최종 HR 영상을 생성하는 단계를 포함하며,
    상기 특정 패턴은,
    비평탄 블록에서 중심값과 인접해 있는 픽셀값을 1그룹으로 하고, 중심값과 대각선 방향에 위치한 픽셀값으로서 1그룹에 포함되지 않은 픽셀값을 2그룹으로 하는 패턴을 의미하는 것을 특징으로 하는 고해상도 영상 생성 방법.
  8. 삭제
  9. 제 7 항에 있어서,
    상기 1차 부호화단계는,
    1그룹의 픽셀값을 부호화하여 8비트의 제1 부호를 생성하는 단계;
    2그룹의 픽셀값을 부호화하여 8비트의 제2 부호를 생성하는 단계;
    제1 부호와 제2 부호를 순차적으로 나열하여 16비트의 부호를 생성하는 단계
    를 포함하는 고해상도 영상 생성 방법.
  10. 제 9 항에 있어서,
    상기 2차 부호화단계는,
    상기 1차 부호화 결과에 상응하는 2차 부호화 방식으로 2차 부호화를 수행하는 단계; 및
    2차 부호화한 8비트의 부호를 상기 제1 부호화부에 의해 생성된 16비트의 부호 뒤에 붙여 최종 24비트의 부호를 생성하는 단계
    를 포함하는 고해상도 영상 생성 방법.
  11. 제 10 항에 있어서,
    상기 제2 HR 영상 생성단계는,
    상기 24비트 부호의 십진수 값을 인덱싱 주소로 갖는 필터가 학습 데이터베이스에 저장되어 있지 않은 경우, 상기 24비트를 시프트 시킨 후 그 결과의 십진수 값에 상응하는 필터를 검색하는 단계
    를 더 포함하는 고해상도 영상 생성 방법.
  12. 제 7 항에 있어서,
    상기 최종 HR 영상을 생성하는 단계는,
    상기 제1 영상 생성부에 의해 생성된 HR 영상과 상기 제2 영상 생성부에 의해 생성된 HR 영상을 병합시, 일부 중복(overlapping)이 발생하도록 하되 중복 픽셀의 픽셀값은 각 픽셀값의 평균값으로 결정하는 것을 특징으로 하는 고해상도 영상 생성 방법.
KR1020150134002A 2015-09-22 2015-09-22 고해상도 영상 생성 장치 및 그 방법 KR101664743B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150134002A KR101664743B1 (ko) 2015-09-22 2015-09-22 고해상도 영상 생성 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150134002A KR101664743B1 (ko) 2015-09-22 2015-09-22 고해상도 영상 생성 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR101664743B1 true KR101664743B1 (ko) 2016-10-12

Family

ID=57173600

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150134002A KR101664743B1 (ko) 2015-09-22 2015-09-22 고해상도 영상 생성 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101664743B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020204287A1 (en) * 2019-04-02 2020-10-08 Samsung Electronics Co., Ltd. Display apparatus and image processing method thereof
KR20220021493A (ko) * 2020-08-14 2022-02-22 주식회사 지디에프랩 이미지 분할 기반 해상도 개선 방법 및 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010073582A1 (ja) * 2008-12-22 2010-07-01 パナソニック株式会社 画像拡大装置、方法、集積回路及びプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010073582A1 (ja) * 2008-12-22 2010-07-01 パナソニック株式会社 画像拡大装置、方法、集積回路及びプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020204287A1 (en) * 2019-04-02 2020-10-08 Samsung Electronics Co., Ltd. Display apparatus and image processing method thereof
US10909700B2 (en) 2019-04-02 2021-02-02 Samsung Electronics Co., Ltd. Display apparatus and image processing method thereof
KR20220021493A (ko) * 2020-08-14 2022-02-22 주식회사 지디에프랩 이미지 분할 기반 해상도 개선 방법 및 장치
KR102478814B1 (ko) * 2020-08-14 2022-12-19 주식회사 지디에프랩 이미지 분할 기반 해상도 개선 방법 및 장치

Similar Documents

Publication Publication Date Title
US4020463A (en) Apparatus and a method for storage and retrieval of image patterns
US7950589B2 (en) Program, information storage medium, two-dimensional code generation system, image generation system and printed material
AU700606B2 (en) Method and apparatus for compressing and decompressing three-dimensional digital data using fractal transform
JPS5932029B2 (ja) イメ−ジ・サイズ変更装置
WO2019065536A1 (ja) 再構成方法および再構成装置
CN111666442B (zh) 一种图像检索方法、装置及计算机设备
KR102157610B1 (ko) 초고해상도 디지털 이미지 생성을 통한 자동화 구조물 손상 검출 시스템 및 그 방법
EP3343446A1 (en) Method and apparatus for encoding and decoding lists of pixels
Chang et al. Data hiding for vector quantization images using mixed-base notation and dissimilar patterns without loss of fidelity
CN115482382A (zh) 一种基于Transformer架构的图像语义分割方法
JP3592168B2 (ja) 画像データの符号化復号化方法及び装置
KR101664743B1 (ko) 고해상도 영상 생성 장치 및 그 방법
Ebadi et al. Video data compression by progressive iterative approximation
BR112014016400B1 (pt) Método e sistema para processar uma imagem, e, método para gerar uma distribuição estatística de referência de valores de uma característica local de ponto chave
TWI567654B (zh) 圖像條碼編碼方法、圖像條碼解碼方法、圖像條碼編碼裝置及圖像條碼解碼裝置
Lin et al. Pixel-based fragile image watermarking based on absolute moment block truncation coding
Akhyar et al. A beneficial dual transformation approach for deep learning networks used in steel surface defect detection
CN115861922A (zh) 一种稀疏烟火检测方法、装置、计算机设备及存储介质
JP2019114201A (ja) 情報処理装置、情報処理方法、及びプログラム
KR20150062215A (ko) 블록 기반 고속 센서스 변환을 이용한 스테레오 매칭 방법 및 그 장치
CN115577728B (zh) 一维码定位方法、装置、计算机设备及存储介质
JPH1013842A (ja) マルコフモデル画像符号化装置
Hu et al. Image vector quantization using geometric transform and lossless index coding
KR102442980B1 (ko) Erp 기반 다시점 360도 영상의 초해상화 방법 및 영상처리장치
KR20100101812A (ko) 객체 움직임 분석을 위한 체인 코드 표현 장치 및 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190926

Year of fee payment: 4