KR20160082704A - Tv 영상용 초해상 처리 방법 및 이 방법에 따른 tv 영상용 초해상 처리 장치, 제1~제14 초해상 처리 프로그램과 제1~제4 기억 매체 - Google Patents
Tv 영상용 초해상 처리 방법 및 이 방법에 따른 tv 영상용 초해상 처리 장치, 제1~제14 초해상 처리 프로그램과 제1~제4 기억 매체 Download PDFInfo
- Publication number
- KR20160082704A KR20160082704A KR1020167015372A KR20167015372A KR20160082704A KR 20160082704 A KR20160082704 A KR 20160082704A KR 1020167015372 A KR1020167015372 A KR 1020167015372A KR 20167015372 A KR20167015372 A KR 20167015372A KR 20160082704 A KR20160082704 A KR 20160082704A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- luminance distribution
- function
- psf
- estimated
- Prior art date
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 47
- 238000012545 processing Methods 0.000 title claims description 260
- 238000000034 method Methods 0.000 title claims description 209
- 238000003860 storage Methods 0.000 title claims description 23
- 238000009826 distribution Methods 0.000 claims abstract description 890
- 238000004364 calculation method Methods 0.000 claims abstract description 151
- 230000006866 deterioration Effects 0.000 claims abstract description 83
- 230000003252 repetitive effect Effects 0.000 claims abstract description 21
- 230000008569 process Effects 0.000 claims description 123
- 238000002360 preparation method Methods 0.000 claims description 111
- 238000012795 verification Methods 0.000 claims description 52
- 238000003384 imaging method Methods 0.000 claims description 49
- 238000007476 Maximum Likelihood Methods 0.000 claims description 30
- 230000003287 optical effect Effects 0.000 claims description 26
- 238000006243 chemical reaction Methods 0.000 claims description 16
- 230000002194 synthesizing effect Effects 0.000 claims description 16
- 230000009191 jumping Effects 0.000 claims description 15
- 230000003247 decreasing effect Effects 0.000 claims description 4
- 230000003111 delayed effect Effects 0.000 claims description 4
- 101150046368 PSF1 gene Proteins 0.000 claims description 2
- 230000006870 function Effects 0.000 description 263
- 239000000758 substrate Substances 0.000 description 19
- 238000012360 testing method Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 230000008859 change Effects 0.000 description 10
- 238000012937 correction Methods 0.000 description 9
- 238000000605 extraction Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
- G06T3/4076—Super resolution, i.e. output image resolution higher than sensor resolution by iteratively correcting the provisional high resolution image using the original low-resolution image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/001—Image restoration
- G06T5/003—Deblurring; Sharpening
-
- G06T5/73—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
- H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Abstract
본 발명은, TV 영상의 열화 정도에 따라 특정된 PSF의 휘도 분포, TV 영상의 Y(휘도) 성분으로 이루어지는 열화 화상의 휘도 분포 및 복원 화상 초기값의 추정 휘도 분포를 입력 정보로서 Bayse 확률론에 기초한 실수 베이스의 반복 연산을 복수회 실행하는 소프트웨어 또는 하드웨어에 의한 PSF 복원 수단 및 화상 복원 수단을 이용하여 열화 화상의 휘도 분포에 가장 그럴듯한 복원 화상의 추정 휘도 분포를 구하고 이를 열화 화상의 휘도 분포를 추출하였을 때의 TV 영상의 Y성분과 바꿈으로써 거의 실시간으로 열화 전의 상태에 가까운 TV 영상을 제공함으로써 상기 과제를 해결한다.
Description
본 발명은 TV 영상의 화상 처리에 관한 것으로, 특히 TV 영상에 포함되는 광학적인 흐려짐이나 번짐 등의 열화된 정보를 Bayse 확률론에 기초한 수학적인 연산 처리에 의해 제거하고 열화되기 전의 원화상을 복원하기 위한 TV 영상용 초해상 처리 방법 및 이 방법에 따른 TV 영상용 초해상 처리 장치에 관한 것이다.
TV 영상은 1초 동안 30장 이상의 프레임이라고 불리는 정지화상으로 구성되어 있고, 각 프레임은 디지털 및 아날로그를 불문하고 선명하지 않을 정도로 흐려지지는 않지만 광학적인 흐려짐이나 번짐 등의 열화된 정보를 포함하고 있다는 문제가 있다.
도 1은 실제 TV 영상을 구성하는 프레임이 포함하는 광학적 열화 정보의 일례를 도시한 것이다. 도 1은 2장의 화상으로 이루어지고, 좌측 화상은 X선 핀홀 카메라의 TV 영상의 Y(휘도 성분)만으로 이루어지는 1프레임이며, 한편 우측 화상은 좌측 화상을 본 발명자가 발명하여 등록 완료한 초해상 기술(특허문헌 1~2)에 의해 열화 전의 화상을 복원한 것이다. 도 1의 두 화상을 비교하면, 실제 TV 영상을 구성하는 프레임, 즉 TV 영상에는 광학적 열화 정보가 포함되어 있고 초해상의 필요가 있다.
본 발명자가 발명한 초해상 기술(특허문헌 1~2)은, 광학적인 흐려짐이나 번짐 등의 열화 정보를 포함하는 정지영상 1장의 정보로부터 반복 연산을 반복하는 동안에 Bayse법에 의해 정지영상의 휘도 분포에 가장 그럴듯한 최우 열화 요인 및 최우 복원 화상의 휘도 분포 즉 선예화(鮮銳化) 화상을 수치 연산에 의해 구하는 것인데, 계산에 필요로 하는 연산 처리량이 방대하기 때문에 실시간 처리를 필요로 하는 TV 영상을 취급하는 것은 어렵다는 문제가 있었다.
종래의 TV 영상용 초해상 기술 중 하나는, TV 영상을 구성하는 복수 프레임 내의 동일 피사체에 착안하여 동일 피사체를 위치 맞춤함으로써 복수 프레임을 겹쳐맞추어 초해상화를 행하는 「재구성형 초해상」 방법(특허문헌 3, 4)이 있고, 제품화되어 있다.
그러나, 움직임이 심한 장면이나 줌인/줌아웃이 심하게 이루어지는 장면 등 피사체의 크기가 크게 변화하는 경우나 피사체가 복수의 프레임에 비치지 않는 경우, 「재구성형 초해상」 방법에 의한 초해상은 어려워지는 문제가 있었다.
다른 방법으로서는, 비특허문헌 1에 있는 바와 같이 비디오 카메라에 의해 얻어지는 서로 조금씩 시점이 다른 연속된 복수의 정지화상을 기초로 Bayes 통계 처리를 행하여 초해상화된 정지영상을 얻는 방법이 있다.
그러나, 이 방법에서는 항상 복수의 열화 정보를 포함하는 정지화상을 축적하기 위한 메모리가 대량으로 필요하고, 게다가 1장의 초해상화된 정지영상을 얻기 위해서는 항상 복수의 정지화상을 처리할 필요가 있기 때문에 계산이 방대해지고 TV 영상을 처리할 수 없다는 문제가 있었다.
비특허문헌 1: 가네무라 아츠노리 등 「베이즈 초해상과 계층 모델링」 일본 신경회로 학회지, vol.15, No.3(2008), 181-192
특허문헌 1~4 및 비특허문헌 1에 기재된 어떤 방법에서도 광학적인 흐려짐이나 번짐 등의 열화 정보를 포함한 1프레임만의 정보에 기초하여 TV 영상을 초해상 처리할 수는 없다는 문제가 있었다.
그래서, 본 발명은 이들 상기 문제를 해결하여 TV 영상을 초해상 처리하기 위한 TV 영상의 초해상 처리 방법 및 이 방법을 실현하기 위한 TV 영상의 초해상 처리 장치를 제공하는 것을 과제로 한다.
상기 과제를 해결하기 위해, 본 발명에 의한 제1 발명은, TV 영상을 구성하는 1프레임의 광학적 열화를 저감하여 열화 전의 프레임을 복원한 초해상 TV 영상 신호를 출력함으로써 TV 영상을 복원하는 TV 영상용 제1 초해상 처리 방법을 제공한다. 이 제1 발명은, 청구항 1에 기재된 것과 동일한 것이다.
본 발명에 의한 제1 발명인 TV 영상용 제1 초해상 처리 방법은, (S1) 1프레임분의 휘도 분포로 이루어지는 열화 화상의 휘도 분포를 TV 영상으로부터 준비하는 제1 열화 화상 준비 공정과, (S2) 열화 화상의 휘도 분포를 복원 화상 초기값의 추정 휘도 분포로 이루는 공정과, (S3) PSF의 휘도 분포를 특정하는 제1 PSF 특정 공정과, (S4) 특정된 PSF의 휘도 분포를 PSF 초기값의 추정 휘도 분포로 이루는 공정과, (S5) 최대 반복 연산 횟수를 설정하는 공정과, (S6) 반복 연산 횟수를 계수하는 카운터를 리셋하는 공정과, (S7) 복원 화상 초기값의 추정 휘도 분포를 복사하고 이를 보정 복원 화상 초기값의 추정 휘도 분포로 이루고, 나아가 PSF의 휘도 분포를 보정 복원 화상 초기값의 추정 휘도 분포에 컨볼루션 연산할 때에 보정 복원 화상 초기값의 추정 휘도 분포의 주변부에 발생하는 연산 곤란 영역을, PSF의 휘도 분포의 화상 크기를 기초로 하여 연산 곤란 영역을 계산하고, 연산 곤란 영역의 화소를 카피하고, 이 카피한 화소를 보정 복원 화상 초기값의 추정 휘도 분포의 경계 외측에 경계에 대해 미러 대칭이 되도록 배치하도록 페이스트하고, 보정 복원 화상 초기값의 추정 휘도 분포를 보정하여 보정 복원 화상 초기값의 추정 휘도 분포를 얻는 제1 복원 화상 초기값 보정 공정과, (S8) 보정 복원 화상 초기값의 추정 휘도 분포를 열화 화상의 휘도 분포로 이루는 공정과, (S9) PSF 초기값의 추정 휘도 분포를 보정 복원 화상 초기값의 추정 휘도 분포에 컨볼루션하여 제1 함수를 얻는 공정과, (S10) 제1 함수를 반전하여 제2 함수를 얻는 공정과, (S11) 제2 함수에 열화 화상의 휘도 분포를 곱하여 제3 함수를 얻는 공정과, (S12) 보정 복원 화상 초기값의 추정 휘도 분포의 반전 함수를 구하고 이를 제4 함수로 이루는 공정과, (S13) 제4 함수를 제3 함수에 컨볼루션하여 제5 함수를 얻는 공정과, (S14) 제5 함수를 PSF 초기값의 추정 휘도 분포에 곱하여 복원 PSF의 추정 휘도 분포를 얻는 공정과, (S15) 복원 PSF의 추정 휘도 분포를 PSF 초기값의 추정 휘도 분포와 바꾸는 공정과, (S16) 카운터에 1을 가산하는 공정과, (S17) 카운터의 값이 최대 반복 연산 횟수를 넘었다는 가설을 검증하여, 만약 검증 결과가 거짓이면 (S9)의 공정으로 되돌아가지만, 만약 검증 결과가 진실이면 복원 PSF의 추정 휘도 분포를 최우 복원 PSF의 휘도 분포로서 출력하는 공정과, (S18) (S1)~(S8)의 공정으로 구성되는 PSF 복원 연산 준비 공정과, (S19) (S9)~(S17)의 공정으로 구성되는 제1 PSF 복원 연산 공정과, (S20) PSF 복원 연산 준비 공정 및 제1 PSF 복원 연산 공정을 구비하고, PSF 복원 연산 준비 공정 및 제1 PSF 복원 연산 공정에 있어서 S의 첨부 숫자가 작은 순으로 실행함으로써 최대 반복 연산 횟수의 반복 연산을 끝내고 최우 복원 PSF의 휘도 분포를 출력하는 제1 PSF 복원 공정과, (S21) 카운터를 리셋하여 (S23)으로 점프하는 공정과, (S22) 최우 복원 PSF의 휘도 분포의 화상 크기를 기초로 하여 복원 화상 초기값의 추정 휘도 분포를 보정하여 보정 복원 화상 초기값의 추정 휘도 분포를 얻는 제1 복원 화상 초기값 보정 공정과 동일한 처리 순서로 이루어지는 제2 복원 화상 초기값 보정 공정과, (S23) 최우 복원 PSF의 휘도 분포를 보정 복원 화상 초기값의 추정 휘도 분포에 컨볼루션하여 제6 함수를 얻는 공정과, (S24) 제6 함수를 반전하여 제7 함수를 얻는 공정과, (S25) 제7 함수에 열화 화상의 휘도 분포를 곱하여 제8 함수를 얻는 공정과, (S26) 최우 복원 PSF의 휘도 분포의 반전 함수를 구하고 이를 제9 함수로 이루는 공정과, (S27) 제9 함수를 제8 함수에 컨볼루션하여 제10 함수를 얻는 공정과, (S28) 제10 함수를 복원 화상 초기값의 추정 휘도 분포에 곱하여 복원 화상의 추정 휘도 분포를 얻는 공정과, (S29) 복원 화상의 추정 휘도 분포를 복원 화상 초기값의 추정 휘도 분포와 바꾸는 공정과, (S30) 카운터에 1을 가산하는 공정과, (S31) 카운터의 값이 최대 반복 연산 횟수를 넘었다는 가설을 검증하여, 만약 검증 결과가 거짓이면 (S22)의 공정으로 되돌아가지만, 만약 검증 결과가 진실이면 복원 화상의 추정 휘도 분포를 최우 복원 화상의 휘도 분포로서 출력하는 공정과, (S32) (S21)의 공정으로 구성되는 제1 화상 복원 연산 준비 공정과, (S33) (S22)~(S31)의 공정으로 구성되는 제1 화상 복원 연산 공정과, (S34) 제1 화상 복원 연산 준비 공정 및 제1 화상 복원 연산 공정을 구비하고, 제1 화상 복원 연산 준비 공정 및 상기 제1 화상 복원 연산 공정에 있어서 S의 첨부 숫자가 작은 순으로 실행함으로써 최대 반복 연산 횟수의 반복 연산을 끝내고 최우 복원 화상의 휘도 분포를 출력하는 제1 화상 복원 공정과, (S35) 최우 복원 화상의 휘도 분포를 TV 영상화하여 1프레임분의 초해상 TV 영상 신호를 출력하는 제1 TV 영상화 공정을 구비하는 것에 특징이 있다.
본 발명에 의한 제2 발명은, 제1 발명인 TV 영상용 제1 초해상 처리 방법을 구성하는 제1 PSF 복원 연산 공정의 제2 태양으로서의 제2 PSF 복원 연산 공정으로, 청구항 2에 기재된 것과 동일하다. 제1 PSF 복원 연산 공정의 제2 태양은, (S40) PSF 초기값의 추정 휘도 분포를 보정 복원 화상 초기값의 추정 휘도 분포에 컨볼루션하여 제11 함수를 얻는 공정과, (S41) 제11 함수를 반전하여 제12 함수를 얻는 공정과, (S42) 제12 함수에 열화 화상의 휘도 분포를 곱하여 제13 함수를 얻는 공정과, (S43) 보정 복원 화상 초기값의 추정 휘도 분포의 반전 함수를 구하고 이를 제14 함수로 이루는 공정과, (S44) 제14 함수를 제13 함수에 컨볼루션하여 제15 함수를 얻는 공정과, (S45) 제15 함수를 PSF 초기값의 추정 휘도 분포에 곱하여 복원 PSF의 추정 휘도 분포를 얻는 공정과, (S46) 복원 PSF의 추정 휘도 분포를 PSF 초기값의 추정 휘도 분포 및 복원 PSF의 추정 휘도 분포의 최종값으로서 출력하는 공정과, (S47) (S40)~(S46)의 공정을 구비하고, S의 첨부 숫자가 작은 순으로 차례대로 처리함으로써 1회분의 반복 연산을 행하는 단분 PSF 복원 공정과, (S48) 최대 반복 연산 횟수분의 단분 PSF 복원 공정 S47을 직렬로 접속함으로써 구성되는 제2 PSF 복원 연산 공정을 구비하고, 상기 제2 PSF 복원 연산 공정에 있어서, 직렬로 접속된 단분 PSF 복원 공정의 수에 상당하는 횟수의 반복 연산을 행하고, 최종단째의 단분 PSF 복원 공정으로부터 출력되는 복원 PSF의 추정 휘도 분포의 최종값을 최우 복원 PSF의 휘도 분포로서 출력하는 것에 특징이 있다.
본 발명에 의한 제3 발명은, 제1 발명인 TV 영상용 제1 초해상 처리 방법을 구성하는 제1 화상 복원 연산 공정의 제2 태양으로서의 제2 화상 복원 연산 공정으로, 청구항 3에 기재된 것과 동일하다. 제1 화상 복원 연산 공정의 제2 태양은, (S50) 최우 복원 PSF의 휘도 분포의 화상 크기를 기초로 하여 복원 화상 초기값의 추정 휘도 분포를 보정하여 보정 복원 화상 초기값의 추정 휘도 분포를 얻는 제1 복원 화상 초기값 보정 공정과 동일한 처리 순서로 이루어지는 제3 복원 화상 초기값 보정 공정과, (S51) 최우 복원 PSF의 휘도 분포를 보정 복원 화상 초기값의 추정 휘도 분포에 컨볼루션하여 제16 함수를 얻는 공정과, (S52) 제16 함수를 반전하여 제17 함수를 얻는 공정과, (S53) 제17 함수에 열화 화상의 휘도 분포를 곱하여 제18 함수를 얻는 공정과, (S54) 최우 복원 PSF의 휘도 분포의 반전 함수를 구하고 이를 제19 함수로 이루는 공정과, (S55) 제19 함수를 제18 함수에 컨볼루션하여 제20 함수를 얻는 공정과, (S56) 제20 함수를 복원 화상 초기값의 추정 휘도 분포에 곱하여 복원 화상의 추정 휘도 분포를 얻는 공정과, (S57) 복원 화상의 추정 휘도 분포를 복원 화상 초기값의 추정 휘도 분포 및 복원 화상의 추정 휘도 분포의 최종값으로서 출력하는 공정과, (S58) (S50)~(S57)의 공정을 구비하고, S의 첨부 숫자가 작은 순으로 차례대로 처리함으로써 1회분의 반복 연산을 행하는 제1 단분 화상 복원 공정과, (S59) 최대 반복 연산 횟수분의 제1 단분 화상 복원 공정을 직렬로 접속함으로써 구성되는 제2 화상 복원 연산 공정을 구비하고, 상기 제2 화상 복원 연산 공정에 있어서, 직렬로 접속된 제1 단분 화상 복원 공정의 수에 상당하는 횟수의 반복 연산을 행하고, 최종단째의 제1 단분 화상 복원 공정으로부터 출력되는 복원 화상의 추정 휘도 분포의 최종값을 최우 복원 화상의 휘도 분포로서 출력하는 것에 특징이 있다.
본 발명에 의한 제4 발명은, TV 영상을 구성하는 1프레임의 광학적 열화를 저감하여 열화 전의 프레임을 복원한 초해상 TV 영상 신호를 출력함으로써 TV 영상을 복원하는 TV 영상용 제2 초해상 처리 방법으로, 청구항 4에 기재된 것과 동일하다. TV 영상용 제2 초해상 처리 방법은, (S60) TV 영상을 보면서 TV 영상의 열화 상황에 적합한 PSF의 휘도 분포를 특정하는 제2 PSF 특정 공정과, (S61) 1프레임분의 휘도 분포로 이루어지는 열화 화상의 휘도 분포를 TV 영상으로부터 준비하는 제2 열화 화상 준비 공정과, (S62) 열화 화상의 휘도 분포를 복사하고 이를 복원 화상 초기값의 추정 휘도 분포로 이루고, 나아가 PSF의 휘도 분포의 화상 크기를 기초로 하여 복원 화상 초기값의 추정 휘도 분포를 보정하여 보정 복원 화상 초기값의 추정 휘도 분포를 얻는 제1 복원 화상 초기값 보정 공정과 동일한 처리 순서로 이루어지는 제4 복원 화상 초기값 보정 공정과, (S63) 보정 복원 화상 초기값의 추정 휘도 분포를 열화 화상의 휘도 분포로 이루는 공정과, (S64) 최대 반복 연산 횟수를 설정하는 공정과, (S65) 반복 연산 횟수를 계수하는 카운터를 0으로 리셋하는 공정과, (S66) 특정된 PSF의 휘도 분포를 보정 복원 화상 초기값의 추정 휘도 분포에 컨볼루션하여 제21 함수를 얻는 공정과, (S67) 제21 함수를 반전하여 제22 함수를 얻는 공정과, (S68) 제22 함수에 열화 화상의 휘도 분포를 곱하여 제23 함수를 얻는 공정과, (S69) PSF의 휘도 분포의 반전 함수를 구하고 이를 제24 함수로 이루는 공정과, (S70) 제24 함수를 제23 함수에 컨볼루션하여 제25 함수를 얻는 공정과, (S71) 제25 함수를 복원 화상 초기값의 추정 휘도 분포에 곱하여 복원 화상의 추정 휘도 분포를 얻는 공정과, (S72) 복원 화상의 추정 휘도 분포를 복원 화상 초기값의 추정 휘도 분포와 바꾸는 공정과, (S73) 카운터에 1을 가산하는 공정과, (S74) 카운터의 값이 최대 반복 연산 횟수 이상이라는 가설을 검증하여, 만약 검증 결과가 거짓인 경우에는 (S75)의 공정으로 점프하지만, 만약 검증 결과가 진실인 경우에 (S77)의 공정으로 점프하는 공정과, (S75) PSF의 휘도 분포의 화상 크기를 기초로 하여 복원 화상 초기값의 추정 휘도 분포를 보정하여 보정 복원 화상 초기값의 추정 휘도 분포를 얻는 제1 복원 화상 초기값 보정 공정과 동일한 처리 순서로 이루어지는 제5 복원 화상 초기값 보정 공정과, (S76) S66으로 점프하는 공정과, (S77) 복원 화상의 추정 휘도 분포를 최우 복원 화상의 휘도 분포로서 출력하는 공정과, (S78) (S60)~(S65)의 공정으로 구성되는 제2 화상 복원 연산 준비 공정과, (S79) (S66)~(S77)의 공정으로 구성되는 제3 화상 복원 연산 공정과, (S80) 제2 화상 복원 연산 준비 공정 및 제3 화상 복원 연산 공정을 구비하고, S의 첨부 숫자가 작은 순으로 실행함으로써 최대 반복 연산 횟수의 반복 연산을 끝내고 최우 복원 화상의 휘도 분포를 출력하는 제2 화상 복원 공정과, (S81) 최우화된 최우 복원 화상의 휘도 분포를 TV 영상화하여 1프레임분의 초해상 TV 영상 신호를 출력하는 제2 TV 영상화 공정을 구비하는 것에 특징이 있다.
본 발명에 의한 제5 발명은, 제4 발명인 TV 영상용 제2 초해상 처리 방법을 구성하는 제3 화상 복원 연산 공정의 제2 태양으로서의 제4 화상 복원 연산 공정으로, 청구항 5에 기재된 것과 동일하다. 제3 화상 복원 연산 공정의 제2 태양은, (S85) PSF의 휘도 분포의 화상 크기를 기초로 하여 복원 화상 초기값의 추정 휘도 분포를 보정하여 보정 복원 화상 초기값의 추정 휘도 분포를 얻는 제1 복원 화상 초기값 보정 공정과 동일한 처리 순서로 이루어지는 제6 복원 화상 초기값 보정 공정과, (S86) PSF의 휘도 분포에 보정 복원 화상 초기값의 추정 휘도 분포를 컨볼루션하여 제26 함수를 얻는 공정과, (S87) 제26 함수를 반전하여 제27 함수를 얻는 공정과, (S88) 제27 함수에 열화 화상의 휘도 분포를 곱하여 제28 함수를 얻는 공정과, (S89) PSF의 휘도 분포의 반전 함수를 구하고 이를 제29 함수로 이루는 공정과, (S90) 제29 함수를 제28 함수에 컨볼루션하여 제30 함수를 얻는 공정과, (S91) 제30 함수를 복원 화상 초기값의 추정 휘도 분포에 곱하여 복원 화상의 추정 휘도 분포를 얻는 공정과, (S92) 복원 화상의 추정 휘도 분포를 복원 화상 초기값의 추정 휘도 분포 및 복원 화상의 추정 휘도 분포의 최종값으로서 출력하는 공정과, (S93) (S85)~(S92)의 공정을 구비하고, S의 첨부 숫자가 작은 순으로 처리함으로써 1회분의 반복 연산을 행하는 제2 단분 화상 복원 공정과, (S94) 최대 반복 연산 횟수분의 제2 단분 화상 복원 공정을 직렬로 접속함으로써 구성되는 제4 화상 복원 연산 공정을 구비하고, 이 제4 화상 복원 연산 공정에 있어서, 직렬로 접속된 제2 단분 화상 복원 공정의 수에 상당하는 횟수의 반복 연산을 행하고, 최종단째의 제2 단분 화상 복원 공정으로부터 출력되는 복원 화상의 추정 휘도 분포의 최종값을 최우 복원 화상의 휘도 분포로서 출력하는 것에 특징이 있다.
본 발명에 의한 제6 발명은, 제4 발명인 TV 영상용 제2 초해상 처리 방법을 구성하는 제3 화상 복원 연산 공정의 제3 태양으로서의 제5 화상 복원 연산 공정으로, 청구항 6에 기재된 것과 동일하다. 제3 화상 복원 연산 공정의 제3 태양은, (S100) 반복 연산 횟수를 계수하는 카운터를 리셋하는 공정과, (S101) 카운터의 값이 0 이외라는 가설을 검증하여, 만약 검증 결과가 거짓이면 (S102)로 점프하고, 만약 검증 결과가 진실이면 (S103)으로 점프하는 공정과, (S102) 열화 화상의 휘도 분포를 열화 화상의 휘도 분포 저장용 버퍼 및 복원 화상 초기값의 추정 휘도 분포용 버퍼에 전송하는 공정과, (S103) 복원 화상 초기값의 추정 휘도 분포용 버퍼로부터 복원 화상 초기값의 추정 휘도 분포를 읽어들이는 공정과, (S104) PSF의 휘도 분포의 화상 크기를 기초로 하여 복원 화상 초기값의 추정 휘도 분포를 보정하여 보정 복원 화상 초기값의 추정 휘도 분포를 얻는 제1 복원 화상 초기값 보정 공정과 동일한 처리 순서로 이루어지는 제7 복원 화상 초기값 보정 공정과, (S105) PSF의 휘도 분포를 보정 복원 화상 초기값의 추정 휘도 분포에 컨볼루션하여 제31 함수를 얻는 공정과, (S106) 제31 함수를 반전하여 제32 함수를 얻는 공정과, (S107) 제32 함수에 열화 화상의 휘도 분포를 곱하여 제33 함수를 얻는 공정과, (S108) PSF의 휘도 분포의 반전 함수를 구하고 이를 제34 함수로 이루는 공정과, (S109) 제34 함수를 제33 함수에 컨볼루션하여 제35 함수를 얻는 공정과, (S110) 제35 함수를 복원 화상 초기값의 추정 휘도 분포에 곱하여 복원 화상의 추정 휘도 분포를 얻는 공정과, (S111) 카운터에 1을 가산하는 공정과, (S112) 카운터의 값이 최대 반복 연산 횟수를 넘는다는 가설을 검증하여, 만약 검증 결과가 거짓이면 (S113)으로 점프하고, 만약 검증 결과가 진실이면 (S115)로 점프하는 공정과, (S113) 복원 화상의 추정 휘도 분포를 복원 화상 초기값의 추정 휘도 분포용 버퍼에 전송하는 공정과, (S114) (S103)으로 점프하는 공정과, (S115) 복원 화상의 추정 휘도 분포를 최우 복원 화상의 휘도 분포로서 출력하는 공정과, (S116) (S100)~(S115)의 공정을 구비하고, S의 첨부 숫자가 작은 순으로 차례대로 실행함으로써 최대 반복 연산 횟수의 반복 연산을 끝내고 최우 복원 화상의 휘도 분포를 출력하는 제5 화상 복원 연산 공정을 구비하는 것에 특징이 있다.
본 발명에 의한 제7 발명은, 제1 발명인 TV 영상용 제1 초해상 처리 방법을 구성하는 제1 PSF 특정 공정 및 제4 발명인 TV 영상용 제2 초해상 처리 방법을 구성하는 제2 PSF 특정 공정에 관한 것으로, 이들 제1 PSF 특정 공정 및 제2 PSF 특정 공정은, (S120) 모니터에 비춰지는 TV 영상의 광학적인 열화 정도에 따른 열화 지수를 설정하는 공정과, (S121) 열화 지수에 관련된 PSF의 휘도 분포를 PSF의 휘도 분포 데이터베이스로부터 추출하여 출력하는 공정을 구비하는 것에 특징이 있다. 제7 발명은 청구항 7에 기재된 것과 동일하다.
본 발명에 의한 제8 발명은, 제1 발명인 TV 영상용 제1 초해상 처리 방법을 구성하는 제1 열화 화상 준비 공정 및 제4 발명인 TV 영상용 제2 초해상 처리 방법을 구성하는 제2 열화 화상 준비 공정에 관한 것으로, 이들 제1 열화 화상 준비 공정 및 제2 열화 화상 준비 공정은, (S130) 1프레임분의 TV 영상 신호로부터 프레임을 구성하는 RGB 신호를 취출하는 RGB 신호 추출 공정과, (S131) 1프레임분의 TV 영상 신호 중에서 RGB 신호를 취출한 나머지 TV 영상 신호를 1프레임분 지연하여 출력하는 지연 공정과, (S132) RGB 신호를 YUV 변환하여 YUV 신호로 이루는 YUV 변환 공정과, (S133) YUV 신호 중에서 휘도 성분인 Y 신호만으로 이루어지는 열화 화상의 휘도 분포를 추출하여 Y 열화 화상의 휘도 분포로 이루고, 나머지 U 신호만으로 이루어지는 U 열화 화상의 분포 및 V 신호만으로 이루어지는 V 열화 화상의 분포를 보유하는 Y 열화 화상 추출 공정과, (S134) Y 열화 화상의 휘도 분포의 디감마 처리를 행하고 1프레임분의 휘도 분포로 이루어지는 열화 화상의 휘도 분포로 이루어 출력하는 디감마 처리 공정을 구비하는 것에 특징이 있다. 제8 발명은 청구항 8에 기재된 것과 동일하다.
본 발명에 의한 제9 발명은, 제1 발명인 TV 영상용 제1 초해상 처리 방법을 구성하는 제1 TV 영상화 공정 및 제4 발명인 TV 영상용 제2 초해상 처리 방법을 구성하는 제2 TV 영상화 공정에 관한 것으로, 이들 제1 TV 영상화 공정 및 제2 TV 영상화 공정은, (S140) 최우 복원 화상의 휘도 분포의 감마 처리를 행하는 감마 처리 공정과, (S141) Y 열화 화상 추출 공정에서 보유한 U 열화 화상의 분포 및 V 열화 화상의 분포와 Y성분으로 이루어지는 감마 처리 후의 최우 복원 화상의 휘도 분포로부터 1장의 YUV 복원 화상의 분포를 합성하는 복원 화상 합성 공정과, (S142) YUV 복원 화상의 분포의 RGB 변환을 행하여 RGB 복원 화상의 분포로 이루는 RGB 변환 공정과, (S143) RGB 복원 화상의 분포를 판독하여 RGB 신호를 출력하는 RGB 신호 변환 공정과, (S144) RGB 신호를 지연 공정이 출력하는 RGB 신호를 제외한 1프레임분의 TV 영상 신호와 합성하여 1프레임분의 초해상 TV 영상 신호로 이루어 출력하는 TV 영상 신호 합성 공정을 구비하는 것에 특징이 있다. 제9 발명은 청구항 9에 기재된 것과 동일하다.
본 발명에 의한 제10 발명은, 제1~제3 발명인 TV 영상용 제1 초해상 처리 방법을 구성하는 PSF의 휘도 분포 및 제4~5 발명인 TV 영상용 제2 초해상 처리 방법을 구성하는 PSF의 휘도 분포에 관한 것으로, 이 PSF의 휘도 분포는 가장자리가 없는 정사각형상의 동일 크기의 화소로 이루어지는 것으로, 중심이 가장 밝은 2차원 정규 분포이고, 그 크기가 5×5화소인 것에 특징이 있다. 제10 발명은 청구항 10에 기재된 것과 동일하다.
본 발명에 의한 제11 발명은, 제1 발명인 TV 영상용 제1 초해상 처리 방법을 구성하는 제1 PSF 복원 공정 및 제1 화상 복원 공정 내의 모든 공정을 실행시키기 위한 제1 초해상 처리 프로그램으로, 청구항 11에 기재된 것과 동일하다.
본 발명에 의한 제12 발명은, 제1~2 발명인 TV 영상용 제1 초해상 처리 방법을 구성하는 PSF 복원 연산 준비 공정, 제2 PSF 복원 연산 공정 및 제1 화상 복원 공정 내의 모든 공정을 실행시키기 위한 제2 초해상 처리 프로그램으로, 청구항 12에 기재된 것과 동일하다.
본 발명에 의한 제13 발명은, 제1 및 제3 발명인 TV 영상용 제1 초해상 처리 방법을 구성하는 제1 PSF 복원 공정, 제1 화상 복원 연산 준비 공정 및 제2 화상 복원 연산 공정 내의 모든 공정을 실행시키기 위한 제3 초해상 처리 프로그램으로, 청구항 13에 기재된 것과 동일하다.
본 발명에 의한 제14 발명은, 제1~3 발명인 TV 영상용 제1 초해상 처리 방법을 구성하는 PSF 복원 연산 준비 공정, 제2 PSF 복원 연산 공정, 제1 화상 복원 연산 준비 공정 및 제2 화상 복원 연산 공정 내의 모든 공정을 실행시키기 위한 제4 초해상 처리 프로그램으로, 청구항 14에 기재된 것과 동일하다.
본 발명에 의한 제15 발명은, 제4 발명인 TV 영상용 제2 초해상 처리 방법을 구성하는 제2 화상 복원 공정 내의 모든 공정을 실행시키기 위한 제5 초해상 처리 프로그램으로, 청구항 15에 기재된 것과 동일하다.
본 발명에 의한 제16 발명은, 제4~5 발명인 TV 영상용 제2 초해상 처리 방법을 구성하는 제2 화상 복원 연산 준비 공정 및 제4 화상 복원 연산 공정 내의 모든 공정을 실행시키기 위한 제6 초해상 처리 프로그램으로, 청구항 16에 기재된 것과 동일하다.
본 발명에 의한 제17 발명은, 제4 및 제6 발명인 TV 영상용 제2 초해상 처리 방법을 구성하는 제2 화상 복원 연산 준비 공정 및 제5 화상 복원 연산 공정 내의 모든 공정을 실행시키기 위한 제7 초해상 처리 프로그램으로, 청구항 17에 기재된 것과 동일하다.
본 발명에 의한 제18 발명은, 제1, 제7~10 발명인 TV 영상용 제1 초해상 처리 방법을 이용하여 TV 영상을 구성하는 1프레임의 광학적 열화를 저감하여 열화 전의 프레임을 복원한 초해상 TV 영상 신호를 출력함으로써 TV 영상을 복원하는 TV 영상용 제1 초해상 처리 장치에 관한 것으로, 이 TV 영상용 제1 초해상 처리 장치는, (W1) 1프레임분의 휘도 분포로 이루어지는 열화 화상의 휘도 분포를 TV 영상으로부터 준비하는 제1 열화 화상 준비 수단과, (W2) 열화 화상의 휘도 분포를 복원 화상 초기값의 추정 휘도 분포로 이루는 수단과, (W3) PSF의 휘도 분포를 특정하는 제1 PSF 특정 수단과, (W4) 특정된 PSF의 휘도 분포를 PSF 초기값의 추정 휘도 분포로 이루는 수단과, (W5) 최대 반복 연산 횟수를 설정하는 수단과, (W6) 반복 연산 횟수를 계수하는 카운터를 리셋하는 수단과, (W7) 복원 화상 초기값의 추정 휘도 분포를 복사하고 이를 보정 복원 화상 초기값의 추정 휘도 분포로 이루고, 나아가 PSF의 휘도 분포를 보정 복원 화상 초기값의 추정 휘도 분포에 컨볼루션 연산할 때에 보정 복원 화상 초기값의 추정 휘도 분포의 주변부에 발생하는 연산 곤란 영역을, PSF의 휘도 분포의 화상 크기를 기초로 하여 연산 곤란 영역을 계산하고, 연산 곤란 영역의 화소를 카피하고, 이 카피한 화소를 보정 복원 화상 초기값의 추정 휘도 분포의 경계 외측에 경계에 대해 미러 대칭이 되도록 배치하도록 페이스트하고, 보정 복원 화상 초기값의 추정 휘도 분포를 보정하여 보정 복원 화상 초기값의 추정 휘도 분포를 얻는 제1 복원 화상 초기값 보정 수단과, (W8) 보정 복원 화상 초기값의 추정 휘도 분포를 열화 화상의 휘도 분포로 이루는 수단과, (W9) PSF 초기값의 추정 휘도 분포를 보정 복원 화상 초기값의 추정 휘도 분포에 컨볼루션하여 제36 함수를 얻는 수단과, (W10) 제36 함수를 반전하여 제37 함수를 얻는 수단과, (W11) 제37 함수에 열화 화상의 휘도 분포를 곱하여 제38 함수를 얻는 수단과, (W12) 보정 복원 화상 초기값의 추정 휘도 분포의 반전 함수를 구하고 이를 제39 함수로 이루는 수단과, (W13) 제39 함수를 제38 함수에 컨볼루션하여 제40 함수를 얻는 수단과, (W14) 제40 함수를 PSF 초기값의 추정 휘도 분포에 곱하여 복원 PSF의 추정 휘도 분포를 얻는 수단과, (W15) 복원 PSF의 추정 휘도 분포를 PSF 초기값의 추정 휘도 분포와 바꾸는 수단과, (W16) 카운터에 1을 가산하는 수단과, (W17) 카운터의 값이 최대 반복 연산 횟수를 넘었다는 가설을 검증하여, 만약 검증 결과가 거짓이면 (W9)의 수단으로 되돌아가지만, 만약 검증 결과가 진실이면 복원 PSF의 추정 휘도 분포를 최우 복원 PSF의 휘도 분포로서 출력하는 수단과, (W18) (W1)~(W8)의 수단으로 구성되는 PSF 복원 연산 준비 수단과, (W19) (W9)~(W17)의 수단으로 구성되는 제1 PSF 복원 연산 수단을 구비하고, (W20) PSF 복원 연산 준비 수단 및 제1 PSF 복원 연산 수단에 있어서, S의 첨부 숫자가 작은 순으로 실행함으로써 최대 반복 연산 횟수의 반복 연산을 끝내고 최우 복원 PSF의 휘도 분포를 출력하는 제1 PSF 복원 수단과, (W21) 카운터를 리셋하여 (W23)으로 점프하는 수단과, (W22) 최우 복원 PSF의 휘도 분포의 화상 크기를 기초로 하여 복원 화상 초기값의 추정 휘도 분포를 보정하여 보정 복원 화상 초기값의 추정 휘도 분포를 얻는 제1 복원 화상 초기값 보정 수단과 동일한 처리 순서로 이루어지는 제2 복원 화상 초기값 보정 수단과, (W23) 최우 복원 PSF의 휘도 분포를 보정 복원 화상 초기값의 추정 휘도 분포에 컨볼루션하여 제41 함수를 얻는 수단과, (W24) 제41 함수를 반전하여 제42 함수를 얻는 수단과, (W25) 제42 함수에 열화 화상의 휘도 분포를 곱하여 제43 함수를 얻는 수단과, (W26) 최우 복원 PSF의 휘도 분포의 반전 함수를 구하고 이를 제44 함수로 이루는 수단과, (W27) 제44 함수를 제43 함수에 컨볼루션하여 제45 함수를 얻는 수단과, (W28) 제45 함수를 복원 화상 초기값의 추정 휘도 분포에 곱하여 복원 화상의 추정 휘도 분포를 얻는 수단과, (W29) 복원 화상의 추정 휘도 분포를 복원 화상 초기값의 추정 휘도 분포와 바꾸는 수단과, (W30) 카운터에 1을 가산하는 수단과, (W31) 카운터의 값이 최대 반복 연산 횟수를 넘었다는 가설을 검증하여, 만약 검증 결과가 거짓이면 (W22)의 수단으로 되돌아가지만, 만약 검증 결과가 진실이면 복원 화상의 추정 휘도 분포를 최우 복원 화상의 휘도 분포로서 출력하는 수단과, (W32) (W21)의 수단으로 구성되는 제1 화상 복원 연산 준비 수단과, (W33) (W22)~(W31)의 수단으로 구성되는 제1 화상 복원 연산 수단을 구비하고, (W34) 제1 화상 복원 연산 준비 수단 및 제1 화상 복원 연산 수단에 있어서, S의 첨부 숫자가 작은 순으로 실행함으로써 최대 반복 연산 횟수의 반복 연산을 끝내고 최우 복원 화상의 휘도 분포를 출력하는 제1 화상 복원 수단과, (W35) 최우 복원 화상의 휘도 분포를 TV 영상화하여 1프레임분의 초해상 TV 영상 신호를 출력하는 제1 TV 영상화 수단을 구비하는 것에 특징이 있다. 제18 발명은 청구항 18에 기재된 것과 동일하다.
본 발명에 의한 제19 발명은, 제18 발명인 TV 영상용 제1 초해상 처리 장치를 구성하는 제1 PSF 복원 수단의 제2 태양에 관한 것으로, 이 제1 PSF 복원 수단의 제2 태양은, (W40) PSF 초기값의 추정 휘도 분포를 보정 복원 화상 초기값의 추정 휘도 분포에 컨볼루션하여 제46 함수를 얻는 수단과, (W41) 제46 함수를 반전하여 제47 함수를 얻는 수단과, (W42) 제47 함수에 열화 화상의 휘도 분포를 곱하여 제48 함수를 얻는 수단과, (W43) 보정 복원 화상 초기값의 추정 휘도 분포의 반전 함수를 구하고 이를 제49 함수로 이루는 수단과, (W44) 제49 함수를 제48 함수에 컨볼루션하여 제50 함수를 얻는 수단과, (W45) 제50 함수를 PSF 초기값의 추정 휘도 분포에 곱하여 복원 PSF의 추정 휘도 분포를 얻는 수단과, (W46) 복원 PSF의 추정 휘도 분포를 PSF 초기값의 추정 휘도 분포 및 복원 PSF의 추정 휘도 분포의 최종값으로서 출력하는 수단과, (W47) (W40)~(W46)의 수단을 구비하고, S의 첨부 숫자가 작은 순으로 차례대로 처리함으로써 1회분의 반복 연산을 행하는 단분 PSF 복원 수단과, (W48) 최대 반복 연산 횟수분의 단분 PSF 복원 수단을 직렬로 접속함으로써 구성되는 제2 PSF 복원 연산 수단을 구비하고, 상기 제2 PSF 복원 연산 수단에 있어서, 직렬로 접속된 단분 PSF 복원 수단의 수에 상당하는 횟수의 반복 연산을 행하고, 최종단째의 단분 PSF 복원 수단으로부터 출력되는 복원 PSF의 추정 휘도 분포의 최종값을 최우 복원 PSF의 휘도 분포로서 출력하는 것에 특징이 있다. 제19 발명은 청구항 19에 기재된 것과 동일하다.
본 발명에 의한 제20 발명은, 제18 발명인 TV 영상용 제1 초해상 처리 장치를 구성하는 제1 화상 복원 수단의 제2 태양에 관한 것으로, 이 제1 화상 복원 수단의 제2 태양은, (W50) 최우 복원 PSF의 휘도 분포의 화상 크기를 기초로 하여 복원 화상 초기값의 추정 휘도 분포를 보정하여 보정 복원 화상 초기값의 추정 휘도 분포를 얻는 제1 복원 화상 초기값 보정 수단과 동일한 구성으로 이루어지는 제3 복원 화상 초기값 보정 수단과, (W51) 최우 복원 PSF의 휘도 분포를 보정 복원 화상 초기값의 추정 휘도 분포에 컨볼루션하여 제51 함수를 얻는 수단과, (W52) 제51 함수를 반전하여 제52 함수를 얻는 수단과, (W53) 제52 함수에 열화 화상의 휘도 분포를 곱하여 제53 함수를 얻는 수단과, (W54) 최우 복원 PSF의 휘도 분포의 반전 함수를 구하고 이를 제54 함수로 이루는 수단과, (W55) 제54 함수를 제53 함수에 컨볼루션하여 제55 함수를 얻는 수단과, (W56) 제55 함수를 복원 화상 초기값의 추정 휘도 분포에 곱하여 복원 화상의 추정 휘도 분포를 얻는 수단과, (W57) 복원 화상의 추정 휘도 분포를 복원 화상 초기값의 추정 휘도 분포 및 복원 화상의 추정 휘도 분포의 최종값으로서 출력하는 수단과, (W58) (W50)~(W57)의 수단을 구비하고, S의 첨부 숫자가 작은 순으로 차례대로 처리함으로써 1회분의 반복 연산을 행하는 제1 단분 화상 복원 수단과, (W59) 최대 반복 연산 횟수분의 제1 단분 화상 복원 수단을 직렬로 접속함으로써 구성되는 제2 화상 복원 연산 수단을 구비하고, 상기 제2 화상 복원 연산 수단에 있어서, 직렬로 접속된 제1 단분 화상 복원 수단의 수에 상당하는 횟수의 반복 연산을 행하고, 최종단째의 제1 단분 화상 복원 수단으로부터 출력되는 복원 화상의 추정 휘도 분포의 최종값을 최우 복원 화상의 휘도 분포로서 출력하는 것에 특징이 있다. 제20 발명은 청구항 20에 기재된 것과 동일하다.
본 발명에 의한 제21 발명은, 제4, 7~10의 발명인 TV 영상용 제2 초해상 처리 방법을 이용하여 TV 영상을 구성하는 1프레임의 광학적 열화를 저감하여 열화 전의 프레임을 복원한 초해상 TV 영상 신호를 출력함으로써 TV 영상을 복원하는 TV 영상용 제2 초해상 처리 장치에 관한 것으로, 이 TV 영상용 제2 초해상 처리 장치는, (W60) TV 영상을 보면서 TV 영상의 열화 상황에 적합한 PSF의 휘도 분포를 특정하는 제2 PSF 특정 수단과, (W61) 1프레임분의 휘도 분포로 이루어지는 열화 화상의 휘도 분포를 TV 영상으로부터 준비하는 제2 열화 화상 준비 수단과, (W62) 열화 화상의 휘도 분포를 복사하고 이를 복원 화상 초기값의 추정 휘도 분포로 이루고, 나아가 PSF의 휘도 분포의 화상 크기를 기초로 하여 복원 화상 초기값의 추정 휘도 분포를 보정하여 보정 복원 화상 초기값의 추정 휘도 분포를 얻는 제1 복원 화상 초기값 보정 수단과 동일한 처리 순서로 이루어지는 제4 복원 화상 초기값 보정 수단과, (W63) 보정 복원 화상 초기값의 추정 휘도 분포를 열화 화상의 휘도 분포로 이루는 수단과, (W64) 최대 반복 연산 횟수를 설정하는 수단과, (W65) 반복 연산 횟수를 계수하는 카운터를 0으로 리셋하는 수단과, (W66) 특정된 PSF의 휘도 분포를 보정 복원 화상 초기값의 추정 휘도 분포에 컨볼루션하여 제21 함수를 얻는 수단과, (W67) 제21 함수를 반전하여 제22 함수를 얻는 수단과, (W68) 제22 함수에 열화 화상의 휘도 분포를 곱하여 제23 함수를 얻는 수단과, (W69) PSF의 휘도 분포의 반전 함수를 구하고 이를 제24 함수로 이루는 수단과, (W70) 제24 함수를 제23 함수에 컨볼루션하여 제25 함수를 얻는 수단과, (W71) 제25 함수를 복원 화상 초기값의 추정 휘도 분포에 곱하여 복원 화상의 추정 휘도 분포를 얻는 수단과, (W72) 복원 화상의 추정 휘도 분포를 복원 화상 초기값의 추정 휘도 분포와 바꾸는 수단과, (W73) 카운터에 1을 가산하는 수단과, (W74) 카운터의 값이 최대 반복 연산 횟수 이상이라는 가설을 검증하여, 만약 검증 결과가 거짓인 경우에는 (W75)의 수단으로 점프하지만, 만약 검증 결과가 진실인 경우에 (W77)의 수단으로 점프하는 수단과, (W75) PSF의 휘도 분포의 화상 크기를 기초로 하여 복원 화상 초기값의 추정 휘도 분포를 보정하여 보정 복원 화상 초기값의 추정 휘도 분포를 얻는 제1 복원 화상 초기값 보정 수단과 동일한 처리 순서로 이루어지는 제5 복원 화상 초기값 보정 수단과, (W76) W66으로 점프하는 수단과, (W77) 복원 화상의 추정 휘도 분포를 최우 복원 화상의 휘도 분포로서 출력하는 수단과, (W78) (W60)~(W65)의 수단으로 구성되는 제2 화상 복원 연산 준비 수단과, (W79) (W66)~(W77)의 수단으로 구성되는 제3 화상 복원 연산 수단과, (W80) 제2 화상 복원 연산 준비 수단 및 제3 화상 복원 연산 수단을 구비하고, S의 첨부 숫자가 작은 순으로 실행함으로써 최대 반복 연산 횟수의 반복 연산을 끝내고 최우 복원 화상의 휘도 분포를 출력하는 제2 화상 복원 수단과, (W81) 최우 복원 화상의 휘도 분포를 TV 영상화하여 1프레임분의 초해상 TV 영상 신호를 출력하는 제2 TV 영상화 수단을 구비하는 것에 특징이 있다. 제21 발명은 청구항 21에 기재된 것과 동일하다.
본 발명에 의한 제22 발명은, 제21 발명인 TV 영상용 제2 초해상 처리 장치를 구성하는 제3 화상 복원 수단의 제2 태양에 관한 것으로, 이 제3 화상 복원 수단의 제2 태양은, (W85) PSF의 휘도 분포의 화상 크기를 기초로 하여 복원 화상 초기값의 추정 휘도 분포를 보정하여 보정 복원 화상 초기값의 추정 휘도 분포를 얻는 제1 복원 화상 초기값 보정 수단과 동일한 처리 순서로 이루어지는 제6 복원 화상 초기값 보정 수단과, (W86) PSF의 휘도 분포에 보정 복원 화상 초기값의 추정 휘도 분포를 컨볼루션하여 제61 함수를 얻는 수단과, (W87) 제61 함수를 반전하여 제62 함수를 얻는 수단과, (W88) 제62 함수에 열화 화상의 휘도 분포를 곱하여 제63 함수를 얻는 수단과, (W89) PSF의 휘도 분포의 반전 함수를 구하고 이를 제64 함수로 이루는 수단과, (W90) 제64 함수를 제63 함수에 컨볼루션하여 제65 함수를 얻는 수단과, (W91) 제65 함수를 복원 화상 초기값의 추정 휘도 분포에 곱하여 복원 화상의 추정 휘도 분포를 얻는 수단과, (W92) 복원 화상의 추정 휘도 분포를 복원 화상 초기값의 추정 휘도 분포 및 복원 화상의 추정 휘도 분포의 최종값으로서 출력하는 수단과, (W93) (W85)~(W92)의 수단을 구비하고, S의 첨부 숫자가 작은 순으로 처리함으로써 1회분의 반복 연산을 행하는 제2 단분 화상 복원 수단과, (W94) 최대 반복 연산 횟수분의 제2 단분 화상 복원 수단을 직렬로 접속함으로써 구성되는 제4 화상 복원 연산 수단을 구비하고, 상기 제4 화상 복원 연산 수단에 있어서, 직렬로 접속된 제2 단분 화상 복원 수단의 수에 상당하는 횟수의 반복 연산을 행하고, 최종단째의 제2 단분 화상 복원 수단으로부터 출력되는 복원 화상의 추정 휘도 분포의 최종값을 최우 복원 화상의 휘도 분포로서 출력하는 것에 특징이 있다. 제22 발명은 청구항 22에 기재된 것과 동일하다.
본 발명에 의한 제23 발명은, 제21 발명인 TV 영상용 제2 초해상 처리 장치를 구성하는 제3 화상 복원 수단의 제3 태양에 관한 것으로, 이 제3 화상 복원 수단의 제3 태양은, (W100) 반복 연산 횟수를 계수하는 카운터를 리셋하는 수단과, (W101) 카운터의 값이 0 이외라는 가설을 검증하여, 만약 검증 결과가 거짓이면 (W102)로 점프하고, 만약 검증 결과가 진실이면 (W103)으로 점프하는 수단과, (W102) 열화 화상의 휘도 분포를 열화 화상의 휘도 분포 저장용 버퍼 및 복원 화상 초기값의 추정 휘도 분포용 버퍼에 전송하는 수단과, (W103) 복원 화상 초기값의 추정 휘도 분포용 버퍼로부터 복원 화상 초기값의 추정 휘도 분포를 읽어들이는 수단과, (W104) PSF의 휘도 분포의 화상 크기를 기초로 하여 복원 화상 초기값의 추정 휘도 분포를 보정하여 보정 복원 화상 초기값의 추정 휘도 분포를 얻는 제1 복원 화상 초기값 보정 수단과 동일한 처리 순서로 이루어지는 제7 복원 화상 초기값 보정 수단과, (W105) PSF의 휘도 분포를 보정 복원 화상 초기값의 추정 휘도 분포에 컨볼루션하여 제31 함수를 얻는 수단과, (W106) 제31 함수를 반전하여 제32 함수를 얻는 수단과, (W107) 제32 함수에 열화 화상의 휘도 분포를 곱하여 제33 함수를 얻는 수단과, (W108) PSF의 휘도 분포의 반전 함수를 구하고 이를 제34 함수로 이루는 수단과, (W109) 제34 함수를 제33 함수에 컨볼루션하여 제35 함수를 얻는 수단과, (W110) 제35 함수를 복원 화상 초기값의 추정 휘도 분포에 곱하여 복원 화상의 추정 휘도 분포를 얻는 수단과, (W111) 카운터에 1을 가산하는 수단과, (W112) 카운터의 값이 최대 반복 연산 횟수를 넘는다는 가설을 검증하여, 만약 검증 결과가 거짓이면 (W113)으로 점프하고, 만약 검증 결과가 진실이면 (W115)로 점프하는 수단과, (W113) 복원 화상의 추정 휘도 분포를 복원 화상 초기값의 추정 휘도 분포용 버퍼에 전송하는 수단과, (W114) (W103)으로 점프하는 수단과, (W115) 복원 화상의 추정 휘도 분포를 최우 복원 화상의 휘도 분포로서 출력하는 수단과, (W116) (W100)~(W115)의 수단을 구비하고, W의 첨부 숫자가 작은 순으로 차례대로 실행함으로써 최대 반복 연산 횟수의 반복 연산을 끝내고 최우 복원 화상의 휘도 분포를 출력하는 제5 화상 복원 연산 수단을 구비하는 것에 특징이 있다. 제23 발명은 청구항 23에 기재된 것과 동일하다.
본 발명에 의한 제24 발명은, 제18 발명인 TV 영상용 제1 초해상 처리 장치를 구성하는 제1 PSF 특정 수단 및 제21 발명인 TV 영상용 제2 초해상 처리 장치를 구성하는 제2 PSF 특정 수단에 관한 것으로, 이들 제1 PSF 특정 수단 및 제2 PSF 특정 수단은, (W120) 모니터에 비춰지는 TV 영상의 광학적인 열화 정도에 따른 열화 지수를 설정하는 수단과, (W121) 열화 지수에 관련된 PSF의 휘도 분포를 PSF 데이터베이스로부터 추출하는 수단을 구비하는 것에 특징이 있다. 제24 발명은 청구항 24에 기재된 것과 동일하다.
본 발명에 의한 제25 발명은, 제18 발명인 TV 영상용 제1 초해상 처리 장치를 구성하는 제1 열화 화상 준비 수단 및 제21 발명인 TV 영상용 제2 초해상 처리 장치를 구성하는 제2 열화 화상 준비 수단에 관한 것으로, 이들 제1 열화 화상 준비 수단 및 제2 열화 화상 준비 수단은, (W130) 1프레임분의 TV 영상 신호로부터 프레임을 구성하는 RGB 신호를 취출하는 RGB 신호 추출 수단과, (W131) 1프레임분의 TV 영상 신호 중에서 RGB 신호를 취출한 나머지 TV 영상 신호를 1프레임분 지연하여 출력하는 지연 수단과, (W132) RGB 신호를 YUV 변환하여 YUV 신호로 이루는 YUV 변환 수단과, (W133) YUV 신호 중에서 휘도 성분인 Y신호만으로 이루어지는 열화 화상의 휘도 분포를 추출하여 Y 열화 화상의 휘도 분포로 이루고, 나머지 U신호만으로 이루어지는 U 열화 화상의 분포 및 V신호만으로 이루어지는 V 열화 화상의 분포를 보유하는 Y 열화 화상 추출 수단과, (W134) Y 열화 화상의 휘도 분포의 디감마 처리를 행하고 1프레임분의 휘도 분포로 이루어지는 열화 화상의 휘도 분포로 이루어 출력하는 디감마 처리 수단을 구비하는 것에 특징이 있다. 제25 발명은 청구항 25에 기재된 것과 동일하다.
본 발명에 의한 제26 발명은, 제18 발명인 TV 영상용 제1 초해상 처리 장치를 구성하는 제1 TV 영상화 수단 및 제21 발명인 TV 영상용 제2 초해상 처리 장치를 구성하는 제2 TV 영상화 수단에 관한 것으로, 이들 제1 TV 영상화 수단 및 제2 TV 영상화 수단은, (W140) 최우 복원 화상의 휘도 분포의 감마 처리를 행하는 감마 처리 수단과, (W141) Y 열화 화상 추출 수단에서 보유한 U 열화 화상의 분포 및 V 열화 화상의 분포와 Y성분으로 이루어지는 감마 처리 후의 최우 복원 화상의 휘도 분포로부터 1장의 YUV 복원 화상의 분포를 합성하는 복원 화상 합성 수단과, (W142) YUV 복원 화상의 분포의 RGB 변환을 행하여 RGB 복원 화상의 분포로 이루는 RGB 변환 수단과, (W143) RGB 복원 화상의 분포를 판독하여 RGB 신호를 출력하는 RGB 신호 변환 수단과, (W144) RGB 신호를 지연 수단이 출력하는 RGB 신호를 제외한 1프레임분의 TV 영상 신호와 합성하여 1프레임분의 초해상 TV 영상 신호로 이루어 출력하는 TV 영상 신호 합성 수단을 구비하는 것에 특징이 있다. 제26 발명은 청구항 26에 기재된 것과 동일하다.
본 발명에 의한 제27 발명은, 제18 발명인 TV 영상용 제1 초해상 처리 장치를 구성하는 제1 PSF 복원 수단 및 제1 화상 복원 수단 내의 모든 수단을 구성하고, 또한 이들 모든 수단을 실행시키기 위한 제1 초해상 처리 장치 프로그램이다. 제27 발명은 청구항 27에 기재된 것과 동일하다.
본 발명에 의한 제28 발명은, 제18~19 발명인 TV 영상용 제1 초해상 처리 장치를 구성하는 PSF 복원 연산 준비 수단, 제2 PSF 복원 연산 수단 및 제1 화상 복원 수단 내의 모든 수단을 구성하고, 또한 이들 모든 수단을 실행시키기 위한 제2 초해상 처리 장치 프로그램이다. 제28 발명은 청구항 28에 기재된 것과 동일하다.
본 발명에 의한 제29 발명은, 제18, 20 발명인 TV 영상용 제1 초해상 처리 장치를 구성하는 제1 PSF 복원 수단, 제1 화상 복원 연산 준비 수단 및 제2 화상 복원 연산 수단 내의 모든 수단을 구성하고, 또한 이들 모든 수단을 실행시키기 위한 제3 초해상 처리 장치 프로그램이다. 제29 발명은 청구항 29에 기재된 것과 동일하다.
본 발명에 의한 제30 발명은, 제18~20 발명인 TV 영상용 제1 초해상 처리 장치를 구성하는 PSF 복원 연산 준비 수단, 제2 PSF 복원 연산 수단, 제1 화상 복원 연산 준비 수단 및 제2 화상 복원 연산 수단 내의 모든 수단을 구성하고, 또한 이들 모든 수단을 실행시키기 위한 제4 초해상 처리 장치 프로그램이다. 제30 발명은 청구항 30에 기재된 것과 동일하다.
본 발명에 의한 제31 발명은, 제21 발명인 TV 영상용 제2 초해상 처리 장치를 구성하는 제2 화상 복원 수단 내의 모든 수단을 구성하고, 또한 이들 모든 수단을 실행시키기 위한 제5 초해상 처리 장치 프로그램이다. 제31 발명은 청구항 31에 기재된 것과 동일하다.
본 발명에 의한 제32 발명은, 제21~22 발명인 TV 영상용 제2 초해상 처리 장치를 구성하는 제2 화상 복원 연산 준비 수단 및 제4 화상 복원 연산 수단 내의 모든 수단을 구성하고, 또한 이들 모든 수단을 실행시키기 위한 제6 초해상 처리 장치 프로그램이다. 제32 발명은 청구항 32에 기재된 것과 동일하다.
본 발명에 의한 제33 발명은, 제21, 22 발명인 TV 영상용 제2 초해상 처리 장치를 구성하는 제2 화상 복원 연산 준비 수단 및 제5 화상 복원 연산 수단 내의 모든 수단을 구성하고, 또한 이들 모든 수단을 실행시키기 위한 제7 초해상 처리 장치 프로그램이다. 제33 발명은 청구항 33에 기재된 것과 동일하다.
본 발명에 의한 제34 발명은, 제11~14 발명인 TV 영상용 제1 초해상 처리 방법을 실행하기 위한 제1 초해상 처리 프로그램, 제2 초해상 처리 프로그램, 제3 초해상 처리 프로그램 및 제4 초해상 처리 프로그램을 각각 개별적으로 암호화하여 개별적으로 기억하고, 한편 독출시에는 개별적으로 독출하고 복호 후에 제공하며, 컴퓨터에 접속 가능하면서 컴퓨터가 읽어들임 가능한 제1 기억 매체이다. 제34 발명은 청구항 34에 기재된 것과 동일하다.
본 발명에 의한 제35 발명은, 제15~17 발명인 TV 영상용 제2 초해상 처리 방법을 실행하기 위한 제5 초해상 처리 프로그램, 제6 초해상 처리 프로그램 및 제7 초해상 처리 프로그램을 각각 개별적으로 암호화하여 개별적으로 기억하고, 한편 독출시에는 개별적으로 독출하고 복호 후에 제공하며, 컴퓨터에 접속 가능하면서 컴퓨터가 읽어들임 가능한 제2 기억 매체이다. 제35 발명은 청구항 35에 기재된 것과 동일하다.
본 발명에 의한 제36 발명은, 제27~30 발명인 TV 영상용 제1 초해상 처리 장치 내의 모든 수단을 구성하고, 또한 이들 모든 수단을 실행하기 위한 제8 초해상 처리 프로그램, 제9 초해상 처리 프로그램, 제10 초해상 처리 프로그램 및 제11 초해상 처리 프로그램을 각각 개별적으로 암호화하여 개별적으로 기억하고, 한편 독출시에는 개별적으로 독출하고 복호 후에 제공하며, 컴퓨터에 접속 가능하면서 컴퓨터가 읽어들임 가능한 제3 기억 매체이다. 제36 발명은 청구항 36에 기재된 것과 동일하다.
본 발명에 의한 제37 발명은, 제31~33 발명인 TV 영상용 제2 초해상 처리 장치 내의 모든 수단을 구성하고, 또한 이들 모든 수단을 실행하기 위한 제12 초해상 처리 프로그램, 제13 초해상 처리 프로그램 및 제14 초해상 처리 프로그램을 각각 개별적으로 암호화하여 개별적으로 기억하고, 한편 독출시에는 개별적으로 독출하고 복호 후에 제공하며, 컴퓨터에 접속 가능하면서 컴퓨터가 읽어들임 가능한 제4 기억 매체이다. 제37 발명은 청구항 37에 기재된 것과 동일하다.
TV 영상의 1프레임의 정보만으로부터 화상을 복원하고 이를 연속적으로 행하여 TV 영상의 초해상 처리를 행하는 것은 종래 불가능하였지만, 본 발명을 적용함으로써 대략 실시간 처리가 가능해진다는 효과가 있다. 또한, 본 발명은 TV 방식의 영상이면 선원을 불문하고 무엇이든지 좋기 때문에, 적외선 카메라나 X선 카메라에 의한 영상이어도 되고 적용 범위가 넓다는 효과도 있다.
도 1은 실제의 TV 영상을 구성하는 프레임이 포함하는 광학적 열화 정보의 일례를 나타내는 도면
도 2는 본 발명에 의한 제1 발명인 TV 영상용 제1 초해상 처리 방법에서의 처리 순서의 일례를 나타내는 흐름도
도 3은 본 발명에 의한 제1 복원 화상 초기값 보정 공정에서 이용하는 보정 처리 순서의 일례를 나타내는 도면
도 4는 본 발명에 의한 제2 발명인 제2 PSF 복원 연산 공정에서의 처리 순서의 일례를 나타내는 흐름도
도 5는 본 발명에 의한 제3 발명인 제2 화상 복원 연산 공정에서의 처리 순서의 일례를 나타내는 흐름도
도 6은 본 발명에 의한 제4 발명인 TV 영상용 제2 초해상 처리 방법의 처리 순서에 관한 일례를 나타내는 흐름도
도 7은 본 발명에 의한 제5 발명인 제4 화상 복원 연산 공정의 처리 순서에 관한 일례를 나타내는 흐름도
도 8은 본 발명에 의한 제6 발명인 제5 화상 복원 연산 공정의 처리 순서에 관한 일례를 나타내는 흐름도
도 9는 본 발명에 의한 제7 발명인 제1 PSF 특정 공정 및 제2 PSF 특정 공정의 처리 순서에 관한 일례를 나타내는 흐름도
도 10은 본 발명에 의한 PSF 데이터베이스 내의 데이터의 일례를 나타내는 도면
도 11은 본 발명에 의한 제8 발명인 제1 열화 화상 준비 공정 및 제2 열화 화상 준비 공정에서의 처리 순서의 일례를 나타내는 흐름도
도 12는 본 발명에 의한 제9 발명인 제1 TV 영상화 공정 및 제2 TV 영상화 공정에서의 처리 순서의 일례를 나타내는 흐름도
도 13은 본 발명에 의한 제10 발명인 PSF의 휘도 분포의 일례를 나타내는 도면
도 14는 본 발명에 의한 제18 발명인 TV 영상용 제1 초해상 처리 장치의 구성에 관한 일례를 나타내는 도면
도 15는 본 발명에 의한 제19 발명인 제2 PSF 복원 연산 수단의 구성에 관한 일례를 나타내는 도면
도 16은 본 발명에 의한 제20 발명인 제2 화상 복원 연산 수단의 구성에 관한 일례를 나타내는 도면
도 17은 본 발명에 의한 제21 발명인 TV 영상용 제2 초해상 처리 장치의 구성에 관한 일례를 나타내는 도면
도 18은 본 발명에 의한 제22 발명인 제4 화상 복원 연산 수단의 구성에 관한 일례를 나타내는 도면
도 19는 본 발명에 의한 제23 발명인 제5 화상 복원 연산 수단의 구성에 관한 일례를 나타내는 도면
도 20은 본 발명에 의한 제24 발명인 제1 PSF 특정 수단 및 제2 PSF 특정 수단의 구성에 관한 일례를 나타내는 도면
도 21은 본 발명에 의한 제25 발명인 제1 열화 화상 준비 수단 및 제2 열화 화상 준비 수단의 구성에 관한 일례를 나타내는 도면
도 22는 본 발명에 의한 제26 발명인 제1 TV 영상화 수단 및 제2 TV 영상화 수단의 구성에 관한 일례를 나타내는 도면
도 23은 본 발명에 의한 실시예 1의 TV 영상용 제1 초해상 처리 시스템의 구성에 관한 일례를 나타내는 도면
도 24는 본 발명에 의한 제1 초해상 처리 장치 프로그램의 구조 및 그 인스톨 모습의 일례를 나타내는 도면
도 25는 본 발명에 의한 초해상 처리 윈도우의 구성에 관한 일례를 나타내는 도면
도 26은 본 발명에 의한 TV 영상용 제1 초해상 처리 시스템에서 초해상 처리를 실행하는 순서의 일례를 트랜잭션 테이블로서 나타내는 도면
도 27은 실시예 1에 의한 초해상 처리 상황의 일례를 나타내는 도면
도 28은 실시예 3에 의한 제1 셋톱 박스의 내부 구성에 관한 일례를 나타내는 도면
도 29는 실시예 3에 의한 제1 셋톱 박스에서의 처리 순서의 일례를 나타내는 흐름도
도 30은 실시예 3에 의한 제1 셋톱 박스의 셋업 상황의 일례를 나타내는 도면
도 2는 본 발명에 의한 제1 발명인 TV 영상용 제1 초해상 처리 방법에서의 처리 순서의 일례를 나타내는 흐름도
도 3은 본 발명에 의한 제1 복원 화상 초기값 보정 공정에서 이용하는 보정 처리 순서의 일례를 나타내는 도면
도 4는 본 발명에 의한 제2 발명인 제2 PSF 복원 연산 공정에서의 처리 순서의 일례를 나타내는 흐름도
도 5는 본 발명에 의한 제3 발명인 제2 화상 복원 연산 공정에서의 처리 순서의 일례를 나타내는 흐름도
도 6은 본 발명에 의한 제4 발명인 TV 영상용 제2 초해상 처리 방법의 처리 순서에 관한 일례를 나타내는 흐름도
도 7은 본 발명에 의한 제5 발명인 제4 화상 복원 연산 공정의 처리 순서에 관한 일례를 나타내는 흐름도
도 8은 본 발명에 의한 제6 발명인 제5 화상 복원 연산 공정의 처리 순서에 관한 일례를 나타내는 흐름도
도 9는 본 발명에 의한 제7 발명인 제1 PSF 특정 공정 및 제2 PSF 특정 공정의 처리 순서에 관한 일례를 나타내는 흐름도
도 10은 본 발명에 의한 PSF 데이터베이스 내의 데이터의 일례를 나타내는 도면
도 11은 본 발명에 의한 제8 발명인 제1 열화 화상 준비 공정 및 제2 열화 화상 준비 공정에서의 처리 순서의 일례를 나타내는 흐름도
도 12는 본 발명에 의한 제9 발명인 제1 TV 영상화 공정 및 제2 TV 영상화 공정에서의 처리 순서의 일례를 나타내는 흐름도
도 13은 본 발명에 의한 제10 발명인 PSF의 휘도 분포의 일례를 나타내는 도면
도 14는 본 발명에 의한 제18 발명인 TV 영상용 제1 초해상 처리 장치의 구성에 관한 일례를 나타내는 도면
도 15는 본 발명에 의한 제19 발명인 제2 PSF 복원 연산 수단의 구성에 관한 일례를 나타내는 도면
도 16은 본 발명에 의한 제20 발명인 제2 화상 복원 연산 수단의 구성에 관한 일례를 나타내는 도면
도 17은 본 발명에 의한 제21 발명인 TV 영상용 제2 초해상 처리 장치의 구성에 관한 일례를 나타내는 도면
도 18은 본 발명에 의한 제22 발명인 제4 화상 복원 연산 수단의 구성에 관한 일례를 나타내는 도면
도 19는 본 발명에 의한 제23 발명인 제5 화상 복원 연산 수단의 구성에 관한 일례를 나타내는 도면
도 20은 본 발명에 의한 제24 발명인 제1 PSF 특정 수단 및 제2 PSF 특정 수단의 구성에 관한 일례를 나타내는 도면
도 21은 본 발명에 의한 제25 발명인 제1 열화 화상 준비 수단 및 제2 열화 화상 준비 수단의 구성에 관한 일례를 나타내는 도면
도 22는 본 발명에 의한 제26 발명인 제1 TV 영상화 수단 및 제2 TV 영상화 수단의 구성에 관한 일례를 나타내는 도면
도 23은 본 발명에 의한 실시예 1의 TV 영상용 제1 초해상 처리 시스템의 구성에 관한 일례를 나타내는 도면
도 24는 본 발명에 의한 제1 초해상 처리 장치 프로그램의 구조 및 그 인스톨 모습의 일례를 나타내는 도면
도 25는 본 발명에 의한 초해상 처리 윈도우의 구성에 관한 일례를 나타내는 도면
도 26은 본 발명에 의한 TV 영상용 제1 초해상 처리 시스템에서 초해상 처리를 실행하는 순서의 일례를 트랜잭션 테이블로서 나타내는 도면
도 27은 실시예 1에 의한 초해상 처리 상황의 일례를 나타내는 도면
도 28은 실시예 3에 의한 제1 셋톱 박스의 내부 구성에 관한 일례를 나타내는 도면
도 29는 실시예 3에 의한 제1 셋톱 박스에서의 처리 순서의 일례를 나타내는 흐름도
도 30은 실시예 3에 의한 제1 셋톱 박스의 셋업 상황의 일례를 나타내는 도면
본 발명을 실시하기 위한 최량의 형태에 대해 적절히 도면을 이용하면서 설명한다.
본 발명에 있어서, 열화 화상, PSF 및 복원 화상은 각각 가장자리가 없는 동일한 크기의 정사각형 화소가 깔려 구성되어 있고, 각 화소는 8비트 깊이의 적원색(R), 8비트 깊이의 녹원색(G) 및 8비트 깊이의 청원색(B)으로 이루어지는 RGB 컬러 화소로서, RGB가 동일한 비트수인 경우에는 그레이 스케일 화소가 된다. 본 발명에 있어서, PSF는 그레이 스케일 화소만으로 이루어진다.
본 발명에 있어서, 열화 화상, PSF 및 복원 화상은 좌측 위 모퉁이의 화소를 원점으로 하고, 원점이 존재하는 행을, 행을 바꾸지 않고 가로방향으로 향한 화소 행에 평행한 축을 x축으로 하고, 원점이 존재하는 열을, 열을 바꾸지 않고 세로방향으로 향한 화소 열에 평행한 축을 y축으로 한다. 열화 화상, PSF 및 복원 화상 내의 모든 화소는 (x, y)라는 2차원 좌표에 의해 지정하는 것이 가능하다.
본 발명에 있어서, 열화 화상 및 복원 화상은 서로 동일한 화상 크기이고 동일한 좌표를 가진다. 그러나, 본 발명에서는 화상의 구별이 되지 않을 정도로 흐려지는 경우를 취급하지 않기 때문에, PSF의 주변 부분은 거의 제로이며, 계산 횟수의 삭감을 위해 열화 화상 및 복원 화상 내의 어디에 행해도 PSF의 휘도 분포는 변화하지 않는다는 가정이 성립하는 것으로서 취급하고 있고, PSF 크기는 5화소×5화소의 것을 사용하고 있다. 물론 열화 화상까지의 화상 크기이면 어떠한 크기이어도 된다.
본 발명에 있어서, PSF, 열화 화상 및 복원 화상은 각각 휘도 성분으로 이루어지는 것만을 취급하고, 복원 연산에 사용하는 것은 모두 휘도 성분뿐이다. 이렇게 하는 이유로서는 연산 횟수가 감소하는 것, 그리고 색조가 변화하지 않는 것에 있다. 본 발명의 방법은, R, G, B 개별적으로 복원한 경우와 비교하여 초해상 처리 품질적으로 손색이 없음을 확인하였다.
본 발명에 있어서, PSF, 열화 화상 및 복원 화상은 각각 휘도 성분으로 이루어지기 때문에, PSF를 PSF의 휘도 분포, 열화 화상의 휘도 분포 및 복원 화상의 추정 휘도 분포라고 부른다. 복원 화상의 정확한 휘도 분포는 불명하기 때문에, 추정 휘도 분포라고 부른다. 본 발명에 의한 TV 영상용 가속 초해상 처리 방법에 의해 화상 복원하면, 광학적 열화가 없는 상태에 거의 수렴한 상태가 되어 원화상과 거의 손색 없기 때문에, 최우 복원 화상의 경우에는 휘도 분포로 하고 있다.
도 2는, 본 발명에 의한 제1 발명인 TV 영상용 제1 초해상 처리 방법에서의 처리 순서의 일례를 흐름도로서 도시한 것이다.
본 발명에 의한 제1 발명인 TV 영상용 제1 초해상 처리 방법은, (S1) 1프레임분의 휘도 분포로 이루어지는 열화 화상의 휘도 분포(1)를 TV 영상(2)으로부터 준비하는 제1 열화 화상 준비 공정, (S2) 열화 화상의 휘도 분포(1)를 복원 화상 초기값의 추정 휘도 분포(3)로 이루는 공정, (S3) PSF의 휘도 분포(4)를 특정하는 제1 PSF 특정 공정, (S4) 특정된 PSF의 휘도 분포(4)를 PSF 초기값의 추정 휘도 분포(5)로 이루는 공정, (S5) 최대 반복 연산 횟수(6)를 설정하는 공정, (S6) 반복 연산 횟수를 계수하는 카운터를 리셋하는 공정, (S7) 복원 화상 초기값의 추정 휘도 분포(3)를 복사하고 이를 보정 복원 화상 초기값의 추정 휘도 분포(7)로 이루고, 나아가 PSF의 휘도 분포(4)를 보정 복원 화상 초기값의 추정 휘도 분포(7)에 컨볼루션 연산할 때에 보정 복원 화상 초기값의 추정 휘도 분포(7)의 주변부에 발생하는 연산 곤란 영역(8)을, PSF의 휘도 분포의 화상 크기를 기초로 하여 연산 곤란 영역(8)을 계산하고, 연산 곤란 영역(8)의 화소를 카피하고, 이 카피한 화소를 보정 복원 화상 초기값의 추정 휘도 분포(7)의 경계 외측에 경계에 대해 미러 대칭이 되도록 배치하도록 페이스트하고, 보정 복원 화상 초기값의 추정 휘도 분포(7)를 보정하는 제1 복원 화상 초기값 보정 공정, (S8) 보정 복원 화상 초기값의 추정 휘도 분포(7)를 열화 화상의 휘도 분포(1)로 이루는 공정, (S9) PSF 초기값의 추정 휘도 분포(5)를 보정 복원 화상 초기값의 추정 휘도 분포(7)에 컨볼루션하여 제1 함수를 얻는 공정, (S10) 제1 함수를 반전하여 제2 함수를 얻는 공정, (S11) 제2 함수에 열화 화상의 휘도 분포(1)를 곱하여 제3 함수를 얻는 공정, (S12) 보정 복원 화상 초기값의 추정 휘도 분포(7)의 반전 함수를 구하고 이를 제4 함수로 이루는 공정, (S13) 제4 함수를 제3 함수에 컨볼루션하여 제5 함수를 얻는 공정, (S14) 제5 함수를 PSF 초기값의 추정 휘도 분포(5)에 곱하여 복원 PSF의 추정 휘도 분포(9)를 얻는 공정, (S15) 복원 PSF의 추정 휘도 분포(9)를 PSF 초기값의 추정 휘도 분포(5)와 바꾸는 공정, (S16) 카운터에 1을 가산하는 공정, (S17) 카운터의 값이 최대 반복 연산 횟수(6)를 넘었다는 가설을 검증하여, 만약 검증 결과가 거짓이면 (S9)의 공정으로 되돌아가지만, 만약 검증 결과가 진실이면 복원 PSF의 추정 휘도 분포(9)를 최우 복원 PSF의 휘도 분포(10)로서 출력하는 공정, (S18) (S1)~(S8)의 공정으로 구성되는 PSF 복원 연산 준비 공정, (S19) (S9)~(S17)의 공정으로 구성되는 제1 PSF 복원 연산 공정, (S20) PSF 복원 연산 준비 공정 S18 및 제1 PSF 복원 연산 공정 S19를 구비하고, PSF 복원 연산 준비 공정 S18 및 제1 PSF 복원 연산 공정 S19에 있어서, S의 첨부 숫자가 작은 순으로 실행함으로써 최대 반복 연산 횟수(6)의 반복 연산을 끝내고 최우 복원 PSF의 휘도 분포(10)를 출력하는 제1 PSF 복원 공정, (S21) 카운터를 리셋하여 (S23)으로 점프하는 공정, (S22) 최우 복원 PSF의 휘도 분포(10)의 화상 크기를 기초로 하여 복원 화상 초기값의 추정 휘도 분포(3)를 보정하는 제1 복원 화상 초기값 보정 공정과 동일한 처리 순서로 이루어지는 제2 복원 화상 초기값 보정 공정, (S23) 최우 복원 PSF의 휘도 분포(10)를 복원 화상 초기값의 추정 휘도 분포(3)에 컨볼루션하여 제6 함수를 얻는 공정, (S24) 제6 함수를 반전하여 제7 함수를 얻는 공정, (S25) 제7 함수에 열화 화상의 휘도 분포(1)를 곱하여 제8 함수를 얻는 공정, (S26) 최우 복원 PSF의 휘도 분포(10)의 반전 함수를 구하고 이를 제9 함수로 이루는 공정, (S27) 제9 함수를 제8 함수에 컨볼루션하여 제10 함수를 얻는 공정, (S28) 제10 함수를 복원 화상 초기값의 추정 휘도 분포(3)에 곱하여 복원 화상의 추정 휘도 분포(11)를 얻는 공정, (S29) 복원 화상의 추정 휘도 분포(11)를 복원 화상 초기값의 추정 휘도 분포(3)와 바꾸는 공정, (S30) 카운터에 1을 가산하는 공정, (S31) 카운터의 값이 최대 반복 연산 횟수(6)를 넘었다는 가설을 검증하여, 만약 검증 결과가 거짓이면 (S22)의 공정으로 되돌아가지만, 만약 검증 결과가 진실이면 복원 화상의 추정 휘도 분포(11)를 최우 복원 화상의 휘도 분포(12)로서 출력하는 공정, (S32) (S21)의 공정으로 구성되는 제1 화상 복원 연산 준비 공정, (S33) (S22)~(S31)의 공정으로 구성되는 제1 화상 복원 연산 공정, (S34) 제1 화상 복원 연산 준비 공정 S32 및 제1 화상 복원 연산 공정 S33을 구비하고, 제1 화상 복원 연산 준비 공정 S32 및 제1 화상 복원 연산 공정 S33에 있어서, S의 첨부 숫자가 작은 순으로 실행함으로써 최대 반복 연산 횟수(6)의 반복 연산을 끝내고 최우 복원 화상의 휘도 분포(12)를 출력하는 제1 화상 복원 공정, (S35) 최우 복원 화상의 휘도 분포(12)를 TV 영상화하여 1프레임분의 초해상 TV 영상 신호(13)를 출력하는 제1 TV 영상화 공정을 구비하는 것에 특징이 있다.
제1 PSF 복원 연산 공정 S19는, 수학식 1에 기초하여 연산을 행하고, 특정된 PSF의 휘도 분포(4), 특정된 PSF의 휘도 분포(4)로 이루어지는 PSF 초기값의 추정 휘도 분포(5) 및 열화 화상의 휘도 분포(1)로부터 열화 화상의 휘도 분포(1)에 가장 그럴듯한 최우 복원 PSF의 휘도 분포(10)를 추정한다. 수학식 1은, 본 발명자가 발명하여 등록된 특허문헌 2에 기재된 수학식 25를 컨볼루션 연산 가능하도록 고쳐 쓴 것이다. 수학식 1의 방법은 실수만을 연산 대상으로 하기 때문에, 특허문헌 2의 수학식 25의 방법에 비해 PSF의 휘도 분포의 푸리에 변환체인 OTF(Optical Transfer Function)가 아니라 PSF의 휘도 분포를 이용하고 있고 위상을 고려하지 않는다. 이 때문에 복원 정밀도가 떨어지지만, TV 영상은 상이 판별 불명할 정도로 흐려지는 일은 드물기 때문에, 수학식 1에 기초한 방법에서도 실용상 문제없다.
수학식 1에 있어서, F는 복원 화상 초기값의 추정 휘도 분포(3)를, G는 열화 화상의 휘도 분포(1)를, H는 PSF의 휘도 분포(4)를, H의 첨자는 k번째 값인 것을, 첨자 #가 붙은 F는 복원 화상의 추정 휘도 분포의 반전 함수를, 동그라미 안에 별표 마크는 컨볼루션 연산을 각각 의미한다. 또한, k는 0 이상의 정수이며, k가 0일 때가 초기값이다.
제1 화상 복원 연산 공정 S33은, 수학식 2에 기초하여 연산을 행하고, 특정된 PSF의 휘도 분포(4), 열화 화상의 휘도 분포(1)로 이루어지는 복원 화상 초기값의 추정 휘도 분포(3) 및 열화 화상의 휘도 분포(1)로부터 열화 화상의 휘도 분포(1)에 가장 그럴듯한 최우 복원 화상의 휘도 분포(12)를 복원한다. 수학식 2는, 본 발명자가 발명하여 등록된 특허문헌 2에 기재된 수학식 15를 컨볼루션 연산 가능하도록 고쳐 쓴 것이다. 수학식 2의 방법은 실수만을 연산 대상으로 하기 때문에, 특허문헌 2의 수학식 15의 방법에 비해 PSF의 휘도 분포의 푸리에 변환체인 OTF가 아니라 PSF의 휘도 분포를 이용하고 있고 위상을 고려하지 않는다. 이 때문에 복원 정밀도가 떨어지지만, TV 영상은 상이 판별 불명할 정도로 흐려지는 일은 드물기 때문에, 수학식 2에 기초한 방법에서도 실용상 문제없다.
수학식 2에 있어서, F는 복원 화상의 추정 휘도 분포를, F의 첨자는 k번째 값인 것을, G는 열화 화상의 휘도 분포를, H는 제1 PSF 복원 공정에서 복원된 최우 복원 PSF의 휘도 분포를, 첨자 #가 붙은 H는 최우 복원 PSF의 휘도 분포의 반전 함수를, 동그라미 안에 별표 마크는 컨볼루션 연산을 각각 의미한다. 또한, k는 0 이상의 정수이며, k가 0일 때가 초기값이다.
또한, 본 발명에서는 TV 영상은 상이 판별 불명할 정도로 흐려지는 일은 드물기 때문에, 수학식 1~2의 F0 즉 복원 화상 초기값의 추정 휘도 분포(3)로는 열화 화상의 휘도 분포(4)를 이용하고 있다.
본 발명에서 이용하는 컨볼루션 연산이란 컨볼루션 적분의 것이다. 수학식 3은 일반적인 컨볼루션 적분의 연산식의 일례로서, F(i, j)를 H(M, N)에 컨볼루션하고 그 결과가 G(i, j)인 것을 의미한다.
그러나, 본 발명에서는 유한 크기의 화상 분포를 대상으로 하기 때문에, 데이터는 이산치화되어 있고 컨볼루션 적분의 연산에는 선형 컨볼루션을 이용한다. 수학식 4는, 일반적인 선형 컨볼루션 연산식의 일례이다.
수학식 3~4에 있어서, i, j, m, n, M 및 N은 정수이다. 단, 수학식 3~4에 의한 컨볼루션 연산은, 컨볼루션 연산을 행하는 매트릭스 크기의 절반을 넘지 않는 최대의 정수로 표현할 수 있는 연산 곤란 영역이 발생한다. 예를 들어, 복원 화상 초기값의 추정 휘도 분포 F는 100×100화소 이상의 크기이고, 복원 화상 초기값의 추정 휘도 분포 F에 컨볼루션하는 PSF의 휘도 분포 H가 3×3 매트릭스 크기인 경우에는 F의 주변 1화소가 연산 곤란 영역이 되고, F에 컨볼루션하는 H가 5×5 매트릭스 크기인 경우에는 F의 주변 2화소가 연산 곤란 영역이 된다는 문제가 있다.
그래서, 본 발명에서 이용하는 해결책의 일례는, 사용하는 H의 크기에 따라 연산 곤란 영역의 화소가 주변 어떤 화소인지를 연산하고, 이 연산 곤란 영역에 존재하는 F의 최외주 화소를 F의 영역 경계의 외측에 미러 대칭이 되도록 카피 앤드 페이스트하여 새로 화소를 작성하고, 그 후 최외주의 위치를 변경함으로써, 즉 F의 화상 크기를 변경함으로써 연산 후에 연산 곤란 영역이 발생하지 않도록 하고 있다. 그 때, 상변에서 우측 둘레에 변마다 카피 앤드 페이스트함으로써 새로 발생한 화소를 F 본래의 화소에 집어넣음으로써, 카피 앤드 페이스트되지 않은 영역이 발생하지 않도록 하고 있다. 예를 들어, H가 5×5 크기이고 F가 W×L 크기인 경우, 1회째 카피 앤드 페이스트에서는 F는 W×L 크기에서 W×(L+2) 크기가 되고, 2회째 카피 앤드 페이스트에서는 F는 W×(L+2) 크기에서 (W+2)×(L+2) 크기가 되고, 3회째 카피 앤드 페이스트에서는 F는 (W+2)×(L+2) 크기에서 (W+2)×(L+4) 크기가 되고, 4회째 카피 앤드 페이스트에서는 F는 (W+2)×(L+4) 크기에서 (W+4)×(L+4) 크기가 된다.
도 3은, 본 발명에 의한 제1 복원 화상 초기값 보정 공정 S7에서 이용하는 보정 처리 순서의 일례를 도시한 것이다. 도 3의 보정 처리 순서는 6개의 단계로 이루어진다. 이들 6개의 단계는, (1) 복원 화상 초기값의 추정 휘도 분포(3)를 복사하고 이를 보정 복원 화상 초기값의 추정 휘도 분포(7)로 이루는 단계, (2) PSF의 휘도 분포(4)를 보정 복원 화상 초기값의 추정 휘도 분포(7)에 컨볼루션 연산할 때에 보정 복원 화상 초기값의 추정 휘도 분포(7)의 주변부에 발생하는 연산 곤란 영역(8)을, PSF의 휘도 분포의 화상 크기를 기초로 하여 연산 곤란 영역(8)을 계산하는 단계, (3) 보정 복원 화상 초기값의 추정 휘도 분포(7)의 상변에 관한 연산 곤란 영역(8)의 화소를 카피하고, 이 카피한 화소를 보정 복원 화상 초기값의 추정 휘도 분포(7)의 상변의 경계 외측에 경계에 대해 미러 대칭이 되도록 배치하도록 페이스트하는 단계, (4) 보정 복원 화상 초기값의 추정 휘도 분포(7)의 우변에 관한 연산 곤란 영역(8)의 화소를 카피하고, 이 카피한 화소를 보정 복원 화상 초기값의 추정 휘도 분포(7)의 우변의 경계 외측에 경계에 대해 미러 대칭이 되도록 배치하도록 페이스트하는 단계, (5) 보정 복원 화상 초기값의 추정 휘도 분포(7)의 하변에 관한 연산 곤란 영역(8)의 화소를 카피하고, 이 카피한 화소를 보정 복원 화상 초기값의 추정 휘도 분포(7)의 하변의 경계 외측에 경계에 대해 미러 대칭이 되도록 배치하도록 페이스트하는 단계, (6) 보정 복원 화상 초기값의 추정 휘도 분포(7)의 좌변에 관한 연산 곤란 영역(8)의 화소를 카피하고, 이 카피한 화소를 보정 복원 화상 초기값의 추정 휘도 분포(7)의 좌변의 경계 외측에 경계에 대해 미러 대칭이 되도록 배치하도록 페이스트하는 단계로 구성된다. 이렇게 함으로써, 보정 복원 화상 초기값의 추정 휘도 분포(7)의 네 모퉁이부의 반전부가 공백이 되는 것이 방지될 수 있다.
도 4는, 본 발명에 의한 제2 발명인 제2 PSF 복원 연산 공정 S48에서의 처리 순서의 일례를 흐름도로서 도시한 것이다. 도 4의 제2 PSF 복원 연산 공정 S48은, (S40) PSF 초기값의 추정 휘도 분포(5)를 보정 복원 화상 초기값의 추정 휘도 분포(7)에 컨볼루션하여 제11 함수를 얻는 공정, (S41) 제11 함수를 반전하여 제12 함수를 얻는 공정, (S42) 제12 함수에 열화 화상의 휘도 분포(1)를 곱하여 제13 함수를 얻는 공정, (S43) 보정 복원 화상 초기값의 추정 휘도 분포(7)의 반전 함수를 구하고 이를 제14 함수로 이루는 공정, (S44) 제14 함수를 제13 함수에 컨볼루션하여 제15 함수를 얻는 공정, (S45) 제15 함수를 PSF 초기값의 추정 휘도 분포(5)에 곱하여 복원 PSF의 추정 휘도 분포(9)를 얻는 공정, (S46) 복원 PSF의 추정 휘도 분포(9)를 PSF 초기값의 추정 휘도 분포(5) 및 복원 PSF의 추정 휘도 분포(9)의 최종값(14)으로서 출력하는 공정, (S47) (S40)~(S46)의 공정을 구비하고, S의 첨부 숫자가 작은 순으로 차례대로 처리함으로써 1회분의 반복 연산을 행하는 단분 PSF 복원 공정, (S48) 최대 반복 연산 횟수(6)분의 단분 PSF 복원 공정 S47을 직렬로 접속함으로써 구성되는 제2 PSF 복원 연산 공정이고, 이 제2 PSF 복원 연산 공정 S48에 있어서, 직렬로 접속된 단분 PSF 복원 공정 S47의 수에 상당하는 횟수의 반복 연산을 행하고, 최종단째의 단분 PSF 복원 공정 S47-F로부터 출력되는 복원 PSF의 추정 휘도 분포(9)의 최종값(14)을 최우 복원 PSF의 휘도 분포(10)로서 출력하는 것에 특징이 있다.
도 5는, 본 발명에 의한 제3 발명인 제2 화상 복원 연산 공정 S59에서의 처리 순서의 일례를 흐름도로서 도시한 것이다. 도 5의 제2 화상 복원 연산 공정 S59는, (S50) 최우 복원 PSF의 휘도 분포(10)의 화상 크기를 기초로 하여 복원 화상 초기값의 추정 휘도 분포(3)를 보정하여 보정 복원 화상 초기값의 추정 휘도 분포(7)를 얻는 제1 복원 화상 초기값 보정 공정과 동일한 처리 순서로 이루어지는 제3 복원 화상 초기값 보정 공정, (S51) 최우 복원 PSF의 휘도 분포(10)를 보정 복원 화상 초기값의 추정 휘도 분포(7)에 컨볼루션하여 제16 함수를 얻는 공정, (S52) 제16 함수를 반전하여 제17 함수를 얻는 공정, (S53) 제17 함수에 열화 화상의 휘도 분포(1)를 곱하여 제18 함수를 얻는 공정, (S54) 최우 복원 PSF의 휘도 분포(10)의 반전 함수를 구하고 이를 제19 함수로 이루는 공정, (S55) 제19 함수를 제18 함수에 컨볼루션하여 제20 함수를 얻는 공정, (S56) 제20 함수를 복원 화상 초기값의 추정 휘도 분포(3)에 곱하여 복원 화상의 추정 휘도 분포(11)를 얻는 공정, (S57) 복원 화상의 추정 휘도 분포(11)를 복원 화상 초기값의 추정 휘도 분포(3) 및 복원 화상의 추정 휘도 분포(11)의 최종값(15)으로서 출력하는 공정, (S58) (S50)~(S57)의 공정을 구비하고, S의 첨부 숫자가 작은 순으로 차례대로 처리함으로써 1회분의 반복 연산을 행하는 제1 단분 화상 복원 공정, (S59) 최대 반복 연산 횟수(6)분의 제1 단분 화상 복원 공정 S58을 직렬로 접속함으로써 구성되는 제2 화상 복원 연산 공정이고, 이 제2 화상 복원 연산 공정 S59에 있어서, 직렬로 접속된 제1 단분 화상 복원 공정 S58의 수에 상당하는 횟수의 반복 연산을 행하고, 최종단째의 제1 단분 화상 복원 공정 S58-F로부터 출력되는 복원 화상의 추정 휘도 분포(11)의 최종값(15)을 최우 복원 화상의 휘도 분포(12)로서 출력하는 것에 특징이 있다.
본 발명에서는 TV 영상용 제1 초해상 처리 방법을 소프트웨어 및 하드웨어에 의해 실시하는 것이 가능하지만, TV 영상은 구별이 되지 않을 정도로 흐려지지는 않기 때문에, 최대 반복 연산 횟수(6)를 크게 할 필요가 없고, 최대 반복 연산 횟수(6)를 12로 하고 있다. 소프트웨어에서는 처리 시간이 문제가 되지만, 하드웨어에서는 미리 준비하는 단분 PSF 복원 공정 S47 및 제1 단분 화상 복원 공정 S58의 수가 문제가 된다. 최대 반복 연산 횟수(6)가 12이므로, 각각 12개의 단분 PSF 복원 공정 S47 및 제1 단분 화상 복원 공정 S58을 미리 준비해 두면 된다.
도 6은, 본 발명에 의한 제4 발명인 TV 영상용 제2 초해상 처리 방법의 처리 순서에 관한 일례를 흐름도로서 도시한 것이다. 도 6의 TV 영상용 제2 초해상 처리 방법은, (S60) TV 영상(2)을 보면서 TV 영상의 열화 상황에 적합한 PSF의 휘도 분포(4)를 특정하는 제2 PSF 특정 공정, (S61) 1프레임분의 휘도 분포로 이루어지는 열화 화상의 휘도 분포(1)를 TV 영상(2)으로부터 준비하는 제2 열화 화상 준비 공정, (S62) 열화 화상의 휘도 분포(1)를 복사하고 이를 복원 화상 초기값의 추정 휘도 분포(3)로 이루고, 나아가 PSF의 휘도 분포(4)의 화상 크기를 기초로 하여 복원 화상 초기값의 추정 휘도 분포(3)를 보정하여 보정 복원 화상 초기값의 추정 휘도 분포(7)를 얻는 제1 복원 화상 초기값 보정 공정과 동일한 처리 순서로 이루어지는 제4 복원 화상 초기값 보정 공정, (S63) 보정 복원 화상 초기값의 추정 휘도 분포(7)를 열화 화상의 휘도 분포(1)로 이루는 공정, (S64) 최대 반복 연산 횟수(6)를 설정하는 공정, (S65) 반복 연산 횟수를 계수하는 카운터를 0으로 리셋하는 공정, (S66) PSF의 휘도 분포(4)에 보정 복원 화상 초기값의 추정 휘도 분포(7)를 컨볼루션하여 제21 함수를 얻는 공정, (S67) 제21 함수를 반전하여 제22 함수를 얻는 공정, (S68) 제22 함수에 열화 화상의 휘도 분포(1)를 곱하여 제23 함수를 얻는 공정, (S69) PSF의 휘도 분포(4)의 반전 함수를 구하고 이를 제24 함수로 이루는 공정, (S70) 제24 함수를 제23 함수에 컨볼루션하여 제25 함수를 얻는 공정, (S71) 제25 함수를 복원 화상 초기값의 추정 휘도 분포(3)에 곱하여 복원 화상의 추정 휘도 분포(11)를 얻는 공정, (S72) 복원 화상의 추정 휘도 분포(11)를 복원 화상 초기값의 추정 휘도 분포와 바꾸는 공정, (S73) 카운터에 1을 가산하는 공정, (S74) 카운터의 값이 최대 반복 연산 횟수(6) 이상이라는 가설을 검증하여, 만약 검증 결과가 거짓인 경우에는 (S75)의 공정으로 점프하지만, 만약 검증 결과가 진실인 경우에 (S77)의 공정으로 점프하는 공정, (S75) PSF의 휘도 분포(4)의 화상 크기를 기초로 하여 복원 화상 초기값의 추정 휘도 분포(3)를 보정하여 보정 복원 화상 초기값의 추정 휘도 분포(7)를 얻는 제1 복원 화상 초기값 보정 공정과 동일한 처리 순서로 이루어지는 제5 복원 화상 초기값 보정 공정, (S76) S66으로 점프하는 공정, (S77) 복원 화상의 추정 휘도 분포(11)를 최우 복원 화상의 휘도 분포(12)로서 출력하는 공정, (S78) (S60)~(S65)의 공정으로 구성되는 제2 화상 복원 연산 준비 공정, (S79) (S66)~(S77)의 공정으로 구성되는 제3 화상 복원 연산 공정, (S80) 제2 화상 복원 연산 준비 공정 및 제3 화상 복원 연산 공정을 구비하고, S의 첨부 숫자가 작은 순으로 실행함으로써 최대 반복 연산 횟수(6)의 반복 연산을 끝내고 최우 복원 화상의 휘도 분포(12)를 출력하는 제2 화상 복원 공정, (S81) 최우 복원 화상(12)의 휘도 분포를 TV 영상화하여 1프레임분의 초해상 TV 영상 신호(13)를 출력하는 제2 TV 영상화 공정을 구비하는 것에 특징이 있다.
도 7은, 본 발명에 의한 제5 발명인 제4 화상 복원 연산 공정 S94의 처리 순서에 관한 일례를 흐름도로서 도시한 것이다. 도 7의 제4 화상 복원 연산 공정 S94는, (S85) PSF의 휘도 분포(4)의 화상 크기를 기초로 하여 복원 화상 초기값의 추정 휘도 분포(3)를 보정하여 보정 복원 화상 초기값의 추정 휘도 분포(7)를 얻는 제1 복원 화상 초기값 보정 공정과 동일한 처리 순서로 이루어지는 제6 복원 화상 초기값 보정 공정, (S86) PSF의 휘도 분포(4)를 보정 복원 화상 초기값의 추정 휘도 분포(7)에 컨볼루션하여 제26 함수를 얻는 공정, (S87) 제26 함수를 반전하여 제27 함수를 얻는 공정, (S88) 제27 함수에 열화 화상의 휘도 분포(1)를 곱하여 제28 함수를 얻는 공정, (S89) PSF의 휘도 분포(4)의 반전 함수를 구하고 이를 제29 함수로 이루는 공정, (S90) 제29 함수를 제28 함수에 컨볼루션하여 제30 함수를 얻는 공정, (S91) 제30 함수를 복원 화상 초기값의 추정 휘도 분포(3)에 곱하여 복원 화상의 추정 휘도 분포(11)를 얻는 공정, (S92) 복원 화상의 추정 휘도 분포(11)를 복원 화상 초기값의 추정 휘도 분포(3) 및 복원 화상의 추정 휘도 분포(11)의 최종값(15)으로서 출력하는 공정, (S93) (S85)~(S92)의 공정을 구비하고, S의 첨부 숫자가 작은 순으로 처리함으로써 1회분의 반복 연산을 행하는 제2 단분 화상 복원 공정, (S94) 최대 반복 연산 횟수(6)분의 제2 단분 화상 복원 공정 S93을 직렬로 접속함으로써 구성되는 제4 화상 복원 연산 공정이고, 이 제4 화상 복원 연산 공정 S94에 있어서, 직렬로 접속된 제2 단분 화상 복원 공정 S93의 수에 상당하는 횟수의 반복 연산을 행하고, 최종단째의 제2 단분 화상 복원 공정 S93-F로부터 출력되는 복원 화상의 추정 휘도 분포(11)의 최종값(15)을 최우 복원 화상의 휘도 분포(12)로서 출력하는 것에 특징이 있다.
도 8은, 본 발명에 의한 제6 발명인 제5 화상 복원 연산 공정 S116의 처리 순서에 관한 일례를 흐름도로서 도시한 것이다. 도 8의 제5 화상 복원 연산 공정 S116은, (S100) 반복 연산 횟수를 계수하는 카운터를 리셋하는 공정, (S101) 카운터의 값이 0 이외라는 가설을 검증하여, 만약 검증 결과가 거짓이면 (S102)로 점프하고, 만약 검증 결과가 진실이면 (S103)으로 점프하는 공정, (S102) 열화 화상의 휘도 분포(1)를 열화 화상의 휘도 분포 저장용 버퍼(16) 및 복원 화상 초기값의 추정 휘도 분포용 버퍼(17)에 전송하는 공정, (S103) 복원 화상 초기값의 추정 휘도 분포용 버퍼(17)로부터 복원 화상 초기값의 추정 휘도 분포(3)를 읽어들이는 공정, (S104) PSF의 휘도 분포(4)의 화상 크기를 기초로 하여 복원 화상 초기값의 추정 휘도 분포(3)를 보정하여 보정 복원 화상 초기값의 추정 휘도 분포(7)를 얻는 제1 복원 화상 초기값 보정 공정과 동일한 처리 순서로 이루어지는 제7 복원 화상 초기값 보정 공정, (S105) PSF의 휘도 분포(4)를 보정 복원 화상 초기값의 추정 휘도 분포(7)에 컨볼루션하여 제31 함수를 얻는 공정, (S106) 제31 함수를 반전하여 제32 함수를 얻는 공정, (S107) 제32 함수에 열화 화상의 휘도 분포(1)를 곱하여 제33 함수를 얻는 공정, (S108) PSF의 휘도 분포(4)의 반전 함수를 구하고 이를 제34 함수로 이루는 공정, (S109) 제34 함수를 제33 함수에 컨볼루션하여 제35 함수를 얻는 공정, (S110) 제35 함수를 복원 화상 초기값의 추정 휘도 분포(3)에 곱하여 복원 화상의 추정 휘도 분포(11)를 얻는 공정, (S111) 카운터에 1을 가산하는 공정, (S112) 카운터의 값이 최대 반복 연산 횟수(6)를 넘는다는 가설을 검증하여, 만약 검증 결과가 거짓이면 (S113)으로 점프하고, 만약 검증 결과가 진실이면 (S115)로 점프하는 공정, (S113) 복원 화상의 추정 휘도 분포(11)를 복원 화상 초기값의 추정 휘도 분포용 버퍼(17)에 전송하는 공정, (S114) (S103)으로 점프하는 공정, (S115) 복원 화상의 추정 휘도 분포(11)를 최우 복원 화상의 휘도 분포(12)로서 출력하는 공정, (S116) (S100)~(S115)의 공정을 구비하고, S의 첨부 숫자가 작은 순으로 차례대로 실행함으로써 최대 반복 연산 횟수(6)의 반복 연산을 끝내고 최우 복원 화상의 휘도 분포(12)를 출력하는 제5 화상 복원 연산 공정인 것에 특징이 있다.
도 9는, 본 발명에 의한 제7 발명인 제1 PSF 특정 공정 S3 및 제2 PSF 특정 공정 S60의 처리 순서에 관한 일례를 흐름도로서 도시한 것이다. 도 9의 제1 PSF 특정 공정 S3 및 제2 PSF 특정 공정 S60은, (S120) 모니터에 비춰지는 TV 영상(2)의 광학적인 열화 정도에 따른 열화 지수(18)를 설정하는 공정, (S121) 열화 지수(18)에 관련된 PSF의 휘도 분포(4)를 PSF의 휘도 분포 데이터베이스(19)로부터 추출하여 출력하는 공정을 구비하는 것에 특징이 있다.
도 10은, 본 발명에 의한 PSF 데이터베이스(19) 내의 데이터의 일례를 도시한 것이다. PSF 데이터베이스(19)는, 256단계의 열화 지수(18)에 대해 PSF의 휘도 분포(4)의 화상 파일명(20)을 패스마다 1 대 1로 관련지어 구성한 것으로, 도 10의 예에서는 표이다. 이 표는, 예를 들어 CSV 파일 또는 배열에 저장되어 있다. 또한, 도 10의 예에서 패스는 드라이브￥디렉토리￥파일명이라는 구조로서, 예를 들어 열화 지수(18)가 1이면, PSF의 휘도 분포(4)의 화상 파일명(20)을 나타내는 패스는 PSF 데이터베이스(19)로부터 C:￥PSF￥PSF_1.bmp이다. 파일명은 PSF에 언더스코어를 부가하고 열화 지수(18)를 부가하고 도트를 부가하고 마지막으로 파일 형식 bmp를 부가한 구조이다.
도 10의 예에서 제1 PSF 특정 공정 S3 및 제2 PSF 특정 공정 S60의 처리 순서는, 공정 S121에 있어서, 공정 S120에서 설정된 열화 지수(18)를 이용하여 PSF 데이터베이스(19)를 참조하여 열화 지수(18)에 관련된 PSF의 휘도 분포의 화상 파일명(20)을 추출하고, 이 PSF의 휘도 분포의 화상 파일명(20)을 이용하여 HDD(Hard Disk Drive) 등의 대용량 랜덤 액세스 기억 장치 내의 화상으로서 기억된 PSF의 휘도 분포(4)를 독출한다.
도 11은, 본 발명에 의한 제8 발명인 제1 열화 화상 준비 공정 S1 및 제2 열화 화상 준비 공정 S61에서의 처리 순서의 일례를 흐름도로서 도시한 것이다. 도 11의 제1 열화 화상 준비 공정 S1 및 제2 열화 화상 준비 공정 S61은, (S130) 1프레임분의 TV 영상 신호(21)로부터 프레임을 구성하는 RGB 신호(22)를 취출하는 RGB 신호 추출 공정, (S131) 1프레임분의 TV 영상 신호(21) 중에서 RGB 신호(22)를 취출한 나머지 TV 영상 신호(23)를 1프레임분 지연하여 출력하는 지연 공정, (S132) RGB 신호(22)를 YUV 변환하여 YUV 신호(24)로 이루는 YUV 변환 공정, (S133) YUV 신호(24) 중에서 휘도 성분인 Y신호만으로 이루어지는 열화 화상의 휘도 분포(1)를 추출하여 Y 열화 화상의 휘도 분포(25)로 이루고, 나머지 U신호만으로 이루어지는 U 열화 화상의 분포(26) 및 V신호만으로 이루어지는 V 열화 화상의 분포(27)를 보유하는 Y 열화 화상 추출 공정, (S134) Y 열화 화상의 휘도 분포(25)의 디감마 처리를 행하고 1프레임분의 휘도 분포로 이루어지는 열화 화상의 휘도 분포(1)로 이루어 출력하는 디감마 처리 공정을 구비하는 것에 특징이 있다.
도 12는, 본 발명에 의한 제9 발명인 제1 TV 영상화 공정 S35 및 제2 TV 영상화 공정 S81에서의 처리 순서의 일례를 흐름도로서 도시한 것이다. 도 12의 제1 TV 영상화 공정 S34 및 제2 TV 영상화 공정 S78은, (S140) 최우 복원 화상의 휘도 분포(12)의 감마 처리를 행하는 감마 처리 공정, (S141) Y 열화 화상 추출 공정 S123에서 보유한 U 열화 화상의 분포(26) 및 V 열화 화상의 분포(27)와 Y성분으로 이루어지는 감마 처리 후의 최우 복원 화상의 휘도 분포(12)로부터 1장의 YUV 복원 화상의 분포(28)를 합성하는 복원 화상 합성 공정, (S142) YUV 복원 화상의 분포(28)의 RGB 변환을 행하여 RGB 복원 화상의 분포(29)로 이루는 RGB 변환 공정, (S143) RGB 복원 화상의 분포(29)를 판독하여 RGB 신호(30)를 출력하는 RGB 신호 변환 공정, (S144) RGB 신호(30)를 지연 공정 S121이 출력하는 RGB 신호(22)를 취출한 나머지 TV 영상 신호(23)와 합성하여 1프레임분의 초해상 TV 영상 신호(13)로 이루어 출력하는 TV 영상 신호 합성 공정을 구비하는 것에 특징이 있다. 제9 발명은 청구항 9에 기재된 것과 동일하다.
도 13은, 본 발명에 의한 제10 발명인 PSF의 휘도 분포(4)의 일례를 도시한 것이다. 도 13의 PSF의 휘도 분포는, 가장자리가 없는 정사각형상의 동일 크기의 화소로 이루어지는 것으로, 중심이 가장 밝은 2차원 정규 분포이며, 그 크기가 5×5 화소인 것에 특징이 있다.
| 태양 | PSF 복원수단 | 화상복원수단 | 프로그램명 | 기억 매체 |
|||
| TV영상용 제1초해상 처리방법 | 제1 태양 | PSF 복원연산 준비공정 |
제1 PSF 복원연산공정 | 제1 화상복원연산준비공정 | 제1 화상복원연산공정 | 제1초해상 처리 프로그램 | 제1 기억 매체 |
| 제2 태양 | 제2 PSF 복원연산공정 | 제2초해상 처리 프로그램 | |||||
| 제3 태양 | 제1 PSF 복원연산공정 | 제2 화상복원연산공정 | 제3초해상 처리 프로그램 | ||||
| 제4 태양 | 제2 PSF 복원연산공정 | 제2 화상복원연산공정 | 제4초해상 처리 프로그램 | ||||
| TV영상용 제2초해상 처리방법 | 제1 태양 | 제2 화상복원연산준비공정 | 제3 화상복원연산공정 | 제5초해상 처리 프로그램 | 제2 기억 매체 |
||
| 제2 태양 | 제4 화상복원연산공정 | 제6초해상 처리 프로그램 | |||||
| 제3 태양 | 제5 화상복원연산공정 | 제7초해상 처리 프로그램 | |||||
표 1은, 제1~7 초해상 처리 프로그램에 의해 구성되는 TV 영상용 제1 초해상 처리 방법의 4가지 태양 및 TV 영상용 제2 초해상 처리 방법의 3가지 태양을 나타내는 일람표이다. 표 1로부터, 제1 초해상 처리 프로그램은 TV 영상용 제1 초해상 처리 방법의 제1 태양을 구성하는 모든 공정을 컴퓨터에 실행시키기 위한 것이고, 제2 초해상 처리 프로그램은 TV 영상용 제1 초해상 처리 방법의 제2 태양을 구성하는 모든 공정을 컴퓨터에 실행시키기 위한 것이며, 제3 초해상 처리 프로그램은 TV 영상용 제1 초해상 처리 방법의 제3 태양을 구성하는 모든 공정을 컴퓨터에 실행시키기 위한 것이고, 제4 초해상 처리 프로그램은 TV 영상용 제1 초해상 처리 방법의 제4 태양을 구성하는 모든 공정을 컴퓨터에 실행시키기 위한 것이며, 제5 초해상 처리 프로그램은 TV 영상용 제2 초해상 처리 방법의 제1 태양을 구성하는 모든 공정을 컴퓨터에 실행시키기 위한 것이고, 제6 초해상 처리 프로그램은 TV 영상용 제2 초해상 처리 방법의 제2 태양을 구성하는 모든 공정을 컴퓨터에 실행시키기 위한 것이며, 제7 초해상 처리 프로그램은 TV 영상용 제2 초해상 처리 방법의 제3 태양을 구성하는 모든 공정을 컴퓨터에 실행시키기 위한 것이다. 제1~7 초해상 처리 프로그램은 각각 C++로 기술된 것을 사용하고 있지만, 예를 들어 JAVA(등록상표), HTML 및 XTML 등의 다른 언어 단체(單體) 또는 복수의 것을 조합한 것이어도 상관없다.
본 발명에 의한 제34 발명인 제1 기억 매체는, 표 1에 나타나는 바와 같이 TV 영상용 제1 초해상 처리 방법의 제1~제4 태양을 각각 실행하기 위한 제1~제4 초해상 처리 프로그램을 저장하기 위한 것으로, 암호화 및 복호화 회로 또는 접속하여 읽고 쓰는 컴퓨터 측에서 암호화 및 복호화가 가능한 기능을 탑재한 기억 매체이면 무엇이든지 좋고, 예를 들어 4G바이트 이상의 용량의 USB(Universal Serial Bus) 플래시 메모리나 SD 메모리 카드, CD(Compact Disk), DVD(Digital Versatile Disk) 등이 사용 가능하다.
본 발명에 의한 제35 발명인 제2 기억 매체는, 표 1에 나타나는 바와 같이 TV 영상용 제2 초해상 처리 방법의 제1~제3 태양을 각각 실행하기 위한 제5~제7 초해상 처리 프로그램을 저장하기 위한 것으로, 제1 기억 매체와 동일한 사양의 것이 사용 가능하다.
도 14는, 본 발명에 의한 제18 발명인 TV 영상용 제1 초해상 처리 장치(31)의 구성에 관한 일례를 도시한 것이다. 도 14의 TV 영상용 제1 초해상 처리 장치(31)는, (W1) 1프레임분의 휘도 분포로 이루어지는 열화 화상의 휘도 분포(1)를 TV 영상(2)으로부터 준비하는 제1 열화 화상 준비 수단, (W2) 열화 화상의 휘도 분포(1)를 복원 화상 초기값의 추정 휘도 분포(3)로 이루는 수단, (W3) PSF의 휘도 분포(4)를 특정하는 제1 PSF 특정 수단, (W4) 특정된 PSF의 휘도 분포(4)를 PSF 초기값의 추정 휘도 분포(5)로 이루는 수단, (W5) 최대 반복 연산 횟수(6)를 설정하는 수단, (W6) 반복 연산 횟수를 계수하는 카운터를 리셋하는 수단, (W7) 복원 화상 초기값의 추정 휘도 분포(3)를 복사하고 이를 보정 복원 화상 초기값의 추정 휘도 분포(7)로 이루고, 나아가 PSF의 휘도 분포(4)를 보정 복원 화상 초기값의 추정 휘도 분포(7)에 컨볼루션 연산할 때에 보정 복원 화상 초기값의 추정 휘도 분포(7)의 주변부에 발생하는 연산 곤란 영역(8)을, PSF의 휘도 분포(4)의 화상 크기를 기초로 하여 연산 곤란 영역(8)을 계산하고, 연산 곤란 영역(8)의 화소를 카피하고, 이 카피한 화소를 보정 복원 화상 초기값의 추정 휘도 분포(7)의 경계 외측에 경계에 대해 미러 대칭이 되도록 배치하도록 페이스트하고, 보정 복원 화상 초기값의 추정 휘도 분포(7)를 보정하여 보정 복원 화상 초기값의 추정 휘도 분포(7)를 얻는 제1 복원 화상 초기값 보정 수단, (W8) 보정 복원 화상 초기값의 추정 휘도 분포(7)를 열화 화상의 휘도 분포(1)로 이루는 수단, (W9) PSF 초기값의 추정 휘도 분포(5)를 보정 복원 화상 초기값의 추정 휘도 분포(7)에 컨볼루션하여 제36 함수(F36)를 얻는 수단, (W10) 제36 함수(F36)를 반전하여 제37 함수(F37)를 얻는 수단, (W11) 제37 함수(F37)에 열화 화상의 휘도 분포(1)를 곱하여 제38 함수(F38)를 얻는 수단, (W12) 보정 복원 화상 초기값의 추정 휘도 분포(7)의 반전 함수를 구하고 이를 제39 함수(F39)로 이루는 수단, (W13) 제39 함수(F39)를 제38 함수(F38)에 컨볼루션하여 제40 함수(F40)를 얻는 수단, (W14) 제40 함수(F40)를 PSF 초기값의 추정 휘도 분포(5)에 곱하여 복원 PSF의 추정 휘도 분포(9)를 얻는 수단, (W15) 복원 PSF의 추정 휘도 분포(9)를 PSF 초기값의 추정 휘도 분포(5)와 바꾸는 수단, (W16) 카운터에 1을 가산하는 수단, (W17) 카운터의 값이 최대 반복 연산 횟수(6)를 넘었다는 가설을 검증하여, 만약 검증 결과가 거짓이면 (W9)의 수단으로 되돌아가지만, 만약 검증 결과가 진실이면 복원 PSF의 추정 휘도 분포(9)를 최우 복원 PSF의 휘도 분포(10)로서 출력하는 수단, (W18) (W1)~(W8)의 수단으로 구성되는 PSF 복원 연산 준비 수단, (W19) (W9)~(W17)의 수단으로 구성되는 제1 PSF 복원 연산 수단을 구비하고, (W20) PSF 복원 연산 준비 수단(W17) 및 제1 PSF 복원 연산 수단(W18)에 있어서, S의 첨부 숫자가 작은 순으로 실행함으로써 최대 반복 연산 횟수(6)의 반복 연산을 끝내고 최우 복원 PSF(10)의 휘도 분포를 출력하는 제1 PSF 복원 수단, (W21) 카운터를 리셋하여 (W23)으로 점프하는 수단, (W22) 최우 복원 PSF의 휘도 분포(10)의 화상 크기를 기초로 하여 복원 화상 초기값의 추정 휘도 분포(3)를 보정하여 보정 복원 화상 초기값의 추정 휘도 분포(7)를 얻는 제1 복원 화상 초기값 보정 수단과 동일한 처리 순서로 이루어지는 제2 복원 화상 초기값 보정 수단, (W23) 최우 복원 PSF의 휘도 분포(10)를 보정 복원 화상 초기값의 추정 휘도 분포(7)에 컨볼루션하여 제41 함수(F41)를 얻는 수단, (W24) 제41 함수(F41)를 반전하여 제42 함수(F42)를 얻는 수단, (W25) 제42 함수(F42)에 열화 화상의 휘도 분포(1)를 곱하여 제43 함수(F43)를 얻는 수단, (W26) 최우 복원 PSF의 휘도 분포(10)의 반전 함수를 구하고 이를 제44 함수(F44)로 이루는 수단, (W27) 제44 함수(F44)를 제43 함수(F43)에 컨볼루션하여 제45 함수(F45)를 얻는 수단, (W28) 제45 함수(F45)를 복원 화상 초기값의 추정 휘도 분포(3)에 곱하여 복원 화상의 추정 휘도 분포(11)를 얻는 수단, (W29) 복원 화상의 추정 휘도 분포(11)를 복원 화상 초기값의 추정 휘도 분포(3)와 바꾸는 수단, (W30) 카운터에 1을 가산하는 수단, (W31) 카운터의 값이 최대 반복 연산 횟수(6)를 넘었다는 가설을 검증하여, 만약 검증 결과가 거짓이면 (W22)의 수단으로 되돌아가지만, 만약 검증 결과가 진실이면 복원 화상의 추정 휘도 분포(11)를 최우 복원 화상의 휘도 분포(12)로서 출력하는 수단, (W32) (W21)의 수단으로 구성되는 제1 화상 복원 연산 준비 수단, (W33) (W22)~(W31)의 수단으로 구성되는 제1 화상 복원 연산 수단을 구비하고, (W34) 제1 화상 복원 연산 준비 수단(W32) 및 제1 화상 복원 연산 수단(W33)에 있어서, S의 첨부 숫자가 작은 순으로 실행함으로써 최대 반복 연산 횟수(6)의 반복 연산을 끝내고 최우 복원 화상의 휘도 분포(12)를 출력하는 제1 화상 복원 수단, (W35) 최우 복원 화상의 휘도 분포(12)를 TV 영상화하여 1프레임분의 초해상 TV 영상 신호(13)를 출력하는 제1 TV 영상화 수단을 구비하는 것에 특징이 있다.
제1 화상 복원 연산 준비 수단(W7)은, 제1 화상 복원 연산 준비 공정 S7의 처리 순서에 따라 복원 화상 초기값의 추정 휘도 분포(3)를 보정하여 보정 복원 화상 초기값의 추정 휘도 분포(7)를 구하는 수단이다.
도 15는, 본 발명에 의한 제19 발명인 제2 PSF 복원 연산 수단(W48)의 구성에 관한 일례를 도시한 것이다. 제2 PSF 복원 연산 수단은, (W40) PSF 초기값의 추정 휘도 분포(5)를 보정 복원 화상 초기값의 추정 휘도 분포(7)에 컨볼루션하여 제46 함수(F46)를 얻는 수단, (W41) 제46 함수(F46)를 반전하여 제47 함수(F47)를 얻는 수단, (W42) 제47 함수(F47)에 열화 화상의 휘도 분포(1)를 곱하여 제48 함수(F48)를 얻는 수단, (W43) 보정 복원 화상 초기값의 추정 휘도 분포(7)의 반전 함수를 구하고 이를 제49 함수(F49)로 이루는 수단, (W44) 제49 함수(F49)를 제48 함수(F48)에 컨볼루션하여 제50 함수(F50)를 얻는 수단, (W45) 제50 함수(F50)를 PSF 초기값의 추정 휘도 분포(5)에 곱하여 복원 PSF의 추정 휘도 분포(9)를 얻는 수단, (W46) 복원 PSF의 추정 휘도 분포(9)를 PSF 초기값의 추정 휘도 분포(3) 및 복원 PSF의 추정 휘도 분포(9)의 최종값(14)으로서 출력하는 수단, (W47) (W40)~(W46)의 수단을 구비하고, S의 첨부 숫자가 작은 순으로 차례대로 처리함으로써 1회분의 반복 연산을 행하는 단분 PSF 복원 수단, (W48) 최대 반복 연산 횟수분의 단분 PSF 복원 수단을 직렬로 접속함으로써 구성되는 제2 PSF 복원 연산 수단이고, 이 제2 PSF 복원 연산 수단(W48)에 있어서, 직렬로 접속된 단분 PSF 복원 수단(W47)의 수에 상당하는 횟수의 반복 연산을 행하고, 최종단째의 단분 PSF 복원 수단(W47-F)으로부터 출력되는 복원 PSF의 추정 휘도 분포(9)의 최종값(14)을 최우 복원 PSF의 휘도 분포(10)로서 출력하는 것에 특징이 있다.
도 16은, 본 발명에 의한 제20 발명인 제2 화상 복원 연산 수단(W59)의 구성에 관한 일례를 도시한 것이다. 도 16의 제2 화상 복원 연산 수단(W59)은, (W50) 최우 복원 PSF의 휘도 분포(10)의 화상 크기를 기초로 하여 복원 화상 초기값의 추정 휘도 분포(3)를 보정하여 보정 복원 화상 초기값의 추정 휘도 분포(7)를 얻는 제1 복원 화상 초기값 보정 수단과 동일한 구성으로 이루어지는 제3 복원 화상 초기값 보정 수단, (W51) 최우 복원 PSF의 휘도 분포(10)를 보정 복원 화상 초기값의 추정 휘도 분포(7)에 컨볼루션하여 제51 함수를 얻는 수단, (W52) 제51 함수를 반전하여 제52 함수를 얻는 수단, (W53) 제52 함수에 열화 화상의 휘도 분포(1)를 곱하여 제53 함수를 얻는 수단, (W54) 최우 복원 PSF의 휘도 분포(10)의 반전 함수를 구하고 이를 제54 함수로 이루는 수단, (W55) 제54 함수를 제53 함수에 컨볼루션하여 제55 함수를 얻는 수단, (W56) 제55 함수를 복원 화상 초기값의 추정 휘도 분포(3)에 곱하여 복원 화상의 추정 휘도 분포(11)를 얻는 수단, (W57) 복원 화상의 추정 휘도 분포(11)를 복원 화상 초기값의 추정 휘도 분포(3) 및 복원 화상의 추정 휘도 분포(11)의 최종값(15)으로서 출력하는 수단, (W58) (W50)~(W57)의 수단을 구비하고, S의 첨부 숫자가 작은 순으로 차례대로 처리함으로써 1회분의 반복 연산을 행하는 제1 단분 화상 복원 수단, (W59) 최대 반복 연산 횟수(6)분의 제1 단분 화상 복원 수단(S58)을 직렬로 접속함으로써 구성되는 제2 화상 복원 연산 수단이고, 이 제2 화상 복원 연산 수단(W59)에 있어서, 직렬로 접속된 제1 단분 화상 복원 수단(W58)의 수에 상당하는 횟수의 반복 연산을 행하고, 최종단째의 제1 단분 화상 복원 수단(W58-F)으로부터 출력되는 복원 화상의 추정 휘도 분포(11)의 최종값(15)을 최우 복원 화상의 휘도 분포(12)로서 출력하는 것에 특징이 있다.
도 17은, 본 발명에 의한 제21 발명인 TV 영상용 제2 초해상 처리 장치(32)의 구성에 관한 일례를 도시한 것이다. 도 17의 TV 영상용 제2 초해상 처리 장치(32)는, (W60) TV 영상(2)을 보면서 TV 영상의 열화 상황에 적합한 PSF의 휘도 분포(4)를 특정하는 제2 PSF 특정 수단, (W61) 1프레임분의 휘도 분포로 이루어지는 열화 화상의 휘도 분포(1)를 TV 영상(2)으로부터 준비하는 제2 열화 화상 준비 수단, (W62) 열화 화상의 휘도 분포(1)를 복사하고 이를 복원 화상 초기값의 추정 휘도 분포(3)로 이루고, 나아가 PSF의 휘도 분포(4)의 화상 크기를 기초로 하여 복원 화상 초기값의 추정 휘도 분포(3)를 보정하여 보정 복원 화상 초기값의 추정 휘도 분포(7)를 얻는 제1 복원 화상 초기값 보정 수단과 동일한 처리 순서로 이루어지는 제4 복원 화상 초기값 보정 수단, (W63) 보정 복원 화상 초기값의 추정 휘도 분포(7)를 열화 화상의 휘도 분포(1)로 이루는 수단, (W64) 최대 반복 연산 횟수(6)를 설정하는 수단, (W65) 반복 연산 횟수를 계수하는 카운터의 값(n)을 0으로 리셋하는 수단, (W66) 특정된 PSF의 휘도 분포(4)를 보정 복원 화상 초기값의 추정 휘도 분포(7)에 컨볼루션하여 제56 함수(F56)를 얻는 수단, (W67) 제56 함수(F56)를 반전하여 제57 함수(F57)를 얻는 수단, (W68) 제57 함수(F57)에 열화 화상의 휘도 분포(1)를 곱하여 제58 함수(F58)를 얻는 수단, (W69) PSF의 휘도 분포(4)의 반전 함수를 구하고 이를 제59 함수(F59)로 이루는 수단, (W70) 제59 함수(F59)를 제58 함수(F58)에 컨볼루션하여 제60 함수(F60)를 얻는 수단, (W71) 제60 함수(F60)를 복원 화상 초기값의 추정 휘도 분포(3)에 곱하여 복원 화상의 추정 휘도 분포(11)를 얻는 수단, (W72) 복원 화상의 추정 휘도 분포(11)를 복원 화상 초기값의 추정 휘도 분포(3)와 바꾸는 수단, (W73) 카운터에 1을 가산하는 수단, (W74) 카운터의 값이 최대 반복 연산 횟수(6) 이상이라는 가설을 검증하여, 만약 검증 결과가 거짓인 경우에는 (W75)의 수단으로 점프하지만, 만약 검증 결과가 진실인 경우에 (W77)의 수단으로 점프하는 수단, (W75) PSF의 휘도 분포(4)의 화상 크기를 기초로 하여 복원 화상 초기값의 추정 휘도 분포(3)를 보정하여 보정 복원 화상 초기값의 추정 휘도 분포(7)를 얻는 제1 복원 화상 초기값 보정 수단과 동일한 처리 순서로 이루어지는 제5 복원 화상 초기값 보정 수단, (W76) W66으로 점프하는 수단, (W77) 복원 화상의 추정 휘도 분포(11)를 최우 복원 화상의 휘도 분포(12)로서 출력하는 수단, (W78) (W60)~(W65)의 수단으로 구성되는 제2 화상 복원 연산 준비 수단, (W79) (W66)~(W78)의 수단으로 구성되는 제3 화상 복원 연산 수단, (W80) 제2 화상 복원 연산 준비 수단(W78) 및 제3 화상 복원 연산 수단(W79)을 구비하고, S의 첨부 숫자가 작은 순으로 실행함으로써 최대 반복 연산 횟수(6)의 반복 연산을 끝내고 최우 복원 화상의 휘도 분포(12)를 출력하는 제2 화상 복원 수단, (W81) 최우 복원 화상의 휘도 분포(12)를 TV 영상화하여 1프레임분의 초해상 TV 영상 신호(13)를 출력하는 제2 TV 영상화 수단을 구비하는 것에 특징이 있다.
도 18은, 본 발명에 의한 제22 발명인 제4 화상 복원 연산 수단(W94)의 구성에 관한 일례를 도시한 것이다. 도 18의 제4 화상 복원 연산 수단(W94)은, (W85) PSF의 휘도 분포(4)의 화상 크기를 기초로 하여 복원 화상 초기값의 추정 휘도 분포(3)를 보정하여 보정 복원 화상 초기값의 추정 휘도 분포(7)를 얻는 제1 복원 화상 초기값 보정 수단과 동일한 처리 순서로 이루어지는 제6 복원 화상 초기값 보정 수단, (W86) PSF의 휘도 분포(4)를 보정 복원 화상 초기값의 추정 휘도 분포(7)에 컨볼루션하여 제61 함수를 얻는 수단, (W87) 제61 함수를 반전하여 제62 함수를 얻는 수단, (W88) 제62 함수에 열화 화상의 휘도 분포(1)를 곱하여 제63 함수를 얻는 수단, (W89) PSF의 휘도 분포(4)의 반전 함수를 구하고 이를 제64 함수로 이루는 수단, (W90) 제64 함수를 제63 함수에 컨볼루션하여 제65 함수를 얻는 수단, (W91) 제65 함수를 복원 화상 초기값의 추정 휘도 분포(3)에 곱하여 복원 화상의 추정 휘도 분포를 얻는 수단, (W92) 복원 화상의 추정 휘도 분포(11)를 복원 화상 초기값의 추정 휘도 분포(3) 및 복원 화상의 추정 휘도 분포(11)의 최종값(15)으로서 출력하는 수단, (W93) (W85)~(W92)의 수단을 구비하고, S의 첨부 숫자가 작은 순으로 처리함으로써 1회분의 반복 연산을 행하는 제2 단분 화상 복원 수단, (W94) 최대 반복 연산 횟수(6)분의 제2 단분 화상 복원 수단(W93)을 직렬로 접속함으로써 구성되는 제4 화상 복원 연산 수단이고, 이 제4 화상 복원 연산 수단(W94)에 있어서, 직렬로 접속된 제2 단분 화상 복원 수단(W93)의 수에 상당하는 횟수의 반복 연산을 행하고, 최종단째의 제2 단분 화상 복원 수단(W93-F)으로부터 출력되는 복원 화상의 추정 휘도 분포(11)의 최종값(15)을 최우 복원 화상의 휘도 분포(12)로서 출력하는 것에 특징이 있다.
도 19는, 본 발명에 의한 제23 발명인 제5 화상 복원 연산 수단의 구성에 관한 일례를 도시한 것이다. 도 19의 제5 화상 복원 연산 수단은, (W100) 반복 연산 횟수를 계수하는 카운터의 값(n)을 0으로 리셋하는 수단, (W101) 카운터의 값이 0 이외라는 가설을 검증하여, 만약 검증 결과가 거짓이면 (W102)로 점프하고, 만약 검증 결과가 진실이면 (W103)으로 점프하는 수단, (W102) 열화 화상의 휘도 분포(1)를 열화 화상의 휘도 분포 저장용 버퍼(16) 및 복원 화상 초기값의 추정 휘도 분포용 버퍼(17)에 전송하는 수단, (W103) 복원 화상 초기값의 추정 휘도 분포용 버퍼(17)로부터 복원 화상 초기값의 추정 휘도 분포(3)를 읽어들이는 수단, (W104) PSF의 휘도 분포(4)의 화상 크기를 기초로 하여 복원 화상 초기값의 추정 휘도 분포(3)를 보정하여 보정 복원 화상 초기값의 추정 휘도 분포(7)를 얻는 제1 복원 화상 초기값 보정 수단과 동일한 처리 순서로 이루어지는 제7 복원 화상 초기값 보정 수단, (W105) PSF의 휘도 분포(4)를 보정 복원 화상 초기값의 추정 휘도 분포(7)에 컨볼루션하여 제66 함수(F66)를 얻는 수단, (W106) 제66 함수(F66)를 반전하여 제67 함수(F67)를 얻는 수단, (W107) 제67 함수(F67)에 열화 화상의 휘도 분포(1)를 곱하여 제68 함수를 얻는 수단, (W108) PSF의 휘도 분포의 반전 함수를 구하고 이를 제69 함수로 이루는 수단, (W109) 제69 함수(F69)를 제68 함수(F68)에 컨볼루션하여 제70 함수(F70)를 얻는 수단, (W110) 제35 함수를 복원 화상 초기값의 추정 휘도 분포(3)에 곱하여 복원 화상의 추정 휘도 분포(11)를 얻는 수단, (W111) 카운터에 1을 가산하는 수단, (W112) 카운터의 값이 최대 반복 연산 횟수(6)를 넘는다는 가설을 검증하여, 만약 검증 결과가 거짓이면 (W113)으로 점프하고, 만약 검증 결과가 진실이면 (W115)로 점프하는 수단, (W113) 복원 화상의 추정 휘도 분포(11)를 복원 화상 초기값의 추정 휘도 분포용 버퍼(17)에 전송하는 수단, (W114) (W103)으로 점프하는 수단, (W115) 복원 화상의 추정 휘도 분포(11)를 최우 복원 화상의 휘도 분포(12)로서 출력하는 수단, (W116) (W100)~(W115)의 수단을 구비하고, W의 첨부 숫자가 작은 순으로 차례대로 실행함으로써 최대 반복 연산 횟수(6)의 반복 연산을 끝내고 최우 복원 화상의 휘도 분포(12)를 출력하는 제5 화상 복원 연산 수단인 것에 특징이 있다. 제23 발명은 청구항 23에 기재된 것과 동일하다.
도 20은, 본 발명에 의한 제24 발명인 제1 PSF 특정 수단(W3) 및 제2 PSF 특정 수단(W60)의 구성에 관한 일례를 도시한 것이다. 도 20의 제1 PSF 특정 수단(W3) 및 제2 PSF 특정 수단(W60)은, (W120) 모니터에 비춰지는 TV 영상(2)의 광학적인 열화 정도에 따른 열화 지수(18)를 설정하는 수단, (W121) 열화 지수(18)에 관련된 PSF의 휘도 분포(4)를 PSF 데이터베이스(19)로부터 추출하는 수단을 구비하는 것에 특징이 있다.
도 21은, 본 발명에 의한 제25 발명인 제1 열화 화상 준비 수단(W1) 및 제2 열화 화상 준비 수단(W61)의 구성에 관한 일례를 도시한 것이다. 도 21의 제1 열화 화상 준비 수단(W1) 및 제2 열화 화상 준비 수단(W61)은, (W130) 1프레임분의 TV 영상 신호(21)로부터 프레임을 구성하는 RGB 신호(22)를 취출하는 RGB 신호 추출 수단, (W131) 1프레임분의 TV 영상 신호(21) 중에서 RGB 신호(22)를 취출한 나머지 TV 영상 신호(23)를 1프레임분 지연하여 출력하는 지연 수단, (W132) RGB 신호(22)를 YUV 변환하여 YUV 신호(24)로 이루는 YUV 변환 수단, (W133) YUV 신호(24) 중에서 휘도 성분인 Y신호만으로 이루어지는 열화 화상의 휘도 분포(1)를 추출하여 Y 열화 화상의 휘도 분포(25)로 이루고, 나머지 U신호만으로 이루어지는 U 열화 화상의 분포(26) 및 V신호만으로 이루어지는 V 열화 화상의 분포(27)를 보유하는 Y 열화 화상 추출 수단, (W134) Y 열화 화상의 휘도 분포(25)의 디감마 처리를 행하고 1프레임분의 휘도 분포로 이루어지는 열화 화상의 휘도 분포(1)로 이루어 출력하는 디감마 처리 수단을 구비하는 것에 특징이 있다. 제25 발명은 청구항 25에 기재된 것과 동일하다.
도 22는, 본 발명에 의한 제26 발명인 제1 TV 영상화 수단(W35) 및 제2 TV 영상화 수단(W81)의 구성에 관한 일례를 도시한 것이다. 도 22의 제1 TV 영상화 수단(W35) 및 제2 TV 영상화 수단(W81)은, (W140) 최우 복원 화상의 휘도 분포(12)의 감마 처리를 행하는 감마 처리 수단, (W141) Y 열화 화상 추출 수단(W133)에서 보유한 U 열화 화상의 분포(26) 및 V 열화 화상의 분포(27)와 Y성분으로 이루어지는 감마 처리 후의 최우 복원 화상의 휘도 분포(12)로부터 1장의 YUV 복원 화상의 분포(28)를 합성하는 복원 화상 합성 수단, (W142) YUV 복원 화상의 분포(28)의 RGB 변환을 행하여 RGB 복원 화상의 분포(29)로 이루는 RGB 변환 수단, (W143) RGB 복원 화상의 분포(29)를 판독하여 RGB 신호(30)를 출력하는 RGB 신호 변환 수단, (W144) RGB 신호(30)를 지연 수단(W131)이 출력하는 RGB 신호(22)를 취출한 나머지 TV 영상 신호(23)와 합성하여 1프레임분의 초해상 TV 영상 신호(13)로 이루어 출력하는 TV 영상 신호 합성 수단을 구비하는 것에 특징이 있다.
| 태양 | PSF 복원수단 | 화상복원수단 | 프로그램명 | 기억 매체 |
|||
| TV영상용 제1초해상 처리장치 (31) |
제1 태양 | PSF 복원연산 준비수단 |
제1 PSF 복원연산수단 | 제1 화상복원연산준비수단 | 제1 화상복원연산수단 | 제1초해상 처리 장치 프로그램 | 제3 기억 매체 |
| 제2 태양 | 제2 PSF 복원연산수단 | 제2초해상 처리 장치 프로그램 | |||||
| 제3 태양 | 제1 PSF 복원연산수단 | 제2 화상복원연산수단 | 제3초해상 처리 장치 프로그램 | ||||
| 제4 태양 | 제2 PSF 복원연산수단 | 제2 화상복원연산수단 | 제4초해상 처리 장치 프로그램 | ||||
| TV영상용 제2초해상 처리장치 (32) |
제1 태양 | 제2 화상복원연산준비수단 | 제3 화상복원연산수단 | 제5초해상 처리 장치 프로그램 | 제4 기억 매체 |
||
| 제2 태양 | 제4 화상복원연산수단 | 제6초해상 처리 장치 프로그램 | |||||
| 제3 태양 | 제5 화상복원연산수단 | 제7초해상 처리 장치 프로그램 | |||||
표 2는, 제8~14 초해상 처리 프로그램에 의해 구성되는 TV 영상용 제1 초해상 처리 장치(31)의 4가지 태양 및 TV 영상용 제2 초해상 처리 장치(32)의 3가지 태양을 나타내는 일람표이다. 표 2로부터, 제8 초해상 처리 프로그램은 TV 영상용 제1 초해상 처리 장치(31)의 제1 태양을 구성하는 모든 수단을 구성함과 동시에 이들 수단을 컴퓨터에 실행시키기 위한 것이고, 제9 초해상 처리 프로그램은 TV 영상용 제1 초해상 처리 장치(31)의 제2 태양을 구성하는 모든 수단을 구성함과 동시에 이들 수단을 컴퓨터에 실행시키기 위한 것이며, 제10 초해상 처리 프로그램은 TV 영상용 제1 초해상 처리 장치(31)의 제3 태양을 구성하는 모든 수단을 구성함과 동시에 이들 수단을 컴퓨터에 실행시키기 위한 것이고, 제11 초해상 처리 프로그램은 TV 영상용 제1 초해상 처리 장치(31)의 제4 태양을 구성하는 모든 수단을 구성함과 동시에 이들 수단을 컴퓨터에 실행시키기 위한 것이며, 제12 초해상 처리 프로그램은 TV 영상용 제2 초해상 처리 장치(32)의 제1 태양을 구성하는 모든 수단을 구성함과 동시에 이들 수단을 컴퓨터에 실행시키기 위한 것이고, 제13 초해상 처리 프로그램은 TV 영상용 제2 초해상 처리 장치(32)의 제2 태양을 구성하는 모든 수단을 구성함과 동시에 이들 수단을 컴퓨터에 실행시키기 위한 것이며, 제14 초해상 처리 프로그램은 TV 영상용 제2 초해상 처리 장치(32)의 제3 태양을 구성하는 모든 수단을 구성함과 동시에 이들 수단을 컴퓨터에 실행시키기 위한 것이다. 제8~14 초해상 처리 프로그램은 각각 C++로 기술된 것을 사용하고 있지만, 예를 들어 JAVA(등록상표), HTML 및 XTML 등의 다른 언어 단체 또는 복수의 것을 조합한 것이어도 상관없다.
본 발명에 의한 제36 발명인 제3 기억 매체는, 표 2에 나타나는 바와 같이 TV 영상용 제1 초해상 처리 장치(31)의 제1~제4 태양 중의 각각의 태양 내의 모든 수단을 구성하고, 또한 이들 모든 수단을 실행하기 위한 제8~제11 초해상 처리 프로그램을 저장하기 위한 것으로, 제1 기억 매체와 동일한 사양의 것이 사용 가능하다.
본 발명에 의한 제37 발명인 제4 기억 매체는, 표 2에 나타나는 바와 같이 TV 영상용 제2 초해상 처리 장치(32)의 제1~제3 태양 중의 각각의 태양 내의 모든 수단을 구성하고, 또한 이들 모든 수단을 실행하기 위한 제12~제14 초해상 처리 프로그램을 저장하기 위한 것으로, 제1 기억 매체와 동일한 사양의 것이 사용 가능하다.
제8~제14 초해상 처리 프로그램 각각은, TV 영상용 초해상 처리 장치의 종류 및 그 태양에 맞추어 그 태양 내의 모든 수단을 구성하고 실행 순서를 규정하는 장치 프로그램, 초해상 처리에 관한 조작을 행하기 위한 초해상 처리 윈도우를 작성하여 컴퓨터의 모니터에 표시하는 전체 프로그램에 공통된 초해상 처리 윈도우 작성 프로그램, 초해상 처리 윈도우 내의 모든 버튼, 컴퓨터의 키보드 버튼, 마우스에 의해 지정된 위치 및 그 위치에서의 우측 클릭 및 좌측 클릭을 항상 감시하고 우측 클릭 및 좌측 클릭 등의 감시 대상에의 액션이 있으면 이에 적합한 처리를 실행하기 위한 전체 프로그램에 공통된 초해상 처리 윈도우 감시 프로그램이라는 동일한 구조를 가지고 있다.
실시예
실시예 1은, 본 발명에 의한 TV 영상용 제1 초해상 처리 장치(31)의 제1 태양(표 2)을 제1 초해상 처리 장치 프로그램(33)에 의해 컴퓨터(34)에 구성한 TV 영상용 제1 초해상 처리 시스템(35)이다. 한편, TV 영상용 제1 초해상 처리 장치(31)의 제2~4 태양은 제1 태양과 시스템 구성상 및 초해상 처리 품질의 면에서 차이가 없다. 이 때문에, TV 영상용 제1 초해상 처리 장치(31)의 대표로서 제1 태양을 실시예 1로 선택하였다.
도 23은, 본 발명에 의한 실시예 1의 TV 영상용 제1 초해상 처리 시스템(35)의 구성에 관한 일례를 도시한 것이다. 도 23의 TV 영상용 제1 초해상 처리 시스템(35)은, 디지털 TV 영상 신호를 입력/출력하기 위해 이용하는 디지털 TV 영상 신호 입출력 단자(36), TV 영상용 제1 초해상 처리 장치(31)가 인스톨된 컴퓨터(34), TV 영상 신호의 입력에 관한 열화 화상의 휘도 분포(1)를 TV 영상(2)으로부터 준비하는 제1 열화 화상 준비 수단(W1)이 FPGA에 의해 구성된 TV 영상 입력 기판(37), 초해상 TV 영상(38)의 출력에 관한 최우 복원 화상의 휘도 분포(12)를 TV 영상화하여 1프레임분의 초해상 TV 영상 신호(13)를 출력하는 제1 TV 영상화 수단(W35)이 FPGA에 의해 구성된 초해상 TV 영상 출력 기판(39), 영상 표시 모드 지정 버튼(40)으로 지정된 조건 표시 지정 버튼(41)에 의해 지정된 영상 표시 방법 및 초해상 처리 조건 표시 중첩 유무를 초해상 TV 영상 신호(13)에 반영시키는 초해상 처리 모드 전환 제어 회로 기판(42), 디지털 TV 영상 케이블(43), 버스 케이블(44)로 구성되어 있다. 도 23에서는 전원 케이블은 생략되어 있다.
도 23에서, 컴퓨터(34)에 구성된 TV 영상용 제1 초해상 처리 시스템(35) 내의 TV 영상용 제1 초해상 처리 장치(31)의 제1 열화 화상 준비 수단(W1) 및 제1 TV 영상화 수단(W35)에는 TV 영상 입력 기판(37) 및 초해상 TV 영상 출력 기판(39)이라는 하드웨어를 이용하고 있기 때문에, 컴퓨터(34) 내의 제1 열화 화상 준비 수단(W1)은 TV 영상 입력 기판(37)이 출력하는 열화 화상의 휘도 분포(1)를 취득하는 수단으로서 구성하고, 또한 제1 TV 영상화 수단(W35)은 초해상 TV 영상 출력 기판(39)에 최우 복원 화상의 휘도 분포(12)를 전송하는 수단으로서 구성되어 있다.
도 23에서, TV 영상용 제1 초해상 처리 장치(31)를 컴퓨터(34)에 구성함에 있어서, 우선, 도 24의 예에 따라 제3 기억 매체(45)를 컴퓨터(34) 뒤쪽의 USB 단자에 접속하고, 다음으로 제3 기억 매체(45)에 기억된 제1 초해상 처리 장치 프로그램(33)을 컴퓨터(34)에 인스톨한다. 그러면, 컴퓨터(34)는 TV 영상용 제1 초해상 처리 장치(31)를 기동하기 위해 사용하는 TV 영상용 제1 초해상 처리 장치 아이콘(46)을 모니터(47) 내의 화면 상에 둔다. 다음으로, 사용자(48)가 TV 영상용 제1 초해상 처리 장치 아이콘(46)을 클릭하여 TV 영상용 제1 초해상 처리 장치(31)를 기동한다. 그러면, 우선 제1 초해상 처리 장치 프로그램(33) 내의 장치 프로그램(49)이 기동하여, TV 영상용 제1 초해상 처리 방법에 따라 처리를 행하는 TV 영상용 제1 초해상 처리 장치(31) 내의 모든 수단을 구성하고, 다음으로 초해상 처리 윈도우 작성 프로그램(50)이 기동하여, TV 영상용 제1 초해상 처리 장치(31)에서의 초해상 처리에 관한 조작을 행하기 위해 이용하는 초해상 처리 윈도우(52)를 작성하여 모니터(47)에 표시하고, 다음으로 초해상 처리 윈도우 감시 프로그램(51)이 기동하여, 초해상 처리 윈도우(52) 내의 모든 버튼, 컴퓨터(34)의 키보드(53) 버튼, 컴퓨터(34)의 마우스(54)에 의해 지정된 위치 및 그 위치에서의 우측 클릭 및 좌측 클릭을 항상 감시하여 우측 클릭 및 좌측 클릭 등의 감시 대상에의 액션이 있으면 이에 적합한 처리를 실행하는 처리를 초해상 처리 윈도우(52) 내의 닫는 버튼(55)이 눌릴 때까지 행한다.
도 25는, 초해상 처리 윈도우(52)의 구성에 관한 일례를 도시한 것이다. 도 25의 초해상 처리 윈도우(52)는, 영상 윈도우(58) 내의 영상의 표시 모드를 반으로 나눈 테스트 모드, TV 영상(2)만을 표시하는 입력 영상 모드 또는 초해상 TV 영상(38)만을 표시하는 초해상 TV 영상 모드 중에서 하나를 풀다운 메뉴로부터 선택하기 위해 사용하는 영상 표시 모드 지정 버튼(40), 초해상 처리 조건의 최대 반복 연산 횟수(6) 및 열화 지수(18)를 초해상 TV 영상(38)의 우측 위 모퉁이에 중첩하여 표시하기 위해 사용하는 토글 스위치의 조건 표시 지정 버튼(41), 초해상 처리 윈도우(52)를 닫기 위해 사용하는 닫는 버튼(55), 열화 지수(18)를 0~255의 256단계 중의 어느 하나를 풀다운 메뉴(본 발명의 풀다운 메뉴에서는 디폴트는 연한 청색 배경으로 표시되어 있음)로부터 하나의 숫자를 지정하여 설정하기 위한 열화 지수 설정 버튼(56), 클릭하면 콤보 박스가 열리므로 리스트 중의 값을 선택하거나 또는 텍스트 박스에 표시되어 있는 디폴트 값의 위로부터 최대 반복 연산 횟수(6)를 직접 입력하여 설정하기 위해 사용하는 최대 반복 연산 횟수 설정 버튼(57), TV 영상(2) 및 초해상 TV 영상(38) 등을 표시하기 위한 영상 윈도우(58), 현재 일시 및 초해상 조건 및 시스템으로부터의 메시지 등을 표시하기 위한 것으로 상하 스크롤 바가 우단에 설치된 정보 윈도우(60), 초해상 처리를 설정된 조건 하에 개시하기 위해 클릭하는 초해상 처리 개시 버튼(61), 초해상 처리를 중단하기 위해 클릭하는 초해상 처리 중단 버튼(62), 중단한 초해상 처리를 재개하기 위한 초해상 처리 재개 버튼(63), 초해상 처리를 정지하기 위해 클릭하는 초해상 처리 정지 버튼(64), 헬프 윈도우를 열고 헬프 내용을 검색 그리고 표시하기 위한 헬프 버튼(65), 영상 윈도우(58) 내의 축소/확대하고자 하는 영상을 클릭하여 지정한 후에 이 버튼 내의 +를 누르면 지정한 영상이 확대되고 -를 누르면 지정한 영상이 확대되고 0을 누르면 디폴트 배율로 복귀하여 지정한 영상이 표시되는 영상 확대/축소 버튼(66)으로 구성되어 있다. 도 25는, 테스트 모드에서의 영상의 표시 상태를 나타내고 있다.
컴퓨터(34)는, 64비트 인스트럭션 세트 32비트 6코어/칩 CPU(Central Processing Unit), GPU(Graphic Processing Unit), 32G바이트 이상의 메모리, 1테라바이트 이상의 기억용량을 가지는 HDD, 128G바이트 이상의 기억용량을 가지는 SDD(Solidstate Disk Drive), 3개 이상의 USB 단자, 하나 이상의 LAN(Local Area Network) 단자, WiFi(Wireless Fidelity)나 Bluetooth(등록상표) 등의 무선 통신 모듈, 전화 단자, 키보드(53), 마우스(54), FHD(Full High Definition) 디스플레이, 마이크로소프트사 제품 Windows(등록상표) 8 O/S, 마이크로소프트사 제품 Visual Studio 2010(등록상표)(Visual C++ 2010을 포함함), 마이크로소프트사 제품 Office 2013(등록상표)으로 구성되고, WiFi, Bluetooth(등록상표), LAN, USB 및 인터넷을 통해 다른 컴퓨터와 통신 가능한 것이다. 컴퓨터(34)로는 양산되어 시장에서 유통되고 있는 많은 종류의 데스크탑형 컴퓨터 중에서 선택한 것을 사용하고 있고, 동일한 규격을 가지는 것이면 워크스테이션으로도 된다. 또한, O/S의 종류가 다르지만, 서버이어도 된다.
도 26은, TV 영상용 제1 초해상 처리 시스템(35)에서 초해상 처리를 실행하는 순서의 일례를 트랜잭션 테이블로서 도시한 것이다. 도 26의 트랜잭션 테이블은, 사용자(48)의 시간축(실선), 사용자(48)에 의한 입력 처리를 의미하는 사용자(48)의 시간축으로부터 비스듬하게 연장되는 실선 화살표, 컴퓨터(34)의 시간축(점선), 컴퓨터(34)에 의한 응답을 의미하는 컴퓨터(34)의 시간축으로부터 비스듬하게 연장되는 점선 화살표, 개시 및 종료의 타이밍을 의미하는 문자가 들어간 타원으로 구성되어 있다.
도 26의 트랜잭션 테이블에 따라, TV 영상용 제1 초해상 처리 시스템(35)에서 초해상 처리를 실행하기까지의 순서는, (1) 「기동」 단계에서, 사용자(48)는 TV 영상용 제1 초해상 처리 장치 아이콘(46)을 클릭하고, 컴퓨터(34)는 (A) 초해상 처리 윈도우(52)를 모니터(47)에 표시하며, (2) 「초해상 처리 조건 입력-1」 단계에서, 사용자(48)는 열화 지수 설정 버튼(56)을 클릭하고, 컴퓨터(34)는 (B) 열화 지수 설정 버튼(56)의 위치에 풀다운 메뉴를 전개 표시하며, (3) 「초해상 처리 조건 입력-2」 단계에서, 사용자(48)는 풀다운 메뉴로부터 적절한 수치를 선택하고, 컴퓨터(34)는 (C) 열화 지수(18)를 도입하고 풀다운 메뉴를 닫으며, (4) 「초해상 처리 조건 입력-3」 단계에서, 사용자(48)는 최대 반복 연산 횟수 설정 버튼(57)을 클릭하고, 컴퓨터(34)는 (D) 최대 반복 연산 횟수 설정 버튼(57)의 위치에 콤보 박스를 전개하며, (5) 「초해상 처리 조건 입력-4」 단계에서, 사용자(48)는 콤보 박스로부터 적절한 수치를 선택 또는 입력하고, 컴퓨터(34)는 (E) 최대 반복 연산 횟수(6)를 도입하고 콤보 박스를 닫으며, (6) 「초해상 처리 조건 입력-5」 단계에서, 사용자(48)는 영상 표시 모드 지정 버튼(40)을 클릭하고, 컴퓨터(34)는 (F) 영상 표시 모드 지정 버튼(40)의 위치에 풀다운 메뉴를 전개하며, (7) 「초해상 처리 조건 입력-6」 단계에서, 사용자(48)는 풀다운 메뉴로부터 적절한 모드를 선택하고, 컴퓨터(34)는 (G) 영상 표시 모드 지정 버튼(40)을 도입하고 풀다운 메뉴를 닫으며, (8) 「초해상 처리 조건 입력-7」 단계에서, 사용자(48)는 조건 표시 지정 버튼(41)을 클릭하고, 컴퓨터(34)는 (H) 조건 표시 지정 버튼(41)의 색을 반전하여 표시 설정인 것을 표시하며, (9) 「초해상 처리 개시」 단계에서, 사용자(48)는 초해상 처리 개시 버튼(48)을 클릭하고, 컴퓨터(34)는 (I) 초해상 처리를 실행하여 초해상 TV 영상(38) 및 TV 영상(2)을 영상 표시 모드 지정 버튼(40) 및 조건 표시 지정 버튼(41)에 따라 영상 윈도우(58)에 반영하여 표시한다. 초해상 처리 윈도우(52)는, 초해상 처리 중이어도 초해상 처리 윈도우(52)의 버튼에의 액세스를 항상 감시하고 있기 때문에, 초해상 처리 조건 변경이라면 사용자(48)는 영상 표시 모드 지정 버튼(40), 조건 표시 지정 버튼(41), 열화 지수 설정 버튼(56), 최대 반복 연산 횟수 설정 버튼(57)을 클릭하여 조건을 재설정하면 영상은 표시된 채로 초해상 처리 조건의 변경이 반영된다. 만약 사용자(48)가 초해상 처리를 종료하고 싶은 경우에는, 사용자(48)는 닫는 버튼(55)을 클릭한다. 그러면, 컴퓨터(34)는 이에 응답하여 초해상 처리 윈도우(52)를 닫고 나아가 TV 영상용 제1 초해상 처리 장치(31)를 닫는다.
도 26의 초해상 처리 순서에 따라, 사용자(48)는 우선 단계(1)를 실행하여 초해상 처리 윈도우(52)를 모니터(47)에 표시시키고, 다음으로 단계(2)를 실행하여 열화 지수 설정 버튼(56)의 위치에 풀다운 메뉴를 전개 표시시키고, 단계(3)에서 TV 영상(2)이 표시되어 있는 지상 디지털 TV(59)를 보면서 TV 영상(2)의 열화 정도가 적다고 느꼈으므로 열화 지수(18)(디폴트 값은 256단계 중의 60)로서 14를 선택하고, 다음으로 단계(4)를 실행하여 최대 반복 연산 횟수 설정 버튼(57)의 위치에 콤보 박스를 전개시키고, 단계(5)에서 TV 영상(2)이 표시되어 있는 지상 디지털 TV(59)를 보면서 TV 영상(2)의 열화 정도가 적다고 느꼈으므로 최대 반복 연산 횟수(6)(디폴트 값은 3)로서 4를 선택하고, 다음으로 단계(6)를 실행하여 영상 표시 모드 지정 버튼(40)의 위치에 풀다운 메뉴를 전개시키고, 단계(7)에서 아직 초해상 처리 조건이 확정되지 않았으므로 테스트 모드를 선택하고, 다음으로 단계(8)를 실행하여 조건 표시 지정 버튼(41)을 표시 설정으로 하고, 다음으로 단계(9)를 실행하여 초해상 처리를 실행하면, 초해상 처리 윈도우(52)의 영상 윈도우(58)에 TV 영상(2)과 초해상 TV 영상(38)이 가로로 나열된 반으로 나눈 상태로 표시되고, 사용자(48)는 이 초해상 처리 조건에서 좋다고 생각하고 지상 디지털 TV(59)를 조작하여 입력 설정을 비디오로 하여 영상 윈도우(58)에 표시되어 있는 영상을 지상 디지털 TV(59)에 전체화면 표시시키고, 다음으로 사용자(48)는 영상 표시 모드 지정 버튼(40)을 조작하여 초해상 TV 영상 모드로 변경하고, 영상 윈도우(58) 및 지상 디지털 TV(59)에 초해상 TV 영상(38)을 전체화면 표시시키고 시청하였다.
도 27은, 실시예 1에 의한 초해상 처리 상황의 일례를 나타내는 도면이다. 도 27에는, 테스트 모드에서의 TV 영상(2)과 초해상 TV 영상(38)이 가로로 나열된 반으로 나눈 상태로 표시된 영상의 1프레임을 표시하고 있다. 반으로 나눈 우측이 초해상 처리 전의 TV 영상(2)의 1프레임이며, 반으로 나눈 좌측은 반으로 나눈 우측의 1프레임을 초해상 처리한 초해상 TV 영상(38)의 1프레임이다. 초해상 TV 영상(38)의 1프레임의 우측 위 모퉁이에는, 열화 지수(18)가 F라는 기호로 표시되고 최대 반복 연산 횟수(6)가 I라는 기호로 표시되고 게다가 영상 표시 모드가 테스트 모드인 것은 테스트라는 약어로 표시되어 있다. 도 27로부터, TV 영상(2)의 표시 개시 위치가 초해상 TV 영상(38)보다 다소 우측으로 벗어나 있지만, 본 발명에 의한 실시예 1의 TV 영상용 제1 초해상 처리 시스템(35)에 의한 초해상 품질은 충분한 실용성을 갖추고 있는 것을 알 수 있다.
실시예 2는, 본 발명에 의한 TV 영상용 제2 초해상 처리 장치(32)의 제1 태양(표 2)을 응용한 TV 영상용 제2 초해상 처리 시스템(67)이다. TV 영상용 제2 초해상 처리 시스템(67)은, TV 영상용 제1 초해상 처리 시스템(35)의 제1 초해상 처리 장치 프로그램(33)을 제5 초해상 처리 장치 프로그램(68)으로 변경함으로써 구성되지만, 사용자(48)와 컴퓨터(34) 사이의 인터페이스인 초해상 처리 윈도우(52)에는 아무런 변경이 없기 때문에, 사용자(48)로부터 본 시스템 상의 변경 및 초해상 처리 순서의 변경은 없다. 그러나, TV 영상용 제2 초해상 처리 시스템(67)에는 제1 PSF 복원 수단(W19)이 존재하지 않기 때문에, 처리 수단의 수가 대략 절반이고 실행 처리 속도가 고속이라는 특징이 있는 반면, 열화 지수(18)의 설정에 민감하다는 결점이 있다. 초해상 처리 품질은, TV 영상이고 초해상 처리 조건 설정이 실시예 1과 동일하면 실시예 1과 거의 차이가 없고, 도 27의 예와 동일한 결과를 얻을 수 있다. 또한, TV 영상용 제2 초해상 처리 장치(32)의 제2~3 태양은 제1 태양과 시스템 구성상 및 초해상 처리 품질의 면에서 차이가 없다.
실시예 3은, TV 영상용 제1 초해상 처리 장치(31)의 제4 태양(표 2)을 하드웨어화한 제1 셋톱 박스(69)이다.
도 28은, 실시예 3에 의한 제1 셋톱 박스(69)의 내부 구성에 관한 일례를 나타내는 도면이다. 도 28의 제1 셋톱 박스(69)는, 디지털 TV 영상 신호를 입력/출력하기 위해 이용하는 디지털 TV 영상 신호 입출력 단자(36), TV 영상(2)의 열화 정도를 나타내는 열화 지수(18)를 설정하기 위해 이용하는 F설정 수단(70), 최대 반복 연산 횟수(6)를 설정하기 위해 이용하는 I설정 수단(71), 초해상 처리 모드를 테스트 또는 본 처리로 전환하는 모드 스위치(72), 초해상 처리의 모드 및 F설정 수단(70) 및 I설정 수단(71)의 값을 TV 영상 신호에 중첩할지 어떨지 지정하는 조건 표시 스위치(73), 초해상 처리의 모드 및 F설정 수단(70) 및 I설정 수단(71)의 값을 항상 모니터하기 위한 LCD(Liquid Crystal Display) 모니터(74), 제1 셋톱 박스(69)의 전원 온/오프를 행하기 위해 이용하는 전원 스위치(75), 전원 스위치(75)가 온일 때에만 점등하는 LED(Light Emitting Diode) 램프(76), 케이스(77), 제1 셋톱 박스 프로그램(78)을 인스톨함으로써 제1 PSF 복원 연산 수단(W18) 및 제1 화상 복원 연산 수단(W32) 이외의 TV 영상용 제1 초해상 처리 장치(31)의 제4 태양의 모든 수단이 미리 정의된 컴퓨터 기판(79), 디지털 TV 영상 신호가 디지털 인터레이스 방식이나 디지털 프로그레시브 TV 영상 신호인지를 자동으로 판정하여 디지털 인터레이스 방식일 때에만 디지털 TV 영상 신호를 디지털 프로그레시브 TV 영상 신호로 변환하는 업 컨버터 회로 기판(80), 1프레임분의 휘도 분포로 이루어지는 열화 화상의 휘도 분포(1)를 TV 영상(2)으로부터 준비하는 제1 열화 화상 준비 수단(W1)을 회로화한 것으로 이루어지는 G회로 기판(81), 최우 복원 화상의 휘도 분포(12)를 TV 영상화하여 1프레임분의 초해상 TV 영상 신호(13)를 출력하는 제1 TV 영상화 수단(35)을 회로화한 것으로 이루어지는 R회로 기판(82), 초해상 처리 모드 전환 제어 회로 기판(42), HDD(83), 제1 PSF 복원 연산 수단(W19)을 6개의 단분 PSF 복원 수단(W47)을 직렬 접속하여 구성한 제2 PSF 복원 연산 수단(W48)을 FPGA를 이용하여 제작한 P회로 기판(84), 제1 화상 복원 연산 수단(W33)을 6개의 제1 단분 화상 복원 수단(W58)을 직렬 접속하여 구성한 제2 화상 복원 연산 수단(W59)을 FPGA를 이용하여 제작한 F회로 기판(85), 제1 셋톱 박스(69) 내의 필요한 것에 적절한 전원을 제공하는 전원 회로 기판(86), 컴퓨터 기판(79)으로부터 최적의 구동 조건의 제공을 받고 적당량의 풍량으로 방열을 지원하는 방열 팬(87), LAN 단자(88), USB 단자(89~91), 상용 교류 단상 100V 전원 케이블(92), 버스 케이블(93), 고주파 케이블(94), 전원 케이블(95), 신호선(96), 신호선(97)으로 구성되어 있다.
F설정 수단(70)은, TV 영상용 제1 초해상 처리 장치(31)의 제1 PSF 특정 수단(W3) 및 TV 영상용 제2 초해상 처리 장치(32)의 제2 PSF 특정 수단(W60)에 공통된 수단으로, 지상 디지털 TV(59) 등의 모니터에 비춰지는 TV 영상(2)의 광학적인 열화 정도에 따른 열화 지수(18)를 설정하기 위한 수단(W120)에 상당한다. 또한, I설정 수단(71)은 TV 영상용 제1 초해상 처리 장치(31)의 수단(W5) 및 TV 영상용 제2 초해상 처리 장치(32)의 수단(W64)에 상당한다. F설정 수단(70) 및 I설정 수단(71)은 10진수 3자릿수의 숫자를 설정 가능한 비트 스위치이고, 데이터 및 전원은 버스 케이블(93)을 통해 행하고, 또한 설정값이 직접 읽을 수 있는 사양의 것이 적합하다. 이 사양의 것은 시장에서 입수 가능하다.
제1 셋톱 박스 프로그램(78)은 C++ 언어로 기술된 프로그램으로, 컴퓨터 기판(79)에 탑재된 CPU가 읽어들여 실행 가능한 것이고, 사전에 인스톨되고 제1 PSF 특정 수단(W3) 및 제2 PSF 특정 수단(W60) 중의 수단(W121)(도 20)이 컴퓨터 기판(79) 내의 컴퓨터에 정의되고, 나아가 수단(W121)이 참조하는 PSF 데이터베이스(19)(도 10, 도 20)가 HDD(83) 내에 구성되고, 그 밖에 제1 PSF 복원 연산 수단(W18) 및 제1 화상 복원 연산 수단(W32) 이외의 TV 영상용 제1 초해상 처리 장치(31)의 제4 태양의 모든 수단이 정의되고, 또한 제1 셋톱 박스(69) 내의 하드웨어와의 사이에 정보 교환이 원활하게 행해지도록 프로그래밍되어 있고, 전원 스위치(75)가 투입되면 초기화 후 자동 실행된다.
도 29는, 제1 셋톱 박스(69)에서의 처리 순서의 일례를 흐름도로서 도시한 것이다. 도 29의 흐름도는, (단계 1) 전원 투입에 의한 초해상 처리 모드 전환 제어 회로 기판(42), 업 컨버터 회로 기판(80), G회로 기판(81), R회로 기판(82), P회로 기판(84) 및 F회로 기판(85)을 리셋하는 단계, (단계 2) G회로 기판(81)으로부터 전송되는 열화 화상의 휘도 분포(1)를 P회로 기판(84) 및 F회로 기판(85)에 전송하는 단계, (단계 3) 컴퓨터 기판(79)에 정의된 수단(W5)이 I설정 수단(71)으로부터 최대 반복 연산 횟수(6)를 읽어들이는 단계, (단계 4) 컴퓨터 기판(79)에 정의된 제1 PSF 특정 수단(W3)이 F설정 수단(70)으로부터 열화 지수(18)를 읽어들이고 이를 검색 정보로서 PSF 데이터베이스(19)를 검색하여 얻어진 PSF의 휘도 분포(4)를 P회로 기판(84)에 전송하는 단계, (단계 5) 컴퓨터 기판(79)에 정의된 제1 복원 화상 초기값 보정 수단(W7)이 G회로 기판(81)으로부터 전송되는 열화 화상의 휘도 분포(1)를 복원 화상 초기값의 추정 휘도 분포(3) 및 보정 복원 화상 초기값의 추정 휘도 분포(7)로 이룬 후에 PSF의 휘도 분포(4)의 화상 크기를 기초로 보정 복원 화상 초기값의 추정 휘도 분포(7)의 연산 곤란 영역(8)을 계산하고 나아가 보정 복원 화상 초기값의 추정 휘도 분포(7)의 연산 곤란 영역(8)을 보정하고 나아가 보정 복원 화상 초기값의 추정 휘도 분포(7)를 열화 화상의 휘도 분포(1)로 이루고 나아가 보정 복원 화상 초기값의 추정 휘도 분포(7)를 P회로 기판(84) 및 F회로 기판(85)에 전송하는 단계, (단계 6) 컴퓨터 기판(79)의 컴퓨터가 P회로 기판(84)에서 최대 반복 연산 횟수(6)의 반복 연산을 개시시키는 단계, (단계 7) 컴퓨터 기판(79)의 컴퓨터는 P회로 기판(84)이 출력하는 최우 복원 PSF의 휘도 분포(10)를 F회로 기판(85)에 전송하는 단계, (단계 8) 컴퓨터 기판(79)의 컴퓨터가 F회로 기판(85)에서 최대 반복 연산 횟수(6)의 반복 연산을 개시시키는 단계, (단계 9) 컴퓨터 기판(79)의 컴퓨터는 F회로 기판(85)이 출력하는 최우 복원 화상의 휘도 분포(12)를 R회로 기판(82)에 전송하는 단계, (단계 10) (단계 4)로 되돌아가는 단계, (단계 11) 오프라인으로 전원 스위치(75)가 오프가 됨으로써 종료하는 단계로 구성되어 있다. 처리는 (단계 1)부터 개시되어 그 후 (단계 3)~(단계 11)의 사이에서 반복적으로 행해지고, (단계 12)에서 오프라인으로 전원 스위치(75)가 오프가 됨으로써 종료한다.
컴퓨터 기판(79)은 최신 윈도우즈(등록상표) OS(Operating System)계 컴퓨터로서, C++ 언어를 사용 가능한 PC 마더보드이다. PC 마더보드에는 각종 I/O(Input/Output interface), LAN 단자(88), USB 단자(89~91), 마이크 단자, 스피커 단자 등의 외부 접속 단자를 많이 가지고 있고, 또한 가격도 그렇게 고가는 아니기 때문에 적합하다. PC 마더보드는 시장에서 많은 종류가 유통되고 있고, 16G바이트 등의 다량의 고속 메모리를 탑재한 하이엔드의 것이면 무엇이든지 좋다. 또한, C++ 언어는 PC 마더보드 구입 후에 인스톨해도 된다.
초해상 처리 모드 전환 제어 회로 기판(42)은, 모드 스위치(72) 및 조건 표시 스위치(73)의 상태를 항상 읽어들이고 자동 판정하여, (모드 1) 만약 모드 스위치(72)가 본 처리 모드이고 조건 표시 스위치(73)가 중첩이 없는 경우에는, 업 컨버터 회로 기판(80)으로부터 1프레임분의 TV 영상 신호(21)를 수취하여 G회로 기판(81)에 출력하고, R회로 기판(82)으로부터 출력되어 오는 초해상 처리 후의 1프레임분의 초해상 TV 영상 신호(13)를 디지털 TV 영상 신호 입출력 단자(36)에 출력하며, (모드 2) 만약 모드 스위치(72)가 본 처리 모드이고 조건 표시 스위치(73)가 중첩이 있는 경우에는, 업 컨버터 회로 기판(80)으로부터 1프레임분의 TV 영상 신호(21)를 수취하여 G회로 기판(81)에 출력하고, 다음으로 R회로 기판(82)으로부터 출력되어 오는 초해상 처리 후의 1프레임분의 초해상 TV 영상 신호(13)에 컴퓨터 기판(79)으로부터 읽어들인 정보를 우측 위 모퉁이에 중첩하여 디지털 TV 영상 신호 입출력 단자(36)에 출력하며, (모드 3) 만약 모드 스위치(72)가 테스트 모드이고 조건 표시 스위치(73)가 중첩이 없는 경우에는, 업 컨버터 회로 기판(80)으로부터 1프레임분의 TV 영상 신호(21)를 수취하고 복제하여 한쪽을 G회로 기판(81)에 출력함과 동시에 다른 한쪽을 1프레임분 지연시키고, 지연시킨 쪽을 가로폭 1/2로 압축하여 1장의 화면의 우측 절반이 되도록 하고, 나아가 R회로 기판(82)으로부터 출력되어 오는 초해상 처리 후의 1프레임분의 초해상 TV 영상 신호(13)를 가로폭 1/2로 압축하여 1장의 화면의 좌측 절반이 되도록 하여 합성함으로써 1장의 화면의 우측 절반이 초해상 처리 전의 프레임이고 좌측 절반이 초해상 처리 후의 프레임이 되도록 조정한 1프레임분의 초해상 TV 영상 신호(13)를 디지털 TV 영상 신호 입출력 단자(36)에 출력하며, (모드 4) 만약 모드 스위치(72)가 테스트 모드이고 조건 표시 스위치(73)가 중첩이 있는 경우에는, 업 컨버터 회로 기판(80)으로부터 1프레임분의 TV 영상 신호(21)를 수취하고 복제하여 한쪽을 G회로 기판(81)에 출력함과 동시에 다른 한쪽을 1프레임분 지연시키고, 지연시킨 쪽을 가로폭 1/2로 압축하여 1장의 화면의 우측 절반이 되도록 하고, 나아가 R회로 기판(82)으로부터 출력되어 오는 초해상 처리 후의 1프레임분의 초해상 TV 영상 신호(13)를 가로폭 1/2로 압축하여 1장의 화면의 좌측 절반이 되도록 하여 합성함으로써 1장의 화면의 우측 절반이 초해상 처리 전의 프레임이고 좌측 절반이 초해상 처리 후의 프레임이 되도록 조정한 1프레임분의 초해상 TV 영상 신호(13)에 컴퓨터 기판(79)으로부터 읽어들인 정보를 우측 위 모퉁이에 중첩하여 디지털 TV 영상 신호 입출력 단자(36)에 출력한다. 업 컨버터 회로 기판(80)과 G회로 기판(81) 사이, G회로 기판(81)과 초해상 처리 모드 전환 제어 회로 기판(42) 사이, 초해상 처리 모드 전환 제어 회로 기판(42)과 R회로 기판(82) 사이의 신호 및 정보 전달은 자동으로 행해진다.
HDD(83)에는, 제1 셋톱 박스 프로그램(78) 외에 윈도우즈 OS(도시생략), C++(도시생략), PSF 데이터베이스(19)(도시생략) 등이 탑재되어 있다. HDD(83)는, 1T바이트 이상의 용량의 것이고 랜덤 고속 읽고 쓰기 가능한 것이고 버스 인터페이스 및 8M바이트 이상의 버퍼를 탑재하고 있는 것으로, 데이터 및 신호의 송수신과 전원 공급은 버스 케이블(93)을 통해 행하는 사양의 것이면 무엇이든지 좋다. 시장에는 많은 종류가 있지만, 공간 관계상 2.5인치 크기의 것이 바람직하다.
초해상 처리 모드 전환 제어 회로 기판(42), 업 컨버터 회로 기판(80), G회로 기판(81), R회로 기판(82), P회로 기판(84) 및 F회로 기판(85)은 FPGA를 이용하여 자작(自作)할 필요가 있지만, 업 컨버터 회로 기판(80) 및 전원 회로 기판(86)은 설계 제원을 만족시키는 기성품을 시장에서 구입하는 것이 가능하다.
도 30은, 실시예 3에 의한 제1 셋톱 박스(69)의 셋업 상황의 일례를 도시한 것이다. 도 30에서, 사용자(48)는 지상 디지털 TV(59)의 디지털 비디오 신호·음성 입출력 단자로부터 연장되는 디지털 신호 케이블(98)을 제1 셋톱 박스(69)의 디지털 TV 영상 신호 입출력 단자(36)에 접속한다.
다음으로, 사용자(48)는 우선 제1 셋톱 박스(69)의 전원 스위치(75)를 온으로 하여 전원을 넣고, 다음으로 지상 디지털 TV(59)의 전원을 넣고, 지상 디지털 TV(59)의 채널 커맨더(99)를 이용하여 원하는 채널에 맞추고 TV 방송 영상을 지상 디지털 TV(59)의 TV 모니터(100)로 확인하면서, 모드 스위치(72)를 테스트로 하고 조건 표시 스위치(73)를 중첩 있음으로 전환하였다. 그러면, TV 모니터(100)의 우측 절반에 초해상 처리 전의 TV 방송 영상이 흐르고, 그리고 좌측 절반에 디폴트 설정 조건으로 초해상 처리된 후의 TV 방송 영상이 늦지 않게 흐르며, TV 모니터(100)의 우측 위 모퉁이에는 최대 반복 연산 횟수(6)의 값이 「I=6」으로 하고 열화 지수(18)의 값이 「F=60」으로 하여 테스트 모드가 「테스트」라는 표시로 TV 영상에 중첩되어 있다.
다음으로, 사용자(48)는 프레임의 광학적 열화가 적었기 때문에, F설정 수단(70)을 이용하여 열화 정도를 디폴트의 256단계 중 60에서 30으로 설정하고, I설정 수단(71)을 이용하여 최대 반복 연산 횟수를 디폴트의 256단계 중 3 그대로 하여 대략 실시간 처리에 의한 초해상 처리 후의 화질 변화를 TV 모니터(100)로 확인하였다. 이 결과, 큰 화질의 변화는 없고 디폴트 값 이하로 좋은 것을 알 수 있다. 이는, 제1 셋톱 박스(69)의 TV 영상용 초해상 장치(27)는 PSF의 휘도 분포를 복원하기 위해, F설정 수단(70)에 의해 설정된 열화 지수(18)에 관련된 PSF 초기값의 추정 휘도 분포(6)가 다소 변화하여도 충분한 복원 능력이 있기 때문이다. 또한, 사용자(48)는 이후 대략 실시간 처리에 의한 초해상 처리 후의 화질 변화를 TV 모니터(100)로 확인하면서, F설정 수단(70) 및 I설정 수단(71)을 변화시켜 최적의 화질 상태를 찾아낼 수 있다. 한번 초해상 처리 조건(F설정 수단(70) 및 I설정 수단(71)의 설정값)이 결정되어 버리면, 모드 스위치(72)를 전환하여 TV 모니터(100)의 화면 전체에서 초해상 처리 후의 TV 방송 영상을 즐길 수 있다. 이 상태이어도 초해상 처리 조건은 가변 가능하다.
실시예 4는, 본 발명에 의한 TV 영상용 제2 초해상 처리 장치(32)의 제2 태양을 하드웨어화한 제2 셋톱 박스(101)이다. 제2 셋톱 박스(101)는, 제1 셋톱 박스(69)의 하드웨어 구성으로부터 P회로 기판(84)을 제거하고, 제1 셋톱 박스 프로그램(78) 대신에 제2 셋톱 박스 프로그램(102)을 사용하는 것 이외에는 모두 제1 셋톱 박스(69)와 동일하다. 이 때문에, 도 28을 다시 써서 나타내는 것은 하지 않는다. 제1 셋톱 박스(69)와 제2 셋톱 박스(101)의 차이는 셋톱 박스의 번호뿐이고, 도 30을 다시 써서 나타내는 것은 하지 않는다.
제2 셋톱 박스 프로그램(102)은 C++ 언어로 기술된 프로그램으로, 컴퓨터 기판(79)에 탑재된 CPU가 읽어들여 실행 가능한 것이고, 사전에 인스톨되어 PSF의 휘도 분포를 특정하는 제2 PSF 특정 수단(W60) 중의 수단(W121)(도 20)이 컴퓨터 기판(79) 내의 컴퓨터에 정의되고, 나아가 수단(W98)이 참조하는 PSF 데이터베이스(19)(도 10, 도 20)가 HDD(83) 내에 구성되고, 그 밖에 제4 화상 복원 연산 수단(W94) 이외의 TV 영상용 제2 초해상 처리 장치(32)의 제2 태양의 모든 수단이 정의되고, 또한 제2 셋톱 박스(101) 내의 하드웨어와의 사이에 정보 교환이 원활하게 행해지도록 프로그래밍되어 있고, 전원 스위치(75)가 투입되면 초기화 후 자동 실행된다.
제2 셋톱 박스(101) 내의 처리 순서의 일례는 도 28에 도시된 흐름도 중에서 (단계 2)~(단계 7)이 다음과 같이 변경되지만, 다른 단계에 변경은 없다. (단계 2)는 「G회로 기판(81)으로부터 전송되는 열화 화상의 휘도 분포(1)를 F회로 기판(85)에 전송하는 단계」로 변경되고, (단계 3)은 「컴퓨터 기판(79)에 정의된 수단(W64)이 I설정 수단(71)으로부터 최대 반복 연산 횟수(6)를 읽어들이는 단계」로 변경되고, (단계 4)는 「컴퓨터 기판(79)에 정의된 제2 PSF 특정 수단(W60)이 F설정 수단(70)으로부터 열화 지수(18)를 읽어들이고 이를 검색 정보로서 PSF 데이터베이스(19)를 검색하여 얻어진 PSF의 휘도 분포(4)를 F회로 기판(85)에 전송하는 단계」로 변경되고, (단계 5)는 「컴퓨터 기판(79)에 정의된 제1 복원 화상 초기값 보정 수단(W7)이 G회로 기판(81)으로부터 전송되는 열화 화상의 휘도 분포(1)를 복원 화상 초기값의 추정 휘도 분포(3) 및 보정 복원 화상 초기값의 추정 휘도 분포(7)로 이룬 후에 PSF의 휘도 분포(4)의 화상 크기를 기초로 보정 복원 화상 초기값의 추정 휘도 분포(7)의 연산 곤란 영역(8)을 계산하고 나아가 보정 복원 화상 초기값의 추정 휘도 분포(7)의 연산 곤란 영역(8)을 보정하고 나아가 보정 복원 화상 초기값의 추정 휘도 분포(7)를 열화 화상의 휘도 분포(1)로 이루고 나아가 보정 복원 화상 초기값의 추정 휘도 분포(7)를 F회로 기판(85)에 전송하는 단계」로 변경되고, (단계 6) 및 (단계 7)은 생략된다.
제2 셋톱 박스(101)의 TV 영상용 제2 초해상 처리 장치(32)는, PSF 복원 수단을 가지지 않는다. 이 때문에, 제2 셋톱 박스(101)의 처리 속도는 제1 셋톱 박스(69)의 약 2배이지만, F설정 수단(70)에 의한 열화 지수(18)에 민감하다는 결점이 있다. 제2 셋톱 박스(101)는 고속이기 때문에, 고속화함으로써 단축된 처리 시간을 반복 연산 횟수의 증가에 할당함으로써 화상 복원 화질의 향상을 도모할 수 있다. 이 때문에, 제2 셋톱 박스(101)의 I설정 수단(71)의 디폴트는 256단계 중의 5로 설정되어 있다.
제2 셋톱 박스(101)의 화상 복원 능력은, F설정 수단(70)에 의한 PSF의 휘도 분포의 특정을 정중하고 정확하게 행하면, 제1 셋톱 박스(69)와 전혀 손색없는 결과가 얻어지는 것을 확인하였다.
실시예 5는, 본 발명에 의한 TV 영상용 제2 초해상 처리 장치(32)의 제3 태양을 하드웨어화한 제3 셋톱 박스(103)이다. 제3 셋톱 박스(103)는, 제2 셋톱 박스(101)의 F회로 기판(85)의 FPGA의 프로그램을 제5 화상 복원 수단(W116)이 구성할 수 있도록 변경하여 제작되어 있다. 이 때문에, 제3 셋톱 박스(103)의 내부 구성은 도 28의 것으로부터 P회로 기판(84)을 제거하고, 제1 셋톱 박스 프로그램(78) 대신에 제3 셋톱 박스 프로그램(104)을 사용하는 것 이외에는 모두 제1 셋톱 박스(69)와 동일하다. 이 때문에, 도 28을 다시 써서 나타내는 것은 하지 않는다. 또한, 제1 셋톱 박스(69)와 제3 셋톱 박스(103)의 차이는 셋톱 박스의 번호뿐이고, 도 30을 다시 써서 나타내는 것은 하지 않는다.
제3 셋톱 박스 프로그램(104)은, C++ 언어로 기술된 프로그램으로, 컴퓨터 기판(79)에 탑재된 CPU가 읽어들여 실행 가능한 것이고, 사전에 인스톨되어 PSF의 휘도 분포를 특정하는 제2 PSF 특정 수단(W60) 중의 수단(W121)(도 20)이 컴퓨터 기판(79) 내의 컴퓨터에 정의되고, 나아가 수단(W121)이 참조하는 PSF 데이터베이스(19)(도 10, 도 20)가 HDD(83) 내에 구성되고, 그 밖에 제5 화상 복원 수단(W116) 이외의 TV 영상용 제2 초해상 처리 장치(32)의 제3 태양의 모든 수단이 정의되고, 또한 제3 셋톱 박스(103) 내의 하드웨어와의 사이에 정보 교환이 원활하게 행해지도록 프로그래밍되어 있고, 전원 스위치(75)가 투입되면 초기화 후 자동 실행된다.
실시예 5에 의한 제3 셋톱 박스(103)에서의 처리 순서는 제2 셋톱 박스(101)와 동일하다.
제3 셋톱 박스(103)는, 제2 셋톱 박스(101)와 마찬가지로 PSF의 휘도 분포 복원 수단을 가지지 않기 때문에 제1 셋톱 박스(69)보다 고속이지만, 화상 복원 수단이 루프 구조이기 때문에 제2 셋톱 박스(101)보다 처리 속도가 느리고, 단 제2 단분 화상 복원 수단(W93)을 최대 6단 직렬로 접속하는 제4 화상 복원 연산 수단(W94)에 비해 제2 단분 화상 복원 수단(W93) 상당의 연산 수단이 1단으로 좋은 제5 화상 복원 연산 수단(W116)을 사용하고 있기 때문에, FPGA 내의 게이트 규모가 약 1/5로 되기 때문에 경제적이다. 게이트 규모가 1/6이 되지 않는 이유는, 열화 화상의 휘도 분포 저장용 버퍼(16) 및 복원 화상 초기값의 추정 휘도 분포용 버퍼(17)를 구비할 필요가 있고, FPGA 내의 블록 메모리를 대량으로 소비하기 때문이다. 그런데, 초해상 처리 품질이라는 면에서 제3 셋톱 박스(103)는 제2 셋톱 박스(101)와 마찬가지로 열화 지수(18)의 영향을 받지만, 제1 셋톱 박스(69)와 실용상 차이가 없고 도 27에 도시한 예와 같은 결과를 얻을 수 있다.
본 발명은 TV 영상을 이용하는 것이면 어떠한 용도에도 적용 가능하기 때문에, 비디오 카메라나 디지털 카메라의 개발·제조를 행하는 정밀 기기업 및 전자 기기업, 어플리케이션이나 게임 등의 소프트웨어 개발업, 내시경이나 MRI 등 의료 기기업, 모니터 등의 정보 기기업, 감시 카메라 등의 방재·방범 기기업, 아카이브업 등에서 이용 가능하다.
1…열화 화상의 휘도 분포, 2…TV 영상, 3…복원 화상 초기값의 추정 휘도 분포, 4…PSF의 휘도 분포, 5…PSF 초기값의 추정 휘도 분포, 6…최대 반복 연산 횟수, 7…보정 복원 화상 초기값의 추정 휘도 분포, 8…연산 곤란 영역, 9…복원 PSF의 추정 휘도 분포, 10…최우 복원 PSF의 휘도 분포, 11…복원 화상의 추정 휘도 분포, 12…최우 복원 화상의 휘도 분포, 13…초해상 TV 영상 신호, 14…최종값, 15…최종값, 16…열화 화상의 휘도 분포 저장용 버퍼, 17…복원 화상 초기값의 추정 휘도 분포용 버퍼, 18…열화 지수, 19…PSF 데이터베이스, 20…화상 파일명, 21…1프레임분의 TV 영상 신호, 22…RGB 신호, 23…나머지 TV 영상 신호, 24…YUV 신호, 25…Y 열화 화상의 휘도 분포, 26…U 열화 화상의 분포, 27…V 열화 화상의 분포, 28…YUV 복원 화상의 분포, 29…RGB 복원 화상의 분포, 30…RGB 신호, 31…TV 영상용 제1 초해상 처리 장치, 32…TV 영상용 제2 초해상 처리 장치, 33…제1 초해상 처리 장치 프로그램, 34…컴퓨터, 35…TV 영상용 제1 초해상 처리 시스템, 36…디지털 TV 영상 신호 입출력 단자, 37…TV 영상 입력 기판, 38…초해상 TV 영상, 39…초해상 TV 영상 출력 기판, 40…영상 표시 모드 지정 버튼, 41…조건 표시 지정 버튼, 42…초해상 처리 모드 전환 제어 회로 기판, 43…디지털 TV 영상 케이블, 44…버스 케이블, 45…제3 기억 매체, 46…TV 영상용 제1 초해상 처리 장치 아이콘, 47…모니터, 48…사용자, 49…장치 프로그램, 50…초해상 처리 윈도우 작성 프로그램, 51…초해상 처리 윈도우 감시 프로그램, 52…초해상 처리 윈도우, 53…키보드, 54…마우스, 55…닫는 버튼, 56…열화 지수 설정 버튼, 57…최대 반복 연산 횟수 설정 버튼, 58…영상 윈도우, 59…지상 디지털 TV, 60…정보 윈도우, 41, 61…초해상 처리 개시 버튼, 44, 62…초해상 처리 중단 버튼, 45, 63…초해상 처리 재개 버튼, 46, 64…초해상 처리 정지 버튼, 47, 65…헬프 버튼, 66…영상 확대/축소 버튼, 49, 67…TV 영상용 제2 초해상 처리 시스템, 67, 68…제5 초해상 처리 장치 프로그램, 54, 69…제1 셋톱 박스, 70…F설정 수단, 71…I설정 수단, 72…모드 스위치, 73…조건 표시 스위치, 74…LCD 모니터, 75…전원 스위치, 76…LED 램프, 77…케이스, 78…제1 셋톱 박스 프로그램, 79…컴퓨터 기판, 80…업 컨버터 회로 기판, 81…G회로 기판, 82…R회로 기판, 83…HDD, 84…P회로 기판, 85…F회로 기판, 86…전원 회로 기판, 87…방열 팬, 88…LAN 단자, 89…USB 단자, 90…USB 단자, 91…USB 단자, 92…상용 교류 단상 100V 전원 케이블, 93…버스 케이블, 94…고주파 케이블, 95…전원 케이블, 96…신호선, 97…신호선, 98…디지털 신호 케이블, 99…채널 커맨더, 100…TV 모니터, 101…제2 셋톱 박스, 102…제2 셋톱 박스 프로그램, 103…제3 셋톱 박스, 104…제3 셋톱 박스 프로그램, F36…제F36 함수, F37…제F37 함수, F38…제F38 함수, F39…제F39 함수, F40…제F40 함수, F41…제F41 함수, F42…제F42 함수, F43…제F43 함수, F44…제F44 함수, F45…제F45 함수, F46…제F46 함수, F47…제F47 함수, F48…제F48 함수, F49…제F49 함수, F50…제F50 함수, F51…제51 함수, F52…제52 함수, F53…제53 함수, F54…제54 함수, F55…제55 함수, F56…제56 함수, F57…제57 함수, F58…제58 함수, F59…제59 함수, F60…제60 함수, F61…제61 함수, F62…제62 함수, F63…제63 함수, F64…제64 함수, F65…제65 함수, F66…제66 함수, F67…제67 함수, F68…제68 함수, F69…제69 함수, F70…제70 함수, F…열화 지수, HDD…Hard Disk Drive, I…최대 반복 연산 횟수, S1…제1 열화 화상 준비 공정, S2…공정, S3…제1 PSF 특정 공정, S4~S6…공정, S7…제1 복원 화상 초기값 보정 공정, S8~S16…공정, S17…PSF 복원 연산 준비 공정, S18…제1 PSF 복원 연산 공정, S19…제1 PSF 복원 공정, S20…공정, S21…제2 복원 화상 초기값 보정 공정, S22~S30…공정, S31…제1 화상 복원 연산 준비 공정, S32…제1 화상 복원 연산 공정, S33…제1 화상 복원 공정, S34…제1 TV 영상화 공정, S40~S46…공정, S47…단분 PSF 복원 공정, S47-1…제1단째의 단분 PSF 복원 공정, S47-2…제2단째의 단분 PSF 복원 공정, S47-F…최종단째의 단분 PSF 복원 공정, S48…제2 PSF 복원 연산 공정, S49~S57…공정, S58…제1 단분 화상 복원 공정, S58-1…제1단째의 제1 단분 화상 복원 공정, S58-2…제2단째의 제1 단분 화상 복원 공정, S58-F…최종단째의 제1 단분 화상 복원 공정, S59…제2 화상 복원 연산 공정, S60…제2 PSF 특정 공정, S61…제2 열화 화상 준비 공정, S62~S64…공정, S65…제4 복원 화상 초기값 보정 공정, S66~S74…공정, S75…제2 화상 복원 연산 준비 공정, S76…제3 화상 복원 연산 공정, S77…제2 화상 복원 공정, S78…제2 TV 영상화 공정, S80~S87…공정, S88…제2 단분 화상 복원 공정, S88-1…제1단째의 제2 단분 화상 복원 공정, S88-2…제2단째의 제2 단분 화상 복원 공정, S88-F…최종단째의 제2 단분 화상 복원 공정, S89…제4 화상 복원 연산 공정, S90~S92…공정, S93…제6 복원 화상 초기값 보정 공정, S94~S105…공정, S106…제5 화상 복원 연산 공정, S110~S111…공정, S120…RGB 신호 추출 공정, S121…지연 공정, S122…YUV 변환 공정, S123…Y 열화 화상 추출 공정, S124…디감마 공정, S130~S134…공정, W1…제1 열화 화상 준비 수단, W2…수단, W3…제1 PSF 특정 수단, W4~W6…수단, W7…제1 복원 화상 초기값 보정 수단, W8~W17…수단, W18…PSF 복원 연산 준비 수단, W19…제1 PSF 복원 연산 수단, W20…제1 PSF 복원 수단, W21…제2 복원 화상 초기값 보정 수단, W22~W31…수단, W32…제1 화상 복원 연산 준비 수단, W33…제1 화상 복원 연산 수단, W34…제1 화상 복원 수단, W35…제1 TV 영상화 수단, W40~W46…수단, W47…단분 PSF 복원 수단, W47-1…제1단째의 단분 PSF 복원 수단, W47-2…제2단째의 단분 PSF 복원 수단, W47-F…최종단째의 단분 PSF 복원 수단, W48…제2 PSF 복원 연산 수단, W50~W57…수단, W58…제1 단분 화상 복원 수단, W58-1…제1단째의 제1 단분 화상 복원 수단, W58-2…제2단째의 제1 단분 화상 복원 수단, W58-F…최종단째의 제1 단분 화상 복원 수단, W59…제2 화상 복원 연산 수단, W60…제2 PSF 특정 수단, W61…제2 열화 화상 준비 수단, W62…제4 복원 화상 초기값 보정 수단, W63…수단, W64…최대 반복 연산 횟수(6)를 설정, W65~W74…수단, W75…제5 복원 화상 초기값 보정 수단, W76~W77…수단, W78…제2 화상 복원 연산 준비 수단, W79…제3 화상 복원 연산 수단, W80…제2 화상 복원 수단, W81…제2 TV 영상화 수단, W85…제6 복원 화상 초기값 보정 수단, W86~W92…수단, W93…제2 단분 화상 복원 수단, W93-1…제1단째의 제2 단분 화상 복원 수단, W93-2…제2단째의 제2 단분 화상 복원 수단, W93-F…최종단째의 제2 단분 화상 복원 수단, W94…제4 화상 복원 연산 수단, W100~W103…수단, W104…제7 복원 화상 초기값 보정 공정, W105~W115…수단, W116…제5 화상 복원 연산 공정, W120~W121…수단, W130…RGB 신호 추출 수단, W131…지연 수단, W132…YUV 변환 수단, W133…Y 열화 화상 추출 수단, W134…디감마 수단, W140~W144…수단
Claims (37)
- TV 영상을 구성하는 1프레임의 광학적 열화를 저감하여 열화 전의 프레임을 복원한 초해상 TV 영상 신호를 출력함으로써 TV 영상을 복원하는 TV 영상용 제1 초해상 처리 방법으로서,
(S1) 1프레임분의 휘도 분포로 이루어지는 열화 화상의 휘도 분포를 TV 영상으로부터 준비하는 제1 열화 화상 준비 공정;
(S2) 상기 열화 화상의 휘도 분포를 복원 화상 초기값의 추정 휘도 분포로 이루는 공정;
(S3) PSF의 휘도 분포를 특정하는 제1 PSF 특정 공정;
(S4) 특정된 상기 PSF의 휘도 분포를 PSF 초기값의 추정 휘도 분포로 이루는 공정;
(S5) 최대 반복 연산 횟수를 설정하는 공정;
(S6) 반복 연산 횟수를 계수하는 카운터를 리셋하는 공정;
(S7) 상기 복원 화상 초기값의 추정 휘도 분포를 복사하고 이를 보정 복원 화상 초기값의 추정 휘도 분포로 이루고, 나아가 상기 PSF의 휘도 분포를 상기 보정 복원 화상 초기값의 추정 휘도 분포에 컨볼루션 연산할 때에 상기 보정 복원 화상 초기값의 추정 휘도 분포의 주변부에 발생하는 연산 곤란 영역을, 상기 PSF의 휘도 분포의 화상 크기를 기초로 하여 상기 연산 곤란 영역을 계산하고, 상기 연산 곤란 영역의 화소를 카피하고, 이 카피한 화소를 상기 보정 복원 화상 초기값의 추정 휘도 분포의 경계 외측에 상기 경계에 대해 미러 대칭이 되도록 배치하도록 페이스트하고, 상기 보정 복원 화상 초기값의 추정 휘도 분포를 보정하여 보정 복원 화상 초기값의 추정 휘도 분포를 얻는 제1 복원 화상 초기값 보정 공정;
(S8) 상기 보정 복원 화상 초기값의 추정 휘도 분포를 열화 화상의 휘도 분포로 이루는 공정;
(S9) 상기 PSF 초기값의 추정 휘도 분포를 상기 보정 복원 화상 초기값의 추정 휘도 분포에 컨볼루션하여 제1 함수를 얻는 공정;
(S10) 상기 제1 함수를 반전하여 제2 함수를 얻는 공정;
(S11) 상기 제2 함수에 상기 열화 화상의 휘도 분포를 곱하여 제3 함수를 얻는 공정;
(S12) 상기 보정 복원 화상 초기값의 추정 휘도 분포의 반전 함수를 구하고 이를 제4 함수로 이루는 공정;
(S13) 상기 제4 함수를 상기 제3 함수에 컨볼루션하여 제5 함수를 얻는 공정;
(S14) 상기 제5 함수를 상기 PSF 초기값의 추정 휘도 분포에 곱하여 복원 PSF의 추정 휘도 분포를 얻는 공정;
(S15) 상기 복원 PSF의 추정 휘도 분포를 상기 PSF 초기값의 추정 휘도 분포와 바꾸는 공정;
(S16) 상기 카운터에 1을 가산하는 공정;
(S17) 상기 카운터의 값이 상기 최대 반복 연산 횟수를 넘었다는 가설을 검증하여, 만약 검증 결과가 거짓이면 (S9)의 공정으로 되돌아가지만, 만약 검증 결과가 진실이면 상기 복원 PSF의 추정 휘도 분포를 최우 복원 PSF의 휘도 분포로서 출력하는 공정;
(S18) 상기 (S1)~(S8)의 공정으로 구성되는 PSF 복원 연산 준비 공정;
(S19) 상기 (S9)~(S17)의 공정으로 구성되는 제1 PSF 복원 연산 공정;
(S20) 상기 PSF 복원 연산 준비 공정 및 상기 제1 PSF 복원 연산 공정을 구비하고, 상기 PSF 복원 연산 준비 공정 및 상기 제1 PSF 복원 연산 공정에 있어서 S의 첨부 숫자가 작은 순으로 실행함으로써 상기 최대 반복 연산 횟수의 반복 연산을 끝내고 최우 복원 PSF의 휘도 분포를 출력하는 제1 PSF 복원 공정;
(S21) 상기 카운터를 리셋하여 (S23)으로 점프하는 공정;
(S22) 상기 최우 복원 PSF의 휘도 분포의 화상 크기를 기초로 하여 상기 복원 화상 초기값의 추정 휘도 분포를 보정하여 보정 복원 화상 초기값의 추정 휘도 분포를 얻는 제1 복원 화상 초기값 보정 공정과 동일한 처리 순서로 이루어지는 제2 복원 화상 초기값 보정 공정;
(S23) 상기 최우 복원 PSF의 휘도 분포를 상기 복원 화상 초기값의 추정 휘도 분포에 컨볼루션하여 제6 함수를 얻는 공정;
(S24) 상기 제6 함수를 반전하여 제7 함수를 얻는 공정;
(S25) 상기 제7 함수에 상기 열화 화상의 휘도 분포를 곱하여 제8 함수를 얻는 공정;
(S26) 상기 최우 복원 PSF의 휘도 분포의 반전 함수를 구하고 이를 제9 함수로 이루는 공정;
(S27) 상기 제9 함수를 상기 제8 함수에 컨볼루션하여 제10 함수를 얻는 공정;
(S28) 상기 제10 함수를 상기 복원 화상 초기값의 추정 휘도 분포에 곱하여 복원 화상의 추정 휘도 분포를 얻는 공정;
(S29) 상기 복원 화상의 추정 휘도 분포를 상기 복원 화상 초기값의 추정 휘도 분포와 바꾸는 공정;
(S30) 상기 카운터에 1을 가산하는 공정;
(S31) 상기 카운터의 값이 상기 최대 반복 연산 횟수를 넘었다는 가설을 검증하여, 만약 검증 결과가 거짓이면 (S22)의 공정으로 되돌아가지만, 만약 검증 결과가 진실이면 상기 복원 화상의 추정 휘도 분포를 최우 복원 화상의 휘도 분포로서 출력하는 공정;
(S32) 상기 (S21)의 공정으로 구성되는 제1 화상 복원 연산 준비 공정;
(S33) 상기 (S22)~(S31)의 공정으로 구성되는 제1 화상 복원 연산 공정;
(S34) 상기 제1 화상 복원 연산 준비 공정 및 상기 제1 화상 복원 연산 공정을 구비하고, 상기 제1 화상 복원 연산 준비 공정 및 상기 제1 화상 복원 연산 공정에 있어서 S의 첨부 숫자가 작은 순으로 실행함으로써 상기 최대 반복 연산 횟수의 반복 연산을 끝내고 최우 복원 화상의 휘도 분포를 출력하는 제1 화상 복원 공정; 및
(S35) 상기 최우 복원 화상의 휘도 분포를 TV 영상화하여 1프레임분의 초해상 TV 영상 신호를 출력하는 제1 TV 영상화 공정;
을 구비하는 것에 특징이 있는 TV 영상용 제1 초해상 처리 방법. - 청구항 1에 있어서,
상기 제1 PSF 복원 연산 공정의 제2 태양은,
(S40) 상기 PSF 초기값의 추정 휘도 분포를 상기 보정 복원 화상 초기값의 추정 휘도 분포에 컨볼루션하여 제11 함수를 얻는 공정;
(S41) 상기 제11 함수를 반전하여 제12 함수를 얻는 공정;
(S42) 상기 제12 함수에 상기 열화 화상의 휘도 분포를 곱하여 제13 함수를 얻는 공정;
(S43) 상기 복원 화상 초기값의 추정 휘도 분포의 반전 함수를 구하고 이를 제14 함수로 이루는 공정;
(S44) 상기 제14 함수를 상기 제13 함수에 컨볼루션하여 제15 함수를 얻는 공정;
(S45) 상기 제15 함수를 상기 PSF 초기값의 추정 휘도 분포에 곱하여 복원 PSF의 추정 휘도 분포를 얻는 공정;
(S46) 상기 복원 PSF의 추정 휘도 분포를 상기 PSF 초기값의 추정 휘도 분포 및 복원 PSF의 추정 휘도 분포의 최종값으로서 출력하는 공정;
(S47) 상기 (S40)~(S46)의 공정을 구비하고, S의 첨부 숫자가 작은 순으로 차례대로 처리함으로써 1회분의 반복 연산을 행하는 단분 PSF 복원 공정; 및
(S48) 상기 최대 반복 연산 횟수분의 상기 단분 PSF 복원 공정 S47을 직렬로 접속함으로써 구성되는 제2 PSF 복원 연산 공정;
을 구비하고,
상기 제2 PSF 복원 연산 공정에 있어서, 직렬로 접속된 단분 PSF 복원 공정의 수에 상당하는 횟수의 반복 연산을 행하고, 최종단째의 단분 PSF 복원 공정으로부터 출력되는 복원 PSF의 추정 휘도 분포의 최종값을 최우 복원 PSF의 휘도 분포로서 출력하는 것에 특징이 있는 TV 영상용 제1 초해상 처리 방법. - 청구항 1에 있어서,
상기 제1 화상 복원 연산 공정의 제2 태양은,
(S50) 상기 최우 복원 PSF의 휘도 분포의 화상 크기를 기초로 하여 상기 복원 화상 초기값의 추정 휘도 분포를 보정하여 보정 복원 화상 초기값의 추정 휘도 분포를 얻는 제1 복원 화상 초기값 보정 공정과 동일한 처리 순서로 이루어지는 제3 복원 화상 초기값 보정 공정;
(S51) 상기 최우 복원 PSF의 휘도 분포를 상기 보정 복원 화상 초기값의 추정 휘도 분포에 컨볼루션하여 제16 함수를 얻는 공정;
(S52) 상기 제16 함수를 반전하여 제17 함수를 얻는 공정;
(S53) 상기 제17 함수에 상기 열화 화상의 휘도 분포를 곱하여 제18 함수를 얻는 공정;
(S54) 상기 최우 복원 PSF의 휘도 분포의 반전 함수를 구하고 이를 제19 함수로 이루는 공정;
(S55) 상기 제19 함수를 상기 제18 함수에 컨볼루션하여 제20 함수를 얻는 공정;
(S56) 상기 제20 함수를 상기 복원 화상 초기값의 추정 휘도 분포에 곱하여 복원 화상의 추정 휘도 분포를 얻는 공정;
(S57) 상기 복원 화상의 추정 휘도 분포를 복원 화상 초기값의 추정 휘도 분포 및 복원 화상의 추정 휘도 분포의 최종값으로서 출력하는 공정;
(S58) 상기 (S50)~(S57)의 공정을 구비하고, S의 첨부 숫자가 작은 순으로 차례대로 처리함으로써 1회분의 반복 연산을 행하는 제1 단분 화상 복원 공정; 및
(S59) 상기 최대 반복 연산 횟수분의 상기 제1 단분 화상 복원 공정을 직렬로 접속함으로써 구성되는 제2 화상 복원 연산 공정;
을 구비하고,
상기 제2 화상 복원 연산 공정에 있어서, 직렬로 접속된 상기 제1 단분 화상 복원 공정의 수에 상당하는 횟수의 반복 연산을 행하고, 최종단째의 제1 단분 화상 복원 공정으로부터 출력되는 복원 화상의 추정 휘도 분포의 최종값을 최우 복원 화상의 휘도 분포로서 출력하는 것에 특징이 있는 TV 영상용 제1 초해상 처리 방법. - TV 영상을 구성하는 1프레임의 광학적 열화를 저감하여 열화 전의 프레임을 복원한 초해상 TV 영상 신호를 출력함으로써 TV 영상을 복원하는 TV 영상용 제2 초해상 처리 방법으로서,
(S60) 상기 TV 영상을 보면서 상기 TV 영상의 열화 상황에 적합한 PSF의 휘도 분포를 특정하는 제2 PSF 특정 공정;
(S61) 1프레임분의 휘도 분포로 이루어지는 열화 화상의 휘도 분포를 TV 영상으로부터 준비하는 제2 열화 화상 준비 공정;
(S62) 상기 열화 화상의 휘도 분포를 복사하고 이를 상기 복원 화상 초기값의 추정 휘도 분포로 이루고, 나아가 상기 PSF의 휘도 분포의 화상 크기를 기초로 하여 상기 복원 화상 초기값의 추정 휘도 분포를 보정하여 보정 복원 화상 초기값의 추정 휘도 분포를 얻는 제1 복원 화상 초기값 보정 공정과 동일한 처리 순서로 이루어지는 제4 복원 화상 초기값 보정 공정;
(S63) 상기 보정 복원 화상 초기값의 추정 휘도 분포를 열화 화상의 휘도 분포로 이루는 공정;
(S64) 최대 반복 연산 횟수를 설정하는 공정;
(S65) 반복 연산 횟수를 계수하는 카운터를 0으로 리셋하는 공정;
(S66) 상기 특정된 PSF의 휘도 분포를 상기 보정 복원 화상 초기값의 추정 휘도 분포에 컨볼루션하여 제21 함수를 얻는 공정;
(S67) 상기 제21 함수를 반전하여 제22 함수를 얻는 공정;
(S68) 상기 제22 함수에 상기 열화 화상의 휘도 분포를 곱하여 제23 함수를 얻는 공정;
(S69) 상기 PSF의 휘도 분포의 반전 함수를 구하고 이를 제24 함수로 이루는 공정;
(S70) 상기 제24 함수를 상기 제23 함수에 컨볼루션하여 제25 함수를 얻는 공정;
(S71) 상기 제25 함수를 상기 복원 화상 초기값의 추정 휘도 분포에 곱하여 복원 화상의 추정 휘도 분포를 얻는 공정;
(S72) 상기 복원 화상의 추정 휘도 분포를 상기 복원 화상 초기값의 추정 휘도 분포와 바꾸는 공정;
(S73) 상기 카운터에 1을 가산하는 공정;
(S74) 상기 카운터의 값이 상기 최대 반복 연산 횟수 이상이라는 가설을 검증하여, 만약 검증 결과가 거짓인 경우에는 (S75)의 공정으로 점프하지만, 만약 검증 결과가 진실인 경우에 (S77)의 공정으로 점프하는 공정;
(S75) 상기 PSF의 휘도 분포의 화상 크기를 기초로 하여 상기 복원 화상 초기값의 추정 휘도 분포를 보정하여 보정 복원 화상 초기값의 추정 휘도 분포를 얻는 제1 복원 화상 초기값 보정 공정과 동일한 처리 순서로 이루어지는 제5 복원 화상 초기값 보정 공정;
(S76) S66으로 점프하는 공정;
(S77) 상기 복원 화상의 추정 휘도 분포를 최우 복원 화상의 휘도 분포로서 출력하는 공정;
(S78) 상기 (S60)~(S65)의 공정으로 구성되는 제2 화상 복원 연산 준비 공정;
(S79) 상기 (S66)~(S77)의 공정으로 구성되는 제3 화상 복원 연산 공정;
(S80) 상기 제2 화상 복원 연산 준비 공정 및 제3 화상 복원 연산 공정을 구비하고, S의 첨부 숫자가 작은 순으로 실행함으로써 상기 최대 반복 연산 횟수의 반복 연산을 끝내고 최우 복원 화상의 휘도 분포를 출력하는 제2 화상 복원 공정; 및
(S81) 상기 최우화된 최우 복원 화상의 휘도 분포를 TV 영상화하여 1프레임분의 초해상 TV 영상 신호를 출력하는 제2 TV 영상화 공정;
을 구비하는 것에 특징이 있는 TV 영상용 제2 초해상 처리 방법. - 청구항 4에 있어서,
상기 제3 화상 복원 연산 공정의 제2 태양은,
(S85) 상기 PSF의 휘도 분포의 화상 크기를 기초로 하여 상기 복원 화상 초기값의 추정 휘도 분포를 보정하여 보정 복원 화상 초기값의 추정 휘도 분포를 얻는 제1 복원 화상 초기값 보정 공정과 동일한 처리 순서로 이루어지는 제6 복원 화상 초기값 보정 공정;
(S86) 상기 PSF의 휘도 분포에 상기 복원 화상 초기값의 추정 휘도 분포를 컨볼루션하여 제26 함수를 얻는 공정;
(S87) 상기 제26 함수를 반전하여 제27 함수를 얻는 공정;
(S88) 상기 제27 함수에 상기 열화 화상의 휘도 분포를 곱하여 제28 함수를 얻는 공정;
(S89) 상기 PSF의 휘도 분포의 반전 함수를 구하고 이를 제29 함수로 이루는 공정;
(S90) 상기 제29 함수를 상기 제28 함수에 컨볼루션하여 제30 함수를 얻는 공정;
(S91) 상기 제30 함수를 상기 복원 화상 초기값의 추정 휘도 분포에 곱하여 복원 화상의 추정 휘도 분포를 얻는 공정;
(S92) 상기 복원 화상의 추정 휘도 분포를 복원 화상 초기값의 추정 휘도 분포 및 복원 화상의 추정 휘도 분포의 최종값으로서 출력하는 공정;
(S93) 상기 (S85)~(S92)의 공정을 구비하고, S의 첨부 숫자가 작은 순으로 처리함으로써 1회분의 반복 연산을 행하는 제2 단분 화상 복원 공정; 및
(S94) 상기 최대 반복 연산 횟수분의 상기 제2 단분 화상 복원 공정을 직렬로 접속함으로써 구성되는 제4 화상 복원 연산 공정;
을 구비하고,
상기 제4 화상 복원 연산 공정에 있어서, 직렬로 접속된 상기 제2 단분 화상 복원 공정의 수에 상당하는 횟수의 반복 연산을 행하고, 최종단째의 제2 단분 화상 복원 공정으로부터 출력되는 복원 화상의 추정 휘도 분포의 최종값을 최우 복원 화상의 휘도 분포로서 출력하는 것에 특징이 있는 TV 영상용 제2 초해상 처리 방법. - 청구항 4에 있어서,
상기 제3 화상 복원 연산 공정의 제3 태양은,
(S100) 반복 연산 횟수를 계수하는 상기 카운터를 리셋하는 공정;
(S101) 상기 카운터의 값이 0 이외라는 가설을 검증하여, 만약 검증 결과가 거짓이면 (S102)로 점프하고, 만약 검증 결과가 진실이면 (S103)으로 점프하는 공정;
(S102) 상기 열화 화상의 휘도 분포를 열화 화상의 휘도 분포 저장용 버퍼 및 복원 화상 초기값의 추정 휘도 분포용 버퍼에 전송하는 공정;
(S103) 상기 복원 화상 초기값의 추정 휘도 분포용 버퍼로부터 복원 화상 초기값의 추정 휘도 분포를 읽어들이는 공정;
(S104) 상기 PSF의 휘도 분포의 화상 크기를 기초로 하여 상기 복원 화상 초기값의 추정 휘도 분포를 보정하여 보정 복원 화상 초기값의 추정 휘도 분포를 얻는 제1 복원 화상 초기값 보정 공정과 동일한 처리 순서로 이루어지는 제7 복원 화상 초기값 보정 공정;
(S105) 상기 PSF의 휘도 분포를 상기 보정 복원 화상 초기값의 추정 휘도 분포에 컨볼루션하여 제31 함수를 얻는 공정;
(S106) 상기 제31 함수를 반전하여 제32 함수를 얻는 공정;
(S107) 상기 제32 함수에 상기 열화 화상의 휘도 분포를 곱하여 제33 함수를 얻는 공정;
(S108) 상기 PSF의 휘도 분포의 반전 함수를 구하고 이를 제34 함수로 이루는 공정;
(S109) 상기 제34 함수를 상기 제33 함수에 컨볼루션하여 제35 함수를 얻는 공정;
(S110) 상기 제35 함수를 상기 복원 화상 초기값의 추정 휘도 분포에 곱하여 복원 화상의 추정 휘도 분포를 얻는 공정;
(S111) 상기 카운터에 1을 가산하는 공정;
(S112) 상기 카운터의 값이 상기 최대 반복 연산 횟수를 넘는다는 가설을 검증하여, 만약 검증 결과가 거짓이면 (S113)으로 점프하고, 만약 검증 결과가 진실이면 (S115)로 점프하는 공정;
(S113) 상기 복원 화상의 추정 휘도 분포를 상기 복원 화상 초기값의 추정 휘도 분포용 버퍼에 전송하는 공정;
(S114) (S103)으로 점프하는 공정;
(S115) 상기 복원 화상의 추정 휘도 분포를 최우 복원 화상의 휘도 분포로서 출력하는 공정; 및
(S116) 상기 (S100)~(S115)의 공정을 구비하고, S의 첨부 숫자가 작은 순으로 차례대로 실행함으로써 상기 최대 반복 연산 횟수의 반복 연산을 끝내고 최우 복원 화상의 휘도 분포를 출력하는 제5 화상 복원 연산 공정;
을 구비하는 것에 특징이 있는 TV 영상용 제2 초해상 처리 방법. - 청구항 1에 기재된 제1 PSF 특정 공정 및 청구항 4에 기재된 제2 PSF 특정 공정은,
(S120) 모니터에 비춰지는 TV 영상의 광학적인 열화 정도에 따른 열화 지수를 설정하는 공정; 및
(S121) 상기 열화 지수에 관련된 PSF의 휘도 분포를 PSF의 휘도 분포 데이터베이스로부터 추출하여 출력하는 공정;
을 구비하는 것에 특징이 있는 TV 영상용 제1 초해상 처리 방법 및 TV 영상용 제2 초해상 처리 방법. - 청구항 1에 기재된 제1 열화 화상 준비 공정 및 청구항 4에 기재된 제2 열화 화상 준비 공정은,
(S130) 1프레임분의 TV 영상 신호로부터 프레임을 구성하는 RGB 신호를 취출하는 RGB 신호 추출 공정;
(S131) 상기 1프레임분의 TV 영상 신호 중에서 RGB 신호를 취출한 나머지 TV 영상 신호를 1프레임분 지연하여 출력하는 지연 공정;
(S132) 상기 RGB 신호를 YUV 변환하여 YUV 신호로 이루는 YUV 변환 공정;
(S133) 상기 YUV 신호 중에서 휘도 성분인 Y 신호만으로 이루어지는 열화 화상의 휘도 분포를 추출하여 Y 열화 화상의 휘도 분포로 이루고, 나머지 U 신호만으로 이루어지는 U 열화 화상의 분포 및 V 신호만으로 이루어지는 V 열화 화상의 분포를 보유하는 Y 열화 화상 추출 공정; 및
(S134) 상기 Y 열화 화상의 휘도 분포의 디감마 처리를 행하고 1프레임분의 휘도 분포로 이루어지는 열화 화상의 휘도 분포로 이루어 출력하는 디감마 처리 공정;
을 구비하는 것에 특징이 있는 TV 영상용 제1 초해상 처리 방법 및 TV 영상용 제2 초해상 처리 방법. - 청구항 1에 기재된 제1 TV 영상화 공정 및 청구항 4에 기재된 제2 TV 영상화 공정은,
(S140) 상기 최우 복원 화상의 휘도 분포의 감마 처리를 행하는 감마 처리 공정;
(S141) 상기 Y 열화 화상 추출 공정에서 보유한 상기 U 열화 화상의 분포 및 상기 V 열화 화상의 분포와 Y성분으로 이루어지는 감마 처리 후의 최우 복원 화상의 휘도 분포로부터 1장의 YUV 복원 화상의 분포를 합성하는 복원 화상 합성 공정;
(S142) 상기 YUV 복원 화상의 분포의 RGB 변환을 행하여 RGB 복원 화상의 분포로 이루는 RGB 변환 공정;
(S143) 상기 RGB 복원 화상의 분포를 판독하여 RGB 신호를 출력하는 RGB 신호 변환 공정; 및
(S144) 상기 RGB 신호를 상기 지연 공정이 출력하는 상기 RGB 신호를 취출한 나머지 TV 영상 신호와 합성하여 1프레임분의 초해상 TV 영상 신호로 이루어 출력하는 TV 영상 신호 합성 공정;
을 구비하는 것에 특징이 있는 TV 영상용 제1 초해상 처리 방법 및 TV 영상용 제2 초해상 처리 방법. - 청구항 1~5에 기재된 PSF의 휘도 분포는, 가장자리가 없는 정사각형상의 동일 크기의 화소로 이루어지는 것으로, 중심이 가장 밝은 2차원 정규 분포이고, 그 크기가 5×5화소인 것에 특징이 있는 TV 영상용 제1 초해상 처리 방법 및 TV 영상용 제2 초해상 처리 방법.
- 청구항 1에 기재된 TV 영상용 제1 초해상 처리 방법을 구성하는 상기 제1 PSF 복원 공정 및 상기 제1 화상 복원 공정 내의 모든 공정을 실행시키기 위한 제1 초해상 처리 프로그램.
- 청구항 1~2에 기재된 TV 영상용 제1 초해상 처리 방법을 구성하는 상기 PSF 복원 연산 준비 공정, 상기 제2 PSF 복원 연산 공정 및 상기 제1 화상 복원 공정 내의 모든 공정을 실행시키기 위한 제2 초해상 처리 프로그램.
- 청구항 1, 3에 기재된 TV 영상용 제1 초해상 처리 방법을 구성하는 상기 제1 PSF 복원 공정, 상기 제1 화상 복원 연산 준비 공정 및 상기 제2 화상 복원 연산 공정 내의 모든 공정을 실행시키기 위한 제3 초해상 처리 프로그램.
- 청구항 1~3에 기재된 TV 영상용 제1 초해상 처리 방법을 구성하는 상기 PSF 복원 연산 준비 공정, 상기 제2 PSF 복원 연산 공정, 상기 제1 화상 복원 연산 준비 공정 및 상기 제2 화상 복원 연산 공정 내의 모든 공정을 실행시키기 위한 제4 초해상 처리 프로그램.
- 청구항 4에 기재된 TV 영상용 제2 초해상 처리 방법을 구성하는 상기 제2 화상 복원 공정 내의 모든 공정을 실행시키기 위한 제5 초해상 처리 프로그램.
- 청구항 4~5에 기재된 TV 영상용 제2 초해상 처리 방법을 구성하는 상기 제2 화상 복원 연산 준비 공정 및 상기 제4 화상 복원 연산 공정 내의 모든 공정을 실행시키기 위한 제6 초해상 처리 프로그램.
- 청구항 4, 6에 기재된 TV 영상용 제2 초해상 처리 방법을 구성하는 상기 제2 화상 복원 연산 준비 공정 및 상기 제5 화상 복원 연산 공정 내의 모든 공정을 실행시키기 위한 제7 초해상 처리 프로그램.
- 청구항 1, 7~10에 기재된 TV 영상용 제1 초해상 처리 방법을 이용하여 TV 영상을 구성하는 1프레임의 광학적 열화를 저감하여 열화 전의 프레임을 복원한 초해상 TV 영상 신호를 출력함으로써 TV 영상을 복원하는 TV 영상용 제1 초해상 처리 장치로서,
(W1) 1프레임분의 휘도 분포로 이루어지는 열화 화상의 휘도 분포를 TV 영상으로부터 준비하는 제1 열화 화상 준비 수단;
(W2) 상기 열화 화상의 휘도 분포를 복원 화상 초기값의 추정 휘도 분포로 이루는 수단;
(W3) PSF의 휘도 분포를 특정하는 제1 PSF 특정 수단;
(W4) 특정된 상기 PSF의 휘도 분포를 PSF 초기값의 추정 휘도 분포로 이루는 수단;
(W5) 최대 반복 연산 횟수를 설정하는 수단;
(W6) 반복 연산 횟수를 계수하는 카운터를 리셋하는 수단;
(W7) 상기 복원 화상 초기값의 추정 휘도 분포를 복사하고 이를 보정 복원 화상 초기값의 추정 휘도 분포로 이루고, 나아가 상기 PSF의 휘도 분포를 상기 보정 복원 화상 초기값의 추정 휘도 분포에 컨볼루션 연산할 때에 상기 보정 복원 화상 초기값의 추정 휘도 분포의 주변부에 발생하는 연산 곤란 영역을, 상기 PSF의 휘도 분포의 화상 크기를 기초로 하여 상기 연산 곤란 영역을 계산하고, 상기 연산 곤란 영역의 화소를 카피하고, 이 카피한 화소를 상기 보정 복원 화상 초기값의 추정 휘도 분포의 경계 외측에 상기 경계에 대해 미러 대칭이 되도록 배치하도록 페이스트하고, 상기 보정 복원 화상 초기값의 추정 휘도 분포를 보정하여 보정 복원 화상 초기값의 추정 휘도 분포를 얻는 제1 복원 화상 초기값 보정 수단;
(W8) 상기 보정 복원 화상 초기값의 추정 휘도 분포를 열화 화상의 휘도 분포로 이루는 수단;
(W9) 상기 PSF 초기값의 추정 휘도 분포를 상기 보정 복원 화상 초기값의 추정 휘도 분포에 컨볼루션하여 제36 함수를 얻는 수단;
(W10) 상기 제36 함수를 반전하여 제37 함수를 얻는 수단;
(W11) 상기 제37 함수에 상기 열화 화상의 휘도 분포를 곱하여 제38 함수를 얻는 수단;
(W12) 상기 보정 복원 화상 초기값의 추정 휘도 분포의 반전 함수를 구하고 이를 제39 함수로 이루는 수단;
(W13) 상기 제39 함수를 상기 제38 함수에 컨볼루션하여 제40 함수를 얻는 수단;
(W14) 상기 제40 함수를 상기 PSF 초기값의 추정 휘도 분포에 곱하여 복원 PSF의 추정 휘도 분포를 얻는 수단;
(W15) 상기 복원 PSF의 추정 휘도 분포를 상기 PSF 초기값의 추정 휘도 분포와 바꾸는 수단;
(W16) 상기 카운터에 1을 가산하는 수단;
(W17) 상기 카운터의 값이 상기 최대 반복 연산 횟수를 넘었다는 가설을 검증하여, 만약 검증 결과가 거짓이면 (W9)의 수단으로 되돌아가지만, 만약 검증 결과가 진실이면 상기 복원 PSF의 추정 휘도 분포를 최우 복원 PSF의 휘도 분포로서 출력하는 수단;
(W18) 상기 (W1)~(W8)의 수단으로 구성되는 PSF 복원 연산 준비 수단; 및
(W19) 상기 (W9)~(W17)의 수단으로 구성되는 제1 PSF 복원 연산 수단;
을 구비하고,
(W20) 상기 PSF 복원 연산 준비 수단 및 상기 제1 PSF 복원 연산 수단에 있어서, S의 첨부 숫자가 작은 순으로 실행함으로써 상기 최대 반복 연산 횟수의 반복 연산을 끝내고 최우 복원 PSF의 휘도 분포를 출력하는 제1 PSF 복원 수단;
(W21) 상기 카운터를 리셋하여 (W23)으로 점프하는 수단;
(W22) 상기 최우 복원 PSF의 휘도 분포의 화상 크기를 기초로 하여 상기 복원 화상 초기값의 추정 휘도 분포를 보정하여 보정 복원 화상 초기값의 추정 휘도 분포를 얻는 제1 복원 화상 초기값 보정 수단과 동일한 처리 순서로 이루어지는 제2 복원 화상 초기값 보정 수단;
(W23) 상기 최우 복원 PSF의 휘도 분포를 상기 보정 복원 화상 초기값의 추정 휘도 분포에 컨볼루션하여 제41 함수를 얻는 수단;
(W24) 상기 제41 함수를 반전하여 제42 함수를 얻는 수단;
(W25) 상기 제42 함수에 상기 열화 화상의 휘도 분포를 곱하여 제43 함수를 얻는 수단;
(W26) 상기 최우 복원 PSF의 휘도 분포의 반전 함수를 구하고 이를 제44 함수로 이루는 수단;
(W27) 상기 제44 함수를 상기 제43 함수에 컨볼루션하여 제45 함수를 얻는 수단;
(W28) 상기 제45 함수를 상기 복원 화상 초기값의 추정 휘도 분포에 곱하여 복원 화상의 추정 휘도 분포를 얻는 수단;
(W29) 상기 복원 화상의 추정 휘도 분포를 상기 복원 화상 초기값의 추정 휘도 분포와 바꾸는 수단;
(W30) 상기 카운터에 1을 가산하는 수단;
(W31) 상기 카운터의 값이 상기 최대 반복 연산 횟수를 넘었다는 가설을 검증하여, 만약 검증 결과가 거짓이면 (W22)의 수단으로 되돌아가지만, 만약 검증 결과가 진실이면 상기 복원 화상의 추정 휘도 분포를 최우 복원 화상의 휘도 분포로서 출력하는 수단;
(W32) 상기 (W21)의 수단으로 구성되는 제1 화상 복원 연산 준비 수단; 및
(W33) 상기 (W22)~(W31)의 수단으로 구성되는 제1 화상 복원 연산 수단;
을 구비하고,
(W34) 상기 제1 화상 복원 연산 준비 수단 및 제1 화상 복원 연산 수단에 있어서, S의 첨부 숫자가 작은 순으로 실행함으로써 상기 최대 반복 연산 횟수의 반복 연산을 끝내고 최우 복원 화상의 휘도 분포를 출력하는 제1 화상 복원 수단; 및
(W35) 상기 최우 복원 화상의 휘도 분포를 TV 영상화하여 1프레임분의 초해상 TV 영상 신호를 출력하는 제1 TV 영상화 수단;
을 구비하는 것에 특징이 있는 TV 영상용 제1 초해상 처리 장치. - 청구항 18에 있어서,
상기 제1 PSF 복원 수단의 제2 태양은,
(W40) 상기 PSF 초기값의 추정 휘도 분포를 상기 보정 복원 화상 초기값의 추정 휘도 분포에 컨볼루션하여 제46 함수를 얻는 수단;
(W41) 상기 제46 함수를 반전하여 제47 함수를 얻는 수단;
(W42) 상기 제47 함수에 상기 열화 화상의 휘도 분포를 곱하여 제48 함수를 얻는 수단;
(W43) 상기 복원 화상 초기값의 추정 휘도 분포의 반전 함수를 구하고 이를 제49 함수로 이루는 수단;
(W44) 상기 제49 함수를 상기 제48 함수에 컨볼루션하여 제50 함수를 얻는 수단;
(W45) 상기 제50 함수를 상기 PSF 초기값의 추정 휘도 분포에 곱하여 복원 PSF의 추정 휘도 분포를 얻는 수단;
(W46) 상기 복원 PSF의 추정 휘도 분포를 상기 PSF 초기값의 추정 휘도 분포 및 복원 PSF의 추정 휘도 분포의 최종값으로서 출력하는 수단;
(W47) 상기 (W40)~(W46)의 수단을 구비하고, S의 첨부 숫자가 작은 순으로 차례대로 처리함으로써 1회분의 반복 연산을 행하는 단분 PSF 복원 수단; 및
(W48) 상기 최대 반복 연산 횟수분의 상기 단분 PSF 복원 수단을 직렬로 접속함으로써 구성되는 제2 PSF 복원 연산 수단;
을 구비하고,
상기 제2 PSF 복원 연산 수단에 있어서, 직렬로 접속된 단분 PSF 복원 수단의 수에 상당하는 횟수의 반복 연산을 행하고, 최종단째의 단분 PSF 복원 수단으로부터 출력되는 복원 PSF의 추정 휘도 분포의 최종값을 최우 복원 PSF의 휘도 분포로서 출력하는 것에 특징이 있는 TV 영상용 제1 초해상 처리 장치. - 청구항 18에 있어서,
상기 제1 화상 복원 수단의 제2 태양은,
(W50) 상기 최우 복원 PSF의 휘도 분포의 화상 크기를 기초로 하여 상기 복원 화상 초기값의 추정 휘도 분포를 보정하여 보정 복원 화상 초기값의 추정 휘도 분포를 얻는 제1 복원 화상 초기값 보정 수단과 동일한 구성으로 이루어지는 제3 복원 화상 초기값 보정 수단;
(W51) 상기 최우 복원 PSF의 휘도 분포를 상기 보정 복원 화상 초기값의 추정 휘도 분포에 컨볼루션하여 제51 함수를 얻는 수단;
(W52) 상기 제51 함수를 반전하여 제52 함수를 얻는 수단;
(W53) 상기 제52 함수에 상기 열화 화상의 휘도 분포를 곱하여 제53 함수를 얻는 수단;
(W54) 상기 최우 복원 PSF의 휘도 분포의 반전 함수를 구하고 이를 제54 함수로 이루는 수단;
(W55) 상기 제54 함수를 상기 제53 함수에 컨볼루션하여 제55 함수를 얻는 수단;
(W56) 상기 제55 함수를 상기 복원 화상 초기값의 추정 휘도 분포에 곱하여 복원 화상의 추정 휘도 분포를 얻는 수단;
(W57) 상기 복원 화상의 추정 휘도 분포를 복원 화상 초기값의 추정 휘도 분포 및 복원 화상의 추정 휘도 분포의 최종값으로서 출력하는 수단;
(W58) 상기 (W50)~(W57)의 수단을 구비하고, S의 첨부 숫자가 작은 순으로 차례대로 처리함으로써 1회분의 반복 연산을 행하는 제1 단분 화상 복원 수단; 및
(W59) 상기 최대 반복 연산 횟수분의 상기 제1 단분 화상 복원 수단을 직렬로 접속함으로써 구성되는 제2 화상 복원 연산 수단;
을 구비하고,
상기 제2 화상 복원 연산 수단에 있어서, 직렬로 접속된 상기 제1 단분 화상 복원 수단의 수에 상당하는 횟수의 반복 연산을 행하고, 최종단째의 제1 단분 화상 복원 수단으로부터 출력되는 복원 화상의 추정 휘도 분포의 최종값을 최우 복원 화상의 휘도 분포로서 출력하는 것에 특징이 있는 TV 영상용 제1 초해상 처리 장치. - 청구항 4, 7~10에 기재된 TV 영상용 제2 초해상 처리 방법을 이용하여 TV 영상을 구성하는 1프레임의 광학적 열화를 저감하여 열화 전의 프레임을 복원한 초해상 TV 영상 신호를 출력함으로써 TV 영상을 복원하는 TV 영상용 제2 초해상 처리 장치로서,
(W60) 상기 TV 영상을 보면서 상기 TV 영상의 열화 상황에 적합한 PSF의 휘도 분포를 특정하는 제2 PSF 특정 수단;
(W61) 1프레임분의 휘도 분포로 이루어지는 열화 화상의 휘도 분포를 TV 영상으로부터 준비하는 제2 열화 화상 준비 수단;
(W62) 상기 열화 화상의 휘도 분포를 복사하고 이를 상기 복원 화상 초기값의 추정 휘도 분포로 이루고, 나아가 상기 PSF의 휘도 분포의 화상 크기를 기초로 하여 상기 복원 화상 초기값의 추정 휘도 분포를 보정하여 보정 복원 화상 초기값의 추정 휘도 분포를 얻는 제1 복원 화상 초기값 보정 수단과 동일한 처리 순서로 이루어지는 제4 복원 화상 초기값 보정 수단;
(W63) 상기 보정 복원 화상 초기값의 추정 휘도 분포를 열화 화상의 휘도 분포로 이루는 수단;
(W64) 최대 반복 연산 횟수를 설정하는 수단;
(W65) 반복 연산 횟수를 계수하는 카운터를 0으로 리셋하는 수단;
(W66) 상기 특정된 PSF의 휘도 분포를 상기 보정 복원 화상 초기값의 추정 휘도 분포에 컨볼루션하여 제56 함수를 얻는 수단;
(W67) 상기 제56 함수를 반전하여 제57 함수를 얻는 수단;
(W68) 상기 제57 함수에 상기 열화 화상의 휘도 분포를 곱하여 제58 함수를 얻는 수단;
(W69) 상기 PSF의 휘도 분포의 반전 함수를 구하고 이를 제59 함수로 이루는 수단;
(W70) 상기 제59 함수를 상기 제23 함수에 컨볼루션하여 제60 함수를 얻는 수단;
(W71) 상기 제60 함수를 상기 복원 화상 초기값의 추정 휘도 분포에 곱하여 복원 화상의 추정 휘도 분포를 얻는 수단;
(W72) 상기 복원 화상의 추정 휘도 분포를 상기 복원 화상 초기값의 추정 휘도 분포와 바꾸는 수단;
(W73) 상기 카운터에 1을 가산하는 수단;
(W74) 상기 카운터의 값이 상기 최대 반복 연산 횟수 이상이라는 가설을 검증하여, 만약 검증 결과가 거짓인 경우에는 (W75)의 수단으로 점프하지만, 만약 검증 결과가 진실인 경우에 (W77)의 수단으로 점프하는 수단;
(W75) 상기 PSF의 휘도 분포의 화상 크기를 기초로 하여 상기 복원 화상 초기값의 추정 휘도 분포를 보정하여 보정 복원 화상 초기값의 추정 휘도 분포를 얻는 제1 복원 화상 초기값 보정 수단과 동일한 처리 순서로 이루어지는 제5 복원 화상 초기값 보정 수단;
(W76) W66으로 점프하는 수단;
(W77) 상기 복원 화상의 추정 휘도 분포를 최우 복원 화상의 휘도 분포로서 출력하는 수단;
(W78) 상기 (W60)~(W65)의 수단으로 구성되는 제2 화상 복원 연산 준비 수단;
(W79) 상기 (W66)~(W77)의 수단으로 구성되는 제3 화상 복원 연산 수단;
(W80) 상기 제2 화상 복원 연산 준비 수단 및 제3 화상 복원 연산 수단을 구비하고, S의 첨부 숫자가 작은 순으로 실행함으로써 상기 최대 반복 연산 횟수의 반복 연산을 끝내고 최우 복원 화상의 휘도 분포를 출력하는 제2 화상 복원 수단; 및
(W81) 상기 최우화된 최우 복원 화상의 휘도 분포를 TV 영상화하여 1프레임분의 초해상 TV 영상 신호를 출력하는 제2 TV 영상화 수단;
을 구비하는 것에 특징이 있는 TV 영상용 제2 초해상 처리 장치. - 청구항 21에 있어서,
상기 제3 화상 복원 수단의 제2 태양은,
(W85) 상기 PSF의 휘도 분포의 화상 크기를 기초로 하여 상기 복원 화상 초기값의 추정 휘도 분포를 보정하여 보정 복원 화상 초기값의 추정 휘도 분포를 얻는 제1 복원 화상 초기값 보정 수단과 동일한 처리 순서로 이루어지는 제6 복원 화상 초기값 보정 수단;
(W86) 상기 PSF의 휘도 분포에 상기 복원 화상 초기값의 추정 휘도 분포를 컨볼루션하여 제61 함수를 얻는 수단;
(W87) 상기 제61 함수를 반전하여 제62 함수를 얻는 수단;
(W88) 상기 제62 함수에 상기 열화 화상의 휘도 분포를 곱하여 제63 함수를 얻는 수단;
(W89) 상기 PSF의 휘도 분포의 반전 함수를 구하고 이를 제64 함수로 이루는 수단;
(W90) 상기 제64 함수를 상기 제63 함수에 컨볼루션하여 제65 함수를 얻는 수단;
(W91) 상기 제65 함수를 상기 복원 화상 초기값의 추정 휘도 분포에 곱하여 복원 화상의 추정 휘도 분포를 얻는 수단;
(W92) 상기 복원 화상의 추정 휘도 분포를 복원 화상 초기값의 추정 휘도 분포 및 복원 화상의 추정 휘도 분포의 최종값으로서 출력하는 수단;
(W93) 상기 (W85)~(W92)의 수단을 구비하고, S의 첨부 숫자가 작은 순으로 처리함으로써 1회분의 반복 연산을 행하는 제2 단분 화상 복원 수단; 및
(W94) 상기 최대 반복 연산 횟수분의 상기 제2 단분 화상 복원 수단을 직렬로 접속함으로써 구성되는 제4 화상 복원 연산 수단;
을 구비하고,
상기 제4 화상 복원 연산 수단에 있어서, 직렬로 접속된 상기 제2 단분 화상 복원 수단의 수에 상당하는 횟수의 반복 연산을 행하고, 최종단째의 제2 단분 화상 복원 수단으로부터 출력되는 복원 화상의 추정 휘도 분포의 최종값을 최우 복원 화상의 휘도 분포로서 출력하는 것에 특징이 있는 TV 영상용 제2 초해상 처리 장치. - 청구항 21에 있어서,
상기 제3 화상 복원 수단의 제3 태양은,
(W100) 반복 연산 횟수를 계수하는 상기 카운터를 리셋하는 수단;
(W101) 상기 카운터의 값이 0 이외라는 가설을 검증하여, 만약 검증 결과가 거짓이면 (W102)로 점프하고, 만약 검증 결과가 진실이면 (W103)으로 점프하는 수단;
(W102) 상기 열화 화상의 휘도 분포를 열화 화상의 휘도 분포 저장용 버퍼 및 복원 화상 초기값의 추정 휘도 분포용 버퍼에 전송하는 수단;
(W103) 상기 복원 화상 초기값의 추정 휘도 분포용 버퍼로부터 복원 화상 초기값의 추정 휘도 분포를 읽어들이는 수단;
(W104) 상기 PSF의 휘도 분포의 화상 크기를 기초로 하여 상기 복원 화상 초기값의 추정 휘도 분포를 보정하여 보정 복원 화상 초기값의 추정 휘도 분포를 얻는 제1 복원 화상 초기값 보정 수단과 동일한 처리 순서로 이루어지는 제7 복원 화상 초기값 보정 수단;
(W105) 상기 PSF의 휘도 분포를 상기 보정 복원 화상 초기값의 추정 휘도 분포에 컨볼루션하여 제31 함수를 얻는 수단;
(W106) 상기 제31 함수를 반전하여 제32 함수를 얻는 수단;
(W107) 상기 제32 함수에 상기 열화 화상의 휘도 분포를 곱하여 제33 함수를 얻는 수단;
(W108) 상기 PSF의 휘도 분포의 반전 함수를 구하고 이를 제34 함수로 이루는 수단;
(W109) 상기 제34 함수를 상기 제33 함수에 컨볼루션하여 제35 함수를 얻는 수단;
(W110) 상기 제35 함수를 상기 복원 화상 초기값의 추정 휘도 분포에 곱하여 복원 화상의 추정 휘도 분포를 얻는 수단;
(W111) 상기 카운터에 1을 가산하는 수단;
(W112) 상기 카운터의 값이 상기 최대 반복 연산 횟수를 넘는다는 가설을 검증하여, 만약 검증 결과가 거짓이면 (W113)으로 점프하고, 만약 검증 결과가 진실이면 (W115)로 점프하는 수단;
(W113) 상기 복원 화상의 추정 휘도 분포를 상기 복원 화상 초기값의 추정 휘도 분포용 버퍼에 전송하는 수단;
(W114) (W103)으로 점프하는 수단;
(W115) 상기 복원 화상의 추정 휘도 분포를 최우 복원 화상의 휘도 분포로서 출력하는 수단; 및
(W116) 상기 (W100)~(W115)의 수단을 구비하고, W의 첨부 숫자가 작은 순으로 차례대로 실행함으로써 상기 최대 반복 연산 횟수의 반복 연산을 끝내고 최우 복원 화상의 휘도 분포를 출력하는 제5 화상 복원 연산 수단;
을 구비하는 것에 특징이 있는 TV 영상용 제2 초해상 처리 장치. - 청구항 18에 기재된 제1 PSF 특정 수단 및 청구항 21에 기재된 제2 PSF 특정 수단은,
(W120) 모니터에 비춰지는 TV 영상의 광학적인 열화 정도에 따른 열화 지수를 설정하는 수단; 및
(W121) 상기 열화 지수에 관련된 PSF의 휘도 분포를 PSF 데이터베이스로부터 추출하는 수단;
을 구비하는 것에 특징이 있는 TV 영상용 제1 초해상 처리 장치 및 TV 영상용 제2 초해상 처리 장치. - 청구항 18에 기재된 제1 열화 화상 준비 수단 및 청구항 21에 기재된 제2 열화 화상 준비 수단은,
(W130) 1프레임분의 TV 영상 신호로부터 프레임을 구성하는 RGB 신호를 취출하는 RGB 신호 추출 수단;
(W131) 상기 1프레임분의 TV 영상 신호 중에서 RGB 신호를 취출한 나머지 TV 영상 신호를 1프레임분 지연하여 출력하는 지연 수단;
(W132) 상기 RGB 신호를 YUV 변환하여 YUV 신호로 이루는 YUV 변환 수단;
(W133) 상기 YUV 신호 중에서 휘도 성분인 Y신호만으로 이루어지는 열화 화상의 휘도 분포를 추출하여 Y 열화 화상의 휘도 분포로 이루고, 나머지 U신호만으로 이루어지는 U 열화 화상의 분포 및 V신호만으로 이루어지는 V 열화 화상의 분포를 보유하는 Y 열화 화상 추출 수단; 및
(W134) 상기 Y 열화 화상의 휘도 분포의 디감마 처리를 행하고 1프레임분의 휘도 분포로 이루어지는 열화 화상의 휘도 분포로 이루어 출력하는 디감마 처리 수단;
을 구비하는 것에 특징이 있는 TV 영상용 제1 초해상 처리 장치 및 TV 영상용 제2 초해상 처리 장치. - 청구항 18에 기재된 제1 TV 영상화 수단 및 청구항 21에 기재된 제2 TV 영상화 수단은,
(W140) 상기 최우 복원 화상의 휘도 분포의 감마 처리를 행하는 감마 처리 수단;
(W141) 상기 Y 열화 화상 추출 수단에서 보유한 상기 U 열화 화상의 분포 및 상기 V 열화 화상의 분포와 Y성분으로 이루어지는 감마 처리 후의 최우 복원 화상의 휘도 분포로부터 1장의 YUV 복원 화상의 분포를 합성하는 복원 화상 합성 수단;
(W142) 상기 YUV 복원 화상의 분포의 RGB 변환을 행하여 RGB 복원 화상의 분포로 이루는 RGB 변환 수단;
(W143) 상기 RGB 복원 화상의 분포를 판독하여 RGB 신호를 출력하는 RGB 신호 변환 수단; 및
(W144) 상기 RGB 신호를 상기 지연 수단이 출력하는 상기 RGB 신호를 취출한 나머지 TV 영상 신호와 합성하여 1프레임분의 초해상 TV 영상 신호로 이루어 출력하는 TV 영상 신호 합성 수단;
을 구비하는 것에 특징이 있는 TV 영상용 제1 초해상 처리 장치 및 TV 영상용 제2 초해상 처리 장치. - 청구항 18에 기재된 TV 영상용 제1 초해상 처리 장치를 구성하는 상기 제1 PSF 복원 수단 및 상기 제1 화상 복원 수단 내의 모든 수단을 구성하고, 또한 이들 모든 수단을 실행시키기 위한 제1 초해상 처리 장치 프로그램.
- 청구항 18~19에 기재된 TV 영상용 제1 초해상 처리 장치를 구성하는 상기 PSF 복원 연산 준비 수단, 상기 제2 PSF 복원 연산 수단 및 상기 제1 화상 복원 수단 내의 모든 수단을 구성하고, 또한 이들 모든 수단을 실행시키기 위한 제2 초해상 처리 장치 프로그램.
- 청구항 18, 20에 기재된 TV 영상용 제1 초해상 처리 장치를 구성하는 상기 제1 PSF 복원 수단, 상기 제1 화상 복원 연산 준비 수단 및 상기 제2 화상 복원 연산 수단 내의 모든 수단을 구성하고, 또한 이들 모든 수단을 실행시키기 위한 제3 초해상 처리 장치 프로그램.
- 청구항 18~20에 기재된 TV 영상용 제1 초해상 처리 장치를 구성하는 상기 PSF 복원 연산 준비 수단, 상기 제2 PSF 복원 연산 수단, 상기 제1 화상 복원 연산 준비 수단 및 상기 제2 화상 복원 연산 수단 내의 모든 수단을 구성하고, 또한 이들 모든 수단을 실행시키기 위한 제4 초해상 처리 장치 프로그램.
- 청구항 21에 기재된 TV 영상용 제2 초해상 처리 장치를 구성하는 상기 제2 화상 복원 수단 내의 모든 수단을 구성하고, 또한 이들 모든 수단을 실행시키기 위한 제5 초해상 처리 장치 프로그램.
- 청구항 21~22에 기재된 TV 영상용 제2 초해상 처리 장치를 구성하는 상기 제2 화상 복원 연산 준비 수단 및 상기 제4 화상 복원 연산 수단 내의 모든 수단을 구성하고, 또한 이들 모든 수단을 실행시키기 위한 제6 초해상 처리 장치 프로그램.
- 청구항 21, 22에 기재된 TV 영상용 제2 초해상 처리 장치를 구성하는 상기 제2 화상 복원 연산 준비 수단 및 상기 제5 화상 복원 연산 수단 내의 모든 수단을 구성하고, 또한 이들 모든 수단을 실행시키기 위한 제7 초해상 처리 장치 프로그램.
- 청구항 11~14에 기재된 TV 영상용 제1 초해상 처리 방법을 실행하기 위한 상기 제1 초해상 처리 프로그램, 상기 제2 초해상 처리 프로그램, 상기 제3 초해상 처리 프로그램 및 상기 제4 초해상 처리 프로그램을 각각 개별적으로 암호화하여 개별적으로 기억하고, 한편 독출시에는 개별적으로 독출하고 복호 후에 제공하며, 컴퓨터에 접속 가능하면서 상기 컴퓨터가 읽어들임 가능한 제1 기억 매체.
- 청구항 15~17에 기재된 TV 영상용 제2 초해상 처리 방법을 실행하기 위한 상기 제5 초해상 처리 프로그램, 상기 제6 초해상 처리 프로그램 및 상기 제7 초해상 처리 프로그램을 각각 개별적으로 암호화하여 개별적으로 기억하고, 한편 독출시에는 개별적으로 독출하고 복호 후에 제공하며, 컴퓨터에 접속 가능하면서 상기 컴퓨터가 읽어들임 가능한 제2 기억 매체.
- 청구항 27~30에 기재된 TV 영상용 제1 초해상 처리 장치 내의 모든 수단을 구성하고, 또한 이들의 모든 수단을 실행하기 위한 상기 제1 초해상 처리 장치 프로그램, 상기 제2 초해상 처리 장치 프로그램, 상기 제3 초해상 처리 장치 프로그램 및 상기 제4 초해상 처리 장치 프로그램을 각각 개별적으로 암호화하여 개별적으로 기억하고, 한편 독출시에는 개별적으로 독출하고 복호 후에 제공하며, 컴퓨터에 접속 가능하면서 상기 컴퓨터가 읽어들임 가능한 제3 기억 매체.
- 청구항 31~33에 기재된 TV 영상용 제2 초해상 처리 장치 내의 모든 수단을 구성하고, 또한 이들의 모든 수단을 실행하기 위한 상기 제5 초해상 처리 장치 프로그램, 상기 제6 초해상 처리 장치 프로그램 및 상기 제7 초해상 처리 장치 프로그램을 각각 개별적으로 암호화하여 개별적으로 기억하고, 한편 독출시에는 개별적으로 독출하고 복호 후에 제공하며, 컴퓨터에 접속 가능하면서 상기 컴퓨터가 읽어들임 가능한 제4 기억 매체.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JPJP-P-2013-255919 | 2013-12-11 | ||
| JP2013255919A JP6155182B2 (ja) | 2013-12-11 | 2013-12-11 | Ｔｖ映像向け超解像処理方法および同方法によるｔｖ映像向け超解像処理装置、第１〜第１４超解像処理プログラム、並びに第１〜第４記憶媒体 |
| PCT/JP2014/081457 WO2015087711A1 (ja) | 2013-12-11 | 2014-11-27 | Ｔｖ映像向け超解像処理方法および同方法によるｔｖ映像向け超解像処理装置、第１～第１４超解像処理プログラム、並びに第１～第４記憶媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20160082704A true KR20160082704A (ko) | 2016-07-08 |
| KR101807230B1 KR101807230B1 (ko) | 2017-12-08 |
Family
ID=53371023
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020167015372A KR101807230B1 (ko) | 2013-12-11 | 2014-11-27 | Tv 영상용 초해상 처리 방법 및 이 방법에 따른 tv 영상용 초해상 처리 장치, 제1~제14 초해상 처리 프로그램과 제1~제4 기억 매체 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US9762849B2 (ko) |
| JP (1) | JP6155182B2 (ko) |
| KR (1) | KR101807230B1 (ko) |
| CN (1) | CN105814874B (ko) |
| WO (1) | WO2015087711A1 (ko) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107085827B (zh) * | 2017-04-27 | 2020-06-16 | 中国电子科技集团公司第二十八研究所 | 基于硬件平台实现的超分辨力图像复原方法 |
| CN109102462B (zh) * | 2018-08-01 | 2023-04-07 | 中国计量大学 | 一种基于深度学习的视频超分辨率重建方法 |
| CN111294480B (zh) * | 2018-12-06 | 2021-04-16 | 中国科学院深圳先进技术研究院 | 一种图像加密与校正方法、装置及图像解密方法、装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006041127A1 (ja) | 2004-10-14 | 2006-04-20 | Lightron Co., Ltd. | 劣化情報復元方法と復元装置 |
| WO2006041126A1 (ja) | 2004-10-14 | 2006-04-20 | Lightron Co., Ltd. | 劣化情報復元方法と復元装置 |
| JP2009100407A (ja) | 2007-10-19 | 2009-05-07 | Toshiba Corp | 画像処理装置及びその方法 |
| JP2009296410A (ja) | 2008-06-06 | 2009-12-17 | Hitachi Ltd | 高解像度の映像再生装置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2007122838A1 (ja) * | 2006-04-25 | 2009-09-03 | 国立大学法人 奈良先端科学技術大学院大学 | 階層ベイズ法に基づく超解像法および超解像プログラム |
| JP4454657B2 (ja) | 2007-01-12 | 2010-04-21 | 三洋電機株式会社 | ぶれ補正装置及び方法、並びに撮像装置 |
| JP5105286B2 (ja) | 2008-05-07 | 2012-12-26 | 国立大学法人東京工業大学 | 画像復元装置、画像復元方法及び画像復元プログラム |
| CN102388402B (zh) * | 2010-02-10 | 2015-08-19 | 杜比国际公司 | 图像处理装置及图像处理方法 |
| JP2013003610A (ja) * | 2011-06-10 | 2013-01-07 | Sony Corp | 画像処理装置および方法、プログラム、並びに記録媒体 |
| JP2013175003A (ja) * | 2012-02-24 | 2013-09-05 | Osaka Prefecture Univ | Ｐｓｆ推定方法とそれを用いた劣化画像の復元方法およびこれらを記録したプログラムとそれを実行するコンピュータ装置 |
-
2013
- 2013-12-11 JP JP2013255919A patent/JP6155182B2/ja active Active
-
2014
- 2014-11-27 CN CN201480067471.2A patent/CN105814874B/zh active Active
- 2014-11-27 WO PCT/JP2014/081457 patent/WO2015087711A1/ja active Application Filing
- 2014-11-27 US US15/102,707 patent/US9762849B2/en active Active
- 2014-11-27 KR KR1020167015372A patent/KR101807230B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006041127A1 (ja) | 2004-10-14 | 2006-04-20 | Lightron Co., Ltd. | 劣化情報復元方法と復元装置 |
| WO2006041126A1 (ja) | 2004-10-14 | 2006-04-20 | Lightron Co., Ltd. | 劣化情報復元方法と復元装置 |
| JP2009100407A (ja) | 2007-10-19 | 2009-05-07 | Toshiba Corp | 画像処理装置及びその方法 |
| JP2009296410A (ja) | 2008-06-06 | 2009-12-17 | Hitachi Ltd | 高解像度の映像再生装置 |
Non-Patent Citations (1)
| Title |
|---|
| 비특허문헌 1: 가네무라 아츠노리 등 「베이즈 초해상과 계층 모델링」 일본 신경회로 학회지, vol.15, No.3(2008), 181-192 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015114812A (ja) | 2015-06-22 |
| US9762849B2 (en) | 2017-09-12 |
| CN105814874A (zh) | 2016-07-27 |
| WO2015087711A1 (ja) | 2015-06-18 |
| US20160316169A1 (en) | 2016-10-27 |
| JP6155182B2 (ja) | 2017-06-28 |
| CN105814874B (zh) | 2019-03-15 |
| KR101807230B1 (ko) | 2017-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7392227B2 (ja) | 映像フレーム補間のための特徴ピラミッドワーピング | |
| GB2536904A (en) | Image filtering based on image gradients | |
| JP2022508988A (ja) | 顔認識のための圧縮－拡張深さ方向畳み込みニューラルネットワーク | |
| US20070222728A1 (en) | Video signal processing | |
| KR101807230B1 (ko) | Tv 영상용 초해상 처리 방법 및 이 방법에 따른 tv 영상용 초해상 처리 장치, 제1~제14 초해상 처리 프로그램과 제1~제4 기억 매체 | |
| KR20190032818A (ko) | 롤링 셔터 방식을 이용한 복수의 카메라를 포함하는 전자 장치 | |
| US10021382B2 (en) | Calibrating a one-dimensional coded light 3D acquisition system | |
| JP2008091979A (ja) | 画像高画質化装置、及びその方法、並びに画像表示装置 | |
| CN111325792A (zh) | 用于确定相机位姿的方法、装置、设备和介质 | |
| JP2009224901A (ja) | 画像のダイナミックレンジ圧縮方法、画像処理回路、撮像装置およびプログラム | |
| KR101807229B1 (ko) | Tv 영상용 가속 초해상 처리 방법 및 이 방법에 따른 tv 영상용 가속 초해상 처리 장치, 제1~6 가속 초해상 처리 프로그램과 제1~2 기억 매체 | |
| US20230386072A1 (en) | Incremental 2d-to-3d pose lifting for fast and accurate human pose estimation | |
| US20230368340A1 (en) | Gating of Contextual Attention and Convolutional Features | |
| Ma et al. | High-rank coded aperture projection for extended depth of field | |
| CN111415393B (zh) | 一种调节多媒体黑板显示的方法、装置、介质和电子设备 | |
| CN111798385A (zh) | 图像处理方法及装置、计算机可读介质和电子设备 | |
| CN115170674B (zh) | 基于单张图像的相机主点标定方法、装置、设备和介质 | |
| Sevcenco et al. | Light field editing in the gradient domain | |
| WO2023036111A1 (zh) | 视频处理方法、装置、设备及介质 | |
| CN113587812B (zh) | 显示设备、测量方法及装置 | |
| WO2023035973A1 (zh) | 视频处理方法、装置、设备及介质 | |
| CN116309137A (zh) | 一种多视点图像去模糊方法、装置、系统和电子介质 | |
| TW202141123A (zh) | 多深度資訊之融合方法與融合系統 | |
| CN117670743A (zh) | 畸变参数的质量测量方法、设备、存储介质及程序产品 | |
| CN115797203A (zh) | 图像降噪处理方法、装置、设备和计算机可读介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E701 | Decision to grant or registration of patent right | ||
| N231 | Notification of change of applicant | ||
| GRNT | Written decision to grant |