KR101807229B1 - Tv 영상용 가속 초해상 처리 방법 및 이 방법에 따른 tv 영상용 가속 초해상 처리 장치, 제1~6 가속 초해상 처리 프로그램과 제1~2 기억 매체 - Google Patents
Tv 영상용 가속 초해상 처리 방법 및 이 방법에 따른 tv 영상용 가속 초해상 처리 장치, 제1~6 가속 초해상 처리 프로그램과 제1~2 기억 매체 Download PDFInfo
- Publication number
- KR101807229B1 KR101807229B1 KR1020167015373A KR20167015373A KR101807229B1 KR 101807229 B1 KR101807229 B1 KR 101807229B1 KR 1020167015373 A KR1020167015373 A KR 1020167015373A KR 20167015373 A KR20167015373 A KR 20167015373A KR 101807229 B1 KR101807229 B1 KR 101807229B1
- Authority
- KR
- South Korea
- Prior art keywords
- luminance distribution
- image
- psf
- initial value
- estimated
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 263
- 238000012545 processing Methods 0.000 title claims description 209
- 238000003860 storage Methods 0.000 title claims description 24
- 238000003672 processing method Methods 0.000 title claims description 10
- 238000009826 distribution Methods 0.000 claims abstract description 837
- 230000006866 deterioration Effects 0.000 claims abstract description 123
- 238000004364 calculation method Methods 0.000 claims abstract description 43
- 230000003287 optical effect Effects 0.000 claims abstract description 13
- 230000008569 process Effects 0.000 claims description 163
- 238000002360 preparation method Methods 0.000 claims description 88
- 229920013655 poly(bisphenol-A sulfone) Polymers 0.000 claims description 77
- 230000001133 acceleration Effects 0.000 claims description 75
- 238000012795 verification Methods 0.000 claims description 53
- 239000000872 buffer Substances 0.000 claims description 25
- 238000012937 correction Methods 0.000 claims description 21
- 238000003384 imaging method Methods 0.000 claims description 20
- 238000006243 chemical reaction Methods 0.000 claims description 15
- 230000002194 synthesizing effect Effects 0.000 claims description 15
- 230000009191 jumping Effects 0.000 claims description 12
- 230000000875 corresponding effect Effects 0.000 claims description 10
- 230000002596 correlated effect Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims 1
- 230000003252 repetitive effect Effects 0.000 abstract description 8
- 230000006870 function Effects 0.000 description 83
- 239000010432 diamond Substances 0.000 description 18
- 238000010586 diagram Methods 0.000 description 14
- 230000015556 catabolic process Effects 0.000 description 10
- 238000006731 degradation reaction Methods 0.000 description 10
- 239000000758 substrate Substances 0.000 description 10
- 238000012360 testing method Methods 0.000 description 9
- 238000007476 Maximum Likelihood Methods 0.000 description 8
- 238000007796 conventional method Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 230000003111 delayed effect Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 230000007717 exclusion Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000001816 cooling Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 239000012536 storage buffer Substances 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000010485 coping Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 101150046368 PSF1 gene Proteins 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G06T5/73—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/001—Image restoration
- G06T5/003—Deblurring; Sharpening
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/20—Circuitry for controlling amplitude response
- H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
- H04N5/208—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/57—Control of contrast or brightness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Abstract
TV 영상의 1프레임 내의 광학적 열화를 대략 실시간으로 저감하여 열화 전의 원화상을 복원하는 장치의 규모가 150만 게이트로 대규모라는 문제를 해결하는 방법 및 장치의 제공을 과제로 한다. TV 영상의 1프레임을 열화 화상의 휘도 분포 및 복원 화상 초기값의 추정 휘도 분포로 하고, 열화 화상의 열화 정도에 따라 특정된 제1 PSF의 휘도 분포를 1회째 반복 연산에 이용하고, 제1 PSF의 휘도 분포를 화상 복원 수단에 의해 복원한 제2 PSF의 휘도 분포를 2회째 반복 연산에 이용하고, 1회째 반복 연산에 의한 복원 화상의 추정 휘도 분포를 2회째 복원 화상 초기값의 추정 휘도 분포로 하면서, Bayse 확률론에 기초하는 실수 연산에 의해 열화 화상의 휘도 분포에 가장 그럴듯한 복원 화상의 추정 휘도 분포를 구하는 화상 복원 수단에 있어서 2회의 반복 연산을 행함으로써 대략 실시간으로 열화 전의 원화상에 가까운 TV 영상을 제공하는 방법 및 7만 게이트 규모의 장치이다.
Description
본 발명은 TV 영상의 화상 처리에 관한 것으로, 특히 TV 영상에 포함되는 광학적인 흐려짐이나 번짐 등의 열화 정보를 Bayse 확률론에 기초한 수학적인 연산 처리에 의해 제거하고 열화되기 전의 TV 영상을 복원하기 위한 TV 영상용 가속 초해상 처리 방법 및 이 방법에 따른 TV 영상용 가속 초해상 처리 장치, 제1~6 가속 초해상 처리 프로그램과 제1~2 기억 매체에 관한 것이다.
TV 영상은 1초 동안 30장 이상의 프레임이라고 불리는 정지화상으로 구성되어 있고, 각 프레임은 디지털 및 아날로그를 불문하고 선명하지 않을 정도로 흐려지지는 않지만 광학적인 흐려짐이나 번짐 등의 열화 정보를 포함하고 있다는 문제가 있다.
도 1은 실제 TV 영상의 1프레임이 포함하는 열화 정보의 일례를 도시한 것이다. 도 1에는 2장의 화상이 있고, 좌측 화상은 X선 핀홀 카메라의 Y(휘도) 성분만으로 이루어지는 TV 영상의 1프레임이며, 우측 화상은 본 발명자가 발명한 종래기술(특허문헌 1~2)에 의해 도 1의 좌측 화상을 초해상 처리하여 열화 정보를 저감한 것이다. 도 1의 두 화상을 비교하면, 실제 TV 영상에는 광학적인 흐려짐이나 번짐 등의 열화 정보가 포함되어 있는 것을 알 수 있다.
본 발명자가 발명한 화상 복원 기술(특허문헌 1~2)은, 광학적인 흐려짐이나 번짐 등의 열화 정보를 포함하는 정지영상 1장의 정보로부터 Bayse 확률론적 수학식에 따라 반복 연산을 반복하는 동안에 정지영상의 휘도 분포에 가장 그럴듯한 최우 열화 요인 및 최우 복원 화상 즉 초해상 처리 후의 화상을 수치 연산에 의해 구하는 것인데, 계산에 필요로 하는 연산 처리량이 방대하기 때문에 실시간 처리를 필요로 하는 TV 영상을 취급하는 것은 어렵다는 문제가 있었다.
본 발명자가 발명한 화상 복원 기술(특허문헌 1~2)은, 복소수를 연산 대상으로 하기 때문에 연산 규모가 크고 대략 실시간 처리에 맞지 않은 문제가 있었다. 이 문제를 해결하기 위해, 본 발명자는 출원 중인 기술에서 연산 대상을 복소수에서 실수로 변경하고, 나아가 FPGA(Field Programmable Gate Array)를 이용하여 하드웨어화함으로써 대략 실시간 처리를 가능하게 하였다. 그러나, 하드웨어화하였을 때의 게이트 수가 150만 게이트로 대규모이고 비용이 높고 실장 면적이 큰 문제가 있었다.
다른 종래의 TV 영상용 초해상 기술 중 하나로는, TV 영상을 구성하는 복수 프레임 내의 동일 피사체에 착안하여 동일 피사체를 위치 맞춤함으로써 복수 프레임을 겹쳐맞추어 초해상화를 행하는 「재구성형 초해상」 방법(특허문헌 3, 4)이 있고, 제품화되어 있다. 그러나, 움직임이 심한 장면이나 줌인/줌아웃이 심하게 이루어지는 장면 등 피사체의 크기가 크게 변화하는 경우나 피사체가 복수의 프레임에 비치지 않는 경우, 「재구성형 초해상」 방법에 의한 초해상은 어려워지는 문제가 있었다.
다른 방법으로서는, 비특허문헌 1에 있는 바와 같이 비디오 카메라에 의해 얻어지는 서로 조금씩 시점이 다른 연속된 복수의 정지화상을 기초로 Bayes 통계 처리를 행하여 초해상화된 정지영상을 얻는 방법이 있다. 그러나, 이 방법에서는 항상 복수의 열화 정보를 포함하는 정지화상을 축적하기 위한 메모리가 대량으로 필요하고, 게다가 1장의 초해상화된 정지영상을 얻기 위해서는 항상 복수의 정지화상을 처리할 필요가 있기 때문에 대량의 메모리를 필요로 할 뿐만 아니라 계산이 방대해져 TV 영상을 처리할 수 없다는 문제가 있었다.
비특허문헌 1: 가네무라 아츠노리 등 「베이즈 초해상과 계층 모델링」 일본 신경회로 학회지, vol.15, No.3(2008), 181-192
특허문헌 1~4 및 비특허문헌 1에 기재된 어떤 방법에서도 광학적인 흐려짐이나 번짐 등의 열화 정보를 포함한 1프레임만의 정보에 기초하여 TV 영상을 초해상 처리할 수는 없다는 문제가 있었다.
이 문제를 해결하기 위해, 본 발명자가 발명한 화상 복원 기술(특허문헌 1~2)의 연산 대상을 복소수에서 실수로 바꾸고 나아가 FPGA를 이용하여 하드웨어화함으로써 개량하여 대략 실시간 처리를 가능하게 하는 TV 영상용 초해상 처리 방법 및 TV 영상용 초해상 처리 장치를 발명하여 특허출원하였지만, 이 TV 영상용 초해상 처리 장치는 FPGA화 및 LSI(Large Scale Integrated circuit)화하였을 때의 게이트 수가 150만 게이트로 대규모이고 비용이 높고 실장 면적이 큰 문제가 있었다.
그래서, 본 발명은 이들 상기 문제를 해결하여 TV 영상을 초해상 처리하기 위한 TV 영상의 가속 초해상 처리 방법 및 이 방법에 따른 TV 영상용 가속 초해상 처리 장치, 제1~6 가속 초해상 처리 프로그램과 제1~2 기억 매체를 제공하는 것을 과제로 한다.
상기 과제를 해결하기 위해, 본 발명에서는 본 발명자가 새로 발명한 가속 알고리즘을 이용하는 TV 영상의 가속 초해상 처리 방법 및 이 방법에 따른 TV 영상용 가속 초해상 처리 장치, 제1~6 가속 초해상 처리 프로그램과 제1~2 기억 매체를 제공한다. 이 가속 알고리즘은 반복 연산을 가속도적으로 행하기 때문에 반복 연산 횟수가 수회로 끝나고, 본 발명자가 발명하고 현재 출원 중인 TV 영상용 초해상 처리 방법에서 이용한 알고리즘에 비해 처리 공정수를 대폭으로 저감하는 것이 가능해진다.
본 발명에 의한 제1 발명은, 1프레임분의 TV 영상 신호에 포함되는 프레임으로부터 광학적 열화를 저감하여 열화 전의 1프레임분의 TV 영상 신호를 복원하는 TV 영상용 가속 초해상 처리 방법에 관한 것이다. 본 발명에 의한 제1 발명인 TV 영상용 가속 초해상 처리 방법은, (S1) 최대 반복 연산 횟수를 설정하는 공정과, (S2) TV 영상을 보면서 TV 영상의 열화 상황에 적합한 열화 지수를 지정하는 열화 지수 지정 공정과, (S3) 열화 지수에 관련된 제1번째 PSF(Point Spread Function)의 휘도 분포 및 이 계로 이루어지고 반복 연산 횟수에 관련지어 정리된 일련의 PSF의 휘도 분포를 준비하는 PSF 준비 공정과, (S4) 1프레임분의 휘도 분포로 이루어지는 열화 화상의 휘도 분포를 1프레임분의 TV 영상 신호로부터 준비하는 열화 화상 준비 공정과, (S5) 열화 화상의 휘도 분포를 복원 화상 초기값의 추정 휘도 분포로 이루는 복원 화상 초기값 준비 공정과, (S6) 일련의 PSF의 휘도 분포는 서로 동일한 화상 크기이고, 이 화상 크기를 PSF 크기라고 부를 때, 이 PSF 크기를 구하는 PSF 크기 취득 공정과, (S7) 반복 연산 횟수를 계수하는 카운터에 1을 설정하는 제1 리셋 공정과, (S8) 복원 화상 초기값의 추정 휘도 분포를 복사하여 이를 보정 복원 화상 초기값의 추정 휘도 분포로 이루고, 나아가 보정 복원 화상 초기값의 추정 휘도 분포를 PSF 크기를 기초로 하여 보정하는 제1 복원 화상 초기값 보정 공정과, (S9) 일련의 PSF의 휘도 분포로부터 카운터의 값에 관련된 하나를 선택하여 이를 PSF의 휘도 분포로 이루는 PSF 선정 공정과, (S10) 보정 복원 화상 초기값의 추정 휘도 분포에 PSF의 휘도 분포를 컨볼루션하여 제1 함수를 얻는 공정과, (S11) 제1 함수를 반전하여 제2 함수를 얻는 공정과, (S12) 제2 함수에 열화 화상의 휘도 분포를 곱하여 제3 함수를 얻는 공정과, (S13) 제3 함수를 복원 화상 초기값의 추정 휘도 분포에 곱하여 복원 화상의 추정 휘도 분포를 얻는 공정과, (S14) 카운터에 1을 가산하는 공정과, (S15) 카운터의 값이 최대 반복 연산 횟수 이상이라는 가설을 검증하여, 만약 검증 결과가 거짓이면 (S16)의 공정으로 진행되지만, 검증 결과가 진실이면 공정(S18)으로 진행되는 공정과, (S16) 복원 화상의 추정 휘도 분포를 복원 화상 초기값의 추정 휘도 분포와 바꾸는 공정과, (S17) (S8)의 공정으로 되돌아가는 공정과, (S18) 복원 화상의 추정 휘도 분포를 최우 복원 화상의 휘도 분포로서 출력하는 공정과, (S19) (S1)~(S7)의 공정으로 구성되는 준비 공정과, (S20) (S8)~(S18)의 공정으로 구성되는 제1 화상 복원 공정을 구비하고, (S21) 준비 공정 S19 및 제1 화상 복원 공정 S20에 있어서, 각 공정의 S의 첨부 숫자가 작은 순으로 차례대로 실행함으로써 최대 반복 연산 횟수의 반복 연산을 끝내고 최우 복원 화상의 휘도 분포를 출력하는 제1 가속 초해상 처리 공정과, (S22) 최우 복원 화상의 휘도 분포를 1프레임분의 TV 영상 신호로 이루고 이를 초해상 TV 영상 신호로서 출력하는 TV 영상화 공정을 구비하는 것에 특징이 있다. 이 제1 발명은 청구항 1에 기재된 것과 동일한 것이다.
본 발명에 의한 제2 발명은, 제1 발명인 TV 영상용 가속 초해상 처리 방법을 구성하는 PSF 준비 공정의 제2 태양에 관한 것으로, 이 PSF 준비 공정의 제2 태양은, (S30) 열화 지수를 검색 정보로서 열화 지수에 대해 PSF의 휘도 분포를 1대1로 관련지어 정리하여 작성된 PSF 데이터베이스를 검색하고, 히트한 PSF의 휘도 분포를 제1번째 PSF의 휘도 분포로 이루는 공정과, (S31) 수를 계수하는 제2 카운터에 1을 입력하여 리셋하는 공정과, (S32) 제1번째 PSF의 휘도 분포를 PSF 초기값의 휘도 분포로 이루는 공정과, (S33) 제2 카운터에 1을 가산하는 공정과, (S34) 제2 카운터의 값이 최대 반복 연산 횟수를 넘었다는 가설을 검증하여, 만약 검증 결과가 거짓이면 (S35)의 공정으로 진행되고, 만약 검증 결과가 진실이면 (S38)의 공정으로 점프하는 공정과, (S35) PSF 초기값의 휘도 분포를 PSF 복원 공정에 의해 복원함으로써 최우 복원 PSF의 휘도 분포를 얻는 공정과, (S36) 제2 카운터의 값을 n으로 할 때, 최우 복원 PSF의 휘도 분포를 제n번째 PSF의 휘도 분포로 이루는 공정과, (S37) (S33)의 공정으로 되돌아가는 공정과, (S38) 상기 최대 반복 연산 횟수를 n_max로 하고, 상기 n_max 미만의 자연수를 n으로 할 때, 상기 제1번째 PSF의 휘도 분포로부터 상기 n_max번째 PSF의 휘도 분포까지를 이 순서로 나열하여 일련의 PSF의 휘도 분포로 하고, 이 일련의 PSF의 휘도 분포에 상기 열화 지수를 라벨로서 붙여 상기 열화 지수에 관련된 상기 일련의 PSF의 휘도 분포로 이루는 공정으로 구성되는 것에 특징이 있다. 이 제2 발명은 청구항 2에 기재된 것과 동일한 것이다.
본 발명에 의한 제3 발명은, 제1 발명인 TV 영상용 가속 초해상 처리 방법을 구성하는 PSF 준비 공정의 제3 태양에 관한 것으로, 이 PSF 준비 공정의 제3 태양은, (S40) 최대 반복 연산 횟수를 5로 설정하는 공정과, (S41) PSF 데이터베이스 내의 모든 열화 지수와 이에 관련된 PSF의 휘도 분포의 페어 모두에 대해 사전에 PSF 준비 공정을 실행하여 열화 지수마다 일련의 PSF의 휘도 분포를 얻고, 이들 열화 지수마다의 일련의 PSF의 휘도 분포를 편집함으로써, 열화 지수에 대해 일련의 PSF의 휘도 분포를 관련지어 정리한 확대 PSF 데이터베이스를 준비하는 공정과, (S42) 열화 지수를 이용하여 확대 PSF 데이터베이스를 검색하고 히트한 일련의 PSF의 휘도 분포를 취득하여 이를 출력하는 공정으로 구성되는 것에 특징이 있다. 이 제3 발명은 청구항 3에 기재된 것과 동일한 것이다.
본 발명에 의한 제4 발명은, 제2 발명인 PSF 준비 공정의 제2 태양을 구성하는 PSF 복원 공정에 관한 것으로, 이 PSF 복원 공정은, (S50) 최대 반복 연산 횟수에 6을 대입하는 공정과, (S51) PSF 초기값의 휘도 분포를 열화된 화상의 휘도 분포로 하여 열화 PSF의 휘도 분포로 이루는 공정과, (S52) PSF 초기값의 휘도 분포를 복원 PSF 초기값의 추정 휘도 분포로 이루는 공정과, (S53) 카운터에 1을 대입하여 리셋하는 공정과, (S54) 복원 PSF 초기값의 추정 휘도 분포(20)를 보정 복원 PSF 초기값의 추정 휘도 분포(21)로 이루고, 나아가 PSF 초기값의 휘도 분포(15)를 보정 복원 PSF 초기값의 추정 휘도 분포(21)에 컨볼루션하여 연산할 때에 보정 복원 PSF 초기값의 추정 휘도 분포(21)의 주변부에 발생하는 연산 곤란 영역을 PSF 초기값의 휘도 분포(15)의 화상 크기를 기초로 하여 계산하고, 상변 경계에 관한 연산 곤란 영역의 화소를 카피하고, 이 카피한 화소를 보정 복원 PSF 초기값의 추정 휘도 분포(21)의 상변 경계의 외측에 상변 경계에 대해 미러 대칭이 되도록 배치하도록 페이스트하고, 마찬가지로 하여 우측 방향으로 우변 다음으로 하변 마지막으로 좌변에 관해 행하고, 보정 복원 PSF 초기값의 추정 휘도 분포(21)를 보정하는 복원 PSF 초기값 보정 공정과, (S55) PSF 초기값의 휘도 분포를 보정 복원 PSF 초기값의 추정 휘도 분포에 컨볼루션하여 제4 함수를 얻는 공정과, (S56) 제4 함수를 반전하여 제5 함수를 얻는 공정과, (S57) 제5 함수를 열화 PSF의 휘도 분포에 곱하여 제6 함수를 얻는 공정과, (S58) 제6 함수를 복원 PSF 초기값의 추정 휘도 분포에 곱하여 복원 PSF의 추정 휘도 분포를 얻는 공정과, (S59) 카운터에 1을 가산하는 공정과, (S60) 카운터의 값이 최대 반복 연산 횟수를 넘었다는 가설을 검증하여, 만약 검증 결과가 거짓이면 (S61)의 공정으로 진행되고, 만약 검증 결과가 진실이면 (S63)의 공정으로 점프하는 공정과, (S61) 복원 PSF의 추정 휘도 분포를 복원 PSF 초기값의 추정 휘도 분포와 바꾸는 공정과, (S62) (S54)의 공정으로 점프하는 공정과, (S63) 복원 PSF의 추정 휘도 분포를 최우 복원 PSF의 휘도 분포로서 출력하는 공정을 구비하는 것에 특징이 있다. 이 제4 발명은 청구항 4에 기재된 것과 동일한 것이다.
본 발명에 의한 제5 발명은, 제1 발명인 TV 영상용 가속 초해상 처리 방법을 구성하는 제1 복원 화상 초기값 보정 공정에 관한 것으로, 이 제1 복원 화상 초기값 보정 공정은, (S70) 복원 화상 초기값의 추정 휘도 분포를 보정 복원 화상 초기값의 추정 휘도 분포로 이루는 공정과, (S71) PSF 크기를 기초로 일련의 PSF의 휘도 분포 중 어느 하나를 보정 복원 화상 초기값의 추정 휘도 분포에 컨볼루션하여 연산할 때에 보정 복원 화상 초기값의 추정 휘도 분포의 주변부에 발생하는 연산 곤란 영역을 계산하는 공정과, (S72) 보정 복원 화상 초기값의 추정 휘도 분포의 연산 곤란 영역 내의 화소를 카피하고, 이 카피한 화소를 보정 복원 화상 초기값의 추정 휘도 분포의 4변에 대해 미러 대칭이 되도록 각각 반전시키고 나아가 보정 복원 화상 초기값의 추정 휘도 분포의 4변의 경계 외측에 배치하도록 페이스트하여 보정하는 공정과, (S73) 보정 복원 화상 초기값의 추정 휘도 분포의 연산 곤란 영역 내의 좌측 위 모퉁이부의 화소를 카피하고, 이 카피한 좌측 위 모퉁이부의 화소를 좌측 위 모퉁이의 정점을 회전 중심으로 하여 180도 회전시키고, 보정 복원 화상 초기값의 추정 휘도 분포의 좌측 위 모퉁이부에 발생하는 공백 영역에 페이스트하여 보정하는 공정과, (S74) 보정 복원 화상 초기값의 추정 휘도 분포의 연산 곤란 영역 내의 우측 위 모퉁이부의 화소를 카피하고, 이 카피한 우측 위 모퉁이부의 화소를 우측 위 모퉁이의 정점을 회전 중심으로 하여 180도 회전시키고, 보정 복원 화상 초기값의 추정 휘도 분포의 우측 위 모퉁이부에 발생하는 공백 영역에 페이스트하여 보정하는 공정과, (S75) 보정 복원 화상 초기값의 추정 휘도 분포의 연산 곤란 영역 내의 좌측 아래 모퉁이부의 화소를 카피하고, 이 카피한 좌측 아래 모퉁이부의 화소를 좌측 위 모퉁이의 정점을 회전 중심으로 하여 180도 회전시키고, 보정 복원 화상 초기값의 추정 휘도 분포의 좌측 아래 모퉁이부에 발생하는 공백 영역에 페이스트하여 보정하는 공정과, (S76) 보정 복원 화상 초기값의 추정 휘도 분포의 연산 곤란 영역 내의 우측 아래 모퉁이부의 화소를 카피하고, 이 카피한 우측 아래 모퉁이부의 화소를 우측 위 모퉁이의 정점을 회전 중심으로 하여 180도 회전시키고, 보정 복원 화상 초기값의 추정 휘도 분포의 우측 아래 모퉁이부에 발생하는 공백 영역에 페이스트하여 보정하는 공정을 구비하는 것에 특징이 있다. 이 제5 발명은 청구항 5에 기재된 것과 동일한 것이다.
본 발명에 의한 제6 발명은, 제1 발명인 TV 영상용 가속 초해상 처리 방법을 구성하는 제1 화상 복원 공정의 제2 태양에 관한 것으로, 이 제1 화상 복원 공정의 제2 태양은, (S80) 최대 반복 연산 횟수를 n_max로 하고, n_max 미만의 자연수를 n으로 할 때, 일련의 PSF의 휘도 분포 중에서 제n번째 PSF의 휘도 분포를 PSF의 휘도 분포로 하여 제n단째의 제1 단분 화상 복원 공정에 제공하는 PSF 제공 공정과, (S81) PSF의 휘도 분포, 복원 화상 초기값의 추정 휘도 분포 및 열화 화상의 휘도 분포로부터 Bayse 확률론적 수학식에 기초한 반복 연산 중의 1회분에 상당하는 연산을 행하고, 열화 화상의 휘도 분포에 가장 그럴듯한 복원 화상의 추정 휘도 분포를 구하여 이를 출력하는 제1 단분 화상 복원 공정을 구비하고, 이 제1 단분 화상 복원 공정 S81은, (S82) PSF 크기에 기초하여 복원 화상 초기값의 추정 휘도 분포를 보정하여 보정 복원 화상 초기값의 추정 휘도 분포를 구하는 제1 복원 화상 초기값 보정 공정과 동일한 처리 순서로 이루어지는 제2 복원 화상 초기값 보정 공정과, (S83) PSF의 휘도 분포를 보정 복원 화상 초기값의 추정 휘도 분포에 컨볼루션하여 제7 함수를 얻는 공정과, (S84) 제7 함수를 반전하여 제8 함수를 얻는 공정과, (S85) 제8 함수를 열화 화상의 휘도 분포에 곱하여 제9 함수를 얻는 공정과, (S86) 제9 함수를 복원 화상 초기값의 추정 휘도 분포에 곱하여 복원 화상의 추정 휘도 분포를 얻는 공정과, (S87) 복원 화상의 추정 휘도 분포를 출력하는 공정을 구비하고, (S88) 제n단째의 제1 단분 화상 복원 공정 S81-n의 (S87) 공정의 출력을 제(n+1)단째의 제1 단분 화상 복원 공정 S81-(n+1)의 (S82) 공정에 접속함으로써 구성되는 n_max단의 직렬 연결체로 이루어지는 제2 화상 복원 공정으로, 이 제2 화상 복원 공정 S88에 있어서 직렬 접속된 제1 단분 화상 복원 공정 S81의 수인 상기 n_max회의 반복 연산을 행하고, n_max단째의 제1 단분 화상 복원 공정 S81-n_max로부터 출력되는 복원 화상의 추정 휘도 분포를 최우 복원 화상의 휘도 분포로서 출력하는 것에 특징이 있다. 이 제6 발명은 청구항 6에 기재된 것과 동일한 것이다.
본 발명에 의한 제7 발명은, 제1 발명인 TV 영상용 가속 초해상 처리 방법을 구성하는 제1 화상 복원 공정의 제3 태양에 관한 것으로, 이 제1 화상 복원 공정의 제3 태양은, (S90) 카운터에 0을 대입함으로써 리셋하는 공정과, (S91) 제2 카운터에 1을 대입함으로써 리셋하는 공정과, (S92) 카운터의 값이 0 이외라는 가설을 검증하여, 만약 검증 결과가 거짓이면 (S93)의 공정으로 진행되고, 만약 검증 결과가 진실이면 (S96)의 공정으로 점프하는 공정과, (S93) 열화 화상의 휘도 분포를 열화 화상 저장용 버퍼 및 복원 화상 초기값용 버퍼에 전송하는 공정과, (S94) (S96)의 공정으로 점프하는 공정과, (S95) (S102) 공정의 복원 화상의 추정 휘도 분포를 복원 화상 초기값용 버퍼에 전송하는 공정과, (S96) 제2 카운터의 값을 m으로 할 때, 일련의 PSF의 휘도 분포 내의 제m번째 PSF의 휘도 분포를 PSF의 휘도 분포로 이루는 공정과, (S97) 복원 화상 초기값용 버퍼로부터 복원 화상 초기값의 추정 휘도 분포를 읽어들이는 공정과, (S98) PSF 크기에 기초하여 복원 화상 초기값의 추정 휘도 분포를 보정하고 이를 보정 복원 화상 초기값의 추정 휘도 분포로 이루는 제1 복원 화상 초기값 보정 공정과 동일한 처리 순서로 이루어지는 제3 복원 화상 초기값 보정 공정과, (S99) PSF의 휘도 분포를 보정 복원 화상 초기값의 추정 휘도 분포에 컨볼루션하여 제10 함수를 얻는 공정과, (S100) 제10 함수를 반전하여 제11 함수를 얻는 공정과, (S101) 열화 화상의 휘도 분포를 열화 화상 저장용 버퍼로부터 읽어들이고, 이에 제11 함수를 곱하여 제12 함수를 얻는 공정과, (S102) 제12 함수를 복원 화상 초기값의 추정 휘도 분포에 곱하여 복원 화상의 추정 휘도 분포를 얻는 공정과, (S103) 카운터에 1을 가산하는 공정과, (S104) 제2 카운터에 1을 가산하는 공정과, (S105) 카운터의 값이 최대 반복 연산 횟수를 넘는다는 가설을 검증하여, 만약 검증 결과가 거짓이면 (S95)의 공정으로 점프하고, 만약 검증 결과가 진실이면 (S106)의 공정으로 진행되는 공정과, (S106) 복원 화상의 추정 휘도 분포를 최우 복원 화상의 휘도 분포로서 출력하는 공정을 구비하고, (S107) 각 공정의 S의 첨부 숫자가 작은 순으로 차례대로 실행함으로써 최대 반복 연산 횟수의 반복 연산을 끝내고 최우화된 최우 복원 화상을 출력하는 제3 화상 복원 공정인 것에 특징이 있다. 이 제7 발명은 청구항 7에 기재된 것과 동일한 것이다.
본 발명에 의한 제8 발명은, 제1 발명인 TV 영상용 가속 초해상 처리 방법을 구성하는 열화 화상 준비 공정에 관한 것으로, 이 열화 화상 준비 공정은, (S110) 1프레임분의 TV 영상 신호로부터 프레임을 구성하는 RGB 신호를 취출하는 RGB 신호 추출 공정과, (S111) 1프레임분의 TV 영상 신호 중에서 RGB 신호를 취출한 나머지 TV 영상 신호를 1프레임분 지연하여 출력하는 지연 공정과, (S112) RGB 신호를 YUV 변환하여 YUV 신호로 이루는 YUV 변환 공정과, (S113) YUV 신호 중에서 휘도 성분인 Y신호만으로 이루어지는 열화 화상의 휘도 분포를 추출하여 Y 열화 화상의 휘도 분포로 이루고, 나머지 U신호만으로 이루어지는 U 열화 화상의 분포 및 V신호만으로 이루어지는 V 열화 화상의 분포를 보유하는 Y 열화 화상 추출 공정과, (S114) Y 열화 화상의 휘도 분포의 디감마 처리를 행하고 1프레임분의 휘도 분포로 이루어지는 열화 화상의 휘도 분포로 이루어 출력하는 디감마 처리 공정을 구비하는 것에 특징이 있다. 이 제8 발명은 청구항 8에 기재된 것과 동일한 것이다.
본 발명에 의한 제9 발명은, 제1 발명인 TV 영상용 가속 초해상 처리 방법을 구성하는 TV 영상화 공정에 관한 것으로, 이 TV 영상화 공정은, (S120) 최우 복원 화상의 휘도 분포의 감마 처리를 행하는 감마 처리 공정과, (S121) Y 열화 화상 추출 공정에서 보유한 U 열화 화상의 분포 및 V 열화 화상의 분포와 Y성분으로 이루어지는 감마 처리 후의 최우 복원 화상의 휘도 분포로부터 1장의 YUV 복원 화상의 분포를 합성하는 복원 화상 합성 공정과, (S122) YUV 복원 화상의 분포의 RGB 변환을 행하여 RGB 복원 화상의 분포로 이루는 RGB 변환 공정과, (S123) RGB 복원 화상의 분포를 판독하여 RGB 신호를 출력하는 RGB 신호 변환 공정과, (S124) RGB 신호를 지연 공정이 출력하는 나머지 TV 영상 신호와 합성하여 1프레임분의 TV 영상 신호로 이루어지는 초해상 TV 영상 신호로 이루어 출력하는 TV 영상 신호 합성 공정을 구비하는 것에 특징이 있다. 이 제9 발명은 청구항 9에 기재된 것과 동일한 것이다.
본 발명에 의한 제10 발명은, TV 영상용 가속 초해상 처리 방법을 구성하는 제1~7 발명을 구성하는 PSF의 휘도 분포에 관한 것으로, 이 PSF의 휘도 분포는 가장자리가 없는 정사각형상의 동일 크기의 화소로 이루어지는 것으로, 그 휘도 분포는 중심이 가장 밝은 2차원 정규 분포이고, 그 크기가 5×5화소인 것에 특징이 있다. 이 제10 발명은 청구항 10에 기재된 것과 동일한 것이다.
본 발명에 의한 제11 발명은, 제1 발명인 TV 영상용 가속 초해상 처리 방법을 구성하는 준비 공정 및 제1 화상 복원 공정을 컴퓨터에 실행시키기 위한 제1 가속 초해상 처리 프로그램이다. 이 제11 발명은 청구항 11에 기재된 것과 동일한 것이다.
본 발명에 의한 제12 발명은, 제1 발명인 TV 영상용 가속 초해상 처리 방법을 구성하는 준비 공정 및 제6 발명인 TV 영상용 가속 초해상 처리 방법을 구성하는 제2 화상 복원 공정을 컴퓨터에 실행시키기 위한 제2 가속 초해상 처리 프로그램이다. 이 제12 발명은 청구항 12에 기재된 것과 동일한 것이다.
본 발명에 의한 제13 발명은, 제1 발명인 TV 영상용 가속 초해상 처리 방법을 구성하는 준비 공정 및 제7 발명인 TV 영상용 가속 초해상 처리 방법을 구성하는 제3 화상 복원 공정을 컴퓨터에 실행시키기 위한 제3 가속 초해상 처리 프로그램이다. 이 제13 발명은 청구항 13에 기재된 것과 동일한 것이다.
제1 가속 초해상 처리 프로그램, 제2 가속 초해상 처리 프로그램 및 제3 가속 초해상 처리 프로그램은, 각각 컴퓨터가 읽어들여 실행 가능한 언어, 예를 들어 C++, XTML, HTML 및 JAVA(등록상표)를 사용하여 기술된 것이다. 본 발명에서는 C++, XTML, HTML 및 JAVA(등록상표)를 사용하고 있다.
본 발명에 의한 제14 발명은, 제11 발명인 제1 가속 초해상 처리 프로그램, 제12 발명인 제2 가속 초해상 처리 프로그램 및 제13 발명인 제3 가속 초해상 처리 프로그램은 모두 암호화된 것이고, 이들 암호화된 제1 가속 초해상 처리 프로그램, 제2 가속 초해상 처리 프로그램 및 제3 가속 초해상 처리 프로그램을 기억함과 동시에 컴퓨터에 접속 가능하고, 또한 컴퓨터에 읽어들이게 하는 것이 가능한 것에 특징이 있는 제1 기억 매체이다. 이 제14 발명은 청구항 14에 기재된 것과 동일한 것이다.
본 발명에 있어서, 제1 기억 매체로는 8G바이트 이상의 용량을 가지고 암호화 기억에 대응한 USB(Universal Serial Bus) 플래시 메모리 스틱이 사용 가능하다. 그 밖에 CD(Compact Disk)나 DVD(Digital Versatile Disk) 외에 8G바이트 이상의 용량을 가지고 암호화 기억에 대응한 것이면, 플래시 메모리 카드, 외장 HDD(Hard Disk Drive), 외장 SDD(Solidstate Disk Drive) 등이 사용 가능하다.
본 발명에 의한 제15 발명은, 제1~5, 8~10 발명으로 구성되는 TV 영상용 가속 초해상 처리 방법에 따라 1프레임분의 TV 영상 신호에 포함되는 프레임으로부터 광학적 열화를 저감하여 열화 전의 1프레임분의 TV 영상 신호를 복원하는 TV 영상용 가속 초해상 처리 장치에 관한 것으로, 이 TV 영상용 가속 초해상 처리 장치는, (W1) 최대 반복 연산 횟수를 설정하는 수단과, (W2) TV 영상을 보면서 TV 영상의 열화 상황에 적합한 열화 지수를 지정하는 열화 지수 지정 수단과, (W3) 열화 지수에 관련된 제1번째 PSF의 휘도 분포 및 이 계로 이루어지고 반복 연산 횟수에 관련지어 정리된 일련의 PSF의 휘도 분포를 준비하는 PSF 준비 수단과, (W4) 1프레임분의 휘도 분포로 이루어지는 열화 화상의 휘도 분포를 1프레임분의 TV 영상 신호로부터 준비하는 열화 화상 준비 수단과, (W5) 열화 화상의 휘도 분포를 복원 화상 초기값의 추정 휘도 분포로 이루는 복원 화상 초기값 준비 수단과, (W6) 일련의 PSF의 휘도 분포는 서로 동일한 화상 크기이고, 이 화상 크기를 PSF 크기라고 부를 때, 이 PSF 크기를 구하는 PSF 크기 취득 수단과, (W7) 반복 연산 횟수를 계수하는 카운터에 1을 설정하는 제1 리셋 수단과, (W8) 복원 화상 초기값의 추정 휘도 분포를 복사하여 이를 보정 복원 화상 초기값의 추정 휘도 분포로 이루고, 나아가 보정 복원 화상 초기값의 추정 휘도 분포를 PSF 크기를 기초로 하여 보정하는 제1 복원 화상 초기값 보정 수단과, (W9) 일련의 PSF의 휘도 분포로부터 카운터의 값에 관련된 하나를 선택하여 이를 PSF의 휘도 분포로 이루는 PSF 선정 수단과, (W10) 보정 복원 화상 초기값의 추정 휘도 분포에 PSF의 휘도 분포를 컨볼루션하여 제13 함수를 얻는 수단과, (W11) 제13 함수를 반전하여 제14 함수를 얻는 수단과, (W12) 제14 함수에 열화 화상의 휘도 분포를 곱하여 제15 함수를 얻는 수단과, (W13) 제15 함수를 복원 화상 초기값의 추정 휘도 분포에 곱하여 복원 화상의 추정 휘도 분포를 얻는 수단과, (W14) 카운터에 1을 가산하는 수단과, (W15) 카운터의 값이 최대 반복 연산 횟수 이상이라는 가설을 검증하여, 만약 검증 결과가 거짓이면 (W16)의 수단으로 진행되지만, 검증 결과가 진실이면 수단(W18)으로 진행되는 수단과, (W16) 복원 화상의 추정 휘도 분포를 복원 화상 초기값의 추정 휘도 분포와 바꾸는 수단과, (W17) (W8)의 수단으로 되돌아가는 수단과, (W18) 복원 화상의 추정 휘도 분포를 최우 복원 화상의 휘도 분포로서 출력하는 수단과, (W19) (W1)~(W7)의 수단으로 구성되는 준비 수단과, (W20) (W8)~(W18)의 수단으로 구성되는 제1 화상 복원 수단을 구비하고, (W21) 준비 수단(W19) 및 제1 화상 복원 수단(W20)에 있어서, 수단의 W의 첨부 숫자가 작은 순으로 차례대로 실행함으로써 최대 반복 연산 횟수의 반복 연산을 끝내고 최우 복원 화상의 휘도 분포를 출력하는 제1 가속 초해상 처리 수단과, (W22) 최우 복원 화상의 휘도 분포를 1프레임분의 TV 영상 신호로 이루고 이를 초해상 TV 영상 신호로서 출력하는 TV 영상화 수단을 구비하는 것에 특징이 있다. 이 제15 발명은 청구항 15에 기재된 것과 동일한 것이다.
본 발명에 의한 제16 발명은, 제15 발명인 TV 영상용 가속 초해상 처리 장치를 구성하는 PSF 준비 수단의 제2 태양에 관한 것으로, 이 PSF 준비 수단의 제2 태양은, (W30) 열화 지수를 검색 정보로서 열화 지수에 대해 PSF의 휘도 분포를 1대1로 관련지어 정리하여 작성된 PSF 데이터베이스를 검색하고, 히트한 PSF의 휘도 분포를 제1번째 PSF의 휘도 분포로 이루는 수단과, (W31) 수를 계수하는 제2 카운터에 1을 입력하여 리셋하는 수단과, (W32) 제1번째 PSF의 휘도 분포를 PSF 초기값의 휘도 분포로 이루는 수단과, (W33) 제2 카운터에 1을 가산하는 수단과, (W34) 제2 카운터의 값이 최대 반복 연산 횟수를 넘었다는 가설을 검증하여, 만약 검증 결과가 거짓이면 (W35)의 수단으로 진행되고, 만약 검증 결과가 진실이면 (W38)의 수단으로 점프하는 수단과, (W35) PSF 초기값의 휘도 분포를 PSF 복원 수단에 의해 복원함으로써 최우 복원 PSF의 휘도 분포를 얻는 수단과, (W36) 제2 카운터의 값을 n으로 할 때, 복원 PSF의 휘도 분포를 제n번째 PSF의 휘도 분포로 이루는 수단과, (W37) (W33)의 수단으로 되돌아가는 수단과, (W38) 상기 최대 반복 연산 횟수를 n_max로 하고, 상기 n_max 미만의 자연수를 n으로 할 때, 상기 제1번째 PSF의 휘도 분포로부터 상기 n_max번째 PSF의 휘도 분포까지를 이 순서로 나열하여 일련의 PSF의 휘도 분포로 하고, 이 일련의 PSF의 휘도 분포에 상기 열화 지수를 라벨로서 붙여 상기 열화 지수에 관련된 상기 일련의 PSF의 휘도 분포로 이루는 수단을 구비하는 것에 특징이 있다. 이 제16 발명은 청구항 16에 기재된 것과 동일한 것이다.
본 발명에 의한 제17 발명은, 제15 발명인 TV 영상용 가속 초해상 처리 장치를 구성하는 PSF 준비 수단의 제3 태양에 관한 것으로, 이 PSF 준비 수단의 제3 태양은, (W40) 최대 반복 연산 횟수를 5로 설정하는 수단과, (W41) PSF 데이터베이스 내의 모든 열화 지수와 이에 관련된 PSF의 휘도 분포의 페어 모두에 대해 사전에 PSF 준비 수단을 실행하여 열화 지수마다 일련의 PSF의 휘도 분포를 얻고, 이들 열화 지수마다의 일련의 PSF의 휘도 분포를 편집함으로써, 열화 지수에 대해 일련의 PSF의 휘도 분포를 관련지어 정리한 확대 PSF 데이터베이스를 준비하는 수단과, (W42) 열화 지수를 이용하여 확대 PSF 데이터베이스를 검색하고 히트한 일련의 PSF의 휘도 분포를 취득하는 수단을 구비하는 것에 특징이 있다. 이 제17 발명은 청구항 17에 기재된 것과 동일한 것이다.
본 발명에 의한 제18 발명은, 제16 발명인 PSF 준비 수단의 제2 태양을 구성하는 PSF 복원 수단에 관한 것으로, 이 PSF 복원 수단은, (W50) 최대 반복 연산 횟수에 6을 대입하는 수단과, (W51) PSF 초기값의 휘도 분포를 열화된 화상의 휘도 분포로 하여 열화 PSF의 휘도 분포로 이루는 수단과, (W52) PSF 초기값의 휘도 분포를 복원 PSF 초기값의 추정 휘도 분포로 이루는 수단과, (W53) 카운터에 1을 대입하여 리셋하는 수단과, (W54) 복원 PSF 초기값의 추정 휘도 분포를 보정 복원 PSF 초기값의 추정 휘도 분포로 이루고, 나아가 PSF 초기값의 휘도 분포를 보정 복원 PSF 초기값의 추정 휘도 분포에 컨볼루션하여 연산할 때에 보정 복원 PSF 초기값의 추정 휘도 분포의 주변부에 발생하는 연산 곤란 영역을 PSF 초기값의 휘도 분포의 화상 크기를 기초로 하여 계산하고, 상변 경계에 관한 연산 곤란 영역의 화소를 카피하고, 이 카피한 화소를 보정 복원 PSF 초기값의 추정 휘도 분포의 상변 경계의 외측에 상변 경계에 대해 미러 대칭이 되도록 배치하도록 페이스트하고, 마찬가지로 하여 우측 방향으로 우변 다음으로 하변 마지막으로 좌변에 관해 행하고, 보정 복원 PSF 초기값의 추정 휘도 분포를 보정하는 복원 PSF 초기값 보정 수단과, (W55) PSF 초기값의 휘도 분포를 보정 복원 PSF 초기값의 추정 휘도 분포에 컨볼루션하여 제16 함수를 얻는 수단과, (W56) 제16 함수를 반전하여 제17 함수를 얻는 수단과, (W57) 제17 함수를 열화 PSF의 휘도 분포에 곱하여 제18 함수를 얻는 수단과, (W58) 제18 함수를 복원 PSF 초기값의 추정 휘도 분포에 곱하여 복원 PSF의 추정 휘도 분포를 얻는 수단과, (W59) 카운터에 1을 가산하는 수단과, (W60) 카운터의 값이 최대 반복 연산 횟수를 넘었다는 가설을 검증하여, 만약 검증 결과가 거짓이면 (W61)의 수단으로 진행되고, 만약 검증 결과가 진실이면 (W63)의 수단으로 점프하는 수단과, (W61) 복원 PSF의 추정 휘도 분포를 복원 PSF 초기값의 추정 휘도 분포와 바꾸는 수단과, (W62) (W54)의 수단으로 점프하는 수단과, (W63) 복원 PSF의 추정 휘도 분포를 최우 복원 PSF의 휘도 분포로서 출력하는 수단을 구비하는 것에 특징이 있다. 이 제18 발명은 청구항 18에 기재된 것과 동일한 것이다.
본 발명에 의한 제19 발명은, 제15 발명인 TV 영상용 가속 초해상 처리 장치를 구성하는 제1 복원 화상 초기값 보정 수단에 관한 것으로, 이 제1 복원 화상 초기값 보정 수단은, (W70) 복원 화상 초기값의 추정 휘도 분포를 보정 복원 화상 초기값의 추정 휘도 분포로 이루는 수단과, (W71) PSF 크기를 기초로 일련의 PSF의 휘도 분포 중 어느 하나를 보정 복원 화상 초기값의 추정 휘도 분포에 컨볼루션하여 연산할 때에 보정 복원 화상 초기값의 추정 휘도 분포의 주변부에 발생하는 연산 곤란 영역을 계산하는 수단과, (W72) 보정 복원 화상 초기값의 추정 휘도 분포의 연산 곤란 영역 내의 화소를 카피하고, 이 카피한 화소를 보정 복원 화상 초기값의 추정 휘도 분포의 4변에 대해 미러 대칭이 되도록 각각 반전시키고, 나아가 보정 복원 화상 초기값의 추정 휘도 분포의 4변 경계의 외측에 배치하도록 페이스트하여 보정하는 수단과, (W73) 보정 복원 화상 초기값의 추정 휘도 분포의 연산 곤란 영역 내의 좌측 위 모퉁이부의 화소를 카피하고, 이 카피한 좌측 위 모퉁이부의 화소를 좌측 위 모퉁이의 정점을 회전 중심으로 하여 180도 회전시키고, 보정 복원 화상 초기값의 추정 휘도 분포의 좌측 위 모퉁이부에 발생하는 공백 영역에 페이스트하여 보정하는 수단과, (W74) 보정 복원 화상 초기값의 추정 휘도 분포의 연산 곤란 영역 내의 우측 위 모퉁이부의 화소를 카피하고, 이 카피한 우측 위 모퉁이부의 화소를 우측 위 모퉁이의 정점을 회전 중심으로 하여 180도 회전시키고, 보정 복원 화상 초기값의 추정 휘도 분포의 우측 위 모퉁이부에 발생하는 공백 영역에 페이스트하여 보정하는 수단과, (W75) 보정 복원 화상 초기값의 추정 휘도 분포의 연산 곤란 영역 내의 좌측 아래 모퉁이부의 화소를 카피하고, 이 카피한 좌측 아래 모퉁이부의 화소를 좌측 위 모퉁이의 정점을 회전 중심으로 하여 180도 회전시키고, 보정 복원 화상 초기값의 추정 휘도 분포의 좌측 아래 모퉁이부에 발생하는 공백 영역에 페이스트하여 보정하는 수단과, (W76) 보정 복원 화상 초기값의 추정 휘도 분포의 연산 곤란 영역 내의 우측 아래 모퉁이부의 화소를 카피하고, 이 카피한 우측 아래 모퉁이부의 화소를 우측 위 모퉁이의 정점을 회전 중심으로 하여 180도 회전시키고, 보정 복원 화상 초기값의 추정 휘도 분포의 우측 아래 모퉁이부에 발생하는 공백 영역에 페이스트하여 보정하는 수단을 구비하는 것에 특징이 있다. 이 제19 발명은 청구항 19에 기재된 것과 동일한 것이다.
본 발명에 의한 제20 발명은, 제15 발명인 TV 영상용 가속 초해상 처리 장치를 구성하는 제1 화상 복원 수단의 제2 태양에 관한 것으로, 이 제1 화상 복원 수단의 제2 태양은, (W80) 최대 반복 연산 횟수를 n_max로 하고, n_max 미만의 자연수를 n으로 할 때, 일련의 PSF의 휘도 분포 중에서 제n번째 PSF의 휘도 분포를 PSF의 휘도 분포로 하여 제n단째의 제1 단분 화상 복원 수단에 제공하는 PSF 제공 수단과, (W81) PSF의 휘도 분포, 복원 화상 초기값의 추정 휘도 분포 및 열화 화상의 휘도 분포로부터 Bayse 확률론적 수학식에 기초하는 반복 연산 내의 1회분에 상당하는 연산을 행하고, 열화 화상의 휘도 분포에 가장 그럴듯한 복원 화상의 추정 휘도 분포를 구하고 이를 출력하는 제1 단분 화상 복원 수단과, (W82) 제1 복원 화상 초기값 보정 수단과 동일한 구성으로 이루어지는 제2 복원 화상 초기값 보정 수단에 의해 보정 복원 화상 초기값의 추정 휘도 분포를 구하는 수단과, (W83) PSF의 휘도 분포를 보정 복원 화상 초기값의 추정 휘도 분포에 컨볼루션하여 제19 함수를 얻는 수단과, (W84) 제19 함수를 반전하여 제20 함수를 얻는 수단과, (W85) 제20 함수를 열화 화상의 휘도 분포에 곱하여 제21 함수를 얻는 수단과, (W86) 제21 함수를 복원 화상 초기값의 추정 휘도 분포에 곱하여 복원 화상의 추정 휘도 분포를 얻는 수단과, (W87) 복원 화상의 추정 휘도 분포를 출력하는 수단과, (W88) 제n단째의 제1 단분 화상 복원 수단(W81-n)의 (W87) 수단의 출력을 제(n+1)단째의 제1 단분 화상 복원 수단(W81-(n+1))의 (W82) 수단에 접속함으로써 구성되는 n_max단의 직렬 연결체로 이루어지는 제2 화상 복원 수단을 구비하고, 이 제2 화상 복원 수단(W88)에서 직렬 접속된 제1 단분 화상 복원 수단(W81)의 수인 n_max회의 반복 연산을 행하고, n_max단째의 제1 단분 화상 복원 수단(W81-n_max)으로부터 출력되는 복원 화상의 추정 휘도 분포를 최우 복원 화상의 휘도 분포로서 출력하는 것에 특징이 있다. 이 제20 발명은 청구항 20에 기재된 것과 동일한 것이다.
본 발명에 의한 제21 발명은, 제15 발명인 TV 영상용 가속 초해상 처리 장치를 구성하는 제1 화상 복원 수단의 제3 태양에 관한 것으로, 이 제1 화상 복원 수단의 제3 태양은, (W90) 카운터에 0을 대입함으로써 리셋하는 수단과, (W91) 제2 카운터에 1을 대입함으로써 리셋하는 수단과, (W92) 카운터의 값이 0 이외라는 가설을 검증하여, 만약 검증 결과가 거짓이면 (W93)의 수단으로 진행되고, 만약 검증 결과가 진실이면 (W96)의 수단으로 점프하는 수단과, (W93) 열화 화상의 휘도 분포를 열화 화상 저장용 버퍼 및 복원 화상 초기값용 버퍼에 전송하는 수단과, (W94) (W96)의 수단으로 점프하는 수단과, (W95) (W102) 수단의 복원 화상의 추정 휘도 분포를 복원 화상 초기값용 버퍼에 전송하는 수단과, (W96) 제2 카운터의 값을 m으로 할 때, 일련의 PSF의 휘도 분포 내의 제m번째 PSF의 휘도 분포를 PSF의 휘도 분포로 이루는 수단과, (W97) 복원 화상 초기값용 버퍼로부터 복원 화상 초기값의 추정 휘도 분포를 읽어들이는 수단과, (W98) 복원 화상 초기값의 추정 휘도 분포를 보정하여 이를 보정 복원 화상 초기값의 추정 휘도 분포로 이루는 제1 복원 화상 초기값 보정 수단과 동일한 구성으로 이루어지는 제3 복원 화상 초기값 보정 수단과, (W99) PSF의 휘도 분포를 보정 복원 화상 초기값의 추정 휘도 분포에 컨볼루션하여 제22 함수를 얻는 수단과, (W100) 제22 함수를 반전하여 제23 함수를 얻는 수단과, (W101) 제23 함수를 열화 화상의 휘도 분포에 곱하여 제24 함수를 얻는 수단과, (W102) 제24 함수를 복원 화상 초기값의 추정 휘도 분포에 곱하여 복원 화상의 추정 휘도 분포를 얻는 수단과, (W103) 카운터에 1을 가산하는 수단과, (W104) 제2 카운터에 1을 가산하는 수단과, (W105) 카운터의 값이 최대 반복 연산 횟수를 넘는다는 가설을 검증하여, 만약 검증 결과가 거짓이면 (W95)의 수단으로 점프하고, 만약 검증 결과가 진실이면 (W106)의 수단으로 진행되는 수단과, (W106) 복원 화상의 추정 휘도 분포를 최우 복원 화상의 휘도 분포로서 출력하는 수단을 구비하고, (W107) 각 수단의 S의 첨부 숫자가 작은 순으로 차례대로 실행함으로써 최대 반복 연산 횟수의 반복 연산을 끝내고 최우화된 최우 복원 화상을 출력하는 제3 화상 복원 수단인 것에 특징이 있다. 이 제21 발명은 청구항 21에 기재된 것과 동일한 것이다.
본 발명에 의한 제22 발명은, 제15 발명인 TV 영상용 가속 초해상 처리 장치를 구성하는 열화 화상 준비 수단에 관한 것으로, 이 열화 화상 준비 수단은, (W110) 1프레임분의 TV 영상 신호로부터 프레임을 구성하는 RGB 신호를 취출하는 RGB 신호 추출 수단과, (W111) 1프레임분의 TV 영상 신호 중 RGB 신호를 취출한 나머지 TV 영상 신호를 1프레임분 지연하여 출력하는 지연 수단과, (W112) RGB 신호를 YUV 변환하여 YUV 신호로 이루는 YUV 변환 수단과, (W113) YUV 신호 중에서 휘도 성분인 Y신호만으로 이루어지는 열화 화상의 휘도 분포를 추출하여 Y 열화 화상의 휘도 분포로 이루고, 나머지 U신호만으로 이루어지는 U 열화 화상의 분포 및 V신호만으로 이루어지는 V 열화 화상의 분포를 보유하는 Y 열화 화상 추출 수단과, (W114) Y 열화 화상의 휘도 분포의 디감마 처리를 행하고 1프레임분의 휘도 분포로 이루어지는 열화 화상의 휘도 분포로 이루어 출력하는 디감마 처리 수단을 구비하는 것에 특징이 있다. 이 제22 발명은 청구항 22에 기재된 것과 동일한 것이다.
본 발명에 의한 제23 발명은, 제15 발명인 TV 영상용 가속 초해상 처리 장치를 구성하는 TV 영상화 수단에 관한 것으로, 이 TV 영상화 수단은, (W120) 최우 복원 화상의 휘도 분포의 감마 처리를 행하는 감마 처리 수단과, (W121) Y 열화 화상 추출 수단에서 보유한 U 열화 화상의 분포 및 V 열화 화상의 분포와 Y성분으로 이루어지는 감마 처리 후의 최우 복원 화상의 휘도 분포로부터 1장의 YUV 복원 화상의 분포를 합성하는 복원 화상 합성 수단과, (W122) YUV 복원 화상의 분포의 RGB 변환을 행하여 RGB 복원 화상의 분포로 이루는 RGB 변환 수단과, (W123) RGB 복원 화상의 분포를 판독하여 RGB 신호를 출력하는 RGB 신호 변환 수단과, (W124) RGB 신호를 지연 수단이 출력하는 나머지 TV 영상 신호와 합성하여 1프레임분의 TV 영상 신호로 이루어지는 초해상 TV 영상 신호로 이루어 출력하는 TV 영상 신호 합성 수단을 구비하는 것에 특징이 있다. 이 제23 발명은 청구항 23에 기재된 것과 동일한 것이다.
본 발명에 의한 제24 발명은, 제15 발명인 TV 영상용 가속 초해상 처리 장치를 구성하는 준비 수단 및 제1 화상 복원 수단을 구성하고, 또한 실행시키기 위한 제4 가속 초해상 처리 프로그램이다. 이 제24 발명은 청구항 24에 기재된 것과 동일한 것이다.
본 발명에 의한 제25 발명은, 제15 발명인 TV 영상용 가속 초해상 처리 장치를 구성하는 준비 수단 및 제20 발명인 TV 영상용 가속 초해상 처리 장치를 구성하는 제2 화상 복원 수단을 구성하고, 또한 실행시키기 위한 제5 가속 초해상 처리 프로그램이다. 이 제25 발명은 청구항 25에 기재된 것과 동일한 것이다.
본 발명에 의한 제26 발명은, 제15 발명인 TV 영상용 가속 초해상 처리 장치를 구성하는 준비 수단 및 제21 발명인 TV 영상용 가속 초해상 처리 장치를 구성하는 제3 화상 복원 수단을 구성하고, 또한 실행시키기 위한 제6 가속 초해상 처리 프로그램이다. 이 제26 발명은 청구항 26에 기재된 것과 동일한 것이다.
제4 가속 초해상 처리 프로그램, 제5 가속 초해상 처리 프로그램 및 제6 가속 초해상 처리 프로그램은, 각각 컴퓨터가 읽어들여 실행 가능한 언어, 예를 들어 C++, XTML, HTML 및 JAVA(등록상표)를 사용하여 기술된 것이다. 본 발명에서는 C++, XTML, HTML 및 JAVA(등록상표)를 사용하고 있다.
본 발명에 의한 제27 발명은, 제4 가속 초해상 처리 프로그램, 제5 가속 초해상 처리 프로그램 및 제6 가속 초해상 처리 프로그램은 각각 암호화된 것이고, 이들 암호화된 제4 가속 초해상 처리 프로그램, 제5 가속 초해상 처리 프로그램 및 제6 가속 초해상 처리 프로그램을 기억함과 동시에 컴퓨터에 접속 가능하고 또한 컴퓨터에 읽어들이게 하는 것이 가능한 제2 기억 매체이다.
본 발명의 제2 기억 매체로는 제1 기억 매체와 동일한 것이 사용될 수 있다.
종래 TV 영상의 1프레임의 정보만으로부터 화상을 복원하고, 이를 연속적으로 행하여 TV 영상의 초해상 처리를 행하는 장치는 LSI화하면 150만 게이트 규모로 대규모이고 경제적이 아니라는 문제를 본 발명에 의한 TV 영상용 가속 초해상 방법 및 장치를 적용함으로써 2회의 반복 연산에 의해 종래와 같은 품질의 초해상 화상을 얻을 수 있다는 공정 수 및 수단 수 삭감 효과, 고속화 효과, 대략 실시간 처리 효과, LSI화하였을 때의 게이트 규모가 종래의 약 3%인 7만 게이트까지 삭감할 수 있다는 효과, LSI화하였을 때의 비용이 저가라는 경제적 효과 중 적어도 일부가 실현된다. 또한, 본 발명은 TV 방식의 영상이면 선원을 불문하고 무엇이든지 좋기 때문에, 적외선 카메라나 X선 카메라에 의한 영상이어도 되고, 적용 범위 및 응용 범위가 넓다는 효과도 실현된다.
도 1은 실제 TV 영상의 1프레임이 포함하는 열화 정보의 일례를 나타내는 도면
도 2는 본 발명에 의한 제1 발명의 TV 영상용 가속 초해상 처리 방법에서의 처리 순서의 일례를 나타내는 흐름도
도 3은 본 발명에 의한 제2 발명인 PSF 준비 공정의 제2 태양에서의 처리 순서의 일례를 나타내는 흐름도
도 4는 본 발명에 의한 제3 발명인 PSF 준비 공정의 제3 태양에서의 처리 순서의 일례를 나타내는 흐름도
도 5는 본 발명에 의한 제4 발명인 PSF 복원 공정에서의 처리 순서의 일례를 나타내는 흐름도
도 6은 본 발명에 의한 제5 발명인 제1 복원 화상 초기값 보정 공정에서의 처리 순서의 일례를 나타내는 흐름도
도 7은 본 발명에 의한 제6 발명인 제1 화상 복원 공정의 제2 태양으로서의 제2 화상 복원 공정에서의 처리 순서의 일례를 나타내는 흐름도
도 8은 본 발명에 의한 제7 발명인 제3 화상 복원 공정에서의 처리 순서의 일례를 나타내는 흐름도
도 9는 본 발명에 의한 제8 발명인 열화 화상 준비 공정에서의 처리 순서의 일례를 나타내는 흐름도
도 10은 본 발명에 의한 제9 발명인 TV 영상화 공정에서의 처리 순서의 일례를 나타내는 흐름도
도 11은 본 발명에 의한 제10 발명인 PSF의 휘도 분포의 일례를 나타내는 흐름도
도 12는 본 발명에 의한 제15 발명인 TV 영상용 가속 초해상 처리 장치의 구성에 관한 일례를 나타내는 도면
도 13은 본 발명에 의한 제16 발명인 PSF 준비 수단의 제2 태양의 구성에 관한 일례를 나타내는 도면
도 14는 본 발명에 의한 제17 발명인 PSF 준비 수단의 제3 태양의 구성에 관한 일례를 나타내는 도면
도 15는 본 발명에 의한 PSF 데이터베이스 내의 데이터의 일례를 나타내는 도면
도 16은 본 발명에 의한 확대 PSF 데이터베이스 내의 데이터의 일례를 나타내는 도면
도 17은 본 발명에 의한 제18 발명인 PSF 복원 수단의 구성에 관한 일례를 나타내는 도면
도 18은 본 발명에 의한 제19 발명인 제1 복원 화상 초기값 보정 수단의 구성에 관한 일례를 나타내는 도면
도 19는 제1 복원 화상 초기값 보정 수단에 의한 복원 화상 초기값의 추정 휘도 분포의 주변부에 발생하는 연산 곤란 영역의 보정의 일례를 나타내는 도면
도 20은 본 발명에 의한 제20 발명인 제1 화상 복원 수단의 제2 태양으로서의 제2 화상 복원 수단의 구성에 관한 일례를 나타내는 도면
도 21은 본 발명에 의한 제21 발명인 제1 화상 복원 수단의 제3 태양으로서의 제3 화상 복원 수단의 구성에 관한 일례를 나타내는 도면
도 22는 본 발명에 의한 제22 발명인 열화 화상 준비 수단의 구성에 관한 일례를 나타내는 도면
도 23은 본 발명에 의한 제23 발명인 TV 영상화 수단의 구성에 관한 일례를 나타내는 도면
도 24는 본 발명에 의한 실시예 1의 TV 영상용 가속 초해상 처리 시스템의 구성에 관한 일례를 나타내는 도면
도 25는 본 발명에 의한 제1 가속 초해상 처리 프로그램의 구성의 일례 및 이 프로그램을 컴퓨터에 인스톨하는 상황의 일례를 나타내는 도면
도 26은 본 발명에 의한 초해상 처리 윈도우의 구성에 관한 일례를 나타내는 도면
도 27은 본 발명에 의한 TV 영상용 가속 초해상 처리 시스템에서 초해상 처리를 실행하는 순서의 일례를 트랜잭션 테이블로서 나타내는 도면
도 28은 본 발명에 의한 실시예 1에 의한 초해상 처리의 상황의 일례를 나타내는 도면
도 29는 본 발명에 의한 제1 셋톱 박스 내부의 구성에 관한 일례를 나타내는 도면
도 30은 본 발명에 의한 제1 셋톱 박스의 셋업 상황의 일례를 나타내는 도면
도 31은 본 발명자에 의한 TV 영상용 초해상 처리 방법의 개발 데이터에 기초하는 반복 연산 횟수와 LSI 규모 사이의 관계의 일례를 나타내는 도면
도 32는 본 발명자에 의한 종래법과 TV 영상용 가속 초해상 처리 방법에 의한 초해상 처리 품질의 비교의 일례를 나타내는 도면
도 33은 표준 화상의 열화 정도와 반복 연산 횟수에 의한 초해상 처리 품질 사이의 관계의 일례를 나타내는 도면
도 2는 본 발명에 의한 제1 발명의 TV 영상용 가속 초해상 처리 방법에서의 처리 순서의 일례를 나타내는 흐름도
도 3은 본 발명에 의한 제2 발명인 PSF 준비 공정의 제2 태양에서의 처리 순서의 일례를 나타내는 흐름도
도 4는 본 발명에 의한 제3 발명인 PSF 준비 공정의 제3 태양에서의 처리 순서의 일례를 나타내는 흐름도
도 5는 본 발명에 의한 제4 발명인 PSF 복원 공정에서의 처리 순서의 일례를 나타내는 흐름도
도 6은 본 발명에 의한 제5 발명인 제1 복원 화상 초기값 보정 공정에서의 처리 순서의 일례를 나타내는 흐름도
도 7은 본 발명에 의한 제6 발명인 제1 화상 복원 공정의 제2 태양으로서의 제2 화상 복원 공정에서의 처리 순서의 일례를 나타내는 흐름도
도 8은 본 발명에 의한 제7 발명인 제3 화상 복원 공정에서의 처리 순서의 일례를 나타내는 흐름도
도 9는 본 발명에 의한 제8 발명인 열화 화상 준비 공정에서의 처리 순서의 일례를 나타내는 흐름도
도 10은 본 발명에 의한 제9 발명인 TV 영상화 공정에서의 처리 순서의 일례를 나타내는 흐름도
도 11은 본 발명에 의한 제10 발명인 PSF의 휘도 분포의 일례를 나타내는 흐름도
도 12는 본 발명에 의한 제15 발명인 TV 영상용 가속 초해상 처리 장치의 구성에 관한 일례를 나타내는 도면
도 13은 본 발명에 의한 제16 발명인 PSF 준비 수단의 제2 태양의 구성에 관한 일례를 나타내는 도면
도 14는 본 발명에 의한 제17 발명인 PSF 준비 수단의 제3 태양의 구성에 관한 일례를 나타내는 도면
도 15는 본 발명에 의한 PSF 데이터베이스 내의 데이터의 일례를 나타내는 도면
도 16은 본 발명에 의한 확대 PSF 데이터베이스 내의 데이터의 일례를 나타내는 도면
도 17은 본 발명에 의한 제18 발명인 PSF 복원 수단의 구성에 관한 일례를 나타내는 도면
도 18은 본 발명에 의한 제19 발명인 제1 복원 화상 초기값 보정 수단의 구성에 관한 일례를 나타내는 도면
도 19는 제1 복원 화상 초기값 보정 수단에 의한 복원 화상 초기값의 추정 휘도 분포의 주변부에 발생하는 연산 곤란 영역의 보정의 일례를 나타내는 도면
도 20은 본 발명에 의한 제20 발명인 제1 화상 복원 수단의 제2 태양으로서의 제2 화상 복원 수단의 구성에 관한 일례를 나타내는 도면
도 21은 본 발명에 의한 제21 발명인 제1 화상 복원 수단의 제3 태양으로서의 제3 화상 복원 수단의 구성에 관한 일례를 나타내는 도면
도 22는 본 발명에 의한 제22 발명인 열화 화상 준비 수단의 구성에 관한 일례를 나타내는 도면
도 23은 본 발명에 의한 제23 발명인 TV 영상화 수단의 구성에 관한 일례를 나타내는 도면
도 24는 본 발명에 의한 실시예 1의 TV 영상용 가속 초해상 처리 시스템의 구성에 관한 일례를 나타내는 도면
도 25는 본 발명에 의한 제1 가속 초해상 처리 프로그램의 구성의 일례 및 이 프로그램을 컴퓨터에 인스톨하는 상황의 일례를 나타내는 도면
도 26은 본 발명에 의한 초해상 처리 윈도우의 구성에 관한 일례를 나타내는 도면
도 27은 본 발명에 의한 TV 영상용 가속 초해상 처리 시스템에서 초해상 처리를 실행하는 순서의 일례를 트랜잭션 테이블로서 나타내는 도면
도 28은 본 발명에 의한 실시예 1에 의한 초해상 처리의 상황의 일례를 나타내는 도면
도 29는 본 발명에 의한 제1 셋톱 박스 내부의 구성에 관한 일례를 나타내는 도면
도 30은 본 발명에 의한 제1 셋톱 박스의 셋업 상황의 일례를 나타내는 도면
도 31은 본 발명자에 의한 TV 영상용 초해상 처리 방법의 개발 데이터에 기초하는 반복 연산 횟수와 LSI 규모 사이의 관계의 일례를 나타내는 도면
도 32는 본 발명자에 의한 종래법과 TV 영상용 가속 초해상 처리 방법에 의한 초해상 처리 품질의 비교의 일례를 나타내는 도면
도 33은 표준 화상의 열화 정도와 반복 연산 횟수에 의한 초해상 처리 품질 사이의 관계의 일례를 나타내는 도면
본 발명을 실시하기 위한 최량의 형태에 대해 적절히 도면을 이용하면서 설명한다.
본 발명에 있어서, 열화 화상, PSF 및 복원 화상은 각각 가장자리가 없는 동일한 크기의 정사각형 화소가 깔려 구성되어 있고, 각 화소는 8비트 깊이의 적원색(R), 8비트 깊이의 녹원색(G) 및 8비트 깊이의 청원색(B)으로 이루어지는 RGB 컬러 화소로서, RGB가 동일한 비트수인 경우에는 그레이 스케일 화소가 된다. 본 발명에 있어서, PSF는 그레이 스케일 화소만으로 이루어진다.
본 발명에 있어서, 열화 화상, PSF 및 복원 화상은 좌측 위 모퉁이의 화소를 원점으로 하고, 원점이 존재하는 행을, 행을 바꾸지 않고 가로방향으로 향한 화소 행에 평행한 축을 x축으로 하고, 원점이 존재하는 열을, 열을 바꾸지 않고 세로방향으로 향한 화소 열에 평행한 축을 y축으로 한다. 열화 화상, PSF 및 복원 화상 내의 모든 화소는 (x, y)라는 2차원 좌표에 의해 지정하는 것이 가능하다.
본 발명에 있어서, 열화 화상 및 복원 화상은 서로 동일한 화상 크기이고 동일한 좌표를 가진다. 그러나, 본 발명에서는 화상의 구별이 되지 않을 정도로 흐려지는 경우를 취급하지 않기 때문에, PSF의 주변 부분은 거의 제로이며, 계산 횟수의 삭감을 위해 열화 화상 및 복원 화상 내의 어디에 행해도 PSF의 휘도 분포는 변화하지 않는다는 가정이 성립하는 것으로서 취급하고 있고, PSF 크기는 5화소×5화소의 것을 사용하고 있다.
본 발명에 있어서, PSF, 열화 화상 및 복원 화상은 각각 휘도 성분으로 이루어지는 것만을 취급하고, 복원 연산에 사용하는 것은 모두 휘도 성분뿐이다. 이렇게 하는 이유로서는 연산 횟수가 감소하는 것, 그리고 색조가 변화하지 않는 것에 있다. 본 발명의 방법은, R, G, B 개별적으로 복원한 경우와 비교하여 초해상 처리 품질적으로 손색이 없음을 확인하였다.
본 발명에 있어서, PSF, 열화 화상 및 복원 화상은 각각 휘도 성분으로 이루어지기 때문에, PSF를 PSF의 휘도 분포, 열화 화상의 휘도 분포 및 복원 화상의 추정 휘도 분포라고 부른다. 복원 화상의 정확한 휘도 분포는 불명하기 때문에, 추정 휘도 분포라고 부른다. 본 발명에 의한 TV 영상용 가속 초해상 처리 방법에 의해 화상 복원하면, 광학적 열화가 없는 상태에 거의 수렴한 상태가 되어 원화상과 거의 손색 없기 때문에, 최우 복원 화상의 경우에는 휘도 분포로 하고 있다.
도 2는, 본 발명에 의한 제1 발명인 TV 영상용 가속 초해상 처리 방법에서의 처리 순서의 일례를 흐름도로서 도시한 것이다. 도 2의 흐름도에 있어서, 공정 번호를 내포하는 하얀 사각형은 판단 공정 이외의 공정을, 공정 번호를 내포하는 하얀 마름모꼴은 판단 공정을, 화살표는 데이터의 입출력 방향을, 숫자를 내포하는 하얀 사각형은 요소 예를 들어 1이면 최대 반복 연산 횟수(1)를, 굵은 선은 처리의 흐름을, 하얀 동그라미는 처리의 결합 및 개시 및 종료를, 검은 동그라미는 데이터의 분기 및 결합을 각각 의미한다.
도 2의 TV 영상용 가속 초해상 처리 방법은, (S1) 최대 반복 연산 횟수(1)를 설정하는 공정, (S2) TV 영상을 보면서 TV 영상의 열화 상황에 적합한 열화 지수(2)를 지정하는 열화 지수 지정 공정, (S3) 열화 지수(2)에 관련된 제1번째 PSF의 휘도 분포(14) 및 이 계로 이루어지고 반복 연산 횟수에 관련지어 정리된 일련의 PSF의 휘도 분포(3)를 준비하는 PSF 준비 공정, (S4) 1프레임분의 휘도 분포로 이루어지는 열화 화상의 휘도 분포(4)를 1프레임분의 TV 영상 신호(5)로부터 준비하는 열화 화상 준비 공정, (S5) 열화 화상의 휘도 분포(4)를 복원 화상 초기값의 추정 휘도 분포(6)로 이루는 복원 화상 초기값 준비 공정, (S6) 일련의 PSF의 휘도 분포(3)는 서로 동일한 화상 크기이고, 이 화상 크기를 PSF 크기(7)라고 부를 때, 이 PSF 크기(7)를 구하는 PSF 크기 취득 공정, (S7) 반복 연산 횟수를 계수하는 카운터에 1을 설정하는 제1 리셋 공정, (S8) 복원 화상 초기값의 추정 휘도 분포(6)를 복사하여 이를 보정 복원 화상 초기값의 추정 휘도 분포(8)로 이루고, 나아가 상기 보정 복원 화상 초기값의 추정 휘도 분포(8)를 PSF 크기(7)를 기초로 하여 보정하는 제1 복원 화상 초기값 보정 공정, (S9) 일련의 PSF의 휘도 분포(3)로부터 카운터의 값에 관련된 하나를 선택하여 이를 PSF의 휘도 분포(9)로 이루는 PSF 선정 공정, (S10) 보정 복원 화상 초기값의 추정 휘도 분포(8)에 PSF의 휘도 분포(9)를 컨볼루션하여 제1 함수를 얻는 공정, (S11) 제1 함수를 반전하여 제2 함수를 얻는 공정, (S12) 제2 함수에 열화 화상의 휘도 분포(4)를 곱하여 제3 함수를 얻는 공정, (S13) 제3 함수를 복원 화상 초기값의 추정 휘도 분포(6)에 곱하여 복원 화상의 추정 휘도 분포(10)를 얻는 공정, (S14) 카운터에 1을 가산하는 공정, (S15) 카운터의 값이 최대 반복 연산 횟수(1) 이상이라는 가설을 검증하여, 만약 검증 결과가 거짓이면 (S16)의 공정으로 진행되지만, 검증 결과가 진실이면 공정(S18)으로 진행되는 공정, (S16) 복원 화상의 추정 휘도 분포(10)를 복원 화상 초기값의 추정 휘도 분포(6)와 바꾸는 공정, (S17) (S8)의 공정으로 되돌아가는 공정, (S18) 복원 화상의 추정 휘도 분포(10)를 최우 복원 화상의 휘도 분포(11)로서 출력하는 공정, (S19) (S1)~(S7)의 공정으로 구성되는 준비 공정, (S20) (S8)~(S18)의 공정으로 구성되는 제1 화상 복원 공정을 구비하고, (S21) 준비 공정 S19 및 제1 화상 복원 공정 S20에 있어서, 각 공정의 S의 첨부 숫자가 작은 순으로 차례대로 실행함으로써 최대 반복 연산 횟수의 반복 연산을 끝내고 최우 복원 화상의 휘도 분포(11)를 출력하는 제1 가속 초해상 처리 공정, (S22) 최우 복원 화상의 휘도 분포(11)를 1프레임분의 TV 영상 신호로 이루고 이를 초해상 TV 영상 신호(12)로서 출력하는 TV 영상화 공정을 구비하는 것에 특징이 있다. 도 2에 있어서, 처리는 공정 S1부터 개시되고 공정 S22에서 종료된다. 도 2의 TV 영상용 가속 초해상 처리 방법은 1프레임분의 처리이기 때문에, 영상으로 하기 위해서는 도 2에 도시된 전체 공정을 프레임 단위로 연속적으로 실행할 필요가 있다.
제1 화상 복원 공정 S20은, 수학식 1에 기초하여 반복 연산을 행하여 열화 화상의 휘도 분포(4)로부터 최우 복원 화상의 휘도 분포(11)를 구한다. 수학식 1은, 본 발명자가 발명하여 등록된 특허문헌 2에 기재된 수학식 15를 실수 처리하고 컨볼루션 연산 가능하도록 가속 연산용으로 고쳐 쓴 것이다. 수학식 1의 방법은, 특허문헌 2의 수학식 15의 방법에 비해 PSF의 푸리에 변환체인 OTF(Optical Transfer Function)가 아니라 PSF를 이용하고 있고 위상을 고려하지 않기 때문에 연산 정밀도가 떨어지지만 TV 영상은 상이 판별 불명할 정도로 흐려지는 일은 드물기 때문에, 수학식 1에 기초한 방법에서도 실용상 문제없다. 나아가 수학식 1의 방법은, 동일한 PSF로부터 출발한 반복 연산 횟수에 알맞은 복원 정도의 PSF의 휘도 분포를 이용함으로써, 괄호 안의 연산 결과를 PSF의 반전 함수에 컨볼루션한다는 특허문헌 2의 수학식 15의 방법에서는 필요하였던 연산을 생략한다. 이 때문에, 공정 수가 40% 삭감될 뿐만 아니라 가속도적 연산이 가능해지고, 불과 수회의 반복 연산으로 거의 수렴 상태(열화 전의 상태에 매우 가까운 상태)와 손색이 없는 최우 복원 화상의 휘도 분포를 얻을 수 있다.
수학식 1에 있어서, F는 복원 화상의 추정 휘도 분포를, F의 첨자는 k번째 값인 것을, G는 열화 화상의 휘도 분포를, H는 PSF의 휘도 분포를, H의 첨자는 k번째 값인 것을, 동그라미 안에 별표 마크는 컨볼루션 연산을 각각 의미한다. 또한, k는 양의 정수이며, k가 1일 때 F1은 복원 화상 초기값의 추정 휘도 분포를, H1은 제1번째 PSF의 휘도 분포를, k가 n일 때에는 Fn은 n회째 복원 화상의 추정 휘도 분포를, Hn은 제n번째 PSF의 휘도 분포를 각각 의미한다.
본 발명은 TV 영상을 대상으로 하고 있고, TV 영상은 상이 판별 불명할 정도로 흐려지는 일은 드물기 때문에, 수학식 1의 F의 초기값의 추정 휘도 분포(F1)에는 열화 화상의 휘도 분포(G)를 이용하고 있다.
본 발명에서 이용하는 컨볼루션 연산이란 컨볼루션 적분의 것이다. 수학식 2는 일반적인 컨볼루션 적분 연산식의 일례로서, F(i, j)를 H(M, N)에 컨볼루션하고 그 결과가 G(i, j)인 것을 의미한다. 그러나, 본 발명에서는 유한 크기의 화상 분포를 대상으로 하기 때문에 데이터는 이산치화되어 있고, 컨볼루션 적분의 연산에는 선형 컨볼루션을 이용한다. 수학식 3은, 일반적인 선형 컨볼루션 연산식의 일례이다.
수학식 2~3에 있어서, i, j, m, n, M 및 N은 양의 정수이다. 단, 수학식 2~3에 의한 컨볼루션 연산은, 컨볼루션 연산을 행하는 F 또는 H의 큰 크기에 작은 크기의 크기의 절반을 넘지 않는 최대의 정수로 표현할 수 있는 제외 영역이 발생한다. 예를 들어, F가 100×100화소 이상의 크기이고, F에 컨볼루션하는 H가 3×3화소 크기인 경우에는 F의 주변 1화소가 제외 영역이 되고, F에 컨볼루션하는 H가 5×5화소 크기인 경우에는 F의 주변 2화소가 제외 영역이 된다는 문제가 있다.
그래서, 본 발명에서는 사용하는 H의 크기에 따라 제외 영역의 화소가 주변 어떤 화소인지를 연산하고, 이 제외 영역에 존재하는 F의 최외주 화소를 F의 영역 경계의 외측에 미러 대칭으로 카피 앤드 페이스트하여 새로 화소를 작성하고, 그 후 최외주의 위치를 변경함으로써, 즉 F의 화상 및 그 크기를 변경함으로써 연산 후에 제외 영역이 발생하지 않도록 하고 있다. 그 때, 상변에서 우측 둘레에 변마다 카피 앤드 페이스트함으로써 새로 발생한 화소를 F 본래의 화소에 집어넣음으로써, 4 모퉁이에 카피 앤드 페이스트되지 않은 영역이 발생하지 않도록 하고 있다. 예를 들어, H가 5×5 크기이고 F가 W×L 크기인 경우, 1회째 카피 앤드 페이스트에서는 F는 W×L 크기에서 W×(L+2) 크기가 되고, 2회째 카피 앤드 페이스트에서는 F는 W×(L+2) 크기에서 (W+2)×(L+2) 크기가 되고, 3회째 카피 앤드 페이스트에서는 F는 (W+2)×(L+2) 크기에서 (W+2)×(L+4) 크기가 되고, 4회째 카피 앤드 페이스트에서는 F는 (W+2)×(L+4) 크기에서 (W+4)×(L+4) 크기가 되고, (W+4)×(L+4) 크기 내의 모든 화소가 모두 메워진 상태가 된다.
PSF 준비 공정 S3에 있어서, 열화 지수(2)에 관련된 제1번째 PSF의 휘도 분포(14)는 1회째 반복 연산시에 사용하기 위한 것이고, 제2번째 PSF의 휘도 분포는 2회째 반복 연산시에 사용하기 위한 것이고, 제n번째 PSF의 휘도 분포는 n회째 반복 연산시에 사용하기 위한 것이다. 제2번째 PSF의 휘도 분포는 제1번째 PSF의 휘도 분포를 PSF 복원 공정에서 복원한 것이고, 제3번째 PSF의 휘도 분포는 제2번째 PSF의 휘도 분포를 PSF 복원 공정에서 복원한 것이고, 제n번째 PSF의 휘도 분포는 제n-1번째 PSF의 휘도 분포를 PSF 복원 공정에서 복원한 것이다. 이 때문에, 제2번째 PSF의 휘도 분포 이후는 모두 열화 지수(2)에 관련된 제1번째 PSF의 휘도 분포(14)를 근으로 하는 것이고, 제1번째 PSF의 휘도 분포(14)의 계이며, 제1번째 PSF의 휘도 분포(14)~제n번째 PSF의 휘도 분포(17)는 열화 지수(2)에 관련된 일련의 PSF의 휘도 분포(3)를 형성하고 있다.
도 3은, 본 발명에 의한 제2 발명인 PSF 준비 공정 S3의 제2 태양 S3-2에서의 처리 순서의 일례를 흐름도로서 도시한 것이다. 도 3의 흐름도에 있어서, 공정 번호를 내포하는 하얀 사각형은 판단 공정 이외의 공정을, 공정 번호를 내포하는 하얀 마름모꼴은 판단 공정을, 화살표는 데이터의 입출력 방향을, 숫자를 내포하는 하얀 사각형은 요소 예를 들어 1이면 최대 반복 연산 횟수(1)를, 굵은 선은 처리의 흐름을, 하얀 동그라미는 처리의 결합 및 개시 및 종료를, 검은 동그라미는 데이터의 분기 및 결합을 각각 의미한다.
도 3의 PSF 준비 공정 S3의 제2 태양 S3-2는, (S30) 열화 지수(2)를 검색 정보로서 열화 지수에 대해 PSF의 휘도 분포를 1대1로 관련지어 정리하여 작성된 PSF 데이터베이스(13)를 검색하고, 히트한 PSF의 휘도 분포(9)를 제1번째 PSF의 휘도 분포(14)로 이루는 공정, (S31) 수를 계수하는 제2 카운터에 1을 입력하여 리셋하는 공정, (S32) 제1번째 PSF의 휘도 분포(14)를 PSF 초기값의 휘도 분포(15)로 이루는 공정, (S33) 제2 카운터에 1을 가산하는 공정, (S34) 제2 카운터의 값이 최대 반복 연산 횟수(1)를 넘었다는 가설을 검증하여, 만약 검증 결과가 거짓이면 (S35)의 공정으로 진행되고, 만약 검증 결과가 진실이면 종료하는 공정, (S35) PSF 초기값의 휘도 분포(15)를 PSF 복원 공정(S63)에 의해 복원함으로써 최우 복원 PSF의 휘도 분포(16)를 얻는 공정, (S36) 제2 카운터의 값을 n으로 할 때, 최우 복원 PSF의 휘도 분포(16)를 제n번째 PSF의 휘도 분포(17)로 이루는 공정, (S37) (S33)의 공정으로 되돌아가는 공정, (S38) 최대 반복 연산 횟수(1)를 n_max로 하고, n_max 미만의 자연수를 n으로 할 때, 제1번째 PSF의 휘도 분포(14)로부터 n_max번째 PSF의 휘도 분포(25)까지를 이 순서로 나열하여 일련의 PSF의 휘도 분포(3)로 하고, 이 일련의 PSF의 휘도 분포(3)에 열화 지수(2)를 라벨로서 붙여 열화 지수(2)에 관련된 일련의 PSF의 휘도 분포(3)로 이루는 공정으로 구성되는 것에 특징이 있다.
도 4는, 본 발명에 의한 제3 발명인 PSF 준비 공정 S3의 제3 태양 S3-3에서의 처리 순서의 일례를 흐름도로서 도시한 것이다. 도 4의 흐름도에 있어서, 공정 번호를 내포하는 하얀 사각형은 판단 공정 이외의 공정을, 공정 번호를 내포하는 하얀 마름모꼴은 판단 공정을, 화살표는 데이터의 입출력 방향을, 숫자를 내포하는 하얀 사각형은 요소 예를 들어 1이면 최대 반복 연산 횟수(1)를, 굵은 선은 처리의 흐름을, 하얀 동그라미는 처리의 결합 및 개시 및 종료를, 검은 동그라미는 데이터의 분기 및 결합을 각각 의미한다.
도 4의 PSF 준비 공정 S3의 제3 태양 S3-3은, (S40) 최대 반복 연산 횟수(1)를 5로 설정하는 공정, (S41) PSF 데이터베이스(13) 내의 모든 열화 지수와 이에 관련된 PSF의 휘도 분포의 페어 모두에 대해 사전에 PSF 준비 공정을 실행하여 열화 지수마다 일련의 PSF의 휘도 분포(3)를 얻고, 이들 열화 지수마다의 일련의 PSF의 휘도 분포를 편집함으로써, 열화 지수에 대해 일련의 PSF의 휘도 분포를 관련지어 정리한 확대 PSF 데이터베이스(18)를 준비하는 공정, (S42) 열화 지수(2)를 이용하여 확대 PSF 데이터베이스(18)를 검색하고 히트한 일련의 PSF의 휘도 분포(3)를 취득하는 공정으로 구성되는 것에 특징이 있다.
도 5는, 본 발명에 의한 제4 발명인 PSF 복원 공정 S63에서의 처리 순서의 일례를 흐름도로서 도시한 것이다. 도 5의 흐름도에 있어서, 공정 번호를 내포하는 하얀 사각형은 판단 공정 이외의 공정을, 공정 번호를 내포하는 하얀 마름모꼴은 판단 공정을, 화살표는 데이터의 입출력 방향을, 숫자를 내포하는 하얀 사각형은 요소 예를 들어 1이면 최대 반복 연산 횟수(1)를, 굵은 선은 처리의 흐름을, 하얀 동그라미는 처리의 결합 및 개시 및 종료를, 검은 동그라미는 데이터의 분기 및 결합을 각각 의미한다.
도 5의 PSF 복원 공정 S64는, (S50) 최대 반복 연산 횟수(1)에 6을 대입하는 공정, (S51) PSF 초기값의 휘도 분포(15)를 열화된 화상의 휘도 분포로 하여 열화 PSF의 휘도 분포(19)로 이루는 공정, (S52) PSF 초기값의 휘도 분포(15)를 복원 PSF 초기값의 추정 휘도 분포(20)로 이루는 공정, (S53) 카운터에 1을 대입하여 리셋하는 공정, (S54) 복원 PSF 초기값의 추정 휘도 분포(20)를 보정 복원 PSF 초기값의 추정 휘도 분포(21)로 이루고, 나아가 PSF 초기값의 휘도 분포(15)를 보정 복원 PSF 초기값의 추정 휘도 분포(21)에 컨볼루션 연산할 때에 보정 복원 PSF 초기값의 추정 휘도 분포(21)의 주변부에 발생하는 연산 곤란 영역을 PSF 초기값의 휘도 분포(15)의 화상 크기를 기초로 하여 계산하고, 상변 경계에 관한 연산 곤란 영역의 화소를 카피하고, 이 카피한 화소를 보정 복원 PSF 초기값의 추정 휘도 분포(21)의 상변 경계의 외측에 상변 경계에 대해 미러 대칭이 되도록 배치하도록 페이스트하고, 마찬가지로 하여 우측 둘레에 우변 다음으로 하변 마지막으로 좌변에 관해 행하여 보정 복원 PSF 초기값의 추정 휘도 분포(21)를 보정하는 복원 PSF 초기값 보정 공정, (S55) PSF 초기값의 휘도 분포(15)를 보정 복원 PSF 초기값의 추정 휘도 분포(21)에 컨볼루션하여 제4 함수를 얻는 공정, (S56) 제4 함수를 반전하여 제5 함수를 얻는 공정, (S57) 제5 함수를 열화 PSF의 휘도 분포(19)에 곱하여 제6 함수를 얻는 공정, (S58) 제6 함수를 복원 PSF 초기값의 추정 휘도 분포(20)에 곱하여 복원 PSF의 추정 휘도 분포(22)를 얻는 공정, (S59) 카운터에 1을 가산하는 공정, (S60) 카운터의 값이 최대 반복 연산 횟수(1)를 넘었다는 가설을 검증하여, 만약 검증 결과가 거짓이면 (S61)의 공정으로 진행되고, 만약 검증 결과가 진실이면 (S63)의 공정으로 점프하는 공정, (S61) 복원 PSF의 추정 휘도 분포(22)를 복원 PSF 초기값의 추정 휘도 분포(20)와 바꾸는 공정, (S62) (S54)의 공정으로 점프하는 공정, (S63) 복원 PSF의 추정 휘도 분포(22)를 최우 복원 PSF의 휘도 분포(16)로서 출력하는 공정을 구비하는 것에 특징이 있다.
도 6은, 본 발명에 의한 제5 발명인 제1 복원 화상 초기값 보정 공정 S8에서의 처리 순서의 일례를 흐름도로서 도시한 것이다. 도 6의 흐름도에 있어서, 공정 번호를 내포하는 하얀 사각형은 판단 공정 이외의 공정을, 공정 번호를 내포하는 하얀 마름모꼴은 판단 공정을, 화살표는 데이터의 입출력 방향을, 숫자를 내포하는 하얀 사각형은 요소 예를 들어 1이면 최대 반복 연산 횟수(1)를, 굵은 선은 처리의 흐름을, 하얀 동그라미는 처리의 결합 및 개시 및 종료를, 검은 동그라미는 데이터의 분기 및 결합을 각각 의미한다.
도 6의 제1 복원 화상 초기값 보정 공정 S8은, (S70) 복원 화상 초기값의 추정 휘도 분포(6)를 보정 복원 화상 초기값의 추정 휘도 분포(8)로 이루는 공정, (S71) PSF 크기(7)를 기초로 일련의 PSF의 휘도 분포(3) 중 어느 하나를 보정 복원 화상 초기값의 추정 휘도 분포(8)에 컨볼루션 연산할 때에 보정 복원 화상 초기값의 추정 휘도 분포(8)의 주변부에 발생하는 연산 곤란 영역을 계산하는 공정, (S72) 보정 복원 화상 초기값의 추정 휘도 분포(8)의 연산 곤란 영역 내의 화소를 카피하고, 이 카피한 화소를 보정 복원 화상 초기값의 추정 휘도 분포(8)의 4변에 대해 미러 대칭이 되도록 각각 반전시키고 나아가 보정 복원 화상 초기값의 추정 휘도 분포(8)의 4변의 경계 외측에 배치하도록 페이스트하여 보정하는 공정, (S73) 보정 복원 화상 초기값의 추정 휘도 분포(8)의 연산 곤란 영역 내의 좌측 위 모퉁이부의 화소를 카피하고, 이 카피한 좌측 위 모퉁이부의 화소를 좌측 위 모퉁이의 정점을 회전 중심으로 하여 180도 회전시키고, 보정 복원 화상 초기값의 추정 휘도 분포(8)의 좌측 위 모퉁이부에 발생하는 공백 영역에 페이스트하여 보정하는 공정, (S74) 보정 복원 화상 초기값의 추정 휘도 분포(8)의 연산 곤란 영역 내의 우측 위 모퉁이부의 화소를 카피하고, 이 카피한 우측 위 모퉁이부의 화소를 우측 위 모퉁이의 정점을 회전 중심으로 하여 180도 회전시키고, 보정 복원 화상 초기값의 추정 휘도 분포(8)의 우측 위 모퉁이부에 발생하는 공백 영역에 페이스트하여 보정하는 공정, (S75) 보정 복원 화상 초기값의 추정 휘도 분포(8)의 연산 곤란 영역 내의 좌측 아래 모퉁이부의 화소를 카피하고, 이 카피한 좌측 아래 모퉁이부의 화소를 좌측 위 모퉁이의 정점을 회전 중심으로 하여 180도 회전시키고, 보정 복원 화상 초기값의 추정 휘도 분포(8)의 좌측 아래 모퉁이부에 발생하는 공백 영역에 페이스트하여 보정하는 공정, (S76) 보정 복원 화상 초기값의 추정 휘도 분포(8)의 연산 곤란 영역 내의 우측 아래 모퉁이부의 화소를 카피하고, 이 카피한 우측 아래 모퉁이부의 화소를 우측 위 모퉁이의 정점을 회전 중심으로 하여 180도 회전시키고, 보정 복원 화상 초기값의 추정 휘도 분포(8)의 우측 아래 모퉁이부에 발생하는 공백 영역에 페이스트하여 보정하는 공정을 구비하는 것에 특징이 있다.
도 7은, 본 발명에 의한 제6 발명인 제1 화상 복원 공정 S20의 제2 태양으로서의 제2 화상 복원 공정 S88에서의 처리 순서의 일례를 흐름도로서 도시한 것이다. 도 7의 흐름도에 있어서, 공정 번호를 내포하는 하얀 사각형은 판단 공정 이외의 공정을, 공정 번호를 내포하는 하얀 마름모꼴은 판단 공정을, 화살표는 데이터의 입출력 방향을, 숫자를 내포하는 하얀 사각형은 요소 예를 들어 1이면 최대 반복 연산 횟수(1)를, 굵은 선은 처리의 흐름을, 하얀 동그라미는 처리의 결합 및 개시 및 종료를, 검은 동그라미는 데이터의 분기 및 결합을 각각 의미한다.
도 7의 제2 화상 복원 공정 S88은, (S80) 최대 반복 연산 횟수(1)를 n_max로 하고, n_max 미만의 자연수를 n으로 할 때, 일련의 PSF의 휘도 분포(3) 중에서 제n번째 PSF의 휘도 분포(17)를 PSF의 휘도 분포(9)로 하여 제n단째의 제1 단분 화상 복원 공정 S81-n에 제공하는 PSF 제공 공정, (S81) PSF의 휘도 분포(9), 복원 화상 초기값의 추정 휘도 분포(6) 및 열화 화상의 휘도 분포(4)로부터 Bayse 확률론적 수학식에 기초한 반복 연산 내의 1회분에 상당하는 연산을 행하고, 열화 화상의 휘도 분포(4)에 가장 그럴듯한 복원 화상의 추정 휘도 분포(10)를 구하여 이를 출력하는 제1 단분 화상 복원 공정, 이 제1 단분 화상 복원 공정 S81은, (S82) PSF 크기(7)에 기초하여 복원 화상 초기값의 추정 휘도 분포(6)를 보정하여 보정 복원 화상 초기값의 추정 휘도 분포(8)를 구하는 제1 복원 화상 초기값 보정 공정과 동일한 처리 순서로 이루어지는 제2 복원 화상 초기값 보정 공정, (S83) PSF의 휘도 분포(9)를 보정 복원 화상 초기값의 추정 휘도 분포(8)에 컨볼루션하여 제7 함수를 얻는 공정, (S84) 제7 함수를 반전하여 제8 함수를 얻는 공정, (S85) 제8 함수를 열화 화상의 휘도 분포(4)에 곱하여 제9 함수를 얻는 공정, (S86) 제9 함수를 복원 화상 초기값의 추정 휘도 분포(6)에 곱하여 복원 화상의 추정 휘도 분포(10)를 얻는 공정, (S87) 복원 화상의 추정 휘도 분포(10)를 출력하는 공정을 구비하고, (S88) 제n단째의 제1 단분 화상 복원 공정 S81-n의 (S87) 공정의 출력을 제(n+1)단째의 제1 단분 화상 복원 공정 S81-(n+1)의 (S82) 공정에 접속함으로써 구성되는 n_max단의 직렬 연결체로 이루어지는 제2 화상 복원 공정으로, 이 제2 화상 복원 공정 S88에 있어서 직렬 접속된 제1 단분 화상 복원 공정 S81의 수인 n_max회의 반복 연산을 행하고, n_max단째의 제1 단분 화상 복원 공정 S81-n_max로부터 출력되는 복원 화상의 추정 휘도 분포(10)를 최우 복원 화상의 휘도 분포(11)로서 출력하는 것에 특징이 있다.
도 7의 제2 화상 복원 공정 S88은, 제1 단분 화상 복원 공정 S81과 동일한 구성으로 이루어지는 1단째의 제1 단분 화상 복원 공정 S81-1, 제1 단분 화상 복원 공정 S81과 동일한 구성으로 이루어지는 2단째의 제1 단분 화상 복원 공정 S81-2, 제1 단분 화상 복원 공정 S81과 동일한 구성으로 이루어지는 n단째의 제1 단분 화상 복원 공정 S81-n 및 제1 단분 화상 복원 공정 S81과 동일한 구성으로 이루어지는 n_max단째의 제1 단분 화상 복원 공정 S81-n_max가 직렬로 접속되어 구성되어 있다. 3단째의 제2 단분 화상 복원 공정 S70-3~최종단의 1단 전의 제1 단분 화상 복원 공정 S81-(n_max-1)은 2단째와 동일한 접속 양식이기 때문에 생략되어 있다.
제2 화상 복원 공정 S88에 있어서, 제1단째의 제1 단분 화상 복원 공정 S81-1~제n_max단째의 제n_max 단분 화상 복원 공정 S88-n_max의 공정 S83과 동등한 공정이 PSF 제공 공정(S80)이 제공하는 단수에 적합한 PSF의 휘도 분포(9)를 읽어들인다. 예를 들어, 제1단째의 제1 단분 화상 복원 공정 S81-1이면 제1번째 PSF의 휘도 분포(14)를, 제2단째의 제1 단분 화상 복원 공정 S81-2이면 제2번째 PSF의 휘도 분포(24)를, 제n단째의 제1 단분 화상 복원 공정 S81-n이면 제n번째 PSF의 휘도 분포(17)를, 제n_max단째의 제1 단분 화상 복원 공정 S81-n_max이면 제n_max번째 PSF의 휘도 분포(25)를 각각 읽어들인다.
제2 화상 복원 공정 S88에 있어서, 제1단째의 제1 단분 화상 복원 공정 S81-1~제n_max단째의 제n_max 단분 화상 복원 공정 S88-n_max의 공정 S85와 동등한 공정이 열화 화상의 휘도 분포(4)를 준비 공정 S19의 열화 화상 준비 공정 S4로부터 읽어들인다. 또한, 제1단째의 제1 단분 화상 복원 공정 S81-1의 공정 S82와 동등한 공정이 복원 화상 초기값 준비 공정 S5로부터 복원 화상 초기값의 추정 휘도 분포(6)를 읽어들인다. 제n단째의 제1 단분 화상 복원 공정 S81-n(2≤n≤)의 공정 S82와 동등한 공정은, 전단의 제(n-1)단째의 제1 단분 화상 복원 공정 S81-(n-1)(2≤n≤)의 공정 S87과 동등한 공정이 출력하는 복원 화상의 추정 휘도 분포(10)를 읽어들인다. 또한, 제n_max 단분 화상 복원 공정 S88-n_max의 공정 S87과 동등한 공정은, 복원 화상의 추정 휘도 분포(10)를 최우 복원 화상의 휘도 분포(11)로서 출력한다. 또한, 도 7의 제2 화상 복원 공정 S88은, 최대 반복 연산 횟수(1)와 동일한 횟수분의 제2 단분 화상 복원 공정 S81을 직렬 접속하면, 도 2의 제1 화상 복원 공정 S20과 동등한 복원 능력을 가진다.
도 8은, 본 발명에 의한 제7 발명인 제3 화상 복원 공정 S107에서의 처리 순서의 일례를 흐름도로서 도시한 것이다. 도 8의 흐름도에 있어서, 공정 번호를 내포하는 하얀 사각형은 판단 공정 이외의 공정을, 공정 번호를 내포하는 하얀 마름모꼴은 판단 공정을, 화살표는 데이터의 입출력 방향을, 숫자를 내포하는 하얀 사각형은 요소 예를 들어 1이면 최대 반복 연산 횟수(1)를, 굵은 선은 처리의 흐름을, 하얀 동그라미는 처리의 결합 및 개시 및 종료를, 검은 동그라미는 데이터의 분기 및 결합을 각각 의미한다.
도 8의 제3 화상 복원 공정 S107은, (S90) 카운터에 0을 대입함으로써 리셋하는 공정, (S91) 제2 카운터에 1을 대입함으로써 리셋하는 공정, (S92) 카운터의 값이 0 이외라는 가설을 검증하여, 만약 검증 결과가 거짓이면 (S93)의 공정으로 진행되고, 만약 검증 결과가 진실이면 (S96)의 공정으로 점프하는 공정, (S93) 열화 화상의 휘도 분포(4)를 열화 화상 저장용 버퍼(26) 및 복원 화상 초기값용 버퍼(27)에 전송하는 공정, (S94) (S96)의 공정으로 점프하는 공정, (S95) (S102) 공정의 복원 화상의 추정 휘도 분포(10)를 복원 화상 초기값용 버퍼(27)에 전송하는 공정, (S96) 제2 카운터의 값을 m으로 할 때, 일련의 PSF(3) 중의 제m번째 PSF의 휘도 분포를 PSF의 휘도 분포(9)로 이루는 공정, (S97) 복원 화상 초기값용 버퍼(27)로부터 복원 화상 초기값의 추정 휘도 분포(6)를 읽어들이는 공정, (S98) PSF 크기(7)에 기초하여 복원 화상 초기값의 추정 휘도 분포(6)를 보정하여 이를 보정 복원 화상 초기값의 추정 휘도 분포(8)로 이루는 제1 복원 화상 초기값 보정 공정과 동일한 처리 순서로 이루어지는 제3 복원 화상 초기값 보정 공정, (S99) PSF의 휘도 분포(9)를 보정 복원 화상 초기값의 추정 휘도 분포(8)에 컨볼루션하여 제10 함수를 얻는 공정, (S100) 제10 함수를 반전하여 제11 함수를 얻는 공정, (S101) 열화 화상의 휘도 분포(4)를 열화 화상 저장용 버퍼(26)로부터 읽어들이고 이에 제11 함수를 곱하여 제12 함수를 얻는 공정, (S102) 제12 함수를 복원 화상 초기값의 추정 휘도 분포(6)에 곱하여 복원 화상의 추정 휘도 분포(10)를 얻는 공정, (S103) 카운터에 1을 가산하는 공정, (S104) 제2 카운터에 1을 가산하는 공정, (S105) 카운터의 값이 최대 반복 연산 횟수(1)를 넘는다는 가설을 검증하여, 만약 검증 결과가 거짓이면 (S95)의 공정으로 점프하고, 만약 검증 결과가 진실이면 (S106)의 공정으로 진행되는 공정, (S106) 복원 화상의 추정 휘도 분포(10)를 최우 복원 화상의 휘도 분포(11)로서 출력하는 공정을 구비하고, (S107) 각 공정의 S의 첨부 숫자가 작은 순으로 차례대로 실행함으로써 최대 반복 연산 횟수의 반복 연산을 끝내고 최우화된 최우 복원 화상을 출력하는 제3 화상 복원 공정인 것에 특징이 있다.
도 9는, 본 발명에 의한 제8 발명인 열화 화상 준비 공정 S4에서의 처리 순서의 일례를 흐름도로서 도시한 것이다. 도 9의 흐름도에 있어서, 공정 번호를 내포하는 하얀 사각형은 판단 공정 이외의 공정을, 공정 번호를 내포하는 하얀 마름모꼴은 판단 공정을, 화살표는 데이터의 입출력 방향을, 숫자를 내포하는 하얀 사각형은 요소 예를 들어 1이면 최대 반복 연산 횟수(1)를, 굵은 선은 처리의 흐름을, 하얀 동그라미는 처리의 결합 및 개시 및 종료를, 검은 동그라미는 데이터의 분기 및 결합을 각각 의미한다.
도 9의 열화 화상 준비 공정 S4는, (S110) 1프레임분의 TV 영상 신호(15)로부터 프레임을 구성하는 RGB 신호(28)를 취출하는 RGB 신호 추출 공정, (S111) 1프레임분의 TV 영상 신호(15) 중에서 RGB 신호(28)를 취출한 나머지 TV 영상 신호(29)를 1프레임분 지연하여 출력하는 지연 공정, (S112) RGB 신호(28)를 YUV 변환하여 YUV 신호(30)로 이루는 YUV 변환 공정, (S113) YUV 신호(30) 중에서 휘도 성분인 Y신호만으로 이루어지는 열화 화상의 휘도 분포(4)를 추출하여 Y 열화 화상의 휘도 분포(31)로 이루고, 나머지 U신호만으로 이루어지는 U 열화 화상의 분포(32) 및 V신호만으로 이루어지는 V 열화 화상의 분포(33)를 보유하는 Y 열화 화상 추출 공정, (S114) Y 열화 화상의 휘도 분포(31)의 디감마 처리를 행하고 1프레임분의 휘도 분포로 이루어지는 열화 화상의 휘도 분포(4)로 이루어 출력하는 디감마 처리 공정을 구비하는 것에 특징이 있다.
도 10은, 본 발명에 의한 제9 발명인 TV 영상화 공정 S22에서의 처리 순서의 일례를 흐름도로서 도시한 것이다. 도 10의 흐름도에 있어서, 공정 번호를 내포하는 하얀 사각형은 판단 공정 이외의 공정을, 공정 번호를 내포하는 하얀 마름모꼴은 판단 공정을, 화살표는 데이터의 입출력 방향을, 숫자를 내포하는 하얀 사각형은 요소 예를 들어 1이면 최대 반복 연산 횟수(1)를, 굵은 선은 처리의 흐름을, 하얀 동그라미는 처리의 결합 및 개시 및 종료를, 검은 동그라미는 데이터의 분기 및 결합을 각각 의미한다.
도 10의 TV 영상화 공정 S22는, (S120) 최우 복원 화상의 휘도 분포(11)의 감마 처리를 행하는 감마 처리 공정, (S121) Y 열화 화상 추출 공정 S113에서 보유한 U 열화 화상의 분포(32) 및 V 열화 화상의 분포(33)와 Y성분으로 이루어지는 감마 처리 후의 최우 복원 화상의 휘도 분포(11)로부터 1장의 YUV 복원 화상의 분포(34)를 합성하는 복원 화상 합성 공정, (S122) YUV 복원 화상의 분포(34)의 RGB 변환을 행하여 RGB 복원 화상의 분포(35)로 이루는 RGB 변환 공정, (S123) RGB 복원 화상의 분포(35)를 판독하여 RGB 신호(36)를 출력하는 RGB 신호 변환 공정, (S124) RGB 신호(36)를 지연 공정 S111이 출력하는 나머지 TV 영상 신호(29)와 합성하여 1프레임분의 TV 영상 신호로 이루어지는 초해상 TV 영상 신호(12)로 이루어 출력하는 TV 영상 신호 합성 공정을 구비하는 것에 특징이 있다.
도 11은, 본 발명에 의한 제10 발명인 PSF의 휘도 분포(9)의 일례를 도시한 것이다. 도 11의 PSF의 휘도 분포(9)는, 가장자리가 없는 정사각형상의 동일 크기의 화소로 이루어지는 것으로, 그 휘도 분포는 중심이 가장 밝은 2차원 정규 분포이며, 그 크기가 5×5화소인 것에 특징이 있다. PSF의 휘도 분포(9)는 2차원 정규 분포이기 때문에, 점대칭성을 가지고 있고 시프트 인배리언트이다.
본 발명에 의한 제11 발명인 제1 가속 초해상 처리 프로그램(37)은, 준비 공정 S19 및 제1 화상 복원 공정 S20 내의 모든 공정을 가상적으로 작성함과 동시에 이들 공정의 처리 순서를 기술한 것이다.
본 발명에 의한 제12 발명인 제2 가속 초해상 처리 프로그램(38)은, 준비 공정 S19 및 제2 화상 복원 공정 S88 내의 모든 공정을 가상적으로 작성함과 동시에 이들 공정의 처리 순서를 기술한 것이다.
본 발명에 의한 제13 발명인 제3 가속 초해상 처리 프로그램(39)은, 준비 공정 S19 및 제3 화상 복원 공정 S107 내의 모든 공정을 가상적으로 작성함과 동시에 이들 공정의 처리 순서를 기술한 것이다.
본 발명에 의한 제14 발명은, 제1 가속 초해상 처리 프로그램(37), 제2 가속 초해상 처리 프로그램(38) 및 제3 가속 초해상 처리 프로그램(39)은 모두 암호화된 것이고, 이들 암호화된 제1 가속 초해상 처리 프로그램(37), 제2 가속 초해상 처리 프로그램(38) 및 제3 가속 초해상 처리 프로그램(39)을 기억함과 동시에 컴퓨터에 접속 가능하고 또한 컴퓨터에 읽어들이게 하는 것이 가능한 것에 특징이 있는 제1 기억 매체(46)이다.
도 12는, 본 발명에 의한 제15 발명인 TV 영상용 가속 초해상 처리 장치(40)의 구성에 관한 일례를 도시한 것이다. 도 12에 있어서, 수단의 번호를 내포하는 하얀 사각형은 판단 및 조건 분기에 관한 이외의 수단을, 수단의 번호를 내포하는 하얀 마름모꼴은 판단 및 조건 분기 수단인 것을, 화살표는 데이터의 입출력 방향을, 숫자를 내포하는 하얀 사각형은 요소 예를 들어 1이면 최대 반복 연산 횟수(1)를, 굵은 선은 처리의 흐름을, 하얀 동그라미는 처리의 결합을, 검은 동그라미는 데이터의 분기 및 결합을 각각 의미한다.
도 12의 TV 영상용 가속 초해상 처리 장치(40)는, (W1) 최대 반복 연산 횟수(1)를 설정하는 수단, (W2) TV 영상을 보면서 TV 영상의 열화 상황에 적합한 열화 지수(2)를 지정하는 열화 지수 지정 수단, (W3) 열화 지수(2)에 관련된 제1번째 PSF의 휘도 분포(14) 및 이 계로 이루어지고 반복 연산 횟수에 관련지어 정리된 일련의 PSF의 휘도 분포(3)를 준비하는 PSF 준비 수단, (W4) 1프레임분의 휘도 분포로 이루어지는 열화 화상의 휘도 분포(4)를 1프레임분의 TV 영상 신호(5)로부터 준비하는 열화 화상 준비 수단, (W5) 열화 화상의 휘도 분포(4)를 복원 화상 초기값의 추정 휘도 분포(6)로 이루는 복원 화상 초기값 준비 수단, (W6) 일련의 PSF의 휘도 분포(3)는 서로 동일한 화상 크기이고, 이 화상 크기를 PSF 크기(7)라고 부를 때, 이 PSF 크기(7)를 구하는 PSF 크기 취득 수단, (W7) 반복 연산 횟수를 계수하는 카운터에 1을 설정하는 제1 리셋 수단, (W8) 복원 화상 초기값의 추정 휘도 분포(6)를 복사하여 이를 보정 복원 화상 초기값의 추정 휘도 분포(8)로 이루고, 나아가 보정 복원 화상 초기값의 추정 휘도 분포(8)를 PSF 크기(7)를 기초로 하여 보정하는 제1 복원 화상 초기값 보정 수단, (W9) 일련의 PSF의 휘도 분포(3)로부터 카운터의 값에 관련된 하나를 선택하여 이를 PSF의 휘도 분포(9)로 이루는 PSF 선정 수단, (W10) 보정 복원 화상 초기값의 추정 휘도 분포(8)에 PSF의 휘도 분포(9)를 컨볼루션하여 제13 함수를 얻는 수단, (W11) 제13 함수를 반전하여 제14 함수를 얻는 수단, (W12) 제14 함수에 열화 화상의 휘도 분포(4)를 곱하여 제15 함수를 얻는 수단, (W13) 제15 함수를 복원 화상 초기값의 추정 휘도 분포(6)에 곱하여 복원 화상의 추정 휘도 분포(10)를 얻는 수단, (W14) 카운터에 1을 가산하는 수단, (W15) 카운터의 값이 최대 반복 연산 횟수(1) 이상이라는 가설을 검증하여, 만약 검증 결과가 거짓이면 (W16)의 수단으로 진행되지만, 검증 결과가 진실이면 수단(W18)으로 진행되는 수단, (W16) 복원 화상의 추정 휘도 분포(10)를 복원 화상 초기값의 추정 휘도 분포(6)와 바꾸는 수단, (W17) (W8)의 수단으로 되돌아가는 수단, (W18) 복원 화상의 추정 휘도 분포(10)를 최우 복원 화상의 휘도 분포(11)로서 출력하는 수단, (W19) (W1)~(W7)의 수단으로 구성되는 준비 수단, (W20) (W8)~(W18)의 수단으로 구성되는 제1 화상 복원 수단을 구비하고, (W21) 준비 수단(W19) 및 제1 화상 복원 수단(W20)에 있어서, 수단의 W의 첨부 숫자가 작은 순으로 차례대로 실행함으로써 최대 반복 연산 횟수(1)의 반복 연산을 끝내고 최우 복원 화상의 휘도 분포(11)를 출력하는 제1 가속 초해상 처리 수단, (W22) 최우 복원 화상의 휘도 분포(11)를 1프레임분의 TV 영상 신호(41)로 이루고 이를 초해상 TV 영상 신호(12)로서 출력하는 TV 영상화 수단을 구비하는 것에 특징이 있다.
도 13은, 본 발명에 의한 제16 발명인 PSF 준비 수단(W3)의 제2 태양(W3-2)의 구성에 관한 일례를 도시한 것이다. 도 13에 있어서, 수단의 번호를 내포하는 하얀 사각형은 판단 및 조건 분기에 관한 이외의 수단을, 수단의 번호를 내포하는 하얀 마름모꼴은 판단 및 조건 분기 수단인 것을, 화살표는 데이터의 입출력 방향을, 숫자를 내포하는 하얀 사각형은 요소 예를 들어 1이면 최대 반복 연산 횟수(1)를, 굵은 선은 처리의 흐름을, 하얀 동그라미는 처리의 결합을, 검은 동그라미는 데이터의 분기 및 결합을 각각 의미한다.
도 13의 PSF 준비 수단(W3)의 제2 태양(W3-2)은, (W30) 열화 지수(2)를 검색 정보로서 열화 지수에 대해 PSF의 휘도 분포를 1대1로 관련지어 정리하여 작성된 PSF 데이터베이스(13)를 검색하고, 히트한 PSF의 휘도 분포(9)를 제1번째 PSF의 휘도 분포(14)로 이루는 수단, (W31) 수를 계수하는 제2 카운터에 1을 입력하여 리셋하는 수단, (W32) 제1번째 PSF의 휘도 분포(14)를 PSF 초기값의 휘도 분포(15)로 이루는 수단, (W33) 제2 카운터에 1을 가산하는 수단, (W34) 제2 카운터의 값이 최대 반복 연산 횟수(1)를 넘었다는 가설을 검증하여, 만약 검증 결과가 거짓이면 (W35)의 수단으로 진행되고, 만약 검증 결과가 진실이면 (W38)의 수단으로 점프하는 수단, (W35) PSF 초기값의 휘도 분포(15)를 PSF 복원 수단(W63)에 의해 복원함으로써 최우 복원 PSF의 휘도 분포(16)를 얻는 수단, (W36) 제2 카운터의 값을 n으로 할 때, 최우 복원 PSF의 휘도 분포(16)를 제n번째 PSF의 휘도 분포(17)로 이루는 수단, (W37) (W33)의 수단으로 되돌아가는 수단, (W38) 최대 반복 연산 횟수를 n_max로 하고, n_max 미만의 자연수를 n으로 할 때, 제1번째 PSF의 휘도 분포(14)로부터 n_max번째 PSF의 휘도 분포(25)까지를 이 순서로 나열하여 일련의 PSF의 휘도 분포로 하고, 이 일련의 PSF의 휘도 분포에 열화 지수(2)를 라벨로서 붙여 열화 지수에 관련된 일련의 PSF의 휘도 분포(3)로 이루는 일련의 PSF의 휘도 분포 작성 공정으로 구성되는 것에 특징이 있다.
도 13의 일련의 PSF의 휘도 분포 작성 공정(W38)은, 예를 들어 열화 지수(2)를 BF라는 정수형 변수로 나타내고, 제n번째 휘도 분포(17)(1≤n≤n_max)의 화상 파일명을 PSF_BF_n.bmp라고 나타내고, 문자형 2차원 배열명을 SPSF라고 하면, 제n번째 휘도 분포(17)를 W36의 수단으로부터 수취하여 BF와 n으로부터 PSF_BF_n.bmp라는 파일명을 만들고, 이 파일명을 붙여 제n번째 휘도 분포(17)를 컴퓨터의 대용량 기억 수단, 예를 들어 HDD(Hard Disk Drive)에 기억하는 반면, 파일명을 SPSF(BF, n)라는 배열에 기억함으로써 일련의 PSF의 휘도 분포(3)가 작성될 수 있다.
도 14는, 본 발명에 의한 제17 발명인 PSF 준비 수단(W3)의 제3 태양(W3-3)의 구성에 관한 일례를 도시한 것이다. 도 14에 있어서, 수단의 번호를 내포하는 하얀 사각형은 판단 및 조건 분기에 관한 이외의 수단을, 수단의 번호를 내포하는 하얀 마름모꼴은 판단 및 조건 분기 수단인 것을, 화살표는 데이터의 입출력 방향을, 숫자를 내포하는 하얀 사각형은 요소 예를 들어 1이면 최대 반복 연산 횟수(1)를, 굵은 선은 처리의 흐름을, 하얀 동그라미는 처리의 결합을, 검은 동그라미는 데이터의 분기 및 결합을 각각 의미한다.
도 14의 PSF 준비 수단(W3)의 제3 태양(W3-3)은, (W40) 최대 반복 연산 횟수(1)를 5로 설정하는 수단, (W41) PSF 데이터베이스(13) 내의 모든 열화 지수와 이에 관련된 PSF의 휘도 분포의 페어 모두에 대해 사전에 PSF 준비 수단(W3)을 실행하여 열화 지수마다 일련의 PSF의 휘도 분포를 얻고, 이들 열화 지수마다의 일련의 PSF의 휘도 분포를 편집함으로써, 열화 지수에 대해 일련의 PSF의 휘도 분포를 관련지어 정리한 확대 PSF 데이터베이스(18)를 준비하는 수단, (W42) 열화 지수(2)를 이용하여 확대 PSF 데이터베이스(18)를 검색하고 히트한 일련의 PSF의 휘도 분포(3)를 취득하여 이를 출력하는 수단으로 구성되는 것에 특징이 있다.
도 15는, 본 발명에 의한 PSF 데이터베이스(13) 내의 데이터의 일례를 도시한 것이다. 도 15의 PSF 데이터베이스(13)는 CSV 형식의 표로서, HDD에 저장되어 있다. PSF 데이터베이스(13)에는 256단계의 열화 지수(2)가 왼쪽에서 제1열째에 기재되고, 각 열화 지수(2)에 대응하는 PSF의 휘도 분포(9)의 화상 파일명(23)이 패스로서 왼쪽에서 제2열째에 기재되어 있다. PSF의 휘도 분포(9)의 화상 파일은 HDD 내의 C드라이브 중의 PSF라는 디렉토리 아래에 존재하고, PSF의 휘도 분포(9)의 화상 파일명은 열화 지수(2)에 대응한다. 예를 들어 열화 지수(2)가 1인 경우, PSF 데이터베이스(13)의 1번 상의 행의 PSF의 휘도 분포(9)의 화상 파일명 C:￥PSF￥PSF_1.bmp가 열화 지수(2)에 관련된 PSF의 휘도 분포(9)의 화상 파일의 기억 장소를 나타내고 있다. 예를 들어, W30의 수단은 열화 지수(2)를 검색 정보로서 PSF 데이터베이스(13)를 검색하고, 열화 지수(2)에 관련된 PSF의 휘도 분포(9)의 화상 파일명을 취득하고, 이 PSF의 휘도 분포(9)의 화상 파일명에 대응하는 PSF의 휘도 분포(9)를 HDD로부터 독출함으로써 취득한다. PSF 데이터베이스(13)는, CSV 형식 이외에도 2차원 배열로서 정의하는 것도 가능하다.
도 16은, 본 발명에 의한 확대 PSF 데이터베이스(18) 내의 데이터의 일례를 도시한 것이다. 도 16의 확대 PSF 데이터베이스(18)는 CSV 형식의 표로서, HDD에 저장되어 있다. 확대 PSF 데이터베이스(18)에는, 256단계의 열화 지수(2)가 왼쪽에서 제1열째에 기재되고, 각 열화 지수(2)에 대응하는 PSF의 휘도 분포(9)의 화상 파일명(23)이 패스로서 왼쪽에서 제2열째 이후에 기재되어 있다. 왼쪽에서 제2열째 이후의 열은 반복 연산 횟수에 관련된 것으로, 왼쪽에서 제2열째에는 반복 연산 횟수(1)가 1인 것이 기재되고, 왼쪽에서 제3열째에는 반복 연산 횟수(1)가 2인 것이 기재되고, 마지막 열에는 반복 연산 횟수가 n_max인 것이 기재되어 있다. PSF의 휘도 분포(9)의 화상 파일은 HDD 내의 C드라이브 중의 SPSF라는 디렉토리 아래에 존재하고, PSF의 휘도 분포(9)의 화상 파일명은 열화 지수(2) 및 반복 연산 횟수(1)에 대응한다. 예를 들어 열화 지수(2)가 1이고 반복 연산 횟수가 1인 경우, 확대 PSF 데이터베이스(18)의 1번 상의 행의 왼쪽에서 2번째 란의 PSF의 휘도 분포(9)의 화상 파일명(23)인 C:￥SPSF￥SPSF_1_1.bmp가 열화 지수(2)이고 반복 연산 횟수가 1에 관련된 PSF의 휘도 분포(9)의 화상 파일의 기억 장소를 나타내고 있다. 예를 들어, W42의 수단은 열화 지수(2)를 검색 정보로서 확대 PSF 데이터베이스(18)를 검색하고, 열화 지수(2)에 관련된 확대 PSF 데이터베이스(18) 내의 행을 특정하고, 그 행 내의 PSF의 휘도 분포(9)의 화상 파일명을 반복 연산 횟수가 1에 대응하는 란부터 순서대로 마지막 반복 연산 횟수가 n_max 란의 것까지 취득하여 SPSF(BF, n)라는 2차원 배열에 기억함으로써 일련의 PSF의 휘도 분포(3)를 취득한다. SPSF(BF, n)는 문자형 2차원 배열로서, BF가 열화 지수(2)를 의미하는 변수이고, n이 반복 연산 횟수를 의미하는 변수이다. 다음으로 W9의 수단은, 열화 지수(2)를 BF로 하고 반복 연산 횟수를 n으로 하여 SPSF(BF, n)로부터 PSF의 휘도 분포(9)의 화상 파일명(23)을 취득하고, 이 PSF의 휘도 분포(9)의 화상 파일명(23)에 대응하는 PSF의 휘도 분포(9)를 HDD로부터 독출함으로써 취득한다. 확대 PSF 데이터베이스(18)는, CSV 형식 이외에도 2차원 배열로서 정의하는 것도 가능하다.
도 17은, 본 발명에 의한 제18 발명인 PSF 복원 수단의 구성에 관한 일례를 도시한 것이다. 도 17에 있어서, 수단의 번호를 내포하는 하얀 사각형은 판단 및 조건 분기에 관한 이외의 수단을, 수단의 번호를 내포하는 하얀 마름모꼴은 판단 및 조건 분기 수단인 것을, 화살표는 데이터의 입출력 방향을, 숫자를 내포하는 하얀 사각형은 요소 예를 들어 1이면 최대 반복 연산 횟수(1)를, 굵은 선은 처리의 흐름을, 하얀 동그라미는 처리의 결합을, 검은 동그라미는 데이터의 분기 및 결합을 각각 의미한다.
도 17의 PSF 복원 수단은, (W50) 최대 반복 연산 횟수(1)에 6을 대입하는 수단, (W51) PSF 초기값의 휘도 분포(15)를 열화된 화상의 휘도 분포로 하여 열화 PSF의 휘도 분포(19)로 이루는 수단, (W52) PSF 초기값의 휘도 분포(15)를 복원 PSF 초기값의 추정 휘도 분포(20)로 이루는 수단, (W53) 카운터에 1을 대입하여 리셋하는 수단, (W54) 복원 PSF 초기값의 추정 휘도 분포(20)를 보정 복원 PSF 초기값의 추정 휘도 분포(21)로 이루고, 나아가 PSF 초기값의 휘도 분포(15)를 보정 복원 PSF 초기값의 추정 휘도 분포(21)에 컨볼루션 연산할 때에 보정 복원 PSF 초기값의 추정 휘도 분포(21)의 주변부에 발생하는 연산 곤란 영역을 PSF 초기값의 휘도 분포(15)의 화상 크기를 기초로 하여 계산하고, 상변 경계에 관한 연산 곤란 영역의 화소를 카피하고, 이 카피한 화소를 보정 복원 PSF 초기값의 추정 휘도 분포(21)의 상변 경계의 외측에 상변 경계에 대해 미러 대칭이 되도록 배치하도록 페이스트하고, 마찬가지로 하여 우측 방향으로 우변 다음으로 하변 마지막으로 좌변에 관해 행하고, 보정 복원 PSF 초기값의 추정 휘도 분포(21)를 보정하는 복원 PSF 초기값 보정 수단, (W55) PSF 초기값의 휘도 분포(15)를 보정 복원 PSF 초기값의 추정 휘도 분포(21)에 컨볼루션하여 제16 함수를 얻는 수단, (W56) 제16 함수를 반전하여 제17 함수를 얻는 수단, (W57) 제17 함수를 열화 PSF의 휘도 분포(19)에 곱하여 제18 함수를 얻는 수단, (W58) 제18 함수를 복원 PSF 초기값의 추정 휘도 분포(20)에 곱하여 복원 PSF의 추정 휘도 분포(22)를 얻는 수단, (W59) 카운터에 1을 가산하는 수단, (W60) 카운터의 값이 최대 반복 연산 횟수(1)를 넘었다는 가설을 검증하여, 만약 검증 결과가 거짓이면 (W61)의 수단으로 점프하고, 만약 검증 결과가 진실이면 (W63)의 수단으로 점프하는 수단, (W61) 복원 PSF의 추정 휘도 분포(22)를 복원 PSF 초기값의 추정 휘도 분포(20)와 바꾸는 수단, (W62) (W54)의 수단으로 점프하는 수단, (W63) 복원 PSF의 추정 휘도 분포(22)를 최우 복원 PSF의 휘도 분포(16)로서 출력하는 수단을 구비하는 것에 특징이 있다.
도 18은, 본 발명에 의한 제19 발명인 제1 복원 화상 초기값 보정 수단의 구성에 관한 일례를 도시한 것이다. 도 18에 있어서, 수단의 번호를 내포하는 하얀 사각형은 판단 및 조건 분기에 관한 이외의 수단을, 수단의 번호를 내포하는 하얀 마름모꼴은 판단 및 조건 분기 수단인 것을, 화살표는 데이터의 입출력 방향을, 숫자를 내포하는 하얀 사각형은 요소 예를 들어 1이면 최대 반복 연산 횟수(1)를, 굵은 선은 처리의 흐름을, 하얀 동그라미는 처리의 결합을, 검은 동그라미는 데이터의 분기 및 결합을 각각 의미한다.
도 18의 제1 복원 화상 초기값 보정 수단(W8)은, (W70) 복원 화상 초기값의 추정 휘도 분포(6)를 보정 복원 화상 초기값의 추정 휘도 분포(8)로 이루는 수단, (W71) PSF 크기(7)를 기초로 일련의 PSF의 휘도 분포(3) 중 어느 하나를 보정 복원 화상 초기값의 추정 휘도 분포(8)에 컨볼루션 연산할 때에 보정 복원 화상 초기값의 추정 휘도 분포(8)의 주변부에 발생하는 연산 곤란 영역(42)을 계산하는 수단, (W72) 보정 복원 화상 초기값의 추정 휘도 분포(8)의 연산 곤란 영역(42) 내의 화소를 카피하고, 이 카피한 화소를 보정 복원 화상 초기값의 추정 휘도 분포(8)의 4변에 대해 미러 대칭이 되도록 각각 반전시키고, 나아가 보정 복원 화상 초기값의 추정 휘도 분포(8)의 4변 경계의 외측에 배치하도록 페이스트하여 보정하는 수단, (W73) 보정 복원 화상 초기값의 추정 휘도 분포(8)의 연산 곤란 영역(42) 내의 좌측 위 모퉁이부의 화소를 카피하고, 이 카피한 좌측 위 모퉁이부의 화소를 좌측 위 모퉁이의 정점을 회전 중심으로 하여 180도 회전시키고, 보정 복원 화상 초기값의 추정 휘도 분포(8)의 좌측 위 모퉁이부에 발생하는 공백 영역에 페이스트하여 보정하는 수단, (W74) 보정 복원 화상 초기값의 추정 휘도 분포(8)의 연산 곤란 영역(42) 내의 우측 위 모퉁이부의 화소를 카피하고, 이 카피한 우측 위 모퉁이부의 화소를 우측 위 모퉁이의 정점을 회전 중심으로 하여 180도 회전시키고, 보정 복원 화상 초기값의 추정 휘도 분포(8)의 우측 위 모퉁이부에 발생하는 공백 영역에 페이스트하여 보정하는 수단, (W75) 보정 복원 화상 초기값의 추정 휘도 분포(8)의 연산 곤란 영역(42) 내의 좌측 아래 모퉁이부의 화소를 카피하고, 이 카피한 좌측 아래 모퉁이부의 화소를 좌측 위 모퉁이의 정점을 회전 중심으로 하여 180도 회전시키고, 보정 복원 화상 초기값의 추정 휘도 분포(8)의 좌측 아래 모퉁이부에 발생하는 공백 영역에 페이스트하여 보정하는 수단, (W76) 보정 복원 화상 초기값의 추정 휘도 분포(8)의 연산 곤란 영역(42) 내의 우측 아래 모퉁이부의 화소를 카피하고, 이 카피한 우측 아래 모퉁이부의 화소를 우측 위 모퉁이의 정점을 회전 중심으로 하여 180도 회전시키고, 보정 복원 화상 초기값의 추정 휘도 분포(8)의 우측 아래 모퉁이부에 발생하는 공백 영역에 페이스트하여 보정하는 수단을 구비하는 것에 특징이 있다.
도 19는, 제1 복원 화상 초기값 보정 수단(W8)에 의한 복원 화상 초기값의 추정 휘도 분포(6)의 주변부에 발생하는 연산 곤란 영역(42)의 보정의 일례를 도시한 것이다. 도 19는, W70~72의 수단에 의해 복원 화상 초기값의 추정 휘도 분포(6)로부터 보정 복원 화상 초기값의 추정 휘도 분포(8)가 생성된 상태를 나타내고 있다. 이 상태에서는 보정 복원 화상 초기값의 추정 휘도 분포(8)의 네 모퉁이에 공백부가 존재한다. W73에 의해, 보정 복원 화상 초기값의 추정 휘도 분포(8)의 좌측 위 모퉁이의 공백부는, 복원 화상 초기값의 추정 휘도 분포(6)의 연산 곤란 영역(42)의 좌측 위 모퉁이부의 화소를 카피하고, 이 카피한 영역을 좌측 위 모퉁이의 정점을 회전 중심으로 하여 180도 회전시켜 페이스트함으로써 보충되어 보정된다.
도 20은, 본 발명에 의한 제20 발명인 제1 화상 복원 수단(W20)의 제2 태양으로서의 제2 화상 복원 수단(W88)의 구성에 관한 일례를 도시한 것이다. 도 20에 있어서, 수단의 번호를 내포하는 하얀 사각형은 판단 및 조건 분기에 관한 이외의 수단을, 수단의 번호를 내포하는 하얀 마름모꼴은 판단 및 조건 분기 수단인 것을, 화살표는 데이터의 입출력 방향을, 숫자를 내포하는 하얀 사각형은 요소 예를 들어 1이면 최대 반복 연산 횟수(1)를, 굵은 선은 처리의 흐름을, 하얀 동그라미는 처리의 결합을, 검은 동그라미는 데이터의 분기 및 결합을 각각 의미한다.
도 20의 제2 화상 복원 수단(W88)은, (W80) 최대 반복 연산 횟수(1)를 n_max로 하고, n_max 미만의 자연수를 n으로 할 때, 일련의 PSF의 휘도 분포(3) 중에서 제n번째 PSF의 휘도 분포(17)를 PSF의 휘도 분포(9)로 하여 제n단째의 제1 단분 화상 복원 수단(W81-n)에 제공하는 PSF 제공 수단, (W81) PSF의 휘도 분포(9), 복원 화상 초기값의 추정 휘도 분포(6) 및 열화 화상의 휘도 분포(4)로부터 Bayse 확률론적 수학식에 기초하는 반복 연산 내의 1회분에 상당하는 연산을 행하고, 열화 화상의 휘도 분포(4)에 가장 그럴듯한 복원 화상의 추정 휘도 분포(10)를 구하고 이를 출력하는 제1 단분 화상 복원 수단을 구비하고, 이 제1 단분 화상 복원 수단(W81)은, (W82) 제1 복원 화상 초기값 보정 수단(W8)과 동일한 구성으로 이루어지는 제2 복원 화상 초기값 보정 수단에 의해 보정 복원 화상 초기값의 추정 휘도 분포(8)를 구하는 수단, (W83) PSF의 휘도 분포(9)를 보정 복원 화상 초기값의 추정 휘도 분포(8)에 컨볼루션하여 제19 함수를 얻는 수단, (W84) 제19 함수를 반전하여 제20 함수를 얻는 수단, (W85) 제20 함수를 열화 화상의 휘도 분포에 곱하여 제21 함수를 얻는 수단, (W86) 제21 함수를 복원 화상 초기값의 추정 휘도 분포에 곱하여 복원 화상의 추정 휘도 분포(10)를 얻는 수단, (W87) 복원 화상의 추정 휘도 분포(10)를 출력하는 수단을 구비하고, (W88) 제n단째의 제1 단분 화상 복원 수단(W81-n)의 (W87) 수단의 출력을 제(n+1)단째의 제1 단분 화상 복원 수단(W81-(n+1))의 (W82) 수단에 접속함으로써 구성되는 n_max단의 직렬 연결체로 이루어지는 제2 화상 복원 수단으로, 이 제2 화상 복원 수단(W88)에서 직렬 접속된 제1 단분 화상 복원 수단(W81)의 수인 n_max회의 반복 연산을 행하고, n_max단째의 제1 단분 화상 복원 수단(W81-n_max)으로부터 출력되는 복원 화상의 추정 휘도 분포(10)를 최우 복원 화상의 휘도 분포(11)로서 출력하는 것에 특징이 있다.
도 21은, 본 발명에 의한 제21 발명인 제1 화상 복원 수단(W20)의 제3 태양으로서의 제3 화상 복원 수단(W107)의 구성에 관한 일례를 도시한 것이다. 도 21에 있어서, 수단의 번호를 내포하는 하얀 사각형은 판단 및 조건 분기에 관한 이외의 수단을, 수단의 번호를 내포하는 하얀 마름모꼴은 판단 및 조건 분기 수단인 것을, 화살표는 데이터의 입출력 방향을, 숫자를 내포하는 하얀 사각형은 요소 예를 들어 1이면 최대 반복 연산 횟수(1)를, 굵은 선은 처리의 흐름을, 하얀 동그라미는 처리의 결합을, 검은 동그라미는 데이터의 분기 및 결합을 각각 의미한다.
도 21의 제3 화상 복원 수단(W107)은, (W90) 카운터에 0을 대입함으로써 리셋하는 수단, (W91) 제2 카운터에 1을 대입함으로써 리셋하는 수단, (W92) 카운터의 값이 0 이외라는 가설을 검증하여, 만약 검증 결과가 거짓이면 (W93)의 수단으로 진행되고, 만약 검증 결과가 진실이면 (W96)의 수단으로 점프하는 수단, (W93) 열화 화상의 휘도 분포(4)를 열화 화상 저장용 버퍼(26) 및 복원 화상 초기값용 버퍼(27)에 전송하는 수단, (W94) (W96)의 수단으로 점프하는 수단, (W95) (W102) 수단의 복원 화상의 추정 휘도 분포(10)를 복원 화상 초기값용 버퍼(27)에 전송하는 수단, (W96) 제2 카운터의 값을 m으로 할 때, 일련의 PSF의 휘도 분포(3) 중의 제m번째 PSF의 휘도 분포를 PSF의 휘도 분포(9)로 이루는 수단, (W97) 복원 화상 초기값용 버퍼(27)로부터 복원 화상 초기값의 추정 휘도 분포(6)를 읽어들이는 수단, (W98) 복원 화상 초기값의 추정 휘도 분포(6)를 보정하고 이를 보정 복원 화상 초기값의 추정 휘도 분포(8)로 이루는 제1 복원 화상 초기값 보정 수단과 동일한 구성으로 이루어지는 제3 복원 화상 초기값 보정 수단, (W99) PSF의 휘도 분포(9)를 보정 복원 화상 초기값의 추정 휘도 분포(8)에 컨볼루션하여 제22 함수를 얻는 수단, (W100) 제22 함수를 반전하여 제23 함수를 얻는 수단, (W101) 제23 함수를 열화 화상의 휘도 분포(4)에 곱하여 제24 함수를 얻는 수단, (W102) 제24 함수를 복원 화상 초기값의 추정 휘도 분포(6)에 곱하여 복원 화상의 추정 휘도 분포(10)를 얻는 수단, (W103) 카운터에 1을 가산하는 수단, (W104) 제2 카운터에 1을 가산하는 수단, (W105) 카운터의 값이 최대 반복 연산 횟수(1)를 넘는다는 가설을 검증하여, 만약 검증 결과가 거짓이면 (W95)의 수단으로 점프하고, 만약 검증 결과가 진실이면 (W106)의 수단으로 진행되는 수단, (W106) 복원 화상의 추정 휘도 분포(10)를 최우 복원 화상의 휘도 분포(11)로서 출력하는 수단을 구비하고, (W107) 각 수단의 S의 첨부 숫자가 작은 순으로 차례대로 실행함으로써 최대 반복 연산 횟수(1)의 반복 연산을 끝내고 최우화된 최우 복원 화상(11)을 출력하는 제3 화상 복원 수단인 것에 특징이 있다.
도 22는, 본 발명에 의한 제22 발명인 열화 화상 준비 수단(W4)의 구성에 관한 일례를 도시한 것이다. 도 22에 있어서, 수단의 번호를 내포하는 하얀 사각형은 판단 및 조건 분기에 관한 이외의 수단을, 수단의 번호를 내포하는 하얀 마름모꼴은 판단 및 조건 분기 수단인 것을, 화살표는 데이터의 입출력 방향을, 숫자를 내포하는 하얀 사각형은 요소 예를 들어 1이면 최대 반복 연산 횟수(1)를, 굵은 선은 처리의 흐름을, 하얀 동그라미는 처리의 결합을, 검은 동그라미는 데이터의 분기 및 결합을 각각 의미한다.
도 22의 열화 화상 준비 수단(W4)은, (W110) 1프레임분의 TV 영상 신호(5)로부터 프레임을 구성하는 RGB 신호(28)를 취출하는 RGB 신호 추출 수단, (W111) 1프레임분의 TV 영상 신호(5) 중에서 RGB 신호(28)를 취출한 나머지 TV 영상 신호(29)를 1프레임분 지연하여 출력하는 지연 수단, (W112) RGB 신호(28)를 YUV 변환하여 YUV 신호(30)로 이루는 YUV 변환 수단, (W113) YUV 신호(30) 중에서 휘도 성분인 Y신호만으로 이루어지는 열화 화상의 휘도 분포(4)를 추출하여 Y 열화 화상의 휘도 분포(31)로 이루고, 나머지 U신호만으로 이루어지는 U 열화 화상의 분포(32) 및 V신호만으로 이루어지는 V 열화 화상의 분포(33)를 보유하는 Y 열화 화상 추출 수단, (W114) Y 열화 화상의 휘도 분포(31)의 디감마 처리를 행하고 1프레임분의 휘도 분포로 이루어지는 열화 화상의 휘도 분포(4)로 이루어 출력하는 디감마 처리 수단을 구비하는 것에 특징이 있다.
도 23은, 본 발명에 의한 제23 발명인 TV 영상화 수단(W22)의 구성에 관한 일례를 도시한 것이다. 도 23에 있어서, 수단의 번호를 내포하는 하얀 사각형은 판단 및 조건 분기에 관한 이외의 수단을, 수단의 번호를 내포하는 하얀 마름모꼴은 판단 및 조건 분기 수단인 것을, 화살표는 데이터의 입출력 방향을, 숫자를 내포하는 하얀 사각형은 요소 예를 들어 1이면 최대 반복 연산 횟수(1)를, 굵은 선은 처리의 흐름을, 하얀 동그라미는 처리의 결합을, 검은 동그라미는 데이터의 분기 및 결합을 각각 의미한다.
도 23의 TV 영상화 수단은, (W120) 최우 복원 화상의 휘도 분포(11)의 감마 처리를 행하는 감마 처리 수단, (W121) Y 열화 화상 추출 수단(W113)에서 보유한 U 열화 화상의 분포(32) 및 V 열화 화상의 분포(33)와 Y성분으로 이루어지는 감마 처리 후의 최우 복원 화상의 휘도 분포(11)로부터 1장의 YUV 복원 화상의 분포(34)를 합성하는 복원 화상 합성 수단, (W122) YUV 복원 화상의 분포(34)의 RGB 변환을 행하여 RGB 복원 화상의 분포(35)로 이루는 RGB 변환 수단, (W123) RGB 복원 화상의 분포(35)를 판독하여 RGB 신호(36)를 출력하는 RGB 신호 변환 수단, (W124) RGB 신호(36)를 지연 수단(W111)이 출력하는 나머지 TV 영상 신호(29)와 합성하여 1프레임분의 TV 영상 신호로 이루어지는 초해상 TV 영상 신호(12)로 이루어 출력하는 TV 영상 신호 합성 수단을 구비하는 것에 특징이 있다.
본 발명에 의한 제24 발명인 제4 가속 초해상 처리 프로그램(43)은, 준비 수단(W19) 및 제1 화상 복원 수단(W20) 내의 모든 수단을 구성하고, 또한 실행시키기 위한 처리 순서를 기술한 것이다.
본 발명에 의한 제25 발명인 제5 가속 초해상 처리 프로그램(44)은, 준비 수단(W19) 및 제2 화상 복원 수단(W88) 내의 모든 수단을 구성하고, 또한 실행시키기 위한 처리 순서를 기술한 것이다.
본 발명에 의한 제26 발명인 제6 가속 초해상 처리 프로그램은, 준비 수단(W19) 및 제3 화상 복원 수단(W107)을 구성하고, 또한 실행시키기 위한 처리 순서를 기술한 것이다.
본 발명에 의한 제27 발명은, 제4 가속 초해상 처리 프로그램(43), 제5 가속 초해상 처리 프로그램(44) 및 제6 가속 초해상 처리 프로그램(45)은 각각 암호화된 것이고, 이들 암호화된 제4 가속 초해상 처리 프로그램(43), 제5 가속 초해상 처리 프로그램(44) 및 제6 가속 초해상 처리 프로그램(45)을 기억함과 동시에 컴퓨터에 접속 가능하고 또한 컴퓨터에 읽어들이게 하는 것이 가능한 제2 기억 매체(47)이다.
실시예
실시예 1은, 본 발명에 의한 TV 영상용 가속 초해상 처리 장치(40)를 제1 가속 초해상 처리 프로그램(37)에 의해 컴퓨터(48)에 구성한 TV 영상용 가속 초해상 처리 시스템(49)이다.
도 24는, 본 발명에 의한 실시예 1의 TV 영상용 가속 초해상 처리 시스템(49)의 구성에 관한 일례를 도시한 것이다. 도 24의 TV 영상용 가속 초해상 처리 시스템(49)은, 디지털 TV 영상 신호를 입력/출력하기 위해 이용하는 디지털 TV 영상 신호 입출력 단자(50), TV 영상용 가속 초해상 처리 장치(40)가 인스톨된 컴퓨터(48), 열화 화상의 휘도 분포(4)를 TV 영상(67)으로부터 준비하는 열화 화상 준비 수단(W4)이 FPGA에 의해 구성된 TV 영상 입력 기판(51), 최우 복원 화상의 휘도 분포(11)를 TV 영상화하여 1프레임분의 초해상 TV 영상 신호(12)를 출력하는 TV 영상화 수단(W22)이 FPGA에 의해 구성된 초해상 TV 영상 출력 기판(52), 영상 표시 모드 지정 버튼(56)으로 지정된 영상 표시 모드 및 조건 표시 지정 버튼(57)에 의해 지정된 중첩 유무를 초해상 TV 영상 신호(12)에 반영시키는 초해상 처리 모드 전환 제어 회로 기판(53), 디지털 TV 영상 케이블(54), 버스 케이블(55)로 구성되어 있다. 도 24에서는 전원 케이블은 생략되어 있다.
도 24의 TV 영상용 가속 초해상 처리 시스템(49)을 구성하는 컴퓨터(48) 내의 TV 영상용 가속 초해상 처리 장치(40)의 열화 화상 준비 수단(W4) 및 TV 영상화 수단(W22)은 대부분이 FPGA를 이용한 하드웨어이기 때문에, 열화 화상 준비 수단(W4)은 TV 영상 입력 기판(51)이 출력하는 열화 화상의 휘도 분포(4)를 취득하는 수단으로서 구성하고, TV 영상화 수단(W22)은 초해상 TV 영상 출력 기판(52)에 최우 복원 화상의 휘도 분포(11)를 전송하는 수단으로서 구성한다.
도 25는, 제1 가속 초해상 처리 프로그램(37)의 구성의 일례 및 이 프로그램을 컴퓨터(48)에 인스톨하는 상황의 일례를 도시한 것이다. 도 25에 있어서, 제1 가속 초해상 처리 프로그램(37)은, TV 영상용 가속 초해상 처리 방법에 따라 처리를 행하는 TV 영상용 가속 초해상 처리 장치(40) 내의 제1 가속 초해상 처리 수단(W21) 내의 모든 수단을 구성하는 TV 영상용 가속 초해상 처리 장치 프로그램(61), TV 영상용 가속 초해상 처리 장치(40)에서의 초해상 처리에 관한 조작을 행하기 위해 이용하는 초해상 처리 윈도우(64)를 작성하여 모니터(59)에 표시하는 초해상 처리 윈도우 작성 프로그램(62) 및 초해상 처리 윈도우(64) 내의 모든 버튼, 컴퓨터(48)의 키보드(65) 버튼, 컴퓨터(48)의 마우스(66)에 의해 지정된 위치 및 그 위치에서의 우측 클릭 및 좌측 클릭을 항상 감시하여 우측 클릭 및 좌측 클릭 등의 감시 대상에의 액션이 있으면 이에 적합한 처리를 실행하는 처리를 초해상 처리 윈도우(64) 내의 닫는 버튼(79)이 눌릴 때까지 행하는 초해상 처리 윈도우 감시 대처 프로그램(63)으로 구성되고, TV 영상용 가속 초해상 처리 장치 프로그램(61), 초해상 처리 윈도우 작성 프로그램(62), 초해상 처리 윈도우 감시 대처 프로그램(63) 순으로 실행된다.
도 25에서, TV 영상용 가속 초해상 처리 장치(40)를 컴퓨터(48)에 구성함에 있어서, 우선, 제1 기억 매체(46)에 기억된 제1 가속 초해상 처리 프로그램(37)을 컴퓨터(48)에 인스톨하고, TV 영상용 가속 초해상 처리 장치(40)를 기동하기 위해 사용하는 TV 영상용 가속 초해상 처리 장치 아이콘(58)을 컴퓨터(48)의 모니터(59) 내의 화면 상에 둔다. 다음으로, 사용자(60)가 TV 영상용 가속 초해상 처리 장치 아이콘(58)을 클릭하여 TV 영상용 가속 초해상 처리 장치(40)를 기동한다. 그러면, 초해상 처리 윈도우(64)가 모니터(59)에 표시되고 사용자(60)로부터의 액션 대기 상태가 되었다.
도 26은, 초해상 처리 윈도우(64)의 구성에 관한 일례를 도시한 것이다. 도 26의 초해상 처리 윈도우(64)는, TV 영상(67) 및 초해상 TV 영상(68) 등을 표시하기 위한 영상 윈도우(69), 현재 일시 및 초해상 조건 및 시스템으로부터의 메시지 등을 표시하기 위한 것으로 상하 스크롤 바가 우단에 설치된 정보 윈도우(70), 열화 지수(2)를 0~255의 256단계 중의 어느 하나를 풀다운 메뉴(본 발명의 풀다운 메뉴에서는 디폴트는 연한 청색 배경으로 표시되어 있음)로부터 하나의 숫자를 지정하여 설정하기 위한 열화 지수 설정 버튼(71), 클릭하면 콤보 박스가 열리므로 리스트 중의 값을 선택하거나 또는 텍스트 박스에 표시되어 있는 디폴트 값의 위로부터 최대 반복 연산 횟수(1)를 직접 입력하여 설정하기 위해 사용하는 최대 반복 연산 횟수 설정 버튼(72), 초해상 처리를 설정된 조건 하에 개시하기 위해 클릭하는 초해상 처리 개시 버튼(73), 초해상 처리를 중단하기 위해 클릭하는 초해상 처리 중단 버튼(74), 중단한 초해상 처리를 재개하기 위한 초해상 처리 재개 버튼(75), 초해상 처리를 정지하기 위해 클릭하는 초해상 처리 정지 버튼(76), 헬프 윈도우를 열고 헬프 내용을 검색 그리고 표시하기 위한 헬프 버튼(77), 영상 윈도우(69) 내의 축소/확대하고자 하는 영상을 클릭하여 지정한 후에 이 버튼 내의 +를 누르면 지정한 영상이 확대되고 -를 누르면 지정한 영상이 확대되고 0을 누르면 디폴트 배율로 복귀하여 지정한 영상이 표시되는 영상 확대/축소 버튼(78), 영상 윈도우(69) 내의 영상의 표시 모드를 반으로 나눈 테스트 모드, TV 영상(67)만을 표시하는 입력 영상 모드 또는 초해상 TV 영상(68)만을 표시하는 초해상 TV 영상 모드 중에서 하나를 풀다운 메뉴로부터 선택하기 위해 사용하는 영상 표시 모드 지정 버튼(56), 초해상 처리 조건의 최대 반복 연산 횟수(1) 및 열화 지수(2)를 초해상 TV 영상(68)의 우측 위 모퉁이에 중첩하여 표시하기 위해 사용하는 토글 스위치의 조건 표시 지정 버튼(57), 초해상 처리 윈도우(64)를 닫기 위해 사용하는 닫는 버튼(79)으로 구성되어 있다. 도 26은, 테스트 모드에서의 영상의 표시 상태를 나타내고 있다.
컴퓨터(34)는, 64비트 인스트럭션 세트 32비트 6코어/칩 CPU(Central Processing Unit), GPU(Graphic Processing Unit), 32G바이트 이상의 메모리, 1테라바이트 이상의 기억용량을 가지는 HDD(Hard Disk Drive), 128G바이트 이상의 기억용량을 가지는 SDD(Solidstate Disk Drive), 3개 이상의 USB 단자, 하나 이상의 LAN(Local Area Network) 단자, WiFi(Wireless Fidelity)나 Bluetooth(등록상표) 등의 무선 통신 모듈, 전화 단자, 키보드(65), 마우스(66), FHD(Full High Definition) 디스플레이, 마이크로소프트사 제품 Windows(등록상표) 8 O/S(Operating System), 마이크로소프트사 제품 Visual Studio 2010(TM)(Visual C++ 2010을 포함함), 마이크로소프트사 제품 Office 2013(TM)으로 구성되고, WiFi, Bluetooth(등록상표), LAN, USB 및 인터넷을 통해 다른 컴퓨터와 통신 가능한 것이다. 컴퓨터(48)로는 양산되어 시장에서 유통되고 있는 많은 종류의 데스크탑형 컴퓨터 중에서 선택한 것을 사용하고 있고, 동일한 규격을 가지는 것이면 워크스테이션으로도 된다. 또한, O/S의 종류가 다르지만, 서버이어도 된다.
도 27은, TV 영상용 가속 초해상 처리 시스템(49)에서 초해상 처리를 실행하는 순서의 일례를 트랜잭션 테이블로서 도시한 것이다. 도 27의 트랜잭션 테이블은, 사용자(60)에 의한 입력 처리를 의미하는 번호가 부여된 실선 화살표, 컴퓨터(48)에 의한 응답을 의미하는 영자가 부여된 점선 화살표, 개시 기호, 종료 기호, 사용자(60) 측의 시간축을 나타내는 굵은 실선 화살표, 컴퓨터(48) 측의 시간축을 나타내는 굵은 점선 화살표로 구성되어 있다.
도 27의 트랜잭션 테이블에 따라, TV 영상용 가속 초해상 처리 시스템(49)에서 초해상 처리를 실행하기까지의 순서는, (1) 「기동」 단계에서, 사용자(60)는 TV 영상용 가속 초해상 처리 장치 아이콘(58)을 클릭하고, 컴퓨터(48)는 (A) 초해상 처리 윈도우(64)를 모니터(59)에 표시하며, (2) 「초해상 처리 조건 입력-1」 단계에서, 사용자(60)는 열화 지수 설정 버튼(71)을 클릭하고, 컴퓨터(48)는 (B) 열화 지수 설정 버튼(71)의 위치에 풀다운 메뉴를 전개 표시하며, (3) 「초해상 처리 조건 입력-2」 단계에서, 사용자(60)는 풀다운 메뉴로부터 적절한 수치를 선택하고, 컴퓨터(48)는 (C) 열화 지수(2)를 도입하고 풀다운 메뉴를 닫으며, (4) 「초해상 처리 조건 입력-3」 단계에서, 사용자(60)는 최대 반복 연산 횟수 설정 버튼(72)을 클릭하고, 컴퓨터(48)는 (D) 최대 반복 연산 횟수 설정 버튼(72)의 위치에 콤보 박스를 전개하며, (5) 「초해상 처리 조건 입력-4」 단계에서, 사용자(60)는 콤보 박스로부터 적절한 수치를 선택 또는 입력하고, 컴퓨터(48)는 (E) 최대 반복 연산 횟수(1)를 도입하고 콤보 박스를 닫으며, (6) 「초해상 처리 조건 입력-5」 단계에서, 사용자(60)는 영상 표시 모드 지정 버튼(56)을 클릭하고, 컴퓨터(48)는 (F) 영상 표시 모드 지정 버튼(56)의 위치에 풀다운 메뉴를 전개하며, (7) 「초해상 처리 조건 입력-6」 단계에서, 사용자(60)는 풀다운 메뉴로부터 적절한 모드를 선택하고, 컴퓨터(48)는 (G) 영상 표시 모드 지정 버튼(56)을 도입하고 풀다운 메뉴를 닫으며, (8) 「초해상 처리 조건 입력-7」 단계에서, 사용자(60)는 조건 표시 지정 버튼(57)을 클릭하고, 컴퓨터(48)는 (H) 조건 표시 지정 버튼(57)의 색을 반전하여 표시 설정인 것을 표시하며, (9) 「초해상 처리 개시」 단계에서, 사용자(60)는 초해상 처리 개시 버튼(73)을 클릭하고, 컴퓨터(48)는 (I) 초해상 처리를 실행하여 초해상 TV 영상(68) 및 TV 영상(67)을 영상 표시 모드 지정 버튼(56) 및 조건 표시 지정 버튼(57)에 따라 영상 윈도우(69)에 반영하여 표시한다.
초해상 처리 윈도우(64)는, 초해상 처리 중이어도 초해상 처리 윈도우(64)의 버튼에의 액세스를 항상 감시하고 있기 때문에, 초해상 처리 조건 변경이라면 사용자(60)는 열화 지수 설정 버튼(71), 최대 반복 연산 횟수 설정 버튼(72), 영상 표시 모드 지정 버튼(56), 조건 표시 지정 버튼(57)을 클릭하여 조건을 재설정하면 영상은 표시된 채로 초해상 처리 조건의 변경이 반영된다. 만약 사용자(60)가 초해상 처리를 종료하고 싶은 경우에는, 사용자(60)는 닫는 버튼(79)을 클릭한다. 그러면, 컴퓨터(48)는 이에 응답하여 초해상 처리 윈도우(64)를 닫고 나아가 TV 영상용 가속 초해상 처리 장치(40)를 닫는다.
도 27의 초해상 처리 순서에 따라, 사용자(60)는 우선 단계(1)를 실행하여 초해상 처리 윈도우(64)를 모니터(59)에 표시시키고, 다음으로 단계(2)를 실행하여 열화 지수 설정 버튼(71)의 위치에 풀다운 메뉴를 전개 표시시키고, 단계(3)에서 TV 영상(67)이 표시되어 있는 지상 디지털 TV(80)를 보면서 TV 영상(67)의 열화 정도가 적다고 느꼈으므로 열화 지수(2)(디폴트 값은 256단계 중의 60)로서 14를 선택하고, 다음으로 단계(4)를 실행하여 최대 반복 연산 횟수 설정 버튼(72)의 위치에 콤보 박스를 전개시키고, 단계(5)에서 TV 영상(67)이 표시되어 있는 지상 디지털 TV(80)를 보면서 TV 영상(67)의 열화 정도가 적다고 느꼈으므로 최대 반복 연산 횟수(1)(디폴트 값은 3)로서 4를 선택하고, 다음으로 단계(6)를 실행하여 영상 표시 모드 지정 버튼(56)의 위치에 풀다운 메뉴를 전개시키고, 단계(7)에서 아직 초해상 처리 조건이 확정되지 않았으므로 테스트 모드를 선택하고, 다음으로 단계(8)를 실행하여 조건 표시 지정 버튼(57)을 표시 설정으로 하고, 다음으로 단계(9)를 실행하여 초해상 처리를 실행하면, 초해상 처리 윈도우(64)의 영상 윈도우(69)에 TV 영상(67)과 초해상 TV 영상(68)이 가로로 나열된 반으로 나눈 상태로 표시되고, 사용자(60)는 이 초해상 처리 조건에서 좋다고 생각하고 지상 디지털 TV(80)를 조작하여 입력 설정을 비디오로 하여 영상 윈도우(69)에 표시되어 있는 영상을 지상 디지털 TV(80)에 전체화면 표시시키고, 다음으로 사용자(60)는 영상 표시 모드 지정 버튼(56)을 조작하여 초해상 TV 영상 모드로 변경하고, 영상 윈도우(69) 및 지상 디지털 TV(80)에 초해상 TV 영상(68)을 전체화면 표시시키고 시청하였다.
도 28은, 실시예 1에 의한 초해상 처리 상황의 일례를 나타내는 도면이다. 도 28에는, 테스트 모드에서의 TV 영상(67)과 초해상 TV 영상(68)이 가로로 나열된 반으로 나눈 상태로 표시된 영상의 1프레임을 표시하고 있다. 반으로 나눈 우측이 초해상 처리 전의 TV 영상(67)의 1프레임이며, 반으로 나눈 좌측은 반으로 나눈 우측의 1프레임을 초해상 처리한 초해상 TV 영상(68)의 1프레임이다. 초해상 TV 영상(68)의 1프레임의 우측 위 모퉁이에는, 열화 지수(2)가 F라는 기호로 표시되고 최대 반복 연산 횟수(1)가 I라는 기호로 표시되고 게다가 영상 표시 모드가 테스트 모드인 것은 테스트라는 약어로 표시되어 있다. 도 28로부터, TV 영상(67)의 표시 개시 위치가 초해상 TV 영상(68)보다 다소 우측으로 벗어나 있지만, 본 발명에 의한 실시예 1의 TV 영상용 가속 초해상 처리 시스템(49)에 의한 초해상 품질은 충분한 실용성을 갖추고 있는 것을 알 수 있다.
본 발명에 의한 TV 영상용 가속 초해상 처리 장치(40)를 구성하는 제1 화상 복원 수단(W20)은, 제2 가속 초해상 처리 프로그램(38)을 이용함으로써 제2 화상 복원 수단(W88)으로 변경할 수 있고, 제3 가속 초해상 처리 프로그램(39)을 이용함으로써 제3 화상 복원 수단(W107)으로 변경할 수 있지만, 컴퓨터(48)에 구성되는 시스템은 TV 영상용 가속 초해상 처리 시스템(49)이다. 제2 화상 복원 수단(W88) 및 제3 화상 복원 수단(W107)은 하드웨어화에 맞는 화상 복원 수단이지만, TV 영상용 가속 초해상 처리 시스템(49)은 신호 처리 부분에 하드웨어를 이용하지만 소프트웨어 베이스이고, 처리 속도에 큰 차이는 없고 처리 품질에는 전혀 차이가 없다.
실시예 2는, 하드웨어화한 제2 화상 복원 수단(W88)을 이용하는 TV 영상용 가속 초해상 처리 장치(40)의 제2 태양을 박스화한 제1 셋톱 박스(81)이다. 제1 셋톱 박스(81)는, PSF 준비 수단(W3-3)이 소프트웨어 정의된 컴퓨터 기판(93)을 사용하는 것 이외의 준비 수단(W19)은 모두 하드웨어이고, 제2 화상 복원 수단(W88)도 하드웨어를 사용하기 때문에 모두가 하드웨어로 구성되어 있다. 이 때문에, 실시예 1의 TV 영상용 가속 초해상 처리 시스템(49)보다 고속 동작이 가능하다. 제1 셋톱 박스(81)의 초해상 품질은, 실시예 1의 TV 영상용 가속 초해상 처리 시스템(49)과 동일하다.
도 29는, 제1 셋톱 박스(81) 내부의 구성에 관한 일례를 나타내는 도면이다. 도 29의 제1 셋톱 박스(81) 내부는, 디지털 TV 영상 신호를 입력/출력하기 위해 이용하는 디지털 TV 영상 신호 입출력 단자(50), TV 영상 입력 기판(51), 초해상 TV 영상 출력 기판(52), 초해상 처리 모드 전환 제어 회로 기판(53), 디지털 TV 영상 케이블(54), 버스 케이블(55), TV 영상(67)의 열화 정도를 나타내는 열화 지수(2)를 설정하기 위해 이용하는 F설정 수단(82), 최대 반복 연산 횟수(1)를 설정하기 위해 이용하는 I설정 수단(83), 초해상 처리 모드를 테스트 또는 본 처리로 전환하는 모드 스위치(84), 초해상 처리의 모드 및 F설정 수단(82) 및 I설정 수단(83)의 값을 TV 영상 신호에 중첩할지 어떨지 지정하는 모니터 스위치(85), 초해상 처리의 모드 및 F설정 수단(82) 및 I설정 수단(83)의 값을 항상 모니터하기 위한 LCD(Liquid Crystal Display) 모니터(86), 제1 셋톱 박스(81)의 전원 온/오프를 행하기 위해 이용하는 전원 스위치(87), 전원 스위치(87)가 온일 때에만 점등하는 LED(Light Emitting Diode) 램프(88), 케이스(89), TV 영상용 가속 초해상 처리 장치(40)의 제2 화상 복원 수단(W88)이 FPGA를 이용하여 제작된 F회로 기판(90), 디지털 TV 영상 신호가 인터레이스 방식인지 프로그레시브 TV 영상 신호인지를 자동으로 판정하여 인터레이스 방식일 때에만 디지털 TV 영상 신호를 프로그레시브 TV 영상 신호로 변환하는 업 컨버터 회로 기판(91), F설정 수단(82)을 이용하여 지정된 열화 지수(2)에 기초하여 HDD(95) 내에 기억된 확대 PSF 데이터베이스(18)를 검색하여 일련의 PSF의 휘도 분포(3)를 출력하는 PSF 준비 수단(W3-3)이 사전에 인스톨된 컴퓨터(92)를 가지는 컴퓨터 기판(93), 컴퓨터(48)에 PSF 준비 수단(W3-3) 내의 모든 수단을 구성하고, 또한 이들 수단의 처리 순서를 기술한 PSF 준비 수단 구성 프로그램(94), HDD(95), 제1 셋톱 박스(81) 내의 필요한 것에 적절한 전원을 제공하는 전원 회로 기판(96), 컴퓨터 기판(93)으로부터 최적의 구동 조건의 제공을 받고 적당량의 풍량으로 방열을 지원하는 방열 팬(97), LAN 단자(98), USB 단자(99~101), 상용 교류 단상 100V 전원 케이블(102), 전원 케이블(103), 신호선(104), 신호선(105)으로 구성되어 있다.
초해상 처리 모드 전환 제어 회로 기판(53)은, 모드 스위치(84) 및 모니터 스위치(85)의 상태를 항상 읽어들이고 자동 판정하여, (모드 1) 만약 모드 스위치(84)가 본 처리 모드이고 모니터 스위치(85)가 중첩이 없는 경우에는, 업 컨버터 회로 기판(91)으로부터 1프레임분의 TV 영상 신호(5)를 수취하여 TV 영상 입력 기판(51)에 출력하고, 초해상 TV 영상 출력 기판(52)으로부터 출력되어 오는 초해상 처리 후의 1프레임분의 초해상 TV 영상 신호(12)를 디지털 TV 영상 신호 입출력 단자(50)에 출력하며, (모드 2) 만약 모드 스위치(84)가 본 처리 모드이고 모니터 스위치(85)가 중첩이 있는 경우에는, 업 컨버터 회로 기판(91)으로부터 1프레임분의 TV 영상 신호(5)를 수취하여 TV 영상 입력 기판(51)에 출력하고, 다음으로 초해상 TV 영상 출력 기판(52)으로부터 출력되어 오는 초해상 처리 후의 1프레임분의 초해상 TV 영상 신호(12)에 컴퓨터 기판(93)으로부터 읽어들인 정보를 우측 위 모퉁이에 중첩하여 디지털 TV 영상 신호 입출력 단자(50)에 출력하며, (모드 3) 만약 모드 스위치(84)가 테스트 모드이고 모니터 스위치(85)가 중첩이 없는 경우에는, 업 컨버터 회로 기판(39)으로부터 1프레임분의 TV 영상 신호(5)를 수취하고 복제하여 한쪽을 TV 영상 입력 기판(51)에 출력함과 동시에 다른 한쪽을 1프레임분 지연시키고, 지연시킨 쪽을 가로폭 1/2로 압축하여 1장의 화면의 우측 절반이 되도록 하고, 나아가 초해상 TV 영상 출력 기판(52)으로부터 출력되어 오는 초해상 처리 후의 1프레임분의 초해상 TV 영상 신호(12)를 가로폭 1/2로 압축하여 1장의 화면의 좌측 절반이 되도록 하여 합성함으로써 1장의 화면의 우측 절반이 초해상 처리 전의 프레임이고 좌측 절반이 초해상 처리 후의 프레임이 되도록 조정한 1프레임분의 TV 영상 신호를 디지털 TV 영상 신호 입출력 단자(50)에 출력하며, (모드 4) 만약 모드 스위치(84)가 테스트 모드이고 모니터 스위치(85)가 중첩이 있는 경우에는, 업 컨버터 회로 기판(91)으로부터 1프레임분의 TV 영상 신호(5)를 수취하고 복제하여 한쪽을 TV 영상 입력 기판(51)에 출력함과 동시에 다른 한쪽을 1프레임분 지연시키고, 지연시킨 쪽을 가로폭 1/2로 압축하여 1장의 화면의 우측 절반이 되도록 하고, 나아가 초해상 TV 영상 출력 기판(52)으로부터 출력되어 오는 초해상 처리 후의 1프레임분의 초해상 TV 영상 신호(12)를 가로폭 1/2로 압축하여 1장의 화면의 좌측 절반이 되도록 하여 합성함으로써 1장의 화면의 우측 절반이 초해상 처리 전의 프레임이고 좌측 절반이 초해상 처리 후의 프레임이 되도록 조정한 1프레임분의 TV 영상 신호에 컴퓨터 기판(93)으로부터 읽어들인 정보를 우측 위 모퉁이에 중첩하여 디지털 TV 영상 신호 입출력 단자(50)에 출력한다.
F설정 수단(82)은, 지상 디지털 TV(80)의 TV 모니터(106)에 비춰지는 TV 영상(67)의 광학적인 열화 정도에 따른 열화 지수(2)를 설정하기 위해 이용하는 것으로, TV 영상용 가속 초해상 처리 장치(40)의 수단(W2)에 상당한다. F설정 수단(82)은 10진수 3자릿수의 숫자를 설정 가능한 비트 스위치이고, 데이터 및 전원은 버스 케이블(55)을 통해 행하고, 또한 설정값이 직접 읽을 수 있는 사양의 것이 적합하다. 이 사양의 것은 시장에서 입수 가능하다.
I설정 수단(83)은, 최대 반복 연산 횟수(1)를 설정하기 위해 이용하는 것으로, 10진수 3자릿수의 숫자를 설정 가능한 비트 스위치이고, 데이터 및 전원은 버스 케이블(55)을 통해 행하고, 또한 설정값이 직접 읽을 수 있는 사양의 것이 적합하다. 이 사양의 것은 시장에서 입수 가능하다.
컴퓨터 기판(93)은 최신 윈도우즈(등록상표) OS계 컴퓨터로서, C++ 언어를 사용 가능한 PC 마더보드이다. PC 마더보드에는 각종 I/O(Input/Output interface), LAN 단자(98), USB 단자(99~101), 마이크 단자, 스피커 단자 등의 외부 접속 단자를 많이 가지고 있고, 또한 가격도 그렇게 고가는 아니기 때문에 실시예 2에는 적합하다. PC 마더보드는 시장에서 많은 종류가 유통되고 있고, 16G바이트 등의 다량의 고속 메모리를 탑재한 하이엔드의 것이면 무엇이든지 좋다. 또한, C++ 언어는 PC 마더보드 구입 후에 인스톨해도 된다.
PSF 준비 수단 구성 프로그램(94)은 C++ 언어로 기술된 프로그램으로, 컴퓨터 기판(93)에 탑재된 CPU가 읽어들여 실행 가능한 것이고, 사전에 인스톨되어 PSF 준비 수단(W3-3)이 컴퓨터 기판(93) 내의 컴퓨터에 정의되고, 나아가 PSF 준비 수단(W3-3)이 참조하는 확대 PSF 데이터베이스(18)가 HDD(95) 내에 구성되고, 그리고 냉각 팬(97)의 제어 시스템이 정의된다. PSF 준비 수단(W3-3) 및 냉각 팬(97)의 제어 시스템은, 전원 스위치(87)가 투입되면 초기화 후에 자동 실행된다. 그러나, 이들 PSF 준비 수단(W3-3) 및 냉각 팬(97)의 제어 시스템은 윈도우즈(등록상표) OS가 제공하는 환경 상에서 가동하고 있고, 윈도우즈(등록상표) OS가 제공하는 다양한 인터페이스나 기능은 그대로 사용 가능하고 LAN이나 USB를 사용한 통신은 항상 사용 가능하다. 또한, 윈도우즈(등록상표) OS가 제공하는 환경 상에서 가동시킴으로써 고도의 제어가 가능해지고, 제1 셋톱 박스(81) 내부의 온도 상승에 따른 고장의 위험이 저감될 수 있다.
HDD(95)에는, PSF 준비 수단 구성 프로그램(94) 및 확대 PSF 데이터베이스(18) 외에 윈도우즈(등록상표) OS(도시생략), C++(도시생략) 등이 탑재되어 있다. HDD(95)는, 1T바이트 이상의 용량의 것이고 랜덤 고속 읽고 쓰기 가능한 것이고 버스 인터페이스 및 8M바이트 이상의 버퍼를 탑재하고 있는 것으로, 데이터 및 신호의 송수신과 전원 공급은 버스 케이블(55)을 통해 행하는 사양의 것이면 무엇이든지 좋다. 시장에는 많은 종류가 있지만, 공간 관계상 2.5인치 크기의 것이 바람직하다.
업 컨버터 회로 기판(91), TV 영상 입력 기판(51), 초해상 TV 영상 출력 기판(52) 및 초해상 처리 모드 전환 제어 회로 기판(53)은 FPGA를 이용하여 자작(自作)할 필요가 있지만, 업 컨버터 회로 기판(91) 및 전원 회로 기판(96)은 설계 제원을 만족시키는 기성품을 시장에서 구입하는 것이 가능하다.
도 30은, 제1 셋톱 박스(81)의 셋업 상황의 일례를 도시한 것이다. 도 30에서, 사용자(60)는 지상 디지털 TV(80)의 디지털 비디오 신호·음성 입출력 단자로부터 연장되는 디지털 신호 케이블(107)을 제1 셋톱 박스(81)의 디지털 TV 영상 신호 입출력 단자(50)에 접속한다.
다음으로, 사용자(60)는 우선 제1 셋톱 박스(81)의 전원 스위치(87)를 온으로 하여 전원을 넣고, 다음으로 지상 디지털 TV(80)의 전원을 넣고, 지상 디지털 TV(80)의 채널 커맨더(108)를 이용하여 원하는 채널에 맞추고 TV 방송 영상을 지상 디지털 TV(80)의 TV 모니터(106)로 확인하면서, 모드 스위치(84)를 테스트로 하고 모니터 스위치(85)를 중첩 있음으로 전환하였다. 그러면, TV 모니터(106)의 우측 절반에 초해상 처리 전의 TV 방송 영상이 흐르고, 그리고 좌측 절반에 디폴트 설정 조건으로 초해상 처리된 후의 TV 방송 영상이 늦지 않게 흐르며, TV 모니터(106)의 우측 위 모퉁이에는 디폴트 설정 조건의 최대 반복 연산 횟수의 「I=6」, 흐려짐 정도 「F=60」, 「테스트 모드」라는 표시가 TV 영상에 중첩되어 있다.
다음으로, 사용자(60)는 프레임 열화가 적었기 때문에, F설정 수단(82)을 이용하여 열화 지수(2)를 디폴트의 256단계 중 60에서 30으로 설정하고, I설정 수단(83)을 이용하여 최대 반복 연산 횟수를 디폴트의 2회 그대로 하여 대략 실시간 처리에 의한 초해상 처리 후의 화질 변화를 TV 모니터(106)로 확인하였다. 이 결과, 큰 화질의 변화는 없고 디폴트 값 이하로 좋은 것을 알 수 있다.
이후, 사용자(60)는 대략 실시간 처리에 의한 초해상 처리 후의 화질 변화를 TV 모니터(106)로 확인하면서, F설정 수단(82) 및 I설정 수단(83)을 변화시켜 최적의 화질 상태를 찾아낼 수 있다. 한번 초해상 처리 조건(F설정 수단(82) 및 I설정 수단(83)의 설정값)이 결정되어 버리면, 모드 스위치(84)를 전환하여 TV 모니터(106)의 화면 전체에서 초해상 처리 후의 TV 방송 영상을 즐길 수 있다. 이 상태이어도 초해상 처리 조건은 변경 가능하다.
도 31은, 본 발명자에 의한 TV 영상용 초해상 처리 방법의 개발 데이터에 기초한 반복 연산 횟수와 LSI 규모 사이의 관계의 일례를 도시한 것이다. TV 영상용 가속 초해상 처리 방법에 따른 TV 영상용 가속 초해상 처리 장치(40)를 응용한 실시예 1의 TV 영상용 가속 초해상 처리 시스템(49) 및 실시예 2의 제1 셋톱 박스(81)의 최대 반복 연산 처리 횟수(1)의 표준은 2회이며, 도 31에서는 좌단의 점에 해당한다. 도 31의 왼쪽에서 2번째 점은, 본 발명자에 의한 종래법의 TV 영상용 초해상 처리 방법에서의 최대 반복 연산 처리 횟수의 표준에 해당하고, 그 횟수는 6회이다. 도 31에서 명백한 바와 같이, 본 발명자에 의한 종래법에서 TV 영상용 가속 초해상 처리 방법으로 변경하면, 반복 연산 처리 횟수는 1/3이 되고, 화상 복원 수단을 FPGA화 및 LSI화하였을 때의 게이트 수는 150만 게이트에서 7만 게이트로 대폭으로 삭감할 수 있다.
도 32는, 본 발명자에 의한 종래법과 TV 영상용 가속 초해상 처리 방법에 따른 초해상 처리 품질의 비교의 일례를 나타내는 도면이다. 도 32의 좌측 화상은 미처리 열화 화상으로, 컬러 표준 화상의 휘도 성분만으로 이루어지는 것이다. 도 32의 중앙 화상은 TV 영상용 가속 초해상 처리 방법에 따른 것으로, 영상이 아니라 프레임 1장 처리로 개조한 제1 셋톱 박스(81)를 사용하여 얻은 것이며, 최대 반복 연산 횟수(1)는 2회이고 열화 지수(2)는 30이다. 도 32의 우측 화상은 본 발명자에 의한 종래법에 따른 것으로, 영상이 아니라 프레임 1장 처리로 개조한 셋톱 박스를 사용하여 얻은 것이며, 최대 반복 연산 횟수(1)는 6회이고 열화 지수(2)는 30이다. 도 32로부터, TV 영상용 가속 초해상 처리 방법에 따른 것이 본 발명자에 의한 종래법에 따른 것보다 초해상 처리 품질이 좋은 것을 알 수 있다. 이 결과는 많은 실험 결과와 일치하고, TV 영상용 가속 초해상 처리 방법의 초해상 처리 품질은 본 발명자에 의한 종래법과 동등 이상인 것의 일례이다.
도 33은, 표준 화상의 열화 정도와 반복 연산 횟수에 따른 초해상 처리 품질 사이의 관계의 일례를 나타내는 도면이다. 열화 지수(2)가 30, 54, 74에 상당하는 열화 정도의 표준 화상을 준비하고, 영상이 아니라 프레임 1장 처리로 개조한 제1 셋톱 박스(81)를 사용하여 TV 영상용 가속 초해상 처리 방법에 의해 최대 반복 연산 횟수(1)를 2회 및 3회로 하여 초해상 처리를 행하였을 때에 얻어진 초해상 처리 화상을 열화 지수(2) 및 최대 반복 연산 횟수(1)에 대해 정리한 것이 도 33이다. 도 33으로부터, 열화 지수(2)가 30~74의 범위이면, 최대 반복 연산 횟수(1)는 최저 2회이면 초해상 처리 품질은 양호하고, 열화 지수(2) 및 최대 반복 연산 횟수(1)에 따른 영향은 무시할 수 있는 것을 알 수 있다. 열화 지수(2)가 30~74의 범위는 현재 지상 디지털 TV 영상에서는 표준으로부터 매우 나쁜 범위에 해당하고, TV 영상용 가속 초해상 처리 방법은 지상 디지털 TV 영상의 처리에 적합한 것을 알 수 있다.
실시예 3은, 본 발명에 의한 TV 영상용 가속 초해상 처리 장치(40)의 제2 화상 복원 수단(88)을 제3 복원 수단으로 변경한 TV 영상용 가속 초해상 처리 장치(40)의 제3 태양을 응용한 제2 셋톱 박스(109)이다. 제2 셋톱 박스(109)의 하드웨어 구성은 제1 셋톱 박스(81)와 완전히 동일하다. 제1 셋톱 박스(81)와 제2 셋톱 박스(109)의 차이는, F회로 기판(90)에 구성된 수단이 제2 화상 복원 수단(W88)에서 제3 화상 복원 수단으로 변경된 것뿐이다. 이 때문에, 도 29를 다시 써서 나타내는 것은 하지 않는다. 또한, 제1 셋톱 박스(81)의 외관과 제2 셋톱 박스(109)의 외관의 차이는 셋톱 박스의 번호뿐이고, 사실상 존재하지 않기 때문에 도 30을 다시 써서 나타내는 것은 하지 않는다. 초해상 처리 품질상 차이도 없고, 도 28에 도시된 것과 동등한 결과를 얻을 수 있다.
본 발명은 TV 영상을 이용하는 것이면 어떠한 용도에도 적용 가능하기 때문에, 비디오 카메라나 디지털 카메라의 개발·제조를 행하는 정밀 기기업 및 전자 기기업, 어플리케이션이나 게임 등의 소프트웨어 개발업, 내시경이나 MRI 등 의료 기기업, 모니터 등의 정보 기기업, 감시 카메라 등의 방재·방범 기기업, 아카이브업 등에서 이용 가능하다.
(1)~(9)…사용자에 의한 입력, (A)~(I)…컴퓨터에 의한 응답, 1…최대 반복 연산 횟수, 2…열화 지수, 3…일련의 PSF, 3…일련의 PSF의 휘도 분포, 4…열화 화상의 휘도 분포, 5…1프레임분의 TV 영상 신호, 6…복원 화상 초기값의 추정 휘도 분포, 7…PSF 크기, 8…보정 복원 화상 초기값의 추정 휘도 분포, 9…PSF의 휘도 분포, 10…복원 화상의 추정 휘도 분포, 11…최우 복원 화상의 휘도 분포, 12…초해상 TV 영상 신호, 13…PSF 데이터베이스, 14…제1번째 PSF의 휘도 분포, 15…PSF 초기값의 휘도 분포, 16…최우 복원 PSF의 휘도 분포, 17…제n번째 PSF의 휘도 분포, 18…확대 PSF 데이터베이스, 19…열화 PSF의 휘도 분포, 20…복원 PSF 초기값의 추정 휘도 분포, 21…보정 복원 PSF 초기값의 추정 휘도 분포, 22…복원 PSF의 추정 휘도 분포, 23…PSF의 휘도 분포(9)의 화상 파일명, 24…제2번째 PSF의 휘도 분포, 25…제n_max 번째 PSF의 휘도 분포, 26…열화 화상 저장용 버퍼, 27…복원 화상 초기값용 버퍼, 28…RGB 신호, 29…나머지 TV 영상 신호, 30…YUV 신호, 31…Y 열화 화상의 휘도 분포, 32…U 열화 화상의 분포, 33…V 열화 화상의 분포, 34…YUV 복원 화상의 분포, 35…RGB 복원 화상의 분포, 36…복원 후, 37…도시생략, 37…제1 가속 초해상 처리 프로그램, 38…제2 가속 초해상 처리 프로그램, 39…제3 가속 초해상 처리 프로그램, 40…TV 영상용 가속 초해상 처리 장치, 41…W22, 42…연산 곤란 영역, 43…제4 가속 초해상 처리 프로그램, 44…제5 가속 초해상 처리 프로그램, 45…제6 가속 초해상 처리 프로그램, 46…제1 기억 매체, 47…제2 기억 매체, 48…컴퓨터, 49…TV 영상용 가속 초해상 처리 시스템, 50…디지털 TV 영상 신호 입출력 단자, 51…TV 영상 입력 기판, 52…초해상 TV 영상 출력 기판, 53…초해상 처리 모드 전환 제어 회로 기판, 54…디지털 TV 영상 케이블, 55…버스 케이블, 56…영상 표시 모드 지정 버튼, 56…도시생략, 57…조건 표시 지정 버튼, 57…도시생략, 58…TV 영상용 가속 초해상 처리 장치 아이콘, 59…모니터, 60…사용자, 61…TV 영상용 가속 초해상 처리 장치 프로그램, 62…초해상 처리 윈도우 작성 프로그램, 63…초해상 처리 윈도우 감시 대처 프로그램, 64…초해상 처리 윈도우, 65…키보드, 66…마우스, 67…TV 영상, 68…초해상 TV 영상, 69…영상 윈도우, 70…정보 윈도우, 71…열화 지수 설정 버튼, 72…최대 반복 연산 횟수 설정 버튼, 73…초해상 처리 개시 버튼, 74…초해상 처리 중단 버튼, 75…초해상 처리 재개 버튼, 76…초해상 처리 정지 버튼, 77…헬프 버튼, 78…영상 확대/축소 버튼, 79…닫는 버튼, 80…지상 디지털 TV, 81…제1 셋톱 박스, 82…F설정 수단, 83…I설정 수단, 84…모드 스위치, 85…모니터 스위치, 86…LCD 모니터, 87…전원 스위치, 88…LED 램프, 89…케이스, 90…F회로 기판, 91…업 컨버터 회로 기판, 92…컴퓨터, 93…도시생략, 94…PSF 준비 수단 구성 프로그램, 95…HDD, 96…전원 회로 기판, 97…방열 팬, 98…LAN 단자, 99…USB 단자, 100…USB 단자, 101…USB 단자, 102…상용 교류 단상 100V 전원 케이블, 103…전원 케이블, 104…신호선, 105…신호선, 106…TV모니터, 106…도시생략, 107…디지털 신호 케이블, 108…채널 커맨더, 109…제2 셋톱 박스, F…열화 지수, FCN13…제13 함수, FCN14…제14 함수, FCN15…제15 함수, FNC16…제16 함수, FNC17…제17 함수, FNC18…제18 함수, FNC19…제19 함수, FNC20…제20 함수, FNC21…제21 함수, FNC22…제22 함수, FNC23…제23 함수, FNC24…제24 함수, I…반복 연산 횟수, S1…공정, S2…열화 지수 지정 공정, S3…PSF 준비 공정, S3-2…PSF 준비 공정 S3의 제2 태양, S3-3…PSF 준비 공정의 제3 태양, S4…열화 화상 준비 공정, S5…복원 화상 초기값 준비 공정, S6…PSF 크기 취득 공정, S7…제1 리셋 공정, S8…공정, S8…제1 복원 화상 초기값 보정 공정, S9…PSF 선정 공정, S10~S18…공정, S19…준비 공정, S20…제1 화상 복원 공정, S21…제1 가속 초해상 처리 공정, S22…TV 영상화 공정, S30~S63…공정, S64…PSF 복원 공정, S65~S76…공정, S80…PSF 제공 공정, S81…제1 단분 화상 복원 공정, S81-1…제1단째의 제1 단분 화상 복원 공정, S81-2…제2단째의 제1 단분 화상 복원 공정, S81-n_max…제n_max단째의 제1 단분 화상 복원 공정, S81-n…제n단째의 제1 단분 화상 복원 공정, S82~S87…공정, S88…제2 화상 복원 공정, S90~S106…공정, S107…제3 화상 복원 공정, S110…RGB 신호 추출 공정, S111…지연 공정, S112…YUV 변환 공정, S113…Y 열화 화상 추출 공정, S114…디감마 처리 공정, S120~S124…공정, W1…수단, W2…열화 지수 지정 수단, W3…PSF 준비 수단, W3-2…PSF 준비 수단 S3의 제2 태양, W3-3…PSF 준비 수단의 제3 태양, W4…열화 화상 준비 수단, W5…복원 화상 초기값 준비 수단, W6…PSF 크기 취득 수단, W7…제1 리셋 수단, W8…수단, W8…제1 복원 화상 초기값 보정 수단, W9…PSF 선정 수단, W10~W18…수단, W19…준비 수단, W20…제1 화상 복원 수단, W21…제1 가속 초해상 처리 수단, W22…TV 영상화 수단, W30~W63…수단, W64…PSF 복원 수단, W70~W80…수단, W81…제1 단분 화상 복원 수단, W81-1…제1단째의 제1 단분 화상 복원 수단, W81-2…제2단째의 제1 단분 화상 복원 수단, W81-n_max…제n_max단째의 제1 단분 화상 복원 수단, W81-n…제n단째의 제1 단분 화상 복원 수단, W82~W87…수단, W88…제2 화상 복원 수단, W90~W106…수단, W107…제3 화상 복원 수단, W110…RGB 신호 추출 수단, W111…지연 수단, W112…YUV 변환 수단, W113…Y 열화 화상 추출 수단, W114…디감마 처리 수단, W120~W124…수단
Claims (27)
1프레임분의 TV 영상 신호에 포함되는 프레임으로부터 광학적 열화를 저감하여 열화 전의 1프레임분의 TV 영상 신호를 복원하는 TV 영상용 가속 초해상 처리 방법으로서,
(S1) 최대 반복 연산 횟수를 설정하는 공정;
(S2) 상기 TV 영상의 열화 지수를 지정하는 열화 지수 지정 공정;
(S3) 상기 열화 지수에 관련된 제1번째 PSF(Point Spread Function)의 휘도 분포 및 반복 연산 횟수에 관련지어 정리된 일련의 PSF의 휘도 분포를 준비하는 PSF 준비 공정;
(S4) 1프레임분의 휘도 분포로 이루어지는 열화 화상의 휘도 분포를 1프레임분의 TV 영상 신호로부터 준비하는 열화 화상 준비 공정;
(S5) 상기 열화 화상의 휘도 분포를 복원 화상 초기값의 추정 휘도 분포로 이루는 복원 화상 초기값 준비 공정;
(S6) 상기 일련의 PSF의 휘도 분포는 서로 동일한 화상 크기이고, 이 화상 크기를 PSF 크기라고 부를 때, 이 PSF 크기를 구하는 PSF 크기 취득 공정;
(S7) 반복 연산 횟수를 계수하는 카운터에 1을 설정하는 제1 리셋 공정;
(S8) 상기 복원 화상 초기값의 추정 휘도 분포를 복사하여 이를 보정 복원 화상 초기값의 추정 휘도 분포로 이루고, 나아가 상기 보정 복원 화상 초기값의 추정 휘도 분포를 PSF 크기를 기초로 하여 보정하는 제1 복원 화상 초기값 보정 공정;
(S9) 상기 일련의 PSF의 휘도 분포로부터 상기 카운터의 값에 관련된 하나를 선택하여 이를 PSF의 휘도 분포로 이루는 PSF 선정 공정;
(S10) 상기 보정 복원 화상 초기값의 추정 휘도 분포에 상기 PSF의 휘도 분포를 컨볼루션하여 제1 함수를 얻는 공정;
(S11) 상기 제1 함수를 반전하여 제2 함수를 얻는 공정;
(S12) 상기 제2 함수에 상기 열화 화상의 휘도 분포를 곱하여 제3 함수를 얻는 공정;
(S13) 상기 제3 함수를 상기 복원 화상 초기값의 추정 휘도 분포에 곱하여 복원 화상의 추정 휘도 분포를 얻는 공정;
(S14) 상기 카운터에 1을 가산하는 공정;
(S15) 상기 카운터의 값이 상기 최대 반복 연산 횟수 이상이라는 가설을 검증하여, 만약 검증 결과가 거짓이면 (S16)의 공정으로 진행되지만, 상기 검증 결과가 진실이면 공정(S18)으로 진행되는 공정;
(S16) 상기 복원 화상의 추정 휘도 분포를 상기 복원 화상 초기값의 추정 휘도 분포와 바꾸는 공정;
(S17) (S8)의 공정으로 되돌아가는 공정;
(S18) 상기 복원 화상의 추정 휘도 분포를 최우 복원 화상의 휘도 분포로서 출력하는 공정; 및
(S22) 상기 최우 복원 화상의 휘도 분포를 1프레임분의 TV 영상 신호로 이루고 이를 초해상 TV 영상 신호로서 출력하는 TV 영상화 공정;
을 구비하는 것에 특징이 있는 TV 영상용 가속 초해상 처리 방법.
(S1) 최대 반복 연산 횟수를 설정하는 공정;
(S2) 상기 TV 영상의 열화 지수를 지정하는 열화 지수 지정 공정;
(S3) 상기 열화 지수에 관련된 제1번째 PSF(Point Spread Function)의 휘도 분포 및 반복 연산 횟수에 관련지어 정리된 일련의 PSF의 휘도 분포를 준비하는 PSF 준비 공정;
(S4) 1프레임분의 휘도 분포로 이루어지는 열화 화상의 휘도 분포를 1프레임분의 TV 영상 신호로부터 준비하는 열화 화상 준비 공정;
(S5) 상기 열화 화상의 휘도 분포를 복원 화상 초기값의 추정 휘도 분포로 이루는 복원 화상 초기값 준비 공정;
(S6) 상기 일련의 PSF의 휘도 분포는 서로 동일한 화상 크기이고, 이 화상 크기를 PSF 크기라고 부를 때, 이 PSF 크기를 구하는 PSF 크기 취득 공정;
(S7) 반복 연산 횟수를 계수하는 카운터에 1을 설정하는 제1 리셋 공정;
(S8) 상기 복원 화상 초기값의 추정 휘도 분포를 복사하여 이를 보정 복원 화상 초기값의 추정 휘도 분포로 이루고, 나아가 상기 보정 복원 화상 초기값의 추정 휘도 분포를 PSF 크기를 기초로 하여 보정하는 제1 복원 화상 초기값 보정 공정;
(S9) 상기 일련의 PSF의 휘도 분포로부터 상기 카운터의 값에 관련된 하나를 선택하여 이를 PSF의 휘도 분포로 이루는 PSF 선정 공정;
(S10) 상기 보정 복원 화상 초기값의 추정 휘도 분포에 상기 PSF의 휘도 분포를 컨볼루션하여 제1 함수를 얻는 공정;
(S11) 상기 제1 함수를 반전하여 제2 함수를 얻는 공정;
(S12) 상기 제2 함수에 상기 열화 화상의 휘도 분포를 곱하여 제3 함수를 얻는 공정;
(S13) 상기 제3 함수를 상기 복원 화상 초기값의 추정 휘도 분포에 곱하여 복원 화상의 추정 휘도 분포를 얻는 공정;
(S14) 상기 카운터에 1을 가산하는 공정;
(S15) 상기 카운터의 값이 상기 최대 반복 연산 횟수 이상이라는 가설을 검증하여, 만약 검증 결과가 거짓이면 (S16)의 공정으로 진행되지만, 상기 검증 결과가 진실이면 공정(S18)으로 진행되는 공정;
(S16) 상기 복원 화상의 추정 휘도 분포를 상기 복원 화상 초기값의 추정 휘도 분포와 바꾸는 공정;
(S17) (S8)의 공정으로 되돌아가는 공정;
(S18) 상기 복원 화상의 추정 휘도 분포를 최우 복원 화상의 휘도 분포로서 출력하는 공정; 및
(S22) 상기 최우 복원 화상의 휘도 분포를 1프레임분의 TV 영상 신호로 이루고 이를 초해상 TV 영상 신호로서 출력하는 TV 영상화 공정;
을 구비하는 것에 특징이 있는 TV 영상용 가속 초해상 처리 방법.
청구항 1에 있어서,
상기 PSF 준비 공정의 제2 태양은,
(S30) 상기 열화 지수를 검색 정보로서 열화 지수에 대해 PSF의 휘도 분포를 1대1로 관련지어 정리하여 작성된 PSF 데이터베이스를 검색하고, 히트한 PSF의 휘도 분포를 제1번째 PSF의 휘도 분포로 이루는 공정;
(S31) 수를 계수하는 제2 카운터에 1을 입력하여 리셋하는 공정;
(S32) 상기 제1번째 PSF의 휘도 분포를 PSF 초기값의 휘도 분포로 이루는 공정;
(S33) 상기 제2 카운터에 1을 가산하는 공정;
(S34) 상기 제2 카운터의 값이 상기 최대 반복 연산 횟수를 넘었다는 가설을 검증하여, 만약 검증 결과가 거짓이면 (S35)의 공정으로 진행되고, 만약 검증 결과가 진실이면 (S38)의 공정으로 점프하는 공정;
(S35) PSF 초기값의 휘도 분포를 PSF 복원 공정에 의해 복원함으로써 최우 복원 PSF의 휘도 분포를 얻는 공정;
(S36) 상기 제2 카운터의 값을 n으로 할 때, 상기 최우 복원 PSF의 휘도 분포를 제n번째 PSF의 휘도 분포로 이루는 공정;
(S37) (S33)의 공정으로 되돌아가는 공정; 및
(S38) 상기 최대 반복 연산 횟수를 n_max로 하고, 상기 n_max 미만의 자연수를 n으로 할 때, 상기 제1번째 PSF의 휘도 분포로부터 n_max번째 PSF의 휘도 분포까지를 이 순서로 나열하여 일련의 PSF의 휘도 분포로 하고, 이 일련의 PSF의 휘도 분포에 상기 열화 지수를 라벨로서 붙여 상기 열화 지수에 관련된 상기 일련의 PSF의 휘도 분포로 이루는 공정;
을 구비하는 것에 특징이 있는 TV 영상용 가속 초해상 처리 방법.
상기 PSF 준비 공정의 제2 태양은,
(S30) 상기 열화 지수를 검색 정보로서 열화 지수에 대해 PSF의 휘도 분포를 1대1로 관련지어 정리하여 작성된 PSF 데이터베이스를 검색하고, 히트한 PSF의 휘도 분포를 제1번째 PSF의 휘도 분포로 이루는 공정;
(S31) 수를 계수하는 제2 카운터에 1을 입력하여 리셋하는 공정;
(S32) 상기 제1번째 PSF의 휘도 분포를 PSF 초기값의 휘도 분포로 이루는 공정;
(S33) 상기 제2 카운터에 1을 가산하는 공정;
(S34) 상기 제2 카운터의 값이 상기 최대 반복 연산 횟수를 넘었다는 가설을 검증하여, 만약 검증 결과가 거짓이면 (S35)의 공정으로 진행되고, 만약 검증 결과가 진실이면 (S38)의 공정으로 점프하는 공정;
(S35) PSF 초기값의 휘도 분포를 PSF 복원 공정에 의해 복원함으로써 최우 복원 PSF의 휘도 분포를 얻는 공정;
(S36) 상기 제2 카운터의 값을 n으로 할 때, 상기 최우 복원 PSF의 휘도 분포를 제n번째 PSF의 휘도 분포로 이루는 공정;
(S37) (S33)의 공정으로 되돌아가는 공정; 및
(S38) 상기 최대 반복 연산 횟수를 n_max로 하고, 상기 n_max 미만의 자연수를 n으로 할 때, 상기 제1번째 PSF의 휘도 분포로부터 n_max번째 PSF의 휘도 분포까지를 이 순서로 나열하여 일련의 PSF의 휘도 분포로 하고, 이 일련의 PSF의 휘도 분포에 상기 열화 지수를 라벨로서 붙여 상기 열화 지수에 관련된 상기 일련의 PSF의 휘도 분포로 이루는 공정;
을 구비하는 것에 특징이 있는 TV 영상용 가속 초해상 처리 방법.
청구항 1에 있어서,
상기 PSF 준비 공정의 제3 태양은,
(S40) 상기 최대 반복 연산 횟수를 5로 설정하는 공정;
(S41) 상기 열화 지수를 검색 정보로서 열화 지수에 대해 PSF의 휘도 분포를 1대1로 관련지어 정리하여 작성된 PSF 데이터베이스 내의 모든 열화 지수와 이에 관련된 PSF의 휘도 분포의 페어 모두에 대해 사전에 상기 PSF 준비 공정을 실행하여 상기 열화 지수마다 일련의 PSF의 휘도 분포를 얻고, 이들 상기 열화 지수마다의 일련의 PSF의 휘도 분포를 편집함으로써, 열화 지수에 대해 일련의 PSF의 휘도 분포를 관련지어 정리한 확대 PSF 데이터베이스를 준비하는 공정; 및
(S42) 상기 열화 지수를 이용하여 상기 확대 PSF 데이터베이스를 검색하고 히트한 일련의 PSF의 휘도 분포를 취득하여 이를 출력하는 공정;
을 구비하는 것에 특징이 있는 TV 영상용 가속 초해상 처리 방법.
상기 PSF 준비 공정의 제3 태양은,
(S40) 상기 최대 반복 연산 횟수를 5로 설정하는 공정;
(S41) 상기 열화 지수를 검색 정보로서 열화 지수에 대해 PSF의 휘도 분포를 1대1로 관련지어 정리하여 작성된 PSF 데이터베이스 내의 모든 열화 지수와 이에 관련된 PSF의 휘도 분포의 페어 모두에 대해 사전에 상기 PSF 준비 공정을 실행하여 상기 열화 지수마다 일련의 PSF의 휘도 분포를 얻고, 이들 상기 열화 지수마다의 일련의 PSF의 휘도 분포를 편집함으로써, 열화 지수에 대해 일련의 PSF의 휘도 분포를 관련지어 정리한 확대 PSF 데이터베이스를 준비하는 공정; 및
(S42) 상기 열화 지수를 이용하여 상기 확대 PSF 데이터베이스를 검색하고 히트한 일련의 PSF의 휘도 분포를 취득하여 이를 출력하는 공정;
을 구비하는 것에 특징이 있는 TV 영상용 가속 초해상 처리 방법.
청구항 2에 있어서,
상기 PSF 복원 공정은,
(S50) 상기 최대 반복 연산 횟수에 6을 대입하는 공정;
(S51) 상기 PSF 초기값의 휘도 분포를 열화된 화상의 휘도 분포로 하여 열화 PSF의 휘도 분포로 이루는 공정;
(S52) 상기 PSF 초기값의 휘도 분포를 복원 PSF 초기값의 추정 휘도 분포로 이루는 공정;
(S53) 상기 카운터에 1을 대입하여 리셋하는 공정;
(S54) 상기 복원 PSF 초기값의 추정 휘도 분포를 보정 복원 PSF 초기값의 추정 휘도 분포로 이루고, 나아가 상기 PSF 초기값의 휘도 분포를 상기 보정 복원 PSF 초기값의 추정 휘도 분포에 컨볼루션하여 연산할 때에 상기 보정 복원 PSF 초기값의 추정 휘도 분포의 주변부에 발생하는 연산 곤란 영역을 상기 PSF 초기값의 휘도 분포의 화상 크기를 기초로 하여 계산하고, 상변 경계에 관한 상기 연산 곤란 영역의 화소를 카피하고, 이 카피한 화소를 상기 보정 복원 PSF 초기값의 추정 휘도 분포의 상변 경계의 외측에 상기 상변 경계에 대해 미러 대칭이 되도록 배치하도록 페이스트하고, 마찬가지로 하여 우측 방향으로 우변 다음으로 하변 마지막으로 좌변에 관해 행하고, 상기 보정 복원 PSF 초기값의 추정 휘도 분포를 보정하는 복원 PSF 초기값 보정 공정;
(S55) 상기 PSF 초기값의 휘도 분포를 상기 보정 복원 PSF 초기값의 추정 휘도 분포에 컨볼루션하여 제4 함수를 얻는 공정;
(S56) 상기 제4 함수를 반전하여 제5 함수를 얻는 공정;
(S57) 상기 제5 함수를 상기 열화 PSF의 휘도 분포에 곱하여 제6 함수를 얻는 공정;
(S58) 상기 제6 함수를 상기 복원 PSF 초기값의 추정 휘도 분포에 곱하여 복원 PSF의 추정 휘도 분포를 얻는 공정;
(S59) 상기 카운터에 1을 가산하는 공정;
(S60) 상기 카운터의 값이 상기 최대 반복 연산 횟수를 넘었다는 가설을 검증하여, 만약 검증 결과가 거짓이면 (S61)의 공정으로 진행되고, 만약 검증 결과가 진실이면 (S63)의 공정으로 점프하는 공정;
(S61) 상기 복원 PSF의 추정 휘도 분포를 상기 복원 PSF 초기값의 추정 휘도 분포와 바꾸는 공정;
(S62) (S54)의 공정으로 점프하는 공정; 및
(S63) 상기 복원 PSF의 추정 휘도 분포를 최우 복원 PSF의 휘도 분포로서 출력하는 공정;
을 구비하는 것에 특징이 있는 TV 영상용 가속 초해상 처리 방법.
상기 PSF 복원 공정은,
(S50) 상기 최대 반복 연산 횟수에 6을 대입하는 공정;
(S51) 상기 PSF 초기값의 휘도 분포를 열화된 화상의 휘도 분포로 하여 열화 PSF의 휘도 분포로 이루는 공정;
(S52) 상기 PSF 초기값의 휘도 분포를 복원 PSF 초기값의 추정 휘도 분포로 이루는 공정;
(S53) 상기 카운터에 1을 대입하여 리셋하는 공정;
(S54) 상기 복원 PSF 초기값의 추정 휘도 분포를 보정 복원 PSF 초기값의 추정 휘도 분포로 이루고, 나아가 상기 PSF 초기값의 휘도 분포를 상기 보정 복원 PSF 초기값의 추정 휘도 분포에 컨볼루션하여 연산할 때에 상기 보정 복원 PSF 초기값의 추정 휘도 분포의 주변부에 발생하는 연산 곤란 영역을 상기 PSF 초기값의 휘도 분포의 화상 크기를 기초로 하여 계산하고, 상변 경계에 관한 상기 연산 곤란 영역의 화소를 카피하고, 이 카피한 화소를 상기 보정 복원 PSF 초기값의 추정 휘도 분포의 상변 경계의 외측에 상기 상변 경계에 대해 미러 대칭이 되도록 배치하도록 페이스트하고, 마찬가지로 하여 우측 방향으로 우변 다음으로 하변 마지막으로 좌변에 관해 행하고, 상기 보정 복원 PSF 초기값의 추정 휘도 분포를 보정하는 복원 PSF 초기값 보정 공정;
(S55) 상기 PSF 초기값의 휘도 분포를 상기 보정 복원 PSF 초기값의 추정 휘도 분포에 컨볼루션하여 제4 함수를 얻는 공정;
(S56) 상기 제4 함수를 반전하여 제5 함수를 얻는 공정;
(S57) 상기 제5 함수를 상기 열화 PSF의 휘도 분포에 곱하여 제6 함수를 얻는 공정;
(S58) 상기 제6 함수를 상기 복원 PSF 초기값의 추정 휘도 분포에 곱하여 복원 PSF의 추정 휘도 분포를 얻는 공정;
(S59) 상기 카운터에 1을 가산하는 공정;
(S60) 상기 카운터의 값이 상기 최대 반복 연산 횟수를 넘었다는 가설을 검증하여, 만약 검증 결과가 거짓이면 (S61)의 공정으로 진행되고, 만약 검증 결과가 진실이면 (S63)의 공정으로 점프하는 공정;
(S61) 상기 복원 PSF의 추정 휘도 분포를 상기 복원 PSF 초기값의 추정 휘도 분포와 바꾸는 공정;
(S62) (S54)의 공정으로 점프하는 공정; 및
(S63) 상기 복원 PSF의 추정 휘도 분포를 최우 복원 PSF의 휘도 분포로서 출력하는 공정;
을 구비하는 것에 특징이 있는 TV 영상용 가속 초해상 처리 방법.
청구항 1에 있어서,
상기 제1 복원 화상 초기값 보정 공정은,
(S70) 상기 복원 화상 초기값의 추정 휘도 분포를 보정 복원 화상 초기값의 추정 휘도 분포로 이루는 공정;
(S71) 상기 PSF 크기를 기초로 상기 일련의 PSF의 휘도 분포 중 어느 하나를 상기 보정 복원 화상 초기값의 추정 휘도 분포에 컨볼루션하여 연산할 때에 상기 보정 복원 화상 초기값의 추정 휘도 분포의 주변부에 발생하는 연산 곤란 영역을 계산하는 공정;
(S72) 상기 보정 복원 화상 초기값의 추정 휘도 분포의 상기 연산 곤란 영역 내의 화소를 카피하고, 이 카피한 화소를 상기 보정 복원 화상 초기값의 추정 휘도 분포의 4변에 대해 미러 대칭이 되도록 각각 반전시키고 나아가 상기 보정 복원 화상 초기값의 추정 휘도 분포의 4변의 경계 외측에 배치하도록 페이스트하여 보정하는 공정;
(S73) 상기 보정 복원 화상 초기값의 추정 휘도 분포의 상기 연산 곤란 영역 내의 좌측 위 모퉁이부의 화소를 카피하고, 이 카피한 좌측 위 모퉁이부의 화소를 상기 좌측 위 모퉁이의 정점을 회전 중심으로 하여 180도 회전시키고, 상기 보정 복원 화상 초기값의 추정 휘도 분포의 좌측 위 모퉁이부에 발생하는 공백 영역에 페이스트하여 보정하는 공정;
(S74) 상기 보정 복원 화상 초기값의 추정 휘도 분포의 상기 연산 곤란 영역 내의 우측 위 모퉁이부의 화소를 카피하고, 이 카피한 우측 위 모퉁이부의 화소를 상기 우측 위 모퉁이의 정점을 회전 중심으로 하여 180도 회전시키고, 상기 보정 복원 화상 초기값의 추정 휘도 분포의 우측 위 모퉁이부에 발생하는 공백 영역에 페이스트하여 보정하는 공정;
(S75) 상기 보정 복원 화상 초기값의 추정 휘도 분포의 상기 연산 곤란 영역 내의 좌측 아래 모퉁이부의 화소를 카피하고, 이 카피한 좌측 아래 모퉁이부의 화소를 상기 좌측 위 모퉁이의 정점을 회전 중심으로 하여 180도 회전시키고, 상기 보정 복원 화상 초기값의 추정 휘도 분포의 좌측 아래 모퉁이부에 발생하는 공백 영역에 페이스트하여 보정하는 공정; 및
(S76) 상기 보정 복원 화상 초기값의 추정 휘도 분포의 상기 연산 곤란 영역 내의 우측 아래 모퉁이부의 화소를 카피하고, 이 카피한 우측 아래 모퉁이부의 화소를 상기 우측 위 모퉁이의 정점을 회전 중심으로 하여 180도 회전시키고, 상기 보정 복원 화상 초기값의 추정 휘도 분포의 우측 아래 모퉁이부에 발생하는 공백 영역에 페이스트하여 보정하는 공정;
을 구비하는 것에 특징이 있는 TV 영상용 가속 초해상 처리 방법.
상기 제1 복원 화상 초기값 보정 공정은,
(S70) 상기 복원 화상 초기값의 추정 휘도 분포를 보정 복원 화상 초기값의 추정 휘도 분포로 이루는 공정;
(S71) 상기 PSF 크기를 기초로 상기 일련의 PSF의 휘도 분포 중 어느 하나를 상기 보정 복원 화상 초기값의 추정 휘도 분포에 컨볼루션하여 연산할 때에 상기 보정 복원 화상 초기값의 추정 휘도 분포의 주변부에 발생하는 연산 곤란 영역을 계산하는 공정;
(S72) 상기 보정 복원 화상 초기값의 추정 휘도 분포의 상기 연산 곤란 영역 내의 화소를 카피하고, 이 카피한 화소를 상기 보정 복원 화상 초기값의 추정 휘도 분포의 4변에 대해 미러 대칭이 되도록 각각 반전시키고 나아가 상기 보정 복원 화상 초기값의 추정 휘도 분포의 4변의 경계 외측에 배치하도록 페이스트하여 보정하는 공정;
(S73) 상기 보정 복원 화상 초기값의 추정 휘도 분포의 상기 연산 곤란 영역 내의 좌측 위 모퉁이부의 화소를 카피하고, 이 카피한 좌측 위 모퉁이부의 화소를 상기 좌측 위 모퉁이의 정점을 회전 중심으로 하여 180도 회전시키고, 상기 보정 복원 화상 초기값의 추정 휘도 분포의 좌측 위 모퉁이부에 발생하는 공백 영역에 페이스트하여 보정하는 공정;
(S74) 상기 보정 복원 화상 초기값의 추정 휘도 분포의 상기 연산 곤란 영역 내의 우측 위 모퉁이부의 화소를 카피하고, 이 카피한 우측 위 모퉁이부의 화소를 상기 우측 위 모퉁이의 정점을 회전 중심으로 하여 180도 회전시키고, 상기 보정 복원 화상 초기값의 추정 휘도 분포의 우측 위 모퉁이부에 발생하는 공백 영역에 페이스트하여 보정하는 공정;
(S75) 상기 보정 복원 화상 초기값의 추정 휘도 분포의 상기 연산 곤란 영역 내의 좌측 아래 모퉁이부의 화소를 카피하고, 이 카피한 좌측 아래 모퉁이부의 화소를 상기 좌측 위 모퉁이의 정점을 회전 중심으로 하여 180도 회전시키고, 상기 보정 복원 화상 초기값의 추정 휘도 분포의 좌측 아래 모퉁이부에 발생하는 공백 영역에 페이스트하여 보정하는 공정; 및
(S76) 상기 보정 복원 화상 초기값의 추정 휘도 분포의 상기 연산 곤란 영역 내의 우측 아래 모퉁이부의 화소를 카피하고, 이 카피한 우측 아래 모퉁이부의 화소를 상기 우측 위 모퉁이의 정점을 회전 중심으로 하여 180도 회전시키고, 상기 보정 복원 화상 초기값의 추정 휘도 분포의 우측 아래 모퉁이부에 발생하는 공백 영역에 페이스트하여 보정하는 공정;
을 구비하는 것에 특징이 있는 TV 영상용 가속 초해상 처리 방법.
청구항 1에 있어서,
상기 (S8)~(S18)로 구성된 제1 화상 복원 공정의 제2 태양은,
(S80) 상기 최대 반복 연산 횟수를 n_max로 하고, 상기 n_max 미만의 자연수를 n으로 할 때, 일련의 PSF의 휘도 분포 중에서 제n번째 PSF의 휘도 분포를 PSF의 휘도 분포로 하여 제n단째의 제1 단분 화상 복원 공정에 제공하는 PSF 제공 공정; 및
(S81) 상기 PSF의 휘도 분포, 상기 복원 화상 초기값의 추정 휘도 분포 및 상기 열화 화상의 휘도 분포로부터 Bayse 확률론적 수학식에 기초한 반복 연산 중의 1회분에 상당하는 연산을 행하고, 상기 열화 화상의 휘도 분포에 가장 그럴듯한 복원 화상의 추정 휘도 분포를 구하여 이를 출력하는 제1 단분 화상 복원 공정;
을 구비하고,
이 제1 단분 화상 복원 공정 S81은,
(S82) 상기 PSF 크기에 기초하여 상기 복원 화상 초기값의 추정 휘도 분포를 보정하여 보정 복원 화상 초기값의 추정 휘도 분포를 구하는 상기 제1 복원 화상 초기값 보정 공정과 동일한 처리 순서로 이루어지는 제2 복원 화상 초기값 보정 공정;
(S83) 상기 PSF의 휘도 분포를 상기 보정 복원 화상 초기값의 추정 휘도 분포에 컨볼루션하여 제7 함수를 얻는 공정;
(S84) 상기 제7 함수를 반전하여 제8 함수를 얻는 공정;
(S85) 상기 제8 함수를 상기 열화 화상의 휘도 분포에 곱하여 제9 함수를 얻는 공정;
(S86) 상기 제9 함수를 상기 복원 화상 초기값의 추정 휘도 분포에 곱하여 복원 화상의 추정 휘도 분포를 얻는 공정; 및
(S87) 상기 복원 화상의 추정 휘도 분포를 출력하는 공정;
을 구비하고,
(S88) 제n단째의 제1 단분 화상 복원 공정 S81-n의 (S87) 공정의 출력을 제(n+1)단째의 제1 단분 화상 복원 공정 S81-(n+1)의 (S82) 공정에 접속함으로써 구성되는 상기 n_max단의 직렬 연결체로 이루어지는 제2 화상 복원 공정으로, 이 제2 화상 복원 공정 S88에 있어서 직렬 접속된 제1 단분 화상 복원 공정 S81의 수인 상기 n_max회의 반복 연산을 행하고, 상기 n_max단째의 제1 단분 화상 복원 공정 S81-n_max로부터 출력되는 복원 화상의 추정 휘도 분포를 최우 복원 화상의 휘도 분포로서 출력하는 것에 특징이 있는 TV 영상용 가속 초해상 처리 방법.
상기 (S8)~(S18)로 구성된 제1 화상 복원 공정의 제2 태양은,
(S80) 상기 최대 반복 연산 횟수를 n_max로 하고, 상기 n_max 미만의 자연수를 n으로 할 때, 일련의 PSF의 휘도 분포 중에서 제n번째 PSF의 휘도 분포를 PSF의 휘도 분포로 하여 제n단째의 제1 단분 화상 복원 공정에 제공하는 PSF 제공 공정; 및
(S81) 상기 PSF의 휘도 분포, 상기 복원 화상 초기값의 추정 휘도 분포 및 상기 열화 화상의 휘도 분포로부터 Bayse 확률론적 수학식에 기초한 반복 연산 중의 1회분에 상당하는 연산을 행하고, 상기 열화 화상의 휘도 분포에 가장 그럴듯한 복원 화상의 추정 휘도 분포를 구하여 이를 출력하는 제1 단분 화상 복원 공정;
을 구비하고,
이 제1 단분 화상 복원 공정 S81은,
(S82) 상기 PSF 크기에 기초하여 상기 복원 화상 초기값의 추정 휘도 분포를 보정하여 보정 복원 화상 초기값의 추정 휘도 분포를 구하는 상기 제1 복원 화상 초기값 보정 공정과 동일한 처리 순서로 이루어지는 제2 복원 화상 초기값 보정 공정;
(S83) 상기 PSF의 휘도 분포를 상기 보정 복원 화상 초기값의 추정 휘도 분포에 컨볼루션하여 제7 함수를 얻는 공정;
(S84) 상기 제7 함수를 반전하여 제8 함수를 얻는 공정;
(S85) 상기 제8 함수를 상기 열화 화상의 휘도 분포에 곱하여 제9 함수를 얻는 공정;
(S86) 상기 제9 함수를 상기 복원 화상 초기값의 추정 휘도 분포에 곱하여 복원 화상의 추정 휘도 분포를 얻는 공정; 및
(S87) 상기 복원 화상의 추정 휘도 분포를 출력하는 공정;
을 구비하고,
(S88) 제n단째의 제1 단분 화상 복원 공정 S81-n의 (S87) 공정의 출력을 제(n+1)단째의 제1 단분 화상 복원 공정 S81-(n+1)의 (S82) 공정에 접속함으로써 구성되는 상기 n_max단의 직렬 연결체로 이루어지는 제2 화상 복원 공정으로, 이 제2 화상 복원 공정 S88에 있어서 직렬 접속된 제1 단분 화상 복원 공정 S81의 수인 상기 n_max회의 반복 연산을 행하고, 상기 n_max단째의 제1 단분 화상 복원 공정 S81-n_max로부터 출력되는 복원 화상의 추정 휘도 분포를 최우 복원 화상의 휘도 분포로서 출력하는 것에 특징이 있는 TV 영상용 가속 초해상 처리 방법.
청구항 1에 있어서,
상기 (S8)~(S18)로 구성된 제1 화상 복원 공정의 제3 태양은,
(S90) 상기 카운터에 0을 대입함으로써 리셋하는 공정;
(S91) 제2 카운터에 1을 대입함으로써 리셋하는 공정;
(S92) 상기 카운터의 값이 0 이외라는 가설을 검증하여, 만약 검증 결과가 거짓이면 (S93)의 공정으로 진행되고, 만약 검증 결과가 진실이면 (S96)의 공정으로 점프하는 공정;
(S93) 상기 열화 화상의 휘도 분포를 열화 화상 저장용 버퍼 및 복원 화상 초기값용 버퍼에 전송하는 공정;
(S94) (S96)의 공정으로 점프하는 공정;
(S95) (S102) 공정의 복원 화상의 추정 휘도 분포를 상기 복원 화상 초기값용 버퍼에 전송하는 공정;
(S96) 제2 카운터의 값을 m으로 할 때, 일련의 PSF의 휘도 분포 내의 제m번째 PSF의 휘도 분포를 PSF의 휘도 분포로 이루는 공정;
(S97) 상기 복원 화상 초기값용 버퍼로부터 복원 화상 초기값의 추정 휘도 분포를 읽어들이는 공정;
(S98) 상기 PSF 크기에 기초하여 상기 복원 화상 초기값의 추정 휘도 분포를 보정하고 이를 보정 복원 화상 초기값의 추정 휘도 분포로 이루는 상기 제1 복원 화상 초기값 보정 공정과 동일한 처리 순서로 이루어지는 제3 복원 화상 초기값 보정 공정;
(S99) 상기 PSF의 휘도 분포를 상기 보정 복원 화상 초기값의 추정 휘도 분포에 컨볼루션하여 제10 함수를 얻는 공정;
(S100) 상기 제10 함수를 반전하여 제11 함수를 얻는 공정;
(S101) 상기 열화 화상의 휘도 분포를 상기 열화 화상 저장용 버퍼로부터 읽어들이고, 이에 상기 제11 함수를 곱하여 제12 함수를 얻는 공정;
(S102) 상기 제12 함수를 상기 복원 화상 초기값의 추정 휘도 분포에 곱하여 복원 화상의 추정 휘도 분포를 얻는 공정;
(S103) 상기 카운터에 1을 가산하는 공정;
(S104) 상기 제2 카운터에 1을 가산하는 공정;
(S105) 상기 카운터의 값이 상기 최대 반복 연산 횟수를 넘는다는 가설을 검증하여, 만약 검증 결과가 거짓이면 (S95)의 공정으로 점프하고, 만약 검증 결과가 진실이면 (S106)의 공정으로 진행되는 공정; 및
(S106) 상기 복원 화상의 추정 휘도 분포를 최우 복원 화상의 휘도 분포로서 출력하는 공정;
을 구비하는 제3 화상 복원 공정인 것에 특징이 있는 TV 영상용 가속 초해상 처리 방법.
상기 (S8)~(S18)로 구성된 제1 화상 복원 공정의 제3 태양은,
(S90) 상기 카운터에 0을 대입함으로써 리셋하는 공정;
(S91) 제2 카운터에 1을 대입함으로써 리셋하는 공정;
(S92) 상기 카운터의 값이 0 이외라는 가설을 검증하여, 만약 검증 결과가 거짓이면 (S93)의 공정으로 진행되고, 만약 검증 결과가 진실이면 (S96)의 공정으로 점프하는 공정;
(S93) 상기 열화 화상의 휘도 분포를 열화 화상 저장용 버퍼 및 복원 화상 초기값용 버퍼에 전송하는 공정;
(S94) (S96)의 공정으로 점프하는 공정;
(S95) (S102) 공정의 복원 화상의 추정 휘도 분포를 상기 복원 화상 초기값용 버퍼에 전송하는 공정;
(S96) 제2 카운터의 값을 m으로 할 때, 일련의 PSF의 휘도 분포 내의 제m번째 PSF의 휘도 분포를 PSF의 휘도 분포로 이루는 공정;
(S97) 상기 복원 화상 초기값용 버퍼로부터 복원 화상 초기값의 추정 휘도 분포를 읽어들이는 공정;
(S98) 상기 PSF 크기에 기초하여 상기 복원 화상 초기값의 추정 휘도 분포를 보정하고 이를 보정 복원 화상 초기값의 추정 휘도 분포로 이루는 상기 제1 복원 화상 초기값 보정 공정과 동일한 처리 순서로 이루어지는 제3 복원 화상 초기값 보정 공정;
(S99) 상기 PSF의 휘도 분포를 상기 보정 복원 화상 초기값의 추정 휘도 분포에 컨볼루션하여 제10 함수를 얻는 공정;
(S100) 상기 제10 함수를 반전하여 제11 함수를 얻는 공정;
(S101) 상기 열화 화상의 휘도 분포를 상기 열화 화상 저장용 버퍼로부터 읽어들이고, 이에 상기 제11 함수를 곱하여 제12 함수를 얻는 공정;
(S102) 상기 제12 함수를 상기 복원 화상 초기값의 추정 휘도 분포에 곱하여 복원 화상의 추정 휘도 분포를 얻는 공정;
(S103) 상기 카운터에 1을 가산하는 공정;
(S104) 상기 제2 카운터에 1을 가산하는 공정;
(S105) 상기 카운터의 값이 상기 최대 반복 연산 횟수를 넘는다는 가설을 검증하여, 만약 검증 결과가 거짓이면 (S95)의 공정으로 점프하고, 만약 검증 결과가 진실이면 (S106)의 공정으로 진행되는 공정; 및
(S106) 상기 복원 화상의 추정 휘도 분포를 최우 복원 화상의 휘도 분포로서 출력하는 공정;
을 구비하는 제3 화상 복원 공정인 것에 특징이 있는 TV 영상용 가속 초해상 처리 방법.
청구항 1에 있어서,
상기 열화 화상 준비 공정은,
(S110) 1프레임분의 TV 영상 신호로부터 프레임을 구성하는 RGB 신호를 취출하는 RGB 신호 추출 공정;
(S111) 상기 1프레임분의 TV 영상 신호 중에서 RGB 신호를 취출한 나머지 TV 영상 신호를 1프레임분 지연하여 출력하는 지연 공정;
(S112) 상기 RGB 신호를 YUV 변환하여 YUV 신호로 이루는 YUV 변환 공정;
(S113) 상기 YUV 신호 중에서 휘도 성분인 Y신호만으로 이루어지는 열화 화상의 휘도 분포를 추출하여 Y 열화 화상의 휘도 분포로 이루고, 나머지 U신호만으로 이루어지는 U 열화 화상의 분포 및 V신호만으로 이루어지는 V 열화 화상의 분포를 보유하는 Y 열화 화상 추출 공정; 및
(S114) 상기 Y 열화 화상의 휘도 분포의 디감마 처리를 행하고 1프레임분의 휘도 분포로 이루어지는 열화 화상의 휘도 분포로 이루어 출력하는 디감마 처리 공정;
을 구비하는 것에 특징이 있는 TV 영상용 가속 초해상 처리 방법.
상기 열화 화상 준비 공정은,
(S110) 1프레임분의 TV 영상 신호로부터 프레임을 구성하는 RGB 신호를 취출하는 RGB 신호 추출 공정;
(S111) 상기 1프레임분의 TV 영상 신호 중에서 RGB 신호를 취출한 나머지 TV 영상 신호를 1프레임분 지연하여 출력하는 지연 공정;
(S112) 상기 RGB 신호를 YUV 변환하여 YUV 신호로 이루는 YUV 변환 공정;
(S113) 상기 YUV 신호 중에서 휘도 성분인 Y신호만으로 이루어지는 열화 화상의 휘도 분포를 추출하여 Y 열화 화상의 휘도 분포로 이루고, 나머지 U신호만으로 이루어지는 U 열화 화상의 분포 및 V신호만으로 이루어지는 V 열화 화상의 분포를 보유하는 Y 열화 화상 추출 공정; 및
(S114) 상기 Y 열화 화상의 휘도 분포의 디감마 처리를 행하고 1프레임분의 휘도 분포로 이루어지는 열화 화상의 휘도 분포로 이루어 출력하는 디감마 처리 공정;
을 구비하는 것에 특징이 있는 TV 영상용 가속 초해상 처리 방법.
청구항 8에 있어서,
상기 TV 영상화 공정은,
(S120) 상기 최우 복원 화상의 휘도 분포의 감마 처리를 행하는 감마 처리 공정;
(S121) 상기 Y 열화 화상 추출 공정에서 보유한 상기 U 열화 화상의 분포 및 상기 V 열화 화상의 분포와 Y성분으로 이루어지는 감마 처리 후의 최우 복원 화상의 휘도 분포로부터 1장의 YUV 복원 화상의 분포를 합성하는 복원 화상 합성 공정;
(S122) 상기 YUV 복원 화상의 분포의 RGB 변환을 행하여 RGB 복원 화상의 분포로 이루는 RGB 변환 공정;
(S123) 상기 RGB 복원 화상의 분포를 판독하여 RGB 신호를 출력하는 RGB 신호 변환 공정; 및
(S124) 상기 RGB 신호를 상기 지연 공정이 출력하는 상기 나머지 TV 영상 신호와 합성하여 1프레임분의 TV 영상 신호로 이루어지는 초해상 TV 영상 신호로 이루어 출력하는 TV 영상 신호 합성 공정;
을 구비하는 것에 특징이 있는 TV 영상용 가속 초해상 처리 방법.
상기 TV 영상화 공정은,
(S120) 상기 최우 복원 화상의 휘도 분포의 감마 처리를 행하는 감마 처리 공정;
(S121) 상기 Y 열화 화상 추출 공정에서 보유한 상기 U 열화 화상의 분포 및 상기 V 열화 화상의 분포와 Y성분으로 이루어지는 감마 처리 후의 최우 복원 화상의 휘도 분포로부터 1장의 YUV 복원 화상의 분포를 합성하는 복원 화상 합성 공정;
(S122) 상기 YUV 복원 화상의 분포의 RGB 변환을 행하여 RGB 복원 화상의 분포로 이루는 RGB 변환 공정;
(S123) 상기 RGB 복원 화상의 분포를 판독하여 RGB 신호를 출력하는 RGB 신호 변환 공정; 및
(S124) 상기 RGB 신호를 상기 지연 공정이 출력하는 상기 나머지 TV 영상 신호와 합성하여 1프레임분의 TV 영상 신호로 이루어지는 초해상 TV 영상 신호로 이루어 출력하는 TV 영상 신호 합성 공정;
을 구비하는 것에 특징이 있는 TV 영상용 가속 초해상 처리 방법.
청구항 1 내지 청구항 7 중 어느 한 항에 있어서,
상기 PSF의 휘도 분포는, 가장자리가 없는 정사각형상의 동일 크기의 화소로 이루어지는 것으로, 그 휘도 분포는 중심이 가장 밝은 2차원 정규 분포이고, 그 크기가 5×5화소인 것에 특징이 있는 TV 영상용 가속 초해상 처리 방법.
상기 PSF의 휘도 분포는, 가장자리가 없는 정사각형상의 동일 크기의 화소로 이루어지는 것으로, 그 휘도 분포는 중심이 가장 밝은 2차원 정규 분포이고, 그 크기가 5×5화소인 것에 특징이 있는 TV 영상용 가속 초해상 처리 방법.
청구항 1에 기재된 (S1)~(S7)의 공정으로 구성된 준비 공정 및 청구항 1에 기재된 (S8)~(S18)의 공정으로 구성된 제1 화상 복원 공정을 컴퓨터에 실행시키기 위한 제1 가속 초해상 처리 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체.
청구항 6에 기재된 TV 영상용 가속 초해상 처리 방법을 구성하는, 상기 (S1)~(S7)의 공정 및 상기 제2 화상 복원 공정을 컴퓨터에 실행시키기 위한 제2 가속 초해상 처리 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체.
청구항 7에 기재된 TV 영상용 가속 초해상 처리 방법을 구성하는, 상기 (S1)~(S7)의 공정 및 상기 제3 화상 복원 공정을 컴퓨터에 실행시키기 위한 제3 가속 초해상 처리 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체.
검퓨터에 접속 가능한 제1 기억 매체로서,
청구항 11에 기재된 제1 가속 초해상 처리 프로그램, 청구항 12에 기재된 제2 가속 초해상 처리 프로그램 및 청구항 13에 기재된 제3 가속 초해상 처리 프로그램을 암호화된 형태로 기억하는 동시에, 이들 암호화된 상기 제1 가속 초해상 처리 프로그램, 상기 제2 가속 초해상 처리 프로그램 및 상기 제3 가속 초해상 처리 프로그램을 상기 컴퓨터에 읽어들이게 하는 것이 가능한 것에 특징이 있는 제1 기억 매체.
청구항 11에 기재된 제1 가속 초해상 처리 프로그램, 청구항 12에 기재된 제2 가속 초해상 처리 프로그램 및 청구항 13에 기재된 제3 가속 초해상 처리 프로그램을 암호화된 형태로 기억하는 동시에, 이들 암호화된 상기 제1 가속 초해상 처리 프로그램, 상기 제2 가속 초해상 처리 프로그램 및 상기 제3 가속 초해상 처리 프로그램을 상기 컴퓨터에 읽어들이게 하는 것이 가능한 것에 특징이 있는 제1 기억 매체.
1프레임분의 TV 영상 신호에 포함되는 프레임으로부터 광학적 열화를 저감하여 열화 전의 1프레임분의 TV 영상 신호를 복원하는 TV 영상용 가속 초해상 처리 장치로서,
(W1) 최대 반복 연산 횟수를 설정하는 수단;
(W2) 상기 TV 영상의 열화 지수를 지정하는 열화 지수 지정 수단;
(W3) 상기 열화 지수에 관련된 제1번째 PSF의 휘도 분포 및 반복 연산 횟수에 관련지어 정리된 일련의 PSF의 휘도 분포를 준비하는 PSF 준비 수단;
(W4) 1프레임분의 휘도 분포로 이루어지는 열화 화상의 휘도 분포를 1프레임분의 TV 영상 신호로부터 준비하는 열화 화상 준비 수단;
(W5) 상기 열화 화상의 휘도 분포를 복원 화상 초기값의 추정 휘도 분포로 이루는 복원 화상 초기값 준비 수단;
(W6) 상기 일련의 PSF의 휘도 분포는 서로 동일한 화상 크기이고, 이 화상 크기를 PSF 크기라고 부를 때, 이 PSF 크기를 구하는 PSF 크기 취득 수단;
(W7) 반복 연산 횟수를 계수하는 카운터에 1을 설정하는 제1 리셋 수단;
(W8) 상기 복원 화상 초기값의 추정 휘도 분포를 복사하여 이를 보정 복원 화상 초기값의 추정 휘도 분포로 이루고, 나아가 상기 보정 복원 화상 초기값의 추정 휘도 분포를 PSF 크기를 기초로 하여 보정하는 제1 복원 화상 초기값 보정 수단;
(W9) 상기 일련의 PSF의 휘도 분포로부터 상기 카운터의 값에 관련된 하나를 선택하여 이를 PSF의 휘도 분포로 이루는 PSF 선정 수단;
(W10) 상기 보정 복원 화상 초기값의 추정 휘도 분포에 상기 PSF의 휘도 분포를 컨볼루션하여 제13 함수를 얻는 수단;
(W11) 상기 제13 함수를 반전하여 제14 함수를 얻는 수단;
(W12) 상기 제14 함수에 상기 열화 화상의 휘도 분포를 곱하여 제15 함수를 얻는 수단;
(W13) 상기 제15 함수를 상기 복원 화상 초기값의 추정 휘도 분포에 곱하여 복원 화상의 추정 휘도 분포를 얻는 수단;
(W14) 상기 카운터에 1을 가산하는 수단;
(W15) 상기 카운터의 값이 상기 최대 반복 연산 횟수 이상이라는 가설을 검증하여, 만약 검증 결과가 거짓이면 (W16)의 수단으로 진행되지만, 상기 검증 결과가 진실이면 수단(W18)으로 진행되는 수단;
(W16) 상기 복원 화상의 추정 휘도 분포를 상기 복원 화상 초기값의 추정 휘도 분포와 바꾸는 수단;
(W17) (W8)의 수단으로 되돌아가는 수단;
(W18) 상기 복원 화상의 추정 휘도 분포를 최우 복원 화상의 휘도 분포로서 출력하는 수단; 및
(W22) 상기 최우 복원 화상의 휘도 분포를 1프레임분의 TV 영상 신호로 이루고 이를 초해상 TV 영상 신호로서 출력하는 TV 영상화 수단;
을 구비하는 것에 특징이 있는 TV 영상용 가속 초해상 처리 장치.
(W1) 최대 반복 연산 횟수를 설정하는 수단;
(W2) 상기 TV 영상의 열화 지수를 지정하는 열화 지수 지정 수단;
(W3) 상기 열화 지수에 관련된 제1번째 PSF의 휘도 분포 및 반복 연산 횟수에 관련지어 정리된 일련의 PSF의 휘도 분포를 준비하는 PSF 준비 수단;
(W4) 1프레임분의 휘도 분포로 이루어지는 열화 화상의 휘도 분포를 1프레임분의 TV 영상 신호로부터 준비하는 열화 화상 준비 수단;
(W5) 상기 열화 화상의 휘도 분포를 복원 화상 초기값의 추정 휘도 분포로 이루는 복원 화상 초기값 준비 수단;
(W6) 상기 일련의 PSF의 휘도 분포는 서로 동일한 화상 크기이고, 이 화상 크기를 PSF 크기라고 부를 때, 이 PSF 크기를 구하는 PSF 크기 취득 수단;
(W7) 반복 연산 횟수를 계수하는 카운터에 1을 설정하는 제1 리셋 수단;
(W8) 상기 복원 화상 초기값의 추정 휘도 분포를 복사하여 이를 보정 복원 화상 초기값의 추정 휘도 분포로 이루고, 나아가 상기 보정 복원 화상 초기값의 추정 휘도 분포를 PSF 크기를 기초로 하여 보정하는 제1 복원 화상 초기값 보정 수단;
(W9) 상기 일련의 PSF의 휘도 분포로부터 상기 카운터의 값에 관련된 하나를 선택하여 이를 PSF의 휘도 분포로 이루는 PSF 선정 수단;
(W10) 상기 보정 복원 화상 초기값의 추정 휘도 분포에 상기 PSF의 휘도 분포를 컨볼루션하여 제13 함수를 얻는 수단;
(W11) 상기 제13 함수를 반전하여 제14 함수를 얻는 수단;
(W12) 상기 제14 함수에 상기 열화 화상의 휘도 분포를 곱하여 제15 함수를 얻는 수단;
(W13) 상기 제15 함수를 상기 복원 화상 초기값의 추정 휘도 분포에 곱하여 복원 화상의 추정 휘도 분포를 얻는 수단;
(W14) 상기 카운터에 1을 가산하는 수단;
(W15) 상기 카운터의 값이 상기 최대 반복 연산 횟수 이상이라는 가설을 검증하여, 만약 검증 결과가 거짓이면 (W16)의 수단으로 진행되지만, 상기 검증 결과가 진실이면 수단(W18)으로 진행되는 수단;
(W16) 상기 복원 화상의 추정 휘도 분포를 상기 복원 화상 초기값의 추정 휘도 분포와 바꾸는 수단;
(W17) (W8)의 수단으로 되돌아가는 수단;
(W18) 상기 복원 화상의 추정 휘도 분포를 최우 복원 화상의 휘도 분포로서 출력하는 수단; 및
(W22) 상기 최우 복원 화상의 휘도 분포를 1프레임분의 TV 영상 신호로 이루고 이를 초해상 TV 영상 신호로서 출력하는 TV 영상화 수단;
을 구비하는 것에 특징이 있는 TV 영상용 가속 초해상 처리 장치.
청구항 15에 있어서,
상기 PSF 준비 수단의 제2 태양은,
(W30) 상기 열화 지수를 검색 정보로서 열화 지수에 대해 PSF의 휘도 분포를 1대1로 관련지어 정리하여 작성된 PSF 데이터베이스를 검색하고, 히트한 PSF의 휘도 분포를 제1번째 PSF의 휘도 분포로 이루는 수단;
(W31) 수를 계수하는 제2 카운터에 1을 입력하여 리셋하는 수단;
(W32) 상기 제1번째 PSF의 휘도 분포를 PSF 초기값의 휘도 분포로 이루는 수단;
(W33) 상기 제2 카운터에 1을 가산하는 수단;
(W34) 상기 제2 카운터의 값이 상기 최대 반복 연산 횟수를 넘었다는 가설을 검증하여, 만약 검증 결과가 거짓이면 (W35)의 수단으로 진행되고, 만약 검증 결과가 진실이면 (W38)의 수단으로 점프하는 수단;
(W35) PSF 초기값의 휘도 분포를 PSF 복원 수단에 의해 복원함으로써 최우 복원 PSF의 휘도 분포를 얻는 수단;
(W36) 상기 제2 카운터의 값을 n으로 할 때, 상기 최우 복원 PSF의 휘도 분포를 제n번째 PSF의 휘도 분포로 이루는 수단;
(W37) (W33)의 수단으로 되돌아가는 수단; 및
(W38) 상기 최대 반복 연산 횟수를 n_max로 하고, 상기 n_max 미만의 자연수를 n으로 할 때, 상기 제1번째 PSF의 휘도 분포로부터 n_max번째 PSF의 휘도 분포까지를 이 순서로 나열하여 일련의 PSF의 휘도 분포로 하고, 이 일련의 PSF의 휘도 분포에 상기 열화 지수를 라벨로서 붙여 상기 열화 지수에 관련된 상기 일련의 PSF의 휘도 분포로 이루는 수단;
을 구비하는 것에 특징이 있는 TV 영상용 가속 초해상 처리 장치.
상기 PSF 준비 수단의 제2 태양은,
(W30) 상기 열화 지수를 검색 정보로서 열화 지수에 대해 PSF의 휘도 분포를 1대1로 관련지어 정리하여 작성된 PSF 데이터베이스를 검색하고, 히트한 PSF의 휘도 분포를 제1번째 PSF의 휘도 분포로 이루는 수단;
(W31) 수를 계수하는 제2 카운터에 1을 입력하여 리셋하는 수단;
(W32) 상기 제1번째 PSF의 휘도 분포를 PSF 초기값의 휘도 분포로 이루는 수단;
(W33) 상기 제2 카운터에 1을 가산하는 수단;
(W34) 상기 제2 카운터의 값이 상기 최대 반복 연산 횟수를 넘었다는 가설을 검증하여, 만약 검증 결과가 거짓이면 (W35)의 수단으로 진행되고, 만약 검증 결과가 진실이면 (W38)의 수단으로 점프하는 수단;
(W35) PSF 초기값의 휘도 분포를 PSF 복원 수단에 의해 복원함으로써 최우 복원 PSF의 휘도 분포를 얻는 수단;
(W36) 상기 제2 카운터의 값을 n으로 할 때, 상기 최우 복원 PSF의 휘도 분포를 제n번째 PSF의 휘도 분포로 이루는 수단;
(W37) (W33)의 수단으로 되돌아가는 수단; 및
(W38) 상기 최대 반복 연산 횟수를 n_max로 하고, 상기 n_max 미만의 자연수를 n으로 할 때, 상기 제1번째 PSF의 휘도 분포로부터 n_max번째 PSF의 휘도 분포까지를 이 순서로 나열하여 일련의 PSF의 휘도 분포로 하고, 이 일련의 PSF의 휘도 분포에 상기 열화 지수를 라벨로서 붙여 상기 열화 지수에 관련된 상기 일련의 PSF의 휘도 분포로 이루는 수단;
을 구비하는 것에 특징이 있는 TV 영상용 가속 초해상 처리 장치.
청구항 15에 있어서,
상기 PSF 준비 수단의 제3 태양은,
(W40) 상기 최대 반복 연산 횟수를 5로 설정하는 수단;
(W41) 상기 열화 지수를 검색 정보로서 열화 지수에 대해 PSF의 휘도 분포를 1대1로 관련지어 정리하여 작성된 PSF 데이터베이스 내의 모든 열화 지수와 이에 관련된 PSF의 휘도 분포의 페어 모두에 대해 사전에 상기 PSF 준비 수단을 실행하여 상기 열화 지수마다 일련의 PSF의 휘도 분포를 얻고, 이들 상기 열화 지수마다의 일련의 PSF의 휘도 분포를 편집함으로써, 열화 지수에 대해 일련의 PSF의 휘도 분포를 관련지어 정리한 확대 PSF 데이터베이스를 준비하는 수단; 및
(W42) 상기 열화 지수를 이용하여 상기 확대 PSF 데이터베이스를 검색하고 히트한 일련의 PSF의 휘도 분포를 취득하여 이를 출력하는 수단;
을 구비하는 것에 특징이 있는 TV 영상용 가속 초해상 처리 장치.
상기 PSF 준비 수단의 제3 태양은,
(W40) 상기 최대 반복 연산 횟수를 5로 설정하는 수단;
(W41) 상기 열화 지수를 검색 정보로서 열화 지수에 대해 PSF의 휘도 분포를 1대1로 관련지어 정리하여 작성된 PSF 데이터베이스 내의 모든 열화 지수와 이에 관련된 PSF의 휘도 분포의 페어 모두에 대해 사전에 상기 PSF 준비 수단을 실행하여 상기 열화 지수마다 일련의 PSF의 휘도 분포를 얻고, 이들 상기 열화 지수마다의 일련의 PSF의 휘도 분포를 편집함으로써, 열화 지수에 대해 일련의 PSF의 휘도 분포를 관련지어 정리한 확대 PSF 데이터베이스를 준비하는 수단; 및
(W42) 상기 열화 지수를 이용하여 상기 확대 PSF 데이터베이스를 검색하고 히트한 일련의 PSF의 휘도 분포를 취득하여 이를 출력하는 수단;
을 구비하는 것에 특징이 있는 TV 영상용 가속 초해상 처리 장치.
청구항 16에 있어서,
상기 PSF 복원 수단은,
(W50) 상기 최대 반복 연산 횟수에 6을 대입하는 수단;
(W51) 상기 PSF 초기값의 휘도 분포를 열화된 화상의 휘도 분포로 하여 열화 PSF의 휘도 분포로 이루는 수단;
(W52) 상기 PSF 초기값의 휘도 분포를 복원 PSF 초기값의 추정 휘도 분포로 이루는 수단;
(W53) 상기 카운터에 1을 대입하여 리셋하는 수단;
(W54) 상기 복원 PSF 초기값의 추정 휘도 분포를 보정 복원 PSF 초기값의 추정 휘도 분포로 이루고, 나아가 상기 PSF 초기값의 휘도 분포를 상기 보정 복원 PSF 초기값의 추정 휘도 분포에 컨볼루션하여 연산할 때에 상기 보정 복원 PSF 초기값의 추정 휘도 분포의 주변부에 발생하는 연산 곤란 영역을 상기 PSF 초기값의 휘도 분포의 화상 크기를 기초로 하여 계산하고, 상변 경계에 관한 상기 연산 곤란 영역의 화소를 카피하고, 이 카피한 화소를 상기 보정 복원 PSF 초기값의 추정 휘도 분포의 상변 경계의 외측에 상변 경계에 대해 미러 대칭이 되도록 배치하도록 페이스트하고, 마찬가지로 하여 우측 방향으로 우변 다음으로 하변 마지막으로 좌변에 관해 행하고, 상기 보정 복원 PSF 초기값의 추정 휘도 분포를 보정하는 복원 PSF 초기값 보정 수단;
(W55) 상기 PSF 초기값의 휘도 분포를 상기 보정 복원 PSF 초기값의 추정 휘도 분포에 컨볼루션하여 제16 함수를 얻는 수단;
(W56) 상기 제16 함수를 반전하여 제17 함수를 얻는 수단;
(W57) 상기 제17 함수를 상기 열화 PSF의 휘도 분포에 곱하여 제18 함수를 얻는 수단;
(W58) 상기 제18 함수를 상기 복원 PSF 초기값의 추정 휘도 분포에 곱하여 복원 PSF의 추정 휘도 분포를 얻는 수단;
(W59) 상기 카운터에 1을 가산하는 수단;
(W60) 상기 카운터의 값이 상기 최대 반복 연산 횟수를 넘었다는 가설을 검증하여, 만약 검증 결과가 거짓이면 (W61)의 수단으로 진행되고, 만약 검증 결과가 진실이면 (W63)의 수단으로 점프하는 수단;
(W61) 상기 복원 PSF의 추정 휘도 분포를 복원 PSF 초기값의 추정 휘도 분포와 바꾸는 수단;
(W62) (W54)의 수단으로 점프하는 수단; 및
(W63) 상기 복원 PSF의 추정 휘도 분포를 최우 복원 PSF의 휘도 분포로서 출력하는 수단;
을 구비하는 것에 특징이 있는 TV 영상용 가속 초해상 처리 장치.
상기 PSF 복원 수단은,
(W50) 상기 최대 반복 연산 횟수에 6을 대입하는 수단;
(W51) 상기 PSF 초기값의 휘도 분포를 열화된 화상의 휘도 분포로 하여 열화 PSF의 휘도 분포로 이루는 수단;
(W52) 상기 PSF 초기값의 휘도 분포를 복원 PSF 초기값의 추정 휘도 분포로 이루는 수단;
(W53) 상기 카운터에 1을 대입하여 리셋하는 수단;
(W54) 상기 복원 PSF 초기값의 추정 휘도 분포를 보정 복원 PSF 초기값의 추정 휘도 분포로 이루고, 나아가 상기 PSF 초기값의 휘도 분포를 상기 보정 복원 PSF 초기값의 추정 휘도 분포에 컨볼루션하여 연산할 때에 상기 보정 복원 PSF 초기값의 추정 휘도 분포의 주변부에 발생하는 연산 곤란 영역을 상기 PSF 초기값의 휘도 분포의 화상 크기를 기초로 하여 계산하고, 상변 경계에 관한 상기 연산 곤란 영역의 화소를 카피하고, 이 카피한 화소를 상기 보정 복원 PSF 초기값의 추정 휘도 분포의 상변 경계의 외측에 상변 경계에 대해 미러 대칭이 되도록 배치하도록 페이스트하고, 마찬가지로 하여 우측 방향으로 우변 다음으로 하변 마지막으로 좌변에 관해 행하고, 상기 보정 복원 PSF 초기값의 추정 휘도 분포를 보정하는 복원 PSF 초기값 보정 수단;
(W55) 상기 PSF 초기값의 휘도 분포를 상기 보정 복원 PSF 초기값의 추정 휘도 분포에 컨볼루션하여 제16 함수를 얻는 수단;
(W56) 상기 제16 함수를 반전하여 제17 함수를 얻는 수단;
(W57) 상기 제17 함수를 상기 열화 PSF의 휘도 분포에 곱하여 제18 함수를 얻는 수단;
(W58) 상기 제18 함수를 상기 복원 PSF 초기값의 추정 휘도 분포에 곱하여 복원 PSF의 추정 휘도 분포를 얻는 수단;
(W59) 상기 카운터에 1을 가산하는 수단;
(W60) 상기 카운터의 값이 상기 최대 반복 연산 횟수를 넘었다는 가설을 검증하여, 만약 검증 결과가 거짓이면 (W61)의 수단으로 진행되고, 만약 검증 결과가 진실이면 (W63)의 수단으로 점프하는 수단;
(W61) 상기 복원 PSF의 추정 휘도 분포를 복원 PSF 초기값의 추정 휘도 분포와 바꾸는 수단;
(W62) (W54)의 수단으로 점프하는 수단; 및
(W63) 상기 복원 PSF의 추정 휘도 분포를 최우 복원 PSF의 휘도 분포로서 출력하는 수단;
을 구비하는 것에 특징이 있는 TV 영상용 가속 초해상 처리 장치.
청구항 15에 있어서,
상기 제1 복원 화상 초기값 보정 수단은,
(W70) 상기 복원 화상 초기값의 추정 휘도 분포를 보정 복원 화상 초기값의 추정 휘도 분포로 이루는 수단;
(W71) 상기 PSF 크기를 기초로 상기 일련의 PSF의 휘도 분포 중 어느 하나를 상기 보정 복원 화상 초기값의 추정 휘도 분포에 컨볼루션하여 연산할 때에 상기 보정 복원 화상 초기값의 추정 휘도 분포의 주변부에 발생하는 연산 곤란 영역을 계산하는 수단;
(W72) 상기 보정 복원 화상 초기값의 추정 휘도 분포의 상기 연산 곤란 영역 내의 화소를 카피하고, 이 카피한 화소를 상기 보정 복원 화상 초기값의 추정 휘도 분포의 4변에 대해 미러 대칭이 되도록 각각 반전시키고, 나아가 상기 보정 복원 화상 초기값의 추정 휘도 분포의 4변 경계의 외측에 배치하도록 페이스트하여 보정하는 수단;
(W73) 상기 보정 복원 화상 초기값의 추정 휘도 분포의 상기 연산 곤란 영역 내의 좌측 위 모퉁이부의 화소를 카피하고, 이 카피한 좌측 위 모퉁이부의 화소를 상기 좌측 위 모퉁이의 정점을 회전 중심으로 하여 180도 회전시키고, 상기 보정 복원 화상 초기값의 추정 휘도 분포의 좌측 위 모퉁이부에 발생하는 공백 영역에 페이스트하여 보정하는 수단;
(W74) 상기 보정 복원 화상 초기값의 추정 휘도 분포의 상기 연산 곤란 영역 내의 우측 위 모퉁이부의 화소를 카피하고, 이 카피한 우측 위 모퉁이부의 화소를 상기 우측 위 모퉁이의 정점을 회전 중심으로 하여 180도 회전시키고, 상기 보정 복원 화상 초기값의 추정 휘도 분포의 우측 위 모퉁이부에 발생하는 공백 영역에 페이스트하여 보정하는 수단;
(W75) 상기 보정 복원 화상 초기값의 추정 휘도 분포의 상기 연산 곤란 영역 내의 좌측 아래 모퉁이부의 화소를 카피하고, 이 카피한 좌측 아래 모퉁이부의 화소를 상기 좌측 위 모퉁이의 정점을 회전 중심으로 하여 180도 회전시키고, 상기 보정 복원 화상 초기값의 추정 휘도 분포의 좌측 아래 모퉁이부에 발생하는 공백 영역에 페이스트하여 보정하는 수단; 및
(W76) 상기 보정 복원 화상 초기값의 추정 휘도 분포의 상기 연산 곤란 영역 내의 우측 아래 모퉁이부의 화소를 카피하고, 이 카피한 우측 아래 모퉁이부의 화소를 상기 우측 위 모퉁이의 정점을 회전 중심으로 하여 180도 회전시키고, 상기 보정 복원 화상 초기값의 추정 휘도 분포의 우측 아래 모퉁이부에 발생하는 공백 영역에 페이스트하여 보정하는 수단;
을 구비하는 것에 특징이 있는 TV 영상용 가속 초해상 처리 장치.
상기 제1 복원 화상 초기값 보정 수단은,
(W70) 상기 복원 화상 초기값의 추정 휘도 분포를 보정 복원 화상 초기값의 추정 휘도 분포로 이루는 수단;
(W71) 상기 PSF 크기를 기초로 상기 일련의 PSF의 휘도 분포 중 어느 하나를 상기 보정 복원 화상 초기값의 추정 휘도 분포에 컨볼루션하여 연산할 때에 상기 보정 복원 화상 초기값의 추정 휘도 분포의 주변부에 발생하는 연산 곤란 영역을 계산하는 수단;
(W72) 상기 보정 복원 화상 초기값의 추정 휘도 분포의 상기 연산 곤란 영역 내의 화소를 카피하고, 이 카피한 화소를 상기 보정 복원 화상 초기값의 추정 휘도 분포의 4변에 대해 미러 대칭이 되도록 각각 반전시키고, 나아가 상기 보정 복원 화상 초기값의 추정 휘도 분포의 4변 경계의 외측에 배치하도록 페이스트하여 보정하는 수단;
(W73) 상기 보정 복원 화상 초기값의 추정 휘도 분포의 상기 연산 곤란 영역 내의 좌측 위 모퉁이부의 화소를 카피하고, 이 카피한 좌측 위 모퉁이부의 화소를 상기 좌측 위 모퉁이의 정점을 회전 중심으로 하여 180도 회전시키고, 상기 보정 복원 화상 초기값의 추정 휘도 분포의 좌측 위 모퉁이부에 발생하는 공백 영역에 페이스트하여 보정하는 수단;
(W74) 상기 보정 복원 화상 초기값의 추정 휘도 분포의 상기 연산 곤란 영역 내의 우측 위 모퉁이부의 화소를 카피하고, 이 카피한 우측 위 모퉁이부의 화소를 상기 우측 위 모퉁이의 정점을 회전 중심으로 하여 180도 회전시키고, 상기 보정 복원 화상 초기값의 추정 휘도 분포의 우측 위 모퉁이부에 발생하는 공백 영역에 페이스트하여 보정하는 수단;
(W75) 상기 보정 복원 화상 초기값의 추정 휘도 분포의 상기 연산 곤란 영역 내의 좌측 아래 모퉁이부의 화소를 카피하고, 이 카피한 좌측 아래 모퉁이부의 화소를 상기 좌측 위 모퉁이의 정점을 회전 중심으로 하여 180도 회전시키고, 상기 보정 복원 화상 초기값의 추정 휘도 분포의 좌측 아래 모퉁이부에 발생하는 공백 영역에 페이스트하여 보정하는 수단; 및
(W76) 상기 보정 복원 화상 초기값의 추정 휘도 분포의 상기 연산 곤란 영역 내의 우측 아래 모퉁이부의 화소를 카피하고, 이 카피한 우측 아래 모퉁이부의 화소를 상기 우측 위 모퉁이의 정점을 회전 중심으로 하여 180도 회전시키고, 상기 보정 복원 화상 초기값의 추정 휘도 분포의 우측 아래 모퉁이부에 발생하는 공백 영역에 페이스트하여 보정하는 수단;
을 구비하는 것에 특징이 있는 TV 영상용 가속 초해상 처리 장치.
청구항 15에 있어서,
상기 (W8)~(W18)의 수단으로 구성된 제1 화상 복원 수단의 제2 태양은,
(W80) 상기 최대 반복 연산 횟수를 n_max로 하고, 상기 n_max 미만의 자연수를 n으로 할 때, 일련의 PSF의 휘도 분포 중에서 제n번째 PSF의 휘도 분포를 PSF의 휘도 분포로 하여 제n단째의 제1 단분 화상 복원 수단에 제공하는 PSF 제공 수단; 및
(W81) 상기 PSF의 휘도 분포, 상기 복원 화상 초기값의 추정 휘도 분포 및 상기 열화 화상의 휘도 분포로부터 Bayse 확률론적 수학식에 기초하는 반복 연산 내의 1회분에 상당하는 연산을 행하고, 상기 열화 화상의 휘도 분포에 가장 그럴듯한 복원 화상의 추정 휘도 분포를 구하고 이를 출력하는 제1 단분 화상 복원 수단;
을 구비하고,
이 제1 단분 화상 복원 수단은,
(W82) 제1 복원 화상 초기값 보정 수단과 동일한 구성으로 이루어지는 제2 복원 화상 초기값 보정 수단에 의해 보정 복원 화상 초기값의 추정 휘도 분포를 구하는 수단;
(W83) 상기 PSF의 휘도 분포를 상기 보정 복원 화상 초기값의 추정 휘도 분포에 컨볼루션하여 제19 함수를 얻는 수단;
(W84) 상기 제19 함수를 반전하여 제20 함수를 얻는 수단;
(W85) 상기 제20 함수를 상기 열화 화상의 휘도 분포에 곱하여 제21 함수를 얻는 수단;
(W86) 상기 제21 함수를 상기 복원 화상 초기값의 추정 휘도 분포에 곱하여 복원 화상의 추정 휘도 분포를 얻는 수단; 및
(W87) 상기 복원 화상의 추정 휘도 분포를 출력하는 수단;
을 구비하고,
(W88) 제n단째의 제1 단분 화상 복원 수단(W81-n)의 (W87) 수단의 출력을 제(n+1)단째의 제1 단분 화상 복원 수단(W81-(n+1))의 (W82) 수단에 접속함으로써 구성되는 상기 n_max단의 직렬 연결체로 이루어지는 제2 화상 복원 수단으로,
이 제2 화상 복원 수단(W88)에서 직렬 접속된 제1 단분 화상 복원 수단(W81)의 수인 상기 n_max회의 반복 연산을 행하고, 상기 n_max단째의 제1 단분 화상 복원 수단(W81-n_max)으로부터 출력되는 복원 화상의 추정 휘도 분포를 최우 복원 화상의 휘도 분포로서 출력하는 것에 특징이 있는 TV 영상용 가속 초해상 처리 장치.
상기 (W8)~(W18)의 수단으로 구성된 제1 화상 복원 수단의 제2 태양은,
(W80) 상기 최대 반복 연산 횟수를 n_max로 하고, 상기 n_max 미만의 자연수를 n으로 할 때, 일련의 PSF의 휘도 분포 중에서 제n번째 PSF의 휘도 분포를 PSF의 휘도 분포로 하여 제n단째의 제1 단분 화상 복원 수단에 제공하는 PSF 제공 수단; 및
(W81) 상기 PSF의 휘도 분포, 상기 복원 화상 초기값의 추정 휘도 분포 및 상기 열화 화상의 휘도 분포로부터 Bayse 확률론적 수학식에 기초하는 반복 연산 내의 1회분에 상당하는 연산을 행하고, 상기 열화 화상의 휘도 분포에 가장 그럴듯한 복원 화상의 추정 휘도 분포를 구하고 이를 출력하는 제1 단분 화상 복원 수단;
을 구비하고,
이 제1 단분 화상 복원 수단은,
(W82) 제1 복원 화상 초기값 보정 수단과 동일한 구성으로 이루어지는 제2 복원 화상 초기값 보정 수단에 의해 보정 복원 화상 초기값의 추정 휘도 분포를 구하는 수단;
(W83) 상기 PSF의 휘도 분포를 상기 보정 복원 화상 초기값의 추정 휘도 분포에 컨볼루션하여 제19 함수를 얻는 수단;
(W84) 상기 제19 함수를 반전하여 제20 함수를 얻는 수단;
(W85) 상기 제20 함수를 상기 열화 화상의 휘도 분포에 곱하여 제21 함수를 얻는 수단;
(W86) 상기 제21 함수를 상기 복원 화상 초기값의 추정 휘도 분포에 곱하여 복원 화상의 추정 휘도 분포를 얻는 수단; 및
(W87) 상기 복원 화상의 추정 휘도 분포를 출력하는 수단;
을 구비하고,
(W88) 제n단째의 제1 단분 화상 복원 수단(W81-n)의 (W87) 수단의 출력을 제(n+1)단째의 제1 단분 화상 복원 수단(W81-(n+1))의 (W82) 수단에 접속함으로써 구성되는 상기 n_max단의 직렬 연결체로 이루어지는 제2 화상 복원 수단으로,
이 제2 화상 복원 수단(W88)에서 직렬 접속된 제1 단분 화상 복원 수단(W81)의 수인 상기 n_max회의 반복 연산을 행하고, 상기 n_max단째의 제1 단분 화상 복원 수단(W81-n_max)으로부터 출력되는 복원 화상의 추정 휘도 분포를 최우 복원 화상의 휘도 분포로서 출력하는 것에 특징이 있는 TV 영상용 가속 초해상 처리 장치.
청구항 15에 있어서,
상기 (W8)~(W18)의 수단으로 구성된 제1 화상 복원 수단의 제3 태양은,
(W90) 상기 카운터에 0을 대입함으로써 리셋하는 수단;
(W91) 제2 카운터에 1을 대입함으로써 리셋하는 수단;
(W92) 상기 카운터의 값이 0 이외라는 가설을 검증하여, 만약 검증 결과가 거짓이면 (W93)의 수단으로 진행되고, 만약 검증 결과가 진실이면 (W96)의 수단으로 점프하는 수단;
(W93) 상기 열화 화상의 휘도 분포를 열화 화상 저장용 버퍼 및 복원 화상 초기값용 버퍼에 전송하는 수단;
(W94) (W96)의 수단으로 점프하는 수단;
(W95) (W102) 수단의 복원 화상의 추정 휘도 분포를 상기 복원 화상 초기값용 버퍼에 전송하는 수단;
(W96) 제2 카운터의 값을 m으로 할 때, 일련의 PSF의 휘도 분포 내의 제m번째 PSF의 휘도 분포를 PSF의 휘도 분포로 이루는 수단;
(W97) 상기 복원 화상 초기값용 버퍼로부터 복원 화상 초기값의 추정 휘도 분포를 읽어들이는 수단;
(W98) 상기 복원 화상 초기값의 추정 휘도 분포를 보정하여 이를 보정 복원 화상 초기값의 추정 휘도 분포로 이루는 제1 복원 화상 초기값 보정 수단과 동일한 구성으로 이루어지는 제3 복원 화상 초기값 보정 수단;
(W99) 상기 PSF의 휘도 분포를 상기 보정 복원 화상 초기값의 추정 휘도 분포에 컨볼루션하여 제22 함수를 얻는 수단;
(W100) 상기 제22 함수를 반전하여 제23 함수를 얻는 수단;
(W101) 상기 제23 함수를 상기 열화 화상의 휘도 분포에 곱하여 제24 함수를 얻는 수단;
(W102) 상기 제24 함수를 상기 복원 화상 초기값의 추정 휘도 분포에 곱하여 복원 화상의 추정 휘도 분포를 얻는 수단;
(W103) 상기 카운터에 1을 가산하는 수단;
(W104) 상기 제2 카운터에 1을 가산하는 수단;
(W105) 상기 카운터의 값이 상기 최대 반복 연산 횟수를 넘는다는 가설을 검증하여, 만약 검증 결과가 거짓이면 (W95)의 수단으로 점프하고, 만약 검증 결과가 진실이면 (W106)의 수단으로 진행되는 수단; 및
(W106) 상기 복원 화상의 추정 휘도 분포를 최우 복원 화상의 휘도 분포로서 출력하는 수단;
을 구비하는 제3 화상 복원 수단인 것에 특징이 있는 TV 영상용 가속 초해상 처리 장치.
상기 (W8)~(W18)의 수단으로 구성된 제1 화상 복원 수단의 제3 태양은,
(W90) 상기 카운터에 0을 대입함으로써 리셋하는 수단;
(W91) 제2 카운터에 1을 대입함으로써 리셋하는 수단;
(W92) 상기 카운터의 값이 0 이외라는 가설을 검증하여, 만약 검증 결과가 거짓이면 (W93)의 수단으로 진행되고, 만약 검증 결과가 진실이면 (W96)의 수단으로 점프하는 수단;
(W93) 상기 열화 화상의 휘도 분포를 열화 화상 저장용 버퍼 및 복원 화상 초기값용 버퍼에 전송하는 수단;
(W94) (W96)의 수단으로 점프하는 수단;
(W95) (W102) 수단의 복원 화상의 추정 휘도 분포를 상기 복원 화상 초기값용 버퍼에 전송하는 수단;
(W96) 제2 카운터의 값을 m으로 할 때, 일련의 PSF의 휘도 분포 내의 제m번째 PSF의 휘도 분포를 PSF의 휘도 분포로 이루는 수단;
(W97) 상기 복원 화상 초기값용 버퍼로부터 복원 화상 초기값의 추정 휘도 분포를 읽어들이는 수단;
(W98) 상기 복원 화상 초기값의 추정 휘도 분포를 보정하여 이를 보정 복원 화상 초기값의 추정 휘도 분포로 이루는 제1 복원 화상 초기값 보정 수단과 동일한 구성으로 이루어지는 제3 복원 화상 초기값 보정 수단;
(W99) 상기 PSF의 휘도 분포를 상기 보정 복원 화상 초기값의 추정 휘도 분포에 컨볼루션하여 제22 함수를 얻는 수단;
(W100) 상기 제22 함수를 반전하여 제23 함수를 얻는 수단;
(W101) 상기 제23 함수를 상기 열화 화상의 휘도 분포에 곱하여 제24 함수를 얻는 수단;
(W102) 상기 제24 함수를 상기 복원 화상 초기값의 추정 휘도 분포에 곱하여 복원 화상의 추정 휘도 분포를 얻는 수단;
(W103) 상기 카운터에 1을 가산하는 수단;
(W104) 상기 제2 카운터에 1을 가산하는 수단;
(W105) 상기 카운터의 값이 상기 최대 반복 연산 횟수를 넘는다는 가설을 검증하여, 만약 검증 결과가 거짓이면 (W95)의 수단으로 점프하고, 만약 검증 결과가 진실이면 (W106)의 수단으로 진행되는 수단; 및
(W106) 상기 복원 화상의 추정 휘도 분포를 최우 복원 화상의 휘도 분포로서 출력하는 수단;
을 구비하는 제3 화상 복원 수단인 것에 특징이 있는 TV 영상용 가속 초해상 처리 장치.
청구항 15에 있어서,
상기 열화 화상 준비 수단은,
(W110) 1프레임분의 TV 영상 신호로부터 프레임을 구성하는 RGB 신호를 취출하는 RGB 신호 추출 수단;
(W111) 상기 1프레임분의 TV 영상 신호 중 RGB 신호를 취출한 나머지 TV 영상 신호를 1프레임분 지연하여 출력하는 지연 수단;
(W112) 상기 RGB 신호를 YUV 변환하여 YUV 신호로 이루는 YUV 변환 수단;
(W113) 상기 YUV 신호 중에서 휘도 성분인 Y신호만으로 이루어지는 열화 화상의 휘도 분포를 추출하여 Y 열화 화상의 휘도 분포로 이루고, 나머지 U신호만으로 이루어지는 U 열화 화상의 분포 및 V신호만으로 이루어지는 V 열화 화상의 분포를 보유하는 Y 열화 화상 추출 수단; 및
(W114) 상기 Y 열화 화상의 휘도 분포의 디감마 처리를 행하고 1프레임분의 휘도 분포로 이루어지는 열화 화상의 휘도 분포로 이루어 출력하는 디감마 처리 수단;
을 구비하는 것에 특징이 있는 TV 영상용 가속 초해상 처리 장치.
상기 열화 화상 준비 수단은,
(W110) 1프레임분의 TV 영상 신호로부터 프레임을 구성하는 RGB 신호를 취출하는 RGB 신호 추출 수단;
(W111) 상기 1프레임분의 TV 영상 신호 중 RGB 신호를 취출한 나머지 TV 영상 신호를 1프레임분 지연하여 출력하는 지연 수단;
(W112) 상기 RGB 신호를 YUV 변환하여 YUV 신호로 이루는 YUV 변환 수단;
(W113) 상기 YUV 신호 중에서 휘도 성분인 Y신호만으로 이루어지는 열화 화상의 휘도 분포를 추출하여 Y 열화 화상의 휘도 분포로 이루고, 나머지 U신호만으로 이루어지는 U 열화 화상의 분포 및 V신호만으로 이루어지는 V 열화 화상의 분포를 보유하는 Y 열화 화상 추출 수단; 및
(W114) 상기 Y 열화 화상의 휘도 분포의 디감마 처리를 행하고 1프레임분의 휘도 분포로 이루어지는 열화 화상의 휘도 분포로 이루어 출력하는 디감마 처리 수단;
을 구비하는 것에 특징이 있는 TV 영상용 가속 초해상 처리 장치.
청구항 22에 있어서,
상기 TV 영상화 수단은,
(W120) 상기 최우 복원 화상의 휘도 분포의 감마 처리를 행하는 감마 처리 수단;
(W121) 상기 Y 열화 화상 추출 수단에서 보유한 상기 U 열화 화상의 분포 및 상기 V 열화 화상의 분포와 Y성분으로 이루어지는 감마 처리 후의 최우 복원 화상의 휘도 분포로부터 1장의 YUV 복원 화상의 분포를 합성하는 복원 화상 합성 수단;
(W122) 상기 YUV 복원 화상의 분포의 RGB 변환을 행하여 RGB 복원 화상의 분포로 이루는 RGB 변환 수단;
(W123) 상기 RGB 복원 화상의 분포를 판독하여 RGB 신호를 출력하는 RGB 신호 변환 수단; 및
(W124) 상기 RGB 신호를 상기 지연 수단이 출력하는 상기 나머지 TV 영상 신호와 합성하여 1프레임분의 TV 영상 신호로 이루어지는 초해상 TV 영상 신호로 이루어 출력하는 TV 영상 신호 합성 수단;
을 구비하는 것에 특징이 있는 TV 영상용 가속 초해상 처리 장치.
상기 TV 영상화 수단은,
(W120) 상기 최우 복원 화상의 휘도 분포의 감마 처리를 행하는 감마 처리 수단;
(W121) 상기 Y 열화 화상 추출 수단에서 보유한 상기 U 열화 화상의 분포 및 상기 V 열화 화상의 분포와 Y성분으로 이루어지는 감마 처리 후의 최우 복원 화상의 휘도 분포로부터 1장의 YUV 복원 화상의 분포를 합성하는 복원 화상 합성 수단;
(W122) 상기 YUV 복원 화상의 분포의 RGB 변환을 행하여 RGB 복원 화상의 분포로 이루는 RGB 변환 수단;
(W123) 상기 RGB 복원 화상의 분포를 판독하여 RGB 신호를 출력하는 RGB 신호 변환 수단; 및
(W124) 상기 RGB 신호를 상기 지연 수단이 출력하는 상기 나머지 TV 영상 신호와 합성하여 1프레임분의 TV 영상 신호로 이루어지는 초해상 TV 영상 신호로 이루어 출력하는 TV 영상 신호 합성 수단;
을 구비하는 것에 특징이 있는 TV 영상용 가속 초해상 처리 장치.
청구항 15에 기재된 (W1)~(W7)의 수단으로 구성된 준비 수단 및 청구항 15에 기재된 (W8)~(W18)의 수단으로 구성된 제1 화상 복원 수단을 구성하고, 또한 실행시키기 위한 제4 가속 초해상 처리 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체.
청구항 20에 기재된 TV 영상용 가속 초해상 처리 장치를 구성하는, 상기 (W1)~(W7)의 수단 및 상기 제2 화상 복원 수단을 구성하고, 또한 실행시키기 위한 제5 가속 초해상 처리 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체.
청구항 21에 기재된 TV 영상용 가속 초해상 처리 장치를 구성하는, 상기 (W1)~(W7)의 수단 및 상기 제3 화상 복원 수단을 구성하고, 또한 실행시키기 위한 제6 가속 초해상 처리 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체.
컴퓨터에 접속 가능한 제2 기억 매체로서,
청구항 24에 기재된 제4 가속 초해상 처리 프로그램, 청구항 25에 기재된 제5 가속 초해상 처리 프로그램 및 청구항 26에 기재된 제6 가속 초해상 처리 프로그램을 암호화된 형태로 기억하는 동시에, 이들 암호화된 상기 제4 가속 초해상 처리 프로그램, 상기 제5 가속 초해상 처리 프로그램 및 상기 제6 가속 초해상 처리 프로그램을 컴퓨터에 읽어들이게 하는 것이 가능한 것에 특징이 있는 제2 기억 매체.
청구항 24에 기재된 제4 가속 초해상 처리 프로그램, 청구항 25에 기재된 제5 가속 초해상 처리 프로그램 및 청구항 26에 기재된 제6 가속 초해상 처리 프로그램을 암호화된 형태로 기억하는 동시에, 이들 암호화된 상기 제4 가속 초해상 처리 프로그램, 상기 제5 가속 초해상 처리 프로그램 및 상기 제6 가속 초해상 처리 프로그램을 컴퓨터에 읽어들이게 하는 것이 가능한 것에 특징이 있는 제2 기억 매체.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JPJP-P-2013-255951 | 2013-12-11 | ||
| JP2013255951A JP6126523B2 (ja) | 2013-12-11 | 2013-12-11 | Ｔｖ映像向け加速超解像処理方法及び同方法によるｔｖ映像向け加速超解像処理装置、第１〜６加速超解像処理プログラム、並びに第１〜２記憶媒体 |
| PCT/JP2014/081474 WO2015087712A1 (ja) | 2013-12-11 | 2014-11-27 | Ｔｖ映像向け加速超解像処理方法及び同方法によるｔｖ映像向け加速超解像処理装置、第１～６加速超解像処理プログラム、並びに第１～２記憶媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20160082705A KR20160082705A (ko) | 2016-07-08 |
| KR101807229B1 true KR101807229B1 (ko) | 2017-12-08 |
Family
ID=53371024
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020167015373A KR101807229B1 (ko) | 2013-12-11 | 2014-11-27 | Tv 영상용 가속 초해상 처리 방법 및 이 방법에 따른 tv 영상용 가속 초해상 처리 장치, 제1~6 가속 초해상 처리 프로그램과 제1~2 기억 매체 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US9787962B2 (ko) |
| JP (1) | JP6126523B2 (ko) |
| KR (1) | KR101807229B1 (ko) |
| CN (1) | CN105814873B (ko) |
| WO (1) | WO2015087712A1 (ko) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3881280B1 (en) * | 2018-12-29 | 2023-09-13 | Zhejiang Dahua Technology Co., Ltd. | Methods and systems for image processing |
| CN112184835B (zh) * | 2020-10-16 | 2024-01-19 | 深圳阿图科技有限公司 | 一种钢琴键盘图像的形变恢复方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009135561A (ja) | 2007-01-12 | 2009-06-18 | Sanyo Electric Co Ltd | ぶれ検出装置、ぶれ補正装置及び方法 |
| JP2009271725A (ja) | 2008-05-07 | 2009-11-19 | Tokyo Institute Of Technology | 画像復元装置、画像復元方法及び画像復元プログラム |
| WO2011099244A1 (ja) | 2010-02-10 | 2011-08-18 | パナソニック株式会社 | 画像処理装置および画像処理方法 |
| JP2013175003A (ja) | 2012-02-24 | 2013-09-05 | Osaka Prefecture Univ | Ｐｓｆ推定方法とそれを用いた劣化画像の復元方法およびこれらを記録したプログラムとそれを実行するコンピュータ装置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1801753B1 (en) * | 2004-10-14 | 2016-12-07 | Lightron Co. Ltd. | Degradation information restoring method and device |
| DE602005027373D1 (de) | 2004-10-14 | 2011-05-19 | Lightron Co Ltd | Verschlechterungsinformations-wiederherstellungsverfahren und -einrichtung |
| JPWO2007122838A1 (ja) * | 2006-04-25 | 2009-09-03 | 国立大学法人 奈良先端科学技術大学院大学 | 階層ベイズ法に基づく超解像法および超解像プログラム |
| JP2009100407A (ja) * | 2007-10-19 | 2009-05-07 | Toshiba Corp | 画像処理装置及びその方法 |
| JP2009296410A (ja) * | 2008-06-06 | 2009-12-17 | Hitachi Ltd | 高解像度の映像再生装置 |
| JP2013003610A (ja) * | 2011-06-10 | 2013-01-07 | Sony Corp | 画像処理装置および方法、プログラム、並びに記録媒体 |
-
2013
- 2013-12-11 JP JP2013255951A patent/JP6126523B2/ja active Active
-
2014
- 2014-11-27 WO PCT/JP2014/081474 patent/WO2015087712A1/ja active Application Filing
- 2014-11-27 US US15/103,349 patent/US9787962B2/en active Active
- 2014-11-27 KR KR1020167015373A patent/KR101807229B1/ko active IP Right Grant
- 2014-11-27 CN CN201480067470.8A patent/CN105814873B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009135561A (ja) | 2007-01-12 | 2009-06-18 | Sanyo Electric Co Ltd | ぶれ検出装置、ぶれ補正装置及び方法 |
| JP2009271725A (ja) | 2008-05-07 | 2009-11-19 | Tokyo Institute Of Technology | 画像復元装置、画像復元方法及び画像復元プログラム |
| WO2011099244A1 (ja) | 2010-02-10 | 2011-08-18 | パナソニック株式会社 | 画像処理装置および画像処理方法 |
| JP2013175003A (ja) | 2012-02-24 | 2013-09-05 | Osaka Prefecture Univ | Ｐｓｆ推定方法とそれを用いた劣化画像の復元方法およびこれらを記録したプログラムとそれを実行するコンピュータ装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015115747A (ja) | 2015-06-22 |
| CN105814873A (zh) | 2016-07-27 |
| US9787962B2 (en) | 2017-10-10 |
| CN105814873B (zh) | 2019-02-19 |
| KR20160082705A (ko) | 2016-07-08 |
| JP6126523B2 (ja) | 2017-05-10 |
| WO2015087712A1 (ja) | 2015-06-18 |
| US20160366387A1 (en) | 2016-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102086711B1 (ko) | Simd형 초병렬 연산 처리 장치용 초해상 처리 방법, 장치, 프로그램 및 기억 매체 | |
| CN110062176B (zh) | 生成视频的方法、装置、电子设备和计算机可读存储介质 | |
| KR100829564B1 (ko) | 효율적으로 모션 블러 효과를 제공하는 3차원 그래픽스렌더링 방법 및 장치 | |
| CN111325704B (zh) | 图像修复方法、装置、电子设备及计算机可读存储介质 | |
| JP2010224535A (ja) | コンピューター読み取り可能な記憶媒体、画像処理装置および画像処理方法 | |
| US20090179920A1 (en) | Up-scaling | |
| WO2016043161A1 (ja) | 表示装置、表示システム、及び表示制御プログラム | |
| KR101807229B1 (ko) | Tv 영상용 가속 초해상 처리 방법 및 이 방법에 따른 tv 영상용 가속 초해상 처리 장치, 제1~6 가속 초해상 처리 프로그램과 제1~2 기억 매체 | |
| US10169899B2 (en) | Reactive overlays of multiple representations using augmented reality | |
| CN109643528A (zh) | 信息处理装置、信息处理方法和程序 | |
| CN104574473B (zh) | 一种基于静态图片生成动态效果的方法和装置 | |
| JP2009224901A (ja) | 画像のダイナミックレンジ圧縮方法、画像処理回路、撮像装置およびプログラム | |
| JP6155182B2 (ja) | Ｔｖ映像向け超解像処理方法および同方法によるｔｖ映像向け超解像処理装置、第１〜第１４超解像処理プログラム、並びに第１〜第４記憶媒体 | |
| US20230368340A1 (en) | Gating of Contextual Attention and Convolutional Features | |
| CN115049572A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
| US9609319B2 (en) | Detection, location, and processing of static pixels | |
| JP2020087104A (ja) | コンピュータプログラム、画像処理方法、及び画像処理装置 | |
| WO2023036111A1 (zh) | 视频处理方法、装置、设备及介质 | |
| JP5898109B2 (ja) | 画像合成装置、画像合成方法及び画像合成プログラム | |
| CN115315722A (zh) | 训练多幅图像的对齐 | |
| CN116957967A (zh) | 3d界面色差解决方法、系统、设备及介质 | |
| CN115170719A (zh) | 图像叠加处理方法、装置、可读介质和电子设备 | |
| JP2002342777A (ja) | 画像処理装置および画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| N231 | Notification of change of applicant | ||
| GRNT | Written decision to grant |