KR101703790B1 - 흐린 이미지에 기초하여 선명한 이미지를 생성하는 이미지 생성 방법 및 이미지 생성 장치 - Google Patents

흐린 이미지에 기초하여 선명한 이미지를 생성하는 이미지 생성 방법 및 이미지 생성 장치 Download PDF

Info

Publication number
KR101703790B1
KR101703790B1 KR1020150121593A KR20150121593A KR101703790B1 KR 101703790 B1 KR101703790 B1 KR 101703790B1 KR 1020150121593 A KR1020150121593 A KR 1020150121593A KR 20150121593 A KR20150121593 A KR 20150121593A KR 101703790 B1 KR101703790 B1 KR 101703790B1
Authority
KR
South Korea
Prior art keywords
image
rti
denotes
pixel
value
Prior art date
Application number
KR1020150121593A
Other languages
English (en)
Other versions
KR20160029668A (ko
Inventor
라이 수
지아야 지아
쿼콰이 훙
Original Assignee
후아웨이 테크놀러지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후아웨이 테크놀러지 컴퍼니 리미티드 filed Critical 후아웨이 테크놀러지 컴퍼니 리미티드
Publication of KR20160029668A publication Critical patent/KR20160029668A/ko
Application granted granted Critical
Publication of KR101703790B1 publication Critical patent/KR101703790B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G06T5/003—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Mathematical Physics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)

Abstract

본 발명은 흐린 이미지에 기초하여 선명한 이미지를 생성하는 방법을 나타낸다. 이러한 방법은 픽셀의 픽셀값 및 흐린 이미지의 컨볼루션 커널을 획득하는 단계; 미리 설정된 이미지 그래디언트 연산자 및 상기 컨볼루션 커널에 기초하여, 상기 흐린 이미지의 디컨볼루션 커널을 결정하는 단계; 상기 디컨볼루션 커널 및 상기 흐린 이미지의 픽셀의 픽셀값에 기초하여, 선명한 이미지의 픽셀의 픽셀값을 결정하는 단계; 및 상기 선명한 이미지의 픽셀의 픽셀값에 기초하여, 선명한 이미지를 생성하는 단계를 포함한다. 본 발명의 실시예의 디컨볼루션 커널은 그래디언트 연산자와 컨볼루션 커널에 기초하여 결정된다. 바꿔말하면, 디컨볼루션 커널은 공식화 제약인자로서 그래디언트 연산자를 도입하고, 이러한 그래디언트 연산자는 노이즈가 이미지 복원 프로세스에 영향을 미치는 것을 방지하고, 복원된 선명한 이미지의 화질을 향상시킨다.

Description

흐린 이미지에 기초하여 선명한 이미지를 생성하는 이미지 생성 방법 및 이미지 생성 장치{METHOD AND APPARATUS FOR GENERATING SHARP IMAGE BASED ON BLURRY IMAGE}
본 발명은 이미지 프로세싱 분야에 관한 것으로서, 보다 상세하게는, 흐린 이미지에 기초하여 선명한 이미지를 생성하는 이미지 생성 방법 및 이미지 생성 장치에 관한 것이다.
컴퓨터 기술의 발전으로, 컴퓨터를 이용한 이미지 노이즈 제거(denoising), 향상(enhancement), 복원(restoration), 분할(segmentation)과 같은 기술은 광범위하게 사용되고 있다.
예를 들어, 카메라가 흔들림에 따른 모션 블러(motion blur) 프로세스, 카메라 이미지 디포커스 블러 프로세스(defocus blur process), 저해상도 이미지 생성 프로세스, 등 디지털 이미지 분야에서, 디지털 이미지의 이미지 프로세스는 디스크리트 컨볼루션(discrete convolution) 모델로 대력 모델링 되었다. 따라서, 디지털 이미지의 향상 및 복원은 디스크리트 컨볼루션의 반대 프로세스, 즉, 디컨볼루션(deconvolution) 기술을 이용하여 구현될 수 있다. 전형적인 디컨볼루션 기술은 디지털 이미지 디블러링(deblurring) 기술, 이미지 슈퍼-레졸루션 기술(super-resolution) 등을 포함하고 있다.
위너 필터링(Wiener filtering) 기술은 전형적인 디컨볼루션 기술이다. 위너 필터링에서는, 수도 디컨볼루션 커널(pseudo deconvolution kernel)이 주파수 영역에서 도입되고, 수도 디컨볼루션 커널은 이하의 수학식 1과 같다.
[수학식 1]
Figure 112015083713956-pat00001
여기서,
Figure 112015083713956-pat00002
는 푸리에 변환을,
Figure 112015083713956-pat00003
푸리에 변환의 공액 복소수(a complex conjugate)를, SNR은 수도 디컨볼루션 커널의 고주파 노이즈를 억제하는 효과를 가져오는 시그널-투-노이즈(signal-to-noise) 파워 비율을, k는 컨볼루션 커널을 각각 나타낸다. 선명한 이미지는 이하의 수학식 2를 이용하여 표현될 수 있다.
[수학식 2]
Figure 112015083713956-pat00004
여기서, y는 흐린 이미지를,
Figure 112015083713956-pat00005
는 역푸리에 변환을 의미한다.
푸리에 변환의 컨볼루션 식을 이용하여 수학식 2는 이하의 수학식 3과 같이 변환 될 수 있다.
[수학식 3]
Figure 112015083713956-pat00006
Figure 112015083713956-pat00007
는 공간 영역에서의 디컨볼루션 커널이다.
디컨볼루션 커널의 도입으로 디컨볼루션의 계산이 단순화 될 수 있으나, 디컨볼루션 커널은 공식화 제약인자(regularization constraint)으로 SNR을 사용한다. 이러한 공식화 제약인자는 노이즈에 영향을 받는다. 그래서 디컨볼루션 커널을 사용하는 이미지 복구 프로세스는 노이즈와 링깅 효과(ringing effect)에 영향을 받을 수 밖에 없고, 이것은 복구된 선명한 이미지의 화질에 어느 정도까지는 나쁜 영향을 미친다.
본 발명의 실시예는 흐린 이미지에 기초하여 선명한 이미지를 생성하는 이미지 생성 방법 및 이미지 생성 장치를 제공한다.
제1 양태에 따르면, 흐린 이미지에 기초하여 선명한 이미지를 생성하기 위한 이미지 생성 방법에 있어서, 상기 흐린 이미지의 픽셀의 픽셀값, 및 상기 흐린 이미지의 컨볼루션 커널을 획득하는 단계; 미리 설정된 이미지 그래디언트 연산자 및 상기 컨볼루션 커널에 기초하여, 상기 흐린 이미지의 디컨볼루션 커널을 결정하는 단계; 상기 디컨볼루션 커널 및 상기 흐린 이미지의 픽셀의 픽셀값에 기초하여, 상기 선명한 이미지의 픽셀의 픽셀값을 결정하는 단계; 및 상기 선명한 이미지의 픽셀의 픽셀값에 기초하여, 상기 선명한 이미지를 생성하는 단계를 포함한 이미지 생성 방법이다.
제1 양태를 참조하면, 제1 양태의 제1 구현 방법은, 상기 디컨볼루션 커널 및 상기 흐린 이미지의 픽셀의 픽셀값에 기초하여, 상기 선명한 이미지의 픽셀의 픽셀값을 결정하는 단계는, 일대일 대응관계에 있는, m개의 0이 아닌 특이치, m개의 행 벡터, 및 m개의 열 벡터를 얻기 위해, 상기 디컨볼루션 커널에 대해 특이치 분해를 수행하는 단계; 및 상기 m개의 0이 아닌 특이치, 상기 m개의 행 벡터, 상기 m개의 열 벡터, 및 상기 흐린 이미지의 픽셀의 픽셀값에 기초하여, 상기 선명한 이미지의 픽셀의 픽셀값을 결정하는 단계를 포함한 이미지 생성 방법이다.
제1 양태 또는 전술한 구현 방법을 참조하면, 제1 양태의 제2 구현 방법은, 수학식
Figure 112015083713956-pat00008
에 기초하여
Figure 112015083713956-pat00009
를 결정하는단계; 수학식
Figure 112015083713956-pat00010
에 기초하여
Figure 112015083713956-pat00011
를 결정하고; 수학식
Figure 112015083713956-pat00012
에 기초하여
Figure 112015083713956-pat00013
를 결정하는 단계; 및 t가 미리 설정된 반복 회수에 도달한 때,
Figure 112015083713956-pat00014
에 기초하여 선명한 이미지의 픽셀의 픽셀값을 결정하고, 그렇지 않고 t 가 상기 미리 설정된 반복 회수에 도달하지 않은 때는, 반복을 위해,
Figure 112015083713956-pat00015
을 이용하여
Figure 112015083713956-pat00016
를 업데이트하고,
Figure 112015083713956-pat00017
를 이용하여
Figure 112015083713956-pat00018
를 업데이트한 후,
Figure 112015083713956-pat00019
를 결정하는 단계로 되돌아가는 단계를 포함하고, 여기서 ,
Figure 112015083713956-pat00020
이고,
Figure 112015083713956-pat00021
이며, n은 흐린 이미지의 픽셀 수를 의미하고, t는 반복 회수를 의미하며, x는 선명한 이미지의 픽셀값으로 구성된 열 벡터를 의미하고,
Figure 112015083713956-pat00022
t번째 반복의 x값을 의미하며,
Figure 112015083713956-pat00023
는 (t+1)번째 반복의 x값을 의미하고, x의 초기값은
Figure 112015083713956-pat00024
이며, y는 흐린 이미지의 픽셀값으로 구성된 열 벡터를 의미하고,
Figure 112015083713956-pat00025
는 (t+1)번째 반복의
Figure 112015083713956-pat00026
값을 의미하며,
Figure 112015083713956-pat00027
는 t번째 반복의
Figure 112015083713956-pat00028
값을 의미하며,
Figure 112015083713956-pat00029
의 초기값은
Figure 112015083713956-pat00030
이고,
Figure 112015083713956-pat00031
은 m개의 0이 아닌 특이치 중에서 l번째 특이치를 의미하며,
Figure 112015083713956-pat00032
는 l번째 특이치에 대응하는 행 벡터를 의미하고,
Figure 112015083713956-pat00033
과
Figure 112015083713956-pat00034
은
Figure 112015083713956-pat00035
와
Figure 112015083713956-pat00036
를 180˚ 회전 시킨 후에 얻어지는 연산자를 각각 의미하며,
Figure 112015083713956-pat00037
이미지 그래디언트 연산자를 의미하고 또
Figure 112015083713956-pat00038
과
Figure 112015083713956-pat00039
를 포함하고,
Figure 112015083713956-pat00040
은 수평 그래디언트 연산자를 의미하며,
Figure 112015083713956-pat00041
는 수직 그래디언트 연산자를 의미하고,
Figure 112015083713956-pat00042
는 컨볼루션 커널을 의미하며,
Figure 112015083713956-pat00043
와
Figure 112015083713956-pat00044
는 다항식의 가중치를 의미하고,
Figure 112015083713956-pat00045
는
Figure 112015083713956-pat00046
-놈(norm) 제약인자(constraint)가 부과되어 있다는 것을 의미한다.
제1 양태, 전술한 제1 양태의 제1구현 방법, 또는 제1 양태의 제2 구현 방법을 참조하면, 제1 양태의 제3구현 방법은 상기 디컨볼루션 커널 및 상기 흐린 이미지의 픽셀의 픽셀값에 기초하여, 상기 선명한 이미지의 픽셀의 픽셀값을 결정하는 단계는, 수학식
Figure 112015083713956-pat00047
에 기초하여
Figure 112015083713956-pat00048
를 결정하는 단계; 수학식
Figure 112015083713956-pat00049
에 기초하여
Figure 112015083713956-pat00050
를 결정하는 단계; 수학식
Figure 112015083713956-pat00051
에 기초하여
Figure 112015083713956-pat00052
를 결정하는 단계; 및 t가 미리 설정된 반복 회수에 도달한 때,
Figure 112015083713956-pat00053
에 기초하여 선명한 이미지의 픽셀의 픽셀값을 결정하고, 그렇지 않고 t가 상기 미리 설정된 반복 회수에 도달하지 않은 때는, 반복을 위해,
Figure 112015083713956-pat00054
을 이용하여
Figure 112015083713956-pat00055
를 업데이트하고,
Figure 112015083713956-pat00056
를 이용하여
Figure 112015083713956-pat00057
를 업데이트한 후,
Figure 112015083713956-pat00058
를 결정하는 단계로 되돌아가는 단계를 포함하고, 여기서,
Figure 112015083713956-pat00059
이고, n은 흐린 이미지의 픽셀 수를 의미하고, t는 반복 회수를 의미하며, x는 선명한 이미지의 픽셀값으로 구성된 열 벡터를 의미하고,
Figure 112015083713956-pat00060
t번째 반복의 x값을 의미하며,
Figure 112015083713956-pat00061
는 (t+1)번째 반복의 x값을 의미하고, x의 초기값은
Figure 112015083713956-pat00062
이며, y는 흐린 이미지의 픽셀값으로 구성된 열 벡터를 의미하고,
Figure 112015083713956-pat00063
는 (t+1)번째 반복의
Figure 112015083713956-pat00064
값을 의미하며,
Figure 112015083713956-pat00065
t번째 반복의
Figure 112015083713956-pat00066
값을 의미하고,
Figure 112015083713956-pat00067
(t+1)번째 반복의
Figure 112015083713956-pat00068
값을 의미하며,
Figure 112015083713956-pat00069
의 초기값은
Figure 112015083713956-pat00070
이고,
Figure 112015083713956-pat00071
은 m개의 특이치 중에서 l번째 특이치를 의미하며,
Figure 112015083713956-pat00072
는 l번째 특이치에 대응하는 행 벡터를 의미하고,
Figure 112015083713956-pat00073
과
Figure 112015083713956-pat00074
은
Figure 112015083713956-pat00075
와
Figure 112015083713956-pat00076
를 180˚ 회전 시킨 후에 얻어지는 연산자를 각각 의미하며,
Figure 112015083713956-pat00077
이미지 그래디언트 연산자를 의미하고 또
Figure 112015083713956-pat00078
과
Figure 112015083713956-pat00079
를 포함하고,
Figure 112015083713956-pat00080
은 수평 그래디언트 연산자를 의미하며,
Figure 112015083713956-pat00081
는 수직 그래디언트 연산자를 의미하고,
Figure 112015083713956-pat00082
는 컨볼루션 커널을 의미하며,
Figure 112015083713956-pat00083
와
Figure 112015083713956-pat00084
는 다항식의 가중치를 의미하고,
Figure 112015083713956-pat00085
는
Figure 112015083713956-pat00086
-놈(norm) 제약인자가 부가되어 있다는 것을 의미한다.
제1 양태, 전술한 제1 양태의 제1 내지 3 구현 방법을 참조하면, 제1 양태의 제4구현 방법은, 상기 디컨볼루션 커널 및 상기 흐린 이미지의 픽셀의 픽셀값에 기초하여, 상기 선명한 이미지의 픽셀의 픽셀값을 결정하는 단계는,수학식
Figure 112015083713956-pat00087
에 기초하여
Figure 112015083713956-pat00088
를 결정하는 단계; 수학식
Figure 112015083713956-pat00089
에 기초하여
Figure 112015083713956-pat00090
를 결정하는 단계; 수학식
Figure 112015083713956-pat00091
에 기초하여
Figure 112015083713956-pat00092
을 결정하는 단계; t가 미리 설정된 반복 회수에 도달한 때,
Figure 112015083713956-pat00093
에 기초하여 선명한 이미지의 픽셀의 픽셀값을 결정하고, 그렇지 않고 t가 상기 미리 설정된 반복 회수에 도달하지 않은 때는, 반복을 위해,
Figure 112015083713956-pat00094
을 이용하여
Figure 112015083713956-pat00095
를 업데이트하고,
Figure 112015083713956-pat00096
를 이용하여
Figure 112015083713956-pat00097
를 업데이트한 후,
Figure 112015083713956-pat00098
를 결정하는 단계로 되돌아가는 단계를 포함하고, 여기서,
Figure 112015083713956-pat00099
이고, n은 흐린 이미지의 픽셀 수를 의미하고, t는 반복 회수를 의미하며, x는 선명한 이미지의 픽셀값으로 구성된 열 벡터를 의미하고,
Figure 112015083713956-pat00100
t번째 반복의 x값을 의미하며,
Figure 112015083713956-pat00101
는 (t+1)번째 반복의 x값을 의미하고, x의 초기값은
Figure 112015083713956-pat00102
이며, y는 흐린 이미지의 픽셀값으로 구성된 열 벡터를 의미하고,
Figure 112015083713956-pat00103
는 (t+1)번째 반복의
Figure 112015083713956-pat00104
값을 의미하며,
Figure 112015083713956-pat00105
t번째 반복의
Figure 112015083713956-pat00106
값을 의미하고,
Figure 112015083713956-pat00107
(t+1)번째 반복의
Figure 112015083713956-pat00108
값을 의미하며,
Figure 112015083713956-pat00109
의 초기값은
Figure 112015083713956-pat00110
이고,
Figure 112015083713956-pat00111
은 m개의 특이치 중에서 l번째 특이치를 의미하며,
Figure 112015083713956-pat00112
는 l번째 특이치에 대응하는 행 벡터를 의미하고,
Figure 112015083713956-pat00113
과
Figure 112015083713956-pat00114
은
Figure 112015083713956-pat00115
와
Figure 112015083713956-pat00116
를 180˚ 회전 시킨 후에 얻어지는 연산자를 각각 의미하며,
Figure 112015083713956-pat00117
이미지 그래디언트 연산자를 의미하고 또
Figure 112015083713956-pat00118
과
Figure 112015083713956-pat00119
를 포함하고,
Figure 112015083713956-pat00120
은 수평 그래디언트 연산자를 의미하며,
Figure 112015083713956-pat00121
는 수직 그래디언트 연산자를 의미하고,
Figure 112015083713956-pat00122
는 컨볼루션 커널을 의미하며,
Figure 112015083713956-pat00123
와
Figure 112015083713956-pat00124
는 다항식의 가중치를 의미하고,
Figure 112015083713956-pat00125
는
Figure 112015083713956-pat00126
-놈(norm) 제약인자가 부가되어 있다는 것을 의미한다.
제1 양태, 전술한 제1 양태의 제1 내지 4 구현 방법을 참조하면, 제1 양태의 제5구현 방법은, 상기 미리 설정된 이미지 그래디언트 연산자 및 상기 컨볼루션 커널에 기초하여, 상기 흐린 이미지의 디컨볼루션 커널을 결정하는 단계는, 수학식
Figure 112015083713956-pat00127
에 따라 디컨볼루션 커널을 결정하는 단계를 포함하고,
Figure 112015083713956-pat00128
는 디컨볼루션 커널을 의미하고,
Figure 112015083713956-pat00129
는 그래디언트 연산자를 의미하며,
Figure 112015083713956-pat00130
이미지 그래디언트 연산자를 의미하고 또
Figure 112015083713956-pat00131
과
Figure 112015083713956-pat00132
를 포함하고,
Figure 112015083713956-pat00133
은 수평 그래디언트 연산자를 의미하며,
Figure 112015083713956-pat00134
는 수직 그래디언트 연산자를 의미하고,
Figure 112015083713956-pat00135
는 컨볼루션 커널을 의미하며
Figure 112015083713956-pat00136
푸리에 변환을 의미하며,
Figure 112015083713956-pat00137
는 역푸리에 변환을 의미한다.
제2양태에 따르면, 흐린 이미지에 기초하여 선명한 이미지를 생성하기 위한 이미지 생성 장치에 있어서, 상기 흐린 이미지의 픽셀의 픽셀값, 및 상기 흐린 이미지의 컨볼루션 커널을 획득하도록 구성된 획득 유닛; 미리 설정된 이미지 그래디언트 연산자 및 상기 획득 유닛에 의해 획득된 상기 컨볼루션 커널에 기초하여, 디컨볼루션 커널을 결정하도록 구성된 제1 결정 유닛; 상기 제1 결정 유닛에 의해 결정된 디컨볼루션 커널 및 상기 획득 유닛에 의해 획득된 상기 흐린 이미지의 픽셀의 픽셀값에 기초하여, 상기 선명한 이미지의 픽셀의 픽셀값을 결정하도록 구성된 제2 결정 유닛; 및 상기 제2 결정 유닛에 의해 결정된 상기 선명한 이미지의 픽셀의 픽셀값에 기초하여, 상기 선명한 이미지를 생성하도록 구성된 이미지 생성 장치이다.
제2양태를 참조하면, 제2양태의 제1구현 방법은, 상기 제2 결정 유닛은 구체적으로, 일대일 대응관계에 있는, m개의 0이 아닌 특이치, m개의 행 벡터, 및 m개의 열 벡터를 얻기 위해, 상기 디컨볼루션 커널에 대해 특이치 분해를 수행하고, 상기 m개의 0이 아닌 특이치, 상기 m개의 행 벡터, 상기 m개의 열 벡터, 및 상기 흐린 이미지의 픽셀의 픽셀값에 기초하여, 상기 선명한 이미지의 픽셀의 픽셀값을 결정하도록 구성된 이미지 생성 장치이다.
제2양태, 또는 전술한 제2 양태의 제1구현 방법을 참조하면, 제2양태의 제2구현 방법은, 상기 제2 결정 유닛은 구체적으로, 수학식
Figure 112015083713956-pat00138
에 기초하여
Figure 112015083713956-pat00139
를 결정하고; 수학식
Figure 112015083713956-pat00140
에 기초하여
Figure 112015083713956-pat00141
를 결정하고; 수학식
Figure 112015083713956-pat00142
에 기초하여
Figure 112015083713956-pat00143
를 결정하고; t가 미리 설정된 반복 회수에 도달한 때,
Figure 112015083713956-pat00144
에 기초하여 선명한 이미지의 픽셀의 픽셀값을 결정하고, 그렇지 않고 t 가 상기 미리 설정된 반복 회수에 도달하지 않은 때는, 반복을 위해,
Figure 112015083713956-pat00145
을 이용하여
Figure 112015083713956-pat00146
를 업데이트하고,
Figure 112015083713956-pat00147
를 이용하여
Figure 112015083713956-pat00148
를 업데이트한 후,
Figure 112015083713956-pat00149
를 결정하는 과정으로 되돌아가도록 구성되고, 여기서,
Figure 112015083713956-pat00150
이고,
Figure 112015083713956-pat00151
이며, n은 흐린 이미지의 픽셀 수를 의미하고, t는 반복 회수를 의미하며, x는 선명한 이미지의 픽셀값으로 구성된 열 벡터를 의미하고,
Figure 112015083713956-pat00152
t번째 반복의 x값을 의미하며,
Figure 112015083713956-pat00153
는 (t+1)번째 반복의 x값을 의미하고, x의 초기값은
Figure 112015083713956-pat00154
이며, y는 흐린 이미지의 픽셀값으로 구성된 열 벡터를 의미하고,
Figure 112015083713956-pat00155
는 (t+1)번째 반복의
Figure 112015083713956-pat00156
값을 의미하며,
Figure 112015083713956-pat00157
는 t번째 반복의
Figure 112015083713956-pat00158
값을 의미하며,
Figure 112015083713956-pat00159
의 초기값은
Figure 112015083713956-pat00160
이고,
Figure 112015083713956-pat00161
은 m개의 0이 아닌 특이치 중에서 l번째 특이치를 의미하며,
Figure 112015083713956-pat00162
는 l번째 특이치에 대응하는 행 벡터를 의미하고,
Figure 112015083713956-pat00163
과
Figure 112015083713956-pat00164
은
Figure 112015083713956-pat00165
와
Figure 112015083713956-pat00166
를 180˚ 회전 시킨 후에 얻어지는 연산자를 각각 의미하며,
Figure 112015083713956-pat00167
이미지 그래디언트 연산자를 의미하고 또
Figure 112015083713956-pat00168
과
Figure 112015083713956-pat00169
를 포함하고,
Figure 112015083713956-pat00170
은 수평 그래디언트 연산자를 의미하며,
Figure 112015083713956-pat00171
는 수직 그래디언트 연산자를 의미하고,
Figure 112015083713956-pat00172
는 컨볼루션 커널을 의미하며,
Figure 112015083713956-pat00173
와
Figure 112015083713956-pat00174
는 다항식의 가중치를 의미하고,
Figure 112015083713956-pat00175
는
Figure 112015083713956-pat00176
-놈(norm) 제약인자(constraint)가 부과되어 있다는 것을 의미한다.
제2양태, 또는 전술한 제2 양태의 제1내지 제2구현 방법을 참조하면, 제2양태의 제3구현 방법은, 제2 결정 유닛은 구체적으로, 수학식
Figure 112015083713956-pat00177
에 기초하여
Figure 112015083713956-pat00178
를 결정하고; 수학식
Figure 112015083713956-pat00179
에 기초하여
Figure 112015083713956-pat00180
를 결정하고; 수학식
Figure 112015083713956-pat00181
에 기초하여
Figure 112015083713956-pat00182
를 결정하고; t가 미리 설정된 반복 회수에 도달한 때,
Figure 112015083713956-pat00183
에 기초하여 선명한 이미지의 픽셀의 픽셀값을 결정하고, 그렇지 않고 t가 상기 미리 설정된 반복 회수에 도달하지 않은 때는, 반복을 위해,
Figure 112015083713956-pat00184
을 이용하여
Figure 112015083713956-pat00185
를 업데이트하고,
Figure 112015083713956-pat00186
를 이용하여
Figure 112015083713956-pat00187
를 업데이트한 후,
Figure 112015083713956-pat00188
를 결정하는 과정으로 되돌아가도록 구성되고, 여기서,
Figure 112015083713956-pat00189
이고, n은 흐린 이미지의 픽셀 수를 의미하고, t는 반복 회수를 의미하며, x는 선명한 이미지의 픽셀값으로 구성된 열 벡터를 의미하고,
Figure 112015083713956-pat00190
t번째 반복의 x값을 의미하며,
Figure 112015083713956-pat00191
는 (t+1)번째 반복의 x값을 의미하고, x의 초기값은
Figure 112015083713956-pat00192
이며, y는 흐린 이미지의 픽셀값으로 구성된 열 벡터를 의미하고,
Figure 112015083713956-pat00193
는 (t+1)번째 반복의
Figure 112015083713956-pat00194
값을 의미하며,
Figure 112015083713956-pat00195
t번째 반복의
Figure 112015083713956-pat00196
값을 의미하고,
Figure 112015083713956-pat00197
(t+1)번째 반복의
Figure 112015083713956-pat00198
값을 의미하며,
Figure 112015083713956-pat00199
의 초기값은
Figure 112015083713956-pat00200
이고,
Figure 112015083713956-pat00201
은 m개의 특이치 중에서 l번째 특이치를 의미하며,
Figure 112015083713956-pat00202
는 l번째 특이치에 대응하는 행 벡터를 의미하고,
Figure 112015083713956-pat00203
과
Figure 112015083713956-pat00204
은
Figure 112015083713956-pat00205
와
Figure 112015083713956-pat00206
를 180˚ 회전 시킨 후에 얻어지는 연산자를 각각 의미하며,
Figure 112015083713956-pat00207
이미지 그래디언트 연산자를 의미하고 또
Figure 112015083713956-pat00208
과
Figure 112015083713956-pat00209
를 포함하고,
Figure 112015083713956-pat00210
은 수평 그래디언트 연산자를 의미하며,
Figure 112015083713956-pat00211
는 수직 그래디언트 연산자를 의미하고,
Figure 112015083713956-pat00212
는 컨볼루션 커널을 의미하며,
Figure 112015083713956-pat00213
와
Figure 112015083713956-pat00214
는 다항식의 가중치를 의미하고,
Figure 112015083713956-pat00215
는
Figure 112015083713956-pat00216
-놈(norm) 제약인자가 부가되어 있다는 것을 의미한다.
제2양태, 또는 전술한 제2 양태의 제1내지 제3구현 방법을 참조하면, 제2양태의 제4구현 방법은, 제7항에 있어서, 상기 제2 결정 유닛은 구체적으로, 수학식
Figure 112015083713956-pat00217
에 기초하여
Figure 112015083713956-pat00218
를 결정하고; 수학식
Figure 112015083713956-pat00219
에 기초하여
Figure 112015083713956-pat00220
를 결정하고; 수학식
Figure 112015083713956-pat00221
에 기초하여
Figure 112015083713956-pat00222
을 결정하고; t가 미리 설정된 반복 회수에 도달한 때,
Figure 112015083713956-pat00223
에 기초하여 선명한 이미지의 픽셀의 픽셀값을 결정하고, 그렇지 않고 t가 상기 미리 설정된 반복 회수에 도달하지 않은 때는, 반복을 위해,
Figure 112015083713956-pat00224
을 이용하여
Figure 112015083713956-pat00225
를 업데이트하고,
Figure 112015083713956-pat00226
를 이용하여
Figure 112015083713956-pat00227
를 업데이트한 후,
Figure 112015083713956-pat00228
를 결정하는 과정으로 되돌아가도록 구성되고, 여기서,
Figure 112015083713956-pat00229
이고, n은 흐린 이미지의 픽셀 수를 의미하고, t는 반복 회수를 의미하며, x는 선명한 이미지의 픽셀값으로 구성된 열 벡터를 의미하고,
Figure 112015083713956-pat00230
t번째 반복의 x값을 의미하며,
Figure 112015083713956-pat00231
는 (t+1)번째 반복의 x값을 의미하고, x의 초기값은
Figure 112015083713956-pat00232
이며, y는 흐린 이미지의 픽셀값으로 구성된 열 벡터를 의미하고,
Figure 112015083713956-pat00233
는 (t+1)번째 반복의
Figure 112015083713956-pat00234
값을 의미하며,
Figure 112015083713956-pat00235
t번째 반복의
Figure 112015083713956-pat00236
값을 의미하고,
Figure 112015083713956-pat00237
(t+1)번째 반복의
Figure 112015083713956-pat00238
값을 의미하며,
Figure 112015083713956-pat00239
의 초기값은
Figure 112015083713956-pat00240
이고,
Figure 112015083713956-pat00241
은 m개의 특이치 중에서 l번째 특이치를 의미하며,
Figure 112015083713956-pat00242
는 l번째 특이치에 대응하는 행 벡터를 의미하고,
Figure 112015083713956-pat00243
과
Figure 112015083713956-pat00244
은
Figure 112015083713956-pat00245
와
Figure 112015083713956-pat00246
를 180˚ 회전 시킨 후에 얻어지는 연산자를 각각 의미하며,
Figure 112015083713956-pat00247
이미지 그래디언트 연산자를 의미하고 또
Figure 112015083713956-pat00248
과
Figure 112015083713956-pat00249
를 포함하고,
Figure 112015083713956-pat00250
은 수평 그래디언트 연산자를 의미하며,
Figure 112015083713956-pat00251
는 수직 그래디언트 연산자를 의미하고,
Figure 112015083713956-pat00252
는 컨볼루션 커널을 의미하며,
Figure 112015083713956-pat00253
와
Figure 112015083713956-pat00254
는 다항식의 가중치를 의미하고,
Figure 112015083713956-pat00255
는
Figure 112015083713956-pat00256
-놈(norm) 제약인자가 부가되어 있다는 것을 의미한다.
제2양태, 또는 전술한 제2 양태의 제1내지 제4구현 방법을 참조하면, 제2양태의 제5구현 방법은, 상기 제1결정 유닛은 구체적으로, 수학식
Figure 112015083713956-pat00257
에 따라 디컨볼루션 커널을 결정하도록 구성되고,
Figure 112015083713956-pat00258
는 디컨볼루션 커널을 의미하고,
Figure 112015083713956-pat00259
는 그래디언트 연산자를 의미하며,
Figure 112015083713956-pat00260
이미지 그래디언트 연산자를 의미하고 또
Figure 112015083713956-pat00261
과
Figure 112015083713956-pat00262
를 포함하고,
Figure 112015083713956-pat00263
은 수평 그래디언트 연산자를 의미하며,
Figure 112015083713956-pat00264
는 수직 그래디언트 연산자를 의미하고,
Figure 112015083713956-pat00265
는 컨볼루션 커널을 의미하며
Figure 112015083713956-pat00266
푸리에 변환을 의미하며,
Figure 112015083713956-pat00267
는 역푸리에 변환을 의미한다.
본 발명의 실시예의 디컨볼루션 커널은 그래디언트 연산자와 컨볼루션 커널에 기초하여 결정된다. 바꿔말하면, 디컨볼루션 커널은 공식화 제약인자로서 그래디언트 연산자를 도입하고, 이러한 그래디언트 연산자는 노이즈가 이미지 복원 프로세스에 영향을 미치는 것을 방지하고, 복원된 선명한 이미지의 화질을 향상시킨다.
본 발명의 실시예는 흐린 이미지에 기초하여 선명한 이미지를 생성하는 알고리즘의 능률이 향상되는 효과가 있다.
도 1은 본 발명의 실시예에 따른 흐린 이미지에 기초하여 선명한 이미지를 생성하는 방법의 개략적인 흐름도이다.
도 2는 본 발명의 실시예에서 흐린 이미지에 기초하여 선명한 이미지를 생성하는 방법을 적용하였을 때의 효과를 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 흐린 이미지에 기초하여 선명한 이미지를 생성하는 이미지 생성 장치의 개략적인 구성을 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 흐린 이미지에 기초하여 선명한 이미지를 생성하는 이미지 생성 장치의 개략적인 구성을 나타낸 도면이다.
이하, 첨부 된 본 발명의 실시예에 대한 도면을 참조하여 본 발명의 실시예의 기술적 해결방안을 상세히 설명한다. 명백하게 설명된 실시예는 본 발명의 실시예의 전부가 아니라 일부이다. 본 발명의 실시예에 기초하여 창의적인 노력 없이 당업자에 의해 얻어진 다른 모든 실시예는 본 발명의 보호 범위 내에 포함됨은 당연하다.
도 1은 본 발명의 실시예에 따른 흐린 이미지에 기초하여 선명한 이미지를 생성하는 방법의 개략적인 흐름도이다.
도 1의 방법은 이하의 단계들을 포함한다.
단계 110: 흐린 이미지의 픽셀의 픽셀값 및 획득흐린 이미지의 컨볼루션 커널을 획득한다.
상기 컨볼루션 커널은 선명한 이미지가 흐린 이미지로 변환되는 프로세스를 나타내기 위해 사용되는 것으로 이해되어야 한다.
단계 120: 미리 설정된 이미지 그래디언트(gradient) 연산자 및 상기 컨볼루션 커널에 기초하여 상기 흐린 이미지의 디컨볼루션 커널을 결정한다.
상기 그래디언트 연산자는 이미지의 수평 그래디언트 연산자와 수직 그래디언트 연산자를 포함할 수 있는 것으로 이해되어야 한다.
구체적으로, 단계 120는, 수학식
Figure 112015083713956-pat00268
에 따라 디컨볼루션 커널(deconvolution kernel)을 결정하는 단계를 포함하고, 여기에서
Figure 112015083713956-pat00269
는 는 디컨볼루션 커널을 나타내고,
Figure 112015083713956-pat00270
는
Figure 112015083713956-pat00271
과
Figure 112015083713956-pat00272
를 포함하는 이미지 그래디언트 연산자를 나타낸다. 또한,
Figure 112015083713956-pat00273
은 이미지의 수평 그래디언트 연산자를 나타내고,
Figure 112015083713956-pat00274
는 이미지의 수직 그래디언트 연산자를 나타낸다.
Figure 112015083713956-pat00275
는 상기 컨볼루션 커널을 나타내고,
Figure 112015083713956-pat00276
와
Figure 112015083713956-pat00277
는 상수이다.
Figure 112015083713956-pat00278
는 푸리에 변환(Fourier transform)을 의미하고,
Figure 112015083713956-pat00279
는 역푸리에 변환(inverse Fourier transform)을 의미한다. 상기 디컨볼루션 수식으로부터 알 수 있듯이, 본 발명의 실시예에 따른 컨볼루션 커널
Figure 112015083713956-pat00280
는 공식화 제약인자(regularization constraint)로서 그래디언트 연산자를 사용한다.
단계 130: 디컨볼루션 커널 및 흐린 이미지의 픽셀의 픽셀값에 기초하여 선명한 이미지의 픽셀의 픽셀값을 결정한다.
단계 130에서는 다양한 결정 방법이 있을 수 있다. 예를 들어, 선명한 이미지의 픽셀의 픽셀값은 에너지 방정식을 최소화 함으로써 결정될 수 있다. 이때, 최소화되어야 하는 에너지 방정식은
Figure 112015083713956-pat00281
일 수 있다. 단계 130은 이하 상세히 설명될 것이며, 중복된 상세한 설명은 생략한다.
단계 140: 선명한 이미지의 픽셀의 픽셀값에 기초하여 선명한 이미지를 생성한다.
본 발명의 실시예의 디컨볼루션 커널은 그래디언트 연산자와 컨볼루션 커널에 기초하여 결정된다. 바꿔말하면, 디컨볼루션 커널은 공시화 제약인자으로서 그래디언트 연산자를 도입하고, 이러한 그래디언트 연산자는 노이즈가 이미지 복원 프로세스에 영향을 미치는 것을 방지하고, 복원된 선명한 이미지의 화질을 향상 시킨다.
선택적으로, 실시예로서, 단계 130은, 일대일 대응관계에 있는, m개의 0이 아닌 특이치(singular value), m개의 행 벡터, 및 m개의 열 벡터를 얻기 위해, 디컨볼루션 커널에 대해 특이치 분해(singular value decomposition)를 수행하는 단계; 및 m개의 0이 아닌 특이치, m개의 행 벡터, m개의 열 벡터, 및 흐린 이미지의 픽셀의 픽셀값에 기초하여 선명한 이미지에서 픽셀의 픽셀값을 결정하는 단계를 포함 할 수 있다.
예를 들어, 디컨볼루션 커널에 대해 특이치 분해가 수행된 이후에는, 일대일 대응관계에 있는, n개의 특이치, n개의 행 벡터, 및 n개의 열 벡터가 얻어진다. 일대일 대응관계에 있는, m개의 특이치, m개의 행 벡터, 및 m개의 열 벡터를 얻기 위해, n개의 특이치 중에서 미리 설정된 역치 보다 작은 특이치는 삭제될 수 있고, 삭제된 특이치에 대응하는 행 벡터, 및 열 벡터 또한 삭제될 수 있다.
여기에서 디컨볼루션 커널은 2차원 디컨볼루션 커널이다. 상기 특이치 분해에 의해 2차원 디컨볼루션 커널은 복수의 1차원 디컨볼루션 커널로 분해될 수 있고, 각 1차원 디컨볼루션 커널의 계산이 쉽기 때문에 알고리즘의 효율이 향상된다.
선택적으로, 단계 130은 이하의 단계를 포함할 수 있다.
수학식
Figure 112015083713956-pat00282
에 기초하여
Figure 112015083713956-pat00283
를 결정하는 단계; 수학식
Figure 112015083713956-pat00284
에 기초하여
Figure 112015083713956-pat00285
를 결정하는 단계; 수학식
Figure 112015083713956-pat00286
에 기초하여
Figure 112015083713956-pat00287
를 결정하는 단계; 및 t가 미리 설정된 반복 회수에 도달한 때,
Figure 112015083713956-pat00288
에 기초하여 선명한 이미지의 픽셀의 픽셀값을 결정하고, 그렇지 않고t가 상기 미리 설정된 반복 회수에 도달하지 않은 때는, 반복을 위해,
Figure 112015083713956-pat00289
을 이용하여
Figure 112015083713956-pat00290
를 업데이트하고,
Figure 112015083713956-pat00291
를 이용하여
Figure 112015083713956-pat00292
를 업데이트한 후,
Figure 112015083713956-pat00293
를 결정하는 단계로 되돌아가는 단계를 포함하고, 여기서,
Figure 112015083713956-pat00294
이며, n은 흐린 이미지의 픽셀 수를 의미하고, t는 반복 회수를 의미하며, x는 선명한 이미지의 픽셀값으로 구성된 열 벡터를 의미하고,
Figure 112015083713956-pat00295
t번째 반복의 x값을 의미하며,
Figure 112015083713956-pat00296
는 (t+1)번째 반복의 x값을 의미하고, x의 초기값은
Figure 112015083713956-pat00297
이며, y는 흐린 이미지의 픽셀값으로 구성된 열 벡터를 의미하고,
Figure 112015083713956-pat00298
는 (t+1)번째 반복의
Figure 112015083713956-pat00299
값을 의미하며,
Figure 112015083713956-pat00300
와
Figure 112015083713956-pat00301
는 다항식의 가중치를 의미하고,
Figure 112015083713956-pat00302
는
Figure 112015083713956-pat00303
Figure 112015083713956-pat00304
-놈(norm) 제약인자가 부가되어 있다는 것을 의미한다.
본 발명의 실시예에서, 디컨볼루션 커널의 공식화 제약인자는 이미지 그래디언트 희소성(sparcity)에 기초하여 기술될 수 있고, 이 공식화 제약인자는 위너 필터링에 사용되는 SNR기반의 공식화 제약인자에 비해 노이즈 간섭을 줄이고, 기록된 선명한 이미지의 화질을 향상시킬 수 있다.
전술한 실시예에서,
Figure 112015083713956-pat00305
값은 각 반복에서 업데이트되어야 하고, 디컨볼루션 커널
Figure 112015083713956-pat00306
가
Figure 112015083713956-pat00307
와 연관되어 있기 때문에, 디컨볼루션 커널의 값도 각 반복에서 업데이트되어야 한다는 것을 알 수 있다. 계산의 효율을 개선하기 위한 이하의 두 가지 개선된 실시예가 있다.
선택적으로, 실시예로서, 단계 130은, 수학식
Figure 112015083713956-pat00308
에 기초하여
Figure 112015083713956-pat00309
를 결정하는 단계; 수학식
Figure 112015083713956-pat00310
에 기초하여
Figure 112015083713956-pat00311
을 결정하는 단계; 수학식
Figure 112015083713956-pat00312
에 기초하여
Figure 112015083713956-pat00313
를 결정하는 단계; 및 t가 미리 설정된 반복 회수에 도달한 때,
Figure 112015083713956-pat00314
에 기초하여 선명한 이미지에서 픽셀의 픽셀값을 결정하고, 그렇지 않고 t가 상기 미리 설정된 반복 회수에 도달하지 않은 때는, 반복을 위해,
Figure 112015083713956-pat00315
를 이용하여
Figure 112015083713956-pat00316
를 업데이트하고,
Figure 112015083713956-pat00317
를 이용하여
Figure 112015083713956-pat00318
를 업데이트한 후,
Figure 112015083713956-pat00319
를 결정하는 단계로 되돌아가는 단계를 포함하고, 여기서,
Figure 112015083713956-pat00320
이며, n은 흐린 이미지의 픽셀 수를 의미하고, t는 반복 회수를 의미하며, x는 선명한 이미지의 픽셀값으로 구성된 열 벡터를 의미하고,
Figure 112015083713956-pat00321
t번째 반복의 x값을 의미하며,
Figure 112015083713956-pat00322
는 (t+1)번째 반복의 x값을 의미하고, x의 초기값은
Figure 112015083713956-pat00323
이며, y는 흐린 이미지의 픽셀값으로 구성된 열 벡터를 의미하고,
Figure 112015083713956-pat00324
는 (t+1)번째 반복의
Figure 112015083713956-pat00325
값을 의미하며,
Figure 112015083713956-pat00326
와
Figure 112015083713956-pat00327
는 다항식의 가중치를 의미하고,
Figure 112015083713956-pat00328
는
Figure 112015083713956-pat00329
Figure 112015083713956-pat00330
-놈(norm) 제약인자가 부가되어 있다는 것을 의미한다.
Figure 112015083713956-pat00331
는 어그멘티드 라그랑지안 방법(augmented Lagrangian method)을 이용하여 에너지 방정식
Figure 112015083713956-pat00332
를 분해하여 얻어지는 방정식이다. 어그멘티드 라그랑지안 방법의 사용은 전체 반복 프로세스에서
Figure 112015083713956-pat00333
업데이트를 불필요 하게 하며, 이런 경우, 디컨볼루션 커널
Figure 112015083713956-pat00334
의 업데이트 또한 불필요하게 한다. 따라서, 알고리즘은 추가적으로 효율이 개선된다.
Figure 112015083713956-pat00335
는 벡터
Figure 112015083713956-pat00336
와 벡터 와 벡터
Figure 112015083713956-pat00337
의 내적(dot product)을 의미한다.
선택적으로, 실시예로서, 단계 130은, 수학식
Figure 112015083713956-pat00338
에 기초하여
Figure 112015083713956-pat00339
를 결정하는 단계; 수학식
Figure 112015083713956-pat00340
에 기초하여
Figure 112015083713956-pat00341
를 결정하는 단계; 수학식
Figure 112015083713956-pat00342
에 기초하여
Figure 112015083713956-pat00343
를 결정하는 단계; 및 t가 미리 설정된 반복 회수에 도달한 때,
Figure 112015083713956-pat00344
에 기초하여 선명한 이미지의 픽셀의 픽셀값을 결정하고, 그렇지 않고 t가 상기 미리 설정된 반복 회수에 도달하지 않은 때는, 반복을 위해,
Figure 112015083713956-pat00345
을 이용하여
Figure 112015083713956-pat00346
를 업데이트하고,
Figure 112015083713956-pat00347
를 이용하여
Figure 112015083713956-pat00348
를 업데이트한 후,
Figure 112015083713956-pat00349
를 결정하는 단계로 되돌아가는 단계를 포함하고, 여기서,
Figure 112015083713956-pat00350
이며, 및
Figure 112015083713956-pat00351
이고, n은 흐린 이미지의 픽셀 수를 의미하고, t는 반복 회수를 의미하며, x는 선명한 이미지의 픽셀값으로 구성된 열 벡터를 의미하고,
Figure 112015083713956-pat00352
t번째 반복의 x값을 의미하며,
Figure 112015083713956-pat00353
는 (t+1)번째 반복의 x값을 의미하고, x의 초기값은
Figure 112015083713956-pat00354
이며, y는 흐린 이미지의 픽셀값으로 구성된 열 벡터를 의미하고,
Figure 112015083713956-pat00355
는 (t+1)번째 반복의
Figure 112015083713956-pat00356
값을 의미하며,
Figure 112015083713956-pat00357
는 t번째 반복의
Figure 112015083713956-pat00358
값을 의미하며,
Figure 112015083713956-pat00359
의 초기값은
Figure 112015083713956-pat00360
이고,
Figure 112015083713956-pat00361
은 m개의 0이 아닌 특이치 중에서 l번째 특이치를 의미하며,
Figure 112015083713956-pat00362
는 l번째 특이치에 대응하는 행 벡터를 의미하고,
Figure 112015083713956-pat00363
와
Figure 112015083713956-pat00364
는 다항식의 가중치를 의미하고,
Figure 112015083713956-pat00365
는
Figure 112015083713956-pat00366
-놈(norm) 제약인자가 부가되어 있다는 것을 의미한다.
도 2는 본 발명의 실시예에서 흐린 이미지에 기초하여 선명한 이미지를 생성하는 방법을 적용하였을 때의 효과를 나타낸 도면이다. 도 2의 (a)는 입력 이미지이고, 도2의 (b)는 본 발명의 실시예의 방법을 사용하여 입력 이미지가 프로세스된 결과이며, 도 2의 (c)는 기존의 PD(Penalty Decomposition)기반 알고리즘을 이용하여 입력 이미지를 처리한 결과이다. 본 발명의 실시예가 흐린 이미지 프로세싱에 더 효과적이라는 것은 전체적인 비교에 의해 쉽게 알 수 있다.
본 발명의 실시예에 따른 흐린 이미지에 기초하여 선명한 이미지를 생성하는 방법은 도 1을 참조하여 상세히 설명하였고, 이하 본 발명의 실시예에 따른 흐린 이미지에 기초하여 선명한 이미지를 생성하는 장치는 도 3과 도 4를 통해 설명한다.
도 3 및 도 4의 선명한 이미지를 생성하는 장치는 도 1의 선명한 이미지를 생성하는 방법의 단계들로 구현될 수 있고, 설명을 간결히 하기 위해 상세한 설명은 생략한다.
도 3은 본 발명의 실시예에 따른 흐린 이미지에 기초하여 선명한 이미지를 생성하는 이미지 생성 장치의 개략적인 구성을 나타낸 도면이다. 도 3의 이미지 생성 장치(300)는, 흐린 이미지의 픽셀의 픽셀값 및 흐린 이미지의 컨볼루션 커널을 획득하도록 구성된 획득 유닛(310); 미리 설정된 이미지 그래디언트 연산자 및 획득 유닛(310)에 의해 획득된 컨볼루션 커널에 기초하여 디컨볼루션 커널을 결정하는 제1 결정 유닛(320); 제1 결정 유닛(320)에 의해 결정된 디컨볼루션 커널 및 획득 유닛(310)에 의해 획득된 흐린 이미지의 픽셀의 픽셀값에 기초하여, 선명한 이미지의 픽셀의 픽셀값을 결정하는 제2 결정 유닛(330); 제2 결정 유닛(330)에 의해 결정된 선명한 이미지의 픽셀의 픽셀값에 기초하여 선명한 이미지를 생성하는 생성 유닛(340)를 포함한다.
본 발명의 실시예의 디컨볼루션 커널은 그래디언트 연산자와 컨볼루션 커널에 기초하여 결정된다. 바꿔말하면, 디컨볼루션 커널은 공식화 제약인자로서 그래디언트 연산자를 도입하고, 이러한 그래디언트 연산자는 노이즈가 이미지 복원 프로세스에 영향을 미치는 것을 방지하고, 복원된 선명한 이미지의 화질을 향상시킨다.
선택적으로, 실시예로서, 제2 결정 유닛(330)은, 일대일 대응관계에 있는, m개의 0이 아닌 특이치, m개의 행 벡터, 및 m개의 열 벡터를 얻기 위해, 디컨볼루션 커널에 대해 특이치 분해를 수행하고; m개의 0이 아닌 특이치, m개의 행 벡터, m개의 열 벡터, 및 흐린 이미지의 픽셀의 픽셀값에 기초하여 선명한 이미지의 픽셀의 픽셀값을 결정하도록 구성된다.
선택적으로, 실시예로서, 제2 결정 유닛(330)은 구체적으로, 수학식
Figure 112015083713956-pat00367
에 기초하여
Figure 112015083713956-pat00368
를 결정하고; 수학식
Figure 112015083713956-pat00369
에 기초하여
Figure 112015083713956-pat00370
를 결정하고; 수학식
Figure 112015083713956-pat00371
에 기초하여
Figure 112015083713956-pat00372
을 결정하고; t가 미리 설정된 반복 회수에 도달한 때,
Figure 112015083713956-pat00373
에 기초하여 선명한 이미지의 픽셀의 픽셀값을 결정하고, 그렇지 않고 t가 상기 미리 설정된 반복 회수에 도달하지 않은 때는, 반복을 위해,
Figure 112015083713956-pat00374
을 이용하여
Figure 112015083713956-pat00375
를 업데이트하고,
Figure 112015083713956-pat00376
를 이용하여
Figure 112015083713956-pat00377
를 업데이트한 후,
Figure 112015083713956-pat00378
를 결정하는 과정으로 되돌아가도록 구성된다. 여기서
Figure 112015083713956-pat00379
이며,
Figure 112015083713956-pat00380
이고, n은 흐린 이미지의 픽셀 수를 의미하고, t는 반복 회수를 의미하며, x는 선명한 이미지의 픽셀값으로 구성된 열 벡터를 의미하고,
Figure 112015083713956-pat00381
t번째 반복의 x값을 의미하며,
Figure 112015083713956-pat00382
는 (t+1)번째 반복의 x값을 의미하고, x의 초기값은
Figure 112015083713956-pat00383
이며, y는 흐린 이미지의 픽셀값으로 구성된 열 벡터를 의미하고,
Figure 112015083713956-pat00384
는 (t+1)번째 반복의
Figure 112015083713956-pat00385
값을 의미하며,
Figure 112015083713956-pat00386
t번째 반복의
Figure 112015083713956-pat00387
값을 의미하고,
Figure 112015083713956-pat00388
(t+1)번째 반복의
Figure 112015083713956-pat00389
값을 의미하며,
Figure 112015083713956-pat00390
의 초기값은
Figure 112015083713956-pat00391
이고,
Figure 112015083713956-pat00392
은 m개의 특이치 중에서 l번째 특이치를 의미하며,
Figure 112015083713956-pat00393
는 l번째 특이치에 대응하는 행 벡터를 의미하고,
Figure 112015083713956-pat00394
과
Figure 112015083713956-pat00395
은
Figure 112015083713956-pat00396
와
Figure 112015083713956-pat00397
를 180˚ 회전 시킨 후에 얻어지는 연산자를 각각 의미하며,
Figure 112015083713956-pat00398
이미지 그래디언트 연산자를 의미하고 또
Figure 112015083713956-pat00399
과
Figure 112015083713956-pat00400
를 포함하고,
Figure 112015083713956-pat00401
은 수평 그래디언트 연산자를 의미하며,
Figure 112015083713956-pat00402
는 수직 그래디언트 연산자를 의미하고,
Figure 112015083713956-pat00403
는 컨볼루션 커널을 의미하며,
Figure 112015083713956-pat00404
와
Figure 112015083713956-pat00405
는 다항식의 가중치를 의미하고,
Figure 112015083713956-pat00406
는
Figure 112015083713956-pat00407
-놈(norm) 제약인자가 부가되어 있다는 것을 의미한다.
선택적으로, 실시예로서, 제2 결정 유닛(330)은 구체적으로, 수학식
Figure 112015083713956-pat00408
에 기초하여
Figure 112015083713956-pat00409
를 결정하고; 수학식
Figure 112015083713956-pat00410
에 기초하여
Figure 112015083713956-pat00411
를 결정하며; 수학식
Figure 112015083713956-pat00412
에 기초하여
Figure 112015083713956-pat00413
를 결정하고; t가 미리 설정된 반복 회수에 도달한 때,
Figure 112015083713956-pat00414
에 기초하여 선명한 이미지의 픽셀의 픽셀값을 결정하고, 그렇지 않고 t가 상기 미리 설정된 반복 회수에 도달하지 않은 때는, 반복을 위해,
Figure 112015083713956-pat00415
을 이용하여
Figure 112015083713956-pat00416
를 업데이트하고,
Figure 112015083713956-pat00417
를 이용하여
Figure 112015083713956-pat00418
를 업데이트한 후,
Figure 112015083713956-pat00419
를 결정하는 과정으로 되돌아가도록 구성된다. 여기서
Figure 112015083713956-pat00420
이고, n은 흐린 이미지의 픽셀 수를 의미하고, t는 반복 회수를 의미하며, x는 선명한 이미지의 픽셀값으로 구성된 열 벡터를 의미하고,
Figure 112015083713956-pat00421
t번째 반복의 x값을 의미하며,
Figure 112015083713956-pat00422
는 (t+1)번째 반복의 x값을 의미하고, x의 초기값은
Figure 112015083713956-pat00423
이며, y는 흐린 이미지의 픽셀값으로 구성된 열 벡터를 의미하고,
Figure 112015083713956-pat00424
는 (t+1)번째 반복의
Figure 112015083713956-pat00425
값을 의미하며,
Figure 112015083713956-pat00426
t번째 반복의
Figure 112015083713956-pat00427
값을 의미하고,
Figure 112015083713956-pat00428
(t+1)번째 반복의
Figure 112015083713956-pat00429
값을 의미하며,
Figure 112015083713956-pat00430
의 초기값은
Figure 112015083713956-pat00431
이고,
Figure 112015083713956-pat00432
은 m개의 특이치 중에서 l번째 특이치를 의미하며,
Figure 112015083713956-pat00433
는 l번째 특이치에 대응하는 행 벡터를 의미하고,
Figure 112015083713956-pat00434
과
Figure 112015083713956-pat00435
은
Figure 112015083713956-pat00436
와
Figure 112015083713956-pat00437
를 180˚ 회전 시킨 후에 얻어지는 연산자를 각각 의미하며,
Figure 112015083713956-pat00438
이미지 그래디언트 연산자를 의미하고 또
Figure 112015083713956-pat00439
과
Figure 112015083713956-pat00440
를 포함하고,
Figure 112015083713956-pat00441
은 수평 그래디언트 연산자를 의미하며,
Figure 112015083713956-pat00442
는 수직 그래디언트 연산자를 의미하고,
Figure 112015083713956-pat00443
는 컨볼루션 커널을 의미하며,
Figure 112015083713956-pat00444
와
Figure 112015083713956-pat00445
는 다항식의 가중치를 의미하고,
Figure 112015083713956-pat00446
는
Figure 112015083713956-pat00447
-놈(norm) 제약인자가 부가되어 다는 것을 의미한다.
선택적으로, 실시예로서, 제2 결정 유닛(330)은 구체적으로, 수학식
Figure 112015083713956-pat00448
에 기초하여
Figure 112015083713956-pat00449
를 결정하고; 수학식
Figure 112015083713956-pat00450
에 기초하여
Figure 112015083713956-pat00451
를 결정하며; 수학식
Figure 112015083713956-pat00452
에 기초하여
Figure 112015083713956-pat00453
를 결정하고; t가 미리 설정된 반복 회수에 도달한 때,
Figure 112015083713956-pat00454
에 기초하여 선명한 이미지의 픽셀의 픽셀값을 결정하고, 그렇지 않고 t가 상기 미리 설정된 반복 회수에 도달하지 않은 때는, 반복을 위해,
Figure 112015083713956-pat00455
을 이용하여
Figure 112015083713956-pat00456
를 업데이트하고,
Figure 112015083713956-pat00457
를 이용하여
Figure 112015083713956-pat00458
를 업데이트한 후,
Figure 112015083713956-pat00459
를 결정하는 과정으로 되돌아가도록 구성된다. 여기서
Figure 112015083713956-pat00460
이고, n은 흐린 이미지의 픽셀 수를 의미하고, t는 반복 회수를 의미하며, x는 선명한 이미지의 픽셀값으로 구성된 열 벡터를 의미하고,
Figure 112015083713956-pat00461
t번째 반복의 x값을 의미하며,
Figure 112015083713956-pat00462
는 (t+1)번째 반복의 x값을 의미하고, x의 초기값은
Figure 112015083713956-pat00463
이며, y는 흐린 이미지의 픽셀값으로 구성된 열 벡터를 의미하고,
Figure 112015083713956-pat00464
는 (t+1)번째 반복의
Figure 112015083713956-pat00465
값을 의미하며,
Figure 112015083713956-pat00466
t번째 반복의
Figure 112015083713956-pat00467
값을 의미하고,
Figure 112015083713956-pat00468
(t+1)번째 반복의
Figure 112015083713956-pat00469
값을 의미하며,
Figure 112015083713956-pat00470
의 초기값은
Figure 112015083713956-pat00471
이고,
Figure 112015083713956-pat00472
은 m개의 특이치 중에서 l번째 특이치를 의미하며,
Figure 112015083713956-pat00473
는 l번째 특이치에 대응하는 행 벡터를 의미하고,
Figure 112015083713956-pat00474
과
Figure 112015083713956-pat00475
은
Figure 112015083713956-pat00476
와
Figure 112015083713956-pat00477
를 180˚ 회전 시킨 후에 얻어지는 연산자를 각각 의미하며,
Figure 112015083713956-pat00478
이미지 그래디언트 연산자를 의미하고 또
Figure 112015083713956-pat00479
과
Figure 112015083713956-pat00480
를 포함하고,
Figure 112015083713956-pat00481
은 수평 그래디언트 연산자를 의미하며,
Figure 112015083713956-pat00482
는 수직 그래디언트 연산자를 의미하고,
Figure 112015083713956-pat00483
는 컨볼루션 커널을 의미하며,
Figure 112015083713956-pat00484
와
Figure 112015083713956-pat00485
는 다항식의 가중치를 의미하고,
Figure 112015083713956-pat00486
는
Figure 112015083713956-pat00487
-놈(norm) 제약인자가 부가되어 있다는 것을 의미한다.
선택적으로, 실시예로서, 제1 결정 유닛(320)은 구체적으로, 수학식
Figure 112015083713956-pat00488
에 따라 디컨볼루션 커널을 결정하도록 구성된다.
Figure 112015083713956-pat00489
는 디컨볼루션 커널을 의미하고,
Figure 112015083713956-pat00490
는 그래디언트 연산자를 의미하며,
Figure 112015083713956-pat00491
이미지 그래디언트 연산자를 의미하고 또
Figure 112015083713956-pat00492
과
Figure 112015083713956-pat00493
를 포함하고,
Figure 112015083713956-pat00494
은 수평 그래디언트 연산자를 의미하며,
Figure 112015083713956-pat00495
는 수직 그래디언트 연산자를 의미하고,
Figure 112015083713956-pat00496
는 컨볼루션 커널을 의미하며
Figure 112015083713956-pat00497
푸리에 변환을 의미하며,
Figure 112015083713956-pat00498
는 역푸리에 변환을 의미한다
도 4는 본 발명의 실시예에 따른 흐린 이미지에 기초하여 선명한 이미지를 생성하는 장치의 개략적인 구성을 나타낸 도면이다. 도 4의 이미지 생성 장치(400)는, 프로그램을 저장하는 메모리(410); 및 메모리(410)에 저장된 프로그램을 실행하는 프로세서(420)를 포함한다. 여기서, 프로그램이 실행될 때, 프로세서(420)는 구체적으로, 흐린 이미지의 픽셀의 픽셀값과 흐린 이미지의 컨볼루션 커널을 획득하고; 미리 설정된 이미지 그래디언트 연산자 및 컨볼루션 커널에 기초하여 흐린 이미지의 디컨볼루션 커널을 결정하고; 디컨볼루션 커널 및 흐린 이미지의 픽셀의 픽셀값에 기초하여 선명한 이미지의 픽셀의 픽셀값을 결정하고; 선명한 이미지의 픽셀의 픽셀값에 기초하여 선명한 이미지를 생성한다.
본 발명의 실시예의 디컨볼루션 커널은 그래디언트 연산자와 컨볼루션 커널에 기초하여 결정된다. 바꿔말하면, 디컨볼루션 커널은 공식화 제약인자로서 그래디언트 연산자를 도입하고, 이러한 그래디언트 연산자는 노이즈가 이미지 복원 프로세스에 영향을 미치는 것을 방지하고, 복원된 선명한 이미지의 화질을 향상시킨다.
선택적으로, 실시예로서, 프로세서(420)는, 일대일 대응관계에 있는, m개의 0이 아닌 특이치, m개의 행 벡터, 및 m개의 열 벡터를 얻기 위해, 디컨볼루션 커널에 대해 특이치 분해를 수행하고; m개의 0이 아닌 특이치, m개의 행 벡터, m개의 열 벡터, 및 흐린 이미지의 픽셀의 픽셀값에 기초하여 선명한 이미지의 픽셀의 픽셀값을 결정한다.
선택적으로, 실시예로서, 프로세서(420)는 구체적으로, 수학식
Figure 112015083713956-pat00499
에 기초하여
Figure 112015083713956-pat00500
를 결정하고; 수학식
Figure 112015083713956-pat00501
에 기초하여
Figure 112015083713956-pat00502
를 결정하고; 수학식
Figure 112015083713956-pat00503
에 기초하여
Figure 112015083713956-pat00504
를 결정 t가 미리 설정된 반복 회수에 도달한 때,
Figure 112015083713956-pat00505
에 기초하여 선명한 이미지의 픽셀의 픽셀값을 결정하고, 그렇지 않고 t 가 상기 미리 설정된 반복 회수에 도달하지 않은 때는, 반복을 위해,
Figure 112015083713956-pat00506
을 이용하여
Figure 112015083713956-pat00507
를 업데이트하고,
Figure 112015083713956-pat00508
를 이용하여
Figure 112015083713956-pat00509
를 업데이트한 후,
Figure 112015083713956-pat00510
를 결정하는 과정으로 되돌아가도록 구성된다.-여기서,
Figure 112015083713956-pat00511
이고,
Figure 112015083713956-pat00512
이며, n은 흐린 이미지의 픽셀 수를 의미하고, t는 반복 회수를 의미하며, x는 선명한 이미지의 픽셀값으로 구성된 열 벡터를 의미하고,
Figure 112015083713956-pat00513
t번째 반복의 x값을 의미하며,
Figure 112015083713956-pat00514
는 (t+1)번째 반복의 x값을 의미하고, x의 초기값은
Figure 112015083713956-pat00515
이며, y는 흐린 이미지의 픽셀값으로 구성된 열 벡터를 의미하고,
Figure 112015083713956-pat00516
는 (t+1)번째 반복의
Figure 112015083713956-pat00517
값을 의미하며,
Figure 112015083713956-pat00518
는 t번째 반복의
Figure 112015083713956-pat00519
값을 의미하며,
Figure 112015083713956-pat00520
의 초기값은
Figure 112015083713956-pat00521
이고,
Figure 112015083713956-pat00522
은 m개의 0이 아닌 특이치 중에서 l번째 특이치를 의미하며,
Figure 112015083713956-pat00523
는 l번째 특이치에 대응하는 행 벡터를 의미하고,
Figure 112015083713956-pat00524
과
Figure 112015083713956-pat00525
은
Figure 112015083713956-pat00526
와
Figure 112015083713956-pat00527
를 180˚ 회전 시킨 후에 얻어지는 연산자를 각각 의미하며,
Figure 112015083713956-pat00528
이미지 그래디언트 연산자를 의미하고 또 과
Figure 112015083713956-pat00530
를 포함하고,
Figure 112015083713956-pat00531
은 수평 그래디언트 연산자를 의미하며,
Figure 112015083713956-pat00532
는 수직 그래디언트 연산자를 의미하고,
Figure 112015083713956-pat00533
는 컨볼루션 커널을 의미하며,
Figure 112015083713956-pat00534
와
Figure 112015083713956-pat00535
는 다항식의 가중치를 의미하고,
Figure 112015083713956-pat00536
는
Figure 112015083713956-pat00537
-놈(norm) 제약인자가 부가되어 있다는 것을 의미한다.
선택적으로, 실시예로서, 프로세서(420)는 구체적으로, 수학식
Figure 112015083713956-pat00538
에 기초하여
Figure 112015083713956-pat00539
를 결정하고; 수학식
Figure 112015083713956-pat00540
에 기초하여
Figure 112015083713956-pat00541
를 결정하며; 수학식
Figure 112015083713956-pat00542
에 기초하여
Figure 112015083713956-pat00543
를 결정하고; t가 미리 설정된 반복 회수에 도달한 때,
Figure 112015083713956-pat00544
에 기초하여 선명한 이미지의 픽셀의 픽셀값을 결정하고, 그렇지 않고 t가 상기 미리 설정된 반복 회수에 도달하지 않은 때는, 반복을 위해,
Figure 112015083713956-pat00545
을 이용하여
Figure 112015083713956-pat00546
를 업데이트하고,
Figure 112015083713956-pat00547
를 이용하여
Figure 112015083713956-pat00548
를 업데이트한 후,
Figure 112015083713956-pat00549
를 결정하는 과정으로 되돌아가도록 구성된다. 여기서
Figure 112015083713956-pat00550
이고, n은 흐린 이미지의 픽셀 수를 의미하고, t는 반복 회수를 의미하며, x는 선명한 이미지의 픽셀값으로 구성된 열 벡터를 의미하고,
Figure 112015083713956-pat00551
t번째 반복의 x값을 의미하며,
Figure 112015083713956-pat00552
는 (t+1)번째 반복의 x값을 의미하고, x의 초기값은
Figure 112015083713956-pat00553
이며, y는 흐린 이미지의 픽셀값으로 구성된 열 벡터를 의미하고,
Figure 112015083713956-pat00554
는 (t+1)번째 반복의
Figure 112015083713956-pat00555
값을 의미하며,
Figure 112015083713956-pat00556
t번째 반복의
Figure 112015083713956-pat00557
값을 의미하고,
Figure 112015083713956-pat00558
(t+1)번째 반복의
Figure 112015083713956-pat00559
값을 의미하며,
Figure 112015083713956-pat00560
의 초기값은
Figure 112015083713956-pat00561
이고,
Figure 112015083713956-pat00562
은 m개의 특이치 중에서 l번째 특이치를 의미하며,
Figure 112015083713956-pat00563
는 l번째 특이치에 대응하는 행 벡터를 의미하고,
Figure 112015083713956-pat00564
과
Figure 112015083713956-pat00565
은
Figure 112015083713956-pat00566
와
Figure 112015083713956-pat00567
를 180˚ 회전 시킨 후에 얻어지는 연산자를 각각 의미하며,
Figure 112015083713956-pat00568
이미지 그래디언트 연산자를 의미하고 또
Figure 112015083713956-pat00569
과
Figure 112015083713956-pat00570
를 포함하고,
Figure 112015083713956-pat00571
은 수평 그래디언트 연산자를 의미하며,
Figure 112015083713956-pat00572
는 수직 그래디언트 연산자를 의미하고,
Figure 112015083713956-pat00573
는 컨볼루션 커널을 의미하며,
Figure 112015083713956-pat00574
와
Figure 112015083713956-pat00575
는 다항식의 가중치를 의미하고,
Figure 112015083713956-pat00576
는
Figure 112015083713956-pat00577
-놈(norm) 제약인자가 부가되어 있다는 것을 의미한다.
선택적으로, 실시예로서, 프로세서(420)는 구체적으로, 수학식 수학식
Figure 112015083713956-pat00578
에 기초하여
Figure 112015083713956-pat00579
를 결정하고; 수학식
Figure 112015083713956-pat00580
에 기초하여
Figure 112015083713956-pat00581
을 결정하고;
Figure 112015083713956-pat00582
에 기초하여
Figure 112015083713956-pat00583
를 결정하고; t가 미리 설정된 반복 회수에 도달한 때,
Figure 112015083713956-pat00584
에 기초하여 선명한 이미지의 픽셀의 픽셀값을 결정하고, 그렇지 않고 t가 상기 미리 설정된 반복 회수에 도달하지 않은 때는, 반복을 위해,
Figure 112015083713956-pat00585
을 이용하여
Figure 112015083713956-pat00586
를 업데이트하고,
Figure 112015083713956-pat00587
를 이용하여
Figure 112015083713956-pat00588
를 업데이트한 후,
Figure 112015083713956-pat00589
를 결정하는 과정으로 되돌아가도록 구성된다. 여기서
Figure 112015083713956-pat00590
이고, n은 흐린 이미지의 픽셀 수를 의미하고, t는 반복 회수를 의미하며, x는 선명한 이미지의 픽셀값으로 구성된 열 벡터를 의미하고,
Figure 112015083713956-pat00591
t번째 반복의 x값을 의미하며,
Figure 112015083713956-pat00592
는 (t+1)번째 반복의 x값을 의미하고, x의 초기값은
Figure 112015083713956-pat00593
이며, y는 흐린 이미지의 픽셀값으로 구성된 열 벡터를 의미하고,
Figure 112015083713956-pat00594
는 (t+1)번째 반복의
Figure 112015083713956-pat00595
값을 의미하며,
Figure 112015083713956-pat00596
t번째 반복의
Figure 112015083713956-pat00597
값을 의미하고,
Figure 112015083713956-pat00598
(t+1)번째 반복의
Figure 112015083713956-pat00599
값을 의미하며,
Figure 112015083713956-pat00600
의 초기값은
Figure 112015083713956-pat00601
이고,
Figure 112015083713956-pat00602
은 m개의 특이치 중에서 l번째 특이치를 의미하며,
Figure 112015083713956-pat00603
는 l번째 특이치에 대응하는 행 벡터를 의미하고,
Figure 112015083713956-pat00604
과
Figure 112015083713956-pat00605
은
Figure 112015083713956-pat00606
와
Figure 112015083713956-pat00607
를 180˚ 회전 시킨 후에 얻어지는 연산자를 각각 의미하며,
Figure 112015083713956-pat00608
이미지 그래디언트 연산자를 의미하고 또
Figure 112015083713956-pat00609
과
Figure 112015083713956-pat00610
를 포함하고,
Figure 112015083713956-pat00611
은 수평 그래디언트 연산자를 의미하며,
Figure 112015083713956-pat00612
는 수직 그래디언트 연산자를 의미하고,
Figure 112015083713956-pat00613
는 컨볼루션 커널을 의미하며,
Figure 112015083713956-pat00614
와
Figure 112015083713956-pat00615
는 다항식의 가중치를 의미하고,
Figure 112015083713956-pat00616
는
Figure 112015083713956-pat00617
-놈(norm) 제약인자가 부가되어 있다는 것을 의미한다.
선택적으로, 실시예로서, 프로세서(420)는 구체적으로, 수학식 수학식
Figure 112015083713956-pat00618
에 따라 디컨볼루션 커널을 결정하도록 구성된다.
Figure 112015083713956-pat00619
는 디컨볼루션 커널을 의미하고,
Figure 112015083713956-pat00620
는 그래디언트 연산자를 의미하며,
Figure 112015083713956-pat00621
이미지 그래디언트 연산자를 의미하고 또
Figure 112015083713956-pat00622
과
Figure 112015083713956-pat00623
를 포함하고,
Figure 112015083713956-pat00624
은 수평 그래디언트 연산자를 의미하며,
Figure 112015083713956-pat00625
는 수직 그래디언트 연산자를 의미하고,
Figure 112015083713956-pat00626
는 컨볼루션 커널을 의미하며
Figure 112015083713956-pat00627
푸리에 변환을 의미하며,
Figure 112015083713956-pat00628
는 역푸리에 변환을 의미한다.
본 발명의 실시예에서 "/ 또는 및"용어는 연관된 오브젝트(object)만을 설명하는 것이 아니고, 세 가지 관계가 존재할 수 있음을 나타낸다. 예를 들어, 예를 들어, A 및 / 또는 B는 다음과 같은 세 가지 사례를 나타낼 수 있다 : A만 존재하고, A및 B가 모두 존재고, B만 존재한다. 또한, 본 명세서에서 문자 "/"는 일반적으로 관련된 객체들 사이의 "또는"의 관계를 나타낸다.
통상의 기술자는 본 명세서에 개시된 실시예에서 설명한 예와 함께, 장치 및 알고리즘 단계가 전자 하드웨어, 컴퓨터 소프트웨어, 또는 이들의 조합에 의해 구현 될 수 있다는 것을 인식 할 수 있다. 명확하게 하드웨어와 소프트웨어 사이의 호환성을 설명하기 위해, 상기 일반적 조성물 및 기능에 따른 각각의 실시예의 단계들을 설명하고 있다. 기능이 하드웨어 또는 소프트웨어에 의해 수행되는 지는 특정 응용 애플리케이션 및 기술 솔루션의 설계 제약 조건에 따라 달라진다. 당업자는 각각의 특정 애플리케이션에 대해 설명한 기능을 실현하기 위해 다른 방법을 사용할 수 있지만, 그러한 구현은 본 발명의 범위를 넘어서는 것으로 간주되어서는 안된다.
이는 분명히 대응하는 방법 실시예를 참조하여 상술한 시스템, 유닛 및 장치의 편리하고 간단한 설명 및 상세한 동작 과정을 위해 당업자에 의해 이해 될 수 있다. 실시예 및 상세한 설명은 다시 설명하지 않는다.
본 발명에 제공된 여러 실시예에서, 설명된 시스템, 장치 및 방법은 다른 방식으로 구현 될 수 있다. 예를 들어, 설명 된 장치의 실시예는 단지 예시이다. 예를 들어, 유닛은 단지 논리적 기능 부문이며, 실제 구현에서 다르게 분할 될 수 있다. 예를 들어, 장치 또는 복수의 성분의 조합이 될 수 있거나, 다른 시스템에 통합 또는 일부 기능을 수행하거나 무시 될 수 있다. 또한, 표시되거나 논의된 상호 접속(mutual couplings) 또는 직접 접속 또는 통신 접속은 어떤 인터페이스를 통해 구현 될 수 있다. 장치 또는 장치 사이의 간접 커플링 또는 통신 접속은, 전자 기계적, 또는 다른 형태로 구현 될 수있다.
분리된 부분으로 설명된 유닛은 물리적으로 분리되거나 분리되지 않을 수 있다. 유닛으로 표시된 부분은 물리적인 유닛이거나 물리적인 유닛이 아닐수 있고, 하나의 위치에 위치 될 수 있고, 또는 복수의 네트워크 유닛에 분산 될 수 있다. 유닛들의 일부 또는 전부는 본 발명의 실시예의 해결책의 목적을 달성하기 위한 실제의 요구에 따라 선택 될 수 있다.
또한, 본 발명의 실시예에서의 기능 유닛들은 하나의 프로세싱 유닛에 통합 될 수 있거나, 각 단위는 물리적으로 단독 존재할 수 있고, 2 개 이상의 유닛이 하나의 유닛으로 집적될 수 있다. 집적된 유닛은 하드웨어의 형태로 구현 될 수 있고, 또는 소프트웨어 기능 유닛의 형태로 구현 될 수 있다.
직접된 유닛은 소프트웨어 기능 유닛의 형태로 구현되고 독립적 제품으로서 판매 또는 사용하는 경우, 집적된 유닛은 컴퓨터 판독 가능 저장 매체에 저장 될 수 있다. 이러한 이해를 바탕으로, 본질적으로, 본 발명의 본질적 테크니컬 솔루션, 종래 기술에 기여하는 부분, 또는 테크니컬 솔루션의 전부 또는 일부는 소프트웨어 제품의 형태로 구현 될 수 있다. 소프트웨어 제품은 저장 매체에 저장되고, 컴퓨터 장치 (개인용 컴퓨터, 서버, 또는 네트워크 장치 일 수 있다.)에서 실시예에서 설명한 방법의 단계 중 일부 또는 전부를 수행하기를 지시하기 위한 여러 명령들을 포함한다. 이러한 저장 매체는, USB 플래시 드라이브, 이동식 하드 디스크, 읽기 전용 메모리 (ROM, Read-Only Memory), 랜덤 액세스 메모리 (RAM, Random Access Memory), 자기 디스크, 또는 광디스크 등의 프로그램 코드를 저장할 수 있는 임의의 매체를 포함할 수 있다.
본 발명의 실시예들에 제공되는 비접촉 제스쳐 제어 방법의 모든 또는 일부 단계들은 관련 하드웨어를 지시하는 프로그램(a program instructing relevant hardware)을 사용하여 구성될 수 있고, 예를 들어, 프로그램을 구동(run)시키는 컴퓨터를 사용하여 구성될 수 있다. 프로그램은 읽을 수 있는 저장 매체, 예를 들어 랜덤 엑세스 메모리(a random access memory), 마그네틱 디스크(a magnetic disk), 및 광 디스크(an optical disc), USB 플래시 드라이브(a USB flash drive), 착탈식 하드디스크(a removable hard disk), 읽기전용 메모리(Read-Only Memory, ROM), 랜덤 엑세스 메모리(Random Access Memory, RAM), 마그네틱 디스크, 또는 광 디스크에 저장될 수 있다.
전술 한 설명은 단지 본 발명의 특정 실시예이지만, 본 발명의 보호 범위를 제한하고자 하는 것은 아니다. 수정 또는 교체가 용이하게 본 발명의 보호 범위에 포함한다 본 발명에 기재된 기술적 범위 내에서 당업자에 의해 파악. 따라서, 본 발명의 보호 범위는 특허 청구 범위의 보호 범위에 따른다.

Claims (12)

  1. 흐린 이미지에 기초하여 선명한 이미지를 생성하기 위한 이미지 생성 방법에 있어서,
    상기 흐린 이미지의 픽셀의 픽셀값, 및 상기 흐린 이미지의 컨볼루션 커널을 획득하는 단계;
    미리 설정된 이미지 그래디언트 연산자 및 상기 컨볼루션 커널에 기초하여, 상기 흐린 이미지의 디컨볼루션 커널을 결정하는 단계;
    상기 디컨볼루션 커널 및 상기 흐린 이미지의 픽셀의 픽셀값에 기초하여, 상기 선명한 이미지의 픽셀의 픽셀값을 결정하는 단계; 및
    상기 선명한 이미지의 픽셀의 픽셀값에 기초하여, 상기 선명한 이미지를 생성하는 단계
    를 포함하고,
    상기 디컨볼루션 커널 및 상기 흐린 이미지의 픽셀의 픽셀값에 기초하여, 상기 선명한 이미지의 픽셀의 픽셀값을 결정하는 단계는,
    일대일 대응관계에 있는, m개의 0이 아닌 특이치, m개의 행 벡터, 및 m개의 열 벡터를 얻기 위해, 상기 디컨볼루션 커널에 대해 특이치 분해를 수행하는 단계; 및
    상기 m개의 0이 아닌 특이치, 상기 m개의 행 벡터, 상기 m개의 열 벡터, 및 상기 흐린 이미지의 픽셀의 픽셀값에 기초하여, 상기 선명한 이미지의 픽셀의 픽셀값을 결정하는 단계
    를 포함하는, 이미지 생성 방법.
  2. 제1항에 있어서,
    상기 m개의 0이 아닌 특이치, 상기 m개의 행 벡터, 상기 m개의 열 벡터, 및 상기 흐린 이미지의 픽셀의 픽셀값에 기초하여, 상기 선명한 이미지의 픽셀의 픽셀값을 결정하는 단계는,
    수학식
    Figure 112016082365410-pat00629
    에 기초하여
    Figure 112016082365410-pat00630
    를 결정하는 단계;
    수학식
    Figure 112016082365410-pat00631
    에 기초하여
    Figure 112016082365410-pat00632
    를 결정하고;
    수학식
    Figure 112016082365410-pat00633
    에 기초하여
    Figure 112016082365410-pat00634
    를 결정하는 단계; 및
    t가 미리 설정된 반복 회수에 도달한 때,
    Figure 112016082365410-pat00635
    에 기초하여 선명한 이미지의 픽셀의 픽셀값을 결정하고, 그렇지 않고 t 가 상기 미리 설정된 반복 회수에 도달하지 않은 때는, 반복을 위해,
    Figure 112016082365410-pat00636
    을 이용하여
    Figure 112016082365410-pat00637
    를 업데이트하고,
    Figure 112016082365410-pat00638
    를 이용하여
    Figure 112016082365410-pat00639
    를 업데이트한 후, 상기
    Figure 112016082365410-pat00640
    를 결정하는 단계로 되돌아가는 단계
    를 포함하고,
    여기서,
    Figure 112016082365410-pat00641
    이고,
    Figure 112016082365410-pat00642
    이며, n은 흐린 이미지의 픽셀 수를 의미하고, t는 반복 회수를 의미하며, x는 선명한 이미지의 픽셀값으로 구성된 열 벡터를 의미하고,
    Figure 112016082365410-pat00643
    t번째 반복의 x값을 의미하며,
    Figure 112016082365410-pat00644
    는 (t+1)번째 반복의 x값을 의미하고, x의 초기값은
    Figure 112016082365410-pat00645
    이며, y는 흐린 이미지의 픽셀값으로 구성된 열 벡터를 의미하고,
    Figure 112016082365410-pat00646
    는 (t+1)번째 반복의
    Figure 112016082365410-pat00647
    값을 의미하며,
    Figure 112016082365410-pat00648
    는 t번째 반복의
    Figure 112016082365410-pat00649
    값을 의미하며,
    Figure 112016082365410-pat00650
    의 초기값은
    Figure 112016082365410-pat00651
    이고,
    Figure 112016082365410-pat00652
    은 m개의 0이 아닌 특이치 중에서 l번째 특이치를 의미하며,
    Figure 112016082365410-pat00653
    는 l번째 특이치에 대응하는 행 벡터를 의미하고,
    Figure 112016082365410-pat00654
    과
    Figure 112016082365410-pat00655
    은
    Figure 112016082365410-pat00656
    와
    Figure 112016082365410-pat00657
    를 180˚ 회전 시킨 후에 얻어지는 연산자를 각각 의미하며,
    Figure 112016082365410-pat00658
    이미지 그래디언트 연산자를 의미하고 또
    Figure 112016082365410-pat00659
    과
    Figure 112016082365410-pat00660
    를 포함하고,
    Figure 112016082365410-pat00661
    은 수평 그래디언트 연산자를 의미하며,
    Figure 112016082365410-pat00662
    는 수직 그래디언트 연산자를 의미하고,
    Figure 112016082365410-pat00663
    는 컨볼루션 커널을 의미하며,
    Figure 112016082365410-pat00664
    와
    Figure 112016082365410-pat00665
    는 다항식의 가중치를 의미하고,
    Figure 112016082365410-pat00666
    는
    Figure 112016082365410-pat00667
    -놈(norm) 제약인자(constraint)가 부과되어 있다는 것을 의미하는,
    이미지 생성 방법.
  3. 흐린 이미지에 기초하여 선명한 이미지를 생성하기 위한 이미지 생성 방법에 있어서,
    상기 흐린 이미지의 픽셀의 픽셀값, 및 상기 흐린 이미지의 컨볼루션 커널을 획득하는 단계;
    미리 설정된 이미지 그래디언트 연산자 및 상기 컨볼루션 커널에 기초하여, 상기 흐린 이미지의 디컨볼루션 커널을 결정하는 단계;
    상기 디컨볼루션 커널 및 상기 흐린 이미지의 픽셀의 픽셀값에 기초하여, 상기 선명한 이미지의 픽셀의 픽셀값을 결정하는 단계; 및
    상기 선명한 이미지의 픽셀의 픽셀값에 기초하여, 상기 선명한 이미지를 생성하는 단계
    를 포함하고,
    상기 디컨볼루션 커널 및 상기 흐린 이미지의 픽셀의 픽셀값에 기초하여, 상기 선명한 이미지의 픽셀의 픽셀값을 결정하는 단계는,
    수학식
    Figure 112016082365410-pat00668
    에 기초하여
    Figure 112016082365410-pat00669
    를 결정하는 단계;
    수학식
    Figure 112016082365410-pat00670
    에 기초하여
    Figure 112016082365410-pat00671
    를 결정하는 단계;
    수학식
    Figure 112016082365410-pat00672
    에 기초하여
    Figure 112016082365410-pat00673
    를 결정하는 단계; 및
    t가 미리 설정된 반복 회수에 도달한 때,
    Figure 112016082365410-pat00674
    에 기초하여 선명한 이미지의 픽셀의 픽셀값을 결정하고, 그렇지 않고 t가 상기 미리 설정된 반복 회수에 도달하지 않은 때는, 반복을 위해,
    Figure 112016082365410-pat00675
    을 이용하여
    Figure 112016082365410-pat00676
    를 업데이트하고,
    Figure 112016082365410-pat00677
    를 이용하여
    Figure 112016082365410-pat00678
    를 업데이트한 후, 상기
    Figure 112016082365410-pat00679
    를 결정하는 단계로 되돌아가는 단계
    를 포함하고,
    여기서,
    Figure 112016082365410-pat00680
    이고, n은 흐린 이미지의 픽셀 수를 의미하고, t는 반복 회수를 의미하며, x는 선명한 이미지의 픽셀값으로 구성된 열 벡터를 의미하고,
    Figure 112016082365410-pat00681
    t번째 반복의 x값을 의미하며,
    Figure 112016082365410-pat00682
    는 (t+1)번째 반복의 x값을 의미하고, x의 초기값은
    Figure 112016082365410-pat00683
    이며, y는 흐린 이미지의 픽셀값으로 구성된 열 벡터를 의미하고,
    Figure 112016082365410-pat00684
    는 (t+1)번째 반복의
    Figure 112016082365410-pat00685
    값을 의미하며,
    Figure 112016082365410-pat00686
    t번째 반복의
    Figure 112016082365410-pat00687
    값을 의미하고,
    Figure 112016082365410-pat00688
    (t+1)번째 반복의
    Figure 112016082365410-pat00689
    값을 의미하며,
    Figure 112016082365410-pat00690
    의 초기값은
    Figure 112016082365410-pat00691
    이고,
    Figure 112016082365410-pat00692
    은 m개의 특이치 중에서 l번째 특이치를 의미하며,
    Figure 112016082365410-pat00693
    는 l번째 특이치에 대응하는 행 벡터를 의미하고,
    Figure 112016082365410-pat00694
    과
    Figure 112016082365410-pat00695
    은
    Figure 112016082365410-pat00696
    와
    Figure 112016082365410-pat00697
    를 180˚ 회전 시킨 후에 얻어지는 연산자를 각각 의미하며,
    Figure 112016082365410-pat00698
    이미지 그래디언트 연산자를 의미하고 또
    Figure 112016082365410-pat00699
    과
    Figure 112016082365410-pat00700
    를 포함하고,
    Figure 112016082365410-pat00701
    은 수평 그래디언트 연산자를 의미하며,
    Figure 112016082365410-pat00702
    는 수직 그래디언트 연산자를 의미하고,
    Figure 112016082365410-pat00703
    는 컨볼루션 커널을 의미하며,
    Figure 112016082365410-pat00704
    와
    Figure 112016082365410-pat00705
    는 다항식의 가중치를 의미하고,
    Figure 112016082365410-pat00706
    는
    Figure 112016082365410-pat00707
    -놈(norm) 제약인자가 부가되어 있다는 것을 의미하는,
    이미지 생성 방법.
  4. 흐린 이미지에 기초하여 선명한 이미지를 생성하기 위한 이미지 생성 방법에 있어서,
    상기 흐린 이미지의 픽셀의 픽셀값, 및 상기 흐린 이미지의 컨볼루션 커널을 획득하는 단계;
    미리 설정된 이미지 그래디언트 연산자 및 상기 컨볼루션 커널에 기초하여, 상기 흐린 이미지의 디컨볼루션 커널을 결정하는 단계;
    상기 디컨볼루션 커널 및 상기 흐린 이미지의 픽셀의 픽셀값에 기초하여, 상기 선명한 이미지의 픽셀의 픽셀값을 결정하는 단계; 및
    상기 선명한 이미지의 픽셀의 픽셀값에 기초하여, 상기 선명한 이미지를 생성하는 단계
    를 포함하고,
    상기 디컨볼루션 커널 및 상기 흐린 이미지의 픽셀의 픽셀값에 기초하여, 상기 선명한 이미지의 픽셀의 픽셀값을 결정하는 단계는,
    수학식
    Figure 112016082365410-pat00708
    에 기초하여
    Figure 112016082365410-pat00709
    를 결정하는 단계;
    수학식
    Figure 112016082365410-pat00710
    에 기초하여
    Figure 112016082365410-pat00711
    를 결정하는 단계;
    수학식
    Figure 112016082365410-pat00712
    에 기초하여
    Figure 112016082365410-pat00713
    을 결정하는 단계;
    t가 미리 설정된 반복 회수에 도달한 때,
    Figure 112016082365410-pat00714
    에 기초하여 선명한 이미지의 픽셀의 픽셀값을 결정하고, 그렇지 않고 t가 상기 미리 설정된 반복 회수에 도달하지 않은 때는, 반복을 위해,
    Figure 112016082365410-pat00715
    을 이용하여
    Figure 112016082365410-pat00716
    를 업데이트하고,
    Figure 112016082365410-pat00717
    를 이용하여
    Figure 112016082365410-pat00718
    를 업데이트한 후, 상기
    Figure 112016082365410-pat00719
    를 결정하는 단계로 되돌아가는 단계
    를 포함하고,
    여기서,
    Figure 112016082365410-pat00720
    이고, n은 흐린 이미지의 픽셀 수를 의미하고, t는 반복 회수를 의미하며, x는 선명한 이미지의 픽셀값으로 구성된 열 벡터를 의미하고,
    Figure 112016082365410-pat00721
    t번째 반복의 x값을 의미하며,
    Figure 112016082365410-pat00722
    는 (t+1)번째 반복의 x값을 의미하고, x의 초기값은
    Figure 112016082365410-pat00723
    이며, y는 흐린 이미지의 픽셀값으로 구성된 열 벡터를 의미하고,
    Figure 112016082365410-pat00724
    는 (t+1)번째 반복의
    Figure 112016082365410-pat00725
    값을 의미하며,
    Figure 112016082365410-pat00726
    t번째 반복의
    Figure 112016082365410-pat00727
    값을 의미하고,
    Figure 112016082365410-pat00728
    (t+1)번째 반복의
    Figure 112016082365410-pat00729
    값을 의미하며,
    Figure 112016082365410-pat00730
    의 초기값은
    Figure 112016082365410-pat00731
    이고,
    Figure 112016082365410-pat00732
    은 m개의 특이치 중에서 l번째 특이치를 의미하며,
    Figure 112016082365410-pat00733
    는 l번째 특이치에 대응하는 행 벡터를 의미하고,
    Figure 112016082365410-pat00734
    과
    Figure 112016082365410-pat00735
    은
    Figure 112016082365410-pat00736
    와
    Figure 112016082365410-pat00737
    를 180˚ 회전 시킨 후에 얻어지는 연산자를 각각 의미하며,
    Figure 112016082365410-pat00738
    이미지 그래디언트 연산자를 의미하고 또
    Figure 112016082365410-pat00739
    과
    Figure 112016082365410-pat00740
    를 포함하고,
    Figure 112016082365410-pat00741
    은 수평 그래디언트 연산자를 의미하며,
    Figure 112016082365410-pat00742
    는 수직 그래디언트 연산자를 의미하고,
    Figure 112016082365410-pat00743
    는 컨볼루션 커널을 의미하며,
    Figure 112016082365410-pat00744
    와
    Figure 112016082365410-pat00745
    는 다항식의 가중치를 의미하고,
    Figure 112016082365410-pat00746
    는
    Figure 112016082365410-pat00747
    -놈(norm) 제약인자가 부가되어 있다는 것을 의미하는,
    이미지 생성 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 미리 설정된 이미지 그래디언트 연산자 및 상기 컨볼루션 커널에 기초하여, 상기 흐린 이미지의 디컨볼루션 커널을 결정하는 단계는,
    수학식
    Figure 112016082365410-pat00748
    에 따라 디컨볼루션 커널을 결정하는 단계를 포함하고,
    Figure 112016082365410-pat00749
    는 디컨볼루션 커널을 의미하고,
    Figure 112016082365410-pat00750
    는 그래디언트 연산자를 의미하며,
    Figure 112016082365410-pat00751
    이미지 그래디언트 연산자를 의미하고 또
    Figure 112016082365410-pat00752
    과
    Figure 112016082365410-pat00753
    를 포함하고,
    Figure 112016082365410-pat00754
    은 수평 그래디언트 연산자를 의미하며,
    Figure 112016082365410-pat00755
    는 수직 그래디언트 연산자를 의미하고,
    Figure 112016082365410-pat00756
    는 컨볼루션 커널을 의미하며
    Figure 112016082365410-pat00757
    푸리에 변환을 의미하며,
    Figure 112016082365410-pat00758
    는 역푸리에 변환을 의미하는,
    이미지 생성 방법.
  6. 흐린 이미지에 기초하여 선명한 이미지를 생성하기 위한 이미지 생성 장치에 있어서,
    상기 흐린 이미지의 픽셀의 픽셀값, 및 상기 흐린 이미지의 컨볼루션 커널을 획득하도록 구성된 획득 유닛;
    미리 설정된 이미지 그래디언트 연산자 및 상기 획득 유닛에 의해 획득된 상기 컨볼루션 커널에 기초하여, 디컨볼루션 커널을 결정하도록 구성된 제1 결정 유닛;
    상기 제1 결정 유닛에 의해 결정된 디컨볼루션 커널 및 상기 획득 유닛에 의해 획득된 상기 흐린 이미지의 픽셀의 픽셀값에 기초하여, 상기 선명한 이미지의 픽셀의 픽셀값을 결정하도록 구성된 제2 결정 유닛; 및
    상기 제2 결정 유닛에 의해 결정된 상기 선명한 이미지의 픽셀의 픽셀값에 기초하여, 상기 선명한 이미지를 생성하도록 구성된 생성 유닛
    를 포함하고,
    상기 제2 결정 유닛은 구체적으로, 일대일 대응관계에 있는, m개의 0이 아닌 특이치, m개의 행 벡터, 및 m개의 열 벡터를 얻기 위해, 상기 디컨볼루션 커널에 대해 특이치 분해를 수행하고, 상기 m개의 0이 아닌 특이치, 상기 m개의 행 벡터, 상기 m개의 열 벡터, 및 상기 흐린 이미지의 픽셀의 픽셀값에 기초하여, 상기 선명한 이미지의 픽셀의 픽셀값을 결정하도록 구성된, 이미지 생성 장치.
  7. 제6항에 있어서,
    상기 제2 결정 유닛은 구체적으로,
    수학식
    Figure 112016082365410-pat00759
    에 기초하여
    Figure 112016082365410-pat00760
    를 결정하고;
    수학식
    Figure 112016082365410-pat00761
    에 기초하여
    Figure 112016082365410-pat00762
    를 결정하고;
    수학식
    Figure 112016082365410-pat00763
    에 기초하여
    Figure 112016082365410-pat00764
    를 결정하고;
    t가 미리 설정된 반복 회수에 도달한 때,
    Figure 112016082365410-pat00765
    에 기초하여 선명한 이미지의 픽셀의 픽셀값을 결정하고, 그렇지 않고 t 가 상기 미리 설정된 반복 회수에 도달하지 않은 때는, 반복을 위해,
    Figure 112016082365410-pat00766
    을 이용하여
    Figure 112016082365410-pat00767
    를 업데이트하고,
    Figure 112016082365410-pat00768
    를 이용하여
    Figure 112016082365410-pat00769
    를 업데이트한 후, 상기
    Figure 112016082365410-pat00770
    를 결정하는 과정으로 되돌아가도록 구성되고,
    여기서
    Figure 112016082365410-pat00771
    이고,
    Figure 112016082365410-pat00772
    이며, n은 흐린 이미지의 픽셀 수를 의미하고, t는 반복 회수를 의미하며, x는 선명한 이미지의 픽셀값으로 구성된 열 벡터를 의미하고,
    Figure 112016082365410-pat00773
    t번째 반복의 x값을 의미하며,
    Figure 112016082365410-pat00774
    는 (t+1)번째 반복의 x값을 의미하고, x의 초기값은
    Figure 112016082365410-pat00775
    이며, y는 흐린 이미지의 픽셀값으로 구성된 열 벡터를 의미하고,
    Figure 112016082365410-pat00776
    는 (t+1)번째 반복의
    Figure 112016082365410-pat00777
    값을 의미하며,
    Figure 112016082365410-pat00778
    는 t번째 반복의
    Figure 112016082365410-pat00779
    값을 의미하며,
    Figure 112016082365410-pat00780
    의 초기값은
    Figure 112016082365410-pat00781
    이고,
    Figure 112016082365410-pat00782
    은 m개의 0이 아닌 특이치 중에서 l번째 특이치를 의미하며,
    Figure 112016082365410-pat00783
    는 l번째 특이치에 대응하는 행 벡터를 의미하고,
    Figure 112016082365410-pat00784
    과
    Figure 112016082365410-pat00785
    은
    Figure 112016082365410-pat00786
    와
    Figure 112016082365410-pat00787
    를 180˚ 회전 시킨 후에 얻어지는 연산자를 각각 의미하며,
    Figure 112016082365410-pat00788
    이미지 그래디언트 연산자를 의미하고 또
    Figure 112016082365410-pat00789
    과
    Figure 112016082365410-pat00790
    를 포함하고,
    Figure 112016082365410-pat00791
    은 수평 그래디언트 연산자를 의미하며,
    Figure 112016082365410-pat00792
    는 수직 그래디언트 연산자를 의미하고,
    Figure 112016082365410-pat00793
    는 컨볼루션 커널을 의미하며,
    Figure 112016082365410-pat00794
    와
    Figure 112016082365410-pat00795
    는 다항식의 가중치를 의미하고,
    Figure 112016082365410-pat00796
    는
    Figure 112016082365410-pat00797
    -놈(norm) 제약인자(constraint)가 부과되어 있다는 것을 의미하는,
    이미지 생성 장치.
  8. 흐린 이미지에 기초하여 선명한 이미지를 생성하기 위한 이미지 생성 장치에 있어서,
    상기 흐린 이미지의 픽셀의 픽셀값, 및 상기 흐린 이미지의 컨볼루션 커널을 획득하도록 구성된 획득 유닛;
    미리 설정된 이미지 그래디언트 연산자 및 상기 획득 유닛에 의해 획득된 상기 컨볼루션 커널에 기초하여, 디컨볼루션 커널을 결정하도록 구성된 제1 결정 유닛;
    상기 제1 결정 유닛에 의해 결정된 디컨볼루션 커널 및 상기 획득 유닛에 의해 획득된 상기 흐린 이미지의 픽셀의 픽셀값에 기초하여, 상기 선명한 이미지의 픽셀의 픽셀값을 결정하도록 구성된 제2 결정 유닛; 및
    상기 제2 결정 유닛에 의해 결정된 상기 선명한 이미지의 픽셀의 픽셀값에 기초하여, 상기 선명한 이미지를 생성하도록 구성된 생성 유닛
    를 포함하고,
    상기 제2 결정 유닛은 구체적으로,
    수학식
    Figure 112016082365410-pat00798
    에 기초하여
    Figure 112016082365410-pat00799
    를 결정하고;
    수학식
    Figure 112016082365410-pat00800
    에 기초하여
    Figure 112016082365410-pat00801
    를 결정하고;
    수학식
    Figure 112016082365410-pat00802
    에 기초하여
    Figure 112016082365410-pat00803
    를 결정하고;
    t가 미리 설정된 반복 회수에 도달한 때,
    Figure 112016082365410-pat00804
    에 기초하여 선명한 이미지의 픽셀의 픽셀값을 결정하고, 그렇지 않고 t가 상기 미리 설정된 반복 회수에 도달하지 않은 때는, 반복을 위해,
    Figure 112016082365410-pat00805
    을 이용하여
    Figure 112016082365410-pat00806
    를 업데이트하고,
    Figure 112016082365410-pat00807
    를 이용하여
    Figure 112016082365410-pat00808
    를 업데이트한 후, 상기
    Figure 112016082365410-pat00809
    를 결정하는 과정으로 되돌아가도록 구성되고,

    여기서,
    Figure 112016082365410-pat00810
    이고, n은 흐린 이미지의 픽셀 수를 의미하고, t는 반복 회수를 의미하며, x는 선명한 이미지의 픽셀값으로 구성된 열 벡터를 의미하고,
    Figure 112016082365410-pat00811
    t번째 반복의 x값을 의미하며,
    Figure 112016082365410-pat00812
    는 (t+1)번째 반복의 x값을 의미하고, x의 초기값은
    Figure 112016082365410-pat00813
    이며, y는 흐린 이미지의 픽셀값으로 구성된 열 벡터를 의미하고,
    Figure 112016082365410-pat00814
    는 (t+1)번째 반복의
    Figure 112016082365410-pat00815
    값을 의미하며,
    Figure 112016082365410-pat00816
    t번째 반복의
    Figure 112016082365410-pat00817
    값을 의미하고,
    Figure 112016082365410-pat00818
    (t+1)번째 반복의
    Figure 112016082365410-pat00819
    값을 의미하며,
    Figure 112016082365410-pat00820
    의 초기값은
    Figure 112016082365410-pat00821
    이고,
    Figure 112016082365410-pat00822
    은 m개의 특이치 중에서 l번째 특이치를 의미하며,
    Figure 112016082365410-pat00823
    는 l번째 특이치에 대응하는 행 벡터를 의미하고,
    Figure 112016082365410-pat00824
    과
    Figure 112016082365410-pat00825
    은
    Figure 112016082365410-pat00826
    와
    Figure 112016082365410-pat00827
    를 180˚ 회전 시킨 후에 얻어지는 연산자를 각각 의미하며,
    Figure 112016082365410-pat00828
    이미지 그래디언트 연산자를 의미하고 또
    Figure 112016082365410-pat00829
    과
    Figure 112016082365410-pat00830
    를 포함하고,
    Figure 112016082365410-pat00831
    은 수평 그래디언트 연산자를 의미하며,
    Figure 112016082365410-pat00832
    는 수직 그래디언트 연산자를 의미하고,
    Figure 112016082365410-pat00833
    는 컨볼루션 커널을 의미하며,
    Figure 112016082365410-pat00834
    와
    Figure 112016082365410-pat00835
    는 다항식의 가중치를 의미하고,
    Figure 112016082365410-pat00836
    는
    Figure 112016082365410-pat00837
    -놈(norm) 제약인자가 부가되어 있다는 것을 의미하는,
    이미지 생성 장치.
  9. 흐린 이미지에 기초하여 선명한 이미지를 생성하기 위한 이미지 생성 장치에 있어서,
    상기 흐린 이미지의 픽셀의 픽셀값, 및 상기 흐린 이미지의 컨볼루션 커널을 획득하도록 구성된 획득 유닛;
    미리 설정된 이미지 그래디언트 연산자 및 상기 획득 유닛에 의해 획득된 상기 컨볼루션 커널에 기초하여, 디컨볼루션 커널을 결정하도록 구성된 제1 결정 유닛;
    상기 제1 결정 유닛에 의해 결정된 디컨볼루션 커널 및 상기 획득 유닛에 의해 획득된 상기 흐린 이미지의 픽셀의 픽셀값에 기초하여, 상기 선명한 이미지의 픽셀의 픽셀값을 결정하도록 구성된 제2 결정 유닛; 및
    상기 제2 결정 유닛에 의해 결정된 상기 선명한 이미지의 픽셀의 픽셀값에 기초하여, 상기 선명한 이미지를 생성하도록 구성된 생성 유닛
    를 포함하고,
    상기 제2 결정 유닛은 구체적으로,
    수학식
    Figure 112016082365410-pat00838
    에 기초하여
    Figure 112016082365410-pat00839
    를 결정하고;
    수학식
    Figure 112016082365410-pat00840
    에 기초하여
    Figure 112016082365410-pat00841
    를 결정하고;
    수학식
    Figure 112016082365410-pat00842
    에 기초하여
    Figure 112016082365410-pat00843
    을 결정하고;
    t가 미리 설정된 반복 회수에 도달한 때,
    Figure 112016082365410-pat00844
    에 기초하여 선명한 이미지의 픽셀의 픽셀값을 결정하고, 그렇지 않고 t가 상기 미리 설정된 반복 회수에 도달하지 않은 때는, 반복을 위해,
    Figure 112016082365410-pat00845
    을 이용하여
    Figure 112016082365410-pat00846
    를 업데이트하고,
    Figure 112016082365410-pat00847
    를 이용하여
    Figure 112016082365410-pat00848
    를 업데이트한 후, 상기
    Figure 112016082365410-pat00849
    를 결정하는 과정으로 되돌아가도록 구성되고,
    여기서,
    Figure 112016082365410-pat00850
    이고, n은 흐린 이미지의 픽셀 수를 의미하고, t는 반복 회수를 의미하며, x는 선명한 이미지의 픽셀값으로 구성된 열 벡터를 의미하고,
    Figure 112016082365410-pat00851
    t번째 반복의 x값을 의미하며,
    Figure 112016082365410-pat00852
    는 (t+1)번째 반복의 x값을 의미하고, x의 초기값은
    Figure 112016082365410-pat00853
    이며, y는 흐린 이미지의 픽셀값으로 구성된 열 벡터를 의미하고,
    Figure 112016082365410-pat00854
    는 (t+1)번째 반복의
    Figure 112016082365410-pat00855
    값을 의미하며,
    Figure 112016082365410-pat00856
    t번째 반복의
    Figure 112016082365410-pat00857
    값을 의미하고,
    Figure 112016082365410-pat00858
    (t+1)번째 반복의
    Figure 112016082365410-pat00859
    값을 의미하며,
    Figure 112016082365410-pat00860
    의 초기값은
    Figure 112016082365410-pat00861
    이고,
    Figure 112016082365410-pat00862
    은 m개의 특이치 중에서 l번째 특이치를 의미하며,
    Figure 112016082365410-pat00863
    는 l번째 특이치에 대응하는 행 벡터를 의미하고,
    Figure 112016082365410-pat00864
    과
    Figure 112016082365410-pat00865
    은
    Figure 112016082365410-pat00866
    와
    Figure 112016082365410-pat00867
    를 180˚ 회전 시킨 후에 얻어지는 연산자를 각각 의미하며,
    Figure 112016082365410-pat00868
    이미지 그래디언트 연산자를 의미하고 또
    Figure 112016082365410-pat00869
    과
    Figure 112016082365410-pat00870
    를 포함하고,
    Figure 112016082365410-pat00871
    은 수평 그래디언트 연산자를 의미하며,
    Figure 112016082365410-pat00872
    는 수직 그래디언트 연산자를 의미하고,
    Figure 112016082365410-pat00873
    는 컨볼루션 커널을 의미하며,
    Figure 112016082365410-pat00874
    와
    Figure 112016082365410-pat00875
    는 다항식의 가중치를 의미하고,
    Figure 112016082365410-pat00876
    는
    Figure 112016082365410-pat00877
    -놈(norm) 제약인자가 부가되어 있다는 것을 의미하는,
    이미지 생성 장치.
  10. 제6항 내지 제9항 중 어느 하나의 항에서,
    상기 제1 결정 유닛은 구체적으로,
    수학식
    Figure 112016082365410-pat00878
    에 따라 디컨볼루션 커널을 결정하도록 구성되고,
    Figure 112016082365410-pat00879
    는 디컨볼루션 커널을 의미하고,
    Figure 112016082365410-pat00880
    는 그래디언트 연산자를 의미하며,
    Figure 112016082365410-pat00881
    이미지 그래디언트 연산자를 의미하고 또
    Figure 112016082365410-pat00882
    과
    Figure 112016082365410-pat00883
    를 포함하고,
    Figure 112016082365410-pat00884
    은 수평 그래디언트 연산자를 의미하며,
    Figure 112016082365410-pat00885
    는 수직 그래디언트 연산자를 의미하고,
    Figure 112016082365410-pat00886
    는 컨볼루션 커널을 의미하며
    Figure 112016082365410-pat00887
    푸리에 변환을 의미하며,
    Figure 112016082365410-pat00888
    는 역푸리에 변환을 의미하는,
    이미지 생성 장치.
  11. 삭제
  12. 삭제
KR1020150121593A 2014-09-05 2015-08-28 흐린 이미지에 기초하여 선명한 이미지를 생성하는 이미지 생성 방법 및 이미지 생성 장치 KR101703790B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201410450141.3A CN105469363B (zh) 2014-09-05 2014-09-05 基于模糊图像生成清晰图像的方法和装置
CN201410450141.3 2014-09-05

Publications (2)

Publication Number Publication Date
KR20160029668A KR20160029668A (ko) 2016-03-15
KR101703790B1 true KR101703790B1 (ko) 2017-02-07

Family

ID=53836441

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150121593A KR101703790B1 (ko) 2014-09-05 2015-08-28 흐린 이미지에 기초하여 선명한 이미지를 생성하는 이미지 생성 방법 및 이미지 생성 장치

Country Status (5)

Country Link
US (1) US9665792B2 (ko)
EP (1) EP2993642B1 (ko)
JP (1) JP6106897B2 (ko)
KR (1) KR101703790B1 (ko)
CN (1) CN105469363B (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ITUB20154187A1 (it) 2015-10-06 2016-01-06 Fameccanica Data Spa Procedimento ed apparecchiatura per la produzione di una struttura assorbente
WO2017100971A1 (zh) * 2015-12-14 2017-06-22 北京大学深圳研究生院 一种失焦模糊图像的去模糊方法和装置
CN106815814B (zh) * 2016-12-26 2021-10-26 杭州施强教育科技有限公司 一种应用于阅卷系统的图像污染处理方法
KR102683756B1 (ko) * 2016-12-26 2024-07-10 삼성전자주식회사 멀티미디어 신호의 프로세싱 방법, 장치 및 시스템
KR101868266B1 (ko) * 2017-01-25 2018-06-15 포항공과대학교 산학협력단 희소표현 알고리즘을 이용한 블러 영상 디블러링 방법 및 장치
CN108510438A (zh) * 2017-02-24 2018-09-07 北京优朋普乐科技有限公司 一种图像、视频放大方法和系统
KR102416867B1 (ko) * 2017-03-07 2022-07-05 중앙대학교 산학협력단 비전 문제의 솔루션 제공 방법 및 그 장치
CN107730468B (zh) * 2017-10-23 2020-11-10 鹰艾思科技(深圳)有限公司 一种无人机模糊噪声图像下清晰图像的恢复方法
JP6994157B2 (ja) 2018-02-09 2022-01-14 トヨタ自動車株式会社 非水電解液二次電池および電池組立体
US10860900B2 (en) 2018-10-30 2020-12-08 International Business Machines Corporation Transforming source distribution to target distribution using Sobolev Descent
CN111272280B (zh) * 2020-02-25 2020-12-15 电子科技大学 利用逆卷积提高光谱仪系统分辨率的方法
CN111815537B (zh) * 2020-07-16 2022-04-29 西北工业大学 一种新型图像盲解去模糊方法
CN112383678B (zh) * 2020-10-27 2022-05-27 南京交通职业技术学院 一种运动模糊图像清晰装置
US11798139B2 (en) * 2020-11-17 2023-10-24 GM Global Technology Operations LLC Noise-adaptive non-blind image deblurring
CN116802674A (zh) * 2021-02-22 2023-09-22 Oppo广东移动通信有限公司 生成目标图像的方法、电子设备和非暂时性计算机可读介质
KR102328029B1 (ko) * 2021-06-02 2021-11-17 아주대학교산학협력단 블러 이미지 처리 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007201533A (ja) 2006-01-23 2007-08-09 Toshiba Corp ボケ変換装置及び方法
US20110090352A1 (en) * 2009-10-16 2011-04-21 Sen Wang Image deblurring using a spatial image prior

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6798860B1 (en) * 2000-05-17 2004-09-28 Ge Medical Systems Global Technology Company, Llc Methods and apparatus for deconvolving imaging data
CN100501831C (zh) * 2007-06-08 2009-06-17 中山大学 一种利用盲信号处理解决lcd运动图像模糊的方法
KR100990791B1 (ko) * 2008-12-31 2010-10-29 포항공과대학교 산학협력단 영상의 블러 제거 방법 및 블러 제거 방법이 기록된 기록매체
EP2384492A4 (en) 2009-01-22 2012-08-08 Hewlett Packard Development Co ESTIMATING THE FLOU TYPE DEGRADATION OF AN IMAGE USING SPECULAR OVERFLOWS
US8203615B2 (en) * 2009-10-16 2012-06-19 Eastman Kodak Company Image deblurring using panchromatic pixels
JP5745438B2 (ja) * 2012-02-15 2015-07-08 日立Ｇｅニュークリア・エナジー株式会社 検査方法および検査装置
WO2013148142A1 (en) * 2012-03-29 2013-10-03 Nikon Corporation Algorithm for minimizing latent sharp image cost function and point spread function cost function with a spatial mask in a regularization term
JP5983373B2 (ja) * 2012-12-07 2016-08-31 富士通株式会社 画像処理装置、情報処理方法及びプログラム
US9208543B2 (en) * 2013-10-23 2015-12-08 Adobe Systems Incorporated Deblurring images having spatially varying blur

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007201533A (ja) 2006-01-23 2007-08-09 Toshiba Corp ボケ変換装置及び方法
US20110090352A1 (en) * 2009-10-16 2011-04-21 Sen Wang Image deblurring using a spatial image prior
JP2013508811A (ja) 2009-10-16 2013-03-07 イーストマン コダック カンパニー 空間画像事前確率を用いたぼけ画像修正

Also Published As

Publication number Publication date
JP6106897B2 (ja) 2017-04-05
US9665792B2 (en) 2017-05-30
US20160070979A1 (en) 2016-03-10
EP2993642A1 (en) 2016-03-09
JP2016058081A (ja) 2016-04-21
EP2993642B1 (en) 2017-10-11
CN105469363A (zh) 2016-04-06
CN105469363B (zh) 2018-05-18
KR20160029668A (ko) 2016-03-15

Similar Documents

Publication Publication Date Title
KR101703790B1 (ko) 흐린 이미지에 기초하여 선명한 이미지를 생성하는 이미지 생성 방법 및 이미지 생성 장치
US9262815B2 (en) Algorithm for minimizing latent sharp image cost function and point spread function cost function with a spatial mask in a regularization term
CN106709877B (zh) 一种基于多参数正则优化模型的图像去模糊方法
KR20130126551A (ko) 저해상도 입력 데이터 구조의 초해상도 버전을 생성하기 위한 방법 및 장치
JP2008146643A (ja) 動きでぶれた画像における動きのぶれを低減する方法、動きでぶれた画像における動きのぶれを低減するための装置、および動きでぶれた画像における動きのぶれを低減するコンピュータ・プログラムを具現するコンピュータ読み取り可能な媒体
Maiseli et al. A noise-suppressing and edge-preserving multiframe super-resolution image reconstruction method
KR101839617B1 (ko) 멀티프레임을 이용한 비균일 모션 블러 제거 방법 및 장치
KR101671391B1 (ko) 레이어 블러 모델에 기반한 비디오 디블러링 방법, 이를 수행하기 위한 기록 매체 및 장치
Ito et al. Blurburst: Removing blur due to camera shake using multiple images
KR101181161B1 (ko) 카메라 자체 움직임에 의한 이미지 블러를 제거하는 장치 및 방법, 그리고 그러한 방법이 컴퓨터상에서 실행하는 프로그램이 수록된 컴퓨터로 판독 가능한 기록매체
KR101341871B1 (ko) 비디오 디블러링 방법 및 그 장치
Javaran et al. Non-blind image deconvolution using a regularization based on re-blurring process
KR101805623B1 (ko) 영상 고주파 정보 추정 및 안정화를 통한 고해상도 영상 생성 방법 및 장치
KR20090013522A (ko) 링잉 아티펙트없는 블러 제거 방법
JP5105286B2 (ja) 画像復元装置、画像復元方法及び画像復元プログラム
Makandar et al. Computation pre-processing techniques for image restoration
Son et al. Image-pair-based deblurring with spatially varying norms and noisy image updating
Sola et al. Blind image deblurring based on multi-resolution ringing removal
Kathiravan et al. An overview of sr techniques applied to images, videos and magnetic resonance images
Son et al. A pair of noisy/blurry patches-based PSF estimation and channel-dependent deblurring
He et al. Joint motion deblurring and superresolution from single blurry image
Tsai et al. An improved adaptive deconvolution algorithm for single image deblurring
CN117132505B (zh) 基于纹理图像自相关的运动去模糊方法及装置
Yaqoub et al. An Adaptive Richardson-Lucy Algorithm for Medical Image Restoration
Bhosale et al. Image super-resolution using dictionaries and self-similarity

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20150828

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20160712

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20170106

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20170201

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20170201

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20200115

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20200115

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20210108

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20220103

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20240109

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20250106

Start annual number: 9

End annual number: 9