KR20090074443A - 영상 처리 방법 및 장치 - Google Patents

영상 처리 방법 및 장치 Download PDF

Info

Publication number
KR20090074443A
KR20090074443A KR1020080000227A KR20080000227A KR20090074443A KR 20090074443 A KR20090074443 A KR 20090074443A KR 1020080000227 A KR1020080000227 A KR 1020080000227A KR 20080000227 A KR20080000227 A KR 20080000227A KR 20090074443 A KR20090074443 A KR 20090074443A
Authority
KR
South Korea
Prior art keywords
channel
image
image processing
domain
high frequency
Prior art date
Application number
KR1020080000227A
Other languages
English (en)
Inventor
변성찬
강문기
김창원
오현묵
유두식
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020080000227A priority Critical patent/KR20090074443A/ko
Publication of KR20090074443A publication Critical patent/KR20090074443A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

본 발명은, 입력된 영상에 대하여 색상 보간을 수행하는 단계, 상기 색상 보간에 의한 각 화소값의 제 1 도메인에서 밝기(luminance) 채널에 대한 영상 처리 함수를 획득하는 단계 및 상기 영상 처리 함수를 이용하여 개선된 영상을 획득하는 단계를 포함하되, 상기 영상 처리 함수는 역 필터링에 기초하여 획득되는 것을 특징으로 하는 영상 처리 방법을 제공한다.
색상 보간, 영상 개선

Description

영상 처리 방법 및 장치{A method and apparatus for processing an image}
최근 휴대폰에 사용되는 카메라의 이미지 센서가 점차 고화소화 되어 가면서, 이전에는 화질에 크게 영향을 미치지 못했던 광학계의 한계에 의한 화질 저하가 휴대폰 카메라로 획득한 영상의 질을 결정하는 가장 큰 요인이 되었다. 이때, 가장 크게 영향을 미치며 또한 신호 처리적인 방법을 통해 개선하여 가장 큰 효과를 얻을 수 있는 것은 렌즈의 회절에 의한 열화(blur)이다. 회절은 렌즈의 단절된 부분에서 빛이 굴절되는 물리적인 현상을 말한다. 렌즈의 가장자리 부분에서 빛이 굴절 됨으로써, 원 영상의 한 점이 렌즈를 통과한 뒤 한 점에 모이지 못하고, 여러 점에 퍼짐으로써 열화(blur)가 발생한다.
선명화(Sharpening)는 고주파 통과 필터를 사용하여 영상의 고주파 성분을 얻어, 원 영상에 더함으로써 주어진 영상의 에지를 선명하게 하는 기술이다. 얻은 영상의 고주파 성분을 얼마나 더하느냐에 따라 선명도 정도를 조절할 수 있다. 또한, 에지를 검출하고, 검출된 출력을 원래 영상에 더하여 영상을 개선할 수 있다.
영상 개선 방법으로 열화(blur) 모델에 대한 고려 없이 중심 화소와 주변 화소들간의 차를 이용할 수 있다. 중심 화소와 주변 화소의 차가 클수록 에지를 더 강조하여 영상 개선을 할 수 있다. 이 경우 에지 영역에서 너무 강하게 에지를 강조하여, 개선된 결과에서 부자연스러운 영상을 얻거나, 에지 부근에서 오버슛(overshot), 언더슛(undershot)이 발생될 수 있다. 이는 열화 모델에 대한 고려없이 단순히 주변 화소와의 차를 통해서 영상 개선을 수행하기 때문이다. 따라서, 광학계에 의한 열화 모델을 고려하여 영상 개선을 수행하면, 보다 자연스러운 영상을 영상을 얻을 수 있고, 에지 부근에서의 오버슛, 언더슛이 적은 결과 영상을 얻을 수 있다.
본 발명은, 입력된 영상에 대하여 색상 보간을 수행하는 단계, 상기 색상 보간에 의한 각 화소값의 제 1 도메인에서 밝기(luminance) 채널에 대한 영상 처리 함수를 획득하는 단계 및 상기 영상 처리 함수를 이용하여 개선된 영상을 획득하는 단계를 포함하되, 상기 영상 처리 함수는 역 필터링에 기초하여 획득되는 것을 특징으로 하는 영상 처리 방법을 제공한다.
또한, 본 발명은, 밝기 채널에서, 고주파 통과 필터를 이용하여 상기 밝기 채널의 고주파 성분을 획득하는 단계를 더 포함하되, 상기 영상 처리 함수는 상기 고주파 성분에 기초하여 획득되고, 상기 밝기 채널은 RGB 도메인의 G 채널인 것을 특징으로 한다.
또한, 본 발명은, 상기 G 채널의 고주파 성분과 영상 처리 함수는 에지 영역, 평탄 영역 및 패턴 영역의 특성에 기초한 파라미터를 이용하여 각 영역마다 구분되어 획득되는 것을 특징으로 한다.
또한, 본 발명은, 상기 G 채널에 기초하여, R,G,B 각 채널 간의 상관 관계를 이용하여 R,B 채널의 영상 처리 함수를 획득하는 단계를 더 포함하되, 상기 각 채널 간의 상관 관계는 영상 개선 전 후의 각 채널 간 차이값의 유사성을 나타내는 것을 특징으로 한다.
또한, 본 발명은, 상기 고주파 성분과 상기 영상 처리 함수는 에지 영역, 평탄 영역 및 패턴 영역의 특성에 기초한 파라미터를 이용하여 각 영역마다 구분되어 획득되는 것을 특징으로 한다.
또한, 본 발명은, 입력된 영상 중 임의 채널에 대해 색상 보간을 수행하는 단계, 상기 색상 보간된 임의 채널의 고주파 성분을 획득하는 단계, 상기 고주파 성분의 영역에 기초하여 상기 고주파 성분에 가중치를 적용하는 단계 및 상기 가중치가 적용된 임의 채널을 이용하여 개선된 영상을 획득하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법을 제공한다.
또한, 본 발명은, 상기 고주파 성분의 가로, 세로 방향의 2차 미분값을 획득하는 단계와 상기 2차 미분값에 기초하여 상기 고주파 성분의 가로,세로 방향의 가중치를 획득하는 단계를 더 포함하되, 상기 가중치는 상기 2차 미분값의 절대값에 반비례하는 것을 특징으로 하는 영상 처리 방법을 제공한다.
또한, 본 발명은, 입력된 영상에 대하여 색상 보간을 수행하는 색상 보간부, 상기 색상 보간에 의한 각 화소값의 제 1 도메인에서 밝기 채널에 대한 영상 처리 함수를 획득하는 영상 처리 함수 획득부 및 상기 영상 처리 함수를 이용하여 개선된 영상을 획득하는 영상 출력부를 포함하되, 상기 영상 처리 함수는 역 필터링에 기초하여 획득되는 것을 특징으로 하는 영상 처리 장치를 제공한다.
광학계에 의한 열화 모델을 고려하여 영상 개선을 수행할 경우, 보다 자연스럽고 에지 부근에서의 오버슛, 언더슛이 적은 영상을 얻을 수 있다. 또한, 색상 보간과 영상 개선을 수행하는 경우 열화 현상을 효과적으로 감소시킬 수 있다.
상술한 목적 및 구성의 특징은 첨부된 도면과 관련하여 다음의 상세한 설명을 통하여 보다 명확해질 것이다. 이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예들를 상세히 설명한다.
아울러, 본 발명에서 사용되는 용어는 가능한 한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우는 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재하였으므로, 단순한 용어의 명칭이 아닌 용어가 가지는 의미로서 본 발명을 파악하여야 함을 밝혀두고자 한다.
본 발명은 기존의 소구경 광학계의 구경과 분해능에 관련된 정보를 이용하여 광학계에 의한 화질의 저하를 역필터링(inverse filtering)하는 방법을 제안한다.
점차 크기가 작아지는 휴대폰용 카메라의 경우에는 일반적인 열화의 요인 외에도 소구경 광학계에 의한 영상의 열화가 초래되는데, 이 때 가장 크게 영향을 미치며 또한 신호 처리적인 방법을 통해 개선하여 가장 큰 효과를 얻을 수 있는 것은 렌즈의 회절(diffraction)에 의한 열화(blur)이다. 회절은 렌즈의 단절된 부분에서 빛이 굴절되는 물리적인 현상을 말한다. 렌즈는 수직으로 입사하는 빛들을 한 곳으로 모아주기 위해서 사용하게 되는데, 광학계에서는 무한대의 구경을 갖는 렌즈를 사용했을 때 왜곡 없이 빛 에너지를 모으게 된다고 정의한다. 하지만 실제로는 그러한 무한대 구경의 렌즈를 사용할 수 없기 때문에 일정 크기의 렌즈를 사용하게 되며, 이에 따라 회절 현상이 생기게 되며 실제 렌즈의 구경에 따라 열화 (blur)되는 정도가 달라지게 된다.
도 1은 본 발명이 적용되는 실시예로서, 영상 개선을 위한 영상 처리 장치의 전체적인 블록도를 나타낸다.
상기 영상 처리 장치는 크게 전처리부(pre-processing unit)(100), 색상 보간부(color interpolating unit)(200), 후처리부(post-processing unit)(300) 및 영상 출력부(미도시)를 포함할 수 있다. 상기 후처리부(300)는 영상 처리 함수 획득부(310)와 역필터링부(320)를 포함할 수 있다. 그리고, 상기 영상 처리 함수 획득부(310)는 도메인 변환부(311), 고주파 성분 획득부(312) 및 도메인 역변환부(313)을 포함할 수 있다. 또는 상기 영상 처리 함수 획득부(310)는 필요에 따라 상기 도메인 변환부(311)와 도메인 역변환부(313)를 포함하지 않을 수도 있다.
먼저, 전처리부(100)에서는 영상 처리를 위한 준비 과정을 거친다. 상기 전 처리부(100)로부터 출력된 영상의 각 화소 위치에 R, G, B 필터를 모자이크 형태로 씌워 각 화소에서 R, G, B 값 중 하나의 값을 얻을 수 있다. 이 때, 잃어버린 R, G, B 값은 주변 화소 값으로부터 추정하여 얻을 수 있는데, 이는 색상 보간부(200)에서 일어날 수 있다. 본 발명의 실시예로서, 색상 보간 과정 중에 영상 개선을 위한 영상 처리 함수를 획득할 수도 있다. 후처리부(300)에서는 색상 보간 과정을 거친 후 영상 개선을 수행할 수 있다. 영상 처리 함수 획득부(310)에서는 영상 개선을 위한 영상 처리 함수를 획득할 수 있다. 이 때, 역필터링부(320)를 통하여 역필터링을 고려한 영상 처리 함수를 획득할 수 있다. 이는 도 4에서 상세히 설명하도록 한다.
상기 영상 처리 함수를 획득하기 위해서는 다양한 실시예들을 적용할 수 있다. 예를 들어, 고주파 성분 획득부(312)에서는 개선하고자 하는 영상의 고주파 성분을 획득할 수 있다. 그리고, 상기 고주파 성분에 기초하여 상기 영상 처리 함수를 획득할 수 있다. 구체적 예로, YUV 도메인에서 역필터링을 고려하여 영상 처리 함수를 획득할 수 있다. 이때, 도메인 변환이 필요할 수 있는데, 이는 도메인 변환부(311)에서 수행될 수 있다. 또한, 이를 출력하기 위해서는 다시 역변환이 필요한데, 이는 도메인 역변환부(313)에서 수행될 수 있다. 다른 예로, RGB 도메인에서 역필터링을 고려하여 영상 처리 함수를 획득할 수 있다. 이에 대해서는 도 5에서 상세히 설명하도록 한다. 이하에서는 본 발명이 적용되는 다양한 실시예들을 살펴보도록 한다.
도 2는 본 발명이 적용되는 실시예로서, 렌즈에 의해 영상의 왜곡이 일어나 는 과정과 렌즈의 시스템 함수를 역 모델링함으로써 왜곡을 보정하는 과정을 나타낸 것이다.
먼저 렌즈의 소구경에 의해 나타나는 왜곡, 즉 열화(blur) 현상은 점확산함수(Point Spread Function, PSF)로 모델링할 수 있다. 이 때, 신호가 통과하는 시스템이 선형 시불변(Linear Time Invariant, LTI)하다는 가정이 있는 경우, 출력은 임의의 신호에 대해 이미 정해진 임펄스 응답(impulse response)과의 컨볼루션(convolution) 관계로 정의될 수 있다. 렌즈의 경우 선형 시불변하다는 가정을 할 수 있기 때문에 입력 영상을, 출력 영상으로 가정하였을 때 다음 수학식 1과 같이 정의할 수 있다.
y(i,j) = x(i,j) * f(i,j)
단, 여기에서 f(i,j)는 점확산함수(PSF)를 나타낸다. 이것을 주파수 영역에서 생각하기 위해 푸리에 변환을 하게 되면 컨볼루션 특성에 의해 다음 수학식 2와 같이 나타낼 수 있다.
Y(u,v) = X(u,v)·F(u,v)
여기서, Y(u,v), X(u,v), F(u,v) 함수는 각각 y(i,j), x(i,j), f(i,j) 함수의 푸리에 변환을 한 것이다. 이 중, 점확산함수의 푸리에 변환인 F(u,v) 함수의 경우, 입력 신호인 빛에 대한 전달 함수이기 때문에 광전달함수(Optical Transfer Function, OTF)라고 부를 수 있다. 광전달함수는 렌즈의 구경에 따라 다음 수학식 3과 같이 정의할 수 있다.
Figure 112008000192611-PAT00001
위의 함수는 ρ< 2ρ0인 경우에 대해 정의될 수 있다. ρ는 래디얼 공간 주파수(radial spatial frequency)를 나타내고, ρ0는 래디얼 차단 주파수(radial cutoff frequency)를 나타낸다. 상기 ρ0는 다음 수학식 4와 같이 정의될 수 있다.
Figure 112008000192611-PAT00002
여기에서 l 은 렌즈 구경의 지름을 나타내고, λ는 입사하는 빛의 진폭, Si는 렌즈의 단면과 촬상면과의 거리를 나타낸다. 즉, 빛의 진폭과 렌즈와 촬상면 사이의 거리가 고정되어 있다고 할 때 렌즈의 구경에 따라 차단 주파수가 정해질 수 있다.
도 3은 본 발명이 적용되는 실시예로서, 광전달함수의 크기(magnitude)인 MTF와 점확산함수(PSF)의 관계를 나타낸 것이다.
렌즈의 구경이 넓어질수록 차단 주파수가 높아지기 때문에 더 많은 주파수 정보를 포함하게 되며, 점확산함수의 경우에도 메인 로브(main lobe)의 범위가 좁 아져서 열화가 적게 될 것임을 유추할 수 있다.
상기에서 설명한 수학식 3,4를 이용하여 광전달함수(OTF)를 구하고, 상기 광전달함수를 변환함으로써 역 광전달함수를 추정할 수 있고, 상기 도 2와 같은 전달함수를 얻을 수 있다. 만약 영상을 주파수 도메인에서 다루는 경우라면 역 광전달함수를 그대로 이용하여 역 필터링 할 수 있지만, 주파수 도메인에서는 많은 연산량과 메모리가 요구되기 때문에 물리적 제한이 있는 시스템의 경우 적용하기 어려울 수 있다. 따라서, 다시 역푸리에 변환을 하여 공간 도메인에서의 필터링을 수행할 수 있다.
공간 도메인에서 구한 점확산함수와 역 점확산함수의 경우 무한한 신호이므로, 이것을 시스템에 적용하기 위해서는 적절하게 잘라서 유한한 신호로 만들 수 있다. 예를 들어, 직각 마스크(rectangular mask) 혹은 삼각 마스크(triangular mask) 등을 씌워 유한한 신호를 얻을 수 있다. 역 점확산함수의 대부분의 에너지가 중심과 가까운 부분에 존재하기 때문에 적은 수의 필터 탭(filter tap)만으로도 기대하는 효과를 얻을 수 있다. 상기 마스크의 크기는 5ⅹ5, 7ⅹ7 등의 크기로 정할 수 있다. 또한, 상기 마스크의 크기를 5ⅹ5 크기로 하여 역필터링을 수행할 경우, 탭(tap) 수 대비 큰 효율을 얻을 수 있다.
도 4는 본 발명이 적용되는 실시예로서, 영상 처리 알고리즘을 설명하기 위해 나타낸 영상 획득 모델을 나타낸다.
상기 도 4를 살펴보면, 입력 영상이 카메라 시스템을 통과하여 출력 영상으로 나오는 과정을 나타낸다. 각각의 영상을 1차원 행렬로 나타내고 소구경 렌즈에 의한 시스템 함수를 순환 토플리츠 행렬의 모양으로 나타낸 것을 x, y, D 라 하면, 다음 수학식 5와 같이 나타낼 수 있다.
y = Dx
이 경우, 획득한 영상은 y, 추정하기 원하는 선명한 영상은 x, 그리고 광전달함수를 이용하여 추정한 점확산함수에 의한 시스템 함수가 D가 된다. 따라서 렌즈의 전달 함수를 정확하게 아는 경우 시스템 함수의 역행렬을 이용하여 다음 수학식 6과 같이 원본 입력 영상을 구할 수 있다.
x = D-1y = Hy
여기에서 H는 D의 역행렬과 동일한 것으로, 역 광전달함수의 역 푸리에 변환으로 추정한 역 점확산함수의 행렬 표현이다.
도 5는 본 발명이 적용되는 실시예로서, 역필터링을 고려하여 영상 처리 함수를 획득하기 위한 흐름도를 나타낸다.
영상 처리를 위해 추정하고자 하는 영상을 다음 수학식 7과 같이 영상의 고주파 성분과 저주파 성분으로 나눌 수 있다.
x = xLF + xHF
또한, 시스템을 통해 얻은 영상은 렌즈에 의해 저주파 성분만이 남은 영상이 라 할 수 있으므로, 저주파 성분은 다음 수학식 8처럼 고려할 수 있다.
xLF = Dx = y
그리고, 고주파 성분은 획득한 영상으로부터 고주파 필터링을 통해 얻을 수 있다. 예를 들어, 입력 영상 중 임의 채널에 대해 고주파 성분을 획득할 수 있다(S510). 이때, 임의의 고주파 필터를 이용할 수 있는데, 상기 임의의 고주파 필터는 다음 수학식 9와 같이 나타낼 수 있다.
xHF = HHPF y
따라서, 추정하고자 하는 영상을 획득한 영상과 임의의 고주파 필터를 이용하여 다음 수학식 10과 같이 나타낼 수 있다.
x = y + HHPF y
상기 도 5에서 나타난 x와 y의 역필터링 관계를 고려하면 위 수학식 10은 다음 수학식 11과 같이 나타낼 수 있다.
Hy = y + HHPF y = (I + HHPF )y
따라서 고주파 필터는 추정한 역필터로부터 다음 수학식 12와 같이 구할 수 있다.
HHPF = H - I
상기 수학식들을 이용하여 획득된 고주파 성분에 기초하여 상기 임의 채널에 대한 영상 처리 함수를 획득할 수 있다(S520). 상기 획득된 영상 처리 함수는 다음 수학식 13과 같다.
Figure 112008000192611-PAT00003
여기에서 x'(i,j)는 (i,j) 픽셀 위치에서의 고주파가 복원된 영상을 나타내고, HF(i,j)는 앞서 구한 고주파 필터를 바탕으로 획득한 영상의 고주파 성분을 나타낸다. 또한 E{y(i,j)}는 획득한 영상 y의 평균을 의미할 수 있다. 상기 수학식 13은 에지, 패턴, 평탄 영역에 대해 서로 다른 방법을 적용할 수 있다. 예를 들어, 에지 영역의 경우, 고주파 성분이 많은 영역이기 때문에 획득한 영상을 유지하면서도 잃어버린 고주파 성분을 더해줄 수 있다. 평탄 영역의 경우, 영상 개선의 부작용인 잡음의 영향이 커지는 것을 막기 위해 획득 영상의 평균에 고주파 성분을 더해줄 수 있다. 패턴 영역은 평탄 영역과 에지 영역을 포함하고 있으므로 고주파 성분을 조절해야 한다. 과도하게 고주파 성분을 더해주면 평탄 영역에서 잡음을 키우는 역할을 하고, 작게 고주파 성분을 더해주면 에지 영역에서 에지 개선이 잘 이루어지지 않을 수 있다. 따라서, 상기 패턴 영역은 에지, 평탄 영역의 중간 정도로 고주파 성분을 더해줄 수 있다. 각각의 고주파 성분에 대해서는 α,β,γ라는 파라미터를 이용하여 조절하고, 영역에 따라 다르게 적용함으로써 보다 자연스러운 영상으로 복원할 수 있다. 이처럼, 상기 영상 처리 함수를 이용하여 개선된 영상을 복원할 수 있게 된다(S530).
본 발명이 적용되는 실시예로서, 영상 획득 시스템에서의 영상 획득 과정을 설명하고자 한다.
CCD(Charge Coupled Device)와 같은 영상 센서는 영상의 밝기 값을 저장할 수 있다. 컬러 영상을 얻기 위해서는 각 화소 위치에서 R, G, B 세 채널의 값이 필요하다. 물리적 제약과 비용적인 측면을 고려하여, 일반적으로 단일 CCD 를 사용하여 컬러 영상을 얻을 수 있다. 단일 CCD의 각 화소 위치에 R, G, B 필터를 모자이크 형태로 씌워, 각 화소에서 R, G, B 값 중 하나의 값을 얻을 수 있다. 그리고, 잃어버린 R, G, B 값은 주변 화소 값을 이용하여 추정하여 얻을 수 있다. 이 과정을 색상 보간이라 한다. 일반적으로 고해상도 컬러 영상을 얻기 위해 색상 보간 전, 후의 처리 과정으로 여러 잡음을 제거하거나 영상을 개선할 수 있다. 본 발명의 실시예에서는 영상 처리 함수를 후처리 과정과 색상 보간 과정에서 각각 적용할 수 있다.
먼저, 후처리 과정에서의 영상 처리 함수를 적용하는 실시예를 들어보도록 한다.
예를 들어, YUV 도메인에서 역필터링을 고려하여 영상 처리하는 방법을 설명하도록 한다. 각 화소에서는 모든 RGB 값을 가지고 있으므로 RGB 도메인에서 YUV 나 YCbCr 도메인으로 변환하여, 밝기(luminance) 채널에서의 영상 처리를 수행할 수 있다. 예를 들어, YUV 채널로 변환하여 영상을 처리하는 경우를 설명하도록 한다. Y 채널에서 고주파 통과 필터로 필터링하여 Y 채널의 고주파 성분을 얻을 수 있다. 관련식은 다음 수학식 14,15와 같다.
Figure 112008000192611-PAT00004
HFy(i,j) = Y * HHPF
여기서 Y'(i,j)는 Y 채널의 (i,j)위치에서 얻은 고주파 성분을 말한다. HFy(i,j)는 Y 채널에서의 고주파 성분을 나타내고, HHPF는 상기 수학식 12에서 추정한 고주파 통과 필터이다. α,β,γ를 이용할 경우, 영역에 따라 고주파 성분을 조절할 수 있다. 이로서 보다 자연스러운 영상을 얻을 수 있고, 원치 않는 잡음에 의한 열화를 예방할 수 있다. 상기 Y 채널에서 얻은 고주파 성분을 이용하여 다음 수학식 16과 같이 영상 개선을 수행할 수 있다.
Figure 112008000192611-PAT00005
여기서
Figure 112008000192611-PAT00006
는 개선된 Y 채널 값을 나타낸다. 영상 개선은 Y 채널에서만 수행되고, U,V 채널에서는 수행되지 않는다. 개선된 Y 채널 값과, 본래의 U, V 채널 값을 RGB 도메인으로 역변환하여 최종적으로 개선된 영상을 얻을 수 있다.
다른 예로, RGB 도메인에서 역필터링을 고려하여 영상 처리하는 방법을 설명하도록 한다.
YUV 도메인의 Y는 영상의 세기(intensity)를 나타내고, 영상의 에지 정보를 포함하고 있다. RGB 도메인에서 RGB 채널 간의 상관 관계가 존재하여 YUV 도메인에서 Y의 역할에 정확히 일치하는 채널을 찾는 것은 불가능하다. 하지만 근사적으로 Y의 역할을 하는 채널을 선택할 수 있다. R, G, B 채널 중 G 채널의 경우 영상의 세기 정보를 가장 많이 포함하고 있고, 에지 정보를 잘 나타낸다. 또한, 일반적으로 베이어 패턴을 색상 보간 필터로 사용하는데, 이 패턴에서는 G 채널이 R, B 채널보다 두 배 더 많은 정보를 가지고 있다. 위와 같은 이유로 G 채널에서 고주파 성분을 찾아내서 영상 처리 방법에 이용할 수 있다. G 채널에서 고주파 성분을 얻는 식을 다음 수학식 17과 같이 나타낼 수 있다.
Figure 112008000192611-PAT00007
여기서 HFG는 G 채널에서의 고주파 성분을 말한다. α,β,γ는 영역에 따라 고주파 성분을 조절한다. 개선된 G 채널 값은 다음 수학식 18과 같이 구할 수 있다.
Figure 112008000192611-PAT00008
개선된 G 채널 값을 얻은 다음, R, G , B 채널 사이의 상관 관계를 고려하여 R, B 채널의 개선된 값을 구할 수 있다. 채널간 상관 관계에 따라 영상 개선 이전의 채널간 차 값은 영상 개선 이후의 채널간 차 값과 유사하다는 가정을 세울 수 있다. 이 가정을 사용하여 R, B 채널의 개선된 값을 다음 수학식 19,20을 이용하여 구할 수 있다.
Figure 112008000192611-PAT00009
Figure 112008000192611-PAT00010
도 6 내지 도 9는 본 발명이 적용되는 실시예로서, 색상 보간 과정 중 영상 개선을 위한 방법을 설명하기 위해 나타낸 것이다.
G 채널 보간에 적용된 영상 개선을 다음 수학식 21과 같이 나타낼 수 있다.
Figure 112008000192611-PAT00011
위 보간식에서
Figure 112008000192611-PAT00012
는 기존의 색상 보간 방법으로 보간된 G 채널 값 또는 원 G(i,j) 값을 나타내고, G'V(i,j),G'h(i,j) 는 가로, 세로 방향으로 색상 보간된 G 채널에서 고주파 성분을 나타낸다. Wv,Wh 는 가로, 세로 방향으로 얻은 고주파 성분들의 가중치를 나타낸다. G 의 고주파 성분을 얻기 위해서는 (i,j)를 중심으로 5x5 윈도우 내에서 G 값을 모두 가지고 있어야 한다. 그러나, CFA(Color Filter Array) 특성에 의해 5x5 윈도우 내의 모든 위치에서 G 값이 존재하지 않을 수 있다. 따라서, G 값이 존재하지 않는 위치에서 주변 화소를 이용하여 G 값을 추정한 다음 고주파 성분을 얻어야 한다. 예를 들어, 가로, 세로 방향으로 각각 G 값을 보간하여 각각 보간된 G 채널 영상에서 고주파 성분을 얻을 수 있다.
가로, 세로 방향으로 보간된 G 채널은 다음과 같이 구할 수 있다. RGB 도메 인에서 각 채널간 상관관계가 높으므로 어느 한 채널만을 고려해서 보간하면, 잘못된 방향으로 에지를 보간하여 에지 영역에서 잡음이 발생할 수 있다. 따라서, 채널간 상관관계를 고려하여 보간하기 위해서는, 색상 차를 나타내는 Kr, Kb 값을 사용하여 G 채널 보간에 사용할 수 있다. 예를 들어, 도 6에서는 B 위치를 중심으로 한 5x5 윈도우에서 가로, 세로 방향으로 Kr, Kb 를 구한 값을 나타낸다. 이는 다음 수학식 22 내지 24를 이용하여 구할 수 있다.
Figure 112008000192611-PAT00013
Figure 112008000192611-PAT00014
Figure 112008000192611-PAT00015
Figure 112008000192611-PAT00016
상기 수학식 22 내지 25에서 구한 값들을 이용하여 가로, 세로 방향으로 보간한 G 채널 값을 얻을 수 있다. 예를 들어, 도 7에서는 가로,세로 방향으로 보간된 G 채널을 나타낸다. 상기 G 채널 값은 다음 수학식 26 및 27과 같을 수 있다.
Figure 112008000192611-PAT00017
Figure 112008000192611-PAT00018
이 때, 가로,세로 방향으로 보간된 G 채널에서 얻은 고주파 성분은 다음 수학식 28 및 29와 같을 수 있다.
Figure 112008000192611-PAT00019
Figure 112008000192611-PAT00020
여기서 HFGV(i,j), HFGh(i,j)는 가로, 세로 방향으로 보간된 G채널에서 고주파 통과 필터(HHPF)를 필터링 한 값을 나타낸다.
가로, 세로 방향으로 보간된 G 채널에서 얻은 고주파 성분은 영역에 따라 각각 신뢰도가 다를 수 있다. 옳은 방향으로 보간된 G 채널에서 얻은 고주파 성분이, 잘못된 방향으로 보간된 G 채널에서 얻은 고주파 성분보다 더 신뢰도가 높으므로 옳게 보간된 방향으로 보간된 G 채널에서 얻은 고주파 성분에 더 많은 가중치를 둘 수 있다. 따라서, 가로,세로 방향으로 얻은 고주파 성분은 가로, 세로 방향 가중치 의해 가중치 합으로 최종적인 고주파 성분을 얻을 수 있다. 가로, 세로 방향의 2차 미분을 구하여 가로 세로 방향의 가중치를 구하면 다음 수학식 30과 같을 수 있다.
Figure 112008000192611-PAT00021
에지 방향에 따라 2차 미분의 절대값을 구하면 아주 작은 값을 가지며, 에지를 가로지르는 방향에 따라 2차 미분의 절대값을 구하면 매우 큰 값을 가질 수 있다. 따라서, 2차 미분의 절대값에 반비례하게 가중치를 줄 수 있다. 예를 들어, 2차 미분의 절대값이 작은 경우 큰 가중치를 주고, 2차 미분의 절대값이 큰 경우 작은 가중치를 줄 수 있다. 이를 다음 수학식 31과 같이 나타낼 수 있다.
Figure 112008000192611-PAT00022
다른 실시예로, R,B 채널 보간에 적용된 영상 처리 과정을 설명하도록 한다. R,B 채널 보간은 채널 간에 상관관계를 고려하여 이미 보간된 G 채널 값을 이용하여 R, B 값을 얻을 수 있다. R, B 채널에서는 본래 R, B 위치에서의 색상 보간과, 본래 R, B 이외의 위치, G, B, R 에서 색상 보간으로 나누어 고려할 수 있다. 베이어 패턴에서 R, B는 패턴 형태와 샘플 수가 같아, R, B 색상 보간 과정은 동일하게 적용될 수 있다. 예를 들어, R 채널은 다음 수학식 32와 같을 수 있다.
Figure 112008000192611-PAT00023
여기서
Figure 112008000192611-PAT00024
는 영상 개선된 G(i,j) 값을 나타내며, WV,Wh는 G 채널 과정에서 사용된 가로, 세로 방향의 가중치를 나타낸다. 작은 영역에서 채널 간 색상 차 값이 일정하다는 채널간 상관 관계를 이용하여 영상 개선된
Figure 112008000192611-PAT00025
값을 구할 수 있다. 채널간 상관 관계에 따라 영상 개선 이전의 채널간 차 값은 영상 개선 이후의 채널간 차 값과 유사하다는 가정을 세울 수 있고, 그 가정에 따라 R 위치에서의 색상 보간식을 정의할 수 있다. B 위치에서의 색상 보간은 아래 수학식 33과 같을 수 있다.
Figure 112008000192611-PAT00026
여기서
Figure 112008000192611-PAT00027
는 주변의 영상 개선된
Figure 112008000192611-PAT00028
사이에서 색상 차를 구하고, 이들 간의 가중치 합을 나타낸다. G 채널에서의 값은 모두 영상 개선된 값을 구하였고, 원 R 위치에서 영상 개선된 값을 구하였다. 따라서 이 값들을 이용하여 B 위치에서 영상 개선된 R 값을 구할 수 있다. 예를 들어, 도 9에서 B위치의
Figure 112008000192611-PAT00029
는 다음 수학식 34와 같이 구할 수 있다.
Figure 112008000192611-PAT00030
본 명세서에서 설명하는 실시예들은 원 영상에 소구경 광학계에 의한 열화를 주고, 베이어 CFA로 만든 경우에 적용될 수 있다. 또한, 소구경 광학계에 의한 열화를 확인하기 위해 색상 보간만 수행한 경우와, 색상 보간과 영상 개선을 수행한 경우를 예를 들어 설명하였다. 또한, 영상 처리 방법을 비교하기 위해 후처리로서 YUV 도메인에서 수행한 경우와, RGB 도메인에서 수행한 경우, 그리고 색상 보간 과정 중 영상 개선을 수행하는 경우를 예를 들어 설명하였다.
도 10 내지 도 15는 본 발명이 적용되는 실시예로서, 상기 영상 처리 방법들을 비교하기 위해 나타낸 것이다.
도 10은 색상 보간만 한 경우를 나타내고, 도 11은 색상 보간과 YUV 도메인에서 영상 개선을 한 경우를 나타낸다. 그리고, 도 12는 색상 보간과 RGB 도메인에서 영상 개선을 한 경우를 나타내고, 도 13은 색상 보간 과정에서 영상 개선을 한 경우를 나타낸다. 또한, 도 14 및 도 15는 상기 도 10 내지 도 13 각각의 경우를 확대하여 비교한 그림을 나타낸다. 먼저, 상기 도 10에서 색상 보간만 한 경우는 결과 영상에 열화가 그대로 남아 있는 것을 확인할 수 있다. 하지만, 상기 도 11 내지 도 13에서 광학계에 의한 열화를 고려하여 영상 개선을 한 경우는 열화를 효과적으로 제거함을 확인할 수 있다. 영상 처리하는 방법에 따라 영상 개선 정도가 조금 다르지만, 전체적으로 자연스럽게, 개선된 결과 영상을 얻음을 확인 할 수 있 다.
이상에서 설명한 바와 같이, 본 발명이 적용되는 영상 처리 장치는 DMB(Digital Multimedia Broadcasting)과 같은 멀티미디어 방송 송/수신 장치에 구비되어, 영상 신호 등을 처리하는데 사용될 수 있다. 또한, 상기 멀티미디어 방송 송/수신 장치는 이동통신 단말기를 포함할 수 있다.
또한, 본 발명이 적용되는 영상 처리 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 본 발명에 따른 데이터 구조를 가지는 멀티미디어 데이터도 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있다. 상기 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 영상 처리 방법에 의해 생성된 비트스트림은 컴퓨터가 읽을 수 있는 기록 매체에 저장되거나, 유/무선 통신망을 이용해 전송될 수 있다.
이상, 전술한 본 발명의 바람직한 실시예는, 예시의 목적을 위해 개시된 것으로, 당업자라면 이하 첨부된 특허청구범위에 개시된 본 발명의 기술적 사상과 그 기술적 범위 내에서, 다양한 다른 실시예들을 개량, 변경, 대체 또는 부가 등이 가능할 것이다.
도 1은 본 발명이 적용되는 실시예로서, 영상 개선을 위한 영상 처리 장치의 전체적인 블록도를 나타낸다.
도 2는 본 발명이 적용되는 실시예로서, 렌즈에 의해 영상의 왜곡이 일어나는 과정과 렌즈의 시스템 함수를 역 모델링함으로써 왜곡을 보정하는 과정을 나타낸 것이다.
도 3은 본 발명이 적용되는 실시예로서, 광전달함수의 크기(magnitude)인 MTF와 점확산함수(PSF)의 관계를 나타낸 것이다.
도 4는 본 발명이 적용되는 실시예로서, 영상 처리 알고리즘을 설명하기 위해 나타낸 영상 획득 모델을 나타낸다.
도 5는 본 발명이 적용되는 실시예로서, 역필터링을 고려하여 영상 처리 함수를 획득하기 위한 흐름도를 나타낸다.
도 6 내지 도 9는 본 발명이 적용되는 실시예로서, 색상 보간 과정 중 영상 개선을 위한 방법을 설명하기 위해 나타낸 것이다.
도 10 내지 도 15는 본 발명이 적용되는 실시예로서, 상기 영상 처리 방법들을 비교하기 위해 나타낸 것이다.

Claims (18)

  1. 입력된 영상에 대하여 색상 보간을 수행하는 단계;
    상기 색상 보간에 의한 각 화소값의 제 1 도메인에서 밝기(luminance) 채널에 대한 영상 처리 함수를 획득하는 단계; 및
    상기 영상 처리 함수를 이용하여 개선된 영상을 획득하는 단계
    를 포함하되,
    상기 영상 처리 함수는 역 필터링에 기초하여 획득되는 것을 특징으로 하는 영상 처리 방법.
  2. 제 1항에 있어서,
    상기 제 1 도메인은 RGB 도메인인 것을 특징으로 하는 영상 처리 방법.
  3. 제 2항에 있어서,
    상기 밝기 채널에서, 고주파 통과 필터를 이용하여 상기 밝기 채널의 고주파 성분을 획득하는 단계를 더 포함하되,
    상기 영상 처리 함수는 상기 고주파 성분에 기초하여 획득되고,
    상기 밝기 채널은 RGB 도메인의 G 채널인 것을 특징으로 하는 영상 처리 방법.
  4. 제 3항에 있어서,
    상기 G 채널의 고주파 성분과 영상 처리 함수는 에지 영역, 평탄 영역 및 패턴 영역의 특성에 기초한 파라미터를 이용하여 각 영역마다 구분되어 획득되는 것을 특징으로 하는 영상 처리 방법.
  5. 제 4항에 있어서,
    상기 G 채널에 기초하여, R,G,B 각 채널 간의 상관 관계를 이용하여 R,B 채널의 영상 처리 함수를 획득하는 단계를 더 포함하되,
    상기 각 채널 간의 상관 관계는 영상 개선 전 후의 각 채널 간 차이값의 유사성을 나타내는 것을 특징으로 하는 영상 처리 방법.
  6. 제 1항에 있어서,
    상기 역 필터링의 마스크의 크기는 5X5 크기인 것을 특징으로 하는 영상 처리 방법.
  7. 제 1항에 있어서,
    상기 색상 보간에 의한 각 화소값의 제 1 도메인을 제 2 도메인으로 변환하는 단계를 더 포함하고,
    상기 제 2 도메인에서 밝기(luminance) 채널에 대한 영상 처리 함수를 획득하는 것을 특징으로 하는 영상 처리 방법.
  8. 제 7항에 있어서,
    상기 제 1 도메인은 RGB 도메인을, 상기 제 2 도메인은 YUV 도메인 또는 YCbCr 도메인인 것을 특징으로 하는 영상 처리 방법.
  9. 제 7항에 있어서,
    상기 밝기 채널에서, 고주파 통과 필터를 이용하여 상기 밝기 채널의 고주파 성분을 획득하는 단계를 더 포함하되,
    상기 영상 처리 함수는 상기 고주파 성분에 기초하여 획득되고,
    상기 밝기 채널은 YUV 도메인 또는 YCbCr 도메인의 Y 채널인 것을 특징으로 하는 영상 처리 방법.
  10. 제 9항에 있어서,
    상기 고주파 성분과 상기 영상 처리 함수는 에지 영역, 평탄 영역 및 패턴 영역의 특성에 기초한 파라미터를 이용하여 각 영역마다 구분되어 획득되는 것을 특징으로 하는 영상 처리 방법.
  11. 입력된 영상 중 임의 채널에 대해 색상 보간을 수행하는 단계;
    상기 색상 보간된 임의 채널의 고주파 성분을 획득하는 단계;
    상기 고주파 성분의 영역에 기초하여 상기 고주파 성분에 가중치를 적용하는 단계; 및
    상기 가중치가 적용된 임의 채널을 이용하여 개선된 영상을 획득하는 단계
    를 포함하는 것을 특징으로 하는 영상 처리 방법.
  12. 제 11항에 있어서,
    상기 임의 채널은 RGB 도메인의 G 채널인 것을 특징으로 하는 영상 처리 방법.
  13. 제 12항에 있어서,
    상기 가중치가 적용된 G 채널에 기초하여, R,G,B 각 채널 간의 상관 관계를 이용하여 R,B 채널 값을 획득하는 단계를 더 포함하되,
    상기 각 채널 간의 상관 관계는 영상 개선 전 후의 각 채널 간 차이값의 유사성을 나타내는 것을 특징으로 하는 영상 처리 방법.
  14. 제 11항에 있어서,
    상기 고주파 성분의 가로, 세로 방향의 2차 미분값을 획득하는 단계와;
    상기 2차 미분값에 기초하여 상기 고주파 성분의 가로,세로 방향의 가중치를 획득하는 단계
    를 더 포함하되,
    상기 가중치는 상기 2차 미분값의 절대값에 반비례하는 것을 특징으로 하는 영상 처리 방법.
  15. 입력된 영상에 대하여 색상 보간을 수행하는 색상 보간부;
    상기 색상 보간에 의한 각 화소값의 제 1 도메인에서 밝기 채널에 대한 영상 처리 함수를 획득하는 영상 처리 함수 획득부; 및
    상기 영상 처리 함수를 이용하여 개선된 영상을 획득하는 영상 출력부
    를 포함하되,
    상기 영상 처리 함수는 역 필터링에 기초하여 획득되는 것을 특징으로 하는 영상 처리 장치.
  16. 제 15항에 있어서,
    상기 밝기 채널에서, 고주파 통과 필터를 이용하여 상기 밝기 채널의 고주파 성분을 획득하는 고주파 성분 획득부를 더 포함하되,
    상기 영상 처리 함수는 상기 고주파 성분에 기초하여 획득되고,
    상기 밝기 채널은 RGB 도메인의 G 채널인 것을 특징으로 하는 영상 처리 장치.
  17. 제 15항에 있어서,
    상기 색상 보간에 의한 각 화소값의 제 1 도메인을 제 2 도메인으로 변환하는 도메인 변환부를 더 포함하고,
    상기 제 2 도메인에서 밝기 채널에 대한 영상 처리 함수를 획득하는 것을 특징으로 하는 영상 처리 장치.
  18. 입력된 영상 중 임의 채널에 대해 색상 보간을 수행하는 색상 보간부;
    상기 색상 보간된 임의 채널의 고주파 성분의 영역에 기초하여 상기 고주파 성분에 가중치를 적용하는 고주파 성분 획득부; 및
    상기 가중치가 적용된 임의 채널을 이용하여 개선된 영상을 획득하는 영상 출력부
    를 포함하는 것을 특징으로 하는 영상 처리 장치.
KR1020080000227A 2008-01-02 2008-01-02 영상 처리 방법 및 장치 KR20090074443A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080000227A KR20090074443A (ko) 2008-01-02 2008-01-02 영상 처리 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080000227A KR20090074443A (ko) 2008-01-02 2008-01-02 영상 처리 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20090074443A true KR20090074443A (ko) 2009-07-07

Family

ID=41331728

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080000227A KR20090074443A (ko) 2008-01-02 2008-01-02 영상 처리 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20090074443A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150108222A (ko) * 2014-03-17 2015-09-25 한화테크윈 주식회사 컬러보간개선 방법
CN108596843A (zh) * 2018-04-10 2018-09-28 山东大学 一种基于亮通道的水下图像色彩恢复算法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150108222A (ko) * 2014-03-17 2015-09-25 한화테크윈 주식회사 컬러보간개선 방법
CN108596843A (zh) * 2018-04-10 2018-09-28 山东大学 一种基于亮通道的水下图像色彩恢复算法
CN108596843B (zh) * 2018-04-10 2020-07-07 山东大学 一种基于亮通道的水下图像色彩恢复算法

Similar Documents

Publication Publication Date Title
US10339643B2 (en) Algorithm and device for image processing
KR100911890B1 (ko) 이미지 모델의 컬러 성분의 복원을 위한 방법, 시스템,프로그램 모듈, 및 컴퓨터 프로그램 생성물
KR100935495B1 (ko) 영상의 반복적인 복원과 융합을 기반으로 한자동초점복원장치 및 방법
CN108694705B (zh) 一种多帧图像配准与融合去噪的方法
US10002411B2 (en) Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for estimating blur
US8514303B2 (en) Advanced imaging systems and methods utilizing nonlinear and/or spatially varying image processing
US8878963B2 (en) Apparatus and method for noise removal in a digital photograph
JP4415188B2 (ja) 画像撮影装置
KR101633397B1 (ko) 영상 복원 장치, 영상 복원 방법 및 영상 복원 시스템
US20050169521A1 (en) Processing of mosaic digital images
JP2008181520A (ja) 復元された顔画像をビデオから再構成するシステムおよび方法
US20160371567A1 (en) Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for estimating blur
KR20110108918A (ko) 부호화된 영상의 확대비 및 노이즈 강도 추정장치 및 방법
EP4089625A1 (en) Method and apparatus for generating super night scene image, and electronic device and storage medium
US20160295098A1 (en) Depth estimation from image defocus using multiple resolution gaussian difference
WO2008119228A1 (en) Low complexity color de-noising filter
JP5765893B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
US20110097009A1 (en) Digital image restoration
US20160371819A1 (en) Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for estimating blur
KR20090074443A (ko) 영상 처리 방법 및 장치
Kim et al. Vaguelette-wavelet decomposition for frequency adaptive image restoration using directional wavelet bases
KR101585963B1 (ko) 이미지 센서 노이즈 모델 기반 필터링 방법 및 이를 적용한 영상 시스템
JP2007072558A (ja) 画像処理装置および画像処理方法
CN115311149A (zh) 图像去噪方法、模型、计算机可读存储介质及终端设备
Sadaka et al. Efficient perceptual attentive super-resolution

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid