KR101460929B1 - 화상 처리 장치 및 화소 보간 방법 - Google Patents

화상 처리 장치 및 화소 보간 방법 Download PDF

Info

Publication number
KR101460929B1
KR101460929B1 KR1020137018691A KR20137018691A KR101460929B1 KR 101460929 B1 KR101460929 B1 KR 101460929B1 KR 1020137018691 A KR1020137018691 A KR 1020137018691A KR 20137018691 A KR20137018691 A KR 20137018691A KR 101460929 B1 KR101460929 B1 KR 101460929B1
Authority
KR
South Korea
Prior art keywords
pixel value
pixel
interpolation
unit
interpolation method
Prior art date
Application number
KR1020137018691A
Other languages
English (en)
Other versions
KR20130124527A (ko
Inventor
사토시 나카무라
Original Assignee
가부시키가이샤 리코
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 리코 filed Critical 가부시키가이샤 리코
Publication of KR20130124527A publication Critical patent/KR20130124527A/ko
Application granted granted Critical
Publication of KR101460929B1 publication Critical patent/KR101460929B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/401—Compensating positionally unequal response of the pick-up or reproducing head
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • H04N1/4097—Removing errors due external factors, e.g. dust, scratches

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Facsimile Scanning Arrangements (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

본 발명은 화소의 화소값을 생성하여, 그 화소값에 의해 화소를 보간하는 화상 처리 장치에 관한 것이며, 이 화상 처리 장치는, 화소를 포함하는 영역이 주기 영역인지 여부를 판정하는 주기성 판정부; 화소가 주기 영역에 속하는지 또는 비주기 영역에 속하는지를 판정하는 경계 판정부; 제1 화소값을 생성하는 제1 화소값 생성부; 제2 화소값을 생성하는 제2 화소값 생성부; 주기성 판정부 및 경계 판정부의 판정 결과에 기초하여, 제1 화소값 생성부를 이용할지 또는 제2 화소값 생성부를 이용할지를 판단하는 제어부; 및 제1 화소값 및 제2 화소값 중 하나를 화소에 입력하는 화소값 입력부를 포함한다.

Description

화상 처리 장치 및 화소 보간 방법{IMAGE PROCESSING DEVICE AND PIXEL INTERPOLATION METHOD}
본 발명은 화소값을 갖지 않는 화소 또는 부정확한 값을 갖는 화소를 보간하는 화소 보간 처리를 수행하는 장치, 그 장치에 의해 수행된 화소 보간 방법, 및 그 화소 보간 방법을 실현하는 컴퓨터 판독 가능한 프로그램에 관한 것이다.
광학적인 수단을 이용하여 화상을 판독하는 스캐너 장치는, CIS(Contact Image Sensor)를 이용하는 스캐너 장치 및 CCD(Charge Coupled Device)를 이용하는 스캐너 장치를 포함한다. CIS를 이용하는 스캐너 장치에 있어서, 원고를 판독면에 밀착시킬 필요가 있다. CIS를 이용하는 스캐너 장치는 입체적인 원고를 판독할 수 없다. 그러나, CCD를 이용하는 스캐너 장치와 비교하여, CIS를 이용하는 스캐너 장치의 본체 두께는 감소될 수 있고, 비용은 낮아지게 된다. 또한, CIS를 이용하는 스캐너 장치에 있어서, 판독된 화상에 나타나기 쉬운 노이즈를 감소시키는 기술이 향상되고 있다. 이에 따라서, CIS를 이용하는 스캐너 장치는 널리 사용되고 있다. 예컨대, CIS는 1패스 양면 스캐닝 기능을 가지는 화상 판독 장치에서 이면측을 판독하는데 이용된다.
CIS는 광원으로서 RGB의 발광 다이오드(LED)를 이용한다. RGB의 광빔을 고속으로 전환하여, 원고부터의 광빔을, 렌즈를 통해서 촬상 소자(CMOS 이미지 센서)에 입력한다. 이에 응답하여, CMOS 이미지 센서는 입력된 광빔을 1화소씩 전압값으로 변환하여, 출력한다.
CIS를 이용한 스캐너 장치는, 원고를 롤러에 의해 센서에 밀착시켜 1라인씩 판독하는 밀착(contact) 이미지 센서 방식을 채용한다. 판독부는 복수의 짧은 센서를 그 길이 방향으로 배치함으로써 형성된다. 이는 하나의 긴 CIS를 제작하는 것이 어렵기 때문이다. 그러나, 이 경우에는, 센서 사이에 일정한 갭이 형성된다. 이 갭에서는 화상 신호를 얻을 수 없다. 그 결과, 화소 신호에 결함이 발생한다.
또한, 스캐너 장치에서는, 화상 신호를 판독하는 센서가 오작동하는 경우, 또는 원고가 세트되는 대상인 컨택트 글라스의 얼룩 등의 차폐물이 광로 상에 존재하는 경우에, 화상 신호가 누락될 수 있거나 또는 판독된 화상 신호가 부정확한 값을 나타낼 수 있다.
판독된 화상에서, 누락된 화소 또는 부정확한 화소값을 갖는 화소가 존재하게 되어, 화상 품질이 저하되는 문제점이 존재하게 된다. 이러한 문제점을 고려하여, 종래에 있어서 누락된 화소의 화소값이나 부정확한 화소값을, 그 화소의 주위에 있는 화소의 화소값을 이용하여 추정하고, 누락된 화소의 화소값이나 부정확한 화소값을 그 추정한 값으로 대체하여 보간하는 기술이 알려져 있다.
예컨대, 대상 화소의 주위에 있는 화소의 화소값을 이용하는 선형 보간 방법, 2차 이상의 함수를 이용하는 다항식 보간 방법 또는 스플라인 보간 방법을 고려할 수 있다. 선형 보간에 기초한 보간 방법은 농도 변화가 적은 부분의 보간에 적합하다. 그러나, 선형 보간에 기초한 보간 방법은 망점(halftone dot) 영역과 같이 농도 변화가 큰 부분의 보간에는 적합하지 않다.
다항식 보간이나 스플라인 보간에 기초한 보간 방법은, 디지털 사진 등의, 화상을 샘플링하는 샘플링 주기가 화상의 패턴의 변동 주기보다 충분히 짧은 것에 대하여, 고정밀도로 화소값을 추정할 수 있다. 그러나, 망점 화상에 관해서는, 망점의 라인수와 비교하여 화상의 해상도가 충분하지 않으므로, 샘플링 주기가 변동 주기보다 충분히 더 짧아지지 않는다. 이에 따라, 이 보간 방법에서는, 원래의 패턴을 정확하게 재현할 수 없는 경우가 많다.
그러므로, 보간 방법의 문제점을 해결하기 위하여, 패턴 매칭을 이용하는 방법이 제안되어 있다. 이 방법에서는, 보간 방법을 이용하여 재현할 수 없는 높은 주파수 성분을, 보간 화소의 부근에 있는 유사 패턴을 이용하여 재현할 수 있다고 예상할 수 있다.
그러나, 일반적으로 패턴 매칭에서는, 보간 방법과 비교하여 넓은 범위의 정보를 이용하므로, 기준으로서 이용되는 패턴에 대하여 최적해를 구할 수 있지만, 그 최적해가 보간 화소에 대해서 항상 최적인 것은 아니다. 이러한 문제점은, 패턴 매칭 동안에 유사 패턴을 탐색할 때에, 전체로서 기준 패턴과의 복수의 작은 차이점을 포함하는 패턴과, 기준 패턴과 대부분에서 일치하는 패턴을, 기준 패턴에서의 대응하는 부분과 크게 다른 일부분을 포함하는 패턴과 구별하지 않기 때문에 발생한다.
특히, 많은 라인이 존재하는 망점 영역과 같이, 특정 화소에 정보가 편재되어 있는 경우에서는, 유사 패턴을 선택하는 선택 방법이 보간 결과에 크게 영향을 준다. 또한, 농도가 낮은 망점 영역에서는, 상대적으로 배경에 속하는 화소가 차지하는 비율이 높기 때문에, 망점 영역이 아닌 배경 영역에서 유사 패턴을 검출할 수도 있고, 또는 이와 반대로 유사 패턴을 검출하지 못할 수도 있다.
이에 따라, 보간을 수행하는 경우에는, 보간 화소가 속하는 영역의 특성에 따라서 보간 방법을 선택하는 것이 필요하게 된다. 따라서, 보간 화소의 화소값을 정확히 추정하기 위해서, 보간 화소의 위치가 망점 영역 내에 있는 경우, 보간 화소를 포함하는 패턴과 유사한 패턴을 화상으로부터 탐색하도록 장치가 제안되어 있고, 그 장치는, 가장 유사한 패턴 내에서 보간 화소에 대응하는 화소의 화소값이 되도록, 보간 화소의 화소값을 결정한다[특허문헌 1(일본 등록 특허 제4330164호) 참조].
이 장치는, 화상 판독 센서에 의해 판독된 화상 데이터에 기초하여, 밀착 이미지 센서의 연결 부분에 대응하는 보간 대상 화소의 위치가 망점 영역 내에 있는지 또는 비망점 영역 내에 있는지를 판단한다. 그 보간 대상 화소의 위치가 비망점 영역 내에 있는 경우에, 이 장치는 선형 보간에 기초하여 보간 대상 화소의 화소 데이터를 생성하여, 그 화소 데이터에 의해 보간 대상 화소의 위치를 보간한다. 한편, 그 위치가 망점 영역 내에 있는 경우에, 이 장치는 패턴 매칭에 기초하여 보간 대상 화소의 화소 데이터를 생성하여, 그 화소 데이터에 의해 보간 대상 화소의 위치를 보간한다.
이 때, 보간 대상 화소 위치 부근에 있는 화상 영역 내에, 그 보간 대상 화소를 포함하는 기준 블록과, 그 기준 블록과 동일한 크기를 가지며 보간 대상 화소를 포함하지 않는 복수의 참조 블록을 설정한다. 그 기준 블록 내의 화소 데이터와 각 참조 블록 내의 화소 데이터에 기초하여, 기준 블록과 대응 참조 블록 사이의 상관값을 산출한다. 기준 블록과 가장 상관이 높은 참조 블록 내에 포함되는 화소 데이터에서, 기준 블록 내의 보간 대상 화소와 대응하는 화소의 화소 데이터를, 보간 대상 화소의 화소 데이터로서 결정한다.
그러나, 이 보간 방법에서는, 화소값이 미세하게 변화하는 화상에 대해서는, 높은 정밀도로 보간을 수행할 수 있지만, 화소값이 크게 변화하는 화상에 대해서는, 보간 정밀도가 매우 저하된다고 하는 문제점이 있었다. 또한, 보간 화소의 위치가 망점 영역에 있는지 또는 비망점 영역에 있는지를 판단하는 것은 전체적인 특징에 기초하여 수행된다. 따라서, 전체적인 특징과 국소적인 특징이 상반되는 경우에, 예컨대, 망점 영역과 배경 영역 사이의 경계선에서 보간이 실패한다는 문제점이 있었다.
이는 보간 화소의 위치가 망점 영역에 있는지 또는 비망점 영역에 있는지를 판단하는 것은, 보간 화소를 포함하는 라인에서의 화소값의 주기성에 기초하기 때문이다. 또한, 1 라인과 같이, 비교적 큰 영역에서 보간 화소의 위치를 볼 때, 그 영역은 주기성을 갖지만, 보간 화소의 근방과 같이 좁은 영역에서 보간 화소의 위치를 볼 때, 그 영역이 어떠한 주기성도 갖지 않는 경우가 존재한다. 이러한 경우에는, 그 영역이 주기성을 갖는다고 오판정할 수도 있다. 덧붙여 말하자면, 망점 영역 부근에 있는 비망점 영역 및 2개의 망점 영역 사이에 개재된 비망점 영역은, 오판정되기 쉽다. 그 영역이 오판정되는 경우, 망점 영역 외측에 있는 평탄한 영역을 망점 영역으로서 보간한다. 그 결과, 부정한 화소값이 생성된다.
따라서, 보간 화소의 화소값을 구할 때에, 전체적인 특징과 국소적인 특징에 따라서 보간 방법을 전환하여, 종래의 보간과 비교하여 고정밀한 화소 보간을 실현할 수 있는 장치 및 방법을 제공하는 것이 요구되고 있다.
일 양태에 있어서, 미리 정해진 위치에 배치되는 화소의 화소값을 생성하여, 상기 화소값에 의해 상기 화소를 보간하는 화상 처리 장치가 제공되며, 상기 화상 처리 장치는, 상기 화소를 포함하는 영역이 주기적인 화소값의 변동을 포함하는 주기 영역인지 여부를 판정하는 주기성 판정부와, 상기 주기성 판정부가 그 영역이 주기 영역이라고 판정한 경우에, 상기 화소 부근에 있는 1 이상의 참조 영역을 규정하고, 상기 1 이상의 참조 영역의 화상 특징에 기초하여, 상기 화소가 상기 주기 영역에 속하는지 또는 비주기 영역에 속하는지를 판정하도록 구성되는 경계 판정부와, 제1 보간 방법을 이용하여 상기 화소의 제1 화소값을 생성하는 제1 화소값 생성부와, 상기 제1 보간 방법과 상이한 제2 보간 방법을 이용하여 상기 화소의 제2 화소값을 생성하는 제2 화소값 생성부와, 상기 주기성 판정부의 판정 결과와 상기 경계 판정부의 판정 결과에 기초해서, 상기 제1 화소값 생성부를 이용하여 상기 제1 화소값을 생성할지 또는 상기 제2 화소값 생성부를 이용하여 제2 화소값을 생성할지를 판단하는 제어부와, 상기 제어부에 의해 결정된, 상기 제1 화소값 생성부에 의해 생성된 제1 화소값 및 상기 제2 화소값 생성부에 의해 생성된 제2 화소값 중 하나를 상기 화소에 입력하는 화소값 입력부를 포함한다.
또 다른 양태에 있어서, 화상 처리 장치에 의해 미리 정해진 위치에 배치된 화소의 화소값을 생성하여, 상기 화소값에 의해 상기 화소를 보간하는 화소 보간 방법이 제공되며, 상기 화소 보간 방법은, 상기 화소를 포함하는 화상 영역이 주기적인 화소값의 변동을 포함하는 주기 영역인지 여부를 판정하는 주기성 판정 단계와, 상기 주기성 판정 단계에서 그 영역이 주기 영역이라고 판정한 경우, 상기 화소 부근에 있는 1 이상의 참조 영역을 규정하고, 상기 1 이상의 참조 영역의 화상 특징에 기초하여, 상기 화소가 상기 주기 영역에 속하는지 또는 비주기 영역에 속하는지를 판정하는 경계 판정 단계와, 상기 주기성 판정 단계의 판정 결과 및 상기 경계 판정 단계의 판정 결과에 기초해서, 제1 화소값 생성부를 이용하여 상기 화소의 제1 화소값을 생성할지 또는 제2 화소값 생성부를 이용하여 상기 화소의 제2 화소값을 생성할지를 판단하는 판단 단계로서, 상기 제1 화소값 생성부는 상기 화상 처리 장치에 포함되며 제1 보간 방법을 이용하여 상기 화소의 제1 화소값을 생성하며, 상기 제2 화소값 생성부는 상기 화상 처리 장치에 포함되며 제2 보간 방법을 이용하여 상기 화소의 제2 화소값을 생성하는 것인 판단 단계와, 상기 판단 단계에 의해 판단된, 상기 제1 화소값 생성부에 의해 생성된 제1 화소값 및 상기 제2 화소값 생성부에 의해 생성된 제2 화소값 중 하나를 상기 화소에 입력하는 입력 단계를 포함한다.
도 1은 본 발명의 화상 처리 장치의 하드웨어 구성을 예시한 도면이다.
도 2는 화상 처리 장치의 제1 실시형태를 도시하는 기능 블록도이다.
도 3은 보간 대상 화소를 포함하는 화상을 예시한 도면이다.
도 4a 및 도 4b는 판정 영역과, 판정 영역에서의 수평 방향의 화소의 위치와 화소값과의 관계를 예시한 도면이다.
도 5a, 도 5b, 도 5c는 주기 영역 및 비주기 영역의 예를 나타내는 도면이다.
도 6a 및 도 6b는 처리 대상 화상과 템플릿을 예시하는 도면이다.
도 7a 및 도 7b는 화소의 위치와 화소값 사이의 관계를 예시한 도면이다.
도 8은 도 2에 도시된 화상 처리 장치에 의해 수행되는 화소 보간 처리의 흐름을 예시하는 흐름도이다.
도 9는 화상 처리 장치의 제2 실시형태를 예시하는 기능 블록도이다.
도 10은 도 9에 도시된 화상 처리 장치에 의해 수행되는 화소 보간 처리의 흐름을 예시하는 흐름도이다.
도 11은 화상 처리 장치의 제3 실시형태를 예시하는 기능 블록도이다.
도 12는 도 11에 도시된 화상 처리 장치에 의해 수행되는 화소 보간 처리의 흐름을 예시하는 흐름도이다.
도 13은 도 11에 도시된 화상 처리 장치에 의해 수행되는 화소 보간 처리의 흐름을 예시하는 흐름도이다.
본 발명의 화상 처리 장치는 화상을 판독하는 스캐너 장치와 케이블을 통하여 직접, 또는 네트워크를 통해 접속된다. 스캐너 장치는 CIS를 이용한다. 스캐너 장치에 의해 판독된 화상은 누락된 화소값을 갖는 화소 및 부정확한 화소값을 갖는 화소를 포함한다. 따라서, 화상 처리 장치는 그 화소의 화소값을 생성하여, 그 생성된 화소값으로 그 화소를 보간하는 처리를 수행한다.
여기서, 1화소를 8비트로 나타내는 그레이(gray) 스케일 화상에서는, 흑색에 대한 화소값이 0이고, 백색에 대한 화소값이 255이다. 컬러 화상에 대하여, 1화소는 RGB에 의해 표현되며, 여기서 RGB의 각 컬러는 8비트에 의해 표현된다. 화소값은 적색값, 녹색값, 및 청색값을 포함하며, 적색값, 녹색값 및 청색값의 각각은 0부터 225까지의 값을 갖는다. 모든 값이 0일 때, 화소는 흑색을 나타낸다. 모든 값이 255일 때, 화소는 백색을 나타낸다.
화상 처리 장치는, 화소 보간 처리를 수행하기 위하여, PC, 워크스테이션, 서버, 또는 MFP 등의, 이 처리를 실행하기 위한 프로그램이 기록된 기억 장치와, 이 프로그램을 판독하여 실행하는 프로세서와, 스캐너 장치나 네트워크에 접속하기 위한 인터페이스를 포함한다.
구체적으로는, 도 1에 도시된 바와 같이, 예컨대, 화상 처리 장치는, 프로세서로서 마이크로 프로세서 유닛(MPU)(11)을 포함하며, 기억 장치로서, BIOS(Basic Input Output System)나 펌웨어를 저장하는 비휘발성 메모리인 ROM(Read Only Memory)(12)와, MPU(11)에 의한 프로그램 처리를 가능하게 하는 실행 기억 공간을 제공하는 RAM(Random Access Memory)(13)을 포함한다.
MPU(11)는 내부 버스를 통해 인터페이스들 중 하나인 기억 제어용 인터페이스(14)에 접속된다. MPU(11)는 기억 제어용 인터페이스(14)에 접속되는 기억 장치들 중 하나인 하드 디스크(15)에 액세스하여, 각종 애플리케이션나 데이터의 판독, 실행, 및 기록을 수행한다. 기억 제어용 인터페이스(14)로서, IDE(Integrated Device Electronics), ATA(AT Attachment), 직렬 ATA, 또는 UltraATA 등의 규격에 기초하여, 하드 디스크(15)의 입출력을 관리하는 인터페이스를 사용할 수 있다. MPU(11)는 내부 버스를 통해, USB(Univeral Serial Bus) 또는 IEEE1394 등의 직렬 또는 병렬 인터페이스(16)를 제어한다. MPU(11)는 키보드, 마우스, 또는 프린터 등의 입출력 장치(17)와 통신한다. MPU(11)는 사용자부터의 입력을 수용할 수 있다.
또한, 이 화상 처리 장치(10)는 MPU(11)로부터의 지령에 응답하여, 비디오 신호를 처리하여, 이를 표시 장치(18)에 표시하는 VRAM(Video RAM)(19), 그래픽칩(20), 및 네트워크를 통해 다른 기기와 통신하기 위해서 네트워크에 접속되는 네트워크 I/F(21)를 포함한다. VRAM(19)은 표시 장치(18)에 대한 비디오 표시를 위한 기억 장치로서 사용되는 RAM이다. 그래픽칩(20)은 화상 데이터 처리를 수행하는 집적회로이다.
MPU(11)가 ROM(12), 하드 디스크(15), 도면에 도시되지 않은 또 다른 NV-RAM 또는 SD 카드 등의 기억 장치에 저장된 프로그램을 판독하는 경우, 및 MPU(11)가 프로그램을 RAM(13)의 메모리 영역에 전개하는 경우, 화상 형성 장치(10)는 적절한 OS(Operating System) 하에서, 후술하는 처리를 실현할 수 있다. 화상 처리 장치(10)는 MPU(11)를 각 처리를 실현하기 위한 유닛으로서 기능시킬 수 있다. OS로서는, 윈도우즈(등록상표), UNIX(등록상표), LINUX(등록상표) 등을 이용할 수 있다. 여기서, 화상 처리 장치(10)는 전술한 PC 등으로 한정되지 않으며, 화상 처리 장치(10)는 특정한 용도를 위한 복수 기능의 회로를 통합한 ASIC(Application Specific Integrated Circuit)이 되도록 구성될 수 있다.
도 2는 본 발명의 화상 처리 장치의 제1 실시형태를 도시한 기능 블록도이다. 전술한 바와 같이, 화상 처리 장치(10)는 ROM(12)이나 하드 디스크(15) 등의 기억 장치에 기억되어 있는 프로그램을, 프로세서인 MPU(11)가 판독 및 처리하는 경우, 각 기능을 실현할 수 있다. 즉, 화상 처리 장치(10)는 주기성 판정부(30), 경계 판정부(31), 제1 화소값 생성부(32), 제2 화소값 생성부(33), 제어부(34), 및 화소값 입력부(35)를 포함한다. 도 2에 도시되지 않지만, 화상 형성 장치(10)는 보간 화소를 설정하는 화소 설정부를 더 포함할 수 있다.
먼저, 화상 처리 장치(10)는 전술한 화소 설정부에 의해, 화소값이 보간되는 보간 화소를, 처리 대상 화상 내에서 검출한다. 보간 화소의 위치는 미리 사용자에 의해 검출될 수 있거나, 또는 그 장치가 순차적으로 그 위치를 검출할 수 있다. 예컨대, 위치는 좌표 (a, b)에 의해 표현될 수 있고, 여기서 좌측 하부 코너의 좌표는 기준 좌표 (0, 0)으로 설정되며, a는 수평 방향에서의 우측 방향으로의 화소수이며, b는 수직 방향에서의 위쪽 방향으로의 화소수이다.
화상 처리 장치(10)가 보간 화소를 검출하는 방법으로서는, 예컨대, 화소가 미리 정해진 휘도 및 컬러를 가지는지 여부를 각 화소를 체크하여 보간 화소를 검출하는 방법, 기지의 화상을 판독한 경우의 올바른 값으로부터 편차량의 크기를 평가하여 보간 화소를 검출하는 방법, 및 수평 방향 또는 수직 방향의 주기성이 불연속으로 되는 위치를 검출하여, 그 위치에 배치된 화소를 보간 화소로서 검출하는 방법을 고려할 수 있다. 이 보간 화소는 고립된 점 또는 점이 연속되는 선분일 수 있다. 보간 화소는 선분일 수도 있는데, 이는 갭이 촬상 소자가 이동하는 부주사 방향에 연속하여 형성되어, 점이 연속되는 선분을 포함할 수도 있기 때문이다.
보간 화소를 포함하는 화상으로서는, 도 3에 도시된 바와 같이, 거의 동일한 크기를 가진 흑색점이 거의 규칙적으로 배열되는 망점 화상에서 수직 라인이 발생한 화상을 고려할 수 있다. 이 수직 라인은 화상의 중앙부를 횡단하도록, 점이 누락되어 있는 부분과 점이 주변 영역의 점과 비교하여 더 커져 있는 부분을 포함한다. 이러한 화상의 경우에, 점이 균등하게 이격되어 있으므로, 점은 주기성을 가지며, 그 주기성은 수직 라인의 부분에 있어서 불연속이 된다. 따라서, 수직 방향의 주기성이 불연속이 되는 위치를 검출함으로써, 보간 화소를 검출할 수 있다.
주기성 판정부(30)는 보간 화소를 포함하도록 미리 정해진 크기의 판정 영역을 규정하고, 그 판정 영역 내에서의 화소값의 변동이 주기성을 가지는지 여부를 판정한다. 판정 영역은 보간 화소를 포함하는 높이 1화소에 대응하는 영역, 즉 화상의 1라인에 대응하는 영역, 또는 보간 화소를 포함하는 임의의 높이를 갖는 직사각형 영역일 수도 있다.
판정 영역의 크기는 미리 사용자에 의해서 규정될 수도 있거나, 또는 장치에 의해 동적으로 결정될 수도 있다. 장치가 크기를 동적으로 결정하는 경우, 미리 정해진 크기의 영역 내에서 보간 처리를 수행한다. 더 작은 영역에 대한 보간 처리를 수행할 수 있으면, 크기는 점진적으로 어떤 크기로 감소될 수 있다. 이와 반대로, 보간 처리를 수행할 수 없으면, 크기는 점진적으로 어떤 크기로 증가될 수 있다.
도 4a 및 도 4b는 화상의 1 라인을 추출하여, 판정 영역으로서 설정한 예를 나타낸다. 도 4a에서, 흑색으로 표시되며 망점을 나타내는 화소와, 백색으로 표시되며 배경을 나타내는 화소가 균등하게 이격되어 있고, 그 사이에 그러데이션을 부여하도록, 화소값이 다른 그레이 화소가 배치된다. 또한, 도 4a에는, 전술한 갭으로 인해 누락된 화소(40)가 표시된다.
도 4b는 판정 영역에서의 수평 방향의 화소의 위치와, 화소값 사이의 관계를 예시하는 도면이다. 화소값은 화소 내에서 일정하므로, 화소값은 이산(離散)적인 값을 나타낸다. 그러나, 이산적인 값이 적합하게 연결될 때, 이산적인 값은 일정한 주기로 화소값이 증감하도록 파형에 의해 표시될 수 있다. 따라서, 판정 영역에서는, 화소값의 변동이 주기성을 가진다고 판단할 수 있다.
주기성을 갖는 판정 영역을 예시하면, 도 5a에 도시된 망점이나 사선에 의해 표시되는 망점 영역을 들 수 있다. 한편, 주기성이 없는 판정 영역을 예시하면, 도 5b에 도시된 문자나 규칙적으로 배열되지 않는 점을 포함하는 불연속 영역, 또는 도 5c에 도시된 1색이나 그러데이션으로 표시되는 평탄 영역을 들 수 있다.
또한, 망점에 의해 표시되는 망점 화상에 있어서, 실제로는 점이 임의의 스크린각을 갖아 직선형으로 배치된다. 이에 따라 점은 수평 방향으로 균등하게 이격되어 있지 않지만, 경사진 방향으로는 균등하게 이격되어 있다. 따라서, 파형은 도 4b에 도시된 파형과는 동일하지 않고, 동일한 진폭을 갖지 않는다. 파형이 상이한 진폭을 갖지만, 파형은 일정한 간격의 각각에서 피크를 가진다. 그러므로, 파형이 주기성을 가진다고 판정할 수 있다.
도 3 및 도 4의 경우에서와 같이 도면을 도시함으로써, 판정 영역이 주기성을 가지는지 여부를 용이하게 판단할 수 있다. 그러나, 실제로는, 도면를 작성하여, 이 도면을 참조하여 판단하는 것은 가능하지 않다. 이에 따라, 예컨대, 판정 영역 내에서 대표 주기를 구하여, 그 대표 주기의 신뢰도를 산출한다. 그 신뢰도가 임계값 이상인지를 판정함으로써 판정 동작을 수행할 수 있다. 대표 주기를 구하는 일례로서, 판정 영역 내에서 화소값이 극대가 되는 위치(피크 위치), 구체적으로는 도 4b에 도시된 파형이 정방향의 피크를 나타내는 화소의 위치를 기록한다. 어떤 피크 위치와 다음 피크 위치 사이의 거리의 히스토그램이 판정 영역의 전체에 걸쳐서 작성된다. 그 후, 가장 빈번한 클래스의 값 즉, 모드 값에 대응하는 거리를 대표 주기로서 선택한다. 이 대표 주기는 화소수로 표현될 수 있다. 도 4a 및 도 4b에 도시된 실시형태에서, 거의 6화소마다 피크가 구해지고, 피크 사이의 거리가 6화소로 되는 것이 많아진다. 이에 따라, 대표 주기는 6화소 이다.
이 때, 화소값이 극대가 되는 위치 대신에, 화소값이 극소가 되는 위치(도 4b에 도시된 파형이 네가티브 방향의 피크를 나타내는 화소의 위치)를 이용하여, 대표 주기를 구할 수 있다. 대표 주기를 판정하는 경우에, 화소값의 변동의 주기성을 이용할 수 있지만, 그 노이즈 내성이 작아진다. 이에 따라, 화소값의 자기 상관을 구할 때, 자기 상관의 변동의 주기성을 이용하면, 노이즈 내성이 개선된다. 따라서, 극대 위치 및 극소 위치를 이용하여 대표 주기를 구하는 경우에, 자기 상관을 이용하는 것이 바람직하다. 여기서, 노이즈 내성이 개선되는 이유는 이하와 같다. 많은 경우에 있어서, 노이즈는 화소값에 추가된다. 따라서, 복수의 화소값을 이용하여 도출된 자기 상관을 이용하는 경우에, 노이즈의 영향은 화소값을 직접 이용하는 경우와 비교하여 낮아지게 된다.
자기 상관은 어떤 신호와 그 신호에 미리 정해진 위상 어긋남을 부가한 신호 사이의 상관이다. 이 경우에, 판정 영역 내에서 자기 상관을 산출하고, 화소값 대신에 자기 상관의 값을 이용하여 희스토그램을 작성한다. 모드 값을 대표 값으로서 선택할 수 있다. 자기 상관의 값에 대하여, 상관 계수를 이용할 수 있다. 다른 방법으로는, 계산은 공분산을 이용함으로써 간략화될 수 있다.
공분산 S는 2개의 화소값의 공분산의 진폭을 나타내는 지표이다. 비교되는 패턴 중 한쪽의 i 번째의 화소값이 xi가 되도록 규정하고, 다른 쪽의 패턴의 i 번째의 화소값이 yi가 되도록 규정하고, 한편의 패턴의 화소값의 평균값이 xm이 되도록 규정하고, 다른 쪽의 패턴의 화소값의 평균값을 ym이 되도록 규정하고, 패턴의 화소수를 n이라고 하면, 이하의 식 1에 의해 공분산 S를 구할 수 있다.
[식 1]
Figure 112013064165011-pct00001
상관 계수 R은 2개의 확률 변수 사이의 유사성을 나타내는 지표이다. 한쪽의 패턴의 표준 편차가 σx가 되도록 규정하고, 다른 쪽의 패턴의 표준 편차가 σy가 되도록 규정될 때, 이하의 식 2에 의해 상관 계수 R을 구할 수 있다.
[식 2]
Figure 112013064165011-pct00002
신뢰도 Cy는 예컨대, 이하의 식 3을 이용하여 구할 수 있다. 식 3에 있어서, T는 전술한 내용에서 구해진 대표 주기이며, Fr은 전술한 히스토그램에서의 대표 주기에 대응하는 거리의 빈도이며, N은 판정 영역에서의 화소수이다. 여기서, Fr에 대하여, 대표 주기 T의 빈도뿐만 아니라, 대표 주기를 추정할 때의 오차를 허용하기 위해서 T ± 1의 빈도의 합계를 이용할 수 있다. 식 3은 피크 사이의 거리가 대표 주기와 동일하게 되도록 피크에 의해 점유되는 영역과 판정 영역 전체 사이의 비율을, 신뢰도로서 규정하는 것을 의미한다.
[식 3]
Figure 112013064165011-pct00003
이 신뢰도가 임계값 보다 큰 경우에, 주기성이 있다고 판단하고, 신뢰도가 임계값 이하인 경우에는, 주기성이 없다고 판단한다. 그러나, 임계값은 미리 사용자에 의해서 설정될 수 있거나 또는 동적으로 결정될 수 있다. 임계값이 미리 사용자에 의해서 설정되는 경우, 시뮬레이션이나 실험을 수행하여 주기성의 유무를 판단하는 데 적합한 신뢰도를 구함으로써 임계값을 결정하여, 그 임계값을 설정할 수 있다. 임계값을 동적으로 결정하는 경우, 예컨대, 실제로 주기성을 갖는 망점 영역과 어떠한 주기성도 갖지 않는 불연속 영역 또는 평탄 영역에 관해서 신뢰도를 구하여, 그 중간값을 임계값으로서 결정할 수 있다.
주기성 판정부(30)가 보간 화소를 포함하는 화상 영역이 주기성을 갖는 영역(주기 영역)이라고 판정한 경우에, 경계 판정부(31)는 그 보간 화소가 실제로 주기 영역에 속해 있는지 여부를 판정한다. 보간 화소는 주기 영역 내에 또는 비주기 영역 내에 존재한다. 보간 화소의 화소값은, 동일한 영역에서 그 보간 화소의 부근에 존재하는 화소의 화소값으로부터 추정될 수 있다. 이는 보간 화소를 중심으로 하는 수개의 연속하는 화소를 포함하는 패턴이 그 부근에 존재하는 패턴과 유사하므로, 보간 화소를 그 부근에 존재하는 패턴으로부터 추정할 수 있기 때문이다.
그러나, 보간 화소가 주기 영역과 비주기 영역 사이의 경계 부근에 존재하는 경우, 보간 화소가 주기 영역 내에 존재하는 데, 그 주기 영역 부근에 존재하며 비주기 영역에 속하는 패턴을 선택하면, 보간을 부정확하게 수행할 수도 있다. 그러므로, 경계 판정부(31)는, 올바른 주기 영역 내의 패턴을 선택하여 추정할 수 있도록, 보간 화소가 실제로 속하는 어느 영역을 판정한다.
그 일례로서, 보간 화소로부터 미리 정해진 거리 만큼 좌우로 떨어진 위치에 참조 영역을 규정한다. 보간 화소의 좌우에 규정된 참조 영역 내에서, 화상 특징 중 하나인 화소값의 분산을 개별적으로 구한다. 좌우 양쪽의 분산이 임계값 이상이면, 보간 화소가 주기 영역에 속한다고 판정된다. 좌우 양쪽의 분산이 임계값 미만이면, 보간 화소가 비주기 영역에 속한다고 판정된다.
상기 정해진 거리는, 예컨대 3화소로 할 수 있다. 망점이 6화소마다 배치되는 경우, 후술하는 패턴 매칭에, 보간 화소를 중심으로 하여 그 보간 화소의 좌우 3화소분을 템플릿으로서 이용한다. 그러므로, 이 템플릿의 외측에서 가장 가까운 위치인, 보간 화소로부터 좌우 3화소분 떨어진 위치에 참조 영역을 설정한다. 가장 가까운 위치라고 하는 것은, 템플릿에 유사한 패턴이, 템플릿 부근에 존재하는 경향이 있는다는 것이다. 여기서, 이 거리는 3화소로 한정되지 않고, 보간 화소가 주기 영역에 있는지 또는 비주기 영역에 있는지를 적절히 판정할 수 있으면, 어떤 거리를 이용할 수도 있다.
참조 영역은, 예컨대, 보간 화소를 포함하는 높이 1화소의 영역, 즉 화상의 1라인일 수 있다. 또한, 참조 영역은, 전술한 판정 영역과 유사하게, 보간 화소를 포함하는 임의의 높이를 갖는 직사각형 영역일 수 있다. 이 영역은, 미리 사용자에 의해서 설정될 수 있고, 또는 전술한 판정 영역의 경우와 유사하게, 장치가 동적으로 영역을 결정할 수 있다. 이 참조 영역은, 보간 화소의 좌우로 한정되지 않는다. 참조 영역은 보간 화소의 상하에 설정될 수 있거나, 또는 보간 화소의 상하좌우에 설정될 수 있다. 1 이상의 영역을 설정할 수 있다.
분산은 이하의 식 4에 의해 구해질 수 있다. 식 4에 있어서, xi는 참조 영역 내의 i 번째 화소의 화소값이며, xm은 참조 영역 내의 화소의 화소값의 평균값이며, n은 참조 영역 내의 화소의 화소수이다. 여기서, 이 분산은 참조 영역 내의 화소의 최대 휘도값과 최소 휘도값 사이의 차에 의해 대체될 수 있다. 화상이 컬러 화상인 경우, 분산은 최대 녹색 성분값(G 성분값)과 최소 녹색 성분값 사이의 차에 의해 대체될 수 있다.
[식 4]
Figure 112013064165011-pct00004
제1 화소값 생성부(32)는 보간 방법으로서 예컨대, 패턴 매칭법을 이용하여, 보간 화소의 화소값을 생성한다. 패턴 매칭법의 구체예로서, 템플릿 매칭법을 이용할 수 있다. 템플릿 매칭법은 화상의 지정된 부분인 템플릿을 이용하여, 그 템플릿과 유사한 위치를 찾는다. 이는 템플릿과 화상의 패턴 사이의 일치도를 구함으로써 수행될 수 있다.
예컨대, 도 6a에 도시된 바와 같이 처리 대상의 화상이 있으면, 템플릿은 보간되어야 되며 화소값이 누락된 화상에서의 화소 40을 보간 화소로서 식별하여, 도 6b에 도시된 바와 같이, 그 보간 화소를 중심으로 하는 미리 정해진 영역을 추출함으로써 획득될 수 있다.
템플릿과 이 템플릿의 사이즈와 동일한 사이즈를 가지는 패턴 사이의 일치도를 구한다. 여기서, 패턴은 템플릿이 추출되었던 위치 이외의 위치에 배치된다. 그 후, 일치도가 가장 높은 패턴을 결정한다. 패턴의 중심에 배치되는 화소의 화소값은 보간 화소의 화소값으로서 얻어진다. 일치도로서, SAD(Sum of Absolute Difference)나 SSD(Sum of Squared Difference) 등의 비유사도(degree of dissimilarity), 또는 상관 계수나 공분산 등의 유사도(degree of similarity)를 이용할 수 있다.
템플릿과 비교되는 패턴을 추출하고, 템플릿의 각 화소에 대하여, 패턴의 대응하는 위치에 배치된 화소의 휘도값 사이의 차를 획득한다. SAD는 그 차의 합계이다. 그 합계가 작은 경우, 이는 휘도값이 유사하다는 것을 나타낸다. 합계가 큰 경우, 이는 휘도값이 상이하다는 것을 나타낸다. 또한, SSD에 대하여, 휘도값 사이의 각 차를 제곱하여, 그 합계를 이용한다. 합계가 작은 경우, 이는 휘도값이 유사하다는 것을 나타낸다. 합계가 큰 경우, 이는 휘도값이 상이하다는 것을 나타낸다. 상관 계수 및 공분산은 식 1 및 2에 의해 구해질 수 있다. 상관 계수는 -1로부터 1까지의 값을 취한다. 그 값이 1에 근접할 때, 강한 포지티브 상관이 존재한다. 그 값이 0에 근접할 때, 상관이 약해진다. 그 값이 -1에 근접할 때, 네가티브 상관이 존재한다. 이는 상관 계수가 1에 근접할 때, 패턴이 유사하고, 상관 계수가 -1에 근접할 때, 패턴이 반전된다는 것을 의미한다. 그러므로, 값이 큰 경우에, 유사도가 높다고 판단할 수 있다. 공분산은 상관 계수에 대응하므로, 그 값이 클 때, 유사도가 높다고 판단할 수 있다.
일치도를 평가할 때, 보간 화소가 일치도에 영향을 주지 않도록, 보간 화소를 일치도의 계산으로부터 제외하는 것이 바람직하거나, 또는 비교 대상의 패턴에 있어서 대응하는 위치에 배치된 화소의 화소값을 이용하여 임시 화소값을 설정하는 것이 바람직하다. 또한, 유사한 패턴에 대하여, 복수의 패턴은 일치도가 높은 순서로 선택될 수도 있다.
또한, 복수의 보간 화소가 화상 전체에 존재하는 경우, 일치도의 계산에 있어서, 현재 삽입하려고 하는 보간 화소뿐만 아니라 다른 보간 화소도 계산으로부터 제외하는 것이 바람직하거나, 또는 다른 보간 화소에 대하여, 비교 대상의 패턴에 있어서 대응하는 위치에 배치된 화소의 화소값을 이용하여 임시 화소값을 설정하는 것이 바람직하다. 이는 기준 패턴이나 비교 대상의 패턴에 현재 삽입하려고 하는 보간 화소뿐만 아니라 다른 보간 화소도 포함되는 것이 가능하기 때문이다. 기본적으로, 보간 화소는 화소값을 갖지 않거나, 또는 보간 화소는 부정확한 값을 갖는다. 따라서, 보간 화소를 일치도의 계산에 사용하는 것은 적절하지 않다. 여기서, 이미 삽입되어 있는 보간 화소의 화소값은 일치도의 계산에 사용될 수 있다. 또한, 비교 대상 패턴에 보간 화소가 존재하는 경우, 보간 화소를 일치도의 계산에 사용하지 않도록 보간 화소를 그 계산으로부터 제외하는 것이 바람직하거나, 또는 기준 패턴의 대응하는 위치에 배치되는 화소의 화소값을 이용하여 가상의 화소값을 설정하는 것이 바람직하다.
이러한 방식에서 결정된 가장 유사한 패턴에 있어서, 템플릿에 있어서의 보간 화소의 위치에 대응하는 위치에 배치되는 화소의 화소값을 구한다. 가장 유사한 패턴만을 이용하는 경우에는, 이러한 방식으로 구한 화소값을 보간 화소의 화소값으로서 설정할 수 있다. 복수의 유사한 패턴을 이용하는 경우에는, 복수의 패턴으로부터 구한 화소값을 합성하여, 보간 화소의 화소값을 구할 수 있다. 화소값을 합성하는 방법으로서는, 이하의 방법들을 고려할 수 있다. 즉, 동일한 무게를 이용하여 화소값을 평균화하는 방법, 및 유사도가 높은 패턴이 더 큰 무게를 가지도록 화소값을 가중시켜 평균화하는 방법이 고려된다.
또, 템플릿 매칭 방법으로서, 2차원 템플릿 매칭 방법 및 1차원 템플릿 매칭 방법이 있다. 2차원 템플릿 매칭 방법에서는, 화상 내의 보간 화소 부근에 있는 임의의 영역, 즉 보간 화소의 좌우상하에 배치되며, 보간 화소에 대해 경사진 방향에 있는 임의의 영역을 패턴으로서 추출함으로써, 그리고 그 패턴과 템플릿 사이의 일치도를 구함으로써, 가장 유사한 패턴을 탐색한다. 한편, 1차원 템플릿 매칭 방법에서는, 보간 화소가 존재하는 1 라인으로부터 패턴을 추출하고, 일치도를 구함으로써, 가장 유사한 패턴을 탐색한다.
제2 화소값 생성부(33)는, 제1 화소값 생성부(32)의 보간 방법과는 다른 보간 방법을 이용하여, 보간 화소의 화소값을 생성한다. 다른 보간 방법으로서, 이하의 보간 방법을 이용할 수 있다. 즉, 이 보간 방법은, 최근방 보간(0차 보간), 선형 보간(1차 보간), 포물선 보간(2차 보간), 큐빅(cubic) 보간(3차 보간), 다항식 보간, 스플라인 보간, 및 라그랑주 보간을 포함한다. 선형 보간 및 큐빅 보간을 이차원으로 확장한 이중 선형 보간 및 비큐빅(bicubic) 보간을 이용할 수도 있다.
1 라인에 이러한 순서로 화소 A∼F를 배치하고, 화소 C의 화소값을 누락시키고 있다고 가정한다. 도 7a는 화소의 위치와 화소값 사이의 관계를 나타내는 그래프를 나타내는 도면이다. 화소 C의 실제의 화소값은 흰점에 의해 표시된 값이다. 이 경우에, 화소 위치가 하나씩 이동함에 따라서 화소값은 일정한 값만큼 증가하기 때문에, 화소의 위치와 화소값 사이의 관계를 일차 함수로 표현할 수 있다. 구해진 일차 함수를 이용하여 보간되어야 할 화소 C의 화소값을 산출할 수 있다(선형 보간).
또한, 화소값을 도 7b에 도시된 곡선으로 나타내는 경우, 그 곡선에 가장 적합한 보간 방법을 선택함으로써 보간을 수행한다. 그 곡선을 2차 함수에 의해 표현할 수 있는 경우에, 포물선 보간을 선택할 수 있다. 그 곡선을 3차 함수에 의해 표현할 수 있는 경우에, 큐빅 보간을 선택할 수 있다. 그 곡선을 다항식에 의해 표현할 수 있는 경우에, 다항식 보간 또는 라그랑주 보간을 선택할 수 있다. 그 곡선을 개별의 다항식에 의해 표현할 수 있는 경우에, 스플라인 보간을 선택할 수 있다.
여기서는, 제1 화소값 생성부(32)가 패턴 매칭법을 채용하고, 제2 화소값 생성부(33)가 내삽법을 채용한다고 가정한다. 그러나, 제1 화소값 생성부(32)가 내삽법을 채용할 수도 있고, 제2 화소값 생성부(33)가 패턴 매칭법을 채용할 수도 있다. 또한, 선형 보간 및 스플라인 보간 등의 다른 보간 방법을 채용할 수도 있다(이들 양쪽은 내삽법이긴 하지만 채용될 수 있음).
제어부(34)는 처리 대상 화상을 수신하여, 이를 주기성 판정부(30) 및 경계 판정부(31)에 전송한다. 그 후, 제어부(34)는 주기성 판정부(30) 및 경계 판정부(31)에 의해 판정된 결과를 수신하여, 그 결과에 기초하여, 제1 화소값 생성부(32) 및 제2 화소값 생성부(33) 중 어느 것을 이용하여 화소값을 생성하는지를 판단한다. 예컨대, 주기성 판정부(30)가 주기성이 있다고 판정하고, 경계 판정부(31)가 주기 영역 내에 화소가 있다고 판정한 경우에, 제어부(34)는 패턴 매칭법을 이용하는 제1 화소값 생성부(32)를 채용한다. 다른 경우에, 제어부(34)는 내삽법을 이용하는 제2 화소값 생성부(33)를 채용할 수도 있다. 그 후, 제어부(34)는 결정된 화소값 생성부에 화상을 전송하고, 그 결정된 화소값 생성부에 의해 생성된 화소값을 수신하며, 그 화소값을, 화상과 설정되어 있는 화소의 위치 정보와 함께, 화소값 입력부(35)에 전송한다.
화소값 입력부(35)는, 제어부(34)에 의해 판정된 제1 화소값 생성부(32) 및 제2 화소값 생성부(33) 중 하나를 채용하여 생성된 화소값을, 먼저 설정된 보간 화소에 입력한다. 이에 의해 하나의 보간 화소에 대한 보간 처리를 완료한다. 보간 화소가 복수개 존재하는 경우에는, 전술한 각부에서의 처리를 보간 화소의 수만큼 반복한다.
이들 각부가 대응하는 처리를 수행하여, 보간 화소의 화소값을 생성하고, 그 화소값에 의해 보간 화소를 보간하는 처리에 관해서, 도 8에 도시된 흐름도를 참조하여 설명한다. 단계 S800으로부터 이 처리를 개시한다. 우선, 단계 S805에 있어서, 화소 설정부가, 화소값을 입력하는 대상인 보간 화소를 검출하여, 보간 처리하여야 할 보간 화소를 설정한다. 이 검출은 전술한 방법을 이용하여 수행될 수 있다. 보간 화소가 복수개 존재하는 경우에, 예컨대 그 보간 화소가 배치되어 있는 좌표 위치의 순서로 보간 화소가 배열된다. 그 후, 보간 화소를 순차적으로 하나씩 선택하여, 그 선택된 하나를 설정할 수 있다.
단계 S810에 있어서, 주기성 판정부(30)는 보간 화소를 포함하는 영역을 지정하여, 그 영역 내에서, 화소값의 변동이 주기성을 가지는지 여부를 판정한다. 전술한 영역 사이즈의 결정 방법 및 주기성의 판정 방법을 이용하여, 영역을 지정하여, 주기성의 유무를 판정한다. 이후에, 단계 S815에 있어서, 그 영역들 중 보간 화소가 실제로 속하는 어느 하나를 판정한다. 이 판정에는, 전술한 경계의 판정 방법 및 참조 영역의 사이즈 결정 방법을 채용한다. 그 후, 좌우의 참조 영역에서 개별적으로 분산을 구하여, 그 좌우의 참조 영역에 대하여 구해진 분산이 임계값 이상인지 여부를 판정함으로써 판정 동작을 행한다. 그 분산이 임계값 이상인 경우에, 보간 화소가 주기 영역에 존재한다고 판정한다.
그 후, 단계 S820에서, 보간 화소에 이용되는 보간 방법을 결정한다. 즉, 제어부(34)는 단계 S810 및 단계 S815에서의 판정된 결과에 기초하여, 제1 화소값 생성부(32)와 제2 화소값 생성부(33) 중 어느 하나를 채용하여, 보간 화소의 화소값을 생성하는지를 판단한다. 단계 S825에서, 제1 화소값 생성부(32)가 채용되는지 여부를 판단한다. 제1 화소값 생성부(32)가 패턴 매칭법을 이용하므로, 영역이 주기성을 가지며, 주기 영역에 보간 화소가 존재한다고 판정된 경우에, 제1 화소값 생성부(32)가 채용되었다고 판단된다.
단계 S825에서 제1 화소값 생성부(32)가 채용되었다고 판단된 경우, 그 후 처리는 단계 S830으로 진행하여, 제1 화소값 생성부(32)에 의해 이용되는 보간 방법에 의해 보간 화소의 화소값을 생성한다. 한편, 단계 S825에서, 제1 화소값 생성부(32)가 채용되지 않았다고 판단된 경우, 처리는 단계 S835로 진행하여, 제2 화소값 생성부(33)에 의해 이용되는 보간 방법에 의해 보간 화소의 화소값을 생성한다.
이후에, 단계 S840에서, 단계 S830 또는 단계 S835에서 생성된 보간 화소의 화소값을, 단계 S805에서 설정된 보간 화소에 입력한다. 이 보간 화소는, 화소값을 갖지 않거나 또는 부정확한 화소값을 가질 수도 있으므로, 보간 화소에 대하여 생성된 화소값을 입력함으로써, 보간 화소에 화소값을 설정한다. 그 후, 처리는 단계 S845로 진행하여, 모든 보간 화소의 보간을 완료하였는지 여부를 판단한다. 단계 S805에서 복수의 보간 화소가 검출되는 경우에, 그 생성된 화소값이 모든 보간 화소에 입력되는지를 판정한다.
단계 S845에서, 모든 보간 화소의 보간을 완료하였다고 판단된 경우는, 처리는 단계 S850으로 진행하여, 이 처리를 종료한다. 한편, 보간이 완료되지 않았다고 판단된 경우, 그 후 처리는 단계 S805로 되돌아간다. 그 후, 다음 보간 화소를 설정하고, 화소값을 생성하여, 화소값을 입력하는 처리를 수행한다.
도 9는 화상 처리 장치의 제2 실시형태를 예시하는 기능 블록도이다. 이 실시형태에서는, 도 2에 도시된 제1 실시형태와 유사하게, 화상 처리 장치는 주기성 판정부(50), 경계 판정부(51), 제1 화소값 생성부(52), 제2 화소값 생성부(53), 제어부(54), 및 화소값 입력부(55)를 포함한다. 추가적으로, 화상 처리 장치는 제1 화소값 생성부(52) 및 제2 화소값 생성부(53) 중 하나에 의해 생성된 보간 화소의 화소값의 타당성을 검증하는 타당성 검증부(56)를 포함한다. 즉, 타당성 검증부(56)는 제1 화소값 생성부(52)가 채용되었을 때에 생성된 화소값이 타당한지 여부를 검증하여, 그 화소값이 타당하지 않다고 판정된 경우, 제2 화소값 생성부(53)에 의해 보간 화소의 화소값을 생성한다.
주기성 판정부(50), 경계 판정부(51), 제1 화소값 생성부(52), 제2 화소값 생성부(53), 제어부(54), 및 화소값 입력부(55)에 의해 수행되는 처리들은 전술한 제1 실시형태와 동일하기 때문에, 여기서는 설명을 생략하며, 타당성 검증부(56)에 관해서 설명한다. 타당성 검증부(56)는, 예컨대, 제1 화소값 생성부(52)에 의해 생성된 화소값이 타당한지 여부를 판정한다.
타당성의 검증은, 제1 화소값 생성부(52)가 화소값을 생성할 때에 얻어지는 관련 정보를 이용하여 수행될 수 있다. 관련 정보로서는, 제1 화소값 생성부(52)가 보간 방법으로서 패턴 매칭법을 이용하는 경우, 템플릿과 비교 대상 패턴 사이의 비유사도 또는 유사도를 고려할 수 있다. 비유사도 또는 유사도에 있어서, 전술한 SAD, SSD, 상관 계수, 및 공분산을 이용할 수 있다.
타당성 검증부(56)는, 최적의 패턴과 보간 화소를 포함하는 기준 패턴 사이의 비유사도 또는 유사도를 구한다. 여기서, 최적의 패턴은 제1 화소값 생성부(52)가 제1 보간 방법으로서 패턴 매칭법을 이용하여 화소값을 생성할 때, 상기 제1 화소값 생성부(52)에 의해 채용된 화상 내의 미리 정해진 영역이다. 비유사도가 임계값 미만인지를 판정하거나 또는 유사도가 임계값 이상인지를 판정함으로써, 타당성을 검증할 수도 있다. 비유사도가 임계값 미만이면 타당하며, 유사도가 임계값 이상이면 타당하다.
그러므로, 타당성 검증부(56)에 있어서, 비유사도 또는 유사도를 임계값 처리하여, 비유사도가 임계값 미만이거나 또는 유사도가 임계값 이상인지를 타당성을 검증하기 위한 조건으로서 이용할 수 있다. 전술한 임계값과 유사한 임계값을 미리 사용자에 의해 설정할 수 있거나, 또는 장치가 동적으로 임계값을 결정할 수 있다.
이에 따라서, 제어부(54)는 제1 화소값 생성부(52)가 채용되었을 때에 생성된 화소값이 타당한지 여부를, 타당성 검증부(56)에 의해 검증한다. 타당하지 않다고 판정된 경우, 제어부(54)는 제2 화소값 생성부(53)에 의해 보간 화소의 화소값을 생성한다. 그러나, 이는 이것으로 한정되지 않는다. 이는 미리 제1 화소값 생성부(52)와 제2 화소값 생성부(53) 양쪽에 의해 화소값을 생성하고, 타당성 검증부(56)의 검증 결과에 기초하여, 화소값들 중 하나를 선택하는 병렬 처리에 의해 실현될 수 있다.
도 9에 도시된 화상 처리 장치를 이용하여, 보간 화소의 화소값을 보정하는 처리에 관해서, 도 10에 도시된 흐름도를 참조하여 설명한다. 단계 S1000으로부터 이 처리를 개시한다. 우선, 단계 S1005에 있어서, 도 9에 도시되지 않은 화소 설정부가, 화소값을 입력하는 대상인 보간 화소를 검출하여, 보간 화소를 설정한다. 이 검출은 전술한 방법을 이용하여 수행될 수 있다. 복수의 보간 화소가 존재하는 경우는, 상기 설명과 유사하게, 이들 중 하나를 설정한다.
단계 S1010에 있어서, 주기성 판정부(50)는, 보간 화소를 포함하는 영역 내에서, 화소값의 변동이 주기성을 갖는지 여부를 판정한다. 전술한 영역 사이즈의 결정 방법, 및 주기성의 판정 방법을 이용하여, 주기성을 판정한다. 이후에, 단계 S1015에 있어서, 경계 판정부(51)는, 영역들 중 상기 보간 화소가 실제로 속하는 어느 하나를 판정한다. 이 판정에는, 전술한 경계의 판정 방법 및 참조 영역의 사이즈 결정 방법을 채용한다. 그 후, 좌우의 참조 영역에서 개별적으로 분산을 구하여, 그 좌우의 참조 영역에 대하여 구해진 분산이 임계값 이상인지를 판단함으로써 판단 동작을 행한다. 분산이 임계값 이상이면, 보간 화소가 주기 영역에 존재한다고 판정된다.
그 후, 단계 S1020에서, 보간 화소에 이용되는 보간 방법을 결정한다. 즉, 제어부(54)는 단계 S1010 및 단계 S1015에서의 판정된 결과에 기초하여, 제1 화소값 생성부(52)와 제2 화소값 생성부(53) 중 어느 하나를 채용하여, 보간 화소의 화소값을 생성하는지를 판단한다. 단계 S1025에서, 제1 화소값 생성부(52)가 채용되었는지 여부를 판단한다.
단계 S1025에서, 제1 화소값 생성부(52)가 채용되어 있다고 판단된 경우, 처리는 단계 S1030으로 진행하여, 제1 화소값 생성부(52)에 의해 이용되는 보간 방법, 즉 패턴 패칭법에 의해 보간 화소의 화소값을 생성한다. 이후에, 단계 S1035에 있어서, 타당성 검증부(56)는 제1 화소값 생성부(52)에 의해 생성된 화소값이 타당한지 여부를 검증하여, 단계 S1040에 있어서, 그 화소값이 타당한지 여부를 판정한다. 그 화소값이 타당한지 여부의 판정은, 화소값을 생성할 때에 얻어지는 관련 정보, 구체적으로는, 비유사도 또는 유사도를 이용하여, 그 비유사도가 임계값 미만인지를 판단하거나 또는 그 유사도가 임계값 이상인지를 판단함으로써 수행될 수 있다.
단계 S1025에서 제1 화소값 생성부(52)가 채용되지 않았다고 판단된 경우, 처리는 단계 S1045로 진행하여, 제2 화소값 생성부(53)에 의해 이용되는 보간 방법, 즉 내삽법에 의해 보간 화소의 화소값을 생성한다. 또한, 단계 S1040에서 화소값이 타당하지 않다고 판정된 경우에, 처리는 단계 S1045로 진행하여, 제2 화소값 생성부(53)에 의해 이용되는 보간 방법에 의해 보간 화소의 화소값을 생성한다.
단계 S1040에서, 화소값이 타당하다고 판정된 경우, 또는 단계 S1045에서, 제2 화소값 생성부(53)에 의해 보간 화소의 화소값을 생성한 경우, 그 후, 처리는 단계 S1050으로 진행하여, 그 화소값을, 단계 S1005에 있어서 설정된 보간 화소에 입력한다. 이러한 방식으로, 그 화소값을 보간 화소의 화소값으로서 설정한다. 그 후, 처리는 단계 S1055로 진행하여, 모든 보간 화소의 보간을 완료하였는지를 판단한다. 단계 S1005에 있어서 설정된 보간 화소가 복수개 존재하는 경우, 모든 복수의 보간 화소에 화소값을 입력하였는지를 판정한다.
단계 S1055에 있어서 모든 보간 화소의 보간을 완료하였다고 판단된 경우, 처리는 단계 S1060으로 진행하여, 이 처리를 종료한다. 한편, 그 보간이 완료되지 않았다고 판단된 경우, 그 후, 처리는 단계 S1005로 되돌아간다. 그 후, 다음 보간 화소를 설정하고, 화소값을 생성하여, 화소값을 입력하는 처리를 수행한다.
도 11은 화상 처리 장치의 제3 실시형태를 도시하는 기능 블록도이다. 이 실시형태에서는, 도 9에 도시된 제2 실시형태와 유사하게, 화상 처리 장치는, 주기성 판정부(60), 경계 판정부(61), 제1 화소값 생성부(62), 제2 화소값 생성부(63), 제어부(64), 화소값 입력부(65), 및 타당성 검증부(66)를 포함한다. 추가적으로, 화상 처리 장치는, 제1 화소값 생성부(62) 또는 제2 화소값 생성부(63)에 의해 채용되는 보간 방법과는 다른 방법을 이용하여 보간 화소의 화소값을 생성하는 제3 화소값 생성부(67)를 포함한다. 따라서, 화상 처리 장치는 다음과 같이 구성된다. 즉, 타당성 검증부(66)는, 제1 화소값 생성부(62)를 채용하였을 때에 생성된 화소값이 타당한지 여부를 검증한다. 그 화소값이 타당하지 않다고 판정된 경우, 제3 화소값 생성부(67)에 의해 보간 화소의 화소값을 생성한다. 타당성 검증부(66)는 그 화소값이 타당한지 여부를 검증한다. 그 화소값이 타당하지 않다고 판정된 경우, 제2 화소값 생성부(63)에 의해 보간 화소의 화소값을 생성한다.
이 제3 실시형태에서는, 도 9에 도시된 제2 실시형태의 구성에, 제3 화소값 생성부(67)만이 추가된다. 그러나, 이 실시형태는 이것으로 한정되지 않으며, 제4 화소값 생성부 및 제5 화소값 생성부를 추가할 수도 있고, 화상 형성 장치가 4개 이상의 화소값 생성부를 포함할 수도 있다. 이 경우에, 화소값 생성부 중 하나에 의해 생성된 화소값이 타당한지를 판정하여, 그 화소값이 타당하지 않다고 판정된 경우, 또 다른 화소값 생성부에 의해 화소값을 생성할 수도 있다.
이 제3 실시형태에 있어서, 주기성 판정부(60), 경계 판정부(61), 제1 화소값 생성부(62), 제2 화소값 생성부(63), 제어부(64), 화소값 입력부(65), 및 타당성 검증부(66)에 의해 수행되는 처리는 전술한 제2 실시형태와 동일하다. 제3 화소값 생성부(67)에 있어서, 보간 방법만이 다르며, 제1 화소값 생성부(62) 및 제2 화소값 생성부(63)와 유사하게, 제3 화소값 생성부(67)는 보간 화소의 화소값을 생성한다. 따라서, 이들에 관한 설명은 생략한다.
또한, 타당성 검증부(66)는, 제1 화소값 생성부(62)가 채용되었을 때에 생성된 화소값이 타당한지를 검증한다. 그 화소값이 타당하지 않다고 판정된 경우, 제3 화소값 생성부(67)에 의해 보간 화소의 화소값을 생성한다. 그 후, 타당성 검증부(66)는 생성된 화소값이 타당한지 여부를 검증한다. 그 화소값이 타당하지 않다고 판정된 경우, 제2 화소값 생성부(63)에 의해 보간 화소의 화소값을 생성한다. 그러나, 이 실시형태는 이것으로 한정되지 않는다. 이는 미리 제1 화소값 생성부(62)와 제2 화소값 생성부(63)와 제3 화소값 생성부(67)에 의해 보간 화소의 화소값을 생성하고, 타당성 검증부(66)의 검증 결과에 따라서, 화소값들 중 하나를 선택한다고 하는 병렬 처리에 의해 실현될 수 있다.
도 11에 도시된 화상 처리 장치를 이용하여, 보간 화소의 화소값을 보정하는 처리에 관해서, 도 12에 도시된 흐름도를 참조하여 설명한다. 단계 S1200으로부터 이 처리를 개시한다. 우선, 단계 S1205에 있어서, 도 11에 도시되지 않은 화소 설정부가, 화소값을 입력하는 대상인 보간 화소를 검출하여, 보간 화소를 설정한다. 이 검출은 전술한 방법을 이용하여 수행될 수 있다. 이 경우도 마찬가지로 하여, 보간 화소가 복수개 존재할 때에, 이들 중 하나를 설정한다.
단계 S1210에 있어서, 보간 화소를 포함하는 영역 내에서, 화소값의 변동이 주기성을 갖는지 여부를 판정한다. 전술한 영역 사이즈의 결정 방법 및 주기성의 판정 방법을 이용하여, 주기성을 판정한다. 이후에, 단계 S1215에 있어서, 영역들 중 보간 화소가 실제로 속해 있는 어느 하나를 판정한다. 이 판정에는, 전술한 경계의 판정 방법 및 참조 영역의 사이즈 결정 방법을 채용한다. 그 후, 좌우의 참조 영역에서 개별적으로 분산을 구하고, 이 좌우의 참조 영역에 대하여 구해진 분산이 임계값 이상인지를 판정함으로써 판정 동작을 행한다. 그 분산이 임계값 이상이면, 보간 화소는 주기 영역에 존재한다고 판정된다.
그 후, 단계 S1220에서, 보간 화소에 이용되는 보간 방법을 결정한다. 즉, 제어부(64)는, 단계 S1210 및 단계 S1215에서의 판정된 결과에 기초하여, 제1 화소값 생성부(62), 제2 화소값 생성부(63), 제3 화소값 생성부(67) 중 어느 하나를 채용하여, 보간 화소의 화소값을 생성하는지를 판단한다. 단계 S1225에서, 제1 화소값 생성부(62)가 채용되었는지 여부를 판단한다.
단계 S1225에서 제1 화소값 생성부(62)가 채용되어 있다고 판단된 경우, 처리는 단계 S1230으로 진행하여, 제1 화소값 생성부(62)에 의해 이용되는 보간 방법에 의해 보간 화소의 화소값을 생성한다. 이후에, 단계 S1235에 있어서, 타당성 검증부(66)는 제1 화소값 생성부(62)에 의해 생성된 화소값이 타당한지 여부를 검증하여, 단계 S1240에 있어서, 그 화소값이 타당한지 여부를 판정한다.
타당성의 판단은, 제1 화소값 생성부(62)가 화소값을 생성할 때에 얻어지는 관련 정보를 이용하여 수행된다. 제1 화소값 생성부(62)에 의해 채용된 보간 방법이, 패턴 매칭법인 경우, 템플릿과, 화소값을 생성하는데 이용되는 최적의 패턴 사이의 비유사도 또는 유사도를 관련 정보로서 이용하여, 비유사도가 임계값 미만인 경우 또는 유사도가 임계값 이상인 경우, 그 화소값이 타당하다고 판단된다. 이 때, 보간 화소를 제외한 템플릿, 또는 그 생성된 화소값이 입력된 템플릿을 이용할 수도 있다.
단계 S1240에서, 화소값이 타당하지 않다고 판정된 경우, 처리는 단계 S1245로 진행하여, 제3 화소값 생성부(67)에 의해 이용되는 보간 방법에 의해 보간 화소의 화소값을 생성한다. 이후에, 단계 S1250에 있어서, 타당성 검증부(66)는 제3 화소값 생성부(67)에 의해 생성된 화소값이 타당한지 여부를 검증하여, 단계 S1255에 있어서, 그 화소값이 타당한지를 판정한다.
단계 S1225에서, 제1 화소값 생성부(62)가 채용되지 않았다고 판단된 경우, 또는 단계 S1255에서, 그 화소값이 타당하지 않다고 판정된 경우, 처리는 단계 S1260으로 진행하여, 제2 화소값 생성부(63)에 의해 이용되는 보간 방법에 의해 보간 화소의 화소값을 생성한다.
단계 S1240에서, 화소값이 타당하다고 판정된 경우, 또는 단계 S1255에서, 화소값이 타당하다고 판정된 경우, 또는 단계 S1260에서 화소값이 생성된 경우, 처리는 단계 S1265로 진행하여, 그 화소값을, 단계 S1205에서 설정된 보간 화소에 입력한다. 그 후, 처리는 단계 S1270으로 진행하여, 모든 보간 화소의 보간을 완료하였는지를 판단한다. 단계 S1205에 있어서 설정된 보간 화소가 복수개 존재하는 경우, 그 화소값이 모든 보간 화소에 입력되었는지를 판정한다.
단계 S1270에 있어서, 모든 보간 화소의 보간을 완료했다고 판단된 경우에, 처리는 단계 S1275로 진행하여, 이 처리를 종료한다. 한편, 그 보간이 완료되지 않았다고 판단된 경우에, 그 후 처리는 단계 S1205로 되돌아간다. 그 후, 다음 보간 화소를 설정하고, 화소값을 생성하여, 그 화소값을 입력하는 처리를 수행한다.
화상 처리 장치의 제4 실시형태에 있어서, 도 11에 도시되는 제3 실시형태와 유사하게, 주기성 판정부(60), 경계 판정부(61), 제1 화소값 생성부(62), 제2 화소값 생성부(63), 제어부(64), 화소값 입력부(65), 타당성 검증부(66), 및 제3 화소값 생성부(67)를 포함한다. 따라서, 기능 블록도를 생략한다. 화상 형성 장치는, 주기성 판정부(60)의 판정 결과 및 경계 판정부(61)의 판정 결과에 기초하여, 제1 화소값 생성부(62), 제2 화소값 생성부(63), 및 제3 화소값 생성부(64)를 전환하도록 구성된다.
보간 방법의 결정 방법의 일례로서, 보간 화소를 포함하는 영역이 주기성을 가지며, 보간 화소가 주기 영역 내에 배치되면, 제1 화소값 생성부(62)를 채용할 수 있고, 보간 화소를 포함하는 영역이 주기성을 가지며, 보간 화소가 비주기 영역 내에 배치되면, 제2 화소값 생성부(63)를 채용할 수 있고, 보간 화소를 포함하는 영역이 어떤 주기성도 갖지 않으면, 제3 화소값 생성부(67)를 채용할 수 있다.
또 다른 예로서는, 보간 화소를 포함하는 영역의 주기가 짧고, 보간 화소가 주기 영역 내에 배치되면, 제1 화소값 생성부(62)를 채용할 수 있고, 보간 화소를 포함하는 영역의 주기가 짧고, 보간 화소가 비주기 영역 내에 배치되면, 제2 화소값 생성부(63)를 채용할 수 있고, 그 이외에는, 제3 화소값 생성부(67)를 채용할 수 있다.
이 실시형태에 있어서, 제1 화소값 생성부(62)가 채용된 경우, 타당성 검증부(66)는 생성된 화소값이 타당한지 여부를 검증한다. 제1 화소값 생성부(62)가 채용되지 않은 경우, 그 후 제3 화소값 생성부(67)가 채용되었는지 여부를 판정한다. 제3 화소값 생성부(67)가 채용된 경우에, 제3 화소값 생성부(67)에 의해 보간 화소의 화소값을 생성하여, 타당성 검증부(66)가 그 생성된 화소값이 타당한지 여부를 검증한다. 제3 화소값 생성부(67)가 채용되지 않은 경우, 제2 화소값 생성부(63)에 의해 보간 화소의 화소값을 생성한다. 그러나, 이 실시형태는 이것으로 한정되지 않는다. 이는 미리 제1 화소값 생성부(62), 제2 화소값 생성부(63), 및 제3 화소값 생성부(67)에 의해 보간 화소의 화소값을 생성하고, 타당성 검증부(66)의 검증 결과에 기초하여, 그 화소값들 중 하나를 선택한다고 하는 병렬 처리에 의해 실현될 수 있다.
제4 실시형태에 따른 화상 처리 장치를 이용하여, 보간 화소의 화소값을 보정하는 처리에 관해서, 도 13에 도시된 흐름도를 참조하여 설명한다. 단계 S1300으로부터 이 처리를 개시한다. 우선, 단계 S1305에 있어서, 화소값을 입력하는 대상인 보간 화소를 검출하여, 그 보간 화소를 설정한다. 이 검출은 전술한 방법에 의해 수행될 수 있다. 이 경우에도 마찬가지로 하여, 보간 화소가 복수개 존재할 때에는, 이들 중 하나를 설정한다.
단계 S1310에 있어서, 보간 화소를 포함하는 영역 내에서, 화소값의 변동이 주기성을 갖는지 여부를 판정한다. 전술한 영역 사이즈의 결정 방법 및 주기성의 판정 방법을 이용하여, 주기성을 판정한다. 이후에, 단계 S1315에 있어서, 상기 영역들 중 보간 화소가 실제로 속해 있는 어느 하나를 판정한다. 이 판정에는, 전술한 경계의 판정 방법, 참조 영역의 사이즈 결정 방법을 채용한다. 그 후 좌우의 참조 영역에 대하여 개별적으로 분산을 구하여, 좌우의 참조 영역에 대하여 구해진 분산이 임계값 이상인지 여부를 판단함으로써 판단 동작을 행한다. 그 분산이 임계값 이상이면, 보간 화소가 주기 영역에 존재한다고 판정된다.
그 후, 단계 S1320에서, 보간 화소에 이용되는 보간 방법을 결정한다. 즉, 제어부(64)는, 단계 S1310 및 단계 S1315에서 판정된 결과에 기초하여, 제1 화소값 생성부(62)와 제2 화소값 생성부(63)와 제3 화소값 생성부(67) 중 어느 하나를 채용하여, 보간 화소의 화소값을 생성하는지를 판단한다. 다음 단계 S1325에서는, 제1 화소값 생성부(62)가 채용되었는지를 판단한다.
단계 S1325에서, 제1 화소값 생성부(62)가 채용되었다고 판단된 경우, 처리는 단계 S1330으로 진행하고, 제1 화소값 생성부(62)에 의해 이용되는 보간 방법에 의해 보간 화소의 화소값을 생성한다. 이후에, 단계 S1335에 있어서, 타당성 검증부(66)는 제1 화소값 생성부(62)에 의해 생성된 화소값이 타당한지 여부를 검증하여, 단계 S1340에 있어서, 그 화소값이 타당한지 여부를 판정한다.
단계 S1325에서, 제1 화소값 생성부(62)가 채용되지 않았다고 판단된 경우, 처리는 단계 S1345로 진행하고, 제3 화소값 생성부(67)가 채용되었는지를 판단한다. 제3 화소값 생성부(67)가 채용되었다고 판단된 경우에, 처리는 단계 S1350으로 진행하여, 제3 화소값 생성부(67)에 의해 이용되는 보간 방법에 의해 보간 화소의 화소값을 생성한다. 이후에, 단계 S1355에 있어서, 타당성 검증부(66)가 제3 화소값 생성부(67)에 의해 생성된 화소값이 타당한지 여부를 검증하여, 단계 S1360에 있어서, 그 화소값이 타당한지 여부를 판정한다.
단계 S1345에 있어서, 제3 화소값 생성부(67)가 채용되지 않았다고 판단된 경우, 처리는 단계 S1365로 진행하여, 제2 화소값 생성부(63)에 의해 이용되는 보간 방법에 의해 보간 화소의 화소값을 생성한다. 단계 S1340에 있어서, 화소값이 타당하지 않다고 판정된 경우, 처리는 단계 S1350으로 진행하여, 제3 화소값 생성부(67)에 의해 이용되는 보간 방법에 의해 보간 화소의 화소값을 생성한다. 또한, 단계 S1360에 있어서, 화소값이 타당하지 않다고 판정된 경우, 처리는 단계 S1365로 진행하여, 제2 화소값 생성부(63)에 의해 이용되는 보간 방법에 의해 화소값을 생성한다.
단계 S1340에서, 화소값이 타당하다고 판정된 경우, 또는 단계 S1360에서, 화소값이 타당하다고 판정된 경우, 또는 단계 S1365에서 화소값이 생성된 경우, 처리는 단계 S1370으로 진행하여, 그 화소값을, 단계 S1305에서 설정된 보간 화소에 입력한다. 그 후, 처리는 단계 S1375로 진행하여, 모든 보간 화소의 보간을 완료했는지 여부를 판단한다. 단계 S1305에 있어서 설정된 보간 화소가 복수개 존재하는 경우에, 그 모든 보간 화소에 화소값을 입력하는지 여부를 판정한다.
단계 S1375에서, 모든 보간 화소의 보간을 완료하였다고 판단된 경우에, 처리는 단계 S1380으로 진행하여, 이 처리를 종료한다. 한편, 그 보간이 완료되지 않았다고 판단된 경우에, 그 후 처리는 단계 S1305로 되돌아간다. 그 후, 다음 보간 화소를 설정하고, 화소값을 생성하여, 그 화소값을 입력하는 처리를 수행한다.
본 발명에 따르면, 전술한 화상 처리 장치 및 그 화상 처리 장치에 의해 수행되는 화상 검사 방법 이외에, 그 방법을 실현하기 위한 컴퓨터 판독 가능한 프로그램도 제공할 수 있다. 또, 이 프로그램은 FD, CD, DVD, SD 카드, USB 메모리 등의 기록 매체에 저장될 수 있고, 이 프로그램이 기록된 기록 매체로서 제공될 수 있다.
지금까지 본 발명을, 화상 처리 장치 및 화상 검사 방법으로서 전술한 실시형태를 통하여 설명하였다. 그러나, 본 발명은 전술한 실시형태로 한정되지 않는다. 본 발명은 다른 실시형태, 추가, 변경, 삭제 등, 당업자가 생각할 수 있는 범위 내에서 변경될 수 있다. 어떤 실시형태가 본 발명의 효과를 나타낸다면, 그 실시형태는 본 발명의 범위 내에 있다고 간주될 수 있다.
본 출원은 2011년 1월 19일자로 출원된 일본 우선권 주장 출원 제2011-008653호에 기초하며, 이것의 전체 내용은 참고로 여기에 통합된다.
10 : 화상 처리 장치 11 : MPU
12 : ROM 13 : RAM
14 : 기억 제어용 인터페이스 15 : 하드디스크
16 : 인터페이스 17 : 입출력 장치
18 : 표시 장치 19 : VRAM
20 : 그래픽칩 21 : 네트워크 I/F
30, 50, 60 : 주기성 판정부 31, 51, 61 : 경계 판정부
32, 52, 62 : 제1 화소값 생성부 33, 53, 63 : 제2 화소값 생성부
34, 54, 64 : 제어부 35, 55, 65 : 화소값 입력부
40 : 화소(화소값을 갖지 않음) 56, 66 : 타당성 검증부
67 : 제3 화소값 생성부

Claims (15)

  1. 미리 정해진 위치에 배치되는 화소의 화소값을 생성하여, 상기 화소값에 의해 상기 화소를 보간하는 화상 처리 장치로서,
    상기 화소를 포함하는 영역이 주기적인 화소값의 변동을 포함하는 주기 영역인지 여부를 판정하도록 구성되는 주기성 판정부와,
    상기 주기성 판정부가 그 영역이 주기 영역이라고 판정한 경우에, 상기 화소 부근에 있는 1 이상의 참조 영역을 규정하고, 상기 1 이상의 참조 영역의 화상 특징에 기초하여, 상기 화소가 상기 주기 영역에 속하는지 또는 비주기 영역에 속하는지를 판정하도록 구성되는 경계 판정부와,
    제1 보간 방법을 이용하여 상기 화소의 제1 화소값을 생성하도록 구성되는 제1 화소값 생성부와,
    상기 제1 보간 방법과 상이한 제2 보간 방법을 이용하여 상기 화소의 제2 화소값을 생성하도록 구성되는 제2 화소값 생성부와,
    상기 주기성 판정부의 판정 결과와 상기 경계 판정부의 판정 결과에 기초해서, 상기 제1 화소값 생성부를 이용하여 상기 제1 화소값을 생성할지 또는 상기 제2 화소값 생성부를 이용하여 상기 제2 화소값을 생성할지를 판단하도록 구성되는 제어부와,
    상기 제어부에 의해 판단된, 상기 제1 화소값 생성부에 의해 생성된 제1 화소값 및 상기 제2 화소값 생성부에 의해 생성된 제2 화소값 중 하나를 상기 화소에 입력하도록 구성되는 화소값 입력부를 포함하는 화상 처리 장치.
  2. 제1항에 있어서, 상기 제1 보간 방법은 패턴 매칭법인 것인 화상 처리 장치.
  3. 제2항에 있어서, 상기 제2 보간 방법은 내삽법(內揷法)인 것인 화상 처리 장치
  4. 제1항에 있어서, 상기 제1 화소값에 의해 상기 화소를 보간한 보간 결과가 타당한지 여부를 검증하도록 구성되는 타당성 검증부를 더 포함하며,
    상기 타당성 검증부가 상기 제1 화소값 생성부에 의해 생성된 상기 제1 화소값에 의해 상기 화소를 보간한 제1 보간 결과를 검증하여, 상기 제1 보간 결과가 타당하지 않다고 판정한 경우, 상기 제어부는 상기 제2 화소값 생성부로 하여금 제2 화소값을 생성하게 하는 것인 화상 처리 장치.
  5. 제4항에 있어서, 상기 타당성 검증부는, 상기 제1 화소값 생성부가 상기 제1 보간 방법으로서 패턴 매칭법을 이용하여 상기 제1 화소값을 생성할 때, 상기 제1 화소값 생성부에 의해 채용된 화상 내의 미리 정해진 영역인 패턴과, 상기 화소를 포함하는 기준 패턴 사이의 비유사도(degree of dissimilarity)가 임계값 미만인지 여부를 판정하거나 또는 그 패턴과 상기 기준 패턴 사이의 유사도(degree of similarity)가 상기 임계값 이상인지 여부를 판정함으로써, 상기 제1 보간 결과가 타당한지 여부를 판정하는 것인 화상 처리 장치.
  6. 제1항에 있어서, 상기 제1 보간 방법 및 상기 제2 보간 방법과는 상이한 제3 보간 방법을 이용하여 상기 화소의 제3 화소값을 생성하도록 구성되는 제3 화소값 생성부를 더 포함하며,
    상기 제어부는 상기 주기성 판정부의 판정 결과와 상기 경계 판정부의 판정 결과에 기초하여, 제1 화소값을 생성하는 상기 제1 화소값 생성부, 제2 화소값을 생성하는 상기 제2 화소값 생성부, 및 제3 화소값을 생성하는 상기 제3 화소값 생성부 중 하나를 선택하는 것인 화상 처리 장치.
  7. 제6항에 있어서, 상기 제1 화소값 및 상기 제3 화소값 중 하나에 의해 상기 화소를 보간한 보간 결과가 타당한지 여부를 검증하도록 구성되는 타당성 검증부를 더 포함하며,
    상기 타당성 검증부가 상기 제1 화소값 생성부에 의해 생성된 상기 제1 화소값에 의해 상기 화소를 보간한 제1 보간 결과를 검증하여, 상기 제1 보간 결과가 타당하지 않다고 판정한 경우, 상기 제어부는 상기 제3 화소값 생성부로 하여금 제3 화소값을 생성하게 하는 것인 화상 처리 장치.
  8. 제7항에 있어서, 상기 타당성 검증부가 상기 제3 화소값 생성부에 의해 생성된 상기 제3 화소값에 의해 상기 화소를 보간한 제3 보간 결과를 검증하여, 상기 제3 보간 결과가 타당하지 않다고 판정한 경우, 상기 제어부는 상기 제2 화소값 생성부로 하여금 상기 제2 화소값을 생성하게 하는 것인 화상 처리 장치.
  9. 제6항에 있어서, 상기 제1 보간 방법은 2차원 템플릿 매칭법이며, 상기 제2 보간 방법은 내삽법이며, 상기 제3 보간 방법은 1차원 템플릿 매칭법인 것인 화상 처리 장치.
  10. 화상 처리 장치에 의해 미리 정해진 위치에 배치된 화소의 화소값을 생성하여, 상기 화소값에 의해 상기 화소를 보간하는 화소 보간 방법으로서,
    상기 화소를 포함하는 화상 영역이 주기적인 화소값의 변동을 포함하는 주기 영역인지 여부를 판정하는 주기성 판정 단계와,
    상기 주기성 판정 단계에서 그 영역이 주기 영역이라고 판정한 경우, 상기 화소 부근에 있는 1 이상의 참조 영역을 규정하고, 상기 1 이상의 참조 영역의 화상 특징에 기초하여, 상기 화소가 상기 주기 영역에 속하는지 또는 비주기 영역에 속하는지를 판정하는 경계 판정 단계와,
    상기 주기성 판정 단계의 판정 결과 및 상기 경계 판정 단계의 판정 결과에 기초해서, 제1 화소값 생성부를 이용하여 상기 화소의 제1 화소값을 생성할지 또는 제2 화소값 생성부를 이용하여 상기 화소의 제2 화소값을 생성할지를 판단하는 판단 단계로서, 상기 제1 화소값 생성부는 상기 화상 처리 장치에 포함되며 제1 보간 방법을 이용하여 상기 화소의 제1 화소값을 생성하며, 상기 제2 화소값 생성부는 상기 화상 처리 장치에 포함되며 제2 보간 방법을 이용하여 상기 화소의 제2 화소값을 생성하는 것인, 상기 판단 단계와,
    상기 판단 단계에 의해 판단된, 상기 제1 화소값 생성부에 의해 생성된 제1 화소값 및 상기 제2 화소값 생성부에 의해 생성된 제2 화소값 중 하나를 상기 화소에 입력하는 입력 단계를 포함하는 화소 보간 방법.
  11. 제10항에 있어서, 상기 제1 보간 방법은 패턴 매칭법인 것인 화소 보간 방법.
  12. 제11항에 있어서, 상기 제2 보간 방법은 내삽법인 것인 화소 보간 방법.
  13. 제10항에 있어서, 상기 제1 화소값에 의해 상기 화소를 보간한 보간 결과가 타당한지 여부를 검증하는 타당성 검증 단계와,
    상기 타당성 검증 단계가 상기 제1 화소값 생성부에 의해 생성된 상기 제1 화소값에 의해 상기 화소를 보간한 제1 보간 결과가 타당하지 않다고 판정한 경우, 상기 제2 화소값 생성부로 하여금 제2 화소값을 생성하게 하는 제2 화소값 생성 단계를 더 포함하는 화소 보간 방법.
  14. 제13항에 있어서, 상기 타당성 검증 단계는, 상기 제1 화소값 생성부가 상기 제1 보간 방법으로서 패턴 매칭법을 이용하여 제1 화소값을 생성할 때, 상기 제1 화소값 생성부에 의해 채용된 화상 내의 미리 정해진 영역인 패턴과, 상기 화소를 포함하는 기준 패턴 사이의 비유사도가 임계값 미만인지 여부를 판정하거나 또는 그 패턴과 상기 기준 패턴 사이의 유사도가 임계값 이상인지 여부를 판정함으로써, 상기 제1 보간 결과가 타당한지 여부를 판정하는 것인 화소 보간 방법.
  15. 제10항에 있어서, 화상 처리 장치는 상기 제1 보간 방법 및 상기 제2 보간 방법과는 상이한 제3 보간 방법을 이용하여 상기 화소의 제3 화소값을 생성하도록 구성되는 제3 화소값 생성부를 더 포함하며,
    상기 화소 보간 방법은, 상기 제1 화소값 및 상기 제3 화소값 중 하나에 의해 상기 화소를 보간한 보간 결과가 타당한지 여부를 검증하는 타당성 검증 단계와, 상기 타당성 검증 단계에서 상기 제1 화소값에 의해 상기 화소를 보간한 보간 결과인 제1 보간 결과가 타당하지 않다고 판정한 경우, 상기 제3 화소값 생성부로 하여금 제3 화소값을 생성하게 하는 제3 화소값 생성 단계를 더 포함하고,
    상기 판단 단계에서는, 상기 주기성 판정 단계의 판정 결과 및 상기 경계 판정 단계의 판정 결과에 기초하여, 제1 화소값을 생성하는 상기 제1 화소값 생성부, 제2 화소값을 생성하는 상기 제2 화소값 생성부, 및 제3 화소값을 생성하는 상기 제3 화소값 생성부 중 하나가 선택되는 것인 화소 보간 방법.
KR1020137018691A 2011-01-19 2012-01-11 화상 처리 장치 및 화소 보간 방법 KR101460929B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011008653A JP5699621B2 (ja) 2011-01-19 2011-01-19 画像処理装置、画素補間方法およびプログラム
JPJP-P-2011-008653 2011-01-19
PCT/JP2012/050883 WO2012099137A1 (en) 2011-01-19 2012-01-11 Image processing device and pixel interpolation method

Publications (2)

Publication Number Publication Date
KR20130124527A KR20130124527A (ko) 2013-11-14
KR101460929B1 true KR101460929B1 (ko) 2014-11-13

Family

ID=46515760

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137018691A KR101460929B1 (ko) 2011-01-19 2012-01-11 화상 처리 장치 및 화소 보간 방법

Country Status (6)

Country Link
US (1) US9042658B2 (ko)
EP (1) EP2666284B1 (ko)
JP (1) JP5699621B2 (ko)
KR (1) KR101460929B1 (ko)
CN (1) CN103430526B (ko)
WO (1) WO2012099137A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101599786B1 (ko) * 2014-01-24 2016-03-09 에스케이플래닛 주식회사 참조 영역 분할을 이용한 인페인팅 장치 및 방법
JP6476898B2 (ja) 2014-03-07 2019-03-06 株式会社リコー 画像処理装置、画像処理方法、プログラム及び記憶媒体
US10026010B2 (en) 2014-05-14 2018-07-17 At&T Intellectual Property I, L.P. Image quality estimation using a reference image portion
CA3015743C (en) * 2016-03-09 2020-05-26 Mitsubishi Electric Corporation Synthetic aperture radar signal processing device
JP6932260B2 (ja) 2018-06-27 2021-09-08 三菱電機株式会社 画素補間装置及び画素補間方法、並びに画像処理装置、並びにプログラム及び記録媒体

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004072528A (ja) 2002-08-07 2004-03-04 Sharp Corp 補間処理方法、補間処理プログラムおよびこれを記録した記録媒体ならびに画像処理装置およびこれを備えた画像形成装置
JP2007087210A (ja) 2005-09-22 2007-04-05 Advanced Mask Inspection Technology Kk 画像補正装置、パターン検査装置、画像補正方法、及び、パターン欠陥検査方法
JP4330164B2 (ja) * 2005-11-16 2009-09-16 京セラミタ株式会社 画像補間装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5113455A (en) * 1990-02-27 1992-05-12 Eastman Kodak Company Digital image scaling by stepwise pixel movement
US5097518A (en) * 1990-02-27 1992-03-17 Eastman Kodak Company Technique for performing digital image scaling by logically combining or replicating pixels in blocks of differing groupsizes
JP3069147B2 (ja) 1991-04-30 2000-07-24 アキレス株式会社 型枠の施工方法
EP1180743B1 (en) 2000-04-24 2007-11-07 Seiko Epson Corporation Apparatus and method for image data interpolation
US7783122B2 (en) * 2006-07-14 2010-08-24 Xerox Corporation Banding and streak detection using customer documents
JP4900175B2 (ja) * 2007-10-04 2012-03-21 セイコーエプソン株式会社 画像処理装置及び方法並びにプログラム
CN100512374C (zh) * 2007-12-05 2009-07-08 北京航空航天大学 一种基于阈值分割的图像边缘检测方法
JP4958056B2 (ja) * 2009-05-12 2012-06-20 東芝ディーエムエス株式会社 画像補間装置および画像補間プログラム
US8736700B2 (en) * 2010-09-30 2014-05-27 Apple Inc. Techniques for synchronizing audio and video data in an image signal processing system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004072528A (ja) 2002-08-07 2004-03-04 Sharp Corp 補間処理方法、補間処理プログラムおよびこれを記録した記録媒体ならびに画像処理装置およびこれを備えた画像形成装置
JP2007087210A (ja) 2005-09-22 2007-04-05 Advanced Mask Inspection Technology Kk 画像補正装置、パターン検査装置、画像補正方法、及び、パターン欠陥検査方法
JP4330164B2 (ja) * 2005-11-16 2009-09-16 京セラミタ株式会社 画像補間装置

Also Published As

Publication number Publication date
WO2012099137A1 (en) 2012-07-26
EP2666284B1 (en) 2018-03-07
CN103430526B (zh) 2016-08-10
CN103430526A (zh) 2013-12-04
EP2666284A1 (en) 2013-11-27
JP2012151646A (ja) 2012-08-09
US9042658B2 (en) 2015-05-26
EP2666284A4 (en) 2014-08-06
JP5699621B2 (ja) 2015-04-15
US20130272615A1 (en) 2013-10-17
KR20130124527A (ko) 2013-11-14

Similar Documents

Publication Publication Date Title
JP5741007B2 (ja) 画像処理装置、画素補間方法およびプログラム
JP5741011B2 (ja) 画像処理装置、画素補間方法およびプログラム
JP5699633B2 (ja) 画像処理装置、画素補間方法およびプログラム
KR101460929B1 (ko) 화상 처리 장치 및 화소 보간 방법
JP5521676B2 (ja) 画像処理装置及び画像処理プログラム
JP2012243307A (ja) 入力画像における歪を検出する方法、入力画像における歪を検出する装置およびコンピューター読み取り可能な媒体
JPWO2018147059A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
CN102831578B (zh) 图像处理方法和图像处理设备
US9392140B2 (en) Image processing apparatus
KR101621848B1 (ko) 화상처리장치 및 방법
JP5703777B2 (ja) 画像処理装置、画素補間方法およびプログラム
US8494272B2 (en) Image processing device, image processing method, and computer readable medium for judging if images are matched
JP5786547B2 (ja) 画像補正システム、画像補正方法およびプログラム
US20110211769A1 (en) Image processing apparatus and image processing program
JP2013161158A (ja) 画像処理装置及び画像処理プログラム
JP5747604B2 (ja) 画像処理装置及び画像処理プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171026

Year of fee payment: 4