KR20010043961A - 보간처리장치와 보간처리 프로그램을 기록한 기록매체 - Google Patents
보간처리장치와 보간처리 프로그램을 기록한 기록매체 Download PDFInfo
- Publication number
- KR20010043961A KR20010043961A KR1020007013563A KR20007013563A KR20010043961A KR 20010043961 A KR20010043961 A KR 20010043961A KR 1020007013563 A KR1020007013563 A KR 1020007013563A KR 20007013563 A KR20007013563 A KR 20007013563A KR 20010043961 A KR20010043961 A KR 20010043961A
- Authority
- KR
- South Korea
- Prior art keywords
- similarity
- component
- color
- color information
- interpolation
- Prior art date
Links
- 238000012545 processing Methods 0.000 claims abstract description 165
- 238000004364 calculation method Methods 0.000 claims abstract description 99
- 239000003086 colorant Substances 0.000 claims abstract description 20
- 238000000034 method Methods 0.000 claims description 134
- 230000008569 process Effects 0.000 claims description 58
- 238000003384 imaging method Methods 0.000 claims description 15
- 230000005484 gravity Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 19
- 238000006243 chemical reaction Methods 0.000 description 17
- 230000000694 effects Effects 0.000 description 16
- 230000003287 optical effect Effects 0.000 description 12
- 230000009467 reduction Effects 0.000 description 10
- 230000002093 peripheral effect Effects 0.000 description 8
- 230000001603 reducing effect Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
- H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2209/00—Details of colour television systems
- H04N2209/04—Picture signal generators
- H04N2209/041—Picture signal generators using solid-state devices
- H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
- H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
- H04N2209/046—Colour interpolation to calculate the missing colour values
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 보간처리장치 및 보간처리 프로그램을 기록한 기록매체에 관한 것으로서, 공간주파수가 가장 높은 제 1 색성분의 색정보를 출력하는 복수의 격자점과, 해당 제 1 색성분의 색정보를 출력하지 않고 해당 제 1 색성분보다 공간주파수가 낮은 제 2 색성분 또는 제 3 색성분의 색정보를 출력하는 복수의 공격자점이 2차원 배열된 촬상소자에 의해 생성되는 화상에 대해 각각의 공격자점의 제 1 색성분의 색정보에 상당하는 보간량을 구하는 보간처리를 실시하는 보간처리장치는 보간처리의 대상이 되는 보간대상 공격자점마다 제 1 색성분 내지 제 3 색성분의 3색의 색정보를 이용하여 복수의 방향에 대한 유사도를 산출하는 유사도산출수단과 유사도산출수단에 의해 산출된 복수의 방향에 대한 유사도에 기초하여 보간대상 공격자점마다 유사성이 강한 방향을 판정하는 유사성판정수단과 유사성판정수단에 의한 판정결과에 따라서 보간대상 공격자점마다 보간량을 산출하는 보간량산출수단을 구비한 것을 특징으로 한다.
Description
전자스틸 카메라에는 칼라화상의 화상신호를 생성할 때, 단일 촬상소자를 이용하는 것이 있다. 이러한 촬상소자는 예를 들면 도 22A에 도시한 바와 같이 RGB(적색·녹색·청색)의 3색 칼라필터가 베이어 배열되어 구성된다. 여기에서 녹색(G)에 주목하면, 촬상소자는 도 22B에 도시한 바와 같이 녹색을 출력하는 화소인 격자점과 녹색을 출력하지 않는 화소인 공격자점으로 구성되어 있다고 말할 수 있다. 이러한 전자스틸 카메라에서는 공격자점에 있어서 녹색의 색정보를 얻기 위해서 보간처리를 실시할 필요가 있다. 종래부터 이러한 보간처리의 방법으로서는 보간처리의 대상이 되는 공격자점(이하, 보간대상 공격자점이라고 칭한다)의 공간적인 유사성이 강한 방향의 판정을 실시하고, 그 방향에 인접하는 격자점의 색정보를 이용하여 보간량을 산출하는 방법이 고려되고 있다.
미국 특허 제 5,629,734호 명세서 및 미국 특허 제 5,652,621호 명세서에는 유사성이 강한 방향의 판정을 실시할 때에 이용하는 복수의 방향에 대한 유사도를 산출하기 위한 기술이 개시되어 있다.
예를 들면, 보간대상 공격자점을 중심으로 색정보가 [A1, G2, A3, G4, A5]와 같이 배치되어 있는 경우(단, A1, A3, A5는 보간대상 공격가점과 동색의 색정보를 나타내고, G2, G4는 격자점의 색정보를 나타낸다). “G2”를 출력하는 격자점과 “G4”를 출력하는 격자점이 위치하는 방향에 대한 보간대상 공격자점의 유사도(C)는 미국 특허 제 5,629,734호 명세서에 개시된 기술에서는 하기의 수학식 c-1에 따라서 산출되고, 미국 특허 제 5,652,621호 명세서에 개시된 기술에서는 수학식 c-2에 따라 산출된다.
단, 수학식 c-2에 있어서 bias는
을 만족하는 값이며, bias'는 A1의 유사도를 산출할 때의 bias이며, G1은 A1의 보간처리에 따라 얻어진 보간량이다.
본 출원은 일본 특허출원 평성 10년 제 151278호(평성 10년 6월 1일 출원), 일본 특허출원 평성 10년 제 277166호(평성 10년 9월 30일 출원), 일본 특허출원 평성 11년 제145473호(평성 11년 5월 25일 출원)을 기초로 하며 그 내용은 인용문으로서 여기에 조합한다.
본 발명은 공간주파수가 가장 높은 제 1 색성분의 색정보를 출력하는 복수의 격자점과 상기 제 1 색성분의 색정보를 출력하지 않고 상기 제 1 색성분보다도 공간주파수가 낮은 제 2 색성분 또는 제 3 색성분의 색정보를 출력하는 복수의 공격자점이 2차원 배열된 촬상소자에 의해 생성되는 화상에 대하여 각각의 공격자점의 제 1 색성분의 색정보에 상당하는 보간량을 구하는 보간처리를 실시하는 보간처리장치 및 상기 보간처리를 컴퓨터에서 실행시키는 보간처리 프로그램을 기록한 기록매체에 관한 것이다.
도 1은 제 1 실시형태 내지 제 6 실시형태에 대응하는 전자스틸 카메라의 기능블럭도,
도 2는 격자점의 색정보와 공격자점의 보간량을 나타내는 도면,
도 3은 전자스틸 카메라의 동작 플로우차트,
도 4는 제 1 실시형태 내지 제 5 실시형태의 보간처리의 동작 플로우차트,
도 5A∼도 5F는 제 1 유사도 성분 내지 제 5 유사도 성분의 산출시에 이용하는 색정보를 나타내는 도면,
도 6A, 도 6B는 화상의 예를 나타내는 도면,
도 7은 제 1 유사도 성분 내지 제 5 유사도 성분에 대한 위색저감효과를 나타내는 개념도,
도 8A, 도 8B는 종방향의 유사도 성분의 산출시에 주변의 색정보를 이용하는 예를 나타내는 도면(1),
도 9A, 도 9B는 종방향의 유사도 성분의 산출시에 주변의 색정보를 이용하는 예를 나타내는 도면(2),
도 10은 종방향의 유사도 성분의 산출시에 주변의 색정보를 이용하는 예를 나타내는 도면(3),
도 11A∼도 11C은 흑백 나이키스트 줄무늬에 대한 유사도 성분의 산출을 설명하는 도면,
도 12A∼도 12C는 시안의 종방향 스트라이프에 대한 유사도 성분의 산출을 설명하는 도면,
도 13은 제 6 실시형태의 보간처리의 동작 플로우차트,
도 14는 제 7 실시형태 내지 제 10 실시형태에 대응하는 전자스틸 카메라의 기능 블럭도,
도 15는 제 7 실시형태의 보간처리의 동작 플로우차트,
도 16은 f(x)의 그래프 형상을 나타내는 도면,
도 17은 제 8 실시형태의 보간처리의 동작 플로우차트,
도 18은 제 9 실시형태의 보간처리의 동작 플로우차트,
도 19는 제 10 실시형태의 보간처리의 동작 플로우차트,
도 20은 제 11 실시형태의 기능 블럭도,
도 21은 제 11 실시형태의 동작 플로우차트, 및
도 22A, 도 22B는 촬상소자의 구성을 나타내는 도면이다.
미국 특허 제 5,629,734호 명세서에 개시된 기술에서는 한 화소 걸러 동색의 색정보를 비교한 결과(이하, 동색계 유사도 성분이라 칭한다:수학식 c-1의 ｜-A1+2A3-A5｜나 ｜G2-G4｜에 상당한다)를 가산하여 보간대상 공격자점의 유사도로 하고 있다. 그 때문에 미국 특허 제 5,629,734호 명세서에 개시된 기술에서는 동색의 색정보가 배치된 간격(화소의 간격의 2배에 상당한다)보다도 미세하게 변화하는 화상(공간주파수가 높은 화상)에 대해서는 유사도를 정확히 산출할 수 없기 때문에 유사성이 강한 방향의 판정을 정밀하게 실시할 수 없으며 위색(僞色)이 발생할 가능성이 높다.
한편, 미국 특허 제 5,652,621호 명세서에 개시된 기술에서는 동색계 유사도 성분(수학식 c-2의 ｜-A1+2A3-A5｜나 ｜G2-G4｜에 상당) 외에 서로 인접하는 화소의 색정보를 비교한 결과(이하, 이색계(異色系) 유사도 성분이라 칭한다:수학식 c-2의 ｜-G2+2(A3+bias)-G4｜에 상당)를 포함하는 수학식 c-2에 따라 유사도를 산출하기 때문에 상술한 바와 같은 공간주파수가 높은 화상에서 발생하는 위색을 저감하는 것이 가능하다.
그러나, 미국 특허 제 5,652,621호 명세서에 개시된 기술에서는 이색계 유사도 성분으로서 동일 직선상에 배치된 2색의 색정보(보간대상 공격자점과 동색의 색정보 및 격자점의 색정보)를 비교한 결과밖에 이용하지 않기 때문에, 자연화에 있어서 경계부분과 같이 색조가 변화하는 부분(3색의 색정보의 비율이 변화하는 화상)에 대해서는 유사도를 정확히 산출할 수 없고, 동색계 유사도 성분이 정확히 산출되어도 이색계 유사도 성분의 영향이 동색계 유사도 성분의 영향보다도 강하게 나타나 유사성이 강한 방향을 정확히 판정할 수 없게 되고, 위색이 발생할 가능성이 높다. 즉, 상술한 각 미국 특허명세서에 개시된 기술에서는 공간주파수가 높은 부분화상과 색조가 변화하는 부분 화상으로 이루어지는 화상이 보간처리의 대상이 되는 경우, 양쪽의 부분화상의 유사도를 정확히 산출할 수 없고, 한쪽의 부분화상에서 발생한 위색이 눈에 띄게 되어 화상 전체의 조화가 무너질 가능성이 있다.
또한, 미국 특허 제 5,652,621호 명세서에 개시된 기술에서는 이색계 유사도 성분이 G1(A1에서 보간량)이나 bias'(A1에서 bias)를 이용하여 산출되기 때문에, 일단 틀린 유사도 성분이 산출되면 그 오류가 이후에 산출되는 유사도 성분에 파급하게 되고, 위색이 발생하는 범위가 확대될 우려가 있다.
즉, 미국 특허 제 5,652,621호 명세서에 개시된 기술에서는 최악의 경우 보간처리를 실시함으로써 오히려 화상이 열화하게 된다.
그래서, 본원의 발명은 보간대상 공격자점의 유사성이 강한 방향을 정확히 판정하고, 보간량을 높은 정밀도로 구할 수 있는 보간처리장치를 제공하는 것을 목적으로 한다. 또, 보간대상 공격자점의 유사성이 강한 방향을 정확히 판정하고, 보간량을 높은 정밀도로 구할 수 있는 보간처리 프로그램을 기록한 기록매체를 제공하는 것을 목적으로 한다.
청구항 1에 기재된 보간처리장치는 보간처리의 대상이 되는 보간대상 공격자점마다 제 1 색성분 내지 제 3 색성분의 3색의 색정보를 이용하여 복수의 방향에 대한 유사도를 산출하는 유사도 산출수단(도 1의 유사도 산출부(20)에 상당), 유사도 산출수단에 의해 산출된 복수의 방향에 대한 유사도에 기초하여 보간대상 공격자점마다 유사성이 강한 방향을 판정하는 유사성 판정수단(도 1의 유사성 판정부(21)에 상당) 및 유사성 판정수단에 의한 판정결과에 따라서 보간대상 공격자점마다 보간량을 산출하는 보간량 산출수단(도 1의 보간량 산출부(22)에 상당)를 구비한 것을 특징으로 한다.
청구항 2에 기재된 보간처리장치는 청구항 1에 기재된 보간처리장치에 있어서 유사도 산출수단은 보간대상 공격자점과 상기 보간대상 공격자점의 근방에 위치하는 격자점 및 공격자점에서 출력되는 제 1 색성분 내지 제 3 색성분의 색정보에 기초하여 「제 1 색성분의 색정보와 제 2 색성분의 색정보를 이용한 유사도 성분」과 「제 1 색성분의 색정보와 제 3 색성분의 색정보를 이용한 유사도 성분」의 2종류의 유사도 성분을 복수의 방향마다 산출하여 상기 2종류의 유사도 성분에서 유사도를 산출하는 것을 특징으로 한다.
청구항 3에 기재된 보간처리장치는 청구항 1에 기재된 보간처리장치에 있어서, 유사도 산출수단은 보간대상 공격자점과 상기 보간대상 공격자점의 근방에 위치하는 격자점 및 공격자점에서 출력되는 제 1 색성분 내지 제 3 색성분의 색정보에 기초하여 (a)「제 1 색성분의 색정보와 제 2 색성분의 색정보를 이용한 유사도 성분」과 「제 1 색성분의 색정보와 제 3 색성분의 색정보를 이용한 유사도 성분」의 2종류의 유사도 성분과, (b)「제 1 색성분의 색정보만을 이용한 유사도 성분」과 「제 2 색성분의 색정보만을 이용한 유사도 성분」과 「제 3 색성분의 색정보만을 이용한 유사도 성분」의 적어도 1종류의 유사도 성분을 합친 3종류이상의 유사도 성분을 복수의 방향마다 산출하여, 상기 3종류 이상의 유사도 성분으로부터 유사도를 산출하는 것을 특징으로 한다.
청구항 4에 기재된 보간처리장치는 보간처리의 대상이 되는 보간대상 공격자점마다 복수의 방향에 대한 유사도를 하기와 같이 산출하는 유사도 산출수단(도 1의 유사도 산출부(20)에 상당), 유사도 산출수단에 의해 산출된 복수의 방향에 대한 유사도에 기초하여 보간대상 공격자점마다 유사성이 강한 방향을 판정하는 유사성 판정수단(도 1의 유사성 판정부(21)에 상당) 및 유사성 판정수단에 의한 판정결과에 따라서 보간대상 공격자점마다 보간량을 산출하는 보간량 산출수단(도 1의 보간량 산출부(22)에 상당)를 구비하고, 유사도 산출수단은 보간대상 공격자점과 상기 보간대상 공격자점의 근방에 위치하는 격자점 및 공격자점에서 출력되는 제 1 색성분 내지 제 3 생성분의 색정보에 기초하여,
(a)「보간대상 공격자점의 색성분과는 다른 색성분을 출력하는 공격자점의 색정보와 제 1 색성분의 색정보를 이용한 유사도 성분」과, (b)「제 1 색성분의 색정보만을 이용한 유사도 성분」과 「제 2 색성분의 색정보만을 이용한 유사도 성분」과 「제 3 색성분의 색정보만을 이용한 유사도 성분」의 적어도 1종류의 유사도 성분을 합친 2종류 이상의 유사도 성분을 복수의 방향마다 산출하여 상기 2종류 이상의 유사도 성분으로부터 유사도를 산출하는 것을 특징으로 한다.
청구항 5에 기재된 보간처리장치는 보간처리의 대상이 되는 보간대상 공격자점마다 복수의 방향에 대한 유사도를 하기와 같이 산출하는 유사도 산출수단(도 1의 유사도 산출부(20)에 상당), 유사도 산출수단에 의해 산출된 복수의 방향에 대한 유사도에 기초하여 보간대상 공격자점마다 유사성이 강한 방향을 판정하는 유사성 판정수단(도 1의 유사성 판정부(21)에 상당) 및 유사성 판정수단에 의한 판정결과에 따라서 보간대상 공격자점마다 보간량을 산출하는 보간량 산출수단(도 1의 보간량 산출부(22)에 상당)을 구비하고, 유사도 산출수단은 보간대상 공격자점과 상기 보간대상 공격자점의 근방에 위치하는 격자점 및 공격자점에서 출력되는 제 1 색성분 내지 제 3 색성분의 색정보에 기초하여,
(a)「보간대상 공격자점의 색정보와 제 1 색성분의 색정보를 이용한 유사도 성분」과, (b)「제 1 색성분의 색정보만을 이용한 유사도 성분」과 「제 2 색성분의 색정보만을 이용한 유사도 성분」과 「제 3 색성분의 색정보만을 이용한 유사도 성분」의 적어도 1종류의 유사도 성분을 합친 2종류 이상의 유사도 성분을 복수의 방향마다 산출하고, 상기 2 종류 이상의 유사도 성분에서 유사도를 산출하고, 「보간대상 공격자점의 색정보와 제 1 색성분의 색정보를 이용한 유사도 성분」을 a1｜G1-A2｜+a2｜G3-A2｜에 의해 산출하는(단, G1, G3은 보간대상 공격자점을 사이에 두고 동일 직선상에 위치하는 2개의 격자점의 색정보이며, A2는 보간대상 공격자점의 색정보이며, a1, a2는 정수이며, a1, a2의 적어도 한쪽은 0이 아니다) 것을 특징으로 한다.
청구항 6에 기재된 보간처리장치는 청구항 2 내지 청구항 5 중 어느 한 항에 기재된 보간처리장치에 있어서, 유사도 산출수단은 복수의 방향마다 산출한 복수종류의 유사도 성분을 동일 방향마다 가중 가산함으로써 조합하고, 보간대상 공격자점의 복수의 방향에 대한 유사도를 산출하는 것을 특징으로 한다.
청구항 7에 기재된 보간처리장치는 보간처리의 대상이 되는 보간대상 공격자점과 상기 보간대상 공격자점의 근방에 위치하는 격자점 및 공격자점에서 출력되는 제 1 색성분 내지 제 3 색성분의 색정보에 기초하여 보간대상 공격자점마다 복수의 방향에 대한 유사도로서 「제 1 색성분의 색정보와 제 2 색성분의 색정보를 이용한 유사도」와 「제 1 색성분의 색정보와 제 3 색성분의 색정보를 이용한 유사도」와 「제 1 색성분의 색정보만을 이용한 유사도」와 「제 2 색성분의 색정보만을 이용한 유사도」와 「제 3 색성분의 색정보만을 이용한 유사도」의 적어도 2종류의 유사도를 산출하는 유사도 산출수단(도 1의 유사도 산출부(20)에 상당), 유사도 산출수단에 의해 보간대상 공격자점마다 산출된 복수의 방향에 대한 복수종류의 유사도 중, 동일 종류의 유사도의 대소를 각각의 방향마다 비교하여 각각의 종류마다 유사성이 강한 방향을 결정하고, 어떠한 방향이 다수를 차지하는지에 따라 보간대상 공격자점의 유사성이 강한 방향을 판정하는 유사성 판정수단(도 1의 유사성 판정부(21)에 상당) 및 유사성 판정수단에 의한 판정결과에 따라서 보간대상 공격자점마다 보간량을 산출하는 보간량 산출수단(도 1의 보간량 산출부(22)에 상당)을 구비한 것을 특징으로 한다.
청구항 8에 기재된 보간처리장치는 보간처리의 대상이 되는 보간대상 공격자점과 상기 보간대상 공격자점의 근방에 위치하는 격자점 및 공격자점에서 출력되는 색정보에 기초하여 보간대상 공격자점의 복수의 방향에 대한 유사도의 성분으로서 「보간대상 공격자점의 색정보와 제 1 색성분의 색정보를 이용한 유사도 성분」과 「제 1 색성분의 색정보만을 이용한 유사도 성분」의 2종류의 유사도 성분 중 적어도 1종류의 유사도 성분을 산출하고, 상기 적어도 1종류의 유사도 성분으로부터 보간대상 공격자점마다의 복수의 방향에 대한 유사도를 산출하는 유사도 산출수단(도 14의 유사도 산출부(31)에 상당), 유사도 산출수단에 의해 산출된 복수의 방향에 대한 유사도에 기초하여 보간대상 공격자점마다 유사성이 강한 방향을 판정하는 유사성 판정수단(도 14의 보간량 산출부(32)에 상당) 및 유사성 판정수단에 의한 판정결과에 따라서 보간대상 공격자점마다 보간량을 산출하는 보간량 산출수단(도 14의 보간량 산출부(32)에 상당)를 구비하고, 유사도 산출수단은 보간대상 공격자점의 주변부분의 화상의 특징을 추출하고, 상기 2종류의 유사도 성분 중, 상기 특징에 따라서 결정한 1종류의 유사도 성분을 산출하고, 상기 1종류의 유사도 성분을 유사도로 하거나 또는 상기 2종류의 유사도를 산출하고, 상기 2종류의 유사도 성분을 상기 특징에 따라서 무게 비중을 바꾸면서 가중 가산하여 유사도를 산출하는 것을 특징으로 한다.
청구항 9에 기재된 보간처리장치는 보간처리의 대상이 되는 보간대상 공격자점과 상기 보간대상 공격자점의 근방에 위치하는 격자점 및 공격자점에서 출력되는 색정보에 기초하여 보간대상 공격자점의 복수의 방향에 대한 유사도의 성분으로서 「보간대상 공격자점의 색정보와 제 1 색성분의 색정보를 이용한 유사도 성분」과 「제 1 색성분의 색정보만을 이용한 유사도 성분」의 2종류의 유사도 성분 중 적어도 1종류의 유사도 성분을 산출하고, 상기 적어도 1종류의 유사도 성분에서 보간대상 공격자점마다의 복수의 방향에 대한 유사도를 산출하는 유사도 산출수단(도 14의 유사도 산출부(31)에 상당), 유사도 산출수단에 의해 산출된 복수의 방향에 대한 유사도에 기초하여 보간대상 공격자점마다 유사성이 강한 방향을 판정하는 유사성 판정수단(도 14의 보간량 산출부(32)에 상당), 유사성 판정수단에 의한 판정결과에 따라서 보간대상 공격자점마다 보간량을 산출하는 보간량 산출수단(도 14의 보간량 산출부(32)에 상당) 및 상기 2종류의 유사도 성분 중 어느 한쪽의 유사도 성분을 산출할지를 나타내는 제 1 지시, 또는 상기 2종류의 유사도 성분을 가중 가산할 때의 무게 비중을 나타내는 제 2 지시를 받는 인터페이스수단(도 14의 인터페이스부(18)에 상당)를 구비하고, 상기 유사도 산출수단은 상기 인터페이스수단에 의해 제 1 지시를 받은 경우에는 제 1 지시에 대응하는 1종류의 유사도 성분을 산출하여 상기 유사도로 하고, 상기 인터페이스수단에 의해 제 2 지시를 받은 경우에는 제 2 지시에 따라서 상기 2종류의 유사도 성분을 가중 가산하여 상기 유사도를 산출하는 것을 특징으로 한다.
청구항 10에 기재된 보간처리장치는 청구항 8에 기재된 보간처리장치에 있어서 유사도 산출수단은 보간대상 공격자점의 주변부분의 화상의 특징으로서 보간대상 공격자점에서 직교하는 2개의 방향 중, 제 1 방향에 위치하는 복수의 격자점의 색정보가 매우 유사하고 제 2 방향에 위치하는 복수의 격자점의 색정보가 매우 유사하고, 또한 제 1 방향에 위치하는 격자점의 색정보와 제 2 방향에 위치하는 격자점의 색정보의 차이가 큰 경우, 「보간대상 공격자점의 색정보와 제 1 색성분의 색정보를 이용한 유사도」를 산출하는 것을 특징으로 한다.
청구항 11에 기재된 보간처리장치는 청구항 1 내지 청구항 10 중 어느 한 항에 기재된 보간처리장치에 있어서, 유사도 산출수단은 보간대상 공격자점의 유사도로서 보간대상 공격자점의 근방에 위치하는 공격자점의 유사도의 성분을 포함하는 값을 산출하는 것을 특징으로 한다.
청구항 12에 기재된 보간처리장치는 청구항 1 내지 청구항 6, 청구항 8 내지 청구항 11 중 어느 한 항에 기재된 보간처리장치에 있어서, 유사성 판정수단은 유사성이 강한 방향의 판정 시에 각각의 방향 사이의 유사도의 차이가 소정의 임계값을 상회하는지 여부를 판정하고, 상기 차이가 상기 임계값을 상회하지 않는 방향에 대해서는 유사성이 같은 정도라고 판정하는 것을 특징으로 한다.
청구항 13에 기재된 보간처리장치는 청구항 1 내지 청구항 12 중 어느 한 항에 기재된 보간처리장치에 있어서, 보간량 산출수단은 유사성 판정수단에 의해 복수의 방향 중, 어느 한 방향에 대한 유사성의 세기가 돌출하고 있다고 판정된 경우, 돌출하는 방향에 위치하는 2개의 격자점의 색정보의 값의 평균값을 보간량으로 하고, 복수의 방향에 대한 유사성이 균형적이라고 판정된 경우, 어느 한 방향에 위치하는 2개의 격자점의 색정보 값의 평균값을 산출하는 이외의 방법으로 보간량을 결정하는 것을 특징으로 한다.
청구항 14에 기재된 보간처리 프로그램을 기록한 기록매체는 보간처리의 대상이 되는 보간대상 공격자점마다 제 1 색성분 내지 제 3 색성분의 3색의 색정보를 이용하여 복수의 방향에 대한 유사도를 산출하는 유사도 산출수순(도 4의 S2∼S3에 상당), 유사도 산출수순에 따라서 산출된 복수의 방향에 대한 유사도에 기초하여 보간대상 공격자점마다 유사성이 강한 방향을 판정하는 유사성 판정수순(도 4의 S4에 상당) 및 유사성 판정수순에 따른 판정결과에 따라서 보간대상 공격자점마다 보간량을 산출하는 보간량 산출수순(도 4의 S5에 상당)을 구비한 것을 특징으로 한다.
청구항 15에 기재된 보간처리 프로그램을 기록한 기록매체는 보간처리의 대상이 되는 보간대상 공격자점마다 복수의 방향에 대한 유사도를 하기와 같이 산출하는 유사도 산출수순(도 4의 S2∼S3에 상당), 유사도 산출수순에 따라서 산출된 복수의 방향에 대한 유사도에 기초하여 보간대상 공격자점마다 유사성이 강한 방향을 판정하는 유사성 판정수순(도 4의 S4에 상당) 및 유사성 판정수순에 따른 판정결과에 따라서 보간대상 공격자점마다 보간량을 산출하는 보간량 산출수순(도 4의 S5에 상당)을 구비하고, 유사도 산출수순은 보간대상 공격자점과 상기 보간대상 공격자점의 근방에 위치하는 격자점 및 공격자점에서 출력되는 제 1 색성분 내지 제 3 색성분의 색정보에 기초하여 (a)「보간대상 공격자점의 색성분과는 다른 색성분을 출력하는 공격자점의 색정보와, 제 1 색성분의 색정보를 이용한 유사도 성분」과 (b)「제 1 색성분의 색정보만을 이용한 유사도 성분」과 「제 2 색성분의 색정보만을 이용한 유사도 성분」과 「제 3 색성분의 색정보만을 이용한 유사도 성분」의 적어도 1종류의 유사도 성분을 합친 2종류 이상의 유사도 성분을 복수의 방향마다 산출하여 상기 2종류 이상의 유사도 성분에서 유사도를 산출하는 것을 특징으로 한다.
청구항 16에 기재된 보간처리 프로그램을 기록한 기록매체는 보간처리의 대상이 되는 보간대상 공격자점마다 복수의 방향에 대한 유사도를 하기와 같이 산출하는 유사도 산출수순(도 4의 S2∼S3에 상당), 유사도 산출수순에 따라 산출된 복수의 방향에 대한 유사도에 기초하여 보간대상 공격자점마다 유사성이 강한 방향을 판정하는 유사성 판정수순(도 4의 S4에 상당) 및 유사성 판정수순에 따른 판정결과에 따라서 보간대상 공격자점마다 보간량을 산출하는 보간량 산출수순(도 4의 S5에 상당)를 구비하고, 유사도 산출수순은 보간대상 공격자점과 상기 보간대상 공격자점의 근방에 위치하는 격자점 및 공격자점에서 출력되는 제 1 색성분 내지 제 3 색성분의 색정보에 기초하여 (a)「보간대상 공격자점의 색정보와 제 1 색성분의 색정보를 이용한 유사도 성분」과, (b)「제 1 색성분의 색정보만을 이용한 유사도 성분」과 「제 2 색성분의 색정보만을 이용한 유사도 성분」과 「제 3 색성분의 색정보만을 이용한 유사도 성분」의 적어도 1종류의 유사도 성분을 합친 2종류 이상의 유사도 성분을 복수의 방향마다 산출하여, 상기 2종류 이상의 유사도 성분에서 유사도를 산출하고, 「보간대상 공격자점의 색정보와 제 1 색성분의 색정보를 이용한 유사도 성분」을 a1｜G1-A2｜+a2｜G3-A2｜에 따라 산출하는(단, G1, G3은 보간대상 공격자점을 사이에 두고 동일 직선상에 위치하는 2개의 격자점의 색정보이며, A2는 보간대상 공격자점의 색정보이며, a1, a2는 정수이며, a1, a2의 적어도 한쪽은 0이 아니다) 것을 특징으로 한다.
청구항 17에 기재된 보간처리 프로그램을 기록한 기록매체는 보간처리의 대상이 되는 보간대상 공격자점과 상기 보간대상 공격자점의 근방에 위치하는 격자점 및 공격자점에서 출력되는 제 1 색성분 내지 제 3 색성분의 색정보에 기초하여 보간대상 공격자점마다 복수의 방향에 대한 유사도로서 「제 1 색성분의 색정보와 제 2 색성분의 색정보를 이용한 유사도」와 「제 1 색성분의 색정보와 제 3 색성분의 색정보를 이용한 유사도」와 「제 1 색성분의 색정보만을 이용한 유사도」와 「제 2 색성분의 색정보만을 이용한 유사도」와 「제 3 색성분의 색정보만을 이용한 유사도」의 적어도 2종류의 유사도를 산출하는 유사도 산출수순(도 13의 S2∼S101에 상당), 유사도 산출수순에 따라서 보간대상 공격자점마다 산출된 복수의 방향에 대한 복수종류의 유사도 중, 동일 종류의 유사도의 대소를 각각의 방향마다 비교하여 각각의 종류마다 유사성이 강한 방향을 결정하고, 어느 방향이 다수를 차지하는지에 따라서 보간대상 공격자점과의 유사성이 강한 방향을 판정하는 유사성 판정수순(도 13의 S102∼S103에 상당) 및 유사성 판정수순에 따른 판정결과에 따라서 보간대상 공격자점마다 보간량을 산출하는 보간량 산출수순(도 13의 S5에 상당)를 구비한 것을 특징으로 한다.
청구항 18에 기재된 보간처리 프로그램을 기록한 기록매체는 보간처리의 대상이 되는 보간대상 공격자점과 상기 보간대상 공격자점의 근방에 위치하는 격자점 및 공격자점에서 출력되는 색정보에 기초하여, 보간대상 공격자점의 복수의 방향에 대한 유사도의 성분으로서 「보간대상 공격자점의 색정보와 제 1 색성분의 색정보를 이용한 유사도 성분」과 「제 1 색성분의 색정보만을 이용한 유사도 성분」과의 2종류의 유사도 성분 중, 적어도 1종류의 유사도 성분을 산출하고, 상기 적어도 1종류의 유사도 성분에서 보간대상 공격자점마다 복수의 방향에 대한 유사도를 산출하는 유사도 산출수순(도 15의 S5 또는 S6, 또는 도 18의 S5∼S6에 상당), 유사도 산출수순에 따라서 산출된 복수의 방향에 대한 유사도에 기초하여 보간대상 공격자점마다 유사성이 강한 방향을 판정하는 유사성 판정수순(도 15의 S7∼S8, 또는 도 18의 S7에 상당), 및 유사성 판정수순에 따른 판정결과에 따라서 보간대상 공격자점마다 보간량을 산출하는 보간량 산출수순(도 15의 S9∼S11 또는 도 18의 S7에 상당)를 구비하고, 유사도 산출수순은 보간대상 공격자점의 주변부분의 화상의 특징을 추출하고, 상기 2종류의 유사도 성분 중, 상기 특징에 따라서 결정한 1종류의 유사도 성분을 산출하고, 상기 1종류의 유사도 성분을 유사도로 하거나 또는 상기 2 종류의 유사도를 산출하고, 상기 2종류의 유사도 성분을 상기 특징에 따라서 무게 비중을 바꾸면서 가중 가산하여 유사도를 산출하는 것을 특징으로 한다.
청구항 19에 기재된 보간처리 프로그램을 기록한 기록매체는 보간처리의 대상이 되는 보간대상 공격자점과 상기 보간대상 공격자점의 근방에 위치하는 격자점 및 공격자점에서 출력되는 색정보에 기초하여 보간대상 공격자점의 복수의 방향에 대한 유사도의 성분으로서 「보간대상 공격자점의 색정보와 제 1 색성분의 색정보를 이용한 유사도 성분」과 「제 1 색성분의 색정보만을 이용한 유사도 성분」의 2종류의 유사도 성분 중, 적어도 1종류의 유사도 성분을 산출하고, 상기 적어도 1종류의 유사도 성분으로부터 보간대상 공격자점마다의 복수의 방향에 대한 유사도를 산출하는 유사도 산출수순(도 17의 S3∼S4 또는 S8∼S9 또는 도 19의 S5∼S6에 상당), 유사도 산출수순에 따라 산출된 복수의 방향에 대한 유사도에 기초하여 보간대상 공격자점마다 유사성이 강한 방향을 판정하는 유사성 판정수순(도 17의 S5 또는 S10, 또는 도 19의 S7에 상당), 유사성 판정수순에 따른 판정결과에 따라서 보간대상 공격자점마다 보간량을 산출하는 보간량 산출수순(도 17의 S5 또는 S10, 또는 도 19의 S7에 상당) 및 상기 2종류의 유사도 성분 중, 어느 한쪽의 유사도 성분을 산출할지를 나타내는 제 1 지시 또는 상기 2종류의 유사도 성분을 가중 가산할 때의 무게 비중을 나타내는 제 2 지시를 받는 인터페이스수순(도 17의 S1 또는 도 19의 S1)을 구비하고, 상기 유사도 산출수순은 상기 인터페이스수순에 따라서 제 1 지시를 받은 경우에는 제 1 지시에 대응하는 1종류의 유사도 성분을 산출하여 상기 유사도로 하고, 상기 인터페이스수순에 따라서 제 2 지시를 받은 경우에는 제 2 지시에 따라서 상기 2종류의 유사도 성분을 가중 가산하여 상기 유사도를 산출하는 것을 특징으로 한다.
또한 보간대상 공격자점이 제 2 색성분의 색정보를 출력하는 경우, 청구항 2 및 청구항 3에 기재된 「제 1 색성분의 색정보와 제 2 색성분의 색정보를 이용한 유사도 성분」과 청구항 7 및 청구항 17에 기재된 「제 1 색성분의 색정보와 제 2 색성분의 색정보를 이용한 유사도」는 후술하는 제 1 유사도 성분(Ct(1)(i,j), Cy(1)(i, j))에 대응하고, 청구항 5 및 청구항 16에 기재된 「보간대상 공격자점의 색정보와 제 1 색성분의 색정보를 이용한 유사도 성분」은 후술하는 제 1 유사도 성분(Ct(1)(i,j), Cy(1)(i, j)) 중, 적어도 Ct(1-1)(i,j)의 값을 포함하는 Ct(1)(i, j)나 적어도 Cy(1-1)(i, j)의 값을 포함하는 Cy(1)(i, j)에 대응한다.
또, 보간대상 공격자점이 제 2 색성분의 색정보를 출력하는 경우, 청구항 2 및 청구항 3에 기재된 「제 1 색성분의 색정보와 제 3 색성분의 색정보를 이용한 유사도 성분」과 청구항 4 및 청구항 15에 기재된 「보간대상 공격자점의 색성분과는 다른 색성분을 출력하는 공격자점의 색정보와 제 1 색성분의 색정보를 이용한 유사도 성분」과 청구항 7 및 청구항 17에 기재된 「제 1 색성분의 색정보와 제 3 색성분의 색정보를 이용한 유사도」는 후술하는 제 2 유사도 성분(Ct(2)(i, j), Cy(2)(i, j))에 대응한다.
또한 보간대상 공격자점이 제 2 색성분의 색정보를 출력하는 경우, 청구항 3, 청구항 4, 청구항 5, 청구항 15 및 청구항 16에 기재된 「제 1 색성분의 색정보만을 이용한 유사도 성분」과, 청구항 7 및 청구항 17에 기재된 「제 1 색성분의 색정보만을 이용한 유사도」는 후술하는 제 3 유사도 성분(Ct(3)(i, j), Cy(3)(i, j))에 대응한다. 또, 보간대상 공격자점이 제 2 색성분의 색정보를 출력하는 경우, 청구항 3, 청구항 4, 청구항 5, 청구항 15 및 청구항 16에 기재된 「제 3 색성분의 색정보만을 이용한 유사도 성분」과, 청구항 7 및 청구항 17에 기재된 「제 3 색성분의 색정보만을 이용한 유사도」는 후술하는 제 4 유사도 성분(Ct(4)(i, j), Cy(4)(i, j))에 대응한다. 또한, 보간대상 공격자점이 제 2 색성분의 색정보를 출력하는 경우, 청구항 3, 청구항 4, 청구항 5, 청구항 15 및 청구항 16에 기재된 「제 2 색성분의 색정보만을 이용한 유사도 성분」이나 청구항 7 및 청구항 17에 기재된 「제 2 색성분의 색정보만을 이용한 유사도」는 후술하는 제 5 유사도 성분(Ct(5)(i, j), Cy(5)(i, j))에 대응한다.
또, 청구항 8, 청구항 9, 청구항 18 및 청구항 19에 기재된 「제 1 색성분의 색정보만을 이용한 유사도 성분」은 후술하는 C1(i, j) 및 C2(i, j)에 대응한다.
또한, 청구항 8 내지 청구항 10, 청구항 18 및 청구항 19에 기재된 「보간대상 공격자점의 색정보와 제 1 색성분의 색정보를 이용한 유사도 성분」은 후술하는 D1(i, j) 및 D2(i, j)에 대응한다.
또한 청구항 11에 기재된 발명에 의해 산출되는 유사도는 후술하는 수학식 t1-3, 수학식 t2-2, 수학식 t3-2, 수학식 t4-2, 수학식 t5-2에 따라 산출되는 각각의 유사도 성분으로 구성되는 유사도나, 수학식 15, 수학식 16, 수학식 23, 수학식 24에 따라 산출되는 값으로 구성되는 유사도에 대응한다.
상술한 바와 같이 청구항 1 내지 청구항 19에 기재된 발명에 의하면 보간처리를 정밀하게 실시할 수 있다.
특히 청구항 1 내지 청구항 3 및 청구항 14에 기재된 발명에서는 3색의 색정보를 이용하여 복수의 방향에 대한 유사도를 산출하기 때문에 색조가 변화하는 화상(3색의 색정보의 비율이 변화하는 화상)이라도 유사도를 정확히 판정할 수 있다. 또, 청구항 1 내지 청구항 3 및 청구항 14에 기재된 발명에서는 3색의 색정보로서 보간대상 공격자점의 색정보나 보간대상 공격자점에 인접하는 격자점이나 공격자점의 색정보를 이용하여 유사도를 산출하는 것이 가능하기 때문에 공간주파수가 높은 화상이라도 유사성을 정확하게 판정할 수 있다. 따라서, 청구항 1 내지 청구항 3 및 청구항 14에 기재된 발명에 의하면 보간처리를 실시해야 하는 화상에 「색조가 변화하는 부분」이나 「공간주파수가 높은 부분」이 혼재하는 경우라도 화상 전체의 조화를 유지하면서 정밀하게 보간처리를 실시할 수 있다.
또, 청구항 4 및 청구항 15에 기재된 발명에서는 유사도를 산출할 때에 보간대상 공격자점과는 다른 색성분을 출력하는 공격자점의 색정보를 이용하기 때문에 종래의 보간처리에서는 위색이 발생하고 있던 화상에 대하여 유사성을 정확히 판정하는 것이 가능해지고, 보간처리의 정밀도를 향상시킬 수 있다.
또한, 청구항 5 및 청구항 16에 기재된 발명에서는 유사도를 산출할 때에 다른 공격자점에서 보간량을 이용하는 일이 없기 때문에 보간처리에 따라 만일 위색이 발생하여도 위색이 발생하는 범위가 확대되는 일이 없고, 종래 기술과 비교하여 보간처리의 정밀도를 향상시킬 수 있다.
또, 청구항 8 및 청구항 18에 기재된 발명에서는 보간대상 공격자점의 주변부분의 화상의 특징에 따라서 유사도의 산출 방법을 전환함으로써 화상전체의 조화를 유지하면서 정밀하게 보간처리를 실시할 수 있다. 또한 청구항 8 및 청구항 18에 기재된 발명에서는 2종류의 유사도 성분을 가중 가산할 때의 무게가중계수를 보간대상 공격자점의 주변부분의 화상의 특징에 따라서 결정할 수 있기 때문에 화상전체의 조화를 유지하면서 정밀하게 보간 처리를 실시할 수 있다.
또, 청구항 9 및 청구항 19에 기재된 발명에서는 외부로부터의 지시에 기초하여 2종류의 유사도 성분 중 어느 유사도 성분을 유사도로 할지를 결정하거나, 2종류의 유사도 성분을 가중 가산할 때의 무게가중계수를 결정할 수 있기 때문에 보간처리의 정밀도를 향상시킬 수 있다.
또한 청구항 11에 기재된 발명에 의하면 보간대상 공격자점과 주변부분의 사이에서 유사성이 강한 방향의 연속성을 고려하면서 보간대상 공격자점의 유사도를 산출할 수 있기 때문에, 보간처리의 정밀도를 향상할 수 있다.
또, 청구항 12에 기재된 발명에 의하면 노이즈 등에 의해 발생하는 유사성의 오판정을 저감할 수 있기 때문에 보간처리의 정밀도를 향상할 수 있다.
이하, 도면에 기초하여 본 발명의 실시형태에 대해서 상세히 설명한다.
또한, 실시형태에 대해서는 발명에 관계되는 보간처리장치가 적용된 전자스틸 카메라를 이용하여 설명을 실시한다. 또, 후술하는 각 실시형태에서는 녹색을 출력하는 화소를 격자점으로 하고, 적색 또는 청색을 출력하는 화소를 녹색에 관한 공격자점으로 한다. 즉, 후술하는 각 실시형태에서 보간처리는 이들 공격자점의 녹색의 색정보에 상당하는 보간량을 구하는 처리에 상당한다. 또한 후술하는 각 실시형태에서는 보간처리를 실시할 때에 이용하는 복수의 방향에 대한 유사도로서 종방향의 유사도와 횡방향의 유사도를 산출한다.
도 1은 제 1 실시형태 내지 제 6 실시형태에 대응하는 전자스틸 카메라의 기능블럭도이다.
도 1에서 제어부(10)는 촬영광학계(11), OLPF(광학적 저역통과 필터:Optical Low Pass Filter)(12), 촬상소자(13), A/D변환부(14), 화상버퍼메모리(15), 계조변환부(16), 화상처리부(17) 및 인터페이스부(18)에 접속된다.
화상처리부(17)는 보간처리부(19)를 갖고, 보간처리부(19)는 유사도 산출부(20), 유사성 판정부(21) 및 보간량 산출부(22)로 구성된다.
촬영광학계(11)에서 취득된 광학상은 OLPF(12)에 의해 필터링되고 촬상소자(13)에 부여된다.
또한 본 발명에서는 흑백 나이키스트 줄무늬(도 6A 참조) 등의 화상이 소멸하지 않을 정도의 그다지 강하지 않은 OLPF를 걸은 경우를 전제로 하고 있고, OLPF(12)를 설치하지 않고, 촬영광학계(11)에서 취득된 광학상이 촬상소자(13)에 직접 부여되어도 좋다.
촬상소자(13)의 출력은 A/D변환부(14)에 접속되고, A/D변환부(14)의 출력은 화상버퍼메모리(15)에 접속된다. 또, 화상버퍼메모리(15)의 출력은 계조변환부(16) 및 화상처리부(17)에 접속되고, 계조변환부(16)의 출력 및 화상처리부(17)의 출력은 화상버퍼메모리(15)에 접속된다.
또한 후술하는 각 실시형태에서는 촬상소자(13)로서 도 22A에 도시한 바와 같은 RGB의 3색 칼라필터가 베이어 배열된 구성의 촬상소자를 이용하고, 화상버퍼메모리(15)는 이들 3색에 대응하는 3개의 영역으로 구성된다.
또, 화상버퍼메모리(15)내의 녹색에 대응하는 영역은 A/D변환부(14)에 따라 생성된 녹색의 화상데이터 또는 계조변환부(16)에 의해 계조변환(log화 γ변환 등)된 녹색의 화상데이터를 격자점의 색정보로서 저장하는 영역과, 후술하는 보간처리에 의해 얻어지는 녹색의 화상데이터를 공격자점의 보간량으로서 저장하는 영역으로 구성된다.
또한, 이후의 설명을 간단히 하기 위해서 촬상소자(13)의 각 화소의 위치는 「우방향을 양으로 하는 횡축 X」와 「아래방향을 양으로 하는 종축 Y」로 구성되는 좌표계로 나타낸다. 또, 격자점의 색정보는 G(x, y)로 나타내고, 공격자점의 보간량은 G'(x, y)로 나타낸다.
도 2는 이러한 격자점의 색정보와 공격자점의 보간량을 나타내는 도면이다.
도면에 있어서 X_max는 X성분의 최대값을 나타내고, Y_max는 Y성분의 최대값을 나타낸다. 또, 후술하는 각 실시형태에서는 보간대상 공격자점의 좌표를 (i, j)로 나타낸다.
도 3은 전자스틸 카메라의 동작플로우차트이다.
도 4는 제 1 실시형태 내지 제 5 실시형태의 보간처리의 동작 플로우차트이다.
도 5A∼도 5F는 제 1 실시형태 내지 제 5 실시형태에 있어서, 제 1 유사도 성분 내지 제 5 유사도 성분(복수종류의 유사도 성분)의 산출시에 이용하는 색정보를 나타내는 도면이다.
또한 도 5A∼도 5F에 있어서 RB는 「R 또는 B」를 나타내고, RB는 「B 또는 R」을 나타낸다. 즉, RB가 R인 경우, BR은 B이며, RB가 B인 경우 BR은 R이다.
여기에서 제 1 실시형태 내지 제 5 실시형태의 설명을 간단하게 하기 위해, 유사도 산출부(20)에 의해 산출되는 제 1 유사도 성분 내지 제 5 유사도 성분(복수종류의 유사도 성분)의 산출방법을 설명한다. 또한 이하에서는 공격자점이나 격자점의 색정보를 각 좌표에 대응시켜 RB(i, j)나 G(i, j-1) 등으로 나타내는 것으로 한다.
우선, 보간대상 공격자점의 종방향의 제 1 유사도 성분 Ct(1)(i, j) 및 횡방향의 제 1 유사도 성분 Cy(1)(i, j)는 도 5A에 도시한 색정보에 기초하여, 하기 수학식 t1 및 수학식 y1에 의해 산출된다.
단, 수학식 t1 및 수학식 y1에 있어서, a1 (1), a2 (2), b1 (1), b2 (1)는 a1 (1)+a2 (1)=b1 (1)+b2 (1)=1을 만족하는 0∼1의 정수이며, 통상 a1 (1)=b1 (1), a2 (1)=b2 (1)을 만족하는 값이다. 단, 후술하는 각 실시형태에서는 a1 (1)=b1 (1)=1, a2 (1)=b2 (1)=0을 추장(推奬)한다. 또한 a1 (1)=b1 (1)=0, a2 (1)=b2 (1)=1이나 a1 (1)=b1 (1)=a2 (1)=b2 (1)=1/2이라도 좋다.
또 수학식 t1 및 수학식 y1에 있어서 Ct(1-1)(i, j) 및 Cy(1-1)(i, j)는
Ct(1-1)(i, j)=t(1-1)｜G(i, j-1)-RB(i, j)｜
+(1-t(1-1))｜G(i, j+1)-RB(i, j)｜
Cy(1-1)(i, j)=y(1-1)｜G(i-1, j)-RB(i, j)｜
+(1-y(1-1))｜G(i+1, j)-RB(i, j)｜
를 만족하는 값이다. 단, t(1-1)및 y(1-1)는 0∼1의 정수이다.
예를 들면 t(1-1)=y(1-1)=1/2로 하면,
Ct(1-1)(i, j)=(｜G(i, j-1)-RB(i, j)｜+｜G(i, j+1)-RB(i, j)｜)/2
Cy(1-1)(i, j)=(｜G(i-1, j)-RB(i, j)｜+｜G(i+1, j)-RB(i, j)｜)/2
가 된다.
또한, 수학식 t1 및 수학식 y1에 있어서 Ct(1-2)(i, j) 및 Cy(1-2)(i, j)는
Ct(1-2)(i, j)=｜(u(1-2)G(i, j-1)+(1-u(1-2))G(i, j+1))-RB(i, j)｜
Cy(1-2)(i, j)=｜(v(1-2)G(i-1, j)+(1-v(1-2))G(i+1, j))-RB(i, j)｜
를 만족하는 값이다. 단, u(1-2)및 v(1-2)는 0∼1의 정수이다.
예를 들면 u(1-2)=v(1-2)=1/2로 하면,
Ct(1-2)(i, j)=｜(G(i, j-1)+G(i, j+1))/2-RB(i, j)｜
Cy(1-2)(i, j)=｜(G(i-1, j)+G(i+1, j))/2-RB(i, j)｜
가 된다.
또한 종방향의 제 1 유사도 성분 Ct(1)(i, j) 및 횡방향의 제 1 유사도 성분 Cy(1)(i, j)는 도 5A에 대신하여 도 5B에 나타내는 색정보에 기초하여 산출하는 경우, 하기 수학식 t1-2 및 수학식 y1-2에 의해 산출하여도 좋다.
단, 수학식 t1-2 및 수학식 y1-2에 있어서 a1 (1), a2 (1), a3 (1), b1 (1), b2 (1), b3 (1)는 a1 (1)+a2 (1)+a3 (1)=b1 (1)+b2 (1)+b3 (1)=1을 만족하는 0∼1의 정수이며, 통상 a1 (1)=b1 (1), a2 (1)=b2 (1), a3 (1)=b3 (1)을 만족하는 값이다.
또, 수학식 t1-2 및 수학식 y1-2에 있어서 Ct(1-1)(i, j), Cy(1-1)(i, j), Ct(1-2)(i, j) 및 Cy(1-2)(i, j)는 상술한 수학식 t1 및 수학식 y1와 동일하게 산출된다.
또한 수학식 t1-2 및 수학식 y1-2에 있어서 Ct(1-3)(i, j) 및 Cy(1-3)(i, j)는
Ct(1-3)(i, j)=t(1-3)｜G(i, j-1)-RB(i, j-2)｜
+(1-t(1-3))｜G(i, j+1)-RB(i, j+2)｜
Cy(1-3)(i, j)=y(1-3)｜G(i-1, j)-RB(i-2, j)｜
+(1-y(1-3))｜G(i+1, j)-RB(i+2, j)｜
를 만족하는 값이다.
단, t(1-3)및 y(1-3)은 0∼1의 정수이다.
다음에, 보간대상 공격자점의 종방향의 제 2 유사도 성분 Ct(2)(i, j) 및 횡방향의 제 2 유사도 성분 Cy(2)(i, j)는 도 5C에 나타내는 색정보에 기초하여 하기 수학식 t2 및 y2에 의해 산출된다.
단, 수학식 t2 및 수학식 y2에 있어서, a1 (2), a2 (2), b1 (2), b2 (2)는 a1 (2)+a2 (2)=b1 (2)+b2 (2)=1을 만족하는 0∼1의 정수이며, 통상 a1 (2)=b1 (2), a2 (2)=b2 (2)를 만족하는 값이다. 단, 후술하는 각 실시형태에서는 a1 (2)=b1 (2)=1, a2 (2)=b2 (2)=0을 추장한다. 또한 a1 (2)=b1 (2)=0, a2 (2)=b2 (2)=1이나 a1 (2)=b1 (2)=a2 (2)=b2 (2)=1/2이라도 좋다.
또, 수학식 t2 및 수학식 y2에 있어서, Ct(2-1)(i, j) 및 Cy(2-1)(i, j)는
Ct(2-1)(i, j)=t1 (2-1)｜BR(i-1, j-1)-G(i-1, j)｜
+t2 (2-1)｜BR(i-1, j+1)-G(i-1, j)｜
+t3 (2-1)｜BR(i+1, j-1)-G(i+1, j)｜
+t4 (2-1)｜BR(i+1, j+1)-G(i+1, j)｜
Cy(2-1)(i, j)=y1 (2-1)｜BR(i-1, j-1)-G(i, j-1)｜
+y2 (2-1)｜BR(i+1, j-1)-G(i, j-1)｜
+y3 (2-1)｜BR(i-1, j+1)-G(i, j+1)｜
+y4 (2-1)｜BR(i+1, j+1)-G(i, j+1)｜
을 만족하는 값이다. 단, t1 (2-1), t2 (2-1), t3 (2-1), t4 (2-1), y1 (2-1), y2 (2-1), y3 (2-1), y4 (2-1)는 t1 (2-1)+ t2 (2-1)+ t3 (2-1)+ t4 (2-1)= y1 (2-1)+ y2 (2-1)+ y3 (2-1)+ y4 (2-1)=1을 만족하는 0∼1의 정수이다.
예를 들면, t1 (2-1)= t2 (2-1)= t3 (2-1)= t4 (2-1)= y1 (2-1)= y2 (2-1)= y3 (2-1)= y4 (2-1)=1/4로 하면,
Ct(2-1)(i, j)=(｜BR(i-1, j-1)-G(i-1, j)｜
+｜BR(i-1, j+1)-G(i-1, j)｜
+｜BR(i+1, j-1)-G(i+1, j)｜
+｜BR(i+1, j+1)-G(i+1, j)｜)/4
Cy(2-1)(i, j)=(｜BR(i-1, j-1)-G(i, j-1)｜
+｜BR(i+1, j-1)-G(i, j-1)｜
+｜BR(i-1, j+1)-G(i, j+1)｜
+｜BR(i+1, j+1)-G(i, j+1)｜)/4
가 된다.
또한, 수학식 t2 및 수학식 y2에 있어서 Ct(2-2)(i, j) 및 Cy(2-2)(i, j)는
Ct(2-2)(i, j)=t(2-2)｜(u1 (2-2)RB(i-1, j-1)
+(1-u1 (2-2))BR(i-1, j+1)-G(i-1, j)｜
+(1-t(2-2))｜(u2 (2-2)RB(i+1, j-1)
+(1-u2 (2-2))BR(i+1, j+1)-G(i+1, j)｜
Cy(2-2)(i, j)=y(2-2)｜(v1 (2-2)RB(i-1, j-1)
+(1-v1 (2-2))BR(i+1, j-1)-G(i, j-1)｜
+(1-y(2-2))｜(v2 (2-2)RB(i-1, j+1)
+(1-v2 (2-2))BR(i+1, j+1)-G(i, j+1)｜
을 만족하는 값이다. 단, t(2-2), y(2-2), u1 (2-2), u2 (2-2), v1 (2-2), v2 (2-2)는 0∼1의 정수이다.
예를 들면, t(2-2)= y(2-2)= u1 (2-2)= u2 (2-2)= v1 (2-2)= v2 (2-2)= 1/2로 하면,
Ct(2-2)(i, j)=(｜(BR(i-1, j-1)+BR(i-1, j+1))/2-G(i-1, j)｜
+｜BR(i+1, j-1)+BR(i+1, j+1))/2-G(i+1, j)｜)/2
Cy(2-2)(i, j)=(｜(BR(i-1, j-1)+BR(i+1, j-1))/2-G(i, j-1)｜
+｜RB(i-1, j+1)+BR(i+1, j+1))/2-G(i, j+1)｜)/2
가 된다.
다음에 보간대상 공격자점의 종방향의 제 3 유사도 성분 Ct(3)(i, j) 및 횡방향의 제 3 유사도 성분 Cy(3)(i, j)는 도 5D에 도시한 색정보에 기초하여 하기 수학식 t3 및 수학식 y3에 의해 산출된다.
다음에 보간대상 공격자점의 종방향의 제 4 유사도 성분 Ct(4)(i, j) 및 횡방향의 제 4 유사도 성분 Cy(4)(i, j)는 도 5E에 도시한 색정보에 기초하여 하기 수학식 t4 및 수학식 y4에 따라 산출된다.
단, 수학식 t4 및 수학식 y4에 있어서 t(4)및 y(4)는 0∼1의 정수이다.
예를 들면, t(4)=y(4)=1/2로 하면,
Ct(4)(i, j)=(｜BR(i-1, j-1)-BR(i-1, j+1)｜
+｜BR(i+1, j-1)-BR(i+1, j+1)｜)/2
Cy(4)(i, j)=(｜BR(i-1, j-1)-BR(i+1, j-1)｜
+｜BR(i-1, j+1)-BR(i+1, j+1)｜)/2
가 된다.
다음에 보간대상 공격자점의 종방향의 제 5 유사도 성분 Ct(5)(i, j) 및 횡방향의 제 5 유사도 성분 Cy(5)(i, j)는 도 5F에 도시한 색정보에 기초하여 하기 수학식 t5 및 수학식 y5에 의해 산출된다.
단, 수학식 t5 및 수학식 y5에 있어서, a1 (5), a2 (5), b1 (5), b2 (5)는 a1 (5)+a2 (5)=b1 (5)+b2 (5)=1을 만족하는 0∼1의 정수이며, 통상 a1 (5)=b1 (5), a2 (5)=b2 (5)를 만족하는 값이다. 단, 후술하는 각 실시형태에서는 a1 (5)=b1 (5)=1, a2 (5)=b2 (5)=0을 추장한다. 또한 a1 (5)=b1 (5)=0, a2 (5)=b2 (5)=1이나 a1 (5)=b1 (5)=a2 (5)=b2 (5)=1/2이라도 좋다.
또, 수학식 t5 및 수학식 y5에 있어서, Ct(5-1)(i, j) 및 Cy(5-1)(i, j)는
Ct(5-1)(i, j)=t(5-1)｜RB(i, j-2)-RB(i, j)｜
+(1-t(5-1))｜RB(i, j+2)-RB(i, j)｜
Cy(5-1)(i, j)=y(5-1)｜RB(i-2, j)-RB(i, j)｜
+(1-y(5-1))｜RB(i+2, j)-RB(i, j)｜
를 만족하는 값이다. 단, t(5-1)및 y(5-1)은 0∼1의 정수이다.
예를 들면, t(5-1)=y(5-1)=1/2로 하면,
Ct(5-1)(i, j)=(｜RB(i, j-2)-RB(i, j)｜
+｜RB(i, j+2)-RB(i, j)｜)/2
Cy(5-1)(i, j)=(｜RB(i-2, j)-RB(i, j)｜
+｜RB(i+2, j)-RB(i, j)｜)/2
가 된다.
또한 수학식 t5 및 수학식 y5에 있어서 Ct(5-2)(i, j) 및 Cy(5-2)(i, j)는
Ct(5-2)(i, j)=｜(u(5-2)RB(i, j-2)+(1-u(5-2))RB(i, j+2))-RB(i, j)｜
Cy(5-2)(i, j)=｜(v(5-2)RB(i-2, j)+(1-v(5-2))RB(i-2, j))-RB(i, j)｜
를 만족하는 값이다. 단, u(5-2), v(5-2)는 0∼1의 정수이다.
예를 들면 u(5-2)=v(5-2)=1/2로 하면,
Ct(5-2)(i, j)=｜(RB(i, j-2)+RB(i, j+2))/2-RB(i, j)｜
Cy(5-2)(i, j)=｜(RB(i-2, j)+RB(i-2, j))/2-RB(i, j)｜
가 된다.
그런데, 제 1 유사도 성분은 실험에 따라 도 6A에 도시한 흑백 나이키스크 줄무늬(1화소간격의 백과 흑의 세로 줄무늬형상의 화상)나 도 6B에 도시한 바와 같은 중심에서 방사형상으로 넓어지는 백과 흑의 스트라이프화상(이하, 「흑백 지멘스스타」라고 함)이나 문자에서 유사성의 강약의 판정에 적합한 것을 알 수 있다.
또, 제 2 유사도 성분은 실험에 의해 제 1 유사도 성분보다는 떨어지는 흑백 나이키스트 줄무늬나 흑백 지멘스스타나 문자에서 유사성의 강약의 판정에 유효하며, 인물이나 잎사귀 등의 자연화의 경계부분에서 유사성의 강약의 판정에 대해서도 어느정도 유효한 것을 알 수 있다.
또한 제 3 유사도 성분 내지 제 5 유사도 성분은 동일한 색의 색정보를 이용하여 산출되기 때문에 인물이나 잎사귀 등의 자연화의 경계부분에서 유사성의 강약의 판정에 유효하며, 종류가 다른 화상의 경계부분에서 유사성의 강약의 판정에도 유효하다는 것을 알 수 있었다.
따라서, 각각의 종류의 유사도 성분(제 1 유사도 성분 내지 제 5 유사도 성분)을 단독으로 이용하여 보간처리를 실시한 경우의 위색의 저감효과에서는 개념적으로 도 7과 같은 관계가 성립되는 것을 알 수 있었다.
단, 도 7에 있어서 「이색계 유사도 성분에 의한 위색저감효과」와는 다른 색의 색정보를 이용하여 산출되는 유사도 성분에 따라 얻어지는 위색의 저감효과를 나타내고, 「동색계 유사도 성분에 따른 위색저감효과」는 같은 색의 색정보를 이용하여 산출되는 유사도 성분에 따라 얻어지는 위색의 저감효과를 나타낸다.
또, 도 5D, 도 5E, 도 5F에 있어서 「보간대상 공격자점과 보간대상 공격자점에 근접하는 격자점(이하 「근접격자점」이라 칭함)과의 거리」는 「보간대상 공격자점과 보간대상 공격자점과 동색의 색정보를 출력하는 공격자점과의 거리」나 「보간대상 공격자점과 보간대상 공격자점과 다른 색의 색정보를 출력하는 공격자점과의 거리」보다도 짧다.
즉, 근접격자점은 보간대상 공격자점에 대해서 가장 가까운 장소에 위치함으로써 근접격자점을 이용하여 산출되는 제 3 유사도 성분은 제 4 유사도 성분이나 제 5 유사도 성분보다도 「동색계 유사도 성분에 따른 위색저감효가」가 커진다.
그 때문에 제 3 유사도 성분 내지 제 5 유사도 성분의 「동색계 유사도 성분에 의한 위색저감효과」에는 도 7과 같은 차이가 생긴다.
또한, 후술하는 각 실시형태에서는 도 5에 나타내는 색정보를 이용하여 각각의 종류의 유사도 성분(제 1 유사도 성분 내지 제 5 유사도 성분)을 산출하지만, 각각의 종류의 유사도 성분은 도 8 내지 도 10에 도시한 바와 같은 주변의 공격자점이나 격자점의 색정보를 이용하여 이하와 같이 치환하여도 좋다(단, 이하에서는 횡방향에서 각각의 종류의 유사도 성분의 산출방법에 대해서는 생략한다).
예를 들면 종방향의 제 1 유사도 성분 Ct(1)(i, j)는 도 8A에 도시한 색정보를 이용하여 상술한 수학식 t1에 대신하여 하기 수학식에 의해 산출하여도 좋다.
단, a1 (1), a2 (1)의 적어도 한쪽은 0이 아닌 값이며, m1 (1)은 0＜m1 (1)≤1을 만족하는 정수이며, m2 (1), m3 (1), m4 (1), m5 (1)은 m1 (1)+m2 (1)+m3 (1)+m4 (1)+m5 (1)=1을 만족하는 0∼1의 정수이며, n1 (1)는 0＜n1 (1)≤1을 만족하는 정수이며, n2 (1), n3 (1), n4 (1), n5 (1)은 n1 (1)+n2 (1)+ n3 (1)+ n4 (1)+ n5 (1)=1을 만족하는 0∼1의 정수이다. 여기에서 Ct(1-1)(i, j), Ct(1-1)(i-1, j-1), Ct(1-1)(i+1, j-1), Ct(1-1)(i-1, j+1), Ct(1-1)(i+1, j+1)을 산출할 때에는 각 항내의 계수 u(1-1)로서 다른 값을 이용하여도 좋고, Ct(1-2)(i, j), Ct(1-2)(i-1, j-1), Ct(1-2)(i+1, j-1), Ct(1-2)(i-1, j+1), Ct(1-2)(i+1, j+1)을 산출할 때에는 각 항내의 계수 t(1-2)로서 다른 값을 이용하여도 좋다.
또, 종방향의 제 2 유사도 성분 Ct(2)(i, j)는 도 8B에 도시한 색정보를 이용하여 상술한 수학식 t2에 대신하여 하기 수학식에 의해 산출하여도 좋다.
단, m1 (2)은 0＜m1 (2)≤1을 만족하는 정수이며, m2 (2), m3 (2), m4 (2), m5 (2)은 m1 (2)+m2 (2)+m3 (2)+m4 (2)+m5 (2)=1을 만족하는 0∼1의 정수이며, n1 (2)는 0＜n1 (2)≤1을 만족하는 정수이며, n2 (2), n3 (2), n4 (2), n5 (2)은 n1 (2)+n2 (2)+ n3 (2)+ n4 (2)+ n5 (2)=1을 만족하는 0∼1의 정수이다. 여기에서 Ct(2-1)(i, j), Ct(2-1)(i-1, j-1), Ct(2-1)(i+1, j-1), Ct(2-1)(i-1, j+1), Ct(2-1)(i+1, j+1)을 산출할 때에는 각 항내의 계수 u(2-1)로서 다른 값을 이용하여도 좋고, Ct(2-2)(i, j), Ct(2-2)(i-1, j-1), Ct(2-2)(i+1, j-1), Ct(2-2)(i-1, j+1), Ct(2-2)(i+1, j+1)을 산출할 때에는 각 항내의 계수 t(2-2)로서 다른 값을 이용하여도 좋다.
또, 종방향의 제 3 유사도 성분 Ct(3)(i, j)는 도 9A에 도시한 색정보를 이용하여 상술한 수학식 t3에 따라 산출되는 값(Ct(3)(i, j)∼Ct(3)(i+1, j+1))을 하기 수학식의 우변에 대입하여 산출하여도 좋다.
단, m1 (3)은 0＜m1 (3)≤1을 만족하는 정수이며, m2 (3), m3 (3), m4 (3), m5 (3)은 m1 (3)+m2 (3)+m3 (3)+m4 (3)+m5 (3)=1을 만족하는 0∼1의 정수이다.
또, 종방향의 제 4 유사도 성분 Ct(4)(i, j)는 도 9B에 도시한 색정보를 이용하여 상술한 수학식 t4에 따라 산출되는 값(Ct(4)(i, j)∼Ct(4)(i+1, j+1))을 하기 수학식의 우변에 대입하여 산출하여도 좋다.
단, m1 (4)은 0＜m1 (4)≤1을 만족하는 정수이며, m2 (4), m3 (4), m4 (4), m5 (4)은 m1 (4)+m2 (4)+m3 (4)+m4 (4)+m5 (4)=1을 만족하는 0∼1의 정수이다. 여기에서 Ct(4-1)(i, j), Ct(4-1)(i-1, j-1), Ct(4-1)(i+1, j-1), Ct(4-1)(i-1, j+1), Ct(4-1)(i+1, j+1)을 산출할 때에는 각 항내의 계수 t(4)로서 다른 값을 이용하여도 좋다.
또, 종방향의 제 5 유사도 성분 Ct(5)(i, j)는 도 10(5)에 도시한 색정보를 이용하여 상술한 수학식 t5에 대신하여 하기 수학식에 의해 산출하여도 좋다.
단, m1 (5)은 0＜m1 (5)≤1을 만족하는 정수이며, m2 (5), m3 (5), m4 (5), m5 (5)은 m1 (5)+m2 (5)+m3 (5)+m4 (5)+m5 (5)=1을 만족하는 0∼1의 정수이며, n1 (5)는 0＜n1 (5)≤1을 만족하는 정수이며, n2 (5), n3 (5), n4 (5), n5 (5)은 n1 (5)+n2 (5)+ n3 (5)+ n4 (5)+ n5 (5)=1을 만족하는 0∼1의 정수이다. 여기에서 Ct(5-1)(i, j), Ct(5-1)(i-1, j-1), Ct(5-1)(i+1, j-1), Ct(5-1)(i-1, j+1), Ct(5-1)(i+1, j+1)을 산출할 때에는 각 항내의 계수 u(5-1)로서 다른 값을 이용하여도 좋고, Ct(5-2)(i, j), Ct(5-2)(i-1, j-1), Ct(5-2)(i+1, j-1), Ct(5-2)(i-1, j+1), Ct(5-2)(i+1, j+1)을 산출할 때에는 각 항내의 계수 t(5-2)로서 다른 값을 이용하여도 좋다.
또, 각각의 종류의 유사도 성분(제 1 유사도 성분 내지 제 5 유사도 성분)은 차분의 절대값을 이용하여 산출되고 있지만, 이러한 유사도는 예를 들면 절대값의 요소의 2승 등, 각 요소의 누승(累乘)에 의해 산출하여도 좋다.
여기에서 제 1 실시형태 내지 제 5 실시형태의 설명을 간단하게 하기 위해서 흑백 나이키스트 줄무늬에 대한 각각의 종류의 유사도 성분(제 1 유사도 성분 내지 제 5 유사도 성분)의 산출결과의 예와, 시안의 종방향 스트라이프에 대한 각각의 종류의 유사도 성분(제 1 유사도 성분 내지 제 5 유사도 성분)의 산출결과의 예를 나타낸다. 우선, 흑백 나이키스트 줄무늬의 원화상으로서 도 11A에 도시한 바와 같은 색정보의 값(R, G, B)이 각 화소마다 대응되고, 화상버퍼메모리(15)에 도 11B와 같은 색정보의 값이 저장되어 있는 경우, 흑백 나이키스트 줄무늬에 대한 각각의 종류의 유사도 성분(제 1 유사도 성분 내지 제 5 유사도 성분)의 산출결과는 도 11C와 같이 된다.
또, 시안의 종방향 스트라이프의 원화상으로서 도 12A에 도시한 바와 같은 색정보의 값(R, G, B)이 각 화소마다 대응되고, 화상버퍼메모리(15)에 도 12B와 같은 색정보의 값이 저장되어 있는 경우, 시안의 종방향 스트라이프에 대한 각각의 종류의 유사도 성분(제 1 유사도 성분 내지 제 5 유사도 성분)의 산출결과는 도 12C와 같이 된다.
단, 도 11C 및 도 12C에서는 종방향의 제 1 유사도 성분 Ct(1)(i, j) 및 횡방향의 제 1 유사도 성분 Cy(1)(i, j)는 수학식 t1 및 수학식 y1에 있어서 a1 (1)=b1 (1)=1, a2 (1)=b2 (1)=0으로 한 경우의 산출결과이며, 종방향의 제 2 유사도 성분 Ct(2)(i, j) 및 횡방향의 제 2 유사도 성분 Cy(2)(i, j)는 수학식 t2 및 수학식 y2에 있어서 a1 (2)=b1 (2)=1, a2 (2)=b2 (2)=0으로 한 경우의 산출결과이며, 종방향의 제 3 유사도 성분 Ct(3)(i, j) 및 횡방향의 제 3 유사도 성분 Cy(3)(i, j)는 수학식 t3 및 수학식 y3의 산출결과이며, 종방향의 제 4 유사도 성분 Ct(4)(i, j) 및 횡방향의 제 4 유사도 성분 Cy(4)(i, j)는 수학식 t4 및 수학식 y4에 있어서 t(4)=y(4)=1/2로 한 경우의 산출결과이며, 종방향의 제 5 유사도 성분 Ct(5)(i, j) 및 횡방향의 제 5의 유사도 성분 Cy(5)(i, j)는 수학식 t5 및 수학식 y5에 있어서 a1 (5)=b1 (5)=1, a2 (5)=b2 (5)=0으로 한 경우의 산출결과이다.
또한, 도 11C 및 도 12C의 각각의 유사도 성분의 산출결과에 있어서 각 방향(종방향 및 횡방향)의 산출결과의 차이가 큰 경우에는 「0」에 가까운 방향의 유사성이 강한 것을 나타낸다.
따라서, 도 11C에 의해 제 1 유사도 성분 및 제 2 유사도 성분은 흑백 나이키스트 줄무늬에서 유사성의 강약의 판정에 유효하다는 것을 알 수 있다.
또, 도 12C에 의해 제 2 유사도 성분 내지 제 4 유사도 성분은 시안의 종방향 스트라이프에서 유사성의 강약의 판정에 유효하다는 것을 알 수 있다.
(제 1 실시형태)
이하, 도 1 내지 도 5를 참조하여 제 1 실시형태의 동작을 설명한다.
주전원이 투입되어 있는 상태에 있어서 촬상소자(13)에서는 촬영광학계(11) 및 OLPF(12)를 통해서 부여되는 광학상이 광전변환면(도시되지 않음)에 결상되어 광전변환에 의해 신호전하가 생성된다. 또, 촬상소자(13)는 이렇게 생성된 신호전하를 주사하여 화상신호를 생성하고, A/D 변환부(14)에 부여한다.
A/D 변환부(14)는 이렇게 부여된 화상신호를 A/D 변환하여 화상데이터를 생성한다(도 3의 S1). 또한 제 1 실시형태 및 후술하는 각 실시형태에 있어서 화상데이터는 촬상소자(13)의 각 화소에 대응하는 색정보에 상당한다.
이렇게 생성된 화상데이터는 RGB의 3색으로 분할되고, 각 색에 대응하는 화상버퍼메모리(15)내의 영역에 저장된다(도 3의 S2). 또한 녹색의 화상데이터(격자점의 색정보)는 도 2에 도시한 바와 같이 상술한 좌표계로 나타내는 좌표에 대응시켜 저장된다.
또한 상술한 처리(화상데이터의 생성 및 저장)는 제어부(10)에 의한 타이밍제어에 기초하여 반복 실시된다.
또, 제어부(10)는 인터페이스부(18)를 통하여 전자스틸 카메라의 광주리체에 설치된 릴리스 버튼(도시하지 않음)이 눌러졌는지 여부를 판정한다(도 3의 S3).
제어부(10)는 이러한 판정에 따라 릴리스 버튼이 눌러져 있지 않은 것을 인식한 경우, 상술한 타이밍제어에 의해 화상데이터의 생성(도 3의 S1) 및 저장(도 3의 S2)의 처리를 반복 지시한다.
또, 제어부(10)는 릴리스 버튼이 눌러진 것을 인식하면, 화상처리부(17)내의 보간처리부(19)에 대하여 후술하는 보간처리의 실행을 지시한다(도 3의 S4).
즉, 제 1 실시형태 및 후술하는 각 실시형태에서는 릴리스 버튼이 눌러진 시점에 화상버퍼메모리(15)에 저장되어 있는 화상데이터가 보간처리의 대상이 된다.
또한, 계조변환부(16)에 의해 화상버퍼메모리(15)로부터 판독되어 계조변환(log화나 γ변환 등)이 실시된 후에 화상버퍼메모리(15)에 다시 저장된 화상데이터를 보간처리의 대상으로 하여도 좋다.
또, 보간처리를 실시한 화상을 표시할 때는 릴리스 버튼이 눌러지는 시점에 촬상되는 화상뿐만 아니라, 항시 촬상되는 화상에 대하여 보간처리를 실시하여 표시하여도 좋다. 또한 화상데이터의 생성(도 3의 S1) 및 저장(도 3의 S2)의 처리는 보간처리에 선행하여 실시된다면 릴리스 버튼이 눌려진 후에 실시되어도 좋다.
이렇게 하여 보간처리가 실시된 화상데이터(공격자점의 보간량)은 화상버퍼메모리(15)내의 소정의 영역에 저장된다(도 3의 S5).
다음에 도 4를 참조하여 제 1 실시형태의 보간처리의 동작을 설명한다.
보간처리부(19)는 제어부(10)에 의해 보간처리의 실행이 지시되면 보간처리의 대상이 되는 보간대상 공격자점을 선택한다(도 4의 S1).
예를 들면 도 2에 있어서의 임의의 좌표(x, y)에 대해서 「x+y=홀수」가 성립하는 경우, 그 좌표에는 공격자점이 대응되고 있다. 그 때문에 제 1 실시형태 및 후술하는 각 실시형태에서는 각 화소에 대응시킨 좌표를 (1, 1)에서 (X_max, Y_max)까지 순차 검색하고 X성분과 Y성분의 합이 홀수인 좌표를 공격자점으로 한다.
또한 도 2에 있어서 임의의 좌표(x, y)에 대하여 「x+y=홀수」가 성립한 경우, x가 짝수인지 홀수인지를 판정함으로써 그 좌표의 화소로부터 출력되는 색을 식별할 수 있다. 예를 들면 「x+y=홀수 동시에 x=짝수」가 성립하는 화소의 출력을 적색으로 한다면, 「x+y=홀수 동시에 x=홀수」가 성립하는 화소의 출력은 청색이 된다.
보간처리부(19)는 상술한 바와 같이 보간대상 공격자점을 선택하면, 화상버퍼메모리(15)로부터 도 5A(또는 도 5B), 도 5C, 도 5D에 나타내는 색정보를 판독한다. 즉, 보간처리부(19)는 보간대상 공격자점의 유사도를 산출할 때에 필요한 색정보를 화상버퍼메모리(15)로부터 판독한다(도 4의 S2). 또한 이렇게 판독된 색정보는 유사도 산출부(20)에 공급된다.
유사도 산출부(20)는 보간처리부(19)로부터 공급된 색정보를 이용하여 종방향의 유사도 Ct(i, j) 및 횡방향의 유사도 Cy(i, j)를 산출한다(도 4의 S3).
즉, 유사도 산출부(20)는 보간처리부(19)로부터 공급된 색정보를 이용하여 상술한 수학식 t1(또는 수학식 t1-2), 수학식 y1(또는 수학식 y1-2), 수학식 t2, 수학식 y2, 수학식 t3 및 수학식 y3에 의해 종방향의 제 1 유사도 성분 Ct(1)(i, j), 횡방향의 제 1 유사도 성분 Cy(1)(i, j), 종방향의 제 2 유사도 성분 Ct(2)(i, j), 횡방향의 제 2 유사도 성분 Cy(2)(i, j), 종방향의 제 3 유사도 성분 Ct(3)(i, j) , 및 횡방향의 제 3 유사도 성분 Cy(3)(i, j)을 산출하고, 하기 수학식 1 및 수학식 2에 의해 종방향의 유사도 Ct(i, j) 및 횡방향의 유사도 Cy(i, j)를 산출한다.
단, α1, α2, β1, β2, γ1, γ2는 양의 값이며, 각 항의 무게가중계수이다. 또한 여기에서는 α1= α2=α, β1= β2=β, γ1= γ2=γ, α:β:γ=1:1:1로 하는 조건을 부가한다. 또, 종방향의 유사도 Ct(i, j)와 횡방향의 유사도 Cy(i, j)를 색정보에 기초하여 규격화하는 경우에는 α+β+γ=1로 하는 조건을 부가하여도 좋다.
다음에 유사도 판정부(21)는 이렇게 산출된 종방향의 유사도 Ct(i, j) 및 횡방향의 유사도 Cy(i, j)에 기초하여 유사성이 강한 방향을 판정한다(도 4의 S4).
예를 들면 유사성 판정부(21)는 임의의 값(T)(여기에서는 「0」을 이용하기로 한다)에 대해서
｜Ct(i, j)-Cy(i, j)｜＞T 동시에 Ct(i, j)＜Cy(i, j)
가 성립하는 경우, 종방향의 유사성이 강하다고 판정하고,
｜Ct(i, j)-Cy(i, j)｜＞T 동시에 Ct(i, j)＞Cy(i, j)
가 성립하는 경우, 횡방향의 유사도가 강하다고 판정하고,
｜Ct(i, j)-Cy(i, j)｜≤T
가 성립하는 경우, 2개의 방향의 유사성이 같은 정도라고 판정한다.
또, 유사성 판정부(21)는 후술하는 제 7 실시형태의 수학식 28에 나타내는 x에 대해서「x＞1」이 성립하는 경우, 종방향의 유사성이 강하다고 판정하고, 「x＜-1」이 성립하는 경우에는 횡방향의 유사성이 강하다고 판정하고, 「-1≤x≤1」이 성립하는 경우에는 2개의 방향의 유사성이 같은 정도라고 판정하여도 좋다.
보간량 산출부(22)는 이렇게 유사성이 강한 방향이 판정되면, 유사성이 강하다고 판정된 방향에 인접하는 격자점의 색정보를 이용하여 보간대상 공격자점의 보간량을 산출한다(도 4의 S5).
예를 들면 보간량 산출부(22)는 종방향의 유사성이 강하다고 판정된 경우, 보간대상 공격자점의 보간량 G'(i, j)를
G'(i, j)={G(i, j-1)+G(i, j+1)}/2
에 의해 산출하고, 횡방향의 유사성이 강하다고 판정된 경우, 보간대상 공격자점의 보간량 G'(i, j)를
G'(i, j)={G(i-1, j)+G(i+1, j)}/2
에 의해 산출하고, 두 방향의 유사성이 같은 정도라고 판정된 경우, G'(i, j)를
G'(i, j)={G(i, j-1)+G(i, j+1)+G(i-1, j)+G(i+1, j)}/4
또는
G'(i, j)=median{G(i, j-1), G(i, j+1), G(i-1, j), G(i+1, j)}
에 의해 산출한다.
단, median{}은 복수의 요소의 메디안을 산출하는 함수를 나타내고, 요소의 수가 짝수인 경우, 중앙의 2개의 요소의 평균값을 취하는 것으로 한다.
또, 보간량 산출부(22)는 후술하는 제 7 실시형태의 수학식 28에 나타내는 x에 기초하여 유사성이 강한 방향을 판정한 경우에는 제 7 실시형태와 동일하게(도 15의 S7∼S11) 보간대상 공격자점의 보간량을 산출하여도 좋다.
보간처리부(19)는 이렇게 보간대상 공격자점의 보간량이 산출되면, 전체 공격자점의 보간처리가 완료하였는지 여부를 판정한다(도 4의 S6).
예를 들면 이러한 판정은 상술한 바와 같은 각 화소에 대응된 좌표를 검색하는 과정에서 임의의 좌표 (i, j)에 대해서 「i＞X_max-3」 및 「j＞Y_max-3」이 성립하는지 여부를 판정하는 것에 상당한다.
또한, 화상의 단부와 같이 본 발명의 보간처리를 그대로 적용할 수 없는 부분에 대해서는 화상의 단에서 앞을 접어 꺾어 가상의 화상을 생성하고(공지의 기술), 이렇게 생성한 화상을 이용하여 보간처리를 실시하여도 좋다.
보간처리부(19)는 이러한 판정에 따라 모든 공격자점의 보간처리가 완료한 것을 인식할 때까지 상술한 처리(도 4의 S1 이후의 처리)를 반복 실시한다.
이상, 설명한 바와 같이 제 1 실시형태에서는 종방향 및 횡방향에 대한 제 1 유사도 성분, 제 2 유사도 성분 및 제 3 유사도 성분을 산출하고, 이러한 3종류의 유사도 성분을 가중 가산함으로써 보간대상 공격자점의 유사도를 산출한다.
그 때문에, 예를 들면 도 11C와 같이 제 3 유사도 성분의 산출결과만으로는 유사성이 강한 방향의 판정을 실시할 수 없는 경우라도, 제 1 유사도 성분과 제 2 유사도 성분의 산출결과가 유효하게 작용하여 보간대상 공격자점의 유사도를 높은 정밀도로 산출할 수 있다. 또한 도 12C와 같이 제 1 유사도 성분의 산출결과만으로는 유사성이 강한 방향이 잘못 판정되는 경우라도 제 2 유사도 성분 및 제 3 유사도 성분의 산출결과에 따라 보간대상 공격자점의 유사도를 높은 정밀도로 산출할 수 있다.
또, 제 1 실시형태에서는 도 7에 도시한 「이색계 유사도 성분에 의한 위색저감효과」와 「동색계 유사도 성분에 의한 위색저감효과」를 균형적으로 얻을 수 있다.
따라서, 제 1 실시형태에서는 흑백 나이키스트 줄무늬와 같은 공간 주파수가 높은 화상만이 아니라, 자연화상 등의 많은 종류의 화상에 대한 위색의 발생을 저감할 수 있다. 즉, 제 1 실시형태에 의하면 보간처리의 정밀도를 확실하게 향상할 수 있다.
또한 제 1 실시형태에서는 수학식 1 및 수학식 2에 있어서 α1= α2=α, β1= β2=β, γ1= γ2=γ, α:β:γ=1:1:1로 하는 조건을 부가하였지만, 제 1 유사도 성분 내지 제 3 유사도 성분이 동일하다고 볼 수 있는 비율로 가중 가산된다면 α1, α2, β1, β2, γ1, γ2는 어떠한 값이라도 좋다.
또, 제 1 실시형태에서는 도 5A(또는 도 5B), 도 5C, 도 5D에 나타내는 색정보를 이용하여 산출된 3종류의 유사도 성분을 가중 가산함으로써 종방향의 유사도 Ct(i, j) 및 횡방향의 유사도 Cy(i, j)를 산출하고 있지만, 종방향의 유사도 Ct(i, j) 및 횡방향의 유사도 Cy(i, j)는 도 5A(또는 도 5B), 도 5C에 나타내는 색정보와, 도 5D∼도 5F 중 어느 하나에 나타내는 색정보를 이용하여 산출되는 3종류의 유사도 성분을 가중 가산함으로써 산출하여도 좋다.
(제 2 실시형태)
이하, 제 2 실시형태의 동작을 설명한다.
그런데, 제 2 실시형태의 특징은 종방향의 유사도 Ct(i, j) 및 횡방향의 유사도 Cy(i, j)의 산출방법(도 4의 S2 및 S3에 상당한다)에 있고, 다른 동작에 대해서는 제 1 실시형태와 동일하기 때문에 설명을 생략한다. 즉, 여기에서는 도 4의 S2 및 S3에 상당하는 동작을 설명한다.
보간처리부(19)는 도 5A(또는 도 5B), 도 5C에 나타내는 색정보를 판독하여(도 4의 S2에 상당한다) 유사도 산출부(20)에 공급한다.
유사도 산출부(20)는 이렇게 공급된 색정보를 이용하여 상술한 수학식 t1(또는 수학식 t1-2), 수학식 y1(또는 수학식 y1-2), 수학식 t2 및 수학식 y2에 따라 종방향의 제 1 유사도 성분 Ct(1)(i, j), 횡방향의 제 1 유사도 성분 Cy(1)(i, j), 종방향의 제 2 유사도 성분 Ct(2)(i, j) 및 횡방향의 제 2 유사도 성분 Cy(2)(i, j)를 산출하고, 하기 수학식 3 및 수학식 4에 의해 종방향의 유사도(Ct(i,j)) 및 횡방향의 유사도(Cy(i,j))를 산출한다(도 4의 S3에 상당).
단, α1, α2, β1, β2는 양의 값이고, 각 항의 무게가중계수이다. 또, 여기서는 α1=α2=α, β1=β2=β, α:β=1:1로 하는 조건을 부가한다. 또, 종방향의 유사도(Ct(i, j))와 횡방향의 유사도(Cy(i,j))를 색정보에 기초하여 규격화할 경우에는 α+β=1로 하는 조건을 부가해도 좋다.
즉, 제 2 실시형태에서는 종방향 및 횡방향에 대한 제 1 유사도 성분 및 제 2 유사도성분을 산출하여 이와 같은 2종류의 유사도 성분을 가중 가산하는 것에 의해 보간 대상 공격자점의 유사도를 산출한다.
이때문에, 예를 들면 흑백 나이키스트 줄무늬에 대해서는 도 11C와 같이 제 1 유사도성분과 제 2 유사도성분의 산출 결과가 유효하게 작용하여 보간대상 공격자점의 유사도를 높은 정밀도로 산출할 수 있다.
또, 제 2 실시형태에 의하면 도 7에 도시한 「이색계 유사도 성분에 의한 위색 저감효과」를 얻을 수 있다.
따라서, 제 2 실시형태에서는 흑백 나이키스트 줄무늬와 같은 공간 주파수가 높은 화상에 대한 위색의 발생을 저감할 수 있고, 또 제 2 유사도 성분에 의해 도 7에 도시한 「동색계 유사도 성분에 의한 위색 저감효과」를 얻을 수 있기 때문에 제 1 실시형태에는 떨어지지만 자연화등 대부분의 종류의 화상에 대한 위색의 발생을 저감할 수 있다. 즉, 제 2 실시형태에 의하면 보간처리의 정밀도를 확실히 향상시킬 수 있다.
또, 제 2 실시형태에서는 수학식 3 및 수학식 4에 의해 α1=α2=α, β1=β2=β, α:β=1:1로 하는 조건을 부가했지만 제 1 유사도 성분 및 제 2 유사도성분이 동일하게 보이는 비율이 가중 가산된다면 α1, α2, β1, β2는 어떤 값이라도 좋다.
(제 3 실시형태)
이하, 제 3 실시형태의 동작을 설명한다.
그런데, 제 3 실시형태의 특징은 종방향의 유사도(Ct(i,j)) 및 횡방향의 유사도(Cy(i,j))의 산출방법(도 4의 S2 및 S3에 상당)에 있고, 다른 동작에 대해서는 제 1 실시형태와 동일하기 때문에 설명을 생략한다. 즉, 여기서는 도 4의 S2 및 S3에 상당하는 동작을 설명한다.
보간처리부(19)는 도 5C, 도 5D에 나타내는 색정보를 판독하여(도 4의 S2에 상당) 유사도산출부(20)에 공급한다.
유사도산출부(20)는 이와 같이 하여 공급된 색정보를 이용하여 상술한 수학식 t2, 수학식 y2, 수학식 t3 및 수학식 y3에 의해 종방향의 제 2 유사도 성분(Ct(2)(i,j)), 횡방향의 제 2 유사도성분(Cy(2)(i,j)), 종방향의 제 3 유사도성분(Ct(3)(i,j)) 및 횡방향의 제 1 유사도 성분(Cy(3)(i,j))을 산출하고, 하기 수학식 5 및 수학식 6에 의해 종방향의 유사도(Ct(i,j)) 및 횡방향의 유사도(Cy(i,j))를 산출한다(도 4의 S3에 상당).
단, β1, β2, γ1, γ2는 양의 값이며, 각 항의 무게가중계수이다. 또, 여기서는 β1=β2=β, γ1=γ2=γ, β:γ=1:1로 하는 조건을 부가한다. 또, 종방향의 유사도(Ct(i,j))와 횡방향의 유사도(Cy(i,j))를 색정보에 기초하여 규격화할 경우에는 β+γ=1로 하는 조건을 부가해도 좋다.
즉, 제 3 실시형태에서는 종방향 및 횡방향에 대한 제 2 유사도 성분 및 제 3 유사도 성분을 산출하여 이와 같은 2종류의 유사도 성분을 가중 가산하는 것에 의해 보간 대상 공격자점의 유사도를 산출한다.
이때문에, 예를 들면 시안의 세로 스트라이프에 대해서는 도 12C와 같이 제 2 유사도 성분과 제 3 유사도성분의 산출 결과에 의해 보간 대상 공격자점의 유사도를 높은 정밀도로 산출할 수 있다.
또, 제 3 실시형태에 의하면 도 7에 도시한 「동색계 유사도 성분에 의한 위색 저감 효과」를 얻을 수 있다.
따라서, 제 3 실시형태에 의하면 자연화상등의 대부분의 종류의 화상에 대한 위색의 발생을 저감할 수 있고, 또 제 2 유사도 성분에 의해 도 7에 도시한 「이색계 유사도 성분에 의한 위색 저감효과」가 얻어지기 때문에 제 1 실시형태에는 떨어지지만, 흑백 나이키스트 줄무늬와 같은 공간 주파수가 높은 화상에 대한 위색의 발생을 저감할 수 있다. 즉, 제 3 실시형태에 의하면 보간처리의 정밀도를 확실히 향상시킬 수 있다.
또, 제 3 실시형태에서는 수학식 5 및 수학식 6에 있어서, β1=β2=β, γ1=γ2=γ, β:γ=1:1로 하는 조건을 부가했지만, 제 2 유사도 성분 내지 제 3 유사도성분이 동일하게 보이는 비율로 가중 가산된다면 β1, β2, γ1,γ2는 어떤 값이라도 좋다.
또, 제 3 실시형태에서는 도 5C, 도 5D에 도시한 색정보를 이용하여 산출된 2종류의 유사도 성분을 가중 가산하는 것에 의해 종방향의 유사도(Ct(i,j)) 및 횡방향의 유사도(Cy(i,j))를 산출하고 있지만 종방향의 유사도(Ct(i,j)) 및 횡방향의 유사도(Cy(i,j))는 도 5C에 도시한 색정보와 도 5D∼도 5F중 적어도 하나에 나타낸 색정보를 이용하여 산출되는 적어도 2종류의 유사도 성분을 가중 가산하는 것에 의해 산출해도 좋다.
(제 4 실시형태)
이하, 제 4 실시형태의 동작을 설명한다.
그런데, 제 4 실시형태의 특징은 종방향의 유사도(Ct(i,j)) 및 횡방향의 유사도(Cy(i,j))의 산출방법(도 4의 S2 및 S3에 상당)에 있으며, 다른 동작에 대해서는 제 1 실시형태와 동일하기 때문에 설명을 생략한다. 즉, 여기서는 도 4의 S2 및 도 4의 S3에 상당하는 동작을 설명한다.
보간처리부(19)는 도 5A(또는 도 5B), 도 5D에 도시한 색정보를 판독하여(도 4의 S2에 상당) 유사도 산출부(20)에 공급한다.
유사도 산출부(20)는 이와 같이 공급된 색정보를 이용하여 a1 (1)≠0이 성립하는 상태의 수학식 t1(또는 수학식 t1-2), b1 (1)≠0이 성립하는 상태의 수학식 y1(또는 수학식 y1-2), 수학식 t3 및 수학식 y3에 의해 종방향의 제 1 유사도 성분(Ct(1)(i,j)), 횡방향의 제 1 유사도 성분(Cy(1)(i,j)), 종방향의 제 3 유사도 성분(Ct(3)(i,j)) 및 횡방향의 제 3 유사도 성분(Cy(3)(i,j))을 산출하고 하기 수학식 7 및 수학식 8에 의해 종방향의 유사도(Ct(i,j)) 및 횡방향의 유사도 (Cy(i,j))를 산출한다(도 4의 S3에 상당).
단, α1, α2, γ1, γ2는 양의 값이며, 각 항의 무게가중계수이다. 또, 여기서는 α1=α2=α, γ1=γ2=γ, α:γ=1:1로 하는 조건을 부가한다. 또, 종방향의 유사도(Ct(i,j))와 횡방향의 유사도(Cy(i,j))를 색정보에 기초하여 규격화할 경우에는 α+γ=1로 하는 조건을 부가해도 좋다.
즉, 제 4 실시형태에서는 a1 (1)≠0이 성립하는 수학식 t1(또는 수학식 t1-2)에 의해 종방향의 제 1 유사도 성분(Ct(1)(i,j))을 산출하기 위해 종방향의 유사도(Ct(i,j))에는,
Ct(1-1)(i,j)=t(1-1)│G(i,j-1)-RB(i,j)│
+(1-t(1-1))│G(i,j+1)-RB(i,j)│
가 포함되며, b1(1)≠0이 성립하는 수학식 y1(또는 수학식 y1-2)에 의해 횡방향의 제 1 유사도성분(Cy(1)(i,j))을 산출하기 위해 횡방향의 유사도(Cy(i,j))에는,
Cy(1-1)(i,j)=y(1-1)│G(i-1,j)-RB(i,j)│
+(1-y(1-1))│G(i+1,j)-RB(i,j)│
가 포함된다. 단, t(1-1)및 y(1-1)는 0∼1의 정수이다.
따라서, 제 4 실시형태에서는 미국 특허 제 5,652,621호에서의 「위색이 발생하는 범위가 확대되는 문제」를 해소하면서 보간대상 공격자점의 유사도를 정밀도 좋게 산출할 수 있다.
또, 제 4 실시형태에서는 도 7에 도시한 「이색계 유사도 성분에 의한 위색 저감효과」와 「동색계 유사도 성분에 의한 위색 저감효과」가 얻어진다.
따라서, 제 4 실시형태에서는 제 1 실시형태에는 떨어지지만, 흑백 나이키스트 줄무늬와 같은 공간 주파수가 높은 화상이나 자연화등의 대부분의 종류의 화상에 대한 위색의 발생을 저감할 수 있다. 즉, 제 4 실시형태에 의하면 보간 처리의 정밀도를 확실히 향상시킬 수 있다.
또, 제 4 실시형태에서는 수학식 7 및 수학식 8에 있어서 α1=α2=α, γ1=γ2=γ, α:γ=1:1로 하는 조건을 부가했지만 제 1 유사도 성분 및 제 3 유사도 성분이 동일하게 보이는 비율로 가중 가산된다면 α1,α2,γ1,γ2은 어떤 값이라도 좋다.
또, 제 4 실시형태에서는 도 5A(또는 도 5B), 도 5D에 도시한 색정보를 이용하여 산출된 2종류의 유사도 성분을 가중 가산하는 것에 의해 종방향의 유사도(Ct(i,j)) 및 횡방향의 유사도(Cy(i,j))를 산출하고 있지만 종방향의 유사도(Ct(i,j)) 및 횡방향의 유사도(Cy(i,j))는 도 5A(또는 도 5B))에 도시한 색정보와 도 5D∼도 5F의 적어도 1개에 나타낸 색정보를 이용하여 산출되는 적어도 2종류의 유사도 성분을 가중 가산하는 것에 의해 산출해도 좋다.
(제 5 실시형태)
이하, 제 5 실시형태의 동작을 설명한다.
그런데, 제 5 실시형태의 특징은 종방향의 유사도(Ct(i,j)) 및 횡방향의 유사도(Cy(i,j))의 산출방법(도 4의 S2 및 도 4의 S3에 상당)에 있으며, 다른 동작에 대해서는 제 1 실시형태와 동일하기 때문에 설명을 생략한다. 즉, 여기서는 도 4의 S2 및 S3에 상당하는 동작을 설명한다.
보간처리부(19)는 도 5A(도 5B), 도 5C, 도 5D, 도 5E, 도 5F에 나타낸 색정보를 판독하여(도 4의 S2에 상당) 유사도산출부(20)에 공급한다.
유사도산출부(20)는 이와 같이 공급된 색정보를 이용하여 상술한 수학식 t1(또는 수학식 t1-2), 수학식 y1(또는 수학식 y1-2), 수학식 t2, 수학식 y2, 수학식 t3, 수학식 y3, 수학식 t4, 수학식 y4, 수학식 t5 및 수학식 y5에 의해 종방향의 제 1 유사도성분(Ct(1)(i,j)), 횡방향의 제 1 유사도성분(Cy(1)(i,j)), 종방향의 제 2 유사도성분(Ct(2)(i,j)), 횡방향의 제 2 유사도성분(Cy(2)(i,j)), 종방향의 제 3 유사도성분(Ct(3)(i,j)), 횡방향의 제 3 유사도 성분(Cy(3)(i,j)), 종방향의 제 4 유사도성분(Ct(4)(i,j)), 횡방향의 제 4 유사도성분(Cy(4)(i,j)), 종방향의 제 5 유사도성분(Ct(5)(i,j)) 및 횡방향의 제 5 유사도 성분(Cy(5)(i,j))을 산출하고, 하기 수학식 9 및 수학식 10에 의해 종방향의 유사도(Ct(i,j)) 및 횡방향의 유사도(Cy(i,j))를 산출한다(도 4의 S3에 상당).
단, α1, α2, β1, β2, γ1, γ2, δ1, δ2, ε1, ε2는 양의 값이며, 각 항의 무게가중계수이다. 또, 여기서는 α1=α2=α, β1=β2=β, γ1=γ2=γ, δ1=δ2=δ, ε1=ε2=ε, α:β:γ:δ:ε=4:4:2:1:1로 하는 조건을 부가한다. 또, 종방향의 유사도(Ct(i,j))와 횡방향의 유사도(Cy(i,j))를 색정보에 기초하여 규격화할 경우에는 α+β+γ+δ+ε=1로 하는 조건을 부가해도 좋다.
이상 설명한 바와 같이, 제 5 실시형태에서는 종방향 및 횡방향에 대한 제 1 유사도 성분 내지 제 5 유사도 성분을 산출하여 이와 같은 5종류의 유사도 성분을 가중 가산하는 것에 의해 보간 대상 공격자점의 유사도를 산출한다.
이때문에, 예를 들면 제 5 실시형태에서는 도 11C와 같이 제 3 유사도 성분 내지 제 5 유사도 성분의 산출 결과만으로는 유사성이 강한 방향의 판정을 실시할 수 없는 경우에도 제 1 유사도 성분과 제 2 유사도 성분의 산출 결과가 유효하게 작용하여 보간 대상 공격자점의 유사도를 높은 정밀도로 산출할 수 있다. 또, 도 12C와 같이, 제 1 유사도 성분의 산출 결과만으로는 유사성이 강한 방향이 잘못 판정되는 경우에도 제 2 유사도 성분 내지 제 4 유사도 성분의 산출 결과에 의해 보간 대상 공격자점의 유사도를 높은 정밀도로 산출할 수 있다.
또, 도 12C와 같이 동색계 유사도 성분에 있어서 시안에는 적색 성분이 함유되지 않기 때문에 제 5 유사도 성분으로는 방향성을 조사할 수 없게 되지만 제 3 유사도 성분과 제 4 유사도 성분의 산출 결과가 유효하게 작용하여 보간 대상 공격자점의 유사도를 높은 정밀도로 산출할 수 있다.
그런데, 수학식 9 및 수학식 10으로 부가한 조건(α1=α2=α, β1=β2=β, γ1=γ2=γ, δ1=δ2=δ, ε1=ε2=ε, α:β:γ:δ:ε=4:4:2:1:1)은 「α:β:(γ:δ:ε)=1:1:1」과 「γ:δ:ε=2:1:1」을 동시에 만족하는 조건이다.
여기서, 「α:β:(γ:δ:ε)=1:1:1」은 도 7에 도시한 「이색계 유사도 성분에 의한 위색 저감효과」와 「동색계 유사도 성분에 의한 위색 저감효과」가 제 1 실시형태와 동일한 비율로 균형있게 얻어지는 것을 의미한다.
또, 「γ:δ:ε=2:1:1」은 제 4 유사도 성분이나 제 5 유사도 성분보다 「동색계 유사도 성분에 의한 위색 저감 효과」가 큰 제 3 유사도 성분이 유리하게 작용하는 것을 의미한다.
따라서, 제 5 실시형태에서는 흑백 나이키스트 줄무늬와 같은 공간 주파수가 높은 화상뿐만 아니라 자연화등의 대부분의 종류의 화상에 대한 위색의 발생을 저감할 수 있다. 즉, 제 5 실시형태에 의하면 보간처리의 정밀도를 확실히 향상시킬 수 있다.
또, 제 5 실시형태에서는 제 1 실시형태에서는 산출되지 않았던 제 4 유사도 성분 및 제 5 유사도 성분이 산출되기 때문에 어떤 색성분이 존재하지 않는 화상이라도 제 3 유사도 성분 내지 제 5 유사도 성분이 서로 조합하여 동색계 유사도 성분이 산출되기 때문에 제 1 실시형태보다 보간 대상 공격자점의 보간량을 구할 때의 정밀도가 향상된다.
그런데, 제 5 실시형태에서는 제 1 실시형태와 동시에 임의의 값(T)에 대해서,
│Ct(i,j)-Cy(i,j)│〉T
가 성립하는 경우, 유사성이 강한 방향의 판정이 가능하다.
여기서, 수학식 9 및 수학식 10에 있어서, α1=α2=α, β1=β2=β, γ1= γ2=γ, δ1=δ2=δ, ε1=ε2=ε로 하면,
│Ct(i,j)-Cy(i,j)│=α│Ct(1)(i,j)-Cy(1)(i,j)│+
β│Ct(2)(i,j)-Cy(2)(i,j)│+
γ│Ct(3)(i,j)-Cy(3)(i,j)│+
δ│Ct(4)(i,j)-Cy(4)(i,j)│+
ε│Ct(5)(i,j)-Cy(5)(i,j)│
가 된다.
따라서, 예를 들면 도 11C의 제 3 유사도 성분 내지 제 5 유사도 성분과 같이 종방향과 횡방향의 산출 결과가 모두 「0」인 경우나 도 12C의 제 1 유사도 성분과 같이 종방향과 횡방향의 산출 결과가 균형이 맞는 경우에는 무게가중계수가 큰 값이라도 │Ct(i,j)-(Cy(i,j)│의 값에는 큰 영향을 미치지 않는다.
즉, 제 5 실시형태에서는 보간대상 공격자점의 보간 처리에 적합하지 않은 유사도 성분(예를 들면 도 11C의 제 3 유사도 성분 내지 제 5 유사도 성분)이 산출되고, 보간대상 공격자점의 보간 처리에 적합한 유사도 성분(예를 들면 도 11C의 제 1 유사도 성분 및 제 2 유사도 성분)과 가중 가산된 경우에도 보간 대상 공격자점의 보간 처리에 적합한 유사도 성분만이 유효하게 작용하여 정밀도 좋게 보간처리를 실행할 수 있다.
또, 제 5 실시형태에서는 도 5A(또는 도 5B), 도 5C, 도 5D, 도 5E, 도 5F에 도시한 색정보를 이용하여 산출된 5종류의 유사도 성분을 가중 가산하는 것에 의해 종방향의 유사도(Ct(i,j)) 및 횡방향의 유사도(Cy(i,j))를 산출하고 있지만 종방향의 유사도(Ct(i,j)) 및 횡방향의 유사도(Cy(i,j))는 도 5A(또는 도 5B), 도 5C, 도 5D에 도시한 색정보와 도 5E, 도 5F중 어느 하나에 도시한 색정보를 이용하여 산출되는 4종류의 유사도 성분을 가중 가산하는 것에 의해 산출해도 좋다.
(제 6 실시형태)
도 13은 제 6 실시형태의 보간 처리의 동작 플로우차트이다.
도 13에 있어서, 도 4에 도시한 동작 플로우차트와 동일한 처리를 실시하는 단계에 대해서는 도 4와 동일한 단계 번호를 부여하고 여기서는 설명을 생략한다.
또, 도 4에 도시한 동작 플로우차트와 도 13에 도시한 동작 플로우차트의 상위점은 도 4의 S3, S4를 대신하여 도 13에서는 S101∼S103이 설치된 점이다.
이하, 제 6 실시형태의 보간 처리의 동작을 설명하지만, 여기서는 도 13의 S101∼S103의 처리를 중심으로 설명한다.
보간처리부(19)는 도 5A(또는 도 5B), 도 5C, 도 5D, 도 5E, 도 5F에 도시한 색정보를 판독하여(도 13의 S2), 유사도산출부(20)에 공급한다.
유사도산출부(20)는 이와 같이 판독된 색정보를 이용하여 복수 종류의 유사도를 산출하여(도 13의 S101), 유사성 판정부(21)에 공급한다.
또, 제 6 실시형태에서는 복수의 종류의 유사도로서 상술한 제 1 유사도 성분 내지 제 5 유사도 성분을 산출하기로 한다. 즉, 유사도산출부(20)는 상술한 수학식 t1(또는 수학식 t1-2), 수학식 y1(또는 수학식 y1-2), 수학식 t2, 수학식 y2, 수학식 t3, 수학식 y3, 수학식 t4, 수학식 y4, 수학식 t5 및 수학식 y5에 의해 각 유사도 성분에 대응하는 제 1 유사도 내지 제 5 유사도를 산출한다.
유사성 판정부(21)는 복수종류의 유사도가 공급되면 각 종류의 유사도마다 유사성이 강한 방향을 판정한다(도 13의 S102)).
여기서, 이후의 설명을 간단히 하기 위해 제 1 유사도 내지 제 5 유사도를 제 k의 유사도(k=1,…,5)로 나타내고, 종방향의 제 k의 유사도를 Ct(k)(i,j)), 횡방향의 제 k의 유사도를 Cy(k)(i,j)로 나타내고, 각 종류마다의 유사성이 강한 방향을 나타내는 값으로서 D(k)(k:1,…,5)를 이용하기로 한다. 단, D(k)는 종방향의 유사성이 강한 경우에는 「-1」이 설정되고, 횡방향의 유사성이 강한 경우에는 「1」이 설정되며, 2개의 방향의 유사성이 동일 정도인 경우에는 「0」이 설정되는 것으로 한다.
예를 들면 유사성 판정부(21)는,
Ct(k)(i,j)〈Cy(k)(i,j)
가 성립하는 경우에는 종방향의 유사성이 강하다고 판정하여 D(k)에 「-1」를 대입하고,
Ct(k)(i,j)=Cy(k)(i,j)
가 성립하는 경우에는 D(k)에 「0」을 대입하고,
Ct(k)(i,j)〉Cy(k)(i,j)
가 성립하는 경우에는 횡방향의 유사성이 강하다고 판정하여 D(k)에 「1」를 대입한다.
계속해서, 유사성 판정부(21)는 이와 같이 각 종류마다 유사성이 강한 방향을 판정하면 이 판정결과에 무게 가중을 실시하여 다수결(이하, 「가중다수결」이라고 함)을 실시하는 것에 의해 보간 대상 공격자점의 유사성이 강한 방향을 판정한다(도 13의 S103).
즉, 유사성판정부(21)는 「종방향의 유사성이 강하다고 판정된 종류」쪽이 「횡방향의 유사성이 강하다고 판정된 종류」보다 많은 경우에는 종방향의 유사성이 강하다고 판정하고, 「종방향의 유사성이 강하다고 판정된 종류」보다 「횡방향의 유사성이 강하다고 판정된 종류」쪽이 많은 경우에는 횡방향의 유사성이 강하다고 판정한다.
예를 들면, 유사성판정부(21)는 이와 같은 판정을 실시하기 위한 평가값(D(i,j))을 이하의 수학식 11에 의해 산출한다.
단, α,β,γ,δ,ε는 양의 값이고, 각 항의 무게가중계수이다. 여기서는 제 5 실시형태에 준거하여 α:β:γ:δ:ε=4:4:2:1:1을 만족하는 값으로 한다. 또, α,β,γ,δ,ε는 제 1 실시형태 내지 제 4 실시형태에 준거하여 α,β,γ,δ,ε=1:1:1:0:0, 1:1:0:0:0, 0:1:1:0:0, 1:0:1:0:0을 만족하는 값이라도 좋다.
또, 유사성판정부(21)는 이와 같이 산출한 평가값(D(i,j))에 대해,
D(i,j)〈0
가 성립하는 경우, 종방향의 유사성이 강하다고 판정하고,
D(i,j)〉0
가 성립하는 경우, 횡방향의 유사성이 강하다고 판정하며,
D(i,j)=0
이 성립하는 경우, 2개의 방향의 유사성이 동일하다고 판정한다.
이상 설명한 바와 같이, 제 6 실시형태에서는 종방향 및 횡방향에 대한 제 1 유사도 내지 제 5 유사도를 산출하여 각 종류마다 유사성이 강한 방향을 판정하고, 그 판정결과의 가중다수결에 의해 보간대상 공격자점의 유사성이 강한 방향을 판정한다.
따라서, 제 6 실시형태에서는 수학식 11에 있어서, α:β:γ:δ:ε=4:4:2:1:1로 한 경우에는 제 5 실시형태와 마찬가지로 흑백 나이키스트 줄무늬와 같은 공간 주파수가 높은 화상뿐만 아니라 자연화등의 대부분의 종류의 화상에 대한 위색의 발생을 저감할 수 있다. 즉, 제 6 실시형태에 의하면 보간처리의 정밀도를 확실히 향상시킬 수 있다.
그런데, 제 6 실시형태에서는 5종류의 유사도(제 1 유사도 내지 제 5 유사도)를 산출하는 예를 나타냈지만, 가중다수결에 의해 보간대상공격자점의 유사성이 강한 방향을 판정하는 보간 처리의 방법에서는 제 1 유사도 내지 제 5 유사도의 적어도 2개의 유사도를 산출할 수 있으면 어떤 유사도가 산출되어도 좋다.
예를 들면 가중다수결에 의해 보간대상공격자점의 유사성이 강한 방향을 판정하는 보간 처리에 있어서, 산출되어야 하는 유사도의 조합으로는 「제 1 유사도 및 제 2 유사도(제 2 실시형태에 준거한 경우)」, 「제 2 유사도 및 제 3 유사도(제 3 실시형태에 준거한 경우」「제 1 유사도 및 제 3 유사도(제 4 실시형태에 준거한 경우)」「제 1 유사도, 제 2 유사도 및 제 3 유사도(제 1 실시형태에 준거한 경우)」등을 생각할 수 있다.
또, 이것들의 위색 저감 효과는 제 1 실시형태 내지 제 4 실시형태에서의 위색 저감 효과에 준한다.
(제 7 실시형태)
도 14는 제 7 실시형태 내지 제 10 실시형태에 대응하는 전자스틸카메라의 기능 블록도이다.
도 14에 있어서, 기능이 도 1에 도시한 기능 블록도와 같은 것에 대해서는 동일한 부호를 부여하여 나타내고, 구성의 설명에 대해서는 생략한다.
또, 도 14와 도 1의 구성의 상위점은 도 14의 보간처리부(30), 유사도산출부(31) 및 보간량산출부(32)가 도 1의 보간처리부(19), 유사도산출부(20), 유사성판정부(21) 및 보간량산출부(22)를 대신하여 설치한 점이다.
또, 도 14의 전자스틸카메라는 도 3의 S4(보간처리를 실시하는 단계)을 제외하고 도 1의 전자스틸 카메라와 동일하게 동작한다.
도 15는 제 7 실시형태의 보간처리의 동작 플로우차트이다.
이하, 도 14 및 도 15를 참조하여 제 7 실시형태의 동작을 설명하지만, 제 7 실시형태의 특징은 보간처리의 방법에 있으며, 다른 동작에 대해서는 제 1 실시형태와 동일하기 때문에 여기서는 보간처리의 동작을 중심으로 설명한다.
우선, 보간처리부(30)는 제 1 실시형태와 마찬가지로 보간 대상 공격자점을 선택하고(도 15의 S1), 보간대상 공격자점의 색정보(RB(i,j)) 및 보간 대상 공격자점에 인접하는 격자점의 색정보(G(i,j-1)), (G(i,j+1)), (G(i-1,j), (G(i+1, j)) 를 화상 버퍼메모리(15)로부터 판독한다(도 15의 S2).
또, 이와 같이 하여 화상 버퍼메모리(15)로부터 판독된 보간 대상 공격자점의 색정보(RB(i,j)) 및 보간 대상 공격자점에 인접하는 격자점의 색정보(G(i,j-1)), (G(i,j+1)), (G(i-1,j)), (G(i+1,j))는 유사도산출부(31)에 공급된다.
유사도산출부(31)는 이와 같이 공급된 격자점의 색정보(G(i,j-1)), (G(i,j+1)), (G(i-1,j)), (G(i+1,j))를 이용하여 하기 수학식에 의해 보간대상공격자점의 주변 부분의 화상의 특징을 나타내는 값(Q)(이하, 「부분화상특징값(Q)」이라고 함)을 산출한다(도 15의 S3).
단, 수학식 12에 있어서,
이며, θ는 미리 정해진 정수이다.
수학식 14에 있어서,
이다.
수학식 15에 있어서,
이며, t1, t2, t3 및 t4는 미리 정해진 정수이다(모두 「0」의 경우도 포함).
수학식 16에 있어서,
이며, y1, y2, y3 및 y4는 미리 정해진 정수이다(모두 「0」의 경우도 포함).
즉, 부분 화상 특징값(Q)은 「G(i,j-1)+G(i,j+1)」와 「G(i-1,j)+G(i+1,j)」의 차(Q1)가 큰 경우, 보간 대상 공격자점에 대해 종방향에 인접하는 격자점의 색정보의 합과 횡방향에 인접하는 격자점의 색정보의 합이 차이가 크다는 것을 의미한다.
또, C1(i,j)와 C2(i,j)의 합(Q2)이 작은 경우, 보간 대상 공격자점의 주변에 있어서, 종방향의 색정보의 경사와 횡방향의 색정보의 경사가 모두 작은 것을 의미한다.
유사도산출부(31)는 상기 수학식에 의해 부분 화상 특징값(Q)을 산출하면 부분 화상 특징값(Q)에 대해서 「Q≤Qth」가 성립한지 여부를 판정한다(도 15의 S4).
또, Qth는 미리 정해진 임계값이며, 부분 화상 특징값(Q)이 임계값(Qth)을 상회하는 경우(Q1이 크고 Q2가 작은 경우)는 보간 대상 공격자점의 주변부분의 화상이 흑백 나이키스트 줄무늬인 가능성이 높은 것을 의미한다.
유사도산출부(31)는 「Q≤Qth」가 성립한 경우, 이미 판독되어 있는 격자점의 색정보(G(i,j-1), G(i,j+1), G(i-1,j), G(i+1,j))를 이용하여 하기 수학식에 의해 종방향의 유사도(Ct(i,j)) 및 횡방향의 유사도(Cy(i,j))를 산출한다(도 15의 S5).
단, C1(i,j) 및 C2(i,j)는 상기 수학식 15∼수학식 18에 의해 산출되는 값이다.
한편, 유사도산출부(31)는 「Q≤Qth」가 성립하지 않는 경우(「Q〉Qth」가 되는 경우), 이미 판독되어 있는 보간대상 공격자점의 색정보(RB(i,j)) 및 격자점의 색정보(G(i,j-1),G(i,j+1), G(i-1,j), G(i+1,j))를 이용하여 하기 수학식에 의해 종방향의 유사도(Ct(i,j)) 및 횡방향의 유사도(Cy(i,j))를 산출한다(도 15의 S6).
단, 상기 수학식 21에 있어서,
이며, 수학식 11에 있어서,
이다.
수학식 23에 있어서,
또는,
이며, u1, u2, u3, u4 및 t는 미리 정해진 정수이다.
수학식 24에 있어서,
또는,
이며, v1, v2, v3, v4 및 y는 미리 정해진 정수이다.
즉, 유사도산출부(31)는 종방향의 유사도(Ct(i,j)) 및 횡방향의 유사도(Cy(i,j))를 산출할 때 보간대상 공격자점의 색정보(RB(i,j))를 이용할지 여부를 부분 화상 특징값(Q)의 대소에 따라서 결정할 수 있다.
또, 유사도산출부(31)는 이와 같이 산출한 종방향의 유사도(Ct(i,j)) 및 횡방향의 유사도(Cy(i,j))를 보간량산출부(32)에 공급한다.
보간량산출부(32)는 종방향의 유사도(Ct(i,j)) 및 횡방향의 유사도(Cy(i,j))가 공급되면 이미 보간처리부(30)를 통하여 공급되어 있는 격자점의 색정보(G(i,j-1), G(i,j+1), G(i-1,j), G(i+1,j))를 이용하여 보간대상 공격자점의 보간량(G’(i,j))을 하기 수학식 27에 의해 산출한다.
단,
-1≤x≤1일 때, f(x)=x
x〉1일 때 f(x)=1
x〈-1일 때 f(x)=-1
여기서, T1은 「0≤T1≤1」을 만족하는 정수이며, 색정보를 「0에서 255까지」의 정수(8비트)로 나타낸 경우, T0는 「0에서 100까지」의 정수로 한다. 또, T0와 T1은 모두 「0」이 되지는 않는다. 예를 들면 T1과 T0의 조합(t1, t0)으로는 (0.3, 0), (0.5, 10), (0.7, 0), (0.3, 40), (0.5, 40), (0.7, 40)을 생각할 수 있다.
이와 같이, 보간량산출부(32)는 수학식 28에 의해 얻어지는 x의 값을 보간대상 공격자점의 유사성의 평가값으로 하고, 그 평가값에 따라서 보간 대상 공격자점의 보간량을 산출한다. 여기서, 「x〉0」이 성립하는 경우에는 횡방향의 유사성보다 종방향의 유사성이 강하고, 「x〈0」이 성립하는 경우에는 종방향의 유사성보다 횡방향의 유사성이 강한 것을 의미한다.
또, f(x)의 그래프는 도 16에 도시한 형상이 된다.
그런데, 수학식 27은 「x〉1」가 성립하는 경우 「f(x)=1」이기 때문에
G’(i,j)=(G(i,j-1)+G(i,j+1))/2
와 등가이며, 「x〈-1」이 성립하는 경우, 「f(x)=-1」이기 때문에,
G’(i,j)=(G(i-1,j)+G(i+1,j))/2
와 등가이다.
즉, 보간량산출부(32)는 「x〉1」이 성립하는지 여부를 판정하는 것에 의해 보간대상공격자점의 종방향의 유사성의 강도가 돌출되어 있는지 여부를 판정하고(도 15의 S7), 「x〈-1」이 성립하는지 여부를 판정하는 것에 의해 보간대상 공격자점의 횡방향의 유사성의 강도가 돌출되어 있는지 여부를 판정한다(도 15의 S8).
또, 보간량산출부(32)는 보간대상 공격자점의 종방향의 유사성의 강도가 돌출되어 있는 경우, 종방향에 인접하는 2개의 격자점의 색정보의 평균값을 보간대상 공격자점의 보간량으로 하고(도 15의 S9), 보간대상 공격자점의 횡방향의 유사성의 강도가 돌출되어 있는 경우, 횡방향에 인접하는 2개의 격자점의 색정보의 평균값을 보간대상 공격자점의 보간량으로 한다(도 15의 S10).
따라서, 수학식 27은 「-1≤x≤1」이 성립하는 경우,
G′(i,j)={(G(i,j-1)+G(i,j+1))/2}·{(1+x)/2}
+{(G(i-1,j)+G(i+1,j))/2}·{(1-x)/2}
와 등가이다.
여기서, 「(G(i,j-1)+G(i,j+1)/2」는 종방향에 인접하는 2개의 격자점의 색정보의 평균값이며, 「(1+x)/2」는 종방향의 유사도에 대응하는 무게가중계수에 상당한다. 또, 「(G(i-1,j)+G(i+1,j))/2」는 횡방향에 인접하는 2개의 격자점의 색정보의 평균값이며, 「(1-x)/2」는 횡방향의 유사도에 대응하는 무게가중계수에 상당한다.
즉, 보간량산출부(32)는 어떤 방향의 유사성의 강도도 돌출되어 있지 않은 것을 인식한 경우, 보간대상공격자점의 종방향에 인접하는 2개의 격자점의 색정보의 평균값 및 횡방향에 인접하는 2개의 격자점의 색정보의 평균값에 대해 각 방향의 유사성의 평균값에 기초한 가중 가산을 실시하는 것에 의해 보간대상 공격자점의 보간량을 산출한다(도 15의 S11).
또, 보간처리부(30)는 모든 공격자점의 보간 처리가 완료되었는지 여부를 판정한다(도 15의 S12). 또, 이와 같은 판정에 의해 모든 공격자점의 보간 처리가 완료한 것을 인식하기까지 상술한 처리(도 15의 S1이후의 처리)가 반복된다.
이상 설명한 바와 같이, 제 7 실시형태에서는 보간대상 공격자점의 주변 부분의 화상이 흑백 나이키스트 줄무늬와 같은 화상(보간 대상 공격자점의 종방향에 인접하는 2개의 격자점의 색정보가 매우 유사하여 횡방향에 인접하는 2개의 격자점의 색정보가 매우 유사하고, 또 보간대상 공격자점의 종방향에 인접하는 격자점의 색정보와 횡방향에 인접하는 격자점의 색정보의 차이가 큰 화상)인 경우에 한해 종방향의 유사도 및 횡방향의 유사도를 산출할 때, 그 보간대상 공격자점의 색정보를 확실히 반영할 수 있다.
이때문에, 종래의 보간 처리에 의해 양 방향의 유사성이 균형이 맞다고 오판정된 화상(실제로는 한쪽의 유사성의 강도가 돌출되어 있는 화상)에 대해서도 제 7 실시형태에 의해 정밀도좋게 유사도를 산출할 수 있다.
또, 제 7 실시형태에서는 보간 대상 공격자점의 주변 부분의 화상이 보간 대상 공격자점의 색정보를 이용하지 않고 유사도를 산출할 수 있는 화상인 경우에는 보간 대상 공격자점에 인접하는 격자점의 색정보만을 이용하여 유사도를 산출할 수 있다.
즉, 제 7 실시형태에 의하면 보간 대상 공격자점의 주변 부분의 화상의 특징에 따라서 적합하게 유사도를 산출할 수 있기 때문에 보간 처리의 정밀도를 확실히 향상시킬 수 있다.
여기서, 화상의 특징을 식별하는 방법에 대해 설명한다. 본 발명에 있어서, 화상의 특징을 식별하는 목적은 「매우 변화가 심한 부분」을 식별하는 것이며, 상술한 설명에서는 「Q〉Qth」가 성립하는 부분이 「매우 변화가 심한 부분」에 상당한다. 이와 같은 화상의 특징을 식별하는 방법에 대해서는 여러가지 방법이 가능하기 때문에 그 예를 몇가지 설명한다.
상술한 수학식 13에 있어서, Q1은 보간 대상 공격자점의 종방향에 인접하는 2개의 격자점의 색정보의 평균값과 보간 대상 공격자점의 횡방향에 인접하는 2개의 격자점의 색정보의 평균값의 차의 절대값(의 2배)에 상당하는 값이다. 따라서, Q1이 큰 부분은 흑백 나이키스트 줄무늬일 가능성이 높은 것을 나타내며, Q1만으로 「매우 변화가 심한 부분」을 식별하는 것이 가능하다.
즉, 「Q〉Qth」가 성립하는지 여부를 판정하는 대신에,
「Q〉Q1th ; Q1th는 정수」
가 성립하는지 여부를 판정하는 것에 의해 「매우 변화가 심한 부분」을 식별하는 것이 가능하다.
또, 제 7 실시형태에서는 「Q〉Qth」가 성립하는지 여부를 판정하는 것에 의해 Q1이 크고 Q2가 작은 부분을 식별하고 있지만, 「Q〉Qth」가 성립하는지 여부를 판정하는 대신에,
「Q〉Q1th 또 Q2〈Q2th ; Q1th, Q2th는 정수」
가 성립하는지 여부를 판정해도 좋다.
또, 「Q=Q1-θ·Q2〉Qth」는 「Q〉Q1th 또 Q2〈Q2th」와 동일한 판정으로 되어 있다.
그런데, 상술한 바와 같이, C1(i,j)와 C2(i,j)의 합(Q2)이 작은 경우, 보간 대상 공격자점의 주변에 있어서, 종방향의 색정보의 경사와 횡방향의 색정보의 경사가 모두 작은 것을 의미한다. 이와 같은 경우, 보간 처리의 대상이 되는 부분은 변화가 없고 완전히 평탄한 부분이 흑백 나이키스트 줄무늬의 부분중 어느 한쪽일 가능성이 높다.
또, 완전히 평탄한 부분은 종방향에 인접하는 격자점의 색정보의 평균으로 보간 처리를 실시하거나 횡방향에 인접하는 격자점의 색정보의 평균으로 보간 처리를 실시해도 보간 처리의 결과에 큰 차가 생기지 않는다.
이때문에, C1(i,j)와 C2(i,j)가 모두 작은 것을 판정하는 것에 의해 완전히 평탄한 부분까지 포함하여 「매우 변화가 심한 부분」을 식별하는 것은 실해는 없다.
즉, 「Q〉Qth」가 성립하는지 여부를 판정하는 대신에,
「C1(i,j)〈C1th 또 C2(i,j)〈C2th ; C1th, C2th는 정수」
가 성립하는지 여부를 판정해도 실제적으로는 유효하다.
또, 「Q2=C1(i,j)+C2(i,j)」이기 때문에, 「Q〉Qth」가 성립하는지 여부를 판정하는 대신에,
「C2〈Q2th2 ; Q2th2는 정수」
가 성립하는지 여부를 판정해도 좋다.
이와 같이 화상의 특징을 식별하는 방법에 대해서는 여러가지 방법이 가능하며, 「매우 변화가 심한 부분」을 식별할 수 있으면 어떤 식을 이용해도 좋다.
또, 제 7 실시형태에서는 f(x)를 도 16에 도시한 형상으로 하고 있지만, 종방향의 유사성과 횡방향의 유사성중 어느 한쪽의 유사성의 강도가 돌출하는 경우, 유사성의 강도가 돌출하는 방향에 인접하는 2개의 격자점의 색정보의 평균값을 보간 대상 공격자점의 보간량으로 할 수 있으면, f(x)는 어떤 함수라도 좋다.
또, 제 7 실시형태에서는 보간량의 산출시에 f(x)의 값을 산출하고 있지만, 예를 들면 보간량 산출부(32)내에 조사테이블을 설치하여 미리 산출한 f(x)의 값을 저장하고, 보간 대상 공격자점의 종방향의 유사도(Ct(i,j))나 횡방향의 유사도(Cy(i,j))에 대응하여 조사테이블을 참조하는 것에 의해 f(x)의 값을 취득해도 좋다.
또, x를 산출할 때의 나눗셈을 회피하기 위해, 분모에 상당하는 값을 산출한 후, 테이블을 참조하여 그 값을 「1/분모」에 상당하는 값으로 치환하는 것에 의해 곱셈으로 x를 구해도 좋고, 분자의 절대값과 분포를 테이블의 참조등에 의해 대수화하고 나서 차를 구해 이것과 소정값의 대소를 비교하는 방법(이 경우, 부호는 별도로 식별함)으로 치환해도 좋다.
또, 제 7 실시형태에서는 유사성의 강도가 돌출되어 있는 방향의 판정을 x값에 기초하여 실시하고 있지만, 예를 들면 종방향의 유사도(Ct(i,j))가 임계값(Th)이하이고 횡방향의 유사도(Cy(i,j))가 임계값(Th)을 상회하는 경우에는 종방향의 유사성의 강도가 돌출되어 있다고 판정하고, 횡방향의 유사도(Cy(i,j))가 임계값(Th)이하이고 종방향의 유사도(Ct(i,j))가 임계값(Th)을 상회하는 경우에는 횡방향의 유사성의 강도가 돌출되어 있다고 판정해도 좋다.
또, 제 7 실시형태에서는 종방향의 유사도(Ct(i,j)) 및 횡방향의 유사도(Cy(i,j))가 균형이 맞는 경우, 각 유사도에 대응하는 무게가중계수에 기초하여 보간 대상 공격자점의 보간량(G’(i,j))을 산출하고 있지만, 보간 대상 공격자점의 보간량(G’(i,j))은
G’(i,j)={G(i,j-1)+G(i,j+1)+G(i-1,j)+G(i+1,j)}/4
또는
G’(i,j)=median{G(i,j-1),G(i,j+1),G(i-1,j),G(i+1,j)}
에 의해 산출해도 좋다.
단, median{}은 복수의 요소의 메디안을 산출하는 함수를 나타내고, 요소의 수가 짝수인 경우 중앙의 2개의 요소의 평균값을 구하기로 한다.
(제 8 실시형태)
도 17은 제 8 실시형태의 보간 처리의 동작 플로우차트이다.
이하, 도 17를 참조하여 제 8 실시형태의 보간처리를 설명한다.
단, 제 8 실시형태에 대응하는 전자스틸 카메라의 광주리체에는 「모드전환스위치」가 설치되고, 조작자에 의해 「흑백 화상 촬영모드」 또는 「칼라화상 촬영모드」가 선택되는 것으로 한다. 예를 들면 흑색의 문자가 쓰여진 화이트보드등 무채색으로 보이는 피사체를 촬영하는 경우, 조작자는 「모드전환스위치」에 의해 「흑백 화상 촬영모드」를 선택하여 릴리스버튼을 누른다. 또, 제 8 실시형태에서는 「모드전환스위치」의 상태를 나타내는 정보(이하, 「모드정보」라고 함)는 인터페이스부(18)를 통하여 제어부(10)에 통지된다.
즉, 제 8 실시형태에서는 제어부(10)는 릴리스버튼이 눌려진 것을 인식하면 화상처리부(17)내의 보간처리부(19)에 대해 「모드정보」를 통지하고, 또 보간처리의 실행을 지시한다.
보간처리부(30)는 제어부(10)에 의해 보간 처리의 실행이 지시되면 「모드정보」에 기초하여 「흑백 화상 촬영모드」가 선택되어 있는지 여부를 판정한다(도 17의 S1).
보간처리부(30)는 이와 같은 판정에 의해 「흑백 화상 촬영모드」가 선택되어 있는 것을 인식한 경우, 도 17의 S2∼S6의 처리를 반복하여 실시한다. 또, 「흑백 화상 촬영모드」가 선택되어 있지 않은 것을 인식한 경우, 도 17의 S7∼S11의 처리를 반복하여 실시한다.
우선, 「흑백 화상 촬영모드」가 선택되어 있는 것을 인식한 경우의 처리에 대해서 설명한다.
보간처리부(30)는 제 1 실시형태와 마찬가지로 보간대상 공격자점을 선택하고(도 17의 S2), 보간 대상 공격자점의 색정보(RB(i,j)) 및 보간 대상 공격자점에 인접하는 격자점의 색정보(G(i,j-1), G(i,j+1), G(i-1,j), G(i+1,j))를 화상 버퍼메모리(15)로부터 판독하여(도 17의 S3), 유사도산출부(31)에 공급한다.
유사도산출부(31)는 이와 같이 공급된 색정보를 이용하여 이하의 수학식에 의해 종방향의 유사도(Ct(i,j)) 및 횡방향의 유사도(Cy(i,j))를 산출한다.
Ct(i,j)=D1(i,j)…수학식 21과 동일
Cy(i,j)=D2(i,j)…수학식 22와 동일
단, D1(i,j) 및 D2(i,j)는 제 7 실시형태(수학식 23∼수학식 26)와 동일하게 산출된 값이다.
즉, 유사도산출부(31)는 보간대상 공격자점의 색정보(RB(i,j)) 및 보간대상 공격자점에 인접하는 격자점의 색정보(G(i,j-1), G(i,j+1), G(i-1,j), G(i+1,j)를 이용하여 종방향의 유사도(Ct(i,j)) 및 횡방향의 유사도(Cy(i,j))를 산출한다(도 17의 S4).
또, 유사도산출부(31)는 이와 같이 산출한 종방향의 유사도(Ct(i,j)) 및 횡방향의 유사도(Cy(i,j))를 보간량산출부(21)에 공급한다.
보간량산출부(32)는 종방향의 유사도(Ct(i,j)) 및 횡방향의 유사도(Cy(i,j))가 공급되면 제 7 실시형태와 마찬가지로 보간량을 산출한다(도 17의 S5: 도 15의 S7∼S11에 상당).
보간처리부(30)는 보간량산출부(32)에 의해 보간량이 산출되면 모든 공격자점의 보간 처리가 완료되었는지 여부를 판정한다(도 17의 S6). 또, 이와 같은 판정에 의해 모든 공격자점의 보간처리가 완료되는 것을 인식하기까지 상술한 처리(도 17의 S2이후의 처리)가 반복된다.
계속해서, 「흑백화상촬영모드」가 선택되어 있지 않은 것(「칼라화상 촬영 모드」가 선택되어 있는 것)을 인식한 경우의 처리에 대해서 설명한다.
보간처리부(30)는 도 17의 S2와 마찬가지로 보간 대상 공격자점을 선택하고(도 17의 S7), 보간 대상 공격보점에 인접하는 격자점의 색정보(G(i,j-1), G(i,j+1),G(i-1,j),G(i+1,j))를 화상 버퍼메모리(15)로부터 판독하여(도 17의 S8), 유사도산출부(31)에 공급한다.
유사도산출부(31)는 이와 같이 공급된 색정보를 이용하여 이하의 수학식에 의해 종방향의 유사도(Ct(i,j)) 및 횡방향의 유사도(Cy(i,j))를 산출한다.
Ct(i,j)=C1(i,j)…수학식 19와 동일
Cy(i,j)=C2(i,j)…수학식 20과 동일
단, C1(i,j) 및 C2(i,j)는 제 7 실시형태(수학식 15∼수학식 18)와 동일하게 산출되는 값이다.
즉, 유사도산출부(31)는 보간 대상 공격자점에 인접하는 격자점의 색정보(G(i,j-1),G(i,j+1),G(i-1,j),G(i+1,j))를 이용하여 종방향의 유사도(Ct(i,j)) 및 횡방향의 유사도(Cy(i,j))를 산출한다(도 17의 S9).
또, 유사도산출부(31)는 이와 같이 산출한 종방향의 유사도(Ct(i,j)) 및 횡방향의 유사도(Cy(i,j))를 보간량산출부(32)에 공급한다.
보간량산출부(32)는 종방향의 유사도(Ct(i,j)) 및 횡방향의 유사도(Cy(i,j))가 공급되면 제 7 실시형태와 마찬가지로 보간량을 산출한다(도 17의 S9: 도 15의 S7∼S11에 상당).
보간처리부(30)는 보간량산출부(32)에 의해 보간량이 산출되면 모든 공격자점의 보간 처리가 완료되었는지 여부를 판정한다(도 17의 S6)). 또, 이와 같은 판정에 의해 모든 공격자점의 보간 처리가 완료된 것을 인식하기까지 상술한 처리(도 17의 S7이후의 처리)가 반복된다.
이상 설명한 바와 같이, 제 8 실시형태에서는 보간처리를 실시해야하는 화상이 무채색으로 보이는 화상인 경우에 한해 종방향의 유사도 및 횡방향의 유사도에 공격자점의 색정보를 확실히 반영할 수 있다.
따라서, 무채색으로 보이는 화상의 유사도를 정화하게 산출할 수 있기 때문에 보간처리의 정밀도를 확실히 향상시킬 수 있다.
(제 9 실시형태)
도 18은 제 9 실시형태의 보간처리의 동작 플로우차트이다.
이하, 도 18을 참조하여 제 9 실시형태의 보간처리의 동작을 설명한다.
보간처리부(30)는 제 1 실시형태와 마찬가지로 보간 대상 공격자점을 선택하고(도 17의 S1), 보간대상 공격자점의 색정보(RB(i,j)) 및 보간대상 공격자점에 인접하는 격자점의 색정보(G(i,j-1), G(i,j+1), G(i-1,j), G(i+1,j))를 화상 버퍼 메모리(15)로부터 판독하여(도 17의 S2), 유사도산출부(31)에 공급한다.
유사도산출부(31)는 이와 같이 공급된 격자점의 색정보(G(i,j-1), G(i,j+1), G(i-1,j), G(i+1,j))를 이용하여 제 7 실시형태(수학식 12∼수학식 14)와 마찬가지로 부분 화상 특징값(Q)을 산출한다(도 17의 S3).
또, 유사도산출부(31)는 상기한 수학식 15∼수학식 18에 의해 산출되는 C1(i,j) 및 C2(i,j)와 상기한 수학식 23∼수학식 26에 의해 산출되는 D1(i,j) 및 D2(i,j)를 이용하고, 또 이미 산출한 부분 화상 특징값(Q)에 따라서 종방향의 유사도(Ct(i,j)) 및 횡방향의 유사도(Cy(i,j))를 하기 수학식에 의해 산출한다.
「Q≤Qth」가 성립하는 경우
Ct(i,j)=A2·C1(i,j)+(1-A2)·D1(i,j)
Cy(i,j)=B2·C2(i,j)+(1-B2)·D2(i,j)
「Q〉Qth」가 성립하는 경우
Ct(i,j)=A1·C1(i,j)+(1-A1)·D1(i,j)
Cy(i,j)=B1·C2(i,j)+(1-B1)·D2(i,j)
단, Qth는 미리 정해진 임계값이며,
0≤A1〈A2≤1, 0≤B1〈B2≤1
이다.
즉, 유사도산출부(31)는 「Q≤Qth」가 성립하는 경우에는 C1(i,j) 및 C2(i,j)의 무게가중계수를 (「Q〉Qth」가 성립하는 경우보다) 크게 하여 종방향의 유사도(Ct(i,j)) 및 횡방향의 유사도(Cy(i,j))를 산출한다(도 17의 S5).
또, 유사도산출부(31)는 「Q〉Qth」가 성립하는 경우에는 D1(i,j) 및 D2(i,j)의 무게가중계수를 (「Q≤Qth」가 성립하는 경우보다) 크게 하여 종방향의 유사도(Ct(i,j)) 및 횡방향의 유사도(Cy(i,j))를 산출하여(도 17의 S6) 보간량산출부(32)에 공급한다.
그런데, D1(i,j) 및 D2(i,j)는 보간 대상 공격자점의 색정보(RB(i,j)) 및 격자점의 색정보(G(i,j-1), G(i,j+1), G(i-1,j), G(i+1,j))를 이용하여 산출되는 유사도 성분이다. 따라서, 종방향의 유사도(Ct(i,j)) 및 횡방향의 유사도(Cy(i,j))에 대한 보간 대상 공격자점의 색정보(RB(i,j))의 가중은 「Q〉Qth」가 성립하는 경우쪽이 「Q≤Qth」가 성립하는 경우보다 크게 된다.
보간량산출부(32)는 종방향의 유사도(Ct(i,j)) 및 횡방향의 유사도(Cy(i,j))가 공급되면 제 7 실시형태와 동일하게 보간량을 산출한다(도 17의 S7: 도 14의 S7∼S11에 상당함).
보간처리부(30)는 보간량산출부(32)에 의해 보간량이 산출되면 모든 공격자점의 보간처리가 완료되었는지 여부를 판정한다(도 17의 S8). 또, 이와 같은 판정에 의해 모든 공격자점의 보간처리가 완료된 것을 인식하기까지 상술한 처리(도 17의 S1이후의 처리)가 반복된다.
이상 설명한 바와 같이, 제 9 실시형태에서는 종방향의 유사도 및 횡방향의 유사도에 대한 보간대상 공격자점의 색정보의 가중을 부분 화상 특징값(Q)에 따라서 조정할 수 있다.
물론, 화상의 특징을 식별하는 조건은 Q에 한정되지 않고, 제 7 실시형태에서 설명한 바와 같이 여러가지 조건이 사용 가능하다.
따라서, 제 9 실시형태에 의하면 보간 대상 공격자점의 주변 부분의 화상의 특징에 따라서 정확하게 유사도를 산출할 수 있기 때문에 보간 처리의 정밀도를 확실히 향상시킬 수 있다.
(제 10 실시형태)
도 19는 제 10 실시형태의 보간처리의 동작 플로우차트이다.
이하, 도 19를 참조하여 제 10 실시형태의 보간처리의 동작을 설명한다.
단, 제 10 실시형태에 대응하는 전자스틸카메라의 광주리체에는 제 8 실시형태와 마찬가지로 「모드전환스위치」가 설치되고, 조작자에 의해 「흑백화상촬영모드」또는 「칼라화상촬영모드」가 선택되는 것으로 한다. 또, 「모드전환스위치」의 상태를 나타내는 「모드정보」는 인터페이스부(18)를 통하여 제어부(10)에 통지된다.
즉, 제 10 실시형태에서는 제어부(10)는 릴리스버튼이 눌려진 것을 인식하면 화상처리부(17)내의 보간처리부(30)에 대해 「모드정보」를 통지하고, 또 보간처리의 실행을 지시한다.
보간처리부(30)는 제어부(10)에 의해 보간처리의 실행이 지시되면 「모드정보」에 기초하여 「흑백화상촬영모드」가 선택되어있는지 여부를 판정한다(도 19의 S1). 또 이와 같은 판정 결과는 유사도산출부(31)에 통지된다.
유사도산출부(31)는 이와 같은 판정 결과에 기초하여 종방향의 유사도(Ct(i,j)) 및 횡방향의 유사도(Cy(i,j))를 산출할 때 이용하는 무게가중계수를 이하와 같이 설정한다.
또, 제 10 실시형태에서는 종방향의 유사도(Ct(i,j))를 산출할 때의 C1(i,j)의 무게가중계수를 A로 하고, D1(i,j)의 무게가중계수를 (1-A)로 한다. 또, 횡방향의 유사도(Cy(i,j))를 산출할 때의 C2(i,j)의 무게가중계수를 B로 하고, D2(i,j)의 무게가중계수를 (1-B)로 한다.
유사도산출부(31)는 「흑백화상촬영모드」가 선택되어 있는 경우,
A=A1
B=B1
으로 하고, 「흑백화상촬영모드」가 선택되어 있지 않은 경우(「칼라화상촬영모드」가 선택되어 있는 경우)
A=A2
B=B2
로 한다.
단,
0≤A1〈A2≤1, 0≤B1〈B2≤1
이다.
즉, 유사도산출부(20)는 「흑백화상촬영모드」가 선택되어 있는 경우에는 D1(i,j) 및 D2(i,j)의 무게가중계수를 (「칼라화상촬영모드」가 선택되어 있는 경우보다) 큰 값으로 한다(도 19의 S2).
한편, 유사도산출부(20)는 「칼라화상촬영모드」가 선택되어 있는 경우에는 C1(i,j) 및 C2(i,j)의 무게가중계수를 (「흑백화상촬영모드」가 선택되어 있는 경우보다) 큰 값으로 한다(도 19의 S3).
이와 같이 종방향의 유사도(Ct(i,j)) 및 횡방향의 유사도(Cy(i,j))을 산출할 때 이용하는 무게가중계수가 설정되면 보간처리부(30)는 제 1 실시형태와 마찬가지로 보간대상 공격자점을 선택하고(도 19의 S4), 보간 대상 공격자점의 색정보(RB(i,j)) 및 보간 대상 공격자점에 인접하는 격자점의 색정보(G(i,j-1)), G(i,j+1), G(i-1,j), G(i+1,j)를 판독하여(도 19의 S5), 유사도산출부(31)에 공급한다.
유사도산출부(31)는 이와 같이 공급되는 색정보를 이용하여 제 7 실시형태(수학식 15∼수학식 18, 수학식 23∼수학식 26)와 동일하게 하여 C1(i,j), E1(i,j), C2(i,j) 및 E2(i,j)를 산출한다.
또, 유사도산출부(31)는 상술한 무게가중계수(A)에 따라서 C1(i,j)와 E1(i,j)를 가중 가산하여 종방향의 유사도(Ct(i,j))를 산출하고, 또 상술한 무게가중계수(B)에 따라서 C2(i,j)와 E2(i,j)를 가중 가산하여 횡방향의 유사도(Cy(i,j))를 산출한다(도 19의 S6).
즉, 유사도산출부(31)는 종방향의 유사도(Ct(i,j)) 및 횡방향의 유사도(Cy(i,j))를 하기 수학식에 의해 산출한다.
Ct(i,j)=A·C1(i,j)+(1-A)·E1(i,j)
Cy(i,j)=B·C2(i,j)+(1-B)·E2(i,j)
또, 유사도산출부(31)는 이와 같이 산출한 종방향의 유사도(Ct(i,j)) 및 횡방향의 유사도(Cy(i,j))를 보간량산출부(32)에 공급한다.
그런데, D1(i,j) 및 D2(i,j)는 보간 대상 공격자점의 색정보(RB(i,j)) 및 격자점의 색정보(G(i,j-1), G(i,j+1), G(i-1,j), G(i+1,j))를 이용하여 산출된다. 따라서, 종방향의 유사도(Ct(i,j)) 및 횡방향의 유사도(Cy(i,j))에 대한 보간 대상 공격자점의 색정보(RB(i,j))의 가중은 「칼라화상촬영모드」가 선택되어 있는 경우(A 및 B의 값이 큰 경우)보다 「흑백화상촬영모드」가 선택되어 있는 경우(A 및 B의 값이 작은 경우)쪽이 크게 된다.
보간량산출부(32)는 종방향의 유사도(Ct(i,j)) 및 횡방향의 유사도(Cy(i,j))가 공급되면 제 7 실시형태와 마찬가지로 보간량을 산출한다(도 19의 S7: 도 14의 S7∼S11에 상당).
보간처리부(30)는 보간량산출부(32)에 의해 보간량이 산출되면 모든 공격자점의 보간처리가 완료되었는지 여부를 판정한다(도 19의 S8). 또, 이와 같은 판정에 의해 모든 공격자점의 보간 처리가 완료된 것을 인식하기까지 상술한 처리(도 19의 S4이후의 처리)가 반복된다.
이상 설명한 바와 같이, 제 10 실시형태에서는 보간 처리를 실시해야하는 화상이 무채색으로 보이는 화상인 경우, 종방향의 유사도(Ct(i,j)) 및 횡방향의 유사도(Cy(i,j))에 대한 보간 대상 공격자점의 색정보(RB(i,j))의 가중을 크게 할 수 있다. 따라서, 제 10 실시형태에 의하면 무채색으로 보이는 화상의 유사도를 정확하게 산출할 수 있기 때문에 보간 처리의 정밀도를 확실히 향상시킬 수 있다.
(제 11 실시형태)
도 20은 제 11 실시형태의 기능 블록도이다.
또, 제 11 실시형태는 「보간처리프로그램을 기록한 기록매체」를 이용하여 퍼스널컴퓨터에 의해 보간 처리를 실시하는 것에 상당한다.
도 20에 있어서, 기능이 도 1이나 도 14에 나타낸 기능 블록도와 동일한 것에 대해서는 동일한 부호를 부여하여 나타내고, 구성의 설명에 대해서는 생략한다.
또, 도 20에 도시한 전자스틸카메라(50)와 도 1 및 도 14의 구성의 상위점은 제어부(51) 및 화상처리부(52)가 제어부(10) 및 화상처리부(17)를 대신하여 설치되고, 제어부(51) 및 화상처리부(52)의 출력에 접속된 메모리카드드라이버(53)가 설치된 점이다.
또, 도 20에 있어서 퍼스널컴퓨터(60)는 CPU(61), 메모리카드드라이버(62) 및 화상메모리(63)를 갖는다.
CPU(61)는 메모리카드드라이버(62) 및 화상메모리(63)에 접속된다. 메모리카드드라이버(62)의 출력은 CPU(61) 및 화상메모리(63)에 접속되고, CPU(61)의 출력은 메모리카드드라이버(62) 및 화상메모리(63)에 접속되며, 화상메모리(63)의 출력은 메모리카드드라이버(62) 및 CPU(61)에 접속된다. 또, CPU(61)에는 CD-ROM(64)에 기록된 보간 처리 프로그램이 미리 인스톨되어 있다.
도 21은 제 11 실시형태의 동작 플로우차트이다.
이하, 도 20 및 도 21를 참조하여 제 11 실시형태의 동작을 설명한다.
우선, 전자스틸카메라(60)의 동작에 대해 설명한다.
전자스틸카메라(60)내의 촬상소자(13)는 상술한 각 실시형태와 마찬가지로 신호 전하를 생성한다. 또, 촬상소자(13)는 이와 같이 생성한 신호 전하를 주사하여 화상 신호를 생성하여 A/D변환부(14)에 부여한다.
A/D변환부(14)는 이와 같이 부여된 화상신호를 A/D변환하여 화상 데이터를 생성한다(도 21의 S1). 이와 같이 생성된 화상 데이터는 화상 버퍼메모리(15)내에 일시적으로 저장된다(도 21의 S2).
또, 단계조정변환부(16)는 이와 같이 화상 버퍼메모리(15)에 저장된 화상 데이터에 대해 단계 조정 변환(log화나 γ변환등)을 실시해도 좋다.
그런데, 상술한 처리(화상 데이터의 생성 및 저장)는 제어부(51)에 의한 타이밍 제어에 기초하여 반복 실시된다.
또, 제어부(51)는 인터페이스부(18)를 통하여 전자스틸카메라(50)의 광주리체에 설치된 릴리스버튼(도시하지 않음)이 눌려졌는지 여부를 판정한다(도 21의 S3). 제어부(51)는 이와 같은 판정에 의해 릴리스버튼이 눌려져 있지 않은 것을 인식하면 상술한 타이밍제어에 의해 화상 데이터의 생성(도 21의 S1) 및 저장(도 21의 S2)의 처리를 반복 지시한다.
한편, 제어부(51)는 릴리스버튼이 눌려진 것을 인식하면 화상처리부(52) 및 메모리카드드라이버(53)에 대해 화상버퍼메모리(15)에 저장된 화상 데이터를 메모리카드(54)에 기록할 것을 지시한다(도 21의 S4).
화상처리부(52)에서는 화상버퍼메모리(15)에 저장된 화상 데이터에 대해 촬상소자(13)의 고유의 문제점(예를 들면, 암레벨 등)을 해결하는 조정을 실시하여(여기서, 보간처리는 실시되지 않음) 메모리카드드라이버(53)에 부여한다.
메모리카드드라이버(53)는 화상 데이터를 화상 파일의 형식으로 메모리카드(54)에 기록하고, 또 화상파일의 헤더부에 설치된 「보간요구플러그」(화상데이터가 보간처리를 필요로 하는 것을 나타내는 플러그)를 꽂는다.
그런데, 전자스틸카메라(50)의 광주리체에 「흑백화상촬영모드」와 「칼라화상촬영모드」의 「모드전환스위치」가 설치되어 있는 경우, 제어부(51)는 릴리스버튼이 눌려진 시점의 「모드전환스위치」의 상태를 나타내는 「모드정보」를 인터페이스부(18)를 통하여 취득한다.
또, 제어부(51)는 이와 같이 취득한 「모드정보」를 메모리카드드라이버(53)를 통하여 화상파일의 헤더부에 저장한다.
계속해서, 퍼스널컴퓨터(60)의 동작에 대해서 설명한다.
퍼스널컴퓨터(60)에 있어서, 화상파일이 기록된 메모리카드(54)가 장전되면 CPU(61)는 메모리카드드라이버(62)를 통하여 화상파일의 헤더부를 판독한다(도 21의 S5).
CPU(61)는 이와 같이 화상파일의 헤더부를 판독하면 「보간요구플러그」가 꽂아져 있는지 여부를 판정한다(도 21의 S6).
CPU(61)는 이와 같은 판정에 의해 「보간요구플러그」가 꽂아져 있는 것을 인식한 경우에 한해 메모리카드 드라이버(62)를 통하여 화상 데이터를 판독하여 화상메모리(63)에 저장한다(도 21의 S7).
또, CPU(61)는 화상메모리(63)에 저장된 화상 데이터에 대해 보간 처리를 실시한다(도 21의 S8).
또, CPU(61)가 실시하는 보간 처리는 상술한 각 실시형태에 있어서 도 1 및 도 14의 화상처리부(17)가 실시하는 보간처리와 동일하기 때문에 여기서는 설명을 생략한다.
그런데, CPU(61)는 제 8 실시형태 및 제 10 실시형태와 동일한 보간 처리를 실시하는 경우, 화상파일의 헤더부로부터 상술한 「모드정보」를 판독하여 「흑백화상촬영모드」가 선택되어 있는지 여부를 판정한다.
CPU(61)는 보간 처리가 종료된 시점에서 보간처리가 실시된 화상 데이터를 메모리카드 드라이버(62)를 통하여 메모리카드(54)에 다시한번 기록한다(도 21의 S9). 또, 보간처리가 실시된 화상 데이터를 메모리카드(54)에 기록할지 여부는 조작자가 퍼스널컴퓨터(60)의 입력장치(예를 들면 키보드등)에 의해 선택할 수 있도록 해도 좋다.
즉, 제 11 실시형태에서는 상술한 각 실시형태와 동일한 보간 처리를 퍼스널컴퓨터(60)에 의해 확실히 실시할 수 있다.
따라서, 제 11 실시형태에 의하면 상술한 각 실시형태와 동일하게 하여 유사도를 산출할 수 있기 때문에 보간 처리의 정밀도를 확실히 향상시킬 수 있다.
또, 제 11 실시형태에서는 퍼스널컴퓨터(60)는 보간 처리를 실시해야 하는 화상 데이터를 메모리카드(54)를 통하여 취득하고 있지만, 이와 같은 화상 데이터를 취득하는 방법에 대해서는 어떤 방법이라도 좋다.
예를 들면, 통신수단을 구비한 퍼스널컴퓨터에 본 발명을 적용하는 경우, 그 통신수단을 통하여 부여되는 화상 데이터에 대해 보간 처리를 실시하는 것도 가능하다.
Claims (19)
- 공간 주파수가 가장 높은 제 1 색성분의 색정보를 출력하는 복수의 격자점과 해당 제 1 색성분의 색정보를 출력하지 않고 해당 제 1 색성분 보다 공간 주파수가 낮은 제 2 색성분 또는 제 3 색성분의 색정보를 출력하는 복수의 공격자점이 2차원 배열된 촬상소자에 의해 생성되는 화상에 대해 각각의 공격자점의 상기 제 1 색성분의 색정보에 상당하는 보간량을 구하는 보간처리를 실시하는 보간처리장치에 있어서,보간 처리의 대상이 되는 보간 대상 공격자점마다 상기 제 1 색성분 내지 상기 제 3 색성분의 3색의 색정보를 이용하여 복수의 방향에 대한 유사도를 산출하는 유사도산출수단;상기 유사도산출수단에 의해 산출된 복수의 방향에 대한 유사도에 기초하여 상기 보간대상 공격자점마다 유사성이 강한 방향을 판정하는 유사성판정수단; 및상기 유사성 판정수단에 의한 판정결과에 따라서 상기 보간 대상 공격자점마다 보간량을 산출하는 보간량 산출수단을 구비한 것을 특징으로 하는 보간처리장치.
- 제 1 항에 있어서,상기 유사도산출수단은,상기 보간대상 공격자점과 해당 보간대상 공격자점의 근방에 위치하는 격자점 및 공격자점으로부터 출력되는 상기 제 1 색성분 내지 상기 제 3 색성분의 색정보에 기초하여 「상기 제 1 색성분의 색정보와 상기 제 2 색성분의 색정보를 이용한 유사도 성분」과 「상기 제 1 색성분의 색정보와 상기 제 3 색성분의 색정보를 이용한 유사도 성분」의 2종류의 유사도 성분을 상기 복수의 방향마다 산출하고, 2종류의 해당 유사도성분으로부터 상기 유사도를 산출하는 것을 특징으로 하는 보간처리장치.
- 제 1 항에 있어서,상기 유사도산출수단은,상기 보간 대상 공격자점과 해당 보간 대상 공격자점 근방에 위치하는 격자점 및 공격자점으로부터 출력되는 상기 제 1 색성분 내지 상기 제 3 색성분의 색정보에 기초하여,(a) 「상기 제 1 색성분의 색정보와 상기 제 2 색성분의 색정보를 이용한 유사도 성분」 및 「상기 제 1 색성분의 색정보와 상기 제 3 색성분의 색정보를 이용한 유사도 성분」의 2종류의 유사도성분과,(b) 「상기 제 1 색성분의 색정보만을 이용한 유사도 성분」, 「상기 제 2 색성분의 색정보만을 이용한 유사도성분」, 및 「상기 제 3 색성분의 색정보만을 이용한 유사도성분」중 적어도 1종류의 유사도성분을 합한 3종류 이상의 유사도성분을 상기 복수 방향마다 산출하여 3종류 이상의 해당 유사도성분으로부터 상기 유사도를 산출하는 것을 특징으로 하는 보간처리장치.
- 공간 주파수가 가장 높은 제 1 색성분의 색정보를 출력하는 복수의 격자점과 해당 제 1 색성분의 색정보를 출력하지 않고 해당 제 1 색성분 보다 공간 주파수가 낮은 제 2 색성분 또는 제 3 색성분의 색정보를 출력하는 복수의 공격자점이 2차원 배열된 촬상소자에 의해 생성되는 화상에 대해 각각의 공격자점의 상기 제 1 색성분의 색정보에 상당하는 보간량을 구하는 보간처리를 실시하는 보간처리장치에 있어서,보간 처리의 대상이 되는 보간 대상 공격자점마다 복수의 방향에 대한 유사도를 하기와 같이 산출하는 유사도산출수단;상기 유사도산출수단에 의해 산출된 복수의 방향에 대한 유사도에 기초하여 상기 보간대상 공격자점마다 유사성이 강한 방향을 판정하는 유사성판정수단; 및상기 유사성 판정수단에 의한 판정결과에 따라서 상기 보간 대상 공격자점마다 보간량을 산출하는 보간량 산출수단을 구비하고,상기 유사도산출수단은,상기 보간 대상 공격자점과 해당 보간 대상 공격자점의 근방에 위치하는 격자점 및 공격자점으로부터 출력되는 상기 제 1 색성분 내지 상기 제 3 색성분의 색정보에 기초하여,(a) 「상기 보간대상공격자점의 색성분과 다른 색성분을 출력하는 공격자점의 색정보와 상기 제 1 색성분의 색정보를 이용한 유사도성분」과,(b) 「상기 제 1 색성분의 색정보만을 이용한 유사도 성분」, 「상기 제 2 색성분의 색정보만을 이용한 유사도성분」, 및 「상기 제 3 색성분의 색정보만을 이용한 유사도성분」중 적어도 1종류의 유사도성분을 합한 2종류 이상의 유사도성분을 상기 복수의 방향마다 산출하고, 2종류이상의 해당 유사도성분으로부터 상기 유사도를 산출하는 것을 특징으로 하는 보간처리장치.
- 공간 주파수가 가장 높은 제 1 색성분의 색정보를 출력하는 복수의 격자점과 해당 제 1 색성분의 색정보를 출력하지 않고 해당 제 1 색성분 보다 공간 주파수가 낮은 제 2 색성분 또는 제 3 색성분의 색정보를 출력하는 복수의 공격자점이 2차원 배열된 촬상소자에 의해 생성되는 화상에 대해 각각의 공격자점의 상기 제 1 색성분의 색정보에 상당하는 보간량을 구하는 보간처리를 실시하는 보간처리장치에 있어서,보간 처리의 대상이 되는 보간 대상 공격자점마다 복수의 방향에 대한 유사도를 하기와 같이 산출하는 유사도산출수단;상기 유사도산출수단에 의해 산출된 복수의 방향에 대한 유사도에 기초하여 상기 보간대상 공격자점마다 유사성이 강한 방향을 판정하는 유사성판정수단; 및상기 유사성 판정수단에 의한 판정결과에 따라서 상기 보간 대상 공격자점마다 보간량을 산출하는 보간량 산출수단을 구비하고,상기 유사도산출수단은,상기 보간 대상 공격자점과 해당 보간 대상 공격자점의 근방에 위치하는 격자점 및 공격자점으로부터 출력되는 상기 제 1 색성분 내지 상기 제 3 색성분의 색정보에 기초하여,(a) 「상기 보간대상공격자점의 색정보와 상기 제 1 색성분의 색정보를 이용한 유사도성분」과,(b) 「상기 제 1 색성분의 색정보만을 이용한 유사도 성분」, 「상기 제 2 색성분의 색정보만을 이용한 유사도성분」, 및 「상기 제 3 색성분의 색정보만을 이용한 유사도성분」중 적어도 1종류의 유사도성분을 합한 2종류 이상의 유사도성분을 상기 복수의 방향마다 산출하고, 2종류이상의 해당 유사도성분으로부터 상기 유사도를 산출하고,「상기 보간 대상 공격자점의 색정보와 상기 제 1 색성분의 색정보를 이용한 유사도성분」을a1│G1-A2│+a2│G3-A2│(단, G1, G3은 상기 보간대상 공격자점을 사이에 두고 동일직선상에 위치하는 2개의 격자점의 색정보이며, A2는 상기 보간대상 공격자점의 색정보이며, a1, a2는 정수이며, a1, a2의 적어도 한쪽은 0이 아니다)에 의해 산출하는 것을 특징으로 하는 보간처리장치.
- 제 2 항 내지 제 5 항 중 어느 한 항에 있어서,상기 유사도 산출수단은,상기 복수의 방향마다 산출한 복수종류의 유사도성분을 동일 방향마다 가중 가산하는 것에 의해 조합하고, 상기 보간 대상 공격자점의 복수의 방향에 대한 유사도를 산출하는 것을 특징으로 하는 보간처리장치.
- 공간 주파수가 가장 높은 제 1 색성분의 색정보를 출력하는 복수의 격자점과 해당 제 1 색성분의 색정보를 출력하지 않고 해당 제 1 색성분 보다 공간 주파수가 낮은 제 2 색성분 또는 제 3 색성분의 색정보를 출력하는 복수의 공격자점이 2차원 배열된 촬상소자에 의해 생성되는 화상에 대해 각각의 공격자점의 상기 제 1 색성분의 색정보에 상당하는 보간량을 구하는 보간처리를 실시하는 보간처리장치에 있어서,보간 처리의 대상이 되는 보간 대상 공격자점과 해당 보간대상공격자점의 근방에 위치하는 격자점 및 공격자점으로부터 출력되는 상기 제 1 색성분 내지 상기 제 3 색성분의 색정보에 기초하여 상기 보간대상 공격자점마다의 복수의 방향에 대한 유사도로서「상기 제 1 색성분의 색정보와 상기 제 2 색성분의 색정보를 이용한 유사도」와 「상기 제 1 색성분의 색정보와 상기 제 3 색성분의 색정보를 이용한 유사도」와 「상기 제 1 색성분의 색정보만을 이용한 유사도」와 「상기 제 2 색성분의 색정보만을 이용한 유사도」와 「상기 제 3 색성분의 색정보만을 이용한 유사도」 중 적어도 2종류의 유사도를 산출하는 유사도산출수단;상기 유사도산출수단에 의해 상기 보간대상 공격자점마다 산출된 복수의 방향에 대한 복수종류의 상기 유사도중, 동일 종류의 상기 유사도의 대소를 각각의 방향마다 비교하여 각각의 종류마다 유사성이 강한 방향을 결정하고, 어떤 방향이 다수를 차지하는지에 의해 상기 보간대상공격자점의 유사성이 강한 방향을 판정하는 유사성판정수단; 및상기 유사성판정수단에 의한 판정결과에 따라서 상기 보간대상공격자점마다 보간량을 산출하는 보간량산출수단을 구비한 것을 특징으로 하는 보간처리장치.
- 공간 주파수가 가장 높은 제 1 색성분의 색정보를 출력하는 복수의 격자점과 해당 제 1 색성분의 색정보를 출력하지 않고 해당 제 1 색성분 보다 공간 주파수가 낮은 제 2 색성분 또는 제 3 색성분의 색정보를 출력하는 복수의 공격자점이 2차원 배열된 촬상소자에 의해 생성되는 화상에 대해 각각의 공격자점의 상기 제 1 색성분의 색정보에 상당하는 보간량을 구하는 보간처리를 실시하는 보간처리장치에 있어서,보간 처리의 대상이 되는 보간 대상 공격자점과 해당 보간대상공격자점의 근방에 위치하는 격자점 및 공격자점으로부터 출력되는 색정보에 기초하여 상기 보간대상 공격자점의 복수의 방향에 대한 유사도의 성분으로서 「상기 보간 대상 공격자점의 색정보와 상기 제 1 색성분의 색정보를 이용한 유사도성분」과 「상기 제 1 색성분의 색정보만을 이용한 유사도성분」의 2종류의 유사도성분중, 적어도 1종류의 유사도성분을 산출하고, 적어도 1종류의 해당 유사도성분으로부터 상기 보간대상공격자점마다의 복수의 방향에 대한 유사도를 산출하는 유사도산출수단;상기 유사도산출수단에 의해 산출된 복수의 방향에 대한 유사도에 기초하여 상기 보간 대상 공격자점마다 유사성이 강한 방향을 판정하는 유사성판정수단; 및상기 유사성판정수단에 의한 판정결과에 따라서 상기 보간대상공격자점마다 보간량을 산출하는 보간량산출수단을 구비하며,상기 유사도산출수단은,상기 보간 대상 공격자점의 주변 부분의 화상의 특징을 추출하고, 상기 2종류의 유사도성분중, 해당 특징에 따라서 결정한 1종류의 유사도성분을 산출하고, 1종류의 해당 유사도성분을 상기 유사도로 하거나 또는 상기 2종류의 유사도를 산출하며, 2종류의 해당 유사도성분을 해당 특징에 따라서 가중 비중을 변하게 하면서 가중 가산하여 상기 유사도를 산출하는 것을 특징으로 하는 보간처리장치.
- 공간 주파수가 가장 높은 제 1 색성분의 색정보를 출력하는 복수의 격자점과 해당 제 1 색성분의 색정보를 출력하지 않고 해당 제 1 색성분 보다 공간 주파수가 낮은 제 2 색성분 또는 제 3 색성분의 색정보를 출력하는 복수의 공격자점이 2차원 배열된 촬상소자에 의해 생성되는 화상에 대해 각각의 공격자점의 상기 제 1 색성분의 색정보에 상당하는 보간량을 구하는 보간처리를 실시하는 보간처리장치에 있어서,보간 처리의 대상이 되는 보간 대상 공격자점과 해당 보간대상공격자점의 근방에 위치하는 격자점 및 공격자점으로부터 출력되는 색정보에 기초하여 상기 보간대상 공격자점의 복수의 방향에 대한 유사도의 성분으로서 「상기 보간 대상 공격자점의 색정보와 상기 제 1 색성분의 색정보를 이용한 유사도성분」과 「상기 제 1 색성분의 색정보만을 이용한 유사도성분」의 2종류의 유사도성분중, 적어도 1종류의 유사도성분을 산출하고, 적어도 1종류의 해당 유사도성분으로부터 상기 보간대상공격자점마다의 복수의 방향에 대한 유사도를 산출하는 유사도산출수단;상기 유사도산출수단에 의해 산출된 복수의 방향에 대한 유사도에 기초하여 상기 보간 대상 공격자점마다 유사성이 강한 방향을 판정하는 유사성판정수단;상기 유사성판정수단에 의한 판정결과에 따라서 상기 보간대상공격자점마다 보간량을 산출하는 보간량산출수단; 및상기 2종류의 유사도성분중, 어느 한쪽의 유사도성분을 산출할지를 나타내는 제 1 지시 또는 2종류의 해당 유사도성분을 가중 가산할 때의 가중 비중을 나타내는 제 2 지시를 접수하는 인터페이스수단을 구비하며,상기 유사도산출수단은,상기 인터페이스수단에 의해 제 1 지시가 접수된 경우에는 제 1 지시에 대응하는 1종류의 유사도성분을 산출하여 상기 유사도로 하고, 해당 인터페이스수단에 의해 제 2 지시가 접수된 경우에는 제 2 지시에 따라서 상기 2종류의 유사도성분을 가중가산하여 상기 유사도를 산출하는 것을 특징으로 하는 보간처리장치.
- 제 8 항에 있어서,상기 유사도산출수단은 보간 대상 공격자점의 주변부분의 화상의 특징으로서 보간 대상 공격자점에서 직교하는 2개의 방향중, 제 1 방향에 위치하는 복수의 격자점의 색정보가 매우 유사하여 제 2 방향에 위치하는 복수의 격자점의 색정보가 매우 유사하고, 또 제 1 방향에 위치하는 격자점의 색정보와 제 2 방향에 위치하는 격자점의 색정보의 차이가 큰 경우, 「보간 대상 공격자점의 색정보와 제 1 색성분의 색정보를 이용한 유사도」를 산출하는 것을 특징으로 하는 보간처리장치.
- 제 1 항 내지 제 10 항 중 어느 한 항에 있어서,상기 유사도산출수단은,보간 대상 공격자점의 유사도로서 보간 대상 공격자점의 근방에 위치하는 공격자점의 유사도의 성분을 포함하는 값을 산출하는 것을 특징으로 하는 보간처리장치.
- 제 1 항 내지 제 6 항, 제 8 항 내지 제 11 항 중 어느 한 항에 있어서,상기 유사성판정수단은,유사성이 강한 방향의 판정시, 각각의 방향사이의 유사도의 차이가 소정의 임계값을 상회하는지 여부를 판정하고, 해당 차이가 해당 임계값을 상회하지 않는 방향에 대해서는 유사성이 동일 정도라고 판정하는 것을 특징으로 하는 보간처리장치.
- 제 1 항 내지 제 12 항 중 어느 한 항에 있어서,상기 보간량 산출수단은,상기 유사성 판정수단에 의해 상기 복수의 방향중, 어느 한 방향에 대한 유사성의 강도가 돌출되어 있다고 판정된 경우, 돌출된 방향에 위치하는 2개의 격자점의 색정보의 값의 평균값을 보간량으로 하고, 복수의 방향에 대한 유사성이 균형이 맞다고 판정된 경우, 어느 한 방향에 위치하는 2개의 격자점의 색정보의 값의 평균값을 산출하는 이외의 방법으로 보간량을 결정하는 것을 특징으로 하는 보간처리장치.
- 공간 주파수가 가장 높은 제 1 색성분의 색정보를 출력하는 복수의 격자점과 해당 제 1 색성분의 색정보를 출력하지 않고 해당 제 1 색성분 보다 공간 주파수가 낮은 제 2 색성분 또는 제 3 색성분의 색정보를 출력하는 복수의 공격자점이 2차원 배열된 촬상소자에 의해 생성되는 화상에 대해 각각의 공격자점의 상기 제 1 색성분의 색정보에 상당하는 보간량을 구하는 보간처리를 컴퓨터에서 실행시키는 보간 처리 프로그램을 기록한 기록매체에 있어서,보간 처리의 대상이 되는 보간 대상 공격자점마다 상기 제 1 색성분 내지 상기 제 3 색성분의 3색의 색정보를 이용하여 복수의 방향에 대한 유사도를 산출하는 유사도산출수순;상기 유사도산출수순에 의해 산출된 복수의 방향에 대한 유사도에 기초하여 상기 보간 대상 공격자점마다 유사성이 강한 방향을 판정하는 유사성판정수순; 및상기 유사성판정수순에 의한 판정 결과에 따라서 상기 보간대상공격자점마다 보간량을 산출하는 보간량산출수순을 구비한 것을 특징으로 하는 보간처리를 컴퓨터에서 실행시키는 보간처리프로그램을 기록한 기록매체.
- 공간 주파수가 가장 높은 제 1 색성분의 색정보를 출력하는 복수의 격자점과 해당 제 1 색성분의 색정보를 출력하지 않고 해당 제 1 색성분 보다 공간 주파수가 낮은 제 2 색성분 또는 제 3 색성분의 색정보를 출력하는 복수의 공격자점이 2차원 배열된 촬상소자에 의해 생성되는 화상에 대해 각각의 공격자점의 상기 제 1 색성분의 색정보에 상당하는 보간량을 구하는 보간처리를 컴퓨터에서 실행시키는 보간 처리 프로그램을 기록한 기록매체에 있어서,보간 처리의 대상이 되는 보간 대상 공격자점마다 복수의 방향에 대한 유사도를 하기와 같이 산출하는 유사도산출수순;상기 유사도산출수순에 의해 산출된 복수의 방향에 대한 유사도에 기초하여 상기 보간 대상 공격자점마다 유사성이 강한 방향을 판정하는 유사성판정수순; 및상기 유사성판정수순에 의한 판정 결과에 따라서 상기 보간대상공격자점마다 보간량을 산출하는 보간량산출수순을 구비하고,상기 유사도산출수순은,상기 보간대상공격자점과 해당 보간대상공격자점의 근방에 위치하는 격자점 및 공격자점으로부터 출력되는 상기 제 1 색성분 내지 상기 제 3 색성분의 색정보에 기초하여,(a) 「상기 보간대상공격자점의 색성분과는 다른 색성분을 출력하는 공격자점의 색정보와 상기 제 1 색성분의 색정보를 이용한 유사도성분」과,(b) 「상기 제 1 색성분의 색정보만을 이용한 유사도 성분」,「상기 제 2 색성분의 색정보만을 이용한 유사도 성분」 및 「상기 제 3 색성분의 색정보만을 이용한 유사도 성분」의 적어도 1종류의 유사도성분을 합한 2종류 이상의 유사도성분을 상기 복수의 방향마다 산출하고, 2종류이상의 해당 유사도성분으로부터 상기 유사도를 산출하는 것을 특징으로 하는 보간처리를 컴퓨터에서 실행시키는 보간처리프로그램을 기록한 기록매체.
- 공간 주파수가 가장 높은 제 1 색성분의 색정보를 출력하는 복수의 격자점과 해당 제 1 색성분의 색정보를 출력하지 않고 해당 제 1 색성분 보다 공간 주파수가 낮은 제 2 색성분 또는 제 3 색성분의 색정보를 출력하는 복수의 공격자점이 2차원 배열된 촬상소자에 의해 생성되는 화상에 대해 각각의 공격자점의 상기 제 1 색성분의 색정보에 상당하는 보간량을 구하는 보간처리를 컴퓨터에서 실행시키는 보간 처리 프로그램을 기록한 기록매체에 있어서,보간 처리의 대상이 되는 보간 대상 공격자점마다 복수의 방향에 대한 유사도를 하기와 같이 산출하는 유사도산출수순;상기 유사도산출수순에 의해 산출된 복수의 방향에 대한 유사도에 기초하여 상기 보간 대상 공격자점마다 유사성이 강한 방향을 판정하는 유사성판정수순; 및상기 유사성판정수순에 의한 판정 결과에 따라서 상기 보간대상공격자점마다 보간량을 산출하는 보간량산출수순을 구비하고,상기 유사도산출수순은,상기 보간대상공격자점과 해당 보간대상공격자점의 근방에 위치하는 격자점 및 공격자점으로부터 출력되는 상기 제 1 색성분 내지 상기 제 3 색성분의 색정보에 기초하여,(a) 「상기 보간대상공격자점의 색정보와 상기 제 1 색성분의 색정보를 이용한 유사도성분」과,(b) 「상기 제 1 색성분의 색정보만을 이용한 유사도 성분」, 「상기 제 2 색성분의 색정보만을 이용한 유사도 성분」 및 「상기 제 3 색성분의 색정보만을 이용한 유사도 성분」중 적어도 1종류의 유사도성분을 합한 2종류 이상의 유사도성분을 상기 복수의 방향마다 산출하고, 2종류이상의 해당 유사도성분으로부터 상기 유사도를 산출하며,「상기 보간 대상 공격자점의 색정보와 상기 제 1 색성분의 색정보를 이용한 유사도성분」을,a1│G1-A2│+a2│G3-A2│(단, G1, G3은 상기 보간대상공격자점을 사이에 두고 동일 직선상에 위치하는 2개의 격자점의 색정보이며, A2는 상기 보간대상공격자점의 색정보이며, a1, a2는 정수이며, a1, a2의 적어도 한쪽은 0이 아니다)에 의해 산출하는 것을 특징으로 하는 보간처리를 컴퓨터에서 실행시키는 보간처리프로그램을 기록한 기록매체.
- 공간 주파수가 가장 높은 제 1 색성분의 색정보를 출력하는 복수의 격자점과 해당 제 1 색성분의 색정보를 출력하지 않고 해당 제 1 색성분 보다 공간 주파수가 낮은 제 2 색성분 또는 제 3 색성분의 색정보를 출력하는 복수의 공격자점이 2차원 배열된 촬상소자에 의해 생성되는 화상에 대해 각각의 공격자점의 상기 제 1 색성분의 색정보에 상당하는 보간량을 구하는 보간처리를 컴퓨터에서 실행시키는 보간처리프로그램을 기록한 기록매체에 있어서,보간 처리의 대상이 되는 보간 대상 공격자점과 해당 보간대상공격자점의 근방에 위치하는 격자점 및 공격자점으로부터 출력되는 상기 제 1 색성분 내지 상기 제 3 색성분의 색정보에 기초하여 상기 보간대상 공격자점마다의 복수의 방향에 대한 유사도로서 「상기 제 1 색성분의 색정보와 상기 제 2 색성분의 색정보를 이용한 유사도」와 「상기 제 1 색성분의 색정보와 상기 제 3 색성분의 색정보를 이용한 유사도」와 「상기 제 1 색성분의 색정보만을 이용한 유사도」와 「상기 제 2 색성분의 색정보만을 이용한 유사도」와 「상기 제 3 색성분의 색정보만을 이용한 유사도」중 적어도 2종류의 유사도를 산출하는 유사도산출수순;상기 유사도산출수순에 의해 상기 보간대상공격자점마다 산출된 복수의 방향에 대한 복수종류의 상기 유사도중, 동일 종류의 상기 유사도의 대소를 각각의 방향마다 비교하여 각각의 종류마다 유사성이 강한 방향을 결정하고, 어느 방향이 다수를 차지하는지에 의해 상기 보간 대상 공격자점의 유사성이 강한 방향을 판정하는 유사성판정수순; 및상기 유사성판정수순에 의한 판정결과에 따라서 상기 보간대상공격자점마다 보간량을 산출하는 보간량산출수순을 구비한 것을 특징으로 하는 보간처리를 컴퓨터에서 실행시키는 보간처리프로그램을 기록한 기록매체.
- 공간 주파수가 가장 높은 제 1 색성분의 색정보를 출력하는 복수의 격자점과 해당 제 1 색성분의 색정보를 출력하지 않고 해당 제 1 색성분 보다 공간 주파수가 낮은 제 2 색성분 또는 제 3 색성분의 색정보를 출력하는 복수의 공격자점이 2차원 배열된 촬상소자에 의해 생성되는 화상에 대해 각각의 공격자점의 상기 제 1 색성분의 색정보에 상당하는 보간량을 구하는 보간처리를 컴퓨터에서 실행시키는 보간처리프로그램을 기록한 기록매체에 있어서,보간 처리의 대상이 되는 보간 대상 공격자점과 해당 보간대상공격자점의 근방에 위치하는 격자점 및 공격자점으로부터 출력되는 색정보에 기초하여 상기 보간대상 공격자점의 복수의 방향에 대한 유사도의 성분으로서, 「상기 보간 대상 공격자점의 색정보와 상기 제 1 색성분의 색정보를 이용한 유사도성분」과 「상기 제 1 색성분의 색정보만을 이용한 유사도성분」의 2종류의 유사도성분중, 적어도 1종류의 유사도성분을 산출하고, 적어도 1종류의 해당 유사도성분으로부터 상기 보간대상 공격자점마다의 복수의 방향에 대한 유사도를 산출하는 유사도산출수순;상기 유사도산출수순에 의해 산출된 복수의 방향에 대한 유사도에 기초하여 상기 보간대상공격자점마다 유사성이 강한 방향을 판정하는 유사성판정수순; 및상기 유사성판정수순에 의한 판정 결과에 따라서 상기 보간 대상 공격자점마다 보간량을 산출하는 보간량 산출 수순을 구비하고,상기 유사도 판정 수순은,상기 보간 대상 공격자점의 주변 부분의 화상의 특징을 추출하고, 상기 2종류의 유사도성분중, 해당 특징에 따라서 결정한 1종류의 유사도성분을 산출하고, 1종류의 해당 유사도성분을 상기 유사도로 하거나 또는 상기 2종류의 유사도를 산출하고, 2종류의 해당 유사도 성분을 해당 특징에 따라서 가중 비중을 변하게 하면서 가중가산하여 상기 유사도를 산출하는 것을 특징으로 하는 보간처리를 컴퓨터에서 실행시키는 보간처리프로그램을 기록한 기록매체.
- 공간 주파수가 가장 높은 제 1 색성분의 색정보를 출력하는 복수의 격자점과 해당 제 1 색성분의 색정보를 출력하지 않고 해당 제 1 색성분 보다 공간 주파수가 낮은 제 2 색성분 또는 제 3 색성분의 색정보를 출력하는 복수의 공격자점이 2차원 배열된 촬상소자에 의해 생성되는 화상에 대해 각각의 공격자점의 상기 제 1 색성분의 색정보에 상당하는 보간량을 구하는 보간처리를 컴퓨터에서 실행시키는 보간처리프로그램을 기록한 기록매체에 있어서,보간 처리의 대상이 되는 보간 대상 공격자점과 해당 보간대상공격자점의 근방에 위치하는 격자점 및 공격자점으로부터 출력되는 색정보에 기초하여 상기 보간대상 공격자점의 복수의 방향에 대한 유사도의 성분으로서, 「상기 보간 대상 공격자점의 색정보와 상기 제 1 색성분의 색정보를 이용한 유사도성분」과 「상기 제 1 색성분의 색정보만을 이용한 유사도성분」의 2종류의 유사도성분중, 적어도 1종류의 유사도성분을 산출하고, 적어도 1종류의 해당 유사도성분으로부터 상기 보간대상 공격자점마다의 복수의 방향에 대한 유사도를 산출하는 유사도산출수순; 및상기 2종류의 유사도성분중, 어느 한쪽의 유사도성분을 산출할지를 나타내는 제 1 지시, 또는 2종류의 해당 유사도 성분을 가중가산할 때의 가중 비중을 나타내는 제 2 지시를 받는 인터페이스수순을 구비하고,상기 유사도산출수순은,상기 인터페이스수순에 의해 제 1 지시가 접수된 경우에는 제 1 지시에 대응하는 1종류의 유사도성분을 산출하여 상기 유사도로 하고, 해당 인터페이스수순에 의해 제 2 지시가 접수된 경우에는 제 2 지시에 따라서 상기 2종류의 유사도성분을 가중 가산하여 상기 유사도를 산출하는 것을 특징으로 하는 보간처리를 컴퓨터에서 실행시키는 보간처리 프로그램을 기록한 기록매체.
Applications Claiming Priority (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10-151278 | 1998-06-01 | ||
| JP15127898 | 1998-06-01 | ||
| JP27716698 | 1998-09-30 | ||
| JP10-277166 | 1998-09-30 | ||
| JP14547399A JP4292625B2 (ja) | 1998-06-01 | 1999-05-25 | 補間処理装置および補間処理プログラムを記録した記録媒体 |
| JP11-145473 | 1999-05-25 | ||
| PCT/JP1999/002887 WO1999063761A1 (fr) | 1998-06-01 | 1999-05-31 | Processeur d'interpolation et support d'enregistrement pour enregistrer un programme de traitement d'interpolation |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20010043961A true KR20010043961A (ko) | 2001-05-25 |
Family
ID=27318994
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020007013563A KR20010043961A (ko) | 1998-06-01 | 1999-05-31 | 보간처리장치와 보간처리 프로그램을 기록한 기록매체 |
Country Status (5)
| Country | Link |
|---|---|
| EP (1) | EP1109411A4 (ko) |
| JP (1) | JP4292625B2 (ko) |
| KR (1) | KR20010043961A (ko) |
| CN (1) | CN1304617A (ko) |
| WO (1) | WO1999063761A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101327790B1 (ko) * | 2007-08-24 | 2013-11-11 | 삼성전자주식회사 | 영상 보간 방법 및 장치 |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3985679B2 (ja) | 2001-01-25 | 2007-10-03 | 株式会社ニコン | 画像処理方法、画像処理プログラム、画像処理装置 |
| US6940061B2 (en) * | 2002-02-27 | 2005-09-06 | Agilent Technologies, Inc. | Two-color photo-detector and methods for demosaicing a two-color photo-detector array |
| JP4460447B2 (ja) * | 2002-06-28 | 2010-05-12 | ノキア コーポレイション | 情報端末 |
| KR100506086B1 (ko) | 2002-12-26 | 2005-08-03 | 삼성전자주식회사 | 영상의 재현 품질 향상 장치 및 그 방법 |
| JP5049460B2 (ja) * | 2004-11-09 | 2012-10-17 | イーストマン コダック カンパニー | カラー撮像画像データの補間方法およびプログラム |
| KR100721338B1 (ko) | 2004-12-30 | 2007-05-28 | 엘지전자 주식회사 | 디지털 촬영장치의 색상 보간법 |
| US7576783B2 (en) * | 2005-02-04 | 2009-08-18 | Hau Hwang | Confidence based weighting for color interpolation |
| US7456881B2 (en) | 2006-01-12 | 2008-11-25 | Aptina Imaging Corporation | Method and apparatus for producing Bayer color mosaic interpolation for imagers |
| JP4497233B2 (ja) * | 2007-07-30 | 2010-07-07 | カシオ計算機株式会社 | 画素補間回路、およびプログラム |
| US8009935B2 (en) | 2007-07-30 | 2011-08-30 | Casio Computer Co., Ltd. | Pixel interpolation circuit, pixel interpolation method, and recording medium |
| DE102008063970B4 (de) * | 2008-12-19 | 2012-07-12 | Lfk-Lenkflugkörpersysteme Gmbh | Verfahren zur Interpolation von Farbwerten an Bildpunkten eines Bildsensors |
| KR101498975B1 (ko) * | 2013-11-29 | 2015-03-05 | 현대모비스(주) | 차선 이탈 경보 시스템 |
| FR3136926B1 (fr) * | 2022-06-20 | 2024-07-19 | Pixii Sas | Appareil photo couleur et monochrome |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5382976A (en) * | 1993-06-30 | 1995-01-17 | Eastman Kodak Company | Apparatus and method for adaptively interpolating a full color image utilizing luminance gradients |
| JP2931520B2 (ja) * | 1993-08-31 | 1999-08-09 | 三洋電機株式会社 | 単板式カラービデオカメラの色分離回路 |
| US5629734A (en) * | 1995-03-17 | 1997-05-13 | Eastman Kodak Company | Adaptive color plan interpolation in single sensor color electronic camera |
| US5506619A (en) * | 1995-03-17 | 1996-04-09 | Eastman Kodak Company | Adaptive color plan interpolation in single sensor color electronic camera |
| US5652621A (en) * | 1996-02-23 | 1997-07-29 | Eastman Kodak Company | Adaptive color plane interpolation in single sensor color electronic camera |
| US5805217A (en) * | 1996-06-14 | 1998-09-08 | Iterated Systems, Inc. | Method and system for interpolating missing picture elements in a single color component array obtained from a single color sensor |
| JP3663777B2 (ja) * | 1996-10-02 | 2005-06-22 | 松下電器産業株式会社 | 色信号補間方法 |
| JPH10294948A (ja) * | 1997-04-18 | 1998-11-04 | Nec Corp | 画像処理方法および画像処理プログラム記録媒体 |
| US6563537B1 (en) * | 1997-07-31 | 2003-05-13 | Fuji Photo Film Co., Ltd. | Image signal interpolation |
| JP3946866B2 (ja) * | 1997-07-31 | 2007-07-18 | 富士フイルム株式会社 | 画像信号処理装置及びプログラムを記録した媒体 |
| JP4066484B2 (ja) * | 1997-12-08 | 2008-03-26 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにカメラ |
-
1999
- 1999-05-25 JP JP14547399A patent/JP4292625B2/ja not_active Expired - Lifetime
- 1999-05-31 KR KR1020007013563A patent/KR20010043961A/ko not_active Application Discontinuation
- 1999-05-31 WO PCT/JP1999/002887 patent/WO1999063761A1/ja not_active Application Discontinuation
- 1999-05-31 EP EP99922597A patent/EP1109411A4/en not_active Withdrawn
- 1999-05-31 CN CN99806919A patent/CN1304617A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101327790B1 (ko) * | 2007-08-24 | 2013-11-11 | 삼성전자주식회사 | 영상 보간 방법 및 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN1304617A (zh) | 2001-07-18 |
| JP2000175208A (ja) | 2000-06-23 |
| EP1109411A1 (en) | 2001-06-20 |
| EP1109411A4 (en) | 2006-02-15 |
| WO1999063761A1 (fr) | 1999-12-09 |
| JP4292625B2 (ja) | 2009-07-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6836572B2 (en) | Interpolation processing apparatus and recording medium having interpolation processing program recorded therein | |
| US7667738B2 (en) | Image processing device for detecting chromatic difference of magnification from raw data, image processing program, and electronic camera | |
| US9609291B2 (en) | Image processing apparatus and image processing method, and program | |
| US7373020B2 (en) | Image processing apparatus and image processing program | |
| US20020001409A1 (en) | Interpolation processing apparatus and recording medium having interpolation processing program recorded therein | |
| US20040105015A1 (en) | Image processing device and image processing program | |
| KR20010043961A (ko) | 보간처리장치와 보간처리 프로그램을 기록한 기록매체 | |
| US7146042B2 (en) | Image processing apparatus and colorimetric system conversion method | |
| JP3253125B2 (ja) | カラー画像読取り補正装置 | |
| WO2005112470A1 (ja) | 画像処理装置および画像処理プログラム | |
| JP4329542B2 (ja) | 画素の類似度判定を行う画像処理装置、および画像処理プログラム | |
| EP2056607B1 (en) | Image processing apparatus and image processing program | |
| US20020047907A1 (en) | Image processing apparatus and storage medium for storing image processing program | |
| JP4239483B2 (ja) | 画像処理方法、画像処理プログラム、画像処理装置 | |
| JP4196055B2 (ja) | 画像処理方法、画像処理プログラム、画像処理装置 | |
| JP4239480B2 (ja) | 画像処理方法、画像処理プログラム、画像処理装置 | |
| JPH11331858A (ja) | 画像信号処理装置およびプログラムを記録した媒体 | |
| JP4239484B2 (ja) | 画像処理方法、画像処理プログラム、画像処理装置 | |
| JPH1013845A (ja) | 画像処理装置 | |
| JP2000278702A (ja) | 補間処理装置および補間処理プログラムを記録した記録媒体 | |
| JP2000224603A (ja) | 補間処理装置、撮像装置および補間処理プログラムを記録した記録媒体 | |
| JP2001052186A (ja) | 文字部検出方法および画像処理装置 | |
| JPH03201678A (ja) | 画像処理装置 | |
| JP2000004449A (ja) | 画像補間方法 | |
| JPH06133160A (ja) | 画像領域識別装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| WITN | Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid |