KR100783992B1 - 화상데이터의 화소보간을 실행하는 화소보간장치, 및촬영화상의 화소보간을 실행하는 카메라장치 - Google Patents

화상데이터의 화소보간을 실행하는 화소보간장치, 및촬영화상의 화소보간을 실행하는 카메라장치 Download PDF

Info

Publication number
KR100783992B1
KR100783992B1 KR1020050129360A KR20050129360A KR100783992B1 KR 100783992 B1 KR100783992 B1 KR 100783992B1 KR 1020050129360 A KR1020050129360 A KR 1020050129360A KR 20050129360 A KR20050129360 A KR 20050129360A KR 100783992 B1 KR100783992 B1 KR 100783992B1
Authority
KR
South Korea
Prior art keywords
pixel
data
interpolation
coefficient
coefficient data
Prior art date
Application number
KR1020050129360A
Other languages
English (en)
Other versions
KR20060074851A (ko
Inventor
히로시 시미즈
Original Assignee
가시오게산키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가시오게산키 가부시키가이샤 filed Critical 가시오게산키 가부시키가이샤
Publication of KR20060074851A publication Critical patent/KR20060074851A/ko
Application granted granted Critical
Publication of KR100783992B1 publication Critical patent/KR100783992B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Studio Devices (AREA)
  • Studio Circuits (AREA)

Abstract

화소보간장치는 수평방향에 대해서는 스틱버퍼부(52), 수직방향에 대해서는 버퍼부(80)에 유지되는 동일선상에 존재하는 복수점의 화소데이터를 토대로 보간위치의 화소데이터를 생성한다. 수평LUT부(54)의 확대계수테이블(54a), 수직LUT부(56)의 확대계수테이블(56a)에는 보간위치로부터 제 n 근방에 존재하는 복수의 화소데이터에 대해 공통하는 계수데이터가 기억된다. 수평LUT부(54) 및 수직LUT부(56)는 확대기 콘트롤러(50)로부터 지시되고 보간위치에 따라서 확대계수테이블(54a), (56a)에 기억된 계수데이터를 토대로, 제 n 근방위치(P0, P1, P2, P3, P4, P5)의 복수의 화소데이터에 대한 계수데이터를 출력해서, 복수점의 화소데이터의 각각과의 연산을 실행한다.
화소데이터, 계수데이터, 보간위치, 확대기콘트롤러, 확대보간처리.

Description

화상데이터의 화소보간을 실행하는 화소보간장치, 및 촬영화상의 화소보간을 실행하는 카메라장치{PIXEL INTERPOLATION DEVICE AND CAMERA ADAPTED TO PERFORM PIXEL INTERPOLATION OF CAPTURED IMAGE}
도 1은 본 발명의 실시형태에 있어서의 화소보간장치가 실장된 카메라장치(1)의 구성을 나타내는 블록도,
도 2는 본 실시형태에 있어서의 확대보간처리의 대상으로 되는 격자형상으로 존재하는 복수의 기존화소를 나타내는 도면,
도 3의 (a)∼(b)는 본 실시형태에 있어서의 기존화소에 대한 계수를 설명하기 위한 계수 그래프를 나타내는 도면,
도 4는 본 실시형태에 있어서의 확대보간부(17a)의 구성을 나타내는 블록도,
도 5의 (a)∼(b)는 본 실시형태에 있어서의 256으로 정규화한 경우의 제 1∼제 3 근방의 화소데이터에 대한 확대계수데이터의 일예를 나타내는 도면,
도 6의 (a)∼(c)는 본 실시형태에 있어서의 확대계수테이블(54a), (56a)에 기억되는 계수데이터의 구성의 예를 나타내는 도면.
*도면의 주요부분에 대한 부호의 설명*
1: 카메라장치 11: 촬영렌즈
10: 모터(M) 12: CCD
13: 타이밍발생기(TG) 14: 수직드라이버
15: 샘플홀드회로(S/H) 16: A/D변환기
17: 컬러프로세스회로 17a: 확대보간부
18: DMA컨트롤러 20: DRAM인터페이스(I/F)
21: DRAM 25: 제어부
26: VRAM콘트롤러 27: VRAM
28: 디지털비디오 엔코더 29: 표시부
30: 화상처리부 32: 메모리카드
33: 내장메모리 37: 키입력부
40: 음성처리부 41: 스트로보 구동부
42: 마이크로폰부(MIC) 43: 스피커부(SP)
45: 스트로보 발광부 50: 확대기 콘트롤러
52: 스틱 버퍼부 54: 수평LUT부
54a: 확대계수테이블 56: 수직LUT부
56a: 확대계수테이블 600∼605,820∼825 : 승산기
620∼625, 840∼845: 레지스터 64,66,68,70,86,88,90,92: 가산기
72,74,94,96: 레지스터 76,98: 감산기
본 발명은 화상데이터를 확대·축소할 때의 화소보간을 실행하는 화소보간장치, 및 이 화소보간장치를 내장함으로써 촬영화상을 디지털적으로 확대·축소할 때의 화소보간기능을 구비한 디지털 스틸 카메라, 디지털 비디오 카메라 등의 카메라장치에 관한 것이다.
일반적으로, 디지털 스틸 카메라, 디지털 비디오 카메라 등의 카메라장치에는 광학적인 조작/기능에 관계없이 화상을 확대·축소처리하는 디지털 줌 기능이 탑재되어 있다. 이러한 카메라장치에서는 유저에 의한 줌조작에 따라서, 원래 화상의 화소데이터를 토대로 확대·축소화상의 화소데이터를 생성(보간)하는 것에 의해 화상을 확대·축소(줌)한다. 이 때, 복수의 기존화소데이터의 값과 보간위치에 따라서 선택된 보간계수를 이용한 연산처리를 실행하는 것에 의해, 화소데이터를 생성한다.
예를 들면, 화상을 확대하는 장치로서는 종횡의 1방향으로 인접해서 배열하는 적어도 4개의 화소데이터의 각각에 소정의 계수를 곱한 후에 가산하는 것에 의해서, 그 중앙의 2개의 화소데이터의 사이에 위치하는 화소데이터를 생성하고, 종횡의 다른 방향에 인접해서 배열하는 적어도 4개의 앞에 생성한 화소데이터의 각각에 소정의 계수를 곱한 후에 가산하는 것에 의해서, 그 중앙의 2개의 화소데이터의 사이에 위치하는 화소데이터를 생성하는 화상확대장치가 고려되고 있다(일본국 특허공개공보 평성5-7584호 공보).
또, 픽셀의 각각이 디지털데이터를 포함하는 픽셀의 어레이에 의해서 형성된 이미지를 확대하기 위해, 이미지의 인접하는 픽셀간을 보간함으로써 확대된 이미지 의 픽셀을 제공하는 이미지장치로서, 스플라인 가중함수를 나타내는 필터계수가 기억된 룩업테이블 형태의 메모리와, 확대된 이미지내에 보간될 픽셀값을 계산하기 위해 계수를 이용하도록 적합된 연산회로를 포함하는 이미지 처리장치가 고려되고 있다(일본국 특허공개공보 평성10-63828호 공보).
이와 같이 종래의 화상을 확대하는 장치에서는 화상을 확대하는 경우에 화소(픽셀)데이터에 대한 계수를 이용한 연산을 실행하고 있지만, 확대보간에 있어서의 계수의 특징 등을 고려하고 있지 않은 범용적인 계수데이터가 기억된 테이블이나 연산회로가 이용되고 있었다. 따라서, 테이블(메모리)이나 연산회로가 용장의 회로구성으로 되어, 회로규모의 증대를 초래하고 있을 가능성이 있었다.
화상의 확대보간에 이용하는 계수의 특성을 이용하는 것에 의해 화소보간장치의 회로규모를 축소시키는 것이 본 발명의 하나의 과제이다.
본 발명은 상기와 같은 점을 감안해서 이루어진 것으로서, 1개의 양태에서는 피사체를 촬상해서 화상데이터를 취득하는 촬영수단과, 상기 촬영수단에 의해 취득된 화상데이터의 공통하는 라인상에 존재하는 복수점의 화소데이터를 토대로, 상기 라인상의 보간위치의 화소데이터를 생성하는 화소보간수단과, 보간위치로부터 상기 라인상이고 다른 방향에서 각각 n번째에 가까운 제 n 근방에 존재하는 복수의 화소데이터에 대해 공통하는 계수데이터가 기억된 기억수단을 구비하고, 상기 화소보간수단은 상기 라인상에 있어서의 상기 보간위치로부터 제 n 근방의 복수의 화소데이터에 대해, 상기 기억수단에 기억된 계수데이터를 이용해서 연산을 실행하는 것에 의해 상기 보간위치의 화소데이터를 생성하도록 구성한다.
다른 양태에서는 공통하는 라인상에 존재하는 복수점의 화소데이터를 토대로, 상기 라인상의 보간위치의 화소데이터를 생성하는 화소보간장치에 있어서, 보간위치를 나타내는 보간위치데이터를 출력하는 콘트롤러와, 보간위치로서 취할 수 있는 각 위치에 따른 보간위치로부터 상기 라인상이고 다른 방향에서 각각 n번째에 가까운 제 n 근방에 존재하는 복수의 화소데이터에 대해 공통하는 계수데이터를 기억하는 계수테이블과, 상기 콘트롤러로부터 출력된 보간위치데이터에 대응하는 위치에 따라서 상기 계수테이블로부터 상기 제 n 근방의 각각에 대한 계수데이터를 출력하는 계수데이터 출력수단과, 상기 라인상의 복수의 화소데이터를 기억하는 버퍼수단과, 상기 버퍼수단에 의해 기억된 복수의 화소데이터의 각각에 대해 상기 계수데이터 출력수단에 의해 출력된 계수데이터를 이용해서 연산을 실행하는 연산수단을 구비하도록 구성한다.
다른 양태에서는 소정간격으로 복수 배치된 기존화소의 화소데이터를 취득하는 취득수단과, 보간해야 할 보간화소의 위치인 보간위치를 지정하는 지정수단과, 상기 취득수단에 의해 취득된 복수의 화소데이터 중, 상기 지정수단에 의해 지정된 보간위치의 근방에 존재하는 복수의 기존화소에 대응하는 화소데이터를 출력하는 화소데이터 출력수단과, 보간화소와 기존화소의 위치관계에 따른 복수의 계수데이터를 미리 기억하는 기억수단과, 상기 기억수단에 기억된 복수의 계수데이터 중, 상기 화소데이터 출력수단에 의해 출력된 복수의 기존화소에 대응하는 복수의 계수데이터를 출력하는 계수데이터 출력수단과, 상기 화소데이터 출력수단에 의해 출력 된 복수의 화소데이터와, 상기 계수데이터 출력수단에 의해 출력된 복수의 계수데이터에 의거하는 소정의 연산에 의해서, 상기 지정수단에 의해 지정된 보간위치의 화소데이터를 생성하는 생성수단을 구비하고, 상기 기억수단은 보간화소에 대해 기존화소가 제 1 방향에 있는 경우의 계수데이터와, 보간화소에 대해 기존화소가 상기 제 1 방향과는 반대의 제 2 방향에 있는 경우의 계수데이터 중, 어느 한쪽의 계수데이터를 기억하고, 상기 계수데이터 출력수단은 상기 기억수단에 기억되어 있는 계수데이터에 의거하여, 보간화소에 대해 기존화소가 제 1 방향에 있는 경우의 계수데이터와, 보간화소에 대해 기존화소가 상기 제 1 방향과는 반대의 제 2 방향에 있는 경우의 계수데이터를 출력하도록 구성한다.
이하, 도면을 참조해서 본 발명의 실시형태에 대해 설명한다.
도 1은 본 발명의 실시형태에 있어서의 화소보간장치가 실장된 카메라장치(1)의 구성을 나타내는 블록도이다.
도 1에 도시하는 카메라장치(1)에 있어서. 기본모드인 촬영모드에 있어서는 렌즈광학계에 있어서, 모터(M)(10)의 구동에 의해 개구위치나 통상 촬영에 따른 렌즈위치로 촬영렌즈(11)가 이동된다. 촬영렌즈(11)의 촬영광축 후방에 배치된 촬상소자인 CCD(Charge Coupled Device)(12)는 타이밍발생기(TG)(13), 수직드라이버(14)에 의해서 주사구동되고, 일정주기마다 결상한 광상에 대응하는 광전변환출력을 1화면분 출력한다.
이 광전변환 출력은 아날로그값의 신호의 상태에서 RGB의 각 원색 성분마다 적절히 게인 조정된 후에, 샘플홀드(S/H)회로(15)에서 샘플홀드되고, A/D변환기(16)에서 디지털데이터로 변환되며, 또한 컬러프로세스회로(17)에서 화소보간처리 및 γ보정처리를 포함하는 컬러 프로세스 처리가 실행되어, 디지털값의 휘도신호(Y) 및 색차신호(Cb, Cr)가 생성되고, DMA(Direct Memory Access) 콘트롤러(18)로 출력된다.
또한, 컬러프로세스회로(17)에는 본 실시형태에 있어서의 화소보간장치에 상당하는 확대보간부(17a)가 설치되어 있다. 확대보간부(17a)는 제어부(25)로부터의 디지털 줌 조작에 수반하는 제어에 따라서, 화상을 확대하기 위한 확대보간처리를 실행한다.
DMA 콘트롤러(18)는 컬러프로세스회로(17)가 출력하는 휘도신호(Y) 및 색차신호(Cb, Cr)를, 마찬가지로 컬러프로세스회로(17)로부터의 복합동기신호, 메모리기입 인에이블신호, 및 클록신호를 이용해서 한번 DMA 콘트롤러(18) 내부의 버퍼에 기입하고, DRAM 인터페이스(I/F)(20)를 통하여 버퍼메모리로서 사용되는 DRAM(21)으로 DMA 전송을 실행한다.
제어부(25)는 CPU와, 해당 CPU에서 실행되는 동작 프로그램이나 데이터 등을 고정적으로 기록한 ROM, 및 워크메모리로서 사용되는 RAM 등에 의해 구성되며, 이 카메라장치(1) 전체의 제어동작을 담당한다.
제어부(25)는 휘도 및 색차신호의 DRAM(21)으로의 DMA 전송종료후에, 이 휘도 및 색차신호를 DRAM 인터페이스(20)를 통하여 DRAM(21)으로부터 판독하고, VRAM 콘트롤러(26)를 통하여 VRAM(27)에 기입한다.
디지털 비디오 엔코더(28)는 휘도 및 색차신호를 VRAM 콘트롤러(26)를 통하여 VRAM(27)으로부터 정기적으로 판독하고, 이들 데이터를 토대로 비디오신호를 발생해서 표시부(29)로 출력한다.
표시부(29)는 촬영모드시에는 모니터표시부(전자파인더)로서 기능하고, 디지털 비디오 엔코더(28)로부터의 비디오신호에 의거한 표시를 실행하는 것에 의해, 그 시점에서 VRAM 콘트롤러(26)로부터 받아들이고 있는 화상정보에 의거하는 화상(스루화상)을 리얼타임으로 표시하게 된다.
표시부(29)에 스루화상이 리얼타임으로 표시되어 있는 표시상태에서, 정지화상을 촬영하는 타이밍에서 키입력부(37)의 셔터키가 조작되면, 트리거신호를 발생한다.
제어부(25)는 이 트리거신호에 따라서 그 시점에서 CCD(12)의 구동을 정지한 후, 자동노출처리를 실행하여 적정한 노출값을 얻고, 렌즈광학계의 개구와 CCD(12)의 노광시간을 제어해서 재차 촬상을 실행시킨다.
이렇게 해서 새로 얻어진 1프레임분의 화소데이터가 DRAM(21)에 DMA전송되어 기입된 후, 제어부(25)가 DRAM(21)에 기입되어 있는 1프레임분의 화소데이터를 판독하고 화상처리부(30)에 기입한다. 화상처리부(30)는 화소데이터에 대해 JPEG(Joint Photographic Experts Group)에 의해 화소데이터를 부호화한다.
부호화된 화소데이터는 카메라장치(1)의 기록매체로서 착탈자유롭게 장착되어 있는 메모리카드(32), 혹은 메모리카드(32)가 장착되어 있지 않은 경우에는 고정적으로 내장되어 있는 내장메모리(33)에 기입된다.
그리고, 1프레임분의 메모리카드(32) 또는 내장메모리(33)로의 화소데이터의 기입종료에 수반해서, 제어부(25)는 CCD(12)로부터 DRAM(21)을 경유한 스루화상을 표시부(29)에 있어서 모니터 표시시키는 구동을 재개한다.
또, 제어부(25)에는 키입력부(37), 음성처리부(40), 스트로보구동부(41)가 접속된다.
키입력부(37)는 전원키, 셔터키, 모드스위치, 메뉴키, 선택키, 줌버튼, 및 십자키(커서키) 등으로 구성되고, 그들 키 조작에 수반하는 신호는 직접 제어부(25)로 송출된다.
음성처리부(40)는 PCM음원 등의 음원회로를 구비하고, 음성의 녹음시에는 마이크로폰부(MIC)(42)로부터 입력된 음성신호를 디지털화하며, 소정의 데이터파일형식, 예를 들면 MP3(MPEG-1 Audio Layer-3) 규격에 따라서 데이터압축하여 음성데이터파일을 작성해서 메모리카드(32) 또는 내장메모리(33)로 송출하는 한편, 음성의 재생시에는 메모리카드(32) 또는 내장메모리(33)로부터 보내져 온 음성데이터파일의 압축을 풀어서 아날로그화하고, 스피커부(SP)(43)를 구동해서 확성방음시킨다.
또한, 음성처리부(40)는 제어부(25)로부터의 제어에 의거해서, 각종 동작음, 예를 들면 셔터키의 조작에 수반하는 의사적인 셔터음, 다른 키의 조작에 수반하는 비프음 등도 발생해서 스피커부(43)로부터 확성방음시킨다.
스트로보구동부(41)는 정지화상 촬영시에 도시하지 않은 스트로보용의 대용량 콘덴서를 충전한 후에, 제어부(25)로부터의 제어에 의거해서 스트로보 발광부(45)를 섬광 구동한다.
다음에, 본 실시형태에 있어서의 화소보간장치(확대보간부(17a))에 대해서 설명한다.
본 실시형태에 있어서의 화소보간장치의 구체적인 회로구성(도 4에 도시함)을 설명하기 전에, 확대보간부(17a)에 의해 실행되는 확대보간처리의 방법에 대해서 설명한다. 여기서는 예를 들면 격자형상으로 존재하는 복수의 기존화소, 예를 들면 도 2에 도시하는 바와 같이 6×6의 기존화소로부터의 임의의 점(보간점)을 보간하는 경우를 예로 들어 설명한다.
6×6의 기존화소로부터의 보간연산의 수순으로서는 우선 수평 또는 수직방향의 공통하는 라인상에 존재하는 6개의 기존화소로부터 1점을 연산해서 보간하고, 이것을 6회 반복해서 실행하여 6개의 보간화소를 생성하고, 그 수직 또는 수평방향의 라인상의 6개의 보간화소로부터 마찬가지로 해서 1점을 연산하여 보간을 실행한다. 또한, 도 2에 있어서는 동일선상에 존재하는 복수의 화소를 대상으로 해서 설명하고 있지만, 반드시 모든 화소의 위치가 동일선상에 있을 필요는 없다. 즉, 공통하는 1개의 라인에 존재한다고 간주할 수 있는 복수의 화소, 예를 들면 델타 배열된 화소를 이용해서 보간하는 경우에도 적용할 수 있다. 이하에서는 설명을 간단하게 하기 위해 동일선상에 존재하는 화소를 이용한 경우를 대상으로 한다. 도 2에서는 우선 수평방향의 동일선상에 존재하는 6개의 기존화소(P0, ―P5)를 토대로 해서, 동일선상의 보간위치에 있어서의 화소(Pt0)를 생성한다. 마찬가지로 해서, 각 수평방향의 동일선상에 배열된 6개의 기존화소를 토대로 해서 화소(Pt1∼Pt5)를 생성한다. 그리고, 수직방향의 동일선상에 존재하는 6개의 기존화소(Pt1∼Pt5)를 토대로 해서 1점의 화소(Pt)를 연산하여 보간한다.
일반적으로는 연속화상으로부터의 보간은 연속화상과 직사각형함수(RECT함수)의 콘볼루션(convolution)에 의한 것으로 고려할 수 있으며, 직사각형함수의 푸리에변환이 sinc(t)=sin(πt)/πt로 된다.
정확하게는 연산에 사용하는 기존화소의 범위가 한정되는 점이나. 연산이 복잡하기 때문에 근사식이나 룩업테이블(LUT)을 사용하는 경우가 많다.
보간에 흔히 이용되는 샘플링 정리(定理)를 이용한 함수에 의한 보간계수는 이하의 식으로 나타내어진다.
f(t)=sin(πt)/πt
또, 기존화소의 범위(즉, 콘볼루션에 사용하는 화소의 범위/수)로 연산하기 위해, 이전 식과 같이 -∽에서 ∽의 기존화소의 값을 사용하는 식은 일반적이지 않으며, 통상은 유한개의 기존화소의 크기에 알맞은 창함수 등에 의해서 필터특성을 유한범위내로 억제한다.
예를 들면, lanczos 3lobbed window함수에 의한 보간계수는 이하의 식으로 나타내어진다.
f(t)={sin(πt)/πt}
x{sin(πt/3)/(πt/3)}
단, -3≤t≤3
6점의 기존화소를 P0, …P5, 보간화소를 Pt로 할 때, Pt의 값은 이하의 식으로 나타낼 수 있다.
pt=∑f(tn)Pn
단, tn은 기존화소 Pn에서 Pt까지의 거리.
여기서, P2, P3을 제 1 근방 화소, P1, P4를 제 2 근방 화소, P0, P5를 제 3 근방 화소로 한다.
콘볼루션 연산회로는 일반적으로 계수에 범용성을 갖게 함으로써, LPF나 HPF 등, 각종 필터연산에 사용하는 경우가 많지만, 샘플링정리에서 사용하는 상기의 함수 등, 확대보간계수만을 고려한 경우에는 t에 의해서 보간계수의 값은 어느 정도 정해진 특성을 갖는다. 셈플링정리에 있어서의 sin(πt)/πt의 그래프 및 기존화소와 보간화소의 관계는 하기의 특징 1∼3을 갖는다.
특징 1. 제 n 근방 화소에 있어서의 계수는 동일 구간의 값을 사용할 수 있다(예를 들면 화소P2, P3에 대한 계수).
특징 2. 제 n 근방 화소에 있어서의 계수는 n=홀수이면 플러스, 짝수이면 마이너스의 값을 취한다.
특징 3. n의 수치가 커질수록 값이 작아진다.
이하, 각 특징 1∼3의 각각에 대해서 설명한다. 우선, 특징 1에 대해서 설명한다.
보간화소로부터 기존화소의 위치관계는 P2Pt거리가 t일 때, 차례로 -(t+2), -(t+1), -t, 1-t, 2-t, 3-t로 된다. 이 때, 제 n 근방 화소의 위치는 -(t-n-1)과 n-t이고, 이 때의 확대계수는 sinc함수 f(t)=sin(πt)/πt로부터
f(-(t-n-1))
=sin(-(t-n-1)π)/(-(t-n-1)π)
=sin((t-n-1)π)/(-(t-n-1)π)
여기서 t′=H로 하면,
상기 식
=sin((n-t′)π)/(n-t′)π
=f(n-t′)
0≤t≤1로부터 t′=1-t이므로, 0≤t′≤1로 된다.
제 n 근방의 보간계수는 동일 구간의 값으로 커버할 수 있다(함수가 우(偶)함수이면, 기존화소의 간격이 동일한 것으로부터도 자명하고, 또 창함수 등에 의한 유함범위로 한정한 함수에 있어서도 창함수도 짝수함수이기 때문에 전술한 lanczos에 있어서도 이것은 자명하다).
다음에, 특징 2에 대해서 설명한다.
제 n 근방의 구간은 n-1≤tn≤n과 -n≤tn≤1-n이다.
함수는 짝수함수이기 때문에 n-1≤tn≤n만을 예로 들면, 제 n 근방의 구간에 대해서 함수 sin(πt)는
f(tn)=sin(πtn)/πtn
f(tn)=0의 해는 tn=0 이외의 정수일 때. 또,
f′(tn)=(π2cos(πtn)-sin(πtn))/π2tn2
이것으로부터 f(tn)=0에 있어서의 기울기는
n이 홀수일 때
tn=n-1이고, f′(n-1)≥0(단, 0은 tn=0일 때)
tn=n이고, f′(n-1) < 0
n이 짝수일 때
tn=n-1이고, f′(n-1) < 0
tn=n이고, f′(n-1) > 0
이므로, 제 n 근방의 구간에서는 n=홀수이면 플러스, 짝수이면 마이너스의 값으로 된다.
도 3의 (a)에는 sinc함수의 그래프를 나타내고 있다. 또, 도 3의 (b)에는 도 3의 (a)에 나타내는 함수를 토대로 한, 보간위치(화소(Pt))와 기존화소위치(화소(P0∼P5)), 및 각 기존화소에 대한 계수의 관계를 나타내고 있다. 각 기존화소에 대한 계수(화소값에 승산되는 값)는 f(t)의 값으로 된다.
도 3의 (b)에 나타내는 바와 같이, 제 1 근방의 화소(P2, P3)와 제 3 근방의 화소(P0, P5)에 대한 계수의 값이 플러스로 되어 있고, 또 제 2 근방의 화소(P1, P4)에 대한 계수의 값이 마이너스로 되어 있다.
또한, 도 3에서는 계수의 값은 1로 정규화되어 있지만, 회로상에서는 예를 들면 256으로 정규화한 값 등을 사용하고, 각 기존화소와 계수의 곱합을 256으로 나눈 값으로 한다.
특징 3에 대해서 설명한다.
함수f(t)의 분모의 함수는 주기함수이고, 또 1/πtn은 t가 클수록 0에 근접 하므로, 함수f(t)로서는 t의 절대값이 클수록 값은 0에 집속해 간다.
도 3의 (a), (b)에 나타내는 바와 같이, 기존화소 Pn에서 Pt까지의 거리가 클수록 값이 작아져 있다.
이들 3개의 특징 1, 2, 3으로부터, 확대계수에 관한 회로의 구성을 이하와 같이 한정하는 것에 의해, 회로규모의 축소를 도모할 수 있다.
구성 1. 제 n 근방 화소에 대한 복수의 계수데이터를 각각 개별의 테이블에 기억하지 않는다.
구성 2. 제 n 근방 화소에 있어서의 계수는 n=홀수이면 플러스, 짝수이면 마이너스의 값으로서 취급하도록 콘볼루션연산을 실행한다. 이것에 의해, 계수데이터를 모두 정수로 해서 테이블에 기억할 수 있다.
구성 3. n의 수치가 커질수록, 테이블의 레지스터의 비트폭을 적게 한다.
또, 회로설계에 있어서는 확대계수는 소수점으로 유지할 수 없으므로, 예를 들면 256 등으로 정규화를 실행한다. 정규화로 하는 값은 비트시프트에 의한 제산을 고려해서 2의 누승의 값을 이용한다.
이 때, 보간화소위치가 기존화소위치와 동일하고, 또는 동일하다고 간주하는 위치(한정되지 않고 가까운 위치)로 간주하는 경우에는 최인접의 기존화소와 동등한 값을 취하도록 하기 위해 확대계수가 256(정규화한 값)으로 된다. 이것은 예를 들면, 정규화의 값이 256인 경우이면, 256을 위해서만 계수의 비트폭을 늘리게 되어 비효율이다. 또, 테이블에 기억하는 계수데이터의 값을 변경하는 것에 의해 확대특성을 변경시키는 구성으로 했을 때, 최근방법을 이용한 확대처리를 실행할 수 있도록, 보간위치에 가까운 쪽의 제 1 근방의 화소에 대한 계수데이터가 0일 때에는 256을 이용한 연산과 동등한 연산결과를 출력하고, 먼쪽의 제 1 근방의 화소에 대한 계수데이터가 0일 때에는 0으로 되는 바와 같은 회로로 한다. 이것에 의해, 확대계수데이터를 기억하는 테이블의 비트폭의 증가를 방지하면서 소망의 확대보간계수를 얻을 수 있다.
다음에, 본 실시형태에 있어서의 전술한 구성 1∼3을 고려한 화소보간장치(확대보간부(17a))의 상세한 구성에 대해서 설명한다. 도 4는 본 실시형태에 있어서의 확대보간부(17a)의 구성을 나타내는 블럭도이다. 확대보간부(17a)는 예를 들면 6×6의 방형배치된 기존화소 데이터를 토대로 보간위치의 화소데이터를 생성하는 구성을 갖고 있는 것으로 한다.
도 4에 있어서, 확대기 콘트롤러(50)는 6×6의 기존화소 데이터를 토대로 한 보간을 제어하는 것으로서, 수평방향의 보간위치를 나타내는 수평보간 위치데이터를 수평LUT(룩업테이블)부(54)로 출력하고, 수직방향의 보간위치를 나타내는 수직보간 위치데이터를 수직LUT(룩업테이블)부(56)로 출력한다.
스틱버퍼부(52)는 화소데이터를 버퍼링하는 것으로서, 입력된 화소데이터를 수직방향으로 유지하는 6개의 버퍼가 수평방향으로 배열되어 있다. 스틱버퍼부(52)에 화소데이터가 버퍼링되는 것에 의해, 도 2에 도시하는 수평방향의 6개의 화소데이터(P0, …P5)가 출력된다.
수평LUT부(54)에는 스틱버퍼부(52)에 버퍼링된 화소데이터에 대한, 수평방향의 보간연산을 실행하기 위한 계수데이터가 기억된 확대계수테이블(54a)이 설치되 어 있다. 수평LUT부(54)는 확대기 콘트롤러(50)로부터 수평보간 위치데이터를 입력하고, 이 데이터가 나타내는 보간위치로부터의 각 근방 위치의 화소데이터(P0, …P5)에 대한 계수데이터(확대계수)를 출력한다. 수평LUT부(54)는 확대계수테이블(54a)에 있어서의 계수데이터의 구성, 즉 후술하는 도 6의 (a)∼(c)의 어느 구성으로 되어 있는지에 따라서, 확대계수테이블(54a)에 기억된 데이터를 선택, 분할해서 각 근방 위치에 대한 계수데이터를 출력한다.
승산기(600∼605)는 각각 스틱버퍼부(52)로부터 출력되는 수평방향의 화소데이터(P0, …P5)와, 수평LUT부(54)로부터 출력되는 각 근방 위치의 계수데이터의 승산을 실행한다. 예를 들면, 승산기(600)는 스틱버퍼부(52)로부터의 화소데이터(P0)에 대해, 이 화소위치에 대한 계수데이터(P0 확대계수)를 이용한 승산을 실행한다.
레지스터(620∼625)는 승산기(600∼605)에 의한 연산결과인 화소데이터를 각각 기억한다. 예를 들면, 레지스터(620)에는 승산기(600)에 의한 연산결과가 유지된다.
가산기(64)는 레지스터(620), (625)에 유지된 데이터를 가산하고, 가산기(66)는 레지스터(621), (624)에 유지된 데이터를 가산하며, 가산기(68)는 레지스터(622), (623)에 유지된 데이터를 가산한다. 또한, 가산기(70)는 가산기(64), (68)에 의한 연산결과를 가산한다. 즉, 레지스터(620∼625)에 유지된 승산결과에 대해, 보간위치로부터 홀수번째에 있는 화소데이터에 대한 연산결과의 총합을 가산기(64), (70)에 의해서 산출하고, 짝수번째에 있는 화소데이터에 대한 연산결과의 총합을 가산기(66)에 의해 산출하고 있다.
레지스터(72)는 가산기(70)에 의한 연산결과, 즉 보간위치로부터 홀수번째(제 1 근방, 제 3 근방)에 있는 화소데이터에 대한 연산결과의 총합을 유지한다. 레지스터(74)는 가산기(66)에 의한 연산결과, 즉 보간위치로부터 짝수번째(제 2 근방)에 있는 화소데이터에 대한 연산결과의 총합을 유지한다.
감산기(76)는 레지스터(72)에 유지된 보간위치로부터 홀수번째에 있는 화소데이터에 대한 연산결과의 총합에서, 레지스터(74)에 유지된 보간위치로부터 짝수번째에 있는 화소데이터에 대한 연산결과의 총합을 감산한다.
즉, 승산기(600∼605), 가산기(64), (66), (68), (70), 및 감산기(76)에 의해, 보간위치로부터 제 n 근방의 화소데이터에 대해, n이 짝수인 경우에는 연산결과를 마이너스의 값, n이 홀수인 경우에는 연산결과를 플러스의 값으로 해서 연산을 실행하게 된다. 따라서, 수평LUT부(54)로부터 출력되는 계수데이터가 모두 플러스의 값으로 해도, 본래 계수를 부로 하는 값을 포함시킨 승산결과를 얻을 수 있다.
이에 따라, 수평방향의 동일선상에 있는 6개의 화소데이터(P0∼P5)와 수평LUT부(54)에 기억된 계수데이터를 토대로, 보간위치에 있어서의 화소데이터(Pt)를 생성할 수 있다.
버퍼부(80)는 감산기(76)에 의한 연산결과(수평방향의 보간위치에 있어서의 화소데이터)를 유지하는 레지스터(800∼805)를 갖는다. 버퍼부(80)는 감산기(76)에 의한 감산결과를 순차 유지하고, 6개분의 화소데이터를 유지하는 것에 의해, 각 수평방향에서의 보간위치에 대해 구해진 수직방향의 동일선상에 위치하는 화소데이터(Pt0∼Pt5)를 레지스터(800∼805)에 유지한다.
수직LUT부(56)에는 버퍼부(80)에 유지된 화소데이터에 대한, 수직방향의 보간연산을 실행하기 위한 계수데이터가 기억된 확대계수테이블(56a)이 설치되어 있다. 수직LUT부(56)는 확대기 콘트롤러(50)로부터 수직보간 위치데이터를 입력하고, 이 데이터가 나타내는 보간위치로부터의 근방의 화소데이터(Pt0∼Pt5)에 대한 계수데이터(확대계수)를 출력한다.
승산기(820∼825)는 각각 버퍼부(80)의 레지스터(800∼805)로부터 출력되는 수직방향의 화소데이터(Pt0, …Pt5)와, 수직LUT부(56)로부터 출력되는 각 근방 위치의 계수데이터와의 승산을 실행한다. 예를 들면, 승산기(820)는 버퍼부(80)의 레지스터(800)로부터의 화소데이터(Pt0)에 대해 이 화소위치에 대한 계수데이터(P0확대계수)를 이용한 승산을 실행한다.
레지스터(840∼845)는 승산기(820∼825)에 의한 연산결과인 화소데이터를 각각 기억한다. 예를 들면, 레지스터(840)에는 승산기(820)에 의한 연산결과가 유지된다.
가산기(86)는 레지스터(840), (845)에 유지된 데이터를 가산하고, 가산기(88)는 레지스터(841), (844)에 유지된 데이터를 가산하며, 가산기(90)는 레지스터(842), (843)에 유지된 데이터를 가산한다. 또한, 가산기(92)는 가산기(86), (90)에 의한 연산결과를 가산한다. 즉, 레지스터(840∼845)에 유지된 승산결과에 대해, 보간위치로부터 홀수번째에 있는 화소데이터에 대한 연사결과의 총합을 가산기(90), (92)에 의해서 산출하고, 짝수번째에 있는 화소데이터에 대한 연산결과의 총합을 가산기(88)에 의해 산출하고 있다.
레지스터(94)는 가산기(92)에 의한 연산결과, 즉 보간위치로부터 홀수번째(제 1 근방, 제 3 근방)에 있는 화소데이터에 대한 연산결과의 총합을 유지한다. 레지스터(96)는 가산기(90)에 의한 연산결과, 즉 보간위치로부터 짝수번째(제 2 근방)에 있는 화소데이터에 대한 연산결과의 총합을 유지한다.
감산기(98)는 레지스터(94)에 유지된 보간위치로부터 홀수번째에 있는 화소데이터에 대한 연산결과의 총합에서, 레지스터(96)에 유지된 보간위치로부터 짝수번째에 있는 화소데이터에 대한 연산결과의 총합을 감산한다.
즉, 승산기(820∼825), 가산기(86), (88), (90), (92). 및 감산기(98)에 의해, 보간위치로부터 제 n 근방의 화소데이터에 대해, n이 짝수인 경우에는 연산결과를 마이너스의 값, n이 홀수인 경우에는 연산결과를 플러스의 값으로 해서 연산을 실행하게 된다. 따라서, 수직LUT부(56)로부터 출력되는 계수데이터가 모두 플러스의 값으로 해도, 본래 계수를 부로 하는 값을 포함시킨 승산결과를 얻을 수 있다.
이에 따라, 수직방향의 동일선상에 있는 6개의 화소데이터(Pt0∼Pt5)와 수직LUT부(56)에 기억된 계수데이터를 토대로, 보간위치에 있어서의 화소데이터(P) 의 값을 출력할 수 있다.
다음에, 확대계수테이블(54a) 및 확대계수테이블(56a)에 기억되는 계수데이터의 구체예에 대해서 설명한다.
도 5의 (a)에는 256으로 정규화한 경우의 제 1 ∼제 3 근방의 화소데이터에 대한 확대계수데이터의 일예를 나타내고 있다. 도 5의 (a)에서는 보간위치로서 화소간을 8분할한 어느 하나의 위치가 수평보간 위치데이터 또는 수직보간 위치데이터에 의해 지정되는 것으로서, 보간위치(t)가 0, 0.125, 0.25, 0.375, …, 0.875의 각각에 있어서의 각 근방 화소(P0∼P5)에 대한 계수데이터가 설정되어 있다. 본 실시형태에 있어서 이용되는 계수데이터는 모두 플러스의 값으로 하고 있다.
또한, 도 5에 도시하는 예에서는 8분할되는 경우를 나타내고 있지만, 분해능(분할수)에 따른 수의 계수데이터가 제 n 근방의 각각의 화소에 대해 설정된다.
또한, 보간위치 0에 있어서의 화소위치(P2)에 대한 계수데이터 0에 대해서는 화소위치(P2)의 화소데이터를 연산결과로서 출력하는 것을 나타낸다.
도 5의 (b)에는 도 5의 (a)에 나타내는 256으로 정규화한 값을 2의 누승의 값을 이용해서 나타내는 확대계수데이터의 일예를 나타내고 있다. 도 5의 (b)에 나타내는 바와 같이, 각 제 n 근방의 계수데이터의 크기를 고려한 비트폭으로 고정되어 있다.
즉, 제 1 근방에 해당하는 화소위치(P2, P3)에 대한 계수데이터는 8비트로 나타내고, 제 2 근방에 해당하는 화소위치(P1, P4)에 대한 계수데이터는 6비트, 제 3 근방에 해당하는 화소위치(P0, P5)에 대한 계수데이터는 4비트로 각각 나타내고 있다. 즉, 보간위치로부터 떨어진 화소위치에 대한 계수데이터일수록 비트폭을 적게 하는 것에 의해, 보간에 대한 영향을 적게 하는 동시에, 수평LUT부(54)(확대계수테이블(54a)), 및 수직LUT부(56)(확대계수테이블(56a))의 회로규모를 감소시키고 있다.
도 6의 (a)에는 도 5의 (b)에 나타내는 테이블을 토대로 한, 본 실시형태에 있어서의 확대계수테이블(54a) 및 확대계수테이블(56a)에 기억되는 계수데이터의 일예를 나타내고 있다.
도 6의 (a)는 예를 들면 제 1 근방의 화소위치(P2, P3)에 대한 2개의 계수데이터를 공통하는 1개의 계수데이터로 해서 기억시킨 구성으로 하고 있다. 도 6의 (a)에 나타내는 예에서는 화소위치(P2)에 대한 계수데이터를 상위비트, 화소위치(P3)에 대한 계수데이터를 하위비트(도면 중, 경사체 문자에 의해 나타내고 있음)로 해서 배열하여 1개의 데이터로 하고 있다. 제 1 근방의 2개의 화소에 대한 계수데이터는 1개의 계수데이터로 하는 것에 의해 비트폭이 16비트로 된다.
제 n 근방의 2개의 화소위치(예를 들면, P2, P3)의 계수데이터의 조합은 보간위치마다 1가지밖에 없으므로, 보간위치가 정해지면 1개의 계수데이터를 판독할 수 있다. 그리고, 화소위치(P2)와 보간위치(Pt)의 사이의 거리가 t일 때, 화소위치(P3)에 대해서는 1-t의 계수데이터를 이용하면 좋다.
마찬가지로 해서, 제 2 근방(화소위치 P1, P4), 제 3 근방(화소위치 P0, P5)에 대해서도 각각의 화소위치에 대한 계수데이터를 1개로 배열해서 1개의 계수데이터로서 테이블에 기억시킨다. 따라서, 제 2 근방의 2개의 화소에 대한 계수데이터는 비트폭이 12비트, 제 3 근방의 2개의 화소에 대한 계수데이터는 비트폭이 8비트로 된다.
이 경우, 수평LUT부(54)는 확대기 콘트롤러(50)로부터의 수평보간 위치데이 터에 따른 LUT용 어드레스가 나타내는 각 근방의 화소에 대한 계수데이터를 확대계수테이블(54a)로부터 판독하고, 각각 분할해서 출력한다.
예를 들면, 도 6의 (a)의 LUT용 어드레스 2가 나타내는 화소위치(P2P3)에 대한 1개의 계수데이터「1110010001000101」를 판독하고, 화소위치(P2)의 계수데이터로서 상위비트「11100100」를 승산기(602)로 출력하고, 화소위치(P3)의 계수데이터로서 하위비트「01000101」를 승산기(603)로 출력한다. 마찬가지로 해서, 화소위치(P0P5), 화소위치(P1P4)에 대해서도 각각 1개의 계수데이터를 판독하고, 각 화소위치에 따라서 분할하여 각각 승산기(600), (601), (604), (605)로 출력한다.
또한, 수직LUT부(56)에 있어서도 전술과 마찬가지로 해서, 확대계수테이블(56a)로부터 계수데이터를 판독하고, 1개의 계수데이터를 분할해서 승산기(820∼825)로 출력하는 것으로 해서 상세한 설명을 생략한다.
이와 같이 해서, 도 6의 (a)에 나타내는 바와 같이, 제 n 근방의 복수의 화소데이터의 각각에 대한 계수데이터를 개별로 기억하는 것은 아니고, 1개로 조합해서 확대계수테이블(54a), (56a)에 기억시키는 것에 의해, 제 n 근방의 2개의 화소위치에 대해서 계수데이터를 공용할 수 있다. 따라서, 6×6의 기존화소를 토대로 한 보간을 하는 경우, 3개의 근방위치에 대한 계수데이터를 테이블에 기억시켜 두면 좋다.
도 6의 (b)는 도 6의 (a)에 나타내는 계수데이터를 토대로 해서, 더욱 회로규모를 감소할 수 있도록 구성한 테이블의 일예를 나타내는 도면이다.
도 6의 (b)는 도 6의 (a)에 나타내는 계수데이터 중, 보간위치가 중심(보간 위치t=0.5)까지를 확대계수테이블(54a) 및 확대계수테이블(56a)에 기억시키는 구성이다.
제 n 근방의 화소데이터에 대한 2개의 계수데이터는 보간위치가 제 1 근방의 기존화소의 중심을 대칭으로 동일하므로(t=1-t′로부터, t=0∼0.5일 때의 계수데이터의 조합과, t′=0∼0.5일 때의 계수데이터의 조합은 동일하므로), 확대계수테이블(54a), (56a)에는 보간위치 분해능의 절반의 값을 기억하고 있으면 좋다.
이 경우, 수평LUT부(54)는 확대기 콘트롤러(50)로부터의 수평보간 위치데이터에 따른 LUT용 어드레스가 나타내는 각 근방의 화소에 대한 계수데이터를 확대계수테이블(54a)로부터 판독하고, 각각 분할해서 출력한다. LUT용 어드레스 0∼4에 의해서 판독되는 계수데이터에 대해서는 도 6의 (a)에 나타내는 테이블을 이용한 경우와 동일하다.
또, 수평보간 위치데이터가 보간위치 0.625, 0.75, 0.875를 나타내는 경우(도 6(a)의 LUT용 어드레스 5, 6, 7에 상당함), 보간위치에 따라서 LUT용 어드레스1,2,3 중의 어느 하나로부터 1개의 계수데이터를 판독한다. 즉, 수평보간 위치데이터가 보간위치 0.625를 나타내는 경우에는 LUT용 어드레스 3, 보간위치 0.75를 나타내는 경우에는 LUT용 어드레스 2, 보간위치 0.875를 나타내는 경우에는 LUT용 어드레스 1의 계수데이터를 판독한다.
예를 들면, 수평보간 위치데이터가 보간위치 0.75인 것에 의해, LUT용 어드레스 2가 나타내는 화소위치(P2P3)에 대한 1개의 계수데이터「1110010001000101」를 판독한 것으로 한다. 이 경우, 보간위치 0.25의 경우와 계수데이터의 배분이 다르며, 화소위치(P2)의 계수데이터로서 하위비트「01000101」를 선택해서 승산기(602)로 출력하고, 화소위치(P3)의 계수데이터로서 상위비트「11100100」를 승산기(603)로 출력한다. 마찬가지로 해서, 화소위치(P0P5), 화소위치(P1P4)에 대해서도 각각 1개의 계수데이터를 판독하여, 각 화소에 대한 계수데이터를 각 화소위치에 따라서 분할하고, 또한 분할한 계수데이터를 선택하여, 각각 승산기(600), (601), (604), (605)로 출력한다.
또한, 수직LUT부(56)에 있어서도 전술과 마찬가지로 해서, 확대계수테이블(56a)로부터 계수데이터를 판독하여 1개의 계수데이터를 분할하고, 또한 보간위치0.625, 0.75, 0.875의 경우에는 분할한 계수데이터를 배분해서(상위비트와 하위비트를 교환해서) 승산기(820∼825)로 출력하는 것으로 해서 상세한 설명을 생략한다.
이와 같이 해서, 도 6의 (b)에 나타내는 바와 같이, 보간위치가 중심까지의 계수데이터가 기록된 테이블로 함으로써, 확대계수테이블(54a), (56a)에 기억시키는 계수데이터량을 삭감하고, 또 수평LUT부(54) 및 수직LUT부(56)의 제어회로를 간략화해서 회로규모의 감소를 도모할 수 있다.
도 6의 (c)는 도 6의 (b)에 나타내는 계수데이터를 토대로 해서, 더욱 회로규모를 감소할 수 있도록 구성한 테이블의 일예를 나타내는 도면이다.
도 6의 (c)는 도 6의 (b)에 도시하는 각 근방위치에 대한 계수데이터를, 보간위치마다 배열해서 1개의 계수데이터로 하여 확대계수테이블(54a) 및 확대계수테이블(56a)에 기억시키는 구성이다.
이 경우, 수평LUT부(54)는 확대기 콘트롤러(50)로부터의 수평보간 위치데이터에 따른 LUT용 어드레스가 나타내는 각 근방의 화소에 대한 1개의 계수데이터를 확대계수테이블(54a)로부터 판독하고, 각 근방위치에 따른 개별의 계수데이터로 분할해서 출력한다.
또한, 수평보간 위치데이터가 보간위치 0.625, 0.75, 0.875를 나타내는 경우(도 6의 (a)의 LUT용 어드레스 5, 6, 7에 상당함)에는 도 6의 (b)의 테이블을 이용한 경우와 마찬가지로 해서, 보간위치에 따라 LUT용 어드레스 1, 2, 3중의 어느 하나로부터 1개의 계수데이터를 판독한다.
예를 들면, 수평보간 위치데이터가 보간위치 0.75인 것에 의해, LUT용 어드레스 2가 나타내는 화소위치의 1개의 계수데이터, 즉 도 6의 (b)에 나타내는 화소위치(P0P5, P1P4, P2P3)의 각각에 대한 개별의 계수데이터를 배열한 계수데이터「100000101000100100011110010001000101」를 판독한다.
그리고, 화소위치(P0P5, P1P4, P2P3)의 각각에 대응하는 비트폭마다 분할한다. 즉, 상위부터 8비트를 제 3 근방, 12비트를 제 2 근방, 16비트를 제 1 근방의 화소에 대한 계수데이터로서 분할한다.
또한, 각 화소위치에 대한 계수데이터로 각각 분할하고, 도 6의 (b)의 테이블을 이용한 경우와 마찬가지로 해서 계수데이터를 배분하고, 승산기(600∼605)로 출력한다.
또한, 수직LUT부(56)에 있어서도 전술과 마찬가지로 해서, 확대계수테이블(56a)로부터 계수데이터를 판독하여, 1개의 계수데이터를 화소위치(P0P5, P1P4, P2P3)마다 분할하고, 또한 화소위치마다 분할해서 승산기(820∼825)로 각각 출력한다.
이와 같이 해서, 도 6의 (c)에 도시하는 바와 같이, 보간위치(LUT용 어드레스)에 대응하는 1개의 계수데이터가 기록된 테이블로 함으로써, 확대계수테이블(54a), (56a)에 기억시키는 계수데이터량을 삭감하고, 또 임의의 보간위치에 대한 계수데이터를 판독하기 위한 어드레스를 삭감해서 회로규모의 축소를 도모할 수 있다.
또한, 전술한 실시형태에서는 sinc함수 또는 유한범위로 특성을 변경한 sinc함수에 의거해서 확대계수가 설정되는 경우의 예에 대해서 설명하고 있지만, 확대계수의 함수의 특징이 동일하면 sinc함수 이외의 다른 함수를 대상으로 할 수도 있다. 예를 들면, 바이리니어(선형보간)나 쌍3차 스플라인보간, 바이큐빅 등을 이용하는 경우에도 적용할 수 있다.
또, 전술한 설명에서는 수평LUT부(54) 및 수직LUT부(56)로부터 출력되는 계수데이터를 모두 플러스의 값으로 하고, 수평방향에 대해서는 가산기(64), (66), (68), (70) 및 감산기(76), 수직방향에 대해서는 가산기(86), (88), (90), (92) 및 감산기(98)에 의해서, 짝수번째의 화소에 대한 연산결과를 마이너스의 값, 홀수번째의 화소에 대한 연산결과를 플러스의 값으로 해서 연산을 실행하고 있지만, 수평LUT부(54) 및 수직LUT부(56)로부터 계수데이터에 부호를 부가해서 계수데이터를 출력하는 구성으로 하는 것에 의해, 연산회로의 구성을 간략화할 수 있다. 이 경우, 확대계수테이블(54a), (56a)에는 플러스의 값의 계수데이터를 기억시켜 두고, 짝수 번째의 화소에 대한 계수데이터에 대해서만 부호를 부가하여 출력하면 좋다. 이것에 의해, 각 승산기에 의한 연산결과를 단지 가산하는 것만으로 좋아 회로구성을 간단화할 수 있다.
또, 도 1에 있어서, 본 발명의 화소보간장치에 상당하는 확대보간부(17a)가 컬러프로세스회로(17)에 설치되어 있는 것으로서 설명하고 있지만, 화상의 확대처리를 실행하는 다른 모듈 등에 실장되는 구성으로 하도록 해도 좋다.
또, 전술한 설명에서는 화상을 확대하기 위한 확대보간처리를 실행하는 경우에 대해서 설명하고 있지만, 화상을 축소하는 축소보간처리에 적용하는 것도 가능하다.
또한, 상기 실시형태에는 여러 단계의 설명이 포함되어 있으며, 개시되는 복수의 구성요건에 있어서의 적절한 조합에 의해 여러 발명이 추출될 수 있다. 예를 들면, 실시형태에 개시되는 전 구성요건으로부터 몇개의 구성요건이 삭제되어도 발명이 해결하고자 하는 과제의 란에서 기술한 과제의 적어도 1개를 해결할 수 있고, 발명의 효과의 란에서 기술되어 있는 효과의 적어도 1개가 얻어지는 경우에는 이 구성요건이 삭제된 구성이 발명으로서 추출될 수 있다.

Claims (12)

  1. 피사체를 촬상해서 화상데이터를 취득하는 촬영수단과,
    상기 촬영수단에 의해 취득된 화상데이터의 공통하는 라인상에 존재하는 복수점의 화소데이터를 토대로, 상기 라인상의 보간위치의 화소데이터를 생성하는 화소보간수단을 구비한 카메라장치에 있어서,
    보간위치로부터 상기 라인상이고 다른 방향에서 각각 n번째에 가까운 제 n 근방에 존재하는 복수의 화소데이터에 대해 공통하는 계수데이터가 기억된 기억수단을 구비하고,
    상기 화소보간수단은 상기 라인상에 있어서의 상기 보간위치로부터 제 n 근방의 복수의 화소데이터에 대해, 상기 기억수단에 기억된 계수데이터를 이용해서 연산을 실행하는 것으로 상기 보간위치의 화소데이터를 생성하는 것을 특징으로 하는 카메라장치.
  2. 제 1 항에 있어서,
    상기 기억수단에 기억되는 계수데이터는 상기 보간위치로부터 떨어진 위치의 화소데이터일수록 비트수를 작게 한 것을 특징으로 하는 카메라장치.
  3. 제 1 항에 있어서,
    상기 기억수단에 기억되는 계수데이터는 제 n 근방의 복수의 화소데이터의 각각에 대한 계수데이터를 조합한 것이고,
    상기 화소보간수단은 상기 기억수단에 기억되는 계수데이터를 분할해서 제 n 근방의 복수의 화소데이터의 각각에 대해 연산을 실행하는 것을 특징으로 하는 카메라장치.
  4. 제 1 항에 있어서,
    상기 기억수단에 기억되는 계수데이터를 플러스의 값으로 하고,
    상기 화소보간수단은 상기 보간위치로부터 제 n 근방의 화소데이터에 대해, n이 짝수인 경우에는 연산결과를 마이너스의 값, n이 홀수인 경우에는 연산결과를 플러스의 값으로 해서 연산을 실행하는 것을 특징으로 하는 카메라장치.
  5. 제 1 항에 있어서,
    상기 기억수단에 기억되는 계수데이터는 보간위치의 화소데이터의 생성의 토대로 되는 복수의 화소데이터의 각각에 대한 계수데이터를 1개로 정리한 값으로 하는 것을 특징으로 하는 카메라장치.
  6. 제 1 항에 있어서,
    상기 화소보간수단은 상기 기억수단에 기억된 제 n 근방의 화소데이터에 대한 계수데이터가 0인 경우에는 연산결과로 하는 값을 상기 화소데이터와 동일하게 되도록 연산을 실행하는 것을 특징으로 하는 카메라장치.
  7. 제 1 항에 있어서,
    상기 기억수단에 기억되는 계수데이터는 소정의 짝수함수에 의거하는 값을 나타내는 것을 특징으로 하는 카메라장치.
  8. 공통하는 라인상에 존재하는 복수점의 화소데이터를 토대로, 상기 라인상의 보간위치의 화소데이터를 생성하는 화소보간장치에 있어서,
    보간위치를 나타내는 보간위치데이터를 출력하는 콘트롤러와,
    보간위치로서 취할 수 있는 각 위치에 따른, 보간위치로부터 상기 라인상이고 다른 방향에서 각각 n번째에 가까운 제 n 근방에 존재하는 복수의 화소데이터에 대해 공통하는 계수데이터를 기억하는 계수테이블과,
    상기 콘트롤러로부터 출력된 보간위치데이터에 대응하는 위치에 따라서, 상기 계수테이블로부터 상기 제 n 근방의 각각에 대한 계수데이터를 출력하는 계수데이터 출력수단과,
    상기 라인상의 복수의 화소데이터를 기억하는 버퍼수단과,
    상기 버퍼수단에 의해 기억된 복수의 화소데이터의 각각에 대해, 상기 계수데이터 출력수단에 의해 출력된 계수데이터를 이용해서 연산을 실행하는 연산수단을 구비한 것을 특징으로 하는 화소보간장치.
  9. 제 8 항에 있어서,
    상기 연산수단은
    상기 버퍼수단에 의해 기억된 복수의 화소데이터의 각각에 대해, 상기 계수데이터 출력수단에 의해 출력된 계수데이터를 이용해서 승산을 실행하는 승산수단과,
    상기 승산수단에 의해 상기 보간위치로부터 홀수번째에 있는 화소데이터에 대한 연산결과의 총합에서, 짝수번째에 있는 화소데이터에 대한 연산결과의 총합을 감산하는 가감산수단을 구비한 것을 특징으로 하는 화소보간장치.
  10. 제 8항 또는 제 9항에 따른 화소보간장치를 내장한 카메라장치에 있어서,
    피사체를 촬상해서 화상데이터를 취득하는 촬영수단을 구비하고,
    상기 촬영수단에 의해 취득한 화상데이터를 확대 또는 축소하는 경우에, 상기 화소보간장치에 의한 화소보간을 실시하는 것으로, 확대 또는 축소와 화소보간이 실시된 화상데이터를 기록하는 것을 특징으로 하는 카메라장치.
  11. 소정 간격으로 복수 배치된 기존화소의 화소데이터를 취득하는 취득수단과,
    보간해야 할 보간화소의 위치인 보간위치를 지정하는 지정수단과,
    상기 취득수단에 의해 취득된 복수의 화소데이터 중, 상기 지정수단에 의해 지정된 보간위치의 근방에 존재하는 복수의 기존화소에 대응하는 화소데이터를 출력하는 화소데이터 출력수단과,
    보간화소와 기존화소의 위치관계에 따른 복수의 계수데이터를 미리 기억하는 기억수단과,
    상기 기억수단에 기억된 복수의 계수데이터 중, 상기 화소데이터 출력수단에 의해 출력된 복수의 기존화소에 대응하는 복수의 계수데이터를 출력하는 계수데이터 출력수단과,
    상기 화소데이터 출력수단에 의해 출력된 복수의 화소데이터와, 상기 계수데이터 출력수단에 의해 출력된 복수의 계수데이터에 의거하는 소정의 연산에 의해서, 상기 지정수단에 의해 지정된 보간위치의 화소데이터를 생성하는 생성수단을 구비하고,
    상기 기억수단은 보간화소에 대해 기존화소가 제 1 방향에 있는 경우의 계수데이터와, 보간화소에 대해 기존화소가 상기 제 1 방향과는 반대의 제 2 방향에 있는 경우의 계수데이터 중, 어느 쪽인가 한쪽의 계수데이터를 기억하고,
    상기 계수데이터 출력수단은 상기 기억수단에 기억되어 있는 계수데이터에 의거해서, 보간화소에 대해 기존화소가 제 1 방향에 있는 경우의 계수데이터와, 보간화소에 대해 기존화소가 상기 제 1 방향과는 반대의 제 2 방향에 있는 경우의 계수데이터를 출력하는 것을 특징으로 하는 화소보간장치.
  12. 제 11 항에 있어서,
    상기 기억수단은 부호를 생략한 계수데이터를 기억하고,
    상기 계수데이터 출력수단은 보간화소에 대해 각 기존화소가 홀수번째인지 짝수번째인지에 따라, 상기 기억수단에 기억되어 있는 계수데이터에 부호를 부가해 서 출력하는 것을 특징으로 하는 화소보간장치.
KR1020050129360A 2004-12-27 2005-12-26 화상데이터의 화소보간을 실행하는 화소보간장치, 및촬영화상의 화소보간을 실행하는 카메라장치 KR100783992B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004377373A JP4774736B2 (ja) 2004-12-27 2004-12-27 画像拡大装置および撮像装置
JPJP-P-2004-00377373 2004-12-27

Publications (2)

Publication Number Publication Date
KR20060074851A KR20060074851A (ko) 2006-07-03
KR100783992B1 true KR100783992B1 (ko) 2007-12-07

Family

ID=36652834

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050129360A KR100783992B1 (ko) 2004-12-27 2005-12-26 화상데이터의 화소보간을 실행하는 화소보간장치, 및촬영화상의 화소보간을 실행하는 카메라장치

Country Status (5)

Country Link
US (1) US7693350B2 (ko)
JP (1) JP4774736B2 (ko)
KR (1) KR100783992B1 (ko)
CN (1) CN100418358C (ko)
TW (1) TWI309132B (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7738712B2 (en) * 2006-01-04 2010-06-15 Aten International Co., Ltd. Mixing 2-D gradient-difference and interpolation/decimation method and device for scaling a digital image
EP2439729A3 (en) * 2006-06-02 2013-09-04 Samsung Display Co., Ltd. Field sequential color display system having multiple segmented backlight
AT504372B8 (de) * 2006-11-13 2008-09-15 Arc Seibersdorf Res Gmbh Verfahren und vorrichtung zur ermittlung von interpolationswerten in datenfeldern
JP4772754B2 (ja) * 2007-06-25 2011-09-14 三菱電機株式会社 画像補間装置及び方法、並びに画像読取装置
JP2009081812A (ja) * 2007-09-27 2009-04-16 Nec Electronics Corp 信号処理装置および信号処理方法
US9819358B2 (en) * 2010-02-19 2017-11-14 Skype Entropy encoding based on observed frequency
US9313526B2 (en) 2010-02-19 2016-04-12 Skype Data compression for video
US9078009B2 (en) * 2010-02-19 2015-07-07 Skype Data compression for video utilizing non-translational motion information
US9609342B2 (en) 2010-02-19 2017-03-28 Skype Compression for frames of a video signal using selected candidate blocks
US20110206132A1 (en) * 2010-02-19 2011-08-25 Lazar Bivolarsky Data Compression for Video
US8249395B2 (en) * 2010-03-05 2012-08-21 Intel Corporation System, method, and computer program product for picture resizing
JP5980080B2 (ja) * 2012-10-02 2016-08-31 キヤノン株式会社 光電変換装置、撮像システム、光電変換装置の検査方法および撮像システムの製造方法
CN104869284B (zh) * 2015-05-14 2018-05-04 北京邮电大学 一种双线性插值放大算法的高效率fpga实现方法和装置
CN111917934B (zh) * 2020-08-12 2022-08-30 珠海奔图电子有限公司 图像处理方法、装置、图像形成装置及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1153531A (ja) 1997-07-31 1999-02-26 Canon Inc 撮像装置
KR19990050860A (ko) * 1997-12-17 1999-07-05 윤종용 카메라의 공간 해상도 향상 장치
KR20010038010A (ko) * 1999-10-21 2001-05-15 구자홍 보간 영상의 화질 개선을 위한 필터링 제어방법
JP2002199265A (ja) 2000-12-27 2002-07-12 Canon Inc 電子ズーム装置及びビデオカメラ
JP2003153078A (ja) 2001-11-14 2003-05-23 Sony Corp デジタルカメラ装置およびその電子ズーム処理方法

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4872188A (en) * 1987-11-27 1989-10-03 Picker International, Inc. Registration correction for radiographic scanners with sandwich detectors
JPH02161872A (ja) * 1988-12-14 1990-06-21 Fuji Xerox Co Ltd 画像処理装置の縮拡処理方式
US5208875A (en) * 1989-03-07 1993-05-04 Sony Corporation Digital picture signal processing apparatus
GB2229059B (en) * 1989-03-07 1993-08-04 Sony Corp Obtaining access to a two-dimensional portion of a digital picture signal
DE69028075T2 (de) * 1989-06-16 1997-03-13 Eastman Kodak Co Digitaler bildinterpolator
US5008752A (en) * 1989-06-16 1991-04-16 Eastman Kodak Company Digital image interpolator with multiple interpolation algorithms
JPH04185075A (ja) * 1990-11-20 1992-07-01 Canon Inc カラー画像処理装置
JPH057584A (ja) 1991-06-30 1993-01-19 Shimadzu Corp 画像拡大装置
GB2263373B (en) * 1992-01-09 1995-05-24 Sony Broadcast & Communication Data error concealment
JPH06164322A (ja) * 1992-11-25 1994-06-10 Sony Corp フィルタの係数発生装置
US5365604A (en) * 1993-01-14 1994-11-15 Rca Thomson Licensing Corporation Error concealment apparatus for video signal processors
US6680782B1 (en) * 1993-06-30 2004-01-20 Nexpress Solutions Llc Method and apparatus of using a raster image processor and interpolator to increase the speed of operation and reduce memory requirements for electronic printing
US5802218A (en) * 1994-11-04 1998-09-01 Motorola, Inc. Method, post-processing filter, and video compression system for suppressing mosquito and blocking atrifacts
JP3392564B2 (ja) * 1995-02-27 2003-03-31 三洋電機株式会社 単板式カラービデオカメラ
KR0157566B1 (ko) * 1995-09-30 1998-11-16 김광호 고화질을 위한 보간방법 및 장치
WO1997014247A1 (en) * 1995-10-13 1997-04-17 Apple Computer, Inc. Method and apparatus for video scaling and convolution for displaying computer graphics on a conventional television monitor
US5959676A (en) * 1995-12-27 1999-09-28 Sony Corporation Video signal encoding method, video signal encoding apparatus, video signal transmitting method, and recording medium
US5847714A (en) * 1996-05-31 1998-12-08 Hewlett Packard Company Interpolation method and apparatus for fast image magnification
GB2314477A (en) 1996-06-19 1997-12-24 Quantel Ltd Image magnification processing system employing non-linear interpolation
US5793435A (en) * 1996-06-25 1998-08-11 Tektronix, Inc. Deinterlacing of video using a variable coefficient spatio-temporal filter
US6188803B1 (en) * 1996-10-18 2001-02-13 Sony Corporation Image processing device
JP4066484B2 (ja) 1997-12-08 2008-03-26 ソニー株式会社 画像処理装置および画像処理方法、並びにカメラ
US6275836B1 (en) * 1998-06-12 2001-08-14 Oak Technology, Inc. Interpolation filter and method for switching between integer and fractional interpolation rates
JP2000261291A (ja) * 1999-03-11 2000-09-22 Mitsubishi Electric Corp リサンプラ方法およびリサンプラ回路
ATE377292T1 (de) * 2000-06-02 2007-11-15 Texas Instruments Inc Abtastratenumwandler und verfahren
JP2002024815A (ja) * 2000-06-13 2002-01-25 Internatl Business Mach Corp <Ibm> 拡大画像データに変換するための画像変換方法、画像処理装置、および画像表示装置
JP4231620B2 (ja) * 2000-10-11 2009-03-04 メディア・テック・ユーエスエイ・インコーポレーテッド 画像処理方法および装置
JP2003018397A (ja) * 2001-06-28 2003-01-17 Sony Corp 画像処理装置及びその方法
KR100423503B1 (ko) * 2001-09-14 2004-03-18 삼성전자주식회사 디지털영상 처리 장치 및 방법
JP4451044B2 (ja) * 2002-02-21 2010-04-14 株式会社メガチップス 混成画素補間装置および混成画素補間方法
TW578117B (en) 2002-10-25 2004-03-01 Advanced & Wise Technology Cor Apparatus and method of enhancing image resolution
KR20040050577A (ko) * 2002-12-10 2004-06-16 삼성전자주식회사 디인터레이싱 장치 및 방법
TWI228915B (en) 2003-11-11 2005-03-01 Mitac Int Corp Digital zooming method
US7580461B2 (en) * 2004-02-27 2009-08-25 Microsoft Corporation Barbell lifting for wavelet coding
US8331710B2 (en) * 2007-11-06 2012-12-11 Sony Corporation Image processing apparatus and method, learning apparatus and method, and program
JP4915341B2 (ja) * 2007-12-20 2012-04-11 ソニー株式会社 学習装置および方法、画像処理装置および方法、並びにプログラム
US8593572B2 (en) * 2008-01-30 2013-11-26 Csr Technology Inc. Video signal motion detection

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1153531A (ja) 1997-07-31 1999-02-26 Canon Inc 撮像装置
KR19990050860A (ko) * 1997-12-17 1999-07-05 윤종용 카메라의 공간 해상도 향상 장치
KR20010038010A (ko) * 1999-10-21 2001-05-15 구자홍 보간 영상의 화질 개선을 위한 필터링 제어방법
JP2002199265A (ja) 2000-12-27 2002-07-12 Canon Inc 電子ズーム装置及びビデオカメラ
JP2003153078A (ja) 2001-11-14 2003-05-23 Sony Corp デジタルカメラ装置およびその電子ズーム処理方法

Also Published As

Publication number Publication date
US7693350B2 (en) 2010-04-06
KR20060074851A (ko) 2006-07-03
JP4774736B2 (ja) 2011-09-14
JP2006185123A (ja) 2006-07-13
CN1835556A (zh) 2006-09-20
TWI309132B (en) 2009-04-21
TW200633511A (en) 2006-09-16
US20060152597A1 (en) 2006-07-13
CN100418358C (zh) 2008-09-10

Similar Documents

Publication Publication Date Title
KR100783992B1 (ko) 화상데이터의 화소보간을 실행하는 화소보간장치, 및촬영화상의 화소보간을 실행하는 카메라장치
US7057658B1 (en) Digital camera capable of forming a smaller motion image frame
JP2010268441A (ja) 画像処理装置、撮像装置及び画像再生装置
JP2007028283A (ja) 撮像装置
KR100618014B1 (ko) 촬상 장치
US7286701B2 (en) Image synthesis apparatus and image synthesis method
JP2009049777A (ja) 撮像装置及びそのコンピュータプログラム
US6741280B1 (en) Digital camera having reproduction zoom mode
JP2009027422A (ja) 電子ズーム装置
KR100719988B1 (ko) 화상 신호 처리 장치
JP2006319541A (ja) 撮像装置、動画処理方法及びプログラム
US20090046176A1 (en) Video signal processing apparatus
JP2008211673A (ja) 画像処理方法及び装置
JP2004080427A (ja) 撮像装置、及び画像形式変換方法
JPH11150681A (ja) 情報処理装置および方法、情報処理システム、並びに記録媒体
JP2009033438A (ja) 撮像装置
JP2003070007A (ja) 撮影装置及びホワイトバランス処理方法
JP2008191921A (ja) 光学歪み補正方法及びその装置並びに動画撮影機能付撮像装置と光学歪み補正プログラム
JP2006134030A (ja) 画像処理装置
JP4478934B2 (ja) 画像信号処理装置
JP2012124624A (ja) 撮像装置
JP2007195114A (ja) 撮像装置
JPH07177408A (ja) 信号処理装置
JP2007060292A (ja) デジタルカメラ及び画質補正方法
JP2005175571A (ja) 撮像装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121121

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20131118

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20141125

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20151120

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20171107

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20181121

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20191120

Year of fee payment: 13