KR101311033B1 - 촬상 장치, 촬상 제어 방법 및 기록매체 - Google Patents

촬상 장치, 촬상 제어 방법 및 기록매체 Download PDF

Info

Publication number
KR101311033B1
KR101311033B1 KR1020110122727A KR20110122727A KR101311033B1 KR 101311033 B1 KR101311033 B1 KR 101311033B1 KR 1020110122727 A KR1020110122727 A KR 1020110122727A KR 20110122727 A KR20110122727 A KR 20110122727A KR 101311033 B1 KR101311033 B1 KR 101311033B1
Authority
KR
South Korea
Prior art keywords
image data
compression
data
holding
image
Prior art date
Application number
KR1020110122727A
Other languages
English (en)
Other versions
KR20120056780A (ko
Inventor
다케하루 다케우치
가즈야 나라
Original Assignee
가시오게산키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가시오게산키 가부시키가이샤 filed Critical 가시오게산키 가부시키가이샤
Publication of KR20120056780A publication Critical patent/KR20120056780A/ko
Application granted granted Critical
Publication of KR101311033B1 publication Critical patent/KR101311033B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/92Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/907Television signal recording using static stores, e.g. storage tubes or semiconductor memories

Abstract

촬영계(11~13)와, 촬영계(11~13)를 복수의 연속 촬영 속도 중의 하나로 구동하여 시간적으로 연속된 화상 데이터를 취득하는 구동부(27)와, 얻어지는 시간적으로 연속된 화상 데이터를 유지하는 버퍼메모리(14)와, 버퍼메모리(14)에 유지되는 화상 데이터를, 주어진 압축률에 의거하여 순차 데이터 압축 처리하는 화상 압축/신장부(15a)와, 압축한 화상 데이터가 소정의 데이터량에 들어가 있는지의 여부를 판단하고, 들어가 있지 않다고 판단한 경우에 압축률을 더욱 크게 재설정하여 화상 압축/신장부(15a)에 의해 재차 데이터 압축 처리(리트라이)시키고, 또한 연속 촬영 속도에 따라 1개의 화상 데이터에 대한 리트라이의 회수를 제한하는 화상 처리부(15) 및 CPU(21)를 구비한다.

Description

촬상 장치, 촬상 제어 방법 및 기록매체{IMAGE CAPTURING APPARATUS, IMAGE CAPTURING CONTROL METHOD, AND PROGRAM PRODUCT}
본 발명은 연사 기능과 데이터 압축 기능을 갖는 촬상 장치, 촬상 제어 방법 및 기록매체에 관한 것이다.
최근, 연속 촬영 속도를 넓은 범위에 걸쳐 가변 설정하는 것이 가능한 디지털카메라가 제품화되고, 널리 일반적으로 보급되고 있다. 이러한 종류의 디지털카메라에서는 촬영시에 얻는 화상 데이터를 수시로 버퍼메모리에 유지하는 한편, 해당 버퍼메모리로부터 순차 화상 데이터를 읽어내어 JPEG(Joint Photographic Experts Group) 등의 규격에 의해 데이터 압축 처리를 실시해서 데이터 파일화하고, 매체인 메모리 카드에 기록한다.
데이터 압축 처리시에는 처리 후에 미리 설정된 데이터량 이하로 수납하는 것이 필요하고, 해당 데이터량보다 큰 데이터량으로 된 경우에는 압축률을 더욱 크게 설정하여 재차 화상 처리를「리트라이」하는 공정이 필수로 된다.
이러한 종류의 분야에서, 연속 촬영 속도를 저하시키지 않고 압축 화상 데이터의 데이터량을 예측하기 위한 기술이 예를 들면 일본국 특허공개공보 제2004-064559호에 개시되어 있다.
이 문헌에 기재된 기술에서는 데이터량을 예측하기 위해 필요로 하는 예측 시간과, 화상을 압축하여 데이터 파일화하기 위해 필요로 하는 부호화 시간을 합계한 합계 처리 시간에 따라, 데이터량의 예측을 실행하는 기준으로 되는 화상 영역의 넓이를 변경하도록 하고 있다.
이 때문에, 연속 촬영 속도를 높게 할수록, 예측을 실행하는 기준으로 되는 화상 영역의 넓이가 순차 축소되고, 데이터량의 예측 결과의 신뢰성이 저하한다. 특히, 높은 연속 촬영 속도를 설정한 경우에는 화상의 극히 작은 영역부터 압축후의 데이터량을 추측하게 된다.
따라서, 실제의 데이터 압축 후의 데이터량이 예측의 결과와는 달리, 미리 설정된 데이터량을 넘는 경우도 있다. 그 경우에는 데이터 압축 처리를 리트라이하게 되고, 결과적으로 데이터 압축 처리에 필요로 하는 시간은 더욱 증대한다.
일반적으로 높은 연속 촬영 속도를 설정한 경우에는 촬영시에 화상 데이터를 순차 취득하여 버퍼메모리에 유지하는데 비해, 유지된 화상 데이터에 대한 데이터 압축 처리가 지연되고, 촬영 종료 후에도 데이터 압축 처리를 계속해서 실행한다. 그러한 경우, 카메라는 데이터 처리 중에서 다음의 촬영 동작으로 이행할 수 없는 상태로 되고, 새로운 셔터 찬스를 놓칠 가능성이 높아진다.
본 발명의 목적은 연속 촬영 속도와 화질을 양립시키는 것이 가능한 촬상 장치, 촬상 제어 방법 및 프로그램을 저장한 기록매체를 제공하는 것이다.
상기 목적을 달성하기 위해, 본 발명의 촬상 장치는 촬상 수단과, 상기 촬상 수단을 미리 준비된 복수의 연속 촬영 속도 중의 하나로 구동시키고, 시간적으로 연속된 복수의 화상 데이터를 취득하는 취득 수단과, 상기 취득 수단에 의해서 취득된 복수의 화상 데이터를 일시적으로 유지하는 제 1 유지 수단과, 상기 제 1 유지 수단에 일시적으로 유지되어 있는 복수의 화상 데이터를, 미리 주어진 압축률에 의거하여 순차 압축 처리하는 압축 수단과, 상기 압축 수단에 의해서 압축된 화상 데이터가 소정의 데이터량에 들어갔는지의 여부를 판단하는 판단 수단과, 상기 판단 수단에서, 압축한 화상 데이터가 상기 소정의 데이터량에 들어가지 않는다고 판단한 경우에, 상기 압축 수단에 대해 상기 압축률보다 높은 압축률로 상기 복수의 화상 데이터를 재압축 처리하도록 제어하는 제 1 제어 수단과, 상기 취득 수단에 의해 구동되는 연속 촬영 속도에 따라, 상기 복수의 화상 데이터의 각각에 대한 재압축 처리 회수를 설정하는 회수 설정 수단을 구비한 것을 특징으로 한다.
또, 상기 목적을 달성하기 위해, 본 발명의 촬상 제어 방법은 촬상부를 미리 준비된 복수의 연속 촬영 속도 중의 하나로 구동시키고, 시간적으로 연속된 복수의 화상 데이터를 취득시키는 취득 스텝과, 상기 취득 스텝에서 취득된 복수의 화상 데이터를 유지부에 일시적으로 유지시키는 유지 스텝과, 상기 유지 스텝에서 일시적으로 유지되어 있는 복수의 화상 데이터를, 미리 주어진 압축률에 의거하여 순차 압축 처리하는 압축 스텝과, 상기 압축 스텝에서 압축된 화상 데이터가 소정의 데이터량에 들어갔는지의 여부를 판단하는 판단 스텝과, 상기 판단 스텝에서, 압축한 화상 데이터가 상기 소정의 데이터량에 들어가지 않는다고 판단한 경우에, 상기 압축 스텝에 대해 상기 압축률보다 높은 압축률로 상기 복수의 화상 데이터를 재압축 처리하도록 제어하는 제어 스텝과, 상기 취득 스텝에서 구동되는 연속 촬영 속도에 따라, 상기 복수의 화상 데이터의 각각에 대한 재압축 처리 회수를 설정하는 회수 설정 스텝을 포함하는 것을 특징으로 한다.
또, 상기 목적을 달성하기 위해, 본 발명의 프로그램을 저장한 기록매체는 촬상부를 갖는 장치가 내장하는 컴퓨터가 실행 가능한 프로그램을 저장한 프로그램 기록매체로서, 해당 컴퓨터를, 상기 촬상부를 미리 준비된 복수의 연속 촬영 속도 중의 하나로 구동시키고, 시간적으로 연속된 복수의 화상 데이터를 취득시키는 취득 수단, 상기 취득 수단에 의해서 취득된 복수의 화상 데이터를 유지부에 일시적으로 유지시키는 유지 수단, 상기 유지 수단에 일시적으로 유지되어 있는 복수의 화상 데이터를, 미리 주어진 압축률에 의거하여 순차 압축 처리하는 압축 수단, 상기 압축 수단에 의해서 압축된 화상 데이터가 소정의 데이터량에 들어갔는지의 여부를 판단하는 판단 수단, 상기 판단 수단에서, 압축한 화상 데이터가 상기 소정의 데이터량에 들어가지 않는다고 판단한 경우에, 상기 압축 수단에 대해 상기 압축률보다 높은 압축률로 상기 복수의 화상 데이터를 재압축 처리하도록 제어하는 제 1 제어 수단, 상기 취득 수단에 의해 구동되는 연속 촬영 속도에 따라, 상기 복수의 화상 데이터의 각각에 대한 재압축 처리 회수를 설정하는 회수 설정 수단으로서 기능시키는 것을 특징으로 한다.
본 발명에 따르면, 설정된 연속 촬영 속도에 따라 데이터 압축 처리에 필요로 하는 시간과 압축률의 밸런스를 취하고, 연속 촬영 속도와 화질을 양립시키는 것이 가능하게 된다.
도 1은 본 발명의 1실시형태에 관한 디지털카메라의 기능 회로의 개략 구성을 나타내는 블럭도.
도 2는 본 발명의 1실시형태에 관한 정지화상 촬영 모드하의 스루 화상 표시에 관한 처리 내용을 나타내는 흐름도.
도 3은 본 발명의 1실시형태에 관한 CMOS 이미지 센서가 출력하는 화상 데이터의 타이밍을 예시하는 도면.
도 4의 (a)는 본 발명의 1실시형태에 관한 CMOS 이미지 센서가 출력하는 화상 데이터의 타이밍을 예시하는 도면(40FPS 촬영시).
도 4의 (b)는 본 발명의 1실시형태에 관한 CMOS 이미지 센서가 출력하는 화상 데이터의 타이밍을 예시하는 도면(10FPS 촬영시).
이하, 본 발명을 디지털카메라에 적용한 경우의 1실시형태에 대해 도면을 참조하여 설명한다.
도 1은 본 실시형태에 관한 디지털카메라(10)의 회로 구성을 나타내는 것이다. 동일 도면에서는 카메라 케이스의 앞면에 배치되는 광학 렌즈 유닛(11)을 통해, 고체 촬상 소자, 예를 들면 CMOS 이미지 센서(12)의 촬상면 상에 피사체의 광상을 입사하여 결상시킨다.
스루 화상 표시, 혹은 라이브 뷰 화상 표시라고도 칭해지는 모니터 상태에서는 이 CMOS 이미지 센서(12)에서의 촬상에 의해 얻은 화상 신호를 AGC A/D변환부(13)에 보내고, 상관 제곱 샘플링이나 자동 게인 조정, A/D 변환 처리를 실행하여 디지털화한다. 이 디지털값의 화상 데이터는 시스템 버스 SB를 통해 버퍼메모리(14)에 유지된다.
이 버퍼메모리(14)에 유지된 화상 데이터에 대해, 화상 처리부(15)가 적절히 필요한 화상 처리를 실시한다. 화상 처리부(15)에서는 버퍼메모리(14)가 유지하는 상기 CMOS 이미지 센서(12)가 구비하는 베이어 배열의 컬러 필터의 구성에 따른 화상 데이터(이하 「RAW(생) 데이터」라 함)에 대해 디지털 현상 처리, 구체적으로는 화소 보간 처리, 감마 보정 처리, 매트릭스 연산 등의 디모자이크 처리를 실시함으로써, 휘도색차계(YUV)의 화상 데이터로 변환한다.
화상 처리부(15)는 현상 후의 화상 데이터로부터 표시용으로 화소수 및 계조 비트를 대폭 줄인 화상 데이터를 작성하고, 시스템 버스 SB를 통해 표시부(16)에 보낸다. 표시부(16)에서는 보내져 온 화상 데이터에 의거하여 스루 화상을 표시한다.
이 표시부(16)는 예를 들면 백 라이트를 갖는 컬러 액정 패널과 그 컨트롤러로 구성된다. 이 표시부(16)의 화면 상부에 일체로 해서 투명 도전막을 이용한 터치 패널부(17)가 구성된다.
이 터치 패널부(17)에서 유저가 손가락 등으로 표면을 터치 조작하면, 터치 패널부(17)에서는 조작된 좌표 위치를 산출하고, 산출한 좌표 신호를 상기 시스템 버스 SB를 통해 후술하는 CPU(21)에 송출한다.
또, 상기 광학 렌즈 유닛(11)과 마찬가지로 카메라 케이스 앞면에는 마이크로폰(18)이 배치되고, 피사체 방향의 음성이 입력된다. 마이크로폰(18)은 입력한 음성을 전기신호화하고, 음성 처리부(19)에 출력한다.
음성 처리부(19)는 음성 단체(單體)에서의 녹음시, 음성을 갖는 정지화상 촬영시, 및 동화상의 촬영시에 마이크로폰(18)으로부터 입력하는 음성 신호를 디지털 데이터화한다. 또한, 음성 처리부(19)는 디지털화한 음성 데이터의 음압 레벨을 검출하는 한편, 해당 음성 데이터를 소정의 데이터 파일 형식, 예를 들면 AAC(moving picture experts group-4 Advanced Audio Coding) 형식으로 데이터 압축하여 음성 데이터 파일을 작성하고, 후술하는 기록 매체에 송출한다.
또한, 음성 처리부(19)는 PCM 음원 등의 음원 회로를 구비하고, 음성의 재생시에 보내져 오는 음성 데이터 파일의 압축을 풀어 아날로그화하고, 이 디지털카메라(10)의 케이스 배면측에 설치되는 스피커(20)를 구동하여, 확성 방음시킨다.
이상의 회로를 CPU(21)가 통괄하여 제어한다. 이 CPU(21)는 메인 메모리(22), 프로그램 메모리(23)와 직접 접속된다. 메인 메모리(22)는 예를 들면 SRAM으로 구성되고, 워크 메모리로서 기능한다. 프로그램 메모리(23)는 예를 들면 플래시 메모리 등의 전기적으로 리라이트 가능한 불휘발성 메모리로 구성되고, 후술하는 연속 촬영시의 동작을 포함하는 각종 동작 프로그램이나 데이터 등을 고정적으로 기억한다.
CPU(21)는 프로그램 메모리(23)로부터 필요한 프로그램이나 데이터 등을 읽어내고, 메인 메모리(22)에 적절히 일시적으로 전개 기억시키면서, 이 디지털카메라(10) 전체의 제어 동작을 실행한다.
또한, 상기 CPU(21)는 키 조작부(24)로부터 직접 입력되는 각종 키 조작 신호, 및 상기 터치 패널부(17)로부터의 터치 조작에 따른 좌표 신호에 대응해서 제어 동작을 실행한다.
키 조작부(24)는 예를 들면 전원 키, 셔터 릴리즈 키, 줌 업/다운 키, 촬영 모드 키, 재생 모드 키, 메뉴 키, 커서(「↑」「→」「↓」「←」) 키, 세트 키, 해제 키, 디스플레이 키 등을 구비한다.
CPU(21)는 시스템 버스 SB를 통해 상기 AGC A/D변환부(13), 버퍼메모리(14), 화상 처리부(15), 표시부(16), 터치 패널부(17), 및 음성 처리부(19) 이외에, 또한 렌즈 구동부(25), 플래시 구동부(26), 구동부(27), 및 메모리 카드 컨트롤러(28)와 접속된다.
렌즈 구동부(25)는 CPU(21)로부터의 제어 신호를 받아 렌즈용 DC모터(M)(29)의 회전을 제어하고, 상기 광학 렌즈 유닛(11)을 구성하는 복수의 렌즈군 중의 일부, 구체적으로는 줌 렌즈 및 포커스 렌즈의 위치와, 조리개 날개의 개구 정도를 각각 개별적으로 제어시킨다.
풀래시 구동부(26)는 정지화상 촬영시에 CPU(21)로부터의 제어 신호를 받아 복수의 백색 고휘도 LED로 구성되는 플래시부(30)를 촬영 타이밍과 동기하여 점등 구동한다.
구동부(27)는 그 시점에서 설정되어 있는 촬영 조건 등에 따라 상기 CMOS 이미지 센서(12)의 주사 구동을 실행한다.
상기 화상 처리부(15)는 상기 키 조작부(24)의 셔터 릴리즈 키 조작에 수반하는 화상 촬영시에, AGC A/D변환부(13)로부터 보내져 와 버퍼메모리(14)에 유지되는 화상 데이터를 디모자이크 처리하고, 또한 화상 압축/신장부(15a)에서 소정의 데이터 파일 형식, 예를 들면 JPEG(Joint Photographic Experts Group)이면 DCT(이산 코사인 변환)나 허프만(Huffman) 부호화 등의 데이터 압축 처리를 실시하여 데이터량을 대폭 삭감한 화상 데이터 파일을 작성한다. 작성한 화상 데이터 파일은 한 번 버퍼메모리(14)에 유지되고, 그 후, 시스템 버스 SB, 메모리 카드 컨트롤러(28)를 통해 메모리 카드(31)에 전송 보존된다.
또, 화상 처리부(15)는 재생 모드시에 메모리 카드(31)로부터 메모리 카드 컨트롤러(28)를 통해 읽어내어져 오는 화상 데이터를 시스템 버스 SB를 통해 수취하고, 버퍼메모리(14)에 유지시킨 후, 이 버퍼메모리(14)에 유지시킨 화상 데이터를 화상 압축/신장부(15a)에서 기록시와는 반대의 수순으로 압축을 푸는 신장 처리에 의해 원래의 사이즈의 화상 데이터를 얻고, 얻은 화상 데이터의 데이터량을 줄인 후에 시스템 버스 SB를 통해 표시부(16)에서 표시시킨다. 
메모리 카드 컨트롤러(28)는 카드 커넥터(32)를 통해 메모리 카드(31)와 접속된다. 메모리 카드(31)는 이 디지털카메라(10)에 착탈 자유롭게 장착되고, 이 디지털카메라(10)의 기록 매체로 되는 화상 데이터 등의 기록용 메모리이며, 내부에는 불휘발성 메모리인 플래시 메모리와, 그 구동 회로가 설치된다.
다음에, 상기 실시형태의 동작에 대해 설명한다. 
또한, 이하에 나타내는 동작은 시간적으로 연속된 정지화상을 촬영하기 위한 연속 촬영 모드하에서, CPU(21)의 제어하에 화상 처리부(15)가 화상 데이터를 압축하기 위해 실행하는 처리 내용을 추출해서 나타낸다. CPU(21)는 프로그램 메모리(23)에 기억되어 있는 동작 프로그램이나 데이터를 읽어내어 메인 메모리(22)에 전개해서 기억시킨 후에 실행한다.
프로그램 메모리(23)에 기억되어 있는 동작 프로그램 등은 이 디지털카메라(10)의 제조 공장 출하시에 프로그램 메모리(23)에 기억되어 있던 것에 부가해서, 예를 들면 이 디지털카메라(10)의 버전업시에, 디지털카메라(10)를 도시하지 않은 퍼스널 컴퓨터와 접속하거나, 혹은 갱신 프로그램을 기억한 메모리 카드(31)를 일시적으로 카드 커넥터(32)에 장착하는 것에 의해 외부로부터 새로운 동작 프로그램, 데이터 등을 인스톨하는 것도 포함한다.
도 2는 상술한 바와 같이, 연속 촬영 동작시에 화상 처리부(15)의 화상 압축/신장부(15a)가 실행하는 데이터 압축 처리를 중심으로 한 처리 내용을 나타낸다. 또한, 구체적인 연속 촬영 속도로서, 설명을 간략화하기 위해 저속측의 대표값을 10[FPS], 고속측의 대표값을 40[FPS]로 해서 설명한다(FPS=FRAME PER SECOND).
연속 촬영 모드가 설정된 상태에서 키 조작부(24)의 셔터 릴리즈 키가 조작되면, 설정된 연속 촬영 속도에서의 촬영 동작이 시작된다. 이것에 수반해서, 순차 취득되는 RAW 데이터를 버퍼메모리(14)에 전송하여 접수하는 처리가 시작된다(스텝 S101).
도 3은 연속 촬영 속도가 40[FPS]인 경우와 10[FPS]인 경우에 CMOS 이미지 센서(12)가 출력하는 화상 데이터의 타이밍을 예시하는 것이다.
동일 도면 중, 직사각형내의 숫자 n(n=1, 2,‥‥)이 촬영을 시작하고 나서 n개째의 RAW 데이터를 나타낸다.
화상 처리부(15)에서는 CPU(21)로부터 그 시점에서 설정되어 있는 연속 촬영 속도의 정보를 취득한 후(스텝 S102), 그 취득한 연속 촬영 속도의 정보에 의거한 최대 리트라이 회수값을 마찬가지로 CPU(21)로부터 취득한다(스텝 S103).
본 실시형태에서는 예를 들면 연속 촬영 속도 10[FPS]에서의 최대 리트라이 회수값을 「3」, 연속 촬영 속도 40[FPS]에서의 최대 리트라이 회수값을 「0」으로 한다.
이들 최대 리트라이 회수값의 정보는 후술하는 압축률의 정보와 함께 미리 프로그램 메모리(23)에 테이블화하여 기억된 것을, 필요에 따라 CPU(21)가 읽어내어 메인 메모리(22)에 전개하여 기억시킨다.
다음에, 버퍼메모리(14)의 선두에 위치하는 촬영 순서가 가장 오래된 RAW 데이터 1프레임분을 읽어낸다(스텝 S104). 
여기서, 버퍼메모리(14)로부터 RAW 데이터를 읽어낼 수 있었는지의 여부에 따라 일련의 화상 데이터 압축의 처리를 종료했는지의 여부를 판단한다(스텝 S105).
스텝 S105에서 RAW 데이터가 있었다고 판단하면, 다음에 화상 처리부(15)가 내부에서 카운트하는 실(實)리트라이 회수를 초기값「0」으로 한 후(스텝 S106), 직전의 상기 스텝 S103에서 취득한 리트라이 회수값과 상기 카운트하고 있는 실리트라이 회수를 비교하여, 화상 데이터 압축의 리트라이가 가능한지의 여부를 판단한다(스텝 S107).
예를 들면, 연속 촬영 속도가 10[FPS]이고, 상술한 바와 같이 최대 리트라이 회수값이 「3」으로써, 그 시점에서의 실리트라이 회수가 초기값「0」이면, 리트라이가 가능하다고 판단하고, 실리트라이 회수에 따른 압축률을 CPU(21)를 통해 취득한다(스텝 S108).
즉, CPU(21)에서는 상기한 바와 같이 연속 촬영 속도에 대응하는 최대 리트라이 회수값의 정보와 조합하여, 실리트라이 회수에 따른 압축률의 정보를 프로그램 메모리(23)로부터 읽어내고 있다. 실리트라이 회수에 따른 압축률의 정보는 실리트라이 회수가 증가함에 따라, 단계적으로 높은 압축률로 되도록 설정되어 있다.
화상 처리부(15)의 화상 압축/신장부(15a)에서는 설정된 압축률에 의거하여 RAW 데이터를 JPEG 파일화하여 버퍼메모리(14)에 재저장하는 화상 데이터 압축 처리를 실행한다(스텝 S109).
그 처리의 결과, 재저장된 JPEG 데이터 파일의 데이터량이, 미리 설정되어 있는 데이터량 이내에 들어갔는지의 여부에 따라 데이터 압축이 성공했는지 아닌지를 판단한다(스텝 S110).
여기서, 데이터 압축이 성공했다고 판단한 경우에는 압축한 JPEG 데이터 파일을 버퍼메모리(14)로부터 메모리 카드(31)에 전송하여 기록, 보존시킨 후에, 대응하는 RAW 데이터를 상기 버퍼메모리(14)로부터 소거시키고(스텝 S111), 이상으로 1프레임분의 RAW 데이터에 관한 처리가 종료한 것으로 하여, 재차 상기 스텝 S104로부터의 처리로 되돌린다.
또, 상기 스텝 S110에서 얻어진 JPEG 데이터 파일의 데이터량이 미리 설정되어 있는 데이터량을 초과하고, 데이터 압축이 실패했다고 판단한 경우에는 실리트라이 회수를「+1」갱신 설정한 후에(스텝 S112), 재차 상기 스텝 S107로 되돌려, 화상 데이터의 압축 처리의 리트라이가 가능한지의 여부를 판단한다.
이와 같이 해서 설정되어 있는 리트라이 회수내이면, 순차 압축률을 단계적으로 올리면서 화상 데이터의 압축 처리를 반복 실행하는 것에 의해, 가능한 한 화질의 열화를 수반하지 않는 상태에서 화상 데이터가 소정의 데이터량에 들어가도록 제어한다.
그러나, 상기 스텝 S107에서 그 이상의 화상 데이터 압축의 리트라이가 불가능하다고 판단한 경우에는 화상 처리부(15)가 CPU(21)로부터, 확실하게 소정의 데이터량에 들어가기 위한 최대 압축률을 읽어내어 설정한다(스텝 S113).
화상 처리부(15)의 화상 압축/신장부(15a)에서는 설정된 최대 압축률에 의거하여 RAW 데이터를 JPEG 파일화하여 버퍼메모리(14)에 재저장하는 화상 데이터의 압축 처리를 실행한다(스텝 S114).
그 처리의 결과, 재저장된 JPEG 데이터 파일을 버퍼메모리(14)로부터 메모리 카드(31)에 전송해서 기록, 보존시킨 후에, 대응하는 RAW 데이터를 상기 버퍼메모리(14)로부터 소거시키고(스텝 S111), 이상으로 1프레임분의 RAW 데이터에 관한 처리가 종료한 것으로 해서, 재차 상기 스텝 S104로부터의 처리로 되돌린다.
도 4의 (a), (b)는 연속 촬영 속도가 40[FPS]인 경우(도 4의 (a))와, 연속 촬영 속도가 10[FPS]인 경우(도 4의 (b))에 CMOS 이미지 센서(12)가 출력하는 화상 데이터의 타이밍과, 그 후의 데이터 압축 처리의 동작예를 예시하는 것이다.
동일 도면 중, 직사각형내의 숫자 n(n=1, 2,‥‥)이 데이터 압축 후의 n개째의 JPEG 데이터 파일을 나타내고, 또한 기호 “×”를 붙인 것은 압축 후의 데이터 파일이 버퍼메모리(14)내에서 소정의 데이터량에 들어가지 않고, 그 후에 리트라이한 것을 나타낸다.
연속 촬영 속도가 40[FPS]인 경우에는 상기한 바와 같이 최대 리트라이 회수값을 「0」으로 하고, 즉 리트라이 불가인 것으로 해서, 항상 최대 압축률을 이용하여 각 화상 데이터 모두 1회의 압축 처리에 의해 확실하게 압축한 JPEG 데이터 파일을 얻는다.
따라서, 화상의 촬영에서 얻은 데이터를 버퍼메모리(14)에 유지하는 동작과, 압축 처리된 화상 데이터의 전송 처리를 끝내 버퍼메모리(14)로부터 대응하는 화상 데이터를 소거하는 동작에 거의 지체가 생기지 않고, 일련의 연속된 화상 촬영 종료 후에는 거의 동시에 압축 처리를 끝낼 수 있어, 결과적으로 바로 다음의 연속 촬영으로 이행하는 것이 가능하게 된다.
이에 대해 연속 촬영 속도가 10[FPS]인 경우에는 최대 리트라이 회수값을 「3」으로 함으로써, 최대의 리트라이 회수를 3회, 최대 합계 4회의 압축 처리가 가능하게 되고, 4회째의 압축 처리에서는 최대 압축률을 이용하지만, 처음의 3회의 압축 처리에서는 낮은 압축률부터 순차 단계적으로 압축률을 올리는 바와 같은 처리를 실행한다.
구체적으로는 도 4의 (b)에 도시하는 바와 같이 연속 촬영 속도가 10[FPS]에서 연속 촬영을 실행한 경우, 화상「1」및 화상「2」에 관해서는 3회의 리트라이로 최대 압축률에 의한 압축 처리를 실시하고 있지만, 화상「3」 및 화상「4」에 관해서는 2회의 리트라이로, 최대 압축률보다 낮은 압축률에 의한 압축 처리에서 얻은 JPEG 데이터 파일을 기록, 보존한다.
이와 같이, RAW 데이터의 내용에 따라서는 더욱 낮은 압축률로 화질 열화가 적은 데이터 압축 처리에서도 소정의 데이터량에 들어가는 것이 가능하게 되는 경우도 있을 수 있다.
이 경우에도, 화상의 촬영에서 얻은 데이터를 버퍼메모리(14)에 유지하는 동작과, 압축 처리된 화상 데이터의 전송 처리를 끝내 버퍼메모리(14)로부터 대응하는 화상 데이터를 소거하는 동작에 거의 지체가 생기지 않고, 일련의 연속된 화상 촬영 종료 후에는 거의 동시에 압축 처리를 끝낼 수 있어, 결과적으로 바로 다음의 연속 촬영으로 이행하는 것이 가능하게 된다.
또한, 상기 스텝 S105에서 버퍼메모리(14)로부터 RAW 데이터를 읽어낼 수 없었던 경우에는 일련의 화상 데이터의 압축 처리를 종료한 것으로 해서 이 도 2의 처리를 완료한다.
이상 상세하게 기술한 바와 같이 본 실시형태에 의하면, 설정된 연속 촬영 속도에 따라 데이터 압축 처리에 필요로 하는 시간과 압축률의 밸런스를 취하고, 연속 촬영 속도와 화질을 양립시키는 것이 가능하게 된다.
또한, 본 실시형태에서는 그 이상의 화상 데이터의 압축 처리가 제한된 경우에, 미리 설정된 최대의 압축률을 설정해서 데이터 압축 처리시킴으로써, 확실하게 소정의 데이터량 이내에 들어가도록 압축한 데이터 파일을 얻을 수 있다.
또한, 상기 실시형태는 본 발명을 디지털카메라에 적용한 경우에 대해 설명한 것이지만, 본 발명은 이것에 한정되지 않고, 연속 촬영이 가능한 카메라 기능을 갖는 전자기기이면, 휴대 전화 단말이나 모바일 타입의 퍼스널 컴퓨터, 전자 북 단말이나 PDA(Personal Digital Assistants:개인용 정보 휴대 단말) 등이라도 마찬가지로 실시가 가능하게 된다.
그 밖에, 본 발명은 상술한 실시형태에 한정되는 것은 아니고, 실시 단계에서는 그 요지를 이탈하지 않는 범위에서 여러가지로 변형하는 것이 가능하다. 또, 상술한 실시형태에서 실행되는 기능은 가능한 한 적절히 조합해서 실시해도 좋다. 상술한 실시형태에는 각종 단계가 포함되어 있으며, 개시되는 복수의 구성 요건에 의한 적절한 조합에 의해 각종 발명이 추출될 수 있다. 예를 들면, 실시형태에 나타나는 전체의 구성 요건에서 몇 개의 구성 요건이 삭제되어도 효과가 얻어지는 것이면, 이 구성 요건이 삭제된 구성이 발명으로서 추출될 수 있다.
10; 디지털 카메라 11; 광학 렌즈 유닛
12; CMOS 이미지 센서 13; AGC A/D 변환부
14; 버퍼 메모리 15; 화상 처리부
15a; 화상압축/신장부 16; 표시부
17; 터치 패널부 18; 마이크로 폰
19; 음성 처리부 20; 스피커
21; CPU 22; 메인 메모리
23; 프로그램 메모리 24; 키 조작부
25; 렌즈 구동부 26; 플래시 구동부
27; 구동부 28; 메모리 카드 컨트롤러
29; 렌즈용 DC모터(M) 30; 플래시부
31; 메모리 카드 32; 카드 커넥터
SB; 시스템 버스

Claims (8)

  1. 촬상 수단과,
    상기 촬상 수단을 미리 준비된 복수의 연속 촬영 속도 중의 하나로 구동시키고, 시간적으로 연속된 복수의 화상 데이터를 취득하는 취득 수단과,
    상기 취득 수단에 의해서 취득된 복수의 화상 데이터를 일시적으로 유지하는 제 1 유지 수단과,
    상기 제 1 유지 수단에 일시적으로 유지되어 있는 복수의 화상 데이터를, 미리 주어진 압축률에 의거하여 순차 압축 처리하는 압축 수단과,
    상기 압축 수단에 의해서 압축된 화상 데이터가 소정의 데이터량에 들어갔는지의 여부를 판단하는 판단 수단과,
    상기 판단 수단에서, 압축한 화상 데이터가 상기 소정의 데이터량에 들어가지 않는다고 판단한 경우에, 상기 압축 수단에 대해 상기 압축률보다 높은 압축률로 상기 복수의 화상 데이터를 재압축 처리하도록 제어하는 제 1 제어 수단과,
    상기 취득 수단에 의해 구동되는 연속 촬영 속도에 따라, 상기 복수의 화상 데이터의 각각에 대한 재압축 처리 회수를 설정하는 회수 설정 수단을 구비한 것을 특징으로 하는 촬상 장치.
  2. 제 1 항에 있어서,
    상기 제 1 제어 수단은 상기 판단 수단에서 압축한 화상 데이터가 상기 소정의 데이터량에 들어가지 않는다고 판단한 경우에, 상기 회수 설정 수단에 의해서 설정된 재압축 처리 회수에 따라, 단계적으로 압축률을 높게 하여 상기 복수의 화상 데이터를 재압축 처리하도록 제어하는 것을 특징으로 하는 촬상 장치.
  3. 제 1 항에 있어서,
    상기 제 1 제어 수단에 의해 재압축 처리할 때마다 상기 설정된 재압축 처리 회수를 감산하고, 그 감산 후의 재압축 처리 회수를 유지하는 제 2 유지 수단을 더 구비하고,
    상기 판단 수단은 또한, 상기 압축 수단에 의해서 압축된 화상 데이터가 소정의 데이터량에 들어갔는지의 여부에 부가하여, 상기 제 2 유지 수단에 의해서 유지된 감산 후의 재압축 처리 회수가 0인지 아닌지 판단하고,
    상기 제 1 제어 수단은 상기 판단 수단에서 감산 후의 재압축 처리 회수가 0이 아니라고 판단한 경우에, 상기 압축 수단에 대해 상기 압축률보다 높은 압축률로 상기 복수의 화상 데이터를 재압축 처리하도록 제어하는 것을 특징으로 하는 촬상 장치.
  4. 제 3 항에 있어서,
    상기 판단 수단에서 감산 후의 재압축 처리 회수가 0이라고 판단한 경우, 상기 화상 데이터가 상기 소정의 데이터량에 들어가도록 압축률을 설정하는 압축률 설정 수단과,
    상기 압축률 설정 수단에 의해서 설정된 압축률로 상기 복수의 화상 데이터를 재압축 처리하도록 제어하는 제 2 제어 수단을 더 구비하는 것을 특징으로 하는 촬상 장치.
  5. 제 1 항에 있어서,
    상기 판단 수단에 의해 상기 화상 데이터가 상기 소정의 데이터량에 들어갔다고 판단될 때까지, 상기 압축 수단에 의해 압축 처리, 또는 재압축 처리된 화상 데이터를, 상기 제 1 유지 수단에 반복 유지하도록 제어하는 유지 제어 수단을 더 구비하는 것을 특징으로 하는 촬상 장치.
  6. 제 1 항에 있어서,
    상기 판단 수단에서 압축한 화상 데이터가 상기 소정의 데이터량에 들어갔다고 판단한 경우에, 압축 처리된 복수의 화상 데이터를 소정의 메모리에 저장하도록 제어하는 저장 제어 수단을 더 구비하는 것을 특징으로 하는 촬상 장치.
  7. 촬상부를 미리 준비된 복수의 연속 촬영 속도 중의 하나로 구동시키고, 시간적으로 연속된 복수의 화상 데이터를 취득시키는 취득 스텝과,
    상기 취득 스텝에서 취득된 복수의 화상 데이터를 유지부에 일시적으로 유지시키는 유지 스텝과,
    상기 유지 스텝에서 일시적으로 유지되어 있는 복수의 화상 데이터를, 미리 주어진 압축률에 의거하여 순차 압축 처리하는 압축 스텝과,
    상기 압축 스텝에서 압축된 화상 데이터가 소정의 데이터량에 들어갔는지의 여부를 판단하는 판단 스텝과,
    상기 판단 스텝에서, 압축한 화상 데이터가 상기 소정의 데이터량에 들어가지 않는다고 판단한 경우에, 상기 압축 스텝에 대해 상기 압축률보다 높은 압축률로 상기 복수의 화상 데이터를 재압축 처리하도록 제어하는 제어 스텝과,
    상기 취득 스텝에서 구동되는 연속 촬영 속도에 따라, 상기 복수의 화상 데이터의 각각에 대한 재압축 처리 회수를 설정하는 회수 설정 스텝을 포함하는 것을 특징으로 하는 촬상 제어 방법.
  8. 촬상부를 갖는 장치가 내장하는 컴퓨터가 실행 가능한 프로그램을 저장한 기록매체로서, 해당 컴퓨터를,
    상기 촬상부를 미리 준비된 복수의 연속 촬영 속도 중의 하나로 구동시키고, 시간적으로 연속된 복수의 화상 데이터를 취득시키는 취득 수단,
    상기 취득 수단에 의해서 취득된 복수의 화상 데이터를 유지부에 일시적으로 유지시키는 유지 수단,
    상기 유지 수단에 일시적으로 유지되어 있는 복수의 화상 데이터를, 미리 주어진 압축률에 의거하여 순차 압축 처리하는 압축 수단,
    상기 압축 수단에 의해서 압축된 화상 데이터가 소정의 데이터량에 들어갔는지의 여부를 판단하는 판단 수단,
    상기 판단 수단에서, 압축한 화상 데이터가 상기 소정의 데이터량에 들어가지 않는다고 판단한 경우에, 상기 압축 수단에 대해 상기 압축률보다 높은 압축률로 상기 복수의 화상 데이터를 재압축 처리하도록 제어하는 제 1 제어 수단,
    상기 취득 수단에 의해 구동되는 연속 촬영 속도에 따라, 상기 복수의 화상 데이터의 각각에 대한 재압축 처리 회수를 설정하는 회수 설정 수단으로서 기능시키는 프로그램을 저장한 기록매체.
KR1020110122727A 2010-11-25 2011-11-23 촬상 장치, 촬상 제어 방법 및 기록매체 KR101311033B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010262223A JP5115619B2 (ja) 2010-11-25 2010-11-25 撮像装置、撮像制御方法及びプログラム
JPJP-P-2010-262223 2010-11-25

Publications (2)

Publication Number Publication Date
KR20120056780A KR20120056780A (ko) 2012-06-04
KR101311033B1 true KR101311033B1 (ko) 2013-09-24

Family

ID=46126379

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110122727A KR101311033B1 (ko) 2010-11-25 2011-11-23 촬상 장치, 촬상 제어 방법 및 기록매체

Country Status (4)

Country Link
US (1) US8466986B2 (ko)
JP (1) JP5115619B2 (ko)
KR (1) KR101311033B1 (ko)
CN (1) CN102547086B (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102769752B (zh) * 2012-07-25 2014-12-10 北京汉王智通科技有限公司 一种jpeg图像压缩方法和系统
JP6135072B2 (ja) * 2012-08-30 2017-05-31 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
CN103167147A (zh) * 2012-09-20 2013-06-19 深圳市金立通信设备有限公司 一种智能手机高速连拍系统及方法
CN106998487A (zh) * 2017-04-27 2017-08-01 努比亚技术有限公司 图像处理方法、装置及移动终端
CN114339226B (zh) * 2021-12-28 2024-02-09 山东云海国创云计算装备产业创新中心有限公司 一种提高画面的流畅度的方法、装置及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1056612A (ja) * 1996-06-07 1998-02-24 Casio Comput Co Ltd 画像データ記憶装置、画像データ記憶方法、撮像方法、及び記憶媒体
JP2002176562A (ja) * 2000-09-29 2002-06-21 Konica Corp 電子カメラ、画像データ処理装置及び画像データ処理方法
JP2004056680A (ja) * 2002-07-23 2004-02-19 Ricoh Co Ltd 画像処理装置および画像処理方法
JP2007020032A (ja) * 2005-07-11 2007-01-25 Nikon Corp 撮像装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2984342B2 (ja) * 1990-09-04 1999-11-29 キヤノン株式会社 画像信号記録装置
JPH0530471A (ja) * 1991-07-25 1993-02-05 Olympus Optical Co Ltd 画像記録装置
BE1007807A3 (nl) * 1993-11-30 1995-10-24 Philips Electronics Nv Inrichting voor het coderen van een videosignaal.
US5617142A (en) * 1994-11-08 1997-04-01 General Instrument Corporation Of Delaware Method and apparatus for changing the compression level of a compressed digital signal
JP4616432B2 (ja) * 1999-07-16 2011-01-19 富士フイルム株式会社 信号処理装置
JP2001251616A (ja) * 2000-03-02 2001-09-14 Media Glue Corp 多重化音響・動画圧縮符号化信号変換方法、装置および変換プログラムを記録した媒体
US6882749B2 (en) * 2000-09-29 2005-04-19 Konica Corporation Image data processing method and electronic camera using the image data processing method
US7227998B2 (en) * 2002-06-11 2007-06-05 Canon Kabushiki Kaisha Image processing apparatus, control method of the same, computer program, and computer-readable storage medium
JP4035015B2 (ja) 2002-07-30 2008-01-16 松下電器産業株式会社 画像処理装置及び画像処理方法
JP2004173005A (ja) * 2002-11-20 2004-06-17 Ricoh Co Ltd 連続画像圧縮装置、連続画像圧縮方法及びそのプログラム並びにそのプログラムを記録した情報記録媒体
JP4038774B2 (ja) * 2004-12-28 2008-01-30 日本ビクター株式会社 符号化装置及び符号化方法
JP4844094B2 (ja) * 2005-11-16 2011-12-21 株式会社ニコン デジタルスチルカメラ
JP4689545B2 (ja) * 2006-07-05 2011-05-25 富士フイルム株式会社 データ圧縮装置およびデータ圧縮プログラム
JP4862736B2 (ja) * 2007-04-24 2012-01-25 パナソニック電工株式会社 画像圧縮装置
JP2009159303A (ja) * 2007-12-26 2009-07-16 Olympus Imaging Corp 撮像装置
CN101335819B (zh) * 2008-08-06 2010-06-16 中兴通讯股份有限公司 连拍照片的处理装置、方法及图象处理设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1056612A (ja) * 1996-06-07 1998-02-24 Casio Comput Co Ltd 画像データ記憶装置、画像データ記憶方法、撮像方法、及び記憶媒体
JP2002176562A (ja) * 2000-09-29 2002-06-21 Konica Corp 電子カメラ、画像データ処理装置及び画像データ処理方法
JP2004056680A (ja) * 2002-07-23 2004-02-19 Ricoh Co Ltd 画像処理装置および画像処理方法
JP2007020032A (ja) * 2005-07-11 2007-01-25 Nikon Corp 撮像装置

Also Published As

Publication number Publication date
US8466986B2 (en) 2013-06-18
CN102547086A (zh) 2012-07-04
JP2012114692A (ja) 2012-06-14
US20120133795A1 (en) 2012-05-31
CN102547086B (zh) 2014-10-15
KR20120056780A (ko) 2012-06-04
JP5115619B2 (ja) 2013-01-09

Similar Documents

Publication Publication Date Title
US7227576B2 (en) Electronic camera
US8411158B2 (en) Image sensing apparatus and storage medium
JP4943721B2 (ja) 画像データのカラーノイズ除去方法及びこの方法を用いた撮像装置
KR101264389B1 (ko) 촬상 장치 및 방법
KR101311033B1 (ko) 촬상 장치, 촬상 제어 방법 및 기록매체
US8823854B2 (en) Imaging device and imaging control method for reading and displaying image data during exposure
JP5311937B2 (ja) 撮像装置及び画像表示方法
JP2008085689A (ja) 撮像装置、撮像制御プログラム及び撮像制御方法
US7671896B2 (en) Image sensing apparatus
KR100322186B1 (ko) 영상 크기 조절이 가능한 촬영 장치 및 그 제어 방법
JP4525459B2 (ja) 動画処理装置、動画処理方法及びプログラム
US7440010B2 (en) Image pickup device and image pickup method
JP2003134386A (ja) 撮像装置および撮像方法
JP2006094031A (ja) 撮像装置、画像処理方法及びプログラム
JP5561044B2 (ja) 撮像装置、撮像方法及びプログラム
JP2006094200A (ja) 撮像装置、合焦表示方法及びプログラム
JP2006186930A (ja) 撮像装置、画像処理方法及びプログラム
JP2004104222A (ja) 撮像装置
JP5332797B2 (ja) 撮像装置、撮像方法及びプログラム
JP2005347885A (ja) 撮像装置、撮影範囲調整方法及びプログラム
US20070053007A1 (en) Image signal processing device and image signal processing method
JP2013243733A (ja) 撮像装置、撮像方法及びプログラム
JP4791329B2 (ja) 画像処理装置、撮像装置及び画像処理方法
JP4590421B2 (ja) 撮像装置及び撮像方法
JP5115523B2 (ja) 撮像装置、撮影範囲調整方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160818

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170823

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180816

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190819

Year of fee payment: 7