KR100653562B1 - 메모리 디바이스와, 기록 방법 및 판독 방법 - Google Patents

메모리 디바이스와, 기록 방법 및 판독 방법 Download PDF

Info

Publication number
KR100653562B1
KR100653562B1 KR19990038608A KR19990038608A KR100653562B1 KR 100653562 B1 KR100653562 B1 KR 100653562B1 KR 19990038608 A KR19990038608 A KR 19990038608A KR 19990038608 A KR19990038608 A KR 19990038608A KR 100653562 B1 KR100653562 B1 KR 100653562B1
Authority
KR
South Korea
Prior art keywords
memory
pixel
data
banks
bank
Prior art date
Application number
KR19990038608A
Other languages
English (en)
Other versions
KR20000023062A (ko
Inventor
곤도데츠지로
오쿠무라아키히로
후지와라다카요시
Original Assignee
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시끼 가이샤 filed Critical 소니 가부시끼 가이샤
Publication of KR20000023062A publication Critical patent/KR20000023062A/ko
Application granted granted Critical
Publication of KR100653562B1 publication Critical patent/KR100653562B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Input (AREA)
  • Dram (AREA)
  • Static Random-Access Memory (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명의 데이터를 저장하기 위한 메모리 디바이스는 복수의 메모리 뱅크들을 갖는 메모리 수단과, 상기 복수의 메모리 뱅크들로부터 하나의 메모리 뱅크를 선택하고, 여기에 데이터를 기록하기 위한 기록 선택 수단과, 복수의 메모리 뱅크들로부터 2개 이상의 메모리 뱅크들을 선택하여 이로부터 데이터를 판독하기 위한 판독 선택 수단과, 이 판독 선택 수단으로부터 생성된 데이터를 선택하기 위한 데이터 선택 수단을 구비하고 있다. 각각 수평 방향과 수직 방향으로 원하는 개수의 화소들로 이루어지는 화상 데이터가 원하는 개수의 화상 데이터를 일시 저장하기 위한 라인 메모리를 사용하지 않고 얻어진다.
화상 처리, 메모리 뱅크, 판독 선택 수단, 라인 메모리, 화소

Description

메모리 디바이스와, 기록 방법 및 판독 방법{Memory device, and writing method and reading out method}
도 1은 본 발명이 적용되는 화상 처리 디바이스의 한 실시예의 예시적인 구조를 설명하기 위한 블록도.
도 2는 도 1에 도시된 메모리(2)의 부품인 뱅크 B1 내지 B18의 예시적인 구조를 나타내는 도면.
도 3은 화소 블록의 예시적인 구조를 나타내는 도면.
도 4는 메모리(2)에 화소 데이터를 맵핑하는 방법을 설명하는 도면.
도 5는 메모리(2)에 화소 데이터를 맵핑하는 방법을 설명하는 도면.
도 6은 메모리(2)에 화소 데이터를 맵핑하는 방법을 설명하는 도면.
도 7a 내지 도 7c는 메모리(2)의 부품인 각각의 뱅크에 화상을 맵핑하기 위한 방법을 설명하는 도면.
도 8a 내지 도 8c는 메모리(2)의 부품인 각각의 뱅크에 화상을 맵핑하기 위한 방법을 설명하는 도면.
도 9는 분류에 적합한 처리 회로(classification adaptive processing circuit)의 예시적인 구조를 설명하기 위한 블록도.
도 10은 도 9에 도시된 분류 회로(14)내에서의 처리를 설명하기 위한 도면.
도 11은 학습 디바이스(learning device)의 예시적인 구조를 설명하기 위한 블록도.
도 12는 통상적인 화상 처리 디바이스의 예시적인 구조를 설명하기 위한 블록도.
* 도면의 주요 부분에 대한 부호의 설명 *
1 : 뱅크 선택기 2 : 메모리
14 : 분류 회로 16 : 예측 탭 생성 회로
18 : 지연 회로 19 : ROM
삭제
삭제
삭제
삭제
삭제
발명의 분야
본 발명은 메모리 디바이스, 기록 방법 및 판독 방법에 관한 것으로, 특히 예를 들어, 요구되는 개수의 화상 데이터를 일시 저장하기 위한 라인 메모리를 사용하지 않고도, 수직 방향과 수평 방향에 각각 원하는 개수의 화소들로 이루어지는 화상 데이터를 얻기 위한 메모리 디바이스와, 이 메모리 디바이스에 데이터를 기록하고 판독하는 방법에 관한 것이다.
관련 기술의 설명
예를 들어, 화상의 코딩/디코딩의 표준인 MPEG(Moving Picture Experts Group)에서의 모션 검출 등의 화상 처리에서 현재의 프레임은 처리를 위한 일시 선행 프레임(temporally precedent)(과거) 또는 일시 후속(미래) 프레임과 비교된다.
도 12는 통상적인 화상 처리 디바이스의 예시적인 구조를 나타낸다. 현재 프레임의 화소가 어드레스되는 경우, 화상 처리 디바이스에서는 중심에서 현재 프레임의 어드레스된 화소에 대응하는 선행 프레임 화소를 갖는 48화소 × 48라인의 영역에 화소 데이터를 사용하여 상술한 동작 검출 등의 처리가 수행된다. 상술한 어드레스 화소의 처리(본 명세서에서는 48화소 × 48라인)를 수행하기 위해 요구되는 영역을 이하, 필요 영역(necessary area)라고 한다.
동화상인 디지털 화상 데이터의 성분인 화소 데이터가 예를 들어 하나의 프레임 메모리 용량을 갖는 프레임 메모리(101)에 연속적으로 공급되고, 예를 들어 라인 스캐닝의 순으로 저장된다. 프레임 메모리(101)에 저장된 화소 데이터는 스캐닝 순으로 판독되어 라인 메모리 유닛(102)에 공급된다.
라인 메모리 유닛(102)은 필요 영역의 라인(여기서는 48라인) 상에 로드되는 화소 데이터를 얻기 위해 필요 영역의 라인의 개수, 즉 47개의 라인 메모리 1021 내지 10247 의 개수와 동일한 개수의 라인 메모리들로 이루어지며, 프레임 메모리(101)로부터의 화소 데이터가 라인 메모리(102)에 공급되어 저장된다. 라인 메모리 유닛(102)에 저장된 화소 데이터는 화소 데이터가 연속적으로 공급될 때마다 우측으로 시프트된다. 어드레스된 화소 데이터가 라인 메모리(1021)에 공급되고 이어서 하나의 라인 화소 데이터가 공급되는 경우 특정 화소 데이터에 대해 어드레싱하면 어드레스된 화소 데이터는 라인 메모리1021 로부터 전송되어 다음 라인 메모리(1022)에 공급된다.
라인 메모리(1021)에서처럼, 라인 메모리(1022)에서는 라인 메모리(1022)로부터 공급되는 화소 데이터는 다음 라인 메모리(1023)에 한 라인씩 지연되어 공급된다. 마찬가지로 다음 라인 메모리(1023 내지 10247)에서 화소 데이터는 각각 한 라인씩 지연되어 다음 라인 메모리에 공급된다.
프레임 메모리(101)로부터 전송된 화소 데이터는 라인 메모리 유닛(102) 뿐만 아니라 2차원 병렬 어레이(two-dimensional parallel array)(103)에도 공급된다. 2차원 병렬 어레이(103)는 필요 영역의 성분인 수직 및 수평 화소 수로서 동일한 개수의 레지스터로 이루어지며, 이 경우 레지스터는 수평 및 수직 방향으로 즉, 48×48 레지스터가 각각 수직 및 수평 방향으로 배치되고, 프레임 메모리(101)로부터 전송된 화소 데이터는 2차원 병렬 어레이(103)의 제 1 행과 제 1 열의 레지스터에 공급되어 저장된다. 2차원 병렬 어레이(103)에서 제 1 행 제 1 열의 레지스터에 저장된 화소 데이터는 다음 화소 데이터가 연속적으로 공급될 때마다 다음 우측 레지스터로 시프트되고, 마지막으로 화소 데이터는 화소 데이터가 제 48 열 레지스터에 저장된 후에 삭제된다(제 47 열 레지스터에 저장된 화소 데이터가 제 48 열 레지스터로 시프트되는 경우, 제 48 열 레지스터에 저장된 화소 데이터가 소거된다).
라인 메모리(1021)로부터 전송된 화소 데이터는 다음 라인 메모리 유닛(1022) 뿐만 아니라 2차원 병렬 어레이(103)에도 공급된다. 2차원 병렬 어레이(103)에서 라인 메모리(1021)로부터의 화소 데이터는 제 2 행 제 1 열의 레지스터에 공급되어 저장된다. 제 2 행 제 1 열의 레지스터에 저장되는 화소 데이터는 다음 화소 데이터가 라인 메모리(102)로부터 공급될 때마다 연속적으로 다음 우측 레지스터로 연속적으로 시프트되고, 제 48 열 레지스터에 저장된 후 삭제된다.
라인 메모리(1022 내지 10247)로부터 전송된 각각의 화소 데이터는 2차원 병렬 어레이(103)에 공급되고, 2차원 병렬 어레이(103)에서, 라인 메모리 유닛(1022 내지 10247)로부터의 각각의 화소 데이터는 제 48 행 제 1 열에 대한 제 3 행 제 1 열의 각각의 레지스터에 공급되어 저장된다. 제 48 행 제 1 열에 대한 제 3 행 제 1 열의 레지스터에 저장된 각각의 화소 데이터는 다음 데이터가 라인 메모리(1022 내지 10247)로부터 공급될 때마다 우측 레지스터로 연속적으로 시프트되고, 제 48번째 레지스터에 저장된 후 삭제된다.
한편, 프레임 메모리(101)에 공급되는 화소 데이터는 라인 메모리(106)에도 공급된다. 라인 메모리(106)에서 입력 화소 데이터는 한 라인 지연되어 화상 처리 회로(105)에 공급된다.
도 12에 도시된 화상 처리 디바이스에 있어서, 화소 데이터는 시프팅시 프레임 메모리(101)로부터 판독되므로, 현재 프레임의 화소 데이터가 화상 처리 회로(105)에 공급되는 시점에 현재 프레임의 화소 데이터에 대응하는 선행 한 프레임의 화소 데이터의 48화소 × 48라인의 화소 데이터가 2차원 병렬 어레이(103)의 48 ×48레지스터에 저장되므로, 특정 화소 데이터가 화상 처리 회로(105)에 공급되는 경우, 화소 데이터의 필요 영역에 있어서의 화소 데이터가 저장된다.
화소 선택기(104)는 필요에 따라 2차원 병렬 어레이(103)에 저장되어 있는 화소 데이터 중에서 화상 처리 회로에 공급된 화소 데이터의 처리를 위해 화상 처리 회로(105)에서 사용될 부분 데이터를 선택하여 선택된 화소 데이터를 화상 처리 회로(105)에 공급한다.
화상 처리 회로(105)는 라인 메모리(106)로부터의 화소 데이터와 화상 선택기(104)로부터의 화소 데이터를 사용하여 모션을 검출하기 위한 미리 결정된 처리를 수행하고, 처리 결과를 전송한다.
현재 프레임의 각각의 화소 데이터가 도 12에 도시된 화상 처리 디바이스 내의 선행 프레임의 화소 데이터를 사용하여 처리되기 때문에 다음 프레임의 각각의 화소 데이터는 현재 프레임의 화소 데이터가 처리된 후에 현재 프레임의 화소 데이터를 사용하여 처리된다. 선행 프레임의 화소 데이터가 저장된 후에 현재 프레임의 화소 데이터가 프레임 메모리(101)에 공급됨에 따라 프레임 메모리(101) 내의 현재 프레임의 화소 데이터를 저장하여 다음 프레임의 화소 데이터를 처리할 필요가 있다.
그러나, 현재 프레임이 저장되는 어드레스에 저장된 선행 프레임의 화소 데이터는 현재 프레임의 화소 데이터가 프레임 메모리(101)에 저장되는 경우 삭제되기 때문에 선행 프레임의 화소 데이터는 어떠한 카운트치가 부가되지 않는 한 화소 데이터의 처리에 사용될 수 없다.
이러한 문제를 피하기 위해, 라인 메모리(102)가 도 12에 도시된 화상 처리 디바이스에 제공되며, 라인 메모리 유닛(102)에 필요 영역 -1의 라인 개수와 동일한 개수의 라인을 유지함으로써 실시간 화상 처리가 가능해진다.
그러나, 한 칩에(LSI(Large Scale Integration)) 도 12에 도시한 화상 처리 디바이스의 구조를 나타냄에 있어 실시간 처리가 수행되지 않는다면 필요하지 않은 라인 메모리 유닛(102)을 제공할 것이 요구되어 그 결과 칩 사이즈가 큰 칩이 요구된다. 즉, 필요 영역 내의 라인의 개수는 도 12의 48개이며, 필요 영역 내의 라인의 화소 데이터를 유지하기 위해 칩에 라인 메모리들을 47(48-1)개 내장할 필요가 있다.
칩에 내장되는 라인 메모리의 개수는 칩 사이즈가 제한된다면 제한된다. 더욱이, 일부 경우에는, 칩에 내장될 수 있는 라인 메모리의 개수는 칩의 레이아웃으로 인해 제한된다. 칩에 내장될 수 있는 라인 메모리들의 개수가 제한되는 경우에, 필요 영역 역시 제한되므로 그 결과 예를 들어 소위 서치 영역(search area) 역시 도 12에 도시한 화상 처리 디바이스가 모션 검출 또는 MPEG에서의 모션 보상을 매칭하기 위한 블록에 적용되는 경우에는 역시 제한된다.
더욱이, 한 프레임 화소 데이터를 저장할 수 있는 프레임 메모리(101)의 경우에도, 필요 영역 -1의 라인의 개수와 동일한 개수의 라인의 화소 데이터를 저장하기 위한 추가 라인 메모리가 제공되고, 상기 추가적인 내장(incorporation)은 낭비일 수도 있기 때문에 전력 소비의 관점에서 보아 바람직하지 못하다.
삭제
삭제
발명의 요약
본 발명에 있어서, 수평 방향과 수직 방향에서 원하는 개수의 화소로 이루어지는 화소 데이터는 예를 들어 요구되는 라인의 화상 데이터를 임시로 저장하기 위한 라인 메모리를 사용하지 않고도 얻어질 수 있다.
본 발명에서 설명되는 메모리 디바이스는 복수의 메모리 뱅크들을 갖는 메모리 수단과, 복수의 메모리 뱅크들로부터 하나의 메모리 뱅크를 선택하고 여기에 데이터를 기록하기 위한 기록 선택 수단과, 복수의 메모리 뱅크들로부터 다른 2개 이상의 메모리 뱅크들을 선택하여 이로부터 데이터를 판독하기 위한 판독 선택 수단, 및 판독 선택 수단으로부터 생성된 데이터를 선택하기 위한 데이터 선택 수단을 포함하고 있다.
본 발명에서 설명되는 기록 방법은 선택된 메모리 뱅크 내의 화상 데이터의 성분인 수평 화소 데이터를 기록하기 위한 기록 선택 수단이 복수의 메모리 뱅크들 중에서 하나의 메모리 뱅크를 선택하여 화소 데이터가 미리 결정된 화소 블록 유닛 내의 상기 복수의 각각의 메모리 뱅크들에 저장되고, 하나의 워드 라인(word line) 상의 메모리 셀 내의 화소 블록의 성분인 화소 데이터를 메모리 뱅크가 저장하는 방법이다.
본 발명에서 설명되는 판독 방법은 2개 이상의 메모리 뱅크들이 복수의 메모리 블록들로부터 데이터 판독을 위해 선택되고, 판독 데이터가 선택되어 출력되는 방법이다.
본 발명에서 설명되는 메모리 디바이스에서 메모리 수단에는 복수의 메모리 뱅크들이 제공된다. 기록 선택 수단은 상기 복수의 메모리 뱅크들로부터 하나의 메모리 뱅크를 선택하여 여기에 데이터를 기록한다. 판독 선택 수단은 복수의 메모리 뱅크들로부터 다른 2개 이상의 메모리 뱅크들을 선택하여 이로부터 데이터를 판독한다. 데이터 선택 수단은 판독 출력 선택 수단으로부터 공급되는 데이터를 선택한다.
본 발명에서 설명되는 기록 방법에서, 화상 데이터 성분인 수평 화소 데이터를 기록하기 위한 기록 선택 수단은 복수의 메모리 뱅크들로부터 하나의 메모리 뱅크를 선택하고, 따라서 화소 데이터는 미리 결정된 화소 블록 유닛 내의 복수의 각각의 메모리 블록에 저장되고, 메모리 블록은 하나의 워드 라인 상의 메모리 셀에 대한 화소 블록의 성분인 화소 데이터를 저장한다.
본 발명에서 설명되는 판독 방법은 2개 이상의 메모리 뱅크들이 복수의 메모리 뱅크들로부터 데이터 판독을 위해 선택되고, 판독 데이터가 선택되어 전송된다.
본 발명에서 설명되는 메모리 디바이스에 따르면, 하나의 메모리 뱅크는 메모리 수단의 복수의 메모리 뱅크들 중에서 선택되고, 데이터가 여기에 기록되며, 다른 2개 이상의 뱅크가 복수의 메모리 뱅크들 중에서 선택되어 데이터가 판독된다. 판독된 데이터가 선택된다.
본 발명에서 설명되는 기록 방법에 따르면, 복수의 메모리 뱅크들로부터 하나의 메모리 뱅크가 선택되어 화소 데이터가 미리 결정된 화소 블록 단위로 복수의 각각의 메모리 뱅크에 저장되고, 화소 블록의 성분인 화소 데이터가 메모리 뱅크의 1 워드 라인 상의 메모리 셀 내에 저장된다.
본 발명에서 설명되는 판독 방법에 따르면, 2개 이상의 메모리 뱅크들이 복수의 메모리 뱅크들로부터 선택되고 이에 따라 데이터가 판독되며 판독 데이터가 선택된다.
예를 들어, 수평 방향으로 즉 라인 스캐닝 순으로 지속적으로 공급되는 화상 데이터는 요구되는 개수의 라인의 화상 데이터를 일시적으로 저장하기 위한 라인 메모리를 사용하지 않고도 수직 방향으로 연속적인 화상 데이터로 변환되며, 바람직한 개수의 수평 및 수직 화소로 이루어지는 2차원 블록이 얻어진다.
본 발명과 관련된 다음의 선행 특허들이 본 발명의 출원인에 의해 참조되었다.
(1) 일본 특허 출원 제 H10-022172 호(US출원에 대응하며 현재 계류 중임)
(2) 일본 특허 출원 제 H10-032913 호(US출원에 대응하며 현재 계류 중임)
(3) 일본 특허 출원 제 H10-242773 호(US출원에 대응하며 현재 계류 중임)
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
바람직한 실시예들의 상세한 설명
도 1은 본 발명이 적용되는 화상 처리 디바이스의 일 실시예의 예시적인 구조를 나타낸다.
예를 들어, 화상 처리 디바이스에서, 48화소 × 48라인 영역은 중앙에서 현재 프레임의 어드레스된 화소에 대응하는 즉시 선행 프레임의 화소를 갖는 필요 영역으로서 검출되며, 처리는 필요 영역에서 화소 데이터를 사용하여 수행된다.
예를 들어, 직렬 8비트 데이터, 즉 동화상의 디지털 화상 데이터의 성분인 화소 데이터가 뱅크 선택기(1)(기록 선택 수단)와 처리 회로(7)에 라인 스캐닝 순으로 공급된다. 예를 들어 화상 데이터는 1920 수평 화소와 1080 수직 화소로 이루어지는 HD(High Density) 화상 데이터이다.
뱅크 선택기(1)는 메모리(2)의 부품인 뱅크(메모리 뱅크) B1 내지 B18로부터 연속적으로 하나의 뱅크를 선택하며, 여기에 공급된 HD 화상의 부품인 수평 화소 데이터가 선택된 하나의 뱅크에 기록된다.
메모리(2)(메모리 수단)에는 예를 들어 18M비트의 메모리 용량과 뱅크 스위칭 기능이 제공된다. 예를 들어 메모리(2)는 각각 18개의 1M 비트 뱅크 B1 내지 B18(복수의 메모리 뱅크들)를 가지고 있다. 본 실시예에서 1 프레임 HD 화상은 1920 ×1080 화소로 이루어지고, 하나의 화소 데이터는 8비트로 이루어지며, 용량은 16588800 ( = 1920 × 1080 × 8) 비트이다. 한편, 메모리(2)의 용량이 18M비트(= 18874368)이기 때문에 메모리(2)의 용량은 1 프레임 HD 화상 보다 큰 대략 2M 비트이다.
도 12에 도시된 화상 처리 디바이스와 마찬가지로, 도 1에 도시된 화상 처리 디바이스에 있어서, 수평 48 화소× 수직 48 화소의 화소 데이터는 필요 영역으로서 검출된다. 이러한 경우에 도 12, 47에 도시된 화상 처리 디바이스에 있어서, 라인 메모리(1021 내지 10247)는 앞서 설명한 바와 같이 라인 메모리 유닛(102)에 대해 요구된다. 본 명세서에서 앞서 설명한 바와 같이 수평 1920 화소 ×수직 1080 화소로 이루어지는 HD 화상이 도 1과 도 12에 도시된 화상 처리 디바이스에서 처리되는 것으로 하면, 라인 메모리 유닛(102) 내의 하나의 라인 메모리의 용량은 1920 × 8비트(8은 화소 데이터에 할당된 비트임)가 되어야 하므로, 47 라인 메모리에 대한 용량은 1920 × 8 × 47 비트 즉, 대략 800k 비트가 되어야 한다. 도 1에 도시된 화상 처리 디바이스의 메모리 용량은 1 프레임 HD 화상을 저장하기 위한 메모리 보다 큰 대략 2M 비트이고, 도 12에 도시된 화상 처리 디바이스의 메모리 용량은 1 프레임 HD 화상을 저장하기 위한 메모리 용량보다 큰 대략 800K 비트이다. 즉, 도 1에 도시된 화상 처리 디바이스는 1 프레임의 메모리 용량 외에 도 12에 도시된 화상 처리 디바이스의 용량 보다 대략 2.5배의 여유 메모리 용량을 갖는다.
그러나, DRAM은 이후, 설명하는 바와 같이 도 1에 도시된 화상 처리 디바이스 내의 메모리(2)의 부품인 뱅크 B1 내지 B18로 사용될 수도 있다. 한편, SRAM (Static RAM)은 도 12에 도시된 화상 처리 디바이스의 라인 메모리(1021 내지 10247)용으로 통상 사용된다. DRAM과 SRAM이 동일한 용량을 갖는 경우에는 SRAM의 칩 사이즈가 DRAM의 칩 사이즈 보다 대략 10 내지 20배 큰 것으로 알려져 있다. 따라서, 도 1에 도시된 화상 처리 디바이스의 여유 메모리 용량이 도 12에 도시된 화상 처리 디바이스의 여유 메모리 용량 보다 대략 2.5배 크다고 하더라도, 여유 메모리 용량으로 인한 도 1에 도시된 화상 처리 디바이스의 칩 사이즈의 증가는 도 12에 도시된 화상 처리 디바이스의 칩 사이즈의 증가에 비해 대략 1/4 내지 1/8이다. 그 결과, 도 1에 도시된 화상 처리 디바이스의 칩 사이즈는 도 12에 도시된 화상 처리 디바이스와 비교해서 최소화될 수 있다(여유 메모리 용량으로 인한 칩 사이즈의 증가는 감소됨).
뱅크 선택기(3)(판독 선택 수단)는 메모리(2)의 부품인 뱅크 B1 내지 B18중에서 7개의 뱅크를 연속적으로 선택하고, 이 선택된 7개의 뱅크로부터 HD 화상 성분인 수직 화소 데이터를 판독한다. 64개의 비트 데이터가 각각의 뱅크 B1 내지 B18로부터 동시에 기록/판독될 수 있다. 따라서, 본 발명에 있어서 1화소 데이터는 8비트로 이루어지고, 8-화소(= 64/8) 화소 데이터는 동시에 각각의 뱅크 B1 내지 B18로부터 판독되고, 전체 56개의 화소( = 7 × 8) 화소 데이터(7 × 8 × 8 비트 데이터)가 동시에 판독된다.
뱅크 선택기(3)으로부터 전송된 56-화소의 화소 데이터는 로드/시프트 회로(4)에 공급된다. 로드/시프트 회로(4)(데이터 선택 회로)는 뱅크 선택기(3)으로부터 전송된 56개의 화소 데이터 중에서 필요 영역의 데이터로서 라인의 개수와 동일한 화소 데이터를 선택한다. 즉, 48화소의 화소 데이터가 선택되어 2차원 병렬 어레이(5)에 공급된다.
2차원 병렬 어레이(5)는 도 12에 도시된 2차원 병렬 어레이와 유사한 필요 영역을 구성하는 화소로서 동일한 방식으로 배열되는 레지스터를 구비하고 있다. 즉, 2차원 병렬 어레이(5)는 수평 및 수직 방향으로 각각 48개의 레지스터를 구비하고 있다. 2차원 병렬 어레이(5)는 제 1 행 제 1 열 레지스터로부터 48개의 화소 데이터를 48번째행 제 1 열 레지스터에 각각 저장하고, 그후, 새로운 48 화소 데이터가 로드/시프트 회로(4)로부터 공급될 때마다, 각각의 레지스터에 저장되어 있는 화소 데이터는 다음 레지스터로 시프트된다.
화소 선택기(6)는 도 12에 도시된 화소 데이터(104)와 유사하게 2차원 병렬 어레이(5)에 저장되는 필요 영역 내의 화소 데이터 중에서 처리 회로(7)에 공급될 화소 데이터를 처리하기 위해 사용되는 화소 데이터를 선택하고, 이 선택된 화소 데이터를 처리 회로(7)에 공급한다. 처리 회로(7)는 뱅크 선택기(1)에 공급되는 화소 데이터와 화소 선택기(6)에 공급되는 화소 데이터를 사용하여 상술한 처리를 수행하고, 그 처리 결과를 생성한다.
다음에, 도 2는 도 1에 도시된 메모리(2)의 부품인 뱅크 B#i(i = 1,2,...,18)의 예시적인 구조를 나타낸다.
뱅크 B#i는 예를 들어, 16K(kilo) ×64비트 DRAM으로 이루어지며, 따라서, 그 데이터는 본 발명에서 64비트 유닛(입력 출력(I/O))으로 상세하게는 8(= 64/8) 화소 유닛으로 판독/기록될 수 있다. 더욱이, 뱅크 B#i의 행 어드레스와 열 어드레스는 각각 8비트 또는 6비트를 갖는 것으로 표시되며, 소위 페이지 모드 기능이 제공된다.
뱅크 B#i의 행 어드레스는 8비트를 갖는 것으로 표시되므로 256 라인을 갖는다. 4096(= 16k × 64비트/256) 메모리 셀(도 2의 이중 라인 스퀘어로 표시됨)은 각각의 워드 라인에 제공된다. 화소 데이터는 본 명세서에서 앞서 설명한 바와 같이 8비트로 이루어지기 때문에 1 워드 라인 상의 메모리 셀은 512(= 4096/8)개의 화소 데이터를 저장한다.
다음에, 도 1에 도시된 화상 처리 디바이스의 동작을 설명한다.
처리될 화소 데이터는 예를 들어 소위 라인 스캐닝 순으로 뱅크 선택기(1)와 처리 회로(7)에 공급되며, 뱅크 선택기(1)는 메모리(2)의 부품인 뱅크 B1 내지 B18중에서 연속적으로 1뱅크를 선택하고, 여기에 공급되는 HD 화상의 성분인 수평 화소 데이터를 선택된 뱅크에 기록한다.
즉, 뱅크 선택기(1)는 뱅크 B1 내지 B18 중에서 연속적으로 하나씩 뱅크를 선택하므로 HD 화상의 성분인 화소 데이터가 미리 결정된 화소 블록 유닛 내의 각각의 뱅크 B1 내지 B18에 저장된다.
화소 블록은 뱅크 B#i의 1 워드 라인 상의 메모리 셀에 저장될 수 있는 화소 수로서 동일한 개수의 화소로 이루어진다(본 실시예에서는 도 2를 참조하여 설명되는 바와 같이 512 화소). 더욱이, 화소 블록의 수직 화소 수는 뱅크 B#i내에 동시에 판독/기록되는 화소 수와 동일하다(도 2를 참조하여 도시된 바와 같이 본 실시예에서는 8화소). 따라서, 화소 블록은 도 3에 도시한 바와 같이 512개의 화소로 이루어지며, 수직 화소들의 수는 8 화소이다. 화소 블록의 수평(측면) 화소 수는 64(= 512/8) 화소이다.
뱅크 선택기(1)에 의해 선택되는 뱅크 B#i는 하나의 워드 라인 상에 메모리 셀 내의 하나의 화소 데이터를 구성하는 512화소 데이터를 저장한다. 더욱이, 이때 화소 데이터는 화소 블록(도 3)의 모든 수직 화소들 즉, 수직 방향으로 배열된 8개 화소의 화소 데이터 전체가 동시에 판독된다.
더욱이, 뱅크 선택기(1)는 HD 화상의 인접하는 화소 블록이 또 다른 뱅크에 저장되도록 복수의 뱅크 B1 내지 B18중에서 한 뱅크를 선택한다. 구체적으로는 뱅크 선택기(1)는 HD 화상의 수평 방향에 인접한 화소 블록들이 교대로 2개의 뱅크에 저장되고, HD 화상의 수직 방향으로 인접하는 화소 블록들이 주기적으로 9개의 뱅크에 저장되도록 복수의 뱅크 B1 내지 B18 중에서 한 뱅크를 선택한다.
그 결과로서, 수평 1920 화소들과 수직 1080 화소들로 이루어지는 HD 화상이 예를 들어 도 4에 도시한 바와 같이 각각이 뱅크 B1 내지 B18에 맵핑된다.
구체적으로는, HD 화상의 상부 좌측 코너에 위치한 제 1 행 제 1 열 화소 블록은 뱅크 B1에 저장되고, 제 1 행 제 1 열 화소 블록 바로 아래에 인접한 제 2 행 제 1 열 화소 블록은 뱅크 B2에 저장된다. 더욱이, 제 2 행 제 1 열 화소 블록 바로 아래에 인접한 제 3 행 제 1 열 화소 블록은 뱅크 B3에 저장되고, 마찬가지로 계속해서, 상부 화소(top pixel)로부터 72번째 화소까지의 화소를 포함하는 제 4 행 제 1 열 내지 제 9행 제 1 열의 잔여 화소 블록들(residual pixel blocks)이 뱅크 B4 내지 B9에 각각 저장된다.
삭제
삭제
삭제
좌로부터 65번째 내지 128번째의 화소와, HD 화상의 제 1 행 제 1 열 화소 블록에 인접하게 우측에 위치하는, 위로부터 첫 번째 내지 8 번째까지의 화소로 이루어지는 제 1 행 제 2 열 화소 블록은 뱅크 B10에 저장되고, 제 1 행 제 2 열 화소 블록 바로 아래에 인접하는 제 2 행 제 2 열 화소 블록은 뱅크 B11에 저장된다. 더욱이, 제 2 행 제 2 열 화소 블록 바로 아래에 인접하게 위치하는 제 3 행 제 2 열 화소 블록은 뱅크 B12에 저장되고, 마찬가지로 계속해서, 상부 화소로부터 72번째 화소까지의 화소를 포함하는 제 4 행 제 2 열 내지 제 9 행 제 2 열의 잔여 화소 블록이 뱅크 B13 내지 B18에 각각 저장된다.
제 1 열 10행 화소 블록과 다음의 화소 블록은 제 1 행 제 1 열 내지 제 9행 제 1 열의 화소 블록과 마찬가지로 뱅크 B1 내지 B9에 동기하여 저장되고, 제 2 열 10행 화소 블록과 다음의 화소 블록은 제 1 행 제 2 열 내지 제 9 행 제 2 열의 화소 블록과 마찬가지로 뱅크 B10 내지 B18에 동기하여 저장된다. 더욱이, 제 3 열의 화소 블록들은 제 1 열의 화소 블록과 마찬가지로 뱅크 B1 내지 B9에 저장되고, 제 4 열의 화소 블록은 제 2 열의 화소 블록과 마찬가지로 뱅크 B10 내지 B18에 저장된다. 각각의 열의 잔여 화소 블록은 마찬가지로 뱅크 B1 내지 B18에 저장된다.
즉, HD 화상의 기타 화소 데이터는 참조 맵핑 패턴으로서 HD 화상의 상부 좌측 코너에서 상부 화소를 갖는 수평 128 화소와 수직 72 화소로 영역 화소 데이터가 이루어지는 맵핑 패턴을 이용하여 각각의 뱅크 B1 내지 B18에 맵핑된다.
그 결과, HD 화상 내의 수평 방향의 화소 블록에 관심을 갖는 경우, 각 행의 화소 블록은 교대로 2개의 뱅크에 저장되고, HD 화상 내의 수직 방향의 화소 블록에 관심을 갖는 경우, 각 열의 화소 블록은 주기적으로 9개의 뱅크들에 저장된다.
예를 들어, 제 1 프레임의 HD 화상이 도 4에 도시한 바와 같이 메모리(2)에 맵핑되는 경우, 제 2 프레임의 HD 화상은 예를 들어 도 5에 도시한 바와 같이 맵핑된다.
즉, 제 2 프레임의 상부 좌측 코너에 위치한 제 1 행 제 1 열 화소 블록은 뱅크 B5에 저장되고, 제 1 행 제 1 열 화소 블록의 바로 아래에 인접한 제 2 행 제 1 열 화소 블록은 뱅크 B6에 저장된다. 더욱이, 제 2 행 제 1 열 화소 블록 바로 아래에 인접한 제 3 행 제 1 열 블록은 뱅크 B7에 저장되고, 마찬가지로 계속해서, 상부 화소로부터 72번째 화소까지의 화소를 포함하는 제 4 행 제 1 열 내지 제 9 행 제 1 열의 잔여 화소 블록은 각각 뱅크 B8, B9, B1, B2, B3 및 B4에 저장된다.
HD 화상의 제 1 행 제 1 열 화소 블록에 인접하게 우측에 위치한 좌로부터 65번째 내지 128번째의 화소와 위로부터 제 1 내지 8번째의 화소로 이루어지는 제 1 행 제 2 열 화소 블록은 뱅크 B14에 저장되고, 제 1 행 제 2 열 블록 바로 아래에 인접하는 제 2 행 제 2 열 화소 블록은 뱅크 B15에 저장된다. 더욱이, 제 2 행 제 2 열 화소 블록 바로 아래에 인접하는 제 3 행 제 2 열 화소 블록은 뱅크 B16에 저장되고, 마찬가지로 계속해서, 상부 화소로부터 72번째 화소까지의 화소를 포함하는 제 4 행 제 2 열 내지 제 9 행 제 2 열의 잔여 화소 블록은 각각 뱅크 B17, B18, B10, B11, B12 및 B13에 저장된다.
제 1 열 제 10행 화소 블록과 이어지는 화소 블록은 뱅크 B5 내지 B9에 동기적으로 저장되고, B1 내지 B4는 마찬가지로 제 1 행 제 1 열 내지 제 9행 제 1 열의 화소 블록에 저장되며, 제 2 열 제 10행 화소 블록과 이어지는 화소 블록들은 뱅크 B14 내지 뱅크 B18에 그리고, 제 1 행 제 2 열 내지 제 9행 제 2 열의 화소 블록과 마찬가지로 B10 내지 B13에 동기적으로 저장된다. 더욱이, 제 3 열의 화소 블록은 뱅크 B5 내지 B9에 저장되고, 제 1 열의 화소 블록과 마찬가지로 B1 내지 B4에 저장되며, 제 4 열의 화소 블록은 제 2 열의 화소 블록과 마찬가지로 뱅크 B14 내지 B18과 B10 내지 B13에 저장된다. 각 열의 나머지 화소 블록은 마찬가지로 뱅크 B14 내지 B18과 B10 내지 B13에 저장된다.
즉, 제 2 프레임은 열 방향(하향)으로 제 1 프레임의 맵핑 패턴을 시프트시키는 4개의 화소 블록으로 맵핑된다.
제 3 프레임은 도 6에 도시한 바와 같이 열 방향으로 제 2 프레임의 맵핑 패턴을 시프트시키는 4개의 화소 블록으로 맵핑된다. 마찬가지로 계속해서 제 4 프레임과 이어지는 프레임들은 열 방향으로 인접 선행 프레임의 맵핑 패턴을 시프트시키는 4개의 화소 블록에 의해 계속해서 맵핑된다.
한편, 뱅크 선택기(3)(도 1)는 메모리(2)의 부품인 뱅크 B1 내지 B18중에서 7개의 뱅크를 연속적으로 선택하고, 이 선택된 7개의 뱅크로부터 HD 화상의 성분인 수직 화소 데이터가 판독된다.
구체적으로는 뱅크 선택기(3)는 뱅크 선택기(1)가 현재 기록하려고 하고 있는 현재 프레임의 화소 데이터와 중심 화소 블록 바로 위 아래에 각각 인접하게 위치하고 있는 한 쌍의 3 화소 블록을 갖는 화소 블록에 대응하는 선행 프레임의 한 화소 블록으로 이루어지는 전체 7화소 블록들이 기록되는 7개의 뱅크를 선택한다. 선택된 7개의 뱅크로부터 HD 화상의 성분인 동일 열의 화소 데이터가 판독된다.
삭제
구체적으로는, 예를 들어, 제 1 프레임의 HD 화상이 도 4에 도시된 바와 같이 메모리(2)에 저장되고 제 2 프레임의 HD 화상이 공급되기 시작한다. 예를 들어 제 25행 30열 화소 데이터에 관심이 있는 경우, 화소 데이터는 도 5에 도시된 바와 같이 제 4 행 제 1 열 화소 블록에 속하기 때문에 화소 데이터는 뱅크 선택기(1)에 의해 선택되는 뱅크 B8에 기록된다.
한편, 선택기(3)에서는, 제 2 프레임의 제 25행 30열 화소 데이터를 가지는 화소 블록에 대응하는 제 1 프레임의 한 화소 블록과 대응 중심 화소 블록 바로 위와 아래에 각각 인접하게 위치하는 한 쌍의 3화소 블록으로 이루어지는 전체 7화소 블록 즉, 제 1 프레임의 제 1 행 제 1 열 내지 제 7 행 1열의 각각의 화소 블록이 선택된다. 뱅크 선택기(3)는 뱅크 B1 내지 B7로부터 제 1 행 제 1 열 내지 제 2 행 제 1 열의 각각의 화소 블록의 수직 화소 데이터를 판독한다.
구체적으로는, 본 명세서에서 상술한 바와 같이, 하나의 워드 라인 상의 8화소 데이터가 동시에 각각의 뱅크 B1 내지 B18로부터 판독되고, 뱅크 선택기(3)는 제 1 프레임의 제 1 행 제 1 열 내지 제 7 행 제 1 열의 각각의 화소 블록의 동일 열의 8화소를 뱅크 B1 내지 B7로부터 판독한다. 그 결과, 뱅크 선택기(3)는 여기에 저장되어 있는 HD 화상의 수직 방향에 연속하는 56 화소(= 8화소 × 7뱅크)를 메모리(2)로부터 판독한다.
본 실시예에서, 뱅크는 화소 데이터가 저장되는 경우, HD 화상의 수직 방향에 인접한 화소 블록이 9개의 뱅크에 주기적으로 저장되도록 선택된다. 그 결과, 메모리(2)에 저장된 HD 화상의 수직 방향에 인접한 각각의 임의의 7개의 화소 블록이 서로 상이한 뱅크들에 항상 저장되기 때문에 7개의 화소 블록의 동일한 임의의 열의 56개의 화소는 뱅크 스위칭에 의해 신속하게 판독될 수 있다.
뱅크 선택기(3)에서는 뱅크 선택기(1)이 기록하는 화소 데이터의 필요 영역을 구성하기 위한 화소 데이터가 상기한 56개의 화소 유닛 내의 메모리(2)로부터 판독된다.
구체적으로는, 이 경우에 있어서, 제 2 프레임의 제 25 행 제 30 열 화소 데이터가 기록되기 때문에 이 화소 데이터의 필요 영역은 중심에서 제 1 프레임의 제 25행 제 30열 화소 데이터를 가지는 수평 48 화소와 수직 48 화소의 영역이다. 뱅크 선택기(3)에서, 동일열에 배열되는 56개의 화소들은 제 1 프레임의 제 25행 제 30열 화소 데이터를 가지는 하나의 화소 블록과 본 명세서에서 상술한 바와 같이 제 25행 제 30 열 화소 데이터를 가지는 화소 블록 바로 위 아래에 각각 위치하는 한 쌍의 3화소 블록으로 이루어지는 전체 7개의 화소 블록으로부터 판독되며, 뱅크 선택기(3)로부터 전송된 화소 데이터는 열 방향으로 필요 영역을 이루기 위한 화소 데이터를 포함하고 있다.
따라서, 행 방향에 대해서는, 뱅크 선택기(3)는 상술한 동일 열 상에 배열되는 56개의 화소 중에서 제 1 프레임의 제 25행 제 30 열 화소 데이터를 가지는 48개의 열만을 연속적으로 판독한다. 그 결과, 뱅크 선택기(3)에서는, 제 1 프레임의 제 25 행 제 30 열 화소 데이터를 가지는 하나의 화소 블록과, 제 1 프레임의 제 25 행 제 30 열 화소 데이터를 가지는 48 열에 의해 특정되는 제 25 행 제 30 열 화소 데이터를 가지는 화소 블록 바로 위 아래에 각각 위치하는 한 쌍의 3화소 블록들로 이루어지는 전체 7개의 화소 블록을 덮는 56개의 행으로 특정되는, 56 행 48 열의 영역에서 제 1 프레임의 화소 데이터가 판독되기 때문에 화소 데이터는 제 2 프레임의 제 25 행 제 30 열 화소 데이터를 위한 필요 영역만을 포함하고 있다.
중앙에서 제 1 프레임의 제 25 행 제 30 열 화소 데이터를 가지는 48개의 열이 제 6 열 내지 제 53 열(또는 제 7 열 내지 제 54 열)의 열이기 때문에, 제 48 열은 제 1 프레임의 제 25행 제 30 열을 가지는 하나의 화소 블록과, 제 25 행 제 30 열 화소 데이터를 가지는 화소 블록 위에 위치하는 한 쌍의 3 화소 블록과, 제 25 행 제 30 열 화소 데이터를 가지는 화소 블록 아래에 위치하는 3개의 화소 블록 즉, 제 1 프레임의 제 1 행 제 1 열 내지 제 7 행 제 1 열로 이루어지는 전체 7개의 화소 블록에 포함된다.
그러나, 예를 들어, 제 2 프레임의 제 25행 제 64열 화소 데이터가 기록되는 경우에는, 화소 데이터의 필요 영역이 중심에서 제 1 프레임의 제 25행 제 64열 화소 데이터를 가지는 수평 48 화소 수직 48 화소로 된 영역이기 때문에, 제 1 프레임의 제 25행 제 64열 화소 데이터를 가지는 한 화소 블록과 제 25행 제 64열 화소 데이터를 가지는 화소 블록 바로 위와 아래에 각각 위치하는 한 쌍의 3화소 블록 즉, 제 1 프레임의 제 1 행 제 1 열 내지 제 7 행 제 1 열의 화소 블록으로 이루어지는 전체 7개의 화소 블록으로부터 우측으로 기록이 오버플로우된다. 즉, 제 2 프레임의 제 25 행 제 64 열 화소 데이터를 위한 필요 영역은 제 1 프레임의 제 1 행 제 1 열 내지 제 7 행 제 1 열의 각각의 화소 블록에 인접하게 위치하는 제 1 행 제 2 열 내지 제 7 행 제 2 열의 화소 블록으로 연장한다.
이 경우에, 뱅크 선택기(3)는, 제 1 프레임의 제 1 행 제 1 열 내지 제 7 행 제 1 열의 각각의 화소 블록인 뱅크 B1 내지 B7(도 4)를 선택하고, 제 2 프레임의 제 25행 제 64열 화소 데이터를 위한 필요 영역을 구성하는 화소 데이터를 판독하고, 이어서 우측으로 인접한 제 1 프레임 내의 제 1 행 제 2 열 내지 제 7 행 제 2 열의 각각의 화소의 블록인 뱅크 B10 내지 B16(도 4)을 선택하고, 제 2 프레임의 제 25행 제 64열 화소 데이터를 위한 필요 영역을 구성하는 화소 데이터를 판독한다.
이때, 뱅크는, 화소 데이터가 기록되는 경우, HD 화상 상에서 서로 수평으로 인접한 화소 블록들이 2개의 뱅크에서 교대로 저장되기 때문에, 서로 인접하는 2개의 화소 블록의 화소 데이터가 본 명세서에서 설명한 바와 같이 판독되는 경우에도 선택된다.
즉, 특정 뱅크에서 어드레스됨과 동시에 연속 데이터가 판독/기록되는 경우에도, 이 데이터는 판독/기록될 메모리 셀의 워드 라인이 상이하다면 워드 라인을 스위치할 특정 주기를 갖기 때문에, 데이터를 판독/기록하기 위한 시간의 양은 동일 워드 라인 상의 메모리 셀이 어드레스되는 경우에 비해 더 길다. 이러한 문제를 피하기 위해 본 실시예에서는 하나의 화소 블록을 구성하는 화소 데이터가 뱅크의 하나의 워드 라인 상의 메모리 셀에 저장됨으로써 도 2와 도 3을 참조하여 설명되는 바와 같이 데이터를 판독/기록하기 위한 시간을 줄일 수 있다.
구체적으로는, 예를 들어, 제 1 행 제 1 열 화소 블록의 우측에 인접하게 배치되는 제 1 행 제 2 열 화소 블록이 제 2 메모리로부터 제 1 행 제 1 열 화소 블록으로 순차적으로 판독되는 경우, 연속적으로 판독될 이들 2개의 화소 블록이 동일 뱅크에 저장된다면 워드 라인의 스위칭으로 인한 판독 시간 지연이 초래된다.
한편, 도 4에서, 제 1 행 제 1 열 화소 블록이 뱅크 B1에 저장되고, 제 1 행 제 1 열 화소 블록의 우측에 인접하게 위치한 제 1 행 제 2 열 화소 블록이 뱅크 B2에 저장된다. 따라서, 제 1 행 제 1 열 화소 블록이 판독되고, 이어서 우측으로 인접하게 위치한 제 1 행 제 2 열 화소 블록이 순차적으로 판독되는 경우, 이들 2개의 화소 블록은 상이한 각각의 뱅크에 저장되기 때문에, 제 1 행 제 1 열 화소 블록이 저장되고 제 1 행 제 2 열 화소 블록이 저장되는 뱅크 B1과는 서로 상이한 뱅크 2의 메모리 셀 상의 워드 라인을, 제 1 행 제 1 열 화소 블록의 판독이 완료되기 전에 구동하는 것이 가능해진다. 그 결과 워드 라인의 스위칭으로 인한 판독 시간 지연이 방지된다.
다음에, 예를 들어, 제 2 프레임의 제 25행 제 30열 화소 데이터에 주목한 경우, 뱅크 B8이 선택되어 본 명세서에서 상술한 바와 같이 뱅크 선택기(1)에 기록된다. 더욱이, 동시에 뱅크 선택기(3)는 제 2 프레임의 제 25행 제 30열 화소 데이터를 위한 필요 영역을 얻기 위해 뱅크 B1 내지 B7로부터 화소 데이터를 판독한다.
실시간 처리를 확보하기 위해, 동시에 화소 데이터의 판독/기록을 수행할 필요가 있다. 본 실시예에서는 제 2 프레임의 제 25행 제 30열 화소 데이터의 기록이 뱅크 B8을 대상으로 하고, 필요 영역을 얻기 위해 화소 데이터의 판독이 뱅크 B1 내지 B7을 대상으로 한다. 즉, 화소 데이터의 기록과 판독이 각각의 상이한 뱅크를 대상으로 하여 수행되고, 기록 및 판독이 동시에 수행될 수 있다.
다음에, 예를 들어, 제 2 프레임의 기타 화소 데이터를 위한 필요 영역을 구성하는 제 1 프레임의 화소 데이터가, 제 2 프레임의 상부 좌측 코너에 위치한 제 1 행 제 1 열 화소 데이터가 기록되는 뱅크 B5(도 4)에 저장되기 때문에, 제 1 프레임의 화소 데이터가 유지되는 한, 필요 영역을 구성하는 제 2 프레임의 화소 데이터의 기록이 제 1 프레임의 화소 데이터의 사용에 의해 완료될 때까지 처리는 수행될 수 없다.
즉, 제 1 프레임의 제 5 행 제 1 열 화소 블록이 도 4에 도시된 바와 같이 뱅크 B5에 먼저 저장되고, 이 화소 블록은 처리 순서에서 가장 먼저 무시된다. 도 4에 도시된 제 1 프레임의 제 5 행 제 1 열 화소 블록이 도 5에 도시한 제 2 프레임의 제 8행 제 1 열 화소 블록에 위치하기 때문에, 제 1 프레임의 제 5 행 제 1 열 화소 블록은 제 2 프레임의 제 8행 제 1 열 화소 블록의 화소 데이터를 위한 필요 영역을 구성하는 화소 데이터를 갖는다. 따라서, 제 2 프레임의 제 8행 제 1 열을 구성하는 화소 데이터의 기록이 완료할 때까지 메모리(2)에 제 5 행 제 1 열 화소 블록을 유지할 필요가 있다.
예를 들어, 라인 스캐닝의 순으로 공급되는 제 2 프레임의 제 8행 화소 블록의 기록이 완료될 때까지 제 1 프레임의 제 5 행 제 1 열 화소 블록이 유지된다면, 제 1 프레임의 제 5 행 제 1 열 화소 블록이 유지되는 동안 저장되는 뱅크 5(도 4)에는 도 5에 도시한 바와 같이 제 2 화소 블록마다 제 2 프레임의 제 1 행 화소 블록을 기록할 필요가 있다.
본 실시예에서, 1 프레임 HD 화상은 1920 수평 화소와 1080 수직 화소로 이루어지고, 1 화소 블록은 64개의 수평 화소와 8개의 수직 화소로 이루어진다. 따라서, 1 프레임 HD 화상을 저장하기 위해 30(= 1920/64) 수평 화소 블록과 135(= 1080/8) 수직 화소 블록을 갖도록 할 필요가 있다.
제 2 프레임의 화소 블록의 제 1 행을 구성하는 화소 블록의 개수는 30이고, 따라서, 제 1 행 화소 블록의 개수의 절반인 15 화소 블록이 뱅크 B5에 기록된다.
본 명세서에서 상술한 바와 같이, 제 2 프레임의 화소 데이터를 기록함으로써 제 1 프레임의 기록 후에,15개 화소 블록 자유 용량이 이용가능하다면, 제 2 프레임의 제 8행 화소 블록의 기록이 완료할 때까지 제 1 프레임의 제 5 행 제 1 열 화소 블록을 유지하는 것이 가능하다.
본 명세서에서 이상 설명한 바와 같이, 30 × 135 화소 블록의 메모리 용량이 1 프레임 HD 화상을 저장하기 위해 요구되는 것은 명백하다. 본 실시예에서, 메모리(2)는 18개의 뱅크를 포함하고, 1 프레임 HD 화상 데이터가 메모리(2)의 각각의 뱅크(18)에 마찬가지로 저장되고, 이어서 30 × 125/18 = 225 화소 블록의 데이터가 각각의 뱅크에 저장된다.
한편, 메모리(2)의 성분인 각각의 뱅크는 도 2에 도시한 바와 같이 256개의 워드 라인을 가지며, 각각의 워드 라인은 1화소 블록에 대응하므로, 각각의 뱅크는 256 화소 블록을 갖는다. 따라서, 1 프레임 HD 화상이 메모리(2)에 저장되는 경우, 256-225=31 블록들의 자유 용량이 각각의 블록에서 이용 가능하다.
본 명세서에서 상술한 바와 같이, 뱅크 B5는 제 2 프레임의 15 화소 블록을 기록하는데 충분한 자유 용량을 가지며, 이는 제 2 프레임의 제 8행 화소 블록의 기록이 완료할 때까지 제 1 프레임의 제 5 행 제 1 열 화소 블록을 유지하도록 제 2 프레임의 화소 데이터를 기록함으로써 가능하다. 그 결과, 화소 데이터의 기록과 판독은 처리의 실패없이 동시에 수행될 수 있다.
이상은 다른 뱅크에 대해서도 마찬가지이다. 더욱이, 예를 들어 뱅크 B5 내에 저장된 제 1 프레임의 제 5 행 제 1 열 화소 블록은 본 명세서에서 설명하는 경우의 제 2 프레임의 제 8행 화소 블록의 기록 완료 후, 무시되므로, 제 1 프레임의 제 5 행 제 1 열 화소 블록이 저장되는 뱅크 B5의 메모리 셀에 제 2 프레임의 화소 데이터를 저장하는 것이 가능해진다.
본 명세서에서 설명된 바와 같이 처리에 대한 장애가 없이 화소 데이터의 기록과 판독이 동시에 수행되는 경우 메모리(2)에 어드레스를 제공하는 방법이 본 발명의 출원인에 의해 미리 적용된 일본 특허 출원 평10-32913호에 상세히 설명되어 있다.
뱅크 선택기(3)(도 1)에 의해 생성된 56-화소 화소 데이터가 로드/시프트 회로(4)에 공급된다. 로드/시프트 회로(4)는 뱅크 선택기(3)에 의해 생성된 56-화소 화소 데이터 중에서의 필요 영역의 수직 성분을 구성하는 화소 데이터만을 선택한다. 즉, 48-화소 화소 데이터가 선택되어 2차원 병렬 어레이(5)에 공급된다.
현재 프레임의 특정 화소 데이터가 도 1에 도시된 화상 처리 디바이스에 공급되는 경우, 동일 열에 배열된 56 화소들은 현 프레임의 화소 데이터에 대응하는 메모리(2)에 이미 저장되어 있는 화소 데이터를 갖는 하나의 화소 블록과 메모리(2)에 이미 저장되어 있는 중앙 화소 블록 바로 위에 각각 위치하는 한 쌍의 3화소 블록으로 이루어지는 전체 7개의 화소 블록으로부터 판독되고, 뱅크 선택기(3)에 의해 생성된 화소 데이터는 본 명세서에서 설명된 바와 같이 열 방향으로 현 프레임의 화소 데이터를 위한 필요 영역을 구성하기 위한 화소 데이터를 포함한다. 로드/시프트 회로(4)는 뱅크 선택기(3)에 의해 생성된 56-화소 화소 데이터 중에서 필요 영역의 수직 성분을 구성하기 위해 화소 데이터만을 선택할 수 있다.
2차원 병렬 어레이(5)에서, 로드/시프트 회로(4)로부터 공급되는 48 화소 데이터는 도 12에 도시된 2차원 병렬 어레이(103)와 유사하게 제 1 행 제 1 열 내지 제 48행 제 1 열의 각각의 레지스터에 저장되고, 이어서, 새로운 48개의 화소 데이터가 공급될 때 마다 각각의 레지스터에 저장된 화소 데이터는 인접 우측 레지스터로 연속해서 이동된다. 이상 설명한 바와 같이, 2차원 병렬 어레이(5)는 뱅크 선택기(1)에 공급된 화소 데이터를 위한 필요 영역을 구성하는 화소 데이터를 저장한다.
더욱이, 화소 선택기(6)는 2차원 병렬 어레이(5)에 저장되고, 도 12에 도시한 화소 선택기 104와 유사한 처리 회로(7)에 선택된 화소 데이터가 공급되는 필요 영역 내의 화소 데이터 중에서 처리 회로(7)에 공급되는 화소 데이터를 처리하기 위해 사용될 수 있는 화소 데이터를 적절히 선택한다. 처리 회로(7)는 뱅크 선택기(1)에 공급되는 화소 데이터와 화소 선택기(6)로부터 공급되는 화소 데이터를 이용하여 미리 결정된 처리를 수행하고, 처리 결과를 전송한다.
다음에, 도 7a 내지 도 7c와 도 8a 내지 도 8c를 참조하여, 메모리(2)의 부품인 뱅크에 화상을 맵핑하기 위한 방법을 설명한다.
도 7a에 도시한 바와 같이, 어드레스된 1 프레임 화소 데이터를 구성하는 수직 방향과 수평 방향의 화소 수가 각각 a 와 b 로 표시된다. 더욱이, 도 7b에도시된 바와 같이, 하나의 뱅크에 저장될 수 있는 화소 수는 c로 표시되고, 뱅크의 워드 라인 상의 메모리 셀에 저장될 수 있는 화소 수는 d로 표시되며, 뱅크가 동시에 판독할 수 있는 화소 수는 e로 표시된다. 더욱이, 도 7c에 도시한 바와 같이, 필요 영역의 화소 수는 수직 방향의 f와 수평 방향의 g로 표시된다.
이 경우에, 도 8a 에 도시된 바와 같이, 메모리는 도 7b에 도시된 바와 같은 구조를 갖는 h 이상의 뱅크로 이루어질 필요가 있으며, 이 경우, h 는 다음의 수식,
h = F(a × b/c) + 2
로 표시되고, 여기서, F(x)는 x 이상인 최소의 짝수(even number)를 나타낸다.
도 8b에 도시한 바와 같이, 화소 블록은 수직 방향의 e 화소와 수평 방향의 d/e 화소로 이루어지며, 여기서, 수평 방향의 화소 수는 d/e가 정수가 아니라면 소수부를 생략하여 얻어지는 값으로 표현된다.
삭제
예를 들어, h 뱅크들은 도 8c에 도시된 바와 같이 뱅크 #1, #2, ..., #h/2, ..., #h에 의해 독립적으로 표현되고, 도 7a에 도시된 처리될 화상의 상부 좌측 코너에 위치하는 제 1 행 제 1 열 화소 블록(본 명세서에서 상술한 바와 같이, 수직 방향의 e 화소와 수평 방향의 d/e 화소를 가짐)이 뱅크 #1에 저장되고, 제 1 행 제 1 열 화소바로 아래에 위치하는 제 2 행 제 1 열 화소 블록이 뱅크 #2에 저장된다. 더욱이, 제 2 행 제 1 열 화소 블록 바로 아래에 위치하는 제 3 행 제 1 열 화소 블록은 뱅크 #3에 저장되고, 마찬가지로 계속해서, 상부에서 h/2의 장소에 위치하는 제 4 행 제 1 열 내지 h/2행 제 1 열의 나머지 화소 블록은 각각의 뱅크 #4 내지 #h/2에 각각 저장된다.
처리될 제 1 행 제 1 열 화소 블록의 바로 우측에 위치하는 제 1 행 제 2 열 화소 블록은 뱅크 #(h/2 + 1)에 저장되고, 제 1 행 제 2 열 화소 블록의 바로 아래에 위치하는 제 2 행 제 2 열 화소 블록은 뱅크 #(h/2 + 2)에 저장된다. 더욱이, 제 2 행 제 2 열 화소 블록의 바로 아래에 위치하는 제 3 행 제 2 열 화소 블록은 뱅크 #(h/2 + 3)에 저장되고, 마찬가지로 계속해서, 상부에서 h/2에 위치하는 제 4 행 제 2 열 내지 h/2 행 제 2 열의 나머지 화소 블록은 각각 뱅크 #(h/2 + 4) 내지 #h에 저장된다.
(h/2 + 1)행 제 1 열 화소 블록과 다음의 화소 블록은 다시 뱅크 #1 내지 #h/2에 동기적으로 저장되고 (h/2 + 1)행 제 2 열 화소 블록과 다음의 화소 블록은 다시 뱅크 #(h/2 + 1)에 동기적으로 저장된다. 더욱이, 제 3 열의 화소 블록은 제 1 열의 화소 블록과 마찬가지로 뱅크 #1 내지 h/2에 저장되고, 제 4 열의 화소 블록은 제 2 열의 화소 블록과 마찬가지로 뱅크 #(h/2 + 1)에 저장된다. 계속해서 마찬가지로 각각의 열의 화소 블록은 뱅크 #1 내지 #h에 저장된다.
즉, HD 화상의 상단 좌측 코너에 위치하는 수평 방향의 2개의 화소 블록과 수직 방향의 h/2 화소 블록을 갖는 매트릭스 형태의 화소 데이터가 각각의 뱅크 #1 내지 #7에 맵핑되는 패턴이 각각의 뱅크 #1 내지 #h에서 처리될 화상의 다른 화소 데이터를 맵핑하기 위한 기준 맵핑 패턴으로서 사용된다.
그 결과로서, 처리될 화상의 화소 블록이 수평 방향을 주의하여 어드레스되는 경우, 어느 한 행상의 화소 블록은 교대로 2개의 뱅크들에 저장되고, 한편, 화소 블록이 수직 방향을 주의하여 어드레스되는 경우에는 어느 하나의 열 상의 화소 블록이 h/2 뱅크에 주기적으로 저장된다.
기타 맵핑이 예를 들어 제 1 행 제 1 열 화소 블록이 뱅크 #에 저장되고, 제 1 행 제 2 열 화소 블록이 뱅크 #2에 저장되며, 제 2 행 제 1 열 화소 블록이 뱅크 #3에 저장되는 방식으로 수행될 수도 있다.
화소 데이터가 판독되는 경우, (만일 (f/e + 1)이 소수부를 갖는다면 소수부를 생략함으로써 얻어지는 값), 뱅크 선택기(3)는 (f/e + 1) 전체를 각각 저장하는 뱅크를 선택하며, 뱅크 선택기에 공급되는 화소 데이터를 가지는 화소 블록에 대응하는 메모리(2)에 이미 저장되어 있는 선행 프레임의 한 화소 블록으로 이루어지는 화소 블록들은 중심 화소 블록의 위와 아래에 각각 인접하게 위치하는 화소 블록의미리 결정된 개수를 획득하고, 그안에 저장되어 있는 화소 블록들의 동일한 열의 화소 데이터를 판독한다.
실시간 처리를 확보하기 위해, 즉, 동시에 기록 및 판독을 수행하기 위해서는 뱅크 선택기(3)에 의해 선택된 뱅크의 개수는 (h/2 - 1)이하여야 한다.
상술한 바와 같이, 화소 데이터는 복수의 뱅크 B1 내지 B18중에서 선택된 뱅크내에 기록되고, 나머지 2개의 뱅크들은 그로부터의 화소 데이터 판독을 위해 복수의 뱅크 B1 내지 B18중에서 나머지 2개 이상의 뱅크가 선택되며, 필요 화소 데이터만이 선택되므로, 그 결과, 수평 방향으로 지속적으로 공급되는 화소 데이터를 변환(converting)함으로써, 즉, 스캐닝 방향으로, 필요한 개수의 화소 데이터를 일시 저장하기 위해 라인 메모리를 사용하지 않고 수직 방향으로 연속하는 화소 데이터로 변환함으로써, 수평 방향과 수직 방향의 원하는 개수의 화소로 이루어지는 2차원 화소 블록을 얻는 것이 가능해진다.
그 결과로서, 예를 들면, MPEG에서 동작을 검출하기 위한 동작 검출 회로의 최소화, 분류 적합 처리 회로(classification adaptive processing circuit), 및 처리를 위해 화상으로부터 2차원 화소 블록을 추출하기 위한 회로가 실현된다.
이하, 분류 응용 처리가 설명된다.
분류 응용 처리에서, SD 화상에 포함되지 않는 고주파 성분은 예를 들어, SD(Standard Density) 화상과 미리 결정된 예측 계수(predetermined prediction coefficient)의 선형 조합(linear combination)에 의한 HD(High Density) 화상의 화소의 예측값을 계산하기 위한 적응 처리를 수행함으로써 저장된다.
구체적으로, 예를 들면, HD 화상(이하 HD 화상이라고 함)의 성분인 화소의 화소값 y의 예측값 E[y]이 일부 SD 화소(SD 화상을 구성하는 화소)의 픽섹값 (이하, 학습 데이터라 함) x1, x2, ...와, 미리 결정된 예측 계수 w1, w2, ...의 선형 조합에 의해 특정되는 선형 조합 모델로부터 계산된다. 이 경우, 예측값 E[y]는 수학식 1로 표현된다.
Figure 111999011063674-pat00001
일반화를 위해, 예측 계수의 세트로 이루어지는 매트릭스 W와, 학습 데이터 세트로 이루어지는 매트릭스 X와, 예측값 E[y]로 이루어지는 매트릭스 Y′는 다음의 행렬식으로 정의된다.
Figure 111999011063674-pat00002
따라서, 다음의 수학식 2를 적용할 수 있다.
Figure 111999011063674-pat00003
최소 제곱하는 방법이 상기 방정식에 적용되어 HD 화소의 화소값에 근사인 예측값 E[y]를 계산할 수 있다. 이 경우에, 교사 데이터(teacher data)의 역할을 하는 HD 화소의 참 화소값 y의 세트를 이루는 매트릭스 Y와 HD 화소의 화소값에 관해 예측값 E[y]의 나머지 e의 세트로 이루어지는 매트릭스 E는 다음의 행렬식으로 정의된다:
Figure 111999011063674-pat00004
따라서, 다음의 수학식 3이 적용 가능하다.
XW = Y + E
이 경우에, HD 화소의 화소값에 근사인 예측값 E[y]를 계산하기 위한 예측 계수 wi는 다음의 방정식에 의해 표현되는 제곱 에러(square error),
Figure 112004041127261-pat00006

를 최소화함으로써 계산된다.
예측계수 wj에 대해 미분되는 상술한 제곱 에러는 제로이며, 즉 다음의 방정식을 만족시키는 예측계수 wj는 HD 화소의 화소값 y의 근사인 예측값 E[y]를 계산하기 위한 최적값이다.
Figure 111999011063674-pat00007
먼저, 예측계수 wj에 대한 수학식 3을 미분함으로써, 수학식 5가 얻어진다.
Figure 111999011063674-pat00008
수학식 6은 수학식 4와 수학식 5로부터 얻어진다.
Figure 111999011063674-pat00009
수학식 3의 학습 데이터 x와, 예측계수 y, 나머지 e를 고려하여, 다음의 노멀 방정식 수학식 7이 수학식 6으로부터 얻어진다.
Figure 111999011063674-pat00010
수학식 7로 표현되는 노멀 방정식은 계산될 예측 계수의 그것과 동일한 수로 얻어질 수 있으므로, 수학식 7을 풀음으로써 (수학식 7을 풀기 위해서는 예측계수 w로 승산되는 계수로 이루어지는 매트릭스는 규칙적이어야 한다) 최적의 예측계수 w가 얻어질 수 있다. 수학식 7을 풀기 위해, 예를 들어, 스위핑 방법(가우스-조단 소거법)이 적용될 수도 있다.
최적의 예측계수 w가 본 명세서에서 상술한 바와 같이 계산되고, HD 화소의 화소값 y의 근사인 예측값 E[y]는 예측 계수 w를 사용하여 수학식 1에 의해 계산되는 상기 방법은 적응성 처리(adaptive processing)이다.
적응성 처리는 HD 화상에 성분이 포함되고 SD 화상에 성분이 포함되지 않는 보간 처리가 재생된다는 점에서 상이하다. 보다 구체적으로는, 적응성 처리에서는 수학식 1에 관한한 소위 보간 필터가 사용되지만, 보간 필터의 탭계수에 대응하는 예측계수 w가 교사 데이터 y가 사용되는 소위 학습에 의해 계산되기 때문에 보간 처리와 동일한 처리이며, HD 화상에 포함되는 성분이 재생된다. 즉, 고해상도 화상이 용이하게 얻어진다. 상기한 관점으로부터, 적응성 처리는 화상을 생성하기 위한 처리로 간주된다(해상력 화상화).
도 9는 본 명세서에서 상술한 바와 같이 적응성 처리를 통해 SD 화상을 HD 화상으로 변환하기 위한 분류 적응 처리 회로의 예시적인 구조를 나타낸다.
SD 화상이 분류 회로(14)와 지연 회로(18)에 공급되고, 분류 회로(14)는 적응성 처리에 의해 계산될 예측값을 포함하는 HD 화소(이하, 어드레스된 화소라 함)를 상기 SD 화상에 기초한 미리 결정된 클래스들로 분류한다.
구체적으로, 분류 회로(14)는 먼저 예를 들어, 처리 블록을 형성하기 위해 어드레스된 화소 근처에 위치하는 SD 화소처럼 어드레스된 화소로부터의 미리 결정된 값 이하의 거리 이내에 위치하는 SD 화소로 이루어지는 블록(이하, 처리 블록이라 함)을 추출한다. 예를 들어, 모든 SD 화소의 화소값의 패턴으로 미리 할당된 값이 계수 ROM(19)의 어드레스 단자(AD)에 공급된다.
구체적으로, 분류 회로(14)는 예를 들어, SD 화상으로부터 어드레스 화소 주변에 위치한 4 × 4 SD 화소로 이루어지는(도 10에 마크 Ｏ로 표시됨) 클래스 탭을 추출하고, 어드레스 화소의 클래스로서 이들 16개의 SD 화소의 화소값의 패턴에 대응하는 값을 생성한다.
8비트와 같이 많은 비트가 각각의 SD 화소의 화소값을 나타내는데 할당된다면, 이들 16개의 SD 화소의 화소값의 수는 (28)16 만큼 큰 수가 되고, 이렇게 큰 수는 이어지는 처리를 느려지게 한다.
이러한 문제를 피하기 위해, 예를 들어 ADRC(Adaptive Dynamic Range Coding) 처리가 클래스 탭에 적용되어 분류를 위한 선처리로서 성분 SD 화소의 비트수를 줄인다.
구체적으로는, ADRC 처리에서, 최대의 화소값(이하, 최대의 화소라 함)을 갖는 SD 화소와 최저 화소값(이하, 최저 화소라 함)을 갖는 SD 화소가 클레스 탭의 성분인 16개의 SD 화소로부터 검출된다. 최대의 화소의 화소값 MAX와 최저 화소의 화소값 MIN간의 차이 DR(= MAX - MIN)이 계산되고, 클래스 탭의 로컬 동적 범위로서 DR이 사용되며, 클래스 탭의 성분인 각각의 화소값이 재양자화되어 동적 범위에 기초한 초기 할당 비트수 보다 작은 화소값 K비트를 형성한다. 즉, 최저 화소의 화소값 MIN은 클래스 탭의 성분인 각각의 화소값으로부터 감산되고, 각각의 감산된 값은 DR/2k로 분할된다.
그 결과, 클래스탭의 성분인 각각의 화소값은 K 비트로 표현된다. 따라서, 예를 들어, 만일 K = 1이면, 16개의 SD 화소의 화소값의 패턴수는 (21)16이 되고, 패턴의 수는 ADRC 처리가 없는 처리의 경우의 그것보다 현저히 적다.
계수 ROM(19)은 각각의 클래스에 대한 학습에 의해 미리 계산되는 예측계수를 저장하고, 클래스가 분류 회로(14)로부터 공급되는 경우, 계수 ROM(19)은 공급된 클래스에 대응하는 어드레스에 저장되어 있는 예측계수를 판독하여 이것을 예측 연산 회로(20)에 공급한다.
한편, 지연 회로(18)는 예측 탭이 예측 탭 생성 회로(16)로부터 공급되는 타이밍과 예측 연산 회로(20)에 계수 ROM(19)으로부터 예측 연산 회로(20)(이 회로에 대해서는 후술됨)으로 예측계수가 공급되는 타이밍을 일치시키는데 필요한 시간의 양에 대한 SD 화상을 지연시키며, 지연된 SD 화상은 예측 탭 생성 회로(16)에 공급된다.
예측 탭 생성 회로(16)는 공급되는 SD 화상으로부터 예측 연산 회로(20) 내의 어드레스 화소의 예측값을 계산하기 위해 사용되는 SD 화소를 추출하고, 추출된 SD 화소를 예측 연산 회로(20)에 예측 탭으로서 공급한다. 즉, 분류 회로(14)에 의해 추출되는 것처럼 동일 클래스는 SD 화상을 형성하고, 클래스 탭의 성분인 SD 화소는 예측 연산 회로(20)에 예측 탭으로서 공급된다.
예측 연산 회로(20)는 계수 ROM(19)로부터 공급되는 예측계수 w1, w2,..와 어드레스된 화소 y의 예측값 E[y]를 계산하기 위해 예측 탭 생성 회로(16)으로부터 공급되는 예측 탭 x1, x2, ...를 이용하여 수학식 1로 표현되는 계산을 수행하고, HD 화상의 화소값으로서 예측값 E[y]를 생성한다.
다음의 처리에서 어드레스된 화소로서 다른 HD 화소를 취하여 동일한 처리가 수행됨으로써 SD 화상을 HD 화상으로 변환시킨다.
다음에, 도 11은 도 9에 도시된 계수 ROM에 저장될 예측 계수를 계산하기 위해 학습 처리를 수행하기 위한 학습 디바이스의 예시적인 구조를 나타낸다.
학습시 학습 데이터 y의 기능을 하는 HD 화상이 미세화 회로(thinning circuit; 21) 및 지연 회로(21)에 공급되고, 미세화 회로(21)는 예를 들어 화소 수를 세분화하여 이를 경감하며, 미세화된 HD 화상은 SD 화상의 기능을 한다. SD 화상은 분류 회로(26)와 예측 탭 생성 회로(27)에 공급된다.
분류 회로(26) 또는 예측 탭 생성 회로(27)에서는 도 9에 도시된 분류 회로(14) 또는 예측 탭 생성 회로(16)에서 수행되는 것과 같은 처리가 수행되고, 어드레스된 화소또는 예측 탭의 클래스가 생성된다. 분류 회로(26)로부터 생성된 클래스는 예측 탭 메모리(29)의 어드레스 터미널 (AD)와 학습 데이터 메모리(30)의 어드레스 터미널 (AD)에 공급되고, 예측 탭 생성 회로(27)에 의해 생성된 예측 탭은 예측 탭 메모리(29)에 공급된다.
예측 탭 메모리(29)에서, 예측 탭 생성 회로(27)로부터 공급된 예측 탭이 분류 회로(26)로부터 공급된 클래스에 대응하는 어드레스에 저장된다.
한편, 지연 회로(28)에서는 분류 회로(26)로부터 교사 데이터 메모리(30)에 어드레스된 화소에 대응하는 클래스를 공급할 필요가 있는 만큼의 시간 지연이 이루어지고, 지연된 화소로부터의 어드레스 화소인 HD 화소의 화소값만이 교사 데이터로서 교사 데이터 메모리(30)에 공급된다.
교사 데이터 메모리(30)는 분류 회로(26)으로부터 공급된 클래스에 대응하는 어드레스에 지연 회로(28)로부터 공급되는 교사 데이터를 저장한다.
학습을 위해 미리 준비된 모든 HD 화상을 구성하는 모든 HD 화소가 어드레스 화소로서 처리될 때까지 동일한 처리가 반복된다.
도 10의 Ｏ마크로 표기된 SD 화소와 도 10에 X로 표기된 HD 화소에서 각각 동일한 위치 관계를 갖는 SD 화소 또는 HD 화소가 예측 탭 메모리(29) 또는 교사 데이터 메모리(30) 내의 동일 어드레스에 학습 데이터 x 또는 교사 데이터 y로 저장된다.
예측 탭 메모리(29)와 교사 데이터 메모리(30)가 구성되어 동일 어드레스에 복수의 정보를 저장하고, 동일 클래스로 분류되는 복수의 학습 데이터 x와 교사 데이터 y가 동일 어드레스에 저장된다.
다음에, 계산 회로(31)는 예측 탭 메모리(29) 또는 교사 데이터 메모리(30)로부터 동일 어드레스에 저장된 교사 데이터로서 제공된 화소값 또는 학습 데이터로 제공된 예측값을 판독하고, 이들 예측 탭과 화소값을 사용하여 최소 제곱법에 의해 예측값과 교사 데이터값 간의 차를 최소화하기 위한 예측계수를 계산한다. 예측 회로(31)에서 수학식 7로 표현되는 노멀 방정식이 각각의 클래스에 대해 얻어지고, 이 방정식을 풀음으로써 예측 계수가 얻어진다.
본 명세서에서 상술한 바와 같이 계산 회로(31)에서 얻어지는 각각의 클래스에 대한 예측 계수가 도 9에 도시한 계수 ROM(19)의 클래스에 대응하는 어드레스에 저장된다.
상기 본 명세서에서 상술된 바와 같은 학습 처리에 있어서, 일부 클래스는 예측 계수를 계산하는데 필요한 노멀 방정식의 개수를 얻지 못할 수도 있지만, 이러한 경우에는 예를 들어, 그 클래스를 무시하고 노멀 방정식을 풀음으로써 얻어지는 예측 계수가 소위 디폴트 예측 계수로 사용된다.
화상으로부터 필요 영역을 검출하고, 필요 영역을 처리하기 위한 화상 처리 디바이스는 분류 적응 처리 회로(도 9)와 학습 디바이스(도 11)에 적용할 수 있으며, 이들 디바이스들은 클래스 탭과 예측 탭을 처리할 화상으로부터 검출하는 디바이스들이다.
본 실시예에서, 공간 방향으로 분류되는 화소가 검출되는 경우, 하지만, 시간 방향(temporal direction)으로 분류되는 화소를 검출하는 것이 가능하다. 또한 공간 방향과 시간 방향 모두 즉, 3차원 필요 영역으로 분류되는 화소를 검출하는 것도 가능하다.
본 발명으로 인하여, 수평 방향과 수직 방향에서 원하는 개수의 화소로 이루어지는 화소 데이터는 예를 들어 요구되는 라인의 화상 데이터를 임시로 저장하기 위한 라인 메모리를 사용하지 않고도 얻어질 수 있다.

Claims (22)

  1. 데이터를 저장하기 위한 메모리 디바이스에 있어서,
    복수의 메모리 뱅크들을 갖는 메모리 수단,
    상기 복수의 메모리 뱅크들 중에서 하나의 메모리 뱅크를 선택하고, 이 선택된 뱅크에 상기 데이터를 기록하기 위한 기록 선택 수단,
    상기 복수의 메모리 뱅크들 중에서 2개 이상의 메모리 뱅크들을 선택하고, 이들 선택된 뱅크들로부터 상기 데이터를 판독하기 위한 판독 선택 수단, 및
    상기 판독 선택 수단으로부터 생성된 상기 데이터를 선택하기 위한 데이터 선택 수단을 포함하는, 메모리 디바이스.
  2. 제 1 항에 있어서,
    상기 데이터는 화상 데이터이고,
    상기 기록 선택 수단은 상기 선택된 하나의 메모리 뱅크에 화상 데이터의 성분(component)인 수평 화소 데이터를 기록하며,
    상기 판독 선택 수단은 상기 선택된 2개 이상의 메모리 뱅크들로부터 상기 화상 데이터의 성분인 수직 화상 데이터를 판독하는, 메모리 디바이스.
  3. 제 2 항에 있어서,
    상기 메모리 뱅크는 반도체 메모리인, 메모리 디바이스.
  4. 제 3 항에 있어서,
    상기 기록 선택 수단은 상기 화상 데이터의 성분인 화소 데이터가 미리 결정된 화소 블록 단위로 상기 복수의 메모리 뱅크들 각각에 저장되도록 상기 복수의 메모리 뱅크들 중에서 하나의 메모리 뱅크를 연속하여 선택하고,
    상기 메모리 뱅크는 상기 화소 블록의 성분인 상기 화소 데이터를 하나의 워드 라인(word line) 상의 메모리 셀에 저장하는, 메모리 디바이스.
  5. 제 4 항에 있어서,
    상기 메모리 뱅크는 상기 화소 블록의 성분들인 수직 방향에 배열되는 상기 화소 데이터 모두를 동시에 판독할 수 있는 반도체 메모리인, 메모리 디바이스.
  6. 제 4 항에 있어서,
    한 화상의 상기 화상 데이터 성분들인 상기 수직 방향 또는 수평 방향의 화소 수가 a 또는 b로 표현되고,
    상기 하나의 메모리 뱅크에 저장될 수 있는 화소 수는 c로 표현되고,
    상기 메모리 뱅크의 하나의 워드 라인 상의 메모리 셀에 저장될 수 있는 화소 수는 d로 표현되고,
    상기 메모리 뱅크에 의해 동시에 판독될 수 있는 화소 수는 e로 표현되며,
    상기 데이터 선택 수단에 의해 선택된 화소들의 수는 f로 표현되고,
    상기 메모리 수단은:
    h = F(a × b/c) + 2의 수식으로 표현되는 h개의 메모리 뱅크들을 갖고, 단 F(x)는 x 이상의 최소의 짝수(mininum even number)를 나타내고,
    상기 화소 블록은 상기 수평 방향의 d/e 이하의 최대의 정수(maximum integer)와 동일한 화소 수 및 상기 수직 방향의 e화소로 이루어지며,
    상기 판독 선택 수단은 상기 복수의 메모리 뱅크들로부터 (f/e + 1) 이상의 최소의 정수 i와 동일한 개수의 메모리 뱅크들을 선택하여 상기 화소 데이터를 판독하는, 메모리 디바이스.
  7. 제 1 항에 있어서,
    상기 기록 선택 수단은 상기 화상 데이터 상에서 서로 인접하는 상기 화소 블록들이 다른 상기 메모리 뱅크들에 저장되도록 상기 복수의 메모리 뱅크들 중에서 하나의 메모리 뱅크를 선택하는, 메모리 디바이스.
  8. 제 7 항에 있어서,
    상기 기록 선택 수단은 상기 화상 데이터에 있어서 수평 방향으로 서로 인접하여 위치하는 상기 화소 블록들이 2개의 상기 메모리 뱅크들에 교대로 저장되도록 상기 복수의 메모리 뱅크들 중에서 하나의 메모리 뱅크를 선택하는, 메모리 디바이스.
  9. 제 7 항에 있어서,
    상기 기록 선택 수단은 상기 화상 데이터에서 수직 방향으로 서로 인접하는 상기 화소 블록들이 상기 h/2 메모리 뱅크들에 주기적으로 저장되도록 상기 복수의 메모리 뱅크들 중에서 하나의 메모리 뱅크를 선택하는, 메모리 디바이스.
  10. 제 9 항에 있어서,
    상기 판독 선택 수단에 의해 선택된 상기 메모리 뱅크들의 개수 i는 (h/2 - 1) 이하인, 메모리 디바이스.
  11. 화상 데이터를 저장하기 위해 메모리 디바이스에 상기 화상 데이터를 기록하는 기록 방법에 있어서,
    상기 메모리 디바이스는:
    복수의 메모리 뱅크들을 갖는 메모리 수단, 및
    상기 복수의 메모리 뱅크들 중에서 하나의 메모리 뱅크를 선택하고, 이 선택된 뱅크들 내의 화상 데이터의 성분인 수평 화소 데이터를 기록하기 위한 기록 선택 수단을 포함하며,
    상기 기록 선택 수단은 상기 화소 데이터가 미리 결정된 화소 블록 단위로 상기 복수의 메모리 뱅크들 각각에 저장되도록 상기 복수의 메모리 뱅크들 중에서 하나의 메모리 뱅크를 연속적으로 선택하고,
    상기 메모리 뱅크는 상기 화소 블록의 성분인 상기 화소 데이터를 하나의 워드 라인 상의 메모리 셀에 저장하는, 화상 데이터 기록 방법.
  12. 제 11 항에 있어서,
    상기 메모리 뱅크는 상기 화소 블록의 성분들인 수직 방향으로 배열된 상기 화소 데이터 전부를 동시에 판독할 수 있는 반도체 메모리인, 화상 데이터 기록 방법.
  13. 제 11 항에 있어서,
    한 화상의 상기 화상 데이터의 성분인 수직 방향 또는 수평 방향의 화소 수는 a 또는 b로 표현되고,
    상기 메모리 뱅크에 저장될 수 있는 화소 수는 c로 표현되고,
    상기 메모리 뱅크의 하나의 워드 라인 상의 메모리에 저장될 수 있는 화소 수는 d로 표현되며,
    상기 메모리 뱅크에 의해 동시에 판독될 수 있는 화소 수는 e로 표현되고,
    상기 메모리 수단은:
    h = F(a × b/c) + 2의 수식으로 표현되는 h개의 메모리 뱅크들을 갖고, 단 F(x)는 x 이상의 최소의 짝수를 나타내고,
    상기 화소 블록은 상기 수직 방향의 e화소로 구성되고 화소수는 상기 수평 방향의 d/e 이하의 최대의 정수와 동일한, 화상 데이터 기록 방법.
  14. 제 13 항에 있어서,
    상기 기록 선택 수단은 상기 화상 데이터 상에서 서로 인접하는 상기 화소 블록들이 다른 상기 메모리 뱅크들에 저장되도록 상기 복수의 메모리 뱅크들 중에서 하나의 메모리 뱅크를 선택하는, 화상 데이터 기록 방법.
  15. 제 14 항에 있어서,
    상기 기록 선택 수단은 상기 화상 데이터 상에서 수평 방향으로 서로 인접하는 상기 화소 블록들이 상기 2개의 메모리 뱅크들에 교대로 저장되도록 상기 복수의 메모리 뱅크들 중에서 하나의 메모리 뱅크를 선택하는, 화상 데이터 기록 방법.
  16. 제 14 항에 있어서,
    상기 기록 선택 수단은 상기 화상 데이터 상에서 수직 방향으로 서로 인접하여 위치하는 상기 화소 블록들이 상기 h/2 메모리 뱅크들에 주기적으로 저장되도록 상기 복수의 메모리 뱅크들 중에서 하나의 메모리 뱅크를 선택하는, 화상 데이터 기록 방법.
  17. 데이터를 저장하기 위한 메모리 디바이스로부터 상기 데이터를 판독하는 판독 방법에 있어서,
    상기 메모리 디바이스는 복수의 메모리 뱅크들을 갖는 메모리 수단이 제공되고, 상기 복수의 메모리 뱅크들 중 2개 이상의 메모리 뱅크들을 선택하고, 상기 데이터를 판독하고, 상기 판독된 데이터를 선택하고 이 선택된 데이터를 전송하는, 판독 방법.
  18. 제 17 항에 있어서,
    상기 데이터는 화상 데이터이고,
    하나의 메모리 뱅크가 상기 복수의 메모리 뱅크들 중에서 연속적으로 선택되고 상기 화상 데이터의 성분인 상기 수평 화소 데이터가 연속적으로 기록될 때,
    2개 이상의 메모리 뱅크들이 상기 복수의 메모리 뱅크들 사이에 선택되고 상기 화상 데이터의 성분인 상기 수직 화소 데이터가 판독되는, 판독 방법.
  19. 제 18 항에 있어서,
    상기 메모리 뱅크는 반도체 메모리인, 판독 방법.
  20. 제 19 항에 있어서,
    하나의 메모리 뱅크는 상기 화상 데이터의 성분인 상기 화소 데이터가 미리 결정된 화소 블록 단위로 상기 복수의 메모리 뱅크들에 저장되도록 상기 복수의 메모리 뱅크들 중에서 연속적으로 선택되고,
    상기 화소 블록의 성분인 상기 화소 데이터는 상기 선택된 메모리 뱅크의 하나의 워드 라인 상의 메모리 셀에 저장되며,
    상기 화소 블록의 성분인 상기 수직 방향으로 배열된 상기 화소 데이터 전체는 상기 메모리 뱅크로부터 동시에 판독되는, 판독 방법.
  21. 제 20 항에 있어서,
    한 화상의 상기 화상 데이터의 성분인 수직 방향 또는 수평 방향의 개수는 a 또는 b로 표현되고,
    상기 메모리 뱅크에 저장될 수 있는 화소 수는 c로 표현되고,
    상기 메모리 뱅크의 워드 라인 상의 메모리 셀에 저장될 수 있는 화소 수는 d로 표현되고,
    상기 메모리 뱅크에 의해 동시에 판독될 수 있는 화소 수는 e로 표현되며,
    상기 복수의 메모리 뱅크들 중 2개 이상의 메모리 뱅크들로부터 판독된 화상 데이터로부터 선택되는 화소 수는 f로 표현되고,
    상기 메모리 수단은:
    h = F(a × b/c) + 2의 수식으로 표현되는 h개의 메모리 뱅크들을 갖고, 단 F(x)는 x 이상의 최소의 짝수를 나타내고,
    상기 화소 블록은 상기 수직 방향의 e화소로 구성되고 화소수는 상기 수평 방향의 d/e 이하의 최대의 정수와 동일하며,
    상기 판독 선택 수단은 상기 복수의 메모리 뱅크들로부터 (f/e + 1) 이상의 최소의 정수 i와 동일한 개수의 메모리 뱅크들을 선택하고 상기 화소 데이터를 판독하는, 판독 방법.
  22. 제 21 항에 있어서,
    상기 화상 데이터상의 수평 방향으로 서로 인접하여 위치하는 상기 화소 블록들이 상기 2개의 메모리 뱅크들에 교대로 저장되고, 상기 화상 데이터 상의 수직 방향으로 서로 인접하여 위치하는 상기 화소 블록들이 상기 h/2 메모리 뱅크들에 주기적으로 저장되도록 상기 복수의 메모리 뱅크들 중에서 하나의 메모리 뱅크가 선택되어 상기 화상 데이터를 저장하는 경우,
    상기 복수의 메모리 뱅크들 중에서 선택된 상기 메모리 뱅크의 개수 i는 (h/2 - 1) 이하인, 판독 방법.
KR19990038608A 1998-09-11 1999-09-10 메모리 디바이스와, 기록 방법 및 판독 방법 KR100653562B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP25787798A JP4224876B2 (ja) 1998-09-11 1998-09-11 記憶装置、並びに書き込み方法および読み出し方法
JP98-257877 1998-09-11

Publications (2)

Publication Number Publication Date
KR20000023062A KR20000023062A (ko) 2000-04-25
KR100653562B1 true KR100653562B1 (ko) 2006-12-05

Family

ID=17312431

Family Applications (1)

Application Number Title Priority Date Filing Date
KR19990038608A KR100653562B1 (ko) 1998-09-11 1999-09-10 메모리 디바이스와, 기록 방법 및 판독 방법

Country Status (4)

Country Link
US (1) US6181632B1 (ko)
EP (1) EP0986266A3 (ko)
JP (1) JP4224876B2 (ko)
KR (1) KR100653562B1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2826226A1 (fr) * 2001-06-19 2002-12-20 Koninkl Philips Electronics Nv Circuit memoire concu pour un acces parallele en lecture ou en ecriture de donnees a plusieurs composantes
US6901027B2 (en) * 2002-04-30 2005-05-31 Sony Corporation Apparatus for processing data, memory bank used therefor, semiconductor device, and method for reading out pixel data
US7386651B2 (en) * 2003-07-03 2008-06-10 Broadcom Corporation System, method, and apparatus for efficiently storing macroblocks
JP4534488B2 (ja) * 2004-01-05 2010-09-01 ソニー株式会社 データ格納装置、データ格納制御装置、データ格納制御方法及びデータ格納制御プログラム
TWI289750B (en) * 2004-01-05 2007-11-11 Sony Corp Data storage apparatus, and data storage controlling apparatus and method
US7401177B2 (en) * 2004-04-19 2008-07-15 Sony Corporation Data storage device, data storage control apparatus, data storage control method, and data storage control program
JP4735008B2 (ja) * 2004-04-19 2011-07-27 ソニー株式会社 データ格納装置、データ格納制御装置、データ格納制御方法及びデータ格納制御プログラム
JP4586627B2 (ja) * 2005-05-18 2010-11-24 ソニー株式会社 データアクセス装置、データアクセス方法、プログラムおよび記録媒体
JP5522893B2 (ja) * 2007-10-02 2014-06-18 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP5018486B2 (ja) * 2008-01-10 2012-09-05 セイコーエプソン株式会社 画像処理回路、画像処理装置
JP4992753B2 (ja) * 2008-02-25 2012-08-08 セイコーエプソン株式会社 画像処理装置、画像処理方法
JP2009238323A (ja) 2008-03-27 2009-10-15 Fujitsu Microelectronics Ltd 半導体記憶装置、画像処理システムおよび画像処理方法
US8189408B2 (en) * 2009-11-17 2012-05-29 Freescale Semiconductor, Inc. Memory device having shifting capability and method thereof
JP5777458B2 (ja) * 2011-09-12 2015-09-09 キヤノン株式会社 パターン識別装置、パターン識別方法及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06245193A (ja) * 1993-02-15 1994-09-02 Oki Electric Ind Co Ltd フォーマット変換回路
JPH07271968A (ja) * 1994-03-30 1995-10-20 Tec Corp 画情報転送装置
JPH0970053A (ja) * 1995-08-30 1997-03-11 Sony Corp 信号処理装置
KR100413409B1 (ko) 1996-06-03 2004-04-17 엘지전자 주식회사 에이치디티브이의수직영상포맷변환장치

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04354287A (ja) * 1991-05-30 1992-12-08 Sony Corp 画像補間回路
US5598514A (en) * 1993-08-09 1997-01-28 C-Cube Microsystems Structure and method for a multistandard video encoder/decoder
JP3803122B2 (ja) * 1995-05-02 2006-08-02 松下電器産業株式会社 画像メモリ装置および動きベクトル検出回路
JPH1011009A (ja) * 1996-04-23 1998-01-16 Hitachi Ltd 映像信号の処理装置及びこれを用いた表示装置
JP4251675B2 (ja) * 1997-07-30 2009-04-08 ソニー株式会社 記憶装置およびアクセス方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06245193A (ja) * 1993-02-15 1994-09-02 Oki Electric Ind Co Ltd フォーマット変換回路
JPH07271968A (ja) * 1994-03-30 1995-10-20 Tec Corp 画情報転送装置
JPH0970053A (ja) * 1995-08-30 1997-03-11 Sony Corp 信号処理装置
KR100413409B1 (ko) 1996-06-03 2004-04-17 엘지전자 주식회사 에이치디티브이의수직영상포맷변환장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
EPO조사보고서

Also Published As

Publication number Publication date
JP4224876B2 (ja) 2009-02-18
US6181632B1 (en) 2001-01-30
EP0986266A3 (en) 2004-09-22
JP2000090256A (ja) 2000-03-31
KR20000023062A (ko) 2000-04-25
EP0986266A2 (en) 2000-03-15

Similar Documents

Publication Publication Date Title
KR100653562B1 (ko) 메모리 디바이스와, 기록 방법 및 판독 방법
KR100927760B1 (ko) 메모리 셀 회로, 메모리 장치, 움직임 벡터 검출 장치 및움직임 보상 예측 부호화 장치
JP3278756B2 (ja) 画像処理方法及び装置
JPH08123953A (ja) 画像処理装置
US7002587B2 (en) Semiconductor device, image data processing apparatus and method
JPH0137065B2 (ko)
KR100603159B1 (ko) 화상처리장치및화상처리방법
JPH0458756B2 (ko)
JP3092382B2 (ja) 信号処理装置
JPH0779418A (ja) 画像信号変換装置
KR19980081641A (ko) 동화상 복호 방법 및 동화상 복호 장치
KR101106080B1 (ko) 데이터 저장 제어 장치, 데이터 저장 제어 방법 및 데이터 저장 제어 프로그램이 기록된 기록 매체
US6278806B1 (en) Storage apparatus and storage method
KR20010005934A (ko) 계층적 코딩에 사용하기 위한 저장 장치 및 기록 및 판독 방법
US6873738B2 (en) Hierarchical image processor for encoding or decoding, and memory on the same chip
JPH08186826A (ja) 画像復号処理方法およびそれに用いる記憶装置並びに画像復号装置
JP3168183B2 (ja) データ処理装置
JP4395677B2 (ja) 学習装置および学習方法、並びに記録媒体
JP4058671B2 (ja) 記憶制御装置および記憶制御方法、並びにプログラムおよび記録媒体
JP3996965B2 (ja) ビデオ信号圧縮符号化装置
JP4210950B2 (ja) 画像処理装置および画像処理方法
JP4003529B2 (ja) 動きベクトル検出回路と動きベクトル検出方法
JPH0779436A (ja) 動きベクトル検出装置
JPS62102685A (ja) 高能率符号化装置
JPH0232478A (ja) 並列アクセスのための画像メモリ

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20111122

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20121116

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee