KR20050072070A - 데이터 저장 장치, 데이터 저장 제어 장치, 데이터 저장제어 방법 및 데이터 저장 제어 프로그램 - Google Patents

Abstract

모든 데이터를 복수의 메모리 뱅크로 이루어지는 메모리(50)에 저장할 때, 데이터 분할 판정부(20)에 의해 동시에 판독하려는 소망의 복수 데이터가 존재하는 범위를 분할 단위로 하여, 모든 데이터를 복수의 범위로 분할한다. 상기 메모리(50)를 구성하는 복수의 메모리 뱅크에, 상기 범위 내의 데이터를 배분하며, 각각의 메모리 뱅크에 있어서 1개의 워드 라인 상에 저장하고, 상기 모든 데이터를 복수의 메모리 뱅크로 이루어지는 메모리(50)상에 배치한다. 상기 메모리(50)상에 배치된 모든 데이터로부터 각 범위에서의 동시 판독 대상의 복수 데이터를 주기적으로 판독하고, 각 범위 내의 일부를 인접하는 범위 내의 데이터와 순차 치환하거나 또는 재기입하여, 다음의 동시 판독 대상의 복수 데이터를 판독하는 제어를 메모리 제어부(10), 어드레스 변환부(30) 및 어드레스 생성부(40)에 의해 행한다.

Description

데이터 저장 장치, 데이터 저장 제어 장치, 데이터 저장 제어 방법 및 데이터 저장 제어 프로그램 {DATA STORING APPARATUS, DATA STORING CONTROLLING APPARATUS, DATA STORING CONTROLLING METHOD AND DATA STORING CONTROLLING PROGRAM}

본 발명은 복수의 메모리 뱅크로 이루어지는 메모리에 모든 데이터를 저장하여, 소망의 복수 데이터의 동시 판독을 행하는 데이터 저장 장치, 데이터 저장 제어 장치, 데이터 저장 제어 방법 및 데이터 저장 제어 프로그램에 관한 것이다.

반도체 메모리는 도 20에 나타낸 바와 같이, 워드 라인 WL과 비트 라인 BL을 지정하여 메모리 셀 MC를 액세스하는 구조로 되어 있고, 활성화된 1워드 라인과 비트 라인의 교차하는 위치에 있는 메모리 셀 MC에 저장된 데이터가 판독된다.

이와 같은 구조의 반도체 메모리에서는 같은 비트 라인을 복수의 워드 라인의 데이터가 공유하여 있으므로, 도 21과 같이, 복수의 워드 라인 WL1, WL2를 지정하면 비트 라인에 나온 데이터가 파괴되어 버리므로, 상이한 워드 라인의 데이터에는 동시 액세스할 수 없다.

또, 독립된 메모리 뱅크로부터는 동시에 데이터를 판독하는 것이 가능하며, 도 22에 나타낸 바와 같이, 메모리를 복수의 메모리 뱅크 BK1 ~ BKn으로 나누고, 각각의 메모리 뱅크에 상이한 어드레스를 지정함으로써 복수의 워드 라인의 데이터에 동시 액세스할 수 있지만, 메모리 뱅크 내의 상이한 워드 라인의 데이터에는 동시 액세스할 수 없다. 즉, 동시에 판독할 수 있는 것은 각 메모리 뱅크로부터 동일 워드 라인 상에 저장된 데이터이며, 동일 메모리 뱅크에서 상이한 워드 라인 상에 저장된 데이터는 동시 판독 불가능하다.

여기서, 메모리 뱅크란, 메모리를 관리할 때의 단위로 되는 일정한 용량을 가진 영역이다. 따라서, 독립된 메모리 뱅크 사이에 있어서 데이터의 액세스 충돌은 생기지 않는다. 그리고, 메모리는 1 또는 복수의 메모리 뱅크에 의해 구성된다.

또, 종래부터, 입력 데이터에 포함되는 특정의 데이터 배열을 인식함으로써, 예를 들면 화상 데이터의 패턴 인식이나 움직임 검출 등의 처리가 행해지고 있다.

예를 들면, 수라인 화상 데이터를 축적할 수 있고 화소 단위로 출력할 수 있는 버퍼 메모리와, 수 비트폭 데이터를 처리할 수 있는 프로세서 엘리먼트의 복수를 포함하고 복수 프로세서 엘리먼트로 동시 병행하여 데이터 처리할 수 있는 데이터 처리기와, 매칭 참조 데이터와 제어 데이터를 저장하는 제어 정보 메모리를 구비하며, 데이터 처리기의 각 프로세서 엘리먼트가, 버퍼 메모리가 출력한 화상 데이터 중, 자기 앞으로 보낼 수 있었던 주목 화소 중심의 매트릭스의 화상 데이터 군을, 임계치를 이용해서 2치화하여 상기 프로세서 엘리먼트가 처리 가능한 시리얼 배열의 비트폭으로 단락지은 대상 데이터로 변환하고, 동일 형식으로 제어 정보 메모리에 있는 참조 데이터와 합칠지를 판정하는 것이 행해지고 있다(예를 들면, 일본국 특개2003-203236호 공보).

또, 동화상의 처리의 분야에 있어서, 움직임, 즉, 시간적으로 상이한 화상 중의 물체의 움직임 방향과 크기(또는 속도)가 이용된다. 예를 들면, 화상의 고능률 부호화에 있어서의 움직임 보상 프레임간 부호화나, 프레임간 시간 영역 필터에 의한 텔레비전 잡음 저감 장치에 있어서의 움직임에 의한 파라미터 제어 등에 움직임이 이용된다. 움직임을 구하는 움직임 검출 방법으로서는 블록 매칭법이 알려져 있다.

본 건 출원인은 화상 신호중의 움직임을 검출하는 움직임 검출 방법에 있어서, (a) 1화면 전체 또는 1화면을 복수로 분할한 비교적 큰 블록마다, 매칭법에 따라 적산치 테이블을 생성하고, 상기 적산치 테이블을 사용하여, 상기 1화면 전체 또는 1화면을 복수로 분할한 비교적 큰 블록마다, 1 또는 복수의 후보 벡터를 추출하는 스텝과, (b) 상기 후보 벡터만을 대상으로 하여 매칭을 행하고, 1화소 또는 비교적 작은 블록마다 움직임 벡터를 검출하는 스텝으로 이루어지는 2스텝의 움직임 검출 방법을 먼저 제안하고 있다. 이 2스텝의 움직임 검출 방법에서는 화상의 움직임 검출을 2스텝 방식의 대표점 매칭에 의해 행하는 대표점 매칭, 벡터 할당의 2스텝 과정에 있어서, 모든 화상 내에서 임의의 복수의 화소 데이터를 동시에 판독할 필요가 있다(예를 들면, 일본국 특개2001-61152호 공보).

그런데, 반도체 메모리에서는 1메모리 뱅크에 대해 1워드 라인만으로 구성되면, 전술한 바와 같이 데이터가 파괴되는 일없이 데이터의 동시 판독은 가능하지만, 저장해야 할 데이터량이 방대하게 되면 메모리 뱅크수가 증대하고, 하드웨어에 부담이 가 현실적이지 않다.

그래서, 종래의 기술에서는 데이터를 판독하고, 일시적으로 기억하는 버퍼나 캐쉬를 설치하고, 소망의 복수 데이터를 복수회로 시간적으로 분할하고, 버퍼나 캐쉬에 일시 기억하여, 판독하고 있었다.

그러나, 소망의 복수 데이터의 수가 증가하고 또한, 데이터의 입출력이 고속으로 되면, 데이터의 판독 처리가 시간적으로 늦어 버리게 된다. 또, 이것을 해결하기 위해, 일시 기억하는 버퍼나 캐쉬를 늘리는 것이 되어 있지만, 그 영역이 커지면 하드웨어에 부담이 생긴다.

그래서, 본 발명의 목적은 전술한 바와 같은 종래의 문제점을 감안하여, 하드웨어에 부담을 주지 않으면서, 복수의 메모리 뱅크로 이루어지는 메모리에 모든 데이터를 저장하여, 소망의 복수 데이터의 동시 판독을 행할 수 있는 데이터 저장 장치, 데이터 저장 제어 장치, 데이터 저장 제어 방법 및 데이터 저장 제어 프로그램을 제공하는 것에 있다.

본 발명의 또다른 목적, 본 발명에 의해 얻어지는 구체적인 이점은 이하에 설명되는 실시예의 설명으로부터 한층 분명해진다.

본 발명에서는 소망의 복수 데이터가 존재하는 범위의 데이터를 동시 판독 가능하게 배치하고, 상기 범위의 주기로 모든 데이터를 분할하고, 주기적으로 배치한다. 초기 배치에서의 동시 판독 가능한 범위를 주기적으로 판독하고, 교체 조작을 순서대로 행한다. 이로써 모든 데이터에 있어서 임의의 복수 데이터의 동시 판독을 가능하게 한다.

본 발명에 관한 데이터 저장 장치는 복수의 메모리 뱅크로 이루어지는 메모리와, 검출 패턴에 기초하여, 동시에 판독하려는 소망의 복수 데이터가 존재하는 범위를 데이터의 분할 단위로 결정하는 데이터 분할 판정 수단과, 상기 메모리에 대한 데이터의 기입/판독을 제어하는 메모리 제어 수단을 구비하고, 상기 메모리 제어 수단은 상기 데이터 분할 판정 수단으로부터의 분할 단위에 근거해서, 모든 데이터를 복수의 범위로 분할하고, 각 범위 내의 데이터를 상기 복수의 메모리 뱅크에 배분하며, 각각의 메모리 뱅크에 있어서는 하나의 워드 라인 상에 저장함으로써, 상기 메모리 상에 배치된 상기 모든 데이터로부터, 상기 각 범위에서의 동시 판독 대상의 복수 데복수 주기적으로 판독하고, 상기 각 범위 내의 일부를 인접하는 범위 내의 데이터와 순차 치환하거나 또는 재기입하여, 다음의 동시 판독 대상의 복수 데이터를 판독하는 제어를 행하는 것을 특징으로 한다.

또, 본 발명에 관한 데이터 저장 제어 장치는 검출 패턴에 기초하여, 동시에 판독하려는 소망의 복수 데이터가 존재하는 범위를 데이터의 분할 단위로 결정하는 데이터 분할 판정 수단과, 복수의 메모리 뱅크로 이루어지는 메모리에 대한 데이터의 기입/판독을 제어하는 메모리 제어 수단을 구비하고, 상기 메모리 제어 수단은 상기 데이터 분할 판정 수단으로부터의 분할 단위에 근거해서, 모든 데이터를 복수의 범위로 분할하고, 각 범위 내의 데이터를 상기 복수의 메모리 뱅크에 배분하며, 각각의 메모리 뱅크에 있어서는 하나의 워드 라인 상에 저장함으로써, 상기 메모리 상에 배치된 상기 모든 데이터로부터, 상기 각 범위에서의 동시 판독 대상의 복수 데이터를 주기적으로 판독하고, 상기 각 범위 내의 일부를 인접하는 범위 내의 데이터와 순차 치환하거나 또는 재기입하여, 다음의 동시 판독 대상의 복수 데이터를 판독하는 제어를 행하는 것을 특징으로 한다.

또, 본 발명에 관한 데이터 저장 제어 방법은 모든 데이터를 복수의 메모리 뱅크로 이루어지는 메모리에 저장할 때, 동시에 판독하려는 소망의 복수 데이터가 존재하는 범위를 분할 단위로 하여, 모든 데이터를 복수의 범위로 분할하고, 각 범위 내의 데이터를 상기 복수의 메모리 뱅크에 배분하며, 각각의 메모리 뱅크에 있어서는 하나의 워드 라인 상에 저장함으로써 상기 메모리 상에 배치된 상기 모든 데이터로부터, 상기 각 범위에서의 동시 판독 대상의 복수 데이터를 주기적으로 판독하고, 상기 각 범위 내의 일부를 인접하는 범위 내의 데이터와 순차 치환하거나 또는 재기입하여, 다음의 동시 판독 대상의 복수 데이터를 판독하는 것을 특징으로 한다.

또한, 본 발명에 관한 데이터 저장 제어 프로그램은 복수의 메모리 뱅크로 이루어지는 메모리에 모든 데이터를 저장하여, 소망의 복수 데이터의 동시 판독을 행하는 데이터 저장 제어를 컴퓨터에 의해 실행하기 위한 데이터 저장 제어 프로그램으로서, 모든 데이터를 복수의 메모리 뱅크로 이루어지는 메모리에 저장할 때, 동시에 판독하려는 소망의 복수 데이터가 존재하는 범위를 분할 단위로 하여, 모든 데이터를 복수의 범위로 분할하고, 각 범위 내의 데이터를 상기 복수의 메모리 뱅크에 배분하며, 각각의 메모리 뱅크에 있어서는 하나의 워드 라인 상에 저장함으로써 상기 메모리 상에 배치된 상기 모든 데이터로부터, 상기 각 범위에서의 동시 판독 대상의 복수 데이터를 주기적으로 판독하고, 상기 각 범위 내의 일부를 인접하는 범위 내의 데이터와 순차 치환하거나 또는 재기입하여, 다음의 동시 판독 대상의 복수 데이터를 판독하는 것을 특징으로 한다.

이하, 본 발명의 실시예에 대하여, 도면을 참조하여 상세히 설명한다. 그리고, 본 발명은 이하의 예로 한정되는 것이 아니고, 본 발명의 요지를 일탈하지 않는 범위에서, 임의로 변경 가능하다 것은 말할 필요도 없다.

본 발명은 예를 들면 도 1에 나타낸 바와 같은 구성의 데이터 저장 장치(100)에 의해 실시된다.

이 데이터 저장 장치(100)는 화상 데이터 IP가 공급되는 메모리 제어부(10)와, 검출 패턴 DP가 공급되는 데이터 분할 판정부(20), 어드레스 변환부(30) 및 데이터 선택부(60)와, 상기 데이터 분할 판정부(20) 및 어드레스 변환부(30)의 출력에 따라 논리 어드레스를 생성하여 상기 메모리 제어부(10)에 공급하는 어드레스 생성부(40)와, 상기 메모리 제어부(10)에 의해 화소 데이터 PD의 기입/판독이 행해지는 복수의 메모리 뱅크로 이루어지는 메모리(50)를 구비하고, 상기 메모리(50)로부터 판독된 화소 데이터 PD를 상기 데이터 선택부(60)를 통하여 출력하도록 되어 있다.

이 데이터 저장 장치(100)에 있어서, 상기 메모리 제어부(10)는 예를 들면 마이크로 프로세서에서 구성되며, 도시하지 않은 프로그램 메모리에 저장된 데이터 저장 제어 프로그램에 따라, 도 2의 플로 차트에 나타낸 바와 같이, 데이터를 초기 배치하고, 초기 배치한 데이터의 일부를 교체하고 덧쓰기하여, 임의의 복수 화소 데이터를 동시에 판독하는 처리를 행한다.

즉, 상기 메모리 제어부(10)는 먼저, 검출 패턴 DP에 의해 나타내는 동시에 판독하는 복수의 화소 데이터의 공간 목표 범위를 상기 데이터 분할 판정부(20)에 의해 검출하고(스텝 S1), 동시 판독 가능한 데이터 범위, 주기를 결정하여(스텝 S2), 동시 판독하는 각 데이터의 메모리 뱅크와 워드 라인의 메모리 어드레스를 결정한다(스텝 S3).

다음에, 상기 메모리 제어부(10)는 모든 화상 데이터의 기입 어드레스를 결정하고 메모리(50)에 기입 초기 배치한다(스텝 S4).

여기서, 모든 화상 데이터의 초기 배치에 대하여 설명한다.

어떤 원하는 복수 화소 데이터가 존재하는 범위에 있어서의 데이터를, 각 메모리 뱅크의 동일 워드 라인 상에 배치한다. 이로써, 어떤 원하는 복수 화소 데이터의 동시 판독은 가능하게 된다. 그리고, 제1 메모리 뱅크에서는 제N 워드 라인에 데이터를 저장하고, 제2 메모리 뱅크에서는 제M 워드 라인 상에 데이터를 저장하도록 해도 된다. 그리고, N과 M은 동일하여도 상관없다.

다음에, 상기 데이터가 존재하는 범위 또는 그 범위상의 범위를 1주기로 하여, 모든 화상 데이터를 분할한다. 상기 범위에 의해 분할된 데이터를 각 메모리 뱅크의 워드 라인 상에 각각 배치한다. 이로써 각 범위에 존재하는 복수 화소 데이터는 동시에 판독할 수 있다.

그러나, 이 초기 배치 상태에서는 전술한 범위가 걸쳐 버릴 경우에 복수 화소 데이터를 동시에 판독할 수 없다.

그래서, 상기 메모리 제어부(10)는 초기 배치한 데이터를 상기 메모리(50)로부터 판독하고, 그 일부를 교체하여 상기 메모리(50)에 덧쓰기한다(스텝 S5).

즉, 초기 배치된 각 범위에 있어서의 복수 화소 데이터를 판독한 후에, 그 일부를 교환함으로써, 방금 전 동시 판독할 수 없었던 범위에 있어서의 복수 화소 데이터를 동시 판독 가능하도록 다시 배치한다.

이 때, 교환되는 데이터 앞에 있던 원래의 데이터는 다른 메모리, 또는 메모리의 미사용 부분, 남아 부분으로 이동시켜, 퇴피시킨다. 초기의 데이터가 삭제되지 않도록 퇴피와 덧쓰기를 동시에 행함으로써, 임의의 복수 화소 데이터를 동시에 판독하는 것이 가능해진다. 그리고, 교체되는 데이터 앞에 있던 원래의 데이터는 그 후의 처리에서 불필요로 알고 있는 경우에는 퇴피시키지 않고, 덧쓰기해도 된다.

여기서, 데이터의 교환 덧쓰기의 이동은 수직 방향, 수평 방향 어디라도 되고, 이동 후, 재차, 초기 배치로 되돌려도 된다. 또, 데이터의 교환 덧쓰기의 이동은 연속적이어도 되고, 불연속이어도 상관없고, 크기도 한정되지 않는다. 덧쓰기에 의해 데이터가 없어지는 것을 방지하기 위해서는 메모리의 남아 부분으로 퇴피시키고, 그 크기는 교체 덧쓰기의 데이터의 용량에 의해, 적당한 크기를 준비하면 된다.

상기 스텝 S5의 처리를 행하는 전에, 초기 배치한 데이터에 대해서, 교체 덧쓰기의 방향, 범위의 결정을 행할 수 있다(스텝 S5').

그리고, 상기 메모리 제어부(10)는 상기 메모리(50)로부터 복수의 데이터의 동시 판독을 행하고(스텝 S6), 그 일부를 교체하여 상기 메모리(50)에 덧쓰기하여(스텝 S7), 상기 스텝 S6으로 돌아와, 상기 스텝 S6과 스텝 S7의 각 처리를 반복해 행한다.

상기 메모리(50)의 종류는 공지의 것이면 된다. 구체예를 들면, SRAM, DRAM, MRAM, FeRAM 등을 들 수 있다.

여기서, 예를 들면 도 3에 나타낸 바와 같이, 모든 화상 데이터를 m0×n0으로 하고, 동시에 판독해야 할 복수 화소 데이터 YPD는 N개 존재하고, 모든 화상 데이터 내에서의 위치를(xi, yi；0＜=i＜N)으로 한 경우, 도 4에 나타낸 바와 같이, 복수 화소 데이터의 분포는 a0×b0(a0=max.xi－min.xi, b0=max.yi－min.xi)로 된다.

상기 스텝 S5의 초기 배치 처리에서는 a1×b1(a1＞=a0, b1＞=b0)의 범위를 주기로 해서 초기의 데이터 배치를 행한다.

즉, 도 5에 나타낸 바와 같이, 초기의 데이터 배치는 모든 화상 데이터 m0×n0 내의 데이터를 a1×b1의 범위를 주기로 해서 배치한다. 도 5에 사선을 부여하여 나타낸 a1×b1의 범위 내의 데이터는 각 메모리 뱅크의 동일 워드 라인 상에 배치되고, 동시 판독 가능하게 하여 둔다.

그리고, 상기 스텝 S6의 덧쓰기 처리에서는 도 6에 나타낸 바와 같이, a1×b1의 범위 내의 데이터를 주기적으로 판독한 후에 그 일부(도 6에서는 회색 부분)를 인접의 a1×b1의 범위 데이터와 교환하여 덧쓰기를 행한다. 교환하고 덧쓰기하는 회색 부분의 범위는 a1×b1의 범위 이하이면 된다.

초기의 데이터 배치에 있어서, 모든 화상 데이터의 판독이 종료, 즉 데이터의 교환·덧쓰기가 종료하면, 도 7에 나타낸 바와 같이, 초기의 데이터 배치로부터 도 6에서의 회색 부분이 어긋난 데이터 배치가 된다.

즉, 회색 부분만 어긋난 a1×b1의 범위의 데이터가 동시 판독 가능해진다. 도 7의 배치에서는 도 5의 초기 배치로부터 도 6에서의 회색 부분이 일단 내렸을 때의 a1×b1의 범위의 데이터가 동시 판독 가능해진다.

따라서, 상기 스텝 S6 및 스텝 S7에서는 이와 같이 주기적인 판독을 행하고, 판독 후의 교체 덧쓰기를 계속하는 것으로, 모든 화상 데이터 상의 모든 a1×b1의 범위의 데이터를 동시에 판독할 수 있다.

다음에, 상기 데이터 저장 장치(100)에 있어서의 모든 화상 데이터의 저장 및 복수 화소 데이터의 동시 판독의 구체예로서, 도 8에 나타낸 바와 같이, 모든 화상 데이터는 720×240이며, 판독해야 할 복수 데이터 YPD는 7개 존재하고, 판독해야 할 복수 데이터의 분포는 128×64의 범위 내에 존재하는 경우에 대하여 설명한다.

그리고, 이하에 설명하는 구체예는 일례이며, 본 발명은 구체예로 한정되는 것은 아니다.

먼저, 최초의 판독해야 할 복수 데이터의 패턴이 존재하는 128×64의 범위의 데이터를 초기 배치한다. 여기서는 8메모리 뱅크를 준비하고, 1워드 라인 상에1024 화소 저장되는 메모리를 준비한다. 도 9a, 도 9b에 나타낸 바와 같이 상기 128×64의 범위를 16×64의 단책(短冊), 8개로 분할하고, 16×64의 각 단책을 각 메모리 뱅크의 1워드 라인 상에 저장한다. 예를 들면, 도 9b에 있어서, 단책 ST1은 제1 뱅크의 제n 1워드 라인에 저장되고, 단책 ST2는 제2 뱅크의 제n 2워드 라인에 저장된다.

이로써 최초에 판독해야 할 복수 데이터 7개를 포함하는 128×64 범위에 존재하는 데이터는 각 메모리 뱅크의 1워드 라인 상에 저장되어 있으므로 동시 판독 가능하다.

다음에, 도 10에 나타낸 바와 같이, 이 128×64의 주기를 사용하여, 모든 화상 데이터를 복수의 각 범위 A1, A2···의 데이터로 분할한다.

그리고, 도 11에 나타낸 바와 같이, 분할된 128×64의 범위 A1, A2···에 있는 데이터는 각각 방금 전과 마찬가지로 각 메모리 뱅크의 1워드 라인 상에 저장한다.

여기서는 편의상, 모든 화상 데이터를 분할한 좌측 상단으로부터 아래로 향해 1, 2···로 번호 붙인다. 128×64의 범위에 있는 데이터는 좌측으로부터 16×64의 단책 주기로 제1 메모리 뱅크, 제2 메모리 뱅크···에 저장된다. 저장되는 워드 라인은 분할한 128×64의 번호에 따라 저장된다. 도 11에 나타낸 예에서는 범위 A6에 있으므로 각 메모리 뱅크의 6번째의 워드 라인 상에 데이터가 저장된다. 즉, 단책 A6＿ST1의 데이터는 제1 뱅크의 6번째의 워드 라인 상에 저장되고, 단책 A6＿ST2의 데이터는 제2 뱅크의 6번째의 워드 라인 상에 저장된다. 마찬가지로, 단책 A7＿ST1의 데이터는 제1 뱅크의 7번째의 워드 라인 상에 저장되고, 단책 A7＿ST2의 데이터는 제2 뱅크의 7번째의 워드 라인 상에 저장된다.

이같이 하여, 모든 화상 데이터를 메모리(50)에 저장하면 도 12에 나타낸 바와 같이, 이와 같이 분할한 128×64의 범위에 존재하는 임의의 복수의 데이터 GP1, GP2, GP3는 동시에 판독 가능해진다.

다음에, 128×64의 범위 사이를 넘는 것 같은 경우에는 임의로 복수 동시 판독할 수 없기 때문에, 도 13과 같은 초기 배치로, 각 128×64의 범위를 판독할 때의 그 일부를 교환하고 덧쓰기를 행한다.

예를 들면, 도 14에 나타낸 바와 같이 128×64의 범위 중의 128×1을 판독하고, 인접한 128×64의 범위의 128×1의 위치에 덧쓰기를 행한다.

그 때, 최초의 128×1의 데이터가 없어지지 않게, 메모리(50)의 남아 부분으로 퇴피시킨다.

이 조작을 반복함으로써 128×64의 범위는 순서대로 이동하고, 그 128×64의 범위에 존재하는 데이터는 동시 판독 가능하므로 이 조작을 반복함으로써 모든 화상 데이터의 임의의 복수 데이터를 판독할 수 있다.

여기서, 도 13에 나타낸 예에서는 범위 A6의 사선 부분을 판독한 후, 범위 A5의 사선 부분에 덧쓰기하고, 다음에, 범위 A7의 사선 부분을 판독한 후, 범위 A6의 사선 부분에 덧쓰기하고, 이하 이것을 반복한다.

본 발명은 예를 들면 도 15에 나타낸 바와 같은 구성의 화상의 움직임 검출 장치(9)에 적용된다. 그리고, 움직임 검출 장치(9)는 1적용예로서, 본 발명은 이 적용예 이외에도 적용할 수 있다는 것은 말할 것도 없다.

이 움직임 검출 장치(9)는 입력 단자(1)에 디지털 비디오 신호가 공급된다. 디지털 비디오 신호는 예를 들면 휘도 신호를 소정의 주파수로 샘플링하고, 샘플(화소)을 각각 8비트로 변환한 것이다. 디지털 비디오 신호가 대표점 매칭 처리부(2)에 공급된다.

대표점 매칭 처리부(2)는 전프레임의 화상을 솎아냄 처리함으로써, 대표점으로 이루어지는 화상으로 변환하고, 현프레임의 화상과 전프레임의 대표점으로 이루어지는 화상과의 사이에서, 블록 매칭과 마찬가지로, 매칭 처리를 행하는 것이다. 대표점은 도 16에 나타낸 바와 같이, 1화면 예를 들면 1프레임의 화상을 복수의(m화소×n라인)의 블록으로 분할했을 때의 각 블록을 대표하는 데이터이다. 대표점 데이터로서는 블록의 중심 위치의 화소의 값, 블록 내의 화소의 값의 평균치, 블록 내의 화소의 중간치 등이 사용된다.

대표점 매칭 처리부(2)는 설정된 서치 범위 내로 현프레임의 참조 프레임 화상과, 대표점 데이터로 구성되고 전프레임의 후보 프레임 화상과의 사이에서, 프레임간 차분을 계산한다. 즉, 전프레임이 있는 블록의 대표점 데이터로부터, 현프레임의 동일 위치의 블록의 m×n개의 각 화소의 값이 감산되고 감산 출력의 절대치가1블록으로 적산되고, 또한, 각 블록의 적산치가 1프레임으로 적산된다. 이 적산치가 평가치 테이블 형성부(3)에 공급된다. 평가치 테이블 형성부(3)에서는 서치 범위 내의 각 위치에 있어서 요구된 적산치를 메모리에 기억하고, 메모리 상에 평가치 테이블을 형성한다.

평가치 테이블 형성부(3)에 의해 형성된 평가치 테이블을 참조하여, 1 또는 복수의 후보 벡터를 후보 벡터 추출부(4)가 추출한다. 추출된 후보 벡터가 움직임 벡터 검출부(5)에 공급된다. 움직임 벡터 검출부(5)에는 지연 회로(6)를 통하여 입력 비디오 데이터가 공급된다. 지연 회로(6)는 후보 벡터를 지연하는 것에 요하는 시간만큼, 입력 비디오 데이터를 지연시킨다. 입력 비디오 데이터가 메모리로부터 판독되는 것일 때는 판독한 비디오 데이터를 움직임 벡터 검출부(5)에게 주면 양호하므로, 지연 회로(6)를 설치할 필요가 없다.

움직임 벡터 검출부(5)는 후보 벡터를 사용한 매칭 처리에 의해 1화소 단위로 움직임 벡터를 검출하고, 출력단자(7)에 검출한 움직임 벡터를 출력한다. 여기서, 1화소 단위의 움직임 벡터 검출에 대하여 설명한다. 1화소 단위의 움직임 벡터 검출에 있어서도, 평가치를 얻기 위해, 블록화가 이루어진다. 도 17에 나타낸 바와 같이, 예를 들면 화소 P1을 중심으로 하는 3×3의 블록 B1을 구성한다. 블록 B1이 예를 들면 현프레임의 참조 블록이다. 전프레임의 후보 블록도 마찬가지로 구성된다. 그리고, 블록 매칭에 의해, 서치 범위 내의 평가치 테이블이 형성된다. 이 평가치 테이블 내에서 최소의 평가치와 대응하여 화소 P1에 관해서 움직임 벡터가 검출된다. 다음에, 근처의 화소 P2에 대하여 마찬가지로 참조 블록이 형성된다. 그리고, 블록 매칭에 의해, 마찬가지로 평가치 테이블이 형성되고, 평가치 테이블에 따라 화소 P2에 관한 움직임 벡터가 검출된다. 이같이 하여 1화소마다 움직임 벡터가 검출된다.

일반적으로는 1화소마다 움직임 벡터를 검출하는 처리는 블록마다 움직임 벡터를 검출하는 처리와 비교하여 큰 폭으로 계산량이 증대하고, 처리가 복잡화한다. 그러나, 여기서는 후보 벡터 추출부(4)에서 추출된 1 또는 복수의 후보 벡터만을 대상으로 해서 움직임 벡터를 검출하므로, 계산량의 증대, 처리의 복잡화를 방지할 수 있다.

도 18은 후보 벡터 추출부(4)의 처리를 설명하기 위한 것이다. 평가치 테이블 형성부(3)에 있어서 형성된 평가치 테이블은 x 및 y 좌표로 규정되는 서치 범위의 z 좌표로서, 평가치가 존재하는 것이다. 도 18a는 평가치 테이블의 x 방향의 분포의 일례를 개념적으로 나타내고, 예를 들면 y=y1을 통과하는 수평 방향의 분포이다. 도 18bs는 평가치 테이블의 y 방향의 분포의 일례 개념적으로 나타내고, 예를 들면 x=x1을 통과하는 수직 방향의 분포이다. 도 18a, 18b에 나타낸 평가치 테이블로부터는 좌표 상의 원점과 (x=x1, y=y1)의 점에 각각 극소치가 존재하고 있는 것을 알 수 있다. 이와 같은 평가치 테이블은 배경(정지화)에 대해서 경사로 이동하는 물체가 존재하는 화상의 경우에 얻어진다.

후보 벡터 추출부(4)는 이와 같은 평가치 테이블로부터 극소치를 찾아, 극소치에 대응하는 후보 벡터를 추출한다. 도 18의 예에서는 (x=0, y=0)의 움직임 벡터와 (x=x1, y=y1)의 움직임 벡터를 후보 벡터로서 추출한다. 여기서는 간단화를 위해, 두 개의 극소치가 명확하게 존재하는 평가치 테이블의 예에 대하여 설명한다. 그러나, 실제로는 보다 많은 극소치가 존재하고. 또, 각 극소치의 크기가 상위하며, 또한, 각 극소치와 주변의 평가치에 의해 그려지는 곡선의 형상이 상위하다. 후보 벡터 추출부(4)에서는 그와 같은 경우에, 적절한 후보 벡터를 추출하도록, 후보수를 삭감한다. 즉, 극소치와 한계치를 비교하여, 한계치보다 큰 극소치는 후보 벡터로 하지 않는 처리를 행하고, 또, 극소치와 주변의 평가치로 그려지는 곡선의 가파른 정도를 검출하고, 검출한 가파른 정도와 한계치를 비교하여, 가파른 정도가 작은 것을 후보 벡터로 하지 않는 처리를 행한다.

움직임 벡터 검출부(5)는 이와 같이 추출된 후보 벡터 만을 대상으로 하여, 1화소마다 후보 벡터로부터 최선이라고 생각되는 움직임 벡터를 결정한다. 전술한 예와 같이, 두 개의 후보 벡터가 주어졌을 때, 주목 화소에 대하여, 매칭 처리에 의해, 도 19에 나타낸 바와 같이, 두 개의 평가치를 형성한다. 하나의 평가치 E0, 0은 (x=0, y=0)의 움직임 벡터에 대응하는 것이며, 다른 평가치 Ex1, y1는 (x=x1, y=y1)의 움직임 벡터에 대응하는 것이다.

평가치에 따라 최선의 움직임 벡터를 결정하는 방법의 일례를 설명한다. 후보 벡터에 각각 대응하여 요구된 평가치 중에서 최소의 평가치를 일으키고, 또한 그 크기가 충분히 작게 되는 것을 최선의 움직임 벡터로서 선택한다. 예를 들면 평가치 E0, 0이 최소이며, 또한 평가치 E0, 0이 충분히 작은 값으로 되는 경우에는 움직임 벡터 MV으로서 (x=0, y=0)가 선택된다. 한편, 평가치 Ex1, y1이 최소이며, 또한 평가치 Ex1, y1이 충분히 작은 값으로 되는 경우에는 주목 화소의 움직임 움직임 벡터 MV으로서 (x=x1, y=y1)가 선택된다. 만약, 이들 조건이 충족되지 않은 화소에 관해서는 움직임 벡터를 부정으로 한다. 후보 벡터로부터 최선의 움직임 벡터를 결정하는 방법으로서는 이외의 다른 방법이 가능하다.

이와 같은 구성의 화상의 움직임 검출 장치(9)에서는 상기 대표점 매칭 처리부(2)에 있어서의 대표점 매칭 처리 과정 및 후보 벡터 추출부(4)에 있어서의 후보 벡터 할당 과정으로 임의의 복수 데이터를 판독할 필요가 있다. 전술한 도 1에 나타낸 구성의 데이터 저장 장치(100)를 구비하는 것에 의해, 상기 데이터 저장 장치(100)로부터 소망의 복수 데이터를 판독하여, 상기 대표점 매칭 처리부(2)에 있어서의 대표점 매칭 처리과정 및 후보 벡터 추출부(4)에 있어서의 후보 벡터 할당 과정을 실행한다. 또, 2스텝 방식에 의한 대표점 매칭에 의해 움직임 검출을 행한 후, 각 프레임의 움직임 벡터의 주변 화소를 끌어 당기는 탭 끌어 당기기 과정에 있어서도, 상기 데이터 저장 장치(100)로부터 임의의 복수 데이터를 판독할 수 있다.

도 1은 본 발명을 실시하는 데이터 저장 장치의 구성을 나타낸 블록도이다.

도 2는 상기 데이터 저장 장치에서 메모리 제어부에 의해 실행되는 데이터 저장 제어의 순서를 나타낸 플로 차트이다.

도 3은 모든 화상 데이터 내에서 동시에 판독해야 할 화소 데이터의 위치를 설명하기 위한 모식적인 도면이다.

도 4는 상기 복수 화소 데이터의 분포 상태를 나타내는 모식적인 도면이다.

도 5는 상기 데이터 저장 장치에서 데이터의 초기 배치를 설명하기 위한 모식적인 도면이다.

도 6은 상기 데이터 저장 장치에서 데이터의 교환, 덧쓰기를 설명하기 위한 모식적인 도면이다.

도 7은 상기 데이터의 교환, 덧쓰기 후의 데이터 배치를 나타내는 모식적인 도면이다.

도 8은 상기 데이터 저장 장치에서 모든 화상 데이터의 저장 및 복수 화소 데이터의 동시 판독의 구체예에서 모든 화상 데이터 및 동시에 판독해야 할 복수 화소 데이터를 나타내는 모식적인 도면이다.

도 9는 상기 구체예에서 모든 화상 데이터의 초기 배치를 설명하기 위한 모식적인 도면이다.

도 10은 상기 구체예에서 모든 화상 데이터를 복수의 각 범위의 데이터로 분할한 상태를 설명하기 위한 모식적인 도면이다.

도 11은 상기 구체예에서 분할된 각 범위에 있는 데이터의 각 메모리 뱅크에의 저장 상태를 설명하기 위한 모식적인 도면이다.

도 12는 상기 구체예에서, 모든 화상 데이터를 메모리에 저장한 초기 배치로 동시에 판독 가능한 복수 데이터를 나타내는 모식적인 도면이다.

도 13은 상기 구체예에서 데이터의 교환, 덧쓰기를 설명하기 위한 모식적인 도면이다.

도 14는 상기 구체예에서 덧쓰기의 위치를 나타내는 모식적인 도면이다.

도 15는 본 발명이 적용되는 화상의 움직임 검출 장치의 구성을 나타내는 블록도이다.

도 16은 상기 화상의 움직임 검출 장치에서 대표전 블록 매칭을 설명하기 위한 모식적인 도면이다.

도 17은 상기 화상의 움직임 검출 장치에서 1화소 단위의 움직임 벡터 검출 처리를 설명하기 위한 모식적인 도면이다.

도 18은 상기 화상의 움직임 검출 장치에서 평가치 분포의 일례를 나타내는 도면이다.

도 19는 상기 화상의 움직임 검출 장치에서 평가치 테이블의 일례를 나타내는 도면이다.

도 20은 일반적인 반도체 메모리의 구조를 모식적으로 나타내는 도면이다.

도 21은 상기 반도체 메모리에서 동시 액세스할 수 없는 상태를 모식적으로 나타내는 도면이다.

도 22는 복수의 메모리 뱅크의 메모리 구성을 나타낸 도면이다.

Claims (10)

1. 복수의 메모리 뱅크로 이루어지는 메모리와,

   검출 패턴에 기초하여, 동시에 판독하려는 소망의 복수 데이터가 존재하는 범위를 데이터의 분할 단위로 결정하는 데이터 분할 판정 수단과,

   상기 메모리에 대한 데이터의 기입/판독을 제어하는 메모리 제어 수단

   을 구비하고,

   상기 메모리 제어 수단은 상기 데이터 분할 판정 수단으로부터의 분할 단위에 근거해서, 모든 데이터를 복수의 범위로 분할하고, 각 범위 내의 데이터를 상기 복수의 메모리 뱅크에 배분하며, 각각의 메모리 뱅크에 있어서는 하나의 워드 라인 상에 저장함으로써, 상기 메모리 상에 배치된 상기 모든 데이터로부터, 상기 각 범위에서의 동시 판독 대상의 복수 데이터를 주기적으로 판독하고, 상기 각 범위 내의 일부를 인접하는 범위 내의 데이터와 순차 치환하거나 또는 재기입하여, 다음의 동시 판독 대상의 복수 데이터를 판독하는 제어를 행하는 것을 특징으로 하는 데이터 저장 장치.
2. 제1항에 있어서,

   상기 메모리 제어 수단은 각 범위에서 동시 판독 대상의 복수 데이터의 주기적인 판독 및 판독된 상기 판독 대상의 복수 데이터 중 적어도 일부를 기입 앞의 데이터의 퇴피 후에 기입하는 것을 반복함으로써, 모든 데이터에 대해 소망의 복수 데이터의 동시 판독을 행하는 것을 특징으로 하는 데이터 저장 장치.
3. 검출 패턴에 기초하여, 동시에 판독하려는 소망의 복수 데이터가 존재하는 범위를 데이터의 분할 단위로 결정하는 데이터 분할 판정 수단과,

   복수의 메모리 뱅크로 이루어지는 메모리에 대한 데이터의 기입/판독을 제어하는 메모리 제어 수단

   을 구비하고,

   상기 메모리 제어 수단은 상기 데이터 분할 판정 수단으로부터의 분할 단위에 근거해서, 모든 데이터를 복수의 범위로 분할하고, 각 범위 내의 데이터를 상기 복수의 메모리 뱅크에 배분하며, 각각의 메모리 뱅크에 있어서는 하나의 워드 라인 상에 저장함으로써, 상기 메모리 상에 배치된 상기 모든 데이터로부터, 상기 각 범위에서의 동시 판독 대상의 복수 데이터를 주기적으로 판독하고, 상기 각 범위 내의 일부를 인접하는 범위 내의 데이터와 순차 치환하거나 또는 재기입하여, 다음의 동시 판독 대상의 복수 데이터를 판독하는 제어를 행하는 것을 특징으로 하는 데이터 저장 제어 장치.
4. 제3항에 있어서,

   상기 메모리 제어 수단은 각 범위에서 동시 판독 대상의 복수 데이터의 주기적인 판독 및 판독된 상기 판독 대상의 복수 데이터 중 적어도 일부를, 기입 앞의 데이터의 퇴피 후에 기입하는 것을 반복함으로써, 모든 데이터에 대해 소망의 복수 데이터의 동시 판독을 행하는 것을 특징으로 하는 데이터 저장 제어 장치.
5. 모든 데이터를 복수의 메모리 뱅크로 이루어지는 메모리에 저장할 때, 동시에 판독하려는 소망의 복수 데이터가 존재하는 범위를 분할 단위로 하여, 모든 데이터를 복수의 범위로 분할하고,

   각 범위 내의 데이터를 상기 복수의 메모리 뱅크에 배분하며, 각각의 메모리 뱅크에 있어서는 하나의 워드 라인 상에 저장함으로써 상기 메모리 상에 배치된 상기 모든 데이터로부터, 상기 각 범위에서의 동시 판독 대상의 복수 데이터를 주기적으로 판독하고, 상기 각 범위 내의 일부를 인접하는 범위 내의 데이터와 순차 치환하거나 또는 재기입하여, 다음의 동시 판독 대상의 복수 데이터를 판독하는 것을 특징으로 하는 데이터 저장 제어 방법.
6. 제6항에 있어서,

   각 범위에서 동시 판독 대상의 복수 데이터의 주기적인 판독 및 판독된 상기 판독 대상의 복수 데이터 중 적어도 일부를, 기입 앞의 데이터의 퇴피 후에 기입하는 것을 반복함으로써, 모든 데이터에 대해 소망의 복수 데이터의 동시 판독을 행하는 것을 특징으로 하는 데이터 저장 제어 방법.
7. 제5항에 있어서,

   화상의 움직임 검출을 2스텝 방식의 대표점 매칭에 의해 행하는 과정에 있어서, 화상 내에서 임의의 복수의 화소 데이터 패턴을 동시에 판독하는 것을 특징으로 하는 데이터 저장 제어 방법.
8. 복수의 메모리 뱅크로 이루어지는 메모리에 모든 데이터를 저장하여, 소망의 복수 데이터의 동시 판독을 행하는 데이터 저장 제어를 컴퓨터에 의해 실행하기 위한 데이터 저장 제어 프로그램에 있어서,

   모든 데이터를 복수의 메모리 뱅크로 이루어지는 메모리에 저장할 때, 동시에 판독하려는 소망의 복수 데이터가 존재하는 범위를 분할 단위로 하여, 모든 데이터를 복수의 범위로 분할하고, 각 범위 내의 데이터를 상기 복수의 메모리 뱅크에 배분하며, 각각의 메모리 뱅크에 있어서는 하나의 워드 라인 상에 저장함으로써 상기 메모리 상에 배치된 상기 모든 데이터로부터, 상기 각 범위에서의 동시 판독 대상의 복수 데이터를 주기적으로 판독하고, 상기 각 범위 내의 일부를 인접하는 범위 내의 데이터와 순차 치환하거나 또는 재기입하여, 다음의 동시 판독 대상의 복수 데이터를 판독하는 것을 특징으로 하는 데이터 저장 제어 프로그램.
9. 제8항에 있어서,

   각 범위에서 동시 판독 대상의 복수 데이터의 주기적인 판독 및 판독된 상기 판독 대상의 복수 데이터 중 적어도 일부를, 기입 앞의 데이터의 퇴피 후에 기입하는 것을 반복함으로써, 모든 데이터에 대해 소망의 복수 데이터의 동시 판독을 행하는 것을 특징으로 하는 데이터 저장 제어 프로그램.
10. 제8항에 있어서,

    화상의 움직임 검출을 2스텝 방식의 대표점 매칭에 의해 행하는 과정에 있어서, 화상 내에서의 임의의 복수의 화소 데이터 패턴을 동시에 판독하는 것을 특징으로 하는 데이터 저장 제어 프로그램.