KR100964621B1 - 기억 장치, 신호 처리 장치, 및 화상 신호 처리 장치, 및그들의 방법 - Google Patents

기억 장치, 신호 처리 장치, 및 화상 신호 처리 장치, 및그들의 방법 Download PDF

Info

Publication number
KR100964621B1
KR100964621B1 KR20047004679A KR20047004679A KR100964621B1 KR 100964621 B1 KR100964621 B1 KR 100964621B1 KR 20047004679 A KR20047004679 A KR 20047004679A KR 20047004679 A KR20047004679 A KR 20047004679A KR 100964621 B1 KR100964621 B1 KR 100964621B1
Authority
KR
South Korea
Prior art keywords
data
feature amount
positional information
information
feature
Prior art date
Application number
KR20047004679A
Other languages
English (en)
Other versions
KR20050027206A (ko
Inventor
곤도데쓰지로
요시카와가즈시
이시바시준이치
와다세이지
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20050027206A publication Critical patent/KR20050027206A/ko
Application granted granted Critical
Publication of KR100964621B1 publication Critical patent/KR100964621B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98—Adaptive-dynamic-range coding [ADRC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

약간의 연산량만으로 매칭 처리를 실행할 수 있고, 모션 벡터 등을 정밀도 양호하게 검출하는 것을 가능하게 하는 기억 장치, 신호 처리 장치, 및 화상 신호 처리 장치, 및 신호 처리 방법으로서, 제2 프레임 메모리에 저장되어 있는 참조 프레임(Fr)의 정보에 따라, 주목 화소를 중심으로 한 어느 블록 범위의 화소값을 포함하는 특징량을 어드레스로 하여 변환하고, 변환 후의 위치 정보를 포함하는 정보를 저장하는 ME 메모리(13)와, 제1 프레임 메모리(11)로부터 공급된 현재 프레임(Fc)의 정보에 포함되는 주목 화소의 특징량을 특징량 어드레스로 하여 ME 메모리(13)의 저장 정보를 판독하고, 현재 프레임 내의 주목 화소와 ME 어드레스(13)로부터 판독된 특징량 어드레스(위치 좌표)의 거리를 연산하여, 복수의 후보 중에서 거리가 최소인 위치 정보에 따른 차분 좌표를 주목 화소의 모션 벡터(Vx, Vy)로서 검출하는 매칭부(14)를 형성한다.
Figure R1020047004679
연산량, 모션 벡터, 특징량, 저장 정보, 주목 화소.

Description

기억 장치, 신호 처리 장치, 및 화상 신호 처리 장치, 및 그들의 방법 {STORAGE DEVICE, SIGNAL PROCESSOR, AND IMAGE SIGNAL PROCESSOR, AND THEIR METHODS}
본 발명은, 예를 들면 동화상(動畵像) 압축 장치 등에 사용되는 모션(motion) 검출 장치나 옵젝트(object) 검색 장치 등 매칭(matching)을 필요로 하는 처리에 적용 가능한 기억 장치, 신호 처리 장치, 및 화상 신호 처리 장치, 및 신호 처리 방법에 관한 것이다.
신호의 매칭 처리, 특히 화상 신호의 매칭 처리는 일반적으로 연산량이 많다고 하는 문제점이 있다. 매칭 처리를 사용한 예로서, 이하에 설명하는 바와 같은 블록 매칭에 의한 모션 벡터(motion vector) 검출이 있다.
즉, 화상 처리 장치에서는, 동화상 압축을 효율 양호하게 실행하기 위한 주요 기술의 하나로서, 화상의 모션을 나타내는 모션 벡터를 구하는 모션 검출이 있다. 이 모션 벡터를 구하는 방법은 몇 개인가 제안되어 있지만, 주된 방법의 하나로서 블록 매칭 알고리즘이라고 불려지는 방법이 있다.
도 1은 블록 매칭 알고리즘을 채용한 종래의 화상 처리 장치에 있어서의 모션 검출 장치의 구성예를 나타낸 블록도이다.
이 모션 검출 장치(1)는 프레임 메모리(2, 3), 및 모션 벡터 검출부(4)를 가지고 있다.
모션 검출 장치(1)에서는, 입력 단자(TIN)로부터 화상 신호가 입력되면, 1 화면의 정보가 프레임 메모리(2)에 저장된다.
다음의 화상 정보가 입력되면, 방금 전의(전회에 입력된) 프레임 메모리(2)의 정보가 프레임 메모리(3)에 저장되고, 현재(금회) 입력된 정보가 프레임 메모리(2)에 저장된다.
즉, 현재 프레임(Fc)의 정보가 프레임 메모리(2)에, 참조 프레임(Fr)의 정보가 프레임 메모리(3)에 저장되어 있게 된다.
다음에, 현재 프레임(Fc), 참조 프레임(Fr)의 정보가 모션 벡터 검출부(4)에 보내진다. 그리고, 모션 벡터 검출부(4)에서 블록 분배되어 모션 벡터(Vx, Vy)가 검출되고, 단자(TOUT)로부터 출력된다.
도 2는 블록 매칭 알고리즘의 개요를 설명하기 위한 도면이다. 이하에, 알고리즘의 개요를 도 2와 관련시켜 설명한다.
이 알고리즘에서는, 현재 프레임(Fc) 내의 주목(注目) 화소 Fc(x, y)에서의 모션 벡터는 주목 화소 Fc(x, y)를 중심으로 하고 있는 기준 블록 범위(L×L)의 화소와, 참조 프레임(Fr) 내의 서치 영역(SR) 내의 상기 블록 범위(L×L)와 동일 블록 범위 내의 화소에서 대응하는 화소의 차분(差分) 절대값 합을 연산한다.
서치 영역(SR) 내에서 추출하는 블록 범위를 1 화소씩 이동시키면서 전술한 연산을 반복하여, 모든 블록 중에서 차분 절대값 합이 가장 작은 블록의 중심 위치 와 주목 화소 위치의 차분 벡터를 해답(모션 벡터)으로 한다.
다음에, 도 3과 관련시켜 현재 프레임(Fc) 내 어느 화소 Fc(x, y)의 모션 벡터를 검출하는 처리 순서를 상세히 설명한다.
스텝 ST1
스텝 ST1에서는, 처리 개시 ST0 후, 주목 화소의 위치(x, y)로부터 참조 프레임 내의 동 위치를 기준으로 한 서치 영역(SR)이 결정된다.
스텝 ST2
스텝 ST2에서는, 연산 결과의 최소값을 저장하는 변수 min의 초기화를 위해, 연산식의 최대값을 대입한다. 1 화소를 8비트, 블록 내의 화소수를 16으로 하면, 28×16=4096을 변수 min에 대입한다.
스텝 ST3
스텝 ST3에서는, 서치 영역(SR) 내의 블록을 카운트하는 카운터 변수 n을 1로 초기화한다.
스텝 ST4
스텝 ST4에서는, 연산 결과를 대입하는 변수 sum를 0으로 초기화한다.
스텝 ST5
스텝 ST5에서는, 기준 블록의 범위를 L×L, 현재 프레임(Fc)이 있는 블록 내의 화소를 Fc(i, j), 참조 프레임(Fr)의 서치 영역(SR) 내의 k번째 블록 내의 화소를 Frk(i, j)로 하면, 대응하는 화소와의 차분 절대값 합, 즉 다음의 식 1에 나타 내는 연산을 행하여, 연산 결과를 sum에 대입한다.
Figure 112004013017617-pct00001
… (1)
스텝 ST6
스텝 ST6에서는, 연산한 차분 절대값 합 sum과 차분 절대값 합의 최소값 min의 대소 관계의 판별을 실행한다. 연산한 차분 절대값 합 sum이 작은 경우에는 스텝 ST7로, 큰 경우(동일한 경우를 포함함)에는 연산 결과가 최소값이 아니므로 갱신 절차인 스텝 ST7을 스킵하여 스텝 ST8로 진행한다.
스텝 ST7
스텝 ST7에서는, 최소값 min을 연산 결과 sum으로 갱신하여, 모션 벡터 번호로서 블록의 카운트값 n을 설정한다.
스텝 ST8
스텝 ST8에서는, 블록의 카운트값 n이 서치 영역(SR) 내의 블록 총수, 즉 최후의 블록이면 종료이므로 스텝 ST10으로, 최후의 블록이 아니면 ST9로 진행한다.
스텝 ST9
스텝 ST9에서는, 블록의 카운트값 n을 n+1로 인크리멘트(increment)하여, 연산을 반복하기 위해 스텝 ST4로 진행한다.
스텝 ST10
스텝 ST10에서는, 모션 번호에 저장되어 있는 블록 번호의 블록 중심 화소(x, y)로부터 모션 벡터를 구해 출력한다.
전술한 블록 매칭 알고리즘은 식 (1)의 연산을 반복하여 실행하기 때문에, 연산량이 매우 방대해지고 있어, MPEG 등의 화상 압축 처리의 거의 대부분의 시간이 이것에 허비된다고 하는 불이익이 있다.
본 발명의 목적은 약간의 연산량만으로 매칭 처리 등을 할 수 있고, 또한 모션 벡터 등을 정밀도 양호하게 검출하는 것을 가능하게 하는 기억 장치, 신호 처리 장치, 화상 처리 장치 및 신호 처리 방법을 제공하는 것에 있다.
상기 목적을 달성하기 위해, 본 발명의 제1 관점은 정보를 기억하는 기억 장치에 있어서, 상기 정보가 입력 또는 출력되는 입출력 수단과, 상기 정보를 기억하는 저장부를 가지며, 상기 저장부는 적어도 소정 신호에 있어서의 주목 데이터의 특징에 대응한 어드레스에 제어되고 있으며, 상기 정보는 상기 소정 신호에 있어서의 상기 주목 데이터의 위치 정보이다.
바람직하게는, 상기 기억 장치는 반도체 장치이다.
본 발명의 제2 관점은 복수의 제1 데이터를 포함하는 제1 신호와, 복수의 제2 데이터를 포함하는 제2 신호를 이용하여 매칭 처리를 실행하는 신호 처리 장치에 있어서, 상기 제1 신호에서, 주목 위치의 데이터인 주목 데이터인 특징량을 추출하는 제1 특징량 추출 수단과, 상기 제2 데이터 각각의 특징량에 대응하는 어드레스로 지정된 개소에, 상기 제2 데이터의 위치 정보를 저장하는 저장 수단을 가지며, 상기 주목 데이터의 상기 특징량에 대응하는 어드레스로, 상기 저장 수단에 저장된 상기 제2 데이터의 위치 정보를 판독함으로써, 상기 주목 데이터에 대응하는 상기 제2 데이터의 위치 정보가 취득된다.
바람직하게는, 상기 저장 수단은 미리 상기 제2 데이터의 위치 정보를 저장한 것이다.
또, 상기 신호 처리 장치는 상기 제2 신호에서 제2 데이터 각각의 특징량을 추출하는 제2 특징량 추출 수단을 추가로 가진다.
바람직하게는, 상기 제1 특징량 추출 수단은 상기 제2 신호에서 제2 데이터 각각의 특징량을 추출하는 제2 특징량 추출 수단을 추가로 가진다.
또, 바람직하게는, 상기 제1 내지 제2 신호는 화상 신호이다.
또, 상기 특징량은 소정 수의 제1 내지 제2 데이터를 이용하여 추출된다.
또, 상기 특징량은 소정 수의 제1 내지 제2 데이터의 값의 분포이다.
또, 상기 제1 내지 제2 데이터는 복수의 비트로 표시되고, 상기 특징량은 상기 복수 비트의 소정 비트를 생략한 상기 소정 수의 제1 내지 제2 데이터의 값의 분포이다.
바람직하게는, 상기 소정 비트는 상기 제1 내지 제2 데이터의 하위측 비트이다.
또, 상기 특징량은 소정 수의 재양자화(再量子化)된 제1 내지 제2 데이터의 값의 분포이다. 특징량은 소정 수의 적응적 양자화가 이루어진 제1 내지 제2 데이터의 값의 분포이다. 또, 상기 적응적 양자화는 ADRC이다.
바람직하게는, 상기 주목 데이터의 특징량에 대응하는 상기 제2 데이터의 위 치 정보가 상기 저장 수단으로부터 복수 판독된 경우에는, 상기 주목 데이터의 위치에 가장 거리가 가까운 상기 위치 정보를 상기 주목 데이터에 대응하는 상기 제2 데이터의 위치 정보로 한다.
본 발명의 제3 관점은 복수의 제1 데이터를 포함하는 제1 화상 신호와, 복수의 제2 데이터를 포함하는 제2 화상 신호를 이용하여 모션 벡터를 검출하는 화상 신호 처리 장치에 있어서, 상기 제1 화상 신호에서, 주목 위치의 데이터인 주목 데이터인 특징량을 추출하는 제1 특징량 추출 수단과, 상기 제2 데이터 각각의 특징량에 대응하는 어드레스로 지정된 개소에, 상기 제2 데이터의 위치 정보를 저장하는 저장 수단과, 상기 주목 데이터의 상기 특징량에 대응하는 어드레스로, 상기 저장 수단에 저장된 상기 제2 데이터의 위치 정보를 판독함으로써, 상기 주목 데이터에 대응하는 상기 제2 데이터의 위치 정보가 취득하고, 상기 주목 데이터의 위치 정보와 취득된 상기 제2 데이터의 위치 정보를 이용하여, 상기 주목 데이터의 모션 벡터를 산출하는 모션 벡터 산출 수단을 가진다.
바람직하게는, 상기 모션 벡터 연출 수단은 상기 주목 데이터의 특징량에 대응하는 상기 제2 데이터의 위치 정보가 상기 저장 수단으로부터 복수 판독된 경우에는, 상기 주목 데이터의 위치에 가장 거리가 가까운 상기 위치 정보를 상기 주목 데이터에 대응하는 상기 제2 데이터의 위치 정보로 한다.
본 발명의 제4 관점은 복수의 제1 데이터를 포함하는 제1 신호와, 복수의 제2 데이터를 포함하는 제2 신호를 이용하여 매칭 처리를 실행하는 신호 처리 방법에 있어서, 상기 제1 신호에서, 주목 위치의 데이터인 주목 데이터인 특징량을 추출하는 제1 스텝과, 상기 제2 데이터 각각의 특징량에 대응하는 어드레스로 지정된 개소에, 상기 제2 데이터의 위치 정보를 저장하는 제2 스텝과, 상기 주목 데이터의 상기 특징량에 대응하는 어드레스로, 상기 제2 스텝에서 저장된 상기 제2 데이터의 위치 정보를 판독함으로써, 상기 주목 데이터에 대응하는 상기 제2 데이터의 위치 정보를 취득하는 제3 스텝을 가진다.
본 발명의 제5 관점은 복수의 제1 데이터를 포함하는 제1 화상 신호와, 복수의 제2 데이터를 포함하는 제2 화상 신호를 이용하여 모션 벡터를 검출하는 화상 신호 처리 방법에 있어서, 상기 제1 화상 신호에서, 주목 위치의 데이터인 주목 데이터인 특징량을 추출하는 제1 스텝과, 상기 제2 데이터 각각의 상기 특징량에 대응하는 어드레스로 지정된 개소에, 상기 제2 데이터의 위치 정보를 저장하는 제2 스텝과, 상기 주목 데이터의 상기 특징량에 대응하는 어드레스로, 상기 저장 수단에 저장된 상기 제2 데이터의 위치 정보를 판독함으로써, 상기 주목 데이터에 대응하는 상기 제2 데이터의 위치 정보를 취득하는 제3 스텝과, 상기 주목 데이터의 위치 정보와 취득된 상기 제2 데이터의 위치 정보를 이용하여, 상기 주목 데이터의 모션 벡터를 산출하는 제4 스텝을 가진다.
도 1은 블록 매칭 알고리즘을 채용한 종래의 모션 검출 장치의 구성예를 나타낸 블록도이다.
도 2는 블록 매칭 알고리즘의 개요를 설명하기 위한 도면이다.
도 3은 현재 프레임(Fc) 내에 있는 화소 Fc(x, y)의 모션 벡터를 검출하는 처리 순서를 설명하기 위한 플로차트이다.
도 4는 본 발명에 관한 화상 신호 처리 장치의 요부인 모션 검출 장치의 기본적인 구성을 가지는 신호 처리 장치를 나타낸 블록도이다.
도 5는 도 4의 제1 및 제2 데이터 저장부의 기본적인 구성예를 나타낸 블록도이다.
도 6은 도 4의 매칭부 구성예를 나타낸 블록도이다.
도 7은 본 발명에 관한 모션 검출 장치의 제1 실시예를 나타낸 블록도이다.
도 8은 본 실시예에 관한 모션 벡터 검출의 개요를 나타낸 플로차트이다.
도 9는 본 실시예에 관한 특징량 어드레스 방식에 있어서의 모션 메모리의 구조를 설명하기 위한 도면이다.
도 10은 본 실시예에 관한 특징량 어드레스 방식에 있어서의 모션 메모리의 저장 순서를 설명하기 위한 도면이다.
도 11은 본 실시예에 관한 특징량 어드레스 방식에 있어서의 모션 검출 동작을 설명하기 위한 플로차트이다.
도 12는 본 발명에 관한 모션 검출 장치의 제2 실시예를 나타낸 블록도이다.
도 13은 본 제2 실시예에 관한 모션 검출 장치의 다른 구성예를 나타낸 블록도이다.
도 14 (A)∼도 14 (D)는 클래스 탭 채용 방법의 일례를 나타낸 도면이다.
도 15 (A) 및 도 15 (B)는 주변 화소값보다 ADRC 양자화 코드를 이용한 쪽이 우수한 것을 설명하기 위한 도면이다.
도 16은 휘도값의 10 진수와 16 진수의 대응 관계를 나타낸 도면이다.
이하, 본 발명의 실시예를 첨부 도면과 관련시켜 설명한다.
도 4는 본 발명에 관한 화상 신호 처리 장치의 요부인 모션 검출 장치의 기본적인 구성을 가지는 신호 처리 장치를 나타내는 블록도이다.
본 신호 처리 장치는 복수의 제1 데이터를 포함하는 제1 신호에서, 주목 위치의 데이터인 주목 데이터의 특징량에 대응하는 어드레스로, 모션 검출 메모리(이하, ME 메모리라고 함)에 저장된 제2 신호에 포함되는 제2 데이터의 위치 정보를 판독함으로써, 주목 데이터에 대응하는 제2 데이터의 위치 정보를 취득(결정)하는 처리를 실행함으로써, 약간의 연산으로 위치 정보(모션 벡터)를 정밀도 양호하게 추정하는 것을 가능하게 하는 것이다.
그리고, 이후의 설명에서, ME 메모리(특징량 어드레스, i)라고 하는 것은 ME 메모리 중에서 (특징량 어드레스, i)라는 어드레스로 지정되어 있는 개소에 저장되어 있는 데이터를 나타내는 것이다.
이하, 본 신호 처리 장치의 구체적인 구성 및 기능에 대하여, 도면을 참조하면서 상세히 설명한다.
본 신호 처리 장치(10)는 제1 데이터 저장부(11), 제2 데이터 저장부(12), ME 메모리(13), 및 매칭부(14)를 가지고 있다.
그리고, 제1 데이터 저장부(11)에 의해 본 발명에 관한 제1 특징량 추출 수단이 구성되고, 제2 데이터 저장부(12)에 의해 본 발명에 관한 제2 특징량 추출 수 단이 구성되고, ME 메모리(13)에 의해 본 발명에 관한 저장 수단이 구성되고, 매칭부(14)에 의해 본 발명에 관한 모션 벡터 산출 수단(매칭 수단)이 구성된다.
제1 데이터 저장부(11)는 입력 단자(TIN)로부터 입력된 복수의 제1 데이터를 포함하는 제1 신호를 저장한다.
제1 데이터 저장부(11)는 다음의 제1 신호가 입력되는 이 다음의 제1 신호를 저장하고, 먼저 저장된 제1 신호를 복수의 제2 데이터를 포함하는 제2 신호로서 제2 데이터 저장부(12), 및 매칭부(14)에 출력한다.
또, 제1 데이터 저장부(11)는 저장된 제1 신호에서 주목 위치의 데이터인 주목 데이터의 특징량을 추출하고, 주목 데이터의 위치 정보를 포함하는 특징량 정보를 매칭부(14)에 공급한다.
제2 데이터 저장부(12)는 제1 데이터 저장부(11)에 저장되어 있던 이전(예를 들면, 1회 전)의 제2 신호를 저장하고, 저장된 제2 신호에서 제2 데이터 각각의 특징량을 추출하여 ME 메모리(13)에 저장한다.
도 5는 제1 및 제2 데이터 저장부의 구성예를 나타낸 블록도이다. 도 5에 나타낸 바와 같이, 제1 및 제2 데이터 저장부의 각각은 메모리(111)와, 메모리(111)에 저장된 제1 또는 제2 신호로부터 특징량을 추출하는 특징량 추출부(112)를 가진다.
ME 메모리(13)는 제2 데이터 저장부(12)에 의한 제2 신호의 제2 데이터 각각의 특징량을 받아, 제2 데이터 각각의 특징량에 대응하는 어드레스로 지정된 개소에 제2 데이터의 위치 정보를 저장한다.
매칭부(14)는 제1 데이터 저장부(11)로부터 입력된 주목 위치의 데이터인 주목 데이터의 특징량에 대응하는 어드레스로, ME 메모리(13)에 저장된 제2 신호에 포함되는 제2 데이터의 위치 정보를 판독함으로써, 주목 데이터에 대응하는 제2 데이터의 위치 정보를 취득(결정)한다.
매칭부(14)는 주목 데이터의 특징량에 대응하는 제2 데이터의 위치 정보가 ME 메모리(13)로부터 복수 판독된 경우에는, 주목 데이터의 위치에 가장 거리가 가까운 상기 위치 정보를 주목 데이터에 대응하는 제2 데이터의 위치 정보로 한다.
도 6은 매칭부(14)의 구성예를 나타낸 블록도이다.
이 매칭부(14)는 도 6에 나타낸 바와 같이, 입력부(141)와, 입력부(141)로부터의 특징량 정보에 따라, 주목 위치의 데이터인 주목 데이터의 특징량에 대응하는 어드레스로, ME 메모리(13)에 저장된 제2 신호에 포함되는 제2 데이터의 위치 정보를 판독하는 판독부(142)와, 입력부(141)에 의한 제1 데이터의 위치 정보와 ME 메모리(13)로부터 판독한 정보에 따라 주목 데이터에 대응하는 제2 데이터의 위치 정보를 결정하는 결정부(143)를 포함한다. 모션 검출에 이용하는 경우에는, 결정부(143)에서 모션 벡터로 결정하여 출력한다.
그리고, 제1 및 제2 신호는, 예를 들면 화상 신호이다.
또, 예를 들면 제1 및 제2 데이터 저장부(11, 12)에서의 특징량 추출은 소정 수의 제1 내지 제2 데이터를 이용하여 추출된다. 또, 특징량은 소정 수의 제1 내지 제2 데이터의 값의 분포이다. 또는, 제1 내지 제2 데이터는 복수의 비트로 표시되고, 특징량은 상기 복수 비트의 소정 비트를 생략한 상기 소정 수의 제1 내지 제2 데이터의 값의 분포이다. 여기에서, 소정 비트는 제1 내지 제2 데이터의 하위측 비트이다. 또, 특징량은 소정 수의 재양자화된 제1 내지 제2 데이터의 값의 분포이다. 또는, 특징량은 소정 수의 적응적 양자화가 이루어진 제1 내지 제2 데이터의 값의 분포이며, 적응적 양자화는 ADRC(Adaptive Dynamic Range Coding)이다.
이하에, 이상의 구성을 가지는 신호 처리 장치를 기본으로 한 화상 신호 처리 장치의 요부인 모션 검출 장치에 구체화한 실시예를 설명한다.
제1 실시예
도 7은 본 발명에 관한 화상 처리 장치의 요부인 모션 검출 장치의 제1 실시예를 나타낸 블록도이다.
본 모션 검출 장치는 특징량을 어드레스로 하여 위치 정보를 저장하는 ME 메모리를 설치하고, 주변 화소값을 특징량으로 하여 매칭 처리를 실행함으로써, 약간의 연산으로 모션 벡터를 정밀도 양호하게 추정하는 것을 가능하게 하는 것이다.
이하, 본 모션 검출 장치의 구체적인 구성 및 기능에 대하여, 도면을 참조하면서 상세히 설명한다.
본 모션 검출 장치(20)는 제1 데이터 저장부로서의 제2 프레임 메모리(21), 제2 데이터 저장부로서의 제2 프레임 메모리(22), ME 메모리(23), 및 매칭부로서의 매칭부(24)를 가지고 있다.
그리고, 제1 프레임 메모리(21)에 의해 본 발명에 관한 제1 특징량 추출 수단이 구성되고, 제2 프레임 메모리(22)에 의해 본 발명에 관한 제2 특징량 추출 수단이 구성되고, ME 메모리(23)에 의해 본 발명에 관한 저장 수단이 구성되고, 매칭 부(24)에 의해 본 발명에 관한 모션 벡터 산출 수단(매칭 수단)이 구성된다.
제1 프레임 메모리(21)는 입력 단자(TIN)로부터 입력된 화상 신호의 1 화면 정보를 저장한다.
제1 프레임 메모리(21)는 다음의 화면 정보가 입력되면 먼저 저장된 화면 정보, 즉 현재 프레임(Fc)의 정보를 저장하고, 현재 프레임 (Fc)의 정보를 제2 프레임 메모리(22), 및 매칭부(24)에 출력한다.
또, 제1 프레임 메모리(21)는 현재 프레임(Fc)의 정보와 함께, 주목 화소의 특징량, 즉 어드레스 정보를 매칭부(24)에 공급한다.
제2 프레임 메모리(22)는 제1 프레임 메모리(21)에 저장되어 있던 이전(예를 들면, 1회 전)의 화면 정보를 참조 프레임(Fr)의 정보로서 저장한다.
ME 메모리(23)는 제2 프레임 메모리(22)에 저장되어 있는 참조 프레임(Fr)의 정보에 따라, 주목 화소를 중심으로 한 어느 블록 범위의 화소값인 특징량을 어드레스로 하여 그 특징량에 대응하는 주목 화소의 위치 좌표를 포함하는 정보를 저장한다.
매칭부(24)는 제1 프레임 메모리(21)로부터 공급된 현재 프레임(Fc)의 정보에 포함되는 주목 화소의 특징량을 특징량 어드레스로 하여 ME 메모리(23)의 저장 정보를 판독한다. 현재 프레임 내의 주목 화소와 ME 메모리(23)로부터 판독된 저장 정보에 따른 차분 좌표를 주목 화소의 모션 벡터(Vx, Vy)로 하여 단자(TOUR)로부터 출력한다. 그리고, 주목 화소의 특징량에 대응하는 특징량 어드레스에 복수의 저장 정보(위치 좌표)가 있는 경우에는, 복수 후보 중에서 주목 화소의 위치와 거리가 최소로 되는 모션 벡터를 출력한다.
도 8은 본 실시예에 관한 모션 벡터 검출의 개요를 나타낸 플로차트이다.
본 예에서는, 먼저, 참조 프레임(Fr)의 데이터를 ME 메모리(23)에 저장한다(스텝 ST21). 다음에, 매칭부(24)가 현재 프레임(Fc) 내의 화소 Ln의 특징량에 따른 특징량 어드레스로 ME 메모리(13)로부터 데이터를 판독한다(스텝 ST22).
매칭부(24)가, 판독된 데이터 중에서 화소 Ln에 대응하는 데이터의 위치 정보를 결정한다(스텝 ST23). 그리고, 모션 벡터를 모든 화소에 대하여 모션 벡터가 구해질 때까지 산출한다(스텝 ST23, ST24).
이하, 본 실시예의 특징인 특징량 어드레스 방식을 채용한 ME 메모리(23)의 구성 및 기능에 대하여, 도 9 및 도 10과 관련시켜 더욱 상세히 설명한다.
도 9는 특징량 어드레스 방식을 채용한 ME 메모리의 구성예를 나타낸 도면이다. 또, 도 10은 참조 프레임의 정보를 ME 메모리에 저장하는 순서를 설명하기 위한 플로차트이다.
종래의 메모리의 경우, 화소의 위치 정보를 어드레스로 하여 화소값을 저장하는 것이지만, 본 ME 메모리(23)의 경우, 특징량을 어드레스로 하여 특징량마다 그 특징량을 가지는 화소의 위치 정보를 차례로 플래그 어드레스 FRGA1, 2, …, 즉 도 9의 B, C, …에 저장해 간다.
본 실시예에서는, 하나의 셀(ME-B1)은 위치 정보분의 기억 용량을 구비하고 있는 것으로 한다. 동시에, 플래그 어드레스(FRGA0)에는 그 특징량에 저장된 위치 정보의 개수를 저장해 두는 것으로 한다.
특징량으로서는, 주목 화소를 중심으로 한 어느 블록 내의 화소값으로 한다. 예를 들면, 블록 범위를 3×3, 수직 방향을 i, 수평 방향을 j, 위치(i, j)의 화소값을 L(i, j)로 하면, 이 경우의 특징량은 다음의 식 2와 같이 된다.
{L(i-1, j-1), L(i-1, j), L(i-1, j+1), L(i, j-1), L(i, j), L(i, j+1),
L(i+1, j-1), L(i+1, j), L(i+1, j+1)} … (2)
다음에, 참조 프레임의 정보를 ME 메모리에 저장하는 순서를 도 10의 플로차트와 관련시켜 설명한다.
참조 프레임(Fr)의 정보가 프레임 메모리(22)에 저장되면 처리를 개시한다.
스텝 ST101
스텝 ST101에서는, ME 메모리 내의 전체 데이터를 0으로 초기화한다. 0을 기록하거나, 리셋 신호를 On 한다.
스텝 ST102
스텝 ST102에서는, 1 프레임 메모리 내의 화소를 카운트하는 카운터 변수 n을 0으로 초기화한다.
스텝 ST103
스텝 ST103에서는, 도 4의 프레임 메모리(21)로부터 주목 화소 Ln을 중심으로 한 어느 블록 범위의 화소값을 특징량(특징량 어드레스)으로 한다.
스텝 ST104
스텝 ST104에서는, ME 메모리(특징량, 0)의 내용을 하나 인크리멘트한다.
스텝 ST105
특징량 어드레스를 스텝 ST103에서의 특징량, 플래그 어드레스를 0으로 한 경우의 ME 메모리(23)의 내용인 ME 메모리(특징량, 0)를 판독 플래그 어드레스에 설정한다. 스텝 ST105에서는, ME 메모리(13)의 내용인 ME 메모리(특징량, 플래그 어드레스)의 내용에 주목 화소 Ln의 위치 정보를 기록한다.
스텝 ST106
스텝 ST106에서는, 카운트 변수 n을 인크리멘트한다.
스텝 ST107
스텝 ST107에서는, 주목 화소 Ln이 프레임 내의 최후의 화소인지의 판별을 실행한다. 최후의 화소가 아니면, 스텝 ST103으로 진행하여 다음의 화소에 관해 동일 처리를 반복한다.
또, 최후의 화소이면, 처리를 종료하기 위해 스텝 ST109로 진행한다.
다음에, 본 실시예에 관한 모션 벡터 검출의 처리 순서를 도 7 및 도 11과 관련시켜 설명한다.
그리고, 도 11은 본 실시예에 관한 모션 벡터 검출의 처리 순서를 설명하기 위한 플로차트이다.
스텝 ST201
스텝 ST201에서는, 프레임 메모리(21, 22)에 각각 현재 프레임(Fc), 처리 프레임(Fr)의 정보가 저장된 후에, 참조 프레임의 정보를 특징량 어드레스로 변환하면서 ME 메모리(23)에 저장한다. 상세한 사항은 전술(스텝 ST100∼ST109)하고 있다.
스텝 ST202
스텝 ST202에서는, 1 프레임의 화소를 카운트하는 카운트 변수 n을 0으로 초기화한다.
스텝 ST203
스텝 ST203에서는, 제1 현재 프레임(21) 내의 주목 화소 Ln의 특징량은 그 화소를 중심으로 한 어느 블록 범위의 화소값이므로, 그들을 특징량으로 하여 매칭부(24)에 보낸다.
스텝 ST204
스텝 ST204에서는, 매칭부(24)는 수취한 특징량을 특징량 어드레스로 하여, ME 메모리(23)로부터 내용 ME 메모리(특징량 어드레스, 0)의 값을 판독하고, 후보 수를 의미하는 변수 kn에 대입한다.
또, 후보 수 카운터를 의미하는 변수 k를 1로, 거리의 최소값을 의미하는 변수 min을 ∞ 또는 충분히 큰 값으로, 거리를 의미하는 변수 L을 0으로 초기화한다.
스텝 ST205
스텝 ST205에서는, 현재 프레임 내의 주목 화소 Ln과 ME 메모리(23)로부터 판독된 ME 메모리 내용(특징량 어드레스, k) = 위치 좌표의 거리를 연산하여, 변수 L에 대입한다.
스텝 ST206
스텝 ST206에서는, 스텝 ST205에서 구한 거리 L과 거리의 최소값 min의 대소 판별을 실행한다.
그 결과, min＞L이면, 거리의 최소값 L을 갱신하기 위해 스텝 ST207로, min≤L이면, 갱신 스텝을 스킵하여 스텝 ST208로 진행한다.
스텝 ST207
스텝 ST207에서는, 거리의 최소값 min을 L로 갱신한다. 그 때의 플래그 어드레스값, 즉 k를 변수 ans에 저장해 둔다.
스텝 ST208
스텝 ST208에서는, 후보 카운터가 후보 수인지의 판별을 실행하여, 후보 수인 경우에는 스텝 ST210으로, 아직 후보가 있는 경우에는 스텝 ST209로 진행한다.
스텝 ST209
스텝 ST209에서는, 후보 카운터 k를 인크리멘트 후 스텝 ST205로 진행한다.
스텝 ST210
스텝 ST210에서는, 현재 프레임 내의 화소 Ln과 거리가 최소인 위치 정보, 즉 ME 메모리(23) 의 내용 ME 메모리(특징량 어드레스, ans)의 값을 판독하고, 차분 좌표를 모션 벡터로 한다.
스텝 ST211
스텝 ST211에서는, 주목 화소의 모션 벡터를 출력한다.
스텝 ST212
스텝 ST212에서는, 화소의 카운터 변수 n을 인크리멘트한다.
스텝 ST213
스텝 ST213에서는, 주목 화소가 현재 프레임 내의 최후의 화소인지의 판별을 실행한다. 판별 결과, 최후의 화소이면 종료를 위해 스텝 ST214로, 틀린 경우에는 다음 화소의 모션 벡터를 구하기 위해 스텝 ST203으로 진행한다.
화소값으로서는, 예를 들면 1 화소 = 8비트로 한 경우, 컴퓨터 그래픽스(CG)와 같은 화상은 풀 비트(8비트) 정보로 매칭 처리를 실행할 수 있지만, 자연 화상의 경우에는, 프레임마다 불균일을 포함하므로, 복수 비트 중 소정 비트를 제외하고, 매칭 처리를 실행하는 것이 바람직하다. 구체적으로는, 하위수 비트를 마스크하여 사용해도 되고, 비트 수를 적게 하여 재양자화해도 된다.
즉, 비선형/선형의 양자화에 있어서의 비트 수를 삭감하는(양자화 비트 수를 적게 하는) 것이 바람직하다.
이상 설명한 바와 같이, 본 제1 실시예에 의하면, 현재 프레임(Fc)의 정보를 저장하고, 현재 프레임(Fc)의 정보와 함께, 주목 화소의 특징량인 어드레스 정보를 출력하는 제1 프레임 메모리(21)와, 제1 프레임 메모리(21)에 저장되어 있던 이전(1회 전)의 화면 정보를 참조 프레임(Fr)의 정보로서 저장하는 제2 프레임 메모리(22)와, 제2 프레임 메모리(22)에 저장되어 있는 참조 프레임(Fr)의 정보에 따라, 주목 화소를 중심으로 한 어느 블록 범위의 화소값을 포함하는 특징량을 어드레스로서 변환하고, 변환 후의 위치 정보를 포함하는 정보를 저장하는 ME 메모리(23)와, 제1 프레임 메모리(21)로부터 공급된 현재 프레임(Fc)의 정보에 포함되는 주목 화소의 특징량을, 특징량 어드레스로 하여 ME 메모리(23)의 저장 정보를 판독하고, 현재 프레임 내의 주목 화소와 ME 메모리(23)로부터 판독한 특징량 어드레스(위치 좌표)의 거리를 연산하여, 복수의 후보 중에서 거리가 최소인 위치 정보에 따른 차분 좌표를 주목 화소의 모션 벡터(Vx, Vy)로서 검출하는 매칭부(24)를 형성했으므로, 이하의 효과를 얻을 수 있다.
즉, 본 제1 실시예에서는, 블록 영역 내의 공간 패턴 정보를 특징량으로 하고, 후보 수만큼의 거리 연산 비교를 할 뿐이므로, 종래의 방법보다 약간의 연산량으로, 또한 정밀도가 높은 모션 벡터 검출이 가능해지는 이점이 있다.
그리고, 후보 수가 많아지는 경우에는, ME 메모리(23)에 저장하는 정보를 1 프레임의 전체 정보가 아니라, 어느 정도의 영역으로 구분해도 된다.
제2 실시예
도 12는 본 발명에 관한 화상 처리 장치로서의 모션 검출 장치의 제2 실시예를 나타낸 블록도이다.
본 제2 실시예가 전술한 제1 실시예와 상이한 점은 특징량을 구하는 특징량 생성 수단으로서의 클래스 생성부(25-1, 25-1)를 형성함으로써, 바람직한 특징량으로 매칭이 가능하게 되는 점이다. 그리고, 도 13에 나타낸 바와 같이, 하나의 클래스 생성부(25)를 형성하는 구성도 가능하다. 회로의 기능으로서는, 클래스 생성부(25-1, 25-1)의 기능을 겸비하게 된다.
클래스 생성부(25-1)는 제1 프레임 메모리(21)의 현재 프레임(Fc) 정보를 받고, ADRC에 따른 양자화 코드를 현재 프레임의 특징량으로서 생성하여 매칭부(24A)에 출력한다.
또, 클래스 생성부(25-2)는 제2 프레임 메모리(22)의 참조 프레임(Fr) 정보를 받고, ADRC에 따른 양자화 코드를 현재 프레임의 특징량으로서 생성하여 ME 메 모리(23)에 출력한다.
매칭부(24A)는 현재 프레임의 특징량을 특징량 어드레스로 하여 ME 메모리(23)의 저장 정보를 판독하고, 현재 프레임 내의 주목 화소와 ME 메모리(23)로부터 판독한 특징량 어드레스에 포함되는 ADRC의 양자화 코드의 매칭을 실행함으로써 주목 화소의 모션 벡터를 검출한다.
이와 같이, 본 제2 실시예에 관한 클래스 생성부(25-1, 25-2)에서의 특징량 생성으로서 ADRC를 이용한다. ADRC(Adaptive Dynamic Range Coding)는 VTR(Video Tape Recorder)을 위한 고성능 부호화용으로 개발된 적응적 양자화법이지만, 신호 레벨의 국소적인 패턴을 짧은 워드 길이로 효율적으로 표현할 수 있으므로, 이 제2 실시예에서는 ADRC를 공간 클래스 분류의 코드 발생에 사용하고 있다.
ADRC는 공간 클래스 탭의 동적(動的) 범위를 DR, 비트 할당을 n, 공간 클래스 탭의 화소 데이터 레벨을 L, 재양자화 코드를 Q로 하고, 이하의 수 3에 의해 최대값 MAX와 최소값 MIN 사이를 지정된 비트 길이로 균등하게 분할하여 재양자화를 실행하는 알고리즘이다.
DR = MAX - MIN + 1
Q = {(L - MIN + 0.5) × 2n ÷ DR} … (3)
다만, 〔〕는 절사(切捨) 처리를 의미한다. 매칭 처리 플로는 전술한 도 11의 설명의 특징량을 ADRC의 양자화 코드로 한 것과 등가(等價)이므로 생략한다.
공간 클래스 탭 채용 방법의 일례로서, 블록 사이즈가 3×3인 경우에는, 도 14 (A)에 나타낸 바와 같이 전체 화소를 사용해도 되고, 도 14 (B)에 나타낸 바와 같이 十 문자로 구성해도 되어, 클래스 코드에 주어지는 정보량의 제한 중에서 결정하면 된다.
마찬가지로 하여, 블록 사이즈가 5×5인 경우의 일례로서는, 도 14 (C) 및 도 14 (D)에 나타낸 바와 같은 형태가 채용 가능하다.
도 14 (C)의 예는 十 문자로 구성하는 경우이며, 도 14 (D)의 예는 十 문자로 구성하고, 다시 단부(端部)의 화소를 사용하는 경우이다.
다음에, 주변 화소값보다 ADRC 양자화 코드를 사용한 쪽이 우수한 것을 도 15 (A) 및 도 15 (B)와 관련시켜 설명한다.
도 15 (A) 및 도 15 (B)는 이해하기 쉽도록 화상이 있는 1 라인이 참조 프레임으로부터 현재 프레임으로 이동했을 때의 화소값을 표시하고 있다. 또, 도 16은 휘도값의 10 진수 표기와 16 진수 표기의 대응 관계를 나타내고 있다.
통상, 자연 화상의 경우에는, 동일 그림(패턴)이 이동해도, 동일 화소값이 될 가능성은 낮아, 도 15 (A) 및 도 15 (B)에 나타낸 바와 같이, 화소 레벨이 어긋나 버린다.
이 경우, 동일 패턴으로 하여 옳바르게 검출할 수 있을런지가 포인트로 된다. 주변 화소값을 특징량으로서 사용한 경우에, 노이즈 성분의 영향을 억제하기 위해 하위 비트를 마스크한 경우의 코드 결과를 싣고 있다.
기재하고 있는 바와 같이, 동일 패턴임에도 불구하고 오(誤)검출되는 일이 있다.
이에 대하여, ADRC에서의 양자화 코드는 신호 레벨의 국소적인 패턴을 짧은 워드 길이로 효율적으로 표현할 수 있기 때문에 미소한 레벨 변동에 강해, 동일 코드 결과가 얻어지는 것을 알 수 있다.
구체적으로는, 참조 프레임인 1 라인의 ADRC 코드는 「01101」이며, 현재 프레임이 있는 1 라인의 ADRC 코드도 「01101」이며, 양자가 일치된다.
이상 설명한 바와 같이, 본 제2 실시예에 의하면, ADRC의 양자화 코드를 특징량으로 함으로써 종래보다 정밀도가 높은 모션 벡터 검출이 가능해지는 이점이 있다.
제1 내지 제2 실시예에서는, 모션 벡터 검출에 대응한 기억 장치에 대하여 설명했다. 그러므로, 각 특징량을 어드레스로 하여 공간 좌표를 기억하는 기억 장치를 예로 들었다.
그러나, 본 발명은 모션 벡터 검출 이외에도, 매칭을 실행하는 시스템에 적용할 수 있는 것이다.
이 개념은 「제1 데이터에 관한 정보를 기억한 기억 장치에 있어서,
상기 제1 데이터와는 상이한 제2 데이터 중에 있어서의 주목 데이터의 제1 특징(어드레스)을 나타내는 제1 특징량이 입력되는 입력 수단과,
상기 제1 데이터 중에 있어서의 어는 데이터의 상기 제1 특징(어드레스)을 나타내는 제3 특징량에 대응하는 개소에, 상기 제1 데이터 중에 있어서의 상기 어느 데이터의 제2 특징(좌표)을 나타내는 제2 특징량을 기억하는 기억 수단을 가지며,
상기 기억 수단의 상기 제1 특징량에 대응하는 개소로부터, 상기 제1 데이터의 상기 제2 특징인 상기 제2 특징량을 출력하는 것을 특징으로 하는 기억 장치」라고 하는 형상으로 표현할 수 있다.
즉, 데이터의 특징 A(제1 특징)를 나타내는 각 제1 특징량을 어드레스로 하여, 데이터의 특징 B(제2 특징)를 나타내는 제2 특징량을 기억하도록 해도 된다. 이 특징 A, 특징 B에 관해서는, 매칭을 실행하는 시스템/장치의 목적에 따라 적당히 설정ㆍ변경할 수 있는 것이다. 예를 들면, 본 실시예에서는, 특징 A : 화소값 패턴/ADRC 코드, 특징 B : 좌표로서 설명했지만, 이들 이외의 특징을 이용해도 된다.
본 발명의 기억 장치, 신용 처리 장치, 및 화상 신호 처리 장치, 및 신호 처리 방법에 의하면, 정밀도가 높은 모션 벡터 검출이 가능해지기 때문에, 동화상 압축 장치 등에 이용되는 모션 검출 장치나 옵젝트 검색 장치 등 매칭을 필요로 하는 처리에 적용 가능하다.

Claims (35)

  1. 정보를 기억하는 기억 장치에 있어서,
    상기 정보가 입력 또는 출력되는 입출력 수단과,
    상기 정보를 기억하는 저장부를 가지며,
    상기 저장부는 적어도 소정 신호에 있어서의 주목 데이터의 특징량에 대응하는 어드레스에 상기 정보를 저장하도록 제어되며,
    상기 정보는 상기 소정 신호에 있어서의 상기 주목 데이터의 위치 정보인,
    기억 장치.
  2. 제1항에 있어서,
    상기 기억 장치는 반도체 장치인, 기억 장치.
  3. 복수의 제1 데이터를 포함하는 제1 신호와, 복수의 제2 데이터를 포함하는 제2 신호를 이용하여 매칭(matching) 처리를 실행하는 신호 처리 장치에 있어서,
    상기 제1 신호에서, 주목 위치의 데이터인 주목 데이터의 특징량을 추출하는 제1 특징량 추출 수단과,
    상기 제2 데이터 각각의 특징량에 대응하는 어드레스로 지정된 개소에, 상기 제2 데이터의 위치 정보를 저장하는 저장 수단을 가지며,
    상기 주목 데이터의 상기 특징량에 대응하는 어드레스로, 상기 저장 수단에 저장된 상기 제2 데이터의 위치 정보를 판독함으로써, 상기 주목 데이터에 대응하는 상기 제2 데이터의 위치 정보가 취득되는,
    신호 처리 장치.
  4. 제3항에 있어서,
    상기 저장 수단은 미리 상기 제2 데이터의 위치 정보를 저장한, 신호 처리 장치.
  5. 제3항에 있어서,
    상기 신호 처리 장치는 상기 제2 신호에서 제2 데이터 각각의 특징량을 추출하는 제2 특징량 추출 수단을 더 포함하는, 신호 처리 장치.
  6. 제3항에 있어서,
    상기 제1 특징량 추출 수단은 상기 제2 신호에서 제2 데이터 각각의 특징량을 추출하는 제2 특징량 추출 수단을 더 포함하는, 신호 처리 장치.
  7. 제3항에 있어서,
    상기 제1 내지 제2 신호는 화상 신호인, 신호 처리 장치.
  8. 제3항에 있어서,
    상기 특징량은 소정 수의 제1 내지 제2 데이터를 이용하여 추출되는, 신호 처리 장치.
  9. 제8항에 있어서,
    상기 특징량은 소정 수의 제1 내지 제2 데이터의 값의 분포인, 신호 처리 장치.
  10. 제9항에 있어서,
    상기 제1 내지 제2 데이터는 복수의 비트로 표시되고,
    상기 특징량은 상기 복수 비트의 소정 비트를 생략한 상기 소정 수의 제1 내지 제2 데이터의 값의 분포인, 신호 처리 장치.
  11. 제10항에 있어서,
    상기 소정 비트는 상기 제1 내지 제2 데이터의 하위측 비트인, 신호 처리 장치.
  12. 제8항에 있어서,
    상기 특징량은 소정 수의 재양자화(再量子化)된 제1 내지 제2 데이터의 값의 분포인, 신호 처리 장치.
  13. 제8항에 있어서,
    상기 특징량은 소정 수의 적응적 양자화가 이루어진 제1 내지 제2 데이터의 값의 분포인, 신호 처리 장치.
  14. 제13항에 있어서,
    상기 적응적 양자화는 ADRC인, 신호 처리 장치.
  15. 제3항에 있어서,
    상기 주목 데이터의 특징량에 대응하는 상기 제2 데이터의 위치 정보가 상기 저장 수단으로부터 복수 판독된 경우에는, 상기 주목 데이터의 위치에 가장 거리가 가까운 상기 위치 정보를 상기 주목 데이터에 대응하는 상기 제2 데이터의 위치 정보로 하는, 신호 처리 장치.
  16. 복수의 제1 데이터를 포함하는 제1 화상 신호와, 복수의 제2 데이터를 포함하는 제2 화상 신호를 이용하여 모션 벡터(motion vector)를 검출하는 화상 신호 처리 장치에 있어서,
    상기 제1 화상 신호에서, 주목 위치의 데이터인 주목 데이터의 특징량을 추출하는 제1 특징량 추출 수단과,
    상기 제2 데이터 각각의 특징량에 대응하는 어드레스로 지정된 개소에, 상기 제2 데이터의 위치 정보를 저장하는 저장 수단과,
    상기 주목 데이터의 상기 특징량에 대응하는 어드레스로, 상기 저장 수단에 저장된 상기 제2 데이터의 위치 정보를 판독함으로써, 상기 주목 데이터에 대응하는 상기 제2 데이터의 위치 정보를 취득하고, 상기 주목 데이터의 위치 정보와 취득된 상기 제2 데이터의 위치 정보를 이용하여, 상기 주목 데이터의 모션 벡터를 산출하는 모션 벡터 산출 수단
    을 포함하는 화상 신호 처리 장치.
  17. 제16항에 있어서,
    상기 화상 신호 처리 장치는 상기 제2 화상 신호에서 제2 데이터 각각의 특징량을 추출하는 제2 특징량 추출 수단을 더 포함하는, 화상 신호 처리 장치.
  18. 제16항에 있어서,
    상기 제1 특징량 추출 수단은 상기 제2 화상 신호에서 제2 데이터 각각의 특징량을 추출하는 제2 특징량 추출 수단을 더 포함하는, 화상 신호 처리 장치.
  19. 제16항에 있어서,
    상기 모션 벡터 연출 수단은 상기 주목 데이터의 특징량에 대응하는 상기 제2 데이터의 위치 정보가 상기 저장 수단으로부터 복수 판독된 경우에는, 상기 주목 데이터의 위치에 가장 거리가 가까운 상기 위치 정보를 상기 주목 데이터에 대응하는 상기 제2 데이터의 위치 정보로 하는, 화상 신호 처리 장치.
  20. 복수의 제1 데이터를 포함하는 제1 신호와, 복수의 제2 데이터를 포함하는 제2 신호를 이용하여 매칭 처리를 실행하는 신호 처리 방법에 있어서,
    상기 제1 신호에서, 주목 위치의 데이터인 주목 데이터의 특징량을 추출하는 제1 스텝과,
    상기 제2 데이터 각각의 특징량에 대응하는 어드레스로 지정된 개소에, 상기 제2 데이터의 위치 정보를 저장하는 제2 스텝과,
    상기 주목 데이터의 상기 특징량에 대응하는 어드레스로, 상기 제2 스텝에서 저장된 상기 제2 데이터의 위치 정보를 판독함으로써, 상기 주목 데이터에 대응하는 상기 제2 데이터의 위치 정보를 취득하는 제3 스텝
    을 포함하는 신호 처리 방법.
  21. 제20항에 있어서,
    상기 신호 처리 방법은 상기 제2 신호에서 제2 데이터 각각의 특징량을 추출하는 제4 스텝을 더 포함하는, 신호 처리 방법.
  22. 제20항에 있어서,
    상기 제1 스텝은 상기 제2 신호에서 제2 데이터 각각의 특징량을 추출하는 제4 스텝을 더 포함하는, 신호 처리 방법.
  23. 제20항에 있어서,
    상기 제1 내지 제2 신호는 화상 신호인, 신호 처리 방법.
  24. 제20항에 있어서,
    상기 특징량은 소정 수의 제1 내지 제2 데이터를 이용하여 추출되는, 신호 처리 방법.
  25. 제24항에 있어서,
    상기 특징량은 소정 수의 제1 내지 제2 데이터의 값의 분포인, 신호 처리 방법.
  26. 제25항에 있어서,
    상기 제1 내지 제2 데이터는 복수 비트로 표시되고,
    상기 특징량은 상기 복수 비트의 소정 비트를 생략한 상기 소정 수의 제1 내지 제2 데이터의 값의 분포인, 신호 처리 방법.
  27. 제26항에 있어서,
    상기 소정 비트는 상기 제1 내지 제2 데이터의 하위측 비트인, 신호 처리 방법.
  28. 제24항에 있어서,
    상기 특징량은 소정 수의 재양자화된 제1 내지 제2 데이터의 값의 분포인, 신호 처리 방법.
  29. 제24항에 있어서,
    상기 특징량은 소정 수의 적응적 양자화가 이루어진 제1 내지 제2 데이터의 값의 분포인, 신호 처리 방법.
  30. 제29항에 있어서,
    상기 적응적 양자화는 ADRC인, 신호 처리 방법.
  31. 제20항에 있어서,
    상기 주목 데이터의 특징량에 대응하는 상기 제2 데이터의 위치 정보가 상기 저장 수단으로부터 복수 판독된 경우에는, 상기 주목 데이터의 위치에 가장 거리가 가까운 상기 위치 정보를 상기 주목 데이터에 대응하는 상기 제2 데이터의 위치 정보로 하는, 신호 처리 방법.
  32. 복수의 제1 데이터를 포함하는 제1 화상 신호와, 복수의 제2 데이터를 포함하는 제2 화상 신호를 이용하여 모션 벡터를 검출하는 화상 신호 처리 방법에 있어서,
    상기 제1 화상 신호에서, 주목 위치의 데이터인 주목 데이터의 특징량을 추출하는 제1 스텝과,
    상기 제2 데이터 각각의 특징량에 대응하는 어드레스로 지정된 개소에, 상기 제2 데이터의 위치 정보를 저장하는 제2 스텝과,
    상기 주목 데이터의 상기 특징량에 대응하는 어드레스로, 저장 수단에 저장된 상기 제2 데이터의 위치 정보를 판독함으로써, 상기 주목 데이터에 대응하는 상기 제2 데이터의 위치 정보를 취득하는 제3 스텝과,
    상기 주목 데이터의 위치 정보와 취득된 상기 제2 데이터의 위치 정보를 이용하여, 상기 주목 데이터의 모션 벡터를 산출하는 제4 스텝
    을 포함하는 화상 신호 처리 방법.
  33. 제32항에 있어서,
    상기 화상 신호 처리 방법은 상기 제2 화상 신호에서 제2 데이터 각각의 특징량을 추출하는 제5 스텝을 더 포함하는, 화상 신호 처리 방법.
  34. 제32항에 있어서,
    상기 제1 스텝은 상기 제2 화상 신호에서 제2 데이터 각각의 특징량을 추출하는 제5 스텝을 더 포함하는, 화상 신호 처리 방법.
  35. 제32항에 있어서,
    상기 제3 스텝은 상기 주목 데이터의 특징량에 대응하는 상기 제2 데이터의 위치 정보가 상기 저장 수단으로부터 복수 판독된 경우에는, 상기 주목 데이터의 위치에 가장 거리가 가까운 상기 위치 정보를 상기 주목 데이터에 대응하는 상기 제2 데이터의 위치 정보로 하는, 화상 신호 처리 방법.
KR20047004679A 2002-07-30 2003-07-30 기억 장치, 신호 처리 장치, 및 화상 신호 처리 장치, 및그들의 방법 KR100964621B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2002-00222008 2002-07-30
JP2002222008 2002-07-30

Publications (2)

Publication Number Publication Date
KR20050027206A KR20050027206A (ko) 2005-03-18
KR100964621B1 true KR100964621B1 (ko) 2010-06-21

Family

ID=31184888

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20047004679A KR100964621B1 (ko) 2002-07-30 2003-07-30 기억 장치, 신호 처리 장치, 및 화상 신호 처리 장치, 및그들의 방법

Country Status (7)

Country Link
US (1) US7800624B2 (ko)
EP (1) EP1526728B1 (ko)
JP (1) JP4337738B2 (ko)
KR (1) KR100964621B1 (ko)
CN (1) CN1326394C (ko)
TW (1) TWI287927B (ko)
WO (1) WO2004012450A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7636481B2 (en) * 2002-10-09 2009-12-22 Sony Corporation Image processing apparatus, method, storage medium, and program for compressing an input image using a motion vector that is detected based on stored position information of pixels
CN100393125C (zh) * 2005-02-05 2008-06-04 威盛电子股份有限公司 处理图像帧的方法
JP5322416B2 (ja) * 2007-09-12 2013-10-23 株式会社メガチップス ブロックマッチング回路及びデータ更新方法
KR101452859B1 (ko) 2009-08-13 2014-10-23 삼성전자주식회사 움직임 벡터를 부호화 및 복호화하는 방법 및 장치
JP2012043051A (ja) * 2010-08-16 2012-03-01 Fuji Xerox Co Ltd 情報処理装置およびプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0787499A (ja) * 1993-09-09 1995-03-31 Sony Corp 動きベクトル検出装置および方法
JPH10191344A (ja) * 1996-12-27 1998-07-21 Nec Corp 動き検出方法
JP2002197061A (ja) 2000-12-25 2002-07-12 Nec Corp ユーザ認証方法、ユーザ認証システム、及びユーザ認証プログラムを記録した記録媒体

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2050752B (en) * 1979-06-07 1984-05-31 Japan Broadcasting Corp Motion compensated interframe coding system
JPS61107886A (ja) 1984-10-31 1986-05-26 Sony Corp 動きベクトルの平滑回路
EP0185533B1 (en) * 1984-12-19 1991-03-27 Sony Corporation High efficiency technique for coding a digital video signal
JPH0793724B2 (ja) * 1984-12-21 1995-10-09 ソニー株式会社 テレビジョン信号の高能率符号化装置及び符号化方法
US4754490A (en) * 1987-05-22 1988-06-28 Environmental Research Institute Of Michigan Linked-list image feature extraction
JP2953712B2 (ja) * 1989-09-27 1999-09-27 株式会社東芝 移動物体検知装置
JPH0622301A (ja) * 1992-06-30 1994-01-28 Sony Corp 画像符号化装置
JP3106749B2 (ja) * 1992-12-10 2000-11-06 ソニー株式会社 適応型ダイナミックレンジ符号化装置
JP3271387B2 (ja) 1993-08-19 2002-04-02 ソニー株式会社 動き量検出装置及び動き量検出方法
JP3277417B2 (ja) 1993-09-09 2002-04-22 ソニー株式会社 動きベクトル検出装置および方法
JP3606597B2 (ja) * 1994-01-21 2005-01-05 ソニー株式会社 動きベクトル検出装置
JPH0865681A (ja) * 1994-08-25 1996-03-08 Sony Corp 動きベクトル検出装置およびそれを使用した動き補償予測符号化システム
FR2728091B1 (fr) * 1994-12-13 1997-01-31 Thomson Consumer Electronics Procede de selection de vecteurs mouvement et dispositif de traitement d'images mettant en oeuvre ledit procede
KR0171143B1 (ko) * 1995-03-20 1999-03-20 배순훈 육각그리드에서의 삼각구조 형성 장치
US5809173A (en) * 1995-04-18 1998-09-15 Advanced Micro Devices, Inc. Method and apparatus for improved video decompression using previous frame DCT coefficients
US5692063A (en) * 1996-01-19 1997-11-25 Microsoft Corporation Method and system for unrestricted motion estimation for video
JPH09212650A (ja) * 1996-02-05 1997-08-15 Sony Corp 動きベクトル検出装置および検出方法
US6259734B1 (en) * 1998-04-03 2001-07-10 Matsushita Electric Industrial Co., Ltd. Image processing method, image processing apparatus, and data storage media
JP4161441B2 (ja) * 1998-12-24 2008-10-08 ソニー株式会社 動きベクトル推定装置および動きベクトル推定方法
FI110743B (fi) * 1999-06-28 2003-03-14 Valtion Teknillinen Menetelmä ja järjestelmä liike-estimoinnin suorittamiseksi
US6661842B1 (en) * 2000-09-22 2003-12-09 General Dynamics Decision Systems, Inc. Methods and apparatus for error-resilient video coding
JP4147456B2 (ja) 2002-03-29 2008-09-10 富士通株式会社 赤外線画像信号処理装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0787499A (ja) * 1993-09-09 1995-03-31 Sony Corp 動きベクトル検出装置および方法
JPH10191344A (ja) * 1996-12-27 1998-07-21 Nec Corp 動き検出方法
JP2002197061A (ja) 2000-12-25 2002-07-12 Nec Corp ユーザ認証方法、ユーザ認証システム、及びユーザ認証プログラムを記録した記録媒体

Also Published As

Publication number Publication date
EP1526728A4 (en) 2008-05-28
JP4337738B2 (ja) 2009-09-30
TWI287927B (en) 2007-10-01
US20040252125A1 (en) 2004-12-16
KR20050027206A (ko) 2005-03-18
CN1565123A (zh) 2005-01-12
EP1526728A1 (en) 2005-04-27
EP1526728B1 (en) 2013-02-27
JPWO2004012450A1 (ja) 2005-11-24
CN1326394C (zh) 2007-07-11
WO2004012450A1 (ja) 2004-02-05
US7800624B2 (en) 2010-09-21
TW200423714A (en) 2004-11-01

Similar Documents

Publication Publication Date Title
EP1557840B1 (en) Memory device, motion vector detection device, and detection method
US5274453A (en) Image processing system
JP3277418B2 (ja) 動きベクトル検出装置および方法
US6549576B1 (en) Motion vector detecting method and apparatus
EP0330455A2 (en) Image encoding apparatus
EP0896300A2 (en) Device and method for motion vector detection
KR100964621B1 (ko) 기억 장치, 신호 처리 장치, 및 화상 신호 처리 장치, 및그들의 방법
EP0538042A2 (en) Apparatus for judging a hand movement of an image
JP4597103B2 (ja) 動きベクトル探索方法及び装置
WO1998041007A2 (en) Methods and apparatus for comparing blocks of pixels
US7085172B2 (en) Data storage apparatus, data storage control apparatus, data storage control method, and data storage control program
US20050105620A1 (en) Motion vector detecting device and motion vector detecting program
US5787205A (en) Motion vector detecting device
JP4224999B2 (ja) 画像処理装置および画像処理方法
KR101013130B1 (ko) 기억 장치, 신호 처리 장치, 및 화상 신호 처리 장치, 및그들의 방법
US6020926A (en) Motion estimation block matching speedup
JP2861971B2 (ja) 動ベクトル予測装置
JP3847577B2 (ja) 動きベクトル検出方法、動画像符号化方法
US20090122194A1 (en) Method and apparatus for reducing picture
JP2840007B2 (ja) 動きベクトル検出回路
JPH04104681A (ja) 動きベクトル検出装置
JPH08147474A (ja) 画像処理装置
JP2002520958A (ja) 動きベクトル処理方法
JP2004064564A5 (ko)
JPH03248678A (ja) 画像信号符号化復号化装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee