KR20010034364A - 화상 처리 장치 및 화상 처리 방법과 컴퓨터 판독 가능한기록 매체 - Google Patents

화상 처리 장치 및 화상 처리 방법과 컴퓨터 판독 가능한기록 매체 Download PDF

Info

Publication number
KR20010034364A
KR20010034364A KR1020007008106A KR20007008106A KR20010034364A KR 20010034364 A KR20010034364 A KR 20010034364A KR 1020007008106 A KR1020007008106 A KR 1020007008106A KR 20007008106 A KR20007008106 A KR 20007008106A KR 20010034364 A KR20010034364 A KR 20010034364A
Authority
KR
South Korea
Prior art keywords
pixel
value
error
original image
unit
Prior art date
Application number
KR1020007008106A
Other languages
English (en)
Other versions
KR100591491B1 (ko
Inventor
콘도테추지로
타나카켄지
Original Assignee
이데이 노부유끼
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이데이 노부유끼, 소니 가부시끼 가이샤 filed Critical 이데이 노부유끼
Publication of KR20010034364A publication Critical patent/KR20010034364A/ko
Application granted granted Critical
Publication of KR100591491B1 publication Critical patent/KR100591491B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/168—Segmentation; Edge detection involving transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

오브젝트 추출을 위해 원화상을 분할할 때에 적용하기 적합한 정보 처리 장치에 관한 것이다. 빈도 관련 정보 생성부(112, 113)는 원화상을 구성하는 복수의 화소 의 화소치 및 오차 정보에 의거하여 각 화소치의 빈도에 관련하는 빈도 관련 정보를 생성한다. 대표치 결정부(114)는 빈도 관련 정보에 의거하여 화소치의 대표치를 결정한다. 누적부(115)는 대표치를 누적한다. 치환부(116)는 원화상을 구성하는 복수 화소의 화소치를 누적부(115)에 누적된 대표치로 치환하고, 메모리(117)에 출력 화상으로서 기억한다. 오차 정보 생성부(118)는 치환부(116)의 출력 화상의 화소치와, 원화상의 화소치의 오차를 나타내는 오차 정보를 생성한다. 제어부(110A)는 오차가 임계치 미만으로 되기까지, 각부의 처리가 반복하여 동작하도록 제어한다. 동작 종료시에는 프레임 메모리(117)에 화소치가 동일하게 된 복수 영역으로 이루어지는 출력 화상이 격납된 상태로 된다.

Description

화상 처리 장치 및 화상 처리 방법과 컴퓨터 판독 가능한 기록 매체{Image processing device and image processing method, and computer-readable recorded medium}
화상의 영역 분할(오브젝트의 검출)의 하나의 방법인 스니크에 있어서는 기하학적으로 변형하는 폐곡선을 오브젝트에 적용시킴으로써, 오브젝트의 대략의 위치나 형상을 추정할 수 있다(특개평9-50526호 참조).
또한, 영역 분할의 다른 방법으로서는 화상 중의 엣지를 추출하고, 엣지로 둘러싸인 범위를 영역으로 하는 방법이 있다.
그렇지만, 전자의 방법에서는 초기 설정을 행하는 처리를 자동화하는 것이 곤란함과 동시에, 단순한 형상의 오브젝트 밖에 검출할 수 없다고 하는 과제가 있었다.
또한, 후자의 방법에서는 복잡한 형상의 오브젝트도 검출할 수 있지만, 경계선이 끊어져 있거나, 그라데이션이 이어지도록 하는 엣지가 명확하지 않은 오브젝트를 정확하게 검출할 수 없는 과제가 있었다.
본 발명의 목적은 예를 들면 복잡한 형상이나 엣지가 명확하지 않은 영역도 정확하게 검출할 수 있는 화상 처리 장치 등을 제공하는 것에 있다.
본 발명은 예를 들면 오브젝트의 추출, 오브젝트마다 이동 보상을 이용한 화상 압축 등을 위해 화상 영역 분할을 행하는 화상 처리 장치 및 화상 처리 방법, 및 컴퓨터 판독 가능한 기록 매체에 관한 것이다.
도 1은 실시예로서의 화상 처리 장치의 구성을 도시한 블록도.
도 2는 화상 영역 분할부의 구성예를 도시한 블록도.
도 3은 화상 영역 분할부의 동작을 설명하기 위한 플로우챠트.
도 4는 원화상을 도시한 도면.
도 5는 화상 영역 분할부에서의 처리를 설명하기 위한 도면.
도 6은 오브젝트 추출부에서 추출된 각 오브젝트에 대응한 화상을 도시한 도면.
도 7은 화상(A)의 표시예를 도시한 도면.
도 8는 화상(A)의 영역(a)의 화소의 배열을 도시한 도면.
도 9는 영역 추출 처리를 설명하기 위한 플로우챠트.
도 10은 통과 번호의 설정 방법을 설명하기 위한 도면.
도 11은 화상(A)의 영역(a)의 화소의 통과 번호의 설정예를 도시한 도면.
도 12는 영역(a)의 화소의 페인트 상황을 도시한 도면.
도 13은 영역(a)의 화소의 다른 페인트 상황을 도시한 도면.
도 14는 영역(a)의 화소의 다른 페인트 상황을 도시한 도면.
도 15는 영역(a)의 화소의 다른 페인트 상황을 도시한 도면.
도 16은 영역(a)의 화소의 다른 페인트 상황을 도시한 도면.
도 17은 영역(a)의 각 화소가 페인트되어 가는 상태를 도시한 도면.
도 18은 영역(a)의 각 화소가 페인트되어 가는 상태를 도시한 도면.
도 19는 화소치 평균화 화상을 도시한 도면.
도 20은 이동 검출·평균화부의 구성예를 도시한 블록도.
도 21은 이동 검출·평균화부의 처리를 설명하기 위한 플로우챠트.
도 22는 코너 검출 처리를 설명하기 위한 플로우챠트.
도 23은 원 프레임의 화상을 도시한 도면.
도 24는 소 벨연산자를 도시하는 도면.
도 25는 화소의 배치를 도시한 도면.
도 26a, 도 26b는 최대 경사 방향 벡터를 설명하기 위한 도면.
도 27은 코너 메모리에 기억된 평가치를 사용한 화상을 도시한 도면.
도 28은 2치화 후의 평가치를 사용한 화상을 도시한 도면.
도 29는 화상 영역 분할부의 다른 구성예를 도시한 블록도.
본 발명에 따른 정보 처리 장치는, 원화상을 구성하는 복수 화소의 화소치 및 오차 정보에 근거하여, 각 화소치의 빈도에 관련하는 빈도 관련 정보를 생성하는 빈도 관련 정보 생성부와, 빈도 관련 정보에 근거하여 화소치의 대표치를 결정하는 대표치 결정부와, 이 대표치 결정부에서 결정된 대표치를 누적하는 누적부와, 원화상을 구성하는 복수 화소의 화소치를 누적부에 누적된 대표치로 치환하는 치환부와, 이 치환부의 출력 화상의 각 화소의 화소치와 원화상을 구성하는 복수 화소의 화소치와의 오차를 나타내는 오차 정보를 생성하는 오차 정보 생성부와, 소정의 조건을 만족할 때까지, 빈도 관련 정보 생성부, 대표치 결정부, 누적부, 치환부 및 오차 정보 생성부가 반복 동작하도록 제어하는 제어부를 구비하는 것이다.
본 발명에 따른 정보 처리 방법은, 원화상을 구성하는 복수 화소의 화소치 및 오차 정보에 근거하여, 각 화소치의 빈도에 관련하는 빈도 관련 정보를 생성하는 단계와, 빈도 관련 정보에 근거하여 화소치의 대표치를 결정하는 단계와, 결정된 대표치를 누적하는 단계와, 원화상을 구성하는 복수 화소의 화소치를 누적된 대표치로 치환하는 단계와, 치환하여 얻어진 출력 화상의 각 화소의 화소치와 원화상을 구성하는 복수 화소의 화소치와의 오차를 나타내는 오차 정보를 생성하는 단계와, 소정의 조건을 만족할 때까지, 빈도 관련 정보를 생성하는 단계, 대표치를 결정하는 단계, 대표치를 누적하는 단계, 대표치로 치환하는 단계 및 오차 정보를 생성하는 단계를 반복하여 행하도록 제어하는 단계를 구비하는 것이다.
또한, 본 발명에 따른 컴퓨터 판독 가능한 기록 매체는, 원화상을 구성하는 복수 화소의 화소치 및 오차 정보에 근거하여, 각 화소치의 빈도에 관련하는 빈도 관련 정보를 생성하는 단계와, 빈도 관련 정보에 근거하여 화소치의 대표치를 결정하는 단계와, 결정된 대표치를 누적하는 단계와, 원화상을 구성하는 복수 화소의 화소치를 누적된 대표치로 치환하는 단계와, 치환하여 얻어진 출력 화상의 각 화소의 화소치와 원화상을 구성하는 복수 화소의 화소치와의 오차를 나타내는 오차 정보를 생성하는 단계와, 소정의 조건을 만족할 때까지, 빈도 관련 정보를 생성하는 단계, 대표치를 결정하는 단계, 대표치를 누적하는 단계, 대표치로 치환하는 단계 및 오차 정보를 생성하는 단계를 반복하여 행하도록 제어하는 단계를 컴퓨터에 실행시키기 위한 프로그램이 기록된 것이다.
본 발명에 있어서는 원화상을 구성하는 복수 화소의 화화소치 및 오차 정보에 근거하여, 각 화소치의 빈도에 관련하는 빈도 관련 정보가 생성된다. 예를 들면, 반복 동작의 최초의 동작시에는 복수 화소의 화소치에만 근거하여 빈도 관련 정보가 생성되어, 반복 동작의 2회째 이후의 동작시는 복수 화소의 화소치와 오차 정보의 쌍방에 근거하여 빈도 관련 정보가 생성된다. 또한 예를 들면, 원화상이 갖을 수 있는 모든 화소치의 각각에 대하여 원화상을 구성하는 복수 화소의 화소치의 빈도가 검출되고, 이 빈도와 오차 정보에 포함되는 각 화소치에 대응한 오차를 대응하는 화소치마다 승산함으로써 빈도 관련 정보가 생성된다.
그리고, 생성된 빈도 관련 정보에 근거하여 화소치의 대표치가 결정되고, 이 결정된 대표치가 누적되는 동시에, 원화상을 구성하는 복수 화소의 화소치는 이 누적된 대표치로 치환된다. 예를 들면, 원화상을 구성하는 각 화소의 화소치는 누적된 적어도 1개의 대표치 중, 오차가 가장 작은 대표치로 각각 치환되고, 출력 화상이 얻어진다.
빈도 관련 정보를 생성할 때에 사용되는 오차 정보는 예를 들면 원화상이 갖을 수 있는 모든 화소치의 각각과 누적된 대표치와의 오차를 검출함으로써 생성된다. 또한 예를 들면, 오차 정보는 치환되어 얻어진 출력 화상의 각 화소의 화소치와 원화상의 각 화상의 화소치와의 오차를 검출함으로써 생성된다.
그리고, 빈도 관련 정보를 생성하는 동작, 대표치를 결정하는 동작, 대표치를 누적하는 동작, 원화상을 구성하는 복수 화소의 화소치를 대표치로 치환하는 동작이, 소정의 조건을 만족할 때까지 반복하여 행하여진다. 소정의 조건이란, 예를 들면 오차 정보에 포함되는 오차의 최대치가 임계치 미만인 것, 또는 반복 동작 회수가 임계치 이상으로 되는 것이다. 상술한 일련의 동작이 반복하여 행하여짐으로써, 각각의 영역내의 화소의 화소치가 동일하게 된 복수 영역으로 이루어지는 출력 화상이 얻어진다. 본 발명에 있어서는 복잡한 형상이나 엣지가 명확하지 않은 영역도 정확하게 분할할 수 있다.
도 1은 실시예 1로서의 화상 처리 장치(100)의 구성을 도시하고 있다.
이 화상 처리 장치(100)은 원화상을 처리하여 영역내의 화소의 화소치가 모두 동일하게 된 복수 영역으로 이루어지는 출력 화상을 얻는 화상 영역 분할부(110)와, 이 화상 영역 분할부(110)에서 얻어진 출력 화상을 처리 하는 것으로 인접하고, 또한 화소치가 동일한 화소의 집합을 오브젝트로서 추출하는 오브젝트 추출부(120)와, 원화상의 각 화소가 각각 오브젝트 추출부(120)에서 추출된 복수의 오브젝트 중 어느 것에 속하는 가를 나타내는 정보(레이블 정보)를 기억하는 프레임 메모리(130)를 갖고 있다.
또한, 화상 처리 장치(100)는 원화상의 각 화소의 화소치와 프레임 메모리(130)에 기억된 레이블 정보로부터, 오브젝트마다, 그 오브젝트에 속하는 복수 화소의 화소치를 평균하여, 그 오브젝트의 화소치를 구하는 화소치 평균화부(140)를 가지고 있다. 프레임 메모리(150)에는 각 오브젝트에 대응하는 원화상의 모든 화소의 화소치가, 각각 그 오브젝트의 화소치로 치환되어 기억된다. 즉, 프레임 메모리(150)에는 화소치 평균화 화상이 기억된다.
또한, 화상 처리 장치(100)는 원화상의 각 화소의 화소치와 프레임 메모리(130)에 기억된 레이블 정보로부터, 원화상의 이동을 영역마다, 예를 들면 화소마다 검출하고, 오브젝트마다, 그 오브젝트에 포함되는 영역의 이동을 평균하여, 그 오브젝트의 이동을 구하는 이동 검출·평균화부(160)와, 이 이동 검출·평균화부(160)에서 얻어진 각 오브젝트의 이동을 격납하는 이동 격납용 레지스터(170)를 갖고 있다.
도 1에 도시된 화상 처리 장치(100)의 동작을 설명한다.
원화상은 화상 영역 분할부(110)에 공급되고, 프레임 메모리(111)에 격납된다. 그리고, 이 화상 영역 분할부(110)에서는 프레임 메모리(111)에 격납된 원화상이 처리되어, 영역내의 화소의 화소치가 모두 동일하게 된 복수 영역으로 이루어지는 출력 화상이 얻어진다.
이 출력 화상은 오브젝트 추출부(120)에 공급된다. 이 오브젝트 추출부(120)에서는 상술의 출력 화상이 처리되어, 인접하고, 또한 화소치가 동일한화소의 집합이 오브젝트로서 추출된다. 그리고, 이 오브젝트의 추출 결과에 근거하여, 프레임 메모리(130)에, 원화상의 각 화소가 각각 복수의 오브젝트 중 어느 것에 속하는 가를 나타내는 정보(레이블 정보)가 기억된다.
또한, 프레임 메모리(111)에 격납된 원화상과, 프레임 메모리(130)에 기억된 레이블 정보가 화소치 평균화부(140)에 공급된다. 그리고, 이 화소치 평균화부(140)에서는 오브젝트마다, 그 오브젝트에 속하는 복수 화소의 화소치가 평균되어, 그 오브젝트의 화소치를 구할 수 있다. 그리고, 프레임 메모리(150)에는 각 오브젝트에 대응하는 원화상의 모든 화소치가, 각각 그 오브젝트의 화소치로 치환되고 기억된다.
또한, 프레임 메모리(111)에 격납된 원화상과, 프레임 메모리(130)에 기억된 레이블 정보가 이동 검출·평균화부(160)에 공급된다. 그리고, 이 이동 검출·평균화부(160)에서는 프레임 메모리(111)에 격납된 원화상과 그 1 프레임앞의 화상으로부터 원화상의 이동이 영역마다, 예를 들면 화소마다 검출된 후, 오브젝트마다, 그 오브젝트에 포함되는 영역의 이동이 평균되고, 그 오브젝트의 이동을 구할 수 있다. 이와 같이 구해진 각 오브젝트의 이동은 레지스터(170)에 격납된다.
도 2는 화상 영역 분할부(110)의 구성예를 도시하고 있다. 이 화상 영역 분할부(110)는 제어부(110A)와, 프레임 메모리(111)와, 히스터그램 생성부(112)와, 히스터그램 변경부(113)와, 대표치 결정부(114)와, 대표치 메모리(115)와, 치환부(116)와, 프레임 메모리(117)와, 오차 연산부(118)와, 오차 메모리(119)를 갖고 구성된다.
프레임 메모리(111)는 입력되는 원화상을 기억하고, 히스터그램 생성부(112), 치환부(116), 또한 도 1에 도시된 화소치 평균화부(140) 및 이동 검출·평균화부(160)로부터의 요구에 대응하여 기억하고 있는 원화상을 공급한다. 또, 입력되는 원화상은 예를 들면 RGB 신호 또는 YUV 신호로 이루어지는 화소로 구성된다. 이하, 원화상은 RGB 신호로 이루어지는 화소로 구성되어 있는 것으로서 설명한다. R(적), G(녹), B(청)의 각 색 신호 성분은 4비트(16계조)로 나타내는 것으로 한다. 이 경우, 원화상을 구성하는 화소의 화소치(색) 벡터의 종류는 163=4096로 된다.
히스터그램 생성부(112)는 원화상에 사용되어 있는 화소치의 사용 빈도를 나타내는 히스터그램을 생성하여 히스터그램 변경부(113)에 출력한다. 즉, 히스터그램 생성부(112)에서는 원화상이 갖을 수 있는 모든 화소치의 각각에 대하여, 원화상을 구성하는 복수 화소의 화소치의 빈도가 검출된다. 이 경우, 화소치 벡터가 i 일 때의, 빈도 H(i)는 식(1)에 의해서 검출된다. 이 식(1)에 있어서, f(x, y)는 수평방향에 x번째, 수직방향에 y번째의 화소의 화소치를 나타내고 있다.
히스터그램 변경부(113)는 히스터그램 생성부(112)로부터 입력된 히스터그램과, 오차 메모리(119)로부터 판독된 오차를 승산하고, 그 승산 결과를 빈도 관련 정보로서 대표치 결정부(114)에 출력한다. 즉, 히스터그램 변경부(113)에서는 히스터그램 생성부(112)에 있어서 원화상이 갖을 수 있는 모든 화소치의 각각에 대하여 검출된 원화상을 구성하는 복수 화소의 화소치의 빈도와, 각 화소치에 대응한 오차가 대응하는 화소치마다 승산되어, 원화상이 갖을 수 있는 모든 화소치의 각각에 대응한 빈도 관련 정보가 얻어진다. 이 경우, 화소치 벡터가 i일 때의, 빈도 관련 정보 H'(i)는 식(2)에 의해서 얻어진다. 이 식(2)에 있어서, di는 화소치 벡터(i)에 대응한 오차이다. 상술한 히스터그램 생성부(112) 및 히스터그램 변경부(113)에 의해 빈도 관련 정보 생성부가 구성되어 있다.
대표치 결정부(114)는 입력된 빈도 관련 정보에 근거하여, 가장 큰 값을 갖는 빈도 관련 정보에 대응하는 화소치를 대표치로서 결정하고, 이 대표치를 누적부를 구성하는 대표치 메모리(115)에 출력한다.
치환부(116)는 프레임 메모리(111)로부터 판독한 원화상을 구성하는 각 화소의 화소치를, 대표치 메모리(115)에 기억되어 있는 적어도 1개의 대표치 중, 오차가 가장 작은 대표치로 치환하여 출력 화상을 얻고, 이 출력 화상을 프레임 메모리(117)에 기억시킨다. 여기서, 대표치 메모리(115)에 n개의 대표치(C1, C2, ··, Ck, ··Cn)가 기억되어 있을 때, 원화상의 수평방향에 x번째, 수직방향에 y번째의 화소의 화소치 f(x, y)는 식 (3)에 의해서, f'(x, y)로 치환된다. 또, f(x, y)=(r(x, y), g(x, y), b(x, y)), Ck=(rk, gk, bk)이다.
오차 연산부(118)는 오차 정보 생성부를 구성하는 것이고, 원화상이 갖을 수 있는 모든 화소치의 각각과, 대표치 메모리(115)로부터 판독한 대표치와의 오차를 검출하고, 각 화소치에 대응한 오차를 구하고, 이 오차를 오차 정보로서 오차 메모리(119)에 출력한다. 예를 들면, 대표치 메모리(115)에 n개의 대표치(C1, C2, ··, Ck, ··Cn)가 기억되어 있을 때, 화소치 벡터(i)에 대응한 오차(di)는 식(4)에 의해 구할 수 있다. 이 경우, 원화상이 갖을 수 있는 모든 화소치의 각각에 대해서, n개의 대표치(C1, C2, ··, Ck, ··Cn) 중 가장 거리가 작은 대표치와의 거리가 오차로서 검출되어지게 된다. 또, i=(ri, gi, bi), Ck=(rk, gk, bk)이다.
제어부(110A)는 상술한 각부의 동작을 제어한다. 이 제어부(110A)는 소정 조건을 만족하기 까지 히스터그램 변경부(113), 대표치 결정부(114), 치환부(116) 및 오차 연산부(118) 등이 반복 동작하도록 제어한다. 예를 들면, 제어부(110A)는 오차 연산부(118)에서 구해진 각 화소치에 대응한 오차의 최대치가 제 1 임계치 미만이 될 때까지, 상술의 반복 동작이 행해지도록 제어한다.
또 예를 들면, 제어부(110A)는 오차 연산부(118)에서 구해진 각 화소치에 대응한 오차의 총합이 제 2 임계치 미만으로 되기까지 상술의 반복 동작이 행해지도록 제어한다. 또한 예를 들면, 제어부(110A)는 오차 연산부(118)에서 구해진 각 화소치에 대응한 오차의 최대치가 제 1 임계치 미만으로 되고, 또한 상기 오차의 총합이 제 2 임계치 미만이 될 때까지, 상술의 반복 동작이 행하여지도록 제어한다. 또한 예를 들면, 제어부(110A)는 반복 동작의 회수가 제 3 임계치 이상으로 될 때까지, 상술의 반복 동작이 행하여지도록 제어한다.
오차 메모리(119)에는 원화상이 갖을 수 있는 모든 화소치의 각각에 대응하는 오차의 초기치로서, 히스터그램 변경부(113)에서 얻어지는 빈도 관련 정보에의 영향(대표치를 결정하는 데에 있어서의 영향)을 무시할 수 있는 값이 기억되어 있다. 예를 들면, 오차 메모리(119)에 초기치로서 기억되는 모든 화소치의 각각에 대응하는 오차는 모두 동일 값, 본 실시예에서는 1로 된다.
오차 메모리(119)에는 상술의 초기치가 기억되어 있기 때문에, 히스터그램 변경부(113)에서는 상술의 반복 동작의 최초의 동작시에는 식(2)의 연산을 행하지 않고, 히스터그램 생성부(112)에서 검출된 빈도 H(i)를, 그대로 빈도 관련 정보 H'(i)로서 출력할 수 있다. 따라서 이 경우에는 원화상을 구성하는 복수 화소의 화소치에 근거하여 빈도 관련 정보 H'(i)가 생성되어지게 된다.
다음에, 도 2에 도시된 화상 영역 분할부(110)의 동작을, 도 3의 플로우챠트를 참조하여 설명한다.
단계(S1)에 있어서, 히스터그램 생성부(112)는 이미 프레임 메모리(111)에 기억되어 있는, 예를 들면 도 4에 도시된 바와 같은 원화상을 판독하고, 예를 들면 도 5의 (a)에 도시된 바와 같이, 원화상에 사용되어 있는 화소의 화소치의 사용 빈도를 나타내는 히스터그램을 생성하여, 히스터그램 변경부(113)에 출력한다. 즉, 히스터그램 생성부(112)에서는 식(1)의 연산이 행하여진다. 또, 도 5의 (a) 내지 (f)에 있어서는 도시를 간략화하기 위해, 횡축의 눈금을 9로 하고 있지만, 실제의 횡축 눈금은 화소치 종류의 수, 본 실시예에서는 4096만큼 존재한다.
히스터그램 변경부(113)는 히스터그램 생성부(112)로부터 입력된 히스터그램과, 오차 메모리(119)로부터 판독된 오차를 승산하고, 그 승산 결과를 빈도 관련 정보로서 대표치 결정부(114)에 출력한다. 오차 메모리(119)에는 원화상이 갖을 수 있는 모든 화소치의 각각에 대응하는 오차의 초기치로서 모두 1이 기억되어 있고, 히스터그램 변경부(113)에서는 히스터그램 생성부(112)에서 검출된 빈도 H(i)를 그대로 빈도 관련 정보 H'(i)로서 출력한다.
단계(S2)에 있어서, 대표치 결정부(114)는 입력된 빈도 관련 정보에 근거하여, 가장 큰 값을 갖는 빈도 관련 정보에 대응하는 화소치를 대표치로서 결정하여, 이 대표치를 대표치 메모리(115)에 출력한다. 이 경우, 입력된 빈도 관련 정보가 도 5의 (a)에 도시된 것일 때, 화소치(C1)가 대표치로 결정되고, 이것이 대표치 메모리(115)에 기억된다.
단계(S3)에 있어서, 치환부(116)는 프레임 메모리(111)로부터 판독된 원화상을 구성하는 각 화소의 화소치를, 대표치 메모리(115)에 기억되어 있는 적어도 1개의 대표치 중, 오차가 가장 작은 대표치로 치환하여 출력 화상을 얻고, 이 출력화상을 프레임 메모리(117)에 기억시킨다. 즉, 치환부(116)에서는 식 (3)의 연산이 행하여진다. 이 경우, 대표치가 C1 정도이므로, 원화상의 모든 화소의 화소치가 C1로 치환되어 프레임 메모리(117)에 기억된다.
단계(S4)에 있어서, 오차 연산부(118)는 원화상이 갖을 수 있는 모든 화소치의 각각과, 대표치 메모리(115)로부터 판독된 대표치와의 오차를 검출하고, 각 화소치에 대응한 오차를 구하고, 이 오차를 오차 정보로서 오차 메모리(119)에 출력한다. 즉, 오차 연산부(118)에서는 식(4)의 연산이 행하여진다. 이 경우, 도 5의 (b)에 도시된 바와 같이, 화소치(C1)에 대응하는 오차의 값이 최소치(0)로 된다.
단계(S5)에 있어서, 제어부(110A)는 종료 조건을 만족하는지의 여부를 판정한다. 종료 조건은 상술한 바와 같이 각 화소치에 대응한 오차의 최대치가 제 1 임계치 미만이 되는 것, 또는 각 화소치에 대응한 오차의 총합이 제 2 임계치 미만이 되는 것, 혹은 반복 동작의 회수가 제 3 임계치 이상으로 되는 것 등이다. 종료 조건을 어느것으로 할 것인가, 및 임계치의 설정은 미리 행하여진다. 제어부(110A)는 종료 조건을 만족할 때는 각부의 동작을 정지하여 영역 분할 처리를 종료시키고, 한편 종료 조건을 만족할 때는 단계(S6)로 진행하도록 제어한다.
단계(S6)에 있어서, 히스터그램 변경부(113)는 오차 메모리(119)로부터 각 화소치에 대응하는 오차의 값을 판독하고, 자기가 기억하고 있는 히스터그램의 각 화소치에 대응하는 빈도를 승산하여, 그 승산 결과를 빈도 관련 정보로서 대표치 결정부(114)에 출력한다. 즉, 히스터그램 변경부(113)에서는 식(2)의 연산이 행하여진다. 이 경우, 도 5의 (b)에 도시된 오차가 판독되고, 도 5의 (a)에 도시된 히스스터그램의 각 화소치에 대응하는 빈도로 승산된다. 그리고, 승산 결과, 즉 각 화소치에 대응한 빈도 관련 정보는 도 5의 (c)에 도시된 것으로 된다.
다음에, 다시 단계(S2)에 있어서, 대표치 결정부(114)에 의해, 상술한 설명과 동일한 처리가 실행된다. 이 경우, 화소치(C2)가 대표치로 결정되고, 이것이 대표치 메모리(115)에 추가 기억된다. 따라서, 대표치 메모리(115)에는 대표치로서 2개의 화소치(C1, C2)가 기억되어지게 된다.
단계(S3)에 있어서, 치환부(116)에 의해, 상술한 설명과 동일한 처리가 실행된다. 이 경우, 원화상의 각 화소의 화소치가, 화소치(C1) 또는 화소치(C2) 중, 오차가 가장 작은 대표치로 치환되어 프레임 메모리(117)에 기억된다.
단계(S4)에 있어서, 오차 연산부(118)에 의해, 상술한 설명과 동일한 처리가 실행된다. 이 경우, 도 5의 (d)에 도시된 바와 같이, 화소치(C1, C2)에 대응하는 오차 값이 최소치(0)로 된다.
단계(S5)에 있어서, 오차 연산부(118)에 의해, 상술한 설명과 동일한 처리가 실행된다. 즉, 제어부(110A)는 종료 조건을 만족했을 때는 각부의 동작을 정지하여 영역 분할 처리를 종료시키고, 한편 종료 조건을 만족하지 않을 때는 단계(S6)로 진행하도록 제어한다.
단계(S6)에 있어서, 히스터그램 변경부(113)에 의해, 상술한 동일 처리가 실행된다. 이 경우, 오차 메모리(119)에는 도 5의 (d)에 도시된 오차가 기억되고, 자체는 도 5의 (a)에 도시된 히스터그램을 기억하고 있기 때문에, 승산 결과로서 얻어지는 각 화소치의 빈도 관련 정보는 도 5의(e)에 도시된 것으로 된다. 도 5의 (f)는 도 5의 (e)의 빈도 관련 정보에 대응하는 오차를 도시하고 있다. 도 5의 (b), (d), (f)에서 분명히 알 수 있는 바와 같이, 단계(S2 내지 S6)의 동작 처리가 반복될 때마다, 오차의 최대치나 오차의 총합은 감소한다.
상술한 바와 같이, 단계(S5)에 있어서, 제어부(110A)가 종료 조건을 만족한다고 판정했을 때, 화상 영역 분할부(110)에 있어서의 영역 분할 처리가 종료한다. 이 경우, 프레임 메모리(117)에는 각각의 영역내의 화소의 화소치가 동일하게 된 복수 영역으로 이루어지는 출력 화상이 격납된 상태가 된다.
이와 같이, 화상 영역 분할부(110)에서는 빈도 관련 정보로부터 대표치가 결정되고, 원화상을 구성하는 화소의 화소치가 대표치로 치환되어 출력 화상이 얻어지고, 또한 오차를 사용하여 새로운 빈도 관련 정보가 얻어지도록 하고 있기 때문에, 엣지가 명확하지 않은 영역을 정확하게 분할할 수 있다.
다음에, 도 1에 도시된 오브젝트 추출부(120)를 설명한다. 이 오브젝트 추출부(120)는 상술의 프레임 메모리(117)에 격납된 출력 화상을 처리하여, 인접하고, 또한 화소치가 동일 화소의 집합을 오브젝트로서 추출한다. 그리고, 이 오브젝트 추출부(120)는 오브젝트의 추출 결과에 근거하여, 원화상의 각 화소가 각각 복수의 오브젝트 중 어느 것에 속하는 가를 나타내는 정보(레이블 정보)를 프레임 메모리(130)에 기억한다.
도 6은 이 오브젝트 추출부(120)에서 추출된 각 오브젝트를 나타내는 화상이다. 이 도 6에서는 화상이 534의 오브젝트(영역)로 분할되어 있다. 단지, 이 도 6에 있어서는 각 오브젝트의 경계를 명확히 도시하기 위해, 색조를 변경하고 있다.
오브젝트 추출부(120)의 오브젝트 추출 처리의 상세한 설명에 대해서, 도 7에 도시된 화상(A)으로부터 오브젝트로서의 영역(a)을 추출하는 경우를 예로 들어 설명한다.
화상(A)의 영역(a 내지 c)은 복수 화소로 구성되어 있고, 예를 들면 영역(a)의 각 화소는 도 8에 도시된 바와 같이 배치되어 있다. 또한, 영역(a 내지 c)의 각 화소는 각각 영역마다 다른 화소치를 유지하고 있다.
도 9는 화상(A)에서 영역(a)을 식별하는 경우의 처리 순서를 설명하는 플로우챠트이다. 프레임 메모리(117)(도 2 참조)에 기억되어 있는 출력 화상이 입력되면, 오브젝트 추출부(120)는 단계(S11)에 있어서, 화상(A)에 앞처리를 실시한다. 여기서, 오브젝트 추출부(120)는 영역 식별 처리의 대상이 되는 화상(A)의 영역(a 내지 c)의 각 화소의 속성을 "NULL"로 하고, 그리고 모든 화소에 통과 번호를 설정한다.
이 예의 경우, 도 10에 도시된 바와 같이, 화상(A)의 좌측 상단의 화소로부터 우측 방향으로 순차 통과 번호가 설정된다. 우단의 화소에 통과 번호가 설정되면, 다음에, 1개 아래의 단(line)의 좌측단의 화소로부터 우측 방향으로, 또한 통과 번호가 설정된다. 이와 같이, 화상(A)의 모든 화소에 통과 번호가 설정되면, 앞처리가 완료하고, 단계(S12)로 진행한다.
단계(S12)에 있어서, 오브젝트 추출부(120)는 식별하는 영역의 화소에 설정하는 속성을 나타내는 "C0UNTER"에, 소정의 값(속성)을 설정한다. 이하의 처리에서는 영역(a)의 화소에 "C0UNTER"의 값을 설정하는 것이지만, 각 화소에 "COUNTER"의 값을 설정하는 처리를, 이하, 페인트라고 한다.
단계(S13)에 있어서, 오브젝트 추출부(120)는 인식해야 할 영역을 지정하기위해서, 화상(A)의 임의의 화소를 지정한다(현재의 경우, 영역(a)에 포함되는 화소가 지정된 것으로 한다). 단계(S14)에 있어서, 오브젝트 추출부(120)는 지정된 화소를 전류 포인트로 한다. 다음에, 단계(S15)에 있어서, 오브젝트 추출부(120)는 전류 포인트로 된 화소가 유지하는 화소치를 전류 컬러로 한다. 예를 들면, 현재의 경우, 도 11에 도시된 영역(a)의 통과 번호 M번(이하, 「# M」으로 기재한다)의 화소가 전류 포인트가 된 것으로 한다.
다음에, 단계(S16)에 있어서, 오브젝트 추출부(120)는 전류 포인트의 속성을 "NULL"로부터 "B"로 변경한다. 이 경우, #M 점의 속성이 "NULL"로부터 "B"로 변경된다.
단계(S17)에 있어서, 오브젝트 추출부(120)는 화상(A)의 화소 중, 전류 컬러와 동일한 값의 화소치를 유지하는 화소, 즉 영역(a)의 화소이고, 속성이 "B"로 되어 있는 화소가 존재하는지의 여부를 판정하고, 이러한 조건을 만족하는 화소가 존재하는 경우, 단계(S18)로 진행한다. 이 경우, #M 화소가 이 조건을 만족하고 있다.
단계(S18)에 있어서, 오브젝트 추출부(120)는 단계(S17)에서의 조건을 만족하는 화소 중, 통과 번호가 가장 작은, 화소를 선택하고, 그 속성을 "COUNTER"로 한다. 이 경우, #M 화소의 속성이 "B"로부터 "COUNTER"로 변경된다. 이로 인해, 도 12에 도시된 바와 같이, # M 화소가 예를 들면 흑색으로 페인트된다.
다음에, 단계(S19)에 있어서, 오브젝트 추출부(120)는 전류 포인트에 인접하는 8개의 화소(상하에 인접하는 2개의 화소, 좌우에 인접하는 2개의 화소, 그리고 우측상, 우측하, 좌측상 및 좌측하에 인접하는 1개의 화소의 합계 8개의 화소이고, 이하, 이들의 화소를 인접 화소라고 한다) 중, 전류 컬러와 동일한 값의 화소치를 유지하고, 또한 속성이 "NULL"로 되어 있는 인접 화소가 존재하는지의 여부를 판정하고, 이러한 조건을 만족하는 인접 화소가 존재하는 경우, 단계(S20)로 진행한다.
단계(S20)에 있어서, 오브젝트 추출부(120)는 단계(S19)에서의 조건을 만족하는 인접 화소의 속성을 "B"로 변경한다. 예를 들면, 이 경우, 도 12에 도시된 바와 같이, #(L-1) 내지 #(L+1), #(M-1), #(M+1), #(N-1) 내지 #(N+1)의 화소의 속성이 "B"로 변경된다. 또, 도 12에 있어서, 속성이 "B"로 된 화소는 해칭(사선 표시)되어 있다.
단계(S21)에 있어서, 오브젝트 추출부(120)는 전류 포인트의 통과 번호의 다음 통과 번호를 갖고, 전류 컬러와 동일한 값의 화소치를 유지하며, 또한 속성이 "NULL" 또는 "B"로 되어 있는 화소가 존재하는지의 여부를 판정하고, 이러한 조건을 만족하는 화소가 존재하는 경우, 단계(S22)로 진행한다. 이 경우, #(M+1)의 화소가 그 조건을 만족한다.
단계(S22)에 있어서, 오브젝트 추출부(120)는 단계(S21)에서의 조건을 만족하는 화소를 다음 전류 포인트로 하고, 단계(S23)에 있어서, 오브젝트 추출부(120)는 그 화소의 속성을 "COUNTER"로 변경한다. 이 경우, 도 13에 도시된 바와 같이, #(M+1)의 화소가 새롭게 전류 포인트로 되고, 흑색으로 페인트된다.
다음에, 단계(S24)에 있어서, 오브젝트 추출부(120)는 전류 포인트의 8개의 인접 화소 중, 전류 컬러와 동일한 값의 화소의 값을 유지하며, 또한 속성이 "NULL"로 되어 있는 화소가 존재하는지의 여부를 판정하고, 그와 같은 조건을 만족하는 인접 화소가 존재하는 경우, 단계(S25)로 진행한다.
단계(S25)에 있어서, 오브젝트 추출부(120)는 단계(S24)에서의 조건을 만족하는 인접 화소의 속성을 "B"로 변경한다. 예를 들면, 이 경우, 도 14에 도시된 바와 같이, 전류 포인트인 #(M+1) 화소의 인접 화소 중, #(L+2), #(M+2), #(N+2) 화소의 속성이 "B"로 변경된다.
단계(S25)의 처리가 완료하면, 단계(S21)로 되돌아가고, 이하, 단계(S21)에서의 조건을 만족하는 화소가 존재하지 않게 될 때까지, 단계(S21 내지 S25)에 있어서의 처리가 반복하여 실행된다.
단계(S24)에서, 전류 포인트의 인접 화소 중, 전류 컬러와 동일한 값의 화소치를 유지하고, 또한 속성이 "NULL"로 되어 있는 화소가 존재하지 않는다고 판정된 경우, 단계(S21)로 되돌아간다. 단계(S21)에서, 전류 포인트의 통과 번호의 다음 통과 번호를 갖고, 속성이 "NULL" 또는 "B"로 되어 있는 화소가 존재하지 않는다고 판정된 경우, 단계(S17)로 되돌아간다. 또한, 단계(S19)에서, 전류 포인트의 인접 화소 중, 전류 컬러와 동일한 값의 화소치를 유지하고, 또한 속성이 "NULL"로 되어 있는 화소가 존재하지 않는다고 판정된 경우, 단계(S17)로 되돌아간다.
예를 들면, 단계(S22)에서, 영역(a)의 #(M+5)의 화소가 전류 포인트로 되고, 단계(S23)에서 그 속성이 "C0UNTER"로 변경되어, 도 15에 도시된 바와 같이, 흑색으로 페인트된 경우, #(M+5)의 인접 화소 중, 도시하지 않은 #(L+6), #(M+6), #(N+6)의 화소는 영역(c)의 화소이고, 이들이 유지하는 화소치는 전류 컬러(이 경우, 영역(a)의 화소가 유지하는 화소치)와 다르다. 또한, 다른 인접 화소, #(L+4), #(L+5), #(N+4), #(N+5)의 화소는 속성이 "B"이고, 다른 인접 화소의 #(M+4)의 화소의 속성은 "C0UNTER"이다. 즉, 단계(S24)에서의 조건을 만족하는 인접 화소가 존재하지 않게 된다.
그래서, 단계(S21)로 되돌아가지만, #(M+6)의 화소는 영역(c)의 화소이고, 단계(S21)에서의 조건을 만족하지 않기 때문에, 다시 단계(S17)로 되돌아간다. 이경우, 단계(S17) 및 단계(S18)에 있어서, #(L-1)의 화소가 추출되고, 도 16에 도시된 바와 같이, 그 속성이 "B"로부터 "COUNTER"로 변경되고, #(111)의 화소가 흑색으로 페인트된다.
이와 같이, 단계(S17 내지 S25)에 있어서의 처리가 반복하여 실행되고, 영역(a)의 모든 화소가 페인트되면, 단계(S17)에서, 화상(A)의 화소 중, 전류 컬러(영역(a)의 화소가 유지하는 화소치)와 같은 화소치를 유지하며, 속성이 "B"로 되는 화소가 존재하지 않는다고 판정되고, 처리가 종료한다.
도 17의 (a) 내지 (o), 도 18의 (a) 내지 (l)은 화상(A)의 영역(a)의 각 화소가 흑색으로 페인트되는 상태를 나타내고 있다. 이와 같이, 영역(a)의 각 화소는 순차 페인트되고, 다른 영역(b) 및 영역(c)에서 식별된다. 즉, 오브젝트로서의 영역(a)이 추출되어지게 된다.
또, 오브젝트(영역)을 구성하는 화소수가 소정수(예를 들면, 30개)이하인 경우, 그것을 오브젝트로 간주하지 않으므로써, 오브젝트의 수가 증가하는 것을 억제할 수 있고, 예를 들면 화소치 평균화부(140)나 이동 검출·평균화부(160) 등에 있어서의 처리를 경감시킬 수 있다.
상술한 바와 같이, 프레임 메모리(111)에 격납된 원화상과, 프레임 메모리(130)에 기억된 레이블 정보가 화소치 평균화부(140)에 공급되고, 오브젝트마다, 그 오브젝트에 속하는 복수 화소의 화소치가 평균되어, 그 오브젝트의 화소치가 구해진다. 그리고, 프레임 메모리(150)에는 각 오브젝트에 대응하는 원화상의 모든 화소의 화소치가, 각각 그 오브젝트의 화소치로 치환되어 기억된다. 도 19는 프레임 메모리(150)에 기억되어 있는 화소치 평균화 화상을 도시하고 있다. 이 화상에 의해, 오브젝트 추출부(120)에서 오브젝트의 추출이 적절히 행하여진 것을 확인할 수 있다.
다음에, 이동 검출·평균화부(160)에 대해서 설명한다. 도 20은 이동 검출·평균화부(160)의 구성예를 도시하고 있다. 이 이동 검출·평균화부(160)는 프레임 메모리(161)와, 코너 검출부(162)와, 코너 메모리(163)와, 이동 검출부(164)와, 이동 메모리(165)와, 이동 평균화부(166)를 갖고 구성된다.
프레임 메모리(161)는 입력되는 원화상을 기억하고, 이동 검출부(164)에 출력한다. 화상 영역 분할부(110)의 프레임 메모리(111)(도 1 참조)에 기억되어 있는 원화상이 J 프레임의 화상일때, 프레임 메모리(161)에 기억되는 원화상은 예를 들면 1 프레임앞의 (J-1) 프레임의 화상이다. 코너 검출부(162)는 화상 영역 분할부(110)의 프레임 메모리(111)로부터 판독되는 원화상내의 코너 부분을 검출하고, 화상의 각 화소마다, 코너인지의 여부를 나타내는 정보를 코너 메모리(163)에 기억시킨다.
이동 검출부(164)는 화상 영역 분할부(110)의 프레임 메모리(111) 및 프레임 메모리(161)로부터 판독되는 2 프레임의 화상을 사용하여, 프레임 메모리(111)로부터 판독되는 원화상의 각 화소마다 이동을 검출한다. 단지, 이 이동 검출부(164)는 코너 메모리(163)에 기억되어 있는 정보를 판독하고, 원화상 중의 코너 부분의 화소에 대해서만, 블록 매칭 처리를 실행하여 이동을 검출하고, 그 검출된 이동을 이동 메모리(165)에 기억시킨다.
이동 평균화부(166)는 프레임 메모리(130)(도 1 참조)에 기억되어 있는 레이블 정보(원화상의 각 화소가 각각 복수의 오브젝트 중 어느 것에 속하는 가를 나타내는 정보) 및 이동 메모리(165)에 기억되어 있는 이동을 사용하고, 오브젝트마다, 그 오브젝트에 포함되는 영역의 이동을 평균하고, 그 오브젝트의 이동을 구한다.
다음에, 도 20에 도시된 이동 검출·평균화부(160)의 처리를, 도 21의 플로우챠트를 참조하여 설명한다.
단계(S31)에 있어서, 코너 검출부(162)는 블록 매칭 처리에 있어서 정확한 이동을 검출할 수 있는 코너 부분을, 입력된 화상으로부터 검출한다. 이 코너 검출 처리에 대해서, 도 22의 플로우챠트를 참조하여 설명한다.
단계(S41)에 있어서, 코너 검출부(162)는 입력된 화상(f)(예를 들면, 도 23에 도시된 트랙 화상)에 소벨 연산자(도 24의 (a) 및 (b))를 작용시켜, 화상(f)의 x 방향 미분 화상(fx), 및 y 방향 미분 화상(fy)을 생성한다.
즉, 코너 검출부(162)는 화상(f)의 모든 화소를, 순차, 주목 화소로 하고, 그 주목 화소(예를 들면, 도 25의 화소 P1)를 중심으로 하는 9(=3×3)개의 화소의 화소치(P1내지 P9)와, 도 24의 (a)에 도시된 소벨 연산자의 대응하는 값과의 적의 총합
0×P1+2×P2+1×P3+0×P4-1×P5-2×P6-1×P7+0×P8+1×P9
를, 주목 화소에 대응하는 x 방향 미분 화상(fx)의 화소의 화소치로서, x 방향 미분 화상(fx)을 생성하고, 동일하게 9개의 화소의 화소치(P1내지 P9)와, 도 24의 (b)에 도시한 소벨 연산자의 대응하는 값과의 적의 총합
0×Pl+0×P2+1×P3+2×P4+1×P5+0×P6-1×P7-2×P8-1×P9
를, 주목 화소에 대응하는 y 방향 미분 화상(fy)의 화소의 화소치로서, y 방향 미분 화상(fy)을 생성한다.
여기서, 미분 화상(fx, fy)에 대해서 설명한다. 화상(f)의 좌표(x, y)에 위치하는 화소에 대응하는 x 방향 미분 화상(fx)의 화소의 화소치 fx(x, y)와, y 방향 미분 화상(fy)의 화소의 화소치 fy(x, y)를, 각각, x 성분, y 성분으로 하는 벡터(fx(x.y), fy(x, y))를 고려한다. 이 벡터는 도 26a, 도 26b에 도시된 바와 같이, 화상(f)의 좌표(x, y)에 있어서의 화소치(예를 들면, 휘도)의 최대 경사 방향 벡터(화상(f)의 등화소치 선으로 구성되는 곡면과 직교하는 방향 벡터)의 x y 평면에의 사상이다.
따라서, 화상(f)의 좌표(x, y)의 화소에 대응하는 벡터(fx(x, y), fy(x, y))와, 그 근방의 좌표(x+△x.y+△y)의 화소에 대응하는 벡터(fx(x+△x, y+△y), fy(x+△x, y+△y))와의 다른 적의 값
fx(x, y) fy(x+△x, y+△y) - fy(x, y) fx(x+△x, y+△y)
를 사용하므로써, 화상(f)의 좌표(x, y) 근방의 화소치의 평탄성을 판정하는 것이 가능해진다.
단계(S42)에 있어서, 코너 검출부(162)는 화소의 좌표를 나타내는 파라미터(i, j)를, 개시 화소(픽셀)에 대응한 (0, 0)로 초기화한다. 단지, i= 0 내지 xmax-1(xmax는 화상(f)의 횡폭)이고, j= 0 내지 jmax-1(jmax는 화상(f)의 종폭)이다. 그리고, 단계(S43)에 있어서, 코너 검출부(162)는 파라미터(i, j)가 종료 화소에 대응한 (xmax-1, jmax-1)를 초과하였는지의 여부를 판정하고, (xmax-1, j max-1)를 초과하지 않는다고 판정한 경우, 단계(S44)로 진행한다.
단계(S44)에 있어서, 코너 검출부(162)는 다음식과 같이, 화상(f)의 좌표(i, j)에 위치하는 화소(예를 들면, 도 25의 화소 Pl)에 대응하는 벡터(fx(i, j), fy(i, j))와, 그 근방의 24개의 화소(화소 P2내지 P25)에 대응하는 벡터(fx(i+α, j+β), fy(i+α, j+β))와의 다른 적의 절대치의 총합으로 이루어지는 평가치를 연산한다. 단지, α, β=-2 내지 2이다.
평가치=Σ｜fx(i, j)·fy(i+α, j+β) - fy(i, j)·fx(i+α, j+β)｜
예를 들면, 화상(f)의 좌표(i, j)에 위치하는 화소에 대응하는 벡터와, 그
근방의 24개의 화소에 대응하는 벡터가 모두 평행인 경우, 상술의 평가치는 0이 된다.
단계(S45)에 있어서, 코너 검출부(162)는 단계(S44)에서 연산한 평가치가 미리 설정되는 임계치 보다도 큰지의 여부를 판정한다. 평가치가 임계치보다도 크다고 판정한 경우, 단계(S46)로 진행한다.
단계(S46)에 있어서, 코너 검출부(162)는 화상(f)의 좌표(i, j)의 화소를 코너 부분으로 식별하고, 좌표(i, j)와 평가치를 대응시켜 코너 메모리(163)에 기억시킨다.
단계(S47)에 있어서, 코너 검출부(162)는 좌표를 나타내는 파라미터(i, j)를 다음 화소에 대응하도록 인클리먼트하여, 단계(S43)로 되돌아가고, 상술한 바와 동일한 처리를 되풀이한다.
단계(S45)에 있어서, 코너 검출부(162)는 평가치가 임계치 보다도 크지 않다고 판정한 경우, 단계(S48)로 진행한다. 단계(S48)에 있어서, 코너 검출부(162)는 화상(f)의 좌표(i, j)의 화소를 평탄부분으로 식별하고, 그 정보를 코너 메모리(163)에 기억시킨다.
도 27은 코너 메모리(163)에 기억된 평가치를 사용한 화상을 도시하고 있다. 이 도 27에서 분명히 알 수 있는 바와 같이, 코너 메모리(163)에는 원화상의 코너 부분에만 대응하는 평가치가 기억되어지게 된다. 또, 코너 메모리(163)에는 평가치 그자체가 아니라, 2치화 후의 평가치를 기억하도록 하여도 된다. 도 28은 2치화 후의 평가치를 사용한 화상을 도시하고 있다.
단계(S43)에 있어서, 파라미터(i, j)가 종료 화소에 대응한 (xmax-1, jmax-1)를 초과하였다고 판정한 경우, 도 21의 단계(S32)로 리턴한다.
단계(S32)에 있어서, 이동 검출부(164)는 코너 메모리(163)에 좌표와 대응시켜 기억되어 있는 평가치를 참조하여, 프레임 메모리(111)로부터 판독된 원화상중, 코너 부분과 식별된 화소에 대하여만, 프레임 메모리(161)에 기억되어 있는 1 프레임앞의 화상과의 블록 매칭 처리를 실행하여, 그 결과를 이동 메모리(165)에 기억시킨다.
그리고, 단계(S33)에 있어서, 이동 평균화부(166)는 프레임 메모리(130)(도 1 참조)에 기억되어 있는 레이블 정보(원화상의 각 화소가 각각 복수의 오브젝트 중 어느 것에 속하는 가를 나타내는 정보) 및 이동 메모리(165)에 기억되어 있는 이동을 사용하고, 오브젝트마다, 그 오브젝트에 포함되는 영역의 이동을 평균하고, 그 오브젝트의 이동을 구하여, 레지스터(170)(도 1 참조)에 기억시킨다.
이와 같이, 이동 검출·평균화부(160)는 이동 검출의 정밀도가 낮다고 생각되는 평탄부분을 제외하여 이동을 검출하고, 그 검출된 이동만을 사용하여, 각 오브젝트의 이동을 구하는 것이고, 각 오브젝트의 이동을 정밀도 양호하게 검출할 수 있다. 또한, 이 이동 검출·평균화부(160)는 평탄부분을 제외하여 이동을 검출하는 것이며, 모든 화소에 대하여 블록 매칭 처리를 실행하여 이동을 검출하는 경우에 비교하여, 이동 검출에 요하는 시간을 대폭으로 단축할 수 있다. 또한, 이와 같이 오브젝트마다 이동을 검출할 수 있기 때문에, 오브젝트 단위의 이동 보상을 이용한 화상 압축에 적용할 수 있다.
또, 이동 검출·평균화부(160)의 이동 검출부(164)에서는 블록 매칭 처리에 의해 1화소의 영역마다 이동이 검출되지만, 예를 들면 복수 화소의 영역마다 이동이 검출되는 것이라도 가능하다.
다음에, 화상 영역 분할부(110)의 다른 구성예에 대해서 설명한다.
도 29는 화상 영역 분할부(110)의 다른 구성예를 도시하고 있다. 이 도 29에 있어서, 도 2와 대응하는 부분에는 동일 부호를 붙이고, 그 상세한 설명은 생략한다.
이 화상 영역 분할부(110)는 제어부(210A)와, 프레임 메모리(111)와, 빈도 관련 정보 생성부(213)와, 대표치 결정부(114)와, 대표치 메모리(115)와, 치환부(116)와, 프레임 메모리(117)와, 오차 연산부(218)와, 오차 메모리(219)를 갖고 구성된다.
빈도 관련 정보 생성부(213)는 원화상에 사용되어 있는 화소치의 사용 빈도에, 그 화소치에 대응하는 오차를 승산하고, 원화상이 갖을 수 있는 모든 화소치의 각각에 대응한 빈도 관련 정보를 대표치 결정부(114)에 출력한다. 이 경우, 화소치가 i 일 때의, 빈도 관련 정보 H'(i)는 식(5)에 의해서 얻어진다. 이 식(5)에 있어서, f(x, y)는 수평방향에 x번째, 수직방향에 y번째의 화소의 화소치를 나타내고, d(x, y)는 화소치 f(x, y)에 대응한 오차이다. 이 빈도 관련 정보 생성부(213)에서 생성되는 빈도 관련 정보는 도 2의 히스터그램 변경부(113)에서 생성되는 빈도 관련 정보와 동일의 것으로 된다.
오차 연산부(218)는 오차 정보 생성부를 구성하는 것이고, 원화상을 구성하는 각 화소마다, 프레임 메모리(117)에 기억된 출력 화상의 대응하는 화소와의 화소치의 오차를 구하고, 이 오차를 오차 정보로서 오차 메모리(219)에 출력한다. 예를 들면, 수평방향에 x번째, 수직방향에 y번째 화소의 화소치 f(x, y)에 대응하는 오차 d(x, y)는 식(6)에 의해서 얻어진다. 또, f(x, y)=(r(x, y), g(x, y), b(x, y))이고, 또한 이 화소치 f(x, y)에 대응하는 출력 화상의 화소치는 f'(x, y)=(r'(x, y), g'(x, yLb'(x, y))이다.
제어부(210A)는 상술한 각부의 동작을 제어한다. 이 제어부(210A)는 소정의 조건을 만족할 때까지, 빈도 관련 정보 생성부(213), 대표치 결정부(114), 치환부(116) 및 오차 연산부(218) 등이 반복 동작하도록 제어한다. 이 제어부(210A)에서 판정되는 소정의 조건은 도 2의 제어부(110A)에서 판정되는 소정의 조건과 동일하다.
오차 메모리(219)에는 원화상을 구성하는 각 화소의 화소치 f(x, y)에 대응한 오차 d(x, y)의 초기치로서, 빈도 관련 정보에의 영향을 무시할 수 있는 값이 기억되어 있다. 예를 들면, 오차 메모리(219)에 초기치로서 기억되는 오차 d(x, y)는 모두 동일 값, 예를 들면 1로 된다.
오차 메모리(219)에는 상술의 초기치가 기억되어 있기 때문에, 히스터그램 변경부(113)에서는 상술의 반복 동작의 최초의 동작시에는 식(5)에 있어서, d(x, y)의 승산을 생략할 수 있다.
도 29에 도시된 화상 영역 분할부(110)의 그외는 도 2에 도시된 화상 영역 분할부(110)와 동일하게 구성된다. 그리고, 도 29에 도시된 화상 영역 분할부(110)도, 도 2에 도시된 화상 영역 분할부(110)와 동일한 동작을 하고, 최종적으로, 프레임 메모리(117)에는 각각의 영역내의 화소의 화소치가 동일하게 된 복수 영역으로 이루어지는 출력 화상이 격납되어지게 된다.
또, 상술한 도 3 등의 각 처리를 행하는 컴퓨터 프로그램은 자기 디스크, CD -ROM 등의 정보 기록 매체로 이루어지는 제공 매체 외에, 인터넷, 디지털 위성 등의 네트워크 제공 매체를 통해 유저에게 제공할 수 있다.
또한, 상술에서는 원화상이 컬러 화상인 것을 나타내었지만, 본 발명은 원화상이 흑백 화상인 것에도 동일하게 적용할 수 있다.
이상과 같이, 본 발명에 따른 화상 처리 장치 등은 예를 들면 화상으로부터의 오브젝트의 추출, 오브젝트마다 이동 보상을 이용한 화상 압축 등을 위해 화상 영역을 분할할 때에 적용하기 적합한 것으로 된다.

Claims (35)

  1. 원화상을 구성하는 복수 화소의 화소치 및 오차 정보에 근거하여, 각 화소치의 빈도에 관련하는 빈도 관련 정보를 생성하는 빈도 관련 정보 생성부와,
    상기 빈도 관련 정보에 근거하여 화소치의 대표치를 결정하는 대표치 결정부와,
    상기 대표치 결정부에서 결정된 대표치를 누적하는 누적부와,
    상기 원화상을 구성하는 복수 화소의 화소치를 상기 누적부에 누적된 상기 대표치로 치환하는 치환부와,
    상기 치환부의 출력 화상의 각 화소의 화소치와 상기 원화상을 구성하는 복수 화소의 화소치와의 오차를 나타내는 상기 오차 정보를 생성하는 오차 정보 생성부와,
    소정의 조건을 만족할 때까지, 상기 빈도 관련 정보 생성부, 상기 대표치 결정부, 상기 누적부, 상기 치환부 및 상기 오차 정보 생성부가 반복 동작하도록제어하는 제어부를 구비하는 것을 특징으로 하는 화상 처리 장치.
  2. 제 1 항에 있어서,
    상기 소정의 조건은 상기 오차 정보에 포함되는 오차의 최대치가 임계치 미만이 되는 것을 특징으로 하는 화상 처리 장치.
  3. 제 1 항에 있어서,
    상기 소정의 조건은 상기 반복 동작의 회수가 임계치 이상으로 되는 것을 특징으로 하는 화상 처리 장치.
  4. 제 1 항에 있어서,
    상기 빈도 관련 정보 생성부는 상기 반복 동작의 최초의 동작시에, 상기 복수 화소의 화소치에만 근거하여, 상기 빈도 관련 정보를 생성하고, 2회째 이후의 동작시에, 상기 복수 화소의 화소치와 상기 오차 정보의 쌍방에 근거하여, 상기 빈도 관련 정보를 생성하는 것을 특징으로 하는 화상 처리 장치.
  5. 제 1 항에 있어서,
    상기 빈도 관련 정보 생성부는 상기 반복 동작의 최초의 동작시에, 상기 오차 정보에 포함되는 각 오차의 값이, 그 영향을 무시할 수 있는 값으로서, 상기 복수 화소의 화소치에 근거하여, 상기 빈도 관련 정보를 생성하는 것을 특징으로 하는 화상 처리 장치.
  6. 제 5 항에 있어서,
    상기 빈도 관련 정보 생성부는 상기 반복 동작의 최초의 동작시에, 상기 오차 정보에 포함되는 각 오차의 값이 동일의 값으로 하는 것을 특징으로 하는 화상 처리 장치.
  7. 제 6 항에 있어서,
    상기 동일의 값은 1인 것을 특징으로 하는 화상 처리 장치.
  8. 제 1 항에 있어서,
    상기 빈도 관련 정보 생성부는 상기 원화상이 갖을 수 있는 모든 화소치의 각각에 대하여, 상기 원화상을 구성하는 복수 화소의 화소치의 빈도를 검출하고, 상기 빈도와, 상기 오차 정보에 포함되는 각 화소치에 대응한 오차를 대응하는 화소치마다 승산함으로써, 상기 빈도 관련 정보를 생성하는 것을 특징으로 하는 화상 처리 장치.
  9. 제 8 항에 있어서,
    상기 오차 정보 생성부는 상기 원화상이 갖을 수 있는 모든 화소치의 각각과, 상기 누적부에 누적된 대표치와의 오차를 검출함으로써, 상기 오차 정보를 생성하는 것을 특징으로 하는 화상 처리 장치.
  10. 제 9 항에 있어서,
    상기 오차 정보 생성부는 상기 원화상이 갖을 수 있는 모든 화소치의 각각에 대하여, 상기 누적부에 누적된 대표치 중 가장 거리가 작은, 대표치와의 거리를 상기 오차로서 검출하는 것을 특징으로 하는 화상 처리 장치.
  11. 제 1 항에 있어서,
    상기 치환부의 출력 화상과 상기 원화상이 상기 오차 정보 생성부에 입력되고,
    상기 오차 정보 생성부는 입력된 상기 치환부의 출력 화상의 각 화소의 화소치와 입력된 상기 원화상의 각 화소의 화소치와의 오차를 검출함으로써, 상기 오차 정보를 생성하는 것을 특징으로 하는 화상 처리 장치.
  12. 제 1 항에 있어서,
    상기 대표치 결정부는 가장 큰 값을 갖는 빈도 관련 정보에 대응하는 화소치를 대표치로서 결정하는 것을 특징으로 하는 화상 처리 장치.
  13. 제 1 항에 있어서,
    상기 치환부는 상기 원화상을 구성하는 각 화소의 화소치를, 상기 누적부에 누적된 적어도 1개의 대표치 중, 오차가 가장 작은, 대표치로 각각 치환하는 것을 특징으로 하는 화상 처리 장치.
  14. 제 1 항에 있어서,
    상기 오차 정보 생성부는 상기 누적부에 누적된 대표치와 모든 값의 화소치에 근거하여, 상기 오차 정보를 생성하는 것을 특징으로 하는 화상 처리 장치.
  15. 제 1 항에 있어서,
    상기 치환부의 출력 화상에 근거하여, 상기 원화상에 포함되는 오브젝트를 추출하는 추출부를 또한 구비하는 것을 특징으로 하는 화상 처리 장치.
  16. 제 15 항에 있어서,
    상기 원화상의 이동을 상기 원화상내의 영역마다 검출하는 이동 검출부와,
    상기 추출부에서 추출된 오브젝트내에 포함되는 영역의 이동에 근거하여, 상기 오브젝트의 이동을 검출하는 오브젝트 이동 검출부를 또한 구비하는 것을 특징으로 하는 화상 처리 장치.
  17. 제 16 항에 있어서,
    상기 영역은 1화소 또는 복수 화소로 구성되는 것을 특징으로 하는 화상 처리 장치.
  18. 제 1 항에 있어서,
    상기 원화상은 컬러 화상인 것을 특징으로 하는 화상 처리 장치.
  19. 원화상을 구성하는 복수 화소의 화소치 및 오차 정보에 근거하여, 각 화소치의 빈도에 관련하는 빈도 관련 정보를 생성하는 단계와,
    상기 빈도 관련 정보에 근거하여 화소치의 대표치를 결정하는 단계와,
    상기 결정된 대표치를 누적하는 단계와,
    상기 원화상을 구성하는 복수 화소의 화소치를 상기 누적된 상기 대표치로 치환하는 단계와,
    상기 치환하여 얻어진 출력 화상의 각 화소의 화소치와 상기 원화상을 구성하는 복수 화소의 화소치와의 오차를 나타내는 상기 오차 정보를 생성하는 단계와,
    소정의 조건을 만족할 때까지, 상기 빈도 관련 정보를 생성하는 단계, 상기 대표치를 결정하는 단계, 상기 대표치를 누적하는 단계, 상기 대표치로 치환하는 단계 및 상기 오차 정보를 생성하는 단계를 반복하여 행하도록 제어하는 단계를 구비하는 것을 특징으로 하는 화상 처리 방법.
  20. 제 19 항에 있어서,
    상기 소정의 조건은 상기 오차 정보에 포함되는 오차의 최대치가 임계치 미만이 되는 것인 것을 특징으로 하는 화상 처리 방법.
  21. 제 19 항에 있어서,
    상기 소정의 조건은 상기 반복 동작의 회수가 임계치 이상으로 되는 것을 특징으로 하는 화상 처리 방법.
  22. 제 19 항에 있어서,
    상기 빈도 관련 정보를 생성하는 단계에서는 상기 반복 동작의 최초의 동작시에, 상기 복수 화소의 화소치에만 근거하여, 상기 빈도 관련 정보를 생성하고, 2회째 이후의 동작시에, 상기 복수 화소의 화소치와 상기 오차 정보의 쌍방에 근거하여, 상기 빈도 관련 정보를 생성하는 것을 특징으로 하는 화상 처리 방법.
  23. 제 19 항에 있어서,
    상기 빈도 관련 정보를 생성하는 단계에서는 상기 반복 동작의 최초의 동작시에, 상기 오차 정보에 포함되는 각 오차의 값이, 그 영향을 무시할 수 있는 값으로서, 상기 복수 화소의 화소치에 근거하여, 상기 빈도 관련 정보를 생성하는 것을 특징으로 하는 화상 처리 방법.
  24. 제 19 항에 있어서,
    상기 빈도 관련 정보를 생성하는 단계에서는 상기 원화상이 갖을 수 있는 모든 화소치의 각각에 대하여, 상기 원화상을 구성하는 복수 화소의 화소치의 빈도를 검출하고, 상기 빈도와, 상기 오차 정보에 포함되는 각 화소치에 대응한 오차를 대응하는 화소치마다 승산함으로써, 상기 빈도 관련 정보를 생성하는 것을 특징으로 하는 화상 처리 방법.
  25. 제 24 항에 있어서,
    상기 오차 정보를 생성하는 단계에서는 상기 원화상이 갖을 수 있는 모든 화소치의 각각과, 상기 누적된 대표치와의 오차를 검출함으로써, 상기 오차 정보를 생성하는 것을 특징으로 하는 화상 처리 방법.
  26. 제 19 항에 있어서,
    상기 오차 정보를 생성하는 단계에서는 상기 치환하여 얻어진 출력 화상의 각 화소의 화소치와 상기 원화상의 각 화소의 화소치와의 오차를 검출함으로써, 상기 오차 정보를 생성하는 것을 특징으로 하는 화상 처리 방법.
  27. 제 19 항에 있어서,
    상기 대표치를 결정하는 단계에서는 가장 큰 값을 갖는 빈도 관련 정보에 대응하는 화소치를 대표치로서 결정하는 것을 특징으로 하는 화상 처리 방법.
  28. 제 19 항에 있어서,
    상기 대표치로 치환하는 단계에서는 상기 원화상을 구성하는 각 화소의 화소치를, 상기 누적된 적어도 1개의 대표치 중, 오차가 가장 작은 대표치로 각각 치환하는 것을 특징으로 하는 화상 처리 방법.
  29. 제 19 항에 있어서,
    상기 오차 정보를 생성하는 단계에서는 상기 누적된 대표치와 모든 값의 화소치에 근거하여, 상기 오차 정보를 생성하는 것을 특징으로 하는 화상 처리 방법.
  30. 제 19 항에 있어서,
    상기 치환하여 얻어진 출력 화상에 근거하여, 상기 원화상에 포함되는 오브젝트를 추출하는 단계를 또한 구비하는 것을 특징으로 하는 화상 처리 방법.
  31. 제 30 항에 있어서,
    상기 원화상의 이동을 상기 원화상내의 영역마다 검출하는 단계와,
    상기 추출된 오브젝트내에 포함되는 영역의 이동에 근거하여, 상기 오브젝트의 이동을 검출하는 단계를 또한 구비하는 것을 특징으로 하는 화상 처리 방법.
  32. 제 19 항에 있어서,
    상기 원화상은 컬러 화상인 것을 특징으로 하는 화상 처리 방법.
  33. 원화상을 구성하는 복수 화소의 화소치 및 오차 정보에 근거하여, 각 화소치의 빈도에 관련하는 빈도 관련 정보를 생성하는 단계와,
    상기 빈도 관련 정보에 근거하여 화소치의 대표치를 결정하는 단계와,
    상기 결정된 대표치를 누적하는 단계와,
    상기 원화상을 구성하는 복수 화소의 화소치를 상기 누적된 상기 대표치로 치환하는 단계와,
    상기 치환하여 얻어진 출력 화상의 각 화소의 화소치와 상기 원화상을 구성하는 복수 화소의 화소치와의 오차를 나타내는 상기 오차 정보를 생성하는 단계와,
    소정의 조건을 만족할 때까지, 상기 빈도 관련 정보를 생성하는 단계, 상기 대표치를 결정하는 단계, 상기 대표치를 누적하는 단계, 상기 대표치로 치환하는 단계 및 상기 오차 정보를 생성하는 단계를 반복하여 행하도록 제어하는 단계를 컴퓨터에 실행시키기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
  34. 제 33 항에 있어서,
    상기 프로그램은 상기 컴퓨터에 상기 치환하여 얻어진 출력 화상에 의거하여, 상기 원화상에 포함되는 오브젝트를 추출하는 단계를 또한 실행시키기 위한 것을 특징으로 하는 컴퓨터 판독 가능한 기록 매체.
  35. 제 34 항에 있어서,
    상기 프로그램은 상기 컴퓨터에 상기 원화상의 이동을 상기 원화상내의 영역마다 검출하는 단계와, 상기 추출된 오브젝트내에 포함되는 영역의 이동에 의거하여, 상기 오브젝트의 이동을 검출하는 단계를 또한 실행시키기 위한 것을 특징으로 하는 컴퓨터 판독 가능한 기록 매체.
KR1020007008106A 1998-11-25 1999-11-25 화상 처리 장치 및 화상 처리 방법과 컴퓨터 판독 가능한기록 매체 KR100591491B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP35077098 1998-11-25
JP98-350770 1998-11-25

Publications (2)

Publication Number Publication Date
KR20010034364A true KR20010034364A (ko) 2001-04-25
KR100591491B1 KR100591491B1 (ko) 2006-06-20

Family

ID=18412757

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020007008106A KR100591491B1 (ko) 1998-11-25 1999-11-25 화상 처리 장치 및 화상 처리 방법과 컴퓨터 판독 가능한기록 매체

Country Status (5)

Country Link
US (1) US6611562B1 (ko)
EP (1) EP1050848A4 (ko)
JP (1) JP4453202B2 (ko)
KR (1) KR100591491B1 (ko)
WO (1) WO2000031688A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101404401B1 (ko) * 2009-01-29 2014-06-05 닛본 덴끼 가부시끼가이샤 특징량 선택 장치

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100393125C (zh) * 2005-02-05 2008-06-04 威盛电子股份有限公司 处理图像帧的方法
US20070069980A1 (en) * 2005-07-18 2007-03-29 Macinnis Alexander Method and sysem for estimating nosie in video data
CN100461865C (zh) * 2005-10-21 2009-02-11 广达电脑股份有限公司 运动矢量估计系统
EP2188979A2 (en) * 2007-09-10 2010-05-26 Nxp B.V. Method and apparatus for motion estimation in video image data

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100215586B1 (ko) * 1992-11-09 1999-08-16 모리시타 요이찌 다이제스트 화상 자동생성 장치 및 다이제스트 화상 자동생성 방법
JPH06168328A (ja) * 1992-12-01 1994-06-14 Matsushita Electric Ind Co Ltd 画像信号の領域分割装置
JP3268953B2 (ja) * 1995-02-27 2002-03-25 三洋電機株式会社 追尾領域設定装置，動きベクトル検出回路およびそれを用いた被写体追尾装置
JP2822007B2 (ja) 1995-03-24 1998-11-05 株式会社エイ・ティ・アール通信システム研究所 画像中の輪郭の抽出・追跡方法
JPH0950526A (ja) * 1995-08-08 1997-02-18 Sony Corp 領域分割処理装置及び領域分割処理方法
JP3456617B2 (ja) 1995-11-24 2003-10-14 ソニー株式会社 領域分割装置
US5838828A (en) * 1995-12-12 1998-11-17 Massachusetts Institute Of Technology Method and apparatus for motion estimation in a video signal
US6078688A (en) 1996-08-23 2000-06-20 Nec Research Institute, Inc. Method for image segmentation by minimizing the ratio between the exterior boundary cost and the cost of the enclosed region
JP3226020B2 (ja) * 1997-05-28 2001-11-05 日本電気株式会社 動きベクトル検出装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101404401B1 (ko) * 2009-01-29 2014-06-05 닛본 덴끼 가부시끼가이샤 특징량 선택 장치

Also Published As

Publication number Publication date
JP4453202B2 (ja) 2010-04-21
WO2000031688A1 (fr) 2000-06-02
EP1050848A1 (en) 2000-11-08
KR100591491B1 (ko) 2006-06-20
US6611562B1 (en) 2003-08-26
EP1050848A4 (en) 2003-07-30

Similar Documents

Publication Publication Date Title
US6987866B2 (en) Multi-modal motion estimation for video sequences
US7936950B2 (en) Apparatus for creating interpolation frame
US7221776B2 (en) Video stabilizer
KR100787675B1 (ko) 두 개의 기준 프레임 사이에 보간 프레임을 생성하기 위한방법, 컴퓨터 프로그램 제품 및 장치
US8605787B2 (en) Image processing system, image processing method, and recording medium storing image processing program
US20050271144A1 (en) Image processing apparatus and method, and recording medium and program used therewith
US20050259739A1 (en) Image processing apparatus and method, and recording medium and program used therewith
US6980254B1 (en) Image interpolation system and image interpolation method
RU2598899C1 (ru) Устройство и способ обработки изображения
JPH0614305A (ja) 映像信号のフィールド又はフレーム間の動きを表す運動ベクトルを導出する方法及びこれを使用する映像方式変換装置
US11710315B2 (en) Method, electronic apparatus and storage medium for detecting a static logo of a video
KR20050012766A (ko) 현재 모션 벡터 추정을 위한 유닛 및 모션 벡터 추정 방법
KR20050012768A (ko) 현재 모션 벡터를 추정하는 유닛 및 방법
KR100591491B1 (ko) 화상 처리 장치 및 화상 처리 방법과 컴퓨터 판독 가능한기록 매체
US7840068B2 (en) System and method for video processing by image segmentation
US6968074B1 (en) Image processing device, image processing method, and storage medium
US6738497B2 (en) Method, system and apparatus for image block matching
US6668070B2 (en) Image processing device, image processing method, and storage medium
US9106926B1 (en) Using double confirmation of motion vectors to determine occluded regions in images
US6650362B1 (en) Movement detecting apparatus with feature point extractor based on luminance gradient in current frame
KR100969420B1 (ko) 프레임 레이트 변환 방법
WO2007148260A1 (en) Global motion estimation
KR20040093708A (ko) 세그먼테이션용 유닛 및 방법
US20210150723A1 (en) Image processing device, image processing method, and program
US6810134B2 (en) Method, system and apparatus for choosing an optimal candidate value for block matching

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120604

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee