KR20010039885A - 화상 처리 장치 - Google Patents

화상 처리 장치 Download PDF

Info

Publication number
KR20010039885A
KR20010039885A KR1020000053996A KR20000053996A KR20010039885A KR 20010039885 A KR20010039885 A KR 20010039885A KR 1020000053996 A KR1020000053996 A KR 1020000053996A KR 20000053996 A KR20000053996 A KR 20000053996A KR 20010039885 A KR20010039885 A KR 20010039885A
Authority
KR
South Korea
Prior art keywords
pixels
image
pixel
center
frame
Prior art date
Application number
KR1020000053996A
Other languages
English (en)
Other versions
KR100738241B1 (ko
Inventor
곤도테츠지로
Original Assignee
이데이 노부유끼
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이데이 노부유끼, 소니 가부시끼 가이샤 filed Critical 이데이 노부유끼
Publication of KR20010039885A publication Critical patent/KR20010039885A/ko
Application granted granted Critical
Publication of KR100738241B1 publication Critical patent/KR100738241B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

전경 추출부는 제 1 내지 제 N 프레임 각각의 전경을 추출하고, 전경 축적된 화상 배치부는 미래측으로부터 제 1 내지 제 N 프레임의 전경을 중첩시킴으로써 얻어진 전방 축적된 화상, 및 과거측으로부터 보여지는 것을 중첩시킴으로써 얻어진 후방 축적된 화상을 배치한다. 학습부는 각 프레임의 전경을 예측하기 위해 이용되는 예측 계수들을 구하기 위하여 전방 축적된 화상 및 후방 축적된 화상을 이용하고, 멀티플렉서는 예측 계수들, 전방 축적된 화상 및 후방 축적된 화상을 제 1 내지 제 N 프레임의 전방의 인코딩 결과로서 출력한다.

Description

화상 처리 장치{Image processing apparatus}
본 발명은 화상 처리 장치에 관한 것이다.
화상의 압축 인코딩 방법으로서, 통상 대상 인코딩이 공지되어 있다. 대상 인코딩에서, 화상들로 된 다수의 연속 프레임의 전경 및 배경(화상의 한 신(scene) 또는 한 커트(cut))(예컨대, 프레임의 한 신에서 다음 신으로의 변화)이 추출된다. 다수의 화상들이 N 프레임들로 형성될 때, N 프레임들로 디스플레이되는 전체 한 신의 배경(비디오 카메라가 움직이거나 또는 기울어질 때, 신이 얻어지면, 예컨대 배경은 풍경 화상 또는 인물 화상임) 및 N 프레임에서 얻어진 전경이 공통적으로 배경에 전경을 배치함으로써 디코드된다. 상기 타입의 대상 인코딩은 본 출원의 양수인에게 양도된 미국 특허 출원 제 5,706,367호에 설명되며 본 명세서에서 참조하여 구체화된다. 전경 및 배경이 추출되는 인코딩, 예컨대 대상 인코딩에서는, 추출된 전경이 인코드되는 방법이 인코딩의 효율에 상당한 영향을 미친다.
전경 및 배경이 추출되는 인코딩, 예컨대 대상 인코딩에서는, 배경의 추출 정확도가 디코드된 화상의 품질에 상당한 영향을 미친다.
대상 인코딩으로 카메라 움직임을 검출하기 위한 방법으로서, 전체 프레임을 하나의 블록으로 간주하며 블록 매칭을 이루기 위한 방법이 매크로블록의 움직임 벡터를 검출하기 위한 방법과 같이 고려될 수 있다.
그러나, 전체 프레임에 블록 매칭을 적용하기 위하여, 카메라 움직임이 검출되는 프레임의 공간 위치가 시프트되는 동안, 한 프레임에서의 화상의 픽셀과 한 프레임 전의 프레임에서의 화상의 픽셀간의 절대값 차의 합을 구해야만 한다. 계산량이 엄청나며, 계산이 곤란한 단점이 있다.
도 1은 본 발명의 일실시예에 따른 화상 전달 장치의 예시적 구성을 도시한 도면.
도 2는 도 1에 도시된 인코더(1)의 예시적 구성을 도시한 블록도.
도 3은 도 2에 도시된 축적부(11)에 기억된 일련의 화상을 도시한 도면.
도 4는 카메라 움직임 검출부(12)의 처리를 도시한 도면.
도 5는 도 2에 도시된 카메라 움직임 검출부(12)의 예시적 구성을 도시한 블록도.
도 6은 도 5에 도시된 카메라 움직임 검출부(12)에서 카메라 움직임 벡터를 어떻게 얻는가를 도시한 도면.
도 7은 도 5에 도시된 카메라 움직임 검출부(12)의 카메라 움직임 검출 처리의 흐름도.
도 8은 도 7에 도시된 스텝 S3에서 실행된 포커스 프레임에 대한 중심(center-of-gravity)의 제 1 상세예의 흐름도.
도 9는 레벨 표의 도면.
도 10은 도 7에 도시된 스텝 S4에서 실행된 움직임 검출 영역에 대한 중심 계산 처리의 상세 흐름도.
도 11은 도 7에 도시된 스텝 S3에서 실행된 처리의 제 2 상세예의 흐름도.
도 12는 클래스 표를 도시한 도면.
도 13은 도 7에 도시된 스텝 S3에서 실행된 처리의 제 3 상세예의 흐름도.
도 14는 에지 픽셀을 도시한 도면.
도 15는 도 5에 도시된 비움직임 판단부(25)에 의해 실행된 비움직임 판단 처리의 상세 흐름도.
도 16은 도 2에 도시된 배경 추출부(14)의 예시적 구성을 도시한 블록도.
도 17은 도 16에 도시된 화상 영역 검출부(31)의 처리를 도시한 도면.
도 18은 도 16에 도시된 판독부(32)의 처리를 도시한 도면.
도 19는 숫자 표를 도시한 도면.
도 20은 도 16에 도시된 배경 추출부(14)의 배경 추출 처리의 흐름도.
도 21은 도 20에 도시된 스텝 S124에서 실행된 배경 픽셀 추출 처리의 상세 흐름도.
도 22는 도 20에 도시된 스텝 S125에서 실행된 배경 확장 처리의 상세 흐름도.
도 23은 도 22에 도시된 배경 확장 처리를 도시한 도면.
도 24는 도 2에 도시된 전경 인코딩부(16)의 예시적 구성을 도시한 블록도.
도 25는 도 24에 도시된 배경 축적된 화상 배치부(43) 처리의 도면.
도 26은 도 24에 도시된 학습부(45)의 예시적 구성을 도시한 블록도.
도 27은 도 24에 도시된 적응 처리부(47)의 예시적 구성을 도시한 블록도.
도 28은 도 24에 도시된 전경 인코딩부(16)의 전경 인코딩 처리의 상세 흐름도.
도 29는 예측 탭이 에러 화상을 이용하여 형성된 상태를 도시한 도면.
도 30은 예측 탭이 2장의 에러 화상을 이용하여 형성된 상태를 도시한 도면.
도 31은 도 1에 도시된 디코더(2)의 예시적 구성을 도시한 블록도.
도 32는 도 31에 도시된 디코더(2)의 디코딩 처리를 도시한 흐름도.
도 33은 본 발명이 적용된 기록 매체를 도시한 도면.
도 34는 도 33의 (a)에 도시된 컴퓨터(101)의 예시적 구성을 도시한 블록도.
※도면의 주요부분에 대한 부호의 설명※
1: 인코더 2: 디코더
3: 전달 매체 4: 기록 매체
본 발명은 상기한 상태을 감안하여 이루어진 것이다. 따라서, 본 발명의 목적은 화상의 전경을 효과적으로 인코딩하는데 있다.
본 발명의 다른 목적은 화상으로부터 배경을 매우 정교하게 추출하는데 있다.
본 발명의 또 다른 목적은 카메라 움직임을 용이하게 검출하는데 있다.
이러한 목적중 하나는, 다수의 연속 프레임들의 화상 신호로부터 각 프레임의 전경을 추출하는 전경 추출 수단과, 다수의 연속 프레임들의 화상 신호의 배경에 위치 결정이 적용되며 전경들이 중첩된 상태에서 다수의 연속 프레임들의 시간 진행 방향으로 미래측으로부터 다수의 연속 프레임들을 보여줌으로써 얻어진 전방 축적된 화상, 및 다수의 연속 프레임들의 화상 신호의 배경에 위치 결정이 적용되며 전경들이 중첩된 상태에서 다수의 연속 프레임들의 시간 진행 방향으로 과거측으로부터 다수의 연속 프레임들을 보여줌으로써 얻어진 후방 축적된 화상에 따라 각 프레임의 전경을 예측하기 위해 이용되는 예측 정보를 생성하는 예측 정보 생성 수단, 및 전방 축적된 화상, 후방 축적된 화상 및 예측 정보를 포함한 정보를 다수의 연속 프레임들의 전경들 인코딩 결과로서 출력하는 출력 수단을 포함한 다수의 연속 프레임들의 화상 신호를 처리하기 위한 화상 처리 장치의 제공을 통한 본 발명의 한 양태에서 구현된다.
상기 목적중 하나는, 다수의 연속 프레임들의 화상 신호로부터 각 프레임의 전경을 추출하는 단계와, 다수의 연속 프레임들의 화상 신호의 배경에 위치 결정이 적용되며 전경들이 중첩된 상태에서 다수의 연속 프레임들의 시간 진행 방향으로 미래측으로부터 다수의 연속 프레임들을 보여줌으로써 얻어진 전방 축적된 화상, 및 다수의 연속 프레임들의 화상 신호의 배경에 위치 결정이 적용되며 전경들이 중첩된 상태에서 다수의 연속 프레임들의 시간 진행 방향으로 과거측으로부터 다수의 연속 프레임들을 보여줌으로써 얻어진 후방 축적된 화상에 따라 각 프레임의 전경을 예측하기 위해 이용되는 예측 정보를 생성하는 단계, 및 전방 축적된 화상, 후방 축적된 화상 및 예측 정보를 포함한 정보를 다수의 연속 프레임들의 전경들 인코딩 결과로서 출력하는 단계를 포함하는 다수의 연속 프레임들의 화상 신호를 처리하기 위한 화상 처리 방법의 제공을 통한 본 발명의 다른 양태에서 구현된다.
상기 목적중 하나는, 다수의 연속 프레임들의 화상 신호로부터 각 프레임의 전경을 추출하는 단계와, 다수의 연속 프레임들의 화상 신호의 배경에 위치 결정이 적용되며 전경들이 중첩된 상태에서 다수의 연속 프레임들의 시간 진행 방향으로 미래측으로부터 다수의 연속 프레임들을 보여줌으로써 얻어진 전방 축적된 화상, 및 다수의 연속 프레임들의 화상 신호의 배경에 위치 결정이 적용되며 전경들이 중첩된 상태에서 다수의 연속 프레임들의 시간 진행 방향으로 과거측으로부터 다수의 연속 프레임들을 보여줌으로써 얻어진 후방 축적된 화상에 따라 각 프레임의 전경을 예측하기 위해 이용되는 예측 정보를 생성하는 단계, 및 전방 축적된 화상, 후방 축적된 화상 및 예측 정보를 포함한 정보를 다수의 연속 프레임들의 전경들 인코딩 결과로서 출력하는 단계를 포함한 프로그램으로서, 다수의 연속 프레임들의 화상 신호를 처리하기 위한 컴퓨터 제어가능한 프로그램을 기억하기 위한 기록 매체의 제공을 통한 본 발명의 또 다른 양태에서 구현된다.
상기 목적중 하나는, 다수의 연속 프레임들의 화상 신호의 배경에 위치 결정이 적용되며 전경들이 중첩된 상태에서 다수의 연속 프레임들의 시간 진행 방향으로 미래측으로부터 다수의 연속 프레임들을 보여줌으로써 얻어진 전방 축적된 화상, 및 다수의 연속 프레임들의 화상 신호의 배경에 위치 결정이 적용되며 전경들이 중첩된 상태에서 다수의 연속 프레임들의 시간 진행 방향으로 과거측으로부터 다수의 연속 프레임들을 보여줌으로써 얻어진 후방 축적된 화상에 따라 각 프레임의 전경을 예측하기 위해 이용되는 예측 정보를 포함한 인코딩 결과로부터, 전방 축적된 화상, 후방 축적된 화상 및 예측 정보를 추출하는 추출 수단, 및 전방 축적된 화상, 후방 축적된 화상 및 예측 정보에 따라 각 프레임의 화상 신호를 디코딩하는 디코딩 수단을 포함한 다수의 연속 프레임들의 화상 신호를 처리하기 위한 화상 처리 장치의 제공을 통한 본 발명의 또 다른 양태에서 구현된다.
상기 목적중 하나는, 다수의 연속 프레임들의 화상 신호의 배경에 위치 결정이 적용되며 전경들이 중첩된 상태에서 다수의 연속 프레임들의 시간 진행 방향으로 미래측으로부터 다수의 연속 프레임들을 보여줌으로써 얻어진 전방 축적된 화상, 및 다수의 연속 프레임들의 화상 신호의 배경에 위치 결정이 적용되며 전경들이 중첩된 상태에서 다수의 연속 프레임들의 시간 진행 방향으로 과거측으로부터 다수의 연속 프레임들을 보여줌으로써 얻어진 후방 축적된 화상에 따라 각 프레임의 전경을 예측하기 위해 이용되는 예측 정보를 포함한 인코딩 결과로부터, 전방 축적된 화상, 후방 축적된 화상 및 예측 정보를 추출하는 단계, 및 전방 축적된 화상, 후방 축적된 화상 및 예측 정보에 따라 각 프레임의 화상 신호를 디코딩하는 단계를 포함한 다수의 연속 프레임들의 화상 신호를 처리하기 위한 화상 처리 방법의 제공을 통한 본 발명의 또 다른 양태에서 구현된다.
상기 목적중 하나는, 다수의 연속 프레임들의 화상 신호의 배경에 위치 결정이 적용되며 전경들이 중첩된 상태에서 다수의 연속 프레임들의 시간 진행 방향으로 미래측으로부터 다수의 연속 프레임들을 보여줌으로써 얻어진 전방 축적된 화상, 및 다수의 연속 프레임들의 화상 신호의 배경에 위치 결정이 적용되며 전경들이 중첩된 상태에서 다수의 연속 프레임들의 시간 진행 방향으로 과거측으로부터 다수의 연속 프레임들을 보여줌으로써 얻어진 후방 축적된 화상에 따라 각 프레임의 전경을 예측하기 위해 이용되는 예측 정보를 포함한 인코딩 결과로부터, 전방 축적된 화상, 후방 축적된 화상 및 예측 정보를 추출하는 단계, 및 전방 축적된 화상, 후방 축적된 화상 및 예측 정보에 따라 각 프레임의 화상 신호를 디코딩하는 단계를 포함한 프로그램으로서, 다수의 연속 프레임들의 화상 신호를 처리하기 위한 컴퓨터 제어가능한 프로그램을 기억하기 위한 기록 매체의 제공을 통한 본 발명의 또 다른 양태에서 구현된다.
상기 목적중 하나는, 위치 결정이 각 프레임의 배경에 적용된 때, 다수의 연속 프레임들의 화상 신호에 따라 다수의 연속 프레임들에서의 공간적으로 동일한 위치에 배치된 픽셀들의 세트들을 검출하는 동일 위치 픽셀 검출 수단과, 공간적으로 동일한 위치에 배치된 픽셀들의 각 세트에 각 픽셀값을 가진 픽셀들의 수를 검출하는 픽셀들의 수 검출 수단, 및 픽셀들의 수에 따라 각 세트마다 배경 화상의 픽셀값을 판단하는 배경 픽셀값 판단 수단을 포함한 다수의 연속 프레임들의 화상 신호를 처리하기 위한 화상 처리 장치의 제공을 통한 본 발명의 또 다른 양태에서 구현된다.
상기 목적중 하나는, 위치 결정이 각 프레임의 배경에 적용된 때, 다수의 연속 프레임들의 화상 신호에 따라 다수의 연속 프레임들에서의 공간적으로 동일한 위치에 배치된 픽셀들의 세트들을 검출하는 단계와, 공간적으로 동일한 위치에 배치된 픽셀들의 각 세트에 각 픽셀값을 가진 픽셀들의 수를 검출하는 단계, 및 픽셀들의 수에 따라 각 세트마다 배경 화상의 픽셀값을 판단하는 단계를 포함한 다수의 연속 프레임들의 화상 신호를 처리하기 위한 화상 처리 방법의 제공을 통한 본 발명의 또 다른 양태에서 구현된다.
상기 목적중 하나는, 위치 결정이 각 프레임의 배경에 적용된 때, 다수의 연속 프레임들의 화상 신호에 따라 다수의 연속 프레임들에서의 공간적으로 동일한 위치에 배치된 픽셀들의 세트들을 검출하는 단계와, 공간적으로 동일한 위치에 배치된 픽셀들의 각 세트에 각 픽셀값을 가진 픽셀들의 수를 검출하는 단계, 및 픽셀들의 수에 따라 각 세트마다 배경 화상의 픽셀값을 판단하는 단계를 포함한 프로그램으로서, 다수의 연속 프레임들의 화상 신호를 처리하기 위한 컴퓨터 제어가능한 프로그램을 기억하는 기록 매체의 제공을 통한 본 발명의 또 다른 양태에서 구현된다.
상기 목적들중 하나는, 화상 신호를 기억하는 기억 수단과, 기억 수단에 기억된 화상 신호에서의 포커스 프레임 바로 전의 프레임의 화상 신호를 포함한 검출 영역의 화상 신호의 중심을 검출하는 검출 영역의 중심 검출 수단과, 포커스 프레임의 화상 신호의 중심을 검출하는 포커스 프레임의 중심 검출 수단과, 검출 영역의 중심 및 포커스 프레임의 중심에 따라 카메라 움직임 벡터를 검출하는 카메라 움직임 검출 수단, 및 카메라 움직임 벡터에 기초하여 위치적 관계에 의해 기억 수단에 기억된 화상 신호에 포커스 프레임의 화상 신호를 중복 기록하는 중복 기록 수단을 포함한 다수의 연속 프레임들의 화상 신호를 처리하기 위한 화상 처리 장치의 제공을 통한 본 발명의 또 다른 양태에서 구현된다.
상기 목적중 하나는, 화상 신호를 기억하는 단계와, 상기 화상 신호 기억 단계에서 기억된 화상 신호에서의 포커스 프레임 바로 전의 프레임의 화상 신호를 포함한 검출 영역의 화상 신호의 중심을 검출하는 단계와, 포커스 프레임의 화상 신호의 중심을 검출하는 단계와, 검출 영역의 중심 및 포커스 프레임의 중심에 따라 카메라 움직임 벡터를 검출하는 단계, 및 카메라 움직임 벡터에 기초하여 위치적 관계에 의해 기억 수단에 기억된 화상 신호에 포커스 프레임의 화상 신호를 중복 기록하는 단계를 포함한 다수의 연속 프레임들의 화상 신호를 처리하기 위한 화상 처리 방법의 제공을 통한 본 발명의 또 다른 양태에서 구현된다.
상기 목적중 하나는, 화상 신호를 기억하는 단계와, 상기 화상 신호 기억 단계에서 기억된 화상 신호에서의 포커스 프레임 바로 전의 프레임의 화상 신호를 포함한 검출 영역의 화상 신호의 중심을 검출하는 단계와, 포커스 프레임의 화상 신호의 중심을 검출하는 단계와, 검출 영역의 중심 및 포커스 프레임의 중심에 따라 카메라 움직임 벡터를 검출하는 단계, 및 카메라 움직임 벡터에 기초하여 위치적 관계에 의해 기억 수단에 기억된 화상 신호에 포커스 프레임의 화상 신호를 중복 기록하는 단계를 포함한 프로그램으로서, 다수의 연속 프레임들의 화상 신호를 처리하기 위한 컴퓨터 제어가능한 프로그램을 기억하기 위한 기록 매체의 제공을 통한 본 발명의 또 다른 양태에서 구현된다.
도 1은 본 발명의 일 실시예에 따른 화상 전달 장치의 예시적 구성을 도시한다.
인코더(1)는 예컨대, 비디오 카메라에 의해 포착되고, 화상을 인코드하여, 인코드된 데이터를 출력하는 인코드될 화상로서 디지털 화상 데이터를 수신한다. 인코드된 데이터는 위성 라인, 지상파, 케이블 텔레비전(CATV) 네트워크, 인터넷 또는 통합 서비스 디지털 네트워크(ISDN) 같은 전달 매체(3)를 통해서 전달되거나, 또는 광학 디스크, 광자기 디스크, 자기 디스크, 자기 테이프 또는 위상 변화 디스크 같은 기록 매체(4)에 기록된다.
디코더(2)는 전달 매체(3)를 통해 전달된 인코드된 데이터 또는 기록 매체(4)로부터 재생된 인코드된 데이터를 수신하고, 인코드된 데이터를 디코드하며, 디코드된 데이터를 예컨대 디스플레이를 위해 도시되지 않은 모니터에 출력시킨다.
상술된 화상 전달 장치는 예컨대 화상을 전달 및 수신하기 위해 원격 위치에 배치된 장치 및 화상을 기록 및 재생하기 위한 장치에 적용될 수 있다.
도 2는 도 1에 도시된 인코더(1)의 예시적 구성을 도시한다.
축적부(11)는 예컨대 반도체 메모리 또는 자기 디스크로 구성되어, 인코더(1)에 전송된 화상 데이터를 일시적으로 기억한다. 축적부(11)는 한 신 변화로부터 다음 신 변화로의 변화 같이 다수의 프레임들의 단위로 화상 데이터를 기억한다. 예를 들면, 축적부(11)는 도 3에 도시된 바와 같이 제 1 프레임 내지 제 N 프레임으로 구성된 N 프레임으로 된 화상 데이터를 기억하는 것으로 가정한다.
축적부(11)가 N 프레임을 기억하면, 카메라 움직임 검출부(12)는 축적부(11)로부터 N 프레임 화상을 판독하고, 각 프레임에서의 카메라 움직임의 방향 및 크기를 나타내는 카메라 움직임 벡터를 검출한다.
즉, 카메라 움직임 검출부(12)는 제 1 프레임의 상부 좌측 코너를 원점으로 설정하고, 제 1 프레임에서의 카메라 움직임 벡터 V1을 좌표 시스템(이후 명세서에서는 기준 좌표 시스템으로 칭함)에서의 0(=(0,0))으로 설정하는데, 여기서 원점에서 우측으로의 방향은 x-축 양의 방향으로 설정되고, 원점에서 하측으로의 방향은 y-축 양의 방향으로 설정된다. 카메라 움직임 검출부(12)는, 위치 결정이 각 프레임의 배경에 대하여 이루어질 때, 제 2 내지 제 N 프레임 각각에 대한 기준 좌표 시스템에서, 제 n 프레임에서의 카메라 움직임 벡터 Vn을 제 n 프레임의 상부 좌측 코너의 좌표(x,y)로 설정한다.
특히, 카메라 움직임 검출부(12)가 제 1 프레임에서의 카메라 움직임 벡터 V1을 0으로 설정한 후, 카메라 움직임 검출부(12)는 제 1 프레임의 배경이 기준 좌표 시스템에서의 제 2 프레임의 배경과 매치할 수 있도록 제 2 프레임의 위치를 구하고, 도 4의 (b)에 도시된 바와 같이 카메라 움직임 벡터 V2를 구해진 위치에서 제 2 프레임의 상부 좌측 코너의 좌표로 설정한다. 이 때, 카메라 움직임 검출부(12)는 제 1 및 제 2 프레임의 위치 결정된 배경이 기준 좌표 시스템에서의 제 3 프레임의 배경과 매치할 수 있도록 제 3 프레임의 위치를 구하고, 도 4의 (c)에 도시된 바와 같이 구해진 위치에서 카메라 움직임 벡터 V3를 제 3 프레임의 상부 좌측 코너의 좌표로 설정한다.
같은 방법으로, 카메라 움직임 검출부(12)는 제 4 프레임 내지 제 N프레임에서의 카메라 움직임 벡터들 V4내지 Vn을 구한다.
설명을 간략화하기 위하여, 카메라가 수평 및 수직 방향으로만 이동하고 회전되지는 않는 것으로 가정한다. 그러나, 본 발명은 카메라 움직임이 회전을 포함하는 경우에 적용될 수 있다.
카메라 움직임 벡터는 카메라 움직임 자체로 발생되는 성분을 포함하며, 또한 배경이 움직일 때 발생하는 움직임 성분을 포함한다. 극단적인 경우, 카메라가 고정되더라도, 대응하는 카메라 움직임 벡터는 제로가 아니다. 카메라 움직임 벡터는 각 프레임의 배경을 위치 결정하기 위해 이용되는 움직임 벡터이다.
제 1 프레임 내지 제 N 프레임에서 상술된 바와 같이 카메라 움직임 검출부(12)에 의해 검출된 카메라 움직임 벡터 v1내지 vN은 카메라 움직임 벡터 기억부(13)로 전송되어 그곳에 기억된다.
카메라 움직임 벡터 기억부(13)가 카메라 움직임 벡터 v1내지 vN을 기억할 때, 배경 추출부(14)는 카메라 움직임 벡터 기억부(13)로부터 카메라 움직임 벡터 v1내지 vN을 판독하고, 축적부(11)로부터 제 1 프레임 내지 제 N 프레임으로 된 화상 데이터를 판독하고, 제 1 프레임 내지 제 N 프레임에 공통적인 배경(이후 명세서에서는 필요하다면 공통 배경으로 칭함)(상기 배경은, 카메라가 예컨대 제 1 프레임 내지 제 N 프레임에 공통으로 움직이며/기울어지면, 일련의 화상들이 비디오 카메라에 의해 포착될 때의 풍경 화상/인물 화상임)을 추출하기 위하여 카메라 움직임 벡터들 v1내지 vN에 따라 제 1 프레임 내지 제 N 프레임의 배경에 대한 위치 결정을 얻어 결합시킨다. 배경 추출부(14)에 의해 추출된 공통 배경은 배경 메모리(15)에 전송되어 그곳에 기억된다.
각 위치에 배치된 제 1 프레임 내지 제 N 프레임의 픽셀은 평균화 또는 가중 가산에 의해 결합된다.
배경 메모리(15)가 공통 배경을 기억할 때, 전경 인코딩부(16)는 카메라 움직임 벡터 기억부(13)에 기억된 각 프레임의 카메라 움직임 벡터에 따라 공통 배경 사이의 축적부(11)에 기억된 각 프레임의 배경을 검출하고, 각 프레임의 전경을 추출하기 위하여 각 프레임의 화상로부터 각 프레임의 검출된 배경을 빼낸다. 전경 인코딩부(16)는 각 프레임의 전경을 인코드하고, 인코딩 결과를 멀티플렉서(MUX)(17)에 출력시킨다.
MUX(17)가 전경 인코딩부(16)로부터 전경의 인코딩 결과를 수신하면, MUX(17)는 카메라 움직임 벡터 기억부(13)에 기억된 카메라 움직임 벡터 및 전경의 인코딩 결과로 배경 메모리(15)에 기억된 공통 배경을 멀티플렉스하고, 멀티플렉스 결과를 인코드된 데이터로서 출력한다.
인코더(1)는 상술된 바와 같이 다수의 프레임들의 단위로 화상 데이터를 인코드한다.
도 5는 도 2에 도시된 카메라 움직임 검출부(12)의 예시적 구성을 도시한다.
중심 계산부(21)는 프레임 단위로 축적부(11)(도 2)에 기억된 화상을 수신하고, 후술되는 바와 같이 각 프레임에서의 중심을 구한다. 중심 계산부(21)는 축적된 화상 메모리(24)에 기억된 후술되는 축적된 화상에서의 포커스 프레임의 카메라 움직임 벡터를 검출하기 위해 이용되는 영역(이후 명세서에서는 필요하다면 움직임 검출 영역으로 칭함)을 지정하고, 움직임 검출 영역의 중심을 구한다. 중심 계산부(21)에서 구해진 움직임 검출 영역의 중심 및 포커스 프레임은 벡터 검출부(22)에 전송된다.
벡터 검출부(22)는 중심 계산부(21)로부터 전송된 움직임 검출 영역의 중심 및 포커스 프레임에 따른 포커스 프레임의 카메라 움직임 벡터를 검출하고, 이 카메라 움직임 벡터를 카메라 움직임 벡터 기억부(13)(도 2)에 및 기록 제어부(23)에 전송한다.
기록 제어부(23)는 축적된 화상 메모리(24)가 포커스 프레임의 화상 데이터를 기억하는 어드레스를, 벡터 검출부(22)로부터 전송된 카메라 움직임 벡터에 따라 제어한다. 축적된 화상 메모리(24)는 축적부(11)(도 2)로부터 포커스 프레임의 화상 데이터를 판독하고, 이것을 기록 제어부(23)에 의해 지정된 위치에 기억시킨다.
도 5에 도시된 카메라 움직임 검출부(12)에 의해 얻어진 카메라 움직임 벡터를 검출하기 위한 카메라 움직임 검출 처리가 도 6을 참조하여 이후에 설명된다.
카메라 움직임 검출부(12)에 의해 얻어진 카메라 움직임 검출 처리에서, 화상의 중심이 이용되는 카메라의 움직임에 따라 이동되는 개념이 적용된다. 기본적으로, 프레임은 프레임의 중심이 매치되도록 위치되며, 위치 결정 상태에서의 각 프레임의 상부 좌측 코너는 각 프레임의 카메라 움직임 벡터로서 검출된다.
특히, 제 n 프레임이 포커스 프레임으로 설정되면, 축적된 화상 메모리(24)는 각 프레임이 위치적으로 매치될 수 있도록 하기 위하여, 제 1 프레임 내지 포커스 프레임 직전의 프레임인 제 1 내지 제 (n-1) 프레임의 화상 데이터를 중첩시킴으로써 얻어진 화상(축적된 화상)를 미리 기억한다.
이 경우, 중심 계산부(21)는 도 6의 (a)에 도시된 바와 같이 포커스 프레임인 제 n 프레임의 중심 cn을 구한다. 중심 계산부(21)는 또한 제 (n-1) 프레임을 포함하며, 움직임 검출 영역으로 축적된 화상 메모리(24)에 기억된 축적된 화상에서 포커스 프레임 전의 한 프레임인 제 (n-1) 프레임 보다 큰, 영역을 지정하고, 도 6의 (b)에 도시된 바와 같이 제 (n-1) 프레임의 중심 "c"를 구한다. 우측, 좌측, 상측, 하측 방향 각각으로 소정 수의 픽셀만큼 제 (n-1) 프레임 보다 큰 영역이, 예를 들면 움직임 검출 영역으로 설정된다.
포커스 프레임의 중심 cn 및 움직임 검출 영역의 중심 c가 구해지면, 벡터 검출부(22)는 움직임 검출 영역의 중심 "c"이 포커스 프레임의 중심 cn과 매치하는 상태에서 포커스 프레임의 상부 좌측 코너의 위치를 구하여, 포커스 프레임이 제 n 프레임의 카메라 움직임 벡터 vn으로 위치의 좌표를 출력시킨다.
즉, 포커스 프레임으로 설정된 제 n 프레임의 카메라 움직임 벡터 vn이 구해지면, 제 n 프레임 전의 한 프레임까지 프레임의 카메라 움직임 벡터가 미리 구해진다. 도 6의 (c)에 도시된 바와 같이, 움직임 검출 영여 r의 중심 "c" 위치가 기준으로 이용되는 제 (n-1) 프레임의 상부 좌측 코너를 가진 벡터 v'c로 표시되고, 제 n 프레임의 중심 cn의 위치가 기준으로 이용되는 제 n 프레임의 상부 좌측 코너를 가진 벡터 v'cn으로 표시되면, 기준 좌표 시스템에서의 포커스 프레임의 상부 좌측 코너의 좌표는, 움직임 검출 영역의 중심 "c"가 포커스 프레임의 중심 cn과 매치하는 상태에서 포커스 프레임의 카메라 움직임 벡터 vn을 나타낸다. 카메라 움직임 벡터 vn은 움직임 검출 영역의 중심 "c"의 위치를 나타내는 벡터 v'c를 포커스 프레임 전의 한 프레임인 제 (n-1) 프레임의 카메라 움직임 벡터 vn-1에 가산하며, 이후 이로부터 포커스 프레임의 중심 cn을 나타내는 벡터 v'cn를 감산함으로써 구해질 수 있다. 즉, 포커스 프레임의 카메라 움직임 벡터 vn은 vn= vn-1+ v'c- v'cn의 수학식으로 구해질 수 있다.
포커스 프레임의 카메라 움직임 벡터 vn이 상술된 바와 같이 구해진 후, 기록 제어부(23)는 포커스 프레임의 화상 데이터가 축적된 화상 메모리(24)에 기록되는 기록 어드레스를 카메라 움직임 벡터 vn에 따라 제어한다. 특히, 포커스 프레임의 화상 데이터는 포커스 프레임의 상부 좌측 코너가 기준 좌표 시스템에서의 카메라 움직임 벡터 vn로 표시된 위치에 위치 결정되도록 축적된 화상 메모리(24)에 중복 기록된다. 상기 기록에 의해 구해진 화상은 제 (n+1) 프레임이 포커스 프레임으로 설정되고, 제 (n+1) 프레임이 검출될 때, 축적된 화상로서 이용된다.
도 5에 도시된 카메라 움직임 검출부(12)에 의해 얻어진 카메라 움직임 검출 처리는 도 7에 도시된 흐름도를 참조하여 다시 설명된다.
제 1 프레임은 축적부(11)에 기억된 화상들중에서의 포커스 프레임으로 판독되어, 중심 계산부(21)에 전송되며, 축적된 화상 메모리(24)의 기억된 값은 클리어된다.
중심 계산부(21)는 포커스 프레임이 제 1 프레임인 가의 여부를 스텝 S1에서 판단한다. 포커스 프레임이 제 1 프레임인 것으로 스텝 S1에서 판단하면, 처리는 스텝 S2로 진행하여, 벡터 검출부(22)는 카메라 움직임 벡터 v1을 0으로 설정하고, 이것을 카메라 움직임 벡터 기억부(13) 및 기록 제어부(23)에 출력한 후, 처리는 스텝 S6으로 진행한다.
스텝 S6에서, 기록 제어부(23)는 벡터 검출부(22)로부터 전송된 카메라 움직임 벡터에 따라 축적된 화상 메모리(24)의 기록 어드레스를 제어하고, 축적된 화상 메모리(24)에서의 포커스 프레임을 기록한다. 이 경우, 포커스 프레임은 제 1 프레임이고, 카메라 움직임 벡터 v1은 제로이기 때문에, 제 1 프레임의 화상 데이터는 프레임의 상부 좌측 코어가 기준 좌표 시스템의 원점에 위치되도록 축적된 화상 메모리(24)에 기록된다.
다음에, 처리는 스텝 S7으로 진행하여, 축적부(11)가 다음 프레임을 기억하는 가의 여부가 판단된다. 다음 프레임이 기억된다고 판단하면, 다음 프레임은 포커스 프레임으로 판독되어, 중심 계산부(21)로 전송된다. 처리는 스텝 S1으로 되돌아가서, 상술된 것들과 동일한 처리가 반복된다.
스텝 S1에서, 포커스 프레임이 제 1 프레임이 아닌 것으로 판단되면, 즉 포커스 프레임이 제 2 프레임 내지 제 N 프레임중 하나이면, 처리는 스텝 S3로 진행한다. 중심 계산부(21)는 포커스 프레임의 중심을 구하기 위하여 중심 계산 처리를 수행한 후, 처리는 스텝 S4로 진행한다. 스텝 S4에서, 중심 계산부(21)는 축적된 화상 메모리(24)에 기억된 축적된 화상에서 포커스 프레임에 대한 움직임 검출 영역을 지정하고, 움직임 검출 영역의 중심을 구하기 위하여 중심 계산 처리를 실행한 후, 처리는 스텝 S5로 진행한다.
스텝 S5에서, 벡터 검출부(22)는 도 6을 참조하여 설명된 바와 같이, 움직임 검출 영역의 중심 및 중심 계산부(21)에 의해 구해진 포커스 프레임의 중심을 이용하여 포커스 프레임의 카메라 움직임 벡터를 구하고, 그 벡터를 카메라 움직임 벡터 기억부(13) 및 기록 제어부(23)에 전송한다.
다음에, 처리는 스텝 S6로 진행한다. 상술된 바와 같이, 기록 제어부(23)는 벡터 검출부(22)로부터 전송된 카메라 움직임 벡터에 따라 축적된 화상 메모리(24)의 기록 어드레스를 제어하고, 축적된 화상 메모리(24)에서의 포커스 프레임을 기록한다. 즉, 포커스 프레임의 화상 데이터는 프레임의 상부 좌측 코너가 기준 좌표 시스템에서의 포커스 프레임의 카메라 움직임 벡터로 표시된 위치에 위치되도록 축적된 화상 메모리로 중복 기록된다.
다음에, 처리는 스텝 S7으로 진행하여, 상술된 바와 같이, 축적부(11)가 다음 프레임을 기억하는 가의 여부가 판단된다. 다음 프레임이 기억되지 않는 다고 판단되면, 즉 제 1 내지 제 N 프레임들 각각의 카메라 움직임 벡터가 구해지지 않는다면, 카메라 움직임 검출 처리가 종료된다.
도 7에 도시된 스텝 S3에서의 중심 계산부(21)에 의해 실행되는 포커스 프레임에 대한 중심 계산 처리가 이후에 도 8에 도시된 흐름도를 참조하여 상세하게 설명된다.
스텝 S11에서, 변수 X는 포커스 프레임에 수평으로(수평 방향으로) 배치된 픽셀의 수로 설정되고, 변수 Y는 포커스 프레임에서 수직으로 (수직 방향) 배치된 픽셀의 수로 설정된다. 다음에, 처리는 스텝 S12로 진행한다.
스텝 S12에서, 포커스 프레임에서의 각 픽셀의 y 좌표를 나타내는 좌표 y는 초기값, 예컨대 -1로 설정된 후, 처리는 스텝 S13으로 진행하며, 변수 y는 1씩 증가된다.
포커스 프레임을 구성하는 각 픽셀의 좌표는 원점이 상부 좌측 픽셀에 배치된 좌표 시스템에 표시되고 원점에서 우측으로의 방향은 x축 양의 방향으로 설정되고, 원점에서 하부로의 방향은 y 축 양의 방향으로 설정된다.
다음에, 처리는 스텝 S14로 진행하여, 변수 y가 포커스 프레임의 수직 방향에서 픽셀의 수 y 보다 작은 가의 여부가 판단된다. 스텝 S14에서 변수 y가 수 y 보다 작다고 판단되면, 처리는 스텝 S15로 진행한다. 변수 x는 초기값, 예컨대 -1로 설정되고, 처리는 스텝 S16으로 진행한다.
스텝 S16에서, 변수 1씩 증가된다. 다음에, 처리는 스텝 S17로 진행하며, 변수 x가 포커스 프레임의 수평 방향에서의 픽셀의 수 x 보다 작은 가의 여부가 판단된다. 스텝 S17에서, 변수 x가 수 x 보다 작지 않다고 판단되면, 처리는 스텝 S13으로 되돌아가서, 상술된 것과 동일한 처리가 반복된다.
스텝 S17에서, 변수 x가 수 x 보다 작다고 판단되면, 처리는 스텝 S18로 진행하고, 좌표(x,y)에 배치된 픽셀 p(x,y)가 포커스 픽셀로 설정되며, 포커스 픽셀은 픽셀값에 따라 미리 지정된 레벨중 하나로 분류된다.
즉, 본 실시예에서, 레벨은 픽셀값 범위 보다 작은 여러 범위로 제한된다. 예를 들어, 레벨이 K 범위로 제한되고, K 범위가 최소 픽셀값을 가진 범위로부터 연속적으로 불리우는 레벨 1, 레벨 2,... 및 레벨 k로 순차적으로 불리운다고 가정하면, 포커스 픽셀은 스텝 S18에서의 픽셀값에 따라 레벨 1 내지 레벨 K중 하나로 분류된다.
스텝 S18에서, 포커스 픽셀의 레벨 분류 결과는 또한 레벨표로 입력된다.
특히, 중심 계산부(21)는 내장형 메모리(도시되지 않음)에서의 레벨표를 기억한다. 레벨표에서, 레벨 k(k=1, 2, ...,K)에 속하는 픽셀의 수 fx 및, x 좌표의 합및 레벨 k에 속하는 픽셀의 y 좌표의 합는 도 9에 도시된 바와 같이 각 레벨 k에 대응적으로 기억된다. 포커스 픽셀의 픽셀값이 레벨 k에 속하면, 예컨대 중심 계산부(21)가 레벨 k에 대한 수 fx를 1씩 증가시키고, 포커스 픽셀의 x 좌표 및 y 좌표를 레벨표에서의 x 좌표의 합및 y 좌표의 합각각에 가산한다.
수 fx및 레벨표의 합및는 도 8의 흐름도에 도시된 처리가 시작될 때마다 0으로 클리어된다.
이때, 처리는 스텝 S16으로 되돌아가고, 상술된 것과 동일한 처리가 반복된다.
스텝 S14에서, 변수 y가 수 Y 보다 작다고 판단되면, 즉, 처리가 포커스 픽셀로 설정된 포커스 프레임을 구성하는 각 픽셀로 실행되고, 포커스 프레임을 구성하는 포든 픽셀이 레벨표로 입력되면, 처리는 스텝 S19로 진행하여, 레벨표에서의 각 레벨에 속하는 픽셀의 중심이 구해진다. 특히, 스텝 S19에서, 레벨표에서의 각 레벨 k의 x 좌표의 합및 y 좌표의 합은 대응하는 수 fx로 나누어지며, 몫으로 표시된 좌표(/fx,/fx)는 각 레벨 k에 속하는 픽셀의 중심으로 구해진다.
다음에 처리는 스텝 S20으로 진행한다. 레벨 1 내지 레벨 K에 속하는 픽셀의 중심들의 중심은 포커스 프레임을 구성하는 전체 화상의 중심으로 얻어지고, 처리는 되돌아온다.
특히, 스텝 S20에서, 레벨 1 내지 레벨 K에 속하는 픽셀 중심의 가중 평균은 예를 들면 가중치로 이용되는 대응하는 수 f1내지 fk로 구해진다. 가중 평균은 포커스 프레임을 구성하는 전체 화상의 중심으로 출력된다.
도 7에 도시된 스텝 S4에서 중심 계산부(21)에 의해 실행되는 중심 계산 처리는 도 10에 도시된 흐름도를 참조하여 이후에 상세히 설명된다.
우선, 스텝 S31에서, 움직임 검출 영역이 지정된다. 포커스 프레임 전의 한 프레임이 기록된 영역은 스텝 S31에서 축적된 화상 메모리(24)에 기억된 축적된 화상에서 검출된다. 검출된 영역은 예컨대 소정 수의 픽셀에 의해 상측, 하측, 우측, 좌측 방향으로 확장되며, 확장된 영역은 움직임 검출 영역으로 지정된다.
다음에, 처리는 스텝 S32로 진행한다. 변수 X는 움직임 검출 영역에서 수평으로 배치된 픽셀의 수로 설정되고, 변수 Y는 움직임 검출 영역에서 수직으로 배치된 픽셀의 수로 설정되며, 처리는 스텝 S33으로 진행한다.
스텝 S33에서 스텝 S41로, 도 8에서의 스텝 S12 내지 스텝 S20에서 실행된 것과 동일한 처리가 수행된다. 상기 처리로, 움직임 검출 영역을 구성하는 전체 픽셀의 중심이 구해지며, 처리는 되돌아간다.
상술된 바와 같이, 카메라 검출부(12)는 포커스 프레임 전의 한 프레임을 포함한 소정의 영역을 지정하고, 움직임 검출 영역으로 축적된 화상에서는 움직임 검출 영역의 중심 및 포커스 프레임의 중심을 계산하고, 중심에 따라 포커스 프레임의 카메라 움직임 벡터를 구하고, 카메라 움직임 벡터에 따라 축적된 화상상에 포커스 프레임을 기록한다. 상기 동작은 변화되는 포커스 프레임으로 반복된다. 따라서, 카메라 움직임 벡터는 블록 매칭이 실행되는 경우 보다 더 용이하게 구해진다.
도 7에 도시된 경우에, 포커스 프레임의 중심은 스텝 S3에서 구해지며, 움직임 검출 영역의 중심은 스텝 S4에서 구해진다. 포커스 프레임 또는 움직임 검출 프레임의 중심중 하나가 우선적으로 구해지거나, 또는 모두가 동시에 구해질 수 있다.
도 8에 도시된 경우에, 포커스 프레임의 중심은 이들의 값에 의해 포커스 프레임을 구성하는 픽셀을 여러 개의 레벨로 분류(이후 명세서에서는, 필요하다면 레벨 분류로 칭함)함으로써 구해진다. 포커스 프레임을 구성하는 픽셀은 포커스 프레임의 중심을 구하기 위하여 픽셀들 각각의 주위에 배치된 여러 개의 픽셀들(여러 개의 픽셀들은 픽셀들 각각을 포함할 수 있거나, 또는 이것을 포함하지 않을 수 있다)에 따라 여러 개의 클래스들로 분류(이후 명세서에서는, 필요하다면 클래스 분류로 칭함)될 수 있다.
클래스 분류는 간단하게 설명된다. 예를 들어, 상측, 하측, 우측, 좌측 방향에서의 포커스 픽셀에 인접한 하나의 픽셀과 4개의 픽셀들로 구성된 총 5개의 픽셀들이 포커스 픽셀의 클래스 분류를 위해 이용되는 탭(이후 명세서에서는, 필요하다면 클래스 탭으로 칭함)을 형성한다. 이 경우, 픽셀값이 한 비트(예컨대 0 또는 1)로 표시될 때, 예를 들면 포커스 픽셀은 포커스 픽셀의 클래스 탭을 구성하는 5개의 픽셀들의 총 픽셀값에 의해 32(=(21)5) 패턴중 하나로 분류될 수 있다. 상기 패턴들은 클래스 분류를 형성한다.
일반적으로, 약 8개의 비트들이 픽셀에 할당된다. 8개의 비트들이 픽셀에 할당될 때, 클래스 탭이 상술된 바와 같이 5개의 픽셀들로 형성되고, 클래스 분류가 실행되면, 클래스의 수는 (28)5만큼 크다.
클래스 분류는 우선 포커스 픽셀의 클래스 탭에 L 비트 적응적 동적 범위 코딩(ADRC) 처리를 적용함으로써, 및 ADRC 처리에 의해 구해진 클래스 탭을 이용함으로써 실행될 수 있다.
ADRC 처리에서, 예를 들면 클래스 탭을 구성하는 픽셀의 픽셀값의 최대값 MAX 및 최소값 MIN이 검출되며, 최대값과 최소값간의 차 DR=MAX-MIN은 클래스 탭을 구성하는 픽셀의 동적 범위로 설정되고, 클래스 탭을 구성하는 픽셀은 동적 범위 DR에 따라 L 비트로 재양자화된다. 즉, 최소값은 클래스 탭을 구성하는 픽셀들의 픽셀값으로부터 감산되고, 그 결과는 DR/2L로 나누어진다(양자화된다). 따라서, L 비트 ADRC 처리가 클래스 탭에 적용될 때, 클래스 탭을 구성하는 각 픽셀으 픽셀값은 L 비트로 표시된다. L이 픽셀에 할당된 비트의 수 보다 작은 수로 설정되면, 클래스들의 수는 클래스 분류가 클래스 탭에 ADRC를 적용하지 않고 수행되는 경우 보다 감소된다.
프레임의 상측 단부, 하측 단부, 우측 단부 또는 좌측 단부에 배치된 픽셀이 포커스 픽셀로 설정될 때, 상측, 하측, 우측 또는 좌측 방향에서의 포커스 픽셀에 인접한 픽셀이 존재하지 않기 때문에, 클래스 탭은 예컨대 동일한 프레임이 상측, 하측, 우측 또는 좌측에 대칭적으로 배치되는 것으로 가정함으로써 형성된다.
포커스 프레임을 구성하는 각 픽셀이 포커스 프레임의 중심을 구하기 위하여 각 픽셀의 클래스 탭에 따라 클래스 분류되는 경우에 중심 계산부(21)에 의해 실행되는 포커스 프레임에 대한 중심 계산 처리는 도 11에 도시된 흐름도를 참조하여 이하에 설명된다.
이 경우, 도 8에서의 스텝 S11 내지 스텝 S17에서 실행되는 것과 동일한 처리가 스텝 S51 내지 스텝 S57에서 수행된다. 도 8에서의 스텝 S18에 대응하는 스텝 S58에서는, 좌표(x,y)에 배치된 픽셀 p(x,y)가 포커스 픽셀로 설정되고, 포커스 픽셀의 클래스 탭이 형성된다. 포커스 픽셀은 예컨대 클래스 탭에 따라 K 클래스들중 하나로 분류되며, 클래스 분류의 결과는 클래스표에 입력된다.
특히, 스텝 11에 도시된 경우에, 중심 계산부(21)는 그 내장 메모리에 클래스 표를 기억한다. 클래스 표에서, 클래스 k(k=1, 2, ...,K)에 속하는 픽셀의 수 fx및, 클래스 k에 속하는 픽셀들의 x 좌표의 합및 y 좌표의 합은 도 12에 도시된 바와 같이 각 클래스 k에 대응적으로 기억된다. 포커스 픽셀이 클래스 k에 속할 때, 예를 들면 중심 계산부(21)는 클래스 k에 대한 수 fx를 1씩 증가시키고, 포커스 픽셀의 x 좌표 및 y 좌표를 클래스 표에서의 x 좌표의 합및 y 좌표의 합에 각각 가산한다.
클래스 표는 도 11의 흐름도에 도시된 처리가 레벨 표과 같이 시작할 때마다 0으로 클리어된다.
스텝 S58의 처리 후, 처리는 스텝 S56으로 되돌아가며, 상술된 바와 같은 처리가 반복된다.
스텝 S54에서 변수 y가 수 Y 보다 작지 않다고 판단되면, 처리는 스텝 S59로 진행한다. 클래스 표에서의 각 클래스에 속하는 픽셀의 중심이 구해진다. 특히, 스텝 S59에서 클래스 표의 각 클래스 k에서의 x 좌표의 합및 y 좌표의 합은 대응하는 수 fx로 나누어지고, 몫으로 표시된 좌표(/fx,/fx)는 각 클래스 k에 속하는 픽셀의 중심으로 구해진다.
다음에, 처리는 스텝 S60으로 진행한다. 클래스 1 내지 클래스 K에 속하는 픽셀의 중심들중의 중심은 포커스 프레임을 구성하는 전체 픽셀의 중심으로 구해지며, 처리는 되돌아간다.
특히, 스텝 S60에서, 클래스 1 내지 클래스 K에 속하는 픽셀 중심의 가중 평균은 예컨대 가중치로 이용되는 대응하는 수 f1내지 fk로 구해진다. 가중 평균은 포커스 프레임을 구성하는 전체 픽셀의 중심으로 출력된다.
포커스 픽셀을 구성하는 각 픽셀이 포커스 프레임의 중심을 구하기 위하여 각 픽셀의 클래스 탭에 따라 클래스 분류될 때, 움직임 검출 영역을 구성하는 각 픽셀은 또한 움직임 검출 영역의 중심을 구하기 위하여 각 픽셀마다 형성된 클래스 탭에 따라 클래스 분류된다.
클래스 분류에 의해 움직임 검출 영역의 중심을 구하기 위하여, 도 10의 흐름도에 도시된 스텝 S31 및 스텝 S32의 처리는 스텝 S51의 처리 대신에 스텝 S11의 흐름도에 예시된 처리로 실행될 필요가 있다. 다른 처리들은 도 11에 도시된 것과 동일하 것이기 때문에, 그 설명은 생략된다.
도 11에 도시된 경우에, 포커스 프레임을 구성하는 각 픽셀은 각 픽셀의 클래스 탭에 따라 클래스 분류되며, 클래스 분류에 의해 구해진 모든 클래스들에 속하는 픽셀의 중심은 포커스 프레임의 중심을 구하기 위하여 이용된다. 포커스 프레임의 중심은 클래스 분류에 의해 구해진 특수 클래스에 속하는 픽셀의 이용만으로 구해질 수 있다.
특히, 포커스 프레임의 중심은 예컨대 대상의 에지에 배치된 픽셀을 포함하는 클래스들을 에지 클래스들로 설정함으로써, 및 에지 클래스들에 속하는 픽셀들(에지 픽셀들)의 중심을 이용함으로써 구해질 수 있다.
포커스 프레임을 구성하는 각 픽셀의 클래스 분류의 결과로부터 구해진 에지 클래스들에 속하는 에지 픽셀의 중심만이 포커스 프레임의 중심을 구하기 위해 이용되는 경우에 중심 계산부(21)에 의해 실행된 포커스 프레임에 대한 중심 계산 처리는 도 13에 도시된 흐름도를 참조하여 이하에 설명된다.
또한, 이 경우에, 도 8에서의 스텝 S11 내지 스텝 S17에서 실행된 것과 동일한 처리가 스텝 S71 내지 스텝 S77에서 수행된다. 스텝 S77에서, 변수 x가 수 X 보다 작은 것으로 판단되면, 처리는 스텝 S78로 진행하고, 좌표(x,y)에 배치된 픽셀 p(x,y)는 포커스 픽셀로 설정되며, 포커스 픽셀은 도 11에 도시된 스텝 S58에서와 동일한 방식으로 클래스 분류된다.
다음에, 처리는 스텝 S79로 진행하여, 스텝 S78에서 실행된 클래스 분류의 결과에 의해 구해진 클래스가 에지 클래스인 가의 여부, 즉 포커스 픽셀이 에지 픽셀인 가의 여부가 판단된다.
2 비트 ADRC가 적용되고, 이후 클래스 분류가 상술된 바와 같이 5개의 픽셀들로 형성된 클래스 탭에 적용되면, 예를 들어 포커스 픽셀은 1024(=(22)5) 클래스들중 하나로 분류된다. 2 비트 ADRC 처리가 클래스 탭에 적용되면, 클래스 탭을 구성하는 각 픽셀의 픽셀값은 00B, 01B, 10B 또는 11B이다(B는 이진수 이전에 대체된 숫자를 나타낸다). 따라서, 클래스 탭이 상술된 바와 같이 상측, 하측, 우측 및 좌측 방향으로 4개의 픽셀에 인접해 배치된 4개의 픽셀들 및 포커스 픽셀의 총 5개의 픽셀로 구성되면, 포커스 픽셀의 픽셀값이 최소값 00B이고, 상측, 하측, 우측 및 좌측 방향에서의 4개의 픽셀에 인접한 4개 픽셀의 픽셀값이 00B와 다를 때, 및 포커스 픽셀의 픽셀값이 최대값 11B이고, 상측, 하측, 우측, 좌측 방향에서의 포커스 픽셀에 인접한 4개의 픽셀들의 픽셀값이 11B와 다를 때, 포커스 픽셀이 최소값임이 이해될 수 있다.
도 14의 (a)에 도시된 바와 같이, 포커스 픽셀의 픽셀값이 00B이고, 상측, 하측, 우측, 좌측 방향에서의 포커스 픽셀에 인접한 4개의 픽셀의 픽셀값이 01B, 10B 또는 11B이면, 픽셀값은 포커스 픽셀에서의 저점(valley; 최하부)을 갖는다. 도 14의 (b)에 도시된 바와 같이, 포커스 픽셀의 픽셀값이 11B이고, 상측, 하측, 우측, 좌측 방향에서의 포커스 픽셀에 인접한 4개의 픽셀들의 픽셀값이 00B, 01B 또는 10B이면, 픽셀값은 포커스 픽셀에서 정점(summit; 최상부)을 갖는다. 따라서, 도 14에 도시된 경우에, 포커스 픽셀은 에지 픽셀이다.
포커스 픽셀의 픽셀값이 00B이고, 상측, 하측, 우측, 좌측 방향에서의 포커스 픽셀에 인접한 4개의 픽셀들의 픽셀값이 01B, 10B 또는 11B인 경우에는 81(=3×3×3×3)이다. 또한, 포커스 픽셀의 픽셀값이 11B이고, 상측, 하측, 우측, 좌측 방향에서의 4개의 픽셀에 인접한 4개의 픽셀들의 픽셀값이 00B, 01B 및 10B인 경우 81이다. 따라서, 에지 픽셀들마다 162(=81+81) 클래스이다.
도 14에 도시된 에지 픽셀들은 최대 픽셀값 및 최소 픽셀값을 가진 픽셀이다. 본 발명은 이 경우에 제한되지 않는다. 에지 픽셀은 예를 들어 수평 라인 보다 상측에 배치된 픽셀이 흑색이고, 라인 하측에 배치된 픽셀이 백색임을 표시할 수 있다. 라인 에지는 수평 라인에 제한되지 않는다. 수직 라인 또는 기울어진 라인일 수 있다. 비록, 화상이 대부분의 포인트에서 거의 동일한 값을 갖더라도, 최대 또는 최소 픽셀값을 가진 에지 픽셀이 이용되면, 이것을 다른 방법보다는 더 정교하며 용이하게 검출할 수 있다.
도 13으로 돌아가 참조하면, 스텝 S79에서, 포커스 픽셀이 에지 픽셀이 아닌 것으로 판단되면, 즉, 포커스 픽셀의 클래스가 상술된 162 에지 클래스중 하나가 아니면, 처리는 스텝 S79로 되돌아간다.
스텝 S79에서, 포커스 픽셀이 에지 픽셀이라고 판단되면, 즉, 포커스 픽셀의 클래스가 상술된 162 에지 클래스들중 하나이면, 처리는 스텝 S80으로 진행한다. 포커스 픽셀의 클래스 분류 결과는 클래스 표에 입력된다. 특히, 스텝 S80에서, 포커스 픽셀에 대응하는 클래스 k에 대한 수 fx는 1씩 증가되고, 포커스 픽셀의 x 좌표 및 y 좌표는 각각 도 12에 도시된 클래스 표에서의 x 좌표의 합및 y 좌표의 합에 가산된다.
도 13에 도시된 경우, 에지 클래스에 속하는 포커스 픽셀의 데이터만이 클래스 표에 입력된다. 2 비트 ADRC 처리가 적용되면, 클래스 분류는 상술된 바와 같이 5개의 픽셀들로 구성된 클래스 탭에 적용되며, 에지 클래스의 데이터는 클래스 표에 입력되는데, 예컨대 클래스 표에서의 클래스의 수 K는 상술된 에지 클래스의 수 162이다.
2 비트 ADRC 처리가 적용되면, 클래스 분류는 5개의 픽셀들로 구성된 클래스 탭에 적용되며, 모든 클래스의 데이터는 클래스 테이블에 입력되고, 포커스 픽셀은 1024 클래스들중 하나로 분류되기 때문에, 상술된 바와 같이, 클래스 표에서의 클래스의 수 K는 1024이다.
따라서, 클래스 표의 크기(용량)는 도 11에 도시된 경우에서 보다 도 13에 도시된 경우에서 더 감소된다.
스텝 S80의 처리 후, 처리는 스텝 S76으로 되돌아가서, 상술된 것과 동일한 처리가 반복된다.
스텝 S74에서, 변수 y가 수 Y 보다 작지 않다고 판단되면, 처리는 스텝 S81로 진행하여, 클래스 표에서의 각 에지 클래스에 속하는 픽셀의 중심이 구해진다. 특히, 스텝 S81에서, 클래스 표의 각 에지 클래스 k에서의 x 좌표의 합및 y 좌표의 합이 대응하는 수 fx로 나누어지고, 몫으로 표시된 좌표(/fx,/fx)가 각 에지 클래스 k에 속하는 픽셀의 중심으로 구해진다.
다음에, 처리는 스텝 S82로 진행한다. 에지 클래스 1 내지 에지 클래스 K에 속하는 픽셀의 중심둘중 중심은 포커스 프레임을 구성하는 전체 픽셀의 중심으로 구해지며, 처리는 되돌아간다.
특히, 스텝 S82에서, 에지 클래스 1 내지 에지 클래스 K에 속하는 픽셀들의 중심의 가중 평균은 예컨대 가중치로 이용되는 대응하는 수 f1내지 fk로 구해진다. 가중 평균은 포커스 프레임을 구성하는 전체 픽셀의 중심으로 출력된다.
에지 클래스에 속하는 픽셀만이 포커스 프레임의 중심을 구하기 위하여 포커스 프레임을 구성하는 픽셀들 사이에 이용되기만 하면, 에지 클래스에 속하는 픽셀들만이 움직임 검출 영역의 중심을 구하기 위하여 움직임 검출 영역을 구성하는 픽셀들 중에서 이용되는 것이 바람직하다.
에지 클래스에 속하는 픽셀들만을 이용함으로써 움직임 검출 영역의 중심을 구하기 위하여, 도 10의 흐름도에 도시된 스텝 S31 및 스텝 S32의 처리는 도 13의 흐름도에 의해 예시된 처리로 실행될 필요가 있다. 다른 처리들은 도 13에 도시된 것들과 동일하기 때문에, 그 설명은 생략한다.
포커스 프레임 전의 한 프레임 및 포커스 프레임 사이에 카메라 움직임이 없는 경우, 포커스 프레임의 카메라 움직임 벡터는 포커스 프레임 전의 한 프레임의 카메라 움직임 벡터와 동일해야 한다. 그러나, 전경의 이동이 상술된 바와 같이 프레임의 카메라 움직임 벡터에 영향을 주기 때문에, 포커스 프레임이 카메라 움직임을 갖지 않더라도, 포커스 프레임의 카메라 움직임 벡터는 포커스 프레임 전의 한 프레임의 것과는 다를 수 있다.
도 5에 도시된 카메라 움직임 검출부(12)는, 포커스 프레임과 포커스 프레임 전의 한 프레임 사이에 카메라 움직임이 있었는 가의 여부를 판단하기 위한 비움직임 판단부(25)가 도면에서 점선으로 표시된 바와 같이 제공되며, 포커스 프레임이 카메라 움직임을 갖지 않을 때, 포커스 프레임 전의 한 프레임의 카메라 움직임 벡터를 포커스 프레임의 카메라 움직임 벡터로서 출력하며, 포커스 프레임이 카메라 움직임을 갖을 때, 상술된 바와 같이 움직임 검출 영역의 중심과 포커스 프레임의 중심을 이용하여 포커스 프레임의 카메라 움직임 벡터를 구하도록 구성될 수 있다.
상술된 구성으로, 포커스 프레임이 카메라 움직임을 갖지 않을 때, 포커스 프레임의 카메라 움직임 벡터는 포커스 프레임 전의 한 프레임의 것과 동일하게 이루어질 수 있다.
비움직임 판단부(25)에 의해 실행되는 포커스 프레임이 카메라 움직임을 가진 가의 여부를 판단하기 위한 비움직임 판단 처리는도 15에 도시된 흐름도를 참조하여 이하에 설명된다.
비움직임 판단 처리에서, 도 13에서의 스텝 S71 내지 스텝 S79에서 실행되는 것과 같은 처리가 스텝 S91 내지 스텝 S99에서 수행된다.
스텝 S99에서, 포커스 픽셀이 에지 픽셀인 것으로 판단되면, 처리는 스텝 S100으로 진행한다. 포커스 픽셀의 픽셀값 p(x,y)가 포커스 프레임 전의 한 프레임에서의 포커스 픽셀과 동일한 위치에 배치된 픽셀의 픽셀값 p'(x,y)과 매치하는 가의 여부가 판단된다.
스텝 S100에서의 p(x,y) 및 p'(x,y)의 매칭은 p(x,y)가 p'(x,y)와 거의 동일한 경우, 즉, ｜p(x,y) - p'(x,y)｜가 매우 작은 임계치와 동일하거나 또는 갖은 경우를 포함한다.
포커스 픽셀의 픽셀값 p(x,y)이 포커스 프레임 전의 한 프레임에서의 포커스 픽셀과 동일한 위치에 배치된 픽셀의 픽셀값 p'(x,y)과 매치하지 않는 것으로 판단되면, 처리는 스텝 S101을 스킵하고, 스텝 S96으로 되돌아간다.
스텝 S100에서, 포커스 펙셀의 픽셀값 p(x,y)이 포커스 프레임 하나 전의 프레임에서의 포커스 픽셀과 동일한 위치에 배치된 픽셀의 픽셀값 p'(x,y)과 매치한다고 판단되면, 즉, 에지 픽셀인 포커스 픽셀의 픽셀값 p(x,y)이 포커스 프레임 전의 한 프레임에서의 포커스 픽셀과 동일한 위치에 배치된 픽셀의 픽셀값 p'(x,y)과 매치한다고 판단되면, 처리는 스텝 S101로 진행하며, 변수 "c"는 증가되고, 처리는 스텝 S96으로 되돌아간다.
변수 "c"는 도 15에 도시된 비움직임 판단 처리가 시작하기 전에 제로로 클리어된다.
스텝 S94에서, 변수 y가 수 Y 보다 작지 않다고 판단될 때, 즉, 포커스 프레임을 구성하는 모든 픽셀들이 포커스 픽셀로서 이미 처리되었다면, 처리는 스텝 S102로 진행하다. 변수 "c"가 임계치 "th"와 같은가 이보다 큰가의 여부가 판단된다. 스텝 S012에서, 변수 "c"가 임계치 "th"와 같거나 이보다 크다고 판단되면, 즉, 포커스 프레임 전의 한 프레임에서와 동일한 위치에 배치된 픽셀과 거의 동일한 값을 가진 포커스 프레임에서의 에지 픽셀들이 임계치 "th"와 같거나 이보다 크다면, 처리는 스텝 S103으로 진행한다. 카메라 움직임이 없음을 표시하는 메시지는 포커스 프레임과 포커스 프레임 전의 한 프레임 사이에 카메라 움직임이 있는지의 여부의 판단 결과로서 벡터 검출부(22)에 출력되며, 비움직임 판단 처리가 종료된다.
스텝 S102에서, 변수 "c"가 임계치 "th" 보다 작다고 판단되면, 즉, 포커스 프레임 전의 한 프레임에서와 동일한 위치에 배치된 픽셀과 거의 동일한 값을 가진 포커스 프레임에서의 에지 픽셀들중에서의 픽셀들의 수가 임계치 "th" 보다 작다고 판단되면, 처리는 스텝 S104로 진행한다. 카메라 움직임을 나타내는 메시지는, 포커스 프레임과 포커스 프레임 전의 한 프레임 사이에서 카메라 움직임이 있는지의 여부의 판단 결과로서 벡터 검출부(22)에 출력되고, 비움직임 판단 처리가 종료된다.
도 15에 도시된 비움직임 판단 처리는 중심 계산부(21)에 의해 실행되는 포커스 프레임의 중심과 움직임 검출 영역의 중심을 계산하기 위한 처리 전에 실행되며, 이후 제 2 및 후속하는 프레임들이 처리된다.
도 16은 도 2에 도시된 배경 추출부(14)의 예시적 구성을 도시한다.
화상 영역 검출부(31)는 카메라 움직임 벡터 기억부(13)(도 2)에 기억된 카메라 움직임 벡터 v1내지 vN을 수신한다. 화상 영역 검출부(31)는 제 1 내지 제 N 프레임의 배경의 위치 결정을 수행하고, 제 1 내지 제 N 프레임 화상이 기준 좌표 시스템에 적합한 최소 직사각형 영역(화상 영역)을 검출한다.
특히, 화상 영역 검출부(31)는 제 1 내지 제 N 프레임의 카메라 움직임 벡터 v1내지 vN에 따라 제 1 프레임 내지 제 N 프레임의 배경에 위치 결정이 적용되는 상태를 시뮬레이트하고, 위치 결정을 수행하며, 제 1 내지 제 N 프레임의 픽셀이 배치된 최소 직사각형 화상 영역을 검출한다. 화상 영역 검출부(31)는, 또한 예들 들어 기준 좌표 시스템에서의 화상 영역의 상부 좌측 코너의 좌표(Xmin, Ymin) 및 하부 우측 코너의 좌표(Xmax, Ymax)를 구하고, 이들을 전송부(32) 및 기록부(35)에 전송한다.
위치 결정이 제 1 내지 제 N 프레임의 배경에 적용된 상태는, 제 1 내지 제 N 프레임의 상부 좌측 코너가 도 17에 도시된 바와 같이 기준 좌표 시스템에서의 카메라 움직임 벡터 v1내지 vN각각에 배치되도록 제 1 내지 제 N 프레임을 배열함으로써 시뮬레이트될 수 있다.
판독부(32)는 위치 결정이 제 1 내지 제 N 프레임의 배경에 적용된 상태에서, 축적부(11)(도 2)에 기억된 제 1 내지 제 N 프레임을 구성하는 픽셀들 사이에 3차원적으로 동일한 위치에 배치된 픽셀을 검출하여 판독하고, 이들을 숫자 카운팅부(33) 및 기록부(35)에 전송한다.
특히, 판독부(32)는 카메라 움직임 벡터 기억부(13)(도 2)에 기억된 카메라 움직임 벡터 v1내지 vN및 화상 영역 검출부(31)로부터의 좌표(Xmin, Ymin) 및 (Xmax, Ymax)를 수신한다. 화상 영역 검출부(31)에서와 동일한 방식으로, 판독부(32)는 우선 제 1 내지 제 N 프레임의 카메라 움직임 벡터 v1내지 vN에 따라 제 1 프레임 내지 제 N 프레임의 배경에 적용된다. 다음에, 판독부(32)는 기준 좌표 시스템에서의 화상 영역 검출부(31)로부터 전송된 좌표(Xmin, Ymin) 및 (Xmax, Ymax)로 지정된 화상 영역에서의 좌표를 연속적으로 스캔하고, 위치 결정이 도 18에 도시된 바와 같이 좌표(x,y)에서 이들의 배경에 적용된 제 1 내지 제 N 프레임의 픽셀을 검출하여 판독한다.
위치 결정이 제 1 내지 제 N 프레임의 배경에 적용된 상태에서, 제 n 프레임에서의 기준 좌표 시스템의 좌표(x,y)에 배치된 픽셀의 검출은, 제 n 프레임의 상부 좌측 코너에 배치된 픽셀이 원점으로 설정되는 로컬 좌표 시스템에서 좌표(x,y)로부터 카메라 움직임 벡터 vn을 감산하여 구해진 좌표에 배치된 픽셀을 검출함으로써 수행될 수 있다.
숫자 카운팅부(33)는 예컨대, 위치 결정이 제 1 내지 제 N 프레임의 배경에 적용된 상태에서 제 1 내지 제 N 프레임을 구성하는 픽셀들중에서 판독부(32)로부터 전송되며, 3차원적으로 동일한 위치에 배치된 픽셀(이후 명세서에서는, 필요하다면 위치 결정 조건에서의 동일한 위치 픽셀로 칭함)의 각 세트마다 픽셀값의 상술된 레벨 각각에 속하는 픽셀의 수를 카운트한다. 숫자 카운팅부(33)는 카운팅 결과를 다음 단계에서 배치된 숫자-표 기억부(34)에 기억된 숫자 표에 입력시킨다.
숫자 표 기억부(34)는 예를 들면 도 19에 도시된 숫자 표를 기억한다. 특히, 숫자 표 기억부(34)는, 위치 결정 상태에서 동일한 위치 픽셀의 픽셀값의 각 레벨이 화상 영역에서의 좌표(x,y)의 각 포인트에 대한 위치 결정 조건에서와 동일한 위치 픽셀의 수까지의 각 레벨에 속하는 픽셀의 숫자 레이트에 대응하는 숫자 표를 기억한다.
화상 영역에서의 (좌표의)위치의 위치 결정 상태에서 동일한 위치 픽셀의 세트로 제 m 크기 숫자를 가진 픽셀값 레벨은 제 m 숫자 레벨로 불리운다.
도 19에 도시된 경우에, 숫자 표는 제 1 숫자 레벨 내지 제 M 숫자 레벨까지의 M 레벨 및 대응하는 레이트를 기억한다. 따라서, 숫자 카운팅부(33)는 제 (M+1) 숫자 레벨 및 다음의 레벨에 관련된 카운팅 결과를 숫자 표에 입력시키지 않고 버린다. 모든 레벨에 관련된 카운팅 결과는 숫자 표에 입력될 수 있다.
상술된 바와 같이, 픽셀값 범위가 K 레벨로 나누어지면, 숫자 M은 숫자 K 또는 이보다 작을 수 있다.
기록부(35)는 판독부(32)로부터 전송된 픽셀 및 숫자 표 기억부(34)에 기억된 숫자 표에 따라 화상 영역 검출부(31)로부터 전송된 화상 영역에 대응하는 어드레스에서 배경 메모리(15)(도 2)에서의 공통 배경을 구성하는 배경 픽샐을 기록한다. 기록부(35)는 또한 배경 플래그 메모리(36)에서의 배경 플래그를 기록한다.
배경 플래그 메모리(36)는 배경 픽셀이 화상 영역에서의 각 픽셀에 대하여 기록되었는 가의 여부를 나타내는 배경 플래그를 기억한다. 특히, 기록부(35)가 배경 메모리(15)의 어드레스에서 배경 픽셀을 기록하면, 배경 픽셀이 기록된 어드레스에 대응하는 어드레스에서 배경 플래그 메모리에서의 배경 플래그를 기록한다. 예를 들면, 배경 플래그가 1 비트 플래그인 것으로 가정하면, 배경 플래그는 배경 픽셀이 대응하는 어드레스에 기록된다면 1로 설정되고, 배경 플래그는 배경 픽셀이 대응하는 어드레스에 아직 기록되지 않았다면 0으로 설정된다.
도 16에 도시된 배경 추출부(14)에 의해 실행되는 제 1 내지 제 N 프레임으로부터 공통 배경을 추출하기 위한 배경 추출 처리는 도 20에 도시된 흐름도를 참조하여 이후에 설명된다.
우선, 스텝 S111에서, 화상 영역 검출부(31)는 카메라 움직임 벡터 기억부(13)로부터 카메라 움직임 벡터를 판독하고, 도 17을 참조하여 설명된 바와 같이 화상 영역을 검출한다. 화상 영역 검출부(31)는 기준 좌표 시스템에서의 화상 영역의 상부 좌측 코너의 좌표(Xmin, Ymin) 및 하부 우측 코너의 좌표(Xmax, Ymax)를 화상 영역을 식별하기 위한 정보로서 판독부(32) 및 기록부(35)에 전송한다.
판독부(32)가 화상 영역을 식별하기 위해 좌표(Xmin, Ymin) 및 (Xmax, Ymax)를 수신하면, 기준 좌표 시스템의 y-축 방향으로 화상 영역을 스캐닝하기 위해 이용되는 변수 y가 스텝 S112에서 초기값 Ymin-1로 설정된다. 처리는 스텝 S113으로 진행하며, 변수 y는 1씩 증가된다. 처리는 스텝 S114로 진행한다. 스텝 S114에서, 변수 y가 Ymax와 같거나 또는 이보다 작은 가의 여부가 판단된다. 변수 y가 Ymin과 같거나 또는 이보다 작다고 판단되면, 처리는 스텝 S115로 진행한다. 판독부(32)는 스텝 S115에서 기준 좌표 시스템의 x-축 방향으로 화상 영역을 스캐닝하기 위해 이용되는 변수 x를 초기값 Xmin-1로 설정한다. 처리는 스텝 S116으로 진행하고, 변수 x는 1씩 증가된다. 처리는 스텝 S117로 진행한다. 스텝 S117에서, 변수 x가 Xmax와 같거나 또는 이보다 작은 가의 여부가 판단된다. 스텝 S117에서, 변수 x가 Xmax와 같지 않거나 또는 이보다 작다고 판단되면, 처리는 스텝 S113으로 되돌아가서, 상술된 것과 동일한 처리들이 반복된다.
스텝 S117에서, 변수 x가 Xmax와 같거나 또는 이보다 작다고 판단되면, 처리는 스텝 S118로 진행한다. 축적부(11)(도 2)에 기억된 일련의 화상로서 작용하는 제 1 내지 제 N 프레임으로부터 프레임의 수를 카운팅하기 위해 이용되는 변수 n은 초기값 0으로 설정된다. 처리는 스텝 S119로 진행한다. 변수 n은 스텝 S119에서 1씩 증가된다. 처리는 스텝 S120으로 진행하고, 변수 n이 축적부(11)(도 2)에 기억된 일련의 화상들의 프레임의 수 N과 같거나 또는 작은 가의 여부가 판단된다.
스텝 S120에서, 변수 n이 수 N 과 같거나 또는 이보다 작다고 판단되면, 처리는 스텝 S121로 진행한다. 판독부(32)는, 위치 결정이 제 1 내지 제 N 프레임의 배경에 적용된 상태에서, 축적부(11)(도 2)로부터 기준 좌표 시스템에서의 제 n 프레임의 좌표(x,y)의 위치에 배치된 픽셀을 판독한다. 특히, 판독부(32)는, 제 n 프레임의 상부 좌측 코너에 배치된 픽셀이 축적부(11)(도 2)로부터 원점으로 설정되는 로컬 좌표 시스템에서 좌표(x,y)로부터 카메라 움직임 벡터 vn을 감산함으로써 구해진 좌표(x,y)-vn에 배치된 픽셀을 판독한다.
카메라 움직임 벡터 vn의 x 좌표 및 y 좌표는 각각 xv#n및 yv#n으로 표시되고, 한 프레임에서의 수평 및 수직 방향에서의 픽셀의 수가 각각 X 및 Y로 표시되면, 판독부(32)는 제 n 프레임의 로컬 좌표 시스템에서의 좌표(x-xv#n, y-yv#n)에 배치된 픽셀을 판독한다. 이 경우, 제 n 프레임에서의 소정의 픽셀은 0≤x-xv#n＜X 및 0≤y-yv#n＜Y 의 영역 밖의 좌표(x-xv#n, y-yv#n)에 배치되지 않는다. 따라서, 제 n 프레임의 픽셀은 0≤x-xv#n＜X 및 0≤y-yv#n＜Y 의 영역 내부만 스텝 S121에서 판독된다.
판독부(32)가 축적부(11)(도 2)로부터 제 n 프레임에서의 픽셀을 판독하고, 스텝 S121에서 픽셀을 숫자 카운팅부(33) 및 기록부(35)에 전송하고, 처리는 스텝 S119로 되돌아간다. 스텝 S119 내지 스텝 S121에서의 처리는 스텝 S120에서 변수 n이 수 N 보다 크다고 판단될 때까지 반복된다. 상기 처리로, 위치 결정이 제 1 내지 제 N 프레임의 배경에 적용된 상태에서, 기준 좌표 시스템에서의 제 1 내지 제 N 프레임의 좌표(x,y)에 배치된 픽셀(위치 결정 상태에서의 동일한 위치 픽셀)은 숫자 카운팅부(33) 및 기록부(35)에 전송된다. 상술된 바와 같이, 일부 프레임들은 기준 좌표 시스템에서의 좌표(x,y)에서 픽셀을 갖지 않는다. 이 경우, 픽셀은 숫자 카운팅부(33) 및 상기 프레임에서의 픽셀을 포함하지 않는 기록부(35)에 전송된다.
스텝 S120에서, 변수 n이 수 N 보다 크다고 판단되면, 처리는 스텝 S122로 진행한다. 숫자 카운팅부(33)는, 예들 들어 이들의 값들에 의해 레벨 1 내지 K에 대한 판독부(32)로부터 전송된 제 1 내지 제 N 프레임의 배경에 위치 결정이 적용되는 상태에서 기준 좌표 시스템에서의 제 1 내지 제 N 프레임의 좌표(x,y)에 배치된 픽셀을 분류한다. 숫자 카운팅부(33)는 또한 각 레벨에 속하는 픽셀의 수를 카운트하고, 각 숫자의 레이트를(모든 레벨이 속하는 픽셀의 전체 숫자까지) 구한다.
처리는 스텝 S123으로 진행하고, 숫자 카운팅부(33)는, 각 레벨에 속하는 픽셀들의 숫자 레이트 및 숫자 레이트의 크기로 제 1 내지 제 M 레벨을 숫자 표 기억부(34)에 기억된 좌표(x,y)의 행에서 도 19에 도시된 숫자 표에 입력시킨다. 다음에, 처리는 스텝 S116으로 되돌아간다.
스텝 S114에서, 변수 y가 Ymax와 같거나 또는 이보다 작다고 판단되면, 즉, 처리가 화상 영역에서의 모든 좌표에 대하여 완료되면, 처리는 스텝 S124로 진행한다. 기록부(35)는 배경 픽셀 추출 처리를 실행하고, 기록부(35)는 제 1 숫자 레벨에 속하는 픽셀 수의 레이트가 숫자 표 기억부(34)에 기억된 숫자 표에서의 소정의 값과 같거나 또는 이보다 큰 좌표를 검출하고, 배경 메모리(15)에서의 좌표에 대응하는 어드레스에서 제 1 숫자 레벨에 대응하는 픽셀값을 배경 픽셀의 픽셀값으로 기록한다. 다음에, 처리는 스텝 S125로 진행한다. 스텝 S125에서, 기록부(35)는, 픽셀값이 스텝 S124에서 수행된 처리를 실행하는 배경 픽셀에 기록되는 않은 화상 영역 내의 좌표에서 배경 픽셀의 픽셀값을 기록하기 위한 배경 확장 처리를 실행하고, 이 배경 추출 처리를 종료한다.
도 20에 도시된 스텝 S124에서 기록부(35)에 의해 실행된 배경 픽셀 추출 처리는 도 21에 도시된 흐름도를 참조하여 이후에 설명된다.
배경 픽셀 추출 처리에서, 도 20에 도시된 스텝 S112 내지 스텝 S117에서 실행된 것과 동일한 처리가 스텝 S131 내지 스텝 S136에서 수행된다. 스텝 S136에서, 변수 x가 Xmax와 같거나 또는 이보다 작다고 판단되면, 처리는 스텝 S137으로 진행한다. 좌표(x,y)에 대한 제 1 숫자 레벨의 레이트가 숫자 표를 참조하여 임계치 Lth와 같거나 또는 이보다 큰가의 여부가 판단된다.
좌표(x,y)에 대한 제 1 숫자 레벨의 레이트가 임계치 Lth와 같거나 또는 이보다 크다고 판단되면, 즉, 제 1 내지 제 N 프레임의 배경에 위치 결정이 적용된 상태에서 구해진 제 1 내지 제 N 프레임을 구성하는 픽셀들중에서 좌표(x,y)에 배치되며 동일한 픽셀값을 가진 픽셀들의 최대 숫자 레이트가 높지 않다면, 처리는 스텝 S138 및 스텝 S139를 스킵하고, 스텝 S135로 되돌아간다.
따라서, 이 경우 배경 픽셀의 픽셀값은 화상 영역에서의 좌표(x,y)에 대응하는 어드레스에서 배경 메모리(15)에 기록되지 않는다.
스텝 S137에서, 좌표(x,y)에 대한 제 1 숫자 레벨의 레이트가 임계치 Lth와 같거나 또는 이보다 크다고 판단되면, 즉, 제 1 내지 제 N 프레임의 배경에 위치 결정이 적용된 상태에서 구해진 제 1 내지 제 N 프레임을 구성하는 픽셀들 중에서 좌표(x,y)에 배치되고 동일한 픽셀값을 가진 픽셀의 최대 숫자 레이트가 높다면, 처리는 스텝 S138로 진행한다. 기록부(35)는 숫자의 레이트가 배경 메모리(15)에서 높은 픽셀값을 좌표(x,y)에 배치된 배경 픽셀의 픽셋값으로 기록한다.
특히, 기록부(35)는, 판독부(32)로부터 전송된 픽셀들로부터 제 1 내지 제 N 프레임의 배경에 위치 결정이 적용될 때 구해지는 제 1 내지 제 N 프레임에서의 좌표(x,y)에 배치된 픽셀들중 제 1 숫자 레벨에 속하는 픽셀을 추출하여, 예들 들어 그 평균을 계산한다. 기록부(35)는 배경 메모리(15)에서의 평균을 좌표(x,y)에 배치된 배경 픽셀의 픽셀값으로 기록한다.
스텝 S138의 처리가 완료되면, 처리는 스텝 S139로 진행한다. 기록부(35)는 좌표(x,y) 내지 1(배경 플래그로 설정됨)에 대응하는 어드레스에서 배경 플래그 메모리(36)에 기억된 배경 플래그를 설정하고, 처리는 스텝 S135로 되돌아간다. 스텝 S133에서, 변수 y 가 Ymax와 같거나 또는 이보다 작지 않다고 판단될 때까지, 상술된 것과 동일한 처리가 반복된다.
스텝 S133에서 변수 y가 Ymax와 같거나 또는 이보다 작지 않다고 판단되면, 처리는 되돌아간다.
배경 플래그 메모리에 기억된 값들은, 예컨대 도 21에 도시된 배경 픽셀 추출 처리가 시작할 때 제로로 클리어된다.
상술된 바와 같이, 도 21에 도시된 배경 픽셀 추출 처리에서, 제 1 내지 제 N 프레임의 배경에 위치 결정이 적용된 상태에서 얻어진 제 1 내지 제 N 프레임을 구성하는 픽셀들중에서 좌표(x,y)에 배치되고 동일한 픽셀값을 가진 최대 픽셀의 레이트가 높지 않다면, 배경 픽셀값은 좌표(x,y)에 대응하느 어드레스에 기록되지 않는다.
즉, 배경 픽셀 추출 처리에서, 제 1 내지 제 N 프레임의 배경에 위치 결정이 적용되는 상태에서 구해진 제 1 내지 제 N 프레임을 구성하는 픽셀들중에서 좌표(x,y)에 배치되고 동일한 픽셀값을 가진 픽셀의 최대 숫자의 레이트가 높다면, 최대 수의 레이트가 높은 픽셀값은 배경 메모리(15)에 좌표(x,y)에 배치된 공통 배경의 같은 픽셀값으로 기록된다. 따라서, 픽셀의 최대 수에 대응하는 픽셀값이 좌표(x,y)에 배치된 공통 배경의 같은 픽셀값이 아니면, 즉, 제 1 내지 제 N 프레임의 배경에 위치 결정이 적용되는 상태에서 구해진 제 1 내지 제 N 프레임을 구성하는 픽셀들중에서 좌표(x,y)에 배치되고 동일한 픽셀값을 가진 픽셀의 최대 수의 레이트가 높지 않다면, 공통 배경의 픽셀값은 배경 픽셀 추출 처리에서 좌표(x,y)에 대응하는 어드레스에서 배경 메모리(15)에 기록되지 않는다.
그 결과, 화소값이 배경 메모리(15)에 기록될 때의 배경 픽셀 추출 처리에서 형성된 공통 배경은 "연동(vermicular)" 상태로 있으며, 비-픽셀값 부분이 채워wu야 한다. 결국, 배경 추출 처리에서, 배경 픽셀 추출 처리(도 21)가 스텝 S124에서 실행되면, 배경이 픽셀값으로 비-픽셀값 부분을 채움으로써 연장되는 배경 확장 처리가 스텝 S125에서 실행된다.
도 20에 도시된 스텝 S125에서 실행되는 배경 확장 처리는 도 22에 도시된 흐름도를 참조하여 후술된다.
배경 확정 처리에서, 변수 y는 스텝 S141에서 초기값, Ymin-1로 설정된다. 처리는 스텝 S142로 진행하고, 변수 y는 1씩 증가된다. 다음에, 처리는 스텝 S143으로 진행한다. 스텝 S143에서, 변수 y가 Ymax와 같거나 또는 이보다 작은 가의 여부가 판단된다. 변수 y가 Ymax와 같거나 또는 이보다 작다고 판단되면, 처리는 스텝 S145로 진행한다. 스텝 S145에서, 변수 x는 초기값, Xmin-1로 설정된다. 처리는 스텝 S146으로 진행하고, 변수 x는 1씩 증가된다. 다음에, 처리는 스텝 S147로 진행한다. 스텝 S147에서는, 변수 x가 Xmax와 같거나 또는 이보다 작은 가의 여부가 판단된다. 변수 x가 Xmax와 같거나 또는 이보다 작지 않다고 판단되면, 처리는 스텝 S142로 되돌아가서, 상술된 것과 동일한 처리가 반복된다.
변수 x가 Xmax와 같거나 또는 이보다 작다고 판단되면, 처리는 스텝 S148로 진행한다. 좌표(x,y)에 대응하는 어드레스에서 배경 플래그 메모리(36)에 기억된 배경 플래그가 0인 가의 여부가 판단된다. 스텝 S148에서, 좌표(x,y)에 대응하는 어드레스에서 배경 플래그 메모리(36)에 기억된 배경 플레그가 0이 아니라고 판단되면, 즉, 배경 플래그가 1이라면, 이에 따라 픽셀값이 좌표(x,y)에 대응하는 어드레스에서 배경 메모리(15)에 공통 배경으로 이미 기록되었다면, 처리는 스텝 S146으로 진행하여, 상술된 것들과 동일한 처리들이 반복된다.
스텝 S148에서, 좌표(x,y)에 대응하는 어드레스에서 배경 플래그 메모리(36)에 기억된 배경 플래그가 0인 것으로 판단되면, 즉, 공통 배경의 픽셀값이 좌표(x,y)에 대응하는 어드레스에서 배경 메모리(15)(도 2)에 아직 기록되지 않았다면, 처리는 스텝 S149로 진행하고, 상측, 하측, 우측, 좌측, 상부 우측, 상부 좌측, 하부 우측 및 하부 좌측 방향에서의 좌표(x,y)에 배치된 픽셀에 인접한 픽셀 같은 좌표(x,y)에 배치된 픽셀 주변의 적어도 하나의 픽셀의 배경 플래그가 배경 플래그 메모리(36)를 참조하여 1인가의 여부가 판단된다.
스텝 S149에서, 좌표(x,y)에 배치된 픽셀에 인접한 픽셀중 어느 것도 1의 배경 플래그를 갖지 않는다고 판단되면, 즉, 공통 배경의 픽셀값이 좌표(x, y-1), (x, y+1), (x-1, y), (x+1, y), (x-1, y-1), (x-1, y+1), (x+1, y-1) 및 (x+1,y+1)에 대응하는 어드레스중 일부에 배경 메모리(15)(도 2)에 아직 기록되지 않았다고 판단되면, 처리는 스텝 S146으로 진행한다.
스텝 S149에서, 좌표(x,y)에 배치된 픽셀에 인접한 픽셀들중 일부의 배경 플래그가 1이라고 판단되면, 즉, 픽셀값이 좌표(x, y-1), (x, y+1), (x-1, y), (x+1, y), (x-1, y-1), (x-1, y+1), (x+1, y-1) 및 (x+1, y+1)에 대응하는 어드레스들중 일부에서 배경 메모리(15)(도 2)에 공통 배경으로 이미 기록되면, 처리는 스텝 S150으로 진행한다.
픽셀값이 좌표(x,y)에 배치된 픽셀에 인접한 픽셀들중 공통 배경으로 기록되는 픽셀은 필요하다면 이후 명세서에서는 이미 기록된 인접 픽셀로 불리운다.
스텝 S150에서, 이미 기록된 인접 픽셀의 픽셀값과 연속되는 픽셀값의 레벨이 좌표(x,y)에 대한 제 1 숫자 내지 제 M 숫자 레벨중 일부로서 숫제 표에 이미 입력되었는 가의 여부가 판단된다. 다른 픽셀값과 연속되는 픽셀값은 유사한 픽셀값(동일한 픽셀값을 포함함)을 의미한다.
스텝 S150에서, 이미 기록된 인접 픽셀의 픽셀값과 연속되는 픽셀값의 레벨이 좌표(x,y)에 대한 제 1 숫자 레벨 내지 제 M 숫자 레벨중 일부로서 숫자 표에 입력되었다고 판단되면, 즉, 이미 기록된 인접 픽셀의 픽셀값과 연속되는 픽셀값을 가진 픽셀이, 제 1 내지 제 N 프레임의 배경에 적용되는 상태에서 제 1 내지 제 N 프레임을 구성하는 좌표(x,y)에 배치된 픽셀들 중에서 미리 결정된 레이트 또는 그 이상으로 발견되면, 처리는 스텝 S151로 진행한다. 공통 배경의 픽셀값은 미리 결정된 레이트 또는 그 이상으로 발견되는 이미 기록된 인접 픽셀의 픽셀값과 연속되는 픽셀값에 따라 좌표(x,y)에 배치된 픽셀마다 계산되고, 이 계산된 픽셀값은 대응하는 어드레스에서 배경 메모리(15)(도 2)에 기록된다.
즉, 이미 기록된 인접 픽셀의 픽셀값에 연속되는 픽셀값의 레벨이 좌표(x,y)에 대한 제 1 숫자 내지 제 M 숫자 레벨들 중에서 제 m 숫자 레벨로서 숫자 표에 입력되었을 때, 예컨대 제 1 내지 제 N 프레임의 배경에 위치 결정이 적용되는 상태에서 제 1 내지 제 N 프레임을 구성하는 좌표(x,y)에 배치된 픽셀들중에서 제 m 숫자 레벨에 속하는 픽셀들의 픽셀값의 평균이 계산되며, 이 평균은 공통 배경의 좌표(x,y)로서 배치된 픽셀의 픽셀값으로 대응하는 어드레스에서 배경 메모리(15)(도 2)에 기록된다.
상술된 바와 같이, 배경 픽셀 추출 처리에서, 제 1 내지 제 N 프레임의 배경에 위치 결정이 적용된 상태에서 구해진 제 1 내지 제 N 프레임을 구성하는 픽셀들 중에서 좌표(x,y)에 배치되고 동일한 픽셀값을 가진 최대 수의 픽셀의 레이트가 높다면, 최대 수의 레이트가 높은 픽셀값이 좌표(x,y)에 배치된 공통 배경의 같은 픽셀값으로 배경 메모리(15)에 기록된다. 배경 픽셀 추출 처리에 따르면, 신이 배경으로 이용되고, 피사체가 전경으로 이용되는 N 프레임으로 된 일련의 화상이 입력될 때, 예를 들어 배경이 전경에 의해 숨겨지지 않은 픽셀 위치에서 거의 모든 N 프레임에 디스플레이되면, 거의 모든 N 프레임에 디스플레이되는 픽셀값을 가진 픽셀 수의 레이트가 배경 픽셀값으로 기록된다.
전경이 일부 프레임에 디스플레이되고, 배경이 전경이 이동함에 따라 픽셀의 위치에서 일부 프레임에 디스플레이될 때, 대응하는 픽셀값이 일부 프레임에서의 전경 및 일부 프레임에서의 배경을 구성하기 때문에, 중간 픽셀은 픽셀값을 가진 중간 픽셀 수의 레이트가 높은 픽셀값을 갖지 않게 된다. 따라서, 픽셀값은 배경 픽셀 추출 처리로 중간 픽셀에 기록되지 않는다.
공통 배경을 얻기 위하여, 배경이 프레임에서의 픽셀에 디스플레이될 때 구해지는 중간 픽셀의 픽셀값이 기록될 필요가 있다. 배경이 중간 픽셀에서 디스플레이되는 프레임을 식별하는 것은 곤란하다. 따라서, 배경 확장 처리에서, 공통 배경의 픽셀값이 이미 중간 픽셀에 인접한 것들 중에서 한 픽셀에 이미 기록되었고, 이미 기록된 픽셀값에 인접한 픽셀값이 중간 픽셀의 픽셀값으로 디스플레이되면, 디스플레이된 픽셀값은 배경이 중간 픽셀 위치에서 디스프레이될 때 구해진 같은 픽셀값으로 배경 메모리(15)에 기록된다.
따라서, 배경 확장 처리에 따르면, 배경이 한 프레임에서만 픽셀 위치(중간 픽셀 위치)에서 디스플레이 되더라도, 픽셀값은 한 프레임이 기록될 수 있는 배경으로 디스플레이된다.
스텝 S150에서, 이미 기록된 인접 픽셀의 픽셀값과 연속되는 픽셀값의 레벨이 좌표(x,y)에 대한 제 1 숫자 내지 제 M 숫자 레벨중 일부로서 숫자 테이블에 기록되지 않는다고 판단되면, 즉, 이미 기록된 인접 픽셀의 픽셀값과 연속되는 픽셀값을 가진 픽셀들중 어느 것도 제 1 내지 제 N 프레임의 배경에 위치 결정이 적용되는 상태에서 제 1 내지 제 N 프레임을 구성하는 좌표에 배치된 픽셀들 중에서 발견되지 않는다면, 처리는 스텝 S152로 진행한다. 공통 배경의 픽셀값은 이미 기록된 인접 픽셀의 픽셀값에 따라 좌표(x,y)에 배치된 픽셀마다 계산되고, 계산된 픽셀값은 대응하는 어드레스에서 배경 메모리(15)(도 2)에 기록된다.
중간 픽셀에 인접한 픽셀들 사이에는 픽셀(이미 기록된 인접 픽셀)값이 공통 배경으로 기록된 픽셀이 있다. 기록된 픽셀값에 인접한 픽셀값이 중간 픽셀의 픽셀값으로 아직 디스플레이되지 않으면, 이미 기록된 인접 픽셀의 픽셀값은(만약, 예컨대 다수의 이미 기록된 인접 픽셀 및 이 픽셀값들의 평균이 있다면), 예컨대 스텝 S152에서 좌표(x,y)에 배치된 픽셀의 공통 배경의 픽셀값으로서 배경 메모리(15)(도 2)에 기록된다.
스텝 S151 또는 스텝 S152의 처리 후, 처리는 스텝 S153으로 진행한다. 공통 배경에 대한 픽셀값이 스텝 S151 또는 스텝 S152에 기록되는 픽셀의 배경 플래그, 즉, 좌표(x,y)에 대응하는 어드레스에 배경 플래그 메모리(36)에 기억된 배경 플래그는 1로 설정되고, 처리는 스텝 S146으로 되돌아가서, 상술된 것과 동일한 처리들이 반복된다.
스텝 S143에서, 변수 y 가 Ymax와 같거나 또는 이보다 작지 않다고 판단되면, 처리는 스텝 S144로 진행한다. 화상 영역 내에서의 좌표에 대응하는 어드레스에서 배경 플랫 메모리(36)에 기억된 모든 배경 플래그가 1인 가의 여부가 판단된다. 스텝 S143에서, 화상 영역 내의 좌표에 대응하는 배경 플래그들중 일부가 1이 아닌 것으로 판단되면, 즉, 공통 배경에 대한 픽셀값이 화상 영역 내의 좌표에 배치된 픽셀들 사이에 아직 기록되지 않은 픽셀이 있다면, 처리는 스텝 S141로 되돌아가서, 상술된 것들과 동일한 처리들이 반복된다.
스텝 S144에서, 화상 영역 내의 좌표에 대응하는 모든 배경 플래그가 1인 것으로 판단되면, 즉, 공통 배경에 대한 픽셀값이 화상 영역 내의 좌표에 배치된 모든 픽셀에 대하여 기록될 때, 처리는 되돌아간다.
도 22를 참조하여 설명된 처리에 따르면, 도 23에 도시된 바와 같이, 픽셀값이 아직 기록되지 않은 팩셀 P(x,y)(도면에서는 해치된 원으로 표시됨)과, 공통 배경에 대한 픽셀값이 이미 기록된 인접 픽셀이 있을 때, 이미 기록된 인접 픽셀(도면에서의, 픽셀 P(x-1, y), P(x-1, y-1), P(x, y-1) 또는 P(x+1, y+1))의 픽셀값 또는 이미 기록된 인접 픽셀의 픽셀값과 연속적인 픽셀값은 픽셀 P(x,y)의 공통 배경에 대한 픽셀값으로 기록된다. 그리고, 공통 배경이 실행된다. 따라서, 도 22에 도시된 처리는 배경 확장 처리로 불리운다.
도 24는 도 2에 도시된 전경 인코딩부(16)의 예시적 구성을 도시한다.
전경 추출부(41)는 축적부(11)(도 2)에 기억된 제 1 내지 제 N 프레임, 배경 메모리(15)(도 2)에 기억된 공통 배경, 및 카메라 움직임 벡터 기억부(13)(도 2)에 기억된 카메라 움직임 벡터를 수신한다. 전경 추출부(41)는 제 1 내지 제 N 프레임으로부터 전경을 추출한다. 특히, 전경 추출부(41)는 제 n 프레임의 상부 좌측 코너가 공통 배경과 제 n 프레임 사이에 위치 결정을 구현하기 위하여 기준 좌표 시스템에서 카메라 움직임 벡터 vn에 의해 공통 배경으로부터 시프트된 위치에 위치되도록 제 n 프레임을 배치하고, 제 n 프레임으로부터 전경을 추출하기 위해 공통 배경에서와 동일한 위치에 배치된 픽셀을 제 n 프레임의 각 픽셀로부터 감산한다.
전경 기억부(42)는 전경 추출부(41)에 의해 추출된 제 1 내지 제 N 프레임의 전경을 기억한다.
전경 축적된 화상 배치부(43)는 카메라 움직임 벡터 기억부(13)(도 2)에 기억된 카메라 움직임 벡터를 수신한다. 전경 축적된 화상 배치부(43)는 전경 기억부(42)에 기억된 제 1 내지 제 N 프레임의 전경을 이용하여 카메라 움직임 벡터에 따라 전방 축적된 화상 및 후방 축적된 화상을 배치한다. 특히, 전경 축적된 화상 배치부(43)는 제 1 내지 제 N 프레임의 배경에 위치 결정이 적용되는 상태에 카메라 움직임 벡터에 따라 제 1 내지 제 N 프레임의 전경을 시뮬레이트하고, 이전에 보여진 전경으로 이루어진 화상인 시간의 진행 방향으로 제 1 내지 제 N 프레임의 전경을 보여줌으로써 얻어지는 후방 축적된 화상 및, 앞으로 보여지는 전경으로 이루어진 화상인 시간의 반대 진행 방향으로 제 1 내지 제 N 프레임의 전경을 보여줌으로써 얻어지는 전방 축적된 화상을 구성한다.
전방 축적된 화상은 메모리에 제 1 프레임 내지 제 N 프레임의 순서로 제 1 내지 제 N 프레임의 배경에 위치 결정이 적용된 상태에서 제 1 내지 제 N 프레임의 전경의 픽셀값을 중복 기록함으로써 얻어진다. 같은 방식으로, 후방 축적된 화상은 메모리 내의 제 N 프레임 내지 제 1 프레임의 순서로 제 1 내지 제 N 프레임에 위치 결정이 적용되는 조건에서 제 1 내지 제 N 프레임의 전경의 픽셀값을 중복 기록함으로써 구해질 수 있다.
전경 축적된 화상 기억부(44)는 전경 축적된 화상 배치부(43)에 의해 배치된 전방 축적된 화상 및 후방 축적된 화상을 기억한다.
학습부(45)는 전경 축적된 화상 기억부(44)에 기억된 전방 축적된 화상과 후방 축적된 화상을 구성하는 픽셀과, 필요하다면 이후에 설명되는 에러 화상 기억부(49)에 기억된 에러 화상을 구성하는 픽셀을 이용함으로써, 제 1 내지 제 N 프레임 각각의 전방을 구성하는 픽셀을 예측하기 위해 이용되는 예측 계수를 구하기 위한 학습 처리를 실행한다.
예측 계수 기억부(46)는 학습부(45)에 의해 실행된 합습 처리에 의해 구해진 예측 계수를 기억한다.
적응 처리부(47)는 전방 축적 화상 기억부(44)에 기억된 전방 축적된 화상 및 후방 축적된 화상, 예측 계수 기억부(46)에 기억된 예측 계수 세트 및, 필요하다면 에러 화상 기억부(49)에 기억된 에러 화상을 이용함으로써 제 1 내지 제 N 프레임 각각의 전경을 예측하기 위한 적응 처리를 실행한다.
학습부에 의해 실행된 학습 처리 및 적응 처리부(47)에 의해 실행된 적응적 처리는 이하에 설명된다.
적응적 처리에서, 현재의 화상, 현재의 경우에 전방 축적된 화상 후방 축적된 화상 또는 에러 화상을 구성하는 픽셀들이 소망하는 화상(이 경우에는, 제 1 내지 제 N 프레임의 전방) 픽셀의 예측값을 구하기 위하여 예측 계수와 선형으로 결합된다.
학습 처리에서, 소망하는 화상은 마스터 데이터로 이용되며, 소망하는 화상을 얻기 위해 이용되는 현존 화상은 실습 데이터로서 이용되며, 구해진 예측 계수 세트는 예컨대 여러 개의 현존 픽셀들(현존 화상을 구성하는 픽셀들)의 픽셀값 x1, x2, ...의 세트와 예측 계수 세트 w1, w2,...의 선형 결합에 의해 지정된 선형 결합 모델에 의해 소망하는 화상을 구성하는 픽셀(이후 명세서에서는, 필요하다면 소망하는 픽셀로 칭함)의 픽셀값 "y"의 예측값 E[y]을 얻기 위해 이용된다. 이 경우, 예측값 E[y]는 다음의 수학식1로 표현된다.
수학식 1을 생성하기 위하여, 예측 계수 "w3"의 세트로 형성된 매트릭스 "W", 실습 데이터의 세트로 형성된 매트릭스 "X", 및 예측값 E[y]로 형성된 매트릭스 "Y"는 다음의 방식으로 규정된다.
다음에, 다음의 결과 수학식이 유도된다.
매트릭스 X의 성분 xij는 제 i 실습 데이터 세트(실습 데이터 세트는 제 i 마스터 데이터 yi를 예측하기 위해 이용됨)에서의 제 j 실습 데이터 세트를 표시하고, 매트릭스 W에서의 성분 w3는 실습 데이터 세트에서의 제 j 실습 데이터로 곱해질 예측 계수를 표시한다. 제 i 마스터 데이터는 yi로 표시되고, 따라서, E[yi]는 제 i 마스터 데이터의 예측값을 표시한다. 매트릭스 Y의 성분 yi의 접미사 "i" "y"를 나타내기 위해 수학식 1의 좌측에서 생략되고, 매트릭스 X의 성분 xij의 접미사 "i"는 또한 "x1, x2,..."를 표시하기 위하여 수학식 1의 우측에 생략된다.
최소 제곱 방법이 소망하는 픽셀의 픽셀값 "y"에 밀접한 예측값 E[y]를 구하기 위하여 상기 결과 수학식에 적용되는 것으로 가정한다. 이 경우, 마스터 데이터로서 작용하는 소망하는 픽셀의 진정한 픽셀값 "y"의 세트로 이루어진 매트릭스 "Y" 및, 소망하는 픽셀의 픽셀값 "y"에 대하여 예측값 E[y]의 나머지 "e"의 세트로 이루어진 매트릭스 "E"는 다음의 방식으로 규정된다.
다음의 나머지 수학식은 수학식 2로부터 유도된다.
이 경우, 소망하는 픽셀들의 픽셀값 "y"에 인접한 예측값 E[y]를 구하기 위하여 이용되는 예측 계수 wj는 제곱 에러 최소값으로 설정함으로써 구해진다.
따라서, 예측 계수 wj로 미분된 상기 제곱 에러가 제로일 때 구해진 예측 계수 wj, 즉, 다음의 수학식을 충족시키는 예측 계수 저는 소망하는 픽셀의 픽셀값 "y"에 인접한 예측값 E[y]를 구하기 위한 가장 적합한 값이다.
수학식 3은 다음의 수학식을 구하기 위하여 예측 계수 wj로 미분된다.
수학식 4 및 5로부터, 수학식 6이 유도된다.
실습 데이터 "xij", 예측 계수 "wj", 마스터 데이터 "yi" 및 나머지 수학식 3에서의 나머지 "ei"간의 관계식으로, 다음의 정규 수학식이 수학식 6으로부터 구해진다.
구해질 예측 계수 "wj"의 J와 동일한 수의 정규 수학식 7이 실습 데이터 "xij" 및 마스터 데이터 "yi"의 소정 수의 세트가 준비될 때 발행될 수 있다. 따라서, 수학식 7은 최적의 예측 계수 "wj"를 구하기 위하여 풀린다(수학식 7을 풀기 위하여, 예측 계수 "wj"에 적용될 계수로 이루어진 매트릭스는 표준화되어야 함).
상술된 바와 같이, 최적의 예측 계수 "wj"는 학습 처리에서 구해지며, 소망하는 픽셀의 픽셀값 "y"에 인접한 예측값 E[y]는 적응적 처리에서 예측 계수 "wj"를 이용하여 수학식 1로부터 구해진다.
즉, 학습부(45) 및 적응적 처리부(47)는 전경 축적된 화상 기억부(44)에 기억된 전방 축적된 화상 및 후방 축적된 화상, 및 필요하다면 현존 화상로서 에러 화상 기억부(49)에 기억된 에러 화상, 및 학습 처리 및 적응적 처리 각각을 실행하기 위해 소망하는 화상로서 제 1 내지 제 N 프레임 각각의 전경을 이용한다.
적응적 처리는, 예를 들면 현존 화상에는 포함되지 않지만 소망하는 화상에는 포함된 성분이 재생되는 간단한 보간 처리와 다르다. 즉, 적응적 처리는 수학식 1이 보여지는한 소위 보간 필터를 이용하는 보간 처리와 동일하다. 보간 필터의 탭 계수에 대응하는 예측 계수 세트 "w,"는 메타 데이터 "y,"의 이용으로 학습하여 구해지기 때문에, 소망하는 화상에 포함된 성분이 재생될 수 있다. 상기 상태에서, 적응적 처리는 화상 생성(해상도 향상) 기능을 갖을 수 있다
에러 계산부(48)는 전경 기억부(42)로부터 제 1 내지 제 N 프레임 각각의 전경을 판독하고, 적응적 처리부(47)에 의해 구해진 제 1 내지 제 N 프레임 각각의 전경에 대한 예측값의 예측 에러를 계산한다. 특히, 예를 들어 에러 계산부(48)는 각 픽셀마다의 예측 에러를 구하기 위하여 픽셀의 예측값으로부터 제 n 프레임의 전경을 구성하는 픽셀의 진정한 픽셀값을 감산한다.
에러 화상 기억부(49)는 에러 계산부(48)에 의해 구해진 제 1 내지 제 N 프레임의 전경의 예측 에러들로 이루어진 화상(이후 명세서에서는, 필요하다면 에러 화상로 칭함)를 기억한다.
에러 판단부(50)는, 예컨대 에러 화상 기억부(49)에 기억된 에러 화상을 구성하는 픽셀의 픽셀값으로 작용하는 예측 에러의 절대값의 합을 계산하고, 절대값의 합이 임계치 보다 많지 않은가의 여부(적은가의 여부)를 판단한다.
멀티플렉서(MUX)(51)는 전경 축적된 화상 기억부(44)에 기억된 전방 축적된 화상 및 후방 축적된 화상, 예측 계수 기억부(46)에 기억된 예측 계수 세트, 및 필요하다면 에러 화상 기억부(49)에 기억된 에러 화상을 멀티플렉스하고, 멀티플렉서(17)(도 2)로의 멀티플렉싱 결과로서 구해진 멀티플렉스된 데이터를 제 1 내지 제 N 프레임 각각의 전경의 인코딩 결과로서 출력시킨다.
도 26은 도 24에 도시된 학습부(45)의 예시적 구성을 도시한다.
예측 탭 배치부(61)는 전경 축적된 화상 기억부(44)에 기억된 전방 축적된 화상 및 후방 축적된 화상(이후 명세서에서는, 필요하다면 전경 축적된 화상로 통합적으로 칭함), 및 필요하다면 에러 화상 기억부(49)에 기억된 에러 화상을 수신한다. 예측 탭 배치부(61)는, 제 1 내지 제 N 프레임의 배경에 위치 결정이 적용된 상태에서 제 1 내지 제 N 프레임 각각의 전경을 구성하는 픽셀들중에서 예측값이 구해진 픽셀을 포커스 픽셀에 설정하고, 전방 축적된 화상, 후방 축적된 화상 및 에러 화상에서의 포커스 픽셀에 공간적으로 인접한 픽셀들을 추출하며, 이들을 정규 수학식 배치부(62)에 적응적 처리에 의해 포커스 픽셀의 예측값을 구하기 위해 이용되는 예측 탭으로 출력시킨다.
정규 수학식 배치부(62)는 전경 기억부(42)에 기억된 제 1 내지 제 N 프레임 각각의 전경을 구성하는 픽셀 및 예측 탭 배치부(61)로부터의 예측 탭을 수신한다. 정규 수학식 배치부(62)는 포커스 픽셀 및 예측 탭(실습 데이터)로서 작용하는 전경의 픽셀(마스터 데이터)에 대한 가산을 실행한다.
특히, 정규 수학식 배치부(62)는 실습 데이터(예측 탭) 및 마스터 데이터(포커스 픽셀)의 곱, 및 정규 수학식 7의 우측에서의 합산(∑)을 실행하기 위하여 예측 탭 및 포커스 픽셀을 이용한다.
정규 수학식 배치부(62)는 정규 수학식 7을 발생시키기 위하여 포커스 픽셀에 연속적으로 설정된 제 1 내지 제 N 프레임 각각의 전경을 구성하는 픽셀들로 상기 처리를 실행한다.
이때, 예측 계수 계산부(63)는 예측 계수 세트를 구하기 위하여 정규 수학식 배치부(62)에 의해 발생된 정규 수학식을 풀고, 이것을 예측 계수 기억부(46)(도 24)에 전송하고, 그 안에 이들을 기억시킨다.
본 실시예에서, 도 24에 도시된 적응적 처리부(47)는, 예를 들면 다음의 수학식에 의해, 제 1 내지 제 N 프레임의 배경에 위치 결정이 적용되는 상태에서 제 1 내지 제 N 프레임중에서 기준 좌표 시스템에서의 제 n 프레임의 화상 영역의 위치 (x,y)에 배치된 픽셀의 픽셀값 An(x,y)의 예측값 E[An(x,y)]을 구한다.
수학식 8에서, F, B, E는 각각 전방 축적된 화상, 후방 축적된 화상 및 에러 화상을 나타내고, 함수 g(F, B, E, n)은 예를 들면 선형 수학식 1에 대응하는 다음의 수학식으로 규정된다.
수학식 9에서, wF1, wF2,...,wB1, wB2,...,wE1, wE2,...는 예측 계수를 나타내고, f1, f2,...는 전방 축적된 화상의 예측 탭을 구성하는 픽셀을 나타내고, F, b1, b2,...는 후방 죽적된 화상 B를 구성하는 픽셀들중 포커스 픽셀의 예측 탭을 구성하는 픽셀을 나타내고, e1, e2,...는 에러 화상 E를 구성하는 픽셀들중 포커스 픽셀의 예측 탭을 구성하는 픽셀을 나타낸다.
함수 g(F, B, E, n)은 수학식 9로 정의되며, 정규 수학식 배치부(62)는 수학식 9에서의 예측 계수 wF1, wF2,...,wB1, wB2,...,wE1, wE2,...w를 구하기 위하여 이용된 정규 수학식을 발생하고, 예측 계수 계산부(63)는 예측 계수 wF1, wF2,...,wB1, wB2,...,wE1, wE2,...w를 구하기 위하여 정규 수학식을 푼다. 따라서, 이 경우, 예측 계수 wF1, wF2,...,wB1, wB2,...,wE1, wE2,...w의 한 세트는 제 1 내지 제 N 프레임 모두의 전경에 대하여 구해진다.
도 27은 도 24에 도시된 적응적 처리부(47)의 예시적 구성을 도시한다.
예측 탭 구성부(71)는 축적된 화상 기억부(44)에 기억된 전경 축적 화상, 및 필요하다면 에러 화상 기억부(49)에 기억된 에러 화상을 수신한다. 도 26에 도시된 예측 탭 구성부(61)에서와 같은 방식으로, 예측 탭 구성부(71)는, 제 1 내지 제 N 프레임의 배경에 위치 결정이 적용되는 상태에서 제 1 내지 제 N 프레임 각각의 전경을 구성하는 픽셀들중에서 예측값이 구해진 픽셀을 포커스 픽셀에 설정하고, 전방 축적된 화상, 후방 축적된 화상 및 에러 화상에서의 포커스 픽셀에 공간적으로 인접한 픽셀을 추출하며, 이들을 예측 계산부(72)를 예측 탭으로서 출력시킨다.
예측 계산부(72)는 예측 계수 기억부(46)(도 24)에 기억된 예측 예수 세트 및 예측 탭 구성부(71)로부터의 예측 탭을 수신한다. 예측 계산부(72)는 전경에서 포커스 픽셀의 예측값을 구하기 위하여 수학식 8 및 9에 의해 규정된 선형 수학식을 계산하기 위하여 예측 계수 세트 및 예측 탭을 이용하고, 이것을 에러 계산부(48)에 출력시킨다.
도 24에 도시된 전경 인코딩부(16)에 의해 실행된 제 1 내지 제 N 프레임 각각의 전경을 인코딩하기 위한 전경 인코딩 처리가 도 28에 도시된 흐름도를 참조하여 다음에 설명된다.
우선, 스텝 S161에서, 전경 추출부(41)는 상술된 바와 같이 축적부(11)(도 2)에 기억된 제 1 내지 제 N 프레임의 화상로부터 전경을 추출하기 위하여 배경 메모리(15)(도 2)에 기억된 공통 배경 및 카메라 움직임 젝터 기억부(13)(도 2)에 기억된 카메라 움직임 벡터를 이용하고, 이들을 전경 기억부(42)에 전송하며, 그 안에 이들을 기억시킨다.
처리는 스텝 S162로 진행한다. 전경 축적된 화상 배치부(43)는 전경 기억부(42)에 기억된 제 1 내지 제 N 프레임의 전경으로부터 도 25를 참조하여 설명된 전방 축적된 화상 및 후방 축적된 화상을 구성하고, 이들을 전방 축적된 화상 기억부(44)에 전송하고, 그 안에 이들을 기억시킨다. 처리는 스텝 S163으로 진행한다.
스텝 S163에서, 학습부(45)는 전경 축적된 화상 기억부(44)에 기억된 전방 축적된 화상 및 후방 축적된 화상, 및 필요하다면 학습을 실행하기 위하여 에러 화상 기억부(49)에 기억된 에러 화상을 구성하는 픽셀을 이용하고, 제 1 내지 제 N 프레임 각각의 전경을 구성하는 픽셀을 예측하기 위하여 이용되는 예측 계수를 구한다.
우선, 학습 처리가 스텝 S163에서 실행되면, 에러 화상 기억부(49)는 에러 화상을 아직 기억하지 않았기 때문에, 학습은 에러 화상을 이용하지 않고(화상은 이용될 수 없음) 수행된다.
스텝 S163에서 실행된 학습 결과로서 구해진 예측 계수 세트는 학습부(45)로부터 예측 계수 기억부(46)로 전송되어 오버라이팅 방식으로 기억된다. 예측 계수 기억부(46)가 예측 계수 세트를 기억할 때, 적응적 처리부(47)는 스텝 S164에서, 전경 축적된 화상 기억부에 기억된 전방 축적된 화상 및 후방 축적된 화상을 구성하는 픽셀과, 예측 계수 기억부(46)에 기억된 예측 계수 세트, 및 필요하다면 에러 화상 기억부(49)에 기억된 에러 화상을 이용하여, 수학식 8 및 9에 규정의 선형 수학식을 계산함으로써, 제 1 내지 제 N 프레임 각각의 전경을 구성하는 각 필셀의 예측값을 구하기 위한 적응적 처리를 실행한다.
또한, 적응적 처리가 우선 스텝 S164에서 실행되면, 에러 화상 기억부(49)가 아직 에러 화상을 기억하지 않았기 때문에, 적응적 처리가 에러 화상을 이용하기 않고(화상은 이용될 수 없음) 수행된다.
스텝 S164에서 실행된 적응적 처리에 의해 구해진 제 1 내지 제 N 프레임 각각의 전경을 구성하는 각 픽셀의 예측값은 에러 계산부(48)에 전송된다. 에러 계산부(48)는 스텝 S165에서 전경을 구성하는 각 픽셀의 예측값의 예측 에러를 구하기 위하여 전경 기억부(42)에 기억된 제 1 내지 제 N 프레임 각각의 전경을 참조한다.
다음에, 처리는 스텝 S166으로 진행한다. 에러 계산부(48)는 제 1 내지 제 N 프레임의 전경을 구성하는 픽셀로부터 기준 좌표 시스템에서의 화상 영역의 각 위치에서 예측 에러의 최대 절대값을 가진 픽셀을 추출하고, 각 위치에서 추출된 픽셀의 예측 에러를 에러 화상 기억부(49)에 에러 화상로서 전송한다. 에러 화상 기억부(49)는 에러 계산부(48)로부터 전송된 에러 화상을 기억한다.
다음에, 처리는 스텝 S1167로 진행한다. 에러 판단부(50)는 에러 화상 기억부(49)에 기억된 에러 화상을 구성하는 픽셀의 픽셀값(예측 에러)의 절대값의 합을 계산하고, 절대값이 임계치 ε보다 크지 않는 가의 여부를 판단한다.
스텝 S167에서, 에러 화상을 구성하는 픽셀의 픽셀값(예측 에러)의 절대값이 임계치 ε보다 크다고 판단되면, 즉, 예측 계수 세트, 전방 축적된 화상 및 후방 축적된 화상( 및, 필요하다면 에러 화상)로부터 구해진 전경의 예측값의 정확도가 충분하지 않다면, 처리는 스텝 S163으로 되돌아가서, 상술된 것과 동일한 처리가 반복된다.
이 경우, 에러 화상 기억부(49)는 다음에 실행될 스텝 S163 및 S164에서, 에러 화상을 기억하기 때문에, 예측 탭은 도 29에 도시된 바와 같이 전방 축적된 화상, 후방 축적된 화상 및 에러 화상을 이용하여 형성되고, 학습 처리 및 적응 처리가 각각 실행된다.
스텝 S167에서, 에러 화상을 구성하는 픽셀값(예측 에러)의 절대값의 합이 임계치 ε보다 크지 않다면, 즉, 예측 에러 세트, 전방 축적된 화상 및 후방 축적된 화상(및, 필요하다면 에러 화상)로부터 구해진 전경의 예측값의 정확도가 충분하지 않으면, 처리는 스텝 S168로 진행한다. 에러 판단부(50)는 전방 축적된 화상 기억부(44)에 기억된 전방 축적된 화상 및 후방 축적된 화상, 예측 계수 기억부(46)에 기억된 예측 계수, 및 에러 화상이 에러 화상 기억부(49)에 기억되면 에러 이미즈를 판독 및 멀티플렉스할 수 있도록 MUX(51)를 제어한다. MUX(51)는 멀티플렉서(17)(도 2)에 멀티플렉싱 결과로서 구해진 멀티플렉스된 데이터를 제 1 내지 제 N 프레임 각각의 전경의 인코딩 결과로서 출력하고, 전경 인코딩 처리는 종료된다.
에러 화상 기억부(49)는 스텝 S166의 처리가 실행될 때마다 구해진 새로운 에러 화상을 오버라이팅 방식으로 이미 기억된 에러 화상상에 기억시키거나, 또는 남아있는 이미 기억된 에러 화상과 함께 새로운 에러 화상을 기억시킬 수 있다.
에러 화상 기억부(49)가 오버라이팅 방식으로 이미 기억된 에러 화상상에 새로운 에러 화상을 기억하면, 예측 계수 세트 학습이 반복적으로 실행되더라도 하나의 에러 화상만이 항상 기억되기 때문에, 전방 예측값의 정확도의 향상이 어느 정도 제한되더라도, 멀티플렉스된 데이터량이 작게 된다.
에러 화상 기억부(49)가 남아있는 이미 기억된 에러 화상과 함께 새로운 에러 화상을 기억할 때, 여러 장의 에러 화상이 기억되기 때문에, 멀티플렉스된 데이터량은 다소 증가한다. 예측 탭이 도 30에 도시된 바와 같이 전방 축적된 화상, 후방 축적된 화상 및 2장 이상의 에러 화상을 이용하여 생성되고, 학습 및 적응적 처리가 실행되기 때문에, 전경의 예측값의 정확도가 향상된다. 도 30은 2개의 에러 화상이 기억된 경우를 도시한다.
상술된 경우에, 적응적 처리는 예측값을 구하기 위하여 학습에 의해 구해진 예측 계수 세트를 이용하여 실행된다. 예측 에러가 크면, 학습은 또한 작은 예측 에러를 가진 예측 계수 세트를 구하기 위하여 에러 화상의 이용으로 다시 실행된다. 예측 에러의 크기과 상관없이, 학습부(45)에 의해 실행된 제 1 학습 처리의 결과로서 구해진 예측 계수 세트는 전경 축적된 화상 기억부(44)에 기억된 전방 축적된 화상 및 후방 축적된 화상과 함께 전경의 인코딩 결과로서 출력될 수 있다. 이 경우, 적응적 처리부(47), 에러 계산부(48), 에러 화상 기억부(49) 및 에러 판단부(50)를 포함하지 않고 형성될 수 있다.
또한, 상술된 경우에, 전경의 예측값을 구하기 위하여 함수 g(F, B, E, n)이 수학식 9로 정의되며, 제 1 내지 제 N 프레임 모두의 전경의 예측값을 구하기 위하여 공통적으로 이용되는 예측 계수의 한 세트가 함수에 의해 구해진다. 예측 계수 세트는 예를 들면 프레임마다 또는 다수의 프레임들마다 구해질 수 있다.
즉, 프레임마다 예측 계수 세트를 구하기 위하여, 예를 들면 수학식 10에 도시된 바와 같이 함수 g(F, B, E, n)을 정의하고, 예측 계수 세트를 구하기 위하여 각 프레임마다 정규 수학식을 만들어 풀어야 한다.
수학식 10에서, wF1, wF2,..., wB1, wB2,..., wE1, wE2,...는 제 n 프레임의 전경의 예측값을 구하기 위하여 이용되는 예측 계수를 나타낸다.
전경의 예측값은 선형 예측에 의해 구해진다. 전경의 예측값은 고차, 이차 등의 예측 수학식으로 구해질 수 있다.
또한, 제 1 내지 제 N 프레임의 전경으로 이루어진 전방 축적된 화상 및 후방 축적된 화상은 제 1 내지 제 N 프레임 각각의 전경의 예측값을 구하기 위해 이용된 예측 계수 세트의 학습을 실행하기 위해 이용된다. 예측 계수 세트 학습은 전경 축적된 화상 및 후방 축적된 화상과 다른 화상을 이용하여 실행될 수 있다. 즉, 예측 계수 세트 학습은, 예를 들면 노이즈로 형성된 화상의 픽셀값이 전경의 예측값의 예측 에러를 감소하기 위하여 조정되도록 노이즈로 형성된 한 장 이상의 화상을 이용하여 수행될 수 있다.
도 31은 도 1에 도시된 디코더(2)의 예시적 구성을 도시한다.
전달 매체(3)(도 1)를 통해 전달된 인코드된 데이터 또는 기록 매체(4)(도 1)로부터 재생된 인코드된 데이터는 디멀티플렉스(DMUX; 81)로 전송된다. DMUX(81)는 전방 축적된 화상, 후방 축적된 화상, 예측 계수 세트, 공통 배경 및 전송되어 인코드된 데이터의 카메라 움직임 벡터를 분리시킨다. 인코드된 데이터가 에러 화상을 포함하면, DMUX(81)는 또한 인코드된 데이터의 에러 화상을 분리시킨다.
전방 축적된 화상, 후방 축적된 화상, 더불어 인코드된 데이터가 에러 화상을 포함하면, 에러 화상이 DMUX(81)로부터 화상 기억부(86)로 전송된다. 예측 계수 세트, 공통 배경 및 카메라 움직임 벡터는 DMUX(81)로부터 예측 계수 기억부(82), 배경 메모리(87) 및 카메라 움직임 벡터 기억부(88)로 각각 전송된다.
예측 계수 기억부(82)는 DMUX(81)로부터 전송된 예측 계수 세트를 기억한다. 적응적 처리부(83)는, 제 1 내지 제 N 프레임 각각의 전방의 예측값을 구하기 위하여, 예측 계수 기억부(82)에 기억된 예측 계수 세트, 화상 기억부(86)에 기억된 전방 축적된 화상 및 후방 축적된 화상, 및 필요하다면 도 24에 도시된 적응적 처리부(47)에 의해 수행되는 것과 같은 적응적 처리를 샐행하기 위한 에러 화상을 이용한다.
전경 기억부(84)는 적응적 처리부(83)에 의해 구해진 제 1 내지 제 N 프레임 각각의 전경의 예측값을, 제 1 내지 제 N 프레임 각각의 전경의 디코딩 결과로서 기억한다.
합성부(85)는 카메라 움직임 벡터 기억부(88)에 기억된 제 n 프레임의 카메라 움직임 벡터 vn에 따라 배경 메모리(87)에 기억된 공통 배경으로부터 제 n 프레임의 배경을 추출하고, 제 n 프레임의 화상을 디코드하기 위하여 전경 기억부(84)에 기억된 제 n 프레임의 전경의 디코딩 결과와 제 n 프레임의 배경을 결합(합성)하여, 이것을 출력시킨다.
화상 기억부(86)는 DMUX(81)로부터 전송된 전방 축적된 화상, 후방 축적된 화상 및 에러 화상을 기억한다. 배경 메모리(87)는 DMUX(81)로부터 전송된 공통 배경을 기억한다. 카메라 움직임 벡터 기억부(88)는 DMUX(81)로부터 전송된 제 1 프레임 내지 제 N 프레임의 카메라 움직임 벡터를 기억한다.
도 31에 도시된 디코더(2)에 의해 실행된 일련의 화상로서 작용하는 제 1 내지 제 N 프레임의 화상을 디코딩하기 위한 디코딩 처리는 도 32에 도시된 흐름도를 참조하여 이후에 설명된다.
우선 스텝 S171에서, DMUX(81)는 전송되어 인코드된 데이터의 카메라 움직임 벡터, 필수적인 에러 화상, 전방 축적된 화상 및 후방 축적된 화상을 분리시킨다. 전방 축적된 화상, 후방 축적된 화상 및 필수 에러 화상은 화상 기억부에 전송되어 기억된다. 예측 계수 세트, 공통 배경 및 카메라 움직임 벡터는 예측 계수 기억부(82), 배경 메모리(87) 및 카메라 움직임 벡터 기억부(88)에 각각 전송되어 기억된다.
다음에, 처리는 스텝 S172로 진행한다. 적응적 처리부(83)는, 제 1 내지 제 N 프레임 각각의 전경의 예측값을 구하기 위하여, 예측 계수 기억부(82)에 기억된 예측 계수 세트, 및 도 25에 도시된 적응적 처리부(47)에 의해 수행되는 것과 같은 적응적 처리를 실행하기 위한 전방 축적된 화상, 후방 축적된 화상 및 필수 에러 화상을 이용한다. 예측값은 전경 기억부(84)에 전송되고, 제 1 프레임 내지 제 N 프레임 각각의 전경의 디코딩 결과로서 기억된다.
다음에, 처리는 스텝 S173으로 진행한다. 합성부(85)는 카메라 움직임 기억부(88)에 기억된 제 n 프레임의 카메라 움직임 벡터 vn에 따라 배경 메모리(87)에 기억된 공통 배경으로부터 제 n 프레임의 배경을 추출하고, 배경 기억부(84)에 기억된 제 n 프레임의 전경의 디코딩 결과와 제 n 프레임의 배경을 합성한다. 합성부(85)는 제 1 내지 제 N 프레임 모두에 상기 처리를 적용하고, 디코딩 처리는 종료된다.
상술된 일련의 처리는 하드웨어 또는 소프트웨어에 의해 실행될 수 있다. 일련의 처리가 소프트웨어에 의해 수행되면, 소프트웨어를 구성하는 프로그램은 특수 하드웨어로서 작용하는 인코더(1) 또는 디코더(2)에 내장된 컴퓨터, 또는 설치된 여러 가지 타입의 프로그램으로 여러 가지 타입의 처리를 실행하는 범용 컴퓨터에 설치된다.
상술된 일련의 처리를 실행하며 이것을 컴퓨터에 의해 실행가능하도록 하기 위한 프로그램을 설치하기 위해 이용되는 기록 매체는 도 33을 참조하여 이하에 설명된다.
프로그램은 도 33의 (a)에 도시된 바와 같이, 컴퓨터(101)에 내장된 기록 매체로서 작용하는 반도체 메모리(103) 또는 하드디스크(102)에 미리 설치된 상태로 유저에게 제공될 수 있다.
또한, 프로그램은 도 33의 (b)에 도시된 바와 같이, 플로피 디스크(111), 컴팩트 디스크 판독 전용 메모리(CD-ROM; 112) 및 광자기(MO) 디스크(113), 디지털 비디오 디스크(DVD; 114), 자기 디스크(115) 및 반도체 메모리(116) 같은 기록 매체에 일시적으로 또는 영구적으로 기록된 상태로 패키지 소프트웨어로 제공된다.
또한, 프로그램은 디지컬 위성 방송을 위한 인공 위성(122)을 통해 다운로딩 사이트(121)로부터 무선으로 컴퓨터(101)로 전달되거나, 또는 근거리 통신망(LAN)이나 인터넷 같은 네트워크(131)를 통해 유선으로 컴퓨터(101)에 전달되어, 도 22c에 도시된 바와 같이 컴퓨터(101)에 내장된 하드디스크(102)에 설치된다.
본 명세서에서, 기록 매체를 통해 제공된 프로그램을 설명하는 스텝은 스텝이 흐름도에 설명되는 순서대로 순차적인 방식으로 처리될 필요는 없다. 병렬로 또는 독립적으로 실행되는 처리(예컨대, 병령 처리 또는 대상에 의한 처리)가 또한 포함된다.
도 34는 도 33의 (a)에 도시된 컴퓨터(101)의 예시적 구성을 도시한다.
컴퓨터(101)는 도 34에 도시된 바와 같이 중앙 처리 장치(CPU; 142)를 포함한다. CPU(142)는 버스(141)를 통해 입력 및 출력 인터페이스(145)와 접속된다. 유저가 입력 및 출력 인터페이스(145)를 통해 명령을 입력시키기 위하여 키보드와 마우스로 이루어진 입력부(47)를 조작하면, CPU(142)는 도 33의 (a)에 도시된 반도체 메모리(103)에 대응하는 판독 전용 메모리(ROM; 143)에 기억된 프로그램을 실행한다. 또한, CPU(142)는 랜덤 액세스 메모리(RAN; 144)에 로드되어, 플로피 디스크에 기억된 프로그램, 통신부(148)에 의해 수신되어 하드디스크(102)에 설치되는 위성(122) 또는 네트워크(131)를 통해 전달된 프로그램, 또는 드라이브(149)에 로드되어 하드디스크(102)에 설치되는 플로피 디스크(111), CD-ROM(112), MO 디스크(113), DVD(114) 또는 자기 디스크(115)로부터 판독된 프로그램을 실행시킨다. CPU(142)는 처리 결과를, 예컨대 입력 및 출력 인터페이스(145)를 통해 필요에 따라 액정 디스플레이(LCD)로 이루어진 디스플레이부(146)에 출력시킨다.
본 발명에 따르면, 전경은 화상의 각 스크린으로부터 추출되며, 각 스크린의 전경을 예측하기 위해 이용되는 예측 계수가 구해진다. 예측 계수 및 전방 및 후방 축적된 화상은 각 스크린의 전방의 인코딩 결과로서 출력된다. 따라서, 전경은 효과적으로 인코드될 수 있다.
또한, 본 발명에 따르면, 전방 및 후방 축적된 화상 및 예측 계수는 인코드된 데이터로 분리되고, 각 스크린의 전경의 예측값은 화상 및 예측 계수로부터 구해진다. 따라서, 효과적으로 인코드된 전경이 디코드될 수 있다.
또한, 본 발명에 따르면, 전경은 화상의 각 스크린으로부터 추출되며, 각 스크린의 전경을 예측하기 위해 이용되는 예측 계수는 전방 및 후방 축적된 화상로부터 구해진다.
예측 계수 및 전방 및 후방 축적된 화상은 각 스크린의 전경의 인코딩 결과인 인코드된 데이터로서 출력된다. 전방 및 후방 축적된 화상 및 예측 계수는 인코드된 데이터로 분리되며, 각 스크린의 전경의 예측값은 전방 및 후방 축적된 화상 및 예측 계수로부터 구해진다. 따라서, 전경이 효과적으로 인코드되며, 인코드 결과가 디코드된다.
본 발명에 따르면, 공간적으로 동일한 위치에 배치된 픽셀은 각 스크린의 배경에 위치 결정이 적용된 상태에서 화상에서 검출되고, 동일한 픽셀값을 가진 공간적으로 동일한 위치에 배치된 픽셀의 수가 카운트된다. 배경의 픽셀값은 이 수에 따라 결정된다. 따라서, 배경은 정확하게 추출된다.
본 발명에 따르면, 포커스 스크린의 움직임을 검출하기 위해 이용된 검출 영역, 즉 포커스 스크린 바로 전의 스트린의 화상을 포함한 영역이 화상의 각 스크린의 배경에 위치 결정을 적용함으로써 구해진 축적된 화상을 기억하기 위해 축적된 화상 기억부에 기억된 축적된 화상에 지정되고, 포커스 스크린의 중심 및 검출 영역의 중심이 계산된다. 움직임 벡터는 포커스 스크린의 중심 및 검출 영역의 중심에 따라 구해진다. 포커스 스크린의 화상은 움직임 벡터에 따라 축적된 화상 기억부에 기록된다. 따라서, 카메라 움직임이 용이하게 구해질 수 있다.

Claims (70)

  1. 복수의 연속 프레임들의 화상 신호를 처리하기 위한 화상 처리 장치에 있어서,
    복수의 연속 프레임들의 화상 신호로부터 각 프레임의 전경을 추출하는 전경 추출 수단과,
    복수의 연속 프레임들의 화상 신호의 배경에 위치 결정이 적용되고 전경들이 중첩된 상태에서 복수의 연속 프레임들의 시간 진행 방향으로 미래측으로부터 복수의 연속 프레임들을 보여줌으로써 얻어진 전방 축적된 화상, 및 복수의 연속 프레임들의 화상 신호의 배경에 위치 결정이 적용되고 전경들이 중첩된 상태에서 복수의 연속 프레임들의 시간 진행 방향으로 과거측으로부터 복수의 연속 프레임들을 보여줌으로써 얻어진 후방 축적된 화상에 따라, 각 프레임의 전경을 예측하기 위해 이용되는 예측 정보를 생성하는 예측 정보 생성 수단과,
    상기 전방 축적된 화상, 후방 축적된 화상 및 예측 정보를 포함한 정보를 복수의 연속 프레임들의 전경들의 인코딩 결과로서 출력하는 출력 수단을 구비한 화상 처리 장치.
  2. 제 1 항에 있어서,
    복수의 연속 프레임들의 화상 신호에 따라 상기 전방 축적된 화상 및 후방 축적된 화상을 생성하는 축적 화상 생성 수단을 더 구비한 화상 처리 장치.
  3. 제 1 항에 있어서,
    상기 예측 정보는 전방 축적된 화상의 픽셀값들과 후방 축적된 화상의 픽셀값들이 이용되는 예측 계산에 이용되는 예측 계수들을 포함하는 화상 처리 장치.
  4. 제 3 항에 있어서,
    상기 예측 계산은 선형 예측 계산인 화상 처리 장치.
  5. 제 1 항에 있어서,
    상기 예측 정보 생성 수단은 복수의 연속 프레임들의 화상 신호에 대한 한 세트의 예측 정보를 생성하는 화상 처리 장치.
  6. 제 1 항에 있어서,
    상기 예측 정보 생성 수단은 복수의 연속 프레임들의 화상 신호의 각 프레임에 대한 한 세트의 예측 정보를 생성하는 화상 처리 장치.
  7. 제 1 항에 있어서,
    상기 전방 축적된 화상, 후방 축적된 화상 및 예측 정보에 따라 복수의 연속 프레임들의 화상 신호의 각 프레임을 구성하는 픽셀들의 예측값들을 계산하는 예측값 계산 수단, 및
    각 프레임의 전경에 대한 각 프레임의 예측값들의 에러를 검출하는 에러 검출 수단을 더 구비하고,
    상기 예측 정보 생성 수단은 에러들 각각이 임계치와 같거나 이보다 작을 때까지 새로운 예측 정보를 반복적으로 생성하는 화상 처리 장치.
  8. 제 7 항에 있어서,
    전경들이 중첩된 상태에서 얻어진 각 위치에서 복수의 프레임들의 픽셀의 예측값들중 최대 예측 에러를 가진 픽셀을 추출하고, 각 위치에서 추출된 픽셀에 따라 에러 화상을 생성하는 에러 화상 생성 수단을 더 구비한 화상 처리 장치.
  9. 제 7 항에 있어서,
    상기 예측 정보 생성 수단은 에러들 각각이 임계치보다 클 때, 상기 전방 축적된 화상, 후방 축적된 화상 및 에러 화상에 따라 예측 정보를 생성하는 화상 처리 장치.
  10. 복수의 연속 프레임들의 화상 신호를 처리하기 위한 화상 처리 방법에 있어서,
    복수의 연속 프레임들의 화상 신호로부터 각 프레임의 전경을 추출하는 단계와,
    복수의 연속 프레임들의 화상 신호의 배경에 위치 결정이 적용되고 전경들이 중첩된 상태에서 복수의 연속 프레임들의 시간 진행 방향으로 미래측으로부터 복수의 연속 프레임들을 보여줌으로써 얻어진 전방 축적된 화상, 및 복수의 연속 프레임들의 화상 신호의 배경에 위치 결정이 적용되고 전경들이 중첩된 상태에서 복수의 연속 프레임들의 시간 진행 방향으로 과거측으로부터 복수의 연속 프레임들을 보여줌으로써 얻어진 후방 축적된 화상에 따라, 각 프레임의 전경을 예측하기 위해 이용되는 예측 정보를 생성하는 단계와,
    상기 전방 축적된 화상, 후방 축적된 화상 및 예측 정보를 포함한 정보를 복수의 연속 프레임들의 전경들의 인코딩의 결과로서 출력하는 단계를 포함하는 화상 처리 방법.
  11. 제 10 항에 있어서,
    상기 복수의 연속 프레임들의 화상 신호에 따라 상기 전방 축적된 화상 및 후방 축적된 화상을 생성하는 단계를 더 포함하는 화상 처리 방법.
  12. 제 10 항에 있어서,
    상기 예측 정보는 전방 축적된 화상의 픽셀값들과 후방 축적된 화상의 픽셀값들이 이용되는 예측 계산에서 이용되는 예측 계수들을 포함하는 화상 처리 방법.
  13. 제 12 항에 있어서,
    상기 예측 계산은 선형 예측 계산인 화상 처리 방법.
  14. 제 10 항에 있어서,
    한 세트의 예측 정보가 상기 예측 정보를 생성하는 단계에서 복수의 연속 프레임들의 화상 신호에 대하여 생성되는 화상 처리 방법.
  15. 제 10 항에 있어서,
    한 세트의 예측 정보가 상기 예측 정보를 생성하는 단계에서 복수의 연속 프레임들의 화상 신호의 각 프레임에 대하여 생성되는 화상 처리 방법.
  16. 제 10 항에 있어서,
    상기 전방 축적된 화상, 후방 축적된 화상 및 예측 정보에 따라 복수의 연속 프레임들의 화상 신호의 각 프레임을 구성하는 픽셀들의 예측값들을 계산하는 단계, 및
    각 프레임의 전경에 대한 각 프레임의 예측값들의 에러를 검출하는 단계를 더 포함하며,
    상기 새로운 예측 정보는 에러들 각각이 임계치와 같거나 이보다 작을 때까지 상기 예측 정보 생성 단계에서 반복적으로 생성되는 화상 처리 방법.
  17. 제 16 항에 있어서,
    전경들이 중첩된 상태에서 얻어진 각 위치에서 복수의 프레임들의 픽셀의 예측값들중 최대 예측 에러를 가진 픽셀을 추출하고, 각 위치에서 추출된 픽셀에 따라 에러 화상을 생성하는 단계를 더 포함하는 화상 처리 방법.
  18. 제 16 항에 있어서,
    상기 예측 정보는 에러들 각각이 임계치보다 클 때 상기 예측 정보를 발생하는 단계에서 상기 전방 축적된 화상, 후방 축적된 화상 및 에러 화상에 따라 생성되는 화상 처리 방법.
  19. 복수의 연속 프레임들의 화상 신호를 처리하기 위한 컴퓨터 제어가능한 프로그램을 기억하는 기록 매체에 있어서,
    상기 프로그램은,
    복수의 연속 프레임들의 화상 신호로부터 각 프레임의 전경을 추출하는 단계와,
    복수의 연속 프레임들의 화상 신호의 배경에 위치 결정이 적용되고 전경들이 중첩된 상태에서 복수의 연속 프레임들의 시간 진행 방향으로 미래측으로부터 복수의 연속 프레임들을 보여줌으로써 얻어진 전방 축적된 화상, 및 복수의 연속 프레임들의 화상 신호의 배경에 위치 결정이 적용되며 전경들이 중첩된 상태에서 복수의 연속 프레임들의 시간 진행 방향으로 과거측으로부터 복수의 연속 프레임들을 보여줌으로써 얻어진 후방 축적된 화상에 따라, 각 프레임의 전경을 예측하기 위해 이용되는 예측 정보를 생성하는 단계와,
    상기 전방 축적된 화상, 후방 축적된 화상 및 예측 정보를 포함한 정보를 복수의 연속 프레임들의 전경들의 인코딩 결과로서 출력하는 단계를 포함하는 기록 매체.
  20. 복수의 연속 프레임들의 화상 신호를 처리하기 위한 화상 처리 장치에 있어서,
    복수의 연속 프레임들의 화상 신호의 배경에 위치 결정이 적용되고 전경들이 중첩된 상태에서 복수의 연속 프레임들의 시간 진행 방향으로 미래측으로부터 복수의 연속 프레임들을 보여줌으로써 얻어진 전방 축적된 화상, 및 복수의 연속 프레임들의 화상 신호의 배경에 위치 결정이 적용되고 전경들이 중첩된 상태에서 복수의 연속 프레임들의 시간 진행 방향으로 과거측으로부터 복수의 연속 프레임들을 보여줌으로써 얻어진 후방 축적된 화상에 따라, 각 프레임의 전경을 예측하기 위해 이용되는 예측 정보를 포함한 인코딩 결과로부터, 전방 축적된 화상, 후방 축적된 화상 및 예측 정보를 추출하는 추출 수단, 및
    상기 전방 축적된 화상, 후방 축적된 화상 및 예측 정보에 따라 각 프레임의 화상 신호를 디코딩하는 디코딩 수단을 구비한 화상 처리 장치.
  21. 제 20 항에 있어서,
    상기 예측 정보는 전방 축적된 화상의 픽셀값들 및 후방 축적된 화상의 픽셀값들이 이용되는 예측 계산에 이용되는 예측 계수들을 포함하고 있고,
    상기 디코딩 수단은 각 프레임의 화상 신호를 디코드하기 위해 예측 계수들, 전방 축적된 화상 및 후방 축적된 화상을 이용함으로써 예측 계산을 달성하는 화상 처리 장치.
  22. 제 21 항에 있어서,
    상기 예측 계산은 선형 예측 계산인 화상 처리 장치.
  23. 제 20 항에 있어서,
    한 세트의 예측 정보는 복수의 연속 프레임들의 화상 신호에 대하여 생성되는 화상 처리 장치.
  24. 제 20 항에 있어서,
    한 세트의 예측 정보는 복수의 연속 프레임들의 화상 신호의 각 프레임에 대하여 생성되는 화상 처리 장치.
  25. 제 20 항에 있어서,
    상기 추출 수단은 또한 각 프레임의 전경에 대한 각 프레임의 픽셀들의 예측값들의 에러에 따라 인코딩 결과로부터 생성된 에러 화상을 추출하고,
    상기 디코딩 수단은 전방 축적된 화상, 후방 축적된 화상, 예측 정보 및 에러 화상에 따라 각 프레임의 화상 신호를 디코드하는 화상 처리 장치.
  26. 복수의 연속 프레임들의 화상 신호를 처리하기 위한 화상 처리 방법에 있어서,
    복수의 연속 프레임들의 화상 신호의 배경에 위치 결정이 적용되고 전경들이 중첩된 상태에서 복수의 연속 프레임들의 시간 진행 방향으로 미래측으로부터 복수의 연속 프레임들을 보여줌으로써 얻어진 전방 축적된 화상, 및 복수의 연속 프레임들의 화상 신호의 배경에 위치 결정이 적용되며 전경들이 중첩된 상태에서 복수의 연속 프레임들의 시간 진행 방향으로 과거측으로부터 복수의 연속 프레임들을 보여줌으로써 얻어진 후방 축적된 화상에 따라, 각 프레임의 전경을 예측하기 위해 이용되는 예측 정보를 포함한 인코딩 결과로부터, 전방 축적된 화상, 후방 축적된 화상 및 예측 정보를 추출하는 단계; 및
    상기 전방 축적된 화상, 후방 축적된 화상 및 예측 정보에 따라 각 프레임의 화상 신호를 디코딩하는 단계를 포함하는 화상 처리 방법.
  27. 제 26 항에 있어서,
    상기 예측 정보는 전방 축적된 화상의 픽셀값들 및 후방 축적된 화상의 픽셀값들이 이용되는 예측 계산에 이용되는 예측 계수들을 포함하고 있고,
    상기 예측 계산은 각 프레임의 화상 신호를 디코드하기 위해 예측 계수들, 전방 축적된 화상 및 후방 축적된 화상을 이용함으로써 상기 디코딩 단계에서 수행되는 화상 처리 방법.
  28. 제 27 항에 있어서,
    상기 예측 계산은 선형 예측 계산인 화상 처리 방법.
  29. 제 26 항에 있어서,
    한 세트의 예측 정보는 복수의 연속 프레임들의 화상 신호에 대하여 생성되는 화상 처리 방법.
  30. 제 26 항에 있어서,
    한 세트의 예측 정보는 복수의 연속 프레임들의 화상 신호의 각 프레임에 대하여 생성되는 화상 처리 방법.
  31. 제 26 항에 있어서,
    각 프레임의 전경에 대한 각 프레임의 픽셀들의 예측값들의 에러에 따라 생성된 에러 화상은 또한 상기 추출하는 단계에서 인코딩의 결과로부터 추출되며,
    각 프레임의 화상 신호는 디코딩 단계에서 전방 축적된 화상, 후방 축적된 화상, 예측 정보 및 에러 화상에 따라 디코드되는 화상 처리 방법.
  32. 복수의 연속 프레임들의 화상 신호를 처리하기 위한 컴퓨터 제어가능한 프로그램을 기억하기 위한 기록 매체에 있어서,
    상기 프로그램은,
    복수의 연속 프레임들의 화상 신호의 배경에 위치 결정이 적용되고 전경들이 중첩된 상태에서 복수의 연속 프레임들의 시간 진행 방향으로 미래측으로부터 복수의 연속 프레임들을 보여줌으로써 얻어진 전방 축적된 화상, 및 복수의 연속 프레임들의 화상 신호의 배경에 위치 결정이 적용되고 전경들이 중첩된 상태에서 복수의 연속 프레임들의 시간 진행 방향으로 과거측으로부터 복수의 연속 프레임들을 보여줌으로써 얻어진 후방 축적된 화상에 따라, 각 프레임의 전경을 예측하기 위해 이용되는 예측 정보를 포함한 인코딩 결과로부터, 전방 축적된 화상, 후방 축적된 화상 및 예측 정보를 추출하는 단계, 및
    전방 축적된 화상, 후방 축적된 화상 및 예측 정보에 따라 각 프레임의 화상 신호를 디코딩하는 단계를 포함하는 기록 매체.
  33. 복수의 연속 프레임들의 화상 신호를 처리하기 위한 화상 처리 장치에 있어서,
    위치 결정이 각 프레임의 배경에 적용된 때, 복수의 연속 프레임들의 화상 신호에 따라 복수의 연속 프레임들에서의 공간적으로 동일한 위치에 배치된 픽셀들의 세트들을 검출하는 동일 위치 픽셀 검출 수단과,
    공간적으로 동일한 위치에 배치된 픽셀들의 각 세트에 각 픽셀값을 가진 픽셀들의 수를 검출하는 픽셀 수 검출 수단, 및
    픽셀들의 수에 따라 각 세트마다 배경 화상의 픽셀값을 판단하는 배경 픽셀값 판단 수단을 구비한 화상 처리 장치.
  34. 제 33 항에 있어서,
    상기 배경 픽셀값 판단 수단은 픽셀값을 가진 픽셀들의 수 대 각 세트에 포함된 픽셀들의 수의 비율이 소정의 값과 같거나 이보다 큰 픽셀값을 상기 세트에 대응하는 배경 픽셀의 픽셀값으로 판단하는 화상 처리 장치.
  35. 제 34 항에 있어서,
    상기 배경 픽셀값 결정 수단이 그 픽셀값을 결정한 이미 입력된 픽셀에 따라, 픽셀값을 가진 픽셀들의 수와 각 세트에 포함된 픽셀들의 수의 비율이 소정의 값 이상인 픽셀값을 배경 픽셀값 판단 수단이 구할 수 없는 세트에 대한 배경 픽셀인 아직 입력되지 않은 픽셀의 픽셀값을 결정함으로써 배경을 확장하는 배경 확장 수단을 더 구비한 화상 처리 장치.
  36. 제 35 항에 있어서,
    상기 배경 확장 수단은, 이미 입력된 픽셀의 픽셀값까지의 픽셀값의 연속 상태에 따라 아직 입력되지 않은 픽셀의 픽셀값을 결정하는 화상 처리 장치.
  37. 제 36 항에 있어서,
    아직 입력되지 않은 픽셀에 인접한 이미 입력된 픽셀의 픽셀값이 아직 입력되지 않은 픽셀과 동일한 세트에 포함된 픽셀들의 픽셀값들중에서, 최대 수의 픽셀들이 가진 픽셀값에서 소정의 크기 수의 픽셀이 가진 픽셀값까지 연속되면, 배경 확장 수단은 이미 입력된 픽셀의 픽셀값에 따라 아직 입력되지 않은 입력 픽셀의 픽셀값을 결정하는 화상 처리 장치.
  38. 제 36 항에 있어서,
    위치 결정이 카메라 움직임 벡터에 따라 각 프레임의 배경에 적용된 상태에서 배경이 존재하는 배경 영역을 검출하는 배경 영역 검출 수단을 더 포함하는 화상 처리 장치.
  39. 제 38 항에 있어서,
    상기 동일 위치 픽셀 검출 수단은 배경 영역에서의 동일 위치들에 배치된 픽셀들의 복수의 세트들을 검출하는 화상 처리 장치.
  40. 제 38 항에 있어서,
    카메라 움직임 벡터를 검출하는 카메라 움직임 벡터 검출 수단을 더 포함하는 화상 처리 장치.
  41. 제 36 항에 있어서,
    상기 픽셀 수 검출 수단은 픽셀값들을 복수의 레벨들로 분류하고, 각 레벨에서의 대응하는 픽셀들의 수를 검출하는 화상 처리 장치.
  42. 복수의 연속 프레임들의 화상 신호를 처리하기 위한 화상 처리 방법에 있어서,
    위치 결정이 각 프레임의 배경에 적용된 때, 복수의 연속 프레임들의 화상 신호에 따라 복수의 연속 프레임들에서의 공간적으로 동일한 위치에 배치된 픽셀들의 세트들을 검출하는 단계와,
    공간적으로 동일한 위치에 배치된 픽셀들의 각 세트에 각 픽셀값을 가진 픽셀들의 수를 검출하는 단계와,
    픽셀들의 수에 따라 각 세트마다 배경 화상의 픽셀값을 판단하는 단계를 포함하는 화상 처리 방법.
  43. 제 42 항에 있어서,
    픽셀값을 가진 픽셀들의 수와 각 세트에 포함된 픽셀들의 수의 비율이 소정의 값 이상인 픽셀값이 상기 픽셀값 판단 단계에서 상기 세트에 대응하는 배경 픽셀의 픽셀값으로서 결정되는 화상 처리 방법.
  44. 제 43 항에 있어서,
    픽셀값이 픽셀값을 결정하는 단계에서 결정된 이미 입력된 픽셀에 따라, 픽셀값을 가진 픽셀들의 수와 각 세트에 포함된 픽셀들의 수의 비율이 소정의 값과 같거나 이보다 큰 픽셀값을 배경 픽셀값 판단 수단이 구할 수 없는 세트에 대한 배경 픽셀인 아직 입력되지 않은 픽셀의 픽셀값을 결정함으로써 배경을 확장하는 단계를 더 포함하는 화상 처리 방법.
  45. 제 44 항에 있어서,
    이미 입력된 픽셀의 픽셀값까지 픽셀값의 연속 상태에 따라 상기 픽셀값 판단 단계에서 아직 입력되지 않은 픽셀의 픽셀값이 결정되는 화상 처리 방법.
  46. 제 45 항에 있어서,
    아직 입력되지 않은 픽셀에 인접한 이미 입력된 픽셀의 픽셀값이 아직 입력되지 않은 픽셀과 동일한 세트에 포함된 픽셀들의 픽셀값들중에서, 최대 수의 픽셀들이 가진 픽셀값에서 소정의 크기 수의 픽셀이 가진 픽셀값까지 연속되면, 배경 확장 수단은 이미 입력된 픽셀의 픽셀값에 따라 상기 배경 확장 단계에서 아직 입력되지 않은 입력 픽셀의 픽셀값이 결정되는 화상 처리 방법.
  47. 제 45 항에 있어서,
    위치 결정이 카메라 움직임 벡터에 따라 각 프레임의 배경에 적용된 상태에서 배경이 존재하는 배경 영역을 검출하는 단계를 더 포함하는 화상 처리 방법.
  48. 제 47 항에 있어서,
    상기 동일 위치 픽셀 검출 단계는 공간적으로 동일한 위치들에 배치된 픽셀의 세트들을 검출하는 단계에서 배경 영역에서 검출된 동일 위치들에 배치된 픽셀들의 복수의 세트들을 검출하는 화상 처리 방법.
  49. 제 47 항에 있어서,
    카메라 움직임 벡터를 검출하는 단계를 더 포함하는 화상 처리 방법.
  50. 제 45 항에 있어서,
    상기 픽셀들의 수 검출 단계에서 픽셀값들이 복수의 레벨들로 분류되고, 대응하는 픽셀들의 수가 각 레벨에서 검출되는 화상 처리 방법.
  51. 복수의 연속 프레임들의 화상 신호를 처리하기 위한 컴퓨터 제어가능한 프로그램을 기억하기 위한 기록 매체에 있어서,
    상기 프로그램은,
    위치 결정이 각 프레임의 배경에 적용된 때, 복수의 연속 프레임들의 화상 신호에 따라 복수의 연속 프레임들에서의 공간적으로 동일한 위치에 배치된 픽셀들의 세트들을 검출하는 단계와,
    공간적으로 동일한 위치에 배치된 픽셀들의 각 세트에 각 픽셀값을 가진 픽셀들의 수를 검출하는 단계, 및
    픽셀들의 수에 따라 각 세트마다 배경 화상의 픽셀값을 판단하는 단계를 포함하는 기록 매체.
  52. 복수의 연속 프레임들의 화상 신호를 처리하기 위한 화상 처리 장치에 있어서,
    화상 신호를 기억하는 기억 수단과,
    기억 수단에 기억된 화상 신호에서의 포커스 프레임 바로 전의 프레임의 화상 신호를 포함한 검출 영역의 화상 신호의 중심을 검출하는 검출 영역의 중심 검출 수단과,
    포커스 프레임의 화상 신호의 중심을 검출하는 포커스 프레임의 중심 검출 수단과,
    검출 영역의 중심 및 포커스 프레임의 중심에 따라 카메라 움직임 벡터를 검출하는 카메라 움직임 검출 수단과,
    카메라 움직임 벡터에 기초하여 위치적 관계에 의해 기억 수단에 기억된 화상 신호에 포커스 프레임의 화상 신호를 중복 기록하는 중복 기록 수단을 포함하는 화상 처리 장치.
  53. 제 52 항에 있어서,
    상기 검출 영역의 중심 검출 수단은, 검출 영역에서 화상 신호의 픽셀들을 픽셀들의 픽셀값들에 따라 미리 결정된 복수의 레벨들로 분류하고, 적어도 2개의 레벨들로 분류된 픽셀들의 중심들을 검출하고, 적어도 2개의 레벨들로 분류된 픽셀들의 중심들에 따라 검출 영역의 중심을 검출하고,
    상기 포커스 프레임의 중심 검출 수단은, 포커스 프레임에서의 화상 신호의 픽셀들을 픽셀들의 픽셀값들에 따라 미리 결정된 복수의 레벨들로 분류하고, 적어도 2개의 레벨들로 분류된 픽셀들의 중심을 검출하고, 적어도 2개의 레벨들로 분류된 픽셀들의 중심에 따라 포커스 프레임의 중심을 검출하는 화상 처리 장치.
  54. 제 53 항에 있어서,
    상기 검출 영역의 중심 검출 수단은, 적어도 2개의 레벨들로 분류된 픽셀들의 중심들중의 중심을 검출 영역의 중심으로 검출하고,
    상기 포커스 프레임의 중심 검출 수단은, 적어도 2개의 레벨들로 분류된 픽셀들의 중심들중의 중심을 포커스 프레임의 중심으로 검출하는 화상 처리 장치.
  55. 제 52 항에 있어서,
    상기 검출 영역의 중심 검출 수단은, 검출 영역에서의 화상 신호의 각 픽셀을 각 픽셀에 인접한 픽셀들에 따라 미리 결정된 복수의 클래스들로 분류하고, 적어도 2개의 클래스들로 분류된 픽셀들의 중심들을 검출하고, 적어도 2개의 클래스들로 분류된 픽셀들의 중심들에 따라 검출 영역의 중심을 검출하며,
    상기 포커스 프레임의 중심 검출 수단은, 포커스 프레임에서의 화상 신호의 각 픽셀을 각 픽셀에 인접한 픽셀들의 픽셀값들에 따라 미리 결정된 복수의 클래스들로 분류하고, 적어도 2개의 클래스들로 분류된 픽셀들의 중심을 검출하고, 적어도 2개의 클래스들로 분류된 픽셀들의 중심에 따라 포커스 프레임의 중심을 검출하는 화상 처리 장치.
  56. 제 55 항에 있어서,
    상기 검출 영역의 중심 검출 수단은, 적어도 2개의 클래스들로 분류된 픽셀들의 중심들중의 중심을 검출 영역의 중심으로 검출하며,
    상기 포커스 프레임의 중심 검출 수단은 적어도 2개의 클래스들로 분류된 픽셀들의 중심들중의 중심을 포커스 프레임의 중심으로 검출하는 화상 처리 장치.
  57. 제 55 항에 있어서,
    상기 검출 영역의 중심 검출 수단은, 에지 부분들에 배치된 픽셀들이 분류되는 에지 클래스들에서의 픽셀들의 중심들을 검출하고, 에지 클래스들로 분류된 픽셀들의 중심들중의 중심을 검출 영역의 중심으로 검출하며,
    상기 포커스 프레임의 중심 검출 수단은, 에지 부분들에 배치된 픽셀들이 분류되는 에지 클래스들에서의 픽셀들의 중심들을 검출하고, 에지 클래스들로 분류된 픽셀들의 중심들중의 중심을 포커스 프레임의 중심으로 검출하는 화상 처리 장치.
  58. 제 52 항에 있어서,
    카메라 움직임이 있는지의 여부를 판단하는 카메라 움직임 판단 수단을 더 포함하며,
    카메라 움직임 벡터는 상기 카메라 움직임 판단 수단이 카메라 움지임이 있는 것으로 판단할 때만 효과적으로 이루어지는 화상 처리 장치.
  59. 제 58 항에 있어서,
    상기 카메라 움직임 판단 수단은, 에지 부분들에 배치된 픽셀들이 분류되는 에지 클래스들에 포함된 픽셀들에 따라 카메라 움직임을 검출하는 화상 처리 장치.
  60. 제 52 항에 있어서,
    상기 검출 영역은, 포커스 프레임 바로 전의 프레임의 화상 신호에 대응하는 영역 보다 큰 화상 처리 장치.
  61. 복수의 연속 프레임들의 화상 신호를 처리하기 위한 화상 처리 방법에 있어서,
    화상 신호를 기억하는 단계와,
    상기 화상 신호 기억 단계에서 기억된 화상 신호에서의 포커스 프레임 바로 전의 프레임의 화상 신호를 포함한 검출 영역의 화상 신호의 중심을 검출하는 단계와,
    포커스 프레임의 화상 신호의 중심을 검출하는 단계와,
    검출 영역의 중심 및 포커스 프레임의 중심에 따라 카메라 움직임 벡터를 검출하는 단계, 및
    카메라 움직임 벡터에 기초하여 위치적 관계에 의해 기억 수단에 기억된 화상 신호에 포커스 프레임의 화상 신호를 중복 기록하는 단계를 포함하는 화상 처리 방법.
  62. 제 61 항에 있어서,
    상기 검출 영역의 중심 검출 단계에서, 검출 영역에서 화상 신호의 픽셀들은 픽셀들의 픽셀값들에 따라 미리 결정된 복수의 레벨들로 분류되고, 적어도 2개의 레벨들로 분류된 픽셀들의 중심들이 검출되고, 검출 영역의 중심이 적어도 2개의 레벨들로 분류된 픽셀들의 중심들에 따라 검출되고,
    상기 포커스 프레임의 중심 검출 단계에서, 상기 포커스 프레임의 중심 검출 단계는 포커스 프레임에서의 화상 신호의 픽셀들을 픽셀들의 픽셀값들에 따라 미리 결정된 복수의 레벨들로 분류하고, 적어도 2개의 레벨들로 분류된 픽셀들의 중심이 검출되고, 포커스 프레임의 중심이 적어도 2개의 레벨들로 분류된 픽셀들의 중심에 따라 검출되는 화상 처리 방법.
  63. 제 62 항에 있어서,
    상기 검출 영역의 중심 검출 단계에서, 적어도 2개의 레벨들로 분류된 픽셀들의 중심들중의 중심이 검출 영역의 중심으로 검출되고,
    상기 포커스 프레임의 중심 검출 단계에서, 적어도 2개의 레벨들로 분류된 픽셀들의 중심들중의 중심이 포커스 프레임의 중심으로 검출되는 화상 처리 방법.
  64. 제 61 항에 있어서,
    상기 검출 영역의 중심 검출 단계에서, 검출 영역에서의 화상 신호의 각 픽셀이 각 픽셀에 인접한 픽셀들에 따라 미리 결정된 복수의 클래스들로 분류되고, 적어도 2개의 클래스들로 분류된 픽셀들의 중심들이 검출되고, 검출 영역의 중심이 적어도 2개의 클래스들로 분류된 픽셀들의 중심들에 따라 검출되며,
    상기 포커스 프레임의 중심 검출 단계에서, 포커스 프레임에서의 화상 신호의 각 픽셀이 각 픽셀에 인접한 픽셀들의 픽셀값들에 따라 미리 결정된 복수의 클래스들로 분류되고, 적어도 2개의 클래스들로 분류된 픽셀들의 중심이 검출되고, 포커스 프레임의 중심이 적어도 2개의 클래스들로 분류된 픽셀들의 중심에 따라 검출되는 화상 처리 방법.
  65. 제 61 항에 있어서,
    상기 검출 영역의 중심 검출 단계에서, 적어도 2개의 클래스들로 분류된 픽셀들의 중심들중의 중심이 검출 영역의 중심으로 검출되며,
    상기 포커스 프레임의 중심 검출 단계에서, 적어도 2개의 클래스들로 분류된 픽셀들의 중심들중의 중심이 포커스 프레임의 중심으로 검출되는 화상 처리 방법.
  66. 제 61 항에 있어서,
    상기 검출 영역의 중심 검출 단계에서, 에지 부분들에 배치된 픽셀들이 분류되는 에지 클래스들에서의 픽셀들의 중심들이 검출되고, 에지 클래스들로 분류된 픽셀들의 중심들중의 중심이 검출 영역의 중심으로 검출되며,
    상기 포커스 프레임의 중심 검출 단계에서, 에지 부분들에 배치된 픽셀들이 분류되는 에지 클래스들에서의 픽셀들의 중심들이 검출되고, 에지 클래스들로 분류된 픽셀들의 중심들중의 중심이 포커스 프레임의 중심으로 검출되는 화상 처리 방법.
  67. 제 61 항에 있어서,
    카메라 움직임이 있는지의 여부를 판단하는 단계를 더 포함하고 있고,
    카메라 움직임 벡터는 상기 카메라 움직임이 있는지의 여부를 판단하는 단계에서 카메라의 움직임이 있다고 판단될 때만 효과적으로 이루어지는 화상 처리 방법.
  68. 제 67 항에 있어서,
    상기 카메라 움직임이 있는지의 여부를 판단하는 단계에서, 카메라 움직임이 에지 부분들에 배치된 픽셀들이 분류되는 에지 클래스들에 포함된 픽셀들에 따라 검출되는 화상 처리 방법.
  69. 제 61 항에 있어서,
    상기 검출 영역은 포커스 프레임 바로 전의 프레임의 화상 신호에 대응하는 영역보다 큰 화상 처리 방법.
  70. 복수의 연속 프레임들의 화상 신호를 처리하기 위한 컴퓨터 제어가능한 프로그램을 기억하는 기록 매체에 있어서,
    상기 프로그램은,
    화상 신호를 기억하는 단계와,
    상기 화상 신호 기억 단계에서 기억된 화상 신호에서의 포커스 프레임 바로 전의 프레임의 화상 신호를 포함한 검출 영역의 화상 신호의 중심을 검출하는 단계와,
    포커스 프레임의 화상 신호의 중심을 검출하는 단계와,
    검출 영역의 중심 및 포커스 프레임의 중심에 따라 카메라 움직임 벡터를 검출하는 단계, 및
    카메라 움직임 벡터에 기초하여 위치적 관계에 의해 기억 수단에 기억된 화상 신호에 포커스 프레임의 화상 신호를 중복 기록하는 단계를 포함하는 기록 매체.
KR20000053996A 1999-09-13 2000-09-14 이미지 처리 장치 KR100738241B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP25847499A JP4224748B2 (ja) 1999-09-13 1999-09-13 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、記録媒体、並びに画像処理装置
JP99-258474 1999-09-13

Publications (2)

Publication Number Publication Date
KR20010039885A true KR20010039885A (ko) 2001-05-15
KR100738241B1 KR100738241B1 (ko) 2007-07-12

Family

ID=17320734

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20000053996A KR100738241B1 (ko) 1999-09-13 2000-09-14 이미지 처리 장치

Country Status (5)

Country Link
US (7) US6766059B1 (ko)
EP (1) EP1085762A3 (ko)
JP (1) JP4224748B2 (ko)
KR (1) KR100738241B1 (ko)
CN (2) CN100440976C (ko)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4224748B2 (ja) * 1999-09-13 2009-02-18 ソニー株式会社 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、記録媒体、並びに画像処理装置
CN1578159B (zh) * 2000-05-09 2010-05-26 索尼公司 数据处理装置和方法
KR20010067992A (ko) * 2001-04-13 2001-07-13 장민근 배경화상 추출 및 삽입이 가능한 동화상 제공 이동통신단말기 및 이를 이용한 배경화상 분리 방법
JP4650655B2 (ja) * 2001-06-27 2011-03-16 ソニー株式会社 通信装置および方法、通信システム、記録媒体、並びにプログラム
JP4650654B2 (ja) * 2001-06-27 2011-03-16 ソニー株式会社 通信装置および方法、通信システム、記録媒体、並びにプログラム
WO2003065733A1 (en) 2002-02-01 2003-08-07 Matsushita Electric Industrial Co., Ltd. Moving image coding method and moving image decoding method
US6941011B2 (en) * 2002-06-27 2005-09-06 Hewlett-Packard Development Company, Lp. Method and system for image processing including mixed resolution, multi-channel color compression, transmission and decompression
FR2843252A1 (fr) * 2002-07-30 2004-02-06 Thomson Licensing Sa Procede de compression de donnees numeriques d'une sequence video comportant des plans alternes
JP3702260B2 (ja) * 2002-09-19 2005-10-05 株式会社東芝 目標角速度計測装置および目標角速度計測方法
US7636481B2 (en) * 2002-10-09 2009-12-22 Sony Corporation Image processing apparatus, method, storage medium, and program for compressing an input image using a motion vector that is detected based on stored position information of pixels
US7535478B2 (en) * 2003-12-24 2009-05-19 Intel Corporation Method and apparatus to communicate graphics overlay information to display modules
US7720303B2 (en) * 2004-04-28 2010-05-18 Hewlett-Packard Development Company, L.P. Polynomial approximation based image filter methods, systems, and machine-readable media
KR100643230B1 (ko) * 2004-08-30 2006-11-10 삼성전자주식회사 디스플레이장치의 제어방법
US7688999B2 (en) * 2004-12-08 2010-03-30 Electronics And Telecommunications Research Institute Target detecting system and method
JP4650123B2 (ja) * 2005-06-27 2011-03-16 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
US20070047834A1 (en) * 2005-08-31 2007-03-01 International Business Machines Corporation Method and apparatus for visual background subtraction with one or more preprocessing modules
GB2443581B (en) * 2005-11-07 2010-06-09 Sony Corp Recording apparatus, method, and program
JP4529874B2 (ja) 2005-11-07 2010-08-25 ソニー株式会社 記録再生装置および記録再生方法、記録装置および記録方法、再生装置および再生方法、並びにプログラム
KR100761846B1 (ko) * 2006-05-18 2007-09-28 삼성전자주식회사 연속되는 영상에 모션이 있는가를 검출하는 모션 검출 장치및 모션 검출 방법
JP4963306B2 (ja) * 2008-09-25 2012-06-27 楽天株式会社 前景領域抽出プログラム、前景領域抽出装置、及び前景領域抽出方法
KR101634355B1 (ko) * 2009-09-18 2016-06-28 삼성전자주식회사 동작 검출 장치 및 방법
US8892853B2 (en) * 2010-06-10 2014-11-18 Mobileye Technologies Limited Hardware to support looping code in an image processing system
JP5628083B2 (ja) * 2011-04-13 2014-11-19 株式会社日立製作所 計算機システム、及び組立アニメーション生成方法
CN102163361B (zh) * 2011-05-16 2012-10-17 公安部沈阳消防研究所 一种基于前景累积图像的图像型火灾探测方法
SG10201505808YA (en) * 2011-06-30 2015-09-29 Sony Corp Image processing device and image processing method
CN104573132B (zh) * 2015-02-13 2017-10-31 广东欧珀移动通信有限公司 歌曲查找方法及装置
KR102579994B1 (ko) * 2016-10-24 2023-09-18 삼성에스디에스 주식회사 다중 배경 모델을 이용한 전경 생성 방법 및 그 장치
KR20190004010A (ko) * 2017-07-03 2019-01-11 삼성에스디에스 주식회사 전경 추출 방법 및 장치
US10977810B2 (en) * 2018-12-06 2021-04-13 8th Wall Inc. Camera motion estimation
TWI733188B (zh) * 2019-09-11 2021-07-11 瑞昱半導體股份有限公司 用於獨立物件之運動估計的裝置以及方法
CN113516158B (zh) * 2021-04-15 2024-04-16 西安理工大学 基于Faster R-CNN的图模型构建方法
US20230055013A1 (en) * 2021-08-23 2023-02-23 Apple Inc. Accessory Detection and Determination for Avatar Enrollment

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1992010908A2 (en) * 1990-12-14 1992-06-25 Battelle Memorial Institute High-speed video instrumentation system
JPH0730888A (ja) * 1993-06-24 1995-01-31 Canon Inc 動画像送信装置及び動画像受信装置
KR100292138B1 (ko) 1993-07-12 2002-06-20 이데이 노부유끼 디지탈비디오신호용송신기및수신기
JP3263749B2 (ja) * 1993-07-27 2002-03-11 ソニー株式会社 デジタル画像信号の記録装置
NO933205D0 (no) * 1993-09-08 1993-09-08 Harald Martens System for representasjon av data
JPH0795598A (ja) * 1993-09-25 1995-04-07 Sony Corp 目標追尾装置
US5649032A (en) 1994-11-14 1997-07-15 David Sarnoff Research Center, Inc. System for automatically aligning images to form a mosaic image
KR100235344B1 (ko) * 1994-12-29 1999-12-15 전주범 영역 분할 부호화 방식의 전경/배경 화상 선택 장치
US5546518A (en) * 1995-01-06 1996-08-13 Microsoft Corporation System and method for composing a display frame of multiple layered graphic sprites
JP3852120B2 (ja) 1995-07-21 2006-11-29 ソニー株式会社 画像信号処理装置および方法
WO1997016030A1 (en) * 1995-10-25 1997-05-01 Philips Electronics N.V. Segmented picture coding method and system, and corresponding decoding method and system
US5844612A (en) * 1995-11-09 1998-12-01 Utah State University Foundation Motion vector quantizing selection system
KR100197602B1 (ko) * 1996-04-29 1999-06-15 윤종용 회전 움직임 추정 방법 및 이를 이용한 영상부호화/복호화장치
KR100209411B1 (ko) * 1996-05-10 1999-07-15 전주범 윤곽선 정보를 이용한 영상신호 처리 방법
US6301382B1 (en) * 1996-06-07 2001-10-09 Microsoft Corporation Extracting a matte of a foreground object from multiple backgrounds by triangulation
US6075905A (en) * 1996-07-17 2000-06-13 Sarnoff Corporation Method and apparatus for mosaic image construction
GB9623573D0 (en) * 1996-11-13 1997-01-08 Philips Electronics Nv Image segmentation
EP1042736B1 (en) * 1996-12-30 2003-09-24 Sharp Kabushiki Kaisha Sprite-based video coding system
KR100239307B1 (ko) * 1997-01-10 2000-01-15 전주범 윤곽선 영상 부호화기
US5790196A (en) * 1997-02-14 1998-08-04 Mitsubishi Electric Information Technology Center America, Inc. Adaptive video coding method
KR100239308B1 (ko) * 1997-02-18 2000-01-15 전주범 적응적 윤곽선 부호화 방법 및 그 장치
US5991447A (en) * 1997-03-07 1999-11-23 General Instrument Corporation Prediction and coding of bi-directionally predicted video object planes for interlaced digital video
US6404813B1 (en) * 1997-03-27 2002-06-11 At&T Corp. Bidirectionally predicted pictures or video object planes for efficient and flexible video coding
SG65064A1 (en) * 1997-04-09 1999-05-25 Matsushita Electric Ind Co Ltd Image predictive decoding method image predictive decoding apparatus image predictive coding method image predictive coding apparatus and data storage media
EP0878965A3 (en) * 1997-05-14 2000-01-12 Hitachi Denshi Kabushiki Kaisha Method for tracking entering object and apparatus for tracking and monitoring entering object
US6078701A (en) * 1997-08-01 2000-06-20 Sarnoff Corporation Method and apparatus for performing local to global multiframe alignment to construct mosaic images
JP4214425B2 (ja) 1997-09-30 2009-01-28 ソニー株式会社 画像抜き出し装置および画像抜き出し方法、画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、画像記録装置および画像記録方法、画像再生装置および画像再生方法、並びに記録媒体
JP3114668B2 (ja) * 1997-10-03 2000-12-04 日本電気株式会社 物体検出・背景除去方法、装置およびプログラムを記録した記録媒体
US6335985B1 (en) * 1998-01-07 2002-01-01 Kabushiki Kaisha Toshiba Object extraction apparatus
EP1086592B1 (en) * 1998-06-05 2003-05-07 Innomedia Pte Ltd. Method and apparatus for background extraction for the reduction of number of coded blocks in video coding
EP0977437A3 (en) * 1998-07-28 2007-11-21 Hitachi Denshi Kabushiki Kaisha Method of distinguishing a moving object and apparatus of tracking and monitoring a moving object
JP4224748B2 (ja) * 1999-09-13 2009-02-18 ソニー株式会社 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、記録媒体、並びに画像処理装置
US6668070B2 (en) * 2000-03-29 2003-12-23 Sony Corporation Image processing device, image processing method, and storage medium
US6404814B1 (en) * 2000-04-28 2002-06-11 Hewlett-Packard Company Transcoding method and transcoder for transcoding a predictively-coded object-based picture signal to a predictively-coded block-based picture signal
US8272020B2 (en) * 2002-08-17 2012-09-18 Disney Enterprises, Inc. System for the delivery and dynamic presentation of large media assets over bandwidth constrained networks

Also Published As

Publication number Publication date
US20070041650A1 (en) 2007-02-22
US7245774B2 (en) 2007-07-17
US20040218823A1 (en) 2004-11-04
JP4224748B2 (ja) 2009-02-18
JP2001086507A (ja) 2001-03-30
CN1293517A (zh) 2001-05-02
EP1085762A2 (en) 2001-03-21
US6766059B1 (en) 2004-07-20
US7133562B2 (en) 2006-11-07
CN1208970C (zh) 2005-06-29
US20070041651A1 (en) 2007-02-22
US20040218821A1 (en) 2004-11-04
US20070041649A1 (en) 2007-02-22
US7003163B2 (en) 2006-02-21
US7315654B2 (en) 2008-01-01
CN1678076A (zh) 2005-10-05
US7315653B2 (en) 2008-01-01
CN100440976C (zh) 2008-12-03
KR100738241B1 (ko) 2007-07-12
US20070041641A1 (en) 2007-02-22
US7305136B2 (en) 2007-12-04
EP1085762A3 (en) 2008-07-30

Similar Documents

Publication Publication Date Title
KR100738241B1 (ko) 이미지 처리 장치
KR100583902B1 (ko) 이미지세그멘테이션
KR100811572B1 (ko) 송신 장치 및 송신 방법, 수신 장치 및 수신 방법, 송수신 장치 및 송수신 방법, 및 기록 매체
US6195389B1 (en) Motion estimation system and methods
US5710829A (en) System and method for focused-based image segmentation for video signals
CA2278423A1 (en) A method and apparatus for segmenting images prior to coding
JPH0795592A (ja) 画像データを符号化して夫々がコヒーレント運動領域を表わす複数の層とそれら層に付随する運動パラメータとにするシステム
US7295711B1 (en) Method and apparatus for merging related image segments
US4994911A (en) Image information signal transmitting system with selective transmission of input data or extracted data
JP3175914B2 (ja) 画像符号化方法および画像符号化装置
McLean Structured video coding
JPH10155139A (ja) 画像処理装置および画像処理方法
EP0741496B1 (en) System and method for focused-based image segmentation for video signals
JP3176046B2 (ja) 動画像復号化装置
JP4240674B2 (ja) 動き検出装置および動き検出方法、並びに記録媒体
WO2004097737A1 (en) Segmentation refinement
JPH08242454A (ja) グローバル動きパラメタ検出方法
JP4186093B2 (ja) 画像処理装置および画像処理方法、並びに記録媒体
EP0993200A2 (en) Apparatus and method for image data coding with additional data embedding
JP2000324482A (ja) データ処理装置およびデータ処理方法、並びに画像処理装置および画像処理方法
JP2010178216A (ja) ベクトル補正装置、ベクトル補正方法、画像補間装置、テレビジョン受像装置、映像再生装置、制御プログラム、および、コンピュータ読み取り可能な記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Publication of correction
FPAY Annual fee payment

Payment date: 20120625

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee