KR20020075274A - 동화상 부호화 장치, 동화상 부호화 방법, 동화상 부호화프로그램 및 동화상 부호화 프로그램 저장 매체 - Google Patents

동화상 부호화 장치, 동화상 부호화 방법, 동화상 부호화프로그램 및 동화상 부호화 프로그램 저장 매체 Download PDF

Info

Publication number
KR20020075274A
KR20020075274A KR1020020015268A KR20020015268A KR20020075274A KR 20020075274 A KR20020075274 A KR 20020075274A KR 1020020015268 A KR1020020015268 A KR 1020020015268A KR 20020015268 A KR20020015268 A KR 20020015268A KR 20020075274 A KR20020075274 A KR 20020075274A
Authority
KR
South Korea
Prior art keywords
image data
frame
tracking
motion vector
moving picture
Prior art date
Application number
KR1020020015268A
Other languages
English (en)
Inventor
사까구찌다쯔미
Original Assignee
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시끼 가이샤 filed Critical 소니 가부시끼 가이샤
Publication of KR20020075274A publication Critical patent/KR20020075274A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/20—Contour coding, e.g. using detection of edges
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

동화상 부호화 장치에 있어서, 이동 벡터 검출 회로에 의해 동화상 데이터의 프레임 화상 사이의 각 이동 벡터를 검출하여, 동화상 데이터를 각각 다른 임의 형상의 소정 화상 단위로, 이동 벡터 검출 수단이 검출한 이동 벡터를 공유적으로 사용하여 움직임 보상 프레임 간 예측에 의해서 압축 부호화한다. 이는 대단히 처리 부하가 큰 이동 벡터 검출 회로를 단일한 장치로 형성하기 때문에, 하나의 동화상 데이터로부터 얻은 복수의 화상에 대한 압축 부호화 처리 전체의 처리 부하를 대폭 저감시킬 수 있고, 이러한 구조는 하나의 동화상 데이터로부터 얻은 복수의 화상에 대한 압축 부호화 처리를 고속화할 수 있다.

Description

동화상 부호화 장치, 동화상 부호화 방법, 동화상 부호화 프로그램 및 동화상 부호화 프로그램 저장 매체{MOVING PICTURE ENCODER, MOVING PICTURE ENCODING METHOD, MOVING PICTURE ENCODING PROGRAM USED THEREWITH, AND STORAGE MEDIUM STORING THE SAME}
본 발명은 동화상 부호화 장치, 동화상 부호화 방법, 동화상 부호화 프로그램 저장 매체 및 동화상 부호화 프로그램에 관한 것으로, 예를 들면 인터넷을 이용하여 동화상 데이터를 분배(distribution)할 때에 해당 동화상 데이터를 압축 부호화하는 동화상 부호화 장치에 적용하는 것이 바람직한 것이다.
최근, 인터넷을 이용한 동화상 데이터의 분배로서, 비디오 카메라 등으로 피사체를 촬영하면서 얻어지는 동화상 데이터를 인터넷을 통해 사용자의 개인용 컴퓨터 등에 송신함으로써 해당 동화상 데이터에 기초하는 동화상을 실시간으로 볼 수 있도록 하는, 소위 스트리밍(streaming)이 보급하기 시작하고 있다.
실제 스트리밍에 의한 동화상 데이터의 분배에 있어서는, 인터넷을 통해 송신할 수 있는 데이터의 전송률이 비교적 낮다. 따라서, 송신측에 예를 들면 ISO/IEC (International 0rganization for Standardization/International Electrotechnical Commission) 등의 기관에 의해서 규격화된 MPEG-2라고 불리는 압축 부호화 방식을 적용하는 동화상 부호화 장치를 설치하여, 해당 동화상 부호화 장치에 의해 동화상 데이터를 화소의 삭감 등에 의해서 프레임 화상 단위로 순차 저감한 후에 비교적 높은 압축률로 압축 부호화함으로써 데이터량을 대폭 저감시켜 분배하고 있다.
그런데, 이러한 스트리밍에 의한 동화상 데이터의 분배에 있어서는, 송신측의 동화상 부호화 장치에 의해 동화상 데이터를 비교적 높은 압축률로 압축 부호화하기 때문에, 사용자에게 제공하는 동화상의 해상도(화상의 거칠기 등을 나타내는 정도) 및 화질(노이즈 등의 유무를 나타내는 정도)이 악화하고 있어, 분배하는 동화상에 대하여 고해상도 및 고화질화의 요망이 높아지고 있다.
이 때문에, 스트리밍에 의한 동화상 데이터의 분배에 있어서는 MPEG-4라고 불리는 압축 부호화 방식을 동화상 부호화 장치에 적용하는 것이 제안되었다.
이 MPEG-4 방식에서는, MPEG-2 방식과 마찬가지로 동화상 데이터를 프레임 화상 단위로 움직임 보상 프레임 간 예측에 의해 압축하고 부호화하는 처리(이하에서는 "심플 프로파일 처리(simple profile processing)"라고 한다)가 실행될 수 있다. 그리고, 연속하는 동화상 데이터로 구성된 프레임 화상 단위의 화상 데이터(이하, 이것을 "프레임 화상 데이터(frame picture data)"라고 부른다)로부터 임의형상의 화상(이하, 이것을 "추출 화상(extracted picture)"이라고 부른다)을 추적하여 추출하며, 순차 움직임 보상 프레임 간 예측에 의해 상기 추출한 추출 화상의 데이터(이하, 이것을 "추출 화상 데이터(extracted picture data)"라고 부른다)를 압축 및 부호화하는 처리(이하, 이것을 "코어 프로파일 처리(core profile processing)"라고 부른다)도 실행된다.
따라서, 스트리밍에 의한 동화상 데이터의 분배에 있어서는, 비디오 카메라 등으로 피사체를 촬영함으로써 얻어진 동화상 데이터를 MPEG-4 방식을 적용한 두개의 동화상 부호화 장치에 입력하는데, 한쪽의 동화상 부호화 장치에 의해 심플 프로파일 처리를 실행하도록 하여 동화상 데이터를 높은 압축률로 압축 부호화 되도록 하고, 다른 쪽의 동화상 부호화 장치에 의해 코어 프로파일 처리를 실행하도록 하여, 동화상 데이터의 프레임 화상 데이터로부터 순차 추적하면서 추출한 추출 화상 데이터의 양이 프레임 화상 데이터의 양보다 적기 때문에, 동화상 데이터를 비교적 낮은 압축률로 압축 부호화한다.
그리고, 이러한 동화상 데이터의 분배에 있어서는, 이들 동화상 부호화 장치에 의해 압축 부호화한 프레임 화상 데이터 및 추출 화상 데이터를 사용자의 개인용 컴퓨터에 송신함으로써 해당 개인용 컴퓨터에 의해 프레임 화상 데이터에 기초하는 프레임 화상에 추출 화상 데이터에 기초하는 추출 화상을 중첩하도록 표시하여 사용자에게 임의 형상의 추출 화상만을 고해상도 및 고화질의 동화상을 보이게 하는 것이 가능하다.
그런데, 이러한 스트리밍에 의한 동화상 데이터의 분배에 있어서는, 하나의동화상 부호화 장치에 의해 심플 프로파일 처리 및 코어 프로파일 처리를 실행하면, 송신측의 장치 구성을 간략화 할 수 있다.
그런데, 이러한 동화상 데이터의 분배에 따르면, 하나의 동화상 부호화 장치에 심플 프로파일 처리에 의해 동화상 데이터를 순차 프레임 화상 데이터 단위로 압축 부호화 처리하기 위한 이동 벡터 검출 회로나 압축 부호화 회로를 설치해야 하고, 이것과는 별도로 코어 프로파일 처리에 의해 동화상 데이터의 연속하는 프레임 화상 데이터로부터 순차 추출 화상 데이터를 추적하면서 추출하여 압축 부호화 처리하기 위한 이동 벡터 검출 회로 및 압축 부호화 회로를 설치할 필요가 있다. 이와 같이, 두 개의 이동 벡터 검출 회로에서의 처리 부하가 매우 크기 때문에 압축 부호화 처리 전체의 처리 부하가 대폭 증대하고, 그 결과, 압축 부호화 처리에 많은 처리 시간이 필요해지는 문제가 있다.
도 1은 동화상 데이터 분배 시스템에 있어서의 동화상 데이터의 분배 형태를 나타내는 블록도.
도 2a, 2b 및 2c는 도 1에 나타낸 동화상 데이터 분배 시스템에 있어서의 동화상 데이터의 처리의 설명도.
도 3은 본 발명의 일 실시예에 의한 동화상 부호화 장치의 구성의 일 실시 형태를 나타내는 블록도.
도 4는 추적 영역의 지정에 대한 설명도.
도 5는 도 4에 나타낸 추적 영역으로부터 임의 형상의 추출 화상을 추출하기 위한 프레임에 대한 설명도.
도 6은 추출 화상에 대한 추출의 설명도.
도 7은 추출 화상의 형상을 지정하는 마스크 화상의 구성에 대한 설명도.
도 8은 동화상 부호화 장치에서의 두 가지 루틴의 압축 부호화 처리 수순을 나타내는 흐름도.
도 9는 추적 처리 수순을 나타내는 흐름도.
도 10은 다른 실시 형태에 의한 추적 영역의 지정에 대한 설명도.
도 11은 다른 실시 형태에 의한 추출 화상의 형상의 지정에 대한 설명도.
<도면의 주요부분에 대한 부호의 설명>
20 : 동화상 부호화 장치
21 : 이동 벡터 검출 회로
22 : 움직임 추적 회로
23 : 장면 변화 검출 회로
24 : 프레임 부호화부
25 : 프레임 화상
26, 41 : 추적 영역
28 : 형상 추출 회로
30, 42 ： 프레임
31 ： 추출 화상
32 ： 마스크 화상
35 ： 임의 형상 부호화부
Dl ： 동화상 데이터
D2 ： 이동 벡터 데이터
D3 ： 장면 변화 데이터
D6, D7 ： 압축 부호화 프레임 화상 데이터
D10 ： 추적 지정 데이터
D11 ： 추적 정지 데이터
D12 ： 추적 데이터
D13 ： 형상 지정 데이터
D14 ： 형상 추출 데이터
D15 ： 압축 부호화 추출 화상 데이터
RT1, RT2 ： 압축 부호화 처리 수순의 루틴
RT3 ：추적 처리 수순
본 발명은 이상의 점을 고려하여 이루어진 것으로, 동화상 데이터로부터 얻어진 복수의 화상에 대한 압축 부호화 처리를 고속화할 수 있는 동화상 부호화 장치, 동화상 부호화 방법, 동화상 부호화 프로그램 저장 매체 및 동화상 부호화 프로그램을 제안하려고 하는 것이다.
이러한 과제를 해결하기 위해서 본 발명에 있어서는, 이동 벡터 검출 수단에 의해 동화상 데이터의 프레임 화상 사이의 각 이동 벡터를 검출하고, 복수의 압축 부호화 수단에 의해 동화상 데이터에 대하여 각각 다른 임의 형상의 소정 화상 단위로, 검출된 이동 벡터를 공유적으로 사용하여 움직임 보상 프레임 간예측(motion-compression interference prediction)에 의해서 압축 부호화를 행하도록 하였다.
바람직하게는, 상기 동화상 부호화 장치는, 상기 동화상 데이터를 연속하여 갖는 상기 각 프레임 화상 내에서, 상기 이동 벡터 검출 수단에 의해 검출한 상기 이동 벡터를 공유적으로 사용하여 소정의 추적 영역을 순차 추적하는 추적 수단과, 상기 각 프레임 화상 내에서 추적된 상기 소정 영역으로부터 임의 형상의 화상을 추출하는 추출 수단을 더 포함하는 것이 좋다. 상기 복수의 압축 부호화 수단 중 임의의 압축 부호화 수단은, 상기 동화상 데이터에 대하여 상기 임의 형상의 소정 화상 단위로서 상기 프레임 화상 단위로 압축 부호화하고, 상기 임의의 압축 부호화 수단과는 다른 상기 복수의 압축 부호화 수단 중 하나는, 상기 동화상 데이터에 대하여 각각 다른 임의 형상의 소정 화상 단위로서 상기 임의 형상의 화상 단위로 압축 부호화를 행한다.
동화상 부호화 장치는 상기 동화상 데이터의 프레임 화상 사이의 상관성(correlation)을 검출하여, 검출한 상관성에 기초하여 동화상의 장면 변화의 유무를 결정하는 장면 변화 검출 수단을 더 포함하여도 좋다. 여기서, 상기 추적 수단은, 상기 장면 변화 검출 수단이 상기 동화상의 장면이 변화되었다고 결정한 시점의 상기 프레임 화상 이후의 프레임 화상에 대하여 상기 추적 영역의 추적을 정지한다.
본 발명의 또 다른 실시 형태에 의하면, 동화상 부호화 방법이 제공된다. 즉, 동화상 데이터의 프레임 화상 사이의 각 이동 벡터를 검출하는 이동 벡터 검출단계와, 상기 동화상 데이터에 대하여 각각 다른 임의 형상의 소정 화상 단위로, 상기 이동 벡터를 공유적으로 사용하는 움직임 보상 프레임 간 예측에 의해 압축 부호화하는 압축 부호화 단계를 포함한다.
바람직하게는, 상기 동화상 부호화 방법은, 상기 동화상 데이터를 연속하여 갖는 상기 각 프레임 화상 내에서, 검출된 상기 이동 벡터를 공유적으로 사용하여 소정의 추적 영역을 순차 추적하는 추적 단계와, 상기 각 프레임 화상 내에서 추적된 상기 소정 추적 영역으로부터 임의 형상의 화상을 추출하는 추출 단계를 더 포함하는 것이 좋다. 상기 압축 부호화 단계는, 상기 동화상 데이터에 대하여 상기 임의 형상의 소정 화상 단위로서 상기 프레임 화상 단위로 압축 부호화를 행하며, 상기 동화상 데이터에 대하여 상기 임의 형상의 소정 화상 단위로서 상기 임의 형상의 화상 단위로 압축 부호화를 행한다.
또한, 동화상 부호화 방법은, 상기 동화상 데이터의 프레임 화상 사이의 상관성을 검출하여, 상기 검출한 상관성에 기초하여 동화상의 장면 변화의 유무를 결정하는 장면 변화 검출 단계를 더 포함하여도 좋다. 상기 추적 단계에서는, 상기 동화상의 장면이 변화되었다고 결정한 시점의 상기 프레임 화상 이후의 프레임 화상에 대하여 상기 추적 영역의 추적을 정지한다.
본 발명의 또 다른 실시 형태에 의하면, 동화상 데이터의 프레임 화상 사이의 각 이동 벡터를 검출하는 이동 벡터 검출 단계와, 상기 동화상 데이터에 대하여 각각 다른 임의 형상의 소정 화상 단위로, 상기 이동 벡터를 공유적으로 사용하여 움직임 보상 프레임 간 예측에 의해 압축 부호화를 행하는 압축 부호화 단계를 포함하는 동화상 부호화 장치에 의해 실행되는 동화상 부호화 프로그램을 저장하는 저장 매체가 제공된다.
본 발명의 또 다른 실시 형태에 의하면, 동화상 부호화 장치에 대하여 동화상 데이터의 프레임 화상 사이의 각 이동 벡터를 검출하는 이동 벡터 검출 단계와, 상기 동화상 데이터에 대하여 각각 다른 임의 형상의 소정 화상 단위로, 상기 이동 벡터를 공유적으로 사용하여 움직임 보상 프레임 간 예측에 의해 압축 부호화하는 압축 부호화 단계를 포함하는 동화상 부호화 장치에 의해 실행되는 동화상 부호화 프로그램이 제공된다.
따라서, 본 발명에 의하면, 동화상 데이터로부터 얻어진 복수의 화상에 대한 압축 부호화 처리 전체의 처리 부하를 대폭 저감시킬 수 있다. 이로써, 동화상 데이터로부터 얻은 복수의 화상에 대한 압축 부호화 처리를 고속화할 수 있다.
[실시예]
이하, 첨부 도면과 관련하여, 본 발명의 실시 형태를 상술한다.
1. 동화상 데이터 분배 시스템에 있어서의 동화상 데이터의 분배 형태
도 1에 도시한 바와 같이, 동화상 데이터 분배 시스템(1)에 있어서는, 송신측에서 비디오 카메라(2)를 이용하여 피사체를 촬영함으로써 얻어진 동화상 데이터를 MPEG-4 방식을 적용하는 동화상 부호화 장치(3)에 입력한다.
동화상 부호화 장치(3)는, 도 2a에 도시한 바와 같이 심플 프로파일 처리에 의해 동화상 데이터를 순차 프레임 화상(10) 단위로 비교적 높은 압축률로 압축 부호화하여, 얻어진 압축 부호화 프레임 화상 데이터를 네트워크 송신 장치(4)에 송출함과 동시에, 도 2b에 도시한 바와 같이 코어 프로파일 처리에 의해 동화상 데이터의 프레임 화상(10) 단위의 화상 데이터(이하, 이것을 "프레임 화상 데이터"라고 부른다)로부터 순차 임의 형상의 화상(이하, 이것을 "추출 화상"이라고 부른다)(11)의 데이터를 추적하면서 추출하고 비교적 낮은 압축률로 압축 부호화하여, 얻어진 압축 부호화 추출 화상 데이터를 네트워크 송신 장치(4)에 송출한다.
네트워크 송신 장치(4)는, 동화상 부호화 장치(3)로부터 순차 주어지는 압축 부호화 프레임 화상 데이터 및 압축 부호화 추출 화상 데이터를 시분할 다중화한 후, 얻어진 데이터 스트림을 인터넷(5)을 통해 수신측의 개인용 컴퓨터(6)에 송신한다.
개인용 컴퓨터(6)는, 네트워크 송신 장치(4)로부터 인터넷(5)을 통해 송신된 데이터 스트림을 수신하면, 상기 수신한 데이터 스트림을 압축 부호화 프레임 화상 데이터 및 압축 부호화 추출 화상 데이터로 분리한 후, 상기 분리한 압축 부호화 프레임 화상 데이터 및 압축 부호화 추출 화상 데이터를 순차 복호화하여 디스플레이 수단에 송출함으로써 도 2c에 도시한 바와 같이 프레임 화상 데이터에 기초하는 저해상도 및 저화질의 프레임 화상(12)에 추출 화상 데이터에 기초하는 고해상도 및 고화질의 추출 화상(11)을 중첩하여 표시한다.
따라서, 동화상 데이터 분배 시스템(1)을, 상술한 바와 같이 동화상 데이터를 분배함으로써 사용자에게 임의 형상의 추출 화상(11)만을 고해상도 및 고화질화한 동화상(14)을 보일 수 있도록 이루어져 있다.
2. 실시 형태
2-1. 동화상 부호화 장치의 구성
도 3은 전체로서 본 발명에 의한 동화상 부호화 장치(20)를 나타내고, 피사체(도시하지 않음)를 촬영하고 있는 외부의 비디오 카메라(도시하지 않음)로부터 주어지는 동화상 데이터(D1)를 프레임 화상 단위로, 심플 프로파일 처리를 실행하는 경로(이하, 이것을 "심플 프로파일 처리 경로(simple-profile-processing)"라고 부른다)(SP)의 이동 벡터 검출 회로(21)와, 상기 심플 프로파일 처리와 동시·병렬적으로 코어 프로파일 처리를 실행하는 경로(이하, 이것을 "코아 프로파일 처리 경로(core-profile-processing)"라고 부른다)(CP)의 움직임 추적 회로(22)에 입력된다.
이동 벡터 검출 회로(21)는, 외부로부터 입력된 동화상 데이터(D1)을 구성하는 프레임 화상 데이터에, 순차 프레임 내 부호화에 의해 압축 부호화하기 위한 I(Intra) 픽처라고 불리는 압축 부호화 형식과, 전(前)방향 움직임 보상 프레임 간 예측에 의해 압축 부호화하기 위한 P(Predicted) 픽처라고 불리는 압축 부호화 형식 중의 어느 하나의 압축 부호화 형식을 소정의 순서로 할당한다.
여기서, 이동 벡터 검출 회로(21)는, 프레임 화상 데이터에 I 픽처를 할당할 때에는, 상기 I 픽처를 할당한 프레임 화상 데이터(이하, 이것을 "I 프레임 화상 데이터"라고 부른다)에 기초하는 프레임 화상을 복수의 매크로 블록으로 분할한다.
그리고, 이동 벡터 검출 회로(21)는, I 프레임 화상 데이터 및 이것에 대하여 시간적으로 1 프레임 분 앞선 프레임 화상 데이터(P 프레임 화상 데이터) 사이에서 블록 매칭법에 의해 매크로 블록마다의 이동 벡터를 검출하여, 상기 검출한매크로 블록마다의 이동 벡터를 I 프레임 화상 데이터의 식별 정보 및 상기 I 프레임 화상 데이터에 I 픽처를 할당한 것을 나타내는 할당 픽처 정보와 함께 이동 벡터 데이터(D2)로서 움직임 추적 회로(22)에 송출한다. 또한, 이동 벡터 검출 회로(21)는, 이들 매크로 블록마다의 이동 벡터를 각 매크로블록에 대해 매크로 블록 단위로 분할하여 생성된 I 프레임 화상 데이터와 함께 장면 변화 검출 회로(23)에 송출한다.
또한, 이동 벡터 검출 회로(21)는, 프레임 화상 데이터에 P 픽처를 할당하였을 때에는, 상기 P 픽처를 할당한 프레임 화상 데이터(이하, 이것을 "P 프레임 화상 데이터"라고 부른다)에 기초하는 프레임 화상을 복수의 매크로 블록으로 분할한다.
그리고, 이동 벡터 검출 회로(21)는, P 프레임 화상 데이터 및 이것에 대하여 시간적으로 1 프레임 분 앞선 프레임 화상 데이터(I 프레임 화상 데이터 또는 P 프레임 화상 데이터) 사이에서 블록 매칭법에 의해 매크로 블록마다의 이동 벡터를 검출하여, 상기 검출한 매크로 블록마다의 이동 벡터를 P 프레임 화상 데이터의 식별 정보 및 상기 P 프레임 화상 데이터에 P 픽처를 할당한 것을 나타내는 할당 픽처 정보와 함께 이동 벡터 데이터(D2)로서 움직임 추적 회로(22)에 송출함과 동시에, 이들 매크로 블록마다의 이동 벡터를 매크로 블록 단위로 분할한 P 프레임 화상 데이터와 함께 장면 변화 검출 회로(23)에 송출한다.
장면 변화 검출 회로(23)는, 이동 벡터 검출 회로(21)로부터 매크로 블록마다의 이동 벡터와 I 프레임 화상 데이터가 매크로 블록 단위로 순차 제공되면, 이들 각 매크로 블록의 이동 벡터에 기초하여 I 프레임 화상 데이터가 동화상에서 장면이 변화하는 시점에서의 프레임 화상 데이터인지의 여부를 검출한다.
여기서, 동화상의 장면이 변하면, I 프레임 화상 데이터에 기초하는 프레임 화상 내의 각 매크로 블록의 이동 벡터가 대단히 커지거나(장면 변화로 동화상 중의 프레임 화상의 그림이 전혀 다른 것이 되면, 각 매크로 블록의 이동 벡터를 검출할 수 없는 경우도 있다), 매우 다른 값을 갖게 된다.
따라서, 장면 변화 검출 회로(23)는, 예를 들면 I 프레임 화상 데이터의 각 매크로 블록의 이동 벡터와, 해당 I 프레임 화상 데이터보다도 시간적으로 1 프레임 분 앞선 P 프레임 화상 데이터에 있어서의 각 매크로 블록의 이동 벡터에 기초하여 프레임 화상 사이의 상관성을 산출하여, 상기 산출된 상관성을 소정의 역치와 비교함으로써 그 상관성이 역치 미만일 때에는 장면이 변하고 있지 않은 것이라고 판단하여 해당 판단 결과를 나타내는 장면 연속 정보를 생성한다.
이것에 대하여, 장면 변화 검출 회로(23)는, I 프레임 화상 데이터에 대하여 산출한 상관성이 역치 이상일 때에는 장면이 변한 것이라고 판단하여, 그 판단 결과를 나타내는 장면 변화 정보를 생성한다.
그리고, 장면 변화 검출 회로(23)는, 이와 같이 하여 동화상의 장면 변화의 유무를 검출한 후, 생성한 장면 연속 정보 또는 장면 변화 정보를 I 프레임 화상 데이터의 식별 정보와 함께 장면 변화 데이터(D3)로서 움직임 추적 회로(22)에 송출함과 동시에, 상기 장면 연속 정보 및 장면 변화 정보를 매크로 블록 단위로 분할된 I 프레임 화상 데이터 및 각 매크로 블록의 이동 벡터와 함께 프레임 부호화부(24)에 송출한다.
또한, 장면 변화 검출 회로(23)는, 이동 벡터 검출 회로(21)로부터 매크로 블록마다의 이동 벡터와 함께 P 프레임 화상 데이터가 매크로 블록 단위로 주어졌을 때에도, 마찬가지로 P 프레임 화상 데이터와 이것보다도 시간적으로 1 프레임 분 앞선 프레임 화상 데이터 사이의 상관성에 기초하여 상기 P 프레임 화상 데이터가 동화상에서 장면이 변화하는 시점에서의 프레임 화상 데이터인지의 여부를 검출한다.
그리고, 장면 변화 검출 회로(23)는, 이와 같이 하여 동화상의 장면 변화의 유무를 검출한 후, 상기 검출 결과를 나타내는 장면 연속 정보 및 장면 변화 정보를 P 프레임 화상 데이터의 식별 정보와 함께 장면 변화 데이터(D3)로서 움직임 추적 회로(22)에 송출함과 동시에, 상기 장면 연속 정보 및 장면 변화 정보를 매크로 블록 단위로 분할된 P 프레임 화상 데이터 및 각 매크로 블록의 이동 벡터와 함께 프레임 부호화부(24)에 송출한다.
프레임 부호화부(24)는, 장면 변화 검출 회로(23)로부터 I 프레임 화상 데이터가 매크로 블록 단위로 주어지면, 이들 매크로 블록마다 화소를 삭감하여 블록 사이즈를 작게 함으로써 I 프레임 화상 데이터에 기초하는 프레임 화상의 화상 사이즈를 작게 하여, 상기 화상 사이즈를 작게 한 I 프레임 화상 데이터를 블록 사이즈를 작게 한 매크로 블록(이하, 이것을 "축소 매크로 블록"이라고 부른다) 단위로 프레임 내 부호화에 의해 비교적 높은 압축률로 압축 부호화하고, 장면 변화 검출 회로(23)는 얻어진 압축 부호화 프레임 화상 데이터(D6)를 외부의 네트워크 송신장치(도시하지 않음)에 송출한다.
또한, 프레임 부호화부(24)는, 장면 변화 검출 회로(23)로부터 매크로 블록 단위로 분할하고 있는 P 프레임 화상 데이터 및 각 매크로 블록의 이동 벡터와 함께 장면 연속 정보가 주어지면, 이들 매크로 블록마다 화소를 삭감하여 블록 사이즈를 작게 함으로써 P 프레임 화상 데이터에 기초하는 프레임 화상의 화상 사이즈를 작게 함과 동시에, 각 매크로 블록의 이동 벡터도 축소한 P 프레임 화상 데이터에 상응하여 축소한다.
그리고, 프레임 부호화부(24)는, 축소 P 프레임 화상 데이터를 축소 매크로 블록 단위로 축소한 이동 벡터(이하, 이것을 "축소 이동 벡터"라고 부른다)를 이용하여 전방향 움직임 보상 프레임 간 예측에 의해 비교적 높은 압축률로 압축 부호화하여, 얻어진 압축 부호화 프레임 화상 데이터(D7)를 외부의 네트워크 송신 장치에 송출한다.
이것에 대하여, 프레임 부호화부(24)는, 장면 변화 검출 회로(23)로부터 매크로 블록 단위로 분할하고 있는 P 프레임 화상 데이터 및 각 매크로 블록의 이동 벡터와 함께 장면 변화 정보가 주어지면, 그 P 프레임 화상 데이터에 할당하고 있는 압축 부호화 형식을 I 픽처로 변경하여 I 프레임 화상 데이터로 변화시킨다.
그리고, 프레임 부호화부(24)는, 이와 같이 P 프레임 화상 데이터를 I 프레임 화상 데이터로 변경하면, 상기 변경한 I 프레임 화상 데이터로부터 축소 I 프레임 화상 데이터를 생성함과 동시에, 그 축소 I 프레임 화상 데이터를 축소 매크로 블록 단위로 비교적 높은 압축률로 압축 부호화하여, 얻어진 압축 부호화 프레임화상 데이터(D6)를 외부의 네트워크 송신 장치에 송출한다.
이와 같이 하여 프레임 부호화부(24)는, 동화상 데이터(D1)를 순차 프레임 화상 단위로 압축 부호화하여, 동화상의 장면이 변하여 각 매크로 블록의 이동 벡터가 대단히 커지거나, 또는 이동 벡터의 변동이 커져 전방향 움직임 보상 프레임 간 예측에 의해 압축 부호화하여야 할 P 프레임 화상 데이터를 적절하게 압축 부호화하기 어렵더라도, 그 시점의 P 프레임 화상 데이터를 I 픽처의 프레임 화상 데이터로 변경함으로써 상기 장면의 변환 시점의 P 프레임 화상에 대하여도 적절하게 압축 부호화할 수 있도록 이루어져 있다.
프레임 부호화부(24)는, 장면 변화 검출 회로(23)로부터 주어지는 I 프레임 화상 데이터 및 P 프레임 화상 데이터의 배열을 검출하고 있어, 예를 들면 I 프레임 화상 데이터 직전의 P 프레임 화상 데이터를 장면 변화 정보에 따라서 I 프레임 화상 데이터로 변경했을 때에는, P 프레임 화상 데이터를 뒤따르는 본래의 I 프레임 화상 데이터가 장면 연속 정보와 함께 장면 변화 검출 회로(23)로부터 주어지면, 상기 본래의 I 프레임 화상 데이터에 할당하고 있는 압축 부호화 형식을 P 픽처로 변경한 뒤에 상술한 바와 마찬가지로 전방향 움직임 보상 프레임 간 예측에 의해 P 프레임 화상 데이터에 압축 부호화한다.
이에 따라, 프레임 부호화부(24)는, 동화상의 장면의 변화에 따라서 P 프레임 화상 데이터를 I 프레임 화상 데이터로 변경했다면, 부호화하여야 할 프레임 화상 데이터로서 I 프레임 화상 데이터가 연속함으로써 동화상 데이터 전체에 비하여 부호화 처리 후의 데이터량이 증대하는 것을 방지할 수 있도록 이루어져 있다.
한편, 움직임 추적 회로(22)에는, 도 4에 도시한 바와 같이, 외부로부터 프레임 화상 데이터에 기초하는 프레임 화상(25) 내에서 추적하여야 할 인물 등을 포함하는 구(矩)형의 소정 영역(이하, 이것을 "추적 영역"이라고 부른다)(26)을 지정하는 추적 지정 데이터(D10)와, 프레임 화상(25)에 있어서의 추적 처리의 정지를 지정하는 추적 정지 데이터(D11)를 입력할 수 있도록 이루어져 있다.
움직임 추적 회로(22)는, 추적 지정 데이터(D10)가 주어지면, 프레임 화상(25)을 복수의 매크로 블록으로 분할한 뒤, 이들 각 매크로 블록으로부터 추적 지정 데이터(D10)에 의해서 지정된 추적 영역(26)에 관한 모든 매크로 블록의 위치를 검출한다.
그리고, 움직임 추적 회로(22)는, 검출된 각 매크로 블록의 위치의 정보를, 이동 벡터 검출 회로(21)로부터 주어지는 대응하는 이동 벡터 데이터(D2) 내의 식별 정보 및 할당 픽처 정보 및 검출한 각 매크로 블록의 이동 벡터와, 대응하는 매크로 블록 단위로 분할한 프레임 화상 데이터와 함께 추적 데이터(D12)로서 형상 추출 회로(28)에 송출한다.
또한, 움직임 추적 회로(22)는, 이와 같이 매크로 블록의 위치를 검출한 후, 장면 변화 검출 회로(23)로부터 장면 변화 데이터(D3)가 순차적으로 주어지고 있는 사이는, 외부로부터 그 장면 변화 데이터(D3) 내의 식별 정보에 대응하는 프레임 화상 데이터를 입력할 때마다 상기 프레임 화상 데이터에 기초하는 프레임 화상(25)을 복수의 매크로 블록으로 분할하여, 프레임 화상(25)내에서 이동 벡터 검출 회로(21)로부터 주어지는 대응 이동 벡터(D2)(즉, 매크로 블록마다의 이동 벡터)를 이용하여 예를 들면 라인 매칭법에 의해 추적 영역(26)에 관한 각 매크로 블록의 이동 위치를 추적하면서 검출한다.
이에 따라 움직임 추적 회로(22)는, 검출한 매크로 블록의 이동 위치의 정보를, 대응하는 이동 벡터 데이터(D2) 내의 식별 정보 및 할당 픽처 정보 및 상기 검출한 각 매크로 블록의 이동 벡터와, 대응하는 매크로 블록 단위로 분할된 프레임 화상 데이터와 함께 추적 데이터(D12)로서 형상 추출 회로(28)에 송출한다.
이와 같이 하여 움직임 추적 회로(22)는, 프레임 화상(25) 내에서의 추적 영역(26)의 추적 처리를 실행하고 있는 도중에 장면 변화 검출 회로(23)로부터 장면 변화 정보를 포함하는 장면 변화 데이터(D3)가 주어졌을 때에는, 상기 장면 변화 데이터(D3) 내의 식별 정보에 대응하는 프레임 화상 데이터에 대하여 추적 처리를 정지하여, 이 후 새로운 추적 지정 데이터(D10)가 주어지기까지의 사이는 순차 입력된 프레임 화상 데이터에 대한 추적 처리를 정지한 채로의 상태가 되어, 이것을 형상 추출 회로(28)에 통지한다.
이에 따라 움직임 추적 회로(22)는, 동화상에서의 장면이 변하면, 프레임 화상(25) 내에서 추적 영역(26)이 대폭 이동하여, 또는 상기 추적 영역(26)에 포함되는 특정한 인물이 커져, 혹은 추적 영역(26)에 포함되는 특정한 인물이 소실하는 등 상기 추적 영역(26)을 추적하기 어렵게 되지만, 이러한 상태를 유효하게 회피할 수 있도록 이루어져 있다.
또한, 움직임 추적 회로(22)는, 프레임 화상(25) 내에서의 추적 영역(26)의 추적 처리를 실행하고 있는 도중에 외부로부터 추적 정지 데이터(D11)가 주어질 때에도 마찬가지로 그 추적 처리를 정지하여, 이것을 형상 추출 회로(28)에 통지한다.
형상 추출 회로(28)에는, 움직임 추적 회로(22)에 추적 지정 데이터(D10)가 입력될 때, 추적 영역(26)으로부터 임의 형상(예를 들면, 타원)의 추출 화상을 특정하기 위한 프레임(30)(도 5 참조)을 지정하는 형상 지정 데이터(D13)를 외부로부터 입력될 수 있도록 이루어져 있다.
따라서, 형상 추출 회로(28)는, 외부로부터 형상 지정 데이터(D13)가 입력된 상태에서 움직임 추적 회로(22)로부터 추적 데이터(D12)가 주어지면, 상기 추적 데이터(D12)에 기초하여 얻어진 매크로 블록의 위치의 정보에 기초하여 대응하는 프레임 화상 데이터에 기초하는 프레임 화상(25) 내의 추적 영역(26)을 검출한다.
그리고, 형상 추출 회로(28)는, 도 6에 도시한 바와 같이, 프레임 화상(25)으로부터 추적 영역(26)을 추출하여, 상기 추출한 추적 영역(26)에 프레임(30)을 서로의 중심 위치(도시하지 않음)를 합쳐서 중첩하도록 함과 동시에, 프레임(30)의 내측에서는 추적 영역(26)의 일부분이 그대로 남겨지고, 또한 상기 프레임(30)의 외측에서는 수신측에서 표시되지 않도록 예를 들면 흑색을 나타내는 화소로 치환하도록 하여 추출 화상(31)을 얻는다.
또한, 형상 추출 회로(28)는, 도 7에 도시한 바와 같이, 추적 영역(26)에 대하여 추출 화상(31)을 노출시키고, 또한 추출 화상(31)의 주변 부분을 덮도록 하여, 수신측에 그 추출 화상(31)의 형상을 나타내는 마스크 화상(32)을 생성한다.
이와 같이 하여 형상 추출 회로(28)는, 움직임 추적 회로(22)로부터 추적 데이터(D12)가 주어질 때마다, 프레임 화상(25)으로부터 움직임 추적 회로(22)에 의해 추적된 추적 영역(26)을 추출하여 추출 화상(31)을 얻음과 함께, 상기 추출 화상(31)의 형상을 제시하는 마스크 화상(32)을 생성하여, 이들 추출 화상(31)의 데이터(이 경우, 추적 영역(26)에 있어서 흑색의 화소로 치환한 주변 부분을 포함한다) 및 마스크 화상(32)의 데이터를 추적 데이터(D12)에 기초하여 얻어진 식별 정보, 할당 픽처 정보 및 각 매크로 블록의 이동 벡터와 함께 형상 추출 데이터(D14)로서 임의 형상 부호화부(35)에 송출한다.
더욱이, 형상 추출 회로(28)는, 동화상의 장면이 변한 후, 움직임 추적 회로(22)로부터 추적 처리의 정지가 통지되어 추적 데이터(D12)가 끊어지면, 다시 추적 데이터(D12)가 주어지기까지 상술한 일련의 화상 추출 처리를 정지함과 함께, 상기 화상 추출 처리의 정지를 임의 형상 부호화부(35)에 통지한다.
임의 형상 부호화부(35)는, 형상 추출 회로(28)로부터 형상 추출 데이터(D14)가 주어지고, 형상 추출 데이터(D14)에 기초하여 얻어지는 할당 픽처 정보가 I 픽처를 나타낼 때(즉, 형상 추출 데이터(D14)에 기초하여 얻어지는 추출 화상 데이터에 I 픽처가 할당되고 있을 때)에는, 상기 형상 추출 데이터(D14)에 기초하여 얻어지는 추출 화상 데이터를 본래의 화상 사이즈를 유지하면서 매크로 블록 단위로 프레임 내 부호화에 의해 비교적 낮은 압축률로 압축 부호화하며, 마찬가지로 형상 추출 데이터(D14)에 기초하여 얻어지는 마스크 화상 데이터를 압축 부호화고, 상기 압축 부호화한 추출 화상 데이터 및 마스크 화상 데이터를 외부의 네트워크 송신 장치에 송출한다.
또한, 임의 형상 부호화부(35)는, 형상 추출 데이터(D14)에 기초한 할당 픽처 정보가 P 픽처를 나타낼 때(즉, 형상 추출 데이터(D14)에 기초한 추출 화상 데이터에 P 픽처가 할당되고 있을 때)에는, 상기 형상 추출 데이터(D14)에 기초한 추출 화상 데이터를 본래의 화상 사이즈를 유지하면서 매크로 블록 단위로 대응하는 이동 벡터를 이용한 전방향 움직임 보상 프레임 간 예측에 의해 비교적 낮은 압축률로 압축 부호화하고, 마찬가지로 형상 추출 데이터(D14)에 기초하여 얻어지는 마스크 화상 데이터도 압축 부호화함으로써 상기 압축 부호화된 추출 화상 데이터 및 마스크 화상 데이터를 네트워크 송신 장치에 송출한다.
이와 같이 하여 임의 형상 부호화부(35)는, 임의 형상의 동화상을 표시시키기 위한 연속하는 추출 화상 데이터를 순차 압축 부호화할 수 있고, 상기 연속하는 추출 화상 데이터에 프레임 부호화부(24)와 마찬가지로 I 픽처 및 P 픽처 중 어느 하나를 할당하여 대응하는 부호화 처리를 실행함으로써 데이터량의 증가를 최소화하여 효율적으로 압축 부호화할 수 있도록 이루어져 있다.
또한, 임의 형상 부호화부(35)는, 형상 추출 회로(28)로부터 동작의 정지가 통지되어 형상 추출 데이터(D14)가 끊어지면, 상기 형상 추출 회로(28)로부터 다시 형상 추출 데이터(D14)가 주어지기까지는 부호화 처리를 정지한다.
또한, 임의 형상 부호화부(35)는, 부호화 처리를 개시했을 때에 형상 추출 회로(28)로부터 주어지는 선두의 형상 추출 데이터(D14)(즉, 추출 처리를 개시한 시점의 형상 추출 데이터(D14))를 검출할 수 있도록 이루어져 있다.
따라서, 임의 형상 부호화부(35)는, 검출한 선두의 형상 추출 데이터(D14)에기초하여 얻어지는 추출 화상 데이터에 압축 부호화 방식으로서 P 픽처가 할당되고 있을 때에는, 그 추출 화상 데이터를 P 픽처로부터 I 픽처로 변경하여 프레임 내 부호화에 의해 압축 부호화한다.
또한, 임의 형상 부호화부(35)는, 선두의 형상 추출 데이터(D14)에 기초하여 얻어지는 추출 화상 데이터의 직후의 추출 화상 데이터에 압축 부호화 방식으로서 I 픽처가 할당되고 있을 때에는, 그 추출 화상 데이터를 I 픽처로부터 P 픽처로 변경하여 전방향 움직임 보상 프레임 간 예측에 의해 압축 부호화한다.
이와 같이 하여 임의 형상 부호화부(35)는, 부호화 처리의 개시 시에 형상 추출 데이터(D14)에 기초하여 얻어지는 추출 화상 데이터를 부호화 처리 후의 데이터량이 증대하는 것을 방지하여 적절하게 압축 부호화할 수 있도록 이루어져 있다.
여기서, 동화상 부호화 장치(20)에서의 심플 프로파일 처리 경로(SP)와 코어 프로파일 처리 경로(CP)에 따른 압축 부호화 처리 수순을 도 8과 관련하여 아래에서 상술한다.
도 8의 (A)부분에 도시한 바와 같이, 우선 심플 프로파일 처리 경로(SP)에서 루틴(RT1)의 개시가 이루어지고 단계(SP1)로 진행된다.
단계(SP1)에 있어서 이동 벡터 검출 회로(21)는, 외부로부터 주어지는 동화상 데이터(D1)를 순차 프레임 화상(25) 단위로 입력하여, 상기 입력된 처리 대상의 프레임 화상 데이터에 기초하는 프레임 화상(25)을 복수의 매크로 블록으로 분할한 뒤, 그 프레임 화상 데이터 및 이것에 대하여 시간적으로 1 프레임 분 앞선 프레임 화상 데이터 사이에서 매크로 블록마다의 이동 벡터를 검출하여, 상기 검출된 매크로 블록마다의 이동 벡터를 포함하는 이동 벡터 데이터(D2)를 코어 프로파일 처리 경로(CP)의 움직임 추적 회로(22)에 송출함과 함께, 이들 매크로 블록마다의 이동 벡터를 매크로 블록 단위로 분할한 프레임 화상 데이터와 함께 장면 변화 검출 회로(23)에 송출한 후 단계(SP2)로 진행된다.
단계(SP2)에 있어서 장면 변화 검출 회로(23)는, 이동 벡터 검출 회로(21)로부터 주어진 처리 대상의 프레임 화상 데이터에 있어서의 매크로 블록마다의 이동 벡터와, 상기 처리 대상의 프레임 화상 데이터에 대하여 시간적으로 1 프레임 분 앞선 프레임 화상 데이터에 있어서의 매크로 블록마다의 이동 벡터에 기초하여 이들 프레임 화상 데이터 사이의 상관성에 의해 처리 대상의 프레임 화상 데이터가 동화상에 있어서 장면의 변한 시점의 프레임 화상 데이터인지의 여부를 검출하여, 상기 검출 결과를 포함하는 장면 변화 데이터(D3)를 움직임 추적 회로(22)에 송출함과 함께, 그 검출 결과를 매크로 블록 단위로 분할하고 있는 I 프레임 화상 데이터 및 각 매크로 블록의 이동 벡터와 함께 프레임 부호화부(24)에 송출하여 단계(SP3)로 진행된다.
단계(SP3)에 있어서 프레임 부호화부(24)는, 장면 변화 검출 회로(23)로부터 주어진 프레임 화상 데이터에 압축 부호화 형식으로서 I 픽처가 할당되고 있을 때에는, 축소 I 프레임 화상 데이터를 축소 매크로 블록 단위로 프레임 내 부호화에 의해 비교적 높은 압축률로 압축 부호화하여 외부의 네트워크 송신 장치에 송출하고, 장면 변화 검출 회로(23)로부터 주어진 프레임 화상 데이터에 압축 부호화 형식으로서 P 픽처가 할당되고 있을 때에는, 축소 P 프레임 화상 데이터를 축소 매크로 블록 단위로 전방향 움직임 보상 프레임 간 예측에 의해 비교적 높은 압축률로 압축 부호화하고 외부의 네트워크 송신 장치에 송출한 후 단계(SP4)로 진행된다.
단계(SP4)에 있어서 심플 프로파일 처리 경로(SP)에서는, 이동 벡터 검출 회로(21)가 동화상 데이터(D1)를 수취하는 것을 종료하지 않으면, 다시 단계(SP1)로 되돌아가며, 이 후 이동 벡터 검출 회로(21)가 동화상 데이터(D1)를 수취하는 것이 종료하기까지의 사이는 단계(SP4, SP1, SP2, SP3, SP4)의 처리를 순차 반복하는 것에 의해 동화상 데이터(D1)를 프레임 화상 단위로 순차 압축 부호화하고, 상기 이동 벡터 검출 회로(21)가 동화상 데이터(D1)를 수취하는 것을 종료하면, 단계(SP5)로 진행되어 이 심플 프로파일 처리 경로(SP)에서의 처리를 종료한다.
한편, 도 8의 (B)부분에 도시한 바와 같이, 코어 프로파일 처리 경로(CP)에서는, 루틴(RT2)의 개시가 이루어지고 단계(SP11)로 진행된다.
단계(SP11)에 있어서 움직임 추적 회로(22)는, 외부로부터 주어지는 동화상 데이터(D1)를 프레임 화상(25) 단위로 순차 수취하고, 이동 벡터 검출 회로(21)로부터 주어지는 이동 벡터 데이터(D2) 및 장면 변화 검출 회로(23)로부터 주어지는 장면 변화 데이터(D3)를 수취하여, 추적 처리(후술함)를 실행하여 상기 프레임 화상(25)으로부터 추적 영역(26)에 있는 각 매크로 블록의 위치를 이동 벡터를 이용하여 추적하고 검출하여, 상기 검출한 위치의 정보를 포함하는 추적 데이터(D12)를 형상 추출 회로(28)에 송출한 후 단계(SP12)로 진행된다.
단계(SP12)에 있어서 형상 추출 회로(28)는, 움직임 추적 회로(22)로부터 주어지는 추적 지정 데이터(D10)에 기초하여 프레임 화상(25)으로부터 추적 영역(26)을 추출하여, 상기 추출한 추적 영역(26)으로부터 형상 지정 데이터(Dl1)에 의해서 지정된 프레임(30)의 형상에 상응하는 추출 화상(31)을 얻으며, 그 프레임(30)에 기초하여 추출 화상(31)의 형상을 나타내는 마스크 화상(32)을 생성하여, 마스크 화상(32)의 데이터를 포함하는 형상 추출 데이터(D14)를 임의 형상 부호화부(35)에 송출한 후 단계(SP13)로 진행된다.
단계(SP13)에 있어서 임의 형상 부호화부(35)는, 형상 추출 회로(28)로부터 주어진 추출 화상 데이터에 압축 부호화 형식으로서 I 픽처가 할당되고 있을 때에는, 그 추출 화상 데이터를 매크로 블록 단위로 프레임 내 부호화에 의해 비교적 낮은 압축률로 압축 부호화하고, 압축 부호화된 추출 화상 데이터 및 마스크 화상 데이터를 압축 부호화 추출 화상 데이터(D15)로서 외부의 네트워크 송신 장치에 송출하며, 형상 추출 회로(28)로부터 주어진 추출 화상 데이터에 압축 부호화 형식으로서 P 픽처가 할당되고 있을 때에는, 그 추출 화상 데이터를 매크로 블록 단위로 전방향 움직임 보상 프레임 간 예측에 의해 비교적 낮은 압축률로 압축 부호화하고, 상기 형상 추출 회로(28)로부터 주어지는 마스크 화상 데이터를 압축 부호화함으로써 이들 압축 부호화한 추출 화상 데이터 및 마스크 화상 데이터를 압축 부호화 추출 화상 데이터(D15)로서 네트워크 송신 장치에 송출하여 단계(SP14)로 진행된다.
단계(SP14)에 있어서, 코어 프로파일 처리 경로(CP)에서는, 움직임 추적 회로(22)가 동화상 데이터(D1)를 수취하는 것이 종료하지 않으면, 다시 단계(SP11)에 되돌아가고, 이 후 움직임 추적 회로(22)가 동화상 데이터(D1)를 수취하는 것이 종료하기까지의 사이는 단계(SP14, SP11, SP12, SP13, SP14)의 처리를 순차 반복하는 것에 의해 동화상 데이터(D1)로부터 추출 화상 데이터를 순차 추적하면서 추출하여 압축 부호화하여, 상기 움직임 추적 회로(22)가 동화상 데이터(D1)를 수취하는 것을 종료하면, 단계(SP15)로 진행하여 코어 프로파일 처리 경로(CP)에 있어서의 처리를 종료하고, 동화상 부호화 장치(20)에 있어서의 압축 부호화 처리 수순을 전부 종료한다.
도 8의 (B)부분에는 나타내고 있지 않지만, 이러한 압축 부호화 처리 수순에 있어서, 코어 프로파일 처리 경로(CP)는, 움직임 추적 회로(22)에 외부로부터 추적 처리의 정지 지시가 주어지거나, 또는 동화상의 장면이 변하여 상기 움직임 추적 회로(22)에 의한 추적 처리를 정지하면, 이에 따라 형상 추출 회로(28) 및 임의 형상 부호화부(35)에 있어서의 처리도 정지한다.
그런데, 움직임 추적 회로(22)(도 3 및 도 8의 (B)부분 참조)는, 내부의 기억부에 사전에 기억하고 있는 추적 처리 프로그램에 따라서 추적 처리를 실행하도록 이루어지고 있고, 상기 추적 처리 프로그램에 따라서 도 9에 도시한 추적 처리 루틴(RT3)의 개시가 이루어지고 단계(SP21)로 진행된다.
단계(SP21)에 있어서 움직임 추적 회로(22)는, 외부로부터 새로운 추적 지정 데이터(Dl0)가 입력되는 것을 대기하며, 상기 추적 지정 데이터(Dl0)가 입력되면 단계(SP22)로 진행된다.
이 단계(SP22)에 있어서 움직임 추적 회로(22)는, 외부로부터 수취된 프레임 화상 데이터에 기초하는 프레임 화상(25)으로부터 추적 지정 데이터(D10)에 의해서지정된 추적 영역(26)에 관한 모든 매크로 블록의 위치를 검출하여 단계(SP23)로 진행된다.
단계(SP23)에 있어서 움직임 추적 회로(22)는, 단계(SP22)에 있어서 검출한 각 매크로 블록의 위치의 정보를 포함하는 추적 데이터(D12)를 생성하여 형상 추출 회로(28)에 송출한 후, 단계(SP24)로 진행된다.
단계(SP24)에 있어서 움직임 추적 회로(22)는, 외부로부터 추적 정지 데이터(Dl1)가 입력되었는지의 여부를 판단한다.
이 단계(SP24)에 있어서 부정 결과를 얻는 것은, 외부로부터 추적 정지 데이터(Dl1)에 의해서 추적의 정지가 지정되지 않기 때문에, 프레임 화상(25)으로부터 추적 영역(26)에 관한 각 매크로 블록의 이동 위치가 계속하여 추적된다는 것을 의미하여, 이 때 움직임 추적 회로(22)는, 단계(SP25)로 진행하여 장면 변화 검출 회로(23)로부터 장면 변화 정보를 포함하는 장면 변화 데이터(D3)가 주어지는가 아닌가를 판단한다.
단계(SP25)에 있어서 부정 결과를 얻는 것은, 외부로부터 주어진 처리 대상의 프레임 화상 데이터에 대응하는 장면 변화 데이터(D3)로서 장면 변화 검출 회로(23)로부터 장면 연속 정보를 포함하는 장면 변화 데이터(D3)가 주어지므로, 프레임 화상(25)으로부터 추적 영역(26)에 관한 각 매크로 블록의 이동 위치가 계속하여 추적된다는 것을 의미하여, 이 때 움직임 추적 회로(22)는 단계(SP26)로 진행된다.
단계(SP26)에 있어서 움직임 추적 회로(22)는, 그 장면 변화 데이터(D3)내의식별 정보에 대응하는 처리 대상의 프레임 화상(25)으로부터, 단계(SP22)에서 위치가 검출된 각 매크로 블록의 이동 벡터(이동 벡터 검출 회로(21)로부터 주어짐)에 기초하여 추적 영역(26)에 관한 이들 각 매크로 블록의 이동 위치를 추적하고 검출한 후에 단계(SP27)로 진행된다.
단계(SP27)에 있어서 움직임 추적 회로(22)는, (단계(SP26)에서 검출된) 각 매크로 블록의 이동 위치의 정보를 포함하는 추적 데이터(D12)를 생성하여 형상 추출 회로(28)에 송출한 뒤, 단계(SP28)로 진행된다.
단계(SP28)에 있어서 움직임 추적 회로(22)는, 외부의 비디오 카메라로부터 송출되는 동화상 데이터(D1)의 수취가 완료되었느냐 아니냐를 판단한다.
이 단계(SP28)에 있어서 부정 결과를 얻는 것은, 비디오 카메라로부터 송출된 동화상 데이터(D1)를 프레임 화상 단위로 순차 수취하고 있기 때문에 외부로부터의 요구에 따라서 추적 처리를 실행하는 것을 의미하며, 이 때 움직임 추적 회로(22)는 단계(SP24)에 되돌아가고, 이 후 단계(SP28)에서 긍정 결과를 얻기까지의 사이는 단계(SP28, SP24, SP25, SP26, SP27, SP28)의 처리를 순차 반복하는 것에 의해 연속하는 프레임 화상으로부터 각 매크로 블록의 이동 위치를 순차 추적하면서 검출한다.
이와 같이 하여 움직임 추적 회로(22)는, 단계(SP28)에서 동화상 데이터의 수취 완료에 대한 긍정 결과를 얻으면, 단계(SP29)로 진행하고 추적 처리 루틴(RT3)은 종료한다.
단계(SP24)에 있어서 긍정 결과를 얻는 것은, 외부로부터 추적 정지데이터(D11)가 입력됨으로써 추적 영역(26)에 관한 각 매크로 블록의 이동 위치의 추적을 정지하는 것을 의미하여, 이 때 움직임 추적 회로(22)는 단계(SP21)에 되돌아간다.
또한, 단계(SP25)에 있어서 긍정 결과를 얻는 것은, 외부로부터 입력된 처리 대상 프레임 화상 데이터에 대응하는 장면 변화 데이터로서 장면 변화 검출 회로(23)로부터 장면 변화 정보를 포함하는 장면 변화 데이터(D3)가 주어졌기 때문에, 상기 장면 변화 데이터(D3)에 따라서 추적 영역(26)에 관한 각 매크로 블록의 이동 위치의 추적을 정지하는 것을 의미하며, 이 때 움직임 추적 회로(22)는 단계(SP21)로 되돌아간다.
이와 같이 하여 움직임 추적 회로(22)는, 외부로부터의 요구에 따라서 프레임 화상(25)내에서 추적 영역(26)에 관한 각 매크로 블록의 이동 위치를 순차 적절하게 추적하면서 검출할 수 있다.
2-2. 본 실시의 형태의 동작 및 효과
이상의 구성에 있어서, 동화상 부호화 장치(20)에서는, 동화상 데이터(D1)에 대한 심플 프로파일 처리 경로(SP)와, 상기 동화상 데이터(D1)에 대한 코어 프로파일 처리 경로(CP)가 있다.
그리고, 이 동화상 부호화 장치(20)에서는, 이동 벡터 검출 회로(21)에 의해 동화상 데이터(D1)를 순차 프레임 화상(25)단위로 수취하여 각 매크로 블록의 이동 벡터를 검출하여, 상기 검출한 각 매크로 블록의 이동 벡터를 심플 프로파일 처리 경로(SP)와 코어 프로파일 처리 경로(CP)의 쌍방으로 공유화하여 이용하도록 하여한쪽의 심플 프로파일 처리 경로(SP)에서 동화상 데이터(D1)를 순차 프레임 화상(25)단위로 그 이동 벡터를 이용하여 압축 부호화함과 함께, 코어 프로파일 처리 경로(CP)에서 상기 동화상 데이터의 연속하는 프레임 화상(25)으로부터 이동 벡터를 이용하여 임의 형상의 추출 화상(31)을 순차 추적하면서 추출하고 압축 부호화하도록 하였다.
따라서, 이 동화상 부호화 장치(20)에서는, 심플 프로파일 처리 경로(SP)와 코어 프로파일 처리 경로(CP)와의 2계통의 처리 경로를 설치하지만, 압축 부호화 처리를 실행할 때에 대단히 처리 부하가 큰 이동 벡터 검출 회로(21)를 하나로 하여 상기 이동 벡터 검출 회로(21)에 의해서 검출된 이동 벡터를 이들 2계통의 처리 경로로 공유화하여 이용하기 때문에, 동화상 부호화 장치(20) 전체의 처리 부하를 대폭 저감시킬 수 있다.
또한, 이 동화상 부호화 장치(20)에서는, 심플 프로파일 처리 경로(SP)와 코어 프로파일 처리 경로(CP)와의 2계통의 처리 경로에 대하여 하나의 이동 벡터 검출 회로(21)를 설치하기 때문에, 상기 동화상 부호화 장치(20) 전체의 회로 구성을 간이화할 수도 있다.
또한, 이 동화상 부호화 장치(20)에서는, 프레임 화상 데이터에 할당한 P 픽처의 압축 부호화 방식을 장면 변화 검출 회로(23)에 의해 검출한 동화상의 장면 변화에 따라서 I 픽처로 변경하므로, 동화상 데이터(D1)의 연속하는 프레임 화상 데이터를 적절하게 압축 부호화할 수 있음과 함께, 상기 장면 변화에 의해 압축 부호화 방식을 I 픽처로 변경한 프레임 화상 데이터의 직후에 I 픽처를 본래 할당하고 있는 프레임 화상 데이터가 계속될 때에는, 상기 I 픽처를 할당하고 있는 프레임 화상 데이터의 압축 부호화 방식을 P 픽처로 변경하기 때문에, 동화상 데이터(D1)의 연속하는 프레임 화상 데이터를 적절하게 압축 부호화할 수 있다.
이 동화상 부호화 장치(20)에서는, 이와 같이 장면 변화 검출 회로(23)에 의해서 검출된 동화상의 장면 변화에 따라서 프레임 화상(25) 내의 추적 영역(26)의 움직임 추적 회로(22)에 의해서 추적을 정지하므로, 상기 추적 영역(26)을 동화상의 동일 장면 내에서 적절하게 추적할 수가 있어, 이렇게 하여 수신측의 사용자에게 추출 화상(31)을 적절하게 나타낼 수 있다.
그리고, 이 동화상 부호화 장치(20)에서는, 심플 프로파일 처리 경로(SP)와 코어 프로파일 처리 경로(CP)와의 2계통의 처리 경로에 대하여 하나의 장면 변화 검출 회로(23)를 설치하여, 상기 장면 변화 검출 회로(23)에 의해서 검출 동화상의 장면 변화의 정보를 심플 프로파일 처리 경로(SP)와 코어 프로파일 처리 경로(CP)의 쌍방으로 공유화하여 이용하기 때문에, 장면 변화 검출 회로(23)를 설치하는 경우라도 동화상 부호화 장치(20)의 회로 구성을 간이화할 수 있다.
이상의 구성에 따르면, 하나의 이동 벡터 검출 회로(21)에 의해 동화상 데이터(D1)의 프레임 화상(25) 단위마다 검출된 각 매크로 블록의 이동 벡터를, 상기 동화상 데이터(D1)를 순차 프레임 화상(25) 단위로 움직임 보상 프레임 간 예측에 의해 압축 부호화하는 처리 경로와, 그 동화상 데이터(D1)의 연속하는 프레임 화상(25)으로부터 추출 화상(31)을 순차 추적하여 추출하여, 움직임 보상 프레임 간 예측에 의해 압축 부호화하는 처리 경로와의 쌍방으로 공유화하여, 하나의 동화상 데이터로부터 얻은 복수의 화상에 대한 압축 부호화 처리 전체의 처리 부하를 대폭 저감시킬 수 있기 때문에, 하나의 동화상 데이터로부터 얻어진 복수의 화상에 대한 압축 부호화 처리를 고속화할 수 있는 동화상 부호화 장치를 실현할 수 있다.
3. 다른 실시 형태
상술한 실시 형태에 있어서는, 연속하는 동화상 데이터(D1)의 프레임 화상 데이터를 비교적 높은 압축률로 압축 부호화하고, 상기 연속하는 동화상 데이터(D1)로부터 추출한 추출 화상 데이터를 비교적 낮은 압축률로 압축 부호화하는 경우에 대해 기술하였지만, 본 발명은 이것에 한하지 않고, 압축 부호화 프레임 화상 데이터(D6 및 D7)와 압축 부호화 추출 화상 데이터(D15)의 데이터량이 수신측에의 전송률 내에 들어가면, 연속하는 동화상 데이터(D1)의 프레임 화상 데이터를 비교적 높은 압축률로 압축 부호화하고, 상기 연속하는 동화상 데이터(D1)로부터 추출한 추출 화상 데이터를 비교적 낮은 압축률로 압축 부호화하도록 해도 좋다.
상술한 실시 형태에 있어서는, 동화상 데이터(D1)를 프레임 화상 단위로 수취하는 이동 벡터 검출 회로(21)에 의해 프레임 화상 데이터에 압축 부호화 형식으로서 I 픽처 및 P 픽처를 할당하는 경우에 대해 진술하였지만, 본 발명은 이것에 한하지 않고, 상기 연속하는 동화상 데이터(D1)로 구성된 프레임 화상 데이터에 압축 부호화 형식으로서 I 픽처 및 P 픽처 외에 쌍방향 움직임 보상 프레임 간 예측에 의해 압축 부호화하기 위한 B 픽처(Bidirectionally predicted)라고 불리는 압축 부호화 형식을 할당하도록 해도 좋다.
또한, 상술의 실시 형태에 있어서는, 동화상 부호화 장치(20)에 하나의 심플프로파일 처리 경로(SP)와 하나의 코어 프로파일 처리 경로(CP)를 설치한 경우에 대해 진술하였지만, 본 발명은 이것에 한하지 않고, 동화상 부호화 장치(20)에 하나의 심플 프로파일 처리 경로(SP)와 각각 동화상 데이터(D1)를 다른 형상의 추출 화상(31) 단위로, 이동 벡터를 이용한 움직임 보상 프레임 간 예측에 의해 압축 부호화하는 복수의 코어 프로파일 처리 경로(CP)를 설치하거나, 또는 각각 동화상 데이터(D1)를 다른 형상의 추출 화상(31) 단위로, 이동 벡터를 이용한 움직임 보상 프레임 간 예측에 의해 압축 부호화하는 복수의 코어 프로파일 처리 경로만을 설치하는 등과 같이, 여러 가지 회로 구성으로 해도 좋다. 또한, 동화상 부호화 장치에 복수의 코어 프로파일 처리 경로를 설치하는 경우에는, 이들 각 코어 프로파일 처리 경로에 있어서, 각각 동일한 압축률로 추출 화상 데이터를 압축 부호화해도 좋다.
또한, 상술의 실시 형태에 있어서는, 움직임 추적 회로(22)에 대하여 사전에 직사각형으로 선정된 추적 영역을 지정하도록 한 경우에 대해 진술하였지만, 본 발명은 이것에 한하지 않고, 도 10에 도시한 바와 같이, 움직임 추적 회로(22)에 대하여 프레임 화상(25) 내에서 예를 들면 인물상 등의 임의의 점(40)을 지정함으로써 상기 움직임 추적 회로에 의해 그 점(40)을 중심으로 한 주변의 에지(즉, 인물 등의 윤곽)를 추출하여, 상기 추출한 에지를 포함하도록 임의의 크기를 갖는 직사각형 추적 영역(41)을 설정하도록 해도 좋다.
상술의 실시 형태에 있어서는, 움직임 추적 회로(22)에 대하여 이동 벡터 검출 회로(21)로부터 주어지는 대응 이동 벡터(D2)(즉, 매크로 블록마다의 이동 벡터)를 이용하여 예를 들면 라인 매칭법에 의해 추적 영역(26)에 관한 각 매크로 블록의 이동 위치를 추적하면서 검출하는 경우에 대해 진술하였지만, 본 발명은 이것에 한하지 않고, 움직임 추적 회로(22)에 대하여 이동 벡터 검출 회로(21)로부터 주어지는 상기 이동 벡터(D2)를 의해 매크로 블록 단위로 추적을 한 후, 라인 매칭법을 이용하여 추적 영역(26)을 추적하는 동안 픽셀(즉, 매크로 블록 단위가 아니다) 단위로 검출하도록 해도 좋다.
상술의 실시 형태에 있어서는, 형상 추출 회로(28)에 대하여 사전에 타원형 형상으로 선정된 프레임(30)을 지정하도록 한 경우에 대해 진술하였지만, 본 발명은 이것에 한하지 않고, 도 11에 도시한 바와 같이, 형상 추출 회로(28)에 의해 추적 영역(26) 내의 인물 등의 윤곽을 프레임(42)으로서 자동으로 선정하거나, 또는 형상 추출 회로(28)에 대하여 타원형 형상 이외의 별형이나 동그라미형 등의 여러 가지 형상의 프레임을 지정하는 등과 같이, 프레임으로서는 이 외 여러 가지 임의 형상의 것을 널리 적용할 수 있다.
또한, 상술의 실시 형태에 있어서는, 장면 변화 검출 회로(23)에 의해 동화상의 장면 변화를 검출하면, 이에 따라 움직임 추적 회로(22)에 의해 추적 영역(26)의 추적을 정지하도록 한 경우에 대해 진술하였지만, 본 발명은 이것에 한하지 않고, 동화상의 장면이 변하더라도, 움직임 추적 회로(22)에 의해 그 장면이 변하기 직전의 추적 영역의 크기 및 위치를 바꾸지 않고서 장면이 변한 시점의 프레임 화상(25)에 그 장면이 변하기 직전의 추적 영역(26)을 중첩하도록 하여 얻어진 영역을 그대로 추적하도록 해도 좋다. 그리고 이와 같이 동화상의 장면이 변하더라도 추적 영역을 추적하는 경우에는, 이것에 따라서 형상 추출 회로(28) 및 임의 형상 부호화부(35)를 동작시켜도 좋다.
또한, 상술의 실시 형태에 있어서는, 심플 프로파일 처리 경로(SP)에서 이동 벡터 검출 회로(21)와 장면 변화 검출 회로(23)와 프레임 부호화부(24)를 직렬로 접속하고, 코어 프로파일 처리 경로(CP)에서 움직임 추적 회로(22)와 형상 추출 회로(28)와 임의 형상 부호화부(35)를 직렬로 접속하는 경우에 대해 진술하였지만, 본 발명은 이것에 한하지 않고, 비디오 카메라로부터 주어지는 동화상 데이터를 수취하여 일단 저장하기 위한 기억부를 설치하여, 상기 기억부에 이동 벡터 검출 회로(21), 장면 변화 검출 회로(23), 프레임 부호화부(24), 움직임 추적 회로(22), 형상 추출 회로(28) 및 임의 형상 부호화부(35)를 각각 개별로 접속하도록 해도 좋다.
즉, 도 3에 나타난 동화상 부호화 장치(20)에 있어서는, 이동 벡터 검출 회로(21)와 장면 변화 검출 회로(23)와 프레임 부호화부(24)를 직렬로 접속하고, 움직임 추적 회로(22)와 형상 추출 회로(28)와 임의 형상 부호화부(35)를 직렬로 접속하기 위하여, 이들 이동 벡터 검출 회로(21), 장면 변화 검출 회로(23), 프레임 부호화부(24), 움직임 추적 회로(22), 형상 추출 회로(28) 및 임의 형상 부호화부(35)에 각각 처리의 지연을 흡수하기 위한 기억부를 설치할 필요가 있다.
이에 대하여, 동화상 부호화 장치(20)에서, 비디오 카메라로부터 주어지는 동화상 데이터를 수취하여 일단 저장하기 위한 기억부를 설치하고 여기에 이동 벡터 검출 회로(21), 장면 변화 검출 회로(23), 프레임 부호화부(24), 움직임 추적회로(22), 형상 추출 회로(28) 및 임의 형상 부호화부(35)를 각각 개별로 접속하면, 동화상 부호화 장치에 설치하는 기억부 전체의 기억 용량을 대폭 저감시킬 수 있으며, 이들 각 이동 벡터 검출 회로(21), 장면 변화 검출 회로(23), 프레임 부호화부(24), 움직임 추적 회로(22), 형상 추출 회로(28) 및 임의 형상 부호화부(35)가 각각 임의의 타이밍에서 기억부에서 처리 대상의 프레임 화상 데이터를 판독하는 것이 가능하므로, 처리를 고속화할 수 있다.
또한, 상술의 실시 형태에 있어서는, 본 발명에 의한 동화상 부호화 장치로서, 도 3 내지 도 11에 대하여 상술한 동화상 부호화 장치(20)를 적용하도록 한 경우에 대해 진술하였지만, 본 발명은 이것에 한하지 않고, MPEG-2 방식 등이 적용되어 하나의 동화상 데이터를 임의 형상의 소정 화상으로서 프레임 화상 단위나 상기 프레임 화상으로부터 추출한 추출 화상 단위로 이동 벡터를 이용한 움직임 보상 프레임 간 예측에 의해 순차 압축 부호화하는 동화상 부호화 장치나 스트리밍 대신에 외부 또는 내부에 사전에 기억하고 있는 동화상 데이터를 도 3 내지 도 11에 대하여 상술한 동화상 부호화 장치(20)와 마찬가지로 압축 부호화하는 동화상 부호화 장치 및 개인용 컴퓨터나 휴대 전화기, PDA(Personal Digital Assistance) 등의 전자 기기와 같이 그 밖의 동화상 데이터를 압축 부호화 처리할 수 있는 것과, 이 외 여러 가지 동화상 부호화 장치에 넓게 적용할 수 있다.
또한, 본 발명에 의한 동화상 부호화 장치를 개인용 컴퓨터나 휴대 전화기, PDA 등의 전자기기에 적용하는 경우에는, 상기 전자기기에 도 3과 관련하여 상술한 각 회로 블록을 하드웨어로서 설치하도록 해도 좋고, 그 전자기기에 하드웨어 대신에 도 8의 (A) 및 (B) 부분과 관련하여 상술한 압축 부호화 처리 수순을 실행하기 위한 프로그램을 인스톨하여, 상기 프로그램에 따라서 소프트웨어 처리로서 압축 부호화 처리 수순을 실행해도 본 발명을 실현할 수 있다.
그리고, 이와 같이 전자기기에 도 8 (A) 및 (B) 부분에 대하여 상술한 압축 부호화 처리 수순을 실행하기 위한 프로그램을 인스톨하기 위해서는, 상기 프로그램이 저장된 프로그램 저장 매체를 이용하여도 좋고, 근거리 통신망(LAN)이나 인터넷, 디지털 위성 방송 등의 유선 및 무선 통신 매체를 이용해도 좋고, 라우터나 모뎀 등의 각종 통신 인터페이스를 통해 인스톨하도록 해도 좋다.
또한, 전자기기에 프로그램을 인스톨하여 실행 가능한 상태로 하기 위한 프로그램 저장 매체로서는, 예를 들면 플로피 디스크, CD-ROM (Compact Disc-Read 0nly Memory), DVD(Digital Versatile Disc) 등의 패키지 미디어뿐만 아니라, 분배 처리 프로그램이 일시적 혹은 영속적으로 저장하는 저장매체(반도체 메모리나 자기 디스크 등)로 실현해도 좋다. 또한, 이들 프로그램 저장 매체에 분배 처리 프로그램을 저장하는 수단으로서는, 근거리 통신망(LAN)이나 인터넷, 디지털 위성 방송 등의 유선 및 무선 통신 매체를 이용해도 좋고, 라우터나 모뎀 등의 각종 통신 인터페이스를 통해 저장하도록 해도 좋다.
또한, 상술의 실시 형태에 있어서는, 동화상 데이터의 프레임 화상 사이의 이동 벡터를 검출하는 이동 벡터 검출 수단으로서, 매크로 블록 단위로 이동 벡터를 검출하는 이동 벡터 검출 회로(21)(도 3에 나타냄)를 적용하는 경우에 대해 진술하였지만, 본 발명은 이것에 한하지 않고, 동화상 데이터의 프레임 화상 사이의이동 벡터를 검출할 수 있으면, 매크로 블록과는 다른 소정 블록 단위로 이동 벡터를 검출하는 이동 벡터 검출 수단이나 광 플로우에 의해 이동 벡터를 검출하는 이동 벡터 검출 수단 등의 여러 가지 이동 벡터 검출 수단을 널리 적용할 수 있다.
또한, 상술의 실시 형태에 있어서는, 동화상 데이터를 각각 다른 임의 형상의 소정 화상 단위로, 이동 벡터 검출 수단에 의해 검출한 이동 벡터를 공유화하여 이용한 움직임 보상 프레임 간 예측에 의해 압축 부호화하는 복수의 압축 부호화 수단으로서, 프레임 부호화부(24) 및 임의 형상 부호화부(35)(둘 다 도 3에 나타냄)를 적용하도록 한 경우에 대해 진술하였지만, 본 발명은 이것에 한하지 않고, 동화상 데이터를 각각 다른 임의 형상의 소정 화상 단위로, 이동 벡터 검출 수단에 의해 검출된 이동 벡터를 공유화하여 이용한 움직임 보상 프레임 간 예측에 의해 압축 부호화할 수 있으면, 동화상 데이터를 각각 다른 임의 형상의 추출 화상 단위로만 압축 부호화하는 복수의 압축 부호화 수단 등의 여러 가지 압축 부호화 수단을 널리 적용할 수 있다.
또한, 상술의 실시 형태에 있어서는, 동화상 데이터를 연속하여 갖는 각 프레임 화상 내에서, 이동 벡터 검출 수단에 의해 검출한 이동 벡터를 공유적으로 사용하는 순차 소정의 추적 영역을 추적하는 추적 수단으로서, 움직임 추적 회로(22)(도 3 및 도 9를 참조하여 상술함)를 적용하는 경우에 대해 진술하였지만, 본 발명은 이것에 한하지 않고, 동화상 데이터의 연속하는 프레임 화상 내에서, 이동 벡터 검출 수단에 의해 검출된 이동 벡터를 공유화를 이용하여 순차 소정의 추적 영역을 추적할 수 있으면, 동화상 내의 그림의 움직임에 따라서 추적 영역을 자동으로 설정하는 추적 수단 등의 여러 가지 추적 수단을 널리 적용할 수 있다.
또한, 상술의 실시 형태에 있어서는, 추적 수단에 의해 각 프레임 화상 내의 소정 추적 영역에서 임의 형상의 추출 화상을 추출하는 추출 수단으로서, 형상 추출 회로(28)(도 5 내지 도 7을 참조하여 상술함)를 적용하는 경우에 대해 진술하였지만, 본 발명은 이것에 한하지 않고, 추적 수단에 의해 각 프레임 화상 내의 소정 영역에서 임의 형상의 추출 화상을 추출할 수 있으면, 추적 영역 내의 도안을 추출 화상으로서 그 윤곽에 따라서 자동으로 추출하는 추출 수단 등의 여러 가지 추출 수단을 널리 적용할 수 있다.
또한, 상술의 실시 형태에 있어서는, 동화상 데이터의 프레임 화상 사이의 상관성을 검출하고, 상기 검출한 상관성에 기초하여 동화상의 장면 변화의 유무를 결정하는 장면 변화 검출 수단으로서, 프레임 화상 사이의 이동 벡터에 기초하여 상호 상관을 산출하여 동화상의 장면 변화를 검출하는 장면 변화 검출 회로(23)(도 3을 참조하여 상술함)를 적용하도록 한 경우에 대해 진술하였지만, 본 발명은 이것에 한하지 않고, 동화상 데이터의 프레임 화상 사이의 상관성을 검출하여, 상기 검출한 상관성에 기초하여 동화상의 장면 변화의 유무를 검출할 수 있으면, 프레임 화상 사이에서 휘도나 조도 등의 여러 가지 정보에 기초하여 상관성을 산출하여 동화상의 장면 변화를 검출하는 장면 변화 검출 수단 등의 여러 가지 장면 변화 검출 수단을 널리 적용할 수 있다.
상술된 바와 같이 본 발명에 따르면, 이동 벡터 검출 회로에 의해 동화상 데이터의 프레임 화상 사이의 각 이동 벡터를 검출하여, 동화상 데이터를 각각 다른 임의 형상의 소정 화상 단위로, 이동 벡터 검출 수단이 검출한 이동 벡터를 공유적으로 사용하는 움직임 보상 프레임 간 예측에 의해서 압축 부호화한다. 이는 대단히 처리 부하가 큰 이동 벡터 검출 회로를 단일한 장치로 형성하기 때문에, 하나의 동화상 데이터로부터 얻은 복수의 화상에 대한 압축 부호화 처리 전체의 처리 부하를 대폭 저감시킬 수 있고, 이러한 구조는 하나의 동화상 데이터로부터 얻은 복수의 화상에 대한 압축 부호화 처리를 고속화할 수 있다.

Claims (8)

  1. 동화상 데이터의 프레임 화상 사이의 각각의 이동 벡터를 검출하는 이동 벡터 검출 수단과,
    상기 동화상 데이터에 대하여 각각 다른 임의 형상의 소정 화상 단위로, 상기 이동 벡터 검출 수단에 의해 검출한 상기 이동 벡터를 공유적으로 사용하는 움직임 보상 프레임 간 예측(motion-compensation interframe prediction)에 의해 압축 부호화를 행하는 복수의 압축 부호화 수단을 포함하는 것을 특징으로 하는 동화상 부호화 장치.
  2. 제1항에 있어서,
    상기 동화상 데이터를 연속하여 갖는 상기 각 프레임 화상 내에서, 검출된 상기 이동 벡터를 공유적으로 사용하여 소정의 추적 영역을 순차 추적하는 추적 수단과,
    상기 각 프레임 화상 내에서 추적된 상기 소정 추적 영역으로부터 임의 형상의 화상을 추출하는 추출 수단을 더 포함하며,
    상기 복수의 압축 부호화 수단 중 임의의 압축 부호화 수단은, 상기 동화상 데이터에 대하여 상기 임의 형상의 소정 화상 단위로서 상기 프레임 화상 단위로 압축 부호화를 행하고,
    상기 임의의 압축 부호화 수단과는 다른 상기 복수의 압축 부호화 수단 중하나는, 상기 동화상 데이터에 대하여 상기 임의 형상의 소정 화상 단위로서 상기 임의 형상의 화상 단위로 압축 부호화를 행하는 것을 특징으로 하는 동화상 부호화 장치.
  3. 제2항에 있어서,
    상기 프레임 화상 사이의 상관성(correlation)을 검출하여, 검출한 상관성에 기초하여 동화상의 장면 변화의 유무를 결정하는 장면 변화 검출 수단을 더 포함하며,
    상기 추적 수단은, 상기 장면 변화 검출 수단이 상기 동화상의 장면이 변화되었다고 결정한 시점의 상기 프레임 화상 이후의 프레임 화상에 대하여 상기 추적 영역의 추적을 정지하는 것을 특징으로 하는 동화상 부호화 장치.
  4. 동화상 데이터의 프레임 화상 사이의 각각의 이동 벡터를 검출하는 이동 벡터 검출 단계와,
    상기 동화상 데이터에 대하여 각각 다른 임의 형상의 소정 화상 단위로, 상기 이동 벡터를 공유적으로 사용하는 움직임 보상 프레임 간 예측에 의해 압축 부호화를 행하는 압축 부호화 단계를 포함하는 것을 특징으로 하는 동화상 부호화 방법.
  5. 제4항에 있어서,
    상기 동화상 데이터를 연속하여 갖는 상기 각 프레임 화상 내에서, 검출된 상기 이동 벡터를 공유적으로 사용하여 소정의 추적 영역을 순차 추적하는 추적 단계와,
    상기 각 프레임 화상 내에서 추적된 상기 소정 추적 영역으로부터 임의 형상의 추출 화상을 추출하는 추출 단계를 더 포함하며,
    상기 압축 부호화 단계는, 상기 동화상 데이터에 대하여 상기 임의 형상의 소정 화상 단위로서 상기 프레임 화상 단위로 압축 부호화를 행함과 함께, 상기 동화상 데이터에 대하여 상기 임의 형상의 소정 화상 단위로서 상기 임의 형상의 화상 단위로 압축 부호화를 행하는 것을 특징으로 하는 동화상 부호화 방법.
  6. 제5항에 있어서,
    상기 프레임 화상 사이의 상관성을 검출하여, 상기 검출한 상관성에 기초하여 동화상의 장면 변화의 유무를 결정하는 장면 변화 검출 단계를 더 포함하며,
    상기 추적 단계는, 상기 동화상의 장면이 변화되었다고 결정한 시점의 상기 프레임 화상 이후의 프레임 화상에 대하여 상기 추적 영역의 추적을 정지하는 것을 특징으로 하는 동화상 부호화 방법.
  7. 동화상 데이터의 프레임 화상 사이의 각각의 이동 벡터를 검출하는 이동 벡터 검출 단계와,
    상기 동화상 데이터에 대하여 각각 다른 임의 형상의 소정 화상 단위로, 상기 이동 벡터를 공유적으로 사용하는 움직임 보상 프레임 간 예측에 의해 압축 부호화를 행하는 압축 부호화 단계를 포함하는 것을 특징으로 하는 동화상 부호화 장치에 의해 실행되는 동화상 부호화 프로그램을 저장하는 저장 매체.
  8. 동화상 데이터의 프레임 화상 사이의 각각의 이동 벡터를 검출하는 이동 벡터 검출 단계와,
    상기 동화상 데이터에 대하여 각각 다른 임의 형상의 소정 화상 단위로, 상기 이동 벡터를 공유적으로 사용하는 움직임 보상 프레임 간 예측에 의해 압축 부호화하는 압축 부호화 단계를 포함하는 것을 특징으로 하는 동화상 부호화 장치에 의해 실행되는 동화상 부호화 프로그램.
KR1020020015268A 2001-03-22 2002-03-21 동화상 부호화 장치, 동화상 부호화 방법, 동화상 부호화프로그램 및 동화상 부호화 프로그램 저장 매체 KR20020075274A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2001083057 2001-03-22
JPJP-P-2001-00083057 2001-03-22

Publications (1)

Publication Number Publication Date
KR20020075274A true KR20020075274A (ko) 2002-10-04

Family

ID=18938924

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020020015268A KR20020075274A (ko) 2001-03-22 2002-03-21 동화상 부호화 장치, 동화상 부호화 방법, 동화상 부호화프로그램 및 동화상 부호화 프로그램 저장 매체

Country Status (5)

Country Link
US (1) US7079580B2 (ko)
EP (1) EP1244311A3 (ko)
KR (1) KR20020075274A (ko)
CN (1) CN1191718C (ko)
HK (1) HK1051761A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100675387B1 (ko) * 2003-12-22 2007-01-29 캐논 가부시끼가이샤 화상처리장치

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040073941A1 (en) * 2002-09-30 2004-04-15 Ludvig Edward A. Systems and methods for dynamic conversion of web content to an interactive walled garden program
GB0328639D0 (en) 2003-12-10 2004-01-14 Mitel Networks Corp Loudspeaker enclosure incorporating a leak to compensate for the effect of acoustic modes on loudspeaker frequency response
ATE471630T1 (de) * 2004-04-02 2010-07-15 Nds Ltd System für die bereitstellung sichtbarer nachrichten während der trickmodus-wiedergabe bei einem pvr
JP2006129152A (ja) * 2004-10-29 2006-05-18 Konica Minolta Holdings Inc 撮像装置および画像配信システム
JP2006270435A (ja) * 2005-03-23 2006-10-05 Toshiba Corp 動画像符号化装置
US7768528B1 (en) * 2005-11-09 2010-08-03 Image Metrics Limited Replacement of faces in existing video
JP2007189518A (ja) * 2006-01-13 2007-07-26 Matsushita Electric Ind Co Ltd 信号処理装置、撮像装置、ネットワークカメラシステム及び映像システム
JP4157579B2 (ja) * 2006-09-28 2008-10-01 シャープ株式会社 画像表示装置及び方法、画像処理装置及び方法
US7880140B2 (en) * 2007-05-02 2011-02-01 Dh Technologies Development Pte. Ltd Multipole mass filter having improved mass resolution
JP2009246935A (ja) * 2008-03-14 2009-10-22 Sanyo Electric Co Ltd 画像処理装置およびそれを搭載した撮像装置
JP2009290860A (ja) * 2008-04-28 2009-12-10 Panasonic Corp 撮像装置
US20110153984A1 (en) * 2009-12-21 2011-06-23 Andrew Wolfe Dynamic voltage change for multi-core processing
US20120049041A1 (en) * 2010-09-01 2012-03-01 International Business Machines Corporation Switched rail circuitry and modified cell structure and method of manufacture and use
RU2595932C2 (ru) 2010-12-23 2016-08-27 Самсунг Электроникс Ко., Лтд. Способ и устройство кодирования режима внутрикадрового предсказания для блока предсказания изображений и способ и устройство декодирования режима внутрикадрового предсказания для блока предсказания изображений
US9014277B2 (en) 2012-09-10 2015-04-21 Qualcomm Incorporated Adaptation of encoding and transmission parameters in pictures that follow scene changes
US9424598B1 (en) 2013-12-02 2016-08-23 A9.Com, Inc. Visual search in a controlled shopping environment
US9536161B1 (en) * 2014-06-17 2017-01-03 Amazon Technologies, Inc. Visual and audio recognition for scene change events

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5841470A (en) * 1992-06-29 1998-11-24 British Telecommunications Public Limited Company Coding and decoding video signals
JP3123587B2 (ja) * 1994-03-09 2001-01-15 日本電信電話株式会社 背景差分による動物体領域抽出方法
US6023301A (en) * 1995-07-14 2000-02-08 Sharp Kabushiki Kaisha Video coding device and video decoding device
US5974184A (en) * 1997-03-07 1999-10-26 General Instrument Corporation Intra-macroblock DC and AC coefficient prediction for interlaced digital video
US5978510A (en) * 1997-03-20 1999-11-02 Hyundai Electronics Industries Co., Ltd. Method and apparatus for predictively coding contour of video signal
EP1061749B1 (en) * 1998-01-27 2010-04-07 Sharp Kabushiki Kaisha Moving picture decoder
EP1247401B1 (de) * 1999-12-30 2003-07-02 Swisscom Mobile AG Verfahren für die übermittlung von bilddaten

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100675387B1 (ko) * 2003-12-22 2007-01-29 캐논 가부시끼가이샤 화상처리장치

Also Published As

Publication number Publication date
EP1244311A2 (en) 2002-09-25
HK1051761A1 (en) 2003-08-15
EP1244311A3 (en) 2004-10-06
US20020168009A1 (en) 2002-11-14
CN1191718C (zh) 2005-03-02
US7079580B2 (en) 2006-07-18
CN1377189A (zh) 2002-10-30

Similar Documents

Publication Publication Date Title
KR20020075274A (ko) 동화상 부호화 장치, 동화상 부호화 방법, 동화상 부호화프로그램 및 동화상 부호화 프로그램 저장 매체
KR100499057B1 (ko) 비디오 압축 방법 및 장치
CN112449140B (zh) 视频超分辨率处理方法及装置
US6771704B1 (en) Obscuring video signals for conditional access
KR20030018042A (ko) 동화상 부호화 장치
JP2001285871A (ja) ビデオ画像を符号化する処理方法及びその装置
US6052414A (en) Moving picture coding method and apparatus for low bit rate systems using dynamic motion estimation
JP2007135219A (ja) 通信システムにおけるビデオフレーム転送方法と装置
JP2007135219A6 (ja) 通信システムにおけるビデオフレーム転送方法と装置
EP1032211A2 (en) Moving picture transcoding system
CN100539670C (zh) 已编码a/v序列的编辑
CN111800653A (zh) 视频解码方法、系统、设备及计算机可读存储介质
JP2005184233A (ja) データ処理装置およびその方法と符号化装置
JP3621332B2 (ja) スプライト符号化方法及び装置、スプライト符号化データ復号方法及び装置、並びに記録媒体
Jinzenji et al. MPEG-4 Very Low Bit-rate Video Compression Using Sprite Coding.
JP2002354487A (ja) 動画像符号化装置及びその方法
CN114422788A (zh) 数字视网膜视频联合编码方法、译码方法、装置及电子设备
JP2000092489A (ja) 画像符号化装置および画像符号化方法およびプログラムを記録した媒体
JP2002344925A (ja) 動画像配信装置、動画像配信方法、動画像配信プログラム、動画像配信プログラム格納媒体、画像指定装置、画像指定方法、画像指定プログラム及び画像指定プログラム格納媒体及び動画像提供システム
JP2000078572A (ja) オブジェクト符号化装置およびオブジェクト符号化装置のコマ落し制御方法およびプログラムを記録した記憶媒体
KR100231925B1 (ko) 전역 기반 색도 상관성을 이용한 영상 부호화 방법
JP3765334B2 (ja) 動画像判別装置及びその方法
CN1784905A (zh) 视频编解码方法和相应的编解码设备
KR20040065490A (ko) 동영상 압축을 위한 내장형 메모리 장치
KR100238890B1 (ko) 개선된 텍스쳐 움직임 벡터 추정 장치 및 그 추정 방법

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid