KR900008455B1

KR900008455B1 - 화상부호화장치

Info

Publication number: KR900008455B1
Application number: KR1019860000205A
Authority: KR
Inventors: 겡 이찌 아사노; 히로아끼 기구찌; 쓰도무 구보; 미쓰요시 스즈끼
Original assignee: 미쓰비시전기 주식회사; 시끼 모리야
Priority date: 1985-01-16
Filing date: 1986-01-15
Publication date: 1990-11-22
Also published as: KR860006180A; EP0188269B1; EP0188269A2; US4769826A; CA1282166C; EP0188269A3; DE3689796D1; US4837632A; DE3689796T2

Abstract

내용 없음.

Description

화상부호화장치

제1도는 종래의 화상부호화장치의 전체구성도.

제2도는 일반적인 백터양자화의 원리를 설명하기 위한 설명도.

제3도는 종래의 화상부호화장치에 있어서의 입력블록과 왜곡연산의 대상인 복수블록과의 위치관계를 표시한 도면.

제4도는 이 발명의 제1의 실시예에 따른 화상부호화장치의 전체구성도.

제5도는 이 발명의 제1의 실시예에 따른 화상부호화장치의 요부를 표시한 도면.

제6도는 이 발명의 제1의 실시예에 따른 적합하게 제어된 입력블록과 왜곡연상의 대상인 복수블록과의 위치관계의 일례를 표시한 도면.

제7도는 이 발명의 제2의 실시예의 전제기술인 화상부호화장치의 구성도.

제8도는 이 발명의 제2의 실시예에 의한 화상부호화장치의 구성도.

제9도는 이 발명의 제3의 실시예의 전제기술구성을 표시하는 블록도.

제10도는 화상상의 입력블록과 판독된 복수블록과의 위치관계도.

제11도는 이 발명의 제3의 실시예에 의한 움직임 보상방식 화상부호화장치의 구성을 표시하는 블록도.

제12도는 제3도의 실시예의 입력신호계열의 블록화를 표시하는 설명도.

제13도는 제3의 실시예의 왜곡 연산부의 상세 구성도.

제14도는 제3의 실시예의 양자화부호화부의 상세 구성도.

제15도는 제3의 실시예에 있어서의 가변장부호화제어예를 표시하는 도면.

제16도는 이 발명의 제4의 실시예의 전제기술인 움직임 보상방식 화상부호화장치의 블록구성도.

제17도는 제16도에 있어서의 입력블록과 판독된 복수블록과의 위치관계도.

제18도는 이 발명의 제4의 실시예에 의한 움직임보상방식 화상부호화장치의 블록 구성도.

제19도는 이 발명의 제4의 실시예에 의한 블록구성부의 동작 설명도.

제20도는 제4의 실시예의 감산부 구성도.

제21도는 제4의 실시예의 평균·편차 연산부의 구성도.

* 도면의 주요부분에 대한 부호의 설명

1 : A/D변환기 2 : 블록구성부

3 : 프레임메모리 4 : 참조신호생성부

5 : 왜곡연산부 7 : 양자화부호화부

8 : 비데오카메라 9 : 양자화복호화부

10 : 가산기 80 : 부호화제어부

100 : 화상부호화장치

이 발명은 예를 들면 화상통신 시스템에 적용되는 화상부호화장치에 관한 것이다. 이 종류의 종래장치 특히 움직임 보상방식 화상부호화 장치로서는 제1도에 표시하는 것이 있다. 제1도에 있어서, 1은 A/D변환기로, 이 A/D변환기(1)은 비데오카메라(8)에서 출력된 화상신호를 입력하여 이것을 아날로그/디지탈변환하여 출력한다.

2는 블록구성부이며 상기 A/D변환기(1)에서 출력된 디지털 신호계열을 입력하여 화상상에서 근접한 화소끼리 K개(K는 2이상의 정수)마다 블록화하여 출력한다.

3은 프레임메모리이며 가산기(10)을 통하여 주어진 현 입력신호의 프레임보다도 1프레임전의 데이터를 기억한다.

4는 참조신호생성부이며 상기 블록구성부(2)에 있어서 블록화 현 입력신호계열을 포함하는 입력블록과 화상상에서 동일위치에 오는 블록을 포함하는 1프레임전의 선호계열에 의하여 형성되는 복수의 블록을 상기 프레임메모리(3)에 의하여 판독하는 것이다.

5는 왜곡연산부이며 상기 블록구성부(2)에서 출력된 입력블록의 신호계열과 상기 프레임메모리(3)에 기억되어 있는 복수블록의 신호계열의 왜곡을 연산하고 최소왜곡을 주는 블록의 위치정보 및 이 시점에서의 신호계열을 출력한다.

6은 감산기이며 상기 블록구성부(2)에서 출력된 입력블록의 신호계열과 상기 왜곡연산부(5)에서 출력된 최소왜곡을 주는 블록의 신호계열의 차신호계열로 된 벡터를 구하여 출력한다.

7은 양자화부호화부이며 상기 감산기(6)에서 출력된 차 신호계열로 된 벡터를 받아서 이것을 양자화부호화하도록 구성되어 있다.

9는 양자화복호(復號)화부 이며 상기 양자화부호화부(7)에서 출력된 양자화부호화된 신호로부터 상기 차(差)신호계열을 재생한다.

10은 가산기이며 상기 양자화복호화부(9)로 부터의 양자화복호화출력과 상기 왜곡연산부(5)에서 출력된 최소왜곡을 주는 블록의 신호계열을 가산하여 화상신호를 재생하고 상기 프레임메모리(3)에 기록하도록 되어 있다.

여기서 제2도에 기준하여 벡터양자화의 원리에 관하여 간단히 설명한다. 정보원입력신호계열을 K개 합하여 입력벡터

로 한다. 이때 K차원 유클릿신호공간

의 N개의 대표점(즉 출력벡터)

의 세트를 Y= {yi, y2,……, yn}로 한다.

출력벡터 yi를 대표점(예 : 중심)으로 하는 Rk의 각 분할을 R₁, R₂, ……,R_N로 하면 벡터 양자화 Q는 다음식으로 정의된다.

상기 벡터양자화 Q는 부호화 C와 복호화 D이 종속접속으로서 표시된다. 부호화 C는 Rk의 출력벡터의 세트 Y={y₁, y₂,……,y_N}의 인덱스세트 I={1, 2,……, N}로의 사상(寫像)이며 복호화 D는 I로부터 Y의 사상이다. 즉,

C : R^K→ I, D : I → Y (4)

Q = D·C (5)

이다.

벡터양자화에 있어서는 전기부호화출력 I가 전송 혹은 기록되는 것이 되기 때문에 극히 부호화 효율이 양호하다.

벡터양자화는 입력벡터를 최단거리에 있는 (최소왜곡으로된)출력벡터

로 사상하는 것이다. 구체적으로는 입출력 벡터간의 거리(왜곡)를

로 하면은 아래와 같이 된다.

제3도에 표시하는 것 같은 출력벡터 yi의 세트 Y는 트레이닝모델(training model)로 되는 정보원 입력신호계열을 사용한 클러스터링(clustering) (대표점의 선출과 신호공간의 분할을 왜곡의 총화가 최소로 될 때까지 반복)에 의하여 구할수 있다.

상기 제1도의 구성의 동작을 이하 설명한다.

비데오카메라(8)로부터 A/D변환기(1)로 출력된 화상신호는 이 A/D변환기(1)로 디지털 신호계열로 변환되고 블록구성부(2)에 출력된다. 이 디지털신호계열은 블록구성부(2)에 있어서 화상상 근접한 화소끼리 K개마다 통상 화상상에서 장방형(또는 정방형)이 되도록 하여 블록화되는 동시에 신호계열의 열을 변환시켜서 왜곡연산부(5) 및 감산기(6)에 출력된다.

한편 프레임메모리(3)에 기억되고 참조신호생성부(4)에 의하여 판독된 전기복수블록의 신호계열은 상기 참조 신호생성부(4)에 의하여 블록구성부(2)로부터 출력되는 블록화된 현입력신호계열과 동기로 왜곡연산부(5)에 송출된다. 블록구성부(2)로부터 출력되는 현입력신호계열의 블록과 참조신호생성부(4)에 의하여 판독되는 복수블록의 위치관계의 일례를 제3a도 현재의 프레임(b) 하나전의 프레임으로서 도시한 바와 같다.

상술한 현입력블록의 신호계열과 복수블록의 신호계열의 왜곡계산은 왜곡연산부(5)에 있어서 예를 들면 유클릿 왜곡이나 절대치왜곡등을 사용하여 실시한다. 이 계산결과에 의하여 현입력블록에 대하여 최소왜곡을 주는 블록이 상기 복수블록중에서 선택된다. 여기서 계산대상이 되는 블록수를 M개(M는 2이상의 정수)로 하고 최소왜곡을 주는 블록이 이중의 1번째(1=1, 2, ……, M)의 것이라고 하면 상기 왜곡연산부(5)에서는 상기 1의 값 및 이 블록의 신호계열을 감산기(6)에 출력하게 된다.

상술한 입력블록의 신호계열과 최소왜곡을 주는 신호계열과에 의하여 감산기(6)은 이들의 차 신호계열로 된 벡터를 구하여서 이것을 양자화부호화(7)에 출력한다. 이 차신호계열로 된 벡터는 양자화부호화부(7)에 있어서, 양자화부호화 되어 양자화복호화부(9)에 출력된다. 이 양자화복호화부(3)에 의하여 재생된 차 신호계열과 전기 왜곡 연산부(5)로부터 출력된 전기 최소왜곡을 주는 블록의 신호계열과 가산기에 각각 츨력되고 가산기(10)에 의하여 가산되어서 화상신호로 재생된다. 그리고 이 화상신호는 전기가산기(10)에 의하여 프레임메모리(3)에 기록하게 된다.

상술한 양자화부호화부(7)에서 가산기(10)에 이르는 프로세스에서의 신호처리는 감산기(6)에 있어서 구한 전기차신호계열로 된 벡터에 의한 후처리에 관한 것이며, 상기 차신호의 크기 즉 벡터량이 작으면 작을수록 움직임보상의 효율이 제고된다.

이상과 같이하여 입력된 화상신호는 블록화되고 현화상신호의 1프레임전의 프레임의 어느 위치의 블록과 가장 비슷한가의 정보화 이 블록과의 오차성분을 양자화 한 것에 부호화가 되는 것이다.

종래의 화상부호화장치 특히 움직임 보상방식 화상부호화장치는 이상과 같이 구성되었으며 예를 들면 비데오카메라(8)의 목돌림운동과 같은 이동등으로 화면이동방향이 명백한 경우에 있어서도 왜곡 연산 대상이되는 프레임메모리(3)에 기억되어 있는 블록과 블록구성부(2)에서 출력되는 입력블록의 위치관계가 고정되어 있기 때문에 움직임보상의 효율을 재고할 수 없는 문제점이 있었다.

이 발명의 제1목적은 화면의 이동방향이 명백한 경우는 이 이동방향에 관한 정보를 움직임보상에 반영시킴으로써 움직임보상효율을 재고할수 있는 화상부호화장치를 제공하는데 있다.

본 발명의 제2목적은 동기결합되어 있지않은 복수의 카메라로부터의 신호를 적의 절환하여 입력하여도 화상의 난조를 최소한으로 축소시킬수 있는 화상부호화장치를 제공함을 목적으로 한다.

본 발명의 제3의 목적은 화상의 난조를 최소한으로 억제할수 있는 동시에 재빨리 본래의 화상에 복귀가능한 화상부호화장치를 제공함을 목적으로 한다.

본 발명의 제4의 목적은 왜곡연산의 결과 대단히 근사도가 높은 블록이 존재하는 경우는 여분의 정보발생을 억제하고 또한 근사도 높은 블록에 대하여 양자화오차의 축척을 억제할수 있는 화상부호화장치를 제공함을 목적으로 한다.

본 발명의 제5의 목적은 상기와 같은 문제점을 해소하기 위한 것으로서 복수의 참조블록을 사용하여도 유의로 되는 블록의 출현빈도가 높은 화상신호를 입력한 경우에도 정보량의 증가를 초래하지 않는 화상부호화장치를 제공함을 목적으로 한다.

상기 제1의 목적은 비데오카메라에 이 비데오카메라가 미리 설정되어 있는 이동방향에 향하여 이동한 것을 검지하였을때에 검출신호를 출력하는 이동방향 검출수단을 설치하고 이 이동방향 검출수단에서 출력된 검출신호에 기준하여 전기비데오 카메라의 변위량을 연산함과 동시에 이 연산한 비데오카메라의 변위량에 대응하는 전기 프레임메모리상의 특정위치를 산출하고 전기참조신호생성부에 출력하는 이동정보발생부를 설치하며 이 이동정보발생부로 부터의 출력에 기준하여 전기프레임메모리상의 특정위치에 기억되어 있는 복수의 블록을 판독하도록 구성함으로써 실현된다.

상기 제2의 목적은 입력된 화상신호에 포함되는 동기신호의 시간적 변동을 검출하는 변동검출수단을 구비하는 동시에 양자화부호화기의 동작이 상기 변동검출수단의 출력에 기준하여 변동이 검출되는 동안 정지하도록 구성함으로써 실현된다.

또 상기 제3의 목적은 입력된 화상신호에 포함되는 동기신호의 시간적 변동을 검출하는 변동검출수단과 상기 변동검출수단의 출력에 기준하여 양자화부호화기로의 입력을 프레임간차분 신호로부터 입력화상신호로 절환하는 신호절환수단을 구비함과 동시에 상기 양자화부호화기의 동작이 상기 변동검출수단의 출력에 기준하여 변동이 검출되는 동안 정지하도록 구성하고 또한 상기 신호절환수단이 상기 변동이 검출되지 않게 되고서부터 입력화상신호 1프레임분의 지연을 주어서 이 입력화상신호에서 프레임간차분신호에 절환하도록 구성함으로써 실현된다.

상기 제4의 목적은 블록화수단을 통하여 입력되는 최신의 화상신호에 있어서 입력블록의 신호계열과 이 입력블록에 대응하여 판독수단에 의하여 화상신호기억수단으로부터 판독되는 복수블록의 각 신호계열의 왜곡을 연산하여 최소왜곡 및 그 최소왜곡을 주는 블록의 위치정보와 신호계열을 연산하는 왜곡 연산수단과 상기 최소왜곡치와 소정의 임계치(Tnreshold)를 비교하는 비교수단과 상기 입력블록의 신호계열과 최소왜곡을 주는 블록의 신호계열의 차신호계열을 양자화부호화하는 양자화부호수단과 상기 비교수단의 비교결과에 기준하여 최소왜곡치가 소정임계치 보다도 큰 경우에 상기 최소왜곡을 주는 블록의 신호계열에 양자화부호화 출력에서 양자화복호수단을 통하여 재생된 차신호계열을 가산하여 화상신호기억수단에 기록하는 기록수단과, 마찬가지로 최소왜곡치가 소정의 임계치보다 큰 경우에 최소왜곡을 주는 블록의 위치정보와 양자화부호화출력을 가변장부호화하여 전송로에 출력하는 부호화제어수단을 설치함으써 실현된다.

상기 제5의 목적은 블록화수단을 통하여 입력된 최신의 화상신호에 있어서 입력블록의 신호계열과 이 입력블록에 대응하여 판독수단에 의하여 화상신호기억수단으로부터 판독되는 복수블록의 각 신호계열의 차신호계열을 구하는 제1연산수단과, 각 블록마다 상기 차신호계열의 평균치와 편차성분을 구하는 제2연산수단과 상기 각 블록의 차신호계열의 평균치와 편차성분에 기준하여 상기 입력블록과 가장 근사한 블록을 판별하여 그 위치정보를 출력함과 동시에 상기 평균치와 편차성분을 소정의 임계치와 비교하여 입력블록의 유의, 무의를 판별하여 유의 무의 정보로서 출력하는 판별수단과, 입력블록과 화상상에서 동일위치에오는 블록에 대응하는 상기 제1연산수단의 출력과 같이 동일위치 블록에 대응하는 상기 제2연산수단의 출력을 사용하여 동일 블록대응의 차신호계열을 직류분리 정규화하는 정규화부와, 상기 정규화된 동일위치 블록대응의 차신호계열을 양자화부호화하는 양자화부호화수단과, 상기 양자화부호화 출력을 복호화하는 양자화복호화수단과, 상기 양자화복호화 출력에 평균치 및 편차성분을 사용하여 평균가산·가중치를 부가하여 상기 동일위치 블록대응의 차신호계열을 재생하는 차신호재생부와, 상기 유의 무의정보가 유의일때는 상기 판독 수단으로 판독된 동일위치 블록의 신호계열에 상기 양자화복호화 수단으로 복호화되고 상기 차신호재생부에서 재생된 차신호계열을 가산한 신호계열을, 무의일때는 상기 위치정보에 기준하여 판독수단으로 판독된 최근사 블록의 신호계열을 화상신호기억수단에 기록하는 화상신호재생수단과, 상기 양자화부호화 출력과 위치 정보와 유의 무의정보를 입력하고 상기 유의 무의 정보가 유의일때는 위치정보를 제거하며 무의일때는 양자화부호화출력을 제거하여서 각 정보를 가변장부호화하여 전송로에 출력하는 부호화제어수단을 구비함으로써 실현된다.

이하 본 발명의 각 실시예에 관하여 기술한다. 그런데 각 실시예의 구체적인 설명전에 각 실시예의 개요를 개념적으로 기술하고 그다음에 구성동작을 기술하기로 한다.

이 실시예는 이동방향 검출수단이 검출신호를 출력 하였을때에 이동정보발생부는 이 검출신호에 기준하여 연산한 비디오카메라의 변위량에 대응하는 프레임메모리상의 특정위치를 산출하여 이것을 참조신호생성부에 출력한다. 이 참조신호생성부는 상기 출력에 기준하여 상기 프레임메모리상의 특정위치에 기억되어 있는 복수블록을 판독하는 것이다. 이하 본 발명의 제1의 실시예를 도면에 의하여 구체적으로 설명한다.

제4도에 있어서 1-3, 5-10은 상기 제1도에서 설명한 것과 완전히 동일한 것이므로 설명을 생략한다.

상술한 비데오카메라(8)에는 이 비데오카메라(8)이 제5도에서 도시한 x축방향 y축방향을 각각 기준으로 하여 목돌림운동을 실시하였을때만 이 목돌림운동에 있어서의 각 속도를 검지하여 출력하는 각도센서(26)가 설치되어 있다.

11은 이동정보발생부로서 이 이동정보발생부(11)은 그 입력측이 상기 비데오카메라(8)에 장치된 이동방향 검출수단인 각도센서(26)와 또 그 출력측은 상기 참조신호생성부(4)와 각각 접속되어 있다. 이 이동정보발생부(11)는 제5도로 표시한대로 입력측이 상기 각도센서(26)의 출력측과 각각 접속되어 있는 Vx.연산부(22) 및 Vy연산부(23)와, 출력측이 각각 상기 참조신호생성부(4)의 입력측과 접속되어 있는 x방향환산부(24) 및 y방향환산부(25)에 구성되어 있다.

22는 Vx연산부이며 상기 각도센서(26)로부터의 출력신호에 기준하여 비데오카메라(8)의 제5도에 도시하는 x방향의 목돌림속도를 연산하여 이 연산결과를 출력한다.

23은 Vy연산부이며 전기각도센서(26)로부터의 출력신호에 기준하여 비데오카메라(8)의 제5도에 도시하는 y방향의 목돌림 속도를 연산하여서 이 연산결과를 출력한다.

24는 x방향환산부이며 상기 Vx연산부(22)에서 출력된 연산데이터를 판독하여 이것을 x방향의 화소레벨의 초기편위에 환산하고 이것을 화면의 x방향의 이동정보로서 출력한다.

25는 y방향환산부이며 상기 Vy연산부(23)에서 출력된 연산데이터를 판독하여 이것을 y방향의 화소레벨의 초기편위에 환산하고 이것을 화면의 y방향의 이동정보로서 출력한다.

4는 참조신호생성부이며 상기 이동정보를 입력하여 1프레임상의 비데오카메라(8)의 변위량을 구하고 이 변위량에 대응한 분만큼 프레임메모리(3)상을 자 이동하여 현프레임보다도 1프레임전의 신호계열에 의하여 형성되는 복수블록중에서 현입력블록에 대응하는 블록을 검색하여 출력한다.

다음에 상기 구성의 동작에 관하여 설명한다.

비데오카메라(8)에서 A/D변환기(1)로 출력된 화상신호는 이 A/D변환기(1)로 디지털신호계열에 변환되어 블록수성부(2)에 출력된다. 이 디지털신호계열은 블록수 구성부(2)에 있어서 화상상 근접한 화소끼리 K개마다 통상화상상에서 장방형(또는 정방형)이 되도록 하여 블록화되는 동시에 신호계열의 열을 변환시켜 왜곡연산부(5) 및 감산기(6)에 출력된다. 한편 프레임메모리(3)에 기억되어 참조신호생성부(4)에 의하여 판독된 전기복수블록의 신호계열은 상기 참조신호생성부(4)에 의하여 블록구성부(2)에서 출력되는 블록된 현입력신호계열과 동기로 왜곡연산부(5)에 송출된다.

상술한 현입력블록의 신호계열과 상기 1프레임전의 복수블록의 신호계열의 왜곡연산은 왜곡연산부(5)에 있어 예를 들면 유클릿왜곡이나 절대치왜곡등에 사용하여 실시된다. 이 계산결과에 의하여 현 입력블록에 대하여 최소왜곡을 주는 블록이 상기 복수블록중에서 선택된다.

여기서 계산대상이 되는 블록의 수를 M개(M는 2이상의 정수)로 하고 최소왜곡을 주는 블록이 이중의 1번째(1=1, 2,……, M)것이라면 상기 왜곡연산부(5)에서는 상기 1의 값 및 이 블록의 신호계열을 감산기(6)에 출력하게 된다.

상술한 입력블록의 신호계열과 최소왜곡을 주는 신호계열에 의하여 감산기(6)은 이들의 차신호계열을 구하여 이것을 양자화부호화부(7)로 출력한다. 이 차신호계열은 양자화부호화부(7)에 있어서 양자화부호화 되어서 양자화복호화부(9)로 출력된다. 이 양자화복호화부(9)에 의하여 재생된 차신호계열과 상기 왜곡연산부(5)에서 출력된 상기 최소왜곡을 주는 블록의 신호계열은 가산기(10)에 각각 출력되어 가산기(10)에 의하여 가산되어 화상신호에 재생된다. 그리고 이 화상신호는 상기 가산기(10)에 의하여 프레임메모리(3)에 기록하게 된다.

이상과 같이하여 입력된 화상신호는 블록화되어 현화상신호의 1프레임전의 프레임의 어느위치의 블록과 가장 근사한가 하는 정보와, 이 블록과의 오차성분을 양자화 한 것으로 부호화 되는 것이다. 그런데 상기 각도센서(26)가 비데오카메라(8)의 상기 제5도에서 도시하는 x축방향 및/또는 y축방향을 기준으로하여 목돌림동작을 실시한 것을 검지하고 이 검출신호가 센서(26)에서 Vx연산부(22), Vy연산부(23)에 입력되면 Vx연산부(22) Vy연산부(23)은 상기 데이터에 기준하여 각각의 방향의 목돌림속도를 연산하여 X방향환산부(24) y방향환산부(25)로 출력한다.

이에 의하여 X방향환산부(24)는 x방향의 화소레벨의 초기편위에 또 y방향환산부(25)는 y방향의 화소레벨의 초기편위에 각각 환산하여 이들을 화면의 x방향의 이동정보, 화면의 y방향의 이동정보로서 참조신호생성부(4)로 출력하게 된다.

상기 화면의 x방향 y방향의 이동정보가 입력되면 참조신호생성부(4)는 1프레임당의 비데오카메라(8)의 변위량을 이 x방향성분, y방향성분을 보유하는 벡터량으로 연산하고 이 연산결과에 기준하여 제5도로서 도시한 바와 같이 상기 프레임메모리(3)상을 자리 이동하여 이 프레임메모리(3)에 기억되어 있는 현 프레임보다도 1프레임전의 신호계열에 의하여 형성되는 복수의 블록중에서 현입력블록에 대응하는 블록을 검색하게 된다.

이와같이 하여 참조신호생성부(4)에 있어서 검색된 상기 블록 즉 최소왜곡을 주는 블록의 프레임메모리(3)상에서의 절대위치는 상술한 화면의 이동정보와 1의 값에 의하여 표시된다.

이상 설명한대로 이 실시예에 의하면 화면의 이동정보를 기초로 적합하게 선택된 블록군중에서 최소왜곡을 주는 블록을 선출하므로 결과로서는 입력블록과 최소왜곡을 주는 블록과의 근사도가 높고 차분신호가 작은 값에 집중하기 쉽다.

그 때문에 양자화부호화부(7)에 있어 발생하는 정보량이 상당히 삭감된다. 이때 화면의 이동정보를 출력하는데 따른 정보량의 증가를 고려하지 않으면 안되지만 비데오카메라(8)에 설치한 각도센서(26)에서 출력되는 이동정보는 수집빈도가 예를 들면 화상수프레임에 대하여 1회라든가 혹은 1초간에 1회로하는 도수의 것이며 1화면당의 정보량에 환산하면 근소한 것이 된다. 따라서 양자화부호화출력의 정보삭감량은 거의 그대로 정보압축효과로서 표시되게 된다.

다음에 제2의 실시예에 관하여 기술하겠지만 그보다 먼저 제2의 실시예의 기초가 되는 전제기술에 관하여 기술한다. 전제기술에 의한 화상부호화상장치를 제7도에 표시한다.

동도에서, 8은 화상을 입력하기 위한 복수개의 비데오카메라, 200은 복수의 화상신호를 절환하는 절환기이다.

100은 화상부호장치, 1은 입력되는 화상신호를 A/D변환하는 A/D변환기, 40은 디지털화된 화상신호에 부호화를 위하여 전처리하는 전처리부, 3은 1프레임전의 화상신호를 비축해두는 프레임메모리, 6은 전처리부(40)의 출력과 프레임메모리(3)의 출력의 차분을 얻는 감산기, 7은 상기 프레임간차분신호를 양자화부호화하는 양자화부호화기, 9는 상기 양자부호화기(7)과 역의 처리를 하는 양자화복호화기, 10은 가산기이다. 그런데 복수개의 카메라(8)에서 출력되는 화상신호는 절환기(200)에 의하여 어느 1종만 선택되어 출력된다.

이 출력신호가 화상부호화장치(100)에 입력되면 A/D변환기(1)에서 A/D변환되고 전처리부(40)에서 부호화를 위하여 전처리한 다음 프레임간차분신호를 얻기 위하여 감산기(6)에 입력된다.

이 프레임간차분신호는 양자화부호화기(7)에서 양자화부호화되어서 외부로 출력되는 동시에 양자화복호화기(9)에서 양자화복호화되고 다음의 프레임의 처리를 위하여 가산기(10)을 통하여 프레임메모리(3)출력과 가산한후 이 프레임메모리(3)에 저장된다.

여기서 화상부호화장치의 실제용도를 생각하면 예를 들면 텔레비젼 회의를 들수 있지만 텔레비젼 회의등에서는 복수의 카메라를 사용하여 그 신호를 적의 절환하여서 사용하는 경우가 가끔 있다. 그래서 절환기(200)가 절환된 경우의 동작을 생각해보면 절환직후에는 절환기(200)의 출력화상신호가 불연속으로 되어 동기신호등이 크게 난조로 되어 그 결과 동기 인입완료까지 무의미한 프레임간차분신호가 부호화되어 부호화화상의 난조가 발생하는 문제점이 있다. 동기신호의 난조를 없애려면은 복수개의 카메라(8)을 동기 결합시키는 방법이 고려될 수 있지만 카메라의 동기결합은 일반적으로 고가의 카메라로만 가능하다는 문제가 있다.

다음에 제2의 실시예에 관하여 기술한다.

이 실시예에 있어서는 입력화상신호가 절환되어 동기신호가 난조로 되는 것을 자동검출수단으로 검출하고 양자화 부호화기의 동작을 정지, 이에 의하여 무의미한 프레임간차분신호를 부호화하여 화상의 난조를 방지하고 있다. 이하 제2의 실시예에 관하여 설명한다.

제8도에 있어서 제7도와 동일부호는 동일 혹은 상당부분을 표시하며, 7은 외부로부터의 신호에 의하여 ON/OFF 제어 가능한 양자화부호화기, 9는 상기 양자화 부호하기(7)과 역(逆)의 처리를 하는 양자화복호화기, 10은 입력되는 화상신호에서 동기신호를 분리하여 그 시간적 변동을 검출하여 상기 양자화부호화기(7)과 후술의 절환수단을 제어하는 검출기, 120은 상기 검출기(110)의 출력에 따라 전처리부(40)의 출력과 감산기(6)의 출력을 절환하는 절환기, 130은 마찬가지로 상기 검출기(110)의 출력에 따라서 가산기(10)에 입력되는 프레임메모리(3)의 출력을 ON/OFF하는 절환기이며 상기 각 절환기(120), (130)은 검출기(110)의 출력이 없어졌을때부터 화상신호 1프레임분의 지연을 주어서 원상태로 복귀하도록 설정되어 있다.

여기서 상기 검출기(110)은 변동검출수단을 구성하며 절환기(120), (130)는 신호절환수단을 구성하고 있다.

다음에 작용에 관하여 설명한다.

먼저 복수개의 카메라(8)은 동기결합되어 있지않고 각각 독립으로 영상신호를 절환기(200)로 송출하고 있다. 절환기(200)을 통하여 화상부호화장치(100)에 입력된 화상신호는 A/D변화된후 전처리부(40)에서 전처리되는 동시에 검출기(110)에 입력되고 동기신호분리, 위상차 검출이 실시된다.

전처리를 마친 화상신호는 감산기(6)에서 프레임메모리(3)의 1프레임전것과의 프레임간차분신호로 변환되어 절환기(120)에 입력된다.

이 절환기(120)에는 프레임간차분신호와 본래의 화상신호의 양쪽이 입력되어 있지만 통상은 도시한데로 프레임간차분신호가 출력되게끔 되어 있다.

여기서 출력된 프레임간차분신호는 양자화부호화기(7)에서 양자화부호화 되어서 외부로 출력되는 한편 양자화복호화기(9)에서 양자화복호화된다.

한편 절환기(130)은 통상 도시한 바와 같이 프레임메모리(3)의 출력을 그대로 출력하도록 되어 있음으로서 가산기(10)에서는 양자화복호화기(9)에 의하여 출력되는 양자화복호화된 프레임간차분신호와 상기 절환기(130)에서 출력되는 프레임메모리 출력과를 가산하여 당해 프레임메모리(3)에 기록하고 다음의 프레임의 처리에 대비한다.

그런데 여기서 카메라(8)을 절환하는 절환기(200)가 절환되는 경우의 동작을 생각해 본다. 절환직후에는 그 출력영상신호는 불연속이 되므로 검출기(110)에서는 동기신호의 위상이 크게 벗어난 것을 검출한다. 양자화부호화기(7)은 상기 검출기(110)가 위상차이를 검출하면 화상의 부호화를 정지하고 화상의 난조를 방지한다.

동시에 양자화부호화기(7)의 입력의 절환(120)은 원래의 화상신호를 출력하도록 절환되어서 가산기(10)의 입력의 절환기(130)는 프레임메모리(3)의 출력이 가산기(10)에 주지 않도록 절환된다. 그리고 장치가 동기 신호의 재차 동기확립을 완료하면 검출기(110)의 출력이 없어지고 양자화부호화기(7)가 원래의 화상신호의 부호화를 개시한다. 이때 프레임메모리(3)에는 양자화복호화기(9)의 출력이 그대로 기록하게 된다. 원래의 화상신호의 부호화가 1프레임분 종료하면 절환기(120), (130)은 통상상태로 복귀하고 본래의 프레임간차분신호의 부호화를 개시한다.

이상의 동작을 제7도의 그것과 비교하면 (가) 절환기(200)을 절환한 직후에 동기신호의 시간적 변동을 검출하여 양자화부호화기(7)의 동작을 정지시키게 되므로 무의미한 프레임간차분신호를 부호화하여 화상의 난조가 발생하는 일이 없게 된다.

(나) 동기신호의 재인입이 완료된 것을 검출하여 그 직후만 프레임간차분신호가 아닌 원래의 화상신호를 부호화하기 위하여 프레임간차분신호를 그대로 사용하는 경우에 비하여 본래의 화상에 복귀하는 것이 빠르다.

즉, 종래장치에서는 절환기(200)을 절환하면은 화상이 난조를 일으켜 장시간 걸려서 복귀하지만 이 장치는 절환직후에 화상이 정지하여 단시간에 복귀한다. 제3의 실시예의 구체적 내용을 기술하기전에 그 전체 기술에 대하여 설명한다. 제9도는 후술의 제3의 실시예의 전체기술인 움직임 보상방식화상부호화장치의 구성을 표시하는 블록도로서, 도면중 제1도-제8도의 동일부호는 동일 혹은 상당부분을 표시하고 있다.

80은 최소왜곡을 주는 블록의 위치정보와 상기 양자화부호화 출력을 가변길이 부호화하여 전송로 T에 출력하는 부호화제어부, 9는 상기 양자화 부호화된 신호로부터 전기차 신호계열을 재생하는 양자화복호화부, 10은 전기양자화복호화출력과 전기최소왜곡을 주는 블록의 신호계열을 가산하여 화상신호를 재생하고 프레임메모리(3)에 기록하는 가산기이다.

다음에 동작에 관하여 설명한다. 우선 아날로그의 화상신호가 A/D변환기(1)에 입력되어 디지털 신호계열로 변환된다. 이 신호계열을 블록구성부(2)에 의하여 화상상근접한 K개마다 블록화하여 신호계열의 열을 변환하여 출력한다.

통상은 화상상에 장방형(또는 정방형)이 되도록 블록을 구성한다.

한편 프레임메모리(3)에는 현 입력신호보다도 1프레임전의 화상신호가 기억되고 있으며 참조신호생성부(4)에 의하여 현입력 블록과 화상상에서 동일위치에 오는 블록을 포함하는 복수의 블록의 신호계열이 입력 신호계열과 동기에 판독되어서 왜곡연산부(5)로 송출된다.

제10도에 이때의 현입력블록 A(동도 a)와 상기 현입력블록 A와 화상상에서 동일위치에 오는 블록(a)를 포함하는 판독된 복수블록 Ma(동도 b)의 위치관계의 예를 표시한다.

왜곡연산부(5)에서는 입력블록의 신호계열과 프레임메모리(3)으로부터의 복수블록의 신호계열과의 왜곡을 계산한다. 왜곡계산으로서는 예를 들면 유클릿 왜곡이나 절대치 왜곡등이 사용된다.

이 계산결과에 의하여 입력블록에 대하여 최소왜곡을 주는 블록이 선출된다. 계산 대상이 되는 블록의 수를 M개(M는 2이상의 정수)로 하고 최소왜곡을 주는 블록이 이중의 1번째(1=1, 2,…M)것이라고 하면 왜곡계산부(5)에서는 이 1의 값 및 그 블록의 신호계열을 출력한다.

감산기(6)에서는 입력신호계열과 이 최소왜곡을 주는 신호계열과의 차신호계열을 출력한다.

양자화부호화부(7)에서는 이 차신호계열을 양자화부호화한다. 양자화부호화된 신호와 전기위치 정보로서의 1는 부호화제어부(80)로 송출되고 가변장부호화되어서 실제의 전송로 T측으로 송출된다.

한편 양자화복호화부(9)에 의하여 복호화된 상기 차신호계열과 왜곡연산부(5)로부터의 최소왜곡을 주는 블록의 신호계열과는 가산기(10)에 의하여 가산되어 화상신호로서 재생되어서 프레임메모리(3)에 기록하게 된다.

이상과 같이하여 입력된 화상신호는 블록화되어 전프레임의 어느 위치의 블록과 가장 근사한가라는 정보와 그 볼록과의 오차성분을 양자화 한것과에 부호화 된다.

이 화상부호화 장치는 이상과 같이 구성되어 있으며 왜곡연산의 결과 대단히 근사도가 높은 블록이 존재하는 경우에도 차신호계열에 대하여 무조건 양자화부호화를 실시하므로 불필요한 정보량의 증가를 초래한다든가 모처럼 근사도 높은 블록이 존재하는데 그 블록에 대하여 양자화오차가 부가된 차신호계열을 가함으로써 양자화 오차가 축척되어서 왜곡을 크게 하는등의 문제점이 있었다.

이하 제3의 실시예에 관하여 설명한다.

이 제3의 실시예에 있어서 왜곡연산수단으로부터의 최소왜곡의 값이 비교수단에 의하여 소정의 임계치와 비교되어 상기 최소왜곡치가 소정의 임계치보다 큰 경우에만 부호화제어수단에 의하여 왜곡연산수단으로부터의 최소왜곡을 부여하는 블록의 위치정보와 차신호계열의 양자화부호화출력이 가변길이 부호화되어서 전송로로 출력되는 동시에 기록수단에 의하여 최소왜곡을 주는 블록의 신호계열에 양자화부호화 출력으로부터 재생된 차신호계열이 가산되어서 화상신호 기억수단에 기록하게 된다.

이하 제11도 내지 제15도에 표시하는 제3의 실시예를 설명한다.

도면중 제1도-제10도와 동일부호는 동일 혹은 상당부분을 표시한다. 5는 상기 입력블록의 신호계열과 상기 복수블록의 신호계열과의 왜곡을 연산하여 최소왜곡을 주는 블록의 위치정보 그때의 왜곡치 및 그 신호계열을 출력하는 왜곡연산수단으로서의 왜곡연산, 60은 왜곡연산부(5)의 출력하는 최소왜곡치와 소정의 임계치를 비교하여 비교결과를 출력하는 비교수단으로서의 비교부, 80은 전기최소왜곡을 부여하는 블록의 위치정보와 전기양자화 부호화 출력을 비교부(60)의 출력제어하여 가변길이부호화하여 전송로 T에 출력하는 부호화제어수단으로서의 부호화 제어부, 10은 전기양자화복호화출력(차신호계열)과 전기 최소왜곡을 주는 블록의 신호계열의 가산을 비교부(60)의 추력제어하여 실시하여 상기 프레임메모리(3)에 기록하는 기록수단으로서의 가산기이다.

다음에 동작에 관하여 상세하게 설명한다. 아날로그의 화상신호가 입력되면 A/D변화기(1)에 의하여 디지털 신호계열로 변환되고 또한 블록구성부(2)에 의하여 화상상 근접한 K개마다 블록화된다. 블록화에 의하여 신호계열의 열이 변환되는 모양의 예를 제12도에 표시한다. 제12도는 신호계열의 순서를 화살표로 표시한 것이며 동도(1a)는 블록회전, 동도(b)는 블록화후를 표시하고, A는 블록화된 블록이다.

한편 프레임메모리(3)에는 현입력신호보다도 1프레임전의 화상신호가 기억되어 있으며 판독수단인 참조신호생성부(4)에 의하여 현입력블록과 화상상에서 동일위치에 오는 블록을 포함하는 복수블록의 신호계열이 입력신호계열에 동기로 프레임메모리(3)에 의하여 판독되어서 왜곡연산부(5)로 송출된다. 왜곡연산부(5)의 상세구성예를 제13도에 표시한다.

동도에 있어서, 51은 왜곡연산회로, 52는 각 왜곡연산회로(51)의 연산결과를 비교하는 비교기이다. 입력신호계열 및 참조신호생성부(4)의 출력중의 한블록의 신호계열이 동기로 각 왜곡연산회로(51)에 입력된다. 각 왜곡연산회로(51)에서는 소정의 왜곡연산(예 : 유클릿왜곡이나 절대치왜곡등)을 실시하여 그 왜곡치, 입력된 참조신호 블록의 위치정보 및 그 신호계열의 3종의 신호를 후단의 비교부(52)로 출력한다. 비교부(52)에서는 각 왜곡연산회로(51)로부터 입력되는 왜곡치를 비교하여 최소의 것을 선출하고 그 왜곡치와 그때의 참조신호 블록의 위치정보 및 그의 신호계열의 3종의 신호를 출력한다.

이렇게 하여 출력된 최소왜곡을 부여하는 블록의 신호계열은 제11도에 표시한 감산기(6)에 입력되고 왜곡연산부(51)을 통하지 않고 입력된 입력신호 계열과의 차신호계열이 출력된다.

여기까지의 처리로 블록화된 입력신호계열이 프레임전의 화상내 어느 블록에 근사한가 하는 정보와 그의 블록에 대한 차신호계열을 얻게 된다. 그런데 감산기(6)으로부터 출력된 차신호계열은 양자화부호화부(7)에서 양자화되어 정보량이 압축되는 것이 된다.

양자화부호화의 방법은 여러가지 제안되고 있지만 본 실시예에서는 적응형 벡터양자화를 사용하고 있다. 적응형 벡터양자화의 상세한 것은 일본 "전자통신학회 기술보고 IE 84-1 적응형 벡터양자화 방식프레임간부호화 : 무라가미 카가레"에 게재되어 있지만 우선 벡터양자화의 원리에 관하여 간단히 설명한다.

지금 차신호계열을 K개 합쳐서 입력벡터

로 한다. 이때 K차원 유클릿 신호공간 R_k(x(-R_k)의 N개의 대표점(이것을 출력벡터라함)

의 세트를 Y=y₁, y₂,…y_N로 한다.

출력벡터 yi을 대표점(예 : 중심)으로 하는 R^k의 각 분할을 R₁, R₂,…R_N로 하여 yi의 인덱스세브를 I={1, 2,…, N}로 하면은 벡터양자화는 부호화 C와 복호화 D의 계속 접속으로서 표시된다.

여기서 왜곡

는 입출력 벡터간의 거리를 표시하며 절대치 왜곡으로 정의하면

로 된다.

그런데 적응형 벡터양자화는 이 입력벡터 x에 대하여 정규화 즉

되는 변환을 실시한

={S₁, S₂,…S_k}되는 벡터를 입력벡터로 하는 것이다. 따라서 K개로된 차신호계열이 i, m의 3개치에 양자화되게 한다. 여기서 제11도에 표시하는 양자화부호화부(7)의 상세구성예를 제14도에 표시한다.

동도에 있어서, 71은 차신호계열

의 평균치 m연산부, 72는 분산 σ연산부, 73은 연산결과의 m, σ를 사용하여 차신호계열

를

로 변환하는 정규화부, 74는 연산결과의 m, σ와 소정의 임계치를 사용하여 소정의 조건에 의하여 판별하는 판별부, 75는 출력벡터가 복수저장되어 있는 벡터저장부, 76은 정규화된 차신호계열과 벡터저장부(75)의 출력벡터군의 왜곡연산을 실시하여 가장 왜곡이 적은 출력벡터의 인덱스 i를 출력하는 왜곡연산부이다.

다음에 그 동작을 설명하면 차신호계열

는 우선 평균치 연산부(71)에 입력되어 평균치 m의 연산을 실시한다. 이 연산결과의 차신호계열

는 분산연산부(72)에 입력되어 분산 σ의 연산을 실시한다.

평균치 m, 분산 σ, 및 차신호계열

는 정규화부(73)에 입력되어 상기 차신호계열

에 대하여

되는 변환을 실시하여 출력한다. 이 S인 신호계열은 왜곡연산부(76)에 입력되어 벡터저장부(75)에 있는 출력벡터군과의 왜곡연산을 실시후 가장 왜곡이 작은 출력벡터의 인덱스 i에 양자화된다.

한편 평균치 m, 분산 σ는 판별부(74)에 입력되어 현 차신호계열

가 유효한, 정보인가, 무효인 정보인가 즉, 부호화하는데 족한 정보를 보유하고 있는지 판별결과 및 평균치 m, 분산 σ를 출력한다.

이상의 동작에 의하여 차신호계열

가 평균치 m, 분산 σ, 인덱스 i 및 유효/무효의 판별결과에 양자화부호화 된다. 그런데 제11도에 돌아가서 설명을 계속한다.

동도 표시하는 왜곡연산부(5)에 의하여 출력된 최소왜곡치는 비교부(60)로 송출된다. 비교부(60)에서는 최소왜곡치를 소정의 임계치(threshold)와 비교하여 최소왜곡치가 임계치 이하인가. 임계치보다 큰가의 정보를 부호화제어부(80)과 가산기(10)로 송출한다.

이 정보는 입력신호계열과 최소왜곡을 주는 블록의 신호계열이 충분히 닮아있는지 여부에 가능을 표시하는 것이다. 최소왜곡을 주는 블록의 신호계열이 충분히 닮았을 경우는 감산기(6)의 출력인 차신호계열을 부호화하지 않아도 충분한 품질의 화상이 재생되는 것이다. 그래서 부호화제어부(80)에서는 왜곡연산부(5)의 출력인 최소왜곡을 주는 블록의 위치정보 1, 양자화부호화부(7)의 출력인 평균치 m, 분산 σ, 인덱스 i, 유효/무효의 판별결과의 계 5종류의 정보에 비교부(60)의 출력을 고려하여 할당하고 전체로서 가변장부호화를 실시한다.

제15도에 이때의 제어조건의 한예를 표시한다. 동도는 제11도의 비교부(60)의 출력이 최소왜곡치 임계치이며 더욱 또한 유효/무효정보가 유효일때만 위치정보 1, 유효/무효정보, 인덱스 i, 평균치 m, 분산 σ의 전부에 부호를 할당하여 그 이외일때는 위치정보 1와 유효/무효 정보에만 부호를 할당하는 것을 표시하고 있다.

즉, 이것은 부호길이 가장 짧은 가변길이 부호가 된다.

종래 장치는 최소왜곡＜임계치로서 유효/무효정보가 유효일때도 상기 1, 유효/무효, i, m,의 전부에 부호를 할당하고 있었으므로 그 분만큼 화생재생상 불필요한 정보를 여분으로 발생시키고 있었다는 것이 된다.

한편 제11도의 양자화부호화부(7)에 의하여 출력된 i, m, σ, 유효/무효의 각 정보는 양자화복호화부(9)에도 입력되어서 차신호계열이 복호된다. 양자화복호화부(9)는 내부에 양자부호화부(7)에 있는 것과 동일한 벡터저장부를 보유하며 입력된 인덱스 i로부터 출력벡터

을 복호한다.

또한 평균치 m, 분사 σ를 사용하여

되는 변환을 실시하여 벡터

를 복호한다.

이렇게 하여 얻은

는 차신호계열로서 가산기(14)에 의하여 왜곡연산부(5)의 출력인 최소왜곡을 주는 블록의 신호계열에 가산된다.

또 이때 비교부(60)의 출력이 최소왜곡＜임계치인 경우 즉, 최소왜곡치를 주는 블록의 신호계열이 입력신호계열에 충분히 닮았을 경우에는 양자화복호화부(9)의 출력 즉 재생된 차신호계열을 무시하여 왜곡연산부(5)의 출력인 최소왜곡을 주는 블록의 신호계열을 그대로 출력하도록 제어한다. 이와같이 함으로써 일부러 근사도 높은 신호계열에 양자화부호화부(7), 복호화부(9)를 통하여 양자화오차의 부가된 차신호계열을 가산하여 재생화상에 여분의 왜곡을 주는 것을 피할수 있게된다.

그리고 가산기(10)의 출력은 프레임메모리(3)에 기록되어 다음 프레임의 입력신호에 대비하게 된다.

또 상기 실시예에서는 양자화부호화방법으로서 적응형벡터 양자화부호화를 채용하였지만 벡터양자화 같은 블록부호화를 사용하지 않는 경우에 대하여도 본 발명은 상기 실시예와 동일한 효과를 갖는다.

이상 설명한대로 이 실시예에 의하면 블록화수단을 통하여 입력되는 최신의 화상신호에 있어서 입력블록의 신호계열과 이 입력블록에 대응하여 판독수단에 의하여 화상신호기억수단으로부터 판독되는 복수블록의 각 신호계열과의 왜곡을 연산하며 최소왜곡 및 그 최소왜곡을 주는 블록의 위치정보와 신호계열을 출력하는 왜곡연산수단과 상기 최소왜곡치와 소정의 임계치와를 비교하는 비교수단과 상기 입력블록의 신호계열과 최소왜곡을 주는 블록의 신호계열과의 차신호계열을 양자화부호화 하는 양자화부호화수단과, 상기 비교수단의 비교결과에 기준하여 최소왜곡치가 소정의 임계치 보다 큰경우는 상기 최소왜곡을 주는 블록의 신호계열에 양자화부호화 출력으로부터 양자화복호화수단을 통하여 재생된 차신호계열을 가산하여 화상신호기억수단에 기록하는 기록수단과, 마찬가지로 최소왜곡치가 소정의 임계치보다 큰 경우에 최소왜곡을 주는 블록의 위치정보와 양자화부호화출력을 가변길이 부호화하여 전송로에 출력하는 부호화제어수단을 구비함으로써 여분의 정보발생이나 양자화오차의 축적이 억제된다.

다음에 제4의 실시예를 기술함에 있어 그 전재기술에 관하여 제16도, 제17도에 의거 설명한다.

제16도, 제17도중 제1도-제15도의 동일부호는 동일 또는 상당부분을 표시한다. 117은 차신호계열의 블록내의 평균치와 편차성분을 얻기위한 연산부, 118은 전기평균치와 편차성분을 소정의 임계치와 비교하여 양자 공히 임계치 보다 작은 경우를 무의, 그렇지 않은 경우를 유의로하는 유의무의 정보를 얻는 판별부, 119은 전기 차신호계열을 전기평균치와 편차성분을 사용하여 직류분리 정규화하는 정규화부, 7은 정기 정규화부(119)의 출력을 양자화부호화하는 양자화부호화부, 80은 전기 최소왜곡을 주는 블록의 위치정보, 유의무의 정보, 양자화부호화 출력, 평균치 및 편차성분을 가변장부호화 하여 전송로 T에 출력하는 부호화제어부, 9는 전기 양자화부호화된 신호를 복원하는 양자화복호화부, 113은 전기 양자화출력에 평균치 및 편차성분을 사용하여 평균치가산·가중치를 붙여서 전기 차신호 계열을 재생하는 차신호재생부, 114는 전기 차신호재생부(113)의 출력과 상기 최소왜곡을 주는 블록의 신호계열을 가산하여 화상신호로서 재생하고 상기 프레임메모리(3)에 기록하는 가산기이다.

다음 동작에 대하여 설명한다. 우선 아날로그의 화상신호가 A/D 변환기(1)에 입력되어 디지털 신호계열에 변환된다. 이 신호계열을 블록구성부(2)에 의하여 화상상 근접한 K개마다 블록화하여 신호계열의 열을 변환하여 출력한다. 통상 화상상에서 장방형(또는 정방형)이 되도록 블록을 구성한다.

한편 프레임메모리(3)에는 현입력신호보다도 1프레임전의 화상신호가 기억되어 있으며 참조신호생성부(4)에 의하여 현입력블록과 화상상에서 동일위치에 오는 블록을 포함하는 복수블록의 신호계열이 입력신호계열과 동기로 판독되고 왜곡연산부(5)로 송출된다.

제17도에 이때의 현입력블록 A(동도(a))와 상기 현입력블록 A와 화상상에서 동일위치에 오는 블록(a)를 포함한 판독된 복수블록 Ma(동도(b))와의 위치관계의 예를 표시한다.

왜곡연산부(5)에서는 입력블록의 신호계열과 프레임메모리(3)으로부터의 복수블록의 신호계열과의 왜곡을 계산한다.

왜곡계산으로는 예를 들면 유클릿왜곡이나 절대치왜곡등이 사용된다.

이 계산결과에 의하여 입력블록에 대하여 최소왜곡을 주는 블록이 선출된다. 계산대상이 되는 블록의 수를 M개(M는 2이상의 정수)로 하고 최소왜곡을 주는 블록이 이중의 1번째(1=1, 2,…, M)의 것이라고 하면 왜곡연산부(5)에서는 이 1의 값 및 그의 블록의 신호계열을 출력한다.

감산기(6)에서는 입력신호계열과 이 최소왜곡을 주는 신호계열과의 차신호계열을 출력한다. 평균치, 편차연산부(117)에서는 이 차신호계열의 블록내의 평균치와 편차를 연산한다.

판별부(118)에서는 상기 평균치 및 편차에 대하여 각각 소정의 임계치 Th₁, Th₂를 보유하고 있으며, 평균치＜Th₁, 또한 편차＜Th₂이면 유의무의정보→무의 평균치＞Th₁, 또는 편차＞Th₂이면 유의무의정보→유의인 판별을 실시한다.

정규화부(119)에서는 차신호계열의 각각의 신호에 대하여 평균치를 빼고 편차로 제함으로써 정규화된 차신호계열을 얻는다.

양자화부호화부(7)에서는 이 정규화된 차신호계열을 양자화부호화 한다.

이 양자화부호화 된 신호와 전기평균치 및 편차, 유의무의정보, 최소왜곡을 주는 블록의 위치정보 1는 실제의 전송로 T측으로 송출된다.

더욱 이때 유의무의 정보가 유의의 경우는 부호화제어부(80)에 입력되는 모든 정보를 가변길이 부호화하지만 무의의 경우는 발생정보량을 적게하기 위하여 유의무의 정보 및 위치정보 1만을 가변길이 부호화하여 출력한다.

한편 양자화복호화부(9)에 의하여 복호화된 정규화차신호계열은 차신호재생부(113)에서 편차를 곱하여 평균치를 가산함으로써 차신호계열로서 재생된다.

단 유의무의정보가 무의로 되었을때는 차신호계열은 전부 0으로 한다.

이 차신호계열은 최소왜곡을 주는 블록의 신호계열과 가산기(114)에 의하여 가산되고 화상신호로서 재생되어서 프레임메모리(3)에 기록한다. 이상과 같이하여 입력된 화상신호는 블록화되고 전프레임의 어느위치의 블록과 가장 닮았는가 라는 정보와 그 블록과의 오차성분을 양자화 한것과에 부호화 된다.

이 화상부호화 장치는 이상과 같이 구성되었으며 입력되는 화상신호의 성질이 화상상에서 동일위치에 오는 참조블록을 사용한 경우에는 유의로 되지만 복수의 참조블록을 사용함으로써 무의가 되는 블록의 출현빈도가 높은 경우에는 정보량을 감소시키는데 유효하지만 반대로 복수의 참조블록을 사용하여도 유의가 되는 블록의 출현빈도가 높은 경우에는 오히려 참조블록의 위치정보의 분이 정보량의 증가를 발생시키는 문제점이 있었다.

이하 제4의 실시예에 관하여 기술한다.

이 실시예의 것은 복수의 참조블록과 입력블록과의 근사도 판정에 종래는 유의, 무의의 판별 밖에 사용되지 않았던 차신호계열의 평균치와 편차성분을 사용하여 판별수단으로 유의, 무의의 판별과 함께 근사도의 판별도 실시하며 가장 근사도가 높은 블록조차 무의로 되지 않은 경우는 입력블록과 화상상에서 동일위치에 오는 동일위치 블록의 차신호계열을 양자부호화한 것을 사용하고 참조블록의 위치정보는 전송하지 않아도 되게끔 한 것이다.

이하 제18도 내지 제21도에 의하여 설명한다.

또한 제18도-제21도의 부호는 제1도-제17도의 것과 같다.

도면중, 150은 입력블록의 신호계열과 전기복수블록의 신호계열과의 차신호계열을 출력하는 제1연산수단으로서의 감산부, 160은 전기복수의 차신호계열의 각 블록내의 평균치와 편차성분을 연산하는 제2연산수단으로서의 평균·편차 연산부, 170은 전기 각 블록의 평균치와 편차성분으로부터 소정의 수속에 기준하여 입력블록의 신호계열과 가장 근사도가 높은 블록(최근사블록)을 선출하고, 그 위치정보를 출력하는 동시에 최근사블록의 평균치와 편차성분을 소정의 임계치와 비교하여 입력블록의 유의, 무의를 판별하고 유의무의 정보로서 출력하는 판별수단으로서의 판별부, 119는 입력블록과 화상상에서 동일 위치에 오는 블록(동일위치블록)에 대응하는 전기감산기(150)의 출력과 똑같이 동일위치 블록에 대응하는 전기 평균·편차연산부(160)의 출력을 사용하여 동일위치 블록대응의 차신호계열을 직류분리 정규화하는 정규화부, 80은 상기 양자화부호화부(7)의 양자화부호화출력, 전기평균, 편차 연산부(160)의 출력하는 동일위치 블록의 평균치와 편차성분, 상기 판별부(170)의 출력하는 최근사 블록의 위치정보와 유의무의 정보를 가변길이 부호화하여 출력하는 부호화 제어수단으로서의 부호화 제어부, 9는 상기 양자화부호화된 신호를 복원하는 양자화복원화 수단으로서의 양자화복화부, 113은 상기 양자화 복호화출력에 평균치 및 편차성분을 사용하여 평균치가산 가중치를 부가하여 저기 동일위치 블록대응의 차신호계열을 재생하는 차신호 재생부, 180은 상기 유의무의 정보의 제어하에 상기 재생된 동일위치 블록대응의 차신호계열에 상기 참조신호생생부(4)의 출력내 동일위치 블록에 대응하는 참조신호계열을 가산할 것, 혹은 참조신호생성부(4)의 출력내 위치정보가 표시하는 최근사 블록에 대응하는 참조신호 계열 그 자체를 전기프레임메모리(3)에 기록하는 화상신호 재생수단으로서의 화상신호재생부이다.

다음에 동작에 관하여 상세하게 설명한다.

아날로그의 화상신호가 입력되면 A/D 변환기(1)에 의하여 디지털신호계열에 변환되며 또한 블록구성부(2)에 의하여 화상상 근접한 K개마다 블록화 된다. 블록화에 의하여 신호계열의 변환되는 모양의 예를 제19도에 표시한다.

제19도는 신호계열의 순서를 화살표로 표시한 것이며 동도(a)는 블록화전, 동도(b)는 블록화후를 표시하며 A는 블록화전 입력블록이다.

한편 프레임메모리(3)에는 현입력신호보다도 1프레임전의 화상신호가 기억되어 있으며 참조 신호생성부(4)에 의하여 현입력블록과 화상상에서 동일위치에 오는 블록을 포함하는 복수블록의 신호계열이 입력신호계열에 동기로 프레임메모리(3)에 의하여 판독되어 감산부(150)의 로 송출된다.

여기서 감산부(150)의 상세구성예를 제20도에 표시한다.

동도에 있어서 입력신호계열과 복수블록의 참조신호계열은 동기로 각 감산기에 입력되어 각 참조블록대응의 차신호계열을 얻는다.

복수블록의 참조신호계열내에는 동일위치 블록의 참조신호계열도 포함되어 있으며 이에 대응하는 차신호계열은 타의 참조블록의 경우와 같이 제18도에 표시하는 평균·편차연산부(160)으로 송출되는 동시에 정규화부(119)로도 송출된다.

다음에 평균·편차 연산부(160)의 상세구성예를 제21도에 표시한다.

동도에 있어서, 161은 입력되는 신호계열을 블록내에서 누산하는 누산기(累算器), 162는 입력된 신호를 블록내의 요소의 수 K로 제하는 제산기, 164는 εi^n-mn의 감산을 실시하는 감산기, 163은 절대치 연산을 실시하는 연산기이다. 여기서 참조블록의 수를 M개(M은 2이상의 정수)로 하여 M개의 블록의 각각에 대응하는 차신호계열을 ε⁰, ε¹,…, εⁿ, ε^M-1로 표시하는 것으로 한다.

단 ε⁰는 동일위치 블록에 대응하는 차신호계열로 한다.

평균·편차연산부(160)에서는 차신호계열

에 대하여 이하의 연산을 실시하고 평균치 mn와 편차성분σⁿ를 얻는다.

이 평균·편차연산부(160)에서 출력된 각 참조블록대응의 평균치 mⁿ과 편차성분 σⁿ판별부(170)로 송출되고 최근사 블록의 선술과 그 블록의 유의무의 판별이 행하여 진다.

최근사블록이 선술방법으로서는 최종적으로 유의무의 정보가 무의로 되도록 하는 것이 목적이 되어 있으므로 다음 방식을 사용한다.

(i) 입력되는 (mⁿ,σⁿ)의 M개의 조내 mⁿ＜Th₁또한 σⁿ＜Th₂를 만족시키는 것을 선출한다.

또 Th₁및 Th₂는 유의무의 판별용의 임계치이다.

(ii) 이 조건을 만족시키는 것이 없는 경우는 유의 무의 정보를 유의로 하여 출력한다.

(iii) 만족시키는 것이 있는 경우는 유의무의 정보는 무의로서 출력되게 되지만 그들중에서 최근사 블록을 선출하기 위하여 아래와 같은 평가관수를 설정한다.

γⁿ=α│mⁿ│+βσⁿ(α,β는 정수)

이 γ가 최소로 되는 (mⁿ, σⁿ)에 대응하는 블록을 최근사 블록으로 정한다. 지금 n=1(1는 1∼M의 어느 정수)일때의 γ1가 최소치가 되었다면 최근사 블록의 위치정보로서 1를 출력한다.

이하에서는 유의로 되는 경우와 무의로 되는 경우로 분류하여 동작설명을 계속한다.

(가) 무의로 되는 경우

이 경우는 유의 무의 정보와 최근사 블록의 위치정보만이 부호화제어부(80)에서 가변길이 부호화되어 전송로 T측으로 송출된다. 동시에 화상신호 재생부(180)에서는 상기 참조신호생성부(4)에서 위치정보로 표시되는 최근사 블록의 참조신호계열을 판독하고 전기프레임메모리(3)에 기록하고 다음의 프레임의 화상신호입력에 대비하게 된다.

(나) 유의로 되는 경우

본 발명은 유의로 되는 경우에 최근사 블록을 사용하지 않고 동일위치블록을 대상으로 하는 것을 큰 특징으로 한다.

우선 연산부(150)에 의하여 출력되는 차신호계열내 동일위치 블록에 대응하는

와 평균·편차연산부(160)에서 출력되는 m⁰, σ⁰를 정규화부(119)에 입력하고 거기서

에 대하여 아래연산을 실시하여서 정규화된 신호계열

를 얻는다.

이렇게하여 얻는

는 양자화부호화부(7)로 송출되어 정보량이 압축되는 것이지만 본 실시예에서는 이 양자화부호화부(7)에 벡터양자화를 사용하고 있다.

여기서 벡터양자화에 관하여 간단히 설명한다. 지금 입력신호계열을 K개 종합하여 입력벡터

로 한다. 이때 K차원 유클릿신호공간 R^k(x∈R^k)의 N개의 대표점(이것을 출력벡터라함)

= {yi₁, yi₂,…, yi_k}의 세트를

Y={y₁, y₂,…, y_N}로 한다.

출력벡터 yi를 대표점(예 : 중심)으로 하는 R^k의 각 분할을 R₁, R₂, …, R_N로 하여 yi의 인덱스 세트를 I={I, Z,…N}로 하면 벡터양자화 Q는 부호화 C와 복호화 D의 종속접속으로 하여 다음과 같이 표시된다.

여기서 왜곡

는 입출력벡터간의 거리를 표시하며 절대치 왜곡으로 정의하면

로 된다. 이상의 벡터 양자화부호화에 의하여 양자화부호화부(7)에 입력된 신호계열

은 인덱스 I에 양자화부호화되어 출력된다.

부호화제어부(80)에서는 상술한 유의무의 정보 동일위치 블록을 참조신호로 하여 구한 평균치·편차성분 및 양자화부호화 출력의 4종의 신호를 가변길이 부호화하여 전송로 T측에 출력한다.

이때 최근사블록의 위치정보는 불필요하게 된다. 한편 양자화복호화부(9)에서는 양자화부호화부(7)에 의하여 출력되는 인덱스 I를 벡터 양자화복호화하여 신호계열

를 얻는다.

차신호재생부(113)에서는

인 평균치 가산·가중치 부가의 연산을 실시하여 동일위치 블록에 대응하는 차신호계열을 재생하여 출력한다.

화상신호 재생부(180)에서는 참조신호 생성부(4)에서 동일위치 블록의 참조신호 계열을 판독하여 상기 차신호재생부(113)에서 재생된 차신호계열을 가산하여 프레임메모리(3)에 기록하고 다음의 프레임의 화상신호에 대비하게 된다.

이상과 같이 이 실시예에 의한 화상부호화 장치는 블록화 수단을 통하여 입력되는 최신의 화상신호에 있어서의 입력블록의 신호계열과 이 입력블록에 대응하는 판독수단에 의하여 화상신호 기억수단으로부터 판독된 복수블록의 각 신호계열과의 차신호계열을 구하는 제1연산수단과 각 블록마다 상기 차신호계열의 평균치와 편차성분을 구하는 제2연산수단과 상기 각 블록의 차신호계열의 평균치와 편차성분에 기준하여 상기입력블록과 가장 닮은 최근사블록을 판별하여 그 위치정보를 출력함과 동시에 상기 평균치와 편차성분을 소정의 임계치와 비교하여 입력블록의 유의, 무의를 판별하여 유의무의 정보로서 출력하는 판별수단과 상기 제1연산수단으로부터의 동일위치블록대응의 차신호계열을 양자화부호화하는 양자부호화수단과 상기 양자화부호화하는 출력을 부호화하는 양자화복호화수단과 상기 유의무의 정보가 유의일때는 상기 판독수단으로 판독된 동일위치블록의 신호계열에 상기 양자복호화수단으로 복호화된 차신호계열을 가산한 신호계열을, 무의일때는 상기 위치정보에 기준하여 판독수단으로 판독된 최근사블록의 신호계열을 화상신호기억수단에 써넣는 화상신호 재생수단과, 상기 양자화부호화출력과 위치정보와 유의무의 정보를 입력하여 상기 유의무의 정보가 유의일때는 위치정보를 제외하고 무의일때는 양자화부호화 출력을 제외하여 각 정보를 가변 부호화하여 전송로에 출력하는 부호화제어수단과를 구비하여 유의무의 정보가 유의의 경우는 입력블록과 대응하는 동일위치 블록을 사용하여 위치정보를 불용으로 하였으므로 화상의 성질상 유의로 되는 입력블록이 많은 경우도 정보량의 증가를 억제할수 있다.

Claims

비데오카메라로부터 출력되어 디지털 신호계열로 변환된 현입력계열에 의하여 구성되는 화상정보 보다도 1프레임전의 화상정보를 기억하고 있는 프레임메모리와 현입력신호계열에 의하여 구성된 화상정보중의 특정한 입력신호계열에 의하여 형성되는 블록과 화상상의 위치가 동일한 블록을 포함하는 이 화상정보 보다 1프레임전의 화상정보중의 신호계열에 의하여 형성되는 복수블록을 상기 프레임메모리(3)로부터 판독하는 참조신호 생성부(4)를 보유하는 화상부호화 장치에 있어서, 전기 비데오카메라(8)에 비데오카메라(8)가 미리 설정되어 있는 이동방향을 향하여 이동한 것을 검지하였을때에 검출신호를 출력하는 이동방향검출수단(26)을 설치하여 이 이동방향 검출수단에서 출력된 검출신호에 기준하여 전기 비데오카메라(8)의 변위량을 연산함과 동시에 이 연산한 비데오카메라(8)의 변위량에 대응하는 전기프레임메모리(3)상의 특정위치를 산출하여 전기참조신호생성부(4)에 출력하는 이동정보발생부(11)를 설치하며 이 이동정보발생부(11)로부터의 출력에 기준하여 전기프레임메모리(3)상의 특정위치에 기억되어 있는 전기복수블록을 판독하도록 한 것을 특징으로 하는 화상부호화장치.
입력된 화상신호와 1프레임전의 화상신호의 프레임간 차분 신호를 양자화부호화기(7)에 의하여 양자화부호화하여 출력하는 동시에 이 출력을 양자화복호화기(9)에 의하여 양자화복호화 하여서 프레임메모리(3)를 재기록하도록 한 화상부호화장치에 있어서, 상기 입력된 화상신호에 포함되는 동기신호의 시각적변동을 검출하는 변동검출수단(110)을 구비함과 동시에 상기 양자화부호화기(7)과 상기 변동검출수단(110)의 출력에 의하여 변동이 검출되는 동안 동작을 정지하도록 구성한 것을 특징으로 하는 화상부호화장치.
입력된 화상신호와 1프레임전의 화상신호의 프레임간 차분 신호를 양자화부호화기(7)에 의하여 양자화부호화하여 출력하는 동시에 이 출력을 양자화복호화기(9)에 의하여 양자화복호화하여 프레임메모리(3)를 재기하도록한 화상부호장치에 있어서, 상기 입력된 화상신호에 포함되는 동기신호의 시간적 변동을 검출하는 변동검출수단(110)과 상기 변동검출수단(110)의 출력에 기준하여 상기 양자화부호화기(7)로의 입력을 프레임 간 차분 신호로부터 입력화상신호로 절환하는 신호절환수단(120), (130)를 구비하는 동시에 상기 양자화부호화기(7)가 상기 변동검출수단(110)의 출력에 기준하여 변동이 검출되는 동안 동작을 정지하도록 구성하고 또한 상기 신호절환수단(120), (130)이 상기 변동이 검출되지 않게 된때부터 입력화상신호 1프레임분의 지연을 갖게하여 이 입력화상신호로부터 프레임간 차분 신호로 절환하게끔 동작하도록 구성한 것을 특징으로하는 화상부호화장치.
화상신호를 상기 적어도 1프레임분 기억하는 화상신호 기억수단(3)과, 입력신호계열을 복수개마다 종합하여 블록화하는 블록화수단(2)과, 상기 블록과 수단(2)를 통하여 최신의 화상신호가 입력되었을 때 이 입력블록에 화상상에서 대응하는 블록을 포함하는 복수블록의 신호계열을 상기 화상신호기억수단(3)으로부터 판독하는 판독수단(4)과, 이 입력블록의 신호계열과 상기 복수블록의 각 신호계열의 왜곡을 연산하여 최소왜곡 및 그 최소왜곡을 주는 블록의 위치정보와 신호계열을 출력하는 왜곡연산수단(5)과, 상기 최소왜곡치와 소정의 임계치를 비교하는 비교수단(60)과, 상기 입력블록의 신호계열과 최소왜곡을 주는 블록의 신호계열의 차신호계열을 양자화부호화하는 양자화부호화수단(7)과, 이 양자화부호화출력으로부터 상기 차신호계열을 재생하는 양자화복호화수단(9)과 상기 비교수단(60)의 비교결과에 기준하여 최소왜곡치가 소정의 임계치보다 큰 경우에 상기 최소왜곡을 주는 블록의 신호계열에 상기 재생된 차신호계열을 가산하여 화상신호기억수단(3)에 기록하는 기록수단(10)과, 마찬가지로 최소왜곡치가 소정의 임계치보다 큰 경우에 최소왜곡을 주는 블록의 위치정보와 양자화부호화출력을 가변길이 부호화하여 전송로로 출력하는 부호화제어수단(80)을 구비하여 구성된 것을 특징으로 하는 화상부호화장치.
제4항에 있어서, 기록수단(10)은 최소왜곡치가 소정의 임계치 이하인 경우에 상기 최소왜곡을 주는 블록의 신호계열을 그대로 화상신호 기억수단(3)에 기록하도록 한 것을 특징으로한 화상부호화장치.
제4항에 있어서, 부호화제어수단(80)은 최소왜곡치가 소정의 임계치이하인 경우에 양자화부호화 출력에 대하여 부호길이의 가장 짧은 가변길이부호를 할당하도록 한 것을 특징으로 하는 화상부호화장치.
화상신호를 평상시 적어도 1프레임분 기억하는 화상신호기억수단(3)과, 입력신호계열을 복수개마다 종합하여 블록화하는 블록화수단(2)과, 상기 블록화수단(2)를 통하여 최신의 화상신호가 입력되었을 때 이 입력블록에 화상상에 대응하는 동일위치 블록을 포함하는 복수블록의 신호계열을 상기 화상신호기억 수단(3)으로부터 판독하는 판독수단(4)과, 이 입력블록의 신호계열과 상기 복수블록의 각 신호계열의 차신호계열을 구하는 제1연산수단(150)과, 각 블록마다에 상기 차신호계열의 평균치와 편차성분을 구하는 제2연산수단(160)과, 상기 각 블록의 차신호계열의 평균치와 편차성분에 기준하여 상기 입력블록과 가장 근사한 최근사블록을 판별하여 그 위치정보를 출력하는 동시에 상기 평균치와 편차성분을 소정의 임계치와 비교하여 입력블록의 유의, 무의를 판별하여서 유의무의 정보로서 출력하는 판별수단(170)과, 입력블록과 화상상에서 동일위치에 오는 블록에 대응하는 상기 제1연산수단(150)의 출력과 같이 동일위치블록에 대응하는 상기 제2연산수단(160)의 출력을 사용하여 동일위치 블록 대응의 차신호계열을 직류분리정규화하는 정규화부(119)와, 상기 정규화된 동일위치 블록대응의 차 신호계열을 양자화부호화하는 양자화부호화수단(7)과, 상기 양자화부호화 출력을 복호화하는 양자화복호화수단(9)과, 상기 양자화복호화 출력에 평균치 및 편차성분을 사용하여 평균가산·가중치를 부가하여 상기 동일위치 블록대응의 차신호계열을 재생하는 차신호재생부(113)와, 상기 유의무의 정보가 유의 일때에는 상기 판도구단(4)에서 판독된 동일위치 블록의 신호계열에 상기 양자화복호화수단(9)에서 복호화되어 상기 차신호재생부에서 재생된 차신호계열을 가산화 신호계열을, 무의 일때에는 상기 위치정보에 기준하여 판독수단(4)으로 판독한 최근사 블록의 신호계열을 화상신호기억수단(3)에 기록하는 화상신호재생수단(180)과, 상기 양자화부호화 출력과 위치정보와 유의무의 정보를 입력하여 상기 유의무의 정보가 유의일때에는 위치정보를 제외하고, 무의일때에는 양자화부호화 출력을 제외하면 각 정보를 가변장부호화하여서 전송로로 출력하는 부호화제어수단(80)를 구비한 것을 특징으로 하는 화상부호화장치.