KR930006534B1

KR930006534B1 - 화상신호의 부호복호화기

Info

Publication number: KR930006534B1
Application number: KR1019900013366A
Authority: KR
Inventors: 다까히로 후꾸하라; 도꾸미찌 무라까미
Original assignee: 미쯔비시덴끼 가부시끼가이샤; 시기 모리야
Priority date: 1989-10-11
Filing date: 1990-08-29
Publication date: 1993-07-16
Also published as: JPH03125585A; US5214721A; KR910009092A; US5247590A

Abstract

내용 없음.

Description

화상신호의 부호복호화기

제1도는 본 발명의 1실시예에 의한 부호화기의 구성을 도시한 블럭구성도.

제2도는 복호화기의 구성을 도시한 블럭구성도.

제3도는 입력화상중에서 추출된 배경화상 및 특징화상의 도면.

제4a도는 3차원형상 기본모델을 도시한 도면.

제4b도는 분할패치통합후의 3차원 형상모델을 도시한 도면.

제5도는 부호화기의 처리순서중의 임계값처리부의 흐름도.

제6도는 3각형 패치의 분할예를 도시한 도면.

제7도는 종래의 부호화기의 구성을 도시한 블럭구성도.

제8a,b도는 종래의 부호화기의 검출된 부분과 그 확대도.

제9도는 제8b도의 검출부에 대해서 4개의 특징점을 대응시킨 것을 도시한 도면.

제10a도는 검출부의 수치표현도.

제10b도는 검출부의 형상표현도.

* 도면의 주요부분에 대한 부호의 설명

1 : 특징화상작성부 2 : 위치정보검출부

3 : 위치정보 표현부 4 : 형상정보 검출부

5 : 형상정보표현부 6 : 3차원 형상모델 정합부

7 : 3차원 형상모델 데이타베이스 8 : 3각형 패치분할부

9 : 휘도 정보 검출부 10 : 임계값처리부

11 : 농담정보 다이나믹 코드북 13 : 다중화부

14 : 합성부 16 : 배경화메모리

본 발명은 화장정보를 전송하는 부호복호화기에 관한 것으로, 특히 그 전송능률의 향상에 관한 것이다.

제7도는, 예를들면 일본국 특허공개공보 소화 64-7787호에 개시된 종래의 지적부호화방식을 실현하는 부호복호화기를 도시한 블럭구성도로써, (1)은 디지탈화된 입력화상신호(900)에서 화상의 특징을 추출하기 위한 특징화상 작성부, (2)는 그 특징화상 작성부(1)의 출력에 대해서 화상을 구성하는 각각의 요소의 화면상에서 위치를 구하는 위치정보검출부, (3)은 그 위치정보검출부(2)에서 얻어지는 위치정보를 수치로 표현하기 위한 농담신호 위치정보 표현부, (4)는 상기 특징화상작성부(1)의 출력에 대해서 화상을 구성하는 각각의 요소형상을 조사하기 위한 형상정보검출부, (5)는 그 형상정보검출부(4)에서 얻어지는 형상정보를 수치로 표현하기 위한 형상정보표현부, (910)은 위치정보 표현부(3)에서 얻어지는 제1의 출력화상신호, (920)은 형상정보표현부(5)에서 얻어지는 제2의 출력화상신호이다.

다음에 동작에 대해서 설명한다.

디지탈화된 입력화상신호(900)에서 화상의 특징을 추출하기 위한 특징화상작성부(1)에 있어서, 예를들면 제8a도에 도시한 입력화상신호(900)내의 점선으로 나타낸 부분(100)을 검출하고, 제8b도에 도시한 바와같이 그 확대도에서의 요소(200)을 특징화상으로써 작성한다.

상기 특징화상적성부(1)에서 작성된 특징화상에 대해서 위치정보검출부(2)에서는 실제로 각 요소의 화면상에서의 위치를 구하고, 이 출력신호를 또 위치정보 표현부(3)에서 절대좌표의 형태로 표현하고, 제1도의 출력신호(910)으로써 출력한다.

다음에 특징화상작성부(1)에 작성된 각 특징화상에 대해서 각각의 요소의 형상을 조사하는 형상장보검출부(4)에서는, 예를들면 제9도에 도시한 바와 같이 제8b도에 도시한 요소(200)(입술부주위)의 형상을 분석하고, 특징점 P₀, P₁, P₂, P₃을 검출한다.

형상정보 표현부(5)는 상기 검출출력 P₀, P₁, P₂, P₃의 좌표값을 P₀(X₀,Y₀), P₁(X₁,Y₁), P₂(X₂,Y₂), P₃(X₃,Y₃)으로써 제10a도에 도시한 바와 같이 검출하고, 또 제10b도에 도시한 바와같이 특징화상의 형상표현을 실행한다. 이와같이 해서 형상정보표현부(5)에서 제2의 출력화상신호(920)이 얻어진다.

또한, 제10b도에 도시한 각 특징량 파라미터는 다음과 같다.

ℓ : (X₁,Y₁)과 (X₃,Y₃)의 거리에서 입이 열림 폭을 표현.

(m) : (X₀,Y₀)과 (X₂,Y₂)의 거리에서 입의 열림도를 표현.

P,q : 특징화상의 형태를 표현하기 위한 상대적 파라미터.

α : 특징화상의 경사.

종래의 지적부호화기는 이상과 같이 구성되어 있으므로, 입력화상중에, 메모리에 등록되어 있지 않은 새로운 형상이 출력한 경우, 또 특징화상을 구성하는 화소의 휘도정보가 크게 변화한 경우에 입력한 초기프레임의 화상의 휘도정보인채로 합성복호화를 실행하면, 출력화상이 입력화상과 매우 다른 것으로 된다는 문제점이 있었다.

또, 화상의 농담정보를 송수신측 쌍방이 화소단위로 기억해 두지 않으면 안되므로 메모리의 사용용량이 크게 된다는 문제점도 있었다.

또, 대상화상중에 움직임이 큰 것이 있으며, 전송해야할 농담정보도 대량으로 되므로, 낮은 비율에서의 전송을 할수없게 되는 경우가 생긴다는 문제점도 있었다.

본 발명의 목적은 상기와 같은 문제점을 해소하기 위하여 이루어진것으로, 대상화상중에 움직임이 큰 것이 출현한 경우, 또 특징화상의 화소의 휘도값이 크게 변화한 경우에 있어서도 적은 정보량의 전송을 할수 있고, 또한 메모리의 사용용량도 크게 삭감할 수 있는 화상신호의 부호복호화기를 제공하는 것이다.

본발명에 관한 화상신호의 부호복호화기는 입력화상신호에서 특징화상을 작성하기 위한 특징화상적성부, 작성 추출한 특징화상에 대해서 3차원형상모델을 정합시키는 3차원형상 모델정합부, 상기 3차원형상모델의 구성요소인 3각형 패치내의 휘도의 분산값을 검출하는 휘도정보 검출부, 검출한 패치마다의 휘도의 분산값과 임계값의 대소비교를 실행하여 상기 패치의 대표농담값을 농담정보코드북에서 검색하고, 그 대표인덱스 및 분할후의 3차원형상모델의 좌표 정보 및 신규로 등록하는 패치의 농담정보를 출력하는 임계값처리부, 3각형 패치내의 농담정보를 등록하고, 새로운 3각형 패치의 농담정보를 등록하고, 새로운 3각형 패치의 농담정보도 등록가능한 다이나믹코드북, 3각형 패치를 3분할하고, 3개의 3각형 패치로 재구성하는 3각형 패치분할부, 배경화상정보와 3각형 패치정점좌표정보, 인덱스정보, 신규등록 패치 농담정보를 다중화하고, 전송로로 송출하는 다중화부를 부호화기로써 구성하는 한편, 다중화된 신호를 3각형 패치정점좌표정보, 인덱스정보, 배경화상정보, 신규등록 패치 농담정보로 분할하는 다중화부, 상기 3각형 패치정점좌표정보를 등록하는 3차원형상모델 데이타베이스, 상기 농담정보의 다이나믹 코드북, 또 상기 3각형 패치정점좌표정보, 이덱스정보, 배경화상정보, 신규등록 패치농담정보를 합성하고, 합성출력화상을 제공하는 합성부, 배경화상정보를 이미지정보로써 기록하는 배경화상메모리를 복호화부로써 구성한 것이다.

본 발명에 있어서는 입력화상중에서 검출한 특징화상에 대해서 기본적으로 되는 3차원형상모델을 정합시키고, 구성요소인 3각형 패치마다의 휘도의 분산값을 산출하고, 이것과 임계값의 대소관계의 판정을 실행하여 분산값의 쪽이 큰 경우는 이 3각형 패치는 휘도의 변화가 크기때문에 3각형 패치의 중심점과 다른 3정점을 연결하여 3분할한다. 또, 상기의 임계값처리를 실행하고, 3각형 패치의 계층적 분할을 실행한다. 한편, 분산값이 임계값보다 작은 경우는 3각형 패치를 1조의 농담값으로 대표시켜서 이것을 수신측으로 전송한다.

이상의 조작에 의해 화상의 휘도변화가 큰곳은 3각형 패치를 세분화하고, 완만한곳은 큰 패치로 표현할수 있고, 또한 각 3각형 패치에 대해서는 1조의 농담값으로 표현할 수 있으므로, 매우 적은 정보량으로 그 화상을 표현할 수 있고 화상정보를 전송하는 경우에서도 초저비율에서의 정보전송이 가능하게 된다. 또, 상기 3각형 패치의 농담값은 부호화기가 구비한 다이나믹코드북에 따라 패턴매치를 실행하고, 매칭에 성공한 것은 인덱스정보를 전송하고, 실패한 것은 그 대표값을 스칼라 양자화하고, 이것을 전송하면 동시에 새롭게 다이나믹코드북에 등록되므로, 다음에 같은 농담값을 3각형 패치가 출현하여도 그 다이나믹코드북에 등록이 끝났기 때문에 반드시 매칭에 성공하게 된다.

이상과 같이 본부호화기는 학습기능도 겸비하여 대상화상에 적응한 형태로 부호화를 진행해 갈 수가 있다.

이하, 본 발명의 1실시예를 도면에 따라서 설명한다.

제1도는 본 발명의 1실시예에 의한 부호화기의 구성을 도시한 블럭도로써, 제7도와 동일부호는 동일부분을 나타낸다. 도면에서(6)은 특징화상작성부(1)에 추출한 특징화상에 대해서 3차원 형상모델데이타베이스(7)에 등록된 3차원형상기본모델을 정합시키는 3차원 형상모델 정합부, (9)는 3차원형상모델의 구성요소인 3각형 패치내의 휘동정보를 검출하는 휘도정보검출부, (10)은 3각형 패치와 사전에 설정된 임계값의 대소판정을 실행하는 임계값처리부, (8)은 3각형 패치를 또 3개의 3각형 패치로 분할하는 3각형 패치분할부, (11)은 리드, 라이트 가능한 농담정보의 다이나믹코드북, (13)은 배경화상정보(100), 인덱스정보(190), 3차원형상모델정보(150), 신규등록 패치농담정보(200)을 다중화해서 수신측으로 송신하는 다중화부이고, 이들을 접속해서 부호화기를 구성하고 있다.

한편, 제2도에 있어서(16)은 배경화상을 기록해 두는 배경화상메모리, (14)는 인덱스정보(190), 3차형상모델정보(240), 신규등록 패치농담정보(200) 및 배경화상정보(100)을 합성해서 출력화상신호(230)을 출력하는 합성부이며, 이들을 접속해서 복호화기를 구성하고 있다.

다음에 동작에 대해서 설명한다.

입력화상신호(900)이, 예를들면 인물의 얼굴화상인 경우, 특징화상작성부(1)에 의해 배경화상정보(100)(제3도의 (300)에 해당)과 특징화상정보(110)(제3도의 (310)에해당)으로 분리된다. 다음에, 사전에 3차원 형상 모델데이타베이스(7)에 등록된 3차원 기본형상모델정보(120)을 상기 특징화상정보(110)으로 나타내어지는 특징화상에 대해서 3차원 형상모델정합부(6)에서 정합시켜서 정합모델정보(130)을 출력한다. 이때의 정합모델정보(130)은 예를들면 제4a도와 같은 화상을 제공하게 된다. 또, 정보(130)은 3각형 패치분할부(8)에서 분할된 3각형 패치의 모델정보(140)과 가산기(20)에서 합을 취하고, 새로운 3차원형상 모델정보(150)으로써 휘도정보 검출부(9)에 입력된다. 여기서는 새로운 3차원형상모델을 구성하는 3각형 패치내의 휘도의 분산값을 산출하고, 패치의 휘도분산값정보(160)을 출력한다. 또, 분산값과 임계값의 대소판정을 임계값처리부(10)에서 실행한다. 여기서, 이 처리의 흐름을 제5도의 흐름도에 따라서 설명한다.

먼저, (410)에서 n차 계층화시의 휘도분산값의 임계값 Tn과 3각형 패치 Pn의 휘도분산값 Ln과의 대소판정을 실행하고, Ln〈 Tn이면 처리

로, Ln≥ Tn이면(420)으로 진행하여 3각형 패치 Pn을 동패치의 중심점과 3정점을 연결해서 되는 3개의 3각형 패치 Pn,0, Pn,1, Pn,2로 분할하고, 이후 이들의 패치에 대해서 (440)에서의 임계값 판정을 실행한다. 단, 여기서, Ln,k이라함은 n차계층화시의 패치번호 k(k=0,1,2)의 패치의 휘도분산값으로 한다. 또한, 패치 Pn,k의 휘도분산값 Ln,k는 다음식(1)에서 정의한다.

상기식에서 M은 패치 Pn,k내의 화소수

는 동 패치의 화소번호(i)의 휘도값이고, Vn,K는 패치 Pn,k의 휘도의 평균값이다.

다음에, (440)의 판정에 의해 Ln,k〈 Tn인 경우는 처리

로 이행하고, 다음의 3각형 패치 Pn,k+1에 대해서 마찬가지의 처리를 실행하지만, 여기서 반대로 Ln,k ≥Tn인 경우는 (500)의 3각형 패치 Pn,k를 다시 3분할하는 처리로 이행한다. 그리고, 최종계층화수 N을 계층화수 n이 초과한 경우는 (490)에 의해 3각형 패치 Pn,k를 신규등록 패치로써 농담신호를 스칼라양자화해서 이것을 출력한다. 한편, (480)에 의해 n ≥ N인 경우에는 (410)의 임계값 판정으로 되돌아 간다.

계속해서 상기

의 처리에 대해서 다음에 기술한다. 처리

에서는 먼저 3각형 패치 Pn의 농담대표값 Ln(Y,Cb,Cr)n과 다이나믹코드북(11)중에 등록된 di(Y,Cb,Cr)i의 차의 절대값의 2승 di를 다음의 식에 따라서 구한다.

di=｜Ln-di｜²(3)

=｜(Y,Cb,Cr)n-(Y,Cb,Cr)i｜²

다음에,

di〈 dj(j≠i,j=0,1,…n)………………………………………………(4)

를 만족하는 j를 인덱스정보(190)으로써 출력한다. 또, 신규등록 패치농담정보는 (200)의 신호를 통해서 (11)의 다이나믹코드북에 등록된다. 또한, 예를들면 n차 계층화후의 3차원형상모델은 제4b도와 같게 된다.

이상의 처리에 따라서 N차 계층화후 3차원 형상모델정보(150), 인덱스정보(190), 신규등록 패치농담정보(200)이 다중화부(13)의 입력으로 되고, 이들의 다중화신호(220)이 전송로 상으로 송출되게 된다.

한편, 다중화신호(220)을 수신한 복호화기측은 제2도에 도시한 바와같이 먼저 다중화부(13)에서 각 신호로 분리하고, 먼저 부호화기와 공용의 3차원 형상모델데이타베이스(7)에 등록된 3차원 형상 기본모델정보(120)과 새롭게 분할된 3차원 형상 모델정보(150)이 가산기(20)에서 합이 취해져서 통합 3차원 형상 모델정보(240)으로써 합성부(14)의 입력으로 된다. 또, 신규등록 패치농담정보(200)은 다이나믹 코드북(11)에 새롭게 등록됨과 동시에 이것도 합성부(14)의 입력으로 된다. 또, 인덱스정보(190)은 한번 합성부(14)에 입력된후, 다이나믹 코드북(11)을 검색하고, 그 인덱스에 해당하는 소정의 농담정보(180)이 출력된다. 한편, 배경화상 정보(100)은 합성부(14)의 입력으로 됨과 동시에 배경화상 메모리(16)에 축적된다. 이때, 배경화상정보(100)의 출력이 없는 경우에는 배경화상 메모리(16)에서의 출력으로써 배경화상정보(100)으로 한다.

이상, 인덱스정보(190), 통합된 3차원 형상모델정보(240), 신규등록 패치농담신호(200), 배경화상정보(100)을 모두 합성해서 합성부(14)에서 출력화상신호(230)이 얻어진다.

또한, 본방식에서의 3각형 패치의 중심의 정의를 제6도를 사용해서 설명하면, 3정점 P₁(X₁,Y₁,Z₁), P2(X₂,Y₂,Z₂), P₃(X₃,Y₃,Z₃)에 대해서 중심 G의 좌표는

으로 주어졌다.

그리고, 3각형 패치 Pn은 3개의 3각형 패치 Pn,0, Pn,1, Pn2로 분할되게 된다.

또, 상기의 실시예에서는 3각형 패치를 중심 G와 다른 3정점을 연결해서 작성하였지만, 3각형 패치의 작성방법은 이것에 한정되는 것은 아니고, 예를들면 동패치내의 휘도의 분포에 따라서 최적인 형으로 3분할하여도 좋고, 이 경우도 상기 실시예와 마찬가지의 효과를 얻는다.

이상과 같이 본 발명에 관한 화상신호의 부호복호화기에 의하면, 입력화상을 배경화상과 특징화상으로 분리, 추출하고, 특징화상에 대해서 3차원 형상 모델을 정합시키고, 또, 3차원형상모델을 구성하는 3각형 패치내의 화소의 휘도분산값과 임계값의 대소판정에 의해 휘도분산값이 큰 패치에 대해서는 동패치를 다시 3개의 패치로 분할하여 마찬가지의 처리를 실시하고, 휘도분산값이 작은 패치에 대해서는 1조의 농담값으로 대표시키고, 또 N차 계층 분할후도 휘도변화가 큰 패치에 대해서는 이 농담정보를 스칼라 양자화 해서 전송하는 것에 의해 입력화상을 매우작은 정보량으로 표현할 수 있음과 동시에 농담정보를 등록한 다이나믹코드북의 인덱스정보를 전송하는 것에 의해 초저비율에서의 전송이 가능하게 될 뿐만 아니라 입력화상중에 움직임이 큰 대상이 있는 경우, 또는 새로운 농담신호가 출현한 경우에 있어서도 상기 다이나믹코드북을 수시 이용하여 3각형 패치의 계층 구조에 의해 농담정보를 표현할 수 있으므로, 항상 고품질인 화상을 제공할 수 있다는 효과가 있다.

Claims

디지탈화된 입력화상을 배경화상과 특징화상으로 분리, 추출하는 특징화상 적성부(1), 상기 추출한 특징화상에 대해서 3차원 형상 모델 데이타베이스(7)에 등록된 3차원 형상 기본 모델을 정합시키는 3차원 형상 모델 정합부(6), 정합후의 특징화상에 대해서 3차원 형상 모델의 구성요소인 3각형 패치내의 휘도분산값을 겁출하는 휘도정보 검출부(9), 상기 3각형 패치내의 휘도 분산값과 임계값의 대소판정을 실행하는 임계값 처리부(10), 상기 3각형 패치의 농담정보를 등록한 다이나믹코드북(11), 상기 3각형 패치를 3분할하는 3각형 패치 분할부(8), 상기 3각형 패치의 농담정보와의 유사도가 가장 큰 다이나믹코드북에 등록된 농담값의 인덱스정보, 상기 3각형 패치의 3차원 형상모델의 파라미터정보 및 신규등록 패치의 농담값을 스칼라 양자화한 정보를 다중화하고, 수신측으로 송출하는 다중화부(13)를 부호화기측에 마련하고, 송신측에서 출력된 다중화 신호에서 상기 인덱스정보, 3차원 형상모델정보, 신규등록 패치농담정보를 각각분리 추출하고, 다이나믹 코드북, 3차원 형상모델데이타베이스, 배경화상 메모리를 병용해서 출력화상을 제공하는 합성부(14)를 복호화기측에 마련한 것을 특징으로 하는 화상신호의 부호복호화기.