KR19990072370A - 화상합성방법,화상합성장치,및데이터기록매체 - Google Patents

Abstract

본 발명에 따르면, 임의의 형상을 갖는 물체를 포함하는 전경(前景) 화상을 배경(背景) 화상에 합성시키는 화상 합성 방법에 있어서, 합성 화상에 있어서의 전경 물체의 경계 부분에서의 화질을 향상시킨다.

전경 화상과 배경 화상의 경계 부분에 걸쳐 배열되는 화소에 대하여, 처리 대상으로 되는 피처리 화소의 형상 데이터를 평활화한 후(단계 410)에, 전경 화상과 배경 화상 사이에서 텍스쳐 데이터의 합성을 실행한다(단계 412).

Description

화상 합성 방법, 화상 합성 장치, 및 데이터 기록 매체{IMAGE SYNTHESIS METHOD, IMAGE SYNTHESIS DEVICE, AND DATA RECORDING MEDIUM}

본 발명은, 화상 합성 장치, 화상 합성 방법 및 데이터 기록 매체에 관한 것으로, 특히 형상을 갖는 화상을 그 밖의 화상과 합성하는 처리 및 이 합성 처리를 소프트웨어에 의해 실현하기 위한 프로그램을 저장한 기록 매체에 관한 것이다.

최근, 음성, 화상, 그 밖의 데이터를 통합적으로 취급하는 멀티미디어 시대를 맞이하여, 종래부터의 정보 미디어, 즉 신문, 잡지, 텔레비젼, 라디오, 전화 등, 정보를 다른 사람에게 전달하는 수단이 멀티미디어의 대상으로서 여겨지게 되었다. 일반적으로, 멀티미디어란, 문자 뿐만 아니라, 도형, 음성, 특히 화상 등을 동시에 관련지어 나타내는 것을 말하는데, 상기 종래의 정보 미디어를 멀티미디어의 대상으로 하기 위해서는, 그 정보를 디지탈 형식으로 하여 나타내는 것이 필수 조건으로 된다.

그런데, 상기 각 정보 미디어가 갖는 정보량을 디지탈 정보량으로서 어림잡아 보면, 문자의 경우 1 문자당 정보량은 1∼2 바이트인 데 반하여, 음성의 경우에는 1초당 64kb(전화 품질), 또한 동화상에 대해서는 1초당 100Mb(현행 텔레비젼 수신 품질) 이상의 정보량이 필요하게 되어, 텔레비젼 등의 정보 미디어에 의해 취급되는 방대한 양의 정보를 디지탈 형식으로 그대로 취급하는 것은 현실적이지 못하다. 예를 들어, 텔레비젼 전화는, 64kbps∼1.5Mbps의 전송 속도를 갖는 서비스 종합 디지탈 네트워크(ISDN:Integrated Services Digital Network)에 의해 이미 실용화되어 있지만, 텔레비젼 카메라의 영상을 그대로 ISDN에 의해 전송하는 것은 불가능하다.

그래서, 필요로 되는 것이 정보의 압축 기술인데, 예를 들어 텔레비젼 전화의 경우, ITU-T(국제 전기 통신 연합 전기 통신 표준화 부문)에 의해 국제 표준화된 H.261 규격의 동화상 압축 기술이 사용되고 있다. 또한, MPEG1 규격의 정보 압축 기술에 따르면, 통상의 음악용 CD(컴팩트 디스크)에 음성 정보와 함께 화상 정보를 넣는 것도 가능하게 된다.

여기서, MPEG(Moving Picture Experts Group)이란, 동화상의 데이터 압축 국제 규격으로서, MPEG1에서는, 동화상 데이터가 1.5Mbps까지, 즉 텔레비젼 신호의 정보가 약 1/100까지 압축된다. 또한, MPEG1 규격의 대상으로 하는 전송 속도가 주로 약 1.5Mbps에 제한되어 있기 때문에, 한층더 고화질화의 요구를 만족시키도록 규격화된 MPEG2는, 동화상 데이터를 그 전송 속도가 2∼15Mbps 정도로 되도록 압축하여, 현행 텔레비젼 품질을 실현하고자 하는 것이다.

또한, 현 상태에서는, MPEG1, MPEG2와 표준화를 진행시켜 온 작업 그룹(ISO/IEC JTC1/SC29/WG11)에 의해서, 물체 단위로 화상 정보의 부호화 및 조작을 가능하게 하여, 멀티미디어 시대에 필요한 새로운 기능을 실현하는 MPEG4가 규격화되고 있다.

MPEG4의 특징 중 하나로서, 복수의 물체(오브젝트), 예를 들면 도 23에 나타내는 전경 화상(오브젝트)(102) 및 배경 화상(오브젝트)(100)을 표시하기 위한 화상 신호에 대하여, 각기 따로따로 부호화 처리를 실시한다는 점을 들 수 있다. 상기 각 물체에 대응하는 화상 신호는, 각 물체의 형상(shape)을 나타내는 형상 신호와, 각 물체의 문양(texture)을 나타내는 텍스쳐 신호로 구성되어 있으며, 상기 화상 신호의 부호화 처리시에는, 형상 신호에 대한 부호화 처리와 텍스쳐 신호에 대한 부호화 처리가 각각의 부호화 방법에 의해 실행된다.

여기서, 상기 텍스쳐 신호는, 물체의 화상의 밝기를 나타내는 정보로서의 휘도 신호와, 물체의 화상의 색을 나타내는 정보로서의 색차 신호로 구성되어 있으며, 상기 색차 신호는 그 해상도가 휘도 신호의 해상도와는 상이한 것으로 되어 있다. 즉, 휘도 신호로부터 얻어지는 화상 공간을 구성하는 개개 화소의 크기(표시 화면상에서 차지하는 1 화소의 면적)는, 색차 신호로부터 얻어지는 화상 공간에 있어서의 1 화소 크기의 1/4로 되어 있다. 그리고, 상기 휘도 신호 및 색차 신호는, 각각의 화상 공간에 있어서의 각 화소에 대응하는 화소값으로 구성되어 있다.

또한, 상기 형상 신호는 그 해상도가 휘도 신호의 해상도와 동일한 것으로 되어 있는데, 즉 상기 형상 신호로부터 얻어지는 화상 공간을 구성하는 1 화소의 크기는, 상기 휘도 화소로부터 얻어지는 화상 공간을 구성하는 1 화소의 크기와 동일하다. 그리고, 이 형상 신호는 그 화상 공간에 있어서의 각 화소에 대응하는 화소값으로 구성되어 있다.

따라서, 화면상의 1개의 물체를 둘러싸는 영역(이하, 오브젝트 영역이라고 함)에 대한 휘도 신호와 형상 신호는, 동수(同數)의 화소값이 존재하게 된다.

또, 이하의 설명에서는, 필요에 따라, 휘도 신호, 색차 신호 및 형상 신호로부터 얻어지는 화상 공간을, 각각 휘도 공간, 색 공간 및 형상 공간이라고 칭하고, 휘도 공간, 색 공간 및 형상 공간을 구성하는 화소를 휘도 화소, 색 화소 및 형상 화소라고 칭하며, 또한 휘도 화소, 색 화소 및 형상 화소의 화소값을 휘도 데이터, 색차 데이터 및 형상 데이터라고 칭한다. 또한, 1개의 오브젝트에 대응하는 화상 신호, 즉 형상 신호, 휘도 신호 및 색차 신호에 의해 형성되는 형상 공간, 휘도 공간 및 색 공간은, 그 기준 위치 및 그 사이즈가 일치된 것으로 되어 있음을 물론이다.

그리고, 이 형상 신호의 화소값이 「0값」과 「0이 아닌 값」의 2개 값으로 표현되는 경우, 화소값으로서 「0값」을 갖는 형상 화소는 형상 공간에 있어서의 물체의 화상밖에 위치하고, 화소값으로서 「0이 아닌 값」을 갖는 형상 화소는 형상 공간에 있어서의 물체의 화상내에 위치하는 것으로 한다.

한편, 복호화시에는, 도 23에 도시하는 바와 같이 각 물체(전경 화상 및 배경 화상)에 대응하는 부호화 정보(부호화 텍스쳐 신호 및 부호화 형상 신호)를 복호화하고, 복호화된 형상 신호를 이용하여 전경 화상(100)과 배경 화상(102) 사이에서 텍스쳐 신호의 합성 처리를 실행함으로써 합성 화상(106)을 재생한다. 또, 도 23 중, (104)는 상기 형상 신호로부터 얻어지는 물체의 형상이다. 또한, 이 텍스쳐 신호의 합성 처리에서는, 휘도 신호에 대한 합성 처리와 색차 신호에 대한 합성 처리가 이루어진다.

그런데, 상술한 바와 같이, 색차 신호의 해상도는, 휘도 신호나 형상 신호의 해상도의 1/4이기 때문에, 색차 신호의 합성 처리에서는, 복호화한 형상 신호(이하, 변환전 형상 신호라고도 칭함)를 그대로 이용할 수 없어, 상기 형상 신호의 해상도를 변환하여, 색차 신호의 해상도에 대응한 형상 신호(이하, 변환후 형상 신호라고도 칭함)를 생성할 필요가 있다.

MPEG4에서는, 이 형상 신호의 해상도 변환 방법으로서, MPEG-4 Video Verification Model Ver8.0(ISO/IEC JTC1/SC29/WG11 N1796, pp17)에 기재된 방법을 이용한다.

이하 상술하면, 상술한 바와 같이 색차 신호의 해상도는 형상 신호의 해상도의 1/4이기 때문에, 색 공간에 있어서의 1 화소는, 변환전 형상 신호로부터 얻어지는 화상 공간에 있어서 인접하는 4 화소에 대응한 것으로 된다. 또한, 복호한 형상 신호의 해상도가 색차 신호의 해상도에 대응하도록 변환되기 때문에, 상기 색 공간에 있어서의 1 화소는, 변환후 형상 신호로부터 얻어지는 화상 공간에 있어서의 1 화소에 대응한 것으로 된다.

그래서, 상기 해상도 변환 방법에서는, 1개의 색 화소에 대응하는 4개의 형상 화소 중 1개가 「0값」이 아닌 화소값을 갖는 것이면, 바꿔 말해, 어느 1개의 색 화소에 대응하는 4개의 형상 화소 중 하나로서, 화소값이 「0이 아닌 값」인 형상 화소가 존재하면, 상기 변환후 형상 신호로부터 얻어지는 화상 공간상의, 상기 어느 1개의 색 화소에 대응하는 1개의 형상 화소의 화소값이 「0이 아닌 값」으로 되게 되어 있다.

다음에, 상기 화상 합성 방법에 대하여 도 23을 이용해 구체적으로 설명한다.

우선, 형상 신호가, 화소값으로서 「0값」과 「0이 아닌 값」 중 어느 하나의 값을 취하는 2값 신호인 경우의 합성 처리에 대하여 설명한다.

상기 전경 화상(102)의 휘도 신호를 그 형상 신호를 참조하여 배경 화상(100)의 휘도 신호와 합성하는 경우, 화소값이 「0이 아닌 값」인 형상 화소(즉 형상 공간(104)에 있어서의 검정색 표시부내에 위치하는 화소)에 대응하는 휘도 화소에 대해서는, 전경 화상의 화소값을 합성 화소의 화소값으로 한다. 또한, 화소값으로서 「0값」을 갖는 형상 화소(즉 형상 공간(104)에 있어서의 검정색 표시부 외측에 위치하는 화소)에 대응하는 휘도 화소에 대해서는, 배경 화상의 화소값을 합성 화상의 화소값으로 하고 있다. 또한, 이러한 합성 처리는, 색차 신호에 대해서도 상기 변환후 형상 신호를 이용하여 마찬가지로 실행된다.

다음에, 상기 형상 신호가, 화소값으로서, 0, 1, 2, 3, …, 255 중 어느 하나의 값을 갖는 다치(多値) 신호인 경우의 합성 처리에 대하여 설명한다.

상기 전경 화상(102)의 휘도 신호를 그 형상 신호를 참조하여 배경 화상(100)의 휘도 신호와 합성하는 경우, 상기 다치 신호의 최소값을 화소값으로 갖는 형상 화소에 대응하는, 합성 화상에 있어서의 휘도 화소는, 그 화소값으로서 배경 화상의 화소값을 갖고, 상기 다치 신호의 최대값을 화소값으로서 갖는 형상 화소에 대응하는, 합성 화상에 있어서의 휘도 화소는, 그 화소값으로서 전경 화상의 화소값을 갖게 된다.

또한, 형상 신호가 다치 신호인 경우의 색차 신호의 합성 처리도 상기 휘도 신호의 합성 처리와 마찬가지로 실행되어, 해상도 변환을 실행한 변환후 형상 신호의 최대값 혹은 최소값을 화소값으로 갖는 형상 화소에 대응하는, 합성 화상에 있어서의 색 화소는, 그 화소값으로서 전경 화상 혹은 배경 화상의 화소값을 갖게 된다. 또, 이 경우에는, 어느 1개의 색 화소에 대응하는 4개의 형상 화소의 화소값의 평균값을, 변환후의 형상 신호로부터 얻어지는 화상 공간상의, 상기 어느 1개의 색 화소에 대응하는 1개의 형상 화소의 화소값으로 한다.

또한, 형상 신호가 다치 신호인 경우에는, 형상 신호가 2값 신호인 경우와는 상이한 해상도 변환 처리가 이루어진다. 즉, 상기 형상 신호가 화소값으로서 상기 다치 신호에 있어서의, 최대값과 최소값의 중간값을 갖는 경우에는, 형상 데이터(형상 신호의 화소값)를 가중 계수로 하여, 전경 화상과 이것에 대응하는 배경 화상 사이에서, 텍스쳐 신호(휘도 신호, 색차 신호)의 화소값의 가중 평균을 취해 합성 화소의 화소값을 구한다. 이에 따라, 배경 화상이 전경 화상에 투과시켜 표시되게 된다.

이하에, 상기 가중 평균을 실행하기 위한 수학식의 예를 나타낸다.

pel=(alpha×fgpel+(MAX-alpha)×bgpel)/MAX

단, pel : 합성후의 화소값

alpha : 전경 화상의 화소값에 대한 합성 비율(형상 데이터)

fgpel : 전경 화상의 화소값(휘도 데이터 혹은 색차 데이터)

bgpel : 배경 화상의 화소값(휘도 데이터 혹은 색차 데이터)

MAX : 형상 신호의 최대값

또, alpha가 0∼255의 값을 갖는 경우, MAX는 255로 된다. 또한 여기서, 상기 수학식 1에 의해 가중 평균을 구하는 연산은, 연산 결과를 반올림하는 처리를 포함하고 있는 것으로 하고 있는데, 수학식 1에 의한 연산은 연산 결과에 있어서의 소수점 이하를 절사(切捨)하는 것이어도 무방하다.

또한, 상기 가중 평균을 구하는 연산에서는, 미리 전경 화상의 화소값(휘도 데이터 혹은 색차 데이터)에, 이것에 대응하는 형상 신호의 화소값(형상 데이터)을 곱셈해 두고, 수학식 1에 있어서의 승산을 삭감하는 방법도 있다. 그 경우, 수학식 1은 하기 수학식 2와 같이 나타낼 수 있다.

pel=fgpel'+(1-alpha')×bgpel

alpha' : 전경 화상의 화소값에 대한 합성 비율(형상 데이터)

fgpel' : alpha'을 곱한 전경 화상의 화소값(휘도 데이터 혹은 색차 데이터)

또, alpha'은 0/255∼255/255의 값을 취하는 것으로 함.

상기 수학식 2는, fgpel'=fgpel×alpha'이라고 하면, 상기 수학식 1의 MAX=1의 경우와 동일한 연산 결과를 얻을 수 있는 것이다.

그런데, 2 값의 형상 신호를 이용하여 전경 화상과 배경 화상의 합성 처리를 실행하는 경우, 합성 화상에 있어서의 전경 화상과 배경 화상의 경계 부분에서, 화소의 화소값(휘도 데이터나 색차 데이터)이 너무 동떨어진 값을 취하면, 경계가 부자연스럽게 보이게 된다고 하는 문제가 있다.

이 문제에 대하여 도 24에 도시하는 예를 이용하여 설명한다.

도 24의 (a)에는, 상기 전경 화상과 배경 화상을 합성하여 얻어지는 합성 화상(106)이 도시되어 있고, 또한 도 24의 (b)에는, 상기 합성 화상에 있어서의 전경 화상과 배경 화상의 경계를 포함하는 소정 사이즈(8×8 화소)의 영역(200)이 줌 업(zoom up) 도시되며, 특히, 상기 영역(200)에 포함되는 각 화소가 도시되어 있다.

도 24의 (b)에 도시하는 바와 같이, 합성 화상(106)에 있어서의 전경 화상과 배경 화상의 경계 부분, 예를 들면 화소(204)와 화소(206) 사이에서는, 양 화소의 화소값이 너무 동떨어진 값을 취하면, 경계가 부자연스럽게 보이는 경우가 있다.

도 25의 (a)에는, 전경 화상의 형상 신호로부터 얻어지는 화상의, 상기 합성 화상(106)내 경계의 일부분(200)에 상당하는 부분(300)이 화소 단위로 도시되어 있다. 또한, 도 25의 (b)에는, 이 부분(300)중의 1 화소 라인(302)에 포함되는 각 화소의 화소값(형상 데이터)이, 횡축을 화소 위치, 종축을 형상 데이터의 값으로 하는 좌표 평면상에 도시되어 있다. 여기서 각 화소의 형상 데이터가 취할 수 있는 값은 0∼255의 값으로 되어 있다.

이러한 형상 신호에 근거하여, 상기 형상 화소에 대응하는 전경 및 배경 화소의 화소값을 합성하는 처리를 실행한 경우, 합성 화상을 구성하는 각 화소(합성 화소)에 대응하는 화소값(합성 데이터)을 얻을 수 있다. 이 때, 화소값이 0이 아닌 형상 화소에 대응하는 합성 화소는, 그 화소값으로서, 대응하는 전경 화소의 화소값, 혹은 전경 및 배경의 화소값을 상술한 바와 같이 가중 평균한 값을 갖게 된다. 한편, 화소값이 0인 형상 화소에 대응하는 합성 화소는, 그 화소값으로서, 대응하는 배경 화소의 화소값을 갖게 된다.

이 때, 경계 부분(306)에서, 전경 화소와 배경 화소가 불연속적인 값을 화소값으로 갖는 경우, 예를 들면 상기 경계 부분에 있어서, 전경 화소의 화소값(휘도 데이터나 색차 데이터)과 배경 화소의 화소값(휘도 데이터나 색차 데이터)이 극단적으로 상이한 값으로 된 경우, 합성 화상의 표시 화면에서는 상기 경계 부분에 있어서 전경 화상과 배경 화상의 표시가 부자연스럽게 보이게 된다.

따라서, 경계 부분의 화소의 화소값 또는 합성시에 이용하는 합성 비율을, 합성 화상에 있어서의 경계 부분이 부자연스럽게 보이는 일이 없도록 처리할 필요가 있다.

또한, 형상 신호와 텍스쳐 신호의 해상도가 서로 다른 경우에, 형상 신호를 이용하여 전경 화상과 배경 화상 사이에서 텍스쳐 신호를 합성하거나, 혹은 상기 텍스쳐 신호의 합성에 의해 얻어지는 합성 화상을, 필요한 화면 사이즈(해상도)로 변환하거나 하면, 화질이 열화된다고 하는 문제가 발생한다.

이하, 도 26, 도 27을 이용하여 이와 같은 화상 열화가 발생하는 경우에 대하여 설명한다.

도 26은, 4×4 화소의 화소값으로 구성되는 형상 신호를 이용하여, 2×2 화소의 화소값으로 구성되는 전경 화상 및 배경 화상을 합성하는 처리를 개념적으로 도시하는 도면이며, 도 27은, 상기 합성 처리 및 이것에 의한 합성 화상의 텍스쳐 신호에 대한 해상도 변환 처리를 실행하는 구성을 나타내는 블럭도이다.

종래의 처리에서는, 제 1 입력 단자(2600)에 전경 화상의 형상 신호(2500)가 입력되고, 제 2, 제 3 입력 단자(2602, 2604)에, 전경 화상의 색차 신호(2504), 배경 화상의 색차 신호(2506)가 입력된다.

MPEG4에서 사용되고 있는 화상 포맷에 있어서는, 색차 신호의 해상도가, 휘도 신호 또는 형상 신호의 해상도의 1/4이기 때문에, 형상 신호(2500)는 해상도가 색차 신호에 대응한 것으로 되도록 해상도 변환 수단(2606)에 의해 해상도 변환된다.

다음에, 해상도 변환한 형상 신호(2502)를 이용하여, 입력된 전경 화상의 색차 신호(2504)와 배경 화상의 색차 신호(2506)의 합성 처리가 화소 합성 수단(2608)에 의해 실행된다. 그리고 합성된 색차 신호(2508)는, 상기한 바와 같이 휘도 신호와는 해상도가 상이하기 때문에, 표시시에 있어서 합성된 색차 신호(2508)는 해상도 변환 수단(2610)에 의해, 그 해상도가 대응하는 휘도 신호와 동일한 해상도로 되도록 변환되어, 해상도 변환후의 합성 색차 신호(2510)가 출력 단자(2620)로부터 출력된다.

통상, 해상도 변환에 의해 추가된 화소값은, 이 추가 화소값을 갖는 화소에 인접하는 화소의 화소값에 근거하여 산출된 것인데, 해상도 변환된 합성 색차 신호(2510)에 있어서의 각각의 화소값과, 해상도 변환전의 형상 신호(2500)에 있어서의, 물체내의 부분(검정색) 이외의 화소의 화소값을 비교해 보면, 상기 합성 색차 신호(2510)에 있어서는, 물체밖의 화소도, 물체내의 화소의 화소값을 갖고 있음을 알 수 있다.

이 결과, 상기 색차 신호에 근거하여 표시된 화상은 화질이 흐려지게 된다.

또, 상기한 바와 같은 텍스쳐 신호의 합성에 의한 화질의 열화는, 색차 신호 뿐만 아니라, 휘도 신호의 합성 처리를 실행하여 해상도 변환할 때에는, 마찬가지의 이유로 인하여, 재생 화상은 경계 부분에서 화질이 열화되어 버린다고 하는 문제가 있다.

본 발명의 목적은, 상기한 바와 같은 문제점을 해결하기 위해서 이루어진 것으로, 합성 화상에 있어서의 경계 부분에 있어서의 화질을 향상시킬 수 있는 화상 합성 장치 및 화상 합성 방법와, 합성 방법에 의한 화상 합성 처리를 소프트웨어에 의해 실현하기 위한 프로그램을 저장한 데이터 기록 매체를 제공하는 것이다.

도 1은 본 발명의 실시예 1에 있어서의 화상 합성 방법에 있어서의 처리의 흐름을 설명하기 위한 도면,

도 2는 상기 실시예 1의 화상 합성 방법을 개념적으로 설명하기 위한 도면,

도 3은 본 발명의 실시예 2에 의한 화상 합성 방법을 개념적으로 설명하기 위한 도면,

도 4는 본 발명의 실시예 3에 있어서의 화상 합성 방법에 있어서의 처리의 흐름을 설명하기 위한 도면,

도 5는 상기 실시예 3에 있어서의 화상 합성 방법을 개념적으로 설명하기 위한 도면,

도 6은 본 발명의 실시예 4에 있어서의 화상 합성 방법을 설명하기 위한 모식도,

도 7은 본 발명의 실시예 5에 의한 화상 합성 방법을 설명하기 위한 도면,

도 8은 상기 실시예 5의 변형예에 의한 화상 합성 방법을 설명하기 위한 도면,

도 9는 본 발명의 실시예 6에 의한 화상 합성 방법에 의해 처리되는 비트 스트림의 데이터 구조를 도시하는 도면,

도 10은 본 발명의 각 실시예의 화상 합성 방법에 의한 처리를 컴퓨터 시스템에 의해 실현하기 위한 프로그램을 저장한 데이터 기억 매체를 도시하는 도면,

도 11은 상기 실시예 6의 변형예에 의한 화상 합성 장치의 구성을 나타내는 블럭도,

도 12는 본 발명의 실시예 7에 의한 화상 합성 방법을 개념적으로 설명하기 위한 모식도,

도 13은 상기 실시예 7에 의한 화상 합성 장치를 나타내는 블럭도,

도 14는 상기 실시예 7에 의한 화상 합성 방법의 변형예를 개념적으로 설명하기 위한 도면,

도 15는 상기 실시예 7의 변형예에 의한 화상 합성 장치를 나타내는 블럭도,

도 16은 본 발명의 실시예 8에 의한 화상 합성 방법을 개념적으로 설명하기 위한 도면,

도 17은 상기 실시예 8에 의한 화상 합성 방법을 개념적으로 설명하기 위한 도면,

도 18은 상기 실시예 8에 의한 화상 합성 장치를 나타내는 블럭도,

도 19는 본 발명의 실시예 9에 의한 화상 합성 방법을 설명하기 위한 모식도,

도 20은 상기 실시예 9에 의한 화상 합성 방법을 설명하기 위한 모식도,

도 21은 상기 실시예 9에 의한 화상 합성 장치를 나타내는 블럭도,

도 22는 본 발명의 실시예 6에 의한 화상 합성 장치의 구성을 나타내는 블럭도,

도 23은 종래의 화상 합성 처리에 있어서의, 복수의 화상을 합성하는 처리를 설명하기 위한 도면,

도 24는 도 23에 나타내는 화상 합성 처리 방법에 의해 합성한 화상을 설명하기 위한 도면,

도 25은 도 24에 나타내는 합성 화상에 대응하는 형상 데이터를 나타내는 모식도,

도 26은 종래의 화상 합성 방법에 있어서의, 화상을 합성하여 해상도 변환하는 처리를 설명하기 위한 도면,

도 27은 도 26에 나타내는 해상도 변환 처리를 실행하는 장치를 나타내는 블럭도,

도 28은 본 발명의 실시예 8에 의한 화상 합성 장치를 나타내는 블럭도.

도면의 주요 부분에 대한 부호의 설명

402 : 미처리 화상 판정 단계404 : 형상 정보 입력 단계

406 : 형상 정보 판정 단계

410 : 형상 정보 산출 단계(합성 비율 산출 단계)

412 : 화소 합성 단계1200 : 비트 스트림

1400, 1500, 1700, 2100, 2400, 3500 : 화상 합성 장치

1402, 1502, 1702 : 데이터 분리 수단

1404, 1504, 1704 : 화상 복호 수단

1408, 1508, 2110 : 화상 합성 수단

1412, 1414, 1716, 1718, 2122, 2124 : 스위치

1506 : 합성 방법 결정 수단1706 : 부가 정보 취득 수단

1708 : 합성 처리부1710 : 화소 합성 처리 수단

1802 : 메모리2104 : 경계 위치 판정 수단

2106 : 합성 비율 생성 수단

2112 : 경계 부근의 화소 합성 수단

2114 : 경계내의 화소 합성 수단

2406 : 형상 정보 해상도 변환 수단

2408, 2404 : 화소 정보 해상도 변환 수단

3500a, 3500b, 3500c, 3500d : 제 1∼제 4 입력 단자

3500e : 출력 단자3501 : 형상 타입 신호

3510 : 경계 블럭 판정 수단3520 : 경계 화소 판정 수단

3530 : 합성 방법 판정 수단3540 : 제 1 화소 합성 수단

3550 : 제 2 화소 합성 수단3560a : 전단 스위치

3560b : 후단 스위치Cs : 컴퓨터·시스템

FD : 플로피 디스크FDD : 플로피 디스크 드라이브

본 발명(청구항 1)에 관한 화상 합성 방법은, 임의 형상의 물체를 포함하는 제 1 화상 공간을 형성하는, 상기 물체의 형상을 나타내는 형상 신호 및 물체의 문양을 나타내는 텍스쳐 신호를 포함하는 제 1 화상 신호와, 제 2 화상 공간을 형성하는, 화상의 문양을 나타내는 텍스쳐 신호를 포함하는 제 2 화상 신호를 합성하여, 제 3 화상 공간을 형성하는 합성 화상 신호를 생성하는 방법에 있어서, 상기 제 1 화상 공간에 있어서의, 피처리 화소를 포함하는 대상 영역내에 위치하는 화소의 형상 신호에 대한 연산 처리에 의해, 상기 피처리 화소의 텍스쳐 신호에 대한 합성 비율을 산출하는 합성 비율 산출 단계와, 상기 산출된 합성 비율에 근거하여, 상기 피처리 화소와, 이것에 대응하는 제 2 화상 공간에 있어서의 대응 화소 사이에서 이들 화소의 텍스쳐 신호의 합성 처리를 실행하는 화소 합성 단계를 포함하고, 상기 합성된 텍스쳐 신호를, 상기 제 3 화상 공간에 있어서의, 상기 피처리 화소에 대응하는 화소의 텍스쳐 신호로서 이용하는 것이다.

본 발명(청구항 2)은, 청구항 1에 기재된 화상 합성 방법에 있어서, 상기 제 1 화상 공간에 있어서의 각 화소의 형상 신호에 근거하여, 상기 각 화소가 상기 물체내에 위치하는지 여부를 판정하는 형상 판정 단계를 포함하고, 상기 합성 비율 산출 단계에서는, 상기 판정 결과, 상기 피처리 화소가 물체내에 위치할 때, 상기 대상 영역에 있어서의 화소의 형상 신호를 이용하여 상기 합성 비율을 산출하는 것이다.

본 발명(청구항 3)은, 청구항 1에 기재된 화상 합성 방법에 있어서, 상기 제 1 화상 공간에 있어서의 각 화소의 형상 신호에 근거하여, 상기 각 화소가 상기 물체 내부에 위치하는지 여부를 판정하는 형상 판정 단계를 포함하고, 상기 합성 비율 산출 단계에서는, 상기 판정 결과, 상기 피처리 화소가 물체내에 위치할 때, 상기 대상 영역에서의 화소의 형상 신호의 가산 평균에 의해 상기 합성 비율을 산출하는 것이다.

본 발명(청구항 4)은, 청구항 1에 기재된 화상 합성 방법에 있어서, 상기 합성 비율 산출 단계에서는, 상기 형상 신호에 대한 연산 처리를, 상기 연산 처리에 있어서의 승수(乘數) 혹은 제수(除數)가 2의 거듭제곱의 수로 되도록 변형한 수학식에 근거하여 실행하는 것이다.

본 발명(청구항 5)에 관한 화상 합성 방법은, 임의 형상의 물체를 포함하는 제 1 화상 공간을 형성하는, 상기 물체의 형상을 나타내는 형상 신호 및 물체의 문양을 나타내는 텍스쳐 신호를 포함하는 제 1 화상 신호와, 제 2 화상 공간을 형성하는, 화상의 문양을 나타내는 텍스쳐 신호를 포함하는 제 2 화상 신호를 합성하여, 제 3 화상 공간을 형성하는 합성 화상 신호를 생성하는 방법에 있어서, 상기 제 1 화상 공간에 있어서의 각 화소의 형상 신호에 근거하여, 상기 각 화소가 상기 물체 내부에 위치하는지 여부를 판정하는 형상 판정 단계와, 상기 판정 결과, 상기 대상 화소가 물체내에 위치할 때, 상기 대상 영역에 있어서의 화소 중 물체내에 위치하는 것의 갯수에 근거하여, 상기 피처리 화소의 텍스쳐 신호에 대한 합성 비율을 산출하는 합성 비율 산출 단계와, 상기 산출된 합성 비율에 근거하여, 상기 피처리 화소와, 이것에 대응하는 제 2 화상 공간에 있어서의 대응 화소 사이에서 이들 화소의 텍스쳐 신호의 합성 처리를 실행하는 화소 합성 단계를 포함하고, 상기 합성된 텍스쳐 신호를, 상기 제 3 화상 공간에 있어서의, 상기 피처리 화소에 대응하는 화소의 텍스쳐 신호로서 이용하는 것이다.

본 발명(청구항 6)에 관한 화상 합성 방법은, 임의 형상의 물체를 포함하는 제 1 화상 공간을 형성하는, 상기 물체의 형상을 나타내는 형상 신호 및 물체의 문양을 나타내는 텍스쳐 신호를 포함하는 제 1 화상 신호와, 제 2 화상 공간을 형성하는, 화상의 문양을 나타내는 텍스쳐 신호를 포함하는 제 2 화상 신호를 합성하여, 제 3 화상 공간을 형성하는 합성 화상 신호를 생성하는 방법에 있어서, 상기 제 1 화상 공간에 있어서의 각 화소의 형상 신호에 근거하여, 상기 각 화소가 상기 물체 내부에 위치하는지 여부를 판정하는 형상 판정 단계와, 상기 제 1 화상 공간에 있어서의, 피처리 화소를 포함하는 대상 영역내에 위치하는 화소의 형상 신호에 근거하여, 상기 피처리 화소의 텍스쳐 신호에 대한 합성 비율을 산출하는 합성 비율 산출 단계와, 상기 형상 판정 결과, 상기 피처리 화소가 물체밖에 위치할 때, 상기 피처리 화소의 텍스쳐 신호를, 상기 대상 영역내의 화소의 텍스쳐 신호의 가산 평균에 의해 얻어진 텍스쳐 신호로 치환하는 화소 정보 생성 단계와, 상기 산출된 합성 비율에 근거하여, 상기 피처리 화소와, 이것에 대응하는 제 2 화상 공간에 있어서의 대응 화소 사이에서 이들 화소의 텍스쳐 신호의 합성 처리를 실행하는 화소 합성 단계를 포함하고, 상기 합성된 텍스쳐 신호를, 상기 제 3 화상 공간에 있어서의, 상기 피처리 화소에 대응하는 화소의 텍스쳐 신호로서 이용하는 것이다.

본 발명(청구항 7)은, 청구항 6에 기재된 화상 합성 방법에 있어서, 상기 합성 비율 생성 단계에서는, 상기 대상 영역에 포함되는 화소의 형상 신호의 평균값을 상기 합성 비율로서 산출하는 것이다.

본 발명(청구항 8)은, 청구항 6에 기재된 화상 합성 방법에 있어서, 상기 화소 정보 생성 단계에서는, 상기 피처리 화소의 텍스쳐 신호를, 상기 대상 영역에 포함되는 화소 중 물체내에 위치하는 화소의 텍스쳐 신호의 평균값으로 치환하는 것이다.

본 발명(청구항 9 및 청구항 27)은, 청구항 5 또는 청구항 6에 기재된 화상 합성 방법에 있어서, 상기 합성 비율 산출 단계에서는, 상기 대상 영역내의 화소 중 물체내에 위치하는 화소의 갯수에 따라 미리 계산하여 테이블에 저장한 합성 비율을, 상기 대상 영역내에 위치하는 화소의 형상 신호로부터 얻어지는 물체내의 화소 갯수에 따라 상기 테이블로부터 구하는 것이다.

본 발명(청구항 10 및 청구항 28)은, 청구항 1 또는 청구항 6에 기재된 화상 합성 방법에 있어서, 상기 화소 합성 단계에서는, 상기 합성 비율의 값과 텍스쳐 신호의 값의 조합 전체에 대한 상기 양자의 승산 결과를 저장한 테이블을 참조하여, 상기 제 3 화상 공간에 있어서의, 상기 피처리 화소에 대응하는 화소의 텍스쳐 신호를 구하는 것이다.

본 발명(청구항 11 및 청구항 29)은, 청구항 5 또는 청구항 6에 기재된 화상 합성 방법에 있어서, 상기 화소 합성 단계에서는, 상기 대상 영역에 있어서의 물체내에 위치하는 화소의 수와 텍스쳐 신호의 값의 조합 전체에 대한 상기 양자의 승산 결과를 저장한 테이블을 참조하여, 상기 제 3 화상 공간에 있어서의, 상기 피처리 화소에 대응하는 화소의 텍스쳐 신호를 구하는 것이다.

본 발명(청구항 12)에 관한 화상 합성 방법은, 임의 형상의 물체를 포함하는 제 1 화상 공간을 형성하는, 상기 물체의 형상을 나타내는 형상 신호 및 물체의 문양을 나타내는 텍스쳐 신호를 포함하는 제 1 복호 화상 신호와, 제 2 화상 공간을 형성하는, 화상의 문양을 나타내는 텍스쳐 신호를 포함하는 제 2 복호 화상 신호를 합성하여, 제 3 화상 공간을 형성하는 합성 화상 신호를 생성하는 방법에 있어서, 상기 제 1 화상 공간에 있어서의, 피처리 화소를 포함하는 대상 영역내에 위치하는 화소의 형상 신호에 대한 연산 처리에 의해, 상기 피처리 화소의 텍스쳐 신호에 대한 합성 비율을 산출하는 합성 비율 산출 단계와, 상기 산출된 합성 비율에 근거하여, 상기 피처리 화소와, 이것에 대응하는 제 2 화상 공간에 있어서의 대응 화소 사이에서 이들 화소의 텍스쳐 신호의 합성 처리를 실행하는 화소 합성 단계를 포함하고, 상기 화소 합성 단계에서는, 상기 제 1 복호 화상 신호에 대응하는 부호화 화상 신호의 생성시에, 이 부호화 화상 신호에 부가된 부가 정보를 참조하여, 상기 합성 처리에 있어서의 텍스쳐 신호의 합성 방법을 전환하는 것이다.

본 발명(청구항 13)은, 청구항 12에 기재된 화상 합성 방법에 있어서, 상기 부가 정보를, 상기 대상 영역의 사이즈를 나타내는 정보로 한 것이다.

본 발명(청구항 14)에 관한 화상 합성 방법은, 임의 형상의 물체를 포함하는 제 1 화상 공간을 형성하는, 상기 물체의 형상을 나타내는 형상 신호 및 물체의 문양을 나타내는 텍스쳐 신호를 포함하는 제 1 화상 신호와, 제 2 화상 공간을 형성하는, 화상의 문양을 나타내는 텍스쳐 신호를 포함하는 제 2 화상 신호를 합성하여, 제 3 화상 공간을 형성하는 합성 화상 신호를 생성하는 방법에 있어서, 상기 제 1 화상 공간에 있어서의 각 화소의 형상 신호에 근거하여, 상기 물체의 경계 위치를 검출하는 경계 검출 단계와, 상기 제 1 화상 공간에 있어서의, 피처리 화소를 포함하는 대상 영역내에 위치하는 화소의 형상 신호에 근거하여, 상기 피처리 화소의 텍스쳐 신호에 대한 합성 비율을 산출하는 처리를, 상기 물체의 경계 부근의, 상기 물체내 및 물체밖에 위치하는 화소에 대해서만 실행하는 합성 비율 산출 단계와, 상기 경계 부근의 화소에 대해서는, 상기 산출된 합성 비율에 근거하여, 상기 피처리 화소와, 이것에 대응하는 제 2 화상 공간에 있어서의 대응 화소 사이에서 이들 화소의 텍스쳐 신호의 합성 처리를 실행하는 처리를 실행하고, 상기 경계 부근 이외의 화소에 대해서는, 이들 화소의 형상 데이터에 근거하여, 상기 피처리 화소와, 이것에 대응하는 제 2 화상 공간에 있어서의 대응 화소 사이에서 이들 화소의 텍스쳐 신호의 합성 처리를 실행하는 처리를 실행하는 화소 합성 단계를 포함하고, 상기 합성된 텍스쳐 신호를, 상기 제 3 화상 공간에 있어서의, 상기 피처리 화소에 대응하는 화소의 텍스쳐 신호로서 이용하는 것이다.

본 발명(청구항 15)에 관한 화상 합성 방법은, 임의 형상의 물체를 포함하는 제 1 화상 공간을 형성하는, 상기 물체의 형상을 나타내는 형상 신호 및 물체의 문양을 나타내는 텍스쳐 신호를 포함하는 제 1 화상 신호와, 제 2 화상 공간을 형성하는, 화상의 문양을 나타내는 텍스쳐 신호를 포함하는 제 2 화상 신호를 합성하여, 제 3 화상 공간을 형성하는 합성 화상 신호를 생성하는 방법에 있어서, 상기 물체의 사이즈 및 제 1 화상 공간에 있어서의 상기 물체의 위치를 나타내는 부가 정보에 근거하여, 물체내 또는 물체밖에 있어서 물체의 경계 부근에 위치하는 특정 화소에 대해서는, 상기 제 1 화상 공간에 있어서의 피처리 화소와, 이것에 대응하는 제 2 화상 공간에 있어서의 대응 화소 사이에서 이들 화소의 텍스쳐 신호의 합성 처리를 실행하는 처리를 실행하고, 상기 제 1 화상 공간에 있어서의 특정 화소 이외의 주변 화소에 대해서는, 이들 주변 화소에 대응하는 제 2 화상 공간에 있어서의 화소의 텍스쳐 신호를, 상기 제 3 화상 공간에 있어서의, 상기 주변 화소에 대응하는 화소의 텍스쳐 신호로 하는 화소 합성 단계를 포함하고, 상기 제 3 화상 공간에 있어서의, 상기 특정 화소에 대응하는 화소의 텍스쳐 신호로서는, 상기 화소 합성 단계의 합성 처리에 의해 얻어진 텍스쳐 신호를 이용하는 것이다.

본 발명(청구항 16)에 관한 화상 합성 방법은, 임의 형상의 물체를 포함하는 제 1 화상 공간을 형성하는, 상기 물체의 형상을 나타내는 형상 신호 및 물체의 문양을 나타내는 텍스쳐 신호를 포함하는 제 1 화상 신호와, 제 2 화상 공간을 형성하는, 화상의 문양을 나타내는 텍스쳐 신호를 포함하는 제 2 화상 신호를 합성하여, 제 3 화상 공간을 형성하는 합성 화상 신호를 생성하는 방법에 있어서, 상기 제 1 화상 신호를 구성하는 텍스쳐 신호와 형상 신호의 해상도가 동등하지 않을 때, 상기 텍스쳐 신호에 대하여, 그 해상도가 상기 형상 정보의 해상도와 동등하게 되도록 해상도 변환 처리를 실시하는 해상도 변환 단계와, 상기 해상도 변환 처리를 실시한 텍스쳐 신호와 상기 형상 신호를 이용하여, 상기 제 1 화상 신호와 제 2 화상 신호의 합성 처리를 실행하는 화상 합성 단계를 포함하는 것이다.

본 발명(청구항 17)에 관한 화상 합성 방법은, 임의 형상의 물체를 포함하는 제 1 화상 공간을 형성하는, 상기 물체의 형상을 나타내는 형상 신호 및 물체의 문양을 나타내는 텍스쳐 신호를 포함하는 제 1 화상 신호와, 제 2 화상 공간을 형성하는, 화상의 문양을 나타내는 텍스쳐 신호를 포함하는 제 2 화상 신호를 합성하여, 제 3 화상 공간을 형성하는 합성 화상 신호를 생성하는 방법에 있어서, 상기 제 1 화상 신호를 구성하는 텍스쳐 신호의 해상도, 제 2 화상 신호를 구성하는 텍스쳐 신호의 해상도, 합성 화상 신호를 구성하는 텍스쳐 신호를 화상 표시할 때의 표시 해상도가 서로 다를 때, 상기 제 1, 제 2 화상 신호의 텍스쳐 신호에 대하여, 그 해상도가 상기 표시 해상도와 동등하게 되도록 해상도 변환 처리를 실시하는 해상도 변화 단계와, 상기 해상도 변환 처리를 실시한 상기 제 1, 제 2 화상 신호의 텍스쳐 신호를 이용하여 상기 제 1 화상 신호와 제 2 화상 신호의 합성 처리를 실행하는 화상 합성 단계를 포함하는 것이다.

본 발명(청구항 18)에 관한 화상 합성 방법은, 임의 형상의 물체를 포함하는 제 1 화상 공간을 형성하는, 상기 물체의 형상을 나타내는 형상 신호 및 물체의 문양을 나타내는 텍스쳐 신호를 포함하는 제 1 화상 신호와, 제 2 화상 공간을 형성하는, 화상의 문양을 나타내는 텍스쳐 신호를 포함하는 제 2 화상 신호를 합성하여, 제 3 화상 공간을 형성하는 합성 화상 신호를 생성하는 방법에 있어서, 상기 제 1 화상 공간에 있어서의, 피처리 화소를 포함하는 대상 영역내에 위치하는 화소의 형상 신호에 근거하여, 상기 피처리 화소의 텍스쳐 신호에 대한 합성 비율을 산출하는 합성 비율 산출 단계와, 상기 산출된 합성 비율에 근거하여, 상기 피처리 화소와, 이것에 대응하는 제 2 화상 공간에 있어서의 대응 화소 사이에서 이들 화소의 텍스쳐 신호의 합성 처리를 실행하는 화소 합성 단계를 포함하고, 상기 합성된 텍스쳐 신호를, 상기 제 3 화상 공간에 있어서의, 상기 피처리 화소에 대응하는 화소의 텍스쳐 신호로서 이용하는 제 1 화상 합성 처리와, 상기 제 1 화상 공간에 있어서의 피처리 화소와, 이것에 대응하는 제 2 화상 공간에 있어서의 대응 화소 사이에서 이들 화소의 텍스쳐 신호의 합성 처리를, 상기 제 1 화상 합성 처리에 있어서의 합성 비율과는 다른 비율로 실행하는 화소 합성 단계를 포함하고, 상기 합성되는 텍스쳐 신호를, 상기 제 3 화상 공간에 있어서의, 상기 피처리 화소에 대응하는 화소의 텍스쳐 신호로서 이용하는 제 2 화상 합성 처리를 포함하며, 상기 제 1 화상 공간에 있어서의, 피처리 화소를 포함하는 대상 영역내에 위치하는 화소의 형상 신호에 근거하여, 상기 제 1 및 제 2 화상 합성 처리를 전환하는 것이다.

본 발명(청구항 19)은, 청구항 18에 기재된 화상 합성 방법에 있어서, 상기 제 2 화상 합성 처리를, 상기 화소 합성 단계에서는, 상기 제 1 화상 공간에 있어서의 물체내의 피처리 화소의 텍스쳐 신호를, 상기 제 3 화상 공간에 있어서의, 상기 피처리 화소에 대응하는 화소의 텍스쳐 신호로서 이용하고, 상기 제 1 화상 공간에 있어서의 물체밖의 피처리 화소에 대응하는, 제 2 화상 공간에 있어서의 대응 화소의 텍스쳐 신호를, 상기 제 3 화상 공간에 있어서의, 상기 피처리 화소에 대응하는 화소의 텍스쳐 신호로서 이용하는 처리로 한 것이다.

본 발명(청구항 20)에 관한 화상 합성 장치는, 임의 형상의 물체를 포함하는 제 1 화상 공간을 형성하는, 상기 물체의 형상을 나타내는 형상 신호 및 물체의 문양을 나타내는 텍스쳐 신호를 포함하는 제 1 복호 화상 신호와, 제 2 화상 공간을 형성하는, 화상의 문양을 나타내는 텍스쳐 신호를 포함하는 제 2 복호 화상 신호를 합성하여, 제 3 화상 공간을 형성하는 합성 화상 신호를 생성하는 장치에 있어서, 상기 제 1 화상 공간에 있어서의, 피처리 화소를 포함하는 대상 영역내에 위치하는 화소의 형상 신호에 대한 연산 처리에 의해, 상기 피처리 화소의 텍스쳐 신호에 대한 합성 비율을 산출하는 합성 비율 산출 수단과, 상기 산출된 합성 비율에 근거하여, 상기 피처리 화소와, 이것에 대응하는 제 2 화상 공간에 있어서의 대응 화소 사이에서 이들 화소의 텍스쳐 신호의 합성 처리를 실행하는 화소 합성 수단을 포함하고, 상기 화소 합성 수단은, 상기 제 1 복호 화상 신호에 대응하는 부호화 화상 신호의 생성시에, 이 부호화 화상 신호에 부가된 부가 정보를 참조하여, 상기 합성 처리에 있어서의 텍스쳐 신호의 합성 방법을 전환하도록 구성되어 있는 것이다.

본 발명(청구항 21)에 관한 화상 합성 장치는, 임의 형상의 물체를 포함하는 제 1 화상 공간을 형성하는, 상기 물체의 형상을 나타내는 형상 신호 및 물체의 문양을 나타내는 텍스쳐 신호를 포함하는 제 1 화상 신호와, 제 2 화상 공간을 형성하는, 화상의 문양을 나타내는 텍스쳐 신호를 포함하는 제 2 화상 신호를 합성하여, 제 3 화상 공간을 형성하는 합성 화상 신호를 생성하는 장치에 있어서, 상기 제 1 화상 공간에 있어서의 각 화소의 형상 신호에 근거하여, 상기 물체의 경계 위치를 검출하는 경계 검출 수단과, 상기 제 1 화상 공간에 있어서의, 피처리 화소를 포함하는 대상 영역내에 위치하는 화소의 형상 신호에 근거하여, 상기 피처리 화소의 텍스쳐 신호에 대한 합성 비율을 산출하는 처리를, 상기 물체의 경계 부근의, 상기 물체내 및 물체밖에 위치하는 화소에 대해서만 실행하는 합성 비율 산출 수단과, 상기 경계 부근의 화소에 대해서는, 상기 산출된 합성 비율에 근거하여, 상기 피처리 화소와, 이것에 대응하는 제 2 화상 공간에 있어서의 대응 화소 사이에서 이들 화소의 텍스쳐 신호의 합성 처리를 실행하는 처리를 실행하고, 상기 경계 부근 이외의 화소에 대해서는, 이들 화소의 형상 데이터에 근거하여, 상기 피처리 화소와, 이것에 대응하는 제 2 화상 공간에 있어서의 대응 화소 사이에서 이들 화소의 텍스쳐 신호의 합성 처리를 실행하는 처리를 실행하는 화소 합성 수단을 포함하며, 상기 합성된 텍스쳐 신호를, 상기 제 3 화상 공간에 있어서의, 상기 피처리 화소에 대응하는 화소의 텍스쳐 신호로서 이용하는 것이다.

본 발명(청구항 22)에 관한 화상 합성 장치는, 임의 형상의 물체를 포함하는 제 1 화상 공간을 형성하는, 상기 물체의 형상을 나타내는 형상 신호 및 물체의 문양을 나타내는 텍스쳐 신호를 포함하는 제 1 화상 신호와, 제 2 화상 공간을 형성하는, 화상의 문양을 나타내는 텍스쳐 신호를 포함하는 제 2 화상 신호를 합성하여, 제 3 화상 공간을 형성하는 합성 화상 신호를 생성하는 장치에 있어서, 상기 물체의 사이즈 및 제 1 화상 공간에 있어서의 상기 물체의 위치를 나타내는 부가 정보에 근거하여, 물체내 또는 물체밖에서 물체의 경계 부근에 위치하는 특정 화소에 대해서는, 상기 제 1 화상 공간에 있어서의 피처리 화소와, 이것에 대응하는 제 2 화상 공간에 있어서의 대응 화소 사이에서 이들 화소의 텍스쳐 신호의 합성 처리를 실행하는 처리를 실행하고, 상기 제 1 화상 공간에 있어서의 특정 화소 이외의 주변 화소에 대해서는, 이들의 주변 화소에 대응하는 제 2 화상 공간에 있어서의 화소의 텍스쳐 신호를, 상기 제 3 화상 공간에 있어서의, 상기 주변 화소에 대응하는 화소의 텍스쳐 신호로 하는 화소 합성 수단을 포함하며, 상기 제 3 화상 공간에 있어서의, 상기 특정 화소에 대응하는 화소의 텍스쳐 신호로서는, 상기 화소 합성 단계의 합성 처리에 의해 얻어진 텍스쳐 신호를 이용하는 것이다.

본 발명(청구항 23)에 관한 화상 합성 장치는, 임의 형상의 물체를 포함하는 제 1 화상 공간을 형성하는, 상기 물체의 형상을 나타내는 형상 신호 및 물체의 문양을 나타내는 텍스쳐 신호를 포함하는 제 1 화상 신호와, 제 2 화상 공간을 형성하는, 화상의 문양을 나타내는 텍스쳐 신호를 포함하는 제 2 화상 신호를 합성하여, 제 3 화상 공간을 형성하는 합성 화상 신호를 생성하는 장치에 있어서, 상기 제 1 화상 신호를 구성하는 텍스쳐 신호와 형상 신호의 해상도가 동등하지 않을 때, 상기 텍스쳐 신호에 대하여, 그 해상도가 상기 형상 정보의 해상도와 동등하게 되도록 해상도 변환 처리를 실시하는 해상도 변환 수단과, 상기 해상도 변환 처리를 실시한 텍스쳐 신호와 상기 형상 신호를 이용하여, 상기 제 1 화상 신호와 제 2 화상 신호의 합성 처리를 실행하는 화상 합성 수단을 포함한 것이다.

본 발명(청구항 24)에 관한 화상 합성 장치는, 임의 형상의 물체를 포함하는 제 1 화상 공간을 형성하는, 상기 물체의 형상을 나타내는 형상 신호 및 물체의 문양을 나타내는 텍스쳐 신호를 포함하는 제 1 화상 신호와, 제 2 화상 공간을 형성하는, 화상의 문양을 나타내는 텍스쳐 신호를 포함하는 제 2 화상 신호를 합성하여, 제 3 화상 공간을 형성하는 합성 화상 신호를 생성하는 장치에 있어서, 상기 제 1 화상 신호를 구성하는 텍스쳐 신호의 해상도, 제 2 화상 신호를 구성하는 텍스쳐 신호의 해상도, 합성 화상 신호를 구성하는 텍스쳐 신호를 화상 표시할 때의 표시 해상도가 서로 다를 때, 상기 제 1, 제 2 화상 신호의 텍스쳐 신호에 대하여, 그 해상도가 상기 표시 해상도와 동등하게 되도록 해상도 변환 처리를 실시하는 해상도 변환 수단과, 상기 해상도 변환 처리를 실시한 상기 제 1, 제 2 화상 신호의 텍스쳐 신호를 이용하여 상기 제 1 화상 신호와 제 2 화상 신호의 합성 처리를 실행하는 화상 합성 수단을 포함한 것이다.

본 발명(청구항 25)에 관한 화상 합성 장치는, 임의 형상의 물체를 포함하는 제 1 화상 공간을 형성하는, 상기 물체의 형상을 나타내는 형상 신호 및 물체의 문양을 나타내는 텍스쳐 신호를 포함하는 제 1 화상 신호와, 제 2 화상 공간을 형성하는, 화상의 문양을 나타내는 텍스쳐 신호를 포함하는 제 2 화상 신호를 합성하여, 제 3 화상 공간을 형성하는 합성 화상 신호를 생성하는 장치에 있어서, 상기 제 1 화상 공간에 있어서의, 피처리 화소를 포함하는 대상 영역내에 위치하는 화소의 형상 신호에 근거하여, 상기 피처리 화소의 텍스쳐 신호에 대한 합성 비율을 산출하는 합성 비율 산출 수단과, 상기 산출된 합성 비율에 근거하여, 상기 피처리 화소와, 이것에 대응하는 제 2 화상 공간에 있어서의 대응 화소 사이에서 이들 화소의 텍스쳐 신호의 합성 처리를 실행하는 제 1 화소 합성 수단을 갖고, 상기 합성된 텍스쳐 신호를, 상기 제 3 화상 공간에 있어서의, 상기 피처리 화소에 대응하는 화소의 텍스쳐 신호로서 출력하는 제 1 화상 합성 처리부와, 상기 제 1 화상 공간에 있어서의 피처리 화소와, 이것에 대응하는 제 2 화상 공간에 있어서의 대응 화소 사이에서 이들 화소의 텍스쳐 신호의 합성 처리를, 상기 제 1 화상 합성 처리에 있어서의 합성 비율과는 다른 비율로 실행하는 제 2 화소 합성 수단을 갖고, 상기 합성된 텍스쳐 신호를, 상기 제 3 화상 공간에 있어서의, 상기 피처리 화소에 대응하는 화소의 텍스쳐 신호로서 출력하는 제 2 화상 합성 처리부를 포함하며, 상기 제 1 화상 공간에 있어서의, 피처리 화소를 포함하는 대상 영역내에 위치하는 화소의 형상 신호에 근거하여, 상기 제 1 및 제 2 화상 합성 처리를 전환하도록 구성한 것이다.

본 발명(청구항 26)에 관한 데이터 기억 매체는, 컴퓨터에 의해 화상 합성 처리를 실행시키기 위한 프로그램을 저장한 데이터 기억 매체에 있어서, 상기 프로그램으로서, 청구항 1 내지 청구항 19 중 어느 한 항에 기재된 화상 합성 방법에 의한 화상 합성 처리를 컴퓨터로 실행시키는 화상 합성 프로그램을 저장한 것이다.

본 발명의 상기 및 그 밖의 목적, 특징, 국면 및 이익 등은 첨부 도면을 참조로 하여 설명하는 이하의 상세한 실시예로부터 더욱 명백해질 것이다.

발명의 실시예

이하, 본 발명의 실시예에 대하여 설명한다.

(실시예 1)

본 발명의 실시예 1에 의한 화상 합성 방법은, 복수의 물체의 화상에 대응하는 화상 신호를 수신하여, 각 화상에 대응하는 형상 신호를 참조해 화상 신호의 합성 처리를 실행하는 방법에 있어서, 각 물체의 화상의 경계 내측, 즉 물체내에 화상 경계에 인접하여 위치하는 화소의 형상 데이터(형상 신호의 화소값)에 평활화 처리를 실시한 후, 상기 각 물체의 화상 신호에 대한 합성 처리를 실행하는 것으로서, 이에 따라 합성 화상의 화질 향상을 도모할 수 있는 것이다.

도 1은 본 발명의 실시예 1에 의한 화상 합성 방법에 있어서의 처리의 흐름을 나타내는 도면이다. 도 2는 도 1에 나타내는 단계(410)에서의 구체적인 처리를 모식적으로 도시하는 도면이다.

도 2의 (a)에 있어서, (302)는, 도 25에 도시하는 물체의 경계 부분에 있어서의 1 라인분의 화소(300)에 대응하는 형상 데이터로서, 횡축을 화상에 있어서의 화소 위치, 종축을 화소의 형상 데이터값으로 하는 좌표상에 도시되어 있다. 여기서, 형상 데이터는 0∼255 중 어느 한 개의 값을 취하는 다치(多値) 데이터로 한다.

이하, 형상 데이터(302) 중의, 물체내에 물체 경계에 인접하여 위치하는 경계 화소(피처리 화소)의 형상 데이터(500)에 대하여, 화소값 변환 처리를 실행하는 경우에 대하여 설명한다.

우선, 미처리 화상 판정 단계(402)에 있어서, 미처리 화소가 남아 있는지 여부를 판정하고, 남아 있는 경우에는 형상 데이터 입력 단계(404)에서, 처리 대상으로 되는 전경 화소(피처리 화소)의 형상 데이터를 입력한다. 미처리 화소가 남아 있지 않으면 합성 처리를 종료한다(단계 S414).

다음에 형상 데이터 판정 단계(406)에 있어서, 처리의 대상으로 되는 전경 화소의 형상 데이터(500)가 "0값"인지 아닌지를 판정한다. 그 판정 결과, 형상 데이터가 "0값"인 경우에는 배경 화소 출력 단계(408)에 있어서, 대상으로 되는 전경의 화소 위치에 대응하는 배경의 화소의 화소값(텍스쳐 데이터)을 합성 화소의 텍스쳐 데이터로서 출력하고, 대상으로 되는 전경 화소에 대한 합성 처리를 종료한다.

여기서, 합성 화소의 텍스쳐 데이터를 출력할 곳이 배경 화소의 텍스쳐 데이터의 저장부인 경우에는, 상기 단계(408)의 처리는 무(無)처리로 된다.

계속해서, 상기 단계(406)에서의 판정 결과, 대상으로 되는 전경 화소의 형상 데이터(500)가 "0이 아닌 값"인 경우에는, 형상 데이터 산출 단계(합성 비율 산출 단계)(410)에서, 소정의 영역, 즉 처리 대상으로 되는 대상 화소를 포함하는 소정 사이즈의 영역(대상 영역)내의 모든 화소의 형상 데이터를 이용하여, 처리 대상으로 되는 전경 화소의 형상 데이터를 소정의 방법으로 산출한다. 여기서, 상기 대상 영역은, 도 2의 (b)에 도시하는, 물체의 화상의 경계부(500)를 포함하는 검정색 굵은 선으로 둘러싸인 영역으로서, 중심에 상기 대상 화소가 위치하는, 3×3 화소로 이루어지는 영역(502)이다.

또, 이 대상 영역에 포함되는 화소의 배치는, 3×3 화소에 한정되는 것이 아니라, M×N(M, N은 자연수)으로 도시되는 화소 배치이어도 무방하며, 또한 합성하는 전경의 화상에 따라서, 상기 대상 영역에 있어서의 화소 배치(가로, 세로 사이즈, 화소수 등)를 변경하여도 무방한 것으로 한다. 또한, 텍스쳐 데이터를 구성하고 있는 휘도 데이터 및 색차 데이터 각각의 처리에 있어서도, 대상 영역의 화소 배치를 서로 다른 것으로 하여도 무방하다.

또한, 상기 형상 데이터를 산출하는 구체적 방법은, 여기서는, 대상 영역(502)내의 9 화소가 갖는 형상 데이터를 가산 평균한 것을 피처리 화소의 형상 데이터로 하는 방법으로 하고 있다. 이에 따라, 피처리 화소(506)의 형상 데이터(504)는 도 2의 (a)에 도시하는 바와 같이 레벨(504)이 작아지게 된다.

이러한 방법에서는, 대상 영역(500)내의 화소의 형상 데이터를 고려하여, 피처리 화소의 형상 데이터를 산출함으로써, 물체의 화상 경계의 양측에 배열되는 복수 화소의 형상 데이터의 변화를 완만하게 할 수 있다.

마지막으로, 화소 합성 단계(412)에서는, 상술한 바와 같이 하여 산출된 형상 데이터(504)를, 텍스쳐 데이터의 합성시에 이용하는 합성 비율로 하여, 대상으로 되는 전경 화소와 배경 화소의 텍스쳐 데이터에 대해, 상기 수학식 1을 이용하여 가중 평균 처리를 실행함으로써, 전경 화상과 배경 화상 사이에서 합성한 텍스쳐 데이터를, 대상 화소에 대응하는 합성 화상의 화소의 텍스쳐 데이터로서 출력한다.

이러한 본 실시예 1에 따르면, 물체의 화상의 내측에 그 경계에 인접하여 위치하는 화소의 형상 데이터만을 이용하여, 상기 경계 근방에서의 화소의 형상 데이터의 분포가 매끄럽게 되도록 형상 데이터의 평활화를 실행하고, 이 평활화에 의해 얻어진 형상 데이터를 합성 비율로 하여, 경계 내측 근방에 위치하는 전경 화소와, 이것에 대응하는 배경 화소 사이에서, 텍스쳐 데이터의 합성을 실행하도록 하였기 때문에, 합성한 화상에 있어서의 전경 화상과 배경 화상의 경계 부분에 있어서의 화질을 향상시킬 수 있다.

또, 상기 실시예 1에 있어서, 형상 데이터는 0∼255 중 어느 한 개의 값을 랜덤하게 취하는 다치 데이터이어도 좋고, "0값", "0이 아닌 값" 중 어느 하나의 값을 갖는 2값 데이터이어도 좋다.

예를 들어, 이 형상 데이터가 "0값", "0이 아닌 값" 중 어느 한 개의 값을 갖는 2값 데이터인 경우에 대해서는, 도 2의 (c)의 표(508)에 도시하는 바와 같이, 상기 대상 영역(502)내의 화소 중 형상 데이터가 "0이 아닌 값"인 화소의 수를 구하고, "0이 아닌 값"을 갖는 화소의 수(count)를 상기 대상 영역(502)내의 화소의 수(range-count)로 제산한 값(count/range-count)에, "0이 아닌 값"의 형상 데이터(alpha-value)를 곱해, 피처리 화소의 형상 데이터를 산출하는 것도 가능하다. 여기서, 표(508)의 수학식에서 사용되고 있는 alpha-value에 대해서는, 도 2의 예에서는 255로 되어 있으나, 이것에 한정되는 것이 아니라 0∼255 범위내의 중간값의 값을 취해도 무방한 것으로 한다.

또한, 상기 형상 데이터가 상기한 바와 같은 다치 데이터인 경우에는, 대상 영역내의 각 화소의 형상 데이터의 가산 평균을 피처리 화소의 형상 데이터로 하여도 무방하다.

(실시예 2)

도 3은 실시예 2에 의한 화상 합성 방법을 설명하기 위한 도면으로서, 이 합성 방법에 있어서의 합성 비율 산출 단계(410)의 처리를 모식적으로 나타내고 있다.

본 실시예 2의 화상 합성 방법은, 상기 실시예 1의 화상 합성 방법의 합성 비율 산출 단계(410)에 있어서의 형상 데이터 산출시에, 경계 부분 근방에 위치하는 화소의 합성 비율의 분포가 보다 매끄럽게 되도록 추가 처리를 실행하도록 한 것이다. 그리고 그 밖의 처리에 대해서는, 실시예 1에서 설명한 처리 순서와 완전히 마찬가지이므로, 설명을 생략한다.

도 3의 (a)에 있어서, (300, 302, 500, 502)는 각각 도 25 및 도 2에 도시하는 것과 동일한 것이다.

본 실시예 2에 있어서의 합성 비율 산출 단계(410)에서는, 물체의 경계내에 위치하는 화소의 합성 비율(형상 데이터)을 변경하는 처리가 실행된다. 또한, 피처리 화소를 포함하는 대상 영역(3×3 화소로 이루어지는 영역)에 있어서의 화소 배열 패턴은, 도 3의 (a)에 도시하는 3×3 화소로 이루어지는 대상 영역(502)의 패턴 이외에, 도 3의 (d)에 도시하는 화소 배열(610, 612, 614)의 패턴으로 되는 경우가 대부분이다.

이러한 화소 배열의 패턴을 갖는 대상 영역에 대해서는, 형상 데이터가 "0이 아닌 값"인 화소의 갯수를 산출하여, 상기 산출한 갯수가 일정수 이하의 값을 취하는 경우에는, 피처리 화소의 형상 데이터를 0으로 하고, 그 이외의 경우(산출 개수가 일정수를 초과하는 경우)에는, 피처리 화소의 형상 데이터가, 0 내지 형상 데이터의 최대값(도 3의 (b)에서는 255)의 중간값을 취하도록 변환한다.

구체적으로는, 도 3의 (c)의 표(608)에 나타내는 조건식을 이용하여, 피처리 화소의 합성 비율(형상 데이터)을 산출하는 것으로 한다.

표(608)에 나타내는 조건식에 따르면, 피처리 화소를 포함하는 대상 영역내의, "0이 아닌 값"의 형상 데이터를 갖는 화소의 화소수가 임계값 이하의 값을 나타내는 경우에는, 피처리 화소의 합성 비율(형상 데이터)을 "0값"으로 하고, 그 이외의 경우에 대해서는, 대상 영역내에 포함되는 "0이 아닌 값"의 형상 데이터를 갖는 화소의 갯수와, 대상 영역내에 포함되는 모든 화소의 갯수를 이용하여, 피처리 화소의 형상 데이터를 "0값" 내지 "0이 아닌 값"(도 3의 (b)에서는 255)의 중간값으로 되도록 합성 비율을 산출하는 처리가 이루어진다. 이 조건식에 의해서, 물체의 화상의 경계에 위치하는 화소에 대응하는 합성 비율의 값을 변경할 수 있어, 전경 화상과 배경 화상을 중첩시킨 합성 화상에 있어서의 전경 화상의 경계 부분 화질을 향상시킬 수 있다.

또, 표(608)에 나타내는 조건식에서 사용되고 있는 임계값 threshold는, 상기 대상 영역의 크기에 따라 변경하는 것이다.

또한, 상기 표(608)의 조건식에서 사용되고 있는 alpha_value에 대해서는 도 3의 예에서는 255로 되어 있지만, 0 내지 255의 중간값을 취하여도 무방하다.

이러한 본 실시예 2에서는, 물체의 경계를 포함하는 대상 영역내에 있어서의, 형상 데이터가 "0이 아닌 값"인 화소의 수를 판정하여, 물체의 경계 부분에 위치하는 화소의 형상 데이터에 대해 그 값(즉 합성 비율의 값)의 변화가 보다 매끄럽게 되도록 처리를 실시하고, 얻어진 합성 비율을 이용하여 전경과 배경의 합성을 실행하기 때문에, 합성 화상에 있어서의 전경 화상과 배경 화상의 경계 부분의 화질을 보다 향상시킬 수 있다.

(실시예 3)

도 4는 본 발명의 실시예 3에 의한 화상 합성 방법을 설명하기 위한 도면으로서, 본 실시예 3의 화상 합성 방법의 처리의 흐름을 나타낸다. 도 5의 (a)∼(e)는 도 4에 도시하는 형상 정보 생성 단계(710) 및 화소 정보 생성 단계(714)에 있어서의 처리를 모식적으로 도시하는 도면이다.

본 실시예 3에 의한 화상 합성 방법은, 복수 물체의 화상 신호를 수신하여, 화상 신호의 합성 처리를 실행하는 방법에 있어서, 경계 화소의 형상 데이터를 참조해 전경 화상의 경계 부분 화소에 대한 합성 비율을 평활화 처리에 의해 구하고, 이에 따라 얻어진 합성 비율을 이용하여 전경 화상과 배경 화상 사이에서 텍스쳐 신호를 합성하되, 이 때, 상기 전경 화상의 경계밖 화소의 텍스쳐 데이터를 경계내 화소의 텍스쳐 데이터를 이용하여 생성함으로써, 합성 화상의 화질 향상을 도모하는 것이다.

도 5에 있어서, (302)는, 도 25에 도시하는 영역(300)의 경계 부분을 포함하는 1 라인의 화소로서, 이 1 라인의 화소(302)내의 물체 경계 외측에 위치하는 경계 화소(306)에 대하여, 형상 데이터의 변환 처리를 실행하는 경우에 대하여 설명한다. 또한, 상기 영역(300), 즉 형상 공간에 있어서의 물체 경계를 포함하는 영역에 대응하는 텍스쳐 공간에 있어서의 영역(800)을 도 5의 (d)에 도시한다.

우선, 최초로 미처리 화소 판정 단계(702)에서, 미처리 화소가 존재하는지 여부를 판정하고, 존재하는 경우에는 화소 입력 단계(704)에 있어서, 대상으로 되는 전경 화소를 중심으로 하는 대상 영역(도 4에서는 소정 영역이라고 기술함)내의 화소의 텍스쳐 데이터 및 형상 데이터를 입력한다. 여기서, (306)은 처리 대상으로 되는 형상 화소(피처리 화소), (804)는 상기 형상 화소에 대응하는 텍스쳐 화소(텍스쳐 공간에 있어서의 화소)이다. 또한, 대상 영역이란, 상기 화소(306, 804)를 중심으로 하는 형상 공간 및 텍스쳐 공간에 있어서의 소정 사이즈의 영역이다.

도 5의 (b),(d)에는, 이들 영역(802, 806)이, 굵은 선으로 둘러싸인 3×3 화소로 이루어지는 영역으로 표시되어 있다. 또, 이 영역은, 3×3 화소로 이루어지는 것에 한정되는 것이 아니라, M×N(M, N은 자연수) 화소로 이루어지는 것이어도 무방하며, 또한 합성하는 전경의 화상에 따라서 크기(영역의 가로, 세로 사이즈, 화소수 등)를 변경하더라도 무방한 것으로 한다. 또한, 상기 텍스쳐 데이터를 구성하고 있는 휘도 데이터 및 색차 데이터 각각의 처리에 있어서도, 경우에 따라서는 상기 소정 영역의 사이즈를 서로 다른 것으로 하여도 무방하다.

다음에, 형상 정보 판정 단계(706)에서는, 처리 대상으로 되는 전경 화소를 중심으로 하는 대상 영역(802)내의 화소 중 어느 하나가 "0이 아닌 값"의 형상 데이터를 갖고 있는지 여부를 판정한다. 어느 화소도 "0이 아닌 값"의 형상 정보를 갖고 있지 않은 경우에는, 배경 화소 출력 단계(708)에서, 처리 대상으로 되는 전경 화소(804)에 대응하는 배경 화소의 텍스쳐 데이터를 합성 화소의 텍스쳐 데이터로서 출력한다. 여기서, 합성 화소의 텍스쳐 데이터를 출력할 곳이, 배경 화소의 텍스쳐 데이터를 저장해 놓은 부분인 경우에는, 단계(708)의 처리는 무(無)처리로 된다.

한편, 상기 대상 영역(802)내의 어느 하나의 화소가 "0이 아닌 값"의 형상 데이터를 갖는 경우에는, 합성 비율 산출 단계(710)에서, 입력된 대상 영역(802)내의 화소 모두의 형상 데이터를 가산하고, 이 가산값을, 상기 대상 영역(802)내의 화소수(도 5에서는 9)로 제산한다. 제산한 결과인 합성 비율(도 5의 (c)의 형상 데이터(808))은, 후술하는 화소 합성 단계(716)에 있어서 전경 화상과 배경 화상 사이에서 텍스쳐 데이터를 합성할 때의 가중 계수에 이용된다.

계속해서, 형상 정보 판정 단계(712)에서는, 피처리 화소(306)의 형상 데이터가 "0값"인지 여부를 판정한다. 형상 공간에 있어서의 피처리 화소(306)의 형상 데이터가 "0값"인 경우에는, 이 피처리 화소에 대응하는 텍스쳐 공간의 화소(대응 텍스쳐 화소)(804)의 텍스쳐 데이터가 부정(不定)이기 때문에, 화소 정보 생성 단계(714)에서, 텍스쳐 공간의 소정 영역(상기 형상 공간의 대상 영역에 대응하는 영역)(806)내의, 형상 데이터가 "0이 아닌 값"인 형상 화소에 대응하는 텍스쳐 화소의 텍스쳐 데이터를 가산한다. 그리고, 대응하는 형상 화소의 형상 데이터가 "0이 아닌 값"인 텍스쳐 데이터 화소의 갯수로, 상기 텍스쳐 데이터의 가산값을 평균화한 평균값을, 상기 텍스쳐 화소(804)의 텍스쳐 데이터로 한다. 여기서는, 대응하는 형상 화소의 형상 데이터가 "0이 아닌 값"인 텍스쳐 화소는, 도 5의 (d)에 도시하는 소정 영역(806)내의 모양이 부가된 2 화소이고, 상기 텍스쳐 데이터의 가산값으로 나눈 값을, 대응 텍스쳐 화소(804)의 텍스쳐 데이터로 한다. 도 5의 (e)에는, 이 대응 텍스쳐 화소(804)의 텍스쳐 데이터의 값(상기 평균값)(820)이 도시되어 있다.

한편, 처리 대상으로 되는 형상 화소(피처리 화소)(306)의 형상 데이터가 "0이 아닌 값"인 경우에는, 대응하는 대상 텍스쳐 화소에는 텍스쳐 데이터가 존재하기 때문에, 단계(714)의 처리는 실행되지 않는다. 또한, 대응 텍스쳐 화소의 텍스쳐 데이터가 미리 어떤 값이 보전되어 있는 경우에는, 단계(714)의 처리는 실행되지 않는다. 예를 들어, 복호화된 텍스쳐 신호에 포함되는 부호화 왜곡의 값이 유지되어 있고, 또한 그 값이 인접하는 화소의 값과 멀리 떨어진 값이 아닌 경우, 단계(714)의 처리는 실행되지 않아도 무방하다.

마지막으로, 화소 합성 단계(716)에서는, 단계(710)에서 산출된 합성 비율(도 5의 (c)에 도시하는 피처리 화소의 형상 데이터(808))을 가중 계수로 하여, 처리 대상으로 되는 전경 화소와 배경 화소 사이에서 텍스쳐 데이터를 합성한다. 합성은 상술한 수학식 1을 이용하여 실행한다.

또, 도 5에서는, 대상으로 되는 화소의 형상 정보 산출 단계(710) 이후에, 피처리 화소의 형상 데이터의 판정 단계(712)에 의한 처리를 실행하고 있지만, 이들 처리는 병렬로 실행하여도 무방한 것으로 한다.

이와 같이 본 실시예 3에서는, 물체의 경계 부분에 위치하는 물체밖의 화소에 대하여, 텍스쳐 데이터와 형상 데이터의 평활화를 실행하도록 하였기 때문에, 화상에 따라서는 경계부의 화질이 흐려져 버리는 경우도 있으나, 실시예 1이나 실시예 2와 같이, 물체내의 경계 근방 화소가 갖는 형상 데이터의 값을 작게 하는 경우에는 없기 때문에, 물체의 크기(가로, 세로 사이즈, 화소수 등)가 대단히 작은 경우 등에 있어서는, 전경 물체의 화상을, 이것이 줄어들게 되는 것을 방지하면서 배경 화상과 합성하는 것이 가능하다. 따라서, 실시예 1, 실시예 2의 합성 처리와, 실시예 3의 합성 처리를, 입력되는 화상에 따라 전환하여 사용하여도 무방하다. 또한, 텍스쳐 데이터는 휘도 데이터와 색차 데이터로 구성되어 있기 때문에, 휘도 데이터와 색차 데이터에 의해, 실시예 1, 실시예 2의 합성 처리와 실시예 3의 합성 처리의 전환을 독립적으로 실행하도록 하여도 좋다.

또, 상기 실시예 3에서는, 형상 데이터는 0∼255 중 어느 한 개의 값을 랜덤하게 취하는 다치 데이터이어도 좋고, "0값", "0이 아닌 값" 중 어느 한 개의 값을 갖는 2값 데이터이어도 좋다.

또한, 상기 실시예 1∼3에서 나타낸 합성 방법은, 모두 수학식 1을 이용하여 실행하는 것이지만, 상기 합성 처리에는 수학식 2를 이용하는 것도 가능하다. 이 경우, 산출한 합성 비율(즉, 피처리 화소를 포함하는 대상 영역내에 위치하는 화소의 형상 데이터를 이용하여 구한 것)을 β로 하면, β/alpha'을 전경의 값 fgpel'에 승산함으로써 마찬가지의 처리를 실행할 수 있다.

(실시예 4)

본 발명의 실시예 4에 의한 화상 합성 방법은, 실시예 1∼3에 나타내는 합성 비율 산출 단계의 처리가 고속화되도록 구성한 것으로서, 그 밖의 처리 순서는 실시예 1∼3에서 설명한 처리 순서와 마찬가지다.

상기 실시예 1∼3에서 실행하는 합성 방법에서는, 합성 비율을 연산에 의해 구하고 있지만, 피처리 화소의 형상 데이터가 "0값"과 "0이 아닌 값"의 2값인 경우에 대해서는, 도 2의 (c)에 나타내는 표(508)에 있어서의 변환식, 도 3의 (c)에 나타내는 표(608)에 있어서의 변환식에 근거하여, 형상 데이터가 "0이 아닌 값"을 갖는 형상 화소의 수를 산출하고나서 구할 수 있다. 이 계산은 제산, 승산을 수반하는 것이기 때문에, 각 화소마다 처리를 실행한 경우에 계산량이 대단히 방대해지게 된다.

본 실시예 4에 있어서는, 도 6의 검정색 굵은 선으로 둘러싸인 것과 같은 3×3 화소로 이루어지는 영역을 대상 영역(소정의 영역)으로 하고, 형상 데이터로서 "0이 아닌 값"을 갖는 화소의 수(0∼9)에 대응한 합성 비율을 각각 미리 계산하여 테이블(900)에 보존해 놓는다.

실제 계산시에는, 상기 대상 영역에 있어서의 형상 데이터가 "0이 아닌 값"인 화소의 수를 우선 산출하고, 이 화소수를 바탕으로 상기 테이블로부터 그 대응하는 합성 비율을 참조(적용)함으로써, 제산, 승산을 삭감할 수 있다. 또, 여기서는 실시예 1, 실시예 3의 합성 방법에 대응한 값을 취하는 것과 같은 테이블을 예로 들어 설명하고 있지만, 실시예 2에 대해서도 마찬가지의 처리를 실시할 수 있다.

(실시예 5)

본 실시예 5의 화상 합성 방법은, 합성 비율 뿐만 아니라, 합성 비율과 화소 정보를 곱한 값을 테이블로서 유지하도록 한 것으로서, 이에 따라 상기 수학식 1에 의해 합성 화소의 텍스쳐 데이터를 구하는 계산을 간략화할 수 있다.

일반적으로, 물체의 경계 부분에 있어서는, 화소는 동일한 합성 비율(형상 데이터)의 값을 취하는 경우가 많으며, 텍스쳐 데이터에 있어서도 마찬가지라고 할 수가 있다.

그래서, 미리 합성 비율과 텍스쳐 데이터의 승산값을 계산에 의해 구하여 테이블에 유지시켜 두고, 합성 비율과 텍스쳐 데이터의 값으로부터 상기 테이블의 값을 참조함으로써, 용장의 제산, 승산 처리를 삭감할 수 있다.

상기 수학식 1에 대해서는, 도 7에 도시하는 바와 같이 전개하여, 이 전개식에 있어서의 승산 처리를, 테이블(1000)을 참조하는 처리로 대체함으로써 계산량을 삭감할 수 있다.

또한, 피처리 화소의 합성 비율을, "0이 아닌 값"의 형상 데이터를 갖는 화소의 갯수로부터 구하는 경우에는, 도 8과 같이 상기 수학식 1을 전개하여, 이 전개식에 있어서의 승산 부분의 결과를 테이블(1100)에 저장해 놓음으로써, 대상 영역에 있어서의 "0이 아닌 값"의 형상 데이터를 갖는 화소 갯수와, 텍스쳐 데이터의 값으로부터, 피처리 화소의 합성 비율을 산출할 수 있다. 또한 이 경우, 미리 준비한 테이블에 있어서의 인덱스 갯수에 대해서도 삭감할 수 있다.

예를 들어, 상기 테이블에 있어서의 인덱스로서, 「화소의 텍스쳐값」과 「합성 비율」의 배열을 이용하는 것보다도, 「화소의 텍스쳐값」과 「피처리 화소를 포함하는 대상 영역에 있어서의 물체내에 위치하는 화소의 화소수」의 배열을 이용하는 편이, 인덱스로서의 배열 갯수가 적어진다. 구체적으로는, 화소의 텍스쳐값과 합성 비율(형상 데이터)이 0∼255까지의 값을 취하는 경우, 「화소의 텍스쳐값」과 「합성 비율」의 배열을 이용하면, 256×256=65536개의 인덱스의 배열이 필요하게 되는데 반하여, 「화소의 텍스쳐값」과 「화소수」의 배열을 이용하면, 화소의 텍스쳐 데이터가 256개의 값을 취하더라도, 물체내 화소의 화소수가 0∼9까지의 10개이기 때문에, 인덱스의 배열의 갯수는 256×10=2560개로 되게 된다.

또, 상기 도 7, 도 8 중 화소 정보 혹은 화소의 화소값은 텍스쳐 데이터를 의미하며, 형상 정보는 형상 데이터를 의미하고 있다.

또한, 상기 수학식 2에 대해서도, 배경의 화소값(텍스쳐 데이터)을 승산하는 항의 부분에 대하여 테이블을 참조함으로써, 상기 수학식 1과 마찬가지로 계산량을 삭감할 수 있다.

또한, 상기 실시예 4, 실시예 5와 같은 테이블을 이용한 합성 처리는, 실시예 2의 합성 방법에 대하여도 적용할 수 있음은 물론이다.

(실시예 6)

도 10은 본 발명의 실시예 6에 의한 복호 합성 장치를 설명하기 위한 블럭도이다. 이 복호 합성 장치에서는, 실시예 1 내지 실시예 5에 나타내는 바와 같은, 경계 화소에 대한 형상 데이터 등의 평활화 처리를 실시할 것인지 여부를 나타내는 부가 정보가 부가된, 각 물체에 대응하는 화상 신호를 부호화하여 얻어지는 부호화 데이터를 복호하는 것이다.

도 9는 상기 부가 정보(1250)가 부가된 부호화 데이터인 비트 스트림의 데이터 구조를 나타내고 있다.

이 데이터 구조를 갖는 비트 스트림(1200)에는, 우선 최초로 데이터 구조에 포함되는 데이터의 갯수 등을 기재한 헤더 정보(1204)가 있고, 그 다음에 부가 정보(1250)가 있으며, 그 다음에 물체의 단위 시간마다에 있어서의 부호화 데이터(1206, 1208, 1210, 1214)가 순서대로 배치되어 있다.

부호화 데이터(1206)는 데이터를 복호화하기 위한 정보를 기술한 헤더 정보(1218), 부호화된 형상 데이터(형상 정보)(1220), 부호화된 텍스쳐 데이터(화소 정보)(1222)로 나뉘어진다. 여기서, 형상 데이터는 JBIG 등의 산술 부호화 방법에 의해 부호화된 후 가변 길이 부호화된 것, 텍스쳐 데이터는 DCT 등의 부호화 방법에 의해 부호화된 후 가변 길이 부호화된 것이다.

이 데이터 구조를 갖는 비트 스트림(1200)에 있어서, 헤더 정보(1204)의 부분에, 상술한 실시예 1 내지 실시예 5에서 설명한 바와 같은 합성을 실행할 때에, 경계 부분에서, 텍스쳐 데이터 또는 형상 데이터의 평활화를 실행할 것인지 여부를 나타내는 부가 정보(Blend flag)(1250)를 1 비트 부가하고 있다. 이에 따라 각 물체마다 실시예 1 내지 실시예 5에 나타내는 바와 같은 화상 합성 처리를 실행할 것인지 여부를 전환할 수 있다. 상기 헤더 정보는 상기 각 실시예에서 기술한 대상 영역(소정의 영역)의 가로, 세로 사이즈(예를 들면, 3×3 화소)나, 화소수 등을 나타낸다.

또한, 상기 부가 정보를 복수 비트 부가함으로써, 상술한 평활화 처리 방법 및 처리에 필요한 정보를 전환하는 것도 용이하게 실현할 수 있다. 예를 들면, 실시예 1 내지 실시예 5에 나타낸, 대상 영역의 평면 패턴 등을 부가 정보로서 부가함으로써, 합성을 실행하는 각 화상마다 대상 영역의 평면 패턴(영역의 가로, 세로 사이즈, 화소수 등)을 변경할 수 있다.

또한, 부가 정보(Blend flag)(1250)는 헤더 정보(1204)와 부호화 데이터(1206) 사이에 삽입되어 있지만, 각 부호화 데이터(1206, 1208, 1210, 1214) 도중에 삽입함으로써, 도중의 데이터로부터 처리를 전환할 수 있는 것도 가능하게 된다.

또, 각 단위 시간마다의 부호화 데이터(1206, 1208, 1210, 1214)에 포함되는 각 헤더 정보(1218) 중에도 마찬가지의 부가 정보(Blend flag)(1250)를 부가함으로써, 특정 시간의 부호화 데이터에 대해서만 실시예 1 내지 실시예 5에 나타내는 바와 같은 합성 처리를 실행하는 것도 가능하다.

또한, 상술한 부가 정보는 텍스쳐 데이터의 비트 스트림(1200) 중에 기술되어 있지만, 상기 비트 스트림(1200)과는 별개의 사이드 정보로서 부여하더라도 무방하다.

다음에 본 실시예 6의 복호 합성 장치에 대하여 설명한다.

본 실시예 6의 복호 합성 장치(1400)는 상기 비트 스트림(1200)을 수신하여, 해당 비트 스트림(1200)에 포함되는 헤더 정보, 형상 데이터 및 텍스쳐 데이터의 부호화 데이터를 분리하는 데이터 분리 수단(1402)과, 해당 분리 수단으로부터 출력되는 부호화 데이터를 복호화하는 화상 복호 수단(1404)과, 복수의 합성 수단을 갖고, 상기 부호화 데이터를 헤더 정보에 포함되는 부가 정보에 근거하여 소정의 합성 수단에 의해 합성하는 합성 처리부(1408)를 갖고 있다.

여기서, 상기 합성 처리부(1408)는 상기 부가 정보에 근거하여, 상기 화상 복호 수단(1404)의 출력을 공급하는 합성 수단을 상기 복수의 합성 수단으로부터 선택하는 제 1 선택 스위치(1412)와, 상기 부가 정보에 근거하여, 상기 복수의 합성 수단의 출력 중 1개를 선택하여 출력하는 제 2 스위치(1414)를 갖고 있다. 또한, 이 합성 처리부(1408)에 있어서의 복수의 합성 수단 중 적어도 1개가 상기 실시예 1 내지 실시예 5 중 어느 하나에 의한 화상 합성 방법에 의한 합성 처리를 실행하는 구성으로 되어 있다.

다음에 동작에 대하여 설명한다.

입력 단자(1400a)로부터 비트 스트림(1200)이 입력되면, 이 비트 스트림(1200)은 데이터 분리 수단(1402)에 의해 형상 데이터나, 화소 데이터 등의 각 부호화 데이터로 분할된다. 분할된 각 부호화 데이터는 복호화 수단(1404)에 의해 복호화된다. 한편, 상기 비트 스트림(1200)에 포함되는 부가 정보(1250)는 합성 처리부(1408)에 입력되고, 스위치(1412, 1414)에 의해서, 대응하는 합성 방법을 이용한 합성 수단을 선택한다.

또, 여기서 복호화 수단(1404)을 복수개 마련하여, 입력된 복수의 물체에 대한 비트 스트림에 대하여 복호화 처리를 병렬로 실행하도록 하여도 좋다.

이미 복호화, 생성, 혹은 유지된 배경의 화소 정보는 제 2 입력 단자(1406)로부터 입력되어, 합성 처리부(1408)로 보내진다. 합성 처리부(1408)에서는 상기 화상 복호 수단(1404)에 의해 복호화된 각 화소 데이터, 형상 데이터에 대응한 합성 방법에 의해, 전경 화상과 배경 화상의 합성 처리를 실행한다. 합성된 합성 데이터는 출력 단자(1410)로부터 출력된다.

다음에 상기 실시예 6의 변형예에 의한 복호 합성 장치에 대하여 도 11을 이용하여 설명한다.

본 변형예의 복호 합성 장치(1500)는 상기 부가 정보(1250)에, 상기 각 실시예의 합성 방법에서 이용하는, 대상 영역의 평면 패턴을 나타내는, 합성에 필요한 다른 부가 데이터를 부가한 비트 스트림을 복호화하여, 화상의 합성을 실행하는 것이다.

즉, 이 복호 합성 장치(1500)는 전경 화상에 대응하는 제 1 비트 스트림을 수신하여, 해당 비트 스트림으로부터, 형상 데이터 및 텍스쳐 데이터를 부호화한 부호화 데이터를 분리함과 동시에, 합성의 방법 및 합성을 실행할 때에 필요한 부가 정보를 분리하는 데이터 분리 수단(1502)과, 해당 분리 수단으로부터 출력되는 부호화 데이터를 복호화하는 화상 복호 수단(1504)을 갖고 있다.

또한, 상기 복호 합성 장치(1500)는 상기 부가 정보를 이용하여 합성에 필요한 정보를 산출하는 합성 방법 결정 수단(1506)과, 상기 복호화된 형상 데이터 및 텍스쳐 데이터, 합성 방법 결정 수단(1506)으로부터 입력된 합성 방법의 정보에 근거하여, 제 2 입력 단자(1512)로부터 입력된, 이미 복호화, 생성, 혹은 유지되어 있던 배경의 텍스쳐 데이터와 상기 전경 화상의 텍스쳐 데이터를 합성하는 화상 합성 수단(1508)을 갖고 있다.

여기서, 상기 화상 합성 수단(1508)은 상기 화상 합성 처리로서, 상기 실시예 1 내지 실시예 5 중 어느 하나의 화상 합성 방법에 의한 합성 처리를 실행하는 구성으로 되어 있다.

다음에 동작에 대하여 설명한다.

입력 단자(1500a)로부터 상기 비트 스트림(1200)이 입력되면, 데이터 분리 수단(1502)에 의해, 해당 비트 스트림으로부터, 형상 데이터 및 텍스쳐 데이터를 부호화한 부호화 데이터가 분할됨과 동시에, 합성의 방법 및 합성을 실행할 때에 필요한 부가 정보가 분리된다. 그리고, 이 부가 정보는 합성 방법 결정 수단(1506)에 입력된다. 한편, 분할된 부호화 데이터는 화상 복호 수단(1504)에 의해 복호화된다.

그리고, 합성 방법 결정 수단(1506)에서는 입력된 부가 정보를 이용하여 합성에 필요한 정보가 산출된다. 또한, 화소 합성 수단(1508)에서는, 복호화된 형상 데이터 및 텍스쳐 데이터, 합성 방법 결정 수단(1506)으로부터 입력된 합성 방법 및 제 2 입력 단자(1512)로부터 입력된, 이미 복호화, 생성, 혹은 유지되어 있던 배경의 텍스쳐 데이터를 이용하여 합성 처리가 실행된다. 합성된 데이터는 출력 단자(1510)로부터 출력된다.

(실시예 7)

도 12 내지 도 15는 본 발명의 실시예 7에 의한 화상 합성 방법을 설명하기 위한 도면이다.

본 실시예 7의 화상 합성 방법은 전경 화상과 배경 화상 사이에서 텍스쳐 신호를 합성할 때에, 전경의 물체의 형상을 나타내는 부가 정보를 참조하여 합성하는 것으로, 이에 따라 용장의 연산 처리를 삭감하는 것이다.

도 12는 배경 화상과 전경 화상의 합성 처리를 개념적으로 나타내고 있고, 도면에 있어서, (1600)은 배경의 텍스쳐 신호에 의한 배경 화상 화면(배경 텍스쳐 공간), (1602)는 전경의 텍스쳐 신호에 의한 전경 화상 화면(전경 텍스쳐 공간), (1604)는 전경의 형상 신호에 의한 전경 형상 화면(전경 형상 공간)으로서, 도 23에 있어서의 배경 화상 화면(100), 전경 화상 화면(102), 전경 형상 화면(104)과 동일한 것이다.

도 12에 있어서, 전경 화상 화면(1602)내에서 물체가 차지하는 비율은 전체의 절반 이하로 되어 있다. 이러한 경우, 합성 처리의 판정이 필요한 개소는 물체를 둘러싸는 영역(이하, 물체 영역이라고도 함)(1606)내에 포함되는 화소, 또는 해당 물체 영역(1606)에 인접하는 물체밖의 화소 뿐이므로, 그 밖의 화소에 대해서는 배경 화상(1600)의 텍스쳐 데이터(텍스쳐 신호의 각 화소에 대응하는 값)를 그대로 이용하면 된다.

따라서, 전경 화상 화면(1604)을 형성하는 형상 신호로부터 얻어지는 물체 영역(1606)의 세로, 가로 사이즈(1608, 1610) 및 해당 물체 영역(1606)의 전경 형상 화면(1604)의 좌측 상부로부터의 거리를 나타내는 세로, 가로의 변위(1612, 1614) 등을 나타내는 정보를 합성 처리할 때에 부가 정보로서 수신하도록 하고, 이 부가 정보를 참조함으로써, 전경 화상 화면(1602)내의 물체를 포함하는 직사각형 영역(1606)의 주변에 대해서만 합성 처리가 필요한지 여부의 판정을 실행하도록 하고 있다.

도 13 및 도 15는 실시예 7의 합성 방법에 의해 화상 합성 처리를 실행하는 장치의 블럭 구성을 나타내는 도면이다.

도 13에 나타내는 실시예 7의 화상 합성 장치(1700)는 전경 화상에 대응하는 제 1 비트 스트림을 수신하여, 해당 비트 스트림으로부터, 형상 데이터 및 텍스쳐 데이터를 부호화한 부호화 데이터를 분리함과 동시에, 합성을 실행할 때에 필요한 상기 부가 정보를 분리하는 데이터 분리 수단(1702)과, 해당 분리 수단으로부터 출력되는 부호화 데이터를 복호화하는 화상 복호 수단(1704)과, 상기 분리된 부가 정보를 취득하여 출력하는 부가 정보 취득 수단(1706)을 갖고 있다.

또한, 상기 복호 합성 장치(1700)는 배경 화상과 전경 화상 사이에서 상기 물체 영역내의 화소에 대응하는 텍스쳐 신호의 합성을 실행하는 직사각형 영역내 화소 합성 수단(1710)을 포함하고, 상기 부가 정보 취득 수단(1706)으로부터의 부가 정보에 근거하여, 상기 전경 화상과 배경 화상의 합성을 실행하는 합성 처리부(1708)를 갖고 있다.

여기서, 상기 화상 합성 수단(1710)은 상기 화상 합성 처리로서, 상기 실시예 1 내지 실시예 5 중 어느 하나의 화상 합성 방법에 의한 합성 처리를 실행하는 구성으로 되어 있다. 또한, 상기 합성 처리부(1708)는 상기 화상 복호 수단(1704)으로부터의 복호화 데이터의 상기 합성 수단(1710)으로의 공급을 상기 부가 정보 취득 수단(1706)으로부터의 부가 정보에 근거하여 온·오프하는 개폐 스위치(1716)와, 해당 부가 정보에 근거하여, 배경 화상의 텍스쳐 신호와 상기 합성 수단(1710)의 출력 데이터 중 한쪽을 선택하는 선택 스위치(1718)를 갖고 있다.

다음에 동작에 대하여 설명한다.

이 화상 합성 장치(1700)의 입력 단자(1700a)에는 텍스쳐 신호 및 형상 신호를 부호화한, 비트 스트림(1200)과 같은 데이터 구조를 갖는 부호화 데이터가 입력된다. 입력된 부호화 데이터는 데이터 분리 수단(1702)에 의해, 각 부호화 데이터로 분리된다. 한편, 물체의 형상의 크기 및 화면내의 위치를 나타내는 정보는 부가 정보 취득 수단(1706)에 입력된다.

텍스쳐 신호 및 형상 신호에 대응하는 각 부호화 데이터에 대해서는, 화상 복호 수단(1704)에 있어서 복호화된다. 또, 복호화 수단(1704)에 대해서는 복수개 마련하여, 복수의 부호화 데이터에 대한 복호 처리를 병렬로 실행하여도 무방하다.

복호화된 형상 신호 및 텍스쳐 신호는 스위치(1716)를 거쳐 화소 합성 수단(1708)에 입력되고, 또한 배경 화상의 텍스쳐 신호는 제 2 입력 단자(1714)를 거쳐서 합성 처리부(1708)에 입력되어, 배경 화상과 전경 화상 사이에서 텍스쳐 신호의 합성이 실행된다.

즉, 합성 처리부(1708)에서는 입력된 물체의 형상의 크기 등의 정보를 이용하여, 스위치(1716, 1718)에 의해, 직사각형 영역(물체 영역)내의 화소인 경우에는, 배경 화상과 전경 화상 사이에서 텍스쳐 신호의 합성을 실행하여 출력하고, 직사각형 영역밖의 화소에 대해서는, 배경 화상의 텍스쳐 신호를 그대로 출력한다.

또, 여기서 배경 화상의 텍스쳐 신호는 이미 복호화 혹은 생성되어 메모리에 유지된 것이어도 좋고, 부호화 데이터를 복호 수단(1704)과 마찬가지의 수단에 의해 복호화한 것이어도 좋다.

상기 합성 처리부(1708)에서는 입력된 배경 및 전경의 텍스쳐 신호 및 전경의 형상 신호에 근거하여, 각기 별도로 입력된 전경 화면에 있어서의 물체의 위치 및 크기를 나타내는 부가 정보를 참조하여, 전경 화면을 구성하는 화소에 대한 상기 직사각형 영역 내외(內外)를 판정하고, 스위치(1716, 1718)를 이용하여, 화소 합성 수단(1710)에 의한 직사각형 영역내의 합성 처리와, 해당 직사각형 영역 밖의 합성 처리를 전환하여 합성 처리를 실행한다. 또, 직사각형 영역 밖의 화소에 대해서는 배경의 텍스쳐 데이터를 이용하면 된다.

도 15는 상기 실시예 7의 변형예에 의한 화상 합성 장치의 구성을 나타내며, 이 화상 합성 장치(1701)는, 도 13에 나타내는 화상 합성 장치의 구성에 부가하여, 복호화한 전경 화면의 텍스쳐 신호 및 형상 신호, 그리고 전경 화면에 있어서의 물체의 크기 정보를 유지하는 메모리(1802)를 추가한 것이다.

이 메모리(1802)를 갖는 화상 합성 장치(1701)에서는 정지되어 있는 화상을 합성할 때에, 이미 복호화되어 있는 데이터를 이용함으로써 처리량을 삭감할 수 있다. 메모리(1802)에서는 복호화한 형상 신호 및 텍스쳐 신호 이외에, 복호화시에 얻어진 형상 화면에 있어서의 직사각형 영역(물체 영역)의 크기, 위치, 또는 해당 직사각형 영역의 경계 위치를 나타내는 부가 정보를 유지하고 있고, 화상의 합성을 실행할 때에 이들 정보를 화소 합성 수단(1710)에 입력함으로써, 도 13에 나타내는 화상 합성 장치(1700)와 마찬가지의 처리를 실행한다. 이와 같이 직사각형 영역의 경계 위치 등의 정보를 합성 처리부(1708)에 송신함으로써, 처리 대상의 화소가 경계 부분에 위치하는지 여부를 판정하는 처리를 삭감할 수 있다.

또한, 상기 화상 합성을 실행할 때에 참조하는 직사각형 영역의 위치나 사이즈 등의 정보는 부가 정보 취득 수단(1706)을 이용하는 일 없이 복호화 수단(1704)으로부터 합성 처리부(1708)에 직접 송신하지 않아도 무방한 것으로 한다.

이러한 합성 처리에 의해서, 전경와 배경 사이에서 텍스쳐 데이터의 합성 처리를 실행하는지 여부의 판정을 실행할 필요가 있는 전경 화면내의 영역을 한정하는 것이 가능해지고, 이 판정에 필요한 용장의 연산 처리를 삭감할 수 있다.

또한, 부가 정보중에, 배경 화면상에 합성하여 표시하는 전경 화면의 사이즈 및 위치 등의 정보를 기술하더라도 무방한 것으로 한다.

이것에 대하여 도 14를 이용하여 설명한다.

도 14에서, 도 12와 동일 부호는 상기 실시예 7에서 설명한 것과 동일한 것이다.

배경 텍스쳐 신호(화면(1600)), 전경 텍스쳐 신호(화면(1602)) 및 전경 형상 신호(화면(1604))를 이용하여, 전경 화상과 배경 화상을 합성하는 경우에는, 합성한 화상을 확대하여 표시하거나, 합성한 화상을, 별도의 합성용 화면에 표시하는 경우가 있다.

그 경우, 합성 화상(1600a)의, 별도의 합성 화면(2700a)상에서의 위치(2704, 2702)나 화상 사이즈(2708, 2706)를 마찬가지로 입력함으로써, 합성 화상에 따라 표시 위치 및 표시의 사이즈를 변경하는 것도 가능하다.

(실시예 8)

도 16 및 도 17은 본 발명의 실시예 8에 의한 화상 합성 방법을 설명하기 위한 도면이다. 본 실시예 8의 화상 합성 방법은 합성 처리를 실행할 때에, 물체내 및 물체밖의 화소의 위치를 미리 조사함으로써, 합성 처리를 실행할 것인지 여부에 대한 용장의 판정 처리를 삭감하는 것이다.

도 16 및 도 17은 소정의 화상의 형상 신호에 의해 얻어지는 형상 화면을 나타내고 있다. 도면에서의 눈금 1개가 1 화소에 상당하고, 색칠되어 있는 화소(예를 들면 화소(1902) 등)는 물체내인 것을 나타내고, 색칠되어 있지 않은 화소(예를 들면 화소(1904) 등)는 물체밖인 것을 나타내고 있다.

본 발명의 실시예 1 내지 실시예 3에서 기술한 화상 합성 방법은, 합성 처리의 대상으로 되는 피처리 화소를 중심으로 한 대상 영역(1910, 2010)내 화소의 정보를 이용하여, 피처리 화소의 합성 비율 및 텍스쳐 데이터를 산출하는 것이다.

그런데, 실시예 1 내지 실시예 3에서 기술한, 전경와 배경의 경계 부분에 있어서의 화소의 형상 데이터에 대한 처리가 필요한 부분은, 예를 들어 물체내만의 화소에 대한 처리에 대해서는, 도 16의 흰색 화살표(1906)로 나타낸 부분, 또는 흰색 화살표(1906)로 나타낸 부분에 인접하는 화소로 된다.

또한, 도 17의 흰색 화살표(2002)로 나타낸, 경계에 인접하지 않고서 물체내에 위치하고 있는 화소, 또는 검정색 화살표(2004)로 나타낸, 물체밖에 위치하는 화소에 대해서는, 실시예 1 내지 실시예 3의 화상 합성 방법에 의한 경계 부분의 화소에 대한 처리를 실시할 필요는 없다.

따라서, 도 16 및 도 17에 도시하는 바와 같이 미리 형상 신호(해당 형상 신호로부터 얻어지는 형상 화면(1900, 2000))를 검색하여, 경계 부분의 화소에 대한 처리가 필요한 부분의 개시점과 종료점, 경계 부분의 화소에 대한 처리가 불필요한 화소 위치의 개시점과 종료점을 검색한다. 그리고, 검색한 화소 위치의 정보를 이용하여 경계 부분과 그 이외의 개소에 대하여 처리를 나누어 실행한다. 이에 따라, 1 화소씩 판정 처리를 실행한 경우에 비해 용장의 처리를 삭감할 수 있다.

도 18은 도 16 및 도 17에 나타내는 형상 신호를 검색 처리하여, 화상의 합성을 실행하는 화상 합성 장치를 설명하기 위한 블럭도이다.

이 화상 합성 장치(2100)는 입력 단자(2100a)로부터 입력되는 형상 신호에 근거하여, 물체의 경계 위치를 판정하는 경계 위치 판정 수단(2104)과, 경계 위치 판정 수단(2104)에서의 경계 위치의 판정 결과에 근거하여, 합성 처리의 대상으로 되는 피처리 화소의 합성 비율을 산출하는 합성 비율 생성 수단(2106)을 갖고 있다. 또한, 이 화상 합성 장치(2100)는 제 2 입력 단자(2102)로부터 입력된, 처리 대상으로 되는 전경 화상의 텍스쳐 데이터(텍스쳐 신호의 화소값)와, 제 3 입력 단자(2116)로부터 입력된 배경 화상의 텍스쳐 데이터(텍스쳐 신호의 화소값)를, 합성 비율 생성 수단(2106)에 의해 산출된 합성 비율에 근거하여 합성해서, 합성 화상의 텍스쳐 데이터를 구하는 합성 처리부(2110)를 갖고 있다.

또한, 상기 합성 처리부(2110)는 경계 부근에 위치하는 화소의 합성 처리를 실행하는 경계 부근의 화소 합성 수단(2112)과, 경계 부근 이외에 위치하는 화소의 합성 처리를 실행하는 경계내의 화소 합성 수단(2114)과, 경계 위치 판정 수단(2108)으로부터의 경계 위치 정보에 근거하여, 제 2 입력 단자(2102)로부터의, 처리 대상으로 되는 전경 화상의 텍스쳐 데이터를, 화소 합성 수단(2112)과 화소 합성 수단(2114)의 한쪽에 공급하는 스위치(2122)와, 경계 위치의 정보에 근거하여, 상기 화소 합성 수단(2112)의 출력, 상기 화소 합성 수단(2114)의 출력 및 상기 제 3 입력 단자(2116)로부터 입력된 배경 화상의 텍스쳐 데이터 중 어느 하나를 선택하는 스위치(2124)를 갖고 있다.

우선, 이 합성 장치(2100)의 입력 단자(2100a)로부터 형상 신호가 입력되면, 입력된 형상 신호는 경계 위치 판정 수단(2104)에 의해서 물체의 경계 위치가 판정된다. 경계 위치 판정 수단(2104)에 의해 만일 경계 위치의 화소라고 판정된 경우에는, 합성 비율 생성 수단(2106)에 의해 합성 처리의 대상으로 되는 피처리 화소의 합성 비율이 산출된다. 합성 처리부(2110)에서는 제 2 입력 단자(2102)로부터 입력된, 처리 대상으로 되는 전경 화상의 텍스쳐 데이터(텍스쳐 신호의 화소값)와, 제 3 입력 단자(2116)로부터 입력된 배경 화상의 텍스쳐 데이터(텍스쳐 신호의 화소값)와, 합성 비율 생성 수단(2106)에 의해 산출된 합성 비율을 이용하여, 합성 화상의 텍스쳐 데이터가 구해진다.

또한, 상기 합성 처리시에는 경계 위치 판정 수단(2108)으로부터 입력된 경계 위치의 정보에 따라서, 스위치(2122, 2124)에 의해, 합성 수단(2112)에 의한 경계 부근에 위치하는 화소의 합성 처리와, 합성 수단(2114)에 의한 경계 부근 이외의 합성 처리의 전환이 이루어진다.

이와 같이, 경계 부근의 화소에 필요한 합성 비율의 산출 처리를 필요한 화소에만 실행함으로써 처리량을 삭감할 수 있다.

또, 합성 비율 생성 수단(2106)에 의한 합성 비율의 산출 처리는 합성 비율 생성 수단이 아니라, 경계 부근의 화소 합성 수단(2112)에 의해 상기 합성 비율을 산출하여, 합성 처리를 실행하도록 하여도 좋다.

또한, 본 실시예 8의 화상 합성 방법을 실시예 7의 화상 합성 방법과 조합하여, 즉 실시예 8의 화상 합성 방법에 의해, 물체의 형상의 크기 등을 나타내는 부가 정보를 이용하여, 물체의 형상을 포함하는 직사각형 영역내에 대해, 본 실시예 8의 형상 신호를 검색하는 처리를 실행함으로써, 물체 내외의 판정에 필요한 용장의 연산 처리를 더욱 삭감할 수 있다.

(실시예 9)

도 19는 본 발명의 실시예 9에 의한 화상 합성 방법을 설명하기 위한 도면이다. 이 실시예 9의 화상 합성 방법은 텍스쳐 신호와 형상 신호의 해상도가 상이한 전경 화상의 화상 신호를, 배경 화상의 화상 신호에 합성할 때, 형상 신호의 해상도에 맞춰 상기 텍스쳐 신호로서의 색차 신호를 해상도 변환하여, 전경 화상과 배경 화상 사이에서 색차 신호의 합성 처리를 실시하는 것이다.

도 19에는, 전경 화상과 배경 화상의 색차 신호를, 해상도 변환한 후에 합성하는 처리가 개념적으로 도시되어 있다. 도 19에서의 (2200, 2204, 2206)은 각각 도 26에서의 전경 화상의 형상 화소(2500), 전경 화상의 색 화소(2504), 배경 화상의 색 화소(2506)와 동일한 것이다.

이하, 도 19를 이용하여 설명한다.

우선, 전경의 형상 화소(2200)의 화소값(형상 데이터)을 참조하여, 대응하는 색 화소(2204)의 화소값(색차 데이터)을, 형상 데이터와 동일한 사이즈(해상도)로 변환하여, 색차 화소(2202)를 얻는다. 또, 해상도 변환 방법에 대해서는 MPEG4에 의해 규정되어 있는 방법(MPEG-4 Video Verification Model Ver8.0(ISO/IEC JTC1/SC29/WG11 N1796) 중 2.2.2 filtering process)을 이용하는 것으로 한다. 마찬가지로 배경의 색 화소(2206)의 화소값(색차 데이터)에 대해서도, 합성할 때의 사이즈가 상이한 경우에 대해서는, 해상도 변환에 의해 상기 2×2 사이즈의 색 화소(2206)로부터 4×4 사이즈의 색 화소(2204)를 구한다.

해상도 변환된 전경, 배경의 색 화소(2202, 2204) 및 형상 화소(2202)의 화소값을 이용하여 전경와 배경 사이에서 색차 데이터의 합성을 실행한다. 또, 이 합성에 의해, 합성 색 화소(2210)가 얻어지는 것으로 한다.

상기 합성 색 화소(2210)와, 종래의 합성한 후에 해상도 변환을 실행한 경우의 합성 색 화소(2510)를 비교한 경우, 상기 합성 색 화소(2210) 쪽이 물체내의 화소의 화소값이 물체밖 화소에 영향을 미치지 않는다는 것을 알 수 있다.

따라서, 도 26에 도시하는 바와 같이 해상도가 높은 형상 신호를 일단 해상도를 떨어뜨리고, 해상도를 떨어뜨린 형상 신호를 이용하여 색차 신호를 합성한 후, 합성한 색차 신호의 해상도를 높인다고 하는 처리를 실행하는 것보다, 도 19에 도시하는 바와 같이 높은 해상도(이 경우에는 형상 신호)에 맞추어, 색차 신호의 합성을 실행하는 편이 화상 열화가 적어진다.

도 20은 형상 신호를 구성하는 형상 데이터와, 텍스쳐 신호로서의 휘도 신호를 구성하는 휘도 데이터를 화소마다 나타내는 개념도이다. 도 20에서의 8×8의 형상 화소(800), 8×8의 휘도 화소(300)는 도 25에 나타낸 형상 화소(300)와 도 5에 나타낸 텍스쳐 화소(800)와 동일한 것을 나타내고 있다.

도 20에 있어서, (2302, 2304)는 휘도 화소(800)에 대응하는 2개의 색 화소를 나타내고 있다. 도 20에 나타낸 형상 화소(800)는 휘도 화소(300)와 동일한 화소수이지만, 색 화소(2302, 2304)의 화소수는 형상 화소(800)나 휘도 화소(300)의 화소수의 1/4이기 때문에, 이 상태에서는 색차 신호와 휘도 신호 및 형상 신호 사이에서 화소의 대응이 취해지지 않는다.

그래서, 전경 화상과 배경 화상을 합성할 때, 색차 신호를 형상 신호의 화소 수에 맞춰 해상도 변환을 실행하여 8×8의 색 화소(2306, 2308)를 얻는다. 이 해상도 변환 방법에 대해서는 MPEG4에 규정되어 있는 방법(MPEG-4 Video Verification Model Ver8.0(ISO/IEC JTC1/SC29/WG11 N1796) 중 2.2.2 filtering process)을 이용하여도 무방하다. 구체적으로는, 인접하는 화소를 가중 평균함으로써 화소를 보간하여 해상도 변환을 실행한다.

또, 물체 내외의 경계 부분의 화소를 해상도 변환할 때에는, 물체밖의 화소의 색차 데이터는 부정(不定)의 값을 갖고 있기 때문에, 물체내의 화소의 색차 데이터를 대응하는 색차 데이터로서 이용함으로써 해상도 변환을 실행한다.

그리고, 해상도 변환한 색차 데이터에 대하여, 대응하는 형상 데이터를 참조하여, 전경 화상과 배경 화상 사이에서의 합성 처리를 실시한다. 합성 방법에 대해서는 상술한 본 발명의 실시예의 합성 방법을 이용하면 된다.

본 실시예에서는, 색차 신호와 형상 신호의 해상도가 상이한 경우에는, 해상도 변환을 실행하여 합성을 실행하는 합성 방법에 대하여 기술하였지만, 텍스쳐 신호(휘도 신호, 색차 신호)와 형상 신호를, 각각 표시하는 화면에 적응하는 크기로 해상도 변환한 후에 전경와 배경을 합성하여 표시하더라도 무방하다. 이 경우의 텍스쳐 신호의 해상도 변환 방법에 대해서는 전술한 방법을 이용하면 된다. 또한, 형상 신호의 해상도 변환에 대해서는 MPEG-4에 기재된 방법(MPEG-4 Video Verification Model Ver8.0(ISO/IEC JTC1/SC29/WG11 N1796) 중 3.2.5 size conversion)을 이용하면 된다.

이하, 도 21을 이용하여 해상도 변환을 실행한 후에 합성 처리를 실행하는 합성 장치에 대하여 설명한다.

이 화상 합성 장치(2400)는 상기 제 1 입력 단자(2400)로부터 입력된 형상 신호에 대하여, 표시하는 화면의 사이즈(해상도)에 맞춰 해상도 변환을 실행하는 제 1 해상도 변환 수단(형상 정보 해상도 변환 수단)(2406)과, 제 2 입력 단자(2402)로부터 입력된 텍스쳐 신호에 대하여, 형상 신호의 사이즈(해상도)에 맞춰 해상도 변환을 실행하는 제 2 해상도 변환 수단(화소 정보 해상도 변환 수단)(2408)과, 제 3 입력 단자(2404)로부터 입력되는 배경의 텍스쳐 신호에 대하여 해상도 변환을 실행하는 제 3 해상도 변환 수단(화소 정보 해상도 변환 수단)(2410)을 갖고 있다.

또한, 상기 화상 합성 장치(2400)는 상기 제 1, 제 2, 제 3 해상도 변환 수단(2406, 2408, 2410)의 출력을 수신하여, 전경 화상과 배경 화상 사이에서 텍스쳐 신호의 합성 처리를 실행하는 화소 합성 수단(2412)을 갖고, 합성된 텍스쳐 신호를 출력 단자(2420)에 출력하는 구성으로 되어 있다.

다음에 동작에 대하여 설명한다.

우선, 이 장치(2400)의 제 1 입력 단자(2400a)로부터 물체의 형상을 나타내는 전경 화상의 형상 신호가 입력되고, 제 2 입력 단자(2402)로부터 형상 신호에 대응하는 전경 화상의 텍스쳐 신호가 입력된다. 또한 제 3 입력 단자(2404)로부터는 배경 화상의 텍스쳐 신호가 입력된다.

상기 제 1 입력 단자(2400)로부터 입력된 형상 신호는, 필요할 경우, 제 1 해상도 변환 수단(2406)에 의해, 표시하는 화면의 사이즈(해상도)에 맞춰 해상도 변환 처리가 실시된다. 제 2 입력 단자(2402)로부터 입력된 텍스쳐 신호는 제 2 해상도 변환 수단(2408)에 의해 형상 신호의 사이즈(해상도)에 맞춰 해상도 변환 처리가 실시된다. 또한 제 3 입력 단자(2404)로부터 입력되는 배경의 텍스쳐 신호에 대해서도, 필요할 경우, 제 3 해상도 변환 수단(2410)에 의해 해상도 변환 처리가 실시된다.

그리고, 상기 제 1, 제 2, 제 3 해상도 변환 수단(2406, 2408, 2410)의 출력은 화소 합성 수단(2412)에 입력되고, 전경 화상과 배경 화상 사이에서 텍스쳐 신호의 합성 처리가 실행된다. 합성된 텍스쳐 신호는 출력 단자(2420)로부터 출력된다.

또, 해상도 변환은 상술한 바와 같은 확대 처리 뿐만 아니라, 표시되는 화면의 크기가 작은 경우에는, 입력된 형상 신호 및 텍스쳐 신호를, 적응하는 화상 사이즈로 축소 처리를 실행한 후에 합성 처리를 실행하여도 무방한 것으로 한다.

또한 필요에 따라서, 전경만을, 또는 배경만을 확대, 축소하여 합성하는 것도 가능하다. 또한, 텍스쳐 신호를 구성하는 휘도 신호와 색차 신호에 의해, 확대나 축소 처리를 독립적으로 실행하도록 하여도 무방하다.

또한, 상기 실시예 9에서는, 색차 신호의 해상도가 휘도 신호의 해상도의 1/4인 경우, 즉 색차 신호의 해상도가 수평 방향 및 수직 방향 모두 휘도 신호의 해상도의 1/2인 경우에 대하여 설명하였지만, 상기 실시예 9와 같이, 색차 신호를 해상도 변환한 후, 전경 화상과 배경 화상 사이에서 색차 신호의 합성 처리를 실행하는 화상 합성 방법에 있어서, 휘도 신호의 해상도에 대한 색차 신호의 해상도의 비율은 상기한 것에 한정되지 않는다. 예를 들면, 색차 신호의 수평 방향의 해상도가 휘도 신호의 해상도의 1/2이고, 색차 신호의 수직 방향의 해상도가 휘도 신호의 해상도와 동일한 경우에도, 상기 실시예 9와 마찬가지의 화상 합성 처리를 실행할 수 있다.

(실시예 10)

또한, 상기 각 실시예에 나타낸 화상 합성 방법에 의한 합성 처리를 실현하기 위한 화상 합성 프로그램을, 플로피 디스크 등의 데이터 기억 매체에 기록하도록 함으로써, 상기 각 실시예에 나타낸 처리를, 독립된 컴퓨터 시스템에 있어서 간단히 실시하는 것이 가능해진다.

도 22는, 상기 실시예 1 내지 실시예 9의 화상 합성 처리를, 상기 부호화 혹은 복호화 프로그램을 저장한 플로피 디스크를 이용하여, 컴퓨터 시스템에 의해 실시하는 경우의 설명도이다.

도 22의 (a)는 플로피 디스크의 정면에서 본 외관, 단면 구조 및 플로피 디스크를 나타내고, 도 22의 (b)는 기록 매체 본체인 플로피 디스크 D의 물리 포맷의 예를 나타내고 있다. 플로피 디스크 D는 케이스 F내에 내장되고, 해당 디스크의 표면에는 동심원 형상으로 외주로부터 내주를 향하여 복수의 트랙 Tr이 형성되며, 각 트랙은 각도 방향으로 15개의 섹터 Se로 분할되어 있다. 따라서, 상기 프로그램을 저장한 플로피 디스크에는, 상기 플로피 디스크 D상에 할당된 영역에, 상기 프로그램으로서의 데이터가 기록되어 있다.

또한, 도 22의 (c)는 플로피 디스크 D에 상기 프로그램의 기록 재생을 실행하기 위한 구성을 나타낸다. 상기 프로그램을 플로피 디스크 FD에 기록하는 경우에는, 컴퓨터 시스템 Cs로부터 상기 프로그램으로서의 데이터를 플로피 디스크 드라이브 FDD를 거쳐 기입한다. 또한, 플로피 디스크 FD내의 프로그램에 의해 상기 부호화 혹은 복호화 장치를 컴퓨터 시스템중에 구축하는 경우에는, 플로피 디스크 드라이브 FDD에 의해 프로그램을 플로피 디스크 FD로부터 판독하여, 컴퓨터 시스템으로 전송한다.

또, 상기 설명에서는 데이터 기록 매체로서 플로피 디스크를 이용하여 설명하였지만, 광디스크를 이용하더라도 마찬가지로 실행할 수 있다. 또한, 기록 매체는 이것에 한정되는 것이 아니라, IC 카드, ROM 카셋트 등, 프로그램을 기록할 수 있는 것이면 마찬가지로 실시할 수 있다.

또한, 상술한 실시예의 화상 합성 방법에서는, 경계 부분에 위치하는 화소에 대하여, 경계 부분에 걸쳐 배열되는 화소의 형상 데이터 또는 텍스쳐 데이터에 대하여 평활화를 실행한 후에, 합성을 실행하고 있지만, 1 화소씩 경계 부분에 위치하는 화소인지 여부를 판정하지 않은 채, 미리 경계 부분의 판정을 실행하고나서 경계 부분에 대해서는 본 발명의 합성 방법을 적용하고, 그 이외의 물체내 화소에 대해서는 종래의 처리를 실행함으로써, 용장의 판정 처리를 삭감할 수 있다.

또한, 텍스쳐 신호는, 휘도 신호와 색차 신호로 구성되어 있기 때문에, 휘도 신호에 대한 합성 처리에 있어서의, 피처리 화소를 포함하는 대상 영역을 크기와, 색차 신호에 대한 합성 처리에 있어서의, 피처리 화소를 포함하는 대상 영역을 크기를 독립적으로 설정하더라도 무방하며, 또한 휘도 신호와 색차 신호로 상이한 합성 처리를 실행하도록 하여도 무방하다.

또한, 상기 각 실시예에서는 전경 화상과 배경 화상 사이에서의 휘도 데이터 혹은 색차 데이터의 합성 처리를 수학식 1에 정의되는 연산 처리에 의해 실행하고 있지만, 이 수학식으로서, 해당 연산 처리에 있어서의 승수 혹은 제수가 2의 거듭제곱으로 되도록 변형한 것을 이용함으로써, 상기 연산 처리를 간단화할 수 있다. 즉, 연산기에서의 피승수 혹은 피제수의 비트 쉬프트 처리에 의해, 피승수와 승수의 곱, 혹은 피제수의 제수에 의한 몫을 간단히 구할 수 있다.

구체적으로는, 상기 수학식 1은 alpha가 0<alpha<255 범위의 값인 경우, 이하의 수학식 3과 같이 변형할 수 있다.

pel=(alpha×fgpel+(256-alpha)×bgpel)/256

단, 이 수학식 3에서는, alpha=0일 때 pel=bgpel, alpha=255일 때 pel=fgpel로 된다.

또한, 상기 수학식 1은 alpha가 alpha<0인 범위의 값인 경우, 이하의 수학식 4와 같이 변형할 수 있다.

pel=((alpha+1)×fgpel+(255-alpha)×bgpel)/256

단, 이 수학식 4에서는 alpha=0일 때 pel=bgpel로 된다.

또한, 도 2의 (c), 도 3의 (c), 도 7, 도 8에 나타난 합성후의 화소값 pel을 구하는 수학식 역시, 상기와 마찬가지의 변형을 실행함으로써 연산 처리의 간략화를 도모할 수 있다.

(실시예 11)

도 28은 본 발명의 실시예 11에 의한 화상 합성 방법 및 화상 합성 장치를 설명하기 위한 도면이다.

본 실시예 11의 화상 합성 방법은 상기 실시예 1의 화상 합성 방법과 마찬가지로, 임의 형상의 물체를 포함하는 제 1 화상 공간을 형성하는, 상기 물체의 형상을 나타내는 형상 신호 및 물체의 문양을 나타내는 텍스쳐 신호를 포함하는 제 1 화상 신호와, 제 2 화상 공간을 형성하는, 화상의 문양을 나타내는 텍스쳐 신호를 포함하는 제 2 화상 신호를 합성하여, 제 3 화상 공간을 형성하는 합성 화상 신호를 생성하는 방법이다.

그리고 본 실시예 11의 화상 합성 방법에서는, 상기 제 1 화상 공간에 있어서의, 피처리 화소를 포함하는 대상 영역내에 위치하는 화소의 형상 신호에 근거하여, 합성 방법이 상이한 제 1 및 제 2 화상 합성 처리를 전환하도록 하고 있다.

여기서, 제 1 화상 합성 처리는 상기 실시예 1의 화상 합성 방법과 마찬가지로, 합성 비율 산출 단계 및 화소 합성 단계를 포함하고, 합성된 텍스쳐 신호를, 상기 제 3 화상 공간에 있어서의, 상기 피처리 화소에 대응하는 화소의 텍스쳐 신호로서 이용하는 것이다.

또, 상기 합성 비율 산출 단계에서는, 상기 제 1 화상 공간에 있어서의, 피처리 화소를 포함하는 대상 영역내에 위치하는 화소의 형상 신호에 근거하여, 상기 피처리 화소의 텍스쳐 신호에 대한 합성 비율이 산출된다. 또한, 화소 합성 단계에서는, 상기 산출된 합성 비율에 근거하여, 상기 피처리 화소와, 이것에 대응하는 제 2 화상 공간에 있어서의 대응 화소 사이에서 이들 화소의 텍스쳐 신호의 합성 처리가 실행된다.

또한, 상기 제 2 화상 합성 처리는, 상기 화소 합성 단계에서는, 상기 제 1 화상 공간에 있어서의 물체내의 피처리 화소의 텍스쳐 신호를, 상기 제 3 화상 공간에 있어서의, 상기 피처리 화소에 대응하는 화소의 텍스쳐 신호로서 이용하는 합성 처리를 실행하는 것이다.

도 28은 상기 실시예 11의 화상 합성 방법에 의한 합성 처리를 실행하는 화상 합성 장치의 구성을 나타내는 블럭도이다.

이 화상 합성 장치(3500)는 전경의 화상 신호로부터 얻어지는 형상 타입 신호에 근거하여, 실시예 1에 있어서의 소정 영역, 즉 처리 대상으로 되는 대상 화소를 포함하는 소정 사이즈의 영역(대상 영역)이, 그 모든 화소가 물체밖에 위치하는 영역(이하, 물체밖 블럭이라고 함), 그 모든 화소가 물체내에 위치하는 영역(이하, 물체내 블럭이라고 함) 및 물체밖에 위치하는 화소와 물체내에 위치하는 화소를 포함하는 영역(이하, 경계 블럭이라고 함) 중 어느 것인지를 판정하는 경계 블럭 판정 수단(3510)을 갖고 있다. 여기서는, 물체밖의 화소의 형상 데이터는 그 값이 「0」, 물체내 화소의 형상 데이터는 그 값이 「255」로 되어 있다.

또한, 상기 화상 합성 장치(3500)는 전경의 형상 신호를 수신하여, 상기 경계 블럭 판정 수단(3510)에서의 판정 결과에 근거해, 상기 경계 블럭내의 각 화소가 물체내 화소인지 여부의 판정을 실행하는 경계 화소 판정 수단(3520)과, 해당 경계 화소 판정 수단(3520)의 판정 결과에 근거하여, 상기 경계 블럭내에 있어서의 물체내 화소의 수를 산출하고, 물체내 화소의 수가 소정의 임계값 이상인지의 여부에 따라 합성 제어 신호(3506)를 출력하는 합성 방법 판정 수단(3530)을 갖고 있다.

또한, 상기 화상 합성 장치(3500)는 배경 화상과 전경 화상 사이에서, 각각의 텍스쳐 신호(컬러 신호)의 합성을 실행하는 제 1, 제 2 화소 합성 수단(3540, 3550)을 갖고 있다.

여기서, 제 1 화소 합성 수단(3540)은 실시예 1의 화상 합성 방법에 의한 합성 처리를 실현하는 구성으로 되어 있다.

즉, 이 제 1 화소 합성 수단(3540)은 전경의 형상 신호에 근거하여, 전경의 피처리 화소의 텍스쳐 신호에 대한 합성 비율을 산출하는 합성 비율 산출 수단과, 해당 산출된 합성 비율에 근거하여, 상기 전경의 피처리 화소와, 이것에 대응하는 배경의 대응 화소 사이에서 이들 화소의 텍스쳐 신호의 합성 처리를 실행하는 화소 합성 수단을 갖고, 해당 합성된 텍스쳐 신호를, 합성 화상에 있어서의, 상기 피처리 화소에 대응하는 화소의 텍스쳐 신호로서 출력하는 구성으로 되어 있다.

또한, 상기 제 2 화소 합성 수단(3550)은 상기 전경 화상의 물체내의 피처리 화소의 텍스쳐 신호를, 상기 합성 화상에 있어서의, 상기 피처리 화소에 대응하는 화소의 텍스쳐 신호로서 이용하고, 상기 전경 화상의 물체밖의 피처리 화소에 대응하는, 배경 화상에 있어서의 대응 화소의 텍스쳐 신호를, 상기 합성 화상에 있어서의, 상기 피처리 화소에 대응하는 화소의 텍스쳐 신호로서 이용하는 구성으로 되어 있다.

또한, 상기 화상 합성 장치(3500)는 상기 합성 방법 판정 수단(3530)으로부터의 합성 제어 신호(3506)에 근거하여, 전경의 컬러 신호를 상기 제 1 및 제 2 화소 합성 수단(3540 및 3550)의 한쪽에 공급하는 전단 스위치(3560a)와, 상기 합성 방법 판정 수단(3530)으로부터의 합성 제어 신호(3506)에 근거하여, 상기 제 1 및 제 2 화소 합성 수단(3540 및 3550)의 한쪽의 출력 신호를 선택하고, 선택된 출력 신호를 합성 화상의 컬러 신호로서 출력 단자(3500e)에 출력하는 후단 스위치(3560b)를 갖고 있다.

또, (3500a∼3500d)는 각각 제 1 내지 제 4 입력 단자이다. 제 1 입력 단자(3500a)에는 형상 타입 신호가, 제 2 입력 단자(3500b)에는 전경의 형상 신호가, 제 3 입력 단자(3500c)에는 전경의 컬러 신호가, 제 4 입력 단자(3500d)에는 배경의 컬러 신호가 입력되도록 되어 있다.

다음에 동작에 대하여 설명한다.

이 화상 합성 장치(3500)의 제 1 입력 단자(3500a)에, 전경의 화상 신호로부터 얻어지는 형상 타입 신호(3501)가 입력되면, 경계 블럭 판정 수단(3510)에 의해, 처리 대상으로 되는 대상 화소를 포함하는 소정 사이즈의 영역(여기서는 3×3 화소로 이루어지는 블럭)이 그 모든 화소가 물체밖에 위치하는 영역(물체밖 블럭), 그 모든 화소가 물체내에 위치하는 영역(물체내 블럭) 및 물체밖에 위치하는 화소와 물체내에 위치하는 화소를 포함하는 영역(경계 블럭) 중 어느 것인지의 판정이 이루어진다.

또한 상기 화상 합성 장치(3500)의 경계 화소 판정 수단(3520)에서는, 제 2 입력 단자(3500b)에 입력되는 전경의 형상 신호(3502)를 수신하여, 상기 경계 블럭 판정 수단(3510)에서의 판정 결과에 근거해 상기 경계 블럭내의 각 화소에 대하여 이것이 물체내 화소인지 여부의 판정이 실행된다.

즉, 상기 화상 합성 장치(3500)의 합성 방법 판정 수단(3530)에서는, 해당 경계 화소 판정 수단(3520)의 판정 결과에 근거하여, 상기 경계 블럭에 대해서만, 해당 블럭내에 있어서의 물체내 화소의 수가 산출되고, 물체내 화소의 수가 소정의 임계값 이상인지의 여부에 따른 합성 제어 신호(3506)가 출력된다.

이 때, 상기 화상 합성 장치(3500)의 전단 스위치(3560a)는 제 3 입력 단자(3500c)에 입력된 전경의 컬러 신호를, 상기 합성 제어 신호(3506)에 따라서, 상기 제 1 및 제 2 합성 수단(3540 및 3550)의 한쪽에 공급하도록 제어되고, 상기 화상 합성 장치(3500)의 후단 스위치(3560b)는 상기 합성 제어 신호(3506)에 의해 상기 제 1 및 제 2 합성 수단(3540 및 3550)의 한쪽 출력을 선택하도록 제어된다.

예를 들면, 상기 합성 방법 판정 수단(3530)에서의 판정 결과, 상기 경계 블럭에 있어서의 물체내 화소의 수가 소정의 임계값 이상인 경우, 상기 전경의 컬러 신호(3503)는 상기 전단 스위치(3560a)를 거쳐 제 1 화소 합성 수단(3540)에 공급되고, 이 화소 합성 수단(3540)의 출력이 후단 스위치(3560b)를 거쳐 합성 컬러 신호(3505)로서 출력 단자(3500e)에 출력된다. 이 제 1 화소 합성 수단(3540)에서는, 실시예 1의 화상 합성 방법과 마찬가지로, 전경의 형상 신호에 근거하여, 전경의 피처리 화소의 텍스쳐 신호에 대한 합성 비율이 산출되고, 해당 산출된 합성 비율에 근거하여, 상기 전경의 피처리 화소와, 이것에 대응하는 배경의 대응 화소 사이에서 이들 화소의 텍스쳐 신호의 합성 처리가 실행된다.

한편, 상기 합성 방법 판정 수단(3530)에서의 판정 결과, 상기 경계 블럭에 있어서의 물체내 화소의 수가 소정의 임계값 이상이 아닌 경우, 상기 전경의 컬러 신호(3503)는 상기 전단 스위치(3560a)를 거쳐서 제 2 화소 합성 수단(3550)에 공급되고, 이 화소 합성 수단(3550)의 출력이 후단 스위치(3560b)를 거쳐 합성 컬러 신호(3505)로서 출력 단자(3500e)에 출력된다. 이 제 2 화소 합성 수단(3550)에서는, 상기 전경 화상의 물체내의 피처리 화소의 텍스쳐 신호가, 상기 합성 화상에 있어서의, 상기 피처리 화소에 대응하는 화소의 텍스쳐 신호로서 출력되고, 상기 전경 화상의 물체밖의 피처리 화소에 대응하는, 배경 화상에 있어서의 대응 화소의 텍스쳐 신호가, 상기 합성 화상에 있어서의, 상기 피처리 화소에 대응하는 화소의 텍스쳐 신호로서 출력된다.

이러한 구성의 실시예 11에서는, 전경 화상과 배경 화상의 경계 부분에 걸쳐 배열되는 화소에 대하여, 처리 대상으로 되는 피처리 화소의 텍스쳐 데이터의 평활화를 실행한 후에, 전경 화상과 배경 화상 사이에서 텍스쳐 데이터의 합성을 실행하는 제 1 합성 처리와, 상기 전경 화상의 물체내의 피처리 화소의 텍스쳐 데이터를, 상기 합성 화상에 있어서의 대응 화소의 텍스쳐 신호로서 출력하고, 상기 전경 화상의 물체밖의 피처리 화소에 대응하는, 배경 화상에 있어서의 대응 화소의 텍스쳐 신호를, 상기 합성 화상에 있어서의 대응 화소의 텍스쳐 신호로서 출력하는 제 2 합성 처리를, 전경의 형상 신호에 근거하여 전환하도록 하였기 때문에, 합성 화상에 있어서의 전경 화상과 배경 화상의 경계 부분의 표시가 부자연스럽게 되는 것을 억제하면서, 경계 부분이 흐려지는 것을 피할 수 있다고 하는 효과가 있다.

또, 본 실시예 11에서는, 상기 제 1 화소 합성 수단으로서, 실시예 1의 화상 합성 방법에 의한 합성 처리를 실행하는 것을 나타내었지만, 상기 제 1 화소 합성 수단은 실시예 1 이외의 실시예, 예를 들면 실시예 2 내지 실시예 8 중 어느 하나의 화상 합성 방법에 의한 합성 처리를 실행하는 것이어도 무방하다.

또한, 상기 실시예 11에 나타낸 화상 합성 방법에 의한 합성 처리를 실현하기 위한 화상 합성 프로그램을, 플로피 디스크 등의 데이터 기억 매체에 기록하도록 함으로써, 상술한 실시예 1 내지 실시예 9의 화상 합성 처리와 마찬가지로, 상기 실시예 11의 화상 합성 처리를, 독립된 컴퓨터 시스템에 있어서 간단히 실시하는 것이 가능하다.

이상과 같이, 본 발명에 관한 화상 합성 방법에 따르면, 전경 화상과 배경 화상의 경계 부분에 걸쳐 배열되는 화소에 대하여, 처리 대상으로 되는 피처리 화소의 텍스쳐 데이터 또는 형상 데이터의 평활화를 실행한 후에, 전경 화상과 배경 화상 사이에서 텍스쳐 데이터의 합성을 실행하기 때문에, 합성후의 전경과 배경의 경계 부분에 있어서의 화질 향상을 실현할 수 있다.

또한, 본 발명에 관한 데이터 기억 매체에 따르면, 상기 화상 합성 방법에 의한 화상 합성 처리를, 컴퓨터에 실행시키기 위한 프로그램을 저장하였기 때문에, 상기 프로그램을 컴퓨터로 로드함으로써, 합성 화상의 화질을 향상시킬 수 있는 화상 합성 처리를 소프트웨어에 의해 실현할 수 있다.

이상 본 발명자에 의해서 이루어진 발명을 상기 실시예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시예에 한정되는 것이 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.

Claims (29)

1. 임의 형상의 물체를 포함하는 제 1 화상 공간을 형성하는, 상기 물체의 형상을 나타내는 형상 신호 및 물체의 문양을 나타내는 텍스쳐 신호를 포함하는 제 1 화상 신호와, 제 2 화상 공간을 형성하는, 화상의 문양을 나타내는 텍스쳐 신호를 포함하는 제 2 화상 신호를 합성하여, 제 3 화상 공간을 형성하는 합성 화상 신호를 생성하는 방법에 있어서,

   상기 제 1 화상 공간에 있어서의, 피처리 화소를 포함하는 대상 영역내에 위치하는 화소의 형상 신호에 대한 연산 처리에 의해, 상기 피처리 화소의 텍스쳐 신호에 대한 합성 비율을 산출하는 합성 비율 산출 단계와,

   상기 산출된 합성 비율에 근거하여, 상기 피처리 화소와, 이것에 대응하는 제 2 화상 공간에 있어서의 대응 화소 사이에서 이들 화소의 텍스쳐 신호의 합성 처리를 실행하는 화소 합성 단계를 포함하고,

   상기 합성된 텍스쳐 신호를, 상기 제 3 화상 공간에 있어서의, 상기 피처리 화소에 대응하는 화소의 텍스쳐 신호로서 이용하는 것을 특징으로 하는 화상 합성 방법.
2. 제 1 항에 있어서,

   상기 제 1 화상 공간에 있어서의 각 화소의 형상 신호에 근거하여, 상기 각 화소가 상기 물체내에 위치하는지 여부를 판정하는 형상 판정 단계를 포함하고,

   상기 합성 비율 산출 단계에서는, 상기 판정 결과, 상기 피처리 화소가 물체내에 위치할 때, 상기 대상 영역에 있어서의 화소의 형상 신호를 이용하여 상기 합성 비율을 산출하는 것을 특징으로 하는 화상 합성 방법.
3. 제 1 항에 있어서,

   상기 제 1 화상 공간에 있어서의 각 화소의 형상 신호에 근거하여, 상기 각 화소가 상기 물체 내부에 위치하는지 여부를 판정하는 형상 판정 단계를 포함하고,

   상기 합성 비율 산출 단계에서는, 상기 판정 결과, 상기 피처리 화소가 물체내에 위치할 때, 상기 대상 영역에서의 화소의 형상 신호의 가산 평균에 의해 상기 합성 비율을 산출하는 것을 특징으로 하는 화상 합성 방법.
4. 제 1 항에 있어서,

   상기 합성 비율 산출 단계에서는, 상기 형상 신호에 대한 연산 처리를, 상기 연산 처리에 있어서의 승수(乘數) 혹은 제수(除數)가 2의 거듭제곱의 수로 되도록 변형한 수학식에 근거하여 실행하는 것을 특징으로 하는 화상 합성 방법.
5. 임의 형상의 물체를 포함하는 제 1 화상 공간을 형성하는, 상기 물체의 형상을 나타내는 형상 신호 및 물체의 문양을 나타내는 텍스쳐 신호를 포함하는 제 1 화상 신호와, 제 2 화상 공간을 형성하는, 화상의 문양을 나타내는 텍스쳐 신호를 포함하는 제 2 화상 신호를 합성하여, 제 3 화상 공간을 형성하는 합성 화상 신호를 생성하는 방법에 있어서,

   상기 제 1 화상 공간에 있어서의 각 화소의 형상 신호에 근거하여, 상기 각 화소가 상기 물체 내부에 위치하는지 여부를 판정하는 형상 판정 단계와,

   상기 판정 결과, 상기 대상 화소가 물체내에 위치할 때, 상기 대상 영역에 있어서의 화소 중 물체내에 위치하는 것의 갯수에 근거하여, 상기 피처리 화소의 텍스쳐 신호에 대한 합성 비율을 산출하는 합성 비율 산출 단계와,

   상기 산출된 합성 비율에 근거하여, 상기 피처리 화소와, 이것에 대응하는 제 2 화상 공간에 있어서의 대응 화소 사이에서 이들 화소의 텍스쳐 신호의 합성 처리를 실행하는 화소 합성 단계를 포함하고,

   상기 합성된 텍스쳐 신호를, 상기 제 3 화상 공간에 있어서의, 상기 피처리 화소에 대응하는 화소의 텍스쳐 신호로서 이용하는 것을 특징으로 하는 화상 합성 방법.
6. 임의 형상의 물체를 포함하는 제 1 화상 공간을 형성하는, 상기 물체의 형상을 나타내는 형상 신호 및 물체의 문양을 나타내는 텍스쳐 신호를 포함하는 제 1 화상 신호와, 제 2 화상 공간을 형성하는, 화상의 문양을 나타내는 텍스쳐 신호를 포함하는 제 2 화상 신호를 합성하여, 제 3 화상 공간을 형성하는 합성 화상 신호를 생성하는 방법에 있어서,

   상기 제 1 화상 공간에 있어서의 각 화소의 형상 신호에 근거하여, 상기 각 화소가 상기 물체 내부에 위치하는지 여부를 판정하는 형상 판정 단계와,

   상기 제 1 화상 공간에 있어서의, 피처리 화소를 포함하는 대상 영역내에 위치하는 화소의 형상 신호에 근거하여, 상기 피처리 화소의 텍스쳐 신호에 대한 합성 비율을 산출하는 합성 비율 산출 단계와,

   상기 형상 판정 결과, 상기 피처리 화소가 물체밖에 위치할 때, 상기 피처리 화소의 텍스쳐 신호를, 상기 대상 영역내의 화소의 텍스쳐 신호의 가산 평균에 의해 얻어진 텍스쳐 신호로 치환하는 화소 정보 생성 단계와,

   상기 산출된 합성 비율에 근거하여, 상기 피처리 화소와, 이것에 대응하는 제 2 화상 공간에 있어서의 대응 화소 사이에서 이들 화소의 텍스쳐 신호의 합성 처리를 실행하는 화소 합성 단계를 포함하고,

   상기 합성된 텍스쳐 신호를, 상기 제 3 화상 공간에 있어서의, 상기 피처리 화소에 대응하는 화소의 텍스쳐 신호로서 이용하는 것을 특징으로 하는 화상 합성 방법.
7. 제 6 항에 있어서,

   상기 합성 비율 생성 단계에서는, 상기 대상 영역에 포함되는 화소의 형상 신호의 평균값을 상기 합성 비율로서 산출하는 것을 특징으로 하는 화상 합성 방법.
8. 제 6 항에 있어서,

   상기 화소 정보 생성 단계에서는, 상기 피처리 화소의 텍스쳐 신호를, 상기 대상 영역에 포함되는 화소 중 물체내에 위치하는 화소의 텍스쳐 신호의 평균값으로 치환하는 것을 특징으로 하는 화상 합성 방법.
9. 제 5 항에 있어서,

   상기 합성 비율 산출 단계에서는,

   상기 대상 영역내의 화소 중 물체내에 위치하는 화소의 갯수에 따라 미리 계산하여 테이블에 저장한 합성 비율을, 상기 대상 영역내에 위치하는 화소의 형상 신호로부터 얻어지는 물체내의 화소 갯수에 따라 상기 테이블로부터 구하는 것을 특징으로 하는 화상 합성 방법.
10. 제 1 항에 있어서,

    상기 화소 합성 단계에서는, 상기 합성 비율의 값과 텍스쳐 신호의 값의 조합 전체에 대한 상기 양자의 승산 결과를 저장한 테이블을 참조하여, 상기 제 3 화상 공간에 있어서의, 상기 피처리 화소에 대응하는 화소의 텍스쳐 신호를 구하는 것을 특징으로 하는 화상 합성 방법.
11. 제 5 항에 있어서,

    상기 화소 합성 단계에서는, 상기 대상 영역에 있어서의 물체내에 위치하는 화소의 수와 텍스쳐 신호의 값의 조합 전체에 대한 상기 양자의 승산 결과를 저장한 테이블을 참조하여, 상기 제 3 화상 공간에 있어서의, 상기 피처리 화소에 대응하는 화소의 텍스쳐 신호를 구하는 것을 특징으로 하는 화상 합성 방법.
12. 임의 형상의 물체를 포함하는 제 1 화상 공간을 형성하는, 상기 물체의 형상을 나타내는 형상 신호 및 물체의 문양을 나타내는 텍스쳐 신호를 포함하는 제 1 복호 화상 신호와, 제 2 화상 공간을 형성하는, 화상의 문양을 나타내는 텍스쳐 신호를 포함하는 제 2 복호 화상 신호를 합성하여, 제 3 화상 공간을 형성하는 합성 화상 신호를 생성하는 방법에 있어서,

    상기 제 1 화상 공간에 있어서의, 피처리 화소를 포함하는 대상 영역내에 위치하는 화소의 형상 신호에 대한 연산 처리에 의해, 상기 피처리 화소의 텍스쳐 신호에 대한 합성 비율을 산출하는 합성 비율 산출 단계와,

    상기 산출된 합성 비율에 근거하여, 상기 피처리 화소와, 이것에 대응하는 제 2 화상 공간에 있어서의 대응 화소 사이에서 이들 화소의 텍스쳐 신호의 합성 처리를 실행하는 화소 합성 단계를 포함하고,

    상기 화소 합성 단계에서는,

    상기 제 1 복호 화상 신호에 대응하는 부호화 화상 신호의 생성시에, 이 부호화 화상 신호에 부가된 부가 정보를 참조하여, 상기 합성 처리에 있어서의 텍스쳐 신호의 합성 방법을 전환하는 것을 특징으로 하는 화상 합성 방법.
13. 제 12 항에 있어서,

    상기 부가 정보는, 상기 대상 영역의 사이즈를 나타내는 것을 특징으로 하는 화상 합성 방법.
14. 임의 형상의 물체를 포함하는 제 1 화상 공간을 형성하는, 상기 물체의 형상을 나타내는 형상 신호 및 물체의 문양을 나타내는 텍스쳐 신호를 포함하는 제 1 화상 신호와, 제 2 화상 공간을 형성하는, 화상의 문양을 나타내는 텍스쳐 신호를 포함하는 제 2 화상 신호를 합성하여, 제 3 화상 공간을 형성하는 합성 화상 신호를 생성하는 방법에 있어서,

    상기 제 1 화상 공간에 있어서의 각 화소의 형상 신호에 근거하여, 상기 물체의 경계 위치를 검출하는 경계 검출 단계와,

    상기 제 1 화상 공간에 있어서의, 피처리 화소를 포함하는 대상 영역내에 위치하는 화소의 형상 신호에 근거하여, 상기 피처리 화소의 텍스쳐 신호에 대한 합성 비율을 산출하는 처리를, 상기 물체의 경계 부근의, 상기 물체내 및 물체밖에 위치하는 화소에 대해서만 실행하는 합성 비율 산출 단계와,

    상기 경계 부근의 화소에 대해서는, 상기 산출된 합성 비율에 근거하여, 상기 피처리 화소와, 이것에 대응하는 제 2 화상 공간에 있어서의 대응 화소 사이에서 이들 화소의 텍스쳐 신호의 합성 처리를 실행하는 처리를 실행하고, 상기 경계 부근 이외의 화소에 대해서는, 이들 화소의 형상 데이터에 근거하여, 상기 피처리 화소와, 이것에 대응하는 제 2 화상 공간에 있어서의 대응 화소 사이에서 이들 화소의 텍스쳐 신호의 합성 처리를 실행하는 처리를 실행하는 화소 합성 단계를 포함하고,

    상기 합성된 텍스쳐 신호를, 상기 제 3 화상 공간에 있어서의, 상기 피처리 화소에 대응하는 화소의 텍스쳐 신호로서 이용하는 것을 특징으로 하는 화상 합성 방법.
15. 임의 형상의 물체를 포함하는 제 1 화상 공간을 형성하는, 상기 물체의 형상을 나타내는 형상 신호 및 물체의 문양을 나타내는 텍스쳐 신호를 포함하는 제 1 화상 신호와, 제 2 화상 공간을 형성하는, 화상의 문양을 나타내는 텍스쳐 신호를 포함하는 제 2 화상 신호를 합성하여, 제 3 화상 공간을 형성하는 합성 화상 신호를 생성하는 방법에 있어서,

    상기 물체의 사이즈 및 제 1 화상 공간에 있어서의 상기 물체의 위치를 나타내는 부가 정보에 근거하여, 물체내 또는 물체밖에서 물체의 경계 부근에 위치하는 특정 화소에 대해서는, 상기 제 1 화상 공간에 있어서의 피처리 화소와, 이것에 대응하는 제 2 화상 공간에 있어서의 대응 화소 사이에서 이들 화소의 텍스쳐 신호의 합성 처리를 실행하는 처리를 실행하고, 상기 제 1 화상 공간에 있어서의 특정 화소 이외의 주변 화소에 대해서는, 이들 주변 화소에 대응하는 제 2 화상 공간에 있어서의 화소의 텍스쳐 신호를, 상기 제 3 화상 공간에 있어서의, 상기 주변 화소에 대응하는 화소의 텍스쳐 신호로 하는 화소 합성 단계를 포함하고,

    상기 제 3 화상 공간에 있어서의, 상기 특정 화소에 대응하는 화소의 텍스쳐 신호로서는, 상기 화소 합성 단계의 합성 처리에 의해 얻어진 텍스쳐 신호를 이용하는 것을 특징으로 하는 화상 합성 방법.
16. 임의 형상의 물체를 포함하는 제 1 화상 공간을 형성하는, 상기 물체의 형상을 나타내는 형상 신호 및 물체의 문양을 나타내는 텍스쳐 신호를 포함하는 제 1 화상 신호와, 제 2 화상 공간을 형성하는, 화상의 문양을 나타내는 텍스쳐 신호를 포함하는 제 2 화상 신호를 합성하여, 제 3 화상 공간을 형성하는 합성 화상 신호를 생성하는 방법에 있어서,

    상기 제 1 화상 신호를 구성하는 텍스쳐 신호와 형상 신호의 해상도가 동등하지 않을 때, 상기 텍스쳐 신호에 대하여, 그 해상도가 상기 형상 정보의 해상도와 동등하게 되도록 해상도 변환 처리를 실시하는 해상도 변환 단계와,

    상기 해상도 변환 처리를 실시한 텍스쳐 신호와 상기 형상 신호를 이용하여, 상기 제 1 화상 신호와 제 2 화상 신호의 합성 처리를 실행하는 화상 합성 단계를 포함하는 것을 특징으로 하는 화상 합성 방법.
17. 임의 형상의 물체를 포함하는 제 1 화상 공간을 형성하는, 상기 물체의 형상을 나타내는 형상 신호 및 물체의 문양을 나타내는 텍스쳐 신호를 포함하는 제 1 화상 신호와, 제 2 화상 공간을 형성하는, 화상의 문양을 나타내는 텍스쳐 신호를 포함하는 제 2 화상 신호를 합성하여, 제 3 화상 공간을 형성하는 합성 화상 신호를 생성하는 방법에 있어서,

    상기 제 1 화상 신호를 구성하는 텍스쳐 신호의 해상도, 제 2 화상 신호를 구성하는 텍스쳐 신호의 해상도, 합성 화상 신호를 구성하는 텍스쳐 신호를 화상 표시할 때의 표시 해상도가 서로 다를 때, 상기 제 1, 제 2 화상 신호의 텍스쳐 신호에 대하여, 그 해상도가 상기 표시 해상도와 동등하게 되도록 해상도 변환 처리를 실시하는 해상도 변환 단계와,

    상기 해상도 변환 처리를 실시한 상기 제 1, 제 2 화상 신호의 텍스쳐 신호를 이용하여 상기 제 1 화상 신호와 제 2 화상 신호의 합성 처리를 실행하는 화상 합성 단계를 포함하는 것을 특징으로 하는 화상 합성 방법.
18. 임의 형상의 물체를 포함하는 제 1 화상 공간을 형성하는, 상기 물체의 형상을 나타내는 형상 신호 및 물체의 문양을 나타내는 텍스쳐 신호를 포함하는 제 1 화상 신호와, 제 2 화상 공간을 형성하는, 화상의 문양을 나타내는 텍스쳐 신호를 포함하는 제 2 화상 신호를 합성하여, 제 3 화상 공간을 형성하는 합성 화상 신호를 생성하는 방법에 있어서,

    상기 제 1 화상 공간에 있어서의, 피처리 화소를 포함하는 대상 영역내에 위치하는 화소의 형상 신호에 근거하여, 상기 피처리 화소의 텍스쳐 신호에 대한 합성 비율을 산출하는 합성 비율 산출 단계와, 상기 산출된 합성 비율에 근거하여, 상기 피처리 화소와, 이것에 대응하는 제 2 화상 공간에 있어서의 대응 화소 사이에서 이들 화소의 텍스쳐 신호의 합성 처리를 실행하는 화소 합성 단계를 포함하고, 상기 합성된 텍스쳐 신호를, 상기 제 3 화상 공간에 있어서의, 상기 피처리 화소에 대응하는 화소의 텍스쳐 신호로서 이용하는 제 1 화상 합성 처리와,

    상기 제 1 화상 공간에 있어서의 피처리 화소와, 이것에 대응하는 제 2 화상 공간에 있어서의 대응 화소 사이에서 이들 화소의 텍스쳐 신호의 합성 처리를, 상기 제 1 화상 합성 처리에 있어서의 합성 비율과는 다른 비율로 실행하는 화소 합성 단계를 포함하고, 상기 합성되는 텍스쳐 신호를, 상기 제 3 화상 공간에 있어서의, 상기 피처리 화소에 대응하는 화소의 텍스쳐 신호로서 이용하는 제 2 화상 합성 처리를 포함하며,

    상기 제 1 화상 공간에 있어서의, 피처리 화소를 포함하는 대상 영역내에 위치하는 화소의 형상 신호에 근거하여, 상기 제 1 및 제 2 화상 합성 처리를 전환하는 것을 특징으로 하는 화상 합성 방법.
19. 제 18 항에 있어서,

    상기 제 2 화상 합성 처리는,

    상기 화소 합성 단계에서는, 상기 제 1 화상 공간에 있어서의 물체내의 피처리 화소의 텍스쳐 신호를, 상기 제 3 화상 공간에 있어서의, 상기 피처리 화소에 대응하는 화소의 텍스쳐 신호로서 이용하고,

    상기 제 1 화상 공간에 있어서의 물체밖의 피처리 화소에 대응하는, 제 2 화상 공간에 있어서의 대응 화소의 텍스쳐 신호를, 상기 제 3 화상 공간에 있어서의, 상기 피처리 화소에 대응하는 화소의 텍스쳐 신호로서 이용하는 것을 특징으로 하는 화상 합성 방법.
20. 임의 형상의 물체를 포함하는 제 1 화상 공간을 형성하는, 상기 물체의 형상을 나타내는 형상 신호 및 물체의 문양을 나타내는 텍스쳐 신호를 포함하는 제 1 복호 화상 신호와, 제 2 화상 공간을 형성하는, 화상의 문양을 나타내는 텍스쳐 신호를 포함하는 제 2 복호 화상 신호를 합성하여, 제 3 화상 공간을 형성하는 합성 화상 신호를 생성하는 장치에 있어서,

    상기 제 1 화상 공간에 있어서의, 피처리 화소를 포함하는 대상 영역내에 위치하는 화소의 형상 신호에 대한 연산 처리에 의해, 상기 피처리 화소의 텍스쳐 신호에 대한 합성 비율을 산출하는 합성 비율 산출 수단과,

    상기 산출된 합성 비율에 근거하여, 상기 피처리 화소와, 이것에 대응하는 제 2 화상 공간에 있어서의 대응 화소 사이에서 이들 화소의 텍스쳐 신호의 합성 처리를 실행하는 화소 합성 수단을 포함하고,

    상기 화소 합성 수단은,

    상기 제 1 복호 화상 신호에 대응하는 부호화 화상 신호의 생성시에,이 부호화 화상 신호에 부가된 부가 정보를 참조하여, 상기 합성 처리에 있어서의 텍스쳐 신호의 합성 방법을 전환하도록 구성되어 있는 것을 특징으로 하는 화상 합성 장치.
21. 임의 형상의 물체를 포함하는 제 1 화상 공간을 형성하는, 상기 물체의 형상을 나타내는 형상 신호 및 물체의 문양을 나타내는 텍스쳐 신호를 포함하는 제 1 화상 신호와, 제 2 화상 공간을 형성하는, 화상의 문양을 나타내는 텍스쳐 신호를 포함하는 제 2 화상 신호를 합성하여, 제 3 화상 공간을 형성하는 합성 화상 신호를 생성하는 장치에 있어서,

    상기 제 1 화상 공간에 있어서의 각 화소의 형상 신호에 근거하여, 상기 물체의 경계 위치를 검출하는 경계 검출 수단과,

    상기 제 1 화상 공간에 있어서의, 피처리 화소를 포함하는 대상 영역내에 위치하는 화소의 형상 신호에 근거하여, 상기 피처리 화소의 텍스쳐 신호에 대한 합성 비율을 산출하는 처리를, 상기 물체의 경계 부근의, 상기 물체내 및 물체밖에 위치하는 화소에 대해서만 실행하는 합성 비율 산출 수단과,

    상기 경계 부근의 화소에 대해서는, 상기 산출된 합성 비율에 근거하여, 상기 피처리 화소와, 이것에 대응하는 제 2 화상 공간에 있어서의 대응 화소 사이에서 이들 화소의 텍스쳐 신호의 합성 처리를 실행하는 처리를 실행하고, 상기 경계 부근 이외의 화소에 대해서는, 이들 화소의 형상 데이터에 근거하여, 상기 피처리 화소와, 이것에 대응하는 제 2 화상 공간에 있어서의 대응 화소 사이에서 이들 화소의 텍스쳐 신호의 합성 처리를 실행하는 처리를 실행하는 화소 합성 수단을 포함하며,

    상기 합성된 텍스쳐 신호를, 상기 제 3 화상 공간에 있어서의, 상기 피처리 화소에 대응하는 화소의 텍스쳐 신호로서 이용하는 것을 특징으로 하는 화상 합성 장치.
22. 임의 형상의 물체를 포함하는 제 1 화상 공간을 형성하는, 상기 물체의 형상을 나타내는 형상 신호 및 물체의 문양을 나타내는 텍스쳐 신호를 포함하는 제 1 화상 신호와, 제 2 화상 공간을 형성하는, 화상의 문양을 나타내는 텍스쳐 신호를 포함하는 제 2 화상 신호를 합성하여, 제 3 화상 공간을 형성하는 합성 화상 신호를 생성하는 장치에 있어서,

    상기 물체의 사이즈 및 제 1 화상 공간에 있어서의 상기 물체의 위치를 나타내는 부가 정보에 근거하여, 물체내 또는 물체밖에서 물체의 경계 부근에 위치하는 특정 화소에 대해서는, 상기 제 1 화상 공간에 있어서의 피처리 화소와, 이것에 대응하는 제 2 화상 공간에 있어서의 대응 화소 사이에서 이들 화소의 텍스쳐 신호의 합성 처리를 실행하는 처리를 실행하고, 상기 제 1 화상 공간에 있어서의 특정 화소 이외의 주변 화소에 대해서는, 이들의 주변 화소에 대응하는 제 2 화상 공간에 있어서의 화소의 텍스쳐 신호를, 상기 제 3 화상 공간에 있어서의, 상기 주변 화소에 대응하는 화소의 텍스쳐 신호로 하는 화소 합성 수단을 포함하며,

    상기 제 3 화상 공간에 있어서의, 상기 특정 화소에 대응하는 화소의 텍스쳐 신호로서는, 상기 화소 합성 단계의 합성 처리에 의해 얻어진 텍스쳐 신호를 이용하는 것을 특징으로 하는 화상 합성 장치.
23. 임의 형상의 물체를 포함하는 제 1 화상 공간을 형성하는, 상기 물체의 형상을 나타내는 형상 신호 및 물체의 문양을 나타내는 텍스쳐 신호를 포함하는 제 1 화상 신호와, 제 2 화상 공간을 형성하는, 화상의 문양을 나타내는 텍스쳐 신호를 포함하는 제 2 화상 신호를 합성하여, 제 3 화상 공간을 형성하는 합성 화상 신호를 생성하는 장치에 있어서,

    상기 제 1 화상 신호를 구성하는 텍스쳐 신호와 형상 신호의 해상도가 동등하지 않을 때, 상기 텍스쳐 신호에 대하여, 그 해상도가 상기 형상 정보의 해상도와 동등하게 되도록 해상도 변환 처리를 실시하는 해상도 변환 수단과,

    상기 해상도 변환 처리를 실시한 텍스쳐 신호와 상기 형상 신호를 이용하여, 상기 제 1 화상 신호와 제 2 화상 신호의 합성 처리를 실행하는 화상 합성 수단을 포함한 것을 특징으로 하는 화상 합성 장치.
24. 임의 형상의 물체를 포함하는 제 1 화상 공간을 형성하는, 상기 물체의 형상을 나타내는 형상 신호 및 물체의 문양을 나타내는 텍스쳐 신호를 포함하는 제 1 화상 신호와, 제 2 화상 공간을 형성하는, 화상의 문양을 나타내는 텍스쳐 신호를 포함하는 제 2 화상 신호를 합성하여, 제 3 화상 공간을 형성하는 합성 화상 신호를 생성하는 장치에 있어서,

    상기 제 1 화상 신호를 구성하는 텍스쳐 신호의 해상도, 제 2 화상 신호를 구성하는 텍스쳐 신호의 해상도, 합성 화상 신호를 구성하는 텍스쳐 신호를 화상 표시할 때의 표시 해상도가 서로 다를 때, 상기 제 1, 제 2 화상 신호의 텍스쳐 신호에 대하여, 그 해상도가 상기 표시 해상도와 동등하게 되도록 해상도 변환 처리를 실시하는 해상도 변환 수단과,

    상기 해상도 변환 처리를 실시한 상기 제 1, 제 2 화상 신호의 텍스쳐 신호를 이용하여 상기 제 1 화상 신호와 제 2 화상 신호의 합성 처리를 실행하는 화상 합성 수단을 포함한 것을 특징으로 하는 화상 합성 장치.
25. 임의 형상의 물체를 포함하는 제 1 화상 공간을 형성하는, 상기 물체의 형상을 나타내는 형상 신호 및 물체의 문양을 나타내는 텍스쳐 신호를 포함하는 제 1 화상 신호와, 제 2 화상 공간을 형성하는, 화상의 문양을 나타내는 텍스쳐 신호를 포함하는 제 2 화상 신호를 합성하여, 제 3 화상 공간을 형성하는 합성 화상 신호를 생성하는 장치에 있어서,

    상기 제 1 화상 공간에 있어서의, 피처리 화소를 포함하는 대상 영역내에 위치하는 화소의 형상 신호에 근거하여, 상기 피처리 화소의 텍스쳐 신호에 대한 합성 비율을 산출하는 합성 비율 산출 수단과, 상기 산출된 합성 비율에 근거하여, 상기 피처리 화소와, 이것에 대응하는 제 2 화상 공간에 있어서의 대응 화소 사이에서 이들 화소의 텍스쳐 신호의 합성 처리를 실행하는 제 1 화소 합성 수단을 갖고, 상기 합성된 텍스쳐 신호를, 상기 제 3 화상 공간에 있어서의, 상기 피처리 화소에 대응하는 화소의 텍스쳐 신호로서 출력하는 제 1 화상 합성 처리부와,

    상기 제 1 화상 공간에 있어서의 피처리 화소와, 이것에 대응하는 제 2 화상 공간에 있어서의 대응 화소 사이에서 이들 화소의 텍스쳐 신호의 합성 처리를, 상기 제 1 화상 합성 처리에 있어서의 합성 비율과는 다른 비율로 실행하는 제 2 화소 합성 수단을 갖고, 상기 합성된 텍스쳐 신호를, 상기 제 3 화상 공간에 있어서의, 상기 피처리 화소에 대응하는 화소의 텍스쳐 신호로서 출력하는 제 2 화상 합성 처리부를 포함하며,

    상기 제 1 화상 공간에 있어서의, 피처리 화소를 포함하는 대상 영역내에 위치하는 화소의 형상 신호에 근거하여, 상기 제 1 및 제 2 화상 합성 처리를 전환하도록 구성한 것을 특징으로 하는 화상 합성 장치.
26. 컴퓨터에 의해 화상 합성 처리를 실행하도록 하기 위한 프로그램을 저장한 데이터 기억 매체에 있어서,

    상기 프로그램은, 청구항 1 내지 청구항 19 중 어느 한 항에 기재된 화상 합성 방법에 의한 화상 합성 처리를 컴퓨터가 실행하도록 구성한 것을 특징으로 하는 데이터 기억 매체.
27. 제 6 항에 있어서,

    상기 합성 비율 산출 단계에서는,

    상기 대상 영역내의 화소 중 물체내에 위치하는 화소의 갯수에 따라 미리 계산하여 테이블에 저장한 합성 비율을, 상기 대상 영역내에 위치하는 화소의 형상 신호로부터 얻어지는 물체내의 화소 갯수에 따라 상기 테이블로부터 구하는 것을 특징으로 하는 화상 합성 방법.
28. 제 6 항에 있어서,

    상기 화소 합성 단계에서는, 상기 합성 비율의 값과 텍스쳐 신호의 값의 조합 전체에 대한 상기 양자의 승산 결과를 저장한 테이블을 참조하여, 상기 제 3 화상 공간에 있어서의, 상기 피처리 화소에 대응하는 화소의 텍스쳐 신호를 구하는 것을 특징으로 하는 화상 합성 방법.
29. 제 6 항에 있어서,

    상기 화소 합성 단계에서는, 상기 대상 영역에 있어서의 물체내에 위치하는 화소의 수와 텍스쳐 신호의 값의 조합 전체에 대한 상기 양자의 승산 결과를 저장한 테이블을 참조하여, 상기 제 3 화상 공간에 있어서의, 상기 피처리 화소에 대응하는 화소의 텍스쳐 신호를 구하는 것을 특징으로 하는 화상 합성 방법.