KR100981002B1 - 합성화상 출력장치, 및 프로그램을 기록한 기록매체 - Google Patents

Abstract

시간적으로 연속하여 촬영된 복수의 촬영화상데이터(Gn)를 해석하고, 연기자(P)에 대응하는 화상데이터에는 치환화상데이터(24Gw)가 합성되는 것을 나타내는 마크데이터(24Mw)가 부가되어 표시되고, 연기자(K)에 대응하는 화상데이터에 대해서는 미리 설정된 몸짓(모션)이 검출되면, 치환화상데이터(14Gu)가 합성되는 것을 나타내는 마크데이터(14Mu)가 부가되어 표시된다. 또, 물체(A)에 대응하는 화상데이터에는 치환화상데이터(접촉전)(15Ga)가 합성되는 것을 나타내는 마크데이터(접촉전)(15Ma)가 부가 표시되고, 물체화상데이터(B)에는 치환화상데이터(접촉전)(15Gb)가 합성되는 것을 나타내는 마크데이터(접촉전)(15Mb)가 부가 표시된다.

또, 촬영 후, 마크데이터(14Mu, 15Ma, 15Mb 및 24Mu)가 부가된 각 화상데이터는 각각 도 2의 (b)에 나타내는 치환화상데이터(24Gw), 치환화상데이터(14Gu), 치환화상데이터(15Ga), 치환화상데이터(15Gb)로 치환되고, 그리고, 치환화상데이터(24Gw), 치환화상데이터(14Gu)에 대해서는 연기자(K나 P)의 움직임을 캡쳐한 동화상으로서 생성되고, 이들이 배경화상데이터(BG)에 합성된 합성 동화상데이터(GG)가 생성된다.

화상데이터, 마크데이터, 촬영화상, 모션, 연기자

Description

합성화상 출력장치, 및 프로그램을 기록한 기록매체{COMPOSITE IMAGE OUTPUT APPARATUS, AND RECORDING MEDIUM STORING PROGRAM}

본 발명은 촬영된 화상에 다른 화상을 합성하는 합성화상 출력장치, 및 프로그램을 기록한 기록매체에 관한 것이다.

종래, 디지털카메라에 의해 촬영된 촬영화상으로부터 인물화상을 추출하고, 또한 이 추출된 인물화상의 자세를 판단하고, 이 판단된 자세에 따라, 캐릭터화상을 이 인물화상에 합성하여 표시하는 화상출력장치가 개시되어 있다.

본 발명은 복수의 화상데이터로부터 변화하는 부분을 판단하고, 대응하는 화상데이터를 합성하는 합성화상 출력장치, 및 프로그램을 기록한 기록매체를 제공하는 것을 목적으로 한다.

상기 목적을 달성하기 위해, 본원발명의 합성화상출력장치는 미리 설정된 모션의 모션데이터와 변신캐릭터의 화상데이터를 대응시켜 기억하는 변신데이터 기억수단과; 동화상 촬영된 일련의 촬영화상데이터를 취득하는 촬영화상 취득수단과; 상기 촬영화상 취득수단에 의해 취득된 일련의 촬영화상데이터 중에서 인물화상을 추출하는 인물화상 추출수단과; 상기 인물화상 추출수단에 의해 추출된 인물화상 중에서 상기 변신데이터 기억수단에 의해 기억되고 있는 모션데이터와 미리 설정된 모션이 일치하는 인물화상을 검출하는 변신모션 검출수단과; 상기 변신모션 검출수단에 의해 미리 설정된 모션의 인물화상이 검출된 이후의 촬영화상데이터에 대해, 당해 검출된 인물화상을 상기 변신데이터 기억수단에 의해 기억되고 있는 변신캐릭터의 화상데이터에 기초하여 당해 인물화상과 같은 자세의 변신캐릭터의 화상데이터로 치환된 합성화상데이터를 생성하는 합성화상 생성수단과; 상기 합성화상 생성수단에 의해 생성된 일련의 합성화상데이터를 출력하는 합성화상 출력수단을 구비하며; 상기 변신데이터 기억수단은, 미리 설정된 모션의 모션데이터와 변신캐릭터의 화상데이터 및 음성데이터를 대응시켜 기억하며; 상기 합성화상 생성수단은, 상기 변신모션 검출수단에 의해 미리 설정된 모션의 인물화상이 검출된 이후의 촬영화상데이터에 대해 당해 검출된 인물화상을 상기 변신데이터 기억수단에 의해 기억되고 있는 변신캐릭터의 화상데이터에 기초하여 당해 인물화상과 같은 자세의 변신캐릭터의 화상데이터로 치환함과 동시에 당해 변신캐릭터의 음성데이터를 대응시킨 합성화상데이터를 생성하는 것을 특징으로 한다.

또한, 상기 목적을 달성하기 위해, 본원발명에서는 상기 변신데이터 기억수단은, 미리 설정된 모션의 모션데이터와 변신캐릭터의 화상데이터 및 음성데이터와 해당 변신캐릭터를 나타내는 모션데이터를 대응시켜 기억하며; 상기 합성화상 생성수단은, 상기 변신모션 검출수단에 의해 미리 설정된 모션의 인물화상이 검출된 이후의 촬영화상데이터에 대해, 당해 검출된 인물화상에 상기 변신데이터 기억수단에 의해 기억되고 있는 변신캐릭터를 나타내는 모션데이터를 부가한 마크부착 촬영화상데이터를 생성하는 마크부착 촬영화상생성수단을 구비하며, 상기 마크부착 촬영화상생성수단에 의해 생성된 마크부착 촬영화상데이터에 대해, 상기 변신캐릭터를 나타내는 마크데이터가 부가된 인물화상을 상기 변신데이터 기억수단에 의해 기억되고 있는 변신캐릭터의 화상데이터에 기초하여 당해 인물화상과 같은 자세의 변신캐릭터의 화상데이터로 치환함과 동시에 상기 변신캐릭터의 음성데이터를 대응시킨 합성화상데이터를 생성하며, 상기 촬영화상 취득수단에 의한 일련의 촬영화상데이터의 취득에 수반하여, 상기 마크부착 촬영화상생성수단에 의해 생성된 마크부착 촬영화상데이터를 표시시키는 마크부착 촬영화상 표시제어수단과, 상기 마크부착 촬영화상 표시제어수단에 의한 상기 마크부착 촬영화상데이터의 표시제어에 수반하여, 당해 마크부착 촬영화상데이터의 모션데이터에 대응되고 상기 변신데이터 기억수단에 의해 기억되고 있는 변신캐릭터의 음성데이터를 판독하여 출력시키는 음성출력 제어수단을 또한 구비한 것을 특징으로 한다.

또한, 상기 목적을 달성하기 위해, 본원발명의 프로그램을 기록한 기록매체는, 미리 설정된 모션의 모션데이터와 변신캐릭터의 화상데이터를 대응시켜 메모리에 기억하는 변신데이터 기억수단과; 동화상 촬영된 일련의 촬영화상데이터를 취득하는 촬영화상 취득수단과; 상기 촬영화상 취득수단에 의해 취득된 일련의 촬영화상데이터 중에서 인물화상을 추출하는 인물화상 추출수단과; 상기 인물화상 추출수단에 의해 추출된 인물화상 중에서 상기 변신데이터 기억수단에 의해 메모리에 기억되고 있는 모션데이터와 미리 설정된 모션이 일치하는 인물화상을 검출하는 변신모션 검출수단과; 상기 변신모션 검출수단에 의해 미리 설정된 모션의 인물화상이 검출된 이후의 촬영화상데이터에 대해, 당해 검출된 인물화상을 상기 변신데이터 기억수단에 의해 기억되고 있는 변신캐릭터의 화상데이터에 기초하여 당해 인물화상과 같은 자세의 변신캐릭터의 화상데이터로 치환된 합성화상데이터를 생성하는 합성화상 생성수단과; 상기 합성화상 생성수단에 의해 생성된 일련의 합성화상데이터를 출력하는 합성화상 출력수단으로서 상기 컴퓨터를 기능시키며; 상기 변신데이터 기억수단은, 미리 설정된 모션의 모션데이터와 변신캐릭터의 화상데이터 및 음성데이터를 대응시켜 기억하며; 상기 합성화상 생성수단은, 상기 변신모션 검출수단에 의해 미리 설정된 모션의 인물화상이 검출된 이후의 촬영화상데이터에 대해 당해 검출된 인물화상을 상기 변신데이터 기억수단에 의해 기억되고 있는 변신캐릭터의 화상데이터에 기초하여 당해 인물화상과 같은 자세의 변신캐릭터의 화상데이터로 치환함과 동시에 당해 변신캐릭터의 음성데이터를 대응시킨 합성화상데이터를 생성하도록 컴퓨터를 기능시킨다.

본 발명에 의하면, 복수의 화상데이터로부터 변화하는 부분을 판단하고, 대응하는 화상데이터를 합성하는 화상합성장치, 화상합성방법 및 프로그램을 기억한 기록매체를 제공할 수 있다.

도 1은 본 실시형태에 관한 디지털카메라(10)를 이용한 촬영상태를 나타내는 도면이고, 도 2의 (a) 및 도 2의 (b)는 표시부(10)에 표시되는 상태를 나타내는 도면 및 촬영후, 표시부(10)에 표시되는 합성화상을 나타내는 도면이다.

디지털카메라(10)는 그 배면에 LCD 표시부(11), 입력부(12), 음성출력부(스피커)(13)를 구비하고, 입력부(12)의 조작에 따라 촬영되는 촬영화상데이터(Gn)는 리얼타임으로 표시부(11)에 표시된다.

그리고, 연기자(P)가 물체(A)를 넘어뜨리고, 날아오는 물체(B)를 떨어뜨리며, 연기자(K)가 미리 등록된 몸짓을 하는 씬(장면)을 디지털카메라(10)가 동화상으로서 촬영하고, 기록한다.

시간적으로 연속해서 촬영된 복수의 촬영화상데이터(Gn)는 도 2의 (a)에 나타내는 바와 같이, 리얼타임으로 표시부(11)에 표시된다. 그리고, 이와 동시에 복수의 촬영화상데이터가 해석되고, 연기자(P)에 대응하는 화상데이터에는 치환화상데이터(24Gw)가 합성되는 것을 나타내는 마크데이터(24Mw)가 부가되어 표시되고, 연기자(K)에 대응하는 화상데이터에 대해서는 미리 설정된 몸짓이 검출되면, 치환화상데이터(14Gu)가 합성되는 것을 나타내는 마크데이터(14Mu)가 부가되어 표시된다.

또, 물체(A)에 대응하는 화상데이터에는 치환화상데이터(접촉전)(15Ga)가 합성되는 것을 나타내는 마크데이터(접촉전)(15Ma)가 부가되어 표시되고, 물체화상데이터(B)에는 치환화상데이터(접촉전)(15Gb)가 합성되는 것을 나타내는 마크데이터(접촉전)(15Mb)가 부가되어 표시된다.

또, 촬영시에는 각각의 마크데이터에 대응지어져 미리 기억되어 있는 음성 데이터가 읽어내어지고, 음성출력부(13)로부터 출력된다.

또한, 이후의 설명에 있어서, 촬영된 동화상에 마크데이터(24Mw), 마크데이터(14Mu), 마크데이터(15Ma) 및 마크데이터(15Mb)가 부가된 것을 마크부착 촬영화상(Gm)이라 칭한다.

또, 촬영후, 마크부착 촬영화상데이터(Gm)에 있어서 마크데이터(14Mu, 15Ma, 15Mb 및 24Mu)가 부가된 각 화상데이터(치환대상 화상데이터)는 각각 도 2의 (b)에 나타내는 바와 같은 치환화상데이터(24Gw), 치환화상데이터(14Gu), 치환화상데이터(15Ga), 치환화상데이터(15Gb)로 치환되고, 그리고 치환화상데이터(24Gw), 치환 화상데이터(14Gu)에 대해서는 연기자(K나 P)의 움직임을 캡쳐한 동화상으로서 생성되고, 이들이 배경화상데이터(BG)에 합성된 합성 동화상데이터(GG)가 생성된다.

또한, 상세한 것은 후술하겠지만, 디지털카메라(10)는 물체(A)에 대응하는 치환대상 화상데이터나 물체(B)에 대응하는 치환대상 화상데이터가 연기자(P나 K)에 대응하는 치환대상 화상데이터와 접촉한 것을 화상해석에 의해 검지하면, 마크데이터(접촉전)(15Ma) 및 마크데이터(접촉전)(15Mb)를 각각 마크데이터(15)(접촉후)(Ma′), 마크데이터(15)(접촉후)(Mb′)로 교체하는 동시에, 치환화상데이터(접촉전)(15Ga), 치환화상데이터(접촉전)(15Gb)에 대한 접촉후에 대응한 치환화상데이터(접촉후)(15Ga′), 치환화상데이터(접촉후)(15Gb′)로 치환되어 합성된다.

도 3은 디지털카메라(10)의 전자회로의 구성을 나타내는 블럭도이다.

이 디지털카메라(10)는 컴퓨터인 CPU(16)를 구비하고 있다.

CPU(16)는 메모리(17)에 미리 기억된 시스템 프로그램, 혹은 메모리카드 등의 외부기록매체(18)로부터 카드슬롯 등의 기록매체 판독부(19)를 통해 메모리(17)에 판독된 카메라 제어 프로그램, 혹은 통신네트워크(N) 상의 서버장치(30)로부터 전송제어부(20)를 통해 메모리(17)에 판독된 카메라 제어 프로그램에 따라 회로 각 부의 동작을 제어한다.

또, CPU(16)는 주로 이하의 기능을 처리하는 처리부를 구비하고 있다.

·시간적으로 연속하는 복수의 촬영화상데이터(Gn)에 걸쳐, 특정의 모션을 실행하는 연기자(K)를 변화하고 있는 물체로서 인식하고 치환대상 화상데이터로서, 또 물체(A, B) 및 연기자(P)를 화상해석에 의해 인식하고 치환대상 화상데이터로서 연속적으로 추출하는 추출처리부(161);

·치환대상 화상데이터가 미리 등록된 것인지 아닌지를 그 화상데이터의 특징부분이나 형상을 인식하여 판단하는 제 1 판단처리부(162)；

·미리 등록된 것이라고 판단한 경우, 복수의 촬영화상데이터의 그 치환대상 화상데이터에 대응지어 마크데이터를 부가하여 표시하는 제 1 마킹처리부(163)；

미리 등록된 것이라고 판단한 경우, 그 치환대상으로 되는 화상이 최적의 시각(視覺)상태에서 촬영된 것인지 아닌지를 판단하고, 이 판단결과에 의거하여, 다른 마크데이터를 부가하여 표시하는 제 2 마킹처리부(164)；

·복수의 촬영화상데이터에 있어서, 추출 처리된 치환대상 화상데이터와 다른 추출된 치환대상 화상데이터의 위치관계(더욱 구체적으로는 추출처리된 치환대상 화상데이터와 다른 추출된 치환대상 화상데이터가 접촉 혹은 중첩되는지 아닌지)를 판단하는 제 2 판단처리부(165)；

·접촉 혹은 중첩된다고 판단한 경우, 마크데이터를 교체하여 부가하고 표시하는 제 3 마킹처리부(166)；

·추출 처리되거나 또는 마킹처리된 치환대상 화상데이터의 복수의 촬영화상데이터(Gn)에 있어서의 움직임(모션)이 미리 등록된 것과 대략 동일한지 아닌지를 판단하는 제 3 판단처리부(167)；

·미리 등록된 것이라고 판단한 경우, 마크데이터를 부가하여 표시하는 제 4 마킹처리부(168)；

·마크데이터가 부가된 복수의 촬영화상데이터에 대해, 치환대상 화상데이터 를 마크데이터에 대응하는 치환화상데이터로 치환하는 치환처리부(169)；

·치환대상 화상데이터의 움직임을 캡쳐하고, 치환화상데이터를 삼차원적으로 움직인 동화상데이터를 생성하는 동화상 생성 처리부(170)；

·생성된 동화상데이터를 포함하는 합성 동화상데이터를 생성하는 합성 동화상 생성 처리부(171).

이들 처리부(161∼171)의 처리 프로그램은 미리 화상처리 프로그램(22)에 기억되어 있고, 필요에 따라서 CPU(16)에 로드된다. 또, 화상데이터의 감시처리, 화상인식처리, 캡쳐처리 및 삼차원화처리에 대해서는 미리 화상처리 프로그램에 기억되어 있으며, 적절히 로드된다.

또한, 프로그램 메모리(22)에는 처리 프로그램 이외에, 디지털카메라(10)의 전체의 동작을 담당하는 시스템 프로그램이나 촬영동작을 담당하는 카메라 제어 프로그램, 통신네트워크(N)상의 서버장치(30)나 외부의 PC(40)와의 통신동작을 담당하는 통신제어 프로그램, 음성출력 처리 프로그램이 기억되고, 그리고 입력부(12)로부터의 키입력신호나 화상촬영부(21)로부터의 촬영입력신호, 전송제어부(20)를 통한 외부기기(30, 40)로부터의 입력신호에 따라 로드된다.

또, CPU(16)에는 LCD 표시부(11), 입력부(12), 음성출력부(13), 메모리(17), 기록매체 판독부(19), 전송제어부(20)가 접속되는 것 이외에, 고체촬상소자(CCD)나 촬상광학계 및 거리센서나 조도센서를 구비한 화상촬영부(21)가 접속된다.

메모리(17)에는 변신데이터 메모리(14), 특수효과 데이터 메모리(23), 파괴데이터 메모리(15), 변신역할 데이터 메모리(24), 촬영화상 데이터 메모리(25), 마 크부착 촬영화상 데이터 메모리(26), 합성화상 데이터 메모리(27), 및 그 밖의 작업용 데이터 메모리 등이 구비된다.

또한, 디지털카메라(10)에 있어서, 연기자(P)에 대응하는 치환대상 화상데이터의 얼굴부분(24T)은 치환화상데이터(24Gw)와 대응지어 변신역할 데이터 메모리(24)에 미리 기억된다.

또, 치환대상 화상데이터(15T)는 각각 치환화상데이터(15Ga)와 대응지어, 파괴데이터 메모리(15)에 미리 기억된다.

도 4는 변신 데이터메모리(14)에 미리 기억되는 데이터의 내용을 나타내는 도면이다.

이 변신데이터 메모리(14)에는 기억영역(14a, 14b) 각각에, 모션데이터(14P), 치환화상데이터(14Gu), 마크데이터(14Mu) 및 음성데이터(14Su)가 대응지어 기억된다.

또, 마크데이터(14Mu)의 기억영역에는 복수 종류의 치환화상데이터(14Gu1, 14Gu2)를 각각 간이하게 표현한 마크데이터(14Mu1, 14Mu2)가 기억된다.

그리고, 모션데이터(14P)의 기억영역에는 치환화상데이터(14Gu1, 14Gu2)를 읽어내기 위한 일련의 모션(몸짓)으로 이루어지는 모션데이터(14P1a∼14P1c, 14P2a∼14P2c)가 기억된다.

또한, 치환화상데이터(14Gu1, 14Gu2)는 인물의 손발의 골격이나 얼굴의 특징점의 이동데이터와 대응지어져 다양한 움직임을 표현한 3D화상 생성용 데이터가 기억된다.

또, 모션데이터(14P1a∼14P1c, 14P2a∼14P2c)는 이 모션으로 움직인 인물의 손발의 골격이나 얼굴의 특징점의 이동데이터와 화상데이터가 기억된다.

도 5는 특수효과 데이터 메모리(23)에 미리 기억되는 데이터의 내용을 나타내는 도면이다.

이 특수효과 데이터 메모리(23)에는 기억영역(23a, 23b) 각각에, 모션데이터(23P), 치환화상데이터(23Gu), 마크데이터(23Mu) 및 음성데이터(23Su)가 대응지어 기억된다.

마크데이터(23Mu)의 기억영역에는 복수 종류의 치환화상데이터(23Gu1, 23Gu2)를 각각 간이하게 표현한 마크데이터(23Mu1, 23Mu2)가 기억된다.

모션데이터(23P)의 기억영역에는 치환화상데이터(23Gu1, 23Gu2)의 각각에 대응하고, 치환화상데이터(14Gu1, 14Gu2)의 소정의 위치에 합성하기 위한 일련의 모션(몸짓)으로 이루어지는 모션데이터(23P1a∼23P1c, 23P2a∼23P2c)가 기억된다.

또한, 치환화상데이터(23Gu1, 23Gu2)는 화상데이터 그 자체, 또는 3D화상 생성용 데이터로서 기억된다.

또, 모션데이터(23P1a∼23P1c, 23P2a∼23P2c)는 이 모션으로 움직인 인물의 손발의 골격이나 얼굴의 특징점의 이동데이터와 화상데이터가 기억된다.

도 6은 파괴데이터 메모리(15)에 미리 기억되는 데이터의 내용을 나타내는 도면이다.

이 파괴데이터 메모리(15)는 기억영역(15a∼15c) 각각에, 치환대상 화상데이터(15T), 치환화상데이터(15G), 마크데이터(접촉전)(15M), 마크데이터(접촉 후)(15M´) 및 음성데이터(15S)를 대응지어 기억하고, 치환화상데이터(15G)의 기억영역에는 예를 들면 접촉전, 접촉시, 접촉후의 각 치환화상데이터(15Ga1∼15Ga3)가 기억된다.

또, 음성데이터(15S)에 대해서는 음성데이터(15Sa)는 접촉시를 출력타이밍으로서, 음성데이터(15Sb1)는 접촉전을 출력타이밍으로서, 음성데이터(15Sb2)는 접촉시를 출력타이밍으로서, 음성데이터(15Sc)는 접촉후를 출력타이밍으로서 각각 설정되어 있다.

마크데이터(접촉전)(15M)와 마크데이터(15M´)(접촉후)의 각 기억영역에는 예를 들면, 기억영역(15a)에 대해서는 치환화상데이터(15Ga1)를 간이하게 표현하는 마크데이터(15Ma), 치환화상데이터(15Ga3)를 간이하게 표현하는 마크데이터(15Ma′)가 기억된다. 그리고, 치환대상 화상데이터(15T)의 기억영역은 예를 들면, 기억영역(15a)에는 치환화상데이터(15Ga1∼15Ga3)의 치환대상으로 되는 치환대상 화상데이터(예를 들면 물체(A)의 화상데이터)의 최적의 시각상태가 기억된다.

또한, 치환화상데이터(15Ga1∼15Ga3, 15Gb1∼15Gb3, 15Gc1∼15Gc3)는 화상데이터 그 자체, 또는 3D화상 생성용 데이터로서 기억된다.

또, 치환대상 화상데이터(15T)는 그 물체를 촬영한 화상데이터 그 자체, 또는 동일 물체의 특징을 나타내는 형상데이터로서 기억된다.

도 7은 변신역할 데이터 메모리(24)에 기억되는 내용을 나타내는 도면이다.

이 변신역할 데이터 메모리(24)는 기억영역(24a, 24b) 각각에 사용자가 임의로 등록할 수 있는 치환대상 화상데이터(24T), 치환화상데이터(1)(24Gw), 마크데이 터(1)(24Mw), 치환화상데이터(2)(24Gw´), 마크데이터(2)(24Mw´)및 음성데이터(24S)가 대응지어 기억된다.

치환화상데이터(1)(24Gw)의 기억영역에는 예를 들면, 기억영역(24a)의 경우, 복수 종류의 제 1 단계의 치환화상데이터(24Gw1)가 기억된다.

마크데이터(1)(24Mw)의 기억영역에는 예를 들면, 기억영역(24a)의 경우, 치환화상데이터(24Gw1)를 간이하게 표현한 마크데이터(24Mw1)가 기억된다.

치환화상데이터(2)(24Gw´)의 기억영역에는 예를 들면, 기억영역(24a)의 경우, 제 1 단계의 치환화상데이터(24Gw1)에 대응하는 제 2 단계의 치환화상데이터(24Gw1)가 기억된다.

마크데이터(2)(24Mw′)의 기억영역에는 예를 들면, 기억영역(24a)의 경우, 치환화상데이터(24Gw1′)를 간이하게 표현한 마크데이터(24Mw1′)가 기억된다.

치환대상 화상데이터(24T)의 기억영역에는 치환화상데이터(24Gw1, 24Gw2)의 치환대상으로 되는 연기자의 얼굴 화상데이터가 등록된다.

음성데이터(24S)의 기억영역에는 예를 들면, 기억영역(24a)의 경우, 치환화상데이터(24Gw1) 및 마크데이터(24Mw1)와 대응지어 음성데이터(24Sw1)가 기억되고, 치환화상데이터(24Gw1′) 및 마크데이터(24Mw1′)와 대응지어 음성데이터(24Sw1′)가 기억된다.

이 음성데이터(24S)는 마크부착 촬영화상데이터(Gm)가 표시될 때 및, 합성 동화상데이터(GG)가 표시될 때에 음성출력부(13)로부터 출력된다.

또, 치환화상데이터(24Gw, 24Gw´)는 각종 움직임을 표현한 화상데이터 그 자체, 또는 손발의 골격이나 얼굴의 특징점의 이동데이터와 3D화상 생성용 데이터와의 조합으로서 기억된다.

또한, 본 실시형태에서는 상세하게 기술하지는 않지만, 제 1 단계의 치환화상데이터(24Gw)로부터 제 2 단계의 치환화상데이터(24Gw′)로의 표시(합성)의 변화는 임의로 설정할 수 있다. 예를 들면, 촬영한 일자나 시간에 따라 변화시켜도 좋고, 합성화상데이터로서 재생 표시한 일자나 시간에 따라 변화시켜도 좋다.

또, 인식대상 화상데이터(얼굴화상 부분)에 대해 사전에 복수 종류의 표정의 얼굴화상을 등록해 두고, 예를 들면, 온화한 표정에는 치환화상데이터(24Gw), 화가 난 표정에는 치환화상데이터(24Gw′)를 읽어내어 합성하도록 해도 좋다.

촬영화상 데이터 메모리(25)에는 화상촬영부(21)에 의해 시간적으로 연속해서 촬영된 복수의 촬영화상데이터(Gn)가 기억된다.

마크부착 촬영화상 데이터 메모리(26)에는 촬영화상 데이터메모리(25)에 기억된 복수의 촬영화상데이터(Gn)에 대해, 화상처리 프로그램에 따라 촬영에 리얼타임으로 생성된 마크부착 촬영화상데이터(Gm)(도 2의 (a) 참조)가 순차 기억된다.

합성화상 데이터메모리(27)에는 마크부착 촬영화상 데이터메모리(26)에 생성 기억된 마크부착 촬영화상데이터(Gm)에 의거하여, 화상처리 프로그램에 따라 생성된 합성화상데이터(GG)(도 2의 (b) 참조)가 기억된다.

또한, 구성의 디지털카메라(10)는 화상촬영부(21)에 의해 연속적으로 촬영되는 복수의 촬영화상데이터(Gn)에 마크데이터를 부가하여 마크부착 촬영화상데이터(Gm)(도 2의 (a) 참조)를 리얼타임으로 생성하여 표시하고, 촬영후에 기록된 마 크부착 촬영화상데이터(Gm)로부터 합성화상데이터(GG)(도 2의 (b) 참조)를 생성하여 동화상으로서 표시하거나, 또는 이 생성된 동화상을 디지털카메라(10)의 외부로 출력하는 것이다.

또, 도 8에 나타내는 바와 같이, 디지털카메라(10)가 구비하는 상기의 기능을, 통신네트워크(N) 상의 서버장치(30)에 구비시키도록 해도 좋다.

또, 이 서버장치(30)에, 디지털카메라(110)나 PC(40)에 통신네트워크(N)를 통해 통신하는 기능을 구비하게 하고, 서버장치(30)에서 마크부착 촬영화상데이터(Gm) 및 합성화상데이터(GG)를 생성하고, 디지털카메라(110), PC(40)에 응답 전달하여 서비스를 제공하는 구성으로 해도 좋다.

이 경우, 서버장치(30)는 컴퓨터인 CPU(31)를 구비하고 있다.

CPU(31)는 디지털카메라(10)의 CPU(16)가 처리하는 각 처리부(161∼171)와 동등한 처리부를 구비하고, 또한 메모리(32)에 미리 기억된 시스템 프로그램, 혹은 CD-ROM 등의 외부기록매체(33)로부터 광디스크 드라이브 등의 기록매체 판독부(34)를 통해 메모리(32)에 판독된 서버제어 프로그램에 따라 회로 각 부의 동작을 제어한다.

또, CPU(31)에는 메모리(32), 기록매체 판독부(34)가 접속되는 것 이외에, 통신네트워크(N)상의 디지털카메라(110)나 PC(40)와의 사이에서 데이터의 전송 제어를 실행하기 위한 전송제어부(35), 키보드·마우스 등의 입력부(36), LCD 표시부(37)가 접속된다.

메모리(32)의 프로그램 메모리(22)에는 본 서버장치(30)의 전체의 동작을 담 당하는 시스템 프로그램, 디지털카메라(110)나 PC(40)와의 통신 동작을 담당하는 통신제어 프로그램이 기억되는 동시에, 디지털카메라(110), PC(40)로부터 전송된 동화상 촬영화상데이터(Gn)에 의거하여, 전술한 디지털카메라(10)와 마찬가지로 마크부착 촬영화상데이터(Gm)나 합성화상데이터(GG)를 생성하거나 출력(전달)하기 위한 각종 기능을 담당하는 화상처리 프로그램이 미리 기억된다.

그리고, 프로그램 메모리(22)에 기억된 각종 프로그램은 입력부(36)로부터의 입력신호, 전송제어부(35)를 통한 디지털카메라(110), PC(40)로부터의 입력신호에 따라 기동된다.

또, 메모리(32)에는 설명한 디지털카메라(10)에 있어서의 그것과 대략 동일한 데이터내용인 변신 데이터 메모리(14), 특수효과 데이터 메모리(23), 파괴 데이터 메모리(15), 변신역할 데이터 메모리(24), 촬영화상 데이터 메모리(25), 마크부착 촬영화상 데이터 메모리(26), 합성화상 데이터 메모리(27) 및 그 밖의 작업용 데이터 메모리 등이 구비된다.

이것에 의해, 서버장치(30)에서는 통신네트워크(N)에 접속된 디지털카메라(110)나 PC(40)로부터 전송된 복수의 촬영화상데이터(Gn)에 의거하여, 마찬가지의 마크부착 촬영화상데이터(Gm) 및 합성화상데이터(GG)를 생성하는 동시에, 촬영화상데이터(Gn)를 송신한 디지털카메라(110), PC(40)에 응답 전달하는 서비스를 제공할 수 있다.

다음에, 구성의 디지털카메라(10) 혹은 서버장치(30)에 의한 CPU(16, 31)의 합성화상 출력처리에 대해 설명한다.

도 9는 합성화상 출력처리의 전체 과정을 나타내는 흐름도이다.

도 10은 흐름도에 있어서의 스텝 SA, 즉 촬영화상데이터(Gn)(G1∼G9)로부터 치환대상 화상데이터를 추출하는 추출처리를 나타내는 서브 흐름도이다.

도 11은 흐름도에 있어서의 스텝 SB, 즉 스텝 SA에 있어서 추출된 치환대상 화상데이터에 마크데이터(24Mw)를 부가하여 표시시키는 마킹처리 A를 나타내는 서브 흐름도이다.

도 12는 흐름도에 있어서의 스텝 SC, 즉 스텝 SA에 있어서 추출된 치환대상 화상데이터에 마크데이터(15M, 15M´)를 부가하여 표시하는 동시에 음성데이터(15S)를 출력시키는 마킹처리 B를 나타내는 흐름도이다.

도 13은 흐름도에 있어서의 스텝 SD, 즉 스텝 SA에 있어서 추출된 치환대상 화상데이터에 대해, 복수의 촬영화상데이터(Gn)에 걸치는 몸짓(모션)을 검출하고, 이 모션이 변신 데이터메모리(14)에 등록되어 있는 모션데이터(14P)와 대략 동일하다고 판단한 경우, 그 치환대상 화상데이터에 마크데이터(14Mu)를 부가하여 표시하고, 대응하는 음성데이터(14Su)를 출력시키는 마킹처리 C를 나타내는 서브 흐름도이다.

도 14는 흐름도에 있어서의 스텝 SE, 즉 스텝 SD에 있어서 마킹처리된 치환대상 화상데이터에 대해, 복수의 촬영화상데이터(Gn)에 걸치는 몸짓(모션)을 검출하고, 이 모션이 특수효과 데이터메모리(23)에 등록되어 있는 모션(23P)과 동일하다고 판단한 경우에, 그 연기자의 화상데이터에 마크데이터(23Mu)를 추가로 부가하여 표시하고, 대응하는 음성데이터(23Su)를 출력시키는 마킹처리 D를 나타내는 서 브 흐름도이다.

도 15는 흐름도에 있어서의 스텝 SF, 즉 합성화상 출력처리에 수반하여 마크데이터(24Mw, 14Mu)가 부가된 치환대상 화상데이터를 치환화상데이터(24Gw, 14Gu)로 치환하여 합성하고, 음성데이터(24Sw, 14Su)의 출력을 설정하는 합성처리 A를 나타내는 서브 흐름도이다.

도 16은 흐름도에 있어서의 스텝 SG, 즉 합성화상 출력처리에 수반하여 마크데이터(15M, 15M´)가 부가된 치환대상 화상데이터를 치환화상데이터(15G)로 치환하여 합성하고, 음성데이터(15S)의 출력을 설정하는 합성처리 B를 나타내는 서브 흐름도이다.

도 17은 흐름도에 있어서의 스텝 SH, 즉 합성화상 출력처리에 수반하여 마크데이터(23Mu)가 부가된 치환대상 화상데이터의 소정 위치에 치환화상데이터(23Gu)를 추가하여 합성하고, 음성데이터(23Su)의 출력을 설정하는 합성처리 C를 나타내는 서브 흐름도이다.

도 18∼26은 합성화상 출력처리에 수반하는 촬영화상데이터(Gn)에 의거한 화상처리상태를 순차 나타내는 도면이고, 각각의 도면에 있어서, ‘A’는 촬영화상데이터(Gn)를 나타내는 도면, ‘B’는 마크부착 촬영화상데이터(Gm)를 나타내는 도면, ‘C’는 합성화상데이터(GG)를 나타내는 도면이다.

도 9에 있어서의 스텝 S1∼S3의 처리는 도 18의 (a)∼26의 (a)에 나타내는 바와 같이, 촬영화상데이터(Gn)(G1∼G9)의 취득을 트리거로서 실행되고, 도 18의 (b)∼26의 (b)에 나타내는 바와 같은 마크부착 촬영화상데이터(Gm)(Gm1∼Gm9)가 순 차 생성 출력된다.

또, 도 9에 있어서의 스텝 S4∼S7의 처리는 도 18의 (b)∼26의 (b)에 나타내는 바와 같이 생성된 마크부착 촬영화상데이터(Gm)에 대해 실행되고, 도 18의 (c)∼도 26의 (c)에 나타내는 바와 같은 합성화상데이터(GG)(GG1∼GG9)가 생성 출력된다.

디지털카메라(10)의 화상촬영부(21)에 의해, 예를 들면 도 18의 (a)∼26의 (a)에 나타내는 일련의 씬이 촬영되면, 복수의 촬영화상데이터(Gn)(G1∼G9)는 순차 촬영화상 데이터메모리(25)에 일시적으로 보존되고(스텝 S1), 다음에, 도 10에 나타내는 추출처리의 서브 흐름도가 실행 처리된다(스텝 SA).

· 추출처리

CPU(16)는 촬영화상 데이터메모리(25)에 순차 보존되는 촬영화상데이터(Gn)를 CPU(16)내의 작업용 메모리에 일시 전송하여 기억한다(스텝 SA1). 그리고, 추출처리부(161)가 촬영화상데이터(Gn)의 치환대상 화상데이터(15T, 24T)를 인식하고(스텝 SA2), 인식된 치환대상 화상데이터의 촬영화상데이터(Gn)에 있어서의 위치정보를 촬영화상데이터(Gn)에 부가하고, 촬영화상 데이터메모리(25)에 기억한다(스텝 SA3).

다음에, 먼저 촬영된 촬영화상데이터(Gn-1)와 금회의 촬영화상데이터(Gn)의 화상의 변화부분을 블록화하여 추출하고(스텝 SA4), 이 블록화된 변화부분을 갖는 화상데이터의 위치정보를 촬영화상데이터(Gn)에 부가하여 촬영화상 데이터 메모리(25)에 기억한다(스텝 SA5).

· 마킹처리 A

추출처리(스텝 SA)에 의해 촬영화상데이터(Gn) 중에 존재하는 치환대상 화상데이터를 추출하면, 다음에, 제 1 판단처리부(162) 및 제 1 마킹처리부(163)가 도 11에 나타내는 마킹처리A의 서브 흐름도를 실행한다(스텝 SB).

이 마킹처리A에서는 추출처리에 의해 추출된 치환대상 화상데이터가 변신 역할 데이터메모리(24)에 치환대상 화상데이터(24T)로서 등록되어 있는지 아닌지를, 이미 알고 있는 얼굴화상의 인식처리를 이용하여 판단한다(스텝 SB1).

여기서, 치환대상 화상데이터(24T)로서 등록되어 있다고 판단하면(스텝 SB1(Yes)), 이 치환대상 화상데이터(24T)와 대응지어져 기억되어 있는 기억영역(24a)의 마크데이터(24Mw1)를 읽어내는 동시에, 대응하는 추출된 치환대상 화상데이터의 얼굴화상의 위치에 부가하여 표시하고, 도 18의 (b)∼도 26의 (b)에 나타내는 바와 같은 마크부착 촬영화상데이터(Gm1∼Gm9)로서 작업용 메모리에 일시적으로 보존한다(스텝 SB2).

이 때, 마크데이터(24Mw1)는 추출된 치환대상 화상데이터의 얼굴부분에 중첩해서 표시하거나, 또는 얼굴부분의 근방에 표시하는 것의 어느 것이어도 좋다.

그리고, 모든 치환대상 화상데이터에 대해 판단이 종료했는지 아닌지를 판단하고, 판단이 종료해 있지 않으면(스텝 SB3(No)) 스텝 SB1의 처리로 되돌리고, 판단이 종료해 있으면(스텝 SB3(Yes)), 스텝 SB4의 처리로 이행한다.

그리고, 현재, 디지털카메라(10)에 의한 촬영이 계속중이다고 판단하면(스텝 SB4(Yes)), 변신역할 데이터 메모리(24)에 대응지어져 기억되어 있는 음성데이 터(24Sw1)를 읽어내고, 음성출력부(13)로부터 출력한다(스텝 SB5).

다음에, 도 12에 나타내는 마킹처리B의 서브 흐름도가 실행 처리된다(스텝 SC).

· 마킹처리 B

이 마킹처리 B에서는 제 1 판단처리부(162)가, 추출처리에 의해 추출된 치환대상 화상데이터가 파괴데이터 메모리(15)에 치환대상 화상데이터(15T)로서 등록되어 있는지 아닌지를 판단한다(스텝 SC1).

이 스텝 SC1에서, 제 2 마킹처리부(164)가, 치환대상 화상데이터(15T)로서 등록되어 있다고 판단하면(스텝 SC1(Yes)), 추출된 치환대상 화상데이터가 최적의 시각상태에서 촬영된 것인지 아닌지를 판단한다(스텝 SC2). 그리고, 최적의 시각상태에서 촬영되고 있다고 판단한 경우(스텝 SC2(Yes)), 이 치환대상 화상데이터(15T)에 대응지어져 기억되어 있는 마크데이터(접촉전)(15M)를 읽어내는 동시에, 대응하는 추출된 치환대상 화상데이터 위치에 부가하여 표시한다(스텝 SC3).

예를 들면, 도 18의 (a) 및 도 19의 (a)에 나타내는 물체(A, B)에 대응하는 추출된 치환대상 화상데이터는 파괴 데이터메모리(15)에 등록된 최적의 시각상태의 치환대상 화상데이터(15T)와 대략 동일한 상태이다.

따라서, 이들 치환대상 화상데이터(15T)에 대응지어 기억되어 있는 마크데이터(접촉전)(15Ma)와 마크데이터(접촉전)(15Mb)를 읽어내는 동시에, 촬영 화상데이터(Gm1,Gm2)에 나타내는 바와 같이, 추출된 치환대상 화상데이터의 위치에 부가하여 표시한다.

이 때, 마크데이터(접촉전)(15Ma), 마크데이터(접촉전)(15Mb)는 추출된 치환대상 화상데이터에 중첩해서 표시하거나, 또는 치환대상 화상데이터의 근방에 표시하는 것의 어느 것이어도 좋다.

그리고, 현재, 디지털카메라(10)에 의한 촬영이 계속중이다고 판단된 경우에는(스텝 SC4(Yes)), 파괴 데이터메모리(15)에 기억되어 있는 음성데이터(15S)를 읽어내고, 음성출력부(13)로부터 출력한다(스텝 SC5).

그 후, 제 2 판단처리부(165)가, 마크데이터가 부가된 치환대상 화상데이터와 다른 추출된 치환대상 화상데이터의 위치관계를, 양자의 치환대상 화상데이터에 부가된 위치정보에 의거하여 감시하고(스텝 SC6), 그 결과, 치환대상 화상데이터가 다른 추출된 치환대상 화상데이터와 접촉하거나, 혹은 중첩되었는지의 여부를 판단한다(스텝 SC7).

상기의 판단은 더욱 구체적으로는 도 19의 (a)에 있어서, 물체(A)에 대응하는 치환대상 화상데이터와 연기자(P)에 대응하는 치환대상 화상데이터가 접촉 혹은 중첩되거나, 도 20의 (a)에 있어서, 물체(B)에 대응하는 치환대상 화상데이터와 연기자(P)에 대응하는 치환대상 화상데이터가 접촉 혹은 중첩된 것 등을 판단한다.

치환대상 화상데이터의 위치정보가 다른 추출된 치환대상 화상데이터의 위치정보와 접촉 혹은 중첩되었다고 판단한 경우에는(스텝 SC7(Yes)), 이 접촉 혹은 중첩된 다른 추출된 치환대상 화상데이터가, 마킹처리A에서 마크데이터(24Mw)가 부가된 치환대상 화상데이터의 일부분인지 아닌지를 판단한다(스텝 SC8).

상기의 판단은 예를 들면, 도 19의 (a)에 있어서, 연기자(P)에 대응하는 치 환대상 화상데이터에 마크데이터(1)(24Mw1)가 부가되어 있는지 아닌지 등을 판단한다.

스텝 SC8에 의해 마크데이터(24Mw)가 부가되어 있는 다른 추출된 치환대상 화상데이터의 일부분이라고 판단하면(스텝 SC8(Yes)), 제 3 마킹처리부(166)가 마크데이터(접촉후)(15M′)를 읽어내는 동시에, 스텝 SC3에서 부가된 마크데이터(접촉전)(15M)로 교체하여 부가하고, 작업용 데이터메모리에 일시 보존하고, 마크부착 촬영화상데이터(Gm)를 표시한다(스텝 SC9).

이 스텝 SC9의 처리를 도 19의 (b)를 이용하여 설명하면, 마크데이터(접촉전)(15Ma)의 위치에는 치환대상 화상데이터(15T)에 대응지어져 기억되어 있는 마크데이터(접촉후)(15Ma´)가 읽어내어지고, 마크데이터(접촉전)(15Ma)로 교체하여 부가하며, 작업용 데이터메모리에 일시 보존하는 동시에 표시부(11)에 표시한다(스텝 SC9).

그리고, 현재, 디지털카메라(10)에 의한 촬영이 계속중이라고 판단된 경우에는(스텝 SC10(Yes)), 치환대상 화상데이터(15T)에 대응지어져 기억되어 있는 음성데이터(15S)를 읽어내고, 음성출력부(13)로부터 출력한다(스텝 SC11).

또한, 스텝 SC2에 있어서, 예를 들면 도 20의 (a)∼도 26의 (a)에 나타낸 물체(A)에 대응하는 치환대상 화상데이터, 도 21의 (a)∼도 26의 (a)에 나타낸 물체(B)에 대응하는 치환대상 화상데이터와 같이, 추출된 치환대상 화상데이터가 최적의 시각상태에서 촬영되고 있지 않다고 판단한 경우에는(스텝 SC2(No)), 치환대상 화상데이터(15T)에 대응지어져 기억되어 있는 마크데이터(접촉후)(15M´)를 읽 어내는 동시에, 대응하는 추출된 치환대상 화상데이터 위치에 부가하여 표시한다(스텝 SC12).

그리고, 현재, 디지털카메라(10)에 의한 촬영이 계속중이라고 판단된 경우에는(스텝 SC13(Yes)), 치환대상 화상데이터(15T)에 대응지어져 기억되어 있는 음성데이터(15S)를 읽어내고, 음성출력부(13)로부터 출력한다(스텝 SC14).

다음에, 도 13에 나타내는 마킹처리C의 서브 흐름도가 실행 처리된다(스텝 SD).

· 마킹처리C

이 마킹처리C에서는 제 3 판단처리부(167)가, 추출처리에 의해 추출된 치환대상 화상데이터가 복수의 촬영화상데이터(Gn)에 걸쳐 움직이고 있고, 그 움직임(모션)이 변신 데이터메모리(14)에 미리 기억된 모션데이터(14P)와 대략 동일한지 아닌지를 판단한다(스텝 SD1).

이 스텝 SD1에 있어서, 도 21∼도 23을 이용하여 설명한다.

도 21의 (a)∼도 23의 (a)에 나타내는 바와 같이, 연기자(K)에 대응하는 치환대상 화상데이터의 움직임이, 변신 데이터메모리(14)에 미리 기억된 모션데이터(14P)(14P1a∼14P1c)와 대략 동일한지 아닌지를 판단한다.

그리고, 대략 동일하다고 판단하면(스텝 SD1(Yes)), 제 4 마킹처리부(168)가, 이 모션데이터(14P)와 대응지어 기억되어 있는 마크데이터(14Mu1)를 읽어내는 동시에, 추출된 치환대상 화상데이터의 얼굴부분의 화상에 부가하여 표시하고, 도 23의 (b)∼도 26의 (b)에 나타내는 바와 같은 마크부착 촬영화상데이터(Gm6∼Gm9) 로서 작업용 데이터메모리에 일시 보존한다(스텝 SD2).

이 때, 마크데이터(14Mu1)는 추출된 치환대상 화상데이터의 얼굴부분에 중첩해서 표시하거나, 또는 얼굴부분의 근방에 표시하는 것의 어느 것이어도 좋다.

그리고, 현재, 디지털카메라(10)에 의한 촬영이 계속중이라고 판단된 경우에는(스텝 SD3(Yes)), 모션데이터(14P)에 대응지어져 기억되어 있는 음성데이터(14Su)를 읽어내고, 음성출력부(13)로부터 출력한다(스텝 SD4).

다음에, 도 14에 나타내는 마킹처리D의 서브 흐름도가 실행 처리된다(스텝 SE).

· 마킹처리 D

이 마킹처리 D에서는 제 3 판단처리부(167)가 마킹처리C에 의해 마크데이터가 부가된 치환대상 화상데이터가, 복수의 촬영화상데이터(Gn)에 있어서 또한 움직이고 있고, 그 움직임(모션)이 특수효과 데이터메모리(23)에 미리 기억된 모션데이터와 대략 동일한지 아닌지를 판단한다(스텝 SE1).

이 스텝 SE1에 대해, 도 24∼도 26을 이용하여 설명한다.

도 24의 (b)∼도 26의 (b)에 나타내는 바와 같이, 마크데이터(14Mu)가 부가된 치환대상 화상데이터의 움직임이, 특수효과 데이터 메모리(23)에 미리 기억된 모션데이터(23P)(23P1a∼23P1c)와 대략 동일한지 아닌지를 판단한다.

그리고, 대략 동일하다고 판단하면(스텝 SE1(Yes)), 제 4 마킹처리부(168)가 이 모션데이터(23P)와 대응지어 기억되어 있는 마크데이터(23Mu1)를 읽어내는 동시에, 추출된 치환대상 화상데이터의 얼굴부분의 화상에 부가하여 표시하고, 도 26의 (b)에 나타내는 바와 같은 마크부착 촬영화상데이터(Gm9)로서 작업용 데이터메모리에 일시 보존한다(스텝 SE2).

그리고, 현재, 디지털카메라(10)에 의한 촬영이 계속중이라고 판단된 경우에는(스텝 SE3(Yes)), 모션데이터(23P)에 대응지어져 기억되어 있는 음성데이터(23Su)를 읽어내고, 음성출력부(13)로부터 출력한다(스텝 SE4).

그리고, 그 후, 스텝 S2의 처리로 이행한다.

또한, 마크데이터(23Mu1)는 추출된 치환대상 화상데이터의 얼굴부분에 중첩해서 표시하거나, 또는 얼굴부분의 근방에 표시하는 것의 어느 것이어도 좋다.

스텝 SA∼SE의 처리에 따라 작업용 데이터메모리 상에 생성된 마크부착의 연속된 촬영화상데이터(Gm1∼Gm9)는 마크부착 촬영화상 데이터메모리(26)에 기억된다(스텝 S2).

그리고, 화상촬영부(21)로부터의 일련의 촬영화상데이터(Gn)(G1∼G9)의 촬영이 종료했다고 판단되면(스텝 S3(Yes)), 마크부착 촬영화상 데이터메모리(26)에 생성 보존된 일련의 마크부착 촬영화상데이터(Gm)(Gm1∼Gm9)에 의거한 합성화상의 생성처리로 진행할지 진행하지 않을지를 판단한다(스텝 S4).

CPU(16)는 입력부(12)로부터 조작신호의 입력검출에 의해 합성화상의 생성이 지시되거나, 혹은 촬영화상데이터의 취득과 마킹처리의 종료가 검출되면, 합성화상의 생성처리로 진행한다고 판단한다(스텝 S4(Yes)).

그러면, 마크부착 촬영화상 데이터메모리(26)로부터 마크부착 촬영화상데이터(Gm)(Gm1∼Gm9)가 작업용 메모리에 읽어내어지고, 도 15에 있어서의 합성처리A로 이행한다(스텝 SF).

·합성처리 A

CPU(16)는 마크부착 촬영화상 데이터메모리(26)로부터 작업용 메모리에 읽어내어진 마크부착 촬영화상데이터(Gm)(Gm1∼Gm9)에 대해, 마크데이터가 부가된 치환대상 화상데이터에, 마킹처리A 및 C에 의해서 마크데이터가 부가된 것이 존재하는지 아닌지를 판단한다(스텝 SF1).

이 스텝 SF1에 대해, 도 18의 (b)∼도 26의 (b)를 이용하여 설명하면, 마크데이터(24Mw1)가 부가된 치환대상 화상데이터(연기자(P)의 화상데이터)나, 마크데이터(14Mu1)가 부가된 치환대상 화상데이터(연기자(K)의 화상데이터)가 마크부착 촬영화상데이터(Gm)에 존재하는지 존재하지 않는지를 판단한다.

그리고, 치환대상 화상데이터가 존재한다고 판단한 경우에는(스텝 SF1(Yes)), 동화상 생성 처리부(170)가 이 마크데이터가 부가되어 있는 치환대상 화상데이터에 부가되어 있는 위치정보에 의거하여, 촬영화상데이터(Gm)(Gm1∼Gm9)에 있어서의 치환대상 화상데이터의 움직임을 캡쳐한다(스텝 SF2).

그리고, 치환처리부(169)가, 변신 역할 데이터메모리(24)에 있어서의 마크데이터(24Mw1)에 대응하는 치환화상데이터(1)(24Gw1) 및 변신 데이터메모리(14)에 있어서의 마크데이터(14Mu1)에 대응하는 치환화상데이터(14Gu1)를 읽어내고, 캡쳐된 움직임에 따른 도 18의 (c)∼도 25의 (c)에 나타내는 복수의 포즈로 치환화상데이터를 묘화한다.

그 후, 합성 동화상 생성처리부(170)가 이 치환화상데이터를 대응하는 치환 대상 화상데이터의 위치정보에 의거하여 치환하는 동시에, 미리 준비된 배경화상(BG)에 합성한 합성화상데이터(GG)(GG1∼GG9)를 생성한다(스텝 SF3).

또한, 이 때, 도 23의 (c)의 화살표 x로 나타내는 바와 같이, 연기자(K)와 동일한 포즈가 묘화된 치환화상데이터(14Gu1)는 묘화시, 확대 처리된다.

그리고, CPU(16)는 치환화상데이터(24Gw1)와 대응지어져 기억되어 있는 음성데이터(24Sw1)를 읽어내고, 합성화상(GG)(GG1∼GG9)에 대응지어 보존한다.

또, 치환화상데이터(14Gu1)에 대응지어져 기억되어 있는 음성데이터(14Su1)를 읽어내고, 합성화상(GG)(GG6∼GG9)에 대응지어 보존한다(스텝 SF4).

다음에, 도 16에 나타내는 합성처리B의 서브 흐름도가 실행 처리된다(스텝 SG).

·합성처리B

CPU(16)는 마크부착 촬영화상 데이터메모리(26)로부터 작업용 메모리에 읽어내어진 마크부착 촬영화상데이터(Gm)(Gm1∼Gm9)에 있어서, 마크데이터가 부가된 치환대상 화상데이터에, 마킹처리B에 의해서 마크데이터가 부가된 것이 존재하는지 존재하지 않는지를 판단한다(스텝 SG1).

이 스텝 SG1에 있어서, 도 18의 (b)∼도 26의 (b)를 이용하여 설명하면, 마크데이터(15Ma1)가 부가된 치환대상 화상데이터(물체(A)의 화상데이터)나, 마크데이터(15Mb1)가 부가된 치환대상 화상데이터(물체(B)의 화상데이터)가 마크부착 촬영화상데이터(Gm)에 존재하는지 존재하지 않는지를 판단한다.

그리고, 치환대상 화상데이터가 존재한다고 판단한 경우에는(스텝 SG1(Yes)), 파괴 데이터메모리(15)에 있어서의 마크데이터에 대응하는 치환 화상데이터를 읽어내고, 합성 동화상 생성처리부(171)가 이 치환대상 화상데이터를 대응하는 치환대상 화상데이터의 위치정보에 의거하여 치환하는 동시에, 스텝 SF3에서 생성된 합성 동화상데이터(GG)(GG1∼GG9)에 추가하여 합성한다(스텝 SG2).

이 스텝 SG2에 대해, 도 18의 (b)∼도 26의 (b)를 이용하여 설명하면, 마크데이터(접촉전)(15Mb1)가 부가된 치환대상 화상데이터(물체(B)의 화상데이터)에는 치환화상데이터(15Gb1)가 치환되고, 스텝 SF3에서 생성된 합성 동화상데이터(GG)에 추가하여 합성한다.

그리고, CPU(16)는 치환화상데이터(15Ga1)와 대응지어져 기억되어 있는 음성데이터(15Sb1)를 읽어내고, 합성화상(GG)(GG1∼GG9)에 대응지어 보존한다(스텝 SG3).

다음에, 도 17에 나타내는 합성처리C의 서브 흐름도가 실행 처리된다(스텝 SH).

· 합성처리C

CPU(16)는 마크부착 촬영화상 데이터메모리(26)로부터 작업용 메모리에 읽어내어진 마크부착 촬영화상데이터(Gm)(Gm1∼Gm9)에 대해, 마크데이터가 부가된 치환대상 화상데이터에, 마킹처리D에 의해서 마크데이터가 부가된 것이 존재하는지 존재하지 않는지를 판단한다(스텝 SH1).

이 스텝 SH1에 대해, 도 26의 (b)를 이용하여 설명하면, 마크데이터(23Mu1)가 부가된 치환대상 화상데이터가 마크부착 촬영화상데이터(Gm)에 존재하는지 존재 하지 않는지를 판단한다.

그리고, 치환대상 화상데이터가 존재한다고 판단한 경우는(스텝 SH1(Yes)), 특수효과 데이터메모리(23)에 있어서의 마크데이터에 대응하는 치환화상데이터를 읽어내고, 합성 동화상 생성처리부(171)가 이 치환대상 화상데이터를 대응하는 마크데이터의 위치정보에 의거하여 치환하는 동시에, 스텝 SG2에서 생성된 합성 동화상 데이터(GG)(GG1∼GG9)에 추가하여 합성한다(스텝 SH2).

그리고 또한 추가하여 합성된 치환화상데이터를 위치정보를 취득하고, 이 치환화상데이터의 가장자리 부분과 다른 치환화상데이터와의 위치관계를 판단하고, 치환화상데이터의 가장자리 부분과 다른 치환 화상데이터가 접촉 혹은 중첩되는 경우에는 그 접촉 혹은 중첩되는 위치정보에 또한 화상데이터를 추가하여 합성한다(스텝 SH3).

이 스텝 SH2와 SH3에 대해, 도 26의 (c)를 이용하여 설명하면, 마크데이터(23Mu1)가 부가된 위치에는 치환화상데이터(23Gu1)가 추가하여 합성되고, 또한 이 치환화상데이터(23Gu1)가 치환화상데이터(24Gw1)와 접촉하는 위치에 화상데이터(23Gu1′)가 추가하여 합성된다.

그리고, CPU(16)는 치환화상데이터(23Gu1)와 대응지어져 기억되어 있는 음성데이터(23Su1)를 읽어내고, 합성화상(GG)(GG1∼GG9)에 대응지어 보존한다(스텝 SH4).

이 후, 도 9에 나타내는 바와 같이 합성처리 A∼C에 의해서 합성된 합성화상(GG)(GG1∼GG9)을 음성데이터가 부가된 합성 동화상데이터로 변환하고, 합성화상 데이터메모리(27)에 보존한다(스텝 S6).

그리고, 이 합성 동화상데이터를 표시부(11)에 출력하여 재생 표시한다(스텝 S7).

또한, 상기의 각 처리를 서버장치(30)가 실행하는 경우에는 스텝 S1에 있어서 수신된 촬영화상데이터(Gn)(G1∼G9)의 송신원인 디지털카메라(110)나 PC(40)에 대해, 합성화상 데이터메모리(27)에 기억된 합성 동화상데이터가 읽어내어져 응답 송신된다(스텝 S7).

따라서, 동화상 촬영된 화상에 대해, 연기자의 의지에 따른 합성 동화상을 손쉽게 작성할 수 있다.

또한, 실시형태에 있어서 기재한 합성화상 출력장치에 의한 각 처리는 모두 컴퓨터에 실행시킬 수 있는 프로그램으로서, 메모리카드(ROM 카드, RAM 카드 등), 자기디스크(플로피디스크, 하드디스크 등), 광디스크(CD-ROM, DVD 등), 반도체메모리 등의 외부기억매체(18)(33)에 저장하여 배포할 수 있다.

또, 각 방법을 실현하기 위한 프로그램의 데이터는 프로그램 코드의 형태로서 통신네트워크(인터넷)(N) 상을 전송시킬 수 있고, 이 통신네트워크(인터넷)(N)에 접속된 컴퓨터단말(프로그램 서버)로부터의 프로그램 데이터를 받아들이고, 전술한 촬영화상데이터(Gn)로부터 합성 동화상데이터의 작성·출력 기능을 실현할 수도 있다.

또한, 본원발명은 각 실시형태에 한정되는 것은 아니고, 실시단계에서는 그 요지를 이탈하지 않는 범위에서 각종 변형하는 것이 가능하다. 또한, 각 실시형태 에는 각종 단계의 발명이 포함되어 있고, 개시되는 복수의 구성요건에 있어서의 적당한 조합에 의해 각종 발명이 추출될 수 있다. 예를 들면, 각 실시형태에 나타나는 전체 구성요건에서 몇개의 구성요건이 삭제되거나, 몇개의 구성요건이 다른 형태로 해서 조합되어도, 발명이 해결하고자 하는 과제의 란에서 설명한 과제를 해결할 수 있고, 발명의 효과의 란에서 설명되어 있는 효과가 얻어지는 경우에는 이 구성요건이 삭제되거나 조합된 구성이 발명으로서 추출될 수 있는 것이다.

도 1은 제 1 실시형태에 있어서의 동화상 촬영상태를 나타내는 도면.

도 2의 (a)는 도 1에 있어서, 표시부(10)에 표시되는 상태를 나타내는 도면이고, 도 2의 (b)는 촬영후, 표시부(10)에 표시되는 합성화상을 나타내는 도면.

도 3은 디지털카메라(10)의 회로구성을 나타내는 블럭도.

도 4는 변신 데이터 메모리(14)에 미리 기억되는 내용을 나타내는 도면. 　

도 5는 특수효과 데이터 메모리(23)에 미리 기억되는 내용을 나타내는 도면.

도 6은 파괴 데이터 메모리(15)에 미리 기억되는 내용을 나타내는 도면.

도 7은 변신 역할 데이터 메모리(24)에 기억되는 내용을 나타내는 도면.

도 8은 서버장치(30)의 전자회로의 구성을 나타내는 블럭도.

도 9는 합성화상 출력처리의 전체 과정을 나타내는 흐름도.

도 10은 도 9에 있어서의 스텝 SA의 처리를 나타내는 서브 흐름도.

도 11은 도 9에 있어서의 스텝 SB의 처리를 나타내는 서브 흐름도.

도 12는 도 9에 있어서의 스텝 SC의 처리를 나타내는 서브 흐름도.

도 13은 도 9에 있어서의 스텝 SD의 처리를 나타내는 서브 흐름도.

도 14는 도 9에 있어서의 스텝 SE의 처리를 나타내는 서브 흐름도.

도 15는 도 9에 있어서의 스텝 SF의 처리를 나타내는 서브 흐름도.

도 16은 도 9에 있어서의 스텝 SG의 처리를 나타내는 서브 흐름도.

도 17은 도 9에 있어서의 스텝 SH의 처리를 나타내는 서브 흐름도.

도 18의 (a)는 촬영 화상데이터(G1)를 나타내는 도면이고, 도 18의 (b)는 마 크부착 촬영화상 데이터(Gm1)를 나타내는 도면이며, 도 18의 (c)는 합성화상 데이터(GG1)를 나타내는 도면.

도 19의 (a)는 촬영화상 데이터(G2)를 나타내는 도면이고, 도 19의 (b)는 마크부착 촬영화상 데이터(Gm2)를 나타내는 도면이며, 도 19의 (c)는 합성화상 데이터(GG2)를 나타내는 도면.

도 20의 (a)는 촬영화상 데이터(G3)를 나타내는 도면이고, 도 20의 (b)는 마크부착 촬영화상 데이터(Gm3)를 나타내는 도면이며, 도 20의 (c)는 합성화상 데이터(GG3)를 나타내는 도면.

도 21의 (a)는 촬영화상 데이터(G4)를 나타내는 도면이고, 도 21의 (b)는 마크부착 촬영화상 데이터(Gm4)를 나타내는 도면이며, 도 21의 (c)는 합성화상 데이터(GG4)를 나타내는 도면.

도 22의 (a)는 촬영화상 데이터(G5)를 나타내는 도면이고, 도 22의 (b)는 마크부착 촬영화상 데이터(Gm5)를 나타내는 도면이며, 도 22의 (c)는 합성화상 데이터(GG5)를 나타내는 도면.

도 23의 (a)는 촬영화상 데이터(G6)를 나타내는 도면이고, 도 23의 (b)는 마크부착 촬영화상 데이터(Gm6)를 나타내는 도면이며, 도 23의 (c)는 합성화상 데이터(GG6)를 나타내는 도면.

도 24의 (a)는 촬영화상 데이터(G7)를 나타내는 도면이고, 도 24의 (b)는 마크부착 촬영화상 데이터(Gm7)를 나타내는 도면이며, 도 24의 (c)는 합성화상 데이터(GG7)를 나타내는 도면.

도 25의 (a)는 촬영화상 데이터(G8)를 나타내는 도면이고, 도 25의 (b)는 마크부착 촬영화상 데이터(Gm8)를 나타내는 도면이며, 도 25의 (c)는 합성화상 데이터(GG8)를 나타내는 도면.

도 26의 (a)는 촬영화상 데이터(G9)를 나타내는 도면이고, 도 26의 (b)는 마크부착 촬영화상 데이터(Gm9)를 나타내는 도면이며, 도 26의 (c)는 합성화상 데이터(GG9)를 나타내는 도면.

Claims (11)

1. 미리 설정된 모션의 모션데이터와 변신캐릭터의 화상데이터를 대응시켜 기억하는 변신데이터 기억수단과;

   동화상 촬영된 일련의 촬영화상데이터를 취득하는 촬영화상 취득수단과;

   상기 촬영화상 취득수단에 의해 취득된 일련의 촬영화상데이터 중에서 인물화상을 추출하는 인물화상 추출수단과;

   상기 인물화상 추출수단에 의해 추출된 인물화상 중에서 상기 변신데이터 기억수단에 의해 기억되고 있는 모션데이터와 미리 설정된 모션이 일치하는 인물화상을 검출하는 변신모션 검출수단과;

   상기 변신모션 검출수단에 의해 미리 설정된 모션의 인물화상이 검출된 이후의 촬영화상데이터에 대해, 당해 검출된 인물화상을 상기 변신데이터 기억수단에 의해 기억되고 있는 변신캐릭터의 화상데이터에 기초하여 당해 인물화상과 같은 자세의 변신캐릭터의 화상데이터로 치환된 합성화상데이터를 생성하는 합성화상 생성수단과;

   상기 합성화상 생성수단에 의해 생성된 일련의 합성화상데이터를 출력하는 합성화상 출력수단을 구비하며;

   상기 변신데이터 기억수단은, 미리 설정된 모션의 모션데이터와 변신캐릭터의 화상데이터 및 음성데이터를 대응시켜 기억하며;

   상기 합성화상 생성수단은, 상기 변신모션 검출수단에 의해 미리 설정된 모션의 인물화상이 검출된 이후의 촬영화상데이터에 대해 당해 검출된 인물화상을 상기 변신데이터 기억수단에 의해 기억되고 있는 변신캐릭터의 화상데이터에 기초하여 당해 인물화상과 같은 자세의 변신캐릭터의 화상데이터로 치환함과 동시에 당해 변신캐릭터의 음성데이터를 대응시킨 합성화상데이터를 생성하는 것을 특징으로 하는 합성화상 출력장치.
2. 제 1 항에 있어서,

   상기 변신데이터 기억수단은, 미리 설정된 모션의 모션데이터와 변신캐릭터의 화상데이터 및 음성데이터와 해당 변신캐릭터를 나타내는 모션데이터를 대응시켜 기억하며;

   상기 합성화상 생성수단은,

   상기 변신모션 검출수단에 의해 미리 설정된 모션의 인물화상이 검출된 이후의 촬영화상데이터에 대해, 당해 검출된 인물화상에 상기 변신데이터 기억수단에 의해 기억되고 있는 변신캐릭터를 나타내는 모션데이터를 부가한 마크부착 촬영화상데이터를 생성하는 마크부착 촬영화상생성수단을 구비하며,

   상기 마크부착 촬영화상생성수단에 의해 생성된 마크부착 촬영화상데이터에 대해, 상기 변신캐릭터를 나타내는 마크데이터가 부가된 인물화상을 상기 변신데이터 기억수단에 의해 기억되고 있는 변신캐릭터의 화상데이터에 기초하여 당해 인물화상과 같은 자세의 변신캐릭터의 화상데이터로 치환함과 동시에 상기 변신캐릭터의 음성데이터를 대응시킨 합성화상데이터를 생성하며,

   상기 촬영화상 취득수단에 의한 일련의 촬영화상데이터의 취득에 수반하여, 상기 마크부착 촬영화상생성수단에 의해 생성된 마크부착 촬영화상데이터를 표시시키는 마크부착 촬영화상 표시제어수단과,

   상기 마크부착 촬영화상 표시제어수단에 의한 상기 마크부착 촬영화상데이터의 표시제어에 수반하여, 당해 마크부착 촬영화상데이터의 모션데이터에 대응되고 상기 변신데이터 기억수단에 의해 기억되고 있는 변신캐릭터의 음성데이터를 판독하여 출력시키는 음성출력 제어수단을 또한 구비한 것을 특징으로 하는 합성화상 출력장치.
3. 컴퓨터를 제어하여 합성화상의 출력처리를 수행하기 위한 합성화상 출력처리 프로그램을 기록한 기록매체로서,

   미리 설정된 모션의 모션데이터와 변신캐릭터의 화상데이터를 대응시켜 메모리에 기억하는 변신데이터 기억수단과;

   동화상 촬영된 일련의 촬영화상데이터를 취득하는 촬영화상 취득수단과;

   상기 촬영화상 취득수단에 의해 취득된 일련의 촬영화상데이터 중에서 인물화상을 추출하는 인물화상 추출수단과;

   상기 인물화상 추출수단에 의해 추출된 인물화상 중에서 상기 변신데이터 기억수단에 의해 메모리에 기억되고 있는 모션데이터와 미리 설정된 모션이 일치하는 인물화상을 검출하는 변신모션 검출수단과;

   상기 변신모션 검출수단에 의해 미리 설정된 모션의 인물화상이 검출된 이후의 촬영화상데이터에 대해, 당해 검출된 인물화상을 상기 변신데이터 기억수단에 의해 기억되고 있는 변신캐릭터의 화상데이터에 기초하여 당해 인물화상과 같은 자세의 변신캐릭터의 화상데이터로 치환된 합성화상데이터를 생성하는 합성화상 생성수단과;

   상기 합성화상 생성수단에 의해 생성된 일련의 합성화상데이터를 출력하는 합성화상 출력수단으로서 상기 컴퓨터를 기능시키며;

   상기 변신데이터 기억수단은, 미리 설정된 모션의 모션데이터와 변신캐릭터의 화상데이터 및 음성데이터를 대응시켜 기억하며;

   상기 합성화상 생성수단은, 상기 변신모션 검출수단에 의해 미리 설정된 모션의 인물화상이 검출된 이후의 촬영화상데이터에 대해 당해 검출된 인물화상을 상기 변신데이터 기억수단에 의해 기억되고 있는 변신캐릭터의 화상데이터에 기초하여 당해 인물화상과 같은 자세의 변신캐릭터의 화상데이터로 치환함과 동시에 당해 변신캐릭터의 음성데이터를 대응시킨 합성화상데이터를 생성하도록 기능시키는 것을 특징으로 하는 컴퓨터 판독가능한 합성화상 출력처리 프로그램이 기록된 기록매체.
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 삭제
9. 삭제
10. 삭제
11. 삭제

Images