KR101401855B1 - 화상 처리 장치, 화상 처리 방법 - Google Patents

Abstract

다른 시각에 촬상된 복수의 프레임의 촬상 화상 데이터에 대해, 어느 하나의 프레임의 화상을 합성 베이스 화상으로 하고, 이 합성 베이스 화상과 다른 프레임의 화상을 이용한 합성 처리를 행한다. 즉 합성 베이스 화상으로 한 프레임 화상 내에서, 합성 대상 영역을 설정하고, 그 합성 대상 영역의 화소 데이터를 다른 프레임의 화소 데이터로 치환하는 처리를 행한다. 예를 들어 단체 사진 화상으로서의 합성 베이스 화상 내에서 눈을 감고 있는 사람이 있었을 경우, 그 사람의 얼굴 부분을 합성 대상 영역으로 한다. 그리고 다른 프레임으로서, 그 사람이 눈을 뜨고 있는 화상을 찾아, 그 눈을 뜨고 있는 얼굴 화상 부분의 화소 데이터를 취출하여 합성 베이스 화상에 합성함으로써, 전원이 눈을 뜨고 있는 단체 사진을 생성한다.

촬상 장치, 통신부, 화상 저장부, 시스템 컨트롤러, 표시 제어부

Description

화상 처리 장치, 화상 처리 방법{IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD}

본 발명은, 촬상 화상 데이터에 대한 합성 처리를 행하는 화상 처리 장치 및 화상 처리 방법에 관한 것이다.

일본 특허 공개 제2004-134950호 공보에는, 카메라로 촬상된 화상에, 컴퓨터 그래픽스 등으로 작성한 소재 화상을 합성하는 기술이 개시되어 있다.

일반적으로 사용자가 카메라 촬상을 행하는 경우, 피사체가 된 사람이 셔터 타이밍에 눈을 감아 버리거나, 표정이 좋지 않게 되어, 그다지 마음에 드는 바람직한 촬상 화상이 아니게 되는 경우가 있다. 특히 단체 사진을 찍었을 때에, 피사체인 사람 중 일부 사람이 눈을 감아 버리는 등의 촬상 화상이 되는 경우가 많이 있다.

눈의 깜빡임이나 표정의 변화를 고려하여, 양호한 표정으로 사람을 촬상하기 위해서는, 예를 들어 촬상 장치측에서 피사체가 된 사람의 웃는 얼굴 검출이나 눈의 깜빡임 검출을 행하는 것도 고려되고 있다. 이는 촬상 장치측에서 셔터 타이밍 전의 모니터 상태에 있어서, 받아들이는 화상 데이터에 대해 얼굴 화상의 해석을 행하고, 웃는 얼굴이 된 순간에 셔터가 눌리는 제어를 행하거나, 또한 눈의 깜빡임 등으로 눈을 감고 있는 동안은 셔터가 눌리지 않도록 제어하는 것이다. 그런데 이와 같은 기술은, 피사체가 한 명인 경우에는 문제없다고 생각되지만, 단체 사진으로 다수의 사람을 찍는 경우에는, 좀처럼 셔터가 눌리지 않는 경우도 발생한다.

또한 피사체로 하는 목적의 사람이나 물건 이외의 사람이나 물건이 찍혀, 화상에 대한 만족도가 저하되는 경우나, 햇볕이나 조명에 의한 명암의 관계에 의해 부분적으로 지나치게 어둡거나 지나치게 밝은 화상이 되는 경우도 있다.

이와 같이 통상, 촬상을 행하였을 때에는, 촬상자에 있어서 만족하지 않는 화상이 되는 경우가 많지만, 본 발명에서는 용이하게, 만족도가 높은 촬상 화상이 얻어지도록 하는 것을 목적으로 한다.

본 발명의 화상 처리 장치는, 합성 처리에 이용하는 촬상 화상 데이터로서, 다른 시간으로서 연속적으로 촬상된 복수의 프레임의 촬상 화상 데이터를 취득하는 취득 수단과, 상기 취득 수단에 의해 취득한 상기 복수의 프레임 중 어느 프레임 내에서 합성 대상 영역을 설정하고, 상기 합성 대상 영역에 있어서의 화소 데이터를, 상기 복수의 프레임 중 다른 프레임의 화소 데이터로 치환함과 함께, 상기 합성 대상 영역과 상기 어느 프레임의 촬상 화상 데이터의 경계 영역에 대하여는, 상기 어느 프레임과 상기 다른 프레임의 시간적으로 중간의 프레임이 존재하는 경우에는, 해당 중간 프레임의, 상기 경계 영역에 해당하는 화소 데이터를 상기 경계 영역에 할당하여 합성 처리를 행하여 합성 화상 데이터를 생성하는 화상 합성 수단과, 상기 화상 합성 수단에서 생성된 합성 화상 데이터에 대해 보존 처리를 행하는 보존 처리 수단을 구비한다.

또한 상기 취득 수단은 화상 촬상을 행하는 촬상부를 갖고, 상기 촬상부에서의 촬상에 의해 상기 합성 처리에 이용하는 촬상 화상 데이터에 포함되는 적어도 1프레임, 혹은 합성 처리에 이용하는 복수 프레임의 촬상 화상 데이터를 취득한다. 상기 촬상부는, 촬상 소자로서 CCD 센서 또는 CMOS 센서를 사용하여 구성되어 있다.

또한 상기 취득 수단은 외부 기기와 통신을 행하는 통신부를 갖고, 상기 통신부에서의 외부 기기와 통신에 의해 상기 합성 처리에 이용하는 촬상 화상 데이터에 포함되는 적어도 1프레임의 촬상 화상 데이터를 수신하여 취득한다.

또한 상기 취득 수단은 가반성 기록 매체로부터 정보를 재생하는 재생부를 갖고, 상기 재생부에 의한 상기 가반성 기록 매체의 재생에 의해, 상기 합성 처리에 이용하는 촬상 화상 데이터에 포함되는 적어도 1프레임의 촬상 화상 데이터를 취득한다.

또한 상기 보존 처리 수단은 기록 매체에 대해 정보의 기록을 행하는 기록부를 갖고, 상기 보존 처리로서, 상기 합성 화상 데이터를 상기 기록 매체에 기록한다.

또한 상기 보존 처리 수단은 외부 기기와 통신을 행하는 통신부를 갖고, 상기 보존 처리로서, 상기 합성 화상 데이터를 외부 기기에 송신한다.

또한 상기 화상 합성 수단은 화상 해석 처리에 의해 상기 합성 대상 영역을 설정한다. 특히, 상기 화상 해석 처리에 의해 프레임 화상 내에 존재하는 사람의 얼굴 화상에 대한 눈의 뜨고 감음, 또는 얼굴의 표정, 또는 얼굴의 방향, 또는 안구의 색의 전부 또는 일부를 판별하고, 판별 결과에 기초하여 상기 합성 대상 영역을 설정한다.

또한 조작 입력 수단을 더 구비하고, 상기 화상 합성 수단은 상기 조작 입력 수단으로부터의 입력에 따라서 상기 합성 대상 영역을 설정한다.

또한 상기 화상 합성 수단은 상기 복수의 프레임의 각각에 대한 화상 해석 처리에 의해 상기 다른 프레임으로 되는 프레임을 선정하고, 선정한 프레임으로부터 상기 합성 대상 영역에 합성하는 화소 데이터를 취출한다.

또한 상기 화상 합성 수단은, 상기 조작 입력 수단으로부터의 입력에 따라서 상기 복수의 프레임 중으로부터 상기 다른 프레임으로 되는 프레임을 선정하고, 선정한 프레임으로부터 상기 합성 대상 영역에 합성하는 화소 데이터를 취출한다.

또한, 상기 합성 화상 데이터에 대한 출력 처리를 행하는 화상 출력 수단을 구비한다.

상기 화상 출력 수단은 표시부를 갖고, 상기 출력 처리로서, 상기 표시부에 있어서 상기 합성 화상 데이터에 대한 표시 출력을 행한다.

상기 화상 출력 수단은 외부 기기와 통신을 행하는 통신부를 갖고, 상기 출력 처리로서, 상기 통신부에 의해 상기 합성 화상 데이터에 대한 외부 기기로의 송신 출력을 행한다.

상기 화상 출력 수단은 가반성 기록 매체에 정보를 기록하는 기록부를 갖고, 상기 출력 처리로서, 상기 기록부에 의해 상기 가반성 기록 매체에 상기 합성 화상 데이터를 기록한다.

본 발명의 화상 처리 방법은, 합성 처리에 이용하는 촬상 화상 데이터로서, 다른 시간으로서 연속적으로 촬상된 복수의 프레임의 촬상 화상 데이터를 취득하는 단계와, 취득한 상기 복수의 프레임 중 어느 프레임 내에서 합성 대상 영역을 설정하고, 상기 합성 대상 영역에 있어서의 화소 데이터를, 상기 복수의 프레임 중 다른 프레임의 화소 데이터로 치환함과 함께, 상기 합성 대상 영역과 상기 어느 프레임의 촬상 화상 데이터의 경계 영역에 대하여는, 상기 어느 프레임과 상기 다른 프레임의 시간적으로 중간의 프레임이 존재하는 경우에는, 해당 중간 프레임의, 상기 경계 영역에 해당하는 화소 데이터를 상기 경계 영역에 할당하여 합성 처리를 행하여 합성 화상 데이터를 생성하는 단계와, 생성한 합성 화상 데이터에 대해 보존 처리를 행하는 단계를 구비한다.

즉 이상의 본 발명에서는, 예를 들어 촬상하거나, 혹은 외부의 촬상 장치로 촬상한 화상 데이터를 입력하는 등 하여 다른 시간에 촬상된 복수의 프레임의 촬상 화상 데이터를 취득한다. 다른 시간에 촬상된 복수의 프레임의 촬상 화상 데이터라 함은, 예를 들어 동화상 촬상과 같이 연속된 프레임의 화상이거나, 수백m초 간격, 1초 간격, 수초 간격 등으로 촬상한 각 프레임의 화상이면 된다. 물론 또한 긴 시간 간격(예를 들어 수분 간격, 수시간 간격, 일 단위의 간격, 년 단위의 간격 등)으로 촬상된 복수의 프레임의 화상이어도 된다.

이들 복수의 프레임의 화상을 취득하였을 때에는, 예를 들어 어느 하나의 프레임의 화상을 기준으로 하고(이하, 기준으로 하는 화상을 합성 베이스 화상이라 함), 다른 프레임의 화상을 이용한 합성 처리를 행한다. 즉 합성 베이스 화상으로 한 프레임 화상 내에서 합성 대상 영역을 설정하고, 그 합성 대상 영역의 화소 데이터를 다른 프레임의 화소 데이터로 치환하는 처리를 행한다.

예를 들어 단체 사진 화상으로서의 합성 베이스 화상 내에서 눈을 감고 있는 사람이 있었을 경우, 그 사람의 얼굴 부분을 합성 대상 영역으로 한다. 그리고 다른 프레임으로서, 그 사람이 눈을 뜨고 있는 화상을 찾아, 그 눈을 뜨고 있는 얼굴 화상 부분의 화소 데이터를 취출하여, 합성 베이스 화상에 합성한다. 이 처리를 행함으로써, 전원이 눈을 뜨고 있는 단체 사진을 용이하게 생성할 수 있다.

본 발명에 따르면, 화상 내의 일부로서의 합성 대상 영역을, 다른 프레임의 화상에 있어서의 화소 데이터로 치환하는 합성 처리를 행함으로써, 사용자의 만족도가 높은 촬상 화상을 용이하게 생성할 수 있다는 효과가 있다.

도 1은 본 발명의 실시 형태의 촬상 장치의 외관예의 설명도이다.

도 2는 실시 형태의 촬상 장치의 블록도이다.

도 3은 실시 형태의 촬상 장치의 사용 형태의 설명도이다.

도 4는 실시 형태의 합성 화상의 설명도이다.

도 5는 실시 형태의 합성에 이용하는 각 프레임 화상의 설명도이다.

도 6은 실시 형태의 촬상 화상 데이터, 합성 화상 데이터의 보존 상태의 설명도이다.

도 7은 실시 형태의 합성 화상의 설명도이다.

도 8은 실시 형태의 합성 화상의 설명도이다.

도 9는 실시 형태의 합성 화상의 설명도이다.

도 10은 실시 형태의 합성 화상의 설명도이다.

도 11은 실시 형태의 시스템 컨트롤러의 처리의 흐름도이다.

도 12는 실시 형태의 화상 해석/합성부의 합성 처리의 흐름도이다.

도 13은 실시 형태의 합성 대상 영역의 설정의 설명도이다.

도 14는 실시 형태의 합성 대상 영역의 설정의 설명도이다.

도 15는 실시 형태의 합성 대상 영역의 수동 설정 방식의 설명도이다.

도 16은 실시 형태의 합성 대상 영역의 수동 설정 방식의 설명도이다.

도 17은 실시 형태의 합성 대상 영역의 수동 설정 방식의 설명도이다.

도 18은 실시 형태의 합성 대상 영역의 수동 설정 방식의 설명도이다.

도 19는 실시 형태의 합성시의 경계 영역의 처리예의 설명도이다.

도 20은 본 발명의 구성 요소의 설명도이다.

이하, 본 발명의 화상 처리 장치, 화상 처리 방법의 실시 형태를 설명한다. 여기서는 화상 처리 장치의 예로서 촬상 장치를 들어 설명한다. 또한 이후에 변형예, 확장예로서 설명하지만 본 발명의 화상 처리 장치는 촬상 장치 이외의 기기에서도 실현할 수 있다.

설명은 다음의 순서로 행한다.

[1. 촬상 장치의 외관예]

[2. 촬상 장치의 구성예]

[3. 화상 합성 및 보존]

[4. 화상 합성 처리]

[5. 실시 형태의 효과 및 변형예, 확장예]

[1. 촬상 장치의 외관예]

실시 형태의 촬상 장치(1)로서는, 각종 형태가 상정되지만, 그들의 외관예를 도 1의 (a), 도 1의 (b), 도 1의 (c), 도 1의 (d)에 예시한다.

도 1의 (a)는, 안경형 디스플레이 카메라로 한 촬상 장치(1)를 도시하고 있 다. 촬상 장치(1)는, 예를 들어 양측 머리부로부터 후두부에 걸쳐서 반 주회하는 프레임 구조의 장착 유닛을 갖고, 도면과 같이 양 귓바퀴에 걸쳐짐으로써 사용자에게 장착된다.

이 촬상 장치(1)는, 사용자가 장착한 상태에 있어서, 사용자의 시야 방향을 피사체 방향으로 하여 촬상하는 바와 같이, 전방을 향해 촬상 렌즈(3a)가 배치되어 있다.

또한 도시한 바와 같은 장착 상태에 있어서, 사용자의 양안의 바로 앞, 즉 통상의 안경에 있어서의 렌즈가 위치하는 장소에, 좌안용과 우안용의 한 쌍의 표시 패널부(2a, 2a)가 배치되는 구성으로 되어 있다. 이 표시 패널부(2a)에는, 예를 들어 액정 패널이 사용되고, 투과율을 제어함으로써, 도면과 같은 스루 상태, 즉 투명 또는 반투명의 상태로 할 수 있다. 표시 패널부(2a)가 스루 상태로 됨으로써, 안경과 같이 사용자가 항상 장착하고 있어도, 통상의 생활에는 지장이 없다.

또한, 표시 패널부(2a)는, 양안에 대응하여 1쌍 설치되는 것 외에, 한쪽 눈에 대응하여 1개 설치되는 구성도 생각할 수 있다.

도 1의 (b)는, 마찬가지로 사용자가 머리부에 장착하는 촬상 장치(1)를 도시하고 있지만, 도 1의 (a)와 같은 표시 패널부(2a)를 구비하지 않는 구성이다. 예를 들어 귓바퀴에 걸쳐지는 장착 유닛에 의해 사용자 머리부에 장착된다. 그리고 이 상태에서 사용자의 시야 방향을 피사체 방향으로 하여 촬상하도록, 전방을 향해 촬상 렌즈(3a)가 배치되어 있다.

이들 도 1의 (a), 도 1의 (b)에서는, 안경형 혹은 머리부 장착형의 장착 유 닛에 의해 사용자의 머리부에 장착되는 촬상 장치(1)를 예로 들었지만, 촬상 장치(1)를 사용자가 장착하기 위한 구조는 다양하게 생각할 수 있다. 예를 들어 헤드폰형, 넥밴드 타입, 귀걸이식 등, 어떤 장착 유닛으로 사용자에게 장착되는 것이라도 좋다. 또한, 예를 들어 통상의 안경이나 바이저, 혹은 헤드폰 등에, 클립 등의 설치구로 설치됨으로써 사용자에게 장착시키는 형태라도 좋다. 또한 반드시 사용자의 머리부에 장착되는 것은 아니어도 된다.

또한, 촬상 방향을 사용자의 시야 방향으로 하고 있지만, 장착시에 사용자의 후방, 측방, 상방, 발밑 방향 등을 촬상하도록 촬상 렌즈(3a)가 설치되어 있는 구성이나, 촬상 방향이 동일 또는 다른 방향으로 된 복수의 촬상계가 설치되어 있는 구성도 생각할 수 있다.

또한, 1 또는 복수의 촬상 렌즈(3a)에 대해, 피사체 방향을 수동 또는 자동으로 가변할 수 있는 촬상 방향 가변 기구를 설치해도 된다.

도 1의 (c)는 일반적으로 디지털 스틸 카메라로서 알려져 있는 형태의 촬상 장치(1)를 도시하고 있다.

또한 도 1의 (d)는 일반적으로 비디오 카메라로서 알려져 있는 형태의 촬상 장치(1)를 도시하고 있다.

이들 도 1의 (c), 도 1의 (d)와 같이 사용자가 소지하여 사용하는 촬상 장치(1)도, 본 발명의 실시 형태의 한 형태가 된다. 그리고 도면에는 촬상 렌즈(3a)만 도시되어 있지만, 촬상 모니터용 패널 표시부나 뷰 파인더 등의 표시 디바이스도 설치되어 있다.

또한, 정지 화상 촬상이나 동화상 촬상을 행하는 촬상 장치로서, 이들 도 1의 (a), 도 1의 (b), 도 1의 (c), 도 1의 (d)에 도시하는 이외의 형태도 생각할 수 있는 것은 물론이다. 예를 들어 휴대 전화기나 PDA(Personal Digital Assistant), 휴대용 퍼스널 컴퓨터 등의 기기이며, 촬상 장치로서의 기능을 구비하고 있는 것도 본 실시 형태의 촬상 장치(1)로서 상정할 수 있다.

또한, 이들의 각종 형태에 있어서, 예를 들어 외부 음성을 집음하는 마이크로폰을 설치하여, 촬상시에 화상 데이터와 함께 기록하는 음성 신호를 얻도록 해도 된다. 또한 음성 출력을 행하는 스피커부나 이어폰부를 형성하도록 해도 된다.

또한 촬상 렌즈(3a)의 부근에, 피사체 방향으로의 조명을 행하는 발광부를, 예를 들어 LED(Light Emitting Diode) 등에 의해 설치하거나, 정지 화상 촬상을 위한 플래시 발광부를 설치하는 것도 생각할 수 있다.

[2. 촬상 장치의 구성예]

촬상 장치(1)의 구성예를 도 2에서 설명한다.

시스템 컨트롤러(10)는, 예를 들어 CPU(Central Processing Unit), ROM(Read Only Memory), RAM(Random Access Memory), 불휘발성 메모리부, 인터페이스부를 구비한 마이크로 컴퓨터에 의해 구성되고, 촬상 장치(1)의 전체를 제어하는 제어부가 된다. 이 시스템 컨트롤러(10)는 내부의 ROM 등에 유지한 프로그램에 기초하여, 각종 연산 처리나 버스(13)를 통한 각 부와 제어 신호 등의 주고받기를 행하고, 각 부에 필요한 동작을 실행시킨다.

촬상부(3)는, 촬상 광학계, 촬상 소자부, 촬상 신호 처리부를 갖는다.

촬상부(3)에 있어서의 촬상 광학계에서는, 도 1에 도시한 촬상 렌즈(3a)나, 조리개, 줌 렌즈, 포커스 렌즈 등을 구비하여 구성되는 렌즈계나, 렌즈계에 대해 포커스 동작이나 줌 동작을 행하게 하기 위한 구동계 등이 구비된다.

또한 촬상부(3)에 있어서의 촬상 소자부에서는, 촬상 광학계에서 얻어지는 촬상광을 검출하고, 광전 변환을 행함으로써 촬상 신호를 생성하는 고체 촬상 소자 어레이가 설치된다. 고체 촬상 소자 어레이는, 예를 들어 CCD(Charge Coupled Device) 센서 어레이나, CMOS(Complementary Metal Oxide Semiconductor) 센서 어레이로 된다.

또한 촬상부(3)에 있어서의 촬상 신호 처리부에서는, 고체 촬상 소자에 의해 얻어지는 신호에 대한 게인 조정이나 파형 정형을 행하는 샘플 홀드/AGC(Automatic Gain Control) 회로나, 비디오 A/D 컨버터를 구비하고, 디지털 데이터로서의 촬상 화상 데이터를 얻는다. 또한 촬상 화상 데이터에 대해 화이트 밸런스 처리, 휘도 처리, 색 신호 처리, 떨림 보정 처리 등을 행한다.

이들 촬상 광학계, 촬상 소자부, 촬상 신호 처리부를 갖는 촬상부(3)에 의해 촬상이 행해져, 촬상 화상 데이터를 얻을 수 있다.

이 촬상부(3)의 촬상 동작에 의해 얻어진 화상 데이터는, 촬상 제어부(6)에서 처리된다.

촬상 제어부(6)는, 시스템 컨트롤러(10)의 제어에 따라서, 촬상 화상 데이터를 소정의 화상 데이터 포맷으로 변환하는 처리나, 변환한 촬상 화상 데이터를, 동작 상황에 따라서 화상 해석/합성부(12), 스토리지부(14), 통신부(15), 표시 제어 부(7)에 공급하는 처리를 행한다.

또한 촬상 제어부(6)는 시스템 컨트롤러(10)의 지시에 기초하여, 촬상부(3)에 있어서의 촬상 동작의 온/오프 제어, 촬상 광학계의 줌 렌즈, 포커스 렌즈의 구동 제어, 촬상 소자부의 감도나 프레임 레이트의 제어, 촬상 신호 처리부의 각 처리의 파라미터 제어나 실행 처리의 설정 등을 행한다.

또한, 촬상부(3)로 정지 화상 촬상을 행할 때에는, 소위 연속 셔터 기능으로서, 연속적으로 촬상 화상을 받아들이는 동작을 실행할 수 있다. 예를 들어 촬상 제어부(6)는, 사용자의 1회의 셔터 조작에 따라서, 수십m초 간격, 수백m초 간격, 1초 간격, 수초 간격 등의 소정 시간 간격으로, 연속적으로 촬상 화상 데이터를 받아들이는 처리를 행한다. 즉 촬상부(3)에서는, 프레임 단위로 촬상 화상 데이터를 생성하여 촬상 제어부(6)에 출력할 수 있지만, 촬상 제어부(6)는 1회의 정지 화상 촬상에 있어서, 그 셔터 타이밍의 프레임에 더하여, 다른 시간에 촬상된 복수의 프레임의 촬상 화상 데이터를 받아들이도록 한다.

또한, 연속 셔터 기능으로 복수 프레임의 촬상 화상 데이터를 받아들이는 경우, 촬상 제어부(6)는, 각 프레임의 받아들임 타이밍마다, 촬상 신호 처리에 관한 파라미터를 변경시켜, 신호 처리 상에서 휘도 레벨을 다른 것으로 하거나, 색조를 바꾸거나, 감도를 변경하도록 해도 된다. 또한, 포커스 상태(초점 거리)를 변경하면서 복수 프레임을 받아들여 감으로써, 각 프레임으로서 다른 초점 거리의 촬상 화상을 얻도록 해도 된다.

또한, 소위 동화상 촬상과 마찬가지로 하여 연속적으로 각 프레임을 촬상 화 상 데이터로서 받아들여도 된다.

화상 해석/합성부(12)는, 이 촬상 장치(1)가 취득한 복수의 프레임의 촬상 화상 데이터를 이용하여 화상 합성 처리를 행한다.

합성 처리의 대상으로 하는 복수의 프레임의 촬상 화상 데이터라 함은, 예를 들어 상기와 같이 연속 셔터 기능으로 촬상된 복수의 프레임의 촬상 화상 데이터이다.

또한, 촬상 장치(1)가 취득할 수 있는 촬상 화상 데이터로서는, 외부의 촬상 장치로 촬상된 촬상 화상 데이터도 있을 수 있다. 예를 들어 외부의 촬상 장치로 촬상된 촬상 화상 데이터가, 그 촬상 장치나 서버 장치 등으로부터 송신되어, 통신부(15)에서 수신되는 경우가 있다.

또한 외부의 촬상 장치로 촬상된 촬상 화상 데이터가 가반성 기록 매체에 기록되고, 그 가반성 기록 매체를 스토리지부(14)[스토리지부(14)가 가반성 기록 매체에 대한 재생 기능을 구비하고 있는 경우]에서 재생함으로써 취득하는 경우도 있다.

이로 인해, 예를 들어 통신부(15)에서 수신한 복수의 프레임의 촬상 화상 데이터를, 화상 해석/합성부(12)에서의 합성 처리의 대상으로 할 수도 있다.

또한, 가반성 기록 매체로부터 재생하여 판독한 복수의 프레임의 촬상 화상 데이터를, 화상 해석/합성부(12)에서의 합성 처리의 대상으로 할 수도 있다.

또한, 촬상부(3), 촬상 제어부(6)로, 연속 셔터 기능이 아닌, 통상의 정지 화상 촬상으로서 셔터 타이밍으로 1매(1프레임)의 촬상 화상 데이터를 취득한 경우 에, 그 촬상 화상 데이터와, 통신부(15)에서 수신한 촬상 화상 데이터, 혹은 가반성 기록 매체로부터 판독한 촬상 화상 데이터를 모두, 합성 처리의 대상으로 하는 복수의 프레임의 촬상 화상 데이터로 할 수 있다.

이 화상 해석/합성부(12)는, 마이크로 컴퓨터나 비디오 프로세서로서의 DSP(Digital Signal Processor) 등으로 구성할 수 있다. 또한, 이 도 2에서는 마이크로 컴퓨터에 의한 시스템 컨트롤러(10)와 별도 블록으로 나타내고 있지만, 시스템 컨트롤러(10) 내에서 기동되는 소프트웨어에 의해 화상 해석/합성부(12)로서의 동작이 실현되어도 된다.

화상 해석/합성부(12)에서 실행되는 화상 합성 처리의 예에 대해서는 후술한다.

촬상 장치(1)에 있어서 사용자에 대해 표시를 행하는 구성으로서는, 표시부(2), 표시 제어부(7)가 설치된다.

이 표시부(2)는, 상술한 액정 패널 등에 의한 표시 패널부(2a)와, 표시 패널부(2a)를 표시 구동하는 표시 구동부가 설치된다.

표시 구동부는, 촬상 제어부(6)로부터 공급되는 화상 데이터를, 예를 들어 액정 디스플레이가 되는 표시 패널부(2a)에 있어서 표시시키기 위한 화소 구동 회로로 구성되어 있다. 화소 구동 회로는 표시 패널부(2a)에 있어서 매트릭스 형상으로 배치되어 있는 각 화소에 대해, 각각 소정의 수평/수직 구동 타이밍에서 영상 신호에 기초하는 구동 신호를 인가하여, 표시를 실행시킨다.

표시 제어부(7)는, 시스템 컨트롤러(10)의 제어에 기초하여, 표시부(2)에 있 어서의 화소 구동 회로를 구동하고, 표시 패널부(2a)에 소정의 표시를 실행시킨다.

즉, 촬상부(3)에서의 촬상 모니터로서의 표시나, 스토리지부(14)에 받아들여진 촬상 화상 데이터의 재생 표시, 또한 통신부(15)에서 수신한 데이터의 표시, 각종 캐릭터의 표시 등을, 표시 패널부(2a)에 있어서 실행시킨다.

또한 이들 표시를 위해, 예를 들어 휘도 레벨 조정, 색 보정, 콘트라스트 조정, 샤프니스(윤곽 강조) 조정 등을 행할 수 있다. 또한 화상 데이터의 일부를 확대한 확대 화상의 생성, 혹은 축소 화상의 생성, 소프트 포커스, 모자이크, 휘도 반전, 화상 내의 일부의 하이라이트 표시(강조 표시), 전체의 색의 분위기의 변화 등의 화상 이펙트 처리, 촬상 화상의 분할 표시를 위한 화상의 분리나 합성, 캐릭터 화상이나 이미지 화상의 생성 및 생성된 화상을 촬상 화상에 합성하는 처리 등도 행할 수 있다.

또한 표시 제어부(7)는 시스템 컨트롤러(10)의 지시에 기초하여 표시 구동부를 제어하고, 표시 패널부(2a)의 각 화소의 투과율을 제어하여, 스루 상태(투명 또는 반투명의 상태)로 하는 경우도 있다.

스토리지부(14)는 각종 데이터의 보존에 사용된다. 예를 들어 촬상 화상 데이터나 합성 화상 데이터의 보존에 사용된다.

이 스토리지부(14)는, RAM 혹은 플래시 메모리 등의 고체 메모리에 의해 구성되어도 되고, 예를 들어 HDD(Hard Disk Drive)에 의해 구성되어도 된다.

또한 내장 기록 매체가 아닌, 가반성의 기록 매체, 예를 들어 고체 메모리를 내장한 메모리 카드, 광 디스크, 광자기 디스크, 홀로그램 메모리 등의 기록 매체 에 대응하는 기록 재생 드라이브 등으로 되어도 된다.

물론, 고체 메모리나 HDD 등의 내장 타입의 메모리와, 가반성 기록 매체에 대한 기록 재생 드라이브의 양쪽이 탑재되어도 된다.

이 스토리지부(14)는, 시스템 컨트롤러(10)의 제어에 기초하여, 촬상 화상 데이터나 합성 화상 데이터를 기록하고, 보존한다.

또한 시스템 컨트롤러(10)의 제어에 기초하여, 기록한 데이터를 판독하고, 시스템 컨트롤러(10)나 표시 제어부(7) 등에 공급한다.

통신부(15)는 외부 기기와의 사이에서의 데이터의 송수신을 행한다. 이 통신부(15)는, 무선 LAN, 블루투스 등의 방식으로, 예를 들어 네트워크 엑세스 포인트에 대한 근거리 무선 통신을 통해 네트워크 통신을 행하는 구성으로 해도 되고, 대응하는 통신 기능을 구비한 외부 기기와의 사이에서 직접 무선 통신을 행하는 것이어도 된다.

또한, 반드시 무선 통신이 아닌, 외부 기기와의 사이의 유선 접속에 의해 외부 기기와 통신을 행하는 것이어도 된다.

이 촬상 장치(1)에서는, 사용자의 조작을 위해 조작 입력부(11)가 설치된다.

조작 입력부(11)는, 예를 들어 키, 다이얼 등의 조작 부재를 갖도록 하고, 키 조작 등으로서의 사용자의 조작을 검지하는 구성으로 해도 되고, 혹은 사용자의 의식적인 거동을 검지하는 구성으로 해도 된다.

조작 부재를 설치하는 경우, 예를 들어 전원 온/오프 조작, 촬상계의 조작(예를 들어 셔터 조작, 줌 등의 조작이나, 신호 처리의 지시 조작), 표시 관련 조 작(예를 들어 표시 내용의 선택이나 표시 조정 조작) 등에 사용하는 조작 부재가 형성되면 된다.

또한, 조작 부재로서 터치 패드나 터치 패널을 설치해도 된다. 예를 들어 표시부(2)에 있어서 터치 패널을 배치하고, 표시 화면 상에 사용자가 터치함으로써 조작 입력이 행해지도록 한다.

또한, 화면 상에서 커서 등의 포인터를 이동시키는 조작 부재로서, 상기 터치 패널이나 십자 키, 조그 다이얼 등을 구비하도록 해도 된다. 혹은, 가속도 센서, 각속도 센서 등을 내장한 리모트 컨트롤러에 의해, 사용자가 리모트 컨트롤러를 손에 들고 움직임으로써, 화면 상의 커서 등이 이동하는 조작이 실행 가능하게 해도 된다.

예를 들어 도 1의 (c), 도 1의 (d)와 같은 촬상 장치를 생각한 경우, 조작키, 다이얼, 터치 패널 등에 의해 각종 조작을 행하는 것이 적합하다.

한편, 도 1의 (a), 도 1의 (b)와 같은 머리부에 장착하는 촬상 장치의 경우, 조작키, 다이얼, 터치 패널 등을 설치해도 되고, 리모트 컨트롤러를 사용하는 형태도 상정되지만, 다수의 조작 부재 등의 배치가 어려운 것을 고려하면, 사용자의 거동을 검지하여 조작 입력으로 간주하는 구성을 취하는 것도 적합하게 된다.

사용자의 거동을 검지하는 구성으로 하는 경우에는, 가속도 센서, 각속도 센서, 진동 센서, 압력 센서 등을 설치하는 것을 생각할 수 있다.

예를 들어 사용자가 촬상 장치(1)를 측면측으로부터 톡톡 가볍게 두드리는 것을, 가속도 센서, 진동 센서 등으로 검지하고, 예를 들어 횡방향의 가속도가 일 정치를 초과하였을 때에 시스템 컨트롤러(10)가 사용자의 조작으로서 인식하도록 할 수 있다. 또한, 가속도 센서나 각속도 센서에 의해 사용자가 우측으로부터 측부(안경 다리에 상당하는 부분)을 두드렸는지, 좌측으로부터 측부를 두드렸는지를 검출할 수 있도록 하면, 그것들을 각각 소정의 조작으로서 판별할 수도 있다.

또한 사용자가 머리를 돌리고, 고개를 흔드는 등으로 하는 것을 가속도 센서나 각속도 센서로 검지하여, 이를 시스템 컨트롤러(10)가 사용자의 조작으로서 인식할 수 있다.

또한, 촬상 장치(1)의 좌우 측부(안경 다리에 상당하는 부분) 등에 압력 센서를 배치하고, 우측부를 사용자가 손가락으로 눌렀을 때는 망원 방향의 줌 조작, 좌측부를 사용자가 손가락으로 눌렀을 때는 광각 방향의 줌 조작 등으로 할 수도 있다.

또한, 생체 센서로서의 구성을 구비하도록 하고, 사용자의 생체 정보를 검출하여, 조작 입력으로 인식하도록 해도 된다. 생체 정보라 함은, 맥박수, 심박수, 심전도 정보, 근전, 호흡 정보(예를 들어 호흡의 속도, 깊이, 환기량 등), 발한, GSR(피부 전기 반응), 혈압, 혈중 산소 포화 농도, 피부 표면 온도, 뇌파(예를 들어 α파, β파, θ파, δ파의 정보), 혈액 순환 변화, 눈의 상태 등이다.

그리고 시스템 컨트롤러(10)는 생체 센서의 검출 정보를, 사용자의 조작 입력으로서 인식한다. 예를 들어 사용자의 의식적인 거동으로서 눈의 움직임(시선 방향의 변화나 깜빡임)을 생각할 수 있는데, 사용자가 3회 눈을 깜빡인 것을 검지하면, 그것을 특정의 조작 입력으로 판단하는 것이다. 또한, 상기 생체 정보의 검 지에 의해 사용자가 촬상 장치(1)를 장착한 것이나 제거한 것, 혹은 특정 사용자가 장착한 것 등도 검출 가능하고, 시스템 컨트롤러(10)가 그 검출에 따라서 전원 온/오프 등을 행하도록 해도 된다.

또한 생체 센서는, 예를 들어 안경형의 촬상 장치(1)의 장착 프레임 내측에 배치함으로써, 예를 들어 사용자의 측두부나 후두부에 접촉하여, 상기 각종 정보를 검지할 수 있도록 해도 되고, 촬상 장치(1)의 장착 프레임 부분과는 별개 부재로 하여, 신체의 소정 부위에 장착되도록 해도 된다.

또한 눈의 상태나 움직임, 동공 등의 상태의 검출을 위해서는, 사용자의 눈부를 촬상하는 카메라를 사용하는 것을 생각할 수 있다.

조작 입력부(11)는, 이와 같이 조작 부재, 가속도 센서, 각속도 센서, 진동 센서, 압력 센서, 생체 센서 등으로서 얻어지는 정보를 시스템 컨트롤러(10)에 공급하고, 시스템 컨트롤러(10)는 이들 정보에 의해 사용자의 조작을 검지한다.

또한, 사용자의 거동을 검출하기 위한 구성으로서는, 또한 사용자의 목소리를 검지하는 센서, 입술의 움직임을 검지하는 센서 등, 다른 센서가 설치되어도 된다.

본 예의 촬상 장치(1)에 있어서, 셔터 조작이나, 후술하는 화상 합성 처리에 있어서 수동 조작을 행하는 경우에 있어서의 합성 대상 영역의 선정, 합성하는 다른 프레임으로서 시간축 상으로 배열되는 프레임 선정 등의 조작에는, 상기한 터치 패널 조작, 커서 이동 조작, 사용자 거동에 의한 조작을 할당할 수 있다.

이상, 촬상 장치(1)의 구성을 나타냈지만, 이는 일례에 지나지 않는다. 실 제로 실시되는 동작예나 기능에 따라서 각종 구성 요소의 추가나 삭제는 당연히 생각할 수 있다.

도 3은 촬상 장치(1)의 동작 형태를, 외부 기기와의 관련에 있어서 예시한 것이다.

도 3의 (a)는 촬상 장치(1)가 단일 부재로 동작하는 경우이며, 이 경우, 촬상 장치(1)에서는, 예를 들어 촬상 동작에 의해 취득한 복수의 프레임의 촬상 화상 데이터를 이용하여 화상 합성 처리를 행할 수 있다. 촬상한 복수의 프레임의 촬상 화상 데이터나, 합성 처리에 의해 생성한 합성 화상 데이터는, 보존 처리로 하여 스토리지부(14)에 보존한다.

또한 스토리지부(14)로서, 광 디스크, 메모리 카드 등의 가반성 기록 매체에 대한 재생부를 구비하는 경우에는, 가반성 기록 매체로부터 판독한 촬상 화상 데이터를 이용한 합성 처리도 가능하다.

도 3의 (b)는 촬상 장치(1)가 통신부(15)에 의해 외부 기기(70)와 통신을 행하는 예이다. 이 경우, 촬상 동작에 의해 취득한 촬상 화상 데이터를 이용하여 화상 합성 처리를 행하는 것 외에, 촬상 화상 데이터를 외부 기기(70)로부터 취득하여, 화상 합성 처리에 이용하는 것도 상정된다. 예를 들어 외부 기기(70)가 촬상 장치인 경우나, 외부 기기(70)가 다른 촬상 장치로 촬상한 촬상 화상 데이터를 저장하고 있는 경우, 이 외부 기기(70)로부터 촬상 화상 데이터를 송신시켜, 통신부(15)에서 수신한다. 이와 같이 통신부(15)에서 수신한 촬상 화상 데이터를 이용하여 화상 합성 처리를 행한다.

또한 화상 합성 처리에 의해 생성한 합성 화상 데이터에 대한 보존 처리로서는, 촬상 장치(1)의 내부의 스토리지부(14)에 보존하는 것 외에, 통신부(15)로부터 외부 기기에 합성 화상 데이터를 송신하고, 외부 기기(70)의 화상 저장부(71)에 보존시킨다고 하는 동작예를 생각할 수 있다.

외부 기기(70)와의 통신은, 무선 통신뿐만 아니라, 유선 통신도 상정된다.

도 3의 (c)는, 촬상 장치(1)의 통신부(15)가, 특히 인터넷 등의 네트워크(60)를 통한 통신 액세스 기능을 구비함으로써, 네트워크(60)로 접속되는 외부 기기(70)와 통신을 행하는 예이다. 동작예는 상기 도 3의 (b)의 경우와 마찬가지로 생각할 수 있다.

네트워크(60)로는, 인터넷 외에, 휴대 전화 통신망, PHS 통신망, 애드혹 네트워크, LAN 등, 여러 가지를 생각할 수 있다.

또한 도 3의 (b), 도 3의 (c)에 있어서의 외부 기기(70)라 함은, 도 2와 같은 구성의 다른 촬상 장치(1)도 상정할 수 있고, 통신 기능을 구비한 데이터 서버, 퍼스널 컴퓨터, 비디오 플레이어, 비디오 카메라, 디지털 스틸 카메라, 촬상 기능을 구비한 휴대 전화기, PDA 등 다양한 기기를 상정할 수 있다.

[3. 화상 합성 및 보존]

화상 해석/합성부(12)에서 행해지는 합성 처리에 대해 설명한다.

상술한 바와 같이 화상 해석/합성부(12)에서는, 복수의 프레임의 촬상 화상 데이터를 이용하여 합성 처리를 행한다. 예를 들어 촬상부(3)에서의 연속 셔터 기능에 의한 복수의 프레임의 촬상 화상 데이터를 대상으로 하여 합성 처리를 행한 다.

도 4의 (a)는, 어느 촬상 화상 데이터로서의 복수의 프레임(F#1, F#2, F#3…)을 나타내고 있다. 이는 단체 사진의 촬상을 행한 경우이며, 각 프레임은 t1 시점, t2 시점, t3 시점…으로 나타내는 다른 타이밍에서 받아들여진 프레임이다. 예를 들어 수백m초 간격으로 촬상된 프레임이라 하자. 예를 들어 사용자가 셔터 조작을 행한 타이밍의 촬상 화상 프레임이 프레임 F#1이며, 이에 이어서 프레임 F#2 이후가 각각 수백m초 간격으로 받아들여졌다고 하자.

여기서, 도 4의 (a)에 도시하는 프레임 F#1로서의 촬상 화상 내용을 보면, 피사체로 되어 있는 다수의 사람 중, 인물 H1, H2, H3의 3명이 눈을 감고 있다.

예를 들어 이와 같은 화상이 되었을 때에, 프레임 F#1을 합성 처리의 기본 화상이 되는 합성 베이스 화상으로 하고, 이 합성 베이스 화상 상에서 선정한 합성 대상 영역에 프레임 F#2 이후의 화소 데이터를 적용시켜 가는 합성을 행하여, 결과적으로 도 4의 (b)와 같은 합성 화상을 생성한다. 이 도 4의 (b)의 합성 화상은, 피사체로 되어 있는 모든 사람이 눈을 뜬 화상으로 되어 있다.

피사체가 된 사람들의 눈 깜빡임에 의해, 사용자가 셔터 조작을 행한 타이밍에서 받아들인 프레임 F#1의 화상에 있어서, 눈을 감고 있는 사람이 있지만, 수백m초 간격인 다른 프레임 F#2, F#3, F#4…에서는, 프레임 F#1에서 눈을 감고 있던 사람이 눈을 뜨고 있을 가능성이 높다.

프레임 F#2, F#3, F#4, F#5, F#6의 화상예를 도 5에 도시한다.

예를 들어 인물 H1에 대해서는, 프레임 F#4, F#5, F#6의 화상에서는 눈을 뜨 고 있다. 인물 H2는 프레임 F#3, F#4, F#5의 화상에서는 눈을 뜨고 있다. 인물 H3은 프레임 F#2, F#3, F#5, F#6의 화상에서는 눈을 뜨고 있다.

이 경우, 프레임 F#1의 화상에 있어서 눈을 감고 있는 인물 H1, H2, H3의 얼굴 화상 부분을 각각 합성 대상 영역으로 하고, 각각 인물 H1, H2, H3이 눈을 뜨고 있는 화상으로 치환하면 된다.

예를 들어 인물 H1의 얼굴 부분을 1번째의 합성 대상 영역으로 하고, 그 영역의 화소 데이터를 프레임 F#4의 화소 데이터로 치환한다.

또한 인물 H2의 얼굴의 부분을 2번째의 합성 대상 영역으로 하고, 그 영역의 화소 데이터를 프레임 F#3의 화소 데이터로 치환한다.

또한 인물 H3의 얼굴의 부분을 3번째의 합성 대상 영역으로 하고, 그 영역의 화소 데이터를 프레임 F#2의 화소 데이터로 치환한다.

이와 같이 함으로써, 프레임 F#1의 화상 상에서 인물 H1, H2, H3의 얼굴 화상이 눈을 뜬 화상으로 치환되게 되어, 도 4의 (b)와 같이 전원이 눈을 뜬 합성 화상을 생성할 수 있다.

또한, 치환하는 화소 데이터를 추출하는 프레임은, 합성 베이스 화상인 프레임 F#1에 가능한 한 시간적으로 가까운 프레임이 바람직하다. 합성 대상 영역의 내외에서의 화상의 차이를 가능한 한 적게 하기 위해서이다.

도 6은, 합성 처리 전후에서의 스토리지부(14)의 화상 보존 상태를 모식적으로 나타내고 있다.

예를 들어 촬상부(3)에서의 촬상 동작이 행해질 때마다, 촬상 화상 데이터 VD1, VD2, VD3…이 스토리지부(14)에 있어서 기록되어 간다.

촬상 화상 데이터 VD1에 관하여 말하자면, 화상 관리 정보 C1과, 복수의 프레임의 촬상 화상 데이터 F#1, F#2, F#3…이 보존되게 된다.

화상 관리 정보 C1은, 예를 들어 촬상 화상 데이터의 파일명, 화상종별(동화상/정지 화상별 등), 데이터 사이즈, 압축 방식, 일시 정보, 촬상을 행한 장치의 식별 정보 등을 포함한다.

복수의 프레임의 촬상 화상 데이터 F#1, F#2, F#3…에 대해서는, 시간차 정보 TM을 포함하도록 한다. 예를 들어 선두의 프레임 F#1을 기준으로 하고, 프레임 F#2 이후는, 각각 선두의 프레임 F#1로부터의 촬상 타이밍으로서의 시간차를 시간차 정보 TM으로 한다. 예를 들어 0.4초마다 각 프레임을 받아들였다고 하면, 프레임 F#1의 시간차 정보 TM1은「0초」, 프레임 F#2의 시간차 정보 TM2는「+0.4초」, 프레임 F#3의 시간차 정보 TM3은「+0.8초」, 프레임 F#4의 시간차 정보 TM4는「+1.2초」…등으로 한다. 또한 시간차 정보 TM은, 프레임 받아들임의 실시각(년/월/일/ 시/분/초/ 프레임)의 정보이어도 된다.

그리고, 예를 들어 1회의 촬상 화상 데이터 VD1로서 촬상을 행한 경우, 시스템 컨트롤러(10)는, 그 촬상 화상 데이터 VD1에 대한 화상 관리 정보를 생성하는 동시에, 촬상 화상 데이터로서의 복수의 프레임 F#1, F#2, F#3…에 대해, 각각 시간차 정보 TM1, TM2, TM3…을 부가하여 스토리지부(14)에 기록시킨다.

정지 화상 촬상마다 이와 같은 동작을 행함으로써, 촬상 화상 데이터 VD2, VD3…도 마찬가지로 복수의 프레임의 촬상 화상 데이터가 기록된다.

또한, 복수의 각 프레임의 촬상 화상 데이터는, 촬상부(3)에서의 연속 촬상에 의한 것뿐만 아니라, 통신부(15)에서 수신된 복수 프레임이거나, 가반성 기록 매체로부터 판독된 복수 프레임일 경우도 있다.

또한, 1 또는 복수의 프레임을 촬상에 의해 받아들인 후, 또한 통신부(15)에서 수신하거나 가반성 기록 매체로부터 판독한 프레임을 추가해도 된다. 예를 들어 촬상 화상 데이터 VD1로서 1매의 프레임 F#1을 받아들인 후, 수신하거나 재생하여 취득한 프레임 화상을, 촬상 화상 데이터 VD1에 포함되는 프레임 F#2 이후로서 기록해도 된다.

여기서, 촬상 화상 데이터 VD1이 도 4의 (a)의 화상이라고 하면, 촬상 화상 데이터 VD1로서 도 6의 (a)와 같이 기록되어 있는 복수의 프레임 F#1, F#2…이, 도 4의 (a) 및 도 5에 도시한 내용의 화상 데이터이다.

화상 해석/합성부(12)에서는, 이와 같이 스토리지부(14)에 기록된 프레임 F#1, F#2…을 이용하여 상술한 바와 같이 합성 처리를 행하고, 예를 들어 도 4의 (b)의 합성 화상 데이터를 생성한다. 합성 화상 데이터가 생성되면, 시스템 컨트롤러(10)는, 그것을 촬상 화상 데이터 VD1에 대응하는 합성 화상 데이터 mVD1로서 스토리지부(14)에 보존시킨다.

도 6의 (b)는, 스토리지부(14)에 있어서 합성 화상 데이터 mVD1이, 촬상 화상 데이터 VD(F#1, F#2…)에 대응되어 보존된 모습을 나타내고 있다.

또한, 촬상 화상 데이터 VD2에 대응하는 합성 화상 데이터 mVD2나, 촬상 화상 데이터 VD3에 대응하는 합성 화상 데이터 mVD3도, 각각 생성되어 기억된 상태를 나타내고 있다.

이와 같이 합성 화상 데이터 mVD가 보존됨으로써, 그 후, 합성 화상 데이터 mVD를 표시부(2)에 있어서 표시 출력할 수 있다.

또한, 스토리지부(14)에 있어서 합성 화상 데이터 mVD를 기록하면, 원래의 복수의 프레임의 촬상 화상 데이터 F#1, F#2…을 삭제하도록 해도 된다. 물론, 그대로 삭제하지 않고 보존해 두어도 되고, 보존해 둠으로써, 다른 합성 화상 데이터 mVD를 작성할 수 있게 해도 된다.

또한, 여기서는 스토리지부(14)에 보존하는 예를 설명하였지만, 보존 처리로서는, 합성 화상 데이터 mVD를, 통신부(15)로부터 송신 출력한다는 처리를 행해도 된다. 즉 도 3의 (b), 도 3의 (c)와 같은 형태에 있어서, 외부 기기(70)의 화상 저장부(71)에 합성 화상 데이터 mVD의 보존을 행하도록 하는 것도 생각된다.

그런데, 도 4, 도 5에서 설명한 합성 처리는, 피사체의 전원이 눈을 뜬 상태로 되도록 하는 예로 하였지만, 물론 그 밖에도 다양한 합성 처리가 상정된다.

도 7, 도 8, 도 9, 도 10에 예를 나타낸다.

도 7의 (a)는, 어느 촬상 화상 데이터로서의 복수의 프레임(F#1, F#2, F#3…)을 나타내고 있다. 이는 5명의 인물의 사진의 촬상을 행한 경우이며, 각 프레임은 예를 들어 수백m초 간격으로 촬상된 프레임으로 한다.

이 도 7의 (a)에 도시된 프레임 F#1의 화상 내용으로서는, 앞열 좌측 인물이 옆을 향하게 된 순간의 화상으로 되어 있고, 또한 뒷줄 좌측의 인물의 표정이 이상한 표정의 화상으로 된 경우를 나타내고 있다.

이와 같은 경우도, 이들 인물의 얼굴 부분을 합성 대상 영역으로 하고, 그 각 합성 대상 영역의 화소 데이터를, 다른 프레임 F#2, F#3…으로부터 찾아내어 합성함으로써, 예를 들어 도 7의 (b)과 같이, 전원이 앞을 향하고, 또한 좋은 표정으로 찍혀진 화상으로 할 수 있다.

도 8의 (a)는 한 명의 인물을 피사체로 하였을 때의 촬상 화상 데이터로서의 복수의 프레임(F#1, F#2, F#3…)을 나타내고 있다. 도 8의 (a)에 나타내는 프레임 F#1의 화상 내용으로서는, 배경에 무관한 인물이 찍힌 화상으로 되어 있다.

예를 들어 이 무관한 인물의 부분을 합성 대상 영역으로 하고, 다른 프레임 F#2, F#3…으로부터 그 인물이 찍히지 않은 화상을 찾아내어 합성함으로써, 도 8의 (b)와 같이, 원하는 인물만 찍힌 화상으로 할 수 있다.

도 9의 (a)는, 어느 촬상 화상 데이터로서, 양달과 응달의 영향으로, 화상 내에서 명암이 크게 나누어져 버린 상태를 나타내고 있다. 이 경우, 화상의 상반부는 응달로 되어, 명도가 낮아, 보기 어려운 화상으로 되어 있고, 화상의 하반부는 양호한 명도로 되어 있다.

한편, 도 9의 (b)는, 촬상 감도를 높여 촬상한 경우의 화상으로, 도 9의 (a)와는 반대로, 상반부는 양호한 명도로 되어 있지만, 감도를 높임으로써 하반부의 밝기가 과잉으로 되어 보기 어려운 화상으로 되어 있는 것이다.

예를 들어 1초 간격 등의 연속 촬상시에, 감도를 변화시키면서 촬상을 행하여 복수 프레임을 받아들임으로써, 그 복수 프레임 중에, 도 9의 (a), 도 9의 (b)와 같은 화상이 포함되게 된다.

이 경우, 도 9의 (a)의 프레임을 합성 베이스 화상으로 하고, 상반부의 응달 부분을 합성 대상 영역으로 한다. 그리고 그 합성 대상 영역의 화소 데이터를, 도 9의 (b)의 프레임의 화소 데이터로 치환하는 합성 처리를 행함으로써, 도 9의 (c)와 같이, 화면 전체면이 적절한 명도로 된 합성 화상 데이터를 얻을 수 있다.

도 10의 (a)는 예를 들어 촬상 장치(1)의 위치로부터 거리가 다른 복수의 인물을 피사체로 하였을 때의 촬상 화상 데이터로서의 복수의 프레임(F#1, F#2, F#3…)을 나타내고 있다. 도 10의 (a)에 나타내는 프레임 F#1의 화상 내용으로서는, 예를 들어 가장 가까운 위치(화상 상 좌측)에 있는 인물에게 초점이 맞추어져 있지만, 떨어진 위치에 있는 다른 인물은, 초점 거리가 맞지 않고, 흐려진 화상으로 되어 있다.

여기서, 복수의 프레임(F#1, F#2, F#3…)을 촬상하고 있을 때에, 촬상부(3)에서 초점 거리를 서서히 변화시키도록 한다. 그러면, 어느 프레임으로서 한가운데의 인물에게 초점이 맞추어진 화상을 얻을 수 있고, 또한 어느 프레임으로서 우측의 인물에게 초점이 맞추어진 화상을 얻을 수 있다.

이 경우, 도 10의 (a)의 프레임을 합성 베이스 화상으로 하고, 피사체가 흐려져 있는 영역을 합성 대상 영역으로 한다. 그리고 그 합성 대상 영역의 화소 데이터를, 그 영역이 흐려져 있지 않은 다른 프레임의 화소 데이터로 치환하는 합성 처리를 행함으로써, 도 10의 (b)와 같이, 예를 들어 거리가 다른 인물의 전원이 흐려져 있지 않은 양호한 합성 화상 데이터를 얻을 수 있다.

물론, 이들 예시한 것 이외에도 다양한 합성 처리가 가능하다.

[4. 화상 합성 처리]

상기한 바와 같은 화상 합성을 행하기 위한 시스템 컨트롤러(10)의 처리 및 화상 해석/합성부(12)의 처리를 도 11, 도 12에 도시한다.

우선 도 11에서 시스템 컨트롤러(10)의 처리를 설명한다.

시스템 컨트롤러(10)는 단계 F101에서 합성 트리거의 발생을 체크한다. 시스템 컨트롤러(10)는, 촬상 장치(1)에 있어서 합성 처리를 개시시킬 때의 어느 한 신호나 동작 상태를 합성 트리거 발생으로서 인식한다.

예를 들어 시스템 컨트롤러(10)는, 도 6의 (a)와 같이 기록된 어느 촬상 화상 데이터를 표시부(2)에 있어서 표시 출력하고 있을 때에, 사용자가 합성 처리의 조작을 행한 경우에, 합성 트리거 발생으로 인식한다.

또한, 도 6의 (a)와 같은 보존 상황시의 촬상 화상 데이터의 표시라 함은, 예를 들어 촬상 화상 데이터 VD로서의 선두의 프레임 F#1의 촬상 화상 데이터를 표시하는 것으로 하면 된다. 사용자가 셔터 조작을 행할 때마다, 촬상 처리가 행해져 촬상 화상 데이터 VD1, VD2…이 보존되어 가지만, 본 예의 경우, 1회의 촬상에 있어서 복수 프레임이 받아들여진다. 이때에, 예를 들어 선두의 프레임 F#1이, 사용자의 조작에 의한 셔터 타이밍에서의 화상 데이터이며, 프레임 F#2 이후는, 셔터 타이밍보다 소정 시간 간격에서 받아들여진 화상 데이터로 한 경우, 프레임 F#1의 화상 데이터를 기본적인 촬상 화상 데이터로 간주하면 된다. 따라서, 촬상 직후의 모니터링이나, 사용자가 보존한 촬상 화상의 모니터링을 행하고자 하여 표시를 구하는 조작을 행한 경우, 각 촬상 화상 데이터 VD1, VD2…으로서, 프레임 F#1의 화 상 데이터를 표시한다.

어느 촬상 화상 데이터 VD를 표시시키고 있을 때에, 사용자가 합성 처리의 지시의 조작을 행한 경우에는, 그 촬상 화상 데이터 VD에 대한 합성 처리를 개시하게 된다.

또한, 보존된 촬상 화상 데이터 VD1, VD2…을 일람 표시를 실행시키고 있을 때에, 사용자가 조작 입력에 의해, 1 또는 복수의 촬상 화상 데이터를 지정하여, 합성 처리의 조작을 행한 경우도, 시스템 컨트롤러(10)는 합성 트리거의 발생으로서 인식하고, 지정된 1 또는 복수의 촬상 화상 데이터 VD에 대한 합성 처리를 개시하게 된다.

또한 사용자 조작에 의해, 보존된 전체 촬상 화상 데이터 VD1, VD2…에 대한 합성 처리의 지시가 있었던 경우도, 시스템 컨트롤러(10)는 합성 트리거의 발생으로서 인식하고, 모든 촬상 화상 데이터 VD에 대한 합성 처리를 개시한다.

또한, 촬상시에 자동적으로 합성 처리가 실행되는 것도 생각할 수 있다. 예를 들어 촬상 화상 데이터 VD1로서 프레임 F#1, F#2…의 받아들임이 행해졌을 때에, 시스템 컨트롤러(10)는 합성 트리거의 발생으로 인식하여, 자동적으로 프레임 F#1, F#2…을 사용한 합성 처리로 진행하는 동작예이다.

또한 도 3의 (b), 도 3의 (c)와 같은 형태에서 통신부(15)에 의해 외부 기기(70)로부터 송신되어 온 촬상 화상 데이터(다른 촬상 장치로 촬상된 복수 프레임의 촬상 화상 데이터)를 수신한 경우나, 가반성 기록 매체에 대한 기록 재생 드라이브가 장비되어 있는 구성에 있어서 가반성 기록 매체로부터 복수 프레임의 촬상 화상 데이터가 재생된 경우 등도, 시스템 컨트롤러(10)는 합성 트리거의 발생으로 인식하여, 취득한 복수 프레임의 촬상 화상 데이터를 이용한 합성 처리로 진행하는 동작예도 생각할 수 있다.

또한, 상술한 바와 같이 생체 센서를 구비하는 경우, 사용자의 주관적인 평가에 기초하여 합성 트리거의 판별을 행해도 된다. 예를 들어, 촬상 화상 데이터를 표시시켜 사용자에게 제시하였을 때에 검출되는 뇌파 등으로부터, 촬상 화상에 대한 사용자의 만족도를 추정한다. 그리고 사용자가 불만을 느끼고 있다고 추정된 경우에, 합성 트리거 발생으로 판단하여, 당해 촬상 화상 데이터에 대한 합성 처리로 진행한다는 동작예도 생각할 수 있다.

예를 들어 이상과 같은 각종 상황으로서, 합성 트리거의 발생을 인식하면, 시스템 컨트롤러(10)는 처리를 단계 F101로부터 단계 F102로 진행하여, 화상 해석/합성부(12)에 처리 대상 화상에 대한 합성 처리의 실행을 지시한다.

예를 들어 상기한 바와 같은 사용자 조작이나, 촬상 동작 등에 따라서, 1 또는 복수의 촬상 화상 데이터 VD에 대한 합성 처리를 행하는 경우, 단계 F102에서는, 시스템 컨트롤러(10)는, 1 또는 복수의 처리 대상 중 1개의 촬상 화상 데이터 VD를 지정하여 화상 해석/합성부(12)에 합성 처리를 지시한다.

이 단계 F102의 지시에 따라서, 화상 해석/합성부(12)에서는 후술하는 도 12의 화상 합성 처리를 실행한다.

화상 해석/합성부(12)에 합성 처리의 개시를 지시하면, 시스템 컨트롤러(10)는, 단계 F103에서, 화상 해석/합성부(12)에서의 합성 처리가 완료되었는지의 여부 를 확인한다. 또한 단계 F104에서 화상 해석/합성부(12)로부터 합성 처리가 불필요 혹은 불가능의 통지가 있었는지 여부를 확인한다.

화상 해석/합성부(12)로부터, 합성 처리 완료의 통지가 있었던 경우에는, 시스템 컨트롤러(10)는 처리를 단계 F103으로부터 단계 F105로 진행하여, 생성된 합성 화상 데이터의 보존을 위한 제어 처리를 행한다. 즉 도 6의 (b)에서 설명한 바와 같이, 생성된 합성 화상 데이터 mVD를 스토리지부(14)에 전송하고, 기록하게 한다. 혹은, 외부 기기(70)에 있어서 보존이 행해지도록, 생성된 합성 화상 데이터 mVD를 통신부(15)로부터 외부 기기(70)로 송신시키는 제어를 행한다.

합성 화상 데이터 mVD의 보존 제어를 행하면 단계 F106으로 진행한다. 또한 합성 불필요 또는 합성 불가능의 통지를 받아들인 경우에는, 단계 F104로부터 단계 F106으로 진행한다.

시스템 컨트롤러(10)는 단계 F106에서, 아직 그 밖에 합성 처리 대상의 촬상 화상 데이터 VD가 존재하는지 여부를 확인한다. 복수의 촬상 화상 데이터 VD를 처리 대상으로 하여 합성 처리를 개시한 경우이며, 아직 처리 대상으로 된 모든 촬상 화상 데이터 VD에 대한 처리를 종료하고 있지 않으면, 단계 F102로 복귀하여, 다음 촬상 화상 데이터 VD에 대해 마찬가지로 단계 F102 내지 단계 F105의 처리를 행한다.

처리 대상으로 된 모든 촬상 화상 데이터 VD에 대해 단계 F102 내지 단계 F105의 처리를 종료하면, 단계 F107로 진행하여, 합성 결과를 표시부(2)에 표시시켜 합성 처리를 종료한다. 예를 들어 합성 결과로서, 대상으로 된 촬상 화상 데이 터 VD에 대한 합성 완료/합성 불필요/합성 불가능을 사용자에 제시하거나, 생성된 합성 화상 데이터 mVD를 표시시키는 등의 처리를 행한다.

계속해서, 시스템 컨트롤러(10)의 지시에 따라서 화상 해석/합성부(12)가 실행하는 합성 처리를 도 12에서 설명한다.

화상 해석/합성부(12)는, 상기 도 11의 단계 F102로서의 시스템 컨트롤러(10)로부터의 합성 처리의 지시가 있는 것에 따라서, 도 12의 처리를 단계 F201로부터 단계 F202로 진행시켜, 화상 합성 처리를 개시한다.

화상 해석/합성부(12)는, 단계 F202에서, 시스템 컨트롤러(10)로부터 지시된 처리 대상의 촬상 화상 데이터 VD를 받아들인다. 예를 들어 도 6의 (a)와 같이 촬상 화상 데이터가 스토리지부(14)에 기록되어 있을 때에, 처리 대상으로서 촬상 화상 데이터 VD1이 지시된 경우에는, 그 촬상 화상 데이터 VD1에 있어서의 각 프레임 F#1, F#2, F#3…을 받아들이게 된다.

계속해서 화상 해석/합성부(12)는 단계 F203에서, 받아들인 복수의 프레임의 촬상 화상 데이터 중 1개를 합성 베이스 화상으로 설정하고, 그 합성 베이스 화상 상에서 1 또는 복수의 합성 대상 영역 AR(AR1 내지 ARn)을 선정한다.

복수 프레임 중에서 어느 프레임을 합성 베이스 화상으로 할지의 설정으로서는, 자동 설정과, 사용자 조작에 기초하는 수동 설정 중 어느 하나를 생각할 수 있다.

자동 설정으로서는, 예를 들어 시간적으로 선두가 되는 프레임 F#1로 하면 된다. 단, 복수 프레임 중에서, 시간적으로 중간이 되는 프레임을 합성 베이스 화 상으로 해도 되고, 시간적으로 종단부가 되는 프레임을 합성 베이스 화상으로 해도 된다. 물론 그 이외에서 선택해도 된다. 또한 시간적인 전후의 조건이 아닌, 촬상 파라미터 등에 따라서 설정해도 된다. 예를 들어 복수 프레임을 촬상할 때에, 어느 촬상 파라미터(예를 들어 감도나 휘도 처리, 색 처리의 파라미터, 혹은 초점 거리 등)를 변경하면서 각 프레임을 촬상한 경우, 그 파라미터가 중간치로 된 프레임을 합성 베이스 화상으로 하는 것이다.

수동 설정으로서는, 예를 들어 각 프레임 F#1, F#2, F#3…을 순차적으로 표시부(2)에 있어서 표시 출력시키거나, 축소 화상에서 일람 표시시키는 등 하여, 사용자에게 선택을 구하는 방법이 상정된다.

합성 베이스 화상이 선택되면, 그 합성 베이스 화상 상에서 합성 대상 영역을 선정한다. 예를 들어 도 13, 도 14에 선정된 합성 대상 영역의 예를 나타낸다.

도 13의 (a), 도 13의 (b), 도 13의 (c), 도 13의 (d) 및 도 14는 각각 합성 베이스 화상으로 된 어느 프레임의 화상 예를 나타내고 있다.

도 13의 (a)는 단체 사진으로서의 화상이지만, 이 화상 내에서 눈을 감고 있는 인물의 얼굴 영역이, 각각 합성 대상 영역 AR1, AR2, AR3으로서 설정된 예를 나타내고 있다.

도 13의 (b)는, 5명의 인물의 화상에 있어서, 옆을 향하고 있는 사람의 얼굴 영역이나, 이상한 표정으로 된 인물의 얼굴 영역이 합성 대상 영역 AR1, AR2로서 설정된 예를 나타내고 있다.

도 13의 (c)는, 화상 내에 무관한 인물이 찍힌 경우에, 그 무관한 인물의 영 역이 합성 대상 영역 AR1로 설정된 예이다.

도 13의 (d)는, 화상 내에서 명도가 크게 분리된 경우에, 명도가 낮은 영역(응달로 된 영역)을, 합성 대상 영역 AR1로 설정한 예이다.

도 14는 복수의 인물의 화상에 있어서, 초점이 흐려진 상태로 되어 있는 인물의 영역이 합성 대상 영역 AR1, AR2로서 설정된 예를 나타내고 있다.

예를 들어 이와 같이 합성 대상 영역을 설정하지만, 그 설정 처리도 자동 설정과 수동 설정이 상정된다.

자동 설정으로서는, 예를 들어 다음과 같은 예가 있다.

합성 베이스 화상에 대해 화상 해석을 행하고, 화상 내에 인물의 얼굴이 존재하는지 여부를 판별한다. 1 또는 복수의 인물의 얼굴이 존재하면, 그 인물이 눈을 뜨고 있는지 여부(눈을 검출할 수 있는지 여부)를 검출한다. 그리고 눈을 감고 있는(눈을 검출할 수 없는) 얼굴 화상이 존재하면, 그 얼굴 화상의 영역을 합성 대상 영역으로 한다. 이와 같은 처리에 의해 도 13의 (a)와 같은 합성 대상 영역의 설정이 가능하다.

또한, 화상 해석에 의해 시선 방향이나 얼굴의 표정을 판정할 수 있는 경우에는, 시선이 정면을 향하고 있지 않은 얼굴 화상의 영역이나, 웃는 얼굴 혹은 자연스러운 표정이 아닌 얼굴 화상의 영역을 검출하고, 그 영역을 합성 대상 영역으로 함으로써, 도 13의 (b)와 같은 설정이 가능해진다.

또한, 얼굴 표정의 판정의 처리는 여러 가지를 생각할 수 있는데, 예를 들어 얼굴을 구성하는 파트를 추출하고, 각 파트에 평가치를 부여하여, 표정 판정하는 방식을 채용할 수 있다.

예를 들어 웃는 얼굴을 판정하는 경우, 얼굴을 구성하는 파트로서, 화상으로부터 눈, 눈썹, 입술의 각 부분을 추출한다. 그리고 예를 들어 눈썹에 대해서는, 각도를 판정한다. 소위「치켜올라감」의 상태를 낮은 포인트로 하고, 눈썹의 양 끝이 내려갈수록 높은 포인트를 부여하도록 한다. 또한 눈에 대해서는, 동공의 개방 상태를 판정하여, 동공이 열려 있을수록 높은 포인트를 부여하도록 한다. 입술에 대해서는, 양 끝의 각도가 내려가 있을수록 낮고, 반대로 양 끝의 각도가 올라가 있을수록 높은 포인트를 부여한다.

예를 들어 이와 같이 각 파트에 웃는 얼굴 판정의 포인트를 부여하고, 그들을 가산(혹은 파트마다 가중치 부여를 바꾸어 가산)하여, 웃는 얼굴 포인트로 한다. 이 웃는 얼굴 포인트가 높을수록,「좋은 표정」으로 판정한다.

물론 이것은 일례이며, 볼의 상태나, 웃었을 때에 발생하는 잔주름 등을 판정 요소로 해도 된다.

또한, 웃는 얼굴 판정이 아닌, 화난 표정이나 기분이 좋지 않은 표정 등, 다른 표정도, 얼굴을 구성하는 각 파트의 화상으로부터 추정하는 것도 가능하다.

또한, 피사체로서 무관한 인물이 존재하는 경우, 그 검출도 가능하다.

예를 들어 합성 베이스 화상 상에서 얼굴 화상을 검출한 경우, 그 전후의 프레임에서 같은 위치에 얼굴을 검출할 수 없는 화상이 있으면, 그 인물은, 촬상시에 배후를 지나간 인물이라 추정할 수 있다. 특히, 얼굴 영역이 화상의 중심으로부터 벗어나 있고(예를 들어 화상 중심으로부터 1/2보다도 외측이고), 그 합성 베이스 화상의 전후의 프레임의 화상에서, 같은 위치에 얼굴을 검출할 수 없는 화상이 존재하면, 그 인물이 무관한 인물일 가능성은 높다.

또한, 합성 베이스 화상 상에서 얼굴 화상을 검출한 경우, 그 얼굴 영역의 면적 또는 대각선의 길이가 충분히 작은 경우에 있어서, 그 합성 베이스 화상의 전후 프레임의 화상에서, 동일한 위치에 얼굴을 검출할 수 없는 화상이 있으면, 그 인물이 무관한 인물일 가능성은 높다. 충분히 작다라 함은, 예를 들어 화상 전체의 면적 또는 화상의 대각선 길이의 1/10 이하 등이다.

또한 합성 베이스 화상 상에서 복수의 얼굴 화상이 존재하는 경우에, 어느 인물의 얼굴 화상의 영역이 다른 인물의 얼굴 화상의 영역보다도 충분히 작은 경우도, 배경으로 마침 찍힌 인물이라 추정할 수 있다. 예를 들어 화상 내의 최대 얼굴 영역의 1/2 이하 등의 얼굴 화상이다. 이 경우도, 그 합성 베이스 화상의 전후 프레임의 화상에서, 동일한 위치에 얼굴을 검출할 수 없는 화상이 존재하면, 그 인물이 무관한 인물일 가능성은 높아진다.

예를 들어 이와 같은 처리에 의해, 자동적으로 무관한 인물의 판정이 가능해지고, 예를 들어 도 13의 (c)와 같은 합성 대상 영역의 설정이 가능해진다.

또한, 합성 베이스 화상 내에 있어서, 명암의 차, 휘도의 차, 색조의 차를 검출하여, 극단적으로 다른 영역이 존재하면, 그 영역을 합성 대상 영역으로 하는 것도 가능하다. 이에 의해 도 13의 (d)와 같은 합성 대상 영역의 설정을 할 수 있다.

또한, 합성 베이스 화상 내에 있어서, 부분적으로 흐려진 화상이 있는 것은, 화상 내에서 피사체의 윤곽선이 되는 부분의 명확함을 비교하는 것 등으로 판정할 수 있다. 예를 들어 명료한 윤곽선을 갖는 피사체와 불명료한 윤곽선을 갖는 피사체가 혼재하고 있으면, 불명료한 윤곽선을 갖는 피사체는, 초점 거리가 맞지 않은 흐려진 화상 부분으로 판정할 수 있으므로, 그 영역을 합성 대상 영역으로 하는 것도 가능하다. 이에 의해 도 14와 같은 합성 대상 영역의 설정을 할 수 있다.

예를 들어 이상과 같은 방법을 이용함으로써, 자동 설정으로 하여 합성 대상 영역의 설정이 가능해진다. 물론 이외에도 자동 설정의 방법은 생각할 수 있다.

또한 자동 설정으로 1 또는 복수의 합성 대상 영역을 설정한 경우, 예를 들어 도 13, 도 14와 같은 합성 대상 영역을 나타내는 화상을 표시부(2)에 있어서 표시 출력시켜, 당해 합성 대상 영역에 있어서 합성 처리를 행해도 되는지 여부의 판단을 사용자에게 요구하도록 해도 된다. 그 경우, 사용자가 표시된 각 합성 대상 영역에 대해 합성 실행의 OKㆍ캔슬의 조작 입력을 행함으로써, 합성 대상 영역을 확정시킨다.

합성 대상 영역을 수동 설정으로 하는 경우에는, 표시부(2)에 있어서 합성 베이스 화상을 표시시켜, 그 합성 베이스 화상 상에서, 사용자가 합성 대상 영역으로 하는 영역을 지정하는 조작을 행하도록 한다. 사용자는, 터치 패드, 터치 패널, 커서/포인터 조작, 수치 입력 등의 방식으로 영역을 지정하는 조작을 행한다.

영역 지정 입력의 예를 도 15, 도 16, 도 17, 도 18에 도시한다. 각 도면의 격자의 1칸은, 화상을 구성하는 1화소를 나타내고 있는 것으로 한다.

도 15의 (a)는, 사용자가 조작 입력에 의해 화면 상에서 2개의 위치 P1, 위 치 P2를 지정하는 것에 따라서, 그 위치 P1, 위치 P2의 화소를 대각의 점으로 하는 직사각형의 영역을 합성 대상 영역 AR로 하는 예이다.

도 15의 (b)는, 사용자가 조작 입력에 의해 화면 상에서 1개의 위치 P1을 지정하는 동시에, 반경 r의 값을 입력하는 것에 따라서, 그 위치 P1의 화소를 중심으로 한 반경 r의 원에 포함되는, 사선부의 화소 영역을 합성 대상 영역 AR로 하는 예이다.

도 16의 (a)는, 사용자가 조작 입력에 의해 화면 상에서 4개의 위치 P1, 위치 P2, 위치 P3, 위치 P4를 지정함에 따라서, 그 위치 P1, 위치 P2, 위치 P3, 위치 P4의 화소를 포함하는, 사선부의 대략 타원 형상의 화소 영역을 합성 대상 영역 AR로 하는 예이다.

도 16의 (b)는, 사용자가 조작 입력에 의해 화면 상에서 3 이상의 임의의 위치, 예를 들어 여기서는 5개의 위치 P1, 위치 P2, 위치 P3, 위치 P4, 위치 P5를 지정함에 따라서, 그 위치 P1, 위치 P2, 위치 P3, 위치 P4, 위치 P5의 화소를 각각 직선으로 연결한 범위에 포함되는, 사선부의 화소 영역을 합성 대상 영역 AR로 하는 예이다.

도 17의 (a)는, 사용자가 조작 입력에 의해 화면 상에서 폐곡선 L을 그림으로써, 그 폐곡선 L의 범위에 포함되는, 사선부의 화소 영역을 합성 대상 영역 AR로 하는 예이다.

도 17의 (b)는, 사용자가 조작 입력에 의해 화면 상에서 폐곡선 L을 그린 경우에, 그 폐곡선 L의 범위에 포함되는 화소를 제외한, 사선부의 화소 영역을 합성 대상 영역 AR로 하는 예이다.

도 18의 (a), 도 18의 (b)는, 사용자가 화상 내의 인물을 지정하는 예이다. 도 18의 (a)와 같이 화상 내에서 어떤 인물을 지정하도록 위치 P1을 입력한다. 이에 따라서, 위치 P1의 인물의 얼굴 화상의 영역을 판정하고, 도 18의 (b)와 같이, 그 지정된 인물의 얼굴 화상의 영역을 합성 대상 영역 AR로 하는 예이다.

예를 들어 이상과 같은 방법으로 수동 설정으로 하여 합성 대상 영역의 설정이 가능해진다. 물론 이외에도 수동 설정의 방법은 생각할 수 있다.

화상 해석/합성부(12)는, 도 12의 단계 F203에 있어서 상기한 자동 설정 또는 수동 설정에 의해 합성 대상 영역 AR의 설정 처리를 행하면, 단계 F204에서 합성 대상 영역 AR의 설정의 유무를 확인한다.

예를 들어 자동 설정으로서 상기한 바와 같은 각종 화상 해석을 행한 경우에, 합성 대상 영역으로 하는 화소 영역이 발견되지 않으면 합성 대상 영역 없음이 된다. 혹은, 자동 설정으로 1 또는 복수의 합성 대상 영역을 설정해도, 사용자가 모든 합성 대상 영역에 대해 합성 처리의 필요 없음으로서 캔슬 조작을 행한 경우에는, 합성 대상 영역 없음이 된다.

또한, 수동 설정을 행하는 경우에, 표시된 합성 베이스 화상에 있어서 합성하는 영역(즉 사용자가 수정하고 싶다고 생각하는 영역)이 존재하지 않는다고 하여, 사용자가 영역 입력을 행하지 않은 경우, 혹은 합성 처리 자체의 캔슬 조작을 행한 경우에는, 합성 대상 영역 없음으로 판정한다.

합성 대상 영역 없음으로 판정한 경우에는, 시스템 컨트롤러(10)로부터 지시 된 금회의 촬상 화상 데이터에 대해서는, 합성 처리의 필요는 없다고 하여, 단계 F205에서 시스템 컨트롤러(10)에 합성 불필요 통지를 송신하고, 도 12의 처리를 종료한다.

1 이상의 합성 대상 영역이 설정된 경우, 화상 해석/합성부(12)의 처리는 단계 F206으로 진행하고, 이후의 처리를 위해 처리 제어 변수 x를「1」로 설정한다.

단계 F207에서는, 합성 대상 영역 AR(x)에 대해, 다른 프레임으로부터 합성용 부분 화상(화소 데이터)을 탐색하는 처리를 행한다. 즉 단계 F203에서 설정한 1 또는 복수의 합성 대상 영역 중, 최초의 합성 대상 영역 AR1에 적용시키는 화소 데이터를 탐색한다.

이 처리도 자동 처리와 수동 처리가 상정된다.

자동 처리의 경우에는, 화상 해석/합성부(12)가 합성 베이스 화상 이외의 각 프레임에 있어서, 합성 대상 영역 AR과 동일한 영역의 화상 내용을 해석하고, 이하의 예와 같이 합성용 화소 데이터를 추출한다.

예를 들어 도 13의 (a)와 같이 눈을 감고 있는 얼굴 화상을 합성 대상 영역 AR로 한 경우, 그 합성 베이스 화상의 전후의 프레임에 있어서의 동일한 화소 영역에 있어서, 눈을 검출할 수 있는 얼굴 화상을 탐색한다. 합성 대상 영역 AR과 동일한 화소 영역에 있어서의 얼굴 화상이, 눈을 뜨고 있는 얼굴 화상인 프레임을 검출하면, 그 프레임의 당해 화소 영역의 화소 데이터를 합성 대상 영역 AR에 적용시키는 화소 데이터로 한다.

또한 도 13의 (b)의 합성 대상 영역 AR1과 같이, 정면을 향하고 있지 않은 얼굴 화상을 합성 대상 영역 AR로 한 경우도, 그 합성 베이스 화상의 전후의 프레임에 있어서의 동일 화소 영역에 있어서, 정면을 향하고 있는 얼굴 화상을 탐색한다. 합성 대상 영역 AR과 동일 화소 영역에 있어서의 얼굴 화상이, 정면을 향하고 있는 얼굴 화상인 프레임을 검출하면, 그 프레임의 당해 화소 영역의 화소 데이터를, 합성 대상 영역 AR에 적용시키는 화소 데이터로 한다. 정면을 향한 얼굴인지 여부의 판별은, 예를 들어 안구의 위치나, 얼굴의 요소(눈, 코, 입, 귀 등)의 위치 관계 등으로부터 가능하다.

또한 마찬가지로 도 13의 (b)의 합성 대상 영역 AR2와 같이, 표정이 흐트러진 얼굴 화상을 합성 대상 영역 AR로 한 경우도, 그 합성 베이스 화상의 전후의 프레임에 있어서의 동일 화소 영역에 있어서, 웃는 얼굴이나 통상의 표정의 얼굴 화상을 탐색한다. 합성 대상 영역 AR과 동일 화소 영역에 있어서의 얼굴 화상이, 웃는 얼굴이나 통상의 표정의 얼굴 화상인 프레임을 검출하면, 그 프레임의 당해 화소 영역의 화소 데이터를, 합성 대상 영역 AR에 적용시키는 화소 데이터로 한다.

도 13의 (c)와 같이 무관한 인물 등, 불필요한 피사체의 영역을 합성 대상 영역 AR로 한 경우에는, 그 합성 베이스 화상의 전후 프레임에 있어서의 동일 화소 영역에 있어서, 무관한 인물 등이 존재하지 않는 프레임을 탐색하고, 그 프레임의 당해 화소 영역의 화소 데이터를, 합성 대상 영역 AR에 적용시키는 화소 데이터로 한다.

도 13의 (d)와 같이, 명암, 휘도차, 색조의 차 등이 극단적으로 다른 영역을 합성 대상 영역 AR로 한 경우에는, 그 합성 베이스 화상의 전후의 프레임에 있어서 의 동일 화소 영역에 있어서, 합성 베이스 화상의 합성 대상 영역 AR 이외의 부분과 비교하여 명암, 휘도차, 색조의 차 등이 작게 되어 있는 프레임을 탐색한다. 그리고 그 탐색한 프레임의 당해 화소 영역의 화소 데이터를, 합성 대상 영역 AR에 적용시키는 화소 데이터로 한다.

도 14와 같이, 초점 거리가 맞지 않고 흐려진 피사체의 영역을 합성 대상 영역 AR로 한 경우에는, 그 합성 베이스 화상의 전후 프레임에 있어서, 동일한 화소 영역이 초점이 맞은 화상으로 되어 있는 프레임을 검출하고, 그 프레임의 당해 화소 영역의 화소 데이터를 합성 대상 영역 AR에 적용시키는 화소 데이터로 한다.

한편, 합성용 화소 데이터의 탐색을 수동 처리로 행하는 경우에는, 다음과 같은 예를 생각할 수 있다.

예를 들어 합성 베이스 화상을 표시부(2)에 있어서 표시 출력하는 동시에, 그 합성 대상 영역 AR(x)에 대해, 순차, 다른 프레임의 동일 영역의 화소 데이터를 합성시켜 표시시킨다. 예를 들어 합성 베이스 화상을 프레임 F#1로 하고 있을 때, 합성 대상 영역 AR1에, 프레임 F#2의 동일 영역을 적용시켜 표시한다. 계속해서 합성 대상 영역 AR1에, 프레임 F#3의 동일 영역을 적용시켜 표시한다. 이와 같이 합성 대상 영역 AR(x)의 화소 영역을, 순차 다른 프레임의 화소로 치환하면서 표시시켜, 각각 사용자를 확인할 수 있도록 한다. 그리고 사용자가, 적절한 화상을 결정하는 조작을 행함으로써, 합성을 행하는 프레임을 확정하고, 그 프레임의 화소 데이터를 합성 대상 영역 AR에 적용시키는 화소 데이터로 한다.

또한, 합성 대상 영역 AR(x)에 대한 각 프레임과의 합성 화상을 순차 표시하 는 것이 아닌, 각 프레임과의 합성 화상을 일람 표시시켜, 사용자가 각 화상을 동시에 비교하면서 선택 조작할 수 있도록 해도 된다.

또한 순차적으로 각 프레임과의 합성 화상을 표시시킬 때에는, 사용자의 시간 깊이의 조작에 따라서 합성 프레임이 변화하는 사용자 인터페이스도 적절하다. 예를 들어 시간축 방향의 스크롤 바를 표시시키거나, 소정의 조작 부재나 사용자 거동에 의한 조작에 따라서, 시간축 방향의 이동을 사용자가 지정할 수 있도록 한다. 그리고, 그 시간축 방향의 연속적인 조작에 의해, 합성 대상 영역 AR(x)에 화소 데이터를 적용시키는 프레임을 변동시켜 간다. 그러면, 화상 상에서, 합성 대상 영역 AR(x)만, 시간축 방향으로 전후하는 화상이 표시할 수 있는 것이 되고, 이에 의해서도 사용자는 적절한 합성 프레임을 선정할 수 있다.

시간축 방향의 이동을 지정하는 조작으로서는, 예를 들어 터치 패드를 구비하도록 하고, 접촉한 점으로부터의 이동량(드래그 이동량) 및 방향에 의해, 시각의 이동량 및 미래/과거의 방향을 지정할 수 있도록 하는 것을 생각할 수 있다. 방향에 대해서는, 예를 들어 오른쪽이나 위로의 이동은 플러스(미래 방향), 왼쪽이나 아래로의 이동은 마이너스 방향(과거 방향) 등으로 한다.

또한 압력 검지 가능한 터치 패드를 구비하고, 압력의 강도에 의해, 시각의 이동량을 지정하도록 해도 된다.

물론 사용자의 거동으로서, 고개를 흔들거나, 머리부에 장착한 촬상 장치(1)의 측면을 두드리는 등의 조작을, 이동량 및 방향의 지정 조작으로 해도 된다.

이동량이나 방향의 지정 조작에 따라서는, 각 프레임의 시간차 정보 TM을 참 조하여, 지정 조작에 따른 프레임을 선정하고, 합성 화상을 생성한다.

화상 해석/합성부(12)는, 단계 F207에서의 자동 해석 또는 수동 조작에 따른 합성용 화소 데이터의 탐색의 결과, 합성용 부분 화상으로서, 합성 대상 영역 AR에 적용시키는 화소 데이터가 있으면, 단계 F208로부터 단계 F209로 진행하여, 합성 대상 영역 AR(x)의 합성 처리를 행한다. 즉 합성 베이스 화상의 합성 대상 영역 AR(x)의 화소 데이터를, 탐색된 다른 프레임의 화소 데이터로 치환한다. 예를 들어 도 13의 (a)의 합성 대상 영역 AR1에 대해, 도 5에 나타낸 각 프레임의 화상 중에서, 프레임 F#4의 동일 영역을 합성용의 부분 화상으로 한 경우, 이 프레임 F#4에 있어서, 합성 대상 영역 AR(x)과 동일 영역의 화소 데이터를, 합성 베이스 화상(프레임 F#1)의 합성 대상 영역 AR(x)에 적용시킨다.

한편, 단계 F207의 다른 프레임의 화상 내용의 탐색 처리에서, 적절한 합성용 부분 화상을 찾을 수 없었던 경우는, 단계 F208로부터 단계 F210으로 진행하여, 합성 대상 영역 AR(x)에 대해서는 합성 불가능으로 한다.

단계 F211에서는, 처리 제어 변수 x=n인지 여부를 판별한다. n은 단계 F203에서 설정된 합성 대상 영역 AR의 수이다. 즉, 설정된 모든 합성 대상 영역 AR에 대해 처리를 종료하였는지 여부를 확인한다.

또한 미처리의 합성 대상 영역 AR이 존재하면, 단계 F212에서 처리 제어 변수 x를 인크리먼트하여 단계 F207로 복귀한다. 그리고 다음 합성 대상 영역 AR(x)에 대해, 상기와 마찬가지로 처리를 행한다.

단계 F211에서 x=n이 된 시점에서, 단계 F203에서 설정한 모든 합성 대상 영 역 AR에 대한 처리를 완료한 것이 된다. 이 경우, 단계 F213에서, 모든 합성 대상 영역 AR이 단계 F210에서 합성 불가능으로 되었는지 여부를 확인한다. 만약에 모든 합성 대상 영역 AR이 합성 불가능으로 되어 있던 경우에는, 화상 해석/합성부(12)의 처리는 단계 F215로 진행하여, 시스템 컨트롤러(10)에 대해 합성 불가능 통지를 송신한다.

한편, 적어도 하나의 합성 대상 영역 AR에 있어서 단계 F209의 합성 처리를 행하고 있으면, 단계 F214로 진행하여, 시스템 컨트롤러(10)에 대해 합성 완료 통지를 송신한다. 이상에서 도 12의 처리를 종료한다.

예를 들어 이상의 도 11, 도 12로서의 시스템 컨트롤러(10) 및 화상 해석/합성부(12)의 처리에 의해, 도 4의 (b), 도 7의 (b), 도 8의 (b), 도 9의 (c), 도 10의 (b)에서 예시한 바와 같은 합성 화상 데이터가 생성되고, 도 6의 (b)의 합성 화상 데이터 mVD로서 나타낸 바와 같이 스토리지부(14)에 보존되게 된다.

[5. 실시 형태의 효과 및 변형예, 확장예]

이상의 실시 형태에 따르면, 촬상 화상 데이터의 하나의 프레임을 합성 베이스 화상으로 하고, 그 합성 베이스 화상 내에서 설정한 합성 대상 영역 AR의 화소 데이터를 다른 프레임의 화상 데이터로 치환하는 합성 처리를 행함으로써, 사용자의 만족도가 높은 촬상 화상을 용이하게 생성할 수 있다는 효과가 있다.

예를 들어 단체 사진에 있어서, 전원이 눈을 뜨고 있거나, 전원이 좋은 표정이거나, 전원이 정면을 향하고 있는 합성 화상, 나아가 전원이 흐려져 있지 않은 합성 화상을 용이하게 생성할 수 있다. 또한, 불필요한 피사체를 지우거나, 화면 전체의 통일감을 나타낸 화상 등도, 마찬가지로 용이하게 생성할 수 있다. 이에 의해, 소위 촬상에 실패하였다고 사용자가 생각한 경우도, 손쉽게 화상을 수정할 수 있게 되어, 사용자의 사진 촬상에 대한 만족도를 향상시킨다.

또한, 합성 처리에 있어서 수동 조작으로, 재미가 있는 화상을 생성할 수도 있고, 일반 사용자의 사진 촬상의 가능성이나 화상의 이용 범위를 넓힐 수도 있다.

합성 화상 데이터에 대해서는 예를 들어 스토리지부(14)에 보존되지만, 이를 표시함으로써, 적합한 촬상 화상을 사용자에 제시할 수 있다.

도 6의 (b)와 같이 각 촬상 화상 데이터 VD1, VD2…에 대해 생성한 합성 화상 데이터 mVD1, mVD2…에 대해서는, 예를 들어 이들을 사용자의 조작에 따라서 순차적으로 표시하거나, 슬라이드 쇼 방식으로 자동적으로 순차적으로 표시하거나, 축소 화상으로 일람 표시하는 등의 처리를 행할 수 있다.

본 발명은, 상기 실시 형태에 한정되지 않고, 촬상 장치(1)의 구성예나 처리 예로서 각종 변형예나 확장예를 생각할 수 있다.

우선, 도 12의 단계 F209에서 합성 처리를 행하는 경우, 단순히 합성 대상 영역 AR의 화소 데이터를 다른 프레임의 화소 데이터로 치환할 뿐만 아니라, 보다 자연스러운 합성 화상이 생성되도록 할 수도 있다.

즉, 합성 처리에서는 시각이 다른 프레임끼리의 화상을 합성하게 되지만, 이때에 양쪽 프레임(합성 베이스 화상으로 한 프레임과, 합성용 화소 데이터를 추출하는 프레임)의 경계를 원활하게 하기 위해, 경계 영역에서는 현화상과 타겟 화상의 양쪽 화상의 화소의 블렌드(선형 결합)를 행하도록 해도 된다.

또한, 마찬가지로 시각이 다른 화상의 경계를 원활하게 하기 위해, 경계 영역에서는 시간이 보다 연속적으로 되도록, 합성 베이스 화상으로 한 프레임과, 합성용 화소 데이터를 추출하는 프레임의 중간(시간적으로 중간)의 프레임의 화소를 사용하는 것도 생각할 수 있다.

도 19의 (a)와 같이, 어느 합성 베이스 화상 상에서 합성 대상 영역 AR1, AR2이 설정되었다고 하자. 이 경우, 도 19의 (b)와 같이, 사선부로 한 합성 대상 영역 AR1, AR2에는, 다른 프레임으로부터 추출한 화소 데이터를 할당하지만, 그 합성 대상 영역 AR1, AR2의 주위에는, 중간 프레임의 화소를 할당하도록 한다.

예를 들어 합성 베이스 화상이 프레임 F#1이며, 합성 대상 영역 AR1로서, 프레임 #3의 화소 데이터를 할당한 경우, 합성 대상 영역 AR1의 주위의 화소 데이터 MA로서, 프레임 #2의 화소 데이터를 할당한다.

또한 합성 대상 영역 AR2로서, 프레임 #6의 화소 데이터를 할당한 경우, 합성 대상 영역 AR2의 주위의 화소 데이터 MA1로서 프레임 #4의 화소 데이터를 할당하고, 또한 그 주위의 화소 데이터 MA2로서 프레임 #2의 화소 데이터를 할당한다.

이와 같이 하면, 합성 부위의 경계에서의 시간차가 작아지고, 이에 의해 합성 화상 데이터가 보다 자연스러운 화상이 된다.

또한, 피사체의 움직임에 의해, 다른 프레임에서는, 합성 베이스 화상 상의 합성 대상 영역 AR과 같은 화소 영역에 동일한 피사체가 위치하지 않는 경우도 있다. 예를 들어 피사체의 인물이 걷고 있을 때에 촬상한 바와 같은 경우, 그 사람의 얼굴 영역이 되는 화소 범위는, 각 프레임에서 다르게 된다.

이로 인해, 예를 들어 합성 대상 영역 AR로서의 화상의 특징점을 추출하여, 합성 베이스 화상 상의 위치에 대응하는, 다른 프레임에서의 화상의 위치를 보정하도록 해도 된다.

예를 들어 화상의 3개의 특징점으로부터, 이동ㆍ회전ㆍ확대(아핀 변환)의 매트릭스를 계산하여 보정한다. 얼굴 화상을 대상으로 하는 경우, 3개의 특징점으로서, 얼굴의 양안과 입을 사용하는 것이 적절하다.

또한, 본 발명의 화상 처리 장치는, 촬상 장치(1)로서 실현하는 것 이외에, 다양한 장치가 상정된다.

도 20은 본 발명의 화상 처리 장치로서의 구성 요소로서, 제어 수단으로서의 시스템 컨트롤러(10)와, 화상 취득부(20)와, 화상 해석/합성부(12)와, 보존 처리부(22)와, 화상 출력부(21)를 나타내고 있다.

예를 들어 이와 같은 구성 요소를 구비하는 각종 기기로서 본 발명의 화상 처리 장치를 실현할 수 있다.

화상 취득부(20)는, 다른 시점으로 촬상된 복수 프레임의 촬상 화상 데이터, 즉 합성 처리의 대상이 되는 촬상 화상 데이터를 취득하는 부위로, 상기 실시 형태와 같은 촬상 장치(1)에서는, 촬상부(3) 및 촬상 제어부(6)에 상당한다.

이와 같은 촬상 기능으로서의 부위 이외에, 예를 들어 합성 처리의 대상이 되는 복수 프레임의 촬상 화상 데이터를 외부 기기(70)로부터 수신하는 통신부(15)도 화상 취득부(20)가 될 수 있다. 물론 케이블 접속에 의해 외부 기기(70)로부터의 촬상 화상 데이터를 수신하는 것이어도 된다. 또한, 예를 들어 광 디스크, 메 모리 카드 등의 가반성 기록 매체에 대해 재생을 행하여, 가반성 기록 매체에 기록되어 있는 촬상 화상 데이터를 판독하는 재생 드라이브도, 화상 취득부(20)가 될 수 있다.

또한 화상 취득부(20)에서 취득하는 복수 프레임의 촬상 화상 데이터라 함은, 복수매의 정지 화상 데이터이어도 되고, 동화상 데이터이어도 된다.

보존 처리부(22)는, 합성 화상 데이터를 보존하는 처리를 행하는 부위이지만, 상기 실시 형태의 스토리지부(14)에 상당한다.

단, 촬상 화상 데이터와 평가 데이터를 외부 기기(70)에 송신하여, 외부 기기(70)에 있어서 보존을 실행시키도록 하는 경우, 그 송신을 행하는 통신부(15)는, 보존 처리부(22)에 상당하게 된다. 물론 무선 송신, 유선 송신 중 어느 것이어도 된다.

화상 출력부(21)는, 상기 실시 형태의 경우에는 보존한 촬상 화상 데이터를 표시 출력하는 표시부(2)가 상당한다. 또한, 외부의 모니터 장치에 있어서 표시시키기 위해 화상 신호를 출력하는 출력부도 화상 출력부(21)가 될 수 있다.

또한, 보존한 촬상 화상 데이터를 외부 기기(70)에 유선 또는 무선으로 송신하는 통신부(15)도 화상 출력부(21)가 될 수 있다.

또한, 보존한 촬상 화상 데이터를 가반성 기록 매체에 기록하고, 가반성 기록 매체에 의해 장치 밖으로 반출할 수 있도록 하는 기록 드라이브도 화상 출력부(21)가 될 수 있다.

이와 같이 예를 들어 화상 취득부(20), 화상 출력부(21), 보존 처리부(22)로 서는, 매우 다양한 형태가 상정된다. 그것들을 고려하면, 본 발명은, 스틸 카메라나 비디오 카메라 등의 촬상 장치로서 실현하는 것 외에, 촬상 기능이 없는, 모니터 표시 장치, 통신 장치, 화상 데이터 보존 장치, 화상 합성을 행하는 화상 편집 장치 등으로서도 실현할 수 있다.

또한 합성 화상 데이터를 생성하기 위한 복수 프레임의 촬상 화상 데이터로는, 대략 연속적으로 촬상된 각 프레임 화상 데이터가 아닌, 상당히 이산적인 타이밍에 촬상된 것이어도 된다.

예를 들어 도 1의 (a), 도 1의 (b)와 같은 착용 가능한 촬상 장치(1)에 있어서, 정기적으로 촬상을 행하고 있으면, 예를 들어 사용자의 하루동안의 행동에 있어서 본 각종 광경의 촬상 화상 데이터를 취득할 수 있게 된다. 이와 같은, 어느 정도 무관한 복수 프레임의 촬상 화상 데이터를 이용해도, 합성 처리를 행할 수 있다. 예를 들어 하루동안의 광경을 콜라주적으로 합성한 합성 화상을 생성할 수 있다.

마찬가지로, 예를 들어 관광지 등에서, 순차적으로 촬상한 촬상 화상 데이터를, 화상 공유 서비스 등으로부터의 통신에서 취득한 경우, 그와 같은 촬상 화상 데이터와, 스스로 같은 관광지에서 촬상한 촬상 화상 데이터를 이용하여 합성 처리를 행하는 것 등도 생각할 수 있다.

또한, 정지 화상으로서의 합성 화상 데이터의 생성에 대해 설명하였지만, 동화상으로서의 합성 화상 데이터의 생성으로도 확장할 수 있다.

예를 들어 합성 대상 영역 AR로서의 화소 영역만, 그 주위와 시간 진행 상태 를 변화시키는 합성 동화상을 실현할 수 있다. 즉, 동화상을 구성하는 각 프레임에 있어서, 합성 대상 영역 AR만, 다른 프레임의 화소 데이터로 치환함으로써, 화면의 일부만, 늦은 시간의 광경이 되거나, 이전 시간의 광경이 되거나, 시간의 진행이 빨라지거나, 시간의 진행이 늦어지는 합성 동화상을 생성할 수 있다.

또한 3원 화상 등, 고차 화상에의 적용도 가능하다.

Claims (18)

1. 합성 처리에 이용하는 촬상 화상 데이터로서, 다른 시간으로서 연속적으로 촬상된 복수의 프레임의 촬상 화상 데이터를 취득하는 취득 수단과,

   상기 취득 수단에 의해 취득한 상기 복수의 프레임 중 어느 프레임 내에서 합성 대상 영역을 설정하고, 상기 합성 대상 영역에 있어서의 화소 데이터를, 상기 복수의 프레임 중 다른 프레임의 화소 데이터로 치환함과 함께, 상기 합성 대상 영역과 상기 어느 프레임의 촬상 화상 데이터의 경계 영역에 대하여는, 상기 어느 프레임과 상기 다른 프레임의 시간적으로 중간의 프레임이 존재하는 경우에는, 해당 중간 프레임의, 상기 경계 영역에 해당하는 화소 데이터를 상기 경계 영역에 할당하여 합성 처리를 행하여 합성 화상 데이터를 생성하는 화상 합성 수단과,

   상기 화상 합성 수단에서 생성된 합성 화상 데이터에 대해 보존 처리를 행하는 보존 처리 수단을 구비하는, 화상 처리 장치.
2. 삭제
3. 제1항에 있어서, 상기 취득 수단은 화상 촬상을 행하는 촬상부를 갖고, 상기 촬상부에서의 촬상에 의해 상기 합성 처리에 사용하는 복수의 프레임의 촬상 화상 데이터를 취득하는, 화상 처리 장치.
4. 제3항에 있어서, 상기 촬상부는 촬상 소자로서 CCD 센서 또는 CMOS 센서를 사용하여 구성되어 있는, 화상 처리 장치.
5. 제1항에 있어서, 상기 취득 수단은 외부 기기와 통신을 행하는 통신부를 갖고, 상기 통신부에서의 외부 기기와 통신에 의해 상기 합성 처리에 이용하는 촬상 화상 데이터를 수신하여 취득하는, 화상 처리 장치.
6. 제1항에 있어서, 상기 취득 수단은 가반성 기록 매체로부터 정보를 재생하는 재생부를 갖고, 상기 재생부에 의한 상기 가반성 기록 매체의 재생에 의해 상기 합성 처리에 이용하는 촬상 화상 데이터를 취득하는, 화상 처리 장치.
7. 제1항에 있어서, 상기 보존 처리 수단은 기록 매체에 대해 정보의 기록을 행하는 기록부를 갖고, 상기 보존 처리로서, 상기 합성 화상 데이터를 상기 기록 매체에 기록하는, 화상 처리 장치.
8. 제1항에 있어서, 상기 보존 처리 수단은 외부 기기와 통신을 행하는 통신부를 갖고, 상기 보존 처리로서, 상기 합성 화상 데이터를 외부 기기에 송신하는, 화상 처리 장치.
9. 제1항에 있어서, 상기 화상 합성 수단은 화상 해석 처리에 의해 상기 합성 대상 영역을 설정하는, 화상 처리 장치.
10. 제9항에 있어서, 상기 화상 합성 수단은 상기 화상 해석 처리에 의해 프레임 화상 내에 존재하는 사람의 얼굴 화상에 대한 눈의 뜨고 감음, 또는 얼굴의 표정, 또는 얼굴의 방향, 또는 안구의 색의 전부 또는 일부를 판별하고, 판별 결과에 기초하여 상기 합성 대상 영역을 설정하는, 화상 처리 장치.
11. 제1항에 있어서, 조작 입력 수단을 더 구비하고,

    상기 화상 합성 수단은 상기 조작 입력 수단으로부터의 입력에 따라서 상기 합성 대상 영역을 설정하는, 화상 처리 장치.
12. 제1항에 있어서, 상기 화상 합성 수단은 화상 해석 처리에 의해 상기 다른 프레임으로 되는 프레임을 선정하고, 선정한 프레임으로부터 상기 합성 대상 영역에 합성하는 화소 데이터를 취출하는, 화상 처리 장치.
13. 제1항에 있어서, 조작 입력 수단을 더 구비하고,

    상기 화상 합성 수단은 상기 조작 입력 수단으로부터의 입력에 따라서 상기 복수의 프레임 중으로부터 상기 다른 프레임으로 되는 프레임을 선정하고, 선정한 프레임으로부터 상기 합성 대상 영역에 합성하는 화소 데이터를 취출하는, 화상 처리 장치.
14. 제1항에 있어서, 상기 합성 화상 데이터에 대한 출력 처리를 행하는 화상 출력 수단을 더 구비하는, 화상 처리 장치.
15. 제14항에 있어서, 상기 화상 출력 수단은 표시부를 갖고, 상기 출력 처리로서, 상기 표시부에 있어서 상기 합성 화상 데이터에 대한 표시 출력을 행하는, 화상 처리 장치.
16. 제14항에 있어서, 상기 화상 출력 수단은, 외부 기기와 통신을 행하는 통신부를 갖고, 상기 출력 처리로서, 상기 통신부에 의해 상기 합성 화상 데이터에 대한 외부 기기로의 송신 출력을 행하는, 화상 처리 장치.
17. 제14항에 있어서, 상기 화상 출력 수단은 가반성 기록 매체에 정보를 기록하는 기록부를 갖고, 상기 출력 처리로서, 상기 기록부에 의해 상기 가반성 기록 매체에 상기 합성 화상 데이터를 기록하는, 화상 처리 장치.
18. 합성 처리에 이용하는 촬상 화상 데이터로서, 다른 시간으로서 연속적으로 촬상된 복수의 프레임의 촬상 화상 데이터를 취득하는 단계와,

    취득한 상기 복수의 프레임 중 어느 프레임 내에서 합성 대상 영역을 설정하고, 상기 합성 대상 영역에 있어서의 화소 데이터를, 상기 복수의 프레임 중 다른 프레임의 화소 데이터로 치환함과 함께, 상기 합성 대상 영역과 상기 어느 프레임의 촬상 화상 데이터의 경계 영역에 대하여는, 상기 어느 프레임과 상기 다른 프레임의 시간적으로 중간의 프레임이 존재하는 경우에는, 해당 중간 프레임의, 상기 경계 영역에 해당하는 화소 데이터를 상기 경계 영역에 할당하여 합성 처리를 행하여 합성 화상 데이터를 생성하는 단계와,

    생성한 합성 화상 데이터에 대해 보존 처리를 행하는 단계

    를 구비하는, 화상 처리 방법.

Images