KR20160078878A - 화상 처리 장치, 화상 처리 방법 및 프로그램 - Google Patents

Abstract

화상내에 존재하는 복수의 피사체의 위치 관계에 상관없이, 효과적인 화상을 생성하기 위해, 화상 처리 장치(1)는 잘라냄 처리부(53)와, 결합 처리부(55)를 구비한다. 잘라냄 처리부(53)는 1개의 동화상에서 공간적 및/또는 시간적인 잘라냄 기준에 의거하여, 복수의 동화상을 잘라낸다. 결합 처리부(55)는 잘라내어진 상기 복수의 동화상을 공간적 및/또는 시간적인 결합 기준에 의거하여, 시간적 또는 공간적으로 결합해서, 새로운 1개의 동화상을 생성한다.

Description

화상 처리 장치, 화상 처리 방법 및 프로그램{IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND PROGRAM}

본 발명은 화상 처리 장치, 화상 처리 방법 및 프로그램에 관한 것이다.

근래, 촬상 소자의 고화소화, 혹은 동화상의 규격이 표준 화질 텔레비젼(SDTV(Standard definition television))에서 고품위 텔레비젼(HDTV(High definition television))으로 고화소화가 진행되고, 1개의 화면에서 부분을 잘라내어도 충분한 화질을 얻을 수 있도록 되어 오고 있다.

이러한 흐름 중에서, 주목하는 인물을 추적하면서 화질을 떨어뜨리지 않는 범위에서 잘라냄을 실행하는 기술이 예를 들면, 일본국 특허공개공보 제2013-115597호에 개시되어 있다.

그러나, 주목하는 인물을 추적하여 잘라냄을 실행하는 종래의 기술은 주목하는 인물이 1인 혹은 복수라도 화상내에 있어서의 시간적인 위치와 공간적인 위치의 양쪽이 근접해 있는 경우에는 유효해도, 복수의 인물의 화상내에 있어서의 시간적인 위치와 공간적인 위치 중의 어느 하나가 떨어져 있는 경우에는 효과가 얻어지지 않는다고 하는 과제가 있다. 이것은 인물에 한정되지 않으며, 화상내의 주목하는 부분이 떨어져 존재하는 경우에 있어서도 마찬가지이다.

본 발명의 과제는 화상내에 존재하는 복수의 피사체의 위치 관계에 상관없이, 효과적인 화상을 생성하는 것이다.

본 발명에 의한 화상 처리 장치에 의하면, 1개의 동화상에서 공간적 및/또는 시간적인 잘라냄 기준에 의거하여, 복수의 동화상을 잘라내는 잘라냄 수단과, 잘라내어진 상기 복수의 동화상을 공간적 및/또는 시간적인 결합 기준에 의거하여 시간적 또는 공간적으로 결합해서, 새로운 1개의 동화상을 생성하는 생성 수단을 구비하는 것을 특징으로 한다.

또, 본 발명의 다른 화상 처리 장치에 의하면, 1개의 화상에서 소정의 잘라냄 기준에 의거하여, 복수의 화상을 잘라내는 잘라냄 수단과, 잘라내어진 상기 화상의 특징에 의거하여, 복수의 화상을 결합하는 수, 크기 혹은 위치 관계가 정의된 레이아웃을 선택하는 선택 수단과, 잘라내어진 상기 복수의 화상을 선택된 상기 레이아웃에 결합해서 새로운 1개의 화상을 생성하는 생성 수단을 구비하는 것을 특징으로 한다.

또한, 본 발명의 화상 처리 방법에 의하면, 1개의 동화상에서 공간적 및/또는 시간적인 잘라냄 기준에 의거하여, 복수의 동화상을 잘라내는 잘라냄 처리와, 잘라내어진 상기 복수의 동화상을 공간적 및/또는 시간적인 결합 기준에 의거하여 시간적 또는 공간적으로 결합해서, 새로운 1개의 동화상을 생성하는 생성 처리를 포함하는 것을 특징으로 한다.

또, 본 발명의 다른 화상 처리 방법에 의하면, 1개의 화상에서 소정의 잘라냄 기준에 의거하여, 복수의 화상을 잘라내는 잘라냄 처리와, 잘라내어진 상기 화상의 특징에 의거하여, 복수의 화상을 결합하는 수, 크기 혹은 위치 관계가 정의된 레이아웃을 선택하는 선택 처리와, 잘라내어진 상기 복수의 화상을 선택된 상기 레이아웃에 결합해서 새로운 1개의 화상을 생성하는 생성 처리를 포함하는 것을 특징으로 한다.

또한, 본 발명의 프로그램에 의하면, 컴퓨터에, 1개의 동화상에서 공간적 및/또는 시간적인 잘라냄 기준에 의거하여, 복수의 동화상을 잘라내는 잘라냄 기능과, 잘라내어진 상기 복수의 동화상을 공간적 및/또는 시간적인 결합 기준에 의거하여 시간적 또는 공간적으로 결합해서, 새로운 1개의 동화상을 생성하는 생성 기능을 실현시키는 것을 특징으로 한다.

또, 본 발명의 다른 프로그램에 의하면, 컴퓨터에, 1개의 화상에서 소정의 잘라냄 기준에 의거하여, 복수의 화상을 잘라내는 잘라냄 기능과, 잘라내어진 상기 화상의 특징에 의거하여, 복수의 화상을 결합하는 수, 크기 혹은 위치 관계가 정의된 레이아웃을 선택하는 선택 기능과, 잘라내어진 상기 복수의 화상을 선택된 상기 레이아웃에 결합해서 새로운 1개의 화상을 생성하는 생성 기능을 실현시키는 것을 특징으로 한다.

상기 및 그 밖의 목적과 새로운 특징은 첨부도면과 함께 이하의 상세한 설명으로부터 더욱 명백하게 될 것이다. 그러나, 상기 도면은 설명을 위한 것일 뿐, 본 발명을 한정하는 것은 아니다.

본 발명에 따르면, 화상내에 존재하는 복수의 피사체의 위치 관계에 상관없이, 효과적인 화상을 생성할 수 있다.

이하의 상세한 기술이 이하의 도면과 아울러 고려되면, 본원의 더욱 깊은 이해가 얻어진다.
도 1은 본 발명의 1실시형태에 관한 화상 처리 장치의 하드웨어의 구성을 나타내는 블럭도이다.
도 2는 도 1의 화상 처리 장치의 기능적 구성 중, 화상 생성 처리를 실행하기 위한 기능적 구성을 나타내는 기능 블럭도이다.
도 3은 레이아웃 테이블의 일예를 나타내는 도면이다.
도 4는 레이아웃의 일예를 나타내는 모식도이며, 도 4의 (a)는 레이아웃 2A, 도 4의 (b)는 레이아웃 2B, 도 4의 (c)는 레이아웃 3G, 도 4의 (d)는 레이아웃 3H를 나타내는 도면이다.
도 5의 (a) 및 (b)는 각각 공간적 잘라냄 기준 1의 개념을 나타내는 모식도, 도 5의 (c) 및 (d)는 각각 공간적 잘라냄 기준 2의 개념을 나타내는 모식도, 도 5의 (e) 및 (f)는 각각 공간적 잘라냄 기준 3의 개념을 나타내는 모식도, 도 5의 (g), (h) 및 (i)는 각각 공간적 잘라냄 기준 4의 개념을 나타내는 모식도이다.
도 6의 (a)∼(d)는 각각 화상 생성 수순 전체의 개념을 나타내는 모식도이다.
도 7의 (a)∼(d)는 각각 화상 생성 수순 전체의 개념을 나타내는 모식도이다.
도 8의 (a)∼(d)는 각각 화상 생성 수순 전체의 개념을 나타내는 모식도이다.
도 9의 (a)∼(d)는 각각 화상 생성 수순 전체의 개념을 나타내는 모식도이다.
도 10은 도 2의 기능적 구성을 갖는 도 1의 화상 처리 장치가 실행하는 화상 생성 처리의 흐름을 설명하는 흐름도이다.
도 11은 도 10에 있어서의 스텝 S3의 잘라냄 처리의 흐름을 설명하는 흐름도이다.
도 12는 도 10에 있어서의 스텝 S7의 공간적 결합 처리의 흐름을 설명하는 흐름도이다.
도 13은 도 10에 있어서의 스텝 S8의 시간적 결합 처리의 흐름을 설명하는 흐름도이다.
도 14는 제 2 실시형태에 있어서의 화상 처리 장치가 실행하는 화상 생성 처리의 흐름을 설명하는 흐름도이다.
도 15는 도 14에 있어서의 스텝 S103의 잘라냄 처리의 흐름을 설명하는 흐름도이다.
도 16은 도 14에 있어서의 스텝 S106의 결합 처리의 흐름을 설명하는 흐름도이다.
도 17은 복수의 피사체를 일괄해서 공간적으로 잘라내는 개념을 나타내는 모식도이다.

이하, 본 발명의 실시형태에 대해, 도면을 이용해서 설명한다.

[제 1 실시형태]

[구성]

도 1은 본 발명의 1실시형태에 관한 화상 처리 장치(1)의 하드웨어의 구성을 나타내는 블럭도이다.

화상 처리 장치(1)는 예를 들면 디지털 카메라로서 구성된다.

화상 처리 장치(1)는 CPU(Central Processing Unit)(11)와, ROM(Read Only Memory)(12)과, RAM(Random Access Memory)(13)과, 버스(14)와, 입출력 인터페이스(15)와, 촬상부(16)와, 입력부(17)와, 출력부(18)와, 기억부(19)와, 통신부(20)와, 드라이브(21)를 구비하고 있다.

CPU(11)는 ROM(12)에 기록되어 있는 프로그램, 또는 기억부(19)로부터 RAM(13)에 로드된 프로그램에 따라서 각종 처리를 실행한다. 예를 들면, CPU(11)는 후술하는 화상 생성 처리를 위한 프로그램에 따라서 화상 생성 처리를 실행한다.

RAM(13)에는 CPU(11)가 각종 처리를 실행함에 있어서 필요한 데이터 등도 적절히 기억된다.

CPU(11), ROM(12) 및 RAM(13)은 버스(14)를 통해 서로 접속되어 있다. 이 버스(14)에는 또 입출력 인터페이스(15)도 접속되어 있다. 입출력 인터페이스(15)에는 촬상부(16), 입력부(17), 출력부(18), 기억부(19), 통신부(20) 및 드라이브(21)가 접속되어 있다.

촬상부(16)는 도시는 하지 않지만, 광학 렌즈부와, 이미지 센서를 구비하고 있다.

광학 렌즈부는 피사체를 촬영하기 위해, 광을 집광하는 렌즈, 예를 들면 포커스 렌즈나 줌 렌즈 등으로 구성된다.

포커스 렌즈는 이미지 센서의 수광면에 피사체상을 결상시키는 렌즈이다. 줌 렌즈는 초점거리를 일정한 범위에서 자유롭게 변화시키는 렌즈이다.

광학 렌즈부에는 또, 필요에 따라, 초점, 노출, 화이트 밸런스 등의 설정 파라미터를 조정하는 주변 회로가 마련된다.

이미지 센서는 광전 변환 소자나 AFE(Analog Front End) 등으로 구성된다.

광전 변환 소자는 예를 들면 CMOS(Complementary Metal Oxide Semiconductor)형의 광전 변환 소자 등으로 구성된다. 광전 변환 소자에는 광학 렌즈부로부터 피사체상이 입사된다. 그래서, 광전 변환 소자는 피사체상을 광전 변환(촬상)해서 화상 신호를 일정시간 축적하고, 축적한 화상 신호를 아날로그 신호로서 AFE에 순차 공급한다.

AFE는 이 아날로그의 화상 신호에 대해, A/D(Analog/Digital) 변환 처리 등의 각종 신호 처리를 실행한다. 각종 신호 처리에 의해서 디지털 신호가 생성되고, 촬상부(16)의 출력 신호로서 출력된다.

이러한 촬상부(16)의 출력 신호를 이하, 「촬상 화상」이라 한다. 촬상 화상은 CPU(11) 등에 적절히 공급된다.

입력부(17)는 각종 버튼 등으로 구성되며, 유저의 지시 조작에 따라 각종 정보를 입력한다.

출력부(18)는 디스플레이나 스피커 등으로 구성되며, 화상이나 음성을 출력한다.

기억부(19)는 하드 디스크 혹은 플래시 메모리 등으로 구성되며, 각종 화상의 데이터를 기억한다.

통신부(20)는 인터넷을 포함하는 네트워크를 통해 다른 장치(도시하지 않음)와의 사이에서 실행하는 통신을 제어한다.

드라이브(21)에는 자기 디스크, 광 디스크, 광자기 디스크, 혹은 반도체 메모리 등으로 이루어지는 리무버블 미디어(31)가 적절히 장착된다. 드라이브(21)에 의해서 리무버블 미디어(31)로부터 읽어내어진 프로그램은 필요에 따라 기억부(19)에 인스톨된다. 또, 리무버블 미디어(31)는 기억부(19)에 기억되어 있는 화상의 데이터 등의 각종 데이터도, 기억부(19)와 마찬가지로 기억할 수 있다.

도 2는 이러한 화상 처리 장치(1)의 기능적 구성 중, 화상 생성 처리를 실행하기 위한 기능적 구성을 나타내는 기능 블럭도이다.

화상 생성 처리는 복수의 인물이 촬영된 1개의 동화상에서, 등록되어 있는 얼굴 정보를 토대로 각각의 인물의 얼굴 부분을 공간적 또는 시간적으로 잘라내고, 잘라내어진 동화상을 결합해서 새로운 동화상을 생성하는 일련의 처리를 말한다.

화상 생성 처리가 실행되는 경우, 도 2에 나타내는 바와 같이, CPU(11)에 있어서, 화상 선택부(51)와, 잘라냄 기준 특정부(52)와, 잘라냄 처리부(53)와, 결합 기준 특정부(54)와, 결합 처리부(55)와, 레이아웃 선택부(56)가 기능한다.

또, 기억부(19)의 1영역에는 화상 기억부(71)와, 레이아웃 기억부(72)와, 생성 화상 기억부(73)와, 얼굴 정보 기억부(74)가 설정된다.

화상 기억부(71)에는 화상 처리 장치(1) 또는 다른 장치에 의해서 촬상된 동화상의 데이터가 기억된다.

레이아웃 기억부(72)에는 새로운 동화상을 생성할 때에 이용되는 레이아웃의 데이터와, 레이아웃을 선택하기 위한 조건이 정의된 레이아웃 테이블이 기억된다.

도 3은 레이아웃 테이블의 일예를 나타내는 도면이다.

도 3에 나타내는 바와 같이, 레이아웃 테이블에는 동화상에서 잘라내어진 부분의 수를 나타내는 잘라냄 화상 수와, 동화상에서 잘라내어진 부분 중 가장 높은 우선 순위가 설정된 부분을 나타내는 최우선의 잘라냄 대상과, 대응하는 레이아웃이 대응지어져 기억되어 있다.

구체적으로는 레이아웃 테이블에는 잘라냄 화상 수로서 「2, 3」 등의 수치, 최우선의 잘라냄 대상으로서 「인물 A, B, C의 얼굴」, 「정면, 우향, 좌향 등의 얼굴의 방향」, 「최우선의 잘라냄 대상 없음」등의 잘라냄 대상의 속성, 대응 레이아웃으로서 「레이아웃 2A, 2B…2N, 레이아웃 3A, 3B…3N」 등의 레이아웃의 데이터가 대응지어져 있다.

도 4는 레이아웃의 일예를 나타내는 모식도이고, 도 4의 (a)는 레이아웃 2A, 도 4의 (b)는 레이아웃 2B, 도 4의 (c)는 레이아웃 3G, 도 4의 (d)는 레이아웃 3H를 나타내는 도면이다.

도 4의 각 모식도에 나타내는 바와 같이, 레이아웃에는 배경과, 배경에 합성하는 화상의 수와, 크기 및 위치 관계가 정의되어 있다. 또한, 도 4의 (a)의 레이아웃 2A나, 도 4의 (b)의 레이아웃 2B와 같이, 화면 전체에 화상이 합성되는 경우에는 배경으로서 틀만이 표시된다.

구체적으로는 레이아웃에는 배경에 합성하는 소정 수의 화상의 합성 위치가 설정되고, 각각의 합성 위치에는 우선 순위가 설정되어 있다. 또, 각 합성 위치에는 합성하는 화상의 크기가 설정되어 있다.

예를 들면, 도 4의 (a)의 레이아웃 2A는 2개의 화상을 좌우로 배열하는 합성 위치에 동일한 크기로 배치하는 레이아웃이고, 좌측의 합성 위치가 우선 순위 1, 우측의 합성 위치가 우선 순위 2로 되어 있다. 또, 도 4의 (c)의 레이아웃 3G는 3개의 화상을 좌측 상부, 중앙, 우측 하부에 배열하는 합성 위치에, 중앙의 합성 위치를 크고, 좌측 상부 및 우측 하부의 합성 위치를 작게 배치하는 레이아웃이며, 중앙의 합성 위치가 우선 순위 1, 좌측 상부의 합성 위치가 우선 순위 2, 우측 하부의 합성 위치가 우선 순위 3으로 되어 있다.

도 2로 되돌아가, 생성 화상 기억부(73)에는 잘라내어진 동화상을 레이아웃에 따라 결합한 새로운 동화상의 데이터가 기억된다.

얼굴 정보 기억부(74)에는 인물의 얼굴(정면,우향, 좌향)의 인증용 데이터가 기억되어 있다. 인물의 얼굴의 인증용 데이터는 동화상에 있어서 검출된 얼굴이 특정 인물의 얼굴인지 아닌지를 인증하기 위해 이용된다. 또한, 동화상으로부터 얼굴을 검출하는 처리 및 검출된 얼굴이 특정 인물인지 아닌지를 인증하는 처리에는 공지의 각종 얼굴 검출 기술 및 얼굴 인증 기술을 이용할 수 있다.

화상 선택부(51)는 화상 기억부(71)에 기억된 화상의 데이터 중에서, 유저의 지시 입력에 대응하는 동화상의 데이터를 선택한다. 이하, 선택된 동화상의 데이터를 「오리지널의 동화상」이라 한다.

잘라냄 기준 특정부(52)는 동화상에서 인물의 얼굴 부분을 잘라낼 때의 잘라냄 기준을 특정한다.

본 실시형태에서는 잘라냄 기준으로서, 공간적 잘라냄 기준과 시간적 잘라냄 기준이 정의되어 있고, 잘라냄 기준 특정부(52)는 동화상의 잘라냄이 실행될 때에, 전회 사용된 공간적 잘라냄 기준 또는 시간적 잘라냄 기준 중의 어느 하나를 특정한다. 또한, 잘라냄 기준 특정부(52)가 유저에 의한 임의의 잘라냄 기준의 특정을 접수하는 것으로 해도 좋다.

구체적으로는 공간적 잘라냄 기준 및 시간적 잘라냄 기준은 이하와 같이 설정되어 있다.

(공간적 잘라냄 기준 1)

동화상을 구성하는 프레임마다의 화면에 있어서 검출되며, 특정 인물로서 인증된 얼굴 각각을 잘라냄 대상으로 한다.

(공간적 잘라냄 기준 2)

동화상을 구성하는 프레임마다의 화면에 있어서 검출된 얼굴 및 특정 인물로서 인증된 얼굴 각각을 잘라냄 대상으로 한다.

(공간적 잘라냄 기준 3)

동화상을 구성하는 프레임마다의 화면에 있어서 특정 인물로서 인증된 얼굴을 잘라냄 대상으로 하지 않는다.

(공간적 잘라냄 기준 4)

동화상을 구성하는 프레임마다의 화면에 있어서 검출된 1인의 얼굴 또는 특정 인물로서 인증된 1인의 얼굴의 정면/우향/좌향을 따로따로 잘라냄 대상으로 한다. 단, 인증된 얼굴을 검출된 얼굴보다 우선하고, 복수의 얼굴이 검출 또는 인증된 경우에는 인증 대상으로서 등록된 얼굴에 설정되어 있는 우선 순위나, 검출 또는 인증된 얼굴의 크기에 따라 잘라냄 대상을 결정한다.

(시간적 잘라냄 기준 1)

동화상을 구성하는 연속된 프레임에 있어서 얼굴이 검출된 경우 또는 특정 인물로서 얼굴이 인증된 경우, 검출된 얼굴 및 인증된 얼굴이 존재하고 있는지의 여부에 관계없이, 동일한 시간의 길이로 각 얼굴에 대응하는 동화상을 잘라낸다. 단, 얼굴이 검출 또는 인증되지 않았던 프레임의 기간에는 오리지널의 동화상을 그대로 삽입함으로써, 동일한 프레임 수로 되도록 한다.

(시간적 잘라냄 기준 2)

동화상을 구성하는 연속된 프레임에 있어서 얼굴이 검출된 경우 또는 특정 인물로서 얼굴이 인증된 경우, 검출된 얼굴 및 인증된 얼굴이 존재하고 있는지의 여부에 관계없이, 동일한 시간의 길이로 각 얼굴에 대응하는 동화상을 잘라낸다. 단, 얼굴이 검출 또는 인증되지 않았던 프레임의 기간은 잘라냄을 실행하지 않고 시간적으로 압축한 동화상을 잘라내며, 가장 긴 동화상의 길이에 맞도록, 다른 짧은 동화상의 프레임 레이트를 저하시킴으로써, 다른 프레임 수라도 동일한 시간으로 되도록 한다.

(시간적 잘라냄 기준 3)

동화상을 구성하는 연속된 프레임에 있어서 얼굴이 검출된 경우 또는 특정 인물로서 얼굴이 인증된 경우, 검출된 얼굴 및 인증된 얼굴이 존재하고 있는 부분의 프레임의 기간만을 잘라내고, 시간적으로 압축한 동화상을 잘라낸다. 단, 잘라냄 대상으로 하는 부분은 연속해서 얼굴이 검출 또는 인증되는 시간이 소정의 임계값 시간 이상의 부분으로 한다. 또한, 검출 또는 인증된 얼굴의 정면/우향/좌향을 구별하여 시간적으로 잘라내는 것으로 해도 좋다.

잘라냄 처리부(53)는 잘라냄 기준 특정부(52)에 의해서 특정된 잘라냄 기준에 따라서, 동화상에서 인물의 얼굴 부분을 잘라내는 잘라냄 처리를 실행한다. 구체적으로는 잘라냄 처리부(53)는 오리지널의 동화상을 서치하고, 잘라냄 대상으로 되는 피사체를 특정한다. 그리고, 잘라냄 처리부(53)는 잘라냄 기준 특정부(52)에 의해서 특정된 잘라냄 기준에 따라, 프레임마다의 화면내의 특정 인물의 얼굴을 포함하는 직사각형 영역을 공간적으로 잘라내거나, 특정 인물의 얼굴을 포함하는 프레임의 기간을 시간적으로 잘라낸다. 또한, 공간적으로 잘라내어진 동화상은 후술하는 레이아웃에의 합성시에, 레이아웃에 따라서는 잘라내어진 영역의 일부를 커트하여, 사이즈나 애스펙트비 등이 변경되는 경우가 있다. 그 때문에, 잘라냄 처리부(53)에 있어서 잘라냄 대상으로 되는 피사체를 공간적으로 잘라내는 경우에는 피사체의 주위에 일정한 여백 영역을 포함시켜 잘라내는 것으로 해도 좋다.

결합 기준 특정부(54)는 잘라냄 처리부(53)에 의해서 잘라내어진 동화상을 결합할 때의 결합 기준을 특정한다.

본 실시형태에서는 결합 기준으로서, 공간적 결합 기준과 시간적 결합 기준이 정의되어 있으며, 결합 기준 특정부(54)는 동화상의 결합이 실행될 때에, 전회 사용된 공간적 결합 기준 또는 시간적 결합 기준 중의 어느 하나를 특정한다. 또한, 결합 기준 특정부(54)가 유저에 의한 임의의 결합 기준의 특정을 접수하는 것으로 해도 좋다.

구체적으로는 공간적 결합 기준 및 시간적 잘라냄 기준은 이하와 같이 설정되어 있다.

(공간적 결합 기준 1)

잘라냄 화상 수와, 미리 등록되어 있는 우선 순위가 가장 높은 잘라냄 대상에 대응하는 레이아웃을 선택하고, 잘라내어진 동화상의 우선 순위의 순으로 합성 위치의 영역에 할당한다.

(공간적 결합 기준 2)

잘라냄 화상 수와, 잘라냄 부분이 가장 큰 잘라냄 대상에 대응하는 레이아웃을 선택하고, 잘라내어진 동화상의 우선 순위의 순으로 합성 위치의 영역에 할당한다.

(공간적 결합 기준 3)

잘라냄 화상 수와, 잘라냄 시간(잘라냄 후에 시간의 길이를 변경하는 경우에는 원래의 잘라냄 시간)이 가장 긴 잘라냄 대상에 대응하는 레이아웃을 선택하고, 잘라내어진 동화상의 우선 순위의 순으로 합성 위치의 영역에 할당한다.

(시간적 결합 기준 1)

미리 등록되어 있는 우선 순위의 순으로 결합한다. 단, 인증된 얼굴을 검출된 얼굴보다 우선하고, 복수의 얼굴이 검출 또는 인증된 경우에는 인증 대상으로서 등록된 얼굴에 설정되어 있는 우선 순위나, 검출 또는 인증된 얼굴의 크기에 따라 결합 순서를 결정한다.

(시간적 결합 기준 2)

잘라냄 부분의 크기의 순으로 결합한다.

(시간적 결합 기준 3)

잘라냄 시간(잘라냄 후에 시간의 길이를 변경하는 경우에는 오리지널의 동화상을 삽입하고 있지 않거나, 혹은 프레임 레이트를 저하시키고 있지 않은 원래의 잘라냄 시간)의 길이의 순으로 결합한다.

결합 처리부(55)는 결합 기준 특정부(54)에 의해서 특정된 결합 기준에 따라, 잘라냄 처리부(53)에 의해서 잘라내어진 각 동화상을 결합한다. 구체적으로는 결합 처리부(55)는 잘라내어진 각 동화상을 공간적 결합 기준에 따라 결합하는 공간적 결합 처리, 또는 잘라내어진 각 동화상을 시간적 결합 기준에 따라 결합하는 시간적 결합 처리를 실행한다.

레이아웃 선택부(56)는 결합 처리부(55)에 의해서 동화상의 공간적인 결합이 실행되는 경우에, 잘라냄 화상 수 및 최우선의 잘라냄 대상에 의거하여 레이아웃 테이블을 참조하고, 레이아웃 데이터를 선택한다.

[화상 생성 수순의 개념]

도 5는 공간적 잘라냄 기준의 개념을 나타내는 모식도이고, 도 5의 (a), (b)는 공간적 잘라냄 기준 1, 도 5의 (c), (d)는 공간적 잘라냄 기준 2, 도 5의 (e), (f)는 공간적 잘라냄 기준 3, 도 5의 (g), (h), (i)는 공간적 잘라냄 기준 4의 개념을 나타내는 모식도이다. 또한, 도 5의 각 모식도에 있어서의 파선은 공간적인 잘라냄 영역을 나타내고 있다.

공간적 잘라냄 기준 1에서는 도 5의 (a)에 나타내는 바와 같이, 동화상내에 특정 인물로서 인증된 인물 A∼C의 얼굴이 포함되는 경우, 인물 A∼C의 얼굴 각각이 잘라냄 대상으로 된다. 또, 도 5의 (b)에 나타내는 바와 같이, 동화상내에 특정 인물로서 인증된 인물 A, B의 얼굴 및 그 이외의 인물 X의 얼굴이 포함되는 경우, 인물 A, B의 얼굴 각각이 잘라냄 대상으로 되고, 인물 X의 얼굴은 잘라냄 대상으로 되지 않는다.

공간적 잘라냄 기준 2에서는 도 5의 (c)에 나타내는 바와 같이, 동화상내에 특정 인물로서 인증된 인물 A∼C의 얼굴이 포함되는 경우, 도 5의 (a)와 마찬가지로, 인물 A∼C의 얼굴 각각이 잘라냄 대상으로 된다. 한편, 도 5의 (d)에 나타내는 바와 같이, 동화상내에 특정 인물로서 인증된 인물 A, B의 얼굴 및 그 이외의 인물 X의 얼굴이 포함되는 경우, 인물 A, B의 얼굴 및 인물 X의 얼굴 각각이 잘라냄 대상으로 된다.

공간적 잘라냄 기준 3에서는 도 5의 (e)에 나타내는 바와 같이, 동화상내에 특정 인물로서 인증된 인물 A∼C의 얼굴이 포함되는 경우, 인물 A∼C의 얼굴은 잘라냄 대상으로 되지 않는다. 또, 도 5의 (f)에 나타내는 바와 같이, 동화상내에 특정 인물로서 인증된 인물 A, B의 얼굴 및 그 이외의 인물(불특정 인물) X의 얼굴이 포함되는 경우, 인물 A, B의 얼굴은 잘라냄 대상으로 되지 않고, 인물 X의 얼굴은 잘라냄 대상으로 된다.

공간적 잘라냄 기준 4에서는 도 5의 (g)∼(i)에 나타내는 바와 같이, 동화상내에 특정 인물로서 인증된 인물 또는 그 이외의 인물의 얼굴이 포함되는 경우, 우선 순위가 가장 높은 얼굴의 방향이 정면의 상태, 우향의 상태 및 좌향의 상태 각각이 따로따로 잘라냄 대상으로 된다.

도 6∼도 9는 화상 생성 수순 전체의 개념을 나타내는 모식도이다. 또한, 도 6∼도 9에 있어서는 시간적 잘라냄 기준에 의해서 동화상이 잘라내어진 경우를 예로 들어, 시간적 결합 기준 및 공간적 결합 기준에 의해서 동화상이 생성되는 경우의 개념을 나타내고 있다.

구체적으로는 도 6은 시간적 잘라냄 기준 1에서 동화상을 잘라낸 경우, 도 7은 시간적 잘라냄 기준 2에서 동화상을 잘라낸 경우, 도 8은 시간적 잘라냄 기준 3에서 동화상을 잘라낸 경우로서, 잘라낸 동화상 사이에서 잘라냄 프레임이 중복되는 경우, 도 9는 시간적 잘라냄 기준 3에서 동화상을 잘라낸 경우로서, 잘라낸 동화상 사이에서 잘라냄 프레임이 중복되지 않는 경우의 예를 나타내는 도면이다.

도 6에 나타내는 바와 같이, 시간적 잘라냄 기준 1에서는 도 6의 (a)에 나타내는 오리지널의 동화상내에 특정 인물로서 인증된 인물 A, B, C의 얼굴이 포함되는 경우, 동일한 시간의 길이로 인물 A, B, C 각각의 얼굴에 대응하는 동화상이 잘라내어진다(도 6의 (b) 참조). 또한, 도 6의 (a)에 나타내는 오리지널의 동화상에서는 인물 A, B, C의 얼굴이 전체 프레임의 기간에 있어서 인증되고 있지만, 도 7의 (a)에 나타내는 오리지널의 동화상과 같이 얼굴이 검출 또는 인증되지 않았던 프레임의 기간이 있는 경우에는 그 기간에 오리지널의 동화상이 삽입된다. 그 때문에, 잘라내어지는 각 동화상의 시간, 프레임 수 및 프레임 레이트는 오리지널의 동화상과 동일하게 된다.

이 때, 미리 등록되어 있는 우선 순위가 인물 A, 인물 B, 인물 C의 순으로 높고, 잘라내어진 부분의 크기가 인물 B, 인물 A, 인물 C의 순으로 큰 것으로 한다.

그러면, 도 6의 (c)에 나타내는 바와 같이, 잘라내어진 동화상을 시간적 결합 기준 1에 따라서 결합하는 경우, 미리 등록되어 있는 우선 순위에 따라, 인물 A, 인물 B, 인물 C의 순으로 잘라내어진 동화상이 결합된다.

한편, 잘라내어진 동화상을 시간적 결합 기준 2에 따라서 결합하는 경우, 잘라냄 부분의 크기에 따라, 인물 B, 인물 A, 인물 C의 순으로 잘라내어진 동화상이 결합된다. 또, 시간적 결합 기준 3에 따라서 결합하는 경우, 잘라내어지는 동화상의 시간은 인물 A, 인물 B, 인물 C에서 동일하지만, 도 7의 (a)에 나타내는 오리지널의 동화상과 같이 오리지널의 동화상을 삽입하기 전의 원래의 잘라내어진 동화상의 길이가 다른 경우에는 길이의 순에 따라, 인물 A, 인물 B, 인물 C의 순으로 결합한다.

또, 도 6의 (d)에 나타내는 바와 같이, 잘라내어진 동화상을 공간적 결합 기준 1에 따라서 결합하는 경우, 미리 등록되어 있는 우선 순위에 따라, 인물 A가 우선 순위 1의 합성 위치의 영역, 인물 B가 우선 순위 2의 합성 위치의 영역, 인물 C가 우선 순위 3의 합성 위치의 영역에 결합된다. 또한, 이 때, 잘라냄 화상 수가 3이고, 인물 A가 최우선의 잘라냄 대상이기 때문에, 레이아웃 테이블을 참조하여, 레이아웃 3A가 선택된다.

한편, 잘라내어진 동화상을 공간적 결합 기준 2에 따라서 결합하는 경우, 잘라내어진 부분의 크기에 따라, 인물 B가 우선 순위 1의 합성 위치의 영역, 인물 A가 우선 순위 2의 합성 위치의 영역, 인물 C가 우선 순위 3의 합성 위치의 영역에 결합된다. 또, 공간적 결합 기준 3에 따라서 결합하는 경우, 잘라내어지는 동화상의 시간은 인물 A, 인물 B, 인물 C에서 동일하지만, 도 7의 (a)에 나타내는 오리지널의 동화상과 같이 오리지널의 동화상을 삽입하기 전의 원래의 잘라내어진 동화상의 길이가 다른 경우에는 길이의 순에 따라, 인물 A, 인물 B, 인물 C의 순으로 우선 순위가 높은 합성 위치의 영역에 결합한다. 또한, 이 때, 잘라냄 화상 수가 3이고, 인물 B가 최우선의 잘라냄 대상이기 때문에, 레이아웃 테이블을 참조하여, 레이아웃 3B가 선택된다.

또, 도 7에 나타내는 바와 같이, 시간적 잘라냄 기준 2에서는 도 7의 (a)에 나타내는 오리지널의 동화상내에 특정 인물로서 인증된 인물 A, B, C의 얼굴이 포함되는 경우, 동일한 시간의 길이로 인물 A, B, C 각각의 얼굴에 대응하는 동화상이 잘라내어진다(도 7의 (b) 참조). 또한, 도 7의 (a)에 나타내는 오리지널의 동화상에서는 인물 B, C의 얼굴이 일부의 프레임의 기간에 있어서 인증되어 있지 않지만, 얼굴이 검출 또는 인증되지 않았던 프레임의 기간이 있는 경우에는 그 기간이 잘라내어지지 않고 압축된다. 그 때문에, 시간의 길이를 맞추기 위해 프레임 레이트를 오리지널의 동화상보다 저하시킨다.

이 때, 미리 등록되어 있는 우선 순위가 인물 A, 인물 B, 인물 C의 순으로 높고, 잘라내어진 부분의 크기가 인물 B, 인물 A, 인물 C의 순으로 크고, 잘라내어진 동화상의 프레임 레이트가 인물 A, 인물 B, 인물 C의 순으로 높은(즉, 시간의 길이를 맞추기 전의 길이가 인물 A, 인물 B, 인물 C의 순으로 긴) 것으로 한다.

그러면, 도 7의 (c)에 나타내는 바와 같이, 잘라내어진 동화상을 시간적 결합 기준 1에 따라서 결합하는 경우, 미리 등록되어 있는 우선 순위에 따라, 인물 A, 인물 B, 인물 C의 순으로 잘라내어진 동화상이 결합된다.

한편, 잘라내어진 동화상을 시간적 결합 기준 2에 따라서 결합하는 경우, 잘라냄 부분의 크기에 따라, 인물 B, 인물 A, 인물 C의 순으로 잘라내어진 동화상이 결합된다.

또한, 잘라내어진 동화상을 시간적 결합 기준 3에 따라서 결합하는 경우, 잘라냄 시간의 길이가 동일하지만, 이 경우에는 프레임 레이트를 저하시키기 전의 원래의 잘라내어진 동화상의 길이에 따라, 인물 A, 인물 B, 인물 C의 순으로 잘라내어진 동화상이 결합된다.

또, 도 7의 (d)에 나타내는 바와 같이, 잘라내어진 동화상을 공간적 결합 기준 1에 따라서 결합하는 경우, 미리 등록되어 있는 우선 순위에 따라, 인물 A가 우선 순위 1의 합성 위치의 영역, 인물 B가 우선 순위 2의 합성 위치의 영역, 인물 C가 우선 순위 3의 합성 위치의 영역에 결합된다. 또한, 이 때, 잘라냄 화상 수가 3이고, 인물 A가 최우선의 잘라냄 대상이기 때문에, 레이아웃 테이블을 참조하여, 레이아웃 3A가 선택된다.

한편, 잘라내어진 동화상을 공간적 결합 기준 2에 따라서 결합하는 경우, 잘라내어진 부분의 크기에 따라, 인물 B가 우선 순위 1의 합성 위치의 영역, 인물 A가 우선 순위 2의 합성 위치의 영역, 인물 C가 우선 순위 3의 합성 위치의 영역에 결합된다. 또한, 이 때, 잘라냄 화상 수가 3이고, 인물 B가 최우선의 잘라냄 대상이기 때문에, 레이아웃 테이블을 참조하여, 레이아웃 3B가 선택된다.

또한, 잘라내어진 동화상을 공간적 결합 기준 3에 따라서 결합하는 경우, 잘라냄 시간의 길이가 동일하지만, 이 경우에는 프레임 레이트를 저하시키기 전의 원래의 잘라내어진 동화상의 길이에 따라, 인물 A가 우선 순위 1의 합성 위치의 영역, 인물 B가 우선 순위 2의 합성 위치의 영역, 인물 C가 우선 순위 3의 합성 위치의 영역에 결합된다. 또한, 이 때, 잘라냄 화상 수가 3이고, 인물 A가 최우선의 잘라냄 대상이기 때문에, 레이아웃 테이블을 참조하여, 레이아웃 3A가 선택된다.

또, 도 8에 나타내는 바와 같이, 시간적 잘라냄 기준 3에서는 도 8의 (a)에 나타내는 오리지널의 동화상내에 특정 인물로서 인증된 인물 A, B, C의 얼굴이 포함되는 경우, 인물 A, B, C의 얼굴이 포함되는 부분만이 인물 A, B, C 각각의 얼굴에 대응하는 동화상으로서 잘라내어진다(도 8의 (b) 참조). 도 8에 나타내는 예에서는 오리지널의 동화상에 있어서, 인물 A, 인물 B, 인물 C의 얼굴이 포함되는 프레임이 시간적으로 중복되어 있다. 또한, 도 8의 (a)에 나타내는 오리지널의 동화상에서는 인물 B, C의 얼굴이 일부의 프레임의 기간에 있어서 인증되어 있지 않지만, 얼굴이 검출 또는 인증되지 않았던 프레임의 기간이 있는 경우에는 오리지널의 동화상 이하로 된다.

이 때, 미리 등록되어 있는 우선 순위가 인물 A, 인물 B, 인물 C의 순으로 높고, 잘라내어진 부분의 크기가 인물 B, 인물 A, 인물 C의 순으로 크고, 잘라내어진 동화상의 길이가 인물 A, 인물 B, 인물 C의 순으로 긴 것으로 한다.

그러면, 도 8의 (c)에 나타내는 바와 같이, 잘라내어진 동화상을 시간적 결합 기준 1에 따라서 결합하는 경우, 미리 등록되어 있는 우선 순위에 따라, 인물 A, 인물 B, 인물 C의 순으로 잘라내어진 동화상이 결합된다.

한편, 잘라내어진 동화상을 시간적 결합 기준 2에 따라서 결합하는 경우, 잘라냄 부분의 크기에 따라, 인물 B, 인물 A, 인물 C의 순으로 잘라내어진 동화상이 결합된다.

또한, 잘라내어진 동화상을 시간적 결합 기준 3에 따라서 결합하는 경우, 잘라냄 시간의 길이에 따라, 인물 A, 인물 B, 인물 C의 순으로 잘라내어진 동화상이 결합된다.

또, 도 8의 (d)에 나타내는 바와 같이, 잘라내어진 동화상을 공간적 결합 기준 1에 따라서 결합하는 경우, 미리 등록되어 있는 우선 순위에 따라, 인물 A가 우선 순위 1의 합성 위치의 영역, 인물 B가 우선 순위 2의 합성 위치의 영역, 인물 C가 우선 순위 3의 합성 위치의 영역에 결합된다. 또한, 이 때, 잘라냄 화상 수가 3이고, 인물 A가 최우선의 잘라냄 대상이기 때문에, 레이아웃 테이블을 참조하여, 레이아웃 3A가 선택된다.

한편, 잘라내어진 동화상을 공간적 결합 기준 2에 따라서 결합하는 경우, 잘라내어진 부분의 크기에 따라, 인물 B가 우선 순위 1의 합성 위치의 영역, 인물 A가 우선 순위 2의 합성 위치의 영역, 인물 C가 우선 순위 3의 합성 위치의 영역에 결합된다. 또한, 이 때, 잘라냄 화상 수가 3이고, 인물 B가 최우선의 잘라냄 대상이기 때문에, 레이아웃 테이블을 참조하여, 레이아웃 3B가 선택된다.

또한, 잘라내어진 동화상을 공간적 결합 기준 3에 따라서 결합하는 경우, 잘라냄 시간의 길이에 따라, 인물 A가 우선 순위 1의 합성 위치의 영역, 인물 B가 우선 순위 2의 합성 위치의 영역, 인물 C가 우선 순위 3의 합성 위치의 영역에 결합된다. 또한, 이 때, 잘라냄 화상 수가 3이고, 인물 A가 최우선의 잘라냄 대상이기 때문에, 레이아웃 테이블을 참조하여, 레이아웃 3A가 선택된다.

또, 도 9에 나타내는 바와 같이, 시간적 잘라냄 기준 3에서는 도 9의 (a)에 나타내는 오리지널의 동화상내에 특정 인물로서 인증된 인물의 정면, 우향 및 좌향의 얼굴이 포함되는 경우, 정면, 우향 및 좌향의 얼굴이 포함되는 부분만이 각각 동화상으로서 잘라내어진다(도 9의 (b) 참조). 도 9의 (a)에 나타내는 오리지널의 동화상에서는 인물의 얼굴이 전체 프레임의 기간에 있어서 인증되어 있으며, 정면, 우향 및 좌향의 얼굴이 포함되는 각각의 프레임은 시간적으로 중복되어 있지 않다. 그 때문에, 잘라내어지는 동화상의 길이의 합계는 오리지널의 동화상의 길이와 동일하게 된다.

이 때, 미리 등록되어 있는 우선 순위가 정면, 우향, 좌향의 순으로 높고, 잘라내어진 부분의 크기가 우향, 정면, 좌향의 순으로 크며, 잘라내어진 동화상의 길이가 정면, 우향, 좌향의 순으로 긴 것으로 한다.

그러면, 도 9의 (c)에 나타내는 바와 같이, 잘라내어진 동화상을 시간적 결합 기준 1에 따라서 결합하는 경우, 미리 등록되어 있는 우선 순위에 따라, 정면, 우향, 좌향의 순으로 잘라내어진 동화상이 결합된다.

한편, 잘라내어진 동화상을 시간적 결합 기준 2에 따라서 결합하는 경우, 잘라냄 부분의 크기에 따라, 우향, 정면, 좌향의 순으로 잘라내어진 동화상이 결합된다.

또한, 잘라내어진 동화상을 시간적 결합 기준 3에 따라서 결합하는 경우, 잘라냄 시간의 길이에 따라, 정면, 우향, 좌향의 순으로 잘라내어진 동화상이 결합된다.

또, 도 9의 (d)에 나타내는 바와 같이, 잘라내어진 동화상을 공간적 결합 기준 1에 따라서 결합하는 경우, 미리 등록되어 있는 우선 순위에 따라, 정면이 우선 순위 1의 합성 위치의 영역, 우향이 우선 순위 2의 합성 위치의 영역, 좌향이 우선 순위 3의 합성 위치의 영역에 결합된다. 또한, 이 때, 잘라냄 화상 수가 3이고, 정면이 최우선의 잘라냄 대상이기 때문에, 레이아웃 테이블을 참조하여, 레이아웃 3G가 선택된다.

한편, 잘라내어진 동화상을 공간적 결합 기준 2에 따라서 결합하는 경우, 잘라내어진 부분의 크기에 따라, 우향이 우선 순위 1의 합성 위치의 영역, 정면이 우선 순위 2의 합성 위치의 영역, 좌향이 우선 순위 3의 합성 위치의 영역에 결합된다. 또한, 이 때, 잘라냄 화상 수가 3이고, 우향이 최우선의 잘라냄 대상이기 때문에, 레이아웃 테이블을 참조하여, 레이아웃 3H가 선택된다.

또한, 잘라내어진 동화상을 공간적 결합 기준 3에 따라서 결합하는 경우, 잘라냄 시간의 길이에 따라, 정면이 우선 순위 1의 합성 위치의 영역, 우향이 우선 순위 2의 합성 위치의 영역, 좌향이 우선 순위 3의 합성 위치의 영역에 결합된다. 또한, 이 때, 잘라냄 화상 수가 3이고, 정면이 최우선의 잘라냄 대상이기 때문에, 레이아웃 테이블을 참조하여, 레이아웃 3G가 선택된다.

[동작]

다음에, 동작을 설명한다.

[화상 생성 처리]

도 10은 도 2의 기능적 구성을 갖는 도 1의 화상 처리 장치(1)가 실행하는 화상 생성 처리의 흐름을 설명하는 흐름도이다.

화상 생성 처리는 유저에 의한 입력부(17)에의 화상 생성 처리 개시를 위한 조작에 의해 개시된다.

스텝 S1에 있어서, 화상 선택부(51)는 화상 기억부(71)에 기억된 화상의 데이터 중에서, 유저의 지시 입력에 대응하는 동화상의 데이터를 선택한다. 이 선택된 동화상의 데이터가 오리지널의 동화상으로 된다.

스텝 S2에 있어서, 잘라냄 기준 특정부(52)는 동화상에서 인물의 얼굴 부분을 잘라낼 때의 잘라냄 기준을 특정한다. 여기서는 전회 선택된 잘라냄 기준을 금회 사용하는 잘라냄 기준으로서 특정하지만, 유저에 의한 입력부(17)에의 잘라냄 기준의 선택을 위한 조작에 의해 특정해도 좋다.

스텝 S3에 있어서, 잘라냄 처리부(53)는 잘라냄 기준 특정부(52)에 의해서 특정된 잘라냄 기준에 따라, 동화상에서 인물의 얼굴 부분을 잘라내는 잘라냄 처리를 실행한다. 또한, 잘라냄 처리의 상세는 후술한다.

스텝 S4에 있어서, 결합 기준 특정부(54)는 잘라냄 처리부(53)에 의해서 잘라내어진 동화상을 결합할 때의 결합 기준을 특정한다. 여기서는 전회 선택된 결합 기준을 금회 사용하는 결합 기준으로서 특정하지만, 유저에 의한 입력부(17)에의 결합 기준의 선택을 위한 조작에 의해 특정해도 좋다.

스텝 S5에 있어서, 결합 처리부(55)는 스텝 S4에 있어서 특정된 결합 기준에 의거하여, 잘라내어진 동화상을 공간적으로 결합할지의 여부의 판정을 실행한다.

잘라내어진 동화상을 공간적으로 결합하지 않는 경우, 스텝 S5에 있어서 NO로 판정되어, 처리는 스텝 S8로 이행한다.

한편, 잘라내어진 동화상을 공간적으로 결합하는 경우, 스텝 S5에 있어서 YES로 판정되어, 처리는 스텝 S6으로 이행한다.

스텝 S6에 있어서, 레이아웃 선택부(56)는 스텝 S4에 있어서 특정된 결합 기준에 의거하여, 스텝 3에 있어서 잘라냄 처리에 의해 잘라내어진 잘라냄 화상 수 및 최우선의 잘라냄 대상에 의거하여, 레이아웃 테이블을 참조하고, 레이아웃 데이터를 선택한다.

스텝 S7에 있어서, 결합 처리부(55)는 잘라내어진 동화상을 공간적 결합 기준에 따라 결합하는 공간적 결합 처리를 실행한다. 또한, 공간적 결합 처리의 상세는 후술한다.

스텝 S8에 있어서, 결합 처리부(55)는 잘라내어진 동화상을 시간적 결합 기준에 따라 결합하는 시간적 결합 처리를 실행한다. 또한, 시간적 결합 처리의 상세는 후술한다.

스텝 S7 및 스텝 S8의 후에, 화상 생성 처리는 종료로 된다.

[잘라냄 처리]

도 11은 도 10에 있어서의 스텝 S3의 잘라냄 처리의 흐름을 설명하는 흐름도이다.

스텝 S31에 있어서, 잘라냄 처리부(53)는 오리지널의 동화상을 서치하고, 잘라냄 대상으로 되는 피사체를 특정한다.

스텝 S32에 있어서, 잘라냄 처리부(53)는 특정되어 있는 공간적 잘라냄 기준 또는 시간적 잘라냄 기준에 의거하여, 최우선의 피사체를 처리 대상으로서 선택한다.

스텝 S33에 있어서, 잘라냄 처리부(53)는 선택된 피사체를 공간적 또는 시간적으로 잘라내고, 중간 동화상을 생성한다. 중간 동화상은 특정의 파일 형식으로 되어 있지 않은 일시적으로 기억되는 프레임 데이터의 집합이다.

스텝 S34에 있어서, 잘라냄 처리부(53)는 모든 잘라냄 대상으로 되는 피사체의 잘라냄 처리가 종료했는지의 여부의 판정을 실행한다.

모든 잘라냄 대상으로 되는 피사체의 잘라냄 처리가 종료하고 있지 않은 경우, 스텝 S34에 있어서 NO로 판정되어, 처리는 스텝 S35로 이행한다.

스텝 S35에 있어서, 잘라냄 처리부(53)는 다음의 우선 순위의 피사체를 처리 대상으로서 선택한다.

스텝 S35의 후에, 처리는 스텝 S33으로 이행한다.

한편, 모든 잘라냄 대상으로 되는 피사체의 잘라냄 처리가 종료한 경우, 스텝 S34에 있어서 YES로 판정되어, 처리는 도 10의 화상 생성 처리로 되돌아간다.

[공간적 결합 처리]

도 12는 도 10에 있어서의 스텝 S7의 공간적 결합 처리의 흐름을 설명하는 흐름도이다.

스텝 S51에 있어서, 결합 처리부(55)는 선택된 레이아웃의 각 합성 위치의 우선 순위에 대응하는 중간 동화상(사이즈나 애스펙트비를 조정한 중간 동화상)을 레이아웃에 따라 합성하는 것에 의해 결합한다.

스텝 S52에 있어서, 결합 처리부(55)는 중간 동화상을 결합한 동화상을 파일화한다. 또한, 본 실시형태에 있어서, 동화상을 파일화할 때의 파일 형식으로서는 예를 들면, MPEG(Moｖing Picture Experts Group) 4, H. 264 혹은 H. 265 등에 준거한 것으로 할 수 있다.

스텝 S52의 후에, 처리는 화상 생성 처리로 되돌아간다.

[시간적 결합 처리]

도 13은 도 10에 있어서의 스텝 S8의 시간적 결합 처리의 흐름을 설명하는 흐름도이다.

스텝 S71에 있어서, 결합 처리부(55)는 특정된 시간적 결합 기준의 우선 순위의 순으로 중간 동화상을 연결해서 결합한다.

스텝 S72에 있어서, 결합 처리부(55)는 중간 동화상을 결합한 동화상을 파일화한다.

스텝 S72의 후에, 처리는 화상 생성 처리로 되돌아간다.

이러한 처리의 결과, 유저에 의해서 선택된 동화상(오리지널의 동화상)에 있어서, 복수의 인물이 피사체로서 포함되는 경우에도, 공간적 잘라냄 기준 또는 시간적 잘라냄 기준에 따라서, 복수의 잘라냄 대상이 잘라내어진다. 그리고, 잘라내어진 동화상이 공간적 결합 기준 또는 시간적 결합 기준에 따라서, 우선 순위에 따라 결합되고, 새로운 동화상이 생성된다.

그 때문에, 복수의 인물이 화면내에서 떨어져 있는 경우에도, 각각의 인물을 적절히 동화상에서 잘라내어, 새로운 동화상을 생성할 수 있다.

따라서, 화면내에 존재하는 복수의 피사체의 위치 관계에 상관없이, 효과적인 화상을 생성하는 것이 가능하게 된다.

또, 공간적 잘라냄 기준에 따라서 잘라내어진 잘라냄 대상을 시간적 결합 기준에 따라 결합하고, 새로운 동화상을 생성할 수 있다.

그 때문에, 동화상에 있어서 떨어진 위치에 찍혀 있는 피사체를 미리 설정된 기준에 적합시켜, 시간적으로 연속해서 표시하는 것이 가능하게 된다.

또, 시간적 잘라냄 기준에 따라서 잘라내어진 잘라냄 대상을 공간적 결합 기준에 따라 결합하고, 새로운 동화상을 생성할 수 있다.

그 때문에, 동화상에 있어서 동시에 찍혀 있는 피사체인지 아닌지에 관계없이, 미리 설정된 기준에 적합시켜, 복수의 피사체의 동화상을 공간적으로 배치된 상태에서 표시하는 것이 가능하게 된다.

또한, 본 실시형태에 있어서는 화상을 잘라내는 대상으로 해서, 동화상을 예로 들어 설명했지만, 동화상 이외에, 연사된 복수의 정지화상 등, 연속된 정지화상을 대상으로 화상을 잘라내는 것으로 해도 좋다.

[제 2 실시형태]

다음에, 본 발명의 제 2 실시형태에 대해 설명한다.

제 2 실시형태에 관한 화상 처리 장치(1)는 정지화상을 대상으로 해서 피사체의 공간적인 잘라냄을 실행하고, 잘라내어진 정지화상을 공간적으로 결합해서 새로운 정지화상을 생성한다.

즉, 제 2 실시형태에 관한 화상 처리 장치(1)는 하드웨어의 구성 및, 화상 생성 처리를 실행하기 위한 기능적 구성은 제 1 실시형태와 공통이며, 주로 화상 생성 처리의 내용이 제 1 실시형태와 다르다.

도 14는 제 2 실시형태에 있어서의 화상 처리 장치(1)가 실행하는 화상 생성 처리의 흐름을 설명하는 흐름도이다.

화상 생성 처리는 유저에 의한 입력부(17)에의 화상 생성 처리 개시를 위한 조작에 의해 개시된다.

스텝 S101에 있어서, 화상 선택부(51)는 화상 기억부(71)에 기억된 화상의 데이터 중에서, 유저의 지시 입력에 대응하는 정지화상의 데이터를 선택한다. 이하, 선택된 정지화상의 데이터를 「오리지널의 정지화상」이라 한다.

스텝 S102에 있어서, 잘라냄 기준 특정부(52)는 정지화상으로부터 인물의 얼굴 부분을 잘라낼 때의 잘라냄 기준(공간적 잘라냄 기준)을 특정한다. 또한, 본 실시형태에 있어서는 제 1 실시형태에 있어서의 공간적 잘라냄 기준 1∼4 중, 공간적 잘라냄 기준 1∼3 중의 어느 하나가 특정된다. 여기서도, 제 1 실시형태와 마찬가지로, 전회 선택된 잘라냄 기준을 금회 사용하는 잘라냄 기준으로서 특정하지만, 유저에 의한 입력부(17)에의 잘라냄 기준의 선택을 위한 조작에 의해 특정해도 좋다.

스텝 S103에 있어서, 잘라냄 처리부(53)는 잘라냄 기준 특정부(52)에 의해서 특정된 잘라냄 기준에 따라, 정지화상으로부터 인물의 얼굴 부분을 잘라내는 잘라냄 처리를 실행한다. 또한, 잘라냄 처리의 상세는 후술한다.

스텝 S104에 있어서, 결합 기준 특정부(54)는 잘라냄 처리부(53)에 의해서 잘라내어진 정지화상을 결합할 때의 결합 기준(공간적 결합 기준)을 특정한다. 또한, 본 실시형태에 있어서는 제 1 실시형태에 있어서의 공간적 결합 기준 1∼3 중, 공간적 결합 기준 1, 2중의 어느 하나가 특정된다. 여기서도, 제 1 실시형태와 마찬가지로, 전회 선택된 결합 기준을 금회 사용하는 결합 기준으로서 특정하지만, 유저에 의한 입력부(17)에의 잘라냄 기준의 선택을 위한 조작에 의해 특정해도 좋다.

스텝 S105에 있어서, 레이아웃 선택부(56)는 스텝 S104에 있어서 특정된 결합 기준에 의거하여, 스텝 S103에 있어서 잘라냄 처리에 의해 잘라내어진 잘라냄 화상 수 및 최우선의 잘라냄 대상에 의거하여 레이아웃 테이블을 참조하고, 레이아웃 데이터를 선택한다.

스텝 S106에 있어서, 결합 처리부(55)는 잘라내어진 정지화상을 공간적 결합 기준에 따라서 결합하는 결합 처리를 실행한다. 또한, 결합 처리의 상세는 후술한다.

스텝 S106의 후에, 화상 생성 처리는 종료로 된다.

[잘라냄 처리]

도 15는 도 14에 있어서의 스텝 S103의 잘라냄 처리의 흐름을 설명하는 흐름도이다.

스텝 S121에 있어서, 잘라냄 처리부(53)는 오리지널의 정지화상을 서치하고, 잘라냄 대상으로 되는 피사체를 특정한다.

스텝 S122에 있어서, 잘라냄 처리부(53)는 특정되어 있는 공간적 잘라냄 기준에 의거하여, 최우선의 피사체를 처리 대상으로서 선택한다.

스텝 S123에 있어서, 잘라냄 처리부(53)는 선택된 피사체를 공간적으로 잘라내고, 중간 정지화상을 생성한다. 중간 정지화상은 특정의 파일 형식으로 되어 있지 않은 일시적으로 기억되는 화소 데이터의 집합이다.

스텝 S124에 있어서, 잘라냄 처리부(53)는 모든 잘라냄 대상으로 되는 피사체의 잘라냄 처리가 종료했는지의 여부의 판정을 실행한다.

모든 잘라냄 대상으로 되는 피사체의 잘라냄 처리가 종료하고 있지 않은 경우, 스텝 S124에 있어서 NO로 판정되어, 처리는 스텝 S125로 이행한다.

스텝 S125에 있어서, 잘라냄 처리부(53)는 다음의 우선 순위의 피사체를 처리 대상으로서 선택한다.

스텝 S125의 후에, 처리는 스텝 S123으로 이행한다.

한편, 모든 잘라냄 대상으로 되는 피사체의 잘라냄 처리가 종료한 경우, 스텝 S124에 있어서 YES로 판정되어, 처리는 도 14의 화상 생성 처리로 되돌아간다.

[결합 처리]

도 16은 도 14에 있어서의 스텝 S106의 결합 처리의 흐름을 설명하는 흐름도이다.

스텝 S141에 있어서, 결합 처리부(55)는 선택된 레이아웃의 각 합성 위치의 우선 순위에 대응하는 중간 정지화상(사이즈나 애스펙트비를 조정한 중간 정지화상)을 레이아웃에 따라서 합성하는 것에 의해 결합한다.

스텝 S142에 있어서, 결합 처리부(55)는 중간 정지화상을 결합한 정지화상을 파일화한다. 또한, 본 실시형태에 있어서, 정지화상을 파일화할 때의 파일 형식으로서는 예를 들면, JPEG(Joint Photographic Experts Group) 혹은 GIF(Graphic Interchange Format) 등에 준거한 것으로 할 수 있다.

스텝 S142의 후에, 처리는 도 14의 화상 생성 처리로 되돌아간다.

이러한 처리의 결과, 유저에 의해서 선택된 정지화상에 있어서, 복수의 인물이 피사체로서 포함되는 경우에도, 공간적 잘라냄 기준에 따라, 복수의 잘라냄 대상이 잘라내어진다. 그리고, 잘라내어진 정지화상이 공간적 결합 기준에 따라서, 우선 순위에 따라 결합되고, 새로운 정지화상이 생성된다.

그 때문에, 복수의 인물이 화면내에서 떨어져 있는 경우에도, 각각의 인물을 적절히 정지화상에서 잘라내어, 새로운 정지화상을 생성할 수 있다.

따라서, 화면내에 존재하는 복수의 피사체의 위치 관계에 상관없이, 효과적인 화상을 생성하는 것이 가능하게 된다.

[변형예 1]

상술한 실시형태에 있어서는 인물의 얼굴 등의 피사체를 공간적으로 잘라낼 때에, 각 피사체를 개별적으로 잘라내는 경우를 예로 들어 설명하였다. 이에 대해, 인물의 얼굴 등의 피사체를 공간적으로 잘라낼 때에, 화면내에서 근접해 있는 복수의 피사체를 1개의 영역에서 일괄해서 잘라내는 것으로 해도 좋다.

도 17은 복수의 피사체를 일괄해서 공간적으로 잘라내는 개념을 나타내는 모식도이다.

도 17에 있어서는 동화상의 프레임 또는 정지화상내에, 특정 인물로서 인증된 인물 A∼C의 얼굴이 포함되어 있고, 인물 A 및 인물 B의 얼굴이 설정된 임계값 이내의 거리에 위치하고 있다.

이 때, 인물 A 및 인물 B의 얼굴을 일괄해서 1개의 영역에서 공간적으로 잘라낼 수 있다.

이것에 의해, 공간적으로 관련성이 높은 피사체가 분리되는 일 없이 잘라내어지기 때문에, 새로운 화상을 생성할 때에, 피사체의 상황에 따라, 피사체간의 관계를 더욱 적절한 것으로 할 수 있다.

이상과 같이 구성되는 화상 처리 장치(1)는 잘라냄 처리부(53)와, 결합 처리부(55)를 구비한다.

잘라냄 처리부(53)는 1개의 동화상에서 공간적 및/또는 시간적인 잘라냄 기준에 의거하여, 복수의 동화상을 잘라낸다.

결합 처리부(55)는 잘라내어진 상기 복수의 동화상을 공간적 및/또는 시간적인 결합 기준에 의거하여 시간적 또는 공간적으로 결합해서, 새로운 1개의 동화상을 생성한다.

이것에 의해, 공간적 및/또는 시간적인 잘라냄 기준에 따라서 잘라내어진 복수의 동화상으로부터 공간적 및/또는 시간적인 결합 기준에 따라 1개의 동화상을 생성할 수 있다.

그 때문에, 복수의 피사체가 화면내에서 떨어져 있는 경우에도, 각각의 피사체를 적절히 동화상에서 잘라내어, 새로운 동화상을 생성할 수 있다.

따라서, 화면내에 존재하는 복수의 피사체의 위치 관계에 상관없이, 효과적인 화상을 생성하는 것이 가능하게 된다.

또, 결합 처리부(55)는 공간적인 잘라냄 기준으로 잘라내어진 복수의 동화상을 시간적인 결합 기준으로 결합한다.

이것에 의해, 동화상에 있어서 떨어진 위치에 찍혀 있는 피사체를 미리 설정된 시간적인 결합 기준에 적합시켜, 시간적으로 연속해서 표시하는 것이 가능하게 된다.

또, 결합 처리부(55)는 시간적인 잘라냄 기준으로 잘라내어진 복수의 동화상을 공간적인 결합 기준으로 결합한다.

이것에 의해, 동화상에 있어서 동시에 찍혀 있는 피사체인지 아닌지에 관계없이, 미리 설정된 공간적인 결합 기준에 적합시켜, 복수의 피사체의 동화상을 공간적으로 배치된 상태에서 표시하는 것이 가능하게 된다.

또, 잘라냄 처리부(53)는 공간적인 잘라냄 기준으로서, 동화상을 구성하는 개개의 화면내에 포함되는 소정의 피사체 부분을 공간적으로 잘라낸다.

이것에 의해, 동화상의 각 화면에 있어서, 소정의 피사체의 영역을 적절히 잘라낼 수 있다.

또, 잘라냄 처리부(53)는 시간적인 잘라냄 기준으로서, 동화상을 구성하는 프레임 중 소정의 피사체가 포함되는 프레임을 시간적으로 잘라낸다.

이것에 의해, 동화상에 있어서, 소정의 피사체가 포함되는 프레임의 기간을 적절히 잘라낼 수 있다.

또, 소정의 피사체는 미리 등록되어 있는 인물의 얼굴이다.

이것에 의해, 미리 등록된 복수의 인물이 화면내에서 떨어져 찍혀 있는 경우에도, 각각의 피사체를 적절히 동화상에서 잘라낼 수 있다.

또, 소정의 피사체는 또한, 불특정 인물의 얼굴을 포함한다.

이것에 의해, 불특정 인물의 얼굴이 찍혀 있는 동화상에 있어서, 복수의 인물을 적절히 동화상에서 잘라낼 수 있다.

또, 잘라냄 처리부(53)에 의한 잘라냄의 대상으로 하지 않은 인물의 얼굴이 미리 등록된다.

이것에 의해, 동화상에 찍혀 있는 복수의 인물 중에서, 특정 인물을 제외하고, 효과적인 동화상을 생성할 수 있다.

또, 결합 처리부(55)는 공간적인 결합 기준으로서, 잘라내어진 동화상의 개개를 우선 순위에 의거하여, 화면을 공간적으로 분할하고 우선 순위가 붙어진 각 영역에 할당한다.

이것에 의해, 잘라내어진 피사체의 동화상의 우선 순위와 공간적인 우선 순위에 대응시켜, 효과적인 동화상을 생성할 수 있다.

또, 화상 처리 장치(1)는 레이아웃 선택부(56)를 구비한다.

레이아웃 선택부(56)는 잘라내어진 동화상의 수, 혹은 화상에 포함되는 피사체에 대응하는 복수의 화상을 결합하는 수, 크기 혹은 위치 관계가 정의된 레이아웃을 선택한다.

결합 처리부(55)는 잘라내어진 복수의 화상을 선택된 레이아웃에 결합하여 새로운 1개의 화상을 생성한다.

이것에 의해, 잘라내어진 동화상을 자동적으로 적절한 레이아웃에 결합하여, 새로운 동화상을 생성할 수 있다.

또, 결합 처리부(55)는 시간적인 결합 기준으로서, 잘라내어진 동화상의 개개를 우선 순위에 의거하여, 시간적으로 연결한다.

이것에 의해, 잘라내어진 동화상의 우선 순위에 대응하는 순서로 복수의 피사체의 동화상을 연결하여 새로운 동화상을 생성할 수 있다.

또, 우선 순위는 화상에 포함되는 피사체에 대응하는 미리 등록되어 있는 우선 순위, 잘라내어진 피사체 부분의 공간적인 크기, 혹은 잘라내어진 동화상의 시간적인 길이이다.

이것에 의해, 잘라내어진 동화상의 속성에 따라, 적절한 우선 순위를 설정할 수 있다.

또, 화상 처리 장치(1)는 잘라냄 처리부(53)와, 레이아웃 선택부(56)와, 결합 처리부(55)를 구비한다.

잘라냄 처리부(53)는 1개의 화상으로부터 공간적인 잘라냄 기준에 의거하여, 복수의 화상을 잘라낸다.

레이아웃 선택부(56)는 잘라내어진 화상의 특징에 의거하여, 복수의 화상을 결합하는 수, 크기 혹은 위치 관계가 정의된 레이아웃을 선택한다.

결합 처리부(55)는 잘라내어진 복수의 화상을 선택된 레이아웃에 결합해서 새로운 1개의 화상을 생성한다.

이것에 의해, 공간적인 잘라냄 기준에 따라서 잘라내어진 복수의 화상으로부터, 공간적인 결합 기준에 따라 1개의 정지화상 또는 동화상을 생성할 수 있다.

그 때문에, 복수의 피사체가 화면내에서 떨어져 있는 경우에도, 각각의 피사체를 적절히 정지화상으로부터 잘라내어, 새로운 정지화상 또는 동화상을 생성할 수 있다.

따라서, 화면내에 존재하는 복수의 피사체의 위치 관계에 상관없이, 효과적인 화상을 생성하는 것이 가능하게 된다.

또한, 본 발명은 상술한 실시형태에 한정되는 것은 아니며, 본 발명의 목적을 달성할 수 있는 범위에서의 변형, 개량 등은 본 발명에 포함되는 것이다.

상술한 실시형태에 있어서, 인물의 얼굴을 잘라냄의 대상으로 해서 설명했지만, 이것에 한정되지 않는다. 즉, 인물의 다른 부위라도 좋으며, 또 다른 생물이라도, 물건이라도, 그들 부분이라도, 화상으로부터 인증 혹은 검출이 가능하면 좋다.

상술한 실시형태에 있어서, 오리지널의 정지화상 또는 동화상에서 잘라내어진 화상을 결합해서 생성되는 새로운 정지화상 또는 동화상의 사이즈 및 애스펙트비는 오리지널의 정지화상 또는 동화상과 동일 또는 다른 것으로 할 수 있다.

또, 상술한 실시형태에 있어서, 레이아웃에는 배경과, 배경에 합성하는 화상의 수와 크기 및 위치 관계가 정의되어 있는 것으로서 설명했지만, 이것에 한정되지 않는다. 즉, 레이아웃에는 배경, 합성하는 화상의 수, 크기, 위치 관계 중의 일부를 정의하거나, 이들 이외의 요소를 정의할 수 있다.

또, 상술한 실시형태에 있어서, 화상 기억부(71)에 기억되어 있는 화상의 데이터를 대상으로 해서 화상 생성 처리를 실행하는 것으로서 설명했지만, 이것에 한정되지 않는다. 예를 들면, 촬상부(16)에 의해서 촬상되는 정지화상 또는 동화상을 대상으로 해서 화상 생성 처리를 실행하는 것으로 해도 좋다.

또, 상술한 실시형태에 있어서, 공간적 잘라냄 기준 4에서는 동화상에 있어서 검출된 1인의 얼굴 또는 특정 인물로서 인증된 1인의 얼굴의 정면/우향/좌향을 따로따로 잘라냄 대상으로 했지만, 이것에 한정되지 않는다. 예를 들면, 동화상에 있어서 검출된 1인의 얼굴 또는 특정 인물로서 인증된 1인의 얼굴의 웃는 얼굴, 화난 얼굴, 우는 얼굴 등을 따로따로 잘라냄 대상으로 해도 좋다.

또, 상술한 실시형태에 있어서, 레이아웃의 종류는 잘라내어진 화상을 결합할 수 있는 것이면 각종의 것을 채용할 수 있다. 예를 들면, 레이아웃의 종류는 화면내에 더욱 작은 화면을 중첩해서 화상을 표시하는 PinP(Picture In Picture)의 형태 등으로 할 수 있다.

또, 상술한 실시형태에서는 본 발명이 적용되는 화상 처리 장치(1)는 디지털카메라를 예로서 설명했지만, 특히 이것에 한정되지 않는다.

예를 들면, 본 발명은 화상 생성 처리 기능을 갖는 전자기기 일반에 적용할 수 있다. 구체적으로는 본 발명은 노트북, 프린터, 텔레비젼 수상기, 비디오 카메라, 휴대형 네비게이션 장치, 휴대 전화기, 스마트 폰, 포터블 게임기 등에 적용 가능하다.

상술한 일련의 처리는 하드웨어에 의해 실행시킬 수도 있고, 소프트웨어에 의해 실행시킬 수도 있다.

환언하면, 도 2의 기능적 구성은 예시에 불과하며, 특히 한정되지 않는다. 즉, 상술한 일련의 처리를 전체적으로 실행할 수 있는 기능이 화상 처리 장치(1)에 구비되어 있으면 충분하며, 이 기능을 실현하기 위해 어떠한 기능 블록을 이용할 것인지는 특히 도 2의 예에 한정되지 않는다.

또, 1개의 기능 블록은 하드웨어 단체로 구성해도 좋고, 소프트웨어 단체로 구성해도 좋으며, 그들 조합으로 구성해도 좋다.

일련의 처리를 소프트웨어에 의해 실행시키는 경우에는 그 소프트웨어를 구성하는 프로그램이 컴퓨터 등에 네트워크나 기록 매체로부터 인스톨된다.

컴퓨터는 전용의 하드웨어에 조립되어 있는 컴퓨터라도 좋다. 또, 컴퓨터는 각종 프로그램을 인스톨함으로써, 각종 기능을 실행하는 것이 가능한 컴퓨터, 예를 들면 범용의 퍼스널 컴퓨터라도 좋다.

이러한 프로그램을 포함하는 기록 매체는 유저에게 프로그램을 제공하기 위해 장치 본체와는 별도로 배포되는 도 1의 리무버블 미디어(31)에 의해 구성될 뿐만 아니라, 장치 본체에 미리 조립된 상태에서 유저에게 제공되는 기록 매체 등으로 구성된다. 리무버블 미디어(31)는 예를 들면, 자기 디스크(플로피디스크 포함), 광 디스크, 또는 광자기 디스크 등에 의해 구성된다. 광 디스크는 예를 들면, CD-ROM(Compact Disk-Read Only Memory), DVD(Digital Versatile Disk), Blu-ray(등록상표) Disc(블루 레이 디스크) 등에 의해 구성된다. 광자기 디스크는 MD(Mini-Disk) 등에 의해 구성된다. 또, 장치 본체에 미리 조립된 상태에서 유저에게 제공되는 기록 매체는 예를 들면, 프로그램이 기록되어 있는 도 1의 ROM(12)이나, 도 1의 기억부(19)에 포함되는 하드 디스크 등으로 구성된다.

또한, 본 명세서에 있어서, 기록 매체에 기록되는 프로그램을 기술하는 스텝은 그 순서를 따라 시계열적으로 실행되는 처리는 물론, 반드시 시계열적으로 처리되지 않아도, 병렬적 혹은 개별적으로 실행되는 처리도 포함하는 것이다.

이상, 본 발명의 몇개의 실시형태에 대해 설명했지만, 이들 실시형태는 예시에 불과하며, 본 발명의 기술적 범위를 한정하는 것은 아니다. 본 발명은 그 밖의 다양한 실시형태를 취하는 것이 가능하며, 또한 본 발명의 요지를 이탈하지 않는 범위에서 생략이나 치환 등 각종 변경을 실행할 수 있다. 이들 실시형태나 그 변형은 본 명세서 등에 기재된 발명의 범위나 요지에 포함되는 동시에, 특허청구의 범위에 기재된 발명과 그 균등의 범위에 포함된다.

1; 화상 처리 장치 11; CPU
12; ROM 13; RAM
14; 버스 15; 입출력 인터페이스
16; 촬상부 17; 입력부
18; 출력부 19; 기억부
20; 통신부 21; 드라이브
31; 리무버블 미디어 51; 화상 선택부
52; 잘라냄 기준 특정부 53; 잘라냄 처리부
54; 결합 기준 특정부 55; 결합 처리부
56; 레이아웃 선택부 71; 화상 기억부
72; 레이아웃 기억부 73; 생성화상 기억부
74; 얼굴정보 기억부

Claims (19)

1개의 동화상에서 공간적 및/또는 시간적인 잘라냄 기준에 의거하여, 복수의 동화상을 잘라내는 잘라냄 수단과,
잘라내어진 상기 복수의 동화상을 공간적 및/또는 시간적인 결합 기준에 의거하여 시간적 또는 공간적으로 결합해서, 새로운 1개의 동화상을 생성하는 생성 수단을 구비하는 것을 특징으로 하는 화상 처리 장치.

제 1 항에 있어서,
상기 생성 수단은 상기 공간적인 잘라냄 기준으로 잘라내어진 복수의 동화상을 시간적인 결합 기준으로 결합하는 것을 특징으로 하는 화상 처리 장치.

제 1 항에 있어서,
상기 생성 수단은 상기 시간적인 잘라냄 기준으로 잘라내어진 복수의 동화상을 공간적인 결합 기준으로 결합하는 것을 특징으로 하는 화상 처리 장치.

제 1 항에 있어서,
상기 잘라냄 수단은 동화상을 구성하는 개개의 화면내에 포함되는 소정의 피사체 부분을 상기 공간적인 잘라냄 기준으로서 공간적으로 잘라내는 것을 특징으로 하는 화상 처리 장치.

제 1 항에 있어서,
상기 잘라냄 수단은 동화상을 구성하는 프레임 중 소정의 피사체가 포함되는 프레임을 상기 시간적인 잘라냄 기준으로서 시간적으로 잘라내는 것을 특징으로 하는 화상 처리 장치.

제 4 항에 있어서,
상기 소정의 피사체는 미리 등록되어 있는 인물의 얼굴인 것을 특징으로 하는 화상 처리 장치.

제 6 항에 있어서,
상기 소정의 피사체는 불특정 인물의 얼굴을 더 포함하는 것을 특징으로 하는 화상 처리 장치.

제 6 항에 있어서,
상기 잘라냄 수단에 의한 잘라냄의 대상으로 하지 않는 인물의 얼굴이 미리 등록되는 것을 특징으로 하는 화상 처리 장치.

제 1 항에 있어서,
상기 생성 수단은 잘라내어진 동화상의 개개를 우선 순위에 의거하여, 화면을 공간적으로 분할하고 우선 순위가 붙어진 각 영역에 할당하는 것을 상기 공간적인 결합 기준으로 해서 새로운 1개의 동화상을 생성하는 것을 특징으로 하는 화상 처리 장치.

제 9 항에 있어서,
잘라내어진 동화상의 수, 혹은 화상에 포함되는 피사체에 대응하는 복수의 화상을 결합하는 수, 크기 혹은 위치 관계가 정의된 레이아웃을 선택하는 선택 수단을 더 구비하고,
상기 생성 수단은 잘라내어진 복수의 화상을 선택된 상기 레이아웃에 결합해서 새로운 1개의 화상을 생성하는 것을 특징으로 하는 화상 처리 장치.

제 1 항에 있어서,
상기 생성 수단은 잘라내어진 동화상의 개개를 우선 순위에 의거하여 시간적으로 연결하는 것을 상기 시간적인 결합 기준으로 해서 새로운 1개의 동화상을 생성하는 것을 특징으로 하는 화상 처리 장치.

제 9 항에 있어서,
상기 우선 순위는 화상에 포함되는 피사체에 대응하는 미리 등록되어 있는 우선 순위, 잘라내어진 피사체 부분의 공간적인 크기, 혹은 잘라내어진 동화상의 시간적인 길이인 것을 특징으로 하는 화상 처리 장치.

1개의 화상에서 소정의 잘라냄 기준에 의거하여, 복수의 화상을 잘라내는 잘라냄 수단과,
잘라내어진 상기 화상의 특징에 의거하여, 복수의 화상을 결합하는 수, 크기 혹은 위치 관계가 정의된 레이아웃을 선택하는 선택 수단과,
잘라내어진 상기 복수의 화상을 선택된 상기 레이아웃에 결합해서 새로운 1개의 화상을 생성하는 생성 수단을 구비하는 것을 특징으로 하는 화상 처리 장치.

제 13 항에 있어서,
상기 선택 수단은 화상의 수, 혹은 화상에 포함되는 피사체를 잘라내어진 화상의 특징으로 해서, 대응하는 상기 레이아웃을 선택하는 것을 특징으로 하는 화상 처리 장치.

제 13 항에 있어서,
상기 잘라냄 수단은 소정의 피사체가 포함되는 화상에서 소정의 피사체 부분을 잘라내는 것을 특징으로 하는 화상 처리 장치.

1개의 동화상에서 공간적 및/또는 시간적인 잘라냄 기준에 의거하여, 복수의 동화상을 잘라내는 잘라냄 처리와,
잘라내어진 상기 복수의 동화상을 공간적 및/또는 시간적인 결합 기준에 의거하여 시간적 또는 공간적으로 결합해서, 새로운 1개의 동화상을 생성하는 생성 처리를 포함하는 것을 특징으로 하는 화상 처리 방법.

1개의 화상에서 소정의 잘라냄 기준에 의거하여, 복수의 화상을 잘라내는 잘라냄 처리와,
잘라내어진 상기 화상의 특징에 의거하여, 복수의 화상을 결합하는 수, 크기 혹은 위치 관계가 정의된 레이아웃을 선택하는 선택 처리와,
잘라내어진 상기 복수의 화상을 선택된 상기 레이아웃에 결합해서 새로운 1개의 화상을 생성하는 생성 처리를 포함하는 것을 특징으로 하는 화상 처리 방법.

컴퓨터에,
1개의 동화상에서 공간적 및/또는 시간적인 잘라냄 기준에 의거하여, 복수의 동화상을 잘라내는 잘라냄 기능과,
잘라내어진 상기 복수의 동화상을 공간적 및/또는 시간적인 결합 기준에 의거하여 시간적 또는 공간적으로 결합해서, 새로운 1개의 동화상을 생성하는 생성 기능을 실현시키는 것을 특징으로 하는 기록 매체에 기록된 프로그램.

컴퓨터에,
1개의 화상에서 소정의 잘라냄 기준에 의거하여, 복수의 화상을 잘라내는 잘라냄 기능과,
잘라내어진 상기 화상의 특징에 의거하여, 복수의 화상을 결합하는 수, 크기 혹은 위치 관계가 정의된 레이아웃을 선택하는 선택 기능과,
잘라내어진 상기 복수의 화상을 선택된 상기 레이아웃에 결합해서 새로운 1개의 화상을 생성하는 생성 기능을 실현시키는 것을 특징으로 하는 기록 매체에 기록된 프로그램.

Images