KR20160002363A - 복수의 이미지를 합성해서 새로운 이미지를 생성하는 이미지 생성 장치, 이미지 생성 방법 및 기록 매체 - Google Patents

Abstract

촬상 장치는, 이미지 취득부와, 이미지 설정부와, 이미지 선택부와, 이미지 생성부를 포함한다. 이미지 취득부는, 서로 다른 그룹의 각각에 속하는 복수의 이미지를 취득한다. 이미지 설정부는, 새로운 이미지의 생성에 사용할 이미지 수를 결정한다. 이미지 선택부는, 이미지 취득부에 의해 취득된 서로 다른 그룹의 각각에 속하는 복수의 이미지의 부대 정보에 기초해서, 복수의 이미지로부터 이미지 설정부에 의해 결정된 이미지 수의 이미지를 선택한다. 이미지 생성부는, 이미지 선택부에 의해 선택된 복수의 이미지로부터, 새로운 이미지를 생성한다.

Description

복수의 이미지를 합성해서 새로운 이미지를 생성하는 이미지 생성 장치, 이미지 생성 방법 및 기록 매체{IMAGE GENERATING APPARATUS, IMAGE GENERATING METHOD AND COMPUTER READABLE RECORDING MEDIUM FOR RECORDING PROGRAM FOR GENERATING NEW IMAGE BY SYNTHESIZING A PLURALITY OF IMAGES}

본 발명은 복수의 이미지를 합성해서 새로운 이미지를 생성하는 이미지 생성 장치, 이미지 생성 방법 및 기록 매체에 관한 것이다.

종래의 기술로서, 일본 특허출원공개 특개2000-43363호 공보에는, 복수의 이미지로부터 소정의 매수의 이미지를 합성한 이미지를 생성하는 기술이 알려져 있다.

일본 특허출원공개 특개2000-43363호 공보. 2000.02.15.

그렇지만, 상기 특허문헌 1에 기재된 기술은, 사용자가 모든 이미지를 선택할 필요가 있었기 때문에, 선택하는 이미지의 양에 따라서는, 사용자의 부담이 커질 우려가 있었다.

본 발명은 이러한 상황을 감안하여 이루어진 것으로, 본 발명의 목적의 하나는 복수의 이미지로부터 합성 이미지를 생성할 때 이미지를 선택하는 부담을 경감시키는 것이다.

본 발명의 일 실시예에 의하면, 서로 다른 그룹의 각각에 속하는 복수의 이미지를 취득하는 이미지 취득부와, 새로운 이미지 생성에 사용할 이미지 수를 결정하는 이미지 수 결정부와, 상기 이미지 취득부에 의해 취득된 상기 서로 다른 그룹의 각각에 속하는 복수의 이미지의 부대 정보에 기초해서, 상기 이미지 취득부에 의해 취득된 상기 복수의 이미지로부터, 상기 이미지 수 결정부에 의해 결정된 상기 이미지 수의 이미지를 선택하는 이미지 선택부와, 상기 이미지 선택부에 의해 선택된 복수의 이미지로부터, 새로운 이미지를 생성하는 생성부를 포함하는 이미지 생성 장치가 제공된다.

본 발명의 일 실시예에 의하면, 서로 다른 그룹의 각각에 속하는 복수의 이미지를 각각 취득하는 이미지 취득 단계와, 새로운 이미지 생성에 사용할 이미지 수를 결정하는 이미지 수 결정 단계와, 상기 이미지 취득 단계에 의해 각각 취득된 상기 서로 다른 그룹의 각각에 속하는 복수의 이미지의 부대 정보에 기초해서, 상기 이미지 취득 단계에 의해 취득된 상기 복수의 이미지로부터, 상기 이미지 수 결정 단계에 의해 결정된 상기 이미지 수의 이미지를 선택하는 이미지 선택 단계와, 상기 이미지 선택 단계에 의해 선택된 복수의 이미지로부터, 새로운 이미지를 생성하는 생성 단계를 포함하는 이미지 생성 방법이 제공된다.

본 발명의 일 실시예에 의하면, 컴퓨터로 읽을 수 있는 프로그램을 기록한 기록 매체가 제공되고, 상기 기록 매체는 서로 다른 그룹의 각각에 속하는 복수의 이미지를 각각 취득하는 이미지 취득 수단, 새로운 이미지 생성에 사용할 이미지 수를 결정하는 이미지 수 결정 수단, 상기 이미지 취득 수단에 의해 각각 취득된 상기 서로 다른 그룹의 각각에 속하는 복수의 이미지의 부대 정보에 기초해서, 상기 이미지 취득 수단에 의해 취득된 상기 복수의 이미지로부터, 상기 이미지 수 결정 수단에 의해 결정된 상기 이미지 수의 이미지를 선택하는 이미지 선택 수단, 및 상기 이미지 선택 수단에 의해 선택된 복수의 이미지로부터, 새로운 이미지를 생성하는 생성 수단으로서의 기능을 컴퓨터에 실현시키는 프로그램을 기록한다.

본 발명의 일 실시예에 의하면, 컴퓨터를, 서로 다른 그룹의 각각에 속하는 복수의 이미지를 각각 취득하는 이미지 취득 수단, 새로운 이미지 생성에 사용할 이미지 수를 결정하는 이미지 수 결정 수단, 상기 이미지 취득 수단에 의해 각각 취득된 상기 서로 다른 그룹의 각각에 속하는 복수의 이미지의 부대 정보에 기초해서, 상기 이미지 취득 수단에 의해 취득된 상기 복수의 이미지로부터, 상기 이미지 수 결정 수단에 의해 결정된 상기 이미지 수의 이미지를 선택하는 이미지 선택 수단, 및 상기 이미지 선택 수단에 의해 선택된 복수의 이미지로부터, 새로운 이미지를 생성하는 생성 수단으로서 기능시키기 위하여 기록 매체에 저장된 컴퓨터 프로그램이 제공된다.

도 1은 본 발명의 일 실시 형태에 의한 촬상 장치의 하드웨어 구성을 도시한 블록도이다.
도 2는 본 실시 형태에 있어서 생성되는 새로운 이미지를 설명하기 위한 모식도이다.
도 3은 도 1의 촬상 장치의 기능적 구성 중, 이미지 생성 처리를 실행하기 위한 기능적 구성을 나타내는 기능 블록도이다.
도 4는 도 3의 기능적 구성을 갖는 도 1의 촬상 장치가 실행하는 이미지 생성 처리의 흐름을 설명하는 흐름도이다.
도 5는 제2 실시 형태에 있어서의 이미지 생성 처리의 흐름을 설명하는 흐름도이다.
도 6은 제3의 이미지 생성 처리를 실행하기 위한 기능적 구성을 도시한 기능 블록도이다.
도 7은 제3 실시 형태에 있어서의 이미지 생성 처리의 흐름을 설명하는 흐름도이다.
도 8은 제4 실시 형태에 있어서의 이미지 생성 처리의 흐름을 설명하는 흐름도이다.
도 9는 제5 실시 형태에 있어서의 이미지 선택 처리의 흐름을 설명하는 흐름도이다.

이하, 본 발명의 실시 형태에 대해서, 도면을 이용해서 설명한다.

<제1 실시 형태>

도 1은, 본 발명의 일 실시 형태에 의한 촬상 장치의 하드웨어 구성을 도시한 블록도이다.

촬상 장치 1은, 예를 들면, 디지털 카메라로서 구성된다.

촬상 장치 1은, CPU(Central Processing Unit) 11과, ROM(Read Only Memory) 12와, RAM(Random Access Memory) 13과, 버스 14와, 입출력 인터페이스 15와, 촬상부 16과, 입력부 17과, 출력부 18과, 기억부 19와, 통신부 20과, 드라이브 21을 포함한다.

CPU 11은, ROM 12에 기록되어 있는 프로그램, 또는, 기억부 19로부터 RAM 13에 로드된 프로그램에 따라서 각종 처리를 실행한다.

RAM 13에는, CPU 11이 각종 처리를 실행함에 있어서 필요한 데이터 등도 적절히 기억된다.

CPU 11, ROM 12 및 RAM 13은, 버스 14를 통해서 서로 접속되어 있다. 이 버스 14에는 또한, 입출력 인터페이스 15도 접속되어 있다. 입출력 인터페이스 15에는, 촬상부 16, 입력부 17, 출력부 18, 기억부 19, 통신부 20 및 드라이브 21이 접속되어 있다.

촬상부 16은, 도시되어 있지 않지만, 광학 렌즈(optical lens)부와, 이미지 센서를 포함하고 있다.

광학 렌즈부는, 피사체를 촬영하기 위해서, 광을 집광하는 렌즈, 예를 들면, 포커스 렌즈나 줌 렌즈 등으로 구성된다.

포커스 렌즈는, 이미지 센서의 수광면에 피사체상을 결상시키는 렌즈다. 줌 렌즈는, 초점 거리를 일정한 범위에서 자유자재로 변화시키는 렌즈다.

광학 렌즈부에는 또한, 필요에 따라, 초점, 노출, 화이트 밸런스 등의 설정 파라미터를 조정하는 주변 회로가 마련되어 있다.

이미지 센서는, 광전 변환 소자나, AFE(Analog Front End) 등으로 구성된다.

광전 변환 소자는, 예를 들면, CMOS(Complementary Metal Oxide Semiconductor)형의 광전 변환 소자 등으로 구성된다. 광전 변환 소자에는, 광학 렌즈부로부터 피사체 상이 입사된다. 그리고, 광전 변환 소자는, 피사체 상을 광전 변환(촬상)해서 이미지 신호를 일정 시간 축적하고, 축적한 이미지 신호를 아날로그 신호로서 AFE에 순차 공급한다.

AFE는, 이 아날로그의 이미지 신호에 대하여, A/D(Analog/Digital) 변환 처리 등의 각종 신호 처리를 실행한다. 각종 신호 처리에 의해, 디지털 신호가 생성되고, 촬상부 16의 출력 신호로서 출력된다.

이러한 촬상부 16의 출력 신호를, 이하, "촬상 이미지 데이터"라고 부른다. 촬상 이미지 데이터는, CPU 11이나 도시되지 않은 이미지 처리부 등에 적절히 공급된다.

입력부 17은, 각종 버튼 등으로 구성되고, 사용자의 지시 조작에 따라서 각종 정보를 입력한다.

출력부 18은, 디스플레이나 스피커 등으로 구성되고, 이미지나 음성을 출력한다.

기억부 19는, 하드 디스크 또는 DRAM(Dynamic Random Access Memory) 등으로 구성되고, 각종 이미지 데이터를 기억한다.

통신부 20은, 인터넷을 포함하는 네트워크를 통해서 다른 장치(도시되지 않음)와의 사이에서 행하는 통신을 제어한다.

드라이브 21에는, 자기 디스크, 광 디스크, 광자기 디스크, 또는 반도체 메모리 등으로 이루어지는, 리무버블(removable) 미디어 31이 적절히 장착된다. 드라이브 21에 의해 리무버블 미디어 31로부터 독출된 프로그램은, 필요에 따라 기억부 19에 인스톨된다. 또, 리무버블 미디어 31은, 기억부 19에 기억되어 있는 이미지 데이터 등의 각종 데이터도, 기억부 19과 동일하게 기억할 수 있다.

이와 같이 구성되는 촬상 장치 1에서는, 복수의 이미지로부터 자동적으로 이미지를 선택하고, 상기 선택한 이미지에 대하여, 이미지 처리를 시행해서 하나의 새로운 이미지를 생성한다.

여기서, 본 실시 형태에 있어서 생성되는 새로운 이미지에 대해서 설명한다.

도 2는, 본 실시 형태에 있어서 생성되는 새로운 이미지를 설명하기 위한 모식도이다.

본 실시 형태에 있어서는, 도 2에 도시된 것처럼, 새로운 이미지로서, 선택한 복수의 이미지를 합성해서 1매의 이미지로 집약한 이미지(이하, "합성 이미지"라고도 함)와, 선택한 복수의 이미지를 프레임 이미지로서 이용한 동영상의 두 종류의 이미지를 생성한다.

또, 본 실시 형태에 있어서는, 이미지를 점수화한 결과를 이미지의 평가로서 이용해서, 해당 이미지의 평가를, 이미지의 선택 기준의 하나로서 이용한다.

합성 이미지는, 본 실시 형태에 있어서는, 복수의 이미지를 아무렇게나 오려 붙여서 집약한 것과 같은 이미지, 소위, 콜라주(collage) 이미지로서 생성한다. 콜라주 이미지에 있어서는, 1매의 이미지 내에 복수의 이미지가 크기, 각도나 위치를 포함하는 배치가 다르도록 배치된다. 미리 이미지를 배치할 영역이나 이미지의 크기를 정해 두거나, 이미지의 선택 조건에 따라서 해당 이미지를 배치할 영역이나 크기를 매번 설정한다.

또, 이미지의 선택 조건에 따라서 해당 이미지를 배치할 영역이나 크기를 매번 설정해서 콜라주 이미지를 구성하는 경우에, 선택된 이미지에, 점수가 붙어 있을 때에는, 점수에 따라서, 크기나 배치 등이 변경되도록 구성한다. 구체적으로는, 이미지 A 내지 이미지 E가 선택되고, 이미지 C, 이미지 B, 이미지 A, 이미지 D, 이미지 E의 순서대로 점수가 붙어 있는 경우에는, 예를 들면, 점수가 높은 순서대로, 이미지에 있어서 보기 쉬운 위치에 배치되거나, 사이즈가 커지도록 한다.

이에 대하여, 동영상은, 설정한 동영상의 총 재생 시간이 되도록, 선택된 복수의 이미지를 프레임 이미지로서 늘어 놓아서 서로 연결시킨 다이제스트 동영상으로서 생성된다. 즉, 선택한 한 개의 이미지에 대하여 동영상에 있어서의 시간이 할당되고, 할당된 시간이 되도록 대응하는 프레임 수만큼 같은 이미지를 연결시킨다. 다른 이미지에 있어서도 분배된 시간이 되도록 대응하는 프레임 수만큼 같은 이미지를 연결시키고, 한 개의 다이제스트 동영상을 구성한다.

또, 동영상에서는, 선택된 이미지에, 점수가 붙어 있는 경우에는, 점수에 따라서, 재생 순번이나 재생 시간의 길이가 결정되도록 구성된다. 구체적으로는, 콜라주 이미지의 경우와 같이, 이미지 A 내지 이미지 E가 선택되고, 이미지 C, 이미지 B, 이미지 A, 이미지 D, 이미지 E의 순서대로 점수가 붙어 있을 때에는, 예를 들면, 점수가 높은 순서대로, 시간 T1 내지 T5와 같이 총 재생 시간에 대하여 할당하는 재생 시간을 길게 하고, 재생 순번이 앞이 되도록 구성한다.

이와 같이 촬상 장치 1에 있어서는, 새로운 이미지(콜라주 이미지 또는 다이제스트 동영상)를 생성함으로써, 복수의 이미지로부터 새로운 이미지를 생성할 때에 사용자가 이미지를 선택하는 부담을 경감하고, 또한, 사용자의 만족도가 높은 새로운 이미지를 생성할 수 있다.

도 3은, 이러한 촬상 장치 1의 기능적 구성 중, 이미지 생성 처리를 실행하기 위한 기능적 구성을 나타내는 기능 블록도이다.

이미지 생성 처리란, 복수의 이미지 중에서, 평가가 높은 이미지를 선택해서, 선택한 복수의 이미지를 합성하는 일련의 처리를 말한다. 본 실시 형태의 이미지 생성 처리에서는, 선택한 복수의 이미지를 합성해서 1매의 합성 이미지인 콜라주 이미지를 생성한다.

이미지 생성 처리를 실행하는 경우에는, 도 3에 도시된 것처럼, CPU 11에 있어서, 이미지 취득부 51과, 이미지 설정부 52와, 이미지 평가부 53과, 이미지 선택부 54와, 이미지 생성부 55가 기능한다.

또, 기억부 19의 일 영역에는, 이미지 기억부 71과, 이미지 정보 기억부 72가 설정된다.

이미지 기억부 71에는, 이미지 데이터가 기억된다. 이미지 데이터에는, 날짜나 촬영 정보 등이 부대 정보로서, 각 이미지의 소정의 정보 영역(정지 화상의 경우, EXIF(Exchangeable image file format) 영역)에 기입되어 있다.

여기서, "촬영 정보"라는 것은, 촬영시의 조건이나 촬영 후의 이미지에 관한 정보이고, 예를 들면, 이미지 사이즈, 애스펙트 비(aspect ratio), 노광 시간, AF(Auto Focus), AE(Automatic Exposure), 촬영 신 판정 결과, 촬영 모드, 얼굴의 검출수·사이즈·위치 등의 정보를 포함한다.

이미지 정보 기억부 72에는, 합성 이미지에 사용할 이미지의 매수(이하, "합성 매수"라고 함), 선택한 이미지의 합성 이미지 내에서의 배치, 선택 대상을 결정하기 위한 점수의 문턱값 등의 생성할 이미지에 관한 정보(이하, "이미지 정보"라고 함)가 기억된다.

이미지 취득부 51은, 촬상부 16이나 외부로부터 이미지를 취득하고, 이미지 기억부 71에 취득한 이미지를 기억시킨다.

이미지 설정부 52는, 사용자의 입력부 17에 대한 조작에 기초해서, 사용을 희망하는 이미지나 사용을 희망하지 않는 이미지를 설정한다. 설정한 정보는, 이미지의 부대 정보에 부가한다.

이미지 평가부 53은, 취득된 이미지의 평가를 행한다. 이미지 평가부 53에 있어서의 이미지의 평가는, 각 이미지의 부대 정보 중, 촬영 정보에 대하여 점수를 부여해서 행한다. 점수가 높으면 평가가 높은 이미지가 되기 때문에 선택될 가능성이 높아지고, 점수가 낮으면 낮은 평가의 이미지가 되기 때문에 선택될 가능성이 낮아진다. 이미지 평가부 53은, 부여한 점수를 이미지의 부대 정보에 기억시킨다.

구체적으로는, 이미지 평가부 53은, 이미지 사이즈, 애스펙트 비, 노광 시간, AF(Auto Focus), AE(Automatic Exposure), 촬영 신 판정 결과, 촬영 모드, 얼굴의 검출수·사이즈·위치 등의 촬영 정보를 이용해서, 예를 들면, 표시에 적합한지 아닌지의 관점에서, 표시에 적합한 이미지라고 판단할 수 있는 촬영 정보의 경우에는 가점하고, 표시에 적합하지 않은 이미지라고 판단할 수 있는 촬영 정보의 경우에는 감점하는 이미지의 평가를 행한다.

"이미지 사이즈"의 경우에는, 풀 HD(High Definition)의 무비의 화질에 대응할 수 있는 이미지의 사이즈인지 아닌지를 판단하고, 점수를 결정한다. 예를 들면, 풀 HD의 무비의 화질에 대응할 수 없는 이미지 사이즈인 경우에는, 감점한다.

"애스펙트 비"의 경우에는, 애스펙트 비의 차이를 보고, 점수를 결정한다. 예를 들면, 세로 촬영을 한 이미지를 가로 이미지용으로 변환시키고 변환 후의 좌우의 영역에 여백 영역이 나온 이미지의 경우에는, 표시하는데는 적합하지 않은 이미지로서 감점한다.

"노광 시간"의 경우에는, 노광 시간의 차이를 보고, 점수를 결정한다. 예를 들면, 노광 시간이 길면 길수록, 이미지의 흔들림이 생기고 있을 가능성이 있기 때문에 표시에 적합하지 않은 이미지로서 감점한다.

"AF"에 대해서는, 초점이 맞는 상태를 보고, 점수를 결정한다. 예를 들면, 초점이 맞지 않으면 흔들리고 있는 이미지일 가능성이 있기 때문에 감점한다.

"AE"의 경우에는, 노출의 상태를 보고, 점수를 결정한다. 예를 들면, 노출 부족(underexposure)이나 과노출(overexposure)의 경우는, 감점한다.

"촬영 신 판정 결과"의 경우에는, 판정된 신에 따라서 점수를 결정한다. 예를 들면, 카메라가 특수한 신이라고 판정해서 촬영한 것인지 아닌지를 판정하고, 특수한 신이라고 판정해서 촬영했을 경우에는, 가점한다.

"촬영 모드"의 경우에는, 설정된 촬영 모드에 따라서 점수를 결정한다. 예를 들면, 이미지에 특수한 가공을 실시하는 촬영 모드로 촬영한 경우는, 가점한다.

"얼굴의 검출수·사이즈·위치"의 경우에는, 사용자에게 적합하다고 생각되는 취향에 의해 결정되고, 얼굴의 검출 빈도나 이미지 내에 차지하는 비율이나 위치의 중요도에 따라서, 점수를 결정한다. 예를 들면, 얼굴의 검출 빈도가 많고， 얼굴 사이즈도 크고, 중앙 부근에 위치한 경우에는, 사용자에 있어서 중요한 사진이라고 생각되기 때문에 가점한다.

이미지 선택부 54는 이미지 정보 기억부 72에 기억되는 이미지 정보 중 표시할 이미지의 매수에 따라서, 이미지 설정부 52에 의해 설정된 이미지의 사용 여부와, 이미지 평가부 53에 의한 평가에 기초해서, 이미지의 합성에 이용할 이미지의 선택을 행한다.

구체적으로는, 이미지 선택부 54는, 예를 들면, 표시할 이미지의 매수가 5매인 경우에, 전체 이미지로부터 사용을 희망하지 않는 이미지로서 설정된 이미지를 선택 대상으로부터 제외하고, 또한, 점수가 문턱값보다 낮은 이미지를 선택 대상으로부터 제외한 다음, 점수가 높은 순서대로 이미지를 5매 선택한다.

이미지 생성부 55는, 이미지 정보 기억부 72에 기억되는 이미지 정보 중, 선택한 이미지의 합성 이미지 내에서의 배치에 기초해서, 이미지 선택부 54에 의해 선택된 복수의 이미지의 각각을 합성 이미지의 소정의 영역에 배치해서 합성함으로써, 1매의 합성 이미지로서 콜라주 이미지를 생성한다.

도 4는, 도 3의 기능적 구성을 갖는 도 1의 촬상 장치 1이 실행하는 이미지생성 처리의 흐름을 설명하는 흐름도이다.

이미지 생성 처리는, 사용자에 의한 입력부 17로의 이미지 생성 처리 개시의 조작에 의해 개시된다. 이미지 생성 처리의 실행시에, 이미지 취득부 51은, 촬상부 16이나 외부로부터 이미지를 취득하고, 취득된 이미지를 이미지 기억부 71에 기억시켜 둔다.

단계 S11에 있어서, 이미지 설정부 52는, 사용자에 의한 입력부 17로의 조작에 따라서, 사전에 "사용을 희망하는 이미지", "사용을 희망하지 않는 이미지"를 설정한다. 설정된 정보는, 이미지의 부대 정보에 부가된다.

단계 S12에 있어서, 이미지 평가부 53은, 이미지의 촬영 정보에 기초해서, 이미지에 점수를 부여한다. 구체적으로는, 이미지 평가부 53은, 이미지 사이즈, 애스펙트 비, 노광 시간, AF(Auto Focus), AE(Automatic Exposure), 촬영 신 판정 결과, 촬영 모드, 얼굴의 검출수·사이즈·위치 등의 촬영 정보를 이용해서, 예를 들면, 표시에 적합한지 아닌지의 관점에서 이미지의 평가를 행한다. 그 결과, 점수가 높은 이미지나 점수가 낮은 이미지가 결정되고, 이미지 평가부 53은, 부여한 점수를 이미지의 부대 정보에 기억시킨다.

단계 S13에 있어서, 이미지 선택부 54는, 각 이미지의 부대 정보를 참조해서, 이미지를 촬영 일시순으로 정렬한다.

단계 S14에 있어서, 이미지 선택부 54는, 이미지 설정부 52에 의해 설정된 "사용을 희망하지 않는 이미지"를 선택 대상으로부터 제외한다. 상세하게는, 이미지 선택부 54는, 각 이미지의 부대 정보를 참조해서, 사용을 희망하지 않는 이미지에 해당하는 이미지를 선택 대상으로부터 제외한다.

단계 S15에 있어서, 이미지 선택부 54는, 점수가 문턱값보다 낮은 이미지를 선택 대상으로부터 제외한다. 상세하게는, 이미지 선택부 54는, 각 이미지의 부대 정보를 참조해서, 점수가 문턱값보다 낮은지 아닌지를 판정하고, 해당하는 이미지를 선택 대상으로부터 제외한다.

단계 S16에 있어서, 이미지 선택부 54는, 콜라주 이미지의 교체를 행하더라도 한 번도 사용(표시)되고 있지 않고, 아직 합성 대상으로서 사용되고 있지 않은 "사용을 희망하는 이미지"의 수가 0매인지 아닌지를 판정한다. 이미지 선택부 54는, 각 이미지의 부대 정보를 참조해서, 사용을 희망하는 이미지에 해당하는 이미지의 수를 카운트하고, 0매인지 아닌지를 판정한다.

미사용의 "사용을 희망하는 이미지"의 수가 0매가 아닌 경우에는, 단계 S16에 있어서 "아니오"로 판정되고, 처리는 단계 S20으로 진행한다. 단계 S20이후의 처리는 후술한다.

미사용의 "사용을 희망하는 이미지"의 수가 0매인 경우에는, 단계 S16에 있어서 "예"로 판정되고, 처리는 단계 S17로 진행한다.

한편, 이후의 처리에 있어서는, 미사용의 "사용을 희망하는 이미지"를 우선적으로 선택 대상으로 하는 처리가 복수 마련된다.

단계 S17에 있어서, 이미지 선택부 54는, 촬영 일시 순으로 정렬한 복수의 이미지를 [합성 매수]의 그룹으로 등분한다.

단계 S18에 있어서, 이미지 선택부 54는, 작성된 [합성 매수]의 그룹으로부터 특정 그룹을 랜덤하게 선택한다.

단계 S19에 있어서, 이미지 선택부 54는, 선택된 특정 그룹 내에서 가장 점수가 높은 이미지를 선택하고, 다른 그룹에서는 이미지를 랜덤하게 선택한다. 즉, 이미지 선택부 54는, 특정 그룹 내에서 점수를 기준으로 이미지를 선택하고, 다른 그룹으로부터 랜덤하게 이미지를 선택하는 등의, 이미지의 선택의 기준이 바뀐다. 그 후의 처리는, 단계 S24로 진행한다. 단계 S24의 처리는 후술한다.

단계 S20에 있어서, 이미지 선택부 54는, 미사용의 [사용을 희망하는 이미지 수]가 [합성 매수]이상인지 아닌지를 판정한다.

미사용의 [사용을 희망하는 이미지 수]가 [합성 매수] 이상인 경우에는, 단계 S20에 있어서 "예"로 판정되고, 처리는 단계 S21로 진행한다.

단계 S21에 있어서, 이미지 선택부 54는, 미사용의 "사용을 희망하는 이미지"를 점수가 높은 순서대로 [합성 매수]만큼 선택한다. 그 후, 처리는 단계 S24로 진행한다.

이에 대하여, 미사용의 [사용을 희망하는 이미지 수]가 [합성 매수] 미만인 경우에는, 단계 S20에 있어서 "아니오"로 판정되고, 처리는 단계 S22로 진행한다.

단계 S22에 있어서, 이미지 선택부 54는, 미사용의 "사용을 희망하는 이미지"를 모두 선택한다.

단계 S23에 있어서, 이미지 선택부 54는, 점수가 높은 순서대로 [합성 매수]만큼의 이미지를 선택한다. 구체적으로는, 이미지 선택부 54는, 나머지 이미지 중 상위의 이미지를 {[합성 매수]-미사용의 [사용을 희망하는 이미지 수]}만큼 선택한다.

단계 S24에 있어서, 이미지 생성부 55는, 이미지 선택부 54에 의해 선택된 이미지를 합성해서 1매의 합성 이미지인 콜라주 이미지를 생성한다.

구체적으로는, 이미지 생성부 55는, 이미지 A 내지 이미지 E가 선택되고, 이미지 C, 이미지 B, 이미지 A, 이미지 D, 이미지 E의 순서대로 점수가 붙어 있는 도 2의 예의 경우에는, 점수가 높은 순서대로, 이미지에 있어서 보기 쉬운 위치에 배치되거나, 사이즈가 크게 되거나 한다.

그 후, 이미지 생성부 55는, 생성한 콜라주 이미지를 이미지 기억부 71에 기억시킨다.

단계 S25에 있어서, 이미지 선택부 54는, 입력부 17 등으로부터 콜라주 이미지의 교체 지시가 있었는지 아닌지를 판정한다.

콜라주 이미지의 교체 지시가 있는 경우에는, 단계 S25에 있어서 "예"로 판정되고, 처리는 단계 S16으로 돌아간다.

콜라주 이미지의 교체 지시가 없는 경우에는, 단계 S25에 있어서 "아니오"로 판정되고, 이미지 생성 처리는 종료한다.

따라서, 본 실시예의 촬상 장치 1에 있어서는, 콜라주 이미지를 교체할 때에는, 사용을 희망하는 이미지가 한 번도 사용되고 있지 않은 경우, 우선적으로 선택한다. 또, 이미지를 촬영 일시순으로 그룹핑해서, 이미지를 시계열로 두루두루 선택한다. 이에 더하여, 그룹에 따라서 이미지의 자동 선택 방법을 바꾼다.

이에 의해, 촬상 장치 1에서는, 단순히 이미지를 랜덤하게 바꿔 넣어도, 사용자의 만족도가 높은 결과는 되지 않는 경우가 있지만, 이미지 자동 선택에 의한 무작위성은 남기면서, 사용자가 기대하는 이미지가 나오기 쉬워지므로, 이미지 합성의 완성도가 향상된다.

상기한 실시 형태에서는, 점수가 높은 순서대로, 이미지에 있어서 보기 쉬운 위치에 배치되거나, 사이즈가 커지도록 구성했지만 이에 한정되지 않는, 예를 들면, 점수가 높은 이미지에 색이 두드러지는 것과 같은 특수한 효과를 가하는 등 장식의 효과를 부가하도록 구성해도 좋다.

<제2 실시 형태>

상기한 실시 형태에서는, 이미지 생성 처리로서, 선택한 복수의 이미지로부터 1매의 합성 이미지로서 콜라주 이미지를 생성하도록 구성했지만, 본 실시 형태에서는, 선택한 복수의 이미지를 서로 연결시켜서, 한 개의 다이제스트 동영상을 생성한다.

본 실시 형태에 있어서는, 상기한 실시 형태와 하드웨어 구성 및 이미지 생성 처리를 실행하는 기능 구성이 동일하기 때문에, 설명은 생략한다. 한편, 본 실시 형태에 있어서는, 상기한 실시 형태의 콜라주 이미지와는 달리 다이제스트 동영상을 생성하기 때문에, 이미지 생성부 55에 있어서의 이미지 생성의 처리도 다르고, 이미지의 선택 기준에 대해서도 다르기 때문에, 이하의 이미지 생성 처리의 흐름을 설명하는 흐름도에서 상세히 설명한다.

도 5는, 제2 실시 형태에 있어서의 이미지 생성 처리의 흐름을 설명하는 흐름도이다.

이미지 생성 처리는, 사용자에 의한 입력부 17로의 이미지 생성 처리 시작의 조작에 의해 개시된다. 이미지 생성 처리의 실행 시에, 이미지 취득부 51은, 촬상부 16이나 외부로부터 이미지를 취득하고, 이미지 기억부 71에 취득한 이미지를 기억시켜 둔다.

단계 S41에 있어서, 이미지 설정부 52는, 사용자에 의한 입력부 17로의 조작에 의해, 사전에 "사용을 희망하는 이미지", "사용을 희망하지 않는 이미지"를 설정한다. 설정된 정보는, 이미지의 부대 정보에 부가된다.

단계 S42에 있어서, 이미지 평가부 53은, 이미지의 촬영 정보에 기초해서, 이미지에 점수를 부여한다. 구체적으로는, 이미지 평가부 53은, 이미지 사이즈, 애스펙트 비, 노광 시간, AF(Auto Focus), AE(Automatic Exposure), 촬영 신 판정 결과, 촬영 모드, 얼굴 검출수·사이즈·위치 등의 촬영 정보를 이용해서, 예를 들면, 표시에 적합한지 아닌지의 관점에서의 이미지의 평가를 행한다. 그 결과, 점수가 높은 이미지와 점수가 낮은 이미지를 결정하고, 이미지 평가부 53은, 부여한 점수를 이미지의 부대 정보에 기억시킨다.

단계 S43에 있어서, 이미지 평가부 53은, 부여된 점수에 기초해서, 이미지마다 재생 시간을 산출한다. 구체적으로는, 이미지 평가부 53은, 예를 들면, 높은 점수의 경우에는, 긴 생성 시간을 산출하도록 구성한다.

단계 S44에 있어서, 이미지 선택부 54는, 각 이미지의 부대 정보를 참조해서, 이미지를 촬영 일시순으로 정렬한다.

단계 S45에 있어서, 이미지 선택부 54는, 이미지 설정부 52에 의해 설정된 "사용을 희망하지 않는 이미지"를 선택 대상으로부터 제외한다. 상세하게는, 이미지 선택부 54는, 각 이미지의 부대 정보를 참조해서, 사용을 희망하지 않는 이미지에 해당하는 이미지를 선택 대상으로부터 제외한다.

단계 S46에 있어서, 이미지 선택부 54는, 점수가 문턱값보다 낮은 이미지를 선택 대상으로부터 제외한다. 상세하게는, 이미지 선택부 54는, 각 이미지의 부대 정보를 참조해서, 점수가 문턱값보다 낮은지 아닌지를 판정하고, 해당하는 이미지를 선택 대상으로부터 제외한다.

단계 S47에 있어서, 이미지 선택부 54는, 전체 이미지의 합계 재생 시간이 이미지 정보 기억부 72에 기억되는 목표 재생 시간 이하인지 아닌지를 판정한다.

전체 이미지의 합계 재생 시간이 목표 재생 시간 이하인 경우에는, 단계 S47에 있어서 "예"로 판정되고, 처리는 단계 S48로 진행한다.

단계 S48에 있어서, 이미지 선택부 54는, 전체 이미지를 선택한다. 즉, 이미지 선택부 54는, 모든 이미지로부터 "사용을 희망하지 않는 이미지"와, 점수가 문턱값보다 낮은 이미지를 제외한 남은 이미지 모두를 선택한다. 그 다음, 처리는 단계 S54로 진행한다. 단계 S54 이후의 처리는 후술한다.

이에 대하여, 전체 이미지의 합계 재생 시간이 목표 재생 시간 이상인 경우에는, 단계 S47에 있어서 "아니오"로 판정되고, 처리는 단계 S49로 진행한다.

단계 S49에 있어서, 이미지 선택부 54는, "사용을 희망하는 이미지"의 합계 재생 시간이 목표 재생 시간 이상인지 아닌지를 판정한다.

"사용을 희망하는 이미지"의 합계 재생 시간이 목표 재생 시간 이상인 경우에는, 단계 S49에 있어서 "예"로 판정되고, 처리는 단계 S50으로 진행한다.

단계 S50에 있어서, 이미지 선택부 54는, 목표 재생 시간에 들어가는 범위에서, "사용을 희망하는 이미지"를 점수가 높은 순부터 선택한다. 그 후, 처리는 단계 S54로 진행한다.

이에 대하여, "사용을 희망하는 이미지"의 합계 재생 시간이 목표 재생 시간보다 작은 경우에는, 단계 S49에 있어서 "아니오"로 판정되고, 처리는 단계 S51로 진행한다.

단계 S51에 있어서, 이미지 선택부 54는, "사용을 희망하는 이미지"를 모두 선택한다.

단계 S52에 있어서, 이미지 선택부 54는, 나머지 이미지를 촬영 일시 순으로 정렬하고, 5 파일마다 그룹으로 나눈다. 또한, 본 실시 형태에 있어서는, 그룹에 속하는 파일의 수를 5로 했지만, 대상이 되는 이미지 집합의 이미지의 수에 따라서, 그룹에 속하는 파일의 수를 변경하도록 구성한다. 구체적으로는, 사용자가 설정하는 무비의 길이에 따라서, 필요한 이미지의 파일 수가 바뀌기 때문에, 예를 들면, 100매까지는, 5 파일로 그룹핑하고, 101매 이상은, 10 파일로 그룹핑하도록 구성해도 좋다. 또한, 그룹핑 할 때에 발생한 5 파일 이하의 이미지는, 이들 5 파일 이하의 이미지들을 하나의 그룹으로서 취급해서 이미지의 선택 대상으로 하면 좋다.

단계 S53에 있어서, 이미지 선택부 54는, 목표 재생 시간에 들어가는 범위에서, 각 그룹으로부터 점수 순으로 한 이미지씩 선택한다.

단계 S54에 있어서, 이미지 선택부 54는, 선택한 이미지를, 해당 이미지의 부대 정보를 참조해서, 촬영 일시 순으로 정렬한다.

단계 S55에 있어서, 이미지 생성부 55는, 이미지 선택부 54에 의해 선택되고, 촬영 일시 순으로 정렬된 이미지를 재생 시간만큼 서로 연결시켜서 한 개의 다이제스트 동영상을 생성한다. 즉, 이미지 생성부 55는, 선택한 이미지를 산출된 재생 시간이 되도록, 시간에 대응하는 프레임 수만큼, 이미지를 서로 연결시키고, 다른 이미지에 대해서도 산출된 재생 시간이 되도록 순차 서로 연결시키는 것으로 다이제스트 동영상을 생성한다. 구체적으로는, 이미지 생성부 55는, 이미지 A 내지 이미지 E가 선택되고, 이미지 C, 이미지 B, 이미지 A, 이미지 D, 이미지 E의 순서대로 점수가 붙어 있는 도 2의 예의 경우에는, 점수가 높은 순서대로, 시간 T1 내지 T5와 같이 총 재생 시간에 대하여 할당하는 재생 시간을 길게 하고, 재생 순번을 앞으로 하도록 구성한다.

한편, 선택된 이미지 사이에는, 트랜지션이나 팬(pan)이나 줌 등의 특수 효과를 넣도록 구성할 수 있고, 각 이미지의 점수에 따라서 해당 특수 효과를 다이제스트 동영상 중에 반영시킬 것인지 아닌지를 선택할 수 있도록 해도 좋다.

예를 들면, 점수가 낮은 경우(정지 영상의 재생 시간이 짧을 경우)는 이미지 사이에 특수 효과를 삽입하지 않거나, 점수가 높은 경우(정지 영상의 재생 시간이 길 경우)는 이미지 사이에 특수 효과를 삽입하거나 하는 다이제스트 동영상을 구성할 수 있다.

또, 다이제스트 동영상을 구성하는 이미지의 점수에 따라서, 이미지 사이의 특수 효과의 종류를 바꾸도록 해도 좋다.

또, 다이제스트 동영상을 구성하는 것은 정지 영상뿐만이 아니고, 정지 영상과 동영상의 조합이나, 동영상과 동영상의 조합이어도 좋다. 이 경우는, 다이제스트 동영상에 대해서도 이미지 평가부 53이 정지 영상과 유사하게 평가를 하고, 점수를 부여하는 것으로, 재생 시간을 결정한다.

그 후, 이미지 생성 처리를 종료한다.

따라서, 본 실시예의 촬상 장치 1에서는, 촬영 정보 등으로부터 이미지에 점수를 붙이거나, 사용자가 선택한 이미지를 우선적으로 선택하거나, 점수와 촬영 일시에 따라서, 사용할 이미지를 자동 선택하거나, 이미지의 점수에 따라서, 재생 시간이나 특수 효과를 바꾸거나 하기 때문에, 적은 조작 절차로도 사용자의 만족도가 높은 다이제스트 동영상을 작성할 수 있고, 복수의 이미지로부터 다이제스트 동영상을 생성할 때에 사용자가 이미지를 선택하는 부담을 경감할 수 있다.

또한, 상기한 실시 형태에서는, 이미지 정보 기억부 72에 기억되는 목표 재생 시간에 기초해서, 다이제스트 동영상을 생성하지만, 해당 목표 재생 시간은, 예를 들면, 1분이나 5분 등과 같이 사전에 사용자에 의해 자유롭게 설정가능하도록 구성된다.

또, 상기한 실시 형태에서는, 점수가 높고 평가가 높은 순서대로 재생 시간을 길게 하고, 재생 순번을 앞으로 하도록 구성했지만, 이에 한정되지 않고, 예를 들면, 시청이 피크가 되는 시간대(예를 들면, 총 재생 시간의 중간 부근)가 점수가 높은 이미지의 재생 위치가 되도록 하거나, 점수가 높은 이미지를 복수 회 재생하도록 구성해도 좋다.

<제3 실시 형태>

본 실시 형태에 있어서는, 콜라주 이미지가 소정의 기간에 있어서, 그룹핑된 이미지군으로부터 선택된 그룹을 대표하는 이미지(이하, "대표 이미지"라고 함)에 기초해서 작성되도록 구성한다. 또, 본 실시 형태에 있어서는, 콜라주 이미지를 구성하는 각 이미지의 사이즈와 배치를 각각 규정하는 복수의 레이아웃 중에서 선택해서 결정하도록 구성한다. 복수의 레이아웃은, 콜라주 이미지를 구성하는 각 대표 이미지의 사이즈나 배치 가운데, 적어도 어느 하나가 각각 다른 것으로 되어 있다.

또한, 본 실시 형태에 있어서는, 상기한 실시 형태와 공통되는 부분(하드웨어 구성 및 이미지 생성 처리를 실행하는 기능 구성)의 설명은 생략한다.

도 6은, 제3 실시 형태에 있어서의 이미지 생성 처리를 실행하기 위한 기능적 구성을 도시한 기능 블록도이다.

이미지 생성 처리를 실행하는 경우에는, 도 6에 도시된 것처럼, CPU 11에 있어서, 이미지 취득부 51과, 이미지 설정부 52와, 이미지 평가부 53과, 이미지 선택부 54와, 이미지 생성부 55에 더해서, 출력 제어부 56과, 효과 선택부 57이 기능한다.

또, 기억부 19의 일 영역에는, 이미지 기억부 71과, 이미지 정보 기억부 72에 더해서, 효과 정보 기억부 73이 설정된다.

효과 정보 기억부 73에는, 콜라주 이미지에 있어서의 이미지의 사이즈나 배치의 이미지 효과를 도시한 레이아웃(본 실시 형태에 있어서는, 10종류의 레이아웃)에 관한 정보가 기억된다.

이미지 설정부 52는, "좋아함" 이미지의 설정을 행한다. 좋아함 이미지의 설정은, 사용자에 의해 입력부 17을 통해서 이미지 기억부 71에 기억되는 각 이미지에 대하여 행해지고, 평가가 높아지거나 대표 이미지로서 선택되기 쉬워지는 [좋아함]과, 대표 이미지로서 선택하지 않았으면 하는 [좋아하지 않음]과, [그 외]의 설정을 한다. 좋아함 이미지의 설정은, 이미지 정보 기억부 72에 기억된다.

또, 이미지 설정부 52는, 콜라주 이미지로서 이용할 이미지의 선택 대상이 되는 기간을 설정한다. 본 실시 형태에 있어서는, 이미지 설정부 52는, 사용자에 의한 입력부 17을 통한 입력 조작에 의해 설정된 날짜를 이미지의 선택 대상의 기간으로서 설정한다. 또한, 이미지 설정부 52는, 사용자에 의해 입력부 17을 통해서, 시간 단위, 주 단위, 월 단위를 이미지의 선택 대상의 기간으로서 지정하도록 구성해도 좋고, 복수의 날, 복수의 주 단위, 복수의 월 단위 등을 복합한 기간이나 서로 다른 단위의 기간(예를 들면, 날이나 주 등의 단위가 다른 것을 조합시킨 기간)을 지정하도록 구성해도 좋다.

또, 이미지 설정부 52는, 사용자에 의한 입력부 17을 통한 설정 조작에 의해, 콜라주 이미지에 사용할 이미지의 매수를 설정한다.

이미지 평가부 53은, 상기한 실시 형태에 있어서의 평가 기준과 유사하게, 촬영 정보 등에 기초해서, 시간 단위로 그룹핑된 이미지 군을 그룹마다 평가한다. 이미지 평가부 53은, 예를 들면, 설정한 날짜에 있어서, 소정의 시간마다(예를 들면, 6시부터 9시, 10시부터 13시, 14시부터 17시, 17시부터 20시 등의 시간대) 분류된 그룹에 속하는 이미지를, 그룹마다 평가한다. 평가 시에는, 상기한 실시 형태와 유사하게, 촬영 정보에 기초해서, 점수를 부여하고, 또한, 이미지 설정부 52에 의해 설정된 좋아함 이미지의 정보에 기초해서 행한다. 즉, 평가는, 촬영 정보에 기초해서 부여된 점수에, 예를 들면, [좋아함]일 경우에는 가점을 하고, [그 이외]일 경우에는 가점을 하지 않고, [좋아하지 않음]일 경우에는 점수를 감점하는 등의 선택으로부터 배제되도록 하는 처리를 행한다. 최종적으로, 점수가 높은 이미지를 평가가 높은 것으로서 취급한다.

이미지 선택부 54는, 이미지 평가부 53에 의한 평가에 기초해서, 그룹마다 대표 이미지를 선택한다. 본 실시 형태에 있어서는, 이미지 선택부 54는, 그룹에 있어서 가장 점수가 높은 이미지를 대표 이미지로서 선택한다.

출력 제어부 56은, 선택한 대표 이미지나, 선택가능한 레이아웃의 후보(본 실시 형태에 있어서는, 10종류의 레이아웃의 후보)가 표시되도록 출력부 18을 제어한다.

효과 선택부 57은, 효과 정보 기억부 73에 기억되는 레이아웃을 사용자의 지시에 기초해서, 선택한다. 또한, 효과 선택부 57은, 설정에 있어서 레이아웃을 자동적으로 선택하도록 구성하거나, 이미지의 속성에 따라서 레이아웃을 자동적으로 선택하거나 하도록 구성해도 좋다.

도 7은, 제3 실시 형태에 있어서의 이미지 생성 처리의 흐름을 설명하는 흐름도이다.

단계 S71에 있어서, 이미지 취득부 51은, 촬상부 16이나 외부로부터 이미지를 취득한다. 취득된 이미지는, 이미지 기억부 71에 기억된다.

단계 S72에 있어서, 이미지 설정부 52는, 사용자에 의해 입력부 17을 통해서 이미지 기억부 71에 기억되는 각 이미지에 대해서, [좋아함]·[좋아하지 않음]·[ 그 외]의 좋아함 이미지를 설정한다.

단계 S73에 있어서, 이미지 설정부 52는, 복수의 날짜의 후보로부터 이미지의 선택 대상이 되는 날짜를 설정한다. 구체적으로는, 이미지 설정부 52는, 이미 촬상된 복수의 정지 화상의 소정의 정보 영역(예를 들면, EXIF(Exchangeable image fileformat) 영역)에 기억된 각 부대 정보의 촬영 일시를 참조해서, 복수의 촬영 일시를 일람 표시시킨다.

단계 S74에 있어서, 이미지 설정부 52는, 일람 표시된 날짜로부터 특정의 날짜가, 사용자에 의한 입력부 17을 통한 입력 조작에 의해 설정되었는지 아닌지를 판정한다.

특정 날짜가 설정되지 않은 경우에는, 단계 S74에 있어서 "아니오"로 판정되고, 처리는 단계 S73으로 돌아간다.

특정 날짜가 설정된 경우에는, 단계 S74에 있어서 "예"로 판정되고, 처리는 단계 S75으로 진행한다.

단계 S75에 있어서, 이미지 평가부 53은, 설정된 특정의 날짜에서 촬영된 이미지군으로부터 그룹핑된 이미지군을 그룹마다 평가한다. 구체적으로는, 이미지 평가부 53은, 예를 들면, 설정된 날짜에 있어서, 소정의 시간마다(예를 들면, 6시부터 9시, 10시부터 13시, 14시부터 17시, 17시부터 20시 등의 시간대) 분류된 그룹에 속하는 이미지를, 그룹마다 평가한다.

단계 S76에 있어서, 이미지 선택부 54는, 이미지 평가부 53에 의한 평가에 기초해서, 그룹마다 대표 이미지를 선택한다.

단계 S77에 있어서, 출력 제어부 56은, 선택된 대표 이미지를 일람 표시하도록 출력부 18을 제어한다. 그 결과, 출력부 18에는, 사용자에 의해 선택된 대표 이미지로 콜라주 이미지를 작성하면 좋은지 아닌지의 판단이 가능하도록 대표 이미지가 일람 표시된다.

단계 S78에 있어서, 이미지 선택부 54는, 사용자에 의한 입력부 17을 통한 입력 조작에 의해, 선택된 대표 이미지로 콜라주 이미지를 작성할 것인지 아닌지를 판정한다.

선택된 대표 이미지로 콜라주 이미지를 작성하지 않을 경우에는, 단계 S78에 있어서 "아니오"로 판정되고, 처리는 단계 S76으로 돌아간다. 그 후, 단계 S76에 있어서 차점(次點) 등에 의해, 대표 이미지의 재선택이 행하여진다.

선택된 대표 이미지로 콜라주 이미지를 작성하는 경우에는, 단계 S78에 있어서 "예"로 판정되고, 처리는 단계 S79로 진행한다.

단계 S79에 있어서, 출력 제어부 56은, 효과 정보 기억부 73에 기억되는 선택가능한 레이아웃의 후보가 일람 표시되도록 출력부 18을 제어한다. 그 결과, 출력부 18에는, 사용자에 의해 콜라주 이미지에 이용할 레이아웃이 선택의 판단이 가능하도록 각 레이아웃이 일람 표시된다. 그 후, 사용자에 의한 입력부 17을 통한 선택 지시에 의해, 효과 선택부 57은, 효과 정보 기억부 73에 기억되는 레이아웃으로부터, 소정의 레이아웃을 선택한다.

단계 S80에 있어서, 효과 선택부 57은, 사용자에 의한 입력부 17을 통한 선택 조작에 의해, 레이아웃이 선택되었는지 아닌지를 판정한다.

레이아웃이 선택되지 않은 경우에는, 단계 S80에 있어서 "아니오"로 판정되고, 처리는 단계 S79로 돌아간다.

레이아웃이 선택된 경우에는, 단계 S80에 있어서 "예"로 판정되고, 처리는 단계 S81로 진행한다.

단계 S81에 있어서, 이미지 생성부 55는, 선택된 복수의 대표 이미지를 소정의 레이아웃에 따라 합성함으로써 1개의 콜라주 이미지를 작성한다.

단계 S82에 있어서, 이미지 선택부 54는, 입력부 17 등으로부터 콜라주 이미지의 교체 지시가 있었는지 아닌지를 판정한다.

콜라주 이미지의 교체 지시가 있었을 경우에는, 단계 S82에 있어서 "예"로 판정되고, 처리는 단계 S76으로 돌아간다.

콜라주 이미지의 교체 지시가 없는 경우에는, 단계 S82에 있어서 "아니오"로 판정되고, 처리는 단계 S83으로 진행한다.

단계 S83에 있어서, 이미지 생성부 55는, 예를 들면, 사용자에 의한 입력부 17로의 이미지 생성 처리 종료의 조작이 있었는지 등에 의해 이미지 생성 처리를 종료할 것인지 아닌지를 판정한다.

이미지 생성 처리를 종료하지 않는 경우에는, 단계 S83에 있어서 "아니오"로 판정되고, 대기 상태가 된다.

이미지 생성 처리를 종료하는 경우에는, 단계 S83에 있어서 "예"로 판정되고, 처리는 단계 S84로 진행한다.

단계 S84에 있어서, 이미지 생성부 55는, 예를 들면, 사용자에 의한 입력부 17로의 기록 지시의 조작이 있었는지 등에 의해 기록 지시가 있었는지 아닌지를 판정한다.

기록 지시가 없는 경우에는, 단계 S84에 있어서 "아니오"로 판정되고, 이미지 생성 처리는 종료한다.

기록 지시가 있는 경우에는, 단계 S84에 있어서 "예"로 판정되고, 처리는 단계 S85로 진행한다.

단계 S85에 있어서, 이미지 생성부 55는, 작성된 콜라주 이미지를 이미지 기억부 71에 기록한다. 그 후, 이미지 생성 처리를 종료한다.

한편, 작성된 콜라주 이미지의 기록은, 상기한 것과 같이 교체의 지시가 없었을 경우에 이미지 기억부 71에 기록하는 것에 한하지 않고, 교체의 지시가 있을 때마다 작성되는 콜라주 이미지 모두를 이미지 기억부 71에 기록하도록 구성해도 좋다.

따라서, 본 실시예의 촬상 장치 1에 있어서는, 이미지를 촬영한 날짜와, 레이아웃을 사용자가 선택하는 것만으로, 자동적으로 이미지를 선택하고, 즐거운 시간을 응축한 1매의 콜라주 이미지를 작성할 수 있다. 또한, 본 실시예의 촬상 장치 1에 있어서는, 자동적으로 선택된 이미지를 원 터치로 다시 선택하거나, 좋아하는 이미지를 우선적으로 선택하거나 하는 것도 가능해진다.

<제4 실시 형태>

본 실시 형태에 있어서는, 다이제스트 동영상이 소정의 날짜에 있어서, 그룹핑된 정지 화상/동영상 군으로부터 선택된 그룹을 대표하는 대표 정지 화상/대표 동영상(이하, 간단히 "대표 이미지"라고도 한다)에 기초해서 작성되도록 구성한다. 또, 본 실시 형태에 있어서는, 선택된 대표 이미지의 부분에 대해서 평가에 따라, 동일 내용의 이미지에 있어서 줌 동작이나 패닝(panning) 동작과 같은 이미지 내의 이펙트(effect)를 가하도록 구성한다. 또한, 본 실시 형태에 있어서는, BGM(BackGround Music)이나, 용도에 따라서 다이제스트 동영상의 길이를 사용자가 선택할 수 있도록 구성한다.

한편, 본 실시 형태에 있어서는, 상기한 실시 형태와 공통되는 부분(하드웨어 구성 및 이미지 생성 처리를 실행하는 기능 구성)의 설명은 생략한다.

이미지 기억부 71에는, 촬상부 16이나 외부로부터 취득된 정지 화상에 더해서, 동영상도 기억된다.

효과 정보 기억부 73에는, 또한 BGM(본 실시 형태에 있어서는, 4종류)과, 작성가능한 다이제스트 동영상의 길이(본 실시 형태에 있어서는, 30초, 1분, 3분의 3종류)와, 이미지 내의 이펙트의 정보가 기억된다.

이미지 설정부 52는, 사용자에 의한 입력부 17을 통한 설정 조작에 의해, BGM(본 실시 형태에 있어서는, 4종류)과 다이제스트 동영상의 길이(본 실시 형태에 있어서는, 30초, 1분, 3분의 3종류)를 설정한다.

이미지 선택부 54는, 이미지 평가부 53에 의한 각 이미지(각 정지 화상/각 동영상)의 평가에 기초해서, 설정된 다이제스트 동영상의 길이에 따른 수의 이미지를 분류된 각 이미지로부터 대표 이미지(대표 정지 화상/대표 동영상)로서 선택한다.

효과 선택부 57은, 선택된 대표 이미지(대표 정지 화상/대표 동영상)의 평가에 기초해서, 효과 정보 기억부 73에 기억되는 이펙트의 정보로부터 동일 내용의 이미지에 있어서 줌 동작이나 패닝(panning) 동작과 같은 이미지 내의 이펙트를 선택한다. 구체적으로는, 효과 선택부 57은, 예를 들면, 평가가 가장 높은 대표 이미지에 대하여, 이펙트를 부가하도록 선택한다. 한편, 효과 선택부 57은, 선택된 대표 정지 화상/대표 동영상의 평가에 기초해서, 이미지 사이의 이펙트(소위, 트랜지션)나 재생 순번을 변경하는 이펙트를 부여하도록 구성해도 좋다.

도 8은, 제4 실시 형태에 있어서의 이미지 생성 처리의 흐름을 설명하는 흐름도이다.

단계 S101에 있어서, 이미지 취득부 51은, 촬상부 16이나 외부로부터 이미지(정지 화상 및 동영상)를 취득한다. 취득된 이미지(정지 화상 및 동영상)는, 이미지 기억부 71에 기억된다.

단계 S102에 있어서, 이미지 설정부 52는, 사용자에 의해 입력부 17을 통해서 이미지 기억부 71에 기억되는 각 이미지(각 정지 화상 및 각 동영상)에 대하여, [좋아함]·[좋아하지 않음]·[ 그 외]의 좋아함 이미지를 설정한다.

단계 S103에 있어서, 이미지 설정부 52는, 다이제스트 동영상에 부여할 BGM을 설정한다. 구체적으로는, 사용자에 의한 입력부 17을 통한 설정 조작에 의해, 효과 정보 기억부 73에 기억되는 4종류의 BGM 중에서 설정한다. 이때, 사용자에 의해 선택가능하도록, 출력 제어부 56은, BGM의 타이틀 등을 표시 출력하도록 출력부 18을 제어한다.

단계 S104에 있어서, 이미지 설정부 52는, 다이제스트 동영상의 길이를 설정한다. 구체적으로는, 사용자에 의한 입력부 17을 통한 설정 조작에 의해, 효과 정보 기억부 73에 기억되는 다이제스트 동영상의 길이(본 실시 형태에 있어서는, 30초, 1분, 3분의 3종류) 중에서 설정한다. 이때, 사용자에 의해 선택가능하도록, 출력 제어부 56은, 선택가능한 다이제스트 동영상의 길이 정보를 표시 출력하도록 출력부 18을 제어한다.

단계 S105에 있어서, 이미지 설정부 52는, 복수의 후보 날짜로부터 선택 대상이 되는 날짜를 설정한다. 구체적으로는, 이미지 설정부 52는, 이미 촬상된 복수의 이미지의 부대 정보를 참조해서, 복수의 이미지의 촬영 일시를 일람 표시시킨다.

단계 S106에 있어서, 이미지 설정부 52는, 일람 표시된 촬영 일시로부터 특정의 날짜가, 사용자에 의한 입력부 17을 통한 입력 조작에 의해 설정되었는지 아닌지를 판정한다.

특정 날짜가 설정되지 않은 경우에는, 단계 S106에 있어서 "아니오"로 판정되고, 처리는 단계 S105로 돌아간다.

특정 날짜가 설정된 경우에는, 단계 S106에 있어서 "예"로 판정되고, 처리는 단계 S107로 진행한다.

단계 S107에 있어서, 이미지 평가부 53은, 설정된 특정 날짜에서 촬영된 이미지군으로부터 그룹핑된 이미지(정지 화상 및 동영상) 군을 그룹마다 평가한다. 구체적으로는, 이미지 평가부 53은, 예를 들면, 설정한 날짜에 있어서, 소정의 시간마다(6시부터 9시, 10시부터 13시, 14시부터 17시, 17시부터 20시) 분류된 그룹에 속하는 정지 화상과 동영상을, 그룹마다 평가한다.

단계 S108에 있어서, 이미지 선택부 54는, 이미지 평가부 53에 의한 각 이미지(각 정지 화상/각 동영상)의 평가에 기초해서, 설정된 다이제스트 동영상의 길이에 따른 수의 이미지를 분류된 각 그룹으로부터 대표 이미지(대표 정지 화상/대표 동영상)로서 선택한다.

단계 S109에 있어서, 출력 제어부 56은, 선택한 대표 이미지(대표 정지 화상 및 대표 동영상)를 일람 표시하도록 출력부 18을 제어한다. 그 결과, 출력부 18에는, 사용자에 의해 선택된 대표 이미지(대표 정지 화상 및 대표 동영상)로 동영상을 작성하면 좋은지 아닌지의 판단이 가능하도록 대표 이미지(대표 정지 화상 및 대표 동영상)가 일람 표시된다.

단계 S110에 있어서, 이미지 선택부 54는, 사용자에 의한 입력부 17을 통한 입력 조작에 의해, 선택된 대표 이미지로 다이제스트 동영상을 작성할 것인지 아닌지를 판정한다.

선택된 대표 이미지로 다이제스트 동영상을 작성하지 않는 경우에는, 단계 S110에 있어서 "아니오"로 판정되고, 처리는 단계 S108로 돌아간다. 그 후, 단계 S108에 있어서 차점 등에 의해, 대표 이미지(대표 정지 화상 및 대표 동영상)의 재선택이 행해진다.

선택된 대표 이미지로 다이제스트 동영상을 작성하는 경우에는, 단계 S110에 있어서 "예"로 판정되고, 처리는 단계 S111로 진행한다.

단계 S111에 있어서, 효과 선택부 57은, 선택된 대표 이미지(대표 정지 화상/대표 동영상)의 평가에 기초해서, 효과 정보 기억부 73에 기억되는 이펙트의 정보로부터 동일 내용의 이미지에 있어서 줌 동작이나 패닝(panning) 동작과 같은 이미지 내의 이펙트를 선택한다. 구체적으로는, 효과 선택부 57은, 예를 들면, 평가가 가장 높은 대표 이미지에 대하여, 이펙트를 부가하도록 선택한다.

단계 S112에 있어서, 이미지 생성부 55는, 선택된 대표 이미지(대표 정지 화상/대표 동영상)를 이용해서, 설정된 BGM을 부가하고, 다이제스트 동영상의 길이가 되도록 서로 연결시켜서 1개의 다이제스트 동영상을 작성한다. 또, 이미지 생성부 55는, 대표 이미지(대표 정지 화상/대표 동영상)의 평가에 기초해서 선택된 이펙트를 소정의 대표 이미지에 대응하는 부분에 부여한다.

단계 S113에 있어서, 이미지 선택부 54는, 입력부 17 등으로부터 다이제스트 동영상의 교체 지시가 있었는지 아닌지를 판정한다.

다이제스트 동영상의 교체 지시가 있는 경우에는, 단계 S113에 있어서 "예"로 판정되고, 처리는 단계 S108로 돌아간다.

다이제스트 동영상의 교체 지시가 없는 경우에는, 단계 S113에 있어서 "아니오"로 판정되고, 처리는 단계 S114로 진행한다.

단계 S114에 있어서, 이미지 생성부 55는, 예를 들면, 사용자에 의한 입력부 17로의 이미지 생성 처리 종료의 조작이 있었는지 등에 의해 이미지 생성 처리를 종료할 것인지 아닌지를 판정한다.

이미지 생성 처리를 종료하지 않는 경우에는, 단계 S114에 있어서 "아니오"로 판정되고, 대기 상태가 된다.

이미지 생성 처리를 종료하는 경우에는, 단계 S114에 있어서 "예"로 판정되고, 처리는 단계 S115로 진행한다.

단계 S115에 있어서, 이미지 생성부 55는, 예를 들면, 사용자에 의한 입력부 17로의 기록 지시의 조작이 있었는지 등에 의해 기록 지시가 있었는지 아닌지를 판정한다.

기록 지시가 없는 경우에는, 단계 S115에 있어서 "아니오"로 판정되고, 이미지 생성 처리는 종료된다.

기록 지시가 있는 경우에는, 단계 S115에 있어서 "예"로 판정되고, 처리는 단계 S116으로 진행한다.

단계 S116에 있어서, 이미지 생성부 55는, 작성된 다이제스트 동영상을 이미지 기억부 71에 기록한다. 그 후, 이미지 생성 처리는 종료한다.

한편, 작성된 다이제스트 동영상의 기록은, 상기한 것과 같이 교체의 지시가 없는 경우에, 이미지 기억부 71에 기록하는 것에 한하지 않고, 교체의 지시가 있을 때마다 작성되는 다이제스트 동영상 모두에 대하여 이미지 기억부 71에 기록하도록 구성해도 좋다.

또한, 상기한 이미지 생성 처리에 있어서는, 특히 평가가 높은 이미지를 선택한 후에, 나머지의 이미지를 시간순으로 정렬하고, 촬영 시간이 빠른 순서대로 소정의 매수(예를 들면, 5매)로 그룹화하고 나서, 나머지의 목표 재생 시간분에 대응하는 대표 이미지를 선택하고, 해당 이미지를 이용해서 이미지를 생성하도록 구성할 수 있다.

따라서, 본 실시예의 촬상 장치 1에 있어서는, 이미지를 촬영한 날짜를 사용자가 선택하는 것만으로, 이펙트 등을 자동적으로 부가한 한 개의 다이제스트 동영상을 작성할 수 있다. 또, 본 실시예의 촬상 장치 1에 있어서는, 동영상에 부가되는 BGM이나 동영상의 길이를 사용자가 선택하는 것이 가능해진다.

<제5 실시 형태>

본 실시 형태에서는, 사용할 이미지의 종류(정지 영상만/동영상만/동영상과 정지 영상의 양쪽)를 선택할 수 있도록 구성한다.

또, 상기한 이미지 생성 처리에 있어서는, 특히 평가가 높은 이미지를 선택한 후에, 나머지 이미지를 시간순으로 정렬하고, 촬영 시간이 빠른 순서대로 소정의 매수(예를 들면, 5매)로 그룹화하고 나서, 나머지의 목표 재생 시간분에 대응하는 대표 이미지를 선택하고, 해당 이미지를 이용해서 이미지를 생성하도록 구성할 수 있었지만, 이러한 방식에서는, 촬영 시간이 늦은 이미지가 선택되지 않을 수 있기 때문에, 본 실시 형태에 있어서는, 나머지의 이미지 그룹을 (나머지의 목표 재생 시간)/(이미지 1매당의 재생 시간)의 수로 나누는 것으로, 모든 이미지로부터 대표 이미지를 선택할 수 있도록 구성한다.

또, 본 실시 형태에 있어서는, 종방향의 이미지나 타임랩스 이미지 등의 특수한 방법으로 촬영된 이미지나 특수한 효과가 부가된 이미지를 선택하지 않도록 구성한다.

본 실시 형태에 있어서는, 이미지를 선택하는 처리(이하, "이미지 선택 처리"라고 함)는, 이하와 같은 순서를 거쳐서 행하도록 구성한다.

도 9는, 제5 실시 형태에 있어서의 이미지 선택 처리의 흐름을 설명하는 흐름도이다.

단계 S131에 있어서, 사용자에 의한 입력부 17로의 사용 이미지 종류 선택 조작에 의해, 사용할 이미지의 종류를 선택한다.

이미지 선택부 54는, 사용자에 의해 선택된 종류의 이미지(예를 들면, 정지 영상만/동영상만/동영상과 정지 영상의 양쪽)를, 선택 날짜의 이미지를 갱신 시간 순으로 정렬한다. 한편, 갱신 시간이란, 이미지 파일의 갱신이 있었던 날이고, 이미지의 촬영일이나 열람에 의해 파일을 사용한 날을 포함한다. 갱신 시간 순으로 정렬이란, 현재 시각에 가까운 순서대로 정렬하는 것을 말한다.

단계 S132에 있어서, 이미지 선택부 54는, 설정에 따라서 이미지를 제외하기 때문에, 대상 이미지로 선택한 종류 이외의 이미지를 선택 대상으로부터 제외한다.

단계 S133에 있어서, 이미지 선택부 54는, 문턱값 미만의 이미지 및/또는 마이너스 평가의 이미지를 선택 대상으로부터 제외한다. 본 실시 형태에 있어서, 마이너스 평가의 이미지는, 예를 들면, 이미지의 방향이 90도나 270도 등의 종방향의 이미지나 타임랩스 이미지나 다이제스트 이미지이다.

단계 S134에 있어서, 이미지 선택부 54는, 제외한 이미지 이외의 다른 평가의 이미지인, 점수가 있는 이미지(이하, "평가가 높은 이미지"라고 함)와 점수가 없는 이미지(이하, "평가가 낮은 이미지"라고 함)의 표시 시간의 합계가 설정 시간 이내인지 아닌지를 판정한다(목표 재생 시간≥선택 후보 이미지의 표시 시간의 합계).

다른 평가의 이미지의 표시 시간의 합계가 설정 시간 이내인 경우에는, 단계 S134에 있어서, "예"로 판정되고, 처리는 단계 S135로 진행한다.

단계 S135에 있어서, 이미지 선택부 54는, 제외한 이미지 이외의 다른 평가의 이미지 모두를 선택한다. 그때, 이미지 선택부 54는, 이미지 생성용으로, 선택한 이미지를 갱신 시간 순으로 정렬해서 선택한다. 그 후, 이미지를 선택하는 처리는 종료되고, 이미지를 생성하는 처리로 나아간다.

이에 대하여, 다른 평가의 이미지의 표시 시간의 합계가 설정 시간을 넘는 경우에는, 단계 S134에 있어서, "아니오"로 판정되고, 처리는 단계 S136으로 진행한다.

단계 S136에 있어서, 이미지 선택부 54는, 평가가 높은 이미지의 표시 시간의 합계가 목표 재생 시간을 넘는지 아닌지를 판정한다(목표 재생 시간≤평가가 높은 이미지의 표시 시간의 합계).

평가가 높은 이미지의 표시 시간의 합계가 목표 재생 시간을 넘는 경우에는, 단계 S136에 있어서 "예"로 판정되고, 처리는 단계 S137로 진행한다.

단계 S137에 있어서, 이미지 선택부 54는, 평가가 높은 이미지를 점수 순으로 정렬하고, 점수가 높은 순의 이미지의 표시 시간의 합계가 목표 재생 시간이 될 때까지, 이미지를 선택한다. 한편, 점수가 같은 이미지가 있을 경우에는, 갱신 시간이 빠른 순서대로 선택한다. 그때, 이미지 선택부 54는, 이미지 생성용으로, 선택한 이미지를 갱신 시간 순으로 정렬해서 선택한다. 그 후, 이미지를 선택하는 처리는 종료되고, 이미지를 생성하는 처리로 나아간다.

이에 대하여, 평가가 높은 이미지의 표시 시간의 합계가 목표 재생 시간 이내인 경우에는, 단계 S136에 있어서 "아니오"로 판정되고, 처리는 단계 S138로 진행한다.

단계 S138에 있어서, 이미지 선택부 54는, 평가가 높은 이미지 모두를 선택한다.

단계 S139에 있어서, 이미지 선택부 54는, 평가가 낮은 이미지를 갱신 시간 순으로 정렬시키고, 갱신 시간 순으로 그룹핑을 행한다. 그룹 수는, 예를 들면, (목표 재생 시간-선택한 평가가 높은 이미지의 표시 시간의 합계)/5[소수점 절상]로 결정한다. 결정한 그룹 수에 따라서, 각 그룹에서 이미지가 균등해지도록 갱신 시간 순으로 평가가 낮은 이미지를 나눈다.

단계 S140에 있어서, 이미지 선택부 54는, 그룹마다 평가가 낮은 이미지를 점수 순으로 정렬하고, 선택된 평가가 높은 이미지 분량의 나머지의 목표 재생 시간이 되도록 각 그룹에서 점수가 높은 순서대로 이미지를 선택한다. 그 후, 이미지를 선택하는 처리는 종료하고, 이미지를 생성하는 처리로 나아간다.

이상과 같이 구성되는 촬상 장치 1은, 이미지 취득부 51과, 이미지 설정부 52와, 이미지 선택부 54와, 이미지 생성부 55를 포함한다.

이미지 취득부 51은, 서로 다른 그룹의 각각에 속하는 복수의 이미지를 취득한다.

이미지 설정부 52는, 새로운 이미지 생성에 사용할 이미지 수를 결정한다.

이미지 선택부 54는, 이미지 취득부 51에 의해 취득된 서로 다른 그룹의 각각에 속하는 복수의 이미지의 부대 정보에 기초해서, 서로 다른 그룹의 각각으로부터 이미지 설정부 52에 의해 결정된 이미지 수의 이미지를 선택한다.

이미지 생성부 55는, 이미지 선택부 54에 의해 선택된 복수의 이미지로부터, 새로운 이미지를 생성한다.

이에 의해, 상기 실시예의 촬상 장치 1에 있어서는, 복수의 이미지로부터 합성 이미지를 생성할 때의 이미지를 선택하는 부담을 경감시킨다.

또, 상기 실시예의 촬상 장치 1은, 서로 다른 그룹에 속하는 복수의 이미지 각각의 부대 정보를 평가하는 이미지 평가부 53을 포함한다.

몇몇 실시예에 의하면, 이미지 선택부 54는, 이미지 평가부 53에 의한 평가에 기초해서, 서로 다른 그룹의 각각으로부터 이미지를 선택한다.

이에 의해, 상기 실시예의 촬상 장치 1에 있어서는, 사용자가 원하는 이미지를 새로운 이미지를 생성하기 위해서 이용할 이미지로서 선택할 수 있다.

몇몇 실시예에 의하면, 이미지 선택부 54는, 서로 다른 그룹 내에 있어서의 평가 수단에 의한 평가의 높이가 소정의 순위인 이미지를 각각 선택한다.

이에 의해, 상기 실시예의 촬상 장치 1에 있어서는, 사용자가 원하는 이미지를 새로운 이미지를 생성하기 위해서 이용할 이미지로서 선택할 수 있다.

몇몇 실시예에 의하면, 이미지 선택부 54는, 서로 다른 그룹의 각각으로부터, 복수의 이미지를 선택한다.

이에 의해, 상기 실시예의 촬상 장치 1에 있어서는, 사용자기 원하는 이미지를 새로운 이미지를 생성하기 위해서 이용할 이미지로서 선택할 수 있다.

몇몇 실시예에 의하면, 이미지 선택부 54는, 서로 다른 그룹의 각각으로부터, 당해 각각의 그룹에 속하는 복수의 이미지의 총수보다 적은 수의 이미지를 선택한다.

이에 의해, 상기 실시예의 촬상 장치 1에 있어서는, 사용자가 원하는 이미지를 새로운 이미지를 생성하기 위해서 이용할 이미지로서 선택할 수 있다.

몇몇 실시예에 의하면, 이미지 선택부 54는, 서로 다른 그룹 내에 있어서의 이미지 평가부 53에 의한 평가의 높이가 소정의 순위인 이미지를 각각 선택한다.

이에 의해, 상기 실시예의 촬상 장치 1에 있어서는, 사용자가 원하는 이미지를 새로운 이미지를 생성하기 위해서 이용할 이미지로서 선택할 수 있다.

몇몇 실시예에 의하면, 이미지 선택부 54는, 서로 다른 그룹으로부터 특정 그룹을 선택한다.

또한, 이미지 선택부 54는, 상기 서로 다른 그룹 가운데, 그룹 선택 수단에 의해 특정 그룹으로서 선택된 그룹과, 당해 특정 그룹으로서 선택되지 않은 그룹으로, 이미지의 선택 방법을 변경한다.

이에 의해, 상기 실시예의 촬상 장치 1에 있어서는, 사용자가 보다 더 선호하는 이미지를 새로운 이미지를 생성하기 위해서 이용할 이미지로서 선택할 수 있다.

몇몇 실시예에 의하면, 이미지 선택부 54는, 특정 그룹 내에서는 이미지 평가부 53에 의한 평가가 소정의 순위인 이미지를 선택하는 한편, 서로 다른 그룹 가운데, 특정 그룹 이외의 그룹 내에서는 무작위로 이미지를 선택한다.

이에 의해, 상기 실시예의 촬상 장치 1에 있어서는, 사용자가 보다 더 선호하는 이미지를 새로운 이미지를 생성하기 위해서 이용할 이미지로서 선택할 수 있다.

또, 몇몇 실시예에 의하면, 이미지 선택부 54는, 복수의 이미지를 서로 다른 그룹으로 분할한다.

이미지 취득부 51은, 이미지 선택부 54에 의해 서로 다른 그룹으로 분할된 복수의 이미지를 취득한다.

이에 의해, 상기 실시예의 촬상 장치 1에 있어서는, 서로 다른 그룹 단위로 이미지를 취급할 수 있고, 사용자가 원하는 이미지를 새로운 이미지를 생성하기 위해서 이용할 이미지로서 선택할 수 있다.

또, 몇몇 실시예에 의하면, 이미지 선택부 54는, 복수의 이미지를 이미지 설정부 52에 의해 결정된 이미지 수에 대응하는 수의 서로 다른 그룹으로 분할한다.

이에 의해, 상기 실시예의 촬상 장치 1에 있어서는, 결정된 이미지 수에 대응하는 수의 서로 다른 그룹으로 분할하고, 각 그룹으로부터 이미지를 선택하는 것으로, 서로 다른 이미지가 선택되기 때문에, 다양성이 있는 새로운 이미지를 생성할 수 있다.

또, 몇몇 실시예에 의하면, 촬상 장치 1은, 복수의 기간으로부터 특정 기간을 설정하는 이미지 설정부 52를 더 포함한다.

이미지 취득부 51은, 이미지 설정부 52에 의해 설정된 기간에 대응하는 서로 다른 그룹의 각각에 속하는 복수의 이미지를 취득한다.

이에 의해, 상기 실시예의 촬상 장치 1에 있어서는, 사용자가 보다 더 선호하는 이미지를 새로운 이미지를 생성하기 위해서 이용할 이미지로서 선택할 수 있다.

서로 다른 그룹은, 특정의 일 단위, 주 단위, 월 단위, 계절 단위, 년 단위,또는 력(歷) 단위인 특정 단위에 따라서 분류된다.

이에 의해, 상기 실시예의 촬상 장치 1에 있어서는, 특정 일 단위, 주 단위, 월 단위, 년 단위, 또는 력 단위인 특정 단위의 이벤트마다 새로운 이미지를 생성할 수 있다.

몇몇 실시예에 의하면, 이미지 생성부 55는, 새로운 이미지로서, 선택된 복수의 이미지를 1개의 이미지 내에 배치한 이미지를 생성한다.

이에 의해, 상기 실시예의 촬상 장치 1에 있어서는, 예를 들면, 콜라주 이미지에 있어서, 사용자가 원하는 이미지를 자동적으로 생성할 수 있다.

또, 몇몇 실시예에 의하면, 촬상 장치 1에서는, 선택된 복수의 이미지의 한 개의 이미지 내로의 배치는, 위치와 사이즈를 미리 설정한 레이아웃에 기초해서 결정한다.

이에 의해, 상기 실시예의 촬상 장치 1에 있어서는, 사용자는, 최종적인 콜라주 이미지를 떠올리기 쉬워진다.

또, 몇몇 실시예에 의하면, 이미지 선택부 54는, 서로 다른 그룹에 속하는 복수의 이미지로부터 동영상 또는 정지 화상의 적어도 한쪽을 선택한다.

이에 의해, 상기 실시예의 촬상 장치 1에 있어서는, 동영상 또는 정지 화상을 채용한 새로운 이미지를 생성할 수 있다.

또, 몇몇 실시예에 의하면, 이미지 선택부 54는, 특정 그룹에 속하는 복수의 이미지로부터 동영상 또는 정지 화상의 적어도 한쪽을 선택한다.

이에 의해, 상기 실시예의 촬상 장치 1에 있어서는, 동영상 또는 정지 화상을 채용한 새로운 이미지를 생성할 수 있다.

또, 몇몇 실시예에 의하면, 이미지 설정부 52는, 이미지 평가부 53에 의한 평가 결과에 기초해서, 서로 다른 그룹의 각각에 속하는 복수의 이미지의 각 이미지에 동영상 생성을 위한 재생 시간을 설정한다.

또, 이미지 설정부 52는, 설정된 재생 시간에 기초해서, 새로운 동영상의 생성에 사용할 이미지 수를 결정한다.

이에 의해, 상기 실시예의 촬상 장치 1에 있어서는, 설정된 재생 시간에 기초해서, 새로운 동영상에 사용할 이미지 수가 결정되기 때문에, 사용자가 원하는 재생 시간으로, 동영상을 생성할 수 있다.

몇몇 실시예에 의하면, 이미지 생성부 55는, 새로운 이미지로서, 선택된 복수의 이미지를 서로 연결시켜서 동영상을 생성한다.

이에 의해, 상기 실시예의 촬상 장치 1에 있어서는, 복수의 사용자가 원하는 이미지로 구성되는 동영상을 자동적으로 생성할 수 있다.

몇몇 실시예에 의하면, 이미지 생성부 55는, 선택된 이미지에 기초해서, 이펙트를 부여한다.

이에 의해, 상기 실시예의 촬상 장치 1에 있어서는, 예를 들면, 평가가 높은 이미지에 이펙트를 부여하기 때문에, 사용자가 보다 더 선호하는 이미지에 대하여 시각적인 효과를 부여할 수 있고, 복수의 사용자가 원하는 이미지로 구성되는 효과적인 동영상을 자동적으로 생성할 수 있다.

몇몇 실시예에 의하면, 이미지 설정부 52는, 사용자 조작에 기초해서, 임의로 이미지 생성에 사용할 이미지 수를 결정한다.

이에 의해, 상기 실시예의 촬상 장치 1에 있어서는, 사용자가 원하는 이미지 수를 결정할 수 있다.

이에 더하여, 본 발명은, 상기한 실시 형태에 한정되는 것이 아니고, 본 발명의 목적을 달성할 수 있는 범위에서의 변형, 개량 등은 본 발명에 포함되는 것이다.

상기한 실시 형태에서는, 이미지의 평가 시에, 촬영 정보를 이용했지만 이에 한정되지 않고, 예를 들면, 열람 회수나 이미지에 프로텍트(protect)가 걸려 있는 등의 관점으로부터 사용자의 취향을 판단해서 점수를 부여하도록 구성해도 좋다.

또, 상기한 실시 형태에서는, 이미지의 선택에 관해서, 특정 날짜나 특정 날짜 이후의 날짜만을 사용하도록 날짜의 기한을 마련해도 좋다. 또, 예를 들면, 일, 주, 월, 년, 계절, 력 등의 특정 기간을 단위로 한 이미지만을 선택하도록 구성해도 좋다. 또, 시간 단위, 며칠 단위, 주 단위, 월 단위 등의 소정의 기간의 이외에, 복수의 날을 선택하도록 구성해도 좋고, 복수의 날, 복수의 시간대, 그 외의 다른 단위의 기간(예를 들면, 단위가 다른 날이나 주의 조합)을 선택하도록 구성해도 좋다.

또, 상기한 실시 형태에서는, 이미지의 선택 대상으로서, 주로, 정지 영상에 대해서 설명을 했지만, 동영상을 이미지의 선택 대상으로 하도록 구성해도 좋다. 이 경우, 줌 등의 특정한 조작이 행해진 신이나 대표 신 등에 대응하는 프레임 이미지를 이미지의 생성에 이용할 이미지로 하도록 구성해도 좋다.

또, 상기한 실시 형태에서는, 이미지의 선택에 관해서, 촬영 정보를 이용하도록 구성했지만, 이에 한정되지 않고, 예를 들면, 사용자가 흥미를 가질 가능성이 높은 이미지의 열람 회수나 열람 시간을 평가의 조건(배점)으로 해도 좋다. 구체적으로는, 열람 시간이 긴 경우에는 가점되고, 줌 등의 조작이 열람시 있었던 것에는 가점되고, 동영상에 관해서는 마지막까지 재생되지 않았을 때나 빨리 감기를 한 때에는 감점되도록 구성해도 좋다.

또한, 이 경우에는, 단순히 표시의 회수나 시간을 카운트할 뿐만 아니라, 시선 검출이나 장치의 자세 검출을 행하여, 표시 화면에 시선을 향하고 있는 시간이나 이미지의 표시 중의 자세가 바른 상태인지를 판단해서, 실질적인 이미지의 열람 회수나 열람 시간을 카운트하도록 구성해도 좋다.

또, 상기한 실시 형태에 있어서의 평가 기준에 더해서, 이미지를 해석하여, 검출한 얼굴에 미소가 포함되는 경우에는 즐거운 이미지라고 판단해서, 평가를 높게 하는 등의 이미지의 내용을 평가 기준으로서 가미해도 좋다. 그 결과로서, 즐거운 시간만을 모은 콜라주 이미지를 작성하는 것이 가능해진다.

또, 상기한 실시 형태에서는, 이미지의 선택에 관해서, 콜라주 이미지나 동영상의 생성에 한정되지 않고, 슬라이드 쇼의 재생 등에도 이용할 수 있다. 또, 생성한 이미지는, 이미지의 선택도 포함시켜서 사후적으로 편집할 수 있도록 구성해도 좋다.

또, 상기한 실시 형태에서는, 본 발명이 적용되는 촬상 장치 1은, 디지털 카메라를 예로서 설명했지만, 특별히 이에 한정되지 않는다.

예를 들면, 본 발명은, 이미지 생성 처리 기능을 갖는 전자 기기 일반에 적용할 수 있다. 구체적으로는, 예를 들면, 본 발명은, 노트형의 PC, 프린터, 텔레비전 수상기, 비디오 카메라, 휴대폰형 네비게이션 장치, 휴대 전화기, 스마트폰, 포터블 게임기 등에 적용가능하다.

상기한 일련의 처리는, 하드웨어에 의해 실행시킬 수도 있고, 소프트웨어에 의해 실행시킬 수도 있다.

환언하면, 도 3 및 6의 기능적 구성은 예시에 지나지 않고, 특별히 한정되지 않는다. 즉, 상기한 일련의 처리를 전체로서 실행할 수 있는 기능이 촬상 장치 1에 구비되어 있으면 충분하고, 이 기능을 실현하기 위해서 어떤 기능 블록을 이용할 것일지는 특별히 도 3 및 도 6의 예로 한정되지 않는다.

또, 한 개의 기능 블록은, 하나의 하드웨어로 구성해도 좋고, 하나의 소프트웨어로 구성해도 좋고, 이들의 조합으로 구성해도 좋다.

일련의 처리를 소프트웨어에 의해 실행시킬 경우에는, 그 소프트웨어를 구성하는 프로그램이, 컴퓨터 등에 네트워크나 기록 매체로부터 인스톨된다.

컴퓨터는, 전용의 하드웨어에 편입되어 있는 컴퓨터이어도 좋다. 또, 컴퓨터는, 각종 프로그램을 인스톨하는 것으로, 각종 기능을 실행하는 것이 가능한 컴퓨터, 예를 들면, 범용 PC이어도 좋다.

이러한 프로그램을 포함하는 기록 매체는, 사용자에게 프로그램을 제공하기 위해서 장치 본체와는 별도로 배포되는 도 1의 리무버블(removable) 미디어 31에 의해 구성될 뿐만 아니라, 장치 본체에 미리 갖추어진 상태로 사용자에게 제공되는 기록 매체 등으로 구성된다. 리무버블 미디어 31은, 예를 들면, 자기 디스크(플로피 디스크(floppy disk)를 포함함), 광 디스크, 또는 광자기 디스크 등에 의해 구성된다. 광 디스크는, 예를 들면, CD-ROM(Compact Disk-Read Only Memory), DVD(Digital Versatile Disk), Blu-ray(등록상표) Disc(블루레이 디스크) 등에 의해 구성된다. 광자기 디스크는, MD(Mini-Disk) 등에 의해 구성된다. 또, 장치 본체에 미리 갖추어진 상태로 사용자에게 제공되는 기록 매체는, 예를 들면, 프로그램이 기록되어 있는 도 1의 ROM 12나, 도 1의 기억부 19에 포함되는 하드 디스크 등으로 구성된다.

또한, 본 명세서에 있어서, 기록 매체에 기록되는 프로그램을 기술하는 단계는, 그 순서에 따라 시계열적으로 행해지는 처리는 물론, 반드시 시계열적으로 처리되지 않더라도, 병렬적 또는 개별적으로 실행되는 처리도 포함하는 것이다.

이상, 본 발명의 몇 가지의 실시 형태에 대해서 설명했지만, 이 실시 형태는, 예시에 지나지 않고, 본 발명의 기술적 범위를 한정하는 것은 아니다. 본 발명은 그 외의 다양한 실시 형태를 취하는 것이 가능하고, 또한, 본 발명의 요지를 벗어나지 않는 범위에서, 생략이나 치환 등 다양한 변경을 할 수 있다. 이들 실시 형태나 그 변형은, 본 명세서 등에 기재된 발명의 범위나 요지에 포함되는 동시에, 특허청구의 범위에 기재된 발명과 그 균등한 범위에 포함된다.

Claims (22)

1. 서로 다른 그룹의 각각에 속하는 복수의 이미지를 취득하는 이미지 취득부와,
   새로운 이미지 생성에 사용할 이미지 수를 결정하는 이미지 수 결정부와,
   상기 이미지 취득부에 의해 취득된 상기 서로 다른 그룹의 각각에 속하는 복수의 이미지의 부대 정보에 기초해서, 상기 이미지 취득부에 의해 취득된 상기 복수의 이미지로부터, 상기 이미지 수 결정부에 의해 결정된 상기 이미지 수의 이미지를 선택하는 이미지 선택부와,
   상기 이미지 선택부에 의해 선택된 복수의 이미지로부터, 새로운 이미지를 생성하는 생성부
   를 포함하는 이미지 생성 장치.
   
2. 제1항에 있어서,
   상기 서로 다른 그룹에 속하는 복수의 이미지의 각각의 부대 정보를 평가하는 평가부를 더 포함하고,
   상기 이미지 선택부는, 상기 평가부에 의한 평가에 기초해서, 상기 서로 다른 그룹의 각각으로부터 이미지를 선택하는,
   이미지 생성 장치.
   
3. 제2항에 있어서,
   상기 이미지 선택부는, 상기 서로 다른 그룹 내에 있어서의 상기 평가부에 의한 평가의 높이가 소정의 순위인 이미지를 각각 선택하는,
   이미지 생성 장치.
   
4. 제1항 내지 제3항 중 어느 한 항에 있어서,
   상기 이미지 선택부는, 상기 서로 다른 그룹의 각각으로부터 상기 복수의 이미지를 선택하는,
   이미지 생성 장치.
   
5. 제1항 내지 제3항 중 어느 한 항에 있어서,
   상기 이미지 선택부는, 상기 서로 다른 그룹의 각각으로부터, 당해 서로 다른 그룹의 각각에 속하는 복수의 이미지의 총수보다 적은 수의 이미지를 선택하는,
   이미지 생성 장치.
   
6. 제2항에 있어서,
   상기 서로 다른 그룹으로부터 특정 그룹을 선택하는 그룹 선택부를 더 포함하고,
   상기 이미지 선택부는, 상기 서로 다른 그룹 가운데, 상기 그룹 선택부에 의해 특정 그룹으로서 선택된 그룹과, 상기 특정 그룹으로서 선택되지 않은 그룹에서 이미지의 선택 방법을 변경하는,
   이미지 생성 장치.
   
7. 제6항에 있어서,
   상기 이미지 선택부는, 상기 특정 그룹 내에서는 상기 평가부에 의한 평가가 소정의 순위인 이미지를 선택하는 한편, 상기 서로 다른 그룹 중 상기 특정 그룹 이외의 그룹 내에서는 무작위로 이미지를 선택하는,
   이미지 생성 장치.
   
8. 제1항에 있어서,
   복수의 이미지를 서로 다른 그룹으로 분할하는 분할부를 더 포함하고,
   상기 이미지 취득부는, 상기 분할부에 의해 서로 다른 그룹으로 분할된 복수의 이미지를 취득하는,
   이미지 생성 장치.
   
9. 제8항에 있어서,
   상기 분할부는, 복수의 이미지를 상기 이미지 수 결정부에 의해 결정된 상기 이미지 수에 대응하는 수의 서로 다른 그룹으로 분할하는,
   이미지 생성 장치.
   
10. 제1항에 있어서,
    복수의 기간으로부터 특정 기간을 설정하는 기간 설정부를 더 포함하고,
    상기 이미지 취득부는, 상기 기간 설정부에 의해 설정된 기간에 대응하는 상기 서로 다른 그룹의 각각에 속하는 복수의 이미지를 취득하는,
    이미지 생성 장치.
    
11. 제1항에 있어서,
    상기 서로 다른 그룹은, 특정 일 단위, 주 단위, 월 단위, 계절 단위, 년 단위, 또는 력 단위인 특정 단위에 따라서 분류되는,
    이미지 생성 장치.
    
12. 제1항에 있어서,
    상기 생성부는, 상기 새로운 이미지로서, 상기 선택된 복수의 이미지를 하나의 이미지 내에 배치한 이미지를 생성하는,
    이미지 생성 장치.
    
13. 제12항에 있어서,
    상기 선택된 복수의 이미지의 하나의 이미지 내로의 배치는, 위치와 사이즈를 미리 설정한 레이아웃에 기초해서 결정되는,
    이미지 생성 장치.
    
14. 제1항에 있어서,
    상기 이미지 선택부는, 상기 서로 다른 그룹에 속하는 복수의 이미지로부터 동영상 또는 정지 화상의 적어도 한쪽을 선택하는,
    이미지 생성 장치.
    
15. 제6항에 있어서,
    상기 이미지 선택부는, 상기 특정 그룹에 속하는 복수의 이미지로부터 동영상 또는 정지 화상의 적어도 한쪽을 선택하는,
    이미지 생성 장치.
    
16. 제2항에 있어서,
    상기 평가부에 의한 평가 결과에 기초해서, 상기 서로 다른 그룹의 각각에 속하는 복수의 이미지의 각각에 동영상 생성을 위한 재생 시간을 설정하는 재생 시간 설정부를 더 포함하고,
    상기 이미지 수 결정부는, 상기 재생 시간 설정부에 의해 설정된 상기 재생 시간에 기초해서, 새로운 동영상의 생성에 사용할 이미지 수를 결정하는,
    이미지 생성 장치.
    
17. 제1항에 있어서,
    상기 생성부는, 상기 새로운 이미지로서, 상기 선택된 복수의 이미지를 서로 연결시켜서 동영상을 생성하는,
    이미지 생성 장치.
    
18. 제17항에 있어서,
    상기 생성부는, 상기 선택된 이미지에 기초해서 상기 새로운 이미지에 이펙트를 부여하는,
    이미지 생성 장치.
    
19. 제1항에 있어서,
    상기 이미지 수 결정부는, 사용자 조작에 기초해서 이미지 생성에 사용할 이미지 수를 결정하는,
    이미지 생성 장치.
    
20. 서로 다른 그룹의 각각에 속하는 복수의 이미지를 각각 취득하는 이미지 취득 단계와,
    새로운 이미지 생성에 사용할 이미지 수를 결정하는 이미지 수 결정 단계와,
    상기 이미지 취득 단계에 의해 각각 취득된 상기 서로 다른 그룹의 각각에 속하는 복수의 이미지의 부대 정보에 기초해서, 상기 이미지 취득 단계에 의해 취득된 상기 복수의 이미지로부터, 상기 이미지 수 결정 단계에 의해 결정된 상기 이미지 수의 이미지를 선택하는 이미지 선택 단계와,
    상기 이미지 선택 단계에 의해 선택된 복수의 이미지로부터, 새로운 이미지를 생성하는 생성 단계
    를 포함하는 이미지 생성 방법.
    
21. 컴퓨터로 읽을 수 있는 프로그램을 기록한 기록 매체에 있어서,
    서로 다른 그룹의 각각에 속하는 복수의 이미지를 각각 취득하는 이미지 취득 수단,
    새로운 이미지 생성에 사용할 이미지 수를 결정하는 이미지 수 결정 수단,
    상기 이미지 취득 수단에 의해 각각 취득된 상기 서로 다른 그룹의 각각에 속하는 복수의 이미지의 부대 정보에 기초해서, 상기 이미지 취득 수단에 의해 취득된 상기 복수의 이미지로부터, 상기 이미지 수 결정 수단에 의해 결정된 상기 이미지 수의 이미지를 선택하는 이미지 선택 수단, 및
    상기 이미지 선택 수단에 의해 선택된 복수의 이미지로부터, 새로운 이미지를 생성하는 생성 수단
    으로서의 기능을 컴퓨터에 실현시키는 프로그램을 기록한 기록 매체.
    
22. 컴퓨터를,
    서로 다른 그룹의 각각에 속하는 복수의 이미지를 각각 취득하는 이미지 취득 수단,
    새로운 이미지 생성에 사용할 이미지 수를 결정하는 이미지 수 결정 수단,
    상기 이미지 취득 수단에 의해 각각 취득된 상기 서로 다른 그룹의 각각에 속하는 복수의 이미지의 부대 정보에 기초해서, 상기 이미지 취득 수단에 의해 취득된 상기 복수의 이미지로부터, 상기 이미지 수 결정 수단에 의해 결정된 상기 이미지 수의 이미지를 선택하는 이미지 선택 수단, 및
    상기 이미지 선택 수단에 의해 선택된 복수의 이미지로부터, 새로운 이미지를 생성하는 생성 수단
    으로서 기능시키기 위하여 기록 매체에 저장된 컴퓨터 프로그램.

Images