KR20140047533A

KR20140047533A - 화상 처리 장치, 화상 처리 방법 및 기억 매체

Info

Publication number: KR20140047533A
Application number: KR1020130117949A
Authority: KR
Inventors: 고스케 마츠모토
Original assignee: 가시오게산키 가부시키가이샤
Priority date: 2012-10-12
Filing date: 2013-10-02
Publication date: 2014-04-22
Also published as: JP5664626B2; CN103731601A; US9196070B2; KR101566081B1; CN103731601B; JP2014082533A; US20140105520A1

Abstract

본 발명의 과제는 동체를 포함하는 화상을 이용한 경우에도 고화질의 전 초점 화상을 제공하는 것이다.
촬상 장치는 촬상 화상 취득부(52)와, 화상 깊이 맵 작성부(91)와, 합성용 깊이 맵 작성부(92)와, 화상 합성부(55)를 구비한다. 촬상 화상 취득부(52)는 초점이 다른 피사체 핀트 화상 및 비피사체 핀트 화상의 데이터를 취득한다. 화상 깊이 맵 작성부(91)는 취득한 피사체 핀트 화상 및 비피사체 핀트 화상마다 화상내에 있어서의 피사체의 거리의 관계를 화소마다 나타내는 피사체 깊이 맵 및 비피사체 깊이 맵을 작성한다. 합성용 깊이 맵 작성부(92)는 생성한 피사체 깊이 맵 및 비피사체 깊이 맵에 소정의 처리를 가하여, 합성용 깊이 맵을 작성한다. 화상 합성부(55)는 생성한 합성용 깊이 맵에 의거하여, 피사체 핀트 화상 및 비피사체 핀트 화상의 데이터를 합성해서 전 초점 화상의 데이터를 생성한다.

Description

화상 처리 장치, 화상 처리 방법 및 기억 매체{IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND STORAGE MEDIUM}

본 발명은 화상 처리 장치, 화상 처리 방법 및 기억 매체에 관한 것이다.

종래, 촬상 장치는 후방에서 전방까지의 각 피사체의 모두에 초점을 맞춘 화상(이하, 「전 초점 화상」이라 함)을 촬상하는 경우, 초심도 렌즈(통칭 「벅스아이 렌즈」(bug's-eye lens))와 같은 특수한 렌즈를 사용하고 있다.

그러나, 벅스아이 렌즈는 전장이 매우 길기 때문에, 휴대하기에 불편하다.

그 때문에, 통상의 렌즈를 탑재한 촬상 장치가 한 번의 셔터 조작에 의해, 동일 구도의 피사체를 복수의 포커스 위치에서 대략 동시에 촬영하고, 그 결과 얻어지는 복수의 촬상 화상의 데이터를 합성하는 것에 의해서, 전 초점 화상의 데이터를 생성하는 기술이 예를 들면, 일본국 특허공개공보 제2007-282152호와 같이 개시되어 있다.

그러나, 상술한 선행 기술에 있어서는 전 초점 화상의 데이터를 생성하는 기술이 개시되어 있지만, 예를 들면, 바람에 흔들리는 꽃 등의 움직이는 피사체(이하, 「동체」라 함)를 촬상한 경우에는 동체가 잔상으로 되어 있는 화상이 생성되어 버린다는 문제가 있었다.

본 발명은 이러한 상황을 감안해서 이루어진 것으로서, 동체를 포함하는 화상을 이용한 경우에도 고화질의 전 초점 화상을 제공하는 것을 목적으로 한다.

본 발명의 제 1 관점에 관한 화상 처리 장치는 초점이 다른 복수의 화상의 데이터를 취득하는 취득부와, 상기 취득부에 의해서 취득한 복수의 화상마다 화상내에 있어서의 피사체의 거리의 관계를 소정 수의 화소마다 나타내는 깊이 맵을 생성하는 제 1 맵 생성부와, 상기 제 1 맵 생성부에 의해서 생성한 복수의 깊이 맵에 소정의 처리를 가하여, 새로운 깊이 맵을 생성하는 제 2 맵 생성부와, 상기 제 2 맵 생성부에 의해서 생성한 상기 새로운 깊이 맵에 의해 지정되는 화소마다의 합성의 비율에 따라서 상기 복수의 화상 데이터를 화소마다 합성하고 전 초점 화상의 데이터를 생성하는 화상 합성부를 구비하는 것을 특징으로 한다.

본 발명의 제 2 관점에 관한 촬상 처리 방법은 초점이 다른 복수의 화상의 데이터를 취득하는 취득 스텝과, 상기 취득 스텝에 의해서 취득한 복수의 화상마다 화상내에 있어서의 피사체의 거리의 관계를 소정 수의 화소마다 나타내는 깊이 맵을 생성하는 제 1 맵 생성 스텝과, 상기 제 1 맵 생성 스텝에 의해서 생성한 복수의 깊이 맵에 소정의 처리를 가하여, 새로운 깊이 맵을 생성하는 제 2 맵 생성 스텝과, 상기 제 2 맵 생성 스탭에 의해서 생성한 상기 새로운 깊이 맵에 의해 지정되는 화소마다의 합성의 비율에 따라서 상기 화상의 데이터를 화소마다 합성하고 전 초점 화상의 데이터를 생성하는 화상 합성 스텝을 포함하는 것을 특징으로 한다.

본 발명의 제 3 관점에 관한 컴퓨터 판독 가능한 기억 매체는 컴퓨터에, 초점이 다른 복수의 화상의 데이터를 취득하는 취득 기능과, 상기 취득 기능에 의해서 취득한 복수의 화상마다 화상내에 있어서의 피사체의 거리의 관계를 소정 수의 화소마다 나타내는 깊이 맵을 생성하는 제 1 맵 생성 기능과, 상기 제 1 맵 생성 기능에 의해서 생성한 복수의 깊이 맵에 소정의 처리를 가하여, 새로운 깊이 맵을 생성하는 제 2 맵 생성 기능과, 상기 제 2 맵 생성 기능에 의해서 생성한 상기 새로운 깊이 맵에 의해 지정되는 화소마다의 합성의 비율에 따라서 상기 화상의 데이터를 화소마다 합성하고 전 초점 화상의 데이터를 생성하는 화상 합성 기능을 실현시키기 위한 프로그램을 기억하는 것을 특징으로 한다.

본 발명에 따르면, 동체를 포함하는 화상을 이용한 경우에도 고화질의 전 초점 화상을 제공할 수 있다.

도 1은 본 발명의 1실시형태에 관한 촬상 장치의 하드웨어 구성을 나타내는 블록도이다.
도 2는 도 1의 촬상 장치의 기능적 구성 중, 전 초점 화상 생성 처리를 실행하기 위한 기능적 구성을 나타내는 기능 블록도이다.
도 3은 전 초점 화상의 데이터 생성의 구체예를 설명하기 위한 모식도이다.
도 4는 전 초점 화상의 데이터 생성의 방법을 모식적으로 나타낸 도면이다.
도 5는 도 2의 기능적 구성을 갖는 도 1의 촬상 장치가 실행하는 전 초점 화상 생성 처리의 흐름을 설명하는 흐름도이다.

이하, 본 발명의 1실시형태에 관한 촬상 장치에 대해, 도면을 참조해서 설명한다.

도 1은 본 발명의 1실시형태에 관한 촬상 장치(1)의 하드웨어 구성을 나타내는 블록도이다. 촬상 장치(1)는 예를 들면, 디지털 카메라로서 구성된다.

촬상 장치(1)는 CPU(Central Processing Unit)(11)와, ROM(Read Only Memory)(12)과, RAM(Random Access Memory)(13)과, 버스(14)와, 입출력 인터페이스(15)와, 촬상부(16)와, 입력부(17)와, 출력부(18)와, 기억부(19)와, 통신부(20)와, 드라이브(21)를 구비하고 있다.

CPU(11)는 ROM(12)에 기록되어 있는 프로그램, 또는 기억부(19)로부터 RAM(13)에 로드된 프로그램에 따라 각종 처리를 실행한다.

RAM(13)에는 CPU(11)가 각종 처리를 실행함에 있어서 필요한 데이터 등도 적절히 기억된다.

CPU(11), ROM(12) 및 RAM(13)은 버스(14)를 통해 상호 접속되어 있다. 이 버스(14)에는 또한 입출력 인터페이스(15)도 접속되어 있다. 입출력 인터페이스(15)에는 촬상부(16), 입력부(17), 출력부(18), 기억부(19), 통신부(20) 및 드라이브(21)가 접속되어 있다.

촬상부(16)는 광학 렌즈부(41)와, 이미지 센서(42)와, 렌즈 구동부(43)를 구비하고 있다.

광학 렌즈부(41)는 피사체를 촬영하기 위해, 포커스 렌즈나 줌 렌즈 등의 각종 렌즈로 구성된다.

포커스 렌즈는 후술하는 렌즈 구동부(43)에 의해서 구동되며, 후술하는 이미지 센서(42)의 수광면에 피사체의 상을 결상시키는 렌즈이다. 줌 렌즈는 초점 거리를 일정한 범위에서 자유롭게 변화시키는 렌즈이다.

이미지 센서(42)는 광전 변환 소자나, AFE(Analog Front End) 등으로 구성된다.

광전 변환 소자는 예를 들면, CMOS(Complementary Metal Oxide Semiconductor)형의 광전 변환 소자 등으로 구성된다. 광전 변환 소자에는 광학 렌즈부(41)로부터 피사체상이 입사된다. 그래서, 광전 변환 소자는 피사체상을 광전 변환(촬상)하여 화상 신호를 일정 시간 축적하고, 축적한 화상 신호를 아날로그 신호로서 AFE에 순차 공급한다.

AFE는 이 아날로그의 화상 신호에 대해, A/D(Analog/Digital) 변환 처리 등의 각종 신호 처리를 실행한다. AFE는 각종 신호 처리에 의해서 디지털 신호가 생성되고, 촬상부(16)의 출력 신호로서 출력된다. 이러한 촬상부(16)의 출력 신호가 촬상 화상의 데이터로 된다. 촬상 화상의 데이터는 CPU(11) 등에 적절히 공급된다. 또, 촬상 화상의 데이터에는 메타 데이터로서, 촬상된 순번의 정보와, 촬상된 시점에 있어서의 포커스 위치의 정보가 부가된다. 또한, 이하 특히 단정하지 없는 한, 메타 데이터가 부가된 촬상 화상의 데이터를 단지 「촬상 화상의 데이터」라고 한다.

렌즈 구동부(43)는 CPU(11)에 의한 AF(Auto Focus) 처리의 결과에 의거해서, 광학 렌즈부(41)의 포커스 렌즈를 구동시키고, 포커스 위치를 변화시킴으로써 소정의 피사체에 초점맞춤시킨다.

이러한 포커스의 기구를 갖는 촬상 장치(1)에서는 촬상 최단 거리측 방향, 즉, 바로앞측의 피사체에 초점을 맞춘 촬영과, 무한원 방향 즉, 핀트 조절이 불필요하게 될 정도의 먼 거리의 대상을 피사체로 하는 촬영이 가능하다.

또, 렌즈 구동부(43)는 포커스 위치를, AF 처리에 의해서 결정된 위치로부터 변화시키면서, 순차 포커스 위치의 다른 촬상을 실행하는 후술하는 「포커스 브래키팅 촬영」이 가능하게 되도록 구동한다.

입력부(17)는 각종 버튼 등으로 구성되며, 유저의 지시 조작에 따라서 각종 정보를 입력한다.

출력부(18)는 디스플레이나 스피커 등으로 구성되며, 화상이나 음성을 출력한다.

기억부(19)는 하드 디스크 혹은 DRAM(Dynamic Random Access Memory) 등으로 구성되며, 각종 화상의 데이터를 기억한다.

통신부(20)는 인터넷을 포함하는 네트워크를 통해 다른 장치(도시하지 않음)와의 사이에서 실행하는 통신을 제어한다.

드라이브(21)에는 자기 디스크, 광 디스크, 광자기 디스크 혹은 반도체 메모리 등으로 이루어지는 리무버블 미디어(31)가 적절히 장착된다. 드라이브(21)에 의해서 리무버블 미디어(31)로부터 읽어 내어진 프로그램은 필요에 따라 기억부(19)에 인스톨된다. 또, 리무버블 미디어(31)는 기억부(19)에 기억되어 있는 화상의 데이터 등의 각종 데이터도 기억부(19)와 마찬가지로 기억할 수 있다.

다음에, 촬상 장치(1)의 기능적 구성 중, 전 초점 화상 생성 처리를 실행하기 위한 기능적 구성에 대해 설명한다.

「전 초점 화상 생성 처리」는 초점이 다른 복수개의 촬상 화상의 데이터를 합성하여 전 초점 화상의 데이터를 생성하고 출력할 때까지의 일련의 처리를 말한다.

도 2는 촬상 장치(1)의 기능적 구성 중, 전 초점 화상 생성 처리를 실행하기 위한 기능적 구성을 나타내는 기능 블록도이다.

도 3은 전 초점 화상의 데이터 생성의 구체예를 설명하기 위한 모식도이다.

촬상 장치(1)가 전 초점 화상 생성 처리를 실행하는 경우에는 도 2에 나타내는 바와 같이, CPU(11)에 있어서, 촬상 제어부(51)와, 촬상 화상 취득부(52)와, 에지 비교 화상 작성부(53)와, 깊이 맵 작성부(54)와, 화상 합성부(55)와, 출력 제어부(56)가 기능한다.

또, 기억부(19)의 1영역으로서, 촬상 화상 기억부(71)와, 합성 화상 기억부(72)가 마련된다.

촬상 화상 기억부(71)는 촬상부(16)로부터 출력된 촬상 화상의 데이터를 기억한다.

합성 화상 기억부(72)는 화상 합성부(55)에 의해 합성된 전 초점 화상의 데이터를 기억한다.

이러한 기능 구성을 갖는 촬상 장치(1)는 이하, 「공원」의 일각에 피는 「꽃」을 피사체로 하고, 배경에 「공원」의 풍경을 넣어, 포커스 브래키팅 촬영을 실행하고 전 초점 화상의 데이터를 생성하는 예에 대해 설명한다.

또, 본 예에 있어서는 촬상시에는 바람이 불고 있고, 촬영의 타이밍에서 피사체인 「꽃」이 바람에 흔들려, 동체로서 촬영되어 버리는 경우에 대해 이하의 설명을 한다.

촬상 제어부(51)는 입력부(17)로부터의 촬상에 관한 지시에 의거하여, 렌즈 구동부(43) 등을 포함하는 촬상부(16)에서의 촬상을 제어한다. 구체적으로는 촬상 제어부(51)는 포커스 브래키팅 촬영을 실행하도록 렌즈 구동부(43) 등을 포함하는 촬상부(16)를 제어한다.

여기서, 「포커스 브래키팅 촬영」은 입력부(17)의 릴리스 버튼을 한번 누르는 것만으로, 임의의 피사체에 초점이 맞은 위치(소정의 포커스 위치)와, 렌즈 구동부(43)를 구동 조정하여 그 전후로 초점을 어긋나게 한 위치(소정의 포커스 위치에서 어긋난 포커스 위치)의 각각에서 복수개의 촬상 화상을 연사하는 방법이다.

또한, 본 실시형태의 포커스 브래키팅 촬영에서는 우선, 피사체에 초점이 맞는 포커스 위치에서 촬영(이하, 「피사체 핀트 화상 촬영」이라 함)을 실행하고, 다음에, 피사체 이외의 피사체의 배경에 초점이 맞는 포커스 위치에서 촬영(이하, 「비피사체 핀트 화상 촬영」이라 함)을 실행하도록 촬상부(16)를 촬상 제어부(51)가 제어하여, 전 초점 화상 데이터의 생성에 이용하는 2개의 촬상 화상의 데이터를 촬상 처리에 의해 취득한다.

본 실시형태에서는 도 3의 예에 나타내는 바와 같이, 피사체 핀트 화상 촬영에 의해 취득되는 촬상 화상 P1(이하, 「피사체 핀트 화상 P1」이라 함)은 피사체인 「꽃」에 초점이 맞고, 배경인 「공원」이 희미한 화상으로 된다.

또, 본 실시형태에서는 비피사체 핀트 화상 촬영에 의해 취득되는 촬상 화상 P2(이하, 「비피사체 핀트 화상 P2」라 함)는 피사체 이외의 피사체의 배경인 「공원」에 초점이 맞고, 피사체인 「꽃」이 희미한 화상으로 된다.

본 실시형태에 있어서의 전 초점 화상은 피사체 핀트 화상과 비피사체 핀트 화상과 같은 적어도 2개의 화상에 의한 다초점 화상이면 좋은 것으로 한다.

촬상 화상 취득부(52)는 촬상부(16)로부터 출력된 촬상 화상의 데이터를 취득한다.

또, 촬상 화상 취득부(52)는 우선, 피사체 핀트 화상 촬영에 의해, 피사체에 초점이 맞은 피사체 핀트 화상 P1의 데이터를 촬상부(16)로부터 취득한다.

다음에, 촬상 화상 취득부(52)는 비피사체 핀트 화상 촬영에 의해, 피사체의 배경에 초점이 맞은 즉, 피사체의 「꽃」이 희미한 촬상 화상인 비피사체 핀트 화상 P2의 데이터를 촬상부(16)로부터 취득한다. 이와 같이, 본 실시형태에 있어서는 2개의 초점이 다른 즉, 다초점의 촬상 화상(피사체 핀트 화상 P1 및 비피사체 핀트 화상 P2)의 데이터를 취득해서 전 초점 화상의 데이터 생성을 실행한다.

또, 촬상 화상 취득부(52)는 본 실시형태에 있어서는 도 3의 예에 나타내는 바와 같이, 바람에 흔들리는 「꽃」(동체)을 포함시켜 촬영을 했기 때문에, 피사체 핀트 화상 촬영시와 비피사체 핀트 화상 촬영에서는 화각내에 있어서의 「꽃」의 위치가 다른 촬상 화상(피사체 핀트 화상 P1 및 비피사체 핀트 화상 P2)의 데이터를 취득하게 된다.

그 후, 촬상 화상 취득부(52)는 취득한 촬상 화상(피사체 핀트 화상 P1 및 비피사체 핀트 화상 P2)의 데이터를 촬상 화상 기억부(71)에 출력한다.

에지 비교 화상 작성부(53)는 촬상 화상 취득부(52)에 의해 취득된 피사체 핀트 화상 P1과 비피사체 핀트 화상 P2로부터, 에지 강도를 비교한 에지 맵으로 이루어지는 에지 비교 화상을 작성한다. 이 에지 비교 화상은 에지의 변화로부터, 촬영 대상의 거리를 판별하는 것에 이용되며, 판별된 촬영 대상의 거리에 의거하여, 촬영 대상의 형상에 맞는 깊이 맵이 작성된다.

깊이 맵 작성부(54)는 에지 비교 화상 작성부(53)에 의해서 작성된 에지 비교 화상으로부터 촬영 대상의 거리를 판별하여, 예를 들면, 화상내의 피사체나 배경에 있어서의 위치 관계로서 촬상 장치(1)에서 대상까지의 상대적인 거리를 2진으로 구성한 깊이 맵 DMP1, DMP2, DMP3을 작성한다. 깊이 맵 작성부(54)는 에지 비교 화상을 피사체와 피사체 이외를 판별하기 위해 이용한다. 또한, 본 실시형태에 있어서, 작성되는 깊이 맵 DMP1, DMP2, DMP3은 2진을 취하고, 값이 「0」인 경우에는 「배경」으로서 취급하고, 값이 「1」인 경우에는 「피사체」로서 취급하도록 구성된다. 따라서, 깊이 맵 DMP1, DMP2, DMP3에 있어서는 도 3의 예에 나타내는 바와 같이, 값이 「0」인 배경의 부분이 흑색(어두운 색)으로 표시되는 부분이며, 값이 「1」인 피사체의 부분은 백색(밝은 색)으로 표시되는 부분이 된다. 값은 흑색(어두운 색)인 「0」의 경우에는 촬영 대상이 먼 것을 나타내고, 백색(밝은 색)인 「1」의 경우에는 촬영 대상이 가까운 것을 나타낸다. 구체적으로는 「꽃」과 「꽃」 옆의 「풀」에 상당하는 영역이 백색(밝은 색)이기 때문에,「꽃」과 「풀」은 가깝다고 판별된다.

또한, 깊이 맵의 작성은 처리를 1화소 단위로 실행하도록 구성해도 좋고, 복수의 화소를 1개의 처리 단위로 하는 소정의 블록 단위로 실행하도록 구성해도 좋다.

깊이 맵 작성부(54)는 취득한 복수의 화상으로부터 화상의 깊이 맵(본 실시형태에 있어서는 2개의 화상의 깊이 맵)을 생성하는 화상 깊이 맵 작성부(91)와, 복수의 화상의 깊이 맵으로부터 화상 합성용의 1개의 깊이 맵을 작성하는 합성용 깊이 맵 작성부(92)를 구비한다.

화상 깊이 맵 작성부(91)는 에지 비교 화상 작성부(53)에 의해 작성된 에지 비교 화상과, 촬상 화상 취득부(52)에 의해 취득된 피사체 핀트 화상 P1을 이용해서, 피사체 핀트 화상 P1에 포함되는 촬영 대상의 형상에 맞는 화상의 깊이 맵 DMP1(이하, 「피사체 깊이 맵 DMP1」이라 함)을 작성한다.

또, 화상 깊이 맵 작성부(91)는 에지 비교 화상 작성부(53)에 의해 작성된 에지 비교 화상과, 촬상 화상 취득부(52)에 의해 취득된 비피사체 핀트 화상 P2를 이용해서, 비피사체 핀트 화상 P2에 포함되는 촬영 대상의 형상에 맞는 화상의 깊이 맵 DMP2(이하, 「비피사체 깊이 맵 DMP2」라 함)를 작성한다.

합성용 깊이 맵 작성부(92)는 화상 깊이 맵 작성부(91)에 의해 작성된 피사체 깊이 맵 DMP1 및 비피사체 깊이 맵 DMP2의 2개의 화상의 깊이 맵에 대해, OR 연산하는 처리를 실행해서, 합성용 깊이 맵 DMP3을 작성한다.

여기서, 「OR 연산」은 화소값에 대한 선택적인 연산으로서 실행되는 것으로써, 연산하는 화소의 입력이 양쪽이 「0」인 경우에만 「0」이 되는 연산이다. 즉, 본 실시형태에 있어서는 피사체 깊이 맵 DMP1 또는 비피사체 깊이 맵 DMP2의 양쪽의 깊이 맵에서 「0」의 값을 취하는 경우에만, 합성용 깊이 맵 DMP3에서는 「0」의 값을 취하게 된다.

즉, 본 실시형태에 있어서는 2진의 깊이 맵을 이용하기 때문에, OR 연산에 의한 작성 방법을 이용하게 된다.

화상 합성부(55)는 합성용 깊이 맵 작성부(92)에 의해 작성된 합성용 깊이 맵 DMP3에 의거하여, 피사체 핀트 화상 P1과 비피사체 핀트 화상 P2를 화상 합성하여, 전 초점 화상 P3의 데이터를 생성한다. 본 실시형태에 있어서는 화상 합성부(55)는 피사체 핀트 화상 P1과 비피사체 핀트 화상 P2를 합성용 깊이 맵 DMP3을 α맵으로서 이용하여, 구해지는 계수(알파값)에 따라 반투명 합성하는 소위 α블렌드에 의한 화상 합성을 실행한다. 즉, 화상 합성부(55)는 합성용 깊이 맵 DMP3에 있어서의 「0」의 값의 영역에 대응하는 피사체 핀트 화상 P1의 영역을 추출하고, 합성용 깊이 맵 DMP3에 있어서의 「1」의 값의 영역에 대응하는 비피사체 핀트 화상 P2의 영역을 추출하여, 화상 합성을 실행한다.

본 실시형태에 있어서는 OR 연산에 의해서 작성된 합성용 깊이 맵 DMP3을 α맵으로서 이용함으로써, 피사체 깊이 맵 DMP1과 비피사체 깊이 맵 DMP2의 쌍방의 피사체의 영역을, 추출하는 피사체의 영역으로 하게 되기 때문에, 피사체가 흔들리고 있지 않은 피사체 핀트 화상에 있어서 추출하는 피사체의 영역에 대응한 영역이 우선적으로 채용되게 된다. 이 때문에, 잔상이 없는 전 초점 화상 P3의 데이터를 생성하는 것이 가능하게 된다.

그 후, 화상 합성부(55)는 생성한 전 초점 화상 P3의 데이터를 합성 화상 기억부(72)에 기억시킨다.

출력 제어부(56)는 화상 합성부(55)에 의해 생성된 전 초점 화상 P3의 데이터를 출력부(18)로부터 표시 출력하도록 제어한다.

도 4는 전 초점 화상 P3의 데이터의 생성 방법을 모식적으로 나타낸 도면이다.

포커스 브래키팅 촬영에 의한 방식으로 전 초점 화상 P3의 데이터를 생성하는 경우로서, 합성에 사용하는 화상에 동체의 피사체가 포함되어 있을 때에는 1의 화상으로부터 작성한 깊이 맵(예를 들면, 피사체 깊이 맵 DMP1)을 이용해서 화상 합성을 실행해 버리면, 동체의 이동분의 영역이 고려되지 않아, 해당 영역이 배경으로서 채용되어 버려, 생성되는 전 초점 화상 P3의 피사체에 잔상이 발생해 버린다.

그러나, 본 실시형태에 있어서의 방법에서는 도 4에 나타내는 바와 같이, 피사체 핀트 화상 P1과, 비피사체 핀트 화상 P2로부터, 피사체 핀트 화상 P1내에 있어서의 피사체 영역 R1과, 비피사체 핀트 화상 P2내에 있어서의 피사체 영역 R2의 영역을 합친 영역 R3(이하, 「합성 피사체 영역 R3」이라 함)을 동체의 피사체 영역으로 하는 합성용 깊이 맵 DMP3을 작성한다.

그리고, 합성용 깊이 맵 DMP3의 합성 피사체 영역 R3에 대응하여, 피사체 핀트 화상 P1에 있어서의 합성 피사체 영역 R3에 상당하는 영역 R4를 잘라내어, 비피사체 핀트 화상 P2에 있어서의 합성 피사체 영역 R3 이외의 영역 R5를 잘라내어, 각각을 화상 합성하여 전 초점 화상 P3을 생성한다. 즉, 전 초점 화상 P3은 피사체 핀트 화상 P1의 합성 피사체 영역 R3에 상당하는 영역 R4와, 비피사체 핀트 화상 P2의 합성 피사체 영역 R3 이외의 영역 R5로 구성된다.

이 때문에, 도 3의 예에서 설명하면, 피사체 핀트 화상 P1의 화각에서 어긋나 동체로 되어있는 비피사체 핀트 화상 P2에 있어서의 「꽃」의 영역도, 피사체 핀트 화상 P1에서 잘라내는 영역으로 하기 때문에, 흔들림이 생기고 있는 비피사체 핀트 화상 P2의 피사체의 영역을 채용하지 않도록 할 수 있으며, 이것에 의해 잔상의 발생을 억제할 수 있다.

또, 본 방법을 이용함으로써, 배경에 핀트가 맞고 있는 경우, 흐릿해진 전경의 피사체를 피사체와 배경을 완전히 분리한 것으로 해서, 발생하는 맞물림의 영향을 억제하고, 합성 화질의 향상을 기대할 수 있다.

즉, 본 방법을 이용함으로써, 전 초점 화상 P3의 데이터의 생성 화질을 향상, 즉 고품질의 전 초점 화상 P3의 데이터를 생성할 수 있게 된다.

다음에, 이러한 기능적 구성을 갖는 촬상 장치(1)가 실행하는 전 초점 화상 생성 처리의 흐름에 대해서 설명한다.

도 5는 도 2의 기능적 구성을 갖는 도 1의 촬상 장치(1)가 실행하는 전 초점 화상 생성 처리의 흐름을 설명하는 흐름도이다.

전 초점 화상 생성 처리는 포커스 위치가 다른 복수개의 촬상 화상의 데이터에서 전 초점 화상의 데이터를 생성할 때까지의 일련의 처리이다.

전 초점 화상 생성 처리는 유저가 입력부(17)를 이용해서 전 초점 화상 생성 처리를 실행하는 소정의 조작을 한 경우, 그 조작을 계기로 해서 개시된다.

스텝 S1에 있어서, 촬상 제어부(51)는 촬상부(16)를 제어하여 촬상 처리(포커스 브래키팅 촬영)를 실행하고, 피사체 핀트 화상 P1을 촬영한다. 즉, 촬상 제어부(51)는 도 3의 예에서는 「공원」의 한쪽 구석에 피는 「꽃」을 피사체로 하여, 「꽃」에 초점이 맞은 피사체 핀트 화상 P1을 촬영한다. 그 후, 촬상 화상 취득부(52)는 촬영된 피사체 핀트 화상 P1의 데이터를 취득하여, 촬상 화상 기억부(71)에 기억한다.

스텝 S2에 있어서, 촬상 제어부(51)는 촬상부(16)를 제어하여 촬상 처리(포커스 브래키팅 촬영)를 실행하고, 비피사체 핀트 화상 P2를 촬영한다. 즉, 촬상 제어부(51)는 「공원」의 한쪽 구석에 피는 「꽃」을 피사체로 하여, 「꽃」의 배경인 「공원」의 풍경에 초점이 맞은 비피사체 핀트 화상 P2를 촬영한다. 비피사체 핀트 화상 P2의 촬영시에, 촬상 제어부(51)는 배경의 「공원」의 풍경에 초점이 맞도록, 포커스 위치를 변경하여 촬영을 실행한다. 촬상 화상 취득부(52)는 촬영된 비피사체 핀트 화상 P2의 데이터를 취득하여, 촬상 화상 기억부(71)에 기억한다.

스텝 S3에 있어서, 에지 비교 화상 작성부(53)는 촬상 화상 취득부(52)에 의해 취득된 피사체 핀트 화상 P1과 비피사체 핀트 화상 P2로부터, 각각의 화상의 에지 강도를 비교한 에지 맵으로 이루어지는 에지 비교 화상을 작성한다.

스텝 S4에 있어서, 화상 깊이 맵 작성부(91)는 에지 비교 화상 작성부(53)에 의해 작성된 에지 비교 화상과, 촬상 화상 취득부(52)에 의해 취득된 피사체 핀트 화상 P1을 이용해서, 피사체 핀트 화상 P1에 있어서의 피사체의 형상에 맞는 피사체 깊이 맵 DMP1을 작성한다.

스텝 S5에 있어서, 화상 깊이 맵 작성부(91)는 에지 비교 화상 작성부(53)에 의해 작성된 에지 비교 화상과, 촬상 화상 취득부(52)에 의해 취득된 비피사체 핀트 화상 P2를 이용해서, 비피사체 핀트 화상 P2에 있어서의 피사체의 형상에 맞는 비피사체 깊이 맵 DMP2를 작성한다.

스텝 S6에 있어서, 합성용 깊이 맵 작성부(92)는 화상 깊이 맵 작성부(91)에 의해 작성된 피사체 깊이 맵 DMP1 및 비피사체 깊이 맵 DMP2를 OR 연산해서, 합성용 깊이 맵 DMP3을 작성한다.

스텝 S7에 있어서, 화상 합성부(55)는 합성용 깊이 맵 작성부(92)에 의해 작성된 합성용 깊이 맵 DMP3에 의거하여, 피사체 핀트 화상 P1과, 비피사체 핀트 화상 P2를 화상 합성하여, 전 초점 화상 P3의 데이터를 생성한다. 그리고, 화상 합성부(55)는 생성한 전 초점 화상 P3의 데이터를 합성 화상 기억부(72)에 기억시킨다.

스텝 S8에 있어서, 출력 제어부(56)는 전 초점 화상 P3의 데이터를 출력부(18)로부터 표시 출력시킨다. 이것에 의해, 전 초점 화상 생성 처리는 종료한다.

이상과 같이, 촬상 장치(1)에 의하면, 촬상 화상 취득부(52)와, 화상 깊이 맵 작성부(91)와, 합성용 깊이 맵 작성부(92)와, 화상 합성부(55)를 구비한다.

촬상 화상 취득부(52)는 초점이 다른 피사체 핀트 화상 P1 및 비피사체 핀트 화상 P2의 데이터를 취득한다.

화상 깊이 맵 작성부(91)는 취득한 피사체 핀트 화상 P1 및 비피사체 핀트 화상 P2마다 화상내에 있어서의 피사체의 거리의 관계를 화소마다 나타내는 피사체 깊이 맵 DMP1 및 비피사체 깊이 맵 DMP2를 작성한다.

합성용 깊이 맵 작성부(92)는 작성한 피사체 깊이 맵 DMP1 및 비피사체 깊이 맵 DMP2에 소정의 처리를 가하여, 합성용 깊이 맵 DMP3을 작성한다.

화상 합성부(55)는 작성한 합성용 깊이 맵 DMP3에 의거하여, 피사체 핀트 화상 P1 및 비피사체 핀트 화상 P2의 데이터를 합성해서 전 초점 화상 P3의 데이터를 생성한다.

따라서, 촬상 장치(1)에 있어서는 예를 들면, 바람에 흔들리는 꽃 등의 피사체가 동체라 하더라도 잔상이 적은 전 초점 화상 P3의 데이터를 생성할 수 있으며, 전 초점 화상 P3의 데이터의 합성 화질을 향상시킬 수 있다. 또, 배경에 핀트가 맞는 경우, 흐릿해진 전경의 피사체를 피사체와 배경을 완전히 분리함으로서 발생하는 맞물림 영향을 억제할 수 있으며, 전 초점 화상 P3의 데이터의 합성 화질의 향상을 기대할 수 있다.

합성용 깊이 맵 작성부(92)에 의한 소정의 처리는 화상 깊이 맵 작성부(91)에 의해 작성된 2진의 피사체 깊이 맵 DMP1 및 비피사체 깊이 맵 DMP2의 OR 연산 처리이다.

따라서, 촬상 장치(1)에 있어서는 단순한 처리이기 때문에, 처리 부담이 적고, 고속으로 처리를 실행할 수 있다.

촬상 화상 취득부(52)는 제 1 초점으로 촬상된 피사체 핀트 화상 P1과, 피사체 핀트 화상 P1과는 다른 제 2 초점으로 촬영된 비피사체 핀트 화상 P2의 복수의 화상 데이터를 취득한다.

화상 깊이 맵 작성부(91)는 각 화상마다 화상내에 있어서의 피사체의 거리가 제 1 초점에 대응하는지 또는 제 2 초점에 대응하는지를 2진으로 나타내는 피사체 깊이 맵 DMP1 및 비피사체 깊이 맵 DMP2를 작성한다.

합성용 깊이 맵 작성부(92)에 의한 소정의 처리는 피사체 깊이 맵 DMP1 및 비피사체 깊이 맵 DMP2에서 값이 다른 경우에, 제 1 초점과 제 2 초점 중 움직이는 피사체에 대응하는 초점을 우선해서 결정하는 OR 연산 처리이다.

따라서, 촬상 장치(1)에 있어서는 동체의 이동 부분을 포함시켜 피사체의 영역으로 되는 바와 같은 합성용 깊이 맵 DMP3을 작성할 수 있기 때문에, 피사체가 동체라도 잔상이 적은 전 초점 화상 P3의 데이터를 생성할 수 있으며, 전 초점 화상 P3의 데이터의 합성 화질을 향상시킬 수 있다.

또, 본 발명은 상술한 실시형태에 한정되는 것은 아니며, 본 발명의 목적을 달성할 수 있는 범위에서의 변형, 개량 등은 본 발명으로 포함되는 것이다.

상술한 실시형태에서는 합성용 깊이 맵 DMP3의 작성시에, 2진의 화상의 깊이 맵 DMP1, DMP2를 이용하는 것으로 했으므로 OR 연산에 의해 처리를 실행했지만 이것에 한정되지 않는다. 합성용 깊이 맵 DMP3은 예를 들면, 다진의 화상의 깊이 맵 DMP1, DMP2를 이용하는 경우에는 어느 하나의 화상의 깊이 맵 DMP1, DMP2의 최대의 값을 선택하는 처리에 의해 작성해도 좋다.

구체적으로는 예를 들면, 촬상 화상 취득부(52)가 제 1 초점과 제 2 초점의 복수의 화상 데이터를 취득하고, 화상 깊이 맵 작성부(91)가 각 화상마다 화상내에 있어서의 피사체의 거리를 다진으로 나타내는 피사체 깊이 맵 DMP1 및 비피사체 깊이 맵 DMP2를 작성한다.

그리고, 합성용 깊이 맵 작성부(92)에 의한 소정의 처리에 있어서, 상기 각 화상마다 생성된 다진의 깊이 맵을 이용하는 경우에, 처리를 실행하는 값 중에서 최대의 값을 선택하는 처리를 실행하도록 구성할 수 있다.

이와 같이, 최대의 값을 선택함으로써, 촬상 장치(1)에 있어서는 단순한 처리이기 때문에, 처리 부담이 적고, 고속으로 처리를 실행할 수 있다.

또, 상술한 실시형태에서는 2개의 다초점의 촬상 화상 P1, P2의 데이터로부터 전 초점 화상 P3의 데이터를 생성했지만, 이것에 한정되지 않는다. 전 초점 화상의 데이터는 3개 이상의 화상의 데이터로부터 생성해도 좋다. 이 경우, 취득한 2개의 화상의 화상 합성을 실행하고, 생성된 합성 화상 데이터에 이후 반복해서 처리되는 다른 화상의 데이터를 순차 합성해 가도록 전 초점 화상의 데이터를 생성해도 좋다. 이와 같이 전 초점 화상의 데이터를 생성함으로써, 모든 화상을 한 시기에 합성하는 경우에 비해 고화질이고, 더욱 고품질인 전 초점 화상의 데이터를 생성할 수 있다. 구체적으로는 예를 들면, 화상 합성부(55)가, 취득된 화상 중 소정의 2개의 화상 합성을 실행하고, 이후 반복해서 처리되는 다른 화상을 마찬가지로 반복해서 합성하여, 전 초점 화상의 데이터를 생성하도록 구성할 수 있다.

또, 상술한 실시형태에서는 비피사체 핀트 화상은 피사체의 안쪽의 촬상 대상(공원의 풍경)에 초점이 맞은 화상을 이용했지만 이것에 한정되지 않는다. 비피사체 핀트 화상은 피사체에 초점이 맞지 않는 화상이면 좋고, 예를 들면, 과초점이나 무한원으로 촬영된 화상, 근거리의 촬영 대상(예를 들면, 촬상 장치로부터 50cm의 거리에 있는 벽 등)에 초점이 맞는 화상, 피사체의 바로 앞에 초점이 맞는 화상 등의 화상을 이용해도 좋다.

또, 상술한 실시형태에서는 각 연산 처리를 화소 단위로 실행하도록 구성했지만 이것에 한정되지 않는다. 처리 부담의 경감 등을 목적으로 해서, 각 연산 처리를 최소 단위가 아닌 소정의 블록 단위로 실행하도록 구성해도 좋다.

또, 상술한 실시형태에서는 α블렌드에 의해 화상의 합성을 실행했지만 이것에 한정되지 않는다. 예를 들면, 화상의 합성은 2개의 화상 중 초점 맞춤 영역을 합성할 수 있으면 좋고, 가산 합성 등의 각종 방법을 이용할 수 있다.

또, 상술한 실시형태에서는 전 초점 화상 P3의 데이터를 생성하는 기초로 되는 화상을, 자기(自機)의 촬상부(16)에서 촬상하여 촬상 화상의 데이터를 취득하여 처리에 이용했지만, 이것에 한정되지 않는다. 취득하는 화상은 외부 장치 등으로부터 취득한 촬상 화상이나 단순한 화상 데이터를 이용해서 구성해도 좋다. 이 경우, 예를 들면, 화상내의 피사체의 위치 관계(예를 들면, 촬상 장치(1)로부터의 거리)에 관한 정보 등의 깊이 맵의 작성에 필요한 정보를 취득할 필요가 있다.

또, 상술한 실시형태에서는 본 발명이 적용되는 촬상 장치(1)는 디지털 카메라를 예로서 설명했지만, 특히 이것에 한정되지 않는다. 또, 본 발명은 촬상의 기능을 갖지 않고, 외부에서 촬상된 화상에 의거하여 전 초점 화상 생성 처리를 실행하는 화상 처리 장치에서도 적용 가능하다.

예를 들면, 본 발명은 전 초점 화상 생성 처리 기능을 갖는 전자 기기 일반에 적용할 수 있다. 구체적으로는 예를 들면, 본 발명은 노트북, 프린터, 텔레비전 수상기, 비디오 카메라, 휴대형 네비게이션 장치, 휴대 전화기, 스마트 폰(smartphone), 휴대용 게임기 등에 적용할 수 있다.

상술한 일련의 처리는 하드웨어에 의해 실행시킬 수 있고, 소프트웨어에 의해 실행시킬 수 있다.

환언하면, 도 2의 기능적 구성은 예시에 불과하고, 특히 한정되지 않는다. 즉, 상술한 일련의 처리를 전체로서 실행할 수 있는 기능이 촬상 장치(1)에 구비되어 있으면 좋고, 이 기능을 실현하기 위해서 어떠한 기능 블록을 이용할 것인지는 특히 도 2의 예에 한정되지 않는다.

또, 1개의 기능 블록은 하드웨어 단체(單體)로 구성해도 좋고, 소프트웨어 단체로 구성해도 좋으며, 그들의 조합으로 구성해도 좋다.

일련의 처리를 소프트웨어에 의해 실행시키는 경우에는 그 소프트웨어를 구성하는 프로그램이 컴퓨터 등에 네트워크나 기록 매체로부터 인스톨된다.

컴퓨터는 전용의 하드웨어에 조립되어 있는 컴퓨터라도 좋다. 또, 컴퓨터는 각종 프로그램을 인스톨함으로써 각종 기능을 실행하는 것이 가능한 컴퓨터 예를 들면, 범용의 퍼스널 컴퓨터라도 좋다.

이러한 프로그램을 포함하는 기록 매체는 유저에게 프로그램을 제공하기 위해 장치 본체와는 별도로 배포되는 도 1의 리무버블 미디어(31)에 의해 구성될 뿐만 아니라, 장치 본체에 미리 조립된 상태에서 유저에게 제공되는 기록 매체 등으로 구성된다. 리무버블 미디어(31)는 예를 들면, 자기 디스크(플로피 디스크 포함), 광 디스크, 또는 광자기 디스크 등에 의해 구성된다. 광 디스크는 예를 들면, CD-ROM(Compact Disk-Read Only Memory), DVD(Digital Versatile Disk), BD(Blu-ray Disc) 등에 의해 구성된다. 광자기 디스크는 MD(Mini-Disk) 등에 의해 구성된다. 또, 장치 본체에 미리 조립된 상태에서 유저에게 제공되는 기록 매체는 예를 들면, 프로그램이 기록되어 있는 도 1의 ROM(12)이나 도 1의 기억부(19)에 포함되는 하드 디스크 등으로 구성된다.

또, 본 명세서에 있어서, 기록 매체에 기록되는 프로그램을 기술하는 스텝은 그 순서를 따라 시계열적으로 실행되는 처리는 물론, 반드시 시계열적으로 처리되지 않아도, 병렬적 혹은 개별적으로 실행되는 처리를 포함하는 것이다.

이상, 본 발명의 몇 개의 실시형태에 대해 설명했지만, 이들 실시형태는 예시에 불과하며, 본 발명의 기술적 범위를 한정하는 것은 아니다. 본 발명은 그 밖의 각종 실시형태를 취하는 것이 가능하며, 또한, 본 발명의 요지를 이탈하지 않는 범위에서, 생략과 치환 등 각종 변경을 실행할 수 있다. 이들 실시형태나 그 변형은 본 명세서 등에 기재된 발명의 범위나 요지에 포함되는 동시에, 특허청구의 범위에 기재된 발명과 그 균등의 범위에 포함된다.

1; 촬상 장치 11; CPU
12; ROM 13; RAM
15; 입출력 인터페이스 16; 촬상부
17; 입력부 18; 출력부
19; 기억부 20; 통신부
21; 드라이브 31; 리무버블 미디어
42; 이미지 센서 43; 렌즈 구동부
51; 촬상 제어부 52; 촬상 화상 취득부
53; 에지 비교 화상 작성부 54; 깊이 맵 작성부
55; 화상 합성부 56; 출력 제어부
71; 촬상 화상 기억부 72; 합성 화상 기억부
91; 화상 깊이 맵 작성부 92; 합성용 깊이 맵 작성부

Claims

초점이 다른 복수의 화상의 데이터를 취득하는 취득부와,
상기 취득부에 의해서 취득한 복수의 화상마다 화상내에 있어서의 피사체의 거리의 관계를 소정 수의 화소마다 나타내는 깊이 맵을 생성하는 제 1 맵 생성부와,
상기 제 1 맵 생성부에 의해서 생성한 복수의 깊이 맵에 소정의 처리를 가하여, 새로운 깊이 맵을 생성하는 제 2 맵 생성부와,
상기 제 2 맵 생성부에 의해서 생성한 상기 새로운 깊이 맵에 의해 지정되는 화소마다의 합성의 비율에 따라서 상기 복수의 화상의 데이터를 화소마다 합성하고 전 초점 화상의 데이터를 생성하는 화상 합성부를 구비하는 것을 특징으로 하는 화상 처리 장치.
제 1 항에 있어서,
상기 취득부는 초점을 바꾸면서 복수회의 촬영을 실행하여 복수의 화상의 데이터를 취득하고,
상기 제 2 맵 생성부에 의한 소정의 처리는 상기 제 1 맵 생성부에 의해 생성된 적어도 2이상의 다진의 2개의 깊이 맵의 화소값에 대한 선택적인 연산을 실행하는 처리이고,
상기 화상 합성부는 상기 다진의 값에 따라서 합성의 비율을 선택하여 합성하는 것을 특징으로 하는 화상 처리 장치.
제 2 항에 있어서,
상기 합성의 비율은 0% 및 100%인 것을 특징으로 하는 화상 처리 장치.
제 2 항에 있어서,
상기 취득부는 제 1 초점과 제 2 초점의 복수의 화상 데이터를 취득하고,
상기 제 1 맵 생성부는 상기 복수의 화상마다 화상내에 있어서의 피사체의 거리가 상기 제 1 초점에 대응하는지 상기 제 2 초점에 대응하는지를 2진으로 나타내는 2개의 깊이 맵을 생성하고,
상기 제 2 맵 생성부에 의한 소정의 처리는 2개의 깊이 맵에서 값이 다른 화소에 대해서는 상기 제 1 초점에 대응하는 값과 제 2 초점에 대응하는 값 중, 움직이는 피사체에 대응하는 초점에 대응하는 값을 우선해서 결정하는 화소값에 대한 선택적인 연산을 실행하는 처리인 것을 특징으로 하는 화상 처리 장치.
제 1 항에 있어서,
상기 제 2 맵 생성부에 의한 소정의 처리는 상기 제 1 맵 생성부에 의해 생성된 3이상의 다진의 2개의 깊이 맵의 값 중에서 최대의 값을 선택하는 처리인 것을 특징으로 하는 화상 처리 장치.
제 4 항에 있어서,
상기 취득부는 제 1 초점과 제 2 초점의 복수의 화상 데이터를 취득하고
상기 제 1 맵 생성부는 상기 복수의 화상마다 화상내에 있어서의 피사체의 거리를 다진으로 나타내는 2개의 깊이 맵을 생성하고,
상기 제 2 맵 생성부에 의한 소정의 처리는 상기 복수의 화상마다 생성된 다진의 깊이 맵을 이용하는 경우에, 처리를 실행하는 값 중에서 최대의 값을 가산하는 처리인 것을 특징으로 하는 화상 처리 장치.
제 1 항에 있어서,
상기 화상 합성부는 상기 취득된 화상 중, 소정의 2개의 화상의 합성을 실행하고, 이후 반복해서 처리되는 다른 화상을 마찬가지로 반복해서 합성하여, 전 초점 화상의 데이터를 생성하는 것을 특징으로 하는 화상 처리 장치.
초점이 다른 복수의 화상의 데이터를 취득하는 취득 스텝과,
상기 취득 스텝에 의해서 취득한 복수의 화상마다 화상내에 있어서의 피사체의 거리의 관계를 소정 수의 화소마다 나타내는 깊이 맵을 생성하는 제 1 맵 생성 스텝과,
상기 제 1 맵 생성 스텝에 의해서 생성한 복수의 깊이 맵에 소정의 처리를 가하여, 새로운 깊이 맵을 생성하는 제 2 맵 생성 스텝과,
상기 제 2 맵 생성 스텝에 의해서 생성한 상기 새로운 깊이 맵에 의해 지정되는 화소마다의 합성의 비율에 따라서 상기 복수의 화상의 데이터를 화소마다 합성하고 전 초점 화상의 데이터를 생성하는 화상 합성 스텝을 포함하는 것을 특징으로 하는 화상 처리 방법.
컴퓨터에,
초점이 다른 복수의 화상 데이터를 취득하는 취득 기능과,
상기 취득 기능에 의해서 취득한 복수의 화상마다 화상내에 있어서의 피사체의 거리의 관계를 소정 수의 화소마다 나타내는 깊이 맵을 생성하는 제 1 맵 생성 기능과,
상기 제 1 맵 생성 기능에 의해서 생성한 복수의 깊이 맵에 소정의 처리를 가하여, 새로운 깊이 맵을 생성하는 제 2 맵 생성 기능과,
상기 제 2 맵 생성 기능에 의해서 생성한 상기 새로운 깊이 맵에 의해 지정되는 화소마다의 합성의 비율에 따라서 상기 복수의 화상의 데이터를 화소마다 합성하고 전 초점 화상의 데이터를 생성하는 화상 합성 기능을 실현시키기 위한 프로그램을 기억하는 컴퓨터 판독 가능한 기억 매체.