KR20130061083A

KR20130061083A - 촬상장치, 촬상장치의 제어 방법, 및 기억매체

Info

Publication number: KR20130061083A
Application number: KR1020120136775A
Authority: KR
Inventors: 코이치로 이케다
Original assignee: 캐논 가부시끼가이샤
Priority date: 2011-11-30
Filing date: 2012-11-29
Publication date: 2013-06-10
Also published as: RU2531632C2; RU2012151307A; US20130135492A1; KR101521441B1; US9113059B2; EP2608527B1; CN103139476A; EP2608527A2; EP2608527A3; CN103139476B

Abstract

화상 데이터가 피사체와 배경과의 심도차가 불충분한 경우에도, 피사체를 포함하는 영역과 배경을 포함하는 영역을 정확하게 판별하는, 촬상장치를 제공한다. 촬상장치는, 화상 데이터를 생성하도록 구성된 생성부와, 합초위치가 피사체가 합초상태에 있는 제1 초점위치 또는 상기 제1 초점위치의 근거리측의 제2 초점위치인 경우에 상기 생성부에 의해 생성된 제1 화상 데이터와, 합초위치가 배경이 합초상태에 있는 초점위치의 원거리측의 제3 초점위치인 경우에 상기 생성부에 의해 생성된 제2 화상 데이터에 의거하여, 상기 피사체를 포함하는 제1영역과, 상기 배경을 포함하는 제2영역을 판별하도록 구성된 판별부를 구비한다.

Description

촬상장치, 촬상장치의 제어 방법, 및 기억매체{IMAGE PICKUP APPARATUS, CONTROL METHOD FOR IMAGE PICKUP APPARATUS, AND STORAGE MEDIUM}

본 발명은, 촬상장치, 촬상장치의 제어 방법, 및 기억매체에 관한 것이다. 보다 구체적으로, 본 발명은, 전자 스틸 카메라나 비디오카메라 등의 촬상장치와, 이 촬상장치의 제어 방법과, 이 촬상장치를 제어하는 프로그램을 기억한 기억매체에 관한 것이다.

최근, 수많은 디지털 카메라나 디지털 비디오카메라 등의 촬상장치에는, 주목 피사체이외의 영역에 대하여 화상처리를 행하는 기능이 탑재되어 있다. 예를 들면, 그 기능의 하나로서, 촬영된 화상 데이터의 배경영역에 대하여, 유사적으로 블러링(blurring) 효과를 주는 기능이 있다.

일반적으로, 촬상장치가 일안 레플렉스 카메라와 같이 큰 촬상소자를 가지면, 조리개를 열어서 초점거리를 길게 함으로써 피사계 심도가 얕아져, 상기와 같이 합초하고 있는 피사체이외의 배경이 흐린 화상 데이터를 촬영하는 것이 비교적 용이해진다.

한편, 컴팩트 디지털 카메라 등의 작은 촬상소자를 갖는 촬상장치에서는, 상기의 방법을 사용하는 경우에도, 피사계 심도가 보다 깊어지는 경향에 있기 때문에, 배경이 흐린 화상 데이터를 촬영하는 것이 곤란하다.

이 사실을 감안하여, 촬영된 화상 데이터의 피사체영역과 배경영역을 판별하고, 그 배경영역에 대하여 필터링 처리를 행함으로써, 컴팩트 디지털 카메라 등의 촬상소자가 작은 촬상장치에서도, 배경이 흐린 화상 데이터를 취득할 수 있는 것이 알려져 있다.

일본국 공개특허공보 특개 2007-124398호에는, 피사체영역과 배경영역을 판별하기 위해서, 촬영된 화상 데이터로부터 공간주파수 성분을 취득하는 기술이 개시되어 있다. 즉, 일본국 공개특허공보 특개 2007-124398호에 개시되는 기술에서는, 피사체가 피사계 심도의 후단에 위치하도록 포커스 렌즈의 위치를 조정하여서, 촬영된 화상 데이터에 있어서의 배경측의 블러(blur)량을 증가시킨다. 그리고, 복수의 분할된 블록마다의 공간주파수 성분량을 산출하고, 이 값이 역치이상인 블록을 피사체영역으로서 판별하고 있다.

그렇지만, 일본국 공개특허공보 특개 2007-124398호에 개시된 기술에서는, 1매의 화상 데이터의 공간주파수 성분량으로부터 영역을 판별하므로, 배경영역측의 블러량이 작은 경우에 충분한 정밀도를 얻을 수 없는 문제가 있다. 특히, 최근 보급되고 있는 컴팩트 디지털 카메라와 같은 촬상소자가 작은 촬상장치에서는, 상기 처리를 실시할 때도 충분한 블러량이 얻어지지 않는 경향이 있다. 이 때문에, 1매의 화상 데이터의 공간주파수 성분량으로부터 영역의 판별을 행하는 것은 곤란하다.

본 발명은, 피사체와 배경과의 심도차이가 불충분한 화상 데이터이인 경우에도, 피사체를 포함하는 영역과 배경을 포함하는 영역을 정확하게 판별 가능한, 촬상장치, 촬상장치의 제어 방법 및 기억매체를 대상으로 삼는다.

본 발명의 일 국면에 따른 촬상장치는, 합초위치가, 피사체가 합초상태에 있는 제1 초점위치 또는 상기 제1 초점위치의 근거리측의 제2 초점위치인 경우에, 제1 화상 데이터를 생성하고, 합초위치가, 배경이 합초상태에 있는 초점위치의 원거리측의 제3 초점위치인 경우에는 제2 화상 데이터를 생성하는 생성부; 및 상기 생성부에 의해 생성된 상기 제1 화상 데이터와 상기 제2 화상 데이터에 의거하여, 상기 피사체를 포함하는 제1영역과, 상기 배경을 포함하는 제2영역을 판별하는 판별부를 구비한다.

본 발명의 다른 국면에 따른 촬상장치의 제어 방법은, 피사체가 합초상태에 있는 제1 초점위치 또는 상기 제1 초점위치의 근거리측의 제2 초점위치인 합초위치에서 얻어진 제1 화상 데이터와, 배경이 합초되는 초점위치의 원거리측의 제3 초점위치인 합초위치에서 얻어진 제2 화상 데이터에 의거하여, 상기 피사체를 포함하는 제1영역과, 상기 배경을 포함하는 제2영역을 판별하는 것을 포함한다.

본 발명의 또 다른 국면에 따른 촬상장치를 제어하기 위한 프로그램을 기억한 기억매체는, 상기 프로그램은, 컴퓨터를 거쳐, 피사체가 합초되는 제1 초점위치 또는 상기 제1 초점위치의 근거리측의 제2 초점위치인 합초위치에서 얻어진 제1 화상 데이터와, 배경이 합초되는 초점위치의 원거리측의 제3 초점위치인 합초위치에서 얻어진 제2 화상 데이터에 의거하여, 상기 피사체를 포함하는 제1영역과, 상기 배경을 포함하는 제2영역을 판별하는 것을 포함한 처리를 실행한다.

본 발명의 또 다른 특징들 및 국면들은 첨부도면을 참조하여 이하의 예시적 실시예들의 상세한 설명으로부터 명백해질 것이다.

본 명세서에 포함되고 그 일부를 구성하는 첨부도면들은, 본 발명의 예시적 실시예들, 특징들 및 국면들을 나타내고, 이 설명과 함께, 본 발명의 원리를 설명하는 역할을 한다.
도 1은 본 발명의 예시적 실시예에 따른 촬상장치(100)의 구성을 나타내는 블록도다.
도 2는 본 발명의 예시적 실시예에 따른 도 1에 있어서의 영역판별 회로(112)의 구성을 나타내는 블록도다.
도 3은 본 발명의 예시적 실시예에 따른 촬상장치(100)의 촬영 처리의 동작을 설명하는 흐름도다.
도 4는 본 발명의 예시적 실시예에 따른 촬상장치(100)의 영역판별 처리의 동작을 설명하는 흐름도다.
도 5는 본 발명의 예시적 실시예에 따른 촬상장치(500)의 구성을 나타내는 블록도다.
도 6은 본 발명의 예시적 실시예에 따른 도 5에 있어서의 배경 블러링 화상 생성부(513)의 구성을 나타내는 블록도다.
도 7은 본 발명의 예시적 실시예에 따른 촬상장치(500)의 배경 블러링 처리의 동작을 설명하는 흐름도다.
도 8a 및 8b는 본 발명의 예시적 실시예에 따른 촬상장치(500)의 주사 화소와 피사체영역과의 거리와, 게인 값과의 관계의 예를 나타낸다.
도 9는 본 발명의 예시적 실시예에 따른 촬상장치(500)의 주사 화소와 피사체영역과의 거리와, 게인 값과의 관계의 다른 예를 나타낸다.
도 10은 본 발명의 예시적 실시예에 따른 촬상장치(500)의 거리 맵이다.
도 11a, 11b 및 11c는 종래의 화상처리에 있어서 발생하는 블러와 블리드(bleed)를 도시한 도면이다.

이하, 본 발명의 각종 예시적 실시예들, 특징들 및 국면들을 도면을 참조해서 상세히 설명한다.

우선, 본 발명의 예시적 실시예에 따른 촬상장치의 전체적인 구성에 대해서, 도 1을 참조해서 설명한다. 도 1은 본 발명의 예시적 실시예에 따른 촬상장치(100)의 구성을 나타내는 블록도다.

촬상장치(100)는, 그 촬상장치(100) 전체의 제어를 행하는 제어부(117)를 가진다. 제어부(117)는, 중앙처리장치(ＣＰＵ)나 마이크로 처리장치(ＭＰＵ)로 구성되고, 후술하는 각 회로의 동작을 제어한다. 제어부(117)는, (도면에 나타내지 않은) 조리개를 조절하기 위한 구동을 제어한다. 촬상제어회로(116)는, 제어부(117)로부터의 신호에 따라, 조리개의 개구경을 변화시키기 위한 (도면에 나타내지 않은) 조리개 구동기구를 제어한다.

또한, 제어부(117)는, 촬상 렌즈(101)내의 (도면에 나타내지 않은) 포커스 렌즈를 조절하는 구동을 제어한다. 촬상제어회로(116)는, 제어부(117)로부터의 신호에 따라, 포커스 렌즈를 광축방향으로 구동해서 포커싱을 행하는 (도면에 나타내지 않은) 렌즈 구동기구를 제어한다. 렌즈 구동기구는, 스테핑 모터나 직류(ＤＣ)모터를 구동원으로서 구비한다. 촬상 렌즈(101)내의 렌즈로서, 포커스 렌즈의 이외에 변배 렌즈와 고정 렌즈가 설치되고, 이들의 렌즈를 포함해서 렌즈 유닛이 구성된다.

촬상소자(image sensor: 102)는, 전하결합소자(ＣＣＤ) 센서나 상보적 금속 산화물 반도체(ＣＭＯＳ) 센서등으로 구성되고, 그 표면은, 예를 들면 베이어 배열과 같은 ＲＧＢ컬러필터로 덮어져, 컬러 촬영이 가능하다. 포커스 렌즈를 포함하는 촬상 렌즈(101)를 통해 입사한 피사체상은, 촬상소자(102) 위에 결상된다. 촬상소자(102)는, 피사체상을 광전변환해서 화상 데이터를 생성한다. 그리고, 그 생성된 화상 데이터는, 메모리(103)에 기억된다.

제어부(117)는, 화상 데이터 전체가 적정 노출이 되도록 셔터 속도 및 조리개 값을 계산함과 아울러, 피사체에 합초하도록 촬상 렌즈(101)의 구동량을 계산한다. 그리고, 제어부(117)에 의해 계산된 노출 값(셔터 속도, 조리개 값) 및 촬상 렌즈(101)의 구동량을 나타내는 정보가 촬상제어회로(116)에 출력된다. 각 값에 의거하여 노출 제어 및 초점조정이 행해진다.

색 변환 매트릭스 회로(104)는, 촬영된 화상 데이터가 최적의 색에서 재현되도록 색 게인(gain)을 인가해서, 색차신호R-Y, B-Y로 변환한다. 로패스 필터(ＬＰＦ)회로(105)는, 색차신호R-Y, B-Y의 대역을 제한하는데 사용된다. 크로마 서프레스(chroma suppress)(ＣＳＵＰ)회로(106)는, ＬＰＦ회로(105)로 대역 제한된 화상 데이터 중, 포화 부분의 가짜 색신호를 억압하는데 사용된다.

한편, 촬영된 화상 데이터는, 휘도신호 생성회로(107)에도 출력된다.

휘도신호 생성회로(107)는, 입력된 화상 데이터로부터 휘도신호Y를 생성한다. 에지(edge) 강조회로(108)는, 상기 생성된 휘도신호Y에 대하여 에지 강조 처리를 실시한다.

ＲＧＢ변환 회로(109)는, ＣＳＵＰ회로(106)로부터 출력된 색차신호R-Y, B-Y와, 에지 강조회로(108)로부터 출력된 휘도신호Y를, ＲＧＢ신호로 변환한다. 감마 보정회로(110)는, 변환된 ＲＧＢ신호에 대하여 계조보정을 행한다. 그 후에, 색휘도 변환 회로(111)는, 계조보정된 ＲＧＢ신호를 ＹＵＶ신호로 변환한다.

영역판별 회로(112)는, ＹＵＶ신호로 변환된 화상 데이터에 대하여 피사체영역과 배경영역과의 판별을 행한다. 영역판별 회로(112)의 상세한 구성에 관해서는 후술한다. 화상처리부(113)는, 배경영역에 대하여 블러링 처리 등의 화상처리를 행한다. 통합 사진 전문가 단체(ＪＰＥＧ) 압축 회로(114)는, 화상처리부(113)에 의해 화상처리가 실행된 화상 데이터에 대하여 ＪＰＥＧ방식등에 의해 압축하고, 압축후의 화상 데이터를 외부 또는 내부의 기록 매체(115)에 기억시킨다.

그 후, 영역판별 회로(112)의 구체적인 구성에 관하여 설명한다. 도 2는, 도 1에 있어서의 영역판별 회로(112)의 구성을 나타내는 블록도다. 도 2에 나타나 있는 바와 같이, 영역판별 회로(112)는, 에지(edge) 검출부(201), 에지 감산부(202), 에지 적분값 산출부(203), 에지 적분값 평가부(204) 및 영역 맵 생성부(205)를 구비한다.

이하, 본 발명의 예시적 실시예에 따른 촬상장치(100)의 동작에 대해서, 도 3 및 도 4를 참조하여 상세하게 설명한다. 이하의 처리과정은, 컴퓨터 프로그램(소프트웨어)으로서 제어부(117)의 (도면에 나타내지 않은) 메모리에 격납되어 있고, 이 컴퓨터 프로그램을 제어부(117)의 (도면에 나타내지 않은) ＣＰＵ가 판독해서 실행한다.

우선, 촬상장치(100)의 촬영 처리의 동작에 대해서, 도 3을 참조해서 설명한다. 도 3은, 촬상장치(100)의 촬영 처리의 동작을 설명하는 흐름도다.

노출 제어 및 초점조정 등의 촬영 스탠바이 동작을 행하기 위한 스위치 1(ＳＷ1)의 상태가 "ＯＮ"이 되고, 피사체에 대하여 합초하고, 적정 노출을 얻는 촬영 스탠바이 동작이 행해진 후, 촬영동작을 행하기 위한 스위치 2(ＳＷ2)의 상태가 "ＯＮ"이 된다. 이때, 단계S301에 있어서, 제어부(117)는, 현재의 피사체까지의 거리를 취득한다. 이 처리에서, 그 피사체까지의 거리는, 예를 들면 피사체가 합초 상태가 되는 렌즈 위치에 의거하여 산출될 수 있다.

단계S302에 있어서, 제어부(117)는 배경에 합초하도록 촬상 렌즈(101)를 구동시킨다. 이때, 촬영자가 촬상장치(100)를 조작함으로써 임의로 배경의 합초위치를 결정해도 좋거나, 촬상장치(100)가 자동적으로 화각내의 복수의 영역의 초점검출을 행하여서, 그 배경의 합초위치를 결정해도 좋다.

단계S303에 있어서, 제어부(117)는, 현재의 배경까지의 거리를 취득한다. 이 처리에서, 상기 배경까지의 거리는, 예를 들면 그 배경이 합초상태가 되는 렌즈 위치에 의거하여 산출될 수 있다. 단계S304에 있어서, 제어부(117)는, 배경이 피사계 심도의 전단에 위치하도록 촬상 렌즈(101)를 구동시킨다. 즉, 촬상 렌즈(101)는, 배경이 피사계 심도내에 들어가는 범위에서, 배경의 합초위치보다도 원거리측의 위치(제3 초점위치)로 이동된다.

단계S305에 있어서, 제어부(117)는 촬영 동작을 행하도록 제어한다. 이 촬영 동작을 통해, 촬상소자(102)에서 생성된 화상 데이터는 메모리(103)에 기억된다. 또한, 이 촬영 동작에 의해 얻어진 화상 데이터는, 상기 초점위치의 피사계 심도의 범위내인 배경에 초점이 맞추어져 있지만, 앞쪽에 위치된 피사체는 그 초점위치의 피사체 심도 외측에 있기 때문에 배경보다도 흐려지고, 그 블러량은 상기 배경이 합초할 때보다도 크다.

단계S306에 있어서, 제어부(117)는, 이전에 취득된 배경까지의 거리와 피사체까지의 거리에 의거하여(촬영 조건에 의거하여), 피사체가 합초상태로 된 경우, 상기 피사체와 동일 피사계 심도내에 배경이 존재하는 것인가 아닌가를 판정한다. 상기 피사체와 동일 피사계 심도내에 배경이 존재하는 경우에는(단계S306에서 YES), 처리는 단계S307에 이행한다. 한편, 피사체와 동일 피사계 심도내에 배경이 존재하지 않는 경우에는(단계S306에서 NO), 처리는 단계S309에 이행한다.

우선, 단계S307에서의 처리에 관하여 설명한다. 단계S307에 있어서, 제어부(117)는, 촬상 렌즈(101)를 구동시켜서 피사체에 합초시킨다. 단계S308에 있어서, 촬상장치(100)는 촬영 동작을 행하고, 촬영 동작에 의해 생성된 화상 데이터를 메모리(103)에 기억한다.

다음에, 단계S309에서의 처리에 관하여 설명한다. 단계S309에 있어서, 제어부(117)는, 피사계 심도의 후단에 피사체가 위치하도록 촬상 렌즈(101)를 구동시킨다. 즉, 촬상 렌즈(101)는, 피사체가 피사계 심도내에 들어가는 범위에서, 피사체의 합초위치(제1 초점위치)보다도 근거리측의 위치(제2 초점위치)로 이동된다. 단계S310에 있어서, 촬상장치(100)는 촬영 동작을 행하고, 촬영 동작에 의해 생성된 화상 데이터를 메모리(103)에 기억한다.

다음에, 촬상장치(100)의 영역판별 처리의 동작에 대해서, 도 4를 참조해서 설명한다. 도 4는, 영역판별 회로(112)에 의한 영역판별 처리를 설명하는 흐름도다. 더 구체적으로, 도 4는, 화상 데이터의 피사체영역과 배경영역과의 판별 처리를 설명하는 흐름도다.

단계S401에 있어서, 에지 검출부(201)는, 도 3에 나타낸 처리에 의해 취득된, 피사체측에 합초한 화상 데이터와 배경측에 합초한 화상 데이터에 대하여 밴드패스 필터링처리를 행해서 절대값을 채용하고, 각각의 화상 데이터의 에지를 취득한다.

"피사체측에 합초한 화상 데이터"는, 단계S308 또는 S310에서 취득된 화상 데이터다. 또한, "배경측에 합초한 화상 데이터"는, 단계S305에서 취득된 화상 데이터다. 피사체측에 합초한 화상 데이터는, 제1 화상 데이터의 예이며, 배경측에 합초한 화상 데이터는 제2 화상 데이터의 예다.

단계S402에 있어서, 에지 감산부(202)는, 피사체측에 합초한 화상 데이터의 에지로부터 배경측에 합초한 화상 데이터의 에지를 화소마다 감산하고, 그 화상 데이터(이후, 에지 차분 화상 데이터라고 함)의 에지의 차분을 생성한다. 단계S403에 있어서, 에지 적분값 산출부(203)는, 단계S402에서 생성된 에지 차분 화상 데이터를 복수의 영역으로 분할하고, 각 영역의 에지량을 적분한다.

단계S404에 있어서, 에지 적분값 평가부(204)는, 단계S403에서 산출된 각 영역의 에지량의 적분값과 소정의 역치를 비교한다. 에지량의 적분값이 소정의 역치이상일 경우, 에지 적분값 평가부(204)는, 해당 영역을 피사체영역이라고 판정한다. 한편, 에지 적분값 평가부(204)는, 에지량의 적분값이 소정의 역치미만일 경우, 해당 영역을 배경영역이라고 판정한다. 상기 소정의 역치는, 미리 정의된 고정 값이어도 좋거나, 화상 데이터의 에지의 히스토그램 분포로부터 순응적으로 얻어져도 좋다.

단계S405에 있어서, 영역 맵 생성부(205)는, 단계S404에 있어서의 판정 결과에 의거하여 피사체영역과 배경영역을 판별할 수 있는 영역 맵을 생성한다. 상기 영역 맵에 있어서는, 예를 들면, 합성 비율이 화상 데이터 자체의 화소값으로 나타내어진다. 그 영역 맵에 대하여, 경계의 불균일을 눈에 띠지 않게 하기 위해서, 피사체영역과 배경영역과의 경계에 로패스 필터가 적용되어도 좋다. 상기 피사체영역은 제1영역의 예이며, 상기 배경영역은 제2영역의 예다.

다음에, 본 예시적 실시예에 따른 배경영역의 블러링 처리에 관하여 설명한다. 화상처리부(113)는, 촬영된 화상 데이터에 특수 필터링 처리를 실시해서 블러링된 화상 데이터ＩＭＧ2를 생성한다. 그 특수 필터링 처리를 실시하는 대상이 되는 화상 데이터는, 단계S305, S308 및 S310의 어느 하나에서 촬영된 화상 데이터다.

상기 특수 필터링 처리에서는, 지정된 필터 형상에 근거하여, 상기 촬영된 화상 데이터에 대하여 필터링 처리가 행해진다. 이 필터링 처리에서는, 소정의 휘도값을 가진 화소에 임의로 설정된 게인 값K를 승산하여서, 포화 화소의 휘도값에 대한 보간이 행해진다.

다음에, 화상처리부(113)는, 상기 영역 맵에 의거하여, 단계S308 또는 S310에서 취득된 피사체측에 합초한 화상 데이터ＩＭＧ1과 상기 블러링된 화상 데이터ＩＭＧ2를 합성한다. 그 화상 데이터의 합성 처리의 일례에 관하여 설명한다. 화상처리부(113)는, 상기 영역 맵의 화소값으로부터 얻어진 α(0≤α≤1)에 의거하여, 피사체측에 합초한 화상 데이터ＩＭＧ1과 상기 블러링된 화상 데이터ＩＭＧ2를 합성하고, 합성 화상 데이터"B"를 생성한다. 즉, 화상처리부(113)는, 합성 화상 데이터B의 각 화소B[i, j]를 다음 식 1을 사용해서 산출한다.

B[i, j] = IMG1[i, j]*α[i, j] + IMG2[i, j]*(1 -α) 식 1

상기의 처리에 의해 얻어진 합성 화상 데이터"B"는, 배경 블러링 화상 데이터로서 취득된다. 또한, 본 예시적 실시예에 있어서의 배경 블러링 화상 데이터의 생성 처리는, 상기 예시적 실시예에 한정되는 것은 아니다.

예를 들면, 상기 영역 맵에 근거하여, 피사체측에 합초한 화상 데이터의 배경영역에만 특수 필터링 처리를 실시함으로써, 배경 블러링 화상 데이터를 취득하여도 좋다. 촬영된 화상 데이터를 축소하고, 축소한 화상 데이터를 확대해서 원래의 크기로 되돌려서 상기 블러링된 화상 데이터ＩＭＧ2를 생성하여도 좋다.

이와는 달리, 촬영된 화상 데이터에 대하여 로패스 필터를 적용하여서 블러링된 화상 데이터ＩＭＧ2를 생성해도 좋다. "촬영된 화상 데이터"는, 단계S305, S308 및 S310의 어느 하나에서 촬영된 화상 데이터다.

이상의 처리에 의해 분할된 배경영역에 특수 화상처리를 실행하는 것이 가능해진다.

또한, 본 발명은 이것들의 예시적 실시예에 한정되지 않고, 본 발명의 요지의 범위내에서 여러 가지의 변형 및 변경이 가능하다. 예를 들면, 배경측에 합초한 화상 데이터, 피사체에 합초한 화상 데이터 또는 피사체측에 합초한 화상 데이터의 촬영동작의 순서는 교환되어도 좋다.

또한, 본 예시적 실시예에 따른 영역판별 처리는, 피사체측에 합초하고 있는 화상 데이터와 배경측에 합초하고 있는 화상 데이터를 사용하여 실시되었지만, 이것에 한정되는 것은 아니다. 예를 들면, 주 피사체보다도 근거리측에 존재하는 피사체에 대하여 또 다른 처리를 추가로 실시할 경우, 피사체의 근거리측으로 합초위치를 이동해서 촬영된 화상 데이터를 포함한, 3매 이상의 화상 데이터를 사용하여도 좋다. 이 경우, 주 피사체를 배경으로서 간주한 본 예시적 실시예에 따른 영역판별 처리를 행함으로써, 화상 데이터를 피사계 심도에 따라 복수의 영역으로 분할하는 것이 가능해진다.

또한, 상기의 예시적 실시예에서는, 단계S305, S308 및 S310에서 화상 데이터를 촬영하는 예를 게시했지만, 이것에 한정되지 않는다. 예를 들면, 피사체에 합초한 화상 데이터를 촬영한 후, 촬상 렌즈가 배경이 합초하는 위치에 있는 경우에 얻어질 화상의 초점상태에 화상 데이터가 근접해지도록 화상처리를 행해서, 배경측에 합초한 화상 데이터를 생성해도 된다. 마찬가지로, 피사체가 피사계 심도의 후단에 위치하는 경우에 얻어진 화상의 초점상태에 근접해지도록 화상처리를 행해서 피사체측에 합초한 화상 데이터를 생성해도 된다.

본 예시적 실시예에 의하면, 피사체의 합초위치 또는 피사체의 합초위치의 근거리측의 위치로 어긋나게 하여서 촬영된 화상 데이터와, 배경의 합초위치의 원거리측의 위치로 어긋나게 하여서 촬영된 화상 데이터의, 각각의 에지를 취득한 후, 그들의 차분값에 의거하여 영역판별을 행한다. 이에 따라, 피사체와 배경간의 심도차가 불충분한 화상 데이터에 있어서도, 정밀도가 높은 피사체와 배경과의 영역판별을 행하는 것이 가능해진다.

포화 화소의 실제 노광량을 추정하고, 이 추정된 실제 노광량에 따른 게인을 적용하는 노광량 보정처리에 의해, 블러링 효과를 준 배경영역의 화상 데이터와, 블러링 효과를 주지 않고 있는 피사체영역의 화상 데이터를 합성하여도 된다. 이러한 경우, 피사체영역 근방의 배경영역에 있어서, 피사체영역 위의 포화 화소의 블러에 의한 블러와 블리드가 발생하기도 한다.

이하, 도 11a 내지 도 11c를 참조하여, 이 현상에 대해서 구체적으로 설명한다. 도 11a는, 피사체에 합초한 상태에서 촬영된 화상 데이터를 나타낸다. 도 11b는, 도 11a에 나타낸 화상 데이터에 노광량 보정처리를 실행해서 블러링 효과를 준 화상 데이터를 나타낸다. 도 11a에 나타낸 화상 데이터의 피사체영역만을 분할하고, 도 11b에 나타낸 화상 데이터와 합성되는 경우에, 도 11c에 나타나 있는 바와 같이 블러와 블리드가 발생한다.

이렇게 하여, 본 예시적 실시예에서는, 피사체영역 근방의 배경영역의 블러와 블리드의 발생을 억제하는 화상 데이터를 얻기 위한 촬상장치의 구성과, 촬상장치의 동작을 설명한다.

우선, 촬상장치의 전체적인 구성에 대해서, 도 5를 참조해서 설명한다. 도 5는 촬상장치(500)의 구성을 나타내는 블록도다.

촬상장치(500)는, 해당 촬상장치(500) 전체의 제어를 행하는 제어부(517)를 가진다. 제어부(517)는, ＣＰＵ나 ＭＰＵ등으로 구성되고, 후술하는 각 회로의 동작을 제어한다. 촬상장치(500)에는, 촬상 렌즈(501)가 (도면에 나타내지 않은) 마운트부를 거쳐서 착탈 가능하게 부착될 수 있다. 마운트부에는, 전기접점 유닛(521)이 설치된다.

촬상장치(500)의 제어부(517)는, 촬상 렌즈(501)와 전기접점 유닛(521)을 통해 통신을 행하고, 촬상 렌즈(501)내의 포커스 렌즈(518)와 조리개(522)를 조절하기 위한 구동을 제어한다. 렌즈 제어회로(520)는, 제어부(517)로부터의 신호에 따라, 포커스 렌즈(518)를 광축방향으로 구동해서 포커싱을 행하는 렌즈 구동기구(519)를 제어한다.

렌즈 구동기구(519)는, 스테핑 모터나 직류(ＤＣ)모터를 구동원으로서 가지고 있다. 또한, 조리개 제어 구동회로(524)는, 제어부(517)로부터의 신호에 따라, 조리개(522)의 개구경을 변경시키기 위한 조리개 구동기구(523)를 제어한다. 도 5에서는, 촬상 렌즈(501)내의 렌즈로서 포커스 렌즈(518)만을 보이고 있지만, 이 밖에, 변배 렌즈나 고정 렌즈가 설치되고, 이들 렌즈를 포함해서 렌즈 유닛이 구성된다.

도 5에 있어서, 촬상소자(502)는, ＣＣＤ센서, ＣＭＯＳ센서 또는 그 밖의 센서로 구성되고, 그 표면은, 예를 들면 베이어 배열과 같은 ＲＧＢ컬러필터로 덮어져, 컬러 촬영이 가능하다. 촬상장치(500)에 착탈 가능한, 포커스 렌즈(518)를 포함하는 촬상 렌즈(501)를 통해 입사한 피사체상이 촬상소자(502) 위에 결상되면, 화상 데이터가 생성되어, 메모리(503)에 기억된다.

제어부(517)는, 화상 데이터 전체가 적정 노출을 보이도록 셔터 속도 및 조리개 값을 계산함과 아울러, 합초 영역내에 위치된 피사체에 합초하도록 포커스 렌즈(518)의 구동량을 계산한다. 그리고, 제어부(517)에 의해 계산된 노출 값(셔터 속도, 조리개 값) 및 포커스 렌즈(518)의 구동량을 나타내는 정보는, 촬상제어회로(516), 조리개 제어 구동회로(524), 및 렌즈 제어회로(520)에 출력된다. 각 값에 의거하여 노출 제어 및 초점조정이 행해진다.

색 변환 매트릭스 회로(504)는, 촬영된 화상 데이터가 최적의 색으로 재현되도록 색 게인을 적용하여, 색차신호R-Y, B-Y로 변환한다. 로패스 필터(ＬＰＦ)회로(505)는, 색차신호R-Y, B-Y의 대역을 제한하는데 사용된다. 크로마 서프레스(ＣＳＵＰ)회로(506)는, ＬＰＦ회로(505)에 의해 대역제한 된 화상 데이터 중, 포화 부분의 가짜 색신호를 억압하는데 사용된다.

한편, 촬영된 화상 데이터는, 휘도신호 생성회로(507)에도 출력된다. 휘도신호 생성회로(507)는, 입력된 화상 데이터로부터 휘도신호Y를 생성한다. 에지 강조회로(508)는, 그 생성된 휘도신호Y에 대하여 에지 강조 처리를 실시한다.

ＲＧＢ변환 회로(509)는, ＣＳＵＰ회로(506)로부터 출력된 색차신호R-Y, B-Y와, 에지 강조회로(508)로부터 출력된 휘도신호Y를 ＲＧＢ신호로 변환한다. 감마 보정회로(510)는, 변환된 ＲＧＢ신호에 대하여 계조 보정을 실행한다. 그 후에, 색휘도 변환 회로(511)는, 계조보정된 ＲＧＢ신호를 ＹＵＶ신호로 변환한다.

배경 블러링 화상 생성부(513)는, 그 변환된 화상 데이터에 대하여 블러링 효과를 내는 화상처리를 실행한다. 배경 블러링 화상 생성부(513)의 상세한 구성에 관해서는 후술한다. ＪＰＥＧ압축 회로(514)는, 배경 블러링 화상 생성부(513)에 의해 화상처리가 실행된 화상 데이터를 ＪＰＥＧ방식등을 사용하여 압축하고, 압축후의 화상 데이터를 외부 또는 내부의 기록 매체(515)에 기억시킨다.

다음에, 배경 블러링 화상 생성부(513)의 구체적인 구성에 관하여 설명한다. 도 6은, 배경 블러링 화상 생성부(513)의 구성을 도시한 도면이다. 도 6에 나타나 있는 바와 같이, 배경 블러링 화상 생성부(513)는, 에지 검출부(601), 에지 감산부(602), 에지 적분값 산출부(603), 에지 적분값 평가부(604), 영역 맵 생성부(605), 블러링 처리부(606) 및 화상합성부(607)를 구비한다.

다음에, 도 7의 흐름도를 참조하면서, 배경 블러링 화상 생성부(513)에 의한 배경 블러링 처리에 관하여 설명한다.

단계S701에 있어서, 촬상장치(500)는 피사체에 합초시키면서 촬영동작을 행한다. 다음에, 촬상장치(500)는 포커스 렌즈를 소정량 변위시켜 배경에 합초시켜서 촬영동작을 행한다. 이렇게 다른 합초위치에서 복수의 화상 데이터가 촬상된 후, 단계S702에 있어서, 에지 검출부(601)는, 피사체에 합초시켜서 촬영된 화상 데이터의 에지를 검출함과 아울러, 상기 배경에 합초시켜서 촬영된 화상 데이터의 에지를 검출한다. 촬영된 화상 데이터에 대해 밴드 패스 필터링을 행해서 절대치를 취함으로써, 화상 데이터의 에지를 검출하는 방법을 포함한다. 그 에지 검출방법은 이것에 한정되지 않고, 다른 방법을 사용하여도 된다. 이하에서는, 피사체에 합초시켜서 촬영된 화상 데이터로부터 검출된 에지를, 피사체 합초측의 에지 화상 데이터라고 칭하고, 배경에 합초시켜서 촬영된 화상 데이터로부터 검출된 에지를, 배경 합초측의 에지 화상 데이터라고 칭한다.

단계S703에 있어서, 에지 감산부(602)는, 피사체 합초측의 에지 화상 데이터로부터 배경 합초측의 에지 화상 데이터를 화소마다 감산하고, 화상 데이터의 에지의 차분(이하, 에지 차분 화상 데이터라고 칭한다)을 생성한다. 단계S704에 있어서, 에지 적분값 산출부(603)는, 단계S703에서 생성된 에지 차분 화상 데이터를 복수의 영역으로 분할하고, 각 영역의 에지량을 적분한다.

단계S705에 있어서, 에지 적분값 평가부(604)는, 단계S704에서 산출된 각 영역의 에지량의 적분값과 소정의 역치를 비교한다. 그 에지량의 적분값이 소정의 역치이상일 경우, 에지 적분값 평가부(604)는, 해당 영역을 피사체영역으로서 판정한다. 한편, 에지 적분값 평가부(604)는, 에지량의 적분값이 소정의 역치미만일 경우, 해당 영역을 배경영역으로서 판정한다. 상기 소정의 역치는, 미리 결정된 고정 값이어도 좋거나, 화상 데이터의 에지의 히스토그램 분포로부터 순응적으로 구해도 좋다.

단계S706에 있어서, 영역 맵 생성부(605)는, 단계S705에 있어서의 판정 결과에 의거하여, 피사체영역과 배경영역을 판별가능한 분할된 맵을 생성한다. 그 분할된 맵에 있어서는, 예를 들면, 합성 비율이 화상 데이터 자체의 화소값으로 나타내고 있다. 상기 분할된 맵에 대하여, 경계의 불균일을 눈에 뜨이지 않게 하기 위해서, 피사체영역과 배경영역간의 경계에 로패스 필터를 적용하여도 된다.

단계S707에 있어서, 블러링 처리부(606)는, 피사체가 합초상태에 있는 동안 촬영된 화상 데이터에 대하여 상기 분할된 맵에 근거한 블러링 처리를 행하고, 블러링된 화상 데이터를 생성한다.

단계S707에 있어서의 블러링 처리의 상세내용에 관하여 설명한다. 블러링 처리에 있어서는, 지정된 필터 형상에 근거하여, 피사체가 합초상태에 있는 동안에 촬영된 화상 데이터에 대하여 필터링 처리가 행해진다. 이 필터링 처리에서는, 소정의 휘도값을 가진 화소에 대하여, 도 8a에 나타낸 테이블로부터 얻어진 게인 값K를 승산하고, 포화 화소의 휘도값을 보간한 후에, 필터링 처리가 행해진다. 이하에서는, 필터링 처리에서 현재 주사중인 화소(대상 부분)를 주사 화소라고 칭한다.

도 8a는, 테이블 형태 대신에, 주사 화소와 피사체영역과의 거리와, 게인 값간의 관계를 나타낸다. 실제로는, 그렇지만, 주사 화소와 피사체영역과의 각 거리에 대응한 게인 값이 테이블에 설정되어 있다. 피사체영역은, 상기 분할된 맵으로부터 판별될 수 있다.

도 8a에 나타나 있는 바와 같이, 주사 화소에 대한 게인 값K는 0이상의 값을 취하고, 주사 화소와 피사체영역간의 거리"r"에 따라 결정된 값이다. 예를 들면, 도 8b에 나타나 있는 바와 같이, 피사체영역으로부터의 거리가 ra, rb(ra <rb)의 주사 화소가 있는 것이라고 가정한다. 이때, 도 8a에 나타낸 테이블에서는, 피사체영역으로부터의 거리가 짧은 ｒa의 주사 화소에 대해서 게인 값Kh가 설정되어 있고, 피사체영역으로부터의 거리가 긴 ｒb의 주사 화소에 대해서는, Kh보다 높은 게인 값K가 설정되어 있다.

주사 화소가 피사체영역 위에 놓일 경우, 게인 값은 Kmin으로 설정된다. 도 8a에 나타낸 테이블에 설정되는 게인 값은, 필터의 탭(tap) 수나 파형에 의거하여 결정된다. 예를 들면, 필터의 탭수가 클 경우, "r"은 피사체영역상의 화소의 영향을 받지 않도록 하기 위해서, 보다 큰 값의 게인 값으로 설정된다.

그렇지만, 본 발명은 이것에 한정되지 않고, 도 9에 나타나 있는 바와 같이 고정 값을 갖는 게인 값K 및 Kmin이 사용되어도 된다. 게인 값K는 소정의 제2 게인 값의 예이며, 게인 값Kmin은 소정의 제1 게인 값의 예다.

고정 값을 갖는 게인 값K 및 Kmin을 사용할 경우의 이점에 관하여 설명한다. 예를 들면, 피사체영역의 분할(segmentation)이 화소단위로 정확하게 행해지면, 배경영역으로서 판별된 화소에는 항상 게인 값K가 설정되고, 피사체영역으로서 판별된 화소에는 항상 게인 값Kmin이 설정된다. 그 결과, 피사체영역의 포화 화소의 블러를 최소로 억제하므로, 합성후의 화상 데이터의 블러와 블리드를 막을 수 있다. 도 9에 나타낸 바와 같이, K>Kmin이 만족된다.

다음에, 도 8a에 나타나 있는 바와 같은 테이블을 사용해서 게인 값을 결정하는 이점에 관하여 설명한다. 예를 들면, 실제의 피사체영역의 위치와 분할된 피사체영역의 위치간의 오차가 일어난 경우, 오차의 분만큼 합성된 후의 화상 데이터에는, 피사체영역의 포화 화소의 블러에 의한 블러와 블리드가 발생한다. 이 경우, 피사체영역 근방의 화소에 대한 게인 값을 낮게 설정함으로써, 합성후의 화상 데이터의 블러와 블리드를 막을 수 있다.

전술한 필터링 특성이나 게인 값은, 촬영된 화상 데이터의 심도정보를 포함하는 거리 맵에 의거하여, 순응적으로 변경해도 된다. 도 10은, 화상 데이터의 심도가 복수의 레벨로 분해된 상기 거리 맵의 예를 나타낸다. 도 10에 나타나 있는 바와 같은 거리 맵을 참조하여서, 심도가 깊은 영역에 대하여는 필터 형상을 크게 설정하거나, 또는 게인 값을 높게 설정한다. 한편, 심도가 얕은 영역에 대하여는 필터 형상을 작게 설정하거나, 또는 게인 값을 낮게 설정한다.

도 7의 설명으로 되돌아가서, 단계S708에 있어서, 화상합성부(607)는, 분할된 맵에 의거하여, 피사체가 합초 상태에 있는 동안에 촬영된 화상 데이터로부터 피사체영역을 분할하고, 단계S707에서 생성된 상기 블러링된 화상 데이터와 합성한다.

이 처리에서, 화상 데이터의 합성 처리는, 예를 들면 전술한 제1 예시적 실시예와 마찬가지 방식으로 행하면 좋다. 달리 말하면, 화상합성부(607)는, 분할된 맵의 화소값으로부터 얻어진 α[i, j](0≤α≤1)에 의거하여, 피사체가 합초 상태에 있는 동안 촬영된 화상 데이터ＩＭＧ1 [i, j]의 피사체영역과 상기 블러링된 화상 데이터ＩＭＧ2 [i, j]를 합성하고, 합성 화상 데이터B [i, j]를 생성한다. 즉, 화상합성부(607)는, 합성 화상 데이터B [i, j]를 제1 예시적 실시예의 식 1을 사용해서 산출한다. [i, j]는 각 화소를 나타낸다.

이상의 처리에 의해, 화상합성부(607)는, 피사체영역 근방의 배경영역의 블러와 블리드의 발생을 억제하면서, 포화 화소의 휘도값을 보간하여 얻어진 블러링된 화상 데이터를 취득할 수 있다. 또한, 본 예시적 실시예에 있어서의 주사 화소와 피사체영역과의 거리"r"은, 주사 화소를 중심으로 해서 가장 가까이에 존재하는 피사체영역까지의 거리이지만, 그 거리"r"은 주 피사체의 중심좌표의 중심을 구함으로써, 해당 중심좌표의 중심으로부터 주사 화소까지의 거리이어도 된다.

또한, 본 예시적 실시예에 있어서의 분할된 맵은, 피사체가 합초상태에 있는 동안에 촬영된 화상 데이터와 상기 배경이 합초상태에 있는 동안에 촬영된 화상 데이터와의 2매의 화상 데이터로부터 생성되지만, 피사체의 앞측이 합초상태에 있는 동안에 촬영된 화상 데이터를 포함하는 3매이상의 화상 데이터로부터 생성되어도 된다.

이상과 같이, 본 예시적 실시예에 의하면, 포화 화소에 대한 게인 값을 피사체영역으로부터의 거리에 따라 바꾸어서 필터링 처리를 행한 화상 데이터와, 날카로운 피사체가 합초상태에 있는 동안에 촬영된 화상 데이터를, 상기 분할된 맵에 의거하여 합성된다. 이에 따라, 피사체의 고휘도영역주변에 있어서의 블러와 블리드의 발생을 억제하면서, 배경의 고휘도영역에 실제로 노광량을 추정한 블러링 효과를 낸 화상 데이터를 생성하는 것이 가능해지고, 촬영자에 대해 바람직한 화상 데이터를 제공할 수 있다.

또한, 본 발명의 국면들은, 메모리 디바이스에 기록된 프로그램을 판독 및 실행하여 상기 실시예들의 기능들을 수행하는 시스템 또는 장치(또는 CPU 또는 MPU 등의 디바이스들)의 컴퓨터에 의해서, 또한, 시스템 또는 장치의 컴퓨터에 의해 수행된 단계들, 예를 들면, 메모리 디바이스에 기록된 프로그램을 판독 및 실행하여 상기 실시예들의 기능들을 수행하는 방법에 의해, 실현될 수도 있다. 이를 위해, 상기 프로그램은, 예를 들면, 네트워크를 통해 또는, 여러 가지 형태의 메모리 디바이스의 기록매체(예를 들면, 컴퓨터 판독 가능한 매체)로부터, 상기 컴퓨터에 제공된다. 이러한 경우에, 상기 시스템 또는 장치와, 상기 프로그램이 격납된 기록매체는, 본 발명의 범위내에 있는 것으로서 포함된다.

본 발명을 예시적 실시예들을 참조하여 기재하였지만, 본 발명은 상기 개시된 예시적 실시예들에 한정되지 않는다는 것을 알 것이다. 아래의 청구항의 범위는, 모든 변형, 동등한 구조 및 기능을 포함하도록 아주 넓게 해석해야 한다.

Claims

합초위치가, 피사체가 합초상태에 있는 제1 초점위치 또는 상기 제1 초점위치의 근거리측의 제2 초점위치인 경우에, 제1 화상 데이터를 생성하고, 합초위치가, 배경이 합초상태에 있는 초점위치의 원거리측의 제3 초점위치인 경우에는 제2 화상 데이터를 생성하는 생성부; 및
상기 생성부에 의해 생성된 상기 제1 화상 데이터와 상기 제2 화상 데이터에 의거하여, 상기 피사체를 포함하는 제1영역과, 상기 배경을 포함하는 제2영역을 판별하는 판별부를 구비한, 촬상장치.
제 1 항에 있어서,
상기 제2 초점위치는, 상기 피사체가 피사계 심도내에 들어가는 범위내의 위치이며, 상기 제1 초점위치의 근거리측의 위치인, 촬상장치.
제 1 항에 있어서,
상기 제3 초점위치는, 상기 배경이 피사계 심도내에 들어가는 범위내의 위치이며, 상기 배경에 합초하는 초점위치의 원거리측의 위치인, 촬상장치.
제 1 항에 있어서,
상기 생성부는, 촬영 조건에 따라, 상기 제1 초점위치 및 상기 제2 초점위치 중 어느 하나에 포커스 렌즈를 위치시켜서 상기 제1 화상 데이터를 생성하는, 촬상장치.
제 1 항에 있어서,
상기 제1 화상 데이터 또는 상기 제2 화상 데이터에 대하여 소정의 필터링 처리를 실시하는 처리부; 및
상기 판별부의 판별 결과에 의거하여 상기 처리부에 의해 상기 소정의 필터링 처리가 실행된 상기 제1 화상 데이터 또는 상기 제2 화상 데이터와, 상기 생성부에 의해 생성된 상기 제1 화상 데이터를 합성하는 합성부를 더 구비한, 촬상장치.
제 5 항에 있어서,
상기 화상 데이터에서의 대상 부분과 상기 피사체를 포함한 영역 사이의 거리에 따라 게인(gain) 값을 결정하는 결정부를 더 구비하고, 상기 처리부는 상기 결정부에 의해 결정된 상기 게인 값을 사용하여 상기 대상 부분을 보간한 후 상기 화상 데이터에 대한 상기 소정의 필터링 처리를 행하는, 촬상장치.
제 6 항에 있어서,
상기 결정부는, 상기 결정된 게인 값이 상기 대상 부분과 상기 피사체를 포함한 영역 사이의 상기 거리보다 작도록 구성된, 촬상장치.
제 6 항에 있어서,
상기 결정부는, 상기 대상 부분이 상기 피사체를 포함한 상기 영역에 포함되는 경우에, 소정의 제1 게인 값을 결정하고, 상기 대상 부분이 상기 피사체를 포함한 상기 영역이외의 영역에 포함되는 경우에, 소정의 제2 게인 값을 결정하는, 촬상장치.
제 8 항에 있어서,
상기 소정의 제1 게인 값이 상기 소정의 제2 게인 값보다 작은, 촬상장치.
제 6 항에 있어서,
상기 결정부는, 상기 소정의 필터링 처리에서 사용된 필터의 특성에 따라 결정되는 상기 게인 값을 변경하는, 촬상장치.
제 6 항에 있어서,
상기 결정부는, 상기 대상 부분의 피사계 심도에 따라 결정되는 상기 게인 값을 변경하는, 촬상장치.
제 10 항에 있어서,
상기 처리부는, 상기 대상 부분의 피사계 심도에 다라 결정되는 상기 필터의 특성을 변경하는, 촬상장치.
제 1 항에 있어서,
상기 제1 화상 데이터 또는 상기 제2 화상 데이터의 크기를 축소하고, 축소한 화상 데이터를 확대해서 원래의 크기로 되돌리는 처리부; 및
상기 판별부의 판별 결과에 의거하여 상기 처리부에 의해 처리된 상기 제1 화상 데이터 또는 상기 제2 화상 데이터와, 상기 생성부에 의해 생성된 상기 제1 화상 데이터를 합성하는 합성부를 더 구비한, 촬상장치.
제 1 항에 있어서,
상기 제1 화상 데이터 또는 상기 제2 화상 데이터에 대하여 로패스(low pass) 필터를 적용하도록 구성된 처리부; 및
상기 판별부의 판별 결과에 의거하여 상기 처리부에 의해 처리된 상기 제1 화상 데이터 또는 상기 제2 화상 데이터와, 상기 생성부에 의해 생성된 상기 제1 화상 데이터를 합성하는 합성부를 더 구비한, 촬상장치.
피사체가 합초상태에 있는 제1 초점위치 또는 상기 제1 초점위치의 근거리측의 제2 초점위치인 합초위치에서 얻어진 제1 화상 데이터와, 배경이 합초되는 초점위치의 원거리측의 제3 초점위치인 합초위치에서 얻어진 제2 화상 데이터에 의거하여, 상기 피사체를 포함하는 제1영역과, 상기 배경을 포함하는 제2영역을 판별하는 것을 포함한, 촬상장치의 제어 방법.
촬상장치를 제어하기 위한 프로그램을 기억한 기억매체로서, 상기 프로그램은, 컴퓨터를 거쳐,
피사체가 합초되는 제1 초점위치 또는 상기 제1 초점위치의 근거리측의 제2 초점위치인 합초위치에서 얻어진 제1 화상 데이터와, 배경이 합초되는 초점위치의 원거리측의 제3 초점위치인 합초위치에서 얻어진 제2 화상 데이터에 의거하여, 상기 피사체를 포함하는 제1영역과, 상기 배경을 포함하는 제2영역을 판별하는 것을 포함한 처리를 실행하는, 기억매체.