KR101529597B1

KR101529597B1 - 촬영 화상의 보조 정보를 생성하는 촬상장치, 화상처리장치, 및 화상처리방법

Info

Publication number: KR101529597B1
Application number: KR1020120088198A
Authority: KR
Inventors: 아키히코 나가노; 히데노부 아키요시
Original assignee: 캐논 가부시끼가이샤
Priority date: 2011-08-19
Filing date: 2012-08-13
Publication date: 2015-06-29
Also published as: US20130044234A1; CN105163033A; US9456118B2; CN102957863B; CN102957863A; RU2523083C2; JP6080417B2; RU2012135476A; KR20150008831A; KR101632578B1; JP2013165475A; BR102012020775A2; BR102012020775B1; KR20130020579A; CN105163033B

Abstract

촬상장치가 제공된다. 이 촬상장치는 촬영 렌즈와, 촬상소자와, 복수의 마이크로렌즈를 구비한다. 또한, 이 촬상장치는 상기 촬상소자로부터 출력된 화상 데이터에 대하여 리포커스 처리를 행하여 소정의 리포커스면에 있어서의 재구성 화상을 생성하고, 상기 재구성 화상 중에 피사체가 존재하는지 아닌지를 판정하는 화상처리유닛을 포함한다. 이 촬상장치의 기록 유닛은, 상기 촬상소자로부터 출력된 화상 데이터를 기록하는 동시에, 상기 화상처리유닛에 의해 존재한다고 판정된 피사체에 관한 정보를 보조 정보로서 상기 화상 데이터와 관련지어 기록한다.

Description

촬영 화상의 보조 정보를 생성하는 촬상장치, 화상처리장치, 및 화상처리방법{IMAGE CAPTURING APPARATUS, IMAGE PROCESSING APPARATUS, AND IMAGE PROCESSING METHOD FOR GENERATING AUXILIARY INFORMATION FOR CAPTURED IMAGE}

본 발명은 촬영 후에 화상의 초점 거리(focal length)를 변경할 수 있는 화상 데이터를 취급하는 것이 가능한 촬상장치, 화상처리장치, 및 화상처리방법에 관한 것이다.

최근, 디지털 카메라 중에서도, 라이트 필드(light field) 카메라라고 하는 카메라의 분야가 주목받고 있다. 이 카메라로 촬영된 화상은, 촬영 후에 초점 거리(결상면, 리포커스(refocus)면)를 변경해서 리포커스 화상을 발생할 수 있기 때문에, 촬영 후에 다양한 초점 위치를 선택하거나, 촬영시의 유저 에러에 의한 아웃 오브 포커스(out-of-focus) 화상을 없애는 것이 기대되고 있다.

한편, 디지털 카메라로 촬영한 화상을 표시할 때에 사용되는 인덱스 표시라고 하는 기능이 있다. 이것은, 화상을 축소해서 일람 표시하여, 유저가 의도하는 화상을 찾기 쉽게 하기 위한 기능이다. 그런데, 이 라이트 필드 카메라로 촬영한 화상은, 촬영 후에 어디에나 초점을 맞추는 것이 가능한 반면, 촬영 시점에 있어서, 유저가 주목하고 싶은 인물 등에 반드시 초점이 맞춰져 있지 않다. 특히, 인덱스 표시의 상태에서는, 예를 들면 초점이 맞춰져 있지 않은 사람에서는, 누가 찍히고 있는지를 판단할 수 없고, 유저가 화상 선택에 곤란한 경우가 있다.

라이트 필드 카메라로의 촬영시에 있어서는, 전술한 바와 같은 피사체의 얼굴을 인식할 수 없는 문제를 해결하는 방법이 일본국 공개특허공보 특개2009-065356호에 기재되어 있다. 이 방법에서는, 피사계 심도를 변경하는 설정을 실시한 후에, 예비 촬영을 위해 렌즈 위치를 수회 변경하고, 예비 촬영 결과에 근거해 얼굴 인식을 행해서 촬영을 행한다.

그렇지만, 일본국 공개특허공보 특개 2009-065356호는 촬영시에 얼굴 인식을 행하는 방법을 개시하고 있지만, 화상의 재생 시에 있어서 상기 과제를 해결하는 방법을 개시할 만한 것이 아니다.

본 발명은 상기의 문제점을 감안하여, 라이트 필드 카메라로 촬영된 화상 데이터에 포함되는 피사체가 용이하게 식별가능한 촬상장치, 화상처리장치 및 화상처리방법을 제공한다.

본 발명의 제1 국면에 의하면, 입사광을 광전 변환해서 화상 데이터를 출력하도록 구성되며, 2차원으로 배치된 복수의 화소로 이루어지는 촬상소자와, 촬영 렌즈와 상기 촬상소자와의 사이에 배치되며, 상기 촬상소자의 미리 결정된 수의 화소로 이루어지는 복수의 영역 각각에 대응하는 복수의 마이크로렌즈와, 상기 촬상소자로부터 출력된 화상 데이터에 대하여 리포커스 처리를 행하여 미리 결정된 리포커스면에 있어서의 재구성 화상을 생성하고, 상기 재구성 화상 중에 피사체가 존재하는지 아닌지를 판정하도록 구성된 화상처리유닛과, 상기 촬상소자로부터 출력된 화상 데이터를 기록하고, 상기 화상처리유닛에 의해 존재한다고 판정된 피사체에 관한 정보를 보조 정보로서 상기 화상 데이터와 관련지어 기록하도록 구성된 기록 유닛, 및 상기 기록 유닛에 의해 기록되고 상기 촬상소자로부터 출력된 화상 데이터에 근거한 섬네일 화상을 표시하고, 상기 보조 정보에 의거하여, 피사체가 존재한다고 판정된 리포커스면에 있어서의 화상으로부터 클리핑된(clipped) 얼굴 화상을 표시하도록 구성된 표시 유닛을 구비하고, 상기 보조 정보는, 상기 화상처리유닛에 의해 피사체가 존재한다고 판정된 상기 리포커스면에 있어서의 재구성 화상을 축소해서 얻은 화상을 나타내는 화상 데이터인 것을 특징으로 하는, 촬상장치가 제공된다.

본 발명의 제2 국면에 의하면, 입사광을 광전 변환해서 화상 데이터를 출력하도록 구성되며, 2차원으로 배치된 복수의 화소로 이루어지는 촬상소자와, 촬영 렌즈와 상기 촬상소자와의 사이에 배치되며, 상기 촬상소자의 미리 결정된 수의 화소로 이루어지는 복수의 영역 각각에 대응하는 복수의 마이크로렌즈를 구비하는 촬상장치로부터 출력된 화상 데이터를 처리하는 화상처리장치로서, 상기 촬상소자로부터 출력된 화상 데이터에 대하여 리포커스 처리를 행해서 미리 결정된 리포커스면에 있어서의 재구성 화상을 생성하고, 상기 재구성 화상 중에 피사체가 존재하는지 아닌지를 판정하도록 구성된 화상처리유닛과, 상기 촬상소자로부터 출력된 화상 데이터를 기록하고, 상기 화상처리유닛에 의해 존재한다고 판정된 피사체에 관한 정보를, 보조 정보로서 상기 화상 데이터와 관련지어 기록하도록 구성된 기록 유닛, 및 상기 기록 유닛에 의해 기록되고 상기 촬상소자로부터 출력된 화상 데이터에 근거한 섬네일 화상을 표시하고, 상기 보조 정보에 의거하여, 피사체가 존재한다고 판정된 상기 리포커스면에 있어서의 화상으로부터 클리핑된(clipped) 얼굴 화상을 표시하도록 구성된 표시 유닛을 구비하고, 상기 보조 정보는, 상기 화상처리유닛에 의해 피사체가 존재한다고 판정된 상기 리포커스면에 있어서의 재구성 화상을 축소해서 얻은 화상을 나타내는 화상 데이터인 것을 특징으로 한다.

본 발명의 제3 국면에 의하면, 입사광을 광전 변환해서 화상 데이터를 출력하도록 구성되며, 2차원으로 배치된 복수의 화소로 이루어지는 촬상소자와, 촬영 렌즈와 상기 촬상소자와의 사이에 배치되며, 상기 촬상소자의 미리 결정된 수의 화소로 이루어지는 복수의 영역 각각에 대응하는 복수의 마이크로렌즈를 구비하는 촬상장치로부터 출력된 화상 데이터를 처리하는 화상처리방법으로서, 상기 촬상소자로부터 출력된 화상 데이터에 대하여 리포커스 처리를 행해서 미리 결정된 리포커스면에 있어서의 재구성 화상을 생성하고, 상기 재구성 화상 중에 피사체가 존재하는지 아닌지를 판정하는 화상처리단계와, 상기 촬상소자로부터 출력된 화상 데이터를 기록하고, 상기 화상처리단계에서 존재한다고 판정된 피사체에 관한 정보를, 보조 정보로서 상기 화상 데이터와 관련지어 기록하는 기록단계, 및 상기 기록단계에 의해 기록되고 상기 촬상소자로부터 출력된 화상 데이터에 근거한 섬네일 화상을 표시하고, 상기 보조 정보에 의거하여, 상기 피사체가 존재한다고 판정된 상기 리포커스면에 있어서의 화상으로부터 클리핑된(clipped) 얼굴 화상을 표시하는 표시단계를 포함하고, 상기 보조 정보는, 상기 화상처리단계에서 상기 피사체가 존재한다고 판정된 상기 리포커스면에 있어서의 재구성 화상을 축소해서 얻은 화상을 나타내는 화상 데이터인 것을 특징으로 한다.

본 발명의 추가의 특징은 첨부도면을 참조하면서 이하의 예시적인 실시예의 설명으로부터 분명해질 것이다.

도 1은 본 발명의 실시예에 따른 촬상장치의 개략적인 구성을 나타내는 블럭도이다.
도 2는 실시예에 따른 촬상소자의 화소와 마이크로렌즈 어레이와의 위치 관계를 설명하는 도면이다.
도 3은 실시예에 따른 촬영 렌즈와, 촬상소자의 화소와, 마이크로렌즈 어레이와의 위치 관계를 설명하는 도면이다.
도 4a 및 4b는 실시예에 따른 촬영 렌즈의 동공영역과 수광 화소의 대응관계를 설명하는 도면이다.
도 5는 실시예에 따른 리포커스 화상 생성 광선의 통과 영역을 설명하는 도면이다.
도 6은 실시예에 따른 보조 정보로서의 얼굴의 위치 정보 및 얼굴의 상대 사이즈 정보를 설명하는 도면이다.
도 7은 실시예에 따른 본 화상 촬영 후의 기록 동작을 나타내는 흐름도이다.
도 8은 실시예에 따른 본 화상의 인덱스 표시 동작을 나타내는 흐름도이다.
도 9a 내지 9d는 실시예에 따른 인덱스 표시 예를 도시한 도면이다.
도 10은 제3의 실시예에 따른 디지털 카메라(1)의 개략적인 구성도이다.
도 11은 촬영 화면의 분할 설명도이다.
도 12는 제3의 실시예에 따른 촬영처리 및 복원 처리를 나타내는 흐름도이다.
도 13a는 촬영 모드에 있어서 제1의 스위치가 OFF인 경우의 뷰파인더를 나타내는 도면이다.
도 13b는 제1의 스위치가 ON인 경우의 뷰파인더를 나타내는 도면이다.
도 14는 도 12의 스텝 S110에 있어서의 복원 처리의 상세를 나타내는 흐름도이다.
도 15a는 제3의 실시예에 따른 촬영 모드에 있어서 제1의 스위치가 OFF인 경우에 표시부(4)에 표시되는 화상의 설명도이다.
도 15b는 제3의 실시예에 따른, 제1의 스위치가 ON인 경우에 표시부(4)에 표시되는 화상의 설명도이다.
도 15c는 제3의 실시예에 따른, 복원 후의 화상의 설명도이다.
도 16은 제4의 실시예에 따른 디지털 카메라(1)의 개략적인 구성도이다.
도 17은 제4의 실시예에 따른 촬영처리 및 복원 처리를 나타내는 흐름도이다.
도 18a는 제4의 실시예에 따른, 촬영 모드에 있어서 제1의 스위치가 OFF 인 경우에 표시부(4)에 표시되는 화상의 설명도이다.
도 18b는 제4의 실시예에 따른, 제1의 스위치가 ON인 경우에 표시부(4)에 표시되는 화상의 설명도이다.
도 18c는 제4의 실시예에 따른, 복원 후의 화상의 설명도이다.
도 19는 제4의 실시예에 따른, 주피사체가 검출되지 않았을 경우에 복원 후의 화상의 설명도이다.
도 20a는 본 발명을 적용가능한 광학계를 도시한 도면이다.
도 20b는 본 발명을 적용가능한 광학계를 도시한 도면이다.
도 20c는 본 발명을 적용가능한 광학계를 도시한 도면이다.

이하, 첨부된 도면을 참조해서 본 발명을 실시하기 위한 최선의 형태를 상세하게 설명한다.

<제1의 실시예>

도 1은, 본 발명의 실시예에 따른 촬상장치(100)의 개략적인 구성을 나타내는 블럭도다. 도 1에 나타내는 구성에 있어서, 촬영 렌즈(101)를 통과한 빛은 촬영 렌즈(101)의 초점위치 근방에 결상한다. 마이크로렌즈 어레이(102)는 복수의 마이크로렌즈(1020)로 구성되고, 촬영 렌즈(101)의 초점위치 근방에 배치됨으로써, 촬영 렌즈(101)의 다른 동공영역을 통과한 빛을 동공영역마다 분할해서 출사하는 기능을 갖는다. 촬상소자(103)는 CMOS 이미지 센서나 CCD 이미지 센서 등의 광전변환소자이며, 입사광을 광전 변환해서 화상 신호를 출력한다. 복수의 마이크로렌즈(1020)는 각 마이크로렌즈(1020)가 복수의 화소에 대응하도록 2차원으로 배치됨으로써, 마이크로렌즈(1020)에 의해 동공영역마다 분할되어 출사된 빛을, 분할 정보를 유지한 채로 수광하고, 데이터 처리 가능한 화상 신호로 변환할 수 있다.

아날로그 신호 처리 회로(AFE)(104)는, 촬상소자(103)로부터 출력되는 화상 신호에 대하여 상관 2중 샘플링 처리, 신호 증폭, 기준 레벨 조정, A/D 변환 처리 등을 행한다. 디지털 신호 처리 회로(DFE)(105)는, 아날로그 신호 처리 회로(104)로부터 출력되는 화상 신호에 대하여 기준 레벨 조정 등의 디지털 화상처리를 행한다.

화상처리회로(106)는 디지털 신호 처리 회로(105)로부터 출력된 화상 신호에 대하여 소정의 화상처리나, 라이트 필드 카메라 특유의 임의인 가상 결상면에 초점을 맞추는 리포커스 연산(현상 처리)을 실행한다. 한층 더, 화상처리회로(106)는, 현상한 화상 중에서 피사체를 검출하는 피사체 검출 기능과, 검출되는 피사체가 특정한 피사체인지의 여부를 인식하는 인식 기능을 갖는다. 본 실시예에서는, 화상처리회로(106)는 피사체 검출의 예로서 인물의 얼굴을 판정하는 얼굴판정 기능과, 피사체 인식 기능의 예로서 후술하는 메모리 회로(107) 중의 얼굴 데이터베이스와 대조해서 누구의 얼굴인가를 인식하는 얼굴 인식 기능을 갖는 것으로 하지만, 이것에 한정되지 않는다. 한층 더, 화상처리회로(106)는 재생시에 인덱스 표시를 행할 때에는, 기록 회로(108)로부터 본 화상을 판독하고, 소정의 리포커스 파라미터를 이용해서 현상을 행하고, 축소된 화상(섬네일 화상)을 발생하는 기능도 갖는다. 메모리 회로(107)는, 플래시 메모리 등의 불휘발성 메모리이며, 인물의 얼굴과 이름을 한 쌍으로 해서 얼굴 데이터베이스 정보를 기억한다. 기록 회로(108)는 화상처리회로(106)로부터 출력된 화상 신호(본 화상)와, 본 화상과 관련된 후술하는 보조 정보를 기록 및 보유하는 메모리 카드 등의 기록 매체이다.

제어회로(109)는 촬상소자(103)와 화상처리회로(106)의 구동 제어 등, 촬상장치(100) 전체를 통괄적으로 구동제어한다. 조작 회로(110)는 촬상장치(100)에 설치되어 있었던 조작 부재로부터의 신호를 접수하고, 제어회로(109)에 대하여 유저의 명령을 입력한다. 표시 회로(111)는 촬영 후의 화상, 라이브 뷰(live-view) 화상, 각종 설정 화면, 본 화상, 현상 화상, 기록 회로(108)에 기록된 보조 정보 등을 표시한다. 한층 더, 표시 회로(111)는, 후술하는 바와 같이, 보조 정보가 화상인 경우, 그 화상의 일부를 오려내서 표시할 수 있다. 한층 더, 보조 정보가 문자 데이터인 경우에는, 표시 회로(111)는 문자를 표시 화면 위에 중첩해서 표시할 수 있다.

다음에, 본 실시예의 촬상장치에 있어서의 촬영 렌즈(101), 마이크로렌즈 어레이(102) 및 촬상소자(103)의 위치 관계에 관하여 설명한다.

도 2는, 촬상소자(103) 및 마이크로렌즈 어레이(102)를 도 1의 광축 Z방향에서 본 도면이다. 복수의 분할 화소(201)에 대하여 1개의 마이크로렌즈(1020)가 대응하도록 각 마이크로렌즈(1020)가 배치되어 있다. 1개의 마이크로렌즈의 후방에 있는 분할 화소(201)의 그룹으로서 화소 배열(200)을 정의한다. 또한, 본 제1의 실시예에서는, 각 화소 배열(200)은, 5행 5열의 합계 25개의 분할 화소(201)로 구성되어 있는 것으로 한다.

도 3은, 촬영 렌즈(101)로부터 출사한 빛이 1개의 마이크로렌즈(1020)를 통과해서 촬상소자(103)로 수광되는 모양을 광축 Z에 대하여 수직방향에서 본 도면이다. 촬영 렌즈(101)의 각 동공영역 a1 내지 a5로부터 출사하고, 중앙의 마이크로렌즈(1020)를 통과한 빛은, 그 마이크로렌즈의 후방에 있는 대응하는 분할 화소 p1 내지 P5에 각각 결상한다.

도 4a는, 도 3에 나타낸 촬영 렌즈(101)의 빛의 통과 영역과, 촬상소자(103)의 수광 영역을 한층 더 자세하게 설명하기 위해서, 촬영 렌즈(101)의 개구를 광축Z방향에서 본 도면이다. 도 4b는, 1개의 마이크로렌즈(1020)와 그 후방에 배치된 화소 배열(200)을 광축 Z방향에서 본 도면이다. 도 4a에 나타나 있는 바와 같이, 촬영 렌즈(101)의 동공영역을 마이크로렌즈(1020)의 후방에 있는 화소와 동수의 영역으로 분할했을 경우, 1개의 화소에는 촬영 렌즈(101)의 1개의 동공분할 영역으로부터 출사한 빛이 결상되게 된다. 다만, 여기에서는, 촬영 렌즈(101)와 마이크로렌즈(1020)의 F넘버가 거의 일치하는 것으로 한다.

도 4a에 나타내는 촬영 렌즈(101)의 동공영역 a11 내지 a55과, 도 4b에 나타내는 화소p11 내지 p55과의 대응관계는 광축 Z방향에서 봐서 점대칭이 된다. 따라서, 촬영 렌즈(101)의 동공영역 a11로부터 출사한 빛은, 마이크로렌즈(1020)의 후방에 있는 화소 배열(200) 내의 화소 중의 화소 P11에 결상한다. 이와 마찬가지로, 동공영역 a11로부터 출사하고, 별도의 마이크로렌즈(1020)를 통과하는 빛도, 그 마이크로렌즈(1020)의 후방에 있는 화소 배열(200) 내의 화소 중의 화소 P11에 결상한다.

여기에서, 화면 내의 임의의 피사체 위치에 대응한 초점 위치(리포커스면)를 산출하는 방법에 대해서 서술한다. 도 4a 및 4b에서 설명한 바와 같이, 화소 배열(200)의 각 화소는, 촬영 렌즈(101)에 대하여 서로 다른 동공영역을 통과한 빛을 수광하고 있다. 이들의 분할 신호로부터 복수의 화소 신호를 합성함으로써 수평방향으로 동공 분할된 한 쌍의 신호를 생성한다.

식(1)에서는, 어떤 화소 배열(200)의 각 화소에 대해서, 촬영 렌즈(101)의 사출 동공의 좌측영역(동공영역 a11 내지 a51 및 a12 내지 a52)을 통과한 빛을 적분한 것이다. 이것을 수평방향으로 얼라인되어 있는 복수의 화소 배열(200)에 적용하고, 이들의 출력 신호 군으로 구성한 피사체상을 A상이라고 한다. 또한, 식(2)에서는, 어떤 화소 배열(200)의 각 화소에 대해서, 촬영 렌즈(101)의 사출 동공의 우측 영역(동공영역 a14 내지 a54 및 a15 내지 a55)을 통과한 빛을 적분한 것이다. 이것을 수평방향으로 얼라인한 복수의 화소 배열(200)에 적용하고, 이들의 출력 신호 군으로 구성한 피사체상을 B상이라고 한다. A상과 B상에 대하여 상관 연산을 실행하여, 화상의 어긋남량(동공분할 위상차)을 검출한다. 한층 더, 화상의 어긋남량에 대하여 촬영 렌즈(101)의 초점위치와 광학계에 근거해서 결정되는 변환 계수를 곱함으로써 화면 내의 임의의 피사체 위치에 대응한 초점 위치를 산출할 수 있다.

다음에, 촬영 렌즈(101), 마이크로렌즈 어레이(102) 및 촬상소자(103)의 구성에 의해 취득된 촬영 데이터에 대하여 행한, 임의로 설정한 초점위치(리포커스면)에서의 화상의 재구성 처리에 관하여 설명한다.

도 5는, 임의로 설정한 리포커스면에 있는 화소를 통과하는 빛이, 촬영 렌즈(101)의 어떤 동공분할 영역으로부터 출사되어, 어떤 마이크로렌즈(1020)에 입사하는지를 광축 Z에 대하여 수직방향에서 본 도면이다. 여기에서, 촬영 렌즈(101)의 동공분할 영역의 위치를 좌표(u, v)로 나타내고, 리포커스면 내의 화소 위치를 좌표(x, y)로 나타내며, 마이크로렌즈 어레이(102) 내의 마이크로렌즈(1020)의 위치를 좌표(x'，y')로 나타낸다. 또한, 촬영 렌즈(101)로부터 마이크로렌즈 어레이(102)까지의 거리를 F로 나타내고, 촬영 렌즈(101)로부터 리포커스면까지의 거리를 αF로 나타낸다. 여기서, α은 리포커스면의 위치를 결정하기 위한 리포커스 계수이며, 유저가 임의로 설정할 수 있고, 혹은 씬 판별, 피사체 검출 등에 따라 설정할 수 있다. 또한, 도 5에서는 u, x, x'의 방향만을 나타내고, v, y, y'의 방향에 관해서는 도시하지 않는다. 도 5에 나타나 있는 바와 같이, 좌표(u, v)와 좌표(x, y)를 통과한 빛은, 마이크로렌즈 어레이(102) 내의 좌표(x'，y')에 도달한다. 이 좌표(x', y')는 식(3)과 같이 나타낼 수 있다.

그리고, 이 빛을 수광하는 화소의 출력을 L(x', y', u, v)이라고 하면, 리포커스면 내의 좌표(x, y)에서 취득된 출력 E(x, y)는, L(x', y', u, v)을 촬영 렌즈(101)의 동공영역에 관해서 적분한 것이 되기 때문에, 식(4)과 같이 된다.

식(4)에 있어서, α, (x, y), (u, v)을 주면, 빛이 입사하는 마이크로렌즈(1020)의 위치(x', y')를 얻는다. 그리고, 그 마이크로렌즈에 대응하는 화소 배열(200)에서 (u, v)의 위치에 대응하는 화소를 얻을 수 있다. 이 화소의 출력이 L (x', y', u, v)이 된다. 이것을 모든 동공분할 영역에 대해서 행하고, 취득한 화소 출력을 적분함으로써 E(x, y)를 산출할 수 있다. 또한, (u, v)을 촬영 렌즈의 동공분할 영역의 대표 좌표라고 하면, 식(4)의 적분은, 단순 가산에 의해 계산할 수 있다.

이하, 본 실시예에 있어서의 보조 정보의 형식을 설명한다. 촬상시, 화상 처리회로(106)는 촬상소자(103)로부터 출력된 화상 신호(라이트 필드 정보)로부터의 본 화상을 기록 회로(108)에 기록한다. 이때, 한층 더 화상 데이터(부가 화상) 및 문자 데이터(부가 정보)를 생성하고, 이것을 본 화상에 대한 보조 정보라고 한다. 여기에서는, 촬영시의 보조 정보의 생성 동작에 대해서, 도 1과, 도 7의 흐름도를 사용하여 설명한다.

우선, 보조 정보로서 화상 데이터를 생성 및 기록하는 방법에 관하여 설명한다. 스텝 S600에서, 본 화상의 촬영을 행한다. 촬영시, 촬상소자(103)로부터 출력된 화상 신호는, AFE(104)로 아날로그 신호 처리되고, 그 결과의 신호는 DFE(105)로 디지털 신호 처리된다. 디지털 신호 처리 후, 화상처리회로(106)로 본 화상은 기록 회로(108)에 기록된다. 이하의 처리는, 제어회로(109)의 제어하에서 행해진다.

본 화상의 기록이 종료하면, 보조 정보의 생성과 기록을 행한다. 스텝 S601에서, 제어회로(109)는 화상처리회로(106)로 리포커스를 행하기 위한 리포커스 계수를 초기값으로 설정한다. 초기값은 가장 근경에 초점이 맞는 값이다.

스텝 S602에서는, 제어회로(109)가 리포커스 계수가 가장 원경에 초점이 맞는 값이 되었는지를 감시하고, 리포커스 계수가 가장 원경을 나타내는 값에 달했으면, 처리를 종료한다. 가장 원경을 나타내는 값에 달하지 않았으면, 처리는 S603로 이행한다. 스텝 S603에서는, 제어회로(109)는 리포커스 계수를 일정량 원경방향으로 변화시킨다. 그 후에, 제어회로(109)는 그 리포커스 계수로 현상을 행하도록 화상처리회로(106)에 현상을 지시한다.

스텝 S604에서는, 화상처리회로(106)는, 스텝 S603에서 지정된 리포커스 계수로 현상한 화상(재구성 화상)에 대하여 피사체 판정 처리(예를 들면, 얼굴 판정 처리)를 행한다. 얼굴 판정의 결과, 현상한 화상 중에 얼굴이 존재한다고 판정되면, 스텝 S605로 이동하고, 얼굴이 존재한다고 판정되지 않으면, 스텝 S602로 처리가 되돌아간다. 스텝 S605에서는, 제어회로(109)는 얼굴 판정 후의 처리를 제어한다. 구체적으로는, 제어회로(109)는 화상처리회로(106)에 지시하여, 판정된 얼굴에 합초된(focused) 현상 화상을 JPEG 형식으로 변환하고, 현상 화상을 본 화상과 관련지어서, 부가 화상으로서 기록 회로(108)에 보존한다. 같은 얼굴이 2개 이상의 현상 화상에 존재한다고 판정된 경우에, 제어 회로(109)는 가장 합초한(in-focus) 상태의 이 얼굴을 포함하는 현상 화상을 보존하도록 제어한다. 보존하는 현상 화상의 특정방법으로서는, 얼굴이라고 판정된 위치에 관해서 전술한 상관 연산에 의거해 초점위치를 검출하는 것에 의하여 리포커스 계수를 특정하는 수법을 이용하는 것이 가능하다. 또한, 엣지 검출, 얼굴 판정의 신뢰도 등에 의거해서 가장 합초한 현상 화상을 특정하는 것도 가능하다. 이 경우, 순차 생성되는 현상 화상에 대해서, 엣지의 평가값 또는 얼굴 판정의 신뢰도 등을 비교해서, 보다 큰 값을 갖는 현상 화상이 메모리 회로(107)에 남아 있으면 된다. 그 후에, 스텝 S602의 처리로 돌아가고, 전술한 처리를 반복한다.

도 7에 나타내는 예에서는, 보조 정보로서 부가 화상(화상 데이터)을 보존하는 경우에 관하여 설명했지만, 보조 정보로서 부가 정보를 보존해도 된다. 여기에서, 부가 정보는, 얼굴이 판정된 화상을 생성했을 때에 사용된 리포커스 계수의 값, 본 화상에서의 얼굴의 위치를 나타내는 정보, 및 본 화상 사이즈에 대한 얼굴의 상대 사이즈를 나타내는 정보를 포함한다.

얼굴의 위치 정보는, 본 화상의 좌상(左上)을 원점으로 해서, 얼굴이 우측 방향 및 아래 방향으로 어느 정도 진행시킨 위치에 출현할지를 수치화한 것이다. 이것을 도 6을 참조해서 설명한다. 여기서, 501은 본 화상 전체를 의미한다. 또한, 500은 판정된 얼굴을 나타낸다. 또한, 본 화상 전체의 폭과 높이를 각각 W 및 H라고 하고, 얼굴의 폭과 높이를 각각 Wface 및 Hface라고 한다. 또한, 원점 O로부터 얼굴의 시작 위치까지의 횡방향의 거리를 Dx라고 하고, 원점으로부터 얼굴의 시작 위치까지의 종방향의 거리를 Dy라고 하면, 상대 사이즈 정보의 상대 폭 및 상대 높이는 Wface/W 및 Hface/H로부터 각각 취득된다. 또한, 위치 정보의 횡방향 상대 거리 및 종방향 상대 거리는 Dx/W 및 Dy/H로부터 취득된다. 제어회로(109)는 이 부가 정보를 데이터 파일로 변환하고, 데이터 파일을 본 화상과 관련지어서 기록 회로(108)에서 유지하도록 지시한다.

다음에, 도 8 및 도 9a 내지 9d를 참조하여, 기록 회로(108)로부터 기록한 본 화상과 보조 정보(예를 들면, 부가 화상 및 부가 정보)를 판독하고 라이트 필드 화상의 인덱스 표시를 표시 회로(111)가 행하는 경우에 관하여 설명한다.

도 9a에 있어서, 801은 표시 화면이며, 표시 회로(111)의 일부다. 또한, 802로 나타낸 사각형 화상은 본 화상을 축소한 섬네일 화상이다. 유저가 조작 회로(110)에 대하여 인덱스 표시를 지시하면, 조작 회로(110)는 제어회로(109)에 대하여, 인덱스 표시의 지시를 행한다. 인덱스 표시의 지시를 받아서, 화상처리회로(106)는 기록 회로(108)로부터 본 화상을 판독하고, 축소해서 섬네일 화상을 생성한다. 화상처리회로(106)는 이 섬네일 화상을 표시 회로(111)에 건네 주고, 표시 화면(801)에 인덱스 화면을 구축한다. 여기서, 803은 복수의 섬네일 중에서 1개의 섬네일 화상을 선택할 때의 커서이며, 커서(803)는 표시 회로(111)에 의해 회화된다. 804는 본 화상에 기록된 인물 A이며, 805는 본 화상에 기록된 인물 B이다. 본 화상을 특정한 리포커스 계수를 이용해서 현상하면, 피사계 심도가 얕고, 모든 피사체에 초점이 맞는 것은 아니다. 도 9a에 나타내는 예에서는, 실선으로 나타낸 인물 A에는 초점이 맞지만, 점선으로 나타낸 인물 B에는 초점이 맞지 않으므로, 인물B가 초점이 맞지 않는(out of focus) 것을 나타내고 있다.

도 8의 스텝 S701에서, 유저는, 조작 회로(110)에 대하여 커서(803)를 이동시키는 지시를 행하고, 대상이 되는 섬네일 화상을 선택한다. 섬네일 화상이 선택된 상태를 도 9b에 나타낸다.

스텝 S702에서, 제어회로(109)는, 선택된 섬네일 화상에 관련되는 보조 정보의 검색을 화상처리회로(106)에 지시한다. 화상처리회로(106)는, 도 9b에서 선택된 섬네일 화상에 대응하는 본 화상과 관련된 보조 정보를 기록 회로(108)로부터 검색한다. 스텝 S703에 있어서, 검색 결과로서, 인물 A와 인물 B의 각각에 초점이 있었던 부가 화상 또는 부가 정보(얼굴의 상대 위치 및 상대 사이즈)를 취득하는 경우, 제어회로(109)는 인물 A와 인물 B를, 선택된 섬네일 화상의 근방에 동시에 표시한다. 여기에서는, 얼굴에 포커스가 있었던 부가 화상으로부터 얼굴의 상대 위치를 나타내는 부가 정보에 근거해서 얼굴의 영역만을 자르고, 811 및 812로 나타나 있는 바와 같이, 표시 회로(111)가 얼굴 영역을 표시한다. 이렇게 표시함으로써 유저는 피사계 심도가 얕은 본 화상의 섬네일 화상을 보면서도, 누가 찍히고 있는지를 용이하게 확인할 수 있다.

다음에, 부가 화상을 그대로 축소해서 표시하는 경우에 관하여 설명한다. 이것을 도 9c에 나타낸다. 도 9b의 경우와 마찬가지로, 제어회로(109)는 821 및 822로 나타낸 화상을, 선택된 섬네일 화상의 부근에 표시하도록 표시 회로(111)에 지시한다. 화상 821은 제1의 리포커스 계수를 이용해서 현상한 화상이며, 인물 A에 초점이 맞는다. 또, 화상 822는 제2의 리포커스 계수로 현상한 화상이며, 인물 B에 초점이 맞는다. 이렇게 표시함으로써, 유저는 섬네일 화상과, 피사체의 얼굴 각각에 초점이 맞는 일련의 화상을 열람하는 것이 가능하다.

상기한 바와 같이, 제1의 실시예에 의하면, 본 화상과 관련지어서 보조 정보를 기록해 두고, 기록한 보조 정보에 근거해서 취득되는, 본 화상에 포함되는 얼굴에 합초한 화상을, 선택된 섬네일 화상의 부근에 표시한다. 이에 따라, 유저가 의도한 피사체의 화상을 선택하는 것을 쉽게 할 수 있다.

본 실시예에 의하면, 스텝 S603에서, 화면 내에 존재하는 각 피사체를 특정하고, 각 피사체에 합초한 화상을 얻기 위해서, 리포커스 계수를 가장 근경(넓은 각측)에 포커스가 위치되어 있는 값으로부터 일정량씩 원경쪽으로 반복적으로 변화시켜서 복수의 현상 화상을 생성한다. 또한, 예를 들면 전술한 상관 연산 등에 의해 유도된 화면의 각 위치의 초점 위치 정보(거리 맵)로 의거해서 각 피사체의 초점 위치를 추정하고, 각 피사체가 합초하는 복수의 리포커스 계수의 복수의 후보를 결정하고, 스텝 S603에서의 리포커스 계수로서 복수의 후보를 이용해도 된다. 또한, 이 리포커스 계수의 복수의 후보에 근거해서 S603에서의 리포커스 계수의 일정량을 결정하는 것도 가능하다.

<제2의 실시예>

다음에, 본 발명의 제2의 실시예에 관하여 설명한다. 제2의 실시예에서는, 전술한 제1의 실시예의 화상처리회로(106)가 얼굴을 판정했을 때에, 화상처리회로(106)는 메모리 회로(107)에 보존된 얼굴과 명칭 데이터베이스를 이용하여, 한층 더 얼굴 인식을 행하고, 인물명을 본 화상과 관련지어서 기록한다.

이 때문에, 본 제2의 실시예에 있어서는, 도 1에 있어서, 메모리 회로(107)에, 얼굴의 특징과 이름을 관련지은 데이터베이스를 미리 기억시켜 둔다. 그리고, 도 7의 S605에 있어서, 화상처리회로(106)가, 어떤 리포커스 계수로 현상한 화상에 대하여 얼굴을 판정하면, 화상처리회로(106)는 그 얼굴에 대해서, 메모리 회로(107)의 얼굴과 명칭 데이터베이스에 문의해서, 얼굴 인식을 행한다. 그리고, 화상처리회로(106)가 문의한 결과의 인물의 이름을, 제1의 실시예에서 설명 한 본 화상 내의 얼굴에 대한 얼굴의 부가 화상 및/또는 부가 정보와 함께 보조 정보로서 처리하고, 이 보조 정보를 먼저 기록한 본 화상과 관련지어서 기록 회로(108)에 기록한다. 이외의 처리는, 제1의 실시예에서 상술한 처리와 같으므로, 설명을 생략한다.

또한, 본 제2의 실시예와 같이, 보조 정보로서 얼굴과 명칭 데이터베이스로부터 취득한 이름정보와, 본 화상에 관한 상대 위치 및 상대 사이즈 정보가 이용가능한 경우, 도 9d에 나타나 있는 바와 같은 표시를 행하는 것이 가능하다. 다시 말해, 제어회로(109)는 유저가 선택한 섬네일에 대응하는 본 화상을 기록 회로(108)로부터 판독하고, 소정의 리포커스 계수를 이용해서 본 화상을 현상하도록 화상처리회로(106)에 지시한다. 이 경우, 현상 화상은 인물 A에는 초점이 맞지만, 인물 B에는 초점이 맞지 않는다. 그 때문에, 제어회로(109)는 현상 화상에 대하여 포커스가 맞지 않는 인물 B 831의 얼굴에 대하여, 부가 정보로부터 이름을 취득하고, 표시 회로(111)에 지시해서 이름정보를 화상에 중첩하도록 표시한다. 이렇게 표시함으로써, 유저는 피사계 심도가 얕은 본 화상의 섬네일 화상에서 포커스가 맞지 않는 얼굴에 대하여, 얼굴의 대략의 위치에 이름을 문자로서 중첩한 섬네일 화상을 열람할 수 있다. 이에 따라, 유저가 의도한 피사체의 화상을 선택하는 것을 쉽게 할 수 있다.

전술한 제1 및 제2의 실시예에서는 촬상장치에 의해 얼굴판정 및 기록 처리를 행할 경우에 관하여 설명했지만, 본 발명은 이것에 한정하는 것이 아니다. 예를 들면, 리포커스 처리가 가능한 화상 데이터를 생성하는 촬상장치로부터 출력된 화상 데이터를 사용하여, 외부 화상처리장치에 의해, 도 6 내지 도 9d에 의해 설명한 상기 처리를 행함으로써도, 본 발명의 목적을 달성할 수 있다.

또한, 상기 각 실시예에서는, 피사체 판정 처리에 사용하는 화상으로서, 다양한 리포커스 계수를 이용해서 취득된 재구성 화상을 사용한다. 그러나, 화각 전체의 피사체를 확인할 수 있는 화상으로서, 각 마이크로렌즈의 일부의 화소를 수집함으로써 취득된 화상을 사용해서 피사계 심도가 얕은 화상을 생성하고, 그 화상을 피사체 검출에 이용할 수 있다. 도 20a 내지 20c을 참조하여, 본 실시예에 적용가능한 광학계의 예에 관하여 설명한다. 도 20a 내지 20c는, 물체(피사체)로부터의 광선이 촬상소자(103) 위에 결상하는 상태를 모식적으로 나타낸 도면이다. 도 20a는 도 3에서 설명한 광학계에 대응하고, 촬영 렌즈(101)의 결상면 근방에 마이크로렌즈 어레이(102)를 배치한 예다. 도 20b는 촬영 렌즈(101)의 결상면보다도 물체에 더 가깝게 마이크로렌즈 어레이(102)를 배치한 예다. 도 20c는 촬영 렌즈(101)의 결상면보다도 물체로부터 먼 측에 마이크로렌즈 어레이(102)를 배치한 예다.

도 20a 내지 20c에 있어서, 103은 촬상소자를 나타내고, 102는 마이크로렌즈 어레이를 나타내며, 31 내지 35는 도 3에 나타낸 동공영역 a1 내지 a5을 나타내고, 51은 물체평면을, 51a, 51b는 물체 상의 임의의 점을 나타내고, 52는 촬영 렌즈의 동공평면을 나타내며, 61, 62, 71, 72, 73, 81, 82, 83, 84는 마이크로렌즈 어레이(102) 내의 특정한 마이크로렌즈를 나타낸다. 도 20b 및 도 20c에 있어서, 103a는 가상적인 촬상소자를 나타내고, 102a는 가상적인 마이크로렌즈 어레이를 나타낸다. 이들은, 도 20a와의 대응관계를 명확히 하기 위해서 참고로 나타냈다. 또한, 물체 상의 점 51a로부터 나와서 동공평면 내의 영역 31 및 33을 통과하는 광속을 실선으로 도시했고, 물체 상의 점 51b에서 나와서 동공평면 내의 영역 31 및 33을 통과하는 광속을 파선으로 도시했다.

도 20a의 예에서는, 도 3에서도 설명한 바와 같이, 촬영 광학계의 결상면 근방에 마이크로렌즈 어레이(102)를 배치함으로써, 촬상소자(103)와 촬영 렌즈(101)의 동공평면(52)이 공역의 관계에 있다. 한층 더, 물체평면(51)과 마이크로렌즈 어레이(102)가 공역의 관계에 있다. 이 때문에, 물체 상의 점 51a로부터 나온 광속은 마이크로렌즈 61에 도달하고, 점 51b로부터 나온 광속은 마이크로렌즈 62에 도달하고, 영역 31 내지 35 각각을 통과한 광속은 마이크로렌즈 아래에 설치된 각 대응하는 화소에 도달한다.

도 20b의 예에서는, 마이크로렌즈 어레이(102)로 촬영 렌즈(101)로부터의 광속을 결상시키고, 그 결상면에 촬상소자(103)를 설치한다. 이렇게 배치함으로써, 물체평면(51)과 촬상소자(103)는 공역의 관계에 있다. 물체 상의 점 51a를 나와서 동공평면의 영역 31을 통과한 광속은 마이크로렌즈 71에 도달하고, 물체 상의 점 51a를 나와서 동공평면의 영역 33을 통과한 광속은 마이크로렌즈 72에 도달한다. 물체 상의 점 51b를 나와서 동공평면의 영역 31을 통과한 광속은 마이크로렌즈 72에 도달하고, 물체 상의 점 51b를 나와서 동공평면의 영역 33을 통과한 광속은 마이크로렌즈 73에 도달한다. 이들 마이크로렌즈를 통과한 광속은, 마이크로렌즈 아래에 설치된 각각 대응하는 화소에 도달한다. 이렇게 함으로써, 물체 상의 점과, 동공평면 내의 통과 영역에 의거해, 다른 위치에 각각 결상한다. 가상적인 촬영면 103a 상의 위치와 재정렬함으로써 도 20a와 같은 정보를 얻을 수 있다. 즉, 통과한 동공영역(입사각도)과 촬상소자 상의 위치를 나타내는 정보를 얻을 수 있다.

도 20c의 예에서는, 마이크로렌즈 어레이(102)로 촬영 렌즈(101)로부터의 광속을 재결상시켜(한번 결상한 광속이 확산하는 상태에 있는 것을 결상시키므로 재결상이라고 부르고 있다), 그 결상면에 촬상소자(103)를 설치한다. 이렇게 배치함으로써, 물체평면(51)과 촬상소자(103)는 공역의 관계에 있다. 물체 상의 점 51a에서 나와서 동공평면의 영역 31을 통과한 광속은 마이크로렌즈 82에 도달하고, 물체 상의 점 51a에서 나와서 동공평면의 영역 33을 통과한 광속은 마이크로렌즈 81에 도달한다. 물체 상의 점 51b에서 나와서 동공평면의 영역 31을 통과한 광속은 마이크로렌즈 84에 도달하고, 물체 상의 점 51b에서 나와서 동공평면의 영역 33을 통과한 광속은 마이크로렌즈 83에 도달한다. 이들 마이크로렌즈를 통과한 광속은, 마이크로렌즈 아래에 설치된 각 대응하는 화소에 도달한다. 도 20b와 마찬가지로, 가상적인 촬영면 103a 상의 위치와의 재정렬에 의해, 도 20a와 같은 정보를 얻을 수 있다. 즉, 통과한 동공영역(입사 각도)과 촬상소자 상의 위치를 나타내는 정보를 얻을 수 있다.

도 20a 내지 20c에서는 마이크로렌즈 어레이(위상 변조 소자)를 동공 분할 유닛으로서 사용하여, 위치 정보와 각도정보를 취득가능한 예를 게시했지만, 위치 정보와 각도정보(동공의 통과 영역을 제한하는 것과 등가)를 취득가능한 것이면 다른 광학구성도 이용가능하다. 예를 들면, 적절한 패턴이 있는 마스크(게인 변조 소자)를 촬영 광학계의 광로 중에 삽입하는 방법도 이용할 수 있다.

<제3의 실시예>

최근, 블러링(blurring)(초점 어긋남(focus deviation))이 발생한 열화 화상을 복원하는 기술이 개발되고 있다. 일본특허 제2963990호에 기재된 화상복원 장치에서는, 촬영 광학계 내에 패턴화된 조리개를 설치하고, 관측 화상을 취득하여 관측 화상을 조리개의 패턴에 의거하여 해석함으로써 거리 화상(range image) 및 초점이 맞는 합초 화상(focused image)을 취득하고 있다.

또한, 일본국 공개특허공보 특개 2000-020691호는, 화상 흔들림이나 블러링이 발생한 열화 화상을 고품위의 화상으로 복원하는 방법을 개시하고 있다. 이상적인 화상을 f(x, y), 열화 화상을 g(x, y), 화상의 열화 함수를 h(x, y)이라고 하면, 열화 화상 g(x, y)은 아래와 같이 표현된다.

g(x, y) = ∫∫h(x-x', y-y')f(x', y')dx'dy' (5)

여기에서, 이상적인 화상 f(x, y)의 푸리에(Fourier) 변환을 F(u, v), 열화 화상 g(x, y)의 푸리에 변환을 G(u, v), 화상의 열화 함수 h(x, y)의 푸리에 변환을 H (u, v)이라고 하면, 식(5)은 아래와 같이 재기록된다.

G(u, v)=H(u, v)F(u, v) (6)

식(6)을 변형함으로써 아래의 재기록된 형태로 나타낸 것처럼 이상적인 화상이 취득된다.

F(u, v)=G(u, v)/H(u, v) (7)

이와 같이, 일본국 공개특허공보 특개 2000-020691호는, 촬상장치의 특성 정보에 의거하여 열화 함수 h(x, y)를 생성하고, 이 열화 함수에 의거하여 복원 화상f(x, y)을 생성하는 방법을 개시하고 있다. 그러나, 촬영된 화상 전체에 대하여 복원 처리가 이루어지기 때문에, 주피사체에 포커스가 놓여 있는 피사계 심도가 얕은 화상을 얻는 것이 곤란하다.

이 관점에 있어서, 제3의 실시예에서는, 촬영화상에 포함되는 특정한 피사체에 대한 초점 어긋남을 보정하는 기술을 제공한다.

도 10은, 제3의 실시예에 따른 디지털 카메라(1)의 개략적인 구성도다. 도 10에 있어서, 촬영 렌즈(2)는, 피사체광을 이미지 센서(3)에 결상하기 위한 렌즈이며, 촬영 렌즈(2)는 이미지 센서(3)에 대하여 소정의 위치에 고정되어 있다. 본 실시예의 촬영 렌즈(2)는 초점 조절 기구를 가지고 있지 않기 때문에, 디지털 카메라(1)를 소형화하는 것이 가능하다. 또한, 도 10에 있어서는, 촬영 렌즈(2)는 단일 렌즈로서 도시되어 있지만, 실제로는, 렌즈 성능 요구를 충족하기 위해서 복수의 렌즈로 구성되어 있다.

디지털 카메라(1)는, 디지털 카메라(1) 전체를 제어하는 CPU(7), 및 초점이 맞지 않는(초점 어긋남을 수반하는) 화상을 화상처리를 통해서 복원하는 (즉, 초점 어긋남을 보정하는) ASIC(Application Specific Integrated Circuit)(6)을 포함하고 있다. 디지털 카메라(1)는 또한 복원된 화상을 표시하는 표시부(4)(액정 표시부 등), 이미지 센서(3)로 촬상된 화상을 기록하는 메모리(8), 및 촬영자가 촬영 동작을 지시하는 트리거부(9)를 구비한다.

트리거부(9)는, 촬영자가 촬영 동작을 실행하기 위한 2단계의 스위치로 구성되고, 트리거부(9)가 첫 번째 단계로 눌러지면 제1의 스위치가 ON이 되고, 트리거부(9)가 두 번째 단계로 눌러지면 제2의 스위치가 ON이 되도록 구성되어 있다.

디지털 카메라(1)는 또한 주피사체를 지정하는 추가 기능을 포함한 뷰파인더부(5)를 구비한다. 뷰파인더부(5)는, 렌즈를 통해서 광학적으로 피사체를 관찰하기 위한 광학 뷰파인더와, 광학 뷰파인더를 통해서 피사체를 관찰하고 있는 촬영자의 주시 위치를 검출하는 시선 검출기를 포함한다. 또한, 광학 뷰파인더는, 예를 들면 대물렌즈, 접안 렌즈, 및 상변환 유닛인 폴로(Porro) 프리즘으로 이루어지는 실상(real-image) 뷰파인더이며, 대물렌즈의 상면에는 고분자 분산형 액정표시 소자가 설치되어 있다.

도 11은, 촬영 화면의 분할 설명도다. 도 11에 나타나 있는 바와 같이, 촬영 화면은 예를 들면 8 × 10의 블록에 분할되어 있다. 시선 검출기에 의해 촬영자의 주시 위치가 검출되면, CPU(7)는, 화면을 분할하는 복수의 블록 중에서 주시 위치를 포함하는 블록을 특정한다. 그리고, CPU(7)는, 주시 위치를 포함하는 블록을 나타내는 정보를, 촬영자가 초점이 맞기 원하는 주피사체를 나타내는 정보(주피사체 정보)로서 메모리(8)에 기록한다.

다음에, 도 12를 참조하여, 제3의 실시예에 따른 촬영처리 및 복원 처리에 관하여 설명한다. (도면에 나타내지 않은) 전원 스위치에 의해 디지털 카메라(1)의 전원이 ON이 되면, 본 흐름도의 처리가 시작한다.

스텝 S101에서, CPU(7)는, 디지털 카메라(1)의 동작 모드로서 촬영 모드가 선택되어 있는지 아닌지를 판정한다. 촬영 모드가 선택되어 있지 않은(화상재생 모드가 선택되어 있는) 경우, 처리는 스텝 S102로 진행되고, 촬영 모드가 선택되어 있는 경우에는, 처리가 스텝 S103로 진행된다.

스텝 S102에서, CPU(7)는, 메모리(8)에 기록된 화상 데이터를 판독한다. 그 후에 처리는 스텝 S109로 진행된다(스텝 S109에 있어서의 처리는 후술한).

스텝 S103에서, CPU(7)는, 트리거부(9)의 제1의 스위치의 상태를 확인한다. 제1의 스위치가 ON인 경우, 처리는 스텝 S104로 진행되고, 그렇지 않은 경우, 처리는 스텝 S101로 돌아간다.

여기에서, 도 13a 및 도 15a를 참조하여, 촬영 모드에 있어서 제1의 스위치가 0FF인 경우의 뷰파인더부(5) 및 표시부(4)의 표시 상태에 관하여 설명한다. 도 13a는, 촬영 모드에 있어서 제1의 스위치가 OFF인 경우의 뷰파인더 화상의 설명도다. 뷰파인더부(5)를 들여다보는 촬영자는, 피사체 a, 피사체 b, 및 피사체 c를 관찰한다. 본 실시예의 광학 뷰파인더는, 광로 중에 포커싱판이 설치되어 있지 않기 때문에, 촬영자는 초점이 맞는 선명한 피사체상을 관찰할 수 있다. 동시에, 표시부(4)에는, 도 15a에 나타나 있는 바와 같이 촬영 렌즈(2)를 거쳐서 이미지 센서(3)로 촬영된 화상이 표시된다. 본 실시예의 촬영 렌즈(2)는 이미지 센서(3)에 대해서 소정의 위치에 고정되고, 초점 조절이 행해지지 않기 때문에, 촬영 렌즈(2)에 대하여 이미지 센서(3)와 공역한 위치에 피사체가 없는 경우에 있어서는 아웃 오브 포커스(out-of-focus) 피사체상이 촬영된다. 도 15a에서는, 가장 근거리에 있는 피사체 a가 가장 아웃 오브 포커스가 작고(초점 어긋남의 정도가 가장 작다), 가장 원거리에 있는 피사체 c가 가장 아웃 오브 포커스가 크다.

제1의 스위치가 ON이 되면, 스텝 S104에서, CPU(7)는, 뷰파인더부(5)에 포함되는 시선 검출기를 동작시켜서, 촬영 화면 중의 주피사체의 위치를 검출한다. 시선 검출기는, 촬영자의 눈을 조명하는 조명 디바이스와, 촬영자의 눈에서 반사한 빛을 수광하는 렌즈계 및 이미지 센서로 구성되어 있다. 촬영자의 시선을 검출하는 방법은, 임의의 공지의 방법일 수 있고, 그 일례로서 일본국 공개특허공보 특개평2-264632호에 나타나 있는 방법이 있다. 촬영자의 주시 위치가 검출되면, CPU(7)는 화면을 분할하는 복수의 블록 중에서 주시 위치를 포함하는 블록을 특정한다. 후술하는 복원 처리에 있어서는, 이 특정된 블록에 포함되는 피사체는, 촬영자가 포커스를 맞추고 싶은 주피사체로서 취급된다.

스텝 S105에서, CPU(7)는, 뷰파인더부(5)에 설치된 표시 소자를 사용하여, 시선 검출기에 의해 검출된 주시 위치를 포함하는 블록(즉, 주피사체의 위치)을 나타내는 화상을 뷰파인더 화상에 중첩시켜서 표시한다. 도 13b는, 제1의 스위치가 ON인 경우의 뷰파인더 화상의 설명도이며, 주피사체의 위치로서 블록 35가 선택되어 있는 것을 나타내는 프레임 화상이 표시되고 있다. 동시에, 표시부(4)에는, 도 15b에 나타나 있는 바와 같이 촬영 렌즈(2)를 거쳐서 이미지 센서(3)로 촬영된 화상에 주피사체의 위치를 나타내는 프레임 화상이 중첩해서 표시된다. 다시 말해, 이미지 센서(3)로 촬영된 화상 위에, 포커스를 맞추고 싶은 주피사체의 위치로서 블록 35가 선택되어 있는 것을 나타내는 프레임 화상이 표시된다.

스텝 S106에서, CPU(7)는, 트리거부(9)의 제2의 스위치의 상태를 확인한다. 제2의 스위치가 ON인 경우, 처리는 스텝 S107로 진행되고, 그렇지 않을 경우, 처리는 스텝 S101로 되돌아간다.

스텝 S107에서, CPU(7)는, 촬영 렌즈(2) 및 이미지 센서(3)를 사용해서 화상을 촬상한다. 스텝 S108에서, CPU(7)는, 촬영된 화상을 나타내는 화상 데이터를, 스텝 S104에서 검출된 최신의 주피사체의 위치(블록 번호)를 나타내는 정보(주피사체 정보)과 함께 메모리(8)에 기록한다. 주피사체 정보는, 예를 들면 화상 데이터의 헤더부에 저장되어 있어도 된다.

스텝 S109에서, CPU(7)는, (도면에 나타내지 않은) 설정 버튼에 의해 디지털 카메라(1)가 화상의 복원 처리를 실행하는 모드로 설정되어 있었는지 아닌지를 확인한다. 디지털 카메라(1)가 화상의 복원 처리를 실행하는 모드로 설정되어 있는 경우, 처리는 스텝 S110로 진행되고, 그렇지 않을 경우, 처리는 스텝 S111로 진행된다.

스텝 S110에서, CPU(7)는, 스텝 S108에서 메모리(8)에 기록된 화상 데이터 및 주피사체 정보에 의거하여 화상의 복원 처리를 행한다. 또는, 스텝 S102의 처리를 행한 경우에는, CPU(7)는, 스텝 S102에서 판독한 화상 데이터 및 주피사체 정보에 의거하여 화상의 복원 처리를 행한다.

여기에서, 도 14를 참조하여, 스텝 S110에 있어서의 복원 처리의 상세에 관하여 설명한다. 스텝 S121에서, CPU(7)는, 처리 대상의 화상 데이터와 관련되는 화상정보를 취득한다. 스텝 S122에서, CPU(7)는, 취득한 화상정보 중에 주피사체 정보가 포함되어 있는지 아닌지를 판정한다. 주피사체 정보가 포함되어 있는 경우, 처리는 스텝 S124로 진행되고, 그렇지 않을 경우, 처리는 스텝 S123로 진행된다.

예를 들면, 스텝 S104에 있어서 시선 검출기가 촬영자의 주시 위치를 검출하는 데 실패해서 주피사체가 검출되지 않았던 경우에는, 화상정보에 주피사체 정보가 포함되지 않는다. 이 관점에서, 스텝 S123에서, ASIC(6)은, 처리 대상의 화상 데이터에 의거하여 주피사체를 판정한다. 구체적으로는, 예를 들면, ASIC(6)은, 화상에 포함되는 인물의 얼굴을 검출하고, 검출된 얼굴을 주피사체로서 설정한다.

또한, 본 실시예의 얼굴검출에는, 공지의 얼굴 검출 기술을 이용할 수 있다. 공지의 얼굴 검출 기술로서는, 뉴럴 네트워크 등을 이용한 학습에 근거하는 기술, 템플레이트 매칭(template matching)을 사용해서 (눈, 코, 입 등의) 형상에 특징이 있는 부위를 화상으로부터 찾아내고, 유사도가 높으면 얼굴로 간주하는 기술 등이 있다. 또한, 그 밖에도, 피부의 색과 눈의 형태 등의 화상 특징량을 검출하고, 통계적 해석을 행하는 기술 등, 다수의 기술이 제안되어 있다. 일반적으로는, 2개 이상의 이들 방법을 조합해서 얼굴검출의 정밀도를 향상시키고 있다. 구체적인 예로서는, 일본국 공개특허공보 특개2002-251380호에 기재된 웨이브렛(wavelet) 변환과 화상 특징량을 이용해서 얼굴 검출하는 방법 등을 들 수 있다.

스텝 S124 및 S125에서, ASIC(6)은, 처리 대상의 화상 데이터의 복원 처리를 실행한다(즉, ASIC(6)은, 주피사체 정보가 나타내는 피사체(또는, 스텝 S123에서 판정된 주피사체)에 대한 초점 어긋남을 보정하도록 화상 데이터를 가공한다). 구체적으로는, 스텝 S124에서, ASIC(6)은, 화상에 있어서 주피사체 정보가 나타내는 피사체와 동등한 (실질적으로 같은) 정도의 초점 어긋남을 수반하는 영역을 복원 영역으로서 설정한다. 그리고, 스텝 S125에서, ASIC(6)은, 설정된 복원 영역에 대해서, 초점 어긋남을 보정하도록 화상 데이터를 가공한다.

디지털 카메라(1)의 광학특성 정보 등에 의거하여 열화 함수 h(x, y)을 생성하고, 이 열화 함수를 사용해서 전술의 식(7)에 의거하여 복원 처리를 실행한다. 이때, 주피사체와 동등한 정도의 초점 어긋남을 수반하는 복원 영역은, 주피사체에 대한 열화 함수 h(x, y)와의 소정의 차이 내에 열화 함수가 있는 영역으로서 특정된다. 예를 들면, 열화 함수 h(x, y)가 점상 분포 함수인 경우, 소정의 차이 내에 열화 함수가 있다고 반값 폭의 차이가 소정값 이하인 경우에 판정할 수 있다.

본 실시예에서는, 도 15b에 나타나 있는 바와 같이, 주피사체 정보는 블록 35를 나타낸다. 이 관점에 있어서, ASIC(6)은, 블록 35를 포함한, 블록 35의 영역의 피사체와 동등으로 초점이 맞지 않는(즉, 동일한 정도의 초점 어긋남을 수반하는) 피사체 b가 존재하는 영역을 복원 영역으로서 설정한다. 복원 후의 화상은, 예를 들면 도 15c에 나타나 있는 바와 같이, 피사체 a와 피사체 c가 초점이 맞지 않은(out of focus) 채로 존재하고, 피사체 b에만 초점이 맞는 화상이 된다. 또한, 스텝 S123에 있어서, 얼굴이 주피사체로서 설정되었을 경우, 얼굴뿐만 아니라 인물 전체가 동등하게 초점이 맞지 않는다고 생각되므로, 복원 후의 화상은, 인물 전체에 초점이 맞은 화상이 된다. 이렇게, 본 실시예에 의하면, 촬영화상에 포함되는 특정한 피사체의 초점 어긋남이 보정된다.

도 12로 되돌아가서, 스텝 S111에서, CPU(7)는, 복원 후의 화상을, 예를 들면 도 15c에 나타나 있는 바와 같이 표시부(4)에 표시한다. 또는, 처리가 스텝 S109로부터 스텝 S111로 점프한 경우에는, CPU(7)는, 복원되지 않은 화상을 표시부(4)에 표시한다.

이상에서 설명한 바와 같이, 본 실시예에 의하면, 디지털 카메라(1)는, 화상의 촬상시에, 화상 데이터와 함께 주피사체 정보를 메모리(8)에 기록한다. 그리고, 디지털 카메라(1)는, 화상의 복원 처리를 실행할 때에, 주피사체 정보가 나타내는 피사체와 동등한 (실질적으로 같은) 정도의 초점 어긋남을 수반하는 영역에 대해서, 초점 어긋남을 보정하도록 화상 데이터를 가공한다. 이에 따라, 촬영화상에 포함되는 특정한 피사체의 초점 어긋남을 보정하는 것이 가능해지고, 예를 들면 주피사체에 초점이 맞는 피사계 심도가 얕은 화상을 얻는 것이 가능해진다. 또한, 화상의 촬상시에 주피사체 정보가 기록되므로, 촬영자가 실제로 의도한 주피사체를 나타내는 주피사체 정보를 취득할 수 있는 가능성이 향상한다.

또한, 본 실시예에서는, 뷰파인더부(5)의 일부가 광학 뷰파인더로 구성되어 있는 예를 게시했지만, 액정 디스플레이, EL(Electro-Luminescence) 디스플레이 등으로 구성된 전자 뷰파인더여도 된다. 또한, 본 실시예에 있어서는, 정지화상에 대해서 행해지는 화상복원 처리에 관하여 설명했지만, 동화상의 경우에도 마찬가지로 본 실시예를 적용가능하다.

[제4의 실시예]

제3의 실시예에서는, 시선 검출기에 의해 주피사체가 판정된다. 제4의 실시예에서는 주피사체의 판정에 관한 변형 예에 관하여 설명한다. 이외에도, 제3의 실시예와 약간의 차이가 존재하지만, 이것에 관해서는 이하에 상세히 설명한다.

도 16은, 제4의 실시예에 따른 디지털 카메라(1)의 개략적인 구성도다. 도 16에 있어서, 도 10과 같은 구성요소에는 동일한 부호를 부착하고, 그 설명을 생략한다. 디지털 카메라(1)는, 트랙볼(10)을 구비한다. 트랙볼(10)이, 디지털 카메라(1) 본체에 박히는 방향으로 2단계로 눌러질 수 있다. 트랙볼(10)을, 첫 번째의 단계로 눌렀을 때 제1의 스위치가 ON이 되고, 두 번째의 단계로 눌렀을 때 제2의 스위치가 ON에 되도록 구성되어 있다. 또한, 첫 번째 단계로 눌렀을 때 트랙볼(10)이 회전 가능하게 되고, 촬영자는 트랙볼(10)을 회전시킴으로써, 초점을 맞추고 싶은 주피사체의 위치를 지정하는 것이 가능하다.

도 17은, 제4의 실시예에 따른 촬영처리 및 복원 처리를 나타내는 흐름도다. 도 17에 있어서, 도 12와 같은 처리가 이루어지는 스텝에는 동일한 부호를 부착하고, 도 12와의 차이점에 대해서만 설명한다. (도면에 나타내지 않은) 전원 스위치에 의해 디지털 카메라(1)의 전원이 ON 되면, 본 흐름도의 처리가 시작한다.

스텝 S101 및 S103의 처리는, 제3의 실시예(도 12)와 같다. 단, 본 실시예에서는, 표시부(4)에는 도 18a에 나타내는 화상이 표시되는 것으로 한다. 즉, 본 실시예의 촬영 렌즈(2)는 이미지 센서(3)에 대하여 소정의 위치에 고정되고, 초점조절이 행해지지 않기 때문에, 촬영 렌즈(2)에 대하여 이미지 센서(3)와 공역한 위치에 있지 않은 피사체에 대해서는 아웃 오브 포커스(out-of-focus) 피사체상이 촬영된다. 도 18a의 예에서는, 가장 근거리에 있는 피사체 a가 가장 아웃 오브 포커스가 작고, 그것보다도 원거리에 있는 피사체 b 및 피사체 c는 아웃 오브 포커스가 커진다.

스텝 S102의 처리는, 제3의 실시예(도 12)와 같다. 그렇지만, 스텝 S102 다음에는 스텝 S201의 처리가 실행된다. 스텝 S201에서, CPU(7)는, 스텝 S102에서 판독한 화상 데이터와 관련되는 화상 정보를 메모리(8)로부터 판독하고, 이 화상 데이터가 이미 복원되었는지의 여부를 판정한다. 복원이 행해진 경우, 처리는 스텝 S204로 진행되고, 그렇지 않을 경우, 처리는 스텝 S110로 진행된다.

한편, 촬영 모드에 있어서 제1의 스위치가 ON이 되었을 경우, 트랙볼(10)은 회전 가능해진다. 스텝 S202에서, CPU(7)는, 트랙볼(10)의 회전을 검출하고, 회전에 대응한 위치의 블록을 특정한다. 본 실시예에서는, 이 특정된 블록에 포함되는 피사체가, 촬영자가 초점을 맞추고 싶은 주피사체로서 취급된다.

스텝 S105 및 S106의 처리는, 제3의 실시예(도 12)와 같다. 그렇지만, 본 실시예에서는, 표시부(4)에는 도 18b에 나타내는 화상이 표시되는 것으로 한다. 다시 말해, 본 실시예에서는, 블록 38에 포함되는 피사체가 주피사체다. 촬영 화면의 분할 방법은, 제3의 실시예와 같다(도 11 참조). 촬영자는, 표시부(4)에 표시되는 프레임 화상을 보면서 트랙볼(10)을 회전시킴으로써, 초점을 맞추고 싶은 주피사체를 지정할 수 있다.

스텝 S107 및 S110의 처리는, 제3의 실시예(도 12 및 도 14)와 같다. 그렇지만, 스텝 S107의 처리를 행한 후에 스텝 S110에 도달했을 경우에는, 제3의 실시예와 달리, 이 시점에서는 화상 데이터 및 주피사체 정보는 메모리(8)에 기록되어 있지 않다(도면에 나타내지 않은 일시 메모리에 기록되어 있다). 이점에 있어서, CPU(7) 및 ASIC(6)은 일시 메모리로부터 화상 데이터 및 주피사체 정보를 판독해서 복원 처리를 실행한다.

본 실시예에서는, 도 18b에 나타나 있는 바와 같이, 주피사체 정보는 블록 38을 나타내고 있다. 이 관점에서, ASIC(6)은, 블록 38을 포함한, 블록 38의 영역의 피사체와 동등하게 초점이 맞지 않는(즉, 동등의 (실질적으로 같은) 정도의 초점 어긋남을 수반하는) 피사체 b 및 피사체 c가 존재하는 영역을 복원 영역으로서 설정한다. 복원 후의 화상은, 예를 들면 도 18c에 나타나 있는 바와 같이, 피사체 a에 초점이 맞지 않고, 촬영자가 의도한 대로 피사체 c에 초점이 맞으며, 피사체 c와 거의 같은 피사체 거리에 있는 피사체 b에 초점이 맞는 화상이 된다. 같은 피사체 거리에 있는 피사체에 대하여 복원 처리를 실행함으로써, 위화감이 없는 화상을 얻을 수 있다.

또한, 예를 들면, 도 14의 스텝 S123에 있어서 얼굴이 검출되지 않고, 주피사체가 판정되지 않은 경우, ASIC(6)은, 화상의 전체 영역을 복원 영역으로서 설정한다. 이 경우, 복원 후의 화상은, 예를 들면 도 19에 나타나 있는 바와 같이, 피사체 a, 피사체 b 및 피사체 C 모두에 초점이 맞는 화상이 된다.

도 17로 되돌아가서, 스텝 S203에서, CPU(7)는, 복원된 화상 데이터 및 복원 정보(이 화상 데이터가 복원 처리에 적용된 것을 나타내는 정보)를 메모리(8)에 기록한다. 이어서, 스텝 S204에서, CPU(7)는, 복원된 화상을 표시부(4)에 표시한다.

이상에서 설명한 바와 같이, 본 실시예에 의하면, 트랙볼(10)에 의해 주피사체의 지정이 행해진다. 또한, 제3의 실시예와 달리, 복원 후의 화상 데이터가 메모리(8)에 기록된다. 또한, 어떠한 이유에 의해, 주피사체 정보가 취득되지 않고, 또한, 얼굴검출 등에 의한 주피사체의 판정도 행해지지 않았을 경우, 화상의 전체 영역의 초점 어긋남이 보정된다.

또한, 본 실시예에서는 주피사체를 지정하는 방법으로서 트랙볼(10)을 1단계로 누른 후에 회전시킴으로써 지정하는 예를 게시했다. 그렇지만, 트랙볼의 회전을 허가하는 별도의 스위치를 설치하고, 트랙볼을 1단계로 누르지 않고 주피사체를 지정 가능하게 디지털 카메라(1)를 구성해도 된다.

본 발명의 실시예들은, 상술한 실시예(들)의 기능들을 행하도록 메모리 디바이스 상에 기록된 프로그램을 판독 및 실행하는 시스템 또는 장치의 컴퓨터(또는 CPU 혹은 MPU와 같은 디바이스)에 의해서도 실현될 수 있고, 또 예를 들면 상술한 실시예의 기능을 행하도록 메모리 디바이스 상에 기록된 프로그램을 판독 및 실행함으로써 시스템 또는 장치의 컴퓨터에 의해 행해지는 방법의 스텝들에 의해 실현될 수 있다. 이 목적을 위해서, 이 프로그램을, 예를 들면 메모리 디바이스(예를 들면, 컴퓨터 판독가능한 매체)로서 기능을 하는 다양한 형태의 기록매체로부터 또는 네트워크를 통해서 컴퓨터에 제공한다.

본 발명은 예시적인 실시 예를 참조하면서 설명되었지만, 본 발명은 이 개시된 예시적인 실시 예에 한정되는 것이 아니라는 것이 이해될 것이다. 이하의 특허청구범위의 범주는 모든 변형 및 균등구조 및 기능을 포함하도록 가장 넓게 해석되어야 할 것이다.

Claims

입사광을 광전 변환해서 화상 데이터를 출력하도록 구성되며, 2차원으로 배치된 복수의 화소로 이루어지는 촬상소자와,
촬영 렌즈와 상기 촬상소자와의 사이에 배치되며, 상기 촬상소자의 미리 결정된 수의 화소로 이루어지는 복수의 영역 각각에 대응하는 복수의 마이크로렌즈와,
상기 촬상소자로부터 출력된 화상 데이터에 대하여 리포커스 처리를 행하여 미리 결정된 리포커스면에 있어서의 재구성 화상을 생성하고, 상기 재구성 화상 중에 피사체가 존재하는지 아닌지를 판정하도록 구성된 화상처리유닛과,
상기 촬상소자로부터 출력된 화상 데이터를 기록하고, 상기 화상처리유닛에 의해 존재한다고 판정된 피사체에 관한 정보를 보조 정보로서 상기 화상 데이터와 관련지어 기록하도록 구성된 기록 유닛, 및
상기 촬상소자로부터 출력되고 상기 기록 유닛에 의해 기록된 화상 데이터에 근거한 섬네일 화상을 표시하고, 상기 보조 정보에 의거하여, 피사체가 존재한다고 판정된 리포커스면에 있어서의 화상으로부터 클리핑된(clipped) 얼굴 화상을 표시하도록 구성된 표시 유닛을 구비하고,
상기 보조 정보는, 상기 화상처리유닛에 의해 피사체가 존재한다고 판정된 상기 리포커스면에 있어서의 재구성 화상을 축소해서 얻은 화상을 나타내는 화상 데이터인 것을 특징으로 하는, 촬상장치.
입사광을 광전 변환해서 화상 데이터를 출력하도록 구성되며, 2차원으로 배치된 복수의 화소로 이루어지는 촬상소자와,
촬영 렌즈와 상기 촬상소자와의 사이에 배치되며, 상기 촬상소자의 미리 결정된 수의 화소로 이루어지는 복수의 영역 각각에 대응하는 복수의 마이크로렌즈와,
상기 촬상소자로부터 출력된 화상 데이터에 대하여 리포커스 처리를 행하여 미리 결정된 리포커스면에 있어서의 재구성 화상을 생성하고, 상기 재구성 화상 중에 피사체가 존재하는지 아닌지를 판정하도록 구성된 화상처리유닛과,
상기 촬상소자로부터 출력된 화상 데이터를 기록하고, 상기 화상처리유닛에 의해 존재한다고 판정된 피사체에 관한 정보를 보조 정보로서 상기 화상 데이터와 관련지어 기록하도록 구성된 기록 유닛, 및
얼굴의 특징과 명칭을 관련짓는 정보를 기억하도록 구성된 기억 유닛을 구비하고,
상기 화상처리유닛은, 피사체가 존재한다고 판정했을 경우에, 상기 판정된 피사체에 대응하는 명칭을, 상기 기억 유닛에 기억된 정보로부터 취득하고,
상기 기록 유닛은, 상기 취득한 명칭을, 상기 보조 정보로서, 상기 화상 데이터와 관련지어 더 기록하는, 촬상장치.
제 2 항에 있어서,
상기 촬상소자로부터 출력되고 상기 기록 유닛에 의해 기록된 화상 데이터에 근거한 섬네일 화상과, 상기 명칭을 표시하도록 구성된 표시 유닛을 더 구비하는, 촬상장치.
입사광을 광전 변환해서 화상 데이터를 출력하도록 구성되며, 2차원으로 배치된 복수의 화소로 이루어지는 촬상소자와,
촬영 렌즈와 상기 촬상소자와의 사이에 배치되며, 상기 촬상소자의 미리 결정된 수의 화소로 이루어지는 복수의 영역 각각에 대응하는 복수의 마이크로렌즈와,
상기 촬상소자로부터 출력된 화상 데이터에 대하여 리포커스 처리를 행하여 미리 결정된 리포커스면에 있어서의 재구성 화상을 생성하고, 상기 재구성 화상 중에 피사체가 존재하는지 아닌지를 판정하도록 구성된 화상처리유닛, 및
상기 촬상소자로부터 출력된 화상 데이터를 기록하고, 상기 화상처리유닛에 의해 존재한다고 판정된 피사체에 관한 정보를 보조 정보로서 상기 화상 데이터와 관련지어 기록하도록 구성된 기록 유닛을 구비하고,
상기 화상처리유닛은, 복수의 리포커스면에 있어서의 재구성 화상을 각각 생성하고, 생성된 재구성 화상 중 상기 피사체에 합초한 하나의 재구성 화상을 이용해서 상기 보조 정보를 생성하는, 촬상장치.
제 4 항에 있어서,
상기 화상처리유닛은, 상기 촬상소자로부터 출력된 화상 데이터의 화면 내의 각 위치에 있어서의 초점 위치 정보에 근거해서 상기 피사체에 합초한 재구성 화상을 특정하는, 촬상장치.
입사광을 광전 변환해서 화상 데이터를 출력하도록 구성되며, 2차원으로 배치된 복수의 화소로 이루어지는 촬상소자와,
촬영 렌즈와 상기 촬상소자와의 사이에 배치되며, 상기 촬상소자의 미리 결정된 수의 화소로 이루어지는 복수의 영역 각각에 대응하는 복수의 마이크로렌즈와,
상기 촬상소자로부터 출력된 화상 데이터에 대하여 리포커스 처리를 행하여 미리 결정된 리포커스면에 있어서의 재구성 화상을 생성하고, 상기 재구성 화상 중에 피사체가 존재하는지 아닌지를 판정하도록 구성된 화상처리유닛, 및
상기 촬상소자로부터 출력된 화상 데이터를 기록하고, 상기 화상처리유닛에 의해 존재한다고 판정된 피사체에 관한 정보를 보조 정보로서 상기 화상 데이터와 관련지어 기록하도록 구성된 기록 유닛을 구비하고,
상기 화상처리유닛은, 상기 촬상소자로부터 출력된 화상 데이터의 화면 내의 각 위치에 있어서의 초점 위치 정보에 근거해서, 재구성 화상을 생성하는 복수의 리포커스면을 판정하는, 촬상장치.
제1항 내지 제6항 중 어느 한 항에 있어서,
상기 보조 정보는, 상기 화상처리유닛에 의해 피사체가 존재한다고 판정된 상기 재구성 화상을 생성할 때에 사용된 상기 리포커스 처리에 있어서의 리포커스 계수, 판정된 얼굴의 화상에 있어서의 위치를 나타내는 위치 정보, 및 상기 화상의 사이즈에 대한 얼굴의 상대 사이즈를 나타내는 상대 사이즈 정보 중의 적어도 하나를 포함하는, 촬상장치.
입사광을 광전 변환해서 화상 데이터를 출력하도록 구성되며, 2차원으로 배치된 복수의 화소로 이루어지는 촬상소자와, 촬영 렌즈와 상기 촬상소자와의 사이에 배치되며, 상기 촬상소자의 미리 결정된 수의 화소로 이루어지는 복수의 영역 각각에 대응하는 복수의 마이크로렌즈를 구비하는 촬상장치로부터 출력된 화상 데이터를 처리하는 화상처리장치로서,
상기 촬상소자로부터 출력된 화상 데이터에 대하여 리포커스 처리를 행해서 미리 결정된 리포커스면에 있어서의 재구성 화상을 생성하고, 상기 재구성 화상 중에 피사체가 존재하는지 아닌지를 판정하도록 구성된 화상처리유닛과,
상기 촬상소자로부터 출력된 화상 데이터를 기록하고, 상기 화상처리유닛에 의해 존재한다고 판정된 피사체에 관한 정보를, 보조 정보로서 상기 화상 데이터와 관련지어 기록하도록 구성된 기록 유닛, 및
상기 촬상소자로부터 출력되고 상기 기록 유닛에 의해 기록된 화상 데이터에 근거한 섬네일 화상을 표시하고, 상기 보조 정보에 의거하여, 피사체가 존재한다고 판정된 상기 리포커스면에 있어서의 화상으로부터 클리핑된(clipped) 얼굴 화상을 표시하도록 구성된 표시 유닛을 구비하고,
상기 보조 정보는, 상기 화상처리유닛에 의해 피사체가 존재한다고 판정된 상기 리포커스면에 있어서의 재구성 화상을 축소해서 얻은 화상을 나타내는 화상 데이터인 것을 특징으로 하는, 화상처리장치.
입사광을 광전 변환해서 화상 데이터를 출력하도록 구성되며, 2차원으로 배치된 복수의 화소로 이루어지는 촬상소자와, 촬영 렌즈와 상기 촬상소자와의 사이에 배치되며, 상기 촬상소자의 미리 결정된 수의 화소로 이루어지는 복수의 영역 각각에 대응하는 복수의 마이크로렌즈를 구비하는 촬상장치로부터 출력된 화상 데이터를 처리하는 화상처리장치로서,
상기 촬상소자로부터 출력된 화상 데이터에 대하여 리포커스 처리를 행해서 미리 결정된 리포커스면에 있어서의 재구성 화상을 생성하고, 상기 재구성 화상 중에 피사체가 존재하는지 아닌지를 판정하도록 구성된 화상처리유닛과,
상기 촬상소자로부터 출력된 화상 데이터를 기록하고, 상기 화상처리유닛에 의해 존재한다고 판정된 피사체에 관한 정보를, 보조 정보로서 상기 화상 데이터와 관련지어 기록하도록 구성된 기록 유닛, 및
얼굴의 특징과 명칭을 관련짓는 정보를 기억하도록 구성된 기억 유닛을 구비하고,
상기 화상처리유닛은, 피사체가 존재한다고 판정했을 경우에, 상기 판정된 피사체에 대응하는 명칭을, 상기 기억 유닛에 기억된 정보로부터 취득하고,
상기 기록 유닛은, 상기 취득한 명칭을, 상기 보조 정보로서, 상기 화상 데이터와 관련지어 더 기록하는, 화상처리장치.
입사광을 광전 변환해서 화상 데이터를 출력하도록 구성되며, 2차원으로 배치된 복수의 화소로 이루어지는 촬상소자와, 촬영 렌즈와 상기 촬상소자와의 사이에 배치되며, 상기 촬상소자의 미리 결정된 수의 화소로 이루어지는 복수의 영역 각각에 대응하는 복수의 마이크로렌즈를 구비하는 촬상장치로부터 출력된 화상 데이터를 처리하는 화상처리장치로서,
상기 촬상소자로부터 출력된 화상 데이터에 대하여 리포커스 처리를 행해서 미리 결정된 리포커스면에 있어서의 재구성 화상을 생성하고, 상기 재구성 화상 중에 피사체가 존재하는지 아닌지를 판정하도록 구성된 화상처리유닛과,
상기 촬상소자로부터 출력된 화상 데이터를 기록하고, 상기 화상처리유닛에 의해 존재한다고 판정된 피사체에 관한 정보를, 보조 정보로서 상기 화상 데이터와 관련지어 기록하도록 구성된 기록 유닛을 구비하고,
상기 화상처리유닛은, 복수의 리포커스면에 있어서의 재구성 화상을 각각 생성하고, 생성된 재구성 화상 중 상기 피사체에 합초한 하나의 재구성 화상을 이용해서 상기 보조 정보를 생성하는, 화상처리장치.
입사광을 광전 변환해서 화상 데이터를 출력하도록 구성되며, 2차원으로 배치된 복수의 화소로 이루어지는 촬상소자와, 촬영 렌즈와 상기 촬상소자와의 사이에 배치되며, 상기 촬상소자의 미리 결정된 수의 화소로 이루어지는 복수의 영역 각각에 대응하는 복수의 마이크로렌즈를 구비하는 촬상장치로부터 출력된 화상 데이터를 처리하는 화상처리장치로서,
상기 촬상소자로부터 출력된 화상 데이터에 대하여 리포커스 처리를 행해서 미리 결정된 리포커스면에 있어서의 재구성 화상을 생성하고, 상기 재구성 화상 중에 피사체가 존재하는지 아닌지를 판정하도록 구성된 화상처리유닛과,
상기 촬상소자로부터 출력된 화상 데이터를 기록하고, 상기 화상처리유닛에 의해 존재한다고 판정된 피사체에 관한 정보를, 보조 정보로서 상기 화상 데이터와 관련지어 기록하도록 구성된 기록 유닛을 구비하고,
상기 화상처리유닛은, 상기 촬상소자로부터 출력된 화상 데이터의 화면 내의 각 위치에 있어서의 초점 위치 정보에 근거해서, 재구성 화상을 생성하는 복수의 리포커스면을 판정하는, 화상처리장치.
입사광을 광전 변환해서 화상 데이터를 출력하도록 구성되며, 2차원으로 배치된 복수의 화소로 이루어지는 촬상소자와, 촬영 렌즈와 상기 촬상소자와의 사이에 배치되며, 상기 촬상소자의 미리 결정된 수의 화소로 이루어지는 복수의 영역 각각에 대응하는 복수의 마이크로렌즈를 구비하는 촬상장치로부터 출력된 화상 데이터를 처리하는 화상처리방법으로서,
상기 촬상소자로부터 출력된 화상 데이터에 대하여 리포커스 처리를 행해서 미리 결정된 리포커스면에 있어서의 재구성 화상을 생성하고, 상기 재구성 화상 중에 피사체가 존재하는지 아닌지를 판정하는 화상처리단계와,
상기 촬상소자로부터 출력된 화상 데이터를 기록하고, 상기 화상처리단계에서 존재한다고 판정된 피사체에 관한 정보를, 보조 정보로서 상기 화상 데이터와 관련지어 기록하는 기록단계, 및
상기 촬상소자로부터 출력되고 상기 기록단계에 의해 기록된 화상 데이터에 근거한 섬네일 화상을 표시하고, 상기 보조 정보에 의거하여, 상기 피사체가 존재한다고 판정된 상기 리포커스면에 있어서의 화상으로부터 클리핑된(clipped) 얼굴 화상을 표시하는 표시단계를 포함하고,
상기 보조 정보는, 상기 화상처리단계에서 상기 피사체가 존재한다고 판정된 상기 리포커스면에 있어서의 재구성 화상을 축소해서 얻은 화상을 나타내는 화상 데이터인 것을 특징으로 하는, 화상처리방법.
입사광을 광전 변환해서 화상 데이터를 출력하도록 구성되며, 2차원으로 배치된 복수의 화소로 이루어지는 촬상소자와, 촬영 렌즈와 상기 촬상소자와의 사이에 배치되며, 상기 촬상소자의 미리 결정된 수의 화소로 이루어지는 복수의 영역 각각에 대응하는 복수의 마이크로렌즈, 및, 얼굴의 특징과 명칭을 관련짓는 정보를 기억하도록 구성된 기억 유닛을 구비하는 촬상장치로부터 출력된 화상 데이터를 처리하는 화상처리방법으로서,
상기 촬상소자로부터 출력된 화상 데이터에 대하여 리포커스 처리를 행해서 미리 결정된 리포커스면에 있어서의 재구성 화상을 생성하고, 상기 재구성 화상 중에 피사체가 존재하는지 아닌지를 판정하는 화상처리단계와,
상기 촬상소자로부터 출력된 화상 데이터를 기록하고, 상기 화상처리단계에서 존재한다고 판정된 피사체에 관한 정보를, 보조 정보로서 상기 화상 데이터와 관련지어 기록하는 기록단계를 포함하고,
상기 화상처리단계는, 피사체가 존재한다고 판정했을 경우에, 상기 판정된 피사체에 대응하는 명칭을, 상기 기억 유닛에 기억된 정보로부터 취득하고,
상기 기록단계는, 상기 취득한 명칭을, 상기 보조 정보로서, 상기 화상 데이터와 관련지어 더 기록하는, 화상처리방법.
입사광을 광전 변환해서 화상 데이터를 출력하도록 구성되며, 2차원으로 배치된 복수의 화소로 이루어지는 촬상소자와, 촬영 렌즈와 상기 촬상소자와의 사이에 배치되며, 상기 촬상소자의 미리 결정된 수의 화소로 이루어지는 복수의 영역 각각에 대응하는 복수의 마이크로렌즈를 구비하는 촬상장치로부터 출력된 화상 데이터를 처리하는 화상처리방법으로서,
상기 촬상소자로부터 출력된 화상 데이터에 대하여 리포커스 처리를 행해서 미리 결정된 리포커스면에 있어서의 재구성 화상을 생성하고, 상기 재구성 화상 중에 피사체가 존재하는지 아닌지를 판정하는 화상처리단계와,
상기 촬상소자로부터 출력된 화상 데이터를 기록하고, 상기 화상처리단계에서 존재한다고 판정된 피사체에 관한 정보를, 보조 정보로서 상기 화상 데이터와 관련지어 기록하는 기록단계를 포함하고,
상기 화상처리단계는, 복수의 리포커스면에 있어서의 재구성 화상을 각각 생성하고, 생성된 재구성 화상 중 상기 피사체에 합초한 하나의 재구성 화상을 이용해서 상기 보조 정보를 생성하는, 화상처리방법.
입사광을 광전 변환해서 화상 데이터를 출력하도록 구성되며, 2차원으로 배치된 복수의 화소로 이루어지는 촬상소자와, 촬영 렌즈와 상기 촬상소자와의 사이에 배치되며, 상기 촬상소자의 미리 결정된 수의 화소로 이루어지는 복수의 영역 각각에 대응하는 복수의 마이크로렌즈를 구비하는 촬상장치로부터 출력된 화상 데이터를 처리하는 화상처리방법으로서,
상기 촬상소자로부터 출력된 화상 데이터에 대하여 리포커스 처리를 행해서 미리 결정된 리포커스면에 있어서의 재구성 화상을 생성하고, 상기 재구성 화상 중에 피사체가 존재하는지 아닌지를 판정하는 화상처리단계와,
상기 촬상소자로부터 출력된 화상 데이터를 기록하고, 상기 화상처리단계에서 존재한다고 판정된 피사체에 관한 정보를, 보조 정보로서 상기 화상 데이터와 관련지어 기록하는 기록단계를 포함하고,
상기 화상처리단계는, 상기 촬상소자로부터 출력된 화상 데이터의 화면 내의 각 위치에 있어서의 초점 위치 정보에 근거해서, 재구성 화상을 생성하는 복수의 리포커스면을 판정하는, 화상처리방법.
청구항 12-15 중 어느 한 항에 따른 화상처리방법을 컴퓨터에 실행시키는 프로그램을 기억하는 컴퓨터 판독가능한 기억매체.