KR20180123117A - 화상 처리장치, 촬상장치 및 이들의 제어방법과, 기억매체 - Google Patents

화상 처리장치, 촬상장치 및 이들의 제어방법과, 기억매체 Download PDF

Info

Publication number
KR20180123117A
KR20180123117A KR1020187029815A KR20187029815A KR20180123117A KR 20180123117 A KR20180123117 A KR 20180123117A KR 1020187029815 A KR1020187029815 A KR 1020187029815A KR 20187029815 A KR20187029815 A KR 20187029815A KR 20180123117 A KR20180123117 A KR 20180123117A
Authority
KR
South Korea
Prior art keywords
image
viewpoint
changing
accordance
pixel
Prior art date
Application number
KR1020187029815A
Other languages
English (en)
Other versions
KR102157491B1 (ko
Inventor
아키히코 칸다
코이치 후쿠다
유키 요시무라
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Priority claimed from PCT/JP2017/002504 external-priority patent/WO2017163588A1/ja
Publication of KR20180123117A publication Critical patent/KR20180123117A/ko
Application granted granted Critical
Publication of KR102157491B1 publication Critical patent/KR102157491B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/18—Signals indicating condition of a camera member or suitability of light
    • H04N5/232125—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H04N5/232939—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/793—Processing of colour television signals in connection with recording for controlling the level of the chrominance signal, e.g. by means of automatic chroma control circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

본 발명에 따른 화상 처리장치는, 입사하는 광선의 강도 정보와 각도 정보를 포함하는 화상신호를 취득하는 취득 수단과, 시점을 변경하는 조작과 초점 위치를 변경하는 조작을 접수하는 조작 수단과, 화상신호에 근거하여 얻어지는 복수의 시점 화상에 근거하여, 시점을 변경하는 조작에 따라 시점을 변경하는 동시에, 초점 위치를 변경하는 조작에 따라 초점 위치를 변경하여 표시 화상을 생성하는 처리 수단을 구비한다.

Description

화상 처리장치, 촬상장치 및 이들의 제어방법과, 프로그램
본 발명은, 화상 처리장치, 촬상장치 및 이들의 제어방법과, 프로그램에 관한 것이다.
촬영 렌즈의 다른 동공 영역을 통과한 광속을 기록함으로써, 복수의 시점 화상을 동시에 촬영가능한 촬상장치가 알려져 있다. 비특허문헌 1에는, 1개의 화소에 1개의 마이크로렌즈와 복수의 분할된 광전변환부가 형성된 촬상소자를 사용한 촬상장치가 개시되어 있다. 이 촬상소자에서는, 분할된 광전변환부가, 1개의 마이크로렌즈를 거쳐 촬영 렌즈의 서로 다른 동공 부분 영역을 통과한 광속을 수광하여, 소위 동공 분할을 실현한다. 이 때문에, 출력된 신호는, 광강도의 공간 분포와 각도 분포 정보를 포함하는 LF(Light Field) 데이터와 등가이므로, 복수의 시점 화상을 얻을 수 있다.
또한, 비특허문헌 1에는, 취득한 LF 데이터를 사용하여, 촬상면과는 다른 가상적인 면에 결상시킨 합성 화상을 생성함으로써, 촬영후에 촬상 화상의 초점 위치(초점맞춤 위치라고도 한다)를 변경할 수 있는 리포커스 기술이 개시되어 있다.
Ren, Ng, 외 7명, "Light Field Photography with a Hand-Held Plenoptic Camera", Stanford Tech Report CTSR 2005-02
그런데, 복수의 시점 화상에 근거하여, 시점을 변경한 화상(시점 변경 화상)을 표시시키는 조작과, 리포커스 기술에 의해 초점 위치를 변경한 화상을 표시시키는 조작을 병행하여 행하는 것이 필요할 경우가 있다. 그러나, 비특허문헌 1에서는, 시점 변경 화상의 표시와 초점 위치를 변경한 화상의 표시를 병행하여 조작하는 방법에 대해서 고려하지 않고 있다.
본 발명은, 상기한 문제점을 감안하여 이루어진 것이다. 즉, 본 발명은, 복수의 시점 화상에 근거하여, 시점 변경 화상을 표시시키는 조작과 초점 위치를 변경한 화상을 표시시키는 조작을 병행하여 행하는 것이 가능한 기술을 제공한다.
이 과제를 해결하기 위해서, 본 발명의 화상 처리장치는 이하의 구성을 구비한다. 즉, 화상 처리장치는, 입사하는 광선의 강도 정보와 각도 정보를 포함하는 화상신호를 취득하는 취득 수단과, 시점을 변경하는 조작과 초점 위치를 변경하는 조작을 접수하는 조작 수단과, 상기 화상신호에 근거하여 얻어지는 복수의 시점 화상에 근거하여, 상기 시점을 변경하는 조작에 따라 시점을 변경하는 동시에, 상기 초점 위치를 변경하는 조작에 따라 초점 위치를 변경하여 표시 화상을 생성하는 처리 수단을 구비한 것을 특징으로 한다.
본 발명에 따르면, 복수의 시점 화상에 근거하여, 시점 변경 화상을 표시시키는 조작과 초점 위치를 변경한 화상을 표시시키는 조작을 병행하여 행하는 것이 가능하게 된다.
본 발명의 그 밖의 특징 및 이점은, 첨부도면을 참조한 이하의 설명에 의해 명확해질 것이다. 이때, 첨부도면에 있어서는, 유사하거나 혹은 동일한 구성에는, 같은 참조번호를 붙인다.
첨부도면은 명세서에 포함되고, 그 일부를 구성하고, 본 발명의 실시형태를 나타내고, 그것의 기술과 함께 본 발명의 원리를 설명하기 위하여 사용된다.
도 1은 본 발명의 실시형태에 따른 화상 처리장치의 일례로서의 디지털 카메라의 기능 구성 예를 나타낸 블록도이다.
도 2는 실시형태 1에 관련되는 화상처리부의 기능 구성 예를 나타낸 블록도이다.
도 3은 실시형태 1에 관련되는 화소 배열을 모식적으로 도시한 도면이다.
도 4a 및 도 4b는 실시형태 1에 관련되는 화소를 모식적으로 나타내는 평면도 및 단면도이다.
도 5는 실시형태 1에 관련되는 동공 분할의 개요를 설명하는 도면이다.
도 6a 및 도 6b는 실시형태 1에 관련되는 화소 내부의 광강도 분포의 예를 설명하는 도면이다.
도 7은 실시형태 1에 관련되는 동공 강도 분포의 예를 설명하는 도면이다.
도 8a는 실시형태 1에 관련되는 촬상소자와 동공 분할의 관계를 설명하는 도면이다.
도 8b는 제1 시점 화상과 제2 시점 화상에 있어서의 디포커스 량과 상 어긋남 량의 관계를 설명하는 도면이다.
도 9는 실시형태 1에 관련되는 촬상 화상의 콘트라스트 분포의 예를 나타낸 도면이다.
도 10은 실시형태 1에 관련되는 시점 화상 사이의 차이를 확대한 시차 강조의 예를 설명하는 도면이다.
도 11은 실시형태 1에 관련되는 리포커스처리의 개략을 설명하는 도면이다.
도 12는 실시형태 1에 관련되는 언샤프니스 처리의 개요를 설명하는 도면이다.
도 13은 실시형태 1에 관련되는 리포커스 가능 범위를 설명하는 도면이다.
도 14a, 도 14b 및 도 14c는 실시형태 1에 관련되는 시점 이동 처리의 원리를 설명하는 도면이다.
도 15a, 도 15b 및 도 15c는 실시형태 1에 관련되는 촬상소자의 주변 상고의 동공 어긋남을 설명하는 도면이다.
도 16은 실시형태 1에 관련되는 촬상 화상에 대한 시점 이동 조작 및 초점 조정 조작에 관련되는 일련의 동작을 나타내는 흐름도이다.
도 17은 실시형태 1에 관련되는 시점 화상 조작 처리의 일련의 동작을 나타내는 흐름도이다.
도 18은 실시형태 1에 관련되는 현상 처리의 일련의 동작을 나타내는 흐름도이다.
도 19a, 도 19b, 도 19c 및 도 19d는 실시형태 1에 관련되는 시점 이동 UI 및 초점 조정 UI를 모식적으로 도시한 도면이다.
도 20은 실시형태 1에 관련되는 UI에 강조 정도에 대한 UI를 추가한 예를 모식적으로 도시한 도면이다.
도 21은 실시형태 2에 관련되는 시차 화상 조작 처리의 일련의 동작을 나타내는 흐름도이다.
도 22는 실시형태 3에 관련되는 화소 배열을 모식적으로 도시한 도면이다.
도 23a 및 도 23b는 실시형태 3에 관련되는 화소를 모식적으로 나타내는 평면도 및 단면도이다.
도 24는 실시형태 3에 관련되는 시점 이동 UI 및 초점 조정의 UI를 모식적으로 도시한 도면이다.
도 25a 및 도 25b는 실시형태 4에 관련되는 시차 화상 조작 처리의 일련의 동작을 나타내는 흐름도이다.
도 26은 실시형태 4에 관련되는 시점 이동 UI 및 초점 조정의 UI의 표기 예를 모식적으로 도시한 도면이다.
도 27은 실시형태 4에 관련되는 시점 이동 UI 및 초점 조정의 UI의 표기 예를 모식적으로 도시한 도면이다.
도 28은 실시형태 4에 관련되는 시점 이동 UI 및 초점 조정의 UI의 표기 예를 모식적으로 도시한 도면이다.
(실시형태1)
이하, 본 발명의 예시적인 실시형태에 대하여, 도면을 참조하여 상세하게 설명한다. 이때, 이하에서는 화상 처리장치의 일례로서, LF 데이터를 취득가능한 임의의 디지털 카메라에 본 발명을 적용한 예를 설명한다. 그러나, 본 발명은, 디지털 카메라에 한정되지 않고, 취득한 LF 데이터를 처리가능한 임의의 기기에도 적용가능하다. 이들 기기에는, 예를 들면, 휴대전화기, 게임기, 태블릿 단말, 퍼스널컴퓨터, 시계형 및 안경형의 정보단말, 감시 시스템, 차량 탑재 시스템, 내시경 등의 의료 시스템, 화상을 제공가능한 로봇 등이 포함되어도 된다. 또한, 본 발명은, 임의의 기기가 인터넷 또는 로컬 네트워크 상에 존재하고, 프로세서 등의 처리 수단을 구비한 서버 기기(가상 머신을 포함한다)에 LF 데이터와 조작 내용을 송신하고, LF 데이터에 대한 처리의 일부 또는 전부를 서버 기기에서 실행하는 구성을 포함할 수 있다. 이 경우, 본 발명은, 임의의 기기 또는 서버 기기로부터 처리 결과를 수신하여 처리 결과를 표시시키는 구성을 포함하여도 된다.
(디지털 카메라(100)의 전체 구성)
도 1은, 본 실시형태의 화상 처리장치의 일례로서의 디지털 카메라(100)의 기능 구성 예를 나타낸 블록도다. 이때, 도 1에 나타내는 기능 블록의 1개 이상은, ASIC이나 프로그래머블 로직 어레이(PLA) 등의 하드웨어에 의해 실현되어도 되고, CPU나 MPU 등의 프로그래머블 프로세서가 소프트웨어를 실행함으로써 실현되어도 된다. 또한, 기능 블록의 1개 이상은, 소프트웨어와 하드웨어의 조합에 의해 실현되어도 된다. 따라서, 이하의 설명에 있어서, 다른 기능 블록이 동작 주체로서 기재되어 있는 경우에도, 같은 하드웨어에 의해 주체로서 실현될 수 있다.
제1렌즈 군(101)은, 결상광학계를 구성하는 예를 들면 줌렌즈를 포함하고, 결상광학계의 선단에 배치되는 동시에, 광축방향으로 진퇴 가능하게 유지된다. 셔터(102)는 조리개를 포함하고, 조리개의 개구경을 조절함으로써 촬영시에 촬상소자(107)에 입사하는 광량을 조절한다. 정지 화상을 촬영할 때에는, 셔터(102)가 노광하는 시간을 조절하는 셔터로서 기능한다. 셔터(102)와, 결상광학계를 구성하는 제2렌즈 군(103)은 일체가 되어 광축방향에 진퇴하여, 제1렌즈 군(101)의 진퇴 동작과의 연동에 의해, 변배작용(줌 기능)을 구현한다.
제3렌즈 군(105)은, 결상광학계를 구성하는 예를 들면 초점 렌즈를 포함하고, 광축방향의 진퇴에 의해 초점조절을 행한다. 광학소자(106)는 광학적 로우패스 필터를 포함하고, 촬상 화상의 위색과 모아레를 경감한다. 촬상소자(107)는 예를 들면 CMOS 포토 센서와 주변회로로 구성되는 촬상소자를 포함하고, 결상광학계의 결상면에 배치된다.
줌 액추에이터(111)는, 제1렌즈 군(101) 및 제3렌즈 군(103)의 진퇴 동작을 발생시키는 구동장치를 포함하고, 캠 통(미도시)을 회전함으로써, 제1렌즈 군(101) 및 제3렌즈 군(103)을 광축방향으로 진퇴구동시킨다. 조리개 셔터 액추에이터(112)는, 셔터(102)의 동작을 발생시키는 구동장치를 포함하고, 셔터(102)의 개구경과 셔터 동작을, 조리개 셔터 구동부(128)의 제어에 따라 제어한다. 포커스 액추에이터(114)는, 제3렌즈 군(105)의 진퇴 동작을 발생시키는 구동장치를 포함하고, 제3렌즈 군(105)을 광축방향으로 진퇴구동하여 초점조절을 행한다.
조명 장치(115)는 촬영시의 피사체 조명용 전자 플래쉬를 포함한다. 조명 장치(115)는, 예를 들면, 크세논 관을 사용한 섬광 조명 장치, 또는 연속 발광하는 LED를 구비한 조명 장치다. 보조광 발광부(116)는 AF 보조광의 발광 장치를 포함하고, 소정의 개구 패턴을 가진 마스크의 상을 투광 렌즈를 거쳐 피사계에 투영하여, 어두운 피사체 혹은 저 콘트라스트의 피사체에 대한 초점 검출 능력을 향상시킨다.
제어부(121)는, CPU(또는 MPU), ROM, 및 RAM을 포함하고, ROM에 기억된 프로그램을 RAM에 전개하고 프로그램을 실행함으로써 디지털 카메라(100) 전체의 각 부를 제어하여, AF, 촬영, 화상처리와 기록 등의 일련의 동작을 실행한다. 또한, 제어부(121)는 A/D 컨버터, D/A 컨버터, 통신 인터페이스 회로 등을 구비해도 된다. 또한, 제어부(121)는, 표시부(131)에 표시할 표시 내용을 제어하는 표시 제어부로서의 기능을 포함하고, 또한, 화상처리부(125)에 의해 실행되는 처리를 화상처리부(125) 대신에 실행해도 된다.
전자 플래쉬 제어부(122)는, 제어회로 또는 제어 모듈을 포함하고, 촬영 동작에 동기하여 조명 장치(115)의 점등을 제어한다. 보조광 구동부(123)는, 초점검출 동작에 동기하여 보조광 발광부(116)의 점등을 제어한다. 촬상소자 구동부(124)는, 촬상소자(107)의 촬상 동작을 제어하는 동시에, 취득한 화상신호를 A/D변환하여 변환된 신호를 제어부(121)에 송신한다. 화상 처리회로(125)는, 촬상소자(107)가 취득한 화상의 γ변환, 칼라 보간, JPEG 압축 등의 처리를 행한다.
포커스 구동부(126), 조리개 셔터 구동부(128), 및 줌 구동부(129)는, 각각 제어회로 또는 제어 모듈을 포함한다. 포커스 구동부(126)는, 초점 검출 결과에 근거하여 포커스 액추에이터(114)를 제어한다. 조리개 셔터 구동부(128)는, 촬영 동작의 소정의 타이밍에서 조리개 셔터 액추에이터(112)를 제어한다. 줌 구동부(129)는, 촬영자의 줌 조작에 따라 줌 액추에이터(111)를 제어한다.
표시부(131)는, LCD 등의 표시장치를 포함하고, 예를 들면, 카메라의 촬영 모드에 관한 정보, 촬영전의 프리뷰 화상과 촬영후의 확인용 화상, 및 초점 검출시의 초점맞춤 상태의 표시 화상 등을 표시한다. 조작부(132)는 디지털 카메라(100)를 조작하기 위한 스위치 군을 포함하고, 예를 들면, 전원 스위치, 릴리즈(촬영 트리거) 스위치, 줌 조작 스위치, 촬영 모드 선택 스위치 등을 포함한다. 조작부(132)가 입력된 유저 조작을 제어부(121)에 송신하면, 제어부(121)는 유저 조작에 대응한 동작을 실행하기 위하여, 디지털 카메라(100)의 각 부를 제어한다. 기록매체(133)는, 예를 들면, 착탈가능한 플래시 메모리를 포함하고, 촬영된 화상을 기록한다.
통신부(134)는, 통신회로 또는 모듈을 포함하고, 소정의 규격에 준거한 통신방식을 사용하여, 외부 장치(예를 들면, 외부에 설치된 서버)와 통신을 확립한다. 예를 들어, 통신부(134)는, 외부 장치에 대한 화상 데이터의 업로드, 다운로드와, 업로드한 화상 데이터에 대하여 외부 장치가 행한 소정의 처리의 결과의 수신을 행한다.
(화상처리부(125)의 구성)
다음에, 화상처리부(125)의 구성에 대하여, 도 2를 참조하여 설명한다. 화상 취득부(151)는, 기록매체(133)로부터 판독된 화상 데이터를 보존한다. 화상 데이터는, 제1 시점 화상과 제2 시점 화상(후술한다)을 합성하여 얻어진 화상(A+B 상이라고도 한다)과, 제1 시점 화상으로 구성되는 화상 데이터다.
감산부(152)는, A+B 상으로부터 제1 시점 화상을 감산함으로써 제2 시점 화상을 생성한다. 셰이딩 처리부(153)는, 제1 시점 화상과 제2 시점 화상의 상고에 의한 광량 변화를 보정한다. 조작 정보 취득부(154)는, 유저가 변경한 시점 이동과 리포커스용의 조정값을 받고, 시점 변경 처리부(155)와 리포커스 처리부(156)에 유저가 조작한 조정값을 공급한다.
시점 변경 처리부(155)는, 제1 시점 화상과 제2 시점 화상의 가산 비율(가중)을 변경하여 시점을 변경한 화상을 합성한다. 상세한 것은 후술하지만, 시점 변경 처리부(155)의 처리에 의해 피사계 심도를 확대 또는 축소한 화상을 생성할 수 있다. 리포커스 처리부(156)는, 제1 시점 화상과 제2 시점 화상을 동공 분할 방향으로 시프트 가산함으로써 합성 화상을 생성하여, 다른 초점 위치의 화상을 생성한다. 리포커스 처리부(156)에 의한 처리에 대해서도 상세한 것은 후술한다.
또한, 화상처리부(125)는, 이하에서 설명하는 화이트 밸런스부(157), 디모자이크부(158), 감마 변환부(159), 색 조작부(160)를 사용하여 현상 처리를 행한다. 화이트 밸런스부(157)는 화이트 밸런스 처리를 행한다. 구체적으로는, 화이트 밸런스부(157)는 화이트의 영역의 R, G, B가 같은 색이 되도록 R, G, B에 게인을 건다. 이 화이트 밸런스 처리를 디모자이크 처리전에 행함으로써, 채도를 산출할 때에, 색 흐려짐 등에 의해 위색의 채도보다도 높은 채도가 되는 것을 회피하여, 오판정을 방지할 수 있다.
디모자이크부(158)는 각 화소에 있어서 결핍되어 있는 3원색 중 2색의 칼라 모자이크 화상 데이터를 보간함으로써, 모든 화소에 있어서 R, G, B의 칼라 화상 데이터 모두를 갖는 칼라 화상을 생성한다. 디모자이크부(158)는, 주목 화소에 대하여, 주목 화소의 주변의 화소를 사용한 보간을 행한다. 그후, 디모자이크부(158)는, 각 화소에 대하여 보간처리 결과로서의 R, G, B의 3원색의 칼라 화상 데이터를 생성한다.
감마 변환부(159)는, 각 화소의 칼라 화상 데이터에 감마 보정처리를 적용하여, 예를 들면, 표시부(131)의 표시 특성에 정합시킨 칼라 화상 데이터를 생성한다. 색 조정부(160)는, 화상의 외관을 개선하기 위해, 노이즈 저감, 채도 강조, 색상 보정, 에지 강조 등의 각종의 색 조정 처리를 칼라 화상 데이터에 적용한다.
압축부(161)는, 색 조정된 칼라 화상 데이터를 JPEG 등의 소정의 압축 방식에 준거한 방법으로 압축하여, 데이터를 기록할 때의 칼라 화상 데이터의 데이터 사이즈를 작게 한다. 출력부(163)는, 전술한 칼라 화상 데이터 또는 압축된 화상 데이터, 또는 유저 인터페이스용의 표시 데이터를 출력한다.
(촬상소자(107)의 구성)
본 실시형태에 따른 촬상소자(107)의 화소 및 부화소의 배열에 대하여, 도 3을 참조하여 설명한다. 도 3은, 2차원 형상으로 배치된 화소 배열을 4열×4행의 범위에서 나타내고 있어, 더구나 각 화소에 포함되는 부화소 배열을 8열×4행의 범위에서 나타내고 있다.
도 3에 나타내는 화소 배열 중, 2열×2행의 화소군은, 좌측 위의 모서리에 R(적색)의 분광감도를 가지는 화소 200R을, 우측 위와 좌측 아래 모서리에 G(녹색)의 분광감도를 가지는 화소 200G를, 우측 아래 모서리에 B(청색)의 분광감도를 가지는 화소 200B를 가진다. 또한, 각 화소는, 2열×1행에 배열된 부화소 201과 부화소 202를 가진다.
도 3에 나타낸 4열×4행의 화소(8열×4행의 부화소)를 2차원으로 다수 배치함으로써, 촬상 화상(또는 초점 검출 신호)의 취득이 가능하게 된다. 촬상소자(107)에서는, 예를 들면, 화소의 배치되는 주기 P가 4㎛, 화소 수 N이 5575열×3725행=약 20750000 화소, 부화소의 열 방향 주기 PS가 2㎛, 부화소 수 NS가 11150열×3725행=약 41500000 화소다.
도 3에 나타낸 화소 200G의 구조를 더욱 상세하게 설명한다. 도 4a는, 화소 200G를, 촬상소자(107)의 수광면측(+z측)에서 본 평면도를, 도 4b는, 도 4a의 a-a 단면을 -y측에서 본 단면도를 각각 나타내고 있다.
화소 200G는, x 방향으로 NH 분할(2분할), y 방향으로 NV 분할(1분할)된 광전변환부 301과 광전변환부 302를 갖도록 구성된다. 광전변환부 301과 광전변환부 302는, 부화소 201과 부화소 202에 각각 대응한다.
화소 200G는, 화소의 수광측(+z 방향)에 입사광을 집광하기 위한 마이크로 렌즈(305)를 가지고, 마이크로 렌즈(305)를 통과하여 입사한 광속이, 광전변환부 301 또는 광전변환부 302에 의해 수광되도록 구성된다. 광전변환부 301과 광전변환부 302는, p형층과 n형층 사이에 인트린식 층을 끼워 형성된 pin 구조 포토다이오드로 해도 되고, 필요에 따라, 인트린식 층을 생략하여 pn 접합 포토다이오드로 해도 된다. 칼라 필터(306)는, 마이크로 렌즈(305)와, 광전변환부 301 및 광전변환부 302 사이에 배치되어, 소정의 주파수의 빛을 통과시킨다. 도 4b는, 1개의 칼라 필터(306)를 화소 200G에 설치하는 예를 나타내고 있다. 그러나, 필요에 따라, 부화소마다 분광 투과율이 다른 칼라필터를 설치해도 되고, 또는 칼라필터를 생략해도 된다.
광전변환부 301과 광전변환부 302에서는, 수광량에 따라 전자와 홀의 쌍이 생성되고, 공핍층에 의해 분리된다. 그후, 음 전하의 전자는 n형층에 축적되고, 홀은 정전압원(미도시)에 접속된 p형층(300)을 통해 촬상소자(107)의 외부로 출력된다. 광전변환부 301과 광전변환부 302의 n형층에 축적된 전자는, 전송 게이트를 거쳐 정전용량부(FD)에 전송되어, 전압신호로 변환된다.
(촬상소자(107)의 화소 구조와 동공 분할의 관계)
다음에, 도 4a 및 도 4b에 나타낸 촬상소자(107)의 화소 구조와 동공 분할의 대응관계를, 도 5를 참조하여 설명한다. 도 5는, 도 4a에 나타낸 화소 200G의 a-a 단면을 +y측에서 본 단면도와, 결상광학계의 사출 동공면의 대응관계를 나타내고 있다. 이때, 도 5에서는, 사출 동공면의 좌표축과 대응시키기 위하여, 화소 200G의 단면도의 X축과 y축을 도 4a 및 도 4b에 나타낸 것으로부터 반전시키고 있다.
부화소 201의 동공 부분 영역 501은, 부화소 201이 수광가능한 동공 영역을 표시하고 있다. 부화소 201의 동공 부분 영역 501의 무게중심은, 동공면 상에서 +X측으로 편심되어 있고, 무게중심이 -x 방향으로 편심되어 있는 광전변환부 301의 수광면과, 마이크로렌즈가, 대략, 공역관계를 갖고 있다.
한편, 부화소 202의 동공 부분 영역 502는, 부화소 202가 수광가능한 동공 영역을 표시하고 있다. 부화소 202의 동공 부분 영역 502의 무게중심은, 동공면 상에서 -X측으로 편심되어 있고, 무게중심이 +x 방향으로 편심되어 있는 광전변환부 302의 수광면과, 마이크로렌즈는, 대략, 공역관계를 갖고 있다. 이때, 동공 영역(500)은, 광전변환부 301과 광전변환부 302(부화소 201과 부화소 202) 모두를 포함하는 화소 200G 전체에서 수광가능한 동공 영역이다.
전술한 구성의 화소 200G에 빛이 입사했을 때의 모양을 더욱 구체적으로 설명한다. 도 6a 및 도 6b는, 화소 200G에 형성된 마이크로 렌즈(305)에 빛이 입사했을 경우의 광강도 분포의 예를 나타내고 있다. 도 6a는 마이크로렌즈 광축에 평행한 단면에 있어서의 광강도 분포를 나타내고, 도 6b는 마이크로렌즈 초점 위치에서의 마이크로렌즈 광축에 수직한 단면에 있어서의 광강도 분포를 나타내고 있다. 도 6a를 참조하면, H는 마이크로 렌즈(305)의 볼록측의 면을, f는 마이크로렌즈의 초점거리를, nFΔ은 (후술하는) 리포커스에 의해 얻어진 초점 위치의 가동 범위를, φ은 입사하는 광속의 최대 각도를 나타낸다.
마이크로 렌즈(305)는 입사광을 초점 위치에 집광하지만, 빛의 파동성에 의한 회절의 영향에 의해, 집광 스폿의 직경은 회절 한계 Δ보다 작아지지 않고, 도 6a 및 도 6b에 나타낸 것과 같이 유한의 크기를 갖는다. 예를 들면, 광전변환부 301의 수광면 사이즈가 약 1 내지 2㎛일 경우, 마이크로렌즈의 집광 스폿도 약 1㎛이다. 그 때문에, 광전변환부 301의 수광면과 마이크로 렌즈(305)를 거쳐 공역의 관계에 있는 동공 부분 영역 501(광전변환부 302에 대한 동공 부분 영역 502)은, 회절 흐려짐 때문에, 명료하게 동공 분할이 되지 않고 있는 수광율 분포(동공 강도 분포)가 된다.
도 7은 가로축에 동공 좌표를 세로축에 수광율을 도시하여 이 화소 200G에 있어서의 동공 강도 분포를 모식적으로 나타낸 것이다. 이때, 동공 강도 분포 701은 도 5의 동공 부분 영역 501의 X축을 따른 동공 강도 분포의 예(실선)를, 동공 강도 분포 702는 동공 부분 영역 502의 X축을 따른 동공 강도 분포의 예(파선)를 각각 나타내고 있다. 도 7에서는, 동공 부분 영역 501과 동공 부분 영역 502가 서로 다른 동공 위치에 있어서 완만한 동공 강도의 피크를 가지고 있고, 마이크로 렌즈(305)를 통과한 빛이 완만하게 동공으로 분할되는 것을 알 수 있다.
도 8a는 촬상소자(107)의 서로 다른 위치에서의 동공 분할과 화소의 대응관계를 나타낸 것이다. 다른 동공 부분 영역(동공 부분 영역 501과 동공 부분 영역 502)을 통과한 광속은, 촬상면(800)을 통과하여 촬상소자(107)의 각 화소에 다른 각도로 입사한다. 그리고, 2×1 분할된 각 화소의 부화소 201(광전변환부 301)과 부화소 202(광전변환부 302)가 광속을 수광한다. 즉, 촬상소자(107)에서는, 결상광학계의 다른 동공 부분 영역을 통과하는 광속을 수광하도록 구성된 복수의 부화소가 설치된 복수의 화소를 배열하고 있다.
이러한 구성의 촬상소자(107)를 사용함으로써, 각 화소의 부화소 201의 수광신호를 모아서 제1 시점 화상을 생성하고, 각 화소의 부화소 202의 수광신호를 모아서 제2 시점 화상을 생성할 수 있다. 즉, 촬상소자(107)의 각 화소에 의해 취득되는 입력 화상으로부터, 다른 동공 부분 영역마다 복수의 시점 화상을 생성할 수 있다. 이때, 본 실시형태에서는, 제1 시점 화상과 제2 시점 화상은, 각각, 베이어 배열의 화상이기 때문에, 필요에 따라 제1 시점 화상과 제2 시점 화상에 디모자이크 처리를 적용해도 된다. 또한, 촬상소자의 화소마다, 부화소 201과 부화소 202의 신호를 가산하여 판독하는 것에 의해, 유효 화소 수 N의 해상도의 촬상 화상을 생성할 수 있다. 본 실시형태에서는, 복수의 시점 화상(제1 시점 화상과 제2 시점 화상)으로부터 생성한 촬상 화상을 사용하는 예를 설명한다. 이때, 도 8a는, 동공 영역이 수평방향으로 2개의 영역으로 분할되는 예를 나타내었지만, 부화소의 분할 방법에 따라 동공 분할이 수직방향으로 행해져도 된다. 그러나, 본 발명은 이것에 한정하지 않고, 본 실시형태도 다른 실시형태도, 공지의 기술에 의해 복수의 시점 화상을 취득할 수 있는 모든 구성에 적용할 수 있다. 예를 들면, 일본국 특개 2011-22796호 공보와 같이, 복수의 시점을 갖는 다른 카메라를 촬상소자(107)로 간주할 수 있다. 도 1의 광학계와 달리, 물체 평면과 촬상소자가 공역의 관계에 있도록, 마이크로렌즈 어레이 상에서, 촬영 광학계로부터의 광속을 결상시켜, 그 결상면에 촬상소자를 설치할 수도 있다. 더구나, 마이크로렌즈 어레이 상에서, 촬영 광학계로부터의 광속을 재결상시키고(한번 결상한 광속을 갖는 확산 광속이 결상되기 때문에 "재결상"으로 부르고 있다), 그 결상면에 촬상소자를 설치하는 것도 가능하다. 적당한 패턴을 갖는 마스크(게인 변조 소자)를 촬영 광학계의 광로 중에 삽입하는 방법도 이용할 수 있다.
(시차 화상 사이의 디포커스 량과 상 어긋남 량의 관계)
다음에, 촬상소자(107)로부터 출력되는 제1 시점 화상과 제2 시점 화상의 디포커스 량과 상 어긋남 량의 관계에 대해 설명한다. 도 8b는, 제1 시점 화상과 제2 시점 화상의 디포커스 량과, 제1 시점 화상과 제2 시점 화상의 상 어긋남 량과의 관계를 모식적으로 나타내고 있다. 촬상면(800)에 촬상소자(107)(도 8b에서는 미도시)가 배치되고, 도 5, 도 8a 및 도 8b와 마찬가지로, 결상광학계의 사출 동공이 2개의 영역, 즉 동공 부분 영역 501과 동공 부분 영역 502로 분할된다.
디포커스 량 d는, 피사체의 결상 위치부터 촬상면(800)까지의 거리를 크기 ｜d｜로 표시한다. 디포커스 량 d는, 피사체의 결상 위치가 촬상면(800)보다 피사체측에 가까운 상태(이 상태를 전 초점 상태라고도 한다)를 음의 부호(d<0)로 표시한다. 한편, 피사체의 결상 위치가 촬상면(800)으로부터다 피사체의 반대측에 있는 상태(이 상태를 후 초점 상태라고도 한다)를 양의 부호(d>0)로 표시한다. 피사체의 결상 위치가 촬상면에 있는 초점맞춤 상태는 d=0이다. 도 9는, 피사체 801이 초점맞춤 상태(d=0)인 예와, 피사체 802가 전 초점 상태(d<0)인 예를 각각 나타내고 있다. 이때, 전 초점 상태(d<0)와 후 초점 상태(d>0) 모두가 디포커스 상태(｜d｜>0)이다.
전 초점 상태(d<0)에서는, 피사체 802로부터의 광속의 일부이며, 동공 부분 영역 501(동공 부분 영역 502)을 통과한 광속은, 한번, 집광한 후, 광속의 무게중심 위치 G1(G2)으로부터 폭 Γ1(Γ2)만큼 퍼져, 촬상면(800)에서 흐릿해진 상을 형성한다. 촬상소자에 배열된 각 화소를 구성하는 부화소 201(부화소 202)는 이 흐릿해진 상을 수광하여, 제1 시점 화상(제2 시점 화상)을 생성한다. 따라서, 제1 시점 화상(제2 시점 화상)은, 촬상면(800) 위의 무게중심 G1(G2)에, 피사체 802가 폭 Γ1(Γ2)로 흐릿해진 피사체 상으로서 기록된다. 피사체 상의 흐려짐 폭 Γ1(Γ2)은, 디포커스 량 d의 크기 ｜d｜의 증가에 따라, 대략 비례하여 증가한다. 마찬가지로, 제1 시점 화상과 제2 시점 화상 사이의 피사체 상의 상 어긋남 량 p(=광속의 무게중심 위치의 차이 G1-G2)의 크기 ｜p｜도, 디포커스 량 d의 크기 ｜d｜의 증가에 따라, 대략 비례하여 증가한다. 후 초점 상태(d>0)는, 제1 시점 화상과 제2 시점 화상 사이의 피사체 상의 상 어긋남 방향이 전 초점 상태일 경우와 반대라는 것을 제외하고는, 전 초점 상태와 동일하다.
따라서, 본 실시형태에서는, 제1 시점 화상과 제2 시점 화상, 또는, 제1 시점 화상과 제2 시점 화상을 가산하여 얻어진 촬상신호의 디포커스 량의 크기의 증가에 따라, 제1 시점 화상과 제2 시점 화상 사이의 상 어긋남 량의 크기가 증가한다.
(시점 화상 수정과 리포커스)
다음에, 본 실시형태에 따른 시점 화상 수정 처리와 리포커스 처리에 대해 설명한다. 본 실시형태의 리포커스 처리의 제1단계에서, 시점 변경 처리부(155)가 촬상 화상의 각 화소값에 근거하여 콘트라스트의 고저를 표시하는 콘트라스트 분포를 산출한다. 제2단계에서, 시점 변경 처리부(155)는, 산출한 콘트라스트 분포에 근거하여, 화소마다 복수의 시점 화상(제1 시점 화상과 제2 시점 화상) 사이의 차이를 확대하여 시차를 강조하는 변환을 행함으로써, 복수의 수정 시점 화상(제1 수정 시점 화상과 제2 수정 시점 화상)을 생성한다. 제3단계에서, 리포커스 처리부(156)는 복수의 수정 시점 화상(제1 수정 시점 화상과 제2 수정 시점 화상)을 상대적으로 시프트하여 가산함으로써, 리포커스 화상을 생성한다.
이때, 이하에서는, i, j를 정수로 가정하고, 촬상소자(107)의 행방향 j번째 및 열방향 i번째의 위치를 (j,i)로 나타낸다. 또한, 위치 (j,i)의 화소의 제1 시점 화상을 A0(j,i)로, 제2 시점 화상을 B0(j,i)로, 촬상 화상을 I(j,i)=A0(j,i)+B0(j,i)로 나타낸다.
(제1단계: 콘트라스트 분포의 산출)
시점 변경 처리부(155)는, 베이어 배열을 갖는 촬상 화상 I(j,i)에 대하여, 수학식 1에 따라, 위치 (j,i)마다 RGB마다의 색 무게중심을 일치시켜, 휘도 Y(j,i)를 산출한다.
Figure pct00001
다음에, 시점 변경 처리부(155)는, 휘도 Y(j,i)에 대하여, 동공 분할 방향인 수평방향(열 i 방향)으로, [1, 2, -1, -4, -1, 2, 1] 등의 라플라시언형 필터 처리를 적용하여, 수평방향의 고주파 성분 dY(j,i)을 산출한다. 시점 변경 처리부(155)는, 필요에 따라, 동공 분할 방향이 아닌 수직방향(행 j 방향)으로 [1, 1, 1, 1, 1, 1, 1] 등의 고주파 컷 필터 처리를 적용하여, 수직방향의 고주파 노이즈를 억제해도 된다.
다음에, 시점 변경 처리부(155)는, 규격화(정규화)된 수평방향의 고주파 성분 dZ(j,i)을, 수학식 2에 따라 산출한다. 상수 Y0을 분모에 더하는 것은, 0으로 제산함으로써 수학식 2가 발산하는 것을 방지하기 위해서이다. 시점 변경 처리부(155)는, 필요에 따라, 수학식 2로 규격화하기 전에, 휘도 Y(j,i)에 고주파 컷 필터 처리를 적용하여 고주파 노이즈를 억제해도 된다.
Figure pct00002
시점 변경 처리부(155)는, 콘트라스트 분포 C(j,i)를 수학식 3에 따라서 산출한다. 수학식 3의 첫째 행은, 촬상 화상의 휘도가 소정 휘도 Yc보다도 저휘도인 경우, 콘트라스트 분포 C(j,i)를 0으로 설정되는 것을 나타낸다. 한편, 수학식 3의 3행째는, 규격화된 고주파 성분 dZ(j,i)이 소정값 Zc보다 클 경우, 콘트라스트 분포 C(j,i)가 1로 설정되는 것을 나타낸다. 그 이외(즉 수학식 3의 2행째)는, dZ(j,i)을 Zc로 규격화하여 얻어진 값이 콘트라스트 분포 C(j,i)가 되는 것을 나타낸다.
Figure pct00003
콘트라스트 분포 C(j,i)는, [0, 1]의 범위의 값을 취하고, 이 값이 0에 가까울수록 콘트라스트가 낮고, 이 값이 1에 가까울수록 콘트라스트가 높아진다.
도 9는, 수학식 3에 의해 얻어지는, 촬상 화상의 콘트라스트 분포 C(j,i)의 일례를 나타내고 있다. 이 콘트라스트 분포에 있어서, 흰 부분은 수평방향의 고주파 성분의 양이 많고 콘트라스트가 높은 것을 나타내고, 검은 부분은 수평방향의 고주파 성분의 양이 적고 콘트라스트가 낮은 것을 나타내고 있다.
(제2단계: 시차 화상의 시차 강조 처리)
다음에, 시차 화상의 시차 강조 처리에 대해 설명한다. 시차 강조 처리에서는, 우선 시점 화상의 상 어긋남 분포를 산출한다. 상 어긋남 분포는, 제1 시점 화상 A0과 제2 시점 화상 B0의 쌍에 대하여 상관 연산을 행하여, 1쌍의 상의 상대적인 위치 어긋남 량을 계산함으로써 얻어진다. 상관 연산에는, 다양한 공지의 방법이 알려져 있으며, 시점 변경 처리부(155)는, 수학식 4에 나타낸 것과 같은 한 쌍의 상의 차이의 절대치를 가산함으로써, 한 쌍의 상의 상관값을 얻을 수 있다.
Figure pct00004
여기에서, A0i, B0i는, 각각 제1 시점 화상 A0, 제2 시점 화상 B0의 i번째의 화소의 휘도를 표시하고, ni는, 연산에 사용하는 화소수를 나타내는 숫자로, 상 어긋남 분포의 최소 연산 범위에 따라 적절히 설정된다.
시점 변경 처리부(155)는, 예를 들면, 수학식 4의 COR(k)이 최소가 되는 k를 상 어긋남 량으로서 산출한다. 즉, 1쌍의 상을 k 화소만큼 어긋나게 한 상태에서, 행방향의 i번째의 각 A0 화소와 i번째의 B0 화소의 차이의 절대값을 계산하고, 그 행방향의 복수 화소의 절대값을 가산한다. 그리고, 시점 변경 처리부(155)는, 합, 즉 COR(k)이 가장 작아질 때의 k를 A0과 B0의 상 어긋남 량으로 간주하여, 어긋남 량 k 화소를 산출한다.
이에 대하여, 2차원적인 상을 동공 분할 방향으로만 k 화소만큼 움직여서 제1 시점 화상 A0의 화소와 제2 시점 화상 B0의 화소 사이의 차분을 계산하여, 복수 열에 대하여 이 차분을 가산할 경우, 상관 연산은 수학식 5로 정의된다.
Figure pct00005
여기에서, A0ij, B0ij는, 각각 제1 시점 화상 A0 및 제2 시점 화상 B0의 j열째 i번째 행의 화소의 휘도를 표시하고, ni는, 연산에 사용하는 화소수, nj는 상관 연산의 대상인 한 쌍의 상의 열방향의 수를 각각 표시한다.
시점 변경 처리부(155)는, 수학식 4와 마찬가지로, 수학식 5의 COR(k)이 최소가 되는 k를 상 어긋남 량으로서 산출한다. 이때, 첨자 k는 i에만 부가되고 j와는 무관계이다. 이것은, 2차원적인 상을 동공 분할 방향으로만 이동시키면서 상관 연산을 행하고 있기 때문이다. 시점 변경 처리부(155)는, 수학식 5에 따라 제1 시점 화상 A0 및 제2 시점 화상 B0의 각 영역의 상 어긋남 량을 산출하여, 상 어긋남 분포를 산출할 수 있다.
(후술하는) 본 실시형태의 리포커스 처리는, 고 콘트라스트 부분에만 (후술하는) 샤프니스 처리를 행하여 행해진다. 따라서, 전술한 콘트라스트 분포의 산출 처리에 있어서, 콘트라스트 분포 C(j,i)가 0인 영역(즉 소정 휘도 Yc보다도 저휘도의 위치)에는, 수학식 5를 사용한 상관 연산을 행할 필요가 없다.
다음에, 구체적인 시차 강조 처리의 예에 대해 설명한다. 도 7의 동공 강도 분포의 예에 나타낸 것과 같이, 화소마다 형성되는 마이크로렌즈와 복수의 분할된 광전변환부에 의해 행해지는 동공 분할은 회절 흐려짐 때문에 완만한 동공 분할이다. 그 때문에, 완만하게 분할된 동공 강도 분포에 대응하는 복수의 시점 화상에서는, 동공 분할 방향의 실효 F값이 충분히 어두워지지(커지지) 않으므로, 실효적인 초점심도가 깊어지기 어렵다.
따라서, 본 실시형태에서는, 시점 변경 처리부(155)는, 복수의 시점 화상(제1 시점 화상과 제2 시점 화상)의 차이를 화소마다 확대하여 시차를 강조하는 처리를 행한다. 시점 변경 처리부(155)는, 이와 같은 시차 강조 처리에 의해, 복수의 수정 시점 화상(제1 수정 시점 화상과 제2 수정 시점 화상)을 생성한다.
시점 변경 처리부(155)는, 제1 시점 화상 A0(j,i)과 제2 시점 화상 B0(j,i) 사이의 차이를 수학식 6 및 수학식 7에 따라 확대하여, 제1 수정 시점 화상 A(j,i)와 제2 수정 시점 화상 B(j,i)를 생성한다. 다음 식에서, k(0≤k≤1), α(0≤α≤1)을 실수이다.
Figure pct00006
Figure pct00007
도 10은, 시차 강조 처리가 소정의 위치에 있어서 시점 화상들 사이의 차이를 확대한 예를 나타내고 있다. 시차 강조 처리를 행하기 전의 제1 시점 화상 A0(101)과 제2 시점 화상 B0(102)의 예를 점선으로 나타내고, 수학식 4 및 수학식 5에 의한 시차 강조 처리를 행한 후의 제1 수정 시점 화상 A(103)와 제2 수정 시점 화상 B(104)의 예를 실선으로 나타내고 있다. 도 10에서는, 가로축은 1152번째 내지 1156번째의 화소를 부화소 단위로 나타내고, 세로축은 각 화소에 있어서의 시차의 크기를 나타내고 있다. 시차 강조 처리에 의해, 시점 화상들 사이의 차이가 작은 부분은 그다지 변화하지 않지만(예를 들면, 1154번째 화소 부근), 시점 화상 사이의 차이가 큰 부분(예를 들면, 1153번째와 1155번째 화소 부근)이 확대되어, 시차가 강조되어 있다.
이렇게, 본 실시형태에서는, 시점 변경 처리부(155)는, 복수의 시점 화상마다, 복수의 시점 화상 사이의 차이를 확대시켜 시차를 강조하여 복수의 수정 시점 화상을 생성한다. 이때, 시점 변경 처리부(155)는, 수학식 6 및 수학식 7과 같이, 화소 내에 포함되는 복수의 부화소의 신호를 사용하여 연산함으로써, 시차 강조 처리의 부하를 억제할 수 있다.
수학식 6에서는, k의 값을 크게 하여 시차 강조를 강하게 하면, 복수의 수정 시점 화상(제1 수정 시점 화상과 제2 수정 시점 화상) 사이의 시차가 커진다. 따라서, k의 값을 크게 하는 것에 의해, 분할 방향의 실효 F값을 어둡게(크게) 하여, 분할 방향의 실효적인 초점심도를 크게 수정할 수 있다. 그러나, 시차 강조를 과잉으로 강하게 하면, 수정 시점 화상의 노이즈가 증가하여 S/N이 저하해 버린다.
이 때문에, 본 실시형태에서는, 콘트라스트 분포 C(j,i)에 근거하여, 시차 강조의 변환의 강도를 영역 적응적으로 조정한다. 예를 들면, 시점 변경 처리부(155)는, 콘트라스트가 높은 영역에서는 시차를 크게 하여 시차 강조의 강도를 강하게 하고, 분할 방향의 실효 F값을 어둡게(크게) 한다. 한편, 콘트라스트가 낮은 영역에서는, S/N을 유지하기 위하여, 시차 강조의 강도를 약하게 하여, S/N 저하를 억제한다. 이렇게 함으로써, 복수의 수정 시점 화상(제1 수정 시점 화상과 제2 수정 시점 화상) 사이의 시차를 크게 하고, 분할 방향의 실효 F값을 어둡게(크게) 하여, 분할 방향의 실효적인 초점심도를 크게 수정할 수 있다. 또한, 후술하는 리포커스 처리에서는, 복수의 수정 시점 화상(제1 수정 시점 화상과 제2 수정 시점 화상)을 사용하여 리포커스 화상을 생성함으로써, 리포커스 효과를 향상(리포커스에 의한 화상의 변화를 강조)시킬 수 있다.
시점 변경 처리부(155)는, 필요에 따라, 촬상 화상의 저휘도의 영역보다도 고휘도의 영역에 있어서의 시차 강조의 강도를 크게 하여, 예를 들면, S/N 저하를 억제할 수 있다. 또한, 필요에 따라, 촬상 화상의 고주파 성분의 양이 적은 영역보다도 고주파 성분의 양이 많은 영역에 있어서, 시차 강조의 강도를 보다 크게 하여, 마찬가지로 S/N 저하를 억제할 수 있다.
(제3단계: 리포커스 처리)
복수의 수정 시점 화상(제1 수정 시점 화상과 제2 수정 시점 화상)을 사용한, 동공 분할 방향(열방향 또는 수평방향)에서 행해지는 리포커스 처리에 대하여 도 11을 참조하여 설명한다. 도 11은, 촬상면(800)에 배치된 촬상소자(107)의 열방향 i번째의 화소의 신호를 포함한, 제1 수정 시점 화상 Ai와 제2 수정 시점 화상 Bi를 모식적으로 나타내고 있다. 제1 수정 시점 화상 Ai는, (도 8a의 동공 부분 영역 501에 대응한) 주 광선 각도 θa에서 i번째의 화소에 입사한 광속의 수광신호를 포함한다. 제2 수정 시점 화상 Bi는, (도 8a의 동공 부분 영역 502에 대응한) 주 광선 각도 θb에서 i번째의 화소에 입사한 광속의 수광신호를 포함한다. 즉, 제1 수정 시점 화상 Ai와 제2 수정 시점 화상 Bi는, 광강도 분포 정보 이외에, 입사 각도 정보도 가지고 있다.
시점 화상이 입사각 정보를 갖기 때문에, 리포커스 처리부(156)는, 소정의 가상적인 결상면에 있어서의 리포커스 화상을 생성할 수 있다. 구체적으로, 리포커스 처리부(156)는, 제1 수정 시점 화상 Ai와 제2 수정 시점 화상 Bi를 각도 θa 및 각도 θb를 따라, 각각 가상 결상면(810)까지 평행 이동시킨다. 그리고, 리포커스 처리부(156)는, 평행 이동한 각 수정 시점 화상을 화소마다 가산함으로써, 가상 결상면(810)에 있어서의 리포커스 화상을 생성할 수 있다. 도 11의 예에서는, 제1 수정 시점 화상 Ai를 각도 θa를 따라 가상 결상면(810)까지 평행 이동시키는 것은, 제1 수정 시점 화상 Ai를 열방향으로 +0.5 화소만큼 시프트하는 것과 동등하다. 한편, 제2 수정 시점 화상 Bi를 각도 θb를 따라 가상 결상면(810)까지 평행 이동시키는 것은, 제2 수정 시점 화상 Bi를 열방향으로 -0.5 화소만큼 시프트하는 것과 동등하다. 즉, 도 11의 예에 있어서, 가상 결상면(810)에 있어서의 제1 수정 시점 화상 Ai와 제2 수정 시점 화상 Bi의 조합은, 제1 수정 시점 화상 Ai와 제2 수정 시점 화상 Bi를 상대적으로 +1 화소만큼 시프트함으로써 얻어진다. 이 때문에, 제1 수정 시점 화상 Ai와, 시프트한 제2 수정 시점 화상 Bi+1을 화소마다 가산함으로써, 가상 결상면(810)에 있어서의 리포커스 화상을 생성할 수 있다.
이렇게, 리포커스 처리부(156)는, 정수 시프트 량 s를 사용하여, 수학식 8에 따라서 제1 수정 시점 화상 A와 제2 수정 시점 화상 B를 시프트 가산함으로써, 정수 시프트 량 s에 따른 각 가상 결상면에 있어서의 리포커스 화상 I(j, i;s)를 생성한다.
Figure pct00008
본 실시형태에서는, 제1 수정 시점 화상 A와 제2 수정 시점 화상 B는 베이어 배열로 구성되기 때문에, 리포커스 처리부(156)는, 2의 배수인 시프트 량 s=2n(n: 정수)을 사용하여 각 색마다 수학식 8에 따른 시프트 가산을 행한다. 즉, 리포커스 처리부(156)는, 화상의 베이어 배열을 유지한 채 리포커스 화상 I(j, i;s)를 생성하고, 그후, 생성한 리포커스 화상 I(j, i;s)에 디모자이크 처리를 실시한다. 이때, 리포커스 처리부(156)는, 필요에 따라, 제1 수정 시점 화상 A와 제2 수정 시점 화상 B에 디모자이크 처리를 실시하고, 그후 디모자이크 처리후의 제1 수정 시점 화상과 제2 수정 시점 화상을 사용하여 시프트 가산 처리를 행해도 된다. 더구나, 리포커스 처리부(156)는, 필요에 따라, 제1 수정 시점 화상 A와 제2 수정 시점 화상 B의 각 화소간의 보간신호를 생성하고, 비정수 시프트 량에 따른 리포커스 화상을 생성해도 된다. 이렇게 하면, 가상 결상면의 위치를 보다 미세한 입도로 변경하여 리포커스 화상을 생성할 수 있다.
다음에, 리포커스 처리부(156)가 보다 효과적인 리포커스 화상을 생성하기 위하여 적용하는 샤프니스 처리, 및 리포커스 가능 범위의 산출에 대해 설명한다.
(샤프니스 처리)
상기한 바와 같이, 리포커스 처리에서는, 제1 수정 시점 화상 A와 제2 수정 시점 화상 B를 시프트 가산하여, 가상 결상면에 있어서의 리포커스 화상이 생성된다. 시프트 가산에 의해 제1 수정 시점 화상 A와 제2 수정 시점 화상 B를 어긋나게 하기 때문에, 리포커스 처리전의 화상에 대한 상대적인 어긋남 량(상 어긋남 량이라고도 한다)을 알 수 있다.
전술한 리포커스 처리에 있어서 정수 시프트 량 s는 이 상 어긋남 량에 대응한다. 이 때문에, 리포커스 처리부(156)는, 상 어긋남 량 s에 대응한 영역에 샤프니스 처리를 행함으로써, 리포커스 화상에 있어서의 피사체의 윤곽을 강조할 수 있다.
본 실시형태에 따른 샤프니스 처리는, 도 12에 개요를 나타내는 언샤프 마스크 처리를 사용한다. 언샤프 마스크 처리에서는, 주목 화소를 중심으로 한 국소 영역(원래의 신호)에, 블러 필터를 적용하여, 블러 처리를 적용한 전후의 화소값의 차분을 주목 화소의 화소값에 반영함으로써, 윤곽 강조를 실현한다.
처리 대상의 화소값 P에 대한 언샤프 마스크 처리는, 수학식 9에 따라서 산출된다. 단, P'은 처리 적용후의 화소값, R은 블러 필터의 반경, T는 적용량(%)이다.
Figure pct00009
수학식 9에 있어서, F(i, j, R)는, 화소 P(i,j)에 대하여 반경 R을 갖는 블러 필터를 적용하여 얻어지는 화소값이다. 이때, 블러 필터에는, 공지의 방법, 예를 들면, 가우스 블러를 사용할 수 있다. 가우스 블러는, 처리 대상의 화소로부터의 거리에 따라 가우스 분포에 따른 가중을 적용하여 평균화하는 처리이며, 자연스러운 처리 결과를 얻을 수 있다. 또한, 블러 필터의 반경 R은 샤프니스 처리를 적용하고 싶은 화상 위의 주파수의 파장에 관계한다. 즉, R이 작을수록 세밀한 패턴이 강조되고, R이 클수록 완만한 패턴이 강조된다. 적용량 T(i,j)는, 상 어긋남 분포에 따라 언샤프 마스크 처리에 의한 윤곽 강조의 적용량을 변화시키는 값이다.
구체적으로는, 각 화소의 위치의 상 어긋남 량을 pred(i,j)로 하고, 리포커스 처리에 의한 시프트 량을 s로 하면, ｜s-pred(i,j)｜이 작은 값(예를 들면, 상 어긋남이 1 화소 이내)이 되는 영역, 즉 가상 결상면에서 초점맞춤 상태가 얻어지는 영역에서는 적용량 T를 크게 한다. 한편, ｜s-pred(i,j)｜가 큰 값(예를 들면, 상 어긋남 량이 3 화소 이상)을 갖는 영역에서는, 적용량 T를 작게 한다. 이렇게 함으로써, 디포커스 량이 작고 초점 위치 또는 초점맞춤 근방인 영역에는 윤곽을 강조할 수 있고, 또한 디포커스 량이 큰 흐려짐 영역에는 언샤프 마스크 처리(또는 블러 처리)를 행하지 않을 수 있다. 즉, 리포커스 처리에 의한 초점 위치의 이동의 효과를 보다 강조할 수 있다.
(리포커스 가능 범위의 산출)
리포커스 가능 범위는, 리포커스 처리에 의해 변경가능한 초점 위치의 범위를 표시한다. 예를 들면, 도 13은, 본 실시형태에 따른 리포커스 가능 범위를 모식적으로 나타내고 있다. 허용 착란 원을 δ, 결상광학계의 조리개 값을 F로 하면, 조리개 값 F에 있어서의 피사계 심도는 ±Fδ이다. 이에 대하여, NH×NV(2×1) 분할되어 좁아진 동공 부분 영역 501(502)의 수평방향의 실효 조리개 값 F01(F02)은, F01=NHF로 어두워진다. 제1 수정 시점 화상(제2 수정 시점 화상)마다의 실효적인 피사계 심도는 ±NHFδ, 즉 NH배 증가되어, 초점맞춤 범위가 NH배 넓어진다. 즉, 실효적인 피사계 심도 ±NHFδ의 범위 내에서는, 제1 수정 시점 화상(제2 수정 시점 화상)마다 초점맞춤한 피사체 상이 취득되고 있다. 이 때문에, 리포커스 처리부(156)는, 도 11에 나타낸 주 광선 각도 θa(θb)를 따라 제1 수정 시점 화상(제2 수정 시점 화상)을 평행 이동하는 리포커스 처리에 의해, 촬영후에, 초점 위치를 재조정(리포커스)할 수 있다. 바꾸어 말하면, 촬영후에 초점 위치를 재조정(리포커스)할 수 있는 촬상면으로부터의 디포커스 량 d는 한정되고, 디포커스 량 d의 리포커스 가능 범위는 대략, 수학식 10의 범위이다.
Figure pct00010
허용 착란 원 δ은, 예를 들면, δ=2ΔX(화소 주기 ΔX를 갖는 나이키스트 주파수 1/(2ΔX)의 역수)로 규정된다. 이렇게, 리포커스 가능 범위를 산출함으로써, 유저 조작에 의해 초점 위치를 변경(리포커스)할 때의 조작가능한 범위와 리포커스 가능 범위를 관련시킬 수 있다. 또한, 리포커스 처리에 의해 초점맞춤시킬 수 있는 광선(피사체)을 미리 파악할 수 있다. 이 때문에, 예를 들면, 소정의 피사체가 리포커스 가능 범위에 포함되도록, 결상광학계의 상태 등의 촬영 조건을 제어하여 다시 촬영하는 것도 가능하게 된다
(시점 이동 처리)
다음에, 시점 변경 처리부(155)에 의해 실행되는, 본 실시형태에 따른 시점 이동 처리에 대해 설명한다. 이때, 시점 이동 처리는, 가까운 쪽의 비주피사체의 흐려짐이 주피사체와 중첩되는 경우에, 비주피사체의 흐려짐을 저감하기 위한 처리다.
도 14a 내지 도 14c는 시점 이동 처리의 원리를 나타내고 있다. 도 14a 내지 도 14c에서는, 촬상소자(107)(미도시)가 촬상면(600)에 배치되어 있고, 도 11과 마찬가지로, 결상광학계의 사출 동공이 2개, 즉 동공 부분 영역 501과 동공 부분 영역 502로 분할된다.
도 14a는, 주피사체 q1의 초점맞춤 상 p1에 가까운 쪽의 피사체 q2의 흐려짐 상 Γ1+Γ2가 겹쳐서 촬영될 경우(주피사체에의 전방 흐려짐 중첩이라고도 한다)의 일례를 나타내고 있다. 도 14b와 도 14c는, 도 14a에 나타내는 예를, 결상광학계의 동공 부분 영역 501을 통과하는 광속과, 동공 부분 영역 502를 통과하는 광속으로 각각 나타내고 있다. 도 14b에서는, 주피사체 q1으로부터의 광속은, 동공 부분 영역 501을 통과하여, 초점맞춤 상태에서 상 p1에 결상한다. 한편, 가까운 쪽의 피사체 q2로부터의 광속은, 동공 부분 영역 501을 통과하여, 디포커스 상태에서 흐려짐 상 Γ1로 퍼진다. 촬상소자(107)의 다른 화소의 부화소 201이 이들 광속을 수광하여, 제1 시점 화상이 생성된다. 도 14b에 나타낸 것과 같은 제1 시점 화상에서는, 주피사체 q1의 상 p1과 가까운 쪽의 피사체 q2의 흐려짐 상 Γ1은 겹치지 않고 수광된다. 이것은, 소정 영역(피사체 q1의 상 p1 근방)에 있어서, 복수의 시점 화상(제1 시점 화상과 제2 시점 화상) 중, 가장 가까운 측의 피사체(피사체 q2의 흐려짐 상 Γ1)가 가장 좁은 범위에서 촬영되고 있는 시점 화상이 된다. 바꾸어 말하면, 소정 영역(피사체 q1의 상 p1 근방)에 있어서, 복수의 시점 화상(제1 시점 화상과 제2 시점 화상) 중, 피사체 q2의 흐려짐 상 Γ1의 출현이 적고, 콘트라스트 평가값이 가장 큰 시점 화상이 얻어진다.
한편, 도 14c에서는, 주피사체 q1로부터의 광속은 동공 부분 영역 502를 통과하여, 초점맞춤 상태에서 상 p1에 결상한다. 한편, 가까운 쪽의 피사체 q2로부터의 광속은 동공 부분 영역 502를 통과하여, 디포커스 상태에서 흐려짐 상 Γ2로 퍼진다. 촬상소자(107)의 각 화소의 부화소 202가 이들 광속을 수광하고, 제2 시점 화상이 생성된다. 도 14c에 나타낸 것과 같은 제2 시점 화상에서는, 주피사체 q1의 상 p1과 가까운 쪽의 피사체 q2의 흐려짐 상 Γ2가 겹쳐서 수광된다. 이것은, 소정 영역(피사체 q1의 상 p1 근방)에 있어서, 복수의 시점 화상(제1 시점 화상과 제2 시점 화상) 중, 가장 가까운 측의 피사체(피사체 q2의 흐려짐 상 Γ2)가 가장 넓은 범위에서 촬영되고 있는 시점 화상이 된다. 바꾸어 말하면, 소정 영역(피사체 q1의 상 p1 근방)에 있어서, 복수의 시점 화상(제1 시점 화상과 제2 시점 화상) 중, 피사체 q2의 흐려짐 상 Γ2의 출현이 많고, 콘트라스트 평가값이 가장 작은 시점 화상이 얻어진다.
따라서, 상 p1 근방에 있어서, 상 p1과 흐려짐 상 Γ1의 겹침이 적은 제1 시점 화상의 가중을 크게 하고, 상 p1과 흐려짐 상 Γ2의 겹침이 많은 제2 시점 화상의 가중을 작게 하여 가산을 행함으로써, 주피사체에 대한 전방 흐려짐 중첩을 저감시킬 수 있다.
다음에, 시점 변경 처리부(155)가 제1 시점 화상과 제2 시점 화상을 가중을 사용하여 중첩시키는 처리에 대해 설명한다. 이때, 시점 변경 처리부(155)는, 전술한 제1 시점 화상 A(j,i)와 제2 시점 화상 B(j,i)를 수신한다.
제1스텝에서, 시점 변경 처리부(155)는, 시점 이동 대상인 소정 영역 R=[j1, j2]×[i1, i2]와 소정 영역의 경계 폭 σ를 설정한 후에, 수학식 11에 따라서 소정 영역 R과 소정 영역의 경계 폭 σ에 따른 테이블 함수 T(j,i)를 산출한다.
Figure pct00011
이때, 테이블 함수 T(j,i)는, 소정 영역 R의 내측에서 1이고, 소정 영역 R의 외측에서 0이 되는 함수이며, 소정 영역 R의 경계 폭 σ에 의해 1로부터 0으로 대략 연속적으로 변화한다. 이때, 시점 변경 처리부(155)는, 필요에 따라, 소정 영역으로서 원형이나 다른 임의의 형상을 설정해도 되고, 또한, 복수의 소정 영역 및 복수의 경계 폭을 설정해도 된다.
제2스텝에서, 시점 변경 처리부(155)는, 실 계수 w(-1≤w≤1)를 사용하여, 수학식 12A에 따른 제1 시점 화상 A(j,i)의 제1 가중 계수 Wa(j,i)을 산출한다. 또한, 시점 변경 처리부(155)는, 수학식 12B에 따른 제2 시점 화상 B(j,i)의 제2 가중 계수 Wb(j,i)을 산출한다.
Figure pct00012
제3스텝에서, 시점 변경 처리부(155)는, 제1 시점 화상 A(j,i)와, 제2 시점 화상 B(j,i)와, 제1 가중 계수 Wa(j,i)와, 제2 가중 계수 Wb(j,i)을 사용하여, 수학식 13에 따라서 출력 화상 I(j,i)를 생성한다.
Figure pct00013
또는, 시점 변경 처리부(155)는, 시프트 량 s를 사용하는 리포커스 처리와 이 처리를 조합하여, 수학식 14A 또는 수학식 14B에 따라서 출력 화상 Is(j,i)를 생성해도 된다.
Figure pct00014
이렇게 하여 출력된 출력 화상 Is(j,i)는, 시점이 이동한 화상인 동시에, 초점 위치가 재조정(리포커스)된 화상이 된다.
이렇게, 출력 화상의 영역에 따라 연속적으로 변화하는 가중 계수로, 복수의 시점 화상마다 곱하여 복수의 시점 화상을 합성함으로써 출력 화상을 생성한다. 즉, 시점 변경 처리부(155)는, 수학식 13을 사용하여 주피사체에 대한 전방 흐려짐 중첩을 저감시킬 경우, 상 p1 근방에 있어서, 상 p1과 흐려짐 상 Γ1의 겹침이 적은 제1 시점 화상의 제1 가중 계수 Wa를, 상 p1과 흐려짐 상 Γ2의 겹침이 많은 제2 시점 화상의 제2 가중 계수 Wb보다 크게 하여 출력 화상을 생성한다.
바꾸어 말하면, 시점 변경 처리부(155)는, 화상의 소정 영역에 있어서, 가장 가까운 측의 피사체가 가장 넓은 범위에서 촬영되고 있는 시점 화상의 가중 계수를 가장 작게 하거나, 또는, 가장 가까운 측의 피사체가 가장 좁은 범위에서 촬영되고 있는 시점 화상의 가중 계수를 가장 크게 한다. 또한, 시점 변경 처리부(155)는, 출력 화상의 소정 영역에 있어서, 콘트라스트 평가값이 가장 작은 시점 화상의 가중 계수를 가장 작게 하거나, 또는, 콘트라스트 평가값이 가장 큰 시점 화상의 가중 계수를 가장 크게 한다.
이때, 시점 변경 처리부(155)는, 필요에 따라, 시점 이동 처리를 행하지 않는 소정 영역이 아닌 영역에서는, 결상광학계의 흐려짐 형상을 변화시키지 않도록, 복수의 시점 화상의 가중 계수(제1 가중 계수 및 제2 가중 계수)를 대략 균등하게 가산하여, 출력 화상을 생성해도 된다. 이때, 유저의 지정에 따라 가중 계수(즉 가산 비율)를 변경하여 출력 화상을 생성하는 방법을 후술하지만, 시점 이동 처리를 행하는 소정 영역을 유저가 지정하여도 된다.
(동공 어긋남에 대한 시점 이동 처리)
다음에, 촬상소자(107)의 주변 상고에 있어서의 동공 어긋남에 대해 설명한다. 도 15a 내지 도 15c는, 각 화소의 부화소 201과 부화소 202가 각각 수광하는 동공 부분 영역(501, 502)과 결상광학계의 사출 동공(400)의 관계를 나타내고 있다.
도 15a는, 결상광학계의 사출 동공 거리 Dl과 촬상소자(107)의 설정 동공 거리 Ds가 같은 경우를 나타내고 있다. 이 경우, 결상광학계의 사출 동공(400)은, 중앙 상고와 주변 상고 모두에서, 동공 부분 영역 501과 동공 부분 영역 502에 의해 대략 균등하게 분할된다.
도 15b는, 결상광학계의 사출 동공 거리 Dl이 촬상소자(107)의 설정 동공 거리 Ds보다 짧은 경우를 나타내고 있다. 이 경우, 주변 상고에서는, 결상광학계의 사출 동공(400)이, 동공 부분 영역 501과 동공 부분 영역 502에 의해 불균일하게 분할된다. 도 15b의 예에서는, 동공 부분 영역 501에 대응한 제1 시점 화상의 실효 조리개 값이, 동공 부분 영역 502에 대응한 제2 시점 화상의 실효 조리개 값보다 작은(밝은) 값이 된다. 반대측의 상고(미도시)에서는, 동공 부분 영역 501에 대응한 제1 시점 화상의 실효 조리개 값이, 동공 부분 영역 502에 대응한 제2 시점 화상의 실효 조리개 값보다 큰(어두운) 값이 된다.
도 15c는, 결상광학계의 사출 동공 거리 Dl이 촬상소자(107)의 설정 동공 거리 Ds보다 긴 경우다. 이 경우도, 주변 상고에서는, 결상광학계의 사출 동공(400)이, 동공 부분 영역 501과 동공 부분 영역 502에 의해 불균일하게 분할된다. 도 15c의 예에서는, 동공 부분 영역 501에 대응한 제1 시점 화상의 실효 조리개 값이, 동공 부분 영역 502에 대응한 제2 시점 화상의 실효 조리개 값보다 큰(어두운) 값이 된다. 반대측의 상고(미도시)에서는, 동공 부분 영역 501에 대응한 제1 시점 화상의 실효 조리개 값이, 동공 부분 영역 502에 대응한 제2 시점 화상의 실효 조리개 값보다 작은(밝은) 값이 된다.
즉, 동공 어긋남에 의해 주변 상고에서 동공 분할이 불균일해지기 때문에, 제1 시점 화상과 제2 시점 화상의 실효 F값도 불균일해진다. 이 때문에, 제1 시점 화상과 제2 시점 화상의 어느 한개의 흐려짐의 퍼짐이 커지고, 다른쪽의 흐려짐의 퍼짐이 작아진다.
따라서, 시점 변경 처리부(155)는, 필요에 따라, 출력 화상의 소정 영역에 있어서, 실효 조리개 값이 가장 작은 시점 화상의 가중 계수를 가장 작게 하고, 실효 조리개 값이 가장 큰 시점 화상의 가중 계수를 가장 크게 하는 것이 바람직하다. 이러한 시점 이동 처리를 행함으로써, 주피사체에의 전방 흐려짐 중첩을 저감시킬 수 있다.
(피사계 심도 확대 처리)
다음에, 시점 변경 처리부(155)에 의한 심도 확대 처리에 대하여, 다시 도 14b를 참조하여 설명한다. 상기한 바와 같이 도 14b에 있어서, 동공 부분 영역 501을 통과한 상이 제1 시점 화상이고, 동공 부분 영역 502를 통과한 상이 제2 시점 화상이다. 각 시점 화상은, 도 14에 나타낸 것과 같이, 본래의 동공 부분 영역의 절반을 통과하여 얻어지는 화상이기 때문에, 수평방향으로 동공 분할 영역이 2분할된 경우에는 수평방향의 조리개 직경이 절반이 된다. 이 때문에, 수평방향의 피사계 심도는 4배가 된다. 한편, 본 실시형태에서는, 수직방향으로 동공 분할이 행해지지 않기 때문에, 수직방향의 피사계 심도의 변화는 없다. 따라서, 제1 시점 화상 또는 제2 시점 화상은, 제1 시점 화상과 제2 시점 화상을 합성하여 얻어진 화상(A+B 상)의 피사계 심도에 대하여, 수평 및 수직 방향으로 평균으로 2배의 피사계 심도를 가지는 화상이 된다.
이렇게, 시점 변경 처리부(155)는, 제1 시점 화상 또는 제2 시점 화상의 가산 비율을 1:1 이외의 값으로 경하여 합성 화상을 생성함으로써, 피사계 심도가 확대한 화상을 생성할 수 있다. 또한, 시점 변경 처리부(155)는, 전술한 콘트라스트 분포와 상 어긋남 분포를 사용한 언샤프 마스크 처리를, 제1 시점 화상 또는 제2 시점 화상의 가산 비율을 변경하여 얻어진 화상에 적용한다. 이렇게 함으로써, 피사계 심도를 확대하고, 또한 윤곽을 강조한 합성 화상을 생성할 수 있다. 이와 같은 심도 확대 처리에서는, 시점 이동 처리와 마찬가지로, 소정 영역을 유저의 지정에 따라 처리하도록 하여도 된다. 이때, 시점 화상으로부터 합성 화상은 시점 변경 처리부(155)로부터 출력되면, 화상에 전술한 현상 처리가 적용되고, 현상 처리된 화상을 화상처리부(125)가 출력한다.
(촬상 화상의 시점 이동 및 초점 조정의 일련의 동작)
다음에, 도 16을 참조하여, 촬상 화상의 시점 이동 및 초점 조정의 일련의 조작에 대해 설명한다. 이때, 본처리는, 조작부(132)에 포함되는 릴리즈 스위치 등이 유저에 의해 눌러졌을 경우에 개시된다. 이때, 본처리는, 제어부(121)가 ROM(미도시)에 기억된 프로그램을 RAM의 작업용 영역에 전개하고 프로그램을 실행하는 동시에, 화상처리부(125) 등의 각 부를 제어함으로써 실현된다.
스텝 S101에 있어서, 촬상소자(107)는, 제어부(121)의 지시에 따라 촬상을 행한다. 스텝 S102에 있어서, 촬상소자(107)는, 시차 화상 데이터를 출력한다. 구체적으로, 촬상소자(107)는, 전술한 시점 화상(A+B 상과 A상)을 1개의 파일 포맷의 화상 데이터로서 출력한다. 또한, 기록매체(133)는, 촬상소자(107)로부터 출력된 화상 데이터를 일시적으로 기억한다.
스텝 S103에 있어서, 화상처리부(125)는, 제어부(121)의 지시에 따라 시차 화상 데이터를 판독한다. 예를 들면, 화상처리부(125)는, 기록매체(133)에 기억한 화상 데이터를, 화상 취득부(151)를 사용하여 취득한다. 이 스텝에서, 화상처리부(125)는, A+B 상으로부터 B상을 생성하고, 예를 들면, 좌측의 시점의 화상인 제1 시점 화상(A상)과, 우측의 시점의 화상인 제2 시점 화상(B상)을 취득한다. 스텝 S104에 있어서, 제어부(121)는, 조작부(132)와 화상처리부(125)의 출력을 제어하여, (후술하는) 시점 화상 조작 처리, 즉, 촬상 화상에 대한 시점 이동 및 초점 조정을 행한다. 제어부(121)는, 시점 화상 조작 처리를 마치면, 본 일련의 처리를 종료한다.
(시점 화상 조작 처리의 일련의 동작)
다음에, 스텝 S104에 있어서의 시점 화상 조작 처리의 일련의 동작에 대하여, 도 17에 나타내는 흐름도를 참조하여 설명한다. 이때, 이하의 설명에서는, 시점 이동(및 피사계 심도의 변경)을 행하기 위한 유저 인터페이스(시점 이동 UI)에 있어서의 조작을, 초점 조정을 행하기 위한 유저 인터페이스(초점 조정 UI)에 있어서의 조작 이전에 행하는 예를 나타낸다. 그러나, 초점 조정 UI 조작을, 시점 이동 UI 조작 이전에 실시해도 된다.
스텝 S201에 있어서, 제어부(121)는, 시점 이동 UI와 초점 조정 UI를 구비한 유저 인터페이스(간단히 UI라고 한다)와, 촬영 화상을 표시부(131)에 표시시킨다.
스텝 S202에 있어서, 제어부(121)는, 조작부(132)를 거쳐 입력된 유저 조작에 근거하여, 시점 이동을 행할 것인지 아닌지를 판정한다. 제어부(121)는, 입력된 유저 조작이 시점 이동을 행하는 것을 나타낼 경우, 시점 이동을 행한다고 판정하여 처리를 스텝 S203으로 진행한다. 한편, 입력된 유저 조작이 시점 이동을 행하는 것을 나타내지 않을 경우, 제어부(121)는 시점 이동을 행하지 않는다고 판정하여 처리를 스텝 S207로 진행한다.
스텝 S203에 있어서, 제어부(121)는, 조작부(132)를 거쳐 시점 이동 UI를 조작하는 유저 조작을 더 취득한다. 도 19a는 표시부(131)에 표시하는 시점 이동 UI의 일례를 나타내고 있다. 도 19a의 예에서는, UI를 구성하는 일부의 영역 1000에 화상(촬영 화상이나 시점 화상)을 표시한다. 상기한 것과 같이, 본 실시형태에서는, 수평방향으로 동공이 2개로 분할된 화상이 얻어지기 때문에, 좌우 시점 화상만을 사용하여 시점 영상을 생성한다.
시점 이동 UI는, 유저가 조작부재를 시점이 변화하는 방향으로 조작 가능하도록, 슬라이더 1001과 슬라이더 바 1002를 수평방향으로 표시한다. 이에 따라, 유저가 시점 이동을 보다 직감적으로 조작할 수 있다.
스텝 S204에 있어서, 제어부(121)는 화상처리부(125)를 사용하여, 시점 화상의 가산 비율을 변경하여 합성 화상을 생성한다. 구체적으로, 화상처리부(125)는, 조작 정보 취득부(154)를 거쳐 스텝 S203에 있어서 지정된 슬라이더 1001의 위치를 취득한다. 화상처리부(125)는, 슬라이더 101의 위치에 따라 제1 시점 화상과 제2 시점 화상의 가산 비율을 변경하여 이들 화상을 합성(즉 시점 이동 처리를 행)함으로써, 시점 이동한 화상을 생성한다. 슬라이더 바 1002의 우측 끝의 값을 1, 중앙의 값을 0, 좌측 끝의 값을 -1로 정의하면, 화상처리부(125)는, 슬라이더 1001이 위치 x에 있을 경우, 제1 시점 화상과 제2 시점 화상의 비율이 (1+x):(1-x)가 되도록 가산 비율을 변경한다.
스텝 S205에 있어서, 제어부(121)는, 화상처리부(125)를 사용하여, 스텝 S204에 있어서 합성된 화상에 현상 처리를 적용한다. 이 현상 처리는, 도 18의 흐름도를 참조하여 후술한다. 스텝 S206에 있어서, 제어부(121)는, 스텝 S205에 있어서 현상 처리를 적용한 화상을 표시부(131)에 표시한다.
스텝 S207에 있어서, 제어부(121)는, 조작부(132)를 거쳐 입력된 유저 조작에 근거하여, 초점 조정을 행할 것인지 아닌지를 판정한다. 제어부(121)는, 입력된 유저 조작이 초점 조정을 행하는 것을 나타낼 경우, 초점 조정을 행한다고 판정하여 처리를 스텝 S208로 진행한다. 한편, 입력된 유저 조작이 초점 조정을 행하는 것을 나타내지 않을 경우, 제어부(121)는 초점 조정을 행하지 않는다고 판정하여 일련의 처리를 종료한다.
스텝 S208에 있어서, 제어부(121)는, 조작부(132)를 거쳐 초점 조절 UI를 조작하는 유저 조작을 더 취득한다. 도 19a는 초점 조정 UI의 일례를 나타내고 있다. 전술한 시점 이동 UI에서는, 시점 이동하는 방향으로 슬라이더 바가 설정되는 반면에, 초점 조정 UI에서는, 시점 이동과는 다른 방향으로(각도에서) 슬라이더 바가 설정된다. 도 19a의 예에서는, 초점 조정 UI의 슬라이더 바 1003과 슬라이더 1004는, 시점 이동 UI의 슬라이더 바 1002의 방향과 직교하는 방향(즉 상하 방향)으로 설정된다. 예를 들면, 제어부(121)는, 슬라이더 1004가 상측으로 움직이면, 후 초점 상태가 강해지는 방향으로, 초점 조정을 제어한다. 슬라이더 1004가 하측으로 움직이면, 제어부(121)는, 전 초점 상태가 강해지는 방향으로 초점 조정을 제어한다. 초점 조정 범위는, 전술한 리포커스 가능 범위에 대응하고, 수학식 10에 따라서 산출된다.
스텝 S209에 있어서, 제어부(121)는, 화상처리부(125)를 사용하여 스텝 S208에서 지정된 슬라이더 위치에 근거하여, 초점 조정 위치를 산출하는 동시에 전술한 리포커스 처리를 행한다. 화상처리부(125)는, 슬라이더 바 1002에 대한 슬라이더 1004의 위치에 근거하여, 포커스 가능 범위에 대응하는 디포커스 량(혹은 시프트 량)을 결정한다. 스텝 S210에 있어서, 제어부(121)는, 화상처리부(125)를 사용하여 현상 처리를 행한다. 그리고, 제어부(121)는, 스텝 S211에 있어서, 표시부(131)에 현상 처리된 화상을 표시시키고, 시차 화상 조작 처리의 일련의 동작을 종료하고, 호출원으로 처리를 되돌린다.
(현상 처리의 일련의 동작)
다음에, 스텝 S205 및 S210에 있어서의 현상 처리에 대하여, 도 18을 참조하여 설명한다. 스텝 S301에 있어서, 화상처리부(125)는, 화이트의 영역의 R, G, B가 같은 색이 되도록 R, G, B에 게인을 걸어서 화이트 밸런스 처리를 행한다. 스텝 S302에 있어서, 화상처리부(125)는, 디모자이크 처리를 행한다. 구체적으로, 화상처리부(125)는, 입력 화상에 대하여 각각의 정의된 방향에서 보간을 행하고, 그후 방향 선택을 행함으로써, 각 화소에 대하여 보간처리 결과로서 R, G, B의 3원색의 칼라 화상신호를 생성한다.
스텝 S303에 있어서, 화상처리부(125)는, 감마 처리를 행한다. 스텝 S304에 있어서, 화상처리부(125)는, 화상의 외관을 개선하기 위해, 노이즈 저감, 채도 강조, 색상 보정, 에지 강조 등의 각종의 색 조정 처리를 행한다. 스텝 S305에 있어서, 화상처리부(125)는, 스텝 S304에 있어서 색 조정된 칼라 화상신호를 JPEG 등의 소정의 방식으로 압축 처리하고, 압축된 화상 데이터를 출력한다. 스텝 S306에 있어서, 제어부(121)는, 화상처리부(125)로부터 출력된 화상 데이터를 기록매체(133)에 기록하여 현상 처리의 일련의 동작을 종료하고, 호출원으로 처리를 되돌린다.
(시점 이동 UI 및 초점 조정 UI의 예)
다음에, 도 19b 내지 도 19e를 참조하여, 전술한 시점 이동 UI 및 초점 조정 UI의 조작 예와 조작후의 합성 화상의 예를 설명한다. 도 19b는, 초점 조정 UI를 조작하여 리포커스 처리를 행하여 얻어진 합성 화상을 표시한 예를 나타내고 있다. 슬라이더 1004를 아래쪽으로 움직이는 유저 조작에 응답하여, 제어부(121)는, (화상처리부(125)를 사용하여) 전 초점 상태가 강해지도록 초점 조정(리포커스 처리)을 행하여 출력 화상을 표시하고 있다.
도 19c는, 도 19b로부터 시점 이동 UI의 슬라이더 1001을 더 우측 방향으로 이동시켜서, 시점 이동 처리를 행한 합성 화상을 표시한 예를 나타내고 있다. 슬라이더 1001을 우측 방향으로 움직이는 유저 조작에 응답하여, 제어부(121)는, (화상처리부(125)를 사용하여) 시점 이동 처리를 행하여 피사계 심도를 확대하여 출력 화상을 표시하고 있다. 또한, 도 19d는, 도 19b로부터 시점 이동 UI의 슬라이더 1001을 좌측 방향으로 이동시켜, 시점 이동 처리를 행하여, 피사계 심도를 확대하여 얻어진 합성 화상을 표시한 예를 나타내고 있다. 이렇게 시점 이동 UI와 초점 조정 UI를 병행하여 조작할 수 있도록, 조작부재인 슬라이더와 슬라이더 바를 배치함으로써, 유저가 시점 이동, 피사계 심도의 확대 및 리포커스 처리를 병행하여(동시에) 행하는 것이 가능해 진다.
도 20에는, 전술한 시차 강조 처리와 샤프니스 처리에 있어서의 강조 정도를 변경가능한 UI를 더 추가한 예를 나타내고 있다. 제어부(121)는, 도 19a 내지 도 19d에 나타낸 UI 이외에, 강조 정도를 변경할 수 있는 슬라이더 1005와 슬라이더 바 1006을 배치한다. 이 슬라이더 1005에 대한 조작은, 시차 강조 처리에 있어서의 변수 k, 또는 샤프니스 처리에 있어서의 적용량 T에 대응하는 파라미터를 변화시켜, 표시되는 합성 화상에 있어서의 강조 정도를 변경한다.
이때, 본 실시형태에서는, 각 화소가 종방향으로 분할된 촬상소자에서 얻어진 신호에 근거하여 수평방향으로 시점 이동 처리를 행하기 때문에, 시점 이동 UI를 수평방향으로 배치하였다. 그러나, 촬상소자의 분할 방향이 수평방향이 아닌(예를 들면, 수직방향) 경우에는, 시점 이동 UI를 배치하는 방향을 해당 분할 방향에 따라(예를 들면, 수직방향) 배치해도 된다. 이 경우, 초점 조정 UI는, 시점 이동 UI와 다른 방향으로 배치하여 이 두 개의 UI의 구별을 보다 명확하게 하고, 수직방향을 유지하여, 초점 위치에 대한 조작을 보다 직관적으로 행하여도 된다.
이상에서 설명한 것과 같이, 입사하는 광선의 강도 정보와 각도 정보를 포함하는 화상신호를 취득한 후에, 시점을 이동하는 조작과 초점 위치를 조정하는 조작을 접수하고, 해당 조작에 따른 합성 화상을 생성하여 표시하도록 하였다. 이렇게 함으로써, 유저가 시점 이동, 피사계 심도의 확대 및 초점 위치의 조정(리포커스)을 병행하여 행하는 것이 가능하다. 바꾸어 말하면, 복수의 시점 화상에 근거하여, 시점 변경 화상을 표시시키는 조작과 초점 위치를 변경한 화상을 표시시키는 조작을 병행하여 행하는 것이 가능하게 된다.
또한, 강조 정도를 변경하는 조작을 더 접수하는 것에 의해, 초점 조정이 된 합성 화상의 강조 처리를 더 병행하여 행하는 것이 가능해 진다. 더구나, 입사하는 광선의 강도 정보와 각도 정보를 포함하는 화상신호를 취득하는 촬상소자의 화소가 수평방향으로 복수의 부분으로 분할되어 있을 경우에는, 시점 이동 UI를 수평방향으로 조작 가능하게 배치하도록 하였다. 이것은 시점의 이동가능한 방향과 유저가 조작가능한 방향과 일치하기 때문에, 유저는 보다 직관적으로 조작을 행할 수 있다.
(실시형태2)
다음에, 실시형태 2에 대해 설명한다. 실시형태 2에서는, 화상의 종 위치 표시 및 횡 위치 표시를 전환하여 시점 화상의 조작을 행하는 예에 대해 설명한다. 본 실시형태의 디지털 카메라(100)의 구성은 실시형태 1과 동일 구성이며, 시차 화상 조작 처리의 일부가 다르다. 이 때문에, 동일한 구성을 동일한 부호로 표시하여 중복하는 설명은 생략하고, 차이점에 대하여 중점적으로 설명한다.
(시점 화상 조작 처리의 일련의 동작)
본 실시형태에 따른 시점 화상 조작 처리에 대하여 도 21을 참조하여 설명한다. 스텝 S401에 있어서, 제어부(121)는, 화상 데이터의 종 위치 표시를 행할 것인지 아닌지를 판정한다. 제어부(121)는, 예를 들면, 화상의 메타 데이터를 참조하여 입력 화상이 종 위치에서 촬영된 것인지 판정한다. 제어부(121)는, 화상이 종 위치에서 촬영된 것으로 판정했을 경우, 종 위치 표시를 행하기 위하여 스텝 S402로 처리를 진행한다. 한편, 화상이 종 위치에서 촬영된 것이 아니라고 판정했을 경우, 제어부(121)는, 횡 위치 표시를 행하기 위하여 스텝 S403으로 처리를 진행한다. 이때, 스텝 S401의 판정에서는, 유저가 조작부(132)의 버튼 등을 사용하여 종 위치 표시를 설정했을 경우에 종 위치 표시를 행하여도 되고, 메타 데이터로부터 촬상소자의 화소의 분할 방향을 나타내는 정보를 취득하고, 해당 분할 방향에 따라 표시의 방향을 판정해도 된다.
스텝 S402에 있어서, 제어부(121)는, 종 위치에서 화상을 표시하고, 시점 이동 UI를 수직방향으로 변경 가능하게 표시하는 동시에, 초점 조정 UI를 수평방향으로 변경 가능하게 표시한다. 한편, 스텝 S403에 있어서, 제어부(121)는, 횡 위치에서 화상을 표시하고, 시점 이동 UI를 수평방향으로 변경 가능하게 표시하는 동시에, 초점 조정 UI를 수직방향으로 변경 가능하게 표시한다. 그후, 제어부(121)는, 스텝 S202 내지 S211의 처리를 실시형태 1과 마찬가지로 행하고, 호출원으로 처리를 되돌린다.
이상에서 설명한 것과 같이 본 실시형태에서는, 입력한 화상이 종 위치 표시 또는 횡 위치 표시인지에 따라, 시점 이동 UI 및 초점 조정 UI를 동적으로 전환하도록 하였다. 따라서, 유저는, 표시 방향이 다른 촬영 화상이 존재할 경우에도, 촬영 화상의 시점 이동을 행할 수 있는 방향에 맞춘 조작을 행하는 것이 가능하다.
(실시형태 3)
다음에, 실시형태 3에 대해 설명한다. 실시형태 3의 차이점은, 각 화소가 수평방향과 수직방향으로 각각 2분할된 촬상소자를 사용하는 점이다. 이 때문에, 이 점 이외의 디지털 카메라(100)의 구성은, 실시형태 1과 동일하다. 따라서, 동일한 구성을 동일한 부호로 표시하여 중복하는 설명은 생략하고, 차이점에 대하여 중점적으로 설명한다.
본 실시형태에 따른 촬상소자(107)의 화소 및 부화소의 배열에 대하여, 도 22를 참조하여 설명한다. 도 22는, 본 실시형태의 촬상소자(107)에 대하여, 화소의 배열을 4열×4행의 범위에서, 부화소의 배열을 8열×8행의 범위에서 나타내고 있다.
본 실시형태에 있어서, 도 22에 나타내는 2열×2행의 화소군 200에서는, R(적색)의 분광감도를 가지는 화소 200R이 좌측 위 모서리에, G(녹색)의 분광감도를 가지는 화소 200G가 우측 위와 좌측 아래 모서리에, B(청색)의 분광감도를 가지는 화소 200B가 우측 아래 모서리에 각각 배치되어 있다. 또한, 각 화소는 2열×2행으로 배열된 부화소 221 내지 부화소 224에 의해 구성된다.
촬상소자(107)는, 도 22에 나타내는 4열×4행의 화소(8열×8행의 부화소)를 면 위에 다수 배치하여, 촬상 화상(부화소 신호)의 취득을 가능하게 하고 있다. 촬상소자(107)는, 예를 들면, 화소의 주기 P가 4㎛, 화소 수 N이 5575열(수평 방향)×3725행(수직방향)=약 20750000 화소, 부화소의 주기 PSUB이 2㎛, 부화소 수 NSUB이 11150열(수평방향)×7450행(수직방형)=약 83000000 화소의 촬상소자가 된다.
도 23a는 도 22에 나타내는 1개의 화소 200G를 촬상소자(107)의 수광면 측(+z측)에서 본 평면도이고, 도 23b는 도 23a의 a-a 단면을 -y측에서 본 단면도이다. 도 23a에 나타낸 것과 같이, 본 실시형태의 화소 200G에서는, x 방향으로 NH 분할(2분할)되고, y 방향으로 NV 분할(2분할)된 광전변환부 2301 내지 2304가 형성된다. 광전변환부 2301 내지 2304는, 각각 부화소 221 내지 224에 대응한다.
본 실시형태에서는, 제1 시점 화상은, 각 화소의 부화소 201의 수광신호를 모아서 생성된다. 마찬가지로, 제2 시점 화상은 각 화소의 부화소 202의 수광신호를 모아서 생성되고, 제3 시점 화상은 각 화소의 부화소 203의 수광신호를 모아서 생성되고, 제4 시점 화상은 각 화소의 부화소 204의 수광신호를 모아서 생성된다. 이때, 본 실시형태에서는, 제1 시점 화상 내지 제4 시점 화상은 베이어 배열을 갖는 화상이며, 필요에 따라, 제1 시점 화상 내지 제4 시점 화상에 디모자이크 처리를 행해도 된다.
j, i를 정수로 가정하고, 촬상소자(107)의 행방향 j번째 위치 및 열방향 i번째의 위치를 (j,i), 위치(j,i)의 화소의 제1 시점 화상을 A0(j,i), 제2 시점 화상을 B0(j,i), 제3 시점 화상을 C0(j,i), 제4 시점 화상을 D0(j,i)으로 나타낸다. 이때, 촬상 화상 I는, I(j,i)=A0(j,i)+B0(j,i)+C0(j,i)+D0(j,i)이다.
(시점 화상 수정과 리포커스)
시점 변경 처리부(155)는, 실시형태 1과 마찬가지로, 콘트라스트 처리를 행한다. 즉, 시점 변경 처리부(155)는, 베이어 배열의 촬상 화상 I(j,i)에 대하여, 수학식 1에 따라 휘도 Y(j,i)를 산출한다. 또한, 시점 변경 처리부(155)는, 고주파 성분 dY(j,i), 고주파 성분 dZ(j,i), 콘트라스트 분포 C(j,i)를 산출한다.
다음에, 시점 변경 처리부(155)는, 시점 화상의 시차 강조 처리를 행한다. 시점 변경 처리부(155)는, 제1 시점 화상 A0(j,i) 내지 제4 시점 화상 D0(j,i)에 대하여, 수학식 15 및 수학식 16에 따라서 시점 화상 사이의 차이를 확대하여, 시차 강조 변환을 행한다. 시점 변경 처리부(155)는, 이 처리에 의해, 제1 수정 시점 화상 A(j,i) 내지 제4 수정 시점 화상 D(j,i)의 수정 시점 화상을 생성한다. 이하의 수학식에서, 0≤kAB, kAC, kAD, kBC, kBD, kCD≤1이고 이들은 실수이다.
Figure pct00015
Figure pct00016
그리고, 리포커스 처리부(156)는, 시점 변경 처리부(155)에 의해 출력된 수정 시점 화상을 사용하여 리포커스 처리를 행한다. 구체적으로, 리포커스 처리부(156)는, 정수 시프트 량 s를 사용하여 수학식 17에 따라 제1 수정 시점 화상 A 내지 제4 수정 시점 화상 D를 시프트 가산한다.
Figure pct00017
즉, 정수 시프트 량 s에 따른 각 가상 결상면에서의 리포커스 화상 I(j, i;s)를 생성할 수 있다. 이때, 제1 수정 시점 화상 A 내지 제4 수정 시점 화상 D가 베이어 배열을 갖기 때문에, 2의 배수인 시프트 량 s=2n(n: 정수)에 의해, 각 색마다 수학식 10의 시프트 가산을 행하여, 베이어 배열을 유지하면서, 리포커스 화상 I(j, i;s)를 생성한다. 화상처리부(125)는, 생성된 리포커스 화상 I(j, i;s)에 디모자이크 처리를 행한다.
이때, 필요에 따라, 제1 수정 시점 화상 내지 제4 수정 시점 화상에 디모자이크 처리를 적용하고, 리포커스 처리부(156)는 디모자이크 처리후의 제1 수정 시점 화상 내지 제4 수정 시점 화상에 시프트 가산 처리를 행하여 리포커스 화상을 생성해도 된다. 또한, 리포커스 처리부(156)는, 필요에 따라, 제1 수정 시점 화상 내지 제4 수정 시점 화상의 각 화소 사이의 보간신호를 생성하여, 비정수 시프트 량에 따른 리포커스 화상을 생성해도 된다.
(상 어긋남 분포)
본 실시형태에 있어서의 시점 화상의 상 어긋남 분포에 대해 설명한다. 수평방향의 동공 분할 방향의 상 어긋남 분포는 실시형태 1과 같기 때문에 설명을 생략한다. 수직방향의 동공 분할 방향의 상 어긋남 분포에 대해 설명한다.
시점 변경 처리부(155)는, 2차원적인 상을 수직방향의 동공 분할 방향으로만 k 화소 만큼 움직여서, 제1 시점 화상 A0의 화소와 제3 시점 화상 C0의 차분을 취한다. 따라서, 복수 행을 가산하는 상관 연산은 수학식 18로 정의된다.
Figure pct00018
단, A0ij, C0ij는 각각 제1 시점 화상 A0 및 제3 시점 화상 B0의 j열째 i번째의 화소의 휘도를 표시한다. 또한, ni는 연산에 사용하는 화소수를 표시하는 숫자, nj는 상관 연산의 대상인 한 열 방향의 화상 쌍들의 수이다.
시점 변경 처리부(155)는, 수학식 18에 나타내는 COR'(k)이 최소가 되는 k를 상 어긋남 량으로서 산출한다. 이때, 첨자 k는 j에만 부가되고 i와는 무관계이다. 이것은, 2차원적인 상을 수직방향의 동공 분할 방향으로만 이동시키면서 상관 연산을 행하고 있기 때문이다. 이렇게, 시점 변경 처리부(155)는, 제1 시점 화상 A0 및 제3 시점 화상 C0의 각 영역의 상 어긋남 량을 산출함으로써, 상 어긋남 분포를 생성할 수 있다. 이때, 본 실시형태에서는 A0과 C0을 사용했지만, B0과 D0을 사용하여, 또는 A0과 B0을 가산하여 얻어진 신호와 C0과 D0을 가산하여 얻어진 신호를 사용하여, 상관 연산을 해도 된다.
(피사계 심도 확대 처리)
시점 변경 처리부(155)는, 실 계수 w(-1≤w≤1)를 사용하여, 수학식 19A 내지 19D에 따라서 각 시점 화상의 가중 계수를 각각 산출한다.
Figure pct00019
여기에서, Wa(j,i)은 제1 시점 화상 A(j,i)의 제1 가중 계수, Wb(j,i)은 제2 시점 화상 B(j,i)의 제2 가중 계수, Wc(j,i)은 제3 시점 화상 C(j,i)의 제3 가중 계수, Wd(j,i)은 제4 시점 화상 D(j,i)의 제4 가중 계수다.
시점 변경 처리부(155)는, 각 시점 화상과 대응하는 가중 계수로부터, 수학식 20에 따라서 출력 화상 I(j,i)를 생성한다.
Figure pct00020
(시점 이동 UI 및 초점 조정 UI의 예)
본 실시형태에 따른 시점 이동 UI와 초점 조정 UI의 구성에 대하여, 도 24를 참조하여 설명한다. 본 실시형태의 구성에서는, 동공 분할 방향이 2방향, 즉 수평방향과 수직방향으로 분할되어 있기 때문에, 유저는 수직방향과 수평방향에서 시점 이동시키는 것이 가능하다. 이 때문에, 본 실시형태에서는, 유저가 2개의 방향으로 조작을 할 수 있도록 2축의 슬라이더와 슬라이더 바를 설치한다.
수평방향의 시점 이동에는 수평방향의 슬라이더 바 3001과 슬라이더 3002를 배치하고, 수직방향의 시점 이동에는 수직방향의 슬라이더 바 4001과 슬라이더 4002를 배치한다. 초점 조정 UI에서는, 시점 이동 UI가 배치되는 방향과 다른 방향으로 슬라이더 바 5001과 슬라이더 5002를 배치한다. 이때, 초점 조정 UI는, 십자형으로 배치된 시점 이동 UI의 교점을 통과하도록 배치되어 있지만, 다른 위치에 배치되어도 된다. 이렇게, 시점 이동의 슬라이더를 2방향으로 이동시킴으로써, 제1 내지 제4 시점 화상의 가중 계수를 변경하여, 시점이 다른 화상을 생성할 수 있다. 그리고, 실시형태 1과 마찬가지로, 시점 이동 UI와 초점 조정 UI를 병행하여(동시에) 조작하는 것이 가능하게 된다.
이상에서 설명한 것과 같이, 본 실시형태에서는, 입사하는 광선의 강도 정보와 각도 정보를 포함하는 화상신호를 취득한 후에, 2차원 형상(수평 및 수직방향)으로 시점을 이동하는 조작과, 초점 위치를 조작하는 조작을 접수하고, 해당 조작에 따른 합성 화상을 생성하여, 표시하도록 하였다. 따라서, 입력한 화상신호로부터 2차원 형상으로 시점을 이동시켜 화상을 생성가능할 경우에, 유저는 2차원 형상의 시점 이동 및 초점 위치의 조정(리포커스)을 병행하여 행할 수 있다.
(실시형태 4)
다음에, 실시형태 4에 대해 설명한다. 실시형태 4에서는, 화상을 종 위치 표시 또는 횡 위치 표시로 전환하여 시점 화상의 조작을 행할 때의 UI의 표기(전술한 시점 이동 UI 등에 부착하는 표시)를 제어하는 예에 대해 설명한다. 시점 화상의 조작을 행하는 UI의 표기는, 예를 들면, 시점 화상의 조작에 따라 시점 화상의 시점이 변경되는 방향을 나타낸다. 본 실시형태의 디지털 카메라(100)의 구성은 실시형태 1과 동일 구성이며, 시차 화상 조작 처리의 일부가 다르다. 이 때문에, 동일한 구성에 대해서는 동일한 부호를 사용하여 표시하여 설명은 생략하고, 차이점에 대하여 중점적으로 설명한다.
(시점 화상 조작 처리의 일련의 동작)
본 실시형태에 따른 시점 화상 조작 처리에 대하여, 도 25a 및 도 25b를 참조하여 설명한다. 도 25a의 스텝 S501에 있어서, 제어부(121)는, 시차 화상의 조작을 행하는 UI의 표기를 화상의 종 위치 표시에 맞출지를 판정하기 위하여, 입력 화상을 종 위치에서 표시할 것인지를 판정한다. 제어부(121)는, 예를 들면, 입력 화상의 메타 데이터를 참조하여 입력 화상이 종 위치에서 촬영된 화상인지를 판정한다. 입력 화상을 종 위치에서 표시하는 것으로 판정한 경우에는, 제어부(121)는, UI의 표기를 종 위치와 맞추기 위하여 스텝 S502로 처리를 진행한다. 한편, 입력 화상이 종 위치에서 촬영된 화상이 아니라고 판정했을 경우, 제어부(121)는, 횡 위치용의 표기를 설정하기 위하여 스텝 S503으로 처리를 진행한다. 스텝 S502에 있어서, 제어부(121)는, 화상의 회전 각도를 더 판정한다. 제어부(121)는, 예를 들면, 입력 화상의 메타 데이터를 참조하여 촬영 화상의 각도(예를 들면, 90도 우회전하여 얻어진 종 위치, 또는 90도 좌회전하여 얻어진 종 위치)를 판정한다. 제어부(121)는, 입력 화상이 90도 우회전하여 촬영된 화상이라고 판정했을 경우, 표시부(131)에 90도 우회전의 표기를 설정하기 위하여 스텝 S504로 처리를 진행한다. 한편, 촬영 화상이 90도 우회전하여 촬영되지 않은 화상(종 위치 표시에서 촬영된) 화상이라고 판정했을 경우, 제어부(121)는, 90도 좌회전의 표기를 설정하기 위하여 스텝 S505로 처리를 진행한다. 이때, 스텝 S501 및 스텝 S502에 있어서의 판정은, 유저가 조작부(132)의 버튼 등을 거쳐 종 위치 표시로 설정했을 경우에 종 위치용의 표기가 설정되도록 행하여도 된다. 또한, 메타 데이터로부터 촬상소자의 화소의 분할 방향을 나타내는 정보를 취득하여, 해당 분할 방향에 따라 시차 화상의 조작을 행하는 UI의 표기를 판정해도 된다.
스텝 S503에 있어서, 제어부(121)는, 횡 위치에서 화상을 표시한 후에, 시점 이동의 조작을 행하는 UI의 표기를, 횡 위치용의 표기(좌우 표기)로 하여 표시한다(도 26). 스텝 S504에 있어서, 제어부(121)는, 90도 우회전의 종 위치에서 화상을 표시한 후에, 시점 이동의 조작을 행하는 UI의 표기를, 슬라이더의 좌측을 "위", 우측을 "아래"로 하여 표시한다(도 27). 스텝 S505에 있어서, 제어부(121)는, 90도 우회전의 종 위치에서 화상을 표시한 후에, 시점 이동의 조작을 행하는 UI의 표기를 슬라이더의 좌측을 "아래", 우측을 "위"로 하여 표시한다(도 28). 이렇게 하면, 제어부(121)는, 시점 이동의 조작을 행하는 UI의 표기를 시점 이동 UI의 방향에 따라 전환할 수 있으며, 같은 종 위치에서 해당 표기를 회전 각도에 따라 전환할 수 있다. 스텝 S503 내지 S505의 처리를 종료하면, 제어부(121)는, 도 25b에 나타내는 스텝 S202 내지 S211의 처리를 실시형태 1과 동일하게 행하고, 호출원으로 처리를 되돌린다.
이상에서 설명한 것과 같이 본 실시형태에서는, 입력한 화상이 종 위치 표시 또는 횡 위치 표시인지, 및 화상의 회전 각도에 따라, 시점 이동 UI의 표기를 동적으로 전환하도록 하였다. 유저는, 표시 방향이 다른 촬영 화상이 존재할 경우에도, 촬영 화상의 시점 이동을 행할 수 있는 방향에 맞춘 조작을 행하는 것이 가능하게 된다.
(기타 실시형태)
본 발명은, 상기한 실시형태의 1 이상의 기능을 실현하는 프로그램을, 네트워크 또는 기억매체를 거쳐 시스템 또는 장치에 공급하고, 그 시스템 또는 장치의 컴퓨터에 있어서의 1개 이상의 프로세서가 프로그램을 판독하여 실행하는 처리에서도 실현가능하다. 또한, 1 이상의 기능을 실현하는 회로(예를 들면, ASIC)에 의해서도 실현가능하다.
본 발명은 상기 실시형태에 제한되는 것은 아니고, 본 발명의 정신 및 범위로부터 이탈하지 않고, 다양한 변경 및 변형이 가능하다. 따라서, 본 발명의 범위를 밝히기 위하여, 이하의 청구항을 첨부한다.
본원은, 2016년 3월 24일 제출의 일본국 특허출원 특원 2016-060897, 및 2016년 6월 3일 제출의 일본국 특허출원 특원 2016-112103을 기초로서 우선권을 주장하는 것이며, 그것의 기재 내용의 전체를 여기에 원용한다.
121…제어부, 125…화상처리부, 131…표시부, 132…조작부, 151…화상 취득부, 155…시점 변경 처리부, 156…리포커스 처리부

Claims (18)

  1. 입사하는 광선의 강도 정보와 각도 정보를 포함하는 화상신호를 취득하는 취득 수단과,
    시점을 변경하는 조작과 초점 위치를 변경하는 조작을 접수하는 조작 수단과,
    상기 화상신호에 근거하여 얻어지는 복수의 시점 화상에 근거하여, 상기 시점을 변경하는 조작에 따라 시점을 변경하는 동시에, 상기 초점 위치를 변경하는 조작에 따라 초점 위치를 변경하여 표시 화상을 생성하는 처리 수단을 구비한 것을 특징으로 하는 화상 처리장치.
  2. 제 1항에 있어서,
    상기 조작 수단은, 상기 화상신호에 근거하여 소정의 방향으로 시점을 변경하여 상기 표시 화상을 생성가능할 경우에, 상기 시점을 변경하는 조작을 상기 소정의 방향을 따라 접수하는 것을 특징으로 하는 화상 처리장치.
  3. 제 1항에 있어서,
    상기 조작 수단은, 상기 화상신호에 근거하여 소정의 방향으로 시점을 변경하여 상기 표시 화상을 생성가능할 경우에, 상기 초점 위치를 변경하는 조작을 상기 소정의 방향과 다른 방향을 따라 접수하는 것을 특징으로 하는 화상 처리장치.
  4. 제 2항 또는 제 3항에 있어서,
    상기 조작 수단은, 소정의 위치로부터 상기 소정의 방향으로 따라 위치가 멀어질수록 상기 소정의 방향으로의 시점의 변경이 증가하고, 상기 소정의 위치로부터 상기 소정의 방향을 따라 반대측으로 위치가 멀어질수록, 상기 소정의 방향과 반대의 방향으로 시점의 변경이 증가하도록, 상기 시점을 변경하는 조작을 접수하는 것을 특징으로 하는 화상 처리장치.
  5. 제 2항 내지 제 4항 중 어느 한 항에 있어서,
    상기 소정의 방향은 수평방향 또는 수직방향인 것을 특징으로 하는 화상 처리장치.
  6. 제 5항에 있어서,
    상기 조작 수단은, 횡 위치에 있어서 수평방향으로 시점을 변경가능한 상기 표시 화상을 종 위치에서 표시할 경우, 상기 시점을 변경하는 조작을 수직방향으로 접수하는 것을 특징으로 하는 화상 처리장치.
  7. 제 6항에 있어서,
    상기 시점을 변경하는 조작에 따라 시점이 변경되는 방향을 나타내는 표기를 표시하는 표시 수단을 더 구비하고,
    상기 표시 수단은, 상기 표기를, 상기 조작 수단이 상기 시점을 변경하는 조작을 접수하는 방향에 따라 변경하는 것을 특징으로 하는 화상 처리장치.
  8. 제 2항 내지 제 7항 중 어느 한 항에 있어서,
    상기 조작 수단은, 상기 초점 위치를 변경하는 조작이 소정의 위치로부터 조작을 접수하는 방향으로 멀어질수록 초점 위치의 변경이 증가하도록, 상기 초점 위치를 변경하는 조작을 접수하는 것을 특징으로 하는 화상 처리장치.
  9. 제 1항 내지 제 8항 중 어느 한 항에 있어서,
    상기 조작 수단은, 상기 화상신호에 근거한 표시 화상이 표시된 상태에서 상기 시점을 변경하는 조작과 상기 초점 위치를 변경하는 조작을 접수하는 것을 특징으로 하는 화상 처리장치.
  10. 제 1항 내지 제 9항 중 어느 한 항에 있어서,
    상기 조작 수단은, 상기 표시 화상에 있어서의 윤곽 강조의 정도를 변경하는 조작을 더 접수하고,
    상기 처리 수단은, 상기 윤곽 강조의 정도에 따라, 상기 표시 화상에 있어서의 초점맞춤된 영역에 대한 윤곽 강조를 행하는 것을 특징으로 하는 화상 처리장치.
  11. 제 1항 내지 제 10항 중 어느 한 항에 있어서,
    상기 처리 수단은, 상기 시점을 변경하는 조작에 따라 상기 복수의 시점 화상을 가산하기 위한 가중을 변경하고, 상기 가중을 사용하여 상기 복수의 시점 화상을 가산함으로써, 상기 표시 화상을 생성하는 것을 특징으로 하는 화상 처리장치.
  12. 제 1항 내지 제 11항 중 어느 한 항에 있어서,
    상기 처리 수단은, 상기 초점 위치를 변경하는 조작에 따라 상기 복수의 시점 화상 사이의 시프트 량을 변경하고, 상기 시프트 량에 의해 어긋난 상기 복수의 시차 화상을 가산함으로써, 상기 표시 화상을 생성하는 것을 특징으로 하는 화상 처리장치.
  13. 복수의 부화소들을 포함하는 화소가 2차원 형상으로 배치되고, 상기 부화소들로부터 출력된 신호에 근거하여 입사하는 광선의 강도 정보와 각도 정보를 포함하는 화상신호를 출력하는 촬상소자와,
    시점을 변경하는 조작과 초점 위치를 변경하는 조작을 접수하는 조작 수단과,
    상기 화상신호에 근거하여 얻어지는 복수의 시점 화상에 근거하여, 상기 시점을 변경하는 조작에 따라 시점을 변경하는 동시에, 상기 초점 위치를 변경하는 조작에 따라 초점 위치를 변경함으로써 표시 화상을 생성하는 처리 수단을 구비하고,
    상기 촬상소자에서는, 상기 화소 내에서 소정의 방향으로 복수의 상기 부화소들이 배치되고,
    상기 조작 수단은, 상기 화상신호에 근거하여 상기 소정의 방향으로 시점을 변경하여 상기 표시 화상을 생성가능한 경우에, 상기 시점을 변경하는 조작을 상기 소정의 방향을 따라 접수하는 것을 특징으로 하는 촬상장치.
  14. 제 13항에 있어서,
    상기 조작 수단은, 상기 촬상장치를 사용하여 횡 위치에서 촬영된 상기 화상신호를 횡 위치의 상기 표시 화상으로서 표시할 경우, 상기 시점을 변경하는 조작을 상기 소정의 방향을 따라 접수하고, 횡 위치에서 촬영된 상기 화상신호를 종 위치의 상기 표시 화상으로서 표시할 경우, 상기 시점을 변경하는 조작을 상기 소정의 방향과 수직한 방향을 따라 접수하는 것을 특징으로 하는 촬상장치.
  15. 제 14항에 있어서,
    상기 시점을 변경하는 조작에 따라 시점이 변경되는 방향을 나타내는 표기를 표시하는 표시 수단을 더 구비하고,
    상기 표시 수단은, 상기 표기를, 상기 화상신호가 촬영된 종 위치 또는 횡 위치로부터의 회전각에 따라 변경하는 것을 특징으로 하는 촬상장치.
  16. 취득 수단이, 입사하는 광선의 강도 정보와 각도 정보를 포함하는 화상신호를 취득하게 하는 취득 단계와,
    조작 수단이, 시점을 변경하는 조작과 초점 위치를 변경하는 조작을 접수하게 하는 조작 단계와,
    처리 수단이, 상기 화상신호에 근거하여 얻어지는 복수의 시점 화상에 근거하여, 상기 시점을 변경하는 조작에 따라 시점을 변경하는 동시에, 상기 초점 위치를 변경하는 조작에 따라 초점 위치를 변경하여 표시 화상을 생성하게 하는 처리 단계를 포함하는 것을 특징으로 하는 화상 처리장치의 제어방법.
  17. 복수의 부화소들을 포함하는 화소가 2차원 형상으로 배치되고, 상기 부화소들로부터 출력된 신호에 근거하여 입사하는 광선의 강도 정보와 각도 정보를 포함하는 화상신호를 출력하는 촬상소자를 구비한 촬상장치의 제어방법으로서,
    취득 수단이, 상기 촬상소자로부터 출력되는 상기 화상신호를 취득하게 하는 취득 단계와,
    조작 수단이, 시점을 변경하는 조작과 초점 위치를 변경하는 조작을 접수하게 하는 조작 단계와,
    처리 수단이, 상기 화상신호에 근거하여 얻어지는 복수의 시점 화상에 근거하여, 상기 시점을 변경하는 조작에 따라 시점을 변경하는 동시에, 상기 초점 위치를 변경하는 조작에 따라 초점 위치를 변경하여 표시 화상을 생성하게 하는 처리 단계를 포함하고,
    상기 촬상소자에서, 상기 화소 내에서 소정의 방향으로 복수의 상기 부화소들이 배치되고,
    상기 조작 단계에서는, 상기 화상신호에 근거하여 상기 소정의 방향으로 시점을 변경하여 상기 표시 화상을 생성가능한 경우에, 상기 시점을 변경하는 조작을 상기 소정의 방향을 따라 접수하는 것을 특징으로 하는 촬상장치의 제어방법.
  18. 컴퓨터에, 청구항 16에 기재된 화상 처리장치의 제어방법의 각 단계를 실행시키기 위한 프로그램.
KR1020187029815A 2016-03-24 2017-01-25 화상 처리장치, 촬상장치 및 이들의 제어방법과, 기억매체 KR102157491B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JPJP-P-2016-060897 2016-03-24
JP2016060897 2016-03-24
JP2016112103A JP6757184B2 (ja) 2016-03-24 2016-06-03 画像処理装置、撮像装置およびこれらの制御方法ならびにプログラム
JPJP-P-2016-112103 2016-06-03
PCT/JP2017/002504 WO2017163588A1 (ja) 2016-03-24 2017-01-25 画像処理装置、撮像装置およびこれらの制御方法ならびにプログラム

Publications (2)

Publication Number Publication Date
KR20180123117A true KR20180123117A (ko) 2018-11-14
KR102157491B1 KR102157491B1 (ko) 2020-09-18

Family

ID=60006543

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187029815A KR102157491B1 (ko) 2016-03-24 2017-01-25 화상 처리장치, 촬상장치 및 이들의 제어방법과, 기억매체

Country Status (8)

Country Link
US (1) US10924665B2 (ko)
JP (1) JP6757184B2 (ko)
KR (1) KR102157491B1 (ko)
CN (1) CN108886581B (ko)
DE (1) DE112017001458T5 (ko)
PH (1) PH12018502032A1 (ko)
RU (1) RU2707066C1 (ko)
SG (1) SG11201808036XA (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220047656A (ko) * 2019-09-06 2022-04-18 캐논 가부시끼가이샤 전자기기, 전자기기의 제어 방법, 및 컴퓨터 판독 가능한 기억 매체

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10714520B1 (en) * 2017-08-04 2020-07-14 Facebook Technologies, Llc Manufacturing an on-chip microlens array
JP6920152B2 (ja) 2017-09-25 2021-08-18 株式会社小糸製作所 車両用灯具
JP7098342B2 (ja) 2018-02-06 2022-07-11 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、およびプログラム
EP3933474A4 (en) * 2019-03-27 2022-07-27 Sony Group Corporation IMAGE PROCESSING DEVICE AND METHOD, IMAGING PROGRAM AND DEVICE
CN110148454B (zh) * 2019-05-21 2023-06-06 上海联影医疗科技股份有限公司 一种摆位方法、装置、服务器及存储介质
JP7528951B2 (ja) * 2019-11-28 2024-08-06 ソニーグループ株式会社 表示端末装置
KR102739219B1 (ko) * 2020-01-03 2024-12-05 삼성전자주식회사 이미지 센서를 포함하는 전자 장치 및 그의 동작 방법
US11978177B2 (en) * 2020-09-25 2024-05-07 Intel Corporation Method and system of image processing of omnidirectional images with a viewpoint shift
JP2022184138A (ja) * 2021-05-31 2022-12-13 キヤノン株式会社 画像処理装置、撮像装置、制御方法、及びプログラム
US11922606B2 (en) 2021-10-04 2024-03-05 Samsung Electronics Co., Ltd. Multipass interference correction and material recognition based on patterned illumination without frame rate loss

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100557172B1 (ko) * 2005-04-22 2006-03-03 삼성전자주식회사 이동통신 단말기의 사용자 인터페이스 표시 장치 및 방법
JP2009211335A (ja) * 2008-03-04 2009-09-17 Nippon Telegr & Teleph Corp <Ntt> 仮想視点画像生成方法、仮想視点画像生成装置、仮想視点画像生成プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2013110556A (ja) * 2011-11-21 2013-06-06 Olympus Corp プレノプティックカメラ
JP2015115818A (ja) * 2013-12-12 2015-06-22 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム。
JP2015198340A (ja) * 2014-04-01 2015-11-09 キヤノン株式会社 画像処理装置およびその制御方法、並びにプログラム
JP2016024489A (ja) * 2014-07-16 2016-02-08 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4513906B2 (ja) * 2008-06-27 2010-07-28 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体
JP2011022796A (ja) 2009-07-15 2011-02-03 Canon Inc 画像処理方法および画像処理装置
WO2012064106A2 (en) * 2010-11-12 2012-05-18 Samsung Electronics Co., Ltd. Method and apparatus for video stabilization by compensating for view direction of camera
JP2012244196A (ja) * 2011-05-13 2012-12-10 Sony Corp 画像処理装置及び方法
JP2014029353A (ja) * 2012-07-31 2014-02-13 Sony Corp 焦点調整装置および焦点調整方法
US20140327771A1 (en) * 2013-05-01 2014-11-06 Nvidia Corporation System, method, and computer program product for displaying a scene as a light field
JP2016060897A (ja) 2014-09-22 2016-04-25 株式会社リコー ポリマーとその製造方法
JP2016112103A (ja) 2014-12-12 2016-06-23 株式会社ハイレックスコーポレーション 昇降装置及び座椅子昇降装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100557172B1 (ko) * 2005-04-22 2006-03-03 삼성전자주식회사 이동통신 단말기의 사용자 인터페이스 표시 장치 및 방법
JP2009211335A (ja) * 2008-03-04 2009-09-17 Nippon Telegr & Teleph Corp <Ntt> 仮想視点画像生成方法、仮想視点画像生成装置、仮想視点画像生成プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2013110556A (ja) * 2011-11-21 2013-06-06 Olympus Corp プレノプティックカメラ
JP2015115818A (ja) * 2013-12-12 2015-06-22 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム。
JP2015198340A (ja) * 2014-04-01 2015-11-09 キヤノン株式会社 画像処理装置およびその制御方法、並びにプログラム
JP2016024489A (ja) * 2014-07-16 2016-02-08 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Ren, Ng, 외 7명, "Light Field Photography with a Hand-Held Plenoptic Camera", Stanford Tech Report CTSR 2005-02

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220047656A (ko) * 2019-09-06 2022-04-18 캐논 가부시끼가이샤 전자기기, 전자기기의 제어 방법, 및 컴퓨터 판독 가능한 기억 매체

Also Published As

Publication number Publication date
US20190028640A1 (en) 2019-01-24
SG11201808036XA (en) 2018-10-30
JP6757184B2 (ja) 2020-09-16
PH12018502032A1 (en) 2019-07-15
CN108886581A (zh) 2018-11-23
KR102157491B1 (ko) 2020-09-18
DE112017001458T5 (de) 2018-12-06
US10924665B2 (en) 2021-02-16
CN108886581B (zh) 2020-12-22
RU2707066C1 (ru) 2019-11-21
JP2017184217A (ja) 2017-10-05

Similar Documents

Publication Publication Date Title
JP6789833B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
KR102157491B1 (ko) 화상 처리장치, 촬상장치 및 이들의 제어방법과, 기억매체
US10681286B2 (en) Image processing apparatus, imaging apparatus, image processing method, and recording medium
JP5901246B2 (ja) 撮像装置
JP5947601B2 (ja) 焦点検出装置、その制御方法および撮像装置
KR101983047B1 (ko) 화상처리방법, 화상처리장치 및 촬상 장치
US10674074B2 (en) Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for generating an image based on a plurality of parallax images
JP2018107654A (ja) 画像処理装置および画像処理方法、プログラム、記憶媒体
JP6254843B2 (ja) 画像処理装置およびその制御方法
US10868953B2 (en) Image processing device capable of notifying an effect of emphasizing a subject before performing imaging, control method thereof, and medium
JP2016163169A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP7204357B2 (ja) 撮像装置およびその制御方法
JP2019016975A (ja) 画像処理装置および画像処理方法、撮像装置、プログラム
JP7150785B2 (ja) 画像処理装置、撮像装置、画像処理方法、および、記憶媒体
WO2017163588A1 (ja) 画像処理装置、撮像装置およびこれらの制御方法ならびにプログラム
CN113596431B (zh) 图像处理设备、摄像设备、图像处理方法和存储介质
JP6800648B2 (ja) 画像処理装置及びその制御方法、プログラム並びに撮像装置
JP6817855B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP6628617B2 (ja) 画像処理装置及び画像処理方法
JP2019092215A (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
JP2016024402A (ja) 焦点調節装置、焦点調節方法およびプログラム、並びに撮像装置

Legal Events

Date Code Title Description
A201 Request for examination
PA0105 International application

Patent event date: 20181016

Patent event code: PA01051R01D

Comment text: International Patent Application

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20200108

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20200615

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20200914

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20200915

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20230828

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20240826

Start annual number: 5

End annual number: 5