KR20170026149A - 합초 위치 검출 장치, 합초 위치 검출 방법 및 합초 위치 검출용 컴퓨터 프로그램 - Google Patents

합초 위치 검출 장치, 합초 위치 검출 방법 및 합초 위치 검출용 컴퓨터 프로그램 Download PDF

Info

Publication number
KR20170026149A
KR20170026149A KR1020160105231A KR20160105231A KR20170026149A KR 20170026149 A KR20170026149 A KR 20170026149A KR 1020160105231 A KR1020160105231 A KR 1020160105231A KR 20160105231 A KR20160105231 A KR 20160105231A KR 20170026149 A KR20170026149 A KR 20170026149A
Authority
KR
South Korea
Prior art keywords
shift amount
pixels
calculating
subject
reliability
Prior art date
Application number
KR1020160105231A
Other languages
English (en)
Other versions
KR101774167B1 (ko
Inventor
쇼헤이 나까가따
메구미 지까노
Original Assignee
후지쯔 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후지쯔 가부시끼가이샤 filed Critical 후지쯔 가부시끼가이샤
Publication of KR20170026149A publication Critical patent/KR20170026149A/ko
Application granted granted Critical
Publication of KR101774167B1 publication Critical patent/KR101774167B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N5/23212—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H04N5/23267—
    • H04N5/357—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

본 발명은 위상차 검출 방식을 사용해서 합초 위치를 검출할 때의 검출 정밀도를 향상시킬 수 있는 합초 위치 검출 장치를 제공하기 위한 것으로, 합초 위치 검출 장치는, 촬상부(2)의 이미지 센서(21)에 설정한 측정 에리어 내의 각 시프트량 산출 에리어에 대해서, 복수의 제1 화소에 의해 생성되는 제1 서브 화상과 복수의 제2 화소에 의해 생성되는 제2 서브 화상간의 국소 시프트량 및 그 신뢰도를 산출하고, 그 신뢰도를, 시프트량 산출 에리어에 있어서의 피사체의 에지 방향과 직교하는 방향에 있어서의, 제1 화소간의 간격과, 제2 화소간의 간격과, 제1 화소와 제2 화소간의 위치 어긋남량 중 적어도 하나에 기초해서 보정한다. 그리고, 이 합초 위치 검출 장치는, 각 시프트량 산출 에리어의 국소 시프트량을 보정된 신뢰도로 가중 평균함으로써 촬상부(2)의 광학계(22)에 의한 합초 위치와 이미지 센서(21) 사이의 거리를 나타내는 대표치를 산출한다.

Description

합초 위치 검출 장치, 합초 위치 검출 방법 및 합초 위치 검출용 컴퓨터 프로그램{FOCUS POSITION DETECTION DEVICE, FOCUS POSITION DETECTION METHOD, AND COMPUTER PROGRAM FOR FOCUS POSITION DETECTION}
본 발명은, 예를 들어 피사체를 촬영해서 얻어진 화상에 기초해서 그 피사체에 대한 합초 위치를 검출하는 합초 위치 검출 장치, 합초 위치 검출 방법 및 합초 위치 검출용 컴퓨터 프로그램에 관한 것이다.
종래부터 디지털 카메라 또는 비디오 카메라 등, 피사체를 촬영하는 장치에는, 샤프한 피사체의 화상을 생성하기 위해서, 피사체까지의 거리를 자동으로 측정하고, 그 측정 결과에 기초하여 피사체에 합초하는 기술(소위 오토 포커스)이 실장되어 있다.
그러한 오토 포커스(Auto Focus, AF) 방식 중, 촬상 광학계를 통한 광속을 이용하는 방식의 일례로서, 위상차 검출 방식이 알려져 있다. 위상차 검출 방식에서는, 피사체로부터 발사되어 촬상 광학계를 통과한 광속이 두 개로 분할되고, 그 두 개의 광속 각각에 의한 이미지 센서 상의 피사체의 상의 위치간의 간격에 의해, 합초 위치로부터의 이미지 센서의 위치 어긋남량이 구해진다. 그리고, 그 두 개의 광속 각각에 의한, 피사체의 상의 위치가 일치하도록, 촬상 광학계의 초점 위치가 조절된다. 이 위상차 검출 방식에서는, 예를 들어 이미지 센서 상에 위상차 검출 방식에 의한 합초 위치의 검출이 가능한 에리어가 설정된다. 그리고, 그 에리어에 포함되는, 일렬로 배열된 복수의 고체 촬상 소자 각각에 대해서, 집광용 마이크로렌즈의 상면측에 위치하는 그 고체 촬상 소자의 수광면 중, 고체 촬상 소자의 정렬 방향과 직교하는 절반이 마스크됨으로써, 한쪽의 광속에 상당하는 피사체의 상이 얻어진다. 또한, 그 에리어에 포함되는, 다른 일렬로 배열된 복수의 고체 촬상 소자 각각에 대해서, 집광용 마이크로렌즈의 상(像)면측에 위치하는 그 고체 촬상 소자의 수광면 중, 고체 촬상 소자의 정렬 방향과 직교하는 다른 절반이 마스크됨으로써, 다른 쪽 광속에 상당하는 피사체의 상이 얻어진다.
그러한 에리어를 이미지 센서 상에 복수 설치함으로써, 이미지 센서의 복수의 개소에서 위상차 검출 방식에 의해 AF를 행할 수 있도록 하는 기술이 제안되어 있다(예를 들어, 특허문헌 1을 참조). 특허문헌 1에 개시된 기술에서는, 이미지 센서 상의 위상차 검출 방식에 의한 초점 검출을 행할 수 없는 주목 에리어의 초점 위치를 검출하는 경우에, 주목 에리어의 근방에 있는, 위상차 검출 방식에 의한 초점 검출 가능한 복수의 에리어 각각에서 디포커스량이 구해진다. 그리고, 구해진 디포커스량의 평균값이 주목 에리어의 추정 디포커스량으로서 사용된다.
일본 특허 공개 제2007-24941호 공보
위상차 검출 방식에 의한 초점 검출이 가능한 에리어에 있어서, 화질의 열화를 억제하기 위해서, 위상차 검출용 화상의 생성에 이용되는, 수광면의 일부가 마스크된 화소가 이산적으로 배치되는 경우가 있다. 이러한 경우, 피사체의 에지 방향에 따라서는, 두 개의 피사체의 상 사이의 시프트량이 정확하게 구해지지 않고, 합초 위치로부터의 디포커스량이 부정확해지고, 그 결과로서, 카메라가 피사체에 합초되지 않을 우려가 있었다.
하나의 측면에서는, 본 발명은 위상차 검출 방식을 사용해서 합초 위치를 검출할 때의 검출 정밀도를 향상시킬 수 있는 합초 위치 검출 장치를 제공하는 것을 목적으로 한다.
하나의 실시 형태에 따르면, 합초 위치 검출 장치가 제공된다. 이 합초 위치 검출 장치는, 화상을 생성하는 이미지 센서와, 광학계를 갖는 촬상부에 있어서의 이미지 센서 상에 설정되는 측정 에리어 내에 포함되는 복수의 시프트량 산출 에리어를 특정하고, 복수의 시프트량 산출 에리어 각각은, 시프트량 산출 에리어에 찍히는 피사체를 나타내는 제1 서브 화상을 생성하는, 복수의 제1 화소와, 시프트량 산출 에리어에 찍히는 피사체를 나타내는 제2 서브 화상을 생성하는, 복수의 제2 화소를 갖고, 제1 서브 화상 상의 피사체와 제2 서브 화상 상의 피사체간의 시프트량이, 광학계에 의한 피사체에 대한 합초 위치와 이미지 센서간의 거리에 따라 변화되는 시프트량 산출 에리어 특정부와, 복수의 시프트량 산출 에리어 각각에 대해서, 제1 서브 화상 상의 피사체와 제2 서브 화상 상의 피사체가 가장 일치할 때의 제1 서브 화상에 대한 제2 서브 화상의 국소 시프트량과, 국소 시프트량의 정확도를 나타내는 신뢰도를 산출하는 시프트량 산출부와, 복수의 시프트량 산출 에리어 각각에 대해서, 그 시프트량 산출 에리어에서의 피사체의 에지 방향과 직교하는 방향에 있어서의, 복수의 제1 화소 중 인접하는 제1 화소간의 간격과, 복수의 제2 화소 중 인접하는 제2 화소간의 간격과, 복수의 제1 화소와 복수의 제2 화소의 위치 어긋남량 중 적어도 하나에 기초하여, 그 시프트량 산출 에리어의 신뢰도를 보정하는 신뢰도 보정부와, 복수의 시프트량 산출 에리어 각각의 국소 시프트량을 보정된 신뢰도로 가중 평균함으로써, 광학계에 의한 합초 위치와 이미지 센서간의 거리를 나타내는 대표치를 산출하는 대표치 산출부를 갖는다.
위상차 검출 방식을 사용해서 합초 위치를 검출할 때의 검출 정밀도를 향상시킬 수 있다.
도 1의 (a)는 AF 에리어 내에 배치되는 좌측 화소와 우측 화소의 배치의 일례를 도시하는 도면, (b)는 (a)에 도시된 좌측 화소 및 우측 화소의 배치와, 좌측 화상 및 우측 화상의 관계를 도시하는 도면.
도 2의 (a)는 AF 에리어에, 수직 방향의 에지를 갖는 피사체가 찍힌 경우의 좌측 화상과 우측 화상의 일례를 도시하는 도면, (b)는 (a)에 도시된 AF 에리어에, 좌측 화소 및 우측 화소의 배열 방향과 평행한 에지를 갖는 피사체가 찍힌 경우의 좌측 화상과 우측 화상의 일례를 도시하는 도면.
도 3의 (a)는 AF 에리어에 있어서의, 좌측 화소 및 우측 화소의 배열의 다른 일례를 도시하는 도면, (b)는 (a)에 도시된 AF 에리어에 찍히는 피사체가 수직 방향의 에지를 갖고 있고, 또한 좌측 화상이, 우측 화상에 대하여 좌측으로 2화소 시프트되어 있는 경우의 좌측 화상과 우측 화상의 관계를 도시하는 도면, (c)는 (a)에 도시된 AF 에리어에 찍히는 피사체가 좌측 화소 및 우측 화소의 배열 방향과 평행한 에지를 갖고 있고, 또한 좌측 화상이, 우측 화상에 대하여 좌측으로 2화소 시프트되어 있는 경우의 좌측 화상과 우측 화상의 관계를 도시하는 도면.
도 4의 (a)는 도 2의 (a)에 있어서의 AF 에리어의 각 좌측 화소 및 각 우측 화소를, 에지 방향을 따라서 투영한 경우의 좌측 화소의 분포 및 우측 화소의 분포를 도시하는 도면, (b)는 도 2의 (b)에 있어서의 AF 에리어의 각 좌측 화소 및 각 우측 화소를, 에지 방향을 따라서 투영한 경우의 좌측 화소의 분포 및 우측 화소의 분포를 도시하는 도면.
도 5의 (a)는 도 3의 (b)에 있어서의 AF 에리어의 각 좌측 화소를, 에지 방향을 따라서 투영한 경우의 좌측 화소의 분포 분포를 도시하는 도면, (b)는 도 3의 (c)에 있어서의 AF 에리어의 각 좌측 화소를, 에지 방향을 따라서 투영한 경우의 좌측 화소의 분포 분포를 도시하는 도면.
도 6은 합초 위치 검출 장치가 실장된 촬상 장치의 일례인 디지털 카메라의 개략적인 구성도.
도 7은 이미지 센서 상에 설치되는 AF 에리어의 일례를 도시하는 도면.
도 8은 도 7에 도시되는 AF 에리어 내의 두 개의 화소열에 의해 각각 생성되는 서브 화상의 일례를 도시하는 도면.
도 9는 제어부의 기능 블록도.
도 10은 측정 에리어와 시프트량 산출 에리어의 관계의 일례를 도시하는 도면.
도 11의 (a) 및 (b)는 각각 등각 직선 피팅의 원리를 도시하는 도면.
도 12는 화소의 에지 방향으로의 투영을 설명하는 도면.
도 13은 좌측 화소 및 우측 화소의 배치 및 에지 방향과, 투영 후의 좌측 화소 및 우측 화소의 분포의 일례를 도시하는 도면.
도 14는 도 13에 도시되는 좌측 화소의 배치에 관해서, 에지 방향마다의 좌측 화소간의 간격을 도시하는 도면.
도 15는 도 13에 도시되는 좌측 화소 및 우측 화소의 배치에 관해서, 에지 방향마다의 좌측 화소와 우측 화소간의 위치 어긋남량을 도시하는 도면.
도 16은 합초 위치 검출 처리의 동작 흐름도.
도 17의 (a)는 신뢰도를 보정하지 않을 경우의 측정 에리어 내의 각 시프트량 산출 에리어의 국소 시프트량과 신뢰도를 도시하는 도면, (b)는 실시 형태 또는 그 변형예에 따라서 신뢰도가 보정되었을 경우의 측정 에리어 내의 각 시프트량 산출 에리어의 국소 시프트량과 신뢰도를 도시하는 도면.
도면을 참조하면서, 하나의 실시 형태에 따른 합초 위치 검출 장치에 대해서 설명한다. 이 합초 위치 검출 장치는, 이미지 센서 상의 측정 대상 에리어에 포함되는, 위상차 검출 방식에 의한 합초 위치의 검출이 가능한 복수의 에리어 각각에 있어서의 두 개의 피사체의 상 사이의 시프트량 및 그 신뢰도에 기초하여, 측정 대상 에리어 전체에 관한 합초 위치를 구한다. 그 때, 이 합초 위치 검출 장치는, 각 에리어에 대해서, 피사체의 에지 방향을 추정한다. 이 합초 위치 검출 장치는, 각 에리어에 대해서, 에지 방향과 직교하는 방향에 있어서의, 위상차 검출용의 피사체의 한쪽 상의 생성에 이용되는 화소(편의상, 좌측 화소라고 칭함)간의 간격과, 피사체의 다른 쪽 상의 생성에 이용되는 화소(편의상, 우측 화소라고 칭함)간의 간격을 구한다. 또한, 이 합초 위치 검출 장치는, 각 에리어에 대해서, 에지 방향과 직교하는 방향에 있어서의, 좌측 화소와 우측 화소간의 위치 어긋남량을 구한다. 그리고, 이 합초 위치 검출 장치는, 각 에리어에 대해서, 에지 방향과 직교하는 방향에 있어서의 좌측 화소간의 간격, 우측 화소간의 간격 및 좌측 화소와 우측 화소간의 위치 어긋남량에 따라, 두 개의 피사체의 상 사이의 시프트량의 신뢰도를 보정한다.
또한, 이하에서는, 설명의 편의상, 위상차 검출 방식에 의한 합초 위치의 검출이 가능한 에리어를 AF 에리어라고 칭한다. 또한, AF 에리어에 있어서, 우측 화소의 집합에 의해 생성되는 피사체의 서브 화상을 우측 화상이라고 칭하고, 좌측 화소의 집합에 의해 생성되는 피사체의 서브 화상을 좌측 화상이라고 칭한다.
여기서, 이해를 용이하게 하기 위해서, AF 에리어에 있어서의, 좌측 화소 및 우측 화소의 배열과, AF 에리어에 있어서의, 피사체의 에지 방향과의 관계에 의한 시프트량의 측정 정밀도에의 영향에 대해서 설명한다.
도 1의 (a)는 AF 에리어 내에 배치되는 좌측 화소와 우측 화소의 배치의 일례를 도시하는 도면이다. 도 1의 (a)에 있어서, AF 에리어(100) 내에 있어서, 좌측 화소(101)는 'L'로 표시되고, 우측 화소(102)는 'R'로 표시되어 있다. 도 1의 (a)에 도시되는 바와 같이, 각 좌측 화소(101)는, 촬상부에 의해 생성되는 화상의 화질이 좌측 화소에 의해 열화되는 것을 억제하기 위해서, 서로 인접하지 않도록 이산적으로 배치되어 있다. 마찬가지로, 각 우측 화소(102)도, 서로 인접하지 않도록 이산적으로 배치되어 있다.
도 1의 (b)는, 도 1의 (a)에 도시된 좌측 화소 및 우측 화소의 배열과, 좌측 화상 및 우측 화상의 관계를 도시하는 도면이다. 도 1의 (a)에 도시된 AF 에리어(100)에 있어서의 각 좌측 화소(101)의 화소값을 수직 방향으로 투영함으로써, 각 좌측 화소(101)의 화소값이 이산적으로 일렬로 배열된 화소열(111)이 생성된다. 그리고, 화소열(111)에 대하여 보간 처리를 실행하여, 투영되는 좌측 화소가 없는 화소의 화소값을 구함으로써, 좌측 화상(121)이 생성된다. 마찬가지로, AF 에리어(100)에 있어서의 각 우측 화소(102)의 화소값을 수직 방향으로 투영함으로써, 각 우측 화소(102)의 화소값이 이산적으로 일렬로 배열된 화소열(112)이 생성된다. 그리고, 화소열(112)에 대하여 보간 처리를 실행하여, 투영되는 우측 화소가 없는 화소의 화소값을 구함으로써, 우측 화상(122)이 생성된다.
도 2의 (a)는, 도 1의 (a)에 도시된 AF 에리어(100)와 동일한 좌측 화소 및 우측 화소의 배열을 갖는 AF 에리어(200)에, 수직 방향의 에지를 갖는 피사체가 찍힌 경우의 좌측 화상과 우측 화상의 일례를 도시하는 도면이다. 이 예에서는, 피사체에 대하여 촬상부가 완전히 합초되어 있는 것으로 한다. 이 예에서는, 피사체의 에지(203) 방향은, 수직 방향으로 되어 있고, 좌측 화소(201) 및 우측 화소(202)의 배열 방향과 상이하다. 또한, 좌측 화상(211)에 있어서의 에지(221)의 위치는, 우측 화상(212)에 있어서의 에지(222)의 위치와 동일하고, 좌측 화상과 우측 화상간의 시프트량은 0으로 되어 있다. 이와 같이, 이 예에서는, 시프트량은 정확하게 구해져 있다.
한편, 도 2의 (b)는, AF 에리어(200)에, 좌측 화소(201) 및 우측 화소(202)의 배열 방향과 평행한 에지를 갖는 피사체가 찍힌 경우의 좌측 화상과 우측 화상의 일례를 도시하는 도면이다. 이 예에서도, 피사체에 대하여 촬상부가 완전히 합초되어 있는 것으로 한다. 이 예에서는, 피사체의 에지(231)는, 좌측 화소(201) 및 우측 화소(202)의 배열 방향과 평행하게 되어 있다. 그리고, 좌측 화상(241)에 있어서의 에지(251)의 위치는, 우측 화상(242)에 있어서의 에지(252)의 위치에 대하여 우측으로 4화소 시프트되어 있다. 그러나, 본래는, 피사체에 대하여 촬상부가 완전히 합초되어 있으므로, 시프트량은 0이 될 것이다. 이와 같이, 이 예에서는, 구해진 시프트량에 4화소의 오차가 포함되어 있다.
또한, 좌측 화소와 우측 화소의 배열과 피사체의 에지 방향의 관계에 의해, 시프트량의 측정 정밀도가 저하되는 다른 예에 대해서 설명한다.
도 3의 (a)는, AF 에리어에 있어서의, 좌측 화소 및 우측 화소의 배열의 다른 일례를 도시하는 도면이다. 이 예에서는, AF 에리어(300)에 있어서, 좌측 화소(301)와 우측 화소(302)는 각각, 이산적으로 배치되어 있지만, 좌측 화소(301)와 우측 화소(302)의 수평 방향의 위치는 동일하게 되어 있다.
도 3의 (b)는, AF 에리어(300)에 찍히는 피사체가 수직 방향의 에지를 갖고 있고, 또한 좌측 화상이, 우측 화상에 대하여 좌측으로 2화소 시프트되어 있는 경우의 좌측 화상과 우측 화상의 관계를 나타낸다. 이 예에서는, AF 에리어(300)에 있어서, 좌측 화상에서 표시되는 피사체의 상의 에지(311)는, 우측 화상에서 표시되는 피사체의 상의 에지(312)보다도 좌측으로 2화소 시프트되어 있다. 또한, 좌측 화상(321) 상에서도, 에지(331)는 우측 화상(322) 상의 에지(332)에 대하여 좌측으로 2화소 시프트되어 있다. 이와 같이, 이 예에서는, 시프트량은 정확하게 구해져 있다.
도 3의 (c)는, AF 에리어(300)에 찍히는 피사체가 좌측 화소 및 우측 화소의 배열 방향과 평행한 에지를 갖고 있고, 또한 좌측 화상이, 우측 화상에 대하여 좌측으로 2화소 시프트되어 있는 경우의 좌측 화상과 우측 화상의 관계를 나타낸다. AF 에리어(300)에 있어서, 좌측 화상에서 표시되는 피사체의 상의 에지(341)는, 우측 화상에서 표시되는 피사체의 상의 에지(342)보다도 좌측으로 2화소 시프트되어 있지만, 좌측 화상(351) 상에서의 에지(361)의 위치와 우측 화상(352) 상에서의 에지(362)의 위치는 동일하게 되어 있다. 그러나, 본래는, 시프트량은 2가 될 것이다. 이와 같이, 이 예에서는, 구해진 시프트량에 2화소의 오차가 포함되어 있다.
여기서, 상기의 예와 같이, 피사체의 에지 방향에 따라, 측정되는 시프트량에 오차가 발생하는 원인에 대해서 검토한다.
도 4의 (a)는, 도 2의 (a)에 있어서의 AF 에리어(200)의 각 좌측 화소(201) 및 각 우측 화소(202)를 에지(203) 방향을 따라서 투영한 경우의 좌측 화소의 분포 및 우측 화소의 분포를 나타낸다. 한편, 도 4의 (b)는, 도 2의 (b)에 있어서의 AF 에리어(200)의 각 좌측 화소(201) 및 각 우측 화소(202)를, 에지(231) 방향을 따라서 투영한 경우의 좌측 화소의 분포 및 우측 화소의 분포를 나타낸다.
도 4의 (a)에 도시되는 바와 같이, 피사체의 에지 방향이 수직인 경우에는, 투영 후의 좌측 화소열(401) 및 우측 화소열(402)에 있어서의, 에지(203)와 직교하는 방향(403)에 있어서의 좌측 화소(201)의 위치와 우측 화소(202)의 위치는 동일하게 되어 있다. 한편, 도 4의 (b)에 도시되는 바와 같이, 피사체의 에지 방향이 좌측 화소 및 우측 화소의 배열과 평행한 경우, 투영 후의 좌측 화소열(411) 및 우측 화소열(412)에서는, 에지(231)와 직교하는 방향(413)에 있어서의, 좌측 화소(201)의 위치와 우측 화소(202)의 위치는 서로 상이하다. 이것으로부터, 각 좌측 화소와 각 우측 화소를 피사체의 에지 방향을 따라서 투영한 경우의, 에지와 직교하는 방향에 있어서의 좌측 화소와 우측 화소간의 위치 어긋남이, 시프트량의 측정 오차의 원인의 하나가 되는 것을 알 수 있다.
도 5의 (a)는, 도 3의 (b)에 있어서의 AF 에리어(300)의 각 좌측 화소(301)를 에지(311) 방향을 따라서 투영한 경우의 좌측 화소의 분포 분포를 나타낸다. 한편, 도 5의 (b)는, 도 3의 (c)에 있어서의 AF 에리어(300)의 각 좌측 화소(301)를 에지(341) 방향을 따라서 투영한 경우의 좌측 화소의 분포 분포를 나타낸다.
도 5의 (a)에 도시되는 바와 같이, 피사체의 에지 방향이 수직인 경우에는, 투영 후의 화소열(501)에 있어서의, 에지(311)와 직교하는 방향(502)에서는, 좌측 화소(301)는 상대적으로 조밀하게 배치되고, 인접하는 좌측 화소간의 간격은 좁다. 한편, 도 5의 (b)에 도시되는 바와 같이, 피사체의 에지 방향이 좌측 화소 및 우측 화소의 배열과 평행한 경우에는, 투영 후의 화소열(511)에 있어서의, 에지(341)와 직교하는 방향(512)에서는, 좌측 화소(301)는 상대적으로 성기게 배치되고, 인접하는 좌측 화소간의 간격은 넓게 되어 있다. 그리고, 에지(341)와 직교하는 방향에서는, 에지(341)의 위치가, 두 개의 인접하는 좌측 화소간에 포함되어 있기 때문에, 정확한 에지(341)의 위치가 구해지지 않게 되어 있다. 이것으로부터, 각 좌측 화소와 각 우측 화소를 피사체의 에지 방향을 따라서 투영한 경우의, 에지와 직교하는 방향에 있어서의 좌측 화소간의 간격 및 우측 화소간의 간격이, 시프트량의 측정 오차의 원인의 다른 하나가 되는 것을 알 수 있다.
그래서, 이 합초 위치 검출 장치는, 각 AF 에리어에 대해서, 에지 방향과 직교하는 방향에 있어서의 좌측 화소간의 간격, 우측 화소간의 간격 및 좌측 화소와 우측 화소간의 위치 어긋남량이 커질수록, 두 개의 피사체의 상 사이의 시프트량의 신뢰도를 저하시킨다.
도 6은, 합초 위치 검출 장치가 실장된 촬상 장치의 일례인 디지털 카메라의 개략적인 구성도이다. 도 6에 도시하는 바와 같이, 디지털 카메라(1)는, 촬상부(2)와, 조작부(3)와, 표시부(4)와, 기억부(5)와, 제어부(6)를 갖는다. 또한 디지털 카메라(1)는, 디지털 카메라(1)를 컴퓨터 또는 텔레비전과 같은 다른 기기와 접속하기 위해서, 유니버설 시리얼 버스 등의 시리얼 버스 규격에 따른 인터페이스 회로(도시하지 않음)를 갖고 있어도 된다. 또한 제어부(6)와, 디지털 카메라(1)의 기타의 각 부는, 예를 들어 버스에 의해 접속되어 있다. 또한, 합초 위치 검출 장치는, 촬상부를 갖는 여러 가지 장치에 적용 가능하다.
촬상부(2)는, 이미지 센서(21)와, 촬상 광학계(22)와, 액추에이터(23)를 갖는다. 이미지 센서(21)는, 2차원 형상으로 배치된 고체 촬상 소자의 어레이를 갖고, 화상을 생성한다. 또한, 각 고체 촬상 소자의 전방면에는, 예를 들어 집광용 마이크로렌즈가 설치된다. 그리고, 이미지 센서(21)에는, 복수의 AF 에리어가 설치된다. 촬상 광학계(22)는, 이미지 센서(21)의 전방면측에 설치되고, 예를 들어 광축을 따라 배열된 1 이상의 렌즈를 갖고, 합초된 상태에서 이미지 센서(21) 상에 피사체의 상을 결상한다. 액추에이터(23)는, 예를 들어 스테핑 모터를 갖고, 제어부(6)로부터의 제어 신호에 따른 회전량만큼 스테핑 모터를 회전시킴으로써, 촬상 광학계(22)의 일부 렌즈 또는 전체를 광축을 따라 이동시킴으로써 합초 위치를 조절한다. 그리고, 촬상부(2)는, 피사체의 상이 찍힌 화상을 생성할 때마다, 그 생성한 화상을 제어부(6)에 송신한다.
도 7은, 이미지 센서(21) 상에 설치되는, AF 에리어의 일례를 도시하는 도면이다. 이 예에서는, 이미지 센서(21)가 화상을 생성하는 범위인 촬상 범위(700) 안에, 수평 방향으로 m개, 수직 방향으로 n개(단, m≥1, n≥1)의 AF 에리어(701-1 내지 701- (mxn))가 설치된다. 각 AF 에리어로부터, 좌측 화소(702)가 수평 방향으로 복수 배열된 좌측 화소열(703)에 의해 생성되는 좌측 화상과, 우측 화소(704)가 수평 방향으로 복수 배열된 우측 화소열(705)에 의해 생성되는 우측 화상이 생성된다. 또한, 좌측 화소에 상당하는 고체 촬상 소자에서는, 예를 들어 그 수광면의 좌측 절반이 마스크된다. 또한, 우측 화소에 상당하는 고체 촬상 소자에서는, 예를 들어 그 수광면의 우측 절반이 마스크된다.
도 8은, 도 7에 도시되는 AF 에리어 내의 두 개의 화소열에 의해 각각 생성되는 좌측 화상 및 우측 화상의 일례를 도시하는 도면이다. 좌측 화소열(703)에 의해 생성되는 좌측 화상(801)과, 우측 화소열(705)에 의해 생성되는 우측 화상(802)은, AF 에리어에 찍혀 있는 피사체에 대한 촬상 광학계(22)에 의한 합초 위치(810)가 이미지 센서(21) 상에 있는 경우, 대략 일치한다. 그러나, 촬상 광학계(22)에 의한 합초 위치(810)가 이미지 센서(21)보다도 피사체측, 즉 앞쪽에 있는 경우, 좌측 화상(801)은 그 피사체에 대해서 합초되어 있는 경우보다도 우측으로 어긋난다. 한편, 우측 화상(802)은 그 피사체에 대해서 합초되어 있는 경우보다도 좌측으로 어긋난다. 반대로, 촬상 광학계(22)에 의한 합초 위치(810)가 이미지 센서(21)보다도 피사체로부터 먼 쪽, 즉 뒤쪽에 있는 경우, 좌측 화상(801)은 그 피사체에 대해서 합초되어 있는 경우보다도 좌측으로 어긋난다. 한편, 우측 화상(802)은 그 피사체에 대해서 합초되어 있는 경우보다도 우측으로 어긋난다. 따라서, 좌측 화상(801)과 우측 화상(802)의 한쪽을, 다른 쪽에 대하여 수평 방향으로 시프트시켜서 일치 정도를 조사하면, 가장 일치할 때의 시프트량이, 합초 위치로부터의 이미지 센서(21)의 위치 어긋남량을 나타내고 있다. 그래서, 그 시프트량이 0이 되도록 촬상 광학계(22)를 이동시킴으로써, 제어부(6)는 촬상부(2)을 피사체에 대하여 합초시킬 수 있다.
조작부(3)는, 예를 들어 디지털 카메라(1)를 유저가 조작하기 위한 각종 조작 버튼 또는 다이얼 스위치를 갖는다. 그리고, 조작부(3)는, 유저의 조작에 따라, 촬영 또는 합초의 개시 등의 제어 신호 또는 셔터 속도, 조리개 직경 등을 설정하기 위한 설정 신호를 제어부(6)에 송신한다.
또한 조작부(3)는, 유저의 조작에 따라서, 촬영 범위 내에서 촬상부(2)의 합초 위치를 검출하는 에리어(이하, 편의상, 측정 에리어라고 칭함)를 나타내는 정보를 제어부(6)에 송신한다. 측정 에리어는, 예를 들어 촬영 범위의 중앙부, 좌측 상단, 우측 하단, 촬영 범위 전체 등, 미리 복수 설정되고, 유저는, 조작부(3)를 조작함으로써 어느 하나의 측정 에리어를 선택한다. 또는, 측정 에리어는, 촬영 범위 내의 임의의 위치에 설정되어도 된다.
표시부(4)는, 예를 들어 액정 디스플레이 장치와 같은 표시 장치를 갖고, 제어부(6)로부터 수취한 각종 정보 또는 촬상부(2)에 의해 생성된 화상을 표시한다. 또한, 조작부(3)와 표시부(4)는, 예를 들어 터치 패널 디스플레이를 사용해서 일체적으로 형성되어도 된다.
기억부(5)는, 예를 들어 판독 기입 가능한 휘발성 또는 불휘발성 반도체 메모리 회로를 갖는다. 그리고, 기억부(5)는 촬상부(2)로부터 수취한 화상을 기억한다. 또한, 기억부(5)는 제어부(6)가 합초 위치의 검출에 이용하는 각종 데이터를 기억한다. 기억부(5)는, 그러한 데이터로서, 예를 들어 각 AF 에리어의 위치 및 범위를 나타내는 정보(예를 들어, 촬상부(2)에 의해 생성되는 화상 상에서의 AF 에리어의 좌측 상단부 및 우측 하단부의 좌표)와 식별 정보 등을 기억한다. 또한, 기억부(5)는, 촬상 광학계(22)의 초점 위치 조절에 이용되는 초점 위치 테이블을 기억한다. 초점 위치 테이블은, 촬상 광학계(22)가 기준 위치에 있는 경우의 촬상부(2)로부터 피사체까지의 거리에 상당하는 시프트량과, 그 거리에 있는 피사체에 대하여 촬상 광학계(22)를 합초시키기 위한 촬상 광학계(22)의 이동량에 상당하는 스테핑 모터의 회전량과의 관계를 나타낸다. 촬상 광학계(22)의 기준 위치는, 예를 들어 촬상 광학계(22)가 무한원에 대하여 합초될 때의 촬상 광학계(22)의 위치에 대응한다. 또한, 제어부(6)가 갖는 각 기능이, 제어부(6)가 갖는 프로세서 상에서 실행되는 컴퓨터 프로그램에 의해 실현되는 경우, 기억부(5)는, 그 컴퓨터 프로그램을 기억해도 된다.
제어부(6)는 합초 위치 검출 장치의 일례이며, 적어도 하나의 프로세서 및 그 주변 회로를 갖는다. 그리고, 제어부(6)는 디지털 카메라(1) 전체를 제어한다. 또한 제어부(6)는 촬상부(2)로부터 수취한 화상에 기초하여 합초 위치를 검출하고, 검출한 합초 위치에 기초하여, 촬상 광학계(22)의 합초 위치를 조절한다.
도 9는, 합초 위치의 검출 및 합초 위치의 조절에 관한, 제어부(6)의 기능 블록도이다. 제어부(6)는, 시프트량 산출 에리어 특정부(11)와, 시프트량 산출부(12)와, 에지 방향 산출부(13)와, 위상차 화소 배열 정보 산출부(14)와, 신뢰도 보정부(15)와, 대표치 산출부(16)와, 합초부(17)를 갖는다. 제어부(6)가 갖는 이들 각 부는, 예를 들어 제어부(6)가 갖는 프로세서 상에서 실행되는 컴퓨터 프로그램에 의해 실현되는 기능 모듈로서 실장된다. 또는, 제어부(6)가 갖는 이들 각 부의 기능을 실현하는 1개 또는 복수의 집적 회로가, 제어부(6)와는 별개로, 디지털 카메라(1)에 실장되어도 된다.
시프트량 산출 에리어 특정부(11)는, 이미지 센서(21) 상에서, 유저에 의해 선택 또는 설정된 측정 에리어 내에 포함되는 AF 에리어를, 시프트량 산출 에리어로서 특정한다. 그 때, 시프트량 산출 에리어 특정부(11)는, 기억부(5)로부터, 각 AF 에리어의 위치 및 범위를 나타내는 정보를 읽어들인다. 그리고, 시프트량 산출 에리어 특정부(11)는, 각 AF 에리어의 위치 및 범위를 나타내는 정보를 참조하여, 측정 에리어와 적어도 일부가 겹치는 AF 에리어를 시프트량 산출 에리어로서 특정하면 된다. 또는, 시프트량 산출 에리어 특정부(11)는, 측정 에리어 내에 완전히 포함되는 AF 에리어를 시프트량 산출 에리어로 해도 된다.
도 10은, 측정 에리어와 시프트량 산출 에리어의 관계의 일례를 도시하는 도면이다. 이 예에서는, 이미지 센서(21)가 화상을 생성하는 범위인 촬영 범위(1000) 내에 설정된 측정 에리어(1001) 내에, 12개의 AF 에리어(1002-1 내지 1002-12)가 포함되어 있다. 그래서 AF 에리어(1002-1 내지 1002-12)가 각각, 시프트량 산출 에리어로서 특정된다.
시프트량 산출 에리어 특정부(11)는, 시프트량 산출 에리어로서 특정된 각 AF 에리어의 식별 정보를, 시프트량 산출부(12) 및 에지 방향 산출부(13)에 통지한다.
시프트량 산출부(12)는, 시프트량 산출 에리어 특정부(11)로부터 통지된 AF 에리어의 식별 정보로 특정되는 시프트량 산출 에리어 각각에 대해서, 좌측 화상과 우측 화상이 가장 일치할 때의 시프트량 및 그 시프트량의 정확도를 나타내는 신뢰도를 산출한다.
먼저, 각 시프트량 산출 에리어에 있어서의, 좌측 화상과 우측 화상이 가장 일치할 때의 시프트량(이하, 편의상, 국소 시프트량이라고 칭함)의 산출에 대해서 설명한다.
시프트량 산출부(12)는, 예를 들어 좌측 화상에 대하여 우측 화상의 위치를 1화소씩 시프트하면서 대응 화소간의 화소값의 차분 절댓값의 합(SAD)을 산출한다. 그리고, 시프트량 산출부(12)는, SAD값이 최소가 될 때의, 좌측 화상에 대한 우측 화상의 시프트량을 국소 시프트량으로 할 수 있다.
시프트량 산출부(12)는, 각 시프트량 산출 에리어에 대해서, 예를 들어 다음 식에 따라, 시프트량 s에 관한 SAD(s)를 산출할 수 있다.
Figure pat00001
여기서, N은, 1회의 SAD 계산에 사용하는 좌측 화상 및 우측 화상의 화소수를 나타낸다. +S 내지 -S는, 국소 시프트량의 탐색 범위가 되는 시프트량의 범위를 나타낸다. 또한, L[n], R[n]은, 각각 좌측 화상과 우측 화상의 n번째의 화소값을 나타낸다.
(1)식에서는, 화소 단위로 국소 시프트량이 산출된다. 그러나, 실제로는, SAD값이 최소가 되는 국소 시프트량은, 화소 단위라고는 할 수 없다. 그래서, 시프트량 산출부(12)는, 서브 화소 단위로 국소 시프트량을 구하기 위해서, (1)식에서 SAD값이 최소가 되는 시프트량 및 그 주위의 시프트량에 관한 SAD값을 사용한 등각 직선 피팅에 의해, 서브 화소 단위로 국소 시프트량을 구한다.
도 11의 (a) 및 도 11의 (b)는 각각, 등각 직선 피팅의 원리를 도시하는 도면이다. 도 11의 (a) 및 도 11의 (b)에 있어서, 횡축은 시프트량을 나타내고, 종축은 SAD값을 나타낸다. b는, (1)식에 의해 산출된 SAD의 최솟값을 나타내고, a는, SAD의 최솟값에 대응하는 시프트량에 대하여 시프트량이 1화소 적을 때의 SAD값을 나타내고, c는, SAD의 최솟값에 대응하는 시프트량에 대하여 시프트량이 1화소 많을 때의 SAD값을 나타낸다. 등각 직선 피팅에서는, 국소 시프트량으로부터, 시프트량이 감소할 경우의 SAD값의 증가 기울기와, 시프트량이 증가할 경우의 SAD값의 증가 기울기가 동등하다고 가정된다.
그래서, SAD의 최솟값 b에 대응하는 점과, 인접하는 a, c 중 SAD값이 큰 쪽의 점을 통과하는 직선, 즉, 직선 ab와 bc 중, 기울기의 절댓값이 큰 쪽의 직선(1101)이 구해진다. 도 11의 (a)에 도시되는 바와 같이, a>c의 경우에는, 직선 ab가 직선(1101)이 되고, 한편, 도 11의 (b)에 도시되는 바와 같이, a<c의 경우에는, 직선 bc가 직선(1101)이 된다. 또한 a, c 중, SAD값이 작은 쪽을 통하고, 기울기가 직선(1101)과 반대(즉, 기울기의 부호가 반전됨)가 되는 직선(1102)이 구해진다. 그리고, 직선(1101)과 직선(1102)의 교점에 대응하는 시프트량이 서브 화소 단위에서의 국소 시프트량 sh가 된다.
시프트량 산출부(12)는, 다음 식에 따라, 등각 직선 피팅에 의한 국소 시프트량 sh를 산출할 수 있다.
Figure pat00002
여기서, smin은, SAD값이 최소가 되는 화소 단위의 시프트량을 나타낸다. 그리고, a=SAD[smin-1], b=SAD[smin], c=SAD[smin+1]이다. 또한, 이하에서는, 서브 화소 단위의 국소 시프트량 sh를, 간단히 국소 시프트량이라고 칭한다.
좌측 화상을 형성하는, 좌측 화소열에 포함되는 각 좌측 화소의 값 및 우측 화상을 형성하는, 우측 화소열에 포함되는 각 우측 화소의 값에 노이즈 성분이 포함되어 있지 않으면, 상기와 같이 산출된 국소 시프트량은, 비교적 정확한 값이 됨이 상정된다. 그러나, 피사체가 어두운 경우 등에는, 각 좌측 화소 또는 각 우측 화소의 값에 있어서, 노이즈 성분이 기여하는 정도가 커진다. 이러한 경우, 국소 시프트량은, 반드시 정확한 값이 얻어졌다고는 할 수 없다.
그래서, 시프트량 산출부(12)는, 각 시프트량 산출 에리어에 대해서, 국소 시프트량의 정확도를 나타내는 신뢰도를 산출한다.
본 실시 형태에서는, 시프트량 산출부(12)는, 신뢰도로서, 국소 시프트량의 분산의 추정값을 산출한다. 일반적으로, 국소 시프트량의 분산이 작을수록, 국소 시프트량은 정확한 값일 가능성이 높기 때문이다. 또한, 이하에서는, 편의상, 국소 시프트량의 분산을 추정 분산이라고 칭한다.
여기서, 좌측 화상 및 우측 화상에 표시되는 피사체의 콘트라스트가 일정한 경우에 있어서, 좌측 화소열 또는 우측 화소열에 포함되는 각 화소에 중첩되는 노이즈 성분이 커질수록, SAD값의 최솟값이 커지고, 국소 시프트량의 편차가 커진다. 한편, SAD값의 최솟값이 일정, 즉, 좌측 화소열 또는 우측 화소열에 포함되는 각 화소에 중첩되는 노이즈 성분이 일정하면, 좌측 화상 및 우측 화상에 표시되는 피사체의 콘트라스트가 높아질수록 국소 시프트량의 편차가 작아진다. 그래서, 시프트량 산출부(12)는, 좌측 화상 또는 우측 화상의 콘트라스트에 대한, SAD값의 최솟값 비에 기초하여, 국소 시프트량의 분산의 추정값을 산출한다.
시프트량 산출부(12)는, 좌측 화상 또는 우측 화상에 표시되는 피사체의 콘트라스트에 대한, SAD값의 최솟값의 비 R을, 다음 식에 따라서 산출한다.
Figure pat00003
여기서, SADmin은, (1)식에 따라서 산출되는 SAD값 중 최솟값이며, C는 콘트라스트값이다. 콘트라스트값 C는, 예를 들어 좌측 화상 및 우측 화상에 포함되는 화소의 값 중 최댓값 Pmax와 좌측 화상 및 우측 화상에 포함되는 화소의 값 중 최솟값 Pmin의 차(Pmax-Pmin)로서 산출된다. 또는, 콘트라스트 C는, (Pmax-Pmin)/(Pmax+Pmin)로 산출되어도 된다. 또한, Pmax 및 Pmin은, 각각 좌측 화상 및 우측 화상 중 한쪽의 화소값의 최댓값, 최솟값이어도 된다.
시프트량 산출부(12)는, 예를 들어 비 R과 추정 분산의 관계를 나타내는 참조 테이블을 참조함으로써, (3)식에 따라서 산출된 비 R에 대응하는 추정 분산의 값, 즉 신뢰도를 구할 수 있다. 참조 테이블은, 예를 들어 실험 또는 시뮬레이션에 의해, 국소 시프트량과 콘트라스트가 기지의 좌측 화상과 우측 화상의 테스트 패턴에 대하여, 각 화소값에 중첩되는 노이즈의 양을 다양하게 바꾸어서 비 R에 대한 국소 시프트량의 편차를 구함으로써 작성된다. 그리고, 참조 테이블은, 미리 기억부(5)에 기억된다.
변형예에 따르면, 시프트량 산출부(12)는, 신뢰도로서, 국소 시프트량의 오차의 절댓값의 기대값을 산출해도 된다. 이 경우도, 시프트량 산출부(12)는, 미리 제작되어, 기억부(5)에 기억되는 비 R과 국소 시프트량의 오차의 절댓값의 기대값의 관계를 나타내는 참조 테이블을 참조하여, 비 R에 대응하는 국소 시프트량의 오차의 절댓값의 기대값을 구하면 된다.
또 다른 변형예에 따르면, 시프트량 산출부(12)는, 신뢰도로서, 산출된 국소 시프트량과 진짜 시프트량인 정답 시프트량간의 오차가 소정의 값(예를 들어, 3화소) 이하가 될 확률을 산출해도 된다. 이 경우도, 시프트량 산출부(12)는, 미리 제작되어, 기억부(5)에 기억되는 비 R과 오차가 소정값 이하가 될 확률의 관계를 나타내는 참조 테이블을 참조하여, 비 R에 대응하는 그 확률을 구하면 된다.
또한, 시프트량 산출부(12)는, (3)식에 따라서 산출된 비 R 그 자체를, 신뢰도로 해도 된다.
시프트량 산출부(12)는, 각 시프트량 산출 에리어에 관한 국소 시프트량을 대표치 산출부(16)로 출력하고, 각 시프트량 산출 에리어에 관한 신뢰도를 신뢰도 보정부(15)로 출력한다.
에지 방향 산출부(13)는, 각 시프트량 산출 에리어에 대해서, 피사체의 에지 방향을 산출한다. 또한, 에지 방향 산출부(13)는, 각 시프트량 산출 에리어에 대하여 동일한 처리를 실행하므로, 이하에서는, 하나의 시프트량 산출 에리어에 있어서의 에지 방향의 산출 처리에 대해서 설명한다.
상기한 바와 같이, 국소 시프트량의 산출에 사용되는 좌측 화소 및 우측 화소는, 시프트량 산출 에리어에 있어서 이산적으로 배치되어 있는 경우가 있다. 그래서, 예를 들어 에지 방향 산출부(13)는, 시프트량 산출 에리어에 포함되는, 국소 시프트량의 산출에 사용되는 좌측 화소 및 우측 화소 이외의 촬상용 화소의 값을 사용하여, 피사체의 에지 방향을 산출한다.
이 경우, 에지 방향 산출부(13)는, 시프트량 산출 에리어 내의 각 좌측 화소 및 각 우측 화소의 값을, 그 주위의 화소값을 사용하여, 최근방 보간, 바이 리니어 보간 또는 바이 큐빅 보간 등 보간 처리를 적용해서 보간한 보간 화상을 생성한다. 그리고, 에지 방향 산출부(13)는, 보간 화상에 기초하여 에지 방향을 구한다. 또한, 에지 방향 산출부(13)는, 촬상용 화소의 값을 취득할 수 없고, 좌측 화소 및 우측 화소의 값밖에 사용할 수 없는 경우에는, 보간 대상이 되는 화소의 좌우 각각의 좌측 화소 또는 우측 화소의 값을 사용하여, 그 화소의 값을 보간한다. 이에 의해, 에지 방향 산출부(13)는, 좌측 화소 또는 우측 화소가 종횡 일정한 간격으로 격자 형상으로 배열된 보간 화상을 생성해도 된다.
에지 방향 산출부(13)는, 예를 들어 시프트량 산출 에리어의 보간 화상에 대하여 Sobel 필터 등, 에지 강도가 에지 방향에 따른 값을 갖는 에지 검출 필터를 이용한 에지 방향 검출 처리를 적용한다.
예를 들어, 에지 방향 산출부(13)는, 보간 화상 상의 각 화소에 대하여, 수평 방향의 에지 강도를 산출하는 Sobel 필터와, 수직 방향의 에지 강도를 산출하는 Sobel 필터를 적용하여, 수평 방향의 에지 강도 및 수직 방향의 에지 강도를 산출한다. 이 경우, 보간 화상 상의 위치(x,y)에 있는 화소의 값을 f(x,y)라고 하면, 수직 방향의 에지 강도 Sv(x,y) 및 수평 방향의 에지 강도 Sh(x,y)는 다음 식으로 표시된다.
Figure pat00004
또한, 에지 방향 산출부(13)는, 보간 화상 상의 각 화소에 대하여, 다음 식에 따라, 에지 강도 St(x,y) 및 그 화소에 있어서의 에지 방향θ(x,y)을 산출한다.
Figure pat00005
에지 방향 산출부(13)는, 보간 화상 전체에서, 에지 방향θ(x,y)마다, 에지 강도 St(x,y)의 합을 산출함으로써, 에지 방향θ(x,y)의 히스토그램을 구한다. 그리고, 에지 방향 산출부(13)는, 에지 방향θ(x,y)의 히스토그램에 있어서, 도수가 최대가 되는 방향을, 시프트량 산출 에리어에 있어서의 피사체의 에지 방향으로 한다.
또한, 에지 방향 산출부(13)는, 화상 상에 찍혀 있는 피사체의 에지 방향을 구하는 다른 다양한 에지 방향 산출 처리 중 어느 하나를 적용하여, 시프트량 산출 에리어에 있어서의 피사체의 에지 방향을 구해도 된다.
에지 방향 산출부(13)는, 각 시프트량 산출 에리어에 있어서의 피사체의 에지 방향을, 위상차 화소 배열 정보 산출부(14)에 통지한다.
위상차 화소 배열 정보 산출부(14)는, 각 시프트량 산출 에리어에 대해서, 그 시프트량 산출 에리어에 있어서의 피사체의 에지 방향과 직교하는 방향에 있어서의, 좌측 화소간의 간격, 우측 화소간의 간격 및 좌측 화소와 우측 화소간의 위치 어긋남량을 산출한다. 또한, 위상차 화소 배열 정보 산출부(14)는, 각 시프트량 산출 에리어에 대하여 동일한 처리를 실행하므로, 이하에서는, 하나의 시프트량 산출 에리어에 관한 처리에 대해서 설명한다.
위상차 화소 배열 정보 산출부(14)는, 좌측 화소간의 간격, 우측 화소간의 간격 및 좌측 화소와 우측 화소간의 위치 어긋남량을 산출하기 위해서, 시프트량 산출 에리어 내의 각 좌측 화소 및 각 우측 화소를, 그 시프트량 산출 에리어에 있어서의 피사체의 에지 방향을 따라서 투영한다.
도 12는, 화소의 에지 방향으로의 투영을 설명하는 도면이다. 도 12에 있어서, x축 방향은, 시프트량 산출 에리어의 수평 방향을 나타내고, y축 방향은, 시프트량 산출 에리어의 수직 방향을 나타낸다. 또한 선(1200)은, 에지 방향을 나타내고, x’축 방향은, 에지 방향과 직교하는 방향을 나타낸다. 그리고, θ는, 수평 방향과 에지 방향간의 각도이다. 이 경우, 위치(p, q)에 있는 화소 P(p, q)를, 에지 방향(1200)을 따라 x’축에 투영한 경우, 투영 후의 에지 방향과 직교하는 방향에 관한 화소 P(p, q)의 좌표, 즉, x’축에 있어서의 좌표 p’는, 다음 식으로 표시된다.
Figure pat00006
그래서, 위상차 화소 배열 정보 산출부(14)는, 시프트량 산출 에리어 내의 각 좌측 화소 및 각 우측 화소에 대해서, (6)식에 따라서 에지 방향과 직교하는 방향의 좌표를 산출한다.
도 13은, 좌측 화소 및 우측 화소의 배치 및 에지 방향과, 투영 후의 좌측 화소 및 우측 화소의 분포의 일례를 도시하는 도면이다. 도 13에 있어서, 시프트량 산출 에리어(1300) 내의 좌측 화소(1301)는, 'L’로 표시되고, 우측 화소(1302)는, 'R’로 표시되어 있다. 또한, x축 방향은, 시프트량 산출 에리어의 수평 방향을 나타내고, y축 방향은, 시프트량 산출 에리어의 수직 방향을 나타낸다. 이 예에서는, 화살표(1310)로 나타나는 방향을 따라서 에지가 형성되어 있다. 그로 인해, 각 좌측 화소(1301)를 에지 방향(1310)을 따라 투영하면, 에지 방향(1310)과 직교하는 방향에 있어서의, 좌측 화소의 분포(1321)가 얻어진다. 분포(1321)에 있어서, 횡축은, 에지 방향과 직교하는 방향의 좌표를 나타내고, 종축은, 좌측 화소의 유무를 나타내고, '1'은, 좌측 화소가 1개 이상 존재하고 있는 것을 나타내고, '0'은, 좌측 화소가 존재하지 않음을 나타낸다. 마찬가지로, 각 우측 화소(1302)를 에지 방향(1310)을 따라 투영하면, 에지 방향(1310)과 직교하는 방향에 있어서의, 우측 화소의 분포(1322)가 얻어진다. 분포(1322)에 있어서, 횡축은, 에지 방향과 직교하는 방향의 좌표를 나타내고, 종축은, 우측 화소의 유무를 나타내고, '1'은, 우측 화소가 1개 이상 존재하고 있는 것을 나타내고, '0'은, 좌측 화소가 존재하지 않음을 나타낸다. 이 예에서는, 에지 방향과 직교하는 방향에 있어서, 좌측 화소간의 간격 및 우측 화소의 간격 모두 7화소로 되어 있다.
위상차 화소 배열 정보 산출부(14)는, 에지 방향과 직교하는 방향으로의 투영 후에 있어서의, 각 좌측 화소의 위치에 기초하여, 에지 방향과 직교하는 방향에 있어서의, 좌측 화소간의 간격을 산출한다. 마찬가지로, 위상차 화소 배열 정보 산출부(14)는, 에지 방향과 직교하는 방향으로의 투영 후에 있어서의, 각 우측 화소의 위치에 기초하여, 에지 방향과 직교하는 방향에 있어서의, 우측 화소간의 간격을 산출한다. 또한, 위상차 화소 배열 정보 산출부(14)는, 좌측 화소간의 간격의 산출 및 우측 화소간의 간격의 산출에 대해서, 동일한 처리를 실행하면 되므로, 이하에서는, 좌측 화소간의 간격의 산출에 대해서 설명한다.
도 13에 도시되는 바와 같이, 투영 후의 좌측 화소간의 간격이 동일한 경우, 위상차 화소 배열 정보 산출부(14)는, 그 간격을, 그대로, 에지 방향과 직교하는 방향에 있어서의 좌측 화소간의 간격으로 한다. 그러나, 에지 방향과 직교하는 방향에 있어서의 위치에 따라서 인접하는 두 개의 좌측 화소간의 간격이 상이한 경우가 있다.
예를 들어, 어떤 위치에 있어서, 인접하는 두 개의 좌측 화소간의 간격이 8이고, 그 인접한 두 개의 좌측 화소간의 간격이 2인 것으로 한다. 이 경우, 두 개의 간격을 단순하게 평균하여 얻어지는 값((8+2)/2=5)을, 좌측 화소간의 간격으로서 산출하면, 작은 쪽의 간격(2)에 의해, 좌측 화소의 배치를 실현할 수 있는 본래의 해상도보다도, 좌측 화소간의 간격으로서 양호한 값이 얻어져 버린다. 이것은, 좌측 화소간의 간격이 교대로 8과 2가 되는 화소 배치보다도, 좌측 화소간의 간격이 균등하게 5가 되는 화소 배치 쪽이, 최대가 되는 간격이 좁으므로, 해상도는 양호해짐을 알 수 있다.
그래서, 예를 들어 위상차 화소 배열 정보 산출부(14)는, 다음 식에 따라, 좌측 화소간의 간격 dL을 산출한다.
Figure pat00007
여기서, pj는, 인접하는 두 개의 좌측 화소간의 간격이며, Σpj는, 인접하는 두 개의 좌측 화소간의 간격이 반복해서 동일해지는 구간에 포함되는, 인접하는 두 개의 좌측 화소간의 간격의 총합을 나타낸다. 즉, 좌측 화소간의 간격 dL은, 인접하는 두 개의 좌측 화소간의 간격이 반복해서 동일해지는 구간에 포함되는 임의의 화소의 위치에 있어서의, 좌측 화소간의 간격의 기대값을 나타낸다.
예를 들어, 상기한 바와 같이, 인접하는 두 개의 좌측 화소간의 간격이 교대로 8과 2가 될 경우, 인접하는 두 개의 좌측 화소간의 간격이 반복해서 동일해지는 구간의 길이는 10이 된다. 이 경우, 전반의 간격(8)에 착안하는 화소가 포함될 확률은 0.8(=8/(8+2))이 된다. 마찬가지로, 후반의 간격에 착안하는 화소가 포함될 확률은 0.2(=2/(8+2))가 된다. 그리고, 전반의 간격에는, 8개의 화소가 포함되고, 후반의 간격에는 2개의 화소가 포함된다. 따라서, 구간 내의 착안하는 화소의 위치에 있어서의, 화소간의 간격의 기대값은, (7)식에 나타내지는 바와 같이, 0.8×8+0.2×2=6.8이 된다.
도 14는, 도 13에 도시되는 좌측 화소의 배치에 관해서, 에지 방향마다의 좌측 화소간의 간격을 도시하는 도면이다. 도 14에 있어서, 횡축은 에지 방향θ를 나타내고, 종축은 좌측 화소간의 간격을 나타낸다. 그리고, 분포(1400)는, 에지 방향θ마다의 좌측 화소간의 간격을 나타낸다. 분포(1400)에 나타내지는 바와 같이, 에지 방향이 63°인 경우에, 좌측 화소간의 간격이 최대가 된다. 이것은, 복수의 좌측 화소가, 에지 방향과 직교하는 방향에 대하여 동일한 위치에 투영되는 것에 의한다. 그로 인해, 이러한 에지 방향을 갖는 피사체에 대하여 좌측 화상의 해상도는 낮아지므로, 국소 시프트량의 측정 정밀도도 저하된다. 한편, 예를 들어 에지 방향이 77°인 경우, 좌측 화소간의 간격은 대략 1로 되어 있다. 즉, 이러한 에지 방향을 갖는 피사체에 대하여 좌측 화상의 해상도는 높아지므로, 국소 시프트량의 측정 정밀도도 비교적 높아진다.
또한, 위상차 화소 배열 정보 산출부(14)는, 에지 방향과 직교하는 방향으로 투영된 각 좌측 화소 및 각 우측 화소의 분포에 기초하여, 에지 방향과 직교하는 방향을 따른 좌측 화소와 우측 화소간의 위치 어긋남량을 산출한다.
예를 들어, 위상차 화소 배열 정보 산출부(14)는, 도 13에 도시된 분포(1321)와 같이, 에지 방향과 직교하는 방향에 있어서의 좌표마다, 좌측 화소가 1개 이상 투영되어 있으면 '1', 좌측 화소가 1개도 투영되어 있지 않으면 '0'이라고 하는 좌측 화소의 투영 분포를 산출한다. 마찬가지로, 위상차 화소 배열 정보 산출부(14)는, 에지 방향과 직교하는 방향에 있어서의 좌표마다, 우측 화소가 1개 이상 투영되어 있으면 '1', 우측 화소가 1개도 투영되어 있지 않으면 '0'이라고 하는 우측 화소의 투영 분포를 산출한다. 그리고, 위상차 화소 배열 정보 산출부(14)는, 예를 들어 좌측 화소의 투영 분포와 우측 화소의 투영 분포간의 상대적인 위치를 바꾸면서, (1)식과 마찬가지로, 좌측 화소의 투영 분포와 우측 화소의 투영 분포간의 SAD값을 산출한다. 그리고, 위상차 화소 배열 정보 산출부(14)는, 그 SAD값이 최소가 될 때의 위치 어긋남량을, 에지 방향과 직교하는 방향에 있어서의, 좌측 화소와 우측 화소간의 위치 어긋남량으로 한다.
또한, 좌측 화소의 투영 분포 및 우측 화소의 투영 분포 중 적어도 한쪽이 주기적인 분포가 될 경우, SAD값이 최소가 되는 위치 어긋남량이 그 주기에 따라서 표시된다. 이 경우, 위상차 화소 배열 정보 산출부(14)는, SAD값이 최소가 되는 위치 어긋남량 중, 최소가 되는 위치 어긋남량을, 에지 방향과 직교하는 방향에 있어서의, 좌측 화소와 우측 화소간의 위치 어긋남량으로 하면 된다.
도 15는, 도 13에 도시되는 좌측 화소 및 우측 화소의 배치에 관해서, 에지 방향마다의 좌측 화소와 우측 화소간의 위치 어긋남량을 도시하는 도면이다. 도 15에 있어서, 횡축은 에지 방향θ를 나타내고, 종축은 위치 어긋남량을 나타낸다. 그리고, 분포(1500)는, 에지 방향θ마다의 좌측 화소와 우측 화소간의 위치 어긋남량을 나타낸다. 분포(1500)에 도시되는 바와 같이, 에지 방향이 63°인 경우에, 좌측 화소와 우측 화소간의 위치 어긋남량이 최대(3화소)가 된다. 따라서, 이러한 에지 방향에 대해서는, 국소 시프트량의 측정 정밀도가 비교적 낮아진다. 한편, 에지 방향이 90°인 경우에, 좌측 화소와 우측 화소간의 위치 어긋남량이 최소(0화소)가 된다. 따라서, 이러한 에지 방향에 대해서는, 국소 시프트량의 측정 정밀도가 비교적 높아진다.
위상차 화소 배열 정보 산출부(14)는, 각 시프트량 산출 에리어에 관한, 에지 방향과 직교하는 방향에 있어서의 좌측 화소간의 간격, 우측 화소간의 간격 및 좌측 화소와 우측 화소간의 위치 어긋남량을, 신뢰도 보정부(15)로 출력한다.
신뢰도 보정부(15)는, 각 시프트량 산출 에리어에 대해서, 그 시프트량 산출 에리어의 국소 시프트량의 신뢰도를, 그 시프트량 산출 에리어의 좌측 화소 간격, 우측 화소 간격 및 좌우측 화소 위치 어긋남량에 기초해서 보정한다. 또한, 신뢰도 보정부(15)는, 각 시프트량 산출 에리어에 대해서 동일한 처리를 실행하므로, 이하에서는, 하나의 시프트량 산출 에리어에 관한 처리에 대해서 설명한다.
본 실시 형태에서는, 신뢰도 보정부(15)는, 좌측 화소간의 간격, 우측 화소간의 간격, 또는 좌측 화소와 우측 화소간의 위치 어긋남량이 클수록, 신뢰도가 나타내는 국소 시프트량의 정확도가 저하되도록, 신뢰도의 값을 보정한다. 그를 위하여, 신뢰도 보정부(15)는, 신뢰도를, 시프트량 산출 에리어의 좌측 화소 간격, 우측 화소 간격 및 좌우측 화소 위치 어긋남량에 기초하여 선택되는, 미리 설정된 기준 신뢰도와 비교한다. 그리고, 신뢰도 보정부(15)는, 신뢰도가 나타내는 국소 시프트량의 정확도가, 기준 신뢰도가 나타내는 국소 시프트량의 정확도보다도 높은 경우, 신뢰도를 기준 신뢰도로 치환한다. 예를 들어, 신뢰도가 추정 분산, 국소 시프트량의 오차 절댓값의 기대값, 또는, 콘트라스트에 대한 SAD값의 최솟값의 비일 경우, 국소 시프트량이 확실할수록 신뢰도는 작은 값이 된다. 이러한 경우, 신뢰도 보정부(15)는, 신뢰도가 기준 신뢰도 미만이면, 신뢰도를 기준 신뢰도로 치환하고, 한편, 신뢰도가 기준 신뢰도 이상이면, 신뢰도를 변경하지 않는다. 한편, 신뢰도가 국소 시프트량과 정답 시프트량간의 오차가 소정값 이하가 될 확률인 경우, 국소 시프트량이 확실할수록 신뢰도는 큰 값이 된다. 이러한 경우, 신뢰도 보정부(15)는, 신뢰도가 기준 신뢰도보다도 크면, 신뢰도를 기준 신뢰도로 치환하고, 한편, 신뢰도가 기준 신뢰도 이하이면, 신뢰도를 변경하지 않는다. 이에 의해, 신뢰도 보정부(15)는, 신뢰도를, 에지 방향과 좌측 화소 및 우측 화소의 배열 관계에 따른 불확정성을 고려한 값으로 보정할 수 있다.
또한, 기준 신뢰도는, 예를 들어 미리 이하와 같이 산출되고, 기억부(5)에 기억된다. 좌측 화소 간격, 우측 화소 간격 및 좌우측 화소 위치 어긋남량의 조마다, 에지가 발생하는 위치와 에지의 흐려짐량(좌측 화상과 우측 화상간의 정답 시프트량에 대응)을 다양하게 바꾼 복수의 테스트 패턴을 사용하여, 테스트 패턴마다 국소 시프트량이 산출된다. 그리고, 신뢰도가 추정 분산일 경우, 기준 신뢰도는, 테스트 패턴마다 산출된 국소 시프트량과 정답 시프트량간의 오차의 분산으로서 산출된다. 마찬가지로, 신뢰도가 국소 시프트량과 정답 시프트량간의 오차 절댓값의 기대값인 경우도, 테스트 패턴마다 산출된 국소 시프트량과 정답 시프트량간의 오차 절댓값의 기대값으로서 산출된다. 또한, 신뢰도가 콘트라스트에 대한 SAD값의 최솟값의 비 또는 신뢰도가 국소 시프트량과 정답 시프트량간의 오차가 소정값 이하가 될 확률일 경우, 테스트 패턴마다 산출된 그들 값의 기대값으로서, 기준 신뢰도는 산출되면 된다.
신뢰도가, 추정 분산, 국소 시프트량과 정답 시프트량간의 오차 절댓값의 기대값 또는 콘트라스트에 대한 SAD값의 최솟값의 비일 경우, 기준 신뢰도는, 좌측 화소간의 간격, 우측 화소간의 간격 또는 좌측 화소와 우측 화소간의 위치 어긋남량이 클수록, 필연적으로 커진다. 한편, 신뢰도가, 국소 시프트량과 정답 시프트량간의 오차가 소정값 이하가 될 확률일 경우, 기준 신뢰도는, 좌측 화소간의 간격, 우측 화소간의 간격 또는 좌측 화소와 우측 화소간의 위치 어긋남량이 클수록, 필연적으로 작아진다. 그로 인해, 신뢰도의 값은, 기준 신뢰도가 나타내는 국소 시프트량의 정확도보다도, 신뢰도가 나타내는 국소 시프트량의 정확도가 높아지지 않게 보정된다. 따라서, 신뢰도 보정부(15)는, 에지 방향과 좌측 화소 및 우측 화소의 배열 관계에서 국소 시프트량의 측정 정밀도가 저하되어 버릴 가능성을 신뢰도에 적절하게 반영할 수 있다.
또한, 변형예에 따르면, 신뢰도 보정부(15)는, 신뢰도의 보정이 필요하지 않은 좌측 화소간의 간격 또는 우측 화소간의 간격의 최댓값에 대한 좌측 화소간의 간격의 제1 비 및 그 최댓값에 대한 우측 화소간의 간격의 제2 비를 산출한다. 또한, 신뢰도 보정부(15)는, 신뢰도의 보정이 필요하지 않은 좌측 화소와 우측 화소간의 위치 어긋남량의 최댓값에 대한, 좌측 화소와 우측 화소간의 위치 어긋남량의 제3 비를 산출한다. 그리고, 신뢰도 보정부(15)는, 제1 비 내지 제3 비 중, 최대가 되는 비를 보정 계수로 한다. 그리고, 신뢰도가, 추정 분산, 국소 시프트량과 정답 시프트량간의 오차 절댓값의 기대값 또는 콘트라스트에 대한 SAD값의 최솟값의 비일 경우, 신뢰도 보정부(15)는, 신뢰도에 그 보정 계수를 곱해서 얻어지는 값을 보정 후의 신뢰도로 한다. 한편, 신뢰도가, 국소 시프트량과 정답 시프트량간의 오차가 소정값 이하가 될 확률일 경우, 신뢰도 보정부(15)는, 신뢰도를 그 보정 계수로 제산해서 얻어지는 값을 보정 후의 신뢰도로 한다.
신뢰도 보정부(15)는, 각 시프트량 산출 에리어에 대해서, 보정된 신뢰도를 대표치 산출부(16)로 출력한다.
대표치 산출부(16)는, 측정 에리어에 포함되는 각 시프트량 산출 에리어의 국소 시프트량 및 보정된 신뢰도에 기초하여, 측정 에리어에 찍혀 있는 피사체에 대한 합초 위치를 나타내는 대표 시프트량을 산출한다.
대표치 산출부(16)는, 예를 들어 다음 식에 따라, 각 시프트량 산출 에리어에 관한 국소 시프트량을 신뢰도로 가중 평균함으로써, 측정 에리어의 대표 시프트량 S를 산출한다.
Figure pat00008
여기서, Si는, i번째의 시프트량 산출 에리어의 국소 시프트량이며, Vi는, i번째의 시프트량 산출 에리어의 신뢰도이다. 또한 N은, 측정 에리어에 포함되는 시프트량 산출 에리어의 수이다. 단, (8)식은, 추정 분산이 신뢰도로서 산출되어 있는 경우와 같이, 국소 시프트량 Si가 확실할수록 신뢰도 Vi가 작은 값이 되는 경우에 적용된다. 따라서, (8)식으로부터 명백해진 바와 같이, 국소 시프트량 Si가 확실한 시프트량 산출 에리어일수록, 대표 시프트량에의 기여가 커진다. 또한, 대표치 산출부(16)는, (8)식을 사용하는 대신, 신뢰도가 소정의 역치 이하가 되는 시프트량 산출 에리어, 또는, 신뢰도의 값이 작은 쪽부터 순서대로 소정수의 국소 시프트량의 평균값 또는 중앙값을, 대표 시프트량 S로 해도 된다. 이 경우도, 국소 시프트량 Si가 확실한 시프트량 산출 에리어일수록, 대표 시프트량에의 기여가 커진다. 또한, 국소 시프트량의 오차가 소정값 이하가 될 확률이 신뢰도로서 산출되어 있는 경우와 같이, 국소 시프트량 Si가 확실할수록 신뢰도 Vi가 큰 값이 될 경우에는, 대표치 산출부(16)는, 예를 들어 다음 식에 따라서 대표 시프트량 S를 산출해도 된다.
Figure pat00009
또한, 이 경우도, 대표치 산출부(16)는, (9)식을 사용하는 대신, 신뢰도가 소정의 역치 이상이 되는 시프트량 산출 에리어, 또는, 신뢰도의 값이 큰 쪽부터 순서대로 소정수의 국소 시프트량의 평균값 또는 중앙값을, 대표 시프트량 S로 해도 된다.
또한, 후술하는 바와 같이, 합초부(17)가 콘트라스트 검출 방식을 병용하는 경우에는, 대표치 산출부(16)는 대표 시프트량의 추정 분산(이하, 대표 분산이라고 칭함) V를 산출해도 된다. 예를 들어, 신뢰도가 추정 분산과 같이, 국소 시프트량이 확실할수록 작은 값이 될 경우, 대표치 산출부(16)는 다음 식에 따라서 대표 분산 V를 산출한다.
Figure pat00010
제어부(6)는, 대표 시프트량에 상당하는 이동량만큼 촬상 광학계(22)를 광축을 따라 이동시킴으로써, 측정 에리어에 찍히는 피사체에 대하여 촬상부(2)를 합초시킬 수 있으므로, 대표 시프트량은, 합초 위치를 나타내고 있다. 대표치 산출부(16)는 대표 시프트량을 합초부(17)로 출력한다. 또한, 후술하는 바와 같이, 합초부(17)가 콘트라스트 검출 방식을 병용하는 경우에는, 대표치 산출부(16)는 대표 분산도 합초부(17)로 출력한다.
합초부(17)는, 합초 테이블을 참조하여, 대표 시프트값에 대응하는 촬상부(2)의 이동량에 상당하는 스테핑 모터의 회전량을 구한다. 그리고, 합초부(17)는, 촬상부(2)의 현재의 위치와 기준 위치의 차에 상당하는 회전량을, 구한 회전량에서 뺀 양만큼 촬상부(2)의 액추에이터(23)의 스테핑 모터를 회전시키는 제어 신호를 액추에이터(23)로 출력한다. 그리고, 액추에이터(23)는, 그 제어 신호에 따른 회전량만큼 스테핑 모터를 회전시킴으로써, 대표 시프트량을 0으로 하도록 촬상 광학계(22)를 광축에 따라 이동시킨다. 이에 의해, 촬상부(2)는 측정 에리어에 찍히는 피사체에 대해서 합초할 수 있다.
변형예에 따르면, 합초부(17)는, 위상차 검출 방식과 함께 콘트라스트 검출 방식을 이용하여, 촬상부(2)를 측정 에리어에 찍히는 피사체에 합초시켜도 된다. 이 경우에는, 상기한 바와 같이 합초부(17)는, 우선 대표 시프트량에 따른 회전량만큼, 액추에이터(23)의 스테핑 모터를 회전시켜서, 대표 시프트량이 0이 되도록 촬상 광학계(22)를 광축에 따라 이동시킨다. 그 후, 합초부(17)는, 대표치 산출부(16)로부터 수취한 대표 분산에 기초하여, 피사체의 콘트라스트를 조사하는 촬상 광학계(22)의 위치 범위를 설정한다. 예를 들어, 합초부(17)는, 피사체의 콘트라스트를 조사하는 촬상 광학계(22)의 위치 범위를, 대표 분산에 대응하는 표준 편차의 ±2배에 상당하는 범위로 설정한다. 그리고, 합초부(17)는, 그 범위 내에서 촬상 광학계(22)를 이동시키면서, 촬상부(2)에 의해 얻어지는 화상 상의 측정 에리어에 상당하는 범위의 콘트라스트가 극대값이 되는 촬상 광학계(22)의 위치를 검출한다. 그리고, 합초부(17)는, 콘트라스트가 극대값이 되는 촬상 광학계(22)의 위치를, 측정 에리어에 찍히는 피사체에 대해서 촬상 광학계(22)가 합초하는 위치로 한다. 또한, 합초부(17)는, 설정한 촬상 광학계(22)의 위치 범위 내에, 콘트라스트가 극대값이 되는 위치가 없으면, 그 범위 밖에서도 콘트라스트의 극대값이 되는 촬상 광학계(22)의 위치를 검출해도 된다.
이와 같이, 합초부(17)는, 위상차 검출 방식과 콘트라스트 검출 방식을 병용하는 경우에도, 콘트라스트 검출 방식으로 콘트라스트를 조사하는 촬상 광학계(22)의 위치 범위를 적절하게 한정할 수 있다. 그로 인해, 합초부(17)는, 촬상부(2)가 측정 에리어 내의 피사체에 합초할 때까지 필요로 하는 시간을 단축할 수 있다.
도 16은, 제어부(6)에 의해 실행되는 합초 위치 검출 처리의 동작 흐름도이다. 제어부(6)는, 촬상부(2)로부터, 피사체를 촬영한 화상을 취득한다(스텝 S101). 그리고, 제어부(6)는 그 화상을 기억부(5)에 기억한다.
시프트량 산출 에리어 특정부(11)는, 지정된 측정 에리어 내에 포함되는 시프트량 산출 에리어를 특정한다(스텝 S102). 그리고, 시프트량 산출 에리어 특정부(11)는, 특정된 시프트량 산출 에리어를 시프트량 산출부(12) 및 에지 방향 산출부(13)에 통지한다.
시프트량 산출부(12)는, 기억부(5)에 기억된 화상에 기초하여, 각 시프트량 산출 에리어에 대해서, 좌측 화상과 우측 화상이 가장 일치하는 국소 시프트량과 그 신뢰도를 산출한다(스텝 S103). 그리고, 시프트량 산출부(12)는, 각 시프트량 산출 에리어의 국소 시프트량을 대표치 산출부(16)로 출력하고, 신뢰도를 신뢰도 보정부(15)로 출력한다.
에지 방향 산출부(13)는, 각 시프트량 산출 에리어에 대해서, 그 시프트량 산출 에리어에 있어서의 피사체의 에지 방향을 산출한다(스텝 S104). 그리고, 에지 방향 산출부(13)는, 각 시프트량 산출 에리어에 있어서의 피사체의 에지 방향을, 위상차 화소 배열 정보 산출부(14)에 통지한다.
위상차 화소 배열 정보 산출부(14)는, 각 시프트량 산출 에리어에 대해서, 그 시프트량 산출 에리어에 있어서의 에지 방향과 직교하는 방향에 있어서의, 좌측 화소 간격, 우측 화소 간격 및 좌측 화소와 우측 화소간의 위치 어긋남량을 산출한다(스텝 S105). 위상차 화소 배열 정보 산출부(14)는, 각 시프트량 산출 에리어의 좌측 화소 간격, 우측 화소 간격 및 좌측 화소와 우측 화소간의 위치 어긋남량을 신뢰도 보정부(15)로 출력한다.
신뢰도 보정부(15)는, 각 시프트량 산출 에리어에 대해서, 그 시프트량 산출 에리어에 있어서의 좌측 화소 간격, 우측 화소 간격 및 좌측 화소와 우측 화소간의 위치 어긋남량이 클수록, 신뢰도가 나타내는 국소 시프트량의 정확도가 저하되도록 신뢰도를 보정한다(스텝 S106). 그리고, 신뢰도 보정부(15)는, 각 시프트량 산출 에리어에 관한 보정된 신뢰도를 대표치 산출부(16)로 출력한다.
대표치 산출부(16)는, 각 시프트량 산출 에리어의 국소 시프트량을 보정된 신뢰도로 가중 평균함으로써, 측정 에리어 전체에 관한 대표 시프트량을 산출한다(스텝 S107). 대표치 산출부(16)는, 대표 시프트량을 합초부(17)로 출력한다.
합초부(17)는 대표 시프트량에 기초하여, 측정 에리어 내에 찍히는 피사체에 대하여 촬상부(2)가 합초되도록, 촬상부(2)의 촬상 광학계(22)를 광축을 따라 이동시킨다(스텝 S108).
그리고, 제어부(6)는 합초 위치 검출 처리를 종료한다.
도 17의 (a)는 신뢰도를 보정하지 않는 경우의 측정 에리어 내의 각 시프트량 산출 에리어의 국소 시프트량과 신뢰도를 도시하는 도면이다. 한편, 도 17의 (b)는 상기 실시 형태 또는 그 변형예에 따라서 신뢰도가 보정된 경우의 측정 에리어 내의 각 시프트량 산출 에리어의 국소 시프트량과 신뢰도를 도시하는 도면이다. 도 17의 (a) 및 도 17의 (b)에 있어서 측정 에리어(1700) 내에는, 수평 방향으로 4개, 수직 방향으로 3개의 시프트량 산출 에리어(1701)가 설정되어 있다. 각 시프트량 산출 에리어(1701) 내에 나타난 좌측의 수치는, 국소 시프트량을 나타내고, 우측의 수치는, 추정 분산으로 표시되는 신뢰도이다. 그리고, 선(1702, 1703)은 각각, 피사체의 에지를 나타낸다.
피사체의 에지가 포함되지 않는 시프트량 산출 에리어에서는, 좌측 화상과 우측 화상이 가장 일치하는 국소 시프트량을 정확하게 검출하는 것은 곤란하기 때문에, 국소 시프트량이 거짓 값이 되었지만, 신뢰도도 매우 큰 값이 된다. 그로 인해, 그러한 시프트량 산출 에리어는, 대표 시프트량의 산출에 거의 영향을 미치지 않는다. 한편, 도 17의 (a)에 도시되는 바와 같이, 시프트량 산출 에리어(1701a, 1701b)에서는, 에지(1703)가 포함되지만, 에지 방향과 좌측 화소 및 우측 화소의 배치가 정합되어 있지 않기 때문에, 신뢰도가 본래 취해야 할 값보다도 작아져 있다. 그 결과로서, 대표 시프트량은, 시프트량 산출 에리어(1701a 및 1701b)의 국소 시프트량에 큰 영향을 받게 되어, 본래의 합초 위치로부터 어긋난 값인 5.39가 된다.
한편, 도 17의 (b)에서는, 시프트량 산출 에리어(1701a 및 1701b)의 신뢰도가, 에지 방향과 좌측 화소 및 우측 화소의 배열 관계를 고려하여, 도 17의 (a)에 도시되는 값보다도 큰 값으로 보정되어 있다. 그 결과로서, 대표 시프트량의 산출에 있어서의 시프트량 산출 에리어(1701a 및 1701b)의 국소 시프트량의 영향이 작아져, 본래의 합초 위치에 가까운 값인 2.09가 된다.
이상으로 설명한 바와 같이, 이 합초 위치 검출 장치는, 측정 에리어 내에 포함되는 각 시프트량 산출 에리어에 대해서, 피사체의 에지 방향과 직교하는 방향을 따른 좌측 화소 간격, 우측 화소 간격 및 좌측 화소와 우측 화소간의 위치 어긋남량에 따라서 국소 시프트량의 신뢰도를 보정한다. 그리고 이 합초 위치 검출 장치는, 각 시프트량 산출 에리어의 국소 시프트량을, 보정된 신뢰도로 가중 평균함으로써, 합초 위치를 나타내는 대표 시프트량을 구한다. 그로 인해, 이 합초 위치 검출 장치는, 각 시프트량 산출 에리어에 찍혀 있는 피사체의 에지 방향과 좌측 화소 및 우측 화소의 배열 부정합에 의한, 합초 위치의 오차를 억제할 수 있다.
또한, 변형예에 따르면, 위상차 화소 배열 정보 산출부(14)는 각 시프트량 산출 에리어에 대해서, 좌측 화소 간격, 우측 화소 간격 및 좌측 화소와 우측 화소간의 위치 어긋남량 중, 어느 하나 또는 두 개를 산출해도 된다. 그리고, 신뢰도 보정부(15)는, 각 시프트량 산출 에리어에 대해서, 좌측 화소 간격, 우측 화소 간격 및 좌측 화소와 우측 화소간의 위치 어긋남량 중 산출된 것에 따라, 상기와 마찬가지의 처리를 행해서 신뢰도를 보정해도 된다. 이 경우에는, 신뢰도의 보정에 필요로 하는 연산량이 삭감되므로, 합초 위치 검출 장치는, 합초 시의 촬상부(2)의 응답 속도를 향상시킬 수 있다.
또 다른 변형예에 따르면, 합초 위치 검출 장치는, 위상차 검출 방식에 의한 합초 위치의 검출뿐만 아니라, 예를 들어 2안 카메라와 같은, 피사체에 대하여 시차가 있는 두 개의 화상을 얻는 촬상 장치에 있어서, 피사체까지의 거리를 측정하기 위해서 적용되어도 된다. 이 경우에는, 예를 들어 촬상 장치가 갖는 기억부에, 대표 시프트량과 촬상 장치로부터 피사체까지의 거리와의 관계를 나타내는 거리 테이블이 미리 저장된다. 그리고, 촬상 장치의 제어부가, 그 촬상 장치가 생성한, 시차가 있는 두 개의 화상에 대하여, 상기 실시 형태에 따른 제어부의 각 기능을 실행함으로써, 화상을 생성하는 각 이미지 센서에 설정되는 측정 에리어에 찍히는 피사체에 대한 대표 시프트량을 산출할 수 있다. 그리고, 제어부는, 거리 테이블을 참조하여, 대표 시프트량에 대응하는, 촬상 장치로부터 측정 에리어 내에 찍히는 피사체까지의 거리를 구할 수 있다.
여기에 언급된 모든 예 및 특정한 용어는, 독자가, 본 발명 및 당해 기술의 촉진에 대한 본 발명자에 의해 기여된 개념을 이해하는 것을 돕는, 교시적인 목적에서 의도된 것이며, 본 발명의 우위성 및 열등성을 나타내는 것에 관한, 본 명세서의 어떠한 예의 구성, 그러한 특정한 언급된 예 및 조건에 한정하지 않도록 해석되어야 할 것이다. 본 발명의 실시 형태는 상세하게 설명되어 있지만, 본 발명의 정신 및 범위로부터 벗어나지 않고, 여러 가지 변경, 치환 및 수정을 이것에 가하는 것이 가능하다는 것을 이해하기 바란다.
1 : 디지털 카메라
2 : 촬상부
3 : 조작부
4 : 표시부
5 : 기억부
6 : 제어부
11 : 시프트량 산출 에리어 특정부
12 : 시프트량 산출부
13 : 에지 방향 산출부
14 : 위상차 화소 배열 정보 산출부
15 : 신뢰도 보정부
16 : 대표치 산출부
17 : 합초부
21 : 이미지 센서
22 : 촬상 광학계
23 : 액추에이터

Claims (8)

  1. 화상을 생성하는 이미지 센서와, 광학계를 갖는 촬상부에 있어서의 상기 이미지 센서 상에 설정되는 측정 에리어 내에 포함되는 복수의 시프트량 산출 에리어를 특정하고, 상기 복수의 시프트량 산출 에리어 각각은, 그 시프트량 산출 에리어에 찍히는 피사체를 나타내는 제1 서브 화상을 생성하는, 복수의 제1 화소와, 그 시프트량 산출 에리어에 찍히는 상기 피사체를 나타내는 제2 서브 화상을 생성하는, 복수의 제2 화소를 갖고, 상기 제1 서브 화상 상의 상기 피사체와 상기 제2 서브 화상 상의 상기 피사체간의 시프트량이, 상기 광학계에 의한 상기 피사체에 대한 합초(合焦) 위치와 상기 이미지 센서간의 거리에 따라 변화되는 시프트량 산출 에리어 특정부와,
    상기 복수의 시프트량 산출 에리어 각각에 대해서, 상기 제1 서브 화상 상의 상기 피사체와 상기 제2 서브 화상 상의 상기 피사체가 가장 일치할 때의 상기 제1 서브 화상에 대한 상기 제2 서브 화상의 국소 시프트량과, 상기 국소 시프트량의 정확도를 나타내는 신뢰도를 산출하는 시프트량 산출부와,
    상기 복수의 시프트량 산출 에리어 각각에 대해서, 그 시프트량 산출 에리어에서의 상기 피사체의 에지 방향과 직교하는 방향에 있어서의, 상기 복수의 제1 화소 중 인접하는 제1 화소간의 간격과, 상기 복수의 제2 화소 중 인접하는 제2 화소간의 간격과, 상기 복수의 제1 화소와 상기 복수의 제2 화소의 위치 어긋남량 중 적어도 하나에 기초하여, 그 시프트량 산출 에리어의 상기 신뢰도를 보정하는 신뢰도 보정부와,
    상기 복수의 시프트량 산출 에리어 각각의 상기 국소 시프트량을 상기 보정된 신뢰도로 가중 평균함으로써, 상기 광학계에 의한 합초 위치와 상기 이미지 센서간의 거리를 나타내는 대표치를 산출하는 대표치 산출부
    를 갖는 합초 위치 검출 장치.
  2. 제1항에 있어서,
    상기 복수의 시프트량 산출 에리어 각각에 대해서, 그 시프트량 산출 에리어에 있어서의 상기 피사체의 에지 방향을 산출하는 에지 방향 산출부를 더 갖는 합초 위치 검출 장치.
  3. 제1항에 있어서,
    상기 복수의 시프트량 산출 에리어 각각에 대해서, 상기 인접하는 제1 화소간의 간격과, 상기 인접하는 제2 화소간의 간격과, 상기 위치 어긋남량 중 상기 적어도 하나를 산출하는 화소 배열 정보 산출부를 더 갖는 합초 위치 검출 장치.
  4. 제1항에 있어서,
    상기 신뢰도 보정부는, 상기 복수의 시프트량 산출 에리어 각각에 대해서, 그 시프트량 산출 에리어에 있어서의 상기 인접하는 제1 화소간의 간격과, 상기 인접하는 제2 화소간의 간격과, 상기 위치 어긋남량 중 적어도 하나가 커질수록, 그 시프트량 산출 에리어에 있어서의 상기 신뢰도가 나타내는 상기 국소 시프트량의 정확도가 저하하도록 상기 신뢰도를 보정하는 합초 위치 검출 장치.
  5. 제4항에 있어서,
    상기 신뢰도 보정부는, 상기 복수의 시프트량 산출 에리어 각각에 대해서, 기준 신뢰도와 그 시프트량 산출 에리어에 있어서의 상기 신뢰도를 비교하고, 상기 기준 신뢰도가 나타내는 상기 국소 시프트량의 정확도보다도 상기 신뢰도가 나타내는 상기 국소 시프트량의 정확도 쪽이 높은 경우에, 상기 신뢰도를 상기 기준 신뢰도로 보정하고, 상기 기준 신뢰도가 나타내는 상기 국소 시프트량의 정확도는, 상기 인접하는 제1 화소간의 간격과, 상기 인접하는 제2 화소간의 간격과, 상기 위치 어긋남량 중 적어도 하나가 커질수록 저하되는 합초 위치 검출 장치.
  6. 제1항에 있어서,
    상기 시프트량 산출부는, 상기 복수의 시프트량 산출 에리어 각각에 대해서, 그 시프트량 산출 에리어에 있어서의, 상기 제1 서브 화상에 대하여 상기 제2 서브 화상을 시프트시키면서, 상기 제1 서브 화상과 상기 제2 서브 화상의 대응 화소간의 화소값의 차분 절대값의 합을 산출하고, 그 합의 최소값과 그 시프트량 산출 에리어에 있어서의 상기 피사체의 콘트라스트의 비에 기초하여 상기 신뢰도를 산출하는 합초 위치 검출 장치.
  7. 화상을 생성하는 이미지 센서와, 광학계를 갖는 촬상부에 있어서의 상기 이미지 센서 상에 설정되는 측정 에리어 내에 포함되는 복수의 시프트량 산출 에리어를 특정하고, 상기 복수의 시프트량 산출 에리어 각각은, 그 시프트량 산출 에리어에 찍히는 피사체를 나타내는 제1 서브 화상을 생성하는, 복수의 제1 화소와, 그 시프트량 산출 에리어에 찍히는 상기 피사체를 나타내는 제2 서브 화상을 생성하는, 복수의 제2 화소를 갖고, 상기 제1 서브 화상 상의 상기 피사체와 상기 제2 서브 화상 상의 상기 피사체간의 시프트량이, 상기 광학계에 의한 상기 피사체에 대한 합초 위치와 상기 이미지 센서간의 거리에 따라 변화하고,
    상기 복수의 시프트량 산출 에리어 각각에 대해서, 상기 제1 서브 화상 상의 상기 피사체와 상기 제2 서브 화상 상의 상기 피사체가 가장 일치할 때의 상기 제1 서브 화상에 대한 상기 제2 서브 화상의 국소 시프트량과, 상기 국소 시프트량의 정확도를 나타내는 신뢰도를 산출하고,
    상기 복수의 시프트량 산출 에리어 각각에 대해서, 그 시프트량 산출 에리어에서의 상기 피사체의 에지 방향과 직교하는 방향에 있어서의, 상기 복수의 제1 화소 중 인접하는 제1 화소간의 간격과, 상기 복수의 제2 화소 중 인접하는 제2 화소간의 간격과, 상기 복수의 제1 화소와 상기 복수의 제2 화소의 위치 어긋남량 중 적어도 하나에 기초하여, 그 시프트량 산출 에리어의 상기 신뢰도를 보정하고,
    상기 복수의 시프트량 산출 에리어 각각의 상기 국소 시프트량을 상기 보정된 신뢰도로 가중 평균함으로써, 상기 광학계에 의한 합초 위치와 상기 이미지 센서간의 거리를 나타내는 대표치를 산출하는 것
    을 포함하는 합초 위치 검출 방법.
  8. 화상을 생성하는 이미지 센서와, 광학계를 갖는 촬상부에 있어서의 상기 이미지 센서 상에 설정되는 측정 에리어 내에 포함되는 복수의 시프트량 산출 에리어를 특정하고, 상기 복수의 시프트량 산출 에리어 각각은, 그 시프트량 산출 에리어에 찍히는 피사체를 나타내는 제1 서브 화상을 생성하는, 복수의 제1 화소와, 그 시프트량 산출 에리어에 찍히는 상기 피사체를 나타내는 제2 서브 화상을 생성하는, 복수의 제2 화소를 갖고, 상기 제1 서브 화상 상의 상기 피사체와 상기 제2 서브 화상 상의 상기 피사체간의 시프트량이, 상기 광학계에 의한 상기 피사체에 대한 합초 위치와 상기 이미지 센서간의 거리에 따라 변화하고,
    상기 복수의 시프트량 산출 에리어 각각에 대해서, 상기 제1 서브 화상 상의 상기 피사체와 상기 제2 서브 화상 상의 상기 피사체가 가장 일치할 때의 상기 제1 서브 화상에 대한 상기 제2 서브 화상의 국소 시프트량과, 상기 국소 시프트량의 정확도를 나타내는 신뢰도를 산출하고,
    상기 복수의 시프트량 산출 에리어 각각에 대해서, 그 시프트량 산출 에리어에서의 상기 피사체의 에지 방향과 직교하는 방향에 있어서의, 상기 복수의 제1 화소 중 인접하는 제1 화소간의 간격과, 상기 복수의 제2 화소 중 인접하는 제2 화소간의 간격과, 상기 복수의 제1 화소와 상기 복수의 제2 화소의 위치 어긋남량 중 적어도 하나에 기초하여, 그 시프트량 산출 에리어의 상기 신뢰도를 보정하고,
    상기 복수의 시프트량 산출 에리어 각각의 상기 국소 시프트량을 상기 보정된 신뢰도로 가중 평균함으로써, 상기 광학계에 의한 합초 위치와 상기 이미지 센서간의 거리를 나타내는 대표치를 산출하는 것
    을 포함하는 프로세서에 실행시키기 위한 합초 위치 검출용 컴퓨터 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
KR1020160105231A 2015-08-31 2016-08-19 합초 위치 검출 장치, 합초 위치 검출 방법 및 합초 위치 검출용 컴퓨터 프로그램 KR101774167B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2015-171091 2015-08-31
JP2015171091A JP2017049351A (ja) 2015-08-31 2015-08-31 合焦位置検出装置、合焦位置検出方法及び合焦位置検出用コンピュータプログラム

Publications (2)

Publication Number Publication Date
KR20170026149A true KR20170026149A (ko) 2017-03-08
KR101774167B1 KR101774167B1 (ko) 2017-09-01

Family

ID=58096371

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160105231A KR101774167B1 (ko) 2015-08-31 2016-08-19 합초 위치 검출 장치, 합초 위치 검출 방법 및 합초 위치 검출용 컴퓨터 프로그램

Country Status (4)

Country Link
US (1) US20170064186A1 (ko)
JP (1) JP2017049351A (ko)
KR (1) KR101774167B1 (ko)
CN (1) CN106488111A (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111095351B (zh) * 2017-09-14 2023-06-20 株式会社日立高新技术 电荷粒子显微镜装置和广角图像生成方法
CN112866554B (zh) * 2019-11-12 2022-06-10 Oppo广东移动通信有限公司 对焦方法和装置、电子设备、计算机可读存储介质
CN110933305B (zh) * 2019-11-28 2021-07-20 维沃移动通信有限公司 电子设备及对焦方法
CN111598002B (zh) * 2020-05-18 2023-04-07 北京星律动科技有限公司 多面部表情捕捉方法、装置、电子设备及计算机存储介质
CN113781506B (zh) * 2021-08-06 2023-12-15 东北大学 一种带钢偏移量检测方法及系统
EP4368943A1 (en) * 2022-05-24 2024-05-15 Nippon Steel Corporation Screw shape dimension measurement device and screw shape dimension measurement method

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007024941A (ja) 2005-07-12 2007-02-01 Nikon Corp 焦点検出装置、焦点調節装置および撮像装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1624672A1 (en) * 2004-08-07 2006-02-08 STMicroelectronics Limited A method of determining a measure of edge strength and focus
CN101189667B (zh) * 2005-06-01 2011-12-21 松下电器产业株式会社 相位误差检测装置
US7711261B2 (en) * 2006-04-11 2010-05-04 Nikon Corporation Imaging device, camera and image processing method
JP5229060B2 (ja) * 2009-03-31 2013-07-03 ソニー株式会社 撮像装置および焦点検出方法
JP2011145559A (ja) * 2010-01-15 2011-07-28 Canon Inc 撮像装置
JP5947601B2 (ja) * 2012-04-10 2016-07-06 キヤノン株式会社 焦点検出装置、その制御方法および撮像装置
JP6124564B2 (ja) * 2012-11-21 2017-05-10 キヤノン株式会社 焦点検出装置及び方法、及び撮像装置
JP6045362B2 (ja) * 2013-01-17 2016-12-14 オリンパス株式会社 撮像装置および焦点検出方法
JP6239857B2 (ja) * 2013-05-13 2017-11-29 キヤノン株式会社 撮像装置およびその制御方法
JP6412468B2 (ja) * 2015-06-25 2018-10-24 オリンパス株式会社 撮像装置および撮像方法
JP2017049426A (ja) * 2015-09-01 2017-03-09 富士通株式会社 位相差推定装置、位相差推定方法及び位相差推定プログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007024941A (ja) 2005-07-12 2007-02-01 Nikon Corp 焦点検出装置、焦点調節装置および撮像装置

Also Published As

Publication number Publication date
US20170064186A1 (en) 2017-03-02
JP2017049351A (ja) 2017-03-09
KR101774167B1 (ko) 2017-09-01
CN106488111A (zh) 2017-03-08

Similar Documents

Publication Publication Date Title
KR101774167B1 (ko) 합초 위치 검출 장치, 합초 위치 검출 방법 및 합초 위치 검출용 컴퓨터 프로그램
US10698308B2 (en) Ranging method, automatic focusing method and device
US10021290B2 (en) Image processing apparatus, image processing method, image processing program, and image pickup apparatus acquiring a focusing distance from a plurality of images
US7139424B2 (en) Stereoscopic image characteristics examination system
JP6663040B2 (ja) 奥行き情報取得方法および装置、ならびに画像取得デバイス
US8773529B2 (en) Projector with automatic focusing and illustration procedure
US20090115882A1 (en) Image-pickup apparatus and control method for image-pickup apparatus
JP6014452B2 (ja) 焦点検出装置及びそれを有するレンズ装置及び撮像装置
JP2015018205A5 (ko)
JP2016219987A (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
US20150138430A1 (en) Image-capturing apparatus
KR101715553B1 (ko) 합초 위치 검출 장치, 합초 위치 검출 방법 및 합초 위치 검출용 컴퓨터 프로그램
CN114424516A (zh) 图像处理装置、图像处理方法、摄像装置和程序
US20170064189A1 (en) Imaging apparatus, focus position detection apparatus, and focus position detection method
US10999491B2 (en) Control apparatus, image capturing apparatus, control method, and storage medium
US10116865B2 (en) Image processing apparatus and image processing method for calculating motion vector between images with different in-focus positions
JP2015152749A (ja) 撮像装置およびその制御方法
CN113805304B (zh) 一种用于线阵相机的自动调焦系统及方法
WO2016194576A1 (ja) 情報処理装置および方法
CN109565544B (zh) 位置指定装置及位置指定方法
JP5209137B2 (ja) 撮像装置
JP7187185B2 (ja) 撮像装置およびその制御方法
JP2017073681A (ja) 撮像装置および撮像処理プログラム
JP7277267B2 (ja) 計測装置、撮像装置、計測システム及びプログラム
JP2013113712A (ja) ステレオ３次元計測装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant