JP7036423B2 - 制御装置、制御方法および制御プログラム - Google Patents

制御装置、制御方法および制御プログラム Download PDF

Info

Publication number
JP7036423B2
JP7036423B2 JP2017565571A JP2017565571A JP7036423B2 JP 7036423 B2 JP7036423 B2 JP 7036423B2 JP 2017565571 A JP2017565571 A JP 2017565571A JP 2017565571 A JP2017565571 A JP 2017565571A JP 7036423 B2 JP7036423 B2 JP 7036423B2
Authority
JP
Japan
Prior art keywords
focus detection
subject
detection points
control unit
focus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017565571A
Other languages
English (en)
Other versions
JPWO2017135276A1 (ja
Inventor
智之 南
俊介 矢島
佳孝 宮谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2017135276A1 publication Critical patent/JPWO2017135276A1/ja
Priority to JP2021063559A priority Critical patent/JP7131647B2/ja
Application granted granted Critical
Publication of JP7036423B2 publication Critical patent/JP7036423B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/34Systems for automatic generation of focusing signals using different areas in a pupil plane
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)

Description

本技術は、制御装置、制御方法および制御プログラムに関する。
撮像素子を構成する画素の一部を焦点検出用画素とする撮像素子が従来から知られている(特許文献1)。そのような撮像素子により実現されるオートフォーカスはいわゆる像面位相差AF(Auto Focus)などと称される。
そのような像面位相差AF用の撮像素子の特徴の1つとして、撮像素子の全面または所定の範囲に均一にAF検波用の画素が埋められているという特徴がある。
特開2015-144194号公報
ところが、従来は撮像装置の表示部に表示される、オートフォーカスでピントを合わせる対象範囲の位置を固定して一部の焦点検出用画素しか使用していなかった。また、従来のピントを合わせる対象範囲の配置の問題点としては、合焦させたい被写体が小さい場合、合焦させたい被写体が動いている場合など、被写体へのピントを合わせる対象範囲のかかり方が悪いとオートフォーカスの精度が低下してしまうという点がある。
本技術はこのような問題点に鑑みなされたものであり、オートフォーカスの精度を向上させることができる制御装置、制御方法および制御プログラムを提供することを目的とする。
上述した課題を解決するために、第1の技術は、撮影範囲内において指定された領域である一部領域における焦点検出点の密度が初期状態よりも高くなるように焦点検出点を配置し、さらに、撮影範囲内の一部領域を除いた領域における焦点検出点を初期状態よりも少なくするように焦点検出点を配置することにより、一部領域における焦点検出点の密度を撮影範囲内の一部領域を除いた領域における焦点検出点の密度よりも高く設定する焦点検出制御部を備える制御装置である。
また、第2の技術は、撮影範囲内において指定された領域である一部領域における焦点検出点の密度が初期状態よりも高くなるように焦点検出点を配置し、さらに、撮影範囲内の一部領域を除いた領域における焦点検出点を初期状態よりも少なくするように焦点検出点を配置することにより、一部領域における焦点検出点の密度を撮影範囲内の一部領域を除いた領域における焦点検出点の密度よりも高く設定する制御方法である。
また、第3の技術は、撮影範囲内において指定された領域である一部領域における焦点検出点の密度が初期状態よりも高くなるように焦点検出点を配置し、さらに、撮影範囲内の一部領域を除いた領域における焦点検出点を初期状態よりも少なくするように焦点検出点を配置することにより、一部領域における焦点検出点の密度を撮影範囲内の一部領域を除いた領域における焦点検出点の密度よりも高く設定する制御方法をコンピュータに実行させる制御プログラムである。
本技術によれば、オートフォーカスの精度を高めることができる。なお、ここに記載された効果は必ずしも限定されるものではなく、明細書中に記載されたいずれかの効果であってもよい。
本技術の第1の実施形態に係る撮像制御装置を備える撮像装置の構成を示すブロック図である。 撮像素子の構成を示す図である。 図3Aは、第1位相差検出画素の構成を示す図であり、図3Bは、第2位相差検出画素の構成を示す図である。 図4A乃至図4Cは、位相差検出画素と焦点検出点の説明図である。 図5A乃至図5Cは、第1の実施の形態における第1の態様を説明する図である。 第1の実施の形態における第1の態様の処理を示すフローチャートである。 図7A乃至図7Cは、第1の実施の形態における第1の態様のその他の例を説明する図である。 図8Aおよび図8Bは、第1の実施の形態における第2の態様を説明する図である。 第1の実施の形態における第2の態様の処理を示すフローチャートである。 図10A乃至図10Cは、第1の実施の形態における第3の態様を説明する図である。 第1の実施の形態における第3の態様の処理を示すフローチャートである。 図12A乃至図12Dは、第1の実施の形態における第3の態様のその他の例を説明する図である。 本技術の第2の実施形態に係る撮像制御装置を備える撮像装置の構成を示すブロック図である。 図14A乃至図14Dは、第2の実施の形態を説明する図である。 第2の実施の形態における処理を示すフローチャートである。 図16A乃至図16Dは、第3の実施の形態における第1の態様を説明する図である。 第3の実施の形態における第1の態様の処理を示すフローチャートである。 図18Aおよび図18Bは、第3の実施の形態における第2の態様を説明する図である。 第3の実施の形態における第2の態様の処理を示すフローチャートである。 図20Aおよび図20Bは、第3の実施の形態における第3の態様を説明する図である。 第3の実施の形態における第3の態様の処理を示すフローチャートである。 図22A乃至図22Dは、被写体がフレームアウトした場合の変形例を説明するための図である。
以下、本技術の実施の形態について図面を参照しながら説明する。なお、説明は以下の順序で行う。
<1.第1の実施の形態>
[1-1.撮像装置の構成]
[1-2.焦点検出点配置の第1の態様]
[1-3.焦点検出点配置の第2の態様]
[1-4.焦点検出点配置の第3の態様]
<2.第2の実施の形態>
[2-1.撮像装置の構成]
[2-2.焦点検出点配置の態様]
<3.第3の実施の形態>
[3-1.撮像装置の構成]
[3-2.焦点検出点配置の第1の態様]
[3-3.焦点検出点配置の第2の態様]
[3-4.焦点検出点配置の第3の態様]
<4.変形例>
<1.第1の実施の形態>
[1-1.撮像装置の構成]
まず、第1の実施の形態に係る撮像制御装置120の機能を備える撮像装置100の構成について説明する。図1は、撮像装置100の構成を示すブロック図である。
撮像装置100は、制御部101、光学撮像系102、レンズ駆動ドライバ103、撮像素子104、信号処理LSI(Large-Scale Integration)105、前処理部106、画像信号処理部107、検波部108、コーデック部109、表示制御部110、記憶部111、表示部112、入力部113、AF制御部114、被写体特定部115、撮像制御装置120を構成する焦点検出制御部121を備えて構成されている。
制御部101は、CPU(Central Processing Unit)、RAM(Random Access Memory)およびROM(Read Only Memory)などから構成されている。ROMには、CPUにより読み込まれ動作されるプログラムなどが記憶されている。RAMは、CPUのワークメモリとして用いられる。CPUは、ROMに記憶されたプログラムに従い様々な処理を実行してコマンドの発行を行うことによって撮像装置100全体の制御を行う。
また制御部101は、所定のプログラムを実行することにより、AF制御部114、被写体特定部115および撮像制御装置120を構成する焦点検出制御部121として機能する。そのプログラムは、予め撮像装置100内にインストールされていてもよいし、ダウンロード、記憶媒体などで配布されて、ユーザが自らインストールするようにしてもよい。また、それらの構成は、プログラムによって実現されるのみでなく、それぞれの機能を有するハードウェアによる専用の装置、回路などを組み合わせて実現されてもよい。
被写体特定部115は、撮影範囲内における焦点検出点の配置の対象となる被写体を特定するものである。焦点検出制御部121は、被写体特定部115により特定された被写体の位置に基づいて、撮影範囲内においてその被写体に対応する領域である一部領域内に、一部領域以外の外の領域よりも密に焦点検出点を局所的に配置する処理を行なうものである。言い換えれば、指定された一部領域における焦点検出点の密度を、その一部領域を除いた領域(外の領域)における焦点検出点の密度よりも高く配置されるように設定するものであるともいえる。ここで「密度を高く配置」とは、一部領域を除いた領域(外の領域)に配置された複数の焦点検出点の中心間の距離よりも一部領域内に配置された複数の焦点検出点の中心間の距離が短いことをいう。また、焦点検出制御部121は外の領域に一部領域よりも疎に焦点検出点を配置する処理を行なうものである。さらに、焦点検出制御部121は外の領域に焦点検出点を配置させないようにする処理も行なってもよい。被写体特定部115および焦点検出制御部121の詳細については後述する。
撮影範囲とは、撮像装置100の撮影画角内に収まる範囲であり、画像データとして取得される被写体の範囲である。
一部領域とは、特定された被写体の位置に対応する領域、またはユーザにより指定された領域であり、撮影範囲内において焦点検出点の局所配置の対象となる被写体、位置などを内部に含んでいる、撮影範囲よりも小さい範囲である。外の領域とは、撮影範囲内における一部領域以外の全ての領域である。焦点検出点とは、位相差検出画素の出力を用いてオートフォーカスのために撮影範囲においてデフォーカス量を算出する領域のことである。「密に焦点検出点を配置」とは、一部領域内の複数の焦点検出点間の間隔を外の領域における複数の焦点検出点間の間隔よりも狭くして密集させるように配置すること、または、外の領域に焦点検出点を配置せず、一部領域内にのみ焦点検出点を配置することである。「疎に焦点検出点を配置」とは、外の領域内における複数の焦点検出点間の間隔を一部領域における複数の焦点検出点間の間隔よりも広くして配置することである。
光学撮像系102は、被写体からの光を撮像素子104に集光するための撮影レンズ、撮影レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、シャッタ機構、アイリス機構などから構成されている。これらは制御部101からの制御信号に基づいて駆動される。光学撮像系102を介して得られた被写体の光画像は、撮像デバイスとしての撮像素子104上に結像される。
レンズ駆動ドライバ103は、例えばマイコンなどにより構成され、AF制御部114の制御に従いレンズを光軸方向に沿って所定量移動させることにより、目標とする被写体に合焦するようにオートフォーカスを行なう。また、制御部101からの制御に従い、光学撮像系102の駆動機構、シャッタ機構、アイリス機構などの動作を制御する。これにより、露光時間(シャッタースピード)の調整、絞り値(F値)などの調整がなされる。
撮像素子104は、図2に示すように、通常画素であるR(Red)画素、G(Green)画素、B(Blue)画素と、位相差検出を行う位相差検出画素である第1位相差検出画素P1、第2位相差検出画素P2を有している。位相差検出画素は、P1とP2とで一対となる構成となっている。位相差検出画素P1およびP2は通常の撮像画素とは光学特性が異なるものである。撮像素子104を構成する各画素は被写体からの入射光を光電変換して電荷量に変換して、画素信号を出力する。そして、撮像素子104は、最終的に画素信号からなる撮像信号を信号処理LSI105に出力する。撮像素子104としては、CCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)などが用いられる。なお、撮像素子104は特許請求の範囲における撮像部に相当するものである。
図3は位相差検出画素の構成を示す図である。図3Aは第1位相差検出画素P1を示し、図3Bは第2位相差検出画素P2を示す。
第1位相差検出画素P1は受光素子11を有する。また。光の入射側には、マイクロレンズ12が設けられている。さらに、受光素子11とマイクロレンズ12の間には、瞳分割を行うため、入射する光を遮る遮光層13が設けられている。遮光層13は、受光素子11の中心に対して片側方向に偏心した開口部14を有するように構成されている。
第1位相差検出画素P1はこのように構成されているため、図3Aに示されるように入射光は一部のみが受光素子11に入射することとなる。
第2位相差検出画素は受光素子21を有する。また。光の入射側には、マイクロレンズ22が設けられている。さらに、受光素子21とマイクロレンズ22の間には、瞳分割を行うため、入射する光を遮る遮光層23が設けられている。遮光層23は、受光素子の中心に対して片側方向に偏心した開口部24を有するように構成されている。
遮光層23は、第1位相差検出画素P1において遮光層13が遮った方向とは逆側を遮るように構成されている。よって、第1位相差検出画素P1と第2位相差検出画素P2とは測距方向に対してそれぞれ逆側を遮光する構成となっている。
第2位相差検出画素P2はこのように構成されているため、図3Bに示されるように入射光は一部のみが受光素子21に入射することとなる。
位相差検出画素はこのように構成されており、この位相差検出画素からの出力を用いて、いわゆる像面位相差AF(Auto Focus)を行うことができるものである。なお、位相差検出画素は、位相差検出画素としてのみ機能し、通常画素としては機能しないものでもよいし、1つの画素が独立した2つのフォトダイオードで構成されていることにより、撮像用および位相差検出用として機能するものでもよい。このような画素は、2つのフォトダイオードがそれぞれ独立して光を取り込むことが可能であり、オートフォーカス時にはそれぞれのフォトダイオードから位相差信号を検出して位相差検出画素として機能し、撮影時には1つの通常画素として機能して画像信号を出力する。また、撮像用センサと像面位相差AF用センサを積層した構造を有する撮像素子104など、通常の撮影機能に加え、位相差検出を行なうことができる撮像素子104であればどのようなものでもよい。
前処理部106は、撮像素子104から出力された撮像信号に対して、CDS(Correlated Double Sampling)処理によりS/N(Signal/Noise)比を良好に保つようにサンプルホールドなどを行う。さらに、AGC(Auto Gain Control)処理により利得を制御し、A/D(Analog/Digital)変換を行ってデジタル画像信号を出力する。
画像信号処理部107は、デモザイク処理、ホワイトバランス調整処理や色補正処理、ガンマ補正処理、Y/C変換処理、AE(Auto Exposure)処理、解像度変換処理などの所定の信号処理を画像信号に対して施す。
検波部108は、撮像素子104の位相差検出画素からの信号を用いてフォーカス位置を判定するAF検波を実行し、デフォーカス量を算出する。検波部108により検波情報は制御部101またはAF制御部114に供給される。
なお、撮像素子104からは通常画素からの信号と位相差検出画素からの信号が共に信号処理LSI105に供給され、信号処理LSI105内において通常画素からの信号と位相差検出画素からの信号とに分けられる。通常画素からの信号には上述した対象被写体、画像信号処理部107により所定の画像処理が施され、位相差検出画素からの信号は検波部108によりオートフォーカスのための検波処理が施される。また、撮像素子には、位相差検出画素からの信号のみを選択し、独立して信号処理LSI105に供給することが可能なものもあり、そのような撮像素子を用いてもよい。
なお、撮像素子104内で位相差検出画素からの信号に対して検波処理を行い、通常画素からの信号と検波情報とを撮像素子104から信号処理LSI105に出力するようにしてもよい。この場合、信号処理LSI105内部で撮像素子104からの信号を通常画素からの信号と位相差検出画素からの信号とに分ける必要が無い。携帯電話機が備えるカメラなどはこのように構成されている場合がある。
コーデック部109は、所定の処理が施された画像データについて、例えば記録用や通信用の符号化処理を行う。
表示制御部110は、撮影中における被写体を動画として表示するモニタリング画像、撮影を行なうための各種ユーザインターフェース、撮影済み画像や動画などを表示部112に表示する制御を行うものである。また、表示制御部110は、焦点検出制御部121から焦点検出点情報を取得し、表示部112におけるモニタリング画像上に焦点検出点を示す枠状のアイコンを重畳表示する。これにより、ユーザは焦点検出点がどの被写体に対してどのように配置されているかを目視により確認することができる。なお、焦点検出点はモニタリング画像上に必ずしも表示させなくてもよく、ユーザが表示のオンオフを選択できるようにしてもよい。
ここで、デフォーカス量算出の対象となる領域である焦点検出点と、撮像素子104に設けられた位相差検出画素の関係について図4を参照して説明する。図4Aは、撮影範囲における1つの焦点検出点31と、それに対応する位相差検出画素による検出に用いる領域(以下、位相差画素領域32と称する。)を抜き出して示したものである。位相差画素領域32には、図2を参照して説明した複数の一対の位相差検出画素が含まれている。位相差画素領域に対応する焦点検出点ごとにデフォーカス量が算出される。図4Aに示すように、太線で示す焦点検出点31と、その焦点検出点31に対応する細線で示す位相差画素領域32の形状および大きさは同一ではなく、通常、位相差画素領域32は焦点検出点31よりも広いものとなっている。
したがって図4Bに示すように、複数の焦点検出点31、33が間隔を開けて疎に配置されている場合でも、それら複数の焦点検出点31、33それぞれの位相差画素領域32、34が重なっていることがある(図4Bの斜線部分)。よって、複数の焦点検出点が間隔を開けて疎に配置されている場合でも、全ての位相差検出画素を使用している場合がある。なお、図4Cに示すように複数の焦点検出点31、33が大きな間隔を開けて疎に配置されており、それぞれの焦点検出点31、33に対応する位相差画素領域32、34が重なっていない場合には、検出に用いられない位相差画素領域35(図4Cの破線部分)に対応する位相差検出画素の動作を停止させる。
また、焦点検出点とその焦点検出点に対応する位相差画素領域を変化させることにより、焦点検出点を撮影範囲内における任意の位置に配置することが可能となっている。焦点検出点は概念的なものであり、焦点検出領域に含まれる複数の一対の位相差検出画素からの信号に基づいて焦点検出点におけるデフォーカス量が算出される。焦点検出領域のラインに左右対称で複数の一対の位相差検出画素が含まれているので、実質的には焦点検出領域の中心におけるデフォーカス量が算出されることになる。
図1のブロック図の説明に戻る。表示部112は、例えば、LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、有機EL(Electro Luminescence)パネルなどにより構成された表示デバイスである。表示部112には、撮像装置100のユーザインターフェース、メニュー画面、撮像中のモニタリング画像、記憶部111に記録された撮影済み画像、撮影済み動画などが表示される。
記憶部111は、例えば、ハードディスク、メモリスティック(ソニー株式会社の登録商標)、SDメモリカードなどの大容量記憶媒体である。画像は例えばJPEG(Joint Photographic Experts Group)などの規格に基づいて圧縮された状態で保存される。また、保存された画像に関する情報、撮像日時などの付加情報を含むEXIF(Exchangeable Image File Format)データもその画像に対応付けられて保存される。動画は、例えば、MPEG2(Moving Picture Experts Group2)、MPEG4などの形式で保存される。
入力部113は、例えば、電源オン/オフ切り替えのための電源ボタン、撮像画像の記録の開始を指示するためのレリーズボタン、ズーム調整用の操作子、表示部112と一体に構成されたタッチスクリーンなどからなる。入力部113に対して入力がなされると、その入力に応じた制御信号が生成されて制御部101に出力される。そして、制御部101はその制御信号に対応した演算処理や制御を行う。
AF制御部114は、焦点検出制御部121からの焦点検出点情報に基づいて、焦点検出点に対応する焦点検出用画素の出力を用いてレンズ駆動ドライバ103を制御する。レンズ駆動ドライバ103を制御することにより、レンズを光軸方向に沿って所定量移動させて、被写体に合焦するようにオートフォーカス制御を行なう。具体的には、撮像光学系の一対の瞳領域を通過する光束により焦点検出用画素に形成される一対の像のずれ量に基づいて撮像面位相差AFを行う。よって、AF制御部114には、焦点検出制御部121から焦点検出点情報が供給される。
被写体特定部115は、焦点検出点配置の対象となる被写体、位置などを特定する処理を行なうものである。被写体特定部115には処理を施す画像として、モニタリング画像を構成するフレーム画像(以下、処理画像と称する。)が入力される。被写体特定部115は、公知の被写体検出技術により処理画像中における人物、物体などの被写体を検出する。そして、検出した被写体を焦点検出点配置の対象となる被写体(以下、対象被写体と称する。)とする。対象被写体情報は焦点検出制御部121に供給される。
なお、被写体検出方法としては、テンプレートマッチングによる顔/物体認識技術、被写体の輝度分布情報に基づくマッチング方法、画像に含まれる肌色の部分や人間の顔の特徴量等に基づく方法などを用いることができる。また、これらの手法を組み合わせて検出精度を高めるようにしてもよい。
また、被写体特定部115は、入力部113に対するユーザからの入力に応じて焦点検出点配置の対象とする被写体(対象被写体)を特定してもよい。例えば、撮像装置100の表示部112が入力部113としてのタッチパネルとして機能する場合、表示部112に表示されるモニタリング画像中においてユーザが指、スタイラスペンなどを接触させた位置にある被写体を対象被写体とする。また、ユーザが撮像装置100の入力部113の十字キーやダイヤルなどを操作してモニタリング画像上に重畳表示されているカーソルを移動させる事ができる場合には、そのカーソルの位置にある被写体を対象被写体とする。
焦点検出制御部121は、供給された対象被写体情報に基づき、表示部112に表示される撮影画面上における焦点検出点の配置を決定するものである。像面位相差AF用の撮像素子104においては、通常、撮像素子104の全面に位相差検出画素が配置されており、撮影範囲の任意の位置に焦点検出点を配置することが可能となっている。本技術はその像面位相差AF用の撮像素子104の特徴を活かしたものであり、焦点検出点を対象被写体に合わせて配置することにより、その対象被写体に対するオートフォーカスの精度を向上させるものである。設定された焦点検出点の配置を示す情報(以下、焦点検出点情報と称する。)は表示制御部110とAF制御部114に供給される。具体的な焦点検出点の配置については後述する。
撮像制御装置120の機能を備える撮像装置100は以上のようにして構成されている。
[1-2.焦点検出点配置の第1の態様]
次に図5乃至図7を参照して第1の実施の形態における焦点検出点配置の第1の態様について説明する。図5は撮影範囲における焦点検出点の設定状態を説明する図であり、図6は焦点検出点配置の流れを示すフローチャートである。
焦点検出点配置の第1の態様は、撮影範囲51内において特定された対象被写体52を含む一部領域53に、その一部領域53以外の外の領域55よりも焦点検出点54を密に配置するものである。
まずステップS111で、処理画像が被写体特定部115に入力される。次にステップS112で、被写体特定部115が撮影範囲51中から焦点検出点配置の対象となる被写体を特定する。被写体の特定は、上述したように被写体検出技術、ユーザからの入力などに基づいて行われる。対象被写体情報は焦点検出制御部121に供給される。図5Aの例では、撮影範囲51内における鳥が対象被写体52として特定される。なお、撮影範囲51には、図5Aに示すように初期状態として全面に均等に複数の焦点検出点54が配置されている。初期状態とは、撮像装置100の起動後、焦点検出制御部121による焦点検出点配置がなんら行われておらず、撮影範囲51の全面または所定の範囲にわたって焦点検出点54が配置されている状態をいう。初期状態における焦点検出点54の配置は、撮影範囲51の全面にわたる他、例えば、撮影範囲51の略中央において略十字型を構成するような配置や、略中央の矩形領域を構成するような配置でもよい。撮像装置100は、本技術に係る焦点検出点配置を行わない状態においては、その初期状態で配置されている焦点検出点に対応する位相差検出画素からの信号を用いてオートフォーカス制御を行う。
次にステップS113で、図5Bに示すように焦点検出制御部121は対象被写体52全体が含まれるように、焦点検出点54を局所的に配置する領域である一部領域53を決定する。
次にステップS114で、図5Cに示すように焦点検出制御部121は一部領域53内における焦点検出点54の配置を決定する。
例えば、一部領域53が四角形状である場合には、縦×横の焦点検出点54の全個数が一部領域53の大きさに応じた所定の個数であり、かつ、それら焦点検出点54が一部領域53の大きさに応じた間隔で一部領域53内に均等に配置されるように焦点検出点54の配置を決定する。
一部領域53の大きさに応じた焦点検出点54の数、焦点検出点54の間隔は例えば、一部領域53の大きさと焦点検出点54の数および焦点検出点54の間隔を対応させておいたテーブルを焦点検出制御部121が保持しておき、そのテーブルを参照することにより得ることができる。また、一部領域53の大きさと焦点検出点54の数および焦点検出点54の対応関係を示す演算式から求めるようにしてもよい。
焦点検出制御部121は、撮影範囲51内における一部領域53以外の外の領域55よりも一部領域53内の焦点検出点54間の間隔が狭くなるように焦点検出点54の配置を決定する。このように一部領域53内に焦点検出点54を集中させて密に配置することにより、対象被写体52に対するオートフォーカスの精度を向上させることができる。
フローチャートの説明に戻る。ステップS115で、焦点検出制御部121は焦点検出点情報を表示制御部110およびAF制御部114に出力する。そして、表示制御部110が表示部112における焦点検出点54の表示を行い、AF制御部114が焦点検出点54におけるデフォーカス量に基づくオートフォーカス制御を行なう。
なお、この第1の態様の場合、図5Cに示すように一部領域53以外の外の領域55にも焦点検出点54を配置してもよい。この場合、外の領域55においては、一部領域53内よりも焦点検出点54間の間隔を広くし、一部領域53内よりも疎になるように焦点検出点54を配置する。これにより、一部領域53においては密に配置された焦点検出点54によって確実に対象被写体52を捕捉しつつ、対象被写体52が一部領域53から外れても、一部領域53以外の外の領域55にある焦点検出点54でその対象被写体52を捕捉することができる。よって、一部領域53、外の領域55どちらにおいても対象被写体52に対してオートフォーカスによりピントを合わせることができる。
なお、外の領域55における焦点検出点54の配置は、初期状態のままにすることにより一部領域53よりも疎に配置するようにしてもよい。または、図7Aに示すように焦点検出点54の数を初期状態よりも少なくすることにより、疎に配置するようにしてもよい。これにより、オートフォーカス用の演算リソースを一部領域53に優先的に使用することができる。
なお、上述したように、撮像素子には位相差検出画素からの信号のみを選択し、独立して読み出して信号処理LSI105に供給することができるものがある。そのような撮像素子を用いる場合で、被写体検出技術やユーザからの入力などに基づいて一部領域53を設定した場合、その一部領域53内に含まれる位相差検出画素のみから信号を読み出して、オートフォーカス制御を行なうようにしてもよい。この場合、一部領域53内に含まれない位相差検出画素からの読み出しは行わないため、図7Bに示すように、一部領域53以外には焦点検出点54を配置しないということになる。これにより、オートフォーカス用の演算リソースを一部領域53のみに集中させることができ、処理の負荷を軽減、検波処理の高速化、データレートの削減、消費電力の削減などを図ることができる。なお、この際、通常画素については全ての通常画素から読み出しを行なう。このように、位相差検出画素からの信号のみを選択して読み出すことができる撮像素子を用いる場合に一部領域以外には焦点検出点を配置しないようにできることは、下記の第2および第3の態様、第2の実施の形態、第3の実施の形態および変形例においても同様である。
なお、通常の撮像素子の場合には、全ての通常画素および全ての位相差検出画素が読み出しを行い、その後に焦点検出点の配置が行われる。
焦点検出点は、初期状態と本技術を用いて配置を変更した後とにおいてその数は一定であってもよいし、一定でなくてもよい。また、演算リソースに制約がある場合にはその演算リソースの範囲内で焦点検出点の配置を変更する。
なお、一部領域53は、図5Cに示すように対象被写体52の上下左右の端部から所定距離離れた位置に四角形状の一部領域53の辺を位置させるようにして設定してもよい。または、図7Cに示すように対象被写体52の上下左右における端部に一部領域53の各辺を一致させるようにして設定してもよい。
この第1の態様によれば、対象被写体52を含む一部領域53に、その一部領域53以外の外の領域55よりも焦点検出点54を密に配置することにより、対象被写体52に対するオートフォーカスの精度を向上させることができる。
[1-3.焦点検出点配置の第2の態様]
次に図8および図9を参照して第1の実施の形態おける焦点検出点配置の第2の態様について説明する。図8は撮影範囲における焦点検出点の設定状態を説明する図である。図8Aは対象被写体が小さい場合の例を示す図であり、図8Bは対象被写体が大きい場合の例を示す図である。図9は焦点検出点配置の流れを示すフローチャートである。
焦点検出点配置の第2の態様は、撮影範囲51内において特定された対象被写体52を含む一部領域53に対象被写体52の大きさ(面積)に応じて焦点検出点54を配置するものである。
まずステップS121で、処理画像が被写体特定部115に入力される。次にステップS122で、被写体特定部115が撮影範囲51中から焦点検出点配置の対象となる被写体を特定する。対象被写体52の特定は、上述したように被写体検出技術、ユーザからの入力などにより行われる。図8Aの例では、撮影範囲51内における鳥が対象被写体52として特定されている。
次にステップS123で、被写体特定部115は対象被写体52の大きさを検出する。対象被写体52の大きさは上述した被写体認識技術により得ることができる。また、ユーザによる入力に基づいて被写体の大きさを検出するようにしてもよい。例えば、表示部112に表示されているモニタリング画像上に被写体の大きさを示す枠を重畳表示させ、その枠の大きさをユーザが入力により調整し、決定された枠の大きさを対象被写体52の大きさとしてするなどである。そして、対象被写体52の位置および大きさを示す対象被写体情報は焦点検出制御部121に供給される。
次にステップS124で、焦点検出制御部121は対象被写体52全体が含まれるように一部領域53を決定する。そしてステップS125で、焦点検出制御部121は対象被写体52の大きさに応じて一部領域53内における焦点検出点54間の間隔を決定し、その間隔で一部領域53内に均等に配置されるように焦点検出点54の配置を決定する。対象被写体52の大きさに応じた焦点検出点54の間隔は例えば、対象被写体52の大きさと焦点検出点54の間隔を対応させておいたテーブルを焦点検出制御部121が保持しておき、そのテーブルを参照することにより決定することができる。また、対象被写体52の大きさと焦点検出点54の対応関係を示す演算式から求めるようにしてもよい。
また、一部領域53の面積と所定の閾値とを比較して、一部領域53の面積が閾値以上の場合と閾値以下の場合のそれぞれに焦点検出点54の間隔を対応させおくことにより、一部領域53の面積に応じた焦点検出点54の間隔を得るようにしてもよい。なお、閾値は一つに限られず、複数設定し、閾値ごとに焦点検出点54間の間隔を対応させるようにしてもよい。
そしてステップS126で、焦点検出制御部121は焦点検出点情報をAF制御部114および表示制御部110に出力する。そして、表示制御部110が表示部112における焦点検出点54の表示を行い、AF制御部114が焦点検出点54におけるデフォーカス量に基づくオートフォーカス制御を行なう。
本実施の形態においては、図8Aに示すように一部領域53の面積が小さい、すなわち対象被写体52が小さくなるに従い、焦点検出点54間の隙間を小さくして一部領域53内において焦点検出点54が密に配置されるようにする。一方、図8Bに示すように一部領域53の面積が大きい、すなわち対象被写体52が大きくなるに従い、対象被写体52が小さい場合に比べて焦点検出点54間の間隔を大きくして一部領域53内に焦点検出点54を配置する。
なお、この第2の態様においても第1の態様と同様に図7Aに示すように外の領域55の焦点検出点54を初期状態よりも疎に配置してもよいし、図7Bに示すように、外の領域55には焦点検出点54を配置しないようにしてもよい。
この第2の態様によれば、対象被写体52が小さい場合には焦点検出点54を密に配置することによりオートフォーカスの精度を高めて、対象被写体52を逃さずに撮影することを可能にする。一方、対象被写体52が大きい場合には、焦点検出点54間の隙間を大きくして対象被写体52の全体を焦点検出点54でカバーし、対象被写体52を逃さずに撮影することを可能にする。
[1-4.焦点検出点配置の第3の態様]
次に図10乃至図12を参照して第1の実施の形態における焦点検出点配置の第3の態様について説明する。図10は撮影範囲における焦点検出点の設定状態を説明する図である。図11は焦点検出点配置の流れを示すフローチャートである。図12は、撮影範囲における焦点検出点の設定状態の他の例を説明する図である。
焦点検出点配置の第3の態様は、撮影範囲51内において特定された対象被写体52の移動速度に応じて一部領域53を決定し、焦点検出点54を配置するものである。
まず、ステップS131で、処理画像が被写体特定部115に入力される。次にステップS132で、被写体特定部115が撮影範囲51中から焦点検出点配置の対象となる対象被写体52を特定する。対象被写体52の特定は、上述したように被写体検出技術、ユーザからの入力などにより行われる。図10Aの例では、撮影範囲51内における犬が対象被写体52として特定されている。
次にステップS133で、被写体特定部115は対象被写体52の速度を検出する。速度は、例えば、処理画像の現フレームと前フレームとにおける対象被写体52の位置の移動量および現フレームと前フレーム間の経過時間とから算出することが可能である。このようにして、取得された対象被写体52の速度情報は焦点検出制御部121に供給される。
次にステップS134で焦点検出制御部121は、対象被写体52の速度に応じて一部領域53を決定する。一部領域53は、対象被写体52の速度と所定の閾値とを比較して、速度が閾値以上の場合と閾値以下の場合のそれぞれに一部領域53の大きさを対応させておき、対象被写体52の速度に応じて一部領域53の大きさを得るようにしてもよい。なお、閾値は一つに限られず、複数設定し、閾値ごとに一部領域53の大きさを対応させるようにしてもよい。または、対象被写体52の速度と一部領域53の大きさとを対応させたテーブルを保持しておき、そのテーブルを参照することにより対象被写体52の速度に対応した一部領域53の大きさを得るようにしてもよい。さらに、対象被写体52の速度と一部領域53の大きさとの対応関係を示す演算式から求めるようにしてもよい。
次にステップS135で焦点検出制御部121は、対象被写体52の速度に応じて一部領域53内における焦点検出点54間の間隔を決定し、その間隔で一部領域53内に均等に配置されるように焦点検出点54の配置を決定する。
例えば、対象被写体52の速度と所定の閾値とを比較して、閾値以上の場合と閾値以下の場合のそれぞれに焦点検出点54の間隔を対応させておき、対象被写体52の速度に応じた焦点検出点54の間隔を得るようにしてもよい。なお、閾値は一つに限られず、複数設定し、閾値ごとに焦点検出点54間の間隔を対応させるようにしてもよい。または、対象被写体52の速度と焦点検出点54間の間隔とを対応させたテーブルを保持しておき、そのテーブルを参照することにより対象被写体52の速度に対応した焦点検出点54間の間隔を得るようにしてもよい。さらに、対象被写体52の速度と焦点検出点54の間隔との対応関係を示す演算式から求めるようにしてもよい。
図10Bに示すように対象被写体52が位置Fから位置Gに速度V1で移動した場合と、図10Cに示すように対象被写体52が位置Fから位置Hに速度V2(速度V1より遅い)で移動した場合を例にして説明する。
速度V1は速度V2よりも速いため、図10Bにおける一部領域53は図10Cにおける一部領域53よりも大きくする。一方、速度V2は速度V1よりも遅いため、図10Cにおける焦点検出点54は図10Bにおける焦点検出点54よりも密に配置される。
そしてステップS136で、焦点検出制御部121は焦点検出点情報をAF制御部114および表示制御部110に出力する。そして、表示制御部110が表示部112における焦点検出点54の表示を行い、AF制御部114が焦点検出点54におけるデフォーカス量に基づくオートフォーカス制御を行なう。
このように速度が速い被写体に対しては広く焦点検出点54を配置し、速度が遅い対象被写体52に対しては焦点検出点54を集中させて密に配置する。これにより、速度が速い被写体であっても逃すことなく補足して撮影を行なうことができる。
なお、被写体特定部115は対象被写体52の速度に加えて移動方向を検出し、焦点検出制御部121は対象被写体52の移動方向に対応させて焦点検出点54を配置してもよい。対象被写体52の移動方向は、例えば、処理画像の前フレームと現フレームとにおける対象被写体52の位置の変化から取得することが可能である。移動方向情報は対象被写体52の速度情報と共に焦点検出制御部121に供給される。
ここで、図12Aに示すように、対象被写体52がP地点から現在位置であるQ地点に速度V3で移動した場合と、図12Bに示すように、対象被写体52がP地点から現在位置であるS地点に速度V4(速度V3よりも遅い)で移動した場合を例にして説明する。
図12Aにおいて対象被写体52がP地点からQ地点へ移動した場合、その速度V3と経過時間tとから対象被写体52はさらにt秒後には現在位置であるQ地点からR地点に移動すると予測することができる。一方、図12Bにおいて対象被写体52がP地点からS地点へ移動した場合、その速度V4と経過時間tとから対象被写体52はさらにt秒後には現在位置であるS地点からT地点に移動すると予測することができる。
この場合、図12Cに示すように焦点検出制御部121は、現在位置であるQ地点とR地点とが含まれるように一部領域53を決定して焦点検出点54を配置するとよい。また、図12Dに示すように焦点検出制御部121は、現在位置であるS地点とT地点とが含まれるように一部領域53を決定して焦点検出点54を配置するとよい。
さらに、速度V3は速度V4よりも速いため、図12Cに示すように焦点検出制御部121は速度V3で移動する場合には速度V4で移動する場合より一部領域53を広くして焦点検出点54を配置する。また、速度V4は速度V3よりも遅いため、図12Dに示すように焦点検出制御部121は速度V4で移動する場合には速度V3で移動する場合より一部領域53を狭くして焦点検出点54をより密に配置する。
このように焦点検出点54を配置することにより、現在位置、予測到達地点および現在位置から予測到達地点までの移動経路全体を焦点検出点54でカバーし、対象被写体52を捕捉して逃さずに撮影することができる。
この移動方向に基づいて焦点検出点54の配置を決定する手法は、例えば、一定時間以上被写体が一定方向に動く場合に有効である。例えば、徒競走やカーレースの撮影などである。一方、移動方向に基づかない手法は、被写体の移動方向が安定しない場合に有効である。例えば、サッカーなどの撮影の場合、選手は常に一定方向に動くわけではなく、様々な方向に動くことが予想される。このような場合に移動方向を特定して一部領域53を決定すると被写体が一部領域53から外れてしまう可能性があるため移動方向に基づかない方がよいと考えられる。
この第3の態様によれば、対象被写体52の移動速度に応じて焦点検出点54の密度を調整して配置することにより対象被写体52に対するオートフォーカスの精度を向上させ、移動速度が速い被写体であって確実に捕捉して撮影を行なうことができる。
<2.第2の実施の形態>
[2-1.撮像装置の構成]
まず、第2の実施の形態に係る撮像制御装置120の機能を備える撮像装置200の構成について説明する。図13は撮像装置200の構成を示すブロック図である。
撮像装置200は、制御部101、光学撮像系102、レンズ駆動ドライバ103、撮像素子104、信号処理LSI(Large-Scale Integration)105、前処理部106、画像信号処理部107、コーデック部109、表示制御部110、記憶部111、表示部112、入力部113、AF制御部114、被写体特定部115、撮像制御装置120を構成する焦点検出制御部121を備えて構成されている。この点は第1の実施の形態と同様であるため、各部の説明は第1の実施の形態を援用し省略する。
第2の実施の形態において、撮像装置200はさらに被写体種類特定部201を備えている。被写体種類特定部201は、被写体特定部115が特定した対象被写体に対して被写体種類特定処理を行い、被写体の種類を特定する。特定した被写体の種類、位置、大きさなどを示す情報(以下、被写体種類情報と称する。)は焦点検出制御部121に供給される。
例えば、被写体の種類の検出は公知の被写体認識処理、マッチング処理などを用いて行うことができる。認識方法としては、テンプレートマッチングによる物体認識技術、被写体の輝度分布情報に基づくマッチング方法、画像に含まれる肌色の部分や人間の顔の特徴量等に基づく方法などを用いてもよい。また、これらの手法を組み合わせて認識精度を高めるようにしてもよい。
ここで、特定される被写体としては例えば人物の瞳などがある。本実施の形態においては、人物の瞳を例にして説明を行なう。瞳の検出は、まず、被写体特定部115により人物の顔を検出し、次に、被写体種類特定部201が、瞳の特徴である白眼の中に黒眼がある(黒眼の周辺に白眼がある)こと、および人物の両眼の間隔は個体差を除けばほぼ一定であることなどに基づいて行なうことができる。なお、人物の顔の検出を行わずに直接瞳の検出が可能な場合にはそのように瞳の検出を行なうようにしてもよい。
第2の実施の形態に係る撮像装置200は以上のようにして構成されている。第2の実施の形態においては、焦点検出制御部121は被写体の種類に応じて焦点検出点の配置領域である一部領域および焦点検出点の配置を決定する。
なお、被写体種類特定部201は、所定のプログラムを実行することにより制御部101が被写体種類特定部201として機能するようにしてもよい。そのプログラムは、予め撮像装置200内にインストールされていてもよいし、ダウンロード、記憶媒体などで配布されて、ユーザが自らインストールするようにしてもよい。また、被写体種類特定部201は、プログラムによって実現されるのみでなく、その機能を有するハードウェアによる専用の装置、回路などを組み合わせて実現されてもよい。
[2-2.焦点検出点配置の態様]
次に図14および図15を参照して第2の実施の形態における焦点検出点配置の態様について説明する。図14は撮影範囲61における焦点検出点64の設定状態を説明する図であり、図15は焦点検出点配置の流れを示すフローチャートである。
第2の実施の形態は、撮影範囲61内において特定された対象被写体62の種類に応じて一部領域63および焦点検出点64の配置を決定するものである。
まずステップS211で、処理画像が被写体特定部115に入力される。次にステップS212で、図14Aに示すように被写体特定部115が撮影範囲61の中から人物の顔を検出する。検出した人物の顔の情報である対象被写体情報は被写体特定部115から被写体種類特定部201に供給される。
次にステップS213で、被写体種類特定部201が対象被写体62である人物の瞳65の特定を行う。次にステップS214で、瞳65が特定できたか否かが判定され、瞳65が特定できた場合にはステップS215に進む(ステップS214のYes)。なお、瞳65が特定されない場合には、ステップS213およびステップS214を繰り返し、瞳65の検出が繰り返される(ステップS214のNo)。所定時間、瞳65の特定がされない場合には、被写体特定処理を停止し、人物の顔が検出された場合と同様の処理を行なうようにしてもよい。特定された瞳65を示す被写体種類情報が被写体種類特定部201から焦点検出制御部121に供給される
次にステップS215で、焦点検出制御部121は種類が特定された対象被写体62である瞳65全体が含まれるように一部領域63を決定する。なお、人物には通常瞳が2つあるため、瞳が人物の手や物体などによって隠されていないかぎり、被写体の種類が瞳である場合には一部領域63はその2つの瞳のそれぞれに対して設定される。よって、撮影範囲61内において一部領域63が2つとなる。
次にステップS216で焦点検出制御部121は、一部領域63の大きさに応じて一部領域63内における焦点検出点64間の間隔を決定し、その間隔で一部領域63内に均等に配置されるように焦点検出点64の配置を決定する。そしてステップS217で、焦点検出制御部121は焦点検出点情報をAF制御部114および表示制御部110に出力する。そして、表示制御部110が表示部112における焦点検出点64の表示を行い、AF制御部114が焦点検出点64におけるデフォーカス量に基づくオートフォーカス制御を行なう。
この第2の実施の形態によれば、被写体の種類に応じて焦点検出点64を配置するため、種類を特定した被写体に対するオートフォーカスの精度を向上させることができる。
なお、人物の顔を検出せずに直接瞳65を検出することができる場合には、フローチャートのステップS212の顔検出の処理は不要である。
なお、上述の実施の形態では、被写体の種類の例として瞳を挙げて説明を行ったが、被写体の種類は瞳に限られるものではなく、人物、人物の顔、動物の顔、動物の瞳、自動車のナンバープレート、標識、看板、建築物など被写体であればどのようなものでもよい。
<3.第3の実施の形態>
[3-1.撮像装置の構成]
第3の実施の形態に係る撮像制御装置120の機能を備える撮像装置100の構成は第1の実施の形態と同様であるため、その説明を省略する。第3の実施の形態においては、被写体以外の情報に基づいて焦点検出点の配置が行われる。
[3-2.焦点検出点配置の第1の態様]
次に図16および図17を参照して第3の実施の形態における焦点検出点配置の第1の態様について説明する。図16は撮影範囲71における焦点検出点73の設定状態を説明する図であり、図17は焦点検出点配置の流れを示すフローチャートである。
焦点検出点配置の第1の態様は、撮影時において、ユーザが自ら撮像装置100を操作して被写体にピントを合わせるいわゆるマニュアルフォーカスモードの際に行なうものである。撮影範囲71中における任意の一部分を表示部112に拡大表示してマニュアルフォーカスを補助する機能を使用してユーザが自らの操作でピントを合わせた場合、そのマニュアルフォーカスによる合焦位置75を含むように一部領域72を設定して焦点検出点73を配置する。これにより、ユーザがピントを合わせようとする位置に対するオートフォーカスの精度を向上させることができる。よって、この第1の態様は被写体ではなく、合焦位置75の位置に基づいて焦点検出点73を配置する。
まず、ステップS311で、処理画像が被写体特定部115に入力される。次にステップS312で、撮像装置100から焦点検出制御部121にマニュアルフォーカスを補助する機能が動作していることを示す通知がなされる。この通知は例えば、ユーザによりマニュアルフォーカスを補助する機能が選択された時点で自動的になされるようにしてもよい。例えば、図16A中の一点鎖線で示すようにユーザにより撮影範囲71中の任意の範囲がマニュアルフォーカスアシストにより拡大する範囲として設定される。
そして、ユーザがマニュアルフォーカスを補助する機能を利用して撮像装置100を操作して被写体にピントを合わせると、図16Bに示すような、その合焦位置75を示す情報(以下、合焦位置情報と称する。)がステップS313で被写体特定部115に供給される。そしてステップS314で、被写体特定部115は合焦位置情報が示す合焦位置75を焦点検出点配置の対象として特定する。対象情報は焦点検出制御部121に供給される。
次にステップS315で、図16Cに示すように、焦点検出制御部121は対象である合焦位置75を中心にとした所定の領域を一部領域72として決定する。
次にステップS316で、図16Dに示すように、焦点検出制御部121は一部領域72内における焦点検出点73の配置を決定する。そしてステップS317で、焦点検出制御部121は焦点検出点情報をAF制御部114および表示制御部110に出力する。
この第1の態様においては、マニュアルフォーカスモードにおいてユーザがピントを合わせた合焦位置75周辺に焦点検出点73を密に配置する。これにより、ユーザがピント合わせたい被写体により高い精度でピント合わせることができる。
[3-3.焦点検出点配置の第2の態様]
次に図18および図19を参照して第3の実施の形態における焦点検出点配置の第2の態様について説明する。図18は撮影範囲71における焦点検出点73の設定状態を説明する図であり、図19は焦点検出点配置の流れを示すフローチャートである。
焦点検出点配置の第2の態様は、マニュアルフォーカスによる撮影時において、表示部112における表示画面の中央など撮影範囲71の一部を拡大して表示する場合(以下、拡大フォーカスモードと称する。)に、その拡大領域76のみに焦点検出点73を配置するものである。拡大領域76は撮影範囲71を表示する表示画面の中央に限られず、撮影範囲71を表示する表示画面中のいずれの領域でもよい。なお、この第2の態様は拡大フォーカスがデジタルズームによって実現される場合にのみ適用されるものである。よって、この第2の態様は被写体ではなく、拡大領域76に基づいて焦点検出点73を配置する。
まずステップS321で、処理画像が被写体特定部115に入力される。次にステップS322で、撮像制御装置120に対して撮像装置が拡大フォーカスモードで動作していることを示す通知がなされる。この通知は例えば、ユーザにより拡大フォーカスモードが選択された時点で自動的になされるようにしてもよい。次にステップS323で、図18Aに示すような拡大表示されている領域を示す情報(拡大領域情報と称する。)が被写体特定部115に供給される。そしてステップS324で、被写体特定部115は拡大領域情報が示す拡大領域76を焦点検出点配置の対象として特定する。対象を示す情報は焦点検出制御部121に供給される。
次にステップS325で、焦点検出制御部121は拡大領域76を一部領域72として決定する。そしてステップS326で、図18Bに示すように、焦点検出制御部121は一部領域72である拡大領域76に所定数の焦点検出点73を均等に配置する。なお、焦点検出点73の数および焦点検出点73間の間隔は、一部領域72である拡大領域76の大きさに応じて決定するとよい。例えば、一部領域72の大きさと焦点検出点73の数および焦点検出点73の間隔を対応させておいたテーブルを焦点検出制御部121が保持しておき、そのテーブルを参照することにより得ることができる。また、一部領域72の大きさと焦点検出点73の数および焦点検出点73の対応関係を示す演算式から求めるようにしてもよい。
そしてステップS327で、焦点検出制御部121は焦点検出点情報をAF制御部114および表示制御部110に出力する。
なお、拡大領域76の表示部112における表示方法としては、拡大領域76を表示部112の全体に表示してもよいし、拡大領域76を表示部112の右上などにおいてモニタリング画像上に重畳表示するようにしてもよい。
この第2の態様によれば、通常、ユーザがピントを合わせようとする被写体を含んでいる拡大領域76に焦点検出点73を密に配置することにより、被写体に対するオートフォーカスの精度を向上させることができる。
[3-4.焦点検出点配置の第3の態様]
次に図20および図21を参照して第3の実施の形態における焦点検出点配置の第3の態様について説明する。図20は撮影範囲71における焦点検出点73の設定状態を説明する図であり、図21は焦点検出点配置の流れを示すフローチャートである。
焦点検出点配置の第3の態様は、撮影時においてモニタリング画像上に構図の基準となる縦方向、横方向、斜め方向などに延びるグリッドライン77を表示させる機能を用いる場合に、そのグリッドライン77の交点を含んだ一部領域72に焦点検出点73を密に配置するものである。
構図とは、写真における被写体の配置など全体の構成を示すものであり、代表的な構図としては、例えば、対角構図、3分割構図、黄金比構図などがある。この第3の態様においては、ユーザは焦点検出点73を密に配置する基準となるグリッドライン77の交点を選択(選択された交点を選択交点78と称する。)できるものとする。グリッドライン77の交点の選択は例えば、表示部112と一体に構成された入力部113としてのタッチパネルへの入力、または十字キー、ダイヤルなどの操作片を操作することによって行えるようにするとよい。よって、この第3の態様は被写体ではなく、グリッドライン77の選択交点78の位置に基づいて焦点検出点73を配置する。
まずステップS331で、処理画像が被写体特定部115に入力される。次にステップS332で、撮像制御装置120に撮像装置100がグリッドライン77の表示を行なうモードであることを示す通知がなされる。次にユーザによりグリッドライン77の交点のいずれかが選択交点78として選択されると、ステップS333でユーザにより選択された選択交点78を示す情報(交点情報と称する。)が被写体特定部115に供給される。
次にステップS334で、被写体特定部115は、選択交点78を焦点検出点73を配置する対象として特定する。対象を示す情報は焦点検出制御部121に供給される。そしてステップS335で焦点検出制御部121は、選択交点78を内部に含む所定の大きさの領域を一部領域72として決定する。一部領域72の大きさは例えば、構図の種類に応じて設定するようにしてもよい。例えば、交点の数が多い構図と交点の数が少ない構図とでは前者における一部領域72は後者における一部領域72よりも小さいものとする、などである。また、一部領域72は選択交点78に重なっている被写体を含むように設定してよい。なお、一部領域72は、必ずしも選択交点78を中心としている必要はなく、選択交点78を内部に含んでいればどのように設定してもよい。
次にステップS336で、焦点検出制御部121は一部領域72内に焦点検出点73を均等に配置する。なお、焦点検出点73の数および焦点検出点73間の間隔は、一部領域72の大きさに応じて決定するとよい。例えば、一部領域72の大きさと焦点検出点73の数および焦点検出点73の間隔を対応させておいたテーブルを焦点検出制御部121が保持しておき、そのテーブルを参照することにより得ることができる。また、一部領域72の大きさと焦点検出点73の数および焦点検出点73の対応関係を示す演算式から求めるようにしてもよい。
なお、構図の基準となるグリッドライン77の交点を優先して被写体検出を行なう技術も提案されているため、その技術と組み合わせることによりさらにオートフォーカスの精度を高めることができる。
グリッドライン77の選択交点78は通常、ユーザがピントを合わせたい被写体を位置させる点である。よって、この第3の態様によれば、その選択交点78を含むように一部領域72を決定してその中に焦点検出点73を密に配置することにより、ユーザがピントを合わせたい被写体に対するオートフォーカスの精度を向上させることができる。
<4.変形例>
以上、本技術の実施の形態について具体的に説明したが、本技術は上述の実施の形態に限定されるものではなく、本技術の技術的思想に基づく各種の変形が可能である。
上述した第1乃至第3の実施の形態においては、一部領域を決定した後、その一部領域内に焦点検出点を配置する順序で説明を行ったが、一部領域の決定と焦点検出点の配置の決定は同時に行なうようにしてもよい。
また、第1乃至第3の実施の形態において、撮影範囲内における一部領域以外の外の領域には焦点検出点を配置してもよいし、配置しなくてもよい。また、外の領域には一部領域よりも疎に焦点検出点を配置するようにしてもよい。
次に、オートフォーカスの設定において、ユーザがオートフォーカスによる被写体への追従の感度を調整できる場合の変形例について説明する。オートフォーカスの被写体への追従感度の調整とは、撮像装置が有する機能の1つであり、オートフォーカスで捕捉した被写体への追従の度合いを調整できるものである。追従感度が低い場合には、障害物が焦点検出点を横切ったときや、焦点検出点が被写体から外れたときでも、できるだけ捕捉している被写体にピントを合わせ続けようとする。一方、追従感度が高い場合には、焦点検出点で捉えている現在ピントが合っている被写体とは別の被写体が焦点検出点を横切ったりした場合にその他の被写体にピントを合わせることになる。このような被写体への追従感度は通常、撮像装置の設定モードなどにおいて値や複数の段階として選択が可能である。
そして、この被写体への追従感度が高く設定されている場合、すなわち、現在ピントが合っている被写体から別の被写体にピントが移りやすい場合には、焦点検出点の一部領域内への局所配置を解除し、撮影範囲の全体に均等に焦点検出点を配置するとよい。これにより、撮影範囲全体において、均等にオートフォーカスによる被写体の捕捉を行なうことができるので、撮影範囲内に突然新たな被写体が入ってきた場合であってもその新たな被写体をオートフォーカスで捕捉することができる。
次に、図22を参照して被写体が撮影範囲から外れた場合(フレームアウト)の変形例について説明する。上述した実施の形態における手法で、図22Aに示すように、撮影範囲81内の対象被写体82を含むように一部領域83を決定し、その中に焦点検出点84を配置して撮影している場合を想定する。
その撮影の最中に対象被写体82が右方向に移動し、図22Bに示すようにフレームアウトしたとする。この場合、図22Bに示すようにフレームアウトした位置に局所配置した焦点検出点84を所定時間残しておく。これにより、図22Cに示すように、そのフレームアウトした対象被写体82がフレームアウトした位置から再度撮影範囲81内に入ってきた場合(フレームイン)に、即座にその対象被写体82に再度ピントを合わせることができる。なお、局所配置した焦点検出点84は所定時間、例えば、数秒程度残しておくとよい。長時間残していると、フレームアウトした対象被写体82とは異なる被写体にピントに合わせてしまうおそれがあるからである。
または、焦点検出点84を重ねていた対象被写体82がフレームアウトした場合、局所的に配置していた焦点検出点84を解除し、図22Dに示すように撮影範囲81全体に焦点検出点84を配置するようにしてもよい。この場合、対象被写体82がフレームアウトした方向以外の方向からその対象被写体82や他の被写体85が入ってきた場合にそれらに即座にピントを合わせることができる。
次にクロップして撮影する場合の変形例について説明する。クロップとは、撮影範囲において画像の一部分を切り出して撮影、または画像の再生画面において画像の一部分を切り出して再生することをいう。フルサイズ(35mm)の撮像素子104で撮影する場合、撮像素子104の中央部分だけを切り出して小さな画像サイズで撮影すると、APS-C(Advanced Photo System-C)サイズの画像を得ることができる。APS-Cとは、デジタルカメラの固体撮像素子のサイズ規格のひとつである。
フルサイズの撮像素子104を用いて、上述した第1乃至第3の実施の形態における手法で被写体にピントを合わせた状態でクロップして撮影している場合、クロップにより見えなくなっている領域にも焦点検出点を疎に配置しておく。これにより、被写体が撮影範囲外からフレームインしてきた場合に即座にその被写体にピントを合わせることができる。
次に第1の実施の形態の第3の態様の変形例について説明する。第1の実施の形態の第3の態様において撮像装置100は動きセンサを備えていてもよい。動きセンサは、例えば2軸または3軸方向に対する加速度センサあるいは角度速度センサなどにより撮像装置100の動きを検出して、撮像装置100自体の移動速度、移動方向などの情報を制御部101に供給する。また、動きセンサはジャイロセンサにより、撮像装置100が旋回しているときの回転角の変化する速度(角速度)やY軸方向周りの角速度を検出し、制御部101に出力する。
ユーザが撮像装置100を手に持って撮像装置100を動かす場合にも第1の実施の形態の第3の態様と同様に撮影範囲内において被写体が移動することになる。このような場合に、撮像装置100の移動速度、移動方向に基づいて第1の実施の形態の第3の態様と同様の処理を行なうようにしてもよい。
なお、撮像装置100が動く場合とは、ユーザが手で持って動かす場合の他、ドローンと称される飛行体に撮像装置100が搭載されている場合、ユーザが頭部など体の一部に撮像装置100を装着している場合、車載カメラなど移動体に撮像装置100を搭載している場合などがある。
次に第3の実施形態の変形例について説明する。第3の実施の形態で説明した撮像装置100からの情報に基づいて焦点検出点を配置する実施形態において、撮像装置100からの情報は第3の実施の形態で述べたものに限定されない。撮像装置100が有する撮影補助機能から供給される情報または外部装置が有する撮影補助機能から供給される情報に基づいて焦点検出点を配置するようにしてもよい。
撮像装置100が有する撮影を補助する機能としては、像面位相差AF用の焦点検出点がある。この場合、表示部112に表示されている複数の焦点検出点からユーザが選択した任意の1または複数の焦点検出点が焦点検出点を密に配置する対象となる。
また、外部装置の撮影補助機能から供給される情報としては、別体位相差AFモジュールの合焦点情報、コントラストAFの合焦点情報、外部ストロボのAF補助光が被写体に当たっている位置の情報、ドットサイトと称される光学照準器の照準用光点の情報、視線入力装置における視線の位置を示す情報などである。
次に撮像装置の構成の変形例について説明する。図2に示す撮像制御装置120を備える撮像装置100の構成では、撮像制御装置120による処理を撮像装置100の制御側で行っているが、撮像素子104が制御回路を備え、撮像素子104内で本技術に係る焦点検出点の設定処理を行なうようにしてもよい。
被写体の種類に応じた焦点検出点の設定については、被写体が瞳であり、撮影範囲内に一部領域が2つ存在する場合を例にして説明を行ったが、その他の実施の形態においても一部領域は一つに限られず、撮影範囲内に複数の一部領域が設定されてもよい。
上述の実施の形態では、焦点検出点を配置する一部領域は四角形として説明を行ったが、一部領域は四角形に限られず、三角形、円形、被写体の輪郭と略同等の形状などでもよい。
表示部112における焦点検出点を示すユーザインターフェースの表示は実施の形態に示したもの以外の方法で行ってもよい。例えば、一部領域内の焦点検出点を濃い線で表示し、外の領域内の焦点検出点を薄い線で表示または表示しないようにしてもよい。また、一部領域内の焦点検出点を赤色など目立つ色の線で表示し、外の領域内の焦点検出点を黒、白など一部領域内の焦点検出点の色よりも目立たない色で表示してもよい。また、一部領域内の焦点検出点を太い線で表示し、外の領域内の焦点検出点を細い線で表示してもよい。または、一部領域内の焦点検出点のみを点滅させるようにしてもよい。なお、一部領域内および外の領域内の全ての焦点検出点を同じ線の種類、線の色で表示してもよい。また、一部領域内全体に色や網目を表示したりしてもよい。
なお、上述した第1乃至第3の実施の形態の各態様および変形例は組み合わせて使用してもよい。例えば、第1の実施の形態の第2の態様である対象被写体の大きさに応じて一部領域内に焦点検出点を配置する場合、第1の実施の形態の第1の態様の図7で説明したように、焦点検出点を外の領域に一部領域よりも疎に配置してもよいし、配置しなくてもよい。また、第3の実施の形態の第3の態様であるグリッドラインの交点を対象として焦点検出点を配置する場合にも、第1の実施の形態の第1の態様の図7で説明したように、焦点検出点を外の領域に一部領域よりも疎に配置してもよいし、配置しなくてもよい。また、第2の実施の形態である被写体の種類に応じて焦点検出点を配置する場合に、さらに第1の実施の形態の第2の態様を利用して被写体の大きさに応じて配置してもよいし、第1の実施の形態の第3の態様を利用して被写体の速度に応じて配置してもよい。
本技術は、一眼レフカメラ、デジタルカメラ、デジタルビデオカメラなどの他にも、アウトドアスポーツの愛好者等が自身の活動を記録するために用いる小型のデジタルビデオカメラや、ネットワークカメラ、車載カメラ、監視カメラ、ドローンなどの飛行体搭載用カメラ、ノートパソコン、スマートフォン、タブレット端末、携帯ゲーム機、腕時計型のウェアラブル端末、眼鏡型のウェアラブル端末、カーナビゲーションシステム、インターホンシステムなどカメラ機能を備えるものであればどのようなものにも適用可能である。
また、複数のデジタルカメラ、デジタルビデオカメラ、スマートフォンなどをWiFiネットワークなどで接続して、それらの複数の機器で同時に撮影を行なうことができるいわゆるマルチカメラシステムにも本技術を適用することが可能である。例えば、ユーザがシャッタ操作などを行なうメインカメラにおいて本技術を利用し焦点検出点を設定した場合、その設定がWiFiネットワークなどを通じてその他のサブカメラに送信され、サブカメラにおいてもその焦点検出点の設定が適用される、などである。
また、被写体は、人物、人物の顔、瞳などに限られず、自動車、飛行機、列車、自転車、自動車のナンバープレート、標識、看板、動物、植物、建築物などどのようなものであってもよい。
本技術は以下のような構成も取ることができる。
(1)
指定された一部領域における焦点検出点の密度を、前記一部領域を除いた領域における焦点検出点の密度よりも高く設定する、焦点検出制御部を備える
制御装置。
(2)
前記焦点検出制御部は、前記一部領域における前記複数の焦点検出点間の間隔を前記外の領域における前記複数の焦点検出点間の間隔より狭くする(1)に記載の撮像制御装置。
(3)
複数の前記焦点検出点ごとのデフォーカス量を算出する検波部からデフォーカス量を取得する(1)または(2)に記載の撮像制御装置。
(4)
前記焦点検出制御部は、前記焦点検出点を示す情報を表示制御部に供給し、複数の前記焦点検出点の各々に対応した該焦点検出点を示す枠を表示部に表示させる(1)から(3)のいずれかに記載の制御装置。
(5)
前記被写体は、被写体検出処理またはユーザの指定により特定される(1)から(3)のいずれかに記載の制御装置。
(6)
前記焦点検出制御部は、前記被写体の大きさに基づいて前記複数の焦点検出点間の間隔を調整して、前記焦点検出点を前記一部領域に配置させる
(4)または(5)に記載の制御装置。
(7)
前記焦点検出制御部は、前記被写体が大きくなるに従い前記複数の焦点検出点間の間隔を広くし、前記被写体が小さくなるに従い前記複数の焦点検出点間の間隔を狭くして、前記焦点検出点を前記一部領域に配置させる
(6)に記載の制御装置。
(8)
前記焦点検出制御部は、前記被写体の速度に基づいて複数の前記焦点検出点間の間隔を調整して、前記焦点検出点を前記一部領域に配置させる(1)から(7)のいずれかに記載の制御装置。
(9)
前記焦点検出制御部は、前記被写体の速度が速くなるに従い前記複数の焦点検出点間の間隔を広くし、前記被写体の速度が遅くなるに従い前記複数の焦点検出点間の間隔を狭くして前記焦点検出点を前記一部領域に配置させる(8)に記載の制御装置。
(10)
前記焦点検出制御部は、前記被写体の速度に基づいて複数の前記一部領域の大きさを調整する(8)または(9)に記載の制御装置。
(11)
さらに前記被写体の移動方向に基づいて、前記一部領域の大きさを調整する(8)から(10)のいずれかに記載の制御装置。
(12)
前記撮影範囲内において種類が特定された前記被写体が含まれる前記一部領域に前記種類に応じて前記焦点検出点を配置させる(1)から(11)のいずれかに記載の制御装置。
(13)
前記焦点検出制御部は、前記複数の焦点検出点を、前記撮影範囲内における合焦位置が含まれる前記一部領域よりも前記外の領域から、前記一部領域に配置させる(1)から(3)のいずれかに記載の制御装置。
(14)
前記焦点検出制御部は、前記撮影範囲の一部であって、表示部に拡大して表示する領域を前記一部領域とし、前記複数の焦点検出点を前記一部領域に配置させる(1)から(3)のいずれかに記載の制御装置。
(15)
前記焦点検出制御部は、前記複数の焦点検出点を、表示部に表示された前記撮影範囲上に重畳表示された複数の線の交点が含まれる前記一部領域よりも前記外の領域から、前記一部領域に配置させる(1)から(3)のいずれかに記載の制御装置。
(16)
前記焦点検出は像面位相差方式により行われる(1)から(15)のいずれかに記載の制御装置。
(17)
撮像部の焦点検出画素に対応して設定される複数の焦点検出点を、特定された被写体の位置に基づいて、前記撮像部の撮影範囲における前記被写体に対応する一部領域よりも外の領域から、前記一部領域に配置させる制御方法。
(18)
撮像部の焦点検出画素に対応して設定される複数の焦点検出点を、特定された被写体の位置に基づいて、前記撮像部の撮影範囲における前記被写体に対応する一部領域よりも外の領域から、前記一部領域に配置させる制御方法をコンピュータに実行させる制御プログラム。
51、61、71、81・・・撮影範囲
52、62、82・・・・・・対象被写体
53、63、72・・・・・・一部領域
54、64、73、84・・・焦点検出点
55・・・・・・・・・・・・外の領域
75・・・・・・・・・・・・合焦位置
76・・・・・・・・・・・・拡大領域
120・・・・・・・・・・・撮像制御装置
121・・・・・・・・・・・焦点検出制御部

Claims (18)

  1. 撮影範囲内において指定された領域である一部領域における焦点検出点の密度が初期状態よりも高くなるように前記焦点検出点を配置し、さらに、前記撮影範囲内の前記一部領域を除いた領域における前記焦点検出点を初期状態よりも少なくするように前記焦点検出点を配置することにより、前記一部領域における前記焦点検出点の密度を前記撮影範囲内の前記一部領域を除いた領域における前記焦点検出点の密度よりも高く設定する、焦点検出制御部を備える
    制御装置。
  2. 前記一部領域は、特定された被写体の位置に対応する領域、またはユーザにより指定された領域である
    請求項1に記載の制御装置。
  3. 複数の前記焦点検出点ごとのデフォーカス量を算出する検波部からデフォーカス量を取得する
    請求項1または請求項2に記載の制御装置。
  4. 前記焦点検出制御部は、前記焦点検出点を示す情報を表示制御部に供給し、複数の前記焦点検出点の各々に対応した該焦点検出点を示す枠を表示部に表示させる
    請求項1から請求項3のいずれかに記載の制御装置。
  5. 前記被写体は、被写体検出処理またはユーザの指定により特定される
    請求項1から請求項4のいずれかに記載の制御装置。
  6. 前記焦点検出制御部は、前記被写体の大きさに基づいて前記複数の焦点検出点間の間隔を調整して、前記焦点検出点を前記一部領域に配置させる
    請求項1から請求項5のいずれかに記載の制御装置。
  7. 前記焦点検出制御部は、前記被写体が大きくなるに従い前記複数の焦点検出点間の間隔を広くし、前記被写体が小さくなるに従い前記複数の焦点検出点間の間隔を狭くして、前記焦点検出点を前記一部領域に配置させる
    請求項6に記載の制御装置。
  8. 前記焦点検出制御部は、前記被写体の速度に基づいて複数の前記焦点検出点間の間隔を調整して、前記焦点検出点を前記一部領域に配置させる
    請求項1から請求項7のいずれかに記載の制御装置。
  9. 前記焦点検出制御部は、前記被写体の速度が速くなるに従い前記複数の焦点検出点間の間隔を広くし、前記被写体の速度が遅くなるに従い前記複数の焦点検出点間の間隔を狭くして前記焦点検出点を前記一部領域に配置させる
    請求項8に記載の制御装置。
  10. 前記焦点検出制御部は、前記被写体の速度に基づいて複数の前記一部領域の大きさを調整する
    請求項8または請求項9に記載の制御装置。
  11. さらに前記被写体の移動方向に基づいて、前記一部領域の大きさを調整する
    請求項8から請求項10のいずれかに記載の制御装置。
  12. 前記撮影範囲内において種類が特定された前記被写体が含まれる前記一部領域に前記種類に応じて前記焦点検出点を配置させる
    請求項1から請求項11のいずれかに記載の制御装置。
  13. 前記焦点検出制御部は、前記複数の焦点検出点を、前記撮影範囲内における合焦位置が含まれる前記一部領域よりも前記外の領域から、前記一部領域に配置させる
    請求項1から請求項12のいずれかに記載の制御装置。
  14. 前記焦点検出制御部は、前記撮影範囲の一部であって、表示部に拡大して表示する領域を前記一部領域とし、前記複数の焦点検出点を前記一部領域に配置させる
    請求項1から請求項13のいずれかに記載の制御装置。
  15. 前記焦点検出制御部は、前記複数の焦点検出点を、表示部に表示された前記撮影範囲上に重畳表示された複数の線の交点を含んだ前記一部領域に配置させる
    請求項1から請求項14のいずれかに記載の制御装置。
  16. 前記焦点検出は像面位相差方式により行われる
    請求項1から請求項15のいずれかに記載の制御装置。
  17. 撮影範囲内において指定された領域である一部領域における焦点検出点の密度が初期状態よりも高くなるように前記焦点検出点を配置し、さらに、前記撮影範囲内の前記一部領域を除いた領域における前記焦点検出点を初期状態よりも少なくするように前記焦点検出点を配置することにより、前記一部領域における前記焦点検出点の密度を前記撮影範囲内の前記一部領域を除いた領域における前記焦点検出点の密度よりも高く設定する
    制御方法。
  18. 撮影範囲内において指定された領域である一部領域における焦点検出点の密度が初期状態よりも高くなるように前記焦点検出点を配置し、さらに、前記撮影範囲内の前記一部領域を除いた領域における前記焦点検出点を初期状態よりも少なくするように前記焦点検出点を配置することにより、前記一部領域における前記焦点検出点の密度を前記撮影範囲内の前記一部領域を除いた領域における前記焦点検出点の密度よりも高く設定する
    制御方法をコンピュータに実行させる制御プログラム。
JP2017565571A 2016-02-01 2017-02-01 制御装置、制御方法および制御プログラム Active JP7036423B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021063559A JP7131647B2 (ja) 2016-02-01 2021-04-02 制御装置、制御方法および制御プログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016017065 2016-02-01
JP2016017065 2016-02-01
PCT/JP2017/003537 WO2017135276A1 (ja) 2016-02-01 2017-02-01 制御装置、制御方法および制御プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021063559A Division JP7131647B2 (ja) 2016-02-01 2021-04-02 制御装置、制御方法および制御プログラム

Publications (2)

Publication Number Publication Date
JPWO2017135276A1 JPWO2017135276A1 (ja) 2018-11-22
JP7036423B2 true JP7036423B2 (ja) 2022-03-15

Family

ID=59499826

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017565571A Active JP7036423B2 (ja) 2016-02-01 2017-02-01 制御装置、制御方法および制御プログラム
JP2021063559A Active JP7131647B2 (ja) 2016-02-01 2021-04-02 制御装置、制御方法および制御プログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021063559A Active JP7131647B2 (ja) 2016-02-01 2021-04-02 制御装置、制御方法および制御プログラム

Country Status (4)

Country Link
US (1) US10686979B2 (ja)
JP (2) JP7036423B2 (ja)
CN (1) CN108603997B (ja)
WO (1) WO2017135276A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107864315B (zh) * 2016-09-21 2020-08-11 佳能株式会社 摄像设备、摄像设备的控制方法和记录介质
JP6780537B2 (ja) * 2017-02-22 2020-11-04 オムロン株式会社 光学センサ、学習装置、及び画像処理システム
JP7277133B2 (ja) * 2018-12-27 2023-05-18 キヤノン株式会社 フォーカス制御装置、撮像装置、および、プログラム
EP3904956A4 (en) * 2018-12-28 2022-02-16 Sony Group Corporation IMAGING APPARATUS, IMAGING PROCEDURE AND PROGRAM
CN109559522B (zh) * 2019-01-21 2021-09-28 熵基科技股份有限公司 一种调试方法、伸缩立柱、摄像机及存储介质
CN110191287B (zh) * 2019-06-28 2021-05-11 Oppo广东移动通信有限公司 对焦方法和装置、电子设备、计算机可读存储介质
JP7490372B2 (ja) * 2020-01-21 2024-05-27 キヤノン株式会社 撮像制御装置及びその制御方法
KR20210105056A (ko) * 2020-02-18 2021-08-26 에스케이하이닉스 주식회사 이미지 센서 및 이를 포함하는 촬영 장치
KR20240013496A (ko) * 2022-07-22 2024-01-30 삼성전자주식회사 위상 데이터의 길이를 가변할 수 있는 이미지 센서

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000155261A (ja) 1998-11-24 2000-06-06 Canon Inc 焦点検出方法、焦点検出装置及び焦点検出方法を記憶した記憶媒体
JP2001004367A (ja) 1999-06-22 2001-01-12 Fuji Electric Co Ltd 測距演算装置
JP2001208961A (ja) 2000-01-26 2001-08-03 Nikon Corp カメラ
JP2003259163A (ja) 2002-02-28 2003-09-12 Minolta Co Ltd デジタルカメラ及びプログラム
JP2007174149A (ja) 2005-12-21 2007-07-05 Olympus Corp 撮像システム
JP2010072284A (ja) 2008-09-18 2010-04-02 Nikon Corp カメラの焦点調節装置
JP2010098663A (ja) 2008-10-20 2010-04-30 Samsung Digital Imaging Co Ltd 撮像装置
JP2010117593A (ja) 2008-11-13 2010-05-27 Olympus Corp 距離情報取得装置、撮像装置、及びプログラム
JP2011176457A (ja) 2010-02-23 2011-09-08 Nikon Corp 電子カメラ
JP2012018014A (ja) 2010-07-06 2012-01-26 Ricoh Co Ltd 測距装置及び撮像装置
JP2012128343A (ja) 2010-12-17 2012-07-05 Nikon Corp カメラ
WO2013088917A1 (ja) 2011-12-13 2013-06-20 ソニー株式会社 画像処理装置、画像処理方法、及び記録媒体
JP2013122494A (ja) 2011-12-09 2013-06-20 Nikon Corp 焦点検出装置およびカメラ
JP2014013398A (ja) 2013-08-06 2014-01-23 Sony Corp 撮像装置および方法、並びにプログラム
JP2014137567A (ja) 2013-01-18 2014-07-28 Olympus Imaging Corp 撮像装置
JP2015079162A (ja) 2013-10-18 2015-04-23 キヤノン株式会社 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体
JP2015106116A (ja) 2013-12-02 2015-06-08 三星電子株式会社Samsung Electronics Co.,Ltd. 撮像装置
JP2015169708A (ja) 2014-03-05 2015-09-28 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH063581A (ja) * 1992-06-19 1994-01-14 Nikon Corp 自動焦点調節装置
US7046290B2 (en) 2000-01-26 2006-05-16 Nikon Corporation Multi-point auto-focus digital camera including electronic zoom
US6456788B1 (en) * 2000-08-21 2002-09-24 Canon Kabushiki Kaisha Optical apparatus and camera provided with line-of-sight detecting device
JP2008199477A (ja) * 2007-02-15 2008-08-28 Matsushita Electric Ind Co Ltd 撮像装置
JP2009077066A (ja) * 2007-09-19 2009-04-09 Nikon Corp 撮像装置の画像取り込み方法とその方法を用いる撮像装置
JP2011090048A (ja) 2009-10-20 2011-05-06 Olympus Imaging Corp カメラ用自動焦点調節装置
JP4997306B2 (ja) 2010-03-12 2012-08-08 オリンパス株式会社 被写体人物の顔の向き判定方法
JP5836761B2 (ja) 2011-11-04 2015-12-24 キヤノン株式会社 焦点調節装置及びその制御方法

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000155261A (ja) 1998-11-24 2000-06-06 Canon Inc 焦点検出方法、焦点検出装置及び焦点検出方法を記憶した記憶媒体
JP2001004367A (ja) 1999-06-22 2001-01-12 Fuji Electric Co Ltd 測距演算装置
JP2001208961A (ja) 2000-01-26 2001-08-03 Nikon Corp カメラ
JP2003259163A (ja) 2002-02-28 2003-09-12 Minolta Co Ltd デジタルカメラ及びプログラム
JP2007174149A (ja) 2005-12-21 2007-07-05 Olympus Corp 撮像システム
JP2010072284A (ja) 2008-09-18 2010-04-02 Nikon Corp カメラの焦点調節装置
JP2010098663A (ja) 2008-10-20 2010-04-30 Samsung Digital Imaging Co Ltd 撮像装置
JP2010117593A (ja) 2008-11-13 2010-05-27 Olympus Corp 距離情報取得装置、撮像装置、及びプログラム
JP2011176457A (ja) 2010-02-23 2011-09-08 Nikon Corp 電子カメラ
JP2012018014A (ja) 2010-07-06 2012-01-26 Ricoh Co Ltd 測距装置及び撮像装置
JP2012128343A (ja) 2010-12-17 2012-07-05 Nikon Corp カメラ
JP2013122494A (ja) 2011-12-09 2013-06-20 Nikon Corp 焦点検出装置およびカメラ
WO2013088917A1 (ja) 2011-12-13 2013-06-20 ソニー株式会社 画像処理装置、画像処理方法、及び記録媒体
JP2014137567A (ja) 2013-01-18 2014-07-28 Olympus Imaging Corp 撮像装置
JP2014013398A (ja) 2013-08-06 2014-01-23 Sony Corp 撮像装置および方法、並びにプログラム
JP2015079162A (ja) 2013-10-18 2015-04-23 キヤノン株式会社 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体
JP2015106116A (ja) 2013-12-02 2015-06-08 三星電子株式会社Samsung Electronics Co.,Ltd. 撮像装置
JP2015169708A (ja) 2014-03-05 2015-09-28 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム

Also Published As

Publication number Publication date
WO2017135276A1 (ja) 2017-08-10
US20190028653A1 (en) 2019-01-24
JP7131647B2 (ja) 2022-09-06
CN108603997A (zh) 2018-09-28
JP2021105734A (ja) 2021-07-26
US10686979B2 (en) 2020-06-16
CN108603997B (zh) 2021-08-13
JPWO2017135276A1 (ja) 2018-11-22

Similar Documents

Publication Publication Date Title
JP7036423B2 (ja) 制御装置、制御方法および制御プログラム
US20240069412A1 (en) Image pickup device and method of tracking subject thereof
JP6512810B2 (ja) 撮像装置および制御方法とプログラム
US9025044B2 (en) Imaging device, display method, and computer-readable recording medium
TWI386056B (zh) A composition determination means, a composition determination method, and a composition determination program
CN107968913B (zh) 显示控制设备、显示控制设备的控制方法和存储介质
JP6071436B2 (ja) 撮像装置、撮像方法およびプログラム
US10122930B2 (en) Display control apparatus and control method thereof
JP2008245055A (ja) 画像表示装置、撮影装置および画像表示方法
JP2009296030A (ja) 撮像装置
JP5885395B2 (ja) 撮影機器及び画像データの記録方法
JP6302215B2 (ja) 撮像装置
JP2012070144A (ja) 表示装置
TWI693828B (zh) 顯示擷取裝置與其操作方法
JP2013017125A (ja) 撮像装置及び撮像装置のモニタリング画像の表示方法
JP2011151482A (ja) 撮像装置および撮像装置の制御方法
JP2008187440A (ja) 撮像装置及び撮像装置の駆動方法
US11669975B2 (en) Subject tracking device, subject tracking method, and imaging apparatus
JP7570837B2 (ja) 被写体追尾装置および被写体追尾方法、撮像装置
WO2022004305A1 (ja) 撮像支援装置、撮像装置、撮像支援方法、及びプログラム
US20230247290A1 (en) Image capture apparatus and control method thereof
JP5938269B2 (ja) 撮像装置およびその制御方法
JP5281904B2 (ja) ビューファインダーシステム及びそれを備えた撮像装置
JP2000330008A (ja) 自動焦点調節装置
WO2011024596A1 (ja) 撮像装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191212

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200818

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201009

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210402

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210402

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210415

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20210420

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20210625

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20210629

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20211012

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20211228

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20220201

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20220201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220224

R150 Certificate of patent or registration of utility model

Ref document number: 7036423

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150