JP6833498B2 - 撮像装置、撮像方法およびコンピュータのプログラム - Google Patents

撮像装置、撮像方法およびコンピュータのプログラム Download PDF

Info

Publication number
JP6833498B2
JP6833498B2 JP2016248205A JP2016248205A JP6833498B2 JP 6833498 B2 JP6833498 B2 JP 6833498B2 JP 2016248205 A JP2016248205 A JP 2016248205A JP 2016248205 A JP2016248205 A JP 2016248205A JP 6833498 B2 JP6833498 B2 JP 6833498B2
Authority
JP
Japan
Prior art keywords
image
magnification
images
imaging
focus position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016248205A
Other languages
English (en)
Other versions
JP2018101951A (ja
Inventor
卓也 正村
卓也 正村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2016248205A priority Critical patent/JP6833498B2/ja
Priority to US15/838,135 priority patent/US10484612B2/en
Publication of JP2018101951A publication Critical patent/JP2018101951A/ja
Priority to US16/594,358 priority patent/US10887524B2/en
Priority to US17/109,927 priority patent/US11445118B2/en
Application granted granted Critical
Publication of JP6833498B2 publication Critical patent/JP6833498B2/ja
Priority to US17/859,535 priority patent/US11831979B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10052Images from lightfield camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Automatic Focus Adjustment (AREA)

Description

本発明は、撮像装置の表示に関するものであり、特にピント位置の異なる画像を撮像するときの表示に関するものである。
デジタルカメラなどの撮像装置からの距離が異なる複数の被写体を撮像する場合、あるいは、奥行き方向に長い被写体を撮像する場合に、撮像光学系における被写界深度が足りないために、被写体の一部にしかピントを合わせられない場合がある。これを解決するため、特許文献1には、ピント位置を変化させて複数の画像を撮像し、各画像から合焦領域のみを抽出して1枚の画像に合成し、撮像領域全体に合焦している合成画像を生成する技術が開示されている。
しかし、デジタルカメラなどの撮像装置のライブビュー表示を用いて上述の撮像を行うとき、レンズの繰り出し量の変化などため、撮像画像の画角は、ピント位置の変化に伴い変わってしまう場合がある。合成画像を生成するために、画角の最も狭い撮像画像の画角に合わせてほかの撮像画像に対して切り出し処理をする必要があり、撮像中のライブビュー画像の画角と合成画像との画角が異なる可能性がある。
特許文献2には、本撮像を行う前に、簡易的なプレ撮像および画像処理を通じ、確認用の画像データを生成する方法が開示されている。
特開2015−216532号公報 特開2015−231058号公報
しかしながら、上述する特許文献2に記載の方法を用いては、本撮像の前にプレ撮像を行わなければならず、撮像者にとって面倒のみならず、撮像動作の全体の時間が延びてしまう。
本発明は、上記の課題を鑑みてなされたものであり、ピント位置の異なる複数の画像を撮像し、利便性良く、合成画像の画角を確認できる撮像装置を提供することを目的とする。
本発明は撮像手段と、前記撮像手段で生成された画像をライブビュー表示する表示手段と、前記撮像手段で生成されたピント位置が異なる複数の画像を合成し、合成画像を生成、する画像処理手段と、制御手段と、を有し、前記制御手段は、前記ピント位置が異なる複数の画像に対応する像倍率のうち、基準となる像倍率に基づいて、前記表示手段に表示される画像の画角を前記合成画像の画角と等しくなるよう補正することを特徴とする撮像装置を提供する。
本発明の撮像装置によれば、ピント位置の異なる複数の画像に対して合成を行うとき、利便性良く、合成画像の画角を確認できる。
本発明の実施形態に係るデジタルカメラの構造を示すブロック図である。 第1の実施形態を説明するためのフローチャートである。 第1の実施形態におけるピント位置と像倍率との関係を示す関数を説明するための図である。 第1の実施形態における最大設定像倍率とLV像倍率を説明するための図である。 被写体の距離情報を取得可能な撮像素子を構成するセンサのアレイの一例を説明するための図である。 複数の光電変換部を有する画素における光信号の入射を説明するための図である。 複数の光電変換部を有する画素を用いて被写体の距離情報を取得する方法について説明するための図である。 第2の実施形態を説明するためのフローチャートである。 (a)は、像倍率の単調減少を示す図であり、(b)は、像倍率の単調増加を示す図である。
以下では、添付の図面を参照しながら、本発明の好適な実施形態について詳細に説明する。
(第1の実施形態)
図1は本実施形態に係るデジタルカメラの構造を示すブロック図である。
制御回路101は、例えばCPUやMPUなどのシグナルプロセッサであり、予め後述するROM105に内蔵されたプログラムを読み出して、デジタルカメラ100の各部分を制御する。たとえば、後述するように、制御回路101が、後述する撮像素子104に対して撮像の開始と終了について指令を出す。また、後述する画像処理回路107に対して、ROM105に内蔵されたプログラムに基づいて、画像処理の指令を出す。ユーザによる指令は、後述する操作部材110によってデジタルカメラ100に入力され、制御回路101を通して、デジタルカメラ100の各部分に達する。
駆動機構102は、モーターなどによって構成され、制御回路101の指令の下で、後述する光学系103を機械的に動作させる。たとえば、制御回路101の指令に基づいて、駆動機構102が光学系103に含まれるフォーカスレンズの位置を移動させ、光学系103の焦点距離を調整する。
光学系103は、ズームレンズ、フォーカスレンズ、および絞りなどにより構成される。絞りは、透過する光量を調整する機構である。フォーカスレンズの位置を変えることによって、ピント位置を変えることができる。
撮像素子104は、光電変換素子であり、入射された光信号を電気信号に変換する光電変換を行うものである。たとえば、撮像素子104に、CCDやCMOSセンサなどを適用することができる。
ROM105は、記録媒体としての読み出し専用の不揮発性メモリであり、デジタルカメラ100が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶している。RAM106は、書き換え可能な揮発性メモリであり、デジタルカメラ100が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。
画像処理回路107は、撮像素子104から出力された画像、あるいは後述する内蔵メモリ109に記録されている画像信号のデータに対して、ホワイトバランス調整、色補間、フィルタリングなど、様々な画像処理を行う。また、撮像素子104が撮像した画像信号のデータに対して、JPEGなどの規格で、圧縮処理を行う。
画像処理回路107は、特定の処理を行う回路を集めた集積回路(ASIC)で構成される。あるいは、制御回路101がROM105から読み出したプログラムに従って処理することで、制御回路101が画像処理回路107の機能の一部または全部を兼用するようにしてもよい。制御回路101が画像処理回路107の全ての機能を兼用する場合には、画像処理回路107をハードウェアとして有する必要はなくなる。
ディスプレイ108は、RAM106に一時保存されている画像、または、後述する内蔵メモリ109に保存されている画像、あるいは、デジタルカメラ100の設定画面などを表示するための液晶ディスプレイや有機ELディスプレイなどである。ディスプレイ108は、撮像素子104が取得する画像を表示画像としてリアルタイムに反映し、いわゆるライブビュー表示することができる。
内蔵メモリ109は、撮像素子104が撮像した画像や画像処理回路107の処理を得た画像、および、画像撮像時のピント位置の情報などを記録する場所である。内蔵メモリの代わりに、メモリカードなどを用いてもよい。
操作部材110は、たとえば、デジタルカメラ100につけるボタンやスイッチ、キー、モードダイアルなど、あるいは、ディスプレイ108に兼用されるタッチパネルなどである。ユーザが操作部材110を用いて入力した指令は、制御回路101に達し、この指令に応じて制御回路101は各ブロックの動作を制御する。
図2は、本実施形態を説明するためのフローチャートである。まず、図2(a)に基づいて、本実施形態について説明する。
ステップS201で、制御回路101は、レンズの情報を取得する。たとえば、レンズ交換可能でないデジタルカメラにおいては、レンズの情報を予めROM105に保存し、S201において、制御回路101がレンズの情報を取得する。または、レンズ交換可能なデジタルカメラの場合、制御回路101は、光学系103に設けられたマウントなどを通じて、レンズの種類を読み出す。レンズの種類ごとの情報を予めROM105に保存し、制御回路101は、読み出したレンズの種類と照らし合わせ、ROM105から該当するレンズの情報を読み出す。なお、ここでいうレンズの情報とは、後述するレンズを使用するときのピント位置と像倍率との関係などのレンズの固有情報を指す。
本実施形態においては、制御回路101は、レンズの情報に含まれるピント位置と像倍率との関係を示す関数を読み出す。画像の像倍率と画角とは反比例するので、制御回路101は、ピント位置と像倍率との関係を示す関数よりピント位置と画角との関係を示す関数を得ることもできる。一般的に、ピント位置と像倍率との関係を示す関数は、レンズの種類によって一意に定まり、その関数は単調変化である。なお、ここでいう像倍率は、撮像素子に結像された被写体像の大きさと、実際の被写体の大きさの比を指す。
図3は、本実施形態におけるピント位置と像倍率との関係を示す関数を説明するための図である。図3で示した関数においては、像倍率はピント位置に対して単調減少である。
ステップS202は、制御回路101は、複数のピント位置の設定を行う。たとえば、ユーザがタッチパネルを通じて、焦点領域を設定し、光学系103はその焦点領域に相当するピント位置を測定する。制御回路101は、測定したピント位置の前後に、所定数のピント位置を設定する。制御回路101は、互いの被写界深度の端部が少し重複するように、隣接するピント位置間の距離を設定することが好ましい。
ステップS203では、制御回路101は像倍率の算出を行う。ステップ203では、制御回路101は、ステップS201で取得したピント位置と像倍率との関係を示す関数を用い、ステップS202で設定した各々のピント位置に対応する像倍率を算出する。たとえば、図3に示したように、制御回路101は、ステップS202で、ピント位置301乃至304を設定する。図3に示した関数によれば、光学系103がピント位置301乃至304にピントを合わせたときに、撮像素子104が撮像する画像の像倍率がそれぞれ像倍率311乃至314であることがわかる。
ステップS204で、制御回路101は、最大設定像倍率とライブビュー像倍率(以下、LV像倍率と称す)との比較を行う。ここでの最大設定像倍率とは、ステップS203で算出した像倍率の中で最も大きいものであって、基準となる像倍率を指す。LV像倍率とは、ディスプレイ108がライブビュー表示の際に設定されているピント位置に対応する像倍率を指す。
ステップS204で、制御回路101は、最大設定像倍率がLV像倍率より大きいと判断した場合、ステップS205に進み、そうでないとステップS206に進む。
図4は、本実施形態における最大設定像倍率とLV像倍率を説明するための図である。図4(a)はLV像倍率の画像の画角を示し、図4(b)は最大設定像倍率の画像の画角を示す。図4(a)に示した画像401の画角は図4(b)に示した画像402の画角より広く、図4(a)に示した枠403の部分の画角は、画像402の画角に相当する。したがって、制御回路101は、画像401と画像402を用いて合成しようとすると、画像401の枠403より外の部分を切り捨てなければならなく、作成した合成画像で、枠403より外の部分がなくなる。ディスプレイ108は、画像401をそのまま用いてライブビュー表示を行うと、枠403より外の部分が表示されるにもかかわらず、合成画像にはその部分が含まれないという課題が起きる。この課題を解決するために、制御回路101は最大設定像倍率がLV像倍率より大きいと判断した場合、ディスプレイ108は、画像401の枠403より外の部分をライブビュー表示させないように、ライブビュー画像の補正を行う。具体的には、ステップS205で画像処理回路107は、図4(a)に示した画像401に対して、枠403内の部分を切り出し、画像401の元のサイズまで拡大処理を行う。
ステップS206で、ディスプレイ108は、ライブビュー画像の表示を行う。ステップS205で画像処理回路107がライブビューの補正を行った場合、ステップS206では、ディスプレイ108は補正前の画像でなく、補正後の画像を表示画像としてライブビュー表示を行う。
ステップS207は、制御回路101は、ユーザの操作部材110に設けたボタン操作などの、撮像開始の指示があるかどうかを判断する。撮像開始の指示があれば、ステップS207に進み、撮像開始の指示がなければ、ステップS208に進む。ステップS208で、制御回路101は、ピント位置の再設定を行うかどうかについて判断する。ピント位置の再設定を行う場合、ステップS202に戻り、ピント位置の再設定を行わない場合、ステップS204に戻る。
たとえば、デジタルカメラ100が、被写体の位置に合わせて、リアルタイムにピント位置を変える追尾モードで撮像を行う場合、ピント位置もリアルタイムに変える必要がある。このような場合、ステップS207で撮像開始の指示がなければ、ステップS202に戻り、ピント位置をもう一度設定する必要がある。一方で、最初にステップS202でデジタルカメラ100から所定の距離にピント位置を設定し、その後変えない場合では、ピント位置を再度設定する必要がない。したがって、このような場合、ステップS207で撮像開始の指示がなければ、ステップS202でなくステップS204に戻る。
ステップS209では、ステップS202で設定した複数のピント位置のそれぞれで撮像素子104を用いて本撮像を行う。
ステップS210で、画像処理回路107はステップS209で本撮像した画像を用いて合成を行う。合成の方法の一例は以下で簡単に述べる。画像処理回路107は各画像から得られたコントラスト値を用いて合成MAPを生成する。具体的には、各々の着目領域あるいは画素において、複数の画像のうち、画像のコントラスト値が最も高くなる画像の合成比率を100%とし、それ以外の画像を0%とする。なお、隣接画素間で合成比率が0%から100%に変化(あるいは100%から0%に変化)すると、合成境界での不自然さが目立つようになる。そのため、合成MAPに対して所定の画素数(タップ数)を持つローパスフィルタをかけることで、隣接画素間で合成比率が急激に変化しないように合成MAPを加工する。また、着目領域あるいは画素における各画像のコントラスト値に基づいて、コントラスト値の高い画像ほど合成比率が高くなるような合成MAPを作成してもよい。
このように、第1の実施形態によれば、合成画像の画角を考慮し、撮像時のライブビュー表示を補正し、合成画像の画角に相当する画角を撮像時にユーザに表示することができる。
なお、ステップS202の説明において、ユーザがタッチパネルを通じて設定した焦点領域のピント位置を基準として、所定数のピント位置を設定するとしたが、これに限られるものではない。基準となるピント位置が設定された被写体が占める領域を画像から判別し、この領域における距離情報に基づいて、複数のピント位置を設定するようにしてもよい。
図5は、被写体の距離情報を取得できる撮像素子104を構成するセンサのアレイの一例を説明するための図である。図5(a)に、画素500が、互いに独立に光信号を読み取れる2つの光電変換部501と502を有する場合の構造を示す。それぞれの画素が有する光電変換部の数は2つに限られるものではなく、3つ以上であってもよい。たとえば、図5(b)に、画素510が、4つの光電変換部511乃至514を有する構造を示す。以下の記述では、1つの画素が2つの光電変換部を有する構造に基づいて説明する。
図6は、複数の光電変換部を有する画素に光信号が入射する様子を説明するための図である。
図6では、画素アレイ601が、マイクロレンズ602と、カラーフィルタ603と、光電変換部604および605を備えている。光電変換部604と605とは、同じ画素に属し、共通するマイクロレンズ602とカラーフィルタ603に対応する。図6はデジタルカメラ100を上から見た図であって、1つの画素に対応する2つの光電変換部604と605が左右に並んで配置されていることを示している。射出瞳606から出る光束のうち、光軸609を境にして、上側の光束(領域607からの光束に相当)は光電変換部605に入射し、下側の光束(領域608からの光束に相当)は光電変換部604に入射する。つまり、光電変換部604と605とはそれぞれ撮像レンズの射出瞳の異なる領域の光を受光している。ここで光電変換部604が受光した信号をA像、光電変換部605で受光した信号をB像とすると、A像とB像の位相差に基づいて焦点ズレ量を算出でき、距離情報を取得することができる。特に、撮像素子104の全体に、2つの光電変換部を有する画素を全面的に配置すれば、撮像素子104が、被写体の任意の場所の距離情報を得ることができる。
図7は本実施形態における複数の光電変換部を有する画素を用いて被写体の距離情報を取得する方法を説明するための図である。図7(a)では、見やすくするために、画面に5×5合計25個の画素を示すが、実際の画素はもっと小さく、数が多い。画素701のように、被写体と重畳する画素は実線、そうでない画素は、画素702のように、点線で描かれる。すべての実線の画素に対して上述するように距離情報を取得すると、被写体全体の距離情報を取得できる。
以下では、本実施形態におけるステップS202でのピント位置の設定について説明する。ユーザが被写体の一部である領域703を指定するため、操作部材110に含まれるタッチパネルを用いてタッチ操作を行う。このタッチ操作によって領域703が選択されると、制御回路101は、領域703が属している被写体の全体領域704を検出する。たとえば、制御回路101は、画像処理回路107を通じて画像中の色情報を分析し、色情報より被写体を検出する。または、制御回路101は、画像処理回路107を通じて、画像中のエッジ情報や距離情報取得してからそれらを元に被写体の全体領域704の検出を行ってもよい。
続いて、前述したように、図7(a)の画素701のような被写体の全体領域704と重畳する画素の距離情報を取得する。制御回路101は、取得した距離情報の中で、最も遠い被写体の距離にあたるところに、ピント位置を設定すると同時に、最も近い被写体の距離にあたるところにも、ピント位置を設定する。この2つのピント位置の間に、等間隔配置などの予め定められた方法で、いくつかのピント位置を設定する。
(第2の実施形態)
第2の実施形態では、第1の実施形態と異なり、制御回路101が自動的にピント位置を設定するのでなく、ユーザがマニュアル操作でピント位置を動かして撮像を行う。以下では、第2の実施形態について説明する。なお、第1の実施形態と同様な構成については説明を省略する。
図8は本実施形態を説明するためのフローチャートである。
ステップS801は、第1の実施形態のステップS802と同様に、制御回路101がレンズの情報の取得を行う。
ステップS802で、制御回路101は、像倍率が単調減少か単調増加かを判断する。図9(a)は、本実施形態における像倍率が単調減少である様子を示す図であり、図9(b)は、本実施形態における像倍率が単調増加である様子を示す図である。制御回路101は、ステップS801で取得したレンズの情報に基づいて、像倍率とピント位置との関係を示す関数を分析する。図9(a)の曲線901ように、像倍率はピント位置が遠くなるにつれ、常に減少するのであれば、制御回路101は、像倍率が単調減少と判断する。逆に、図9(b)の曲線911ように、像倍率はピント位置が遠くなるにつれ、常に増加するのであれば、制御回路101は、像倍率が単調増加と判断する。ステップS802で、制御回路101は像倍率が単調減少と判断すれば、ステップS803へ、単調増加と判断すれば、ステップS804へ進む。
ステップS803で、制御回路101は、ピント位置の駆動方向を無限遠側に制限する。つまり、制御回路101は、後述するステップS806の本撮像開始後は、ピント位置の移動は図9(a)のように矢印904に沿ってピント位置902からピント位置903へ向かう方向に制限する。ピント位置が矢印904と逆の方向に移動すれば、後述するように警告を出す。
ステップS804で、制御回路101は、ピント位置の駆動方向を至近側に制限する。つまり、制御回路101は、本撮像開始後は、ピント位置の移動は図9(b)のように矢印914に沿ってピント位置913からピント位置912へ向かう方向に制限し、ピント位置が矢印914と逆の方向に移動すれば、後述するように警告を出す。
ユーザは光学系103のピント位置を調整し、初期のピント位置に移動させる。ここでの初期のピント位置は、ユーザがライブビューまたは電子ファインダーを通じて被写体のボケ具合を注視しながら、任意な位置に設定することができる。ステップS805で、制御回路101は、ユーザから1枚目の本撮像の指示があったかどうかを判定し、本撮像の指示があればステップS806に進み、なければステップS805で待機する。
ステップS806で、撮像素子104が、初期のピント位置で本撮像を行い、制御回路101は、このピント位置に対応する像倍率を取得する。ここで制御回路101が取得した像倍率は、第1の実施形態における「最大設定像倍率」に相当する。
ステップS807で、制御回路101は、ユーザがピント位置をステップS803またはS804で制限した方向へ移動させているかどうかを判断する。たとえば、制御回路101は、ステップS802で像倍率が単調減少と判断し、ステップS803でピント位置の駆動方向を無限遠側に制限した場合、ピント位置が至近側へ移動していれば、ステップS807でディスプレイ108が警告を表示する。または、ディスプレイ108はステップS808で、ライブビュー画像を表示し、表示したライブビュー画像の上に警告を表示する。もしくは、デジタルカメラ100は警告音などを利用して警告を出してもよい。逆に、ステップS807で、ピント位置が無限遠側へ移動していれば、ステップS809に進む。
ステップS809で、画像処理回路107は、ライブビュー画像の補正を行う。ステップS807でピント位置の移動方向を制限することにより、ライブビュー画像の画角は初期のピント位置で本撮像した画像の画角より大きくなる。そのため、第1の実施形態のステップS205と同様に、画像処理回路107は、合成画像に表示されない部分を切り捨てるための拡大処理を行う。具体的な方法は、ステップS205と同様のため、省略する。
ステップS810で、ディスプレイ108は、ステップS809で画像処理回路107が補正した後のライブビュー画像を表示する。
ステップS811で、制御回路101は、操作部材110にユーザによる本撮像の指示があるかどうかを判断する。たとえば、ユーザが操作部材110に設けるボタンを押したかどうかを判断する。撮像の指示があれば、ステップS812に進み、撮像素子104が撮像し、撮像の指示がなければ、ステップS807に戻る。
ステップS812で撮像素子104が本撮像した後、ステップS813、制御回路101は、撮像終了の指示があるかどうかについて判断する。ここで、たとえば、ユーザがステップS811でのボタンと別のボタンを押したかどうかを判断する。または、ユーザがタッチパネルを通じて、撮像終了の指示を与えたかどうか判断する。もしくは、ユーザが予め撮像枚数を定め、ステップS813で制御回路101は、定められた撮像枚数の画像を本撮像したかどうかについて判断し、定められた撮像枚数に達した場合は、撮像終了と判断する。ステップS813、制御回路101は、撮像終了と判断した場合は、ステップS814に進み、撮像終了でないと判断した場合は、ステップS807に戻る。
ステップ814で、画像処理回路107はステップS806およびS812で撮像素子104が本撮像した複数の画像を用いて合成を行う。合成の方法はステップS209と同様である。
なお、以上の記述は、本実施形態の一例にすぎず、本実施形態は様々な変形をすることができる。たとえば、上記のステップS808で制御回路101は、ピント位置が制限方向でない方向に移動するときのみならず、ピント位置が隣接のピント位置の被写体深度の外に移動したときにも警告を出すように実施してもよい。または、第2の実施形態の図5に示したような画素500を持つ場合、第2の実施形態と同様に被写体検出を行い、ピント位置が光軸方向での被写体の距離の範囲から出ると、制御回路101は、警告を出すように実施してもよい。
第2の実施形態によれば、ユーザがマニュアルで複数のピント位置で本撮像するとき、ピント位置の移動方向を制限することにより、初期のピント位置でユーザに合成画像に相当する画角を表示することができる。
(その他の実施形態)
以上の実施形態は、デジタルカメラでの実施をもとに説明したが、デジタルカメラに限定するものではない。たとえば、撮像素子が内蔵した携帯機器などで実施してもよく、画像を撮像することができるネットワークカメラなどでもよい。
なお、本発明は、上述の実施形態の1つ以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読み出し作動させる処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100 デジタルカメラ
101 制御回路
102 駆動機構
103 光学系
104 撮像素子
105 ROM
106 RAM
107 画像処理回路
108 ディスプレイ
109 内蔵メモリ
110 操作部材

Claims (16)

  1. 撮像手段と、
    前記撮像手段で生成された画像をライブビュー表示する表示手段と、
    前記撮像手段で生成されたピント位置が異なる複数の画像を合成し、合成画像を生成する画像処理手段と、
    制御手段を有し、
    前記制御手段は、前記ピント位置が異なる複数の画像に対応する像倍率のうち、基準となる像倍率を取得し、
    前記画像処理手段は、前記表示手段に表示される画像に対応する像倍率と前記基準となる像倍率に基づいて、前記表示手段に表示される画像の画角を前記合成画像の画角と等しくなるように補正することを特徴とする撮像装置。
  2. 前記画像処理手段は、前記表示手段に表示される画像の像倍率が前記基準の像倍率と等しくなるように、前記表示手段に表示される画像を拡大処理することを特徴とする請求項1に記載の撮像装置。
  3. 前記基準となる像倍率は、前記ピント位置が異なる複数の画像に対応する像倍率のうち、もっとも大きな像倍率であることを特徴とする請求項1または2に記載の撮像装置。
  4. 前記制御手段は、前記ピント位置が異なる複数の画像を合成する前に、前記基準となる像倍率を取得することを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。
  5. 前記制御手段は、前記ピント位置が異なる複数の画像のそれぞれに対応するピント位置を設定した後で、前記基準となる像倍率を取得することを特徴とする請求項4に記載の撮像装置。
  6. 前記ピント位置を変化させるためのレンズと、
    前記レンズの固有情報であるレンズの情報を取得する取得手段を有し、
    前記制御手段は、前記取得手段が取得した前記レンズの情報と、設定したピント位置とに基づいて、前記基準となる像倍率を取得することを特徴とする請求項5に記載の撮像装置。
  7. 被写体の距離情報を取得する取得手段、を有し、
    前記制御手段は、前記取得手段が取得する前記距離情報に基づいて前記ピント位置を設定することを特徴とする請求項1乃至6のいずれか1項に記載の撮像装置。
  8. 前記撮像手段で生成された画像から被写体の領域を検出する検出手段を有し、
    前記制御手段は、前記被写体の領域において取得された前記距離情報に基づいて、前記ピント位置を設定することを特徴とする請求項7に記載の撮像装置。
  9. 前記画像処理手段は、前記ピント位置が異なる複数の画像を合成する前に、前記表示手段に表示される画像を補正することを特徴とする請求項1乃至8のいずれか1項に記載の撮像装置。
  10. 前記制御手段は、前記ピント位置が異なる複数の画像のうち、初めに撮像された画像に対応する像倍率を、前記基準となる像倍率として取得することを特徴とする請求項1乃至9のいずれか1項に記載の撮像装置。
  11. 前記画像処理手段は、前記ピント位置が異なる複数の画像のそれぞれが撮像される間に、前記表示手段に表示される画像を補正することを特徴とする請求項10に記載の撮像装置。
  12. 前記制御手段は、前記初めに撮像された画像に対応する像倍率よりも、像倍率が大きくなる方向にピント位置が動いた場合に、警告を出すことを特徴とする請求項10または11に記載の撮像装置。
  13. 前記ピント位置を変化させるためのレンズと、
    前記レンズの固有情報であるレンズの情報を取得する取得手段を有し、
    前記制御手段は、前記取得手段が取得した前記レンズの情報と、設定したピント位置とに基づいて、前記像倍率が大きくなる方向を判定することを特徴とする請求項12に記載の撮像装置。
  14. 前記画像処理手段は、前記ピント位置が異なる複数の画像のそれぞれの画像からコントラストを求め、該コントラストに基づいて、前記ピント位置が異なる複数の画像を合成することを特徴とする請求項1乃至13のいずれか1項に記載の撮像装置。
  15. 撮像手段と、前記撮像手段で生成された画像をライブビュー表示する表示手段と、前記撮像手段で生成されたピント位置が異なる複数の画像を合成し、合成画像を生成する画像処理手段と、を備えた撮像装置の制御方法であって、
    前記ピント位置が異なる複数の画像に対応する像倍率のうち、基準となる像倍率を取得するステップと、
    前記表示手段に表示される画像に対応する像倍率と前記基準となる像倍率に基づいて、前記表示手段に表示される画像の画角を前記合成画像の画角と等しくなるように補正するステップと、
    を有することを特徴とする制御方法。
  16. 撮像手段と、前記撮像手段で生成された画像をライブビュー表示する表示手段と、前記撮像手段で生成されたピント位置が異なる複数の画像を合成し、合成画像を生成する画像処理手段と、を備えた撮像装置の制御方法をコンピュータに動作させるプログラムであって、
    前記ピント位置が異なる複数の画像に対応する像倍率のうち、基準となる像倍率を取得するステップと、
    前記表示手段に表示される画像に対応する像倍率と前記基準となる像倍率に基づいて、前記表示手段に表示される画像の画角を前記合成画像の画角と等しくなるように補正するステップと、
    を有することを特徴とするプログラム。
JP2016248205A 2016-12-11 2016-12-21 撮像装置、撮像方法およびコンピュータのプログラム Active JP6833498B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2016248205A JP6833498B2 (ja) 2016-12-21 2016-12-21 撮像装置、撮像方法およびコンピュータのプログラム
US15/838,135 US10484612B2 (en) 2016-12-21 2017-12-11 Image pickup apparatus, image pickup method, and Storage medium for picking up a plurality of images different in in-focus positions
US16/594,358 US10887524B2 (en) 2016-12-21 2019-10-07 Image pickup apparatus, an image processing method and a non-transitory computer-readable medium
US17/109,927 US11445118B2 (en) 2016-12-11 2020-12-02 Image pickup apparatus, an image processing method and a non-transitory computer-readable medium
US17/859,535 US11831979B2 (en) 2016-12-21 2022-07-07 Image pickup apparatus, an image processing method and a non-transitory computer-readable medium for displaying a plurality of images different in in-focus position

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016248205A JP6833498B2 (ja) 2016-12-21 2016-12-21 撮像装置、撮像方法およびコンピュータのプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021015467A Division JP7225281B2 (ja) 2021-02-03 2021-02-03 撮像装置、撮像装置の制御方法、コンピュータのプログラムおよび記録媒体

Publications (2)

Publication Number Publication Date
JP2018101951A JP2018101951A (ja) 2018-06-28
JP6833498B2 true JP6833498B2 (ja) 2021-02-24

Family

ID=62562239

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016248205A Active JP6833498B2 (ja) 2016-12-11 2016-12-21 撮像装置、撮像方法およびコンピュータのプログラム

Country Status (2)

Country Link
US (4) US10484612B2 (ja)
JP (1) JP6833498B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6833498B2 (ja) * 2016-12-21 2021-02-24 キヤノン株式会社 撮像装置、撮像方法およびコンピュータのプログラム
JP7110078B2 (ja) * 2018-12-14 2022-08-01 オリンパス株式会社 撮像装置、撮像方法
JP7214511B2 (ja) * 2019-03-07 2023-01-30 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
CN110049251A (zh) * 2019-05-21 2019-07-23 闻泰通讯股份有限公司 摄像调焦方法、装置、折叠屏设备及存储介质
JP2021015417A (ja) * 2019-07-11 2021-02-12 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、画像配信システム、および画像処理方法
JP2022077591A (ja) * 2020-11-12 2022-05-24 キヤノン株式会社 画像処理装置、画像処理方法、撮像装置、プログラムおよび記録媒体

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5187571A (en) * 1991-02-01 1993-02-16 Bell Communications Research, Inc. Television system for displaying multiple views of a remote location
US7099575B2 (en) * 2002-07-08 2006-08-29 Fuji Photo Film Co., Ltd. Manual focus device and autofocus camera
JP4794963B2 (ja) * 2005-06-28 2011-10-19 キヤノン株式会社 撮像装置および撮像プログラム
JP2011007872A (ja) * 2009-06-23 2011-01-13 Olympus Corp 観察装置、及び倍率補正方法
JP2014137704A (ja) 2013-01-16 2014-07-28 Nikon Corp 撮像装置
US8849064B2 (en) * 2013-02-14 2014-09-30 Fotonation Limited Method and apparatus for viewing images
WO2015020038A1 (ja) * 2013-08-07 2015-02-12 シャープ株式会社 撮像装置
US9137459B2 (en) * 2013-10-03 2015-09-15 Olympus Corporation Image processing device, display device, image processing method, and computer-readable recording medium for generating composite image data
JP6478457B2 (ja) * 2014-01-23 2019-03-06 キヤノン株式会社 焦点調節装置及び焦点調節方法
JP6325885B2 (ja) * 2014-05-12 2018-05-16 オリンパス株式会社 撮像装置、撮像方法、及びプログラム
JP6346793B2 (ja) 2014-06-03 2018-06-20 オリンパス株式会社 撮像装置、撮像装置の制御方法、及びプログラム
US10491828B2 (en) * 2015-04-03 2019-11-26 Canon Kabushiki Kaisha Display control apparatus and control method of the same
JP2017098631A (ja) * 2015-11-18 2017-06-01 オリンパス株式会社 画像合成処理装置
JP6833498B2 (ja) * 2016-12-21 2021-02-24 キヤノン株式会社 撮像装置、撮像方法およびコンピュータのプログラム
JP2019198008A (ja) * 2018-05-10 2019-11-14 キヤノン株式会社 撮像装置およびその制御方法、並びにプログラム

Also Published As

Publication number Publication date
JP2018101951A (ja) 2018-06-28
US11831979B2 (en) 2023-11-28
US20210092304A1 (en) 2021-03-25
US10887524B2 (en) 2021-01-05
US20220337758A1 (en) 2022-10-20
US11445118B2 (en) 2022-09-13
US10484612B2 (en) 2019-11-19
US20180176475A1 (en) 2018-06-21
US20200036900A1 (en) 2020-01-30

Similar Documents

Publication Publication Date Title
JP6833498B2 (ja) 撮像装置、撮像方法およびコンピュータのプログラム
US10511781B2 (en) Image pickup apparatus, control method for image pickup apparatus
JP6906947B2 (ja) 画像処理装置、撮像装置、画像処理方法およびコンピュータのプログラム
US9208569B2 (en) Image processing apparatus and control method thereof capable of performing refocus calculation processing for light field data
JP2005210217A (ja) ステレオカメラ
JP2012124555A (ja) 撮像装置
JP6529533B2 (ja) 撮像装置、撮像装置の制御方法、及び、プログラム
JP2012226184A5 (ja) 撮像装置およびその制御方法
JP7174120B2 (ja) 撮像装置、プログラム、記録媒体、及び制御方法
JP6786311B2 (ja) 画像処理装置、画像処理方法、コンピュータプログラムおよび記憶媒体
JP6752685B2 (ja) 撮像装置、撮像方法およびプログラム
JP6188407B2 (ja) 交換レンズ
JP6218385B2 (ja) 交換レンズ及び撮像装置
JP6501536B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2008158028A (ja) 電子スチルカメラ
JP7225281B2 (ja) 撮像装置、撮像装置の制御方法、コンピュータのプログラムおよび記録媒体
JP6961423B2 (ja) 画像処理装置、撮像装置、画像処理装置の制御方法、プログラムおよび記録媒体
US10447937B2 (en) Image processing apparatus, imaging apparatus, image processing method, and storage medium that perform image processing based on an image processing parameter set for a first object area, and information on a positional relationship between an object in a second object area and an object in the first object area
JP6953594B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体
JP6828069B2 (ja) 撮像装置、撮像方法およびプログラム
JP6929145B2 (ja) 撮像装置、撮像方法およびプログラム
JP2007057933A (ja) 電子ビューファインダを有するカメラ
JP2023055075A (ja) 撮像装置およびその制御方法
JP2023092143A (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、記録媒体
JP2021097350A (ja) 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190920

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200617

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200924

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210203

R151 Written notification of patent or utility model registration

Ref document number: 6833498

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151