JP7380675B2 - 画像処理装置、画像処理方法、プログラム、撮像装置 - Google Patents
画像処理装置、画像処理方法、プログラム、撮像装置 Download PDFInfo
- Publication number
- JP7380675B2 JP7380675B2 JP2021508132A JP2021508132A JP7380675B2 JP 7380675 B2 JP7380675 B2 JP 7380675B2 JP 2021508132 A JP2021508132 A JP 2021508132A JP 2021508132 A JP2021508132 A JP 2021508132A JP 7380675 B2 JP7380675 B2 JP 7380675B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- defocus
- map data
- processing device
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 360
- 238000003384 imaging method Methods 0.000 title claims description 205
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000001514 detection method Methods 0.000 claims description 45
- 210000001747 pupil Anatomy 0.000 claims description 43
- 238000009826 distribution Methods 0.000 claims description 26
- 230000004044 response Effects 0.000 claims description 12
- 238000000034 method Methods 0.000 description 78
- 230000008569 process Effects 0.000 description 74
- 238000005516 engineering process Methods 0.000 description 35
- 230000007246 mechanism Effects 0.000 description 28
- 210000000720 eyelash Anatomy 0.000 description 21
- 238000004891 communication Methods 0.000 description 18
- 230000000875 corresponding effect Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 16
- 230000001276 controlling effect Effects 0.000 description 15
- 230000008859 change Effects 0.000 description 9
- 238000010191 image analysis Methods 0.000 description 6
- 238000003825 pressing Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000005401 electroluminescence Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000037303 wrinkles Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/32—Means for focusing
- G03B13/34—Power focusing
- G03B13/36—Autofocus systems
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/02—Bodies
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/18—Signals indicating condition of a camera member or suitability of light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
- G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/635—Region indicators; Field of view indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
Description
下記引用文献1には、或る任意の点位置に対してフォーカスレンズを合焦させる際に、当該点位置におけるデフォーカス量に関する情報を表示する撮像装置が記載されている。
そのため、撮像画像の或る任意の領域の情報があっても、当該領域内の或る点位置にフォーカスを合焦させる制御は行われていたが、当該領域を面で捉え、その各位置のデフォーカス量を考慮したフォーカス制御は行われていなかった。
また、F値についても当該点位置におけるイメージセンサへの光量をもとに自動制御されており、当該領域を面で捉え、その各位置の被写界深度を考慮したF値制御は行われていなかった。
そこで本技術では、撮像画像の或る任意の領域におけるデフォーカス量や被写界深度を考慮した撮像操作制御を行うことを目的とする。
これにより、撮像画像の複数位置におけるデフォーカス量情報に基づいて撮像動作制御が行われる。
これにより、撮像素子部における像面位相差画素により検出された位相差情報を用いてデフォーカス量が算出される
これにより、撮像画像の複数位置におけるデフォーカス量の分布がデフォーカスマップ画像として表示される。
これにより、撮像画像内容に応じた対象領域にデフォーカスマップ画像が表示される。
これにより、対象領域内の複数位置におけるデフォーカス量のそれぞれのデータが算出される。
これにより、対象領域内の複数位置におけるデフォーカス量情報に基づいて撮像動作制御が行われる。
例えば撮像装置では、対象領域内の複数位置におけるデフォーカス量があらかじめ設定された固定値となるように、フォーカスレンズの動作制御や絞り機構の動作制御が行われる。
例えば撮像装置では、対象領域内の複数位置におけるデフォーカス量がユーザ操作により設定された固定値となるように、フォーカスレンズの動作制御や絞り機構の動作制御が行われる。
これにより、対象領域における複数位置のデフォーカス量が属性情報に応じて補正される。
ここでいう属性情報とは、対象領域の面積、撮像画像内に占める対象領域の比率、撮像画像内における対象領域の位置などの対象領域自体に紐付けられた属性に関する情報、被写体の位置、人数、年齢、性別、顔領域の大きさなど対象領域における被写体に紐付けられた属性等、様々な情報が想定される。
これにより、例えば、対象領域の面積、撮像画像内に占める対象領域の比率、撮像画像内における対象領域の位置などに応じて撮像動作制御が行われる。
これにより、例えば、被写体の位置、人数、年齢、性別、顔領域の大きさなどに応じて撮像動作制御が行われる。
フォーカス制御は、例えば撮像装置のフォーカスレンズの動作を制御することにより行われる。
これにより、撮像画像の各位置のデフォーカス量の値の違いがデフォーカスマップ画像における色の違いとして表示される。
これにより、ユーザ操作に応じて撮像画像における合焦位置の調整が行われ、撮像画像の各位置のデフォーカス量が変動する。
これにより、ユーザ操作に応じたデフォーカス量表示アイコンの表示態様の変化に応じた撮像動作制御が行われ、当該撮像動作制御に応じてデフォーカス量表示アイコンに対応する位置のデフォーカス量が変動する。
これにより、撮像画像内の顔領域について合焦位置の調整が行われる。
これにより、撮像画像内の瞳領域について合焦位置の調整が行われる。
本技術に係る画像処理方法は、位相差検出部により検出した位相差情報から算出される、撮像素子部による撮像画像の複数位置におけるデフォーカス量を示すデフォーカスマップデータを生成し、前記生成したデフォーカスマップデータを用いて、撮像画像の各位置のデフォーカス量に応じた色が付されることで撮像画像のデフォーカス量の分布を示すデフォーカスマップ画像を生成し、撮像画像にデフォーカスマップ画像を重畳して表示させる表示制御を行い、前記生成したデフォーカスマップデータを用いて撮像動作制御を行うものである。
本技術に係るプログラムは、このような画像処理方法に相当する処理を情報処理装置に実行させるプログラムである。
<1.画像処理装置として適用できる機器の構成>
<2.撮像装置の構成>
<3.マップ画像の表示態様及び撮像動作制御>
<4.画像処理装置が実行する処理>
<5.まとめ及び変形例>
なお、以下の説明において、同様の内容については同一符号を付し、説明を省略するものとする。
デフォーカスマップデータとは、撮像画像又は撮像画像内の対象領域における各位置のデフォーカス量を示すものである。デフォーカス量とは、撮像画像内の或る位置におけるデフォーカス(ボケ)の状態を定量的に示したもので、例えばデフォーカスサークルの直径に相当する。
デプスマップデータとは、撮像画像又は撮像画像内の対象領域における各位置の被写体距離を示すものである。被写体距離とは、撮像画像内の或る位置からフォーカスレンズまでの距離を示したものである。
デフォーカスマップデータ画像とは、デフォーカスマップデータを用いて生成された撮像画像又は撮像画像内の対象領域におけるデフォーカス量の分布を示す画像である。
デプスマップデータ画像とは、デプスマップデータを用いて生成された撮像画像又は撮像画像内の対象領域における被写体距離の分布を示す画像である。
以下の説明では、デフォーカスマップデータとデプスマップデータをまとめてマップデータと、デフォーカスマップ画像とデプスマップ画像をまとめてマップ画像とも表記する。
以下では、主に撮像装置により本開示に係る画像処理装置が実現される例を説明するが、画像処理装置は、各種の機器において実現できる。
画像処理装置となりうる機器としては、デジタルスチルカメラ1Aやデジタルビデオカメラ1Bなどの撮像装置1、スマートフォンなどの携帯端末2が想定される。
なお、撮像装置1や携帯端末2に限らず、画像処理装置となりうる機器は他にも各種考えられる。
画像ソースとなり得る機器としては、撮像装置1、携帯端末2などが想定される。画像処理装置となる得る機器としては、携帯端末2やパーソナルコンピュータ3などが想定される。
なお、或る携帯端末2やパーソナルコンピュータ3が、画像処理装置として機能する他の携帯端末2やパーソナルコンピュータ3に対する画像ソースとなることもある。
なお、画像処理装置としての携帯端末2やパーソナルコンピュータ3は、上記の画像処理結果によって得られた画像ファイルを有線通信や無線通信を介して画像ソースとしての撮像装置1や携帯端末2に転送し、当該撮像装置1や携帯端末2に撮像画像を表示することもできる。
画像処理装置としての撮像装置1の構成例を図3を参照して説明する。
なお、図2で説明したように、撮像装置1で撮像した画像ファイルを有線通信や無線通信を介して画像処理装置としての携帯端末2やパーソナルコンピュータ3に転送し、当該転送した携帯端末2やパーソナルコンピュータ3で画像処理を行ってもよい。
ドライバ部20は、カメラ制御部18やカメラ信号処理部13からの指示に応じて駆動電流を対応するドライバに印加し、フォーカスレンズやズームレンズの移動、絞り機構の絞り羽根の開閉等を実行させる。
像面位相差画素(位相差検出部22)は一対の位相差信号を検出し、撮像素子部12は、像面位相差画素により検出した一対の位相差信号を出力する。当該位相差信号はデフォーカス量を算出するための相関演算に用いられる。
撮像素子部12は、位相差信号をカメラ信号処理部13やカメラ制御部18に出力する。
図4では、イメージセンサ12a(撮像素子)の画素配列の一例として、撮像素子100A、100Bの画素配列の一部がそれぞれ示されている。
撮像素子100Aの撮像面には、2列×2行の画素からなる複数の画素群101が設けられている。画素群101はそれぞれベイヤー配列のカラーフィルタにより覆われており、各画素群101において、Rの分光感度を有する画素101Rが左下の位置に、Gの分光感度を有する画素101Gが左上と右下の位置に、Bの分光感度を有する画素101Bが右上の位置に配置されている。
各画素では、光束がマイクロレンズ104により分離され、フォトダイオード102、103に結像される。そして、フォトダイオード102、103からの信号により撮像信号及び位相差信号が読み出される。
位相差検出画素106が設けられていない領域については、カメラ信号処理部13が機械学習等の画像処理による超解像処理を実行することで、各位置についての位相差を補完する。
同時化処理では、各画素についての画像データが、R,G,B全ての色成分を有するようにする色分離処理を施す。例えば、ベイヤー配列のカラーフィルタを用いた撮像素子の場合は、色分離処理としてデモザイク処理が行われる。
YC生成処理では、R,G,Bの画像データから、輝度(Y)信号および色(C)信号を生成(分離)する。
解像度変換処理では、各種の信号処理が施された画像データに対して、解像度変換処理を実行する。
なおカメラ信号処理部13はカメラ制御部18からの情報等を用いて、画像ファイルに付加するメタデータの生成も行う。
また図3では音声処理系については図示を省略しているが、実際には音声収録系、音声処理系を有し、画像ファイルには動画としての画像データとともに音声データも含まれるようにしてもよい。
記録制御部14の実際の形態は多様に考えられる。例えば記録制御部14は、撮像装置1に内蔵されるフラッシュメモリとその書込/読出回路として構成されてもよいし、撮像装置1に着脱できる記録媒体、例えばメモリカード(可搬型のフラッシュメモリ等)に対して記録再生アクセスを行うカード記録再生部による形態でもよい。また撮像装置1に内蔵されている形態としてHDD(Hard Disk Drive)などとして実現されることもある。
例えば、カメラ信号処理部13で表示用に解像度変換された撮像画像の画像データが供給され、表示部15はカメラ制御部18の指示に応じて、当該撮像画像の画像データに基づいて表示を行う。これによりスタンバイ中の撮像画像である、いわゆるスルー画(被写体のモニタリング画像)が表示される。
また表示部15は、記録制御部14において記録媒体から読み出された画像データの再生画像を表示させる。
表示部15はカメラ制御部18の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちGUI(Graphical User Interface)としての表示を画面上に実行させる。
例えば外部の表示装置、記録装置、再生装置等に対して撮像画像データ(静止画ファイルや動画ファイル)の送信出力を行う。
また出力部16はネットワーク通信部であるとして、例えばインターネット、ホームネットワーク、LAN(Local Area Network)等の各種のネットワークによる通信を行い、ネットワーク上のサーバ、端末等との間で各種データ送受信を行うようにしてもよい。
操作部17によりユーザの操作が検知され、入力された操作に応じた信号はカメラ制御部18へ送られる。
メモリ部19は、カメラ制御部18が処理に用いる情報等を記憶する。図示するメモリ部19としては、例えばROM(Read Only Memory)、RAM(Random Access Memory)、フラッシュメモリなど包括的に示している。
メモリ部19はカメラ制御部18としてのマイクロコンピュータチップに内蔵されるメモリ領域であってもよいし、別体のメモリチップにより構成されてもよい。
カメラ制御部18はメモリ部19のROMやフラッシュメモリ等に記憶されたプログラムを実行することで、この撮像装置1の全体を制御する。
例えばカメラ制御部18は、撮像素子部12のシャッタースピードの制御、カメラ信号処理部13における各種信号処理の指示、レンズ情報の取得、ユーザの操作に応じた撮像動作や記録動作、動画記録の開始/終了制御、記録した画像ファイルの再生動作、オートフォーカス(AF)制御とマニュアルフォーカス(MF)制御の切り換え、レンズ鏡筒におけるズーム、フォーカス、絞り調整等のレンズ系11の動作、ユーザインタフェース動作等について、必要各部の動作を制御する。
メモリ部19におけるROMやフラッシュメモリ(不揮発性メモリ)は、CPUが各部を制御するためのOS(Operating System)や、画像ファイル等のコンテンツファイルの他、各種動作のためのアプリケーションプログラムや、ファームウエア等の記憶に用いられる。
以上の撮像装置1は、撮像によって生成した画像ファイルに対して画像処理を行う。
入出力インタフェース45には、キーボード、マウス、タッチパネルなどよりなる入力装置46、LCD(Liquid Crystal Display)、CRT(Cathode Ray Tube)、有機EL(Electroluminescence)パネルなどよりなるディスプレイ、並びにスピーカなどよりなる出力装置47、HDD(Hard Disk Drive)が接続されている。
通信部49は、インターネット等の伝送路を介しての通信処理を行ったり、各種機器との有線/無線通信、バス通信などによる通信を行う。
例えば以下のソフトウエア(アプリケーションプログラム)によって、図6のような機能構成が画像処理装置30において構築される。
即ち、画像処理装置30は、マップデータ生成部31、表示制御部32、対象領域設定部33、動作制御部34、記録制御部35としての機能を備える。
例えば図7のように、マップデータ生成部31は、撮像画像の水平方向をX軸、垂直方向をY軸とすると、撮像画像におけるX軸座標(X1,X2,X3・・・)とY軸座標(Y1,Y2,Y3・・・)により特定される位置のデフォーカス量の値(DF1,DF2,DF3・・・)をデフォーカスマップデータとして生成する。
例えば図8のように、マップデータ生成部31は、撮像画像におけるX軸座標(X1,X2,X3・・・)とY軸座標(Y1,Y2,Y3・・・)により特定される位置の被写体距離の値(DP1,DP2,DP3・・・)をデプスマップデータとして生成する。
表示制御部32は、例えば、撮像画像にデフォーカスマップ画像を重畳させることで、デフォーカスマップ画像が撮像装置1の表示部15に表示される。
表示制御部32は、所定のタイミングに応じて通常の撮像画像についてデフォーカスマップ画像を重畳表示するか否かを切り換える。
なお、表示制御部32は、デフォーカスマップ画像をαブレンディング(α値を掛け合わせることで半透明な画像を重ねる処理)により表示させてもよいし、デフォーカスマップ画像を単独で出力することにより表示させてもよい。
表示制御部32は、所定のタイミングに応じて通常の撮像画像についてデプスマップ画像を重畳表示するか否かを切り換える。
また表示制御部32は、例えば、オートフォーカスモードによるフォーカス制御動作の開始時、オートフォーカスモードでのフォーカス制御動作による合焦時、マニュアルフォーカスモードでのユーザからのフォーカス調整操作又は絞り調整操作の検知時、撮像画像の録画開始時等、他にも様々なタイミングでマップ画像を表示させることができる。
また、表示制御部32は、マップ画像の表示から所定の時間経過後等にマップ画像の表示制御を終了する。
表示制御部32は、デフォーカスマップ画像とデプスマップ画像を互いに切り替える表示制御を行うことも可能である。
対象領域設定部33は、例えば撮像画像内容に応じて対象領域を設定する。
撮像画像内容は、例えば撮像装置1において設定されたモードである。例えば顔検出モードに設定されている場合、対象領域設定部33は画像解析処理により顔領域を検出し、当該検出した顔領域を対象領域として設定する。また瞳検出モードに設定されている場合、対象領域設定部33は画像解析処理により瞳領域を検出し、当該検出した瞳領域を対象領域として設定する。
また対象領域設定部33は、例えばユーザ操作により指定された撮像画像内の領域を対象領域として設定することができる。
なお、動作制御部34は撮像動作制御にあたり、デフォーカスマップデータを用いずに取得した位相差信号に基づいて撮像動作制御を行うこととしてもよい。
また、画像処理装置30の各機能は複数の画像処理装置30により実現されてもよい。例えば、カメラ信号処理部13に内蔵された画像処理装置30がマップデータ生成部31、対象領域設定部33、記録制御部35の機能を有し、カメラ制御部18に内蔵された画像処理装置30が表示制御部32、動作制御部34の機能を有することとしてもよい。
本技術におけるマップ画像の表示態様及び撮像動作制御の一例について、図9から図17を参照して説明する。
図9から図11は、撮像画像全体が対象領域として設定されたマップ画像の表示態様の例である。
デフォーカスマップ画像61は撮像画像60に重畳表示されており、例えば、撮像画像の各位置のデフォーカス量に応じて色分けを行い、ヒートマップのように表示させる。これにより、撮像画像全体の各位置のデフォーカス量を視覚的に認識することができる。なお、図10では、色分けを模式的に点描で表し、点描の密度の差を色の差として示している。デフォーカスマップ画像61は、デフォーカスマップデータを用いて画像処理装置30により生成される。
例えば図10では、被写体63は合焦状態となっており、被写体63の前方に位置する被写体64は合焦度の低下により前ボケ状態になっており、被写体63の後方に位置する被写体65は合焦度の低下により後ボケ状態になっていることが視覚的に確認できる。
デプスマップ画像66は撮像画像60に重畳表示されており、撮像画像60の各位置の被写体距離に応じて色分けされている。なお、図11では、被写体距離の違いを模式的に点描で表し、点描の密度の差を被写体距離の違いとして示している。デプスマップ画像66は、デプスマップデータを用いて画像処理装置30により生成される。
例えば図11では、被写体63よりも被写体65が後方に位置し、被写体63よりも被写体64が前方に位置することが視覚的に認識できる。これにより、例えば撮像画像全体における各被写体の被写体距離を考慮した被写界深度の調整が可能となる。
また、所定の被写体距離の範囲に該当する領域のみを対象領域として、デプスマップ画像として表示することもできる。これにより、所定の被写体距離の領域を視覚的に容易に確認することができる。
デフォーカス量の範囲及び被写体距離の範囲は、あらかじめ設定されていてもよいし、ユーザ操作により適宜設定されてもよい。
図12及び図13は、撮像画像内から検出された対象領域に応じて合焦位置が自動的に調整される例を示している。
図12Bでは、撮像画像60内の被写体71の顔領域72を検出し、検出した顔領域72を合焦位置から微小にずらす撮像動作制御が行われる。これにより、被写体71の顔領域72に僅かにボケが生じ、顔領域72の目尻、頬、顎などのしわを目立たなくさせることができる。
合焦位置からのずらし量は、検出した顔領域72の属性、即ち、顔領域72の大きさ、数、位置、年齢、性別等に応じてそれぞれ設定することができる。合焦位置からのずらし量はあらかじめ設定されていてもよいし、ユーザ操作により設定されてもよい。
上記の撮像動作制御は、撮像画像60で顔領域72が検出されると自動的に行われる。
図12Cは顔領域72が合焦位置となる場合のデフォーカスマップ画像73を示しており、図12Dは顔領域72を合焦位置から微小にずらす撮像動作制御が行われた後のデフォーカスマップ画像73を示している。
これにより、顔領域72におけるデフォーカス量の変化を視覚的に認識することができる。
瞳領域81における被写界深度の調節量は、例えば検出した瞳領域の大きさ、位置、年齢、性別等の情報に応じてあらかじめ設定されていてもよいし、ユーザ操作により設定されてもよい。
上記の例によれば、睫毛と瞳のボケ味のバランスを面で捉えて最適な被写界深度となるようにF値を自動制御することができる。
デフォーカス量表示アイコンは、例えば環状や四角状の枠、ボケ量を意味するバー等、様々な記号により表示することができる。
円環状アイコンBC1、BC2、BC3、BC4は、撮像画像60の各位置におけるデフォーカス量に応じて、それぞれ異なる径で表示されている。例えば円環状アイコンBCの径はデフォーカス量の絶対値とされ、円環状アイコンBCの径が大きくなるにしたがって、ボケ具合が大きくなるように表示される。
このような表示態様は、例えば被写体の瞳領域といったように比較的狭い対象領域における複数位置のデフォーカス量の分布を表示する際に有用である。
例えばピンチアウト操作により円環状アイコンBCの径を大きくすることで、フォーカスレンズや絞り機構の動作が制御され、円環状アイコンBCに対応する位置のデフォーカス量が大きくなる。また、ピンチイン操作により円環状アイコンBCの径を小さくすることで、フォーカスレンズや絞り機構の動作が制御され、円環状アイコンBCに対応する位置のデフォーカス量が小さくなる。
例えば、ユーザがタッチパネルをタッチすることにより撮像画像60内の領域91を選択すると、領域91のデフォーカス量がデフォーカスメーター62において矢印DFにより指し示される。
これにより、ユーザは撮像画像内の或る位置のデフォーカス量を確認したうえで、所望のデフォーカス量(ボケ具合)となるように調整を直感的に行うことができる。
さらに、図14Bの撮像画像60全体のデフォーカス量の分布を、図10に示すように色分けして表示してもよい。これにより、ユーザが矢印DFを操作する際に、他の領域のデフォーカス量を考慮することができる。
円環状アイコン群92、93は、それぞれの位置のデフォーカス量に応じて異なる大きさで表示されている。図15では被写体94の顔領域にはボケが生じておらず(合焦位置)、被写体95の顔領域にはボケが生じている状態である。
アイコン群93の円環状アイコンの径が小さくなると、相対的にアイコン群92円環状アイコンの径が大きくなり、アイコン群92に対応する被写体94の顔領域が合焦位置からずれるため、当該領域のデフォーカス量が大きくなる(ボケ具合が大きくなる)。
絞り機構の動作によりF値を制御し、被写界深度を深くすることで被写体94、95の両方を合焦状態とすることもできる。この場合、図17に示すように、円環状アイコン群92、93の円環状アイコンの径は同じ大きさとして表示される。
本技術におけるマップ画像の表示制御及び撮像動作制御を実現するために行われる画像処理装置の処理を、図18から図25を参照して説明する。
第1の実施の形態は、画像処理装置30がマップ画像の表示制御を実現するための処理であり、マップ画像がマニュアルフォーカスモード中に表示される例である。
フレーム情報とは、例えば現在の1フレームの画像データ、位相差信号に基づいて生成された各種マップデータのことである。ここでいう1フレームの画像データとは、カメラ信号処理部13で表示用に処理される画像データである。
画像処理装置30は、ステップS201でユーザによる対象領域の選択操作があるか、ステップS202で撮像装置1が顔認識モードに設定されているか、ステップS203で撮像装置1が瞳認識モードにも設定されているかを確認する。画像処理装置30は、上記の何れかにも該当しない場合は、ステップS201、S202、S203、S204の順に処理を進める。
そして画像処理装置30は、ステップS204において、撮像画像を対象領域として設定し、図19の処理を終える。これにより、撮像画像の全体が対象領域として設定される。
なお、ユーザ操作により選択された選択領域とは、あらかじめユーザにより設定された選択領域であってもよい。例えば、所定のデフォーカス量や被写体距離を設定しておき、画像処理装置30はステップS205において、所定のデフォーカス量や被写体距離に該当する領域を対象領域として設定することもできる。この場合、撮像画像におけるデフォーカス量や被写体距離は、前フレームにおいて生成された情報を用いればよい。
画像処理装置30は、ステップS206で顔領域が検出された場合、ステップS207、S208の順に処理を進め、顔領域を対象領域として設定し、図19の処理を終える。
また、ステップS206で顔領域が検出されなかった場合、画像処理装置30は、ステップS207、S204の順に処理を進め、撮像画像全体を対象領域として設定し、図19の処理を終える。
画像処理装置30は、ステップS209で瞳領域が検出された場合、ステップS210、S211の順に処理を進め、瞳領域を対象領域として設定し、図19の処理を終える。
また、ステップS209で顔領域が検出されなかった場合、画像処理装置30はステップS210、S204の順に処理を進め、撮像画像全体を対象領域として設定し、図19の処理を終える。
以上の処理により、マップデータを生成する対象領域が設定される。
画像処理装置30は、例えば、デフォーカスマップデータ画像又はデプスマップ画像の何れかを表示するモードであるかを判定し、そのモードに応じてどちらのマップデータを生成するかを判定する。
また、例えば画像処理装置30は、絞り機構の動作を制御するためのユーザ操作を検知したときは、デプスマップデータを生成することを設定するといったように、ユーザの操作状態に応じてどちらのマップデータを生成するかを判定することもできる。
画像処理装置30は、対象領域についてステップS102で取得した位相差信号を用いてデフォーカスについての相関演算を行うことで、図7に示すような対象領域内の各位置におけるデフォーカス量を示すデフォーカスマップデータを生成する。
また、画像処理装置30は、生成したデフォーカスマップデータにおけるデフォーカス情報とレンズ情報に基づいて被写体距離を算出することで、図8に示すような対象領域内の各位置における被写体距離を示すデプスマップデータを生成する。
なお、画像処理装置30は、ステップS104において、表示する何れかのマップデータを生成するのみならず、他方マップデータの両方を生成するとしてもよい。これにより、後述するステップS112において、デフォーカスマップデータとデプスマップデータの両方を記録することができる。
例えば、図10、図11で示したような、デフォーカス量や被写体距離の分布に応じて色分けされたマップ画像を生成する。またデフォーカスマップ画像であれば、図14に示すような各位置のデフォーカス量がデフォーカス量表示アイコンにより表示されたデフォーカスマップ画像を生成してもよい。
また、撮像装置1がマニュアルフォーカスモードに設定されている場合、画像処理装置30は、ステップS108においてマップ画像の表示タイミングであると判定し、ステップS110に処理を進め、マップ画像を撮像画像に重畳表示させる。
ここでのユーザ操作とは、マップ画像の表示のオン/オフを切り換えるための操作のことであり、例えば、マップ画像の表示を切り換えるためのボタンを設け、当該ボタンのオン/オフ操作をユーザ操作とすることが考えられる。
なお、ユーザ操作には、撮像装置のシャッターボタンの半押し/深押し操作、撮像画像の録画開始/終了操作等、様々な操作が考えられる。例えば、撮像装置のシャッターボタンの半押し/深押し操作の場合は、半押し操作をマップ画像の表示をオンとする操作とし、深押し操作をマップ画像の表示をオフとする操作とすることができる。また撮像画像の録画開始/終了操作の場合は、録画開始操作をマップ画像の表示をオンとする操作とし、録画終了操作をマップ画像の表示をオフとする操作とすることができる。このように様々な操作について、マップ画像表示のオン/オフを切り換える操作を割り当てることが可能である。
また画像処理装置30は、ステップS107において、マップ画像の表示をオフとするユーザ操作を検知すると、ステップS108においてマップ画像の表示タイミングではないと判定し、ステップS109に処理を進め、マップ画像を撮像画像に重畳表示させることなく、撮像画像のみを表示する。
ステップS101においてシャッター操作を検知すると、画像処理装置30はステップS111に処理を進め、撮像信号や位相差信号等のフレーム情報を取得する。またこのとき画像処理装置30は、生成したマップデータがある場合は、当該マップデータも取得する。
これにより、撮像画像内の各位置におけるデフォーカス量情報が、撮像画像のメタデータとして記録される。
画像処理装置30は、ステップS112の処理の後ステップS101に戻り、上記と同様の処理を行う。
その場合、画像処理装置30は、ステップS102の後にステップS107、S108の順に処理を行い、ステップS108において判定フラグがOFFの場合は、ステップS109に処理を進めることとしてもよい。
これにより、マップ画像を表示する必要のない場合、画像処理装置30は、ステップS103からS106の処理、即ち、マップデータの生成を行うことなく、ステップS109で撮像画像の表示を行うことができる。この場合、画像処理装置30は、ステップS108においてステップS103からステップS106でマップ画像を生成した上で、ステップS110で、撮像画像にマップ画像を重畳表示させる。
また、撮像装置1が顔認証モードにある場合は、マップ画像の表示タイミングにおいて、図12C、図12Dに示すように、検出された顔領域(対象領域)にマップ画像が表示される。同様に、撮像装置1が瞳認証モードにある場合は、図13C、図13Dに示すように、検出された瞳領域(対象領域)の各部分におけるマップ画像が表示される。
従って、ユーザは、撮像画面60の対象領域における各位置のデフォーカス量や被写体距離を視覚的、直感的に認識することができる。また、ユーザは、各位置のデフォーカス量や被写体距離を考慮しつつ、マニュアル操作により、フォーカス制御やF値制御を行うことができる。
第2の実施の形態は、画像処理装置30がマップ画像の表示制御を実現するための処理であり、マップ画像がオートフォーカスモードやマニュアルフォーカスモードにおける所定のタイミングで表示される例である。また、第2の実施の形態では、画像処理装置30がマップ画像を表示させてから所定の時間が経過すると、マップ画像の表示を終了する。
第2の実施の形態におけるタイミング判定処理の詳細を図21を参照して説明する。
マニュアルフォーカスモードに設定されている場合、画像処理装置30は、ステップS314においてフォーカス調整操作を検知したか否かを判定し、ステップS315において絞り調整操作が検知されたか否かを判定する。
フォーカス調整操作と絞り調整操作の何れも検知されなかった場合、画像処理装置30はステップS316に処理を進める。
オートフォーカスモードに設定されている場合、画像処理装置30は、ステップS320においてフォーカス制御動作が開始されたか否かを判定し、ステップS321においてフォーカス制御動作による合焦が完了したか否かを判定する。
フォーカス制御動作が開始されておらず、フォーカス制御動作による合焦が完了していない場合、画像処理装置30は図21の処理を終える。
ここではまだタイムカウントが開始されていないため、像処理装置30は、ステップS317からステップS318に処理を進め、判定フラグをONとし、図21の処理を終える。
判定フラグとは、マップ画像を表示するタイミングであるか否かを示すフラグであり、判定フラグがONであることは、マップ画像を撮像画像に重畳表示するタイミングであることを示している。
そして画像処理装置30は、ステップS120において、タイマカウント中であるか否かを判定する。
タイマカウント中でない場合は、新たにマップ画像の重畳表示が開始されたことを意味するため、画像処理装置30は、ステップS121においてタイマをリセットし、新たにタイムカウントをスタートさせる。
ここでタイマは、5秒、30秒、1分など様々に設定することが考えられる。また、検知されたタイマカウントの開始契機に応じて、それぞれ異なるタイマを設定してもよい。例えば、マニュアルフォーカスモードにおいて、フォーカス調整操作又は絞り調整操作の何れかを検知したときは、タイマを3秒に設定し、オートフォーカスモードにおいて、フォーカス制御動作による合焦の完了からタイマを1分に設定してもよい。
判定フラグがONかつタイムカウント中の場合、即ち、マップ画像の重畳表示にマニュアルフォーカスモードとオートフォーカスモードの切り換えが行われると、画像処理装置30は、図21のイミング判定処理においてステップS310からステップS311に処理を進め、タイムカウントを終了し、ステップS312で判定フラグをOFFに設定し、ステップS313に処理を進める。
これにより、ステップS314、S315、S320、S321の何れかの契機を検知しなかった場合は、画像処理装置30は、図20のタステップS108においてステップS109に処理を進め、撮像画像におけるマップ画像の重畳表示を終了し、撮像画像のみを表示させる。
具体的には、画像処理装置30は、ステップS314、S315、S320、S321の何れかの契機を検知するとステップS317、S319の順に処理を進め、タイマカウントを終了する。そして、画像処理装置30は、S318、図20のS108、S110、S120、S121の順に処理を進め、タイマカウントのリセット/スタートを行う。
即ち、マニュアルフォーカスモードにおけるフォーカス調整操作又は絞り調整操作を検知したタイミング、オートフォーカスモードにおけるフォーカス制御動作の開始やフォーカス制御動作による合焦の完了を検知したタイミングにおいて、図10、図11、図12C、図12D、図13C、図13D等に示すようなマップ画像が撮像画像の対象領域に重畳表示される。
第3の実施の形態は、画像処理装置30がマップ画像の表示制御を実現するための処理であり、マップ画像が撮像動画の記録中に表示されるとともに、画像処理装置30が画像データを出力する出力機器に応じて異なる表示制御を行う例である。
出力機器とは、画像処理装置を内蔵する機器であり、例えばデジタルスチルカメラやデジタルビデオカメラなどの撮像装置である。また、出力機器は、画像処理装置を内蔵する機器から出力された画像信号に基づいて画像を表示する外部の表示機器であってもよい。
そして画像処理装置30は、ステップS103において、図19の対象領域設定処理を行い、撮像画像内の対象領域を設定する。
ここで、図23でタイミング判定処理について説明する。
画像処理装置30は、ステップS301において、撮像装置1が撮像画像(撮像動画)の録画中であるかを判定する。撮像装置1が撮像画像の録画中には、画像処理装置30は、ステップS302で判定フラグをONにし、図23の処理を終える。
またステップS108において判定フラグがONの場合、画像処理装置30は、ステップS130に処理を進める。
これにより、第1の画像出力を受信した、例えば撮像装置1に接続された外部の表示機器において撮像画像のみの表示を行うことができる。
これにより、第2の画像出力を受信した、例えば撮像装置1の表示部においてマップ画像を確認することができる。
例えば映画の撮像などを行う際に、撮像装置1による撮像を行っているフォーカスマンにとっては、撮像画像へのマップ画像の重畳表示は、フォーカスや絞り機構を調節するために有用であるが、一方で、撮像装置1に接続された外部モニタ等で撮像画像を確認する監督等にとっては、マップ画像が却って撮像画像の確認の妨げになることもある。
そこで第3の実施の形態の例によれば、内容の異なる複数の画像出力を行うことで、出力機器ごとに異なる表示制御を行うことができる。
第4の実施の形態は、マップデータを用いた撮像画像の撮像動作制御を実現するための画像処理装置30による処理である。
画像処理装置30は、ステップS104で生成マップ種別の判定を行い、ステップS105で判定したマップ種別に応じたマップデータを生成する。
ここで、対象領域設定処理の詳細について、図25を参照して説明する。
画像処理装置30は、ステップS401でデフォーカス量表示アイコンに対するユーザ操作を検知したか、ステップS404で顔検出モードであるか、ステップS405で瞳検出モードであるかを順に判定する。
ステップS401、S404、S407の何れにも該当しない場合、画像処理装置30は撮像動作制御を行うことなく図25の処理を終える。
デフォーカス量表示アイコンに対するユーザ操作とは、例えば図14Aのように円環状アイコンBCの径を変化させるためのピンチイン又はピンチアウト操作である。または図14Bのようなデフォーカスメーター62に設けられた矢印DFを上下方向にスライドさせる操作である。
撮像動作制御が終わると、画像処理装置30は、ステップS403において、動作後のフォーカスレンズの位置や絞り機構の状態から取得される位相差情報や撮像信号を用いて、再度デフォーカス量を算出し、デフォーカスマップデータを生成する。
画像処理装置30は、生成したデフォーカスマップデータからデフォーカスマップ画像を生成し、デフォーカスマップデータとレンズ情報からデプスマップデータを生成する。そして、画像処理装置30は図25の処理を終了する。
属性情報は、対象領域の面積、撮像画像内に占める対象領域の比率、撮像画像内における対象領域の位置などの対象領域自体に紐付けられた属性に関する情報、被写体の位置、人数、年齢、性別、顔領域の大きさなど対象領域における被写体に紐付けられた属性等、様々な情報が想定される。
固定値は、対象領域の属性情報に応じてあらかじめ設定された値であってもよいし、ユーザにより各位置の値が設定されてもよい。また、固定値は、対象領域の各位置におけるデフォーカス量の数値で設定されていてもよいし、対象領域の各位置におけるデフォーカス量の補正比率であってもよい。
これにより、対象領域の合焦位置からのずらし量(デフォーカス量)が調整される。例えば、性別、年齢によって顔領域のデフォーカス量の絶対値を大きくすることで、図13に示すように、顔のしわ等をぼかして表示することができる。
対象領域の各部分とは、例えば、瞳領域であれば睫毛部分とそれ以外の部分、顔領域であれば目部分、鼻部分、耳部分、口部分等、対象領域の属性に応じて設定される。
画像処理装置30は、ステップS107において、例えば上述のようなマップ画像の表示タイミングを判定するタイミング判定処理を実行し、表示タイミングであれば判定フラグをONとし、表示タイミングでなければ判定フラグをOFFとする。
またステップS108において判定フラグがONの場合、画像処理装置30は、ステップS110に処理を進め、マップ画像を撮像画像に重畳表示させる。
ステップS101においてシャッター操作を検知すると、画像処理装置30はステップS111に処理を進め、撮像信号や位相差信号等のフレーム情報を取得する。またこのとき画像処理装置30は、生成したマップデータがある場合は、当該マップデータも取得する。
図25のステップS401、S402の処理を行うことで、図15、図16のように、ユーザが選択した任意の領域について、アイコン群の円環状アイコンの径を変化させることにより、デフォーカス量を調節することができるようになる。
また、ステップS404、S405、S406の処理を行うことで、図12に示すような、顔領域におけるデフォーカス量の調節が自動的に行われるようになる。さらに、ステップS407、S408、S409の処理を行うことで、図13に示すような、瞳領域における睫毛部分のデフォーカス量の調節が自動的に行われるようになる。
実施の形態の撮像装置1に搭載された画像処理装置30は、撮像素子部12における像面位相差画素により検出した位相差情報から算出される、撮像素子部12による撮像画像の複数位置におけるデフォーカス量を示すデフォーカスマップデータを生成するマップデータ生成部31と、マップデータ生成部31が生成したデフォーカスマップデータを用いて撮像動作制御を行う動作制御部34と、を備える(図24)。
これにより、撮像画像の複数位置におけるデフォーカス量情報に基づいて撮像動作制御が行われる。
従って、合焦位置といった点位置でなく、撮像画像の複数位置という面領域としてデフォーカス量の分布を考慮したフォーカス制御、絞り機構の動作制御といった撮像動作制御を行うことができる。
これにより、撮像画像の複数位置におけるデフォーカス量の分布がデフォーカスマップ画像として表示される。
従って、ユーザが撮像動作制御が行われた後における、撮像画像の複数位置という面領域としてのデフォーカス量の分布を確認することができる。そのため、ユーザはさらなるフォーカス制御、絞り機構の動作制御といった撮像動作制御を行う必要があるかを撮像画像(対象領域)におけるデフォーカス量の分布を考慮して決めることができる。
これにより、撮像画像内容に応じた対象領域にデフォーカスマップ画像が表示される。
従って、ユーザの選択した対象領域についてデフォーカスマップデータを用いて撮像動作制御を行うことで、ユーザの目的を反映させた対象領域におけるデフォーカス量の調整を行うことができる。
これにより、対象領域内の複数位置におけるデフォーカス量のそれぞれのデータが算出される。被写体の属性情報などの撮像画像内容に応じて対象領域を自動的に設定し、対象領域における撮像動作制御を行うことで、被写体の属性情報などの撮像画像内容を反映させたデフォーカス量の調整を行うことができる。
これにより、対象領域内の複数位置におけるデフォーカス量情報に基づいて撮像動作制御が行われる。従って、撮像の目的に応じた対象領域を選択し、当該選択した対象領域についてのデフォーカスマップデータを用いた撮像動作制御を行うことで、撮像の目的を反映させたポイントを絞ったデフォーカス量の調整を行うことができる。
例えば撮像装置では、対象領域内の複数位置におけるデフォーカス量があらかじめ設定された固定値となるように、フォーカスレンズの動作制御や絞り機構の動作制御が行われる。
これにより、例えば、年齢、性別といった被写体(対象領域)の属性情報等に応じて、それぞれのデフォーカス量の値を固定値として設定されていることで、被写体(対象領域)に応じて適したぼかしを入れた状態で表示することができるようになる。従って、被写体(対象領域)の属性情報等に応じて自動的に適したデフォーカス量の調整を行うことができる。
例えば撮像装置では、対象領域内の複数位置におけるデフォーカス量がユーザ操作により設定された固定値となるように、フォーカスレンズの動作制御や絞り機構の動作制御が行われる。
対象領域におけるデフォーカス量が固定値としてユーザにより設定可能とすることで、被写体(対象領域)の属性に応じたデフォーカス量の調整量をユーザの好みに応じて設定することができる。従って、撮像動作制御により、ユーザの意図をより反映させたデフォーカス量の調整を行うことができる。
これにより、対象領域における複数位置のデフォーカス量が属性情報に応じて補正される。従って、被写体(対象領域)の属性情報等に応じて自動的に適したデフォーカス量の調整を行うことができる。
これにより、例えば、対象領域の面積、撮像画像内に占める対象領域の比率、撮像画像内における対象領域の位置などに応じて撮像動作制御を行うことができる。
これにより、例えば、被写体の位置、人数、年齢、性別、顔領域の大きさなどに応じて撮像動作制御を行うことができる。
これにより、撮像画像の各位置のデフォーカス量の値の違いがデフォーカスマップ画像における色の違いとして表示される。
従って、撮像画像(対象領域)の各位置のデフォーカス量の値の違いを色で表示することで、撮像画像(対象領域)におけるデフォーカス量の分布を視覚的、直感的に容易に捉えることができるようになる。
また、撮像画像(対象領域)における或る位置のデフォーカス量を変更した際にも、当該位置の色の変化を確認することで、画像が合焦位置に向かって変化しているのか、それとも前ボケ又は後ボケへ変化しているのかを視覚的に容易に認識することができる。
よって、当該色の表示に基づいて、撮像画面での被写体のボケを直感的に容易に調整することができる。
これにより、ユーザ操作に応じて撮像画像における合焦位置の調整が行われ、撮像画像の各位置のデフォーカス量が変動する。従って、ユーザの意図を反映させたデフォーカス量の調整を行うことができる。
これにより、ユーザ操作に応じたフォーカス量表示アイコンの表示態様の変化に応じた撮像動作制御が行われ、当該撮像動作制御に応じてフォーカス量表示アイコンに対応する位置のデフォーカス量が変動する。
撮像画像(対象領域)の各位置のデフォーカス量の変化をデフォーカス量表示アイコンの表示態様の変化で確認することができるため、ユーザ操作により変化した撮像画像(対象領域)のデフォーカス量を視覚的、直感的に容易に捉えることができる。
これにより、撮像画像内の顔領域について合焦位置の調整が行われる。顔領域におけるしわ、シミ等が比較的目立つような場合に、顔領域から合焦位置を僅かにずらすことで顔領域をぼかすことができる。このように顔検出により検出した顔領域を対象領域として設定することで、例えば年齢、性別等に応じたデフォーカス量の調整を行うことができる。
これにより、撮像画像内の瞳領域について合焦位置の調整が行われる。例えば、瞳領域における睫毛部分について絞り機構の動作制御を行う等の各部分ごとの撮像動作制御を行うことができる。
即ち実施の形態のプログラムは、位相差検出部により検出した位相差情報から算出される、撮像素子部による撮像画像の複数位置におけるデフォーカス量を示すデフォーカスマップデータを生成するマップデータ生成機能と、前記マップデータ生成機能が生成したデフォーカスマップデータを用いて撮像動作制御を行う動作制御機能と、を画像処理装置に実行させるプログラムである。このようなプログラムにより、上述した画像処理装置30を、例えば携帯端末2,パーソナルコンピュータ3、或いは撮像装置1などの機器において実現できる。
あるいはまた、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)、MO(Magnet optical)ディスク、DVD(Digital Versatile Disc)、ブルーレイディスク(Blu-ray Disc(登録商標))、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
(1)
位相差検出部により検出した位相差情報から算出される、撮像素子部による撮像画像の複数位置におけるデフォーカス量を示すデフォーカスマップデータを生成するマップデータ生成部と、
前記マップデータ生成部が生成したデフォーカスマップデータを用いて撮像動作制御を行う動作制御部と、を備えた
画像処理装置。
(2)
前記位相差検出部は、前記撮像素子部における像面位相差画素により前記位相差情報を検出する
(1)に記載の情報処理装置。
(3)
前記マップデータ生成部が生成したデフォーカスマップデータを用いて、撮像画像のデフォーカス量の分布を示すデフォーカスマップ画像を生成し、表示制御を行う表示制御部を備えた
(1)又は(2)に記載の画像処理装置。
(4)
撮像画像内容に応じて対象領域を設定する対象領域設定部を備え、
前記対象領域設定部は、ユーザ操作により指定された撮像画像における領域を前記対象領域として設定する
(1)から(3)の何れかに記載の画像処理装置。
(5)
撮像画像内容に応じて対象領域を設定する対象領域設定部を備え、
前記マップデータ生成部は、前記対象領域内の複数位置のデフォーカスマップデータを生成する
(1)から(4)の何れかに記載の画像処理装置。
(6)
前記動作制御部は、前記マップデータ生成部が生成した前記対象領域内のデフォーカスマップデータを用いて撮像動作制御を行う
(4)又は(5)に記載の画像処理装置。
(7)
前記動作制御部は、デフォーカスマップデータを参照して前記対象領域のデフォーカス量があらかじめ設定された固定値となるように撮像動作制御を行う
(6)に記載の画像処理装置。
(8)
前記動作制御部は、デフォーカスマップデータを参照して前記対象領域のデフォーカス量がユーザ操作により設定された固定値となるように撮像動作制御を行う
(6)に記載の画像処理装置。
(9)
前記動作制御部は、前記対象領域の属性情報に応じてデフォーカスマップデータを用いた撮像動作制御を行う
(6)から(8)の何れかに記載の画像処理装置。
(10)
前記属性情報は、前記対象領域に紐付けられた属性である
(9)に記載の画像処理装置。
(11)
前記属性情報は、前記対象領域における被写体に紐付けられた属性である
(9)又は(10)に記載の画像処理装置。
(12)
前記撮像動作制御はフォーカス制御である
(1)から(11)の何れかに記載の画像処理装置。
(13)
前記撮像動作制御は被写界深度に変化を生じさせる制御である
(1)から(12)の何れかに記載の画像処理装置。
(14)
前記表示制御部は、撮像画像の各位置のデフォーカス量に応じた色が付されたデフォーカスマップ画像を生成する
(3)から(13)の何れかに記載の画像処理装置。
(15)
前記動作制御部は、デフォーカスマップ画像に対するユーザ操作に応じて撮像動作制御を行う
(1)から(14)の何れかに記載の画像処理装置。
(16)
前記表示制御部は、デフォーカス量に応じて表示態様の異なるデフォーカス量表示アイコンを用いたデフォーカスマップ画像を生成し、
前記動作制御部は、デフォーカスマップ画像における前記デフォーカス量表示アイコンのユーザ操作に応じて撮像動作制御を行う
(3)から(15)の何れかに記載の画像処理装置。
(17)
前記対象領域設定部は、撮像画像における顔検出により検出した顔領域を前記対象領域として設定する
(4)から(16)の何れかに記載の画像処理装置。
(18)
前記対象領域設定部は、撮像画像における瞳検出により検出した瞳領域を前記対象領域として設定する
(4)から(16)の何れかに記載の画像処理装置。
(19)
位相差検出部により検出した位相差情報から算出される、撮像素子部による撮像画像の複数位置におけるデフォーカス量を示すデフォーカスマップデータを生成し、
前記生成したデフォーカスマップデータを用いて撮像動作制御を行う
画像処理方法。
(20)
位相差検出部により検出した位相差情報から算出される、撮像素子部による撮像画像の複数位置におけるデフォーカス量を示すデフォーカスマップデータを生成するマップデータ生成機能と、
前記マップデータ生成機能が生成したデフォーカスマップデータを用いて撮像動作制御を行う動作制御機能と、を画像処理装置に実行させる
プログラム。
(21)
画像撮像を行う撮像素子部と、
位相差検出部により検出した位相差情報から算出される、前記撮像素子部による撮像画像の複数位置におけるデフォーカス量を示すデフォーカスマップデータを生成するマップデータ生成部と、
前記マップデータ生成部が生成したデフォーカスマップデータを用いて撮像動作制御を行う動作制御部と、を備えた
撮像装置。
Claims (19)
- 位相差検出部により検出した位相差情報から算出される、撮像素子部による撮像画像の複数位置におけるデフォーカス量を示すデフォーカスマップデータを生成するマップデータ生成部と、
前記マップデータ生成部が生成したデフォーカスマップデータを用いて、撮像画像の各位置のデフォーカス量に応じた色が付されることで撮像画像のデフォーカス量の分布を示すデフォーカスマップ画像を生成し、撮像画像にデフォーカスマップ画像を重畳して表示させる表示制御を行う表示制御部と、
前記マップデータ生成部が生成したデフォーカスマップデータを用いて撮像動作制御を行う動作制御部と、を備えた
画像処理装置。 - 前記位相差検出部は、前記撮像素子部における像面位相差画素により前記位相差情報を検出する
請求項1に記載の画像処理装置。 - 前記マップデータ生成部は、算出したデフォーカス量に基づいて前記撮像素子部による撮像画像の複数位置における被写体距離を算出し、前記算出した前記被写体距離を示すデプスマップデータを生成し、
前記表示制御部は、前記マップデータ生成部が生成したデプスマップデータを用いて、撮像画像における前記被写体距離の分布を示すデプスマップ画像を生成し、表示制御を行う
請求項1に記載の画像処理装置。 - 撮像画像内容に応じて対象領域を設定する対象領域設定部を備え、
前記対象領域設定部は、ユーザ操作により指定された撮像画像における領域を前記対象領域として設定する
請求項1に記載の画像処理装置。 - 撮像画像内容に応じて対象領域を設定する対象領域設定部を備え、
前記マップデータ生成部は、前記対象領域内の複数位置のデフォーカスマップデータを生成する
請求項1に記載の画像処理装置。 - 前記動作制御部は、前記マップデータ生成部が生成した前記対象領域内のデフォーカスマップデータを用いて撮像動作制御を行う
請求項5に記載の画像処理装置。 - 前記動作制御部は、デフォーカスマップデータを参照して前記対象領域のデフォーカス量があらかじめ設定された固定値となるように撮像動作制御を行う
請求項6に記載の画像処理装置。 - 前記動作制御部は、デフォーカスマップデータを参照して前記対象領域のデフォーカス量がユーザ操作により設定された固定値となるように撮像動作制御を行う
請求項6に記載の画像処理装置。 - 前記動作制御部は、前記対象領域の属性情報に応じてデフォーカスマップデータを用いた撮像動作制御を行う
請求項6に記載の画像処理装置。 - 前記属性情報は、前記対象領域に紐付けられた属性である
請求項9に記載の画像処理装置。 - 前記属性情報は、前記対象領域における被写体に紐付けられた属性である
請求項9に記載の画像処理装置。 - 前記撮像動作制御はフォーカス制御である
請求項1に記載の画像処理装置。 - 前記動作制御部は、デフォーカスマップ画像に対するユーザ操作に応じて撮像動作制御を行う
請求項1に記載の画像処理装置。 - 前記表示制御部は、デフォーカス量に応じて表示態様の異なるデフォーカス量表示アイコンを用いたデフォーカスマップ画像を生成し、
前記動作制御部は、デフォーカスマップ画像における前記デフォーカス量表示アイコンのユーザ操作に応じて撮像動作制御を行う
請求項1に記載の画像処理装置。 - 前記対象領域設定部は、撮像画像における顔検出により検出した顔領域を前記対象領域として設定する
請求項4に記載の画像処理装置。 - 前記対象領域設定部は、撮像画像における瞳検出により検出した瞳領域を前記対象領域として設定する
請求項4に記載の画像処理装置。 - 位相差検出部により検出した位相差情報から算出される、撮像素子部による撮像画像の複数位置におけるデフォーカス量を示すデフォーカスマップデータを生成し、
前記生成したデフォーカスマップデータを用いて、撮像画像の各位置のデフォーカス量に応じた色が付されることで撮像画像のデフォーカス量の分布を示すデフォーカスマップ画像を生成し、撮像画像にデフォーカスマップ画像を重畳して表示させる表示制御を行い、
前記生成したデフォーカスマップデータを用いて撮像動作制御を行う
画像処理方法。 - 位相差検出部により検出した位相差情報から算出される、撮像素子部による撮像画像の複数位置におけるデフォーカス量を示すデフォーカスマップデータを生成するマップデータ生成機能と、
前記生成したデフォーカスマップデータを用いて、撮像画像の各位置のデフォーカス量に応じた色が付されることで撮像画像のデフォーカス量の分布を示すデフォーカスマップ画像を生成し、撮像画像にデフォーカスマップ画像を重畳して表示させる表示制御機能と、
前記マップデータ生成機能により生成したデフォーカスマップデータを用いて撮像動作制御を行う動作制御機能と、を画像処理装置に実行させる
プログラム。 - 画像撮像を行う撮像素子部と、
位相差検出部により検出した位相差情報から算出される、前記撮像素子部による撮像画像の複数位置におけるデフォーカス量を示すデフォーカスマップデータを生成するマップデータ生成部と、
前記マップデータ生成部が生成したデフォーカスマップデータを用いて、撮像画像の各位置のデフォーカス量に応じた色が付されることで撮像画像のデフォーカス量の分布を示すデフォーカスマップ画像を生成し、撮像画像にデフォーカスマップ画像を重畳して表示させる表示制御を行う表示制御部と、
前記マップデータ生成部が生成したデフォーカスマップデータを用いて撮像動作制御を行う動作制御部と、を備えた
撮像装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019060387 | 2019-03-27 | ||
JP2019060387 | 2019-03-27 | ||
PCT/JP2020/002346 WO2020195073A1 (ja) | 2019-03-27 | 2020-01-23 | 画像処理装置、画像処理方法、プログラム、撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020195073A1 JPWO2020195073A1 (ja) | 2020-10-01 |
JP7380675B2 true JP7380675B2 (ja) | 2023-11-15 |
Family
ID=72609750
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021508132A Active JP7380675B2 (ja) | 2019-03-27 | 2020-01-23 | 画像処理装置、画像処理方法、プログラム、撮像装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220191401A1 (ja) |
JP (1) | JP7380675B2 (ja) |
WO (1) | WO2020195073A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7434032B2 (ja) * | 2020-03-31 | 2024-02-20 | キヤノン株式会社 | 情報処理装置、情報処理方法、およびプログラム |
US11843858B1 (en) * | 2022-05-19 | 2023-12-12 | Qualcomm Incorporated | Machine learning for phase detection autofocus |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012132797A1 (ja) | 2011-03-31 | 2012-10-04 | 富士フイルム株式会社 | 撮像装置及び撮像方法 |
JP2014178643A (ja) | 2013-03-15 | 2014-09-25 | Olympus Imaging Corp | 表示機器 |
JP2018077190A (ja) | 2016-11-11 | 2018-05-17 | 株式会社東芝 | 撮像装置及び自動制御システム |
JP2018180144A (ja) | 2017-04-07 | 2018-11-15 | キヤノン株式会社 | 撮像装置 |
JP2019208170A (ja) | 2018-05-30 | 2019-12-05 | キヤノン株式会社 | 画像処理装置、画像処理方法、プログラム、記憶媒体 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5229060B2 (ja) * | 2009-03-31 | 2013-07-03 | ソニー株式会社 | 撮像装置および焦点検出方法 |
US8593509B2 (en) * | 2010-03-24 | 2013-11-26 | Fujifilm Corporation | Three-dimensional imaging device and viewpoint image restoration method |
JP5873378B2 (ja) * | 2012-04-10 | 2016-03-01 | キヤノン株式会社 | 撮像装置およびその制御方法 |
EP2929487A4 (en) * | 2012-12-10 | 2016-08-10 | Stanford Res Inst Int | BIOMETRIC IRIS ADJUSTMENT SYSTEM |
JP5619124B2 (ja) * | 2012-12-20 | 2014-11-05 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法 |
JP7173841B2 (ja) * | 2018-11-14 | 2022-11-16 | キヤノン株式会社 | 画像処理装置およびその制御方法ならびにプログラム |
-
2020
- 2020-01-23 US US17/439,752 patent/US20220191401A1/en not_active Abandoned
- 2020-01-23 JP JP2021508132A patent/JP7380675B2/ja active Active
- 2020-01-23 WO PCT/JP2020/002346 patent/WO2020195073A1/ja active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012132797A1 (ja) | 2011-03-31 | 2012-10-04 | 富士フイルム株式会社 | 撮像装置及び撮像方法 |
JP2014178643A (ja) | 2013-03-15 | 2014-09-25 | Olympus Imaging Corp | 表示機器 |
JP2018077190A (ja) | 2016-11-11 | 2018-05-17 | 株式会社東芝 | 撮像装置及び自動制御システム |
JP2018180144A (ja) | 2017-04-07 | 2018-11-15 | キヤノン株式会社 | 撮像装置 |
JP2019208170A (ja) | 2018-05-30 | 2019-12-05 | キヤノン株式会社 | 画像処理装置、画像処理方法、プログラム、記憶媒体 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2020195073A1 (ja) | 2020-10-01 |
US20220191401A1 (en) | 2022-06-16 |
WO2020195073A1 (ja) | 2020-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10311649B2 (en) | Systems and method for performing depth based image editing | |
JP4288612B2 (ja) | 画像処理装置および方法、並びにプログラム | |
KR101786049B1 (ko) | 디지털 촬영 장치, 디지털 촬영 장치 제어 방법, 및 컴퓨터 판독가능 저장매체 | |
US20120044400A1 (en) | Image pickup apparatus | |
CN101310519A (zh) | 摄像装置、显示控制方法以及程序 | |
US9065998B2 (en) | Photographing apparatus provided with an object detection function | |
CN107040718B (zh) | 显示控制装置及其控制方法 | |
JP7380675B2 (ja) | 画像処理装置、画像処理方法、プログラム、撮像装置 | |
JP6253007B2 (ja) | 表示装置 | |
JP2011217103A (ja) | 複眼撮影方法および装置 | |
JP6300076B2 (ja) | 撮像装置、撮像方法及びプログラム | |
JP2016219991A (ja) | 画像処理装置及びその制御方法、並びにプログラム | |
JP7435592B2 (ja) | 画像処理装置、画像処理方法、プログラム、撮像装置 | |
JP2015186210A (ja) | 撮像装置、撮像装置の制御方法及びプログラム | |
KR101812656B1 (ko) | 디지털 촬영 장치 및 이의 제어 방법 | |
JP6768449B2 (ja) | 撮像制御装置、撮像装置の制御方法及びプログラム | |
WO2018116824A1 (ja) | 制御装置、制御方法、並びにプログラム | |
JP2011193066A (ja) | 撮像装置 | |
US11985420B2 (en) | Image processing device, image processing method, program, and imaging device | |
KR20100013172A (ko) | 동영상 대표 이미지 설정 방법 및 장치 | |
US20230217126A1 (en) | Imaging apparatus, imaging method | |
JP7447901B2 (ja) | 撮像装置、絞り機構制御方法 | |
JP7271316B2 (ja) | 撮像装置及びその制御方法 | |
WO2021210340A1 (ja) | 画像処理装置、画像処理方法及び撮像装置 | |
JP2017135477A (ja) | 画像管理装置、画像再生装置及びそれらの制御方法、システム、プログラム並びに記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221209 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20221209 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230502 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230622 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231003 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231016 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7380675 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |