JP6757184B2 - 画像処理装置、撮像装置およびこれらの制御方法ならびにプログラム - Google Patents
画像処理装置、撮像装置およびこれらの制御方法ならびにプログラム Download PDFInfo
- Publication number
- JP6757184B2 JP6757184B2 JP2016112103A JP2016112103A JP6757184B2 JP 6757184 B2 JP6757184 B2 JP 6757184B2 JP 2016112103 A JP2016112103 A JP 2016112103A JP 2016112103 A JP2016112103 A JP 2016112103A JP 6757184 B2 JP6757184 B2 JP 6757184B2
- Authority
- JP
- Japan
- Prior art keywords
- viewpoint
- image
- changing
- display
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 229
- 238000000034 method Methods 0.000 title claims description 85
- 238000003384 imaging method Methods 0.000 title claims description 47
- 230000008859 change Effects 0.000 claims description 72
- 230000008569 process Effects 0.000 claims description 66
- 230000004044 response Effects 0.000 claims description 12
- 210000001747 pupil Anatomy 0.000 description 115
- 238000006243 chemical reaction Methods 0.000 description 34
- 230000003287 optical effect Effects 0.000 description 34
- 230000004907 flux Effects 0.000 description 23
- 239000002131 composite material Substances 0.000 description 14
- 238000011161 development Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 8
- 230000005484 gravity Effects 0.000 description 8
- 230000002093 peripheral effect Effects 0.000 description 7
- 230000003595 spectral effect Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000012937 correction Methods 0.000 description 6
- 230000035945 sensitivity Effects 0.000 description 6
- 239000003086 colorant Substances 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000003702 image correction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 235000002597 Solanum melongena Nutrition 0.000 description 1
- 244000061458 Solanum melongena Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
- H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/18—Signals indicating condition of a camera member or suitability of light
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/32—Means for focusing
- G03B13/34—Power focusing
- G03B13/36—Autofocus systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/635—Region indicators; Field of view indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/793—Processing of colour television signals in connection with recording for controlling the level of the chrominance signal, e.g. by means of automatic chroma control circuits
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10052—Images from lightfield camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Human Computer Interaction (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Epidemiology (AREA)
- Radiology & Medical Imaging (AREA)
- Primary Health Care (AREA)
- Computing Systems (AREA)
- Studio Devices (AREA)
- Automatic Focus Adjustment (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Eye Examination Apparatus (AREA)
- Image Processing (AREA)
Description
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では画像処理装置の一例として、LFデータを取得可能な任意のデジタルカメラに本発明を適用した例を説明する。しかし、本発明は、デジタルカメラに限らず、取得したLFデータを処理可能な任意の機器にも適用可能である。これらの機器には、例えば携帯電話機、ゲーム機、タブレット端末、パーソナルコンピュータ、時計型や眼鏡型の情報端末、監視システム、車載システム、内視鏡などの医療システム、画像を提供可能なロボットなどが含まれてよい。また、任意の機器がインターネット又はローカルネットワーク上の、プロセッサ等の処理手段を備えたサーバ機器(仮想マシンを含む)にLFデータと操作内容を送信し、LFデータに対する処理の一部又は全部をサーバ機器で実行する構成が含まれてよい。この場合、任意の機器はサーバ機器から処理結果を受信して表示させる構成が含まれてよい。
図1は、本実施形態の画像処理装置の一例としてのデジタルカメラ100の機能構成例を示すブロック図である。なお、図1に示す機能ブロックの1つ以上は、ASICやプログラマブルロジックアレイ(PLA)などのハードウェアによって実現されてもよいし、CPUやMPU等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。
次に、画像処理部125の構成について、図2を参照して説明する。画像取得部151は、記録媒体133から読み出された画像データを保存する。画像データは、後述する第1の視点画像と第2の視点画像とを合成した画像(A+B像ともいう)と、第1の視点画像とから構成される画像データである。
本実施形態に係る撮像素子107の画素及び副画素の配列について、図3を参照して説明する。図3は、2次元状に配置された画素配列を4列×4行の範囲で示しており、更に各画素に含まれる副画素配列を8列×4行の範囲で示している。
次に、図4に示した撮像素子107の画素構造と瞳分割との対応関係を、図5を参照して説明する。図5は、図4(a)に示した画素200Gのa−a断面を+y側から見た断面図と、結像光学系の射出瞳面の対応関係を示している。なお、図5では、射出瞳面の座標軸と対応を取るために、画素200Gの断面図のx軸とy軸を図4に対して反転させている。
次に、撮像素子107から出力される第1視点画像と第2視点画像との間のデフォーカス量と像ずれ量の関係について説明する。図8(b)は、第1視点画像と第2視点画像とのデフォーカス量と、第1視点画像と第2視点画像との間の像ずれ量との関係を模式的に示している。撮像面800に撮像素子107(図8(b)では不図示)が配置され、図5、図8(a)及び図8(b)と同様に、結像光学系の射出瞳が、瞳部分領域501と瞳部分領域502に2分割される。
次に、本実施形態に係る視点画像修正処理とリフォーカス処理について説明する。本実施形態のリフォーカス処理では、第1段階として、視点変更処理部155が撮像画像の各画素値に基づくコントラストの高低を表すコントラスト分布を算出する。第2段階として、視点変更処理部155は算出したコントラスト分布に基づいて、画素毎に複数の視点画像(第1視点画像と第2視点画像)間の差を拡大して視差を強調する変換を行い、複数の修正視点画像(第1修正視点画像と第2修正視点画像)を生成する。第3段階として、リフォーカス処理部156は複数の修正視点画像(第1修正視点画像と第2修正視点画像)を相対的にシフト加算して、リフォーカス画像を生成する。
視点変更処理部155は、ベイヤー配列の撮像画像I(j、i)に対し、式(1)に従って、位置(j、i)毎にRGB毎の色重心を一致させて、輝度Y(j、i)を算出する。
次に、視差画像の視差強調処理について説明する。視差強調処理では、まず視点画像の像ずれ分布を算出する。像ずれ分布の算出は、第1視点画像A0と第2視点画像B0の1対の像に対して相関演算を行って、1対の像の相対的な位置ずれ量を計算することにより得られる。相関演算には、様々な公知の方法が知られているが、視点変更処理部155は、例えば式(4)に示すような一対の像の差の絶対値を加算することにより、像の相関値を得ることができる。
複数の修正視点画像(第1修正視点画像と第2修正視点画像)を用いた、瞳分割方向(列方向或いは水平方向)のリフォーカス処理について、図11を参照して説明する。図11は、撮像面800に配置された撮像素子107の列方向i番目の画素の信号を含む、第1修正視点画像Aiと第2修正視点画像Biとを模式的に示している。第1修正視点画像Aiは、(図8(a)の瞳部分領域501に対応した)主光線角度θaでi番目の画素に入射した光束の受光信号を含む。第2修正視点画像Biは、(図8(a)の瞳部分領域502に対応した)主光線角度θbでi番目の画素に入射した光束の受光信号を含む。つまり、第1修正視点画像Aiと第2修正視点画像Biは、光強度分布情報に加えて、入射角度情報も有している。
上述したように、リフォーカス処理では、第1修正視点画像Aと第2修正視点画像Bとがシフト加算されて、仮想結像面におけるリフォーカス画像が生成される。シフト加算により第1修正視点画像Aと第2修正視点画像Bの像をずらすため、リフォーカス処理前の画像に対する相対的なずらし量(像ずらし量ともいう)がわかる。
リフォーカス可能範囲は、リフォーカス処理によって変更可能なピント位置の範囲を表す。例えば、図13は、本実施形態に係るリフォーカス可能範囲を模式的に示している。許容錯乱円をδ、結像光学系の絞り値をFとすると、絞り値Fにおける被写界深度は±Fδである。これに対して、NH×NV(2×1)分割されて狭くなった瞳部分領域501(502)の水平方向の実効絞り値F01(F02)は、F01=NHFと暗くなる。第1修正視点画像(第2修正視点画像)毎の実効的な被写界深度は±NHFδとNH倍深くなり、合焦範囲がNH倍に広がる。すなわち、実効的な被写界深度±NHFδの範囲内では、第1修正視点画像(第2修正視点画像)毎に合焦した被写体像が取得されている。このため、リフォーカス処理部156は、図11に示した主光線角度θa(θb)に沿って第1修正視点画像(第2修正視点画像)を平行移動するリフォーカス処理により、撮影後に、ピント位置を再調整(リフォーカス)することができる。換言すれば、撮影後にピント位置を再調整(リフォーカス)できる撮像面からのデフォーカス量dは限定されており、デフォーカス量dのリフォーカス可能範囲は、概ね、式(10)の範囲である。
(視点移動処理)
次に、視点変更処理部155によって実行される、本実施形態に係る視点移動処理について説明する。なお、視点移動処理は、手前側の非主被写体のボケが主被写体に被る場合に、非主被写体によるボケを低減するための処理である。
次に、撮像素子107の周辺像高における瞳ずれについて説明する。図15(a)〜(c)は、各画素の副画素201と副画素202がそれぞれ受光する瞳部分領域(501、502)と結像光学系の射出瞳400との関係を示している。
次に、視点変更処理部155による深度拡大処理について、再び図14を参照して説明する。上述したように、図14(b)において瞳部分領域501を通過した像が第1視点画像、瞳部分領域502を通過した像が第2視点画像である。各視点画像は、図からも明らかなように、本来の瞳領域の半分を通過して得られる画像であるため、水平方向2分割の瞳分割領域の場合には水平方向の絞り径が半分となる。このため、水平方向の被写界深度は4倍になる。一方、本実施形態では垂直方向に瞳分割した構成ではないため、垂直方向の被写界深度の変化はない。従って、第1視点画像または第2視点画像は、第1視点画像と第2視点画像とを合成した画像(A+B像)の被写界深度に対して、縦横平均として2倍の被写界深度を有する画像となる。
次に、図16を参照して、撮像画像の視点移動及びピント調整操作に係る一連の動作について説明する。なお、本処理は、例えば操作部132に含まれるレリーズスイッチ等がユーザによって押下された場合に開始される。また、本処理は、制御部121が不図示のROMに記憶されたプログラムをRAMの作業用領域に展開、実行すると共に、画像処理部125等の各部を制御することにより実現される。
次に、S104における視点画像操作処理に係る一連の動作について、図17に示すフローチャートを参照して説明する。なお、以下の説明では、視点移動(及び被写界深度の変更)を行うためのユーザインターフェース(視点移動UI)における操作を、ピント調整を行うためのユーザインターフェース(ピント調整UI)における操作より先に行う例を示す。しかし、ピント調整UI操作を、視点移動UI操作より先に行ってもかまわない。
次に、S205及びS210における現像処理について、図18を参照して説明する。S301において、画像処理部125は、白の領域のR,G,Bが等色になるようにR,G,Bの各色にゲインをかけてホワイトバランス処理を行う。S302において、画像処理部125は、デモザイキング処理を行う。具体的に、画像処理部125は、入力画像に対して、それぞれの規定方向で補間を行って、その後方向選択を行うことにより、各画素について補間処理結果としてR、G,Bの3原色のカラー画像信号を生成する。
次に、図19B〜図19Eを参照して、上述した視点移動UI及びピント調整UIの操作例と操作後の合成画像の例を説明する。図19Bは、ピント調整UIを操作してリフォーカス処理を行った合成画像を表示した例を示している。スライダー1004を下方向に動かすユーザ操作に対して、制御部121は、(画像処理部125を用いて)前ピン状態が強くなるようにピント調整(リフォーカス処理)を行って出力画像を表示している。
次に実施形態2について説明する。実施形態2では、画像を縦位置表示又は横位置表示に切り換えて視点画像の操作を行う例について説明する。本実施形態のデジタルカメラ100の構成は実施形態1と同一構成であり、視差画像操作処理の一部が異なる。このため、同一の構成については同一の符号を付して重複する説明は省略し、相違点について重点的に説明する。
本実施形態に係る視点画像操作処理について、図21を参照して説明する。S401において、制御部121は、画像データの縦位置表示を行うかどうかを判定する。制御部121は、例えば入力画像のメタデータを参照して縦位置で撮影された画像であるかを判定する。制御部121は、縦位置で撮影された画像であると判定した場合、縦位置表示を行うためにS402へ処理を進める。一方、縦位置で撮影された画像でないと判定した場合、横位置表示を行うためにS403へ処理を進める。なお、S401の判定は、ユーザが操作部132のボタン等を介して縦位置表示に設定した場合に縦位置表示を行うようにしてもよいし、メタデータから撮像素子の画素の分割方向を示す情報を取得して、当該分割方向に応じて表示の向きを判定してもよい。
次に実施形態3について説明する。実施形態3では、各画素が水平方向と垂直方向とにそれぞれ2分割された撮像素子を用いる点が異なる。このため、この点以外のデジタルカメラ100の構成は、実施形態1と同一である。従って、同一の構成については同一の符号を付して重複する説明は省略し、相違点について重点的に説明する。
視点変更処理部155は、実施形態1と同様に、コントラスト処理を行う。すなわち、ベイヤー配列の撮像画像I(j、i)に対し、式(1)に従って輝度Y(j、i)を算出する。また、視点変更処理部155は、高周波成分dY(j、i)、高周波成分dZ(j、i)、コントラスト分布C(j、i)を算出する。
さらに、本実施形態における視点画像の像ずれ分布について説明する。水平方向の瞳分割方向の像ずれ分布は実施形態1と同様のため省略し、垂直方向の瞳分割方向の像ずれ分布について説明する。
視点変更処理部155は、実係数w(−1≦w≦1)として、式(19A)〜(19D)に従って各視点画像の重み係数をそれぞれ算出する。
更に、本実施形態に係る視点移動UIとピント調整UIの構成について、図24を参照して説明する。本実施形態の構成では、瞳分割方向が水平方向と垂直方向の2方向で分割されているため、ユーザは垂直方向と水平方向とで視点移動させることが可能である。このため、本実施形態では、ユーザがそれぞれの方向に操作するための、2軸のスライダーとスライダーバーを設ける。
次に実施形態4について説明する。実施形態4では、画像を縦位置表示又は横位置表示に切り換えて視点画像の操作を行う際のUIの表記(上述した視点移動UI等に付す表示)を制御する例について説明する。視点画像の操作を行うUIの表記は、例えば視点画像の操作に応じて視点画像の視点が変更される向きを示す。本実施形態のデジタルカメラ100の構成は実施形態1と同一構成であり、視差画像操作処理の一部が異なる。このため、同一の構成については同一の符号を付して重複する説明は省略し、相違点について重点的に説明する。
本実施形態に係る視点画像操作処理について、図25を参照して説明する。S501において、制御部121は、視差画像の操作を行うUIの表記を画像の縦位置表示に合わせるかを判定するため、入力画像を縦位置で表示するかを判定する。制御部121は、例えば入力画像のメタデータを参照して入力画像が縦位置で撮影された画像であるかを判定し、入力画像を縦位置で表示すると判定した場合は、UIの表記を縦位置用とするためにS502へ処理を進める。一方、縦位置で撮影された画像でないと判定した場合、横位置用の表記を行うためにS503へ処理を進める。S502において、制御部121は、さらに画像の回転角度を判定する。制御部121は、例えば入力画像のメタデータを参照して撮影画像の角度(例えば、90度右回転した縦位置、又は90度左回転した縦位置)を判定する。制御部121は、入力画像が90度右回転で撮影された画像であると判定した場合、表示部131に90度右回転の表記を行うためにS504へ処理を進める。一方、撮影画像が90度右回転でない(かつ縦位置表示で撮影された)画像であると判定した場合、90度左回転の表記を行うためにS505へ処理を進める。なお、S501及びS502における判定は、ユーザが操作部132のボタン等を介して縦位置表示に設定した場合に縦位置用の表記を行うようにしてもよいし、メタデータから撮像素子の画素の分割方向を示す情報を取得して、当該分割方向に応じて視差画像の操作を行うUIの表記を判定してもよい。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (19)
- 所定の方向に視差を有する複数の視点画像を取得する取得手段と、
視点を変更する操作を受け付ける操作手段と、
前記複数の視点画像に基づいて、前記視点を変更する操作に応じて視点を変更した表示画像を生成する処理手段と、
前記表示画像と、前記視点を変更する操作に応じて視点が変更される向きを示す表記とを表示部に表示する表示制御手段と、を備え、
前記表示制御手段は、前記所定の方向に視点を変更可能な前記表示画像を異なる角度で表示する場合、前記表記を、該異なる角度で表示された前記表示画像で視点が変更可能な方向に合わせた表記に変更することを特徴とする画像処理装置。 - 前記操作手段は、更にピント位置を変更する操作を受け付け、
前記表示制御手段は、前記ピント位置を変更する操作に応じてピント位置を変更した前記表示画像を前記表示部に表示する、
ことを特徴とする請求項1に記載の画像処理装置。 - 前記操作手段は、前記複数の視点画像に基づいて前記所定の方向に視点を変更した前記表示画像を生成可能な場合に、前記視点を変更する操作を、前記所定の方向に沿って受け付ける、
ことを特徴とする請求項2に記載の画像処理装置。 - 前記操作手段は、前記複数の視点画像に基づいて前記所定の方向に視点を変更した前記表示画像を生成可能な場合に、前記ピント位置を変更する操作を、前記所定の方向と異なる方向に沿って受け付ける、
ことを特徴とする請求項3に記載の画像処理装置。 - 前記操作手段は、所定の位置から前記所定の方向に沿って離れるほど前記所定の方向への視点の変更が大きくなり、前記所定の位置から前記所定の方向に沿って反対側に離れるほど、前記所定の方向と反対側に視点の変更が大きくなるように、前記視点を変更する操作を受け付ける、
ことを特徴とする請求項3又は4に記載の画像処理装置。 - 前記所定の方向は、水平方向又は垂直方向である、
ことを特徴とする請求項3から5のいずれか1項に記載の画像処理装置。 - 前記操作手段は、横位置において水平方向に視点を変更可能な前記表示画像を縦位置で表示する場合、前記視点を変更する操作を、垂直方向に受け付ける、
ことを特徴とする請求項6に記載の画像処理装置。 - 前記表示制御手段は、前記表記を、前記操作手段が前記視点を変更する操作を受け付ける方向に応じて異ならせる、
ことを特徴とする請求項7に記載の画像処理装置。 - 前記操作手段は、前記ピント位置を変更する操作が所定の位置から操作を受け付ける方向に離れるほど前記ピント位置の変更が大きくなるように、前記ピント位置を変更する操作を受け付ける、
ことを特徴とする請求項2から8のいずれか1項に記載の画像処理装置。 - 前記操作手段は、前記複数の視点画像に基づく表示画像が表示された状態で前記視点を変更する操作と前記ピント位置を変更する操作とを受け付ける、
ことを特徴とする請求項2から9のいずれか1項に記載の画像処理装置。 - 前記処理手段は、前記ピント位置を変更する操作に応じて前記複数の視点画像間のシフト量を変更し、前記シフト量によりずらした前記複数の視点画像を加算して、前記表示画像を生成する、
ことを特徴とする請求項2から10のいずれか1項に記載の画像処理装置。 - 前記操作手段は、前記表示画像における輪郭強調の度合を変更する操作を更に受け付け、
前記処理手段は、前記輪郭強調の度合に応じて、前記表示画像における合焦している領域に対する輪郭強調を行う、
ことを特徴とする請求項1から11のいずれか1項に記載の画像処理装置。 - 前記処理手段は、前記視点を変更する操作に応じて前記複数の視点画像を加算するための重み付けを異ならせ、前記重み付けを用いて前記複数の視点画像を加算して、前記表示画像を生成する、
ことを特徴とする請求項1から12のいずれか1項に記載の画像処理装置。 - 複数の副画素を含む画素が2次元状に配置され、所定の方向に視差を有する複数の視点画像を出力する撮像素子と、
視点を変更する操作を受け付ける操作手段と、
前記複数の視点画像に基づいて、前記視点を変更する操作に応じて視点を変更した表示画像を生成する処理手段と、
前記表示画像と、前記視点を変更する操作に応じて視点が変更される向きを示す表記とを表示部に表示する表示制御手段と、を備え、
前記撮像素子は、前記画素のなかで所定の方向に複数の前記副画素が配置され、
前記表示制御手段は、前記所定の方向に視点を変更可能な前記表示画像を異なる角度で表示する場合、前記表記を、該異なる角度で表示された前記表示画像で視点が変更可能な方向に合わせた表記に変更する
ことを特徴とする撮像装置。 - 前記操作手段は、前記撮像装置を用いて横位置で撮影された前記複数の視点画像に基づいて横位置の前記表示画像を表示する場合、前記視点を変更する操作を、前記所定の方向に沿って受け付け、横位置で撮影された前記複数の視点画像に基づいて縦位置の前記表示画像を表示する場合、前記視点を変更する操作を、前記所定の方向と垂直な方向に沿って受け付ける、
ことを特徴とする請求項14に記載の撮像装置。 - 前記表示制御手段は、前記表記を、前記複数の視点画像の撮影された、縦位置又は横位置からの回転角に応じて異ならせる、
ことを特徴とする請求項15に記載の撮像装置。 - 取得手段が、所定の方向に視差を有する複数の視点画像を取得する取得工程と、
操作手段が、視点を変更する操作を受け付ける操作工程と、
処理手段が、前記複数の視点画像に基づいて、前記視点を変更する操作に応じて視点を変更した表示画像を生成する処理工程と、
表示制御手段が、前記表示画像と、前記視点を変更する操作に応じて視点が変更される向きを示す表記とを表示部に表示する表示制御工程と、を有し、
前記表示制御工程では、前記所定の方向に視点を変更可能な前記表示画像を異なる角度で表示する場合、前記表記を、該異なる角度で表示された前記表示画像で視点が変更可能な方向に合わせた表記に変更することを特徴とする画像処理装置の制御方法。 - 複数の副画素を含む画素が2次元状に配置され、所定の方向に視差を有する複数の視点画像を出力する撮像素子を有する撮像装置の制御方法であって、
取得手段が、前記撮像素子から出力される前記複数の視点画像を取得する取得工程と、
操作手段が、視点を変更する操作を受け付ける操作工程と、
処理手段が、前記複数の視点画像に基づいて、前記視点を変更する操作に応じて視点を変更した表示画像を生成する処理工程と、
表示制御手段が、前記表示画像と、前記視点を変更する操作に応じて視点が変更される向きを示す表記とを表示部に表示する表示制御工程と、を有し、
前記撮像素子は、前記画素のなかで所定の方向に複数の前記副画素が配置され、
前記表示制御工程では、前記所定の方向に視点を変更可能な前記表示画像を異なる角度で表示する場合、前記表記を、該異なる角度で表示された前記表示画像で視点が変更可能な方向に合わせた表記に変更する、
ことを特徴とする撮像装置の制御方法。 - コンピュータに、請求項17に記載の画像処理装置の制御方法の各工程を実行させるためのプログラム。
Priority Applications (8)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE112017001458.1T DE112017001458T5 (de) | 2016-03-24 | 2017-01-25 | Bildverarbeitungsvorrichtung, Bildgebungsvorrichtung und Steuerverfahren davon |
SG11201808036XA SG11201808036XA (en) | 2016-03-24 | 2017-01-25 | Image processing apparatus, imaging apparatus, and control methods thereof |
PCT/JP2017/002504 WO2017163588A1 (ja) | 2016-03-24 | 2017-01-25 | 画像処理装置、撮像装置およびこれらの制御方法ならびにプログラム |
RU2018137046A RU2707066C1 (ru) | 2016-03-24 | 2017-01-25 | Устройство обработки изображения, устройство создания изображения, их способы управления и программа |
CN201780019656.XA CN108886581B (zh) | 2016-03-24 | 2017-01-25 | 图像处理装置、摄像装置及其控制方法 |
KR1020187029815A KR102157491B1 (ko) | 2016-03-24 | 2017-01-25 | 화상 처리장치, 촬상장치 및 이들의 제어방법과, 기억매체 |
PH12018502032A PH12018502032A1 (en) | 2016-03-24 | 2018-09-21 | Image processing apparatus, imaging apparatus, and control methods thereof |
US16/137,801 US10924665B2 (en) | 2016-03-24 | 2018-09-21 | Image processing apparatus, imaging apparatus, control methods thereof, and storage medium for generating a display image based on a plurality of viewpoint images |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016060897 | 2016-03-24 | ||
JP2016060897 | 2016-03-24 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2017184217A JP2017184217A (ja) | 2017-10-05 |
JP2017184217A5 JP2017184217A5 (ja) | 2019-07-11 |
JP6757184B2 true JP6757184B2 (ja) | 2020-09-16 |
Family
ID=60006543
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016112103A Active JP6757184B2 (ja) | 2016-03-24 | 2016-06-03 | 画像処理装置、撮像装置およびこれらの制御方法ならびにプログラム |
Country Status (8)
Country | Link |
---|---|
US (1) | US10924665B2 (ja) |
JP (1) | JP6757184B2 (ja) |
KR (1) | KR102157491B1 (ja) |
CN (1) | CN108886581B (ja) |
DE (1) | DE112017001458T5 (ja) |
PH (1) | PH12018502032A1 (ja) |
RU (1) | RU2707066C1 (ja) |
SG (1) | SG11201808036XA (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10714520B1 (en) * | 2017-08-04 | 2020-07-14 | Facebook Technologies, Llc | Manufacturing an on-chip microlens array |
JP6920152B2 (ja) | 2017-09-25 | 2021-08-18 | 株式会社小糸製作所 | 車両用灯具 |
JP7098342B2 (ja) | 2018-02-06 | 2022-07-11 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、およびプログラム |
US11985420B2 (en) * | 2019-03-27 | 2024-05-14 | Sony Group Corporation | Image processing device, image processing method, program, and imaging device |
CN110148454B (zh) * | 2019-05-21 | 2023-06-06 | 上海联影医疗科技股份有限公司 | 一种摆位方法、装置、服务器及存储介质 |
CN114731383A (zh) * | 2019-11-28 | 2022-07-08 | 索尼集团公司 | 显示终端设备 |
KR20210087809A (ko) * | 2020-01-03 | 2021-07-13 | 삼성전자주식회사 | 이미지 센서를 포함하는 전자 장치 및 그의 동작 방법 |
US11978177B2 (en) * | 2020-09-25 | 2024-05-07 | Intel Corporation | Method and system of image processing of omnidirectional images with a viewpoint shift |
JP2022184138A (ja) * | 2021-05-31 | 2022-12-13 | キヤノン株式会社 | 画像処理装置、撮像装置、制御方法、及びプログラム |
US11922606B2 (en) | 2021-10-04 | 2024-03-05 | Samsung Electronics Co., Ltd. | Multipass interference correction and material recognition based on patterned illumination without frame rate loss |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100557172B1 (ko) * | 2005-04-22 | 2006-03-03 | 삼성전자주식회사 | 이동통신 단말기의 사용자 인터페이스 표시 장치 및 방법 |
JP5011168B2 (ja) * | 2008-03-04 | 2012-08-29 | 日本電信電話株式会社 | 仮想視点画像生成方法、仮想視点画像生成装置、仮想視点画像生成プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP4513906B2 (ja) * | 2008-06-27 | 2010-07-28 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム及び記録媒体 |
JP2011022796A (ja) | 2009-07-15 | 2011-02-03 | Canon Inc | 画像処理方法および画像処理装置 |
WO2012064106A2 (en) * | 2010-11-12 | 2012-05-18 | Samsung Electronics Co., Ltd. | Method and apparatus for video stabilization by compensating for view direction of camera |
JP2012244196A (ja) * | 2011-05-13 | 2012-12-10 | Sony Corp | 画像処理装置及び方法 |
JP5875839B2 (ja) * | 2011-11-21 | 2016-03-02 | オリンパス株式会社 | プレノプティックカメラ |
JP2014029353A (ja) * | 2012-07-31 | 2014-02-13 | Sony Corp | 焦点調整装置および焦点調整方法 |
US20140327771A1 (en) * | 2013-05-01 | 2014-11-06 | Nvidia Corporation | System, method, and computer program product for displaying a scene as a light field |
JP6249752B2 (ja) * | 2013-12-12 | 2017-12-20 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム。 |
JP2015198340A (ja) * | 2014-04-01 | 2015-11-09 | キヤノン株式会社 | 画像処理装置およびその制御方法、並びにプログラム |
JP6548367B2 (ja) * | 2014-07-16 | 2019-07-24 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法及びプログラム |
JP2016060897A (ja) | 2014-09-22 | 2016-04-25 | 株式会社リコー | ポリマーとその製造方法 |
JP2016112103A (ja) | 2014-12-12 | 2016-06-23 | 株式会社ハイレックスコーポレーション | 昇降装置及び座椅子昇降装置 |
-
2016
- 2016-06-03 JP JP2016112103A patent/JP6757184B2/ja active Active
-
2017
- 2017-01-25 DE DE112017001458.1T patent/DE112017001458T5/de active Pending
- 2017-01-25 RU RU2018137046A patent/RU2707066C1/ru active
- 2017-01-25 CN CN201780019656.XA patent/CN108886581B/zh active Active
- 2017-01-25 SG SG11201808036XA patent/SG11201808036XA/en unknown
- 2017-01-25 KR KR1020187029815A patent/KR102157491B1/ko active IP Right Grant
-
2018
- 2018-09-21 US US16/137,801 patent/US10924665B2/en active Active
- 2018-09-21 PH PH12018502032A patent/PH12018502032A1/en unknown
Also Published As
Publication number | Publication date |
---|---|
CN108886581B (zh) | 2020-12-22 |
DE112017001458T5 (de) | 2018-12-06 |
JP2017184217A (ja) | 2017-10-05 |
KR20180123117A (ko) | 2018-11-14 |
US20190028640A1 (en) | 2019-01-24 |
RU2707066C1 (ru) | 2019-11-21 |
SG11201808036XA (en) | 2018-10-30 |
KR102157491B1 (ko) | 2020-09-18 |
PH12018502032A1 (en) | 2019-07-15 |
CN108886581A (zh) | 2018-11-23 |
US10924665B2 (en) | 2021-02-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6757184B2 (ja) | 画像処理装置、撮像装置およびこれらの制御方法ならびにプログラム | |
US10681286B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and recording medium | |
JP6789833B2 (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
JP2018107654A (ja) | 画像処理装置および画像処理方法、プログラム、記憶媒体 | |
CN107431755B (zh) | 图像处理设备、摄像设备、图像处理方法和存储介质 | |
US20200174222A1 (en) | Image processing method, image processing device, and image pickup apparatus | |
JP7422843B2 (ja) | 画像処理装置およびその制御方法ならびにプログラム | |
JP6516510B2 (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
JP6976754B2 (ja) | 画像処理装置および画像処理方法、撮像装置、プログラム | |
JP7204357B2 (ja) | 撮像装置およびその制御方法 | |
JP6254843B2 (ja) | 画像処理装置およびその制御方法 | |
WO2017163588A1 (ja) | 画像処理装置、撮像装置およびこれらの制御方法ならびにプログラム | |
JP7150785B2 (ja) | 画像処理装置、撮像装置、画像処理方法、および、記憶媒体 | |
JP7091048B2 (ja) | 撮像装置およびその制御方法 | |
WO2016143913A1 (en) | Image processing method, image processing device, and image pickup apparatus | |
JP6800648B2 (ja) | 画像処理装置及びその制御方法、プログラム並びに撮像装置 | |
JP6817855B2 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
JP2016218291A (ja) | 撮像装置およびその制御方法 | |
US10964739B2 (en) | Imaging apparatus and control method thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190528 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190528 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200601 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200707 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200731 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200828 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6757184 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |