JP6838608B2 - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
JP6838608B2
JP6838608B2 JP2018527410A JP2018527410A JP6838608B2 JP 6838608 B2 JP6838608 B2 JP 6838608B2 JP 2018527410 A JP2018527410 A JP 2018527410A JP 2018527410 A JP2018527410 A JP 2018527410A JP 6838608 B2 JP6838608 B2 JP 6838608B2
Authority
JP
Japan
Prior art keywords
image
deterioration
lens
lens information
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018527410A
Other languages
English (en)
Other versions
JPWO2018012094A1 (ja
Inventor
晴香 浅井
晴香 浅井
松井 啓
啓 松井
英輔 宇根
英輔 宇根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2018012094A1 publication Critical patent/JPWO2018012094A1/ja
Application granted granted Critical
Publication of JP6838608B2 publication Critical patent/JP6838608B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/663Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/611Correction of chromatic aberration

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Structure And Mechanism Of Cameras (AREA)

Description

本開示は、画像処理装置及び画像処理方法に関する。
従来、例えば下記の特許文献1〜3には、撮影条件を変えて複数回撮影して取得した画像を利用して、レンズシェーディング量推定を行う技術が記載されている。具体的には、特許文献1には、F値や焦点距離、フラッシュの有無に違いのある画像を利用して、レンズシェーディング量推定を行うことが記載されている。また、特許文献2には、F値に違いのある画像を利用して、レンズシェーディング量推定を行うことが記載されている。また、特許文献3には、露光条件に違いのある画像を利用してレンズシェーディング量推定を行うことが記載されている。
特開2004−088409号公報 特開2009−159093号公報 特開2015−128226号公報
しかし、上記特許文献に記載された技術は、いずれも、撮影条件を変えて複数回の撮影を行う必要があり、レンズシェーディング量の推定のために煩雑な操作が必要となっていた。このため、上記特許文献に記載された技術では、レンズシェーディング量の推定のための制約が多く、汎用的ではないという問題が生じていた。
一方、レンズ交換可能なカメラシステムでは、カメラ本体に対して予め準備されているレンズを装着する場合は、レンズとカメラ本体が通信を行うことで、絞り値や焦点距離などのレンズ情報をカメラ本体側で取得することができる。これに対し、カメラ本体に既に絶版となっているように旧タイプのレンズを装着しようとすると、レンズとカメラ本体が通信を行うことができないため、カメラ側で絞り値や焦点距離などのレンズ情報を推定することは困難である。このため、これらのレンズ情報に応じた適切な処理をカメラ本体側で行うことができないという問題が生じる。
そこで、撮影条件を変化させることなく、レンズ情報を推定できるようにすることが望まれていた。
本開示によれば、同一被写体を撮影した複数の入力画像の位置ズレを推定する位置ズレ推定部と、推定した前記位置ズレに基づいて、複数の前記入力画像の位置を合わせる位置合わせ処理部と、位置合わせがされた前記入力画像に基づいて、前記入力画像を撮影したレンズの劣化成分を示す劣化モデルに応じて当該レンズのレンズ情報を推定するレンズ情報推定部と、を備える、画像処理装置が提供される。
また、本開示によれば、同一被写体を撮影した複数の入力画像の位置ズレを推定することと、推定した前記位置ズレに基づいて、複数の前記入力画像の位置を合わせることと、位置合わせがされた前記入力画像に基づいて、前記入力画像を撮影したレンズの劣化成分を示す劣化モデルに応じて当該レンズのレンズ情報を推定することと、を備える、画像処理方法が提供される。
本開示によれば、撮影条件を変化させることなく、レンズ情報を推定することが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
レンズ交換可能なカメラシステムを示す模式図である。 本実施形態に係るカメラシステムの構成を示すブロック図である。 本実施形態で対象とする入力画像を説明するための模式図である。 劣化成分の種類と、各劣化成分に関わるレンズの要素(レンズ情報)を示す模式図である。 図3に対して、1枚目の画像と2枚目の画像が一致するように位置合わせをした状態を示す模式図である。 本実施形態に係る画像処理装置の基本的な構成を示す模式図である。 コスト式最小化部の前段に輝度レベル調整部を設けた例を示す模式図である。 位置ズレ推定部の前段に縮小部を設けた例を示す模式図である。 入力画像が3枚の場合の処理構成を示す模式図である。 第1レンズと第2レンズから入力画像を取得する例を示す模式図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.本開示の概要
2.カメラシステムの構成例
3.入力画像の例
4.劣化モデルについて
5.複数画像の位置合わせについて
6.レンズ情報の推定
7.レンズ情報に基づく補正処理
[1.本開示の概要]
本開示は、カメラのレンズの状態を自動で取得する技術に関する。図1は、レンズ交換可能なカメラシステム1000を示す模式図である。このシステム1000では、カメラ本体100に対してレンズ200が着脱交換可能とされている。ユーザは、焦点距離やF値などが異なるレンズ200を適宜選択し、撮影状況に応じて使用することができる。
レンズ200により結像した被写体像は、カメラ本体100が備える撮像素子(CMOSセンサ等)の撮像面上で結像し、撮像素子が被写体像を光電変換することで、画像データが取得される。
撮像された画像データは、輝度シェーディング、色シェーディング、レンズボケ等の要因で劣化している場合がある。このような劣化要素は、個々のレンズ200の設計条件や撮像素子105の設計条件、状態等により予めその特性を取得することが可能である。従って、カメラ本体100は、これらの劣化要素の特性を予め保持しておくことで、撮像により得られた画像データに対して劣化要素を補正する処理を行う。これにより、劣化要素が補正された高画質の画像を得ることができる。
一方、劣化要素の特性は、レンズ200の絞り値(F値)、焦点距離、フォーカス距離等に応じて変化する。このため、カメラ本体100側では、これらの絞り値(F値)、焦点距離、フォーカス距離等のレンズ情報に応じた劣化要素の特性を保持しておく。そして、撮影時にレンズ200の絞り値(F値)、焦点距離、フォーカス距離等のレンズ情報を取得し、取得した当該レンズ情報に応じた劣化特性に基づく補正をカメラ本体100側で行うことで、撮影条件に応じて補正条件を最適化することができ、高精細な画像を得ることができる。
絞り値、焦点距離、フォーカス距離等のレンズ情報は、レンズ200とカメラ本体100が通信を行うことができるという前提のもとでは、カメラ本体100側で容易に取得可能である。一方、レンズ200とカメラ本体100とが通信を行い得ない状況においても、ユーザが所望のレンズ200をカメラ本体100に装着して撮影を行うことが想定される。レンズ200は、カメラ本体100に装着することができれば撮影自体は可能であり、過去に発売されて絶版となったレンズ200や、カメラ本体100のメーカとは異なるメーカのレンズ200を装着したいといった要請があるためである。このような場合、レンズ側にレンズ200に対応するマウントが設けられ、カメラ本体側にカメラ本体100に対応するマウントが設けられたアダプター300を装着することで、レンズ200をカメラ本体に装着することが可能である。しかし、アダプター300を介して装着した場合であっても、レンズ200とカメラ本体100とが通信を行うことは一般的に困難であり、上記レンズ情報をカメラ本体100側で取得することは困難であった。本開示に係る実施形態では、このような状況を踏まえた上で、絞り値(F値)、焦点距離、フォーカス距離等のレンズ情報をカメラ本体100側で推定することが可能なシステムを提供するものである。以下、詳細に説明する。
[2.カメラシステムの構成例]
図2は、本実施形態に係るカメラシステム1000の構成を示すブロック図である。カメラシステム1000は、カメラ本体100とレンズ200とから構成される。カメラ本体100は、撮像素子105、撮影された画像信号のアナログ−デジタル変換等の信号処理を行うカメラ信号処理部110、画像信号の記録再生処理等を行う画像処理部120を有している。また、カメラ本体100は、撮影された画像等を表示するLCD(Liquid Crystal Display)等の表示部130と、メモリカード900への画像信号の書込及び読出を行うR/W(リーダ/ライタ)140と、撮像装置の全体を制御するCPU(Central Processing Unit)150と、ユーザによって所要の操作が行われる各種のスイッチ等から成る入力部160と、劣化モデルを予め記憶するメモリ170を備えている。撮像素子105は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等から構成されている。
レンズ200は、撮像レンズを含む光学系や、絞り機構、ズーム機構、フォーカス機構等を備える。本実施形態において、レンズ200のレンズ情報は、レンズ200がカメラ本体100に装着できるものであれば、カメラ本体100と通信を行うことなく、カメラ本体100側で推定可能である。
カメラ信号処理部110は、撮像素子105からの出力信号に対するデジタル信号への変換、ノイズ除去、画質補正、輝度・色差信号への変換等の各種の信号処理を行う。画像処理部120は、所定の画像データフォーマットに基づく画像信号の圧縮符号化・伸張復号化処理や解像度等のデータ仕様の変換処理等を行う。
表示部130は、ユーザの入力部160に対する操作状態や撮影した画像等の各種のデータを表示する機能を有している。R/W140は、画像処理部120によって符号化された画像データのメモリカード900への書き込み及びメモリカード900に記録された画像データの読み出しを行う。メモリカード900は、例えば、R/W140に接続されたスロットに対して着脱可能な半導体メモリである。
CPU150は、カメラ本体100に設けられた各回路ブロックを制御する制御処理部として機能し、入力部160からの指示入力信号等に基づいて各回路ブロックを制御する。入力部160は、例えば、シャッター操作を行うためのシャッターレリーズボタンや、動作モードを選択するための選択スイッチ等によって構成され、ユーザによる操作に応じた指示入力信号をCPU150に対して出力する。
撮影の待機状態では、CPU150による制御の下で、撮像素子105において撮影された画像信号が、カメラ信号処理部110を介して表示部130に出力され、カメラスルー画像として表示される。入力部160には、レンズ200の種別を示す情報(メーカ名、製品の型式、諸元等の情報)が入力される。
入力部160からの指示入力信号により撮影が行われると、撮像素子105によって撮影された画像信号がカメラ信号処理部110から画像処理部120に出力されて圧縮符号化処理され、所定のデータフォーマットのデジタルデータに変換される。変換されたデータはR/W140に出力され、メモリカード900に書き込まれる。
[3.入力画像の例]
図3は、本実施形態で対象とする入力画像を説明するための模式図である。本実施形態では、カメラ本体100の位置をズラして撮影した2枚以上の画像を入力画像とする。この画像は、互いに写している被写体が同じものであり、画像間でわずかに位置ズレがあるものである。このとき、各画像において、画面内で強度が異なる撮像劣化が生じているものとする。
例えば、カメラ本体100が連写機能を備えている場合は、連写により撮影した2枚以上の画像を入力画像とすることができる。また、カメラ本体100が連写機能を備えていない場合であっても、カメラ本体100及びレンズ200の向きをズラしながら撮影した2枚以上の画像を入力画像とすることができる。時系列的に撮影した複数枚の画像のうち、時間的に隣接する2枚以上の画像を入力画像とすることが好適である。
図3では、1枚目の画像と2枚目の画像のそれぞれに対して、画像情報を被写体の絵柄成分(原画像成分)と劣化成分(劣化度合い)とに分離して示している。原画像成分は、撮影対象である被写体に応じた画像情報である。一方、劣化成分は、レンズ200の光学系によって生じる劣化の度合いである。なお、撮像素子105では、原画像成分と劣化成分を重畳した画像情報が取得される。図3に示す劣化度合いは、撮像により得られた入力画像に含まれるが、劣化成分は上述のようにレンズ200や撮像素子105の設計条件、状態等により予め取得できるため、劣化モデルとしてカメラ本体100のメモリ170にも記憶されている。
図3中の劣化成分を示す画像は、濃度が薄いほど劣化の強度が弱く、濃度が濃いほど劣化の強度が強いことを表しており、画面内の位置に応じて劣化の強度が変わる様子を示している。つまり、劣化度合いの中心Oでは劣化の強度が弱く、画像の周辺に向かうほど劣化の強度は強くなる。
なお、図3では、劣化成分として中心Oから同心円状に劣化度合いが変化する場合を例に挙げているが、劣化度合いが中心Oに対して非対称になる特性をレンズ100が有している場合、片ボケの特性をレンズ200が有している場合等であっても、その劣化モデルをカメラ本体100が保持しておくことで、劣化度合いの分布に関わらず本実施形態を適用可能である。
図3に示すように、1枚目と2枚目で位置をズラして撮影した場合は、画像間において原画像成分の位置にズレが生じる。一方、劣化成分はレンズ200の特性に依存するため、画像内の同じ位置に同じ劣化特性が発生する。なお、劣化成分は、カメラ本体100の撮像素子105やレンズ200の状態に応じて発生する撮像劣化であり、劣化の強度が画面内で異なるものを対象とする。
[4.劣化モデルについて]
本実施形態に係る劣化モデルは、図3に示した劣化度合いを示すモデルとして示される。この劣化モデルは、画像の画面上における座標と、その座標に対応する劣化成分を数値化したものである。座標に対応する劣化成分は、絞り値、焦点距離、フォーカス位置等のレンズ情報に応じて異なる。このため、劣化モデルは、座標と劣化成分とレンズ情報との関係を規定した多次元マップにより構成される。
図5は、劣化成分の種類と、各劣化成分に関わるレンズ200の要素(レンズ情報)を示す模式図である。劣化成分の種類として、具体的には、輝度シェーディングや色シェーディング、レンズボケが挙げられる。レンズボケは、コマ収差、非点収差、球面収差、像面湾曲等を含む。図5に示すように、これらの劣化成分(図5に示す撮像劣化)は、撮影の際のレンズ要素(絞り値、焦点距離、フォーカス距離等のレンズ情報)に応じてその強度が変わるものである。また、劣化成分は、画像の明るさや色、鮮鋭感・コントラストに影響を及ぼすものであり、画像の位相には影響を及ぼすものではない。本実施形態では、これらの劣化成分について、撮影に用いられるカメラ本体100の撮像素子12やレンズ200に応じた劣化強度を劣化モデルとして利用する。劣化モデルは、劣化強度と画面内の座標とレンズ情報との関係を規定し、カメラ本体100が備えるメモリ170に予め格納されている。
図5に示すように、輝度シェーディングの場合、レンズ情報として、絞り値と焦点距離が劣化強度に関係する。このため、輝度シェーディングの場合、絞り値と焦点距離の2軸に対して劣化強度を定めた劣化モデルが構成される。同様に、色シェーディングの場合は、絞り値と焦点距離とフォーカス距離の3軸に対して劣化強度を定めた劣化モデルが構成される。
図5に示すレンズの要素において、絞り値は射出瞳径と関連があり、焦点距離・フォーカス距離は射出瞳距離と関連があり、絞り値は射出瞳径と連動して変化し、焦点距離・フォーカス距離は射出瞳距離と連動して変化する。従って、劣化モデルのパラメータとして、絞り値、焦点距離、フォーカス距離と、射出瞳径、射出瞳距離との対応付けがされていても良い。
[5.複数画像の位置合わせについて]
図4は、図3に対して、1枚目の画像と2枚目の画像が一致するように位置合わせをした状態を示す模式図である。図3に示すように、位置合わせの際には、先ず1枚目と2枚目の原画像成分に共通する領域Rを切り出す。そして、図5に示すように、1枚目の画像に対して2枚目の画像を位置ズレベクトルvだけ右下方向に動かすことで、領域Rを一致させ、1枚目の画像の被写体位置と2枚目の画像の被写体位置を一致させる。このように、1枚目の画像と2枚目の画像間で位置合わせを行うと、両画像の原画像成分の位置は一致し、劣化成分の発生する位置がズレることになる。図3に示す劣化モデルについても同様に、1枚目の画像に対応する劣化モデルに対して2枚目の画像に対応する劣化モデルを位置ズレベクトルvだけ右下方向に動かし、1枚目画像に対応する劣化モデルと2枚目画像に対応する劣化モデルを準備しておく。
従って、図5に示す位置合わせ後は、原画像成分は一致するが、劣化の度合いが異なる2つの撮像画像が得られることになる。このような特性を有する2つの画像が得られれば、両画像から原画像成分をキャンセルし、同じく位置合わせを行った劣化モデルと比較することで、レンズ情報を求めることができる。
[6.レンズ情報の推定]
本実施形態では、以上のような位置合わせを行った後の2枚の画像から、絞り値、焦点距離、フォーカス距離等のレンズ情報を推定する。推定の基本的な原理を以下に説明する。図5に示す位置合わせ後の劣化度合いのモデルにおいて、劣化度合いは、画面内の座標とレンズ情報によって定まる。ここでは、レンズ情報として焦点距離fを例に挙げて説明する。カメラ本体100側では、劣化度合いと、焦点距離f及び中心Oからの距離rとの関係を規定したモデルを予め保持しているものとする。ここで、劣化度合いの中心Oからの距離に応じて劣化が大きくなるものとすると、座標を表すパラメータは中心Oからの距離(像高)rとすることができる。従って、劣化モデルMは、焦点距離fと距離rの関数として、M(f,r)とすることができる。この場合、原画像成分をIとし、撮像により得られた点P、点Pにおける実際の劣化度合いがn,nであるとすると、以下の(1)式、(2)式が成立する。なお、距離rは中心Oから点Pまでの距離であり、距離rは中心Oから点Pまでの距離である。
I×n=M(f,r) ・・・(1)
I×n=M(f,r) ・・・(2)
(1)式と(2)式の左辺は、撮像により得られた入力画像から求まる。また、(1)式と(2)式の両辺を除算すると、原画像成分Iを消去できる。従って、焦点距離fを未知数として、劣化度合いと、焦点距離f及び中心Oからの距離rとの関係を規定した劣化モデルに基づいて、焦点距離fを算出することができる。具体的には、(1)式と(2)式の両辺を除算すると、左辺は撮像により得られる値であり、右辺は劣化モデルから求まるため、左辺と右辺が一致するような焦点距離fを求めることができる。絞り値、フォーカス距離についても同様の手法で算出することが可能である。なお、除算後の左辺と右辺の値が最小となるようにコスト演算によりレンズ情報を求める手法については、後述する。
図4に示したように、例えば劣化成分を輝度シェーディングとした場合、レンズ情報として絞り値と焦点距離が関係する。この場合も、絞り値と焦点距離の2軸に対して劣化強度を定めた劣化モデルと比較することで、絞り値と焦点距離を算出することが可能である。
以下、上記手法によるレンズ情報の推定について詳細に説明する。図6は、本実施形態に係る画像処理装置500の基本的な構成を示す模式図である。図6に示す構成は、図2のカメラ信号処理部110又は画像処理部120に設けられる。図6に示すように、画像処理装置500は、位置ズレ推定部510、位置合わせ部520、位置合わせ部530、コスト式最小化部(レンズ情報推定部)540、補正処理部590を有して構成される。図6に示す各構成要素は、回路(ハードウェア)、又はCPUなどの中央演算処理装置とこれを機能させるためのプログラム(ソフトウェア)から構成されることができる。図6において、一部の要素をハードウェアから構成し、残りをソフトウェアから構成することもできる。例えば、補正処理部590をハードウェアから構成し、残りの要素をソフトウェアから構成しても良い。
先ず、位置ズレ推定部510には、1枚目画像と2枚目画像のデータが入力される。位置ズレ推定部510は、1枚目の画像と2枚目の画像の位置ズレ量を算出する。次に、位置合わせ部520は、位置ズレ量から求めた位置ズレベクトルv(図4参照)を使用して2枚目画像の位置を1枚目画像に合わせる処理を行う。ここでの位置合わせは、画像の小領域毎にブロックマッチングをする等の方法で実現可能である。位置合わせがされた2枚目画像は、コスト式最小化部540に入力される。
位置合わせ部530には、劣化モデルが入力される。位置合わせ部530は、位置ズレ量から求めた位置ズレベクトルvを使って、撮像劣化の度合を表す劣化モデルの位置を合わせる。これにより、劣化モデルの位置が2枚目画像に対応する位置に設定される。位置合わせがされた劣化モデルは、コスト式最小化部540に入力される。
また、コスト式最小化部540には、1枚目画像が直接入力される。また、コスト式最小化部540には位置合わせをしていない劣化モデルが入力される。この劣化モデルは、1枚目画像に対応する。
コスト式最小化部540に、ここまでで得られた、1枚目画像、位置合わせ済み2枚目画像、劣化モデル、位置合わせ済み劣化モデルを利用して、2枚の画像から求めた劣化度合いと劣化モデルの二乗誤差平均をコストとしたコスト式を最小化することでレンズ情報を算出する。このように、コスト式最小化部540はレンズ情報を推定するレンズ情報推定部として機能する。
劣化の対象として、輝度シェーディングや色シェーディングのように、原画像に対してゲイン処理によって劣化が表される現象について説明する。輝度シェーディングや色シェーディング(以降、包括してシェーディングと称する)は、その強度が異なると、画像の明るさや色が異なる。このような画像間で正しく位置合わせをするために、位置ズレ推定部510では、画像の小領域毎に行うブロックマッチングの評価指標として、レベル変化に強いものを利用する。レベル変化に強いマッチングの評価指標としては、たとえばゼロ平均正規化相互相関(Zero−mean Normalized Cross Correlation, ZNCC)等が挙げられる。
コスト式最小化部540では、レンズ情報を推定するためにコスト式を利用する。シェーディング画像は、原画像成分とシェーディングゲインの積算によって表されるので、位置合わせ部520の位置合わせによって得られる2枚目画像と1枚目画像の2画像を除算すると、原画像成分がキャンセルされ、位相ズレのあるシェーディングの成分だけが残ることになる。原画像成分をI(x,y)、レンズ情報がpのときのシェーディングゲインモデルをS(x,y,p)とすると、以下の(3)式が成立する。ここでの(x,y)は画像上の座標を、(Δx,Δy)は2枚目の画像に対する1枚目の画像の位置ズレベクトルvを、pはシェーディングに関わるレンズ情報、例えば射出瞳距離や射出瞳径を表す。pは、絞り値や焦点距離であっても良い。
Figure 0006838608
(3)式の両辺の差分を撮影画像とモデルの誤差とし、この誤差をコストとして最小化する(4)式に示す。実際の撮影画像に含まれるノイズをn、画像サイズをM×Nとし、(3)式の両辺の差分の二乗平均を誤差として計算する。これによって、レンズ情報pを求めることが可能となる。
Figure 0006838608
実際の画像を使って(4)式の計算を行うと、画像同士の除算を行うことになり、絵柄によってゼロによる除算が発生し推定結果が不安定になることがある。これを避けるために、(4)式を(5)式のように変形して算出しても良い。
Figure 0006838608
式(3)に示す式で誤差を評価する際に、入力に用いる2枚の画像間の輝度レベルに差があると、正しく評価ができなくなる場合がある。図7に示す構成例では、これを回避するために、コスト式最小化部540の前段に輝度レベル調整部550を設けている。輝度レベル調整部550は、1枚目画像と位置合わせ後の2枚目画像の輝度を調整する。輝度の調整は、両画像の輝度を比較して行っても良いし、撮影時の両画像の撮影条件の違いに基づいて行っても良い。
図8は、位置ズレ推定部510の前段に縮小部560,562を設けた例を示す模式図である。1枚目画像、2枚目画像がボケている画像の場合、位置ズレ推定部510によるブロックマッチングに支障が生じる場合がある。縮小部560,562は、1枚目画像、2枚目画像を縮小することで、画像の精細度を高め、位置ズレ推定部510によるブロックマッチングの精度を高める。劣化の対象をコマ収差、非点収差、球面収差、像面湾曲等のボケ収差(以降、包括して収差と称する)とした場合、これらの現象は、原画像に対する畳み込み処理によって劣化を表すことができる。これらの収差は、その強度が異なると、画像の収差度合が異なる。このような画像間で正しく位置合せをするために、位置ズレ推定部510による位置ズレ推定の前に、推定の入力に使う2画像を縮小することで、ブロックマッチングの際に収差の影響を小さくすることが可能となる。
図8に示す構成の場合、位置ズレ推定部510では、縮小画像に基づいて1枚目画像と2枚目画像の位置ズレが求まる。このため、位置ズレ推定部510は縮小部560,562における縮小率を考慮して、縮小前の1枚目画像と2枚目画像の位置ズレを求める。これにより、位置合わせ部520,530において、縮小前の1枚目画像と2枚目画像の位置ズレに基づいて位置合わせを行うことができる。
収差画像は、原画像成分と収差度合を表すボケ関数(Point Spread Function, PSF)の畳み込み積分によって表される。図8のコスト式最小化部540は、位置合わせ部520の位置合わせによって得られる2枚目画像と、直接入力される1枚目画像の2画像について、周波数領域において除算を行うことで、図6、図7の場合と同様に原画像成分をキャンセルする。周波数領域では振幅成分と位相成分が分かれてしまうため、収差度合が同じであると仮定できる程度に画像を小領域に分割し、小領域毎に周波数領域における除算を行う。小領域に分割した原画像の周波数領域における振幅成分をI’(ξ,η)、レンズ情報がpのときの小領域番号iにおけるPSFモデルをS’(ξ,η,p)として、(6)式のように表すことができる。ここでの(ξ,η)は周波数領域における座標を、iは分割した小領域の位置番号を、i+Δiは2枚目画像の位置合わせ量を考慮した小領域の位置番号を表す。
Figure 0006838608
図6、図7の場合と同様に、(6)式の両辺の差分を誤差とし、画像の全領域に対する誤差をコストとして、コストが最小となるレンズ情報pを求めることが可能となる。
以上説明した構成例では、入力画像を2枚としていたが、入力画像を3枚以上とすることで処理の精度を更に高めることができる。入力画像が3枚以上となった場合、上述した構成による処理が適用可能となる画像の組み合わせが増え、推定精度をより高いものにすることができる。図9は、入力画像が3枚の場合の処理構成を示す模式図である。1枚目画像と2枚目画像、2枚目画像と3枚目画像、1枚目画像と3枚目画像の3通りの組み合について、位置ズレ推定部510、位置合わせ部520、位置合わせ部530、コスト式最小化部540による各処理を行う。最小コストレンズ情報算出部570は、各組み合わせにおける最小コスト値を比較し、最もコストが小さい時のレンズ情報を最終的な推定結果とする。この場合、最小コストレンズ情報算出部570は、コスト式最小化部540とともに、レンズ情報推定部として機能する。コスト自体が撮像により得られた画像と劣化モデルの誤差を評価したものであり、この値が最も小さい組み合わせの推定結果が最も精度の高い結果となる。
また、以上説明した構成例では、複数の入力画像を時系列的に取得した場合を示したが、複数の入力画像は複数のレンズで同時に撮影されたものであっても良い。図10は、第1レンズと第2レンズから入力画像を取得する例を示す模式図である。第1レンズ及び第2レンズは、例えば立体視画像(3D画像)を撮影する左眼画像用のレンズ、右眼画像用のレンズとすることができる。図8では、レンズが2つである2眼構成を例示したがレンズが3つ以上である3眼以上の構成に適用することも可能である。このように、本実施形態によれば、時間的又は空間的にズレた複数枚の入力画像に基づいてレンズ情報を推定することが可能である。
[7.レンズ情報に基づく補正処理]
以上のようにしてレンズ情報が求まると、補正処理部590では、レンズ情報に基づいて撮影画像の補正処理を行う。劣化モデルは、劣化成分と座標とレンズ情報との関係を規定しているため、レンズ情報が求まれば、画像中の各座標における劣化成分を求めることができる。補正処理部590は、レンズ情報に基づいて劣化モデルから劣化成分を算出し、劣化成分に基づいて画像を補正する。これにより、カメラ本体100と通信を行うことができないレンズ200を装着した場合であっても、レンズ200の特性に起因する劣化成分を確実に補正することが可能となり、高画質の撮像画像を得ることが可能となる。
以上説明したように本実施形態によれば、レンズ情報を推定するために撮影条件を変えること、特別な撮像装置を使うこと等の制約を受けることなく、連続して撮影した画像または同じ構成のカメラモジュールで撮影した画像を利用することで、撮影時のレンズ状態を推定することが可能となり、推定したレンズ情報を用いてレンズやカメラのイメージセンサに起因する劣化度合いを補正することが可能となる。
従って、レンズ交換式カメラに対してマウントアダプタを介してオールドレンズを装着した場合や、スマートフォンのカメラに対してアタッチメントでレンズを装着した場合など、ユーザがパーツを自由に組み合わせられるようなカメラモジュールを利用した場合においても、レンズ情報を高精度に推定することが可能とある。これにより、撮像劣化に対する補正処理を最適に行うことが可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1) 同一被写体を撮影した複数の入力画像の位置ズレを推定する位置ズレ推定部と、
推定した前記位置ズレに基づいて、複数の前記入力画像の位置を合わせる位置合わせ処理部と、
位置合わせがされた前記入力画像に基づいて、前記入力画像を撮影したレンズの劣化成分を示す劣化モデルに応じて当該レンズのレンズ情報を推定するレンズ情報推定部と、
を備える、画像処理装置。
(2) 前記位置合わせ処理部は、
前記位置ズレに基づいて、複数の前記入力画像の原画像成分の位置を合わせる第1の位置合わせ部と、
前記位置ズレに基づいて、複数の前記入力画像に対応する前記劣化モデルの位置を合わせる第2の位置合わせ部と、
を有する、前記(1)に記載の画像処理装置。
(3) 前記レンズ情報推定部は、複数の前記入力画像から原画像成分をキャンセルして得られる前記入力画像の劣化度合いと前記劣化モデルとを比較することで、前記レンズ情報を推定する、前記(1)又は(2)に記載の画像処理装置。
(4) 前記レンズ情報推定部は、前記入力画像の劣化度合いと前記劣化モデルとの差分が最小となるように前記レンズ情報を推定する、前記(3)に記載の画像処理装置。
(5) 前記劣化モデルは、前記レンズ情報と画像中の位置とに応じて画像の劣化を規定したモデルである、前記(1)〜(4)のいずれかに記載の画像処理装置。
(6) 前記劣化成分は、輝度シェーディング、色シェーディング、又は収差の特性である、前記(1)〜(5)のいずれかに記載の画像処理装置。
(7) 前記レンズ情報は、絞り値、焦点距離若しくはフォーカス距離、又は射出瞳径若しくは射出瞳距離である、前記(1)〜(6)のいずれかに記載の画像処理装置。
(8) 前記レンズ情報と前記劣化モデルに基づいて撮影画像を補正する補正処理部を備える、前記(1)〜(7)のいずれかに記載の画像処理装置。
(9) 前記位置合わせ部は、ブロックマッチングにより前記入力画像の位置を合わせる、前記(1)〜(8)のいずれかに記載の画像処理装置。
(10) 位置合わせがされた複数の前記入力画像の輝度を調整する輝度レベル調整部を備える、前記(1)〜(9)のいずれかに記載の画像処理装置。
(11) 複数の前記入力画像を縮小する縮小部を備え、
前記位置ズレ推定部は、縮小された複数の前記入力画像に基づいて前記位置ズレを推定する、前記(1)〜(10)のいずれかに記載の画像処理装置。
(12) 前記レンズ情報推定部は、
3つ以上の前記入力画像について、位置合わせがされた複数の組み合わせの前記入力画像について前記レンズ情報を推定し、
複数の前記組み合わせについて推定された前記レンズ情報のうち、前記劣化モデルとの差分が最小となるレンズ情報を推定する、前記(1)〜(11)のいずれかに記載の画像処理装置。
(13) 同一被写体を撮影した複数の入力画像の位置ズレを推定することと、
推定した前記位置ズレに基づいて、複数の前記入力画像の位置を合わせることと、
位置合わせがされた前記入力画像に基づいて、前記入力画像を撮影したレンズの劣化成分を示す劣化モデルに応じて当該レンズのレンズ情報を推定することと、
を備える、画像処理方法。
100 カメラ本体
200 レンズ
500 画像処理装置
510 位置ズレ推定部
520,530 位置合わせ部
540 コスト式最小化部
550 輝度レベル調整部
560,562 縮小部
570 最小コストレンズ情報算出部
590 補正処理部

Claims (13)

  1. 同一被写体を撮影した複数の入力画像の位置ズレを推定する位置ズレ推定部と、
    推定した前記位置ズレに基づいて、複数の前記入力画像の位置を合わせる位置合わせ処理部と、
    位置合わせがされた前記入力画像に基づいて、前記入力画像を撮影したレンズの劣化成分を示す劣化モデルに応じて当該レンズのレンズ情報を推定するレンズ情報推定部と、
    を備える、画像処理装置。
  2. 前記位置合わせ処理部は、
    前記位置ズレに基づいて、複数の前記入力画像の原画像成分の位置を合わせる第1の位置合わせ部と、
    前記位置ズレに基づいて、複数の前記入力画像に対応する前記劣化モデルの位置を合わせる第2の位置合わせ部と、
    を有する、請求項1に記載の画像処理装置。
  3. 前記レンズ情報推定部は、複数の前記入力画像から原画像成分をキャンセルして得られる前記入力画像の劣化度合いと前記劣化モデルとを比較することで、前記レンズ情報を推定する、請求項1又は2に記載の画像処理装置。
  4. 前記レンズ情報推定部は、前記入力画像の劣化度合いと前記劣化モデルとの差分が最小となるように前記レンズ情報を推定する、請求項3に記載の画像処理装置。
  5. 前記劣化モデルは、前記レンズ情報と画像中の位置とに応じて画像の劣化を規定したモデルである、請求項1〜4のいずれか1項に記載の画像処理装置。
  6. 前記劣化成分は、輝度シェーディング、色シェーディング、又は収差の特性である、請求項1〜5のいずれか1項に記載の画像処理装置。
  7. 前記レンズ情報は、絞り値、焦点距離若しくはフォーカス距離、又は射出瞳径若しくは射出瞳距離である、請求項1〜6のいずれか1項に記載の画像処理装置。
  8. 前記レンズ情報と前記劣化モデルに基づいて撮影画像を補正する補正処理部を備える、請求項1〜7のいずれか1項に記載の画像処理装置。
  9. 前記位置合わせ処理部は、ブロックマッチングにより前記入力画像の位置を合わせる、請求項1〜8のいずれか1項に記載の画像処理装置。
  10. 位置合わせがされた複数の前記入力画像の輝度を調整する輝度レベル調整部を備える、請求項1〜9のいずれか1項に記載の画像処理装置。
  11. 複数の前記入力画像を縮小する縮小部を備え、
    前記位置ズレ推定部は、縮小された複数の前記入力画像に基づいて前記位置ズレを推定する、請求項1〜10のいずれか1項に記載の画像処理装置。
  12. 前記レンズ情報推定部は、
    3つ以上の前記入力画像について、位置合わせがされた複数の組み合わせの前記入力画像について前記レンズ情報を推定し、
    複数の前記組み合わせについて推定された前記レンズ情報のうち、前記劣化モデルとの差分が最小となるレンズ情報を推定する、請求項1〜11のいずれか1項に記載の画像処理装置。
  13. 同一被写体を撮影した複数の入力画像の位置ズレを推定することと、
    推定した前記位置ズレに基づいて、複数の前記入力画像の位置を合わせることと、
    位置合わせがされた前記入力画像に基づいて、前記入力画像を撮影したレンズの劣化成分を示す劣化モデルに応じて当該レンズのレンズ情報を推定することと、
    を備える、画像処理方法。
JP2018527410A 2016-07-13 2017-05-09 画像処理装置及び画像処理方法 Active JP6838608B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016138935 2016-07-13
JP2016138935 2016-07-13
PCT/JP2017/017549 WO2018012094A1 (ja) 2016-07-13 2017-05-09 画像処理装置及び画像処理方法

Publications (2)

Publication Number Publication Date
JPWO2018012094A1 JPWO2018012094A1 (ja) 2019-04-25
JP6838608B2 true JP6838608B2 (ja) 2021-03-03

Family

ID=60953028

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018527410A Active JP6838608B2 (ja) 2016-07-13 2017-05-09 画像処理装置及び画像処理方法

Country Status (3)

Country Link
US (1) US10750084B2 (ja)
JP (1) JP6838608B2 (ja)
WO (1) WO2018012094A1 (ja)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3680827B2 (ja) 2002-08-27 2005-08-10 コニカミノルタフォトイメージング株式会社 デジタルカメラ
JP5020800B2 (ja) 2007-12-25 2012-09-05 キヤノン株式会社 撮像装置及びその制御方法
JP2009276294A (ja) * 2008-05-16 2009-11-26 Toshiba Corp 画像処理方法
JP2012244395A (ja) 2011-05-19 2012-12-10 Sony Corp 学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体
JP6140935B2 (ja) * 2012-05-17 2017-06-07 キヤノン株式会社 画像処理装置、画像処理方法、画像処理プログラム、および撮像装置
JP2014036262A (ja) 2012-08-07 2014-02-24 Nikon Corp 撮像装置
JP2015128226A (ja) 2013-12-27 2015-07-09 キヤノン株式会社 撮像装置、その制御方法及びプログラム

Also Published As

Publication number Publication date
US10750084B2 (en) 2020-08-18
US20190312996A1 (en) 2019-10-10
JPWO2018012094A1 (ja) 2019-04-25
WO2018012094A1 (ja) 2018-01-18

Similar Documents

Publication Publication Date Title
JP7145208B2 (ja) デュアルカメラベースの撮像のための方法および装置ならびに記憶媒体
US9998650B2 (en) Image processing apparatus and image pickup apparatus for adding blur in an image according to depth map
JP5147994B2 (ja) 画像処理装置およびそれを用いた撮像装置
US10313578B2 (en) Image capturing apparatus and method for controlling image capturing apparatus
US9641769B2 (en) Image capture apparatus and method for controlling the same
JP7289653B2 (ja) 制御装置、内視鏡撮像装置、制御方法、プログラムおよび内視鏡システム
JP5054248B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、撮像装置
JP6516429B2 (ja) 距離計測装置、撮像装置、および距離計測方法
US9008412B2 (en) Image processing device, image processing method and recording medium for combining image data using depth and color information
JP5947601B2 (ja) 焦点検出装置、その制御方法および撮像装置
JP6478511B2 (ja) 画像処理方法、画像処理装置、複眼撮像装置、画像処理プログラム、および、記憶媒体
WO2013027504A1 (ja) 撮像装置
JP6300670B2 (ja) 焦点調節装置、焦点調節方法およびプログラム、並びに撮像装置
WO2021172019A1 (ja) 画像処理装置および画像処理装置の制御方法
JP7378219B2 (ja) 撮像装置、画像処理装置、制御方法、及びプログラム
JP2020036310A (ja) 画像処理方法、画像処理装置、撮像装置、レンズ装置、プログラム、記憶媒体、および、画像処理システム
JP5784395B2 (ja) 撮像装置
JP2015115733A (ja) 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
US9143762B2 (en) Camera module and image recording method
JP6838608B2 (ja) 画像処理装置及び画像処理方法
JP6436840B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP2021136684A (ja) 画像処理装置および画像処理装置の制御方法
JP2013186355A (ja) 自動合焦装置、自動合焦方法及びプログラム
JP2012022309A (ja) 撮像装置
JP6604737B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200407

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200407

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210112

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210125

R151 Written notification of patent or utility model registration

Ref document number: 6838608

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151