JP5820257B2 - 画像処理装置、撮像装置、画像処理方法、及びプログラム - Google Patents

画像処理装置、撮像装置、画像処理方法、及びプログラム Download PDF

Info

Publication number
JP5820257B2
JP5820257B2 JP2011272754A JP2011272754A JP5820257B2 JP 5820257 B2 JP5820257 B2 JP 5820257B2 JP 2011272754 A JP2011272754 A JP 2011272754A JP 2011272754 A JP2011272754 A JP 2011272754A JP 5820257 B2 JP5820257 B2 JP 5820257B2
Authority
JP
Japan
Prior art keywords
image
captured
weight
unit
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011272754A
Other languages
English (en)
Other versions
JP2012186790A5 (ja
JP2012186790A (ja
Inventor
澤田　圭一
圭一 澤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2011272754A priority Critical patent/JP5820257B2/ja
Priority to US13/356,078 priority patent/US8786718B2/en
Priority to CN201210039795.8A priority patent/CN102682440B/zh
Publication of JP2012186790A publication Critical patent/JP2012186790A/ja
Publication of JP2012186790A5 publication Critical patent/JP2012186790A5/ja
Application granted granted Critical
Publication of JP5820257B2 publication Critical patent/JP5820257B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Description

本発明は、多視点からの撮影画像を取得する画像処理装置及び撮像装置、その画像処理方法、並びにプログラムに関する。
多視点からの撮影画像を取得する撮像装置が提案されている（例えば、非特許文献１参照）。この撮像装置は複数の撮像部を有し、各撮像部がそれぞれ撮影を行うことで、多視点からの撮影画像を取得する。そして撮影後に各撮影画像を合成することで、被写体における基準視点からの距離に応じたボケを付加した画像（以下、ボケ画像）や、空間解像度の高い画像、ダイナミックレンジの広い画像、等を生成することができる。特にボケ画像の生成は、背景をぼかすことで主被写体を際立たせる効果があり、人物撮影等に有用である。このような多視点からの撮影を行う撮像装置を、以下では多眼カメラと称する。
特開２０１０−１１４７６０号公報
Aaron Isaksen、他２名,"Dynamically Reparameterized Light Fields",Proc.ACM.SIGGRAPH,pp.297-306,2000.
多眼カメラは、撮像部の数に応じた多数のレンズを備えるため、撮影者の指でレンズを塞いだ状態で撮影を行ってしまう可能性が高い。以下、撮影者の指でレンズが塞がれることを「指かかり」と称する。多眼カメラによる撮影画像群の中に、指かかり等による欠陥のある画像が含まれると、画像合成の失敗や精度の低下が起こってしまう。
そこで多眼カメラにおいて、指かかりを検知した場合に強調表示を行って撮影者に通知する技術が提案されている（例えば、特許文献１参照）。しかしながら、撮影者が該通知を無視して、指かかりのあるままで撮影を行ってしまう可能性がある。
本発明は上述した問題を解決するためになされたものであり、多視点からの撮影画像を取得する装置において、撮影画像群に欠陥を含む画像がある場合でも、ボケ味の対称性を維持したボケ画像を生成することを目的とする。
本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。すなわち、
異なる視点から被写体を撮影する複数の撮像手段によって撮影されたそれぞれの撮影画像を取得する取得手段と、
前記複数の撮影画像から欠陥画像を特定する特定手段と、
前記特定手段により特定された欠陥画像を撮影した撮像手段の位置に基づいて、各撮影画像に対する重みを決定する決定手段と、
前記決定手段により決定された重みに基づいて、前記複数の撮影画像を重み付け合成して合成画像を生成する合成手段と、
を備え、
前記決定手段は、前記複数の撮影画像から、前記欠陥画像とは異なる１以上の撮影画像を選択画像として選択し、及び、前記欠陥画像及び選択画像のそれぞれに対する重みを、前記欠陥画像又は選択画像として選択されなかった撮影画像の重みよりも小さくなるように決定し、
前記決定手段は、前記欠陥画像又は選択画像を撮影しなかった前記撮像手段の重心が前記合成画像の視点である基準視点として設定されるように、前記重みと前記基準視点との関係を決定する
ことを特徴とする。
本発明によれば、多視点からの撮影画像を取得する装置において、撮影画像群に欠陥を含む画像がある場合でも、ボケ味の対称性を維持したボケ画像を生成することができる。
本発明に係る一実施形態における撮像装置（多眼カメラ）の外観を示す図、 多眼カメラの構成を示すブロック図、 多眼カメラにおける撮像部の構成を示す図、 デジタル信号処理部の処理を示すブロック図、 画像合成部の構成を示すブロック図、 指かかりの例を模式的に示す図、 ボケ画像生成部の構成を示すブロック図、 画像合成処理を示すフローチャート、 基準視点と撮影画像の視点との距離関係を模式的に示す図、 重み設定処理を示すフローチャート、 基準視点を通る対称軸と撮像部とを模式的に示した図、 各撮像部のセンサと被写体の位置関係を模式的に示した図、 撮影画像の重畳処理を示すフローチャート、 第２実施形態における画像合成部の構成を示すブロック図、 第２実施形態における画像合成処理を示すフローチャート、 第２実施形態における重要撮像部群の例を模式的に示す図、 第２実施形態における重要撮像部群と基準視点を模式的に示す図、 第３実施形態における重み調整データベースの一例を示す図、 第３実施形態における重み調整撮像部を模式的に示す図、 第４実施形態における撮像部と対称軸とを模式的に示す図、である。
以下、本発明に係る実施形態について図面を用いて詳細に説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施の形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
＜第１実施形態＞
本実施形態では、異なる視点からの複数の撮影画像を合成して、所定の基準視点から撮影されたボケ画像を生成する際に、該複数の撮影画像のうち、欠陥画像と、該欠陥画像と対称位置にある撮影画像の重みを小さくして合成することを特徴とする。これにより、ボケ味の対称性を維持したボケ画像を生成することができる。
●装置構成
図1に、本実施形態における撮像装置の外観を示す。本実施形態の撮像装置は、同一面上に正方格子状に配置された、25個の撮像部（カメラ）を内蔵し、それぞれが異なる視点からの画像を撮影する所謂多眼カメラである。101〜125がそれぞれの撮像部である。また、126は撮影ボタン、127はフラッシュ、128はカメラボディである。なお、多眼カメラが内蔵するカメラの数はこの例（25個）に限定されず、3個以上の任意の個数の撮像部を有する多眼カメラに対して本発明は適用可能である。
図2は、本実施形態における多眼カメラの内部構成を示すブロック図である。図1に示す撮像部101〜125のそれぞれは、被写体の光情報をセンサで受光し、A/D変換を施すことによって撮影画像のデジタルデータ（撮影画像データ）を取得し、該デジタルデータをデータ転送経路であるバス215に出力する。
ここで、撮像部101〜125の詳細構成を図3に示し、説明する。撮像部101〜125のそれぞれは、被写体の光量を検出する撮像系と、該検出結果を信号値に変換する変換系からなる。撮像系は、ズームレンズ301、フォーカスレンズ302、ぶれ補正レンズ303、絞り304、シャッター305、光学ローパスフィルタ306、iRカットフィルタ307、カラーフィルタ308、CMOSやCCD等のセンサ309、から構成される。変換系はA/D変換部310からなり、撮像系で検知された被写体の光量をデジタルデータに変換し、該デジタルデータをバス215へ出力する。
図2に戻り、デジタル信号処理部209は、バス215を介して入力された撮影画像のデジタルデータを入力して、各種画像処理を施す。図4に、デジタル信号処理部209の詳細構成を示す。図4に示すようにデジタル信号処理部209は、ノイズ低減処理部401、ホワイトバランス制御部402、色変換部403、ガンマ処理部404からなる。入力されたデジタルデータに対し、ノイズ低減処理部401でノイズ低減処理、ホワイトバランス制御部402でホワイトバランス処理、色変換部403で色補正処理、ガンマ処理部404でガンマ処理、をそれぞれ施すことで、デジタル画像信号を生成する。該デジタル画像信号は、圧縮・伸張部210によって、JpegやMpegなどの圧縮ファイルフォーマットに変換される。
外部メモリ制御部211は、多眼カメラをPCその他メディア212（例えば、ハードディスク、メモリーカード、CFカード、SDカード、USBメモリ等）に接続するためのインフェースである。
CPU203は、多眼カメラにおける撮影制御はもちろん、各構成の処理全てに関わり、ROM201やRAM202に格納された命令を順次読み込んで解釈し、その結果に従って処理を実行する。また、ROM201とRAM202は、その処理に必要なプログラム、データ、作業領域等をCPU203に提供する。
撮像系制御部204は、フォーカスを合わせる、シャッターを開く、絞りを調節する等、CPU203の指示に従って撮像系の制御を行う。フラッシュ214は、被写体に光を照射する。
操作部205は、ボタンやモードダイヤルなどが該当し、これらを介してユーザ指示が入力される。
CG生成部206は、文字やグラフィック等を生成する。表示部208は、一般的には液晶ディスプレイが広く用いられており、CG生成部206やデジタル信号処理部209、後述する画像合成部213から受け取った撮影画像や文字の表示を行う。また、タッチスクリーン機能を有していても良く、その場合は、ここからのユーザ指示を操作部205の入力として扱うことも可能である。
画像合成部213は、撮像部101〜125から得られたデジタル画像或いは、デジタル信号処理部209から出力されるデジタル画像群を利用して新たな画像（ボケ画像等）を生成し、その結果（合成画像データ）をバス215へ出力する。画像合成部213は本実施形態の特徴をなす構成であり、その処理の詳細については後述する。
なお、本実施形態における多眼カメラの構成要素は上記以外にも存在するが、本実施形態の主眼ではないため説明を省略する。
●画像合成処理
以下、画像合成部213の詳細構成について、図5を用いて説明する。画像合成部213では、撮像部101〜125より入力された、被写体に対する視点がそれぞれ異なる撮影画像群から、ボケ画像を生成して出力する。
まず欠陥特定部501において、撮像部101〜125で取得した撮影画像群から、指かかり等によって、本来撮影されているべき被写体像の少なくとも一部が欠落している画像を、合成の対象外とすべき欠陥画像（欠陥画像データ）として特定する。ここで図6に、指かかりの発生している模式図を示す。欠陥特定部501における欠陥画像の特定は、複数の撮像部による撮影画像を比較する等、周知の方法を用いることができる。例えば、ある撮影画像中に、他の撮影画像と比較して極端に暗い部分が存在していれば、該撮像画像には指かかりが発生していると特定される。また、他の撮影画像と比較して、ある撮影画像のAF(オートフォーカス)評価値が撮影部から極端に近い距離で高くなる場合、該撮影画像には指かかりが発生していると特定される。なお、欠陥画像の対象は指かかりに限らず、レンズの汚れや傷の存在等、異常な撮影状態下で撮影された画像を欠陥画像として特定して構わない。また、本撮影の前に予備撮影を行い、予備撮影画像群から欠陥画像を特定しても構わない。
重み設定部502は、欠陥特定部501が特定した欠陥画像の視点に応じて、撮像部101〜125で取得した各撮影画像の重みを設定する。この重み設定処理の詳細については後述する。
ボケ画像生成部503は、撮像部101〜125で取得した撮影画像群を所定の基準視点において合成することで、基準視点から撮影したボケ画像を生成する。ここで基準視点とは、ボケ画像を撮影する仮想的な視点のことであり、本実施形態では、各撮影画像の視点の重心を基準視点とする。例えば図1に示す多眼カメラの例では、全撮像部101〜125の中央に位置する撮像部113の視点と同一位置が基準視点となる。
ここで、画像合成部213における画像合成処理について、図8のフローチャートを用いて説明する。まずS801で欠陥特定部501において、撮像部101〜125で取得した撮影画像群から、欠陥画像を特定する。そしてS802で重み設定部502において、各撮影画像の重みを設定する。そしてS803でボケ画像生成部503において、各撮影画像の視点から基準視点へのシフト量を算出し、S804で各撮影画像を重み付け重畳する。これにより、ボケ画像が生成される。
●重み設定処理(S802)
以下、重み設定部502における重み設定処理について詳細に説明する。この処理は、上記図8のS802における重み設定処理に対応する。
重み設定部502では、後述する撮影画像重畳処理において各撮影画像を重み付け重畳する際の重みを設定する。例えば、下式(1),(2)で表されるような、各撮影画像の視点と基準視点との距離に応じた重みｗiを算出して撮影画像重畳時に用いれば、生成されるボケ画像におけるボケ味は基準視点に関して点対称となる。
ｗi＝ｋ・ｗ'i ・・・(1)
ｗi'＝exp(-(√(ｌx2+ｌy2))/Ｃ) ・・・(2)
上式において、iは各撮影画像を識別する識別子、ｋは後述する正規化係数、ｗ'iは正規化前の重み、Ｃは任意の定数である。また、ｌx,ｌyはそれぞれ、図９に示すように基準視点と撮影画像の視点との横方向（図１において撮像部101〜105が並ぶ方向）と、該横方向に垂直な縦方向の距離である。上式によれば、撮影画像の視点と基準視点との距離が大きいほど、重みが小さくなることが分かる。
ところで、欠陥を含む撮影画像がある場合、その欠陥画像をボケ画像の生成に用いてしまうと、ボケ画像の画質が低下したり、破綻したりする。そこで本実施形態では、欠陥特定部501で欠陥画像と判定された撮影画像については、その重みｗiを0（ゼロ）にして、ボケ画像生成に反映されないように、すなわちボケ画像生成に用いないようにする。しかし、欠陥画像の重みｗiを0にしてしまうと、重みｗiの基準視点に関する対称性が崩れるため、ボケ味の対称性も崩れてしまう。そこで本実施形態では、基準視点に関する撮影画像の重みｗiの対称性を維持するように、欠陥画像以外の重みｗiを調節する。
図10は、重み設定部502における重み設定処理を示すフローチャートである。まずS1001で、基準視点に対し、欠陥画像を取得した撮像部と対称的な位置にある撮像部で取得した撮影画像を、重み調整の対象となる重み調整画像として選択する。
ここで、重み調整画像の選択方法について、図11を用いて説明する。図11は、撮像部101〜125と、撮像部113の基準視点を通る4本の対称軸1101〜1104を模式的に示している。例えば、撮像部120により取得した撮影画像が、欠陥画像として特定されたとする。この場合、該欠陥画像に対して、以下の全7つの撮像部にて取得された撮影画像が、重み調整画像として選択される。まず、撮像部120に対し、対称軸1101,1102,1103,1104のそれぞれに関して線対称な位置にある、撮像部110,116,124,102、を選択する。そしてさらに、撮像部110と対称軸1104に関して線対称な位置にある撮像部104、撮像部116と対称軸1104に関して線対称な位置にある撮像部122、撮像部102と対称軸1103に関して線対称な位置にある撮像部106、を選択する。以上のように選択された7つの撮像部102,110,116,124,104,106,122による撮影画像が、重み調整画像となる。
このように本実施形態では、まず、基準視点を通る複数の直線(1101,1102,1103,1104)に対して欠陥画像を撮影した第１の撮像部(120)と対象位置にある第２の撮像部(110,116,124,102)を特定する。さらに、該直線(1101,1102,1103,1104)に対して第２の撮像手段(110,116,124,102)と対称位置にある第３の撮像部(104,122,106)を特定する。そして、これら第２および第３の撮像部(102,110,116,124,104,106,122)で撮影された撮影画像を、重み調整画像として選択する。これにより、基準視点を中心として、その周囲に欠陥画像と重み調整画像の各撮像部のそれぞれが互いに点対称をなすように配置される。
なお実際には、基準視点を通る全ての直線を対称軸として考える必要がある。すなわち、基準視点を通る任意の直線に対して撮像部120と対称位置にある撮像部の全てを、重み調整画像の撮像部として選択する必要がある。しかしながら図11に示す多眼カメラの例では、4本の対称軸1101〜1104について線対称な位置にのみ撮像部が存在するため、この4本の対称軸1101〜1104のみを例示した。
なお、本願の目的である合成後のボケ味の対称性を維持するためには、少なくとも、基準視点に対し、欠陥画像を撮影した撮像部と点対称となる位置にある撮像部による撮影画像を重み調整画像とすれば良い。もちろん、図11に示したように、複数の撮像部が基準視点を囲む対象位置に点在する方が、ボケ味の対象性はより高精度に維持される。
以上のように重み調整画像が選択されると、次にS1002で、撮影画像を識別するインデックスiに1をセットする。そしてS1003でi番目の撮影画像を注目画像として、S1004で該注目画像に対する正規化前の重みｗ'iを上記(2)式により算出する。そしてS1005で、注目画像が重み調整画像または欠陥画像であるか否かを判定し、重み調整画像または欠陥画像であれば、S1006で正規化前の重みｗ'iが0となるように調整する。一方、S1005で注目画像が重み調整画像でなく欠陥画像でもない場合には、正規化前の重みｗ'iの調整は行わない。これにより、欠陥画像と重み調整画像に対してｗ'iが0に設定されていることから、各撮影画像の重みｗiの分布が基準視点に関してほぼ点対称となる。
そしてS1007で、iが撮影画像枚数に達しているか否かを判定し、達していない場合にはS1008でiに1を加算し、iが撮影画像枚数に達するまでS1003〜S1007の処理を繰り返す。iが撮影画像枚数に達すると、S1009で各撮影画像の重みｗ'iの正規化を行う。重みｗ'iの正規化は、各撮影画像の重みｗ'iの合計が1.0となるように、上記(1)式における正規化係数ｋを設定することにより行う。
以上のように、基準視点に対し、欠陥画像を取得した撮像部と対称位置にある撮像部による（１以上の）撮影画像を重み調整画像とし、その重みが0となるように調整することで、基準視点に対するボケ味の対称性を維持する。
なおここでは、欠陥画像と重み調整画像の正規化前の重みｗ'iが共に0となるように調整する例を示したが、重みの調整方法はこの例に限らず、重みｗi'がS1004で上記(2)式より算出された値よりも小さくなるように調整すれば良い。このとき、対象性を重視するのであれば、欠陥画像と調整対象画像の重みを同じ値とすることが望ましい。また、重みの算出式は上記(1),(2)式に限定されず、撮像部の位置に応じた重みが算出できれば良い。
また、重み調整画像の枚数が所定数を超えた場合に、表示部208に警告を表示してユーザに報知するようにしても良い。該報知によってユーザは、重み調整画像が上限を超えた枚数に達してしまうこと、すなわち欠陥画像の枚数が許容範囲を超えたことを知ることができる。
●ボケ画像生成処理(S803,S804)
以下、ボケ画像生成部503におけるボケ画像生成処理について詳細に説明する。この処理は、上記図8のS803におけるシフト量算出処理およびS804の撮影画像重畳処理に対応する。
図7に、ボケ画像生成部503の詳細構成を示す。シフト量算出部701は、各撮影画像の視点から基準視点へのシフト量を算出する。撮影画像重畳部702は、各撮影画像をシフト量算出部701で算出したシフト量分シフトすることで、撮影画像の視点を基準視点に合わせ（位置合わせを行い）、重み設定部502で設定した重みに応じた重畳を行うことで、基準視点から撮影したボケ画像を生成する。
まず、シフト量算出部701におけるシフト量算出処理について、図12を用いて説明する。図12は、各撮像部のセンサと被写体の位置関係を模式的に示した図である。図12において、センサ面1201は、撮像部101〜125のセンサ309が位置する平面、被写体ピント面1202は、撮像部101〜125のピントが合う距離にある平面、視点平面1203は、撮像部101〜125の全視点を含む平面である。また、fは撮像部101〜125の焦点距離、ｓxはセンサ309の横方向（図1において撮像部101〜105が並ぶ方向）の長さである。なお、センサ309の横方向の画素数をｎxとする。また、ｒxは被写体ピント面1202においてセンサ309の全画素に撮像される範囲の横方向の長さ、ｏxは被写体ピント面1202においてセンサ309の１画素に撮像される範囲の横方向の長さ、である。また、ｌxは基準視点と撮影画像の視点との横方向の距離、ｄは被写体ピント面1202から視点平面1203までの距離、を表している。
本実施形態のシフト量算出処理においては、各撮影画像を基準視点から撮影した画像に合わせるために、各撮影画像を何画素シフトすればよいかを算出する。ここで、基準視点と撮影画像の視点との距離はｌxであるから、ｌxに相当する画素数をシフト量とすればよい。被写体ピント面1202からの距離ｄである視点平面1203において、ｌxに相当する画素数ｐxは、以下の(3)〜(5)式で表すことができる。
ｐx＝ｌx／ｏx ・・・(3)
ｏx＝ｒx／ｎx ・・・(4)
ｒx＝ｓx・(ｄ／ｆ) ・・・(5)
本実施形態では、以上のように算出された、距離ｄに対してｌxに相当する画素数ｐxを、各撮影画像の視点から基準視点へのシフト量とする。これにより、視点平面1203から距離ｄにある、被写体ピント面1202上の被写体は各撮影画像に写る位置がちょうど重なるため、各撮影画像を重畳した際にボケない。一方、視点平面1203から距離ｄ以外にある、すなわち被写体ピント面1202からずれた位置にある被写体については、ｌxに相当する画素数が変わるため、各撮影画像に写る位置が重ならず、重畳後にボケることになる。
以上は横方向のシフト量ｐxについて説明したが、縦方向のシフト量ｐyに関しても同様に、以下の(6)〜(8)式で表すことができる。
ｐy＝ｌy／ｏy ・・・(6)
ｏy＝ｒy／ｎy ・・・(7)
ｒy＝ｓy・(ｄ／ｆ) ・・・(8)
(6)〜(8)式において、ｌyは基準視点と撮影画像の視点との縦方向の距離、ｎyはセンサ309の縦方向の画素数である。また、ｒyは被写体ピント面1202においてセンサ309の全画素に撮像される範囲の縦方向の長さ、ｏyは被写体ピント面1202においてセンサ309の1画素に撮像される範囲の縦方向の長さである。また、ｓyはセンサ309の縦方向の長さである。
次に、撮影画像重畳部702における撮影画像重畳処理について、図13のフローチャートを用いて説明する。まずS1301で、ボケ画像の全画素の画素値を0で初期化する。次にS1302で、撮影画像を識別するインデックスjに1をセットする。そしてS1303でj番目の撮影画像を注目画像として、S1304で、重み設定部502で設定した重みにより、注目画像の全画素の画素値に対して重み付けを行う。この重み付けは、以下の(9)式により行う。
ｖ'jk＝ｗj・ｖjk ・・・(9)
ここで、ｖjkは重み付け前の画素値、ｗjは撮影画像の重み、v'jkは重み付け後の画素値であり、kは撮影画像を構成する各画素を表す識別子である。
次にS1305で、シフト量算出部701で算出したシフト量の分、注目画像を基準視点方向にシフトすることで、注目画像の視点を基準視点に合わせる。そしてS1306で、ボケ画像の画素値に注目画像の画素値を重畳する。
そしてS1307で、jが撮影画像枚数に達しているか否かを判定し、達していない場合にはS1308でjに1を加算し、jが撮影画像枚数に達するまでS1303〜S1307の処理を繰り返す。jが撮影画像枚数に達した時点で、ボケ画像が完成する。
以上説明したように本実施形態によれば、欠陥画像を取得した撮像部と基準視点に対して対称位置にある撮像部により取得した撮影画像を選択し、該撮影画像に対する重みをより小さくして（例えば0として）ボケ画像を生成する。これにより、該ボケ画像におけるボケ味の対称性を維持することができる。
なお本実施形態は、25個の撮像部が正方格子状に配置された多眼カメラを例として説明したが、本発明の多眼カメラにおける撮像部の配置は正方格子状に限らず、格子状の配置であれば適用可能である。
＜第２実施形態＞
以下、本発明に係る第２実施形態について説明する。上述した第１実施形態では、撮像部101〜125の視点の重心を基準視点とし、欠陥画像を取得した撮像部と基準視点に対して対称的な位置にある撮像部で取得した撮影画像について、その重みをより小さくする例を示した。第２実施形態では、欠陥画像の視点に応じて基準視点を決定し、該基準視点に関して各撮影画像の重みが対称性を維持するように、重みを変更する例を示す。
なお、第２実施形態における撮像装置の構成は上述した第１実施形態において図1および図2に示す構成と同様であるため、説明を省略する。第２実施形態においては、画像合成部213の処理が第１実施形態と異なるため、以下では第２実施形態における画像合成処理について詳細に説明する。
●画像合成処理
第２実施形態における画像合成部213の詳細構成について、図14を用いて説明する。第２実施形態における画像合成部213は、欠陥特定部501、重要撮像部群設定部1401、基準視点設定部1402、重み設定部1403、ボケ画像生成部503、により構成される。なお、欠陥特定部501、ボケ画像生成部503における処理は第１実施形態と同様であるため、説明を省略する。重要撮像部群設定部1401は、ボケ画像生成時に参照されるべき重要撮像部を決定する。基準視点設定部1402は、ボケ画像生成時に参照される重要撮像部の位置に応じて、基準視点を決定する。
ここで、第２実施形態における画像合成処理について、図15のフローチャートを用いて説明する。まずS1501で欠陥特定部501において、撮像部101〜125で取得した撮影画像群から欠陥画像を特定する。そしてS1502で重要撮像部群設定部1401において重要撮像部群を設定し、S1503で基準視点設定部1402において基準視点を設定する。そしてS1504で重み設定部502において、各撮影画像の重みを設定する。そしてS1505でボケ画像生成部503において、各撮影画像の視点から基準視点へのシフト量を算出し、S1506で各撮影画像を重み付け重畳する。これにより、ボケ画像が生成される。
以下、重要撮像部群設定部1401における重要撮像部群の設定処理について、図16を用いて説明する。図16は、撮像部101〜125の配列を模式的に示した図である。重要撮像部群設定部1401では、欠陥画像を取得した撮像部を除く撮像部の中で、できるだけ大きな数ｎによるｎ行ｎ列の正方格子状の撮像部群を構成するように、複数の撮像部を選択する。ここで選択された撮像部群が、重要撮像部群として決定される。例えば図16(a)は、撮像部125による撮影画像が欠陥画像であった場合の、重要撮像部群の候補1601〜1603を示している。これらの候補1601〜1603の中の１つを、重要撮像部群として決定する。また図16(b)は、撮像部119と撮像部125による撮影画像が欠陥画像であった場合の、重要撮像部群の候補1604〜1608を示しており、この中の１つを重要撮像部群として決定する。なお、図16(a),(b)はそれぞれ、ｎ=4,ｎ=3の例を示している。
以下、基準視点設定部1402における基準視点の設定処理について、図17を用いて説明する。基準視点設定部1402では、重要撮像部群設定部1401で設定された重要撮像部群の視点の重心を、基準視点として設定する。ここで図17(a),(b)はそれぞれ図16(a),(b)に対応し、重要撮像部群の候補ごとに決定される、基準視点例を示している。図17(a)では、1601〜1603のそれぞれが重要撮像部群として決定された場合における、基準視点1701〜1703を示している。また図17(b)は、1604〜1608のそれぞれが重要撮像部群として決定された場合における、基準視点1704〜1708を示している。
以下、重み設定部1403における重み設定処理について、詳細に説明する。重み設定部1403では、第１実施形態における重み設定部502と同様に、図10のフローチャートに従って
各撮影画像の重みを設定する。ただし第２実施形態では、S1001における重み調整画像の選択方法が第１実施形態と異なる。第２実施形態では、重要撮像部群に含まれない撮像部で取得した撮影画像のうち、欠陥画像を除く撮影画像を重み調整画像として選択する。このように選択された重み調整画像、および欠陥画像に対する重みを0とすることで、基準視点設定部1402で設定された基準視点について、有効な各撮影画像の重み分布が点対称となる。なお第１実施形態と同様に、重み調整画像と欠陥画像の重みを0ではなく、S1004で算出された値よりも小さくなるように調整しても良い。
以上説明したように第２実施形態によれば、欠陥画像の視点位置に応じて基準視点を決定し、該基準視点について各撮影画像の重みが対称性を維持するように重みを変更してボケ画像を生成する。これにより、ボケ画像におけるボケ味の対称性を維持することができる。
＜第３実施形態＞
以下、本発明に係る第３実施形態について説明する。上述した第１実施形態では、画像を合成する際に、欠陥画像を取得した撮像部で取得した撮影画像と、基準視点に関して欠陥画像を取得した撮像部とは対称的な位置にある撮像部で取得した撮影画像と、に対してより小さい重みを与えた。第３実施形態では、各撮像部が欠陥画像を取得した場合の、他の撮像部で取得した撮影画像の重みの決定方法が予めデータベースに保持される。そして、このデータベースを用いて各撮像部で取得した撮影画像の重みが決定される。
なお、第３実施形態における撮像装置の構成は、図1及び図2に示す、上述した第１実施形態に係る構成と同様であるため、説明を省略する。また、第３実施形態に係る処理は第１実施形態と類似しているが、重み設定部502が行う処理が第１実施形態とは異なる。以下では第３実施形態における重み設定処理(S802)について詳細に説明する。
●重み設定処理(S802)
以下、第３実施形態における重み設定部502が行う処理について説明する。第３実施形態でも第１実施形態と同様、(1)、(2)式で表されるような重みwiが算出され、その後、重みwiが調整される。第１実施形態では、欠陥画像を取得した撮像部で取得した撮影画像についての重みがより小さくされた。また、欠陥画像を取得した撮像部とは基準視点に関して対称的な位置にある撮像部で取得した撮影画像についても、重みがより小さくされた。しかしながら第３実施形態では、後述する重み調整データベースに従って撮影画像の重みが調整される。
以下、重み調整データベースの一例である図１８を用いて重み調整データベースについて説明する。図１８において、各行は重みを調整される各撮像部に対応し、各列は欠陥画像を取得した撮像部に対応する。また、各要素は、ある撮像部aが欠陥画像を取得した場合に用いられる各撮像部iの重みを調整する係数Gaiを示す。欠陥画像を取得した撮像部をaとした時、重み設定部502は重みwiを有する撮像部iについて、調整後の重みwi''を以下の(10)式に従って算出する。
wi''=Gai・wi ・・・(10)
重み調整データベースの各要素Gaiの値は任意であるが、撮像部iと基準視点との間の距離と、撮像部aと基準視点との間の距離とが近いほど、小さい値であることが望ましい。例えば、以下の(11)式のように重み調整データベースの要素Gaiの値を決定すればよい。
Gai=exp(-abs(√(lxa2+lya2)-√(lxi2+lyi2)・D) ・・・(11)
式(11)において、lxa及びlyaは、基準視点と撮像部aとの間の横方向及び該横方向に垂直な縦方向の距離である。また、lxi及びlyiは基準視点と撮像部iとの間の横方向及び該横方向に垂直な縦方向の距離である。また、abs(b)はbの絶対値を表す。なお、Dは任意の定数である。Dは、撮像部iと基準視点との間の距離と、撮像部aと基準視点との間の距離とが十分近い場合を除いて、1に近い値であることが望ましい。式(11)に従って重み調整データベースを作成することにより、基準視点を中心とする撮像部aを含む同心円上の撮像部による撮影画像について、重みが小さくされうる。
なお、全ての撮影画像の重みを重み調整データベースに従って調整する必要は無い。以下、撮影画像の重みを選択的に重み調整データベースを用いて調整する処理について説明する。図19は各撮像部を模式的に示す。図19において、撮像部125は欠陥画像を取得した撮像部である。また、撮像部103及び111が重みを調整される撮像部である。図１９のように、重心が基準視点位置に近くなるように重みが調整される撮像部を選択することにより、ボケの形を対称に保つことができる。例えば、以下の(12)、(13)式に従うように重みが調整される撮像部を選択することにより、ボケの形を対称に保つことができる。
Figure 0005820257
 ここで、jは選択された撮像部のそれぞれを示し、ここには欠陥画像を取得した撮像部が含まれる。また、l'xｊ及びl'yjは、基準視点から撮像部jへと向かう方向ベクトルの横方向成分及び該横方向に垂直な縦方向成分である。また、εx、εyは所定のしきい値である。εx、εyに十分に小さな値を設定することにより、重みが調整される各撮像部の重心が基準視点位置に近くなる（重心と基準視点位置との距離が所定のしきい値未満となる）。この結果、ボケの形を対称に保つことができる。εxの値としては例えば基準視点に隣接する撮像部(108,112,114,118)のうち１つと基準視点(113)との間の横方向の距離又はこの距離より小さい値を用いることができる。また、εyの値としては例えば基準視点に隣接する撮像部(108,112,114,118)のうち１つと基準視点(113)との間の縦方向の距離又はこの距離より小さい値を用いることができる。
また、重み調整データベースの要素Gaiの値を考慮し、以下の(14)、(15)式に従うように重みが調整される撮像部を選択してもよい。(14)、(15)式によれば、重み付き重心が基準視点に近づくように重みが調整される撮像部を選択することができる。
Figure 0005820257
なお、重みを調整される撮像部の数が少ない方が自然に近いボケ画像を生成できるため、上記の(12)、(13)式や(14)、(15)式を満たすような撮像部の組み合わせのうち、撮像部の数が少なくなるような組み合わせを重みを調整される撮像部として選択することが望ましい。一方で、重みを調整される撮像部の数（欠陥画像を取得した撮像部を除く）は１つ以上であればよい。しかしながら、ボケの対称性を維持する観点から、重みを調整される撮像部を２つ以上選択するようにしてもよいし、３つ以上選択するようにしてもよい。
以上説明したように第３実施形態によれば、重み調整データベースに従って撮影画像の重みが調整される。また、重みが調整される撮像部の重心が基準視点に近くなるように、重み調整画像が選択される。このようにして、ボケ画像におけるぼけ味の対称性を維持することができる。
以上のように第３実施形態においては、欠陥画像が存在する場合に、欠陥画像を撮影した撮像部の位置に基づいて、画像を重み付け合成する際の各画像についての重みが決定される。具体的には、欠陥画像を撮影した撮像部の位置に基づいて、欠陥画像とは異なる重み調整画像（選択画像）が１以上選択される。そして、重み調整画像についての重みが調節される。第３実施形態においては重み調整画像を撮影した撮像部の重心が基準視点に近くなるように、重み調整画像が選択される。このとき、第２実施形態のように、欠陥画像を撮影した撮像部の位置に応じて、基準視点の位置が変更されてもよい。具体的には、欠陥画像又は重み調整画像として選択されなかった画像を撮影した撮像部の位置に応じて、基準視点の位置が変更されてもよい。より具体的には、基準視点の位置は、欠陥画像又は重み調整画像として選択されなかった画像を撮影した撮像部の重心位置に設定されうる。
第３実施形態においては、(1)(2)式に従って重みが算出された後で、さらに重みが調整された。上述のように調整方法としてはデータベースを用いてもよいし、第１実施形態で説明したように数式を用いてもよいし、重みを定数倍してもよい。また、欠陥画像と、欠陥画像以外の重み調整画像とについて、異なる方法で重みを調整してもよい。例えば、欠陥画像については重みを0とし、欠陥画像以外の重み調整画像については上述の方法で重みを算出してもよい。この方法は、特に撮像部の重み付き重心が基準視点に近くなるように重み調整画像を選択する上述の例において有効である。
また、第３実施形態においては(1)(2)式に従って重みが算出された後で、さらに重みが調整されたが、データベース又は数式に従って各撮影画像の重みが直接算出されてもよい。この場合、それぞれの撮影画像について、重み調整画像として選択された場合の重みが、重み調整画像として選択されなかった場合の重みと比べて小さくなるようにすればよい。
＜第４実施形態＞
以下、本発明に係る第４実施形態について説明する。上述した第１〜３実施形態においては、撮像部が同一面上の格子点上に配置された多眼カメラによって撮影された画像に欠陥画像が含まれている場合について説明した。しかしながら、本発明の対象は撮像部が格子状に配置された多眼カメラに限定されず、任意の配置の撮像部によって構成された多眼カメラに適用可能である。第４実施形態では例として、撮像部が同一面上の同心円上に配置された多眼カメラによって撮影された画像が指かかりなどによる欠陥撮影画像を含んでいる場合に、ぼけ味の対称性が維持されたぼけ画像を生成する方法について説明する。
なお、第４実施形態における撮像装置の構成は、図1および2に示される、第１実施形態に係る構成と撮像部の配置を除いては同様であり、その説明は省略される。第４実施形態に係る処理は第１実施形態と類似しているが、重み設定部502が行う処理が第１実施形態と異なる。以下では第３実施形態における重み設定処理(S802)について詳細に説明する。
●重み設定処理(S802)
以下、図２０を用いて、第４実施形態における重み調整画像の選択方法について説明する。図２０は同心円上に配置された撮像部2001〜2026と、撮像部の基準視点2026を通る4本の対象軸2027〜2030を模式的に示している。撮像部2005が欠陥画像を取得した場合、第１実施形態と同様の手順で、撮像部2002、2003、2006、2008、2009、2011、2012による撮影画像を重み調整画像として選択できる。また、第４実施形態と同様に、重み調整データベースに従って、重みを調整してもよい。
以上説明したように第４実施形態においては、撮像部が同心円上に配置された多眼カメラによって画像が撮影される。この画像が指かかりなどによる欠陥撮影画像を含んでいる場合であっても、各撮影画像の重みを調整することで、ボケ画像におけるぼけ味の対称性を維持することが可能である。
＜他の実施形態＞
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のプロセッサ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
例えばコンピュータを、上述の実施形態に係る画像処理装置又は撮像装置の構成要素のうち少なくとも１つとして用いることができる。この場合、コンピュータが読み取り可能な記憶媒体に記録されたコンピュータプログラムをコンピュータに提供してもよい。コンピュータのメモリに格納されたコンピュータプログラムに従ってコンピュータのプロセッサが処理を行うことにより、コンピュータは上述の実施形態に係る画像処理装置又は撮像装置の構成要素のうち少なくとも１つとして動作しうる。

Claims (19)

  1. 異なる視点から被写体を撮影する複数の撮像手段によって撮影されたそれぞれの撮影画像を取得する取得手段と、
    前記複数の撮影画像から欠陥画像を特定する特定手段と、
    前記特定手段により特定された欠陥画像を撮影した撮像手段の位置に基づいて、各撮影画像に対する重みを決定する決定手段と、
    前記決定手段により決定された重みに基づいて、前記複数の撮影画像を重み付け合成して合成画像を生成する合成手段と、
    を備え、
    前記決定手段は、前記複数の撮影画像から、前記欠陥画像とは異なる１以上の撮影画像を選択画像として選択し、及び、前記欠陥画像及び選択画像のそれぞれに対する重みを、前記欠陥画像でも選択画像でもない撮影画像の重みよりも小さくなるように決定し、
    前記決定手段は、前記欠陥画像又は選択画像を撮影しなかった前記撮像手段の重心が前記合成画像の視点である基準視点として設定されるように、前記重みと前記基準視点との関係を決定する
    ことを特徴とする画像処理装置。
  2. 前記特定手段は、前記複数の撮影画像を比較することにより前記欠陥画像を特定することを特徴とする、請求項１に記載の画像処理装置。
  3. 前記決定手段は、前記欠陥画像に対する重みをゼロにすることを特徴とする、請求項１又は２に記載の画像処理装置。
  4. 前記決定手段は、
    前記複数の撮影画像のそれぞれについて重みを割り当て、
    前記欠陥画像及び前記選択画像について、前記重みがより小さくなるように前記割り当てられた重みを調整する
    ことを特徴とする、請求項１乃至３の何れか１項に記載の画像処理装置。
  5. 前記決定手段は、撮影画像を撮影した撮影手段と、前記合成画像の視点である基準視点との距離が大きいほど重みが小さくなるように、前記複数の撮影画像のそれぞれに対して前記重みの割り当てを行うことを特徴とする、請求項１乃至４の何れか１項に記載の画像処理装置。
  6. 前記選択画像は、前記合成画像の視点である基準視点に対して、前記欠陥画像を撮影した撮像手段の位置とは対称な位置にある撮像手段により撮影されていることを特徴とする、請求項１乃至５の何れか１項に記載の画像処理装置。
  7. 前記選択画像は、前記基準視点を通る対称軸に対して、前記欠陥画像を撮影した撮像手段の位置とは線対称な位置にある撮像手段により撮影されていることを特徴とする、請求項６に記載の画像処理装置。
  8. 前記決定手段は、データベースを参照して前記選択画像に対する重みを決定することを特徴とする、請求項１乃至７の何れか１項に記載の画像処理装置。
  9. 前記選択画像は、前記欠陥画像又は選択画像を撮影したそれぞれの撮影手段の重心と、前記合成画像の視点である基準視点との間の距離が、所定のしきい値未満となるように選択されることを特徴とする、請求項１乃至８の何れか１項に記載の画像処理装置。
  10. 前記決定手段は、前記複数の撮影画像のうち前記欠陥画像又は選択画像を撮影しなかった前記撮像手段の、前記決定された重みに従う前記重心を前記基準視点として設定することを特徴とする、請求項１乃至９の何れか１項に記載の画像処理装置。
  11. 前記複数の撮像手段は、格子点上に配置されていることを特徴とする、請求項１乃至１０の何れか１項に記載の画像処理装置。
  12. 前記複数の撮像手段は、同心円上に配置されていることを特徴とする、請求項１乃至１０の何れか１項に記載の画像処理装置。
  13. 前記複数の撮影画像のそれぞれについて、基準視点から撮影を行った場合に得られる画像に位置合わせするためのシフト量を算出する算出手段を更に有し、
    前記合成手段は、前記算出手段により算出されたシフト量に従って前記複数の撮影画像のそれぞれをシフトし、当該シフトされた画像を合成することを特徴とする、請求項１乃至１２の何れか１項に記載の画像処理装置。
  14. 前記決定手段は、前記欠陥画像又は選択画像を撮影しなかった前記撮像手段の前記重心が、予め決定されている前記基準視点の位置と一致するように、前記重みを決定することを特徴とする、請求項１乃至１３の何れか１項に記載の画像処理装置。
  15. 異なる視点から被写体を撮影する複数の撮像手段によって撮影されたそれぞれの撮影画像を取得する取得手段と、
    前記複数の撮影画像から欠陥画像を特定する特定手段と、
    前記特定手段により特定された欠陥画像を撮影した撮像手段の位置に基づいて、各撮影画像に対する重みを決定する決定手段と、
    前記決定手段により決定された重みに基づいて、前記複数の撮影画像を重み付け合成して合成画像を生成する合成手段と、
    を備え、
    前記決定手段は、前記複数の撮影画像から、前記欠陥画像とは異なる１以上の撮影画像を選択画像として選択し、及び、前記欠陥画像及び選択画像のそれぞれに対する重みを、前記欠陥画像でも選択画像でもない撮影画像の重みよりも小さくなるように決定し、
    前記合成画像の視点である基準視点は、前記欠陥画像又は選択画像を撮影しなかった前記撮像手段の重心に置かれる
    ことを特徴とする画像処理装置。
  16. 請求項１乃至１５の何れか１項に記載の画像処理装置と、互いに異なる視点から被写体を撮影する複数の撮像手段とを備えることを特徴とする、撮像装置。
  17. 画像処理装置が行う画像処理方法であって、
    取得手段が、異なる視点から被写体を撮影する複数の撮像手段によって撮影されたそれぞれの撮影画像を取得する取得工程と、
    特定手段が、前記複数の撮影画像から欠陥画像を特定する特定工程と、
    決定手段が、前記特定工程で特定された欠陥画像を撮影した撮像手段の位置に基づいて、各撮影画像に対する重みを決定する決定工程と、
    合成手段が、前記決定工程で決定された重みに基づいて、前記複数の撮影画像を重み付け合成して合成画像を生成する合成工程と、
    を有し、
    前記決定工程では、前記複数の撮影画像から、前記欠陥画像とは異なる１以上の撮影画像を選択画像として選択し、及び、前記欠陥画像及び選択画像のそれぞれに対する重みを、前記欠陥画像でも選択画像でもない撮影画像の重みよりも小さくなるように決定し、
    前記決定工程では、前記欠陥画像又は選択画像を撮影しなかった前記撮像手段の重心が前記合成画像の視点である基準視点として設定されるように、前記重みと前記基準視点との関係を決定する
    ことを特徴とする画像処理方法。
  18. 画像処理装置が行う画像処理方法であって、
    取得手段が、異なる視点から被写体を撮影する複数の撮像手段によって撮影されたそれぞれの撮影画像を取得する取得工程と、
    特定手段が、前記複数の撮影画像から欠陥画像を特定する特定工程と、
    決定手段が、前記特定工程で特定された欠陥画像を撮影した撮像手段の位置に基づいて、各撮影画像に対する重みを決定する決定工程と、
    合成手段が、前記決定工程で決定された重みに基づいて、前記複数の撮影画像を重み付け合成して合成画像を生成する合成工程と、
    を有し、
    前記決定工程では、前記複数の撮影画像から、前記欠陥画像とは異なる１以上の撮影画像を選択画像として選択し、及び、前記欠陥画像及び選択画像のそれぞれに対する重みを、前記欠陥画像でも選択画像でもない撮影画像の重みよりも小さくなるように決定し、
    前記合成画像の視点である基準視点は、前記欠陥画像又は選択画像を撮影しなかった前記撮像手段の重心に置かれる
    ことを特徴とする画像処理方法。
  19. コンピュータを、請求項１乃至１５の何れか１項に記載の画像処理装置の各手段として機能させるための、コンピュータプログラム。
JP2011272754A 2011-02-18 2011-12-13 画像処理装置、撮像装置、画像処理方法、及びプログラム Expired - Fee Related JP5820257B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011272754A JP5820257B2 (ja) 2011-02-18 2011-12-13 画像処理装置、撮像装置、画像処理方法、及びプログラム
US13/356,078 US8786718B2 (en) 2011-02-18 2012-01-23 Image processing apparatus, image capturing apparatus, image processing method and storage medium
CN201210039795.8A CN102682440B (zh) 2011-02-18 2012-02-20 图像处理设备、摄像设备和图像处理方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011033862 2011-02-18
JP2011033862 2011-02-18
JP2011272754A JP5820257B2 (ja) 2011-02-18 2011-12-13 画像処理装置、撮像装置、画像処理方法、及びプログラム

Publications (3)

Publication Number Publication Date
JP2012186790A JP2012186790A (ja) 2012-09-27
JP2012186790A5 JP2012186790A5 (ja) 2015-01-29
JP5820257B2 true JP5820257B2 (ja) 2015-11-24

Family

ID=46652420

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011272754A Expired - Fee Related JP5820257B2 (ja) 2011-02-18 2011-12-13 画像処理装置、撮像装置、画像処理方法、及びプログラム

Country Status (3)

Country Link
US (1) US8786718B2 (ja)
JP (1) JP5820257B2 (ja)
CN (1) CN102682440B (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012191351A (ja) * 2011-03-09 2012-10-04 Sony Corp 撮像装置および画像処理方法
JP6003578B2 (ja) * 2012-11-26 2016-10-05 株式会社ニコン 画像生成方法及び装置
JP6169366B2 (ja) * 2013-02-08 2017-07-26 株式会社メガチップス 物体検出装置、プログラムおよび集積回路
JP6249638B2 (ja) 2013-05-28 2017-12-20 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
CN103268596B (zh) * 2013-05-30 2017-04-05 华南理工大学 一种降低图像噪声和使颜色接近标准的方法
JP2015002423A (ja) * 2013-06-14 2015-01-05 ソニー株式会社 画像処理装置、サーバ及び記憶媒体
JP6124703B2 (ja) * 2013-06-21 2017-05-10 キヤノン株式会社 撮像装置およびその制御方法
US20150302569A1 (en) * 2014-04-22 2015-10-22 General Electric Company Sensing system for a cooktop appliance with airflow protected sensor
EP3164831A4 (en) * 2014-07-04 2018-02-14 Light Labs Inc. Methods and apparatus relating to detection and/or indicating a dirty lens condition
CN104166225B (zh) * 2014-08-18 2016-04-13 西北工业大学 具有多成像平面的成像装置及成像方法
JP6486149B2 (ja) 2015-03-03 2019-03-20 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
US10325356B2 (en) 2015-11-30 2019-06-18 Canon Kabushiki Kaisha Image processing device, image processing method, imaging device, and recording medium for exclusively performing adjustment processing or viewpoint change processing
US10003738B2 (en) 2015-12-18 2018-06-19 Light Labs Inc. Methods and apparatus for detecting and/or indicating a blocked sensor or camera module
US10225445B2 (en) 2015-12-18 2019-03-05 Light Labs Inc. Methods and apparatus for providing a camera lens or viewing point indicator
JP6789677B2 (ja) 2016-06-03 2020-11-25 キヤノン株式会社 画像処理装置およびその制御方法、撮像装置、プログラム
US9734703B1 (en) * 2016-06-23 2017-08-15 Nxp B.V. Sensor apparatuses and methods
CN107730541A (zh) * 2016-08-12 2018-02-23 广州康昕瑞基因健康科技有限公司 图像配准方法和系统及图像拍摄对位方法和系统
JP6330955B2 (ja) * 2017-06-27 2018-05-30 株式会社ニコン 撮像装置及び撮像方法
JP6948175B2 (ja) * 2017-07-06 2021-10-13 キヤノン株式会社 画像処理装置およびその制御方法
CN109426758A (zh) * 2017-08-21 2019-03-05 北京小米移动软件有限公司 皮肤特征信息的采集方法及装置、计算机可读存储介质
EP4171015A1 (en) 2021-10-20 2023-04-26 Koninklijke Philips N.V. Handling blur in multi-view imaging

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6744471B1 (en) * 1997-12-05 2004-06-01 Olympus Optical Co., Ltd Electronic camera that synthesizes two images taken under different exposures
US6825884B1 (en) * 1998-12-03 2004-11-30 Olympus Corporation Imaging processing apparatus for generating a wide dynamic range image
JP4275378B2 (ja) * 2002-09-27 2009-06-10 富士重工業株式会社 ステレオ画像処理装置およびステレオ画像処理方法
JP4244018B2 (ja) * 2004-03-25 2009-03-25 ノーリツ鋼機株式会社 欠陥画素修正方法、プログラム及びその方法を実施する欠陥画素修正システム
EP1818869A1 (en) * 2004-11-25 2007-08-15 NEC Corporation Face image synthesis method and face image synthesis device
US7643060B2 (en) * 2004-12-20 2010-01-05 Fujifilm Corporation User guiding apparatus and an image capturing system, method and program for using same
CN101047768A (zh) 2006-03-30 2007-10-03 台湾新力国际股份有限公司 最佳化视讯接图方法
JP2008196891A (ja) * 2007-02-09 2008-08-28 Mitsubishi Precision Co Ltd 多眼カメラ
JP2009085617A (ja) * 2007-09-27 2009-04-23 Fujifilm Corp 欠陥検出装置及び方法
JP5256899B2 (ja) * 2008-07-18 2013-08-07 セイコーエプソン株式会社 画像補正装置、画像補正方法、プロジェクタおよびプロジェクションシステム
JP2010114760A (ja) 2008-11-07 2010-05-20 Fujifilm Corp 撮影装置、指がかり通知方法およびプログラム
JP2011022796A (ja) * 2009-07-15 2011-02-03 Canon Inc 画像処理方法および画像処理装置
US20110249889A1 (en) * 2010-04-08 2011-10-13 Sreenivas Kothandaraman Stereoscopic image pair alignment apparatus, systems and methods
JP2012023546A (ja) * 2010-07-14 2012-02-02 Jvc Kenwood Corp 制御装置、立体映像撮像装置、および制御方法
JP5758138B2 (ja) * 2011-02-01 2015-08-05 シャープ株式会社 撮像装置、データ処理方法、およびプログラム
US9300946B2 (en) * 2011-07-08 2016-03-29 Personify, Inc. System and method for generating a depth map and fusing images from a camera array

Also Published As

Publication number Publication date
US8786718B2 (en) 2014-07-22
US20120212651A1 (en) 2012-08-23
CN102682440A (zh) 2012-09-19
CN102682440B (zh) 2015-03-25
JP2012186790A (ja) 2012-09-27

Similar Documents

Publication Publication Date Title
JP5820257B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
US20200374461A1 (en) Still image stabilization/optical image stabilization synchronization in multi-camera image capture
JP5988790B2 (ja) 画像処理装置、撮像装置、画像処理方法、および、画像処理プログラム
JP6112824B2 (ja) 画像処理方法および装置、プログラム。
JP5725953B2 (ja) 撮像装置及びその制御方法、並びに情報処理装置
JP5968073B2 (ja) 画像処理装置、撮像装置、画像処理方法、および画像処理プログラム
JP5984493B2 (ja) 画像処理装置、画像処理方法、撮像装置およびプログラム
JP5766077B2 (ja) ノイズ低減のための画像処理装置及び画像処理方法
JP6308748B2 (ja) 画像処理装置、撮像装置及び画像処理方法
JP5882789B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN107615744B (zh) 一种图像拍摄参数的确定方法及摄像装置
JP6137316B2 (ja) 深さ位置検出装置、撮像素子、及び深さ位置検出方法
JP2015073185A (ja) 画像処理装置、画像処理方法およびプログラム
JP6418770B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および記憶媒体
JP6095266B2 (ja) 画像処理装置及びその制御方法
JP6516510B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP2015046019A (ja) 画像処理装置、撮像装置、撮像システム、画像処理方法、プログラム、および、記憶媒体
JP6012396B2 (ja) 画像処理装置、画像処理方法およびプログラム。
JP2020193820A (ja) 計測装置、撮像装置、制御方法及びプログラム
JP5743769B2 (ja) 画像処理装置および画像処理方法
JP6491442B2 (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
JP2011182084A (ja) 画像処理装置および画像処理プログラム
JP2011182341A (ja) 撮像装置及び撮像装置の制御方法
JP2015084517A (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
JP2014049895A (ja) 画像処理方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141202

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141202

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150828

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150904

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151002

R151 Written notification of patent or utility model registration

Ref document number: 5820257

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees