JP4952768B2 - 撮像装置および画像解析コンピュータプログラム - Google Patents

撮像装置および画像解析コンピュータプログラム Download PDF

Info

Publication number
JP4952768B2
JP4952768B2 JP2009246881A JP2009246881A JP4952768B2 JP 4952768 B2 JP4952768 B2 JP 4952768B2 JP 2009246881 A JP2009246881 A JP 2009246881A JP 2009246881 A JP2009246881 A JP 2009246881A JP 4952768 B2 JP4952768 B2 JP 4952768B2
Authority
JP
Japan
Prior art keywords
image
pupil
light receiving
optical system
microlens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009246881A
Other languages
English (en)
Other versions
JP2011097179A (ja
Inventor
透 岩根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2009246881A priority Critical patent/JP4952768B2/ja
Priority to US12/911,194 priority patent/US8537261B2/en
Publication of JP2011097179A publication Critical patent/JP2011097179A/ja
Application granted granted Critical
Publication of JP4952768B2 publication Critical patent/JP4952768B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00Simple or compound lenses
    • G02B3/0006Arrays
    • G02B3/0037Arrays characterized by the distribution or form of lenses
    • G02B3/0056Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/21Indexing scheme for image data processing or generation, in general involving computational photography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10052Images from lightfield camera

Description

本発明は、撮像装置および画像解析コンピュータプログラムに関する。
1回の撮影で得られたデータから任意の像面にピントの合った画像を合成する撮像装置が知られている(例えば、特許文献1参照)。特許文献1に開示される撮像装置では、撮影光学系を通過してマイクロレンズの中心に入射する光線を受光する画素の出力値に基づいて画像データを合成する。
特開2007−4471号公報
しかしながら、上述した撮影光学系を通過してマイクロレンズの中心に入射する光線を受光する画素の位置は、設計値を用いると精度の低い画像データ合成処理となるため、得られる画像がピンボケとなりうる。これは、マイクロレンズが配列されるマイクロレンズアレイと画素が配列される撮像素子とを精密に位置合わせをするように製造することが困難であるためである。すなわち、撮影光学系を通過してマイクロレンズの中心に入射する光線を受光する画素の位置を精密に特定することができないという問題があった。
請求項1に記載の発明による撮像装置は、複数のマイクロレンズが配列されたマイクロレンズアレイと、マイクロレンズアレイを介して光学系からの光束を受光して受光信号を出力する複数の受光素子が配列された受光素子アレイと、複数の受光素子で得られる受光信号に基づいて、複数のマイクロレンズの輪郭に相当する画像を含む第1画像を生成する画像生成手段と、第1画像のうち、マイクロレンズの輪郭に対応する第2画像に符合する画像の位置を求める演算手段とを備えたことを特徴とする。
請求項9に記載の発明による画像解析コンピュータプログラムは、複数のマイクロレンズが配列されたマイクロレンズアレイと、複数の受光素子が配列された受光素子アレイとを備える撮像装置において生成される撮影画像データに対する画像解析に用いられる画像解析コンピュータプログラムであって、複数の受光素子で得られる受光信号に基づいて、複数のマイクロレンズの輪郭に相当する画像を含む第1画像データを生成する生成指示と、第1画像のうち、マイクロレンズの輪郭に対応する第2画像に符合する画像の位置を求める演算指示とを備えることを特徴とする。
本発明によれば、画像合成、ならびに焦点検出および焦点調節の精度が向上する。
第1の実施の形態によるカメラの構成を説明する図である。 主制御部の動作の詳細を表すフローチャートである。 被写体像が投影された撮像素子の正面図である。 撮像素子の部分領域を拡大した図である。 図4に示される部分領域の画像データにてエッジ抽出処理を実行した結果を表す図である。 図5において瞳投影中心位置を算出するためのパターンマッチングに用いられるテンプレート画像を示す図である。 図2におけるステップS210にて主制御部が実行する瞳中心投影位置決定の詳細を示すフローチャートである。 サンプリング数分の瞳投影中心位置をx軸とi軸による座標平面上にプロットした点とその回帰直線を示す図である。 第2の実施の形態において、図2におけるステップS210にて主制御部が実行する瞳中心投影位置決定の詳細を示すフローチャートである。 第3の実施の形態において、図2におけるステップS210にて主制御部が実行する瞳中心投影位置決定の詳細を示すフローチャートである。 第4の実施の形態によるPCとカメラとの接続構成を示す図である。 第4の実施の形態によるPCが、画像解析コンピュータプログラムに従って実行する瞳中心投影位置決定の詳細を示すフローチャートである。
−−−第1の実施の形態−−−
図1〜図10を参照して、本発明による撮像装置をカメラに適用した第1の実施の形態を説明する。図1は、本実施の形態によるカメラ1の構成を説明する図である。図1に示すカメラ1は、カメラボディ10と鏡筒15とを有し、焦点検出機能または画像合成機能のいずれかまたは両方の機能を備えている。鏡筒15は、撮影光学系制御部150、撮影レンズ160、鏡筒メモリ170とを含む。カメラボディ10は、主制御部100、撮像素子110、マイクロレンズアレイ120、内蔵メモリ130、メモリカード140とを含む。
鏡筒15において、撮影光学系制御部150は、カメラボディ10の主制御部100からの指示に基づき、撮影レンズ160および不図示の絞りを駆動して撮影レンズ160の焦点調節を行う。鏡筒メモリ170には、撮影レンズ160の焦点距離または開放F値等、撮影光学系160の設計値が記録されている。
カメラボディ10において、主制御部100は、撮影レンズ160の焦点検出を行い、これに基づいて、上述の撮影光学系制御部150における撮影レンズ160の焦点調節を制御し、撮像素子110により被写体を撮像して得られる画像データをメモリカード140に記録する。また、撮影光学系制御部150より撮影光学系属性情報を取得し、後述する処理によって瞳中心投影位置を決定し、内蔵メモリ130に記録する。
図1において、撮影レンズ160とマイクロレンズアレイ120との距離(以下、瞳位置という)は、hである。マイクロレンズアレイ120を構成する各マイクロレンズの隣接間隔はd、各マイクロレンズの焦点距離はマイクロレンズアレイ120と撮像素子110との距離に等しく、fである。撮像素子の垂直または水平方向をx軸として規定した場合、撮影レンズ160の光軸に最も近いマイクロレンズの中心に入射する光線を受光する画素の位置をxとし、そのマイクロレンズを0番目とすると、そのマイクロレンズからx軸方向にi番目のマイクロレンズの中心に入射する光線を受光する画素の位置をxとする。
図2は、主制御部100の動作の詳細を表すフローチャートである。図2(a)は、主制御部100が、ステップS210にて瞳中心投影位置を決定し、それに基づいて、ステップS220において、撮影レンズ160の焦点検出を行って焦点調節を制御することを表している。撮影レンズ160の焦点検出および焦点調節制御については、例えば特開平1−216306号公報に開示される瞳分割型位相差検出方式を用いる。ステップS210にて行われる瞳中心投影位置の決定は、使用者がカメラ1の電源を投入したら直ちに実行し、ステップS220における撮影レンズ160の焦点検出および焦点調節制御が使用者の操作によって開始されることを待機するのが好ましい。
図2(b)は、主制御部100が、ステップS210にて瞳中心投影位置を決定し、それに基づいて、ステップS230において、画像合成を行う場合のフローチャートである。画像合成については、例えば特開2007−4471号公報に開示される技術を用いる。ステップS210にて行われる瞳中心投影位置の決定は、カメラ1においてスルー画が不図示のモニタに表示されている間、定期的に繰り返しながら、ステップS230における画像合成の開始を待機するのが好ましい。以下において、瞳中心投影位置決定処理の詳細について説明する。
図3は、草花を被写体として撮像する際に被写体像が投影された撮像素子110の正面図である。ただし、画素の描画は省略している。その草花の葉の一部の像350を含む撮像素子の部分領域300を対象としてさらに説明する。
図4は、図3における被写体である草花の葉の一部の像350を含む撮像素子の部分領域300を拡大した図である。撮像素子の部分領域300には、正方形の撮像画素115が互いに隣接して配列されている。また、白色の円形領域は、撮影光学系を通過してマイクロレンズに入射する光束によって撮像素子110の受光面に投影された撮影光学系の瞳の投影像125である。その中心位置が瞳投影中心位置である。葉の一部の像350が投影されている領域の外側においては、瞳の投影像125は明瞭である。この図4に示される部分領域300を拡大した図を対象として、パターンマッチングによる瞳投影中心位置の算出方法について以下に説明する。
図5は、図4に示される部分領域300の画像データにてエッジ抽出処理を実行した結果を表す図である。エッジ抽出処理は、たとえばラプラシアン等の微分フィルタ処理によって得られる。図5は、ラプラシアンを用いた例であり、エッジ抽出画像305において、瞳の投影像125の輪郭が明るい線として抽出されている。それよりも濃淡レベル差が小さい葉の一部の像350の輪郭は、少し暗い線として抽出されている。葉の一部の像350の内側の領域は葉脈部分を除いてはエッジ抽出がされていない。被写体像が投影されている領域には、瞳の投影像125は検出されにくい場合を表したものである。
図6は、図5において瞳投影中心位置を算出するためのパターンマッチングに用いられるテンプレート画像を示す図である。図6(a)〜(c)は、大中小の円を表すテンプレート画像である。テンプレート画像によるパターンマッチングでは、図5に対して、図6(a)〜(c)のいずれかの画像を重ね合わせながら走査する際に、各画素位置に対して1画素ずつ全ての位置に移動させ、各画素位置において一致度を示す相関値を算出する。相関値についての閾値を予め定め、相関値が上昇してその閾値を越えた後に下降に転じるパターンを検出したら瞳の投影像125の輪郭を検出したとして、その瞳の投影像125における瞳投影中心位置を算出することができる。あるいは、最も高い相関値を示した位置に瞳の投影像125の輪郭が存在するものと推定されるので、その位置データに基づいて、その瞳の投影像125における瞳投影中心位置を算出することとしても良い。
図6(a)〜(c)のテンプレート画像は内蔵メモリ130に予め記録されており、いずれの画像を用いるかは、撮影レンズ160のF値等の撮影光学系属性情報に基づいて選択される。瞳の投影像125の大きさ(以下、瞳径という)は、絞り径および撮影レンズ160の焦点距離に依存するからである。撮影光学系属性情報は、主制御部100が撮影光学系制御部150より取得する。パターンマッチングで算出される相関値は、例えば特開平9−102039号公報に従来の技術として記載されている技術を用いて算出される。
上述のパターンマッチングでは、所定のサンプリング数分の瞳投影中心位置が得られれば良い。残りの瞳投影中心位置は、後述するように、得られた所定のサンプリング数分の瞳投影中心位置に基づいて推定する演算式を特定することで全て決定されるからである。図3において、エッジ抽出処理を実行した後、相関値の高い順に所定のサンプリング数分の瞳投影中心位置を取得すれば良い。それらは、瞳の投影像125の輪郭が欠けることなく完全に抽出されたデータに対して上述のパターンマッチングにより得られた可能性が高く、高精度に瞳投影中心位置が算出され得る。
図5においては、葉の一部の像350の輪郭が少し暗い線として抽出されているが、パターンマッチングの精度を高めるため、例えば、2値化処理によって瞳の投影像125の輪郭のみを抽出してから上述したパターンマッチングを行っても良い。
図7は、図2(a)、(b)におけるステップS210にて主制御部100が実行する瞳中心投影位置決定の詳細を示すフローチャートである。ステップS710において、撮像素子100を制御して被写体を撮像する。ステップS720において、上述したエッジ抽出処理を行う。ステップS730において、撮影レンズ160のF値等の撮影光学系属性情報を、撮影光学系制御部150より取得する。これは、ステップS710が実行される前に行っていても良い。
ステップS740において、撮影光学系属性情報に基づいて好適なテンプレート画像が選択され、ステップS750において、パターンマッチングが行われた結果、ステップS760において、瞳投影中心位置が算出される。ステップS770における判定処理によって、サンプリング数分の瞳投影中心位置が取得されるまで、テンプレート画像を1画素ずつ移動させながら相関値を算出して、ステップS750およびステップS760における処理を繰り返す。
サンプリング数分の瞳投影中心位置が取得されると、ステップS780において、後述する瞳投影中心位置の演算式が特定される。これを用いて、ステップS790において全ての瞳投影中心位置を決定し、内蔵メモリ130に記録すると、主制御部100が実行する処理は図2(a)または(b)に戻る。
図7に示すステップS780における瞳投影中心位置の演算式の特定について説明する。図1より、i番目のマイクロレンズの中心に入射する光線を受光する画素の位置をxと、撮影レンズ160の光軸に最も近いマイクロレンズの中心に入射する光線を受光する画素の位置をxと、瞳位置hと、マイクロレンズの隣接間隔dと、マイクロレンズの焦点距離fとの間には、式(1)に表される関係が成り立つ。
Figure 0004952768
式(1)より、式(2)が導かれる。
Figure 0004952768
上述の取得されたサンプリング数分の瞳投影中心位置はxに該当し、すなわちそれらをx軸とi軸による座標平面上にプロットすると、式(2)で表される直線に回帰するはずである。サンプリング数分の瞳投影中心位置をx軸とi軸による座標平面上にプロットした点と、式(2)で表される回帰直線とを図8に示す。上述の取得されたサンプリング数分の瞳投影中心位置に基づき、式(3)に表される最小二乗法によって、式(2)で表される直線の傾きd(1+f/h)が求まる。
Figure 0004952768
式(2)で表される回帰直線のx切片x(1+f/h)は、式(2)および式(3)より、式(4)にしたがって得られる。
Figure 0004952768
マイクロレンズの隣接間隔dおよびマイクロレンズの焦点距離fは設計値として予め既知の値であるため、式(3)より瞳位置hが求まる。その結果、式(4)よりxも求まる。定数d、f、h、xを式(2)に代入すると、xとiとの関係式が導かれ、この関係式の導出をもって、図7に示すステップS780における瞳投影中心位置の演算式が特定されたことになる。
上述した第1の実施の形態によるカメラ1は、サンプリング数分の瞳投影中心位置をパターンマッチングによって取得し、それに基づいて瞳投影中心位置の演算式を特定することにより、全ての瞳投影中心位置を算出できるようにした。したがって、撮影光学系を通過してマイクロレンズの中心に入射する光線を受光する画素の位置を精密に特定することが可能となり、画像合成、ならびに焦点検出および焦点調節の精度が向上するという作用効果を奏する。
−−−第2の実施の形態−−−
本発明による撮像装置をカメラに適用した第1の実施の形態では、図7に示すステップS740において、内蔵メモリ130に予め記録されている図6(a)〜(c)に示すテンプレート画像の中から瞳径に対応した好適なものを選択している。しかし、例えば、テンプレート画像の選択肢が限定されない場合、あるいは、鏡筒15が撮影光学系制御部150を有していないためにステップS730で撮影光学系属性情報が取得できない場合は、ステップS740において、瞳径に対応した好適なテンプレート画像を生成する必要がある。ステップS730で撮影光学系属性情報が取得できない場合において、本発明による撮像装置をカメラに適用した第2の実施の形態について、図9を用いて説明する。
図9は、図2(a)、(b)におけるステップS210にて主制御部100が実行する瞳中心投影位置決定の詳細を示すフローチャートである。図7と共通するステップについては同一の符号を付与している。ここでは異なる符号を付与したステップについて主に説明する。
ステップS910では、撮影光学系属性情報が得られておらず、瞳径に対応した好適なテンプレート画像が生成できないため、所定の瞳径暫定値に基づく仮テンプレートを作成する。ステップS920にて、ステップS750と同様のパターンマッチングを行い、ステップS930にて、相関値を算出する。例えば、相関値が上昇してその閾値を越えた後に下降に転じるパターンを検出したら瞳の投影像125の輪郭を検出したとして、その瞳の投影像125における暫定的な瞳投影中心位置を算出することができる。次に、その暫定的な瞳投影中心位置を中心とする瞳径を変化させて仮テンプレートを作成し、再び相関値を算出する。相関値が上昇してその閾値を越えた後に下降に転じるパターンを検出したら瞳の投影像125の輪郭を検出したとして、その瞳の投影像125における暫定的な瞳径を算出することができる。ステップS940にて、以上の処理を繰り返し、相関値が所定の閾値を上回ったときをもって、確からしい瞳径および瞳投影中心位置を算出することができる。ステップS950にて、瞳径に対応した好適なテンプレート画像を生成する。
上述した第2の実施の形態によるカメラ1は、撮影光学系属性情報を出力できない鏡筒15を用いた場合においても、第1の実施の形態によるカメラ1と同様の作用効果を奏する。
−−−第3の実施の形態−−−
本発明による撮像装置をカメラに適用した第1の実施の形態では、図7に示すステップS790において、瞳投影中心位置を内蔵メモリ130に記録している。その場合において、例えば、撮影レンズ160の焦点調節、または鏡筒15の交換により、瞳位置hが変化した際には、記録されている瞳投影中心位置に基づいて瞳投影中心位置の補正量を算出することによって、全ての瞳投影中心位置を算出できるようにしても良い。図10を用い、本発明による撮像装置をカメラに適用した第3の実施の形態について説明する。
図10は、図2(a)、(b)におけるステップS210にて主制御部100が実行する瞳中心投影位置決定の詳細を示すフローチャートである。図7と共通するステップについては同一の符号を付与している。ここでは異なる符号を付与したステップについて主に説明する。
ステップS1010では、後述する瞳投影中心位置の補正量の演算式が特定される。ステップS1020では、内蔵メモリ130に記録されているh=hである場合の瞳投影中心位置を取得する。これらを用いた後述する演算により、ステップS1030において全ての瞳投影中心位置を決定し、内蔵メモリ130に記録する。
図10に示すステップS1010における瞳投影中心位置の補正量の演算式の特定について説明する。式(1)において、瞳位置hに対する瞳投影中心位置xの値をx{h}とすると、瞳位置がh=hである場合の瞳投影中心位置はx{h}で表される。瞳投影中心位置の補正量は、x{h}とx{h}とを用い、式(1)を考慮すると、式(5)のように表される。
Figure 0004952768
したがって、図10に示すステップS1030における全ての瞳投影中心位置の演算式は、式(6)として特定される。
Figure 0004952768
上述した第3の実施の形態によるカメラ1は、パターンマッチングを用いることなく、少量の演算量で第1の実施の形態によるカメラ1と同様の作用効果を奏する。
−−−第4の実施の形態−−−
本発明による撮像装置をカメラに適用した第1〜3の実施の形態では、カメラ1のカメラボディ10が有する主制御部100が撮影レンズ160の焦点検出および焦点調節または画像合成と、瞳中心投影位置決定とを行っている。しかし、画像合成と瞳中心投影位置決定とは、例えば画像解析コンピュータプログラムに従って動作するPC(パーソナルコンピュータ)がカメラ1から必要な情報を取得して実行するようにしても良い。図11および図12を用い、本発明による画像解析コンピュータプログラムをインストールしたPCに適用した第4の実施の形態について説明する。
図11は、本実施の形態によるPC2とカメラ1との接続構成を示す図である。PC2とカメラ1とは通信によって接続されている。接続形態は無線接続および有線接続のいずれであっても良い。本発明による画像解析コンピュータプログラムは、記録媒体3によってPC2にインストールされる。
本実施の形態によるPC2は、画像解析コンピュータプログラムに従い、図2(b)におけるステップS210にて瞳中心投影位置を決定し、それに基づいて、ステップS230において、画像合成を行う。図12は、本実施の形態によるPC2が、画像解析コンピュータプログラムに従って実行する瞳中心投影位置決定の詳細を示すフローチャートである。図7と共通するステップについては同一の符号を付与している。ここでは異なる符号を付与したステップについて主に説明する。
ステップS1310では、カメラ1から通信によって被写体撮像データが入力される。ステップS720におけるエッジ抽出を経て、ステップS1330において、カメラ1から通信によって撮影光学系属性情報が入力される。それ以降は、図7と同様の処理を実行する。
上述した第4の実施の形態によるカメラ1は、カメラ1の主制御部100の演算処理性能を消費することなく、第1の実施の形態によるカメラ1と同様の作用効果を奏し、PC2においては、より高機能な画像加工処理も可能であるから、利便性も高い。
−−−変形例−−−
上述した本発明の第1の実施の形態においては、エッジ抽出処理は、たとえばラプラシアン等の微分フィルタ処理によるものとしたが、被写体が細かい模様を有しているような高周波成分を含む撮像データに対しては、ローパスフィルターによる前処理を施した後に実施することとしても良い。
上述した各実施の形態および変形例は、それぞれ組み合わせてもよい。本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における機器構成に何ら限定されない。
1 カメラ
2 PC
3 記録媒体
10 カメラボディ
15 鏡筒
100 主制御部
110 撮像素子
115 撮像画素
120 マイクロレンズアレイ
130 内蔵メモリ
140 メモリカード
150 撮影光学系制御部
160 撮影レンズ
170 鏡筒メモリ

Claims (10)

  1. 複数のマイクロレンズが配列されたマイクロレンズアレイと、
    前記マイクロレンズアレイを介して光学系からの光束を受光して受光信号を出力する複数の受光素子が配列された受光素子アレイと、
    前記複数の受光素子で得られる前記受光信号に基づいて、前記複数のマイクロレンズの輪郭に相当する画像を含む第1画像を生成する画像生成手段と、
    前記第1画像のうち、前記マイクロレンズの輪郭に対応する第2画像に符合する画像の位置を求める演算手段とを備えたことを特徴とする撮像装置。
  2. 請求項1に記載の撮像装置において、
    前記演算手段は、前記第1画像のうち、前記複数のマイクロレンズの第1マイクロレンズに対応する第1部分について前記第2画像に符合する画像の位置を求め、前記第1マイクロレンズとは異なる第2マイクロレンズに対応する第2部分については、前記複数のマイクロレンズの配列と前記第2画像に符合する画像の位置とに基づいて前記第2画像に符合する画像の位置を求めることを特徴とする撮像装置。
  3. 請求項1または2に記載の撮像装置において、
    前記第2画像は、前記光学系の瞳径に基づいて生成することを特徴とする撮像装置。
  4. 請求項1〜3のいずれか1項に記載の撮像装置において、
    前記光学系の瞳の位置が所定値であるときの前記第2画像に符合する画像の位置を基準位置として記憶する記憶手段をさらに備え、
    前記演算手段は、前記光学系の瞳の位置が前記所定値とは異なる値であるとき、前記第2画像に符合する画像の位置を補正することを特徴とする撮像装置。
  5. 請求項4に記載の撮像装置において、
    前記演算手段は、前記光学系の瞳の位置が前記所定値とは異なる値であるとき、前記異なる値と前記所定値との差に基づいて、前記第2画像に符合する画像の位置を補正することを特徴とする撮像装置。
  6. 請求項1〜5のいずれか1項に記載の撮像装置において、
    前記第2画像に符合する画像の位置に基づいて、前記複数のマイクロレンズの各々について、前記複数の受光素子から一部の受光素子を選択し、前記一部の受光素子の出力を用いて被写体像の画像データを合成する画像合成手段をさらに備えることを特徴とする撮像装置。
  7. 請求項1〜5のいずれか1項に記載の撮像装置において、
    前記第2画像に符合する画像の位置に基づいて、前記光学系の相異なる一対の瞳を通過する一対の前記光束により一対の像が形成される一対の受光素子を、前記複数のマイクロレンズの各々について、前記複数の受光素子から選択し、前記一対の受光素子の出力を用いて前記光学系の焦点調節状態を検出する焦点検出手段をさらに備えることを特徴とする撮像装置。
  8. 請求項1に記載の撮像装置において、
    前記画像生成手段は、前記光学系の瞳径の値が暫定値の場合における暫定的な前記第2画像と前記第1画像との相関性に基づいて、前記光学系の瞳径の値を更新値に更新し、前記光学系の瞳径の値が更新値の場合における暫定的な前記第2画像を生成することを特徴とする撮像装置。
  9. 複数のマイクロレンズが配列されたマイクロレンズアレイと、複数の受光素子が配列された受光素子アレイとを備える撮像装置において生成される撮影画像データに対する画像解析に用いられる画像解析コンピュータプログラムであって、
    前記複数の受光素子で得られる受光信号に基づいて、前記複数のマイクロレンズの輪郭に相当する画像を含む第1画像データを生成する生成指示と、
    前記第1画像のうち、前記マイクロレンズの輪郭に対応する第2画像に符合する画像の位置を求める演算指示とを備えることを特徴とする画像解析コンピュータプログラム。
  10. 請求項9に記載の画像解析コンピュータプログラムにおいて、
    前記演算指示により、前記第1画像のうち、前記複数のマイクロレンズの第1マイクロレンズに対応する第1部分について前記第2画像に符合する画像の位置を求め、前記第1マイクロレンズとは異なる第2マイクロレンズに対応する第2部分については、前記複数のマイクロレンズの配列と前記第2画像に符合する画像の位置とに基づいて前記第2画像に符合する画像の位置を求めることを特徴とする画像解析コンピュータプログラム。
JP2009246881A 2009-10-27 2009-10-27 撮像装置および画像解析コンピュータプログラム Active JP4952768B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009246881A JP4952768B2 (ja) 2009-10-27 2009-10-27 撮像装置および画像解析コンピュータプログラム
US12/911,194 US8537261B2 (en) 2009-10-27 2010-10-25 Image-capturing apparatus and computer-readable computer program product containing image analysis computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009246881A JP4952768B2 (ja) 2009-10-27 2009-10-27 撮像装置および画像解析コンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2011097179A JP2011097179A (ja) 2011-05-12
JP4952768B2 true JP4952768B2 (ja) 2012-06-13

Family

ID=44113668

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009246881A Active JP4952768B2 (ja) 2009-10-27 2009-10-27 撮像装置および画像解析コンピュータプログラム

Country Status (2)

Country Link
US (1) US8537261B2 (ja)
JP (1) JP4952768B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5854984B2 (ja) * 2012-02-20 2016-02-09 キヤノン株式会社 画像処理装置、撮像装置、制御方法、及びプログラム
JP5627622B2 (ja) * 2012-03-15 2014-11-19 株式会社東芝 固体撮像装置および携帯情報端末
JP2013239904A (ja) * 2012-05-15 2013-11-28 Sony Corp 画像処理装置と画像処理方法およびプログラム
JP5988790B2 (ja) * 2012-09-12 2016-09-07 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、および、画像処理プログラム
US9480860B2 (en) 2013-09-27 2016-11-01 Varian Medical Systems, Inc. System and methods for processing images to measure multi-leaf collimator, collimator jaw, and collimator performance utilizing pre-entered characteristics
JP2015177510A (ja) * 2014-03-18 2015-10-05 株式会社リコー カメラシステム、画像処理方法及びプログラム
EP3104595A1 (en) * 2015-06-08 2016-12-14 Thomson Licensing Light field imaging device

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01216306A (ja) 1988-02-24 1989-08-30 Canon Inc 撮像手段を有した焦点検出装置
JPH09102039A (ja) 1995-10-05 1997-04-15 Nippon Steel Corp テンプレートマッチング方法
JP2004004471A (ja) 2002-04-26 2004-01-08 Bridgestone Corp 画像表示粒子及びそれを用いた画像表示装置
US7936392B2 (en) 2004-10-01 2011-05-03 The Board Of Trustees Of The Leland Stanford Junior University Imaging arrangements and methods therefor
JP4826152B2 (ja) 2005-06-23 2011-11-30 株式会社ニコン 画像合成方法及び撮像装置
US7924483B2 (en) * 2006-03-06 2011-04-12 Smith Scott T Fused multi-array color image sensor
US8189065B2 (en) * 2008-01-23 2012-05-29 Adobe Systems Incorporated Methods and apparatus for full-resolution light-field capture and rendering
JP4483951B2 (ja) * 2008-01-28 2010-06-16 ソニー株式会社 撮像装置
JP4886716B2 (ja) * 2008-02-26 2012-02-29 富士フイルム株式会社 画像処理装置および方法並びにプログラム

Also Published As

Publication number Publication date
US8537261B2 (en) 2013-09-17
JP2011097179A (ja) 2011-05-12
US20110228131A1 (en) 2011-09-22

Similar Documents

Publication Publication Date Title
JP4952768B2 (ja) 撮像装置および画像解析コンピュータプログラム
JP6271990B2 (ja) 画像処理装置、画像処理方法
CN103081455B (zh) 从手持设备所捕获的多个图像进行肖像图像合成
JP6548367B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP5609270B2 (ja) 撮像装置、撮像システム、撮像装置の制御方法およびプログラム
JP2009115981A (ja) 撮影装置、その制御方法およびプログラム
JP4974812B2 (ja) 電子カメラ
JP6823469B2 (ja) 像ブレ補正装置及びその制御方法、撮像装置、プログラム、記憶媒体
JP6518452B2 (ja) 撮像装置及び撮像方法
EP2866430B1 (en) Imaging apparatus and its control method and program
US11682131B2 (en) Image capturing apparatus and method of controlling image capturing apparatus
JP2010256530A (ja) 顕微鏡装置
JP5857712B2 (ja) ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム
JP2011135191A (ja) 撮像装置及び画像処理装置
JP2016001853A (ja) 画像処理装置、撮像装置、制御方法及びプログラム
JP2011113174A (ja) 画像合成装置、画像再生装置、および撮像装置
JP6645711B2 (ja) 画像処理装置、画像処理方法、プログラム
CN110995982A (zh) 图像处理装置及其控制方法、摄像装置、以及记录介质
KR101761105B1 (ko) 화상처리장치, 그 제어 방법 및 기억매체
JP5965654B2 (ja) 追尾装置及び撮像装置、撮像装置に用いる追尾方法
JP6046922B2 (ja) 焦点検出装置、撮像装置、制御方法、プログラム及び記録媒体
JP5893412B2 (ja) 撮像装置およびその制御方法
JP6478536B2 (ja) 画像処理装置および撮像装置、ならびにそれらの制御方法、プログラム
JP6916627B2 (ja) 撮像装置およびその制御方法
KR101599434B1 (ko) 자동 초점 조절을 이용한 영상촬상장치의 공간감지장치 및 공간감지방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110608

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120214

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120227

R150 Certificate of patent or registration of utility model

Ref document number: 4952768

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150323

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150323

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250