JP5821740B2 - 画像補正装置 - Google Patents

画像補正装置 Download PDF

Info

Publication number
JP5821740B2
JP5821740B2 JP2012072560A JP2012072560A JP5821740B2 JP 5821740 B2 JP5821740 B2 JP 5821740B2 JP 2012072560 A JP2012072560 A JP 2012072560A JP 2012072560 A JP2012072560 A JP 2012072560A JP 5821740 B2 JP5821740 B2 JP 5821740B2
Authority
JP
Japan
Prior art keywords
straight line
point
line
candidate
test
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012072560A
Other languages
English (en)
Other versions
JP2013206000A (ja
Inventor
浩寧 吉川
浩寧 吉川
由樹雄 平井
由樹雄 平井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2012072560A priority Critical patent/JP5821740B2/ja
Publication of JP2013206000A publication Critical patent/JP2013206000A/ja
Application granted granted Critical
Publication of JP5821740B2 publication Critical patent/JP5821740B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Image Processing (AREA)

Description

本発明は、画像補正装置に関する。
図1(a)(b)(c)は、光学系に入射する光の経路を説明するための図である。図1において、(a)は光学系の光軸と同じ方向に入射する光束、(b)は光軸に対して一定の角度を持って入射する光束、(c)は光軸に対する角度が最大となる場合の光束を示している。また、図2(a)(b)(c)は、光束のPSF(Point Spread Function:点像関数)の計算例を示す図である。図2において、(a)は図1(a)に示す光束のPSF、(b)は図1(b)に示す光束のPSF、(c)は図1(c)に示す光束のPSFを表している。
光学系を利用した撮像装置では、その撮像領域の中心部においては、図1(a)のようにレンズに入射する光の角度が小さいため、図2(a)のようにPSFの広がりが小さい。対照的に、撮像領域の周辺部においては、図1(c)のようにレンズに入射する光の角度が大きいため、図2(c)のようにPSFの広がりが大きくなる。
このことから、これらの撮像装置においては、撮像領域の中心部と比べて、周辺部の分解能が低いことが一般的である。このような撮像領域周辺部における分解能劣化を回復する技術として、特許文献1に記載された技術がある。
特許文献1記載の技術では、撮像装置の光学系のレンズ面形状、厚さ、硝材等のデータを所定の形式で記述したレンズデータを用いて、撮像画像周辺部における分解能の劣化度合いを算出する。このようにして算出された分解能の劣化度合いは、光軸中心からの距離に応じて同心円状に変化するものであり、該撮像画像の補正中心、すなわち、該撮像画像中においてもっとも劣化度合いが小さい点は撮像画像の中心と一致するものとしている。そして、該補正中心を基準点として、該劣化度合いに基づいて該撮像画像に画像処理を施し、分解能の劣化を補正する。
特開2012−23498号公報
前述のように、特許文献1記載の技術では、該分解能の劣化中心は撮像画像の中心であるものとして画像補正を行っている。しかし、性能誤差や撮影条件によっては、実際に得られる撮像画像周辺部の劣化度合いの対称性がレンズデータから得られる値と異なり、実際の補正中心の位置が撮像画像の中心と一致しない場合があることを、発明者は見出した。そこで、本発明では、何らかの要因により撮像画像の中心と補正中心の位置が一致しない撮像装置において、該撮像装置の撮像画像の補正中心を算出することを目的とする。
上記の目的を解決するために、本発明にかかる画像補正装置は、撮像装置の撮像領域中において、各々異なる位置に配置された複数のテストチャートを撮像した画像を取得する、取得手段と、前記複数のテストチャートの中から、各々所定の数のテストチャートを用いて、複数の候補線を算出する、候補線算出手段と、各々の前記候補線によって形成される図形を用いて、前記撮像領域において最も分解能の劣化が小さい点を算出する、補正中心算出手段とを有する。
撮像画像の中心と補正中心の位置が一致しない撮像装置において、該撮像装置の撮像画像の補正中心を算出することが可能になる。
光学系に入射する光の経路を説明するための図。 光束のPSFの計算例を示す図。 実施例1にかかる撮像装置100の機能構成例を表す機能ブロック図。 実施例1にかかる画像補正装置30の機能構成例を表す機能ブロック図。 実施例1にかかる画像補正装置30のハードウェア構成例を示すブロック図。 画像補正装置30が、撮像装置100の外部にある場合の、画像補正装置30のハードウェア構成例を示すブロック図。 実施例1にかかる補正中心位置算出手順の一例を示すフローチャート。 実施例1におけるテスト画像の例を説明するための図。 スターチャート内の空間周波数とMTF値との関係を説明するための図。 実施例2にかかる補正中心位置算出手順の一例を示すフローチャート。 実施例2におけるテスト画像の例を説明するための図。 実施例3にかかる補正中心位置算出手順の一例を示すフローチャート。 実施例3におけるテスト画像の例を説明するための図。 スターチャート及びその周辺の拡大図。 各候補線と補正中心との位置関係を説明するための図。 実施例4にかかる補正中心位置算出手順の一例を示すフローチャート。 実施例4におけるテスト画像の例を説明するための図。 各候補線と補正中心との位置関係を説明するための図。
以下に添付図面を参照して、本発明にかかる画像補正装置の実施例について詳細に説明する。
図3は、実施例1にかかる画像補正装置30を含む撮像装置100の機能構成例を表す機能ブロック図である。図3において、撮像装置100は、光学系0と、撮像素子10と、AFE(Analog Front End)20と、画像補正装置30と、デコンボリューション処理装置50と、後処理部60と、表示部70と、制御装置80とを有する。
光学系0は、被写体からの光を集光する機能を有し、レンズ1と、レンズ2と、レンズ3と、絞り4とを含んでいる。レンズ1、レンズ2、レンズ3、及び絞り4は、被写体からの光を撮像素子10の撮像面に集光させて被写体の像を撮像する。
撮像素子10は、例えば、CCD/CMOS等の二次元撮像装置を含み、該二次元撮像素子は、光学系0が、被写体からの光を集光させることによって生じた被写体の像を電気信号に変換して、AFE3へ出力する機能を有する。ここで、CCDはCharge Coupled Deviceの略、CMOSはComplementary Metal Oxide Semiconductorの略である。
AFE20は、A/D(Analog/Didital)コンバータ21と、タイミングジェネレータ22とを含んでいる。A/Dコンバータ21は、撮像素子からの電気信号をデジタル信号に変換して画像補正装置30およびメモリ41へ出力する機能を有する。タイミングジェネレータ22は、制御装置70からの制御信号に基づいて、撮像素子10の駆動に用いられるタイミングパルスを生成し、撮像素子10およびA/Dコンバータ21へ出力する機能を有する。
画像補正装置30は、撮像装置100の撮像領域において最も分解能の劣化が小さいと推測される点である、補正中心の位置を算出する機能を有する。図4は、画像補正装置30の機能構成例を表す機能ブロック図である。図4において、画像補正装置30は、取得部31と、候補線算出部32と、補正中心算出部33と、補正中心位置メモリ34とを含んでいる。
取得部31は、A/Dコンバータ21においてデジタル信号に変換されたテスト画像を取得する機能を有する。ここで、テスト画像とは、画像補正装置30が補正中心位置を算出するために用いる画像であり、撮像装置100が、その撮像領域中の3か所に配置されたテストチャートを撮像した画像のことを指すものとする。候補線算出部32は、取得した前記テスト画像に基づいて、補正中心を算出するための複数の候補線(後述)を算出する機能を有する。
また、補正中心算出部33は、前記候補線に基づいて、撮像装置100の撮像領域における補正中心を算出する機能を有する。補正中心位置メモリ34は、補正中心算出部33によって算出された補正中心の位置に関する情報を格納する機能を有する。なお、該情報は、例えば画像中における補正中心に対応する画素の座標など、該補正中心の位置が一意に特定可能なものであればよい。
図5は、実施例1にかかる画像補正装置30のハードウェア構成例を示すブロック図である。図5において、画像補正装置30は、CPU(Central Processing Unit)35と、RAM(Random Access Memory)36と、不揮発性メモリ37とを含み、バス38によって互いに接続されている。
ここで、CPU35は、画像補正装置30における各種処理をつかさどる演算部である。RAM36は、CPU35のワークエリアとして利用されるとともに、画像補正装置30の処理によって算出された補正中心の位置に関する情報が記憶される。不揮発性メモリ37には、画像補正装置30を動作させるためのプログラムと、該プログラムを動作させるために必要なデータが記憶されている。
画像補正装置30は、具体的には、例えば図5に示したRAM36によって補正中心位置メモリの機能を実現し、そのほかの機能ブロックは、例えば図5に示した不揮発性メモリ37に格納されたプログラムをCPU35が実行することにより実現される。なお、CPU35、RAM36、不揮発性メモリ37、バス38は、撮像装置100において使用されるものと共通であっても構わない。
また、画像補正装置30は、PC(Personal Computer)等の、撮像装置100の外部にある装置が、記録媒体等に記憶された前記プログラムを読み取ることで、その機能が実現されるものであっても構わない。図6は、画像補正装置30が、撮像装置100の外部にある場合の、画像補正装置30のハードウェア構成を示すブロック図である。図6において、画像補正装置30は、図5に示した構成に加えて、入力ポート39と、出力ポート40と、双方向ポート41と、読み取り装置42とを含んでいる。
ここで、入力ポート39は、撮像装置100からテスト画像を入力するためのインタフェースである。出力ポート40は、画像補正装置30が算出した補正中心の位置に関する情報を、撮像装置100へ出力するためのインタフェースである。双方向ポート41は、画像補正装置30が読み取り装置42と情報をやり取りするためのインタフェースである。読み取り装置42は、CD−ROM(Compact Disc−ROM)等の記録媒体に記憶された情報を読み取るための装置である。なお、記憶媒体とは、前記プログラムを記録可能で、読み取り装置42によって画像補正装置30が読み取ることのできるものであれば構わない。
フィルタ処理装置50は、画像補正装置30によって算出された補正中心位置に基づいて、画像にデコンボリューション処理を施す機能を有し、メモリ51と、デコンボリューション演算部52と、デコンボリューション制御部53とを含んでいる。メモリ51は、A/Dコンバータ21から出力された画像を記憶する機能を有する。デコンボリューション演算部52は、補正中心値メモリ32から取得した補正中心の位置が、撮像領域中において最も分解能の劣化が小さい点であるものとして、メモリ51に格納された画像に対するデコンボリューション処理を実行する機能を有する。デコンボリューション制御部53は、デコンボリューション演算部52の動作を制御する機能を有する。
後処理部60は、デコンボリューション処理が施された画像を読み出して、該処理以外に必要な処理を行って、表示するための画像を生成し、表示部70へ出力する機能を有する。表示部70は、例えば、画像を出力するディスプレイを含む。なお、撮像装置は、表示機能を必ずしも備えていなくてもよく、表示部70の代わりに、表示用の画像を記憶するVRAM(Video RAM)等の記憶部が備えられていてもよい。
ここで、実施例1にかかる画像補正装置30の補正中心位置算出手順について具体的に説明する。図7は、実施例1にかかる画像補正装置30の補正中心位置算出手順の一例を示すフローチャートである。図7のフローチャートにおいて、まず、取得部31は、撮像装置100の撮像領域中の3か所に配置された複数のテストチャートを撮像した、テスト画像を取得する(ステップS1)。図8は実施例1におけるテスト画像の例を説明するための図である。図8において、テスト画像の四隅のうち3か所にテストチャートC1、C2、C3がそれぞれ配置されている。
次に、候補線算出部32は、画像中に配置されたテストチャートの位置を算出し(ステップS3)、該テストチャートの、所定の空間周波数におけるX方向、及びY方向のMTF(Modulation Transfer Function)値を取得する(ステップS5)。ここで、X方向、Y方向とは、それぞれ図8におけるX方向、Y方向を指し、所定の空間周波数とは、DC(Direct Current)成分でなければどのような値をとっても構わないが、テスト画像の中心部と周辺部とでMTF値の差が大きいものあるほど望ましい。また、図8の例ではテストチャートとしてスターチャートが図示されているが、実際にはラインチャート等、所定の空間周波数におけるX方向、Y方向のMTF値がわかるものであれば構わない。
図9は、スターチャート内の各位置における白黒パターンの空間周波数(点線の波長の逆数)の変化に伴う、該チャートを撮像したときのMTF値(白黒パターンのコントラスト比であり、図9右の実線の振幅がそれに相当する)の変化を表した図である。図9に示されるように、本発明に使用するスターチャートは、白黒のパターンが放射状に並んだチャートであり、中心部に近づくほど白黒パターンの空間周波数が高くなる。また、中心部に近く、白黒パターンの空間周波数が高いほど、該パターンを撮像したときのMTF値は小さくなる。また、スターチャート外縁部におけるMTF値は、DC成分におけるMTF値と等しいとみなせるものとする。
次に、候補線算出部32は、前記テスト画像中にMTF値が未取得であるテストチャートが存在するか判定する(ステップS7)。MTF値が未取得であるテストチャートが存在する場合は(ステップS7:Yes)、処理対象のテストチャートを変更して(ステップS9)ステップS3からステップS5までの処理を繰り返し、そうでない場合は(ステップS7:No)、次の処理に進む。
次に、候補線算出部32は、各テストチャートの位置及びMTF値に基づいて、テストチャートC1とC2とを結ぶ直線と、C1とC3とを結ぶ直線それぞれにおける最も分解能の劣化が小さい点として、点1と、点2とを算出する(ステップS11)。
ここで、ステップS11の具体的な手順について説明する。まず、テストチャートC1、C2、C3におけるX方向のMTF値を、それぞれM1x、M2x、M3xと定義する。同様に、テストチャートC1、C2、C3におけるY方向のMTF値を、それぞれM1y、M2y、M3yと定義する。次に、テストチャートC1とC2との間を、M2x:M1xの比で内分する点を算出し、その点を点1とする。同様に、テストチャートC1とC3との間を、M3y:M1yの比で内分する点を算出し、その点を点2とする。なお、本実施例では、補正中心からの距離に応じて、MTF値が略線形に変化するものと仮定しているので、内分によって点1、点2を求めることができる。
次に、候補線算出部32は、補正中心を算出するための複数の候補線を算出する(ステップS13)。具体的には、点1を通り、テストチャートC1、C2を結ぶ直線に垂直な直線を算出して、その直線を候補線L1とし、同様に、点2を通り、テストチャートC1、C3を結ぶ直線に垂直な直線を算出して、その直線を候補線L2とする。
そして、補正中心算出部33は、候補線L1、L2の交点を補正中心として算出し(ステップS15)、該補正中心の位置を補正中心位置メモリ34に格納して(ステップS17)、処理を終了する。
補正中心位置算出後、デコンボリューション処理装置50及び後処理部60は、撮像装置100によって撮像された画像に対して、該補正中心を基準点としたデコンボリューション処理を含む補正処理を行う。デコンボリューション処理装置50及び後処理部60が行う補正処理の方法については周知であるので、ここでは説明を省略する。
以上説明したように、実施例1にかかる画像補正装置30によれば、取得部31は、撮像装置100の撮像領域中の3か所に配置された複数のテストチャートが撮像された、テスト画像を取得する。次に、候補線算出部32は、各チャートの間を、所定の空間周波数における該画像中の各テストチャートのMTF値によって内分する点を算出する。さらに、候補線算出部32は、該点を通り、X方向およびY方向に沿って一列に配置された2つのテストチャートを結ぶ直線に垂直な直線である候補線を算出する。そして、補正中心算出部33は、各候補線の交点を、補正中心としてそれぞれ算出する。これにより、撮像画像の中心と補正中心の位置が一致しない撮像装置において、該撮像装置の撮像画像の補正中心を算出することが可能になる。
次に、実施例2にかかる画像補正装置30について説明する。実施例1では、3つのテストチャートが撮像された画像において、各テストチャートの間を、該画像中の各テストチャートの、所定の空間周波数におけるMTF値によって内分する点をそれぞれ点1、点2として算出し、これらの点を用いて候補線を算出していた。実施例2では、撮像領域中の第一、第二の直線上にそれぞれ複数のテストチャートを配置し、各直線上に配置されたテストチャートにおいて取得された、該直線に平行な方向のMTF値に基づいて、点1、点2を算出する場合について説明する。なお、実施例1で説明した箇所と同一箇所については、同一符号を付して説明を省略する。
まず、実施例2にかかる撮像装置100の機能構成、画像補正装置30の機能構成、及び画像補正装置30のハードウェア構成については、第一の実施例において説明したものと共通であるので、説明は省略する。
なお、画像補正装置30は、PC等の、撮像装置100の外部にある装置が、記録媒体等に記憶された前記プログラムを読み取ることで、その機能が実現されるものであっても構わない。また、その場合の画像補正装置30のハードウェア構成は第一の実施例において説明したものと共通であって構わない。
ここで、実施例2にかかる画像補正装置30の補正中心位置算出手順について具体的に説明する。図10は、実施例2にかかる画像補正装置30の補正中心位置算出手順の一例を示すフローチャートである。図10のフローチャートにおいて、まず、取得部31は、撮像領域中の第一の方向に沿って一列に配置された複数のテストチャートが撮像された、第一のテスト画像を取得し、該テスト画像を処理対象とする(ステップS101)。
図11(a)(b)は実施例2におけるテスト画像の例を説明するための図である。図11(a)において、第一のテスト画像中の第一の方向に沿って複数のテストチャートが一列に配置されている。また、図11(b)において、第二のテスト画像中の第二の方向に沿って複数のテストチャートが一列に配置されている。また、第一の方向および第二の方向は、予めシステム管理者等によってそれぞれのテスト画像と対応付けられているものとする。
なお、以下では第一の方向に配置されたテストチャートを撮像した第一のテスト画像と、第二の方向に配置されたテストチャートを撮像した第二のテスト画像とを利用して補正中心を求める方法について説明する。しかし、実際には第一、第二の方向に配置された一つのテストチャートを用いて補正中心を求めても構わない。また、配置されたテストチャートの個数は必ずしも5個である必要はなく、複数個であれば構わない。さらに、各テストチャート必ずしもスターチャートである必要はなく、ラインチャート等、所定の空間周波数における第一の方向のMTF値がわかるものであれば構わない。
次に、候補線算出部32は、現在の処理対象であるテスト画像中に配置されたテストチャートの、所定の空間周波数における該テスト画像と対応付けられた方向のMTF値を取得する(ステップS103)。なお、所定の空間周波数とは、DC成分でなければどのような値をとっても構わないが、テスト画像の中心部と周辺部とでMTF値の差が大きいものであるほど望ましい。
次に、候補線算出部32は、候補線算出部32は、現在の処理対象であるテスト画像中にMTF値が未取得であるテストチャートが存在するか判定する(ステップS105)。MTF値が未取得であるテストチャートが存在する場合は(ステップS105:Yes)、処理対象のテストチャートを変更して(ステップS107)ステップS103からステップS105までの処理を繰り返し、そうでない場合は(ステップS105:No)、次の処理に進む。
次に、候補線算出部32は、現在の処理対象であるテスト画像に対応付けられたに沿って一列に配置された各テストチャートの位置とMTF値との対応関係を表したテーブル情報を生成し、該対応関係を近似する2次関数等の偶関数を算出する(ステップS109)。
例えば、図11(a)下部に示された折れ線グラフは、第一のテスト画像中の各テストチャートの位置とMTF値との関係をプロットしたグラフであり、点線で表されたグラフは、該グラフを近似する2次関数等の偶関数である。同様に、図11(b)下部に示された折れ線グラフは、第二のテスト画像中の各テストチャートの位置とMTF値との関係をプロットしたグラフであり、点線で表されたグラフは、該グラフを近似する2次関数等の偶関数である。
現在の処理対象であるテスト画像において、前記偶関数の値が最大となる位置を、該テスト画像に対応付けられた方向に沿って一列に配置された各テストチャートを結ぶ直線上において最も分解能の劣化が小さい点として算出する(ステップS111)。
次に、候補線算出部32は、補正中心を算出するための候補線を算出する(ステップS113)。具体的には、ステップS111にて算出された点を通り、現在の処理対象であるテスト画像に対応付けられた方向に沿って一列に配置された各テストチャートを結ぶ直線に対して垂直な直線を候補線として算出する。
次に、候補線算出部32は、2つのテスト画像のうち、未取得のテスト画像が存在するか判定する(ステップS115)。未取得のテスト画像が存在しない場合は次の処理に進む。未取得のテスト画像が存在する場合は、取得部31は、撮像領域中の第二の方向に沿って一列に配置された複数のテストチャートが撮像された、第二のテスト画像を取得して、該テスト画像を処理対象とする(ステップS117)。その後、第二のテスト画像について、ステップS103からステップS113までの処理を繰り返す。
次に、補正中心算出部33は、第一のテスト画像において算出された候補線と、第二のテスト画像において算出された候補線の交点を補正中心として算出する(ステップS119)。そして、該補正中心の位置を補正中心位置メモリ34に格納して(ステップS121)、処理を終了する。
以上説明したように、実施例2にかかる画像補正装置30によれば、取得部31は、撮像装置100の撮像領域中において、第一の方向および第二の方向に沿って一列に配置された複数のテストチャートが撮像された、テスト画像を取得する。次に、候補線算出部32は、第一の方向および第二の方向に沿って一列に配置された各テストチャートの位置とMTF値との関係を近似する2次関数等の偶関数を算出する。さらに、候補線算出部32は、該偶関数の値が極大となる点を算出し、該点を通り、第一の方向および第二の方向に配置された各テストチャートを結ぶ直線に垂直な直線である候補線をそれぞれ算出する。そして、補正中心算出部33は、各候補線の交点を、補正中心として算出する。これにより、撮像画像の中心と補正中心の位置が一致しない撮像装置において、該撮像装置の撮像画像の補正中心を算出することが可能になる。
次に、実施例3にかかる画像補正装置30について説明する。本実施例及び後述の実施例4では、テストチャートとしてスターチャートを用いることで実施可能な補正中心算出方法について記載する。実施例3では、2つのスターチャートが撮像された画像において、各スターチャート内のコントラストが所定の値となる位置を楕円形につなげた図形を形成し、各々の楕円形の短軸を延長した直線の交点を補正中心として算出する場合について説明する。なお、実施例1、2で説明した箇所と同一箇所については、同一符号を付して説明を省略する。
また、実施例3にかかる撮像装置100の機能構成、画像補正装置30の機能構成、及び画像補正装置30のハードウェア構成については、第一の実施例について説明したものと共通であるので、説明は省略する。
なお、画像補正装置30は、PC等の、撮像装置100の外部にある装置が、記録媒体等に記憶された前記プログラムを読み取ることで、その機能が実現されるものであっても構わない。また、その場合の画像補正装置30のハードウェア構成は第一の実施例において説明したものと共通であって構わない。
ここで、実施例3にかかる画像補正装置30の補正中心位置算出手順について具体的に説明する。図12は、実施例3にかかる画像補正装置30の補正中心位置算出手順の一例を示すフローチャートである。図12のフローチャートにおいて、まず、取得部31は、撮像領域中のそれぞれ異なる2か所に配置されたスターチャートが撮像された、テスト画像を取得する(ステップS201)。
図13は、実施例3におけるテスト画像の例を説明するための図である。図13において、テスト画像中の2か所にスターチャートSC1、SC2がそれぞれ配置されている。なお、図13の例ではスターチャートSC1、SC2はテスト画像の角に配置されているが、実際には別の場所に配置されていてもよい。
次に、候補線算出部32は、画像中に配置されたテストチャートの位置を算出し(ステップS203)該スターチャート内において、MTF値が所定の値(例えば50%)となる位置をつなげた図形である、コントラスト低下しきい値ラインを形成する(ステップS205)。図14は、スターチャートSC1と、その周辺を拡大した図である。スターチャートSC1内において、MTF値が所定の値となる位置をつなげると、図14に示されるように、楕円形のコントラスト低下しきい値ラインが形成される。このように楕円形のコントラスト低下しきい値ラインを形成することで、スターチャートが配置された位置においては、楕円形の短軸方向の分解能が高く、長軸方向の分解能が低いということがわかる。
次に、候補線算出部32は、前記スターチャートにおいて、前記コントラスト低下しきい値ラインの短軸を延長した直線を、候補線として算出する(ステップS207)。図15は、各候補線と補正中心との位置関係を説明するための図である。図15において、各スターチャートから算出された候補線の交点に補正中心が存在している。一般的に、光学系を利用した撮像装置では、補正中心に対する径方向の分解能のほうが、光軸の中心に対する円周方向の分解能より高いという傾向がある。そのため、前記コントラスト低下しきい値ラインの短軸を延長した直線である候補線は、いずれも補正中心に対する径方向と一致するものとみなすことができるので、各候補線の交点に補正中心が存在すると推定できる。
次に、候補線算出部32は、前記テスト画像中に候補線が未取得であるテストチャートが存在するか判定する(ステップS209)。MTF値が未取得であるテストチャートが存在する場合は(ステップS209:Yes)、処理対象のテストチャートを変更して(ステップS211)ステップS203からステップS207までの処理を繰り返し、そうでない場合は(ステップS209:No)、次の処理に進む。
そして、補正中心算出部33は、各テストチャートから算出された候補線L1、L2の交点を補正中心として算出し(ステップS213)、該補正中心の位置を補正中心位置メモリ34に格納して(ステップS215)、処理を終了する。
以上説明したように、実施例3にかかる画像補正装置30によれば、取得部31は、撮像装置100の撮像領域中において、2つのスターチャートが撮像された、テスト画像を取得する。次に、候補線算出部32は、各スターチャート内のコントラストが所定の値となる位置を楕円形につなげたコントラスト低下しきい値ラインを形成し、各コントラスト低下しきい値ラインの短軸を延長した直線である候補線を算出する。そして、補正中心算出部33は、各候補線の交点を、補正中心として算出する。これにより、撮像画像の中心と補正中心の位置が一致しない撮像装置において、該撮像装置の撮像画像の補正中心を算出することが可能になる。
次に、実施例4にかかる画像補正装置30について説明する。実施例3では、各候補線は、いずれも補正中心に対する径方向と一致するものとして、2本の候補線の交点を補正中心として算出していた。しかし、種々の条件により、コントラスト低下しきい値ラインから形成した候補線が補正中心に対する径方向と一致しない場合がある。その場合、実施例3の構成を用いると、算出した補正中心と実際の補正中心との間にずれが生じてしまうことがある。
そこで、実施例4では、3以上のスターチャートが撮像された画像において、各々のスターチャートにおけるコントラスト低下しきい値ラインの短軸を延長した候補線を算出し、各候補線の交点を頂点とする図形の重心を、補正中心として算出する。このような構成を用いることで、実施例3よりも正確に補正中心を算出することができる。なお、実施例1〜3で説明した箇所と同一箇所については、同一符号を付して説明を省略する。
また、実施例4にかかる撮像装置100の機能構成、画像補正装置30の機能構成、及び画像補正装置30のハードウェア構成については、第一の実施例について説明したものと共通であるので、説明は省略する。
なお、画像補正装置30は、PC等の、撮像装置100の外部にある装置が、記録媒体等に記憶された前記プログラムを読み取ることで、その機能が実現されるものであっても構わない。また、その場合の画像補正装置30のハードウェア構成は第一の実施例において説明したものと共通であって構わない。
ここで、実施例4にかかる画像補正装置30の補正中心位置算出手順について具体的に説明する。図16は、実施例4にかかる画像補正装置30の補正中心位置算出手順の一例を示すフローチャートである。図16のフローチャートにおいて、まず、取得部31は、撮像領域中のそれぞれ異なる3か所以上に配置されたスターチャートが撮像された、テスト画像を取得する(ステップS301)。
図17は、実施例4におけるテスト画像の例を説明するための図である。図17において、テスト画像中の4か所にスターチャートSC1、SC2、SC3、SC4がそれぞれ配置されている。なお、図17の例ではスターチャートSC1、SC2、SC3、SC4はテスト画像の四隅に配置されているが、実際には別の場所に配置されていてもよい。また、本実施例では4つのスターチャートが配置される場合について説明するが、実際に配置されるスターチャートの数は必ずしも4つである必要はなく、3つ以上であればよい。
次に、候補線算出部32は、画像中に配置されたテストチャートの位置を算出し(ステップS303)該スターチャート内において、MTF値が所定の値(例えば50%)となる位置をつなげた図形である、コントラスト低下しきい値ラインを形成する(ステップS305)。
次に、候補線算出部32は、前記スターチャートにおいて、前記コントラスト低下しきい値ラインの短軸を延長した直線を、候補線として算出する(ステップS307)。図18は、各候補線と補正中心との位置関係を説明するための図である。図18において、各候補線L1、L2、L3、L4は必ずしも一点に交わらず、複数の交点P1、P2、P3、P4が形成されている。前述のように、各候補線は補正中心に対する径方向と一致しないことがあるので、そのような場合は図18のように、各候補線は一点で交わらずに、複数の交点が形成される。
次に、候補線算出部32は、前記テスト画像中に候補線が未取得であるテストチャートが存在するか判定する(ステップS309)。MTF値が未取得であるテストチャートが存在する場合は(ステップS309:Yes)、処理対象のテストチャートを変更して(ステップS311)ステップS32からステップS34までの処理を繰り返し、そうでない場合は(ステップS09:No)、次の処理に進む。
そこで、補正中心算出部33は、各候補線と、各候補線の交点P1、P2、P3、P4によって形成される図形内の一点を、補正中心として算出し(ステップS37)、該補正中心の位置を補正中心位置メモリ34に格納して(ステップS38)、処理を終了する。なお、図形内の一点とは、該図形内のある一点を一意に特定するものであれば、どのような点であっても構わないが、図18では該図形の重心を補正中心として算出する場合の例を表している。
以上説明したように、実施例4にかかる画像補正装置30によれば、撮像装置100の撮像領域中において、3以上のスターチャートが撮像された、テスト画像を取得する。次に、候補線算出部32は、各スターチャート内のコントラストが所定の値となる位置を楕円形につなげたコントラスト低下しきい値ラインを形成し、各コントラスト低下しきい値ラインの短軸を延長した直線である候補線を算出する。そして、補正中心算出部33は、各候補線の交点を頂点とする図形の重心を、補正中心として算出する。これにより、撮像画像の中心と補正中心の位置が一致しない撮像装置において、該撮像装置の撮像画像の補正中心を、実施例3よりも正確に算出することができる。
0 光学系
1 レンズ
2 レンズ
3 レンズ
4 絞り
10 撮像素子
20 AFE
21 A/Dコンバータ
22 タイミングジェネレータ
30 画像補正装置
31 取得部
32 候補線算出部
33 補正中心算出部
34 補正中心位置メモリ
35 CPU
36 RAM
37 不揮発性メモリ
38 バス
39 入力ポート
40 出力ポート
41 双方向ポート
42 読み取り装置
50 デコンボリューション処理装置
51 メモリ
52 デコンボリューション演算部
53 デコンボリューション制御部
60 後処理部
70 表示部
80 制御装置
100 撮像装置

Claims (15)

  1. 各々異なる位置に配置された3以上のテストチャートを撮像した画像を取得する取得手段と、
    前記3以上のテストチャートのうち、第一の直線上に配置された2以上のテストチャートの各々において、該第一の直線に平行な方向のMTF(Modulation Transfer Function)値を前記画像のコントラストから取得し、該第一の直線に平行な方向のMTF値を用いて、該第一の直線上において最も分解能の劣化が小さい点として、第一の点を算出し、該第一の点を通り、該第一の直線に対して垂直な第一の候補線を算出し、前記3以上のテストチャートのうち、前記第一の直線と平行でない第二の直線上に配置された2以上のテストチャートの各々において、該第二の直線に平行な方向のMTF値を前記画像のコントラストから取得し、該第二の直線に平行な方向のMTF値を用いて、該第二の直線上において最も分解能の劣化が小さい点として、第二の点を算出し、該第二の点を通り、該第二の直線に対して垂直な第二の候補線を算出する候補線算出手段と、
    前記第一の候補線と前記第二の候補線との交点を、前記撮像領域において最も分解能の劣化が小さい点として算出する補正中心算出手段と、
    を有することを特徴とする画像処理装置。
  2. 前記候補線算出手段は、前記3以上のテストチャートのうち、第一の直線上に配置された2つのテストチャートの各々において、該第一の直線に平行な方向のMTF値を前記画像のコントラストから取得し、前記第一の点として、該2つのテストチャート間を、該第一の直線に平行な方向のMTF値によって内分する点を算出し、該第一の点を通り、該第一の直線に対して垂直な第一の候補線を算出し、該3以上のテストチャートのうち、前記第一の直線と平行でない第二の直線上に配置された2つのテストチャートの各々について、該第二の直線に平行な方向のMTF値を前記画像のコントラストから取得し、前記第二の点として、該2つのテストチャート間を、該第二の直線に平行な方向のMTF値によって内分する点を算出し、該第二の点を通り、該第の直線に対して垂直な第二の候補線を算出する
    ことを特徴とする、請求項1記載の画像処理装置。
  3. 前記候補線算出手段は、前記3以上のテストチャートのうち、第一の直線上に配置された2以上のテストチャートの各々において、該第一の直線に平行な方向のMTF値を前記画像のコントラストから取得し、該第一の直線上のテストチャートの位置と、該テストチャートのMTF値との関係を近似する偶関数を算出し、該偶関数の値が最大となる点を、第一の点として算出し、該第一の点を通り、該第一の直線に対して垂直な第一の候補線を算出し、該3以上のテストチャートのうち、前記第一の直線と平行でない第二の直線上に配置された2以上のテストチャートの各々において、該第二の直線に平行な方向のMTF値を前記画像のコントラストから取得し、該第二の直線上のテストチャートの位置と、該テストチャートのMTF値との関係を近似する偶関数を算出し、該偶関数の値が最大となる点を、第二の点として算出し、該第二の点を通り、該第二直線に対して垂直な第二の候補線を算出する
    ことを特徴とする、請求項1記載の画像処理装置。
  4. 各々異なる位置に配置された2つのスターチャートを撮像した画像を取得する取得手段と、
    前記2つのスターチャートの各々において、コントラストが所定の値となる位置を楕円状につなげた図形を作成し、該楕円形の各々において、その短軸を延長した直線を、それぞれ第一の候補線および第二の候補線として算出する候補線算出手段と、
    前記第一の候補線と前記第二の候補線との交点を、前記撮像領域において最も分解能の劣化が小さい点として算出する補正中心算出手段と、
    を有することを特徴とする画像処理装置。
  5. 各々異なる位置に配置された3以上のスターチャートを撮像した画像を取得する取得手段と、
    前記3以上のスターチャートの各々において、コントラストが所定の値となる位置を楕円状につなげた図形を作成し、該楕円形の各々において、該楕円形の短軸を延長した直線を、それぞれ候補線として算出する候補線算出手段と、
    各候補線によって形成される図形内のいずれか一点を、前記撮像領域において最も分解能の劣化が小さい点として算出する補正中心算出手段と、
    を有することを特徴とする画像処理装置。
  6. 画像の処理方法であって、画像処理装置は、
    撮像装置の撮像領域中において、各々異なる位置に配置された2つのテストチャートを撮像した画像を取得し、
    前記3以上のテストチャートのうち、第一の直線上に配置された2以上のテストチャートの各々において、該第一の直線に平行な方向のMTF値を前記画像から取得し、該第一の直線に平行な方向のMTF値を用いて、該第一の直線上において最も分解能の劣化が小さい点として、第一の点を算出し、該第一の点を通り、該第一の直線に対して垂直な第一の候補線を算出し、該3以上のテストチャートのうち、前記第一の直線と平行でない第二の直線上に配置された2以上のテストチャートの各々において、該第二の直線に平行な方向のMTF値を前記画像から取得し、該第二の直線に平行な方向のMTF値を用いて、該第二の直線上において最も分解能の劣化が小さい点として、第二の点を算出し、該第二の点を通り、該第二の直線に対して垂直な第二の候補線を算出し、
    前記第一の候補線と前記第二の候補線との交点を、前記撮像領域において最も分解能の劣化が小さい点として算出する
    ことを特徴とする画像処理方法。
  7. 前記画像処理装置は、前記3以上のテストチャートのうち、第一の直線上に配置された2つのテストチャートの各々において、該第一の直線に平行な方向のMTF値を前記画像のコントラストから取得し、前記第一の点として、該2つのテストチャート間を、該第一の直線に平行な方向のMTF値によって内分する点を算出し、該第一の点を通り、該第一の直線に対して垂直な第一の候補線を算出し、該3以上のテストチャートのうち、前記第一の直線と平行でない第二の直線上に配置された2つのテストチャートの各々について、該第二の直線に平行な方向のMTF値を前記画像のコントラストから取得し、前記第二の点として、該2つのテストチャート間を、該第二の直線に平行な方向のMTF値によって内分する点を算出し、該第二の点を通り、該第の直線に対して垂直な第二の候補線を算出する
    ことを特徴とする、請求項6記載の画像処理方法。
  8. 前記画像処理装置は、前記3以上のテストチャートのうち、第一の直線上に配置された2以上のテストチャートの各々において、該第一の直線に平行な方向のMTF値を前記画像のコントラストから取得し、該第一の直線上のテストチャートの位置と、該テストチャートのMTF値との関係を近似する偶関数を算出し、該偶関数の値が最大となる点を、第一の点として算出し、該第一の点を通り、該第一の直線に対して垂直な第一の候補線を算出し、該3以上のテストチャートのうち、前記第一の直線と平行でない第二の直線上に配置された2以上のテストチャートの各々において、該第二の直線に平行な方向のMTF値を前記画像のコントラストから取得し、該第二の直線上のテストチャートの位置と、該テストチャートのMTF値との関係を近似する偶関数を算出し、該偶関数の値が最大となる点を、第二の点として算出し、該第二の点を通り、該第二直線に対して垂直な第二の候補線を算出する
    ことを特徴とする、請求項6記載の画像処理方法。
  9. 画像の処理方法であって、画像処理装置は、
    各々異なる位置に配置された2つのスターチャートを撮像した画像を取得し、
    前記2つのスターチャートの各々において、コントラストが所定の値となる位置を楕円状につなげた図形を作成し、該楕円形の各々において、その短軸を延長した直線を、それぞれ第一の候補線および第二の候補線として算出し、
    前記第一の候補線と前記第二の候補線との交点を、前記撮像領域において最も分解能の劣化が小さい点として算出する
    ことを特徴とする画像処理方法。
  10. 画像の処理方法であって、画像処置装置は、
    各々異なる位置に配置された3以上のスターチャートを撮像した画像を取得し、
    前記3以上のスターチャートの各々において、コントラストが所定の値となる位置を楕円状につなげた図形を作成し、該楕円形の各々において、該楕円形の短軸を延長した直線を、それぞれ候補線として算出し、
    各候補線によって形成される図形内のいずれか一点を、前記撮像領域において最も分解能の劣化が小さい点として算出する
    ことを特徴とする画像処理方法。
  11. 各々異なる位置に配置された3以上のテストチャートを撮像した画像を取得する取得処理と、
    前記3以上のテストチャートのうち、第一の直線上に配置された2以上のテストチャートの各々において、該第一の直線に平行な方向のMTF値を前記画像のコントラストから取得し、該第一の直線に平行な方向のMTF値を用いて、該第一の直線上において最も分解能の劣化が小さい点として、第一の点を算出し、該第一の点を通り、該第一の直線に対して垂直な第一の候補線を算出し、前記3以上のテストチャートのうち、前記第一の直線と平行でない第二の直線上に配置された2以上のテストチャートの各々において、該第二の直線に平行な方向のMTF値を前記画像のコントラストから取得し、該第二の直線に平行な方向のMTF値を用いて、該第二の直線上において最も分解能の劣化が小さい点として、第二の点を算出し、該第二の点を通り、該第二の直線に対して垂直な第二の候補線を算出する候補線算出処理と、
    前記第一の候補線と前記第二の候補線との交点を、前記撮像領域において最も分解能の劣化が小さい点として算出する補正中心算出処理と、
    をコンピュータに実行させることを特徴とする画像処理プログラム。
  12. 前記候補線算出処理は、前記3以上のテストチャートのうち、第一の直線上に配置された2つのテストチャートの各々において、該第一の直線に平行な方向のMTF値を前記画像のコントラストから取得し、前記第一の点として、該2つのテストチャート間を、該第一の直線に平行な方向のMTF値によって内分する点を算出し、該第一の点を通り、該第一の直線に対して垂直な第一の候補線を算出し、該3以上のテストチャートのうち、前記第一の直線と平行でない第二の直線上に配置された2つのテストチャートの各々について、該第二の直線に平行な方向のMTF値を前記画像のコントラストから取得し、前記第二の点として、該2つのテストチャート間を、該第二の直線に平行な方向のMTF値によって内分する点を算出し、該第二の点を通り、該第の直線に対して垂直な第二の候補線を算出する
    ことを特徴とする、請求項11記載の画像処理プログラム。
  13. 前記候補線算出処理は、前記3以上のテストチャートのうち、第一の直線上に配置された2以上のテストチャートの各々において、該第一の直線に平行な方向のMTF値を前記画像のコントラストから取得し、該第一の直線上のテストチャートの位置と、該テストチャートのMTF値との関係を近似する偶関数を算出し、該偶関数の値が最大となる点を、第一の点として算出し、該第一の点を通り、該第一の直線に対して垂直な第一の候補線を算出し、該3以上のテストチャートのうち、前記第一の直線と平行でない第二の直線上に配置された2以上のテストチャートの各々において、該第二の直線に平行な方向のMTF値を前記画像のコントラストから取得し、該第二の直線上のテストチャートの位置と、該テストチャートのMTF値との関係を近似する偶関数を算出し、該偶関数の値が最大となる点を、第二の点として算出し、該第二の点を通り、該第二直線に対して垂直な第二の候補線を算出する
    ことを特徴とする、請求項11記載の画像処理プログラム。
  14. 各々異なる位置に配置された2つのスターチャートを撮像した画像を取得する取得処理と、
    前記2つのスターチャートの各々において、コントラストが所定の値となる位置を楕円状につなげた図形を作成し、該楕円形の各々において、その短軸を延長した直線を、それぞれ第一の候補線および第二の候補線として算出する候補線算出処理と、
    前記第一の候補線と前記第二の候補線との交点を、前記撮像領域において最も分解能の劣化が小さい点として算出する補正中心算出処理と、
    をコンピュータに実行させることを特徴とする画像処理補正プログラム。
  15. 各々異なる位置に配置された3以上のスターチャートを撮像した画像を取得する取得処理と、
    前記3以上のスターチャートの各々において、コントラストが所定の値となる位置を楕円状につなげた図形を作成し、該楕円形の各々において、該楕円形の短軸を延長した直線を、それぞれ候補線として算出する候補線算出処理と、
    各候補線によって形成される図形内のいずれか一点を、前記撮像領域において最も分解能の劣化が小さい点として算出する補正中心算出処理と、
    をコンピュータに実行させることを特徴とする画像処理プログラム。
JP2012072560A 2012-03-27 2012-03-27 画像補正装置 Active JP5821740B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012072560A JP5821740B2 (ja) 2012-03-27 2012-03-27 画像補正装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012072560A JP5821740B2 (ja) 2012-03-27 2012-03-27 画像補正装置

Publications (2)

Publication Number Publication Date
JP2013206000A JP2013206000A (ja) 2013-10-07
JP5821740B2 true JP5821740B2 (ja) 2015-11-24

Family

ID=49525039

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012072560A Active JP5821740B2 (ja) 2012-03-27 2012-03-27 画像補正装置

Country Status (1)

Country Link
JP (1) JP5821740B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6255892B2 (ja) * 2013-10-23 2018-01-10 富士通株式会社 画像処理装置、画像処理方法、及びプログラム
CN113869303B (zh) * 2020-06-30 2024-09-17 北京搜狗科技发展有限公司 图像处理方法、装置和介质

Also Published As

Publication number Publication date
JP2013206000A (ja) 2013-10-07

Similar Documents

Publication Publication Date Title
JP6347675B2 (ja) 画像処理装置、撮像装置、画像処理方法、撮像方法及びプログラム
JP5311143B2 (ja) 測定装置および方法、並びに、プログラム
JP5766077B2 (ja) ノイズ低減のための画像処理装置及び画像処理方法
JP2010165248A (ja) 画像処理装置、画像照合方法、および、プログラム
JP6137316B2 (ja) 深さ位置検出装置、撮像素子、及び深さ位置検出方法
JP5619124B2 (ja) 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法
JP6261199B2 (ja) 情報処理装置、情報処理方法、及び、コンピュータプログラム
JP5218429B2 (ja) 3次元形状測定装置および方法、並びに、プログラム
JP2014123805A5 (ja)
JP5821740B2 (ja) 画像補正装置
JP2020009180A (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
US9270883B2 (en) Image processing apparatus, image pickup apparatus, image pickup system, image processing method, and non-transitory computer-readable storage medium
JP6190119B2 (ja) 画像処理装置、撮像装置、制御方法、及びプログラム
JP2008010958A (ja) 撮像装置及び撮像方法
JP6352150B2 (ja) 画像処理装置および画像処理方法
JP2009047734A (ja) 撮像装置及び画像処理プログラム
JP6556033B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP6436840B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP6762779B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP5853369B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6248662B2 (ja) 画像処理装置、撮像装置及び画像処理プログラム
JP2018152095A (ja) 画像処理装置、撮像装置及び画像処理プログラム
JP2019174216A (ja) レンズマーカのパターン中心の決定方法、およびその装置、ならびに決定方法をコンピュータに実行させるプログラム、およびその記録媒体
JP2012132833A (ja) 像面測定装置、及び像面測定方法
JP2023034487A (ja) 撮像装置及びオートフォーカス制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141204

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150724

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150820

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150908

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150921

R150 Certificate of patent or registration of utility model

Ref document number: 5821740

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150