[実施形態1]
以下、本実施形態について図を参照して説明する。本実施形態の較正システムは、撮影装置の各画素の感度を較正する感度較正処理を行うシステムである。
本実施形態の感度較正処理とは、表示装置に表示される表示画像を撮影装置に撮影させることで得られる撮影画像を情報処理装置に入力し、当該情報処理装置が、当該撮影画像を用いて、撮影装置の各画素の画素値を補正するための補正係数を求める処理を指す。感度較正処理が実行された後の撮影装置の撮影にて得られる撮影画像のデータが前記補正係数によって補正されることにより、各画素の感度が較正されることになるのである。なお、本明細書において、撮影装置の各画素とは、撮影装置が備える撮像素子の各画素を指す。また、各画素の画素値は、撮影装置の各画素から得られるデータであって、撮影画像の各画素の明るさを数値化したデータを指す。
なお、本実施形態の較正システムは、主に表示装置の表示較正処理のための撮影に利用される撮影装置を処理対象としているが、処理対象は、特に表示装置の表示較正処理のための撮影に利用される撮影装置に限定されるものではなく、他の用途の撮影装置を処理対象としても勿論よい。
図1は、本実施形態の較正システムの全体構成を模式的に示した図であり、図2は、図1の較正システムの機能ブロック図である。図1および図2に示すように、較正システム100は、撮影ユニット101、表示部102aを有する表示装置102、情報処理装置103を備えている。
撮影ユニット101は、図2に示すように、撮影装置101aと駆動装置101bとを備える。撮影装置101aは、本実施形態の較正システム100の感度較正処理の処理対象となるカメラである。具体的には、撮影装置101aとしては、デジタルカメラ(汎用デジタルカメラ、FA用カメラ等)が用いられる。駆動装置101bは、コンピュータ制御によって撮影装置101aを動かす装置である。駆動装置101bとしては、例えば、電動雲台またはロボットアームが用いられる。なお、実施形態1において、撮影装置101aにおける撮影処理は静止画像を取得する処理を意味し、撮影画像とは静止画像を意味する。
表示装置102は、図1および図2に示すように、撮影装置101aに撮影させる較正用表示画像を表示する表示部102aを備えた装置である。表示部102aとしては、例えば液晶表示パネルを用いることができる。なお、表示装置102としては、感度較正処理後の撮影装置101aを用いて表示較正処理を行う際の処理対象となる表示装置と同型のものに限定されず、あらゆる表示装置を用いることができる。
情報処理装置(較正装置)103は、撮影ユニット101および表示装置102を制御し、且つ、撮影ユニット101から入力される情報を処理する装置である。具体的には、情報処理装置103は、撮影ユニット101および表示装置102の制御を行い、また、撮影ユニット101の撮影装置101aから撮影画像を入力し、当該撮影画像を用いて、撮影装置101aの各画素の画素値を補正するための補正係数を求めるようになっている。情報処理装置103としては、汎用のパーソナルコンピュータ装置(例えばノート型のコンピュータ装置)を用いることができる。
なお、図1に示すように、情報処理装置103は、DVI(Digital Visual Interface)を介して表示装置102と接続されており、これにより表示装置102を表示制御可能になっている。また、情報処理装置103は、LAN(Local Area Network)等の通信回線を介して撮影ユニット101と接続されており、これにより撮影ユニット101の動作制御や撮影ユニット101から撮影画像の受信が可能になっている。
情報処理装置103は、図2に示すように、情報処理部103a、および、記憶部103bを備えている。
記憶部103bは、情報処理部103aに実行させる各種プログラム、および、これらプログラムを実行しているときに読み出される各種データを記憶するものである。また、記憶部103bには、情報処理部103aにて処理された各種データが保存される。記憶部103bは、ハードディスク、フラッシュメモリなどの不揮発性の記憶装置である。
情報処理部103aは、各種プログラムを実行することにより、情報処理部103aに入力される情報や情報処理装置103に記憶されている情報を処理するコンピュータである。情報処理部103aは、例えば、CPU(Central Processing Unit)、RAM(Random Access Memory)、およびROM(Read Only Memory)等からなる。
つぎに、情報処理部103aの処理内容を詳細に説明する。情報処理部103aは、図2に示すように、表示制御部121、受信部122、位置検出部123、補間部124、係数設定部125、および撮影制御部126を備えている。なお、図2において、情報処理部103aは、ハードウェアであるが、情報処理部103aに含まれる各部121〜126は、情報処理部103aが実行するソフトウェアの各機能を示す機能ブロックである。
表示制御部121は、DVIを介して表示装置102の表示制御を行うブロックである。本実施形態では、表示制御部121は、図1および図3に示すように、感度較正処理にて使用される較正用表示画像130を表示装置102の表示部102aに表示させる。
較正用表示画像130は、図3に示すように、黒色を示す背景領域と、画面中央に位置するパターン領域131とが示される画像であり、撮影装置101aの感度較正処理に用いられる画像である。パターン領域131が撮影装置101aの撮影対象である。ここで、表示データ(階調値)が8ビットの場合、背景領域は、全画素において各色成分(R(赤)、G(緑)、B(青))の表示階調値をゼロとした黒色の画像領域である。また、パターン領域131は、各画素において均一に所定色が示される画像領域である。本実施形態では所定色は白色であるが、特に白色に限定されるものではない。なお、所定色が白色の場合、表示データが8ビットであれば、パターン領域131では各画素において各色成分の表示階調値が255となる。
また、パターン領域131は小面積に設定される。これは、パターン領域131の面積が広すぎると、表示部102aの表示ムラによる影響を無視できなくなるためである(撮影装置の各画素の感度の較正を高精度に行うにはパターン領域131において均一に所定色を表示させる必要がある。これに対し、表示パネルの中央付近の近接し合う画素同士は表示ムラが殆ど無いものの、離れた画素同士(中央と端部)ではムラがあるため(例えば、液晶表示パネルの場合、離れた画素同士では、バックライトの光量、液晶層の層厚や薄膜トランジスタの特性が異なる可能性があるため)、パターン領域131の広さを小面積にしている)。
但し、パターン領域131の面積が小さすぎると、パターン領域131に対する撮影装置101aの感度が不充分になることがある。そこで、当該感度を良好に保つために、撮影装置101aの特性(光学系(レンズや絞り)を含めた特性)や撮影距離などを考慮した上でパターン領域131の面積が適切に設定される。例えば、パターン領域131が撮影装置101aの画角の1/25〜1/50程度のサイズになるようにパターン領域131の面積を設定すれば前記感度を良好に保つことができる。つまり、撮影装置101aの撮影範囲と表示部102a(表示画面)全体とが概ね一致するように撮影条件を調整し、表示部102aがフルハイビジョン(1920画素×1080画素)の場合、パターン領域131は75〜32画素程度の面積に設定される。
なお、パターン領域131の形状は、図3に示すように円形であってもよいし、矩形、十字等であってもよい。また、複雑な形状で無ければ、それ以外の形状でも良い。
つぎに、図2に示す受信部122について説明する。受信部122は、撮影装置101aが図1または図3に示す較正用表示画像130について撮影処理を行うと、当該撮影処理にて取得される撮影画像を撮影装置101aから受信するブロックである。
また、受信部122は、受信した撮影画像に対して、後段での各種処理のために必要な前処理を行うようになっている。例えば、撮影ユニット101と情報処理装置103との間の伝送系が高速でないと、撮影装置101a側にて撮影画像に圧縮処理を施してから、情報処理装置103に撮影画像を伝送するようにシステム設計されていることが多いが、この場合、受信部122は、圧縮されている撮影画像に伸張処理を施すようになっている。
また、撮影装置101aの撮像素子がベイヤー型であると、通常は撮影装置101aがCFA(Color Filter Array)画像からRGB画像に変換した上でデータ(画像)を情報処理装置103へ送信するが、より厳密な色処理を行う事が望まれる場合、撮影装置101aから情報処理装置103へCFA画像を送信し、受信部122にて、特殊なCFA処理を施すことでCFA画像からRGB画像に変換するようになっていてもよい(なお、CFA処理の一例が、特許文献3(特開2001−78211)の段落[0035]〜[0041]に示されている)。
つぎに図2に示す位置検出部123について説明する。位置検出部123は、受信部122に受信された撮影画像に示されるパターン領域(図3の較正用表示画像130に示されるパターン領域131に対応する画像領域)の重心の位置(代表位置)を検出するブロックである。以下、位置検出部123の処理を具体的に説明する。
位置検出部123は、受信部122にて受信され且つ必要に応じて前処理された撮像画像に対して2値化処理を施すことで、2値化画像を生成する。例えば、撮影画像がRGB画像の場合、各画素のGチャンネルの画素値(輝度値への寄与率が高いGチャンネルの画素値)と閾値とを対比し、閾値以上の画素を「1」とし、閾値未満の画素を「0」とした2値化画像を生成する。なお、閾値は、例えば画像データが8ビットであり、且つ、パターン領域131の所定色が白色の場合は128に設定される。また、パターン領域131の所定色によっては、Gチャンネルの画素値ではなく、Rチャンネルの画素値やBチャンネルの画素値を閾値処理するようになっていてもよい。
これにより、較正システム100の周囲を充分に暗くした上で(例えば較正システム100を暗室に設置する等)、撮影装置101aによって較正用表示画像130の撮影を行えば、2値化画像において、パターン領域131に対応する画像領域の画素は「1」になり、パターン領域131以外の画像領域の画素は「0」になる。そして、位置検出部123は、「1」である画素のX座標の平均値およびY座標の平均値を求め、X座標の平均値およびY座標の平均値を、重心の位置とする。
つぎに、図2に示す撮影制御部126を説明する前に、後述する補間部124での補間処理にて使用される撮影画像を取得するための撮影処理の概要を説明する。なお、以下では、補間部124での補間処理にて使用される撮影画像を較正用撮影画像と称すことがある。
本実施形態の較正システム100では、撮影装置101aに較正用表示画像130を複数回撮影させることで複数の撮影画像を複数枚取得し、当該撮影画像を較正用撮影画像として、後段の補間部124が較正用撮影画像を用いて補間処理を行うようになっている。
具体的には以下の通りである。図4に示すように、各撮影画像130aに必ずパターン領域131a(撮影画像における、図3のパターン領域131aに対応する画像領域)が示されるように撮影処理を行い、撮影処理と撮影処理との間に撮影装置101aを動かすことによって、撮影画像130a内におけるパターン領域131aの位置(撮影範囲に対するパターン領域131aの相対位置)を、取得される撮影画像130a毎で異ならせるようになっている。
すなわち、図4に示すように、撮影範囲に対するパターン領域131aの相対位置が互いに異なる25枚の較正用撮影画像130aを取得するようになっている。
より詳細には、図5に示すように、撮影画像130a上に5×5の格子を設定する場合に当該格子のいずれかの交点(格子点)上にパターン領域131aが位置するように撮影装置101aの撮影位置が設定されて撮影処理が行われる。そして、次の撮影処理までの間に撮影装置101aを動かすことにより、パターン領域131aの位置する交点を変更する。そして、図5に示す格子上の25個の交点の夫々においてパターン領域が撮影されるまで撮影処理が繰り返されるのである。これにより、図4に示すように、撮影範囲に対するパターン領域131aの相対位置が互いに異なる25枚の撮影画像であって、且つ、5×5の格子のいずれかの交点に位置するパターン領域131aを示した25枚の撮影画像130aが取得される。
つまり、図4に示す25枚の撮影画像130aに示される25個のパターン領域131aを仮想的に1枚の撮影画像130a上に配置した場合、図5に示すように各パターン領域131aが格子の各交点上に位置するように、25枚の撮影画像130aの各々のパターン領域131aの位置が定められるのである(なお、図5においては、1枚の撮影画像130aに25個のパターン領域131aが示されているが、これは25枚の撮影画像130aから抽出される25個のパターン領域131aを仮想的に同じ撮影画像130a上に示したものに過ぎず、実際には図4のように各撮影画像130aに示されるパターン領域131aは1つずつである)。
つぎに、図2に示す撮影制御部126を説明する。撮影制御部126は、撮影ユニット101を制御するブロックである。撮影制御部126は、撮影ユニット101を制御することによって、25枚の較正用撮影画像130aを撮影ユニット101に取得させるようになっている。以下、撮影制御部126および撮影ユニット101の処理を詳細に説明する。
まず、撮影制御部126は、撮影装置101aの基準位置(ホームポジション)を設定し、撮影ユニット101に撮影処理を行わせて少なくとも3枚の調整用撮影画像を取得させる(調整用撮影画像は、25枚の較正用撮影画像とは別に取得される撮影画像130aである)。
具体的には、較正用表示画像130に示されるパターン領域131が撮影範囲の中央付近に位置するように作業員が撮影装置101aと表示部102aとの位置関係を定めた上で、作業員が処理開始指示を情報処理装置103に入力する。処理開始指示が入力されると、当該入力時の撮影装置101aの位置が基準位置として情報処理装置103および撮影ユニット101に設定され、撮影装置101aが、較正用表示画像130を撮影することにより、第1の調整用撮影画像を取得する。つまり、第1の調整用撮影画像は、撮影装置101aが基準位置に配されている状態で、撮影範囲にパターン領域131が取り込まれるように、較正用表示画像130を撮影して得られる画像である。第1の調整用撮影画像は、撮影ユニット101から情報処理装置103に伝送される。
つぎに、第1の調整用撮影画像に続いて取得される第2および第3の調整用撮影画像の説明を行う前に、第2および第3の調整用撮影画像の説明にて必要となる位置制御信号(PH、PV)について説明する。
本実施形態では、撮影制御部126は、位置制御信号(PH、PV)を撮影ユニット101に伝達することで撮影装置101aを動かすようになっている。
具体的には、撮影ユニット101の駆動装置101bは、表示部102aの画面の水平方向(X軸方向)に平行に撮影装置101aを動かすことが可能であり、且つ、前記画面の垂直方向(Y軸方向)に平行に撮影装置101aを移動させることが可能になっている。そして、位置制御信号(PH、PV)は、前記水平方向と前記垂直方向とを座標軸とした平面座標における座標値であって、撮影装置101aの目標撮影位置の座標値を示した信号である。つまり、位置制御信号(PH、PV)を受信した駆動装置101bは、撮影装置101aが目標撮影位置に到達するように撮影装置101aを動かす。
位置制御信号のPHは、目標撮影位置の水平方向の座標値を示す値であり、PVは、目標撮影位置の垂直方向の座標値を示す値である。すなわち、位置制御信号(PH、PV)は、前記水平方向と前記垂直方向とを座標軸とした座標において(PH、PV)に相当する位置に撮影装置101aを動かすことを意味する。また、前記処理開始指示の入力時に設定された撮影装置101aの基準位置(ホームポジション)が、位置制御信号(PH、PV)の座標上における原点位置(PH0、PV0)になる。よって、位置制御信号(PH0,PV0)は、基準位置に撮影装置101aを動かすことを意味する。
また、位置制御信号(PH、PV)の座標上において、水平方向へ撮影装置101aを動かすための駆動信号を単位パルスだけ駆動装置101bに与える場合の撮影装置101aが動く距離(単位距離)をPH1とし、垂直方向へ撮影装置101aを動かすための駆動信号を単位パルスだけ駆動装置101bに与える場合の撮影装置101aが動く距離(単位距離)をPV1とする。それゆえ、位置制御信号(PH0,PV0)が基準位置に撮影装置101aを動かすことを意味するのに対し、位置制御信号(PH1,PV0)は、基準位置から水平方向に単位距離だけずらした位置に撮影装置101aを動かすことを意味し、位置制御信号(PH0,PV1)は、基準位置から垂直方向に単位距離だけずらした位置に撮影装置101aを動かすことを意味する。
つぎに、第1の調整用撮影画像の次に取得される第2および第3の調整用撮影画像について説明する。
第1の調整用撮影画像の取得後、撮影制御部126は、位置制御信号(PH1,PV0)を撮影ユニット101に伝達する。これにより、撮影ユニット101は、基準位置から水平方向に単位距離だけずらした位置に撮影装置101aを動かすことになる。この後、撮影制御部126が撮影ユニット101に較正用表示画像130を撮影させることによって、第2の調整用撮影画像が取得される。つまり、第2の調整用撮影画像は、基準位置から水平方向に単位距離だけずれた位置に撮影装置101aを動かして、撮影範囲にパターン領域131が取り込まれるように較正用表示画像130を撮影して得られる画像である。第2の調整用撮影画像は、撮影ユニット101から情報処理装置103に伝送される。
第2の調整用撮影画像の取得後、撮影制御部126は、位置制御信号(PH0,PV1)を撮影ユニット101に伝達する。これにより、撮影ユニット101は、基準位置から垂直方向に単位距離だけずらした位置に撮影装置101aを動かすことになる。この後、撮影制御部126が撮影ユニット101に較正用表示画像130を撮影させることによって、第3の調整用撮影画像が取得される。つまり、第3の調整用撮影画像は、基準位置から垂直方向に単位距離だけずれた位置に撮影装置101aを動かして、撮影範囲にパターン領域131が取り込まれるように較正用表示画像130を撮影して得られる画像である。第3の調整用撮影画像は、撮影ユニット101から情報処理装置103に伝送される。
以上にて説明した第1〜第3の調整用撮影画像は、情報処理装置103に伝達されると、受信部122にて前処理が行われる。そして、位置検出部123は、第1〜第3の調整用撮影画像の各々について、パターン領域の重心の位置を座標値(撮影画像内の位置を示す座標値)として検出する。ここで、第1の調整用撮影画像のパターン領域の重心の位置をP0(X0,Y0)とし、第2の調整用撮影画像のパターン領域の重心の位置をP1(X1,Y1)とし、第3の調整用撮影画像のパターン領域の重心の位置をP2(X2,Y2)とする。
図6は、第1の調整用撮影画像のパターン領域の重心の位置P0と、第2の調整用撮影画像のパターン領域の重心の位置P1と、第3の調整用撮影画像のパターン領域の重心の位置P2との位置関係を模式的に示した図である(なお、図6においてはP0,P1,P2が並んで示されているが、これはP0,P1,P2の位置関係を説明するために仮想的に並んで示しているに過ぎず、実際には、P0は、第1の調整用撮影画像のパターン領域の重心の位置、P1は、第2の調整用撮影画像のパターン領域の重心の位置、P2は、第3の調整用撮影画像のパターン領域の重心の位置を示すものである)。
ここで、図6に示すように、撮影装置101aを位置制御信号(PH0,PV0)の位置(基準位置)から位置制御信号(PH1、PV0)の位置に動かすと、調整用撮影画像におけるパターン領域の重心の位置がP0(X0,Y0)からP1(X1,Y1)に移動し、撮影装置101aを位置制御信号(PH0,PV0)の位置から位置制御信号(PH0、PV1)の位置に動かすと、調整用撮影画像におけるパターン領域の重心の位置がP0(X0,Y0)からP2(X2,Y2)に移動することになる。
そこで、水平方向の位置制御信号PH1に対応する撮影画像130a内でのパターン領域131aのXY座標値の変化量をdXh、dYhとし、垂直方向の位置制御信号PV1に対応する撮影画像130a内でのパターン領域131aのXY座標値の変化量をdXv、dYvとすると、以下の数1が成立する。
そして、撮影画像130aにおけるパターン領域131aの重心の目標位置の座標値を(Xs,Ys)とし、パターン領域131aの重心を(Xs,Ys)に配置するための位置制御信号を(PHs,PVs)とすると、以下の数2が成立する。
数2を変形すると数3になる。
数3の演算式のXs,Ysにパターン領域131aの重心の目標位置の座標値を入力すれば、撮影画像130aにおいてパターン領域131aの重心を目標位置に配置するための位置制御信号を(PHs,PVs)を求めることができる。
それゆえ、撮影制御部126は、位置検出部123によって検出されたP0(X0,Y0)、P1(X1,Y1)、およびP2(X2,Y2)を用いて、数3の演算式を設定する。そして、撮影制御部126は、図5に示される格子上の25個の交点の各々を目標位置とし、目標位置毎に、数3の演算式を演算して位置制御信号(PHs,PVs)を求める。撮影制御部126は、目標位置毎に、位置制御信号(PHs,PVs)を撮影ユニット101に伝達することでパターン領域131aの重心が目標位置に配置されるように撮影装置101aを動かした上で、撮影装置101aに撮影処理を行わせる。
これにより、撮影装置101aは、図4に示す25枚の較正用撮影画像130aを取得できる。取得された25枚の較正用撮影画像130aは、撮影装置101aから情報処理装置103に伝送され、受信部122にて前処理が施される。そして、位置検出部123は、25枚の較正用撮影画像130aの各々についても、パターン領域131aの重心の位置を検出する。
続いて、図2に示す補間部(数値解析処理部)124について説明する。補間部124は、25枚の較正用撮影画像130aから検出される25個のパターン領域131aの重心を格子点として格子点補間を行うことにより、撮影装置101aの各画素の画素値を求める。
つまり、補間部124は、図5に示す5×5の格子の各交点上に位置するパターン領域131aの重心を格子点として格子点補間を行うことにより、撮影装置101aの各画素の画素値を求める。
撮影画像130aのパターン領域131aは、表示部102aに表示されている較正用表示画像130の所定色(本例では白色)のパターン領域131に対応する画像領域である。それゆえ、補間部124の補間処理にて求められる各画素の画素値は、各画素に所定色を読み取らせた場合に得られる画素値に近い数値である。
つぎに、図2に示す補間部124の処理の詳細を説明する。まず、補間部124は、25枚の較正用撮影画像130aから検出される25個のパターン領域131aの重心の各々について画素値を算出する。具体的には以下の通りである。位置検出部123によって撮影画像130aに対応する2値化画像が求められているが、当該2値化画像において「1」に対応する画素がパターン領域131aに対応する画素となる。そこで、補間部124は、撮影画像130aに対応する2値化画像を参照して、パターン領域131aに対応する画素を検出し、パターン領域131aに対応する各画素の画素値の代表値(平均、メジアン、またはモード)を算出し、この代表値をパターン領域131aの重心の画素値とする。
続いて、補間部124は、25枚の較正用撮影画像130aから検出される25個のパターン領域131aの重心を格子点として補間処理を行う。なお、格子点とされるパターン領域131aの重心の位置(座標値)は、位置検出部123にて求められており、前記重心の画素値は補間部124にて求められており、当該重心の位置および画素値に基づいて補間処理が行われる。
補間処理の手法としては周知の格子点補間が用いられる。具体的には以下に説明する通りである。
図7は、格子点補間を説明するための図である。図7の(a)に示すように、4つの格子点V1〜V4に囲まれている領域(1)の補間画素VPの画素値は数4によって算出することが可能である。
また、4つの格子点に囲まれていない領域(2)〜(4)の補間画素VPの画素値は以下のようにして算出する。まず、X方向に平行な外縁の隣接領域(2)であるが、図7の(b)に示すように、内側の格子点V1,V2が外縁にもあるとみなし、且つ、内側の格子点V1と外縁の格子点V1とでY方向の座標値が同一であるとみなし、内側の格子点V2と外縁の格子点V2とでY方向の座標値が同一であるとみなす。そうすると、隣接領域(2)の補間画素VPの画素値については数5によって算出できるのである。
また、Y方向に平行な外縁の隣接領域(3)も隣接領域(2)と同様にして求める。すなわち、隣接領域(3)において、内側の格子点V1,V3が外縁にもあるとみなし、且つ、内側の格子点V1と外縁の格子点V1とでX方向の座標値が同一であるとみなし、内側の格子点V3と外縁の格子点V3とでX方向の座標値が同一であるとみなす。そうすると、隣接領域(3)の補間画素VPの画素値については数6によって算出できる。
撮影画像の角部の近傍領域(4)については、4つの格子点を全てV1とすることにより、補間画素VPの画素値を求める。つまり、VP=V1とする。
以上示した格子点補間を利用することにより、補間部124は、25枚の撮影画像130aから検出される25個のパターン領域131aの重心を格子点として、撮影装置101aの各画素の画素値を求めることができる。
つぎに、図2に示す係数設定部125の詳細を説明する。係数設定部125は、補間部124によって求められた撮影装置101aの各画素の画素値(所定色を読み取る場合の予想値)に基づいて、各画素に対して適用する補正係数を画素毎に設定するブロックである。以下、係数設定部125の処理を詳細に説明する。
まず、係数設定部125は、補間部124によって求められた撮影装置101aの各画素の画素値を正規化する(正規化された値を正規化値と称する)。正規化は以下のようにして行う。撮影装置101aの各画素のうちの所定画素(例えば中央の画素)の画素値を基準値とし、画素毎に画素値を前記基準値で割った値を正規化値とする。あるいは、撮影装置101aの各画素の画素値の代表値(平均値、メジアン、またはモード)を求め、代表値を前記基準値として正規化値を求めてもよい。続いて、係数設定部125は、撮影装置101aの画素毎に、正規化値の逆数を求め、この逆数を補正係数とする。係数設定部125は、各画素の補正係数を記憶部103bに保存する。これにより、感度較正処理が終了する。
つまり、以上のようにして求められた各画素の補正係数は、各画素がパターン領域131の色(所定色)を読み取った場合に各画素の画素値を前記基準値に揃えることの可能な係数である。そして、感度較正処理後の撮影装置101aを用いて撮影を行って得られる撮影画像について、各画素の画素値のレベルに関係なく、各画素の画素値に前記補正係数を乗じることによって画素値の補正を行うことで(乗算にて得られる値が補正画素値になる)、各画素の感度のバラツキを較正できる。
それゆえ、感度較正処理後の撮影装置101aは、画素毎に、全ての画素値のレベルに対して前記の補正係数を用いて補正を行う。ここで、感度較正処理後の撮影装置101aの撮影画像も情報処理部103aによって処理されるようになっている場合、情報処理部103aは、感度較正処理後の撮影装置101aの撮影画像を処理する補正処理部(不図示)を備えることになるが、補正処理部は、記憶部103bに記憶されている補正係数を用いて補正を行う。或いは、感度較正処理後の撮影装置101aの撮影画像を処理する画像処理部が撮影装置101aに備えられている場合、記憶部103bの補正係数を撮影装置101aの記憶装置(不図示)に保存し、撮影装置101aの画像処理部は、記憶装置の補正係数を用いて補正を行うことになる。
また、感度較正処理後の撮影装置101aを用いて表示装置に対する表示較正処理を行う場合、そのまま情報処理装置103を用いて表示較正処理を行っても構わない。この場合、情報処理部103aは、補正処理部(不図示)および表示較正処理部(不図示)を備えている。そして、撮影装置101aは、表示較正処理の対象となる表示装置の較正用表示画像を撮影して得られる撮影画像を情報処理装置103へ伝送し、情報処理部103aの補正処理部(不図示)は、記憶部103bに記憶されている補正係数を用いて撮影画像の各画素の画素値を補正する。そして、情報処理部103aの表示較正処理部は、補正された撮影画像を参照して、表示装置の各画素の階調値を補正するための補正データを設定する表示較正処理を行う。
以上示した実施形態によれば、撮影装置101aの全ての画素に対して一律に所定色を読み取らせなくても、撮影装置101aの全ての画素について、前記所定色を読み取らせた場合に得られる画素値に近い画素値を補間演算で求めることができる(撮影装置の全画素全体で感度特性にバラツキがあっても、近傍の画素同士では感度特性の差が少ない。それゆえ、全ての画素に対して一律に所定色を読み取らせなくても、一部の画素に所定色を読み取らせて補間演算を行えば、各画素において、前記所定色を読み取らせた場合に得られる画素値に近い画素値を得ることができるのである)。そして、全ての画素について補間演算で前記画素値を求めることで、撮影装置101aの感度特性(所定色を読み取らせた場合の各画素の画素値の相違)が明らかになるので、前記補正係数を設定でき、これにより感度較正が可能となる。
ここで、従来技術であれば、撮影装置の全ての画素に対して一律に所定色を読み取らせるために輝度箱や積分球が用いられるのであるが、本実施形態によれば、撮影装置101aの全ての画素に対して一律に所定色を読み取らせる必要がないため、輝度箱や積分球が不要になる。それゆえ、本実施形態の構成によれば、撮影装置101aの感度の較正を簡易に行えるという効果を奏する。
なお、図2に示す位置検出部123の後段であって、補間部124の前段において、図4に示す複数の較正用撮影画像130aの各々を合成することにより、複数の較正用撮影画像130aの各々に示されている全てのパターン領域131aを示した合成画像を作成する合成画像作成部が情報処理部103aに備えられていてもよい。つまり、当該合成画像は、図5に示すように、25個のパターン領域131aが示されている画像である。この場合、補間部124は、前記合成画像を参照することで、25個のパターン領域131aの各々の重心位置を特定して補間処理を行うことになる。これにより、データ処理を高速に行うことができるようになる。
(変形例)
以上の実施形態1では、撮影制御部126の制御により、駆動装置101bが撮影装置101aを動かすことにより、互いにパターン領域131aの位置が異なる25枚の較正用撮影画像130a(図4参照)を取得している。しかし、撮影装置101aの光学系の歪み、駆動装置101bの駆動精度、位置制御信号の分解能などに起因して、目標位置からずれた位置にパターン領域131aが示されている較正用撮影画像130aを取得してしまう可能性がある。
そこで、撮影制御部126は、取得された各較正用撮影画像130aを解析し、目標位置とパターン領域131aの重心とのずれが大きい較正用撮影画像130aについては、再撮影を行って取得し直すようになっていてもよい。
具体的には、図4に示す25枚の較正用撮影画像130aの取得後、撮影制御部126は、各々の較正用撮影画像130aについて、パターン領域131aの重心と目標位置(パターン領域131aの重心の目標位置)との距離を求め、距離と閾値とを比較する(なお、パターン領域131aの重心の位置は位置検出部123にて検出される)。
そして、撮影制御部126は、求めた距離が閾値未満の較正用撮影画像130aについては、そのまま補間部124に使用させる。
これに対し、撮影制御部126は、求めた距離が閾値以上の較正用撮影画像130a’については、補間部124に使用させず、再撮影を行う。この再撮影の手順を以下に説明する。
まず、撮影制御部126は、撮影装置101aの基準位置(ホームポジション)を、撮影画像130a’を取得した際の撮影装置101aの撮影位置に変更する。つまり、撮影制御部126は、撮影画像130a’を取得した際に使用した位置制御信号の値を図6の(PH0,PV0)とし、撮影画像130a’上のパターン領域131aの重心の位置をP0(X0,Y0)とする。
そして、撮影制御部126は、変更後の基準位置(撮影画像130a’を取得した際の撮影位置)に基づいて、前述した第2の調整用撮影画像(位置制御信号(PH1,PV0)の位置で撮影される画像)と、第3の調整用撮影画像(位置制御信号(PH0,PV1)の位置で撮影される画像)とを撮影ユニット101に取得させる。位置検出部123は、第2の調整用撮影画像からP1(X1,Y1)を検出し、第3の調整用撮影画像からP2(X2,Y2)を検出する。続いて、撮影制御部126は、P0(X0,Y0)、P1(X1,Y1)、およびP2(X2,Y2)を用いて、数3の演算式を再設定する。そして、撮影制御部126は、再設定された演算式(数3)に、撮影画像130a’に示されるパターン領域131aの目標位置の座標値を入力すれば、補正された位置制御信号(PHs,PVs)を求めることができる。撮影制御部126は、補正された位置制御信号(PHs,PVs)を用いて撮影ユニット101に再撮影を行わせる。
すなわち、以上の処理は、パターン領域131aの重心位置が目標位置から離れている撮影画像130a’を取得した場合、当該撮影画像130a’の取得時の撮影装置101aの撮影位置を基準位置として目標撮影位置へ撮影装置101aを移動させるための位置制御信号(PHs,PVs)を再設定するものである。このようにして求めた位置制御信号(PHs,PVs)に基づいて得られる撮影画像130a’’のパターン領域131aの重心位置は、撮影画像130a’のパターン領域131aの重心位置よりも目標位置に近づくことになる。
そして、撮影制御部126は、撮影画像130a’’のパターン領域131aの重心位置と目標位置との距離を求め、この距離と閾値とを比較する。撮影制御部126は、求めた距離が閾値未満であれば、再撮影で得られた撮影画像130a’’を補間部124に使用させる。これに対し、撮影制御部126は、前記の距離が閾値以上であれば、前記の距離が閾値未満になるまで、以上にて示した再撮影を繰り返す。
以上にて示した変形例により、感度較正処理用の25枚の撮影画像130aの各々のパターン領域131aの位置精度を向上させることができる。
[実施形態2]
つづいて実施形態2を説明する。実施形態1では、情報処理装置103の撮影制御部126が、駆動装置101bを制御することによって撮影装置101aを動かす形態であった。これに対し、実施形態2は、撮影装置101aを手動で動かす形態である。
図10は、実施形態2の較正システム200のブロック図である。較正システム200は、同図に示すように、撮影装置211、表示部202aを有する表示装置202、情報処理装置213を備えている。
表示装置202および表示部202aは、図1、図2の表示装置102および表示部102aと同じものであるため、その説明を省略する。つまり、図3に示す較正用表示画像130が表示装置202の表示部202aに表示される。
撮影装置211は、本実施形態の較正システム200の感度較正処理の処理対象であり、静止画像のみならず動画を取得可能なデジタルカメラである。例えば、30FPS(frame per second)のカメラが用いられる(1秒間にフレームを30枚取得)。つまり、撮影装置211にて取得される動画は、複数のフレーム(静止画像)からなるデータを意味する。また、本実施形態では、撮影処理は動画を取得する処理を指す。
また、本実施形態では、作業員が手動で撮影装置211を移動させながら撮影処理を行うようになっている。それゆえ、撮影装置211は手動雲台に搭載されていても構わない。
つぎに、図10に示す情報処理装置213を説明する前に、作業員による撮影処理の概要を説明する。なお、以降の説明において、撮影装置211の撮影処理によって取得される動画の各フレームにおいて画像として示される範囲を撮影範囲と称する。
本実施形態の較正システム200では、作業員は、(1)パターン領域131aが(較正用表示画像130に示されるパターン領域131に対応する画像領域)が必ず撮影範囲340に含まれるように撮影装置211によって較正用表示画像130を撮影して動画を取得し、(2)撮影処理中に撮影装置211を移動させることによって、撮影範囲340内におけるパターン領域131aの位置(撮影範囲340に対する相対位置)を移動させるようにする。
具体的に説明すると、以下の通りである。図11は、パターン領域131が示される較正用表示画像130を撮影することによって動画を取得している撮影装置211の撮影範囲340と、撮影処理中に撮影装置211を移動させることによって撮影範囲340内にて変位するパターン領域131aの軌跡350とを示す図である。
まず、作業員は、撮影範囲340において図11に示す始点にパターン領域131aが配されるように、撮影装置211の撮影位置を設定した上で、動画の撮影処理の開始指示を撮影装置211に入力する。続いて、作業員は、撮影範囲340内にてパターン領域131aが図11に示す軌跡を描くように撮影装置211を移動させる。具体的には、パターン領域131aが、撮影範囲340にて、(1)撮影範囲340の左端上部の始点から右方向に移動して、撮影範囲340の右端上部の第1極点に到達し、(2)第1極点から左方向に移動して、撮影範囲340の左端中央部の第2極点に到達し、(3)第2極点から右方向に移動して、撮影範囲340の右端下部の第3極点に到達し、(4)第3極点から左方向に移動して、撮影範囲340の左端下部の終点に到達するように、作業員は撮影装置211を動かす。そして、作業員は、パターン領域131aが終点に到達すると、動画の撮影処理の終了指示を撮影装置211に入力する。
これにより、撮影装置211の撮影処理によって、パターン領域131aが図11の軌跡350を描くような動画が取得されることになる。撮影処理が終了すると、撮影装置211によって撮影された動画は情報処理装置213に入力される。具体的には、図10に示すように情報処理装置213と撮影装置211とをLANやUSBにて接続することにより、撮影装置211にて取得された動画を撮影装置211に入力可能である。
なお、図11には、軌跡350上に互いに間隔を空けた複数のパターン領域131aが示されているが、これは、軌跡350がパターン領域131aの軌跡であることを明確にするために便宜上複数のパターン領域131aを示しているものであり、実際には一つのフレームに一つのパターン領域131aが示されるだけである。また、図11は、軌跡350を構成する全てのパターン領域131a(動画を構成する全フレームから特定される全パターン領域)を示したものではなく、便宜上、一部の僅かな数のパターン領域131aを示したものにすぎない。
つぎに、情報処理装置213を説明する。図10の情報処理装置213は、表示装置202を制御すると共に、撮影装置211から入力される情報を処理する装置である。情報処理装置213としては、情報処理装置103と同様、汎用のパーソナルコンピュータ装置(例えばノート型のコンピュータ装置)を用いることができる。また、情報処理装置213は、情報処理装置103と同様、DVIを介して表示装置202に接続されている。
情報処理装置213は、図10に示すように、情報処理部213aおよび記憶部213bを備えている。記憶部213bは、記憶部103bと同様の記憶装置であり、情報処理部213aに実行させる各種プログラム、これらプログラムを実行しているときに読み出される各種データ、および情報処理部213aにて処理された各種データが保存される。情報処理部213aは、情報処理部103aと同様、各種プログラムを実行することにより、入力される情報や情報処理装置213に記憶されている情報を処理するコンピュータであり、例えば、CPU(Central Processing Unit)、RAM(Random Access Memory)、およびROM(Read Only Memory)等からなる。
つぎに、情報処理部213aの処理内容を詳細に説明する。情報処理部213aは、図10に示すように、表示制御部221、受信部222、位置検出部223、抽出部224、補間部225、係数設定部226を備えている。なお、情報処理部213a自体はハードウェアであるが、情報処理部213aの各部221〜226は、情報処理部213aが実行するソフトウェアの各機能を示す機能ブロックである。
表示制御部221は、表示制御部121と同じ処理を行うブロックである。つまり、表示制御部221は、図3に示すように、感度較正処理にて使用される較正用表示画像130を表示装置202の表示部202aに表示させる。
受信部222は、撮影装置211から動画を受信し、受信した動画に対して、後段での各種処理のために必要な前処理を行うようになっている。具体的には、受信部222は、動画を構成する各フレームを時系列の順序と対応付けて切り出す処理を行う。時系列の順序とは、撮影処理時において各フレームの記録された順序を指す。
位置検出部223は、受信部222によって切り出された各フレームに示されるパターン領域131aの重心の位置を検出するブロックである。なお、位置検出部223の検出処理の内容は、位置検出部123の検出処理の内容と同じであるため、説明を省略する。
抽出部224は、前記動画から切り出された全フレームのうち、一部のフレームを較正用撮影画像として抽出するブロックである。
具体的には、動画から切り出される全てのフレームの各々にはパターン領域131aが1つずつ示されることになるが、抽出部224は、較正用撮影画像として抽出される複数のフレームから特定される全てのパターン領域131aが撮影装置211の撮影範囲340上にて分散するように抽出対象となるフレームを決定する。つまり、較正用撮影画像として抽出される複数のフレームから特定される全てのパターン領域131aを仮想的に同じ較正用撮影画像(静止画像)に示した場合に全てのパターン領域131aが分散して配置されるように、抽出対象となるフレームが決定される。例えば、図11に示すように、動画の撮影範囲340においてパターン領域131aが軌跡350を描く場合、図12に示すように、位置番号1〜43の夫々に配置される各パターン領域131aを示す各フレームが抽出される。
抽出部224の処理を以下に説明する。まず、抽出部224は、図11の始点に位置するパターン領域131aを示すフレームと、図11の終点に位置するパターン領域131aを示すフレームとを、較正用撮影画像として抽出する。具体的には、動画を構成する全フレームのうち、時系列の順序が最初であるフレームを、始点にパターン領域131aを示すフレームとし、時系列の順序が最後であるフレームを、終点にパターン領域131aを示すフレームとする。
次に、抽出部224は、図11に示される軌跡350における極点の位置にパターン領域131aを示すフレームを、較正用撮影画像として抽出する。ここで、極点とは、図11の撮影範囲340において、左右方向(水平方向)に平行な方向をX軸とし、上下方向(垂直方向)に平行な方向をY軸とする場合において、軌跡350の極値に対応する位置を意味する。
具体的には、つぎのようにして、極点にパターン領域131aが示されているフレームを抽出する。抽出部224は、始点にパターン領域131aを示すフレームと終点にパターン領域131aを示すフレームとを除いて、動画を構成する各フレームを順に注目フレームとしていき、注目フレームに対して以下に示す極点判定処理を行う。
まず、注目フレームをFRnとし、時系列の順において、注目フレームの直前のフレームをFRn−1とし、注目フレームの直後のフレームをFRn+1とする。抽出部224は、FRnのパターン領域131aのX座標値からFRn−1のパターン領域131aのX座標値を引いた第1差分値と、FRnのパターン領域131aのX座標値からFRn+1のパターン領域131aのX座標値を引いた第2差分値とを求める。そして、抽出部224は、第1差分値の正負の符号が第2差分値の正負の符号と同一であり、第1差分値の絶対値が閾値以上、且つ、第2差分値の絶対値が閾値以上の注目フレームを、極点にパターン領域131aを示すフレームとして判定する。
これにより、図11に示される第1極点にパターン領域131aを示すフレーム、第2極点にパターン領域131aを示すフレーム、および、第3極点にパターン領域131aを示すフレームが抽出される。
なお、図11の例では、X軸方向の一端側から他端側までX軸方向に沿ってパターン領域131aを移動させてから当該他端側から一端側までX軸方向に沿ってパターン領域131aを移動させるようになっているため、X座標値の差分を閾値処理することで、極点にパターン領域131aを示すフレームを特定しているが、Y軸方向の一端側から他端側までY軸方向に沿ってパターン領域131aを移動させてから当該他端側から一端側までY軸方向に沿ってパターン領域131aを移動させるようになっている場合、Y座標値の差分を閾値処理する。
以上のようにして、始点、終点、複数の極点の各々に対応するフレームが抽出された後、抽出部224は、以下のS1〜S3を実行することによって、他のフレームを抽出する。
S1:始点にパターン領域131aを示すフレーム、終点にパターン領域131aを示すフレーム、極点にパターン領域131aを示すフレームを各々基準フレームとする。図11の例では、始点にパターン領域131aを示すフレーム、終点にパターン領域131aを示すフレーム、第1極点にパターン領域131aを示すフレーム、第2極点にパターン領域131aを示すフレーム、第3極点にパターン領域131aを示すフレームの各々が基準フレームとなる。
S2:時系列の順において互いに隣り合う基準フレームのペアを特定し、ペアとなる基準フレーム間に存在する複数のフレームを一つのグループとし、前記ペア毎にグループを特定する。図11の例では、始点に対応する基準フレームと第1極点に対応する基準フレームとの間の複数のフレームで第1グループが形成され、第1極点に対応する基準フレームと第2極点に対応する基準フレームとの間の複数のフレームで第2グループが形成され、第2極点に対応する基準フレームと第3極点に対応する基準フレームとの間の複数のフレームで第3グループが形成され、第3極点に対応する基準フレームと終点に対応する基準フレームとの間の複数のフレームで第4グループが形成される。
S3:S2にて形成されたグループ毎に、較正用撮影画像とするフレームを抽出する処理を行う。一つのグループに対する処理を以下に説明する。一つのグループを形成する基準フレームのペアのうち、時系列順が前になる基準フレームを開始フレームとする。開始フレームに示されるパターン領域131aから一定間隔毎の位置に配される各パターン領域131aを示す各フレームを前記一つのグループから抽出する。この一定間隔としては例えば50画素とする。
例えば、図11の始点に対応する基準フレームと第1極点に対応する基準フレームとの間の第1グループの場合、始点のパターン領域131aの重心位置のX座標値に50の倍数を加算した値を、パターン領域131aの重心位置のX座標とするフレームが抽出される。これにより、図12に示す位置番号2〜10をパターン領域131aの重心位置とする9個のフレームが較正用撮影画像として抽出される。
また、例えば、図11の第1極点に対応する基準フレームと第2極点に対応する基準フレームとの間の第2グループの場合、第1極点に対応する基準フレームのパターン領域131aの重心位置のX座標値に50の倍数を減算した値を、パターン領域131aの重心位置のX座標とするフレームが抽出される。これにより、図12に示す位置番号12〜21をパターン領域131aの重心位置とする10個のフレームが較正用撮影画像として抽出される。
つまり、以上にて述べたS3によって、位置番号2〜10、位置番号12〜21、位置番号23〜32、位置番号34〜42をパターン領域131aの重心位置とする38個のフレームが較正用撮影画像として抽出される。そして、既に抽出されている、始点に対応するフレーム、終点に対応するフレーム、第1極点に対応するフレーム、第2極点に対応するフレーム、第3極点に対応するフレームの5個のフレームをあわせると、43個のフレームが較正用撮影画像として抽出されることになる。すなわち、図12に示される各位置番号1〜43は、抽出された較正用撮影画像に示される各パターン領域131aの各位置を示している。
つぎに、図10に示される補間部225を説明する。補間部225は、抽出部224にて抽出された較正用撮影画像に示される複数のパターン領域131aの各々の重心位置を用いて3点補間を行うことにより、撮影装置211の各画素の画素値を求める。具体的には以下のように処理が行われる。
まず、補間部225は、抽出部224にて抽出された複数の較正用撮影画像の各々に示されるパターン領域131aの重心位置を頂点とした三角形領域を複数設定する(図13)。図13に示すような三角形領域の設定手法としては、特定の手法に限定されるものではなく、周知のドロネー三角形分割を用いることが可能である。
なお、抽出部224にて抽出された複数の較正用撮影画像から得られる全てのパターン領域131aを用いてもよいし、一部のパターン領域131aを除外して残った多数のパターン領域131aを用いてもよい。
例えば、抽出部224にて抽出された複数の較正用撮影画像から得られるパターン領域131aが図12に示される位置番号1〜43に位置するものである場合、図13に示されるように三角形領域A1〜A10,A−1〜A−9,B1〜B10,B−1〜B−9,C1〜C10,C−1〜C−9が設定される。なお、図13の例では、図12に示される位置番号1〜43のうち、位置番号21および32の夫々のパターン領域131aが除外されている。これは、極点に対応するパターン領域131aと近接している位置番号21、32のパターン領域131aを除外することで、小面積の三角形領域が設定されることを回避したものである。
続いて、補間部225は、図13に示される三角形領域の各頂点を用いて三点補間を行うことにより、撮影装置211の各画素の画素値を求める。具体的には、以下のようにして処理を行う。
まず、補間部225は、処理対象となる補間画素の属する三角形領域を探索する。探索手法としては、特定の手法に限定されるものではなく、周知の最近傍領域探索法を利用できる。
そして、図14に示すように、処理対象の補間画素をQ(XP,YP)とし、補間画素Qの属する三角形領域の各頂点をR0(X0,Y0),R1(X1,Y1),R2(X2,Y2)とし、Q(XP,YP)の画素値をWQとし、R0の画素値をW0とし、R1の画素値をW1とし、R2の画素値をW2とする。そして、図14に示すように、R0からQに向かうベクトルを、R0からR1に向かう方向の成分αと、R0からR2に向かう方向の成分βとに分解する。
ここで、数7の式(b)を用いてα、βを求め、その後に式(a)を演算すれば、補間画素Qの画素値WQを求めることができる。
また、補間部225は、処理対象となる補間画素Q(XP,YP)の属する三角形領域が無い場合、補間画素Qから最近傍の三角形領域を探索する。探索手法としては、特定の手法に限定されるものではなく、周知の最近傍領域探索法を利用できる。
そして、図15に示すように、最近傍の三角形領域の各頂点をR0(X0,Y0),R1(X1,Y1),R2(X2,Y2)とし、Q(XP,YP)の画素値をWQとし、R0の画素値をW0とし、R1の画素値をW1とし、R2の画素値をW2とする。また、図15に示すように、R0からQに向かうベクトルを、R0からR1に向かう方向の成分αと、R0からR2に向かう方向の成分βとに分解する。この場合も、数7の式(b)および式(a)を用いて補間画素Qの画素値WQを求めることができる。
つまり、図15に示すように補間画素Qが三角形領域の外側にある場合でも、αおよびβを求めることができるので、図14に示すケースと同様に補間画素Qの画素値WQを求めることができる。
補間部225は、撮影装置211の全ての画素について、処理対象となる補間画素として、以上にて説明した三点補間を行うことにより画素値を求める。補間部225が撮影装置211の全ての画素について画素値を求めた後、図10に示す係数設定部226が処理を行うことになる。
係数設定部226は、係数設定部125と同じ処理を行うブロックである。すなわち、係数設定部226は、補間部124によって求められた撮影装置101aの各画素の画素値(所定色を読み取る場合の予想値)に基づいて、各画素に対して適用する補正係数を画素毎に設定する。具体的な処理内容は、実施形態1で説明済みであるため、省略する。
係数設定部226は、各画素の補正係数を記憶部213bに保存する。これにより、感度較正処理が終了する。
図16は、較正用表示画像130のパターン領域131の所定色を(R,G,B)=(255,255,0)とした場合において、本実施形態(手動)にて得られた各画素の色成分毎の画素値(補間部225にて得られる画素値)と、輝度箱を用いて撮影装置の全画素に略均一な所定色の光を照射した場合に各画素にて検出される色成分毎の画素値とを示した図である。なお、図16の縦軸の値は、比較を容易にするために、画素値を0〜1の範囲に置換した値である。図16によれば、輝度箱を用いない本実施形態の感度較正処理であっても、輝度箱を用いる場合と同様の感度分布を得ることができることがわかる。よって、本実施形態の感度較正処理によれば、輝度箱のような高価で可搬性に欠く装置を用いなくても、輝度箱を用いる場合と同程度に感度較正を行うことができる。
なお、本実施形態の補間部225は、図13に示す三角形領域の各頂点を用いた三点補間によって撮影装置211の各画素の画素値を求めているが、以下のようになっていてもよい。
補間部225は、図13に示す三角形領域を設定した後、最初に、三角形領域の各頂点を用いた三点補間によって、図5に示す5×5の格子の各交点上の画素の画素値を求める。つぎに、補間部225は、図5に示す5×5の格子の各交点上の画素を格子点として格子点補間を行うことにより、撮影装置211の各画素の画素値を求める。このようにすれば、三角補間よりも格子点補間の方が、処理が簡易であるため、コンピュータの処理負担を軽減できる。
なお、実施形態1では格子点補間を説明し、実施形態2では三点補間を説明したが、実施形態1、2共に、格子点補間や三点補間以外の周知・慣用の補間処理を用いても勿論かまわない。
また、以上の実施形態では、抽出部224は、始点、終点、極点にパターン領域131aを示すフレーム以外で、較正用撮影画像として抽出するフレームを前記のS1〜S3の処理によって決めている(つまり、各フレームのパターン領域131aの重心の座標値を参照して、抽出される各フレームのパターン領域131aが所定間隔毎に配置されるように、抽出するフレームを決めている)。しかし、パターン領域131aの重心の座標値を参照することなく、別の手法を用いて、抽出するフレームを決めてもよい。
例えば、抽出部224は、動画を構成するフレームをFRnとし(nは、時系列の順序を示す番号1〜mである)、フレームFR1を始点に対応するフレームとし、フレームFRmを終点に対応するフレームとして抽出する。また、抽出部224は、“n=所定数の倍数”となっているフレームを抽出する。このように、フレームの順番を使って抽出するフレームを決定することも可能である。なお、この場合、前述した極点判定処理を行って、抽出されたフレームのなかから極点に対応するフレームを特定すればよい。
なお、図10に示す抽出部224の後段であって、補間部225の前段において、抽出部224にて抽出された複数の較正用撮影画像の各々を合成することにより、複数の較正用撮影画像の各々に示されている全てのパターン領域131aを示した合成画像を作成する合成画像作成部が情報処理部213aに備えられていてもよい。つまり、当該合成画像は、図12に示すように、43個のパターン領域131aが示されている画像である。この場合、補間部225は、前記合成画像を参照することで、43個のパターン領域131aの各々の重心位置を特定して処理を行うことになる。これにより、データ処理を高速に行うことができるようになる。
(実施例1)
図13に示す各三角形領域を設定するためのアルゴリズムの一例を説明する。
まず、抽出部224にて抽出された複数の較正用撮影画像から得られるパターン領域131aは、43個あり、図12に示される位置番号1〜43に位置しているものとする。ここで、図12の位置番号1〜43は、夫々、パターン領域131aの位置を示しているだけでなく、撮影処理において記録(取得)された順番(時系列の順序)を示している。つまり、位置番号1のパターン領域131aが最も先に取得されており、位置番号2〜43の各々のパターン領域131aは位置の番号の小さい順から順に取得されている。
まず、補間部225の処理の前に、位置検出部223が動画を構成する各フレームのパターン領域131aの重心位置の座標値を求めているため、図12の位置番号1〜43の各々のパターン領域131aの重心位置の座標値も、勿論、位置検出部223によって求められている。図17Aは、各位置番号(図12の1〜43)のパターン領域131aの各々についての重心位置の座標値(X,Y)を示したものである。
ここで、補間部225は、図17Aに示すように、位置番号1〜43のパターン領域131aの各々について、時系列の順序が直前のパターン領域131aとの距離distを求める。例えば、図17Aにおいて、位置番号2に対応付られているdist66.15は、位置番号2のパターン領域131aの重心位置から、位置番号1のパターン領域131aの重心位置までの距離を示す。また、位置番号3に対応付られているdist63.04は、位置番号3のパターン領域131aの重心位置から、位置番号2のパターン領域131aの重心位置までの距離を示す。
補間部225は、位置番号1〜43のパターン領域131aの各々について、位置番号が直前のパターン領域131aとの距離distが閾値(例えば30)未満であれば、位置番号が直前のパターン領域131aを除外するか、位置番号が直前のパターン領域131aとの距離distが閾値未満となるパターン領域131aを除外する。
ここでは、距離distが閾値未満となる位置番号22の直前の位置番号21のパターン領域131aと、距離distが閾値未満となる位置番号33の直前の位置番号32のパターン領域131aとが除外されるものとする。図17Bは、以上のようにして一部のパターン領域131aが除外された後に残った各パターン領域の位置番号(1〜20、22〜31、33〜43)が示されている。
以上の処理によれば、図12に示すように極点に近接する位置番号21、32にパターン領域131aが有る場合、極点のパターン領域131a若しくは極点に近接する位置番号21、32のパターン領域131aを除外できる。それゆえ、後に小さな三角形領域が設定されることを抑制できるのである(始点、極点、終点に対応するフレームと、それ以外のフレームとで抽出部224の抽出条件が異なるため、図12に示すように極点に近接する位置番号21、32にパターン領域131aが存在してしまうことがある。そのため、このように極点に近接する位置番号のパターン領域131aを除外している)。
続いて、補間部225は、一部のパターン領域131aが除外された後に残った各パターン領域131aをグループ分けする。具体的には、図17Bに示すように、始点のパターン領域(位置番号1)、各極点の各パターン領域(位置番号11、22、33)、終点のパターン領域(位置番号33)を境界とし、時系列の順において隣り合う境界間に位置することになるパターン領域が一つのグループとして纏められる。つまり、図17Bの例では、位置番号2〜10のパターン領域131aがグループ(Gr.)1となり、位置番号12〜20のパターン領域131aがグループ2となり、位置番号23〜31のパターン領域131aがグループ3となり、位置番号34〜42のパターン領域131aがグループ4となる。
さらに、補間部225は、時系列の順において互いに隣り合うグループの組と、この組の各グループを形成するための境界となるパターン領域(始点、終点、または、極点)とを集合させる。図17Bの例では集合A〜Cが形成される。集合Aは、グループ1に属するパターン領域131aと、グループ2に属するパターン領域131aと、始点(位置番号1)、極点(位置番号11、22)の各パターン領域131aとからなる。集合Bは、グループ2に属するパターン領域131aと、グループ3に属するパターン領域131aと、極点(位置番号11、22、33)の各パターン領域131aとからなる。集合Cは、グループ3に属するパターン領域131a、グループ4に属するパターン領域131aと、極点(位置番号22、33)、終点(位置番号43)の各パターン領域131aとからなる。
続いて、補間部225は、図17Bに示すように、集合ごとに、以下に示すルール1を用いて各位置番号のパターン領域131aに対して3つの三角領域形成用番号を与えていく。
ルール1
(a)位置番号が最も小さいパターン領域を先頭として位置番号が増加する順に、各パターン領域に三角領域形成用番号を与えていく。
(b)位置番号が2番目に小さいパターン領域を先頭として位置番号が増加する順に、各パターン領域に三角領域形成用番号を与えていく。
(c)位置番号が最も大きいパターン領域を先頭にして位置番号が減少する順序で、各パターン領域に三角領域形成用番号を与えていく。
なお、一つのパターン領域に対して、同じ三角領域形成用番号が2つ与えられると、(a)〜(c)の全てにおいて当該三角領域形成用番号と同じ番号が削除され、且つ、三角領域形成用番号を与える処理を終了する(図17Bのルール1、ルール2の欄において、網掛けされて取り消し線が付されている番号が、削除された三角領域形成用番号である)。
そして、補間部225は、ルール1にて与えられた同じ三角領域形成用番号を持つパターン領域同士で三角形領域を形成する。例えば、図17Bにおいて、位置番号1、2、22のパターン領域131aに同じ三角形成領域用番号(1)が与えられているが、位置番号1、2、22のパターン領域131aで図13の三角形領域A1が形成されることになる。なお、図13の三角形領域A1〜A10、B1〜B10、C1〜C10は、ルール1にて得られるものである。
同様に、補間部225は、集合ごとに、以下に示すルール2を用いて各位置番号のパターン領域131aに対して3つの三角領域形成用番号を与えていく。
ルール2
(d)位置番号が2番目に小さいパターン領域を先頭として位置番号が増加する順序で、各パターン領域に三角領域形成用番号を与えていく。
(e)位置番号が2番目に大きいパターン領域を先頭として位置番号が減少する順序で、各パターン領域に三角領域形成用番号を与えていく。
(f)位置番号が最も大きいパターン領域を先頭として位置番号が減少する順序で、各パターン領域に三角領域形成用番号を与えていく。
なお、ルール2でも、ルール1と同様、一つのパターン領域に対して、同じ三角領域形成用番号が2つ与えられると、(d)〜(e)の全てにおいて当該三角領域形成用番号と同じ番号が削除され、且つ、三角領域形成用番号を与える処理を終了する(なお、ルール1では(a)および(c)のように三角領域形成用番号が付与され、ルール2では(d)および(e)のように三角形成用番号が付与されることから、必ず一つのパターン領域に対して同じ三角領域形成用番号が2つ与えられるようになっている)。
そして、補間部225は、ルール2にて与えられた同じ三角領域形成用番号を持つパターン領域同士で三角形領域を形成する。例えば、図17Bにおいて、位置番号2、22、20のパターン領域131aに同じ三角形成領域用番号(1)が与えられているが、位置番号2、22、20のパターン領域131aで図13の三角形領域A‐1が形成されることになる。なお、図13の三角形領域A−1〜A‐9、B‐1〜B‐9、C‐1〜C‐9は、ルール2にて得られるものである。
以上示したルール1およびルール2を実行することにより、図13に示すように三角形領域が形成されるのである。
なお、図17Bの例では各グループ内のパターン領域数はいずれも9個になり、このようにグループ毎のパターン領域数が均等になることが望ましいが、グループ領域毎のパターン領域数が異なっていても問題ない。
図18は、グループ1に属する位置番号10のパターン領域131aが無かったとした場合のルール1およびルール2による処理結果を示し、図19は、図18の処理結果によって得られる三角形領域を示す。図18および図19から明らかであるが、異なるグループ同士でパターン領域131aの数が異なっていても、問題無く三角形領域を形成できることがわかる。
また、図20は、グループ2に属する位置番号12のパターン領域131aが無かったとした場合のルール1およびルール2による処理結果を示し、図21は、図20の処理結果によって得られる三角形領域を示す。図20および図21の例では、集合Aのみならず集合Bにも、位置番号12のパターン領域131aが無い影響が及ぶことになるが、問題無く三角形領域を形成できることがわかる。
実施例1ではドロネー三角形分割のアルゴリズムの一例を説明したが、勿論、実施例1の内容に限定されるものではなく、図13に示したような三角形領域を形成するための手法であればいかなる手法であっても適用できる。
(実施例2)
図13のように複数の三角形領域が形成されると、補間部225は、処理対象となる補間画素の属する三角形領域を探索するが、実施例2では、この探索手法の一例を説明する。
<準備処理>
図22に示すように、時計回りの回転方向を正の方向とする座標系において、頂点T1〜T3のうち最もY座標値の小さな頂点をT1とし、T1を起点としてT2、T3を順に経てT1に向かうように辺上を移動する方向を基準方向として、基準方向が反時計回りの方向と一致する三角形を基準三角形とする。
そして、補間部225は、図13に示す三角形領域ごとに、三角形領域の各頂点を基準三角形の各頂点T1(T1x,T1y)、T2(T2x,T2y)、T3(T3x,T3y)に対応付ける処理を行う。具体的には、図13に示す三角形領域ごとに、以下のS11〜S13が行われることになる。なお、三角形領域の各頂点は、各パターン領域131aの重心位置である。
S11:最もY座標値の小さな頂点をT1とする。最もY座標値の小さな頂点が2つの場合は、それらのうち、X座標値の小さい方をT1とする。
S12:T1以外の2つの頂点をそれぞれK2(K2x,K2y)、K3(K3x,K3y)とし、T1からK2へ向かうベクトルをT1K2とし、T1からK3へ向かうベクトルをT1K3とし、T1K2とT1K3との外積であるT1K2×T1K3を求める。
S13:(T1K2×T1K3)<0であれば、T2=K2且つT3=K3とする。(T1K2×T1K3)>0であれば、T2=K3且つT3=K2とする。
なお、T1K2×T1K3=(K2x−T1x)×(K3y−T1y)−(K2y−T1y)×(K3x−T1y)
である。
図13に示す三角形領域ごとに以上の処理を行った結果が図23である。図23において、T1〜T3の各欄に示される値は、図13に示される三角形領域の各頂点に対応する位置番号である。また、図22に示される三角形領域A1は、図13の三角形領域A1に対する処理結果を示したものである。
<判定処理>
準備処理が終了すると、補間部225は以下に示す判定処理を行う。まず、補間部225は、処理対象となる補間画素を点Q(Qx,Qy)とし、図13に示す全ての三角形領域を構成する全ての頂点(位置番号1〜20、22〜31、33〜43の各々に位置する頂点)のなかから、点Qとの間で最も距離が短い頂点(最近傍点と称す)を求める。なお、最近傍点が複数ある場合、全ての最近傍点を以下の処理に用いる。
続いて、補間部225は、最近傍点を頂点とする全ての三角形領域を特定し、特定された三角形領域の中のいずれか一つを注目三角形として、点Qが注目三角形の内部にあるか否かの判定を行う。判定の内容を以下に説明する。
まず、図22または図24に示すように、注目三角形の座標系において時計回りの方向が正の回転方向となる。そして、注目三角形の各頂点において、(1)頂点から点Qに向かうベクトルを基準ベクトルとし、(2)頂点から基準方向に向けて隣の頂点へ向かうベクトルを辺ベクトルとし、(3)基準ベクトルの始点を軸として、−180°〜180°の間の回転角度で基準ベクトルを辺ベクトルに一致させるように回転させる際の回転角度をθとする。この場合、図24に示すように、頂点T1についての前記角度はθ1であり、頂点T2についての前記角度はθ2であり、頂点T3についての前記角度はθ3となる。
すると、図24に示すように、点Qが注目三角形の内部にある場合、θ1〜θ3はいずれも正の値になる。これに対し、図25または図26に示すように、点Qが注目三角形の外部にある場合、θ1〜θ3のうちの1つ以上が負の値になる(図25ではθ3が負である。図26ではθ2およびθ3が負である)。また、θ1〜θ3のいずれかが0であれば、点Qは、いずれかの辺上、若しくは、いずれかの辺の延長線上にある。
それゆえ、θ1〜θ3の符号がわかれば、点Qが注目三角形の内部にあるか否かを判定できる。
ここで、頂点T1に対応するθ1の符号は、T1からQへ向かう基準ベクトルT1Qと、T1からT2へ向かう辺ベクトルT1T2との外積であるT1Q×T1T2の符号と一致する。また、θ1が0であれば、T1Q×T1T2も0になる。
同様に、頂点T2に対応するθ2の符号は、T2からQへ向かう基準ベクトルT2Qと、T2からT3へ向かう辺ベクトルT2T3との外積であるT2Q×T2T3の符号と一致する。また、θ2が0であれば、T2Q×T2T3も0になる。
さらに、同様に、頂点T3に対応するθ3の符号は、T3からQへ向かう基準ベクトルT3Qと、T3からT1へ向かう辺ベクトルT3T1との外積であるT3Q×T3T1の符号と一致する。また、θ3が0であれば、T3Q×T3T1も0になる。
そこで、補間部225は、T1Q×T1T2と、T2Q×T2T3と、T3Q×T3T1との3つの外積を求める。
なお、
T1Q×T1T2=(Qx−T1x)×(T2y−T1y)−(Qy−T1y)×(T2x−T1y)
T2Q×T2T3=(Qx−T2x)×(T3y−T2y)−(Qy−T2y)×(T3x−T2y)
T3Q×T3T1=(Qx−T3x)×(T1y−T3y)−(Qy−T3y)×(T1x−T3y)
である。
補間部225は、3つの外積が全て正であれば、注目三角形の内部に点Qが存在すると判定する。この場合、補間部225は、注目三角形を点Qの補間処理に利用する三角形領域と判定し、点Qの最近傍点を頂点とする他の三角形領域に対する処理を打ち切る。
補間部225は、3つの外積のいずれかが負であれば、注目三角形の外部に点Qが存在すると判定する。この場合、補間部225は、注目三角形を、点Qの最近傍点を頂点とする他の三角形領域に変更して、以上の処理を繰り返す。
補間部225は、3つの外積のうちの1つが0であり、且つ、その他の外積の符号が0以上であれば、点Qは注目三角形の返上若しくは頂点上になる(点Qは注目三角形の内部に位置する)。この場合、補間部225は、注目三角形を点Qの補間処理に利用する三角形領域と判定し、点Qの最近傍点を頂点とする他の三角形領域に対する処理を打ち切る(この場合、注目三角形に隣接する三角形があれば、当該三角形も点Qを含むことになり、いずれの三角形を用いてもよいが、先に検出された方を優先させているのである)。
そして、補間部225は、点Qについて、最近傍点を頂点とするすべての三角形領域を注目三角形として処理を行っても、点Qを内部に含む注目三角形を検出できなければ、いずれの三角形領域にも属さない外部領域に点Qが位置すると判定する。
<外部領域の場合の選択方法>
外部領域に位置する点Qの補間処理に使用する三角形領域の選択手法の一例を以下に説明する。
まず、補間部225は、図13に示される全ての三角形領域以外の領域(外部領域)を以下のように分割する。
補間部225は、図13に示す始点、終点、極点のうちの2つを両端とする各辺を特定する。例えば、図27に示す領域においては、位置番号1と22との間の辺と、位置番号22と43との間の辺とが特定される。図13に示すように、補間部225は、これらの辺に隣接する外部領域を、各辺の両端からX軸に平行に延びる境界線によって分割する。
また、補間部225は、図13に示す始点、終点、極点以外の2点を両端とする各辺と、始点、終点、極点のいずれかを一方の端部として、始点、終点、極点以外の点を他方の端部とした各辺とを特定する。例えば、図27に示す領域においては、位置番号1と2との間の辺と、位置番号2と3との間の辺と、位置番号43と42との間の辺とが特定される。補間部225は、これらの辺に隣接する外部領域を、これらの辺の両端からY軸に平行に延びる境界線によって分割する。
これにより、図27に示す領域においては、外部分割領域E1〜E7が形成されることになる。
そして、補間部225は、外部領域に位置する点Qの属する外部分割領域を探索する。さらに、補間部225は、点Qの属する外部分割領域に隣接する三角形領域を用いて、点Qに対する補間演算を行う。例えば、図27に示す外部分割領域E1,E3に位置する点Qについては、三角形領域A1を用いて補間演算を行う。同様に、外部分割領域E2に位置する点Qについては三角形領域A2を用いて補間演算を行い、外部分割領域E4に位置する点Qについては三角形領域C1を用いて補間演算を行い、外部分割領域E5に位置する点Qについては三角形領域C‐1を用いて補間演算を行う。
なお、補間演算の際のベクトルの基点(図14のR0)は、外部分割領域と三角形領域との間の辺の対角とする。つまり、外部分割領域E1に位置する点Qを補間演算する場合、三角形領域A1が用いられるが、この場合は位置番号22が基点となる。これに対し、外部分割領域E3に位置する点Qを補間演算する場合も、三角形領域A1が用いられるが、この場合は位置番号2が基点となる。
なお、角部の外部分割領域E6,E7に位置する点Qについては、三角形領域の各頂点のうち、点Qから最近傍に位置する頂点の画素値をそのまま用いてもよい。あるいは、最近傍に位置する頂点を含む三角形領域のうち、重心(各頂点のX座標値およびY座標値それぞれの平均を座標とする点)がもっとも近い三角形領域を選択し、この三角形領域を用いて補間演算を行ってもよい。
[実施形態3]
実施形態2の抽出部224は、前述したS1〜S3の処理によって、始点、終点、極点以外のパターン領域131aを示すフレームのうち、較正用撮影画像として抽出するフレーム(図12の位置番号2〜10,12〜21,23〜32、32〜42に対応するフレーム)を決定しているが、S1〜S3の処理に限定されるものではない。
例えば、図28に示すように、始点のX座標値に所定値を加算した値を、X座標の基準値とする。そして、重心位置のX座標値が基準値であるパターン領域131aのフレーム、および、重心位置のX座標値が基準値に対して所定値の倍数を加算した値になるパターン領域131aのフレームを、較正用撮影画像として抽出するようになっていてもよい。この場合、形成される三角形領域は図29のようになる。
[実施形態4]
図8に示す較正システム300のように、表示装置102の表示制御部102bが表示部102aを制御して表示部102aに較正用表示画像130を表示させるようになっていてもよい。図8に示す構成の場合、較正用表示画像130の画像データを保存したリムーバブルメディア(例えばUSBメモリ)が表示装置102に挿入されることで前記画像データが表示装置102に入力され、表示制御部102bが、当該画像データを参照して表示部102aに較正用表示画像130を表示させることになる。図8の構成によれば、情報処理装置103と表示装置102とが接続されている必要がなく、図1に示すようなDVIが不要である。
[実施形態5]
以上示した各実施形態では、表示装置に表示される較正用表示画像130に示される所定色のパターン領域131を撮影装置に撮影させて得られる撮影画像を用いて感度較正処理が行われているが、撮影装置の撮影対象は、均一に所定色を示すものであればよく、表示装置に表示される較正用表示画像130のパターン領域131に限定されるものではない。
例えば、以上示した各実施形態において、表示装置の代わりに、所定色を発光する安定化光源を設置し、周囲を暗室の状態にした上で安定化光源(撮影対象)を撮影装置に撮影させて得られる撮影画像を用いて感度較正処理が行われるようになっていてもよい。これにより、黒色の背景領域上に所定色のパターン領域(安定化光源の光)が示される撮影画像を取得できる。
[実施形態6]
以上の実施形態1では、所定色のパターン領域131aを示した較正用撮影画像から各画素の補正係数を設定する構成であり、所定色は白色であった。つまり、得られる補正係数は白色に対応するもののみであった。
これに対し、互いにパターン領域131の色(所定色)を異ならせる複数の較正用表示画像130を予め準備しておき、較正用表示画像130毎に、較正用撮影画像を取得して各画素の補正係数を設定するようになっていてもよい。ここで、使用される所定色の組み合わせとしては、互いに輝度を異ならせる複数のグレー色が挙げられる(例えば、輝度値が64、128、192を示す各グレー色)。なお、グレー色とは、グレースケールに示される色であり、白色も含まれる。
なお、本実施形態においては、互いに輝度の異なるグレー色ごとに補正係数が求められることになるが、求められた補正係数を線形補間やスプライン補間することで、画素値と補正係数との関係を示したテーブルを作成できる。
例えば、ある画素について、低輝度のグレー色の撮影によって画素値64に対応する補正係数が得られ、中輝度のグレー色の撮影によって画素値128に対応する補正係数が得られ、高輝度のグレー色の撮影によって画素値192に対応する補正係数とが得られた場合、図9に示すようなテーブルを得ることができる。そして、このテーブルを用いて画素値の補正を行えば、画素値のレベルごとに、夫々のレベルに適した補正係数を設定することができる。
本実施形態の構成は、撮影装置101aの各画素の画素値の分布特性に輝度依存性がある場合に適している。また、本実施形態の構成は、実施形態1のみならず、実施形態2の構成にも勿論適用できる。
[実施形態7]
また、互いにパターン領域131の色(所定色)が異なる較正用表示画像130毎に、較正用撮影画像を取得して各画素の補正係数を設定する場合、使用される所定色の組み合わせとしては、周知の色空間における色成分の組み合わせが挙げられる。例えば、所定色の組み合わせは、赤、緑、青の組み合わせであってもよいし、シアン、マゼンタ、黄色の組み合わせであってもよい。
また、使用される所定色の組み合わせとして、互いに異なる種類の複数の色空間の全ての色成分の組み合わせとしてもよいし、互いに異なる種類の複数の色空間の全ての色成分のうちの一部の色成分の組み合わせであってもよい。つまり、使用される所定色の組み合わせは、赤、緑、青、シアン、マゼンタ、黄色の組み合わせであってもよいし、例えば、赤、緑、青、黄色の組み合わせといったものであってもよい。
また、使用される所定色の組み合わせとして色成分の組み合わせを使用する場合、単一の色成分あたりで、互いに明度(階調値)を異ならせる複数の較正用表示画像を用意し、当該複数の較正用表示画像の各々について各画素の補正係数を設定するようになっていてもよい。例えば、赤色成分については、階調値が128の赤色をパターン領域とした較正用表示画像と、階調値が192の赤色をパターン領域とした較正用表示画像とを用意し、緑色成分および青色成分の各々についても同様に階調値が互いに異なる2つの較正用表示画像を用意する。つまり、この場合、互いにパターン領域の所定色が異なる6つの較正用表示画像(128の赤、192の赤、128の緑、192の緑、128の青、および、192の青)の各々について、較正処理が行われることで補正係数が設定される。
また、使用される所定色として、複数の色成分の混色であってもよい。例えば、赤と緑との混色と、緑と青との混色と、青と赤との混色との組み合わせを使用できる。
そして、本実施形態においては、画素毎に、3次元の色空間上の複数の点の各々において補正係数が求められることになるため、例えば4面体補間によって、3次元の色値(例えばRGB値)と補正係数との関係を示した3D−LUTを作成できる。
本実施形態は、撮影装置の各画素の画素値の分布特性に色依存性がある場合に適している。なお、所定色として前記の混色を用いる場合には、撮影装置101aの撮像素子のCFAの分光特性と表示装置102の表示特性とから適した混色を選択することが好ましい。
また、実施形態1のように撮影ユニット101を情報処理装置103側が制御する構成において、実施形態6や本実施形態のように互いにパターン領域131の所定色が異なる較正用表示画像130毎に補正係数を求める処理を適用する場合、図2に示すように情報処理装置103の側に表示制御部121がある構成の方が好ましい。
これにより、撮影制御と、撮影画像の処理と、較正用表示画像130の切り替え(所定色の切り替え)とを連動させることができるからである。例えば、較正用表示画像130の撮影と較正用表示画像130の切り替えとを交互に行うことで複数の較正用表示画像130の各々の撮影を行った後、撮影装置101aを動かして撮影位置を変更し、その後に再度較正用表示画像130の撮影と較正用表示画像130の切り替えとを交互に行うことで複数の較正用表示画像130の各々の撮影を行うといったことが可能である。つまり、撮影制御、解析処理(撮影画像の解析処理)、表示制御、駆動装置101bの駆動制御を情報処理装置103に一括して行わせることができる。
また、実施形態6と7とを組み合わせてもよい。つまり、例えば、使用される所定色の組み合わせとして、周知の色空間における色成分の組み合わせの他に、互いに輝度を異ならせる複数のグレー色を含めてもよい。
[ソフトウェアによる実現例]
情報処理部103a・213aは、上述の通り、CPUを用いてソフトウェアにて実現してもよいし、集積回路等に形成された論理回路によって実現してもよい。なお、ソフトウェアによる場合、情報処理部103a・213aは、前記ソフトウェアであるプログラムがコンピュータ(またはCPU)で読み取り可能に記録されたROMまたは記憶装置等の記録媒体を備えている。上記記録媒体としては、例えば、カード、ディスク、半導体メモリ、プログラマブルな論理回路などの「一時的でない有形の媒体」であってもよい。また、上記プログラムは、任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに伝送されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
[まとめ]
本発明の態様1は、撮影装置の各画素の画素値に適用される各画素の補正係数を設定することで、前記撮影装置の各画素の感度を較正する較正装置であって、前記撮影装置によって所定色の撮影対象を撮影して取得される画像を較正用撮影画像とすると、前記撮影対象が示される画像領域の位置を互いに異ならせるようにして取得された複数の較正用撮影画像の各々の前記画像領域を用いて補間処理を行うことにより、前記撮影装置の各画素の画素値を求める補間部と、前記補間部にて求められる画素値を参照して前記補正係数を設定する係数設定部と、を備えたことを特徴とする。
本発明の態様1によれば、撮影装置の全ての画素に対して一律に所定色を読み取らせなくても、撮影装置の全ての画素について、前記所定色を読み取らせた場合に得られる画素値に近い画素値を補間演算で求めることができる(撮影装置の全画素全体で感度特性にバラツキがあっても、近傍の画素同士では感度特性の差が少ない。それゆえ、全ての画素に対して一律に所定色を読み取らせなくても、一部の画素に所定色を読み取らせて補間演算を行えば、各画素において、前記所定色を読み取らせた場合に得られる画素値に近い画素値を得ることができるのである)。そして、全ての画素について補間演算で前記画素値を求めることで撮影装置の感度特性が明らかになるので、前記補正係数を設定でき、これにより感度較正が可能となる。
ここで、従来技術であれば、撮影装置の全ての画素に対して一律に所定色を読み取らせるために輝度箱や積分球が用いられるのであるが、本発明によれば、撮影装置の全ての画素に対して一律に所定色を読み取らせる必要がないため、輝度箱や積分球が不要になる。それゆえ、本発明の構成によれば、撮影装置の感度の較正を簡易に行えるという効果を奏する。
なお、特許文献2には、撮影装置のキャリブレーション方法が示されているが、この方法は位置ずれや角度ずれを補正するものであり、本発明のように画素の感度を較正するものではない。
本発明の態様1の較正装置は、前記画像領域に属する各画素の座標値の平均値を、前記画像領域の代表位置として求める位置検出部を備え、前記補間部は、前記代表位置に対応する前記画像領域に属する各画素の画素値の代表値を前記代表位置の画素値として、前記複数の較正用撮影画像の各々の画像領域の代表位置を用いて前記補間処理を行うようになっていてもよい。また、本発明の態様1の較正装置において、前記係数設定部は、画素毎に、前記補間処理によって得られる画素値を正規化し、正規化された値の逆数を補正係数とするようになっていてもよい。
本発明の態様2の較正装置は、態様1に加え、前記撮影対象が示される画像領域の位置が変わるように前記撮影装置を動かす駆動装置を制御し、且つ、前記撮影装置を制御して撮影処理を行わせる撮影制御部を備え、前記撮影制御部は、前記複数の較正用撮影画像の各々に示されている前記撮影対象の画像領域を仮想的に全て同じ較正用画像上に示す場合に前記画像領域が格子状に配列するように、前記駆動装置および前記撮影装置を制御するようになっていてもよい。
本発明の態様2によれば、前記撮影対象の画像領域が格子状に配列することになるため、補間部は、比較的簡易な演算である格子点補間を利用できる。それゆえ、演算を高速で行えるというメリットを有する。
本発明の態様3の較正装置は、態様1に加え、前記撮影装置は動画の取得が可能なカメラであり、前記撮影装置が動かされながら前記撮影対象を撮影することによって取得される動画を構成する全フレームのなかから一部のフレームの各々を前記較正用撮影画像として抽出する抽出部を備え、前記抽出部は、抽出される全ての較正用撮影画像の各々に示されている前記撮影対象の画像領域を仮想的に全て同じ較正用撮影画像上に示す場合に前記画像領域が分散して配置されるように、前記較正用撮影画像として抽出するフレームを決定することを特徴とする。
本発明の態様3によれば、前記撮影装置を人手によって動かして前記撮影対象を撮影しても、前記補間部に前記補間処理を行わせるための複数の較正用撮影画像を取得することが可能であり、簡易に感度較正処理を行うことができるという効果を奏する。
本発明の態様4の較正装置は、態様1〜3に加え、前記補間部は、複数の撮影対象の各々について、前記補間処理に用いる前記複数の較正用撮影画像を取得すると、前記撮影装置の各画素の画素値を求めるようになっており、前記係数設定部は、前記複数の撮影対象の各々について、前記補正係数を求めるようになっており、前記複数の撮影対象の全部または一部の各々は、互いに濃度の異なるグレー色を示すことを特徴とする。
本発明の態様4によれば、画素毎に、互いに濃度の異なるグレー色の各々について補正係数を求めるようになっている。それゆえ、互いに濃度の異なるグレー色の各々に対応する補正係数を補間することで、撮影装置の画素値の各レベルと補正係数との関係を示したテーブルを得ることができる。よって、較正処理後の撮影装置においては、画素値のレベルに応じて最適な補正係数を用いることができるというメリットがある。
また、本発明の態様4の構成は、撮影装置の各画素の画素値の分布特性に輝度依存性がある場合に適している。
本発明の態様5の較正装置は、態様1〜4に加え、前記補間部は、複数の撮影対象の各々について、前記補間処理に用いる前記複数の較正用撮影画像を取得すると、前記撮影装置の各画素の画素値を求めるようになっており、前記係数設定部は、前記複数の撮影対象の各々について、前記補正係数を求めるようになっており、前記複数の撮影対象の全部または一部の各々は、色空間における色成分を示し、且つ、互いに色成分を異ならせることを特徴とする。
本発明の態様5によれば、画素毎に、互いに異なる色成分の各々について補正係数を求めるようになっている。それゆえ、互いに異なる色成分の各々に対応する補正係数を補間することで、色空間内の各位置と補正係数との関係を示したテーブルを得ることができる。
また、本発明の態様5は、撮影装置の各画素の画素値の分布特性に色依存性がある場合に適している。
本発明の態様6の較正装置は、態様1〜5に加え、前記複数の較正用撮影画像の各々を合成することにより、前記複数の較正用撮影画像の各々に示されている全ての前記画像領域を示した合成画像を作成する合成画像作成部を備えており、前記補間部は、前記合成画像を参照することで、前記複数の較正用撮影画像の各々の前記画像領域を特定することを特徴とする。
本発明の態様6によれば、前記補間部は、前記合成画像を参照して前記複数の較正用撮影画像の各々の前記画像領域を特定することにより、データ処理を高速に行うことができるようになる。
また、本発明の態様1〜6に係る較正装置は、コンピュータによって実現してもよく、この場合には、コンピュータを本発明の態様1〜6の較正装置が備える各部として動作させることにより、前記較正装置をコンピュータにて実現させるプログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
本発明の態様7は、撮影装置の各画素の画素値に適用される各画素の補正係数を設定することで、前記撮影装置の各画素の感度を較正する較正方法であって、前記撮影装置によって所定色の撮影対象を撮影して較正用撮影画像を取得する工程であって、前記撮影対象が示される画像領域の位置を互いに異ならせる複数の較正用撮影画像を取得する工程と、前記複数の較正用撮影画像の各々の前記画像領域を用いて補間処理を行うことにより、前記撮影装置の各画素の画素値を求める工程と、前記補間処理によって求められる画素値を参照して前記補正係数を設定する工程と、を含む。本発明の態様7によれば、本発明の態様1と同様の効果を奏する。
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。