JP7402992B2 - 画像補正装置、画像補正方法、プログラムおよび記録媒体 - Google Patents

Description

本発明は、撮影装置によって対象物を撮影し、対象物が写っている対象物画像に画像補正を行って画像化する画像補正装置、画像補正方法、プログラムおよび記録媒体に関する。

カメラ等の撮影装置によって対象物を撮影して画像化（デジタルデータ化）する場合、例えば対象物を撮影する前または対象物を撮影した後に、図形の歪み、画像の明るさおよび色合い等の画像補正を行うための補正用チャートを撮影し、補正用チャートが写っている補正用チャート画像から補正パラメータを作成し、補正パラメータを用いて、対象物が写っている対象物画像を補正している。

しかし、スキャナ等のように、撮影時の画角および照明状態等の撮影環境が一定に保たれる場合と違って、ユーザが、撮影装置を手に持って撮影する場合は特に、撮影時の画角および照明状態等の撮影環境を一定に保って補正用チャートおよび対象物を撮影することが困難である。そのため、画像補正が正しく行われた対象物画像を得ることが非常に難しいという問題があった。

本発明の参考となる先行技術文献として、例えば特許文献１～３がある。

特許文献１には、校正用画像を読み取った読取画像と、可搬型の通信端末の撮影装置によって撮影された校正用画像の撮影画像と、撮影画像の撮影条件と、を使用して、グレーバランス補正および色補正等の画像処理パラメータを生成し、画像処理パラメータを用いて、可搬型の通信端末の撮影装置によって撮影された被写体の撮影画像を補正する画像処理システムが記載されている。

特許文献２には、各色の予め設定されたカラー画素値を示すカラーバーと形状が既知の多角形の頂点とが予め記された台座を撮影し、撮影画像中の台座に記された多角形の頂点座標に基づき、多角形画像の各座標を出力座標系に射影変換し、出力座標系におけるカラーバー画像の各カラー画素値から色補正パラメータを取得し、色補正パラメータを用いて、撮影画像の色補正および明るさ補正を行う撮影装置が記載されている。

特許文献３には、撮像した画像の色、明るさ、又は形状の再現性を調節するキャリブレーション用テストチャートを表示し、表示されているキャリブレーション用テストチャートを撮像し、表示されているテストチャートの色、明るさ、又は形状に基づいて、撮像した画像に対する補正用パラメータを算出し、補正用パラメータを用いて、撮像した画像の色補正、明るさ補正および形状補正等の補正処理を実施する撮像装置が記載されている。

特開２０１６－１７１４７５号公報 特開２００７－１９４７９４号公報 特開２００４－００７３００号公報

本発明の目的は、上記従来技術の問題点を解消し、どのような撮影環境であっても、対象物を高品質に画像補正して画像化することができる画像撮影装置、画像撮影方法、プログラムおよび記録媒体を提供することにある。

上記目的を達成するために、本発明は、撮影装置によって、補正用チャートが撮影された動画像を取得する第１取得工程と、
撮影装置によって、補正用チャートが撮影される前後の少なくとも一方において、シート状の対象物が撮影された動画像を連続的に取得する第２取得工程と、
動画像に含まれる複数のフレーム画像の中から、補正用チャートが写っている複数の補正用チャート画像および対象物が写っている複数の対象物画像を抽出する抽出工程と、
複数の補正用チャート画像に基づいて、複数の対象物画像の代表対象物画像を補正する補正パラメータを生成する生成工程と、
補正パラメータを用いて、代表対象物画像を補正する補正工程と、を含む、画像補正方法を提供する。

ここで、動画像に含まれる複数のフレーム画像のうち、隣接するフレーム画像間の相関に基づいて、複数のフレーム画像の各々が、対象物画像なのか、あるいは補正用チャート画像なのかを判別する判別工程を含み、
判別工程の判別結果に基づいて、動画像に含まれる複数のフレーム画像から、複数の対象物画像および複数の補正用チャート画像を抽出することが好ましい。

また、複数の補正用チャート画像に基づいて、撮影装置のレンズの収差による図形歪みを補正するレンズ収差補正パラメータを生成し、
レンズ収差補正パラメータを用いて、複数の補正用チャート画像の各々、および、複数の対象物画像の各々について、レンズの収差による図形歪みを補正することが好ましい。

また、レンズの収差による図形歪みの補正後の複数の補正用チャート画像の代表補正用チャート画像上の複数の基準点に基づいて、撮影時のアオリによる図形歪みを補正するアオリ補正パラメータを生成し、
アオリ補正パラメータを用いて、レンズの収差による図形歪みの補正後の複数の対象物画像の各々について、アオリによる図形歪みを補正することが好ましい。

また、補正用チャートは、濃度が異なる複数の無彩色パッチを含み、かつ、複数の無彩色パッチの各々について、同じ濃度の複数の濃度パッチが空間的に離散して配置されており、
代表補正用チャート画像から、複数の無彩色パッチに対応する複数の無彩色パッチ画像を抽出して、複数の無彩色パッチ画像の各々について、同じ濃度の複数の濃度パッチの位置に対応する複数の濃度パッチ画像の位置の信号値を取得し、
複数の無彩色パッチ画像の各々について、同じ濃度の複数の濃度パッチの位置に対応する複数の濃度パッチ画像の位置の信号値に基づいて、代表補正用チャート画像の大きさの補間画像の各画素位置の信号値を補間によって算出することにより、複数の無彩色パッチ画像に対応する複数の補間画像を作成し、
複数の補間画像の各々について、全画素位置の信号値の平均値である空間平均値を算出し、
予め取得された複数の無彩色パッチの反射率と複数の補間画像の空間平均値との差がなくなるように階調補正を行う階調補正パラメータを生成し、
階調補正パラメータを用いて、複数の補間画像、代表補正用チャート画像、およびアオリによる図形歪みの補正後の複数の対象物画像の代表対象物画像の階調補正を行うことが好ましい。

また、階調補正後の複数の補間画像に基づいて、シェーディング補正の前後において、階調補正後の複数の補間画像の空間平均値が変わらず、かつ、シェーディング補正後において、階調補正後の複数の補間画像の代表補間画像の２次元的な信号値の分布が平坦になるように補正する２次元的なシェーディング補正パラメータを作成し、
シェーディング補正パラメータを用いて、代表補正用チャート画像および代表対象物画像のシェーディング補正を行うことが好ましい。

また、補正用チャートは、色が異なる複数の有彩色パッチを含み、
代表補正用チャート画像から、複数の有彩色パッチに対応する複数の有彩色パッチ画像を抽出して、複数の有彩色パッチ画像の各々の信号値を取得し、
予め取得された複数の有彩色パッチの各々の信号値と、対応する複数の有彩色パッチ画像の各々の信号値との差がなくなるように色補正を行う色補正パラメータを生成し、
色補正パラメータを用いて、シェーディング補正後の代表対象物画像の色補正を行うことが好ましい。

また、動画像に含まれる複数のフレーム画像のうち、撮影状態が最もよい側のフレーム画像から、複数の対象物画像を抽出することが好ましい。

また、動画像に含まれる複数のフレーム画像のうち、撮影状態が複数の対象物画像に最も近い側のフレーム画像から、複数の補正用チャート画像を抽出することが好ましい。

また、補正用チャートの上に配置された対象物の動画像を撮影することが好ましい。

また、対象物は、外部エネルギーが加えられることにより、外部エネルギーに対応する濃度に発色する測定用シートであることが好ましい。

また、本発明は、プロセッサを備え、プロセッサが、
撮影装置によって、補正用チャートが撮影された動画像を取得し、
撮影装置によって、補正用チャートが撮影される前後の少なくとも一方において、シート状の対象物が撮影された動画像を連続的に取得し、
動画像に含まれる複数のフレーム画像の中から、補正用チャートが写っている複数の補正用チャート画像および対象物が写っている複数の対象物画像を抽出し、
複数の補正用チャート画像に基づいて、複数の対象物画像の代表対象物画像を補正する補正パラメータを生成し、
補正パラメータを用いて、代表対象物画像を補正する、画像補正装置を提供する。

また、本発明は、上記のいずれかの画像補正方法の各々の工程をコンピュータに実行させるためのプログラムを提供する。

また、本発明は、上記のいずれかの画像補正方法の各々の工程をコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供する。

本発明によれば、補正用チャートおよび対象物を撮影して、その動画像を取得するため、動画像に含まれる複数のフレーム画像の中から、撮影状態が良好で、かつ、撮影状態が近い補正用チャート画像および対象物画像を抽出し、補正用チャート画像に基づいて対象物画像の画像補正を行うことができる。そのため、ユーザが、任意の撮影環境において対象物を撮影した場合であっても、より簡易に、かつ、より高品質に対象物を画像補正して画像化することができる。

本発明の画像補正装置の構成を表す一実施形態の概念図である。 撮影装置の内部構成を表す一実施形態のブロック図である。 プロセッサの内部構成を表す一実施形態のブロック図である。 格子パターンを表す一例の概念図である。 無彩色パターンを表す一例の概念図である。 有彩色パターンを表す一例の概念図である。 有彩色パターンを表す別の例の概念図である。 補正用チャートの構成を表す一例の概念図である。 補正用チャートおよび対象物の撮影順序を表す一例の概念図である。 画像補正装置の動作を表す一例のフローチャートである。 本発明の画像補正装置の構成を表す別の実施形態の概念図である。

以下に、添付の図面に示す好適実施形態に基づいて、本発明の画像補正装置、画像補正方法、プログラムおよび記録媒体を詳細に説明する。

図１は、本発明の画像補正装置の構成を表す一実施形態の概念図である。図１に示す画像補正装置１０は、原稿台１２と、撮影装置１４と、を備えている。

原稿台１２は、その上に、対象物１６を配置（載置）して撮影するための台である。原稿台１２の一方の面（図１中の上側面）の上には、印刷または色票の貼り合わせ等によって補正用チャート１８が形成されている。原稿台１２は、補正用チャート１８兼対象物１６を配置するための台であって、対象物１６は、その撮影時に、原稿台１２の一方の面に形成された補正用チャート１８の上に配置される。

補正用チャート１８は、撮影装置１４によって撮影される、補正用チャート１８が写っている補正用チャート画像および対象物１６が写っている対象物画像を補正する補正パラメータを作成するために使用される。補正用チャート１８は、補正用チャート画像および対象物画像の画像補正に使用可能なものであれば、特に限定されないが、例えば格子パターン、無彩色パターンおよび有彩色パターン等を例示することができる。

格子パターンは、図４に示すように、一方向に延びる複数の線と、これに交差して直交する方向に延びる複数の線とによって、複数の矩形状の図形が２次元的に配列された構成を有する。図４に示す格子パターン１８ａは、ホワイトバランスの補正を行うための白色を背景とし、黒色の複数の線で形成された白黒の格子状のパターンである。格子パターンは、図形歪みの補正およびホワイトバランスの補正等に用いられる。

無彩色パターンは、図５に示すように、濃度が異なる複数の無彩色パッチが２次元的に配列された構成を有する。図５に示す無彩色パターン１８ｂは、濃度が異なる矩形状の４種類の無彩色パッチを含み、かつ、４種類（４階調）の無彩色パッチの各々について、同じ濃度を有する矩形状の複数の濃度パッチが空間的に離散して配置されている。無彩色パターンは、図形歪みの補正、階調補正およびシェーディング補正等に用いられる。
なお、無彩色パターンに含まれる無彩色パッチの個数（階調数）は、特に限定されない。

有彩色パターンは、図６，７に示すように、色が異なる複数の有彩色パッチが２次元的に配列された構成を有する。図６，７に示す有彩色パターン１８ｃ、１８ｄは、色が異なる矩形状の複数の有彩色パッチに加えて、濃度が異なる矩形状の複数の無彩色パッチを含み、複数の有彩色パッチおよび複数の無彩色パッチが２次元的に配列されている。有彩色パターンは、図形歪みの補正、階調補正、シェーディング補正および色補正等に用いられる。
なお、有彩色パターンに含まれる有彩色パッチの個数は、特に限定されないが、色補正等を行うために、１０個以上であることが好ましい。また、有彩色パターンに含まれる有彩色パッチの色の種類も限定されず、例えばＲＧＢ（赤、緑、青）およびＣＭＹ（シアン、マゼンタ、黄）等の基準色、その中間色の他、色相、彩度および明度の異なる任意の種類の色を使用してもよい。

なお、補正用チャート１８は、前述の格子パターン１８ａ、無彩色パターン１８ｂまたは有彩色パターン１８ｃ、１８ｄのうちの１つのみによって構成されていてもよいし、あるいは図８に一例を示すように、２以上のパターンを組み合わせて構成されていてもよい。図８に示す補正用チャート１８は、図５に示す無彩色パターン１８ｂと、図６に示す有彩色パターン１８ｃとを組み合わせて構成されている。

対象物１６は、紙、シートおよびフィルム等のように、画像化の対象となるシート状のものであって、任意の形状および任意の濃度の色の図形が、その少なくとも一方の表面に形成されている。対象物１６は、撮影時に、図形の形成面を上向きにして補正用チャート１８の上に配置される。対象物１６は、特に限定されないが、例えば感圧シート、感熱シートおよび紫外線（あるいは近赤外線、中赤外線）シート等の測定用シートを例示することができる。

感圧シート、感熱シートおよび紫外線シート等は、それぞれ、圧力、温度および紫外線（あるいは近赤外線、中赤外線）等の外部エネルギーが加えられることにより、加えられた外部エネルギーに対応する濃度に発色する測定用シートである。測定用シートは、その表面に形成された図形の形状および色の濃度等に基づいて、その測定用シートに加えられた外部エネルギーの分布および大きさ等を計測することができる。

続いて、撮影装置１４は、補正用チャート１８と対象物１６とを、順次、連続的に撮影して、その動画像を取得し、動画像に含まれる複数のフレーム画像のうち、補正用チャート画像に基づいて対象物画像を補正して画像化（デジタルデータ化）する。本実施形態の撮影装置１４は、カメラ機能を有するスマートフォンであるが、これに限定されず、動画像の撮影機能を有するデジタルカメラまたはデジタルビデオカメラ等でもよい。

図２は、撮影装置の内部構成を表す一実施形態のブロック図である。撮影装置１４は、図２に示すように、撮影部２０と、表示部２２と、操作部２４と、記憶部２６と、プロセッサ２８と、を備える。表示部２２、操作部２４、撮影部２０、記憶部２６およびプロセッサ２８は、内部バス４２を介して双方向に接続されており、互いにデータの送受信が可能である。

撮影部２０は、プロセッサ２８の制御により、被写体を撮影して、その画像（静止画像および動画像）を出力する。撮影部２０は、本実施形態の場合、補正用チャート１８と対象物１６とを、順次、連続的に撮影して、その動画像を出力する。撮影部２０は、スマートフォンのカメラ機能に相当する。

表示部２２は、プロセッサ２８の制御により、各種の画像および情報等を表示する。表示部２２は、例えばＬＣＤ（Liquid Crystal Display）、有機ＥＬ（Organic Electroluminescence）ディスプレイ、ＬＥＤ（Light Emitting Diode）ディスプレイ又は電子ペーパー等のディスプレイ等によって構成される。また、表示部２２は、撮影装置１４のユーザによるタッチ操作を受け付けるタッチパネルを備えていてもよい。

操作部２４は、プロセッサ２８の制御により、ユーザの操作を受け付ける。操作部２４は、撮影装置１４の筐体の外表面に設けられた複数のボタン、および、表示部２２が備えるタッチパネルのグラフィカルユーザインタフェイス等を含む。ユーザは、被写体を撮影したり、各種の設定項目を設定したりする場合に、操作部２４を通じて、対応する操作を行う。

記憶部２６は、プロセッサ２８の制御により、撮影部２０によって撮影された被写体の画像（静止画像および動画像）のデータ等を記憶する。記憶部２６は、本実施形態の場合、補正用チャート１８および対象物１６が撮影された動画像のデータを記憶する。また、記憶部２６には、プロセッサ２８によって実行されるプログラム及び各種のデータ等が格納されている。

プロセッサ２８は、撮影装置１４の各部を制御し、動画像の撮影、動画像データの記憶、動画像の表示等を含む各種の処理を実行する。プロセッサ２８は、図３に示すように、取得処理部３０と、判別処理部３２と、抽出処理部３４と、生成処理部３６と、補正処理部３８と、表示処理部４０と、を備えている。記憶部２６に記憶されたプログラムがプロセッサ２８によって実行されることによって、プロセッサ２８は、各々の処理部として機能する。取得処理部３０、判別処理部３２、抽出処理部３４、生成処理部３６、補正処理部３８および表示処理部４０は、内部バス４２を介して双方向に接続されており、互いにデータの送受信が可能である。

取得処理部３０は、操作部２４を通じたユーザの操作（撮影の指示）に応じて、撮影部２０の動作を制御し、撮影部２０（撮影装置１４）によって、補正用チャート１８が撮影された動画像を取得する第１取得処理（第１取得工程）、および、撮影部２０によって、補正用チャート１８が撮影される前後の少なくとも一方において、対象物１６が撮影された動画像を連続的に取得する第２取得処理（第２取得工程）を実行する。
すなわち、取得処理部３０は、補正用チャート１８が撮影された後に、対象物１６が撮影された動画像を連続的に取得してもよいし、対象物１６が撮影された後に、補正用チャート１８が撮影された動画像を連続的に取得してもよい。あるいは、取得処理部３０は、図９に示すように、補正用チャート１８が撮影された後に、対象物１６が撮影され、続いて、補正用チャート１８が撮影された動画像を連続的に取得してもよい。

判別処理部３２は、取得処理によって取得された動画像に含まれる複数のフレーム画像のうち、隣接するフレーム画像間の相関に基づいて、複数のフレーム画像の各々が、対象物画像なのか、あるいは補正用チャート画像なのかを判別する判別処理（判別工程）を実行する。
例えば、画像解析により、動画像に含まれる各々のフレーム画像の特徴量を算出し、隣接するフレーム画像の特徴量に基づいて、隣接するフレーム画像間の相関係数を算出する。隣接するフレーム画像間の相関係数が閾値以上の値になった範囲において代表的なフレーム画像ｆを範囲毎に記憶しておく。各範囲に対応する代表的なフレーム画像ｆ０、ｆ１と、事前に取得しておいた相関計算用の補正用チャート画像との相関係数によって、フレーム画像ｆ０の範囲およびフレーム画像ｆ１の範囲が、それぞれ補正用チャート画像および対象物画像であると判別できる。

抽出処理部３４は、判別処理の判別結果に基づいて、動画像に含まれる複数のフレーム画像の中から、補正用チャート１８が写っている複数の補正用チャート画像および対象物１６が写っている複数の対象物画像を抽出する抽出処理（抽出工程）を実行する。

抽出処理部３４は、動画像に含まれる複数のフレーム画像のうち、撮影状態が最もよい側のフレーム画像から、複数の対象物画像を抽出してもよい。
例えば、動画像に含まれる複数のフレーム画像について、手ブレの度合い、画角のズレ量および照明のムラ（バラツキ）の度合い等のように、１以上の項目の解析を行って各項目のスコアを算出し、全項目の合計のスコアをフレーム画像のスコアとする。そして、動画像に含まれる複数のフレーム画像のうち、撮影状態が最もよい側から、すなわち、スコアが最も高い側のフレーム画像から、複数の対象物画像を抽出する。

また、抽出処理部３４は、動画像に含まれる複数のフレーム画像のうち、撮影状態が複数の対象物画像に最も近い側のフレーム画像から、複数の補正用チャート画像を抽出してもよい。
例えば、動画像に含まれる複数のフレーム画像のうち、撮影状態が複数の対象物画像に最も近い側から、すなわち、撮影時刻が複数の対象物画像と最も近い側から、あるいは、スコアが最も高い側のフレーム画像から、複数の補正用チャート画像を抽出する。なお、事前に取得しておいた相関計算用の補正用チャート画像との相関係数も加えて、相関係数が高くなるほど、スコアが高くなるように算出してもよい。

生成処理部３６は、抽出処理によって抽出された複数の補正用チャート画像に基づいて、同じく抽出処理によって抽出された複数の対象物画像のうちの代表となる代表対象物画像を補正する補正パラメータを生成する生成処理（生成工程）を実行する。
生成処理部３６は、特に限定されないが、図形歪みの補正、階調補正、シェーディング補正および色補正等の画像補正を行うための補正パラメータを生成する。

補正処理部３８は、生成処理によって生成された補正パラメータを用いて、代表対象物画像を補正する補正処理（補正工程）を実行する。

表示処理部４０は、各種の画像および情報等を表示部２２に表示させる表示処理（表示工程）を実行する。

次に、図１０に示すフローチャートを参照しながら、図１に示す画像補正装置１０の動作を説明する。

まず、ユーザは、撮影時の画角および照明状態（外光、自然光、環境光）等が逐次変化し、一定に保つことができない任意の撮影環境において、スマートフォンである撮影装置１４を手に持ち、操作部２４を通じたユーザの操作によって撮影の開始を指示する。
これに応じて、取得処理部３０により、撮影部２０の動作が制御され、撮影部２０によって、補正用チャート１８が撮影された動画像を取得する第１取得処理が実行される（ステップS1）。

続いて、ユーザは、同じく任意の撮影環境において、撮影装置１４を手に持ったままの状態で、補正用チャート１８の上に対象物１６を配置する。
これに応じて、取得処理部３０により、補正用チャート１８が撮影された後、引き続いて、撮影部２０によって、対象物１６が撮影された動画像を連続的に取得する第２取得処理が実行される（ステップS2）。

原稿台１２の上に補正用チャート１８が形成されている、つまり、補正用チャートが原稿台１２に固定されているため、対象物１６を撮影する場合に、補正用チャート１８と対象物１６との相対的な位置関係が固定されているという利点がある。

このように、第１取得処理および第２取得処理によって、補正用チャート１８と対象物１６とが、順次、連続的に撮影された１つの動画像が取得される。なお、補正用チャート１８の動画像と、対象物１６の動画像とを別々の動画像として取得してもよい。

動画像に含まれるフレーム画像、すなわち、補正用チャート画像および対象物画像には、撮影部２０のレンズの収差による図形歪みの他、ユーザが任意の撮影環境において、補正用チャート１８および対象物１６を撮影することに起因して、手ブレによる画像のブレ、撮影時のアオリによる図形歪み、および撮影時の照明のムラによる画像のムラ（明るさ、色合い等のムラ）等が含まれている。

取得処理が終了すると、判別処理部３２により、動画像に含まれる複数のフレーム画像のうち、隣接するフレーム画像間の相関に基づいて、複数のフレーム画像の各々が、対象物画像なのか、補正用チャート画像なのかを判別する判別処理が実行される（ステップS3）。

続いて、抽出処理部３４により、判別処理の判別結果に基づいて、動画像に含まれる複数のフレーム画像の中から、複数の補正用チャート画像および複数の対象物画像を抽出する抽出処理が実行される（ステップS4）。抽出処理部３４は、フレーム画像が対象物画像であると判別された場合に、そのフレーム画像を対象物画像として抽出し、フレーム画像が補正用チャート画像であると判別された場合に、そのフレーム画像を補正用チャート画像として抽出する。

なお、判別処理および抽出処理は、補正用チャート１８および対象物１６の撮影が終了した後から一括で実行してもよいし、あるいは撮影しながら順次実行してもよい。撮影しながら判別処理および抽出処理を順次実行する場合、補正用チャート１８および対象物１６の動画像の一部が取得される毎に、その動画像の一部に含まれるフレーム画像の判別処理および抽出処理が順次実行される。
また、抽出処理において、補正用チャート画像および対象物画像の判別は、抽出処理部３４が自動で判別してもよいし、あるいはユーザが手動（目視）で判別を行ってもよい。ユーザが判別を行う場合、操作部２４を通じたユーザの操作（判別結果の入力）に応じて、抽出処理部３４により、動画像に含まれる複数のフレーム画像の中から、複数の補正用チャート画像および複数の対象物画像が抽出される。

抽出処理が終了すると、生成処理部３６により、抽出処理によって抽出された複数の補正用チャート画像に基づいて、同じく抽出処理によって抽出された複数の対象物画像の代表対象物画像を補正する補正パラメータを生成する生成処理が実行される（ステップS5）。生成処理部３６は、本実施形態の場合、図形歪みの補正、階調補正、シェーディング補正および色補正等を行うための補正パラメータを生成する。

続いて、補正処理部３８により、生成処理によって生成された補正パラメータを用いて、代表対象物画像を補正する補正処理が実行される（ステップS6）。補正処理部３８は、本実施形態の場合、図形歪みの補正、階調補正、シェーディング補正および色補正等を行うための補正パラメータに基づいて、図形歪みの補正、階調補正、シェーディング補正および色補正等を行う。

補正用チャート１８および対象物１６を撮影して、その動画像を取得するため、動画像に含まれる複数のフレーム画像の中から、撮影状態が良好で、かつ、撮影状態が近い補正用チャート画像および対象物画像を抽出し、補正用チャート画像に基づいて対象物画像の画像補正を行うことができる。そのため、ユーザが、任意の撮影環境において対象物１６を撮影した場合であっても、より簡易に、かつ、より高品質に対象物１６を画像補正して画像化することができる。

対象物１６が測定用シートである場合、測定用シートは、時間の経過に伴って、その色の濃度等の分布が変わるため、その使用現場において、測定用シートを簡易に撮影して画像化したいという要望がある。この場合、測定用シートが画像化された後に、画像化後のデジタルデータを用いて、測定用シートに加えられた外部エネルギーの分布および大きさ等の解析を行うことができる。

次に、図形歪みの補正、階調補正、シェーディング補正および色補正等の補正処理について説明する。

（図形歪みの補正）
動画像に含まれるフレーム画像には、レンズの収差による図形歪み、および、撮影時のアオリによる図形歪み等が含まれている。

レンズの収差による図形歪みを補正する場合、まず、複数の補正用チャート画像に基づいて、レンズの収差による図形歪みを補正するレンズ収差補正パラメータを生成する。

レンズ収差補正パラメータは、特に限定されないが、例えば図４に示す白黒の格子パターン１８ａを用いて、公知のZhangの手法（Zhengyou Zhang, "A Flexible New Technique for Camera Calibration", Microsoft Research Technical Report, MSR-TR-98-71, December 2, 1998.）によって生成することができる。白黒の格子パターンの補正用チャート１８を用いて補正することにより、正反射光の影響がほとんど無い状態において、レンズの収差による図形歪みの補正を行うことができる。

続いて、レンズ収差補正パラメータを用いて、複数の補正用チャート画像の各々、および、複数の対象物画像の各々について、レンズの収差による図形歪みを補正する。

撮影時のアオリによる図形歪みを補正する場合、レンズの収差による図形歪みの補正後の複数の補正用チャート画像のうちの代表となる代表補正用チャート画像上の複数の基準点に基づいて、例えば図４に示す白黒の格子パターン１８ａの４つ以上の交点に基づいて、さらに言えば、格子パターン１８ａの少なくとも１つの矩形状の図形の４つの頂点に基づいて、撮影時のアオリによる図形歪みを補正するアオリ補正パラメータを生成する。

なお、代表補正用チャート画像の決定方法は、特に限定されないが、例えばレンズの収差による図形歪みの補正後の複数の補正用チャート画像の中から、撮影状態が最もよい、言い換えると、スコアが最も高い１つの補正用チャート画像を代表補正用チャート画像として選択してもよい。

あるいは、レンズの収差による図形歪みの補正後の複数の補正用チャート画像の対応する各画素位置の複数の信号値のうち、閾値以下の信号値の平均値を算出することにより代表補正用チャート画像を作成してもよい。つまり、複数の補正用チャート画像の対応する各画素位置の複数の信号値の平均値が、代表補正用チャート画像の対応する各画素位置の信号値となる。
フレーム画像には、照明からの正反射光による強い光によって閾値を超える信号値が含まれる場合がある。つまり、閾値を用いて、照明からの正反射光による強い光によって影響を受けた信号値を判定する。このような閾値を超える信号値を除外することにより、正反射光の影響がほとんど無い、閾値以下の信号値を用いて代表補正用チャート画像を生成することができる。

続いて、アオリ補正パラメータを用いて、レンズの収差による図形歪みの補正後の複数の対象物画像の各々について、公知のアオリ補正（透視図形補正）を行って、アオリによる図形歪みを補正する。これにより、アオリによる図形歪みの補正後の複数の対象物画像の対応する画素位置を一致させることができる。
なお、基準点は、４点以上あればよく、正方形または長方形を構成する４点の基準点を含むことが好ましい。また、４点の基準点によって構成される領域の大きさは、精度よくアオリ補正を行うために、対象物１６に形成された図形よりも大きい方が好ましい。
対象物画像のアオリ補正に関しては、上記のように、代表補正用チャート画像に基づいて生成されたアオリ補正パラメータを用いて対象物画像のアオリ補正を行ってもよいし、あるいは、対象物画像に基づいて生成されたアオリ補正パラメータを用いて対象物画像のアオリ補正を行ってもよい。対象物画像に基づくアオリ補正パラメータは、対象物画像内において、一部が写り込んでいる補正用チャートに基づいて生成することができる。

続いて、代表補正用チャート画像を決定する場合と同様に、アオリによる図形歪みの補正後の複数の対象物画像の代表対象物画像を決定する。

同様に、アオリによる図形歪みの補正後の複数の対象物画像の中から、例えば撮影状態が最もよい、言い換えると、スコアが最も高い１つの対象物画像を代表対象物画像として選択してもよい。

あるいは、アオリによる図形歪みの補正後の複数の対象物画像の対応する各画素位置の複数の信号値のうち、閾値以下の信号値の平均値を算出することにより代表対象物画像を作成してもよい。つまり、複数の対象物画像の対応する各画素位置の複数の信号値の平均値が、代表対象物画像の対応する各画素位置の信号値となる。
同様に、閾値を超える信号値を除外することにより、正反射光の影響がほとんど無い、閾値以下の信号値を用いて代表対象物画像を生成することができる。

このように、図形歪みの補正によって、図形歪みの補正後の代表補正用チャート画像および代表対象物画像が得られる。

（階調補正）
階調補正を行う場合、まず、代表補正用チャート画像から、例えば図５に示す無彩色パターン１８ｂに含まれている複数の無彩色パッチに対応する複数の無彩色パッチ画像を抽出して、複数の無彩色パッチ画像の各々について、空間的に離れて配置された同じ濃度の複数の濃度パッチの位置に対応する複数の濃度パッチ画像の位置の信号値を取得する。

続いて、複数の無彩色パッチ画像の各々について、同じ濃度の複数の濃度パッチの位置に対応する複数の濃度パッチ画像の位置の信号値に基づいて、代表補正用チャート画像の大きさの補間画像の各画素位置の信号値を補間によって算出する。これにより、複数の無彩色パッチ画像に対応する複数の補間画像が作成される。

続いて、複数の補間画像の各々について、全画素位置の信号値の平均値である空間平均値を算出する。

続いて、予め取得された複数の無彩色パッチの反射率（目標値）と複数の補間画像の空間平均値（実測値）との差がなくなるように、言い換えると、濃度の階調がリニアになるように、階調補正を行う階調補正パラメータを生成する。
無彩色パッチの反射率とは、撮像系（撮像素子）によって、ある濃度の無彩色パッチを撮影した場合に、無彩色パッチの濃度に感度を有する波長範囲の分光反射率である。無彩色パッチの反射率の取得方法は、特に限定されないが、例えば撮像系によって無彩色パッチを撮影し、無彩色パッチの濃度に対応する反射率（信号値）を計測することにより取得することができる。なお、階調補正に高精度が要求されない場合には、無彩色パッチの作成時の目標値（設定値）を使用してもよい。

そして、階調補正パラメータを用いて、複数の補間画像、代表補正用チャート画像および代表対象物画像の階調補正を行う。

（シェーディング補正）
シェーディング補正を行う場合、まず、階調補正後の複数の補間画像に基づいて、シェーディング補正の前後において、階調補正後の複数の補間画像の空間平均値が変わらず、かつ、シェーディング補正後において、階調補正後の複数の補間画像の代表補間画像の２次元的な信号値の分布が平坦になるように補正する２次元的なシェーディング補正パラメータを作成する。

なお、代表補間画像の決定方法は、特に限定されないが、例えば階調補正後の複数の補間画像の中から１つの補間画像を代表補間画像として選択してもよい。あるいは、階調補正後の複数の補間画像の対応する各画素位置の複数の信号値のうち、閾値以下の信号値の平均値を算出することにより代表補間画像を作成してもよい。つまり、複数の補間画像の対応する各画素位置の複数の信号値の平均値が、代表補間画像の対応する各画素位置の信号値となる。

そして、シェーディング補正パラメータを用いて、代表補正用チャート画像および代表対象物画像のシェーディング補正を行う。

シェーディング補正を行う画像の各画素位置を（ｘ、ｙ）、シェーディング補正前の画像の各画素位置の信号値をＡ（ｘ、ｙ）、シェーディング補正後の画像の各画素位置の信号値をＢ（ｘ、ｙ）、シェーディング補正を行う画像の各画素位置における２次元的なシェーディング補正パラメータをＳ（ｘ、ｙ）とすると、シェーディング補正後の画像の各画素位置の信号値は、下記式によって算出される。
Ｂ（ｘ、ｙ）＝Ｓ（ｘ、ｙ）×Ａ（ｘ、ｙ）
シェーディング補正用の補正用チャート１８として、濃度が異なる複数の無彩色パッチが含まれている場合、つまり、複数の濃度に対応する、複数の２次元的なシェーディング補正パラメータがある場合、複数の濃度の各々に対応するシェーディング補正パラメータをＳ１（ｘ、ｙ）、Ｓ２（ｘ、ｙ）、…ＳＮ（ｘ、ｙ）、複数の濃度の各々を、階調がリニアになるように階調補正した画像の信号値をＣ１、Ｃ２、…、ＣＮ（Ｃ１＞Ｃ２＞…＞ＣＮ）とすると、シェーディング補正後の画像の各画素位置の信号値は、下記式によって算出される。
Ａ（ｘ、ｙ）＞Ｃ１の場合、
Ｂ（ｘ、ｙ）＝Ｓ１（ｘ、ｙ）×Ｂ（ｘ、ｙ）
Ｃ１≧Ａ（ｘ、ｙ）＞Ｃ２の場合、
Ｂ（ｘ、ｙ）＝（α×Ｓ１（ｘ、ｙ）＋β×Ｓ２（ｘ、ｙ））×Ａ（ｘ、ｙ）
ここで、α＝（Ａ（ｘ、ｙ）－Ｓ２（ｘ、ｙ））／（Ｓ１（ｘ、ｙ）－Ｓ２（ｘ、ｙ））、β＝１．０－α
Ａ（ｘ、ｙ）＞Ｃ３以降の場合も同様である。
ＣＮ≧Ａ（ｘ、ｙ）の場合、
Ｂ（ｘ、ｙ）＝ＳＮ（ｘ、ｙ）×Ａ（ｘ、ｙ）
なお、各画素がＲＧＢからなるカラー画像の場合、ＲＧＢのチャネル毎に、上記のシェーディング補正を行う。

（色補正）
色補正を行う場合、まず、代表補正用チャート画像から、例えば図６に示す有彩色パターン１８ｃに含まれる複数の有彩色パッチに対応する複数の有彩色パッチ画像を抽出して、複数の有彩色パッチ画像の各々の信号値を取得する。

続いて、予め取得された複数の有彩色パッチの各々の信号値（目標値）と、対応する複数の有彩色パッチ画像の各々の信号値（実測値）との差がなくなるように、言い換えると、各々の有彩色パッチの信号値と、対応する各々の有彩色パッチ画像の信号値とが同じになるように色補正を行う色補正パラメータを生成する。
有彩色パッチの信号値の取得方法は、特に限定されないが、無彩色パッチの場合と同様に、有彩色パッチの測定等によって取得することができる。なお、色補正に高精度が要求されない場合には、有彩色パッチの作成時の目標値（設定値）を使用してもよい。
色補正パラメータの生成方法は、特に限定されないが、例えば公知の３行３列のマトリクス処理により、ＲＧＢからなる有彩色パッチの信号値（目標値）と、同じくＲＧＢからなる有彩色パッチ画像の信号値（実測値）との関係を、３行３列の行列計算によって変換して求めることができる。また、変換行列も公知の技術、例えば最小二乗法等により求めることができる。

そして、色補正パラメータを用いて、シェーディング補正後の代表対象物画像の色補正を行う。

なお、ユーザがスマートフォン等の撮影装置１４を手に持って、補正用チャート１８および対象物１６を撮影する場合に限らず、図１１に示すように、撮影補助具４４を使用して撮影してもよい。つまり、図１１に示す画像補正装置は、図１に示す画像補正装置において、さらに、撮影補助具４４を備えている。撮影補助具４４は、設置台４６と、補助照明４８と、を備えている。

設置台４６は、撮影時に撮影装置１４を設置する台である。撮影時に撮影装置１４を設置台４６に設置することにより、撮影装置１４を固定できるため、撮影時のアオリによる図形歪み、および、手ブレによる画像のブレ等を軽減することができる。
補助照明４８は、撮影時に補正用チャート１８および対象物１６等を照明する。撮影時に補助照明４８によって照明することにより、撮影時の照明のムラを軽減することができる。
撮影補助具４４を用いて補正用チャートおよび対象物１６を撮影することにより、動画像に含まれる補正用チャート画像および対象物画像に含まれる図形歪みおよび照明のムラ等を低減することができるため、画像補正後の対象物画像の画質を向上させることができる。

本発明は、例えばスマートフォン等の撮影装置において動作するアプリケーションプログラムとして実現することができる。また、画像補正装置は、撮影装置のアプリケーションプログラムと連携して動作するサーバを備えていてもよい。この場合、クライアントとなる撮影装置は、第１取得処理、第２取得処理および表示処理等を実行する。サーバは、撮影装置から動画像を受信し、判別処理、抽出処理、生成処理および補正処理の少なくとも１つを実行して、処理の結果を撮影装置に送信する。撮影装置は、サーバから受信した処理の結果に応じて、これに続く処理を実行することができる。

プロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理をさせるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

１つの処理部を、これら各種のプロセッサのうちの１つで構成してもよいし、同種または異種の２つ以上のプロセッサの組み合わせ、例えば、複数のＦＰＧＡの組み合わせ、または、ＦＰＧＡおよびＣＰＵの組み合わせ等によって構成してもよい。また、複数の処理部を、各種のプロセッサのうちの１つで構成してもよいし、複数の処理部のうちの２以上をまとめて１つのプロセッサを用いて構成してもよい。

例えば、サーバおよびクライアント等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。また、システムオンチップ（System on Chip：ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。

さらに、これらの各種のプロセッサのハードウェア的な構成は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（Circuitry）である。

また、本発明の方法は、例えば、その各々のステップをコンピュータ（プロセッサ）に実行させるためのプログラムにより実施することができる。また、このプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供することもできる。

以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。

１０ 画像補正装置
１２ 原稿台
１４ 撮影装置
１６ 対象物
１８ 補正用チャート
２０ 撮影部
２２ 表示部
２４ 操作部
２６ 記憶部
２８ プロセッサ
３０ 取得処理部
３２ 判別処理部
３４ 抽出処理部
３６ 生成処理部
３８ 補正処理部
４０ 表示処理部
４２ 内部バス
４４ 撮影補助具
４６ 設置台
４８ 補助照明

Claims (14)

1. 撮影装置によって、補正用チャートが撮影された動画像を取得する第１取得工程と、
   前記撮影装置によって、前記補正用チャートが撮影される前後の少なくとも一方において、シート状の対象物が撮影された前記動画像を連続的に取得する第２取得工程と、
   前記動画像に含まれる複数のフレーム画像の中から、前記補正用チャートが写っている複数の補正用チャート画像および前記対象物が写っている複数の対象物画像を抽出する抽出工程と、
   前記複数の補正用チャート画像に基づいて、前記複数の対象物画像の代表対象物画像を補正する補正パラメータを生成する生成工程と、
   前記補正パラメータを用いて、前記代表対象物画像を補正する補正工程と、を含む、画像補正方法。
2. 前記動画像に含まれる複数のフレーム画像のうち、隣接するフレーム画像間の相関に基づいて、前記複数のフレーム画像の各々が、前記対象物画像なのか、あるいは前記補正用チャート画像なのかを判別する判別工程を含み、
   前記判別工程の判別結果に基づいて、前記動画像に含まれる複数のフレーム画像から、前記複数の対象物画像および前記複数の補正用チャート画像を抽出する、請求項１に記載の画像補正方法。
3. 前記複数の補正用チャート画像に基づいて、前記撮影装置のレンズの収差による図形歪みを補正するレンズ収差補正パラメータを生成し、
   前記レンズ収差補正パラメータを用いて、前記複数の補正用チャート画像の各々、および、前記複数の対象物画像の各々について、前記レンズの収差による図形歪みを補正する、請求項１または２に記載の画像補正方法。
4. 前記レンズの収差による図形歪みの補正後の前記複数の補正用チャート画像の代表補正用チャート画像上の複数の基準点に基づいて、撮影時のアオリによる図形歪みを補正するアオリ補正パラメータを生成し、
   前記アオリ補正パラメータを用いて、前記レンズの収差による図形歪みの補正後の前記複数の対象物画像の各々について、前記アオリによる図形歪みを補正する、請求項３に記載の画像補正方法。
5. 前記補正用チャートは、濃度が異なる複数の無彩色パッチを含み、かつ、前記複数の無彩色パッチの各々について、同じ濃度の複数の濃度パッチが空間的に離散して配置されており、
   前記代表補正用チャート画像から、前記複数の無彩色パッチに対応する複数の無彩色パッチ画像を抽出して、前記複数の無彩色パッチ画像の各々について、前記同じ濃度の複数の濃度パッチの位置に対応する複数の濃度パッチ画像の位置の信号値を取得し、
   前記複数の無彩色パッチ画像の各々について、前記同じ濃度の複数の濃度パッチの位置に対応する前記複数の濃度パッチ画像の位置の信号値に基づいて、前記代表補正用チャート画像の大きさの補間画像の各画素位置の信号値を補間によって算出することにより、前記複数の無彩色パッチ画像に対応する複数の前記補間画像を作成し、
   前記複数の補間画像の各々について、全画素位置の信号値の平均値である空間平均値を算出し、
   予め取得された前記複数の無彩色パッチの反射率と前記複数の補間画像の空間平均値との差がなくなるように階調補正を行う階調補正パラメータを生成し、
   前記階調補正パラメータを用いて、前記複数の補間画像、前記代表補正用チャート画像、および前記アオリによる図形歪みの補正後の前記複数の対象物画像の前記代表対象物画像の階調補正を行う、請求項４に記載の画像補正方法。
6. 階調補正後の前記複数の補間画像に基づいて、シェーディング補正の前後において、階調補正後の前記複数の補間画像の空間平均値が変わらず、かつ、前記シェーディング補正後において、階調補正後の前記複数の補間画像の代表補間画像の２次元的な信号値の分布が平坦になるように補正する２次元的なシェーディング補正パラメータを作成し、
   前記シェーディング補正パラメータを用いて、前記代表補正用チャート画像および前記代表対象物画像のシェーディング補正を行う、請求項５に記載の画像補正方法。
7. 前記補正用チャートは、色が異なる複数の有彩色パッチを含み、
   前記代表補正用チャート画像から、前記複数の有彩色パッチに対応する複数の有彩色パッチ画像を抽出して、前記複数の有彩色パッチ画像の各々の信号値を取得し、
   予め取得された前記複数の有彩色パッチの各々の信号値と、対応する前記複数の有彩色パッチ画像の各々の信号値との差がなくなるように色補正を行う色補正パラメータを生成し、
   前記色補正パラメータを用いて、前記シェーディング補正後の前記代表対象物画像の色補正を行う、請求項６に記載の画像補正方法。
8. 前記動画像に含まれる複数のフレーム画像のうち、撮影状態が最もよい側のフレーム画像から、前記複数の対象物画像を抽出する、請求項１ないし７のいずれか一項に記載の画像補正方法。
9. 前記動画像に含まれる複数のフレーム画像のうち、前記撮影状態が前記複数の対象物画像に最も近い側のフレーム画像から、前記複数の補正用チャート画像を抽出する、請求項８に記載の画像補正方法。
10. 前記補正用チャートの上に配置された前記対象物の動画像を撮影する、請求項１ないし９のいずれか一項に記載の画像補正方法。
11. 前記対象物は、外部エネルギーが加えられることにより、前記外部エネルギーに対応する濃度に発色する測定用シートである、請求項１ないし１０のいずれか一項に記載の画像補正方法。
12. プロセッサを備え、前記プロセッサが、
    撮影装置によって、補正用チャートが撮影された動画像を取得し、
    前記撮影装置によって、前記補正用チャートが撮影される前後の少なくとも一方において、シート状の対象物が撮影された前記動画像を連続的に取得し、
    前記動画像に含まれる複数のフレーム画像の中から、前記補正用チャートが写っている複数の補正用チャート画像および前記対象物が写っている複数の対象物画像を抽出し、
    前記複数の補正用チャート画像に基づいて、前記複数の対象物画像の代表対象物画像を補正する補正パラメータを生成し、
    前記補正パラメータを用いて、前記代表対象物画像を補正する、画像補正装置。
13. 請求項１ないし１１のいずれか一項に記載の画像補正方法の各々の工程をコンピュータに実行させるためのプログラム。
14. 請求項１ないし１１のいずれか一項に記載の画像補正方法の各々の工程をコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。