JP6487938B2 - 画像処理装置、撮像装置、顕微鏡システム、画像処理方法及び画像処理プログラム - Google Patents

Description

本発明は、被写体を撮像することにより取得した画像に対して画像処理を施す画像処理装置、撮像装置、顕微鏡システム、画像処理方法、及び画像処理プログラムに関する。

近年、顕微鏡においてスライドガラス上に載置された標本を写した画像を電子データとして記録し、この画像をモニタに表示してユーザが観察できるようにした顕微鏡システムが知られている。このような顕微鏡システムにおいては、顕微鏡により拡大された標本の一部の画像を順次貼り合わせることにより、標本全体が写った高解像度の画像を構築するバーチャルスライド技術が用いられている。即ち、バーチャルスライド技術とは、同一被写体に対して異なる視野の画像を複数枚取得し、これらの画像をつなぎ合わせることで、被写体に対する視野を拡大した画像を生成する技術である。複数枚の画像をつなぎ合わせた合成画像はバーチャルスライド画像と呼ばれる。

ところで、顕微鏡は、標本を照明する光源及び標本の像を拡大する光学系を備える。また、光学系の後段には、拡大された標本の像を電子的なデータに変換する撮像素子が設けられる。このため、光源の照度ムラや光学系の不均一性、さらには、撮像素子の画素ごとの特性のばらつき等に起因して、取得した画像に明度ムラが発生するという問題がある。この明度ムラはシェーディングと呼ばれ、通常、光学系の光軸の位置に対応する画像の中心から遠ざかるに従って暗くなるように変化する。そのため、複数の画像を貼り合わせてバーチャルスライド画像を作成する場合、画像のつなぎ目に不自然な境界が生じてしまう。また、複数の画像を貼り合わせることによりシェーディングが繰り返されるため、あたかも標本に周期的な模様が存在しているかのように見えてしまう。

このような問題に対し、特許文献１には、試料の所定視野範囲の画像である基準視野画像を撮像すると共に、試料の位置を光学系に対して相対的に移動させ、所定視野範囲内の所定領域を含み、所定視野範囲と互いに異なる周辺視野範囲の画像である複数の周辺視野画像を撮像し、基準視野画像と周辺視野画像とに基づいて基準視野画像の各画素の補正ゲインを算出し、シェーディング補正を行う技術が開示されている。

また、特許文献２には、撮像光学系の一視野に対応する領域であるイメージサークルに形成された像を、撮像光学系に対して撮像素子を相対的にシフトさせつつ記録することにより、イメージサークルよりも小さな面積の複数の画像を取得し、各画像のシフト情報を用いて各画像の位置決めを行ってこれらの画像の合成画像を取得する技術が開示されている。

特開２０１３−２５７４２２号公報 特開２０１１−１２４８３７号公報

ところで、従来、バーチャルスライド画像を作成する際には、被写体が載置された顕微鏡のステージの移動と撮像とを交互に繰り返すことにより、視野が異なる複数の画像を取得し、各画像に対してシェーディング補正を施した上で画像同士の貼り合わせを行っている。そのため、貼り合わせ処理におけるスループットを上げることが困難という問題がある。

また、シェーディング補正に失敗した場合には、再度撮像を行う、或いは別途保存しておいたオリジナルの画像を読み込むなどして画像を取得し、貼り合わせ及びシェーディング補正を再度実行する必要がある。即ち、シェーディング補正のみを後でやり直すといったことができず、シェーディング補正の自由度が低いという問題もある。

さらに、ユーザの中には、自動で画像が編集・加工されることを望まずシェーディング補正がなされたバーチャルスライド画像と、シェーディング補正がなされていないバーチャルスライド画像とを比較観察したいという要望もある。しかし、そのためには、シェーディング補正後のバーチャルスライド画像とは別に、シェーディング補正前のオリジナルの画像を保存しておく必要があり、多くのメモリ容量を要するという問題がある。

これらの問題を解決するため、貼り合わせ処理後のバーチャルスライド画像に対してシェーディング補正を行うことも考えらえる。しかしながら、上述したように、バーチャルスライド画像を作成する際には被写体に対して視野を移動させて撮像を行うため、異なる画像間では、共通の被写体が写った領域（共通領域）におけるシェーディング成分が異なる。そのため、共通領域を重ね合わせることにより画像同士を貼り合わせた場合、重ね合わせた領域におけるシェーディング成分は、もとの共通領域におけるシェーディング成分から変化してしまう。

本発明は、上記に鑑みてなされたものであり、シェーディング補正がなされた合成画像を短時間に生成することができると共に、従来よりも自由度の高いシェーディング補正を行うことができ、且つ、多くのメモリ容量を要することなく、シェーディング補正前の合成画像とシェーディング補正後の合成画像との両方を生成可能な画像処理装置、撮像装置、顕微鏡システム、画像処理方法及び画像処理プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、視野が互いに異なる複数の画像であって、各画像が少なくとも１つの他の画像との間で共通の被写体が写った領域である共通領域を有する複数の画像を取得する画像取得部と、前記複数の画像間の位置関係を取得する位置関係取得部と、前記位置関係に基づいて前記複数の画像を貼り合わせることにより、合成画像を生成する画像合成部と、前記各画像におけるシェーディング成分を取得するシェーディング成分取得部と、前記シェーディング成分と前記位置関係とに基づいて、前記合成画像のシェーディング補正に用いる補正ゲインを算出する補正ゲイン算出部と、前記補正ゲインを用いて前記合成画像をシェーディング補正する画像補正部と、を備えることを特徴とする。

上記画像処理装置において、前記画像合成部は、隣り合う画像間の前記共通領域における輝度同士をブレンド係数を用いて重み付け加算することにより、該共通領域に対応する前記合成画像内の領域における輝度を算出し、前記補正ゲイン算出部は、前記ブレンド係数を用いて、前記合成画像内の前記領域に適用される補正ゲインを算出する、ことを特徴とする。

上記画像処理装置は、前記合成画像を表示する表示部と、外部からなされる操作に応じて指示信号を入力する操作入力部と、をさらに備え、前記表示部は、前記指示信号に応じて、シェーディング補正済みの前記合成画像と、シェーディング補正前の前記合成画像とを切り替えて表示する、ことを特徴とする。

上記画像処理装置において、前記シェーディング成分取得部は、前記複数の画像のうち、互いに共通領域を有する少なくとも２枚の画像から前記シェーディング成分を算出する、ことを特徴とする。

上記画像処理装置において、前記シェーディング成分取得部は、第１の方向において互いに共通領域を有する第１のペアの画像における前記共通領域の輝度を用いて、前記第１の方向におけるシェーディング成分の特性を算出する第１のシェーディング成分算出部と、前記第１の方向と異なる第２の方向において互いに共通領域を有する第２のペアの画像における前記共通領域の輝度を用いて、前記第２の方向におけるシェーディング成分の特性を算出する第２のシェーディング成分算出部と、前記第１及び第２の方向におけるシェーディング成分の特性を用いて、前記各画像におけるシェーディング成分を算出する第３のシェーディング成分算出部と、を備えることを特徴とする。

上記画像処理装置において、前記シェーディング成分取得部は、前記少なくとも２枚の画像から前記共通領域における輝度の比を算出し、該輝度の比を用いて前記各画像におけるシェーディング成分を推定する、ことを特徴とする。

上記画像処理装置において、前記シェーディング成分取得部は、第１の画像の中心領域における輝度と、前記中心領域に対する共通領域を有する第２の画像の当該共通領域における輝度とを用いて、前記シェーディング成分を算出する、ことを特徴とする。

本発明に係る撮像装置は、前記画像処理装置と、前記被写体を撮像して画像信号を出力する撮像部と、を備えることを特徴とする。

本発明に係る顕微鏡システムは、前記画像処理装置と、前記被写体を撮像して画像信号を出力する撮像部と、前記被写体が載置されるステージと、前記撮像部と前記ステージとの少なくともいずれか一方を他方に対して相対的に移動させる駆動手段と、を備えることを特徴とする。

本発明に係る画像処理方法は、視野が互いに異なる複数の画像であって、各画像が少なくとも１つの他の画像との間で共通の被写体が写った領域である共通領域を有する複数の画像を取得する画像取得ステップと、前記複数の画像間の位置関係を取得する位置関係取得ステップと、前記位置関係に基づいて前記複数の画像を貼り合わせることにより、合成画像を生成する画像合成ステップと、前記各画像におけるシェーディング成分を取得するシェーディング成分取得ステップと、前記シェーディング成分と前記位置関係とに基づいて、前記合成画像のシェーディング補正に用いる補正ゲインを算出する補正ゲイン算出ステップと、前記補正ゲインを用いて前記合成画像をシェーディング補正する画像補正ステップと、を含むことを特徴とする。

本発明に係る画像処理プログラムは、視野が互いに異なる複数の画像であって、各画像が少なくとも１つの他の画像との間で共通の被写体が写った領域である共通領域を有する複数の画像を取得する画像取得ステップと、前記複数の画像間の位置関係を取得する位置関係取得ステップと、前記位置関係に基づいて前記複数の画像を貼り合わせることにより、合成画像を生成する画像合成ステップと、前記各画像におけるシェーディング成分を取得するシェーディング成分取得ステップと、前記シェーディング成分と前記位置関係とに基づいて、前記合成画像のシェーディング補正に用いる補正ゲインを算出する補正ゲイン算出ステップと、前記補正ゲインを用いて前記合成画像をシェーディング補正する画像補正ステップと、をコンピュータに実行させることを特徴とする。

本発明によれば、視野が互いに異なる複数の画像を、画像間の位置関係をもとに貼り合わせることにより合成画像を生成すると共に、上記位置関係をもとに合成画像のシェーディング補正に用いる補正ゲインを算出し、この補正ゲインを用いて上記合成画像をシェーディング補正するので、個々の画像に対するシェーディング補正に要する時間を省略することができ、貼り合わせ処理におけるスループットを向上することが可能になる。また、本発明によれば、合成画像を生成した後でシェーディング補正のみをやり直すといった、従来よりも自由度の高いシェーディング補正を行うことができる。さらに、本発明によれば、合成画像のシェーディング補正に用いる補正ゲインを作成するので、シェーディング補正前の個々の画像を用いることなく、シェーディング補正前の合成画像とシェーディング補正後の合成画像とを適宜生成することができる。従って、シェーディング補正前の個々の画像を保存する必要がなくなり、メモリ容量を節約することが可能となる。

図１は、本発明の実施の形態１に係る画像処理装置の構成例を示すブロック図である。 図２は、図１に示す画像取得部の動作を説明するための模式図である。 図３は、図１に示す画像処理装置の動作を示すフローチャートである。 図４は、図１に示す画像処理装置の動作を説明するための模式図である。 図５は、画像の貼り合わせ処理を説明するための模式図である。 図６は、図４に示す被写体を順次撮像することにより取得した複数の画像を示す模式図である。 図７は、図６に示す複数の画像を貼り合わせることにより生成した合成画像を示す模式図である。 図８は、各画像におけるシェーディング成分の例を示す模式図である。 図９は、合成画像におけるシェーディング成分の算出方法を説明するための模式図である。 図１０は、合成画像におけるシェーディング成分の算出方法を説明するための模式図である。 図１１は、合成画像におけるシェーディング成分を示す模式図である。 図１２は、合成画像に適用される補正ゲインを示す模式図である。 図１３は、合成画像のシェーディング補正を説明するための模式図である。 図１４は、本発明の実施の形態２に係る画像処理装置が備えるシェーディング成分取得部の構成を示すブロック図である。 図１５は、各画像におけるシェーディング成分の取得方法を説明するための模式図である。 図１６は、各画像におけるシェーディング成分の取得に使用される画像の撮像方法を説明するための模式図である。 図１７は、水平方向シェーディング成分を示す模式図である。 図１８は、垂直方向シェーディング成分を示す模式図である。 図１９は、各画像におけるシェーディング成分を示す模式図である。 図２０は、非正規化シェーディング成分しか得られていないブロックにおけるシェーディング成分の算出方法を説明するための模式図である。 図２１は、非正規化シェーディング成分しか得られていないブロックにおけるシェーディング成分の別の算出方法を説明するための模式図である。 図２２は、実施の形態２に係る画像処理装置の動作を示すフローチャートである。 図２３は、本発明の実施の形態３におけるシェーディング成分の取得方法を説明するための模式図である。 図２４は、本発明の実施の形態３におけるシェーディング成分の取得方法を説明するための模式図である。 図２５は、本発明の実施の形態４に係る顕微鏡システムの構成例を示す模式図である。 図２６は、図２５に示す表示装置に表示される画面の例を示す模式図である。

以下、本発明に係る画像処理装置、撮像装置、顕微鏡システム、画像処理方法及び画像処理プログラムの実施の形態について、図面を参照しながら詳細に説明する。なお、これらの実施の形態により本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を附して示している。

（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置の構成例を示すブロック図である。図１に示すように、実施の形態１に係る画像処理装置１は、観察対象が写った画像を取得する画像取得部１１と、該画像に画像処理を施す画像処理部１２と、記憶部１３とを備える。

画像取得部１１は、視野が互いに異なる複数の画像であって、各画像が少なくとも１つの他の画像との間で共通の被写体が写った領域である共通領域を有する複数の画像を取得する。画像取得部１１は、このような複数の画像を撮像装置から直接取得しても良いし、ネットワークや記憶装置等を介して取得しても良い。実施の形態１において、画像取得部１１は、撮像装置から画像を直接取得するものとする。撮像装置の種類は特に限定されず、例えば、撮像機能を備えた顕微鏡装置であっても良いし、デジタルカメラであっても良い。

図２は、画像取得部１１の動作を説明するための模式図であり、撮像装置が備える撮像光学系１４と、被写体ＳＰが載置されたステージ１５と、撮像光学系１４の視野Ｖとを示している。なお、図２においては、ステージ１５の載置面をＸＹ平面とし、撮像光学系１４の光軸をＺ方向としている。撮像光学系１４とステージ１５との少なくとも一方には、ＸＹ平面内における位置を変化させる駆動部（図示せず）が設けられている。

画像取得部１１は、撮像装置における撮像動作を制御する撮像制御部１１１と、駆動部の動作を制御することにより、撮像光学系１４とステージ１５との相対位置を変化させる駆動制御部１１２とを備える。

駆動制御部１１２は、撮像光学系１４とステージ１５とのＸＹ平面における相対位置を変化させることにより、被写体ＳＰに対して視野Ｖを順次移動させる。撮像制御部１１１は、駆動制御部１１２による駆動制御と連動して撮像装置に対する撮像制御を実行し、視野Ｖ内の被写体ＳＰが写った画像を撮像装置から取り込む。この際、駆動制御部１１２は、順次移動する視野Ｖが先に撮像された視野Ｖの一部と重なるように、撮像光学系１４又はステージ１５を移動させる。

ここで、撮像光学系１４とステージ１５との相対位置を変化させる際には、撮像光学系１４の位置を固定し、ステージ１５側を移動させても良いし、ステージ１５の位置を固定し、撮像光学系１４側を移動させても良い。或いは、撮像光学系１４とステージ１５との両方を相対的に移動させても良い。また、駆動部に対する制御方法としては、モータ及び該モータの回転量を検出するエンコーダによって駆動部を構成し、エンコーダの出力値を駆動制御部１１２に入力することによりモータの動作をフィードバック制御しても良い。或いは、駆動制御部１１２の制御の下でパルスを発生するパルス発生部とステッピングモータとによって駆動部を構成しても良い。

再び図１を参照すると、画像処理部１２は、画像取得部１１が取得した複数の画像を貼り合わせた合成画像を生成する。詳細には、画像処理部１２は、複数の画像間の位置関係を取得する位置関係取得部１２１と、複数の画像を貼り合わせて合成画像を生成する貼り合わせ処理を行う画像合成部１２２と、撮像光学系１４の視野Ｖに対応する各画像に生じているシェーディング成分を取得するシェーディング成分取得部１２３と、該シェーディング成分と複数の画像間の位置関係とに基づいて、合成画像のシェーディング補正に用いる補正ゲインを算出する補正ゲイン算出部１２４と、該補正ゲインを用いて合成画像をシェーディング補正する画像補正部１２５とを備える。

位置関係取得部１２１は、撮像光学系１４又はステージ１５に設けられた駆動部に対する制御情報を駆動制御部１１２から取得し、この制御情報から画像間の位置関係を取得する。具体的には、位置関係取得部１２１は、各画像を撮像した際の視野の中心座標（又は視野の左上の座標）や、撮像を１回行うごとに視野を移動させる移動量を位置関係として取得しても良い。或いは、連続して取得された画像間における動きベクトルを位置関係として取得しても良い。

画像合成部１２２は、位置関係取得部１２１が取得した位置関係に基づき、画像取得部１１が取得した複数の画像を貼り合わせることにより、合成画像を生成する。

シェーディング成分取得部１２３は、撮像光学系１４によって視野Ｖを撮像することにより画像に生じたシェーディング成分を取得する。実施の形態１において、シェーディング成分取得部１２３は、予め取得されたシェーディング成分を保持しているものとする。このシェーディング成分は、被写体ＳＰの代わりに白板又は標本が固定されていないスライドガラスをステージ１５に載置して撮像を行い、それによって得られた画像から求めることができる。或いは、撮像光学系１４の設計データに基づいてシェーディング成分を予め算出しても良い。

補正ゲイン算出部１２４は、シェーディング成分取得部１２３が取得したシェーディング成分と、位置関係取得部１２１が取得した複数の画像間の位置関係とに基づいて、画像合成部１２２が生成した合成画像に適用される補正ゲインを算出する。

画像補正部１２５は、補正ゲイン算出部１２４が算出した補正ゲインを用いて、合成画像に生じているシェーディングを補正する。

記憶部１３は、更新記録可能なフラッシュメモリ、ＲＡＭ、ＲＯＭといった半導体メモリ等の記憶装置によって構成される。記憶部１３は、画像取得部１１が撮像装置の制御に用いる種々のパラメータや、画像処理部１２により生成された合成画像の画像データや、画像処理部１２において用いられる種々のパラメータ等を記憶する。

上述した画像取得部１１及び画像処理部１２は、専用のハードウェアを用いて実現しても良いし、所定のプログラムをＣＰＵに読み込むことによって実現しても良い。後者の場合、画像取得部１１及び画像処理部１２に所定の処理を実行させるための画像処理プログラムや、これらのプログラムの実行中に使用される各種パラメータや設定情報を記憶部１３に記憶させても良い。或いは、ハードディスク、ＭＯ、ＣＤ−Ｒ、ＤＶＤ−Ｒ等の記録媒体並びに該記録媒体に対して情報の書き込み及び読み取りを行う書込読取装置等を含む記憶装置を、データ通信端子を介して画像処理装置１に接続し、この記憶装置に、上記画像処理プログラムやパラメータを記憶させても良い。

次に、画像処理装置１の動作を、図３〜図１３を参照しながら説明する。図３は、画像処理装置１の動作を示すフローチャートである。なお、上述したように、実施の形態１においては、シェーディング成分取得部１２３が予めシェーディング成分を取得して保持しているものとする。

まず、ステップＳ１０において、画像取得部１１は、被写体の一部が写った画像を取得する。図４は、被写体の撮像方法を説明するための模式図である。以下においては、図４（ａ）に示す被写体ＳＰに対して視野Ｖを移動させながら、複数回に分けて撮像を行うことにより、被写体ＳＰが部分的に写った画像ｍ１、ｍ２、…を順次取得するものとする。なお、被写体ＳＰに対する視野Ｖの移動方向や、被写体ＳＰ内の領域の撮像順序については特に限定されない。ここで、画像取得部１１は、最初にステップＳ１０を実行するときのみ、視野Ｖの一部が重なるように２回撮像を行い、２枚の画像ｍ１、ｍ２を取得する（図４（ｂ）参照）。

続くステップＳ１１において、位置関係取得部１２１は、最新の画像（図４（ｂ）の場合、画像ｍ２）と、先に取得された画像（図４（ｂ）の場合、画像ｍ１）との位置関係を取得する。位置関係は、例えば、被写体ＳＰが載置されたステージの移動量（スケールの値）や、ステージに設けられた駆動部の駆動量や、ステッピングモータのパルス数や、画像ｍ１、ｍ２に対するマッチング処理の結果や、画像ｍ１、ｍ２に写った被写体の動きベクトル、及びこれらの組み合わせから取得することができる。位置関係取得部１２１は、取得した位置関係を表す情報を記憶部１３に記憶させる。

続くステップＳ１２において、画像合成部１２２は、ステップＳ１１において取得された画像間の位置関係をもとに、最新の画像を先に取得された画像に貼り合わせることにより合成画像を生成する。図５は、画像の貼り合わせ処理を説明するための模式図である。

例えば図５（ａ）に示すように、先に取得された画像ｍ１に対して最新の画像ｍ２を貼り合わせる場合、画像合成部１２２は、画像ｍ１と画像ｍ２との間の共通領域ａ１、ａ２を、画像ｍ１と画像ｍ２との間の位置関係に基づいて抽出し、これらの共通領域ａ１、ａ２を重ね合わせて合成する。具体的には、図５（ｂ）に示すように、共通領域ａ１、ａ２を重ね合わせた領域ａ３内の座標（ｘ，ｙ）における画素の輝度Ｉ（ｘ，ｙ）を、共通領域ａ１、ａ２間で位置が対応する画素の輝度Ｉ₁（ｓ，ｔ）、Ｉ₂（ｕ，ｖ）を重み付け加算することにより求める。ここで、輝度Ｉ₁（ｓ，ｔ）は、領域ａ３内の座標（ｘ，ｙ）に対応する画像ｍ１内の座標（ｓ，ｔ）における画素の輝度であり、輝度Ｉ₂（ｕ，ｖ）は、同座標（ｘ，ｙ）に対応する画像ｍ２内の座標（ｕ，ｖ）における画素の輝度である。合成画像内の領域ａ３における輝度Ｉ（ｘ，ｙ）は、次式（１）によって与えられる。

式（１）に示すように、重み係数の和が１となる重み付け加算による合成方法はαブレンドと呼ばれ、式（１）における重み係数αはブレンド係数とも呼ばれる。ブレンド係数αは、予め設定された固定値としても良い。例えばα＝０．５とする場合、輝度Ｉ（ｘ，ｙ）は、輝度Ｉ₁（ｓ，ｔ）と輝度Ｉ₂（ｕ，ｖ）との単純平均となる。また、α＝１又はα＝０とする場合、輝度Ｉ（ｘ，ｙ）として、輝度Ｉ₁（ｓ，ｔ）と輝度Ｉ₂（ｕ，ｖ）とのいずれかが採用される。

また、ブレンド係数αを、ブレンドされる画素の座標に応じて変化させても良い。例えば、水平方向（図の左右方向）における座標ｘが領域ａ３の中心に位置する場合にブレンド係数αを０．５に設定し、座標ｘが画像ｍ１の中心に近づくほどブレンド係数αを１に近づけ、座標ｘが画像ｍ２の中心に近づくほどブレンド係数αを０に近づけることとしても良い。

或いは、ブレンド係数αを、ブレンドされる画素の輝度や、この輝度から算出される値に応じて、適応的に変化させても良い。具体的には、輝度Ｉ₁（ｓ，ｔ）と輝度Ｉ₂（ｕ，ｖ）とのうち、値が大きい方を輝度Ｉ（ｘ，ｙ）として採用するといった方法が挙げられる（即ち、Ｉ₁（ｓ，ｔ）≧Ｉ₂（ｕ，ｖ）の場合α＝１、Ｉ₁（ｓ，ｔ）＜Ｉ₂（ｕ，ｖ）の場合α＝０）。

ステップＳ１３において、画像合成部１２２は、貼り合わせ処理がなされた合成画像の画像データを記憶部１３に記憶させる。この際、貼り合わせ前のオリジナルの画像ｍ１、ｍ２、…は、貼り合わせ処理後に順次消去しても良い。また、画像合成部１２２は、ブレンド係数αを変化させた場合、領域ａ３内の画素ごとに、ブレンド係数αを記憶部１３に併せて記憶させておく。

続くステップＳ１４において、画像処理装置１は、貼り合わせ処理を終了するか否かを判定する。例えば図４（ａ）に示す被写体ＳＰの全領域に対して撮像が行われた場合、画像処理装置１は貼り合わせ処理を終了すると判定し（ステップＳ１４：Ｙｅｓ）、後述するステップＳ１６に移行する。

一方、被写体ＳＰに未だ撮像されていない領域が残っている場合、画像処理装置１は貼り合わせ処理を終了しないと判定し（ステップＳ１４：Ｎｏ）、視野Ｖを移動させる（ステップＳ１５）。この際、駆動制御部１１２は、移動先の視野Ｖが、既に撮像された視野Ｖの一部と重なるように撮像装置の駆動制御を行う。その後、撮像制御部１１１は、撮像装置に移動先の視野Ｖを撮像させることにより画像を取得する（ステップＳ１０）。以降のステップＳ１１〜Ｓ１５は、上述したとおりである。この内、ステップＳ１３においては、新たな合成画像が生成されるごとに、記憶部１３に記憶された合成画像の画像データを更新する。

図６は、被写体ＳＰを順次撮像することにより取得された画像ｍ１〜ｍ９を示す模式図である。また、図７は、画像ｍ１〜ｍ９を貼り合わせることにより生成された合成画像を示す模式図である。上述したステップＳ１０〜Ｓ１５を繰り返し、新たに取得された画像を先に取得された画像に順次貼り合わせることにより、図７に示す合成画像Ｍ１が生成される。図７に示すように、合成画像Ｍ１は、シェーディング補正がなされていない画像ｍ１〜ｍ９を貼り合わせたものなので、全体的に格子状のシェーディングが発生している。

ステップＳ１６において、補正ゲイン算出部１２４は、合成画像Ｍ１に適用される補正ゲインを算出する。詳細には、補正ゲイン算出部１２４は、シェーディング成分取得部１２３から画像ｍ１〜ｍ９の各画像におけるシェーディング成分を取り込むと共に、ステップＳ１１において取得された画像間の位置関係の情報を記憶部１３から取り込む。そして、これらの情報をもとに、合成画像Ｍ１におけるシェーディング成分を算出し、このシェーディング成分から補正ゲインを算出する。

図８は、各画像におけるシェーディング成分の例を示す模式図である。図８に示すシェーディング成分ｓｈ１は、画像の中心部で明度が高く、画像の中心部から離れるほど明度が低くなる特性を示している。

図９及び図１０は、合成画像Ｍ１におけるシェーディング成分の算出方法を説明するための模式図である。例えば、画像ｍ１、ｍ２の共通領域ａ１、ａ２を重ね合わせた領域ａ３（図５参照）におけるシェーディング成分を算出する場合、補正ゲイン算出部１２４は、まず、図９に示すように、シェーディング成分ｓｈ１から、共通領域ａ１、ａ２に対応する領域ａ１’、ａ２’のシェーディング成分を抽出する。そして、図１０に示すように、これらの領域ａ１’、ａ２’が重なり合うようにシェーディング成分ｓｈ１を反復して合成する。領域ａ１’、ａ２’を重ね合わせた領域ａ３’内の座標（ｘ，ｙ）における画素のシェーディング成分Ｓ’（ｘ，ｙ）は、次式（２）に示すように、領域ａ１’、ａ２’間で対応する画素のシェーディング成分Ｓ（ｓ，ｔ）、Ｓ（ｕ，ｖ）をαブレンドすることにより与えられる。

ここで、画像の貼り合わせ処理においてブレンド係数αを変化させた場合には、その際に用いたブレンド係数αを記憶部１３から取得し、貼り合わせ処理の際と同じブレンド係数αを用いてシェーディング成分ｓｈ１の合成を行う。

このようなシェーディング成分ｓｈ１の合成を、画像ｍ１〜ｍ９間の相互の位置関係に基づいて行うことにより、図１１に示すように、合成画像Ｍ１におけるシェーディング成分ＳＨが得られる。

さらに、補正ゲイン算出部１２４は、次式（３）に示すように、シェーディング成分ＳＨの逆数を取ることにより、合成画像Ｍ１のシェーディング補正に用いる補正ゲインＧ（ｘ，ｙ）を算出する。
図１２は、それによって算出された補正ゲインＧを示す模式図である。

続くステップＳ１７において、補正ゲイン算出部１２４は、算出した補正ゲインＧを記憶部１３に記憶させる。

続くステップＳ１８において、画像補正部１２５は、ステップＳ１６において算出した補正ゲインＧを用いて、合成画像Ｍ１のシェーディング補正を行う。図１３は、合成画像Ｍ１のシェーディング補正を説明するための模式図である。

合成画像Ｍ２におけるシェーディング補正後の輝度値であるテクスチャ成分Ｔ（ｘ，ｙ）は、次式（４）により与えられる。
Ｔ（ｘ，ｙ）＝Ｉ（ｘ，ｙ）×Ｇ（ｘ，ｙ） …（４）

ここで、共通領域を重ね合わせた領域（例えば、図５（ｂ）に示す領域ａ３）におけるシェーディングを補正ゲインＧによって補正できる原理を説明する。式（１）に示すように、合成画像における領域ａ３内の画素の輝度Ｉ（ｘ，ｙ）は、画像ｍ１、ｍ２内の共通領域ａ１、ａ２間で対応する画素の輝度Ｉ₁（ｓ，ｔ）、Ｉ₂（ｕ，ｖ）をαブレンドすることにより算出される。

式（１）における輝度Ｉ₁（ｓ，ｔ）は、実際にはテクスチャ成分Ｔ₁（ｓ，ｔ）とシェーディング成分Ｓ（ｓ，ｔ）とによって構成されるため、Ｉ₁（ｓ，ｔ）＝Ｔ₁（ｓ，ｔ）×Ｓ（ｓ，ｔ）と表すことができる。輝度Ｉ₂（ｕ，ｖ）も同様に、テクスチャ成分Ｔ₂（ｕ，ｖ）とシェーディング成分Ｓ（ｕ，ｖ）とを用いて、Ｉ₂（ｕ，ｖ）＝Ｔ₂（ｕ，ｖ）×Ｓ（ｕ，ｖ）と表すことができる。これらを式（１）に代入すると、次式（５）が得られる。

式（５）におけるテクスチャ成分Ｔ₁（ｓ，ｔ）とテクスチャ成分Ｔ₂（ｕ，ｖ）とは、合成画像の領域ａ３におけるテクスチャ成分Ｔ（ｘ，ｙ）と共通であるため、式（５）にＴ₁（ｓ，ｔ）＝Ｔ₂（ｕ，ｖ）＝Ｔ（ｘ，ｙ）を代入して整理すると、次式（６）が得られる。

これより、領域ａ３においても、シェーディング成分が除去されたテクスチャ成分Ｔ（ｘ，ｙ）が得られることがわかる。
その後、画像処理装置１は動作を終了する。

以上説明したように、本発明の実施の形態１によれば、被写体ＳＰを順次撮像して画像ｍ１、ｍ２、…を取得するごとに貼り合わせ処理を行い、最終的に得られた合成画像に対してシェーディング補正を行うので、個々の画像に対するシェーディング補正を省略することができ、貼り合わせ処理におけるスループットを向上することが可能になる。

また、本発明の実施の形態１によれば、合成画像Ｍ１の生成後にシェーディング補正を行うので、シェーディング補正に失敗したときにはシェーディング補正のみをやり直すことができるなど、従来よりも自由度の高いシェーディング補正を行うことが可能になる。

また、本発明の実施の形態１によれば、シェーディング補正前の合成画像Ｍ１と、この合成画像のシェーディング補正に用いる補正ゲインＧとを記憶部１３に記憶させるので、シェーディング補正前の合成画像とシェーディング補正後の合成画像との両方を適宜生成することができる。或いは、記憶部１３のメモリ容量を節約するため、シェーディング補正を行う度に補正ゲインＧの生成及び削除を行ってもよい。

さらに、実施の形態１によれば、オリジナルの画像ｍ１、ｍ２、…を貼り合わせ処理後に消去するので、記憶部１３のメモリ容量を節約することができる。

（実施の形態２）
次に、本発明の実施の形態２について説明する。
図１４は、本発明の実施の形態２に係る画像処理装置が備えるシェーディング成分取得部の構成を示すブロック図である。実施の形態２に係る画像処理装置は、図１に示すシェーディング成分取得部１２３の代わりに、図１４に示すシェーディング成分取得部２００を備える。シェーディング成分取得部２００以外の画像処理装置の各部の構成は、実施の形態１と同様である。

シェーディング成分取得部２００は、画像取得部１１が取得した画像を用いて、視野Ｖ（図２参照）に対応する各画像におけるシェーディング成分を取得する。詳細には、シェーディング成分取得部２００は、シェーディング成分のうち、水平方向（図の左右方向）におけるシェーディング成分の特性を算出する第１シェーディング成分算出部２０１と、垂直方向（図の上下方向）におけるシェーディング成分の特性を算出する第２シェーディング成分算出部２０２と、水平方向及び垂直方向におけるシェーディング成分の特性を用いて、画像全体のシェーディング成分を算出するシェーディング成分算出部（第３のシェーディング成分算出部）２０３とを備える。

以下、シェーディング成分取得部２００によるシェーディング成分の取得方法を詳細に説明する。図１５〜図２１は、実施の形態２におけるシェーディング成分の取得方法を説明するための模式図である。以下においては、図１５に示すように、水平方向（図の左右方向）における長さがｈ、垂直方向（図の上下方向）における長さがｈである１つの画像ｍ内を所定数（例えば５×５＝２５）のブロックに分割した際の各ブロックの位置を（Ｘ，Ｙ）で示す。図１５の場合、（Ｘ，Ｙ）＝（１，１）〜（５，５）である。また、各ブロックの水平方向における長さをΔｗ、垂直方向における長さをΔｈとする。

ここで、図８に示すように、一般に、画像の中心部には、シェーディングがほとんど生じておらず（即ち、シェーディング成分が１．０）、変化もしない領域が存在する。以下、このような領域を平坦領域という。シェーディング成分は、この平坦領域から画像の端部に向け、概ね同心円状に変化する。そこで、実施の形態２においては、図１５に示すように、画像ｍを分割したブロック（１，１）〜（５，５）のうち、中央のブロック（３，３）が平坦領域であるものとみなして、他のブロックのシェーディング成分を算出する。

図１６は、シェーディング成分の取得に使用される画像の撮像方法を説明するための模式図である。図１６に示すように、被写体ＳＰ内のある領域に視野Ｖ（図２参照）を合わせて撮像を行うことにより、画像ｍ₀を取得し、続いて、視野Ｖを水平方向に所定距離（例えば、１ブロック分に相当する長さΔｗ）だけシフトさせて撮像を行うことにより、画像ｍ₁を取得した場合を考える。この場合、画像ｍ₀の列Ｘ＝１と画像ｍ₁の列Ｘ＝２とは共通領域である。視野Ｖを移動させる距離としては、予め決められた距離の他、ユーザがステージ１５（図２参照）を水平方向に任意に移動させた距離としても良い。或いは、ステージ１５を水平方向に移動させながら連続的に取得した画像群の中から選択した１ペアの画像間のシフト量を１ブロック分の長さΔｗとすることも可能である。これらの場合、画像ｍの水平方向の長さｗを画像間のシフト量（長さΔｗ）で除算することにより、水平方向におけるブロックの分割数が決定される。

画像ｍ₀の列Ｘ＝１に含まれる任意の画素の輝度Ｈ₀（Ｘ＝１）は、この任意の画素におけるテクスチャ成分Ｔ₀（Ｘ＝１）とシェーディング成分Ｓｈ（Ｘ＝１）とによって構成される。即ち、Ｈ₀（Ｘ＝１）＝Ｔ₀（Ｘ＝１）×Ｓｈ（Ｘ＝１）である。一方、この任意の画素と共通の被写体が写った画素であって、画像ｍ₁の列Ｘ＝２に含まれる画素の輝度をＨ₁（Ｘ＝２）とすると、輝度Ｈ₁（Ｘ＝２）は、この画素におけるテクスチャ成分Ｔ₁（Ｘ＝２）とシェーディング成分Ｓｈ（Ｘ＝２）とによって構成される。即ち、Ｈ₁（Ｘ＝２）＝Ｔ₂（Ｘ＝２）×Ｓｈ（Ｘ＝２）である。

上述したように、画像ｍ₀の列Ｘ＝１と画像ｍ₁の列Ｘ＝２とは共通領域であるため、テクスチャ成分Ｔ₀（Ｘ＝１）とＴ₁（Ｘ＝２）とは等しい。従って、次式（７−１）が成り立つ。

同様に、画像ｍ₀の列Ｘ＝２と画像ｍ₁の列Ｘ＝３、画像ｍ₀の列Ｘ＝３と画像ｍ₁の列Ｘ＝４、画像ｍ₀の列Ｘ＝４と画像ｍ₁の列Ｘ＝５がそれぞれ共通領域であることを利用すると、列Ｘ＝２、Ｘ＝３、Ｘ＝４にそれぞれ含まれる任意の画素におけるシェーディング成分Ｓｈ（Ｘ＝２）、Ｓｈ（Ｘ＝３）、Ｓｈ（Ｘ＝４）を表す式（７−２）〜（７−４）が得られる。

ここで、平坦領域（３，３）を含む中央の列Ｘ＝３に含まれる画素におけるシェーディング成分Ｓｈ（Ｘ＝３）を基準とし、式（７−１）〜（７−４）にシェーディング成分Ｓｈ（Ｘ＝３）＝１．０を代入して整理すると、各列に含まれる任意の画素におけるシェーディング成分Ｓｈ（Ｘ＝１）〜Ｓｈ（Ｘ＝５）を表す式（８−１）〜（８−５）が得られる。

式（８−２）に示すように、シェーディング成分Ｓｈ（Ｘ＝２）は、輝度Ｈ₀（Ｘ＝２）及びＨ₁（Ｘ＝３）によって与えられる。また、式（８−１）に示すように、シェーディング成分Ｓｈ（Ｘ＝１）は、式（８−２）により算出されたシェーディング成分Ｓｈ（Ｘ＝２）と、輝度Ｈ₀（Ｘ＝１）及びＨ₁（Ｘ＝２）とによって与えられる。また、式（８−４）に示すように、シェーディング成分Ｓｈ（Ｘ＝４）は、輝度Ｈ₀（Ｘ＝３）及びＨ₁（Ｘ＝４）よって与えられる。さらに、式（８−５）に示すように、シェーディング成分Ｓｈ（Ｘ＝５）は、式（８−４）により算出されたシェーディング成分Ｓｈ（Ｘ＝４）と、輝度Ｈ₀（Ｘ＝４）及びＨ₁（Ｘ＝５）とによって与えられる。即ち、式（８−１）〜（８−５）に示すように、各列に含まれる任意の画素におけるシェーディング成分は、画像ｍ₀、ｍ₁内の画素の輝度を用いて算出することができる。

つまり、画像内の一部の領域（例えば列Ｘ＝３）におけるシェーディング成分（Ｓｈ（Ｘ＝３））が既知であれば（平坦領域の場合１．０）、一方の画像（例えば画像ｍ₀）内のシェーディング成分が既知である領域（列Ｘ＝３）内の画素の輝度（Ｈ₀（Ｘ＝３））と、この領域に対して共通の被写体が写った他方の画像（画像ｍ₁）内の領域（Ｘ＝４）における位置が対応する画素の輝度（Ｈ₁（Ｘ＝４））との比（Ｈ₁（Ｘ＝４）／Ｈ₀（Ｘ＝３））、及び、当該既知のシェーディング成分（Ｓｈ（Ｘ＝３））を用いて、未知のシェーディング成分（Ｓｈ（Ｘ＝４））を算出することができる。そして、このような演算を順次繰り返すことにより、画像全体におけるシェーディング成分を取得することができる。

第１シェーディング成分算出部２０１は、このような演算を行うことにより、シェーディング成分Ｓｈ（Ｘ＝１）〜Ｓｈ（Ｘ＝５）（以下、これらをまとめてシェーディング成分Ｓｈとも記す）を取得し、記憶部１３に記憶させる。以下においては、視野を水平方向にシフトさせた画像ｍ₀、ｍ₁から取得されたシェーディング成分Ｓｈを、水平方向シェーディング成分Ｓｈともいう。

なお、第１シェーディング成分算出部２０１は、視野を水平方向にシフトさせた２枚の画像から水平方向シェーディング成分Ｓｈを算出しても良いが、視野を水平方向にシフトさせた複数ペアの画像から、同一の画素位置における複数の水平方向シェーディング成分Ｓｈを算出し、これらの水平方向シェーディング成分Ｓｈを加算平均するなどして、最終的な水平方向シェーディング成分Ｓｈを取得しても良い。それにより、ランダムノイズや、白飛び、黒つぶれといった画像の劣化に起因するシェーディング成分の精度低下を抑制することができる。図１７は、このようにして取得した水平方向シェーディング成分Ｓｈを示す模式図である。図１７においては、基準として利用したシェーディング成分Ｓｈ（Ｘ＝３）のブロックに斜線を附している。

一方、第２シェーディング成分算出部２０２は、視野を垂直方向にシフトさせた画像からシェーディング成分を取得する。即ち、第２シェーディング成分算出部２０２は、被写体ＳＰ内のある領域に視野Ｖを合わせて撮像を行うことにより取得された画像と、視野Ｖを垂直方向に所定距離（例えば、１ブロック分に相当する長さΔｈ、図１５参照）だけシフトさせて撮像を行うことにより取得された画像とを画像取得部１１から取り込む。視野Ｖを移動させる距離としては、水平方向の場合と同様に、ステージ１５（図２参照）を垂直方向に任意に移動させた距離としても良い。或いは、ステージ１５を垂直方向に移動させながら連続的に取得した画像群の中から選択した１ペアの画像間のシフト量を１ブロック分の長さΔｈとしても良い。これらの場合、１ブロック分の長さΔｈから、垂直方向におけるブロックの分割数を後で決めることも可能である。そして、上述した水平方向シェーディング成分Ｓｈの算出方法と同様の演算を行うことにより、各行（Ｙ＝１、Ｙ＝２、Ｙ＝３、Ｙ＝４、Ｙ＝５）に含まれる任意の画素におけるシェーディング成分を求め、記憶部１３に記憶させる。以下においては、視野を垂直方向にシフトさせた２枚の画像から取得されたシェーディング成分を垂直方向シェーディング成分Ｓｖ（Ｙ＝１）〜Ｓｖ（Ｙ＝５）といい、これらをまとめて、垂直方向シェーディング成分Ｓｖとも記す。

なお、垂直方向シェーディング成分を取得する際にも、複数ペアの画像からそれぞれ、同一の画素位置における複数の垂直方向シェーディング成分Ｓｖを算出し、これらの垂直方向シェーディング成分Ｓｖを加算平均するなどして、最終的な垂直方向シェーディング成分Ｓｖを取得しても良い。図１８は、垂直方向シェーディング成分Ｓｖを示す模式図である。図１８においては、基準として利用したシェーディング成分Ｓｖ（Ｙ＝３）のブロックに斜線を附している。

シェーディング成分算出部２０３は、第１シェーディング成分算出部２０１が算出した水平方向シェーディング成分Ｓｈと、第２シェーディング成分算出部２０２が算出した垂直方向シェーディング成分Ｓｖとを用いて、各画像におけるシェーディング成分を算出する。以下においては、水平方向シェーディング成分Ｓｈのうち、ブロック（Ｘ，Ｙ）内の任意の画素におけるシェーディング成分をＳｈ（Ｘ，Ｙ）と記す。また、垂直方向シェーディング成分Ｓｖのうち、ブロック（Ｘ，Ｙ）内の任意の画素におけるシェーディング成分をＳｖ（Ｘ，Ｙ）と記す。

ここで、図１７に示す水平方向シェーディング成分Ｓｈ（Ｘ＝１）、Ｓｈ（Ｘ＝２）、Ｓｈ（Ｘ＝４）、Ｓｈ（Ｘ＝５）のうち、第３行のブロックのシェーディング成分Ｓｈ（１，３）、Ｓｈ（２，３）、Ｓｈ（４，３）、Ｓｈ（５，４）は、平坦領域であるブロック（３，３）のシェーディング成分を基準（１．０）として算出されたものである。そこで、水平方向シェーディング成分Ｓｈのうち、平坦領域（３，３）のシェーディング成分を基準として算出されたブロックのシェーディング成分Ｓｈ（１，３）、Ｓｈ（２，３）、Ｓｈ（４，３）、Ｓｈ（５，４）を、正規化シェーディング成分という。

これに対し、水平方向シェーディング成分Ｓｈ（Ｘ＝１）、Ｓｈ（Ｘ＝２）、Ｓｈ（Ｘ＝４）、Ｓｈ（Ｘ＝５）のうち、第１、２、４、５行のブロックのシェーディング成分は、平坦領域（３，３）以外のブロックのシェーディング成分Ｓｈ（３，１）、Ｓｈ（３，２）、Ｓｈ（３，４）、Ｓｈ（３，５）を基準（１．０）とみなしてそれぞれ算出されたものである。そこで、平坦領域以外のブロックのシェーディング成分を基準として算出されたシェーディング成分（Ｓｈ（１，１）等）を、非正規化シェーディング成分という。

また、図１８に示す垂直方向シェーディング成分Ｓｖ（Ｙ＝１）、Ｓｖ（Ｙ＝２）、Ｓｖ（Ｙ＝４）、Ｓｖ（Ｙ＝５）のうち、第３列のブロックのシェーディング成分Ｓｖ（３，１）、Ｓｖ（３，２）、Ｓｖ（３，４）、Ｓｖ（３，５）は、平坦領域であるブロック（３，３）のシェーディング成分を基準（１．０）として算出されたものである。そこで、垂直方向シェーディング成分Ｓｖのうち、平坦領域（３，３）のシェーディング成分を基準として算出されたブロックのシェーディング成分Ｓｖ（３，１）、Ｓｖ（３，２）、Ｓｖ（３，４）、Ｓｖ（３，５）を、正規化シェーディング成分という。

これに対し、垂直方向シェーディング成分Ｓｖ（Ｙ＝１）、Ｓｖ（Ｙ＝２）、Ｓｖ（Ｙ＝４）、Ｓｖ（Ｙ＝５）のうち、第１、２、４、５列のブロックのシェーディング成分は、平坦領域（３，３）以外のブロックのシェーディング成分Ｓｖ（１，３）、Ｓｖ（２，３）、Ｓｖ（４，３）、Ｓｖ（５，３）を基準（１．０）とみなしてそれぞれ算出されたものである。そこで、これらのブロックのシェーディング成分（Ｓｖ（１，１）等）を、非正規化シェーディング成分という。

シェーディング成分算出部２０３は、平坦領域（３，３）のシェーディング成分１．０と、水平方向シェーディング成分Ｓｖのうちの正規化シェーディング成分Ｓｈ（１，３）、Ｓｈ（２，３）、Ｓｈ（４，３）、Ｓｈ（５，３）と、垂直方向シェーディング成分Ｓｈのうちの正規化シェーディング成分Ｓｖ（３，１）、Ｓｖ（３，２）、Ｓｖ（３，４）、Ｓｖ（３，５）とを、それぞれのブロックのシェーディング成分Ｓ（Ｘ，Ｙ）として決定し、記憶部１３に記憶させる。図１９は、各画像におけるシェーディング成分を示す模式図であり、平坦領域及び正規化シェーディング成分が得られているブロックに斜線を附している。

また、シェーディング成分算出部２０３は、非正規化シェーディング成分しか得られていないブロックのシェーディング成分を、当該ブロックの非正規化シェーディング成分と、当該ブロックと同じ行又は列の正規化シェーディング成分とを用いて算出する。図２０は、非正規化シェーディング成分しか得られていないブロックのシェーディング成分の算出方法を説明するための模式図である。

例えば、図１９に示すブロック（１，１）のシェーディング成分Ｓ（１，１）を算出する場合を考える。図２０（ａ）に示すように、ブロック（１，１）の非正規化シェーディング成分Ｓｈ（１，１）は、同じ行のブロック（３，１）のシェーディング成分を基準（１．０）とみなすことにより算出されたものである。一方、図２０（ｂ）に示すように、ブロック（３，１）については、平坦領域（３，３）を基準として算出された正規化シェーディング成分Ｓｖ（３，１）が得られている。従って、ブロック（１，１）のシェーディング成分Ｓ（１，１）は、次式（９）により与えられる。
Ｓ（１，１）＝Ｓｈ（１，１）×Ｓｖ（３，１） …（９）

或いは、同じブロック（１，１）のシェーディング成分Ｓ（１，１）を、次のようにして求めることもできる。図２１（ａ）に示すように、ブロック（１，１）の非正規シェーディング成分Ｓｖ（１，１）は、同じ列のブロック（１，３）のシェーディング成分を基準（１．０）とみなすことにより算出されたものである。一方、図２１（ｂ）に示すように、ブロック（１，３）については、平坦領域（３，３）を基準として算出された正規化シェーディング成分Ｓｈ（１，３）が得られている。従って、ブロック（１，１）のシェーディング成分Ｓ（１，１）は、次式（１０）により与えられる。
Ｓ（１，１）＝Ｓｖ（１，１）×Ｓｈ（１，３） …（１０）

これらの算出式を、平坦領域のブロックを（Ｘ₀、Ｙ₀）として一般化すると、ブロック（Ｘ，Ｙ）内の任意の画素におけるシェーディング成分Ｓ（Ｘ，Ｙ）は、当該ブロック（Ｘ，Ｙ）について算出された水平方向シェーディング成分Ｓｈ（Ｘ，Ｙ）と、同じ行に含まれる正規化シェーディング成分Ｓｖ（Ｘ₀，Ｙ）とを用いて、次式（１１）により与えられる。
Ｓ（Ｘ，Ｙ）＝Ｓｈ（Ｘ，Ｙ）×Ｓｖ（Ｘ₀，Ｙ） …（１１）

或いは、ブロック（Ｘ，Ｙ）内の任意の画素におけるシェーディング成分Ｓ（Ｘ，Ｙ）は、当該ブロック（Ｘ，Ｙ）について算出された垂直方向シェーディング成分Ｓｖ（Ｘ，Ｙ）と、同じ列に含まれる正規化シェーディング成分Ｓｈ（Ｘ，Ｙ₀）とを用いて、次式（１２）により与えられる。
Ｓ（Ｘ，Ｙ）＝Ｓｖ（Ｘ，Ｙ）×Ｓｈ（Ｘ，Ｙ₀） …（１２）

シェーディング成分算出部２０３は、非正規シェーディング成分しか算出されていない全てのブロックについて、式（１１）又は（１２）を用いてシェーディング成分Ｓ（Ｘ，Ｙ）を算出し、記憶部１３に記憶させる。

次に、実施の形態２に係る画像処理装置の動作について説明する。図２２は、実施の形態２に係る画像処理装置の動作を示すフローチャートである。このうち、ステップＳ１０〜Ｓ１５は、実施の形態１と同様である。ただし、ステップＳ１５においては、画像の水平方向及び垂直方向の各々について、十分な共通領域を有する少なくとも１組のペアの画像が取得されるように、視野Ｖを移動させる。具体的には、少なくとも、平坦領域である画像の中心部が、ペアの画像間の共通領域に含まれるようにする。また、十分な共通領域を有するペアの画像は、ステップＳ１２における合成画像の生成に用いた後も消去せずに保存しておく。

ステップＳ１４において、画像の貼り合わせ処理を終了すると判定された場合（ステップＳ１４：Ｙｅｓ）、シェーディング成分取得部２００は、水平方向及び垂直方向の各々について、十分な共通領域を有するペアの画像を取り込み、これらのペアの画像からシェーディング成分を取得する（ステップＳ２０）。なお、これらのペア画像間においては、ステップＳ１１において取得された画像間の位置関係をもとに、共通領域の位置合わせがなされているものとする。シェーディング成分の取得方法は、図１５〜図２１を参照しながら説明したとおりである。また、シェーディング成分を取得した後は、ペア画像を消去しても良い。

その後のステップＳ１６〜Ｓ１８は、実施の形態１と同様である。このうち、ステップＳ１６においては、ステップＳ２０において取得したシェーディング成分を用いて補正ゲインを算出する。

以上説明したように、本発明の実施の形態２によれば、画像取得部１１が取得した画像からシェーディング成分を取得するので、シェーディング成分を取得するために白板等を別途用意し、被写体ＳＰと入れ替えて撮像を行うといった手間を要することなく、高精度なシェーディング補正を行うことが可能となる。また、画像の水平方向及び垂直方向における１ブロックの長さΔｗ及び長さΔｈは、ユーザが任意にステージを移動させた距離から設定できるため、顕微鏡システムにおいて、電動ステージに限らず手動ステージにおいても簡易に実現が可能である。

なお、上記実施の形態２においては、画像の貼り合わせ処理が終了した後で、シェーディング成分の取得処理を実行したが、シェーディング成分の取得に使用するペアの画像が取得された後であれば、画像の貼り合わせ処理と並列にシェーディング成分の取得処理を実行しても良い。

また、上記実施の形態２においては、水平方向及び垂直方向におけるシェーディング成分の特性を求めたが、シェーディング成分の特性を求める方向はこれに限定されず、互いに異なる２つの方向におけるシェーディング成分の特性を求めれば良い。

（変形例）
次に、本発明の実施の形態２の変形例について説明する。
上記実施の形態２においては、式（１１）と（１２）とのいずれかを用いて、正規化シェーディング成分が得られていないブロック（Ｘ，Ｙ）のシェーディング成分Ｓ（Ｘ，Ｙ）を算出したが、これらの式（１１）、（１２）によってそれぞれ与えられるシェーディング成分を重み付け合成することにより、シェーディング成分Ｓ（Ｘ，Ｙ）を算出しても良い。

ここで、式（１１）に示すように、ブロック（Ｘ，Ｙ）の非正規化シェーディング成分である水平方向シェーディング成分Ｓｈ（Ｘ，Ｙ）と、ブロック（Ｘ，Ｙ）と同じ行に含まれる正規化シェーディング成分である垂直方向シェーディング成分Ｓｖ（Ｘ₀，Ｙ）とによって与えられるシェーディング成分を、シェーディング成分Ｓｈｖ₁（Ｘ，Ｙ）とする（式（１３））。
Ｓｈｖ₁（Ｘ，Ｙ）＝Ｓｈ（Ｘ，Ｙ）×Ｓｖ（Ｘ₀，Ｙ） …（１３）

また、式（１２）に示すように、同じブロック（Ｘ，Ｙ）の非正規化シェーディング成分である垂直方向シェーディング成分Ｓｖ（Ｘ，Ｙ）と、ブロック（Ｘ，Ｙ）と同じ列に含まれる正規化シェーディング成分である水平方向シェーディング成分Ｓｈ（Ｘ，Ｙ₀）とによって与えられるシェーディング成分を、シェーディング成分Ｓｈｖ₂（Ｘ，Ｙ）とする（式（１４））。
Ｓｈｖ₂（Ｘ，Ｙ）＝Ｓｖ（Ｘ，Ｙ）×Ｓｈ（Ｘ，Ｙ₀） …（１４）

これらのシェーディング成分Ｓｈｖ₁（Ｘ，Ｙ）、Ｓｈｖ₂（Ｘ，Ｙ）を重み付け合成した合成シェーディング成分Ｓ（Ｘ，Ｙ）は、次式（１５）により与えられる。

式（１５）において、ｗ（Ｘ，Ｙ）は、シェーディング成分の合成に用いられる重みである。一般に、シェーディング成分は滑らかであるとみなすことができるので、重みｗ（Ｘ，Ｙ）は、次式（１６）に示すように、例えば、エッジ量の総和の比に基づいて決定することができる。

式（１６）において、パラメータβは正規化係数である。また、Ｅｄｇｅ_h［ ］は、水平方向におけるシェーディング成分の分布の対象領域（ブロック（Ｘ，Ｙ）又は（Ｘ，Ｙ₀））での水平方向のエッジ量の総和を示す。Ｅｄｇｅ_v［ ］は、垂直方向におけるシェーディング成分の分布の対象領域（ブロック（Ｘ₀，Ｙ）又は（Ｘ，Ｙ））での垂直方向のエッジ量の総和を示す。

例えば、シェーディング成分Ｓｈｖ₁（Ｘ，Ｙ）の算出に用いるブロック（Ｘ，Ｙ）及び（Ｘ₀，Ｙ）におけるエッジ量の総和が、シェーディング成分Ｓｈｖ₂（Ｘ，Ｙ）の算出に用いるブロック（Ｘ，Ｙ）及び（Ｘ，Ｙ₀）におけるエッジ量の総和に対して小さい場合、重みｗ（Ｘ，Ｙ）の値も小さくなる。従って、式（１５）におけるシェーディング成分Ｓｈｖ₁の寄与分が大きくなる。

式（１６）に示すように、エッジ量或いはコントラストに基づいて重みｗ（Ｘ，Ｙ）を設定することにより、２つのシェーディング成分Ｓｈｖ₁、Ｓｈｖ₂を、これらの滑らかさに基づいて合成することができる。従って、より滑らかで、シェーディング成分の算出に用いた画像のシフト方向によらない合成シェーディング成分Ｓを算出することができる。それにより、ロバストなシェーディング補正を行うことが可能となる。

なお、上記変形例においては、式（１６）により重みｗ（Ｘ，Ｙ）を設定することで、滑らかな合成シェーディング成分Ｓ（Ｘ，Ｙ）を算出したが、メディアンフィルタ、平均化フィルタ、ガウシアンフィルタ等のフィルタ処理を組み合わることにより、さらに滑らかな合成シェーディング成分Ｓ（Ｘ，Ｙ）を生成することとしても良い。

（実施の形態３）
次に、本発明の実施の形態３について説明する。
本発明の実施の形態３に係る画像処理装置の構成及び動作は全体として実施の形態２と同様であり、ステップＳ２０（図２２参照）においてシェーディング成分取得部２００が実行するシェーディング成分の取得方法が実施の形態２と異なる。実施の形態３においては、２枚の画像を貼り合わせる際に重ね合わせられる共通領域におけるシェーディング成分をもとに、画像全体のシェーディング成分を推定する。

図２３及び図２４は、本発明の実施の形態３におけるシェーディング成分の取得方法を説明するための模式図である。以下においては、図２３に示すように、被写体ＳＰを９回に分けて撮像することにより取得した９枚の画像からシェーディング成分を取得する場合を例として説明する。なお、実施の形態３においても、シェーディング成分の取得に用いる画像は、ステップＳ１２における合成画像の生成に用いた後も消去せずに保存しておくこととする。

図２４は、図２３に示す９枚の画像ｍ１〜ｍ９のうち、中心に位置する画像ｍ５である。画像ｍ５の上端部の領域ａ５に含まれる任意の画素の輝度をＩ（ｘ，ｙ）とすると、この輝度Ｉ（ｘ，ｙ）は、テクスチャ成分Ｔ（ｘ，ｙ）とシェーディング成分Ｓ（ｘ，ｙ）とを用いて、次式（１７）によって表すことができる。
Ｉ（ｘ，ｙ）＝Ｔ（ｘ，ｙ）×Ｓ（ｘ，ｙ） …（１７）

一方、領域ａ５は、画像ｍ２の下端部の領域との共通領域になっている。画像ｍ５内の座標（ｘ，ｙ）に対応する画像ｍ２内の座標（ｘ’，ｙ’）における画素の輝度をＩ’（ｘ’，ｙ’）とすると、この輝度Ｉ’（ｘ’，ｙ’）も、テクスチャ成分Ｔ’（ｘ’，ｙ’）とシェーディング成分Ｓ（ｘ’，ｙ’）とを用いて、次式（１８）によって表すことができる。
Ｉ’（ｘ’，ｙ’）＝Ｔ’（ｘ’，ｙ’）×Ｓ（ｘ’，ｙ’） …（１８）

上述したように、画像ｍ５の上端部の領域ａ５は画像ｍ２の下端部の領域との共通領域であるから、テクスチャ成分Ｔ（ｘ，ｙ）、Ｔ’（ｘ’，ｙ’）は互いに等しい。従って、式（１７）、（１８）より、次式（１９）が成り立つ。
即ち、２枚の画像間の共通領域における輝度の比は、シェーディング成分の比に対応する。

ここで、画像ｍ５は、画像ｍ２に対して視野をｘｙ平面内においてシフトさせたものであり、このシフト量は、ステップＳ１１において取得された画像間の位置関係により与えられている。このシフト量をΔｘ、Δｙとすると、式（１９）を次式（２０）のように変形することができる。
即ち、輝度の比Ｉ（ｘ，ｙ）／Ｉ’（ｘ’，ｙ’）は、画像内の位置に応じたシェーディング成分の変化に相当する。なお、画像ｍ５、ｍ２間においては、Δｘ＝０である。

画像ｍ５の左端部の領域ａ６、右端部の領域ａ７、下端部の領域ａ８についても同様に、隣接する画像ｍ４、ｍ６、ｍ８との共通領域における輝度を用いて、シェーディング成分の変化を算出することができる。

続いて、画像内のシェーディング成分Ｓ（ｘ，ｙ）を近似するシェーディングモデルを作成し、領域ａ５、ａ６、ａ７、ａ８に対して算出された輝度の比を用いて、このシェーディングモデルを修正する。シェーディングモデルの一例としては、画像の中心座標において極小となる２次曲面が挙げられる。

詳細には、シェーディングモデルを表すモデル関数（例えば、２次曲面を表す２次関数）ｆ（ｘ，ｙ）を作成し、このモデル関数ｆ（ｘ，ｙ）を、次式（２１）によって与えられる評価関数Ｋによって評価する。

即ち、領域ａ５〜ａ８内の座標（ｘ，ｙ）における輝度の比Ｉ（ｘ，ｙ）／Ｉ’（ｘ’，ｙ’）と、これらの座標（ｘ，ｙ）におけるモデル関数の値ｆ（ｘ，ｙ）とを式（２１）に代入して評価関数Ｋを算出し、評価関数Ｋが最小となるときのモデル関数ｆ（ｘ，ｙ）を求める。そして、このモデル関数ｆ（ｘ，ｙ）を用いて、画像内の各座標（ｘ，ｙ）におけるシェーディング成分Ｓ（ｘ，ｙ）を算出すれば良い。なお、シェーディングモデルを評価関数Ｋに基づいて修正することによりシェーディング成分を取得する方法については、特開２０１３−１３２０２７号公報も参照されたい。

この他、画像取得部１１が取得した画像からシェーディング成分を取得する方法としては、公知の種々の手法を適用することができる。一例として、特開２０１３−２５７４１１号公報と同様の手法が挙げられる。具体的には、一方の画像の中心領域（即ち、シェーディング成分の平坦領域）における画素の輝度をＩ（ｘ，ｙ）＝Ｔ（ｘ，ｙ）×Ｓ（ｘ，ｙ）と、この中心領域との共通領域である他方の画像内の領域における画素の輝度をＩ’（ｘ’，ｙ’）＝Ｔ’（ｘ’，ｙ’）×Ｓ（ｘ’，ｙ’）とする。テクスチャ成分Ｔ（ｘ，ｙ）、Ｔ’（ｘ’，ｙ’）が共通であることを考慮すると、領域（ｘ’，ｙ’）におけるシェーディング成分Ｓ（ｘ’，ｙ’）は、次式（２２）によって与えられる。
Ｓ（ｘ’，ｙ’）＝Ｉ’（ｘ’，ｙ’）／Ｉ（ｘ，ｙ）×Ｓ（ｘ，ｙ） …（２２）

画像の中心領域（ｘ，ｙ）は平坦領域であるから、シェーディング成分Ｓ（ｘ，ｙ）＝１とすると、領域（ｘ’，ｙ’）におけるシェーディング成分Ｓ（ｘ’，ｙ’）は、次式（２３）によって与えられる。
Ｓ（ｘ’，ｙ’）＝Ｉ’（ｘ’，ｙ’）／Ｉ（ｘ，ｙ） …（２３）

（実施の形態４）
次に、本発明の実施の形態４について説明する。
図２５は、本発明の実施の形態４に係る顕微鏡システムの構成例を示す模式図である。図２５に示すように、実施の形態４に係る顕微鏡システム２は、顕微鏡装置３と、顕微鏡装置３により取得された画像を処理し、該画像を表示する画像処理装置４とを備える。

顕微鏡装置３は、落射照明ユニット３０１及び透過照明ユニット３０２が設けられた略Ｃ字形のアーム３００と、該アーム３００に取り付けられ、観察対象である被写体ＳＰが載置される標本ステージ３０３と、鏡筒３０５の一端側に三眼鏡筒ユニット３０８を介して標本ステージ３０３と対向するように設けられた対物レンズ３０４と、鏡筒３０５の他端側に設けられた撮像部３０６と、標本ステージ３０３を移動させるステージ位置変更部３０７とを有する。三眼鏡筒ユニット３０８は、対物レンズ３０４から入射した被写体ＳＰの観察光を、撮像部３０６と後述する接眼レンズユニット３０９とに分岐する。接眼レンズユニット３０９は、ユーザが被写体ＳＰを直接観察するためのものである。

落射照明ユニット３０１は、落射照明用光源３０１ａ及び落射照明光学系３０１ｂを備え、被写体ＳＰに対して落射照明光を照射する。落射照明光学系３０１ｂは、落射照明用光源３０１ａから出射した照明光を集光して観察光路Ｌの方向に導く種々の光学部材（フィルタユニット、シャッタ、視野絞り、開口絞り等）を含む。

透過照明ユニット３０２は、透過照明用光源３０２ａ及び透過照明光学系３０２ｂを備え、被写体ＳＰに対して透過照明光を照射する。透過照明光学系３０２ｂは、透過照明用光源３０２ａから出射した照明光を集光して観察光路Ｌの方向に導く種々の光学部材（フィルタユニット、シャッタ、視野絞り、開口絞り等）を含む。

対物レンズ３０４は、倍率が互いに異なる複数の対物レンズ（例えば、対物レンズ３０４、３０４’）を保持可能なレボルバ３１０に取り付けられている。このレボルバ３１０を回転させて、標本ステージ３０３と対向する対物レンズ３０４、３０４’を変更することにより、撮像倍率を変化させることができる。

鏡筒３０５の内部には、複数のズームレンズと、これらのズームレンズの位置を変化させる駆動部（いずれも図示せず）とを含むズーム部が設けられている。ズーム部は、各ズームレンズの位置を調整することにより、視野内の被写体像を拡大又は縮小させる。なお、鏡筒３０５内の駆動部にエンコーダをさらに設けても良い。この場合、エンコーダの出力値を画像処理装置４に出力し、画像処理装置４において、エンコーダの出力値からズームレンズの位置を検出して撮像倍率を自動算出するようにしても良い。

撮像部３０６は、例えばＣＣＤやＣＭＯＳ等の撮像素子を含み、該撮像素子が備える各画素においてＲ（赤）、Ｇ（緑）、Ｂ（青）の各バンドにおける画素レベル（輝度）を持つカラー画像を撮像可能なカメラであり、画像処理装置４の撮像制御部１１１の制御に従って、所定のタイミングで動作する。撮像部３０６は、対物レンズ３０４から鏡筒３０５内の光学系を介して入射した光（観察光）を受光し、観察光に対応する画像データを生成して画像処理装置４に出力する。或いは、撮像部３０６は、ＲＧＢ色空間で表された輝度を、ＹＣｂＣｒ色空間で表された輝度に変換して画像処理装置４に出力しても良い。

ステージ位置変更部３０７は、例えばボールネジ（図示せず）及びステッピングモータ３０７ａを含み、標本ステージ３０３の位置をＸＹ平面内で移動させることにより、視野を変化させる。また、ステージ位置変更部３０７には、標本ステージ３０３をＺ軸に沿って移動させることにより、対物レンズ３０４の焦点を被写体ＳＰに合わせる。なお、ステージ位置変更部３０７の構成は上述した構成に限定されず、例えば超音波モータ等を使用しても良い。

なお、実施の形態４においては、対物レンズ３０４を含む光学系の位置を固定し、標本ステージ３０３側を移動させることにより、被写体ＳＰに対する視野を変化させるが、対物レンズ３０４を光軸と直交する面内において移動させる移動機構を設け、標本ステージ３０３を固定して、対物レンズ３０４側を移動させることにより、視野を変化させることとしても良い。或いは、標本ステージ３０３及び対物レンズ３０４の双方を相対的に移動させても良い。

画像処理装置４において、駆動制御部１１２は、標本ステージ３０３に搭載されたスケールの値等に基づき、予め定められたピッチで該標本ステージ３０３の駆動座標を指示することにより標本ステージ３０３の位置制御を行う。或いは、駆動制御部１１２は、顕微鏡装置３により取得された画像に基づくテンプレートマッチング等の画像マッチングの結果に基づいて標本ステージ３０３の位置制御を行っても良い。

画像処理装置４は、画像取得部１１と、画像処理部１２と、記憶部１３と、表示制御部１６と、表示部１７と、操作入力部１８とを備える。このうち、画像取得部１１、画像処理部１２、及び記憶部１３の構成及び動作は実施の形態１と同様である。なお、シェーディング成分取得部１２３の代わりに、実施の形態２、３において説明したシェーディング成分取得部２００を適用しても良い。

表示制御部１６は、画像処理部１２により生成された合成画像を含む画面を作成して、表示部１７に表示させる制御を行う。

表示部１７は、例えば、ＬＣＤやＥＬディスプレイ等によって構成され、表示制御部１６から出力される信号に従って、画像処理部１２により生成された合成画像や関連情報を所定の形式で表示する。

操作入力部１８は、表示部１７に組み込まれたタッチパネル方式の入力デバイスであり、外部からなされるタッチ操作に応じた信号を、画像取得部１１、画像処理部１２、及び表示制御部１６に入力する。

図２６は、表示部１７に表示される画面の例を示す模式図である。この画面は、被写体ＳＰの拡大画像が表示されるマクロ表示領域１７ａと、マクロ表示領域１７ａにおいて選択された領域をさらに拡大した画像が表示されるミクロ表示領域１７ｂと、補正選択ボタン１７ｃ、１７ｄとを含んでいる。この画面内では、マクロ表示領域１７ａ及び補正選択ボタン１７ｃ、１７ｄにおいて、操作入力部１８の機能がアクティブになっている。以下、このような画面に対する操作に応じた顕微鏡システム２の動作を説明する。

被写体ＳＰの観察に先立って、ユーザは顕微鏡装置３の標本ステージ３０３上に被写体ＳＰを載置し、マクロ表示領域１７ａ上の所望の位置を、指やタッチペン等を用いてタッチする。

操作入力部１８は、マクロ表示領域１７ａに対するタッチ操作に応じて、タッチされた位置を表す位置情報を画像取得部１１及び表示制御部１６に入力する。なお、ユーザは、マクロ表示領域１７ａにタッチした状態で指やタッチペンをスライドさせても良く、この場合、操作入力部１８は連続的に変化する位置情報を各部に順次入力する。

画像取得部１１は、操作入力部１８から入力された位置情報に対応する標本ステージ３０３上の位置を算出し、当該位置が視野の中心となるように、標本ステージ３０３の駆動制御を行う。そして、撮像部３０６に撮像を実行させることにより、画像を取得する。

画像処理部１２は、画像取得部１１から画像を取り込み、先に取得された画像との貼り合わせ処理、合成画像に適用される補正ゲインの算出、及びシェーディング補正を実行する。

表示制御部１６は、操作入力部１８から入力された位置情報に基づき、タッチされた位置を中心とする所定サイズの枠１７ｅをマクロ表示領域１７ａ上に表示させる。そして、画像処理部１２が生成したシェーディング補正済みの合成画像を、枠１７ｅ内に表示させる。また、表示制御部１６は、ユーザによるタッチ操作に応じて位置情報が変更された場合、この位置情報に従って枠１７ｅを順次移動させる。この場合、表示部１７は、マクロ表示領域１７ｅ上に既に表示した合成画像はそのまま残し、枠１７ｅ内の領域のみ、合成画像を順次更新して表示する。なお、図２６においてマクロ表示領域１７ａに示す矢印は、ユーザがマクロ表示領域１７ａをタッチした軌跡を示している。

さらに、表示制御部１６は、枠１７ｅ内に入った合成画像の部分を拡大してミクロ表示領域１７ｂに表示させる。

操作入力部１８は、補正選択ボタン（補正なし）１７ｄに対するタッチ操作に応じて、シェーディング補正前の合成画像の出力を指示する信号を画像処理部１２に出力する。これに応じて、画像処理部１２は、既に生成したシェーディング補正済みの合成画像を、補正ゲイン算出部１２４が算出した補正ゲインの逆数（即ち、シェーディング成分）を用いてシェーディング補正前の状態に戻して出力する。また、画像処理部１２は、その後で新たに生成する合成画像についても、シェーディング補正前の状態で出力する。表示制御部１６は、画像処理部１２から出力されたシェーディング補正前の合成画像を表示部１７に表示させる。

一方、操作入力部１８は、補正選択ボタン（補正あり）１７ｃに対するタッチ操作に応じて、シェーディング補正済みの合成画像の出力を指示する信号を画像処理部１２に入力する。これに応じて、画像処理部１２は、既に生成したシェーディング補正前の合成画像に対し、補正ゲイン算出部１２４が算出した補正ゲインを用いて再びシェーディング補正を施して出力する。また、画像処理部１２は、その後で新たに生成する合成画像についても、シェーディング補正を施した状態で出力する。表示制御部１６は、画像処理部１２から出力されたシェーディング補正済みの合成画像を表示部１７に表示させる。

以上説明したように、本発明の実施の形態４によれば、ユーザは、マクロ表示領域１７ａをタッチするだけで、被写体ＳＰの所望の領域が写った合成画像（バーチャルスライド画像）を観察することができる。また、ユーザは、補正選択ボタン１７ｃ、１７ｄに対する操作により、シェーディング補正前の合成画像とシェーディング補正済みの合成画像とを適宜切り替えて観察することができる。

なお、実施の形態４において、各画像におけるシェーディング成分の取得方法は特に限定されないが、実施の形態２において説明した方法が比較的適している。実施の形態４においては、視野を連続的に変化させるので、十分な共通領域を有するペアの画像が逐次得られるからである。

また、上記実施の形態４においては、シェーディング補正前の合成画像と、シェーディング補正済みの合成画像とのいずれかを表示部１７に切り替え可能に表示させることとしたが、これらの合成画像を並べて同時に表示させても良い。

本発明は、上述した各実施の形態１〜４及び変形例はそのままに限定されるものではなく、各実施の形態１〜４及び変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、実施の形態１〜４及び変形例に示される全構成要素からいくつかの構成要素を除外して形成してもよい。或いは、異なる実施の形態に示した構成要素を適宜組み合わせて形成してもよい。

１、４ 画像処理装置
２ 顕微鏡システム
３ 顕微鏡装置
５ 表示装置
１１ 画像取得部
１２ 画像処理部
１３ 記憶部
１４ 撮像光学系
１５ ステージ
１６ 表示制御部
１７ 表示部
１７ａ マクロ表示領域
１７ｂ ミクロ表示領域
１７ｃ 補正選択ボタン（補正あり）
１７ｄ 補正選択ボタン（補正なし）
１７ｅ 枠
１８ 操作入力部
１１１ 撮像制御部
１１２ 駆動制御部
１２１ 位置関係取得部
１２２ 画像合成部
１２３、２００ シェーディング成分取得部
１２４ 補正ゲイン算出部
１２５ 画像補正部
２０１ 第１シェーディング成分算出部
２０２ 第２シェーディング成分算出部
２０３ シェーディング成分算出部
３００ アーム
３０１ 落射照明ユニット
３０１ａ 落射照明用光源
３０１ｂ 落射照明光学系
３０２ 透過照明ユニット
３０２ａ 透過照明用光源
３０２ｂ 透過照明光学系
３０３ 標本ステージ
３０４、３０４’ 対物レンズ
３０５ 鏡筒
３０６ 撮像部
３０７ ステージ位置変更部
３０７ａ ステッピングモータ
３０８ 三眼鏡筒ユニット
３０９ 接眼レンズユニット
３１０ レボルバ

Claims (11)

1. 視野が互いに異なる複数の画像であって、各画像が少なくとも１つの他の画像との間で共通の被写体が写った領域である共通領域を有する複数の画像を取得する画像取得部と、
   前記複数の画像間の位置関係を取得する位置関係取得部と、
   前記位置関係に基づいて前記複数の画像を貼り合わせることにより、合成画像を生成する画像合成部と、
   前記各画像におけるシェーディング成分を取得するシェーディング成分取得部と、
   前記シェーディング成分と前記位置関係とに基づいて、前記合成画像のシェーディング補正に用いる補正ゲインを算出する補正ゲイン算出部と、
   前記補正ゲインを用いて前記合成画像をシェーディング補正する画像補正部と、
   を備えることを特徴とする画像処理装置。
2. 前記画像合成部は、隣り合う画像間の前記共通領域における輝度同士をブレンド係数を用いて重み付け加算することにより、該共通領域に対応する前記合成画像内の領域における輝度を算出し、
   前記補正ゲイン算出部は、前記ブレンド係数を用いて、前記合成画像内の前記領域に適用される補正ゲインを算出する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記合成画像を表示する表示部と、
   外部からなされる操作に応じて指示信号を入力する操作入力部と、
   をさらに備え、
   前記表示部は、前記指示信号に応じて、シェーディング補正済みの前記合成画像と、シェーディング補正前の前記合成画像とを切り替えて表示する、
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記シェーディング成分取得部は、前記複数の画像のうち、互いに共通領域を有する少なくとも２枚の画像から前記シェーディング成分を算出する、ことを特徴とする請求項１に記載の画像処理装置。
5. 前記シェーディング成分取得部は、
   第１の方向において互いに共通領域を有する第１のペアの画像における前記共通領域の輝度を用いて、前記第１の方向におけるシェーディング成分の特性を算出する第１のシェーディング成分算出部と、
   前記第１の方向と異なる第２の方向において互いに共通領域を有する第２のペアの画像における前記共通領域の輝度を用いて、前記第２の方向におけるシェーディング成分の特性を算出する第２のシェーディング成分算出部と、
   前記第１及び第２の方向におけるシェーディング成分の特性を用いて、前記各画像におけるシェーディング成分を算出する第３のシェーディング成分算出部と、
   を備えることを特徴とする請求項４に記載の画像処理装置。
6. 前記シェーディング成分取得部は、前記少なくとも２枚の画像から前記共通領域における輝度の比を算出し、該輝度の比を用いて前記各画像におけるシェーディング成分を推定する、ことを特徴とする請求項４に記載の画像処理装置。
7. 前記シェーディング成分取得部は、第１の画像の中心領域における輝度と、前記中心領域に対する共通領域を有する第２の画像の当該共通領域における輝度とを用いて、前記シェーディング成分を算出する、ことを特徴とする請求項１に記載の画像処理装置。
8. 請求項１〜７のいずれか１項に記載の画像処理装置と、
   前記被写体を撮像して画像信号を出力する撮像部と、
   を備えることを特徴とする撮像装置。
9. 請求項１〜７のいずれか１項に記載の画像処理装置と、
   前記被写体を撮像して画像信号を出力する撮像部と、
   前記被写体が載置されるステージと、
   前記撮像部と前記ステージとの少なくともいずれか一方を他方に対して相対的に移動させる駆動手段と、
   を備えることを特徴とする顕微鏡システム。
10. 視野が互いに異なる複数の画像であって、各画像が少なくとも１つの他の画像との間で共通の被写体が写った領域である共通領域を有する複数の画像を取得する画像取得ステップと、
    前記複数の画像間の位置関係を取得する位置関係取得ステップと、
    前記位置関係に基づいて前記複数の画像を貼り合わせることにより、合成画像を生成する画像合成ステップと、
    前記各画像におけるシェーディング成分を取得するシェーディング成分取得ステップと、
    前記シェーディング成分と前記位置関係とに基づいて、前記合成画像のシェーディング補正に用いる補正ゲインを算出する補正ゲイン算出ステップと、
    前記補正ゲインを用いて前記合成画像をシェーディング補正する画像補正ステップと、
    を含むことを特徴とする画像処理方法。
11. 視野が互いに異なる複数の画像であって、各画像が少なくとも１つの他の画像との間で共通の被写体が写った領域である共通領域を有する複数の画像を取得する画像取得ステップと、
    前記複数の画像間の位置関係を取得する位置関係取得ステップと、
    前記位置関係に基づいて前記複数の画像を貼り合わせることにより、合成画像を生成する画像合成ステップと、
    前記各画像におけるシェーディング成分を取得するシェーディング成分取得ステップと、
    前記シェーディング成分と前記位置関係とに基づいて、前記合成画像のシェーディング補正に用いる補正ゲインを算出する補正ゲイン算出ステップと、
    前記補正ゲインを用いて前記合成画像をシェーディング補正する画像補正ステップと、
    をコンピュータに実行させることを特徴とする画像処理プログラム。